Mapin'de LLM token maliyetini %70 nasıl düşürdüm

Mapin Data'da Python ile yapılandırılmamış web sayfalarını, PDF'leri ve QR kodları yapılandırılmış veriye dönüştüren uçtan uca bir veri çıkarma hattı kurdum. Tarama için FireCrawl, görüntü ön işleme ve QR çözümleme için OpenCV, doküman anlama için Vision-Language Model'ler kullandım. Çıktıyı, çekirdek ekiple birlikte, downstream AI görevleri için production'a hazır bir JSON şemasına eşledik.

Çıkarım doğruluğunu ~%80 seviyesinde koruyarak LLM token maliyetlerini %70 azalttım. İç detaylar şirkete ait, bu yüzden bu not yaklaşım seviyesinde kalıyor.

Kol 1: daha az token göndermek

Modele hangi metnin, hangi parçalar halinde gideceğini kontrol etmek için özel metin parçalama algoritmaları tasarladım. Doküman başına daha az girdi token'ı, her çağrıda daha düşük maliyet demek.

Kol 2: doğru modele göndermek

OpenRouter üzerinde model yönlendirme sayesinde her isteğin aynı modele gitmesi gerekmiyor. Yönlendirmeyi, doğruluk hedefinden vazgeçmeden maliyeti düşürecek şekilde optimize ettim.

Çıkardığım dersler

• Maliyeti ve doğruluğu birlikte ölçmek: daha ucuz bir hat ancak çıkarım kalitesi korunuyorsa anlamlı.
• Girdi boyutu ve model seçimi ayrı kollar, etkileri birbirine ekleniyor.
• Sabit bir çıktı şeması kaliteyi kontrol edilebilir kılıyor ve downstream kullanıcıları stabil tutuyor.