Embedding (Gömme)

Bir gömme modeli, metni sabit uzunlukta bir sayı dizisine çevirir. Bu dizinin değeri tek başına anlamlı değildir; değeri, benzer anlamlı metinlerin bu uzayda birbirine yakın düşmesindedir. "Yıllık izin talebi" ile "tatil başvurusu nasıl yapılır" farklı kelimelerden oluşur ama vektör uzayında komşudur.

Bu, anahtar kelime aramasının çözemediği problemi çözer. Klasik arama ortak kelime arar; gömme tabanlı arama ortak anlam arar. Kurumsal dokümanlarda kullanıcının sorduğu kelime ile dokümanda geçen kelime çoğu zaman farklı olduğu için bu fark belirleyicidir.

KobiGPT çok dilli bir gömme modeli kullanır. Bunun pratik sonucu şudur: Türkçe sorulan bir soru, İngilizce yazılmış bir dokümandaki ilgili pasajı bulabilir. Türkçe ve İngilizce içeriğin bir arada bulunduğu KOBİ arşivlerinde bu yaygın bir ihtiyaçtır.

Model seçimi bir kez yapılır ve tüm sistemi bağlar. Gömme boyutu API ve gömme işçisi (embedding worker) tarafında sabit bir değişmezdir; model değişirse tüm arşivin yeniden indekslenmesi gerekir. Bu yüzden gömme modeli, mimarideki en zor değiştirilen kararlardan biridir.

Gömme işlemi doküman başına bir kez yapılır ve KobiGPT'de 0.1 Kobi olarak ölçülür. Sorgu anında yalnızca sorunun gömülmesi gerekir; arşiv yeniden işlenmez. Bu, RAG'ın maliyet avantajının kaynağıdır.

Ölçek tarafında sınır plan limitleridir: Pro planı 12500 dokümana kadar indeksleme kapsar. Gömme işleri kuyruk üzerinden asenkron çalıştığı için yüzlerce doküman aynı anda yüklendiğinde sistem tıkanmaz, sıraya alır.

Gömme modeli, mimaride en zor değiştirilen bileşendir. Bir vektör yalnızca kendisini üreten modelin uzayında anlamlıdır; farklı modellerin ürettiği vektörler karşılaştırılamaz. Model değişirse arşivdeki her dokümanın yeniden işlenmesi gerekir ve bu, doküman sayısıyla doğru orantılı bir maliyet doğurur.

Bu yüzden gömme modeli sistem çapında bir değişmez olarak korunur; API ve gömme işçisi aynı boyutu varsayar. Değerlendirme yaparken şunu sorun: sağlayıcı modeli emekliye ayırırsa ne olur, yeniden indeksleme ne kadar sürer, bu süre boyunca arama çalışmaya devam eder mi?

Bu kararın ikinci boyutu dil desteğidir. Türkçe ve İngilizce içeriğin bir arada bulunduğu arşivlerde çok dilli bir model, diller arası aramayı mümkün kılar; tek dilli bir model seçilmişse Türkçe sorulan soru İngilizce dokümanı bulamaz. Model değiştirmenin maliyeti düşünüldüğünde bu gereksinim en baştan netleştirilmelidir. Değerlendirme yaparken kendi arşivinizden karışık dilli bir örneklem hazırlayıp diller arası sorgu denemek, model kartındaki dil listesine bakmaktan çok daha güvenilir sonuç verir.