RAG (Retrieval-Augmented Generation)

RAG iki adımdan oluşur. Birinci adımda soru bir vektöre çevrilir ve doküman arşivinde anlamsal olarak en yakın parçalar bulunur. İkinci adımda bu parçalar, soruyla birlikte dil modeline bağlam olarak verilir ve model yanıtı yalnızca bu bağlamdan üretir.

Kritik nokta ikinci adımdadır: model kendi eğitim verisinden değil, önüne konan parçalardan cevap verir. Bu yüzden yanıtın kaynağı gösterilebilir ve doğrulanabilir. Bir kurumsal bilgi bankasında bu, tahmin ile alıntı arasındaki farktır.

Bir modeli kendi verinizle yeniden eğitmek (ince ayar) pahalıdır ve her doküman değişikliğinde tekrarlanması gerekir. RAG'da doküman güncellendiğinde yalnızca o dokümanın yeniden indekslenmesi yeterlidir; model dokunulmadan kalır.

İkinci fark denetlenebilirliktir. İnce ayarlı bir modelin bir bilgiyi nereden aldığını göstermek mümkün değildir; ağırlıklara karışmıştır. RAG'da her yanıt somut bir doküman parçasına işaret eder. KOBİ ölçeğinde bu iki fark, RAG'ı neredeyse her zaman doğru tercih yapar.

RAG halüsinasyonu azaltır ama sıfırlamaz. Getirme adımı yanlış parçayı seçerse model yanlış bağlamdan doğru görünen bir yanıt üretebilir. Bu yüzden kaynak gösterimi isteğe bağlı bir özellik değil, zorunlu bir güvenlik mekanizmasıdır.

İkinci sınır dokümanın kendisidir. Arşivinizde yazılı olmayan bir bilgiyi RAG üretemez; belirsiz veya çelişkili bir doküman belirsiz yanıt üretir. Yanıt kalitesi, doküman kalitesinin doğrudan yansımasıdır.

Bir RAG kurulumunun kalitesini ölçmenin en hızlı yolu, ekibin gerçek sorularını kaydedip her yanıtta gösterilen kaynak pasajını kontrol etmektir. Yanıt doğru ama kaynak alakasızsa getirme adımı şans eseri çalışmış demektir; bu durum ölçeklendiğinde bozulur. Kaynak doğru ama yanıt eksikse sorun dokümanın kendisindedir.

İkinci kontrol, yanıtlanamayan sorulardır. Asistan bilgi bulamadığını söylüyorsa bu bir arıza değil, o bilginin arşivinizde yazılı olmadığının kanıtıdır. Bu liste zamanla dokümantasyon borcunuzun envanterine dönüşür ve genelde kurulumun en değerli yan çıktısı olur.

Üçüncü kontrol tekrar oranıdır. Aynı sorunun farklı kişiler tarafından defalarca sorulması, o konunun asistan kapsamında ya hiç bulunmadığını ya da bulunduğu dokümanın anlaşılmadığını gösterir. Bu iki durumun ayrımı kaynak gösterimine bakılarak yapılır: kaynak geliyorsa doküman yetersiz, gelmiyorsa kapsam eksiktir. İlk hafta sonunda elinizde üç liste olmalıdır — yanlış kaynak gösteren sorular, yanıtsız kalan sorular ve tekrarlayan sorular. Bu üç liste kurulumun geri kalanını yönlendirir ve genelde model veya ayar değişikliğinden çok daha fazla iyileşme sağlar.