Halüsinasyon

Bir model, dil üretme görevinde akıcı ve ikna edici bir cümle kurabilir; bu cümlenin gerçek olması gerekmez. Kaynakta bulunmayan bir tarih, olmayan bir politika maddesi veya eksik koşulları tamamlayan bir öneri halüsinasyon örneğidir.

Risk, metnin kötü yazılması değil fazla emin görünmesidir. Kurumsal bir kullanıcı cevabı kaynaklı gördüğünde, kaynak pasajın gerçekten iddiayı destekleyip desteklemediğini kontrol etmelidir.

RAG modeli şirket dokümanlarından getirilen parçalara bağlar ve cevabın dayandığı pasajı gösterebilir. Bu, modelin genel bilgisinden serbestçe tahmin yürütmesine kıyasla denetlenebilirliği artırır.

Fakat yanlış retrieval, eski doküman veya çelişkili politika hâlâ hatalı cevap üretebilir. Kaynak göstermek riski görünür kılar; doğrulama ihtiyacını ortadan kaldırmaz.

Asistan kapsamını dar tutun, yürürlükten kalkmış dosyaları ayırın ve kritik kararlar için kaynak pasajı insan tarafından okuyun. Kaynak yoksa bunu açıkça belirtmek, boşluğu uydurulmuş bir cümleyle doldurmaktan daha değerlidir.

Hukuk, finans, insan kaynakları veya güvenlik gibi yüksek etkili alanlarda asistanı karar verici değil, ilgili prosedüre ulaşmayı hızlandıran bir yardımcı olarak konumlandırın. Son onay yetkili kişide kalmalıdır.

Halüsinasyonu tamamen ortadan kaldırmak mümkün değildir; yönetilebilir olan, fark edilebilirliğidir. Kaynak gösterimi bu yüzden isteğe bağlı bir özellik değil, temel bir güvenlik mekanizmasıdır: kullanıcı yanıtın hangi pasajdan üretildiğini görebiliyorsa hatayı yakalayabilir.

İkinci mekanizma sistem talimatındaki davranış tanımıdır. Bilgi bulunamadığında tahmin üretmek yerine bilgi olmadığını belirtmek, yanıt oranını düşürür ama güveni artırır. Kurumsal bilgi bankalarında yanlış bir prosedür yanıtı operasyonel hataya dönüşebildiği için bu takas bilinçli olarak yapılır.

Üçüncü mekanizma kapsam disiplinidir. İlgisiz doküman arama uzayında ne kadar azsa, modelin yanlış bağlamdan yanıt üretme olasılığı o kadar düşer. Bu yüzden halüsinasyon azaltma çalışması genelde model ayarında değil, bilgi bankası temizliğinde sonuç verir. Eskimiş sürümleri kapsamdan çıkarmak, çelişkili iki politika dosyasından birini kaldırmak ve kapsamı departman bazında daraltmak, prompt düzenlemesinden çok daha büyük iyileşme sağlar.

Dördüncü ve en kalıcı önlem kültüreldir: asistanın yanıtını bir karara dayandıran kişinin kaynağı da kaydetmesi. Bu alışkanlık yerleştiğinde hata zinciri geriye doğru izlenebilir hale gelir ve sorunun modelde mi dokümanda mı olduğu tartışmasız biçimde ayrılır.