Prompt mühendisliği

Prompt mühendisliği denince akla genelde kullanıcının yazdığı soru gelir. Kurumsal bir üründe asıl belirleyici olan ise sistem talimatıdır: modelin her sohbette gördüğü, kullanıcının değiştiremediği çerçeve. Kapsam, ton, sınırlar ve kaynak gösterme zorunluluğu burada tanımlanır.

KobiGPT'de her departman şablonu kendi sistem talimatıyla gelir. Muhasebe asistanı KDV ve vergi bağlamında, İK asistanı Türkiye İş Kanunu bağlamında, hukuk asistanı KVKK bağlamında çalışır. Bu, kullanıcının her seferinde bağlamı yeniden anlatmasını gereksiz kılar.

İyi bir sistem talimatı yalnızca ne yapılacağını değil, ne yapılmayacağını da söyler. KobiGPT şablonlarında bu, bilgi bulunamadığında tahmin üretmek yerine bilgi olmadığını belirtme davranışı olarak tanımlanır.

Bu tercih yanıt oranını düşürür ama güveni artırır. Kurumsal bir bilgi bankasında "bilmiyorum" demek, uydurmaktan iyidir; çünkü uydurulmuş bir prosedür yanıtı operasyonel hataya dönüşebilir.

Prompt ile çözülemeyecek problemler vardır. Doküman arşivinizde bir bilgi yoksa hiçbir talimat onu üretemez; getirme adımı yanlış parçayı getiriyorsa prompt bunu düzeltmez. Bu durumlarda çözüm doküman veya indeksleme tarafındadır.

Pratik yaklaşım şudur: yanıt kalitesi düşükse önce kaynağa bakın. Yanıtla birlikte gösterilen doküman parçaları doğru mu? Değilse problem promptta değil getirmededir; doğruysa ve yanıt yine de zayıfsa problem dokümanın kendisindedir.

Yanıt kalitesi düştüğünde ilk refleks genelde talimatı değiştirmektir; oysa çoğu durumda sorun başka yerdedir. Teşhis için üç aşamalı bir kontrol yeterlidir: yanıtla gösterilen pasajlar doğru mu, pasajlar doğruysa doküman net mi, doküman da netse talimat yeterince kısıtlayıcı mı?

Bu sıra izlendiğinde çoğu problemin talimatla ilgisi olmadığı görülür. Getirme yanlış pasaj getiriyorsa kapsam fazla geniştir; doküman belirsizse hiçbir talimat onu netleştiremez. Talimat düzenlemesi ancak ilk iki katman sağlamken anlamlı sonuç verir.

Dördüncü bir katman daha vardır ve sık atlanır: sorunun kendisi. Kullanıcılar bazen asistanın kapsamı dışındaki bir bilgiyi sorar veya soruyu belirsiz kurar. Bu durumda hiçbir talimat veya doküman düzenlemesi sonucu değiştirmez. Yanıtsız kalan soruları incelerken bu ayrımı yapmak önemlidir — kapsam dışı sorular bir eksiklik değil, asistanın sınırlarının doğru çalıştığının işaretidir. Gerçek eksik, kapsam içinde olması gereken ama yanıtlanamayan sorulardır.