KobiGPT vs Claude

Modern modellerin bağlam pencereleri belirgin biçimde büyüdü ve bu, "artık tüm dokümanları bağlama koyabilirim" düşüncesini akla getiriyor. Küçük arşivlerde bu doğru; birkaç yüz sayfalık bir doküman setini doğrudan bağlama vermek pratik bir yaklaşımdır.

Ancak arşiv büyüdükçe iki problem çıkar. Birincisi maliyet: her sorguda tüm arşivi göndermek, yalnızca ilgili parçaları göndermeye göre kat kat pahalıdır ve bu maliyet her mesajda tekrarlanır. İkincisi isabet: geniş bağlamda ilgisiz metin arttıkça modelin doğru pasajı ağırlıklandırması zorlaşır.

KobiGPT dokümanları parçalara ayırır, her parçayı çok dilli bir gömme modeliyle vektöre çevirir ve sorgu anında yalnızca en alakalı parçaları getirir. Böylece 12.500 dokümanlık bir arşivde bile her sorgu sabit ve küçük bir bağlamla çalışır.

Bu yaklaşımın bedeli de vardır: getirme adımı yanlış parçayı seçerse yanıt eksik kalır. Bu yüzden kaynak gösterimi zorunlu bir tasarım öğesidir — kullanıcı hangi parçadan yanıt üretildiğini görür ve eksik getirmeyi fark edebilir.

Model karşılaştırmasının ötesinde asıl fark yine ürün katmanındadır. Departman bazlı kapsam ayrımı, rol tabanlı erişim, şirket başına vektör izolasyonu ve Kobi Kredi ile kullanım ölçümü bir sohbet arayüzünün sunduğu şeyler değildir.

Plan tarafında bu somutlaşır: Pro planı 12500 doküman, 25 asistan ve 50 kullanıcı kapsar. Bu ölçekte doküman yönetimi tek başına bir problem haline gelir ve sohbet arayüzü bu problemi çözmez.

Pratik bir eşik ölçütü şudur: doküman setiniz her sorguda bağlama sığıyor ve maliyeti kabul edilebilir kalıyorsa retrieval katmanı gereksiz karmaşıklıktır. Birkaç düzine sayfada bu geçerlidir ve doğrudan bağlam kullanmak daha basittir.

Eşik üç yerde aşılır: arşiv büyüdüğünde her mesajda tekrarlanan bağlam maliyeti birikir; kullanıcı sayısı arttığında bu maliyet kullanıcıyla çarpılır; kapsam ayrımı gerektiğinde ise tüm arşivi bağlama koymak zaten yanlış olur çünkü herkes her şeyi görür. Bu üçünden biri geçerliyse retrieval kaçınılmaz hale gelir.