Büyük dil modeli (LLM)

Bir dil modeli, verilen metnin devamını olasılıksal olarak üretir. Eğitim verisinden gelen geniş bir dünya bilgisi taşır ve akıcı metin üretir. Ancak bu bilgi bir kesim tarihinde donmuştur ve modelin kendi ağırlıklarında saklıdır — kaynağı gösterilemez.

Kurumsal kullanımda bu iki özellik yetersiz kalır. Şirketinizin izin prosedürü hiçbir modelin eğitim verisinde yoktur, ve bir yanıtın nereden geldiğini gösteremiyorsanız o yanıtı bir denetimde kullanamazsınız. Bu yüzden dil modeli tek başına bir kurumsal bilgi çözümü değildir.

KobiGPT varsayılan olarak Gemini ailesinden bir sohbet modeli kullanır. Modelin görevi bilgi taşımak değil, önüne konan doküman parçalarını okuyup soruya uygun biçimde özetlemektir. Bilgi, modelin ezberinden değil arşivden gelir.

Bu tasarım modeli değiştirilebilir bir bileşen haline getirir. Model yapılandırma ile belirlenir; değiştiğinde arşivin yeniden indekslenmesi gerekmez. Gömme modelinde durum tersidir — orası sistem çapında bir değişmezdir.

Dil modeli kullanımı token bazlı faturalanır ve KobiGPT bunu Kobi Kredi birimine çevirir. Bir AI mesajı en az 0.1 Kobi olarak ölçülür; gerçek tüketim modelin döndürdüğü giriş ve çıkış token sayısına göre hesaplanır ve çıkış tokenleri daha ağır ağırlıklandırılır.

Aylık kota plan seviyesinde tanımlıdır: Ücretsiz plan 120, Starter 1000, Pro 12500 Kobi. Bu, dış servis maliyetini öngörülebilir kılan mekanizmadır.

Dil modellerinin en yanıltıcı özelliği, doğru ve yanlış yanıtları aynı güvenle üretmesidir. Akıcılık doğruluk sinyali değildir; iyi yazılmış bir cümle yanlış bir prosedürü de aynı ikna ediciliğinde aktarabilir. Kurumsal kullanımda bu, yanıtın kendisinden çok kaynağının kontrol edilmesini zorunlu kılar.

Pratik kural şudur: hukuk, finans ve İK gibi sonuç doğuran alanlarda yanıtı değil, yanıtın dayandığı pasajı okuyun. Asistan bu pasajı bulmayı hızlandırır; kararın sorumluluğunu üstlenmez. Bu ayrım net tutulduğunda model kalitesi tartışması da doğru yere oturur.

Bu tuzağın kurumsal ortamdaki karşılığı, asistanın zamanla sorgulanmadan güvenilir sayılmaya başlamasıdır. İlk haftalarda herkes kaynakları kontrol eder; birkaç ay sonra yanıtlar doğrudan uygulanmaya başlar. Bu kayma sessiz gerçekleşir ve fark edildiğinde genelde bir hata sonrası olur. Önlemi basittir: sonuç doğuran alanlarda kaynak kontrolünü süreç adımı haline getirin. Asistanın yanıtını bir prosedüre dayandıran kişi, o prosedürün hangi dosyadan geldiğini de kaydediyorsa zincir denetlenebilir kalır.