OpenRouter

Bir API geçidi, uygulamanın tek bir arayüz üzerinden birden çok model sağlayıcısına erişmesini sağlar. Uygulama kodu tek bir protokol bilir; sağlayıcı değişikliği kod değişikliği değil yapılandırma değişikliği haline gelir.

KobiGPT gömme üretimi için bu yaklaşımı kullanır. Çok dilli gömme modeli geçit üzerinden çağrılır ve üretilen vektörler Qdrant koleksiyonlarına yazılır. Sohbet tarafında ise varsayılan model Gemini ailesindendir.

Bu ayrım önemlidir: gömme ve sohbet farklı katmanlardır, farklı modeller kullanır ve farklı maliyet profillerine sahiptir. Geçit yalnızca erişim yolunu birleştirir, katmanları birleştirmez.

Tek bir sağlayıcıya doğrudan bağlanmak en basit kurulumdur ama fiyat değişikliği, sürüm emekliliği veya erişim kesintisi durumunda manevra alanı bırakmaz. Geçit katmanı bu riski azaltır çünkü alternatif sağlayıcıya geçiş uygulama kodunu etkilemez.

Karşılığında ek bir bağımlılık eklenir: geçidin kendisi. Geçit erişilemez olduğunda tüm model çağrıları etkilenir. Bu yüzden kritik kurulumlarda doğrudan sağlayıcıya düşebilen bir yedek yol tanımlanması yaygın bir pratiktir.

KobiGPT tarafında on-prem senaryosu için gömme işlemi aynı model ile kendi altyapınızda çalıştırılabilir. Bu, veri yerleşimi gereksinimi olan kuruluşlar için geçidi tamamen devre dışı bırakan bir seçenektir.

Geçit seçerken üç şey ölçülmelidir: gecikme, model kataloğunun genişliği ve fiyatlandırma şeffaflığı. Gecikme özellikle gömme tarafında önemlidir çünkü toplu doküman yüklemesinde yüzlerce çağrı arka arkaya yapılır.

İkinci ölçüt, kullandığınız modelin geçitte gerçekten mevcut olup olmadığıdır. Katalogda görünen bir model her zaman aynı sürümde veya aynı boyutta olmayabilir; gömme boyutu sistem çapında bir değişmez olduğu için bu ayrıntı kritiktir.

Üçüncüsü hata davranışıdır. Geçit geçici bir hata döndürdüğünde kuyruk yeniden deneme yapmalı, doküman durumu takılı kalmamalıdır. Bu davranış toplu yükleme sırasında test edilmelidir.

Geçit kullanmanın görünmeyen bir bedeli daha vardır: hata ayıklama zorluğu. Bir çağrı başarısız olduğunda sorunun geçitte mi, sağlayıcıda mı yoksa kendi kodunuzda mı olduğunu ayırt etmek ek bir katman daha inceleme gerektirir.

Bu yüzden geçit üzerinden yapılan çağrıların ayrıntılı kaydedilmesi önemlidir. Hangi model çağrıldı, yanıt süresi ne oldu, hata kodu neydi? Bu kayıtlar olmadan sağlayıcı kaynaklı bir yavaşlama ile kendi kuyruğunuzdaki bir tıkanma birbirine karışır ve teşhis saatler alabilir.

Pratik öneri, geçit üzerinden yapılan çağrılarda hem model adının hem yanıt süresinin kaydedilmesidir. Bu iki alan, sonradan yaşanacak bir performans tartışmasını dakikalar içinde sonuçlandırır.