BullMQ

Doküman yükleme ile indeksin hazır olması arasında iş vardır: dosyanın metni çıkarılır, parçalara ayrılır, her parça için gömme çağrısı yapılır ve vektörler yazılır. Bu işlem büyük dosyalarda dakikalar sürebilir.

Bu işi HTTP isteği içinde senkron yapmak, kullanıcıyı bekletir ve zaman aşımı riskine açar. Kuyruk, işi arka plana alır; kullanıcı yüklemeyi tamamlar ve doküman durumu ilerledikçe güncellenir.

KobiGPT’de doküman durumları bu ilerlemeyi yansıtır: pending, processing, embedding, indexing, completed ve failed. Kullanıcı hangi aşamada olduğunu görebilir.

Kuyruğun asıl değeri toplu yüklemede ortaya çıkar. Yüzlerce doküman aynı anda yüklendiğinde sistem tıkanmaz; işler sıraya alınır ve işçiler kapasiteleri ölçüsünde tüketir.

Bu, gömme sağlayıcısının hız sınırlarına da uyum sağlar. Çağrılar kontrollü bir tempoda yapılır; sağlayıcı geçici hata döndürdüğünde iş yeniden denenir ve doküman failed durumuna düşmeden tamamlanabilir.

Yeniden deneme mantığı burada kritiktir. Kuyruk olmadan geçici bir ağ hatası dokümanı kalıcı olarak başarısız bırakır; kuyrukla aynı hata görünmez bir gecikmeye dönüşür.

Kuyruk gözlemlenmesi gereken bir bileşendir. Doküman uzun süre processing veya embedding durumunda kalıyorsa kuyruk tıkanmış, işçi düşmüş veya sağlayıcı erişilemez olabilir.

Bu yüzden doküman durumu yalnızca kullanıcıya bilgi vermek için değil, operasyonel bir sinyal olarak da kullanılır. Takılı kalan işleri yeniden kuyruğa almak, sistemin normal bakım akışının parçasıdır.

Self-hosted kurulumda Redis ve işçi süreçleri sizin altyapınızda çalışır; kapasite, kalıcılık ayarları ve izleme sizin sorumluluğunuzda olur.

Kuyruk, işleri sıraya alarak sistemi korur ama gecikmeyi ortadan kaldırmaz. Yüz doküman aynı anda yüklendiğinde sonuncusu ilkinden belirgin biçimde geç hazır olur; bu, bir arıza değil tasarımın doğal sonucudur.

Kullanıcı beklentisini yönetmek bu yüzden önemlidir. Doküman durumunun arayüzde görünür olması, kullanıcının işlemin sürdüğünü anlamasını sağlar. Toplu yükleme planlanırken en kritik dokümanları önce yüklemek, bekleme süresinin operasyonel etkisini azaltan basit bir pratiktir.

İkinci pratik önlem, toplu yüklemeyi mesai dışına almaktır. Gece başlatılan bir yükleme sabaha tamamlanır ve kullanıcılar bekleme süresini hiç fark etmez.

Üçüncü önlem, yükleme sırasını içerik önceliğine göre kurmaktır; en sık sorgulanan dokümanlar ilk sırada olduğunda asistan tam kapasiteye ulaşmadan kullanılabilir hale gelir ve bekleme algısı ortadan kalkar.