Parçalama (chunking)

Bir gömme vektörü sabit uzunluktadır ve ne kadar uzun metin verilirse verilsin aynı boyutta kalır. 80 sayfalık bir prosedürü tek vektöre sıkıştırmak, o dokümanın "genel havasını" temsil eder ama içindeki spesifik bir maddeyi bulmayı imkânsız kılar.

Parçalama bu problemi çözer. Doküman anlamlı birimlere bölünür, her birim ayrı vektörle temsil edilir ve sorgu geldiğinde yalnızca ilgili birim getirilir. Böylece 80 sayfalık dokümandan doğru paragraf çıkarılabilir.

Küçük parçalar isabeti artırır ama bağlamı kırar: bir maddenin öncesindeki koşul cümlesi başka parçaya düşerse yanıt eksik kalır. Büyük parçalar bağlamı korur ama içinde ilgisiz metin taşıdığı için vektör temsili bulanıklaşır ve arama isabeti düşer.

Pratikte tercih edilen yaklaşım, orta boy parçalar ve parçalar arası örtüşmedir. Örtüşme, sınırda kalan cümlelerin iki parçada da bulunmasını sağlar ve kırılma riskini azaltır.

İyi yapılandırılmış dokümanlar daha iyi parçalanır. Başlıkları olan, maddeleri numaralanmış bir prosedür doğal sınırlar sunar; tek blok halinde yazılmış bir metin sunmaz. Bu, doküman kalitesinin arama kalitesine dönüştüğü somut noktalardan biridir.

Taranmış PDF'lerde ek bir katman vardır: metin katmanı yoksa parçalama öncesinde metin çıkarımı gerekir. Görsel ağırlıklı dokümanlarda ise metin tabanlı parçalama yetersiz kalabilir ve görsel içeriğin ayrıca ele alınması gerekir.

Parçalama algoritması doküman yapısını kullanır; yapı yoksa keyfi sınırlardan böler. Başlıkları, numaralanmış maddeleri ve kısa paragrafları olan bir prosedür doğal kesme noktaları sunar ve her parça kendi içinde anlamlı kalır. Tek blok halinde yazılmış on sayfalık bir metin ise cümle ortasından bölünebilir.

Bu, doküman kalitesinin arama kalitesine dönüştüğü en somut noktadır. Asistanı iyileştirmek için yapılabilecek en ucuz iyileştirme çoğu zaman modelde değil, en sık sorgulanan beş dokümana başlık ve madde yapısı eklemektedir.

İkinci somut iyileştirme, dokümanın başına kısa bir kapsam özeti eklemektir. Parçalama sırasında her parça bağlamından kopar; hangi prosedüre ait olduğu belirsizleşebilir. Dosya adı ve başlıklar bu bağlamı kısmen taşır, ancak metin içinde geçen açık bir tanım daha güvenilirdir. Bu, uzun ve çok konulu dokümanlarda özellikle etkilidir: her ana bölümün başında konunun bir cümleyle tekrarlanması, o bölümden gelen parçaların doğru sorguda bulunmasını belirgin biçimde kolaylaştırır.