Chunking (darabolás)
A dokumentumok kisebb, feldolgozható egységekre bontása indexelés előtt. A darabolás módja erősen befolyásolja, hogy mit talál vissza később a rendszer.
Analógia
Mint egy hosszú szerződés indexelése: attól függően, hogy fejezetekre, bekezdésekre vagy mondatokra bontod, más pontossággal lehet majd visszakeresni.
Miért fontos?
RAG projektnél ez gyakran láthatatlan, mégis kritikus döntés. Ha túl nagyok vagy túl kicsik a darabok, a rendszer pontatlan, felszínes vagy félrevezető válaszokat fog adni.
Hogyan működik?
Daraboláskor a hosszú anyagot kisebb szövegegységekre bontják, hogy azokat külön lehessen indexelni és később visszakeresni. A darabok határai igazodhatnak fejezethez, bekezdéshez vagy mondathoz, de rögzített hossz alapján is kijelölhetők. Egyes rendszerek átfedést hagynak a szomszédos részek között, így egy határon átnyúló gondolat mindkét darabban részben megmarad. Gyakran a cím, fejezet vagy dokumentumazonosító is az egységhez kerül, hogy a találat környezete később visszaállítható legyen.
A hétköznapi kérdezz-felelek rendszerben ez befolyásolja, hogy egy kérdésre milyen részlet kerül a modell elé. Túl kicsi darabnál a mondat elveszítheti a szükséges előzményét; túl nagynál sok fölösleges szöveg kerülhet a találatok közé. A jó méret az anyagtól és a kérdésektől függ: egy táblázat, egy eljárásleírás és egy hosszú érvelés más felosztást igényelhet. Ha a keresés pontatlan, a darabolás felülvizsgálata gyakran hasznosabb, mint az egész válaszoló rendszer lecserélése.
Példa
Egy szabályzat feldolgozásakor a rendszer a fejezetcímeket a hozzájuk tartozó bekezdésekkel együtt tárolja, hogy visszakereséskor az egyes előírások megőrizzék a témájukat.
Gyakori tévhit
Nincs minden dokumentumhoz egyetlen ideális darabméret. A felosztást az anyag szerkezete és a várható kérdések alapján kell megválasztani.