Kontextusablak
A maximális szövegmennyiség (tokenben), amelyet az AI egyszerre 'lát' – beleértve a bemenet és a kimenet összegét.
Analógia
Mint egy korlátozott méretű íróasztal – egyszerre csak annyi papír fér el rajta, amennyi elfér.
Miért fontos?
Ha a beszélgetés vagy dokumentum meghaladja a kontextusablakot, a modell elfelejti a korábbi részeket. Hosszú dokumentum-munkánál kritikus.
Hogyan működik?
A kontextusablak az a munkaterület, amelynek tartalmát a modell egy adott válaszkészítéskor figyelembe veheti. Ide tartozhat a rendszerutasítás, a beszélgetés előzménye, a felhasználó aktuális kérése, a csatolt vagy visszakeresett szöveg, valamint a létrehozandó válasz is. A keretet tokenekben számolják, ezért a sok apró részlet, ismétlés és hosszú dokumentum gyorsan elfoglalhatja a rendelkezésre álló helyet.
Ha egy beszélgetés túlnő a kezelhető méreten, az alkalmazás elhagyhat régebbi részeket, összefoglalót készíthet, vagy visszautasíthatja a kérést. A felhasználó ezt úgy érzékelheti, mintha az asszisztens elfelejtett volna valamit. Hosszú munka során érdemes a fontos feltételeket újra megadni, a dokumentumot fejezetenként feldolgozni, és ellenőrizni, melyik anyag van ténylegesen a modell előtt. A rendszer időnként csak összefoglalót tart meg. A nagyobb keret több szöveg kezelését engedi, de önmagában nem teszi pontosabbá a választ.
Példa
Egy szerződés áttekintésekor a felhasználó először csak a felmondási fejezetet és a kérdését adja meg. Később, amikor egy korábbi mellékletre hivatkozik, azt is újra csatolja, hogy az asszisztens biztosan lássa.
Gyakori tévhit
A beszélgetési előzmények nem feltétlenül maradnak mind elérhetők; az alkalmazás kezelheti vagy rövidítheti őket a kereten belül.