Token
A legkisebb szövegegység, amelyet az AI feldolgoz. Hozzávetőleg 1 token ≈ 0,75 szó magyarul.
Analógia
Mint a szótagok a beszédben – a modell nem szavakat, hanem kisebb darabokat olvas.
Miért fontos?
Az árazás és a kontextusablak korlátja tokenben mérődik. Ha ezt értjük, tudjuk becsülni a költségeket és megértjük, miért felejti el a modell a hosszú beszélgetések elejét.
Hogyan működik?
A modell a szöveget tokenizálásnak nevezett lépésben olyan darabokra bontja, amelyek lehetnek teljes szavak, szótaghoz hasonló részek, írásjelek vagy szóközökkel együtt kezelt egységek. A tokenizáló szabályai rögzítik, hogy egy adott szövegrészből milyen tokenazonosítók lesznek; ezek az azonosítók kerülnek a modell számítási folyamatába. Emiatt két azonos hosszúságú mondat tokenmennyisége eltérhet, és a ritkább szóalakok gyakran több darabra esnek szét.
Használat közben a tokenmennyiség befolyásolja, mennyi beszélgetés, dokumentum és válasz fér egy kérésbe, illetve sok rendszerben ezt használják a számítási igény mérésére. Hosszú bemenetnél segíthet a fölös ismétlések eltávolítása, a releváns részek kiválasztása vagy a feladat kisebb lépésekre bontása. A magyar toldalékos szavak tokenizálása különösen változatos lehet, ezért a szavak száma csak durva támpont. A pontos mennyiséget az adott rendszer tokenizálója mutatja meg.
Példa
Egy munkatárs egy hosszú jegyzőkönyvet másol be összefoglalásra, de az egész anyag nem fér bele a kérés keretébe. Előbb fejezetekre bontja, majd azt kéri, hogy ezekből készítsen egy rövid összegzést.
Gyakori tévhit
A token nem mindig egy szó: egy szó több tokenből állhat, egy gyakori szó pedig egyetlen token is lehet.