Tokenizer (tokenizáló)
Az a komponens, amely a szöveget tokenekre bontja, mielőtt a modell feldolgozná. A különböző tokenizálók eltérően darabolják ugyanazt a szöveget.
Analógia
Mint egy kiadványszerkesztő sortörési logikája: nem ugyanott vágja el a szöveget minden rendszer, és ez hatással van a végeredményre.
Miért fontos?
Ez közvetlenül befolyásolja a token-számot, az árazást és a kontextusablak kihasználását. Nem-fejlesztőként azért fontos, mert ugyanaz a dokumentum különböző rendszerekben más költséget és más viselkedést eredményezhet.
Hogyan működik?
A tokenizáló a szöveget olyan darabokra bontja, amelyeket a modell saját szókészletének elemeiként kezelhet. Egy darab lehet teljes szó, szótaghoz hasonló részlet, írásjel vagy más részszöveg; a felosztás az adott tokenizáló szabályaitól függ. A darabokhoz tokenazonosítók tartoznak, ezekből lesz a modell számára feldolgozható bemenet. A kimenet előállításakor a modell szintén ilyen elemeket választ egymás után, amelyeket a rendszer a végén olvasható szöveggé alakít.
A felhasználó ezt leginkább hosszabb bemeneteknél veszi észre: a felület tokenkorlátot jelezhet, vagy hasonló hosszúságú szövegek eltérő mennyiségű helyet foglalhatnak. Ritkább szavak, összetett alakok, kód és írásjelek szokatlanabb darabolást eredményezhetnek. Ezért a tokenek száma nem azonos a szavak vagy karakterek számával. A szöveg darabolása befolyásolja, mennyi tartalom fér el egyszerre, de önmagában nem mondja meg, hogy a modell mennyire érti vagy milyen jól dolgozza fel azt.
Példa
Egy hosszú magyar szerződést a felület nem enged egyetlen kérésben elküldeni, ezért a felhasználó rövidebb részekre bontja; a korlátot a tokenek összmennyisége is befolyásolja.
Gyakori tévhit
A tokenizáló nem egyszerűen szóközök mentén választja szét a szöveget. Egyetlen szó több token lehet, és egy token sem feltétlenül felel meg egy teljes szónak.