Sampling (mintavételezés)
Az a folyamat, amellyel a modell kiválasztja a következő tokent a lehetséges opciók közül. A temperature és a top-p ehhez a választási folyamathoz tartozó beállítások.
Analógia
Mint amikor egy vers írásánál nem mindig a legkézenfekvőbb rímet választod, hanem néha meglepőbbet is.
Miért fontos?
Ez határozza meg, mennyire lesz kiszámítható vagy változatos a válasz. Üzleti környezetben fontos különbség, hogy egy rendszer kreatív ötletelésre vagy stabil, reprodukálható outputra van hangolva.
Hogyan működik?
A modell minden új token előtt több lehetséges folytatásra számol valószínűséget. Mintavételezéskor ezek közül választ: választhatja mindig a legvalószínűbbet, vagy sorsolhat a lehetséges folytatások súlyozott készletéből. A hőmérséklet és a valószínűségi küszöböket szabályozó beállítások megváltoztathatják, mely lehetőségek maradnak játékban és mennyire változatos a választás. A folyamat tokenenként ismétlődik, ezért egy korai eltérő választás a mondat további menetét is befolyásolja.
A felhasználó ezt akkor tapasztalja, amikor ugyanarra a kérésre több, kissé eltérő megfogalmazású választ kap, vagy amikor egy rendszer szűkebben beállítva következetesebb formátumot ad. Ötletelésnél a változatosság hasznos lehet, adatkinyerésnél inkább a stabil, elvárt forma számít. A mintavételezés azonban nem kapcsolja ki vagy be a tudást, és nem tesz egy választ automatikusan kreatívvá vagy helyessé. A beállítás csak a következő tokenek kiválasztási módjára hat; a tartalmat továbbra is a kérés, a kontextus és a modell korlátai alakítják.
Példa
Egy tanár ugyanarra a kérésre háromféle bevezető mondatot kér egy tananyaghoz; a változatos mintavételezés eltérő ötleteket ad, míg a végleges definíciót külön ellenőrzi.
Gyakori tévhit
A mintavételezés nem egy külön kreatív tudásréteg. A választás változatosságát módosítja, de nem pótolja a hiányzó tényeket vagy a gyenge utasítást.