Hőmérséklet (Temperature)
A modell válaszainak kreativitását és kiszámíthatatlanságát szabályozó technikai beállítási érték.
Analógia
A konyhai fűszerezéshez hasonlít: alacsony hőmérsékletnél szigorúan követjük a nagymama receptjét (stabil, biztos eredmény), magasnál viszont a szakács improvizál és bátran kísérletezik a furcsa ízpárosításokkal.
Miért fontos?
Ha szigorú, tényszerű adatokat vagy kódot kérünk, alacsony értékre van szükség a hibák elkerülése végett. Ha viszont marketing szöveget vagy ötletelést várunk tőle, a magasabb hőmérséklet sokszínűbb, érdekesebb, kevésbé sablonos válaszokat fog eredményezni.
Hogyan működik?
A hőmérséklet egyes nyelvimodell-rendszerekben a következő token kiválasztásának véletlenszerűségét módosító generálási beállítás. A modell a folytatásokhoz valószínűségeket rendel; a hőmérséklet megváltoztatja, mennyire koncentráljon a magasabb valószínűségű lehetőségekre, vagy mennyire engedjen teret a ritkábbaknak. A pontos skála és hatás a rendszer implementációjától függ, és nem minden felületen állítható. Ez a beállítás a mintavételezést érinti, nem a modell tudását.
A felhasználó ezzel főleg fejlesztői felületeken vagy API-val dolgozva találkozhat. Ugyanazzal a prompttal kimenetenként eltérő megfogalmazás születhet; feladatfüggően lehet fontos a változatosság vagy a kiszámíthatóbb forma. Az alacsonyabb hőmérséklet nem teszi tényszerűen helyessé a választ, a magasabb pedig önmagában nem hoz létre új szakértelmet. Ez csak egy a kimenetet alakító beállítások közül. Érdemes néhány reprezentatív példán kipróbálni a beállítást, majd a feladat hibaköltségéhez és elvárt változatosságához igazítani.
Példa
Egy fejlesztő rövid, rögzített formájú kategóriacímkéket generál, ezért visszafogottabb mintavételezést próbál. Ötleteléshez külön kérésben többféle változatot is enged.
Gyakori tévhit
Az alacsony hőmérséklet nem garancia a helyes válaszra, csak a tokenválasztás változatosságát befolyásolja.