Inferencia
Az a folyamat és számítási fázis, amikor egy már betanított mesterséges intelligencia a kapott bemenet alapján ténylegesen legenerálja a választ.
Analógia
Míg a betanítás maga az évekig tartó tanulás az egyetemen, az inferencia az a pillanat, amikor a már végzett szakember élesben, a megszerzett tudása alapján megválaszolja az ügyfél konkrét kérdését.
Miért fontos?
Ez határozza meg, milyen gyorsan kapjuk meg a választ a képernyőn, és mennyi erőforrásba kerül egy feladat futtatása a mindennapi használat során. Amikor idegesítően lassúnak érezzük az AI-t, az azért van, mert az inferencia folyamata éppen leterhelt a szolgáltató szerverein.
Hogyan működik?
Az inferencia az a számítási szakasz, amikor a már betanított modell új bemenetet kap, és abból kimenetet készít. A modell feldolgozza a tokeneket, kiszámítja a lehetséges folytatásokat, majd a beállítások szerint új tokeneket választ. A folyamat addig ismétlődik, amíg elkészül a válasz vagy elér egy megadott leállási feltételt. A betanítás során módosulnak a modell paraméterei; inferencia közben a használó tipikusan ezeket a rögzített paramétereket alkalmazza a kérdésére.
Minden chatkérdés, dokumentumösszefoglaló vagy modellhívás inferencia. A felhasználó a válasz idejét, a folyamatosságot és esetleg a részleges kimenetet érzékeli. A futás sebességét több tényező alakítja: a bemenet és a válasz hossza, a modell és a hardver, a kérések száma, valamint az alkalmazás hálózati útja. Emiatt a lassú válasz nem feltétlenül jelenti, hogy a modell „gondolkodik” vagy hogy a kérdés nehéz. A fejlesztők az inferencia során szabályozhatják a paramétereket és a hozzáférést is.
Példa
Egy munkatárs elküld egy kérdést és egy rövid útmutatót az asszisztensnek. Amikor a modell a megadott szövegből összefoglalót állít elő, az inferencia zajlik.
Gyakori tévhit
Az inferencia nem újratanítás: a modell egy konkrét bemenet feldolgozásakor használja a már betanított paramétereit.