Transformer (architektúra)
Az a neurális hálózati architektúra, amelyre a modern nagy nyelvi modellek épülnek. A 2017-es áttörést az hozta, hogy a modell a szöveg bármely részére tud figyelni, nem csak a közeli szavakra.
Analógia
Mint egy szerkesztő, aki nem sorban olvassa a kéziratot, hanem egyszerre látja az egészet, és kijelöli, mi kapcsolódik mihez.
Miért fontos?
Ha ezt értjük, jobban látjuk, miért lettek hirtelen ennyire használhatók a mai AI rendszerek üzleti feladatokra. A Transformer a gyorsabb összefüggés-felismerés miatt tette lehetővé a ma ismert LLM-eket.
Hogyan működik?
A Transformer neurális hálózati architektúra, amely egymásra épülő rétegekben dolgozza fel a tokenek reprezentációját. Kulcseleme az attention, amely a bemenet különböző pozíciói közötti kapcsolatokat számítja ki, így a modell felhasználhatja a távolabbi szavak környezetét is. A hálózat további rétegei módosítják és továbbítják ezeket a reprezentációkat. A tanítás során a paraméterek a példák alapján változnak; használatkor a modell ezekkel a megtanult beállításokkal állít elő új kimenetet.
A felhasználó ritkán látja az architektúrát közvetlenül, de az erre épülő modellekkel beszélget, szöveget összefoglal vagy kódot kér. Az architektúra segít a szövegbeli függések feldolgozásában, de az eredmény minőségét nem egyetlen szerkezeti ötlet dönti el: számít a tanítóanyag, a modell mérete, az utólagos tanítás és a futtatási környezet is. A Transformer nem kizárólag nyelvhez használható; megfelelő bemeneti reprezentációkkal képet, hangot vagy más sorozatot is kezelhet.
Példa
Egy asszisztens értelmezi a „küldd el neki” kifejezést, és a korábbi mondatok alapján megpróbálja azonosítani, kire utal a „neki” szó.
Gyakori tévhit
A Transformer nem egyszerűen egy egész szöveget változatlanul átnéző szerkesztő; rétegekben számol a tokenek reprezentációival és kapcsolataival.