Attention (figyelem-mechanizmus)
A Transformer belső logikája, amely eldönti, hogy egy új szó generálásakor a kontextus mely részei számítanak a legjobban. Emiatt tud a modell egy mondat végéről visszautalni annak elejére.
Analógia
Mint amikor egy szövegértési feladatnál aláhúzod a kulcsszavakat, és azok alapján értelmezed az egész bekezdést.
Miért fontos?
Ez magyarázza, hogyan tud az AI hosszabb szövegekben összefüggéseket követni, utalásokat felismerni és relevánsabb választ adni. Nem-fejlesztőként ez segít megérteni, miért romlik a teljesítmény rossz vagy túl hosszú kontextusnál.
Hogyan működik?
Az attention, vagy figyelemmechanizmus, egy számítási mód, amellyel a modell az aktuális feldolgozási lépéshez kapcsolódó bemeneti részek súlyát állítja be. A tokenek reprezentációiból lekérdezést, kulcsot és értéket képez, majd a lekérdezés és a kulcsok illeszkedése alapján súlyozottan összesíti az értékeket. Így a modell egy kifejezés feldolgozásakor felhasználhatja a mondat más pontján levő szavak információját is. A súlyok az adott számítás eredményei, nem emberi figyelem.
Ez a mechanizmus segíti a nyelvi modelleket abban, hogy egy névmást korábbi főnévhez kapcsoljanak, vagy egy kérdés releváns részleteit figyelembe vegyék. Több attention-fej és réteg együtt különféle kapcsolatokat dolgozhat fel. Hosszú vagy zavaros bemenetnél ettől még nehéz lehet minden fontos részletet jól kihasználni, a modell pedig összekeverhet távoli információkat. Ezért hosszú dokumentumnál érdemes egyértelmű hivatkozásokat és célzott kérdéseket használni, majd ellenőrizni, hogy a válasz a megfelelő szakaszokra épül-e.
Példa
A felhasználó ezt írja: „Anna átadta Júliának a jelentést, mert ő kérte.” Az asszisztensnek a mondat összefüggéséből kell megállapítania, hogy az „ő” melyik szereplőre utal.
Gyakori tévhit
Az attention súlyai nem magyarázzák meg önmagukban teljesen, miért adott egy modell egy adott választ; csak a számítás egyik részét mutatják.