Desztilláció (Knowledge Distillation)
Kisebb modell tanítása úgy, hogy egy nagyobb, erősebb modell kimeneteit utánozza — így a kisebb modell jobb lesz, mintha csak az eredeti adatokon tanult volna.
Analógia
Mint egy tapasztalt mester és a tanonca: a tanonc nem magától tanulja meg a szakmát tíz év alatt, hanem a mester folyamatos visszajelzéséből tanul — így gyorsabban éri el a szintje nagy részét.
Miért fontos?
Ez az egyik módszer, amely lehetővé teszi, hogy kisebb, olcsóbb modellek is erős teljesítményt nyújtsanak. Sok gyors és hatékony modell desztillált változat. A választásnál fontos tudni: a desztillált modell kisebb, de nem feltétlenül lényegesen kevesebbet tud.
Hogyan működik?
A tudásdesztilláció során egy tanármodell kimenetei vagy belső jelzései segítik egy kisebb tanulómodell képzését. A tanuló sok példán megfigyeli, milyen választ ad a tanár, esetleg azt is, milyen valószínűséget rendel az alternatív lehetőségekhez. A tanítás célja, hogy a kisebb rendszer a fontos viselkedéseket megtanulja kevesebb paraméterrel vagy kisebb futtatási igénnyel. Az eredmény attól függ, milyen példákat választottak, milyen célfüggvényt használtak és mely képességeket akarták átadni.
A mindennapokban a felhasználó kész, kisebb modellként találkozhat a desztilláció eredményével, például amikor egy egyszerűbb feladathoz helyi vagy gyorsabb változatot választ. Az ilyen modell előnyös lehet összefoglaláshoz vagy rutinszerű címkézéshez, miközben összetett, ritka esetekben gyengébben teljesíthet. A méret csökkentése önmagában nem mondja meg, mely képességek maradtak meg. A választást a tényleges feladaton érdemes ellenőrizni, és szükség esetén a nehezebb eseteket külön másik rendszerhez irányítani.
Példa
Egy csapat egy nagyobb modell által megfogalmazott példaválaszokkal tanít be kisebb modellt arra, hogy a beérkező rövid kérdéseket három ügytípusba sorolja.
Gyakori tévhit
A desztillált modell nem válik automatikusan a tanármodell pontos másolatává. A tanuló a kiválasztott példákon és célokon keresztül közelíti a tanár viselkedését, ezért képességei eltérhetnek.