Megerősítéses tanulás
Olyan tanulási módszer, amelyben egy rendszer cselekvéseket próbál ki, és a kapott visszajelzés, például a jutalomjel alapján alakítja a viselkedését.
Analógia
Mint egy játékos, aki a szabályok között próbálkozik, és a pontszámból tanulja meg, melyik lépés vezet jobb eredményhez.
Miért fontos?
Hasznos fogalom a döntéssorozatokat végző rendszerek és az emberi visszajelzéssel finomított modellek megértéséhez.
Hogyan működik?
Megerősítéses tanulásnál egy rendszer egy környezetben cselekszik, megfigyeli a következményeket, majd visszajelzést kap arról, mennyire volt hasznos a lépése. A cél olyan viselkedés megtanulása, amely hosszabb távon kedvező eredményekhez vezet. A jutalom lehet pontszám vagy más értékelő jel, de megtervezése nem egyszerű: ha rosszul írják le a célt, a rendszer a mérőszámot optimalizálhatja a valódi szándék helyett.
A tanuló rendszernek általában sok próbálkozásból kell következtetnie arra, mely lépések működnek. Ez különbözik attól, amikor minden bemenethez előre megadják a helyes választ. A megerősítéses tanulás több területen használható, és egyes nyelvimodell-utótréningezési módszerekben is szerepet kaphat. Az RLHF ennek egy emberi visszajelzéshez kötődő változata; a két fogalom ezért kapcsolódik, de nem azonos. A tanulás biztonságához a kipróbálható környezetet és a megengedett műveleteket is előre korlátozni kell.
Példa
Egy virtuális robot egy szimulált raktárban több útvonalat próbál ki, és a célba gyorsan, ütközés nélkül eljutó lépéssorozatokért kedvezőbb visszajelzést kap.
Gyakori tévhit
A megerősítéses tanulás nem ugyanaz, mint az RLHF; az utóbbi emberi értékeléseket használ egy adott tanítási folyamatban.