Gradiens
Olyan matematikai mennyiség, amely megmutatja, hogyan változik egy függvény értéke a bemeneti változók kis módosításakor.
Analógia
Mint egy lejtő iránya és meredeksége: jelzi, merre változik a magasság, ha egy kicsit elmozdulsz.
Miért fontos?
A modell tanításakor a gradiens segít meghatározni, milyen irányban érdemes módosítani a paramétereket a hiba csökkentéséhez.
Hogyan működik?
A gradiens a matematikában azt írja le, hogyan változik egy több változótól függő függvény értéke, ha a bemeneteket kismértékben módosítjuk. Egy dimenzióban a meredekség hasonló szerepet tölt be; több dimenzióban a gradiens megadja a leggyorsabb növekedés irányát és mértékét. Gépi tanuláskor a rendszer egy veszteségfüggvényt használhat annak mérésére, mennyire tér el a kimenet a kívánttól. A gradiens ennek a hibának a változásáról ad információt a modell paramétereinek függvényében.
A tanítás során egy optimalizáló eljárás a gradiens alapján módosítja a paramétereket, hogy a veszteség csökkenjen. Ez sok apró lépésből állhat, és az eredmény függ az adatoktól, a modell szerkezetétől és a beállításoktól. A gradiens nem maga a megoldás, hanem jelzés arról, merre változtassunk a következő lépésben. Ha a számítás instabil vagy a tanulási beállítás nem megfelelő, a folyamat lassúvá válhat vagy nem vezet használható modellhez. A fogalom megértése segít átlátni, hogyan tanulnak a neurális hálózatok.
Példa
A tanítás során a modell kiszámítja, hogyan változna a veszteség, ha egy belső paramétert kissé módosítana, majd ennek megfelelően frissíti a paramétert.
Gyakori tévhit
A gradiens nem készíti el automatikusan a helyes választ; a tanítási folyamat egyik matematikai segédje.