Mixture of Experts (MoE)
Olyan modellarchitektúra, amelyben a nagy modell belül több specializált alhálózatból áll, és minden bemenetnél csak a releváns experteket aktiválja — a többit nem.
Analógia
Mint egy nagyvállalat tanácsadó csapata: pénzügyi kérdésnél a pénzügyes szakember kerül előtérbe, jogi problémánál a jogász lép be — nem mindenki dolgozik egyszerre minden kérdésen.
Miért fontos?
A Gemini, GPT-4 és más vezető modellek MoE-alapú felépítést használnak. Ez magyarázza, hogyan lehet egyszerre hatalmas tudású és viszonylag hatékony egy modell: nem minden kérdésnél fut a teljes hálózat, csak az adott feladatra specializált rész.
Hogyan működik?
A Mixture of Experts architektúrában a modell több különálló alhálózatot, úgynevezett szakértőt tartalmaz, és egy irányító komponens választ közülük a bemenet alapján. Az irányító a tokeneket vagy más bemeneti részeket azokhoz a szakértőkhöz küldi, amelyek várhatóan hasznosak az adott feldolgozáshoz. Így egy adott lépésben nem feltétlenül kell minden paramétert használni. A szakértők nem feltétlenül felelnek meg ember által megnevezett témáknak; specializációjuk a tanítás során alakulhat ki.
A felhasználó számára a MoE felépítés nem jelenik meg külön kapcsolóként. Inkább a háttérben befolyásolja, hogyan osztja el a rendszer a számítási munkát és milyen belső útvonalon dolgozza fel a kérést. A megoldás összetettebbé teszi a modell tervezését: az irányítónak megfelelően kell kiválasztania a szakértőket, a terhelést pedig kezelni kell. A válasz minőségét továbbra is a tanítás, a bemenet és a teljes modell kialakítása határozza meg, nem önmagában az, hogy több szakértője van.
Példa
Egy MoE-alapú nyelvi rendszer egy kódmagyarázatra irányuló kérdés különböző részeit más-más belső alhálózatokhoz küldheti feldolgozásra, majd ezek eredményét egyesíti.
Gyakori tévhit
A szakértők nem feltétlenül előre programozott, emberi értelemben vett szakterületi modulok. Az architektúra irányítója a tanult minták alapján választ közülük.