Modell-drift
A modell megbízható teljesítményének romlása, amikor megváltozik a valós környezet, az adat vagy a megoldandó feladat.
Analógia
Mint egy régi útvonalterv, amely nem számol az új lezárásokkal és az időközben megváltozott forgalommal.
Miért fontos?
Egy korábban jól működő AI-rendszer idővel elavulhat, ha az emberek, folyamatok vagy bemeneti adatok eltérnek attól, amire a bevezetéskor számítottak.
Hogyan működik?
Modell-driftről akkor beszélünk, amikor egy korábban megfelelően működő modell eredményei romlani kezdenek, mert megváltozott a használati környezet, a bemeneti adatok eloszlása vagy maga a feladat. Egy ügyfélszolgálati osztályozó például másféle üzenetekkel találkozhat, mint amilyeneket bevezetésekor kapott. A modellt nem feltétlenül módosították: a körülmények változása miatt a korábban megtanult minták már kevésbé érvényesek.
A drift felismeréséhez a rendszer eredményeit és bemeneteit időről időre ellenőrizni kell, különösen olyan folyamatban, ahol hibás döntésnek érdemi következménye van. Az eltérés észlelése után meg kell vizsgálni, hogy változtak-e az adatok, a felhasználói igények, a forrásrendszerek vagy a mérési mód. Megoldás lehet új adatgyűjtés, beállításmódosítás, újratanítás vagy az emberi felülvizsgálat megerősítése. Nem minden teljesítményingadozás jelent driftet; a mérés bizonytalanságát is figyelembe kell venni. A megfigyeléshez olyan korábbi referencia kell, amelyhez az aktuális eredményeket érdemben lehet viszonyítani.
Példa
Egy beérkező ügyeket kategorizáló modell egy új termék bevezetése után egyre több kérdést sorol rossz témához, ezért a csapat megvizsgálja az új üzenettípusokat és felülvizsgálja a címkéket.
Gyakori tévhit
A drift nem mindig a modell paramétereinek meghibásodása; a megváltozott adatok és használati körülmények is okozhatják.