Adatmérgezés
A tanító- vagy működési adatok szándékos megrontása úgy, hogy az AI-rendszer viselkedése hibás vagy támadható legyen.
Analógia
Mint amikor valaki hamis példákat kever egy gyakorlófeladatsorba, hogy a tanuló rossz szabályt sajátítson el.
Miért fontos?
A manipulált adatok félrevezethetik a modellt, ezért az adatforrások eredetét, integritását és változásait is védeni kell.
Hogyan működik?
Adatmérgezésnek nevezik, amikor valaki szándékosan olyan adatot juttat egy AI-rendszer tanító- vagy bemeneti adatai közé, amely hibás működésre ösztönözheti. A támadás történhet úgy, hogy a modellhez kerülő példák egy része megváltozik, vagy egy adatforrásba hamis információt csempésznek. A cél lehet a pontosság általános rontása, bizonyos kimenetek kiváltása vagy egy rejtett viselkedésmintázat kialakítása. A fogalom különösen a tanítási adatok eredetének és integritásának védelménél fontos.
A védekezéshez nyomon kell követni az adatok származását és változásait, ellenőrizni kell a gyanús mintákat, és korlátozni kell, ki módosíthatja a tanítóanyagokat. A működő modell eredményeit is érdemes szokatlan viselkedésre figyelni. Nem minden hibás vagy elfogult adat szándékos támadás: véletlen hiba, elavult forrás vagy rossz címkézés is torzíthat. A szervezetnek ezért adatminőségi és biztonsági folyamatokat egyaránt használnia kell. Az adatmérgezés kockázata attól is függ, honnan származik a modell és milyen adatokat használ.
Példa
Egy csapat ellenőrzi a nyílt adatforrásból frissített tanítópéldákat, és elkülöníti azokat a módosításokat, amelyek szokatlanul megváltoztatnák a modell viselkedését.
Gyakori tévhit
Az adatmérgezés szándékos manipulációt jelent; az adatminőség minden hibája nem támadás.