Red teaming (ellenséges tesztelés)
Célzott, támadójellegű tesztelés, amelynek során szakértők szándékosan keresik egy AI-rendszer gyengeségeit, hibás viselkedését és biztonsági réseit — mielőtt éles használatba kerül.
Analógia
Mint a penetrációs teszt IT-biztonságban: nem várod meg, hogy a valódi támadó megtalálja a rést, hanem előbb te keresel.
Miért fontos?
A komoly AI fejlesztők és szervezetek red teaminggel keresik az előre nem látott hibamódokat. Üzleti AI-projekteknél is érdemes legalább informálisan alkalmazni: ki próbáljon ki mindenféle szokatlan kérdést, mielőtt az ügyfél kezébe adják.
Hogyan működik?
A red teaming egy rendszer szándékos, támadói szemléletű vizsgálata. A tesztelők előre meghatározott célokkal próbálnak olyan bemeneteket, helyzeteket és használati útvonalakat találni, amelyek hibás, káros vagy nem kívánt működéshez vezetnek. AI esetén a vizsgálat kiterjedhet a félrevezető kérésekre, a torz válaszokra, az adatkezelésre és az eszközökön keresztüli műveletekre. A talált eseteket rögzítik, súlyosság szerint értékelik, majd a javítás után újra ellenőrzik. Ettől válik a próba megismételhető tanulási folyamattá.
A mindennapokban ez lehet egy új ügyfélszolgálati bot vagy belső dokumentumkereső élesítés előtti próbája. A tesztelő szokatlan, de reális felhasználói helyzeteket készít, nem csupán a bemutatóban szereplő ideális kérdéseket teszi fel. A vizsgálat eredménye a rendszer korlátait és a szükséges emberi ellenőrzést is segít meghatározni. Nem elég egyetlen hibát kijavítani; fontos megérteni, hogy az eset egy tágabb hibamód jele-e, és a változtatás nem rontott-e más feladatokon.
Példa
Egy szervezet tesztelői azt próbálják ki, hogy a belső asszisztens hogyan reagál hibás forrásdokumentumra, hozzáférés nélküli kérésre és kétértelmű utasításra, majd feljegyzik az eltéréseket.
Gyakori tévhit
A red teaming nem kizárólag kibertámadások keresését jelenti. AI-rendszernél a vizsgálat a tartalmi, működési, adatvédelmi és felhasználói kockázatokra is kiterjedhet.