Magyarázható AI (XAI)
Olyan technikák és megközelítések összessége, amelyek érthetővé teszik, hogyan és miért hozott egy AI-rendszer adott döntést. A cél az átláthatóság növelése.
Analógia
Mint a bírósági ítélet indoklása: nem elég a végeredmény, a döntési logikának is nyomon követhetőnek kell lennie.
Miért fontos?
Regulációs és compliance szempontból egyre kritikusabb: az EU AI Act magas kockázatú AI rendszerektől megköveteli, hogy döntéseik magyarázhatók legyenek. Üzleti oldalon az auditálhatóság és a felelősségvállalás alapfeltétele.
Hogyan működik?
A magyarázható AI különböző módszerekkel teszi vizsgálhatóbbá, hogy egy rendszer milyen bemenetekre és mintákra támaszkodott. Egyszerűbb modelleknél maga a döntési szabály is áttekinthető lehet; összetett modelleknél gyakran utólagos magyarázatot készítenek, például megmutatják, mely jellemzők befolyásolták leginkább az eredményt. Ezek a magyarázatok közelítések, amelyek a választott módszertől és a vizsgált példától függenek. Nem feltétlenül tárják fel a modell belső működésének minden részletét.
A gyakorlatban XAI-eszközökkel ellenőrizhető, hogy egy előrejelző rendszer milyen adatokat használt, vagy hogy egy képosztályozó mely területekre figyelt. Ez segíthet hibát találni, összehasonlítani a viselkedést és elmagyarázni egy döntést az érintetteknek. A magyarázatot azonban önmagában nem szabad bizonyítéknak tekinteni: össze kell vetni a rendszer tényleges működésével és a feladat szakmai követelményeivel. Kockázatos döntésnél a magyarázhatóság mellett az emberi felülvizsgálat és az adatminőség is számít.
Példa
Egy elemző megvizsgálja, hogy egy hitelkockázati előrejelzésnél a rendszer egy releváns pénzügyi jellemzőre támaszkodott-e, vagy váratlan adatmező befolyásolta az eredményt.
Gyakori tévhit
Egy magyarázó ábra vagy kiemelés nem feltétlenül mutatja meg a modell teljes belső gondolatmenetét. Az XAI-eszközök többnyire a döntés egy értelmezhető részét közelítik.