Prompt injection (prompt-befecskendezés)
Olyan támadás, amikor egy rosszindulatú bemenet megpróbálja felülírni az AI eredeti utasításait. Különösen veszélyes agenteknél és külső forrásokat olvasó rendszereknél.
Analógia
Mint amikor valaki hamis utasítást csempész egy hivatalos dokumentumba, és a titkárság azt jóhiszeműen végrehajtja.
Miért fontos?
Ha egy AI külső dokumentumokat, weboldalakat vagy emaileket dolgoz fel, egy rejtett utasítás félreviheti a működését. Üzleti környezetben ez adatvesztéshez, hibás műveletekhez vagy compliance-problémákhoz vezethet.
Hogyan működik?
A modell ugyanabban a feldolgozási folyamatban találkozhat a megbízható utasításokkal és az olyan szöveggel, amelyet csak elemeznie kell. A prompt injection azt használja ki, hogy a modell nem mindig tudja hibátlanul elkülöníteni e rétegeket. A támadó utasítás megjelenhet közvetlen kérésként, de el lehet rejtve egy weboldalon, levélben vagy feltöltött dokumentumban is. Nem szükséges hozzá a modell programkódját feltörni: elég, ha a rendszer a támadó szövegét követendő utasításként kezeli.
A mindennapi használatban akkor érdemes gondolni rá, amikor az asszisztens külső tartalmat olvas, majd eszközzel műveletet is végezhet. Egy dokumentum például arra utasíthatja, hogy hagyja figyelmen kívül a feladatot, és küldjön ki adatokat. A védelem több rétegen múlik: a külső tartalom kezelését el kell különíteni az utasításokétól, az eszközök csak a szükséges jogosultságokat kaphatják meg, a kényes műveletet pedig ember hagyja jóvá. Egyetlen figyelmeztető prompt önmagában nem jelent biztos védelmet.
Példa
Egy asszisztensnek fel kell vennie egy beérkező ajánlatot a naptárba; az ajánlat szövegébe rejtett utasítás próbálja rávenni, hogy a naptár helyett a teljes ügyféllistát továbbítsa.
Gyakori tévhit
Téves elképzelés, hogy ehhez a támadónak be kell jutnia a rendszerbe. Elég lehet egy feldolgozott dokumentumba vagy weboldalba írt, megtévesztő utasítás is.