Jailbreaking
Kísérlet arra, hogy egy AI modell biztonsági korlátait speciálisan megfogalmazott promptokkal megkerüljük, és olyat csináltassunk vele, amire alaphelyzetben nem hajlandó.
Analógia
Mint amikor egy cég ügyfélszolgálati robotját megpróbálják rávenni, hogy saját termékeit rossz fényben tüntesse fel — nem a szoftver feltörésével, hanem rafinált kérdezési technikával.
Miért fontos?
Üzleti szempontból két okból releváns: a szervezet AI eszközei elleni lehetséges támadásként, illetve mert a korlátok megkerüléséhez hasonló technikák néha legitim use-case-eknél is előkerülnek. A guardrailok és a governance egyik leggyakrabban emlegetett kihívása.
Hogyan működik?
Jailbreakingről akkor beszélünk, amikor valaki olyan bemenetet szerkeszt, amely megpróbálja felülírni vagy megkerülni a modellre helyezett viselkedési korlátokat. A kísérlet építhet szerepjátékra, félrevezető keretezésre, több lépésre bontott kérésre vagy arra, hogy a modell korábbi válaszát használja fel. Ez azért lehetséges, mert a nyelvi modell a bemenet egészére reagál, és a biztonsági szabályok betartása nem tökéletes, különálló mechanikus zár. A siker nem garantált, és a módszer gyakran változik a rendszer kialakításától függően.
Felhasználóként találkozhatunk ezzel biztonsági tesztben, vagy amikor valaki megpróbálja rávenni az asszisztenst egy szabálytalan kimenetre. A szervezetek ezért nemcsak a közvetlen tiltott kérdéseket vizsgálják, hanem a hosszabb beszélgetéseket, a csatolt tartalmakat és az eszközhasználatot is. A védekezéshez világos szabályok, bemeneti és kimeneti ellenőrzések, valamint emberi felügyelet tartozhat. Az ilyen próbák eredményeit felelősen, engedélyezett környezetben kell kezelni.
Példa
Egy tesztelő azt vizsgálja, hogy egy vállalati asszisztens megoszt-e belső adatot, ha a felhasználó a beszélgetésben hamis szerepet és sürgősséget állít.
Gyakori tévhit
A jailbreaking nem feltétlenül a programkód vagy a szolgáltatás technikai feltörése. Jellemzően a természetes nyelvű bemenet manipulálásával próbálja befolyásolni a modell válaszát.