Constitutional AI
Az Anthropic által ismertté tett tréningmódszer, amelyben a modell előre rögzített elvek alapján értékeli és javítja a saját válaszait. Ezzel részben kiváltható az emberi értékelők egy része a biztonsági finomhangolásban.
Analógia
Mint egy belső etikai kódex, amely alapján a munkatárs önmaga is ellenőrzi, hogy a döntése összhangban van-e a szervezet értékeivel.
Miért fontos?
Ez jól mutatja, hogy a biztonság nem csak tiltólistákból áll, hanem elvrendszerből is. Szervezeti szempontból azért releváns, mert közelebb hozza egymáshoz a modellviselkedést, a belső szabályokat és a governance gondolkodást.
Hogyan működik?
A Constitutional AI eljárásban egy előre megfogalmazott elvkészlet ad szempontokat a modell válaszainak megítéléséhez. A tanítási folyamat például megkérheti a modellt, hogy az elvek alapján bíráljon egy választ, majd készítsen javított változatot. Az így létrejött értékelések és átdolgozások további tanulási példaként szolgálhatnak. A módszer csökkentheti, hogy minden egyes példa megítéléséhez emberi értékelő kelljen, de az elvek megválasztása, a példák ellenőrzése és a végső minőségértékelés továbbra is emberi felelősség.
A felhasználó a módszer eredményével egy olyan asszisztensben találkozhat, amely bizonyos elvek szerint kezeli a kéréseket, például jelzi a bizonytalanságot vagy elutasít egy nem megfelelő feladatot. Az elvkészlet megadja az irányt, de a modell félreértheti az elveket, vagy nehéz helyzetben következetlenül alkalmazhatja őket. A fejlesztőknek ezért változatos példákon kell vizsgálniuk, hogyan viselkedik, és hogy az elvek nem ütköznek-e egymással. Az eljárás nem helyettesíti a valós használat felügyeletét és a visszajelzések feldolgozását.
Példa
Egy asszisztens tanításakor egy rögzített elv kimondja, hogy bizonytalan egészségügyi kérdésben kérjen pontosítást és ne állítson fel diagnózist; a csapat ellenőrzi, hogy a példák ezt valóban megtanítják-e.
Gyakori tévhit
Az elvkészlet nem garantál automatikusan biztonságos vagy hibátlan viselkedést. A modell félreértheti, rosszul alkalmazhatja az elveket, ezért a tanítást és a kimeneteket továbbra is ellenőrizni kell.