Ground truth (ellenőrzött alapigazság)
Az ellenőrzött, helyes válasz, amellyel az AI kimenetét összehasonlítjuk — legyen az tréningcímke, emberi döntés vagy valódi adat.
Analógia
Mint a kontrollcsoport egy gyógyszerkísérletben: ez az a referenciapont, amihez az összes többi eredményt mérjük.
Miért fontos?
AI rendszerek értékelésénél kulcsfogalom: ha nincs meghatározott ground truth, nem lehet objektívan mérni a rendszer minőségét. Üzleti projektben ez annak a kérdésnek felel meg: mi alapján mondjuk, hogy az AI jól dolgozik?
Hogyan működik?
A ground truth az a referenciacímke, válasz vagy megfigyelés, amelyhez a modell eredményét mérjük. Egy tanítóhalmazban lehet szakértő által jóváhagyott kategória; értékelésnél lehet előre rögzített válasz vagy több értékelő közös döntése. A referencia minősége a feladat meghatározásától függ. Szövegösszefoglalásnál több jó változat is létezhet, míg egy számla mezőjének kiolvasásánál a dokumentumon szereplő érték lehet az ellenőrzési alap. A címkézési útmutató és a döntési folyamat ezért része a mérésnek.
A fejlesztők ground truth alapján számolják, hogy egy osztályozó mennyi esetet sorolt helyes kategóriába, vagy hol tért el az elvárt választól. Ha az alapcímkék következetlenek, a mérés félrevezető lehet még akkor is, ha a számítás hibátlan. Emberi feladatnál hasznos lehet dokumentálni a bizonytalan eseteket, az eltérő véleményeket és a felülvizsgálat módját. A felhasználó ezzel akkor találkozik, amikor egy AI-eszköz teljesítményét példákon tesztelik a bevezetés előtt vagy után.
Példa
Egy iratfeldolgozó modell próbájához az ellenőrök kézzel rögzítik, milyen dátum szerepel a mintadokumentumokon, majd ehhez hasonlítják a gép által kiolvasott értékeket.
Gyakori tévhit
A ground truth nem mindig vitathatatlan, minden helyzetre érvényes igazság. Lehet szakértői döntés vagy feladatspecifikus referencia, amelynek bizonytalanságát és eredetét is érdemes rögzíteni.