Overfitting (túlillesztés)
Amikor egy modell túlságosan rátanul a tréningadatokra, ezért az ismert példákon jól teljesít, de új helyzetekben gyengébben működik. Ilyenkor kevésbé tud általánosítani.
Analógia
Mint a diák, aki kívülről megtanulta a tavalyi feladatsort, de az idei vizsgán új kérdésekkel már nem boldogul.
Miért fontos?
Üzleti bevezetésnél könnyű túlbecsülni egy rendszert, ha csak a belső demókon működik jól. A valódi érték ott dől el, hogyan teljesít új ügyfélesetekben, eltérő dokumentumokon vagy változó folyamatokban.
Hogyan működik?
Tanulás közben a modell olyan mintákat is megtanulhat, amelyek csak a gyakorlásra használt példákban fordulnak elő. Ha ezekhez túlságosan igazodik, az ismerős eseteknél jól teljesít, az új, kissé eltérő helyzeteknél viszont romlik a teljesítménye. Nemcsak a példák szó szerinti bemagolása okozhatja: a modell véletlen együttjárásokat is fontos szabálynak nézhet. Ezért az eredményt olyan, tanításban nem használt adatokon is ellenőrzik, amelyek hasonlítanak a tényleges felhasználáshoz.
A hétköznapi alkalmazásban ez akkor bukkanhat fel, ha egy belső feladatokra beállított asszisztens csak a bemutató példákban szereplő megfogalmazásokat kezeli jól. Egy új dokumentumszerkezet vagy szokatlan ügyfélkérdés már összezavarja. A változatos példák, a külön tartott ellenőrző adatok és a valós munkafolyamatok próbái segítenek észrevenni a problémát. A sima promptolás nem azonos a modell újratanításával, de ott is félrevezető lehet, ha csak néhány kedvező példával próbáljuk ki a rendszert.
Példa
Egy ügyfélszolgálati osztályozó a tesztpéldákban minden panaszt felismer, ha a „visszatérítés” szó szerepel bennük, de nem jelöli meg azokat az újonnan megfogalmazott kéréseket, amelyek ugyanazt jelentik.
Gyakori tévhit
Téves, hogy a túlillesztés kizárólag a példák szó szerinti megjegyzését jelenti. A modell a minták mögötti esetleges, nem általánosítható összefüggésekhez is túlzottan alkalmazkodhat.