NLP (természetesnyelv-feldolgozás)
Az AI azon területe, amely az emberi nyelv gépi megértésével és generálásával foglalkozik: szövegelemzéssel, fordítással, összefoglalással, kérdés-válasz feladatokkal.
Analógia
Mint a tolmács az ember és a gép között: az NLP fordítja le az emberi nyelv gazdagságát — szlenggel, kontextussal, kettős értelmekkel együtt — gépileg feldolgozható formába.
Miért fontos?
Az LLM-ek az NLP csúcsterméke. Az összes szöveges feladat — chatbot, dokumentumelemzés, összefoglalás, kategorizálás — NLP-alapú. A fogalom ismerete segít megérteni, miért jók ezek a rendszerek szövegmunkákra, és miért nem helyettesítik az adatbáziskezelő rendszereket.
Hogyan működik?
A természetesnyelv-feldolgozás a nyelvi bemenet gépi feldolgozásának módszereit fogja össze. Egy rendszer először a szöveget kezelhető egységekre bontja, majd a tanult minták segítségével becsli, milyen kapcsolat van a szavak, a mondatok és a feladat között. A megoldás lehet osztályozás, fordítás, keresés, összefoglalás vagy új szöveg előállítása. A kontextus, a kétértelműség és a nyelvi változatosság miatt ugyanaz a kifejezés eltérő helyzetekben mást jelenthet.
A felhasználó NLP-vel találkozik, amikor egy levelezőprogram témát javasol, egy ügyfélszolgálati rendszer csoportosítja a kérdéseket, vagy egy asszisztens hosszú szöveget foglal össze. A generatív nyelvi modellek ennek a területnek fontos eszközei, de az NLP nem egyetlen modell neve. Az egyszerű szabályalapú feldolgozástól a tanult modellekig többféle módszer tartozik ide. A kimenet minősége függ a nyelvtől, a feladattól és attól, hogy a bemenet megfelelően van-e előkészítve.
Példa
Egy ügyfélszolgálati postaládában a rendszer felismeri, hogy egy levél számlázással kapcsolatos, rövid összefoglalót készít róla, majd az illetékes munkatárs sorába rendezi.
Gyakori tévhit
Az NLP nem azonos a nagy nyelvi modellekkel. A nyelvfeldolgozás tág terület, amelyben szabályok, statisztikai módszerek és különböző típusú modellek is használhatók.