Embedding
Az a matematikai fordítási folyamat, amely a számunkra érthető szavakat vagy dokumentumokat sűrű számsorokká (vektorokká) alakítja, hogy az AI értelmezni tudja a jelentésüket.
Analógia
Mintha a világ összes fogalmát felraknánk egy hatalmas, többdimenziós térképre, ahol a hasonló dolgok (például az alma és a körte) földrajzilag nagyon közel kerülnek egymáshoz, míg az űrhajó nagyon távolra esik tőlük.
Miért fontos?
Ez a technológia az alapja a modern keresőknek és a vállalati RAG rendszereknek, mivel ez teszi lehetővé, hogy az AI a szinonimákat és a rejtett összefüggéseket is felismerje a szövegekben. E nélkül a gép számára a „kutya” és az „eb” teljesen független, össze nem kapcsolható karaktersorozat maradna.
Hogyan működik?
Az embedding olyan számsor, amely egy szöveg, kép vagy más adat egyes jellemzőit sűrített, géppel kezelhető formában reprezentálja. Szövegnél egy embeddingmodell a bemenetből vektort készít úgy, hogy a hasonló használatú vagy jelentésű részletek gyakran közeli helyre kerüljenek a vektortérben. A vektor jelentése nem olvasható ki közvetlenül az egyes számokból, és a reprezentáció a modelltől, a nyelvtől, valamint a bemenet hosszától is függ.
Szemantikus keresésnél a rendszer a kérdés embeddingjét összeveti a dokumentumrészek vektoraival, majd hasonló találatokat ad vissza. Ezt használják például tudástárak előkeresésére vagy hasonló ügyek csoportosítására. A keresés értékét a megfelelő embeddingmodell és az adat előkészítése határozza meg; a közeli vektor nem jelenti, hogy a két szöveg minden részletében egyenértékű. Fontos feladatnál a megtalált szöveget is olvasd el, mielőtt a rá épülő következtetést elfogadod.
Példa
Egy ügyintéző más szavakkal kérdez rá arra, hogyan lehet eszközt leadni. Az embeddingalapú kereső ettől még előkeresheti a kézikönyv visszaadási folyamatról szóló szakaszát.
Gyakori tévhit
Az embedding nem teljes jelentésmegértés és nem fordítás; egy adott modell által készített numerikus reprezentáció, amelyet hasonlóságkeresésre használhatunk.