TPU és NPU (AI-gyorsítók)
AI-műveletek gyorsítására kialakított processzoregységek, amelyeket egyes számítógépekben, telefonokban vagy szerverekben használnak.
Analógia
Mint egy célgépre szakosodott műhely, amely bizonyos ismétlődő műveleteket hatékonyabban végez, mint az általános célú eszközök.
Miért fontos?
Az AI-gyorsítók hatással lehetnek a futtatás sebességére és energiaigényére, de a tényleges teljesítmény a modelltől és a teljes rendszertől is függ.
Hogyan működik?
A TPU és az NPU olyan processzoregységek elnevezései, amelyeket bizonyos AI-számítások gyorsítására alakítottak ki. A TPU rövidítés tenzorfeldolgozó egységet, az NPU pedig neurális feldolgozóegységet jelöl. A pontos felépítés gyártónként és eszközönként eltérhet, ezért a nevek nem jelentenek mindenhol azonos képességet. Ezek az egységek gyakran a központi processzor vagy a grafikus feldolgozóegység mellett működnek, és a számítás egy részét veszik át.
A célzott gyorsító segíthet egyes modellek hatékony futtatásában, például képfelismerés vagy beszédfeldolgozás közben. Az előny a támogatott műveletektől, a modelltől, a szoftvertől és az energiaigénytől is függ. Nem minden AI-program képes automatikusan használni az adott gyorsítót, és nem minden feladat gyorsul tőle. Eszközválasztáskor a valós használatot kell figyelembe venni: milyen modellt szeretnél futtatni, milyen pontosság és sebesség szükséges, valamint milyen szoftveres támogatás érhető el.
Példa
Egy telefon képfeldolgozó alkalmazása az eszköz NPU-ját használhatja egy képen lévő tárgyak felismerésére, miközben más műveleteket a fő processzor végez.
Gyakori tévhit
A TPU vagy NPU megléte nem jelenti azt, hogy minden AI-modell gyorsabban fut rajta; a programnak támogatnia kell az adott egységet.