Latencia (válaszidő)
Az az idő, amely a prompt elküldése és az első válaszelem megjelenése között telik el. Gyakorlati használatban ez a rendszer érzékelt gyorsasága.
Analógia
Mint a különbség az expressz és a közönséges posta között: néha a gyorsaság a döntő, nem a tökéletes kidolgozottság.
Miért fontos?
Nem minden helyzetben a legokosabb modell a legjobb választás. Ügyfélszolgálatnál, belső asszisztensnél vagy élő workflow-nál a gyors reakció sokszor fontosabb, mint a maximális mélység.
Hogyan működik?
A válaszidő több részből tevődik össze. A kérésnek el kell jutnia a feldolgozó rendszerhez, sorra kerülhet, majd a modellnek értelmeznie kell a bemenetet és el kell kezdenie a kimenet előállítását. A felhasználó által érzékelt első reakció ideje nem feltétlenül azonos azzal az idővel, amíg a teljes válasz elkészül. Ha a rendszer keresést vagy más eszközt is használ, minden ilyen kör további várakozást okozhat. A hosszabb bemenet vagy részletes kimenet szintén módosíthatja az élményt.
A mindennapokban az alacsony válaszidő fontos lehet hangos párbeszédnél, élő ügyféltámogatásnál vagy olyan munkánál, ahol sok rövid kérés követi egymást. Egy alapos dokumentumelemzésnél viszont elfogadható lehet a hosszabb várakozás, ha cserébe teljesebb eredményt kapunk. A gyorsaságot ezért a feladat részeként érdemes megítélni: mikor kell az első jelzés, és mikor szükséges a végleges válasz? Az eszközhívások száma és a rendszer terhelése is alakíthatja a tapasztalatot.
Példa
Egy recepciós hangasszisztensnek gyorsan kell visszakérdeznie, ha a látogató nem mondta meg, kit keres; a hosszú tájékoztató elkészülte ráér később.
Gyakori tévhit
A lassú válasz nem feltétlenül jelenti azt, hogy a modell bonyolultan gondolkodik. Hálózati várakozás, sorban állás, hosszú bemenet vagy eszközhívás is okozhatja.