Latența reprezintă timpul necesar unui sistem AI pentru a procesa o cerere și a returna un răspuns, măsurat de obicei în milisecunde sau secunde.
O latență scăzută înseamnă răspunsuri aproape instantanee, esențiale pentru aplicații precum asistenții vocali, chatboții de suport clienți sau vehiculele autonome, unde întârzierile pot afecta grav experiența utilizatorului sau siguranța.
Latența este influențată de dimensiunea modelului, puterea de calcul disponibilă, distanța până la serverul care procesează cererea și complexitatea sarcinii solicitate.
Avantajul unei latențe reduse este o experiență fluidă și naturală pentru utilizator. Provocarea constă în echilibrul dintre viteză și calitate: modelele mai mari, deși mai precise, tind să aibă o latență mai mare.
Optimizarea latenței este un factor competitiv esențial pentru orice companie care oferă produse AI orientate spre utilizatori finali.