Inferență (Inference)

Inferența este etapa în care un model AI deja antrenat este folosit pentru a genera răspunsuri sau predicții pe baza unor date noi, spre deosebire de etapa de antrenare, în care modelul învață din date istorice.

Practic, atunci când scrii o întrebare într-un chatbot AI și primești un răspuns, acel proces este inferență: modelul aplică ceea ce a învățat deja pentru a produce un rezultat, fără a-și modifica structura internă.

Viteza și costul inferenței sunt cruciale pentru aplicațiile comerciale, deoarece acestea rulează în timp real, de milioane de ori pe zi, spre deosebire de antrenare, care se face o singură dată (sau periodic).

Avantajul unei inferențe rapide este o experiență de utilizare fluidă pentru clienți. Provocarea este optimizarea modelelor astfel încât acestea să răspundă rapid și ieftin, fără a compromite calitatea răspunsurilor.

Costul inferenței la scară a devenit, în 2026, un factor economic la fel de important ca și costul antrenării modelelor AI.