Token

Token-ul este unitatea de bază pe care un model de limbaj o folosește pentru a procesa text — poate fi un cuvânt întreg, o parte dintr-un cuvânt sau chiar un singur caracter, în funcție de modul în care textul este împărțit (tokenizare).

Înainte de a fi procesat de model, orice text este descompus în tokenuri, fiecare fiind transformat într-o reprezentare numerică pe care algoritmul o poate interpreta matematic.

Numărul de tokenuri procesați influențează direct costul și viteza de utilizare a unui model AI — majoritatea furnizorilor de servicii AI taxează utilizarea în funcție de numărul de tokenuri din întrebare și din răspuns, nu de numărul de cuvinte.

Avantajul acestei metode este flexibilitatea de a procesa orice limbă sau format de text într-un mod unitar. Limitarea este că modelele au o „fereastră de context” limitată — un număr maxim de tokenuri pe care îl pot procesa simultan într-o conversație.

Înțelegerea conceptului de token este utilă practic pentru estimarea costurilor și limitărilor atunci când folosești instrumente AI bazate pe abonament sau plată per utilizare.