Cuantizare (Quantization)

Cuantizarea este o tehnică de optimizare prin care precizia numerică a parametrilor unui model AI este redusă (de exemplu, de la 32 de biți la 8 sau 4 biți), pentru a micșora dimensiunea modelului și a crește viteza de rulare, cu un impact minim asupra acurateței.

Practic, în loc să stocheze fiecare valoare cu o precizie foarte mare (care ocupă mult spațiu și necesită mai multă putere de calcul), modelul „rotunjește” aceste valori la o precizie mai mică, dar suficientă pentru rezultate bune.

Această tehnică permite rularea unor modele AI puternice pe dispozitive cu resurse limitate, precum telefoane, laptopuri obișnuite sau servere mai mici, în loc să fie necesară infrastructură costisitoare de tip data center.

Avantajul principal este accesibilitatea — modele avansate pot rula local, fără costuri de cloud sau conexiune la internet. Dezavantajul este o posibilă scădere ușoară a acurateței, deși tehnicile moderne de cuantizare reușesc să minimizeze acest efect.

Cuantizarea a devenit esențială pentru democratizarea accesului la AI, permițând rularea unor modele performante direct pe dispozitivele personale.