Transformer este arhitectura de rețea neuronală care stă la baza majorității modelelor moderne de limbaj (LLM), introdusă în 2017 și devenită rapid standardul industriei datorită capacității sale de a procesa eficient text lung și de a înțelege relații complexe între cuvinte aflate la distanță mare într-o propoziție.
Inovația centrală a arhitecturii Transformer este mecanismul de „atenție” (attention), care permite modelului să determine, pentru fiecare cuvânt, cât de relevante sunt toate celelalte cuvinte din text pentru interpretarea sa corectă — indiferent de distanța dintre ele.
Această arhitectură a permis antrenarea unor modele mult mai mari și mai performante decât tehnologiile anterioare, fiind fundamentul modelelor precum GPT, Claude, Gemini sau Llama.
Avantajul principal este capacitatea de procesare paralelă a datelor, ceea ce accelerează semnificativ antrenarea comparativ cu arhitecturile anterioare. Complexitatea rămâne totuși ridicată, necesitând resurse computaționale considerabile.
Transformer este considerată una dintre cele mai importante inovații din istoria inteligenței artificiale, declanșând direct explozia actuală a AI generativă.