Come ritrova le cose: l'attention

Sotto ogni parola della demo trovi quattro numeri: sono la sua carta d'identità, e dicono quanto quella parola è un essere vivo, un'azione, una cosa, oppure una parolina che rimanda a un'altra (gli articoli, i pronomi, le congiunzioni). Quando clicchi una parola, il programma trasforma la sua carta d'identità in una domanda — «sto cercando esseri viventi», per esempio — e confronta quella domanda con la carta d'identità di tutte le altre parole. Più le due combaciano, più alto è il punteggio; poi i punteggi diventano percentuali che sommano a cento, e le percentuali disegnano le barre. Il conto lo fa davvero, adesso, nel tuo browser: puoi controllarlo riga per riga nella tabella dei passaggi.

Il riflettore ha una meccanica precisa, e vale la pena smontarla. Ogni token, arrivato a uno strato di attenzione, produce tre vettori diversi a partire dal proprio: una query, una key e un value. Il modo più onesto di leggerli è come in una biblioteca: la query è la domanda che quel token sta facendo («sto cercando un soggetto maschile singolare»), la key è l'etichetta che ogni altro token espone sul dorso («io sono un soggetto maschile singolare»), il value è il contenuto che passa a chi lo interroga. Il modello confronta la query di una parola con le key di tutte le altre tramite un prodotto scalare, normalizza i punteggi con una softmax in modo che sommino a uno, e con quei pesi mescola i value. La barra che vedi in questa pagina è, in miniatura, quella distribuzione.

Le teste di attenzione sono più d'una per strato, ed è il punto in cui la metafora del riflettore diventa insufficiente: non c'è un solo fascio di luce, ce ne sono decine in parallelo su ciascuno strato, e ognuno impara a inseguire un tipo di relazione diverso — l'accordo fra soggetto e verbo, il legame fra un pronome e il suo antecedente, la parola che chiude una citazione aperta. L'idea nasce nel 2015 con Dzmitry Bahdanau, Kyunghyun Cho e Yoshua Bengio, che la introducono per la traduzione automatica come rimedio al collo di bottiglia delle reti ricorrenti; diventa l'intera architettura nel 2017, quando il gruppo di Ashish Vaswani pubblica «Attention Is All You Need», elimina la ricorrenza e rende il calcolo parallelizzabile. È da lì che discende tutto ciò che usi oggi: la sigla GPT sta per Generative Pre-trained Transformer.

Un esempio concreto di che cosa sappia fare questo meccanismo sono le induction head, descritte da Catherine Olsson e colleghi (2022): coppie di teste che, avendo già incontrato la sequenza «A B» più indietro nel testo, quando rivedono «A» spingono il modello a predire «B». È un circuito di copiatura, e sembra poca cosa, ma è il candidato principale a spiegare l'apprendimento in contesto, cioè la capacità di imparare uno schema dagli esempi che gli metti nel prompt senza che nessun peso venga modificato. Nei grafici di addestramento la sua comparsa coincide con un gradino netto nelle prestazioni: una struttura che si forma da sola e cambia ciò che il modello sa fare.

La demo qui sopra esegue, senza abbreviazioni, la formula del §3.2.1 di «Attention Is All You Need»: Attention(Q, K, V) = softmax(QKᵀ / √d_k) V, amputata dell'ultimo pezzo — i value, che qui non servono perché non c'è nessuno strato successivo a cui passare il risultato. Il termine QKᵀ è la matrice di tutti i prodotti scalari fra le query e le key; i suoi elementi si chiamano logit, cioè punteggi grezzi non ancora normalizzati. La d_k è la dimensione dei vettori: qui vale 4, nel transformer originale vale 64, perché d_model = 512 viene diviso fra 8 teste. La divisione per √d_k non è un vezzo estetico: se le componenti dei due vettori sono indipendenti a media nulla e varianza uno, il loro prodotto scalare ha varianza d_k, quindi cresce con la dimensione; logit troppo grandi mandano la softmax in saturazione — un peso quasi uguale a 1 e tutti gli altri schiacciati contro lo zero — e in quella regione il gradiente, cioè la derivata che dice come correggere i pesi, diventa minuscolo e l'addestramento si inchioda. Dividere per √d_k riporta i logit in un intervallo in cui la softmax resta sensibile. È lo stesso identico parametro che nella pagina sulla risposta compare come temperatura: dividere prima di esponenziare significa decidere quanto la distribuzione sarà appuntita.

La maschera causale che puoi accendere nella demo è, in un modello vero, esattamente questo: prima della softmax si somma −∞ a tutti i logit delle posizioni future, così il loro esponenziale vale zero e il peso pure. È la differenza fra un encoder — che vede la frase intera, come BERT — e un decoder-only come GPT, che genera da sinistra a destra e non può sbirciare la parola che deve ancora scrivere. Prova a metterla sulla prima parola della frase: non le resta nessuno da guardare, e in un modello vero il peso finirebbe tutto su sé stessa. Prova poi sulla seconda: le resta un solo candidato, e la softmax di un insieme con un elemento solo vale 1 per costruzione — il 100% che leggi lì non è una preferenza del modello, è aritmetica.

Dove il mio giocattolo smette di valere, e conviene sapere dove. Primo: i vettorini sono statici — «gatto» ha sempre gli stessi quattro numeri — mentre in un transformer vero il vettore che entra nello strato n è già contestuale, si porta dentro il residuo di tutti gli strati precedenti, e il «gatto» di questa frase è numericamente diverso dal «gatto» di un'altra. Secondo: qui W_k è la matrice identità, mentre in un modello vero query e key nascono da due matrici distinte, entrambe imparate. Terzo: una testa sola e uno strato solo, mentre GPT-2 small — quello che gira dentro Transformer Explainer — ha 12 strati per 12 teste, cioè 144 pattern di attenzione diversi sulla stessa frase. Quarto: il costo. I punteggi sono n² per testa, con n il numero di token: su un contesto da mille token fanno un milione di prodotti scalari per testa, e su centomila token fanno dieci miliardi. È da questa parabola che nasce metà della ricerca sull'efficienza degli ultimi anni — attenzione sparsa, GQA, MLA — che Sebastian Raschka ha riassunto in una guida visuale alle varianti.