Un GPT intero, in tre dimensioni

Brendan Bycroft è un ingegnere del software neozelandese. Ha preso il modello più piccolo che si possa ancora chiamare GPT — ottantacinquemila numeri in tutto — e invece di disegnarlo su carta l'ha costruito nello spazio. Ogni numero è una cella. Le celle verdi sono i dati che stanno passando in quel momento, le celle blu sono i pesi: quello che il modello ha imparato una volta per tutte e non cambia più. La telecamera parte dall'alto e scende, e mentre scende il calcolo avanza; quando arriva in fondo, la risposta è pronta.

Il compito di quel modellino è buffo apposta: gli dai sei lettere in disordine — C, B, A, B, B, C — e lui le rimette in ordine alfabetico, A, B, B, B, C, C. Il suo vocabolario ha tre parole soltanto: A, B e C. Non scrive testi, non risponde alle domande, non sa niente del mondo. Fa una cosa sola, e la fa con lo stesso identico meccanismo con cui i modelli grandi ne fanno mille. È questo il punto della visita: il meccanismo è piccolo abbastanza da starci in un'inquadratura.

Poi c'è il colpo d'occhio che vale da solo il viaggio. Accanto al modellino, nella stessa scala, Bycroft ha piazzato le sagome di GPT-2 e GPT-2 XL. Il modellino diventa un granello. Non è una metafora sulla grandezza: è la grandezza, misurata, messa lì di fianco.

La forma del modellino è dichiarata nel sorgente e vale la pena leggerla, perché ogni numero corrisponde a un solido che vedrai: C = 48 — la dimensione del residual stream, cioè la larghezza del vettore che attraversa tutta la rete —, 3 teste di attenzione da 16 dimensioni l'una, 3 blocchi transformer impilati, una finestra di contesto di 11 token e un vocabolario di 3 simboli. Ogni lettera diventa prima un indice (A→0, B→1, C→2), poi un vettore di 48 componenti: è l'embedding, a cui si somma un embedding di posizione. Da lì in giù ogni blocco ripete sempre la stessa sequenza: layer norm, self-attention con le tre proiezioni query, key e value, proiezione d'uscita, un'altra layer norm, un MLP a due strati. In fondo: layer norm finale, una moltiplicazione che produce i logit — un punteggio grezzo per ciascuna delle tre lettere possibili — e una softmax che li schiaccia in probabilità che sommano a uno. Cliccando una cella, la visualizzazione accende le celle da cui quel numero dipende: la formula diventa un grafo di dipendenze che puoi guardare.

La metafora del plastico regge fin dove regge, e conviene sapere dove smette. Regge perché qui la geometria è il calcolo: la lunghezza di un blocco è il numero di token, la profondità è C, e un tensore più largo è davvero più largo. Smette di reggere quando prendi lo spazio troppo sul serio. In un transformer non esistono un «sopra» e un «sotto»: esiste una composizione di funzioni, e la verticalità è una scelta di regia, non una proprietà del modello. Allo stesso modo, la colonna che attraversa tutta la scena — il residual stream — non è un tubo dentro cui scorre qualcosa: è semplicemente il vettore che ogni blocco legge e a cui ogni blocco somma il proprio contributo, come descritto nel framework matematico di Elhage et al. Chi legge la colonna come «il posto dove si accumulano le informazioni» ha capito bene; chi la legge come un luogo fisico dentro la GPU, no.

I numeri del confronto di scala vengono anch'essi dal sorgente, e sono impietosi. Il modellino: 85.000 parametri. GPT-2 small: C = 768, 12 teste, 12 blocchi, circa 124 milioni di parametri (117 milioni nel conteggio del paper del 2019, che non somma allo stesso modo le matrici di embedding). GPT-2 XL: C = 1600, 25 teste, 48 blocchi, 1,5 miliardi (Radford et al., 2019). GPT-3, che nel codice c'è ma nella scena no: C = 12288, 96 teste, 96 blocchi, 175 miliardi (Brown et al., 2020). Fra il modellino e GPT-3 corre un rapporto di circa due milioni a uno. Se contassi i parametri di GPT-3 al ritmo di uno al secondo, senza mai fermarti, ci metteresti più di cinquemilacinquecento anni: partendo oggi avresti finito intorno all'anno 7570. Per gli ottantacinquemila del modellino ti basterebbe meno di un giorno.

Un'ultima avvertenza, che è anche la più importante per chi porta questa pagina in classe. L'architettura mostrata è quella del 2019–2020, cioè il transformer decoder-only nella sua forma canonica. Non c'è nulla di ciò che ha reso i modelli attuali usabili: manca l'instruction tuning e manca l'apprendimento per rinforzo dal feedback umano (Ouyang et al., 2022), mancano i modelli di ragionamento addestrati a produrre catene di pensiero (DeepSeek-AI, 2025), e mancano le varianti architetturali che oggi sono lo standard — attenzione a query raggruppate, posizioni rotanti, mixture of experts (Raschka, 2025). Il salto da «ordino sei lettere» a «scrivo in italiano» non è quindi solo una questione di taglia: è taglia, più corpus, più post-training. Il meccanismo che vedi girare, però, è esattamente quello.

Tradotto in pratica, ecco che cosa mi sento di consigliare, e che cosa faccio io. Linkare è sempre lecito: un link non è una copia, e mandare la classe sul sito originale è anche la cosa più corretta verso chi l'ha costruito. Uno screenshot sobrio dentro una lezione, con il credito «Brendan Bycroft, bbycroft.net/llm» ben visibile, rientra nel diritto di citazione per scopo didattico previsto dall' articolo 70 della legge 633 del 1941: è una posizione difendibile, purché la citazione sia limitata e non sostituisca la visita al sito. Ridisegnare uno schema con le proprie mani, come ho fatto qui sopra con il confronto di scala, è la via davvero pulita: il diritto d'autore protegge l'espressione, non l'idea, e citare l'ispirazione è correttezza editoriale prima che obbligo. Restano fuori, invece, il copia-incolla di codice, testi o file del progetto, la traduzione ospitata altrove e l'incorporamento della pagina in un iframe dentro il proprio sito.