Prima di rileggere la mappa, provi a ricostruirla? Le tappe qui sotto sono mescolate: rimettile in fila, dalla prima all'ultima. Quando la fila è completa si apre il viaggio intero, con i link a ogni pagina.
Undici schede, una per pagina del percorso: cliccale nell'ordine giusto, una alla volta. Quella giusta sale nella fila e prende il colore del suo atto — verde il mondo fisico, rosa la nascita del modello, blu il modello al lavoro. Quella sbagliata trema e resta dov'è: nessuna penalità, solo un indizio in più.
La fila è vuota. Da che cosa comincia tutto?
Clicca una tappa per rivederla. I numeri sono gli stessi dell'indice dell'hub, così le due pagine si parlano.
Perché la seconda pallina dice 1-3 e la terza riparte da 4. Nell'indice dell'hub l'Atto 1 conta tre tappe: il viaggio del pacchetto, il data center, il posto dove vive il modello. Stanno però tutte e tre nella stessa pagina, una per scena, e una pagina sola non può portare tre pallini. Il conto torna così: dodici tappe numerate più la pagina 0, distribuite su undici pagine. I numeri qui sono quelli dell'indice, non della fila delle pagine, così le due mappe raccontano la stessa cosa.
Se rifai il percorso all'indietro non trovi, in nessuna delle dodici tappe, il punto preciso in cui la macchina capisce. Trovi un testo spezzato in pezzi, pezzi diventati numeri, numeri confrontati con altri numeri, e alla fine un pezzo scelto perché era il più probabile. Non c'è una stanza dei pensieri: c'è una catena di operazioni, ripetuta un numero di volte che non riesci a immaginare. Che da questa catena esca qualcosa che somiglia a un ragionamento è la cosa più interessante di tutta la faccenda, ed è anche quella su cui, in questo momento, si litiga di più.
Un avvertimento onesto sul percorso che hai appena finito: è una semplificazione. Ogni tappa racconta un pezzo di macchina come se fosse isolato, mentre nella realtà i pezzi si sovrappongono, e diverse cose importanti sono rimaste fuori dal racconto. Se accendi il livello Avanzato qui sopra trovi quali, e da dove ripartire per andare più a fondo.
Dodici tappe raccontano l'ossatura di un modello che riceve testo e restituisce testo. È l'ossatura giusta, ed è anche una potatura: quattro cose che oggi pesano parecchio sono rimaste fuori, non per svista ma perché ognuna ha senso solo dopo aver capito il resto. Eccole, con il punto del percorso a cui si agganciano.
Il modello che hai seguito legge testo. Quelli che usi oggi guardano anche immagini, e il meccanismo è meno esotico di quanto sembri: un'immagine viene tagliata in quadratini — patch — e ogni quadratino viene trattato come un token, con la stessa identica pipeline (Dosovitskiy e colleghi, «An Image Is Worth 16x16 Words», ICLR 2021). Perché testo e immagine finiscano nello stesso spazio serve un encoder addestrato a tenere vicine le coppie immagine-didascalia: è l'idea di CLIP (Radford e colleghi, ICML 2021). Conseguenza per la mappa dei significati: quello spazio non è solo delle parole, e «gatto» scritto e un gatto fotografato possono cadere vicini.
La tappa sui pesi lascia intendere che ogni parametro partecipi al calcolo di ogni token. Nei modelli sparsi non è così: uno strato MoE contiene molti sotto-modelli — gli esperti — e una piccola rete, il router, decide quali far lavorare su questo token. L'idea è di Noam Shazeer e colleghi (2017); Switch Transformer (Fedus, Zoph, Shazeer) ne semplifica il routing e arriva a modelli da mille miliardi di parametri a costo di calcolo costante. Il caso più leggibile è Mixtral 8x7B: otto esperti per strato, il router ne sceglie due per ogni token, 47 miliardi di parametri totali ma solo 13 attivi durante l'inferenza. Da qui in poi la domanda «quanti parametri ha?» ha due risposte diverse, e vanno distinte.
Se al modello chiedi di mostrare i passaggi prima di rispondere, i passaggi migliorano la risposta. Jason Wei e colleghi (NeurIPS 2022) hanno mostrato che bastano otto esempi di catena nel prompt perché un modello da 540 miliardi di parametri raggiunga lo stato dell'arte su GSM8K, i problemi di matematica elementare, battendo un GPT-3 rifinito apposta con un verificatore. Il meccanismo non è nuovo rispetto a ciò che sai: la catena è testo, generato un token alla volta come tutto il resto, e ogni passaggio scritto entra nel contesto del passaggio seguente. Da lì, però, nasce anche un equivoco grosso: vedi il riquadro sotto.
Fin qui il modello ha solo scritto. Un agente alterna scrittura e azione: pensa un passo, chiama uno strumento esterno — una ricerca, una calcolatrice, del codice — legge il risultato e riprende. ReAct (Yao e colleghi, ICLR 2023) è lo schema di riferimento di questo intreccio; il recupero da fonti esterne, che sta dietro alle risposte «con i link», è il RAG di Lewis e colleghi (NeurIPS 2020). Non è una capacità nuova del modello: è la stessa macchina messa in un ciclo, con le mani. Il che allunga parecchio il guinzaglio — e rende molto più serie le domande su chi risponde di che cosa, quando l'azione ha effetti nel mondo.
Da dove ripartire, in concreto. La cosa più utile che conosco per il gradino successivo è la lista commentata di Sebastian Raschka, «Understanding Large Language Models»: non un articolo divulgativo, ma un percorso ragionato fra i paper fondamentali, dall'attenzione del 2017 al fine-tuning, con l'indicazione di che cosa leggere in che ordine e perché. È gratuita. Dello stesso autore, «Understanding Multimodal LLMs» copre il primo dei quattro buchi qui sopra con gli schemi delle due architetture principali.
Se invece la strada che ti interessa è quella visiva, i due strumenti già incontrati nel percorso restano i migliori: il plastico tridimensionale di Brendan Bycroft, dove ogni tensore è un solido e la telecamera vola lungo la pipeline dell'inferenza, e Transformer Explainer, che fa girare un GPT-2 vero dentro il browser. Entrambi in inglese, entrambi da computer. E per chi preferisce una lezione filmata, la serie di 3Blue1Brown sui transformer è, per chiarezza delle animazioni, difficile da battere.
La prossima volta che premi invio, saprai esattamente che cosa hai messo in moto: una richiesta che parte, una fila, una macchina che pesa numeri e sceglie la parola dopo.
Hai capito come è fatta l'AI. Ne manca l'altra metà: come siamo fatti noi, e cosa succede quando le due cose si incontrano.
La frase da cui sei partito, alla tappa 0, era .
🤖 + 🧠 Vai oltre: brAIn literacy →Complessità della fonte: divulgativa approfondimento tecnica o accademica