Prima della matematica, la fisica. Quando scrivi a un chatbot non parli con una «nuvola»: il tuo messaggio fa un viaggio reale, dentro fibre di vetro larghe come un tubo da giardino, fino a un capannone pieno di metallo caldo. Ti porto a vedere dove — e a misurare quanto ci mette davvero, sui tuoi millisecondi.
Il tuo dito tocca lo schermo. Poi? Il messaggio non si teletrasporta: viaggia dentro fili di vetro, quasi sempre adagiati sul fondo degli oceani, fino a un data center dall'altra parte del mondo, e da lì torna indietro. Il percorso qui sotto è un esempio, ma il cavo esiste: è MAREA, che collega Bilbao a Virginia Beach — 6.605 km secondo il censimento di TeleGeography. Premi il tasto e seguilo.
I millisecondi del contatore qui sopra sono un pavimento: la
distanza divisa per la velocità della luce nel vetro. Questo bottone invece misura sul
serio. Fa tre richieste al server che ospita questa pagina, cronometra con
performance.now() e ti restituisce il tempo di andata e ritorno vero, il
tuo, adesso. Nessun numero preparato in anticipo.
💡 Non è una nuvola. Nel vetro la luce rallenta: viaggia a circa due terzi della velocità che ha nel vuoto, cioè poco più di 200.000 km/s — è la cifra che usano Singla e colleghi nel loro studio sulla lentezza di internet. I 16.000 km del viaggio disegnato qui sopra fanno così 80 millisecondi: meno di un battito di ciglia. Quello che aspetti davvero, quando una risposta tarda, è quasi tutto un'altra cosa — il modello che calcola, più le code e le strette di mano fra computer.
Il pavimento del viaggio è un conto che si fa con la fisica del liceo. Nel vuoto la luce corre a 299.792 km/s; nel vetro rallenta, perché l'indice di rifrazione della silice vale circa 1,47 e la velocità di propagazione diventa c/n, cioè poco più di 200.000 km/s — all'incirca due terzi. Ankit Singla, Balakrishnan Chandrasekaran, Brighten Godfrey e Bruce Maggs usano esattamente questa cifra nel lavoro che ha dato un nome al problema. Da lì i 6.605 km di MAREA diventano 33 millisecondi in un senso e 66 andata e ritorno: è il ritardo di propagazione, e con quello non si tratta.
Solo che il tempo che aspetti non è quello. Gli stessi autori hanno cronometrato il caricamento della pagina iniziale di migliaia di siti da nodi ben connessi e l'hanno diviso per il tempo che la luce impiegherebbe sulla stessa distanza in linea d'aria: un rapporto che chiamano latency inflation. La mediana è 34×; al novantesimo percentile arriva a 169×. E il percorso fisico spiega solo una fetta minuscola del divario: il tempo lungo la catena di router vale in mediana 2,3 volte quel minimo, e di quel fattore 1,5 è imputabile alla sola fibra. Tutto il resto — e sono decine di millisecondi — se ne va in risoluzione DNS, stretta di mano TCP, negoziazione TLS, code nei buffer, e in quegli instradamenti assurdi che gli autori chiamano hairpinning: pacchetti fra Cina orientale e Taiwan che passano dalla California.
Per questo il bottone qui sopra insegna più del contatore. Quei tre giri fanno una richiesta autentica al server di questo sito e restituiscono un round-trip time. Guarda il primo: quasi sempre è il più lento, perché paga la connessione da aprire, mentre i due successivi corrono su una connessione già calda. È la differenza fra il costo del viaggio e il costo del mettersi d'accordo — e nella vita di un pacchetto il secondo pesa più del primo.
All'arrivo non c'è nessuna nuvola: c'è un capannone. Clicca sulle quattro tessere per vedere che cosa contiene davvero — e con quali numeri.
Sul costo energetico dell'IA circolano più cifre sbagliate che su qualunque altro tema tecnico, e quasi sempre per lo stesso motivo: si mescolano piani diversi. Il piano macro lo dà l'Agenzia internazionale dell'energia: data center, criptovalute e IA insieme hanno consumato circa 460 TWh nel 2022, quasi il 2% dell'elettricità mondiale, e per il 2026 la forchetta va da 620 a 1.050 TWh, con il caso centrale poco sopra gli 800 (IEA, «Electricity 2024»). Dentro un data center quell'elettricità si divide grosso modo così: 40% al calcolo, 40% al raffreddamento, 20% al contorno informatico. Negli Stati Uniti, dove la contabilità è più fine, il laboratorio di Berkeley stima che i data center siano arrivati al 4,4% dell'elettricità nazionale nel 2023, con uno scenario fra il 6,7 e il 12% entro il 2028 (Shehabi et al., LBNL 2024).
Il piano micro — quanto costa la tua domanda — è molto più scivoloso, perché le stime pubbliche si differenziano di oltre un ordine di grandezza. Sasha Luccioni, Yacine Jernite ed Emma Strubell hanno fatto la cosa più utile: misurare, con lo stesso hardware e lo stesso protocollo, mille inferenze su una decina di compiti diversi («Power Hungry Processing», FAccT 2024). Per la generazione di testo vengono in media 0,047 kWh ogni mille risposte, cioè 0,047 Wh l'una; siccome ricaricare uno smartphone costa 0,022 kWh, servono all'incirca 470 risposte per una carica di telefono. Generare un'immagine, sullo stesso banco di prova, costa in media sessanta volte tanto.
Dall'altra parte, nel 2025 Google ha pubblicato la misura fatta sul proprio parco macchine: il prompt di testo mediano di Gemini consuma 0,24 Wh — «meno di nove secondi di televisione», scrivono — e 0,26 millilitri d'acqua, con una riduzione di 33 volte dell'energia in un anno (Elsworth et al., 2025). Nel mezzo, l'IEA riportava nel 2024 una stima di 2,9 Wh per richiesta a ChatGPT contro 0,3 Wh per una ricerca su Google. Tre numeri, tre perimetri, tre anni: chi misura il proprio hardware ha i dati migliori ma è parte in causa, chi estrapola da fuori è indipendente ma ha margini d'errore enormi. La regola sana, prima di ripetere una cifra, è chiedersi sempre tre cose: per quale unità, in che anno, contando che cosa.
Sull'acqua vale lo stesso avvertimento, e il caso è istruttivo. La famosa «bottiglietta da mezzo litro» viene dal lavoro di Pengfei Li, Jianyi Yang, Mohammad Islam e Shaolei Ren: nella prima versione, dell'aprile 2023, diceva che una conversazione di 20–50 domande con ChatGPT ne consumava mezzo litro; nella versione pubblicata su Communications of the ACM la stessa frase è diventata mezzo litro ogni 10–50 risposte di lunghezza media di GPT-3, «a seconda di quando e dove» il modello gira (arXiv:2304.03271). Lo stesso lavoro calcola che addestrare GPT-3 nei data center americani di Microsoft consumi 700.000 litri sul posto e 5,4 milioni contando anche l'acqua evaporata nelle centrali che producono l'elettricità. Google, che conta l'acqua dei propri data center e non quella delle centrali, dichiara 0,26 millilitri per prompt. I due numeri non si contraddicono: misurano modelli diversi, anni diversi e confini diversi. Quello che non si può fare è citarne uno senza dire quale.
Dentro quelle GPU c'è «il modello». Ma che cos'è, fisicamente? Una sorpresa: è un file. Enorme, ma pur sempre un file: una lunghissima lista di numeri.
Dei modelli di oggi le aziende non pubblicano più il numero di parametri: prendi il 175 come ordine di grandezza storico, non come la misura di ciò che stai usando adesso.
Un database cerca una risposta già scritta in un archivio. Se non c'è, non la trova. Il modello non ha un archivio di risposte.
Non cerca: calcola. Dai un input qualsiasi e restituisce sempre un output, ottenuto facendo i conti con quei numeri. Per questo può rispondere a frasi mai viste.
Il conto si fa in due righe. Un parametro è un numero, e un modello è la lista di tutti i suoi parametri; GPT-3 ne ha 175 miliardi. Se ognuno occupa due byte — la mezza precisione, fp16, che è il formato normale per far girare un modello — il file pesa 350 gigabyte. Per farsi un'idea di che cosa siano 175 miliardi: contandone uno al secondo, senza mai fermarti né dormire, ci metteresti più di cinquemilacinquecento anni.
Quei 350 GB devono stare in memoria, e devono starci tutti: per produrre un solo token il modello attraversa l'intera pila di strati, e ogni strato legge i propri pesi. Una H100 in versione SXM ne ospita 80 (scheda NVIDIA): non basta neanche per un quarto, e infatti il modello viene spezzato fra più schede — tensor parallelism, pipeline parallelism. Il vincolo però non è la potenza di calcolo: è la banda di memoria. La stessa scheda dichiara 3,35 TB/s, e 350 GB letti a quella velocità fanno circa un decimo di secondo per ogni token. Distribuendo il modello su otto GPU le bande si sommano e si scende sull'ordine dei dieci o venti millisecondi, vicino ai 29 ms per token che Pope e colleghi hanno misurato su PaLM 540B con pesi a 8 bit. Sono conti della serva, e li dichiaro tali; però dicono la cosa giusta: l'inferenza è memory-bound, limitata dal trasporto dei numeri più che dalle moltiplicazioni. Da qui nasce metà dell'ingegneria dei modelli serviti — la quantizzazione, cioè meno byte per peso e quindi meno da leggere, e le varianti di attenzione che accorciano la cache.
Ed ecco perché la tua richiesta viene messa in fila con quelle di sconosciuti. Leggere 350 GB di pesi costa uguale che si stia servendo una persona o sessantaquattro: se le richieste viaggiano insieme, in batch, quel costo si divide fra tutte. Il throughput, cioè le risposte al secondo, cresce quasi proporzionalmente al batch finché la scheda non diventa limitata dal calcolo; la latenza del singolo peggiora un po'. È un baratto, e i sistemi moderni lo gestiscono al volo: vLLM, per esempio, organizza la cache chiave-valore in pagine come farebbe un sistema operativo con la memoria, e infila richieste nuove nel batch mentre le vecchie sono ancora in corso. La settima tappa del viaggio, quella in cui il tuo messaggio finisce in un gruppo con altri, è esattamente questo.
Che cosa è vero e che cosa è illustrativo in questa pagina, detto senza trucchi. Il cavo del viaggio esiste davvero: è MAREA, 6.605 km fra Bilbao e Virginia Beach, e la lunghezza è quella del censimento di TeleGeography. I due tratti via terra — da casa alla costa e dall'approdo al data center — sono ordini di grandezza scelti da me, non misure. I millisecondi del contatore non sono una previsione dell'attesa: sono un pavimento fisico, la distanza divisa per la velocità della luce nella fibra. L'unico numero misurato davvero lo produci tu, con il bottone «misura la tua latenza»: quello è il tuo browser che parla con il server di questo sito, adesso. Il grafico ingresso-uscita dell'ultima scena, infine, è una funzione che ho inventato io: serve a mostrare la differenza fra cercare e calcolare, non a imitare un modello.
Complessità della fonte: divulgativa approfondimento tecnica o accademica