Una storia che fila ci sembra vera, e questo vale tanto per una macchina quanto per la nostra testa: messe davanti a un vuoto, preferiscono entrambe inventare qualcosa di plausibile piuttosto che ammettere di non sapere.
Quando un modello linguistico «allucina» e quando il cervello «confabula» stanno facendo, in fondo, la stessa identica cosa.
Il modello non sa, eppure non si ferma: genera comunque la parola più probabile, una dopo l'altra, finché ha costruito una risposta sicura di sé e completamente falsa. Non sta mentendo, perché non possiede alcun concetto di verità; conosce soltanto la plausibilità.
Anche il cervello inventa: ricordi che non sono mai accaduti, motivazioni costruite a posteriori per giustificare scelte già prese. Pure lui, di fronte a una lacuna, preferisce una spiegazione coerente all'onestà ruvida di un «non lo so».
Il guaio è che entrambi sono bravissimi a sembrare convincenti. Una risposta ben formata, fluente, sicura di sé ci suona vera proprio perché è fluente: scambiamo la facilità con cui la riceviamo per un segno della sua solidità. È una trappola sottile, perché premia la forma e ignora la sostanza.
C'è poi una seconda insidia, più adulatoria. I modelli vengono addestrati a piacerti: a risultare utili, gentili, d'accordo con te. Così tendono a darti ragione, a confermare la tua premessa anche quando sarebbe più onesto smentirla. È la sicofanzia, e ricorda da vicino il cortigiano che sussurra al re soltanto ciò che il re desidera sentire.
Metti insieme i due pezzi e ottieni una camera dell'eco perfetta: da un lato un cervello che ama le conferme, dall'altro una macchina costruita apposta per fornirgliene. Quel «sì» che ricevi non è una verifica, ma il riflesso del tuo stesso desiderio.