Il modello non legge né lettere né parole intere: prima di ogni
altra cosa, smonta il testo in pezzetti chiamati token.
🧱 Come i mattoncini LEGO: una frase non entra "intera", viene
smontata in mattoncini standard che il modello sa maneggiare. A volte un mattoncino è una parola
intera, a volte mezza parola, a volte un solo segno.
Token (simulati): 0
parola intera pezzo di parola cifra segno emoji
💡 La sorpresa: il modello non vede le parole come te.
"insegnante" e "insegnanti" possono finire in pezzi diversi; gli spazi contano; i numeri si spezzano
cifra per cifra; un'emoji è un token come una parola. Per questo, ad esempio, a volte sbaglia a
contare le lettere.
Qui sto semplificando: un tokenizer vero ha un "vocabolario" di ~100.000
pezzi imparato dai dati, non regole fisse. Questa è un'imitazione fedele nello spirito, non nei
dettagli.