Come funziona un LLM
Un modello linguistico scrive un token alla volta: guarda il contesto, decide a cosa prestare attenzione, calcola una probabilità per ogni parola possibile e ne sorteggia una.
Token: 0
Entropia: 0.0 bit
Top-1: 0%
Entropia (incertezza)
Sorpresa del token scelto
Come funziona
Questo è un modello in miniatura, addestrato in pagina su un breve testo italiano: i principi sono quelli dei veri LLM, ma al posto di miliardi di parametri ha solo qualche tabella di conteggi.
- Token: il testo viene spezzato in parole e segni di punteggiatura, ciascuno con un numero identificativo.
- Attenzione: ogni token della finestra di contesto riceve un peso. Pesano di più i token vicini e quelli rari e informativi; articoli e punteggiatura contano meno. Lo spessore delle linee mostra quanto.
- Probabilità: i punteggi dei token del contesto, pesati dall'attenzione, si sommano in un punteggio (logit) per ogni parola del vocabolario; la softmax li trasforma in probabilità.
- Campionamento: la temperatura rende la scelta più prudente (bassa) o più creativa (alta); il top-k tiene solo le k parole più probabili. La parola sorteggiata viene aggiunta al testo e il ciclo riparte.
Il testo è generato, non copiato: con lo stesso inizio il modello può proseguire in modi diversi. Le parole assenti dal corpus di addestramento vengono ignorate.