Token
Ultimo aggiornamento:
Che cosa sono i token
I modelli linguistici non vedono lettere né parole intere. Prima che il testo arrivi al modello, un tokenizzatore lo divide in token presi da un vocabolario fisso. Le parole comuni sono spesso un solo token, mentre parole rare, nomi e parole composte lunghe vengono spezzati in più parti. Contano anche numeri, punteggiatura e spazi.
Una regola pratica diffusa dice che un token di testo inglese corrisponde a circa quattro caratteri, o a circa tre quarti di parola. È solo un’approssimazione: ogni famiglia di modelli ha il suo tokenizzatore, e i testi in molte altre lingue, italiano compreso, richiedono spesso più token dello stesso contenuto in inglese.
Come si contano i token
Ogni volta che un chatbot risponde, i token si contano in due direzioni:
Entrambi rientrano nella finestra di contesto del modello. I fornitori che fanno pagare a consumo di solito prezzano separatamente token di input e di output, e quelli di output spesso costano di più. Anche i modelli di embedding contano i token quando trasformano il testo in vettori.
- Token di input: tutto ciò che viene inviato al modello, come istruzioni, cronologia della conversazione e documenti recuperati.
- Token di output: la risposta che il modello genera, un token alla volta.
Esempio
La frase inglese «Our store opens at 9 am on weekdays.» ha otto parole e 36 caratteri, quindi la maggior parte dei tokenizzatori la trasforma in circa dieci token. Una richiesta completa di un chatbot è molto più grande: istruzioni, alcuni passaggi recuperati e una breve conversazione possono arrivare a qualche migliaio di token di input prima che il modello scriva una sola parola della risposta.
Perché i token contano per i chatbot aziendali
Se costruisci un chatbot direttamente sull’API di un modello, i token determinano costi e limiti. Istruzioni lunghe, passaggi recuperati molto estesi e conversazioni lunghe aggiungono token di input a ogni messaggio: un buon motivo per tenere le istruzioni mirate e il recupero selettivo.
I token spiegano anche alcuni limiti pratici: perché un modello non può leggere un intero sito in una sola richiesta, perché le conversazioni molto lunghe a un certo punto vanno accorciate e perché una risposta può interrompersi quando raggiunge la lunghezza massima di output.
I token e intoCHAT
Con intoCHAT non devi contare i token. I piani si misurano in messaggi al mese e caratteri di contenuti di addestramento: Free include 25 messaggi al mese e 100.000 caratteri, Starter ($19 al mese) 2.500 messaggi al mese e 500.000 caratteri per agente, Pro ($49 al mese) 10.000 messaggi al mese e 1 milione di caratteri per agente. A ogni messaggio intoCHAT invia al modello solo gli estratti più pertinenti dei tuoi contenuti, e il modello e il suo consumo di token sono gestiti per te.