Vai al contenuto

Token

Ultimo aggiornamento:

Che cosa sono i token

I modelli linguistici non vedono lettere né parole intere. Prima che il testo arrivi al modello, un tokenizzatore lo divide in token presi da un vocabolario fisso. Le parole comuni sono spesso un solo token, mentre parole rare, nomi e parole composte lunghe vengono spezzati in più parti. Contano anche numeri, punteggiatura e spazi.

Una regola pratica diffusa dice che un token di testo inglese corrisponde a circa quattro caratteri, o a circa tre quarti di parola. È solo un’approssimazione: ogni famiglia di modelli ha il suo tokenizzatore, e i testi in molte altre lingue, italiano compreso, richiedono spesso più token dello stesso contenuto in inglese.

Come si contano i token

Ogni volta che un chatbot risponde, i token si contano in due direzioni:

Entrambi rientrano nella finestra di contesto del modello. I fornitori che fanno pagare a consumo di solito prezzano separatamente token di input e di output, e quelli di output spesso costano di più. Anche i modelli di embedding contano i token quando trasformano il testo in vettori.

  • Token di input: tutto ciò che viene inviato al modello, come istruzioni, cronologia della conversazione e documenti recuperati.
  • Token di output: la risposta che il modello genera, un token alla volta.

Esempio

La frase inglese «Our store opens at 9 am on weekdays.» ha otto parole e 36 caratteri, quindi la maggior parte dei tokenizzatori la trasforma in circa dieci token. Una richiesta completa di un chatbot è molto più grande: istruzioni, alcuni passaggi recuperati e una breve conversazione possono arrivare a qualche migliaio di token di input prima che il modello scriva una sola parola della risposta.

Perché i token contano per i chatbot aziendali

Se costruisci un chatbot direttamente sull’API di un modello, i token determinano costi e limiti. Istruzioni lunghe, passaggi recuperati molto estesi e conversazioni lunghe aggiungono token di input a ogni messaggio: un buon motivo per tenere le istruzioni mirate e il recupero selettivo.

I token spiegano anche alcuni limiti pratici: perché un modello non può leggere un intero sito in una sola richiesta, perché le conversazioni molto lunghe a un certo punto vanno accorciate e perché una risposta può interrompersi quando raggiunge la lunghezza massima di output.

I token e intoCHAT

Con intoCHAT non devi contare i token. I piani si misurano in messaggi al mese e caratteri di contenuti di addestramento: Free include 25 messaggi al mese e 100.000 caratteri, Starter ($19 al mese) 2.500 messaggi al mese e 500.000 caratteri per agente, Pro ($49 al mese) 10.000 messaggi al mese e 1 milione di caratteri per agente. A ogni messaggio intoCHAT invia al modello solo gli estratti più pertinenti dei tuoi contenuti, e il modello e il suo consumo di token sono gestiti per te.

Domande frequenti

Quante parole sono 1.000 token?

In inglese 1.000 token corrispondono all’incirca a 750 parole, secondo la stima comune di circa tre quarti di parola per token. Il numero esatto dipende dal tokenizzatore e dal testo. L’italiano e i testi con molti numeri o nomi richiedono di solito più token.

I token sono la stessa cosa delle parole?

No. Un token può essere una parola intera, una parte di parola, un segno di punteggiatura o uno spazio. Le parole brevi e comuni sono spesso un solo token, mentre quelle lunghe o rare vengono divise in più token.

Perché i fornitori di AI fanno pagare a token?

Il lavoro di calcolo di un modello cresce con la quantità di testo che legge e scrive, e i token sono l’unità che elabora. Far pagare a token lega il prezzo a quel lavoro. I token di input e di output hanno spesso prezzi diversi.

intoCHAT fa pagare in base ai token?

No. I piani di intoCHAT si basano su messaggi al mese e caratteri di contenuti di addestramento, e il consumo di token lo gestisce intoCHAT. I limiti aggiornati di ogni piano sono indicati nella pagina dei prezzi.

Guardalo rispondere dal tuo sito

Incolla l’indirizzo del tuo sito e chatta con un agente creato dalle tue pagine. Ci vuole circa un minuto.

Crea il tuo agente gratis

Piano gratuito, nessuna carta di credito.