Tokens

Les modèles de langage ne voient ni lettres ni mots entiers. Avant d’atteindre le modèle, le texte est découpé par un tokenizer en tokens issus d’un vocabulaire fixe. Les mots courants forment souvent un seul token, tandis que les mots rares, les noms propres et les mots composés longs sont découpés en plusieurs morceaux. Les chiffres, la ponctuation et les espaces comptent aussi.

Selon une règle empirique courante, un token de texte anglais correspond à environ quatre caractères, soit à peu près trois quarts de mot. Ce n’est qu’une approximation : chaque famille de modèles a son propre tokenizer, et un texte dans beaucoup d’autres langues, dont le français, demande souvent plus de tokens que le même contenu en anglais.

À chaque réponse d’un chatbot, les tokens sont comptés dans deux sens :

Les deux comptent dans la fenêtre de contexte du modèle. Les fournisseurs qui facturent à l’usage tarifent généralement à part les tokens d’entrée et de sortie, ces derniers coûtant souvent plus cher. Les modèles d’embedding comptent eux aussi des tokens quand ils convertissent un texte en vecteurs.

La phrase anglaise « Our store opens at 9 am on weekdays. » compte huit mots et 36 caractères ; la plupart des tokenizers la transforment en une dizaine de tokens. Une requête complète de chatbot est bien plus volumineuse : instructions, quelques passages récupérés et une courte conversation peuvent représenter quelques milliers de tokens d’entrée avant que le modèle n’écrive le premier mot de sa réponse.

Si vous construisez un chatbot directement sur l’API d’un modèle, les tokens déterminent vos coûts et vos limites. Des instructions longues, de gros passages récupérés et de longues conversations ajoutent des tokens d’entrée à chaque message : une bonne raison de garder des instructions ciblées et une récupération sélective.

Les tokens expliquent aussi des limites pratiques : pourquoi un modèle ne peut pas lire un site entier en une seule requête, pourquoi les très longues conversations doivent tôt ou tard être raccourcies et pourquoi une réponse peut être tronquée quand elle atteint la longueur de sortie maximale.

Avec intoCHAT, vous ne comptez pas de tokens. Les offres se mesurent en messages par mois et en caractères de contenu d’entraînement : Free comprend 25 messages par mois et 100 000 caractères, Starter (19 $ par mois) 2 500 messages par mois et 500 000 caractères par agent, et Pro (49 $ par mois) 10 000 messages par mois et 1 million de caractères par agent. intoCHAT n’envoie au modèle que les extraits les plus pertinents de vos contenus à chaque message, et le modèle comme sa consommation de tokens sont gérés pour vous.