Tokens

Los modelos de lenguaje no ven letras ni palabras enteras. Antes de que el texto llegue al modelo, un tokenizador lo divide en tokens de un vocabulario fijo. Las palabras comunes suelen ser un solo token, mientras que las palabras raras, los nombres y las palabras largas se dividen en varias piezas. Los números, la puntuación y los espacios también cuentan.

Una regla práctica habitual es que un token de texto en inglés equivale a unos cuatro caracteres, o unas tres cuartas partes de una palabra. Es solo una aproximación: cada familia de modelos tiene su propio tokenizador, y el texto en muchos otros idiomas, incluido el español, suele necesitar más tokens que el mismo contenido en inglés.

Cada vez que un chatbot responde, los tokens se cuentan en dos direcciones:

Ambos cuentan dentro de la ventana de contexto del modelo. Los proveedores que cobran por uso suelen poner precios distintos a los tokens de entrada y de salida, y los de salida a menudo cuestan más. Los modelos de embeddings también cuentan tokens cuando convierten texto en vectores.

La frase inglesa «Our store opens at 9 am on weekdays.» tiene ocho palabras y 36 caracteres, así que la mayoría de los tokenizadores la convierten en unos diez tokens. Una petición completa de un chatbot es mucho mayor: instrucciones, algunos fragmentos recuperados y una conversación corta pueden sumar unos miles de tokens de entrada antes de que el modelo escriba una sola palabra de su respuesta.

Si construyes un chatbot directamente sobre la API de un modelo, los tokens marcan tus costes y tus límites. Las instrucciones largas, los fragmentos recuperados extensos y las conversaciones largas añaden tokens de entrada a cada mensaje, una buena razón para mantener las instrucciones centradas y la recuperación selectiva.

Los tokens también explican límites prácticos: por qué un modelo no puede leer una web entera en una sola petición, por qué las conversaciones muy largas tienen que acortarse en algún momento y por qué una respuesta puede cortarse al llegar a la longitud máxima de salida.

Con intoCHAT no cuentas tokens. Los planes se miden en mensajes al mes y caracteres de contenido de entrenamiento: Free incluye 25 mensajes al mes y 100.000 caracteres, Starter (19 $ al mes) 2.500 mensajes al mes y 500.000 caracteres por agente, y Pro (49 $ al mes) 10.000 mensajes al mes y 1 millón de caracteres por agente. En cada mensaje, intoCHAT envía al modelo solo los fragmentos más relevantes de tu contenido, y el modelo y su consumo de tokens se gestionan por ti.