Temperatura (temperature)
Última actualización:
Qué es la temperatura
Cuando un modelo de lenguaje escribe, calcula una probabilidad para cada posible token siguiente y después elige uno. La temperatura ajusta esas probabilidades antes de la elección. Con una temperatura baja, el token más probable gana casi siempre. Con una temperatura más alta, las probabilidades se aplanan y los tokens menos probables se eligen con más frecuencia.
Muchas APIs aceptan valores de 0 a 1 o 2, según el proveedor. Un valor de 0 equivale casi a tomar siempre la primera opción, aunque ni siquiera así las respuestas son siempre idénticas.
Cómo cambia las respuestas
En la práctica se distinguen tres rangos:
La temperatura no añade conocimiento ni hace que un modelo sea más veraz. Un valor bajo hace que repita con más constancia su respuesta más probable, lo que puede significar repetir el mismo error. Algunos modelos de razonamiento recientes ni siquiera ofrecen el ajuste de temperatura y gestionan el muestreo por su cuenta. Un parámetro relacionado, top-p, limita en cambio la elección a los tokens más probables.
- Baja: redacción más constante, adecuada para respuestas factuales, extracción de datos y clasificación.
- Media: algo de variedad en la redacción sin salirse del tema, un valor por defecto habitual para chat.
- Alta: resultados más variados y sorprendentes, útiles para lluvia de ideas o escritura creativa, pero con más tendencia a desviarse o equivocarse.
Ejemplo
Pide cinco veces a un modelo que escriba un eslogan para una panadería. Con una temperatura baja obtienes casi la misma frase cada vez. Con una temperatura alta obtienes cinco ideas muy distintas, algunas útiles y otras raras. Si preguntas al mismo modelo por el horario de la panadería, lo que quieres es el comportamiento de temperatura baja: una respuesta constante basada en la página de horarios.
Por qué importa en los chatbots de empresa
Los chatbots que atienden a clientes suelen funcionar mejor con temperaturas de bajas a moderadas, porque cuando las preguntas tratan de precios, políticas o productos la constancia importa más que la creatividad. Aun así, la temperatura es un ajuste menor, no una solución. El contenido ausente o desactualizado, las instrucciones vagas y una búsqueda deficiente causan malas respuestas con más frecuencia que una temperatura mal elegida.
La temperatura e intoCHAT
intoCHAT no permite a los clientes ajustar la temperatura ni elegir un modelo. Cada agente funciona con un modelo de OpenAI elegido y gestionado por intoCHAT, ajustes incluidos. Para cambiar cómo responde tu agente, actúas sobre lo que sabe y sobre cómo debe comportarse: tus fuentes, tus instrucciones, pares de preguntas y respuestas para lo que deba ser exacto, el mensaje de bienvenida y las preguntas sugeridas.