Alucinación de la IA
Última actualización:
Qué es una alucinación de la IA
El término describe una respuesta que no está respaldada ni por los datos que recibió el modelo ni por la realidad: una fecha errónea, una función que no existe, una cita que nadie dijo, un enlace que no lleva a ninguna parte. Lo que hace peligrosas las alucinaciones es su tono. El modelo escribe una respuesta falsa con la misma fluidez y seguridad que una correcta.
Por qué alucinan los modelos de lenguaje
Normalmente se combinan varias causas:
- Predicción del siguiente token: un modelo está entrenado para producir texto plausible, no para comprobar hechos. Cuando falta información, a menudo sale una suposición verosímil.
- Lagunas en los datos de entrenamiento: puede que el modelo no conozca tu negocio o que aprendiera información ya desactualizada.
- Búsqueda fallida: en un chatbot, si el paso de búsqueda no encuentra el fragmento correcto, el modelo puede rellenar el hueco con conocimiento general.
- Preguntas tendenciosas: una pregunta que da por hecho algo falso, como un descuento inexistente, puede arrastrar al modelo.
Ejemplo
Un visitante pregunta al chatbot de un hotel: «¿El paquete de fin de semana incluye el desayuno?». La base de conocimiento describe el paquete, pero no menciona el desayuno. Un chatbot mal configurado responde «Sí, incluye bufé de desayuno», porque muchos paquetes de fin de semana lo incluyen. Un chatbot con grounding responde que la descripción del paquete no menciona el desayuno y sugiere preguntar directamente al hotel.
Por qué las alucinaciones importan en los chatbots de empresa
En la web de una empresa, un precio, un plazo de devolución o un horario inventados no son un despiste inofensivo. Los clientes actúan en consecuencia. En un caso de 2024, un tribunal canadiense declaró a Air Canada responsable de la información errónea sobre tarifas que el chatbot de su web dio a un cliente. Las alucinaciones no se pueden eliminar del todo, pero sí reducir:
- Responder con contenido de la empresa recuperado en lugar de con la memoria del modelo.
- Indicar al modelo que diga cuándo sus fuentes no contienen la respuesta.
- Mantener las fuentes al día y retirar páginas contradictorias o desactualizadas.
- Añadir pares de preguntas y respuestas cuando importa la formulación exacta.
- Probar con preguntas que el contenido no responde y revisar las conversaciones tras el lanzamiento.
Cómo reduce intoCHAT las alucinaciones
En cada mensaje, intoCHAT recupera con búsqueda híbrida los fragmentos relevantes de tu contenido y se los pasa al modelo con unas reglas integradas. Los datos del negocio, como precios, políticas y datos de contacto, deben salir de tu configuración, de tus fuentes o del resultado correcto de una acción. Cuando faltan pruebas o se contradicen, el agente dice qué no puede confirmar en lugar de adivinar. Las respuestas de Q&A tienen prioridad sobre las demás fuentes, y puedes probar el agente en el playground y leer cada conversación en el historial de chats.