Saltar al contenido

Pruebas de chatbot

Prueba tu chatbot de IA antes de que lo hagan tus clientes

Describe un cliente y cómo es un buen chat. Una IA interpreta a ese cliente frente a tu agente real, un juez de IA califica el chat como aprobado o suspendido con un motivo, y mientras tanto no se envía, reserva ni guarda nada.

Ejemplo: una prueba de reembolso de un pedido retrasado

Visitante: Mi pedido lleva una semana de retraso. Quiero que me devolváis el dinero.

Agente: Siento el retraso. ¿Me das tu número de pedido para que revise el reembolso?

Visitante: Es el 1042.

Agente: Gracias. Inicio la solicitud de reembolso del pedido 1042. El reembolso no será definitivo hasta que se confirme.

Una corrección puede romper otra respuesta sin que lo notes

Ajustas las instrucciones para que el agente deje de prometer reembolsos, y una semana después ya no pide el número de pedido. Añades una lista de precios nueva, y una página antigua la contradice. La mayoría de los equipos prueban un chatbot escribiendo unas cuantas preguntas tras cada cambio: así encuentran el problema que están arreglando y se les escapan los que no buscan. Probar bien un chatbot de IA significa repetir las conversaciones importantes en cada cambio, con las mismas herramientas que el agente usa de verdad, sin enviar correos a tu equipo ni reservar citas mientras tanto.

Comprueba las conversaciones importantes con un clic

Las pruebas con clientes simulados están en el Playground, debajo del chat. Se incluyen desde Starter.

  • Clientes simulados

    En cada prueba describes quién es el cliente, cómo se comporta y qué quiere. Una IA lo interpreta, en el idioma que sugiere la descripción: "un cliente español" escribe en español.

  • Tu agente real

    El agente responde exactamente como en tu web: con sus instrucciones, límites, conocimiento, procedimientos y herramientas guardados. Pruebas lo que recibirían tus visitantes, no una copia.

  • Un juez de IA que explica

    Cuando termina el chat, un juez lo lee según tus criterios de éxito y lo califica como Pass o Fail, con el motivo. Arriba ves el porcentaje de pruebas aprobadas.

  • Sin efectos secundarios

    Las acciones, los traspasos, las solicitudes de chat en vivo, las reservas, las consultas de pedidos y los formularios se simulan. Nadie recibe un correo, no se abre ningún ticket y no se reserva nada.

  • Borradores lado a lado

    En el Playground, Compare hace la misma pregunta a tu configuración guardada y a un borrador editado, para que veas cuál responde mejor antes de cambiar nada en tu web.

Cómo funciona una prueba

  1. Escribe la prueba

    Haz clic en Add test y escribe un nombre, el cliente, su objetivo y los criterios de éxito: lo que el agente debe hacer, o no hacer nunca. Si quieres, fija un primer mensaje y Max turns, de 1 a 8 respuestas (6 por defecto).

  2. Ejecuta una o todas

    Run inicia una sola prueba y Run all ejecuta todas las pruebas del agente, una tras otra. La página muestra cada resultado en cuanto termina. Cancel detiene la ejecución en el siguiente paso.

  3. El cliente chatea hasta el final

    El cliente simulado escribe, tu agente responde con sus herramientas reales y el chat sigue hasta que el cliente logra su objetivo, se rinde o el agente ha respondido Max turns veces.

  4. Lee el veredicto

    Cada prueba muestra Pass, Fail o Error. Ábrela para leer el motivo del juez y el chat completo, con las herramientas que usó el agente bajo cada respuesta. Recent runs guarda tus últimas 10 ejecuciones.

Detalles de las pruebas

  • Hasta 25 pruebas por agente

    Empieza por las conversaciones más importantes: tu pregunta más frecuente, un reembolso o una cancelación, una pregunta que el agente debe rechazar, una petición de hablar con una persona. Edita o borra una prueba cuando quieras; los resultados anteriores conservan su nombre.

  • Acciones de solo lectura, si quieres

    En una prueba no se llama a las acciones de API: el agente recibe un resultado marcado como simulado. Con Allow read-only actions, las acciones con el método GET se ejecutan de verdad y las respuestas pueden usar tus datos en vivo.

  • Procedimientos paso a paso

    Los procedimientos se ejecutan como siempre, con su estado guardado solo para la prueba. Sus acciones se simulan como las demás, y las acciones en el navegador del visitante se omiten.

  • Nada en tus estadísticas

    Las pruebas nunca aparecen en Conversations, Leads, temas ni estadísticas del panel. Los formularios de leads y de chat pueden aparecer, pero no se envía nada y no sale ninguna alerta ni webhook.

  • Prueba modelos y borradores

    El Playground responde con las instrucciones, los límites y el modelo en pantalla, guardados o no. En Compare, A usa tu configuración guardada y B tu borrador, cada uno con su propio modelo. Use B copia el borrador a tu configuración.

  • Prueba como visitante con sesión iniciada

    En Test as a signed-in visitor introduce un ID de usuario, nombre, correo y metadatos para chatear en el Playground como visitante verificado. Las acciones del servidor reciben los mismos marcadores que con visitantes reales.

  • Why this answer, tras el lanzamiento

    Bajo cada respuesta de una transcripción, Why this answer muestra un nivel de confianza y el conocimiento y las acciones de los que salió la respuesta, para encontrar el origen de una respuesta incorrecta.

  • History para deshacer un cambio

    Cada vez que guardas se conserva una versión de la configuración del agente. History compara cualquier versión con la actual línea por línea, y el propietario o un admin puede restaurar una anterior en un paso.

Preguntas frecuentes

¿Cómo pruebo un chatbot de IA antes de publicarlo?

Haz en el Playground las preguntas más frecuentes de tus visitantes: responde con la configuración en pantalla, guardada o no. Después añade pruebas con clientes simulados para las conversaciones que tienen que funcionar, ejecútalas todas tras cada cambio y lee las transcripciones de las que fallen. Con Compare pruebas instrucciones nuevas junto a las guardadas antes de guardar.

¿Qué es una prueba con clientes simulados?

Una prueba describe un cliente, su objetivo y lo que el agente debe hacer para que el chat apruebe. Una IA interpreta a ese cliente y chatea con tu agente, que responde con su configuración y herramientas reales. Al final, un juez de IA lee el chat y lo califica como Pass o Fail, con un motivo.

¿Las pruebas envían correos, reservan citas o llaman a mis API?

No. Los traspasos y las solicitudes de chat en vivo se simulan: nadie recibe un correo, un mensaje de Slack ni un ticket. No se consulta ningún calendario ni se busca ningún pedido. Las acciones de API devuelven datos simulados, salvo que actives Allow read-only actions, que ejecuta de verdad las acciones GET. La búsqueda web, si está activada, busca de verdad.

¿Puedo fiarme del juez?

En general sí, pero no a ciegas. El juez también es una IA y puede equivocarse, y el cliente simulado no siempre se comporta como uno real. Lee la transcripción antes de cambiar tu agente por un Fail, y escribe criterios que se puedan comprobar en el propio chat, como "pide el número de pedido antes de buscar nada".

¿Las pruebas gastan mis mensajes?

Cada respuesta de tu agente en una prueba cuenta como un mensaje en el Playground: uno con el modelo predeterminado, más con un modelo más grande. El cliente simulado y el juez no cuentan. Antes de ejecutar, la sección muestra cuántos mensajes puede usar como máximo una ejecución con un modelo de un mensaje; a menudo usa menos, porque el cliente termina antes.

¿Qué planes incluyen las pruebas?

Las pruebas con clientes simulados forman parte de los planes Starter, Pro y Enterprise. En Free, la sección Tests muestra "Included from Starter". El Playground, los chats temporales y Compare están en todos los planes.

¿Quién de mi equipo puede ejecutar pruebas?

Los editors, los admins y el propietario pueden añadir, editar, borrar y ejecutar pruebas. Los viewers ven las pruebas y sus resultados, pero no pueden cambiarlas ni ejecutarlas. Solo puede haber una ejecución por agente a la vez.

¿Puedo comparar dos versiones de mis instrucciones?

Sí. Activa Compare en el Playground: A responde con tu configuración guardada y B con un borrador editado de instrucciones, límites e idioma de respuesta, y cada lado puede usar su propio modelo. Haz clic en Send to both, y en Use B cuando B responda mejor. Ambos chats son temporales y cada envío usa los mensajes de los dos lados.

Asegúrate de que tu agente funciona antes de que tus visitantes lo descubran

Crea tu agente gratis, pruébalo en el Playground y añade pruebas con clientes simulados desde Starter.

Crea tu agente gratis

Plan gratuito, sin tarjeta de crédito.