Chatbot testen
Teste deinen KI-Chatbot, bevor deine Kunden es tun
Beschreibe einen Kunden und wie ein guter Chat aussieht. Eine KI spielt diesen Kunden gegen deinen echten Agenten, ein KI-Prüfer bewertet den Chat mit Bestanden oder Nicht bestanden samt Begründung, und dabei wird nichts verschickt, gebucht oder gespeichert.
Besucher: Meine Bestellung ist eine Woche zu spät. Ich will mein Geld zurück.
Agent: Das tut mir leid. Kannst du mir deine Bestellnummer geben, damit ich mir die Erstattung ansehen kann?
Besucher: 1042.
Agent: Danke. Ich starte die Erstattungsanfrage für Bestellung 1042. Endgültig ist die Erstattung erst, wenn sie bestätigt ist.
Eine Korrektur kann still eine andere Antwort kaputt machen
Du verschärfst die Anweisungen, damit der Agent keine Erstattungen mehr verspricht, und eine Woche später fragt er nicht mehr nach der Bestellnummer. Du fügst eine neue Preisliste hinzu, und eine alte Seite widerspricht ihr. Die meisten Teams testen einen Chatbot, indem sie nach jeder Änderung ein paar Fragen eintippen. Das findet das Problem, das man gerade behebt, und übersieht die, nach denen man nicht sucht. Einen KI-Chatbot richtig zu testen heißt, die wichtigen Gespräche bei jeder Änderung erneut durchzuspielen, mit denselben Tools, die der Agent im Ernstfall nutzt, und ohne dabei deinem Team E-Mails zu schicken oder Termine zu buchen.
Prüfe die wichtigen Gespräche mit einem Klick
Tests mit simulierten Kunden findest du im Playground unter dem Chat. Sie sind ab Starter enthalten.
Simulierte Kunden
Für jeden Test beschreibst du, wer der Kunde ist, wie er sich verhält und was er will. Eine KI spielt ihn, in der Sprache, die die Beschreibung nahelegt: „ein deutscher Kunde“ chattet auf Deutsch.
Dein echter Agent
Der Agent antwortet genau wie auf deiner Website: mit seinen gespeicherten Anweisungen, Leitplanken, seinem Wissen, seinen Abläufen und Tools. Du testest, was Besucher bekommen würden, keine Kopie.
Ein KI-Prüfer mit Begründung
Wenn der Chat endet, liest ein Prüfer ihn anhand deiner Erfolgskriterien und bewertet ihn mit Pass oder Fail, samt Begründung. Oben siehst du den Anteil der bestandenen Tests.
Keine Nebenwirkungen
Aktionen, Übergaben, Live-Chat-Anfragen, Buchungen, Bestellabfragen und Formulare werden simuliert. Niemand bekommt eine E-Mail, kein Ticket wird geöffnet und nichts wird gebucht.
Entwürfe nebeneinander
Im Playground stellt Compare deinen gespeicherten Einstellungen und einem bearbeiteten Entwurf dieselbe Frage. So siehst du, welche Version besser antwortet, bevor du etwas auf deiner Website änderst.
So funktioniert ein Test
Den Test schreiben
Klick auf Add test und gib einen Namen, den Kunden, sein Ziel und die Erfolgskriterien ein: was der Agent tun oder nie tun darf. Optional legst du eine erste Nachricht und Max turns fest, 1 bis 8 Antworten (Standard: 6).
Einen oder alle ausführen
Run startet einen einzelnen Test, Run all führt alle Tests des Agenten nacheinander aus. Die Seite zeigt jedes Ergebnis, sobald es fertig ist. Cancel stoppt den Lauf beim nächsten Schritt.
Der Kunde chattet bis zum Ende
Der simulierte Kunde schreibt, dein Agent antwortet mit seinen echten Tools, und der Chat läuft, bis der Kunde sein Ziel erreicht, aufgibt oder der Agent Max turns Mal geantwortet hat.
Das Urteil lesen
Jeder Test zeigt Pass, Fail oder Error. Öffne ihn, um die Begründung des Prüfers und den ganzen Chat zu lesen, mit den Tools, die der Agent unter jeder Antwort genutzt hat. Recent runs behält deine letzten 10 Läufe zum Vergleich.
Details zum Testen
Bis zu 25 Tests pro Agent
Fang mit den wichtigsten Gesprächen an: deine häufigste Frage, eine Erstattung oder Kündigung, eine Frage, die der Agent ablehnen muss, die Bitte um eine Person. Du kannst Tests jederzeit bearbeiten oder löschen; alte Ergebnisse behalten den Namen.
Lesende Aktionen, wenn du willst
API-Aktionen werden im Test nicht aufgerufen: Der Agent bekommt ein als simuliert markiertes Ergebnis. Mit Allow read-only actions laufen Aktionen mit der Methode GET wirklich, sodass Antworten deine Live-Daten nutzen können.
Abläufe Schritt für Schritt
Abläufe laufen wie gewohnt, ihr Zustand gilt nur für den Test. Ihre Aktionen werden wie alle anderen simuliert, und Aktionen im Browser des Besuchers werden übersprungen.
Nichts in deinen Statistiken
Tests erscheinen nie unter Conversations, Leads, Themen oder in den Dashboard-Zahlen. Lead- und Chat-Formulare können auftauchen, aber nichts wird abgeschickt, und es geht keine Benachrichtigung und kein Webhook raus.
Modelle und Entwürfe ausprobieren
Der Playground antwortet mit den Anweisungen, Leitplanken und dem Modell auf dem Bildschirm, gespeichert oder nicht. In Compare nutzt A deine gespeicherten Einstellungen und B deinen Entwurf, jeweils mit eigenem Modell. Use B übernimmt den Entwurf.
Als angemeldeter Besucher testen
Gib unter Test as a signed-in visitor eine User-ID, Name, E-Mail und Metadaten ein, um im Playground als verifizierter Besucher zu chatten. Serverseitige Aktionen bekommen dieselben Platzhalter wie bei echten Besuchern.
Why this answer nach dem Livegang
Unter jeder Antwort im Transkript zeigt Why this answer eine Konfidenz und das Wissen und die Aktionen, aus denen die Antwort entstand. So findest du die Quelle einer falschen Antwort.
History macht Änderungen rückgängig
Jedes Speichern legt eine Version der Agent-Einstellungen an. History vergleicht jede Version Zeile für Zeile mit den aktuellen Einstellungen, und Inhaber oder Admins stellen eine frühere mit einem Schritt wieder her.
Häufige Fragen
Wie teste ich einen KI-Chatbot vor dem Livegang?
Stell im Playground die häufigsten Fragen deiner Besucher. Er antwortet mit den Einstellungen auf dem Bildschirm, gespeichert oder nicht. Lege dann Tests mit simulierten Kunden für die Gespräche an, die funktionieren müssen, führe nach jeder Änderung alle aus und lies die Transkripte der fehlgeschlagenen. Mit Compare probierst du neue Anweisungen neben den gespeicherten aus, bevor du speicherst.
Was ist ein Test mit simulierten Kunden?
Ein Test beschreibt einen Kunden, sein Ziel und was der Agent tun muss, damit der Chat besteht. Eine KI spielt diesen Kunden und chattet mit deinem Agenten, der mit seinen echten Einstellungen und Tools antwortet. Am Ende liest ein KI-Prüfer den Chat und bewertet ihn mit Pass oder Fail, samt Begründung.
Verschicken Tests E-Mails, buchen Termine oder rufen meine APIs auf?
Nein. Übergaben und Live-Chat-Anfragen werden simuliert, niemand bekommt eine E-Mail, eine Slack-Nachricht oder ein Helpdesk-Ticket. Kein Kalender wird abgefragt und keine Bestellung nachgeschlagen. API-Aktionen liefern simulierte Daten, außer du schaltest Allow read-only actions ein; dann laufen GET-Aktionen wirklich. Die Websuche sucht wirklich, wenn sie an ist.
Kann ich dem Prüfer vertrauen?
Meistens, aber nicht blind. Der Prüfer ist ebenfalls eine KI und kann sich irren, und der simulierte Kunde verhält sich nicht immer wie ein echter. Lies das Transkript, bevor du deinen Agenten wegen eines Fails änderst, und schreib Kriterien, die sich am Chat selbst prüfen lassen, etwa „fragt nach der Bestellnummer, bevor er etwas nachschlägt“.
Verbrauchen Tests meine Nachrichten?
Jede Antwort deines Agenten in einem Test zählt wie eine Nachricht im Playground: eine mit dem Standardmodell, mehr mit einem größeren Modell. Der simulierte Kunde und der Prüfer zählen nicht. Vor dem Start zeigt der Bereich, wie viele Nachrichten ein Lauf mit einem Ein-Nachrichten-Modell höchstens verbraucht; oft sind es weniger, weil der Kunde den Chat früher beendet.
Welche Pläne enthalten Tests?
Tests mit simulierten Kunden gehören zu den Plänen Starter, Pro und Enterprise. In Free zeigt der Bereich Tests „Included from Starter“. Playground, temporäre Chats und Compare gibt es in jedem Plan.
Wer in meinem Team darf Tests ausführen?
Editors, Admins und der Inhaber können Tests anlegen, bearbeiten, löschen und ausführen. Viewer sehen die Tests und ihre Ergebnisse, können sie aber nicht ändern oder starten. Pro Agent läuft immer nur ein Lauf gleichzeitig.
Kann ich zwei Versionen meiner Anweisungen vergleichen?
Ja. Schalte im Playground Compare ein: A antwortet mit deinen gespeicherten Einstellungen, B mit einem bearbeiteten Entwurf von Anweisungen, Leitplanken und Antwortsprache, und jede Seite kann ein eigenes Modell nutzen. Klick auf Send to both und auf Use B, wenn B besser antwortet. Beide Chats sind temporär, und jedes Senden verbraucht die Nachrichten beider Seiten.
Wisse, dass dein Agent funktioniert, bevor deine Besucher es herausfinden
Erstelle deinen Agenten kostenlos, probiere ihn im Playground aus und lege ab Starter Tests mit simulierten Kunden an.
Agent kostenlos erstellenKostenloser Plan, keine Kreditkarte nötig.