KI-Halluzination
Zuletzt aktualisiert:
Was eine KI-Halluzination ist
Der Begriff beschreibt Ausgaben, die weder durch die Eingaben des Modells noch durch die Wirklichkeit gedeckt sind: ein falsches Datum, eine Funktion, die es nicht gibt, ein Zitat, das niemand gesagt hat, ein Link ins Leere. Gefährlich macht Halluzinationen ihr Tonfall. Das Modell formuliert eine falsche Antwort genauso flüssig und sicher wie eine richtige.
Warum Sprachmodelle halluzinieren
Meist wirken mehrere Ursachen zusammen:
- Vorhersage des nächsten Tokens: Ein Modell ist darauf trainiert, plausiblen Text zu erzeugen, nicht Fakten zu prüfen. Fehlen Informationen, kommt oft eine plausible Vermutung heraus.
- Lücken in den Trainingsdaten: Das Modell kennt dein Unternehmen vielleicht gar nicht oder hat veraltete Informationen gelernt.
- Verfehlte Suche: Findet der Suchschritt eines Chatbots die richtige Textstelle nicht, füllt das Modell die Lücke womöglich mit Allgemeinwissen.
- Suggestivfragen: Eine Frage, die etwas Falsches voraussetzt, etwa einen Rabatt, den es nicht gibt, kann das Modell mitziehen.
Beispiel
Ein Besucher fragt den Chatbot eines Hotels: „Ist im Wochenendpaket das Frühstück inklusive?“ Die Wissensdatenbank beschreibt das Paket, erwähnt aber kein Frühstück. Ein schlecht eingerichteter Chatbot antwortet „Ja, ein Frühstücksbuffet ist inklusive“, weil viele Wochenendpakete eines enthalten. Ein Chatbot mit Grounding sagt, dass die Paketbeschreibung kein Frühstück erwähnt, und empfiehlt, direkt beim Hotel nachzufragen.
Warum Halluzinationen für Business-Chatbots wichtig sind
Auf einer Firmenwebsite ist ein erfundener Preis, eine falsche Rückgabefrist oder Öffnungszeit kein harmloser Ausrutscher. Kunden handeln danach. In einem Fall aus dem Jahr 2024 erklärte ein kanadisches Schiedsgericht Air Canada für falsche Tarifauskünfte haftbar, die der Website-Chatbot einem Kunden gegeben hatte. Ganz verhindern lassen sich Halluzinationen nicht, wohl aber verringern:
- Aus abgerufenen Firmeninhalten antworten statt aus dem Gedächtnis des Modells.
- Das Modell anweisen zu sagen, wenn die Quellen die Antwort nicht enthalten.
- Quellen aktuell halten und widersprüchliche oder veraltete Seiten entfernen.
- Für Fragen, bei denen es auf den genauen Wortlaut ankommt, Q&A-Paare anlegen.
- Mit Fragen testen, die die Inhalte nicht beantworten, und nach dem Start die Chatverläufe prüfen.
Wie intoCHAT Halluzinationen verringert
Für jede Nachricht holt intoCHAT per hybrider Suche passende Auszüge aus deinen Inhalten und gibt sie dem Modell mit eingebauten Regeln. Geschäftliche Fakten wie Preise, Richtlinien und Kontaktdaten müssen aus deiner Konfiguration, deinen Quellen oder einem erfolgreichen Aktionsergebnis stammen. Fehlen Belege oder widersprechen sie sich, sagt der Agent, was er nicht bestätigen kann, statt zu raten. Q&A-Antworten haben Vorrang vor anderen Quellen, und im Playground testest du den Agenten, in den Chatverläufen liest du jedes Gespräch nach.