Multimodale Chatbots: Was Fotos, Dateien und Rich Replies heute leisten
Multimodale Chatbots verstehen mehr als getippten Text. Was im Kundenchat heute funktioniert, von Fotos und PDFs über die Suche per Foto bis zu Produktkarten und Tabellen, wo Sprache und Video stehen und wie du entscheidest, was deine Website braucht.
- Autor
- intoCHAT Team
- Veröffentlicht
- Zuletzt aktualisiert
- Lesezeit
- 5 Min. Lesezeit

Auf dieser Seite
Jahrelang bedeutete Chatbot ein Textfeld. Heutige KI-Modelle lesen auch Fotos, Screenshots und Dokumente, und Chat-Widgets können mit Produktkarten, Tabellen und Buttons antworten statt mit einer Textwand. Das verändert, was ein Website-Chatbot leisten kann. Dieser Artikel erklärt, was „multimodal“ in der Praxis bedeutet, was im Kundenchat bereits gut funktioniert, wo Sprache und Video stehen und wie du entscheidest, was deine Website braucht.
Was macht einen Chatbot multimodal?
Ein multimodaler Chatbot verarbeitet mehr als getippten Text, und zwar in zwei Richtungen:
- Eingabe: Bilder (Produktfotos, Screenshots, Fotos von Schäden), Dokumente wie PDFs und in manchen Systemen Sprache oder Video.
- Ausgabe: neben Text strukturierte Elemente wie Produktkarten, Vergleichstabellen, Karten mit Bildern, Quick-Reply-Buttons, Formulare oder eine Zeitauswahl.
Der Nutzen liegt in der Kombination. „Gibt es das auch in Blau?“ mit einem Foto ist eine klarere Anfrage als jeder Teil für sich.
Was heute gut funktioniert
Fotos und Screenshots lesen
Aktuelle Modelle beschreiben zuverlässig, was auf einem Foto zu sehen ist: die Art des Produkts, seine Farbe, das Material, den Stil, einen aufgedruckten Markennamen oder den Text einer Fehlermeldung auf einem Screenshot. Im Kundenchat erspart das das Hin und Her von „Kannst du es beschreiben?“. Ein Kunde schickt ein Foto einer zerkratzten Tischplatte und fragt nach einer Rücksendung; eine Nutzerin schickt einen Screenshot eines Fehlers und fragt, was zu tun ist.
Dokumente lesen
Eine PDF-Rechnung, eine Bestellbestätigung oder ein ausgefülltes Formular kann zusammen mit der Frage gelesen werden. „Warum wurde mir doppelt abgebucht?“ neben der Rechnung ist schneller beantwortet als mit abgetippter Rechnungsnummer.
Suche per Foto
Der klarste kommerzielle Anwendungsfall. Jemand hat eine Lampe in einem Café oder eine Jacke bei einer Freundin gesehen, weiß aber nicht, wie sie heißt. Die Person schickt das Foto, der Chatbot beschreibt den Artikel, durchsucht den Katalog des Shops und zeigt ähnliche Produkte. Aus „Ich weiß nicht, wie man das nennt“ wird eine Produktseite.
Rich Replies
Multimodale Ausgabe zählt so viel wie die Eingabe. Ein Vergleich von drei Tarifen liest sich als Tabelle besser, eine Produktauswahl als Karten mit Bildern und Preisen, ein naheliegender nächster Schritt als Button. Gut umgesetzt wählt der Chatbot das Format pro Antwort und behält Text für das, was sich in Worten besser sagen lässt.
Wo Sprache und Video stehen
Spracherkennung und Sprachsynthese sind grundsätzlich ausgereift, und Sprachagenten am Telefon werden häufiger. Sprache ist aber ein eigenes Projekt neben dem Website-Chat: Sie braucht Speech-to-Text und Text-to-Speech zusätzlich zum Sprachmodell, erhöht Latenz und Kosten und bringt eigene Gestaltungsfragen mit, von Akzenten und Dialekten bis zur Frage, was passiert, wenn der Anrufer unterbricht. Live-Videoverständnis im Kundenservice steht noch am Anfang. Für die meisten Websites bringen Fotos und Dokumente heute mehr, mit einem Bruchteil des Aufwands.
Herausforderungen, die du einplanen solltest
- Datenschutz. Fotos können Personen, Adressen oder Dokumentnummern zeigen. Sie sollten privat mit dem Gespräch gespeichert, mit ihm gelöscht und nie ins Wissen des Bots aufgenommen werden.
- Genauigkeit. Modelle können ein Foto falsch deuten. Der Bot sollte im Zweifel nachfragen und nie Produkte, Preise oder Verfügbarkeiten erfinden.
- Geschwindigkeit. Ein Bild zu lesen und einen Katalog zu durchsuchen verlängert eine Antwort um einige Sekunden.
- Missbrauch und Kosten. Uploads brauchen Größen- und Mengenlimits, und Bildsuchen eine Tagesgrenze, damit sie keine Kosten in die Höhe treiben.
Wie intoCHAT mit Bildern, Dateien und Rich Replies umgeht
intoCHAT-Agenten antworten in Text aus deinen eigenen Inhalten und ergänzen Bilder, Dokumente und reichhaltige Ausgaben dort, wo sie helfen:
- Besucher-Anhänge. Schalte Let visitors attach files ein, und Besucher senden Bilder (PNG, JPEG, WebP, GIF) und PDFs per Büroklammer, per Drag-and-drop oder indem sie einen Screenshot einfügen, bis zu 3 Dateien à 4 MB pro Nachricht. Der Agent liest sie mit der Nachricht. Jedes Modell liest Bilder; PDFs lesen die Modelle von OpenAI. Eine Nachricht mit Dateien zählt genauso wie eine ohne.
- Suche per Foto (ab Starter). Mit verbundenem Shop beschreibt der Agent das Foto, durchsucht deinen Katalog und zeigt bis zu 6 passende Produkte als Karten, die beste Übereinstimmung zuerst. Er ist angewiesen, Personen auf dem Foto zu ignorieren und Fotos beschädigter Lieferungen oder Fragen zu Bestellungen nicht als Suche zu behandeln. Starter enthält 50 Fotosuchen pro Agent und Tag, Pro 200.
- Produktkarten aus deinem Live-Katalog, mit Bild, Preis, Lagerstatus und Link.
- Rich Replies in jedem Tarif: Tabellen mit bis zu 8 Spalten, Karten mit Bildern und Preisen und Quick-Reply-Buttons, ohne zusätzliche Nachricht.
- Interaktive Schritte im Chat: ein Warenkorb mit Checkout, Chat-Formulare und eine Zeitauswahl für Buchungen über Cal.com oder Calendly.
Dateien werden an den Anbieter des Modells gesendet, das du für die Antworten wählst, privat mit dem Gespräch gespeichert und mit ihm gelöscht. Spracheingabe oder einen Telefonkanal bietet intoCHAT nicht, und der E-Mail-Agent antwortet anhand des Textes einer E-Mail, nicht ihrer Anhänge.
Soll deine Website multimodal werden?
- Starte mit Text. Trainiere einen Agenten mit deiner Website und deinen Dokumenten; er deckt die meisten Fragen zu Preisen, Richtlinien, Produkten und Anleitungen ab.
- Lies deine Chatverläufe. Zähle, wie oft Besucher etwas zu beschreiben versuchen, das ein Foto zeigen würde: einen Schaden, einen Fehler, ein Produkt, das sie anderswo gesehen haben.
- Schalte Anhänge ein, wenn das oft vorkommt, und sag dem Agenten in seinen Anweisungen, was er mit Fotos tun soll.
- Ergänze die Suche per Foto, wenn du einen Shop mit Produkten betreibst, die man eher nach Aussehen als nach Namen findet, etwa Mode, Möbel oder Deko.
- Nutze Rich Replies für Vergleiche und nächste Schritte. Sie sind standardmäßig aktiv.
Erstelle deinen Agenten kostenlos, schalte Anhänge ein und schick ihm im Playground ein Foto, oder vergleiche die Tarife.
Häufige Fragen
Was ist ein multimodaler Chatbot?
Ein multimodaler Chatbot versteht mehr als eine Art von Eingabe, etwa Text, Bilder, Dokumente, Sprache oder Video, und kann mit mehr als reinem Text antworten, zum Beispiel mit Produktkarten, Tabellen oder Buttons. Er kombiniert diese Eingaben, um eine Anfrage besser zu verstehen, etwa ein Foto eines Produkts zusammen mit einer geschriebenen Frage.
Was kann ein multimodaler Chatbot im E-Commerce und im Kundenservice?
Im E-Commerce ist der nützlichste Fall heute die Suche per Foto: Eine Kundin schickt ein Bild, und der Chatbot zeigt ähnliche Produkte aus dem Shop. Im Support schicken Kunden ein Foto einer beschädigten Lieferung, einen Screenshot einer Fehlermeldung oder eine PDF-Rechnung, und der Chatbot liest sie zusammen mit ihrer Frage, statt sie um eine Beschreibung zu bitten.
Ist intoCHAT ein multimodaler Chatbot?
Für Bilder und Dokumente ja. Mit aktivierten Besucher-Anhängen senden Besucher Bilder und PDFs, und der Agent liest sie mit ihrer Nachricht. Mit verbundenem Shop zeigt die Suche per Foto (ab Starter) passende Produkte als Karten. Antworten können Produktkarten, Tabellen, Karten mit Bildern und Quick-Reply-Buttons, einen Warenkorb, Formulare und Buchungszeiten enthalten. Spracheingabe oder einen Telefonkanal bietet intoCHAT nicht.
Welche KI-Modelle lesen in intoCHAT Bilder und PDFs?
Jedes Modell in intoCHAT liest Bilder: GPT-6 Luna, Claude und Gemini. PDFs lesen nur die Modelle von OpenAI; mit einem Claude- oder Gemini-Modell erfährt der Agent, dass ein PDF angehängt wurde, und antwortet anhand dessen, was der Besucher geschrieben hat. Eine Nachricht mit Dateien zählt genauso wie eine ohne.
Was sind die Herausforderungen multimodaler Chatbots?
Bilder können personenbezogene Daten enthalten, deshalb sollte der Anbieter sie privat speichern und nicht ins Wissen des Bots aufnehmen. Die Bilderkennung verlängert eine Antwort um einige Sekunden, und Modelle können ein Foto falsch deuten, deshalb sollte der Bot im Zweifel nachfragen und nie Produkte erfinden. Sprache bringt Spracherkennung, Latenz und Kosten mit sich und ist ein eigenes Projekt neben dem Textchat.
Braucht meine Website heute einen multimodalen Chatbot?
Starte mit einem Text-Agenten, der mit deinen eigenen Inhalten trainiert ist, denn er deckt die meisten Fragen ab. Schalte dann Anhänge ein, wenn Besucher oft Dinge beschreiben, die ein Foto schneller zeigen würde, etwa Schäden, Fehler oder Produkte, die sie suchen. Wirf einen Blick in deine Chatverläufe, bevor du in Sprache investierst.


