Large Language Model (LLM)
Zuletzt aktualisiert:
Was ein Large Language Model ist
Ein Sprachmodell schätzt, welches Wort, genauer welches Token, in einem Text wahrscheinlich als Nächstes kommt. Ein Large Language Model macht das mit einem neuronalen Netz aus Milliarden Parametern, trainiert auf großen Sammlungen öffentlicher Texte, Bücher und Programmcode. Diese Größe erlaubt es ihm, zusammenzufassen, zu übersetzen, Fragen zu beantworten und Anweisungen zu befolgen, ohne für jede Aufgabe eigens programmiert zu werden.
Bekannte LLM-Familien sind die GPT-Modelle von OpenAI, Claude von Anthropic, Gemini von Google, Llama von Meta und die Modelle von Mistral. Sie unterscheiden sich in Größe, Kosten, Geschwindigkeit, Sprachabdeckung und darin, wie zuverlässig sie Anweisungen befolgen.
So funktioniert ein LLM
Entwicklung und Nutzung eines LLM laufen grob in drei Phasen ab:
Ein LLM hat keine Live-Verbindung zum Internet oder zu deinen Systemen, solange die Anwendung drumherum keine bereitstellt. Sein eingebautes Wissen endet mit dem Trainingsstichtag, und alles, was es während eines Gesprächs liest, muss in sein Kontextfenster passen.
- Pre-Training: Das Modell liest riesige Textmengen und lernt, das nächste Token vorherzusagen. Dabei eignet es sich Grammatik, Fakten, Stile und Denkmuster an.
- Instruction Tuning und Feedback: Weiteres Training mit Beispielen hilfreicher Antworten und menschlichen Bewertungen bringt dem Modell bei, Anweisungen zu folgen und schädliche Anfragen abzulehnen.
- Inferenz: Wenn du einen Prompt sendest, wird der Text in Tokens zerlegt, und das Modell erzeugt seine Antwort Token für Token, jeweils auf Basis von allem, was davor steht.
Beispiel
Fragst du ein allgemeines LLM „Wann hat die Bäckerei Müller in der Hauptstraße geöffnet?“, kann es das nicht wissen, weil die Information nie in seinen Trainingsdaten stand oder sich seitdem geändert hat. Vielleicht sagt es das, vielleicht rät es eine plausible Antwort. Gibst du demselben Modell die aktuelle Seite mit den Öffnungszeiten als Teil des Prompts, antwortet es korrekt und in der Sprache des Besuchers.
Warum LLMs für Business-Chatbots wichtig sind
Das LLM ist der Motor eines KI-Chatbots, aber allein keine verlässliche Quelle für Fakten über dein Unternehmen. Business-Chatbots kombinieren das LLM deshalb mit einer Suche in deinen eigenen Inhalten, klaren Anweisungen und Regeln für den Fall, dass Informationen fehlen. Das Modell beeinflusst Antwortqualität, Geschwindigkeit und Kosten, und Anbieter aktualisieren ihre Modelle regelmäßig. Wer den Chatbot betreibt, muss diese Wahl also testen und pflegen.
Wie intoCHAT LLMs nutzt
intoCHAT betreibt jeden Agenten mit einem OpenAI-Modell, das intoCHAT auswählt und verwaltet. Du wählst kein Modell und stellst keine Parameter ein, sondern steuerst die Antworten über deine Inhalte, deine Anweisungen und Q&A-Paare. Für jede Nachricht sucht intoCHAT passende Auszüge aus deinen Quellen heraus und gibt sie dem Modell zusammen mit Regeln, die die Antworten an dieses Material binden.