Temperatur (Temperature)
Zuletzt aktualisiert:
Was die Temperatur ist
Wenn ein Sprachmodell schreibt, berechnet es für jedes mögliche nächste Token eine Wahrscheinlichkeit und wählt dann eines aus. Die Temperatur verändert diese Wahrscheinlichkeiten vor der Auswahl. Bei niedriger Temperatur gewinnt fast immer das wahrscheinlichste Token. Bei höherer Temperatur werden die Wahrscheinlichkeiten eingeebnet, sodass weniger wahrscheinliche Tokens häufiger zum Zug kommen.
Viele APIs akzeptieren je nach Anbieter Werte von 0 bis 1 oder 2. Ein Wert von 0 bedeutet nahezu immer die erste Wahl, auch wenn die Ausgaben selbst dann nicht immer völlig identisch sind.
Wie sie die Ausgabe verändert
In der Praxis lassen sich drei grobe Bereiche unterscheiden:
Die Temperatur fügt kein Wissen hinzu und macht ein Modell nicht wahrheitsgetreuer. Eine niedrige Einstellung lässt das Modell seine wahrscheinlichste Antwort zuverlässiger wiederholen, unter Umständen also auch denselben Fehler. Manche neueren Reasoning-Modelle bieten gar keine Temperatur-Einstellung an und steuern das Sampling selbst. Ein verwandter Parameter, Top-p, begrenzt stattdessen die Auswahl auf die wahrscheinlichsten Tokens.
- Niedrig: einheitlichere Formulierungen, gut für Faktenantworten, Datenextraktion und Klassifizierung.
- Mittel: etwas Abwechslung im Ausdruck bei gleichbleibendem Thema, eine übliche Voreinstellung für Chats.
- Hoch: vielfältigere, überraschendere Ausgaben, nützlich für Brainstorming oder kreatives Schreiben, aber anfälliger für Abschweifungen und Fehler.
Beispiel
Lass ein Modell fünfmal einen Slogan für eine Bäckerei schreiben. Bei niedriger Temperatur bekommst du jedes Mal fast denselben Satz. Bei hoher Temperatur erhältst du fünf recht unterschiedliche Ideen, manche brauchbar, manche seltsam. Fragst du dasselbe Modell nach den Öffnungszeiten der Bäckerei, willst du das Verhalten bei niedriger Temperatur: eine einheitliche Antwort auf Basis der Seite mit den Öffnungszeiten.
Warum sie für Business-Chatbots wichtig ist
Chatbots im Kundenkontakt funktionieren meist am besten mit niedriger bis mittlerer Temperatur, weil bei Fragen zu Preisen, Richtlinien oder Produkten Einheitlichkeit wichtiger ist als Kreativität. Trotzdem ist die Temperatur nur eine Feinjustierung, keine Lösung. Fehlende oder veraltete Inhalte, vage Anweisungen und eine schwache Suche sind häufigere Ursachen schlechter Antworten als eine ungünstig gewählte Temperatur.
Temperatur und intoCHAT
Bei intoCHAT können Kunden weder die Temperatur einstellen noch ein Modell wählen. Jeder Agent läuft mit einem OpenAI-Modell, das intoCHAT auswählt und verwaltet, inklusive seiner Einstellungen. Wie dein Agent antwortet, steuerst du über das, was er weiß, und über die Vorgaben für sein Verhalten: deine Quellen, deine Anweisungen, Q&A-Paare für Antworten, die exakt stimmen müssen, sowie Begrüßungsnachricht und vorgeschlagene Fragen.