Tokens

Zuletzt aktualisiert: 6. Oktober 2026

Was Tokens sind

Sprachmodelle sehen keine Buchstaben und keine ganzen Wörter. Bevor Text beim Modell ankommt, zerlegt ein Tokenizer ihn in Tokens aus einem festen Vokabular. Häufige Wörter sind oft ein einzelnes Token, seltene Wörter, Namen und lange Komposita werden in mehrere Stücke geteilt. Zahlen, Satzzeichen und Leerzeichen zählen ebenfalls.

Als grobe Faustregel entspricht ein Token in englischem Text etwa vier Zeichen oder rund drei Vierteln eines Wortes. Das ist nur ein Näherungswert: Jede Modellfamilie hat ihren eigenen Tokenizer, und Texte in vielen anderen Sprachen, auch auf Deutsch, brauchen oft mehr Tokens als derselbe Inhalt auf Englisch.

Wie Tokens gezählt werden

Bei jeder Chatbot-Antwort werden Tokens in zwei Richtungen gezählt:

Beide zählen gegen das Kontextfenster des Modells. Anbieter mit nutzungsbasierter Abrechnung bepreisen Eingabe- und Ausgabe-Tokens meist getrennt, wobei Ausgabe-Tokens oft teurer sind. Auch Embedding-Modelle zählen Tokens, wenn sie Text in Vektoren umwandeln.

Eingabe-Tokens: alles, was an das Modell geht, etwa Anweisungen, Gesprächsverlauf und gefundene Dokumente.
Ausgabe-Tokens: die Antwort, die das Modell Token für Token erzeugt.

Beispiel

Der englische Satz „Our store opens at 9 am on weekdays.“ hat acht Wörter und 36 Zeichen, die meisten Tokenizer machen daraus ungefähr zehn Tokens. Eine vollständige Chatbot-Anfrage ist viel größer: Anweisungen, einige gefundene Textstellen und ein kurzes Gespräch können sich auf einige tausend Eingabe-Tokens summieren, bevor das Modell auch nur ein Wort seiner Antwort schreibt.

Warum Tokens für Business-Chatbots wichtig sind

Baust du einen Chatbot direkt auf einer Modell-API, bestimmen Tokens deine Kosten und Grenzen. Lange Anweisungen, große Textauszüge und lange Gespräche fügen jeder Nachricht Eingabe-Tokens hinzu. Ein guter Grund, Anweisungen knapp zu halten und gezielt zu suchen.

Tokens erklären auch praktische Grenzen: warum ein Modell nicht eine ganze Website in einer Anfrage lesen kann, warum sehr lange Gespräche irgendwann gekürzt werden müssen und warum eine Antwort abbrechen kann, wenn sie die maximale Ausgabelänge erreicht.

Tokens und intoCHAT

Bei intoCHAT zählst du keine Tokens. Die Tarife richten sich nach Nachrichten pro Monat und Zeichen an Trainingsinhalten: Free umfasst 25 Nachrichten pro Monat und 100.000 Zeichen, Starter (19 $ pro Monat) 2.500 Nachrichten pro Monat und 500.000 Zeichen pro Agent, Pro (49 $ pro Monat) 10.000 Nachrichten pro Monat und 1 Mio. Zeichen pro Agent. intoCHAT schickt dem Modell pro Nachricht nur die relevantesten Auszüge deiner Inhalte, und um Modell und Token-Verbrauch kümmert sich intoCHAT.

Häufige Fragen

Wie viele Wörter sind 1.000 Tokens?

Auf Englisch entsprechen 1.000 Tokens grob 750 Wörtern, nach der gängigen Schätzung von etwa drei Vierteln eines Wortes pro Token. Die genaue Zahl hängt vom Tokenizer und vom Text ab. Deutsche Texte und Texte mit vielen Zahlen oder Namen brauchen meist mehr Tokens.

Sind Tokens dasselbe wie Wörter?

Nein. Ein Token kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen sein. Kurze, häufige Wörter sind oft ein Token, lange oder seltene Wörter werden in mehrere zerlegt.

Warum rechnen KI-Anbieter pro Token ab?

Der Rechenaufwand eines Modells wächst mit der Textmenge, die es liest und schreibt, und Tokens sind die Einheit, die es verarbeitet. Die Abrechnung pro Token koppelt den Preis an diesen Aufwand. Eingabe- und Ausgabe-Tokens haben oft unterschiedliche Preise.

Rechnet intoCHAT nach Tokens ab?

Nein. Die Tarife von intoCHAT basieren auf Nachrichten pro Monat und Zeichen an Trainingsinhalten, den Token-Verbrauch übernimmt intoCHAT. Die aktuellen Grenzen jedes Tarifs findest du auf der Preisseite.