llms.txt
Zuletzt aktualisiert:
Was llms.txt ist
Das Format llms.txt hat Jeremy Howard am 3. September 2024 vorgeschlagen. Es ist ein Vorschlag, kein offizieller Standard. Die Idee ist einfach: Statt ein KI-System durch Navigationsmenüs, Cookie-Banner und Skripte wühlen zu lassen, bietet eine Website eine einzige Textdatei in Markdown mit dem Wesentlichen und Verweisen auf weitere Details.
Der Vorschlag begründet das so: Kontextfenster sind zu klein, um die meisten Websites vollständig aufzunehmen, und HTML-Seiten verpacken ihre Informationen in Navigation, Werbung und JavaScript, die sich nur schwer in sauberen Text umwandeln lassen. Gedacht ist die Datei vor allem für die Inferenz, also für den Moment, in dem ein KI-Assistent beim Helfen Informationen braucht, weniger für das Training von Modellen. Zusätzlich empfiehlt der Vorschlag, wichtige Seiten als saubere Markdown-Version unter derselben URL mit angehängtem .md anzubieten.
So funktioniert es
Die Datei liegt im Stammverzeichnis einer Website unter /llms.txt. Die aktuelle Fassung des Vorschlags erlaubt sie auch unter einem Unterpfad, dann gilt sie für die Seiten darunter. Die Abschnitte folgen einer festen Reihenfolge:
- Eine H1-Überschrift mit dem Namen der Website oder des Projekts. Nur dieser Teil ist Pflicht.
- Ein Blockzitat mit einer kurzen Zusammenfassung, die die wichtigsten Informationen zum Verständnis der restlichen Datei enthält.
- Optionale Abschnitte mit weiteren Details, etwa Absätze oder Listen.
- Abschnitte unter H2-Überschriften mit „Dateilisten“: Jeder Eintrag ist ein Markdown-Link mit Name und URL, optional gefolgt von einem Doppelpunkt und einer kurzen Notiz.
- Ein optionaler Abschnitt namens „Optional“ für zweitrangige Links, die ein KI-Agent überspringen kann, wenn er mit weniger Kontext auskommen muss.
Beispiel
Eine kleine Bäckerei könnte so eine Datei veröffentlichen: eine H1 mit „Bäckerei Rosa“, ein Blockzitat, das sie als Familienbäckerei im Viertel beschreibt, die Sauerteigbrot und Torten auf Bestellung backt, und einen Abschnitt „Wichtige Seiten“ mit Links zu Sortiment, Öffnungszeiten, Tortenbestellung und Liefergebiet, jeweils mit einer kurzen Notiz. Ein Abschnitt „Optional“ könnte auf die Geschichte der Bäckerei und die Presseseite verlinken. Fragt jemand einen KI-Assistenten, ob die Bäckerei glutenfreie Torten backt, kann ein Assistent, der die Datei liest, direkt die passende Seite ansteuern, statt aus Bruchstücken zu raten.
llms.txt, robots.txt und sitemap.xml
Die drei Dateien werden oft in einem Atemzug genannt, erfüllen aber unterschiedliche Aufgaben. robots.txt legt Zugriffsregeln fest, llms.txt wird bei Bedarf gelesen, wenn ein Assistent Informationen zu einem Thema braucht.
| Datei | Aufgabe | Format |
|---|---|---|
| robots.txt | Teilt automatisierten Crawlern mit, welche Bereiche einer Website sie aufrufen dürfen | Textregeln |
| sitemap.xml | Listet die Seiten einer Website auf, damit Suchmaschinen sie finden und indexieren | XML |
| llms.txt | Gibt KI-Assistenten eine knappe Zusammenfassung und Links zu den nützlichsten Inhalten | Markdown |
Warum das für Unternehmen und Chatbots wichtig ist
Viele Menschen fragen heute KI-Assistenten nach Produkten und Dienstleistungen. Eine llms.txt ist ein günstiger Weg, diesen Assistenten eine korrekte, aktuelle Zusammenfassung deines Angebots zu geben, einschließlich dessen, was du nicht anbietest. Das hilft, falsche Antworten über dein Unternehmen zu vermeiden. Eine veröffentlichte llms.txt garantiert aber nicht, dass ein KI-System sie liest oder deine Website zitiert. Sie ergänzt klare Seiten, ersetzt sie aber nicht.
Dieselbe Sorgfalt hilft einem Website-Chatbot. Ein KI-Chatbot, der aus deinen eigenen Inhalten antwortet, antwortet besser, wenn diese Inhalte sauber, sachlich und gut gegliedert sind. Eine präzise llms.txt und eine präzise Wissensdatenbank entstehen aus derselben Arbeit: in klarer Sprache aufzuschreiben, was über dein Unternehmen stimmt.
llms.txt bei intoCHAT
intoCHAT veröffentlicht eine eigene llms.txt unter https://www.intochat.ai/llms.txt. Sie fasst zusammen, was intoCHAT kann, listet auf, was es nicht kann, zeigt die Tarife mit Preisen und Limits und enthält das einzeilige Installations-Skript. Außerdem verweist sie KI-Assistenten auf ein ausführlicheres Faktenblatt unter https://www.intochat.ai/en/llm-info. intoCHAT erstellt keine llms.txt für deine Website. Wenn du selbst eine schreibst, kannst du denselben Text aber als TXT- oder Markdown-Datei hochladen und deinen Agenten damit trainieren.