Zum Inhalt springen

llms.txt

Zuletzt aktualisiert:

Was llms.txt ist

Das Format llms.txt hat Jeremy Howard am 3. September 2024 vorgeschlagen. Es ist ein Vorschlag, kein offizieller Standard. Die Idee ist einfach: Statt ein KI-System durch Navigationsmenüs, Cookie-Banner und Skripte wühlen zu lassen, bietet eine Website eine einzige Textdatei in Markdown mit dem Wesentlichen und Verweisen auf weitere Details.

Der Vorschlag begründet das so: Kontextfenster sind zu klein, um die meisten Websites vollständig aufzunehmen, und HTML-Seiten verpacken ihre Informationen in Navigation, Werbung und JavaScript, die sich nur schwer in sauberen Text umwandeln lassen. Gedacht ist die Datei vor allem für die Inferenz, also für den Moment, in dem ein KI-Assistent beim Helfen Informationen braucht, weniger für das Training von Modellen. Zusätzlich empfiehlt der Vorschlag, wichtige Seiten als saubere Markdown-Version unter derselben URL mit angehängtem .md anzubieten.

So funktioniert es

Die Datei liegt im Stammverzeichnis einer Website unter /llms.txt. Die aktuelle Fassung des Vorschlags erlaubt sie auch unter einem Unterpfad, dann gilt sie für die Seiten darunter. Die Abschnitte folgen einer festen Reihenfolge:

  • Eine H1-Überschrift mit dem Namen der Website oder des Projekts. Nur dieser Teil ist Pflicht.
  • Ein Blockzitat mit einer kurzen Zusammenfassung, die die wichtigsten Informationen zum Verständnis der restlichen Datei enthält.
  • Optionale Abschnitte mit weiteren Details, etwa Absätze oder Listen.
  • Abschnitte unter H2-Überschriften mit „Dateilisten“: Jeder Eintrag ist ein Markdown-Link mit Name und URL, optional gefolgt von einem Doppelpunkt und einer kurzen Notiz.
  • Ein optionaler Abschnitt namens „Optional“ für zweitrangige Links, die ein KI-Agent überspringen kann, wenn er mit weniger Kontext auskommen muss.

Beispiel

Eine kleine Bäckerei könnte so eine Datei veröffentlichen: eine H1 mit „Bäckerei Rosa“, ein Blockzitat, das sie als Familienbäckerei im Viertel beschreibt, die Sauerteigbrot und Torten auf Bestellung backt, und einen Abschnitt „Wichtige Seiten“ mit Links zu Sortiment, Öffnungszeiten, Tortenbestellung und Liefergebiet, jeweils mit einer kurzen Notiz. Ein Abschnitt „Optional“ könnte auf die Geschichte der Bäckerei und die Presseseite verlinken. Fragt jemand einen KI-Assistenten, ob die Bäckerei glutenfreie Torten backt, kann ein Assistent, der die Datei liest, direkt die passende Seite ansteuern, statt aus Bruchstücken zu raten.

llms.txt, robots.txt und sitemap.xml

Die drei Dateien werden oft in einem Atemzug genannt, erfüllen aber unterschiedliche Aufgaben. robots.txt legt Zugriffsregeln fest, llms.txt wird bei Bedarf gelesen, wenn ein Assistent Informationen zu einem Thema braucht.

DateiAufgabeFormat
robots.txtTeilt automatisierten Crawlern mit, welche Bereiche einer Website sie aufrufen dürfenTextregeln
sitemap.xmlListet die Seiten einer Website auf, damit Suchmaschinen sie finden und indexierenXML
llms.txtGibt KI-Assistenten eine knappe Zusammenfassung und Links zu den nützlichsten InhaltenMarkdown

Warum das für Unternehmen und Chatbots wichtig ist

Viele Menschen fragen heute KI-Assistenten nach Produkten und Dienstleistungen. Eine llms.txt ist ein günstiger Weg, diesen Assistenten eine korrekte, aktuelle Zusammenfassung deines Angebots zu geben, einschließlich dessen, was du nicht anbietest. Das hilft, falsche Antworten über dein Unternehmen zu vermeiden. Eine veröffentlichte llms.txt garantiert aber nicht, dass ein KI-System sie liest oder deine Website zitiert. Sie ergänzt klare Seiten, ersetzt sie aber nicht.

Dieselbe Sorgfalt hilft einem Website-Chatbot. Ein KI-Chatbot, der aus deinen eigenen Inhalten antwortet, antwortet besser, wenn diese Inhalte sauber, sachlich und gut gegliedert sind. Eine präzise llms.txt und eine präzise Wissensdatenbank entstehen aus derselben Arbeit: in klarer Sprache aufzuschreiben, was über dein Unternehmen stimmt.

llms.txt bei intoCHAT

intoCHAT veröffentlicht eine eigene llms.txt unter https://www.intochat.ai/llms.txt. Sie fasst zusammen, was intoCHAT kann, listet auf, was es nicht kann, zeigt die Tarife mit Preisen und Limits und enthält das einzeilige Installations-Skript. Außerdem verweist sie KI-Assistenten auf ein ausführlicheres Faktenblatt unter https://www.intochat.ai/en/llm-info. intoCHAT erstellt keine llms.txt für deine Website. Wenn du selbst eine schreibst, kannst du denselben Text aber als TXT- oder Markdown-Datei hochladen und deinen Agenten damit trainieren.

Häufige Fragen

Ist llms.txt ein offizieller Standard?

Nein. Es ist ein Vorschlag, den Jeremy Howard im September 2024 veröffentlicht hat, mit einer öffentlichen Spezifikation auf llmstxt.org. Kein Normungsgremium hat ihn übernommen, und KI-Anbieter entscheiden selbst, ob sie die Datei nutzen.

Wo lege ich eine llms.txt ab?

Im Stammverzeichnis deiner Website, sodass sie unter example.com/llms.txt erreichbar ist, also am selben Ort wie die robots.txt. Die aktuelle Fassung des Vorschlags erlaubt auch eine Datei unter einem Unterpfad, die dann nur die Seiten darunter abdeckt. Schreib sie in Markdown, nicht in HTML.

Verbessert llms.txt mein Ranking bei Google oder in KI-Antworten?

Das ist nicht garantiert. Eine veröffentlichte llms.txt stellt nicht sicher, dass ein KI-System sie liest oder deine Website zitiert, und sie ist kein Rankingfaktor, auf den du dich verlassen kannst. Ihr Nutzen liegt darin, Assistenten, die sie lesen, eine kurze und korrekte Zusammenfassung zu geben, bei geringem Pflegeaufwand.

Was ist der Unterschied zwischen llms.txt und robots.txt?

robots.txt teilt Crawlern mit, welche Bereiche einer Website sie aufrufen dürfen. llms.txt erlaubt oder sperrt nichts, sondern bietet eine kuratierte Zusammenfassung und Links, die ein KI-Assistent bei Bedarf liest, wenn er Informationen über deine Website braucht. Beide Dateien können nebeneinander bestehen.

Sieh, wie er mit deiner Website antwortet

Gib die Adresse deiner Website ein und chatte mit einem Agenten, der aus deinen Seiten gebaut wird. Das dauert etwa eine Minute.

Agent kostenlos erstellen

Kostenloser Plan, keine Kreditkarte nötig.