Zuletzt aktualisiert am 11. August 2025 von Wolff von Rechenberg

Die llms.txt soll quasi als Inhaltsverzeichnis einer Wesite die Bots der Künstlichen Intelligenz (KI) unterstützen. Aber was ist eigentlich eine llms.txt und wozu dient sie? Erfüllt sie überhaupt einen Zweck? Denn es gibt auch Argumente gegen den Einsatz der llms.txt.

Was ist die llms.txt?

Wenn Menschen im Internet suchen, verwenden sie immer häufiger ein KI-Tool, etwa ChatGPT, Perplexitiy oder Claude. Diese sogenannten großen Sprachmodelle (Large Language Models) konkurrieren mit der klassischen Suchmaschine (Google & Co.). Die Crawler Bots der Suchmaschinen erhalten bereits Unterstützung durch die robots.txt und die sitemap.xml:

  1. Die sitemap.xml erleichtert als Inhaltsverzeichnis dem Crawler das Erfassen der Inhalte einer Website.
  2. In der robots.txt kann der Betreiber bestimmte Bereiche der Website für die Crawler der Suchmaschinen zu sperren.

In der robots.txt lassen sich auch Idie Bots der großen Sprachmodelle aussperren.

Es gibt aber bisher (August 2025) keinen Index, der KI-Bots dabei unterstützt, die Inhalte einer Website zu erfassen, vergleichbar der sitemap.xml. Die llms.txt-Datei enststand als Standardisierungsvorschlag, um Sprachmodellen (LLMs) das Erfassen von Website-Informationen zu erleichtern.

Dabei geht es um die sogenannte Inferenzzeit: Die Kontextfenster von LLMs könnten zu knapp sein, um gesamte Websites zu verarbeiten und komplexen HTML-Code in LLM-freundlichen Klartext umzuwandeln. Folge: LLMs können Inhalte von Webseiten fehlerhaft wiedergeben oder Inhalte erfinden (Halluzinationen).

Die llms.txt als Markdown-Datei im Stammverzeichnis einer Website soll wichtige Informationen und Anleitungen bieten, um die großen Sprachmodelle bei der Arbeit zu unterstützen. Der vorgeschlagene Aufbau der llms.txt-Datei folgt einer eigenen Struktur mit Überschriften und Listen, um präzise für Menschen und Maschinen gleichermaßen verarbeitbare Informationen bereitzustellen. Die Informationen kann KI verwenden, um Nutzeranfragen schneller und vor allem korrekter zu beantworten.

Außerdem lassen sich in der llms.txt bestimmte Inhalte oder die gesamte Website für KI-Bots sperren. Die Bots der LLMs können dann die Inhalte nicht zu Trainingszwecken einlesen. Allerdings können sie gesperrte Inhalte auch nicht zur Beantwortung von Fragen verwenden. Wer seine Inhalte sperrt, wird in den Antworten von ChatGPT & Co. nicht erwähnt oder zitiert.

Braucht man eine llms.txt?

Ob man die llms.txt braucht, darüber gehen die Meinungen aus einander. Die Kritiker nennen folgende Argumente:

  • Bisher fehlt ein verlässlicher Standard, wie die llms.txt aufgebaut sein muss.
  • Die Betreiber der bekanntesten LLMs (OpenAI und Google) erklären, dass sie die llms.txt zu diesem Zeitpunkt – noch – nicht verwenden.
  • Die llms.txt könnte die LLMs mit veralteten oder abweichenden Inhalten füttern und damit genau jene Halluzinationen fördern, die sie eigentlich vermeiden helfen soll.
  • In der llms.txt könnten unbeabsichtigt vertrauliche Inhalte veröffentlicht werden. Ein Risiko, das allerdings auch bei Nachlässigkeit in der robots.txt entstehen kann.

Webmaster müssen also entscheiden: Welchen Aufwand rechtfertigt der fragwürdige Nutzen einer solchen Datei. Und der könnte beträchtlich sein. So schlägt der Standard vor, dass die llms.txt Links zu Markdown-Versionen ganzer Webseiten enthalten sollte (*.html.md). Hinzu kommt, dass die llms.txt regelmäßig aktualisiert werden müsste.

Warum trotzdem eine llms.txt?

Noch unterstützen die großen LLMs keine llms.txt. Doch für welchen Zeitraum steht dieses Noch? Der SEO-Experte Ray Martinez brachte mit einem Post auf X Leben in die Debatte um den Sinn der llms.txt:

Demnach klappert der Bot von ChatGPT Martinez‘ Websites etwa alle 15 Minuten ab. Wie jetzt also? Nutzt ChatGPT die llms.txt oder nicht?

Mein Tipp: Proaktiv handeln! Besonders einfach geht das mit WordPress. Denn im Ökosystem von WP stehen bereits einige Plugins zur Verfügung, die das Anlegen einer llms.txt unterstützen. Die Plugins verzeichnen Downloadzahlen bis zu 20.000 (Stand: 11.08.2025). Dass die Webplattform Nr. 1 die llms.txt unterstützt, könnte dazu beitragen, dass der Standard sehr bald tatsächlich von den LLMs genutzt werden könnte.

LLMs.txt in WordPress

Wer eine Website mit WordPress betreibt, erstellt im Handumdrehen eine llms.txt, entweder mit den umfassenden SEO-Lösungen

Beide SEO-Tools bieten ihre Unterstützung beim Erstellen der llms.txt allerdings nur zahlenden Kunden an. Dennoch handelt es sich bei beiden Ansätzen um die Königslösung für WordPress. Es gibt zwar schon jetzt LLMs Plgins, doch erfahrene WP-Administratoren wissen: Jedes neue Plugin kann neue Fehlerquellen und Sicherheitslücken verursachen.

Auswahlmenü: Worpress-Plugins für llms.txt (Screenshot).

Alle Plugins bieten mehr oder weniger übersichtliche Menüs, über die der Administrator auswählen kann, welche Inhalte die llms.txt für die Bots der LLMs zusammenfassen soll – oder eben nicht.