llms.txt: Lohnt sich die KI-Crawler-Datei für dein Unternehmen?

Was ist eine llms.txt-Datei – und warum redet gerade jeder darüber?

Eine llms.txt ist eine einfache Markdown-Datei im Stammverzeichnis einer Website, die KI-Systemen wie ChatGPT, Claude oder Perplexity in kompakter Form zusammenfasst, welche Inhalte auf der Seite wichtig sind. Die Idee dahinter: ein maschinenlesbares Inhaltsverzeichnis speziell für KI-Crawler, in Anlehnung an die klassische robots.txt für Suchmaschinen-Bots. Seit ihrer Einführung 2024 ist das Format stark gewachsen: Laut einer Analyse von Originality.ai stieg die Zahl der Websites mit llms.txt von 4.088 im Juni 2025 auf 36.120 im Mai 2026 – ein Wachstum um das 8,8-Fache. Kein Wunder, dass das Thema gerade in vielen GEO-Webinaren auftaucht.

Die Zahlen im Realitätscheck: starkes Wachstum, kaum genutzt

Die llms.txt verbreitet sich zwar rasant, wird von KI-Systemen aber bislang kaum abgerufen – 97 % aller Dateien erhielten im Mai 2026 keine einzige Anfrage. Diese Zahl stammt aus einer Serverlog-Auswertung von Ahrefs über 137.000 Domains hinweg und ist damit eine der robustesten verfügbaren Datenquellen zu diesem Thema (Quelle: Ahrefs/Originality.ai, Stand Mai/Juni 2026).

Noch spannender ist die Aufschlüsselung, wer die Dateien überhaupt abruft: Trainings-Crawler wie GPTBot kamen nur auf 4,51 % der Anfragen, ClaudeBot auf 0,80 %, DeepseekBot auf gerade einmal 0,02 %. Die größten Anteile entfielen dagegen auf SEO-Audit-Tools (21,7 %), nicht identifizierbare Bots (14,9 %) und allgemeine Webcrawler (13,1 %) – also vor allem auf Monitoring- und Analyse-Software, nicht auf die großen KI-Assistenten selbst.

Die Tabelle vergleicht die vier Dateiformate (Stand: Mai 2026, Quellen: Originality.ai und Ahrefs, zusammengefasst von PPC Land, sowie RFC 9309). Nur bei robots.txt ist verbindlich geregelt, wie Crawler die Datei behandeln.

So liest du die Tabelle: llms.txt ist (noch) kein Standard

Von den vier Dateiformaten hat bislang nur robots.txt den Status eines echten, von allen großen Crawlern respektierten Standards – llms.txt, llms-full.txt und ai.txt sind freiwillige Vorschläge ohne offizielle Bestätigung durch OpenAI, Anthropic, Google oder Perplexity. Das erklärt auch, warum die Adoptionszahlen zwar beeindruckend wachsen, die tatsächliche Nutzung durch KI-Systeme aber so gering bleibt: Eine Datei anzulegen kostet wenig Aufwand, sie in bestehende KI-Produkte einzubauen dagegen schon.

Was Google und Ahrefs wirklich dazu sagen

Google äußert sich deutlich: Für die Google-Suche könne man Taktiken wie unnötige KI-Textdateien, etwa llms.txt, ignorieren, heißt es in Googles Leitfaden zu generativen KI-Funktionen (Stand: Juli 2026). John Mueller von Google hatte schon im Juni 2025 klargestellt: „Aktuell nutzt kein KI-System llms.txt.“ Auch ein Jahr später hat sich daran laut den aktuellen Ahrefs-Zahlen wenig geändert.

2026 legte Mueller im Google-Podcast „Search Off the Record“ nach: Für die Auffindbarkeit sei llms.txt „by design“ ungeeignet, um Websites voneinander zu unterscheiden – schließlich schreibt sich jede Seite darin selbst eine gute Bewertung, die KI-Systeme nicht prüfen können. Eine kleine Nebenrolle sieht er allenfalls dann, wenn ein KI-Agent bereits aktiv auf der Website unterwegs ist, etwa um dort konkrete Kaufanweisungen zu finden.

Diese Linie bestätigt sich auch technisch: Googles Lighthouse prüft im Rahmen der neuen „Agentic Browsing“-Audits zwar, ob beim Abruf der llms.txt ein Serverfehler auftritt – fehlt die Datei komplett, gilt der Check aber lediglich als „nicht anwendbar“, da das Bereitstellen laut Dokumentation optional ist. Einen Effekt auf Rankings oder KI-Sichtbarkeit nennt die Lighthouse-Dokumentation nicht; als Zweck beschreibt sie, dass KI-Agenten die Grundstruktur einer Website erfassen können, ohne sie erst aufwendig zu crawlen. Originality.ai, das Unternehmen hinter der Adoptions-Studie, bringt die Verwirrung rund um das Thema trotzdem auf den Punkt: Die widersprüchlichen Signale der Plattformen seien „concerning, not to mention confusing for users“ – verunsichernd und verwirrend für alle, die gerade entscheiden müssen, wo sie ihr SEO-Budget investieren.

Unsere Einschätzung bei River Online: In Kundenprojekten erklären wir genau das, was auch die aktuellen Studien zeigen – die großen KI-Crawler rufen llms.txt-Dateien in der Praxis kaum ab. Für die Search Visibility in KI-Suchmaschinen wie ChatGPT, Perplexity oder Google AI Overviews ist die Datei damit aktuell nicht wirklich relevant. Dazu kommt: Google selbst empfiehlt llms.txt nicht. Unsere Empfehlung für die meisten B2B-Unternehmen lautet deshalb, das Budget zuerst in die technischen Grundlagen zu stecken, die KI-Crawler tatsächlich lesen und auswerten – und llms.txt bestenfalls als Nebenschauplatz zu behandeln.

Für wen sich llms.txt 2026 trotzdem lohnen kann

Laut Originality.ai lohnt sich eine llms.txt vor allem für Websites mit umfangreicher Dokumentation, APIs oder stark strukturierten Produktdaten – für klassische Marketing- oder Unternehmensseiten dagegen eher nicht. Das deckt sich mit den bestehenden Einschätzungen aus unserer eigenen FAQ-Praxis: Eine llms.txt ist für die meisten B2B-Unternehmen sinnvoll als Ergänzung mit niedriger Priorität – aber erst, nachdem die technischen Grundlagen wie Crawlability, serverseitiges Rendering und sauberes Structured Data stehen.

Besonders häufig unterschätzt wird dabei ein ganz anderes Problem: Viele robots.txt-Vorlagen blockieren pauschal alle Bots mit „GPT“ oder „AI“ im Namen – und schließen damit versehentlich genau die Crawler aus, für die eine llms.txt eigentlich gedacht wäre. Bevor du Zeit in eine neue Datei investierst, lohnt sich deshalb ein Blick in die eigene robots.txt.

Ein praktisches Beispiel: Ein B2B-SaaS-Unternehmen mit umfangreicher API-Dokumentation hat einen klaren Anwendungsfall – Entwickler-Tools und KI-Coding-Assistenten profitieren von einer kompakten, strukturierten Übersicht über Endpunkte und Beispiele. Eine klassische B2B-Dienstleistungsseite mit Leistungsseiten, Blog und Kontaktformular hat diesen Anwendungsfall dagegen kaum – hier bringt eine saubere interne Verlinkung und gut strukturierter Content mehr als eine zusätzliche Textdatei.

So richtest du eine llms.txt ein, falls du dich dafür entscheidest

Technisch ist eine llms.txt in wenigen Minuten angelegt – sie besteht aus einer einzigen Markdown-Datei im Root-Verzeichnis (beispielsweise riveronline.de/llms.txt) mit einer kurzen Beschreibung des Unternehmens, Links zu den wichtigsten Seiten und optional einer ausführlicheren llms-full.txt für Kontext-intensive Anwendungsfälle. Wichtiger als das Format ist jedoch die Prüfung davor: Kontrolliere zuerst in der robots.txt, ob GPTBot, ClaudeBot, PerplexityBot und Google-Extended überhaupt zugelassen sind, und erst danach, ob sich eine llms.txt für deinen Seitentyp lohnt.

So gehst du es in der Praxis an

Die Reihenfolge sollte technisches Fundament vor Hype-Themen sein – erst Crawlbarkeit und Rendering prüfen, dann über llms.txt nachdenken. Konkret heißt das: Rufe deine wichtigsten Seiten mit deaktiviertem JavaScript auf (etwa über die Chrome-DevTools) oder nutze die URL-Prüfung der Google Search Console. Bleibt der Hauptinhalt inklusive Navigation sichtbar, ist das ein gutes Zeichen – auch für KI-Crawler wie GPTBot, ClaudeBot oder PerplexityBot, die laut einer Auswertung von Vercel anders als der Google-Bot kein JavaScript ausführen (Stand: Dezember 2024).

Wenn du nicht sicher bist, ob deine robots.txt versehentlich wichtige KI-Crawler blockiert oder deine Seiten technisch überhaupt für KI-Systeme lesbar sind, prüfen wir genau das bei River Online im Rahmen einer technischen SEO-Analyse gezielt für dich – inklusive konkreter Priorisierung, was zuerst angegangen werden sollte.

Die neuen KI-Reports in der Google Search Console: oft der bessere erste Schritt

Seit Juni 2026 bietet die Google Search Console einen eigenen Leistungsbericht für generative KI-Funktionen wie AI Overviews und AI Mode, zunächst für einen Teil der Websites und seit dem 31. August 2026 für alle. Er zeigt, wie oft Links zu deiner Website in KI-Antworten angezeigt wurden, aufgeteilt nach Seiten, Ländern, Geräten und Zeitraum. Damit misst du mit Google-eigenen Daten, statt nur zu vermuten.

Als Kennzahl zeigt der KI-Bericht bisher nur Impressionen, keine Klicks (Stand: November 2026). Aussagekräftig wird er im Vergleich mit dem allgemeinen Leistungsbericht: Steigen die KI-Impressionen einer Seite, während ihre Klicks dort sinken, beantwortet die KI-Antwort die Frage womöglich schon selbst.

Taucht eine Seite mit stabilen Web-Impressionen im KI-Bericht gar nicht auf, wird sie zwar gefunden, aber nicht in KI-Antworten verlinkt. Dann lohnt ein Blick darauf, ob sie die Frage klar und zitierfähig beantwortet. Wie du KI-Sichtbarkeit über Google hinaus misst, zeigt unser Leitfaden KI-Sichtbarkeit messen.

Größere Summen würden wir aktuell noch nicht in dedizierte GEO-Monitoring-Tools stecken. Manche Unternehmen wollen solche Tools früh ausprobieren. Wir raten eher, noch etwas abzuwarten, bis sich Berichte wie dieser eingespielt haben.

Fazit: Prioritäten statt Hype

Für die meisten B2B-Unternehmen ist die llms.txt 2026 ein Nice-to-have, aber keine Priorität – technische Crawlbarkeit, sauberes Rendering und die neuen KI-Reports in der Search Console bringen aktuell mehr Erkenntnisgewinn. Das heißt nicht, dass du das Thema ignorieren solltest: Für Unternehmen mit umfangreicher Dokumentation oder APIs kann eine llms.txt durchaus Sinn ergeben, sobald die Grundlagen stehen. Für alle anderen gilt: lieber einmal mehr prüfen, ob GPTBot & Co. deine Seiten überhaupt lesen können, als Zeit in eine Datei zu stecken, die laut Ahrefs-Daten kaum abgerufen wird und die Google für die eigene Suche nicht braucht.

In einer Prioritätenliste für die nächsten drei Monate steht die llms.txt bei uns weit unten. Die Reihenfolge:

1. Technische Analyse: das Fundament klären, mit Quick Wins wie Title Tags und Meta-Beschreibungen.
2. Transaktionale Seiten optimieren: Keyword-Recherche, FAQ und Inhalte, die auch KI-Systeme gut auslesen können.
3. Autorität aufbauen: Blog und Case Studies.
4. Erst wenn diese Grundlagen stehen: die llms.txt.

Wenn du wissen willst, wo du bei Crawlbarkeit, technischer SEO und KI-Sichtbarkeit aktuell stehst, ist ein unverbindliches Erstgespräch mit River Online der schnellste Weg zur Einordnung – wir schauen uns deine Website im Kontext unserer SEO-Leistungen gemeinsam an und sagen dir ehrlich, was sich lohnt und was (noch) warten kann.