llms.txt — specificatie en gemeten gebruik

Een llms.txt is een markdownbestand op /llms.txt dat een AI-systeem een korte beschrijving van een site en een lijst met links naar de belangrijkste pagina's geeft. Het is een voorstel van Answer.AI uit september 2024, sinds augustus 2026 in versie 2, en geen standaard. Het bestand regelt geen toegang. In de grootste gepubliceerde logmeting kreeg 97% van de bestanden in een maand geen enkel verzoek.

Eigenschap	Waarde
Voorstel door	Jeremy Howard, Answer.AI
Eerste versie	September 2024
Huidige versie	Versie 2, augustus 2026
Status	Voorstel, geen standaard van een standaardenorganisatie
Locatie	/llms.txt in de hoofdmap, of in een submap zoals /docs/llms.txt
Formaat	Markdown
Enige verplichte onderdeel	Een H1 met de naam van het project of de site
Doel volgens het voorstel	Vooral informatie bij gebruik (inference), niet primair bij training
Regelt toegang	Nee
Door Google Zoeken gebruikt	Nee, volgens Google
Gebruik door crawlers vermeld in documentatie van OpenAI, Anthropic of Perplexity	Nee

Formaat

Het voorstel schrijft een vaste volgorde voor. Eerst een H1 met de naam van het project of de site; dat is volgens de specificatie het enige verplichte onderdeel. Daarna een blokcitaat met een korte samenvatting die de belangrijkste informatie bevat om de rest van het bestand te begrijpen. Daarna nul of meer gewone markdownblokken, zoals alinea's en lijsten, zonder koppen. Daarna nul of meer secties met een H2-kop, elk met een lijst van links in de vorm [naam](url), eventueel gevolgd door een dubbele punt en een toelichting. Een sectie met de kop Optional is volgens afspraak bedoeld voor aanvullende links die een systeem kan overslaan als het een kortere context nodig heeft. Een byte-order mark aan het begin van het bestand is toegestaan.

# Voorbeeldbedrijf

> Voorbeeldbedrijf levert en installeert zonnepanelen voor woningen in Zuid-Holland.

Prijzen zijn inclusief btw en installatie.

## Diensten

- [Zonnepanelen](https://voorbeeldbedrijf.nl/zonnepanelen.md): pakketten en prijzen
- [Thuisbatterij](https://voorbeeldbedrijf.nl/thuisbatterij.md): capaciteit en terugverdientijd

## Optional

- [Over ons](https://voorbeeldbedrijf.nl/over-ons.md)

Het voorstel beveelt daarnaast aan om van pagina's een schone markdownversie op hetzelfde adres aan te bieden, met .md achter het oorspronkelijke adres (pagina.html.md) of met de extensie vervangen door .md (pagina.md). Versie 1 kende alleen de eerste vorm.

Locatie en bereik

Het bestand staat in de hoofdmap op /llms.txt of in een submap, bijvoorbeeld /docs/llms.txt. Een bestand geldt volgens versie 2 voor de adressen onder zijn eigen pad, en als er meerdere bestanden van toepassing zijn, hoort een systeem het meest specifieke te gebruiken. Versie 1 stond submappen ook al toe, maar legde niet vast wat dat betekende.

Versie 2 voegt twee manieren toe om het bestand en de markdownversies vindbaar te maken, als <link>-element in de HTML of als HTTP-header Link: rel="alternate" type="text/markdown" wijst naar de markdownversie van een pagina, en rel="describedby" wijst naar het llms.txt-bestand.

Wijzigingen in versie 2

De wijzigingenpagina van het voorstel beschrijft voor versie 2, augustus 2026, vier veranderingen. De link-relaties alternate en describedby zijn toegevoegd om markdownversies en het llms.txt-bestand vindbaar te maken. Naast pagina.html.md is pagina.md toegestaan. Het bereik van een bestand in een submap is vastgelegd. En het voorstel beschrijft nu hoe het bestand gebruikt wordt: een agent bekijkt of doorzoekt de llms.txt en volgt daarna de relevante links. Het hulpprogramma llms_txt2ctx, dat een bestand uitbreidde tot een contextbestand, maakt geen deel meer uit van het voorstel. Daarmee verviel de technische betekenis van de sectie Optional, die dat hulpprogramma vertelde wat het mocht weglaten; de sectie mag als conventie blijven bestaan.

llms-full.txt

llms-full.txt staat niet in de specificatie van llmstxt.org. Het oorspronkelijke voorstel gaf als voorbeeld de bestanden llms-ctx.txt en llms-ctx-full.txt, die FastHTML met llms_txt2ctx genereerde. De naam llms-full.txt werd bekend via Mintlify, dat in november 2024 ondersteuning voor /llms.txt en /llms-full.txt in zijn documentatieplatform aankondigde; llms-full.txt bevat daar de volledige tekst van de documentatie in één bestand. Een llms-full.txt van een grote site kan groter zijn dan het contextvenster van een taalmodel: het bestand van de ontwikkelaarsdocumentatie van Cloudflare was op 17 september 2026 ongeveer 59 MB.

Verhouding tot robots.txt

De specificatie zegt dat robots.txt en llms.txt verschillende doelen hebben: robots.txt vertelt geautomatiseerde systemen welke toegang tot een site als acceptabel geldt, llms.txt geeft context bij inhoud die toegankelijk is. Een llms.txt blokkeert geen crawler en geeft geen toestemming. Wie een AI-crawler wil toelaten of weren, doet dat in robots.txt of in de firewall; een link in llms.txt naar een pagina heft een uitsluiting in robots.txt niet op.

Standpunten van de platforms

Google zegt in zijn gids voor optimalisatie voor generatieve AI-functies in Zoeken dat nieuwe machineleesbare bestanden, AI-tekstbestanden of markdown niet nodig zijn om in Google Zoeken en de AI-functies daarvan te verschijnen, omdat Google Zoeken ze zelf niet gebruikt. John Mueller van Google vergeleek llms.txt in april 2025 met de keywords-metatag: wat een site-eigenaar zegt dat zijn site over gaat. Gary Illyes zei in juli 2025 op het Search Central Live Deep Dive-evenement dat Google llms.txt niet ondersteunt en dat ook niet van plan is. In december 2025 verscheen een llms.txt op de documentatiesite van Google Search Central, die kort daarna weer verdween; volgens Mueller kwam dat door een wijziging in het CMS voor de hele site. Over llms.txt-bestanden op andere sites van Google zei hij in januari 2026 dat ze er voor andere doeleinden staan. Chrome Lighthouse, ook van Google, heeft sinds mei 2026 in de categorie Agentic Browsing een audit voor llms.txt. Die markeert een serverfout bij het ophalen van het bestand; een ontbrekend bestand geeft "Not Applicable", omdat het bestand optioneel is. De toelichting zegt dat agents zonder dat bestand meer tijd kunnen besteden aan het crawlen van de site.

OpenAI, Anthropic en Perplexity zeggen in de documentatie van hun crawlers niet dat die crawlers llms.txt ophalen of gebruiken. Alle drie publiceren wel een llms.txt voor hun eigen ontwikkelaarsdocumentatie, en de specificatie noemt OpenAI, Anthropic en Gemini als voorbeelden van sites die het gebruiken. Mueller schreef in april 2025 dat geen van de AI-diensten voor zover hij wist had gezegd llms.txt te gebruiken.

Gemeten gebruik

Ahrefs onderzocht de 137.210 domeinen in Ahrefs Web Analytics die in mei 2026 verkeer kregen. Ongeveer 38.000 daarvan, 28%, hadden in de hoofdmap een llms.txt dat met HTTP-status 200 antwoordde, echte markdown was en geen foutpagina; of het bestand aan de specificatie voldeed, heeft Ahrefs niet onderzocht. Ahrefs noemt die 28% zelf een bovengrens, omdat zijn klanten technischer zijn dan gemiddeld. Van de domeinen met zo'n bestand kreeg 97% in mei geen enkel verzoek op dat bestand. De overige 3%, ongeveer 1.100 domeinen, kregen samen ongeveer 22.000 verzoeken, voor 96% van bots.

Soort bezoeker (Ahrefs, mei 2026)	Verzoeken op llms.txt	Aandeel
SEO-audittools, waarvan 2.334 van Ahrefs zelf	4.776	21,7%
Algemene crawlers, zoals Googlebot	2.871	13,1%
AI-agents, zoals Claude-Code	2.302	10,5%
AI-trainingscrawlers, zoals GPTBot en ClaudeBot	1.179	5,3%
AI-assistenten, zoals ChatGPT-User en Claude-User	559	2,5%
AI-zoekcrawlers, zoals OAI-SearchBot en PerplexityBot	233	1,1%

Zes van de twaalf categorieën van Ahrefs staan in de tabel; het aandeel is berekend over alle verzoeken, inclusief de 4% van mensen. Googlebot haalde het bestand in die maand ongeveer 900 keer op; volgens Ahrefs is dat gewoon crawlen, zoals bij elke andere URL. Bij verzoeken op een llms.txt die niet bestond, was het aandeel AI-bots nul. Ahrefs merkt op dat ophalen nog niet betekent dat het bestand gelezen of gebruikt is.

Reboot Online publiceerde op 26 februari 2026 een gecontroleerde test op twee bestaande domeinen: per site vier nieuwe pagina's zonder interne of externe links, alleen vermeld in de llms.txt. Drie maanden nadat de pagina's en bestanden online stonden, had geen enkele AI-bot die pagina's bezocht, terwijl AI-bots in dezelfde periode andere pagina's van dezelfde sites wel crawlden.

In de serverregistratie van aigeschikt.nl, dat een llms.txt publiceert, werd tussen 3 en 17 september 2026 het bestand /robots.txt 198 keer opgehaald door herkende zoek- en AI-crawlers, sitemap.xml 60 keer, en /llms.txt geen enkele keer. Het bestand wordt niet vanuit robots.txt, de HTML of een Link-header aangewezen. De registratie herkent ruim twintig crawlers op user-agent, waaronder Googlebot, Bingbot, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot en Perplexity-User; Claude-Code en SEO-tools telt ze niet.