AI-crawlerbezoek meten op je eigen site
Crawlerbezoek meten is geen groot project. Wat je nodig hebt is iets dat elk verzoek ziet vóórdat je pagina wordt uitgeserveerd, en een plek om het weg te schrijven. Hieronder wat je vastlegt, wat wij er zelf mee meten, en hoe je het zelf inricht.
Wat je vastlegt, en wat niet
Per bezoek leg je vier dingen vast: welke bot, welke pagina, wanneer, en het IP-adres. Meer heb je niet nodig. Wat je bewust níét doet is de HTTP-status verzinnen als je die niet kent, of een IP als geverifieerd markeren zonder het te controleren — een meting die “ik weet het niet” als “nee” opschrijft, is erger dan geen meting.
Uit onze eigen meting, 2–3 september 2026
Op een gemeten klantdomein kwamen in twaalf uur 427 crawlbezoeken binnen; op een ander domein in dezelfde periode 3. Over zeven dagen komt het eerste domein uit op gemiddeld 304 bezoeken per dag, het tweede op 11.
Methode: elk verzoek met een bekende crawler-user-agent wordt vastgelegd op de server, vóór het uitserveren van de pagina. Geen steekproef, geen extrapolatie.
Wat dat verschil betekent
Die twee getallen komen van sites in verschillende markten, met verschillende leeftijd en verschillende autoriteit. Het punt is niet welk getal goed is — er is geen norm — maar hoe ver ze uit elkaar liggen. Wie zijn eigen cijfer niet kent, kan onmogelijk beoordelen of het meevalt of tegenvalt.
Hoe je het zelf inricht
Draait je site op WordPress, dan is een plugin die vóór de pagina-opbouw meekijkt de eenvoudigste route. Draait hij op iets anders, dan doe je hetzelfde in de laag die alle verzoeken afhandelt. Let op twee dingen: een cache kan bezoeken afvangen voordat je meetpunt draait, en achter een CDN is het IP dat je ziet vaak dat van het CDN en niet van de bezoeker. Beide leveren stille meetfouten op.
Wat je eruit afleidt
Drie dingen. Welke pagina's überhaupt bezocht worden. Of nieuwe pagina's binnen redelijke tijd worden opgehaald. En of dat verandert nadat je iets hebt aangepast. Die derde is de enige die iets bewijst.
Veelgestelde vragen
Vertraagt dit mijn site?+
Nauwelijks, als je het wegschrijven buiten het antwoord om doet. Het meten mag de bezoeker nooit laten wachten.
Wat als ik achter Cloudflare zit?+
Dan zie je standaard het adres van Cloudflare. Het echte bezoekersadres staat in een aparte header; zonder die stap is je IP-kolom waardeloos.
Hoe lang moet ik meten voor het iets zegt?+
Minstens een paar weken. Crawlbezoek schommelt sterk van dag tot dag.
Slaan jullie IP-adressen op?+
Ja, als onderdeel van het bezoek. Dat is nodig om te controleren of een bot echt is wie hij claimt.