Welke AI-crawlers bezoeken jouw website?
Er komen er ruwweg drie soorten langs: bots die materiaal verzamelen om modellen mee te trainen, bots die een antwoord van dit moment ophalen, en bots die komen kijken omdat een gebruiker net een vraag stelde. Die laatste twee bepalen of je in een AI-antwoord kunt voorkomen. Of ze langskomen zie je alleen als je het meet — in je bezoekcijfers staan ze niet.
Wie er langskomt, en waarom dat verschilt
Een AI-crawler is niet één ding. GPTBot van OpenAI en ClaudeBot van Anthropic halen pagina's op waarmee modellen getraind worden: die bepalen wat een model ooit over jouw markt geleerd heeft. OAI-SearchBot en Claude-SearchBot doen iets anders — die vullen de zoeklaag die een assistent raadpleegt terwijl hij antwoord geeft. En dan is er nog een derde soort, zoals ChatGPT-User, die pas langskomt op het moment dat iemand een vraag stelt waarbij jouw pagina in beeld komt.
Dat onderscheid doet ertoe. Een trainingsbot die langskwam zegt iets over de lange termijn. Een zoekbot die deze week langskwam zegt dat je nú bereikbaar bent voor een antwoord. En een gebruikersbot die langskwam betekent dat er een echt gesprek was waarin jouw pagina in aanmerking kwam.
Hoe je ziet of ze langskomen
Analytics helpt je niet: die draait op JavaScript, en crawlers voeren dat niet uit. Je ziet ze alleen in je serverlogs of via iets dat op de server meekijkt. Wat je vastlegt is per bezoek: welke bot, welke pagina, wanneer, en of het IP-adres klopt bij de partij die de bot claimt te zijn.
Dat laatste is geen overbodige stap. Een user-agent is een tekstregel die iedereen kan invullen; alleen het IP-adres verraadt of het echt OpenAI was.
Wat het betekent als ze wegblijven
Geen crawlbezoek is een harder signaal dan een lage score. Het betekent dat je pagina niet eens in aanmerking komt: hij is niet gelezen, dus hij kan onmogelijk geciteerd worden. Dan heeft het weinig zin om aan je teksten te sleutelen — je hebt eerst een bereikbaarheidsprobleem.
De volgorde is dus: komen ze langs, lezen ze het goede, en noemen ze je. Elke stap zonder de vorige is verspilde moeite.
Wat je eraan doet
Controleer eerst je robots.txt — sluit die AI-crawlers niet per ongeluk uit? Veel sites blokkeren GPTBot bewust maar laten OAI-SearchBot ongemoeid, of andersom, zonder dat iemand dat besloten heeft. Zorg daarna dat je sitemap klopt en dat nieuwe pagina's erin komen; een pagina die nergens wordt aangeboden, wordt zelden gevonden. En meet daarna door, want dit is geen eenmalige controle.
Veelgestelde vragen
Zie ik AI-crawlers in Google Analytics?+
Nee. Analytics draait op JavaScript en crawlers voeren dat niet uit. Je hebt serverlogs nodig, of iets dat op de server meekijkt.
Moet ik AI-crawlers juist toelaten of blokkeren?+
Dat is een keuze, geen regel. Wil je in AI-antwoorden voorkomen, dan moet je de zoek- en gebruikersbots toelaten. Over de trainingsbots kun je anders denken; die twee groepen zijn los van elkaar te regelen.
Hoe weet ik of een bot echt is wie hij zegt?+
Door het IP-adres te vergelijken met de ranges die de aanbieder publiceert. Zonder die controle telt een verzonnen user-agent gewoon mee.
Hoe vaak komen ze langs?+
Dat verschilt enorm per site en het is precies de reden om te meten in plaats van te gokken.