robots.txt is een verzoek; de server beslist. Een botfilter, een WAF of een CDN-regel kan een crawler een 403 geven terwijl uw robots.txt hem uitnodigt. Wij kloppen vijf keer aan met de echte crawlernamen en één keer als browser.
OAI-SearchBot, GPTBot, PerplexityBot, ClaudeBot en Googlebot, met de user-agent-tekst die de aanbieders zelf documenteren. Krijgt één van hen iets anders dan de browser, dan staat dat er met de statuscode erbij. Wij raden niets: een 403 is een 403.
Een site kan alle crawlers toestaan in robots.txt en ze alsnog op de server weigeren. Die twee lagen weten niets van elkaar, en de tweede wint.
Per crawler de HTTP-status en de grootte van het antwoord. Een 200 met 300 bytes is ook verdacht: dat is meestal een blokkadepagina met een geruststellende statuscode.
De volledige audit doet ze allemaal in één keer. Los: AI-crawlers in robots.txt, llms.txt, citeerbaarheid, structured data en JavaScript-afhankelijkheid.