AI-crawlertoegang-analyzer
Zie welke AI-crawlers je robots.txt toestaat — en of je een llms.txt hebt.
Gratis. Geen account nodig. We analyseren de ingevoerde pagina en tonen alleen wat we echt hebben gemeten.
Let op: de resultaten worden in het Engels getoond.
Waarom AI-crawlertoegang belangrijk is
Om in AI-antwoorden te verschijnen — ChatGPT, Claude, Perplexity, Google's AI Overviews — moeten de crawlers van die machines je site eerst mogen lezen. Deze tool haalt je robots.txt op en controleert voor elke grote AI-crawler of die je site-root mag ophalen.
De tool verwerkt robots.txt per user-agent, dus begrijpt regels die specifiek op GPTBot of Google-Extended gericht zijn, niet alleen de algemene regel. Ook zoekt de tool naar een llms.txt — een opkomende standaard die AI-agents naar je belangrijkste content wijst — en rapporteert de structuur indien aanwezig.
AI-crawlers blokkeren is een legitieme keuze, maar het moet bewust gebeuren. Veel sites blokkeren ze per ongeluk met een te brede regel en vragen zich dan af waarom ze nooit geciteerd worden. Deze tool maakt je werkelijke AI-crawlerbeleid expliciet, zodat je bewust kunt kiezen.