Robots.txt in 2026: een nieuw paradigma
Het robots.txt-bestand werd in 1994 uitgevonden om webcrawlers te vertellen welke delen van uw site ze niet mochten bezoeken. Dertig jaar lang diende het voornamelijk voor het beheren van Googlebot. In 2026 is het uitgegroeid tot een strategisch AI-zichtbaarheidsinstrument.
Volgens een analyse van Originality.AI (2025) blokkeert 35% van de top 1.000 websites wereldwijd GPTBot. In Europa loopt dit op tot 42% — grotendeels vanwege AVG-bezorgdheden en angst voor scraping. Maar hier is het probleem: deze sites onthouden zichzelf vrijwillig van vermeldingen in ChatGPT, Perplexity en andere AI-zoekmachines.
Martin Splitt, Developer Advocate bij Google (Zurich): "De robots.txt is een gentlemen's agreement, geen beveiligingsmuur. Goed opgevoede bots respecteren het. Slechte negeren het. Uw strategie moet bots belonen die zich aan de regels houden."
De belangrijkste AI-bots om te kennen in 2026
| Bot | Operator | User-Agent | Respecteert robots.txt | Voordeel indien toegestaan |
|---|---|---|---|---|
| GPTBot | OpenAI | GPTBot | Ja | ChatGPT-vermeldingen |
| ChatGPT-User | OpenAI | ChatGPT-User | Ja | Real-time browsen |
| ClaudeBot | Anthropic | ClaudeBot | Ja | Claude-vermeldingen |
| PerplexityBot | Perplexity | PerplexityBot | Ja | Perplexity-vermeldingen |
| Google-Extended | Google-Extended | Ja | Gemini-training | |
| Bytespider | ByteDance | Bytespider | Gedeeltelijk | Laag in Europa |
De AISOS-configuratiestrategie
Onze aanpak is eenvoudig: AI-bots toestaan die hun bronnen citeren, bots blokkeren die dat niet doen. Hier is de standaardconfiguratie die wij aanbevelen:
# Googlebot - altijd toegestaan
User-agent: Googlebot
Allow: /
# AI-bots die bronnen citeren - toegestaan
User-agent: GPTBot
Allow: /blog/
Allow: /glossaire/
Disallow: /admin/
Disallow: /api/
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /blog/
Allow: /glossaire/
Disallow: /admin/
Disallow: /api/
User-agent: PerplexityBot
Allow: /
# Trainingsbots zonder vermelding - geblokkeerd
User-agent: Google-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
# Sitemap
Sitemap: https://uw-site.com/sitemap.xmlDe logica: GPTBot en ClaudeBot zijn toegestaan op uw blog en glossarium (de pagina's die u wilt zien vermeld), maar geblokkeerd in privégedeelten. Google-Extended (Gemini-training) en Bytespider (TikTok/ByteDance) zijn geblokkeerd omdat ze scrapen voor training zonder te citeren.
De risico's van het blokkeren van AI-bots
Voordat u alle AI-bots "uit voorzorg" blokkeert, meet u wat u verliest:
- Verloren vermeldingen — als GPTBot uw site niet kan lezen, citeert ChatGPT u niet. Punt.
- Perplexity-zichtbaarheid — Perplexity crawlt in real time. Een blokkering = onmiddellijke onzichtbaarheid
- Sneeuwbaleffect — minder AI-vermeldingen = minder merkvermeldingen = minder autoriteit = zwakkere klassieke SEO
Voor het complement met het llms.txt-bestand (dat AI-bots naar uw sleutelcontent leidt), zie onze llms.txt-gids. Voor bredere technische context, zie onze technische SEO-gids 2026. En om te optimaliseren wat AI-bots crawlen, lees ons artikel over crawlbudget.
AVG en robots.txt: het valse debat
Veel Europese bedrijven blokkeren AI-bots "vanwege de AVG". Dit is een gevaarlijke vereenvoudiging. De AVG beschermt persoonsgegevens, niet de publieke content van uw website. Als uw blog openbaar is, is het sowieso voor iedereen toegankelijk — inclusief AI-bots.
De echte vraag is niet juridisch maar strategisch: wilt u geciteerd worden door AI, of niet? Als ja, sta toe. Als nee, blokkeer. Maar verwar gegevensbescherming niet met angst voor verandering.
FAQ — Robots.txt en AI
Voorkomt robots.txt echt scraping?
Nee. Robots.txt is een vrijwillig protocol — goed opgevoede bots respecteren het, kwaadwillende scrapers negeren het. Om scraping daadwerkelijk te voorkomen, zijn technische maatregelen nodig (rate limiting, Cloudflare, enz.).
Verhindert het blokkeren van GPTBot dat ChatGPT mijn bedrijf noemt?
Niet volledig. ChatGPT heeft al content opgenomen in zijn trainingsdata. Maar het blokkeren van GPTBot verhindert updates en real-time browsen, waardoor uw vermeldingen in nieuwe gesprekken geleidelijk afnemen.
Kunt u GPTBot alleen op bepaalde pagina's toestaan?
Ja, dat is precies de aanbevolen aanpak. Gebruik specifieke Allow/Disallow-richtlijnen voor elke AI-bot en sta alleen de secties toe die u wilt zien vermeld.
Heeft u een aparte robots.txt nodig voor elke AI-bot?
Ja. Elke bot heeft zijn eigen User-Agent en verdient specifieke richtlijnen. GPTBot en ClaudeBot kunnen dezelfde regels delen, maar Google-Extended en Bytespider verdienen een andere behandeling.
Hoe vaak moet u uw robots.txt bijwerken?
Bij elke wijziging in AI-strategie of sitestructuur. In de praktijk is een driemaandelijkse revisie voldoende, tenzij er nieuwe AI-bots verschijnen (wat in 2026 regelmatig gebeurt).
Heeft robots.txt invloed op de Google-ranking?
Niet direct. Robots.txt beïnvloedt het crawlen, niet de ranking. Als u echter per ongeluk belangrijke pagina's blokkeert, worden ze niet geïndexeerd — en dus niet gerangschikt.
Wat is het verschil tussen Disallow en noindex?
Disallow (robots.txt) verhindert het crawlen. Noindex (metatag) staat crawlen toe maar verhindert indexering. Voor AI-bots is Disallow effectiever omdat het de toegang tot de content volledig blokkeert.
Is uw robots.txt geconfigureerd voor het AI-tijdperk?
Wij auditen uw robots.txt en bepalen de optimale strategie om uw AI-vermeldingen te maximaliseren terwijl uw gevoelige content beschermd blijft.
Mijn robots.txt configureren
