Crawlbudget begrijpen in 2026
Google definieert crawlbudget als de combinatie van twee factoren: de crawl rate limit (hoeveel verzoeken per seconde Googlebot verzendt zonder uw server te overbelasten) en de crawl demand (hoe belangrijk Google uw pagina's acht om te crawlen).
In 2026 komt er een derde factor bij: het AI-crawlbudget. GPTBot, ClaudeBot en PerplexityBot hebben hun eigen budgetten, doorgaans beperkter dan Googlebot. Ze crawlen minder pagina's, minder vaak en met kortere time-outs.
Gary Illyes, analist bij Google (Zurich), verduidelijkte dit tijdens Search Central Live 2025 in Parijs: "Als uw site traag reageert, zullen we minder crawlen. Als uw pagina's allemaal op elkaar lijken, verliezen we interesse. Crawlbudget is geen statistiek die u kunt configureren — het is een gevolg van de kwaliteit van uw site."
Crawlverspilling diagnosticeren
Voordat u optimaliseert, identificeert u waar uw crawlbudget wordt verspild. De gebruikelijke verdachten:
| Verspillingsbron | Impact | Oplossing | Prioriteit |
|---|---|---|---|
| Parameterpagina's (?sort=, ?filter=) | Zeer hoog | Canonical-tag + robots.txt | P1 |
| Eindeloze paginatiepagina's | Hoog | Noindex of beperkte paginatie | P1 |
| Dubbele content (www vs niet-www, http vs https) | Hoog | 301-redirects + canonical | P1 |
| Massa 404-pagina's | Gemiddeld | Redirect of verwijderen | P2 |
| Redirectketens (A → B → C) | Gemiddeld | Directe redirect A → C | P2 |
| Pagina's met lage waarde geïndexeerd | Gemiddeld | Noindex of consolidatie | P2 |
Diagnosehulpmiddelen: analyseer uw serverlogboeken (Screaming Frog Log Analyzer, Oncrawl) om precies te zien welke pagina's Googlebot bezoekt. Combineer dit met Search Console (dekkingsrapport) om pagina's te identificeren die gecrawld maar niet geïndexeerd zijn.
5 optimalisatiestrategieën voor crawlbudget
- robots.txt opschonen — nutteloze secties blokkeren (parameters, facetten, adminpagina's) terwijl strategische AI-bots worden toegestaan (zie onze robots.txt en AI-gids)
- Strategische XML-sitemap — alleen pagina's opnemen die u geïndexeerd wilt zien, met betrouwbare
lastmod-datums (zie onze sitemapgids) - TTFB verbeteren — een snelle server laat Googlebot in dezelfde tijd meer pagina's crawlen (zie Core Web Vitals-gids)
- Dunne content consolideren — pagina's met weinig verkeer samenvoegen die vergelijkbare onderwerpen behandelen
- Gerichte interne links — interne links richten op uw prioriteitspagina's om hun belang aan bots te signaleren (zie interne linkgids)
Crawlbudget en AI-bots: de specifics
AI-bots hebben een ander crawlgedrag dan Googlebot:
- Lager volume — GPTBot crawlt 10 tot 100x minder pagina's dan Googlebot op dezelfde site
- Agressieve time-outs — veelvuldig verlaten na 1,5-2 seconden TTFB
- Geen JS-rendering — alleen statische HTML wordt gelezen
- Gevoeligheid voor robots.txt — GPTBot en ClaudeBot respecteren richtlijnen (in tegenstelling tot sommige misvattingen)
- llms.txt-bestand — leidt AI-bots naar uw belangrijkste pagina's (zie onze llms.txt-gids)
Bartosz Goralewicz, CEO van Onely (Polen): "Voor AI-bots is crawlbudget nog waardevoller. Ze bezoeken veel minder pagina's, dus elke gecrawlde pagina moet tellen. Het llms.txt-bestand en een goed geconfigureerde robots.txt zijn uw beste bondgenoten."
Uw crawlbudget monitoren
Crawlbudgetoptimalisatie is geen eenmalige taak. Hier zijn de statistieken om bij te houden:
- Gecrawlde pagina's per dag — Search Console > Instellingen > Crawlstatistieken
- Gemiddelde responstijd — zelfde rapport, doel < 500ms
- Verhouding gecrawlde/geïndexeerde pagina's — als de verhouding laag is, crawlt Googlebot maar acht het uw pagina's niet indexeringswaardig
- AI-bot crawl — analyseer uw serverlogboeken om GPTBot, ClaudeBot, PerplexityBot te tracken
Voor de volledige technische context, zie onze technische SEO-gids 2026.
FAQ — Crawlbudget
Vanaf hoeveel pagina's moet u zich zorgen maken over crawlbudget?
Google stelt dat crawlbudget alleen een probleem is voor "grote sites" (10.000+ pagina's). In de praktijk zien we voordelen van optimalisatie al vanaf 100 pagina's, vooral voor AI-bots die veel minder crawlen.
Kunt u uw crawlbudget verhogen?
Niet direct. Maar door uw TTFB te verbeteren, onnodige URLs te verwijderen en regelmatig kwaliteitscontent te publiceren, zal Google van nature meer crawl aan uw site toewijzen.
Verbruikt noindex crawlbudget?
Ja. Noindex voorkomt indexering maar niet crawlen. Gebruik robots.txt om crawlen te voorkomen. Combineer idealiter beide voor werkelijk onnodige pagina's.
Respecteren AI-bots crawl-delay in robots.txt?
Dat hangt af van de bot. GPTBot en ClaudeBot respecteren over het algemeen robots.txt-richtlijnen (Allow/Disallow) maar niet noodzakelijk crawl-delay. De beste controle blijft de responstijd van uw server.
Hoe prioriteert u pagina's voor crawlen?
Via drie hefbomen: de XML-sitemap (alleen strategische pagina's opnemen), interne links (meer interne links = vaker gecrawld) en robots.txt (blokkeer wat niet gecrawld mag worden).
Worden uw belangrijke pagina's gecrawld?
Wij analyseren uw serverlogboeken en optimaliseren uw crawlbudget zodat Google en AI bezoeken wat echt telt.
Mijn crawlbudget analyseren
