Comprendre le crawl budget en 2026
Google definit le crawl budget comme la combinaison de deux facteurs : le crawl rate limit (combien de requêtes par seconde Googlebot envoie sans surcharger votre serveur) et le crawl demand (a quel point Google juge vos pages importantes a crawler).
En 2026, un troisième facteur s'ajoute : le crawl budget IA. GPTBot, ClaudeBot et PerplexityBot ont leurs propres budgets, généralement plus limites que Googlebot. Ils crawlent moins de pages, moins souvent, et avec des timeouts plus courts.
Gary Illyes, analyste chez Google (Zurich), a clarfie lors du Search Central Live 2025 a Paris : "Si votre site répond lentement, on crawlera moins. Si vos pages se ressemblent toutes, on perdra intérêt. Le crawl budget n'est pas une métrique que vous pouvez configurer — c'est une conséquence de la qualité de votre site."
Diagnostiquer le gaspillage de crawl
Avant d'optimiser, identifiez ou votre crawl budget est gaspille. Les coupables habituels :
| Source de gaspillage | Impact | Solution | Priorité |
|---|---|---|---|
| Pages de parametres (?sort=, ?filter=) | Tres élevé | Balise canonical + robots.txt | P1 |
| Pages de pagination infinies | Élevé | Noindex ou pagination limitee | P1 |
| Contenu duplique (www vs non-www, http vs https) | Élevé | Redirections 301 + canonical | P1 |
| Pages 404 en masse | Moyen | Redirection ou suppression | P2 |
| Chaines de redirections (A → B → C) | Moyen | Redirection directe A → C | P2 |
| Pages a faible valeur indexees | Moyen | Noindex ou consolidation | P2 |
Outils pour diagnostiquer : analysez les logs serveur (Screaming Frog Log Analyzer, Oncrawl) pour voir exactement quelles pages Googlebot visite. Croisez avec la Search Console (rapport de couverture) pour identifier les pages crawlees mais non indexees.
5 stratégies d'optimisation du crawl budget
- Nettoyer le robots.txt — bloquer les sections inutiles (parametres, facettes, pages admin) tout en autorisant les bots IA stratégiques (voir notre guide robots.txt et IA)
- Sitemap XML stratégique — n'inclure que les pages que vous voulez voir indexees, avec des
lastmodfiables (voir notre guide sitemap) - Améliorer le TTFB — un serveur rapide permet a Googlebot de crawler plus de pages dans le meme temps (voir guide Core Web Vitals)
- Consolider le contenu faible — fusionner les pages a faible trafic qui couvrent des sujets similaires
- Maillage interne oriente — diriger les liens internes vers vos pages prioritaires pour signaler leur importance aux bots (voir guide maillage interne)
Crawl budget et bots IA : les specificites
Les bots IA ont un comportement de crawl distinct de Googlebot :
- Volume plus faible — GPTBot crawle 10 a 100x moins de pages que Googlebot sur un meme site
- Timeouts agressifs — abandon fréquent apres 1,5-2 secondes de TTFB
- Pas de rendu JS — seul le HTML statique est lu
- Sensibilite au robots.txt — GPTBot et ClaudeBot respectent les directives (contrairement a certaines idées recues)
- Fichier llms.txt — guide les bots IA vers vos pages les plus importantes (voir notre guide llms.txt)
Bartosz Goralewicz, CEO de Onely (Pologne) : "Pour les bots IA, le crawl budget est encore plus précieux. Ils visitent beaucoup moins de pages, donc chaque page crawlee doit compter. Le fichier llms.txt et un robots.txt bien configure sont vos meilleurs allies."
Monitorer son crawl budget
L'optimisation du crawl budget n'est pas un one-shot. Voici les métriques a suivre :
- Pages crawlees par jour — Search Console > Parametres > Statistiques d'exploration
- Temps de réponse moyen — meme rapport, objectif < 500ms
- Ratio pages crawlees / pages indexees — si le ratio est faible, Googlebot crawle mais ne juge pas vos pages dignes d'indexation
- Crawl des bots IA — analysez vos logs serveur pour tracer GPTBot, ClaudeBot, PerplexityBot
Pour le contexte technique complet, retrouvez notre guide SEO technique 2026.
FAQ — Crawl budget
A partir de combien de pages faut-il s'inquieter du crawl budget ?
Google indique que le crawl budget n'est un problème que pour les "grands sites" (10 000+ pages). En pratique, nous observons des bénéfices a optimiser des 100 pages, surtout pour les bots IA qui crawlent beaucoup moins.
Peut-on augmenter son crawl budget ?
Pas directement. Mais en ameliorant votre TTFB, en supprimant les URLs inutiles, et en publiant du contenu de qualité régulièrement, Google allouera naturellement plus de crawl à votre site.
Le noindex consomme-t-il du crawl budget ?
Oui. Le noindex empeche l'indexation mais pas le crawl. Pour empecher le crawl, utilisez le robots.txt. Idealement, combinez les deux pour les pages vraiment inutiles.
Les bots IA respectent-ils le crawl-delay dans robots.txt ?
Cela dépend du bot. GPTBot et ClaudeBot respectent généralement le robots.txt (Allow/Disallow) mais pas necessairement le crawl-delay. Le meilleur contrôle reste la vitesse de réponse de votre serveur.
Comment prioriser les pages pour le crawl ?
Via trois leviers : le sitemap XML (inclure seulement les pages stratégiques), le maillage interne (plus de liens internes = plus crawlee), et le robots.txt (bloquer ce qui ne doit pas être crawle).
Vos pages importantes sont-elles crawlees ?
Nous analysons vos logs serveur et optimisons votre crawl budget pour que Google et les IA visitent ce qui compte vraiment.
Analyser mon crawl budget
