Crawl Budget
Définition Crawl budget, qu’est-ce que le Crawl budget ?
Le Crawl budget, c’est quoi ?
Le Crawl budget, ou budget d’exploration en français, se réfère au nombre de pages d’un site Web que les robots de Google, appelés « Googlebot », sont capables d’explorer en un laps de temps donné lors d’une session d’exploration.
Il s’agit d’une allocation de ressources qui détermine le nombre de pages de votre site Web que le bot de Google analysera et indexera.
Le crawl budget est déterminé par deux facteurs principaux :
- Crawl Rate Limit : il s’agit du nombre maximum d’explorations (crawls) qu’un moteur de recherche effectuera sur un site sans en perturber le fonctionnement. La vitesse de réponse du serveur est le principal facteur qui influence le Crawl Rate Limit. Trop de crawls successifs peut altérer l’expérience des visiteurs.
- Crawl Demand : il s’agirait de la cote d’amour d’un site ! Si un site est fréquemment mis à jour, ou bien ses pages sont partagées ou encore pointées par des backlinks, les moteurs de recherche finiront par lui attribuer une plus grande « demande » de crawl. A contrario, les pages qui ne sont ni réactualisées ni populaires seront crawlées moins souvent.
Le Crawl Budget est la combinaison de ces deux facteurs. C'est une estimation du nombre de pages qu'un moteur de recherche est disposé à crawler sur votre site dans un laps de temps donné.
Comprendre et optimiser votre Crawl Budget est essentiel pour garantir que les moteurs de recherche peuvent indexer efficacement le contenu de votre site : la visibilité sera meilleure, le trafic plus élevé et le carnet de commandes mieux rempli.
Comment optimiser votre Crawl Budget ?
- Gardez votre site propre : chaque page doit être unique ; supprimez les contenus en double et les liens morts.
- Améliorez la vitesse de chargement de votre site : assurez-vous que votre serveur est rapide et que vos pages se chargent vite.
- Bloquez les pages non essentielles : certaines pages de votre site n’apportent aucun plus si elles sont indexées (conditions générales, politique de confidentialités, contact), bloquez-les dans le fichier robots.txt. Ainsi, vous libérez plus de temps pour les pages utiles à l’indexation.
- Utilisez des URL claires : écrivez vos URL d’une façon simple et descriptive.
- Utilisez un sitemap : un plan de site aide Googlebot à naviguer plus facilement sur votre site. Utilisez un Plugin SEO si vous êtes sous WordPress, il le créera automatiquement, le soumettra aux moteurs de recherche et enverra des demandes d’indexation instantanées des nouvelles pages.
- Corrigez les erreurs de crawl : identifiez-les grâce à la Search Console.
Olivier Andrieu, expert SEO reconnu, vous montre dans cette vidéo comment utiliser l’outil Search Console de Google pour évaluer le budget Crawl. La dashboard de la Search Console a évolué, mais la technique reste identique.
Bon crawling !
Bonne indexation !
« Back to Glossary Index