La nouvelle recommandation Budget Crawl de Google :
« Si votre site utilise des versions HTML distinctes pour mobile et desktop, fournissez le même ensemble de liens sur la version mobile que sur la version desktop. Si cela n’est pas possible, assurez-vous que tous les liens sont inclus dans un fichier sitemap. Google n’indexe que la version mobile des pages, et limiter les liens affichés sur celle-ci peut ralentir la découverte de nouvelles pages. »
Source : Documentation de Google du 1ᵉʳ novembre
Nouvelle recommandation de Google pour le budget crawl
Google a publié une mise à jour de sa documentation concernant le budget du crawl début novembre. Cette recommandation concerne les sites qui proposent deux versions différentes : version pour Mobiles et version pour Desktop.
Il importe de rappeler que Google privilégie la version Mobiles pour l’indexation et le classement des pages web depuis novembre 2016 (indexation mobile-first via Mobilegeddon).
Deux actions SEO sont proposées par Google pour éliminer les retards d’indexation (ou une non-indexation) des pages d’un site web moyen (+10.000 pages) ou d’un grand site :
- Aligner les liens de la version Mobile sur ceux de la version Desktop (la solution préférée)
- Sinon, ajouter tous les liens au fichier sitemap. Cela permet à Google de détecter les nouvelles pages non intégrées sur la version Mobile (souvent plus limitées).
En gros, Google recommande une parité de liens entre les deux versions. Tous les liens présents sur la version desktop doivent être accessibles sur la version mobile pour éviter des problèmes de crawling et d'indexation. C'est du bon sens SEO ! La Google Search Console ne doit afficher aucune marque du genre "découvertes mais non indexées".
Qu’est-ce que le budget crawl ?
Le budget de crawl renvoie sur le nombre de pages qu’un moteur de recherche explore et indexe sur un site au cours d’une période donnée (session). Il est limité et doit être optimisé pour que les robots découvrent et indexent rapidement le contenu neuf ou mis à jour sur un site. C’est essentiel pour optimiser le SEO.
Comment optimiser le Budget Crawl ?
- Garder le site propre : éliminer les liens morts et les pages inutiles, et éviter le contenu en double (problème récurrent des sites e-commerce).
- Améliorer la vitesse de chargement : le budget crawl n’est pas gaspillé dans l’attente des chargements.
- Bloquer les pages non essentielles : les pages qui n’ont pas besoin d’être indexées sont à bloquer (no-index) afin de réserver le crawl budget aux pages utiles à l’indexation (Politique de confidentialité, Contact, etc).
- Simplifier les URL : URL claires et structure URL cohérente.
- Utilisez un sitemap
