Disallow
Définition Disallow, qu’est-ce que la directive Disallow ?
Directive Disallow, c’est quoi ?
La directive Disallow est une instruction du fichier robots.txt qui indique aux robots d’exploration (crawlers) les pages d’un site qu’ils ne doivent ni explorer ni indexer. La Disallow permet la gestion des robots d’indexation et régule l’accès aux différentes parties d’un site web.
La Disallow directive permet aux propriétaires de sites web de répondre à la double question : quel robot pour quelle partie du site ? Elle est utilisée pour ‘cacher’ certaines informations confidentielles à tous les moteurs de recherche ou à certains moteurs en particulier.
Gestion d’un fichier robot.txt
Différences entre les directives SEO
Une bonne gestion de votre indexation nécessite de différencier les différentes directives que vous pouvez utiliser en matière de SEO :
- Disallow : directive qui indique aux robots (ou un unique robot) les pages ou les répertoires à ne pas explorer.
- Noindex : directive permettant de définir la liste des pages à ne pas indexer dans les résultats de recherche.
- Nofollow : Directives à propos des pages sur lesquelles il ne faut pas suivre les liens (ne pas leur accorder de poids). Par opposition à Dofollow.
Syntaxe de la directive Disallow
Dans le fichier Robots.txt, la syntaxe de la directive Disallow prends la forme suivante :
Disallow: [chemin]
Le [chemin] représente l’URL ou le chemin d’accès que vous souhaitez bloquer aux robots d’exploration des moteurs de recherche.
Exemple :
- Disallow: /images/ bloque le répertoire « images », empêchant les robots d’exploration d’indexer les images du site.
- Disallow: /example.html bloque une page spécifique nommée « example.html ».
- User-agent: Googlebot Disallow: /admin/ bloque la partie admin au robot d’exploration de Google.
Quelle est l’utilité de Disallow ?
L’apport essentiel de la directive Disallow est l’optimisation du budget de crawl des moteurs de recherche. En bloquant l’accès aux parties moins importantes ou indésirables d’un site, cela permet aux robots d’allouer plus de ressources aux pages de plus grande valeur et de mieux explorer et indexer le contenu pertinent.
Bons à savoir
Noindex est plus efficace que Disallow pour indiquer aux moteurs de recherche de ne pas explorer et indexer une partie de votre site Web. C’est Google même qui le rappelle.
Portez une casquette de policier de la circulation en plus de celles de marketeur et de référenceur pour bien gérer votre site !
« Back to Glossary Index