Référencement naturel avec le fichier robots.txt

En règle générale, il est du devoir des administrateurs de sites Internet professionnels de travailler au bon référencement de leur projet dans les moteurs de recherche. Une des conditions sine qua non est que les robots d’indexation puissent lire toutes les URLs pour qu’ils les adoptent par la suite. Par ailleurs, il est important de veiller à ce que les moteurs de recherche ne puissent pas, parfois, explorer certains sites dans leur totalité. En effet, les capacités de ces programmes sont limitées et même Google n’est pas en mesure ni de créer et ni de sauvegarder des contenus Web à l’infini. Au lieu de cela, chaque nom de domaine est lié à un budget pour un référencement naturel. Cette somme indique le nombre d’URLs qui peuvent être indexés et lus tous les jours. Il est conseillé aux administrateurs de sites Internet d’envergure de procéder ici avec stratégie en signalant, tout d’abord, aux robots de recherche quelles sont les parties de leurs sites Internet qui doivent être indexées, et quelles sont celles à ignorer. Les outils importants dans le cadre d’un référencement naturel sont les informations sur les robots dans les balises méta, les balises canoniques et bien entendu les fichiers robots.txt dont il est question dans cet article.

Dans cet exemple, le fichier robots.txt est valable uniquement pour le robot d’indexation dont le nom est Googlebot, soit l’agent utilisateur de Google. Il interdit la lecture du répertoire /temp/ ainsi que celle du fichier news.html. Par ailleurs, tous les fichiers ainsi que les répertoires dont les chemins commencent par print sont bloqués. Il convient ici de faire attention à bien distinguer la syntaxe de Disallow: /temp/ et de Disallow: /print en omettant un slash à la fin.

Il est possible d’insérer des commentaires dans des fichiers robots.txt. Ces derniers peuvent être ajoutés n’importe où grâce à un croisillon (#).

Si plusieurs moteurs de recherche sont impliqués, le fichier robots.txt a la possibilité de bloquer plusieurs parties d’un site Internet. Par ailleurs, une ligne vide est tout le temps ajoutée devant les agents utilisateurs.

Alors que Google interdit le robot d’indexation d’explorer dans le répertoire /temp/, Bingbot empêche également l’indexation du dossier /print/.

Il convient de mettre un petit astérisque (*) pour que tous les robots d’indexation soient interdits d’accès à certains répertoires ou fichiers.

Le fichier robots.txt bloque les répertoires /temp/, /print/ et /pictures/ pour tous les moteurs de recherche.

Dans le cas où les agents utilisateurs se voient refuser l’accès à tout un site Internet, un simple slash (/) suffit après le mot-clé Disallow.

Dans ce cas, tous les robots d’indexation ont pour instruction d’ignorer entièrement le site. Un tel fichier robots.txt s’applique par exemple dans le cadre de projets Web qui se trouvent encore dans leur phase de test.

Si un robot a la possibilité d’explorer et d’indexer entièrement un site Internet, les administrateurs de sites Internet peuvent le signaler en utilisant le mot-clé Disallow sans slash :

Si un fichier robots.txt contient un Disallow sans slash, le site entier est alors accessible au robot d’indexation défini par l’agent utilisateur.

Au-delà de ces fonctionnalités quasi standards, certains moteurs de recherche prennent également en charge des paramètres pour préciser des informations dans le fichier robots.txt. Les fonctionnalités qui suivent sont disponibles sur l’espace assistance de Google. Elles proviennent d’un accord entre Google et Yahoo.

En dehors de Disallow, Google prend en charge un autre mot-clé, soit Allow, dans le fichier robots.txt qui permet de définir des règles d’exception pour les répertoires bloqués.

Le mot-clé Allow permet de partager le fichier "http://www.exemple.fr/news/index.html" avec Googlebot bien que le répertoire parent /news/ ne soit pas bloqué.

Les administrateurs de sites Web, qui souhaitent interdire à Googlebot la lecture de fichiers comportant des extensions spécifiques, peuvent utiliser des enregistrements tels que dans l’exemple suivant :

Le mot-clé Disallow fait référence à tous les fichiers comportant l’extension .pdf et les protège de l’accès de Googlebot. L’astérisque (*) sert de métacaractère au nom du fichier précédant l’extension. L’entrée avec le signe de dollar ($) à la fin de la ligne signifie l’exclusion.

Hormis le pilotage du comportement d’indexation, le fichier robots.txt permet également aux robots de se signaler sur le sitemap (plan de site) d’un projet Web. Voilà comment un fichier robots.txt qui comporte un renvoi à un sitemap se constitue :