Robots.txt : comprendre et utiliser ce fichier SEO

17 juillet 2026Référencement

Réponse rapide : le fichier robots.txt donne des consignes d’exploration aux robots des moteurs de recherche. Il permet d’autoriser ou de bloquer certaines zones d’un site pour le crawl. En revanche, il ne doit pas être utilisé comme outil principal pour désindexer une page déjà connue par Google.

Qu’est-ce qu’un fichier robots.txt ?

Le fichier robots.txt est un fichier texte placé à la racine d’un site Internet. Il indique aux robots d’exploration, comme Googlebot, quelles zones du site ils peuvent parcourir et quelles zones ils doivent éviter.

Son adresse est généralement de cette forme : https://www.exemple.com/robots.txt.

À quoi sert robots.txt en SEO ?

En SEO, robots.txt sert principalement à orienter le crawl. Il permet d’éviter que les moteurs perdent du temps sur des espaces sans intérêt pour le référencement : pages internes, paramètres techniques, paniers, filtres inutiles ou fichiers temporaires.

Ce que robots.txt peut faire

Limiter l’exploration de certaines parties du site.
Protéger le budget de crawl sur les sites volumineux.
Éviter l’exploration de pages techniques peu utiles.
Indiquer l’emplacement du sitemap XML.

Ce que robots.txt ne fait pas

Il ne supprime pas une page de l’index Google.
Il ne protège pas une page confidentielle.
Il ne remplace pas une balise noindex.

L’avis de Com’online

Nous voyons régulièrement des sites où robots.txt est utilisé pour bloquer des pages problématiques. C’est rarement la bonne méthode. Il faut distinguer bloquer le crawl et empêcher l’indexation.

Exemple simple

User-agent: *
Disallow: /admin/
Disallow: /panier/
Sitemap: https://www.exemple.com/sitemap.xml

Erreurs fréquentes

Bloquer tout le site

La directive Disallow: / peut empêcher l’exploration complète d’un site si elle est oubliée après une préproduction.

Bloquer les fichiers utiles

Google doit pouvoir accéder aux fichiers CSS et JavaScript nécessaires pour comprendre le rendu réel d’une page.

Cacher des données sensibles

Un fichier robots.txt est public. Il ne doit jamais servir à protéger des informations confidentielles.

Bonnes pratiques

Garder un fichier simple et lisible.
Bloquer uniquement les zones inutiles au SEO.
Ajouter l’URL du sitemap XML.
Tester le fichier après chaque modification.

À retenir

Robots.txt est un outil technique utile, mais il doit être manipulé avec prudence. Une mauvaise directive peut empêcher Google de découvrir des pages importantes.

Besoin d’un audit SEO technique ? Com’online analyse votre robots.txt, votre sitemap XML et les freins techniques qui limitent votre visibilité.