Sitemap et robots.txt : le guide simple pour être visible sur Google

Tu as un site web. Tu veux que Google le trouve. Mais parfois, Google ne voit pas toutes tes pages. Ou pire, il indexe des pages que tu ne veux pas montrer.

Le problème vient souvent de deux petits fichiers : sitemap.xml et robots.txt.

Ces fichiers sont comme des panneaux indicateurs pour Google. Ils disent "voici mes pages" et "ne va pas là". Sans eux, Google se perd dans ton site.

Qu'est-ce qu'un sitemap ?

Un sitemap est une liste de toutes les pages de ton site. C'est un fichier XML que tu donnes à Google.

Imagine que ton site est une bibliothèque. Le sitemap est le catalogue. Google consulte le catalogue pour savoir quels livres (pages) existent.

Le sitemap contient :

• L'URL de chaque page
• La date de dernière modification
• La fréquence de mise à jour (optionnel)
• L'importance relative (optionnel)

Google utilise ce fichier pour découvrir tes pages plus vite. Surtout si ton site est nouveau ou a beaucoup de pages.

Pourquoi ton site a besoin d'un sitemap

Google découvre les pages en suivant les liens. Mais si une page n'a pas de lien vers elle, Google ne la trouvera jamais. C'est une page orpheline.

Le sitemap résout ce problème. Il montre toutes tes pages, même celles sans liens.

Voici les sites qui en ont le plus besoin :

• Sites nouveaux : Google ne connaît pas encore ton site
• Sites très grands : Plus de 500 pages
• Sites avec peu de liens internes : Pages isolées
• Sites riches en médias : Images, vidéos
• Sites avec contenu dynamique : Pages générées

Même un petit site professionnel gagne à avoir un sitemap. C'est une assurance que Google verra tout.

Comment créer un sitemap

La bonne nouvelle : c'est souvent automatique.

Sur WordPress

WordPress génère un sitemap automatiquement. Va sur ton-site.com/sitemap.xml. Tu verras le fichier.

Pour l'optimiser, installe Yoast SEO ou Rank Math. Ces plugins améliorent le sitemap.

Ils permettent de :

• Exclure certaines pages (comme les pages de remerciement)
• Ajouter des images au sitemap
• Configurer la priorité des pages

Sur les autres CMS

La plupart des CMS modernes ont un sitemap :

• Shopify : /sitemap.xml
• Wix : /sitemap.xml
• Squarespace : /sitemap.xml
• Webflow : /sitemap.xml

Si ton CMS n'en a pas, utilise un générateur en ligne. Comme XML-Sitemaps.com. Tu entres ton URL, il crée le fichier. Tu le télécharges et le mets à la racine de ton site.

Pour les sites custom (HTML/CSS)

Si ton site est fait à la main, crée le fichier manuellement. Voici un exemple simple :

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://ton-site.com/</loc>
    <lastmod>2026-04-08</lastmod>
    <changefreq>monthly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://ton-site.com/services</loc>
    <lastmod>2026-03-15</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Ajoute une ligne pour chaque page importante. Mets le fichier à la racine (ton-site.com/sitemap.xml).

Soumettre ton sitemap à Google

Créer le sitemap n'est que la moitié du travail. Il faut dire à Google où il est.

Va dans Google Search Console. C'est gratuit. Connecte ton site si ce n'est pas déjà fait.

Dans le menu de gauche, clique sur "Sitemaps". Entre l'URL de ton sitemap (juste sitemap.xml). Clique sur "Soumettre".

Google va maintenant lire ton sitemap régulièrement. Tu peux voir combien de pages il a indexées.

Pro tip : soumets aussi ton sitemap à Bing. Via Bing Webmaster Tools. C'est le même processus.

Qu'est-ce que robots.txt ?

Robots.txt est l'inverse du sitemap. Il dit à Google où il ne doit PAS aller.

C'est un fichier texte simple à la racine de ton site. Il contient des règles pour les robots (Google, Bing, etc.).

Exemple de robots.txt :

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /
Sitemap: https://ton-site.com/sitemap.xml

Traduction :

• User-agent: * : Ces règles s'appliquent à tous les robots
• Disallow: /admin/ : Ne va pas dans le dossier /admin/
• Disallow: /tmp/ : Ne va pas dans /tmp/
• Allow: / : Tout le reste est autorisé
• Sitemap : Lien vers ton sitemap (optionnel mais utile)

Ce que robots.txt NE FAIT PAS

Il y a une confusion courante. Robots.txt n'est pas un mur. C'est une suggestion.

Les robots respectueux (Google, Bing) suivent les règles. Mais un robot malveillant les ignore.

Robots.txt ne protège pas tes pages. Il ne les cache pas. Il dit juste "s'il te plaît, ne va pas là".

Pour vraiment bloquer l'accès, utilise .htaccess (Apache) ou une authentification.

Quand utiliser robots.txt

Voici les cas où robots.txt est utile :

1. Pages techniques

Les pages d'administration, de connexion, de panier vide. Tu ne veux pas que Google les indexe.

Exemple :

Disallow: /wp-admin/
Disallow: /login/
Disallow: /cart/

2. Pages de test

Les versions de développement, les pages brouillons. Garde-les hors de Google.

3. Fichiers sensibles

Les fichiers PDF privés, les documents internes. Même s'ils ne sont pas liés, un robot pourrait les trouver.

4. Pages à faible valeur

Les pages de filtre, les résultats de recherche interne. Elles créent du contenu dupliqué.

Exemple pour un site e-commerce :

Disallow: /*?color=
Disallow: /*?size=
Disallow: /search/

Les erreurs courantes avec robots.txt

Erreur 1 : Tout bloquer

Certains mettent :

User-agent: *
Disallow: /

Ça bloque tout le site. Google n'indexera rien. Ton site sera invisible.

Vérifie toujours que tu n'as pas fait cette erreur.

Erreur 2 : Oublier le sitemap

Ajoute toujours la ligne Sitemap dans robots.txt. C'est un moyen supplémentaire de dire à Google où est ton sitemap.

Erreur 3 : Bloquer les CSS et JS

Google a besoin de voir tes fichiers CSS et JavaScript pour comprendre ton site. Ne les bloque pas.

Mauvais :

Disallow: /css/
Disallow: /js/

Erreur 4 : Syntaxe incorrecte

Robots.txt est sensible à la casse. Utilise toujours des minuscules pour les chemins.

Mauvais : Disallow: /Admin/
Bon : Disallow: /admin/

Comment tester ton robots.txt

Google Search Console a un outil de test. Va dans "Robots.txt Tester" dans le menu.

Tu peux :

• Voir ton fichier robots.txt actuel
• Tester si une URL est bloquée
• Simuler des modifications

Teste toujours avant de mettre en production. Une erreur peut rendre ton site invisible.

Sitemap vs robots.txt : le duo gagnant

Ces deux fichiers travaillent ensemble :

• Sitemap : "Voici toutes mes pages importantes"
• Robots.txt : "Mais évite ces zones-là"

Ensemble, ils guident Google efficacement dans ton site.

Google découvre tes pages via le sitemap. Il évite les zones sensibles grâce à robots.txt. Résultat : un indexation propre et complète.

Les alternatives avancées

Meta robots (dans le HTML)

Parfois, robots.txt ne suffit pas. Tu peux ajouter une balise dans le HTML :

<meta name="robots" content="noindex, nofollow">

Cette balise va dans l'en-tête de la page. Elle dit à Google : "Ne indexe pas cette page, et ne suis pas ses liens".

Utilise-la pour :

• Pages avec contenu dupliqué
• Pages de remerciement après formulaire
• Pages temporaires

X-Robots-Tag (dans les en-têtes HTTP)

Pour les fichiers (PDF, images), utilise X-Robots-Tag dans les en-têtes du serveur.

Exemple pour un fichier PDF :

X-Robots-Tag: noindex

Ça empêche Google d'indexer ce fichier spécifique.

Maintenance régulière

Sitemap et robots.txt ne sont pas "set and forget".

Vérifie-les régulièrement :

• Chaque mois : Regarde dans Search Console combien de pages sont indexées
• Quand tu ajoutes une section : Mets à jour robots.txt si besoin
• Quand tu supprimes des pages : Retire-les du sitemap
• Après un redesign : Vérifie que tout fonctionne toujours

Une petite maintenance prévient les gros problèmes d'indexation.

Outils gratuits pour t'aider

• Google Search Console : Pour soumettre et surveiller
• XML-Sitemaps.com : Pour générer des sitemaps
• Screaming Frog SEO Spider : Pour auditer ton site (version gratuite limitée)
• Robots.txt Tester : Dans Google Search Console

Ces outils te donnent tout ce dont tu as besoin. Gratuitement.

Conclusion

Sitemap et robots.txt sont deux fichiers simples mais puissants.

Le sitemap montre à Google tes pages importantes. Robots.txt lui dit où ne pas aller.

Ensemble, ils assurent une indexation optimale de ton site. Tu contrôles ce que Google voit.

La configuration prend 30 minutes maximum. L'impact sur ton SEO est immédiat.

Google découvrira tes pages plus vite. Il évitera les pages sans valeur. Ton référencement s'améliorera.

Prends le temps de les configurer correctement. C'est un investissement minime pour un gain important.

Et si tu veux vérifier que ton sitemap et ton robots.txt sont bien configurés, notre audit gratuit analyse ces points en 30 secondes. Le lien est sur huitcents.co.