Google n’indexe plus vos pages ? Search Console affiche ‘Bloqué par robots.txt’ ? Une simple erreur dans ce fichier peut empêcher Google de crawler tout votre site.
Qu’est-ce que robots.txt et pourquoi il est crucial
robots.txt est un fichier à la racine de votre site qui donne des instructions aux robots des moteurs de recherche. Il dit à Google ce qu’il peut ou ne peut pas crawler. Une erreur de syntaxe ou une règle trop restrictive peut bloquer l’indexation de tout votre site — sans que vous le sachiez.
Les erreurs qui bloquent Google
1) Disallow: / (bloque TOUT le site), 2) Disallow: /wp-content/ (bloque les images et CSS que Google a besoin de voir), 3) Pas de directive Sitemap (Google ne trouve pas le sitemap), 4) Syntaxe incorrecte (mauvais chemins, majuscules/minuscules), 5) robots.txt non accessible (erreur 404 sur /robots.txt).
Comment vérifier votre robots.txt
Visiter votredomaine.fr/robots.txt dans le navigateur. Utiliser Search Console > Inspection d’URL > Tester robots.txt. Vérifier que les pages importantes ne sont pas dans les Disallow. Le robots.txt correct pour WordPress : User-agent: * + Disallow: /wp-admin/ + Allow: /wp-admin/admin-ajax.php + Sitemap: https://votredomaine.fr/sitemap_index.xml.
Le cas des pages bloquées par erreur
Si Search Console affiche ‘Bloqué par robots.txt’ pour des pages que vous voulez indexer, corriger le robots.txt immédiatement. Après correction, utiliser Search Console > Inspection d’URL > ‘Demander l’indexation’ pour forcer Google à re-crawler les pages bloquées. La réindexation prend 2-7 jours.
Le robots.txt parfait pour WordPress SEO
User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php / Disallow: /?s= / Disallow: /search/ / Sitemap: https://votredomaine.fr/sitemap_index.xml. Ce robots.txt permet à Google de tout crawler sauf l’admin et les pages de recherche interne. Ne JAMAIS bloquer /wp-content/uploads/ — Google a besoin de voir vos images pour le SEO image.
L’accompagnement professionnel pour robots.txt
Audit du robots.txt actuel, correction des règles bloquantes, configuration optimale pour le SEO WordPress, soumission à Search Console, monitoring des erreurs de crawl. Un robots.txt mal configuré peut détruire des années de référencement en quelques jours.
Faire diagnostiquer votre site web par un professionnel
Vous rencontrez un problème avec votre site web ? Ne laissez pas la situation s’aggraver. Un diagnostic professionnel permet d’identifier la cause exacte et d’appliquer la solution adaptée.
👉 Audit complet de votre site en 24h
📅 Réservez votre créneau
🌐 depannage-gmb.fr | 🔗 Prendre rendez-vous expert
📞 04 65 84 00 27
— John — Le Service Communication — Ms France Concept