Inspecteur robots.txt

Contrôlez les règles robots.txt par user-agent, détectez les conflits Allow/Disallow et validez les sitemaps déclarés.

Chargement de l'inspecteur...

Résultats

Les résultats apparaîtront ici après l'inspection d'une URL robots.txt.

Robots.txt Inspector valide la syntaxe robots.txt, la logique par groupe d’user-agent et les conflits entre règles Allow/Disallow.

Le résultat indique quels patterns d’URL sont effectivement bloqués ou autorisés, et si les sitemaps déclarés sont accessibles.

Si une URL clé est bloquée, vérifiez d’abord la règle la plus spécifique dans le bon groupe user-agent.
Si Allow et Disallow ont la même longueur de préfixe, vérifiez ensuite les conflits de règles.
Vérifiez que les sitemaps déclarés répondent correctement et restent joignables.
Relancez l’audit après changement CDN/proxy/routage pour éviter des régressions de crawl silencieuses.

Validez les sitemaps references dans robots.txt.

Inspectez les flux apres les controles d'acces crawl.

Consultez et partagez les sorties via des liens de rapport.