Inspector de robots.txt
Revisa reglas robots.txt por user-agent, detecta conflictos Allow/Disallow y valida los sitemaps declarados.
Cargando inspector...
Resultados
Los resultados aparecerán aquí después de inspeccionar una URL de robots.txt.
🚫 Robots.txt Inspector
Robots.txt Inspector valida sintaxis robots.txt, lógica de grupos por user-agent y conflictos entre reglas Allow/Disallow.
El resultado muestra qué patrones de URL quedan bloqueados o permitidos y si los sitemaps declarados son accesibles.
- Si una URL clave aparece bloqueada, revisa primero la regla más específica en el grupo de user-agent correcto.
- Si Allow y Disallow comparten prefijo, comprueba después conflictos y simplifica reglas.
- Verifica que los sitemaps declarados en robots.txt respondan y mantengan estado correcto.
- Repite la revisión tras cambios en CDN, proxy o routing para evitar regresiones silenciosas.