Ispettore robots.txt
Controlla regole robots.txt per user-agent, rileva conflitti Allow/Disallow e valida le sitemap dichiarate.
Caricamento ispettore...
Risultati
I risultati appariranno qui dopo aver ispezionato un URL robots.txt.
🚫 Robots.txt Inspector
Robots.txt Inspector valida sintassi robots.txt, logica dei gruppi user-agent e conflitti tra regole Allow/Disallow.
L’output mostra quali pattern URL risultano bloccati o consentiti e se le sitemap dichiarate sono raggiungibili.
- Se una URL critica è bloccata, verifica prima la regola più specifica nel gruppo user-agent corretto.
- Se Allow e Disallow hanno lo stesso prefisso, controlla poi i conflitti e semplifica le regole.
- Verifica che le sitemap dichiarate in robots.txt siano raggiungibili e con status coerente.
- Riesegui il controllo dopo cambi su CDN, proxy o routing per evitare regressioni silenziose.