Robots.txt-Inspektor
Prüfe robots.txt-Regeln je User-Agent, erkenne Allow/Disallow-Konflikte und validiere referenzierte Sitemaps.
Inspektor wird geladen...
Ergebnisse
Ergebnisse erscheinen hier, nachdem du eine robots.txt-URL geprüft hast.
🚫 Robots.txt Inspector
Robots.txt Inspector validiert robots.txt-Dateien auf Syntax, Gruppenlogik und Regelkonflikte zwischen Allow/Disallow.
Die Ausgabe zeigt, welche URL-Muster effektiv blockiert oder freigegeben werden und ob deklarierte Sitemaps erreichbar sind.
- Wenn eine wichtige URL unerwartet blockiert ist, prüfe zuerst die spezifischste Regel im passenden User-Agent-Block.
- Wenn Allow/Disallow gleich lang sind, prüfe als Nächstes auf widersprüchliche Präfixe und bereinige die Regelmenge.
- Prüfe, ob deklarierte Sitemap-URLs erreichbar sind und den erwarteten Statuscode liefern.
- Wiederhole den Check nach CDN-, Proxy- oder Routing-Änderungen, um stille Crawl-Regressionsfehler zu erkennen.