13/05/2026
Wer kann den von mir aktuell besuchten URL-Pfad crawlen? 🤔 GPTBot? ClaudeBot? PerplexityBot? Oder doch nur Googlebot und Kollege Bingbot?
Das habe ich mich oft gefragt und wollte es immer auf einen Blick 👀 sehen können. Weder die Plugin-Stores, noch eine Google- und GitHub-Suche oder die Befragung meines LLM-Chatbots des Vertrauens 🤌 konnten mir eine brauchbare Browser-Exentension präsentieren. Also musste ich sie selbst bauen. 🤓
Robots.TXT Radar ist die neue kostenlose Browser-Erweiterung für Firefox und Chrome sowie Edge, die genau das in Echtzeit beantwortet. 😌
Pro Seitenaufruf werden 137 Bot-Auswertungen über 8 Cluster durchgeführt, inklusive der neuen Content-Signals-Direktive von Cloudflare.
Keine Datenerfassung. RFC 9309 konform. 🤝
Für SEO-Profis, Webentwickler, Content Creator und alle, die wissen wollen, wer ihre Inhalte laut robots.txt-Datei verarbeiten darf.