Stand 02.11.2026 · 12 Min. Lesezeit
KI-Crawler in der robots.txt
GPTBot, ClaudeBot, Google-Extended und Co.: welche KI-Crawler wofür abrufen, drei Vorlagen für die robots.txt, die Fristen bei Bing und eine Checkliste.
Für: Marketing & Content, Online-Shop, Entwicklung & IT