robots.txt details

a115f2f1132dc7a4404f0aa11b7d128c

saved: | size: 921kb | checksum: a115f2f1132dc7a4404f0aa11b7d128c

websites using this robots.txt

content

User-agent: *
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Disallow:

User-agent: Adsbot-Google
Disallow:

# Schlie?e folgende Spider komplett aus:

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /

# Massendownloader vom CGI Verzeichnis fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /temp/ # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/ # Die ?ndern sich jeden Tag
Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren

Sitemap: https://www.kfztech.de/sitemap.xml
Sitemap: https://www.kfztech.de.sitemap-2.xml
Sitemap: https://www.kfztech.de.sitemap-3.xml
Sitemap: https://www.kfztech.de/rss_feed.xml