User-agent: * Allow: / User-agent: Mediapartners-Google Allow: / User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Disallow: User-agent: Adsbot-Google Disallow: # Schlie?e folgende Spider komplett aus: User-agent: WebReaper User-agent: WebCopier User-agent: Offline Explorer User-agent: HTTrack User-agent: Microsoft.URL.Control User-agent: EmailCollector User-agent: penthesilea Disallow: / # Massendownloader vom CGI Verzeichnis fernhalten User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy Disallow: /temp/ # Die Dateien sind sehr kurzlebig Disallow: /logfiles/ # Die ?ndern sich jeden Tag Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren Sitemap: https://www.kfztech.de/sitemap.xml Sitemap: https://www.kfztech.de.sitemap-2.xml Sitemap: https://www.kfztech.de.sitemap-3.xml Sitemap: https://www.kfztech.de/rss_feed.xml