robots.txt details

saved: size: 1042 kb md5 checksum: 1f60eadcbce938424d192fa0ae1eb121

websites using this robots.txt

content


User-agent: Mediapartners-Google*
Disallow:

User-agent: CCBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
# Misc.
Disallow: /avw-bin/
Disallow: /api/
Disallow: /bilderstrecke/
Disallow: /*/bilderstrecke/
Disallow: /ct/daily/?*
Disallow: /ct/test/
Disallow: /ct/praxis/
Disallow: /ct/wissen/
Disallow: /ct/trends/
Disallow: /ct/ctmagazin/
Disallow: /extras/evileye/
Disallow: /fastbin/
Disallow: /forum/*
Disallow: /foto/galerie/*
Allow: /foto/galerie/
Disallow: /home/
Disallow: /ivw-bin/
Disallow: /netze/tools/whois/
Disallow: /preisvergleich/eu/
Disallow: /userdb/

# Suche
Disallow: /suche
Disallow: /download/search
Disallow: /netze/netzwerk-tools/imonitor-internet-stoerungen/stoerungsmeldungen-suchen/?*
Disallow: /netze/netzwerk-tools/imonitor-internet-stoerungen/schnellsuche/?*

# Preisvergleich
Disallow: /preisvergleich/redir.cgi
Disallow: /preisvergleich/redir/
Disallow: /preisvergleich/?fs=
Disallow: /preisvergleich/?pg=

Sitemap: https://www.heise.de/sitemapindex.xml