robots.txt viewer

www.lieferanten.de @ 2019-01-09 21:41:25


website: https://www.lieferanten.de
robots.txt: www.lieferanten.de/robots.txt

/robots.txt (77B)

# Zugriff auf alle Dateien erlauben
User-agent: *
Crawl-delay: 10

Disallow: