robots.txt details

saved: size: 451 kb md5 checksum: 9f31298ceaccc24c61e627eca5eaf4f5

websites using this robots.txt

content


User-agent: *
Allow: /$
Allow: /ca$
Allow: /ca/$
Allow: /cs$
Allow: /cs/$
Allow: /de$
Allow: /de/$
Allow: /en$
Allow: /en/$
Allow: /es$
Allow: /es/$
Allow: /fi$
Allow: /fi/$
Allow: /fr$
Allow: /fr/$
Allow: /gl$
Allow: /gl/$
Allow: /it$
Allow: /it/$
Allow: /nl$
Allow: /nl/$
Allow: /pl$
Allow: /pl/$
Allow: /pt$
Allow: /pt/$
Allow: /?i18n_locale
Allow: /*/users/sign_in
Allow: /users/
Allow: /*/recruiter_account/
Allow: /*/sp_job_offers/
Disallow: /*