Nous vérifions ce robotstxt.org Web, maintenant: le site est en place et ne bloque pas pour notre système et les autres utilisateurs d'Internet.
Donc, répondez à la question: Est-ce que robotstxt Down Right Now? - NON! robotstxt est en hausse!
Si vous avez un problème d'accès au site robotstxt, et domain: le robotstxt.org n'est pas disponible.
Effacer le cache du navigateur et / ou essayer un autre navigateur Web
(Chrome, Firefox ou Safari).
Vérifiez vos paramètres réseau et contactez votre fournisseur de services Internet
soutenir si c'est nécessaire.
En outre, vérifiez votre fichier hosts (wikipedia about
hosts file) pour certains enregistrements sur le domaine robotstxt.org. Et essayez de l'enlever.