いろいろありましたが、結局いまの robots.txt はこんな感じに。 User-Agent: Baiduspider+ Disallow: / Crawl-delay: 86400 User-Agent: Baiduspider Disallow: / Crawl-delay: 86400 User-agent: WebAlta Crawler Disallow: / User-agent: moba-crawler Di…