ロボット

コンピューター #ソフトウェア
いろいろありましたが、結局いまの robots.txt はこんな感じに。
User-Agent: Baiduspider+
Disallow: /
Crawl-delay: 86400

User-Agent: Baiduspider
Disallow: /
Crawl-delay: 86400

User-agent: WebAlta Crawler
Disallow: /

User-agent: moba-crawler
Disallow: /

User-Agent: MJ12bot
Disallow: /
Crawl-delay: 86400
これでしばらく様子見かなぁ…と。

今日学んだこと
・robots.txt の Crawl-delay: に指定した数値の解釈は、クローラによって「秒」単位の場合と、「分｣単位の場合があるらしい。