質問: **不特定多数のWebサイトへ対してクローラーを実行したいと考えています** ・どれぐらいの頻度までなら許容されるでしょうか? ・「業界団体が作成した指針」や「目安となる数値」などはあるでしょうか? ・例えば、検索エンジンはこの件について、何らかの資料を公開していたりするでしょうか? **注意した方が良いこと(あるいは、お作法的なこと)について** ・クローラーを実行するに辺り、マナー(あるいは、暗黙の了解)はあるでしょうか? ・サイト管理者が拒否したら、次からはアクセスしない? みたいな (そもそもどうやってクローラー拒否するのかよく分かっていないのですが...)
回答: ウェブ健康診断仕様 上記IPAが出してる資料は、サイトを作る側のチェックリストですが、「クローラーへの耐性」というチェック項目があります。この資料に書いてある以上の過剰なアクセスは避けた方が良いでしょう。 そのほかマナー的な点についても記載します。 > > 1. 同一ホストへのアクセスは、最低1秒間くらい間隔をあけてアクセスする > 2. 同一ホストへのアクセスは、複数同時アクセスを行ってはいけない > 3. robots.txtの内容に従う > 4. UserAgent情報を適切に設定する。(サイト管理者があなたへコンタクトできるように) > > > 他参考資料