質問: スクレピング(サイトへのプログラムによる自動収集や自動操作)については、どう思いますか? 知恵袋でも同じ質問をしたのですが、「スクレピングは、問題がない」という意見が多く、「スクレピングは問題」という意見が上がらないのですが・・・。 多くのサイトでは、スクレピング(サイトへのプログラムによる自動収集や自動操作)について、禁止と書かれているにもかかわらず。 みなさんは、スクレピングについてどう思いますか? 邪推をすれば、スクレイピングをしている人は、スクレピングは問題ないといいたいと思うのですが、各言う私も個人的に(商用でない形で)スクレイピングはしているのですが、建前としては、スクレピングは規約違反、違法行為にあたる可能性があると、回答しています。 あと、OKWAVEだと、質問者の意見に同意するバイアスが、多かれ少なかれかかる気もするので、そのへんを差っ引いて回答していただけるとありがたいです。 私は、建前としては、スクレイピングは問題と思っているが、個人的は使っているので、どちらの意見もわかります。
回答: スクレイピングが禁止ならGoogleは検索サービスを提供できなくなってしまいます。 利用規約で明確に禁止しているサイトであれば規約違反なのでダメですが、禁止規定が無ければ人が見ているか、コンピュータが見ているかの違いですから、相手サーバに必要以上に負荷を与えるような高頻度のアクセスはダメだと思いますが、通常の人間がアクセスするのと同程度のアクセスに抑えておけばいいんじゃないでしょうか。