質問: python+seleniumでスクレイピングをしています。 サイトに「負荷をかけてはいけない」と書かれていたりしますが、どのタイミングで負荷がかかるのでしょうか。 リクエストをなげたときという漠然としたことは分かるのですが、画像を取得するときrequests.getは使っててココで負荷がかかるのは分かるのですが、seleniumを使ってたりするので負荷の箇所が分かりません。 負荷の箇所にtime.sleepを入れれば良いかなと単純に思っています。 time.sleepを入れる箇所はどういったところに入れれば良いのでしょうか。 負荷がかかる場所にtime.sleepをいれておけば良かったりするのでしょうか。 分かりにくい質問で申し訳ございませんが、よろしくお願いします。 知りたいのは負荷がかかるタイミングと、そこにtime.sleepをいれるだけで良いのかということです。 driver.find_element_by_id("next")で負荷がかかったりすると思ってたりもします。 あとpagerをクリックしたときに負荷がかかるとは思ってたりもします。 よろしくお願いします。
回答: > > driver.find_element_by_id("next")で負荷がかかったりすると思ってたりもします。 > > > そこに関しては探しているだけなので、time.sleep等での待ちは発生しません。 しかし、click等の処理をする場合はtime.sleep等も用いて1秒から3秒ほど待たせておくのが無難な選択と言えるでしょう。 それとサーバーとの通信が発生するような処理の重いところでは10回ほど計測を行い、その最大時間の3倍はsleepをかけるようにして下さい。