質問: PHPでスクレイピングをする際の、一度のリクエスト数の上限を知りたいです。 現在、curlのマルチ機能を使って、一度に100件の検索を行っているのですが、途中で以下のような表示のHTMLが返ってきます。 ``` お使いのコンピュータ ネットワークから非常に多くの「画像で検索」リクエストが検出されました。しばらくしてからもう一度リクエストを送信してください。 ``` 一度に並行して100件のリクエストを行っているからだと思うのですが、なにか解決法はありますでしょうか。 また、上限などは存在するのでしょうか。 よろしくおねがいします。
回答: > > 一度に並行して100件のリクエストを行っているからだと思うのですが、なにか解決法はありますでしょうか。 > > また、上限などは存在するのでしょうか。 > > > スクレイピングをする以上は、明確に許可をとったなどの特殊事情があるのでなければ**相手の迷惑にならない**ように実行するのが必須です。1秒に1リクエスト以上はかけないほうがいいでしょう。 (このように機械的な抑止手段を行ってくることから考えると、規約でスクレイピングを禁止している可能性もあります。続ける前に規約で禁止されていないかも確認してください)