質問: クローラを作っているのですが、複数IPを使い分ける要件があります。 AWSのEC2を使い複数のIPを1つのインスタンスに割り当てることができました。 次にcronを実行してみたんですが、設定した複数のIPを使い分ける方法がわかりませんでした。 ご存知の方いれば教えて頂けますでしょうか。よろしくお願いいたします。
回答: クローラで複数IPを使い分ける要件というのは、非常に「筋の悪い要件」であると思います。 こういった要件は一般的には、機械的アクセスを禁止しているサイトに短期間にアクセスを繰り返すとか、幾つかのIDを使い分けて規約に違反してアクセスする場合に発生すると思います。 以下を検討されてはいかがでしょうか? ・情報権利者から正当に情報をもらう(API等、正規手段を提供してもらう) ・幾つかのIDを使い分けなくて良いように、サービス提供者と調整する 先方に利のある条件なのであれば、十分調整が効く可能性があります。 イレギュラーなことを続けて、そこに余計なコストを掛け続けるよりよっぽど建設的な設計になるかと。