質問: とあるサイトをスクレイピングしてDB作成しているのですが、数十万ページあり、VPSのメモリ12GB,SSD,等ではあまり早く処理が行えず困っております。 帯域幅やCPU速度なども含めて高速なサーバーを教えて頂けますでしょうか。 AMAZON EC2以外でお願い致します。
回答: そもそも論ですが、**そんなに高速かつ大量にスクレイピングして問題ない**のでしょうか。 Libhack事件なんていう騒動もありましたが、相手の許可を得てやるようなものならともかく、無断でやる場合には1秒に1度が(礼儀上の)限界だと思います。