質問: Rubyでseleniumを使って自前のクローラを作成しました。 30分毎にとあるWebサイトから情報を集め続けるクローラです。 クローリング自体は上手く行っていますが、当たり前ではありますが、PCの電源をOFFにしている間はクローリングできません。 しかしPCの電源を24時間ONにし続けるということはしたくありません。 このクローラを24時間稼働し続けたいのですが、何かいい方法はありますでしょうか。 できれば無料でできる方法があれば嬉しいです。
回答: Amazon EC2やさくらVPSなどのサーバー上でクローラを実行するのが良いと思います。 無料であればHerokuが良いと思いますが、無料でHerokuを利用する場合、1日中サーバを起動しておくのはできなかったように記憶しています。 自動実行についてはcronを使用すればサーバー上で30分毎にクローラを自動実行できます。 私の場合、Twitter botをさくらVPSとcronで毎分実行しています。