質問: rubyでクローラーを作ろうと思っていますが、 著名なAnemoneさんは、バージョンが古く、Mongoも使えない状態で、 使うにはいじらないといけないなというのが感想です。 モノとしては最高なんですけどね。 なので、Anemone以外で、クローラーでおすすめのgem等はありますか? 要件として ・ドメイン以下のクローリング ・nokogiriまでサポートしていなくてもいい ・クロール済みの記憶を、DBなりで管理可能 よろしくお願いします。
回答: ruby でクローラ、スクレイピングといえば僕は、Nokogiri が真っ先に思いつきます。 構文解析に、XPath を使っているので W3C のお墨付き?というイメージで信用していますよ笑