каковы хорошие веб-сканеры на основе ruby?

<p>я пытаюсь написать свою собственную, но мне интересно, есть ли какие-нибудь хорошие веб-сканеры, написанные на ruby.</p><p>если не считать полноценного веб-сканера, любые гемы, которые могут быть полезны при создании веб-сканера, были бы полезны. я знаю, что эта часть вопроса затрагивается в нескольких местах, но список драгоценных камней, применимых к созданию веб-сканера, также был бы отличным ресурсом.</p>

<p>я создаю wombat, ruby dsl для сканирования веб-страниц и извлечения контента. проверьте это на github <a href="https://github.com/felipecsl/wombat">https://github.com/felipecsl/wombat</a> </p><p>он все еще находится на ранней стадии, но уже функционален с базовой функциональностью. другие вещи будут добавлены очень скоро.</p>

<p>итак, вы хотите хороший ruby-ориентированный <a href="http://en.wikipedia.org/wiki/web\_crawler">веб-сканер</a> ?</p><p>попробуйте <a href="https://rubygems.org/gems/spider">паук</a> или <a href="https://rubygems.org/gems/anemone">анемон</a> . оба имеют твердое использование в соответствии с количеством загрузок rubygems.</p><p>пока что другие ответы <em> подробные </em> и <em> полезны </em>, но они не сфокусированы на вопросе как лазер, который запрашивает ruby библиотеки для веб-сканеров <strong> </strong>. казалось бы, это различие может запутаться: см. <a href="https://stackoverflow.com/a/11143222/109618">мой ответ на "сканирование против веб-скребинга?"</a> </p>

<p>если вы не хотите писать свой собственный, используйте любой обычный веб-сканер. есть десятки там.</p><p>если вы хотите написать свое, то пишите свое. сканер не совсем сложный процесс, он состоит из:</p><ol> <li>загрузка сайта.</li> <li>нахождение url-адресов на этом веб-сайте, отфильтрованные, как бы вы ни старались, пожалуйста.</li> <li>для каждого url на этом сайте повторите шаг 1.</li> </ol><p>о, и это, кажется, дубликат " <a href="https://stackoverflow.com/questions/4132595/web-crawler-in-ruby">веб-сканер в ruby</a> ".</p>