質問: PHPやPerlで動作するWebクローラはありますか? SourceForge.netにあるPHPCrawlはサーバが落ちるのでダメです(笑) Yomi-SearchやCosmo Navigatorのような物ではなくクロールしてサイトURLを収集してくれるものを探しています。 言語は一般的なWebサーバで動作することと、日本語でなくても動作すればOKです。
回答: 過去質にありました