質問: wget:特定のwebサイトからurlを再帰的に取得します webサイトからすべての可能なurl(内部ページurl)を再帰的に取得しようとしています。wgetを手伝ってくれませんか?またはこれを達成するためのより良い代替手段はありますか?ウェブサイトからコンテンツをダウンロードしたくはありませんが、同じドメインのurlを取得したいだけです。ありがとう![〜#〜]編集[〜#〜]これをwgetで実行してみましたが、後でoutlog.txtファイルをgrepします。これが正しい方法かどうかはわかりません。しかし、それは機能します!$ wget -r.jpg,.jpeg,.gif,.png,.css -c -r http://www.example.com/ -o urllog.txt $ grep -e " http" urllog1.txt | awk '{print $3}'
回答: nutch のようなものを使用することもできます。私はこれを使用して、サイトの内部リンクをクロールし、それらを solr しかし、 この投稿 によると、やりたいことに応じて、外部リンクも実行できます結果は少しやり過ぎかもしれません。