質問: wgetを使用してクロールしてhtmlファイルのみをダウンロードする方法(画像、css、jsは無視してください) 基本的に、サイト全体をwgetでクロールしたいが、他のアセット(画像、css、jsなど)をダウンロードしないようにする必要がある。 htmlファイルのみが必要です。 google検索 はまったく役に立ちません。これが私が試したコマンドです:wget --limit-rate=200k --no-clobber --convert-links --random-wait -r -e -e robots=off -u "mozilla/5.0 (x11; linux x86_64) applewebkit/537.36 (khtml, like gecko) chrome/32.0.1700.102 safari/537.36" -a html --domain=www.example.com http://www.example.com 私たちのサイトは、ハイブリッドフラットphpとcmsです。したがって、html「ファイル」は/path/to/page、/path/to/page/、/path/to/page.php、または/path/to/page.html。私も含まれています-r js,cssしかし、それでもファイルはダウンロードされ、thenはそれらを拒否します(帯域幅、cpu、およびサーバーの負荷の無駄な無駄!)。
回答: オプションの追加について:--reject '*.js,*.css,*.ico,*.txt,*.gif,*.jpg,*.jpeg,*.png,*.mp3,*.pdf,*.tgz,*.flv,*.avi,*.mpeg,*.iso' --ignore-tags=img,link,script --header="accept: text/html"