Heritrix
Heritrixには各種のコマンドラインツールが付属する:
htmlextractor - 指定のURLからHeritrixと同じ方法でリンクを抽出して表示するもの
hoppath.pl - 完了したクロールの記録から、指定のURLへのホップ・パス(リンクの連鎖)を再現するもの
manifest_bundle.pl - クロール・マニフェストファイルに列挙されているすべての記録情報をまとめ、Tarアーカイブに保存するもの
cmdline-jmxclient - Heritrixをコマンドラインから制御するためのもの
arcreader - Arcファイルから資料を取り出すもの(前掲)
インターネット・アーカイブのwarctoolsプロジェクトにもツールがある。
Heritrixにはarcreader と呼ばれるArcファイルを処理するコマンドラインツールが付属している。例えば、Arcファイルに保存されているすべてのURLとメタデータの一覧をCDX形式で得るには、次のように実行すればよい:
また、上記の例のhello.htmlを取り出すには次のように実行する(レコードが頭から140バイトの位置にあると仮定):
Heritrixに付属するもの以外にも、ツールが開発されている:
Arc processing tools
WERA (Web ARchive Access)