利用者によるウェブアーカイブの意義、技術とその課題
武田俊之 1)
1) 関西学院大学

高等教育推進センター

takeda@kwansei.ac.jp

Web Archiving by Users – Technologies and Challenges
Toshiyuki Takeda 1)
1) Center for the Studies of Higher Education, Kwansei Gakuin University.
概要
組織の改変、廃止、情報システムの変更によって、インターネット上のコンテンツが消失することがある。このような社会文化的な損失へ対処する方法の一つがウェブアーカイブの構築である。ウェ
ブアーカイブの構築の技術コストは高価であったが、OSS として開発された新しいツールによって、個人であっても利用価値の高いアーカイブの作成が容易になっている。本稿ではこのような利用者個人のアーカイブ作成方法について説明をおこない、今後の意義や課題について述べる。

1

的に訪問、網羅的に収集している（25 条の 3）。そはじめにれ以外のウェブサイトについては、公益法人、私インターネット上の情報はますます増加をつ

立大学、政党、国際的・文化的イベント、東日本大づけているが、一方で日々情報の削除がおこなわ震災に関するウェブサイト、電子雑誌などを主なれている。学術情報に限っても、組織の改変、廃対象として、発信者の許諾を得られたものを収集・止、情報システムの変更によって、少し前に閲覧保存・提供している。アーカイブされたコンテンできた情報が見えなくなっていることも多い。消ツは、21 年には 13,822 件（ファイル数 110 億個、失した情報には、すぐれたコンテンツやその時点2,387.753TB）までに登っている。の社会状況を反映した有用なものも少なくない。

WARP 事業のコンテンツが充実する一方で、日このような情報の消失、散逸による社会文化的本には大学や民間のウェブサイトで公開された情な損失に対応するための一つの方法が、ウェブ情報を組織的に保存するアーカイブが存在しない。

報を保存するウェブアーカイブである。ウェブア

日本以外では、米国の非営利組織 Internet Archiveーカイブとは「ウェブサイトを定期的に収集し、（IA）の Wayback Machine[3]が、ウェブページを累積的かつ長期的に保存して、元の状態のまま再世界中から収集、公開するウェブアーカイブとし現する事業」で、国立図書館等を中心に行われてて有名で実績がある。

いる[1]。1996 年に米国の Internet Archive がウェブ個人が必要な民間のコンテンツについてはそアーカイブを開始して以来、2013 年には 120 以上れぞれが適宜適当なツールによって保存すればよの機関で実施されている。

い。しかし、規模の大きい体系的なコンテンツを日本においても、国立国会図書館のインターネ個人が保存することは容易ではない。

ット資料集保存事業（Web Archiving Project: WARP）

たとえば、2022 年 9 月 30 日に組織が廃止されが 2002 年から国内のウェブサイトを保存していた京都大学高等教育研究開発推進センターでは、る[2]。公的機関が発信するインターネット情報にサービス終了1が 8 月に公表という性急さであった

ついては、平成 21 年 7 月 10 日に改正された国立が、ウェブサイトには数多くの有用な大学教育に

国会図書館法に基づいて、国の機関、独立行政法関するコンテンツ―FD（Faculty Development）、オ

人、国立大学法人、特殊法人等（以上 24 条）、地ンライン授業、オープン教材など―が公開されて方公共団体、地方公社等（以上 24 条の 2）を定期おり、サービス停止による知的資源の消失の影響

1

http://www.highedu.kyoto-u.ac.jp/news/news1716/

本稿執筆時点で、更新は停止されるが、当面維持されると広報されている（2022/9/30 付）

465
464

は大きい。このような組織の廃止等によるコンテする。しかし孤立した（orphaned）ページの存在

ンツの喪失は、大学だけではなく学会や NPO 等でや、サイトマップにサイト内のすべてのページがもおこりうるが、個人や民間によるウェブアーカ記述されているとはかぎらないことに注意が必要

イブ構築が容易になり、アーカイブ連携を実行でである。

きれば知的資源消失の影響を少なくすることが期(3) 保存待される。

クローリングした結果を、レスポンスだけではこの論文では、ウェブサイトを利用する個人がアーカイブを構築するための技術を紹介するとともに、社会的な意義と今後の課題について述べる。

2

なく、アクセス時のリクエストやメタデータを含めてアーカイブに保存する。
クローリングの頻度については、対象となるウェブサイトの更新頻度や負荷、アーカイブの容量ウェブアーカイブの技術と手順などを含めて決定する。
ツールによっては、ページの更新がない場合は2.1 ウェブアーカイブとは先に述べたように、本稿ではウェブアーカイブを定期的収集、累積的かつ長期的保存、元の状態収集をおこなわない差分収集の機能がある。
(4) 組織化のままの再現が可能なものとする。検索エンジン

収集時にウェブページの情報（URL、リクエスやデータ分析用のデータ収集は、ウェブアーカイト、レスポンス、コンテンツなど）を用いてインデブと一部技術を共有するが、目的や結果が異なる。

ックスやメタデータを付与する。メタデータは人検索エンジン等のページ収集がウェブアーカ手によって付与される場合もあり、国会図書館はイブと最も異なる点は、ウェブページの再現を目

DC-NDL に準拠記述規則によってメタデータを的としていないところである。収集対象は主にデ作成している[1]。

ータとなるページであり、表示に関連する CSS や後の検索のために、ページ保存時に全文検索用JavaScript などは重視されない。また、収集したなど、後付のインデックスが付与される場合もあページから必要な情報だけが取得されて（スクレる。

イピング）加工されることが多い。一方のウェブ(5) 利用

アーカイブはブラウザ上での表現が同一になるこ

ウェブページを再現する（リプレイ）システムとを目標としてページが収集される一方で、デーのよって、URL と取得時刻等の情報によってアータとしての内容には関心がない。また、HTTP リ

カイブから取り出したページを利用する。

クエストやレスポンスのデータも再現表示や管理

公的なウェブアーカイブでは公開の範囲と方のために累積的かつ長期的に保存される。

法を選択する必要がある。

2.2 ウェブアーカイブ化のプロセス

2.3 ウェブアーカイブの保存形式
この節では、ページの再現や累積的かつ長期的(1) 選定
アーカイブ化するウェブサイトを選定する。国会図書館のように法的根拠を持って収集する場合保存を重視したウェブアーカイブの保存形式について説明する。

はバルク収集（bulk harvesting）をおこなうことHTML で表現されたウェブページのアーカイもあるが、利用者がアーカイブを作成する場合にブ化は、単にその HTML ファイルを保存すればよは特定のサイトの選択収集（selective harvesting）

い わ け で は な い 。 ペ ー ジ の 表 示 は 、 CSS やをおこなう。

JavaScript を読み込んでレンダリングされるもの(2) クローリングであり、関連するファイルを含めて、保存する必クローリング（crawling）とは、ウェブページ要がある。DOM（Document Object Model）の操を巡回、収集することである。多くの場合、ロボッ作や、非同期で他のコンテンツを読み込んでおこトによるクローリングがおこなわれるが、本稿でなう AJAX などの動的レンダリングの配慮も必要は後に手動による巡回方法も紹介する。

である。

クローリングではウェブサイトのトップペー

ウェブページの保存用のフォーマットとして、ジからリンクを順次たどってページを収集するか、MHTML （ MIME encapsulation of aggregate

収集ロボット向けのサイトマップに指定されたHTML documents、拡張子は多くの場合.mht）とURL にアクセスして、コンテンツの URL を取得

WARC 形式が用いられる。MHTML は主に個人な466465

どが単一のウェブページを保存するために用いら

技術的制限

れ、WARC 形式はウェブアーカイビングの標準フ

ウェブコンテンツの性質から、以下のようなコォーマットである。ここでは WARC 形式についてンテンツの正確なアーカイブ化は容易ではない。

説明する。

1. バックエンドにデータベースがあるウェブサ

WARC 形式は Internet Archive が採用していイトの検索等の動的コンテンツ

た ARC 形式を拡張したフォーマットで、2009 年

2. 乱数等を利用したゲームなど、アクセスするた

5 月に ISO 28500:2009 として標準化された（現びに内容が変わるコンテンツ

在は ISO 28500:2017）[4]。

3. ストリーミングと連携したコンテンツ

WARC 形式は、1 つ以上の WARC レコードでウェブ技術の進展によりさらに変化も予想さ構成される。WARC レコードはヘッダーとコンテれるため、制約を配慮しつつ、目的の範囲でウェンツブロックで構成される。図 1 において、空行ブアーカイブをおこなうことになる。

より前が WARC ヘッダー、それ以後がコンテンツ3ブロックである。
ある URL に HTTP プロトコルでアクセスしたと き 、 WARC レ コ ー ド タ イ プ が request とresponse の WARC レコードが作成される。このときのコンテンツブロックは、それぞれ HTTP プ

アーカイブツールとその利用例

3.1 ウェブアーカイブのツール
ウェブアーカイブは、国会図書館や InternetArchive のように網羅的におこなう大規模な実施、大学や NPO 等の組織が目的をもって行う中小規

ロトコルのリクエスト情報とレスポンス情報その模の実施、MHTML 形式で保存するような個人規ものである。

模の実施に分類される。

WARC レコードタ イプは 他に、 warcinfo 、resource 、 metadata 、 revisit 、 conversion 、continuation があり、コンテンツ以外にアクセス大規模なアーカイブに使用するツールは、プロセスのステップごとに専用のツールを用いることが多い。国会図書館では、クローラーと保存に時の情報やメタデータを保存することによって、Heritrix[5]、組織化に NutchWAX[6]や Solr[7]、データ履歴やデータ交換などウェブアーカイビン

リプレイに OpenWayback[8]を使用している[1]。

グに有用な情報を記録することが特徴である。

Heritrix や OpenWayback はウェブアーカイブ専用であり、実施に必要な技術レベルは高い。

図 1 WARC レコードの例

中小規模では、Archive-It や Conifer などのウェブアーカイブ機能を提供する SaaS が用いられることが多い。この方法は運用コストを下げることができるが、利用面での制約が大きい。MHTMLの保存は系統だったアーカイブの作成や利用面で制約がある。これらの機能面の制約を低減しつつ、比較的低コストに柔軟なアーカイブの運用を可能にするために、Webrecorder プロジェクト[9]がツールを開発している。
3.2 Webrecorder プロジェクトについて
Webrecorder プロジェクトは”Web archivingfor all!”という標語を掲げて、オープン・ソースの Web アーカイブ・ツールを提供している。ツールには、キャプチャ、リプレイ、アーカイブの操作、クローリング等 Web アーカイブに必要なものが含まれている。
ツールの中でも pywb[10]はウェブアーカイブ化を支援するツールで、ウェブページのキャプチ
ャからリプレイまでを Python でコーディングす

467
466

ることができる。warcio[11]は pywb の基礎となとを示した。以下では利用者によるアーカイブ作

る WARC ファイルの操作ライブラリである。

成の意義と今後の課題について述べる。

3.3 ウェブレコーディング

組織やサイトの廃止、改変が予告されることはpywb をインストールして、アーカイブの初期まれであり、ウェブ情報の消失の多くは気づかれ化が終わると、ウェブレコーディングが可能になない。個人が WARC 形式で情報を保存することは、る。” wayback --record --live -a --auto-interval 10”事後にページ（サイト）の再生を可能とする。

を実行すると、ブラウザでしかし、アーカイブの公開には、著作権や個人”http://localhost:8080/record/<collection>/archiv
e/record/http://example.com/ “にアクセスするだけで、http://example.com がア情報等の問題がある。今回対象としている大学やーカイブされる。画面上のリンクをクリックするを付与する慣習が望まれる。

ことで、リンク先のページも表示、保存される。
3.4 クローリング

学 術 情 報 の サ イ ト に つ い て は 、 Creative
Commons 等の自由な利用を許諾するライセンス
技術面では発展をつづけるウェブ技術への対応である。先に述べたように動的なページのアー

Webrecorder プロジェクトではクローリング

カイブには技術的な課題がある。

をおこなう Docker コンテナ Browsertrix Crawler

ウェブアーカイブの今後の最も重要な課題はも提供している。高機能で利便性も高いツールで利用法の開発であり、技術面では個人アーカイブあるが、エラー発生時のリカバリー制御がむずか間の連携であろう。個人アーカイブは大規模アーしい。クローリングには、サイトマップの利用カイブと比較して収集が完全ではないが、個人の（robots.txt に記述されたサイトマップから、アー関心を反映した対象の収集には価値がある。アー

カイブする URL を収集）か、スクレイピング（ペカイブの統合的な検索、閲覧が可能にするために、ージをパースして、リンクしている URL を取りアーカイブの連携のために開発された Memento出す。対象となるサイトの配下ではない URL はプロトコルが開発されている。このような広範にフィルターする）の方法がある。

連携したアーカイブの実現は、人文学などを含め3.5 ウェブページのリプレイた新しい研究につながることが期待される。

ウェブページのリプレイ（再現表示）は ”http://localhost:8080/<collection>/archive/record/http://example.com/ “ へのアクセスで可能である。

謝辞
本研究の一部は JSPS 科研費 20H01713 の助成を受けたものです。

3.6 ウェブアーカイブの作成例
京都大学高等教育推進センターおよび京都大学 OCW のウェブアーカイブを作成した。これらのページの多くは WARP でも保存されておらず、Wayback Machine でも 7 割程度の保存である。
それぞれのサイトにはサイトマップが存在したが、センターの方にはコンテンツの一部しか含まれておらず、OCW の方（WordPress が自動的に作成）はコース内の URL と体系が異なったものがあり、サイトマップとウェブページのリンクを抽出するクローラーを併用して、pywb レコーダーにアクセスするスクリプトを記述した。

4

まとめと今後の課題
以上、Webrecorder のようなすぐれたツールを使うことによって、ウェブサイトの利用者個人であっても、アーカイブ作成やアーカイブを利用するコードを書くことが比較的容易に可能であるこ

468
467

参考文献
[1] 前田直俊, 大山聡, ウェブアーカイブを支える技術, 情報の科学と技術 67 巻 2 号，7378, 2017[2] 国立国会図書館, インターネット資料保存事,
https://warp.da.ndl.go.jp/[3] Wayback Machine, https://archive.org/[4] ISO 28500:2017 Information and documentation— WARC file format, 2017https://www.iso.org/standard/68004.html[5] Heritrix,
https://github.com/internetarchive/heritrix3[6] NutchWAX,
https://archive-access.sourceforge.net/[7] Solr, https://solr.apache.org/[8] OpenWayback,https://netpreserve.org/webarchiving/openwayback/[9] Webrecorder, https://webrecorder.net/[10] Pywb, https://github.com/webrecorder/pywb[11] Warcio, https://github.com/webrecorder/warcio