# [A32] デジタルアーカイブに関する評価方法の検討:「インパクト評価」に着目して

西川開 1)

筑波大学大学院図書館情報メディア研究科 ${ }^{1)}$ ， 305-8577 茨城県つくば市天王台 1-1-1

E-mail: kai.nishikawa192000@gmail.com
## Consideration for how to evaluate "digital archives": Focusing on "impact assessment" NISHIKAWA Kai1)

Graduate School of Library, Information and Media Studies, University of Tsukuba1), 1-1-1

Tennodai, Tsukuba, Ibaraki 305-8577

## 【発表概要】

公的助成金の減額や財政基盤の脆弱性を背景として、図書館・博物館・美術館・文書館などの文化機関におけるデジタルアーカイブ関連事業の持続可能性が問題となっている。そこで当該事業の価值を適切に把握し、その課題点を明らかにし、その成果を社会にアピールするための評価方法として、「インパクト評価」と呼ばれる一連の方法論が注目を集めている。

一方でインパクト評価は困難かつ複雑な領域であるとも言われ、英国を始めとする先進的な地域においても理論・実践ともに発展の途上にあり、国内においてはほとんど受容されていないというのが現状であろう。そこで本発表では「デジタルアーカイブ」を念頭に「インパクト評価」 と国内外におけるその諸動向を概観し、国内のデジタルアーカイブ関連事業の評価方法としてインパクト評価を導入する場合の諸課題について整理・検討を行い、今後の議論の素地を提供することを目的とする。

## 1. はじめに

公的助成金の減額や財政基盤の脆弱性を背景として、図書館・博物館・美術館・文書館などの文化機関におけるデジタルアーカイブ関連事業の持続可能性が問題となっている。そこで当該事業の価値を適切に把握し、その課題点を明らかにし、その成果を社会にアピールするための評価方法として、「インパクト評価」と呼ばれる一連の方法論が注目を集めている。

一方でインパクト評価は困難かつ複雑な領域であるとも言われ、英国を始めとする先進的な地域においても理論・実践ともに発展の途上にあり、国内においてはほとんど受容されていないというのが現状であろう。そこで本発表では 「デジタルアーカイブ」を念頭に「インパクト評価」と国内外におけるその諸動向を概観し、国内のデジタルアーカイブ関連事業の評価方法としてインパクト評価を導入する場合の諸課題について整理・検討を行い、今後の議論の素地を提供することを目的とする。

## 2. インパクト評価とは

## 2.1 概要と展開

International Association of Impact Assessment によると「インパクト評価
(Impact Assessment)」は「現行ないし予定されているアクションの将来的な結果を特定するプロセス」であり、評価の対象となる 「インパクト」は「当該アクションに付随して起こることと当該アクションなしで起こることとの違い」として簡単に定義される[1]。

以上の定義は包括的なものであるが、「インパクト評価」は様々な領域において実施・研究されている評価方法であるため、実際には多くの定義・具体的な手法が存在する。

インパクト評価の起源は 1969 年に米国で策定された国家環境政策法（National Environmental Policy Act: NEPA）であり、元は環境分野において発達した評価の方法論である。その後、公衆衛生や社会福祉事業などの分野に波及し発展してきた。文化を対象とするインパクト評価 (Cultural Impact Assessment: CIA) は 2002 年以降に提唱・実施されるようになる。しかし CIA はインパクト評価の諸領域の中では未だ確立の途上にあるとされ、社会的インパクト評価 (Social Impact Assessment: SIA）や環境インパクト評価の下位領域として捉えられることもある
$[2]$

## 2.2 インパクト評価の意義

インパクト評価は多様な領域において実施されるが、その導入目的・意義にはある程度の共通要素を見出すこともできる。大別すると、(1)説明責任の履行、(2)当該事業プロセスの改善、(3)当該事業のアピール（資金調達の促進）である。

また、上記目的を果たすため、データ収集 - 分析の両段階において定性 - 定量両手法の併用ないし統合が志向されることが多いことも共通点として挙げられよう。

## 2.3 フレームワーク

インパクト評価においては評価をどの様な考え方・手順で行うかを定めるために「フレ一ムワーク」を設定することがある。フレー ムワークとは、恣意的な評価となることを避けて有効性のある評価結果を得るために評価の実施前に各概念を整理しそれをステークホルダー間で共有できるようまとめたものを指す[3]。インパクト評価ではまずフレームワー クを策定し、それに準拠しつつ具体的な指標の設定やデータ収集・分析を実施するという段階を踏むこともある。

## 3. インパクト評価の動向

## 3. 1 CIA の動向

当初 CIA は土着のコミュニティーに対する開発事業のインパクトを把握することを主目的として提唱された。ほかに CIA の主要な対象としては文化遺産が挙げられる。文化機関を対象とするものとしては、2006 年ごろより図書館を対象とするインパクト評価の標準化が進められ、2014 年には ISO 16439: 2014

（図書館インパクト評価のための手順と方法）として制定されているほか、博物館分野においてもインパクト評価導入の意義が論じられている[4]。

## 3.2 「デジタル」に関する動向

一方で、デジタル化された文化情報資源を対象とするインパクト評価の先行事例は極めて少ない。具体的な方法論にまで言及したものとしては、オンラインにおける「成功」の測定方法を提起した事例[5]や、Tanner (2012) が開発した、文化機関やその助成団体を利用者として想定し、文化資源のデジタル化事業およびデジタル化された資源の持つ価值（インパクト）を評価するための汎用的な概念モデル Balanced Value Impact Model (以下 BVIM）が挙げられる[6]。

BVIM では評価全体のフローを提案しているほか、データ収集・分析のための具体的な手法もリスト化している。「デジタル」への対応を念頭に置いた BVIM の特徴は、デジタル化文化資源を「エコシステム」（当該資源とそのステークホルダー、関連技術、法的事項などの各変数とそれらの関係を総称する概念) の内にあるものと捉え、当該エコシステムの分析を重視している点にあると言える。

## 3. 3 国内の動向

日本では内閣府のもと社会的インパクト評価検討ワーキング・グループが発足し、『社会的インパクト評価の推進に向けて：社会的課題解決に向けた社会的インパクト評価の基本的概念と今後の対応策について』において、社会的インパクト評価普及のための制度整備を進めていくことが示されている[7]。

## 4. Europeana Impact Playbook

## 4. 1 概要

Europeana Impact Playbook（以下プレイブック）は BVIM を基にして Europeana により開発・公開されたインパクト評価のための手引書である[8]。プレイブックは

Europeana のみならず欧州各域の個々の文化機関が独自に利用することも想定されており、実務レベルにおける具体的な評価実施手順が詳細に解説されている。

プレイブックでは評価の手順を 1 .「デザイ (Design)」、2.「查定 (Assess)」、3.「物語 (Narrate)」、4.「価值評価（Evaluate）」 の 4 段階に大別しており、各段階に対応する形でプレイブックも 4 部構成である。2017 年 12 月時点では「デザイン」に相当する第一部

のみが公開されている。

「デザイン」は前述の「フレームワーク」 の導入段階であり、各組織において実務レべルでフレームワークを構築するための手順を 6 ステップで示している。各ステップの解説は極めて具体的かつ詳細なものであるが、同時にすべての指示に従う必要はなくあくまで各組織においてインパクト評価を導入する際の参考資料として利用する旨が強調されている。

## 4.2 フレームワークの重要概念

「デザイン」の根幹を成す概念は(1)変化の経路（The Change Pathway)」(2)「戦略的視点 (The Strategic Perspective)」(3)「バリュ ー・レンズ (The Value Lenses)」である。

「変化の経路」は、当該活動がその最終目標に到達するまでの論理的な経路を検討するためのツールであり、評価学における「ロジックモデル」を応用したものである。「変化の経路」のもと、プレイブックにおいて「インパクト」は「（当該組織が責任を負う）活動の結果としてステークホルダーや社会に生じる変化」と定義される。この定義はアウトプットや短期・長期のアウトカムをも包含するものである。

「戦略的視点」は当該活動のインパクトが何であるかを考えるためのツールであり、「社会的インパクト」「経済的インパクト」「イノベーションインパクト」「業務的インパクト」 の 4 点から当該デジタルアーカイブを評価することを提案している。ただしどの視点を採用するかは任意である。

「バリュー・レンズ」は、特定の「戦略的視点」の下、さらに価値を具体化して考えるためのツールであり、「有用性レンズ」「存在レンズ」「遺産レンズ」「学習レンズ」「コミュニティーレンズ」の 5 種類が設定されている。一つの「戦略的視点」のもと異なるレンズを使い分けることでより効率的にデータを収集・解釈する助けとなるという。

## 4. 3 「共通言語」として

プレイブックは、多様な価値を様々な組織が各々の見方で評価し、かつその評価結果を他者と共有できる様にするための「共通言語」であるという。これは英国で推進される "Shared Measurement"に相当する発想であ
ると考えられる。

Shared Measurement とは「複数の組織や一定のセクター内で測定手法や指標を共有することで、組織間の連携を深め、課題認識の深化、解決手法の発展、コストの聥減等を図り、セクター全体としての課題解決能力の向上を図ろうとする考え方」[7]である。

メリットとしては、評価方法が洗練化されること、評価方法の共有（実質的な標準化） により評価結果が比較可能となること、コストやスキル等の問題で独力ではインパクト評価を実施することができない個々の組織においても評価が可能となること、等が挙げられる[9]。

## 5.「インパクト評価」導入に関する検討 5. 1 「インパクト評価」の批判$\cdot$弱点 インパクト評価の批判・弱点として、実施 が高コストであること、先行事例が少なくあ っても低品質のものが多いこと、諸領域間で 実施されるインパクト評価の定義・方法論等 の関係性が不明瞭であること、手法の過度な 専門化と分野横断的な実践の欠如等が指摘さ れている[10][11]。

## 5.2 理論的課題

インパクト評価全般に関する理論的・学術的課題として、(1) 評価の「有効性

(effectiveness)」に関する理論構築、(2)分化・複雑化した方法論の統合・単純化、が必要である[10]。

「デジタルアーカイブ」もその対象として含みうる文化的インパクト評価（CIA）の研究は端緒についたばかりであり、(1)近接領域も対象として含むレビュー、(2)評価実施結果に関する知見のレビュー、が当面の課題であるとされる[2]。

## 5. 3 導入に際しての実践的課題

日本国内における SIA の普及に向けた課題点として、(1)意義や必要性に対する理解の不足、(2)手法に対する理解の不足、(3)手段（ツ一ル）の不足、(4)基礎的な情報の未整備、資料の不足、(5)評価人材の不足、(6)評価コストの負担や支援の在り方、が挙げられており、上記のための対応として学会の発足やSIA の諸用語・基本文献の邦訳、評価ツールの作成、
上述の Shared Measurement の推進等が示されている[7]。

以上は SIA に関する議論であるが、国内のデジタルアーカイブ関連事業ひいては文化機関の評価としてインパクト評価 (CIA) を検討する際にも、CIA と SIA は近接領域である点[2]、インパクト評価全体の統合・整理の重要性が指摘されている点[11]等から鑑みるに、参考となる要素は多いと考えられる。

## 6. おわりに

欧州の文化機関においては、デジタルアー カイブ関連事業はその有効性にも関わらず財政基盤が脆弱であることが指摘され、当該事業の持続可能性に資する手段として CIA が注目されている。日本においてもデジタルアー カイブの推進を本格化させるためには評価方法が重要な課題となるであろう。

本発表では「デジタルアーカイブ」を念頭に「インパクト評価」の中でも CIA と呼ばれる領域の諸動向の概説を試みた。わずかにその輪郭をなぞったにすぎないが、今後本学会で評価方法に関する議論を重ねていく切っ掛けとなれば幸いである。

## 参考文献

[1] International Association of Impact As sessment (IAIA). What Is Impact Assess ment? Ghana Conference Proceedings. 20 09, p. 1-4. http://www.iaia.org/uploads/pdf/ What_is_IA_web.pdf，(閲覧 2018/01/02).

[2] Partal, Adriana, Dunphy, Kim. Cultur al impact assessment: a systematic literat ure review of current methods and practi ce around the world. Impact Assessment and Project Appraisal. 2016, vol. 34, no. 1, p. 1-13. http://cercles.diba.cat/document sdigitals/pdf/E160056.pdf，(閲覧 2018/01/0 2).

[3] 小関隆志, 馬場英朗、インパクト評価の概念的整理と SROI の意義. ノンプロフィッ
ト・レビュー. 2016 , vol. 16 , no. 1, p. 5- 1 4. http://kuir.jm.kansai-u.ac.jp/dspace/bitstr eam/10112/10306/2/KU-1100-20160600-00.p df，(閲覧 2018/01/02).

[4] Sara Selwood Associates. Making a di fference: the cultural impact of museums, 2010.

[5] Finnis, Jane. et al. Let's Get Real: Ho w to Evaluate Online Success? 2011, p. 1 -40 .

[6] Tanner, Simon. Measuring the impact of digital resources: the balanced value i mpact model. 2012, p. 3. https://www.kdl. kcl.ac.uk/fileadmin/documents/pubs/Balance dValueImpactModel_SimonTanner_October 2012.pdf，(閲覧 2018/01/02).

[7] 社会的インパクト評価検討ワーキング・ グループ. 社会的インパクト評価の推進に向けて：社会的課題解決に向けた社会的インパクト評価の基本的概念と今後の対応策について. 2016, 1-42p. https://www.npo-homepag e.go.jp/uploads/social-impact-hyouka-houko ku.pdf,(閲覧 2018/01/02).

[8] Verwayen, Harry. et al. Impact Playbo ok: for museums, libraries, archives and galleries. 2017.

[9] Inspiring Impact. The future of share $\mathrm{d}$ measurement: A guide to assessing indi vidual sector readiness. 2014.

[10] Pope, Jenny. et al. Advancing the th eory and practice of impact assessment: Setting the research agenda. Environment al Impact Assessment Review. 2013, vol. 41, p. 1-9. http://dx.doi.org/10.1016/j.eiar. 2 013.01.008，(閲覧 2018/01/02).

[11] Morrison-Saunders, Angus. et al. Str engthening impact assessment: a call for integration and focus. Impact Assessment and Project Appraisal. 2014, vol. 32, no. 1, p. 2-8. https://search.proquest.com/docv iew/1501609733? accountid=25225，(閲覧 20 18/01/02).

この記事の著作権は著者に属します。この記事は Creative Commons 4.0 に基づきライセンスされます(http://creativecommons.org/licenses/by/4.0/)。出典を表示することを主な条件とし、複製、改変はもちろん、営利目的での二次利用も許可されています。