Shared Measurement の将来

参考資料８The future of shared measurement(Inspiring Impact, 2014)
Alex Van Vliet, Angela Lail, Rachel Wharton
http://inspiringimpact.org/wp-content/uploads/2013/03/II_Catalysing-shared-measurement-final.pdf?Downloadchecked=true「Inspiring Impact」とは、英国のボランティアセクターが、インパクトのことについて考え、2022年までに、高品質のインパクト測定を、チャリティ団体と社会的企業に対する規範として作ることを目的としているプログラムである。
今後10年間に、以下の主な問いかけに答えつつ、５つのテーマの下、５つの主要な目標に向かって作業することとしている。
① よいインパクト測定は、何のように見えるか？
② どうやったら、測定する必要があるものについて知ることができるのか？
③ 測定する必要があるものが分かったとして、それをどうやって、測定するのか？
④ どうやって、他者と比較して、そこから学べばいいのか？
⑤ ファンダーの役割は、何なのか？
■パートナー：８団体
ACEVO, ACF, Building Change Trust, Charities Evaluation Services, Evaluation Support Scotland,NCVO, Substance■サポーター：１０団体
Barrow Cadbury Trust, Lottery Funded, Cabinet Office, City of London, Princess of Wales Memorial
Fund The Work Continues, BBC Children in Need, Northen Rock Foundation, Paul Hamlyn
Foundation, Deutsche Bank nominetrust, Calouste Gulbenkian Foundation

■エグゼクティブ・サマリー
インパクト評価がチャリティの効率性を変化させるという認識が、多くのチャリティがインパクト評価を採用するように導いている。しかし、しばしば、同じ問題を克服したり、同じアウトカムを達成しようと活動している、異なる組織が、自分たちのインパクトを異なった方法で測定しようとしている（ため、他の組織とインパクト評価の結果を比較したりすることができない状況に陥っている。）。
Shared measurement （複数の組織で共通の測定ツールを利用する）という考え方は、インパクト評価のツールを開発する努力の重複を減らす。首尾一貫した評価により、組織間の情報を比較することができ、何が作用し、何故作用しているかについて、我々が理解する手助けとなる。その際、インパクト評価の結果だけでなく、評価のプロセス自体が価値のあるものであることを忘れてはならない。評価のプロセスに当たり必要となる、インパクト評価への従事と共働こそが、セクター内に、shared actionを構築する手助けとなる。
このレポートは、2013年3月に公表した「Blueprint for shared measurement 」で述べられているSharedmeasurementの発展について、レビューしたものである。
（１） 学んだことは何か？
チャリティ団体がインパクト評価にプライオリティを置くようになるにつれて、shared impact も将来有望となりつつある。今や、Inspiring Impactが開発した「Jounrney to EmploymenT (JET) framework」 をはじめ、新しいshared measurement が利用可能となっている。そのメリットには、①組織間の密接な共働、②セクター間における評価結果の共有と学習の促進、③インパクトについてのファンダーの理解の増進がある。しかし、その一方で、ファンダーがshared measurementをセットしているファンダーのことを警戒している組織もある。彼らは、サービスについて公正な比較がなされることが必要であるとしている。

（２） 準備状態を評価する
Shared measurement は、すべての非営利セクターで適当ではないかもしれない。異なるセクターで、shared measurementの機会を生む手助けをするために、shared measurementの推進役と障害を理解するための評価フレームワークを開発した。
このフレームワークでは、３つのコアな要因（①セクターとインフラ、②証拠と測定アプローチ、③モメンタム）に基づいて、各セクターをレビューして、格付けするために使える基準を設定している。

（３） 次のステップ
効率的なshared measurementは、時間、リソース、関与している組織からのコミットメントに依存している。そのためには、セクターが共働して、新しい手法を共有することが必要であるが、それには、時間がかかり、カルチャーを変える必要がある。
チャリティー団体、ファンダー、研究者、評価者全員が、shared measurementが現実化するにあたり果たすべき役割を担っている。メンバーシップとインフラ組織が、shared measurementに関するセクターの準備状態を詳しく調査する際にリードしてくれる。特定の分野に戦略的な関心のあるファンダーは、助成先に対して、shared measurementの開発を支援するかどうか考慮することができる。評価者と研究者は、評価を行う際に、shared measurement systemにプライオリティを置くことができる。

■ はじめにインパクト評価は、チャリティ団体がより効率的になるようように支援するのに、積極的な役割を果たしている。インパクト評価を通じて、組織は自分たちが何をしているのかをレビューし、何が作用しているのかを学習し、より多くの人々を助けるために改善すべきところはどこかについて認識することができる。Shared measurement というコンセプトは、チャリティ団体が、何が作用しているのかについて、学び、改善し、エビデンス・ベースを構築することを容易にする。
Shared measurementとは、Shared measurement とは、インパクト評価をシェアしようとするアプローチによるプロダクトとプロセスである。プロダクトいう観点では、インパクトを評価する際に、複数の組織によって利用されているツールのことである。プロセスという観点では、あるセクターで、共有されたアウトカムを理解し、従事し、共働することを含んでいる。
図１は、shared measurement の様々な要素を示している。最初の段階は、共有された目標やアプローチの類似性に焦点を当てて、自分のセクターを理解することを含んでいる。次の段階は、変化の理論を使って、共有されたアウトカムを開発することである。共通のツールと手法が認識され、開発され、最後に、組織は、インパクト評価の結果を共有し、比較することができるようになる。ただし、全てのshared measurementシステムが、これら全ての段階を含むわけではない。

図１： shared measurement の定義
自分のセクターを理解する共有されたアウトカムを開発する

共通のツールを利用する

共通の手法と使用を利用する・介入の類似性について考える。

・よい共働は、この段階で重要である。

・組織は、類似の測定手法を利用することが必要である。

・共有される価値、ミッション、目標がセクターをマッピングする際に重要である。

・インパクトネット・ネットワークについて考えたり、アウトカムを明確にするために変化の理論を活用することが役に立つ。

・この段階で使うことができるように開発されてきた共通のツールがたくさんある。
・このだんかいでは、標準化されたキボが役立つであろう。

・データの分析に当たっては、類似の分析手法を行う必要がある。

結果を共有し、比較する・データの集計は、セクターが、インパクト全体を理解するのに役立つ。
・結果をシェアして、比較するためには、オンラインのプラットフォームが重要である。

Shared measurement による便益は、数多くある。
（１）強固で外部の検証を提供することによって、インパクト評価の標準を改善する。
（２）アウトカムを測定する首尾一貫した手法を導入することによって、人々が、その結果を比較することが可能になる。情報の比較可能性は、何が作用し、何故作用したのかについて、我々が理解することを助け、実践方法を改善し、より多くの人に便益を及ぼすことになる。
（３）Shared measurement は、インパクト評価のツールを開発する努力の重複を削減する。そのことにより、チャリティ団体は、リソースをより効率的に使うことに焦点を当てることができる。最初からフレームワークを持っていれば、組織は、自分たちのインパクトについてより迅速に評価することができる。

（４）Shared measurement は、自分でインパクト評価のツールを開発できず、データを分析するスキルのないチャリティ団体でも、自分たちのインパクトを測定し、解釈することが可能となる。テクロノ
ジー・プラットフォームが、大半のチャリティ団体が行うよりも、迅速にデータを分析することができる。
（５）より多くのファンダーがインパクトを報告する際に標準の方法を採用すればするほど、異なったファンダーに対して、異なるレポートを開発する際の重複を減らすことができる。
（６）Shared measurement は、密接な共働を導くことができる。－何がセクターのアウトカムであるかを考え出すプロセスは、セクターがどこにリソースを優先的に割り当てるべきか、組織間で緊密に働くべき場所はどこかについての会話をスタートすることができる。

■ 何を学んだのか？
チャリティ団体がインパクト評価にプライオリティを置くようになるにつれて、shared impact も将来有望となりつつある。今や、数多くのshared measurement が利用可能である（例：4Children's
Measure What Matters framework for Children's ' Centers' 、Substance's Sportworks for sport fordevelopment )。その中でも、NPCとInspiring Impactが開発した「Jounrney to EmploymenT (JET)framework」 や「Journey to EmploymenT in Northern Ireland」が、支配的なshared measurement である。

（１）便
①共働

益:より多くのシステムが開発され、議論されるほど、便益は明らかになる。

・ある組織のアウトカムが、セクター内の他の組織のアウトカムにどのような相互影響を与えているかをみることができる。

②共有と学習・組織の評価結果を互いに比較し、サービスを改善するために、その結果生じた情報を活用する。
「組織の多くが、同じ測定方法を使うことにより、自分たちのデータを他者とシェアして、どのようなタイプの介入が作用しているのかを発見することができる。」
・ファンダーが示された目標よりも、shared systemを進んで受け入れてくれたならば、より大規模なデータセットを生むのに重要な役割を果たすことになるであろう。
例：ResearchFish https://www.researchfish.com/③インパクトの理解を改善するためにshared measurementを利用するファンダー
・ファンダーが助成先を比較したり、助成先のインパクトに関する情報を集計するようになると、shared measurementに多くの関心を持つようになる。インパクト評価の手法が標準化されていないと、結果を比較することができず、ベンチマークにすることもできない。

（２）shared measurementを適用するに当たり、注意すべき点①ファンダーの役割
ファンダーは、重要な推進役である一方で、いくつかの組織は、ファンダーが資金提供プログラムにshared measurement system を設定することに用心深い。仮に、そのことにより、ファンダーが組織間の比較ができるようになると考えるならば、各組織とも、shared measurement systemを利用することを非常にためらうであろう。
学びや改善のためにチャリティ団体が本システムを利用するのではなく、単にファンダーに目標を提供するだけであるように見なされるのも、チャンレジとなる。そうした事態を回避するためには、ファンダーだけで、本システムを立ち上げるのでなく、ボトムアップ・アプローチで、セクターと共働して、本システムを立ち上げる必要がある。
ファンダーは、本システムの利用を勧めるのに重要な役割を担っている一方で、チャリティ団体に利用を押し付けることについては、慎重である必要がある。仮に、ファンダーが特定のプログラムに関する全ての助成先に本システムを利用することに熱心であるならば、助成先のトレーニングや教育にも投資すべきである。このことにより、助成先の本システムへの理解が深まり、本システムが、ファンダーの目標に情報を提供するというよりも、助成先自身にとって役に立つものであることが分かる。ファンダーは、組織が重要だと考えている追加的なアウトカムが測定できるように、sharedmeasurement system をカスタマイズできることを明確にしておくべきである。

②shared measurementの内容
shared measurement system は、介入や組織を比較することができる有益な情報を提供する。その際、情報が役立つものであり、その比較が組織にとって公正であるためには、サービスを利用している人々についての情報や、提供されているサービスのタイプについての情報が、分析を行う際に用いられる必要がある。

③shared measurementが適当でない場所
いくつかの組織が、このシステムを普遍的に利用できないかと考えているが、ある環境のものでは、適当ではないであろう。例えば、セクター内でアウトカムについて合意がなされていない場合。
本システムは、あるセクターのすべての組織が達成しようとしている全てのアウトカムを測定することはできないであろう。本システムを利用する前に、コアなアウトカムに関して、セクター内で、コンセンサスを得ておく必要がある。

（３）shared measurement の潜在性の実現化
我々の調査によれば、shared measurement systemのうち、成熟段階まで達しているものはほとんどない。成熟段階まで達している例外的なものとしては、Sportworksがある。
（http://sported.org.uk/our-impact/sportworks/）
インパクト評価結果が集計され、シェアされる段階に達するためには、shared measurement
systemは、データを捕捉し、分析するための適切なソフトウェアが必要である。小規模な組織ほどソフトウェアを持って、分析はアウトソーシングすることを好む一方で、大規模な組織は、自分自身でユーザーを追いかけることができるソウフトウェアを持ちたがる。彼らは、自分たちでデータを収集し、分析する方法について柔軟性がある、既存のソフトウェアの使用を採用できるシステムを好む。大規模な組織は、データを使って更なる分析をしたがるので、データがダウンロードできることを好む。
我々の経験では、上手くいっているshared measurement system は、セクターからのボトムアップ・イニシアティブとファンダーからのトップダウンの奨励のコンビネーションを通じて開発されてきたものである。
shared measurement systemの価値を実現化するための障害があるが、そのうちのいくつかは、技術的なものであるが、多くは、介入をシェアして、比較することに対するセクター内の抵抗から生じている。

■ 準備状態を評価する
Shared Measurement は、非営利セクター全てで適当なわけではない。しかし、実践を改善するためには、より広範囲で、Shared Measurement が利用されるのがいいと考えている。Shared Measurementは、投資が働くことを必要とするので、興味をもったファンダーやチャリティ団体は、それをスタートする前に、自分の分野でちゃんと働くかどうか注意深く評価すべきである。
The Blueprint for shared measurement (2013)では、Shared Measurementを首尾よく開発するに当たり、４つの重要な要素（①条件、②開発、③設計、④規模と持続可能性）を識別している。これらは、仮に、Shared Measurement system があるセクターで活用され、役に立つ情報を生み、限定的にされすぎるのを回避するためには、何が必要とされるのかについてカバーしている。
図２ shared measurement の条件
第１段階：条件

第２段階：開発

第３段階：設計

第４段階：規模と持続可能性

・しっかりとした手法

・エビデンス・ギャップ・ボトムアップ・アプローチ

・意味のあるアウトカム

・主要な資金源・利害関係者の多様性

・利用の容易さ・独立したリーダー

・柔軟なアウトカム・コミットされたグループ

・テクノロジーの活用
・進行中のツールの洗練
・財務上の持続可能性

次に、どのセクターがこShared Measurement Approach に対する準備が整っているかどうかを評価できるような基準を設けた。これらの基準は、３つ要素に基づいて、セクターをレビューして、格付けを行う。
要素１：セクターとインフラ、要素２：現在の証拠と測定アプローチ、要素３：モメンタム（勢い）Inspiring Impact: Catalysing shared measurement

フレームワーク (Framework)

要素(Factor)

格付け （Grading)

基準 (Criteria)

shared measurement の推進役

shared measurement の障害①セクター/サブセクターレベルでの首尾一貫①セクター内の組織は、同様の受益者に関し、同様のアウトカムの方向へ働きかけており、自分たちの共通性について認識している。課題に対する受け入れられる定義があり、原因も理解されており、特定化されている。

①組織は互いに同僚と認識しておらず、受益者に対して、異なったアウトカムの方向に働きかけている。彼らが手掛けている問題は、多くの何気ない要因から成っている。

②介入の範囲の一致②組織間のアプローチに広範な一致がある。
そのため、共通の測定方法が適用できる。
③共働のためのセクターのインフラ

セクター④セクター内の組織が、 他の業務分野で共働している。

⑤受益者のニーズとニーズの原因が理解されている。

③システムを提供し、立ち上げを推進し、エビデンスを普及させようという意思のある組織がある。理想的には、セクターでは、独立しているものの、セクターに関する十分な知識を持っていると認識されている組織やネットワークである。
④組織は、他の分野でうまく共働している。
例:共働でのサービス提供やアドボカシー、小規模でのshared measurementの実施⑤受益者のニーズとニーズの原因が、よく定義されており、セクタ－をまたがって合意されている。大半の介入は、確立されたものであり、安定している。

②計画や介入をどう行うかについての一致がほとんどない。計画や介入は、広すぎて、あるいは特定化されすぎていて、比較することができない。
③セクター内での共働はほとんどなく、組織間でのコミュニケーションのチェネルもほとんどない。資金調達の過酷な競争やセクター内の基本的な不一致が、作業を共有する妨げとなっている。

④以前の共働作業が、不成功に終わったか、機能しなかった。

⑤受益者のニーズやニーズの原因が余り理解されておらず、上手く文書化されていない。大半の介入は、新しく、変化しがちである。それゆえ、インパクトを測定する手法も十分に開発されていない。

Inspiring Impact: Catalysing shared measurement

フレームワーク (Framework)
要素(Factor)

証拠

モメンタム（勢い）格付け （Grading)

基準 (Criteria)

shared measurement の推進役

shared measurement の障害⑥セクター内における有効性についての現在の証拠⑥「何が作用しているか」の証拠は、部分的には開発されているものの、広くは知られておらず、検証されていない。この分野におけるチャリティ団体とアカデミックな関心には強いつながりがある。

⑥特定の方法で、インパクトを報告することについて、支配的かつ厳密な要求がある。近い将来にはないかもしれないが、例えば、政府の資金提供の流れ⑦セクターにおけるインパクト評価に対する既存のアプローチ⑦セクターの組織が、インパクト評価へのアプローチを開発してきたものの、単一の卓越したアプローチはない。

⑦「何が作用しているか」についてのアカデミックな知見からの証拠はほとんどない。評価の手法は発展途上であり、一貫していない。したがって、インパクトを測定する確固たる手法はほとんど存在しない。

⑧効率性を証明することへのプレッシャー⑧ファンダーが、インパクト評価志向であり、助成先から効率性の証拠が必要である。また、組織や介入を比較することを望んでいる。

⑧ファンダーの要求は、インパクト評価にプライオリティを置いていない。

⑨shared measurement アプ
ローチに対するセクター内での知覚⑨セクターをまたがる組織が本アプローチやその便益に気付いている。

⑨セクターをまたがる組織が、本アプローチやその便益に本当気付いていない。

⑩shared measurement に参加する組織への適切なインセンティブ⑩政策や資金調達、業務環境の変化が、本アプローチを採用するインセンティブを提供している。

⑩政策や資金調達、業務環境が静止状態であるため、変化へのインセンティブが生じない。又は、政策や資金調達の環境が絶え間ない状態であるため、本システムを開発するために投資する気にならない。

⑪コミットされたファンダー⑪セクター内に、本システムを開発し、普及させるために資金提供をする、十分な規模と影響力をもったファンダーがいる。

⑪ファンダーが、shared mesurement にほとんど関心を持っていない。又は、セクター内の資金提供が断片的過ぎて、個々のファンダーや組織に本アプローチを開発したり、普及させるのに十分な規模の資金や影響力を与えることができない。

■ ケース・スタディ本システムを発展させることに興味のある組織は、自分のセクターにおける推進役と障害は何か、本システムを成功させるためには、何に影響を及ぼし、変えればいいかについて評価を行う必要がある。
ここで提示した基準を用いて、様々なセクターを分析したところ、以下のセクターを、本システムを採用する準備が整っている候補としてリストアップすることができた。
フレームワーク （Framework)
要素(Factor)

障がい者と雇用若者の市民活動

高齢者ｊへの移行①、②、③、④、⑤の基準は満たしている。

①、②、③、⑤の基準は満たしている。

④、⑤の基準は満たしている。

⑥、⑦、⑧の基準は満たしている⑥、⑦、⑧の基準は満たしている。

⑥、⑧の基準は満たしている。

⑨、⑩の基準は満たしている。

⑨の基準は満たしている。

⑩、⑪の基準は満たしている。

⑪の基準は満たされていない。

⑩、⑪の基準は満たされていない。

⑨の基準は、△

基準 (Criteria)

セクター①セクター/サブセクターレベルでの首尾一貫②介入の範囲の一致③共働のためのセクター のインフラ④セクター内の組織が、 他の業務分野で共働している。
⑤受益者のニーズとニーズの原因が理解されている。

証拠⑥セクター内における有効性についての現在の証拠⑦セクターにおけるインパクト
評価に対する既存のアプローチ⑧効率性を証明することへのプレッシャー

モメンタム
（勢い）

⑨shared measurement アプ
ローチに対するセクター内での知覚⑩shared measurement に参加する組織への適切なインセ
ンティブ⑪コミットされたファンダー

■ 次のステップ
本レポートでは、shared measurment system の将来にとって、重要な２つのステップを識別している。
第１に、本システムを開発し始める前に、セクターにおける準備状況について認識して、評価する必要性である。第２に、セクターにとって克服する必要がある障害を認識することである。
（１）チャリティ団体：同僚とモメンタム（勢い）やコンセンサスを構築すること（２）ファンダー：潜在性を認識して、開発に資金を提供すること（３）評価者と研究者：将来を見据えること