指標のチェックリストと使い方
2015年1月29日
EAワークショップ 資料

1

問題意識
 大学評価室、IR室などでは、目的・計画の達成状

況や進捗状況について評価を行うが、その判断の根拠となるデータを入手するためには、測定可能な情報から指標を設定する必要がある。
 大学が独自に指標をデザインするが、目的・計画の内容を適切に捉えているものであるか、評価者を十分説得できる内容であるかが気になる。
 せっかくデータを収集・分析しても説得力ないものであったら努力は無駄になってしまう。
 指標を選ぶにあたって、それが妥当であるか、信用できるかを判断するための指針はないだろうか？
2

現状
 指標については、学内で、ある程度の経験のある人たちが集まってWGを立ち上げ、収集できるか、その負担はどうかなどの実行可能性や、指標としての妥当性を考慮しながら、経験を基に、時間をかけて議論して定めている。

3

本講義の目的 指標デザイン後のチェックリストを紹介する。
 チェックリストの背景にある考え方を説明する。

4

講義の構成1)

チェックリストの紹介
1)
2)
3)

5

チェックリストの背景にある考え方（妥当性）
チェックリストの説明
チェックリスト使用上の留意点

本日提案のチェックリスト 妥当性

目的との適合性 調査対象・結果への影響
 信頼性
 理解可能性
 包括性・非重複性


 実用面

意思決定者への有用性
 計測可能性 収集の適時性
 データ収集のコスト
 操作可能性6妥当性(validity)とは？
 指標とそのデータが評価すべき内容を的確に捉えているか。
 データが得られたとしても、指標が測定したい内容を、適切に捉えていなければ意味が無い。

7

妥当性が問題となる例（ODAでの指標）
 途上国の貧困農村の所得の向上度をどのように測るか？
 持っている家畜の数で考える。
 どの家畜が適切か？

8高い持っている頻度

調査対象の変化や差を測る感度が、最も高いものを考える！

低い
9高い

金額

低い

妥当性が問題となる例（英語教育）
 英語教育の効果を測定するため、英検２級を全学的に実施し、その取得者の数を指標とした。
 偏差値50のA大学では、取得者の増加が見られ、指標としての機能を果たした。
 ところが、偏差値70のB大学では、全員が取得してしまい意味が無かった。
 また、偏差値30のC大学では、誰も受からずに意味が無かった。
10

B大学

多い

合格者数

A大学

調査対象の変化や差を測る感度が、最も高いものを考える！

C大学
少ない
11

低い

学生の偏差値高い指標設定に係るチェックリスト

12

区分基準

目的との適合性
調査対象・結果への影響
信頼性
妥当性
理解可能性

包括性・非重複性

意思決定者への有用性
計測可能性
実用面 収集の適時性

13

説明

指標が、目的・計画の目的や目指す成果とその進捗を適切に反映しているか。
指標設定の結果、意図しない悪影響を及ぼすものではないか。
誰がいつ測定しても、同じ目的・計画からは同じ測定結果が得られるか。
指標の意味が、明確でわかりやすく、皆に誤解が生じないか。
目的・計画の重要な側面が、もらさず指標によってカバーされているか。
指標間に重複がなく、各指標は異なる側面を計測しているか。
指標が、執行部等の意思決定者に対して、有益な知見を提供してくれているか。
指標となるデータは収集可能か。
有用なタイミングで、指標の計測値は入手可能か。

データ収集のコスト

データを収集するための費用は大きすぎないか。

操作可能性

指標の計測値は、都合良く操作して変更可能なものではないか。

講義の構成1)

チェックリストの紹介
1)
2)
3)

14

チェックリストの背景にある考え方（妥当性）
チェックリストの説明
チェックリスト使用上の留意点

区分

基準

目的との適合性
調査対象・結果への影響
信頼性
妥当性
理解可能性

包括性・非重複性

意思決定者への有用性
計測可能性
実用面 収集の適時性

15

説明

指標が、目的・計画の目的や目指す成果とその進捗を適切に反映しているか。
指標設定の結果、意図しない悪影響を及ぼすものではないか。
誰がいつ測定しても、同じ目的・計画からは同じ測定結果が得られるか。
指標の意味が、明確でわかりやすく、皆に誤解が生じないか。
目的・計画の重要な側面が、もらさず指標によってカバーされているか。
指標間に重複がなく、各指標は異なる側面を計測しているか。
指標が、執行部等の意思決定者に対して、有益な知見を提供してくれているか。
指標となるデータは収集可能か。
有用なタイミングで、指標の計測値は入手可能か。

データ収集のコスト

データを収集するための費用は大きすぎないか。

操作可能性

指標の計測値は、都合良く操作して変更可能なものではないか。

目的との適合性、包括性
 指標が、目的・計画の目的や目指す成果とその進捗を適切に反映しているか。
 指標が偏ってはいないか、必要なものは網羅されているか？
 現場で起こっていることと、指標の間に乖離が無いか？
中期目標

中期計画

具体的な取組事項

指標・ボランティア活動参加率
社会性・倫理観を涵養する
ボランティア活動を推進する①ボランティア活動
社会に学ぶ体験教に対する支援基盤の育の強化など、整備「ボランティア支②ボランティア支援援センター」を中センター運営の充実心とした学生支援③災害時における支体制を拡充する
援体制の整備・ボランティア関係の授業の受講者数
・ボランティアセンターの利用者数
・ボランティア関係の研究の外部資金獲得額
・インターンシップ・体験学習等の参加者割合
・インターンシップ・体験学習等の参加学生満足度
・卒業時アンケート

16

区分

基準

目的との適合性
調査対象・結果への影響
信頼性
妥当性
理解可能性

包括性・非重複性

意思決定者への有用性
計測可能性
実用面 収集の適時性

17

説明

指標が、目的・計画の目的や目指す成果とその進捗を適切に反映しているか。
指標設定の結果、意図しない悪影響を及ぼすものではないか。
誰がいつ測定しても、同じ目的・計画からは同じ測定結果が得られるか。
指標の意味が、明確でわかりやすく、皆に誤解が生じないか。
目的・計画の重要な側面が、もらさず指標によってカバーされているか。
指標間に重複がなく、各指標は異なる側面を計測しているか。
指標が、執行部等の意思決定者に対して、有益な知見を提供してくれているか。
指標となるデータは収集可能か。
有用なタイミングで、指標の計測値は入手可能か。

データ収集のコストデータを収集するための費用は大きすぎないか。

操作可能性

指標の計測値は、都合良く操作して変更可能なものではないか。

非重複性
 指標間に重複がなく、各指標は異なる側面を計測しているか？
例「リーダーシップ力」を測る指標をいくつかの学生調査のアンケート項目をもとに作成してみた。ところが、他に作っている「プレゼンテーション力」、「説得力」を示す項目と同じような項目が並び、その値もほぼ同じ様になっている。
 解決法
概念として、他の指標と区別が可能かどうか、ということをチェックすべき。指標は省力化のため、絞り込む。
18

他の構成概念との相関は？
リーダ
シップ力

プレゼン力

説得力

A君

５５５B君

３３３C君

２２２D君

４４３19

リーダー
シップ力プレゼン力

それぞれの指標は区別できるのか？

プレゼン力
リーダー
シップ力

20

説得力

説得力

区分

基準

目的との適合性
調査対象・結果への影響
信頼性
妥当性
理解可能性

包括性・非重複性

意思決定者への有用性
計測可能性
実用面 収集の適時性

21

説明

指標が、目的・計画の目的や目指す成果とその進捗を適切に反映しているか。
指標設定の結果、意図しない悪影響を及ぼすものではないか。
誰がいつ測定しても、同じ目的・計画からは同じ測定結果が得られるか。
指標の意味が、明確でわかりやすく、皆に誤解が生じないか。
目的・計画の重要な側面が、もらさず指標によってカバーされているか。
指標間に重複がなく、各指標は異なる側面を計測しているか。
指標が、執行部等の意思決定者に対して、有益な知見を提供してくれているか。
指標となるデータは収集可能か。
有用なタイミングで、指標の計測値は入手可能か。

データ収集のコスト

データを収集するための費用は大きすぎないか。

操作可能性

指標の計測値は、都合良く操作して変更可能なものではないか。

信頼性
 誰がいつ測定しても、同じ目的・計画からは同じ測定結果が得られるか。
 同一のデータを収集した場合に、同様の値が得られるかどうかという安定性、一貫性があるか
 測定の精度について十分であるか22

信頼性（つづき）
 部局や担当部署に同一のデータを再度要求しても、収集時にばらつきが生じたり、大きく異なるようなことのない測定法で得られているか。
 ばらつきを減らすため
指標が抽象的な場合には注意！


データの入力ミス等も気をつけよう！
23

データの定義や、特定の考え方や判断に依存してはいないだろうか。
チェックする体制はとられているだろうか。

信頼性が問題となる例
目的番号

目的評価質問指標

6-1-1-1

プログラムの概要
長期留学につなが短期派遣学生へのアン長期留学につながるようなプログラムの質・内るような短期プロケート
短期プログラムができてい容グラムができてい
教員向けのアンケート，るかる
ヒアリング

7-1協定校数が増える 協定校数が増えたか

7-1-2/7-2-2

見識の高さ（目的の国際交流関係のス
国際交流関係のスタッフの 理解，自学の現状把 スタッフ向けヒアリン
タッフの見識が高見識が高いか握，相手先校の状 グい況）

協定校数

データ入手手段

協定校リストTOEFL，TOEIC等の語アンケート、ヒアリング、テス
語学力
国際交流関係のス
学検定
国際交流関係のスタッフのコミュニケーション
タッフの技術が高独自の語学力テスト
技術が高いかト、評判などは、ちゃんと信頼力
い
協定校での評判できるように定められたものだ
ろうか？
24

区分

基準

目的との適合性
調査対象・結果への影響
信頼性
妥当性
理解可能性

包括性・非重複性

意思決定者への有用性
計測可能性
実用面 収集の適時性

25

説明

指標が、目的・計画の目的や目指す成果とその進捗を適切に反映しているか。
指標設定の結果、意図しない悪影響を及ぼすものではないか。
誰がいつ測定しても、同じ目的・計画からは同じ測定結果が得られるか。
指標の意味が、明確でわかりやすく、皆に誤解が生じないか。
目的・計画の重要な側面が、もらさず指標によってカバーされているか。
指標間に重複がなく、各指標は異なる側面を計測しているか。
指標が、執行部等の意思決定者に対して、有益な知見を提供してくれているか。
指標となるデータは収集可能か。
有用なタイミングで、指標の計測値は入手可能か。

データ収集のコスト

データを収集するための費用は大きすぎないか。

操作可能性

指標の計測値は、都合良く操作して変更可能なものではないか。

調査対象・結果への影響
 評価の意図に反する行動を誘発するものではないだ

ろうか。
 例 学生のリサイクルに対する協力度を測定するため、牛乳パックを持参した回数を指標として計測を行った。ところが、瓶ではなく牛乳パックを持参するためにパック入りの牛乳を頑張って飲む行動が促進されてしまった。
 例 ある都市では、学生の学力向上のため、学校ごとに学力テストの得点を測定することで、教育の効果の指標とすることとした。ところが、一部の学力の低い学生を欠席させる事態が生じた。
→指標を設定した結果として目的が置き換わってしま26
わないよう注意！

区分

基準

目的との適合性
調査対象・結果への影響
信頼性
妥当性
理解可能性

包括性・非重複性

意思決定者への有用性
計測可能性
実用面 収集の適時性

27

説明

指標が、目的・計画の目的や目指す成果とその進捗を適切に反映しているか。
指標設定の結果、意図しない悪影響を及ぼすものではないか。
誰がいつ測定しても、同じ目的・計画からは同じ測定結果が得られるか。
指標の意味が、明確でわかりやすく、皆に誤解が生じないか。
目的・計画の重要な側面が、もらさず指標によってカバーされているか。
指標間に重複がなく、各指標は異なる側面を計測しているか。
指標が、執行部等の意思決定者に対して、有益な知見を提供してくれているか。
指標となるデータは収集可能か。
有用なタイミングで、指標の計測値は入手可能か。

データ収集のコストデータを収集するための費用は大きすぎないか。

操作可能性

指標の計測値は、都合良く操作して変更可能なものではないか。

理解可能性 指標の意味が、明確でわかりやすいか、皆に誤解が生じないか。
 例 ある大学（仮想）では若手研究者支援のために、今年書いた論文数によって、研究費を配分する計画を立てた。

ところが、様々な分野の研究者から、A学部
では査読付き一流雑誌、B学部では査読無し紀要、C学部では学会抄録、異動前の他機関での業績など、様々なものが出てきて、これらを一緒にして合計し、論文数とすることに、不満の声が挙った。
→ 指標は誤解のないように、定義を明確に！
28

区分基準

目的との適合性
調査対象・結果への影響
信頼性
妥当性
理解可能性

包括性・非重複性

意思決定者への有用性
計測可能性
実用面 収集の適時性

29

説明

指標が、目的・計画の目的や目指す成果とその進捗を適切に反映しているか。
指標設定の結果、意図しない悪影響を及ぼすものではないか。
誰がいつ測定しても、同じ目的・計画からは同じ測定結果が得られるか。
指標の意味が、明確でわかりやすく、皆に誤解が生じないか。
目的・計画の重要な側面が、もらさず指標によってカバーされているか。
指標間に重複がなく、各指標は異なる側面を計測しているか。
指標が、執行部等の意思決定者に対して、有益な知見を提供してくれているか。
指標となるデータは収集可能か。
有用なタイミングで、指標の計測値は入手可能か。

データ収集のコスト

データを収集するための費用は大きすぎないか。

操作可能性

指標の計測値は、都合良く操作して変更可能なものではないか。

講義の構成1)

チェックリストの紹介
1)
2)
3)

30

チェックリストの背景にある考え方（妥当性）
チェックリストの説明
チェックリスト使用上の留意点

チェックリスト活用の留意点
 チェックリストでひとつクリアすれば、次の項目が気になってくるだろう。
 まずは気になったところから活用しよう。
最初から全てをカバーしようとしない。
 チェック項目を用いて確認作業をする際、なぜ、それがOKなのか、NGなのか理由を考える。
 その際、本PPや文献を活用すると理解がより深まってゆく。
31

参考文献
 Hatry& Newcomer (2004) ’Pitfalls of Evaluation’ IN

Handbook of Practical Program Evaluation 2nd Edition.
 Langbein (2012) Public Program Evaluation: A StatisticalGuide 2nd Edition,
 田中啓 (2014) 「自治体評価の戦略: 有効に機能させるための16の原則」,東洋経済新報社
 吉田寿夫 (1998) 「本当にわかりやすいすごく大切なことが書いてあるごく初歩の統計の本」,北大路書房.
32