資料４

指標デザイン後の確認事項
2014年2月7日『自己評価能力を高めるための目的・計画と指標の作り方』に関する研修会―ステップ３―

本講義の目的 評価にあたり、目的が達成されたかを確認するための評価質問に答えるためには、それを確認するための指標を設定する必要がある。
 指標を選んだ後に、それが妥当であるか、信用できるかを判断するための指針となる、チェックすべき留意点のようなものはないか？
1

データの類型化、分類を行うことによる先行研究
2

データ収集作業のガイドライン(大学評価担当者集会、2011, 第１分科会まとめ資料、嶌田他)
 データ収集の目的とデータ定義を明確にすることでの、データの類型化
A：学外からフォーマットが示され必ず提出することが求められているデータ
B：業務上必要なデータ
B1：自分で持っていないデータ（認証評価や法人評価などの評価作業で必要だが評価セクションでは保有していないので各部局に依頼して収集するデータ）、
B2：教員総覧など評価セクションにおいてデータベースで管理しているデータ
B3：評価セクションで所有しているデータ（さすがにこれは大丈夫だと思われるので、ここでは言及しない。）
3

現状
 ある程度の経験のある人たちが集まってWGを立ち上げ、学内で収集できるか、その負担はどうかという可能性や、指標としての妥当性を考慮しながら、経験を基に、時間をかけて議論して定めているようだ。
→その作業は手探りで行うしかないのか？
4本日の試み 評価設問から、機械的に指標が導けないとしても、少しは指標が測定したい対象を適切にあらわしているかを判断するための、チェックするための指針はあるのではないか？
 統計の基礎的な知識をもとに整理して考えて、皆さんと共有してみよう。
 キーワード
5

尺度水準、妥当性、信頼性

構成
1)

数量化は意外と簡単？-その落とし穴1)2)

指標のチェックポイント
1)

2)

3)

6

その数量化、本当に大丈夫？（尺度）
その指標は、その計画を測るのに適切なものでしょうか？（妥当性）
その指標は、正確ですか、信用できますか？
（信頼性）

まとめ

1) 数量化は意外と簡単？（尺度） 指標というと、なんらかの数量化がイメージされる。
 しかし、その際には適切な数量化がなされてないと、意味の無いデータとなる。
 例えば、データ入力で、男性を１、女性を２、と割り当てる場合も数量化していると考えられる。
しかし、参加者数で平均して、「1.5になりました」という場合になにか意味があるだろうか。
 県別のデータで神奈川県が１、東京２、埼玉３、などの場合には？
 普通１、急行２、特急３、快特４、エアポート快特５、では？
7

尺度（尺度水準）とは？
 対象となる事象の差異が、どの程度まで表現されるかを、いくつかの水準に分けて分類したもの。
 どのような尺度によって測定されたかは、その後どのような分析が適用可能であるかに影響する。
 データの持つ情報量の多い順に、比率尺度、間隔尺度、順序尺度、名義尺度、に分類される。(Stevens, S. S. , 1946)8様々な尺度のデータ例（吉田, 1998）
少 名義尺度のデータ:
質的データ性、血液型、出身地、支持政党

 順序尺度のデータ:
情報
量

優・良・可・不可で表される成績、会社における職階、段階尺度によって測定される態度や感情

 間隔尺度のデータ:
摂氏の温度 比率尺度のデータ:
多9

時間（速さ）、長さ、重さ、頻度、人数、絶対温度

量的データ

尺度を考える意味 分析に際し、収集したデータの持つ情報量を意識しておくと、その後の分析へと繋げ易い。

10

構成1)

数量化は意外と簡単？-その落とし穴1)2)

指標のチェックポイント
1)

2)

3)

11

その数量化、本当に大丈夫？（尺度）
その指標は、その計画を測るのに適切なものでしょうか？（妥当性）
その指標は、正確ですか、信用できますか？
（信頼性）

まとめ

妥当性(validity)とは？
 測定したデータがどの程度測りたい内容を的確に捉えているか。
 信頼性が高いデータが得られたとしても、指標が測定したい内容を、適切に捉えていなければ意味が無い。

12

妥当性が問題となる例（ODAでの指標）
 途上国の貧困農村の所得の向上度をどのように測るか？
 持っている家畜の数で考える。
 どの家畜が適切か？

13

高い

持っている頻度差異を測る感度が、もっとも高いものを考える！

低い
14

高い

金額

低い

妥当性が問題となる例
 学生の自習室を作り、教育改革を図った。

・・・教育改革を測定するものとして、自習室の有無や規模が妥当であろうか？

15

妥当性を考える（その１） K大学の中期計画と、導出された指標（抜粋） 指標が偏ってはいないか、必要なものは網羅されているか？
 現場で起こっていることと、指標の間に乖離が無いか？

16→現場に精通している教員、職員らでチェックする体制を作ることで解決。

妥当性を考える（その２） 他の構成概念を示す指標との相関は高すぎないか？
例「リーダーシップ力」を測る指標をいくつかの学生調査のアンケート項目をもとに作成してみた。ところが、他に作っている「プレゼンテーション力」、「説得力」を示す項目と同じような項目が並び、その値もほぼ同じ様になっている。
 解決法
概念として、きちんと他の指標から弁別が可能かどうか、ということをチェックすべき。
17

リーダー
シップ力

説得力

プレゼン力

それぞれの指標は区別できるのか？

説得力

プレゼン力
リーダー
シップ力

説得力

リーダーシップ力
プレゼン
力

18

妥当性を考える（その２続き）


特徴を表すことは、他との違いが明らかであること。
違いは、数値や意味概念でも表すことが出来る。


数値の場合は、対象の差異を表すことができる区分を適切に設定しよう。


意味概念の場合は、それを明確に説明できるものを選択する必要がある。
19（例 TOEIC 500, 510点で、差があると言えるだろうか？）（例 コミュニケーション力と説得力では、差があるといえるだろうか。）

構成1)

数量化は意外と簡単？-その落とし穴1)2)

指標のチェックポイント
1)

2)

3)

20

その数量化、本当に大丈夫？（尺度）
その指標は、その計画を測るのに適切なものでしょうか？（妥当性）
その指標は、正確ですか、信用できますか？
（信頼性）

まとめ

信頼性(reliability)とは？
 収集したデータが正確で安定したものであるかどうか 再び同一のデータを収集した場合に、同様の値が得られるかどうかという安定性、一貫性があるか
 測定の精度について十分であるか21

大学評価からみた指標の信頼性
 部局や担当部署に同一のデータを再度要求しても、収集時にばらつきが生じたり、大きく異なるようなことのない測定法で得られているか。
 ばらつきを減らすため


指標が抽象的な場合には注意！


データの入力ミス等も気をつけよう！
22

データの定義や、特定の考え方や判断に依存してはいないだろうか。
チェックする体制はとられているだろうか。

信頼性が問題となる例

誰が、どのように有無、質、内容を判断しているのだろうか？

23

まとめ
 その指標は、その計画を測るのに適切なものでしょうか？
 その指標は、正確ですか、信用できますか？
 その数量化は、指標の持つ情報を適切に表していますか？

24

参考文献
 嶌田敏行他 (2013) , 「データ収集作業のガイドライン -効率的・効果的な評価作業のためのデータ収集の課題と対応-」, 大学評
価担当者集会2011第一分科会まとめ.
 S. S. Stevens (1946), “On the Theory of Scales ofMeasurement”, Science 103 (2684): 677-680.
 吉田寿夫 (1998), 「本当にわかりやすいすごく大切なことが書いてあるごく初歩の統計の本」,北大路書房.
25