事業・プログラムの内部質保証力向上支援ツール

大学内部質保証力向上プロジェクト（独）大学評価・学位授与機構

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁

1

全体構成
パート１ イントロダクション
1.
問題提起
2.
問題解決策の模索
3.
本ツールの使い方
パート2 目的・計画のつくりかた
1.
課題分析から目的・計画へ
2.
大学への適用例
パート3 指標デザインのしかた
1.
目的体系図からロジックモデルへ
2.
指標の設定（評価設問シート）
パート4 効果的・効率的な評価体制へ
1.
評価方法の決定

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁

2

パート１

イントロダクション

1.問題提起2.問題解決の模索
3.本ツールの使い方

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁3

1. 問題提起（1）評価なのに、なぜ目的・計画なのか
反映

目的・計画Ａ

Ｐ
目的と計画は、何を根拠に作ったのか？

実行の仕方はどうだったのか？

評価実施

ＣＤ

大学評価担当者集会2012（9月6日）

何を実行しようとしていたのか？

©YayoiTanaka 無断転用禁4

1. 問題提起（2）内部質保証力の問題
技術の問題

運営の問題
Ｊ目的・計画に関する合意形成が不十分
評価目的の合意形
成不十分

曖昧・
抽象的・測定不可能

目的
分断

計画

評価作業の協力体
制不十分

データがない投入量（資金、人材、能力）が少なすぎる

評価対象（プログラム）が評価を行える体制が整っていない＝ 「評価可能性の問題」
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁5

2. 問題解決策の模索（1）～ 米国の評価研究から～
Evaluability Assessmentとは• 米国政策評価分野で、1970年代に、JosephWholeyが開発した評価力向上支援ツール• 目的や計画の体系性、実行可能性を事後評
価を行う前の段階で、チェックし、必要であれば改善を加え、目的と計画の質を高める。同時に、評価に必要な情報を整理し、評価をより効率的に行うための体制を整えるための手法• 「Evaluability」は、造語
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁6

2. 問題解決策の模索（2）～日本版評価力支援ツール～
ポイント• 目的と計画の作り方から始める（米国は所与として捉えている）。
• 目的作成から入るのではなく、問題分析からはじめる。
• 目的を体系図にして、構造化、可視化する。
• 計画は、目的達成の手段と位置づける。
• 指標（定量・定性）は、出来合いのものを探すのではなく、デザインするという発想に転換する。
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁7

3. 本ツールの使い方
評価対象：国立・公立（年度計画）、私立（中期計画・年度計画）
学部横断的なプロジェクト
y 目的計画の作り方（パート２）

Who:評価担当者、マネジメント、教員
y 指標デザインの仕方（パート３）

Who:評価担当者、IRや情報分析担当者
y 評価方法の決定（パート４）

Who:評価担当者、マネジメント、事業担当者

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁

8

パート２

目的・計画の作り方

1.参加者分析
2.問題分析
3.目的分析
4.プロジェクト・アプローチ
5.大学への適用例
Who:
評価担当者、マネジメント、教員
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁91.参加者分析①参加者分析とは• 最初に援助の対象となる地域に住む人々、グループ、組織などを分析し、彼らの状態や特徴を把握し、誰のためにプロジェクトを実施するのかを決定すること。
対立する利害を持つ複数のグループが混在したり、開発に反対する可能性のあるグループが存在するかもしれない。そこで、プロジェクト計画の初期段階で「社会要因分析」を行うことで問題の核心に近づく。
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁10

1. 参加者分析②参加者分析の方法

1. 想定される援助プロジェクトとかかわりのあるすべての個人、グループ、団体、組織をカードに書き出す。
2. 書き出されたカードを類別する。
3. プロジェクトにとって重要と思われるグループを複数選択する。
4. 各グループの特徴を分析する。
5. ターゲット・グループを決定する。

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁11

1. 参加者分析③参加者分析の種別例

プロジェクトの便益を受けるグループ（beneficiaries）
z プロジェクトによりマイナスの影響を受けるグループ（negatively affected groups）
z 物事を決定できるグループ（decision makers）
z 財政負担をするグループ（funding agencies）
z プロジェクトを実施するグループ(implementingagencies)z 地域を代表するグループ（community leaders）
z 潜在的反対者（potential opponents）
z プロジェクトに協力するグループ（supporting groups）
z

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁12

参加者分析の例

配布資料

受益者

潜在的反対者

実施者

決定者

財政負担者

執行部

教員

教員執行部大学・・・

教務員

部局長

文科省

教員
学生

学振・・・・・・
13

2. 問題分析①問題分析とは• 入手可能な情報を基にして、対象地域・分野に現存する問題の【原因－結果】関係を論理的に整理し、わかり易いよう系図の形で視覚的に提示する作業。

中心問題の設定をし、原因と結果を考えながら、系図を上下に発展させる。
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁14

2. 問題分析②問題カードの書き方
1.

理論的に考え得る問題ではなく、現存する問題を書く。

2.

一枚のカードに、一つの問題を書く。

3.

問題は、否定的な状態で表現する。

4.

「何々が（解決策が）無い」という表現はできるだけ避け、「無いが為に起こった」状況を書く。
病院が無い

5.

近代的な治療を受けられない

不適
適同じカードに、原因と結果が共存しないように注意する。
技術が未熟で整備状況が悪い技術が未熟である

不適

適

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁152. 問題分析③簡単な問題系図の例
バス会社の信用が落ちる

乗客が死傷する

運転手のマナーが悪い

バスが古い

バスが延着する

頻繁にバス事故が起こる（中心問題）

バスの状態が悪い

道路の状態が良くない

整備状況が悪い

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁16

3. 目的分析①目的分析とは• 問題が解決されたときの望ましい状態とそれを導くための手段の【手段―目的】関係を明らかにし、問題分析と同じく系図の形で整理する作業である。
目的系図の作成は、問題系図の基に【原因―結果】関係を【手段―目的】関係の肯定的表現に作り直すことを通じて行う。
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁173. 目的分析
問題系図をリバースする②簡単な目的系図の例
バス会社の信用が高まる

乗客の死傷が減少する

乗客は概ね予定通りに到着できる

バスの事故数が減少する

運転手が注意深く運転する

バスが良好な状態に保たれる

道路の状態が改善される

運転手の訓練が行われる

古いバスは定期的に更新される

定期点検と整備が行われる

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁18

4. プロジェクト・アプローチ①プロジェクト・アプローチとは• 目的分析から得られる情報を基に、援助の実行可能性を確認し、具体的なプロジェクトの戦略を選択する作業である。
1.

目的系図の中で、「改善された未来の状態」を実現するためのアプローチを複数確認し、それぞれを構成するカードのグループを線で囲む。

2.

プロジェクトとして、実施が困難と考えられるアプローチや、他のプロジェクトがすでに実施しているアプローチを削除する。

3.

選択基準に照らし合わせて、各アプローチを比較検討する。

4.

プロジェクトに取り入れるアプローチと内容を選定する。
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁19

4. プロジェクト・アプローチ②簡単なプロジェクト・アプローチの例
バス会社の信用が高まる
乗客の死傷が減少する

乗客は概ね予定通りに到着できるバスの事故数が減少する●道路の改善アプローチ

運転手が注意深く運転する

バスが良好な状態に保たれる

道路の状態が改善される

運転手の訓練が行われる

古いバスは定期的に更新される

定期点検と整備が行われる●運転手の訓練●車両の改善アプローチ
アプローチ
大学評価担当者集会2012（9月6日） ©YayoiTanaka 無断転用禁20

5. 大学への適用①大学教養課程の問題系図（簡易版）
学生が適正に専門課程に進学しない学生が、専門と基礎的な学科をバランス良く履修しない中心問題

体系的に履修されていない

カリキュラムの構造化がはかられていない

進学振り分け制度が機能していない

入学者の１割程度が「留年」や「降年」する

自立的な学習支援環境が整っていない

学生が自立的に学習しない過剰履修を解決できていない

学生が必要とされる基礎学力をもたない

学生の適性にあった進学が実現していない

一元的な成績
一発勝負による尺度による序列
投機性が高い化の弊害がある

ゆとり教育の影響を受けている

学生の志望を充分に活かせていない

進学先の自由度が狭い

学力不足に大学が対応していない

教員が教養課程の目的に沿って教育していない

学内運営システムが機能しない

学生が十分に学習時間をもたない

学生が学部や専門性に関係なく、点数の取り易い授業を履修する

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁21

5. 大学への適用②大学教養課程の目的系図（簡易版）
学生が適正に専門課程に進学する学生が、専門と基礎的な学科をバランス良く履修する

中心目的

体系的に履修されている

カリキュラムの構造化がはかられている

進学振り分け制度が機能している入学者の１割程度が「留年」や「降年」しない過剰履修を解決できる

学生の適性にあった進学が実現する

一元的な成績尺度による序列 一発勝負による投機性が低い化の弊害がな
い

学生の志望を充分に活かせる

進学先の自由度が広い学生が学部や専門性に関係なく、点数の取り易い授業を履修しない自立的な学習支援環境が整っている

学生が自立的に学習する学生が必要とされる基礎学力をもつ

学力不足に大学が対応する

教員が教養課程の目的に沿って教育している

学内運営システムが機能する

学生が十分に学習時間をもつ

ゆとり教育の影響を受けている

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁22

5. 大学への適用③大学教養課程のプロジェクト・アプローチ
学生が適正に専門課程に進学する学生が、専門と基礎的な学科をバランス良く履修する

中心目的

体系的に履修されている

カリキュラムの構造化がはかられている

進学振り分け制度が機能している入学者の１割程度が「留年」や「降年」しない学生の適性にあった進学が実現する

一元的な成績尺度による序列化の弊
害がない

学生の志望を充分に活かせる

進学先の自由度が広い

２段階で評価する教員の成績の付け方を厳格にする・優を３割以下にする・GPA（相対評価）にする

自立的な学習支援環境が整っている

学生が自立的に学習する

過剰履修を解決できる学生が必要とされる基礎学力をもつ

学力不足に大学が対応する学生が十分に学習時間をもつ教員が教養課程の目的に沿って教育している

学内運営システムが機能する

必要な人材を量的に得ている教員の資質向上をはかるFDなど一発勝負による投機性が低い学生が学部や専
門性に関係なく、点数の取り易い授業を履修しない

ゆとり教育の影響を受けている

全科類枠の導入

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁

23

パート３

指標デザインのしかた

1.目的体系図からロジックモデルへ
2.指標の設定（評価設問シート）
Who:
評価担当者、IRや情報分析担当者＊指標の種類、データ処理・分析の基本は「EA報告書」（大学評価・学位授与機構）
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁241.

目的系図からロジックモデルへ（1）考え方y 目的系図は「手段-目的」の関係で、体系図が描かれている。
y これに、プロセス（時系列）の観点を入れる。
y インプット⇒アクション⇒アウトプット⇒
アウトカム（短期）⇒アウトカム（中長期）
y これに、目的系図の各目的を移してゆく。
＊系図の各目的に枝番をふっておく。
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁251.

目的系図からロジックモデルへ（2）枝番の振り方
大学教養課程のプロジェクト・アプローチ
学生が適正に専門課程に進学する学生が、専門と基礎的な学科をバランス良く履修する

中心目的

体系的に履修されている

カリキュラムの構造化がはかられている

進学振り分け制度が機能している入学者の１割程度が「留年」や「降年」しない学生の適性にあった進学が実現する

画一的な成績尺度による序列化の弊
害がない

学生の志望を充分に活かせる

進学先の自由度が広い

２段階で審査する

1-1-11

教員の成績の付け方を厳格にする
・優を３割以下にする・GPA（相対評価）にする

1-1-12

自立的な学習支援環境が整っている

学生が自立的に学習する

過剰履修を解決できる学生が必要とされる基礎学力をもつ

学力不足に大学が対応する

一発勝負による投機性が低い
学生が学部や専門性に関係なく、点数の取り易い授業を履修しな
い

1-5-7

学生が十分に学習時間をもつ

ゆとり教育の影響を受けている教員が教養課程の目的に沿って教育している

学内運営システムが機能する

必要な人材を量的に得ている教員の資質向上をはかるFDなど

1-4-1

1-6-6

全科類枠の導入

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁

26

1.

目的系図からロジックモデルへ（3）教養課程ロジックモデル例

インプット

アクション

アウトプットマネジメント組織
1-6-4
教養部から専門学部への進級
振り分け体制を整える
1-6-6
教養教育開発機構
教員の資質向上（FD、授業評価）

1-5-7
学生が自立的に学習する環境をつくる

アウトカム（中長期）

アウトカム（中長期）ルールに基づき適正に成績評価が行われる

1-1-12
教員の成績の付け方を厳格にする
・優を3割以下にする・GPA（相対評価）を導入
1-1-11
２段階審査の検討（新たな進級評価制度の検討）

学習環境

アウトカム（短期）

周知・実行された
GPA

1-1-6
画一的な尺度による成績序列化の弊
害がない

進学振り分け制度が適正に機能する

1-1-5
学生の適性にあった進級が実現している

２段階評価の導入（新制度の導入）

自らの意思で進学先を選択する。

1-1-7
アンフェアな行為がない

教員
1-4-1
必要な人材を量的に得ている
1-4-3
教員が教育目的を理解して講義にのぞんでいる(能動的学習など)

プロジェクト・アプローチを元に、進学振り分けシステムの目的を達成するためのシナリオを可視化し、ロジック・モデルを作る。
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁27

2. 指標の設定（1）ロジックモデルから評価設問表、指標へ
y 評価設問表を作成する（下表）。
y 「評価設問」欄に、目的の文章の末尾を「〇〇できたか」という疑問形にしたものを記入する
y 「指標」欄に、評価設問に答えるためには、何を確認したらよいのかを示す目安を記す。
（目的が細分化され、評価設問もシンプルになり「指標」の見当が付きやすくなる。）
ロジックモデル

インプット

目的番号 評価設問*1-6-4

指標

前期運営委員会は進学振り分けが適正に機能・委員会議事状況するように運営を行った・不正処理件数
か*●ｰ●ｰ●。。。。。。

データ入手手段

運営委員会議事録。。。。

アクション
アウトカム

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁28

2. 指標の設定（1）ロジックモデルから評価設問表、
指標へ
y 「データ入手手段」欄には、指標に対応するデータがどこにあるのか、あるいはどのように入手しうるのかを示す。
（事前に必要なデータの所在を確認できるので、評価の時になってあわてなくてもすむ。）
y ロジック・モデルの各目的を評価設問表に移す。
y １目的に１行が対応する。

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁29

2. 指標の設定（2）評価設問表（例）教養課程
ロジックモデル
インプット

アクション

アウトカム

進学制度健全化事業

目的番号 評価設問*1-6-4

指標

データ入手手段

前期運営委員会は進級・委員会議事状況
振り分けが体制を整えた
・体制の改善点とそかの内容*●ｰ●ｰ●。。。。。。
成績の付け方を厳格化が示されたか〔ガイドラ*1-1-12
イン）・優を3割以下にする・GPA（相対評価）にする

運営委員会議事録。。。。
GPA,優比率を示した
教員向けガイド

ガイドライン

ガイドラインを適切に理解している教員
アンケート
比率

*1-1-12

教員へ周知されているか*1-1-7

アンフェアな行為の進級振り分けにあたりア
件数
ンフェアな行為は起こっ（減少率）ていないか

大学教育センター
データ

ロジック・モデルにおいて横に並べられていた各コラムを、縦に並べかえる。
目的系図に符号をふる。設問表に符号、目的を転記するが、目的は設問の表現にかえる。
設問に回答するのに適当な指標を選ぶ。
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁30

パート４

1.

効果的・効率的な評価体制へ

評価方法の決定Who:
評価担当者、マネジメント、事業担当者

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁31

1. 評価方法の決定
評価目的と対象についての合意形成① 主要なステイクホルダーを定める。
② 主要なステイクホルダー間で、目的系図を共有・確認する。
③ 目的系図を参考に、評価によって何を知りたいのかを決める。（評価の目的）④ 評価目的に基づき、Evaluation Questionを定める。
（この評価で何を知りたいのか）⑤ 目的系図を参考に、評価目的を達成するために、どの部分を評価するのかを定める。（評価対象）⑥ 最適な評価種類、分析方法を決める。
⑦ 評価結果の活用方法を決める。
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁

32

参考資料

1.

ツールの使い方（詳細）2.

各種評価手法の概念と整理

大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁33

1. ツールの使い方（詳細）パート２

目的・計画のつくりかた

対象

国立・公立（年度計画）、私立（中期計画・年度計画）

単位

学部・学科レベル（大学全体の場合は密度を薄くする）、学部・学科横断的な事業やプログラム担当

評価担当者と理事がコーディネート、教員、教務員

時間

教員、教務員への負担は２時間ｘ２回程度（まとめ作業は評価担当者が担う）

パート３

指標デザインのしかた

対象

国立・公立（年度計画）、私立（中期計画・年度計画）

単位

学部・学科レベル（大学全体の場合は密度を薄くする）、学部・学科横断的な事業やプログラム

担当

IR担当者、評価担当者（データ収集には部局の協力不可欠）時間

ロジック・モデル、指標デザイン：２-４時間、データ収集は定常業務

参考

指標解釈、データ分析・まとめの基礎は『大学の質保証力向上のための理論と実践』（大学評価・学位授与機構）pp103-120参照

パート４

効果的・効率的な評価体制へ

担当

意思決定者、評価対象となる関係者、評価・IR担当者

時間

２時間ｘ２回（評価・IR担当者が提案）
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁34

2. 各種評価手法の概念と整理
目的
判断：「総括評価」

Ｅｖａｌｕａｔｉｏｎ
改善：「形成評価」

Audit

Accreditation

対象

タイミング

評価者

プログラム：「プログラム評価」

実施前：「事前評価」

第３者「独立評価」「外部評価」「第３者評価」

事業「事業評価」

実施段階：「中間評価」

事業担当者「内部評価」

事後段階：「事後評価」

受益者の参加「参加型評価」

監査
会計監査
業務監査組織「認証評価」、「行動倫理規定」
大学評価担当者集会2012（9月6日）©YayoiTanaka 無断転用禁35