本⽇の構成• 現在のIRを取り巻く状況の整理• ⽬的の再確認• 全学としてのIRの⽴ち位置の検討• どのように具体的な⾏動に結びつけるか• まとめ

国⽴⼤学における教育に関するIRの実践―千葉⼤学の事例を中⼼に―
岡⽥聡志
千葉⼤学⾼等教育研究機構
2017年度第4回千葉⼤学アカデミック・リンク・セミナー
ALPSセミナー
平成29年度千葉⼤学全学FD研修会
2018年1⽉30⽇（⽕）14:00-16:00
於︓千葉⼤学ALC
12

内部質保証と評価の効率化

⽇本におけるIRの条件的制約• 機関別認証評価第3サイクルにおける内部質保証の機能的有効性の強調• 内部質保証• 中間組織の脆弱性• 中央で⼀元管理する機関も無く、共通の学問レベルの基準も無い中で、アメリカの⾼等教育を⼀つのシステムにするのは、無数のあらゆる種類の団体（例えば、学問分野別、機関の種類ごと、職業団体、運営者団体など）の、命令ではなく説得のための、議論と話し合いの継続によるものである。（トロウ訳書2000）→ 「タテの統制が強いため、ヨコの連携が育たない」「親睦団体的性格が強い」（天野2008）• ⼤学⽀援組織、中間団体の役割の重要性（⽻⽥2008、⾦⼦2012など）• 学⼠課程答申（2008）における⼤学団体の役割への⾔及「PDCAサイクル等の⽅法を適切に機能させることによって、質の向上を図り、教育・学習その他のサービスが⼀定⽔準にあることを⼤学⾃らの責任で説明・証明していく学内の恒常的・継続的プロセス」(⼤学基準協会『⼤学評価ハンドブック』）「⼤学が⾃律的な組織として、その使命や⽬的を実現するために、⾃らが⾏う教育及び研究、組織及び運営、ならびに施設及び設備の状況について継続的に点検・評価し、質の保証を⾏うとともに、絶えず改善・向上に取り組むこと」（⼤学改⾰⽀援・学位授与機構、2017）• 「教育プログラム」の第⼀義的重要性と分野別評価の導⼊• ⽇本学術会議（2010）「⼤学教育の分野別質保証の在り⽅について」• JABEE、法科⼤学院認証評価、JABPE、JACME、⽇本看護学教育評価機構（仮）など• 海外での機関別認証評価の負担軽減と軽量化• 専⾨職と専⾨職団体の不在• 職能開発や同業者規制、⾃⼰規律のための倫理綱領策定などの課題（⽻⽥2008、2012）• アメリカの連邦教育省によるリスクベースアプローチの奨励とテーマ評価パスウェイ• ドイツ、スペイン、オランダ、ベルギーなど

34

事例︓⼊試の予測的妥当性の検証①

事例︓⼊試の予測的妥当性の検証②• 理由をどう設定するか︖• 医学教育分野別評価基準 ver.2.2.
医学部は、以下の項⽬に関して、学⽣と卒業⽣の実績を分析するべきである。
背景と状況（Q7.3.1）、⼊学時成績（Q7.3.2）• 選抜効果の問題
補正相関係数の例
︓受験者全員の⼊試成績の分散に対する合格者全員の⼊試成績の分散の⽐• 分析枠組みや変数をどう設定するか︖• ⼊試に関する変数は、⼊試区分か、⼊試得点か、選択科⽬か。
• 予測の基準は、初年度GPAか、卒業時の累積GPAか、国家試験得点か、進路選択か。
• 得点を採⽤する場合、選抜効果にどう対応するか。
• 解釈をどうするか︖• ⼊試と卒業の関連性は、単なるスクリーニング仮説に陥らないか︖• 相関係数の⽬安をどう設定するか︖
選抜効果の例（中畝︓2013）※但し、選抜前が正で、選抜後の相関が負である場合、補正公式は存在しない。
→ 特に選抜性（競争率）の⾼い学部で、この問題が顕在化しやすい。
→ 相関係数なので、外れ値の影響も受けやすく、数値での議論は難しい
ex. 0.5だったらどうか、0.6だったらどうか、など。

5

事例︓⼊試の予測的妥当性の検証③

6

教育に関するIR担当者の悩みの⼀例• 海外ではどのように対応しているのか︖• NACAC（National Association for College Admission Counseling）の調査（2016）• 調査回答機関のうち半数が⼊試の妥当性の検討を⾏っており、主にIRが担当している。
• 機関独⾃の実施が⼤半（約8割）であるが、分析枠組みは多くが、College BoardのACESを参照。
• ACES（Admitted Class Evaluation Service）• アメリカの⼤学⼊試で利⽤される標準テストであるSATなどを開発・実施するCollege
Boardが提供する無料の⼊試データ分析サービス。
• ACESを通じて、各機関がデータ共有を⾏うことで、社会保障番号と紐づけられ、その分析結果が約1か⽉後に提供される。
• データ共有は、「家族教育権とプライバシー法」（FERPA︓Family Educational Rightsand Privacy Act）に基づくもので、試験の開発・妥当化・管理運営、学⽣⽀援プログラムの管理運営、教育改善などの⽬的において、同意なしの情報開⽰が認められている。
• 基準として採⽤されているのは「⼤学の初年次GPA」「SATの得点（領域別）」「⾼校内順位」「優等課程やアドバンスト・プレースメント科⽬の履修数」など。
7

それって効果じゃなくてシグナリングなんじゃない︖
現場の問題意識ってどこらへんにあるの︖
そもそもあるの︖「学修成果」を「測定」「可視化」って⾔われてもなぁ。

教育効果といっても誤差や交絡する変数が多すぎるよなぁ。

学会レベルの批判をされても「研究」じゃないしなぁ。
そもそも信頼できる教育研究のエビデンスってあるの︖
ここまで⾔うと論理の⾶躍じゃない︖「改善」「向上」ってなんだ︖

8

「教育」から分離した「学修成果」の「測定」の難しさ

客観評価と⾃⼰評価のずれ• 「学修」への特定化の困難。
• 学⽣個⼈の⽬的意識の違いなど。

• ダニング＝クルーガー効果• 能⼒の低い個⼈ほど、⾃分の能⼒を実際よりも⾼く評価してしまう認
知バイアス。優越性の錯覚。

• 「学修」によって⾝に付けた資質・能⼒はどのように、どの程度維持されるか。
• 1年次の「学修」は卒業時どうか。
• ⾃⼰評価の多義性。
• ⾃⼰評価のメカニズムと解釈の複雑さ• ダニング＝クルーガー効果• Gold Standardの不在と相関の解釈の難しさ• 進路情報（進学・就職等）は、能⼒の関係を保証しない。
• 国家試験は必ずしも資質・能⼒を保証しない。
• 標準テストも広範な資質・能⼒の測定は困難。

⽂法の能⼒• 基本は個別の成績評価

論理的推論の能⼒

Kruger & Dunning（1999） Figure 3, 4より910

内部質保証システムの全体像「何のためのIRなのか」の再検討• ⼤学における教育の質に対する懐疑• 3つのポリシーの設定の義務化（2017年度〜）⇒ ⽬標設定された資質・能⼒が、どのような教育・学習によって獲得されるかは、不透明であり、ある種の期待に基づいて⾏われる。
⇒ ⽬標中⼼主義による「⽬標つぶし」の教育の危険性⇒ ブラックボックスとして授業（教育⽬標との対応関係、教育内容、教育⽅法、教育評価の適切性など）⇒ “teaching”から”learning”へ

どのようにすれば外側からのチェックは可能か。
教職員や学⽣個々⼈の⾏動が変化しなければ意味がないのではないか。
そこに共通理解はあるか。

⼤学改⾰⽀援・学位授与機構（2017）「教育の内部質保証に関するガイドライン」
1112

教育プログラムにフィットするデータの必要性①

教育プログラムにフィットするデータの必要性②• 医学教育を例にすると、• 医学教育分野別評価の国際的基準から⾒た課題（奈良2017）• 評価基準の粒度• 医学教育に関しては、分野別評価基準が細かく、かつ踏み込んだ内容。
• 専⾨分野固有の課題やトレンド• モデル・コア・カリキュラム、OBE（Outcome-Based Education）、EPAs（Entrustable Professional Activities）、⼊試におけるMMI（Multiple MiniInterview）、CCにおけるWBA（Workplace-Based Assessment）、など• 教育実践との距離• 実践上の課題を反映したデータ収集や分析が中⼼となる。
• 卒後とのつながり• 卒後の研修や⽣涯学習を含めた医師像への連続性と⼀貫性という視点の分析。
• 取り扱うデータの範囲• 共⽤試験やOSCE、Post-CC OSCE、国家試験など• IRが取り扱うデータのサイズの⼩ささ• サンプルサイズが⼩さくなるので、それに対応した分析や解釈の必要性。

1.
2.
3.
4.
5.
6.
7.

アウトカム基盤型教育が⼗分に浸透していない
統合型教育（⽔平、垂直）が実質化されていない
体系⽴てられた⾏動科学教育が不⼗分である
診療参加型臨床実習が⼗分でない形成的評価が⼗分でない
能動的学修が活発でない
教育プログラムが定期的に評価を受けていない（PDCAサイクルが実質的に機能していない）
この種の問題は、全学からの視点では捉えにくい。
ボトムアップである必要性。

13

アメリカにおけるIRの設置類型（Volkwein, 2008）
相対的に未発達・分散的

全学IRはどのように関わるか• 千葉⼤学における全学としての教育に関するIRの活動• 「千葉⼤学における教育IRの基本的考え⽅」（2015年3⽉）• 定期的に実施する活動• GPCA、学修時間、アクティブ・ラーニング経験のモニタリング• ⼊試と成績、成績と進路の関係性• 当該年度に焦点化して取り組む課題についての活動• 満⾜度に関する分析• 奨学⾦と成績、図書館利⽤と学業成績の関係に関する分析• 就職先の企業属性と学業成績の関係の分析（試⾏）• 各部局からの要望に基づく活動• ⼊試についての選択科⽬や基準設定に関する分析• GPCAのより詳細な分析

相対的に発達・集権的

相対的に規模⼩職⼈的構造・5000⼈以下の機関に多い
Ex: Oberlin Coll, Norwich U,
Kellogg CC

アドホクラシー型
・北東部のIRの30%以上
Ex: Seattle U, Lincoln U,Illinosi Coll

相対的に規模⼤分散組織型・研究⼤学に多い
Ex: UC Berkeley, Penn State,Harvard, Yale

専⾨職的官僚制
・4⼈以上の専⾨職
Ex: U Penn, SUNY, Cal Poly

141516

どのように教育プログラムにコミットするか

GPCAの場合• データ収集• 教育プログラム独⾃の関⼼や視点が含まれるように対応（分岐の設定）。
• 全体最適の観点から、効率的にデータ収集ができるように。
• 分析結果の報告• できるだけ多様なアクターに報告・周知、意⾒交換。
• 対執⾏部• ⼤学運営会議• 対教職員• 全学FD、部局FD• ALPSセミナー、• 部局訪問（各部局の教育担当責任者との意⾒交換）• 対学⽣• あかりんアワー• 学⽣との懇談会• その他利害関係者• 千葉県⾼等学校⻑協会連絡会議など• GPCA︓Grade Point Class Average• 成績評価の科⽬内平均値 ⇒ 成績評価の偏りの⽬安• 想定される偏りの理由• 受講者数の規模（極端に⼩さい）• 受講者の特性（学習のレディネス、事前の学⼒等）• 受講者間の相互作⽤• 授業形態（講義、演習、実験、実習等）• 履修形態（必修・選択）• ⽬標設定の不適切性• 教育内容と評価⽅法の⾮対応性

⼀律な基準の設定は、個別の教員の評価⾏動を歪める危険性がある。

教育⽅法や教育評価の⾒直しにつながらない。
相対評価の導⼊に流れる︖

⼗分な理由の把握が必要。
果たしてそれがどのように可能か。

1718

学修時間の場合まとめ• アメリカやイギリスと⽐べて学習時間が短い• NSSE2017︓カーネギー分類R1の⼤学の場合＝15.6時間/週• HEA-HEPI2017︓Russell Groupの場合＝16.1時間/週→授業時間よりも授業外学習時間の⽅が⻑い• 教育IRとして提⽰したデータ• 学習時間の状況（部局別、学年別）• 前年度の学習時間と当該年度の学習時間の関係• 予習・復習の指⽰や宿題のあった授業の割合（アンケートベース）• アクティブ・ラーニングと学習時間の関係• 提案
1）予習・復習、課題の指⽰、2）シラバスへの記載の徹底
3）課題と連動するアクティブ・ラーニングの導⼊• 教育プログラムの改善のためにIRはなにができるか• 問題意識の明確化• 内的動機づけの重要性• 教職員を対象としたアンケートの実施（設計中）• 教育プログラムについての意識・関⼼の醸成• カリキュラム改善と個別授業の透明化• 教育開発やFD・SDとの連携、連動• 具体的な⾏動を伴う意味のある情報の提供。
• 開発・推進と評価は分離すべきという意⾒もある。
• データ収集・分析・報告の効率化
1920

参考⽂献
•

⽻⽥貴史編．2008. ⾼等教育の市場化における⼤学団体の役割と課題．科学研究費補助⾦研究成果報告書．

•⾦⼦元久. 2011. ⼤学⽀援組織の可能性と課題. ⼤学財務経営研究, 8: 3-24.

•Volkwein, J. F. 2008. The foundations and evolution of institutional research. New Directions for Higher Education, 2008(141), 5-20.

•NACAC（National Association for College Admission Counseling）, 2016, Use of Predictive Validity Studies to Inform Admission
Practice.https://www.nacacnet.org/globalassets/documents/publications/research/testvalidity.pdf（2018年1⽉24⽇最終閲覧）•奈良信雄．2017．医学教育分野別評価の意義と展望．医学教育= Medical education (Japan), 48(6), 405-410.

•トロウ,マーチンA.著,喜多村和之編訳. 2000. ⾼度情報化社会の⼤学; マスからユニバーサルへ. 2000 年⽟川⼤学出版部.

•中畝菜穂⼦. 2013. 適性試験管理委員会報告書︓適性試験スコアの妥当性に関する分析, JLF NEWS vol.55.

21