AHELO：オンタリオ州高等教育機関の経験
Mary Catharine Lennon
オンタリオ州高等教育質保証カウンシル
上級研究アナリスト

0はじめに2011 年にオンタリオ州は，経済協力開発機構（OECD：Organisation for Economic Co-operation
and Development）による「高等教育の学習成果調査（AHELO：Assessment of Higher Education
Learning Outcomes）」のフィージビリティ・スタディに加わった。オンタリオ州高等教育質保証カウンシル（HEQCO：Higher Education Quality Council of Ontario）は，職業訓練・カレッジ及び大学省（MTCU：Ministry of Training, Colleges and Universities）に代わり，カナダ教育閣僚会議（CMEC：Council of Ministers of Education）と協同でプロジェクトを主導した。
2006 年に始動した AHELO は，大学生の知識と能力を測定する手段として，標準化された一般的試験並びに専門分野固有の試験を様々な国で利用できるかどうかについて判断するためのフィージビリティ・スタディである。学習の質を表す優れた指標の確立に向けた国際対話に資することを意図した本調査は，共通の学習成果を開発し，様々な教育文化・言語・教育機関において，標準化された試験を通じて学士課程（第 1 サイクル）終了時に学生のパフォーマンスを測定することを目的とした。このフィージビリティ・スタディでは三つの分野でテスト問題開発がなされた。一つは一般的技能，その他二つは経済学及び土木工学という専門分野固有の技能に関するものであった。
この世界規模のプロジェクトには 17 か国が参加しており，カナダは工学分野に参加した九つの国・地域の一つである。土木工学プログラムを持つオンタリオ州内 10 大学のうち 9 校が本調査に参加し，土木工学部で卒業を迎える最終学年の全学生のうち，その約 61％にあたる 450 名近くの学生が参加した。
本報告書では，フィージビリティ・スタディに参加したオンタリオ州の経験を振り返る。ここでは主に，本調査の実施・運営活動並びに教育機関にとってのその価値に焦点を当てる。参加
教育機関は自校プログラム作りに関して具体的な洞察を得ることはなかったが，AHELO は国際的アセスメントと比較理解の観点から相当な関心を呼び，大規模アセスメントの運営において大きな経験を提供するものとなった。

AHELO フィージビリティ・スタディの背景と実施根拠
20 世紀後半には，高等教育というものに世界規模で大きな変化が起こった 1。高等教育のマス化は，教育機関とそのプログラム及び学生の多様化を招き，小規模なエリート集団育成というそれまでのシステムとは異なるものであった（OECD，2012a）。こうしたマス化の背景には多くの要因がある。高等教育はもはや従来の教育施設や国・地域内に留まるものではない。技術的に強化された学習の拡大により，学生が望む時間と場所でプログラムを利用できるようになり，各国の学生と教員にもたらされた可動性により教育機関が世界に向かって開放された。さらに，学生からの教育に対する需要に後押しされて，私立の教育機関や専門プログラムを備えた教育機関といった新たな代替的教育プロバイダーが出現した。
1

本セクションの情報は OECD の文書に基づいている。詳細は Tremblay, Lalancette and Roseveare (2012) 及び OECD (2013a)を参照されたい。

1

中等後教育を対象とした現在の複雑かつグローバルな「市場」は，新たな形態によるガバナン
ス・説明責任・信号伝達の仕組みを必要としている。従来の説明責任及びガバナンスとともに，
インプット（資金調達，図書館所蔵等）・アウトプット（在籍率，卒業率，出版物）の評価結
果が国内外でのパフォーマンス指標となった。これらのパフォーマンス指標に基づく国際的ランキングは，教育機関の研究能力を評価する際に重要な役割を果たす。
一方，こうした従来の方法では捉えられないものが教育の質であり，多くの教育機関の中核となる教授と学習である。こうしたギャップが認識されたことにより「代理変数(proxies)」と呼ばれる新たな指標が導入された。教育の質を示すこの「代理変数」には，学生の評価・学生の満足度と授業参加に関する調査・労働市場における成果等が含まれる。これらの指標から，学生が中等後教育以降も満足のいく順調な生活を送っていた場合，その教育機関による教育の質が高かったことが伺える。
ここ最近では，教育の質を把握・立証・評価する手段として学習成果に注目が集まってきており，これは一部ではパラダイム・シフトとも考えられている（OECD，2012a，35）。学習者の知識と能力を明確化した学習成果は，適切な評価方法を伴えば，学生の学習を測定する透明性の高い手段となる。このため，教育機関の教授と学習の質，最終的には提供されている教育の質について客観的に把握することが可能となる。
教育機関の教授と学習の質を明確化することは多くの意味で有益である。学生・雇用者・一般
市民に対する教育の価値への理解を深め，教育機関とそのプログラムレベルでの連携・カリキ
ュラム開発・教育実習の改善を実現する。さらには，これまで品質保証と説明責任の分野において明確に把握できないものとされてきた教育の質について評価が可能となる。加えて，透明性のあるプログラム作りを実現し，これにより教育機関とプログラムに対する国際的理解並びに比較理解を促進する。このように学習成果の明確化によって，教育というものが教育機関・
プログラム・多くの一般市民と国際社会の利益となるよう，より身近な分かりやすい存在となるが，究極的には学生をその中心に据えたものである。このことは学生中心の学習へと大きくシフトすることを意味する。
本フィージビリティ・スタディの目的は，「概念実証(proof of concept)」（OECD，2009a，15）
であり，これによって学生の知識と能力が国際水準にあるかどうかを判断するとともに，高等教育機関・政府・学生や雇用者を始めとするその他利害関係者に対して関連情報を提供するものである（OECD，2009b，2）。
こうした取組から生まれた主な疑問事項は以下のようなものである。
•••

予想される学習成果について国際的な合意を得ることは可能か。
異なる文化・言語間で同じ試験を実施することは可能か。
そうしたアセスメントは有効かつ信頼性が高いものか。

本フィージビリティ・スタディには三つの主要作業領域が存在し，学生の成績評価のため三つのアセスメント（テスト問題開発）分野が設定された。その一つは，批判的思考力・分析的思
2

考力・問題解決力等の一般的技能を評価するためのものである 2。その他二つの分野は，経済学 3及び工学 4における専門分野固有の技能に特化したものである。二つの専門分野のテスト問
題では，知識内容の評価よりはむしろ，知識の応用力（つまり学生が「技術者のような思考ができるか」）に注目した。追加的分野として設けた「付加価値」は，学生の学習に寄与する高等教育について調査することを目的とし，中等後教育開始から終了までの間に，学生のスキルと能力に向上が見られることが予想される（OECD（2013b）を参照）。
これら二つの作業領域に加えて，背景情報の側面（Contextual Dimension）5 の設定を行った。これは，各国・地域における教育環境への理解を高め，観察した学生間に生じた成績差の原因を特定するため，学生・教員・高等教育機関並びに国・地域を調査することを目的としている。
アセスメント枠組みの開発と同時に，OECDはその加盟国 5並びに興味を示したその他の国に対し，フィージビリティ・スタディへの参加とテスト問題の共同開発，さらに自国の教育機関をサンプルとした本調査の試験的実施を要請した。その結果，6 大陸から 12 言語にわたる 17 の国・地域が本調査への参加に同意した。オンタリオ州は土木工学分野に参加した。

オンタリオ州における AHELO
2011 年 7 月，オンタリオ州の職業訓練・カレッジ及び大学省は，カナダの他州から独立して本調査に加わることを決定した 6。オンタリオ州政府からは独立した機関であるHEQCO 7がプロジ
ェクトを主導するよう要請された。
中等後教育の価値を把握・立証するためには広範な研究課題が存在するが，その一環として，
オンタリオ州は HEQCO を通じて，学習成果を調査する多くの研究プロジェクトに携わった。この分野で HEQCO は多数の活動に関与してきており，各種専門分野にわたる学習成果の確立（チューニング・プロジェクト，Lennon，Frank，Humphreys，Lenton，Madsen，Omri & Turner（近刊予定 A）を参照），大学学習アセスメントの試験的実施による全般的学習成果の測定（Lennon（近刊予定 B）を参照），並びに教育機関の様々な活動を通じた学習成果の収集と立証支援を行った。こうした国際的調査への参加により，システムとプログラム作りに関する比較情報が得られ，本調査の基盤が形成された。
ナショナル・センターとして，HEQCO は OECD 並びに AHELO コンソーシアムと連携してアセスメント調査の実施と運営にあたった。さらに OECD－AHELO 間の対話において国側の専門家と
2

詳細は，Tremblay et al. (2012); p 112-114 を参照のこと。
詳細は For more information, see OECD 2011a; Tremblay et al. (2012), p 116-118.を参照のこと。
4
詳細は，OECD 2011b; Tremblay et al. (2012), p 121-123，OECD, 2012a， OECD 2012b を参照のこと。
5
参加国の一覧については http://www.oecd.org/general/listofoecdmembercountriesratificationoftheconventionontheoecd.htm を参照のこと。
6
OECD での審議において高等教育分野を代表するカナダ教育閣僚協議会（CMEC）は，全州の合意の下，様々な OECD プロジェクトに携わっている。しかし，一般から関心が高いにも関わらず，CMEC は，本フィージビリティ・スタディへの参加ついては各州からのコンセンサスを得られなかった。
7
詳細については www.heqco.ca を参照のこと。
3

3

しての役割も担い，ナショナル・プロジェクト・マネジャー（NPM）1 名を派遣して，参加教育機関とともに本調査を実施・運営し，その後の分析を行った。
オンタリオ州で本調査を準備・運営するに当たり，多くの活動が実施された（図 2 を参照）。
コンソーシアムによって操作可能となったフィージビリティ・スタディでは，全ての国・地域
において実施する活動が確実に同等なものとなるよう，調査の実施ガイダンスとプロトコルが設けられた。次のセクションでは，主なフィールドワークと実施活動領域を振り返り，OECD
プロトコルとオンタリオ州の対応双方について述べる。
図１. オンタリオ州における実施活動の基本スケジュール

2011年7月

オンタリ
オ州研究
参加

10月
教育機関
募集

12月
文書・テ
スト問題
の精査・
適正化

2012年1月
機関コー
ディネー
ター 研修
及び倫理

2月
募集・ IT
準備・ テ
スト監督
者 研修

3月
学生
テスト

4月

5月

教員及び
機関調査
回収

採点

実施

参加教育機関の募集と採用
OECD は各国・地域に対し，学士号レベル（又は第 1 サイクル）の土木工学学位を授与する教育機関で様々なタイプを代表する 10 校を便宜的サンプルとして採用するよう推奨し，その中には，規模とマンデート（教授又は研究といった任務領域）が異なり，地方と都市に所在する公立及び私立の大学・工科学校・カレッジを含めることが望ましいとされた。各システムについて有効かつ信頼できるデータを収集するため，あらゆるタイプの教育機関と学生を適切に代表するサンプリングの実施を目標とした。
オンタリオ州には学士号レベルの土木工学プログラムを提供する教育機関が 10 校ある。これら
教育機関の副学長並びに工学部学部長に対し，書面によりプロジェクトへの参加を呼びかけた。
参加を促進するため，各教育機関には少額ながらプロジェクト運営費用が支給された。参加を呼びかけた教育機関からは直ちに極めて良好な回答が得られ，10 校中 9 校が参加に同意し，自校のみならず海外にある教育機関の学生とプログラムを理解する手段としてこうした国際的アセスメントへ参加することに興味を示した。
4

オンタリオ州の教育機関は，自校の工学プログラムを評価するため学習成果を測定しプログラ
ム戦略を立てるという概念を既に持っていた。ワシントン協定の合意事項の一部として，またプログラム認定を目的として，工学プログラムを提供するカナダ国内の教育機関が 2016 年を目途に学習成果に基づく学位プログラム作り・アセスメント・認定取得に向けて取り組んでいる（EGADS，2013 年）。こうしたことを背景に，今回の大規模なアセスメント調査にはツールとして相当の関心が集まった。オンタリオ州の全土木工学生の約 90％が，これらのプログラムに参加した。
参加教育機関は全て公立校であり，文系から理系いたる幅広いプログラムを博士号レベルまで提供している。主に都市部に位置し，その規模はフルタイム換算（FTE）した学生数にして14,595 名から 75,941 名に上る。オンタリオ州から参加した 9 大学は以下のとおりである。
•
•
•
•
•

カールトン大学
オタワ大学
ライアソン大学
ワーテルロー大学
ウィンザー大学••••

マクマスター大学
クイーンズ大学
トロント大学
ウェスタン大学

土木工学プログラムは工学部に所属するが，環境工学と連携したものもあった。プログラムの教員数は 17 名から 40 名であった。フルタイム換算（FTE）した学生数は 231 名から 573 名であった。1 年間に授与する学士号の数は，2010 年度で 20 名から 101 名に上った。

文書の適正化・精査・検証
テスト問題開発において専門知識を提供する採点リーダーを各国で１名ずつ選任した。この採点リーダーは，自身の専門分野において専門家と認められた個人であり，その責務は，テスト問題に関する全ての文書を確認し，国・地域にとって適切なものとなるようテスト問題と翻訳を適正化し，さらに学生と教員を対象とした試行試験を実施して検証することであった。各国の採点リーダーは，試験項目を適切に採点する作業を共同で行い，国内の採点チームの訓練を担当した。
オンタリオ州の採点リーダーはナショナル・プロジェクト・マネジャーと協力の下，学生に対する試行試験の実施 8や教員と上級生である大学院生に試験のフィードバックを求めるなど，様々な活動を実施し，オンタリオ州の背景状況と照らし合わせて試験内容を綿密に調査した。
収集したフィードバックは，試験問題内容と難易度の適切性並びに（言語ニュアンスや技術的専門用語などの）オンタリオ州の背景状況に配慮した妥当性の確保についてコメントするもの
であった。

8

5 名の 3 年生が試験を受けフィードバックを提出した。4 年生の母集団が損なわれないよう 3 年生が選ばれた。

5

こうしたフィードバック情報は OECD に報告され，テスト問題に盛り込まれた。オンタリオ州
では大きな変更が求められることはなかった。実際のところ，国際採点チーム内でも採点リー
ダー間の摩擦はほとんどなく，各国・地域の採点リーダー間で早急に解決・合意に達した。

高等教育機関の活動
今回の調査に参加した各教育機関は，教育機関コーディネーター（IC：Institutional Coordinator）を選任した。機関コーディネーターの責務は，自身の教育機関内の調査を管理しナショナル・センターである HEQCO と連携することであった。また，AHELO 調査において必要不可欠な役割を担い，自身の教育機関内において AHELO を実施する責任を負った。
現地活動の標準化は，活動の結果得られる情報の信頼性を確保するために重要であった。アセ
スメント設計がいかに優れていても，その運営と実施の問題がデータの有効性と信頼性に影響を及ぼす可能性がある。そのため，フィージビリティ・スタディにおける重要事項の一つとして，現地活動の共通化確保が求められた。
教育機関における AHELO の実施
各教育機関は，AHELO 実施国・地域間での整合性と必要な支援を確保するため，ナショナル・
センターと緊密に連絡を取り合った。オンタリオ州では，各教育機関内で機関コーディネーター（多くは土木工学部の学部長）が選任された。AHELO に関する状況・背景並びに活動ロード
マップが提供される一日トレーニング会が HEQCO で開催され，9 名の機関コーディネーターが出席した。この会議の後，機関コーディネーターとナショナル・プロジェクト・マネジャーは，
毎週電話会議を行って活動に関する支援と助言を提供し合った。
フィールドワークの実施には数多くの作業を要し，各機関コーディネーターは作業補助チームを結成した。その推奨メンバーには IT の専門家と試験管理者が含まれた。オンタリオ州にある教育機関の多くはこうした提言に従ったため，チームの規模が他よりも大きくなるところもあった。
機関コーディネーターが最初に行う作業の一つは，試験実施に向けて教育機関による倫理的承認を申請することであった。その他の国・地域とは異なり，オンタリオ州の教育機関では，学生といったヒトを対象とした調査の実施には許可を必要とする。実施スケジュールが短期間であるため迅速に試験を遂行する必要があることから，オンタリオ州の教育機関は，倫理的承認取得のため，調査パラメータを修正する必要があった。
例えば，（サンプルが確実に母集団を代表し，GPAや高校の平均値等に基づくテスト結果の理解を高めるため）AHELOは機関コーディネーターに対し，学生の管理情報にアクセスすることを要請したが，オンタリオ州の教育機関では，AHELOの試験結果を学生ファイルとリンクさせる許可を取得できなかった 10。その結果，試験を受けた学生サンプルに関する情報の信頼性と，教育機関のデータ検証能力の低下を招いた。例えば，教育機関に対し学生の管理情報へのアク
10

学生の管理データにアクセスできたのは機関コーディネーターのみであった。ナショナル・センター，
コンソーシアム，OECD はアクセスできなかった。

6

セスが許されていれば，AHELO試験の個人別得点をGPA等の他の学生能力指標とともに検証することができたであろう。教育機関でこのような性質の情報が確保できていれば，オンタリオ州
でのAHELO試験の得点について，その有効性に対する理解の向上につながった可能性もある 9。
フィールドワークの実施

学生募集
学生募集はAHELOフィージビリティ・スタディの重要な要素であった。各教育機関は，試験を受ける学生サンプルとして 200 名を選出し，募集率 75％を目指すよう求められた。指定専門領域（工学・経済学，一般的技能の場合は学校全体）に 200 名以上の学生が在籍する教育機関の機関コーディネーターは，どの学生を潜在的参加者として選出するかを定めたサンプリング枠を設ける必要があった 10。こうした合目的サンプリング枠は，母集団を代表する学生サンプルが確実に試験を受けるようにするためのものである。潜在的受験者が 200 名未満の教育機関では，学内調査として全学生参加を目標とした。オンタリオ州の全土木工学教育プログラムでは，最終学年の学生数 11が 200 名未満だったため，全ての適格な学生 12が各教育機関でのアセスメ
ントの潜在的候補者となった。
各国・地域では，それぞれ独立した学生募集戦略を展開した。学生参加を義務化した地域もあるが，任意参加制とした地域もあった。任意参加制の地域全てではないが，その大多数で，学生にインセンティブが与えられた（OECD，2013a，169 ページ）。オンタリオ州の学生参加は完全に任意であった。機関コーディネーターは地域の倫理プロトコルが定める範囲内で適切と判断した学生を採用した。参加勧誘のため，ポスター・説明会・ギフト券・賞品抽選会・土木
工学部学生部会への寄附といった様々な活動やインセンティブによる勧誘が行われた。あらゆるタイプの分析を行うに足る十分な学生数を確保することが必須であるとの認識を持っていた機関コーディネーターにとって，学生募集が最も時間がかかり懸念を要する活動であった。学生参加が任意だったため，オンタリオ州の教育機関では全て，非無作為抽出による任意参加となった。
教員に対する短期背景情報調査も同様に実施した。40 名以上の教員を有する学部（一般的技能の場合は教育機関）に対しては，代表的サンプルを確実に採用するためのサンプリング枠を設けた。オンタリオ州の全参加教育機関と同様，教員が 40 名未満の場合には，全学生参加による学内調査が試みられた。全ての教員に対し参加を義務化する又は勧誘活動を行うことができな
いため，オンタリオ州の教育機関では，志願者による任意参加となった。

9

本フィージビリティ・スタディでは，倫理的承認の取得が困難であったが，今後こうしたアセスメント
は，倫理的承認申請と研究目標通達の時間が確保できれば，大規模な修正なしに受け入れられる可能性が高い。
10
このサンプリング枠組はコンソーシアムの指導のもと実施された。
11
最終学年の学生数は 34 名から 137 名であった。
12
国外にいる学生又は特別措置を必要とする障害を持った学生は除外された。

7

試験の運営AHELO 試験システムは，2012 年 2 月から 6 月まで稼働し，教育機関はこの期間中であればいつでも自校の学生をテストすることができた。各教育機関は，技術的問題点がないことを確認するため，コンピュータプラットフォームのテストを実施するよう求められた。試験の時間と日程はあらかじめナショナル・プロジェクト・マネジャーに報告された（技術的又は緊急の問題が生じた場合）。ナショナル・プロジェクト・マネジャーはこうした情報をさらにコンソーシ
アムに報告し，試験のオンラインシステムが一連の活動に対応できるよう準備態勢を整えた。
機関コーディネーターは AHELO 実施期間を設定し，試験運営者（試験監督官）に（AHELO 訓練
ガイドラインに基づいた）適切な訓練を受けさせる責任を負った。
オンタリオ州では試験の実施時期が課題であった。大学の学期カレンダーでは，中間テスト後の 2 月中旬に 1 週間の休みがあり，期末プロジェクトと期末テスト後の 4 月に学年末を迎える。
こうしたことから，試験を実施できる期間が非常に限られていたため，多くの教育機関では 3
月上旬から中旬にかけて試験を実施した。教育機関は学生の授業スケジュールを考慮し，様々な時間帯と日程で試験を行った。
システムのテスト稼働を実施したにもかかわらず，オンタリオ州の教育機関のうち 1 校が技術的問題に直面し，学生が試験を提出できなかった。コンソーシアムの技術的問題は是正されたが，当該教育機関では学生の回答のほぼ 8％が損失した。

採点
学生テスト問題の選択式問題では，コンピュータによる自動採点方法が採用されたが，各国・地域の教育機関では，自校の学生による記述式問題の回答を人力で採点した。採点リーダーは他の採点リーダーとともに 2 回の研修会に出席し，テスト問題の質問を確定の上，適切な採点
ルーブリックを決定した。これにより各国・地域の採点方法に整合性が確保された。採点リー
ダーはナショナル・プロジェクト・マネジャーと協力し，採点官による小チームを編成して試験システムと採点ルーブリックについて訓練を行った。
オンタリオ州では技術者 6 名による採点チームを編成した。採点官の多くは，オンタリオ州の学生のアセスメントと取組の検証に関心を持つ機関コーディネーターであった。採点は 2012 年
6 月に 2 日間にわたってナショナル・センターで行われた。オーストラリアとの了解覚書（MOU） 13の一部に基づき，オーストラリアが管轄する試験の回答をオンタリオ州が一部採点し，その逆の採点も行われた。こうした採点方法は，採点を行う国・地域の採点官同士の信頼関係を評価する目的で行われたが，このようなことがなければ海外の学生の回答を見る機会がなく，採点チームにとって関心の対象でもあった。

試験の成功と課題
AHELO フィージビリティ・スタディの主たる目的は，世界中の学生を対象とした共通テストを共通の方法によりオンラインで実施することが運営上可能であるかを把握することであったが，13

詳細は以下 MOU のセクションを参照のこと。

8実際にその実行可能性が証明された。専門家と教員が共通の学習成果並びにテスト問題での質問について合意し，プロジェクト管理と各種作業が世界共通プロトコルに従って実施された。
運営面での軽微な問題が各国で起こり，一部の教育機関による離脱・回答率の低さ・技術的問
題の発生もあったが，今回の国際的アセスメントがおおむね成功裏に実施されたことは明らかである。AHELO 報告書の第１巻には，本調査の運営面で各国が学んだ多くの教訓が掲載されている（OECD，2012a，6 章）。
運営面の成功と課題に関しては，三つの分野で見られたのと同様，参加国・地域間で大きな相違があった。例えば，ある国の教育機関では，テストを実施する学生数に対して十分なコンピュータ台数が確保されていないことが分かり，当該教育機関にコンピュータを届けるための移動用のバンが必要となった。信じられないことに，エジプトでは，同国で「アラブの春」が繰り広げられている最中での実施が予定されていたため，それが大きな困難となったが，なんとか乗り越えることができた。一般的技能分野では学生募集が問題となった。
こうした実施面の問題は，本調査の主たる目標である試験運用の実用性を把握するために極めて重要である。そのため，各国の経験を収集すべく多くの取組がなされてきた（OECD（2013a）
を参照のこと。各国の経験については 8 章）。
オンタリオ州内での成功と課題は，大規模に実施する様々なテストに見られるものと，今回のAHELO 特有のものがあった。受験者にとって重要性が低いテストでは，学生募集が困難を極めるのが通例である。広報活動（ポスター，電子メール，授業参観等）やテストセッション実施の双方において時間がかかり，学生に金銭その他の大きなインセンティブが与えられる場合には，多大な費用が発生する可能性がある。今回の学生募集は困難を極めたが，教育機関の募集
戦略は極めて創造的であり，最も時間のかかる活動であったにもかかわらず，自校の学生の参加を見ることは機関コーディネーターにとって非常に喜ばしいことであった。
フィージビリティ・スタディというものを実施する際に予想されるとおり，オンタリオ州にも小さな問題が数件発生した。倫理的承認を迅速に取得する必要があったため，アセスメント枠
組みを修正して AHELO 結果と個人レベルの学生データを関連づける教育機関の能力を縮小した。
このため，教育機関における調査結果の潜在的価値が低下した。本報告書執筆時点では，どの教育機関もまだ学内データを分析していなかったが，国・地域別の比較報告を入手した際にそうしたデータを検証する意欲を示していた。
試験後の面接と追跡調査において，参加学生と教員は国際的プロジェクトに参加できたことに感謝の意を表し，調査に参加するという自身の決断を評価していた。このことから，ベンチマ
ーキングやプログラムを比較されることに対して恐怖感を抱いているのではなく，各国・地域の教育機関との比較を通じて自校のプログラムの特性・長所・短所を理解することに参加者全員が素直に関心を抱いていたことが伺える。

9議論及び結論
オンタリオ州の結果分析
九つの国・地域から 70 校を超える教育機関がフィージビリティ・スタディの工学分野に参加した。オンタリオ州では，現在土木工学プログラムを提供している 10 の教育機関のうち 9 校がAHELOの工学分野に参加した。環境情報が教育機関から収集された。これら 9 校の教育機関からは，教員計 155 名，最終学年の学生計 443 名がAHELOの工学分野に参加した。オンタリオ州の回答率は教員 72％，学生 61％ 14であった。AHELOに参加した教員の属性データ，職業上の身分・資格は，オンタリオ州の教育機関全体のそれと類似していたが，教授と研究に費やしていると報告された時間に顕著な相違があった。AHELOに参加した土木工学プログラムの学生に注目すると，ここでも学生がどのくらいの時間を授業の準備と実際の授業に費やしているか，自身の研究分野との関連の有無にかかわらずどのくらいの時間を有給の仕事に費やしているかといった学業への取組の度合いに相違が見られた。オンタリオ州の参加教育機関に関する詳細（学校・教員・学生の特徴），オーストラリアとその他九つの参加国・地域との比較結果については，Lennon（近刊予定C）を参照されたい。

AHELO の貢献
ここで思い出していただきたいのは，本フィージビリティ・スタディの目的が比較ランキング
データを収集することではなく，この種の取組の実施可能性をフィールドワークとテスト問題の試行双方において検証することである。このため，得られたデータの徹底分析は，次のいず
れかの理由により，実施していない。a）枠組みにおいて同意されていないため。b）後日得られたデータの制約を受けるため。
収集したデータは細心の注意を払って解釈する必要があるとの認識から，データ結果とそれが利害関係者（すなわち国・地域，教育機関，教員及び学生）にもたらす価値についてコメントすることは不可能である。これは，現在そうした関係者がその情報を使用することができないためである。
このように，今回のフィージビリティ・スタディから，収集した情報をどのようなことに役立てることができるかを明確にするためには，テスト問題の改良を要することが明らかとなった。
さらに，情報を用途に合わせて適切に手直しするために各種の枠組みやテスト問題を作り直せ
ば，その情報が誰にとって有用であるのかという問題への答えが曖昧となってしまうことも判明した。
ここでフィージビリティ・スタディの結果について，その価値を 2 方向から考察する。
1. 様々な利害関係者集団が AHELO への参加から期待したものは何か。
2. こうした集団のニーズに応えるため，アセスメントにはどのような調整が可能か。
14

第 9 教育機関ではオンラインシステムの技術的問題の結果，36 名のアセスメント参加学生のうち 33 名の回答が記録されなかった。オンタリオ州の回答率は，アセスメント参加学生数に基づいて算出されており，実際に記録された回答数に基づくものではない。

10

国・地域
AHELO を開始した当時，その目的が国内外の教育機関のランキングではないことが明確にされた。しかし，国・地域間で比較・対照できるということは大きな魅力であった。また各国政府
にとって，自国の教育機関とそのプログラムがどのように組織・構成されているかを把握し，それらが学生の学習成果へ及ぼす影響について検証することができれば，価値ある情報を得る機会となる。こうしたことが，政策の比較理解向上と，システムと教育機関の間における相互作用の改善につながる可能性がある。
上述のようなデータ比較は，様々な理由から，今回の AHELO フィージビリティ・スタディでは実現できなかったが，システムレベルの学習においてはその可能性が存在する。例えば，単純なデータ・ポイントに基づいてランキングできないような形で情報が提示されても，相手国に比較情報又は国際平均が提供された場合には，国際比較が可能となる。

教育機関・プログラムレベルのデータ
AHELO フィージビリティ・スタディの主たる目的は，他校と比較して自校の学生が自身の様々な能力をどのように発揮するのか，それについて教育機関に情報を提供することであった。さらに，背景情報調査で収集された情報により，学生の教育環境が持つ特性について認識を深めることも目的としていた。
AHELOで実施したテスト問題には，コンピテンス領域 15ごとに学生の能力に関する教育機関レベルの情報を収集するに足る高い精度はなかった。このため，学生の総得点以外のものを基準に教育機関を比較することが不可能であった。これはフィージビリティ・スタディに参加した教育機関の期待を裏切るものであったが，ツールの改良により，教育機関における学生のコン
ピテンス領域を比較する試験の開発が可能となろう。また，こうした情報は，教育機関の長
所・短所を把握する際に非常に役立つといえる。例えば，設計と実践において非常に優れた教育機関が，基本的工学スキルでは劣っているということが明らかになることもあろう。こうした詳しい情報が，プログラムと教員にとってカリキュラム設計の際に有用な情報となる可能性がある 16。国内外にある他校のプログラムをどのような形で自校と比較できるかを把握することが，オンタリオ州の教育機関が今回の調査への参加を決定した主たる理由であった。こうした情報の入手はできないが，そのために試験を再構築することは可能である。
教育機関及びプログラムレベルで収集する背景データも有用情報を含んでいる場合がある。オンタリオ州の教育機関でも教員・学生に関する管理情報を収集しているため，こうした情報のほとんどは他のソースでも容易に利用可能である。したがって，自校の学習環境に関する情報も教育機関やプログラムにとっては特別に新しい情報ではなく，国・地域内の比較情報にも同様のことがいえる。
15

工学設計，工学実践，工学分析，並びに一般的・基本的工学スキル。
コンピテンスレベルの適正評価には，アセスメントの再設計が必要となるため，学生にとっては試験期間の長期化につながることが指摘されている。
1611

しかし教育機関とそのプログラムを他校や国際平均と比較して見れば興味深い点が明らかとなる。世界中の教育機関とそのプログラムを比較することにより，学習環境の共通点・相違点を解明し，それらが学生の能力に及ぼす影響について把握することが可能となろう。さらに，プログラム設計と環境特性に見られる国際的傾向をプール解析すれば，成功プログラムの傾向に関する情報の収集，さらに共通の構造的特徴によるベンチマーキングに大いに役立つと考えられる。
このように，現在提供されている教育機関情報とその比較にも価値があるが，世界的傾向に関して情報をプールするだけでなく，その国際的な対比からもより大きな洞察が得られるかもしれない。

学生レベルのデータ
学生層の内訳・特性・テスト得点に見られる注目すべき傾向に関しては，AHELO で収集した学生レベルのデータから有用な情報が得られる可能性があった。
しかしフィージビリティ・スタディの枠組みの中で期待されていたのは，自校の学生の状況を同地域内にある他校のそれと比較した情報を教育機関に提供し，その情報を活用して当該教育機関が学生の学業の成功をサポートできるようにすることである。例えば，恐らくは学外で就業していることが原因で，年齢が高い学生ほど良い成績を修める可能性が低いことが判明すれば，その教育機関でそうした学生への支援策を改革するという選択ができる。さらに，こうした情報を他校と共有すれば，同様の問題に取り組んでいるプログラムとの連携促進へとつながる。現行の AHELO の枠組みでは実施されていないが，学生の成功例に見られる国内外の傾向を特定し，国・地域に関係なく教育機関の間で協力と連携を促進していくことは興味深い取組といえる。
今回の試験は，教育機関レベルで学生データとの連結を行うことを意図していたため，学生レ
ベルのフィードバックを行うようには設計されていなかった。しかし，その後の議論の中で，学生レベルのフィードバックを行うことは，学生にとっては自身の能力を同輩との比較により明らかにする手段となるため，そうしたフィードバックに意義があり，またそれに対する関心も高いことが明らかとなった。学生レベルのフィードバックを提供するには，まず試験を大幅に変更して，学生全員が同等か又は同一の試験を確実に受けるようにする必要がある。
AHELO に参加した国・地域，コンソーシアム並びに OECD が時間を費やして議論した問題の一つは，学生に自身の得点についてフィードバックするか否かであった。今回のアセスメント枠
組みは，教育機関レベルでフィードバックを行うことを意図しており，信頼性が高い得点情報
を個人レベルで提供するようには設計されていない。しかし他校の学生（教育機関内あるいは国内・海外）との相対評価による得点は，自身の能力について世界規模で客観的に評価された記録でもあるため，学生からの関心が高まり，さらには，学生募集活動と試験を受ける学生の取組が改善される可能性がある（情報の信頼性の向上につながる）。こうしたことは AHELO フィージビリティ・スタディが本来意図したものではないが，多くの参加国・地域にとって非常12

に重要な問題である。以上のことは，今回のようなアセスメントの結果得られる数多くのアウ
トプットの一つといえるが，こうしたアウトプットを現実化するためには改めてアセスメントの枠組を設ける必要がある。

結論
このたびの AHELO フィージビリティ・スタディは，国際関係の構築・システムレベルでの比較
理解の補助・教育機関とそのプログラムの理解支援・学生レベルでの国際的アセスメントにおける実施可能性の探究という点で成功を収めた事業である。参加国・地域だけでなく OECD 加
盟国レベルにおいても，今回の調査から多くの教訓を得ることができた。事実，世界中の学生を対象に標準化された試験を実施できることが確認された。また，工学プログラムを始めとする様々な分野の利害関係者がそうした試験の実施に関心を示しているようである。
オンタリオ州は，学習成果の確立と測定における幅広い有用性について国際的な対話に参加することができ，これは州にとって有意義な経験となった。同州は，学習成果を取り入れたシステムの開発に取り組んでいるため，州外のシステムがどのように学習成果を活用しているかを把握できることを評価している。中でも興味深かったのは，様々な国・地域が国際的な学習成
果アセスメントの活用を望む中，システムレベルのベンチマークとして活用すべきか，教育機関とそのプログラムレベルの改善を目的として活用すべきかで意見の相違が見られることだった。
AHELO の取組はフィージビリティ・スタディとして多くの教訓をもたらした一方，課題も多く残した。こうした国際的アセスメントに対し，政府・教育機関・プログラム・教員並びに学生が関心を寄せていることが判明し，期待される学習成果と適切なアセスメントについては世界レベルで合意を得られる可能性があることも確認できた。さらに，世界中の学生を一貫した方法でテストすることが可能であることも判明した。以上のことが今回の AHELO 調査で確認できた主要事項である。

13

References
EGAD(2013) Engineering Graduate Attribute
http://egad.engineering.queensu.ca/

Development

Project.

Retrievedfrom:

Lennon, M. C. (2010). Signalling Abilities and Achievement: Measuring and Reporting on Skill andCompetency Development. Toronto: Higher Education Quality Council of Ontario.
Lennon, M.C. (forthcoming A). Tuning: Identifying and Measuring Sector-Based Learning Outcomes in
Postsecondary Education. Toronto: Higher Education Quality Council of Ontario.
Lennon, M.C. (forthcoming B). Piloting the Collegiate Learning Assessment in Ontario: Lessons Learned.
Toronto: Higher Education Quality Council of Ontario.
Lennon, M.C. (forthcoming C). The AHELO Feasibility Study in Ontario. Toronto: Higher Education
Quality Council of Ontario.
OECD (2009a). AHELO Terms of Reference. Paris, OECD
OECD (2009b). Roadmap for the OECD Assessment of Higher Education Learning Outcomes (AHELO)
Feasibility Study. Paris, OECD
OECD (2011a). Tuning-AHELO Conceptual Framework of Expected and Desired Learning Outcomes in
Economics. Paris, OECD Publishing.
OECD (2011b). A Tuning-AHELO Conceptual Framework of Expected/Desired Learning Outcomes inEngineering. Paris, OECD Publishing
OECD (2012a). Engineering Assessment Framework. Paris, OECD.
OECD (2012b) Final Engineering Assessment Development Report. Paris, OECD.
OECD (2012c) Contextual Dimension Framework. Paris, OECD.
OECD (2013a) AHELO: Feasibility Study Report: Volume 2: Data Analysis and National Experiences. Paris,
OECD.
OECD (2013b) AHELO: Feasibility Study Report: Volume 3: Further Insights. Paris, OECD.
Tremblay, K. Lalancette, D., and D. Roseveare (2012). AHELO: Feasibility Study Report: Volume 1: Design
and Implementation, Paris, OECD
Tuning Association (2009). A Tuning-AHELO Conceptual Framework of Expected/Desired Learning
Outcomes in Engineering. Netherlands, Tuning Association.

14