AHELO フィージビリティ・スタディ:
調査結果と技術諮問グループ(TAG)の結論

ピーター・ユーウェル
2013 年 10 月 11 日

この論考の目的は，2009 年から 2012 年にかけて経済協力開発機構(OECD)が実施した，高等教育における学習成果調査 (Assessment of Higher Education Learning Outcomes, AHELO)フィージビリ
ティ・スタディ（以下，AHELO-FS）の設計と調査結果について説明し，技術諮問グループ(Technical Advisory Group, TAG)としての見解に基づき，AHELO-FSから得られた知見に関する結論を導くことである。TAGはAHELO-FSへの技術的な指針を提供すること，及びその経験に基づいて今後見込まれているAHELO本調査実施に関する結論を導くことを目的として，調査の初期段階に設置された 1。
AHELO の背景と初期の展開 OECD 教育局は，2007 年春に高等教育における学習に関する国際的なアセスメント調査の計画に着手した。最初の「専門家会合」は同年春にワシントン DC で開催され，6 か国から招へいされたアセスメント専門家及び政策代表者が参加した。会合の協議内容は一般的なものにとどまったものの，参加国にとってそうしたアセスメント調査は有意義と思われること，OECD はこうした取組の課題を見極めるために，数箇国を対象とした探索的研究を実施すべきことが合意された。この会合を受けて 7 月初めにパリで，10 月後半に韓国で，より大規模な専門家会合が開催された。
第 3 回会合が終わるまでに，AHELO 構想の基本的な骨子と計画表が作成されていた。すなわち，
このアセスメント調査では，複数の専門分野を対象とし，ベンチマークとしての利用を目的としており，個別の高等教育機関のレベルで調査結果を出すものとする。また，OECD が既に実施している PISA 調査と同様に，AHELO も自由回答式の記述式問題をその主たる特色とする。調
査全体のうち二つのセクションでは，特定の専門分野の成果を国際的な妥当性をもって検証することを目指す。何度かの協議を経て，候補となる分野として経済学と工学が選ばれた。提案された調査のもう一つのセクションでは，全ての専門分野に共通すると考えられる批判的思考や問題解決能力といった「一般的技能」を直接検証することを目指す。後者が推進された理由の一つは，この分野では，大学生学習調査(Collegiate Learning Assessment, CLA)のような，「有効かつ信頼できる」ツールが既に利用可能だったからである。専門家の間では，一般的技能が個人の成功にとって決定的に重要であることは広く認められているが，同時に，そうした技能の評価は個々の専門分野の文脈の中で適切に行われるべきであると認識されていた。一方，歴史，1

本報告書の筆者は TAG の議長を務めた。本報告の内容の大部分は，これまでに TAG が公表してきたフィージビリティ・スタディの報告書に依拠している。

1

文学，法律といった多くの分野はあまりにも文化的に規定されているため，国際的なベンチマーキングがほとんど意味を持たないであろうことも認識されていた。最後に，カリキュラムの構造，教育を巡る価値観，基盤にある教育学といった高等教育の置かれた状況が国によって全く異なるという認識のもとに，「背景情報」を重要なセクションとして導入することとなった。
これは教職員や高等教育機関の管理運営職者が回答する背景調査，並びにそれぞれの認知的調査（テスト）と同時に実施される学生調査から構成される。
フィージビリティ・スタディの詳細な設計を作成する前に，AHELO の目的と運営方針に関する判断が更に求められた。OECD によると，大学卒業生の流動性が増大する現代において，主たる専門分野について，高等教育の学習成果に国際的整合性をもたらすことが喫緊の課題となっている。これは欧州ボローニャ・プロセスの主な目的であると同時に，複数の専門分野において様々な国の高等教育機関の間で学問的基準を調整する試みである「チューニング・プロジェ
クト」のような構想に反映されている。個々の機関が参加する理由は，CLA のような全国的な標準テストに参加する場合と同じである。つまり，それによって得られる情報を戦略的計画に役立てること，外部の質保証審査の根拠資料として活用すること，さらに，教育現場で開発している学生の達成度評価の実績のベンチマークとして活用することが可能だからである。

組織体制の面では，AHELO は OECD 内部の高等教育機関経営プログラム(Institute forManagement in Higher Education IMHE)に設置されている。IMHE は，世界の高等教育機関に対して，戦略的計画やアセスメントといった共通課題に関するサービスを提供することを主たる目的とするユニットである。このユニットの方針は，OCED 事務局とともに AHELO 構想に関して広範な責任を負う教育政策委員会(Education Policy Committee, EdPC)によって制定されている。
AHELO に対するより詳細な指針を提供するため，参加国・地域の代表及び不参加ではあるものの AHELO に関心を表明した「オブザーバー」諸国の代表から構成される各国専門家会合( aGroup of National Experts, GNE)が設置された。GNE は，政策・行政代表者や国際的なテストに関する専門家等，多様な委員から構成されている。
AHELO-FS は当初，数箇国による 2，3 年間の取組として構想されていた。この取組を通じて答えを見いだそうとした主な課題は以下のとおりである。a)国によって状況が極めて異なる中で，複数の言語による有効かつ信頼できるテスト問題を開発することは可能なのか，b) そうした取組を OECD の複雑かつ複数の国家が関わる組織体制の下でうまく管理することができるのか，c)
テスト実施プロセスは国内コーディネーターや高等教育機関コーディネーターをたてたり，調査運営マニュアルを準備したり，各国で研修プログラムを実施することで効果的に遂行できるのか，d)調査結果データは分析可能であり，参加国と参加機関にとって有益なものとなるだろうか。
AHELO-FS の設計 フィージビリティ・スタディの各参加国は，自国の高等教育システムの多様性を反映する高等教育機関のセット（6～10 機関）を選考するよう要請された。次に，各高等教育機関では，3 年制又は 4 年制の高等教育で卒業を控えた学生 200 人が抽出された。フィー2

ジビリティ・スタディの主な目的は，特定のアセスメント方法を試行し，実施についての結論を導くことにあったため，調査結果データが各高等教育機関や各国を比較するデータとして活用されることを意図していたわけではない。また，効率性を最大化するため，アセスメント調査は全て「スパイラル化」され，それぞれの学生がテスト問題全体の異なる部分に解答することとなった。AHELO の参加学生の全員が，それぞれの分野で 90 分から 2 時間のテストに解答したほか，学生の背景情報と教育経験の情報収集のために設計された短い調査票にも回答した。
アセスメント調査は全て保護されたコンピュータ網を通じてオンライン実施された。記述式問題(CRT) 項目は，各国の訓練を受けた採点者によって，特別に設計された採点ルーブリックを用いて採点された。
AHELO の一般的技能分野の核となったのは，ニューヨークに拠点を置く教育支援審議会(Councilon Aid to Education, CAE)が運営する自由回答式のテスト問題である CLA の修正バージョンである。
CAE の代表者は，AHELO の計画のための初期の会合に全て出席した。CLA アセスメントは当時，記述式問題を使用する一般的技能テストとしては唯一のものだったため，CAE が AHELO-FS 委託事業の主要な受託組織の一つに選ばれた。一般的技能分野への参加を検討している国が招待されたニューヨーク会合の後，改善を図っていくための CLA の問題が 2 問選択された。一つは，「湖から川へ」という問題で，安全面の影響が不確かなダム建設計画を進める上での賛否両論を扱う問題である。もう一つは，「ナマズ」という問題で，観察された生態異常が，産業汚染に起因する可能性を扱う問題である。学生は，どちらかの問題一つに解答するとともに，オーストラリア教育研究所(Australian Center for Educational Research, ACER)が開発した卒業生能力調査(Graduate Skills Assessment Test)に基づく一般的コンピテンスに関する多肢選択式問題(MCQ)群にも解答した。
AHELO の経済学アセスメント調査は，教育試験サービス(Educational Testing Service, ETS) によって開発された。それは，経済学分野の既存の多肢選択式テスト問題と，チューニング・プロジェクトの成果や英国高等教育質保証機構が制定した分野別学位水準基標(Subject Benchmarks)といった経済学分野の知識に関する様々な国際的取組の成果を組み合わせたものである。テストの開発は，専門家グループによって作成されたアセスメント枠組みに沿って行われた。この専門家グループは，テスト問題案が開発されると，その検討にも携わった。経済学分野のテスト
問題の焦点は，専門分野の知識を厳密に問うというよりも，学生の「考える」能力，専門分野の概念や用語を効果的に使用する能力にあてられており，記述式問題のセットと大学院進学共通試験(Graduate Record Examination, GRE)の経済学の問題に手を加えた多肢選択式問題群から構成されていた。
工学分野のアセスメント調査は，ACER が主導する複数のアセスメント開発機関による国際的な連携に基づいて開発された。それは各国の既存のコンピテンス枠組み，日本の土木学会の認定土木技術者資格試験及び日本技術士会の技術士第一次試験，欧州チューニング・プロジェクトの成果に基づくものであった。工学には多様な専攻があるため，調査で対象とする専攻を最初に決める必要があった。工学分野の専門家グループは，概念的に最も明快であることを主な理由として，土木工学を選んだ。加えて，分析，設計，それを下支えする基礎的な科学概念とい3

った，全ての専攻に共通するいくつかのより一般的な技能についても調査した。テスト開発はまた，工学専門家によって作成されたアセスメント枠組みにのっとって行われた。経済学と同様，工学分野のテスト問題の焦点は，単なる知識の習得にとどまらず，学生の「技術者のように考える」能力を測定することにあてられている。テスト問題の設計は，日本の技術者資格試
験の影響を大きく受けている。経済学分野と同様に工学分野でも，テスト問題は多肢選択式問題と記述式問題の組合せであった。
フィージビリティ・スタディの当初の計画では，参加国は 5，6 箇国のみを想定していた。最終的には全 17 か国が 25 分野（一般的技能 9 か国，経済学分野 7 か国，工学分野 9 か国）に参加した。どの国も背景情報調査に参加した。それはアセスメント調査と併せて実施する 10 分間の学生調査，教職員調査，学部長（経済学部，工学部）調査，機関管理運営職者調査といったものであった。さらに，追加の背景情報として，各国の調査コーディネーターが整理して提供した高等教育システムやカリキュラムに関する記述的な資料も集められた。2012 年春に始まったテスト実施は 5 月末に終了し，採点と分析は 2012 年夏の終わりまでに完了した。
TAG の設立とその役割 OECD 事務局と関係各国は，AHELO 構想の開始当初より，AHELO フィージビリティ・スタディの技術的基準の審査と維持に責任を持つ諮問機関の必要性を認識していた。この必要性は，2007 年にワシントン，パリ，ソウルで開催された三つの専門家会合において確認された。
TAG は 2010 年に，アセスメントや政策に係る世界的な専門家 8 人をメンバーとして，正式に発足した。TAG は OECD 事務局と AHELO 各国専門家会合（GNE）の双方に報告を行った。TAG の委任事項は幅広く指定されているものの，主な役割としては，a)フィージビリティ・スタディの全側面に関する草案資料を検討し，中間修正の提案を行うこと，b) AHELO 本調査を将来的に実施することについて提言を行うこと，c)調査終了時点で AHELO の実施可能性について最終提言を行うことが挙げられている。四つ目の役割は，フィージビリティ・スタディの第二フェーズにおいて，TAG が一般的技能分野及び背景情報調査に関する専門家グループとしての任務を与えられた際に追加された。また，委任事項には GNE が技術的あるいは「その他の事項」について TAG に助言に求めることができると規定されていたため，フィージビリティ・スタディが進展するに伴って，取組の方針や実施に係る問題について TAG が検討する頻度は増加した。
フィージビリティ・スタディの実施期間中に TAG は 8 回の会合を開いた。そのうち 3 回は対面式の会合で，残りは電話会議だった。ほとんどの会議の内容は，書類の検討に基づく進捗状況の確認であり，アセスメント枠組み，テスト開発，サンプリングの方法，国家間の調整，テスト実施の手続，記述式問題の採点に係る手順，分析の計画，報告の在り方といった調査のあらゆる側面を含んでいた。フィージビリティ・スタディの中間指針の提言は， こうした検討の過程で TAG によって策定された。各会合後には，TAG 座長が報告書案を作成し，各国専門家会合と（GNE）と OECD 事務局に送達した。また，各対面会議の後，TAG 座長は GNE と対面して課題と提言について報告するとともに，GNE の議長もまた 2012 年 10 月の TAG 対面式会合にオブザーバーとして出席した。

4

フィージビリティ・スタディ全体に関する TAG の評価 AHELO-FS は高等教育レベルにおける複数国でのデータ収集という過去に例を見ない取組である。自由回答を重視した記述式問題(CRT)と予め用意された選択肢から選んで答える多肢選択式問題(MCQ)の両方を含むテスト問題を用いて，17 の異なる国・地域において，三つの分野で学習成果に関するデータが収集された。
学生，教職員，機関所属のコーディネーター，各国プロジェクトマネージャーが回答する調査からは，様々な背景的要因に関するデータが収集された。翻訳，適正化，サンプリング，テストのオンライン実施，記述式問題の解答の採点，データクリーニング，統計分析，報告といった実施上の数々の課題は，ほぼ全て適切に対処され，うまく解決されている。確かに，一部の国・地域は相対的に多くの困難を経験し，その結果として成功のレベルは一律ではなかった。
しかしながら，全ての参加国がその経験から何らかを学習し，意義のある取組であったと報告した。またこれに劣らず重要な点として，AHELO-FS は高等教育レベルでの学生の学習に関して様々な重要な結果を導き，AHELO 本調査の実施の在り方について，数々の教訓を与えるものとなった。
もっとも，AHELO のフィージビリティ・スタディには非常にうまくいった点がある一方，それほどうまくいかなかった点もいくつかある。これらの多くは，今後の AHELO 本調査への教訓を示している。
うまくいった点 フィージビリティ・スタディの際立った長所としては以下のものがある。
•

アセスメント調査の運営 フィージビリティ・スタディにとって，世界規模での複数言語・地域におけるアセスメント調査のオンライン実施は大きな挑戦となったが，見事に達成することができた。数百もの高等教育機関で実施された膨大な数のテスト・セッシ
ョンのうち，運営上の重大なミスは一つにとどまった。この達成を可能にした技術的基盤，機関コーディネーターに対する綿密な研修体制，確立された運用手続の遵守が調査実施の成功に寄与したといえよう。

•データ分析の技術的側面 多数の異なる回答者に対して六つの異なるテストや調査を実施した結果，フィージビリティ・スタディから得られたデータは大量かつ複雑なものとなった。この問題を前にして，技術的な立場から言えば，信頼に足る分析を提供する取組は模範的なものであった。分析計画は堅実なものであり，採用された統計的技法は適切かつ巧みに進められ，分析上の問題（欠損値や機能不全の項目など）が生じた場合には，適切かつ効果的な「回避策」が採られた。

•AHELO のために作成されたテストの設計 工学分野と経済学分野の多肢選択問題と記述式問題，及び三つの背景情報調査といった，フィージビリティ・スタディのために特別に設計されたツールは全て，技術的な質の観点から模範的なものだった。いずれも開発にあたって，適切かつ有益なアセスメント枠組みを参照しており，豊富な知識を有する専門家グループ（工学及び経済学の場合）や，相当な経験の蓄積（背景情報調査の場合）から情報提供を受けたものだった。しかも，これらのテストや調査票は，迅速に用意さ5れ，ほとんど手直しを必要としなかった。高い技術水準にかなうように設計され，短期間に期待できる最良の方法でパイロット調査が実施されている。
•全体の調整 AHELO-FS のように複雑な企画の運営と調整には，5 大陸，17 の固有の文化的・政治的文脈，そして多数の時差が生じる異なる時間帯において，一貫した手続を保持するという大きな課題があった。AHELO-FS 運用に当たって設けられた仕組みによって，これらの課題は，明確な方向性と最小限の混乱の下で対処された。やむを得ない問題に遭遇しても，大半は迅速かつ容易に解決することができた。

余りうまくいかなかった点 同時に AHELO-FS にはそれほどうまくいかなかった側面もある。したがって，これらの点は今後の AHELO の進展において特に検討が必要な領域を示している。
•

財源と時間 AHELO-FS は深刻な財源不足に見舞われ，極めて短いスケジュールで実施された。財源と時間がもっとあれば，次の重要な取組を手掛けることができただろう。例
えば，グループ・インタビューや新しく開発したテスト問題を試行するためのパイロット調査を増やしたり，テスト実施や採点の手順を試行するための大規模実査を行ったり，調査結果の説明やそれについてのディスカッションにより多くの時間を割いたりすることができただろう。

•

学生参加率のばらつき どんなアセスメント調査においても，その妥当性は，各機関においてサンプルとして抽出された学生の十分な参加を得られるかどうかに依拠する部分がある。AHELO-FS では，国や機関によって学生の参加率に著しい相違が見られた。国によっては（例えば，コロンビアとメキシコ），ほぼ全ての学生がアセスメント調査に参加した。他の諸国（例えばノルウェーやオランダ）では参加学生の数が余りに少なかったため，得られた結果は分析する妥当性を欠くものであった。今回，学生の参加率にばらつきが生じたことを考えると，AHELO 本調査では必要とされる水準の学生参加を確保するために，通常以上の注意が必要であることを意味している。

•記述式問題の難しさと適正化 工学分野と経済学分野のアセスメント調査で採用された記述式問題は技術的に高品質であったが，多くの学生にとって難しすぎて，効率的に取り組み好成績を残すことが困難なものだった。同時に，CLA に基づく一般的技能調査で採用された記述式問題は，国際的な場面で使用するには過度に「アメリカ的」であることが判明した。上述のように，テスト問題のパイロット調査や実査により多くの時間を費やすことができたのであれば，より早い段階でこうした状況が明らかになり，実際の調査実施までに修正できたと思われる。

•

契約上の取決め AHELO-FS は OECD 事務局と二つの主たる受託組織（ACER と CAE）の間の別個の契約から開始した。個別の契約関係は，受託組織間のコミュニケーションの悪さと作業の重複をもたらす場合があった。しかも，一般的技能分野のテスト問題の調6

達・開発は，入札手続を経ずに行われた。この事態に，CAE を ACER が率いる AHELO コンソーシアム傘下の下請組織となるよう契約上の取決めを再編する形で対処したが，こうした経緯が真のパートナーシップ文化を確立することを難しくした。

AHELO-FS から得た具体的教訓
き次の教訓が得られた。

AHELO-FS の経験から，今後の AHELO 本調査に向けて考慮すべ•

アセスメント調査の設計及び調査結果の分析の過程で，ステークホルダーの参加する機会を拡充する必要がある。フィージビリティ・スタディの多くの局面において，国・機関レベルで実施に携わった人々の知恵を，調査の改善に向けてより巧みに収集・利用できたのではないかと考えられる。テスト問題や運営手順を適正化する取組は秀逸なもので，ほとんどの場合成功したが，より多くのステークホルダーを巻き込む連携のアプローチを採用していれば，更に優れた成果を生んだかもしれない。

•

全てのテスト問題とテスト実施の手順を試行するための大規模実査ができれば，「設計して構築する」プロセスにステークホルダーが参加できるようになる。このことによって，設計を試行するとともに，その改善により多くのステークホルダーが関わることができる。これはとりわけ，国や機関間に調査結果を報告し，データを共有する場合に重要である。高等教育機関の参加者の多くは，調査結果から導かれる情報への自分たちのニーズに注意が払われていないことに，いささか失望していた。学生人口のグループ別分析を含む高等教育機関レベルの報告や，より詳細に説明された機関・国別のデータフ
ァイルがあれば有益だったと思われる。プロジェクト全体の品質管理者，さらに，参加した国・地域別の品質管理者も設けるべきである。これらはこうした調査を実施する場合の国際標準に適合するものである。

•AHELO 参加国・機関に対して，費用対効果に関するより多くの情報を提供する必要がある。AHELO 本調査への参加を検討している国・地域は，次の二つの基本的な質問をすると思われる。すなわち，「負担するコストはどれくらいになりそうか」，そして「何を学べそうか」という問いである。AHELO-FS は終了したばかりであるため，現時点では二つ目の問いについて語れることはほとんどないが，一つ目のコストについてはある程度情報を示すことができる。OECD の契約記録を見れば，それぞれのテスト問題の開発，適正化，実施に掛かる直接的なコストがわかる。サンプリング，学生の募集，テスト実施，採点及び調査結果の報告，調整／監督といった活動に対して高等教育機関や政府で発生したコストの多くについても，同様に知ることができる。だが，例えば高等教育機
関や政府の職員が AHELO のプロジェクトに従事した時間など，多くははっきりと把握するのが比較的難しいコストであるため記録されていない。結論として，将来の本調査
では，直接的コスト，間接的コストの両方に関するデータ収集について，体系的な取組が必要である。

7

•

高等教育機関・政府が実際に AHELO を遂行して利益を得ることができるか否かを判断することを可能にする「準備状況に係る基準」のようなツールを開発し，参加を検討している高等教育機関・政府や OECD が利用できるようにすべきである。AHELO 本調査における高等教育機関の参加を管理するため，国・高等教育機関の準備状況に関する明確な基準が規定されるべきである。この基準には，サンプリングのための学生母集団に関する情報，十分なコンピュータ設備，コンピュータを使ったテストを支援する IT 人員，研修参加へのコミットメント，効果的な内部管理といった規定を含めるべきである。基
準には，調査実施の手順に従い，AHELO 技術基準を遵守するという正式な誓約も含めるべきである。

•

複数の専門分野及び国家／文化的文脈において，一般的技能を効果的に調査する方法について，検討を深める必要がある。AHELO 本調査の設計において，独立した分野として一般的技能分野を設けるかどうかが，重大な設計上の選択となる。調査対象の専門分
野・専攻から独立した一般的技能コンピテンスの存在は，高等教育アセスメントの分野において争点となっている。一般的技能の中には専門分野間での転移が比較的容易なものもあれば，特定の研究分野の文脈の中でよりよく開発，応用，調査されるものもある。
フィージビリティ・スタディの一般的技能の記述式問題の結果からは，これらの課題を，文脈に即してよりよく適正化したならば，よりよい成績に結びつくかもしれないことを示唆している。フィージビリティ・スタディで使われた一般的技能に関する二つの記述式問題は，「実社会」での問題解決という文脈に設定されたものだった。しかしながら，調査結果を見ると，こうした課題がどのように文化的に位置付けられ，認識されるかは，国・地域によって著しく異なっていた。今後の AHELO 本調査において，一般的技能をいかに文脈に即して適正化するかという問題には更なる検討が求められる。選択肢の一つは，各専門分野別のテスト問題において「専門分野特有の一般的な」要素を含めるという方向性を継続することである。これは工学分野のフィージビリティ・スタディで，またある程度は経済学でも採用された方法である。この方向性での更なる発展を目指す
場合，各「専門分野特有の一般的な」コンピテンスが共通の内容となるように，一定の整合性を持たせる必要がある。独立した一般的技能を設けるという方法の継続が決定された場合，科学，社会科学，人文科学，芸術といった幅広い専門分野別グループの文脈の中で，記述式問題を設定する方法も考えられる。

•

教授・学習の改善に資する意味のある情報を提供するためには，高等教育レベルの国際的なアセスメント調査において，テスト問題の形式を組み合わせる必要がある。テスト
問題の設計に係るもう一つの選択は，AHELO 本調査に自由回答式の記述式問題を含めるのかどうかを巡るものである。 記述式問題が，多肢選択式問題だけから構成される問題群と比較して，信頼性の観点からは，より優れた結果をもたらすことはない点は，何十年もの研究から明らかにされてきたことである。フィージビリティ・スタディの結果からも，三つの分野の全てにおいて同様の結論が得られている。AHELO 本調査で問題となるのは，記述式問題を採用することによって高まる妥当性が，信頼性の低下という代償8

を埋め合わせることができるほど十分なものかどうかという点である。この点に関して，工学分野のフィージビリティ・スタディの結果は，教授・学習の改善を促進し得る最も重要な情報の多くは，記述式問題から得られることを示唆している。記述式問題をテスト問題に含める場合の主な弱点は，コストの大幅な上昇である。AHELO の主な目的が教育の改善にあるのならば，記述式問題を含めることで調査結果の妥当性は間違いなく向上する。一方，AHELO の主な目的が，学生の学習成果に関する教育機関ごとの成績について，最も信頼できる国際的なベンチマークを提供することにあるのならば，多肢選択式だけのアプローチを採用することによって，信頼性を高めコストを抑えるのが望ましいだろう。
•

高等教育機関間の結果の比較可能性を保証するためには，正確な確率抽出に基づくサンプルと許容できる水準の回答率が必要である。フィージビリティ・スタディでは，約 4分の 3 の参加機関が学生の確率抽出又は全数調査を実施した。残りの機関でそうした方法が採られなかった理由は，明らかでない。AHELO 本調査では，参加機関は対象となる学生（又は学生グループ）の一覧をまとめ，確率抽出又は全数調査を実施することが求められる。その一方で，確率抽出法の選択について，ある程度の柔軟性も確保されるべきである。例えば，対象となる学生の数が多い場合，層別の集落抽出が合理的と考えられる。AHELO が国・高等教育機関レベルで回答率の最低値を設定し，その値を下回ったデータは，分析から除外するのも合理的であろう。また，AHELO で新たにデータ収集を行う前に，回答率を高める方法について積極的に調査する必要がある。

•

学生の学習成果や学習改善支援のための政策・実践を検討している国際的な学術共同体の中に AHELO を適切に位置付け，統合するべきである。過去 10 年間に高等教育における学習実態の改善に対する政策的・学術的な関心は著しく増大した。その証拠を，欧州におけるボローニャ・プロセス及びチューニング，米国におけるスペリング委員会(Spellings Commission)とアクレディテーションに対する関心，多数の国での資格枠組みの策定，U-Map 及び U-MultiRank といった世界大学プロフィール化事業の登場に見ることができる。AHELO はこうした高等教育の質に関する新たな学術的・政策的な議論を適切に整理する格好の機会といえる。

•

これらのどの課題に対処するにも，より多くの時間と十分な資源が必要である。AHELOFS は深刻な財源不足を経験し，それにより実施の過程で多くの側面に悪影響が生じた。
財源不足は時を追って深刻になり，いわゆる「フィージビリティ・スタディ」の参加国数を上回る数の諸国が参加したことで影響は複雑になった。今後の AHELO 本調査では，財源不足という類似の事態は許されない。OECD と参加諸国は今後の進展に向けて十分な財源を確保する必要があるだろう。この点が保証されない限り，実施は時期尚早といえる。

今後に向けての展開 OECD はフィージビリティ・スタディが AHELO 本調査の実施に関する十分に肯定的な結果を得たと結論し，本調査の主な特徴の説明と諸国への参加を呼びかける内容
9

の文書を既に配布している。とはいえ，この判断によって AHELO がより広い範囲で展開されることが保証されるわけではない。今後の展開を左右する真の問題は，こうしたアセスメント調査の実施が可能かどうかではなく，この取組が費用対効果の観点から効果的といえるかどうかである。費用面については現時点で既に明らかである。AHELO-FS の実施費用は 900 万ユーロを超え，その大半は参加国の政府と高等教育機関が負担した。一方，参加国・機関が得た利益は一律ではなく，データ分析や結果の普及に地域・機関がどれだけの労力を費やしたかに大きく規定されてきた。OECD が AHELO 本調査に期待するとおり，参加機関は，国際的ベンチマーク情報を伴うアセスメント調査の結果を，戦略的計画を策定する上で有用と認識するかもしれない。一方，参加国は，高等教育の実績を評価する上で，多様な調査結果をどのように利用することができるかを模索する機会を得ることになる。フィージビリティ・スタディに参加した高等教育機関やは参加しなかった高等教育機関や国が，本調査に投資する価値があると信じるようになるかどうかは，今後見極めていかなければならない。

10