第２部 パネルディスカッション
報告

深堀

聰子

国立教育政策研究所高等教育研究部総括研究官「大学の教育改善に資する情報提供にむけて－日本・豪州・カ
ナダにおけるAHELOフィージビリティ・スタディの取組」

パネルディスカッション
コーディネーター

金子

元久

筑波大学大学研究センター教授
パネリスト

ローベルト・ワーヘナール*
オランダ

フローニンゲン大学人文学部長・同大学院研究科長

ピーター・ユーウェル*

全米高等教育経営システム研究所副所長

岸本

喜久雄

東京工業大学 大学院理工学研究科工学系長

メアリーキャサリン・レノン*

オンタリオ州高等教育質保証カウンシル上級研究アナリスト

ダニエル・エドワーズ*

オーストラリア教育研究所主任研究員

深堀聰子

国立教育政策研究所高等教育研究部総括研究官◦＊印が付いているパネリストは，当日英語で発言しており，本原稿は仮訳です。
◦報告書作成に当たり，当日の発言内容に修正を加えていることがあります。
◦所属団体，職名は2013年12月10日現在のものです。

第２部

パネルディスカッション

報告
大学の教育改善に資する
情報提供にむけて－日本・豪州・カナダにおける
AHELOフィージビリティ・スタディの取組
国立教育政策研究所高等教育研究部

総括研究官

深堀 聰子
１．はじめに経済協力開発機構（OECD）による「高等教育における学習成果調査（Assessment of Higher Education Learning
Outcomes, AHELO）」とは，大学教育の成果を世界共通のテストを用いて測定することを目的とする国際事業である。
そして，2008年から2012年にかけて実施されたのは，そうした国際的な学習成果アセスメントが実施可能であるかどうかを検証するための調査研究としてのフィージビリティ・スタディ（以下，AHELO-FS）である。AHELO-FSでは，17か国の参加のもとに，分野横断的な「一般的技能」及び専門分野「経済学」「工学（土木工学）」で調査が展開された。さらに，各分野のテストに加えて分野共通の「背景情報」調査も実施された。日本は，
豪州やカナダを含む９か国の一つとして，工学分野に参加した（図１参照）。
ここでは，このAHELO-FSの背景・目的・研究
デザインを概観したうえで，日本における組織体
制と実施手続を整理する。さらに，調査結果の試行的分析を行い，国際的な学習成果アセスメント

図１．AHELO-FSの参加国（参加分野別）の意義について考察する。

２．AHELO-FSの背景・目的・研究デザイン
学士の学位取得者に期待される知識・技能・態度（学士課程教育の成果）とは，どのようなものであり，大学は，それを学生に習得させることに成功しているのだろうか。大学進学人口が拡大し，大学入学者の資質や卒業後の進路先が多様化する中で，大学教育の質を学習成果の観点から問い直すトレンドは，世界同時進行で顕在化してきている。
そして，学生や労働者の国境を超えた移動が活発化する中で，単位や学位の等価性や国際通用性を保証する仕組みへの国際的関心も高まってきている。
そうした情勢の中でAHELO-FSは構想され，次の二つの目的を掲げて着手された。第１に，国際通用性をもつ学習
成果アセスメントを作成することは可能なのか。大学教育を通して学生が習得すべき知識・技能・態度について国際的な合意を形成し，その達成度を妥当性と信頼性をもって測定することのできるテストを開発することは可能なのかを明らかにすることが目指された。

59

第２部

パネルディスカッション

第２に，大学と学生の参加を促し，学習成果アセスメントを実施することは実質的に可能なのか。AHELOは大学
教育の画一化や標準化を志向するものではなく，大学ランキングや政府による資源配分の根拠資料として使用されることを意図するものでもない。AHELOは大学教育の質向上に資することを目指す取組である点について，大学の理解を獲得して調査への参加を得ることは可能なのか。また，調査の学術的・政策的意義について，学生の理解を獲得
して，成績評価に関連付けることなく実施しても，テストに真剣に取り組むよう説得することは可能なのかを明らかにすることが目指された。
こうした研究目的にむけて，２段階の研究デザインが構想された。第１フェーズでは，アセスメント・ツールの開発とその妥当性の検証が目指された。すなわち，「一般的技能」「経済学」「工学（土木工学）」のそれぞれの分野において，大学卒業間際の学生を対象とするテスト，及び「背景情報」に係る調査票を開発し，それらの妥当性を小規模の実査に基づいて質的に検証することが計画された。小規模の実査では，各国の任意の10大学から任意の学生100人程度を抽出し，テストに解答するとともに，テストの妥当性に関するアンケートに回答し，大学教員と学生によるグルー
プ・ディスカッション（フォーカス・グループ）にも参加するよう依頼するデザインがとられた。
第２フェーズでは，第１フェーズの結果に基づいて修正されたテストや調査票を用いて大規模の実査を行い，それらの妥当性と信頼性を量的に検証するとともに，テストを実施することが実質的に可能かどうかを検証することが目指された。大規模の実査では，各国の任意の10大学から無作為に学生1,000人程度を抽出し，テストに解答するとともに背景情報調査票にも回答するよう依頼するデザインがとられた。さらに，大学への機関調査，及び教員調査も併せて企画された（OECD, 2012, pp.77-95）。
こうしたサンプル・デザインから明らかなように，AHELO-FSのサンプルは，各国の大学システム全体を代表するものではないため，「国」を分析の単位とした比較を行うことを目的として設計されたのではない。AHELO-FSは「大学版PISA」と称されることもあるが，各国の15歳生徒人口が在籍する学校を母集団として，二段階層化抽出法に基づいて学校と生徒が無作為に抽出されたPISAのサンプル・デザインが採用されたわけではない点を強調しておく必要がある。AHELOは，「大学」を分析の単位として，大学の教育改善に資する情報を導くことを将来的な目的として設計されている。そして，AHELO-FSでは，そのために用いるテストを作成して，妥当性と信頼性を検証することが直接の目的とされている。

３．日本における組織体制と実施手続
3.1 国際的・国内的な組織体制
日本はAHELO-FSに工学分野で参加したが，そうした政策決定と事業の遂行を進めるために，図２に示す組織体制が整備された。ここでは，国際的・国内的な組織体制を合わせて整理する。
はじめに，国際的な組織体制に注目する。AHELO-FSには，OECD教育政策委員会（Education Policy Committee,
EDPC），高等教育機関経営プログラム運営理事会（Programme on Institutional Management in Higher Education,
現在はOECD Higher Education Programmeに名称変更; IMHE Governing Board, IMHE-GB），専門家会合（Group of
National Experts, GNE）の協議に基づく重層的な意思決定の仕組みがとられ，その下で事務局（Secretariat）が事業運営にあたった。EDPCとは，各国の教育政策に係る課題を検討するために設置されている委員会で，OECD全加盟国から構成されている。それに対してIMHE-GBが代表するIMHEとは，大学等の高等教育機関及び高等教育に関する課
題を扱う非営利組織を会員として，高等教育の課題について検討するためにOECDに設置されているフォーラムである。一方，GNEとは，AHELO事業の運営方針について検討するために設置された組織であり，AHELO-FS参加国を中心とする各国の政府関係者や高等教育関係者から構成されている。AHELO-FSは，高等教育をめぐる極めて多様なス
テークホルダーによる合議の下に推進された。
テスト・調査票の開発，各国におけるテスト実施（実査）に係るマネジメント，実査に基づく妥当性と信頼性の検証作業に係る委託事業は，豪州教育研究所（Australian Council for Educational Research, ACER）を代表機関とし，次の四つのグループから構成されるAHELOコンソーシアムが受託した。すなわち，「一般的技能」の取組を分担した米国のCAE（Council for Aid to Education），「経済学」分野の取組を分担した米国のETS（Educational
Testing Service），「工学（土木工学）」分野の取組を分担したACER，日本の国立教育政策研究所（NIER），及びイタ

60

第２部

パネルディスカッション

１
リアのフィレンツェ大学（UF），そして「背景情報調査」の取組を分担したオランダのCHEPS（Centre for Higher

Education Policy Studies）及び米国のCPR（Indiana University Center for Postsecondary Research）である。さらに翻訳（cApStAn Linguistic Quality Control Agency），データベース構築（International Association for the Evaluationof Educational Achievement, IEA; Data Processing and Research Center, DPC）
，オンライン・テスト・システム開発（SoNET systems），サンプリング（Statistics Canada）に係る技術専門機関も，AHELOコンソーシアムのメンバーとして事業に参画した。AHELOコンソーシアムでは，定期的にテレカンファレンスを実施し，原則として事業の基本
方針や方法を共有しながら，それぞれの分担する事業を遂行した。
さらに，AHELO-FSでは，教育調査及び高等教育研究の専門家から構成される技術諮問グループ（TechnicalAdvisory Group, TAG）が設置され，専門的・客観的な立場からGNEとAHELOコンソーシアムに助言する役割を担った（OECD, 2012, pp.96-100）。
次に，国内的な組織体制に注目する。日本では，中央教育審議会大学分科会AHELOワーキンググループの助言の下に，文部科学省高等教育局高等教育企画課国際企画室がAHELO-FS事業を所管し，国立教育政策研究所がナショナ
ル・センターとしてテスト問題の翻訳・適正化，及びテストの実施を担当した。
さらに，文部科学省は東京工業大学に先導的大学改革推進委託事業「OECD高等教育における学習成果の評価（AHELO）フィージビリティ・スタディの実施のあり方に関する調査研究」を委託し，工学分野におけるAHELO-FSの望ましい在り方，日本がAHELO-FSに参加する際の留意点，AHELO-FSの参加経験を今後の各大学における教育改善に生かすための方法等を検討するための調査研究が推進された。この調査研究を通して，AHELO-FSという国際的な学習成果アセスメントを大学教育の質保証という政策枠組み及び教育改善努力の一環として位置付け，その意義と課題について組織的に検討できたことは，非常に意義深いことであったと思われる。また，この調査研究での検討と専門的助言を得ることによって，国立教育政策研究所が国際コンソーシアムのメンバーとしてテスト問題の作成に積極的に貢献したり，ナショナル・センターとしてテスト実施の在り方について活発に発言したりすることが可能になったことも強調しておく必要がある（東京工業大学，2013年）。

図２

AHELO-FSの組織体制（国際的・国内的）

１

フィレンツェ大学は，76か国が加盟する欧州グローバル工学教育学術ネットワーク（European and Global Engineering Education
academic network; EUGENE）の幹事校を務めている。

61

第２部

パネルディスカッション

3.2 工学分野におけるコンピテンス枠組みの構築
学習成果アセスメントを通して何を測定しようとするのか。AHELO-FSでは，テストで測定する学習成果を体系的に捉えるためのコンピテンス（能力）枠組みとして，「Tuning-AHELO工学分野における期待される学習成果の概念
枠組」がチューニング協会によってチューニングの方法に基づいて策定され（OECD, 2011a）２，GNE工学専門家の審査・助言・承認をうけて確定された（OECD, 2012, pp.121-128）。
チューニングとは，専門分野ごとに学生に身に付けさせようとするコンピテンスの枠組みを定義し，大学の自律性や多様性を尊重しながらコンピテンス枠組みに則した学位プログラムを構築する「方法」や「手続き」であり，それを採用する大学の取組を指す。コンピテンス枠組みを定義するに当たっては，教員が卒業生や雇用主と協議しながら，専門分野の意義を学術的観点からだけでなく，学生の進路先である社会的観点からも，分かりやすく説明しようとする点に特徴がある。また，学位プログラムを構築するに当たっては，大学間で共有する抽象性の高い「コンピテンス」の体系の中から，各大学の固有のミッションや学生ニーズに対応したコンピテンスを選び取り，重みづけをして，科目の履修を通して達成可能であり，成績評価をするために測定可能な「学習成果」に具体化させていく方法を示している点に特徴がある。さらに，大学間で共有するコンピテンス枠組みに即して各大学が学位プログラムを構築し，学位プログラムを構成する各科目の中で設定された学習成果の習得を単位認定の要件とすることで，外的基準に基づく大学の内部質保証を推進している点に特徴がある（ゴンサレス・ワーヘナール編（深堀・竹中訳），2012年）。
チューニングは，欧州高等教育圏の確立を目指すボローニャ・プロセスの実質化を図る目的で，欧州の大学によって2000年に発案され，欧州委員会補助金を受けながら自主的に推進されてきた。チューニング第１・２期（2000～
2004年）に九つ専門分野（経営，化学，教育科学，地球科学，歴史学，数学，物理学，看護学，欧州学）でコンピ
テンス枠組みが定義されたのを皮切りに多様な専門分野で援用され，北南米，ロシア，アフリカ，豪州，中央アジア，
タイ，中国へと拡大してきた（Tuning Association, 2013）。
工学分野では，AHELO-FSが着手される以前から，既に多くの国々において，大学等の工学教育プログラムの内容が適格であるかどうかを認定する仕組みがかなりの程度確立されており，その国際通用性を保証するための取組も先駆的に進められてきていた。例えば，米国や英国をはじめとする加盟国の間で，各国の工学教育プログラムの適格性を相互に承認するためのワシントン協定が1989年に発足し，日本も技術者教育認定機構（JABEE）が2005年より加盟している（IEA, 2013）。欧州でも，欧州圏内の工学教育プログラムの適格認定を行う制度（EUR-ACE）が2008年に発足した（ENAEE, 2013）。こうした動きの背景には，国境を越えて活躍する技術者が増加しており，各国の技術者としての専門職資格の等価性・同等性を相互に承認する仕組みが不可欠になってきていることが挙げられる。そうした中で，技術者としての専門職資格の基盤をなす工学教育にも，国際通用性が要求されるようになってきているのである。
AHELO-FSでは，このワシントン協定とEUR-ACEの基準として掲げられている分野別要件の内容を比較対照し，その共通性を抽出する方法でコンピテンス枠組みが定義された。そこでは，表1に要約したとおり，工学分野におけるコンピテンス枠組みが「工学基礎・専門」「工学分析」「工学デザイン」「工学実践」「工学一般的技能」という五つのコ
ンピテンス・クラスターに分類されて定義された。
AHELOコンソーシアムでは，このように定義された工学コンピテンス枠組みに基づいてテスト問題を作成した。
その際，「工学基礎・専門」は，主として基礎的な知識・技能の習得度を測定することに適した多肢選択式問題，「工学分析」「工学デザイン」「工学実践」「工学一般的技能」は，主として「考え方」を測定することに適した記述式問題
で捉えることとした。多肢選択式問題の原案は，日本の土木学会の認定土木技術者資格試験（土木学会技術推進機構，
2013）及び日本技術士会の技術士第一次試験（日本技術士会，2013）の問題の提供を受けて作成した。また記述式問題の原案は，実在する構造物の構造や機能の特徴を分析したり課題を解決したりする能力を問う問題を豪州チームが作成した。これらの原案を，各国（豪州，日本，イタリア，ドイツ，スウェーデン，米国，メキシコ）の工学教育の推進に中核的役割を担う専門家から構成される委員会で精査する方法で確定した。いずれの問題についても，測定しようとするコンピテンスと学習成果，難易度，回答の観点と水準，配点を明記した採点ルーブリックを合わせて開発した（OECD, 2012, pp.252-268）。
２

62

同様に，経済学分野でもチューニングの方法に基づいてコンピテンス枠組が定義された（OECD, 2011b）。

第２部

表１
コンピテンス・クラスター

パネルディスカッション

Tuning-AHELO 工学分野におけるコンピテンス枠組（概要）
コンピテンスに関する記述

工学基礎・専門
Basic and Engineering Sciences

数学，科学，工学に関する知識を応用する能力。

工学分析
Engineering Analysis

実験をデザインして遂行し，データを分析して解釈する能力。工学の課題を同定，整理，解決する能力。

工学デザイン
Engineering Design

経済，環境，社会，政治，倫理，健康，安全，生産可能性，持続可能性などの現実的な制約の下で，定められた要件を満たすシステム，要素，工程をデザインする能力。

工学の実践
Engineering Practice

専門職としての倫理的責任に関する理解。現代社会の問題に関する知識。工学の実践に必要な技術手法，最新の工学のツールを活用する能力。

工学一般的技能Engineering Generic Skills

学際的なチームの一員として役割を果たす能力。効果的にコミュニケーションを取る能力。工学による解策の影響を国際社会，経済，環境，社会的文脈の中で理解するために必要な幅広い教養。生涯を通じて学習に取り組む心構えと能力。

3.3 テストの実施
前述したとおり，AHELO-FSの実査は２段階で実施した。第１フェーズ（2010年１月～2011年６月）では，開発された問題によって，各国の学生が大学で学んだ内容が問われているか，各国語に翻訳したテスト問題によって同等の学習成果が測定されているか，すなわち翻訳によって測定されている内容，設問の明示性，問題の難易度に違いが生じていないかを，小規模の実査に基づく質的検討を通して明らかにすることが目指された。
テストは，問題プールの中から多肢選択式問題20問，記述式問題1問を組合せ，大学ごとに異なる問題セットを出
題し，60分間で実施した。さらに，テスト終了後に，テスト問題の妥当性に関する学生アンケートと，大学教員と学生によるディスカッションを行った。日本では，ナショナル・センターから参加を依頼した10大学の任意の学生
75人を対象に，2011年５月16日から５月25日の期間に実施した。
第２フェーズ（2011年７月～2012年12月）では，第１フェーズの結果に基づいて修正したテスト問題によって，測定しようとしている学習成果を実際に測定することができたか（妥当性），また何度測定しても同等の結果が得られるか（信頼性）を，大規模の実査に基づく量的検討を通して明らかにすることが目指された。さらに，大学と学生の理解と協力を得て，学生サンプリングを適切に実施し，一定の回答率を確保することができるかを検証することも目指された。
テストは，問題プールから多肢選択式問題25問と記述式問題1問を項目反応理論に基づいて組み合わせた18種類のパターンの中から，学生ごとに異なる組合せを出題し，90分間で実施した。日本では，ナショナル・センターから依頼した12大学（全国の国立大学８校，私立大学４校）の学生504人（土木工学プログラムの学生全数，回答率12～100％・平均回答率65％）の参加の下に，2012年４月23日から５月25日の期間に実施した。学生調査と合わせて，大学調査（12大学が参加）及び教員調査（196人が参加）も実施した（OECD, 2012, pp.147-172）。

3.4 テストの採点
採点者がテストで測定しようとしているコンピテンスと学習成果について理解を共有し，共通の観点から同等の水準でテストを採点できているかどうかは，テストの妥当性と信頼性を確保する上で極めて重要な要件といえる。
AHELO-FSでは，記述式問題の採点ルーブリックの観点と水準の規定及び採点者のトレーニングに特に重点的に取り組んだ。
第１フェーズの小規模実査では，AHELOコンソーシアム側で準備した採点ルーブリック（第１版）に基づいて，各国で採点を実施した。日本では６人の工学専門家が，75名の学生の解答を採点する過程で明らかになった採点ルー
ブリックの問題点を整理してコメントした。例えば，正答とみなされ得る解答の観点が採点ルーブリックに含まれていない場合には加筆を要求したり，採点ルーブリックの観点や水準が不明瞭な場合には明確化を要求したり，観点の重要性に相応した点数配分（重みづけ）を要求したりした。AHELOコンソーシアムでは，こうした各国からのコメ
ントに基づいて修正した採点ルーブリック（第２版）を取りまとめた。

63

第２部

パネルディスカッション

第２フェーズの大規模実査の採点に備えて，国際的な採点トレーニングが２回（のべ４日間）実施された。ここでは，各国の採点リーダーが一堂に会し，第１フェーズの小規模実査から得られた日本と豪州の学生の解答を採点ルー
ブリック（第２版）に基づいて実際に採点し，共通の結果が得られるまで協議を重ね，必要に応じてさらに修正を加えた（採点ルーブリック第３版・確定版）。
この際，採点ルーブリックの観点や水準に関する国際的な共通理解を確立する過程で，日本の学生の解答が採点資料として多用されたことには，日本の学生の学習状況が適切に反映される上で，大きな意義があったと思われる。
国際的な採点トレーニング終了後には，各国において，採点リーダーの主導の下に国内的な採点トレーニングが実施された。AHELOコンソーシアムでは，採点が可能な限り共通の手順で進められるよう，採点トレーニングと実際の採点のためにオンライン・プログラムを開発した。
日本では，採点リーダーの主導の下，12人の工学専門家がのべ3日間にわたって採点トレーニングと採点に従事した。採点トレーニングでは，大規模実査で回収された学生の解答の一部について，採点リーダーが事前に採点し，その結果と採点者が採点した結果が一致しない場合，一つ一つについて採点チーム全員で不一致の理由を検討し，採点
ルーブリック（確定版）の観点と水準に関する共通理解の確立が図られた。
こうしたトレーニングを経て遂行した採点は，結果的に高い信頼性が確保された。採点プログラムでは，学生の解答の２割余りについて，自動的に無作為に二人の採点者が重複して採点するように設定されていたが，日本では，この重複採点の一致度は89.1％に上った。異なる採点結果については，採点リーダーの判断で修正するとともに，採点チームとして，随時採点の観点と水準を確認する機会が採られた（OECD, 2012, pp.173-180 ; OECD, 2013a, pp.9095）。

４．調査結果の試行的分析
4.1 調査結果の分析についての考え方
AHELO-FSの大学サンプルはナショナル・センターの依頼に基づく便宜サンプルであり，各国の大学システム全体を代表するものではないため，「国」を単位とした調査結果の分析を行うことは適切ではない点は，先に確認したとおりである。
さらに，AHELO-FSの大規模実査では，項目反応理論に依拠して学生が異なる問題セットに解答しているため，テスト問題開発中の現段階では，「学生」を単位とした調査結果の分析を行うことも厳密には難しい。すなわち，項目
反応理論では，過去の調査実績に基づいて問題の難易度や学生の得点分布があらかじめ既知の場合，異なる問題セッ
トに解答した学生の得点を標準化して比較可能にすることができるが，AHELO-FSではこうしたテストの特性に関する情報が整っていない。AHELO-FSで項目反応理論に基づく調査デザインが採られたのは，大学や学生の負担をできるだけ抑制しながら，１度の調査にできるだけ多くのテスト問題の妥当性と信頼性を検証することを優先した政策判断によるが，結果的に調査結果を正しく理解するためには心理統計学の高度な知識が必要になり，工学専門家や教育学専門家にとって調査結果を分析するのが難しくなった点を指摘しておく必要がある。
AHELO-FS大規模実査は，国際通用性をもつ学習成果アセスメントを作成して実施することが可能かどうかを量的に検討することを目的として手がけられた。調査結果の心理統計学に基づく分析から，OECDはテストの妥当性と信頼性は基本的に検証されており，国際的な学習成果アセスメントは実施可能であると結論づけ，AHELOの本調査実施にむけた議論を開始した（OECD, 2013b）。しかしながら，AHELOが大学の教育改善に資するいかなる情報を提供し得るのかについては，AHELO-FSの枠組みの中では具体的な提案がほとんどなされなかった。AHELO本調査が実施可能となるためには，政府と大学の協力が不可欠であるが，調査に協力することが政府や大学にいかなるメリットをもたらすのかについての説明責任は，いまだ果たされていない。
AHELO-FSの調査デザイン上，「国」を分析の単位とした調査結果の分析を行うことは適切ではない。また「学生」
がAHELOのテスト得点を個人の能力指標として利用できるようになるまでには，一定程度の調査実績の蓄積を待たなければならない。それでは，多大なコストをかけて，国際的な学習成果アセスメントを実施することの意義は果た
してどこにあるのだろうか。
先述した先導的大学改革推進委託事業「OECD高等教育の学習成果の評価（AHELO）フィージビリティ・スタディ

64

第２部

パネルディスカッションの実施のあり方に関する調査研究」では，「大学」が国際的な学習成果アセスメントから期待する教育情報に関する検討が行われ，大きく次の３点が議論された。
第１は，国際的なベンチマーキング情報である。自校の学生の学習成果の水準は，国際的な水準と照らし合わせてどの程度なのか。その際，大学の問題関心は，日本の大学グループが「グループ全体」として世界で何位なのかということではなく，自校の学生の学習状況が，所定の大学グループの中でどの程度なのかという点にある。ベンチマー
キングする大学グループが国の大学システム全体を代表しているかどうかは問題とされず，どの大学から構成されているのかという具体的な情報こそが重視された。
第２は，自校の強みと弱みを客観的に理解するための情報である。AHELO-FSでは，「工学基礎・専門」「工学分析」「工学デザイン」「工学実践」「一般的技能」の五つのコンピテンス・クラスターから構成されるコンピテンス枠組みが採用されたが，自校の学生はこのコンピテンス枠組みのどの領域で秀でており，どこに課題を抱えているのか。例えば，図３に示すような自校の学生のコンピテンス・プロフィールを国際的にベンチマーキングした情報を大学は求めているのである。

図３

コンピテンス・プロフィール（架空データ）

第３は，学生の学習実態や大学の教育環境の在り方とテスト得点との関係を理解するための情報である。大学教育の在り方にどのような課題があり，どう改善すれば学習成果の効果的な習得を期待することができるのか。学生による大学での学びをデザインする際に参考となるエビデンスを大学は求めている。
国際的な学習成果アセスメントに対する大学の期待に，AHELOはどの程度応えることができるのだろうか。繰り返しになるが，AHELO-FSはAHELOの実施可能性を検証するための調査であり，AHELOの目的である大学の教育改善に資する情報を導くことまで視野に入れて設計されたものではない。
特に，コンピテンス・クラスター別の分析については，残念ながらそれが可能となる十分なデータが今回の調査からは得られていない。したがってここでは，AHELO-FSから「何が明らかになったのか」を厳密に追究するのではなく，「どのようなことを明らかにできそうなのか」という探索的な観点から，試行的に手がけた分析結果を参考資料として提供したい。
以下のセクションでは，学生のテストや学部教育に対する印象，及びテスト結果との関係から「テストの妥当性」を確認した上で，学生の「時間の使い方」とテスト得点，大学の「授業形態」と学生のテスト得点について整理する。
分析に使用するテスト得点データは，多肢選択式問題と記述式問題の総合点である。この総合点は，学生が共通して解答した多肢選択式問題に基づいて各テスト項目の正答確率を推定して導いた標準得点である（平均500点，標準偏差100）（９か国，70大学，学生6,078人）
。

65

第２部

パネルディスカッション

4.2 テストの妥当性
はじめに，テストの妥当性について確認しておこう。AHELO-FSのテストでは，学生が大学で学習した内容を適切に測定することができたのだろうか。ここでは，学生がテストの妥当性についてどのように感じたのか，そしてそうした感じ方がテスト得点とどのような関係にあるのかに注目する。
まず，図４が示すとおり，テストが「学部教育で学習した内容に合致していた」と回答した学生は９割近く（「非常によくあてはまる」14％，「よくあてはまる」37％，「あてはまる」37％）に上り，合致していたと感じている程度が強い学生ほど，テスト得点が高かった。同様に，テストが「将来の仕事で必要とされる内容に合致していた」と回答した学生は75％（「非常によくあてはまる」７％，「よくあてはまる」24％，「あてはまる」44％）に上り，合致していたと感じている程度が強い学生ほど，テスト得点が高かった。したがって，AHELO-FSのテスト問題は，学部
教育の学習成果を測定するツールとして，おおむね妥当だと学生によって受け止められているようであり，大学教育に適応している学生の能力を測定する上で有効であったといえそうである。
なお，テスト得点は，学生の成績とも矛盾しない関係にあり，「学部教育を通しての成績（同じ専攻の他の学生と比較して）」（上位13％，平均より上25％，平均24％，平均より下22％，下位16％）が上位の学生ほど，テスト得点が高かった。一方，「解答するのにどれほどの労力が必要だったか」（「この上なく必要」15％，「かなり必要」45％，「少し必要」40％，「まったく必要なかった」１％）という問いに対して，より多くの労力が必要だったと回答した学生，
すなわちテストが難しかったと感じた学生ほど，テスト得点が低かった。こうした結果も，AHELO-FSのテスト問題
が大学教育に適応している学生の能力を測定する上で有効であったことを裏づける結果とみなすことができる。
学生の学部教育に対する評価と，テスト得点の関係についても確認しておこう。学部教育は「将来の職業や仕事で

図４66

テストの妥当性：学生の印象とテスト得点

第２部

図５

パネルディスカッションストの妥当性：学部教育の評価とテスト得点必要だと思われる知識・技能を習得するうえで」役立っていると回答した学生は９割近く（「非常に役立っている」
６％，「かなり役立っている」30％，「やや役立っている」50％）に上り，役立っている感じている程度が強いほど
テスト得点が高かった。「学部教育をとおして経験してきた教育全体」の評価では，よかったと回答した学生は約半
数（「非常によかった」９％，「よかった」44％，「普通」41％，「よくなかった」６％）に留まったが，よかったと感じている場合の方が，テスト得点が高かった。これらの結果も，AHELO-FSのテスト問題が大学教育に適応している学生の能力を測定する上で有効であったことを支持している。

4.3 時間の使い方
それでは，AHELOは大学教育の改善に資するいかなる情報を大学に提供し得るのだろうか。ここでは試行的な分析として，学生の生活時間の使い方とテスト得点の関係に注目してみよう。
日本の高等教育政策では，学生の大学での質の高い学びを実現するために，「事前の準備，授業の受講，事後の展開を通した主体的な学びに要する総学修時間」を確保する重要性が強調されている（中央教育審議会，2012年）。その背景には，日本の学生の「総学修時間」が，一日平均4.6時間（東京大学大学経営・政策研究センター（CRUMP）「全
国大学生調査」）に留まっているという問題意識がある。
AHELO-FSでは，学期中（３年生前期）の典型的な１週間（７日）に学生が諸活動に費やす時間を尋ねている。そこでは「正規の授業への出席（講義・個人指導・ゼミ等）」18.9時間（平均値，以下同様），「実験・実習・実技に取り組む（実験室での実験やフィールド調査等）」5.7時間，「授業の準備（予習・宿題・発表の練習等）」6.8時間，「専攻に関連したアルバイト」0.5時間，「専攻に関係のないアルバイト」10.5時間，「大学の課外活動への参加（大学新聞，
自治会，クラブ活動等）」7.7時間であった。すなわち，学生が授業，実験・実習・実技，授業の準備に費やしている
平均時間の合計は31.4時間であり，１日平均4.5時間ということになる。これは上述の調査とほぼ同値である。
一方，専攻に関係のないアルバイトや課外活動に費やす時間の平均は，18.2時間（一日平均2.6時間）であった。なお，専攻に関連したアルバイトには，日本の大学生はほとんど携わっていない点が特徴的である。
こうした時間の使い方は，学生のテスト得点とどのような関係にあるのだろうか。「正規の授業への出席」では，一週間に10時間以下の学生（15％）は，テスト得点が低い傾向があり，学習上の支援を要するグループとして注視する必要があるのかもしれない。「授業の準備」では，全体の56％を占める「０－５時間」グループのテスト得点が低く，「11－15時間」（10％）グループのテスト得点が最も高かった。16時間以上の時間を費やす効果はテスト得点には表れていない。したがって，「０－５時間」グループの学生の自律的な学習時間を「11－15時間」程度まで引き上げる教育上の工夫が必要なのかもしれない。

67

第２部

パネルディスカッション

図６

時間の使い方とテスト得点「専攻に関係のないアルバイト」は，学生の学びに負の効果をもたらしている。学生が専攻に関係のないアルバイトに費やす時間が長ければ長いほど，テスト得点は低下しており，特に１週間に10時間を超える場合に顕著である。
学生がなぜ，専攻に関係のないアルバイトに過剰な時間を費やすのかを調査して，学生支援の拡充などの適切な措置を取る必要があるだろう。また豪州では，「専攻に関連したアルバイト」が学生の学びに正の効果をもたらすことが確認されていることから，そうした学習と結びついたアルバイトの機会を開拓していく工夫の余地があるのかもしれない。
最後に，「大学の課外活動」には，過半数の学生がほとんど参加していないが，テスト得点が最も高いのは，「11－15時間」グループ（11％）である。大学は学びの場であるとともに，社会的な交わりの場でもあることを考えると，課外活動への適度な参加は，大学生活全体への統合的参加を促し，学びにも望ましい影響をもたらすという仮説をたてることができる。

4.4 授業形態
学生が受講している授業の形態とテスト得点の関係に注目してみよう。日本の土木工学プログラムの学生が4年生

68

第２部

図７

パネルディスカッション

各授業形態の割合別テスト得点（全体）の４月までに受講した「学部教育の正規の授業」全体に占める「講義（主に講師が話す）」「演習・個別指導（テーマ
について学生が積極的に議論することが期待されている）」「グループ活動（教員の監督や支援のもとで，学生が協力して作業に取組む）」の割合（平均値）は，それぞれ74％，20％，25％であった。学生は講義中心の授業を受講しており，演習やグループ活動などの参加型の授業はそれほど普及していない。
各授業形態が占める割合別にテスト得点を整理してみると，図７にみるとおり，「講義」形式の割合が高いグ
ループ（「76％以上」51%，「61－75%」30％），「演習」形式の割合が低いグループ（「25％未満」59％，「ない」
16％），及び「グループ活動」形式の割合が低いグループ（「25－40％」26%，「25％未満」54%，「ない」４％）ほど，
テスト得点が高いことがわかる。
この結果から，次の二つの仮説をたてることが可能だろう。一つ目の仮説は，学生の学業成績の高い大学では，授業形態に係る工夫が余りなされておらず，伝統的な「講義」形式が踏襲されているのに対して，学生の学業成績に課題のある大学では，「演習」「グループ活動」などの参加型の授業を積極的に取り入れ，付加価値を高める努力が展開されているというものである。
二つ目の仮説は，「演習」や「グループ活動」などの参加型の授業の教育効果は検証されにくいというものである。
学生による自律的な学習を促すためには，教員の側の周到な授業設計や教材準備に裏打ちされた高い教育力量が求められ，「講義」形式の授業が主流の日本では，いまだ十分な条件を整備するに至っていないのかもしれない。あるいは，参加型の授業の効果はテスト得点という形で顕著に捉えるのは難しいのかもしれない。
図８は，大学Ａ（ｎ＝45）と大学Ｂ（ｎ＝23）について，各授業形態が占める割合別にテスト得点を整理した結果である。サンプル数が少ないため，極めて探索的な分析であるが，上述の二つの仮説を支持する結果とみることができる。
すなわち，大学Ａに比べて学生の学業成績が優秀な大学Ｂでは，「講義」形式の授業の割合が高く，
「演習」
「グルー
プ活動」形式の授業の割合が低い。また，学生もそうした授業形態に比較的よく適応しているようである。それに対

69

第２部

パネルディスカッション

図８

各授業形態の割合別テスト得点（大学Ａ・Ｂ）

して大学Ａでは，「講義」形式の授業が低く，「演習」「グループ活動」形式の授業が高い割合で導入されている。そして，学生のテスト得点は，受講している授業全体に占める「講義」形式の授業が４割未満の学生の場合に相対的に高いことを確認することができる。ところが，「演習」「グループ活動」の授業を多く受講している学生のテスト得点が高いかというと，そうした明確な傾向を確認することはできない。

4.5 大学の教育改善に資する情報提供にむけてこのように，AHELO-FS調査結果の試行的な分析から，学生の学習実態や大学の教育環境の在り方とテスト得点との関係についての理解を深めるうえで有益ないくつかの情報を導くことができた。大学が自校の教育課題を見極め，学生の学びをデザインするために参考となる情報を提供する可能性を，AHELOは確かに含んでいる。こうした情報
提供の可能性を強化しながら，AHELOが更に取り組まなければならない課題は，大学のコンピテンス・プロフィー
ルを国際的にベンチマーキングした情報に係る大学の要請にどう応えていくかという課題である。
大学が求める自校のコンピテンス・クラスター別の「強み」と「弱み」の診断，コンピテンス・プロフィールの作
成は，AHELO-FSの調査結果の分析から実現することはできなかった。そうした情報提供をするために，どのような調査デザインを取り，いかなるテスト問題を開発する必要があるのかについて，専門的な検討を深める必要がある。
一方，国際的なベンチマーキングの要請に応えるために，日本・豪州・カナダ（オンタリオ州）のナショナル・セン
ターでは，データの共有・相互利用に関する覚書を交わし，３国の分析を行ってきた。この覚書では，３者がそれぞれのナショナル・データの機密性を相互に尊重し，教育研究以外の目的で使用することはないこと，互いのデータやその分析結果を事前に文書による承諾を得ることなく，第三者に開示することはないこと等について合意したことが明記されている。そして，この覚書に基づいて，３者では参加大学に国際ベンチマーク情報を提供することに努めてきた。こうした取組は，国際的なデータ共有のプロトコルづくりにむけて，重要な前例になると思われる。

70

第２部

パネルディスカッション

５．国際的な学習成果アセスメントの意義
AHELO-FSの取組を通して，国際的な学習成果アセスメントが政府や大学をはじめとするステークホルダーにどのようなメリットをもたらすのか，またどのような課題が残されているのかについて，具体的な議論を展開する材料が整ったことは，極めて重要な第一歩であったと思われる。
こうした意義に加えて，AHELO-FSに工学分野で参加し，テスト問題の作成・実施・採点といった一連の活動に参画したこと自体に大きな意義があったといえる。ここでは，そうした意義を３点に絞って整理して，本稿を締めくくりたい。
第１に，工学分野でどのような学習成果の習得が期待されているのかについて，異なる国や大学の専門家が共同作業として検討することを通して，国際的に共通認識が醸成されていることを，具体的な場面で確認することができた。
またそれを具体的なテスト問題と採点ルーブリックに集約することができた。今後，こうした経験と成果に関する情報を広く普及させていくことで，日本の工学教育の国際通用性を高める方法の検討に対して，重要な示唆を提供することができると思われる。
第２に，AHELO-FSテスト問題（多肢選択式問題）では，日本側から提案した土木学会の認定土木技術者資格試験
及び日本技術士会技術士第一次試験の問題が，国際的な工学専門家委員会によって，国際通用性のある問題として採択された。また，第１フェーズの小規模実査からその妥当性が質的に検証され，第２フェーズの大規模実査からもその妥当性と信頼性が量的に検証されたと，OECDは報告している。このことは，工学分野のコンピテンス枠組みを構成する「工学基礎・専門」に係る日本の標準的な問題が，国際標準に合致することが公認されたことを意味する。
第３に，工学分野のコンピテンス枠組みを構成する「工学分析」「工学デザイン」「工学実践」及び「工学一般的技能」
について，新しい知見を得ることができた。これらのコンピテンスが重要であるという認識は日本でも既に共有されているが，具体的な取組として教育プログラムに広く反映されている状況とはいまだいえない。そうしたなかで，これらのコンピテンスを測定する試行的な取組を展開することで，その重要性について明確なメッセージを改めて発信することができた。さらに，これらのコンピテンスがどのような問題で測定され得るのかについて，大学教員や学生に具体的なイメージを提供することができた。
コラム１に示す記述式問題に対する学生のコメントが象徴するように，AHELO-FSに参加した経験は，関係者の多くに日々の教育について強烈な「気づき」をもたらしたと考えられる。そして，AHELO-FSは国際的取組であることから，イニシアティブとして強い影響力を発揮することが期待される。

コラム１．記述式問題に対する学生のコメント▪学生Ａ：「大学では理論的，抽象的な問題が多いなか，現実問題を扱っている点が面白かった。倫理的な問題も面白かった。
」▪学生Ｂ：「何が原因だったかを考え，どうするかという流れは，よい問題，面白い問題だったと思う。実務に役立つと思った。
」▪学生Ｃ：「記述式問題のような問題が重要なら，グループワークやケーススタディの授業が必要だが，今まではなかった。解くアプローチを学ぶ機会がなかった。」

71

第２部

パネルディスカッション【参考文献】▪中央教育審議会『新たな未来を築くための大学教育の質的転換に向けて～生涯学び続け，主体的に考える力を育成
する大学へ～（答申）』2012年。
▪東京工業大学「OECD高等教育における学習成果の評価（AHELO）フィージビリティ・スタディの実施のあり方に関する調査研究（最終報告書）」（文部科学省先導的大学改革推進委託事業）2013年。
▪東京大学大学経営・政策研究センター『全国大学生調査』2008年。
▪フリア・ゴンサレス/ローベルト・ワーヘナール編著（深堀聰子/竹中亨訳）『欧州教育制度のチューニング-ボロー
ニャ・プロセスへの大学の貢献』明石書店，2012年。
▪ENAEE（European Network for Accreditation of Engineering Education）（2008）. EUR-ACE（European

Accreditation of Engineering Programmes）Framework Standards for the Accreditation of Engineering
Programmes.
（http://www.enaee.eu/wp-content/uploads/2012/01/EUR-ACE_Framework-Standards_2008-11-0511.pdf）▪IEA（International Engineering Alliance）（2013）.Graduate Attributes and Professional Competencies（http://www.ieagreements.com/IEA-Grad-Attr-Prof-Competencies.pdf）▪OECD（2011a）, "A Tuning-AHELO Conceptual Framework of Expected Desired/Learning Outcomes in Engineering",

OECD Education Working Papers , No. 60, OECD Publishing.（doi: 10.1787/5kghtchn8mbn-en）（http://www.oecd-ilibrary.org/education/a-tuning-ahelo-conceptual-framework-of-expected-desired-learningoutcomes-in-engineering_5kghtchn8mbn-en）▪OECD（2011b）, "Tuning-AHELO Conceptual Framework of Expected and Desired Learning Outcomes in
Economics", OECD Education Working Papers , No. 59, OECD Publishing.（doi: 10.1787/5kghtchwb3nn-en）（http://www.oecd-ilibrary.org/education/tuning-ahelo-conceptual-framework-of-expected-and-desired-learningoutcomes-in-economics_5kghtchwb3nn-en）▪OECD（2012）.Assessment of Higher Education Learning Outcomes Feasibility Study Report Volume 1 – Design

and Implementation.
（http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume1.pdf）▪OECD（2013a）.Assessment of Higher Education Learning Outcomes Feasibility Study Report Volume 2 – Data

Analysis and National Experiences.
（http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume2.pdf）▪OECD（2013b）. Assessment of Higher Education Learning Outcomes Feasibility Study Report Volume 3 – Further

Insights.
（http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume3.pdf）【ウェブサイト】▪土木学会 技術推進機構「土木学会認定土木技術者資格制度-過去の筆記試験問題」（http://www.jsce.or.jp/opcet/02_testQ.shtml）（2013年11月１日アクセス）▪日本技術士会「試験・登録情報-試験関係資料」（http://www.engineer.or.jp/c_categories/index02019.html）（2013年11月１日アクセス）▪日本技術者教育認定機構（http://www.jabee.org/）（2013年11月１日アクセス）▪Tuning Association. Tuning Educational Structures in Europe.
（http://www.unideusto.org/tuningeu/）．
（2013年11月１日アクセス）

72

第２部

国立教育政策研究所
平成25年教育改革国際シンポジウム
2013年12月10日（火）13:00～17:30
パネル・ディスカッション報告

パネルディスカッション

OECD‐AHELO進捗状況• OECD‐AHELO:大学教育の成果を世界共通のテストで測定する国際事業。

大学の教育改善に資する情報提供にむけて• OECD‐AHELO フィージビリティ・スタディ（実施可能性の調査）§– テスト問題を開発することはできるのか。

日本・豪州・カナダにおける
AHELOフィージビリティ・スタディの取組• 何を測定するのか・・・コンピテンス枠組を定義する。
• どう測定するのか・・・コンピテンスを学習成果に具体化して設問に落とし込む。
• どのように採点するのか・・・採点ルーブリックをとおして、学習成果の範囲（観点）と水準を規定し、認識を共有する。

深堀聰子
国立教育政策研究所– テストを実施することはできるのか。
• 大学・学生の協力を獲得する。

– テストの妥当性と信頼性を検証することはできるのか。
• TAG（技術諮問グループ）の結論。
Satoko Fukahori

2013.12.10 NIER Symposium

1

2

AHELO‐FSの調査設計

OECD‐AHELO本調査にむけて- 組み込まれた方向性 • 任意の大学（便宜サンプル）-だれのため・何のために実施するのか-– 各国の大学システムを代表するサンプルではない。

• 調査を実施することは、だれに対して、どのようなメリットをもたらすのか。

• 「大学（高等教育機関）」母集団の定義は一律ではない。
• 大学を母集団から無作為に抽出し、調査への参加を取りつけるのは容易ではない。

– 調査結果をどのように分析するのか。
– だれに対して、どのように報告するのか。

– 「国」の比較は適切ではない。

• 各大学で学生を無作為に抽出– 学生は在籍する大学（プログラム）を代表するサンプル。
– 項目反応理論にもとづいて、学生は異なる問題セットに解答。

※ 明確なビジョンを共有することなく、取組を発展させることはできない。

• 「学生」の得点を標準化して比較可能するには、問題の難易度や分布に関する情報が必要（現段階では情報の蓄積がない）。学生を分析の単位とした調査結果の活用は、直ちには難しい。

• 分析の単位は「大学」– AHELOは、大学に対して、その教育改善に資する情報を提供するために実施する。

Satoko Fukahori

2013.12.10 NIER Symposium

Satoko Fukahori

2013.12.10 NIER Symposium

34

大学が求めている教育情報【検討の場】– 文部科学省先導的大学改革推進委託事業「ＯＥＣＤ高等教育における学習成果の評価（ＡＨＥＬＯ）フィージビリティ・スタディの実施の在り方に関する調査研究」(平成21～24年度）– 国立教育政策研究所国際研究協力活動による研究「ＡＨＥＬＯ調査結果の分析に関する研究会」（平成25年度）

パネル・ディスカッションにむけて- 問題提起 -•①国際的なベンチマーク情報

国際的な学習成果アセスメントは、
大学の教育改善に資する
いかなる情報を提供しうるのか？

– 「自校」の学生の学習成果は、国際的なグループと照合してどの程度か。
•••

日本の大学が「グループ」として、世界で「何位」なのかは、問題ではない。
ベンチマークする大学グループが、各国の大学システムを代表しているかどうかも、問題ではない。
ベンチマークする大学グループが、具体的にどの大学から構成されているかの情報こそが重要。

•②自校の学生グループの「強み」と「弱み」– コンピテンス枠組にもとづくコンピテンス・プロフィール。

•③背景情報とテスト得点の関係– 教育改善の方向性に係る示唆を得るために。

Satoko Fukahori

2013.12.10 NIER Symposium

Satoko Fukahori

5

2013.12.10 NIER Symposium

6

73

第２部

パネルディスカッション③背景情報とテスト得点の関係①国際的なベンチマーク情報②コンピテンス・プロフィール- 試行的分析 • 中央教育審議会『新たな未来を築くための大学教育の質的転換に向けて～生涯学び続け、主体的に考える力を育成する大学へ～（答申）』平成24（2012）年。

コンピテンス・クラス
ター別の分析を行うことを目的としたテスト問題を作成する必要がある。

大学が求めている
教育情報のイメージ〔架空データ〕①「主体的な学修を促す学士課程教育の質的転換が必要」– ディスカッションやディベートといった双方向の授業。
– インターンシップ等の教室外学修プログラム。
• 仮説１：「講義」に対して「演習・個別指導」「グループ活動」の比重を高めた方が、「主体的に考える力」が育まれる。

◆ベンチマーク・
グループを構成する
大学情報を共有する（事前の了解が必要）。
◆各大学が「ピア」を選べるように。

②「質を伴った学修時間が必要」– 主体的な学修に要する総学修時間（事前準備・授業受講・事後展開）の確保。
• 仮説２：「総学修時間」が長いほど、「主体的に考える力」が育まれる。

Satoko Fukahori

Satoko Fukahori

2013.12.10 NIER Symposium

2013.12.10 NIER Symposium

78

国際データの共有

テスト得点- 日本・豪州・カナダ覚書 -「主体的に考える力」を測定しているか• SWLE(Scaled Weighted Likelihood Estimate)• ３者は「ナショナル・データ」の機密性を相互に尊重しつつ、教育研究目的で共有することに合意する。

– 「多肢選択式問題」「記述式問題」の総合点• 項目反応理論を用いて算出される各受験者の能力パラメータ推定値。
• 平均点500, 標準偏差100となるように線形変換。

• ３者は互いのデータやその分析結果を、事前に文書による承諾を得ることなく、別の第三者に開示することはない。ただし、参加大学に対してデータおよび分析結果を機密情報として開示する場合には、この限りではない。

• 学生のコメントより– 「多肢選択式問題」について• ほとんどが大学で教わっている問題であり、解けてしかるべきだと思う。
• 問題が全部単発で、広く浅くという印象。もっと掘り下げた方がよいのでは。

• この覚書に示す３者による合意について、メディアやホームページ等をとおして広く公表する場合には、事前に相互の了解を得る必要がある。

– 「記述式問題」について• 何が原因だったかを考え、どうするかという流れだったことから、よい問題、面白い問題だったと思う。実務に役立つ。
• 大学では理論的、抽象的な問題が多いなか、現実問題を扱っている点が面白い。倫
理的な問題が面白い。
• 記述式のような問題が重要なら、グループワークやケーススタディの授業が必要だが、今まではなかった。解くアプローチを学ぶ機会がなかった。
Satoko Fukahori

2013.12.10 NIER Symposium

Satoko Fukahori

2013.12.10 NIER Symposium

9

日本では、学生が主体的に取り組む授業が相対的に少ない。
ただし、「演習」「グループ活動」が多いほどテスト得点が高いわけではない。25％程度が適正規模？
「演習・個別指導」「グループ活動」（テーマについて学生が積極的に （教員の監督や支援のもとで学生議論することが期待されている） が協力して作業に取り組む）

仮説１：「講義」に対して「演習・個別指導」「グループ活動」の比重を高めた方が、主体的に考える力が育まれる。
•

10

学部教育の正規の授業全体に占める「講義（主に講師が話す）」の割合：– 「61-75％」「75％+」と回答した学生は、日本で調査した12大学では8割にのぼる。この層のテスト得点は高い。
– 大学グループＡは、日本と類似の傾向。
– 大学グループＢでは、 「41-60％」 「61-75％」と回答した学生が相対的に多くて、テスト得
点は高い。

•

Satoko Fukahori

当該グループでは、「講義」の占める割合は、6割程度が適正
規模？

2013.12.10 NIER Symposium

Satoko Fukahori

1174

2013.12.10 NIER Symposium

12

第２部

パネルディスカッション

仮説２：「総学修時間」が長いほど、「主体的に考える力」が育まれる。

学生の時間の使い方（3年生前期）

大学２：混合型

大学１：講義中心型

典型的な1週（7日）間（平均値）

個別の大学にとって、どのパターンが適しているのか。どのような改善の余地があるのか。
Satoko Fukahori

2013.12.10 NIER Symposium

Satoko Fukahori

2013.12.10 NIER Symposium

13「授業の準備」は「11～15時間」へ「専攻に関係のないアルバイト」は短縮へ
授業の準備

14

国際的な学習成果アセスメントによる大学の教育改善に資する情報提供にむけて専攻に関係のないアルバイト• 大学が求めている教育情報– 自校の学生の学習成果の特徴を、国際的な水準と照らし合わせて客観的に捉えるための情報。
• 国際的なベンチマーク• コンピテンス・プロフィール– 教育改善の方向性に係る示唆を得るための情報。
• 大学の教育環境や学生の学習実態を、学生の学習成果との関連のなかで捉える。

• 大学教育の改善に資する学習成果アセスメントの条件– テストで測定するコンピテンスが、大学教育をとおして育成しようとしているコンピテンスと一致していること（整合性）。
• コンピテンスにもとづく学位プログラムの体系化
Satoko Fukahori

2013.12.10 NIER Symposium

Satoko Fukahori

2013.12.10 NIER Symposium

15

16

参考資料
•

•

•
•
•
•
•

OECD. Testing student and university performance globally: OECD’s AHELO.
(http://www.oecd.org/edu/skills‐beyond‐school/testingstudentanduniversityperformancegloballyoecdsahelo.htm)
OECD (2011). A Tuning‐AHELO Conceptual Framework of Expected
Desired/Learning Outcomes in Engineering, OECD Education Working Papers,
No.60, Paris: OECD Publishing. (2014年3月邦訳刊行予定）
OECD (2012). AHELO Feasibility Study Report Volume 1 – Design and
Implementation, Paris: OECD Publishing. (2014年3月邦訳刊行予定）
OECD (2013a). AHELO Feasibility Study Report Volume 2 – Data Analysis andNational Experiences, Paris: OECD Publishing. (2014年3月邦訳刊行予定）
OECD (2013b). AHELO Feasibility Study Report Volume 3 – Further Insights, Paris:
OECD Publishing. (2014年3月邦訳刊行予定）
Tuning Association. Tuning Educational Structures in Europe.
(http://www.unideusto.org/tuningeu/)
Gonzalez, J. and Wagenaar, R. (2008). Tuning Educational Structures in Europe –Universities’ Contribution to the Bologna Process. Publicaciones de la Universidad
de Deusto.
–

fukahori@nier.go.jp

tuning‐ahelo@neir.go.jp

ご清聴ありがとうございました。

ゴンサレス・Ｒ．ワーヘナール（深堀聰子・竹中亨訳）『欧州教育制度のチューニング-ボローニャ・プロ
セスへの大学の貢献』明石書店、2012年。

Satoko Fukahori

2013.12.10 NIER Symposium

Satoko Fukahori

17

2013.12.10 NIER Symposium

18

75

第２部

パネルディスカッション

パネル
ディスカッション
コーディネーター

金子 元久

パネリスト

ローベルト・ワーヘナール
ピーター・ユーウェル
岸本 喜久雄メアリーキャサリン・レノン
ダニエル・エドワーズ
深堀 聰子

▋金子氏

大変な数の質問がきていますが，三つの基本的な問題をここからまとめさせていただきます。質問していただいたのに私のまとめの中に含まれてない方がいらっしゃると思いますが，時間の制限もありますのでお許しください。三つ基本的な問題の一つはこういうことです。テストをするために能力というものを何らかのかた
ちで概念的にまとめているわけです。これは特にチューニングの話で非常によく出てきたお話でありますけれど
も，メタプロフィールとかメタコンピテンシーとか，あるいはメタスキルスとかですね。そういったものが能力を何らかのかたちで概念化するということが必要になってくるわけです。また，アメリカの場合には，ジェネリッ
クスキルというような言葉がよく使われているわけですが，これらの概念自体がどういう根拠に立っているのか，また，例えばチューニングで言われているような能力の概念と，アメリカで言われているクリティカルシンキン
グのような概念というのが，同じものなのかどうかと。基本的にこの概念というものはどういうふうに出てきていて，特に実証的な道具に使うときに，その根拠はどこにあるのかというのが，第１に出てきている問題です。
２番目は，このような大規模なテストを行ったときに，基本的には実施上どういう問題があるのか，発表では一応できたということでしたけれども，本当の問題はどこにあるのか，またユーウェル先生がおっしゃっていましたけども，費用がどれぐらい掛って，特に効果はどこにあるのか，誰が負担すべきなのか，どのような効果があると言って社会に説得すべきなのか，という問題です。３番目の問題は，これからどうなるのかということです。
一つは国際的にこのOECDの枠組みでさらに進められていくのかどうか，という点。もう一つは，これ以外の分
野に広げていく可能性はあるのかどうかという点です。また，例えば工学の場合は今回土木工学だけでしたけれ
ども，ほかにもいくつも工学だけでもいろいろな分野があるわけですから，そういったことができるのか，あるいは例えばリベラルアーツでこういったことができるのかどうかという問題もあるのではないかと思います。さらにそれを大学に広げるようなかたちで，大学，さらにほかの種類の高等教育機関にも広げていくことがあるのかといった問題もあるだろうと思います。
一応この三つの問題が提起されているわけですけれども，残念ながら１時間弱しかありませんので，今，申し上げた問題のいずれかにお答えいただければよろしいのですが，特に１番目の能力のフレームワークの問題については，ワーヘナール先生にお話しいただきたい。それからユーウェル先生にもこの点でお話しいただけたらと思います。もう一つはエドワーズ先生に先ほどお話に出ていましたが，ジェネリック
スキルはCLAの問題と，それからACERで作った問題と、両方出ているわけですけども，この二つを比べてみて何か考えるところはあるかどうかということをお話しいただけたらと思います。それから２番目の実施上の問題と，それから費用と効果，それから誰が負担するのかという問題については，レノン先生に特にカナダについてお話しい
ただきたい。また，深堀先生に日本の場合について，どのように考えるかということをお話ししていただけないかと思います。それから将来，これがどのように発展する可能性があるのかということについては，もちろんユーウェル先生にはお話しいただ
かねばいけないと思いますし，それから岸本先生に特に日本の場合について，例えば
金子元久氏

76

工学部のあとで，これはもうちょっと拡大する可能性があるのかどうかということは，非常に重要になると思いますので，お話しいただければと思います。

第２部

パネルディスカッション

ではワーヘナール先生の方からお一人ずつお願いします。
▋ワーヘナール氏

わかりました。非常に難しい質問です。なるべく公平に答えさせていただきたいと思います。最

初からCLAに関しては，私は懐疑的でした。率直に申し上げて懐疑的でした。なぜかというと，ピーターが説明してくれたとおりでありますけれども，テスト問題が一つの文脈，つまりアメリカの文脈でしか開発されておりません。ですからアメリカの文脈であれば，有用性があることが立証されているのかもしれませんけれども，別の文脈に移した瞬間に，もしかしたら問題が発生するかもしれません。CLAには二つの問題があります。一つ目
は，文化間の差異が世界中に存在する問題。二つ目は，冒頭の発表でも申し上げ
ましたが，分野AかBで異なるという問題。一般的技能について，多くの同僚の研究者，学者は納得しているようでありまして，一般的コンピテンスは社会にとって重要だから育成すべきですけれども，それは専門分野の中で育成すべきだと。
そして，専門分野において育成するのであれば，同じ文脈の中で測定するのが一番公平な方法だろうという考え方で一致しています。問題提起された「能力の概念化」に関してですが，どんな違いが地域間にあるかは，もっと調査しなくてはならないと思います。チューニングを地域別に実施しているのには理由があって，この仕組みで正しかったと思っています。現在，チューニングの成果を地域別に比較して，何らかの共通項が得られているか，文化的，あるいは教育発達の段階の違いの影響はあるのかを分析しております。その結果が出れば，果たして

ローベルト・ワーヘナール氏

能力概念を比較できるかが明らかになってくると思います。私は可能だと思います。なぜならば，工学と経済学の両方におきまして，例えば工学の場合，地域間でかなりの共通項があることが既に立証済みです。ですから，展望はある程度あると思います。AHELOの今後について，私はよく分かりません。
私自身の私見は確定しています。AHELOはある意味リスクが伴いました。なぜならばそれは共通項を17の場所で見いだそうとしたからです。国によっては，遅れて参加したものもあります。それ自体が問題だったのかもしれません。地域ごとで共通項を作り，そして地域間で比較するのがよいと思います。技術諮問グループでアプロー
チを議論しましたが，こういうステップ・バイ・ステップのアプローチの方が有効なのかもしれません。もう一つのモデルは，一つの地域で手がけてみて，終了すればその地域の自主的な取組に任せて，循環的に他の地域に展開するというアプローチも考えられます。時間はそちらの方がかかるけれども，得るものはむしろ大きいかもしれないと思います。チューニングの視点から，費用対効果について一言申し上げたいと思います。我々は努力して，何とか専門分野の枠組みを設定しようとしました。そしてお互い学び合うことができたと思います。枠組
みを作っていくことによって，世界中からお互い学び合うことができると思います。たしかに，特定のコンピテンスに関しては，また一部の国・地域の法が他の国・地域よりも有効に開発できることも分かっていますけれど
も，やはり一層学ぶためには，比較はしなくてはなりません。最終的には，やはり学術界の責任であるべきだと思います。AHELOの課題は，トップダウン・アプローチだったということ。手がけたのが政府だったということ，
そして大学が任意に招待されたということです。加えて学生に関しては，ユーウェル氏が示したとおり，実際に参加するかどうかわからず，信頼性の高い結果が出るかどうか分からないという状況でした。次のステップでは，逆のアプローチはどうでしょうか。例えばより重要な役割，つまり主導権を大学に与えるということです。次のステップが実現するということに関しては，私は確信しております。競争の存在する世界に我々は生きているわ
けですから，取り組んでいることの成果を比較できる仕組みを保証する必要があります。ただそのために枠組みはきちんと設定しなくてはなりません。既存の枠組みが十分に正しいものかどうかについては，私はまだ確信を持てていません。
▋ユーウェル氏

一般的技能に関してですが，既存のテスト問題で始めましたので，枠組みはそもそもなかったわけです。基礎から少しずつ立ち上げるべきこところ，出来上がったものから始めてしまったことほど，トップダウンなアプローチはないでしょう。この失敗から学ぶ，本調査に進む場合には，同じ轍を踏まないようにしなくてはなりません。チューニングやAHELOでは，トップダウンのアプローチと，教員間での議論に根ざしたボト

77

第２部

パネルディスカッション
ムアップのアプローチが中間地点で融合しているような状況を見て取ることができます。ワーヘナール氏からお話がありました部門別コンピテンスでは，こうした状況が一層顕著です。技術諮問グループにおいて，今後AHELOをどういう仕組みにすべきか，どうやって評価すべきかを議論しました，そして，二点修正するということで意見が一致しました。一つは，一般的技能を測定するのであれば，専門分野の色調を濃くするということ。CLAのように日常的な文脈から仮説的にテスト問題を立てるのではなく，やはり専門分野や専攻の中で設定するアプローチを今後は尊重していかなけ
ればなりません。もう一つ，我々が提言したのは，学問分野にかかわらず，共通してピーター・ユーウェル氏

実施する項目も設けることです。そうすることで，専門分野間で具体的にどのように違うのかが明らかになります。「能力の概念化」，あるいは概念の根拠という問題に戻
りますけれども，きちんと概念が特定されていない領域をアセスメントの対象とするのは不可能に近いわけです。ですから，チューニングをまず行わなくてはならないわけです。何を測定するのかということに関して，ある程度合意を形成しなくてはなりません。そこで金子先生の最後の質問「AHELOの今後」に話が飛びますが，AHELOで一般的技能はできません。一般的技能は余りに文化的に偏りがありますし，文脈に依存するから不可能です。でも，工学分野ならばどの専攻でも，どの国でもできると思います。工学以外でもかなり多くの専門分野でうまくいくでしょう。ただし，法学，歴史学は難しいでしょう。確かに，実施が難しい
専門分野はあると思います。
▋岸本氏

三つとも難しい問題ですけれども，答えられる限り答えていきたいと思います。一つめは工学部で広がるかという話ですが，その話はちょっとおいておきまして，まず学習成果の概念枠組みについて，どんな根拠でということですが，特にエンジニアリング教育の場合は，これまでも学生たちが国を越えて移動し，エンジニアが国を越えて移動するという状況から，この概念枠組みを教育プログラムの認証の中で，きちんとしていくという動きが，かなりありました。そういった意味で，今できているものが完全かどうかということはあるかとは思いますが，大学側の関係者だけではなくて，企業側の関係者，あるいは学んでいる人たち，育っていくエンジニアの人たちの意見も入れながら，教育の中で大切な学習成果は何かという議論を通じて，それがこういうかたちでできてきているということであります。そういった意味で，先ほど御紹介いたしましたように，ヨーロッパのグ
ループと，ワシントンアコードのグループとで内容がほぼ同じものになっているというのは，エンジニアに求められている能力というのは何かというのが，ある程度概念として固まってきているということかと思います。ただ，時代とともにエンジニアに求められている能力も，変わってきていますので，それに応じてフレームワーク
を進化していくということは大切なので，その意味での議論は続けていく必要があるかなと思います。それで今
度はAHELOで，それに基づいて問題を作って試験をするということですけれども，正しく今回使用した問題で求めている学習成果が測れるようになっているかどうかという観点からすると，まだまだ時間が足らず，やるべ
きことが多く残っているように思います。例えば，応用能力ということであっても，どのような問題ならば知識を応用できる能力を適切に計れるのかという課題もありますし，先ほどワーヘナール先生のお話の中にも出ていましたけれども，チームで働く能力というのが非常に大切に言われていますが，個人で試験を受けるようなタイプのもので，本当にそういうようなものが測れるのかとい
うこともあります。また，コミュニケーション能力といったときに，エンジニア，あるいはサイエンスをやっている人たちは文字だけではなくて，表を書いたり，式を書
いたり，いろんなことで自分の考えを伝えるわけです。そういったもろもろのことを含めて全てを測れるようになれば，本当にそれで測れたということになりますが，まだ，その段階にはなっていないと思います。ただ完全な測り方はできないにしても，こういった取組を続けることによって，よりよい評価方法が生み出されていくようになるだろうなと思います。その一つとしては，学生たちは一つの国で学ぶのではなく岸本喜久雄氏78て，様々な国で学べるようになってきて，大学を途中で移ったりしているということからすると，やはりどの大学でどのぐらいの教育が行われているのかというのも，正第２部

パネルディスカッション

しく評価していく必要があるのではないかと考えます。それでAHELOの取組が広がるかということですけども，我が国の中でも国際的に競争力のある工学系の教育プログラムを提供していこうとするためには，本当に我々が教えていることがどのようなレベルにあるかということは知りたいし，現在いる学生たちがどのくらいのパ
フォーマンスを出しているかということを知りたいという状況があります。ただ，このようなことは一つの大学の中でできる作業ではないので，グループを組んで取り組んでいく必要があるだろうと思います。そういった意
味で，一緒に今回取り組んできた大学の先生方とも話をしていますと，やりたいという意識はあるように思います。ただ，それが時間の問題だとか，誰がお金を負担するかとかの課題があります。さらに，誰が実際にお金も負担するかもそうですけども，これに関わる人の負荷は非常に大きいものがありますので，そういった意味で誰がこれを実際に動かしていくのかというのは，非常に大きな課題であると思います。また，国内にとどまらず，
アジアの国の人たちも，このような動きには興味を持っていて，そういった意味で国際的にやっていこうとする機運はあるのではないかと思います。それを実際にどのように進めるかということですけれども，今回はOECD
が主導というかたちでやってきたわけですけども，それはOECDという名前があると参加しやすいということがありますが，やはり大学のグループで例えば地域的に，余りお金のかからないかたちで，実行できるような姿になっていくといいように思います。
▋レノン氏

ありがとうございます。オンタリオ州での取組について，実践的，ロジスティクスな観点から，費用対効果があったのかについてお話する役割をいただきました。もちろん，フィージビリティ・スタディは本調査よりも少し多くの費用がかかります。カナダは連邦政府ではなく，州が教育を管轄しています。そして多くの州が，参加することを選びませんでした。それは，費用がかかるからです。また，比較するほど多くの高等教育機関を持っていない州もあります。一つしか高等教育機関を持たない州もあるわけです。したがって，実際にかかるコスト，そして実際に何が州に戻ってくるのかというメリットが不明確の問題が，一つの課題でもありました。そうした中で，オンタリオ州は参加することを決めました。そして，全てのコストを負担することになりました。
その背景には，オンタリオ州では，OECD-AHELOプロジェクトに留まらず，学習成果に関するいくつかのイニシアチブも走らせており，それらから包括的に学ぼうとしたことが挙げられます。オンタリオ州では，チュー
ニング・プロジェクトにも参加しており，学習成果を大学のプログラムに埋め込み，実践に移す仕掛けとして
AHELOに注目する価値があると考えたのです。オンタリオ州は，この活動に投資することはよいことだと決断したわけですが，州が望んでいたのは，何らかの国際的な比較情報が得られることでした。自分たちを世界の中でベンチマーキングすることを望んだのです。そして，比較のための情報は，AHELOから得られることは明らかだったのですけれども，OECDはそういった形では提供してくれなかったのです。ただ，日本，オーストリア，
カナダではそれは，国際的な比較情報を得ることは非常に重要だと考え，覚書を交わし，自分たちで手に入れようと試みてきたわけです。その結果として得られた比較情報は非常に興味深いものでした。一方，高等教育機関が期待したのは，少ないコストで自分たちの教育についての情報を得て学生にメリットをもたらすことです。オ
ンタリオ州の工学プログラムには，様々な国から来た学生や教員が特に多くいます。ですから，国際調査に参加するのは非常によいことだと考えたのです。したがって，州も教高等教育機関も教員も，自分たちが払ったコストに対して，戻ってきたものに満足をしています。もちろん，高等教育機関はコンピテンス，あるいはコンピテンス・クラスターに関するより詳しい情報，そしてそれらを国際的に比較した情報を知りたいと考えています。もちろん，フィー
ジビリティ・スタディには，改善しなければいけない点がいくつかあります。そしてそのためにはコストがかかることも分かっています。ただ，OECD報告書や機関別報告書を受けて，やる気がなくなったというわけではありませんけれども，望んでいたものがフルに戻ってこなかったという落胆はあります。そういいつつも，教員や機関にとっては，メリットがあったと言えると思いますし，こうしたプロジェクトには継続的に参加したいと言っております。ここで問いかけなければいけないのは，州にとって得るものが多かったかということです。３国で自主的に導いた比較情報がなければ，各機関の教育改善活動を支援するという面以外

メアリーキャサリン・レノン氏

79

第２部

パネルディスカッションに，州にとってどのようなメリットがあったのかは明らかではありません。もし，より国際比較情報を提供されるのであれば，価値があると考えるかもしれません。以上です。
▋エドワーズ氏

ありがとうございます。私からは３点についてお話ししたいと思います。まず「能力の概念化」と「一般的技能」についてですけれども，もうユーウェル先生もワーヘナール教授も，かなりおっしゃいましたけ
れども，私からは工学分野と一般的技能の枠組みを開発した経験について，逆の方向から説明したいと思います。
工学分野の枠組みに関して，岸本先生がおっしゃったとおり，雇用主や学生も関与して，大学教員や研究員も参加して，チューニングの方法でコンピテンスを定義してから，AHELOに移りました。一旦コンピテンスを決めた後に，どういうテスト問題ならば，測定したいコンピテンスが測定できるのかを考えました。一般的技能の枠組みに関しては，設計が違うため必ずしも誰が悪かったということではないですけれども，概念として難しかっ
たと言えます。土木工学の枠組みを見ると，工学分野の一般的技能が組み込まれています。今日は何度もワーヘ
ナール先生がおっしゃっていますが，やはり一般的技能に関しても専門分野の枠組みの中で考えるべきです。例
えば社会学と工学では，一般的技能の在り方は異なります。もっとも，一般的技能の中には，全ての専門分野に共通するのもあります。ただ，使い方が専門分野によって違うかもしれません。ですから，やはり一般的技能は難しい分野ではあるのです。た
とえ土木工学のような相対的に明快な専攻であっても，あと10名違った研究者が加わっていたならば，我々が作った枠組みと違った枠組みになっていたと思います。もちろん重複はあったでしょうけれども，何が正しい，何が間違っているという問題ではありません。今，医学でも同様のことをやっていて，同様の問題に遭遇しております。枠組みについては，違った意見を持つ人は必ずいるわけですから，本当に限定することはできません。次に「実施上の問題点」についてですが，私はAHELOコンソー
ダニエル・エドワーズ氏

シアムの一員として，テスト問題の作成に関わり，オーストラリアのナショナルプロ
ジェクトマネージャーとして実施面にも関わった立場から，ロジ上の問題についてお話します。学んだ教訓の一つは，ロジ的にAHELOは実施可能だということです。つまり，既にシステムは整備されており，ITも活用できますし，学生記録データも整備されています。教員，研究員も関心を持っています。
だからロジ的には実施可能です。一番大きな問題は，いくらかかるかという費用面です。オーストラリアでは，かなり多額の費用がかかりました。政府からOECDにかなりの拠出金が支払われましたし，国内プログラムの実
施にも政府補助金が提供されました。でも，お金だけではないのです。時間を初めとする，経済的な資源以外のコストも小さくはありませんでした。高等教育機関内の資源も活用しなくてはなりませんでした。例えば，学生の参加を大学が奨励する働きかけもその一つで，実はそういったことがとても大切でした。ただ単に，学生に座ってテスト受けてもらって，データを集めるだけではなく，よりコミットしてくれる大学の方が，議論という意味
でも有用な貢献をしてくれました。つまり，何のためにAHELOを行っているのかということへの大学の理解です。
つまり，学生が将来の仕事で役に立つようなコンピデンスを身に付けられるよう保証すること，そこが見失われてしまうときが時々あります。オーストラリアでは，データに関してはかなり長文の記述式解答もあれば，欠落している部分もありました。しかしながら，AHELOは学習成果に関する会話を始める好機となりました。何を学習すべきか，ということについての会話です。コンピテンス枠組みを開発するのには，チューニングが参考になりましたし，どのようにして測定するのかということについては，AHELOが参考になりました。「エンジニアのように考える」，そういう考え方ができるようになることが，一つのキャッチフレーズになりまして，教員や研究者，学部長だけではなく，学生の間でも会話を触発するのに役立ちました。特に深く関与した大学では，「授業で学んでいることと，テスト問題で問われることとがかなり違う」といった会話が学生の中で頻繁に行われるようになりました。「こういうプロジェクトベースの問題解決型のテスト問題はとてもいい」というような声も聞こえてきました。「AHELOのテスト問題について考える過程で，社会人になったときに何に直面するかということへの理解が深まり，目的にかなった解答が書けるようになったと思う」という声も耳にしました。オースト
ラリアでは，こういう会話が触発されたことが，一番有用な結果ではなかったかと思います。最後に「AHELOの将来」について考えると，他の方たちもおっしゃっておられましたが，OECDに任せ続けるべきかということ

80

第２部

パネルディスカッション

疑問視する人もいます。つまり国別ベースのモデルを採るOECDを情報発出源として活用するのか。OECDは適切な経路なのか。高等教育機関の調査を管理する主体としてふさわしいのか。そういった疑問が挙げられています。今，手を挙げていている機関がお金を探して，イニシアチブを取るという方法も検討すべきです。手を挙げている主体があるからといって，必ずそのイニシアチブがうまく遂行されるわけではありませんが，いずれ確実に実現されると思います。日本は関心を持っているでしょう。オーストラリアは大学のランキングに取りつかれているようですが，既存の大学ランキングはほとんど全てが研究重視です。OECDはAHELOをランキングにした
くないという考えで，私もランキングであるべきでないとは個人的には思っていますけれども，今の比較情報やベンチマークの作られ方は，もっぱら研究ベースです。本来，教授・学習がコアであるべきなのに，ベンチマー
ク化されていません。大学が教授・学習に力を入れていたとしても，必ずしも既存の測定方法を使ってそれを立証することはできないのです。ですから，AHELOのような取組は続くと思います。対象とする専門分野について，
今，オーストラリアは日本やカナダと機械工学で新しい取組を初めています。ドイツとも議論しています。トッ
プダウンよりもボトムアップで協調して作り上げていけるのではないかと思います。オーストラリアにおきましては，かなり成功裏なコラボレーションが医学で実現しております。共通の枠組みを作って，医学部の学生の学習成果を測っております。結果はまだ全ては出ていませんけども，似たようなイニシアチブがほかの国でも手掛けられていると聞いていますので，それらを比較したいと思います。ですから，医学もできる分野の一つではないでしょうか。もちろん文脈にもよりますけれども，共通項が見いだせると思います。
▋深堀氏

はい，ありがとうございます。私からは２番目の「コストと効果」の点に注目して，お話しさせていただ

きたいと思います。まずコストに関しましては，文部科学省からOECDに支払った拠出金のほかに，先導的大学
改革推進委託事業の中で，日本の工学及び教育学の専門家の方々に，５年間にわたって研究していただくために必要だった経費，国研の中で問題の翻訳，適正化，テスト実施に取り組むための経費，参加してくださった学生の皆さんに対する参加記念品のための経費等が必要でした。そうした金銭的なコストのほかに，やはり多大だったのは，５年間にわたって専門家の先生方に関わり続けていただき，大変な労力を使っていただいた点を強調しなければなりません。この場を借りて，厚く御礼申し上げます。そういった多大なコストの中で，どんなメリッ
トがあったのかという点ですけれども，まず私は国内コーディネーターとしてこの活動に５年間関わってきまし
たが，その中で，岸本先生からも詳しくお話がありましたとおり，コンピテンス枠組みがどのようなものなのか，
それについて日本は国際社会と合意できるのか，日本の既存の問題は国際的な枠組みとどのぐらい整合性があるのか，それぞれのコンピテンスを具体的な学習成果に落とし込んで，テスト問題を作り上げていく作業がどのようなものなのか，採点にあたっては解答のそれぞれについて学生が具体的にどこまで記述できていれば正解とみなすのか，どのような観点と水準まで書き込めていれば学士としてふさわしいといえるのか。これらの点について，専門家の方々と検討を深めてきました。こうした経験そのものが，非常に有益なベネフィットではなかったかと思います。関わってくださった先生方も，願わくば，AHELOの経験から御自分の教育実践を振り返られ，非可逆的な，もう元には戻れない変容を経験されたのではないかと期待しています。残念なのは，その先生方がそれぞれの大学に戻って，AHELOの経験がとても役に立ったということを，同僚の先生方にお示ししていただ
くための資料を十分に提供できていない点です。例えば，テスト問題がどのような内容だったのかということに関しては，一部の問題や採点ルーブリックしか公開されていません。守秘義務のもとで多くの部分が隠されているのです。本来，教育改善のための取組なのですから，テスト問題や採点ルーブリックを全て公開
して，議論の対象にできるように提供したいわけです。どういう観点と水準で採点を行ったのか，具体的に各大学で話し合うための資料を提供して，FDの材料にしていただきたいわけです。さらに，国際ベンチマークを伴うデータ分析の結果を，それぞれの大学で活用していただけるよう，報告書を出したいわけです。
関わってくださった先生方が，それぞれの大学で胸を張って，面白い取組だったからうちの大学でも真剣に考えてみようと声掛けをしていただけるための材料を，まだ提供できていない点は非常に大きな課題だと思います。逆に，そうした

深堀聰子氏

81

第２部

パネルディスカッション

資料が出せた場合には，AHELOの取組は大学にとってかなりメリットになるのではないかと思います。AHELOにしてもチューニングにしても，大学の教育を改善できるのはやはり大学教員の先生方お一人お一人の力なくしてはあり得ないわけですから，それを支援していく体制を整えることが重要なのではないでしょうか。文部科学省ができることは，そのためのアクションスキームを提供すること，こういった枠組みの中でやってみませんかというリーダーシップを取ることかもしれません。それぞれの大学が，競争的環境の中で孤立して取り組むのではなく，共通の枠組みの中で知恵を出し合ってみましょうと提案すること，そして，そうした共同の取組に補助金をつけていくことではないかと思います。そして，国立教育政策研究所のような公共の機関ができることは，
コーディネーター役として専門的な知見，経験を提供していくことではないかと思います。アクションスキームとリーダーシップ，そしてコーディネートがあれば，それぞれの大学が共同の枠組みの中で，それぞれにとって意味のある教育改善に取り組んでいける状況が作れるのではないかと考えます。AHELOの将来が，その方向を採ることを願っております。以上です。
▋金子氏

つけ加えることがあればどうぞ。

▋ユーウェル氏

私どもの今の応答に共通するテーマの一つは，このようなデータからは，改善のための会話を始めるべきだということです。教育改善のための議論は，AHELOフィージビリティ・スタディの議題として意図的に設定したものではありませんでした。ほとんど偶然に，うまく始まったわけですが，やはり続けていかなければなりません。その差異，議論を始めるためのデータは，必ずしも技術的に堅牢なものでなくてもいいのです。もちろんできるだけ健全で，適切なものであるに越したことはありませんが，その一方で，PISAのようなデータ，
すなわち国別の推定値を導くようなデータを収集するコストは莫大なわけです。恐らくワーヘナール氏も同じ意見だと思いますが，まずよい議論を始める，専門分野の文脈の中でよい議論を始める，そして地域から始める，というのが正しい方法ではないかと思います。皮肉なことに，OECDはそのようなプロセスを今まで一度もやったことがないのです。OECDの経験とは，大規模なテストを実施し，国別に大まかな推定値を出すというものなのです。今回，高等教育機関に対して同じようなことをしようとしたのですが，それでは決してうまくいかなかったわけです。
▋金子氏

先ほど深堀先生の発言にもありましたが，今，ユーウェル先生もおっしゃったように，これ自体が成功だったかどうかは別として，かなりここからいろいろと議論は出発するところはあるわけです。ただ，この枠組み自体がかなり国際機関を通じたもので，実はデータ自体も相当使いにくいといいますか，そこの制約も今のところ多くて，既にあるデータを十分に使うことも，なかなか今は難しいことでもあると思います。それを含めて，これからどのようなことをやられるおつもりなのか，そういった計画があるのであれば，是非お話しいただければ。
先ほどエドワーズ先生からもオーストラリアはやっておるというお話もありましたし，深堀先生からも岸本先生
からも日本の活動を御紹介いただきましたけれども，どういったことがこれから，少なくともこれまでのデータを使ってやろうとされているのかを，短く御紹介いただければと思います。どなたでも結構です。
▋深堀氏

はい。今回，レノン先生とエドワーズ先生に来日していただいておりまして，明日AHELOに参加していた大学のクローズドなミーティングを開きます。その中で，それぞれの国でAHELOがどのような経験だったのかということについて議論することを計画しております。本日司会を務めてくださっている，濱中研究官がデータ分析を進めてくださっていて，クローズドなかたちで各大学にできる限りのデータを提供しようと考えております。また，今年３月末には，国研の中で行っている「調査結果の分析に関する研究会」の研究成果報告書をまとめて公開いたします。その中でデータ分析の結果をどこまで書き込めるかは，これから検討しなければなりま
せんが，全国の各大学において，教育改善に取り組んでいく際に参考になる資料としてまとめていく予定でござ
います。
▋金子氏

82

エドワーズ先生，先ほど少しお話しいただきましたけど，特にコンテクスチュアル・バリアブルスについ第２部

パネルディスカッションては，まだほとんど分析はされてないんですけど，そこらはどのように進められるのでしょうか。
▋エドワーズ氏

ありがとうございます，金子先生。我々は現在，日本とカナダと協力して，合体データセットの分析を進めており，背景情報調査について作業を始めたところです。この作業と関連して，いくつかの計画がありますが，一つは現在オーストラリア教育研究所ACERにおいてまとめようとしている論文があります。深堀氏は既に面白いデータを発表してくれておりまして，それは時間数に関するものです。「専門分野に関係のないアルバイト」の時間数について，我々は更に分析して，どんな要因が差異をもたらすのかを特定しようとしています。これまで分析してきて興味深いと感じているのは，多変量解析で多くの要因を統制すると，大学での成績は，
AHELOのテスト得点と強く関連していることが分かります。つまりAHELOのテスト問題には一定の併存的妥当性があると言えそうです。また，明日の会議でも話すつもりですが，オーストラリアのデータを見る限りにおいては，専門分野のアルバイトをやっている，既にエンジニアとしてアルバイトをしている学生とAHELOのテス
ト得点の間には正の相関があるようです。それは時間数の上限を超えると余り有効ではなくなりますが，その上限までは，アルバイトの時間数が長いほど，AHELOテスト得点も高くなっています。もう一つの知見は，お手元のペーパーの中でも触れていますけれども，学生たちが卒業後どんな職に就くつもりかについてで，エンジニ
アになろうとして勉強している学生の方が，この分野で職を求めていないと回答した学生よりも，AHELOテス
ト得点は高かったことです。これはまだ出発点ですが，今後，こうした分析を積極的に手掛けていきたいと思っ
ています。
▋金子氏

ユーウェル先生どうぞ。

▋ユーウェル氏

エドワーズ氏と私は，それぞれの国の結果を比べてみたのですけれども，つまりアメリカの一般的技能とオーストラリアの工学分野と比較してみました。すると，異なる分野であるにも構わらず，結果のパター
ンにいくつかの共通性を見ることが出てきました。確かに，データから何か面白いことを明らかにできそうなのです。例えば，学生による学業成績の自己報告，テストに要した努力についての自己報告は，テスト得点と強く関連していることが分かりました。その一方で，卒業後に何をやるつもりか，そのやろうとしていることにとってAHELOテスト問題の内容はどれほど妥当かという問いに対する学生の回答も，テスト得点と強く関連していました。正課の中での経験にも，テスト得点と有意な相関を持つものがありました。したがって，AHELOの成果として，教授・学習プロセスの影響について探究する確かな手ごたえを見つけることができたと言えそうです。
▋岸本氏

今回は問題を作って，ただ何点取れたかだけではなくて，今日お話があったように背景情報を丹念に取っていて，その背景情報と得点との関係がどのようになるかという分析が進められています。大学関係者も，そのような分析結果を知りたいと思います。また，こういう教育をしたらこういう成果が出ているということが，正に客観的データとして出てくるのが非常に大切だと思います。それと，より強く期待していることは，大学側が教育のやり方を変えたときに，この結果がどう変化するのかということを本来知りたいわけで，それに対する貢献です。それには1回やっただけでは本当のデータがまだまだ取れていなくて，このあと数年後に同じようなことを繰り返し実施してみてどうなるかとかといった継続活動が求められます。そのようにすることで，こういったデータが活きていくのではないかと考えます。このような活動を活かすためには，きちんとデータを取り続けることが必要であると思います。
▋金子氏

そろそろ終わりにしたいのですが，もう一つ，カナダあるいはアメリカあるいはEUで，このAHELOの経

験が何か別の動きにつながってくるというようなことはあるのでしょうか。あるいは今，行われている動きに何か影響，どのような影響を与えるとお思いになりますか。
▋ワーヘナール氏

それにお答えしてみようと思います。実際のところ，少なくとも世界的な規模では，余り大きな動きはありません。しかしながら大学間で，これは重要な取組だとの認識が高まってきたと思います。ヨーロッ

83

第２部

パネルディスカッション

パにおいても，そのように受け止められてきています。お気づきになったかと思いますけれども，ヨーロッパの高等教育機関はAHELOに余り参加しませんでした。OECDはもともと欧州の機構であるにも関わらず，参加していないことは驚きでもあるわけです。いくつかの高等教育機関に話を聞くと，AHELOに関心を持っているのは確かです。しかしながら，現在の取り組み方は，持続可能ではないようです。ほかの多くの関係者も論じている
とおり，持続可能性の基盤は，ボトムアップのアプローチであって，トップダウンではいけないというのです。
大学も教員・研究者間も，AHELOのメリットを最初から見いだしているはずですから，ユーウェル氏が言ったように，取組の最初から取り込まなければならなかったのです。それが実現すれば，人々は同僚との対話から学べることに気付くことでしょう。その枠組みが地域なのか，世界なのか。学生も関心を示すでしょう。テスト問題が学んでいることに対応していれば，もちろん学生たちも受けたいと思うはずです。結果がよくなければ捨ててしまえばいいわけで，よければ将来の雇用主に見せたいと思うかもしれません。したがって，人々の関心を集める方法はいくつかあります。その中で，比較の要素も重要です。高等教育機関は，研究の観点からだけではなく，教授・学習の観点からも比較したいわけです。そしてこのような調査は，継続することが論理的に正しいと思います。したがって，新しい枠組みを作るかもしれません。この枠組みは，この大学のコンソーシアムになるかもしれません。OECDが補助金を出してくれるような枠組みにできるかもしれませんが，OECDには資金がないので，
それはちょっとお願いしすぎかもしれません。補助金は，各国の政府や欧州委員会から得られるかもしれません。
あるいはルミナ財団などの民間組織から得られるかもしれません。そうした民間組織は，ドイツにもアメリカにもありますし，他の国にも存在します。その方が，これまでよりもよいアプローチかもしれません。ただ，これはOECDがイニシアチブとして手掛けてくれたおかげなのです。OECDが初めてくれなければ，この取組の価値は分からなかったでしょう。それゆえ，OECDに対して感謝の意を表する必要があると思います。
▋ユーウェル氏同感です。OECDに我々は借りがあります。これを始めてくれて感謝するべきです。ただ，このような形成的評価の取組を今後も維持していく上で，OECDが望ましい組織かどうかということに関しては，まだ解答は出ていないと考えます。取組の目的は，厳密な方法論を採ることではありません。そうではなく，十分によいデータを収集し，それに基づいて，改善について議論を促進することです。地域的なコンソーシアムは，よいアイデアだと考えます。例えば，コロンビア，エジプト，メキシコといった国々は，AHELOに積極的に参加して，ほぼ100％の学生参加率を達成しました。これらの国々は今，データの分析を初めています。その中でメキシコとコロンビアは，中南米のイニシアチブとして，データを共有して分析する共同研究を手掛けています。もともとOECDの計画の中では，それは想定されていませんでした。でも実現したのです。なぜかというと，需要あるからです。AHELOの将来を予測するならば，少数の国がまとまって，独自のイニシアチブを始めていくでしょう。
そして，第三者の独立財団からの援助を得るというのが，望ましいアプローチだと思います。同一ではないけども，似たような枠組みの下で，です。ありがとうございました。
▋レノン氏

AHELOは巨大なる潮流の一部だと思います。学習成果を確立して，実践して，測定する取組は，高等教育機関，政府，専門分野，学位プログラムの枠組みでなされています。それだけ様々なレベルで関心があるということですから，学習成果調査を異なるレベルで実施するという正に好機だと思います。カナダの工学プロ
グラムは，近年，卒業生に期待されるコンピテンスと学習成果を定義し，それを実践するだけでなく，2016年までに測定して挙証することを義務付けられています。そのような中で各工学プログラムでは，アセスメント・
ツールの独自開発に件名に取り組んでいます。AHELOへの参加意欲，会話に参加したいという希望も，その一環として高まりを見せています。日本やオーストラリアとの機械工学のアセスメント開発にも参加の意欲を示しております。そういった様々なイノベーションが一緒になりつつある中で，国際協調によって，概念的にも発展するチャンスがあると思います。OECDは声高なる会話をする場にはなっていますけれども，唯一無二でもないと思います。もっと小規模の革新的な活動を推進してもいいかと思います。
▋ダニエル氏

手短にコメントをさせていただきたいと思います。トップダウンに対するボトムアップアプローチという話がありましたけれども，オーストラリアにおきましては，このAHELOに工学分野で参加してきました。

84

第２部

パネルディスカッション

そして医学の分野においても，同じようなプログラムがあります。AHELOでは，初めに政府がOECDの枠組みに参加することを決め，オーストラリア教育研究所がテスト実施の委託を受け，大学に対して参加を募りました。
各大学からは，かなりよい参加率が得られたものの，アセスメントの在り方を決定する過程に，大学が大きく関与することはありませんでした。率直に申し上げて，オーストラリアでそういうアプローチを採った場合，余り多くの参加者を得ることができないと思います。やはり，大学側からのコミットメントが，非常に重要だと思います。その一方で，医学プログラムの取組みでは，大学の側からオーストラリア教育研究所に対して，こういう試みをしてみたいのだと相談があったのです。「そのための専門性がないので，あなたの組織と組ませてもらえないか」と持ちかけられました。オーストラリア教育研究所は，二つの医学部と２か月ほど取組ましたが，その過程で大学側から，研究者，臨床医，自主的に関心を持った関係者等，非常に多くの人が集まりました。少し経った後に，実際にアセスメントを実施してみようということになりましたら，結果的に16の大学が参加することになり，大学間の共同イニシアチブとして進められることになったのです。そうした状況が，大学間で共有する
一般性の高いアセスメントを可能にしたのです。これは小さな事例ではありますけれども，大変重要な成功事例だと思うのです。こういうボトムアップのアプローチこそ，うまくいくのだと教えてくれます。今後は，こうした取組を地域的に広げていきたいと考えております。まずは小さく始めて，それがうまくいったら広げていくというやり方を進めたいと思います。医学プログラムの取組では，テストを受けた全ての学生に対して，結果の報告書を提供しています。AHELOの工学の取組では，それを行うことができませんでした。工学の分野におきま
しては，テストを受けさせること自体が難しかったのです。トップダウンの工学の場合と，私たちが取り組んだ
小規模な医学の場合では，違うやり方を採ったことで結果が大きく異なったわけです。
▋金子氏

個人的な感想を言わせていただければ，先ほど言われたように，日本の大学教育改革も，大学間の教育の質をめぐる競争が重要になってくる段階に来ていると思います。そうだとすれば，その大学が何をできているのか，それから個々の先生がどういった違いを学習のアウトカムにもたらしているのかということが問題になる。したがって，何らかのかたちで学生が何を学習しているのかというのを測ると言いますか，余り抽象的なかたちだけではなくて，具体的にどう学習しているのかを測るということが非常に重要にならざるを得ない。このAHEROのプロジェクトはそういう課題に国際的な共同作業を通じて応えるという，非常に野心的な試みとして始まったことです。ただ実際にやってみますと，やはりかなり今日お話にありましたように，テストの概念とか，
あるいは方法とか様々な問題があるということが改めてわかってきたわけです。ただこれで全てが終わりというわけではありません。OECD全部が参加しなくても，数箇国が自主的に参加すれば，さらに作業を進められることで意味のある成果を得ることができるかもしれません。あるいは国内でも数機関が参加して互いに比べるということも，非常に大きな意味があるのだということも，まただんだんこの試行を通じてわかってきたと思います。
そうした意味で，今回のお話は日本のこれからの高等教育改革が，さらに具体的な段階になっていく上で，非常に重要なお話だったのではないかと思います。最後に全ての方の質問に代表できなくて大変申し訳ありませんでした。ただ、また質問へのお答えは，大変面白かったと思いますし，刺激的だったと思います。改めまして参加された先生方に拍手をしたいと思います。どうもありがとうございました。サンキューベリーマッチ。

85