NIER - MEXTTokyo, 31 October 2016

Measuring and Comparing Achievements ofLearning Outcomes in Higher Education inEurope(CALOHEE)
Robert Wagenaar
Overall Coordinator文部科学省国立教育政策研究所
2016年10月31日・東京

欧州高等教育における学習成果達成度の測定(CALOHEE)
ローベルト・ワーヘナール
総合統括〔和訳：深堀聰子（国立教育政策研究所高等教育研究部長）〕

Outline

1. Present day reality
2. Role of Higher Education
3. The global TUNING mission
4. CALOHEE: Measuring andComparing Achievements ofLearning Outcomes in Higher
Education in Europe

本発表の構成

1. 今日的状況
2. 高等教育の役割
3. グローバル社会におけるチューニングの使命
4. CALOHEE: 欧州高等教育における学習成果達成度の測定

1. Present day reality Globalization
 Information and Communication Technology
 Competitive Internationalized Higher Education“market”• Academic staff / Researchers• Bachelor, Master and PhD students• Language of instruction
 Opportunities on the labor market• Role of economic crises

Slide 6

1. 今日的状況

 グローバル化 情報通信技術
 高等教育の競争的で国際化された「市場」• 大学教員・研究者• 学士・修士・博士学生• 指導言語 労働市場における機会• 経済危機の影響

Slide 7

Present day reality(High) level of
unemployment

Individual
tolerance andself-confidence
under pressure

Vacancies /job openings:
workexperience
requiredHighly flexible
labor market:
jobs for life
exceptional

Socialcohesionof societies
challenged

Mismatchcapacities
and needs

What do we expect from HigherEducation?

今日的状況

失業率の水準（高さ）

個人の寛容性や自尊心の圧迫

雇用機会:
就労経験が要求される

極めて流動的な労働市場:
終身雇用は例
外的どの社会でも、社会的統合が難しくなっている

能力とニーズのミスマッチ

高等教育に何を期待するのか2. Role of Higher Education
What do we expect from Higher Education?
- Finding a response to these challenges?
- High quality programs doing justice to thediscipline?
- Programs preparing well for employability andsociety?
- Do we develop the right set of competences tobe well equipped: subject specific and generic ?

Slide 10

2. 高等教育の役割
高等教育に何を期待するのか- これらの課題を解決する道筋を探ることか。
- 質の高いプログラムは、学問分野を正当に取り扱っているのか。
- プログラムはエンプロイアビリティや社会との接続の観点から、適切な教育を行っているのか。
- 学生を適切に備えさせるうえで、我々は学問分野別コンピテンスと汎用的コンピテンスを、適切な組み合わせで育成しているといえるのか。

Slide 11

General competences trained ?
Which general competences / skills are most importantfor Society according to the Tuning consultation process?
Analyzing andSynthesizing

Applying knowledge
in practice

Leadership

Working in ateam

Entrepreneurial
spiritCreativity

Learning abilities
Debating

Communication
skillsCan the Tuning approach help us ?

Problem solving

Critical thinking

汎用的コンピテンスは育成されているか ?

チューニング協議プロセスにおいて、どの汎用的コンピテンス・技能が社会にとって「最も」重要だとみなされたか。
分析と統合

知識を実践に応用する

リーダーシップ

チームの一員として行動する

起業家精神

創造性

学習する能力ディベートする力

コミュニケーション能力

チューニングの方法は、どのような示唆を提供するのか。

問題解決能力批判的思考力3. The global TUNING mission
Mission of Tuning:
Contributing significantly to the Modernization agenda
in Higher Education
Main drivers:

 Realizing a paradigm shift: from expert-driven teaching andlearning to student-centered learning (input to output) Basing curricula on program and module/unit learning
outcomes Preparing graduates for employability and citizenship(developing competency) on the basis of a well defined fieldof study
Main contributions: Sophisticated methodology to reform Higher Education
degree programmes Frameworks or benchmarks of internationally agreed
reference points for sectors and subject areas3. グローバル社会におけるチューニングの使命
チューニングの使命:
高等教育の現代化に対して、顕著な貢献をすること
主な動機: パラダイム・シフトの実現： 専門家主導の教授学習から、学生中心の学習（インプットからアウトプットへ） プログラム・モジュール・科目の学習成果に基づくカリキュラム編成
 明確に定義された学問領域において、学生のエンプロイアビリティと市民性（そのコンピテンス）を涵養する
主な貢献: 高等教育の学位プログラムを改革するための洗練された方法論
 学問領域・学問分野における国際的に合意された参照基準の枠組み・ベンチマーク

The Tuning Contribution

A selection of publications

チューニングの貢献

豊富な出版物Tuning: A global initiative
TuCAHEA:
Towards a Central Asian
Higher Education Area

Tuning Europa

Tuning USA
Tuning JAPANTuning America
LatinaCALOHEE

Tuning Africa

Tuning Russiaチューニング：グローバルな取組
TuCAHEA:
Towards a Central Asian
Higher Education Area

Tuning Europa

Tuning USA
Tuning JAPANTuning America
LatinaCALOHEE

Tuning Africa

Tuning Russia

4. CALOHEE: WHY ?
Measuring and Comparing Achievements of Learning Outcomes in HE in Europe

Do students enrolled in higher education around Europe develop thecompetences they need? Are study programs delivering theirpromises? Can we learn from comparing students’ achievements inan (inter)national context in a meaningful way?

Preposition:
If academic experts can agree on the set of learning
outcomes, they should also be able to measure performancein comparative perspective in (inter)national contexts!
THE PROOF IS IN THE EATING OF THE PUDDING !

4. なぜCALOHEE に取り組むのか
欧州高等教育における学習成果達成度の測定

欧州全域の高等教育機関に在籍する学生は、必要なコンピテンスを身に付けているのだろうか。教育プログラムは約束した役割を果たしているのだろうか。
学生の達成度を全国的・国際的文脈において、意味のある形で比較することから、何を学ぶことができるだろうか。

前提:
学問分野の専門家が一連の学習成果について合意することができるのならば、全国的・国際的文脈において、比較可能の方法で達成度を測定することも可能なはずである。
プリンは、試食することによってはじめて、その真価が明らかにされる。

CALOHEE approach
Measuring and Comparing Achievements of Learning Outcomes in HE in Europe

THE PROOF IS IN THE EATING OF THE PUDDING !
PREPOSITION: COMPARATIVE ASSESSMENTS ARE REQUIRED: To obtain / provide reliable information about achievements oflearning in (transnational) comparative perspective at 5 levels:
 Individual level
 Program level Institutional level National level
 International levelto allow for degree program enhancement focusing on the domain ofknowledge taking into account preparation for employment and civic,social and cultural engagement.
Offering main stakeholders reliable information for making
informed / evidence based choices !

CALOHEE アプローチ
欧州高等教育における学習成果達成度の測定

プリンは、試食することによってはじめて、その真価が明らかにされる。
前提: 比較可能な方法で測定することが必要な理由

 学習の達成度に関する信頼できる情報を、(国を超えて）比較可能な方法で、5つのレベルで収集・提供すること。
 個人レベル プログラム・レベル
 大学レベル 国家レベル 国際的なレベル
雇用の準備、市民的・社会的・文化的参加を視野に入れつつ、知識の領域に注目しながら、学位プログラムの改善に資すること。
主たるステークホルダーに対して、エビデンスに基づく選択を行うための信頼できる情報を提供すること。

CALOHEE Project aims
 BENCHMARK 1: Develop a multi-dimensional instrument
to measure and compare levels of learning doing justiceto the different missions and profiles of HE institutions
 BENCHMARK 2: Develop transnational sectoral /subject
area frameworks and assessment frameworks for fiveacademic domains and five related disciplines (CivilEngineering, Nursing, History, Education and Physics)
 Develop work plans for creation and implementation ofassessments plus white paper explaining costs/benefits ofvarious designs for transnational comparative assessment

CALOHEE プロジェクトの目的 ねらい1: 高等教育機関の多様なミッションやプロフィール（特色）を正当に捉える多面的な道具（テスト）を開発し、学習の達成度を測定して比較する。
 ねらい2: 5つの学問領域と関連する5つの学問分野（土木工学、看護学、歴史学、教育学、物理学）において、超国家的な学問領域・学問分野の枠組み及びアセスメント枠組みを構築する。
 アセスメントの開発と実施に関する作業計画を作成するとともに、超国家的な比較が可能なアセスメントの多様なデザインに係るコストと利点を説明した白書を作成する。

CALOHEE Partnership
Feasibility study is supported and co-financed by theEuropean Commission in the framework of ERASMUS+
Key Action 3 Forward Looking Cooperation Projects
Success requires a well-defined partnership: 75 universities ; 15 per domain / subject area covering 15 countries each European Student Union (ESU) / BEST European Association of Institutions in Higher Education (EURASHE)
 European Consortium for Accreditation in Higher Education (ECA) European Network for Accreditation of Engineering Education (ENAEE) University networks: Coimbra, Santander, UNICA, Utrecht, Compostela
Other members in the advisory board: European University Association (EUA), theEuropean Association for Quality Assurance in Higher Education (ENQA), EuropeanAssociation for International Education (EAIE), U-Multirank, Academic Cooperation
Association (ACA), ENIC-NARIC
The project is run by a Management Board and a Coordinating Team, supportedby Educational Testing Service (ETS), Princeton (USA)CALOHEE 連携先
このフィージビリティ・スタディは、ERASMUS＋（Key Action
3 Forward Looking Cooperation Projects）の枠組みの下に、欧州委員会の支援と協調融資によって展開している。
取組の成功には明確な連携関係が不可欠: 75 大学 ; 各学問分野15ヵ国15大学。
 欧州学生組合（ESU) / BEST 欧州高等教育機関協会 (EURASHE)
 欧州高等教育アクレディテーション協会 (ECA) 欧州工学教育アクレディテーションネットワーク (ENAEE)
 大学ネットワーク: Coimbra, Santander, UNICA, Utrecht, Compostela
顧問会議メンバー: 欧州大学協会 (EUA), 欧州高等教育質保証協会 (ENQA), 欧州国際教育協会 (EAIE), 多元的世界ランキングU-Multirank, 欧州学術協力協会 (ACA), 海外資格に関する情報提供及び評価事業等を行う欧州地域各国のナショナル情報センターENICNARIC
プロジェクトは運営委員会と調整チームとのもとに運営されており、米国ETSの支援を受けて推進している。

CALOHEE Structure: three phases
Phases 1+2 clearly to be distinguished from phase 3

First phase – Update the frameworks of reference
pointsSubject Area Frameworks
Sectoralframeworks

Input: Previous Tuning surveys+ CALOHEE Questionnaires

Second phase - Produce the assessment
frameworks
5 Assessment Frameworks
White Paper: Costs /Benefits

Assessment criteria
Test blue print + Workplans

CALOHEE の構造：三つのフェーズ
第1・2フェーズは、第3フェーズと明確に区別されるべきである

第１フェーズ –参照基準枠組みの更新
学問分野別枠組み
学問領域別枠組み

検討資料：これまでのチューニング
調査及び CALOHEE 調査

第2フェーズ -アセスメント枠組みの構築
5つのアセスメント枠組み
白書: コストと利点

アセスメントの基準
テストの青写真 ・作業計
画CALOHEE Design (1)Building on work established and lessons learned

Regional Approach:
EUROPE

Foundation: Sectoraland Subject Area
Frameworks

Integrated approach: subject
specific + genericMulti-dimensional approach:missions and profiles
Assessments at finalstage BA

Applying 4 parameters
Framing areas of learning indimensions

Progression routing: Sectoral Framework – Subject area based
Framework – Detailed Assessment framework – Actual multidimensional
test – Testing of students

CALOHEE 設計 (1)
これまでの取組の成果と課題を基盤に発展させる

地域別アプローチ: 欧州

基盤: 学問領域・学問分野の枠組み

統合的アプローチ: 学問分野別+汎用的多元的アプローチ:
ミッションとプロフィール

4 つの観点を採用
学習領域を観点として定義する

学士課程修了段階にアセスメントを実施
展開の道筋: 学問領域の枠組み – 学問分野の枠組み– 詳細なアセスメント枠組み – 実際の多元的テスト – テスト実施

CALOHEE Design (2)Why base
CALOHEE on
Qualifications
Frameworks?

EQF
Descriptors
TUNING
Sectoral Reference Points

Offer agreed
indicators of: Level Content
 Direction

TUNING Subject Specific
Frameworks: Reference Points
Tuning Sector / Subject Area Based Assessment
Frameworks
Profiles of individual degree programmes

CALOHEE 設計 (2)
なぜ資格枠組みに基づいてCALOHEE を開発するのか

EQF
欧州資格枠組みの記述
TUNING
学問領域別参照基準

TUNING 学問分野別枠組み:
参照基準

Tuning 学問領域・学問分野別
アセスメント枠組み
個別学位プログラムのプロフィール合意された指標を提供する:
 水準
 内容 方向性

Design (3): Role of Tuning Sectoral
Qualifications Frameworks
Subject areas /disciplines: mono‐,multi‐, interdisciplinary

Humanities
and the Arts

SocialSciences

Engineering

EQF

Health Care

NaturalSciences

設計 (3): Tuning学問領域別資格枠組みの役割
学問分野 /ディシプリ
ン: 単一・複合・ 学際

人文学

工学

社会科学

EQF
欧州資格枠組み

保健学

自然科学

Design (4) : Integrated approach
Generic and Subject Specific Competences
The Tuning experience shows:- General competences are developed as part of the bodyof knowledge and skills of a subject area (integratedapproach)- Only a limited number of general competences can be
developed / trained, which requires choices- The core set of general competences partly differs per
sector / subject area
- Application of general competences differs between
sectors / subject areas: e.g. analyzing and synthesizing, teamwork,communication skills, entrepreneurship, etc.

設計 (4) : 統合的アプローチ
汎用的・学問分野別コンピテンス
Tuningの経験は以下の点を明らかにしてきた:- 汎用的技能は学問分野の知識と能力を学ぶ過程で習得される（統合的アプローチ）- 汎用的技能のうち、育成・訓練することができるのは、限られたいくつかにすぎない。どれに着目するか、選択する必要がある。
- 汎用的コンピテンスのコアとなる組み合わせは、学問領域・学問分野ごとにわずかに異なるだけである。
- 汎用的技能をどのように応用するかは、学問領域・学問分野ごとにそれぞれ異なっている。例： 分析と統合、チームワーク、コミュニ
ケーション力、起業家精神等。

Design (5): Four parameters
CALOHEE distinguishes parameters – categories - to be assessed:
1) Theory: knowledge and methodology
2) Application of knowledge and skills
3) Preparation for employability4) Civic, social and cultural engagement (citizenship)
Doing justice to:- Profiles of the HE institutions: international, national, regional orientation and player
or a combination of these (compare U-multi-rank approach)- Missions of the Higher Education institutions: ranging from research intensive toapplied- Types of degree programmes: ranging from broad (basis in sector) towards very
specialized (in particular at bachelor / first cycle level)- Components: Minors and electives, differing per degree programme (and related toits profile / set of programme learning outcomes)- Personal development and preparing for citizenship and employability

設計 (5): ４つの観点
CALOHEE では測定すべき観点（カテゴリ）を区別している
1) 理論
2) 知識と能力の応用
3) エンプロイアビリティの涵養
4) 市民的・社会的・文化的参加（市民性）
正当に捉える努力:- 高等教育機関のプロフィール: 国際社会、国家、地域社会における役割(その組み合わせ）(U-multi-rankのアプローチ参照)- 高等教育機関のミッション: 研究重視‐実践重視- 学位プログラムの種類: 広範 (学問領域を基盤) ‐専門特化 (特に学士課程段階において）- 要素: 学位プログラム（プロフィール、プログラムの学習成果）ごとに異なるマイナー・選択科目- 人格の発達、市民性とエンプロイアビリティの涵養CALOHEE Design (7):Domain specific dimensions
 Do justice to the character of specific academic domain Structures sets of learning outcomes in a logical way Allows for combining QF for LLL and QF for the EHEA
taken
from
EUR-ACECALOHEE 設計 (7):
学問領域別の側面
 学問領域の特徴を正当に捉える
 一連の学習成果を論理だてて構成する
 欧州高等教育圏資格枠組みと生涯学習資格枠組みを組み合わせる
taken
from
EUR-ACECALOHEE Design (8):Integration Qualifications Frameworks

Work in Progress

CALOHEE 設計 (8):資格枠組みの統合進行中CALOHEE Design (7):Multi-dimensional approach
Assessment frameworks based on parameters/dimensions
PARAMETERS / CATEGORIESEQF: Knowledge
Knowledge:
theory andmethodology

SkillsApplication
knowledge
and skills

Competences

Employability

Civic, socialand cultural
engagement

2

Common body of knowledge, skills andwider competences

Assessment framework

DIMENSIONS

1CALOHEE 設計 (7):多元的アプローチ
観点・側面に基づくアセスメント枠組み
観点 / カテゴリ
EQF: 知識能力

知識：理論と方法論

知識と能力の応用

コンピテンス

エンプロイアビリティ

市民的・社会的・文化的参加

2

幅広い知識・能力・コンピテンスの共通基盤

アセスメント枠組み

DIMENSIONS

1CALOHEE Design (8)MULTI-DIMENSIONAL APPROACH
Assessment frameworks based on fourparameters + subject specific dimensions
Knowledge:
theory andmethodology

Application
knowledge
and skills

Civic, socialand cultural
Employability engagement

Common body of knowledge, skills andwider competences

Example of a
research
university(based on
profile andmission)
Example of auniversity ofappliedsciences(based on
profile andmission)
Shared body

Assessment frameworkCALOHEE 設計 (8)多元的アプローチ
4つの観点と学問分野別側面に基づく
アセスメント枠組み
知識：
理論と方法論

知識と能力の応用

エンプロイアビリティ

市民的・社会的・文化的参加

研究大学の事例(プロフィールとミッション)応用科学大学の事例(based onprofile andmission)

幅広い知識・能力・コンピテンスの共通基盤
共通基盤

アセスメント枠組み

CALOHEE intended outcomes
phases 1+2
3 main expected achievements:
 Complementing European Qualifications Frameworks atdomain and disciplinary level by Sectoral / Subject Area
Frameworks (BENCHMARK 1) and Assessment
Frameworks (BENCHMARK 2)
 Rekindle the fire of the student-centred/competences/learning outcomes approach (by focussing on quality andrelevance of learning according to the four parametersand set of dimensions identified) Frameworks which are a reliable basis/condition forsetting-up fair transnational assessments

CALOHEE 目指す成果（フェーズ1+2）
3つの主たる成果:
 学問領域・学問分野別枠組み (ねらい1) 及びアセスメント枠
組み (ねらい2) によって、欧州資格枠組みを学問領域・学問分野のレベルで補完すること。
 学生中心/コンピテンス/ 学習成果 アプローチへの熱意を再び高めること (四つの観点と側面から捉える学習の質と妥当性に注目することで） 公正な超国家的アセスメントを開発する上で、信頼できる基盤・条件となる枠組みを開発すること

Intended outcomes phases 1+2 (3)What do the (assessment) frameworks offer theindividual student / department and academic
staff ?
Insight in:- internationally agreed reference points (benchmarks) regarding their field ofstudies- detail in terms of knowledge, skills and (wider) competences to be learned
according to the specific profile of the HE institution and degree program- what might be expected from their educational program, to be preparedwell for:- operating as an expert in the chosen discipline- working successfully in a related employability field (jobs and tasks
expected to perform)- acting as an active citizen (taking responsibilities and civic, social andcultural engagement)

CALOHEE 目指す成果（フェーズ1+2）(アセスメント）枠組みは、個別の学生、学部・学科、大学教員に対して何を提供するのか
以下に関する示唆を提供する:- 国際的に合意された学問分野別参照基準（ベンチマーク）。
- 高等教育機関や学位プログラムのプロフィールに基づいて、具体的にどのような知識・能力・コンピテンスを学生に身に付けさせるべきかについての情報。
- 以下の観点から、教育プログラムに何が期待されるかについての情報。
- 特定の学問分野において専門家として活動する- 関連する雇用領域（職業や職務）において適切に働く- 市民として積極的に活動する（責任ある行動をとり、市民的・社会的・文化的参加を果たす）

Intended outcomes phases 1+2 (4)What do the (assessment) frameworks offer themanagement and leadership of an institution?
Insight in: whether the learning outcomes of its program(s) are aligned withinternationally agreed standards
 whether the learning outcomes meet the mission and profile of theinstitution / its programs strengths and weaknesses of its program(s) according to the four
identified parameters and the agreed dimensions
 possible needs for quality enhancement of (aspects of) its programs (incomparative perspective) whether its programs are able to compete with comparable programs inan (inter)national context

CALOHEE 目指す成果（フェーズ1+2）• (アセスメント）枠組みは、大学の執行部に対して何を提供するのか以下に関する示唆を提供する:
 プログラムの学習成果が国際的に合意された基準と整合しているか。
 学習成果が大学・プログラムのミッションとプロフィールに適合しているか。
 4つの観点と合意された側面から捉えたプログラムの強みと弱み。
 プログラムについて（比較の観点から）、その質を改善すべき余地があるかどうか。
 プログラムが全国的・国際的な文脈において、類似のプログラムと互角であるといえるか。

Intended outcomes phases 1+2 (5)What do the assessment frameworks offer for
quality assurance / accreditation?
At international level:
 More detailed and relevant sets of international reference points alignedwith meta-qualifications frameworks: EQF for LLL / QF for EHEA, at
sectoral and subject area levelAt national level:
 More precise international benchmarks which allow for referencing
degree programs in (inter)national quality assurance and accreditation
procedures by doing justice to their mission and profile Potentially a means for simplifying quality assurance and accreditation
systems (‘proof is in the eating of the pudding’)Intended outcomes phases 1+2 (5)アセスメント枠組みは、質保証・アクレディテーションに対して何を提供するのか
国際的なレベルで: 欧州生涯学習資格枠組み・欧州高等教育資格枠組みといったメタ資格枠組
みと、学問領域・学問分野のレベルで整合した、より具体的で妥当な国際的な参照基準を提供する。

全国レベルで
 全国的・国際的質保証・アクレディテーションの手続きにおいて、学位プログラムのミッションやプロフィールを正当に加味しながら参照することのできる、より正確な国際的なベンチマークを得ることができる。
 質保証・アクレディテーションの仕組みを簡易化する潜在的な方法の一つ(プリンは、試食することによってはじめて、その真価が明らかにされる。)

Thank You!

Contact Robert Wagenaar:
 CALOHEE

r.wagenaar@rug.nl
calohee@rug.nl

CALOHEE website:

https://www.calohee.eu

ご清聴ありがとうございました。

連絡先ローベルト・ワーヘナール: r.wagenaar@rug.nl
 CALOHEECALOHEE website:

calohee@rug.nl
https://www.calohee.eu