2021/3/29

4.02

留学･学習効果の客観的測定･分析－ 教育プログラムの質保証･ PDCA ･教育的介入 ー

西谷 元
副理事 (SGU担当)
法学部教授
広島大学
2021. 3.29
研究大学における国際化戦略とその効果分析：
広島大学の取り組みを事例とした因果分析

広島大学における英語力の向上実績
SGU増加
英語教育改革に関する
学内検討

改革実施

2.7倍

2013-2016
平均672人マーカーのついているのは、iBT 80､TOEIC 730）を設定している大学

1

2021/3/29

広島大学における英語力の向上実績(学部間人数)
全学部TOEIC730点以上推移
600

730点以上人数

500

400

2020
300

2019
2018
2017

200

2016

1000

広島大学における英語力の向上実績(学部間%)
全学部TOEIC730点以上推移
45.0%

40.0%

730点以上人数

35.0%

30.0%

25.0%

2020
2019

20.0%

2018
2017

15.0%

2016

10.0%

5.0%

0.0%

422021/3/29

変化の顕在化（730点以上学生の分布）
入試等
改革効果

教養教育等
改革効果

留学・課外活動・期待値等効果

2022年以降
医歯薬での増加は2016
年入学生以降のため

5

留学に必要な語学力=730

632021/3/29

なぜ増えたのか？→データの分析• センター試験結果• 入学アンケート• 学籍情報
学生番号、学生所属名、性別、入学年度、受験番号･･･• GPA情報
学生番号、学期･通算GPA、学期総登録単位数 ･･･• 学生別履修科目情報
学生番号、学生所属名、開講年度、開講区分･･･• 学生別留学情報• 卒業5年後アンケート• BEVI（1年生6割程度･コロナ以前2018からのデータ）
両親の出身国･学歴･収入、海外居住歴、他言語の能力･･･
コアコンピテンシーに関する17尺度の個人別スコア
8

コンピテンシーの測定**

Assessment42021/3/29

測定･評価計画
プロジェクトの⽬標達成度･進捗状況の把握のため、何を測定し評価しているのか、しようとしているのかが明確になっているのか？
→効果的な評価計画を作成するには、多くの時間と労⼒が必要以下の項目の検討が必要では？
• 何を測定したいのか、そしてその理由は• どのような測定可能で現実的なアウトカムを特定できるか• 制度･プログラムの⽬標とアウトカムとの関連• アウトカム（←→アウトプット）のエビデンスとは• 評価の結果をどのように使⽤するのか
アウトカム「アウトプットがもたらす状況の変化、人の行動変容、その他成果」（SGUによる定義）
11「根本的な疑問」• 異文化適応性のみを測定するので十分か？
すでに留学を経験した学生、帰国子女、留学生は「男は男らしく、女は女らしくあるべきだ」→異文化適応だけで良いのか。相互かつ複雑に関連する信条･価値観全体を測定するのか？

• 学生個人による主観的評価･満足度アンケートで十分か？
「プログラムはあなたの〇〇を変化させましたか。1-5段階で答えてください」→ 大きなデータと比較され得ない主観的「アンケート」 で評価？

• 事後に行う「変化」の評価で十分？
学生はグループ･年により異なる。例「今年のグループは去年より意欲がある」→事前テストの必要性はないのか？ 留学しない学生に対してどのように質問するか？
→事前･事後の比較が可能か？

主観的評価･満足度アンケート（パネルデータ？）で、以上ができるか？
1252021/3/29「根本的な疑問」• 「正解」のある質問でコンピテンシーを評価可能？
「社会的望ましさ」social desirabilityによる偏り「異なる信仰･文化を理解し受け入れることができますか」(JASSO事後アンケート)→利用回数/時間にも影響→質問項目における表面的妥当性の削減の必要性• 理論的バックグラウンドの有無？
→Craig,Shealy
Making Sense of Beliefs and Values: Theory, Research, and Practice• 非参加学生･外国人学生との比較が可能か？
優秀な、また興味のある学生だけがプログラムに参加しているのでは？
学内だけでの比較で十分？ →なんらかの基準との比較が必要？
非参加学生に問う質問として妥当性があるか？ →「留学に参加した後で…」• 評価だけでなく、教育的介入に用いることができるのか？
→そもそも、留学プログラム自体、またその測定･評価の目的は？

13「根本的な疑問」• ストレス（コスト･リソース）を考慮し継続的に実施可能か？
1人当たりコスト･時間
結果がどれだけ早く返ってくるかどのような分析（サブグループ別分析を含め）が可能か
教育的介入にも利用可能か• 学生が記入したデータの信頼性？
矛盾する回答
短時間での回答
同じパターンでの回答

146

2021/3/29

教育･留学プログラムの評価
原則 1
どこにいるのかわからなければどこへ行けば良いのかわからない• 学生の「学習アウトカム」を改善するためには、学生の「開始」時点と「終了」時点に関するデータを収集せずに、「改善」しているかを測定きるのか？

• 単純に比較すること「改善」を証明できるのか…
- 主観的アンケート？
- 社会調査←→検定- 客観的テストの構造･理論的背景
テスト開発に用いられたデータは日本人のみでよいのか？

文部科学省学生調査

教育･留学プログラムの評価
原則 2
用語を定義する• 「コミュニケーション能力」､「主体性」､ 「異文化コンピテンシー」 ､ 「異文化適応性」 ､ 「グローバル人材」 ､ 「学生の成功」の定義･構成要素は？
• これらの複合的な概念は、「共通した属性または特性からなる、概念または心的表示と定義でき、観察可能または測定可能な現象を引き起こすため、存在すると見なされる」（Hubley＆Zumbo,2013. p3）。

7

2021/3/29

http://hdl.handle.net/10131/00011727

グローバル人材の定義

市村 光之 「海外で活躍する「グローバル人材」に求められる要件の構造（海外駐在経験者へのインタビュー調査から）」
http://hdl.handle.net/10131/00011727

18

教育･留学プログラムの評価

アンケートで評価？
大学生ー若手社会人の比較から作られた尺度を中高生に適用？

原則 3
時間的また財政的に妥当な方法 大学院進学希望者
教員志望者
で、複雑な構造を評価する• 大学は、このような概念の定義方法が大きく異なるだ
けでなく、それぞれ全く異なった方法で、これらを測定する可能性• そして測定手法が、評価のベストプラクティスの最小限の基準を満たしているかどうかは不明
テストの実施→結果• たとえ、測定が行われたとしても、特定の教育的介入（教育･留学プログラム）の有効性に関して収集されたデータは、解釈不可能の場合も。さらに悪いことに、解釈不可能であるにもかかわらず解釈されている可能性もある。

8

2021/3/29

教育･留学プログラムの評価
原則 4
質を伴った評価の実践は、研究につながる• 「改善」が起こっているか否か。改善が起こっている
場合、誰に対して、どのように、どのような状況で発生しているかを理解するには、そのような変化の複雑で相互に作用する要素（例：生活史、感情的能力、帰属傾向、自己/その他の認識）も考慮に入れながら、長期的に評価する必要性。
背景情報• このような方法で評価しない場合、観察された「学生の学習成果」が、教育的介入の結果なのか、または学生自身の能力の結果なのか、またはこれらの間の相互作用に起因するかどうかを判断する方法はない。
単行本/論文/学会発表/博士論文/科研
研究倫理委員会

教育･留学プログラムの評価
原則 5
適切な評価の実践は、教育･プログラム実施に意義･関連性があり、「興味深い」ものである必要• どのようなデータに基づきテストが開発されたのか• 理論的背景はあるか、またテスト開発理論に従った開発、運用、測定、分析、解釈が行われているか• 評価対象は、日本人学生だけを対象とするのか/受入れ留学生を対象とするのか（テストの言語は？）• 必要かつ十分な信頼性と妥当性があるか• 人間の複雑さ、文化的差異を考慮に入れているか• 評価プロセスは、評価しようとしているプログラムにあったものか• 評価結果は、PDCA、教育的介入にも活用できるものか• コスト（人的･時間的･金銭的）は9

2021/3/29

Assessing International,
Multicultural, and Transformative Learning:
Seven Best Practices、
Practice 5 Operationalize constructs in an ecologically valid manner, accounting 、
for mediators and moderators that affect processes and outcomes.

https://pdfs.semanticscholar.org/3868/6a927ce67d2f57d19461bd7f73b70cc30b54.pdf

SEM共分散構造分析（構造方程式モデル：Structural Equation Modeling）

BEVIの概要**About BEVIBEVIテストとは･Withコロナのデータは今しかとれない･データがなければpostコロナの変化も不明･学生に「変わりましたか」とアンケート調査?

102021/3/29

コンピテンシー

分野別/コア
コンピテンシー

見える部分
（顕在）

グローバル・コンピテンシー

測定

知識スキル

容易

感情
困難
見えない部分
（潜在）

留学
COIL

動機
価値観
信念

非常に困難

欲求

IW

CW

BEVIとは• 信念･価値（Belief and Value）についての個人によるステートメント（データは世界中から）から質問項目を作成→確立した心理学(EI理論)･心理統計学･テスト開発理論を基盤→異文化受容性だけではなく、自己（Self）全体を測定• 複数回の因子分析の結果により、質問を185にデータは、日本を含む140カ国･2万件を利用• 質問項目にはコンピテンシーは表示されない(表面的妥当性)• 質問項目に正解･難易度は設定されない• 12歳以上社会人まで• 英語版･日本語版･中国語版＋スペイン語版→派遣＋受入･混合プログラムにも利用可能• 標準化されたデータから作成＝検定（MMPIと同様）→国際比較が可能

2511

2021/3/29

IW

CW

BEVIとは• データの信頼性チェック機能（計8）（質問への未回答数、受検時間、一貫性、適合性、連続回答などから）・一貫性（Consistency）（類似又は同一の内容を測っているが表現の異なる質問項目に対する、回答の一貫性）
・適合性（Congruency）（ 統計的に推定できる回答パターンとの、回答の一致の程度）• Webベースによるテスト実施とレポート作成
COVID19
長期留学中の学生の変化• データ分析･レポートはWeb上で自動即座に
Time1/ Time2/ Time3/… Time Xレポート作成• 誰が、何を、なぜ、どのような状況で学習するのか26

IW

CW

BEVIとは• 各大学は自分のデータにアクセス･管理可能• グループ内のサブグループ（年齢､性別etc）の解析が可能• 質問には正解がなく、結果は価値中立的（eg外国人学生）/
評価は大学･教員eg ジェンダー･宗教
eg 世界に対する関与、異文化「米国のポンペオ国務長官は2021年1月１９日、公式のツイッターアカウントに投稿し、多文化主義につき、このような思想は「米国本来の姿ではない」との認識を示した。」• 混合メソッドMixed Method（定量的･定性的テストを一体化）• 他の測定ツールとの併用可能（データのダウンロード機能）
27

122021/3/29

CW

Much of this section is drawn from

Cultivating the Globally Sustainable Self:
How the Human Species Might Fulfill its Potential
Craig Shealy

２０１5

In print
２０21
28

CW

BEVIの開発 1990- （ステイトメントｰ質問項目ｰ尺度）・プロトタイプBEVI 1990BEVIは、数十年かけて培われてきたEI理論やEIセルフを検証する研究目的のため、心理測定学の基準及び手続（Downing and Haladyna 1997;Geisinger、2013; Hubley & Zumbo 2013; Robinson、Shaver、andWrightsman 1991, 1999など）に基づき、1990年代初頭に米国で開発が開始さた。
開発にあたっては、特定の概念・尺度を前提としこれらを測定するために質問項目を作成するのではなく、人々が重視する信条及び価値観から、概念・尺度を導き出すという手法が取られた。
この研究はドイツにある文化的・言語的に多様な研究者・学生が在籍する大学において開始されたが、同時に米国を含め世界各国で実際に述べられている信条及び価値観に関する文書･口頭によるステイトメントを収集することも行われた。
第一段階として、これらの500項目以上のステイトメントから、質問項目が作成され、最初の因子分析後、 40の尺度からからなる、415項目バージョン
BEVIが作成された。このBEVIの因子構造は、現在においても、広範かつ学際的な研究者やテスト開発専門家により分析、検討、研究が継続して行われている。
2913

2021/3/29

CW

BEVIの開発 2007–2014
・フォーラム･BEVIプロジェクト（336項目バージョンの作成） 2007–2014
フォーラムBEVIプロジェクトは、Forum Education Abroadのもとで、広島大学を含む世界各国の大学が参加した、学習手法に関する評価・検証プロジェクトで、8年間にわたり実施された。このプロジェクトを通じて、BEVIの基礎となっている心理測定学にかかわる理論が再検討され、また、BEVIの尺度（及び下位尺度）の複雑な相互作用や、現実社会への示唆また応用の可能性に関する多様な研究が実施された。2007年から2014年にかけて世界各国の大学、留学プログラム担当者が、数百の留学プログラムに対してBEVIを実施し、その成果は、 70以上の出版物、シンポジウム、論文・学会発表などで発表された
また、フォーラムBEVIプロジェクトにおいては、BEVIのテスト結果に対して、二度目の因子分析が実施され、当時415項目あったBEVIの質問項目の再検討が行われた。この因子分析の目的は、BEVIの質問項目数を減少させると同時に、基礎にある因子構造を明確化し、学習に関する種々の促進要因または阻害要因を明らかにすることが目的であった。415項目版BEVIに基づくテスト結果を統計的に分析し、尺度の数を40から18に絞り込むことが行われた。その後の再検討の過程で、さらに約80の質問項目が削除され336項目版のBEVIが作成された。その後、これらの尺度それぞれに基準が設定され、そのクロンバック･アルファの信頼係数は0.80または0.90以上となっている。
このプロジェクトを実施する段階で、新しく3つの経験に対する定性的な質問項目が加えられ、これにより多面的な分析が可能となった。
30

CW

BEVIの開発 ショート･バージョンBEVI
・ショート ･バージョンBEVI（185項目/17尺度）の開発 2011–2013
フォーラムBEVIプロジェクトにおける成果・発展にもかかわらず、より短いバージョンのBEVI開発の要望が各大学から寄せられたため、2011年から2013年にかけて、「ショート･バージョン」BEVIの作成プロジェクトが行われた。
ショート・バージョン作成の要請の理由の一つは、特に高等教育においては、評価・測定への需要は高いものの、学生また教員に時間が限られているため、テスト実施時間を短縮する必要があった。また同時に、大量かつ複雑なデータの分析を、Webベースのプログラムにより自動化することも求められた。
第二の理由としては、理論的・構造的観点からのものであった。336項目バージョンBEVIの各尺度はそれぞれ独立した構成概念を測定していたが、これらの構成概念は相互に相関しているため、因子回転パラメータの「斜交性」の性質によって、質問項目は1つ以上の因子に反映させることが可能となる。

3114

2021/3/29

CW

BEVIの開発 ショート･バージョンBEVI
探索的因子分析（Exploratory/Explanatory Factor Analysis : EFA）から集められた情報により、特定の「信条、出来事、価値観」がどのように相関しているかまたその理由を解明することが行われた。さらにEFAに加えて、尺度のEFA構造が、別のサンプルでも保持されるか、どのような構造となるのか、また各尺度の概念モデル相互の関係を解明するため、確証的因子分析(Confirmatory Factor Analysis:CFA) がおこなわれた。
第一段階として、データのそぎ落とし作業（重複や不完全な事例をデータベースから確実に削除）を経て、CFA実施に使用する2,331のサンプルが特定された。
第二段階として、尺度の統合性を損なうことなく消去できる質問項目を特定するため、複数のステップが踏まれた。まず、どの質問項目がどの尺度に関連性を有しているのかの再確認が行われた。 336項目バージョンBEVIの尺度のいくつかはより高次の構成概念を測定していたため、高次の構成概念を形成する下位の質問項目群を特定する必要があり、クロンバック･アルファ係数を通じて、特定の因子（尺度）の一貫性やその下位因子（下位尺度）に大きな影響を与えることなく安全に削除できる質問項目が選択された。

32CW

BEVIの開発 ショート･バージョンBEVI
その後、項目反応理論（Item Response Theory, IRT）にそった分析手法を用い、各質問項目の各尺度に対する相対的寄与を確定した。このステップの重要な目
標は、ショート･バージョンBEVIを用いて導き出した回答者の情報を、 336項目バージョンBEVIで導き出された情報と確実に整合させることであった。このプロセスの分析目的は明確であったが、問題はデータ量が莫大であることと、すべての質問項目とすべての尺度のあらゆる組み合わせを検証する必要があった。

結果的には、「パイソン･プログラム」を用いてこの処理の自動化が行われた。
クロンバック･アルファ係数が0.7になると停止するプログラムを作成し、BEVIの各尺度の情報曲線の形状をそれぞれ比較することを行った。これにより、336項
目バージョンBEVI と185項目ショート・バージョンBEVIの統合性を保ち、185項目バージョンBEVIで使用される質問項目は、 336項目バージョンBEVIと同様に、同じタイプの回答者を特定することができるようになった。このプロセスを経ることにより、185項目バージョンBEVIにおいて使用される質問項目と削除する質問項目の候補を選択する基準を作成することが可能となった。

3315

2021/3/29

CW

BEVIの開発 ショート･バージョンBEVI
しかしながら、パイソン･プログラムがしばしば、185項目BEVIのいくつかの尺度について、異なる質問項目の組み合わせを複数「提示した」ため、各尺度にとって最良の組み合わせを検出し、個々のBEVI尺度が「何を」測定し、それが「なぜなのか」を説明するため、構造方程式モデリング（StructuralEquation Modeling, SEM）を用い、これらのあらゆる組み合わせの検証が行われた。このプロセスもまた非常に反復的なものであったが、BEVIに関する心理学理論的また統計論的検討を経て、最終的に、全ての尺度に対し、心理学理論的にもまた統計論的にも妥当な特性を持つ解が決定された。
この結果、ショート･バージョンBEVIでは、人口統計また背景情報に関する質問項目が65項目から40項目へ、信条及び価値観、世界観に関するBEVI本体の質問項目が336項目から185項目へ、尺度が18から17へと削減された。
2014年以降も、計4回（合計８回）の因子分析を実施し（最近では2018年に約2万件のデータを対象に実施）、質問項目及び尺度の妥当性を高めている。

34

CW

BEVI-jの開発
・日本語版BEVI-jの開発 2011 –日本語版BEVI（BEVI-ｊ）は、2011年に、平成24年度グローバル人材育成推進事業（当時）申請に向けて、広島大学で日本語化が開始された。複数メンバーからなる2チームが翻訳および反訳を行い、最終的にはBEVI開発者のDr.
Craig Shealy教授と反訳の検定を行い、プログラム化された。日本語版BEVIは、当時最新のバージョンであった336項目バージョンBEVIを元に開発が開始され、上記の英語版BEVIと同様に、日本人データに基づき因子分析が行われた。
185項目バージョンBEVIの完成に従い、2014年以降は日本語版BEVIの開発も185項目バージョンBEVをもとに開発が進められ、2016年に正式に185項目バージョンの日本語版BEVI-jが作成された。これ以降広島大学において185項目バージョンBEVの利用するとともに、2017年以降は広島大学以外にも当該バージョンの提供を開始した。
・BEVI Ver3の開発 2018 –2021–
185項目バージョンBEVIに基づき、･分析ツールの拡張･背景情報の見直しを含むVer3を開発

35

16

2021/3/29

サブグループ別の分析

分析

個人別レポート

標準化されたデータとの比較
オンライン
データ分析

データ

背景情報

BEVI質問項目

Background Information

Question Items

40

＝＝＝

41＝＝＝

17

2021/3/29

BEVIの概略：出力レポート例(Ver3)
グループ･レポートの結果レポート（全30）の一例
T1,T2,T4の変化の表示例

個人別ダッシュボード/トップページ

多言語対応

複数プログラムの管理

ダウンロード機能

42

BEVIの概略：臨床心理学･EI理論
・ PPT from Craig N. Shealy, Ph.D.
・ Shealy, C. N., “Beliefs, Events, and Values Inventory (BEVI) ”
in Chapter 1, Making Sense of Beliefs and Values: Theory, Research, and Practice(2016 Springer)

信念・価値の集合
幼児

子供→自己の形成

思春期

成人

信念・価値

4318

2021/3/29

44

BEVIの測定結果：事前事後の変化*

留学プログラムの効果測定

And the BEVI can show us
how people grow and change
OVER TIME19

2021/3/29同プログラム（異なる国） 変化量大ー小（平均）Aggregate Profile

2019-66-START(USA)－2019-65-START(Indonesia)（日本人学生 2週間） 必ずしも、伸びるとは限らない

2週間のプログラムでも変化をもたらすことは可能

46

BEVI/学部による主成分分析
BEVI/PCA by faculties
n=22384720

2021/3/29

2週間プログラムの違い
Differences among 2 weeks Programmes

48

1,800 HU students
Same Pattern between ’18 and ’19
More Socially and Culturally open in ‘20

50

21

2021/3/29

30

preCOVID
2018
2019

25

N = 1588 25

2020

15

15

10105

50
123414. Gender Traditionalism

15 Sociocultural
2018/2019 - 2020
15 Sociocultural
2018 - 201930

Intro to Univ_2018, Scales 14,15,17567815. Sociocultural Openness

91017. Global ResonanceIntro to Univ_2019, Scales 14,15,17
N = 1433

012314. Gender Traditionalism

456715. Sociocultural Openness

12345678910-0.5-2-3.5-2.5-1.5-0.5

2.5

30.5

4.5-101

1-1

1-10-1-1

891017. Global ResonanceN = 1421

with
COVID
2020

POST?

BEVIの測定結果：グループ間の相違*

The BEVI shows us how
GROUPS of people
are SIMILAR and DIFFERENT

222021/3/29

日本人1年生（広島大学－他大学）
2018
HU Outbound
2-3rd Year(JPN)

Advanced
Japanese Students

2017
HU-STARTFreshmen(JPN)First Year
Japanese Students
HU = A University

2017
University A
Freshmen(JPN)

異なる学年・異なる傾向（2･3年生ｰ1年生）
異なる大学・同じ傾向（1年生）

Examples of Institutional Profiles
Hiroshima University (Japan, 15,000 students, public)

23

2021/3/29

日本人1年生（異なる学部）（理系－文系）
Japanese 1st Year(Engineering-Letters)
他の理系・文系学部でも同じ傾向
Same patterns in other faculties
Science-Humanities

2020大学教育入門

工学部－文学部
56

日本人学生

大学教育入門 工学部－文学部

日本人1年生（異なる学部）（理系－理系）
Japanese 1st Year(Engineering-Informatic)
工学部全体

工学部4類（土木・建築）

CW

情報科学

60

24

2021/3/29

日本人1年生（異なる学部）

2020大学教育入門 工学部－教育学部（自然・数理・情報）

異なる学部・類似の専攻

62

工学部 教育2類

日本人1年生（異なる学部）
高校生とと比較して異文化関係尺度はほぼ同じ
しかし、Basic Determinism
Socioemotional Convergence

2020_0904 SIIEJ WorkshopC(0902)

高校2年生
64

工学部 教育2類

252021/3/29

BEVIの測定結果：グループ内の相違*

教育的介入のための基礎データ

The BEVI shows us the complex
patterns of variation
WITHIN GROUPS

協定等に基づく日本人学生留学状況

JASSO 2018（平成 30）年度 日本人学生留学状況調査結果

67

26

2021/3/29

ENGR ECE majors Fall 2020

Intro to Univ_2020

68

ENGR ECE majors Fall 2020

Intro to Univ_2020

6927

2021/3/29

ENGR ECE majors Fall 2020

Intro to Univ_2020

70

ENGR ECE majors Fall 2020

Intro to Univ_2020

7128

2021/3/29

デシルプロファイル（Decile Profile）-2020_0903 SIIEJ WorkshopC(0902)

2020_0904 SIIEJ WorkshopC(0902)

79

77

64
異なる形式でのサブグループのテスト結果表示
個人が尺度でどのように分布しているか

63

72

CW

The Forum BEVI Project
http://frontiersjournal.org/wpcontent/uploads/2015/09/WANDSCHNEIDERetalFrontiersXXV-TheForumBEVIProject.pdf

292021/3/29

CWForum BEVI Project Implications
1. Who we are affects whether, what, and how we learn.
2. Education, broadly defined, is associated with – and likely causes – change in beliefs
and values.
3. To understand how effective our interventions are, we must assess who learners are.
4. It is possible to predict who will be interested in – and satisfied by – a learning
experience even before the learning experience actually occurs.
5. Specific analyses may be conducted for purposes of outreach and engagement.
6. All educators and educational experiences are not equal.
7. Educational experiences are associated with desirable as well as undesirable processes
and outcomes across a wide range of constructs that must be measured to be known.
8. Examining only overall (e.g. aggregate) findings or privileging only a few BEVI scales
constitute tempting but counter-productive approaches to comprehensive assessment.
9. Although distinct characteristics of various cross-cultural groups are identifiable, broadbased assessment suggests within as well as between group variation.
10. As Kurt Lewin observed, there is nothing so practical as a good theory.
11. It is possible to identify the profile or signature of an institution or organization.
12. Group reports help course instructors, program directors, and administrators
understand better15. Best practice in assessment requires best practice in research.

CW

より効果的な留学プログラム作成のためには？

The 7 D’s–Duration–Difference–Depth–Determine–Design–Deliver–Debrief
Wandschneider, E,The Forum BEVI Project: Applications andImplications for International, Multicultural, andTransformative Learning（2016）
https://eric.ed.gov/?id=EJ1071299

30

2021/3/29

The 7Ds – What we’ve learned about why
learning, growth, or development occurs (or doesn’t)
1. duration (i.e., how long an international, multicultural, or transformativeeducation experience occurs);
2. difference (i.e., how different the experience is from what the “self” ofthe experiencer is accustomed);
3. depth (i.e., what the capacity of the learner is to experience all that theintervention is able to convey);
4. determine (i.e., through formal and informal assessment, how well theintervener understands his/her audience);
5. design (i.e., based upon knowledge of the audience and careful
deliberation and development, what the quality of the intervention is);6. deliver (i.e., how well the intervener can fulfill the transformative
potential of the intervention); and,7.

debrief (i.e., before, during, and after the intervention, how deeply theintervener assesses the nature of the learning experience, and uses
such feedback to improve planned, current, and future interventions).
76

31