JELES-49＠早稲田大学8号館
3階303/304/305会議室
17:30-18:00『スコア開発率』上限の自己設計が及ぼす「教えない教え方」への効果

２０１９年３月２日（土）一般社団法人Ｇｌｏｂａｌ８会長 八木 智裕

http://global8.or.jp

Table of Contents▐ 基礎材料Review(JELES48抜粋) http://global8.or.jp/JELES48.pdf⚫ スピーキングテストOPIｃについてーー東大フライヤー裏面参照⚫ 価値共創型学習モデルについて⚫ 受給者のリテラシー向上を目指して「スコア開発率」適用を考える▐ 『スコア開発率』上限の自己設計の実証考察▐ 「教えない教え方」への効果波及私見▐纏 めスピーキングテストOPIｃについて*1▐ ACTFL*2ガイドに準拠し、実際のビジネスや生活の場でいかに効果的で適切に言語を使えるかの言語駆使能力を客観的に測定できるテスト▐ LTI監督のもとOPI含め昨年世界120ケ国以上で、60万人を超える受験者▐ ACE*3単位認証ガイドに準拠し、2,000を超える大学が単位認定に活用中▐ 日本では英語に続き、留学生中心に日本語スピーキングテストを提供⚫ *1 http://global8.or.jp/opic.html⚫ *2 American Council on the Teaching of Foreign Languages https://www.actfl.org/⚫ *3 American Council on Education http://www.acenet.edu/Pages/default.aspx

OPIcを開発しているACTFLによる学校履修目安とUS政府が定める職務基準の関係
レベル名称

Ａｄｖａｎｃｅｄ
Low(AL)Ｉｎｔｅｒｍｅｄｉａｔｅ
High(IH)

Ｉｎｔｅｒｍｅｄｉａｔｅ
Mid(IM3～IM1)

今回実証適用値

98765

言語能力

自分の考えや経験を流暢に表現できる。討論や交渉、説得など実際の業務で駆使することができる。

文法的に大きな間違いが無く言語を駆使し、基本的なビジネスや会議でコミュニケーションができる。
１－９のＰ１ 小さな文法的ミスはあるものの、長いセンテ
指標ンスを駆使し、基本的なコミュニケーションができる。
※ＩＭ３（上）、ＩＭ２（中）、ＩＭ１（下）に細分化
日常的な話題はセンテンスで話すことができる。会話に参加し、興味のある話題は自信を持って話すことができる。

Ｉｎｔｅｒｍｅｄｉａｔｅ
Low(IL)

4

ＮｏｖｉｃｅHigh(NH)

3

簡単な単語や句を駆使してコミュニケーションができる。

ＮｏｖｉｃｅMid(NM)2

既に暗記している単語やセンテンスで話すことができる。

ＮｏｖｉｃｅLow(NL)

1

限定的ではあるが、単語を羅列して話すことができる。

米国での職務ガイド

修得対象

・Customer Service Agent, SocialWorker, Claims Processor,K-12
Language Teacher, Police Officer,
Maintenance Administrator, BillingClerk, Legal Secretary, Legal
Receptionist

・Undergraduate language
majors with year-long study
abroad experience

・Auto Inspector, Aviation Personnel,
Missionary, Tour guide

・Undergraduate language
majors without year-longstudy abroad experience

・Cashier, Sales clerk(highlypredictable cintexts)

・L2learners after 6-8 year
sequences of study(AP,etc.)
・4-6 semester collegesequence

・Receptionist, Housekeeping Staff

・L2learners after 4 year highschool sequence or 2semester college sequence

FSI到達ガイド1320h

・L2learners after 2 years ofhigh school language study

480hサービス科学：RISTEX助成研究

概念定義
コンピテンシー

Page 5/27

高等教育を対象とした提供者のコンピテンシーと受給者のリテラシーの向上による共創的価値*1の実現方法の開発- Project VELCOLE - ：記念フォーラム発表より抜粋⚫ ある文脈下で価値を実現する際に用いられる知識やスキルリテラシー⚫ 文脈価値を実現するために必要なコンピテンシーを適用するための能力⚫ コンピテンシーを適用する能力だけでなく、提供者と受給者が互いのコンテキストを共有し、すり合わせる能力を含む

メタ認知⚫ リテラシーの中核となる能力概念⚫ 「知覚する」「記憶する」「理解する」などの自己の認知活動を客体化して把握し、それらの認知活動をコントロールする能力⚫ コンテキストの共有とすり合わせを行う上では、自身の認知活動だけなく、他者の認知活動も把握し、必要に応じて変容を促すことが必要*1 価値共創型学習モデル www.comp.tmu.ac.jp/smmlab/research/velcole/index.html

提供者のリテラシー獲得に向けて▐ コンピテンシーの適用開始時（Pre)と終了時（Post）にOPIc評価を実施し、Preを統制群Postを実験群として夫々の平均・偏差を使った効果量*1と上昇・下降の合計平均をUP/DN率として把握・評価し、リテラシーの改善に役立てる▐ コンピテンシー継続により、受給者サイドにおいてコンテキストの変容が促される⚫ *1 効果量と検定力分析入門（水本、竹内） www.mizumot.com/method/mizumoto-takeuchi.pdf
効果量評価はCohen（1988）の基準を用いて、
f = 0.10（効果量小），0.25（効果量中），0.40（効果量大）で分類

受給者のリテラシー向上を目指して「スコア開発率」適用を考える▐ 2018/1/6 第138回次世代大学教育研究会（＠那覇）で存在認識⚫ 2012/4/14 第68回次世代大学教育研究会（＠大阪）初出*1▐ ICT時代の受給者は結果に対して、敏感かつせっかち？
▐ 最終目標レベルを掲げ続けるより、先ず当面提供可能な時間（提供されるコンピテンシー関連の拘束時間）で、どのようなレベルが導かれるか「スコア開発率」を使って導けないか？
⚫ その際の基準として「スコア開発率」が提起した、テスト最上位スコアでは無く当面のグループ基準が必要では無いか？
⚫ *1 https://www.slideshare.net/nextedujimu/sakai-20120414-12545552

基準として「スコア開発率」が提起したテスト最上位スコアでは無く当面のグループ基準が必要では無いか？

▐ OPIcの最上位スコアはAL＝９ OPIでは更に上位もあるが従来の受験者における英語AL獲得者は１桁％の下位⚫ 留学生におけるAL獲得者は２桁％を大きく超えてOPI指標の導入も必要と考える▐ ACTFLガイドを目安として最上位に設定▐ 実態を踏まえ設定▐ 自己肯定感の弱い実態の事前自己評価（OPIｃに対し不案内）を基準に設定するか、或いはPreテスト評価のフィードバック後の自己目標を基準に設定⚫ アンケートを記名化かつフォローが課題

基準として「スコア開発率」が提起したテスト最上位スコアでは無く当面のグループ基準が必要では無いか？

▐ アンケートも入手出来、比較的規模の大きなトライアルで開示許諾を頂いた
３例における「スコア開発率」適用の結果
プログラム名

実施サイズ

平均推移

対象外（AL)

スコア減衰率
適用者（比率）阪井

ACTFL(対象外：％）

事前目標(対象外：％）
事後目標(対象外：％）SP

５３

４．８→５．２

２４（７．３％）

１３．５

１６．９
（３人：5.7%）

２３．８（３人:5.7%）
２９．２（３人:5.7%）

科研

３４

５．３→５．４

０３（８．８％）８．９

１２．３（２人：5.9%）

１６．０（２人:5.9%）
２７．７（３人:8.9%）

KU-COIL

７３

４．５→５．００３（４．１％）

１６．４

１３．６
（30人：41.1%）
適用効果発表： www.j-agce.org/kansai-4/→平成30年度「大学の世界展開力強化事業」:「COIL型教育を活用した米国等との大学間交流形成支援」
http://www.mext.go.jp/a_menu/koutou/kaikaku/sekaitenkai/1401591.htm

211.4（53人:72.6%）
96.2（４人:5.5%）

纏 め▐ 受給者のリテラシー向上に向け「スコア開発率」適用は検討に値する⚫ 求む！適用検証の場▐ 「スコア開発率」の妥当な設定値のガイドが乏しい⚫ ご指導宜しくお願いします！

▐ 現状では、コンピテンシー適用後のPost評価後のアンケート結果目標を次年度の目標レベル設定としコンテキスト共有を促進する▐ 大規模クラスの場合、やむを得ず同一コンピテンシーの提供を余儀なくされるが、Preテスト前のアンケート目標或いはOPIc評価結果を踏まえ、コンテキスト修正を指導し、目標達成・満足度に寄与する▐ 以上 基礎材料Review(JELES48抜粋)➢ ここからJELES49向け発表内容▐ 『スコア開発率』上限の自己設計の実証考察▐ 「教えない教え方」への効果波及私見▐纏 め『スコア開発率』上限の自己設計の実証考察その１⚫ 英語教育免許志望者(ACTFLガイドあり)向け授業プリーポスト⚫ OPIc受験初の大学と経験者が居る大学⚫ 科研適用実証実施サイズ

平均推移効果量

スコア減衰率
適用者(比率)阪井

事前目標(対象外:%)平均：下記

Pre後目標(対象外:%)
平均：下記

上方修正
下方修正

備考

上限：９ACTFL(対象外:%)
上限：８６4.2→5.0
0.64

0

１８．１

２３．３

１０．７
(1人:16.7%)
M=6.3

４５．０
(1人:16.7%)
M=5.8

２４

OPIｃ初

２０

4.9→5.4
0.37

１(5%)

２３．３

１９．２
（２人:10%）３７．２（５人:25%）
M=6.6

５２．３
（４人:20%）M=6.7

６７

下記と同大学３４

5.3→5.4
0.10

３(8.8%)

８．９

１２．３（２人：5.9%）

１６．０（２人:5.9%）-

同一科研でFY17ゼミ生に実施-『スコア開発率』上限の自己設計の実証考察その２⚫ 理工系１年生を対象としたAI付きe-Learning適用科研適用実証⚫ OPIc受験経験者無し
実施サイズ
３７

平均推移
効果量
3.1→2.9-0.14

スコア減衰率
適用者(比率)阪井
上限：９７(18.9%)

８．８

比較前ページ
モデル
２０

ACTFL
(対象外:%)
上限：６

事前目標(対象外:%)
平均：下記

Pre後目標(対象外:%)
平均：下記

上方修正
下方修正

備考

９．０
(２人:5.4%)

１６．７(２人:5.4%)

１１
１２

OPIｃ初

M=6.1

１６．９
(1人N/A:2.7%)
M=5.9

３７．２
（５人:25%）
M=6.6

５２．３
（４人:20%）
M=6.7

６７

前頁
比較用

ACTFL
(対象外:%)
上限：８
4.9→5.4
0.37

１(5%)

２３．３

１９．２
（２人:10%）（参考資料）AI付きe-Learning⚫ AIに対する過度な期待でバズワードとしないために
⚫ 今年
⚫ 来年

『スコア開発率』上限の自己設計の実証考察その３⚫ 平成３０年度名桜大学観光語学人材育成講座：平成３０年度沖縄県人材育成留学等支援事業（内閣府沖縄振興予算、琉球大学と連携）の一環⚫ 参加費の必要なリカレント教育⚫ 上限の自己設計は実施せず、Skype付きレッスンの評価（３回の面談補講支援）⚫ 詳細は http://global8.or.jp/Meio_Kanko.pdf
ﾌﾟﾛｸﾞﾗﾑ名

リカレント

実施ｻｲｽﾞ

75/34/33

以下昨年
比較用
KU-COIL

７３

平均推移
偏差推移
効果量

対象外（AL)4.6→4.6
1.81→1.64
0.01

-

停止4.0
1.99

１

4.5→5.0
1.55→1.42
0.30

０

上限：９

ACTFL
(対象外:%)
上限：混在

事前目標(対象外:%)
平均：下記

事後目標(対象外:%)
平均：下記

５（15.2％）

１０．４

今後の課題

記名課題
M=3.2

記名課題
現在評価中

３（４．１％）

１６．４

１３．６
211.4
（30人：41.1%） （53人:72.6%）
M=6.6

ｽｺｱ減衰率適用者(%)

阪井

96.2(4人:5.5%)
M=6.0

「教えない教え方」への効果波及私見⚫ 英語教育免許や観光語学人材は、夫々のロールモデルが得易く自律的に自分の意志で学ぼうとする姿勢・目標（教えない教え方）作り易い。http://global8.or.jp/posts/news45.html⚫ AI付きe-Learningは英語と距離を置きがちな理工系学生等に「教えない教え方」として有効に働くと考えるが、先ずは自律的に学ぶ姿勢をガイドするAIが望まれる。
⚫ COILは取組意欲に加え、学生間での相互学習・ActiveLearning的学習が「教えない教え方」として有効に働いているように思われる。
実施サイズ

平均推移
効果量

授業効果

阪井

ACTFL
(対象外:%)

事前目標(対象外:%)

Pre後目標(対象外:%)

SDの上限
自己設定教えない教え方

備 考６4.2→5.00.64

◎

１８．１

２３．３

１０．７
(1人:16.7%)

４５．０(1人:16.7%)◎ー

２０4.9→5.40.37

〇

２３．３

１９．２
３７．２
（２人:10%） （５人:25%）

５２．３（４人:20%）◎ー

３７

3.1→2.9-0.14

X

８．８９．０(２人:5.4%)

１６．７(２人:5.4%)

１６．９(1人:2.7%)

ー

AIの適用場所

OPIｃ初75→33

4.6→4.6
0.01△１０．４ー

ーーーー

ﾘｶﾚﾝﾄ
課題

纏 め

▐ 受給者のスコア理解が進み、自ら上限設定を出来れば「スコア開発率」はプログラムの効果設定・検証に活用出来る▐ 「スコア開発率」の妥当な設定値のガイドが乏しい⚫ 当面自己設定された上限の結果をもとに妥当値開示に努めたい。

▐ 「教えない教え方」⚫ AI付きe-learningは有効と考えるが、スコア理解や自律学習促進機能を持ったAI付きを含め評価継続を行いたい⚫ COILは有効な学び方と思われるのでプロジェクトを活用して継続的評価を行いたい⚫ 継続的自律学習の効果評価の視点でリカレントや産学連携のプログラム評価を積極的に支援し公開に努めたい時間軸と空間軸を見据えたつながり
Ｇｌｏｂａｌ８ → ∞Global818