暗闇のスキャナー
授業のマルチモーダル記録とオンライン試験のスコア比較
森下美和（神戸学院大学）

加藤直人（明治大学）

佐藤洋（Ardor Learning Inc. ）原田康也（早稲田大学）

2021年2月26日＠日本英語教育学会第51回年次研究集会

 Introduction（森下） neo eTest（加藤）発表内容

 Ardor myEnglish（佐藤） Results（森下） Conclusion（森下・原田）

2

研究の背景 原田康也・森下美和 (2013)「日本人英語学習者の言語処理と言語運用能力：Versant English Test のスコアを中心に」電子情報通信学会『信学技報』 2013-14, 1-6.
Versant English TestとOQPTのスコア比較
 原田康也・鈴木正紀・森下美和 (2017) 「多様な英語能力の測定」日本認知科学会第34回大会発表論文集, 1124-1131.
Versant English Test、Versant Writing Test、OQPT のスコア比較→Receptive skillとProductive skillが乖離している。

3

研究の背景アジア諸国のTOEFL® iBTの平均スコア→日本人のReceptive skillがProductive skillと比べてとりわけ高いというわけではない。
Singapore
India
Korea, Republic ofChina
JapanAVERAGE

R
L
S W T
24 25 24 24 98
23 24 24 24 95
22 21 20 20 83
21 20 20 20 81
18 18 17 18 72
21.2 20.9 20.6 20.5 83（ETS, 2020）4

研究の目的Receptive skillのみを扱った3つのテストについて、スコアとそこから推定されるCEFRレベル比較する。
Receptive skillおよびProductive skillの定義について、改めて検討する布石としたい。

5

参加者（K大）
関西の私立大学1年生2クラス（受講生53名中48名分の有効データを使用）
授業内容：Reading & Writing＠ZOOM
授業スケジュール：2020年4月～2021年1月
10月13日 neo eTest
12月 1日 OQPT ver. 1 & 2
1月12日 Ardor Learning myEnglish
Placement Test
6

参加者（W大）
関東の私立大学1年生3クラス、2年生2クラス、3~4年生
1クラス（受講登録者90名、定例出席者88名中67名分の有効データを使用）
授業内容：応答練習・プレゼンテーション・作文を中心とした授業＠ZOOM
授業スケジュール：2020年9月末～2021年1月末
10月20日、29日～11月中旬（授業時間外）neo eTest
11月19日、24日（授業時間内）OQPT ver. 1
12月1日、3日（授業時間内）Ardor Learning
myEnglish Placement Test
7

About Me
加藤直人 明治大学サービス創新研究所

研究員

東京都出身。上智大学外国語学部英語学科卒業。

日本航空㈱、 国際教育交換協議会TOEFL事業部長（日本のTOEFL運営事務局）
アール・プロメトリック㈱、㈱スカイクルージング代表、 沖縄ツーリスト㈱グローバル経営戦略室グローバル化推進部長。
麹町アカデミア㈱ 非常勤取締役

DynEd (ダインエド）について
 DynEdは1987年に米国サンフランシスコで創業。DynEd =Dynamic Education
 マルチメディアを活用した英語学習教材のパイオニア。

http://www.dyned.com/
 現在世界75ヶ国以上で2500万人が学習中。

 対象：幼児から成人向け一般英語、ビジネス英語まで対応。

専門英語コースとして、パイロット、管制官向け航空英語コース、ホテル、観光人材向けホスピタリティー英語コースがある。

 最新学習コースとして、スマートフォン、タブレット向けにneo+が開発された。運営は子会社のNexgen English
Online Co.

neo+の特長は？
 スマートフォン、タブレット端末で学習する

 米国DynEd社の過去30年以上のデータに基づき、成功した学習者のモデルをAIで分析

 最初に実力診断テストのeTest(20分）を受験
 受験結果により学習コースが決定する。世界基準のCEFR(ヨーロッパ言語共通参照枠）のA1の場合は、A1＋コースを受講する。
 毎週3時間～5時間学習。6000ポイント獲得を目標。
 学習期間は、各コース標準3ヶ月で修了可能。最長で8ヶ月使用可能。

 各コース修了後にCEFRレベルの認定書を発行
 詳しくは、 https://myneo.space/video

neo+学習開始から修了まで
 neo eTest（実力診断） 受験 学習開始時のCEFR のレベル確定後目標のコース決定
 11段階のコース

Pre1→A1→A1+→A2→A2+→B1→B1+→B2→B2+→C1→C1 Bridige

 学習開始→ １日30-45分、週3時間程度


6,000ポイント/週の獲得を目標に学習 ２週間に一度、オンラインで25分担当コーチからアドバイスを受け、学習内容に基づき会話

 各レベルの学習内容別にMastery Test(習熟度テスト)を受

験、最終的にCertificate Test に合格して修了

CEFRレベルの認定書を発行

neoのeTestについて
 DynEdのPlacement Testをベースに同社の子会社Nexgen

English Online Co.がneo受講者向けに開発



DynEdのPlacement Testは、0.0～5.0のスコアで評価

neo+受講者向けeTestはCEFRのレベルにて評価

A1=0.5, A1+=1.0, A2=1.5, A2+=1.7, B1=2.0,
B1+=2.2, B2=2.5, B2+=2.7, C1=3.0, C2=3.5


テストはCAT(Computer Adaptive Test)



試験時間は20分

neo eTestの受験方法について
 まず初めに現在の英語力を確認の為にneo eTestを受験して頂きます。
 試験時間は最長で20分です。
 出題された前の問題に戻ることはできません。

 結果は、次のページのCEFRのレベルで評価されます。
 試験終了前にもう一度受験したい場合はStart Overをクリックすると1回だけ再受験可能です。

 テスト開始方法

受験用リンク先からneo eTestを受験します。パソコンではなく、スマートフォン、タブレット端末にて受験してください。 （Chrome,Firefox, Safariのみ使用可能）
 静かな環境でヘッドフォンを使用して受験してください。

13

14

15

16

17

18

19

Oxford Quick Placement Test
• paper & pencil version (photocopiable) が冊子（2冊組；ver. 1 & 2) として販売されていたものを使用した。
• Googleformで作成しなおし、自動採点機能を使用して評価した。
• 現在は自動採点システムを導入したOxford
Online English Placement Test (OOPT)が販売されている。

20

3つのテストの内容比較
neo

Ardor

OQPT

問題数

非公表

60問

60問

所要時間

20分

60分

30分

満点

3.5

60

60

評価項目

Reading &Listening

Reading &Listening

Readingのみ(vocabulary,grammar)

CEFRレベル

PreA1~C2A1~C1

PreA1~C2

特徴

CAT (computeradaptive test)
Chrome, Firefox,
Safariのウェブブ
ラウザのスマート
フォン、モバイル端末で受験分からない問題は’don’t know’を
選択
PC/Mac/Chrome
book/Tablet/モバ
イル対応

paper & pencil（本調査ではGoogleformを使用）

21

3つのテストのCEFR比較（K大、n=48名）

neo

Ardor

OQPT

Starter~Pre

10名

0名

0名

A1~A1+

28名

0名

1名

A2~A2+9名

7名

32名

B1~B1+1名

41名

14名

B2~0名

0名

1名

満点

3.5点

60点

60点

平均点

0.8点

26.0点

27.1点

CEFR平均

A1+

B1

A2

22

3つのテストのCEFR比較（W大、n=67名）

neo

Ardor

OQPT

Starter~Pre1名

0名

0名

A1~A1+8名

0名

1名

A2~A2+19名

0名

1名

B1~B1+25名

38名

28名

B2~B2+13名

27名

30名

C1~

1名

2名

7名

満点

3.5点

60点

60点

平均点

1.9点

39.3点

39.4点

CEFR平均

A2+

B1+

B1

23まとめ• Receptive skillを測定するテスト間でも、CEFRレベルは異なっていた。

→CEFR は明確な基準を示すものではない。
• 特に、いずれもListening & ReadingのテストであるneoとArdor間での差が大きかった。
→CATかどうかなどテスト方式の違いによる可能性• しかし、発表者のうち2名がneoとArdorを受験したところ、いずれのテストも同じ結果であった。
→中上級者以上についての信頼性が高い可能性• 従来型のOQPTと比べてneoとArdorはスピード感があり、難易度が高く感じられる。
→いずれのテストもReceptive skillと同時にProductive skillも測定していると考えられる。
24

ご清聴
ありがとうございました
森下美和（神戸学院大学）

加藤直人（明治大学）

佐藤洋（Ardor Learning Inc. ）原田康也（早稲田大学）

2021年2月26日＠日本英語教育学会第51回年次研究集会