英検 4 級 5 級スピーキングテストに関するSinewave 社(iFlytek 社)との自動採点共同研究レポート2018 年 10 月
公益財団法人
1日本英語検定協会

目次11.1 研究概要

p 31.2 研究背景 p 32.
2.1 英検試験概要 p 32.2 英検 4 級 5 級スピーキングテスト概要 p 42.3 自動採点に関する先行研究 p 43.
3.1 検証方法 p 53.2 検証対象 p 53.3 検証結果 p 63.4 考察 p 94.
4.1 追記 p 94.2 参考文献 p 1221.1 研究概要
本研究においては、公益財団日本英語検定協会が株式会社 Sinewave(技術提供 iFlytek)*1と共同で、2016 年度に実施された英検 4 級 5 級スピーキングの過去受検データを元に一部のデータで機械学習を行い、残りのデータで自動採点と採点者による採点との一致率を含めた各種指標を算出しました。今後弊協会が実際に 4 級 5 級スピーキングテストを含む英検や、その他の試験に自動採点を用いた運用を進めるにあたって参考になる点、留意すべき点などが明らかになりました。

1.2 研究背景
公益財団法人日本英語検定協会は 1964 年のスタート以来、日本の英語力向上に寄与すべく学習者及び指導者の皆さまに寄り添って参りました。昨今では 2020 年の東京オリンピッ
ク・パラリンピックの開催を前に、英語力向上のための様々な取り組みが国を挙げて推進されています。現行の学習指導要領においても、小中高を通じて、コミュニケーション能力を育成し、「聞く」「話す」「読む」「書く」の 4 技能をバランスよく育成することが目指されています。4 つの技能をバランスよく指導・学習していただくことを目標に、弊協会
は 2016 年度の実用英語技能検定(以下、英検)1 級・準 1 級・2 級へのライティングタスク導入、4 級 5 級へのスピーキングテスト導入を皮切りに、2017 年度の準 2 級・3 級へのライティングタスク導入を含め、4 技能化を進めて参りました。「話す」、「書く」にそれぞれ対応するスピーキング、ライティングタスクは、「聞く」、「読む」にそれぞれ対応するリス
ニング、リーディングとは異なり、受検者の回答を予め決められた基準に基づき採点をする必要があります。
今後さらに 4 技能化の流れが進むにつれて、より効率的にかつ精度の高い採点を行う必要性が生じることが予想されます。本研究は今後の自動採点導入に向けた基礎的な検証という位置づけとして、運用時の課題点やより望ましい運用の仕組みを探るため、現在実施・運営中の英検 4 級 5 級スピーキングテストを対象に、株式会社 Sinewave(技術提供iFlytek)と共同で行われました。

2.1 英検試験概要
初級段階から上級段階まである英語学習を継ぎ目なくサポートするため、英検は 5 級から1 級まで 7 つの級を設定し、作成・実施・運営を行っております。また 2016 年度からは一般財団法人日本生涯学習総合研究所と共同で、国際基準規格の CEFR と関連性をもたせたユ
ニバーサルなスコア尺度「Common Scale for English（CSE）」の正式な運用をスタートし3ました。
2018 年度現在、1 級から 3 級までの 5 つの級は「聞く」「話す」「読む」「書く」の 4 つの技能を測定しており、4 級と 5 級は「聞く」「話す」「読む」の 3 つの技能を測定しています。このたび「大学入試英語成績提供システム」へ参加するのに伴い、従来通り一次試験合格者のみが二次試験を受検する「従来型」に加えて高校 3 年生を対象に一次試験の結果によらず二次試験を受検する「英検 2020 2 days S-Interview」、「英検 2020 1 day SCBT」、年齢制限なく一次試験の結果によらず二次試験を受検する「英検 CBT」が新たに設けられました。

2.2 英検 4 級 5 級スピーキングテスト概要
4 技能のバランスの取れた英語の指導・学習を促進するため、2016 年より、4 級 5 級にスピーキングテスト*2 が導入されました。1 級から 3 級までの二次試験とは異なり、スピーキングテストの受検は任意とし、級認定とは切り離して考えることで、より多くの受検者にスピーキングを体験していただける仕組みといたしました。また 1 級から 3 級までの二次試験とは異なり、4 級 5 級スピーキングは自宅 PC やスマートフォンなどを用いて受検することができます。
4 級 5 級スピーキングテストは 1) 英文の音読タスク、2)英文に関連する質問に答えるタスク、3)イラストに関する質問に答えるタスク(4 級のみ)、4)受検者自身に関する質問に答えるタスクの 4 つの種類で構成されています。

2.3 自動採点に関する先行研究
Bennett and Zhang (2016)によると自動採点とは、「自由記述の機械的な採点を用いるものであり、かつ通常事前には全ての正しい解答が未知であるため、事前情報とのマッチングによる採点とは異なるもの」と定義されています。また、自動採点の対象とするタスクや対象となる受検者から予想される解答の性質によって用いる自動採点の方法も異なります。また英語試験においては数語程度のもの、いくつかの文からなる文章、エッセイ等や、回答が予測しやすい発話、予測しにくい発話を含むものまで様々なものが開発され、PTE Academic(Pearson,2011)や TOEFL iBT(Attali and Burstein, 2005)等大規模な試験においても運用がされています。
Cohen and Wollack (2006)によると、各英語試験における自動採点はまず人間の採点者による一定数の採点結果を用いて機械学習が行われます。各自動採点のアルゴリズムは受検者の回答から抽出する特徴量(例：単語数や品詞)やそれぞれの特徴量に与えられる重みや4機械学習の方法などが異なっています。自動採点を導入する利点としては、採点時のコストや採点時間の軽減が期待できることが挙げられています。課題点としては自動採点アルゴリズムが機械学習後、一度自動採点のアルゴリズムが確定してしまうと、ある特定の解答に対して本来取るべきスコアを取っていることを示すフィードバックが自動では行われない点が挙げられています。具体的には、最初の機械学習時点で与えられた回答パタンにないイレギュラーな回答は人間の採点者による採点結果とは異なるものが付与されてしまう可能性が示されています。そのため、自動採点のみを運用するのではなく、人間の採点者と組み合わせることで、人間の採点者による採点エラーや自動採点による採点エラーを防ぐことが出来るとされています。

3.1 検証方法
本章では自動採点の精度を検証するために英検 4 級 5 級のスピーキングテストの音声データを用いて人間の採点者による採点結果と自動採点による採点結果との比較を行いました。上記 Cohen and Wollack (2006)で提案されている一般的な機械学習による精度検証の手法に倣い、人間の採点者による採点結果と音声データの一部を学習用データとして、Deep Learning を用いて学習を行い RNN（再帰型ニューラルネットワーク）を構築します。
構築後に機械学習に使用しなかった音声データを検証用データとして自動採点させました。なお、対象となるスピーキングテストに関して 4 級は全 5 問、5 級は全 4 問から構成されており、問題ごとに機械学習を行いました。全体の流れを図 1 に示します。

3.2 検証対象
今回使用した 4 級 5 級スピーキングテストのデータ件数は表 1 の通りとなります。4 級 5級それぞれ 2016 年度に使用された 9 種類の問題セットのデータを用意しました。複数の問題セットを使うことにより問題ごとの採点精度のばらつきを検証しました。問題セットご5とに 300 人分のデータを学習用データとして使用し、残りを検証用データとしました。なお各問題の内容は 2.2 でも記載されていますが、Q1 は英文の音読タスク、4 級 Q2～Q4 および 5 級 Q2～Q3 は英文に関連する質問に答えるタスクとイラストに関する質問に答えるタス
ク、4 級 Q5 および 5 級 Q4 は受検者自身に関する質問に答えるタスクとなっています。

表１

検証データ
人数

4級

5級

set1
set2
set3
set4
set5
set6
set7
set8
set9
set1
set2
set3
set4
set5
set6
set7
set8
set9

1294
567
570
1073
602
630
739
718
740
14655235231086
575
594
637627623

Q1Q2Q3Q4Q5
学習用 検証用 学習用 検証用 学習用 検証用 学習用 検証用 学習用 検証用データ データ データ データ データ データ データ データ データ データ
300
994300994300994300
994
300
994
300
267300267300267300
267
300
267
300
270
300
270
300
270
300
270300
270
300
773
300
773
300
773
300
773
300
773
300
302300302300302300302300302
300
330300330300330300330300330300439
300
439300439300439300439300418300418300418300418300418
300
4403004403004403004403004403001165300
1165300
1165300
1165――300223300
223300223300223――300223300223300
223
300
223
―
―300
786300786300786300
786―
―300
275
300275
300
275
300
275
――300
294300294300294300294――300
337300337
300337300
337―
―300
327
300
327300
327
300
327
―
―300
323
300
323
300
323
300
323
―
―

3.3 検証結果
自動採点の採点結果を人間の採点者の採点結果と比較し、点差別の件数を表２－１にまとめました。今回検証時に音声データの音響的特性として自動採点が困難なデータがあり、それを「異常」データとして表に含めました。異常データは「SN 比が低い」「振幅が極端に大きいまたは小さい」「無音」のデータが該当し、全体の 10％程度存在していました。
それらの「異常」データは自動採点の対象外としました。本検証では各問題について自動採点の採点結果を人間の採点者の採点結果が完全一致または 1 点差以内を「一致」とみなしました。
表２－１の各問題セット・各問題ごとに一致した件数から一致率を算出し表２－２にまとめました。なお「異常」データは計算には含めていません。Q1 の英文の音読タスク形式の問題に対しては級や問題に関係なく約 98%の一致率を達成し、Q2 以降の質問に答えるタス
ク形式の問題についても平均して約 95%の一致率となることが分かりました。各問題について人の採点者の採点結果と自動採点の採点結果の分布を図２に示しました。人の採点者による採点結果と自動採点の採点結果に相関性のある結果となっています。
6

表２－１ 人間の採点者の点数と自動採点の点数の点差
人間の採点者の点数と自動採点の点数の点差
Q1
検証用

0Q2

12set1994 517 401

1900set2267 126 111

11set3270 127 103

5set4773 372 329

4級 set534異50Q312057 679 230

15200028 146

798200035 162

59

101000062 495 183

302 131 134

900028 184

set6330 160 137

500028 195

set7

439 225 192

610

set8

418 214 168

51データ

34

異

50Q4

12068 638 253

29600032 193

366001038 183481

1630076 511 161

82

400131 205

88

9100015 267 115

27300030 309

637222 313

常34異50Q512068 484 389

50

210032 133

8813100038 122 104

62140076 358 311

57

900037 225

60710027 331

75

600037 29974

627 324

常34異50異123068 350 470

861910680032

25

20032

00038 15548

1810103827

10076 389 243

4915107631 158 104

900031 139 107

1861031037 168 111

1310037 146 122

24100370027 230 172

910027 113 232

652002720037 189 165

233103782

71037

27 282 104

常常84 124

85 20645常set9440 239 173

600090820080801027 259 135

181001791027

set1

1165 514 507

33

100 110 646 355

25

300 136 715 286

28000 136 873 116

27

760 136 ―

―

―

―

―

―

―

set2

223 11466

200041 114

37510066 132

2212006696

441061066 ―

―

―

―

―

―

―

set3

223 11772210031 123

45320050 122

45420050 13924811050 ―

―

―

―

―

―

―

set4

786 373 304

1900090 499 170

11100 105 436 219

26000 105 416 234

28

300 105 ―

―

―

―

―

―

―

5級 set5275 118 121

3000

33 17239

1200

61 15848

710061 122

58

25

810

61 ―

―

―

―

―

―

―

set6

294 122 124

11000

37 16869

410052 15668

1710052 12984

2540052 ―

―

―

―

―

―

―

set7

337 173 133

500026 275

30220028 271

34400028 191

941950028 ――――

―

―

―

set8327 155 130

600036 159 100

900059 191

74120059 171

84940059 ―――――――

set9323 166 115

700035 238

600048 211

61

300048 15684

3140048 ―――――――

31

表２－２ 一致率7

図 2 各問題の得点分布
・4 級 5 級 Q1：英文の音読タスク
・4 級 Q2～Q4 および 5 級 Q2～Q3：英文に関連する質問に答えるタスクとイラストに関する質問に答えるタスク・4 級 Q5 および 5 級 Q4：受検者自身に関する質問に答えるタスク

8

3.4 考察
本検証の結果を問題別にみた際、英文の音読タスク形式の問題に対しては級や問題に関係なく約 98%の一致率となることが分かりました。音読タスク形式の問題に比べて、採点の難易度の高い質問に答えるタスク形式についても平均して一致率が約 95%となったことから、これらの一致率から自動採点によって人間の採点者と遜色ない採点ができると考えられます。4 級 Q5 の受検者自身に関する質問に答えるタスクにおいては、他の問題に比べ一致率が下がっていますが、精度については学習データ数を増やしたり学習アルゴリズムの改善や学習モデルの改善を行ったりすることで、向上することが見込めます。
今回、機械学習では 300 件の学習データを用いましたが、一致率の向上とともに必要とする学習データ数の軽減についても今後の課題と考えられます。また、約 10%程度のデータは異常データとなっていますが、CBT 試験や試験会場以外の環境で録音する以上、必ず異常データは発生するものと考えられ、これらのデータについては音響的な問題から自動採点ではなく人間の採点者が採点を行うべきであると考えられます。従って自動採点を実運用に移した際、人間の採点者が全く採点を行う必要がなくなるものではないとも考えられますが、異常データを自動検知することで公平な採点が可能になります。今回の 4 級 5 級
スピーキングテストに関する自動採点の精度検証結果から、同様のタスクを採用している3 級以上のスピーキングテストに対しても同様の精度検証を行って参ります。また今回の結果から効率と精度の面から、より望ましい自動採点の運用方法について引き続き検討を行う予定です。

4.1 追記*1 Sinewave 社(iFlytek 社)について～ 株式会社サインウェーブ Sinewave Inc. ～音声認識/音声合成の研究開発ベンチャー企業として 2010 年 4 月設立。iFlytek 社と 2016
年 5 月に資本業務提携し英語教育事業に参入。日本における英語スピーキング自動採点システムの研究開発を行う。
～

iFlytek Co., Ltd.

～中国科学技術大学発ベンチャー企業として 1999 年設立。音声認識/音声合成では世界トップレベルの技術力を有し、今では AI 分野に進出し世界有数の AI 企業となる。2007 年より
中国国内の高校や大学の入試試験の英語スピーキング試験の自動採点を行い、これまで2000 万人以上の採点を行ってきた実績がある。

9*2 4 級 5 級スピーキングテストについて

10

11

4.2 参考資料
Benett, R.E.& Zhang,M. (2016). Validity and Automated Scoring. In Drasgow, F.
(Ed.), Technology and Testing: Improving Educational and Psychological
Measurement (pp.142-173).New York. Routledge.
Cohen, A.S. & Wollack,J.A. (2006). Test Administration, Security, Scoring, andReporting. In B. Brennan (Ed.), Educational measurement(pp.355-386).
Westport,CT. American Council on Education & Praeger.
Pearson.(2011). Pearson Test of English Academic: Automated Scoring.
Attali,Y. & Burstein, J. (2005).Automated Essay Scoring With E-rater v.2.0.ETS
Research Report NO.RR-04-45.

12