新大学入試問題のリーディング部分とリスニング部分のCEFRレベル推定による難易度比較
名古屋学院大学院
斎 藤 典 子

はじめに2021年1月から導入された共通テストはまだ2回しか実施されておらず、いまだどのような試験なのかについては手探りの状態
共通テスト等大学入試テストへの分析と自己採点結果を使って特にリーディング部分とリスニング部分のCEFRレベル推定を利用することで、難易度比較をし、どのような試験かについて解明しようと試みるもの
特に共通テストからはリーディング部分とリスニング部分の同点化が行われている（R100点・L100点）

リーディング部分とリスニング部分の同点化について
2021年1月から実施された共通テストでは、各大学が傾斜配点をつけてもよいという条件はついたものの、リスニング部分とリーディング部分が同点扱いとして計算されることになった。
旺文社（2020). 『2021 年 入試改革国公立大 共通テスト英語
リーディング・リスニング 配点比率［更新版］』．
http://eic.obunsha.co.jp/pdf/exam_info/2020/0514_1.pdf
R:L の比率

国公立大学

私立大学計計（％）

1:1

3966

10538.2%

4:1

48378530.9%

3:124194315.6%

大学入試を扱った先行研究 1
Kiwamu Kasahara.(2007). Correlations Between the Paperand Listening Tests in English Proficiency
Administered by the National Center Test for
University Admission in 2006.
センター試験のリスニング部分とリーディング部分の間には中程度の有意な相関があった（a moderate positive
corelation between the paper as a whole and the listening
tests
ｒ ＝ .64 )大学入試を扱った先行研究 2
内田諭、根岸雅史.(2021).「英語読解教材のCEFR レベルの推定 :CVLA の妥当性評価」
CVLA: CEFR-based Vocabulary Level Analyzer (ver. 2.0)Uchida, S., & Negishi, M. (2018). Assigning CEFR-J levels to
English texts based on textual features. Asia Pacific
Corpus Linguistics Conference, 4, 463-467.
佐藤 選, 山田 裕也.(2020). 「新大学入試におけるリーディング
文章の難易度比較 」

CVLAの特徴
Reading Mode と Listening Modeがある
Listening Modeは現時点では世界でもCVLAだけ
CEFRのレベル推定
・CEFR-Jに基づいた単語のCEFRレベル（色分けされる）
・４つの指標で数値化された値と、CEFR推定レベル
・Pre A1, A1.1, A1.2, A1.3, A2.1, A2.2, B1.1, B1.2, B2.1,B2.2, C1, C2 の12レベル・400語～2000語の英文（400語以上だと安定、内田・根岸、2021）

CVLAの４つの指標①ARI

文字数や1文の単語数などから推定されるリーダビ
リティー指標②VperSent １文中に含まれる動詞の数の平均値で英文の複雑さを間接的に表していると考えられる指標
で数値が高い方が複雑な文の構造を持つ③AvrDiff 単語の難易度の平均、A1を1，A2を2、B1を3、B2を４とし、文章中に含まれている内容語のレベルを平均したもの④BperA Aレベルの内容語に対するBレベルの内容語の割合値、AvrDiffとともに語彙の難易度指標として機能

CVLAを使ったCEFRレベルの修正
Uchida & Negishi (2018)によると、ARIは文と単語の長さによって影響を強く受けるので、ARI値を上げるために試しに極端に短い文と語を修正してみた。
例えば文中のHello. をHello, can I help you?にした。また
Yes.はカットし、 Sorry madam.をI am truly sorry, Madam.にしてみると、結果はARIが-1.4、PreA1（元は-1.97、PreA1)、VperSentが2.0、A2.2（元は1.64、A1.3)、AvrDiffが1.28、A1.2（元は2.0、A2.2)、BperAが0.05（変化なし）、A1.1
で、最終CEFR推定レベルはPreA1からA1.1に修正できた。

CVLAのCEFRレベル推定の検証
リーディング部分の検証について
内田諭、根岸雅史.(2021).「英語読解教材のCEFR レベルの推定 :CVLA の妥当性評価」
・CoE（Council of Europe)のホームページの英文・ケンブリッジ検定の過去問を使用
・CEFRレベルの一致率は、隣接レベルを含めて約81%という結果
リスニング部分の検証→未検証だったためCEFRレベル判定が記載されている・CoE（Council of Europe)のホームページの英文・Element Communication 1～3（啓林館）のCommunication Builder
・共通テストプレテストの問題と解説を使用して比較した。

Listening部分の検証の結果 1
CoE（Council of Europe)のホームページの英文→たくさん英語のCEFR判定付きの英文が載っているので、どれを使うかで結果が若干変わると思われるが、・Reading部分
9文章中77.8％の完全一致率、文章作成側が主張しているレベルの上下隣接分も含めると89％の一致率
・Listening部分
10文章中50％の完全一致率、文章作成側が主張しているレベルの上下隣接分も含めると80％の一致率

検証の結果 2
英語教科書Element（啓林館）のCommunication Builder【ELEMENT English Communication Ⅰ・Ⅱ・Ⅲ．新興出版社
啓林館（61啓林館、コⅠ339、コⅡ337、コⅢ334）】
・Reading部分 10文章中、CVLAレベル推定の結果が完全に一致したのは60%、隣接するレベルも含めると100％という高い一致率
・Listening部分 17文章中、CVLAレベル推定の結果が完全に一致したのは47%、隣接するレベルも含めると94％→このためCVLAを使った推定は、隣接するレベルを含めれば、ほぼ一致することがわかった。

検証の結果 3☆

共通テストプレテストH30の問題と解説Listening部分 13文章中、完全な一致率は7.7%だが、隣接するレベルも含めると84.6％
Reading部分 9文章中、完全な一致率は44.4%だが、隣接するレベルも含めると88.9％↓
複数の異なるReadingのTextとListeningのScriptをそれぞれ、CVLAのReading Mode と Listening Mode で分析をした場合、隣接するレベルも含めると80～90%の一致率に

この研究のリサーチクエスチョ
ン
共通テストのリスニング部分とリーディング部分の間に相関が見られるか
共通テストのリスニング部分とリーディング部分のCEFR推定レベルに違いが見られるか
共通テストのリスニング部分とリーディング部分の間の難易度に差が見られるか

方法 1 CVLAの部分について
CVLAのReading Mode と Listening Mode の検証①第1回・第2回の共通テスト本試と、センター試験のReading 問題・ Listening Script の電子化
②CVLAを使ったCEFR推定
・数字や記号は英語化
・Readingは印刷されている本文と長い選択肢を含めた（実際読む量になるべく近づけるため。選択肢は文になるようにした。）
・Listeningは問題をとく際に聞くScript全部・Wordと Adobe Acrobat Pro DC (32-bit) を使用

方法 2（自己採点の部分について）
2021年1月の第1回共通テストの自己採点を使用
・学校の許可（宮城県A高）は取得済み
・個人名を特定できない形で利用し、集団での結果のみ・学校名・学科名・クラス名・生徒名・得点については一切公表しない
・プライバシーの保護については十分に配慮する
・得点ではなく、各設問の正答率のみデータとして使用
・188名分のデータ（男93、女95人）、有効R184, L182人分
・IBM SPSS Statistics 28.0.0.0 (190) 使用

結果 1 自己採点結果の記述統計量(Full Score: Paper=100,Listening=100)
GoupThis study
Paper
Listening
Nationwide
Paper
Listening

ｎMeanSD
Minimum Maximum
188
108.2
54.4
17.1
2010053.8
13.8
1090
476,174
114.96476,174
58.8
21.44
0100
474,484
56.16
16.45
0100

宮城県A高ではリーディング部分のみ満点者が存在結果2 自己採点結果の信頼性と各難易度
解答番号
テスト
総数
(Item)
Reading部分
47
Listening部分
37

信頼性(Cronbach's α)
0.859
0.753

Item 難易度(%)
56.0%
55.70%

結果 3 Reading部分の相関

Pearson Corremation Coefficients Between the Listening Test and the Reading Test as a Whole and Individual Sections (the Whole Group : n =184)
Subscale
1. 第1問2. 第2問
3．第3問
4．第4問
5. 第5問6. 第6問7. 全体

1-2.596**-

3.447**.558**-

4.571**.472**.464**-

5.360**.422**.416**.472**-

6.406**.390**.420**.405**.476**-

7.708**.761**.730**.756**.724**.746**-結果 4 Listening部分の相関

Pearson Corremation Coefficients Between the Listening Test and the Reading Test as a Whole and Individual Sections (the Whole Group : n =182)
Subscale
1. 第1問2. 第2問
3．第3問
4．第4問
5. 第5問6. 第6問7. 全体

1-2.906**-

3.418**.522**-

4.382**.431**.462**-

5.349**.429**.499**.411**-

6.274**.317**.426**.172**.328**-

7.751**.858**.758**.644**.724**.532**-

結果 5 各試験毎のCVLAの結果比較
ARI
第2回共通テストR
第1回共通テストR
センター試験ラストR

VperSent AvrDiff
BperA
7.2
2.3
1.6
36.2
13.3
9.8
5.7
2.5
1.7

CEFR推定0.2
7.3 B1.1
1.4
7.0 B1.1
0.2
7.2 B1.1

第2回共通テストL
第1回共通テストL
センター試験ラストL

2.6
3.2
1.29

0.2
0.2
0.11

1.7
1.6
1.51

1.6
1.6
1.43

・リーディングの部分(R)の「CEFR推定」の左側の数字は、Textが全体で2000字を超えるため、12レベル存在するCEFRの各レベルを数値化し、各設問毎の文章のCEFR推定レベルの平均をとったものである。
・リスニング部分（L)のスクリプトは全体で2,000字以内なので、「CEFR推定」の左側の欄は空欄とした。

B1.1
A2.2
A1.3

この研究のリサーチ
クエスチョンの結果 1
共通テストのリスニング部分とリーディング部分の間に相関が見られるか→本研究 第1回共通テスト ｒ ＝ .609
（Kasahara, 2007ではセンター試験 ｒ ＝ .64）
→問題作成時にリーディングとリスニング部分の間の相関を含めて見ている可能性があると思われる。
→リーディングとリスニング部分に相関はなくても良いと思われるが、全く違うテストを2種行っているということではなく、また同じ位の英語のテストなので相関がみられるのかもしれない（ただし真相はブラックボックスの中にあり、不明）。

この研究のリサーチ
クエスチョンの結果2共通テストのリスニング部分とリーディング部分のCEFR推定レベルに違いが見られるか→リーディング部分はセンター試験から共通テストへ移行する際にB1.1のままで、レベル上変化がなかったが、リスニング部分はリーディング部分と難易度を揃えたように見え、センター試験のA1.3から共通テストのB1.1、A2.2に変化しており、難易度が上昇している(B1.1とA2.2は隣接したレベルのため、同じ位のレベルと見た方が良い）。
→どちらにしても、大学入試センターの『問題作成の方針』の「A1～B1に相当する問題を作成する」部分と同じ範囲内

この研究のリサーチ
クエスチョンの結果3
共通テストのリスニング部分とリーディング部分の間の難易度に差が見られるか①→「グローバル化に対応した英語教育改革実施計画」の通り、全体的にCEFRレベル上レベルが上がっているように見える(A1.3→B1.1)。
リーディング部分に難易度を合わせた形か？
【現行の学習指導要領で高校は,CEFR A2～B1程度（英検準2～2級程度）が目標だったのに対し,最終的に高等学校卒業段階において,CEFR B1～B2程度（英検2～準1級,TOEFL iBT60点前後以上等）が示されている。】

この研究のリサーチ
クエスチョンの結果4
共通テストのリスニング部分とリーディング部分の間の難易度に差が見られるか②→英語の発音がアメリカ英語のみではなくなった点や2回読み上げだけでなく、1回読み上げが含まれるようになった点も考慮すると、リスニング部分の難易度が上昇したと考えられる。ただ難易度的には、CEFR上は、R部分の難易度にL部分を合わせたような形になっており、難易度上RとL部分の間の差はなくなったと考えられる。

参考文献①
荒井克弘（2018) 「高大接続改革の迷走」 南風原 朝和編『検証 迷走する英語入試―スピーキング導入と民間委託』（岩波ブックレット, No.984）岩波書店.
内田諭、根岸雅史(2021) 「英語読解教材のCEFR レベルの推定 :CVLA の妥当性評価」
Journal of Corpus-based Lexicology Studies, 3, 1-14.
佐藤 選, 山田 裕也(2020) 「新大学入試におけるリーディング文章の難易度比較 」『中部地区英語教育学会紀要』, 49, 149-156.
大学入試センター(2020)「令和３年度大学入学者選抜に係る大学入学共通テスト問題作成方針」、
p.8.
https://www.dnc.ac.jp › albums › abm00038406
文部科学省(2013) 「グローバル化に対応した英語教育改革 実施計画」、p.3 （パワーポイントスライド）.
https://www.mext.go.jp/a_menu/kokusai/gaikokugo/__icsFiles/afieldfile/2014/01/31/1343704_01.pdf
山本廣基(2020) 「大学入学共通テストの実施にあたって」（パワーポイントスライド）.

参考文献②
Kiwamu Kasahara.(2007). Correlations Between the Paper and Listening Tests in English
Proficiency Administered by the National Center Test for University Admission in2006. ARELE, 18, 21-30.
Uchida, S., & Negishi, M. (2018). Assigning CEFR-J levels to English texts based on textualfeatures. Asia Pacific Corpus Linguistics Conference, 4, 463-467.

ありがとうございました。