
【資料】

大学入試研究ジャーナル第 34 号，197-204，2024

英語の基礎学力を担保する総合試験の研究（総括）――令和 3 年度「志」特別選抜の総合試験に類似したサンプル問題を代用して――𠮷田  健三（神戸大学）
本稿は，「志」特別選抜（神戸大学の総合型選抜）・第 1 次選抜における英語力評価を主とする総合試験の評価を統計的手法によって客観的，間接的に実証することを主な目的とした。類似したサンプル問題を代用し，テストの妥当性，信頼性，基礎学力の担保の有無を検証した。2021 年，2022 年の複数年のデータの多面的な分析を通して，構成概念妥当性，信頼性，意図した学力の差異を弁別する識別力，それぞれの高さが示唆された。研究協力者を対象としたアンケート調査からは，基礎学力の担保や早期実施に対する配慮に関して肯定的な回答が得られた。
キーワード：総合型選抜，テストの妥当性・信頼性，基礎学力の担保
1 はじめに2 種類（A・B）を作成した。設問構成の類似性につ

本研究は，2018 年度にスタートさせた「志」特別

いては，既に明らかにした（𠮷田，2023;  258-260）が，入試（2020 年度より「志」特別選抜）における英語

ここでは，英文の特徴に関する類似性を統計的に検証の基礎学力を担保する総合試験（以下「志」）の妥当性 ,した。

信頼性を検証し，学内に残る一部の懸念を払拭し，「志」
特別選抜をさらに発展させ，大学入試改革の進展を主

2.1 方法な目的としている。さらに，本稿での分析や考察は，異なった英文の類似性を検証するには，標準的な過去の入学者選抜試験の分析を基に新たな問題を作成

リーダビリティー指標以外の指標のデータも活用する

する他大学における出題検討にも資することをねらい必要があると判断した。「従来の標準的なリーダビリとする。
「志」で使用した英文や日本文は，著作物使

ティー指標は，単語の長さや文の長さに依存して難易用許諾が未完了のため，それと類似したサンプル問題

度を評価するが，Coh-Metrix は，文や語句の結束性，を代用する必要があり，両者の類似性は，設問構成の文体や論理性，言語および談話の特性など，より多面

対照に加えて，統計的に示す手法を用い，後者の弁別的な特性を精緻に評価する（筆者訳）」（Graesser, A.C.,

妥当性，信頼性，基礎学力の担保に関する検証を通じ

et al, 2004; 193）ことが可能であり，本研究では Coh-て，前者を間接的に検証した。

Metrix で算出できる 12 の指標を活用した。水本（2013）

中間報告（𠮷田，2023）では，2021 年度の分析結の手法を参考に，下記
（1）
～
（5）
の手順で検証した。大果を報告した。学内で募った研究協力者に，「志」に

問項目名付きの樹形図の作成が容易なためエクセル統

類似したサンプル問題を解答させ，解答後に設問に関計（BellCurve for Excel）を用いた。

するアンケート調査に回答させてデータを取得し，分（1）12 指標（①Total Words ②Words per Sentence析を行ったが，特に以下の点については，さらなる検③Flesch-Kincaid Grade Level ④Narrativity ⑤Syntactic

討が必要であった。（1）「志」とサンプル問題との類

Simplicity ⑥Word Concreteness ⑦Referential Cohesion

似性の統計的な確証 ,（2）サンプル問題の解答データ⑧Deep Cohesion ⑨Verb Cohesion ⑩Connectivity ⑪の因子分析。本稿は，分析精度を高めるため 2022 年

Temporality ⑫Type-Token Ratio）のデータを算出すのデータを追加した上で，これらの課題を再考察し，る。 算 出 プ ロ グ ラ ム と し て Cohmetrix3 desktop

新たに項目分析を含め，総合的かつ多面的に分析を行

program（The University of Memphis より提供）をい，総括した最終報告である。なお，本稿での 2021

用い，各大問の英文単位で算出した。水本（2013）で年度のデータは，中間報告で既出のものである。

は，Average Word Level（SVL）/ Average Word
Level（JACET）を含めているが，算出プログラム

2 サンプル問題と「志」の類似性の分析

Word Level Checker に ア ク セ ス で き な い（2023 年

サンプル問題は，出題者（筆者）の経験値に基づいて，令和 3 年度「志」（文系型・理系型）に類似した

11 月 23 日現在）ため本稿では除き，上記の 12 指標を算出した。

- 197 -

大学入試研究ジャーナル第 34 号

12 指 標 の 内 容 は 次 の 通 り で あ る（ 水 本，2013; 

平均的である（図 3，表 1）。以上の結果より，「志」

144）。①総語数 ②一文に含まれる平均語数 ③一文にとサンプル問題の英文の特徴については，類似性が概含まれる平均語数と一語の平均音節数を基に計算 ④

ね高いと考えられる。

物語や会話調で読み手が親しみのある英文かどうかを示す ⑤文体が簡潔でわかりやすいかを示す ⑥語が具1

体的でイメージしやすいかを示す ⑦文や句の結束性

Deep Cohesion

0.8が英文全体でどの程度あるかを示す ⑧因果・論理関

Temporality0.6

係を示す接続語がどの程度含まれているかを示す ⑨
第2主成分

同じ動詞がどの程度繰り返し使われているかを示す⑩反対，追加，比較などの関係がどの程度明確にわか0.4

るかを示す ⑪時制などが文中でどの程度同じように使われているのかを示す ⑫総語数に対する異なり語

Flesch-Kincaid Grade Level

0.2

-0.6

-0.4

-0.2

の数で，1 に近くなるほど異なり語が多く難しい。

0

Words per Sentence
Word Concreteness
0

0.2

0.4

0.6

0.8

-0.2

（2）12 指標のデータについて主成分分析を行う。

1

1.2

Referen�al
Cohesion

-0.4

第1主成分

入力データは分散 1 に基準化した。

図 1 6 指標の主成分分析の結果（累積寄与率 77.48%）（3）第 1 主成分，第 2 主成分のいずれの主成分負荷
量 も 0.3 以 下 の 指 標 を 除 外 し，6 指 標（Words per
Sentence, Flesch-Kincaid Grade Level, Wordध‫ܙ‬ਦConcreteness, Referential Cohesion, Deep Cohesion,

0

Temporality）を選定する。

1

2

3

4

5

6

7

8

γȀ

ࢦཀྵ̏

1 回目の主成分分析の結果，累積寄与率 70% 以上

ࢦช̐および固有値 1 以上の主成分が 3 つ算出されたが，第

γȂ

ࢦช̏

2 主成分と第 3 主成分において Temporality の主成分

γB̏

γB̐ճ࿫

負荷量が 0.3 以上で重複した。
「志」とサンプル問題

ࢦཀྵ̐ճ࿫との類似性について，それぞれの英文の特徴を明確に

ࢦช̑

γA̐

示すため，第 3 主成分を除いた。

γB̐ઈ໎

ࢦཀྵ̐ઈ໎

（4）6 指標のデータについて主成分分析を行う。
上記（3）の第 1 主成分，第 2 主成分のいずれの主成

図 2 クラスタ分析の結果（ウォード法・ユークリッド距離）

分負荷量も 0.3 以下の指標を除外し，再度，主成分分3（5） 固 有 値 1 以 上 の 2 つ の 主 成 分（ 累 積 寄 与 率22.2 結果6 指標の主成分分析の結果を図 1 に示した。第 1 主

2

1

୊̏क੔෾

77.48%）の主成分得点についてクラスタ分析を行う。

32成分（以下「第 1」）は，一文や語彙の難易度（語の

0
-1

1
0

1

-1

-2
-3
-4

具体性，一文に含まれる平均語数，一語の平均音節数，

-2

έϧην2
2

文や句の結束性）を表し，第 2 主成分（以下「第 2」
）は，

-3

3

୊̐क੔෾

析を行った。

-4
έϧην3
3

έϧην1
1

図 3 各クラスタの平均値のプロット

文章の一貫性・整合性（因果・論理関係を示す接続語，

表 1 各クラスタの第 1・第 2 主成分と設問

同じ時制などの使用程度）と推察できる。
クラスタ分析により，3 つのクラスタが示された。

第 1 主成分
一文や語彙の
難易度

第 2 主成分
文章の一貫性・整合性

クラスタ 1

平均的

平均的

クラスタ 2

難しい

やや強い

クラスタ 3

易しい

平均的

クラスタ

サ A と志文の大問 2，大問 3 以外は各設問の英文において高い類似性が認められた（図 2）。各クラスタ
主成分の平均値（図 3）により，クラスタ 1 の第 1，
第 2 とも平均的である。クラスタ 2 の第 1 は難しく，
第 2 はやや強い。クラスタ 3 の第 1 は易しく，第 2 は- 198 -

サンプル問題と「志」
サA

志文

サB

志理

大問 1 大問 1 大問 1 大問 1
大問 3 大問 22 大問 2
大問 2 大問 3 大問
説明 説明
大問 2 大問 2
会話 会話

英語の基礎学力を担保する総合試験の研究（総括）

3 サンプル問題の分析

表 4 各テストの記述統計量（2022）

3.1 研究協力者
学内での公募による 2021 年，2022 年の研究協力者（1年生）は，それぞれ 97 名（文系 50 名，理系 47 名），
89 名（文系 53 名，理系 36 名）であった（表 2）。
表 2 研究協力者の学部別内訳（人）
文
国際人間
法
経済
経営
海洋政策
計

文系

2021
7
19
8
2
13
1
50

文系

工
国際人間
理
医
農
海洋政策
計

理系

テストの種類
度数
サンプル A（100 点満点換算） 89
サンプル B（100 点満点換算） 89
共通テスト R（100 点満点）
87*
共通テスト L（100 点満点）
87*
共通テスト総合（200 点満点） 87*
TOEIC L&R IP（990 点満点） 45
TOEFL ITP（310 ～ 677）
44

平均値 標準偏差
51.9
11.2
47.4
13.1
88.7
6.8
83.2
10.8
172.0
14.9
609.7
119.1
513.8
36.6

* 度数 87 は，共通テストを課さない入学者選抜の合格者 2 名を
除く

9
0
8
17
11
2
47

2022

理系
文
5
工
国際人間
18
国際人間
法
4
理
経済
7
医
経営
19
農
海洋政策
0
海洋政策
計
53
計
注）国際人間，海洋政策には文系・理系あり

8
3
4
5
14
2
36

図 4 サンプル問題 A の得点分布

3.2 各テストの記述統計量
2021 年と 2022 年は同じサンプル問題を活用した。
分析結果を表 3，表 4 に示す（2021 年のデータは，𠮷
田（2023）で既出）。
サ ン プ ル 問 題 A・B， 共 通 テ ス ト R・L・ 総 合，TOEIC L&R IP（以下 TOEIC），TOEFL ITP（以下TOEFL）の平均値，標準偏差，得点分布は表 3，表 4，

図 5 サンプル問題 B の得点分布

図 4， 図 5 の 通 り で あ る。 共 通 テ ス ト，TOEIC，
TOEFL の 数 値 は 研 究 協 力 者 の 自 己 申 告 に よ る。

3.3 構成概念の分析

TOEIC，TOEFL は入学時に大学が実施するプレイス

テストが測りたい対象を出題のねらい通りに測れてメントテストで，TOEIC（990 点満点），TOEFL（310

いるかを検証するため，
各テスト間の相関を調べた（表～ 677）のスコアである。所属する学部によって受験

5 ～表 7）。英語民間試験は，受験するテストが異なっするテストが指定されている。TOEIC，TOEFL にはても同一価値を評価するテストであるため 2021 年と合計以外に各技能別スコアがあるが，不明なものが一2022 年のデータを合体して算出した。共通テストは，部あるため，総合スコアのみを用いた。各数値は，統同一価値を評価するテストではないため，2021 年と計ソフト SPSS を用いて算出した（以下，同じ）。

2022 年のデータごとに算出した。
3.3.1 弁別的証拠の確認

表 3 各テストの記述統計量（2021）
テストの種類
度数
サンプル A（100 点満点換算） 97
サンプル B（100 点満点換算） 97
共通テスト R（100 点満点）
97
共通テスト L（100 点満点）
97
共通テスト総合（200 点満点） 97
TOEIC L&R IP（990 点満点） 41
TOEFL ITP（310 ～ 677）53

平均値 標準偏差
50.1
12.1
44.3
13.5
87.5
8.7*
75.5
8.9
163.1
13.7
574.0
103.9
499.0
46.4

異なった構成概念を測定しているテスト間の関係を見るために，相関分析を行った。相関が弱い場合は，
妥 当 性 が 高 い こ と が 示 唆 さ れ る（ 野 口 ほ か，2014; 44）。

* 共通テスト R の標準偏差について，数値 8.6（𠮷田，2023;  260）
を訂正

- 199 -

大学入試研究ジャーナル第 34 号



表 5 サンプル問題と英語民間試験の相関（2021&2022 合体）
A

A
B
TOEIC
TOEFL

1
.562**.253*.282**

B.562**
1.333**.341**** 相関係数は 1% 水準で有意（両側）* 相関係数は 5% 水準で有意（両側）

TOEIC
.253*
.333**
1…

TOEFL.282**.341**…
1

A

1.605**
.201*
.195
.254*

B
.605**
1
.190
.168
.226*

共通 R
.201*
.190
1
.213*
.770**** 相関係数は 1% 水準で有意（両側）* 相関係数は 5% 水準で有意（両側）行った。因子の抽出に主因子法を用いて固有値を 1 以上の基準を設け，さらに因子の解釈の可能性を考慮して，A，B それぞれ 4 因子とした。プロマックス回転を行った結果の因子パターンと共通性を A は表 8，表9，B は表 10，表 11 に示した。因子負荷量がどの因子に対しても 0.35 に満たなかった項目を除いた項目

共通 L 共通総合
.195
.254*
.168
.226*
.213*
.770**
1.786**.786**
1

A

1.502**.335**.329**.391**

B.502**
1.216*.423**.404**

共通 R.335**.216*
1.405**.750**** 相関係数は 1% 水準で有意（両側）* 相関係数は 5% 水準で有意（両側）について共通特性を考察し，因子名を決めた（松尾ほか，2002; 77，109 を参考にした）。
A については，［大問 3- 問 1 オ，カ：文脈の理解力を基に英語で記述する文章作成能力，大問 3- 問 1 ア，ウ，エ：情報を検索する能力と検索した箇所を日本語に変換する能力，大問 1- 問 2，大問 1- 問 3：文脈の理解力を基に日本語で記述する文章作成能力，大問 3-

表 7 サンプル問題と共通テストの相関（2022）
A
B
共通 R
共通 L
共通総合

サンプル問題 A，B の共通因子を調べた。A は 18
項目の設問，B は 17 項目の設問を用いて因子分析を

表 6 サンプル問題と共通テストの相関（2021）
A
B
共通 R
共通 L
共通総合

3.4 因子分析による構成概念の確認

問 1 キ，大問 3- 問 4：情報を検索する能力と検索した

共通 L 共通総合.329**.391**.423**.404**.405**.750**
1.909**.909**
1

表 5 ～表 7 の結果より，各テスト間で次の（1）～（3）の関係がみられた。（1）サンプル問題と英語民間試験の 間 に は， 弱 い 正 の 相 関 が 認 め ら れ た（r=.253 /.333，.282 / .341）。サンプル問題と共通テストの間において，2021 年と 2022 年で共通した相関関係は次のとおりである。
（2）サンプル問題 A，共通テスト Rの 間 に は， 弱 い 正 の 相 関 が 認 め ら れ た（r=.201 /.335）。
（3）サンプル問題 A，B と共通テスト総合の間には，弱い正の相関，あるいは正の相関が認められた（r=.254 / .226，.391 / .404）。共通テストの得点率
は 75 ～ 88％と高く，切断効果の影響も想定されるが，構成概念が異なるテスト間の相関は全般的に弱いこと

内容を日本語で記述する文章作成能力］
を測っている，と推察される。
表 8 サンプル問題 A のパターン行列
大問 1- 問 1
大問 1- 問 2
大問 1- 問 3
大問 1- 問 4
大問 2- 問 1 ア
大問 2- 問 1 イ
大問 2- 問 1 ウ
大問 2- 問 2
大問 2- 問 3
大問 3- 問 1 ア
大問 3- 問 1 イ
大問 3- 問 1 ウ
大問 3- 問 1 エ
大問 3- 問 1 キ *大問 3- 問 2 オ *大問 3- 問 2 カ
大問 3- 問 3
大問 3- 問 4

1
-0.0140.051-0.0340.100
0.031-0.0950.062-0.046
0.177
0.050
0.242
-0.0120.045-0.054
0.698
0.832
0.264
0.050

2
0.201
0.037
0.259
-0.193-0.028
0.036
0.074
0.042
0.118
0.432
0.171
0.602
0.798
0.289
0.085
-0.050-0.028-0.158

3
0.101
0.699
0.425
0.284
0.310
0.244
0.062
-0.0380.143-0.0360.002
0.095-0.140-0.027-0.011-0.051
0.101
0.005* 大問 3- 問 1 キ，大問 3- 問 2 オの設問名は誤記ではない

4-0.102-0.113
0.145
0.127
0.008
-0.0480.022
0.143-0.1110.034
0.151-0.0360.050
0.409-0.073-0.0170.111
0.717が認められたと考えられる。
表 9 サンプル問題 A の共通性
3.3.2 A・B 問題の出題構成の類似性の確認
類似の構成概念を測定しているテスト（サンプル問
題 A とサンプル問題 B）間の相関関係は，表 5 に示されている。サンプル問題 A，サンプル問題 B の間には，正の相関が認められた（r=.562）。問題のトピッ
クが異なっても，問題の構成や問いのあり方が得点に影響したことを示唆している。

大問
大問 1
大問 2
小問
問1 問2 問3 問4 問1ア 問1イ 問1ウ 問2 問3
初期0.083 0.233 0.250 0.141 0.117 0.107 0.052 0.086 0.128
因子抽出後 0.047 0.507 0.326 0.134 0.101 0.058 0.022 0.025 0.082
大問
大問 3
問1ア 問1イ 問1ウ 問1エ 問1キ 問2オ 問2カ 問3 問4
小問
初期
0.215 0.191 0.354 0.430 0.244 0.409 0.408 0.143 0.181
因子抽出後 0.210 0.176 0.366 0.678 0.319 0.493 0.645 0.122 0.473- 200 -

英語の基礎学力を担保する総合試験の研究（総括）表 10 サンプル問題 B のパターン行列
大問 1- 問 1
大問 1- 問 2 ア
大問 1- 問 2 イ
大問 1- 問 2 ウ
大問 1- 問 3 エ
大問 1- 問 3 オ
大問 1- 問 4
大問 1- 問 5
大問 2- 問 1 ア
大問 2- 問 1 イ
大問 2- 問 1 ウ
大問 2- 問 1 エ
大問 2- 問 2 オ
大問 2- 問 2 カ
大問 2- 問 2 キ
大問 2- 問 2 ク
大問 2- 問 3

1
0.247
0.551
0.634
0.286
0.562
0.395
0.270
0.150
-0.0040.106-0.139-0.146-0.0440.129
0.099-0.150
0.025

2
0.020
-0.079-0.092-0.018
0.104
0.169
0.026
-0.1420.134-0.033-0.137
0.396
0.015
0.076
0.858
0.411
0.448

3
0.052
-0.0470.080-0.041-0.020-0.0930.236
0.024-0.2960.044
0.204-0.0040.645
0.635-0.0230.364
0.065

る（山下，2022;  243）。サンプル問題 A で一部相関が0.2 より小さい問題がみられた（大問 2- 問 1 イ，ウ，

4
-0.023-0.088-0.0550.107-0.053
0.151
0.254
0.200
0.477
0.413
0.503
0.299
-0.0200.197-0.082-0.143-0.074問 2）が，A，B 全般において，受験者の能力を弁別する識別力があることが確認されたと考えられる。
表 12 サンプル問題 A 各設問の得点率と合計点の相関
大問 1
問1.267**
問2.507**
問3.507**
問4.338**

大問 2
ア.245**
問1
イ
.107
ウ
.154*
問2
.114
問3
.563**

大問 3
ア
イ
問1
ウ
エ
キ
オ
問2
カ
問3
問4

.373**.382**.393**.410**.320**.548**.504**.367**.307*** 相関係数は 5% 水準で有意（両側）** 相関係数は 1% 水準で有意（両側）表 11 サンプル問題 B の共通性
大問
大問 1
小問
問1 問2ア 問2イ 問2ウ 問3エ 問3オ 問4 問5
初期
0.091 0.230 0.290 0.133 0.302 0.334 0.237 0.113
因子抽出後 0.056 0.294 0.378 0.125 0.296 0.267 0.255 0.098
大問
大問 2
問1ア 問1イ 問1ウ 問1エ 問2オ 問2カ 問2キ 問2ク 問3
小問
初期
0.183 0.172 0.141 0.221 0.314 0.346 0.390 0.392 0.229
因子抽出後 0.304 0.219 0.237 0.283 0.433 0.531 0.691 0.478 0.217

表 13 サンプル問題 B 各設問の得点率と合計点の相関
問1
問2
問3
問4
問5

B については，［大問 1- 問 2 ア，イ，エ，オ：文脈の理解力を基に日本語で記述する文章作成能力，大問

大問 1
ア
イ
ウ
エ
オ

.268**.244**.355**.375**.463**.483**.513**.210**

問1

問2
問3

大問 2
ア
イ
ウ
エ
オ
カ
キ
ク

.418**.442**.306**.425**.274**.486**.510**.263**.364*** 相関係数は 5% 水準で有意（両側）** 相関係数は 1% 水準で有意（両側）2- 問 1 エ，問 2 キ，ク，問 3：文脈の理解力を基に要点をまとめる文章作成能力（大問 2- 問 2 キ，ク，問 3は日本語で記述し，大問 2- 問 1 エは英語で記述する

3.6 項目分析による測定能力の確認

文章作成能力），大問 2- 問 2 オ，カ，ク：情報を検索

各設問の得点率の分布（合計点を 20 点ごとの範囲する能力と検索した内容を日本語で記述する文章作成

で 5 区分）を分析することによって，各設問の意図（測能力，大問 2- 問 1 ア，イ，ウ：情報を検索する能力

りたい能力）が解答結果に反映されているかを検証しと検索した内容を英語で記述する文章作成能力］をた。得点率と合計点の相関係数が大きい設問とは，合測っている，と推察される。

計点の高い受験者は得点率が高く，合計点の低い受験

サンプル問題 A は「志」総合問題Ⅱ（文系型），B

者 は 得 点 率 が 低 い こ と を 示 し て い る（ 山 下，2022; 

は「志」総合問題Ⅰ（理系型）に類似した出題を意識

242）。各設問の得点率の分布から，意図した学力の差

し，英語・日本語で記述されたそれぞれの文章を読解

異を弁別する識別力があるかどうかが判別できる。

する力，思考する力，および英語や日本語で的確に表現する力を問うことを意図したが，全般的に出題の意

3.6.1 得点率と合計点の相関係数が大きい設問
共通テストの得点率が高い受験者間でも設問の識別

図はテストの結果に反映していると考えられる。

力が大きくなる理由としては，さまざまな情報を検索
3.5 項目分析による識別力の確認し，論理的な思考や分析を通して，英語あるいは日本

各設問の得点率と合計点との相関を分析することに語で文章作成するという多面的な能力が問われている

よって，設問が受験者の能力を弁別する識別力があるからであると考えられる。以下に具体例を示す。

かを検証した。相関係数が 0.2 以上が望ましいとされ【設問】A 大問 2- 問 3：英文を読み取り，英文の内容- 201 -

大学入試研究ジャーナル第 34 号に反する自分の意見を，85 語～ 105 語の英語で適切に表現する【意図】英文の読解能力・論理的思考力・英語の文章作成能力を測る

図 8 A 大問 2- 問 2 の得点率と合計点（2）ある程度までのポイントを正解できるが，高い得点率を得ることができない。
【設問】B 大問 1- 問 2 ア：英文の理解に基づいて，英図 6 A 大問 2- 問 3 の得点率と合計点

文の要点（多くの人々が予測した道路閉鎖後の影響と ,実際の閉鎖後の結果）を日本語で説明する【設問】A 大問 3- 問 2 オ：日本文とその内容に関する【意図】英文の読解能力・論理的思考力・日本語の文

日本語の会話文の意味を読み取り，文脈に応じた適切章作成能力を測る

な英語で空所を埋める表現を記述する【意図】日本文の読解能力・論理的思考力・英語の文章作成能力を測る【該当箇所の会話文】

䝬䝇䜸䠖䛭䛾᮲౛䛾䛣䛸䜢ⱥㄒ䛾䝥䝺䝊䞁䝔䞊䝅䝵䞁䛷䜒ㄝ᫂䛧䜘䛖䛸⪃䛘䛶䛔䜛䜣䛰䚹䛣䜣䛺ㄝ᫂䛷䛿䛹䛖䛛䛺䠛䠄ⱥㄒ䛷䠅[ 䜸 ]<45 ㄒ௨ෆ>䝃䜸䝸䠖䛂2020 ᖺ 3 ᭶䛻டᒸᕷ䛜䝥䝷䝇䝏䝑䜽〇㈙䛔≀⿄䛾ᥦ౪⚗Ṇ䜢ᐉゝ䛧䛯䛃䛸䛔䛖⾲⌧䛷ጞ䜑䛶䛔䜛䛾䛽䚹⚗Ṇ䛾䛽䜙䛔䛸䠈᪥ᮏ䛷ึ䜑䛶䛾ᐉゝ䛷䠈⤖ㄽ䛻㐩䛩䜛䜎䛷䛻ከ䛟䛾㞀ቨ䛜䛒䛳䛯䛸䛔䛖 3 Ⅼ䜢⡆₩䛻䜎䛸䜑䛶䛔䜛䛸ᛮ䛖䚹

図 9 B 大問 1- 問 2 アの得点率と合計点【該当箇所の英文】

図 7 A 大問 3- 問 2 オの得点率と合計点
3.6.2 得点率と合計点の相関係数が小さい設問
得点率と合計点との相関がない，あるいは弱い理由
として
（1）
～
（3）
の場合が考えられる。

（3）正解することが難しく，合計点が高い受験者も（1）正解することが易しく，合計点が低い受験者も得点率が低く全体的に差異が小さい。

得点率が高く，全体的に差異が小さい。

【設問】B 大問 1- 問 5：英文全体の理解に基づき，英【設問】A 大問 2- 問 2：英文の理解にかかわらず，日

文中の空所に入る適切な内容を 3 語の英語句で答える

本語で指示された内容を自分で考えて，日本語で説明【意図】英文の読解能力・論理的思考力・英語の文章する。次に続く問 3 で英文を書くための予備的な設問作成能力を測るとなっている【意図】論理的思考力・日本語の文章作成能力を測る- 202 -

英語の基礎学力を担保する総合試験の研究（総括）【補足】得点範囲 80 ～ 100 の得点率が突出しているたエ . 設問が問おうとしている意図は，理解できた

めに傾斜が大きく見えるが度数は 1 であり，得点率は1. そう思う

全体的に低い2. ややそう思う

3. あまりそう思わない

4. そう思わないオ . 明示的あるいは暗示的なヒントを与えるなど，早期実施の試験として配慮されている
1. そう思う

2. ややそう思う

3. あまりそう思わない

4. そう思わない

内容に対する興味（ア）は，総じて高かった（回答 1，
2 の合計：78.0% ～ 86.6%）。難易度（イ）について，サンプル問題 A では「適切」が最も多かった（46.8%，
65.1%，51.1%）。 サ ン プ ル 問 題 B で は，
「やや高い」が多かった（47.8%，50.5%）。量（ウ）については，A
大 問 1， 大 問 2 で は「 適 切 」 が 多 か っ た（46.8%，

図 10 B 大問 1- 問 5 の得点率と合計点

65.1%）が，A 大問 3，B 大問 1，大問 2 で「やや多い」
が多かった（54.8%，47.3%，43.0%）
。意図
（エ）
につい

3.7 信頼性の確認て「そう思う」「ややそう思う」の合計値が高く（A：サンプル問題 A，B，A・B 合体の信頼性を検証す

79.0%，81.2%，86.5% / B：74.2%，66.7%），設問の意

るために，Cronbach のα係数の算出を行った（表図は理解されたと考えられる。
ヒント（オ）については，

14）。
信頼性は，同じテスト内での内的一貫性のことで，「そう思う」「ややそう思う」の合計が高かった（A：その測定手段で試行（trial）を繰り返した場合，どの63.8%，73.7%，75.6% / B：62.4%，55.6%）。サンプル程度同じ結果を示すかを表す。α係数が 0.7 以上が望問題 B 大問 2 に関して，B の合計点上位 50% 以上でましいとされる（山下，2022; 247-248）。

は 60.9%，上位 25% 以上では 71.1% で，得点が高い

サンプル問題 A は .587，サンプル問題 B は .621 でほどヒントが理解できていた。設問に織り込まれた明あった。項目数が少ない場合は数値が小さくなる場合

示的，暗示的なヒントは理解されたと考えられる。アがある（野口ほか，2014;  16）と言われ，A・B 合体

ンケートの回答全般で，文系と理系において特筆すべ

では .728 を示した。

き差は認められなかった。

表 14 サンプル問題 A，B，A・B 合体の信頼性統計量
Cronbach のα係数
.587
.621
.728

A
B
A・B 合体

項目の数
18
17
35

表 15 サンプル問題各大問に関する回答（平均値）

アイ

4 アンケート調査回答の分析
サンプル問題解答直後に，各設問の難易度や様式に関して 4 肢選択あるいは 5 肢選択で回答するよう依頼した。質問項目は以下の通りで，平均値は，各設問の選択肢の番号を数値として算出した平均である。
【アンケート調査の質問】

ウ

エ

オ

ア . 問題の内容は，興味深かった
1. そう思う

2. ややそう思う

3. あまりそう思わない2. やや低い

5 考察

3. 適切

4. やや高い

2. やや少ない

令和 3 年度「志」総合試験に類似したサンプル問題

5. 高すぎるを用いて 2021 年，2022 年に実施した模擬試験のデー

ウ . 問題の量について
1. 少なすぎる

A 大問 1 A 大問 2 A 大問 3 B 大問 1 B 大問 2
1.9
1.7
1.7
1.9
1.6
1.8
1.7
1.8
1.8
1.6
1.9
1.8
1.7
2.1
1.7
3.5
3.1
3.6
3.7
3.4
3.4
3.0
3.5
3.7
3.4
3.6
3.2
3.6
3.8
3.4
3.4
3.1
3.7
4.1
3.7
3.3
3.0
3.7
4.1
3.7
3.4
3.2
3.7
4.1
3.7
2.0
1.8
2.1
2.2
1.8
1.9
1.9
2.0
2.2
1.7
2.1
1.8
2.2
2.3
1.9
2.3
1.9
2.2
2.4
2.0
2.2
1.8
2.2
2.3
2.0
2.3
2.0
2.3
2.5
2.0

4. そう思わない

イ . 問題の難易度について
1. 低すぎる

文理
文
理
文理
文
理
文理
文
理
文理
文
理
文理
文
理

3. 適切

4. やや多い

5. 多すぎる

タを分析した結果，次の点が認められた。
（1）サンプル問題と「志」との類似性については，- 203 -

大学入試研究ジャーナル第 34 号

各大問の英文の特徴を数値化した 12 指標を，主成分

学者選抜試験の出題検討に資することをねらいとし分析に基づき 6 指標に選定し，多面的に分析した（2.1）
。

た。「志」を本研究に活用できない制約があるためサ6 指標の主成分分析およびクラスタ分析の結果，各クンプル問題を代用したが，両者の類似性を統計的手法

ラスタに含まれる大問と，クラスタの第 1 主成分，第で示すことにより，「志」の妥当性および信頼性の高さ，2 主成分の特徴を示し，サンプル問題と「志」の英文設問に対する受験者の肯定的な評価を客観的，間接的の類似性が統計的に概ね認められた（2.2）。

に検証できた。

（2）テスト間の相関分析，および因子分析により出
題構成の類似性が高いことが確認された（3.3，3.4）
。

謝辞

（3）
各設問の得点率と合計点との相関分析によって，

本研究の分析にあたり山下仁司大阪大学教授（スチューデ

サンプル問題 A の 3 題において相関が 0.2 より小さ

ント・ライフサイクルサポートセンター）より指導助言をいかった（その内 1 題は，英語文章作成能力を測る次のただきました。ここに厚くお礼申し上げます。また，本研究設問の予備問題で大きな差異は想定していなかった）は，科研費（21K02658）の助成を受けたものである。

が，全般的に各設問が受験者の能力を弁別する識別力が高いことが示唆された（3.5）。

参考文献（4）各設問得点率と合計点分布の分析によって，測Graesser, A.C., McNamara, D., Louwerse, M.M., and Cai, Z.

りたい能力が，設問で測られている場合と不十分な場（2004）. “Coh-Metrix: Analysis of text on cohesion and合の要因を具体的に例示できた（3.6）。

language,” Behavior Research Methods, Instruments, &（5）
信頼性の分析では，Cronbach のα係数を算出し，Computers, 36（2）, 193-202.

A，B では期待される数値には至らなかったが，項目

https://link.springer.com/article/10.3758/BF03195564

数が少ない場合は数値が小さくなる傾向がある（野口（2023 年 11 月 11 日）.

ほか，2014）ことを考慮すれば，A・B 合体では .728

野口裕之・大隈敦子（2014）．
『テスティングの基礎理論』研を示し，信頼性が高いことが示唆された（3.7）
。

究社．

（6）アンケート調査の回答分析では，内容に対する

松尾太加志・中村知靖（2002）．
『誰も教えてくれなかった因興味（ア）は，総じて高かった。難易度（イ）について，子分析』北大路書房．

A では「適切」，B では「やや高い」が多く，テスト

水本篤（2013）．
「英文解析プログラムから得られる各種指標の平均点の差と同じ傾向がみられた。量（ウ）についてを使ったテキスト難易度の推定：教材作成への適用可能

は，A 大問 1，大問 2 では「適切」，A 大問 3，B 大性」『外国語教育メディア学会（LET）関西支部 メソドロ

問 1，大問 2 で「やや多い」が多く，合計得点と関連

ジー研究部会 2012 年度報告論集』142-150．

していると推察される。意図（エ）については，「そう

https://core.ac.uk/download/pdf/228724976.pdf（2023 年思う」「ややそう思う」の合計値より，設問を通して

11 月 11 日）．

どのような能力を測ろうとしているかの意図への理解

山下仁司（2022）．
「入試専門家が知っておくべきテスト理論・が示された。ヒント（オ）については，得点が高い受験

テスト分析方法」
大阪大学高等教育・入試研究開発センター者ほどヒントが理解できていた。設問の理解力が反映

編『未来志向の大学入試デザイン論』大阪大学出版，234-

していると推察される。以上により，基礎学力の担保

257．

や早期実施に対する配慮に関して総合的に肯定的な回

𠮷田健三（2023）．
「英語の基礎学力を担保する総合試験の研答が得られたと考えられる（4）。アンケートの回答全究―令和 3 年度「志」特別選抜の総合試験に類似したサン

般で，文系と理系において特筆すべき大きな差は認め

プル問題を活用して―」『大学入試研究ジャーナル』33，

られなかった。テーマに関して文系的，理系的な差異

256-263．

を設けたが，文系・理系に共通して大学で学修する際

https://www.dnc.ac.jp/albums/abm.php?d=474&f=abm0

に最低限必要な英語の基礎学力の評価を意図した結果

0003501.pdf&n=38（2023 年 11 月 11 日）．

であると判断できる。
6 まとめ
本稿では，大学入学共通テストを課さない入学者選抜に対する学内に残る一部の懸念を払拭し，本学の大学入試改革を推進することに加え，他大学における入- 204 -