【原著】

大学入試研究ジャーナル第 30 号，132-139，2020．

自己評定型の CEFR 英語運用能力 IRT 尺度を構成するための尺度候補項目の選定および評定反応データの基礎的分析
大澤 公一（京都大学）
自己評定型の英語運用能力 IRT 尺度を構成するため CEFR および英検 Can-do リストより 66 項目の能力記述文（共通参照レベルおよび言語 4 技能・領域）を選定した。X 大学の平成 30 年度および 31 年度入学者を対象として共通項目デザインに基づく 2 版の尺度等化計画を作成し，各年度の入学者集団に 2 版の冊子のうちいずれかが配当された。研究協力者は，自身の英語運用能力の程度を 4段階で自己評定するように求められた。各能力記述文の評定反応の基礎的集計を行い，IRT 尺度化の適否に関する検討が行われた。
キーワード：CEFR，英語運用能力，自己評定，項目反応理論，アドミッション・ポリシー

1 問題・目的
2020 年度（令和 2 年度）より導入が予定されている大学入試改革においては，英語の運用能力評価の基 準として欧 州で 広く用いられている Common
European Framework of Reference for Languages（CEFR; Council of Europe, 20011)）を援用し，英語4 技能の運用能力の測定装置として英検や GTEC な
どの民間の英語資格認定試験を活用することが計画されていた。しかし，民間試験の実施体制面での公平性が担保されないとの理由から，2019 年 11 月 1 日
付で計画の 4 年間の延期が決定された。
その一方で，目的の異なる複数の民間試験の結果を統一的に評価する基準として CEFR を援用することの学術的な妥当性に関しては，議論が不十分であると考えられる。そこで，CEFR に準拠した自己評定型 の 英 語 運 用 能 力 尺 度 を 項目反 応 理 論（ItemResponse Theory, IRT; Lord and Novick, 1968;Lord, 1980; 芝 , 1991; van der Linden, 2018 etc.）
およびテスト等化（Holland and Rubin, 1982; vonDavier, 2011; Kolen and Brennan, 2014 etc.）の枠組で構成し，英語の運用能力評価の基準として，CEFR が日本で機能するかを検討するための基礎データを作成する。大学新入生を対象としたアンケート調査を実施し，英語運用能力の自己評定反応の基礎的集計を行う。評定反応の分布を観察し，IRT による尺度化の適否を検討する。

2 方法
2.1 尺度候補項目の選定
CEFR（Council of Europe, 2001） お よ び 英 検
Can-do リスト（日本英語検定協会 , 2006）より言語4 技能・領域および共通参照レベルの計 66 項目の能力記述文（Can-do descriptor）を選定した。共通項
目デザインに基づく 2 版の尺度等化計画により，平成30 年度版（H30）および令和元年度版（R01）という 2 種類の冊子を構成した。冊子別に，能力記述文の内容を表 2 および表 3 に示した。ここで，表中の白
黒反転 ID は H30 と R01 に共通する項目であることを示す。
2.1.1 平成 30 年度版 H30【読む・書く】中心以下の (1) ～ (4) に示す合計 36 項目の能力記述文を H30 の尺度項目として選定した。
(1) CEFR の共通参照レベルで A2 から B2 までの能力記述文 9 項目
(2) C EFR の自己評価用の能力記述文「読む」2 項目，「書く」3 項目
(3) C EFR の技能・領域別の能力記述文「読む：要点把握」5 項目，「読む：情報検索」4 項目，「書く：レポート記事」3 項目，「書く：作文」3 項目(4) 英 検 Can-do リストから準 1 級（B2 相当）「読む」「書く」各 2 項目，2 級（B1 相当）「読む」1 項目，
「書く」2 項目－ 132 －

自己評定型の CEFR 英語運用能力 IRT 尺度を構成するための尺度候補項目の選定および評定反応データの基礎的分析2.1.2 令和元年度版 R01【聞く・話す】中心
以下の (5) ～ (8) に示す合計 39 項目の能力記述文
を R01 の尺度項目として選定した。9 項目は等化のためのアンカー項目（R01 と H30 との間で共通する項目 ; 以下「共通項目 2)」）
で，新規項目は 30 項目であった。

3 結果
3.1 データの回収
新入生ガイダンスのアンケート調査に対する回答者のうちで，本研究における調査項目群への回答者数
は平成 30 年度が 2,398 名で，平成 31 年度が 2,473名であった。X 大学の全入学者に対する回収率は，
平成 30 年度が 80.99%，平成 31 年度が 83.89% であった。

(5) CEFR の共通参照レベルで A1 から C2 までの能力記述文 13 項目（うち 6 項目が共通項目）(6) C EFR の自己評価用の能力記述文「聞く」6 項目， 3.2 自己評定データの基礎的集計図 1-1 ～図 1-7 に H30 に含まれる 36 個の能力記「話す：遣り取り」3 項目，「話す：表現」4 項目，「読述文に対する評定反応カテゴリ別の反応比率（%）を，む」1 項目（共通項目）
図 2-1 ～図 2-8 には R01 に含まれる 39 個の能力記(7) C EFR の技能・領域別の能力記述文「聞く」3 項
述文に対する評定反応カテゴリ別の反応比率を示し
目，「話す」1 項目，
「話す：遣り取り」4 項目，「読た。評定反応の基礎的集計結果から「十分にできる」
む：検索」1 項目（共通項目），「書く：作文」1 項「ある程度できる」を合わせた反応比率の順序が，目（共通項目）(8) 英 検 Can-do リストから 3 級および 4 級（A1 相当） CEFR（Council of Europe, 2001）における共通参照レベルの順序とは完全一致しないことが読み取れ「話す」各 1 項目
る 3)。
H30，R01 共に CEFR の能力記述文の和訳は吉島・大橋（2004）に準拠した。ただし，翻訳文の読み易4 考察さを考慮して著者が字句に編集や改編を適宜施した。
図 1-1 ～図 1-7 および図 2-1 ～図 2-8 を観察すると，全 66 項目の能力記述文について，すべての評定段
2.2 研究協力者・手続き階において評定反応が観測されている。カテゴリのX 大学の平成 30 年度および平成 31 年度の入学者合併が発生しないことは，多値型 IRT による尺度化を調査の対象とした（内訳；平成 30 年度 2,961 名， を行うに際して都合がよい。本研究で整備された基平成 31 年度 2,948 名）。4 月に実施された新入生ガ
礎 デ ータに 対し ては，一 般 化 部 分 得 点 モ デ ル
イダンスのアンケート調査の一部として，平成 30 年 （Muraki, 1992）を適用することを基本方針とする。
度の入学者に H30 が，平成 31 年度の入学者に R01
多値型データを取り扱う IRT モデルには段階反応モが配当された。項目の提示順序は一様乱数によってデル（Samejima, 1969）もあるが，CEFR の尺度化冊子毎に無作為に割り当てられた。研究協力者は提モデル（Rasch, 1960; Linacre, 1989）と整合性を取示された能力記述文について以下の教示に従い，自るため，リンク関数が divided by total 型である部分
分自身の英語運用能力の程度を 4 段階で自己評定す得点モデル族を採用する。ところで，CEFR の能力るよう求められた。
記述文は多様な人種や文化，教育制度等の交互作用を背景に開発されている。そのため，能力記述文が『英語を使って，以下の言語活動がどの程度「でき物理刺激ではなく精神刺激であることは明白である。
る」と思いますか。経験のない活動については場面しかしながら，CEFR において項目識別力を考慮しなを想像して回答して下さい。
』
い（あるいは一定とする）ラッシュモデルによる尺度化がなされた根拠は，明確にされていない。そのため，
1. ほとんどできない
今後の研究ではモデルは行動の記述のために存在す
2. あまりできないるという考え方に立脚し，能力記述文の項目識別力も3. ある程度できるパラメタとして推定対象とする。
4. 十分にできる－ 133 －大学入試研究ジャーナル第 30 号

表 1 H30・R01 共通項目におけるカテゴリ別反応比率

H30 および R01 に共通して配当されている 9 項目に関して，カテゴリ別反応比率を表 1 に示した。項目の掲示順序（Anchor ID, AID）は，カテゴリ別反応比率ではなく，R01 集団における一般化部分得点モデルに基づく達成困難度の昇順で並び替えてある。
共通項目に関しても，CEFR における共通参照レベル（CRL）の順序とは完全一致しないことが分かる。例
えば，AID-2『非常によく使われる日常言語で書かれたテキストなら理解できる。出来事や感情，希望が書かれている私信を理解できる』の CEFR 共通参照レベルは B1 であるが，本研究における反応は他の A2レベルの能力記述文よりも達成困難度が低いと解釈されたようである 3)。
共通項目について，H30 と R01 の間で反応傾向に差が見られたのかどうかを見てみると，両群の間で反応比率に .100 以上の差が観測されたのは AID-7『広範な話題について，根拠を提示しつつ一定の視点に対する支持や反対の理由を挙げ，様々な選択肢の長所や短所を示しながら自己の視点を説明できる』のカ
テゴリ1 のみであった。その他の項目カテゴリにおいては，概ね同等の反応傾向を示している。このことか
らは，H30 と R01 の集団の等質性がある程度推測され，等化係数の安定的な推定に寄与し得るものと考えられる。
今後は，本研究において整備された項目反応データに対して一般化部分得点モデルによる尺度化を行い，共通項目デザインに基づく IRT 項目パラメタおよび潜在特性値の等化を行うこととする。本研究においてIRT を採用する理由は，X 大学の新入生を対象とした調査を経年的に行う中で項目プールを拡張する計画であること，また各年度で項目構成の異なる尺度に回答した研究協力者の年度ごとの潜在特性値の分布の直接比較を行うという等化デザインである。
IRT 尺度化に際しては，まずは共通参照レベルを軸とした 1 次元モデルの適否を検討する。H30 の α係数（Cronbach, 1951）および ω係数（McDonald,1999）
は共に 0.969 であり，R01 では共に 0.975 であった。項目間相関行列から得られた第 1 固有値と第 2固有値の比は，7.94（H30）および 6.21（R01）であった。更に，項目の内的整 合 性の指 標として itemremainder correlation の平均を H30（.672）およびR01（.698）について求めた。以上の結果をもって，両版の項目反応データの一次元性（一因子性）が推認された。
注
本研究の内容に関する責任は，論文の著者にすべて帰属するものである。本研究は著者による個人研究であり，その内容は著者の所属先である国立大学法人京都大学としての見解や立場とは無関係である。なお，研究計画の適否については京都大学高大接続・入試センター会議において審議を行い，研究計画の遂行方針の承認を受けた。
1) CEFR は 2018 年に companion volume（補遺版 ; Council ofEurope, 2018) が出版されている。補遺版では共通参照レベル
Pre-A1 の追加，既存の共通参照レベルの上位・下位分割（pluslevel, criterion level），Mediation 機能の顕在化などをはじめ，2001 年の初版に様々な改訂や更新が加えられている。しかしながら，2019 年 9 月 1 日現在で CEFR と民間英語検定試験－ 134 －

自己評定型の CEFR 英語運用能力 IRT 尺度を構成するための尺度候補項目の選定および評定反応データの基礎的分析との対照表（2019 年 7 月 8 日改定版 ; 文部科学省 , 2019）は 2001 年版の CEFR を基に作成されており，内容的妥当性に問題があると考えられる。
2) 等化のための共通項目の選定においては，H30 および R01に共通する，特定の言語 4 技能に依らない CEFR の因子である共通参照レベルの能力記述文を中心に採用する方針をとった。また，等化の技術的な理由から，H30 の項目反応データから推定された一般化部分得点モデルに基づく項目達成困難度の推定値の分散が大きくなるような 9 項目の共通項目群を H30 で予め構成し，R01 に挿入するという手続きをとった。
3) このことの理由の一つとして，本研究における研究協力者のほとんどが日本人であるため，日本の中等教育課程に基づく英語教育を受けていることが挙げられる。また能力記述文の内容解釈の個人差が大きく，Council of Europe が当初に想定していた操作的定義に従って本研究の協力者が能力記述文を解釈していたとは限らないことが考えられる。
4) 一般化部分得点モデルによって母数化される，能力記述文の期待評定確率が「あまりできない」から「ある程度できる」に推移する能力（英語運用能力の自己評価レベル）の閾値をもって，本研究以降の一連の研究における能力記述文の達成困難度を操作的に定義する。本研究では，Mixed
Coefﬁcients Multinomial Logit Model（Adams and Wu,2007; Macaskill and Adams, 2016）の枠組で項目パラメタを推定した。数値計算は Bock-Aitkin EM アルゴリズム（Bock and Aitkin, 1981）による周辺最尤推定法で行われた。 パ ラメタの 推 定 に は ConQuest 4.14.2（Wu et al.,2017）を用いた。

謝辞

本研究の遂行にあたっては，京都大学教育推進・学生支援部入試企画課および国際高等教育院の協力を得てアンケート調査を実施した。京都大学高大接続・入試センター（入試開発室）特定専門業務職員の松浦かんな氏には，紙媒体でのアンケート回答データの整理・電子化，図 1-1 ～図 1-7 および図2-1 ～図 2-8 の作成補助を依頼した。

参考文献

Adams, R.J. & Wu, M.L. (2007). The mixed-coefficient
multinomial logit model: A generalized form of theRasch model, In von Davier, M. & Carstensen, C.H.
(Eds.), Multivariate and mixture distribution Raschmodels: Extensions and applications, pp.57-76, Springer
Verlag.

Bock, R.D. & Aitkin, M. (1981). Marginal maximum
likelihood estimation of item parameters: Application of
an EM algorithm, Psychometrika, 46, pp.443-459.

Council of Europe (2001). Common European Frameworkof Reference for Languages: Learning, teaching,assessment, Cambridge University Press.
Council of Europe (2018). Common European Frameworkof Reference for Languages: Learning, teaching,assessment. Companion volume with new descriptors,
Council of Europe.
Cronbach, L.J. (1951). Coefﬁcient alpha and the internal
structure of tests, Psychometrika, 16, pp.297-334.
Holland, P.W. & Rubin, D.B. (Eds.). (1982). Test Equating,
NY: New York, Academic Press.
Kolen, M.J. & Brennan, R.L. (2014). Test Equating,Scaling, and Linking: Methods and Practices, Springer,3rd ed.
Linacre, J.M. (1989). Many-Facet Rasch Measurement.
Chicago: MESA press.
Lord, F.M. & Novick, M. (1968). Statistical theories ofmental test scores, Reading, MA: Addison-Wesley.
Lord, F.M. (1980). Applications of item response theory topractical testing problems, Hillsdale, NJ: Lawrence
Erlbaum Associates.
Macaskill, G. & Adams, R. (2016). Score Estimation andGeneralised Partial Credit Models, Notes 8, 14 June
2016.
McDonald, R.P. (1999). Test Theory: A uniﬁed treatment,Psychology Press.
文部科学省 . 大学入試英語成績提供システム参加予定の資格・検 定 試 験と CEFR との対照表 , 2019, <http://www.
mext.go.jp/a_menu/koutou/koudai/detail/_icsFiles/aﬁeldf
ile/2019/07/09/1418843_004_1.pdf>, 2019 年 9 月1日確認 .
Muraki, E. (1992). A Generalized Partial Credit Model:Application of an EM Algorithm, Applied Psychological
Measurement, 16(2), pp.159-176.
日本英語検定協会 . 英検 Can-do リスト , 2006, <http://www.
eiken.or.jp/eiken/exam/cando/list.html>, 2019 年 5 月 1 日
確認 .
Rasch, G. (1960). Probabilistic model for some intelligence
and achievement tests, Danish Institute for Educational
Research.
Samejima, F. (1969). Estimation of ability using a response
pattern of graded scores. Psychometrika Monograph,No.17.
芝祐順（編）(1991).『項目反応理論−基礎と応用』東京大学出版会 .
van der Linden, W.J. (Eds.). (2018). Handbook of Item
Response Theory, Three Volume Set, Chapman & Hall/CRC.
von Davier, A.A. (Eds.). (2011). Statistical Models for Test
Equating, Scaling, and Linking, Springer.
Wu, M.L., Adams, R.J., Wilson, M.R., & Haldane, S. (2017).
ACER ConQuest Version 4.14.2, ACER Press.
吉島茂 , 大橋理枝（訳）(2004).『外国語教育 II 外国語の学習，教授，評価のためのヨーロッパ共通参照枠』朝日出版社 .

－ 135 －

大学入試研究ジャーナル第 30 号

表 2 尺度 H30 の能力記述文（Can-do descriptor）－ 136 －

自己評定型の CEFR 英語運用能力 IRT 尺度を構成するための尺度候補項目の選定および評定反応データの基礎的分析

図 1-5 書く；レポート・記事・作文

図 1-1 共通参照レベル（4 技能）

図 1-6 英検準 1 級；読む，書く（B2 相当）
図 1-2 自己評価（読む，書く）

図 1-7 英検 2 級；読む，書く（B1 相当）
図 1-3 読む；要点把握

図 1-4 読む；情報検索－ 137 －

大学入試研究ジャーナル第 30 号

表 3 尺度 R01 の能力記述文（Can-do descriptor）－ 138 －

自己評定型の CEFR 英語運用能力 IRT 尺度を構成するための尺度候補項目の選定および評定反応データの基礎的分析

図 2-5 自己評価（話す；遣り取り）

図 2-1 共通参照レベル（4 技能，共通項目 6 項目）

図 2-6 自己評価（話す；表現）

図 2-2 読む，書く（共通項目）
図 2-7 話す；遣り取り

図 2-8 話す；英検 3 級・4 級（A1 相当）
図 2-3 自己評価（聞く）

図 2-4 聞く

－ 139 －