Automated Test Maker の開発と英語教育への応用
住 政二郎 1), 工藤 多恵 1), 乗次 章子 1), 山脇 野枝 1)
1) 関西学院大学
seisumi@kwansei.ac.jp

The Development and Application of the Automated Test Maker for
English Education
Sei Sumi 1), Tae Kudo 1), Fumiko Noritsugu 1) , Noe Yamawaki 1)
1) Kwansei Gakuin University.
概要「スーパーグローバル大学創設支援事業」の採択以降、英語教育に関する多くの施策が学内では実施されている。2017 年度からは各種の外部テストが全学規模で導入された。こうした変化は、学部横断的且つ縦断的に英語教育の成果を評価・検証するために重要である。しかし、各学部は専門性を踏まえた特色ある英語教育を行っており、その内容は外部テストの評価指標とは必ずしも一致しない。こうしたことを背景に、理工学部では、外部テストと学部独自の英語教育の内容を加味しながら、客観的指標で英語教育の成果を評価・検証できる到達目標型英語教育の実現を目指し ATM (Automated Test Maker) を開発した。
本発表では、本システムの開発と英語教育への応用について報告する。

1

はじめに

2ATM の開発

関西学院大学は、2014 年に「スーパーグローバ

2.1 ATM の概要

ル大学創成支援」に採択された。それ以降、学内

ATM は、データベースに保存されたテスト項目

では英語教育に関するさまざまな施策が実施されを使って、「英単語多肢選択問題」、「英文読解問題」、ている[1]。2017 年度からは外部テストを活用しそして、「CAT」 (Computer Adaptive Test) の 3 種

た全学規模のプレイスメントテスト、習熟度別クのテストを自動的に出力することができる。ATMラス編成、到達度テストが実施された。こうしたは、サーバー上で稼働し、担当教員は ID とパスワ

変化は、学部横断的且つ縦断的に客観的指標で英ードを使い、各種テストを出力して授業内外の学語教育の成果を評価・検証するために重要である。

習や期末考査等で活用できる。テスト項目は恒常

しかし、外部テストの導入にはデメリットもある。

的に改善され、また、新しいテスト項目も随時追例えば、外部テストの結果の取り扱いについて明加されている。すべてのテスト項目には、等化作

確な方針がなく、多様な学部テストの活用が学内業を加え、調整された困難度パラメータが付与さに混乱をもたらす可能性がある[2]。また、各学部れている。困難度パラメータが付与されたテスト

は専門性を踏まえた特色ある英語教育を行ってお項目を使いテストを出力し、それを期末考査で活り、その内容は外部テストの評価指標とは必ずし用することで、習熟度別クラス編成に対応できる。

も一致しない。特に理工学部は、各学科の専門性また、同一科目・複数クラスある英語科目で、教員や大学院への進学を念頭に、科学技術英語に特化個々人で異なる授業アプローチを許容しながらも、した英語教育を行っているためその影響は大きい。

学習到達度を揃えることができる。テスト結果は、こうした課題を背景に、外部テストの内容と学部独自のスコア・スケール (KG.ELs) で換算される。

独自の教育内容の双方を加味しながら、英語教育

これは、テスト結果から学生の能力パラメータをの成果を客観的指標で評価・検証できる到達目標推定し、その値を線形変化したものである。こう型英語教育の実現を目指し、理工学部では ATMすることで学生個々人の学部独自の英語教育の到(Automated Test Maker) を開発した。

達度を指標化し、同時に外部テストの結果との比較検討が可能になる。

2.2 英単語多肢選択問題
ATM に実装した英単語多肢選択問題は、アイテムバンクの開発作業から行った。開発素材には、河上（2011）『TOEIC にでる順英単語』を活用した。

①

これは、理工学部 1・2 年生の英文読解（必修科目）②の授業で、副教材として使われているものである。
多肢選択問題の出題形式は、TOEIC® Test の Part5 を参考にした。問題文および選択肢には、大学英③

語教育学会が定める基本語リスト JACET8000 の内、Level 4（大学受験、大学一般教養初級）まで④の語彙を使うことにした。現在、アイテムバンクには、約 2,000 問の問題項目がある。
開発した問題項目には、項目分析を加えた。分
析は、古典的反応理論を使い、テスト毎に標準困難度適切度、標準項目弁別力適切度、標準実質選

図 1. 英単語多肢選択問題出力画面

択肢適切度、標準適切度合計の観点から考察を加は，教科書本文とのバランスを考慮し，約 800 字

え[3]、ラッシュモデルの推定結果（outfit, infit）とで，Flesh-Kincaid Grade Level 6–8 の基準を定めた。

合わせて改善を加えた。

読解問題に関しても，語彙・文法問題と同様にラ

図 1 は、英単語多肢選択問題の出力画面である。
図 1 の①では、出題する多肢選択問題の数を 1〜ッシュモデルと古典的反応理論を使った項目分析を行った。

100 まで指定することができる。初期設定は 20 問

図 2 は、英文読解問題の出力画面である。①ので、出力結果は 20 問毎に A4 の用紙 1 ページに収データベースより読解問題を選択し、②に追加しまるように設計されている。②では，多肢選択問て、③のボタンをクリックすることで、複数の素題の出題範囲を指定単語帳の単語番号で指定する材を組み合わせた読解問題（解答と解答用紙を含ことができる。③では、多肢選択問題の出題範囲む）を出力することができる。

を指定単語帳の Part 2〜5 から、または複数を組み合わせて指定することができる。④では，共通項目の指定などを考慮し、特定の項目をカンマ区切りで指定することができる。以上、上記①〜④の機能を組み合わせ、約 2,000 問のアイテムバンクから自由に多肢選択問題を PDF 形式で出力することができる。
2.3 英文読解問題
読解問題の開発は、指定教科書に準拠して行った。教科書は，著者らの所属する理工学部が独自①②③に開発したもので、主に科学技術に関する題材を取り扱っている。さらに，コンテンツを追加する

図 2. 英文読解問題出力画面

ために VOA (Voice of America) の素材を使って読解問題を開発した。
読解問題を開発する際には，担当者間で理工学部の学生に身につけて欲しい読解力について協議を行い、テスト仕様を決定した。また，複数の外部テストのテスト形式を検討し、本文の内容に即し2.4 Computer Adaptive Test
CAT は、困難度パラメータの付与された問題項目を学生が受験し、正誤に応じて学生の能力パラメータを推定することができる。また、推定された能力パラメータから、学生の能力に最適化されて、豊富な問題形式を持つ IELTS の出題形式を参た問題項目を自動的に出題することができる。英考にすることにした。VOA の素材を選定する際に単語多肢選択問題の機能では、全員に同じ問題を提供する一方で、CAT では、学生の単語力に応じた問題を出題することができる。多肢選択問題の機能の弱点を補い、学生の日頃の英単語学習に役立ててもらうことを意図している。
CAT の開発は、多肢選択問題で開発したテスト項目を等化することから行った。等化は，共通項目を含む複数のテスト・ブロックを出力し、テスト結果からテスト間の共通項目の回帰直線を求めて行った。現在、等化作業と CAT への実装は、1年生の学習必須単語約 1,000 問のみ完了している。
CAT の開発には、ラッシュモデルを採用した。
受 験 者 の 能 力 推 定 に は ベ イ ズ EAP （ expected a

図 4. 出力された CAT の問題開始画面posteriori）推定法を、項目選択にはフィッシャー情報量を用いた。ベイズ EAP 推定法（式 1）は、受結果は，式 2 を使い線型変化し，KG.ELs (Kwansei

験者の回答パターンが全問正解あるいは全問不正

Gakuin English Language Scale) として表示するよ解の場合でも受験者能力の推定が可能で、推定作うにした。

業も短時間ですむことから CAT に適しているとされている[4]。受験者の能力値の分布には事前確率

KG.ELs=50×θ ̂_i+500(2)として標準正規分布を仮定した[5]。

3 英語教育への応用+,

𝜃" =-,+,

𝜃" 𝑔(𝜃" )𝐿 𝑢" 𝜃" 𝑑𝜃" ∕-,𝑔(𝜃" )𝐿 𝑢" 𝜃" 𝑑𝜃"(1)

ATM の各機能について、英語教育への応用を行い、その効果を検証した。英単語多肢選択出力機

図 3 は、CAT の問題出力画面である。①で問題能については、事前・事後テストを行い、ATM で数を指定し（初期設定 30 問、最大 50 問）、②で出出力した小テストの継続利用が学生の単語力向上題範囲を指定する。にもたらす効果について検証した。英文読解問題
出力機能については、1 年生を対象とする英文読解の 2017 年度前期・期末考査で利用し、その感想を担当教員から収集した。CAT の検証については、
本発表要項執筆時には実施できておらず、2017 年①度後期に実施予定のものを口頭で報告する。
3.1 英単語多肢選択問題について
2017 年度前期、読解の授業を受講する 1 回生②

268 名（11 クラス）を対象に、事前・事後テストを行った。事前・事後テストは、ATM の英単語多肢選択問題で出力した 100 問で行った。事前テス
トは 4 月に、事後テストは 7 月に実施した。事前・事後テストとも同じテストを使用した。事前・事後テストの間には、10 問ずつの多肢選択問題をATM で出力し、毎回の授業で活用した。

図 3. CAT 問題出力画面
図 4 は、出力された CAT の問題開始画面である。テストは、オンライン、または画面を印刷して配布し、QR コードをスキャンすればスマートフォンでも受験することができる。受験者能力の推定

表 1 と図 5 は、事前・事後テストの結果である。
表 1 は、記述統計量の一覧で、図 5 は、事前・事後テストのバイオリンプロットを示している。結果より、授業時間を使った継続した学習が、学生の英単語力の向上に寄与していることが伺える。

に ATM が有用である、という意見だった。また、

表 1. 事前・事後テストの結果
N = 268

MSDMin.

Max.

多用な読解問題を用意することによって、どのよ

事前

62.90

13.29

1893

うな点で指導が不足しているのか、各クラスを比事後

73.27

12.08

33100

較して検証できるになったとする意見も聞かれた。
こうした意見は、担当クラス数の多い非常勤講師から多く聞かれた。自由記述からは、単に統一テストを導入して学習到達度を揃えるだけではなく、測定と評価を連動させ、授業にフィードバックすることの重要性が明らかになった。

4 まとめ
本研究では、外部テストと学部独自の英語教育の内容を加味しながら、客観的指標で英語教育の成果を評価・検証できる到達目標型英語教育の実現を目指し ATM (Automated Test Maker) を開発し、英語教育へ応用した。ATM を活用し，困難度の調整されたテスト項目から語彙問題や読解問題を自動的に生成できる環境を整備することによって，英語教育の成果を客観的指標で評価・検証
図 5. 事前・事後テストの結果できる体制を整えることができたことは、本研究の大きな成果である。また、問題作成に伴う教師

3.2 英文読解問題についての負担を大幅に軽減すると共に、現在は読解の授英文読解問題については、1 年生が受講する英業に限ってではあるが、英語教育の到達度を揃え文読解（27 クラス）で、ATM で出力した読解問題ることが可能になった。英語科目は同一科目で複を使用して期末考査を行った。その後、担当教員数クラスが開講されるという他の科目にはない特（8 名）へのアンケート調査を行った。

徴を持つ。同じシラバスと教科書を使いながらも、アンケート調査は、6 件法（1：「まったくそう到達度を揃えることがこれまで極めて困難であっ思わない」〜6：「まったくそう思う」）を採用した。

た。担当教員間でアイテムバンクを構築し、テスまた、自由記述の欄を設けた。

ト項目の改善を続け、また、その結果を授業に還「共通読解問題の利用は、各クラスの授業到達元する再帰的な改善サイクルを ATM を介して構度をそろえるために有益だ」という質問に対して築することができたことは、学内に外部テストがは、4（1 名, 12.5%）、5（3 名, 37.5%）、6（4 名, 50.0%）

導入され，教育の質保証と説明責任が求められるという結果だった。
「共通読解問題の利用によって、中で重要な成果となった。

テストの作成負担が軽減された」という問いに対しては、5（1 名, 12.5%）、6（7 名, 87.5%）という結果だった。
「共通読解問題の利用によって、教えるポイントが予め明らかなので、今後は、授業内容も良い方向に変わる」という問いに対しては、4（2 名, 25.0%）、5（5 名, 62.5%）、6（1 名, 12.5%）という結果だった。以上の結果から、ATM の導入が、担当者のテスト作成負荷を大幅に軽減し、クラス毎の到達度を揃えるのに有益であった様子がうかがえる。
自由記述で特徴的であったのは、予めテストがあることで到達度が明確となり、教授内容の改善

参考文献[1] 関 西 学 院 大 学 , 「 中 期 計 画 の 取 り 組 み 」 ,http://www.kwansei.ac.jp/kikaku/kikaku_009760.
html （2016）.
[2] 吉田弘子, 「英語プレイスメントテスト分
析：言語テストの観点から」, 『大阪経大論集』,第 60 巻, 第 2 号, pp.93-103 （2009）.
[3] 中村洋一, 『テストで言語能力は測れるか：言語テストデータ分析入門』, 桐原書店，東京 （2002）.
[4] 村木英治, 『項目反応理論』, 朝倉書店, （2011）．
[5] 豊田秀樹, 『項目反応理論［入門編］』, 朝倉書店, （2002）.