G3-1

テスト理論に基づいた作問アドバイス生成システムの開発
Development of an Advice Generation System for Creating
Test Questions Based on the Test Theory
*1

*2

*2

*2

林 貴史 ，高木 正則 ，山田 敬三 ，佐々木 淳
*1
*2
*2
*2
Takafumi HAYASHI ，Masanori TAKAGI ，Keizo YAMADA ，Jun SASAKI*1
岩手県立大学大学院ソフトウェア情報学研究科*1
Graduate School of Software and Information Science，Iwate Prefectural University*2
岩手県立大学ソフトウェア情報学部*2
Faculty of Software and Information Science, Iwate Prefectural University
Email: g231n028@s.iwate-pu.ac.jp
あらまし：多くの教育現場では，学習者の理解度や能力を測定するためにテストが実施されている．しかし，テスト作成者が出題した問題の良し悪しを評価することは少ない．その要因として，テスト問題の分析に必要となるテスト理論や統計などの専門知識が不足していることや，分析に必要な時間の確保が困難なことが考えられる．本研究では，テスト理論などの知識を持たないテスト作成者の作問支援を目的とし，テスト問題の分析結果や次回作問時のアドバイスを提示するシステムを開発した．
キーワード：テスト理論，検定試験, 多肢選択式問題，ご当地検定, 作問支援システム

1.

はじめに

多くの教育現場では，テストの得点から各学習者を評価するが，テストに出題された問題を評価することは少ない．その要因として，テスト問題の分析に必要となるテスト理論や統計などの専門知識が不足していることや，分析に必要な時間の確保が困難なことが考えられる．また，テスト問題の分析結果から，作問時の改善点を導き出すのも難しい．そこ
で，我々はテスト問題の分析負担の軽減を目的とし，テスト問題の分析支援システムを提案する．本シス
テムでは，テスト問題の分析結果や次回作問時のアドバイスを生成することによって，テスト理論の専門知識を持たないテスト作成者を支援する．	 
本稿では，岩手県盛岡市で開催されているご当地検定「盛岡もの識り検定(1)」（以下，もりけん）の被験者データを用いて，分析結果の提示方法や作問アドバイスの生成ルールを検討する．

2.

関連研究

樋口は(2)，テスト理論の知見を有さない教授者が容易に使用できるテスト結果分析 Web アプリケーションを開発している．また，熊谷は(3)，項目反応理論によるテスト分析を行う無料ソフトウェアのEasy Estimation を開発している．これらは，テスト結果の分析といった点で本研究と類似するが，次回作問時の作問アドバイスの生成までは対象としていない．

3.

目弁別力，さらには信頼性を表すクロンバックのα係数などの値に基づいて生成する．

4.

手動によるテスト問題の分析

作問アドバイス生成ルールを構築するために手動でテスト問題を分析し，分析結果から作問アドバイスの生成手法を検討した．
4.1 分析手法	  一般的にテストは信頼性と妥当性によって評価される．信頼性はクロンバックのα係数，折半法，再テスト法，平行テスト法，など数多くの手法によって評価される(4)．今回の分析では， 一般的に広く用いられ，テスト全体の信頼性係数を求められるクロンバックのα係数を用いた．妥当性に関しては，数理的に求める事が困難な為，今回は評価指標としては除外した．また，項目難易度と項目弁別力を古典的項目分析手法で算出した．
表 1 にテスト問題の評価指標と評価手法，評価基準を示す．
表 1：テスト問題の評価指標
指標
信頼性

難易度

研究課題

本システムでは，テスト理論の知識を持たないテスト作成者でも理解できるテスト分析結果の表示方
法や，次回作問時に参考になる作問アドバイスを生成するためのルールを作成することを狙いとしている．作問アドバイス生成ルールは古典的テスト理論
や項目反応理論によって算出される項目困難度や項弁別力― 195 ―

手法
再テスト法
平行テスト法
折半法
内部一貫法（クロンバックのα）
古典的テスト理論
項目反応理論

古典的テスト理論
項目反応理論基準0.80 以上あれば，信頼性が高い(5)0.72 以上であれば，信頼性が高い(6)0.39 以下または 0.81 以上の項目は難易度が不適切，0.29 以下または 0.91 以上の項目は難易度が極端に高い・低い(4)0.29 以下の項目は弁別力が低く不十分， 0.19 以下の項目は弁別力が極端に低い(4)教育システム情報学会 JSiSE2015
第 40 回全国大会 2015/9/1～9/3

4.2 分析対象データ
2012 年に実施されたもりけん 3 級（100 問）の全受検者 120 名分の解答データを活用して分析した．
解答データは，もりけんを主催する盛岡商工会議所（秘密保持契約を締結して共同研究を実施中）から入手した．

結果は利用者にフィードバック（図 1②）されるともに，作問アドバイス生成モジュールに入力され，アドバイス生成ルール DB を参照して次回作問する
際に参考になる作問アドバイスを提示する（図 1③）．

4.3 分析結果	  上記分析対象データに対してクロンバックの α 係数を求めた結果，0.911 となり，表 1 の基準からみて信頼性が高いテストであったことが分かる．古典的
項目分析の項目難易度，項目弁別力で分析した結果の一部を表 2 に示す．表 2 の難易度，弁別力で下線が引かれている項目は表 1 の評価基準で「不適切・不十分」と判定された項目である．また，二重下線が引かれている項目は「極端に値が高い・低い」と判定された項目である．そのため，下線や二重下線が引かれている項目に関しては，項目の削除および修正が必要であると言える．
表 2：項目分析結果
項目番号（仮）
1

難易度
0.92

弁別力
0.19

20.95

0.03

30.94

0.09

40.96

0.16

……
97
98
99
100

……
0.58
0.57
0.80
0.81

……
0.34
0.38
0.440.25

図 1：システム概要図
5.2 作問アドバイス生成システムの開発	  利用者自身が作成した各問題に対する作問上のアドバイスを提示し，テスト問題の分析支援と次回以降の作問を支援するシステムを開発した．図 2 はシステム利用者がテスト結果を入力し，分析結果と作問アドバイスを受け取る画面例である．図 2 左は古典的テスト理論を使用した分析結果を示し，図 2
右は各テスト問題の作問アドバイスである．

4.4 作問アドバイス生成モジュール	  以上の分析結果に基づき，作問アドバイスの生成ルールを作成した．表 3 に作問アドバイス生成ルールの一例を示す．今後さらなる分析を繰り返し，より適切な作問アドバイスルールを作成する．
表 3：作問アドバイス生成ルール例
条件
難 易 度
0.91 以上
かつ
弁 別 力
0.19 以下
難 易 度
0.29 以下
かつ
弁 別 力
0.19 以下

5.

作問アドバイス例･かなり易しい問題です･成績に全く関係なく解ける問題で，合否を判定するのにあまり役立っていない問題です･問題文の問い方を難しくするか，正答とより関連の深い誤答選択肢を設定し，難易度が上がるように改善する必要があります･かなり難しい問題です･受験者は偶然に正解した可能性が高いです（多肢選択形式問題の場合）･成績に全く関係なく解ける問題で，合否を判定するのにあまり役立っていない問題です･問題文の問い方を易しくするか，正答とより関連の低い誤答選択肢を設定し，難易度が下がるように改善する必要があります	 
図 2：テスト分析結果と作問アドバイス生成画面例

6. まとめと今後の課題	  本稿では，テスト問題の分析結果から作問アドバイスを生成するシステムを開発した．作問アドバイ
スの生成ルールは，もりけんのテスト結果を手動で分析して検討した．今後は，項目難易度と項目弁別力以外から作問アドバイスを生成するルールについても検討し，作問現場での導入を目指す．
参考文献(1) 盛岡商工会議所，盛岡もの識り検定
http://www.ccimorioka.or.jp/jinzai/moriken.htm

作問アドバイス生成システム

5.1 システム概要
システムの概要図を図 1 に示す．テスト作成者は被験者の解答データを本システムに入力し（図 1①），項目分析モジュールで古典的テスト理論や項目反応理論などを駆使し，各テスト問題を分析する．分析(2) 樋口三郎：『テストおよびアイテム分析 Web サービスの開発』，教育システム情報学会第 39 回全国大会講演
論文集，pp.377-378，2014．
(3) 熊谷龍一：項目反応理論と EasyEstimation.,
http://irtanalysis.main.jp , 2011.
(4) 大友賢二：『言語テスト・データの新しい分析法 項目応答理論入門』，大修館書店, 1996．
(5) 山森光陽，前田啓朗(編)『英語教師のための教育デー
タ分析入門』，pp.4－12，東京:大修館，2004．
(6) Nunnally,JumC.PsychometricTheory 2ndEdition.
New York:McGraw-Hill, 1978．

― 196 ―