I1-20

ランダム出題オンラインテスト結果をもとにした S–P 表分析

Analysis with S–P Table
produced in Results of Randomly Ordered Online Test
久保田 真一郎, 新盛 賢太郎, 高塚 佳代子, 山場 久昭, 岡崎 直宣
Shin–Ichiro Kubota, Kentaro Shinmori, Kayoko Takatsuka, Hisaaki Yamaba, Naonobu Okazaki
宮崎大学
University of Miyazaki
email: kubota@cs.miyazaki-u.ac.jp
学習管理システムを通してランダムに出題されるオンラインテストの場合，1 クラスの受験者数も少なく受験結果をもとにクイズの質を検証することが困難である．そこで，われわれは学習者が実際に解答した結果に加え，実際には出題されず解答されていないクイズの正解と不正解を各学習者の正答率をもとに仮に埋めることで S-P 表を作成した．また，等質な部分 S-P 表の差異係数をもとにクイズの質について検証を行った．
キーワード：S–P 表, オンラインテスト, ランダムテスト, 等質性1.

背景および問題点

学習管理システム (LMS) の特徴としてオンラインテスト機能があげられる．紙によるテストと大きく異なる特徴は，アイテムバンクからランダムに抽出された問題を出題するランダム出題のオンラインテストが実施可能である点である．しかし，ランダム出題のオンラインクイズの場合，アイテムバンク内にある問題が同じ理解を判定するための問題となっているかの検証が必要である．ランダム出題の問題が等化であるか検証するためには，能力が同じ複数の受験者を準備して，アイテムバンクにある問題を受験してもらい，その解答結果により同じ能力を測定する問題であるか判定することができる．ランダム出題のオンラインテストを教員が構成し，アイテムバンクの問題に対して形成的評価を行う場合，ランダムに出題される問題に能力の異なる受験者が解答した結果を得ることになり，そのままでは同じ能力を比較する問題となっているか形成的評価は困難である．問題を等化させる手法として項目応答理論 (IRT) が有効であることは知られている?) ．
一方で，IRT により有効な結果を得るためには，多くのケースデータが必要であることが知られている．本
研究では，少ない問題数であっても問題の等質性や学習者の診断，テストの評価に有効とされる S–P 表による分析法1) を採用する．この分析方法はテスト受験者個々の解答状況をまとめた S-P 表をもとに，学習状況や問題の善し悪し，学習指導の効果などを分析する方法である．
S-P 表はあるテストを受験した受講者の各問題に対する正誤パターンを表したものである．以下の手順を踏まえて得られる表を S-P 表と呼び，図 1 のようになる．この図では S 曲線が赤く P 曲線が青く表現されている．得られた S-P 表は，受講者や問題ごとの特徴を読み取るのに利用される．

1. 問題に対して正解であれば 1，誤りであれば 0 を記入する項目得点表を作成する．
2. 受講者の得点が高い順，問題の正答数が多い順に並び替える．

3. それぞれの受講者につき，項目得点表の左からその受講者の正答している数だけマス目を数えたところに区切り線を記入する（S 曲線）．
4. それぞれの問題につき，項目得点表の上からその問題が正答されている数だけマス目を数えたところに区切り線を記入する（P 曲線）

図1

S-P 表

ランダム出題のオンラインテストの場合，出題される問題がアイテムバンクからランダムに抽出され出題されるために，ある受講者が答えている問題に対して別の受講者は答えていないという状況が生じる．このため S–P 表分析に必要となる受講者と問題との項目得点表が空欄を含む表となり，S–P 表を無理矢理構成したとしても意味のある S–P 表とはならない．そこで，受講者の正答率をもとに受講者が正解であるか不正解であるかを推定し，項目得点表の空欄を埋めることで，S–P 表による分析が可能なのではないかと考えた．

2.

提案手法

ランダム出題のオンラインテストに対して項目得点表を作成すると空欄を含む項目得点表となり，S–P 表が意味を持たず S–P 表分析ができない問題に対して，受講者の正答率をもとにベルヌーイ分布により空欄の― 39 ―

教育システム情報学会 JSiSE2016
第41回全国大会 2016/8/29-8/31
正誤を推定し，空欄を埋め，項目得点表を構成する．
構成した項目得点表をもとに S–P を構成し, S–P 表分析を行う．

3.

研究方法

提案手法が有効であるか確かめるために，実際のランダム出題のオンラインテストの結果から項目得点表を提案手法により作成し，S–P 表による分析を行う．
著者らが実践する講義で行われたランダム出題のオンラインテストの結果を用いる．受験した学生は 57 名，出題される問題数は 17 問で，アイテムバンクには 46問用意されておりそこから分野ごとにランダムに出題される．ただし問 31 から問い 36 は固定して出題され受験者全員が解答している．詳しい構成を表 1 に示す．
表1ができる．受講者群を分割する手法として，グラフ理論的手法2) を参考に分析を行った．藤原の行った手法
は，受講者の解答パターンの包含関係から有向グラフを作り，有効道に含まれる受講者群に分割する，というものである．藤原の行った手法では，分析者の志向により有向道の数を自由に決めるが，本研究では次のような方法論によって有向道を決定することとした．
有向道を導出する方法論を決めることで将来的にシステム化が可能となる．

1. すべての有向道を列挙し，それぞれに含まれる受講者の人数を数える．
2. 最も学生数の多い有向道を選ぶ．
3. 選択された有向道に含まれるノードを消去する．
ただし，ノードを消去する際に，有向道から独立してしまうノードが存在する場合は当該ノードを消去しない．

出題されるオンラインテストの構成
分野

出題問題数

コンピュータの動作
基本構成
記憶装置
メモリ管理と仮想記憶装置
入出力制御
プロセス管理
共通項目
総合

1
1
1
1
1
165

アイテムバンクの問題数
555555610

出題されていない問題の正誤は，ベルヌーイ分布に従うと考え，実際に解答した生徒の解答状況から正答率を求め，Excel のデータ分析機能を用いて項目得点表の空欄をランダムに埋めた．この操作をすべての問題に適用し，得られた項目得点表が図 2 である。 表
中では受験者が実際に解答した結果が網掛けのセル，ランダムで正誤を推定した結果が白いセルである．この項目得点表をもとに S-P 表を構成した．

4. 残った有向グラフについて，1 から 3 を繰り返す．
この方法論により複数の有向道が決定され，複数の部分 S–P 表を作成することができる．学習者群を分割することで得られる部分 S–P 表は同じ傾向を示す受講者群別に，分野別，問題別の分析を行うことができるが，本研究では問題群の評価に用いる．
学生全員が解答した問 31 から 36 の共通項目を用いた部分 S–P 表は，似た学習傾向を持つ受講者群に分割できたため，このときの受講者群は等質であると考え，この受講者群が他の分野の問題群に対しどのような反応を示すかを分析した．その結果，問 20 から 25 の部
分 S-P 表において，基準値を超える差異係数を示した．
つまり問 20 から 25 の問題群が何かしらの欠陥を抱えている可能性を示唆している．

4.

まとめ

本論文では，アイテムバンクからランダムに抽出され出題されるオンラインテストに対して，S–P 表分析を適用するために出題されなかった問題の正誤をベルヌーイ分布により推定し，得られた S–P 表による S–P表分析を行った．S–P 表分析では，グラフ理論による部分 S–P 表を構成する手法を利用し，有向道を決定する方法論を提案した．その結果，これまで S–P 表を構成することができなかったランダム出題されるオンラインテストの結果に対して，改善が必要と考えられる問題群を見つけ出すことができた．
謝辞
本研究の一部は JSPS 科研費 16K01070 の助成により実施した．
図 2 ベルヌーイ分布により空欄を埋めた項目得点表
参考文献
項目得点表を分野ごとに分割することで，ひとつの分野に対する受講者の学習状況を見ることができる．
また，受講者群を分割することで，それぞれの分野において共通の学習状況を示す受講者群を抽出すること(1) 佐藤隆博: “S–P 表の作成と解釈”, 明治図書, 東京 (1975)(2) 藤原秀雄: “S–P 表の分割法とその学習診断への応用”,
日本教育工学雑誌, Vol.5, pp.13–21(1980)― 40 ―