授業支援システム Moodle における小テスト結果からの理解度不足の検出機能の提案
加藤利康
日本工業大学A Proposal of Detection Function of Degree of Understanding from Quiz Responses
in Course Management Systems
Toshiyasu KATO
Nippon Institute of Technology
katoto@nit.ac.jp

概要：本論文は、授業支援システムを用いた小テストの結果から理解度不足の学習内容を検出し教員へ提示する
理解度不足の検出機能を提案する。理解度不足の検出機能は、小テストの設問を学習項目で分類し、その正答率の差を分割表によって検定して有意に正答率が低い学習内容を検出する。評価実験の結果、実際の授業で小テストの実施後に教員が理解度不足と判断し説明を行った学習内容のうち、提案機能が理解度不足と判定した割合が86％あった。この結果から提案機能は、理解度不足の学習内容を教員が的確に把握することに有用である。
Abstract: This paper proposes a function that analyses the quiz results and determines the content that a student
has not sufficiently understood. This information is subsequently presented to the teacher. The proposed function
statistically tests for differences in systematically classified correct answer rates and detects which of the studied
content has significantly low correct answer rates. The results of an evaluation experiment showed that 86% of thecontent that was determined to have been understood insufficiently had been explained by the teacher. This result
demonstrates that the proposed function is useful in enabling teachers to accurately ascertain which parts of thestudied content have not been sufficiently understood.
キーワード： 授業支援システム、小テスト、対面授業、学習履歴、学習分析
Keywords: Course Management System, Quiz, Face-to-Face lesson, Learning History, Learning Analytics

理解度不足の学習内容を再説明している（駒林, 1986）。

1. はじめに小テストの結果には、クラスに再説明が必要な理解度不足の学習内容を判別しなければならない問題がある。そのた

Moodle（Moodle）などの授業支援システムの小テスト機能

め、理解度不足の検出を目的とした研究が行われているが対面授業中における学習内容の理解度の把握に利用（Romero, 2013）（Romero, 2008） （生田目, 2006） （和田,されている（江本, 2010）（清水, 2007）。小テスト機能は、教2012）。しかしながら、第 2 節で述べるように、対面授業中員が問題と模範解答を用意するだけでオンラインでの小テに理解度不足の検出が行われていないため、教員は理解ストを実現し、自動で採点を行う。そのため、小テスト機能度不足の学習内容を随時に的確に把握できていない。まには、小テストの実施後すぐに正答率を学生の理解状況

た、しきい値による検出では、小テストに合わせてしきい値の代理指標として確認できるメリットがある（植野, 2007）を設定する必要があるため、とくに学習指導が必要な学習（William, 2008）。

内容を教員が精査する必要がある。

小テスト機能が提供する小テストの結果は、設問ごとのそこで本研究は、小テスト機能の不足を補うことを目的と正答率を提示するだけで、クラスで相対的に理解が不足しして、理解度不足の検出機能を提案する。理解度不足のている学習内容を指摘していない。教員は小テストを理解検出機能は、授業支援システム Moodle における小テスト

度確認に用いる場合、小テストの結果をその場で分析し、の結果からクラスで相対的に理解度不足の学習内容を検出し教員へ提示する。本研究における理解度不足の定義

当て推量で解答した問題を検出する。その提案手法は、

は、学習内容として単元と学習項目と設問がそれぞれ 1

複数回の小テストの解答において類似問題に解答が一貫対 n で系統的に分類されている分類項目間の正答数のしていない、同一問題を 2 回以上誤答する、以前正解した差が統計的に有意に低い場合とする。教員が対面授業と問題を誤答する、といった規準が全て当てはまる場合に当いう限られた時間の中でクラスの理解度不足の学習内容て推量と判断し理解度不足の問題を検出する。この有効を的確に把握できることは、対面授業における授業支援シ

性は、理解度不足の学習内容を学習項目の単位で提示

ステムの小テスト機能の有用性をさらに高めることが期待さすることで、学習指導の検討材料を教員が得られることでれる。本研究が想定している小テストを用いた授業は、小ある。

テストを学習内容の復習として授業の始めか途中に実施

テスト理論に基づく分析（和田, 2012）は、小テストの問題するものである。また、本論文における学習内容は、単元と得点を教員が用意し、項目反応理論（竹内, 2006）と S-Pや学習項目で系統化されているものとする。

表理論（佐藤, 1975）によって問題の妥当性と理解度不足の学習内容を検出する。その提案手法は、学生の解答パ

2. 関連研究

ターンから項目反応理論による項目難易度と S-P 表理論
による受験者注意係数を示すことによって、理解度不足の小テストの結果から理解度不足の学習内容を検出する

問題と学習上に問題のある学生を検出する。この有効性ことを目的とした関連研究の提案手法には、データマイニ

は、個別学生の学習上の問題点を提示することで、個別ングの応用、複数回の誤答分析、テスト理論に基づく分析

指導の検討材料を教員が得られることである。

がある。

これらの関連研究に共通する問題点は、対面授業におデータマイニングの応用として、相関ルール分析の適用

けるクラスに対して学習指導に必要な分析が行われてい（Romero, 2013）は、小テストの得点と解答時間を教員が用ないことである。教員は、小テストの結果から学習定着度を意し、データマイニング手法（福田, 2001）の相関ルール分

確認し、再度説明すべき学習内容を把握していると言われ析（Agrawal, 1993）によって難しい問題と易しい問題、およている（生田目, 2006）ため、クラスの理解度不足の学習内

び解答時間の長い問題を検出する。その提案手法は、問容を的確に把握する必要がある。この問題点に対して本題 A と問題 B が誤答のとき問題 C も誤答するという、2 つ研究は、クラスに対する学習指導に必要な学習内容を指の誤答から誤る問題のルールにより難しい問題を検出する

摘する機能を提案している。

ことである。問題 A, B, C が正答の場合には、易しい問題

相関ルール分析の適用（Romero, 2013）は、各分類を比を検出する。問題が誤答で小テストの得点が低いとき解答

較する点で本研究と共通している。Romero らの提案手法

時間が長いというルールからは解答時間の長い問題を検が解答時間と得点を分析しているのに対して、本研究では出する。この有効性は、問題に対する学生の傾向を提示

系統的に分類した得点を分析している点が異なる。本研することで、問題の関連性を教員が把握できることである。

究の手法は、単元や学習項目ごとに理解度不足を把握でまた、決定木の適用（Romero, 2008）は、小テストの得点と解きる。また、決定木の適用（Romero, 2008）は、理解度不足

答時間、および解答数を教員が用意し、データマイニングの学習内容をレベル分けする点で本研究と共通している。

手法の決定木（Quinlan, 1993）によって学生を FAIL、PASS、

Romero らの提案手法が必ず理解度不足を検出するのにGOOD、EXCELLENT の 4 つに分類する。その提案手法

対して、本研究では統計的に分析しているため、有意差のは、FAIL や PASS に分類された学生が誤答した共通の問

ある理解度不足を検出する点が異なる。本研究の手法は、題を検出することである。この有効性は、レベル分けされた

対面授業の限られた時間の中でクラスの理解度不足の有

理解度不足の問題を提示することで、学習指導の検討材

無と、その学習内容を把握できる。

料を教員が得られることである。

複数回の誤答分析（生田目, 2006）は、理解度不足の学

複数回の誤答分析（生田目, 2006）は、小テストの得点と習内容を学習項目などの単位で検出している点で本研究アクセス履歴を教員が用意し、複数回の誤答内容によってと共通している。生田目の提案手法が複数回分の小テスト

の結果を用意する必要があることに対して、本研究では 1る解答を選択する。

回分の小テストの結果から分析できる点が異なる。本研究

Moodle の小テスト機能による小テストの結果の例としての手法は、1 回目の授業から理解度不足のある学習内容

は、学生ごとの正答数とヒストグラム、およびアイテム分析なを検出できる。

どがある。アイテム分析は、設問に対するクラスの正答と誤テスト理論に基づく分析（和田, 2012）は、理解度不足の答の解答率や標準偏差などを提示する。これらの小テスト

問題を検出している点で本研究と共通している。和田の提の結果は、学習内容に対する分類が行われていないこと

案手法が小テストの問題ごとに妥当性を分析するのに対しや理解度不足の統計的な検出には活用されていないため、て、本研究では小テストの問題を単元や学習項目で系統理解度不足の学習内容を的確に把握することが困難であ的に分類している点が異なる。本研究の手法は、単元やる。

学習項目の単位で理解度不足のある学習内容を検出で3.2 対面授業における小テスト機能の利用シナリオ

きる。
本研究の手法は、分析にカイ二乗独立性検定を応用しているため、クラスでとくに学習指導が必要な学習内容を

教員は、小テスト実施後に小テストの結果からクラスで相教員が把握できるようになる。また、分析対象を単元、学習

対的に理解が不足している学習内容を判別し、学習指導

項目、設問に分けて分析するため、1 回の授業だけでなくを行っている。学習内容が複数の設問で構成されているこ

過去の授業で実施した小テストを含めた理解度不足の学とがあるため、正答率の低い設問から、その学習項目を把

習内容を検出できる。教員は、正答率が低い問題を全て握する必要がある。対面授業における現状の小テスト機能

確認しなくても単元別、学習項目別、設問別に理解度不の利用シナリオは下記のとおりである。

足の学習内容を把握できる。

1. 小テストを実施する。
2. 設問ごとに正答率を確認する。

3. 対面授業中の小テストによる理解度把握

3. 正答率の低い学習項目を確認する。
4. とくに学習指導が必要な学習項目を判別する。

教員が授業支援システムの小テスト機能を利用し、対面

5. 理解度不足の学習内容の再説明を行う。

授業中に学生の理解度を把握している。しかしながら、国内で最も利用されている（放送大学学園, 2011）Moodle の

4. 理解度不足の検出機能

小テスト機能が提供する小テストの結果からでは、クラスでとくに学習指導が必要な学習内容を把握できない。そのた

現状の小テスト機能の不足を補うため、本論文は理解

め、教員は、その場でクラスの理解度不足の学習内容を判

度不足の検出機能を提案する。従来の小テスト機能に理別し、再説明を行っている。

解度不足の検出機能を加えた利用シナリオと利用図をそれぞれ図 1 と図 2 に示す。

3.1 授業支援システム Moodle の小テスト機能
小テスト機能による設問は、一般的につぎのような形式

1.#の問題が作成可能である。

##● 作文：解答を文章で入力する。
● 記述：解答を語句で入力する。

#

2.#● ◯×：問題に対する正誤を選択する。
● 多肢選択：選択肢の中から 1 つ以上の解答を選択する。
● 組み合わせ：問題群と解答群から、各問題に対応す

3.#

#
	

図 1 理解度不足の検出機能の利用シナリオ#

% #  ストを作るための規則である。文献（橋本, 1972）によると、テ$

ストの目標が理解の場合には、多肢選択による選択完成
法が適当である。選択完成法による作問の原則は、つぎ  

のとおりである。

!
&'● 空所の数を増やしすぎて、全体の意味や関連の把! &"

握が不可能にならないようにする。


図 2 理解度不足の検出機能を加えた小テスト機能の利用● 各選択肢間の差異を縮めて、どれもある程度正答であるようにする。
● 選択肢の数を 5、6 個程度にする。
本研究は、テキストの内容の理解を偏りなく妥当な問題

理解度不足の検出機能の目的は、小テストの結果からクラスの理解度不足の学習内容を的確に検出することである。理解度不足の検出機能は、小テストの設問を学習内容に対応付けるため、作問時に設問ごとに授業の単元と学習項目を対応させる。

とするために、上記の原則に基づいて作問手順を下記のように定義する。
(1) 小テストの様式は選択完成法とし、問題形式は多肢選択とする。
(2) 問題はテキストの章単位とする。章単位としたのは、評価実験対象の授業がテキストの章ごとに行われて

4.1 小テストで理解度を把握するための作問いるためである。
(3) 設問は章ごとに 5 個から 9 個ある「まとめ」とする。

理解度不足の提案機能が有効に機能するためには、学(4) 設問で空欄にする内容は章ごとに 4 個から 8 個あ

習項目に対応した設問を作成する必要がある。本研究は、る「Check Point」の項目とする。空欄にする内容を特定の学習項目の理解を設問に反映させるために、授業

Check Point としたのは、新しい学習内容が他の学で使用しているテキストの章毎にある「まとめ」を利用する。

習内容と区別できているかの理解（佐伯, 2007）を確

テキストを用いた理由は、評価実験対象の授業で利用さ認するためである。Check Point の例は、「GUI、コンれているためである。テキストのまとめの例は下記のとおり

テナ、イベント、リスナ、ソース、コンポーネント」であ

である。

る。

● GUI プログラムを作成するために、Swing を利用することができます。

(5) 選択肢は Check Point の項目をランダムにすべて列挙する。

● Swing のウィンドウ部品を、コンポーネントと呼びます。
● コンポーネントを含むことができるコンポーネントを、コ

4.2 理解度不足の検出方法

ンテナと呼びます。
● ユーザーが行う操作などは、イベントとして処理されます。
● イベント処理はソース・イベント・リスナによって行われます。

本研究における理解度不足の定義は、単元と学習項目、および解答について、対象の正答率と対象の各分類の平均正答率を相対的に比較して統計的に有意に低い場合とする。本研究では、個々の測定（正答あるいは誤答）は独● リスナをあらかじめソースに登録しておくと、イベントが立と見なして検定を行うものとする。統計的に有意に低い発生したときに、ソースからリスナにイベントが渡され場合としたのは、理解度不足が予想の範囲外であることをて処理されます。

把握する必要があり（駒林, 1986）、判別するためである。ま

作問は設問集合間で難易度や識別力を揃えるために、作問の原則（橋本, 1972）に基づいた。作問の原則は、理解や思考などをテストの目標としたときに教員が自作でテた、正答率を理解度の代理指標と位置付けるために、小テストごとに理解度不足を判別できるようにする。
ある学習内容が理解度不足であることの判定は、学習

内容間の相違点を発見するためにカイ二乗独立性検定になる。

よって決定する。カイ二乗独立性検定は、2 つの変数が独立しているかどうかを検定する統計的手法である（倉田,4.3 検出方法の有効性の評価

2009）。検定式における観測度数は、対象とする単元、学
習項目、設問のいずれか（以下、項目）の正答数および誤答数である。

理解度不足の判定の有効性は、判定が妥当であるかを確認するため理解度不足の判定数、および有意水準の変理解度不足を判定するアルゴリズムの手順は、あらかじ化による理解度不足の検出数を検証する。理解度不足のめ作問時に対応させた単元と学習項目に基づいて分析を判定割合は、単元や学習項目の対象間の正答数にどの行うため、下記とする。

程度の差があれば検出できるかを検証する。検証の方法(1) 単元、学習項目、設問のいずれか（以下、項目）とは、基準と対象の 2 つの正答数において、基準の正答数

有意水準値を入力する。有意水準値は、統計的仮を 100 から 20 刻みで 20 までとし、有意水準の変化に応じ説検定を行う場合に、仮説を棄却するかどうかを判て理解度不足と判定される対象の正答数を算出する。ここ定する基準である。

での正答数と誤答数の合計は 100 とする。理解度不足の(2) 項目に対応した受験者全員の解答を取得する。

判定割合の結果を図 3 に示す。図 3 の一番左側の点が(3) 項目ごとの正答率と各分類（単元，学習項目，設問）

有意水準 0.1%であり、一番右側が有意水準 50%である。基

の平均正答率を算出する。

準と対象の正答数の差が有意水準 50%の場合は、100 に(4) 項目の正答率が各分類の平均正答率より下回って

対して 97 から 20 に対して 13 の差で理解度不足が検出さいるならば、カイ二乗独立性検定を用いて項目の正れた。また、有意水準 0.1%の場合は、100 に対して 56 から

答数・誤答数と分類におけるその他の正答数・誤答

20 に対して 0 の差で理解度不足が検出された。これらの数からカイ二乗値を算出する。下回っていなければ、

結果は、有意水準に応じて、正答数の差が 3 から理解度

この手順を終了する。

不足を検出し、基準の正答数が 20 でも理解度不足の判(5) カイ二乗値から、カイ二乗分布の片側確率の関数
値を算出する。
(6) 関数値が有意水準値を下回っているならば、項目を理解度不足として出力する。

定が可能であることを示している。
有意水準による理解度不足の検出数は、単元と学習項
目、および設問において、理解度不足の検出された項目数が有意水準に応じて変化することを検証する。実際の小例えば、特定の設問についての判定を行う場合、そのテストにおいては、単元数と学習項目数、および設問数が設問に対する正答数と誤答数、それ以外の設問に対する比例していない。そこで、単元、学習項目、設問のどの水正答数と誤答数を用意する。これらを用いて、2*2 の分割準が対象でも有意水準を調整することで検出率を段階的表を構成し，独立性検定によって理解度不足を判定する。

に変化させることができることを確かめる必要がある。評価

この理解度不足の検出方法は、アルゴリズムの対象をクに用いる小テストの結果は、本学の 2 年秋学期「ソフトウェ

ラスから個別学生にし、検定方法に超幾何分布（宮川,ア技法・演習」における小テスト 11 回分である。小テストに2002）を用いることで、個別学生の理解度不足の学習内容

おける単元数は、11、学習項目数は 54、設問数は 68 であの検出に応用できる（Kato, 2013）。超幾何分布は、母集団る。なお、受験者数は 49 名である。有意水準の変化による

N 個の要素からなり、そのうち属性 A をもつものが M 個含クラスの理解度不足の検出数を図 4 に示す。

まれている離散型の確率分布である。教員は個別指導の理解度不足の検出数は、有意水準に応じて段階的に際の検討材料として、学生ごとの理解度不足の学習内容変化した。この結果から、理解度不足の判定は、有意水準を把握できるようになる。また、上記のアルゴリズムにおいの変更により、教員の対応能力に応じて検出率を制御すて、項目を設問の解答に変え、正答数を解答数に変えるとることが可能である。

誤答分析が可能である。この誤答分析により教員は、統計的に学生がどの解答と誤っているのかを把握できるように

100#

答してもらう。この提案機能による小テストの結果は、学習

97#
100#

内容で分類された単元や学習項目ごとの正答率に加えて、

80#

可変な有意水準に基づいた理解度不足が示される（図 5

50#

60#

参照）。図 5 における下線は、理解度不足を示す。教員は

17#

31#

40#

6#
0#

13#

80#

71#

56#

	
 60#

33#

40#
20#
0#

20#

有意水準を自由に設定できる。対象とした授業は、小テストを実施している授業担当教員 2 名 2 クラスの本学 2 年春
学期「プログラミング技術・演習」である。実験条件として、

	

分析対象の小テストの結果は授業で実施されたすべての図 3 理解度不足の判定数

9 回分とし、提案機能には、対象の授業で Moodle が使われていたため、その小テストの結果を分析して Web ブラウ
ザで表示できるように PHP 言語と R 言語（The R Project）を

25
20

 15
 10

5

0
 0.1%



 
1.0%


10.0%

100.0%

図 4 クラスの理解度不足の検出数用いた。また、アンケートの内容はつぎのとおりである。
問 1. クラスの理解度不足の判定結果は、教員の判断と合っていますか？
（1. ほぼ合っているていない

2. まあまあ合っている

3. やや合っ4. あまり合っていない）

問 2. 教員の判断と最も合っている検出判定の有意水準は何％ですか？

5. 理解度不足の検出機能における有用性の評価
実験（1. 5％

2. 10％

3. 15％

4. 20％

5. 25％）

問 3. 最も合っている検出判定の有意水準を選んだ根拠は何ですか？（複数回答可）

5.1 実験の目的（1. 理解度不足のあった学習項目が検出されている
理解度不足のない学習項目が検出されていない

実験の目的は、提案する理解度不足の検出機能（以下、提案機能）が実際の授業で有用となるのかを評価すること

2.

3. 検

出される理解度不足の数が指導するのに適当だから

4.

その他：具体的に書いてください）である。ここでの有用とは、教員が実際の授業における学習指導の際に検討材料となるかどうかである。

5.2 実験の方法
本研究は、提案機能が学習指導に有用であるかの評価を行った。評価の前に提案機能の有意水準を決めるため、教員の認識アンケート調査を行った。調査結果に基づき、提案機能により理解度不足と判定された学習項目と小テス
ト実施後に教員による再説明のあった学習項目を比較する。

図 5 提案機能による小テストの結果

認識アンケート調査の方法は、まず提案機能による理解度不足の判定が、教員の判断と合っているかを確認する

評価方法は、提案機能による理解度不足の学習内容がため、小テストの実施ごとに提案機能による小テストの結果

学習指導に反映されるのかを確認するために、理解度不を確認してもらう。その後、全授業終了後にアンケートを回足と判定された学習項目と小テスト実施後に教員による再説明のあった学習項目の割合を示す。対象とした授業は、

表 2 理解度不足と判定された学習項目と再説明のあった

小テスト実施後に教員が Moodle のアイテム分析を見なが学習項目

ら再説明をしている本学 2 年秋学期「ソフトウェア技法・演
単元

学習項目

理解度不
足と判定
された
学習項目
(14 項目)はじめの一歩

a.アプリケーション, b.アプレット,
c.Java, d.ソースコード, e.コンパ
イル, f.クラスファイル, g.インタ
プリタ

c, g

c ,○
g
a, ○

クラスラ
イブラリ

a.文法, b.クラスライブラリ,
c.実行, d.クラス, e.パッケージ

なし

a, b

Swing の基本

a.GUI, b.コンテナ,
c.イベント, d.リスナ,
e.ソース, f.コンポーネント

e

e ,f
b, ○

Swing の応用

a.レイアウトマネージャ,
b.パネル, c.ラベル, d.アイコン,
e.ボーダー, f.ボタン,
g.テキストフィールドaa , b, g○

Swing の活用

a.リスト, b.コンボボックス,
c.テーブル, d.モデルとビュー,
e.メニューバー, f.ツールバー,
g.ダイアログ, h.フレーム

c, d

c ,○
d , g,
○
h

サーブ
レット

a.Web, b.HTTP, c.サーブレット,
d.フォーム, e.セッション管理, f.
リクエストの転送

c

c ,e
b, ○

JSP

a.JSP, b.JSP の書式, c.暗黙のオブジェクト, d.コンポーネント,
e.JavaBeans

なし

なし

JDBC

a.JDBC, b.データベース,
c.SQL, d.Web

b, d

b ,○
d
a, ○

ファイル
操作

a.ファイルチューザ, b.ファイル
情報, c.テキストファイル, d.バイ
ナリファイル, e.シーケンシャル
アクセス, f.ランダムアクセス, g.
正規表現

g

なし

合を示す再現率 PC(B)は、0.43 であった。

ネット
ワーク

a.DOM, b.XSL, c.スタイル
シート, d.インターネットアドレ
ス, e.ネットワーク,
f.スレッド, g.ソケット

c

c ,g
a, ○

表 1 理解度不足の学習内容に対する認識アンケート結果

大きなプ
ログラム
の作成

a.仕様, b.外観, c.データ,
d.機能, e.クラス, f.処理,
g.変更, h.拡張

b, d, e

d ,○
e ,f
c, ○

習」である。評価の教員は 1 名 1 クラスであり、アンケート調
査の教員とは異なる。実験条件として、分析対象の小テス
トの結果は授業で実施されたすべての 11 回分とし、提案
機能の理解度不足の検出における有意水準は、アンケー
ト結果で妥当とされた 20％とする（後述 5.3 節参照）。再説
明の基準は、著者の判断で口頭の説明だけでなく、関連する資料の提示やホワイトボードへの書き込みによる説明が行われた場合とする。

5.3 実験の結果
教員による理解度不足の学習内容に対する認識アン
ケート結果を表 1 に示す。教員 2 名は、有意水準 20%のときに、理解度不足のあった学習項目が検出されていると回答した。
理解度不足と判定された学習項目と小テスト実施後に教員による再説明のあった学習項目を表 2 に示す。理解度不足と判定された 14 項目 A に対して再説明があった
学習項目 B（表 2 の◯で囲んだ 12 項目）の割合を示す適合率 PA(B)は、0.86 であった。また、再説明のあった 28 項
目 C に対して理解度不足と判定された学習項目 B の割

問1
理解度不足の判定と教員の判断

問2
妥当な
有意水準

問3
問 2 の根拠

教員
A

やや合っていない

20％

理解度不足のあった学習項目が検出されている

教員
B

まあまあ
合っている

20％

理解度不足のあった学習項目が検出されている

再説明の
あった
学習項目
(28 項目)◯印は提案機能が理解度不足と判定した学習項目を示す（12 項目）

5.4 結果の考察
適合率が 0.86 あったことから、提案機能による理解度不足の判定はクラスに対する学習指導の際に検討材料となる。教員は、小テスト実施後すぐに理解度不足の学習内容を再説明できるようになる。
再現率が 0.43 と低い原因は、理解度不足の学習内容
が他の学習内容と関連していることが挙げられる。理解度
不足と判定された学習項目よりも再説明のあった学習項目

のほうが多いのは、学習内容の理解が既存の知識構造へ

毎回の授業開始時に前回の授業における学習内容の理と新しい学習内容をマッピングするプロセスであると言われ解度確認小テストを行っていること、および春学期から秋ているためである（佐伯, 2007）。再現率が低くなるのは、新学期へ続いている授業内容のためである。評価方法は、

しい学習内容は既存の知識構造に関連づけられる必要が授業担当教員が作成した春学期の期末試験の得点と本あり、再説明のときに既存の知識にも言及する必要が出て研究の作問による秋学期の小テストの総合点を正答率にくるためと考えられる。学習項目に関連があることを示した

して並べ、成績の差異と相関係数を確認する。成績の差

結果として、小テスト 11 回分のうち再説明のあった学習項

異は、春学期と秋学期の科目を受講した学生 46 名の平目が 1 つだけの回はなかったことが挙げられる。有意水準

均値の比較である。相関係数は、学生 46 名の期末試験を上げることにより他の理解度不足の学習内容を検出できの正答率と小テストの正答率の関係指標である。

るが、その学習内容が関連しているかどうかは分析が必要である。

評価の結果を図 7 に示す。図 7 は、46 名の学生を横軸にならべ、それぞれの学生について、期末試験の正答率

教員の妥当有意水準が 20%のときに再現率が 0.43 でと小テストの正答率を縦に並べたプロットである。46 名の平あったことについて、理解度不足の学習項目と実際に学

均正答率の差異は、春学期から秋学期を引いた差で習指導する学習項目は異なることが考えられる。有意水準

7.2％であった。対応のある平均の差の検定の結果は、有を変化させたときの理解度不足の判定を図 6 に示す。有意差がなかった（p>.5）。その標準偏差は、期末試験が意水準を上げることで、再現率が上がるため、教員は学習

18.2%、小テストが 16.5%であった。また、相関係数は 0.5

指導が必要な学習項目を把握できるようになる。しかしな（p<.001）であった。この結果から、期末試験と小テストにはがら、適合率が下がるため、学習項目間に関連しているか相関があり、成績の差異には有意差がないことから、本研

どうかは分析が必要である。

究における小テストの作問は妥当である。

100""

100%#

80""

80%#

60""
	
 40""

60%#

20""

40%#

	

0""

	

1"

6"

11"

16"

21"

26"

31"

36"

41"

46"

20%#

図 7 春学期と秋学期の正答率の差異

0%#
10%#

20%#

30%#

40%#

50%#

6. おわりに
図 6 理解度不足の判定評価
本論文は、授業支援システム Moodle における小テスト

5.5 小テストの基準関連妥当性の考察の結果から理解度不足の学習内容を検出して提示する理
解度不足の検出機能を提案した。理解度不足の検出機

評価実験における小テストの作問は、設問集合間で難能は、小テストの設問を単元と学習項目で系統的に分類し、易度や識別力を揃えるために、作問の原則（4.1 節に詳述）

その正答率の差を分割表によって検定して有意に正答率に基づいた。この原則による作問の妥当性について本研が低い学習内容を検出する。この提案機能により教員は、

究は、本学 2 年春学期「プログラミング技術・演習」の期末

従来の小テストの結果に加えて、統計的に検出される理解試験の得点と 2 年秋学期「ソフトウェア技法・演習」の小テ

度不足の学習内容を随時に把握できるようになる。提案機

スト 11 回分において、両方の科目を受講した学生の結果

能の有用性に対する評価実験の結果、実際の授業で復を比較することで評価する。これらの科目を対象としたのは、習に用いる小テストの実施後に授業担当教員が理解度不足と判断し説明を行った学習内容のうち、提案機能が理省先導的大学改革推進委託事業「ICT 活用教育の推進に解度不足と判定した学習内容の割合が 86％あった。この関する調査研究」, 放送大学学園.

結果から提案機能は、小テスト機能の不足を補ってクラス

宮川治, 当麻喜弘. (2002). サービス動作時におけるソの学習上の問題点を客観的に明らかにし、クラスの理解度

フトウェアの信頼性評価, 電子情報通信学会論文誌,

不足の学習内容を教員が的確に把握することに有用であJ85-D-I, No.2, pp.202-209.

る。

和田武. (2012). CMS 小テスト問題分析による授業改善

今後の課題は、考察で明らかになった理解度不足の要の試み, 学術情報処理研究, No.16, pp.167-173.

因となる学習内容を分析し、教員へ提示できるようにするこ

Agrawal, R., Imielinski, T., & Swami, A. (1993).

とである。

Mining association rules between sets of items inlarge databases., In ACM SIGMOD Record, Vol.22, No.2,

謝辞 評価実験に協力していただいた日本工業大学情報pp.207-216.

工学科の石川孝教授、および高瀬浩史准教授と勝間田

Kato T., & Ishikawa T. (2013). Analyzing Online Quiz仁准教授に感謝いたします。

Responses to Support One-to-One Instruction in theClassroom, International Conference on Computers in

参考文献

Education 2013, C4-P-198.
Moodle. http://moodle.org/

植野真臣. (2007). e ラーニングにおけるデータマイニ

Quinlan, R. (1993). C4.5: Programs for machine

ング, 日本教育工学会論文誌, Vol.31, No.3, pp.271-283.

learning., Morgan Kaufman Publishers.

江本理恵. (2010). ICT を活用した教育支援システムのRomero, C., Zafra, A., Luna, J. M., & et al. (2013).

導入とファカルティ・ディベロップメント−岩手大学のAssociation rule mining using genetic programming to

事例から−, 国立教育政策研究所紀要 第 139 集, pp.73-

provide feedback to instructors from multiple‐choice

84.

quiz data, Expert Systems, Vol.30, No.2, pp.162-172.

倉田博史, 星野崇宏. (2009). 入門統計解析, 新世社.

Romero, C., Ventura, S., & Garcia, E. (2008). Data

駒林邦男. (1986). 学校のつまずきをどうするか, 明治

mining in course management systems: Moodle case study

図書.

and tutorial., Computers & Education, Vol.51, No.1,

佐伯胖. (2007). 理解とは何か（コレクション認知科学

pp.368-384.

2）, 東京大学出版会.

The R Project. The R project for statistical computing.

佐藤隆博. (1975). S-P 表の作成と解釈 -授業分析・学

http://www.r-project.org/（参照 2015.2.21）

習診断のために-, 明治書店.

William H. Rice IV. (2008). Moodle 1.9 E-Learning

清水康敬. (2007). ICT 活用による FD の現状と NIME の

Course Development, Packt Publishing.

取り組み, メディア教育研究, 第４巻, 第１号, pp.1-8.
竹内俊彦. (2006). 項目反応理論入門, 青山学院大学総合研究所.
生田目康子. (2006). WBT による形成的評価の改善, 日本教育工学会論文誌, Vol.29, No.4, pp.483-490 .
橋本重治. (1972). 教師自作テストのつくり方 思考・
創造・理解・技能などの作問法, 日本図書文化協会.
福田剛志, 徳山豪, 森本康彦. (2001). データマイニン
グ, 共立出版.
放送大学学園. (2011). 平成 21 年度・22 年度 文部科学

著者紹介
加藤利康
2003 年より民間企業において Web

写真
刷り上がり
2.7×3.3cmシステムの開発に従事。2014 年日
本工業大学大学院博士後期課程修了。博士（工学）。2018 年より日本工業大学 共通教育学群 講師。
現在に至る。e ラーニングによる学習履歴に対する学習分析の研究に従事。情報処理学会、電子情報通信学会、教育システム
情報学会、学習分析学会各会員。