広島工業大学紀要研究編
第 54 巻（2020）141-147

論文

LCT の評価結果を用いた CBT による期末試験の合否予測
廣瀬英雄＊（令和元年 8 月18日受付）

Success/Failure Prediction for CBT Based End-term Examination using LCT Evaluation
Hideo HIROSE（Received Aug. 18, 2019）

Abstract
Using the LCT (learning check testing) results in the follow-up (FP) program system, wehave shown that we can predict the students’ future results of success/failure to the end-term
examination with a probability to some extent. However, we also anticipate that we may not beable to enhance a certain level of prediction accuracy for evaluation because the description typequestions and their evaluations to the final examinations depend on two or more teachers, resulting
unfair scores although the LCT provides the multiple-choice questions and the evaluations are
performed automatically using computers. However, we have had a chance to perform such a CBTusing the multiple-choice questions and the automatic evaluations using item response theory. Here,in this paper, we have investigated whether the accuracy for success/failure prediction to the endterm examination using CBT can be improved than that using the description-type testing. We havefound that the CBT based on the end-term examination using the LCT improves the prediction
accuracy for success/failure than that based on the description-type testing using the LCT.
Key Words: success/failure prediction, learning check testing, computer based testing, multiplechoice paper questions, description type questions, item response theory, end-term
examination.

1

すべての LCT を一括して用いて求めた ability から正否をはじめに分ける最適なしきい値を求めて正否を予測する方法よりも期末試験に失敗するリスクを抱えた学生を早期に特定す優れていることがわかっている。

るためには、毎授業で全学生に実施される LCT（learning

しかしながら、最近傍法を使っても、期末試験の正否をcheck testing） の 蓄 積 結 果 か ら 項 目 反 応 理 論 に よ っ て

誤って判断する誤分類率は20％以下とかなり低くなってはability の推定値を求め、そのトレンドが学生毎でどう似ているものの、学期半ばでの「このまま何も手を打たなけいるかを similarity によって測れば、リスクのある学生をれば期末試験に失敗する確率は0.4以上である」という予早期に発見することが可能であることを示した。また、そ測した該当者に対して、それが実際に的中するのは約40-の方法として最近傍（Nearest Neighbor）法が適している50％程度となり、アラートを出した学生の半数は実際に期ことを示した

１ -10）。この方法によれば、期末試験の正否を、末試験に合格している結果となっている。つまり、誤分類＊広島工業大学データサイエンス研究センター & 環境学部建築デザイン学科― 141 ―

廣瀬英雄

率は低くても、的中率は高くない、という指摘がなされてに見受けられることがあるからである。

11）いる 。履修者1000人中150人が不合格と仮定したとき300

図 1 に示す例（2017年度の線形代数 A）では、180人程人にアラートを出しておけば不合格者への的中率は上がる

度の集団を、入学直後に実施されたプレースメントテスト

ものの、1000人中300人へのアラートは、 3 人に 1 人とい結果を用いておよそ40-50人程度の 4 クラスに分けている。

う割合となるため、予測精度をもっと上げたい。

プレースメントテストの成績が上位の学生を 2 クラスの間ところが、予測精度を上げるには限界がある。LCT は、全学生に同じ問題を出してコンピュータが解答の正誤を判で均質になるように、残りの 2 クラスでは下位の学生が均質になるようにしている。

定するため公正で公平な評価が行なわれていると考えられ

図 1 の右上の box-plot を見るとわかるように、プレースるが、期末試験は一般に記述式の試験で実施され、クラスメントテスト結果におけるあるしきい値を境に、右 2 つが毎に全く同じ問題が出される訳ではなく、また、採点はク上位クラス、左 2 つが下位クラスに配置されている。

ラス担当の教員が個別に行なうため、クラス間で評価にバ

2 段目には13回の LCT の結果をすべて用いた ability 値イアスが発生する可能性があると考えられるからである。

を示した。下位クラスは全体の中で下位傾向に、上位クラ

そこで、期末試験そのものにも公正で公平な評価を求める

スは上位傾向に位置しているものの、クラスの LCT によ

なら、LCT と同じように、期末試験も記述式ではなくコる習熟度は均質には見えない。LCT は同じテストを同じンピュータによって解答の正誤が判定されるような仕組み条件で行なっているはずであるが、どういう訳か均質性がが必要になると思われる。

崩れてしまっている。LCT の実施状況や実施環境、ある

本論文では、期末試験を、クラス毎の記述式問題をクラいは教え方による効果などが異なったのかもしれない。しス教員が評価した場合と、すべてをコンピュータによってかし、わずかではあるが、プレースメントテストの結果と人の判断が入る余地がないようにした場合の比較を行なっの相関はある。

た。その結果、興味あることがわかった。学科や学部の履

3 段 目 は 期 末 試 験 の 5 段 階 成 績 で あ り、90-100、80-

修者が多い場合で、複数の教員が分担して教えて評価する

89、70-79、60-69、0-59のスコアを、S、A、B、C、D の場合に、本論文が、公平性をどう保てばよいのかというヒ棒グラフで示している（右側に位置する程成績が良い）。

ントになると思われる。

プレースメントテストの結果と比較してみると、ここでは

ここでは、学生の習熟度を測定するテストに、 1 ）入学ほとんど相関がない。極端なケースと思われるが、下位ク直後のプレースメントテスト、 2 ）LCT、 3 ）期末試験のラスの右側（左から二番目）よりも上位クラスの右側（一3 つを採用し、それらの評価結果としては、項目反応理論番右側）の方が期末試験の成績は悪くなっている。このこを用いて得られた ability 値を使った。プレースメントテとは、LCT の成績と比較して考え合わせると、クラスのストでは、一部、スコアそのものも用いている。

教員による評価のバイアスが発生していると考えざるを

2

記述式の期末試験をクラス担当教員が評価する
場合似たような性格を持つ学科の学生を一旦一同に集め、それを複数の教員が分担して授業を実施する。その際、学生の習熟度が大きく異なる場合には、クラスを習熟度別に分けて授業を行なった方が好ましいという考え方は自然であり、広く行なわれている。例えば、150人程度の学生の習熟度を何らかの方法を用いてあらかじめ測っておき、その結果から、50人ずつの上位、中位、下位クラスのように 3クラスに分けることが行なわれている。
広島工大でも基本的には習熟度によってクラス分割を行なっているが、数学の授業では下位クラスを作らないこととしている。その理由は、下位クラスで編成されるクラスの雰囲気があまりよくないという経験を持っているからである。つまり、中位クラスと下位クラスを一緒にすると、

図1

習熟度がある程度高い学生が低い学生を指導してともに学び合う姿があちこちで見られ、これが功を奏しているよう― 142 ―

 レースメントテスト結果から上位 2 クラス下位 2 クラス
プに分割したクラスでの、プレースメントテスト、LCT、期末試験の結果の関係（記述式期末試験評価をクラス担当教員が行なう場合）

LCT の評価結果を用いた CBT による期末試験の合否予測得ない。つまり、上位クラスを受け持った d 教員はかなり厳しい規準で評価しており、下位クラスを受け持った b教員は全体にわたって成績が分布するような評価を行っている。
このように、プレースメントテストや LCT の結果が期末試験の結果と相関をあまり持たないようになってくると、LCTトレンドの similarity がいくら良い予測精度精度を持っていても、これを使って期末試験の正否の予測を行うことは困難になってくることが予想される。これが、クラス間で評価にバイアスが発生する可能性があると考えられる実際のケースである。

3

CBT による期末試験を用いた場合

図2

 レースメントテスト結果を均質な 3 クラスに分割したとき
プの、プレースメントテスト、LCT、期末試験の結果の関係（期末試験評価を CBT で行なう場合）

4

LCT トレンドを用いた CBT 期末試験の合否判定予測

そこで、プレースメントテストや LCT の評価と同じように、教員によるバイアスが発生しないように、期末試験の評価をコンピュータが行なう CBT 環境を作り、三者の関係を比較してみた。210人程度のクラスを、プレースメントテストの成績が均質な習熟度を持つように 3 つのクラスに分割した。CBT では、問題はすべて多肢選択型とし、前節で、期末試験を教員の評価バイアスが入る余地のな回答はマークシートを使った。オンラインによるテスティ

い多肢選択型の CBT で行なった場合、LCT の結果から期ングも可能な環境が作られてはいるが、WiFi の不安定な末試験の合否予測を行なったときの予測精度が向上するこ要素を考えると、公平性の観点から踏み切るにはまだ危険とが期待されることを示唆した。そこで、ここでは、受験性を帯びているからである。ここでは、中間試験、期末試者数は200人程度と多くはないが、この傾向が見られるか験の結果を同時に両方使って項目反応理論による評価結果どうかについて調べてみたい。データは図 2 に示したもの（ability 値）を成績としている。

を用いる。

図 2 の右上の box-plot や左下のヒストグラムに示すよ

期末試験の合否判定には ability のしきい値を決めて、うに、プレースメントテストの成績は 3 クラスでまったくそれ以下は不合格、それ以上は合格としている。ここでは、同じ分布をしている。12回すべての LCT を用いて求めた

そのしきい値を変動させながら不合格者数を、210人中20ability の結果にはクラス間で少しの違いが見られるもの

人の場合、30人の場合、40人の場合、50人の場合、と 4 つの、全体的には 3 クラス間でほとんど同じような分布をしのケースに分けたときの合否判定予測結果について議論していることが観測できる。また、プレースメントテストのてみる。

成績と LCT の ability 値との相関はかなり高い。

表 1 - 8 に、2019年度のある学部での解析基礎 A で、更に、マークシートを用いた多肢選択型の CBT によるLCTトレンドの similarity を用いた期末試験の合否予測を期末試験の結果も 3 クラス間でほぼ同様で均質な分布に行なった confusion matrix、誤分類率、不合格の的中率になっている。期末試験の成績は、プレースメントテストのついて、LCT#1-#7を予測データに用いた場合、LCT#1-成績、および LCT の結果両方で高い相関を示しているこ#11を予測データに用いた場合において、不合格率 p ≧0.3とがわかる。したがって、こういう場合、プレースメントの場合、p ≧0.4、p ≧0.5についての予測結果を示す。また、テストの成績や LCT の結果を説明変数に用いれば期末試特に、予測の的中の度合いを表す図を、図 3 - 6 に示す。

験の正否の予測は高い精度で得られることが期待される。
参考までに、プレースメントテスト A と B のタイプ、中間 試 験 単 独、 期 末試 験 単 独、 両 者 を 合 わ せ た 結果、LCT ポイントなどの詳細な情報が記載された相関図を付図 1 に示す。

― 143 ―

廣瀬英雄
表1

表3

2019年度 E 学部解析基礎 A の confusion matrix（不合格者数を、210人中20人）
LCT#1-#7利用の場合

p ≧0.3

予測結果
成功

観測結果

p ≧0.3

失敗

合計

成功

165

24189

失敗

41620

合計

169

40

209

観測結果

失敗

合計

成功

173

16189

失敗

11920合計

18425209

合計

成功

182

7189

失敗

17320

合計

199

10209

観測結果

失敗

合計

170

19189

失敗

11920

合計

181

28

209

表4失敗

合計

179

10189

失敗

合計

成功

151

28

179

失敗

111930合計

15247209

成功

失敗

合計

成功

165

14179

失敗

151530

合計

18029

209

予測結果
成功

失敗

合計

144

35

179

失敗

131730

合計

157

62

209

失敗

12820191

18209

予測結果
成功

観測結果

誤分類率：0.105、不合格の的中率：44.4％

成功

失敗

合計

160

19

179

失敗

151530

合計

175

34

209

誤分類率：0.163、不合格の的中率：44.4％

予測結果

観測結果

成功

p ≧0.4

合計

成功

209

誤分類率：0.230、不合格の的中率：32.7％

成功

p ≧0.560

2019年度 E 学部解析基礎 A の confusion matrix（不合格者数を、210人中30人）
LCT#1-#11利用の場合

観測結果

予測結果

観測結果

149

成功

誤分類率：0.144、不合格の的中率：32.1％

成功

合計

p ≧0.3成功

p ≧0.430

誤分類率：0.139、不合格の的中率：51.7％

予測結果
成功

179

24

予測結果

観測結果

2019年度 E 学部解析基礎 A の confusion matrix（不合格者数を、210人中20人）
LCT#1-#11利用の場合

p ≧0.3366

p ≧0.5

失敗

誤分類率：0.115、不合格の的中率：30.0％
表2143

誤分類率：0.187、不合格の的中率：40.4％

予測結果

観測結果

成功

予測結果

観測結果

誤分類率：0.129、不合格の的中率：36.0％

成功

合計

失敗

p ≧0.4成功

p ≧0.5

失敗

誤分類率：0.201、不合格の的中率：40.0％

予測結果

観測結果

予測結果
成功

誤分類率：0.134、不合格の的中率：40.0％
p ≧0.42019年度 E 学部解析基礎 A の confusion matrix（不合格者数を、210人中30人）
LCT#1-#7利用の場合

p ≧0.5

成功

失敗

合計1809189

失敗

15520合計

19514209

予測結果
成功

観測結果

誤分類率：0.115、不合格の的中率：35.7％

成功

失敗

合計

169

10179

失敗

171330

合計

18623

209

誤分類率：0.129、不合格の的中率：56.5％― 144 ―

LCT の評価結果を用いた CBT による期末試験の合否予測
表5

表7

2019年度 E 学部解析基礎 A の confusion matrix（不合格者数を、210人中40人）
LCT#1-#7利用の場合

p ≧0.3

予測結果
成功

観測結果

p ≧0.3

失敗

合計

成功

132

37

169

失敗

73340

合計

139

70

209

観測結果

観測結果

合計

成功

137

32

169

132740

合計

15059209

合計

成功

151

18

169

16

2440

合計

167

42209

失敗

合計

131

38

169

失敗

63440

合計

13772

209

表8失敗

合計

140

29169

成功

132

2715984250

合計

14069209

成功

失敗

合計

成功

136

23159

失敗

104050

合計

14663

209

予測結果
成功

失敗

合計

125

34159

失敗

54550

合計

13079

209

失敗

112940151

58

209

予測結果
成功

観測結果

誤分類率：0.191、不合格の的中率：50.0％

成功

失敗

合計

134

25159

失敗

64450

合計

140

69

209

誤分類率：0.148、不合格の的中率：63.8％

予測結果

観測結果

合計

失敗

p ≧0.4

合計

成功

失敗

誤分類率：0.187、不合格の的中率：57.0％

成功

p ≧0.5

209

2019年度 E 学部解析基礎 A の confusion matrix（不合格者数を、210人中50人）
LCT#1-#11利用の場合

観測結果

予測結果

観測結果

78

成功

誤分類率：0.211、不合格の的中率：47.2％

成功

131

p ≧0.3成功

p ≧0.4

合計

誤分類率：0.158、不合格の的中率：63.5％

予測結果

観測結果

50

予測結果

観測結果

2019年度 E 学部解析基礎 A の confusion matrix（不合格者数を、210人中40人）
LCT#1-#11利用の場合

成功

159

45p ≧0.5

失敗

失敗

p ≧0.333

5

誤分類率：0.167、不合格の的中率：60.9％

誤分類率：0.163、不合格の的中率：57.1％
表6126

予測結果

観測結果

予測結果

観測結果

成功

成功

誤分類率：0.215、不合格の的中率：45.8％

成功

合計

失敗

p ≧0.4

失敗

失敗

p ≧0.5

失敗

誤分類率：0.182、不合格の的中率：57.7％

予測結果
成功

予測結果
成功

誤分類率：0.211、不合格の的中率：41.7％
p ≧0.42019年度 E 学部解析基礎 A の confusion matrix（不合格者数を、210人中50人）
LCT#1-#7利用の場合

p ≧0.5

成功

失敗

合計15118169

失敗

172340

合計

16841209

予測結果
成功

観測結果

誤分類率：0.167、不合格の的中率：56.1％

成功

失敗

合計

14019159

失敗

104050

合計

15059209

誤分類率：0.139、不合格の的中率：67.8％― 145 ―

廣瀬英雄

表 1-8 を見ると、誤分類率はいずれも10-20％程度で低くなっている。
「不合格」と予測した学生が実際に不合格になっている的中率については、30％から70％程度にまでばらついており、不合格者数の割合が増えるに従って的中率が上がっていることがわかる。特に、表 7 （不合格学生50人の場合）では、学期始めから学期の中くらいまで（ちょうど中間試験の頃）の LCT の実績を使えば、p ≧0.5のとき、期末試験に不合格する学生63人のうち40人が不合格と判定され、そのときの不合格的中率は63.5％となっており、先に報告した期末試験が記述式の場合の的中率をかなり上回っている。また、表 7 を表 8 と比較してみてもそれほど差がなく、学期の終わりまでの情報を使う場合と学期の真図5

期末試験の合格者予測数と実際の合格者と不合格（不合格者数 =40人の場合）

図6

期末試験の合格者予測数と実際の合格者と不合格（不合格者数 =50人の場合）

ん中付近までの情報を使う場合の結果とがほとんど変わらないこと示されている。更に、p のしきい値の取り方についても、先に報告したように、p ≧0.4のときでも十分に予測機能を果たしていることがわかる。
表 1 - 8 のうち、特に、不合格的中の程度を視覚化するために、図 3 - 6 を作ってみた。図 6 を見ると、実際に50人の不合格者に対して45人以上を不合格と予測しており、先に報告した結果 ８ ，９ ）と比べて格段に予測精度が向上していることがわかる。

7まとめ
LCT を使ってできるだけ早めに学生のドロップアウトのリスクを少なくしようと、確率付きで期末試験の成否のアラートを流すことができるまで予測手法が整ってきたことをこれまで報告してきた。その際、ある一定のところまでは予測が可能であるが、教員間には評価バイアスがある
図3

期末試験の合格者予測数と実際の合格者と不合格（不合格者数 =20人の場合）ため、どうしても超えられない壁があることも感じていた。
ここではその実際の評価バイアスの発生例を紹介している。
そこで、期末試験にも多肢選択式の CBT あるいはマークシート方式のテストを採用すれば、LCT を使った期末試験の合否予測の精度が上がるのではないかと期待される。実際、今回一学部だけではあるが、そのような環境を作り、このことを確認する機会を得ることができた。
LCT を使って記述式の期末試験の評価を各教員が行なう場合の期末試験の合否予測精度と、CBT を使った期末試験の評価をコンピュータだけで行なう場合の期末試験の合否予測精度を比較すると、後者の予測精度が良くなった。
合否の 2 値分類での誤分類率は20％程度から10-20％程度

図4

期末試験の合格者予測数と実際の合格者と不合格（不合格者数 =30人の場合）まで下がり、また、特筆すべきは、前者では不合格予測者の中からの実際の不合格者の的中率は40-50％程度しか得― 146 ―

LCT の評価結果を用いた CBT による期末試験の合否予測4 ）廣 瀬、フォローアップクラスにおける授業設計につられていなかったものが、後者では50-70％程度にまで向いて、広島工業大学紀要教育編、pp. 37-41, Vol. 16,上することがわかった。

付2017.

録5 ）廣瀬、大規模授業支援テスティングシステムとそのラーニングアナリティクス、統計数理、Vol. 66, No. 1, pp.

付図 1 に、プレースメントテスト A と B のタイプ、中79-96, 2018.

間試験単独、期末試験単独、両者を合わせた結果、LCT6 ）廣 瀬、ラーニングアナリティクス指向学習支援、コポイントなどの詳細な情報が記載された相関図を示す。

ンピュータ＆エデュケーション（CIEC）、Vol. 45, pp.
23-30, 2018.
7 ）Hideo Hirose, Meticulous Learning Follow-up Systems
for Undergraduate Students Using the Online Item
Response Theory, 5 th International Conference on
Learning Technologies and Learning Environments(LTLE2016), pp. 427-432, 2016.
8 ）Hideo Hirose, Difference Between Successful andFailed Students Learned from Analytics of Weekly
Learning Check Testing, Information Engineering
Express, Vol 4, No 1, pp. 11-21, 2018.
9 ）Hideo Hirose, Prediction of Success or Failure for
付図 1

Examination using Nearest Neighbor Method to 質な 3 クラスでの、プレースメントテスト、LCT、期均
末試験の結果の関係詳細（期末試験評価を CBT で行なう場合）

文

the Trend of Weekly Online Testing, International
Journal of Learning Technologies and Learning
Environments (IJLTLE), Vol 2, No 1, pp. 19-34, May

献31, 2019.

1 ）廣 瀬、ラーニングアナリティクス：LCT 成績と期末10）Hideo Hirose, Key Factor Not to Drop Out is to

試験成績の関係、広島工業大学紀要教育編、pp. 59-

Attend Lectures, Information Engineering Express,

63, Vol. 18, 2019.

Vol 5, No 1, pp. 11-21, May 31, 2019.

2 ）廣瀬、大規模オンラインテスティングから得られるラー

11）Martin

Liz­-Dominguez,

ManuelCaeiro­-R­ odriguez,

ニングアナリティクス、広島工業大学紀要研究編、Martin Llamas­­-Nistal, Fernando Mikic­-F­ onte, Predictors

pp. 159-166, Vol. 53, 2019.

and early warning systems in higher education­-A3 ）廣 瀬、新入生全員を対象としたオンラインテストのsystematic

literature

review,

Learning

Analytics

実際、広島工業大学紀要教育編、pp. 27-35, Vol. 16,

Summer Institute Spain 2019 : Learning Analytics in2017.

Higher Education. 84-­99, Vigo, Spain, June 27­-28, 2019.

― 147 ―