広島工業大学紀要研究編
第 54 巻（2020）133-136

論文

LCT トレンドと FPT トレンドを組み合わせた期末試験の合否予測
廣瀬英雄＊（令和元年 8 月 6 日受付）

Success/Failure Prediction for Final Examination Using the LCT Results and FPT Results
Hideo HIROSE（Received Aug. 6, 2019）

Abstract
The author proposed a prediction method to find students at drop-out risks as early as possible byusing the learning check testing (LCT) results, where the nearest-neighbor method was used to findthe similarity of the cumulative LCT ability trends in the previous paper. Even if we use almost
the first half of the LCT results, we can predict the failed students in final examinations. However,the predicted failed students covered the half of the actual failed students. In this paper, to raise
the prediction accuracy for finding the students at risk, we added another information, the follow-up
program testing (FPT) results via the FPT points defined here. Using this FPT point informationand the LCT ability trends together, we can predict the students at risk with higher prediction
accuracy than that when we only use the LCT ability trends.
Key Words: follow-up program testing, learning check testing, item response theory, drop-out, FPTpoint.

1て述べたい。

はじめに

2

先に報告した「大規模オンラインテスティングから得FPT トレンドと期末試験られるラーニングアナリティクス」では、フォローアッ

LCTトレンドから期末試験の合否確率を予測する際に、ププログラム（FP follow-up program）の中に組み込まれ不合格確率0.4以上と推定された学生の中で、実際にはそている、授業時間でのオンラインテスト（LCT, learningの半分程度しか捕捉されていないことを報告している。こcheck testing）を使ってドロップアウトリスクを抱えた学

れは、LCT は自動的にコンピュータによる採点（項目反生を早期に発見しアラートを発するような一つの方法を応理論、IRT，item response theory）を行っているのに提案した。それだけでも非常に有用な情報であるが、FP対して、期末試験では記述式の試験問題の解答を複数の評

では、LCT だけでなく、FPT（FP クラスで実施している価者が行うことによる変動（ゆらぎ）があるのではないか、CBT）も用いているので、それらを合わせたトレンドのということも想定していた。したがって、期末試験を（評情報から期末試験の合否を予測すれば予測精度が上がるの価者のバイアスが発生しない）多肢選択式問題にするとそでないかと考えた。ここでは、LCT の結果に FPT の結果れが減るのではないかと考え、実際にそれを試みてみた。

を加えてドロップアウトリスク学生を予測することについその結果、評価者によるゆらぎの大きさはそれほど寄与し＊

広島工業大学環境学部建築デザイン学科― 133 ―

廣瀬英雄

ないだろうということがわかった。
そこで、LCTトレンドに期末試験の合否を左右する情報を加えれば更に予測の精度が上がるのでないかと考え、ここでは FPT の受験の実績や成績（合否のみ）のトレンドをその一つとすることを試みる。まず、FPTトレンドをどのように計算するかを述べる。LCT 合格判定回数の定義には、LCT 合格判定回数＝ LCT 合格数＋ FPC 出席数－ FPC
支援を用いているのでそれを反映させるポイントを次のように定義する。つまり、毎回の授業で、LCT 合格： 2 点

図2FPT 欠席：－ 2 点

FPT 累積ポイントトレンド（期末試験不合格者）

FPT 合格： 0 点ものである。期末試験不合格者を見ると ability が 0 以上

FPT 不合格：－ 1 点の学生はあまりいない。一方、合格者の ability は－1 以上とするとき、に集中して分布していることがわかる。LCT の 1 回目かFPT 累積ポイント＝毎授業でのポイントの累積

ら 7 回目までの abilityトレンドの情報だけを用い、p ≧0.3とした。
図 1 は、2017年度前期解析基礎 A の期末試験合格者のFPT 累積ポイントトレンドを、図 2 は、期末試験不合格の場合の予測を行ったとき、表 1 の confusion matrix が得られている。

者の FPT 累積ポイントトレンドを示したものである。
合格者の FPT 累積ポイントトレンドを見ると、最終ポ表1

イント12点以上に集中していることがわかる。それと比較

2017年度 confusion matrix（p ≧0.3）の場合（LCT#1-LCT#7のみ使用）

LCT#1-#7

して不合格者の FPT 累積ポイントを見ると、累積ポイン

予測結果

トが12点以下に分布している学生がかなりいることがわか成功る。したがって、この累積ポイントを、LCT の abilityト

観測結果

レンドと組み合わせて用いることで、期末試験不合格リスクを持つ学生を、LCT の abilityトレンドだけ用いる場合

成功

失敗

合計

702

219921

失敗

96110

206

合計

7983291127

誤分類率：0.28、不合格の的中率：33％

よりも予測精度が高く求めることができると予想される。
ここで、参考のため、図 3 、図 4 に、それぞれ、2017期末試験合格者は、LCTトレンドでも FPTトレンドで年度前期解析基礎 A の期末試験合格者、期末試験不合格も上の方向に集中している傾向が見えるが、期末試験不合者について、LCT の応答の累積から IRT を用いて学生の格者は、トレンドの下降傾向は認められるが、少なくないability の推定値を求めたトレンドを示す。授業が進むにつ学生は上昇でも下降でもない中間にいることがわかる。これ、ability がどのように変化するかというトレンドをみたの部分に位置する学生の存在が、最終的に期末試験に失敗

図1

図3

FPT 累積ポイントトレンド（期末試験合格者）― 134 ―LCT トレンド（期末試験合格者）

LCT トレンドと FPT トレンドを組み合わせた期末試験の合否予測
表 4 2017年度 confusion matrix（p ≧0.3）の場合（LCT#1-LCT#7使用、FPT 累積ポイント14以上）
予測結果

観測結果

成功

失敗

成功

835

86

合計
921

失敗

126

80

206

合計

961

166

1127

誤分類率：0.19、不合格の的中率：48％
表 5 2017年度 confusion matrix（p ≧0.3）の場合（LCT#1-LCT#7使用、FPT 累積ポイント16以上）
予測結果
図4

LCT トレンド（期末試験不合格者）
観測結果する確率を40% 以上と指定しても捕捉できるのは半数程

成功

失敗

成功

814

107

合計
921

失敗

119

87

206

合計

933

1941127

誤分類率：0.20、不合格の的中率：45％度になる確率的ゆらぎをもたらしているのではないかと考えられる。

表 6 2017年度 confusion matrix（p ≧0.3）の場合（LCT#1-LCT#7使用、FPT 累積ポイント18以上）

表 ２ - ６ は、LCT#1-LCT#7の み 使 用 し た と き の LCT

予測結果

トレンドで p ≧0.3の条件をつけたときと、最終段階でのFPT 累積ポイントが、それぞれ、10以上、12以上、14以上、16以上、18以上、とした場合での情報を組み合わせたとき観測結果の confusion matrix の結果を示す。
FPT 累積ポイント10以上から16以上のすべての場合を

成功

失敗

成功

791

130

合計
921

失敗11096206

合計

9012281127

誤分類率：0.21、不合格の的中率：42％

考慮すると、いずれも場合も、FPT 累積ポイントを用いない場合の誤分類率0.28と不合格の的中率33％上回る結果3が得られている。したがって、組み合わせ効果があったということができる。

考察

前 節 で は、LCTト レ ン ド を 用 い た 予 測 に は LCT#1LCT#7のみを使用したのに対して、FPT 累積ポイントは

表 2 2017年度 confusion matrix（p ≧0.3）の場合（LCT#1-LCT#7使用、FPT 累積ポイント10以上）
予測結果
成功
観測結果

最終の LCT の累積結果を用いていた。そこで、ここでは、
LCTトレンドに合わせ、FPT の結果も FPT#1-FPT#7の累積値を用いることとし、FPT#1-FPT#12では FPT 累積ポイントを10-18まで変化させたのに対し、FPT 累積ポ

成功

失敗

合計

88259921

イントが 7 の場合の 1 ケースのみ求めてみた。そのときのconfusion matrix の結果を表 7 に示す。

失敗

137

69206

合計

9991281127

誤分類率：0.17、不合格の的中率：54％

表 7 2017年度 confusion matrix（p ≧0.3）の場合（LCT#1-LCT#7使用、FPT#1-FPT#7使用、FPT 累積ポイント 7 以上）

表 3 2017年度 confusion matrix（p ≧0.3）の場合（LCT#1-LCT#7使用、FPT 累積ポイント12以上）

予測結果

予測結果
成功
観測結果

成功

失敗

合計

847

74921

失敗

133

73

206

合計

980

147

1127

成功
観測結果

成功

失敗

合計

862

58920

失敗

137

70

207

合計

9991281127

誤分類率：0.17、不合格の的中率：55％

誤分類率：0.18、不合格の的中率：50％

表 7 の結果は、FPT#1-FPT#12を使用して FPT 累積ポイント14以上のときに求めた誤分類率0.17、不合格の的― 135 ―

廣瀬英雄

pp. 159-166, Vol. 53, 2019.

中率55％と変わらない。非常に良い予測結果をもたらして3 ）廣 瀬、新入生全員を対象としたオンラインテストのいると考えることができる。

4

実際、広島工業大学紀要教育編、pp. 27-35, Vol. 16,

まとめ

2017.

先に、フォローアッププログラム（FP）の中に組み込4 ）廣 瀬、フォローアップクラスにおける授業設計につまれている授業時間でのオンラインテスト（LCT）を使っいて、広島工業大学紀要教育編、pp. 37-41, Vol. 16,てドロップアウトリスクを抱えた学生を早期に発見しア2017.

ラートを発するような一つの方法を提案した。そこでは、

5 ）廣瀬、大規模授業支援テスティングシステムとそのラーLCTトレンドから期末試験の合否確率を予測する際に、ニングアナリティクス、統計数理、Vol. 66, No. 1, pp.

不合格確率0.4以上と推定された学生の中で、実際にはそ79-96, 2018.の半分程度しか捕捉されていないことを報告している。そ6 ）廣 瀬、ラーニングアナリティクス指向学習支援、コ

れだけでも非常に有用な情報であるが、FP では、LCT だ

ンピュータ＆エデュケーション（CIEC）、Vol. 45, pp.

けでなく、FPT（FP クラスで実施している CBT）も用い

23-30, 2018.ているので、それらを合わせたトレンドの情報から期末試7 ）Hideo Hirose, Meticulous Learning Follow-up Systems

験の合否を予測すれば予測精度が上がるのでないかと考え

for Undergraduate Students Using the Online Item

た。FPT の評価に、LCT 合格： 2 点、FPT 欠席：－ 2 点、Response Theory, 5 th International Conference on

FPT 合格： 0 点、FPT 不合格：－1 点として、FPT 累積

Learning Technologies and Learning Environments

ポイントを毎授業でのポイントの累積と定義したとき、授(LTLE2016), pp. 427-432, 2016.

業が 1 セメスターの半分くらい進んだ頃（中間まとめを8 ）Hideo Hirose, Difference Between Successful and行う時期）、LCT の 1 回目から 7 回目までの LCT の累積

Failed Students Learned from Analytics of Weekly

ability の情報から得られるトレンド情報と、FPT の 1 回

Learning Check Testing, Information Engineering
Express, Vol 4, No 1, pp. 11-21, 2018.

目から 7 回目までの FPT 累積ポイントを組み合わせて予9 ）Hideo Hirose, Prediction of Success or Failure for

測を行うと、LCT 単独の情報からの予測よりも精度が上

Examination using Nearest Neighbor Method toがることが示された。

文

the Trend of Weekly Online Testing, International献Journal of Learning Technologies and Learning
Environments (IJLTLE), Vol 2, No 1, pp. 19-34, May1 ）廣 瀬、ラーニングアナリティクス：LCT 成績と期末31, 2019.

試験成績の関係、広島工業大学紀要教育編、pp. 59-10）Hideo Hirose, Key Factor Not to Drop Out is to63, Vol. 18, 2019.
2 ）廣瀬、大規模オンラインテスティングから得られるラー
ニングアナリティクス、広島工業大学紀要研究編、― 136 ―

Attend Lectures, Information Engineering Express,
Vol 5, No 1, pp. 11-21, May 31, 2019.