広島工業大学紀要研究編
第 54 巻（2020）123-131

論文

大学数学科目の CBT と記述式による試験の評価結果の比較：
線形代数の場合廣瀬英雄＊（令和元年 8 月 6 日受付）

Comparison of Evaluation Results
Between Multiple-Choice Testing and Description Type Testing:Linear Algebra Case
Hideo HIROSE（Received Aug. 6, 2019）

Abstract
Using the LCT (learning check testing) results in the follow-up program system, we have shownthat we can predict the students’ future results of success/failure to the final examination witha probability to some extent. However, we also anticipate that we may not be able to enhance acertain level of prediction accuracy for evaluation because the description type questions andtheir evaluations to the final examinations depend on two or more teachers resulting unfair scores
although the LCT provides the multiple-choice questions and the evaluations are performed
automatically using computers. We had a chance to perform such a CBT using the multiplechoice questions and the automatic evaluations. Thus, in this paper, we investigate whether sucha prediction is correct or not. Amazingly, there may be no differences of the results between thedescription type examination and multiple-choice testing in terms of the correlation coefficients. The
subject is Linear Algebra for first semester undergraduate students.
Key Words: computer based testing, multiple-choice paper questions, description type questions,
item response theory, Linear Algebra.

1

これまで、LCT の結果と期末試験結果を対比させると、はじめにある時期から一定程度の確率で学生の期末試験の合否を予2016年度から開始したカリキュラムでは、解析基礎、線測できることが示されている。ただし、期末試験に失敗す形代数などの大学数学基礎科目について、毎授業でのオンる学生に注目すると、失敗を予測した学生のおよそ半分はラインテスティング（LCT, learning check testing）を行い、予測が的中しているが、的中率はなかなかそれ以上にはい習熟度が不十分とみなされる場合には補習授業を受講できかないと思われる。その理由として、LCT は全学生が同るような、フォローアッププログラム（FP）体制のもとで、一条件で同一問題を解き、採点もコンピュータが自動的によりきめ細かい教育を行ってきた。補習授業は FP クラス行うため、公平で公正な評価が行えているのに対し、期末（FPC）と呼ばれる。

試験では、同じクラスでも教育効果を考えて少人数に分割

＊

広島工業大学データサイエンス研究センター & 環境学部建築デザイン学科― 123 ―

廣瀬英雄

しているため、複数の教員が（記述式の）期末試験の採点あるいは年度をまたがって比較する、という方法を用いるを行うことになり、その結果、教員間での評価による不公こととした。

平さが出てくるのではないかと考えていた。ここでは、そなお、一つのクラスを二つに分けて、一つは CBT、一の理由がそのように想定しているような原因に起因するもつは記述式として対比させるのが好ましいが、大学正規ののかどうかを検証してみたい。

期末試験のため、公平さからまったく同じ条件下での試験

そのため、これまでのような、LCT と記述式期末試験環境とした。また、中間試験は LCT とまったく同様なオの評価結果を比較したものと、2018年度の期末試験ではじンラインテスティングに依ったが、期末試験は WiFi の遮めて採用した多肢選択式の問題による評価結果を LCT の断の危険性に配慮してマークシート方式（ここでは MSS結果と比較したものを見比べてみることとした。パイロッと呼ぶことにする）の多肢選択式とした。
表 1 で、CBT.B は、線形代数 B に対応する CBT、CBT.

ト的な試みなので、2018年度は情報系学部の 1 年生後期のB* は、CBT.B と同等な CBT、MSS は、マークシート方選択科目である線形代数 B についてのみ行っている。
評価はクラス分割して実施するような直接的な方法では式を表す。

行えないのでここでは間接的な方法に依った。

3

2018年度情報学部での比較

3.1

選択科目によるバイアスについて

また、期末試験結果の LCT の結果との比較に加えてプレースメントテスト（PT）との比較も加えておきたい。

2

情報学部での線形代数 B は選択科目である。前期のLCT と中間試験と期末試験の実施状況

LCT.A は線形代数 A に対応しており、線形代数 A は必修2016年度からのカリキュラムでは、 1 年生前期では解析科目であるため学部全員が受験している。そこで、比較の基礎 A と線形代数 A が必修科目であり、全学生が受講すため LCT.A を使うのは、後期の CBT.B あるいは MSS のる。しかし、後期になると工学部では解析基礎 B と線形結果は学生全員の結果を反映していないため、正しい比較

代数 B が必修科目になるが、それ以外の学部（情報学部、ができないののではないかという疑問がある。つまり、科環境学部、生命学部）では選択に変わる。LCT は必修科

目選択によって結果にバイアスが発生する恐れはないかと目に課せられるため、前期は全学生が LCT を受験していいうことである。そこで、線形代数 B 受講者の LCT.A とるが、後期になると工学部しか受験していない。今回対象非受講者の LCT.A の正解率の比較を行ってみた。それをとするのは情報学部の選択科目線形代数 B である。

図 1 に示す。ヒストグラムからは両者の間に顕著な差はみ

表 1 に、LCT と中間試験および期末試験の実施状況を示す。情報学部以外は中間試験と期末試験は記述式である。

られない。クラスの中からランダムサンプリングしたとみて差し支えないと思われる。

情報学部では、しかし、後期の LCT は実施されておらず、LCT と CBT との比較は間接的に行うことになる。それには、1 ）前期の LCT 結果と後期の CBT 結果を比較する、
2 ）工学部（あるいは全学部）での前後期の LCT 結果間、

表1a

LCT と中間試験および期末試験の実施状況（前期）工学部

前期 LCT

前期中間前期期末

CBT.A

記述式

記述式

情報学部

CBT.A

記述式

記述式

環境学部

CBT.A

記述式

記述式

CBT.A記述式

記述式

生命学部

CBT.A：線形代数 A に対応する CBT
表1b

LCT と中間試験および期末試験の実施状況（後期）後期 LCT

後期中間後期期末
記述式

工学部

CBT.B

記述式

情報学部

-CBT.B*MSS

環境学部

-

記述式

記述式

生命学部

-

記述式

記述式

図1― 124 ― 形代数 B 受講者の LCT.A と非受講者の LCT.A の正解
線率のヒストグラム（情報学部）

大学数学科目の CBT と記述式による試験の評価結果の比較

3.2

LCT.A と CBT.B* の比較

図 4 、 5 は、線形代数 B 受講者の LCT.A と非受講者の情報学部での LCT.A の正解率はかなり高い。問題がや

CBT.B* を、散布図を使って比較したものである。LCT.

さしいとも言える。それに対して、後期になると、問題

A と CBT.B* を比較すると、ある程度相関があるように見が難しくなるため正解率は低くなると考えられる。実際える。実際に相関係数を計算してみた値はそれぞれ0.63,に LCT.B は（選択科目であるため）実施されていないの0.62である。

で直接的な比較はできないが、中間テストの CBT では同じような形式で同じような内容の問題による CBT のLCT.B と同等なオンライン試験 LCT.B* を用いているた

結果の相関は高いことが予想されるが、実際はこの程度のめ、間接的な比較は可能である。このヒストグラムを図 2値であり、個人の習熟度が確率的にかなりゆらいでいるこに示す。確かに、LCT.B* の正解率は LCT.A の正解率よりとが観測される。

も低くなっている。
一方、同じ結果を両者について IRT（項目反応理論）を使って ability の計算し、比較したヒストグラムを図 3 に示す。正解率では見えていた両者の差が ability を使って比較すると差が見えなくなっていることがわかる。これは、IRT で ability を求める際に基準化が行われているためである。

図2

図4

 形代数 B 受講者の LCT.A と CBT.B* の正解率の散布図
線（情報学部2018年入学生のみ）

図5

 形代数 B 受講者の LCT.A と CBT.B* の ability の散布図
線（情報学部2018年入学生のみ）

3.3

CBT.B* と MSS の比較

 形代数 B 受講者の LCT.A と CBT.B* の正解率のヒスト
線
グラム（情報学部）

中間テストと期末試験の両方とも多肢選択式である。ここではそれらの間の関係を見てみよう。図 6 、 7 は、線
図3

 形代数 B 受講者の LCT.A と CBT.B* の ability のヒスト
線
グラム（情報学部）

形代数 B 受講者の CBT.B* と MSS の正解率のヒストグラ
ム、および ability のヒストグラムの比較図である。正解― 125 ―廣瀬英雄

率は CBT.B* よりも MSS の方が低くなっていることがわ
かるが、ability については、LCT.A と CBT.B* のときと同様、基準化によるものである。

図6

図7

図8

 形代数 B 受講者の CBT.B* と MSS の正解率の散布図（情線
報学部2018年入学生のみ）

図9

 形代数 B 受講者の CBT.B* と MSS の ability の散布図
線（情報学部2018年入学生のみ）

図10

 報学部全学生と工学部全学生の LCT.A の正解率のヒス
情トグラム

 形代数 B 受講者の CBT.B* と LCT.B の正解率のヒスト
線
グラム（情報学部）

 形代数 B 受講者の CBT.B* と LCT.B の ability のヒスト
線
グラム（情報学部）

図 8 、 9 は、 線 形 代 数 B 受 講 者 の CBT.B* と MSS の関係を散布図に表したものである。それぞれ、正解率とability を評価の指標としている。相関係数を計算してみた値はそれぞれ0.62, 0.62である。先に示した LCT.A とCBT.B* の間の相関係数とほとんど変わりがない。やはり、個人の習熟度が確率的にかなりゆらいで測定されていると考えられる。

4

2018年度工学部との比較

4.1

情報学部の LCT.A と工学部の LCT.A の比較

図10に、情報学部全学生と工学部全学生の LCT.A の結― 126 ―大学数学科目の CBT と記述式による試験の評価結果の比較

果の正解率のヒストグラムを示す。工学部より情報学部の学生の方が正解率がやや高い傾向にあることがわかる。
4.2

工学部の LCT.A と LCT.B の比較

工学部では、中間試験はすべて記述式である。そこで、情報学部での多肢選択式どうしでの比較に相当するものとして、ここでは LCT.A と LCT.B の比較を行った。
図11に、工学部の LCT.A と LCT.B の正解率のヒストグラムを示す。正解率は、LCT.A より LCT.B の方がやや低くなっている傾向にあることがわかる。これは、線形代数の内容が高度になっていき学生が難しく感じていることの現れと思われる。工学部の LCT.B は、情報学部では CBT.
B* に相当し、ほぼ同じ比較を行っていると考えることができる。つまり、図 9 は図 2 に対応するものである。図12

図13

工学部の LCT.A と LCT.B の正解率の散布図

図14

工学部の LCT.A と LCT.B の ability の散布図に、工学部の LCT.A と LCT.B の ability のヒストグラムを示す。

図11

工学部の LCT.A と LCT.B の正解率のヒストグラム

図13、14に、LCT.A と LCT.B の正解率および ability の散布図を示す。両者の相関係数を計算してみると、図13の正解率の場合は0.68、図14の ability の場合は0.64であった。

52017年度前期での LCT.A と期末試験の比較
これまでほとんどの期末試験は記述式に依っていた。今回、はじめて全問題を多肢選択式として中間試験および期末試験で実施した。期末試験の評価が記述式の場合には教員の評価基準が異なるために、両者の間には違いが出てくるのではないかと想定される。しかし、直接的な比較はできないので、2017年度前期の LCT.A と期末試験の関係を調べることによって、今回の試みの参考資料としてみたい。
図15、16、17は、2017年度の LCT.A の正解率と期末試
図12

工学部の LCT.A と LCT.B の ability のヒストグラム

験評価結果（0-59、60-69、70-79、80-89、90-100点の 5― 127 ―

廣瀬英雄

図18

図15

全学部の LCT.A の正解率と期末試験の成績

図16

工学部の LCT.A の正解率と期末試験の成績

図19

工学部の ability と期末試験の成績

図17

情報学部の LCT.A の正解率と期末試験の成績

図20

情報学部の ability と期末試験の成績― 128 ―

全学部の LCT.A の ability と期末試験の成績

大学数学科目の CBT と記述式による試験の評価結果の比較

プレースメントテストの総合スコアと期末試験の成績と段階評価）を、全学部、工学部、情報学部についての散布の相関だけでなく、もっと詳しく、PTA、PTB、PTA＋図を表したものである。
図15、16、17における相関係数は、それぞれ、0.58、0.51、PTB、期末試験の問題の正解数、IRT を使った ability 値の関係をすべて比較してみたものが図22である。期末試験

0.70であった。
図18、19、20は、2017年度の LCT.A の ability と期末試の成績とプレースメントテストのスコアとは単独でも総合でも軒並み相関係数が低い。

験評価結果（0-59、60-69、70-79、80-89、90-100点の 5

仮に、両者の成績が 2 変量正規分布に従っており、相関段階評価）を、全学部、工学部、情報学部についての散布係数が0.6とした場合に、正規分布の平均から標準偏差だ図を表したものである。
図18、19、20における相関係数は、それぞれ、0.58、0.50、0.69であった。

6

プレースメントテスト結果との比較
LCT の結果から期末試験結果を予測することに主眼を置いてきたが、ここで、参考のため、プレースメントテストの結果と期末試験結果の相関を観てみたい。入学直後のプレースメントテストによって習熟度に応じてクラス分けを行い、習熟度別のクラスでの教育が普通に行われているが、プレースメントテストでのしきい値で分断されたため、たまたま異なった教育を受けさせられることへの判断の誤りはないのだろうか、という観点からである。
図21に、情報学部でのプレースメントテストのスコア（数IA までの比較的基本的な問題22個（PTA）と数 IIB までの主に知識を問う55個の問題（PTB）の両方の成績（PTA＋PTB）から求めた）と期末試験の成績との関係を示す。
図で点線で囲んだ部分は、仮にプレースメントスコアが満点の半分程度しかなかった場合の期末試験の成績（IRT による ability の結果）を観てみたものである。極めて成績の悪い学生と極めて良い学生が同じ領域に存在していることがわかる。このときの両者の成績の間の相関係数は0.5-

図22 レースメントテストのスコアと期末試験の成績の関係
プ（情報学部）

図23

2 変量正規分布を仮定したときのドロップアウトリスクを持つ学生の把握0.6程度であり、高くはない。

図21

 レースメントテストのスコア（総合スコア）と期末試験プの成績の関係（情報学部）― 129 ―

廣瀬英雄

け下位にしきい値を置いた場合、1000人中150人程度がそた。しかしながら、そういう状況下でのゆらぎと、今回新の中に入り、どちらの変数でもしきい値以下の学生数となしく試みた環境下でのゆらぎとの間にそれほど顕著な差異ると、さらにその半数で75人程度がその対象となることがが認められなかった。このことは、受験者ゆらぎの大きさ

図22から示される。この数は、 1 年生がドロップアウトすは評価者ゆらぎが隠れるほど大きいとも受け取れる。このる人数に対応しているとも考えられる（実際には50程度）。

ことは予想外であり、言い方を変えると、それほど受験者つまり、プレースメントテストでリスクのある学生であるゆらぎの大きさのことを自覚していなかったとも言える。と予測された学生の半数はそのように言い当てられている大きな発見であった。

ようにも見えるが、残りの半数はそれに該当しない、とい8

うことがわかる。

7

考まとめ
LCT を使って、できるだけ早めに学生のドロップアウ

察トのリスクを少なくしようと、確率付きで期末試験の成否これまでさまざまな評価結果について相関係数を計算しのアラートを流すことまで予測手法は整ってきたことをこてきた。見やすいようにここで一覧表（表 2 ）にして再掲れまで報告してきた。その際、ある一定のところまでは予する。

測が可能であるが破られない壁があると感じ、それを破る

表からは、すべての場合にわたって、相関係数の値はには評価法をできるだけ公平公正にする必要があると考え0.50-0.70の範囲に入っており、特に情報学部内だけでのてきた。今回、多肢選択式の CBT あるいはマークシート比較では0.62-0.70と更に狭い範囲に納まっていることが方式のテストを採用することによって、予測精度が上がるわかる。このことは、試験の形態による成績の変動よりのではないかと期待したが、予想を覆して、評価者のゆらも、個人が持っている習熟度の確率的なゆらぎの影響が大ぎは受験者自身の正答力のゆらぎを下回るのではないかときく、また、そのゆらぎは一定の値（0.6程度）からそれいう結果的になった。
LCT と記述試験による期末試験の成績、LCT と CBT、ほど外れないことがわかった。

LCT と多肢選択式による期末試験の成績など、いずれの
表2場合でも、それらの間の相関係数は0.5から0.7の間にあり相関係数の一覧表
相関大きな変化は見られない。広島工業大学の学生という、あ正解率0.63

るいは線形代数科目というような、サンプリングデータのability0.62

MSS

正解率0.62

性格に依存する結果とも考えられないことはない。しかし、情報MSS

ability

0.62

LCT.A

工学部

LCT.A

正解率0.68

工学

LCT.A

工学部

LCT.A

ability

0.64

全学

LCT.A

全学

期末

正解率0.58

学部

テスト

学部

テスト

評価数

情報

LCT.A

情報

CBT.B*

情報

LCT.A

情報

CBT.B*

情報

CBT.B*

情報

情報

CBT.B*

工学

工学

LCT.A

工学

期末

正解率0.51

情報

LCT.A

情報

期末

正解率0.70

全学

LCT.A

全学

期末

ability

0.58

工学

LCT.A

工学

期末

ability

0.50

情報

LCT.A

情報

期末

ability

0.69

同じ受験生が同様な試験科目を続けて 2 回受験するような別の環境下でもまったく同様な結果が出ているため、上のように考えることはある程度正しいのではないかと考えている。

文献1 ）廣 瀬、ラーニングアナリティクス：LCT 成績と期末試験成績の関係、広島工業大学紀要教育編、pp. 5963, Vol. 18, 2019.
2 ）廣瀬、大規模オンラインテスティングから得られるラー

ゆらぎ（確率的変動）には、問題によって受験者自身の応答が変動するもの（受験者ゆらぎ）と、記述式テストをニングアナリティクス、広島工業大学紀要研究編、
pp. 159-166, Vol. 53, 2019.

複数の教員が採点するような評価者によって解釈が異なる3 ）廣瀬、新入生全員を対象としたオンラインテストの実ことによって変動するもの（評価者ゆらぎ）の二つが考え際、広島工業大学紀要教育編、pp. 27-35, Vol. 16, 2017.

られる。本論文では、同じ問題の多肢選択式のマークシー4 ）廣瀬、フォローアップクラスにおける授業設計について、ト方式の試験を実施して評価者の影響が出ないような環境

広島工業大学紀要教育編、pp. 37-41, Vol. 16, 2017.
5 ）廣瀬、大規模授業支援テスティングシステムとそのラーを整え、ゆらぎがどの程度になるかを観察した。
これまで、記述式問題を複数の教員が評価することばかりを行ってきたため、評価者ゆらぎがかなり大きく、正当で公平で正確な評価から少し距離があるものと考えてき― 130 ―

ニングアナリティクス、統計数理、Vol. 66, No. 1, pp.
79-96, 2018.
6 ）廣 瀬、ラーニングアナリティクス指向学習支援、コ大学数学科目の CBT と記述式による試験の評価結果の比較

Express, Vol 4, No 1, pp. 11-21, 2018.

ンピュータ＆エデュケーション（CIEC）、Vol. 45, pp.

9 ）Hideo Hirose, Prediction of Success or Failure for23-30, 2018.
7 ）Hideo Hirose, Meticulous Learning Follow-up Systems

Examination using Nearest Neighbor Method tofor Undergraduate Students Using the Online Itemthe Trend of Weekly Online Testing, International

Response Theory, 5 th International Conference on

Journal of Learning Technologies and Learning

Learning Technologies and Learning Environments

Environments (IJLTLE), Vol 2, No 1, pp. 19-34, May(LTLE2016), pp. 427-432, 2016.

31, 2019.

8 ）Hideo Hirose, Difference Between Successful and10）Hideo Hirose, Key Factor Not to Drop Out is to

Failed Students Learned from Analytics of Weekly

Attend Lectures, Information Engineering Express,

Learning Check Testing, Information Engineering

Vol 5, No 1, pp. 11-21, May 31, 2019.

― 131 ―