広島工業大学紀要教育編
第 ₁₈ 巻（₂₀₁₉）45– 49

論文

ラーニングアナリティクス：
LCT 問題への正答率

廣瀬英雄*（平成₃₀年 ₈ 月 ₆ 日受付）

Learning Analytics:
Correct Answer Rate to Each Question
Hideo HIROSE(Received Aug. 6, 2018)

Abstract
Two years and a half have passed since the follow-up program system (FP system) has begun,
where the FP system consists of the LCT (learning check testing), the CWT (collaborative work testing), and the FCT (follow-up program testing). In this paper, we consider the CAR (correct answerrate) to each question in the LCT items, and compare the CAR in 2017 and that in 2018.
Although we have almost three years’ CAR results and we can compare among these results, we use
only the cases of the results obtained in 2017 and in 2018. Because, in the first semester in 2016, thenumbers of questions to analysis basic and linear algebra are six, but in the second semester, the numbers of questions are changed to be ten. In 2018, the numbers of questions are seven, and five questions are the same as used in 2017. Thus, we compare the LCT CAR results between the 2017 results
and the 2018 results.
Key Words: online testing, follow-up program, learning check testing, collaborative work testing,follow-up program testing, item response theory, correct answer rate1

毎週の一単元あたり ₆ 問を₁₀分で，後期になると ₂ 週間にはじめに一度実施というように変更して₁₀問を₁₅分で回答させた。

フォローアッププログラム（follow-up program, FP）は₂₀₁₇年度では前後期とも，解析基礎 A および線形代数 A 両

₂₀₁₆年度から始まり ₃ 年目を迎えた。ここに，FP は，授業方で毎週 ₅ 問を₁₀分間で解答させるように変更した。₂₀₁₈

時間でのオンラインテスト（LCT, learning check testing），年度になると，解析基礎 A および線形代数 A 両方で毎週 ₇フォローアップクラス（FPC）での CWT（collaborative問を₁₀分間で解答させてきた。このように，年度によってwork testing），FPT（follow-up program testing）から成り問題数や試験時間が異なっているため，年度間での LCT の立っている。ここでは，これらのテストのうち，学生全員問題への正答率の比較を単純に行うことはできないが，が受験する一斉テストである LCT の問題への正答率につい₂₀₁₇年度と₂₀₁₈年度では ₅ 問は共通した問題に設定していて考察する。

るため比較がしやすい。ここではこの間での比較を行って₂₀₁₆年度前期では，解析基礎 A および線形代数 A ともにみる。

* 広島工業大学環境学部建築デザイン学科
─ 45 ─

廣瀬英雄

2

ここで，₂₀₁₇年度と₂₀₁₈年度での CAR を比（₂₀₁₈年度2017と2018を比較する動機

CAR ／₂₀₁₇年度 CAR）で調べてみた。それが図 ₃ と図 ₄ で₂₀₁₇年度と₂₀₁₈年度で比較する理由は，前に書いたことある。に加え，₂₀₁₆年度では FP への取り組みの立ち上げ時だっ図 ₃ では，比は ₁ に近いところに位置していることがわたので，教員のシステムへの不慣れ，学生のパソコンへのかる。一方，図 ₄ では，比は ₁ に近いところもある一方で取り扱いの不慣れや Wif i などハード的，あるいはソフト的₁ から大きい場合と小さい場合が混在していることがわかな不具合もあったので，LCT への正答率への信頼性は₂₀₁₇る。両図には，₁₀₀₀人受験の場合で正答率が₀.₅－₀.₇の場年度や₂₀₁₈年度よりも劣るかもしれないということもある。

合での ₂ 項確率の分散を求めて，比の₉₅％信頼区間も併記

しかし，ここでこの問題を取り上げたのは，₂₀₁₈年度でのしてみた。図 ₃ では，ほとんどの問題はこの信頼区間の中LCT への学生の取り組みがスムーズになされ，しかも LCTに入っていることがわかる。つまり，感覚的には₂₀₁₈年度不合格となる学生が減っているように感じたからである。の正答率が高いと思われた現象は統計的に積極的には支持

本当にそうなっているのか，また，そうならその理由は何されないように思われる。しかし，解析基礎 A では信頼区なんかを知りたいと考えたからであった。

間からはみ出た場合には上側に出ているケースがかなり多3

く，₂₀₁₈年度での LCT の CAR は₂₀₁₇年度よりも上がって2017CAR と2018CAR（全学生）いるということが言える。具体的には上側に出ているケー

図 ₁ ， ₂ に₂₀₁₇年度と₂₀₁₈年度での問題への正答率 CAR

スは₂₅，下側に出ているケースは ₉ である。

を問題ごとに比較したものを示す。図 ₁ は解析基礎 A，図₂ は線形代数 A での比較である。図では，左側に₂₀₁₇年度，右側に₂₀₁₈年度の正答率を棒グラフで対比して示した。問題への解答がない場合（空欄のままの場合），すべて解答できなかったものとみなした。両図ともに，右側の棒グラフの方が高めになっているようにも思われる。

図1

図3

CWT アクセス回数と LCT の ability 値の関係
（解析基礎 A）

図4

CWT アクセス回数と LCT の ability 値の関係
（線形代数 A）

₂₀₁₇年度 CAR と₂₀₁₈年度 CAR（解析基礎 A）

これに対して，図 ₄ ではかなり変動が激しい。しかし，信頼区間から上に飛び出しているケースは₂₉，下側へのそ
図2

₂₀₁₇年度 CAR と₂₀₁₈年度 CAR（線形代数 A）

れは₁₂であり，線形代数 A についても，₂₀₁₈年度での LCT
─ 46 ─

ラーニングアナリティクスの CAR は₂₀₁₇年度よりも上がっているということが言える。
解析基礎 A は入学前からの知識と入学後の知識が重なるところもあり入学前の知識が年度によって変わらないのかもしれないが，線形代数 A となると，行列のように，大学に入って初めて接する内容も増え，このため，年度によって学生の受け止め方が異なる環境があって変動が激しくなったのかもしれない。このように，入学後の解析基礎と線形代数への理解度が異なる現象は，他の調査結果からも同様に観察されている。
全体を通してみて，₂₀₁₈年度では₂₀₁₇年度に比較して習熟度が高いということが示される。したがって，感覚的に₂₀₁₈年度の正答率が高いと思われた現象を統計的に調べた

図6

結果，その感覚は正しかったと考えるのが適切ではないだ

LCT#₁₃と LCT#₁₄での正答数の頻度分布（クラス HRN）

ろうか。

4

そこで，LCT#₁₃での正答数と LCT#₁₄での正答数の差に2017CAR と2018CAR（ 2 クラス， 2 単元）変化があるかどうかを調べてみた。表 ₁ に ₂ クラス（HRS

₂₀₁₈年度でのクラスでは ₃ 人掛けの椅子に仲良く座っている姿が多かった。LCT 試験中もそうである。LCT に不合と HRN）での統計量のまとめを示した。HRS と HRN のクラスの間に特段の違いはみられない。

格になると FP クラスで復習することが課せられ，それを表1欠席すると LCT の合格認定回数が ₁ つ減ることになり，成LCT#₁₃と LCT#₁₄での正答数（クラス HRS と HRN）

績に反映するかもしれないという不安感が LCT 合格への動機となっているかもしれないと思い，最後の単元での LCT
受験は隣が見えないように一席あけての環境を作って受験させてみた。一クラスはそのように，もう一クラス（同じ差の平均は，HRS が₀.₅₄，HRN が₀.₈₁，分散は，HRS#₁₃

学部で同様のクラス）は ₂ 回とも同じ環境とした。この ₂と HRS#₁₃で₃.₅₀と₂.₂₀，HRN#₁₃と HRN#₁₄でが₂.₈₈とつの環境での差が出るかどうかを見ようとした。

₂.₆₈，受験者数はどちらも₆₈なので，HRS のクラスでは

図 ₅ は，LCT#₁₃と LCT#₁₄で異なる環境を作ったときのLCT#₁₄の方が低い印象を受けるが，検定を行ってみると，正答数の頻度分布である。図 ₆ は，LCT#₁₃と LCT#₁₄を同どちらクラスも LCT#₁₃と LCT#₁₄の正答数の間には差が出じような環境で行ったときの別のクラスでの正答数の頻度ているということができ，HRS と HRN のクラス間での差分布である。一見して，図 ₅ では LCT#₁₄の方が正答数がはないように思われる。つまり，チートは認められない。

少なく見える。それに対して，図 ₆ では LCT#₁₃も LCT#₁₄

5も正答数に変化がないように見える。

まとめ
₂₀₁₇年度と₂₀₁₈年度で，解析基礎 A，線形代数 A ともにLCT の正答率は向上している（確率的変動の範囲外にある向上した回数が下降した回数よりもかなり多い）ということがわかった。この要因はよくわからないが，LCT 合格認定回数（₂₀₁₉年度紀要掲載予定）の設置が功を奏しているのかもしれない。あるいは，学生が真摯に対応する姿勢ができたのかもしれない。
₃ 人掛けの椅子での受験が₂₀₁₈年に正答率が高い印象を与えたのかもしれないと考え， ₂ つのクラスで ₂ つの LCTの環境を変えた場合と同じにしたままの場合で比較してみた結果，統計的に差があるとは認められなかった。

図5

LCT#₁₃と LCT#₁₄での正答数の頻度分布（クラス HRS）

付録 1
₂₀₁₆年度と₂₀₁₇，あるいは₂₀₁₈年度との問題は直接には
─ 47 ─

廣瀬英雄

対応していないが，参考のため，図 ₇ ， ₈ に，₂₀₁₆年度の解析基礎 A の CAR と線形代数の CAR を示す。問題への解答がない場合（空欄のままの場合），すべて解答できなかったものとみなした。

図10

図7

LCT 問題への正答数の分布（解析基礎 A）

文

₂₀₁₆年度 CAR（解析基礎 A）

献₁ ）廣瀬，大規模オンラインテスティングから得られるラーニングアナリティクスの方向性，日本システム経営学会イノベーション試行データ分析研究会招待講演，（₂₀₁₈.₆.₂₂）
₂ ）廣瀬，ラーニングアナリティクス：フォローアップ演習（CWT）の場合，広島工業大学紀要教育編，pp.
₁₄₉-₁₅₅, Vol. ₅₁, ₂₀₁₇.
₃ ）廣瀬，新入生全員を対象としたオンラインテストの実際，広島工業大学紀要教育編，pp. ₂₇-₃₅, Vol. ₁₆, ₂₀₁₇.
₄ ）廣瀬，フォローアップクラスにおける授業設計につい
図8て，広島工業大学紀要教育編，pp. ₃₇-₄₁, Vol. ₁₆, ₂₀₁₇.

₂₀₁₇年度 CAR（解析基礎 A）

₅ ）廣瀬，LCT（習熟度確認テスト）と FPT（フォロー付録 2アップテスト）の受験状況と期末試験の関係，広島工業大学紀要研究編，pp. ₉₃-₁₀₁, Vol. ₅₂, ₂₀₁₈.

₂₀₁₆年度と₂₀₁₇年度での単元あたりの LCT 問題への正答

₆ ）廣瀬，大規模授業支援テスティングシステムとその数の分布を比較してみた。図 ₉ に解析基礎 A の場合を，図ラーニングアナリティクス，統計数理，Vol. ₆₆, No. ₁,

₁₀に線形代数 A の場合を示す。

pp. ₁-₁₈, ₂₀₁₈.
₇ ）廣瀬，多様な学生集団から固有集団を早期に分類する方法について，広島工業大学紀要教育編，pp. ₁₃₁-₁₃₅,
Vol. ₅₁, ₂₀₁₇.
₈ ）廣瀬，ラーニングアナリティクス：授業確認テスト（LCT）の場合，広島工業大学紀要教育編，pp. ₁₃₇₁₄₇, Vol. ₅₁, ₂₀₁₇.
₉ ）廣瀬，ラーニングアナリティクス：フォローアップ演習（CWT）の場合，広島工業大学紀要教育編，pp.
₁₄₉-₁₅₅, Vol. ₅₁, ₂₀₁₇.
₁₀）廣瀬，新入生全員を対象としたオンラインテストの実際，広島工業大学紀要教育編，pp. ₂₇-₃₅, Vol. ₁₆, ₂₀₁₇.
₁₁）廣瀬，フォローアップクラスにおける授業設計につい図9て，広島工業大学紀要教育編，pp. ₃₇-₄₁, Vol. ₁₆, ₂₀₁₇.

LCT 問題への正答数の分布（解析基礎 A）
─ 48 ─ラーニングアナリティクスアップテスト）の受験状況と期末試験の関係，広島工

₁₂）廣瀬，フォローアップクラス参加による学習効果の確

業大学紀要研究編，pp. ₉₃-₁₀₁, Vol. ₅₂, ₂₀₁₈.

認法について，広島工業大学紀要教育編，pp. ₄₃-₄₇,

₁₉）作村，徳永，廣瀬，EM タイプ IRT による不完全マト

Vol. ₁₆, ₂₀₁₇.

リクスの完全化とその応用，情報処理学会論文誌，数₁₃）廣瀬，フォローアッププログラムにおけるオンライン理モデル化と応用 Vol. ₇, No. ₂, pp. ₁₇-₂₆, ₂₀₁₄.

テストの学生の受け止め方，広島工業大学紀要教育編，

₂₀）Hideo Hirose, Meticulous Learning Follow-up Systems

pp. ₄₉-₅₃, Vol. ₁₆, ₂₀₁₇.
₁₄）廣瀬，ラーニングアナリティクス：授業確認テストとfor Undergraduate Students Using the Online Item

フォローアップ確認テストの受験トレンド，広島工業

Response Theor y, ₅th International Conference on

大学紀要教育編，pp. ₅₅-₆₀, Vol. ₁₆, ₂₀₁₇.

Learning Technologies and Learning Environments₁₅）廣瀬，アダプティブテスティングにおける IRT 困難度の推定：LCT の結果を用いた支援推定法，広島工業大（LTLE₂₀₁₆）, pp. ₄₂₇-₄₃₂, ₂₀₁₆.
₂₁）Hideo Hirose, Difference Between Successful and Failed

学紀要研究編，pp. ₁₀₃-₁₀₈, Vol. ₅₂, ₂₀₁₈.

Students Learned from Analytics of Weekly Learning₁₆）廣瀬，ラーニングアナリティクス：LCT と FPT の受験

Check Testing, Information Engineering Express, Vol ₄,

状況トレンド₂₀₁₇ vs ₂₀₁₆，広島工業大学紀要教育編，No ₁, pp. ₁₁-₂₁, ₂₀₁₈.
₂₂）Hideo Hirose, Success/Failure Prediction for Final

pp. ₆₅-₇₀, Vol. ₁₇, ₂₀₁₈.
₁₇）廣瀬，テスト問題の配点と得点調整に関する一考察：

Examination using the Trend of Online Testing Result,

項目反応理論との比較，広島工業大学紀要教育編，pp.

₇th International Conference on Learning Technologies

₇₁-₇₇, Vol. ₁₇, ₂₀₁₈.

and Learning Environments（LTLE₂₀₁₈）, ₂₀₁₈. to₁₈）廣瀬，LCT（習熟度確認テスト）と FPT（フォロー─ 49 ─appear.