広島工業大学紀要研究編
第 ₅₃ 巻（₂₀₁₉）159 – 166論

文大規模オンラインテスティングから得られる
ラーニングアナリティクス
廣瀬英雄*（平成₃₀年 ₈ 月 ₆ 日受付）

Learning Analytics Obtained from the Large-scale Online Testing
Hideo HIROSE(Received Aug. 6, 2018)

Abstract
The FP (follow-up program) system, a large-scale online testing system, is principally an assistancesystem for learning students, where the FP system was aimed at helping students who need basic
learning and aimed at assisting teachers who have to engage in teaching a variety of educational students. However, all the teachers and stuffs do not always know such a system deeply. The author hada chance to explain the system in public at the research conference held in June 22, 2018, and thus heused this opportunity to do this. This paper describes the details of the lecture in June 22, 2018. Firstly,
he mentions the item response theory comparing to the classical testing theory. Then, he describes
one of the methods for detecting drop-out students, as a learning analytics.
Key Words: online testing, learning check testing, item response theory, drop-out

₁て FP を解説する。講演では， ₁ ）項目反応理論（IRT, item

はじめにresponse theor y）に基づく成績評価， ₂ ）FP におけるオ

₂₀₁₆ 年 度 か ら 始 ま っ た フ ォ ロ ー ア ッ プ プ ロ グ ラ ムンラインテスティング， ₃ ）オンラインテスティングから（follow-up program, FP）も ₃ 年半が経った。FP は，授業得られるラーニングアナリティクス，の ₃ 部に分けて説明

時間でのオンラインテスト（LCT, learning check testing），がなされたが，このうち， ₂ ）については他の文献₂₀︶ で紹

フォローアップクラス（FPC）での CWT（collaborative

介されているのでそちらを参照されることとして，ここでwork testing），FPT（follow-up program testing）の ₃ つのは， ₁ ）と ₃ ）について概説する。 ₃ ）についても多方面

オンラインテスティングから構成されているユニークなからの視点があるが₂₁,₂₂︶，ここでは，オンラインテスティラーニングシステムである。しかし，FP システムは他大学ングを使ってドロップアウトリスクを抱えた学生を早期にでも類をみない全学生を対象にしている大規模ラーニング

発見しアラートを発するような一つの方法について焦点をシステムであっても，基本的には学生支援プログラムであ絞って説明する。

るため，運用や評価法の詳細についての本質的な側面が学

₂

古典的テスト理論と現代テスト理論

₂.₁

古典的テスト理論

内でもあまり知られていないように思われる。そこで，ここでは，最近経営システム学会主催の研究会で招待講演「大規模オンラインテスティングから得られるラーニングア
₁︶ナリティクスの方向性」 のテーマで実施された内容に沿っ古典的テスト理論では，各得点は，受験者の潜在的な能力 θ と受験時のゆらぎ T との和で表現される。ここで，θ

* 広島工業大学環境学部建築デザイン学科
─ 159 ─

廣瀬英雄

図₁

古典的テスト理論での評価法
図₂

は受験集団が持つ分布の確率変数を，T は，普通，正規分

古典的テスト理論での配点と得点と得点布を背後に持つ確率変数を表す。
しかし，通常は，図 ₁ にみられるような表現がよく用いられ，潜在能力とゆらぎが区別されず一緒のものとして取り扱われることが多い。つまり，ある母集団の中での能力値のみが正規分布で表されると考えられているように思われる。例えば，図では，受験者 E は，母集団の中でたまたま₄₀点をとり，母集団の中での位置は偏差値₅₆.₁として取り扱われている確率変数の一つの実現値を表したものであるとの解釈である。
これは，古典的テスト理論での表現法とは本質的に異なっていることに注意されたい。ただ，上のように解釈されることも多いので，ここではこのような解釈で議論を進める。そのような背景で，普通のテストでよく用いられる

図₃

配点と得点について考えてみる。

古典的テスト理論での配点の調整

図 ₂ に，古典的テスト理論での配点と得点率および得点の関係を行列の計算の形で表してみた。もし，配点が事前に与えられおり，受験生の個々の問題への得点率が得られれば，受験生個々に採点が可能である。ここで，配点を変え る と 得 点 も 変 わ っ て く る と い う 意 味 で，図 に はcontrollable という書き方で示した。広い意味では，一般に記述式の採点の場合を考えると，得点率も controllable ではあるが，ここでは配点のみが controllable であると考えよう。
配点をうまく変えれば，平均点をあげることができたり，ある特定の問題を厚遇できたりして，結果的には受験者のランキングが変わることにつながってしまう。これは，極端な場合になるが，平均点をあげるには，得点率の最も高

図₄

古典的テスト理論での配点と得点率の内積

い問題にだけ配点して他は配点を与えないようにすることで達成される（図 ₃ ）。つまり，一番易しい問題だけに配点いえる。図では ₂ 問の場合を例示しているが，そこでは，するという方法である。このとき，受験者のランキングは₂ 問目の得点率が高いので ₂ 問目だけに配点するとベクトその問題の出来だけで決まってしまう。

ルの内積の大きさが最大になることが示されている。

このことは，図 ₄ に示すように，配点ベクトルと得点率

このことは，配点は試験前に明らかにされていれば採点ベクトルの内積が得点になっていることから当然のことと前，あるいは明らかにされていなければ採点後でも，得点─ 160 ─

大規模オンラインテスティングから得られるラーニングアナリティクスの調整を採点者の意思によって変えることが可能になって図 ₈ に示すようにマトリクスが不完全になることがある。

いることを示している。次に述べる項目反応理論では，一

この場合にも対応できるような方法₁₉︶ が示されているので，般的にはそのような余地が入らず，ある意味で公平な評価

FP のシステムではこの方法も取り入れている。

法になっていることを示そう。

IRT で評価する際，多様な習熟度を持つ学生に対して公平な問題設定をどのように行えばよいのだろうか。情報量₂.₂

現代テスト理論の観点からは，受験生の習熟度と問題の困難度が一致した

項目反応理論（IRT, item response theory）では，ある受場合に得られる情報量が最大になり，従って推定誤差が最験者 i が問題 j に取り組んだときに反応した解答（正答な小になることがわかっている。そこで，多様な学生の習熟ら ₁ ，誤答なら ₀ ）のマトリクス全体で受験生の評価を行度を背景に，すべての学生が最適推定に対応できる問題をう。マトリクスの例を図 ₅ に示す。また， ₂ 値の応答に対含むように設定した場合の模式図に示したものが図 ₉ であする確率分布として図 ₆ に示すようなロジスティック分布る。図₁₀はそのときの予測誤差である。最適でない問題にを仮定している。

あたったときの予測誤差の減少はそれほど大きくはないの

応答マトリクスが与えられた時，最尤推定法によって受で図 ₉ の配置で効率的に予測できる可能性がある。FP シス

験生の能力（習熟度）θ と問題の困難度（a, b）を同時に求テムでの問題設定はこのようなことに配慮して行われていめるのが項目反応理論である（図 ₇ ）。直接的に尤度を最大る。つまり，問題が ₇ 問あった場合，難易度を標準正規分にすると推定での計算過程に不安定性が起こるので，一般

布での z 値の問題を，­ ₃ ，­ ₂ ，­ ₁ ， ₀ ， ₁ ， ₂ ， ₃ のに，周辺化を行って θ の確率変数を消去した後に困難度パように一問ずつ配置する方法である。受験生の習熟度がラメータを求めることを行っている。その際，ベイズ推定，－₁ の学生は問題の困難度が－₁ の問題を₅₀％の確率で解く

EM アルゴリズム，MCMC（マルコフチェーンモンテカルロ）法などの計算法が使われている。
応答マトリクスはすべての要素に数値が入っている完全マトリクスで対応するのが普通であるが，場合によっては

図₅

項目反応理論での応答マトリクス

図₆

項目反応理論での応答確率分布

図₇

図₈
─ 161 ─項目反応理論でのパラメータ推定法

項目反応理論での不完全マトリクスへの対応

廣瀬英雄

図₉

図₁₀

項目反応理論での最適問題設定模式図
図₁₂

項目反応理論と古典的テスト理論の比較

図₁₃

項目反応理論と古典的テスト理論の比較

項目反応理論最適問題設定での予測精度て特に重要な，ドロップアウトのリスクを持つ学生を早期に発見して早めにアラートを発するような一つの方法について述べる。
プレースメントテストを行うと受験生の習熟度の分布がある程度把握できる。この分布そのものがそのまま動かずに継続するという錯覚を持つことが多いと思われるが，実図₁₁

アダプティブテスティングシステム

際にはテスト結果は確率的な変動を伴うものであり，一度の受験機会の結果がそのまま継続するものでは決してない。
図₁₄には，潜在的な習熟度に対して，テストによって得ことができるというように考えている。
このように，問題の困難度も推定できるようになれば，られたスコアの分布が複雑にからみあっていることを模式

受験生に最適な問題をシステムが自動的に判断して出題し的に示してみた。極端な言い方をすれば，非常に優秀なグてくれるアダプティブシステム（図₁₁）の設計も可能にループとその対照にあたるグループの変化は少ないと考えなってくる。FP システムでは，CWT と FPT にこのアダプられるが，中間層はその大きさが大きいことと変化の幅がティブテスティングを用いている。

大きいことからなかなかとらえどころがない。従って，中項目反応理論を古典的なテスト理論と比較してまとめたものを図₁₂に示す。また，最近の IRT の研究の方向性を図間層に入っているドロップアウトのリスクを持つ学生を早期に特定することは極めて困難である。
それは，プレースメントテストや LCT の結果から期末試₁₃に示す。

₃

験の合否を予測する困難さに直結している。例えば，図₁₅

ドロップアウトリスク学生の早期発見

は， ₂ 種類のプレースメントテストのスコアのヒストグラ

ここでは，ラーニングアナリティクスの中でも FP にとっムを示しているが，この分布のどこを閾値に設定すれば期─ 162 ─

大規模オンラインテスティングから得られるラーニングアナリティクス

図₁₄

潜在的な習熟度とテストスコアの分布の模式図

図₁₇

図₁₅

期末試験合格と不合格の ₂ グループの LCT の習熟度のヒス
トグラム

プレースメントテストのスコアのヒストグラム

図₁₈

LCT の合格回数と FPC の欠席回数の頻度分布の言い方をすると，LCT の合格回数が ₉ 回以下の学生にはアラートが有効かもしれない。
図₁₆

上の結果は，学期が終了してはじめてわかるので，期末プレースメントテストに LCT の結果を加えた散布図試験の合否予測には間に合わない。そこで，次に，LCT の末試験の合否を誤差最小にして予測できるかは難しい問題

ability のトレンドを毎授業で調べることで予測につながるになっている。

結果が得られないかと考えてみた。

図₁₆では，プレースメントテストに LCT の結果を加えて

図₁₉は，毎授業で得られた問題から推定された各学生のも，期末試験の結果が₆₀点以上になる学生と₅₉点以下にな各単元に対する ability 値のトレンドをみたものである。ゆる学生を識別することは難しいことが示されている。ここ

らぎが大きすぎてトレンドがつかめない。

で，LCT の結果は，全授業で実施された LCT の累積結果をそこで，当該授業までに得られた LCT の応答すべてを用いている。図₁₇に示すように，期末試験合格と不合格の使った応答マトリクスの累積値から ability 値を求めてその₂ グループの LCT の習熟度のヒストグラムを見ると，合格トレンドをみてみた。図₂₀，₂₁は，期末試験合格者の当該グループに中に不合格グループがすっぽりと埋め込まれてLCT 単元までの LCT 累積値から推定した ability 値のトレいるように見える。

ンド，期末試験不合格者の当該 LCT 単元までの LCT 累積

そこで，まず，LCT の合格回数と FPC の欠席回数の頻度値から推定した ability 値のトレンドを表している。

分布と期末試験の合否の間に対応関係がないか調べてみた。

両図には明らかな違いがありそうなので，期末試験に失図₁₈にそれを示す。図から，LCT の合格回数が₁₀回以上の敗するリスクを抱えた学生を早期に特定するための基準を学生は期末試験に失敗することはないように思われる。逆最近傍（Nearest Neighbor）で求めてみた。図₂₂に，トレ─ 163 ─

廣瀬英雄

図₁₉

LCT 単元に対する LCT の ability 値のトレンド

図₂₂

図₂₃

トレンド間の距離を用いた類似度

図₂₀

当該 LCT 単元までの LCT 累積値から推定した ability 値のトレンド（期末試験合格者）

図₂₄

図₂₁

距離を用いた類似度の求め方

当該 LCT 単元までの LCT 累積値から推定した ability 値のトレンド（期末試験不合格者）

期末試験の合格者予測数と実際の合格者と不合格めてそれらの学生の動向（期末試験の合否）から当該学生の期末試験の合否確率を求めることができる。この場合，確率は ₀ ，₀.₁，₀.₂，... ，₁.₀の₁₁パターンが得られる。そンド間の距離を用いて類似度を求める考え方を図示した。

こで，リスク管理に重要になりそうな確率として不合格率

図₂₃には，距離を求める数式を示した。

₀.₃から₀.₅の間について予測してみた結果が図₂₄である。

この方法を用いると，ある学生に最も似た学生を₁₀人集

図では，LCT の ₁ 回目から ₄ 回目まで， ₇ 回目まで，₁₁回

─ 164 ─

大規模オンラインテスティングから得られるラーニングアナリティクス

図₂₅

LCT 受験状況と FPT 受験状況についての関係

図₂₇

図₂₆

Recall Precision 曲線

ROC 曲線目までの ₃ ケースを示している。例えば，LCT の ₁ 回目から₁₁回目までの結果を使った場合，期末試験の不合格率が₀.₄以上になる人数を約₂₀₀人と予測しており，実際にその

図₂₈

ラーニングアナリティクスから得られた要点半数の₁₀₀人が期末試験に失敗していることがわかる。
図₂₅には，LCT の ₁ 回目から ₇ 回目までの結果を使った₄場合の，期末試験の各不合格率に対する実際の合格者数とまとめ不合格者数を示している。不合格率の設定を低くすれば不ここでは，項目反応理論（IRT, item response theory）に合格者を多く捕捉することができるが，一方で，合格者も基づく成績評価について，古典的テスト理論との比較を捉えてしまう。両者はトレードオフの関係になっている。

行った後，オンラインテスティングから得られるラーニン

図₂₆は， ₂ 値分類によく用いられる ROC 曲線を表したグアナリティクスのうち，特に，ドロップアウトのリスクものである。最適な合格率の設定値を求めたいのであるが，を抱えた学生の早期発見法の一つを紹介した。それは，当ここでは合格者ではなく，不合格者に興味があるのでコス該授業までに蓄積された LCT の結果をまとめて評価して，トにはそちらに多くのウエイトを置いた。ここでは，不合ability 値の各単元に対するトレンドを求めた上で，トレン格と合格に対するウエイトの比を ₄ ： ₁ とした。そのときド間の類似度に最近傍を用いて，リスク学生の早期予測をの最適な合格率の設定値は₀.₄となった。

行うものである。この方法によれば，リスクを抱えた学生

図₂₇は，Recall Precision 曲線である。これがトレードオフの関係を表していることになる。の半数は予測によって捕捉することが可能であることがわかった。また，LCT の不合格回数の割合が₂/₃を下回ると，これまで，オンラインテスティングの結果から得られた不合格リスクが高いことがわかった。

データからラーニングアナリティクスを行った結果，大まかに図₂₈にまとめられるようなことがわかった。
─ 165 ─

廣瀬英雄

文₁₃）廣瀬，フォローアッププログラムにおけるオンライン

献

テストの学生の受け止め方，広島工業大学紀要教育編，
pp. ₄₉-₅₃, Vol. ₁₆, ₂₀₁₇.

₁ ）廣瀬，大規模オンラインテスティングから得られるラーニングアナリティクスの方向性，日本システム経₁₄）廣瀬，ラーニングアナリティクス：授業確認テストと営学会イノベーション試行データ分析研究会招待講演，フォローアップ確認テストの受験トレンド，広島工業（₂₀₁₈.₆.₂₂）

大学紀要教育編，pp. ₅₅-₆₀, Vol. ₁₆, ₂₀₁₇.

₂ ）廣瀬，ラーニングアナリティクス：フォローアップ演₁₅）廣瀬，アダプティブテスティングにおける IRT 困難度

習（CWT）の場合，広島工業大学紀要教育編，pp.の推定：LCT の結果を用いた支援推定法，広島工業大₁₄₉-₁₅₅, Vol. ₅₁, ₂₀₁₇.

学紀要研究編，pp. ₁₀₃-₁₀₈, Vol. ₅₂, ₂₀₁₈.

₃ ）廣瀬，新入生全員を対象としたオンラインテストの実

₁₆）廣瀬，ラーニングアナリティクス：LCT と FPT の受験際，広島工業大学紀要教育編，pp. ₂₇-₃₅, Vol. ₁₆, ₂₀₁₇.

状況トレンド₂₀₁₇ vs ₂₀₁₆，広島工業大学紀要教育編，₄ ）廣瀬，フォローアップクラスにおける授業設計についpp. ₆₅-₇₀, Vol. ₁₇, ₂₀₁₈.て，広島工業大学紀要教育編，pp. ₃₇-₄₁, Vol. ₁₆, ₂₀₁₇.

₁₇）廣瀬，テスト問題の配点と得点調整に関する一考察：₅ ）廣瀬，LCT（習熟度確認テスト）と FPT（フォロー

項目反応理論との比較，広島工業大学紀要教育編，pp.

アップテスト）の受験状況と期末試験の関係，広島工業大学紀要研究編，pp. ₉₃-₁₀₁, Vol. ₅₂, ₂₀₁₈.

₇₁-₇₇, Vol. ₁₇, ₂₀₁₈.
₁₈）廣瀬，LCT（習熟度確認テスト）と FPT（フォロー₆ ）廣瀬，大規模授業支援テスティングシステムとそのアップテスト）の受験状況と期末試験の関係，広島工業大学紀要研究編，pp. ₉₃-₁₀₁, Vol. ₅₂, ₂₀₁₈.

ラーニングアナリティクス，統計数理，Vol. ₆₆, No. ₁,₁₉）作村，徳永，廣瀬，EM タイプ IRT による不完全マト

pp. ₇₉-₉₆, ₂₀₁₈.

リクスの完全化とその応用，情報処理学会論文誌，数₇ ）廣瀬，多様な学生集団から固有集団を早期に分類する

理モデル化と応用 Vol. ₇, No. ₂, pp. ₁₇-₂₆, ₂₀₁₄.

方法について，広島工業大学紀要教育編，pp. ₁₃₁-₁₃₅,

₂₀）Hideo Hirose, Meticulous Learning Follow-up Systems

Vol. ₅₁, ₂₀₁₇.
₈ ）廣瀬，ラーニングアナリティクス：授業確認テスト

for Undergraduate Students Using the Online Item

（LCT）の場合，広島工業大学紀要教育編，pp. ₁₃₇-

Response Theor y, ₅th International Conference on₁₄₇, Vol. ₅₁, ₂₀₁₇.

Learning Technologies and Learning Environments₉ ）廣瀬，ラーニングアナリティクス：フォローアップ演習（CWT）の場合，広島工業大学紀要教育編，pp.

（LTLE₂₀₁₆）, pp. ₄₂₇-₄₃₂, ₂₀₁₆.
₂₁）Hideo Hirose, Difference Between Successful and Failed

₁₄₉-₁₅₅, Vol. ₅₁, ₂₀₁₇.

Students Learned from Analytics of Weekly Learning₁₀）廣瀬，新入生全員を対象としたオンラインテストの実Check Testing, Information Engineering Express, Vol ₄,

際，広島工業大学紀要教育編，pp. ₂₇-₃₅, Vol. ₁₆, ₂₀₁₇.

No ₁, pp. ₁₁-₂₁, ₂₀₁₈.

₁₁）廣瀬，フォローアップクラスにおける授業設計につい₂₂）Hideo Hirose, Success/Failure Prediction for Finalて，広島工業大学紀要教育編，pp. ₃₇-₄₁, Vol. ₁₆, ₂₀₁₇.

Examination using the Trend of Online Testing Result,₁₂）廣瀬，フォローアップクラス参加による学習効果の確

₇th International Conference on Learning TecŠologies

認法について，広島工業大学紀要教育編，pp. ₄₃-₄₇,

and Learning Environments （LTLE₂₀₁₈）, ₂₀₁₈. toVol. ₁₆, ₂₀₁₇.

appear.

─ 166 ─