広島工業大学紀要研究編
第 ₅₃ 巻（₂₀₁₉）167 – 170

論文

アダプティブテスティングにおける IRT 困難度の推定：
3 年間の LCT の結果を用いた支援推定

廣瀬英雄*（平成₃₀年 ₉ 月₁₅日受付）

Estimation of IRT Difficulties in Adaptive Testing:
LCT Assisted Estimation Using Three Year Results
Hideo HIROSE(Received Sep. 15, 2018)

Abstract
In the previous paper dealing with the same issue as this paper’s issue, we propose to use the known
ability values from other testing results if the examinees are the same. In the follow-up program(FP) systems, we have been using three kinds of testing, the LCT (learning check testing), the CWT(collaborative work testing), and the FPT (follow-up program testing), in which the LCT provides accurate estimates for ability values. We used the LCT’s ability values in the CWT estimation. For stableestimation, we have used one-parameter estimation method (Rasch model) instead of two-parameter
estimation method which is used in common. The estimation is performed well in the computation
using one-year database. In this paper, we successively continue to estimate the item difficulties in asame manner but using three-year accumulated database of the LCT and the CWT access result.
Key Words: collaborative work testing, learning check testing, item response theory, Rasch model

1て，アクセスのあった問題に対してだけ問題の困難度を推はじめに定してデータベースにセットしている。

アダプティブテスティングでは，通常，何らかの方法で₂₀₁₆年度には，CWT のアクセス履歴から，受験者と問題事前に得られた問題の困難度を用いて受験者の能力あるいが集中した応答マトリクスの部分を両方ソーティングして，は 習 熟 度 を 推 定 し て い る。CWT（collaborative work

アクセス密度の高い部分マトリクスを抜き出し，問題の一testing）もアダプティブテスティングであり，定期的に部の困難度を部分的に求めていた。

チューニングをしながら受験者の習熟度を問題の困難度を求めている。

₂₀₁₇年度には，他のテスティング結果（LCT, learningcheck testing）からの受験者の習熟度を援用して問題の困データベースへのアクセス数が増えると自動的なパラ難度の推定を試みた。その結果， ₁ パラメータのラッシュメータの推定は可能になると思われるが，実際には，稼働モデルを使えばかなり安定的に比較的妥当な推定値が得らからある程度の時間が経っても応答マトリクスが密になられることが分かった。ただし，単年度でのデータベースをないことがある。このとき，問題の困難度の初期設定値か用いていた。

ら自動推定による設定値に移行する間の暫定的な措置とし

ここでは，過去 ₃ 年間で蓄積された LCT の ability 値と* 広島工業大学データサイエンス研究センター & 環境学部建築デザイン学科
─ 167 ─

廣瀬英雄

CWT のアクセス記録を用いて，CWT の困難度の推定値をに，フォローアッププログラムのシステムでは， ₃ つのオより精度が高くなるように，またより多くの問題に適用さンラインテスティンングが同時に動いており，アクセスすれるように，推定値の更新の結果について述べる。

る学生は共通である。そこで，他のデータベースから求め2られた受験生の習熟度を既知のものとして CWT の問題のCWT の応答マトリクスの変化

困難度を推定する利用することを考える。推定法について

図 ₁ に，₂₀₁₇年度前期（₂₀₁₇年 ₄ 月から ₇ 月）に CWTは，先に報告しているのでそちらを参照されたい。にアクセスされた応答マトリクスを示す。縦方向は受験者

図 ₃ に，LCT（解析基礎 A および線形代数 A からの両方）id，横方向は問題 id を表す。図では応答があった場合にはの結果を総合的に用いて求めた受験生の習熟度の箱ひげ図

黄色から赤色に色付けしているが，多くの要素への応答数を示す。₂₀₁₆-₂₀₁₈年度間の変化は特に感じられない。
図 ₄ にはこれらのヒストグラムを示す。図 ₃ ではところは小さいので黄色部分だけが多く見える。
また，図 ₂ に，₂₀₁₆年度から₂₀₁₈年度前期までに CWTどころ－₂.₅以下の値が固まって見えるが，LCT の受験ににアクセスされた応答マトリクスを示す。 ₃ 年間の蓄積に参加していない学生が主である。その内容は，授業欠席のより，データベースへのアクセス頻度が増していることが場合と₂₀₁₅年度以前でフォローアップのメンバーになって分かる。

いない学生である。そのような LCT に参加していない学生の情報は CWT にも関係が薄いので大きな影響は与えない。
図₅-₆に，₂₀₁₆-₂₀₁₈年度での CWT の各問題にアクセスしたときの，問題への正答数と誤答数を棒グラフにしてみたものを示す。前半の₇₀₀問までは縦軸を₁₀₀₀-₂₅₀₀のスケールにしているが，後半の₇₀₀問以降では縦軸のスケールを見やすさのため₁₀に変更している。₇₀₀問以降の問題は新規に登録された問題が多いのでアクセス数は少ない。
このように CWT へのアクセスの結果に，LCT から得られた受験生の習熟度を援用して求めた問題の困難度（b）の値を図 ₇ に示す。横軸は問題の id を表す。

₂₀₁₇年度前期の CWT 応答マトリクス（ほぼ全体）（縦方向は受験者 id，横方向は問題 id を表す）

-4-202

図1

図2

₂₀₁₆年度から₂₀₁₈年度前期までに CWT にアクセスされた応答マトリクス

3

LCT の結果を利用した困難度の推定法

LCTability2016

LCTability2017

LCTability2018

アダプティブテスティングのデータベースが単独に存在しているのであれば₂₀₁₆年度に推定したような EM-type アルゴリズムによる方法を用いることになるが，幸いなこと
─ 168 ─図 3 LCT での受験生の ability 値の箱ひげ図（解析基礎 A および線形代数 A からの両方を利用）アダプティブテスティングにおける IRT 困難度の推定

図6

CWT の各問題にアクセスしたときの，問題への正答数と誤答数（その ₂ ）年度"#$%&#

学生数

アク セス 数㻞㻜㻝㻢㻝㻝㻢㻜

㻞㻜㻝㻣

㻝㻝㻞㻝

㻞㻝㻝㻝㻟

㻞㻜㻝㻤

㻝㻝㻠㻠

㻟㻡㻢㻥㻟

㻡㻟㻝㻠㻥

合計

㻟㻠㻞㻡

㻝㻜㻥㻥㻡㻡

$#問題㻌困難度㻌b' %&#$$( ) #$" ' *#$" " &#$" ++#$" *, #$" ( " #$, ' $#$, " ' #$, , - #$, &( #$, ) ) #$, - *#$+$&#$+, +#$+&, #$+) " #$+- $#$&$' #$&" - #$&+( #$&*) #$&( *#$*' &#$*" +#$*+, #$**" #$*( $#$) ' ' #$) $- #$) , ( #$) &) #$) ) *#$) - &#$( $+#$( , , #$( &" #$( ) $#$( - ' #$- ' - #$- " ( #$- +) #$- **#$- ( &#" ' ' +#"' ", #
" ' +" #" ' *$#"' ( ' #"' - - #" $$( #" $, ) #" $&*#'#問題㻌㼕㼐

!' %&#!$#

図 4 LCT での受験生の ability 値のヒストグラム（解析基礎 A および線形代数 A からの両方を利用）

!$%&#

!" #

図 7 CWT 問題の困難度（b）の値（解析基礎 A および線形代数 A からの両方を利用）

4

まとめ
過去 ₃ 年間で蓄積された LCT の ability 値と CWT のアクセス記録を用いて，CWT の困難度の推定値をより精度が高くなるように，またより多くの問題に適用されるように，推定値の更新の結果について述べた。

文献₁ ）廣瀬，大規模オンラインテスティングから得られるラーニングアナリティクスの方向性，日本システム経営学会イノベーション試行データ分析研究会招待講演，.
（₂₀₁₈.₆.₂₂）
₂ ）廣瀬，ラーニングアナリティクス：フォローアップ演習（CWT）の場合，広島工業大学紀要教育編，pp.
図5CWT の各問題にアクセスしたときの，問題への正答数と誤答数（その ₁ ）─ 169 ─₁₄₉-₁₅₅, Vol. ₅₁, ₂₀₁₇.
₃ ）廣瀬，新入生全員を対象としたオンラインテストの実廣瀬英雄

際，広島工業大学紀要教育編，pp. ₂₇-₃₅, Vol. ₁₆, ₂₀₁₇.

大学紀要教育編，pp. ₅₅-₆₀, Vol. ₁₆, ₂₀₁₇.

₄ ）廣瀬，フォローアップクラスにおける授業設計につい

₁₅）廣瀬，アダプティブテスティングにおける IRT 困難度て，広島工業大学紀要教育編，pp. ₃₇-₄₁, Vol. ₁₆, ₂₀₁₇.の推定：LCT の結果を用いた支援推定法，広島工業大₅ ）廣瀬，LCT（習熟度確認テスト）と FPT（フォローアップテスト）の受験状況と期末試験の関係，広島工学紀要研究編，pp. ₁₀₃-₁₀₈, Vol. ₅₂, ₂₀₁₈.
₁₆）廣瀬，ラーニングアナリティクス：LCT と FPT の受験

業大学紀要研究編，pp. ₉₃-₁₀₁, Vol. ₅₂, ₂₀₁₈.

状況トレンド₂₀₁₇ vs ₂₀₁₆，広島工業大学紀要教育編，

₆ ）廣瀬，大規模授業支援テスティングシステムとそのラーニングアナリティクス，統計数理，Vol. ₆₆, No. ₁,

pp. ₆₅-₇₀, Vol. ₁₇, ₂₀₁₈.
₁₇）廣瀬，テスト問題の配点と得点調整に関する一考察：

pp. ₇₉-₉₆, ₂₀₁₈.

項目反応理論との比較，広島工業大学紀要教育編，pp.

₇ ）廣瀬，多様な学生集団から固有集団を早期に分類する
方法について，広島工業大学紀要教育編，pp. ₁₃₁-₁₃₅,

₇₁-₇₇, Vol. ₁₇, ₂₀₁₈.
₁₈）廣瀬，LCT（習熟度確認テスト）と FPT（フォローVol. ₅₁, ₂₀₁₇.

アップテスト）の受験状況と期末試験の関係，広島工₈ ）廣瀬，ラーニングアナリティクス：授業確認テスト（LCT）の場合，広島工業大学紀要教育編，pp. ₁₃₇-

業大学紀要研究編，pp. ₉₃-₁₀₁, Vol. ₅₂, ₂₀₁₈.
₁₉）作村，徳永，廣瀬，EM タイプ IRT による不完全マト

₁₄₇, Vol. ₅₁, ₂₀₁₇.

リクスの完全化とその応用，情報処理学会論文誌，数₉ ）廣瀬，ラーニングアナリティクス：フォローアップ演習（CWT）の場合，広島工業大学紀要教育編，pp.

理モデル化と応用，Vol. ₇, No. ₂, pp. ₁₇-₂₆, ₂₀₁₄.
₂₀）Hideo Hirose, Meticulous Learning Follow-up Systems

₁₄₉-₁₅₅, Vol. ₅₁, ₂₀₁₇.

for Undergraduate Students Using the Online Item

₁₀）廣瀬，新入生全員を対象としたオンラインテストの実

Response Theor y, ₅th International Conference on

際，広島工業大学紀要教育編，pp. ₂₇-₃₅, Vol. ₁₆, ₂₀₁₇.

Learning Technologies and Learning Environments₁₁）廣瀬，フォローアップクラスにおける授業設計につい（LTLE₂₀₁₆）, pp. ₄₂₇-₄₃₂, ₂₀₁₆.て，広島工業大学紀要教育編，pp. ₃₇-₄₁, Vol. ₁₆, ₂₀₁₇.

₂₁）Hideo Hirose, Difference Between Successful and₁₂）廣瀬，フォローアップクラス参加による学習効果の確Failed Students Learned from Analytics of Weekly

認法について，広島工業大学紀要教育編，pp. ₄₃-₄₇,

Learning Check Testing, Information Engineering

Vol. ₁₆, ₂₀₁₇.

Express, Vol ₄, No ₁, pp. ₁₁-₂₁, ₂₀₁₈.

₁₃）廣瀬，フォローアッププログラムにおけるオンライン

₂₂）Hideo Hirose, Success/Failure Prediction for Final

テストの学生の受け止め方，広島工業大学紀要教育編，

Examination using the Trend of Online Testing Result,pp. ₄₉-₅₃, Vol. ₁₆, ₂₀₁₇.

₇th International Conference on Learning Technologies₁₄）廣瀬，ラーニングアナリティクス：授業確認テストとフォローアップ確認テストの受験トレンド，広島工業

─ 170 ─and Learning Environments（LTLE₂₀₁₈）, ₂₀₁₈. toappear.