北海道地区

教育システム情報学会 2018年度学生研究発表会

潜在ランク理論を用いた適応型学習システムにおける問題分類アルゴリズムの提案
Proposal of Algorithm for Classification of Exercises
in Adaptive Learning System Using Latent Rank Theory
阿部 晃大*1, 光永 悠彦*2, 小松川 浩*1
Kodai ABE , Haruhiko MITSUNAGA*2, Hiroshi KOMATSUGAWA*1*1
千歳科学技術大学 理工学部
*1
Faculty of Science and Technology, Chitose Institute of Science and Technology*2
名古屋大学 大学院教育発達科学研究科*2
Graduate School of Education and Human Development, Nagoya University
Email: abe215@kklab.spub.chitose.ac.jp*1

あらまし：本研究グループでは適応型学習システムで利用される問題に対して, 専門家の経験則に基づいて難易度を設定していたが, こうした難易度は必ずしも学習状況に呼応する設定になるとは限らない. 本研究では, 潜在ランク理論を用いた難易度の推定と専門家の経験則に基づいた難易度の両方を考慮して自動的に問題の難易度変更を行う問題分類アルゴリズムの提案をする. そのアルゴリズムを元に難易度変更を行った問題に対して, 専門家による評価を行う.
キーワード：e ラーニング, 問題分類, 潜在ランク理論

1.

3.

はじめに近年, 学習者に必要な資質・能力を確実にかつ効果的に育む教育の実現に向けた学習方法の一つとして, 学習者の理解度に応じた教材・問題の選択等の個に応じた学習を提供する「アダプティブラーニン
グ」に関する取り組みが推進されている(1). 本研究チームは先行研究において, 項目反応理論(以下, IRT)を組み込んだ適応型学習システムを e ラーニングの機能として開発し, それを用いた授業モデルの構築と教育現場での活用を通じて, 一定の教育的効果を示した(2). この際, 運用上の観点で IRT に基づく事前テストにより推定される難易度の代わりに, 問題を作成した専門家の経験則に基づいた難易度を設定している. しかし, こうして設定された難易度は専門家の経験則による観点からの妥当性は担保されるものの, 必ずしも学習状況に呼応するとは限らない.
本研究では, こうした専門家の経験則に基づいた難易度と蓄積された学習者の学習状況の両軸を考慮して, 自動的に問題の難易度変更を行う問題分類アルゴリズムの提案を目的とする.

2.

本研究で利用するテスト理論

3.1 項目反応理論 (IRT)
IRT とは, テスト受験者の能力値を推定するテスト理論である(3). 項目とはテストに出題される設問のことを指す. IRT は, 受験者の能力値である項目難易度(b)は -3 から +3 の間隔尺度で, 等間隔性を持った連続変数で示される. 本研究チームの先行研究
で適応型学習システムに IRT を用いるときに利用したモデルは 2 パラメータ・ロジスティック・ モデル(以下, 2PM)である. 2PM を用いたときの式を次に示す.
(式 1)
項目識別度(a)とは, 能力の差によって項目に正答する確率がどの程度変わるか示すパラメータである.
θは受験者の能力値を示す. 式中の i は対象となる項目 i を示す. 式中の定数 D は 1.7 とする.

本研究で利用する授業モデル

本研究チームの加藤らが提案した授業モデル(2)は，予習で知識の習得を前提とし, 授業中は実習形式の課題に取り組む, いわゆる反転授業を基本とする.
修得させたい到達目標を授業 3 回分で設定する. 知識群をレベル 1〜7 までの演習問題として整備して,これを IRT で稼働する適応型の演習問題の形で，学習者が予習として取り組めるようにしている. 問題の難易度の基準は, レベル 1〜2 が全般的な知識(用語)の理解, レベル 3〜5 が基本的な知識の活用, レ
ベル 6〜7 が応用的な知識の活用を想定して設定されている.

93.2 潜在ランク理論 (LRT)
潜在ランク理論(以下, LRT)とは, 荘島により提唱されたテスト理論である(4). LRT は難易度の尺度は順序尺度であるため, 得点と能力の対応関係を説明することが容易になる. そのため, 難易度と学習モデルで定義する基準の対応関係の説明が容易になる
ことから, LRT を用いて難易度の推定を行う. LRT を用いて推定することができるパラメータとして, 各ランクの人が項目に正解する確率を示す指標である項目参照プロファイル(以下, IRP), 学習者の性質を示す指標であるランク・メンバーシップ・プロファ
イル(以下, RMP)がある. 本研究では, 荘島により開発された「Exametrika」を利用してパラメータの推定を行う(5).

北海道地区4.

教育システム情報学会 2018年度学生研究発表会

5.

問題分類アルゴリズムの提案

問題分類アルゴリズムの検証結果

本研究では, 千歳科学技術大学で行われた講義, Cプログラミングの受講者 98 名を対象した. 問題の難易度変更を目的として, 受講者の正誤情報を元に問題分類アルゴリズムを適用した. C 言語の知識「関数」の問題を分類した結果を欠損値補完前と補完後の 2 種類のグラフで示す(図 1). 縦軸は問題数, 横軸は分類後のレベルを示す. 色分けされたデータ系列
は専門家が設定したレベルを示す.

4.1 問題分類アルゴリズムの目的
本研究では, 順序尺度で推定される得点と, 学習者の能力の対応関係を説明することが容易となることから, LRT を用いて難易度の推定を行う. しかし,LRT では問題を作成した専門家が設定した難易度を考慮しない分類になる. また, 欠損がある正誤情報 1を乱数生成した値で補うため, 変更された難易度が推定ごとに変わる可能性がある. そのため, 本研究で提案する問題分類アルゴリズムでは, LRT を用いた難易度の推定と専門家の経験則に基づいた難易度の両方を考慮するために二つのアプローチをとる.
第一に, LRT による問題の分類を基本としつつ, 欠損値の扱いに専門家の経験則を反映させる. 第二に,変更された難易度が分類ごとに変わる可能性があるため, 難易度変更を一定の回数試行し, 最も頻度の大きい難易度を選択する方法を採用することで, より信頼性の高い難易度変更を図る.
4.2 正誤情報の取得方法
本研究では, テストや予習等の全ての正誤情報を利用する. また, 各レベル帯が均等に取り組まれている正誤情報が望ましいため, 3 回の予習期間ごとに正誤情報を取得し, 受講者全員の問題ごとの初回取り組み時の正誤情報を取得する.
4.3 欠損値の補完

図 1： 問題の分類結果 (左:欠損値補完前 右:補完後)6.

考察

問題分類アルゴリズムは今回検証した知識において, 問題が専門家の設定と一致したレベルに分類された割合が欠損値補完前は 0.274, 補完後は 0.661 となり, 欠損値補完後は問題の 6 割以上が専門家の設定と一致したレベルとなった. また, レベルが変更された問題は専門家による評価によって, 変更後のレベルが妥当であると確認された. そのため, 問題分類アルゴリズムによって, 専門家の経験則に基づいた分類に対して一定の効果が示された.
C 言語の知識「配列」において, 問題分類の結果,一部レベルの問題が不足した. そのため, 専門家によって, 該当レベルの問題の追加を行う必要ある.
今後の展望として, 蓄積された受講者の正誤情報を利用して, 自動的に問題の分類を行うために, 問題分類アルゴリズムを e ラーニングに実装していく.
さらに, 一部レベルの問題が不足することから, 専門家に対して問題の追加が必要なレベルを提示するシステムを実装していく.
参考文献(1) 文部科学省 , 経済産業省 , 総務省 : ”学校教育における ICT、データの活用”

本研究では, 各問題は事前に専門家によって難易度が設定されていることから, その値に応じた確率を式 1 を元に擬似的な正誤情報で確率的に欠損値を補うこととした. b は専門家が設定したレベルと対応する項目パラメータを代入する. a は固定値として 1 を代入する. θは RMP を欠損値補完前のデータを元に推定し, 学生の能力値に対応するパラメータを代入して計算を行う. 計算結果を元に正誤情報を乱数生成させることにより, 補完される値が決まる.
4.4 問題分類アルゴリズムの手順
学習状況を考慮して, 問題の難易度を変更を行う
問題分類アルゴリズムの手順を以下に示す.
1). 問題の難易度を変更する知識の正誤情報を用意する(4.2 節参照).
2). 欠損値がある場合は補完する(4.3 節参照).
3). Exametrika を利用して, LRT-SOM で問題の難易度を推定する. 推定モデルは二値モデルを指定する.
潜在ランク数は 7 とする.
4). 問題の難易度を 30 回推定し, 推定結果(IRP)の最頻値がその問題の新たなレベルとして分類する.
5). 類似問題は, 類似問題確認機能 2により, 同じ正誤情報となるため, 同じレベルに分類される.

https://www.kantei.go.jp/jp/singi/keizaisaisei/miraitoshikaigi/suishinkaigo2018/koyou/dai3/siryou5.pdf (2018).

(2) 加藤巽, 上野春毅, 吉田史也, 塚田尚幸, 立野仁,山川広人, 深町賢一, 小松川浩 : “適応型学習支援システムの反転授業への導入と評価”, 教育シ
ステム情報学会 2017 年度第 2 回研究会(2017).
(3) 植野真臣, 永岡慶三 : ”e テスティング”,培風館(2009).
(4) 植野真臣, 荘島宏二郎 : ”学習評価の新潮流”,朝倉書店(2010).
(5) 荘島宏二郎 : ”エグザメトリカ”

1 正解,不正解のデータを総称する用語とする.
本研究チームの e ラーニングに実装されている機能. 問題の文字から抽出した単語同士をコサイン類似度で比較し, 類似する問題を定義できる.
2

http://antlers.rd.dnc.ac.jp/ shojima/exmk/jindex.htm
̃10