P1-13

適応型学習システムにおける実用的な問題分類手法の提案と評価
Proposal and Assessment of Practical Classification Method of Exercises
in Adaptive Learning System
阿部 晃大*1, 光永 悠彦*2, 山川 広人*3, 小松川 浩*1
Kodai ABE , Haruhiko MITSUNAGA*2, Hiroto YAMAKAWA*3, Hiroshi KOMATSUGAWA*1*1
公立千歳科学技術大学 大学院光科学研究科*1
Graduate School of Photonics Science, Chitose Institute of Science and Technology*2
名古屋大学 大学院教育発達科学研究科*2
Graduate School of Education and Human Development, Nagoya University*3
公立千歳科学技術大学 理工学部
*1
Faculty of Science and Technology, Chitose Institute of Science and Technology
Email: abe215@kklab.spub.chitose.ac.jp*1

あらまし：我々は, 授業の予習課題の達成状況を授業開始時に確認するための適応型学習システムの実用研究を行っている. 本研究では, 潜在ランク理論と教師が事前に設定した難易度双方を活用して, 過去の学習者の正否情報を参考に, 難易度毎の問題の再分類を行える仕組みを検討した. 実際にプログラミング授業で活用を図り, その有用性を検証した.
キーワード：e ラーニング, 問題分類, 潜在ランク理論

1.

を想定して設定されている.

はじめに我々は, 授業の予習課題の達成状況を授業開始時に確認するための適応型学習システムの実用研究を行っている. 本研究チームは先行研究において, 予習状況確認のための適応型学習システムを e ラーニングの機能として開発し, それを用いた授業モデルの構築と教育現場での活用を通じて, 一定の教育的効果を示した(1). この際, 問題の難易度は専門家が設定したルーブリックに沿って設定されていた. しかし, 専門家が設定した難易度が常に実際の学習者の正否情報 1 と整合性が取れるとは限らない. また,予習の場合, 問題の選択は学習者に預けられることが多く, 学習者の能力に呼応した, 均等な(一定数の)正否情報の取得も難しい. 本研究では, 欠損値を含む過去の学習者の正否情報に対し, 潜在ランク理論と専門家が事前に設定した難易度双方を活用して,難易度毎の問題の再分類を行える仕組みを検討した.

2.

授業モデル

本研究チームの上野らが提案した授業モデル(1)は,授業前に予習として学習教材を提示する. 講義の始めにテストを行い，予習状況を確認する. 学習成果の確認では，講義で扱う知識の理解度を測る. 単元毎の学習教材を理解度別に段階化して整備し, 学習成果の確認においても, この段階を提示する.
2.1 演習問題
演習問題はレベル 1〜7 までの理解度別に整備している. 問題の難易度の基準は専門家が設定したルーブリックに沿って, 低レベル帯(1〜2)が全般的な知識(用語)の理解, 中レベル帯(3〜5)が基本的な知識の活用, 高レベル帯(6〜7)が応用的な知識の活用
1

3.

潜在ランク理論 (LRT)

潜在ランク理論(以下, LRT)とは, 荘島により提唱されたテスト理論である(2). LRT は難易度の尺度は順序尺度であるため, 得点と能力の対応関係を説明することが容易になる. そのため, 難易度と学習モ
デルで定義する基準の対応関係の説明が容易になる
ことから, LRT を用いて難易度の推定を行う. LRT を用いて推定することができるパラメータとして, 各ランクの人が項目に正解する確率を示す指標である項目参照プロファイル(以下, IRP), 学習者の性質を示す指標であるランク・メンバーシップ・プロファイル(以下, RMP)がある. 本研究では, 荘島により開発された「Exametrika」を利用してパラメータの推定を行う(3).

4.

本研究で定義する問題分類手法

本研究では, 予習で取り組まれたときの正否情報を元に LRT を用いて難易度の推定をする. その際,LRT による問題の分類を基本としつつ, 欠損値の扱いに専門家の経験則を反映させる. 推定された難易度が分類ごとに変わる可能性があるため, 難易度の推定を一定の回数試行し, 最も頻度の大きい難易度を選択し, 分類する方法を採用することで, より信頼性の高い難易度変更を図る.
4.1 問題分類手法の手順
問題分類手法の手順を以下に示す.
1. 問題の難易度を変更する知識の正否情報を用意する.
2. 欠損値がある場合は補完する. (4.2 節参照)
3. Exametrika を利用して, LRT-SOM で問題の難易度を推定する. 推定モデルは二値モデルを指定する. 潜在ランク数は 7 とする.

正解, 不正解のデータの総評とする.

― 25 ―

教育システム情報学会 JSiSE2019
第44回全国大会 2019/9/11-9/13

4.

問題の難易度を一定の回数推定し, 推定結果(IRP)の最頻値がその問題の新たなレベルとして分類する.
5. 類似問題は, 類似問題確認機能2により, 同じ正否情報となるため, 同じレベルに分類される.
4.2 欠損値の補完
一般的に機械学習では, 確率的に欠損値を補完する. 正否情報を補完する手法として EM アルゴリズ
ムがある(4). 本研究では, 各問題に対して事前に専門家によって難易度が設定されていることから, その値に応じて, (1)式に示すロジスティックモデルを仮定して確率的に擬似的な正否情報を生成し, これを用いて補完した.
(1)(1)式に対して, b は問題のレベルと対応するパラメータ, a は 1, θは学習者の能力値である RMP を代入して計算する. 計算結果を元に正否情報を乱数生成させることにより, 補完される値が決まる.
4.3 問題分類の評価
分類された問題に対して, ルーブリックに適した難易度であるか, 専門家による評価を行う. また,一部レベルの問題が不足する場合は, 専門家が新規の問題を作成する.

5.

検証結果

本研究では, 公立千歳科学技術大学で行われた講義, 2018 年度 C プログラミング受講者 92 名の正否情報を元に問題分類手法を適用した. レベルが変更された問題に対し専門家により, ルーブリックに沿った分類が行われているか評価を行い, 問題の難易度を設定した. また, 問題が不足したレベルに対して,問題の追加を行った. 単元「配列」の問題における例を図 1 に示す.

1~3 回目の講義の予習範囲である「変数」, 「繰り返し文」, 「条件式」, 「配列」の単元の問題とする.
2018, 2019 年度の分類前後のレベル帯(3 段階)が一致した確率を表 1 に示す.
表 1. 分類前後のレベル帯(3 段階)が一致した確率
単元
2018 年度
2019 年度
0.760.95
変数0.590.92
条件式
0.640.89
繰り返し文
0.910.93
配列
学習者毎の問題初回取り組み時の正否情報を元にして, 2018, 2019 年度の C プログラミングの単元「関数」のレベル別の正解率を図 2 に示す. 縦軸は正解率, 横軸はレベル(7 段階)を示す. 左のグラフが 2018年度, 右のグラフが 2019 年度のデータである.

図 2. 単元「関数」 レベル別の正解率

6.

7.

図 1. 問題の難易度変更および新規作成の例
2019 年度 C プログラミングでは, 2018 年度の正否情報を元に分類および新規作成した問題を適応型学習システムで利用した. そして, 2019 年度 C プログ
ラミング受講者 101 名の正否情報を元に問題分類手法を適用した. 分類の対象は, C プログラミングの2

本研究チームの e ラーニングに実装されている機能. 問題の文字から抽出した単語同士をコサイン類似度で比較し, 類似する問題を定義できる.

考察

表 1 より, 2019 年度は 2018 年度と比較した結果,分類前後のレベル帯が一致した確率が上昇し, 8 割以上の問題がルーブリックに沿ったレベル帯に分類された. また, 図 2 より, 2018 年度ではレベルと学習者の正否情報における正解率の傾向は一致しないが,2019 年度はレベルに呼応して, 正解率が下降する傾向が顕著となった. 他の単元でも, 同様の傾向が見られた. そのため, 複数回の分類によって, ルーブリックと学習状況の双方を考慮した分類に対して一定の効果を示した.

まとめ

過去の学習者の正否情報を参考に, 難易度毎の問題の再分類を行える仕組みを検討した. 検証の結果,複数回の分類により, ルーブリックと学習状況の双方を考慮した分類に対して一定の効果を示した.
参考文献(1) 上野春毅, 加藤巽, 深町賢一, 立野仁, 山川広人,
小松川浩 : “CBT を活用した反転授業モデルの提案とプログラミング実習科目での評価”,
第 44 回教育システム情報学会全国大会(2018).
(2) 植野真臣, 荘島宏二郎 : ”学習評価の新潮流”,朝倉書店(2010).
(3) 荘島宏二郎 : ”エグザメトリカ”
http://antlers.rd.dnc.ac.jp/ ̃shojima/exmk/jindex.htm(参照 2019-06-14)(4) 加藤健太郎, 山田剛史, 川端一光 :”R による項目反応理論”, オーム社(2014).

― 26 ―