東海地区

教育システム情報学会 2021年度学生研究発表会

英単語並べ替え問題に解答する際に発生する迷いを用いた
Learning Analytics の試み
An Attempt of Learning Analytics Using Hesitation Occurring
When Solving Word-Reordering Problems
山川 智也*1, 宮崎 佳典*2, 坂野 僚亮*3Tomoya YAMAKAWA*1, Yoshinori MIYAZAKI*2, Ryosuke BANNO *3*1 静岡大学 情報学部
*1Faculty of Informatics, Shizuoka University*2 静岡大学学術院 情報学領域*2College of Informatics, Shizuoka University*3 静岡大学大学院 総合科学技術研究科情報学専攻*3Department of Informatics, Graduate School of Integrated Science and Technology, Shizuoka University
あらまし：英単語並べ替え問題は，与えられた日本文に合うよう，ランダムに並べられた英単語群を正し
い順序に並べ替える問題である．現在開発中の Web アプリケーションでは，学習者のマウス軌跡等の情報を取得することで，学習者による解答中の迷い推定を目指している．本稿では，取得データに対して学習者や教師にも理解しやすいようなインタフェースを考案し，Learning Analytics に資する提示法に取り組む．
キーワード: 英単語並べ替え問題，迷い推定，マウス軌跡，インタフェース，Learning Analyticsている．

1. はじめに
これまでの教育システムは紙媒体を中心としたものが多数を占めていた．しかし，電子媒体を使用しての教育システムが近年注目されている．電子媒体を用いることで，学習者はゲーム感覚で気軽に学習することや，学習データを取る際にも大量のデータを取得することが可能となった．また，学習ビッグデータを収集し，分析することで教育分野に生かすといった Learning Analytics（LA）という研究がここにきて活発に行われている．
今回は，現在着手している英単語並べ替えアプリ
ケーションにおいて，取得した学習データを分析し，学習者や教師に有益な情報を提示することで，アプリケーションの利便性向上を図る．

図 1 解答画面インタフェース概要図
上記に示したインタフェース画面より，マウスの座標情報や速度情報を特徴量として取得し，機械学習によって学習者の迷いを分析する．現在は，迷いを分析するアルゴリズムとしてランダムフォレストを用いている．実装には Python のライブラリである
scikit-learn を使用している．
次に，履歴データの検索インタフェースを図 2 に示す．履歴データの検索では，学習者単位で情報を取得できる学習者検索，問題単位で情報を検索できる問題検索，そしてマウスの軌跡情報などを検索できる履歴データ検索を実装している．アプリケーシ
ョンの利用者として想定されている学習者と教師は，これらの検索機能を用いて特定の問題を表示させたり，特定の履歴データのみを抽出したり，マウスの軌跡再現を行うことができる．

2. システムの概要
現在作成しているシステムのうち，学習者が解答する際に使用するインタフェースを図 1 に示す．問
題解答画面では，問題提示欄，解答欄，単語退避レジスタとして 3 つのレジスタが用意されている．学習者は，日本文にあった英文になるように，問題提示欄から解答欄へ D&D（ドラッグ&ドロップ）操作によって移動させる．単語退避レジスタは，単語を一時的に退避させたいときに使用してよい．また，学習者は，複数の単語を同時に選択して移動できるグループ化機能も用いることができる．そして，全ての単語を問題提示欄から解答欄へ移動させて解答が終了したら迷った単語と迷い度の選択を行う．迷い度とは，1 問を解く間にどの程度迷ったのかを示すものである．迷い度としての選択肢は「ほとんど迷わなかった」，「少し迷った」，「かなり迷った」に加えて「誤って決定ボタンを押した」の 4 つとなっ

85

東海地区

教育システム情報学会 2021年度学生研究発表会の問題を提示する．また，「不正解で迷いがない」ものについては，同じ文法項目かつ，同じレベルの問題を提示することとした．
「正解で迷いがない」ものについては，問題に対する理解が十分であると判断し，問題は提示しないこととした．
「不正解で迷いがない」もの練習問題提示画面を図 3 に示す．

図 2 検索画面インタフェース概要図

3. 実装の方針
今回は，2 節（システムの概要）で示した履歴データ検索部分を変更した．履歴データでは現在以下に示す項目について検索を行う．検索を行うと，その検索項目にマッチするようなデータが表示される．
・正誤
・解答時間
・期間（問題を解いた日付） ・自信度（迷い度）
・U ターン回数 ・D&D 回数
・グルーピング（グループ化の有無） ・D&D rev 回数
しかし，解答時間や U ターン回数，D&D 回数な
どは機械学習によって迷いの分析を行うために取得したマウスの軌跡情報のため，システム利用者はこのデータが実際にどのような意味を持つのかを理解することが直感的に難しい．今回は，これらの検索機能を改善し，迷いの有無によって検索を行えるようにした．ここで，迷いの有無の判定には上記で示した機械学習を用いている．正解と迷いの有無については以下のようなパターンが発生する．
・正解したが迷いがある・正解したが迷いがない
・不正解だが迷いがある・不正解だが迷いがない
これらの条件について，以下のような仮説を立てた．
まず，「正解で迷いがある」については問題の英文に対する理解度が浅いため解答に自信を持てていない．
「正解で迷いがない」については，問題の英文に対する理解が十分であるため問題点は見当たらない．
「不正解で迷いがある」については，英文に対する理解が浅く，また不正解であるため理解を深める必要がある．
「不正解で迷いがない」については，問題作成者が意図したか如何に関わらず，いわゆる「ひっかけ問題」になってしまったか，ケアレスミス，英文の理解・解釈が誤ったものになっている．
以上のそれぞれの仮説に対し，システム利用者に有益な情報を提示することで，アプリケーションの利便性向上を試みた．

図 3 迷い度による検索結果インタフェースの概要図
これによって，学習者は迷いがある場合や不正解の時は，練習問題を再度解くことができ，学習に役立てることができるようになる．また，教師は，類似問題の問題をさらに検索することで，迷い度が高く示されている問題はどのようなものなのかを知り，学習改善に役立てられるようになる．

5. 今後の展望・課題
今回はデータベースに格納されているマウスの軌跡情報から得られる「迷い」という項目を，検索する情報に付加することで，学習者と教師それぞれに対し，類似問題の提示を行った．これにより，システム利用者の学習者にとっては自学を進める際の材料となり，教師にとっては授業改善するための材料となると考えられる．今後は，類題を提示するほかに，本実験で取得している英文のどの部分で迷いが生じたのかという「迷いの原因の単語」というパラメータがあるが，そのパラメータを用いて迷いの部分を分かるように可視化しフィードバックを行うという手法も考える．また，今回は迷いの有無として2 値で与えたが，実際はいくつ以上の一致率であれば迷いありと判断するのかということも同時に検討していかなければならないと考えている．

参考文献(1) 米津康香，宮崎佳典，ほか，英単語並べ替え問題における解答中の動作履歴を用いた迷い検出，外国語教育メデ
ィア学会中部支部研究大会，2018.

4. 実装(2) 山田政寛，ラーニング・アナリティクス研究の現状と先ほど立てた仮説より，「正解で迷いがある」というものと，「不正解で迷いがある」ものについては，迷いのある問題の文法項目を抽出し，同じ文法項目今後の方向性，日本教育工学会論文誌，2017，41 巻，3 号，pp. 189-197.

86