JSiSE Research Report
vol.38,no.2(2023-7)

学習履歴と教員ポリシー双方を考慮した
CBT の難易度分類アルゴリズムの構築
荒関虹希*1，上野春毅*2，小松川浩*1*1 公立千歳科学技術大学大学院 理工学研究科 *2 公立千歳科学技術大学 理工学部

Construction of a CBT Difficulty Classification Algorithm
Considering Both Learning History and Teacher Policy
Koki Araseki *1，Haruki Ueno*2，Hiroshi Komatsugawa*1*1 Graduate School of Science and Engineering，Chitose Institute of Science And Technology*2 Faculty of Science and Technology, Chitose Institute of Science and Technology
We construct and evaluate a difficulty classification algorithm for a wide variety of exercises and test
materials consisting of images and texts managed by each material provider. In the previous study,
classification was performed by using test theory to supplement missing values based on learning
history. In the present study, we use machine learning, including learner’s test results with missing
values and the learning policy designated by teachers.
キーワード: 個別最適化，テスト理論，機械学習，難易度分類，教員ポリシー

1. はじめに

現場教育に即した個別最適な学習支援の観点では，現近年，初等中等教育機関での Giga スクール構想を通じて，学校と家庭を繋ぐ中での個別最適な学習を図ることが求められている．そのための学習支援システムとして，オンライン上で演習やテスト問題を管理し，個々の学習者に適した教材提供する Computer-based Testing(CBT)の活用が期待されている．その一例として，文部科学省が提供する CBT システム（MEXCBT）や，商用の AI ドリルが挙げられる．しかし，MEXCBT(1)は出版社や専門家が提供する複数の教材提供が提供した体系的な無償の問題群を，管理者が一元的に管理して提供するものであり，適応的に問題を出題する Computer-Adaptive-Testing(CAT)形式にはなっていないため，個別最適な学習支援の観点で課題が残る．一方，商用の AI ドリルには，CAT 機能は実装されているが，提供教材がベンダー固有の有償教材となっている．そのため，各地域特性や学校の置かれている状況が異なる現在の日本の教育事情を考慮すると，必ずしも現場教員の日頃の教育活動に即した個別最適な学習支援を図れているとはいえない．

場に近い多くの教材提供者（都道府県・市町村単位の教育委員会や複数の学校コミュニティ）が柔軟に無償の CAT向けの教材を提供できることが望ましい．しかし，教材を更新する際に，都度各演習やテストの難易度の設定が必要となり，現場教員の負担という観点で課題が残る．
さらに，信頼性・妥当性の高い真正な評価を意識したテスト理論に基づく（公開性が担保されている）難易度の設定を各教育現場レベルで行うことは，現実的ではない．
そこで本研究では，テスト理論と機械学習アルゴリズ
ムを活用して，教育現場が日頃から保有する多種多様なテストや演習問題群に対する難易度自動分類アルゴリズ
ムの構築を目的とする．それにより，教育委員会や学校といった各教材提供者内で運用できる個別最適な学習向
けの CAT システムの実現を目指していく．
実証的な研究を進めるため，現場教員が日頃活用している実際の CAT における問題の難易度の自動調整を想定し，北海道内に 9 万人規模のユーザを持つ CISTSolomon(2)の CAT を基盤システムとして扱う．当該システ
ムにおけるテストは，テスト理論による CAT のロジック－142－で稼働している．

2.3 本研究の位置づけ
テスト理論では，真正な評価を意識すると各演習問題

2. 先行研究と本研究の位置づけに大規模なテスト履歴に基づき複数のパラメータ推定が2.1 テスト理論必要となる．一方，近年初等教育での Giga スクール推進

難易度分類に関する先行研究では，テスト理論が採用や高等教育でのポストコロナでのオンライン教育の普及されることが多い．テスト理論とは，テストに関する知に伴い，教育機関独自に e ラーニングの教材運用する事識体系や能力判定のための統計モデルの理論であり，テ例が増えている．こうした学習コミュニティでは，現場ストの標準化・尺度化を主な目的としている．テスト理教員が適宜教材管理することから，演習問題の学習履歴論は，項目の難易度・識別力を測定する項目反応理論も均質とならない．そこで，本研究では教材提供コミュ(Item Response Theory :IRT）(3)や潜在特性を順序尺度ニティ単位での教育事情（内容）に応じた個別最適な学にした潜在ランク理論（Latent Rank Theory :LRT）(4)が習の提供を可能にするために，テスト理論に基づく CAT代表的である．

に対し，教員の教育ポリシーを反映した機械学習アルゴリズムで置き換えたロジック構築を図り，その有用性を評価する．

2.2 先行研究の例
金西らの研究(5)では，初年次教育の理系基礎科目を対本研究では，先行研究が持つ課題点を解決するために，象とした大規模な演習教材群に対し，CAT を用いた個別最汎用的な実稼働システムである CIST-Solomon の学習履

適な学習システムの仕様検討を行った．その際，学習シ歴を事例として扱い，ルーブリックを入力パラメータとステムにおける問題の作成と解答履歴の収集を行い，IRTして追加した全結合型ニューラルネットワーク(Neuralを用いた問題の難易度分類を試みた．その結果，IRT を用

Network :NN)のアルゴリズム構築を目指す．このとき，いて正確な難易度分類を行うためには，様々な理解状況

LRT が IRT よりも分類において優れた性能を表すため，の学習者から学習履歴を収集する必要があるとした．

阿部の先行研究をもとにアルゴリズムの構築を図る．

阿 部 の 研 究 で は ， CIST-Solomon の 回 答 履 歴 とExametrika(6)(LRT を実装可能なシステム) を用いて推定

3. アルゴリズムの構築と評価された IRP をもとに難易度更新を行った．なお難易度は3.1 難易度の定義

レベル 1～7 の 7 段階としていた．具体的な阿部のアルゴ本研究では，CIST-Solomon における理解度テスト(CAT)

リズムを図 1 に示す．最初に CIST-Solomon のデータベーの学習履歴をもとに，難易度分類モデルの作成を行う．

スからある単元の回答履歴を抽出し，Exametrika を用いそのため，難易度更新の対象として，本学の講義内で理て RMP（受験者のランク確率）を推定する．このとき，抽解度テストを例年実施している「アルゴリズムとプログ出した回答履歴には欠損値があるため，阿部が作成したラミング」から，「再帰処理」と「ソートアルゴリズム」

システムでは RMP をもとに正答する確率を仮定し，重みの 2 単元を選択した．ただし，この 2 単元は先行研究付けを行ったうえで欠損値を補完していた．その後，補である阿部のアルゴリズムによって難易度が更新された完済みの回答履歴（Excel ファイル）を再度 Exametrika単元である．そのため，この 2 単元の難易度は，問題をで分析し，推定された IRP を各問題の更新された難易度

登録した専門家の意見や LRT による推定等，多角的観点としていた．

から定められたものである．また，2 単元を対象とした理由は，検証の際に単元による相違点を比較するためである．
3.2 難易度分類アルゴリズムの構築
阿部の先行研究では，CIST-Solomon における理解度テストの問題が真正な評価に基づくと仮定し，LRT を活用す

図 1 阿部のアルゴリズム

ることで潜在ランク R1～R7 を求め，最大となる潜在ラン－143－クを問題の難易度として推定していた．一方で，学生の第二に，図 3 に示すような Exametrika と阿部のシステ自習で活用されるシステムでは，学習者毎に回答する問ムによる欠損値補完と NN を組み合わせたアルゴリズム

題も異なる．また，適宜教員による問題の追加も行われを構築した（以下，アルゴリズム 2 とする）
．アルゴリズることを考慮すると，未解答の回答履歴（欠損値）も多ム 1 では，補完後のデータに対して Exametrika を通すこい．これに対して，阿部の研究では一般的な NN で用いらとで LRT による潜在ランクを推定し NN の入力に利用しれる最尤推定による，確率に基づいたデータ補完が行わた．一方で，アルゴリズム 2 では，補完後のデータかられていた．この場合，LRT の構造自体が教師なし NN であ算出された基本統計量を NN の入力に用いることで，テスる Neural Network SOM（SOM）(7)と同じであるため，上記ト理論に依存しないアルゴリズムを目指した．のデータ補完を含めて，データ補完を含めた全結合型のNN を用いた機械学習モデリングで表現できる可能性がある．一方で，実稼働システムでは，真正なデータが揃わないデータに対しては，表 1 に示す教員の教育ポリシー（ルーブリック）に沿って問題の難易度を決めている．そこで，本研究では NN の入力パラメータとしてルーブリックを追加し，教師データを教員により更新された難易度と図 3 アルゴリズム 2することで，全結合型 NN による難易度分類アルゴリズムの構築を図ることとした．

第三に，図 4 に示すような学習履歴の欠損値補完を行

表 1 レベルとルーブリックの対応表
レベル
12

わず，NN のみによるアルゴリズムを構築した（以下，ア

ルーブリック

ルゴリズム 3 とする）
．アルゴリズム 2 では欠損値補完を初級行ったうえで NN を適用していたが，アルゴリズム 3 では，Exametrika による補完を行わず欠損値が存在するデ34ータから算出された基本統計量を NN に用いた．そのため，

中級

LRT に依存しないアルゴリズムとなり，将来的にシステム567のみによる自動更新を可能にした．
上級第一に，
図 2 に示すような阿部のアルゴリズムに NN を組み合わせたアルゴリズムを構築した（以下，アルゴリ
ズム 1 とする）．すなわち，アルゴリズム 1 では LRT をNN の入力層として明示的に利用した．さらにルーブリッ
ク情報を入力層に加え，3 層構造の NN を構築することで，教員の意見が一定程度反映される難易度更新アルゴリズ
ムとした．

図 4 アルゴリズム 33.3 モデルの作成
前述の阿部のアルゴリズムとアルゴリズム 1～3 を用いて，「再帰処理」と「ソートアルゴリズム」の 2 単元において計 8 種類のモデルを作成した．本研究におけるモデルの教師信号とは，阿部のアルゴリズムによって 2021
図 2 アルゴリズム 1年の解答履歴をもとに分類された問題を，担当教員が単－144－元ごとに相対評価することで再定義した難易度である．のアルゴリズムも適切な更新・分類が行われたとはいえそのため，学習時における入力データは 2021 年の解答履ない．

歴とすることが望ましい．しかし，2021 年の解答履歴の表 2 モデルによる単元ごとの評価みを用いた場合，「再帰処理」の問題数は 79 件，「ソート再帰処理アルゴリズム」の問題数は 93 件のみであり入力データがアルゴリズム

精度(%)

標準偏差

ソートアルゴリズム
精度(%)

標準偏差

阿部のアルゴリズム

65.8

7.12

62.4

14.1

不足する．そのため，本研究では学習時の入力データをアルゴリズム1

79.8

6.39

54.822.6

2017～2020 年の解答履歴，教師信号を教員により更新さアルゴリズム2

58.2

7.56

73.1

16.6

アルゴリズム384.8

7.68

78.5

10.2

れた難易度とすることでデータセットを 4 倍にかさ増しした．また，推論時の入力データは 2021 年の学習履歴とし，教師信号は学習時と同じく教員により更新された難4. 考察と今後の展望易度とした．この際，2017 ～2020 年の各単元の問題は2021 年のものと同質であり，担当教員は主に問題の内容以上より，本研究における精度の観点からは，アルゴとルーブリックをもとに難易度を更新しているため，

リズム 3 すなわち NN のみで構成されたアルゴリズムが最2017～2020 年においても担当教員は同様の更新を行うも優れていたと推測される．これは潜在ランク理論が大と仮定した．NN のハイパーパラメータに関しては，「再規模かつ欠損のないデータを前提に提唱されているもの帰処理」のモデル作成時に調整を行い，epoch 数を 1000，であり，本学における CAT 形式の理解度テストではデーバッチサイズを 1 として固定した．

タ欠損やデータ不足が見られるため，充分に作用しなかったためと考えられる．しかし，本研究では入力データ3.4 モデルの評価として，阿部の先行研究によって専門家の意見や LRT な更新された難易度を評価する際に，観点により難易度どの多角的観点から難易度分類が行われた問題を使用しの解釈が異なるため，一般的に「正しい難易度」とする指ている．そのため，NN のみのアルゴリズムに関しても，標は存在しない．そこで本研究では，「アルゴリズムとプ入力データを通して LRT が作用している可能性も捨てきログラミング」の担当教員に難易度更新における協力をれない．

依頼し，その難易度を一時的に「正しい難易度」と定義し一方で，各レベルにおける問題数の分布の観点からは，た．そのため評価における精度とは，開発したモデルに担当教員が更新したものと比較すると，レベル間におけより推定された難易度と担当教員が更新した難易度の一る分布の偏りがあり，なかには 1 問も属していないレベ致度を示している．

ルが存在するなど，実稼働システムとしての課題が残る．

表 2 に各モデルによる単元ごとの評価を示す．ここでこの課題の要因としてモデリングの手法が挙げられる．

レベル毎の問題数の分布を測るために，標準偏差も求め改善案としては，2021 年の解答履歴と担当教員により与た．精度に着目すると，先行研究である阿部のアルゴリ

えられた教師データのデータセットを増やすことが挙げズムではどちらの単元も約 6～7 割の精度であったが，られる．そのため，本研究では 2 単元に対してそれぞれ本研究で提案したアルゴリズム 1～3 のうち，「再帰処理」

モデルを作成したが，教員による難易度分類を行った対ではアルゴリズム 1・3 が約 8 割，「ソートアルゴリズム」

象単元を増やし，単元を越えて各レベルの分布が均等にではアルゴリズム 2・3 が約 7～8 割と高い精度を示した．

なるようにデータを混ぜて学習することで課題解決が見

特に，潜在ランクを一切扱わないアルゴリズム 3 は，２込まれる．また，別の要因としてルーブリック，すなわちつの単元において最も高い精度を示していた．

教員ポリシーの学習効果が弱いことが挙げられる．実際

標準偏差に着目すると，「再帰処理」ではアルゴリズムに教員が問題の難易度を設定する際には，回答履歴では1 が最も小さく，「ソートアルゴリズム」ではアルゴリズなく各問題文の文脈に着目している．そのため，難易度

ム 3 が最も小さかった．しかし，実際に分類された問題分類をする際に文脈の類似度も考慮する必要があると考を分析すると，問題数が 0～2 問ほどしかしないレベルもえられる．

存在した．そのため，理解度テストを構成するうえでど－145－

今後の展望として，BERT を用いて問題文のベクトル表現を算出し，NN の入力層に組み入れることで難易度分類にどのような影響があるのかを分析していきたい．

参 考 文 献(1) 文部科学省．
“文部科学省 CBT システム（MEXCBT: メクビット）について” ．
https://www.mext.go.jp/a_menu/shotou/zyouhou/
mext_00001.html（2023 年 6 月 10 日確認）
(2) 公立千歳科学技術大学．“e ラーニングシステム
CIST-Solomon ” ．公立千歳科学技術大学.
http://solomon.mc.chitose.ac.jp/CISTShiva/Index（2023 年 6 月 10 日確認）
(3) 宇佐美 慧，荘島 荘二郎，光永 悠彦，登藤 直弥．項
目反応理論（IRT）の考え方と実践――測定の質の高いテストや尺度を作成するための技術――．日本教育心理学会第 60 回総会発表論文集．2018，60，24-25(4) 荘島 宏二郎．ニューラルテスト理論－資格試験のためのテスト標準化理論－．電子情報通信学会誌．2009，
92，1013-1016(5) 金西 計英，石田 基広，戸川 聡，高橋 暁子．初年次
教育の理系基礎科目を対象にした適応型システムの検討．日本教育工学会論文誌．2021，45，Suppl，189192(6) 荘島 宏二郎．”exametrika” ．SHOJIMA Kojiro’sWebsite．

http://shojima.starfree.jp/exmk/index.html（2023 年 6 月 12 日確認）
(7) 徳高 平蔵, 藤村 喜久郎．自己組織化マップとその応用事例．日本神経回路学会誌．2003，Vol.13，No.3，
147-157－146－