G5-3

知識活用力を測定するための適応型テスト
Computerized Adaptive Test to Measure Knowledge Application Skills
宮澤 芳光*1,住 政二郎*2 ,植野 真臣*3*1*2Maomi UENO *3
Yoshimitsu MIYASAWA , Seijiro Sumi ,*1 長岡技術科学大学*1Nagaoka University of Technology*2 関西学院大学*2Kwansei Gakuin University*3 電気通信大学*3The University of Electro-Communications
Email: miyasawa@vos.nagaokaut.ac.jp
あらまし： 本研究では，ヴィゴツキーの「発達の最近接領域」に基づいたダイナミック・アセスメントにおける支援をヒントとし，知識活用力を測定するための適応型テストの手法を提案する．本手法は，受検者がテストの項目に誤答したとき，段階的にヒントを提示し，そのヒントを用いて受検者に項目を解答させる．ヒントが提示されたときの正誤結果を反応データとし，項目反応理論に基づいた適応型テストによって受検者の能力を効率的に測定する．
キーワード：ダイナミック・アセスメント，テスト理論，項目反応理論， 適応型テスト

1.

はじめに近年，ヴィゴツキーの発達の最近接領域に基づいたダイナミック・アセスメント(1)に関する研究が数多く取り組まれている．発達の最近接領域とは，現下の発達水準と他者からの支援を受けてできる発達水準との間の隔たりである．ダイナミック・アセス
メントでは，他者からの支援を含めた評価ができる．
従来のテストは，低次の知識を用いる項目や高次の知識を用いる項目によって構成されている．高次の知識を用いる項目が低次の知識を活用する必要があるとき，低次の知識を用いる項目に解答したからといって，高次の知識を用いる項目において，低次の知識を適切に活用できているかを測定することが困難であった．ダイナミック・アセスメントでは，高次の知識を用いている項目に取り組んでいるとき，低次の知識の活用力を測定するため，低次の知識をヒントとして受検者に提示し，この知識を活用できているか評価することができる．
本研究では，ダイナミック・アセスメントにおける受検者への支援を項目のヒントとして，項目に誤答したときに段階的に提示する．ここで得られた解答データから受検者の能力を測定し，情報量が高い項目を出題する手法を提案する．このような評価手法の枠組みは，テスト理論の適応型テストとして知られており，受検者の能力を効率的に推定することができる．
植野ら (2)は，段階反応モデルを用いて適応的にヒントを提示する足場掛けシステムを開発している．
ここでは，適切な足場掛けを支援するため，ヒントごとの正答率を予測できるように定式化を行い，情報量が最大になるヒントを選択している．植野らの研究と本手法では，ヒントに段階反応モデルを用いている点は同じであるが，本手法では能力推定精度を向上させるため，フィッシャー情報量が最大の項目を選択している点が異なる．また，植野らの研究
では，学習に用いることで学習効果を検証しているが，本研究では能力測定過程について分析する点が異なる．

2.

項目反応理論

本論では，段階的なヒントを組み込んだ適応型テストを実現するため，ヒントへの反応データを項目反応理論の段階反応モデル(3)に当てはめる．ここでは，ヒントへの反応データに項目反応理論を用いるため，データの形式を定義する．項目 i に対して K-1個のヒント{k}，(k=1,…,K-1)を考える．ヒントがない状態を k=K として，課題に対して学習者の反応が誤りのとき，k=K-1 のヒントを提示し，更に誤りであった場合，k=K-2 のヒントを提示するように，学習者が正答するまで k=1 のヒントを提示することになる．このとき，得られるデータは，受検者j(j=1,…,M)の項目 i(i=1,…,N)に対して各ヒント提示の状態での学習者の反応データ
𝑋𝑋 = �𝑥𝑥𝑖𝑖𝑖𝑖𝑖𝑖 �, (𝑗𝑗 = 1, … , 𝑀𝑀, 𝑖𝑖 = 1, … , 𝑁𝑁, 𝑘𝑘 = 0, … , 𝐾𝐾)を得ることができる．ただし，1: ヒント𝑘𝑘を提示したとき（以前を含む)

𝑥𝑥𝑖𝑖𝑖𝑖𝑖𝑖 = �に受検者𝑗𝑗が項目 i に正答

0: 上記以外

𝑥𝑥𝑖𝑖𝑖𝑖0 は K-1 個のヒントを全て提示しても正答できなかった場合のデータを示す．
このようなデータ X が得られたとき，段階反応モデルに適用することを考える．受検者 j(j=1,…,M)の項目 i(i=1,…,N)に対して k(k=1,…,K-1)番目までのヒントを提示した後に初めて正答する確率を以下のモデルで表す．
∗∗
𝑝𝑝𝑖𝑖𝑖𝑖𝑖𝑖 = 𝑝𝑝𝑖𝑖𝑖𝑖(𝑘𝑘−1)− 𝑝𝑝𝑖𝑖𝑖𝑖𝑖𝑖― 363 ―(1)教育システム情報学会 JSiSE2015
第 40 回全国大会 2015/9/1～9/3

1∗=
𝑘𝑘 = 1, ･･･, 𝐾𝐾 − 1⎧𝑝𝑝𝑖𝑖𝑖𝑖𝑖𝑖⎪
1 + exp �−1.7𝑎𝑎𝑖𝑖 �𝜃𝜃𝑗𝑗 − 𝑏𝑏𝑖𝑖𝑖𝑖 ��∗=1⎨ 𝑃𝑃𝑖𝑖𝑖𝑖0⎪ ∗⎩ 𝑃𝑃𝑖𝑖𝑖𝑖𝑖𝑖 = 0

式(1)では，𝑎𝑎𝑖𝑖 が項目 i の識別力パラメータであり，𝑏𝑏𝑖𝑖𝑖𝑖 が項目 i に対してカテゴリ k の難易度パラメータであり，𝜃𝜃𝑗𝑗 が受検者 j の能力パラメータである．ただし，𝑏𝑏𝑖𝑖1 < 𝑏𝑏𝑖𝑖2 < ⋯ < 𝑏𝑏𝑖𝑖𝑖𝑖 < ⋯ < 𝑏𝑏𝑖𝑖(𝐾𝐾−1) と制約される．
本手法では，受検者の能力を測定するため，テスト理論の適応型テストのアルゴリズムを用いる．適応型テストは，受検者の解答履歴から逐次能力を推定 し ， 情 報 量 が 最大 の 項目 を 受 検 者 に 出 題す る
Computer Based Testing である．具体的には，項目情報量が最大の項目を出題する．段階反応モデルのフィッシャー情報量は以下の通りである(4)．
𝐼𝐼𝑖𝑖 �𝜃𝜃𝑗𝑗 �2𝐾𝐾−1∗∗ (𝜃𝜃 )�∗∗�𝑝𝑝𝑖𝑖𝑖𝑖(𝑘𝑘−1)
�𝜃𝜃𝑗𝑗 �𝑞𝑞𝑖𝑖𝑖𝑖(𝑘𝑘−1)
�𝜃𝜃𝑗𝑗 � − 𝑝𝑝𝑖𝑖𝑖𝑖𝑖𝑖
�𝜃𝜃𝑗𝑗 �𝑞𝑞𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖22= 1.7 𝑎𝑎𝑖𝑖 �(2)𝑝𝑝𝑖𝑖𝑗𝑗𝑘𝑘 (𝜃𝜃𝑗𝑗 )𝑘𝑘=0∗∗𝑞𝑞𝑖𝑖𝑖𝑖𝑖𝑖
は 1-𝑝𝑝𝑖𝑖𝑖𝑖𝑖𝑖である．本手法は段階反応モデルを用いた適応型テストを用いることで効率的に受検者の能力を測定する．

3.

段階反応モデルを用いた適応型テスト

本研究では，ダイナミック・アセスメントにおける支援を適応型テストに組み込むため，ヒント付きの項目を出題し，その反応データから効率的に受検者の能力を推定する．ここでは，段階反応モデルを用いた適応型テストのアルゴリズムを以下に示す．
(1) 能力推定値の初期値は 0 に設定(2) 項目のデータベースであるアイテムバンクから式(2)のフィッシャー情報量が最大の項目を選択(3) 受検者は選択された項目の解答を入力(4) 受検者が入力した解答の正誤を判断(5) もし，受検者の解答が誤答であるならば，一つ目のヒントを出題し(3)へ．これは，受検者が正答するまでヒントを出題し続ける．項目に正答するか全てのヒントを提示して誤答したとき，この反応データを用いて受検者の能力を推定．
(6) 受検者の推定能力値と一つ前の推定値の差が小さければテストを終了，そうでなければ(2)へ．
上記のアルゴリズムによって受検者の能力を効率的に推定する．

4.

図 1 受検者の能力推定過程タを推定した．本手法では，このパラメータを用いて受検者の能力を逐次推定しながら，フィッシャー情報量が最大の項目を出題する．
ここでは，ダイナミック・アセスメントのための適応型テストの動作を検証するため，被験者実験を実施した．図 1 にある大学生の能力推定過程を示す．
横軸が項目であり，縦軸が能力推定値である．本実験では，能力推定過程を分析するため，項目数を 25項目と固定した．この図から受検者が項目を解答するごとに能力推定値が収束していることがわかる．
また，初期の項目から収束した能力推定値に近い推定値であることがわかる．これは，正誤の 2 値を扱う情報量関数が特定の能力値にのみ高いのに対し，段階反応モデルの情報量関数が能力値に広く高いことが要因だと考えられる．すなわち，従来の適応型テストに比べ，本手法は，少ない項目数で能力推定ができることを期待できる．

5.

おわりに

本研究では，ダイナミック・アセスメントのための適応型テストを提案した．ここでは，ダイナミッ
ク・アセスメントの支援をヒントとして段階反応モデルを用いて適応型テストに組み込んだ．本研究では，実際に段階反応モデルのパラメータを推定し，このパラメータを用いて適応型テストの能力推定過程を確認した．今後，従来の適応型テストとの能力推定過程を詳細に比較し，本手法の有効性を検証していく．

評価実験

本研究では，英語の語彙と文法の能力を測定するため，項目とヒントを準備する．項目は，100 問であり，全て段階的に 2 つのヒントを持っている．作
成した項目のパラメータを推定するため，37 人の大学生の反応データからベイズ推定を用いてパラメー― 364 ―参考文献(1) Haywood, H. C., & Lidz, C. S.: DynamicAssessment in Practice: Clinical and EducationalApplications, Cambridge University Press (2006)(2) 植野真臣, 松尾淳哉: 項目反応理論を用いて適応的ヒントを提示する足場かけシステム. 電子情報通信学会論文誌, Vol. J98-D, No.1, pp.17-29 (2015)(3) Samejima, Fumiko: Estimation of latent ability
using a response pattern of graded scores, Psychometrika
monograph supplement (1969).
(4) 豊田秀樹: 項目反応理論〔入門編〕―テストの測定と科学”朝倉書店，2002