自動採点技術と項目反応理論に基づくテスト等化を通じた論述式回答評価の高精度化

近年，様々な評価場面において，論理的思考力や表現力といった高次の能力を測定するニーズが高まっており，これらの能力を測定する手法の一つとして論述式試験が注目されている[1,2]．一方，論述式試験の問題点として，評価結果が評価者の甘さ・厳しさなどの特性に依存してしまう点が指摘されてきた．この問題を解決する手法の一つとして，評価者の特性を考慮して受検者の能力を推定できる項目反応理論（Itemresponsetheory:IRT）と呼ばれる統計数理手法が広く研究されている[3,4,5,6,7,8,9]．例えば，最先端のIRTモデルの一つである一般化多相ラッシュモデル（GeneralizedManyFacetRaschModel:GMFRM）[6,8]では，多様な評価者特性を考慮した高精度な能力測定が実現できる．一方で，現実の試験運用では，複数の異なる受検者集団に同一の論述式問題を出題し，各集団の回答をそれぞれ異なる評価者集団が採点する場合があり，そのような評価結果にGMFRMのようなIRTモデルを適用し，推定されたIRTパラメータ（受検者の能力値や評価者特性値）を集団間で比較したいニーズがしばしば生じる．これを実現するためには，等化と呼ばれる手続きが必要になる．一般に等化は，集団間で一部の受検者や評価者が共通するデザインで試験を実施し，それらの共通受検者や共通評価者のIRTパラメータ値を基準として，集団間でパラメータの尺度を合わせることで行われる[10,11,12]．しかし，実際には共通受検者や共通評価者を用意することが難しい場合もある．そこで本研究では，共通受検者や共通評価者が存在しない状況下での等化を実現するために，近年高精度化が目覚ましい深層学習自動採点手法[13,14,15]とGMFRMの統合技術であるUto＆Okano[16]の手法を用いた等化手法を提案する．具体的には，尺度の基準となる集団のデータを用いて，GMFRMに基づく各受検者の能力パラメータを予測できる深層学習自動採点モデルを構築し，それを用いて等化対象集団の能力値を予測する．そして，その予測値を事前分布に反映させて，等化対象集団に対する得点データからGMFRMのパラメータをベイズ推定する．これにより，等化対象集団のパラメータ推定値を，基準集団の尺度に近づけることができる．さらに，この方法を用いて，人間評価者と自動採点を連携させた高精度な論述式回答評価を行う手法も提案する．なお，これまでにも自動採点技術を用いて等化を試みる研究はいくつかなされているが[17,18]，本研究のように評価者特性を考慮したIRTモデルを等化する手法は見当たらない．