確信度と得点の予測精度を両立する論述回答自動採点モデル

乗誤差を損失関数とするため，真得点と予測得点の近年，学校教育では思考力・判断力・表現力と差の大きさを考慮してモデルの学習が進む．そのたいった能力が重視されるようになり，これらの能め，回帰の枠組みで設計した方が，分類に基づく手力を評価する方法の一つとして論述式試験の活法よりも高精度な得点予測が期待できる．また，得用が注目されている[1,2,3]．一方で，論述式試点予測の精度向上は確信度の推定精度向上にも寄与験には，人手採点に伴うコストや採点の公平性担すると期待できる．保の困難さといった問題が残る[4,5]．このようそこで，本研究では回帰として設計した深層学習な問題を解決する手法の一つとして，深層学習自動採点モデルに基づいて得点予測と確信度推定を用いた自動採点手法は多数提案され，実用化を行う手法を提案する．しかし，実データ実験の結が期待されている(e.g.,[6,7,8,9,10])．近年では，果，提案モデルは得点の予測精度では優れる傾向が特にBERT（BidirectionalEncoderRepresentationsfrom見られたが，確信度の推定精度は総じて分類器としTransformers）[11]などの事前学習済みTransformerて設計した従来モデルに劣る傾向が確認された．こモデル[12]を基礎モデルとした深層学習自動採の結果は，得点予測を回帰で行い，確信度推定を分点モデルが広く活用され，高精度を達成している類で行うことで，双方の観点において平均的に優れ（e.g.,[13,14,15,16,17,18]）．た性能が得られる可能性を示唆している．他方で，このような高性能な自動採点モデルでそこで，本研究ではさらに，得点予測を回帰で行あっても，得点予測を誤る可能性は依然として残っい，確信度推定を分類で行うことができる深層学ており，このことが自動採点導入の妨げの一つと習自動採点モデルを提案する．具体的には，BERTなっている．この問題を解決する方法の一つとしベースの深層学習自動採点モデルを回帰と分類のそて，得点予測に加えて，予測した得点に対する確信れぞれの方法で得点を予測する出力層を加えた二出―1136―.力型モデルとして設計し，マルチタスク学習の枠組みで訓練する．実データ実験の結果，分類と回帰のハイブリッド型提案モデルが，得点予測と確信度推定の両面において，分類または回帰として設計したモデルと同等以上の性能を達成できることが確認された．