日本語小論文に対する採点およびフィードバックの生成

近年の学校教育ではSociety5.0時代を見据え，知識や技能だけでなく，論理的思考力や表現力の育成が求められている[1]．それらの能力の育成には，小学生からの小論文指導が効果的であることが主張されている[2]．小論文を書く力を向上させるには，頻繁に高品質なフィードバックを受けて見直すことが有効である[3]．しかしフィードバックの作成には労力がかかるため学校や塾などの教育機関では十分な演習環境を用意することが困難である．そこで，近年登場している高性能な生成言語モデルを利用した小論文の自動評価が注目されている．小論文の自動採点(AutomatedEssayScoring:AES)システムは，1966年にPageら[4]が開発した重回帰モデルを用いたシステムProjectEssayGrade:PEGを筆頭に，言語処理技術の向上とともに様々なシステムが提案されてきた[5][6][7]．1990年台から2000年台初頭にかけて，世界的なテスト機関であるEducationalTestingService:ETSによって，e-rater[8][9]が実用化されている．E-raterは自然言語処理技術によって抽出した文法や用法，語彙などの多様な言語特徴量を基に予測する．E-raterを参考にして石岡らによって作成されたJess[10]は日本語の小論文に対する最初のシステムである．修辞・論理構成・内容などの観点から抽出した言語特徴を利用して小論文の評価を行う．2010年代頃よりニューラルネットワークを利用した自然言語処理が注目されはじめた．AESの分野においてもニューラルベースのシステム[11][12][13]や言語特徴量とニューラルネットワークを組み合わせたハイブリッド手法[14][15]が研究されてきた．2023年に，OpenAIによるGPT-4[16]などの最先端で高品質な生成系言語モデルが開発された．教育工学分野では，生成系言語モデルの教育応用が注目され，様々な研究がされている[17][18][19]．Mizumotoら[20]はChatGPTを用いたAES応用について可能性を調査し，その有用性を示した．Naismithら[21]はGPT-4を用いて小論文の談話一貫性について採点および採点の根拠を生成し，人間評価者と採点結果および根拠文の比較を行った．このような生成系言語モデルを用いた先行研究は主に英語の小論文を対象としており，日本語の小論文への応用はまだ研究されていない．本研究ではGPT-4を用いて日本語小論文の採点及びフィードバック生成を行い，それらの質を評価する．