大規模言語モデルによる和文英訳問題の自動採点

文章の翻訳問題は，第二言語(L2)学習の初期段階において，特に言語学的に離れた言語間で，教育ツールとしてよく利用される[1,2]．国内の英語教育では，和文英訳問題として初期段階の英語学習に活用されている．図1に，我々が作成したデータセットにおける和文英訳問題の例を示す．学習者は，母国語（L1）の短い文章を学習中の言語（L2）に翻訳する．その後，この翻訳がE3やG4などの採点基準表内の各項目ごとに採点される．各採点項目は，特定の文法項目や語彙表現に対応しており，答案は項目ごとに分析的に採点されるため，学習者は詳細なフィードバックを受け取ることができる．この問題形式は，L1・L2言語間の類似点や相違点の認識を促し，相応しい表現方法への理解を深めることができる．そのため，言語学習の初期段階において学習者が基本的な文法や表現を習得するのに特に効果的である[1]．しかし，和文英訳はその問題の性質上，記述式回答となるため，答案の採点やフィードバックの返却は教育者にとって大きな負担基準のカテゴリーを示し，それぞれ「表現」，「語順」，「文法」を意味する．となる．結果として，言語習得においては反復練習が重要であるにも関わらず[3]，実施の頻度が限定されてしまう．本研究では，和文英訳問題における添削作業の負荷削減を目的として，図1に示したような部分採点項目の自動採点技術を構築する．本研究で扱うタスクと密接に関連するタスクとして，英文の文法的な正しさを評価する文法誤り訂正（GEC）や機械翻訳（MT）がある．しかしながら和文英訳問題は，実際の教育現場において，教師が設定した明確な学習目標の下で活用され，教育者の意図を学習に反映しているという点で，これらのタスクとは大きく異なっている．教育者の意図を反映する必要性は，GECシステムの純粋な使用だけでは学習者の学習への取り組みを効果的に引き出せないという報告によっても支持されている[4,5]．本研究と同様の目的のもと行われた先行研究とし.て，[6]が挙げられる．先行研究では，和文英訳問題データセットを作成し，項目採点モデルを構築し採点を自動化した反面，不正解答案に対する採点性能の低さやモデル構築コストの高さが課題であった．本研究では，和文英訳データセットを拡張しつつ，和文英訳問題の自動採点に大規模言語モデル(LLM)であるGPTを用いることで，先行研究[6]で明らかとなった課題に対応することを目指した．実験では，LLMの和文英訳問題における採点性能を導出するため，GPTモデルを使用し，モデルの予測結果と人手による採点結果との一致率を算出した．実験の結果，GPT-3.5,GPT-4の両モデルはベースラインとして設定したBERTモデルの性能を下回る結果を示し，最先端のLLMを以てしても難しいタスクであることが明らかになった．またエラー分析によって，採点モデルが和文英訳問題の採点タスクを適切に理解できていないことが示唆された．