IMPARA-GED：言語モデルの文法誤り検出能力に着目した文法誤り訂正の参照文なし自動評価

文法誤り訂正（GrammaticalErrorCorrection;GEC）システムは，文法誤りや表記誤りを含む文（誤文）を受け取り，訂正後の文（訂正文）を出力する．これらGECシステムの自動評価は，参照文を用いた評価手法[1,2,3]と参照文を用いない評価手法[4,5,6]に大別でき，特に参照文を用いない評価手法には事前学習済み言語モデル（Pre-trainedLanguageModel;PLM）がよく用いられる．例えばScribendiScore[5]は，訂正文の評価値算出にPLMのパープレキシティを用いており，SOME[4]では流暢性・文法性・意味保存性のそれぞれ観点についてPLMを追加学習することで評価器を構築する．また，IMPARA[6]は誤文と訂正文の類似度評価と訂正文の品質推定評価を組み合わせた評価法であり，その両方にPLMが用いられる．特にIMPARAは，誤文と訂正文のパラレルデータのみから品質スコア付きの擬似的な訂正文を自動生成することで，人手評価結果を必要とせずに品質推定モデルを学習可能な利点がある．しかし，従来のIMPARAは品質推定モデルの学習に素のPLMを用いるが，PLMの事前学習から獲得される文法誤りに関する知識のみでは，文法誤りの情報を正確に捉えられるとは限らない．従って，IMPARAの学習のための擬似データ生成や，品質推定器の学習に改良の余地があると考えられる．本稿では，参照文なしGEC自動評価手法であるIMPARA-GEDを提案する．GECシステム構築において文法誤り検出（GrammaticalErrorDetection;GED）タスクによる追加学習の有用性を示した研究[7,8]から着想を得て，IMPARA-GEDはPLMをGEDタスクで追加学習後，IMPARAの品質推定モデル構築法を適用して作成を行う．我々は，まずIMPARAの類似度評価モデルに関する検証結果から，素のPLMが文法誤りに伴う類似度の変化を適切に捉えられない場合を示す．この事例よりIMPARAにおいて素のPLMの使用が不適切だと主張し，また評価尺度の定義に類似度評価を含めることの是非について議論する．その後，GEDタスクでの追加学習後，IMPARAの品質推定モデル構築法を適用することで，IMPARA-GEDを構築する．メタ評価ベンチマークのSEEDA[9]においてIMPARA-GEDは文単位の人手評価との相関が最も高いことがわかった．