順位学習に基づく日本語文章校正の品質推定モデルの構築

本研究では、日本語文章校正のための品質推定モデルを開発し、それを活用して文章校正モデルを改善する。GLEUなどの既存の評価指標は文単位での評価を想定しており、文章の校正に対しては必ずしも適していない。そこで我々は、日本語の文章校正に適した品質推定モデル（参照なし評価）を構築する。ただし、文章の絶対的な品質アノテーションは高度な専門性を要しコストが高いため、文章間の相対的な品質比較を採用し、順位学習の枠組みで品質推定モデルを訓練する。評価実験の結果、2つの日本語文章の優劣を判定する2値分類タスクにおいて、提案手法はドメイン内で85%、ドメイン外でも80%の正解率を達成し、GLEUなどの既存の評価指標を上回る性能を示した。さらに、我々の品質推定モデルに基づく直接選好最適化によって、大規模言語モデルに基づく文章校正の性能を改善できた。