本研究では、日本語文章校正のための品質推定モデルを開発し、それを活用して文章校正モデルを改善する。GLEUなどの既存の評価指標は文単位での評価を想定しており、文章の校正に対しては必ずしも適していない。そこで我々は、日本語の文章校正に適した品質推定モデル（参照なし評価）を構築する。ただし、文章の絶対的な品質アノテーションは高度な専門性を要しコストが高いため、文章間の相対的な品質比較を採用し、順位学習の枠組みで品質推定モデルを訓練する。評価実験の結果、2つの日本語文章の優劣を判定する2値分類タスクにおいて、提案手法はドメイン内で85%、ドメイン外でも80%の正解率を達成し、GLEUなどの既存の評価指標を上回る性能を示した。さらに、我々の品質推定モデルに基づく直接選好最適化によって、大規模言語モデルに基づく文章校正の性能を改善できた。

大規模言語モデルの登場により、文章校正の自動化技術[1]も飛躍的な進歩を遂げている。しかし、大規模言語モデルによるハルシネーションや過剰編集などの課題[2]も依然として残っている。これらの課題に対処し、文章校正モデルを継続的に改善していくためには、人手評価との高い相関を持つ自動評価の確立が重要である。特に、我々が開発および運用している文章校正サービス「ちゅらいと」1）のような実環境においては、ユーザからの入力に対して参照テキストは存在しないため、参照なし評価である品質推定の技術が望まれる。文法誤り訂正を含む文章校正の先行研究では、参照ベース自動評価のGLEU[3]やGREEN[4]、参照なし品質推定のSOME[5]やIMPARA[6]などの評価指標が提案されてきた。しかし、これらの評価指標は文単位での評価を想定しており、表記揺れやス1）https://chuwrite.com/7つの文章同一パラメータRank1順位を学習2つの文章をRank2ScoreSiModernBERT取り出すRank3PairwiseRankingLossサンプリングRank4(Xi,Xj)Rank5Rank6ScoreSjModernBERTRank7更新人間がランキングタイルなどの文を超える一貫性や、改行や箇条書きなどの文書構造まで考慮する必要がある文章全体の校正に対しては、必ずしも適していない。本研究では、日本語の文章校正を対象に、文章単位での品質推定に取り組む。ここで、品質推定モデルの訓練には、テキストに対して品質ラベルを付与したデータセットが必要である。しかし、文章の絶対的な品質アノテーションは、高度な専門性を要するタスクでありコストが高い。そこで我々は、文章間の相対的な品質比較に基づく順位学習のアプローチを採用し、品質推定モデルを訓練する。さらに、本研究で構築する品質推定モデルを用いて擬似ラベル付きデータセットを作り、自己学習に活用する。日本語のWebテキストを対象とする実験の結果、