順位学習に基づく日本語文章校正の品質推定モデルの構築

大規模言語モデルの登場により、文章校正の自動化技術[1]も飛躍的な進歩を遂げている。しかし、大規模言語モデルによるハルシネーションや過剰編集などの課題[2]も依然として残っている。これらの課題に対処し、文章校正モデルを継続的に改善していくためには、人手評価との高い相関を持つ自動評価の確立が重要である。特に、我々が開発および運用している文章校正サービス「ちゅらいと」1）のような実環境においては、ユーザからの入力に対して参照テキストは存在しないため、参照なし評価である品質推定の技術が望まれる。文法誤り訂正を含む文章校正の先行研究では、参照ベース自動評価のGLEU[3]やGREEN[4]、参照なし品質推定のSOME[5]やIMPARA[6]などの評価指標が提案されてきた。しかし、これらの評価指標は文単位での評価を想定しており、表記揺れやス1）https://chuwrite.com/7つの文章同一パラメータRank1順位を学習2つの文章をRank2ScoreSiModernBERT取り出すRank3PairwiseRankingLossサンプリングRank4(Xi,Xj)Rank5Rank6ScoreSjModernBERTRank7更新人間がランキングタイルなどの文を超える一貫性や、改行や箇条書きなどの文書構造まで考慮する必要がある文章全体の校正に対しては、必ずしも適していない。本研究では、日本語の文章校正を対象に、文章単位での品質推定に取り組む。ここで、品質推定モデルの訓練には、テキストに対して品質ラベルを付与したデータセットが必要である。しかし、文章の絶対的な品質アノテーションは、高度な専門性を要するタスクでありコストが高い。そこで我々は、文章間の相対的な品質比較に基づく順位学習のアプローチを採用し、品質推定モデルを訓練する。さらに、本研究で構築する品質推定モデルを用いて擬似ラベル付きデータセットを作り、自己学習に活用する。日本語のWebテキストを対象とする実験の結果、