大規模言語モデルの文生成確率を用いた教師なし品質推定

本研究では，言語生成タスクにおける参照なし自動評価の改善のために，大規模言語モデルの文生成確率に基づく教師なし品質推定の手法を提案する．生成文の品質推定は主に機械翻訳タスクを対象に取り組まれており，先行研究では対訳コーパスで訓練したTransformerやmBARTに基づく品質推定が提案されている．先行研究の系列変換モデルよりも大規模なデータで事前訓練した大規模言語モデルは，高性能な品質推定と様々なタスクへの応用が期待できる．機械翻訳およびテキスト平易化における品質推定に関する評価実験の結果，提案手法は機械翻訳では多資源言語対において既存手法の性能を上回り，テキスト平易化では一部の教師あり品質推定の性能を上回ることを確認した．