文学的表現に特化した英日文学翻訳の評価データセットの構築に向けて

大規模言語モデル（LLM）の発展により，機械翻訳の性能は年々向上しており，既存のベンチマークで主流であるニュースやマニュアル等のドメインにおいては，人手翻訳と遜色ない品質が報告される事例が増えている[1]．それに伴い，これまで専門性の高い翻訳タスクである文学翻訳に対しても，機械翻訳技術を適用する試みが活発化している[2]．実際，2023および2024年の機械翻訳の共通タスクでは文学作品を対象としたタスクが設定された[?]．翻訳品質の向上を議論する上で，適切な評価指標の存在は不可欠である．しかし既存の評価指標には，文学翻訳の質を評価するうえで以下の2つの課題がある．一つ目は，BLEU[3]やCOMET[4]などの評価指標は，翻訳品質を単一のスコアとして出力するのみであり，翻訳文に含まれる文学的要素を個別に分離して評価することができないということがある．二つ目は，MQM[5]のような詳細な人手評価フレームワークも存在するが，その評価項目は主に一般的な翻訳タスクを対象に設計されており，文学翻訳の観点を反映できていないということである．そのため，既存の指標のみで文学翻訳の多面的な質を評価することは不適切である[?]．本研究では，以上の背景を踏まえ，英日文学翻訳評価のための評価データセットを試験的に構築する．参照訳文に対して文節および単語レベルでのタグ付けを行うことで，文単位の評価よりも精緻な分析を可能とし，既存指標では捉えられない文学的な翻訳上の操作や傾向を体系的に把握することを目指す．また，提案する評価セットを用いてLLMの翻訳結果を分析し，本枠組みの有効性を検証する．