大規模言語モデル（LLM）の進歩により，機械翻訳の品質は大きく向上し，従来は困難とされてきた文学翻訳への応用も現実的になりつつある．しかし，既存の評価指標では，文体・語用・修辞といった文学的要素が翻訳後の文章においてどの程度維持されているかを個々に評価することが難しい．本研究では，英日文学翻訳の評価における新たな分析単位とラベリング基準を検討するため，事前に参照訳文に対して翻訳判断が現れる文節および単語レベルでのタグ付けを行った評価セットを試験的に構築する．提案する評価セットを用いてLLMによる翻訳結果を分析したところ，文単位の単一スコア出力に留まる従来の評価指標では捉えにくい翻訳上の操作や誤りを体系的に可視化できることが確認された．

大規模言語モデル（LLM）の発展により，機械翻訳の性能は年々向上しており，既存のベンチマークで主流であるニュースやマニュアル等のドメインにおいては，人手翻訳と遜色ない品質が報告される事例が増えている[1]．それに伴い，これまで専門性の高い翻訳タスクである文学翻訳に対しても，機械翻訳技術を適用する試みが活発化している[2]．実際，2023および2024年の機械翻訳の共通タスクでは文学作品を対象としたタスクが設定された[?]．翻訳品質の向上を議論する上で，適切な評価指標の存在は不可欠である．しかし既存の評価指標には，文学翻訳の質を評価するうえで以下の2つの課題がある．一つ目は，BLEU[3]やCOMET[4]などの評価指標は，翻訳品質を単一のスコアとして出力するのみであり，翻訳文に含まれる文学的要素を個別に分離して評価することができないということがある．二つ目は，MQM[5]のような詳細な人手評価フレームワークも存在するが，その評価項目は主に一般的な翻訳タスクを対象に設計されており，文学翻訳の観点を反映できていないということである．そのため，既存の指標のみで文学翻訳の多面的な質を評価することは不適切である[?]．本研究では，以上の背景を踏まえ，英日文学翻訳評価のための評価データセットを試験的に構築する．参照訳文に対して文節および単語レベルでのタグ付けを行うことで，文単位の評価よりも精緻な分析を可能とし，既存指標では捉えられない文学的な翻訳上の操作や傾向を体系的に把握することを目指す．また，提案する評価セットを用いてLLMの翻訳結果を分析し，本枠組みの有効性を検証する．