文学的表現に特化した英日文学翻訳の評価データセットの構築に向けて

大規模言語モデル（LLM）の進歩により，機械翻訳の品質は大きく向上し，従来は困難とされてきた文学翻訳への応用も現実的になりつつある．しかし，既存の評価指標では，文体・語用・修辞といった文学的要素が翻訳後の文章においてどの程度維持されているかを個々に評価することが難しい．本研究では，英日文学翻訳の評価における新たな分析単位とラベリング基準を検討するため，事前に参照訳文に対して翻訳判断が現れる文節および単語レベルでのタグ付けを行った評価セットを試験的に構築する．提案する評価セットを用いてLLMによる翻訳結果を分析したところ，文単位の単一スコア出力に留まる従来の評価指標では捉えにくい翻訳上の操作や誤りを体系的に可視化できることが確認された．