中世・近世日本語資料の現代語機械翻訳：評価用対訳データセットの構築とLLMの性能評価

本ら[8]は，中世・近世古文書資料を対象に，人手近代以前に筆記・刊行された日本の歴史資料は，による現代語訳作成作業と，商用LLM現代語訳の膨大な量が現存している．国書データベース[1]な品質評価作業を行い，両作業で作成したデータを公どのデータアーカイブ事業によって，数十万点規模開した．東山ら[9]は，橋本らの人手評価結果を用の資料のデジタル画像化が進められており，クラウいて，既存の機械翻訳評価指標のメタ評価実験を行ドソーシング翻刻[2]や自動翻刻技術[3,4]の普及・い，BLEU[10]やBLEURT[11]といった評価指標の発展に伴い，資料画像のテキスト化も進んでいる．有用性を確認した．また，同研究では，橋本らが用このように，多くの資料について画像・文字情報へいた資料とオープンな近世古典籍資料等を機械翻のアクセスが容易になってきた．しかし，資料に記訳評価データセットとして整備し，商用・オープンされた内容を読み解き，過去の時代の「知識」にアLLMの現代語訳性能の自動評価を行った．これらクセスするには，歴史的背景や古典日本語の専門知の研究で報告された評価結果の知見および構築され識がないと難しい．専門知識を持たない読み手でもたデータセットは，課題(ii)を緩和し，後続の研究資料の内容を理解できるようにし，知識へのアクセを推進する役割を果たすと期待される．ス性を高めるためには，古典語テキストの読解支援本研究では，上述の先行研究の流れを汲み，日本の技術が重要となる．本研究では，その中でも，古語の現代語機械翻訳研究をさらに推進することを典語から現代語への機械翻訳（「現代語機械翻訳」ねらいとする．具体的には，(1)東山ら[9]のデータと呼ぶ）に焦点を当てる．セットを拡張し，収録資料のドメインを拡大すると現代語機械翻訳における大きな課題として，(i)学ともに，(2)ドメインごとの精度差を明らかにすべ習資源の不足と(ii)評価資源の不足がある．学習資く既存LLMの詳細な性能評価に取り組む．実験結源とは，翻訳モデルの学習に必要なデータ，特に大果から，(a)漢文テキストが多い古文書・古記録ドメ規模な対訳テキスト・単言語テキストを指す．評価インではどのLLMも翻訳精度が低い傾向にあるこorg/licenses/by/4.0/).と，(b)Claude4.5，次いでGemini2.5が，ドメイン横断的に高い翻訳精度を示し，オープンLLMの精度を大きく上回っていること，(c)このような精度差が生じていることは，翻訳結果実例の品質を考慮しても納得しやすい結果であることを確認した．構築したデータセットJHPTV2は公開予定である1）．