同時通訳品質評価のための同時通訳者と翻訳者の評価⽐較分析
蒔苗 茉那*1, 須藤 克仁*1, 中村 哲*1, 松下 佳世*2, 山田 優*2*1 奈良先端科学技術大学院大学*2 立教大学

Introduction

MethodExperiments

Conclusions

差異：同時通訳評価指標の⽋如

翻訳

同時通訳

⼈⼿評価

MQM[2]なし

⾃動評価

BLEU, COMETなし

同時通訳の⾃動評価に向けてまずは⼈⼿評価の整備を⾏う
1

Introduction

MethodExperiments

Conclusions

翻訳の評価

評価

• 原⾔語と⽬的⾔語が⼀対⼀の関係になっている

評価指標• ⼈⼿評価：MQM[2]• マニュアルに基づいてエラーごとに「カテゴリ」と「重⼤度」で評価• ⾃動評価：BLEU, COMET• BLEU：トークンレベルの⼀致数で評価• COMET：⼤規模⾔語モデルを⽤いる

2

Introduction

MethodExperiments

Conclusions

同時通訳の評価

評価• 原発話と⽬的発話のアライメントが取りにくい評価指標• ⼈⼿評価： NAATI[6], EU Metrics[7]• 同時通訳者の能⼒測定• 同時通訳の訳出結果の評価なし• ⾃動評価：なし
3Introduction

MethodExperiments

Conclusions

動機：同時通訳の品質評価要件の明確化

同時通訳の質の安定

⼈間・機械による通訳の質の改善

4

Introduction

MethodExperiments

Conclusions

差異：同時通訳評価指標の⽋如

翻訳

同時通訳

⼈⼿評価

MQM[2]なし

⾃動評価

BLEU, COMETなし

同時通訳の⾃動評価に向けてまずは⼈⼿評価の整備を⾏う
5

Introduction

MethodExperiments

Conclusions

⼿法：同時通訳者と翻訳者の評価⽐較分析
動機：同時通訳の品質評価⽅法の検討

⽤いる指標：翻訳品質評価（JTF）ガイドライン[3]• Multidimensional Quality Metrics (MQM)[2]を元に作成

MQM[2]とは• 翻訳評価のためのフレームワーク• 集計の段階で1⽂ずつ、エラーカテゴリと重⼤度を⽤いて体系的に評価• WMTのShared Task[5]にて使⽤• 機械翻訳の性能評価タスク• MQMスコア、正解ラベルとして使⽤• MQMスコアと機械翻訳結果の相関関係を⽐較• 相関関係が⾼いほど、機械翻訳が優れている

6

Introduction

MethodExperiments

Conclusions

⼿法：同時通訳者と翻訳者の評価⽐較分析
動機：同時通訳の品質評価⽅法の検討
MQMスコア計算⼿法• エラー・カテゴリ設定の重み(依頼者が設定) *• 1.33 = 1.33(正確さ「-誤訳-」) ＊

重⼤度

１（軽度）

原発話
書き起こし

it's for the government to make sure that the private sector will beable to take part in the economic progress of our country in the rightway within the rule of law．

同時通訳
書き起こしですから政府としては⺠間がきちっと経済の進歩に適切な形で法の⽀配のもとで関与できること参加できることを願っていると思います。

翻訳者評価(エラー値)「make sure」 を「願っていると思います。」 と訳すのは不適切(1.33)

7

Introduction

MethodExperiments

Conclusions

分析設定•データ：⽇本記者クラブの記者会⾒の同時通訳収録データ(JNPC063)[9]
同時通訳者
データの提⽰⽅法

翻訳者

同時通訳の⾳声およびその書 原発話と同時通訳のき起こし書き起こしのみ

JTFなし
あり
ガイドライン[3] ＊事前に JTFガイドライン[3]
使⽤経験に基づく評価⽅法の説明＊エラー重⼤度について通訳の観点で評価して良い旨を伝えた

8

Introduction

MethodExperiments

Conclusions

全体：同時通訳と翻訳の⼈⼿評価分析結果

共通点
MQMカテゴリ「正確さ-誤訳」
同時通訳にも適⽤可

相違点
MQMカテゴリ「正確さ-抜けと余分」「流暢さ」
同時通訳への適⽤不可
緩和する必要あり
9

Introduction

MethodExperiments

Conclusions

結果分析 共通: カテゴリ「正確さ-誤訳 」
原発話
書き起こし

it's for the government to make sure that the private
sector will be able to take part in the economic progressof our country in the right way within the rule of law．
同時通訳
書き起こし ですから政府としては⺠間がきちっと経済の進歩に適切な形で法の⽀配のもとで関与できること参加できることを願っていると思います。
同時通訳者
the government to make sure ..." → 「政府としては願って評価(エラー値) いると思います」は誤訳。「政府として〜を確実にする」
が正しい (26.6)
翻訳者評価「make sure」 を「願っていると思います。」 と訳すのは(エラー値)
不適切(1.33)

10

Introduction

MethodExperiments

Conclusions

結果分析 相違: カテゴリ「正確さ-抜けと余分 」
原発話
書き起こし

And I am also confident that our relations withother countries would get better with time．

同時通訳
書き起こし

ただ他の国々との関係も時間が経つにつれさらに良くなっていくだろうと

同時通訳者
評価
(エラー値)

なし(0)

翻訳者評価
(エラー値)「And I am also conﬁdent that」 部分が訳されていない(1.33)
11

Introduc6on

MethodExperiments

Conclusions

結果分析 相違: カテゴリ「流暢さ」
原発話
書き起こし

同時通訳
書き起こし

It is now 30 years ago since I left Kyoto after a year whichstarted in 1985 it ended in nineteen eighty six.
30 年ぶりですけれども1985年か1986年まで滞在したことがご ざいます。

同時通訳者評価(エラー値)

なし(0)

翻訳者評価
(エラー値)

英⽂の語順通りに訳出されているため表現が不⾃然で流暢さに⽋ける(0.67)
12Introduc6on

MethodExperiments

Conclusions

結果分析 相違: カテゴリ「流暢さ」
原発話
書き起こし

And you know that there have been attacks on police
outposts and there was one attack on a police outpost as
late as yesterday when one policeman was killed
同時通訳
書き起こし 警察の攻撃ということも⾔われておりますけれども例えば昨⽇でも警察官が 1⼈殺されてることがあります。
同時通訳者
評価(エラー値)

なし(0)

翻訳者評価
(エラー値)

表現が不⾃然で流暢さに⽋ける (0.67)
13Introduc6on

MethodExperiments

Conclusions

まとめ考察• 同時通訳評価にも応⽤可• カテゴリ「正確さ-誤訳-」• 同時通訳評価応⽤不可• カテゴリ「流暢さ」「正確さ-抜けと余分-」• 翻訳に⽐べて評価の許容範囲を広めるべき

今後の⽅針• 専⾨⽤語の訳出評価• ⼤規模⾔語モデルでは評価が適切に⾏われていないため
14

参考⽂献
•

[1] Ryo Fukuda, Sashi Novitasari, Yui Oka, Yasumasa Kano, Yuki Yano, Yuka Ko, Hirotaka Tokuyama, Kosuke Doi, Tomoya Yanagita,
Sakriani Sakti, Katsuhito Sudoh and Satoshi Nakamura. “Simultaneous Speech-to-speech Translation System with Transformerbased Incremental ASR, MT, and TTS,” Proc. Oriental COCOSDA 2021, 186-192, Nov. 18, 2021•

[2] A.Lommel et al., “Multidimensional Quality Metrics (MQM):A Framework for Declaring and Describing Translation QualityMetrics,” Revista Tradumàtica: tecnologies de la traducció, 2014•[3] ⼀般社団法⼈ ⽇本翻訳連盟(JTF)，“JTF 翻訳 品質評価ガイドライン”: https://www.jtf.jp/pdf/jtf_translation_quality_guideli
nes_v1.pdf•[4] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. “Experts, Errors, andContext: A Large-Scale Study of Human Evaluation for Machine Translation,” Transactions of the Association for ComputationalLinguistics, 9:1460‒1474. 2021•

[5] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. 2021. Resultsof the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain. In
Proceedings of the Sixth Conference on Machine Translation, pages 733‒774, Online. Association for Computational Linguistics•[6] NAATI Metrics: https://www.naati.com.au/wp- content/uploads/2020/10/Certiﬁed-Interpreter- Assessment-Rubrics.pdf•[7] EU Mettics: https://europa.eu/interpretation/doc/marking_criteria_ en.pdf•[8] Antonios Anastasopoulos, Loïc Barrault, Luisa Bentivogli, Marcely Zanon Boito, Ondřej Bojar, Roldano Cattoni, Anna Currey,Georgiana Dinu, Kevin Duh, Maha Elbayad, Clara Emmanuel, Yannick Estève, Marcello Federico, Christian Federmann, Souhir
Gahbiche, Hongyu Gong, Roman Grundkiewicz, Barry Haddow, Benjamin Hsu, et al.. 2022. Findings of the IWSLT 2022 Evaluation
Campaign. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pages 98‒157,Dublin, Ireland. Association for Computational Linguistics.

•[9] 松下佳世，⼭⽥優，⽯塚浩之，“英⽇・⽇英通訳 データベース(JNPC コーパス)の概要”，⽇本翻 訳学会，vol. 22, pp. 87‒94, 202015