D8-4

同時通訳・同時翻訳のための語順同期性評価
奈良先端科学技術⼤学院⼤学
蒔苗茉那, 須藤克仁,中村哲

背景

同時通訳(SI)の特徴
SI:原発話の終了前に訳出が開始• ⽬標: ⾼品質 & 低遅延• 低遅延の達成:可能な限り原発話と同期させる• 問題: 異なる語順の⾔語対（例：英⽇）にて特に難しい• 解決策: ファーストイン・ファーストアウト(FIFO) 戦略• 発話を短い単位で区切りながら順次訳出していく⽅式

翻訳の例(1)That's a huge problem / (2) if you think about, especially an economy like Switzerland / (3) which relies so much on the trust put into its financial industry.

(3)金融業界の信用に大きく依存する/ (2)スイスのような経済を考えると/ (1)これは巨大な問題です。
2

背景

同時通訳(SI)の特徴
SI:原発話の終了前に訳出が開始• ⽬標: ⾼品質 & 低遅延• 低遅延の達成:可能な限り原発話と同期させる• 問題: 異なる語順の⾔語対（例：英⽇）にて特に難しい• 解決策: ファーストイン・ファーストアウト(FIFO) 戦略• 発話を短い単位で区切りながら順次訳出していく⽅式

SIの例(1)That's a huge problem/ (2) if you think about, especially an economy like Switzerland / (3) which relies so much on the trust put into its financial industry.

(1)これは、大きな問題です。

/ (2)特に、スイスの様な経済を考えてみるとそうでしょう。 / (3)金融業界に対する信頼によって成り立っている国だからです。
3

動機

ファーストイン・ファーストアウト (FIFO) 戦略の程度の評価• ファーストイン・ファーストアウト (FIFO) 戦略• 発話を短い単位で区切りながら順次訳出する⽅式• 期待される効果• 語順の違いによる遅延を最⼩限に抑えている->時間としての遅延削減にも貢献しているだろう• 本研究の⽬的• ファーストイン・ファーストアウト (FIFO) を達成している訳出を評価• ⼿法• 原発話と⽬的発話の単語の同期性の評価

4

動機ファーストイン・ファーストアウト (FIFO) 戦略の程度の評価• ファーストイン・ファーストアウト (FIFO) 戦略• 発話を短い単位で区切りながら順次訳出する⽅式• 期待される効果• 語順の違いによる遅延を最⼩限に抑えている->時間としての遅延削減にも貢献しているだろう• 本研究の⽬的• ファーストイン・ファーストアウト (FIFO) を達成している訳出を評価• ⼿法• 原発話と⽬的発話の単語の同期性の評価

5

関連研究 1

同時通訳の⼈⼿評価• EU Metrics(Union,ʼ23), NAATI Metrics(NAATI,ʼ23)• 通訳者のパフォーマンスを総合的に評価• 例： EU Metrics• Content• Were there too many details missing?
• Was the message coherent?
• Were there any misleading or redundant additions(”embroidery”)?
• Delivery / Form
• Technique

個々の訳出に注⽬した評価指標が必要

6

関連研究 2同時機械翻訳（SiMT）の遅延評価
時間差を計算指標
時間情報
Average Lagging◯
本研究

単語の語順同期性を評価→語順差による遅延の程度測定

語順同期◯(1)That's a huge problem / (2) if you think about, especially an economy like Switzerland / (3) which relies so much on the trust put into its financial industry.

(1)これは、大きな問題です。 / (2)特に、スイスの様な経済を考えてみるとそうでしょう。/(3)金融業界に対する信頼によって成り立っている国だからです。

差を計算

7

関連研究 2

機械翻訳の品質⾃動評価
指標

語順参照訳あり 意味的類似度

BLEU
RIBES

◯
◯

COMET◯◯COMET-QE◯

BERTScore
本研究

◯

◯
◯

◯
◯
8

関連研究 2

機械翻訳の品質⾃動評価
指標

語順

参照訳あり 意味的類似度

BLEU
RIBES

◯
◯

COMET◯◯COMET-QE◯

BERTScore
本研究

◯

◯◯◯◯
9

提案⼿法

原発話・⽬的発話間の語順同期性評価
n トークンのアライメントを取得し、スピアマンの順位相関係数を計算
n 語順差による遅延の程度を検証（-1<0<1）

翻訳での語順同期度-> -0.867

SIでの語順同期度 -> 0.881

10

提案⼿法

原発話・⽬的発話間の語順同期性評価
n トークンのアライメントを取得し、スピアマンの順位相関係数を計算
n サブワードトークンのアライメントの取得⽅法
n BERTScoreにてmBERTを使⽤することでマルチリンガルに対応

例⽂
ExampleSentence
My favorite animal is the chimpanzee.
私の好きな動物はチンパンジーです。

センテンスをワードにトークン化（Spacy）① Tokenize
a sentence into words (Spacy)["My", "favorite", "animal", "is", "the", "chimpanzee", "."]["私", "の", "好き", "な", "動物", "は", "チンパンジー", "です", "。"]

② Tokenize a word into subwords (mBERT)

11

提案⼿法

Example Sentence
原発話・⽬的発話間の語順同期性評価
My favorite animal is the chimpanzee.
私の好きな動物はチンパンジーです。

n トークンのアライメントを取得し、スピアマンの順位相関係数を計算
n サブワードトークンのアライメントの取得⽅法① Tokenize a sentence into words (Spacy)n BERTScoreにてmBERTを使⽤することでマルチリンガルに対応["My", "favorite", "animal", "is", "the", "chimpanzee", "."]["私", "の", "好き", "な", "動物", "は", "チンパンジー", "です", "。"]

ワードをサブワードにトークン化（mBERT）② Tokenizea word into subwords (mBERT)["My", "favorite", "animal", "is", "the", "chimpanzee", "."][["My"], ["favorite"], ["animal"], ["is"], ["the"], ["chim", "##pan", "##zee"], ["."]]["私", "の", "好き", "な", "動物", "は", "チンパンジー", "です", "。"][["私"], ["の"], ["好", "き"], ["な"], ["動", "物"], ["は"], ["チ", "##ン", "##パ", "##ンジ", "##ー"], ["で", "##す"], ["。"]]

12

["My", "favorite", "animal", "is", "the", "chimpanzee", "."]
提案⼿法[["My"], ["favorite"], ["animal"], ["is"], ["the"], ["chim", "##pan", "##zee"], ["."]]
原発話・⽬的発話間の語順同期性評価

n トークンのアライメントを取得し、スピアマンの順位相関係数を計算["私", "の", "好き", "な", "動物", "は", "チンパンジー", "です", "。"]n サブワードトークンのアライメントの取得⽅法
n BERTScoreにてmBERTを使⽤することでマルチリンガルに対応[["私"], ["の"], ["好", "き"], ["な"], ["動", "物"], ["は"], ["チ", "##ン", "##パ", "##ンジ", "##ー"], ["で", "##す"], ["。"]]③ Get
subword alignment from BERTScore
BERTScoreからサブワードレベルのアライメントを取得[["My"], ["favorite"], ["animal"], ["is"], ["the"], ["chim", "##pan", "##zee"], ["."]][["私"], ["の"], ["好", "き"], ["な"], ["動", "物"], ["は"], ["チ", "##ン", "##パ", "##ンジ", "##ー"], ["で", "##す"], ["。"]]

13

実験設定

原発話と⽬的発話の語順同期の程度を⽐較
名前

NAIST-SIC-Aligned:
Automatically-Aligned
English-JapaneseSimultaneousInterpretation Corpus(Zhao,ʻ23)

⾔語

英⽇

トーク数831

内容

Ted Talks

証明したいこと• トークンのアライメントの距離を計算することで語順差を⽰すことは可能か• S ランクの同時通訳者による訳出と字幕の語順差の⽐較

同時通訳者の Sランク: 15 年
経験年数
Aランク: 4 年
Bランク: 1 年
データの形式 ⾳声ファイル, 字幕, SIの訳
出の書き起こしファイル14実験1の結果と分析• SIではセグメントが⻑くなればなるほど原発話との同期が⾼くなる• ⻑いセグメントではSIと字幕間での語順差は⼤きい• ⻑いセグメントにてSIは語順の並び替えは難しい• 短いセグメントではSIと字幕間での語順差は⼩さい• 短いセグメントではSIでも語順の並び替えが可能
SI-0.71Synchronization Score

0.85

Offline-0.71

0.8
0.75
0.70.6521342345
Min. # of. Aligned Words

5615

実験設定2

⻑いセグメントにおける⼈⼿評価との⽐較
名前

⽇本記者クラブ (JNPC) コーパス (Matsushita+, ʻ20)

証明したいこと⾔語

英⽇、⽇英• 提案⼿法のスコアと⼈⼿評価（SI版
MQM）にて相関関係が⾒られるか• ⻑いセグメントに注⽬時間
内容77 時間2010年-2017にかけて⽇本記者クラブが⾏った記者会⾒の内
容
データ ⾳声、テキスト形式

16

実験の結果と分析• 提案⼿法が最も⼈⼿評価（SI版MQM）と相関**提案手法（↑）、 SI版MQM（↓）
⾃動評価

SI版MQM(↓)とのピアソンの相関係数

COMET-QE(↑)
BERTScore (F1) (↑)
提案⼿法(↑)

0.161
0.111-0.497

17まとめと今後の課題n 提案:原発話と⽬的発話の語順差を表す指標
最⼩限の遅延の達成 =＞ 語順差による遅延の削減 ＝＞語順の同期性の程度を測定• わかったこと•••⻑いセグメントにてSIは原発話との語順同期が⼤きい
短いセグメントではSIと字幕の間で語順同期に⼤きな差は⾒られない⻑いセグメントにてSI版MQMとの⾼い相関関係を確認

n 今後の課題• 異なる経験年数の同時通訳者による訳出品質評価• 要約、⾔い換え、省略などを含むSI・SiMTに頑丈な語順同期性評価• SI および SiMT に 特化した⾃動品質評価

18