英日のような文法が大きく異なる言語ペアにて、同時通訳者はリアルタイムで訳出を行うために、原発話の語順を可能な限り維持して遅延を最小化しつつ品質を維持しているとされている。これは原発話の語順と同期した出力が望ましいことを意味し、機械による同時通訳や同時機械翻訳もこのような訳出スタイルを模倣することが発展の鍵となる。そこで本研究では順位相関係数と多言語BERTを使用して、語順同期性に着目した同時通訳(SI)と同時翻訳(SiMT)の自動評価指標を提案する。NAIST-SIC-AlignedとJNPCコーパスを用いた実験の結果、我々の評価指標が原発話と目的発話の間の語順同期の程度を計るのに有効であることが示された。

SIは原発話の終了前に訳出を開始する特徴をもち、高品質かつ低遅延な訳出を行うことが目標である。その中で、特に英語と日本語のような異なる語順の言語対で高品質と低遅延の両立を図るためには、可能な限り原発話と同期させることが重要である。具体的に、同時通訳者は良質かつ最小の遅延を達成するために、できるだけ原発話の語順を保持した状態で訳出を行うこともあり、この戦略はファーストイン・ファーストアウト（FIFO）戦略と呼ばれている[1,2,3]。近年SIに対して計算機を用いた同時機械翻訳（SiMT）への研究関心が高まっているものの、入手可能なSIコーパスのサイズが小さいこともあり、ほとんどの研究[4,5]の学習で用いられているデータの大半は同時通訳者が行っているとされているFIFO戦略が反映されていない通常の翻訳データである。つまりSiMTはFIFOの戦略を通じた品質と遅延を両立させた訳出ではなく、機械翻訳と同じような語順の並び替えの距離が長い訳出を用いた学習が行われている。表1は、翻訳とSIの間の英日の語順差の例を示している。SIについて、原発話では「everyyear」は文末に来ているが、「everyyear」にあたる日本語訳は文の中ほどに来ている。これは、遅延を減らすために原発話の途中で既に訳出が始まっていることを示している。一方、翻訳では「everyyear」にあたる日本語訳が文頭に来ている。これは、訳出の開始が原発話の終了まで待たなければならないことを示し、これは遅延の増加につながることが示唆される。そこで本研究では、SIとSiMTの原発話と目的発話の間の語順同期性を計る評価指標を構築する。提案手法はこれまでの自動機械翻訳評価の研究から影響を受けている。RIBES[6]の順位相関係数の考えを用いて語順同期性を計算する。順位相関係数を計算する際に必要なアライメント情報の取得について、従来手法は表層ベースであるが、提案手法はBERTScore[7]を用いた意味的類似度から取得する。基本的にBERTScoreはモノリンガルであるが、多言語BERTを用れば容易にクロスリンガルに拡張できる[8]。提案手法の有用性を英日SIコーパス[9,10]を用いて検証したところ、特に長い原発話においてSIは翻訳よりも語順同期性が高いことが示された。