タグ付き混合データ学習と自己教師あり学習による同時通訳データを用いたEnd-to-End同時音声翻訳

同時音声翻訳(SimulST)は、文末を待たずに話し手の発話を漸進的に翻訳する技術であり、話し手の発話終了を待ってから翻訳を開始するオフライン音声翻訳(OﬄineST)と比較し、低遅延での翻訳を実現できる。近年ではニューラルネットワークに基づくEnd-to-endのSimulSTモデルが提案されているが[1,2]、大規模な同時通訳(SI)データがなかったため、MuST-C[3]のようなTEDの字幕データからなるオフライン(Oﬄine)データを用いて学習されてきた。SimulSTは話し手の発話終了を待たずに漸進的に翻訳するという点で、通訳者が行う同時通訳の考え方に類似している。通訳者は、話し手の発話に追従するため、不必要な語の省略や、話し手が話した内容をできるだけ早く話すなどの技法を取り入れている。そのため、高品質で低遅延な同時音声翻訳を実現するには、SIデータを使用して同時通訳の仕方を学習させることが有効であると期待される。𝑅𝑜𝑢𝑛𝑑𝑖+1𝑅!"#Offlinetrainspeech<si>...<si>...Style-𝑅!Inference<si>私は、買った。ペンを、<si>...<si>...<si>...TrainspeechStyle-𝑅!"#Train<off>私はペンを買いました<off>...<off>...データ学習を組み合わせた手法特に、英語と日本語はそれぞれSVO言語、SOV言語であることから、Oﬄine翻訳においては訳出される語順の違いが大きい。Oﬄineデータを用いて同時翻訳を学習してしまうと、訳出時に原言語で始めの方に出てきた内容が目的言語だと後の方に出てくるなどの場合があり、遅延が大きくなる恐れがある。英日の言語対でのSIデータはいくつかあるものの[4,5,6,7]、Oﬄineデータと比較して極めて少量である。本研究では、より多量に利用可能なOﬄineデータもSIデータの学習と同時に利用することで、SIデータが少量である問題に取り組む。与えられた英語の原文(Source)に対するOﬄineとSIの日本語の例を図2に示す。OﬄineとSIのスタイルには大きな違いがあり、図2では以下の違いがある。•Oﬄineではほとんどの原文の語が日本語に翻訳されているが、SIではいくつかの原文の語が省略されている。•SIはOﬄineと比較し、文法的な流暢さが犠牲となっているが、原文の前半を後半より先に訳すことで、低遅延の翻訳を実現できる。このような違いは、話し手の発話に追従できるように適宜省略を行いつつ、SIが通訳の同時性を重視していることから生まれる。したがって、SIデータを用いてこうした翻訳をSimulSTが学習することで、同時性の向上が期待できる。学習方法として、SIデータを用いてモデルを最初から学習する方法がまず考えられるが、データが不.しかしこの経済(6)危機や私の(8)国での(7)出来事について(1)私は(4)男性に(5)非があると(3)言うつもりは(2)ありませんOfflineTargetSourceSITarget足しており、モデルの学習が上手くいかない恐れがある。また、多量のOﬄineデータで学習された事前学習済みモデルに対してSIデータをFine-tuningさせる方法が考えられる。しかし、多量のOﬄineデータで学習された事前学習済みモデルに対してそのまま少量のSIデータをFine-tuningさせると、過学習を起こしやすく、省略でない部分も含めて過剰に省略してしまうモデルが作成される恐れがある。本研究では、SIまたはOﬄine出力を明示的に意味するスタイルタグが付与された混合データを用いて単一のSimulSTモデルを学習する手法を提案する。スタイルタグを付与することにより、SIまたはOﬄineスタイルの出力を選択的に生成するようデコード時にモデルに指示することができる。また本研究では、一度作成されたモデルから生成された擬似SIデータをさらに次の学習に用いる自己教師あり学習を多段階に行う手法も組み合わせ、SIデータが少量である問題のさらなる軽減を目指した。実験の結果、提案手法により、文の意味的類似度を測る評価手法であるBLEURT、COMET、COMET-QEでの改善を示したことが分かった。また、出力結果を見た結果、提案モデルは従来モデルと比較し、よりSIスタイルの出力が期待できることが分かった。