我々は、MITの講義やTED講演を対象に、テキスト入力や音声入力の英日機械翻訳の研究を行ってきた。本稿では、Transformerの翻訳モデルを用いて、英日・日英共通の双方向モデル、TEDの英-西の英語側コーパス、および日本語話し言葉コーパスCSJの模擬講演を使用したデータ拡張、大量の書き言葉対訳コーパスであるASPECを用いた転移学習などによる改善について報告する。また、TED講演のBLEU値が如何に低いかを複数人による翻訳結果の比較と人間による評価により検討した結果について報告する。

我々は、MITの講義やTED講演を対象に、テキスト入力や音声入力の英日機械翻訳の研究を行ってきた[1,2,3]。機械翻訳技術の進展とともに、統計的機械翻訳手法、系列変換によるニューラル機械翻訳手法を検討してきたが、今回、Transformerによる翻訳手法を導入し、改善を図ったので報告する。TED講演の英日機械翻訳は、講演が話し言葉であるため文単位が曖昧であり、また学習に使用するパラレルデータが少ないという問題があり、100万ペアあるASPECのような書き言葉の翻訳と比べて格段に難しい[2,3]。TED講演の英日翻訳に関しては、IWSLTのワークショップで、2021年には英日の瞬時テキスト翻訳が、2022年には英日の瞬時音声翻訳がタスクに加えられている[4,5]。Fukudaらは、Transformerの学習にTEDの英日22万文のパラレルコーパス以外に、WMT20newsの1800万文ペアを用いて、IWSLT2021Devセットに対してテキスト入力のオフライン翻訳で16.8、瞬時翻訳で15.6のBLEU値を得ている[6]。瞬時翻訳は、オフライン翻足立十一郎山本一公中川聖一中部大学工学部情報工学科{ep19002-1545@sti,kazumasayamamoto@isc,nakagawa@isc}.chubu.ac.jp訳に比べてBLEU値で10%～20％程度低下する。また、音声入力の音声翻訳は、音声認識性能に大きく依存するが、テキスト翻訳に比べて、BLEU値で10%～20%低下する[4,5]。パラレルデータ不足を補うために単言語コーパスによるデータ拡張手法がある[7]。これは、単言語コーパスを翻訳することで疑似的なパラレルコーパスを作成し、ベースとなるパラレルコーパスと混合して学習に用いる手法である。山岸らは、本手法の単言語コーパスとして、日本語話し言葉コーパスCSJの学会講演の書き起こしを使用した[8]。本研究では、TEDの英語-スペイン語のパラレルーパスの英語側の単言語とCSJの日本語単言語の模擬講演コーパスを使用する。同じく山岸らは、Fukudaらと同様に、ドメインの異なる大規模パラレルコーパスを用いた転移学習をTED翻訳に適用した[8]。具体的には、IWSLT2010のTEDのテストデータに対して、書き言葉の100万文英日ペアのASPECや字幕データの280万文ペアのJESCからの転移学習で、それぞれ14.19,15.47のBLEU値を得ている[7,9]。本研究でもこの手法を利用する。低リソース言語のモデルの学習手法として、マルチリンガル学習がある[10]。この手法は、多言語のパラレルデータで多言語翻訳モデルを学習し、エンコーダの出力である表現を汎用的な意味空間に写像するものと考えられ、小規模のパラレルデータでこのモデルを適応学習する方法である。この類似な方法として、双方向翻訳モデルが提案されている[11]。これは、対訳コーパスからソースとターゲットを順逆両方向の２つのパラレルデータを構築して、順逆両方向の翻訳モデルを共通なモデルとして学習する。Thanhらは、TED講演の英語-ベトナム語の双方向翻訳に適用し、有効性を示している[12]。本研究ではパ.ラレルコーパスの規模とこの手法の有効性との関係を明らかにする。最後にTED講演の翻訳の困難さをBLEUと人手による評価で検討する。