TED講演音声の機械翻訳のためのデータ拡張法の比較

TED講演音声に関して、英語の音声認識はIWSLT(InternationalWorkshoponSpokenLanguageTranslation)での発表が多いが、英日翻訳に関しては少ない。2021年には英日の瞬時テキスト翻訳[7]が、2022年には英日の瞬時音声翻訳がタスクに加えられている[8]。TEDの英日音声翻訳に関しては、2022年度のIWSLTで最も良かった結果は、大規模な外部音声資源・言語資源を使用したUSTC(中国科学技術大学)のシステムで、音声認識誤り率(単語誤り率)約5%,アンサンブル翻訳ではテキスト入力で22,音声入力・オフライン方式では約19のBLEU値を報告している[11]。2023年度のIWSLTでは、オフライン音声翻訳と瞬時音声翻訳、新しいTEDのテストデータが評価対象となり、ACLの発表音声もテストに加えられた[9]。今回も音声認識と機械翻訳のカスケード方式がend-to-end方式の性能を上回った。TED講演のオフライン英日音声翻訳には3チームが参加し、BLEUの値は10.6,16.5,18.7であった。一番良かったHW-TSC(Huawei翻訳サービスセンター)の手法は、音声認識はWhisper(conformer)をﬁne-tuningしたもので、翻訳モデルはDeep-Transformerの1対多言語(1対3)モデルである[9]。学習に用いるパラレルデータの不足を補うために単言語コーパスによるデータ拡張手法がある[12]。これは単言語コーパスを機械翻訳することで疑似的なパラレルコーパスを作成し、ベースとなるパラレルコーパスと混合して学習に用いる手法である。山岸らは本手法の単言語コーパスとして、日本語話し言葉コーパスCSJ(CorpusofSpontaneousJapanese)の学会講演の書き起こしデータ等を使用した[13,14]。また、ベースとなるパラレルコーパスをある規則に基づいて変換して疑似コーパスを作成し、ベースコーパスを数倍に増やすことで学習データを得る拡張法がある(パラフレーズモデル)[15]。Baoらは品質の良い疑似コーパスを得るためにソース文のキーワード等も付加して複数文の翻訳文を生成し、用いている[16]。オートエンコーダを使用する方法も種々ある。Chengらは、モノリンガルデータと英中、中英翻訳モデルを用いて英語文→中国語文→英語文’、中国語文→英語文→中国語文’とソース文を翻訳し、ソース文とターゲット文が同一になるように学習して単なる逆翻訳手法よりも高い効果を得ている[17]。我々が試みた方法は、ソース側文とターゲット側文が同一になるように学習するもので、Curreyらと同じ手法である[19]。但し、CurreyらはTransformerや双方向モデルでは評価していない。また、オートエンコーダで生成された文を用いた疑似コーパスとの比較も行っていない。