我々は、以前から英語の講義や講演を自動音声認識し、要約して日本語で字幕表示する研究を行ってきた。英語講演音声をすべて翻訳し字幕にすると、読みが追い付かない・読み辛いなどの弊害が生じるため、要約システムが必要である。TED講演音声の音声認識では、DNN-HMMにより約88％の単語正解精度を得た。この書き起こし結果をTransform-erに基づくテキスト翻訳とBERTに基づく重要文抽出型テキスト要約に使用して、音声翻訳と音声要約を評価した。音声翻訳はテキスト翻訳に比べて、BLEU値が約14%低下した。一方、音声要約はテキスト要約に比べて、重要文として抽出された区間はほぼ同一であり、音声認識誤りに頑健であった。

我々は、以前から英語の講義や講演を自動音声認識し、要約して日本語で字幕表示する研究を行ってきた。英語講義・講演音声をすべて翻訳し字幕にすると、ユーザーの読みが追い付かない・読み辛いなどの弊害が生じるため、音声認識システムと翻訳システム以外に要約システムがあると便利である[1]。音声認識に関しては、DNN-HMM型のハイブリッド方式とEnd-to-End方式があり、後者の方が性能がよいという報告がみられるようになってきた[2,3]。TED講演音声に関して、英語の音声認識はIWSLTでの発表が多いが、英日翻訳に関しては少ない。2021年には英日の瞬時テキスト翻訳[2]、2022年には英日の瞬時音声翻訳がタスクに加えられている[3]。上野らは12層のConformerエンコー坂野晴彦桜井陽生足立十一郎山本一公中川聖一中部大学工学部情報工学科｛ep19087-8458@sti,ep18051-1542@sti,ep19002-1545@sti,kazumasayamamoto@isc,nakagawa@isc}.chubu.ac.jpダ、Attention付きの単方向LSTMのデコーダを用いて、TED-LIUM2（211時間分の学習データ）で、単語誤り率8.56%という報告をしている[4]。音声翻訳に関しては、音声認識とテキスト翻訳の接続によるハイブリッド方式とEnd-to-end方式があり、最近では後者の進展が目覚ましく、両者の差はなくなってきた[3,5]。我々は講義・講演の翻訳に対して、ハイブリッド方式を採用し、時代に合わせて統計的機械翻訳モデル[6]、RNNニューラルネットワークのLSTMによる系列変換モデル[7]、Transformerモデル[8]を使用してきた。並行して、音声認識誤りに対処するために、Nベストのリスコアリングの利用、認識誤りを含めた対訳ペアによる学習などを試みてきた[6]。本稿では、Transformerにデータ拡張や転移学習を適用した結果を報告する。TEDの英日音声翻訳に関しては、福田らは、オフライン方式で11.6、オンライン・瞬時翻訳方式で10.6のBLEU値を報告している[9]。IWSLT-2022で最も良かった結果は、大規模な外部音声資源・言語資源を使用したUSTC（中国科学技術大学）のシステムで、音声認識誤り率（単語誤り率）約5％、アンサンブル翻訳ではテキスト入力で22、音声入力・オフライン方式で約19のBLEU値を報告している[5]。要約に関しては、抽出型要約と抽象型要約があり、従来は抽出型要約の方が優れていたが、最近はニューラルネットワークの抽象型要約技術が進展し、両者の性能差はなくなってきた[10,11,12]。ただし、人による要約結果の評価では抽出型要約の方がまだ評価が高い[12]。講義・講演を聴講しながら要約を字幕表示する場合は、万遍なく音声に同期した字幕表示が望ましい。そこで我々は、重要な箇所.だけ音声を再生するのにも適している重要文の抽出型要約を採用している。過去の重要文抽出の手法として、テキスト・音声要約で有効な手法として広く用いられるMaximalMarginalRelevance(MMR)[13]や、文の重要性を表す素性の抽出と抽出した素性に基づく分類からなるfeature-based法[14]などが提案されている。最近では、文の構文情報・意味表現として、文の分散表現が良いとされ、大規模な学習データによるニューラルネットワークを利用した重要文抽出の要約にも利用されている[15,16]。我々は、従来の要約システムMMRにBidirectionalEncoderRepresentationsfromTransformers(BERT)[17]を併用する方法を提案してきた[18]。本稿では、本手法と最近の代表的な抽出型要約であるBertSumExt法[16]による音声要約を報告する。