TED英語講演の音声認識・音声翻訳・音声要約の検討

我々は、以前から英語の講義や講演を自動音声認識し、要約して日本語で字幕表示する研究を行ってきた。英語講演音声をすべて翻訳し字幕にすると、読みが追い付かない・読み辛いなどの弊害が生じるため、要約システムが必要である。TED講演音声の音声認識では、DNN-HMMにより約88％の単語正解精度を得た。この書き起こし結果をTransform-erに基づくテキスト翻訳とBERTに基づく重要文抽出型テキスト要約に使用して、音声翻訳と音声要約を評価した。音声翻訳はテキスト翻訳に比べて、BLEU値が約14%低下した。一方、音声要約はテキスト要約に比べて、重要文として抽出された区間はほぼ同一であり、音声認識誤りに頑健であった。