音声機械翻訳の時間効率と精度を改善するための連続音声分割

STは機械翻訳（MachineTranslation;MT）の一種であり、その実用化には連続音声の自動分割が欠かせない。現在のMTは適切に翻訳できる入力長に上限があるため、長い入力は事前に分割する必要がある。テキストを入力とする通常のMTでは、句点や終止符を境界とした文単位への分割が一般的である。一方で、STの入力である連続発話音声には明示的な境界記号が存在せず、セグメントの境界は自明ではない。STモデルの学習及び評価時には、音声翻訳コーパスが含むセグメント境界を利用できるが、実用の場面では自動的な音声分割処理が必要になる。音声区間検出（VoiceActivityDetection;VAD）を用いた無音区間に基づく分割[1]は、一般的な音声分割手法として音声認識やSTに広く用いられてきた。しかし、発話に含まれる無音は必ずしも意味的なまとまりの境界とは一致しないため、VADはしばしば翻訳に適さないセグメントを生じさせる。近年の研究では、VADによる音声の過剰分割がSTの精度を著しく低下させることが指摘されている[2]。この問題を緩和するために、Gaidoら[3]とInagumaら[4]は、STモデルが処理しやすい長さまでVADによるセグメントを連結して翻訳するヒューリスティクスを用いた。しかし、無音に基づく不適切な分割は依然として存在した。近年では、音声翻訳コーパスのセグメント境界を予測する、コーパスに基づく音声分割手法[5,6,7,8]が提案されている。これらの手法は無音に基づく従来手法を大幅に上回り、中でも事前学習済みの自己教師あり音声モデルwav2vec2.0を用いたSHAS[7]は、人手で分割されたセグメントの翻訳精度を95%以上維持することが報告されている。しかし、SHASは2、3文繋がったような長いセグメントを生成する傾向があり、より文に近い短いセグメントまで分割することで精度を改善できる可能性がある。また平均セグメント長が長いほど、並列処理できるサンプル数が減少し、かつトークンあたりの時間計算量が増加するためSTの時間効率が低下する。そこで本研究では、翻訳に必要な情報を過不足なく持つセグメントを生成する音声分割を実現するために、SHASに対して以下の工夫を取り入れた。1.長さに関するヒューリスティクスに頼らない分割アルゴリズムの提案