テレビ音声コーパスに対するテキスト補完と読み付与

本研究では，テレビ音声に付随する不完全な字幕に対して，音声情報を用いたテキストの補完と読み付与を同時に行う手法を提案する．具体的には，カタカナ列を直接出力するよう追加学習したWhisperと，形態素解析結果のラティスを組み合わせ，漢字かな混じりの音声認識結果，カタカナによる音声認識結果，字幕の三者をアライメントすることで，読み付きテキストを生成する．LaboroTVSpeechを用いた実験では，人手で作成した正解カタカナテキストとの文字単位編集距離により評価を行い，字幕と音声の乖離が大きい条件において，提案手法がWhisperによる漢字かな混じりの書き起こしや字幕に読み推定を適用した場合と比較して読み付与および補完の精度を向上させることを確認した．