テレビ音声コーパスに対するテキスト補完と読み付与

テレビ放送音声は，ニュース，バラエティ，ドラマなど多様な話者・話題・音響条件を含むため，音声処理研究において極めて有用なデータ源である．一方で，テレビ放送に付随する字幕は，視聴者にとっての可読性を優先して作成されるため，実際の発話内容を忠実に反映していない場合も多い．具体的には，助詞や言いよどみの省略，言い換え，さらには発話そのものが字幕に現れない箇所も存在する．従って，このような字幕を音声と対にしただけのデータを，音声合成や読み推定モデルの学習に直接用いることは困難である．安藤と藤原[1]は，字幕が必ずしも正確ではないという問題を抱えつつも，準教師ありデコーディングを用いたアライメントにより，大規模な日本語音声認識コーパスが構築できることを示した．しかし，この研究は主に音声認識モデルの学習を目的としており，字幕テキストの欠落部分を補完したり，各語に対して正確な読みを付与したりすることまでは対象としていない．本研究では，テレビ音声に付随する不完全な字幕に対して，音声情報を手がかりとして字幕テキストの補完を行うとともに，各語の読みをカタカナ表記で付与することを目的とする．具体的には，カタカナ列を直接出力するよう追加学習したWhisper[2]と，形態素解析結果のラティスを組み合わせ，字幕・カタカナによる音声認識結果・漢字かな混じりの音声認識結果の3つの間のアライメントを用いて補完・読み付与を行う手法を提案する．実験では，LaboroTVSpeechコーパス[1]を用いて評価用データを作成し，人手で作成したカタカナ正解テキストとの編集距離により性能評価を行った．その結果，字幕のみやWhisperによる漢字かな混じりの書き起こし結果単独と比較して，本手法により読み付与およびテキスト補完の精度が向上することを確認した．