本研究では，テレビ音声に付随する不完全な字幕に対して，音声情報を用いたテキストの補完と読み付与を同時に行う手法を提案する．具体的には，カタカナ列を直接出力するよう追加学習したWhisperと，形態素解析結果のラティスを組み合わせ，漢字かな混じりの音声認識結果，カタカナによる音声認識結果，字幕の三者をアライメントすることで，読み付きテキストを生成する．LaboroTVSpeechを用いた実験では，人手で作成した正解カタカナテキストとの文字単位編集距離により評価を行い，字幕と音声の乖離が大きい条件において，提案手法がWhisperによる漢字かな混じりの書き起こしや字幕に読み推定を適用した場合と比較して読み付与および補完の精度を向上させることを確認した．

テレビ放送音声は，ニュース，バラエティ，ドラマなど多様な話者・話題・音響条件を含むため，音声処理研究において極めて有用なデータ源である．一方で，テレビ放送に付随する字幕は，視聴者にとっての可読性を優先して作成されるため，実際の発話内容を忠実に反映していない場合も多い．具体的には，助詞や言いよどみの省略，言い換え，さらには発話そのものが字幕に現れない箇所も存在する．従って，このような字幕を音声と対にしただけのデータを，音声合成や読み推定モデルの学習に直接用いることは困難である．安藤と藤原[1]は，字幕が必ずしも正確ではないという問題を抱えつつも，準教師ありデコーディングを用いたアライメントにより，大規模な日本語音声認識コーパスが構築できることを示した．しかし，この研究は主に音声認識モデルの学習を目的としており，字幕テキストの欠落部分を補完したり，各語に対して正確な読みを付与したりすることまでは対象としていない．本研究では，テレビ音声に付随する不完全な字幕に対して，音声情報を手がかりとして字幕テキストの補完を行うとともに，各語の読みをカタカナ表記で付与することを目的とする．具体的には，カタカナ列を直接出力するよう追加学習したWhisper[2]と，形態素解析結果のラティスを組み合わせ，字幕・カタカナによる音声認識結果・漢字かな混じりの音声認識結果の3つの間のアライメントを用いて補完・読み付与を行う手法を提案する．実験では，LaboroTVSpeechコーパス[1]を用いて評価用データを作成し，人手で作成したカタカナ正解テキストとの編集距離により性能評価を行った．その結果，字幕のみやWhisperによる漢字かな混じりの書き起こし結果単独と比較して，本手法により読み付与およびテキスト補完の精度が向上することを確認した．