並列テキスト生成による低遅延ゲーム音声実況システム

本研究では、ゲーム映像を逐次入力し実況音声を出力するリアルタイム音声実況生成タスクを扱う。従来、テキスト生成と音声合成を直列に行う手法が用いられていたが、各段階での推論時間の蓄積により実況音声が出力されるまでの待ち時間が発生し、長い沈黙を含む不自然な実況出力が問題であった。そこで、本稿ではテキスト生成を並列化することで待ち時間を軽減する音声実況システムを提案する。ゲーム実況コーパスを用いた評価実験より、提案システムによる自動生成実況はベースラインと比較して、不自然な実況の原因となる発話間の平均沈黙時間を9.6秒から0.3秒にまで軽減した。また、発話と沈黙の繰り返し時間のパターンについても、meanIntersectionoverUnion(mIoU)によるプロによる実況との類似度評価において40%以上の性能向上を確認した。さらに、人手評価により提案法は実況の発話リズムの自然さを向上させることが示された。