リアルタイム音声対話システムのための応答タイミングと短文応答の同時予測

人間は対話の中で，相互に発話権を調整しつつスムーズな情報の授受を実現するためにターンテイキングを行う．ここで，ターンテイキングとは発話権を調整する振る舞いの総称である．ターンテイキングは人とシステム間の自然な対話を実現するための重要な課題として研究されている．従来のターンテイキングモデル[1,2]は，無音区間に基づいて高精度にユーザ発話の終端検出を行うことを目的としていた[3]．この設計では，システムはユーザの発話を邪魔しないように注意しつつ，発話が終わったことを確認してから応答を行う．ユーザ発話を邪魔しないことを最重要とするモデル設計の中で，ターン交替時の交替時間（ポーズ長，間合いとも呼ばれる）は無視されがちな要素である．しかし，交替時間は視線[4]や動作[5]に並んで，発話者の意図や感情を表現する上での有用な手段である．例えば，応答の受け手は長い交替時間か二話者音声対話対照学習Voiceactivityprojectionmodel応答ラベル切り替え位置のResponsetimingpredictionhead特徴量Shortresponseencoder00001短文応答（例：フィラー）応答タイミングラベル逐次処理(a)学習適切な応答タイミングと短文応答のペアを予測VoiceactivityprojectionmodelResponsetimingpredictionheadShortresponseencoder00001取得された短文応答逐次処理対照学習(a)推論らネガティブな応答を予測すること[6]や，怒りパターン分類タスクにおける特徴量として交替時間が有用なこと[7]が報告されている．人とロボットの対話においても，人間が人間に相対する際と同様に，ロボットの交替時間から遅延以外の意味を汲み取ること[8]が報告されている．近年では，より自然かつ円滑な対話システムの実現に向けた交替時間推定モデルの研究も盛んになっている．例えば，Roddyらはユーザ発話の音響・言語特徴量とシステム応答の言語特徴量からシステムの応答タイミングを0.05秒毎に逐次推定する手法であるResponseTimingNetwork[9]を提案した．また，Fujieらは視覚特徴を取り入れ，多人数対話にも対応可能な交替時間推定モデル[10]を提案した．交替時間推定のサブタスクとしてユーザ/システムの対話行為[11]推定を組み込む手法もある[12]．これらは人間にとって許容可能な交替時間の中でベストな点を探索する研究である．他方で，極端に.長い交替時間は単なる遅延でありユーザ印象を低下させる[13]．そのため，応答タイミング予測を有効活用するためには，NLGやTTSの遅延を緩和する仕組みが必要となる．このような仕組みの一つとしてフィラー挿入による知覚的な遅延の緩和がある[13,14]．これらは遅延を埋めるようにフィラーを出力することで，ロボットの応答に対する好ましさの低下[13]や遅延に起因する気まずさを緩和[14]できることを報告している．リアルタイム音声対話の実応用でも，フィラー戦略は遅延を緩和するための一般的なアプローチの一つである.一方，このアプローチの課題として，文脈に沿わないフィラーの出力や応答の多様さの乏しさが挙げられる．本稿ではより現実的な設定を考慮し，応答タイミング予測と遅延緩和のための高度なフィラー戦略を実現するためのマルチタスク学習に基づく手法を検討する．図1に提案するモデルを示す．我々の手法では，自己教師ありターンテイキング(VoiceActivityProjection;VAP)モデル[15,16]をベースとして，交替時間予測と短文応答予測を解く．まず，交替時間予測では，0.5秒後に応答すべきかどうかを二値分類により逐次的に予測する．推論時には逐次的に入力される音声に基づき応答タイミングを連続的かつリアルタイムに推定する．あらかじめ用意された短文応答の集合から適切な応答ーつを選択するタスクである短文応答予測では対照学習ベースの方法を取り入れる．学習時には，ターン交替時のVAPモデル特徴量と短文応答エンコーダ出力に基づいて対照学習を行う．推論時には，交替時間予測が0から1に切り替わる（応答すべきと判定された）タイミングの特徴量に基づいて，短文応答候補から最も適切な一つを選択する．選択された短文応答は，そこまでの文脈と応答タイミングに合うものであることが期待される．評価実験では客観評価を用いて各タスクでの性能評価を行い，提案手法の有効性を述べる．