円滑な音声対話のためには、聞き手は継続的に傾聴行為を行う必要がある。本研究では、聞き手が応答すべきタイミングを推定し、応答生成まで行う手法を提案する。提案手法は、特徴量から推測するパラメーターと話し手の発話文とを入力とする応答生成モデルによって応答タイミングを推定する。さらに、パラメーターから動的に生成されるPrompt-Tokenを用いたPrompt-Tuneによって、パラメーターに適した多様なスタイルの応答を返す。自動評価と人手評価の結果から、提案手法はベースラインモデルと比較し、より自然なタイミングで応答が可能となり、よりパラメーターに沿った応答を生成できることを確認した。

人間同士の雑談において、聞き手は相槌や頷きといった傾聴行為を行うことが多い。このような傾聴行為は、コミュニケーションをより円滑にする効果が期待できるため、人間と音声対話システムにおける対話でも、システムが聞き手にまわる際には継続的に傾聴行為を行う必要があると考える。そこで本研究では、聞き手が応答すべきタイミングを推定し、多様な応答生成を行う音声対話システムの構築を目的とする。相槌など聞き手応答タイミングの推定に関しては、音響特徴量からの推定手法[1]や、節境界や無音区間、母音引き延ばしといった特徴量を使用する手法[2]など様々な手法が提案されている。また、聞き手応答タイミングの推定と類似した問題設定として、話者交代のタイミング推定が挙げられる。話者交代のタイミング推定においても、音響特徴量や言語特徴量を用いた推測を行う手法が多数提案されている[3,4,5]。近年では対話の文脈を取り入れたモデルも提案されており、EkstedtらはGPT-2[6]ベースの話者交代予測モデルである、TurnGPTを提案している[7]。TurnGPTは先行発話の書き起こしテキストを入力とし、直後の話者交代確率を推定する。本研究ではTurnGPTを拡張し、生成モデルによって、応答タイミング推定から応答生成まで行う手法を提案する。応答タイミングは、話し手の発話文をランダムに途中で切ったサンプルを訓練データに追加するデータ拡張を行って推定する。また、話し手の話速、前回の聞き手応答からの経過時間、節境界判定モデルの結果といった特徴量から推定する潜在的なパラメーターに沿った応答を生成することで、書き起こしテキスト単体では不足する情報を補う。パラメーターに沿った応答スタイルの学習時には、パラメーターから動的に生成されるPrompt-Tokenを用いたPrompt-Tuneを行う。これにより少量のデータでも効率的な学習ができる。応答タイミングと生成された応答のパラメーター反映度との2つの観点において自動評価と人手評価を行った結果、提案手法はベースラインである節境界によって応答タイミングを推定するモデルよりも、より高い性能で応答タイミングを推定できた。また、Fine-Tune、Prompt-Tuneを施したモデルよりも、与えられたパラメーターに沿った応答を生成できることを確認した。さらに、パラメーター推定性能についても自動評価と人手評価を行った結果、応答生成時にパラメーター推定結果を用いることで、より自然な応答ができることを確認した。