プロアクティブ音声対話の実現に向けた聞き手笑いの先読み

近年，大規模言語モデル（LLM）の発展により，テキストを介した対話システムは文脈理解や応答生成の面で大きく向上してきた[1,2]．一方で，テキスト対話では，声のトーンやタイミング，笑いなどのパラ言語情報が欠落しやすく，対話における感情伝達や関係性形成に重要な社会的シグナルを十分に扱えないという課題が残る[3]．この課題意識を背景に，音声を入出力とする対話（speechdialogue）や，音声から音声への生成（speech-to-speech）により，人間同士の会話に近い相互作用を実現しようとする研究が進んでいる．特に近年提案されたMoshiは，音声対話を「音声のストリーム同士の生成」として定式化し，話しながら聞くことを可能にするfull-duplexな枠組みでリアルタイム対話を実現している[4]．人間同士の会話では，話し手は相手の反応を逐次予測しながら話題や表現を調整する．このような能動性（proactivity）は，システムがユーザの反応や目標達成を見越して対話を主導・調整する能力として整理されており，近年サーベイも含めて注目を集めている[5,6]．しかし既存研究の多くは，話題誘導や目標指向等のテキストベースの能動性に焦点を当てており，相槌や笑いなどの音声対話に固有な反応を発話選択に活用する枠組みは十分に検討されていない．音声対話における将来予測としては，相槌のタイミング予測や形式予測[7,8]，あるいは将来の発話活動を自己教師ありに予測するVAP（VoiceActivityProjection）[9]などが提案されている．また，笑いに関しても，ユーザの笑いを検出してシステムが応答笑いを返す「共有笑い」生成[10]や，スタンドアップ動画で観客の笑いを単語列に対する系列ラベリングとして予測する試み[11]は報告されている．しかし，日常的な対話データを対象に，Full-duplexな音声対話モデル上でリアルタイムに聞き手の笑いを先読みする研究は限定的である．そこで本研究では，Full-duplex音声対話モデルMoshi[4]を基盤とし，対話の過去文脈から近未来の笑いイベント発生確率を推定するモデルを構築する．具体的には，Moshiの内部表現に軽量な分類器を付加することで，リアルタイム性を損なわずに笑い予測を行う．学習・評価には，笑いを含む多様な音響イベントが付与されたPodcastFillersデータセット[12]を用いる．本稿では、Full-duplex音声対話モデルに対して聞き手笑いの先読みを可能にする最小構成の拡張法を提案する。さらに、PodcastFillersを用いた評価設定を整備してリアルタイム運用を想定した観点から性能を検証し、音声対話における能動的な発話選択へ向けた笑い予測の可能性と課題を議論する。