音声の意味的類似度に基づいた対照学習によるリアルタイム応答選択

ム[14]の中にストリーミング処理可能なターンテイ人間は対話の中で，スムーズな情報のやり取りをキングモデルを導入するものである．代表的な手法実現するためにターンテイキングを行う．本稿でのの一つとして，Voiceactivityprojection(VAP)[15,16]ターンテイキングは，発話権を調整する振る舞いのが存在する．このモデルは，二話者の音声を逐次的総称を指す．ターンテイキングのモデル化は対話シに受け取り，二秒先の音声活動を予測するように分ステムにとっても自然な対話を実現するための重類タスクで学習される．推論時には，予測された音要な課題である．古典的なターンテイキングモデ声活動に基づいて逐次的にシステムのバックチャネル[1,2]は，無音区間に基づいて高精度にユーザ発ルやメイン応答のタイミングを決定できる．このよ話の終端検出を行うことを目的としていた[3]．うなアプローチは比較的少ないデータでモデルを構こうした古典モデルはユーザ発話の終了後にシス築でき，対話システム内の各モジュールをカスタマテム発話を開始するため，対話破綻を発生させないイズ可能で制御性が高いという点で優れている．という点で優れている．しかし，実際の対話においしかしながら，カスケード対話システム上でのてはバックチャネルを含む多様な応答タイミングターンテイキングモデルでは，生成時の遅延が大きが，より円滑な対話の実現に重要な役割を果たしてな問題となる．モデルが適切な応答タイミングを決いるため，これらの振る舞いもモデリングできるこ定できたとしても，カスケードモデルの構成要素でとが望ましい．深層学習[4,5]や大規模言語モデルある対話応答生成と音声合成が律速となる．この課(LargeLanguageModel:LLM)[6,7]の発展により，自題を解決する方法として，フィラーを利用した遅延然な音声合成[8,9]や応答生成が可能となった．そ緩和のアプローチがよく知られている[17,18]．これに伴って，バックチャネルや応答タイミングなどれは，生成遅延を待機する間に，事前に用意したorg/licenses/by/4.0/).Pre-generatedshort-responsesえっと…なるほど!VAP-basedreal-timeencoderShort-responseencoderBC/mainresponsetimingpredictorASRTranscribedtext-----bc--------mainLLMShort-responseretrievalTTSFastsystemSlowsystemGenerationdelayグを逐次的に予測する早いシステムと，短文応答集合を一度だけエンコードする遅いシステムで構成される．フィラー音声を再生することでユーザ視点での遅延を解消するものである．このアプローチを踏まえて，我々は短文応答選択と応答タイミング予測の同時予測モデルを提案した[19]．この手法は，VAPモデルに基づいて対話情報から逐次的に応答タイミングを予測しつつ，短文応答との対照学習を適用することで，文脈にあった応答タイミングと短文応答を同時に選択して遅延緩和に用いるものである．本論文では，短文応答が持つ意味役割に着目し，音声客観評価指標に基づく順序・重み付き対照学習を提案する．提案手法は次の二ステップから構成される．まず，SpeechBERTScore[20]を用いて，二つの短文応答ペア同士の意味的な類似度を与える．学習時には，この類似度に基づいて二つの損失項を導入する．第一に，InfoNCE[21]を重み付きに拡張した損失関数を導入し，区別の難しい細かな違いに着目した学習を可能にする．第二に，tripletmarginloss[22]に順序の制約を導入したペナルティ損失を追加する．これは，類似度に基づくランキングと予測結果が一致するような制約を与えるものであり，隣接する応答同士の意味的な一貫性の改善が期待される．評価実験では，提案された二つの損失関数により応答タイミング予測の精度を低下させることなく，短文応答選択におけるtop-𝑘%を大幅に改善できることを示した．