は二つの方向性に大きく分けることができる．応答タイミングや相槌などは音声対話システムの一つは，対話システム全体をEnd-to-endで最適化表現力に関係する重要な要素である．この背景に基することで暗黙的にターンテイキングの振る舞いをづいて，我々は以前の研究で応答タイミングと遅延獲得するものである[12,13]．この枠組みの一つで緩和のための短文応答を同時予測するモデルを提案あるMoshi[13]は，二話者の音声ストリームを逐次した．このモデルは，対話文脈に基づく適切なタイ的に生成するようにモデルを学習する．その結果，ミングを決定するとともに，適切な短文応答も合わ学習データに含まれるターンテイキング的な振る舞せて選択する．本論文では，音声の客観評価指標にいを暗黙的に獲得する．推論時には，いずれか一方基づく重み・順序付き対照学習を提案し，短文応答のストリームをシステム音声として扱う．このアプ選択を改善する．客観評価スコアに基づく学習によローチは，ターン制対話の仮定を取り払い，優れたり，ランキング付けにおける一貫性の改善を実現す応答速度や自然な相槌などを実現できる．一方で，ることを目指す．評価実験では，提案手法が短文応モデルの訓練には数万時間以上のデータが必要であ答選択におけるtop-𝑘%を改善することを示した．り，制御性も低いという問題を抱えている．もう一つのアプローチは，カスケード対話システ

ム[14]の中にストリーミング処理可能なターンテイ人間は対話の中で，スムーズな情報のやり取りをキングモデルを導入するものである．代表的な手法実現するためにターンテイキングを行う．本稿でのの一つとして，Voiceactivityprojection(VAP)[15,16]ターンテイキングは，発話権を調整する振る舞いのが存在する．このモデルは，二話者の音声を逐次的総称を指す．ターンテイキングのモデル化は対話シに受け取り，二秒先の音声活動を予測するように分ステムにとっても自然な対話を実現するための重類タスクで学習される．推論時には，予測された音要な課題である．古典的なターンテイキングモデ声活動に基づいて逐次的にシステムのバックチャネル[1,2]は，無音区間に基づいて高精度にユーザ発ルやメイン応答のタイミングを決定できる．このよ話の終端検出を行うことを目的としていた[3]．うなアプローチは比較的少ないデータでモデルを構こうした古典モデルはユーザ発話の終了後にシス築でき，対話システム内の各モジュールをカスタマテム発話を開始するため，対話破綻を発生させないイズ可能で制御性が高いという点で優れている．という点で優れている．しかし，実際の対話においしかしながら，カスケード対話システム上でのてはバックチャネルを含む多様な応答タイミングターンテイキングモデルでは，生成時の遅延が大きが，より円滑な対話の実現に重要な役割を果たしてな問題となる．モデルが適切な応答タイミングを決いるため，これらの振る舞いもモデリングできるこ定できたとしても，カスケードモデルの構成要素でとが望ましい．深層学習[4,5]や大規模言語モデルある対話応答生成と音声合成が律速となる．この課(LargeLanguageModel:LLM)[6,7]の発展により，自題を解決する方法として，フィラーを利用した遅延然な音声合成[8,9]や応答生成が可能となった．そ緩和のアプローチがよく知られている[17,18]．これに伴って，バックチャネルや応答タイミングなどれは，生成遅延を待機する間に，事前に用意したorg/licenses/by/4.0/).Pre-generatedshort-responsesえっと…なるほど!VAP-basedreal-timeencoderShort-responseencoderBC/mainresponsetimingpredictorASRTranscribedtext-----bc--------mainLLMShort-responseretrievalTTSFastsystemSlowsystemGenerationdelayグを逐次的に予測する早いシステムと，短文応答集合を一度だけエンコードする遅いシステムで構成される．フィラー音声を再生することでユーザ視点での遅延を解消するものである．このアプローチを踏まえて，我々は短文応答選択と応答タイミング予測の同時予測モデルを提案した[19]．この手法は，VAPモデルに基づいて対話情報から逐次的に応答タイミングを予測しつつ，短文応答との対照学習を適用することで，文脈にあった応答タイミングと短文応答を同時に選択して遅延緩和に用いるものである．本論文では，短文応答が持つ意味役割に着目し，音声客観評価指標に基づく順序・重み付き対照学習を提案する．提案手法は次の二ステップから構成される．まず，SpeechBERTScore[20]を用いて，二つの短文応答ペア同士の意味的な類似度を与える．学習時には，この類似度に基づいて二つの損失項を導入する．第一に，InfoNCE[21]を重み付きに拡張した損失関数を導入し，区別の難しい細かな違いに着目した学習を可能にする．第二に，tripletmarginloss[22]に順序の制約を導入したペナルティ損失を追加する．これは，類似度に基づくランキングと予測結果が一致するような制約を与えるものであり，隣接する応答同士の意味的な一貫性の改善が期待される．評価実験では，提案された二つの損失関数により応答タイミング予測の精度を低下させることなく，短文応答選択におけるtop-𝑘%を大幅に改善できることを示した．