対話履歴のLLM埋め込みを用いた音声合成のスタイル制御

音声対話エージェントによる自然な応答の実現を目指し、表現力豊かな音声を合成する、対話音声合成の手法が探索されている[1,2,3]。これらの研究では、対話における感情、対話履歴、発話意図(e.g.,質問、挨拶)に基づき、合成音声のスタイルを制御する。本研究では、合成音声の発話スタイルを制御するため、これらの要素のうち対話履歴に着目する。対話中の発話スタイルは対話履歴に応じて変化する[4]。例えば、対話履歴の内容が明るい話題だった時の「そうなんだ」は喜びのスタイル、暗い話題だった時の「そうなんだ」は悲しいスタイルでそれぞれ発話されることが考えられる。このように、対話履歴は発話スタイルを決定づける重要な要素の1つであり、音声合成においても対話履歴を用いることで、自然な発話スタイルで音声対話エージェントに応答させることが期待できる。対話履歴に基づいて発話スタイルを制御するため、提案モデルは、大規模言語モデルによって抽出された対話履歴を表す埋め込みを用いて音声を合成する。大規模言語モデルは膨大なテキストデータによって事前学習されており、高い精度で文脈を理解できるため[5]、効率的に、対話履歴のテキストから、文脈を表す隠れベクトルを得られる。この隠れベクトルを利用することで、対話履歴に基づいた、適切なスタイルでの音声合成が期待できる。提案モデルは対話文脈エンコーダ、話者エンコーダ、離散ユニット抽出器、ユニットHiFi-GANボコーダ[6,7]で構成される。話者エンコーダは、話者の音響情報を表すx-vector[8]を隠れベクトルに変換する。さらに、対話文脈エンコーダは、大規模言語モデルによって抽出された対話履歴を表す埋め込みを隠れベクトルに変換する。HiFi-GANボコーダは、これらの隠れベクトルと離散ユニット抽出器によって得られたhiddenunitbidirectionalencoderrepresentationsfromTransformers(HuBERT)ユニット系列[9]を用いて、音声を合成する。実験では、提案モデルの有効性を評価するため、英語の演技音声のコーパスであるEmotionalSpeechDatabase(ESD)[10]を用いて擬似対話履歴付き音声データセットを作成し提案モデルの学習を行う。合成音声の自然性を5段階評価するmeanopinionscore(MOS)と、実音声と合成音声の類似度[1]をそれぞれ5段階で評価した結果について報告する。