情報処理学会研究報告
IPSJ SIG Technical Report

対話履歴の韻律情報を考慮した共感的対話音声合成
西邑 勇人1,a)

齋藤 佑樹1,b)

高道 慎之介1

橘 健太郎2

猿渡 洋1

概要：
本稿では，対話履歴の言語・韻律情報を考慮し，対話相手に寄り添った発話を合成可能な共感的対話音声合成の手法を提案する．音声コミュニケーションにおいて人間は，対話の言語的・韻律的特徴から文脈を理解し，適切な韻律で対話相手に応答できる．しかし，この振る舞いをどのように計算機的に模擬し，音声合成に取り入れるかは詳細に検討されていない．提案法は，対話相手とエージェントの発話テキストと音声からクロスモーダル注意機構により推定される対話文脈埋め込みベクトルで音声合成の音響モデルを条件付けする．本研究ではさらに，対話履歴の文脈を考慮した学習を容易にするためのカリキュラム学習も検討する．実験的評価の結果より，提案法が従来法と比較して合成音声の発話自然性・対話自然性の両方を改善させることを示す．

Yuto Nishimura1,a)Yuki Saito1,b) Shinnosuke Takamichi1
Hiroshi Saruwatari1

1. はじめに

Kentaro Tachibana2

情報から文脈情報を推定し，音声合成の音響モデルをその文脈情報で条件付けして構築する手法が考えられる．Guo

コミュニケーションの役割の一つは，互いの理解を深め

ら [8] は，事前学習済み大規模言語モデルから得られる文て共通の認識を持ち，共有世界を構築することである [1]．

埋め込みベクトルを用いて言語的な文脈を考慮する対話

また，それを実現する傾聴行為の一つが，本論文の扱う共音声合成を提案している．この手法では，対話相手の音声

感 (empathy) である．共感は，相手の世界をあたかも自分に現れる要素 [6] は考慮できない．他方，Yamazaki ら [9]のように感じる行為 [1]，または，相手の内側に入り込もう

は，対話相手による直前の発話から抽出された F0 系列かとする能動的な試み [2] であり，相手と感情を同一化する

ら合成音声の F0 系列を予測する手法を提案している．し同調 (sympathy) と異なる．近年は，この機能を非タスク

かし，音声の韻律的特徴のうち，単語レベルに量子化され指向型対話システム（コミュニケーションを目的とする対た F0 しか使用しておらず，深層学習モデルによる認識生話システム） [3] に取り込むために，言語理解 [4] や応答言成能力を十分に享受できていない．また，これら 2 つの手

語生成 [5] が研究されている．他方，音声の感情と韻律も法ではそれぞれ言語もしくは音声という単一のモダリティ

共感の主要素 [6] であり，これを合成音声に付与する技術のみが考慮されており，2 つのモダリティをどのように統は共感的対話音声合成 [7] と呼ばれる．この技術の実現に合し，対話の文脈を推定して共感的対話音声合成を実現すは，当該対話中の対話相手（ユーザ）との対話履歴を考慮べきかは明らかでない．

し，次の応答に寄与する適切な音声特徴量を推定しなければならない．

本研究は，音声対話における言語・音声の両モダリティを考慮した共感的対話音声合成の音響モデリング法を提案

音声コミュニケーションにおいて人間は，対話の言語的・する．提案するアーキテクチャは，入力テキストから音声

韻律的特徴から文脈を理解し，適切な韻律で対話相手に応特徴量を生成する FastSpeech2 [10] ベースの音響モデルと，答できる．この振る舞いを計算機的に模擬し，音声合成に

BERT [11] 由来の文埋め込みベクトル系列およびメルスペ

導入するためのアプローチとしては，対話履歴の音声言語

クトログラム由来の韻律埋め込みベクトル系列から対話文脈

1
2
a)
b)

東京大学
LINE 株式会社yutonishimurav20512@gmail.com
yuuki saito@ipc.i.u-tokyo.ac.jp

c 1959 Information Processing Society of Japan⃝

埋め込みベクトルを推定する Cross-Modal Conversational

Context Encoder (CMCCE) で構成される．CMCCE は，
文埋め込みベクトル系列と韻律埋め込みベクトル系列が持1

情報処理学会研究報告
IPSJ SIG Technical Report

つ対話履歴情報を統合するためのクロスモーダル注意機構

3DVWを有しており，Guo らの先行研究 [8] における，言語モー

6SHDNHU 8VHU

ʞ

ダルのみを考慮した CCE の理論拡張といえる．本研究で6SHHFKʞ

はさらに，対話履歴の文脈を考慮した共感的対話音声合成

7H[W nDDD|

ʞの学習を容易にするために，(1) 対話エージェントのデー

8VHU

$JHQW

nGGG|

nHHH|

nIII|

&RQWH[W
HPEHGGLQJと (2) 対話履歴からの韻律埋め込みベクトル予測の 2 段階
果より，(1) 提案するカリキュラム学習が合成音声の発話
図 1

提案法のアーキテクチャ（“FS2” は FastSpeech2 を意味する）
3DVW

ダリティを考慮した音響モデリング法が最も高い発話自然
8VHU

性・対話自然性を達成しうることを示す．

nDDD|&XUUHQW

$JHQW

8VHU

$JHQW

ʞ

nGGG|

nHHH|

nIII|

3URVRG\HQFRGHU

3URVRG\
HPEHGGLQJVʞ

6HQWHQFH%(57ʞ

6HQWHQFHHPEHGGLQJV&&(ZFURVVPRGDODWWHQWLRQる．従来の統計的パラメトリック (Statistical Parametric&RQWH[W
HPEHGGLQJ

Speech Synthesis: SPSS) 方式 [12] では，音声合成タスク
を (1) テキストからの言語特徴量抽出，(2) 言語特徴量からʞʞ

2. 関連研究
音声合成は，テキストから音声を予測するタスクであ)6
6\QWKHWLF
VSHHFK

学習を行うカリキュラム学習も検討する．実験的評価の結

2.1 End-to-End 音声合成

7XUQ

&0&&(

タのみを用いた音響モデル・韻律埋め込みベクトルの学習

自然性改善に有効であること，(2) 言語・韻律のクロスモ&XUUHQW

$JHQW

図 2

Cross-Modal CCE (CMCCE) のモデル構造の音響特徴量予測，そして (3) 音響特徴量生成からの音声

話履歴の言語情報から対話文脈ベクトルを予測する機構を波形生成の 3 つのサブタスクに分割して解いていた．近年

Text-Modal Conversational Context Encoder (TMCCE)

では，深層学習技術の発展に伴い，End-to-End (E2E) 音声と称する．

合成 [13] と呼ばれる，Deep Neural Network (DNN) を活

2.2.2 対話相手の F0 に基づく合成音声の韻律制御用した手法が数多く提案されている．この方式は，SPSS に

Yamazaki ら [9] は，対話相手の直前の発話から F0 を抽おける 3 つのサブタスクを 2 つに統合する手法 [13], [14]，出し，合成音声の F0 予測に用いる手法を提案している．

1 つに統合する手法 [15], [16] など多岐に渡るが，本研究でこの手法は，対話相手の F0 から推測可能な対話の短期的はテキストから音声特徴量を予測するタスクを解く手法をな文脈は考慮できるが，長期的な文脈と，F0 以外に表出す採用する．また，学習速度の速さや推論の安定さの観点かる韻律的特徴を考慮できない．

ら，音響モデルとして FastSpeech2 [10] を用いる.

これらの先行研究は，対話履歴を考慮することによって
対話音声合成としてより自然な音声が合成できることを示

2.2 対話履歴を考慮した対話音声合成
E2E 音声合成の進展に伴い，人間の自然音声と同程度の品質の音声を合成できるようになりつつある．一方で，人間の音声コミュニケーションにおける共感・同調などの振したものである．しかし，利用可能な対話履歴の韻律情報の制限や，言語・音声のクロスモダリティを考慮できない．

3. 提案手法

る舞いを再現するまでには至っていない．特に，本研究の本研究では，より高品質な共感的対話音声合成の実現を主題である共感的対話においては，対話の状況や相手の感

目指し，エージェントとユーザ間の対話履歴の言語情報と情の推定など，人間は対話中の様々な情報を考慮して相手

韻律情報の両方で条件付けされた FastSpeech2 ベースの音に発する言葉を考え，それに合った韻律を持つ音声を発す

声合成手法を提案する. 提案法のアーキテクチャを Fig. 1

る．しかし，通常の E2E 音声合成の音響モデルは対話履に示す.

歴の文脈を考慮する機構を有さないため，音声対話の文脈に応じた合成音声の韻律制御を実現できない．

2.2.1 言語情報からの対話文脈埋め込みベクトル推定

3.1 Cross-Modal CCE (CMCCE)
本研究では，Guo ら [8] の研究における TMCCE を，韻Guo ら [8] は，対話履歴の言語情報を考慮した E2E 音

律情報も同時に利用可能にした CMCCE で置換する．Fig.

声合成の枠組みを提案している．この手法では，対話履歴

2 に CMCCE のモデル構造を示す．CMCCE は，(1) 対話の各ターンにおけるテキストから BERT [11] によって文

履歴のメルスペクトログラムから各発話の韻律埋め込みベ

埋め込みベクトルを抽出し，それらを Bi-directional GRU

クトルを抽出する prosody encoder (Fig. 3)，(2) テキス(BGRU) によって固定次元に圧縮した対話文脈埋め込みベ

トから各発話の文埋め込みベクトルを抽出する事前学習済

クトルで音響モデルを条件付けする．以降，このように対みの sentence BERT，そして (3) これらの埋め込みベクトc 1959 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

3.2 共感的対話音声合成のためのカリキュラム学習
Guo らによる対話音声合成の音響モデリング法 [8] では，

67)7

音響モデルと TMCCE を同時に学習し，一度に最適化して

0HO
VSHFWURJUDP

いた．この手法は，文脈を考慮した対話音声合成を一気通&RQYG

貫的に学習できるが，文脈モデリング機構と音響モデルの%*58

同時学習の困難性により，必ずしも高品質な共感的対話音

3URVRG\
HPEHGGLQJ
図 3

声合成を実現できるとは限らない．そこで本研究では，対Prosody Encoder のモデル構造．この図では，ある対話ター

話履歴の文脈を考慮した対話音声の学習を容易にするためンのみにおける韻律埋め込みベクトルの抽出を示している．

のカリキュラム学習を検討する．Fig. 5 にその概念図を示す．まず，stage 1 では，エージェントの学習データのみ

3DVW
ʞ

ʞ

&XUUHQWを用いて，エージェント音声から韻律埋め込みベクトルを抽出する prosody encoder と，その韻律埋め込みベクトルʞで条件付けした FastSpeech2 を学習する．次に，stage 2 で

%*58

%*58

はこの FastSpeech2 と prosody encoder のモデルパラメーʞʞ

タを固定し，現在の対話ターンのエージェント音声から抽$WWHQWLRQ

出された韻律埋め込みベクトルを，対話履歴のテキストと$WWHQWLRQ

音声を用いて予測するように CMCCE を学習する．これ&RQFDWHQDWH

によって，同時に最適化するモデルパラメータの数が大幅&RQWH[W
HPEHGGLQJ
図 4に減少し，高品質な共感的対話音声合成が容易に実現可能となることを期待する．

注意機構付き CMCCE のモデル構造．青色の図形は韻律埋
め込みベクトルを表し，赤色の図形は文埋め込みベクトルを

4. 実験的評価

表す．

4.1 実験条件
6WDJH
ʞ

8VHU

データセットとして，共感的対話音声合成のためのコーパ

6WDJH

$JHQW

8VHU

ʞ

nIII|

nDDD|

ʞ

8VHU

$JHQW

nGGG|

nHHH|

nIII|

している共感的対話の状況を想定している．本研究では女

6HQWHQFH%(57

性講師の音声合成モデルを構築したため，男子生徒と女子

IES は，個別指導塾の女性講師が男子生徒，女子生徒と雑談

ʞ

3URVRG\HQFRGHU

3URVRG\HQFRGHU)UHH]Hʞʞ&&(ZFURVVPRGDODWWHQWLRQ3URVRG\
HPEHGGLQJ&RQWH[W
HPEHGGLQJ

0LQLPL]H06()6)6
)UHH]H6\QWKHWLF
VSHHFKスとして我々が構築した STUDIES [7] を用いた．STUD-$JHQW

生徒はいずれも対話履歴においてのみ登場する. また，音響モデル (FastSpeech2) の事前学習用に JSUT コーパス [17]を用いた．音声のサンプリング周波数はすべて 22,050 Hzとした．使用するメルスペクトログラムの次元は 80 とし，STFT の分析パラメータは FFT 長を 1,024，ホップサイズ
図 5

提案するカリキュラム学習の概念図を 256，窓長を 1,024 サンプルとした．学習データ，検証
データ，テストデータの数はそれぞれ 2,209, 221, 211 発話

ルを統合して対話文脈埋め込みベクトルを抽出するクロスとした．

モーダル注意機構付き CCE により構成される．Prosody

FastSpeech2 は，Nakata-Wataru により公開されている

encoder は 入力された音声のメルスペクトログラムから 1

日本語音声合成向けのオープンソース実装 *1 を基に構築

次元畳み込み層 (Conv 1d) と BGRU を用いて固定次元のした．モデルパラメータはすべてこの実装と同じであり，

韻律埋め込みベクトルを抽出する．クロスモーダル注意機

Optimizer は学習率の初期値が 0.0625 の Adam [18] とし

構付き CCE の構造は TMCCE と類似しているが，Fig. 4

た．メルスペクトログラムから音声波形を生成するニューに示すように，各モーダルから抽出された埋め込みベクト

ラルボコーダには，HiFi-GAN [19] を使用した．HiFi-GAN

ルを統合する際に，BGRU ではなく注意機構 (attention)のモデルは，GitHub 上で公開されている事前学習済みのを用いる．この際，attention の query として現在の対話

UNIVERSAL V1 モデル*2 のモデルパラメータを初期値とターンにおける文埋め込みベクトルを用いることで，そのして，STUDIES の女性講師音声で ﬁne-tuning したものをターンにおけるエージェントの音声を合成する際に適した利用した．

発話スタイルをクロスモーダルな対話履歴情報から選択的に学習可能にする．

c 1959 Information Processing Society of Japan
⃝

*1
*2

https://github.com/Wataru-Nakata/FastSpeech2-JSUT
https://github.com/jik876/hifi-gan

3情報処理学会研究報告
IPSJ SIG Technical Report

TMCCE [8] は，GitHub 上のオープンソース実装 *3 を基に実装した． ただし，対話文脈ベクトルの統合方法が

表 1

基本手法内で比較した MOS テストの結果と 95%信頼区間（太字は発話自然性と対話自然性の平均が最も高い手法）(a) “TMCCE” 内での比較元論文とは異なっていたため，元論文と同じ構成に変更した．Guo らの先行研究では SPSS 由来の特徴量を考慮する
ための auxiliary encoder も用いられていたが，本研究では対話文脈埋め込みベクトルの予測部のみに着目するために
除外した．

手法

発話自然性

対話自然性

TMCCE(BGRU)

3.48±0.14

3.41±0.14

TMCCE(BGRU)+CL

3.66±0.13

3.36±0.14

TMCCE(Attn)

3.51±0.14

3.37±0.14

TMCCE(Attn)+CL

3.55±0.14

3.45±0.14

本論文では，対話文脈埋め込みベクトルを予測する以下の 3 手法を基本手法とする．

(b) “SMCCE” 内での比較
手法

発話自然性

対話自然性

( 1 ) TMCCE：BERT 由来の文埋め込みベクトル [8]SMCCE(BGRU)

3.48±0.14

3.30±0.14( 2 ) SMCCE：メルスペクトログラム由来 (Speech-Modal:

SMCCE(BGRU)+CL

3.50±0.133.43±0.14

SMCCE(BGRU)+MS

3.49±0.13

3.34±0.14

SMCCE(BGRU)+CL+MS

3.51±0.13

3.36±0.14

SM) の韻律埋め込みベクトル（提案法）( 3 ) CMCCE：文埋め込みベクトルと韻律埋め込みベク
トル（提案法）(c) “CMCCE” 内での比較提案するクロスモーダル注意機構における attention は

手法

発話自然性

対話自然性

“TMCCE” でも利用可能であるため，attention を用いる手CMCCE(BGRU)

3.53±0.14

3.32±0.14法を “(Attn)” と表記し，従来法 [8] と同様に BGRU を用い

CMCCE(BGRU)+CL

3.54±0.14

3.49±0.14る場合を “(BGRU)” と表記する．また，各手法に対して提CMCCE(Attn)

3.55±0.13

3.40±0.13

案するカリキュラム学習を用いる場合を “+CL” と表記す

CMCCE(Attn)+CL

3.56±0.13

3.50±0.14

CMCCE(BGRU)+MS

3.40±0.15

3.35±0.15

CMCCE(BGRU)+CL+MS

3.54±0.13

3.48±0.14

る．さらに，より表現豊かな韻律埋め込みベクトルを学習するために，提案法の prosody encoder を多話者（JSUT,

CMCCE(Attn)+MS

3.56±0.133.43±0.13

NICT 対話音声データベース [20]，STUDIES の男子生徒・

CMCCE(Attn)+CL+MS

3.56±0.13

3.44±0.13

女子生徒）の音声データで学習させる場合 (“+MS”) も検討した．
するが，対話自然性については一貫した傾向は見られない．

4.2 主観評価
各基本手法における追加要素の影響を詳細に調査するた
めに，本研究では 2 段階に分けて主観評価を行った．

( 1 ) 基本手法 3 つについて，それぞれで各要素の総組み合わせで主観評価を行う (Section 4.2.1)．

手法間のスコアに有意差はなかったが，以降の評価では，“TMCCE” の最良手法として “TMCCE(BGRU)+CL” を使用する．
次に，“SMCCE” に関する主観評価の結果を Table 1(b)に示す．評価結果から，韻律情報から対話文脈ベクトルを( 2 ) 第一段階の中で最も良い性能を示したものを選び，そ推定する手法においても，提案するカリキュラム学習をの 3 つに従来法 [8] などのベースラインモデルを加え用いることで発話自然性が改善している．また，prosodyたもので主観評価を行う (Section 4.2.2)．

encoder を多話者データで事前学習させることの有効性は主観評価では，STUDIES での評価レギュレーション [7] を確認できない．“TMCCE” 内での比較と同様に，手法間の参考に，合成音声の単一発話としての自然性と，対話としスコアに有意差はなかったが，以降の評価では，“SMCCE”ての自然性を 5 段階の Mean Opinion Score (MOS) テストの最良手法として “SMCCE(BGRU)+CL” を使用する．

により評価した．この主観評価では，各基本手法の評価を最後に，”CMCCE” に関する主観評価の結果を Table

クラウドソーシングにより集められた 50 名が実施したた

1(c) に示す．評価結果から，言語・韻律のクロスモダリ

め，合計の評価者数は 50 × 2 × 3 = 300 名であった．

ティを考慮して対話文脈ベクトルを推定する手法の中では，

4.2.1 基本手法内での主観評価提案するクロスモーダル注意機構とカリキュラム学習を用

まず，“TMCCE” に関する主観評価の結果を Table 1(a)いた手法 (“CMCCE(Attn)+CL”) が最も高い発話自然性・に示す．評価結果から，言語情報から対話文脈ベクトルを

対話自然性 MOS を達成している．そのため，手法間で有推定する手法において，提案するカリキュラム学習を用い

意差は付かなかったが，以降の評価では，“CMCCE” の最ることで発話自然性が改善している．また，TMCCE を良手法として “CMCCE(Attn)+CL” を使用する．

用いる従来法 [8] と比較すると，文埋め込みの統合方法を

4.2.2 基本手法間での主観評価

BGRU から attention に変更することで発話自然性は改善*3

https://github.com/keonlee9420/
Expressive-FastSpeech2/tree/conversationalc 1959 Information Processing Society of Japan⃝

Section 4.2.1 で選択した最良の基本手法に以下のベー
スライン手法を加えて比較する主観評価を実施した．

( 1 ) FS2 only：対話文脈を考慮しない FastSpeech2 [10]4情報処理学会研究報告
IPSJ SIG Technical Report
表 2

MOS テストの結果と 95%信頼区間

手法

発話自然性

対話自然性

FS2 only

3.47±0.10

3.46±0.10

5. おわりに

TMCCE(BGRU)

3.41±0.10

3.57±0.10

本研究は，音声対話における言語・音声の両モダリティ

TMCCE(BGRU)+CL

3.53±0.10

3.61±0.10を考慮した共感的対話音声合成の音響モデリング法を提案

SMCCE(BGRU)+CL

3.56±0.10

3.58±0.09

した．さらに，対話履歴の文脈を考慮した共感的対話音声

CMCCE(Attn)+CL

3.63±0.10

3.68±0.09

CL (Stage1)

3.53±0.10

3.65±0.10

合成の学習を容易にするために，(1) 対話エージェントのデータのみを用いた音響モデル・韻律埋め込みベクトルの学習と (2) 対話履歴からの韻律埋め込みベクトル予測の 2( 2 ) CL (Stage1)：提案するカリキュラム学習におけるstage 1 のモデル

段階学習を行うカリキュラム学習も検討した．実験的評価の結果より，(1) 提案するカリキュラム学習が合成音声の( 3 ) TMCCE(BGRU): 従来法 [8]

発話自然性改善に有効であること，(2) 言語・韻律のクロ

この主観評価では，クラウドソーシングにより集められた

スモダリティを考慮した音響モデリング法が最も高い発話

100 名が参加したため，合計の評価者数は 100 × 2 = 200

自然性・対話自然性を達成しうることを示した．今後は，名であった*4 ．

発話単位よりも細かい単位で韻律埋め込みベクトルを抽出

Table 2 に 評 価 結 果 を 示 す ．ま ず ，発 話 自 然 性 にするための prosody encoder のアーキテクチャや，より微関して，提案法である “SMCCE(BGRU)+CL” と “CM-

細な文構造を捉えるための PnG BERT [21] を導入した学

CCE(Attn)+CL” は，従来法である “TMCCE(BGRU)” よ

習法について検討する．

りも p < 0.05 で有意に高い MOS 値を達成している．また，謝辞

本研究は，LINE 株式会社と東京大学 猿渡・小“CMCCE(Attn)+CL” は発話自然性・対話自然性の両方で

山研究室の共同プロジェクトとして実施し，JSPS 科研費“FS2 only” よりも p < 0.05 で有意に高い MOS 値を達成し21K21305 の助成を受けたものです．

ており，提案法で文脈を考慮した学習を行うことで，より高品質な共感的対話音声合成を実現できることを示唆して

参考文献

いる．そして，“SMCCE(BGRU)+CL” は “TMCCE(*)”[1]と同程度以上の品質の音声を合成できており，共感的対話
音声合成において，言語情報（対話相手の発話内容の書き起こし）を韻律情報で代替できる可能性を示唆している．
興味深い結果として，有意差はないものの，“CL (Stage1)”
よりも “‘CMCCE(Attn)+CL” が高い MOS 値を達成して

[2]
[3]
[4]

いる．後者の手法は “CL (Stage1)” で条件付けに用いている STUDIES 女性講師の現在ターン音声から抽出された韻律埋め込みベクトルを教師データとして学習を行うため．

[5]

前者の手法が提案するカリキュラム学習における性能上界とみなせる．この結果は，文脈情報を考慮することで，共[6]

感的対話音声合成に適した対話文脈埋め込みベクトルが得られる可能性を示唆している．一方で，“CL (Stage1)” のモデル構造には更なる改善の余地があることも考えられる．
今回の評価において，文脈を考慮しない “FS2 only” と“TMCCE(BGRU)” の間に有意差は見られなかった．Guo[7]

らの先行研究 [8] では，よりリッチな言語特徴量を用いる
ために auxiliary encoder を導入していたが，本研究は除外[8]

していることが一因であると考えられる．故に，言語情報のみから対話の文脈を考慮して学習するためには SPSS 由[9]来の言語特徴量を追加情報として用いることが重要である
可能性が示唆された．
[10]*4

この主観評価で用いた共感的対話音声合成のサンプルは，http://sython.org/Corpus/STUDIES/demo_empTTS.html で確認できる．

c 1959 Information Processing Society of Japan
⃝

古宮 昇： プロカウンセラーが教える場面別傾聴術レッ
スン，ナツメ社 (2015).
Davis, M. H.: Empathy: A Social Psychological Approach, Routledge (2018).
中野幹生，駒谷和範，船越孝太郎，中野有紀子，奥村
学： 対話システム，コロナ社 (2018).
Lui, Q., Chen, H., Ren, Z., Ren, P., Tu, Z. and Chen, Z.:
EmpDG: Multi-resolution Interactive Empathetic Dialogue Generation, Proc. COLING, Barcelona, Spain, pp.
4454–4466 (2020).
Rashkin, H., Smith, E. M., Li, M. and Boureau, Y.-L.:
Towards Empathetic Open-domain Conversation Models: A New Benchmark and Dataset, Proc. ACL, Florence, Italy, pp. 5370–5381 (2019).
Regenbogen, C., Schneider, D. A., Finkelmeyer, A.,
Kohn, N., Derntl, B., Kellermann, T., Gur, R. E.,
Schneider, F. and Habel, U.: The Diﬀerential Contribution of Facial Expressions, Prosody, and Speech Content
to Empathy, Cognition & Emotion, Vol. 26, No. 6, pp.
995–1014 (2012).
齋藤佑樹，西邑勇人，高道慎之介，橘健太郎，猿渡
洋： STUDIES：表現豊かな音声合成に向けた日本語共感的対話音声コーパス，音講論（春）(2022).
Guo, H., Zhang, S., Soong, F. K., He, L. and Xie, L.:
Conversational End-to-End TTS for Voice Agents, Proc.
SLT, Shenzhen, China, pp. 403–409 (2021).
Yamazaki, Y., Chiba, Y., Nose, T. and Ito, A.: Neural
Spoken-Response Generation Using Prosodic and Linguistic Context for Conversational Systems, Proc. INTERSPEECH, Brno, Czech Republic (2021).
Ren, Y., Hu, C., Tan, X., Qin, T., Zhao, S., Zhao, Z.
and Liu, T.-Y.: FastSpeech 2: Fast and High-Quality
End-to-End Text to Speech, Proc. ICLR, Vienna, Austria (2021).

5

情報処理学会研究報告
IPSJ SIG Technical Report

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

Devlin, J., Chang, M.-W., Lee, K. and Toutanova, K.:
BERT: Pre-training of Deep Bidirectional Transformers
for Language Understanding, Proc. NAACL-HLT, Minneapolis, U.S.A., pp. 4171–4186 (2019).
Zen, H., Tokuda, K. and Black, A.: Statistical Parametric Speech Synthesis, Speech Communication, Vol. 51,
No. 11, pp. 1039–1064 (2009).
Wang, Y., Skerry-Ryan, R., Stanton, D., Wu, Y., Weiss,
R. J., Jaitly, N., Yang, Z., Xiao, Y., Chen, Z., Bengio,
S., Le, Q., Agiomyrgiannakis, Y., Clark, R. and Saurous,
R. A.: Tacotron: Towards End-to-End Speech Synthesis,
Proc. INTERSPEECH, Stockholm, Sweden, pp. 4006–
4010 (2017).
v. d. Oord, A., Dieleman, S., Zen, H., Simonyan, K.,
Vinyals, O., Graves, A., Kalchbrenner, N., Senior, A. W.
and Kavukcuoglu, K.: WaveNet: A Generative Modelfor Raw Audio, Vol. abs/1609.03499 (online), available
from ⟨http://arxiv.org/abs/1609.03499⟩ (2016).
Sotelo, J., Mehri, S., Kumar, K., Santos, J. F., Kastner,
K., Courville, A. and Bengio, Y.: Char2Wav: End-toEnd Speech Synthesis, Proc. ICLR Workshop, Toulon,
France (2017).
Ping, W., Peng, K. and Chen, J.: ClariNet: Parallel
Wave Generation in End-to-End Text-to-Speech, Proc.
ICLR, New Orleans, U.S.A. (2019).
Takamichi, S., Sonobe, R., Mitsui, K., Saito, Y., Koriyama, T., Tanji, N. and Saruwatari, H.: JSUT
and JVS: Free Japanese Voice Corpora for Accelerating Speech Synthesis Research, Acoustical Science andTechnology, Vol. 41, No. 5, pp. 761–768 (2020).
Kingma, D. P. and Ba, J.: Adam: A Method for Stochastic Optimization, Proc. ICLR, San Diego, California,
U.S.A. (2015).
Kong, J., Kim, J. and Bae, J.: HiFi-GAN: Generative Adversarial Networks for Eﬃcient and High Fidelity
Speech Synthesis, Proc. NeurIPS, Vol. 33, Virtual Conference, pp. 17022–17033 (2020).
Sugiura, K., Shiga, Y., Kawai, H., Misu, T. and Hori, C.:
A Cloud Robotics Approach towards Dialogue-Oriented
Robot Speech, Advanced Robotics, Vol. 29, No. 7, pp.
449–456 (2015).
Jia, Y., Zen, H., Shen, J., Zhang, Y. and Wu, Y.: PnG
BERT: Augmented BERT on Phonemes and Graphemes
for Neural TTS, Proc. INTERSPEECH, Brno, Czech
Republic, pp. 151–155 (2021).

c 1959 Information Processing Society of Japan⃝

6