⾳学シンポジウム2023@電通⼤ ポスターセッション1 (06)ChatGPT-EDSS:
ChatGPT 由来の Context Word Embedding から学習される共感的対話⾳声合成モデル
11121◯齋藤 佑樹 , ⾼道 慎之介 , 飯森 栄治 , 橘 健太郎 , 猿渡 洋
(1: 東京⼤学, 2: LINE 株式会社)

概要: ChatGPT を活⽤して対話の⽂脈情報を推測 & 合成⾳声の韻律を制御可能な共感的対話⾳声合成● ChatGPT-EDSS: ChatGPT を AI 対話アドバイザーとして活⽤● 共感的対話⾳声合成 (Empathetic Dialogue Speech Synthesis: EDSS)○ 対話相⼿に共感するような韻律での対話⾳声合成[1]

Humanspeaker■ 対話状況の例: ⽣徒と塾講師の雑談[1], 顧客とオペレータの通話[2]○ 対話⽂脈情報により, 適切な発話スタイルを予測‧制御■ 話者の感情ラベル → ⼈⼿でのアノテーションが必要■ DNN 由来の対話⽂脈ベクトル[3] → ⼈間にとって解釈困難● ChatGPTAI dialogue adviser(ChatGPT)

次の発話をどう話すべきか?を質問

こんにちは!

Speaker: こんにちは!
Listener: テスト良かった?
Speaker: あったり〜!
Listener: おめでとう!

テスト良かった?
あったり〜!

: 種々のNLPタスクでブレークスルーを達成[4]

AI listener(EDSS model)[5]○ ⼩説執筆, 作詞, パーソナリティ推定 , 感情推定 , etc.
→ この優れた⽂章読解能⼒を⾳声対話研究に活⽤できないか?

喜んで, 祝福するように対話履歴を考慮し,適切な発話⽅法を回答おめでとう!

ChatGPT による指⽰に基づき, 合成⾳声の韻律を制御可能な EDSS モデルを実現

提案法: ChatGPT を活⽤した⽂脈語の収集 & EDSS モデル学習
ChatGPT ⽂脈語収集
講師と⽣徒の会話があります。⽣徒は塾に通っており、講師はその塾で働いています。会話のシチュエーションは「⽣徒がテストで良い点数を取って、嬉しそうにしているので、講師が⽣徒を褒める」です。
①
1.
2.
3.
4.
5.

EDSS モデル学習● データ: STUDIES コーパス[1]○ ⻑い対話: 最⼤5ターンの● ChatGPT ⽂脈語埋め込みでの条件付● ChatGPT への⼊⼒プロンプト○ { 発話意図, 感情, 発話スタイル } 語をBERT で埋め込みベクトル化して加算① 対話状況の説明:→ ⽂脈語による合成⾳声の韻律制御を実現■ c.f. ⾃然⾔語記述に基づく合成⾳声制御[8]話者の役割, 対話の前提② 対話台本の記述:○ ChatGPT を, 相互作⽤可能な対話⽂脈ベクトル抽出器として活⽤“[ターンID][話者][発話内容]”の列③ ⽂脈語⽣成の指⽰:
1.
2.
3.
4.
5.

祝福 & 喜び & 喜んでいる
問いかけ & 信頼 & 可愛い
報告 & 喜び & 元気祝福 & 期待 & クール
報告 & 驚き & 穏やか■ 対話⽂脈を考慮した Text-Predicted Global
Style Tokens (TP-GSTs)[9] としても解釈可能■ ただし, ⽂脈語推定結果には誤りを含む(⼀種の hallucination)

対話意図 (Intention)[6]
感情 (Emotion)[7]
発話スタイル (Style)
事前にカテゴリを指定

事前に指定したカテゴリ外の語での回答

“祝福”
BERT
“期待”
& Linear“冷静”

EDSSmodel■ 例: (1, 2, 3, 4, 5, 6, 7, …)→ (1, 2, 3, 4, 5), (3, 4, 5, 6, 7), …
■ ⻑すぎる対話で ChatGPT が回答途中で停⽌する問題を緩和

PromptContext wordembs.

おめでとう!

複数バッチに分割

⼥⼦⽣徒「先⽣、こんにちは!」
講師「こんにちは。何かいいことあったでしょ。」
⼥⼦⽣徒「わかります？物理のテスト、すっごく良かったんです!」
講師「おめでとう！難しいって⾔いながら、頑張っていたから。」
⼥⼦⽣徒「それもあるけど、先⽣が「出るよ」って⾔ったところ、全部出たんですよ!びっくり!」②

それぞれの台詞の意図&感情&発話スタイルを⼀つの単語（例えば、1.祝福&喜び&喜んでいる、2. 報告&喜び&元気、3. 問いかけ&信頼&可愛い、4. 疑念&期待&クール、5.
疑問&驚き&穏やかなど）で答えてください。但し、感情は「平静、期待、怒り、嫌悪、悲しみ、驚き、恐れ、信頼、喜び」、発話スタイルは「可愛い、クール、落ち着いた、丁寧、知的、誠実、爽やか、穏やか、渋い、⽣き⽣きした」の中から絶対に１つずつ選択してください。他の⾔葉は使わないでください。回答はExcel にコピペできるような形式にした上で絶対に⽇本語で書いてください。英語や中国語では書かないでください。回答にはオリジナルの台詞と話者を絶対に含まないでください。③Text

ChatGPT 文脈語収集結果の分析と EDSS 実験文脈語収集結果の分析

EDSS 実験● ⽂脈語の収集条件[1]● 実験設定 (基本構造は先行研究 に基づく)
Text-based chat history w/ CCE○ 作業者数: 31名
i. Excel 上に記⼊された

Dialogue history

プロンプト (A列) を
ChatGPT 質問欄にコピペ
ii. ChatGPT の回答をB列にコピペiii. 得られた回答の信頼性を
1 ~ 5 でスコアリング(スコアリング以外は OpenAI API で⾃動化可能)○ ChatGPT への再回答依頼基準
i. 分脈語⽣成の途中で停⽌した場合
ii. 回答が分脈語以外 (話者名や元の対話⽂) を含む場合
iii. ⽇本語以外 (英語‧中国語など) で回答された場合(区切り⽂字が統⼀されていないこともあったが, 許容)“こんにちは!”(喜び)

EDSS モデル
Conversational Context Encoder (CCE)[3]
感情ラベルの⼊⼒形式学習 / 検証 / 評価データ (講師)

信頼性スコアの平均

最頻出語

平静

3.95

喜び
怒り

GT感情

悲しみ

ユニークな分脈語数

最頻出語

問いかけ

206

4.04

祝福

3.66

共感

4.03

共感

Data &demo

概ね
信頼できる

共感を理解

条件付け特徴量
GT感情

発話スタイル (Style)

期待

130

落ち着いた

42

✓

76

喜び

35

穏やか

19

✓

17

信頼

17

丁寧

8

感情も理解

53

丁寧

ユニークな
分脈語数

○ 結果まとめ穏やかな話者と推定

Teacher’s
GT emotion

MOS
Sim.

3.43

3.20

3.54

3.24

✓

3.52

3.19

✓

3.52

3.21

3.43

3.24

3.49

3.20

✓

列ごとに独⽴に評価(50評価者が30サンプルを受聴)■ ChatGPT 分脈語単体でも,GT感情, CCEと同程度の品質を達成■ 回答の信頼性スコアと合成⾳声品質には相関なし (↑図)Reference

Saruwatari-Takamichi Lab., The University of Tokyo, Japan.
©Yuki Saito, Jun. 2023. (sythonuk@g.ecc.u-tokyo.ac.jp)

Syntheticspeech

FastSpeech 2[10] + HiFi-GAN[11]
BERT-based[12]One-hot vector → lookup emb.
2,209 / 221 / 221 発話

Nat.

✓
✓

19

[4] H. Rao et al., arXiv:2302.02083, 2023.
[5] C. Qin et al., arXiv:2302.06476, 2023.
[6] N. Hojo et al., INTERSPEECH, 2019.

IES✓

⾮常に多様な分脈語表現[1] Y. Saito et al., INTERSPEECH, 2022.
[2] Y. Saito et al., INTERSPEECH, 2023.
(accepted)[3] H. Guo et al., SLT, 2021.

CCE

✓

最頻出語

悲しみ

“おめでとう!”(喜び)○ FastSpeech 2 の条件付け特徴量を⽐較■ GT 感情, CCE, ChatGPT 分脈語 (IES)○ ⾳声の⾃然性 (Nat.) と発話スタイル再現性 (Sim.) を評価

ユニークな分脈語数

49“あたり～!”(喜び)● 合成⾳声の Mean Opinion Score (MOS) 評価○ GT感情: STUDIES 対話⽂に付与されている Ground-Truth の感情ラベル
感情 (Emotion)“テスト良かった?”(平静)

Student’s
GT emotion● STUDIES 講師の発話に対して得られた分脈語の分析
発話意図 (Intention)

Text[7] T. S. Polzin et al., ITRW on Speech andEmotion, 2000.
[8] Z. Guo et al., ICASSP, 2023.
[9] D. Stanton et al., SLT, 2018.

⾳学シンポジウム2023@電通⼤[10] Y. Ren et al., ICLR, 2021.
[11] J. Kong., NeurIPS, 2020.
[12] J. Devlin et al., NAACL-HLT, 2019.
This is the joint work between
The University of Tokyo & LINE Corp.