情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2A-072024/2/28

聞き手の相槌種類に応じた表情生成システムの基礎検討
鹿摩 大智1岡 哲平1

大西 俊輝2

東 直輝1

石井 亮3

深山 篤3

宮田 章裕1,a)

概要：対話において聞き手の相槌は，円滑なコミュニケーションを実現するための重要な要素の 1 つである．適切な相槌を打つことは人同士の対話だけでなく，人とエージェントの対話にも重要なのは明らかである．近年の対話エージェントの研究では，話し手のマルチモーダル情報に基づいて，返答の振舞いの生成が行われている．しかし，相槌の機能の明示的な分類に基づいていないため，生成される相槌が会話の流れに合わない可能性がある．そこで本稿では，相槌の言語的・機能的側面に基づいた相槌を生成する取り組みの初期検討として，聞き手が相槌を打つ際の表情の生成を行う．具体的には言語的・機能的側面に応じた相槌を打つ際の表情を生成し，ユーザに提示するシステムを提案する．

1. はじめに対話において聞き手が相槌を打つことは，コミュニケーションを円滑に進めるために必要不可欠である．日本語における相槌を表す言葉は豊富であり [1]，機能的な側面に着目した相槌の分類を行う研究 [2] や，言語的・機能的な側面に着目して話し手の発話意図や種類と聞き手の相槌の関係を分類する研究 [3] が行われている．さらに近年，対話エージェントとインタラクションを行う機会が増えている．このような背景から，人とエージェントの対話においても聞き手が適切な相槌を打つことが重要であると考えられる．相槌を生成する取り組みは数多く行われている [4], [5], [6], [7], [8], [9]. しかし，相槌が持つ言語的・機能的な側面に基づいて相槌を生成する取り組みは我々が調査した範囲では見つかっていない．相槌が持つ言語的・機能的側面に基づかないことで，生成される相槌が会話の流れに合わない可能性がある．そこで我々は，対話における話し手のマルチモーダル情報から相槌の機能の明示的な分類に基づいた聞き手の相槌生成に取り組む．先行研
究 [10], [11], [12] では，対話における話し手のマルチモーダル情報から聞き手の相槌の種類を推定する機械学習モデルを構築した．本稿では，相槌が持つ言語的・機能的な側面に基づいた相槌を生成する取り組みの初期検討として，聞き手が相槌を打つ際の表情の生成を行う．

2. 関連研究
言語・非言語行動を利用して対話中における相槌の生成を行う研究は多く行われている．本研究は，言語・非言語行動を利用して相槌を生成する研究と関連している．Lalaらは韻律的特徴量を用いて 3 つに分類された相槌の種類と相槌が打たれるタイミングを予測したモデルをトレーニングし，相槌の生成を行うモデルを構築した [6]．加えて，言語的特徴量を含めることでモデルの性能が向上することを示唆していた. Dermouche らは視覚的，韻律的特徴量を用いて対話エージェントの応答として笑顔の強度，頭部の動き，視線を生成するモデルを構築した [7]．Jonell らは視覚的，韻律的特徴量を用いて対話におけるエージェントの顔の動きを生成するモデルを構築した [8]．加えて，言語的特徴量を含めることでモデルの性能が向上することを示唆していた．Bucci らは言語的特徴量を用いてエージェントの表情を生成するモデルを構築した [9]．

3. 研究課題
2 章で述べたように，これまで相槌の言語的・非言語的な生成に関する研究事例が行われている．これらの研究事
例では，対話における言語もしくは非言語情報を用いること，さらには言語と非言語情報を合わせて用いることで主要なカテゴリの相槌や非言語的な相槌を生成できることが明らかになっている．しかし，これらは相槌の機能の明示的な分類に基づいて生成を行っていないため，生成される

123a)

日本大学文理学部
日本大学大学院総合基礎科学研究科
日本電信電話株式会社 NTT 人間情報研究所
miyata.akihiro@acm.org© 2024 Information Processing Society of Japan

相槌が会話の流れに合わない可能性がある．相槌の機能の明示的な分類に基づき，相槌の機能別の特徴を生成した振る舞いに付与することで，より自然な相槌を生成できるの658

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

ではないかと考える．そこで，我々は対話における話し手

2A-07
2024/2/28

るような応答．のマルチモーダル情報から聞き手の相槌を言語的・機能的• A(Anticipation)：話し手の話題を先取りしている応答．

側面から生成する取り組みを行う. 本稿では，上記の取り• C（Conﬁrmation）：「えっ」，「はっ」，「あっ」，「なん組みの初期検討として，相槌の明示的な分類に基づく表情生成の効果を明らかにすることを研究課題とする．

4. 提案手法
3 章で述べた研究課題を達成するために，相槌の機能に基づいて生成を行う．そして生成した表情について，第三者への印象評価実験から自然な相槌であるかどうかを確認する．この取り組みを行うために，相槌の明示的な分類ごとに実対話データにおける話者の表情を分析し，分析結果で」など確認を促す，質問するような応答．

• R（Repetition of speaker’s utterance）：話し手の発言を繰り返す応答．

• S（Summary of speaker’s utterance）：話し手の要約，および言い換えをしているような応答．

• O(Other)：聞き手の感想や独り言など，他に該当するラベルがない応答．

6. 実装に基づいて表情を生成および提示する必要がある．そこで

本稿では，3 章で述べた研究課題を解決する手法として，

本稿では，実対話データにおける話者の表情を用いて相槌ユーザが相槌ラベルを選択し，2 者対話データに基づいての明示的な分類に基づいた表情を提示するシステムを提案

生成した相槌種類ごとの表情を提示するシステムを提案すする．

る．相槌種類ごとの表情を提示することにより，より自然

5. 対話コーパス
本研究では既存の 2 者対話コーパスを利用する．この対な相槌を生成できると考えられる．本研究の手順は以下のようになる．

• Step1: 特徴量抽出

話コーパスには，2 者対話データ [13] と相槌ラベル [3] が対話コーパスから相槌種類ごとに視覚的特徴量を抽出記録されている．

する．

• Step2: 顔画像の生成
5.1 2 者対話コーパスについて抽出した視覚的特徴量から顔画像を生成する．

2 者対話の参加者は，初対面の日本人男女合計で 26 名

• Step3: 相槌種類ごとの表情を提示するシステムの実装（異なるペアを 13 組）である．発話を含んだ相槌のデータ

ユーザが選択した相槌種類に基づいた顔画像を提示すをより多く収集するために，アニメ「トムとジェリー」をるシステムを実装する．

視聴した一方の参加者（話し手）が他方の参加者（聞き手）に内容を説明するタスクを行っている．発話の単位には6.1 特徴量抽出についてInter-pausal units（IPU）[14] を使用し，沈黙時間が 200ms

本研究では，聞き手の多様な相槌の表情を生成するため未満の連続した音声区間を 1 つとしている．この対話デーに，5.1 節の対話データから聞き手の発話時の視覚的特徴

タでは，話し手が 4,940 件，聞き手が 2,865 件の合計 7,805量を抽出した．

件の IPU が記録されている．

6.1.1 視覚的特徴量について

5.2 相槌ラベルについて

Face[15] を用いて話し手の Action Units[16] を抽出した．

対話データの映像から顔画像処理ツールである Open対話に参加していない第三者のアノテータ 3 名が，聞き抽出する特徴量として，OpenFace で用いられている各手の発話ごとに下記に示す 9 種の相槌ラベルを付与していAction Units(表 1) の強度の分散，中央値，10 パーセンタる．なお，アノテータは 1 つの発話に対し複数の相槌ラベイル値，90 パーセンタイル値を用いた．

ルを付与することが許可されている．

• N（Neutral word）：「うん」，「はい」，「おお」など話し手への感情を含まない応答．

6.2 提案システムについて
6.2.1 顔画像の生成• P（Positive word）：「うんうん」，「そうそう」，「それ顔画像の生成には，Action Units に基づいた人間の顔のいい」，「なるほど」，「たしかに」など話し手への肯定

3DCG モデルを作成することが可能な FaceGen[17] を用い的な応答．

た．本稿では 5.2 節で述べた相槌ラベルのうち，話し手へ• NP（Non-positive word）
：
「うーん」
，
「ふーん」
，「はーの感情を含まない応答である N と話し手への肯定的な応答

ん」，「あー」，「へー」，「んー」など話し手への否定的である P，話し手への否定的または悩んでいるような応答または悩んでいるような応答．

である NP を採用した．相槌ラベル別に 3DCG モデルを

• E（Emotional word）：「すごい」，「ふふ」，「あぁ」，作成するにあたり，「はい」や「うん」など，発話内容や対「へぇ」，その他短い感嘆詞など感情の動きを表してい話の流れに応じて表情強度に差異がある可能性がある．そ© 2024 Information Processing Society of Japan659

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2A-07
2024/2/28

表 1: Action Units の内容
項目

内容項目

内容

AU01

眉の内側を上げる

AU14

笑窪を作る

AU02

眉の外側を上げる

AU15

唇の両端を下げる

AU04

眉を下げる

AU17

顎を上げる

AU05

上瞼を上げる

AU20

唇の両端を横に引く

AU06

頬を持ち上げる

AU23

唇を固く閉じる

AU07

瞳を緊張させる

AU25

顎を下げずに唇を開く

AU09

鼻に皺を寄せる

AU26

顎を下げて唇を開く

AU10

上唇を上げる

AU45

瞬きをする

AU12

唇の両端を引き上げる(a) ラベル N(b) ラベル P

図 2: システムの入力例(c) ラベル NP

図 1: 生成された顔画像
図 3: システムの出力例

表 2: 頻出度の高い発話内容
ラベル

頻出度の高い発話内容

Nうん，はい，あー，ふーん，ええP

うんうん，はいはい，そうそう，なるほど，そっかそっかNP

うーん，なんか，えーっと，いや，やっぱが選択した相槌ラベルに応じた顔画像を提示するシステムを実装した．
今後は言語的・機能的な側面に基づいた表情の生成のために，相槌種類の予測と相槌種類に基づいた表情強度を生こで，5.1 節で述べた 2 者対話データから，相槌ラベル別成する機械学習モデルを構築した上でシステムに組み込み，で頻出度の高い発話内容を 5 つ (表 2) 抽出し，OpenFaceシステムの評価実験に取り組む予定である．また，本稿でを用いて相槌の種類ごとに頻出度の高い発話内容を話す聞は対話中における聞き手の発話時の表情のみに焦点を当て

き手の映像データから Action Units を抽出し，統計量の中たが，自然な相槌を打つエージェントを実現するためには，央値を算出した．算出された統計量をもとに顔画像の生成韻律的・言語的特徴量についても生成を行うことができるを行った．図 1 は 5.1 節の対話データの中から各ラベルがのか検討する必要がある．今後さらに研究を進めて，自然付与された対話を無作為に 1 つ選定し，抽出した特徴量かな相槌を打つ対話エージェントを実装することが可能なのら生成した顔画像である．図 1a はラベル N，図 1b はラベか検討を行っていきたい．

ル P, 図 1c はラベル NP が付与された顔画像である．

6.2.2 入出力部
ユーザは 6.2.1 項で採用した N，P，NP のいずれかの相参考文献[1]

槌ラベルから 1 つを選択する．図 2 は本システムの入力例を示す．選択された相槌ラベルから 6.2.1 項で作成した[2]顔画像をユーザに提示する．図 3 は本システムの出力例を示す．

7. おわりに[3]

本稿では相槌が持つ言語的・機能的な側面に基づいて相槌を生成する取り組みの初期検討として，言語的・機能的な側面に基づいた表情の生成を行った．具体的には聞き手の発話時の視覚的特徴量を用いて顔画像を生成し，ユーザ© 2024 Information Processing Society of Japan[4]Maynard, S. K.: On back-channel behavior in Japaneseand English casual conversation, Linguistics, Vol. 24,
No. 6, pp. 1079–1108 (1986).
Mukai, C.: The Use of Back-channels by Advanced
Learners of Japanese: Its Qualitative and Quantitative
Aspects, Japanese language education around the globe,
Vol. 9, pp. 197–219 (1999).
Morikawa, A., Ishii, R., Noto, H., Fukayama, A. andNakamura, T.: Determining Most Suitable Listener
Backchannel Type for Speaker’s Utterance, Proc. 22nd
ACM International Conference on Intelligent VirtualAgents (IVA ’22), pp. 1–3 (2022).
Kawahara, T., Uesato, M., Yoshino, K. and Takanashi,
K.: Toward Adaptive Generation of Backchannels for Attentive Listening Agents, Proc. 6th International Work-660

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

2A-07
2024/2/28

shop on Spoken Dialog System (IWSDS ’15), pp. 1–10
(2015).
Park, H. W., Gelsomini, M., Lee, J. J. and Breazeal,
C.: Telling stories to robots: The eﬀect of backchanneling on a child’s storytelling, Proceedings of the 2017
ACM/IEEE international conference on human-robot
interaction, pp. 100–108 (2017).
Lala, D., Inoue, K., Kawahara, T. and Sawada:,K.: Backchannel Generation Model for a Third Party
Listener Agent, Proc. 10th International Conferenceon Human-Agent Interaction (HAI ’22), pp. 114–122(2022).
Dermouche, S. and Pelachaud:, C.: Generative Modelof Agent’s Behaviors in Human-Agent Interaction, 2019
International Conference on Multimodal Interaction(ICMI ’19), pp. 375–384 (2019).
Jonell, P., Kucherenko, T., Henter, G. E. and Beskow,
J.: Let’s Face It: Probabilistic Multi-modal Interlocutoraware Generation of Facial Gestures in Dyadic Settings,
Proceedings of the 20th ACM International Conferenceon Intelligent Virtual Agents（IVA ’20)，pp. 1–8 (2020).
Bucci, B., Rossi, A. and Rossi:, S.: Action Unit Generation through Dimensional Emotion Recognition fromText, 31st IEEE International Conference on Robotand Human Interactive Communication (RO-MAN),
pp. 1071–1076 (2022).
東 直輝，大西俊輝，木下峻一，石井 亮，深山 篤，中村高雄，宮田章裕： マルチモーダル情報に基づく多様な相槌の生成の基礎検討，情報処理学会研究報告グループ
ウェアとネットワークサービス (GN)，Vol. 2023-GN-119,
No. 8, pp. 1–6 (2023).
東 直輝，大西俊輝，木下峻一，石井 亮，深山 篤，中村高雄，宮田章裕： マルチモーダル情報に基づく多様な相槌の予測の検討，情報処理学会シンポジウム論文集，マルチメディア，分散，協調とモバイル (DICOMO ’23)，
Vol. 2023, pp. 352–358 (2023).
Onishi, T., Azuma, N., Kinoshita, S., Ishii, R.,
Fukayama, A., Nakao, T. and Miyata:, A.: Prediction of
Various Backchannel Utterances Based on MultimodalInformation, Proc. the 23rd ACM International Conference on Intelligent Virtual Agents(IVA ’23) (2023).
Ishii, R., Higashinaka, R. and Tomita:, J.: Predicting
Nods by using Dialogue Acts in Dialogue, Proc. 11thInternational Conference on Language Resources andEvaluation (LREC ’18), pp. 2940–2944 (2018).
Koiso, H., Horiuchi, Y., Tutiya, S., Ichikawa, A. andDen:, Y.: An Analysis of Turn-Taking and Backchannels
Based on Prosodic and Syntactic Features in Japanese
Map Task Dialogs, Language and Speech, Vol. 41, pp.
295–321 (1998).
Baltrusaitis, T., Zadeh, A., Lim, Y. C. and Morency:,
L.-P.: OpenFace 2.0: Facial Behavior Analysis Toolkit,
13th IEEE international conference on automatic faceand gesture recognition (FG ’18), pp. 59–66 (2018).
Ekman, P. and Friesen:, W. V.: Manual for the Facial
Action Coding System, Palo Alto: Consulting Psychologists Press (1977).
Inversions,S.:
FaceGenModeller,
https://facegen.com/modeller.htm.
(accessed2023/12/6).

© 2024 Information Processing Society of Japan661