HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

P-42

個性を含む二者間対話データを用いた対話中の振る舞い分析
Behavior smile analysis using dyadic conversation data including
Big Five personalities
岡田航太朗 1
Koutaro Okada1

岡留有哉 1 ∗Yuya Okadome 1

東京理科大学工学部
Faculty of Engineering, Tokyo University of Science1

1

Abstract: Gestures during conversation and personality are not independent. However, there
are only few studies about the relationship between smile synchronization and personality. In
this study, we analyze the relationship during dyadic conversation between synchronization andpersonality using dialogue data. From the results, we obtain the following insights. A correlationcoeﬃcient of -0.766 was obtained between the rate of synchronized smiles to all the smiles and the”intelligence”. There was a weak correlation coeﬃcient between the rate of synchronized smiles andthe ”agreeable” score. The correlation coeﬃcients between the delay of synchronized smiles and”extraversion”, ”conscientiousness”, ”emotional stability”, and ”intelligence” scores were -0.343,-0.230, -0.377, and -0.474, respectively.

1

はじめに

近年, 人工知能技術の発達とともに, 多くのコミュニケーションロボットが開発され [1][2], 日常の中でロボットに触れ合う機会は増えてきている. 人とコミュニケーションを行うロボットは，人間のパートナーとして日常生活のようなオープンな環境で活動することが求められる. そのため，人間との対話を通し，互いの存在を認識しあう機能が必要となる [3]. これらのコミュニケーションロボットは, 一対一のコミュニケーションを対象としたものが多い.
人同士の一対一のコミュニケーションを考えると, 各人で表出する動作が異なる [4]. 例えば, 頷きの頻度では人により差異があるとされている [5]. 人とロボットのコミュニケーションでも, 相手に応じて反応を変化させることが, より自然なコミュニケーションにつながると期待される.
反応の表出には, 対話相手との同調現象 [6][7] や, 個人の特性が影響する [8] と考えられる. 特に, 人同士のコミュニケーションにおいて, 頷き [6] や笑顔 [7] が同調することが知られている. 個性とリアクションの表
出について, ハンドジェスチャと性格特性の間の関係についても調査がなされている [9]. このような同調や個性の影響を調べることで, コミュニケーションロボット∗ 連絡先：東京理科大学工学部〒 125-8585 東京都葛飾区新宿６−３−１
E-mail: okadome@rs.tus.ac.jpの動作設計にも生かすことができる.
本研究では, 雑談対話中の笑顔同調や手の動きといった振る舞いと個性を紐づけて分析を行う. 1 対 1 対話を対象とし, 対面した 2 人の話者の動画データ及び個性データを収集する. 個性について, 5 つの因子の量的差異で個性を表す, ビッグファイブを指標とした. 収集したデータに対して, 笑顔ラベルを与え, 同調回数などの分析を行う. また, 笑顔同調に加えて, 手首の速度及び発話の長さについても分析を行った.
ビッグファイブにおける知性スコアと, 笑顔が同調する割合の関連を調べたところ, 強い負の相関を得た. また, 同調した笑顔の遅れ時間と, 知性スコアにおいては中程度の負の相関を得た. また, 手首の速度についての分析結果では, 外向性, 勤勉性, 情緒安定性, 知性の各スコアで正の相関を得た. これらの結果により対話における振る舞いや同調は個性の影響を受けることが示唆された.

2ビッグファイブ

個性とは, 状況にかかわらず比較的安定している行動の傾向のうち, 個人によって異なるものをいう [10].
個性を表す方法として, 性格特性がある. これは, 比較的多数の心理特性を計測し, その量的差異によって個性を表現する方法である. 因子分析の結果, 現在では, 性格特性で用いられる心理特性の数は 5 つであり,者について, それぞれの笑顔区間の総数に対する同調した笑顔の割合及び同調の遅れ時間 (ms) の平均値を算出した.
今回の実験の内 2 名の被験者について, 笑顔の同調が 1 つも確認できなかった. これは, OpenFace の表情推定の精度及が原因として考えられることから, 笑顔の分析対象から除外した.

3.2
図 1: 動画データのクリップの例
これをビッグファイブモデルという [11]. 5 つの因子の名称・日本語訳は研究者によって様々であるが, こ
こでは外向性/Extravarsion(E), 協調性/Agreeable(A),勤勉性/Conscientiousness(C), 情緒安定性/EmotionalStability(E), 知性/Intelligence(I) とする [12]. 本研究においては, このビッグファイブを個性スコアとして用いる.

3

対話データ収集本研究では, 18-21 歳の大学生 6 ペア, 計 12 名 (理系大学生, 男性 10 名, 女性 2 名) の被験者の対話を記録した. それぞれのペアの 2 者間対話の様子を 10 分間, ビデオカメラにより 4K の解像度で撮影した. 取得した
動画データのサンプルを図 1 に示す. 動画データから動作に関する情報を抽出した. 対話撮影の後, 被験者に対してビックファイブを計測するアンケートを実施し,性格特性に関する情報を収集した.
日本語版の特性 5 因子検査質問用紙作成の試みはいくつか行わている. 本研究では, 質問項目数が 70 項目と多すぎず少なすぎないこと, 回答方式が Yes/No 方式で回答しやすいことから, 村上ら [12] の質問用紙を採用した.

3.1

笑顔同調の算出方法

収集したデータから, 映っている人の顔特徴量及びFacial Action Unit (FAU) の抽出を, OpenFace[13] により行う. 目を細める動きを表す FAU6, 口角を上げる
動きを表す FAU12 が同時にアクティベートされているシーンを笑顔であるとした.
抽出した笑顔区間を用いて笑顔の同調を算出する. 対話ペアごとに各人の笑顔ラベルの区間を比較して, 対話相手が笑顔になってから, 500ms 以内に笑顔になった区間を同調した笑顔とした. 例を図 2 に示す. 各被験

手首の速度及び発話区間の算出方法収集した動画データに対して, 著者が, ジェスチャなどで動きのある区間, 発話区間をアノテーションした.
次に, MediaPipe[14] を用いて左右の手首の位置座標を取得した. ラベル付けされた動きのある区間それぞれに対して, 各区間の中で手首の速度の最大値を求め, 各区間の最大値の平均を被験者ごとに比較する.
得られた手首ランドマークのフレームごとの変化量をv=√(xk+1 − xk )2 + (yk+1 − yk )2 ∗ f psとして手首の速度を算出した. xk , yk はそれぞれ, k フ
レームにおける手首の x, y 座標を表す. f ps はフレームレートを表す. 算出した左右の手首の速度のうち, より速度の大きい方を手首の速度とした. 手首の速度の算出手順を図 3 に示す.
発話区間については, ラベリングされた発話区間の時間合計値を分析対象として用いた. すなわち, 各人の発話時間を算出した.

4

分析結果

本節では, 4.1 節で笑顔同調について, 4.2 節で手首の速度及び発話区間の合計について結果を示す.

4.1

笑顔同調の分析結果

3.1 節で収集したデータに対し, 笑顔が同調する割合,同調した笑顔の遅れ時間の平均値と性格特性スコアの相関係数を求めた. 結果を表 1 に示す. 相関係数の絶対値が 0.2 より大きい値を太字で, 0.4 より大きい値を下線で強調した.
同調した笑顔の割合と性格特性の関係について, 知性スコアとの相関係数が-0.766 となっており, 強い負の相関を示した. また, 協調性スコアとの相関係数が 0.287と弱い正の相関を示した. その他の特性スコアとは, 相関がなかった.
同調した笑顔の遅れと性格特性の関係について, 外向性スコアとの相関係数が-0.343, 勤勉性スコアとの相関係数が-0.230, 情緒安定性スコアとの相関が-0.377 と図 2: 笑顔同調検出の例. 青箱は同調していない笑顔, 黄箱は同調した笑顔, A, B は被験者を表す.

図 3: 手首の動きの速度算出の手順. x, y はそれぞれ x 座標, y 座標を表す.R, L は左右, k は任意のフレーム番号, v はフレームごとの速度, V は動きのある区間での v の最大値, n は動きのある区間数を意味する.
弱い負の相関を示した. また, 知性スコアとの相関係数が-0.474 と中程度の負の相関を示した. すなわち, 特に知性スコアについて, スコアが高くなるに従い, 同調の割合が減少し, かつ笑顔表出の遅延も短くなる傾向にある.

4.2

手首の速度及び発話区間の合計の分析
結果

手首の速度の最大値の区間ごとの平均及び発話区間の合計について, 性格特性スコアとの相関係数を求めた. 結果を表 2 に示す. 相関係数の絶対値が 0.2 より大きい値を太字で, 0.4 より大きい値を下線で強調した.
手首の最大速度の平均値と外向性, 勤勉性, 情緒安定性, 知性は相関係数がそれぞれ 0.222, 0.234, 0.381,0.201 で弱い正の相関を示した. 発話区間の合計値と外向性, 勤勉性, 知性の相関係数はそれぞれ, -0.567, 0.547,0.483 と中程度の相関を示した.

5考察

手首の速度についての分析結果では, 外向性, 勤勉性
情緒安定性, 知性の各スコアで正の相関を得ており, 従来研究 [9] と一致している. そのため, 本研究で得られた知見は, 画像特徴量由来の特異的な現象ではないと考えられる.
知性スコアは, 知識と正の相関がある [15][16] ほか,洞察力, 分析力や思考力に関連している. 知性スコアが高い場合では, 相手の笑顔に対して同調すべきかを判断するため, 同調する割合が少ないと思われる. さらに,笑顔になるべきかの判断が早いもしくは, 相手が笑顔になるかの予測を行っていることが期待される. そのため, 同調する時は遅れづらいと考えられる.
外向性スコアは「広い範囲の人と交際し, 流ちょうな弁舌と巧みな機知をもって明るく談笑することを好む[17]」特性である. 外向性スコアの高い人ほど, 対話経験が豊富であり, 相手の笑顔に対するレスポンスを早く行うことが出来る. そのため, 笑顔の遅れと外向性は負の相関が得られたと考えられる. また, 外向性スコアと発話区間の合計値が負の相関を示した理由は, 相手表 1: 笑顔同調と性格特性の相関係数同調した笑顔の割合
笑顔の遅れの平均値

外向性
0.102-0.343

協調性0.287
0.056

勤勉性
0.0184-0.231

情緒安定性
0.144-0.379

知性-0.766-0.473

表 2: 手首の速度, 発話区間の合計と性格特性の相関係数

手首の最大速度の平均
発話区間の合計値

外向性
0.222-0.567

協調性-0.104-0.1486

図 4: 情緒安定性スコアと同調笑顔の遅れ時間の散布
図. 縦軸は同調した笑顔の遅れ時間, 横軸は情緒安定性
スコア, 青点は被験者, 青線は回帰直線を表す.に発話させ, 自身は聞き手に回ることによって会話を進めたため, 発話が短くなったであると考えられる. 実
際, 著者が動画を確認したところ, 外向性スコアの高い人が相手に質問を投げかけることで会話をスムーズに進めようとする行動が見られた.
情緒安定性は, 感受性や洞察力に関連している. 情緒安定性が高くない人は, 感受性や洞察力に優れる傾向にある. そのため, 相手の機微を読み取ることに長け, 相手の笑顔表出に対する反応が早いと考えられる. よって, 笑顔の遅れと情緒安定性は正の相関が得られると想定していた. しかし, 今回の結果では, 笑顔の遅れと情緒安定性の相関係数は-0.377 と, 中程度の負の相関が得られた. 情緒安定性のスコアと笑顔の遅れについて, 縦軸を遅れ時間, 横軸を情緒安定性スコアとした散布図を図 4 に示す. 情緒安定性スコアが低く, かつ笑顔の遅れ時間が大きい被験者が, 外れ値として強く影響を与えたためと考えられる.

勤勉性
0.234
0.547

情緒安定性0.381-0.222

知性0.201
0.483

まとめと今後の課題

本研究では, 個性に注目して, 雑談対話中の振る舞いと個性を紐づけて分析を行った. 結果として, 笑顔が同調する割合と協調性, 知性スコアと相関が得られた. また, 同調した笑顔の遅れ時間と性格特性の関係では, 外向性, 勤勉性, 情緒安定性, 知性スコアと相関が得られた. 今後の展望として, 2 つの方向性で考えられる. 一つ目が, 対話エージェントの作成である. 今回のデータを受けて, 個性に関連した対話エージェントの振る舞いの設計指標の開発が今後の課題である.
二つ目が, 不足している情報を付加して分析を行うことである. 対話は二人の相互作用によって行われるため, 被験者個人だけでなく, 被験者同士の個性の組み合わせという視点での分析も有効であることが期待される. また, 対話相手との関係性も対話中の振る舞いに影響を与えると考えられる. このような個性の組み合わせや友達などの関係性ラベルを付加し, より詳細な分析を行うことも今後の課題の 1 つである.

参考文献[1] 二宮恒樹, “コミュニケーションロボット 「palro(パルロ)」 の紹介とさがみロボット産業特区における取り組み,” 日本ロボット学会誌, vol. 33, no. 8,pp. 607–610, 2015.
[2] 光永法明, 宮下善太, 宮下敬宏, 石黒浩, and 萩田
紀博, “コミュニケーションロボット robovie-iv の開発とオフィス環境での日常対話,” 日本ロボット学会誌, vol. 25, no. 6, pp. 822–833, 2007.
[3] 石黒浩, 宮下敬宏, and 神田崇行, 知の科学 コミュ
ニケーションロボット. オーム社, 2005.
[4] 綿貫啓子, 関進, 三吉秀夫 et al., “ヒューマンインタフェースのための人間の振舞いの解析-マルチモーダル対話データの解析,” 情報処理学会研究報告

ヒューマンコンピュータインタラクション (HCI),
vol. 1999, no. 69 (1999-HI-084), pp. 25–30, 1999.

[5] 陳姿菁, “日本語におけるあいづち研究の概観及びその展望,” 第二言語習得・教育の研究最前線―あすの, 2002.
[6] J. Kwon, K.-i. Ogawa, E. Ono, and Y. Miyake,“Detection of nonverbal synchronization throughphase diﬀerence in human communication,”
PLOS ONE, vol. 10, no. 7, pp. 1–15, 07
2015. [Online]. Available: https://doi.org/10.
1371/journal.pone.0133881[7] R. Li, J. Curhan, and M. E. Hoque, “Predicting video-conferencing conversation outcomesbased on modeling facial expression synchronization,” in 11th IEEE International Conferenceand Workshops on Automatic Face and Gesture
Recognition, vol. 1. IEEE, 2015, pp. 1–6.
[8] 久芳和己, 中野有紀子, and 岡田将吾, “性格特性推定における多国籍話者の非言語特徴の分析,” in 人
工知能学会全国大会論文集 第 36 回 (2022). 一般社団法人 人工知能学会, 2022, pp. 3C4GS604–
3C4GS604.
[9] 中野有紀子, 大山真央, 二瓶芙巳雄, 東中竜一郎,
and 石井亮, “性格特性を表現するエージェントジェスチャの生成,” ヒューマンインタフェース学
会論文誌, vol. 23, no. 2, pp. 153–164, 2021.
[10] 森田泰介, 金敷大之, 山本晃輔, 中田英里子, 富高智成, and 猪股健太郎, 図説 教養心理学 増補第 2版. ナカニシヤ出版, 2021.
[11] L. R. Goldberg, “The structure of phenotypic personality traits.” American psychologist,
vol. 48, no. 1, p. 26, 1993.
[12] 村上宣寛 and 村上千恵子, “主要 5 因子性格検査の尺度構成,” 性格心理学研究, vol. 6, no. 1, pp.
29–39, 1997.
[13] T. Baltrusaitis, A. Zadeh, Y. C. Lim, and L.-P.
Morency, “Openface 2.0: Facial behavior analysis toolkit,” in 13th IEEE international conference on automatic face & gesture recognition.
IEEE, 2018, pp. 59–66.
[14] “Mediapipe — google for developers,” 2024,
https://developers.google.com/mediapipe, (参照2024-01-18).

[15] A. A. Adrian Furnham, Viren Swami andT. Chamorro‐Premuzic, “Cognitive ability, learning approaches and personality
correlates of general knowledge,” Educational Psychology, vol. 28, no. 4, pp.
427–437, 2008. [Online]. Available:
https://doi.org/10.1080/01443410701727376[16] T. Chamorro-Premuzic, A. Furnham, and P. L.
Ackerman, “Ability and personality correlates ofgeneral knowledge,” Personality and IndividualDiﬀerences, vol. 41, no. 3, pp. 419–429, 2006.
[Online]. Available: https://www.sciencedirect.
com/science/article/pii/S0191886906000870[17] 詫摩武俊, 新版心理学事典. 平凡社, 1981, ch.
類型論, p. 827, 藤永保 (編集代表). [Online].
Available:
https://books.google.co.jp/books?
id=QwzlAAAAMAAJ