立石科学技術振興財団

助成研究成果集(第31号) 2022

［ 研究助成 (A) ］

対話中の非言語行動の意味・機能を推定する機械学習モデルの構築
Developing machine- learning models for estimating the meanings
and functions of nonverbal behaviors in convrsations

2211004

研究代表者

横浜国立大学

大学院工学研究院准教授

大塚和弘[2〜8]。非言語機能スペクトラムとは，対話に[研 究 の 目 的]おける表出行動が持ちうる意味や機能を分布とSDGs や Society 5.0，新型感染症などの社会して捉える新しい表現形態である。対話におい的課題の解決には，社会の成員による対話を介ては，一つの非言語行動表出は一つの機能 (やした合意形成と集合知創出が重要である。本研

意味や意図) に対応するのではなく，本質的に究では，対面・遠隔を問わず人々の対話活動を多様で多対多の関係にある。例えば，一回の頷支援し，人との高度な知的協調を可能とする人

きは，単に話を聞いているとも，理解や同意の工知能 (AI) の実現を長期的な目的とする。

サインとも読み取れる。また，笑顔も単に幸福対話においては，言語だけではなく，顔表情やのサインとは限らず，興味や困惑，羞恥，嘲笑

頭部運動，視線，身体動作・姿勢，韻律などのなど様々な意味を持ちうる。

非言語行動が重要な役割を果たす。こうした非このように表出者が行動に込める意味も多様

言語行動を介して，人は互いの意図や気持ちをかつ曖昧であり，また，それを受け取る側の解読み取り，意見を調整し，相互理解や合意形成

釈も多様である。本研究で提唱した非言語機能を図る。将来的にエージェントが，ユーザの心スペクトラムは，このような非言語表出の多様の機微や曖昧な行動の意味を読み解き (「場の性や解釈の曖昧性を捉えることを目的としてい空気を読み」)，また，人間のような豊穣な意味る。

を伝える行動表出を行い 「( 以心伝心」)，人々

本研究では，非言語行動として，発話時のリの議論に参画し，相互理解や合意形成，共同問ズム取り，強調，反応確認，思考，及び，反応題解決を支援できるような AI の構築をビジョ時の機能として，相槌，応答，思考，理解，肯ンとする。

定，正の感情表出などに着目した。これら各々の機能の現出の度合いを非言語行動の観測データから推測するという計算基盤の枠組みを提案[研究の内容，成果]した。
本研究では，人と人の対話におけるマルチ

図 1 にその概略を示す。図 1 では，入力のモモーダル非言語行動表出の機能を認識・理解すダリティとして，頭部運動，及び，顔の表情をるため『非言語機能スペクトラム』という新概対象としている。これらを対話者の顔画像より念を提唱し [1]，その計算基盤の構築を行った

頭部姿勢角，及び，顔面活動単位 (AU) の時― 1 ―立石科学技術振興財団

図1

非言語機能スペクトラム推定のための深層神経回路網の基本構造系列データとして計測する。次にこれらを入力と し て 用 い，畳 み 込 み ニ ュ ー ラ ル ネ ッ ト(CNN) により，これら情報を統合し，各々の機能の強度を推定し，出力する。なお，入力の([3]より引用・改変)

図2

モダリティとしては，頭部運動や顔表情に限らI/DeF 機構の処理ず他のモダリティ情報も用いることができる。
また，本研究では，この枠組の有効性を検証するため，特に頭部運動に着目した。本研究では，部分課題として，以下の 3 テーマについて取り組み，成果を創出した。
(1) 頭部運動機能の認識性能の向上を目的とした，新しい深層ニューラルネット (DNN)の付加機構 (I/DeF 機構を呼ぶ) の提案[2-4](2) 話し手・聞き手間の相互作用機能を認識する DNN の構築 [5-6](3) 頭部運動の非言語機能スペクトラムから対話者の主観を予測するモデルの提案 [7-8]以下，具体的に述べる。
([3]より引用・改変)(1) 対話中の頭部運動機能を認識する特徴膨張

図3

I/DeF 機構の構成

収縮ニューラルネットワーク
従来，対話者の頭部姿勢角の時系列から頭部行うことで，稠密かつ子細な時間構造の特徴学運動機能を認識するための畳み込みニューラル習の促進を狙った機構である。図 2 に I/DeF

ネットワーク (CNN) が提案されているが，機構の処理を示す。この処理は，膨張処理と収認識性能には向上の余地があった。本研究では，縮処理により構成される。前者では，転置畳み

この CNN の性能向上を目的とし，入力時系列込みによる微視的スケール方向および時間窓のの特徴学習を促進させるための付加機構として，前後方向へのデータの拡大が行われる。後者で特徴膨張収縮機構 (I/DeF 機構) を提案した。

は，畳み込みによる時間方向のデータの削減・この機構は，DNN に入力される時系列データ復元が実施される。また，I/DeF 機構は，図 2に対して，微視的スケール方向および入力時系の処理を単位として，複数，連結される構成を列の時間窓の前後方向に膨張と収縮を繰り返し取ることもできる (図 3)。

― 2 ―Tateisi Science and Technology Foundationまた，この I/DeF 機構は，既存の CNN などの入力の前段に配置され，一体として学習が複数の機能を一つのモデルで認識するようモデルを訓練する戦略である。
図 4 にこれらの戦略を用いて構成した相互作行われる。
提案した I/DeF 機構の有効性を検証するた用機能を認識するモデルの例を示す。図 4(a)め，頻出する頭部運動機能 10 種を対象としたは学習済みの頭部運動機能認識 CNN を話し手実験を行った。その結果，I/DeF 機構を統合と聞き手それぞれについて配置し，これらのした CNN は，従来の CNN の性能を全機能カCNN の中間層出力を抽出し，ランダムフォレテゴリにおいて上回り，最大で 4.5 ポイントのスト (RF) の入力し，相互作用機能を認識すF 値の向上を実現した。また，I/DeF 機構をるモデルである。図 4(b) のモデルは，図 4(a)VGG，ResNet にも統合して，比較を行った結のモデルを拡張し，話し手，聞き手について，果，I/DeF 機構を統合した CNN が 8 割の機能それぞれ複数の頭部運動機能を認識する CNNカテゴリにおいて最も優れた性能を示した。

を配置し，それらの多機能スペクトラムベクトルを抽出して，RF で認識を行うモデルである。
話し手・聞き手各々の機能認識 CNN の出力(2) 複数人対話における深層転移学習による頭について論理積をとる方策を基準として，提案

部運動相互作用の機能認識
本研究では，聞き手と話し手の頭部運動機能した転移戦略を適用したモデルによる性能向上の組を「相互作用機能」として定義し，既存のを検証した結果，話し手のリズム取りに対する頭部運動機能を認識する CNN を転移させるこ

聞き手の相槌という相互作用において，F 値にとで，これらの相互作用機能を認識するモデルて最高 8.0 ポイントの性能向上を確認し，また，を構築する戦略を提案した。この転移戦略は，話し手のリズム取りに対する聞き手の正の感情

Ⅰ．個人動作・相互作用移転 (AIAT)

表出という相互作用では，最高 13.9 ポイント

Ⅱ．多機能スペクトラムベクトル (mSFV)の性能向上を確認した。このように提案した転Ⅲ．多機能学習 (MFL)移戦略の潜在的可能性が確認された。

から構成される。個人動作・相互作用転移は，学習済みの個人モデルを再利用し，話し手と聞(3) 頭部運動機能特徴を用いた複数人対話におき手それぞれについて組み合わせる戦略である。

ける対話参加者の主観的印象の予測

次に，多機能スペクトラムベクトルは，複数の対話中に表出される頭部運動の機能と対話者個人モデルの中間層出力を取り出し，連結したの主観的印象との関連性を探るため，頭部運動ベクトルであり，複数機能の出現分布を表現すの機能に関する特徴量を用いた対話者の主観的る形態であり，このベクトルを他の識別器に入印象の予測モデルを提案した。本研究では，力し，機能の認識を行う。さらに多機能学習は， 「NTT 主観的アノテーション付きオフライン
ミ ー テ ィ ン グ コ ー パ ス」(SA-Off コ ー パ ス)を対象として，対話者本人により事後に評定された主観の項目 「( 話し合いの雰囲気は良い」，「対 話 を し て い て 楽 し い」，「や る 気 が あ る」，「集中している」) のスコア (1〜9) を予測の対象とした。このコーパスには女性 4 名，17 グループの対話が含まれる。また，このコーパス([6]より引用)

図4

相互作用の認識モデルの構造の一部について，2 名の外部評定者により頭部運動機能のアノテーションを実施し，構築した― 3 ―立石科学技術振興財団としてあげられる。本研究では，頭部運動に焦点を絞ったが，他に顔表情や音声の韻律などの非言語行動も対話においても重要な役割を果たす。現在，顔表情の機能を認識する DNN，並びに，顔表情と頭部運動の連携によって発揮さ([8]からの引用)

図5れる相乗機能を認識する DNN について研究を進めている。さらに今後は，韻律や視線などよ主観的印象の予測モデルの構成

り多くのモダリティに対象を拡大し，それら機能について理解を深め，総合的に人の行動や心コーパスを予測モデルの検証に用いた。
図 5 には，提案した主観的印象の予測モデルの構成を示す。本モデルは，入力として，対話理，対話の状態を認識・理解できるような技術の研究開発を進めていく予定である。
また，今回の DNN は，機能の有無という 2者の頭部運動と発話の有無の情報を用いる。まず，それらの情報から，頭部運動区間，並びに， 値情報を出力としていたが，今後は，機能の強10 種の頭部運動機能を CNN を用いて検出する。 度値を推定対象とすることで，より微細な行動次に，その検出結果を用いて，22 種の頭部運の意味や機能を認識・理解する方向へと研究を

動機能特徴，及び，6 種の運動学的特徴を計算進めていきたい。

する。頭部運動機能特徴には，各々の機能の出以上を含め，今後も引き続き，人の対話活動現率や構成比などが含まれる。対話者の行動，を支援できるような人工知能技術の構築を進め心理的な状態がこれら特徴量に反映されているる予定である。と考えられる。さらにこれらの特徴量を入力として，ランダムフォレスト回帰モデルにより，[成果の発表，論文等]

4 つの印象項目それぞれについて，スコアの予[1]測値を得る。
各グループ・項目について，従来型の運動学的特徴のみを用いた予測モデルと，これに今回

大塚和弘：「対話中の非言語行動の機能スペクト

ラム解析に向けて〜頭部運動を対象とした機能コーパスと深層学習モデルの構築事例〜」，信学技報,
vol. 121, no. 143, HCS2021-19, pp. 13-18, 2021

提案した頭部運動機能特徴を追加したモデルと[ 2 ] 武田一輝，大塚和弘：「対話中の頭部運動機能認を比較した結果，後者により中程度以上の相関識のための特徴膨張収縮深層ニューラルネットワー(相関係数 0.5 以上) がみられたグループ・項目の割合が 25 % から 41 % に増加することが確認され，頭部運動機能特徴は，主観的印象の予測性能の向上に寄与することが示唆された。

ク」，電子情報通信学会和文論文誌 A, Vol. J105-A,
No. 2, pp. 26-37, February, 2021, DOI : 10.14923/
transfunj.2021JAP1016[ 3 ] Kazuki Takeda, Kazuhiro Otsuka, “InflationDeflation Networks for Recognizing Head-Movement
Functions in Face-to-Face Conversations,” in Proceedings of ACM International Conference on Multi-[今後の研究の方向，課題]

modal Interaction (ICMI2021), pp. 361-369, 2021
[ 4 ] 武田一輝，大塚和弘：「対話中の頭部運動機能を以上，本研究では，人の対話におけるマルチモーダル非言語行動表出の機能を認識・理解す認識する特徴膨張収縮ニューラルネットワーク」，
第 20 回情報科学技術フォーラム (FIT2021)【FIT奨励賞，FIT2021 ヤングリサーチャー賞】

るため『非言語機能スペクトラム』という新概[ 5 ] Takashi Mori, Kazuhiro Otsuka, “Deep Transfer念を提唱し，その計算基盤の構築を行った。次Learning for Recognizing Functional Interactionsにような今後の方向性・課題があげられる。

via Head Movements in Multiparty Conversations,”in Proceedings of ACM International Conference on

まず，非言語行動のモダリティの拡張が課題― 4 ―Multimodal Interaction (ICMI2021), pp. 370-378,

Tateisi Science and Technology Foundation

2021
[6]

Movement Features in Group Meetings,” in Pro-森 駿志，大塚和弘，「複数人対話における深層転移学習による頭部運動相互作用の機能認識」，電子情報通信学会 HCG シンポジウム 2021【特集テーマセッション賞】[7]

ceedings of ACM International Conference on Multimodal Interaction (ICMI2021), pp. 352-360, 2021
[8]

大土隼平，石井陽子，中谷桃子，大塚和弘：「頭部運動機能特徴を用いた複数人対話における対話参Shumepi Otsuchi, Yoko Ishii, Momoko Nakatani,Kazuhiro Otsuka, “Prediction of Interlocutorsʼ Subjective Impressions Based on Functional Head-― 5 ―加者の主観的印象の予測」，信学技報，vol. 121, no.
143, HCS2021-20, pp. 19-24, 2021