JAIST Repository
https://dspace.jaist.ac.jp/Title

マルチモーダル会話モデリングに基づくグループ意思決定プロセスの解析

Author(s)岡田, 将吾Citation

科学研究費助成事業研究成果報告書: 1‑6

Issue Date

2018‑06‑11

TypeResearch Paper

Text version

publisher

URL

http://hdl.handle.net/10119/15393

RightsDescription

基盤研究(C)（一般）, 研究期間：2015〜2017, 課題番
号：15K00300, 研究者番号：00512261, 研究分野：知能情報処理

Japan Advanced Institute of Science and Technology

２版

様式

Ｃ−１９、Ｆ−１９−１、Ｚ−１９ （共通）

科学研究費助成事業

研究成果報告書
平成 ３０ 年６ 月 １１ 日現在

機関番号： １３３０２
研究種目： 基盤研究(C)（一般）
研究期間： 2015 〜 2017
課題番号： １５Ｋ００３００
研究課題名（和文）マルチモーダル会話モデリングに基づくグループ意思決定プロセスの解析

研究課題名（英文）Analyzing group decision making process based on multimodal conversation
modeling研究代表者
岡田将吾（Okada, Shogo）

北陸先端科学技術大学院大学・先端科学技術研究科・准教授

研究者番号：００５１２２６１
交付決定額（研究期間全体）：（直接経費）

3,500,000 円

研究成果の概要（和文）：本研究の目的は，意思決定を行うためのグループ会議に焦点を当て，会議中に交わされる会話者の言語・非言語情報から，意思決定が行われるまでのプロセスを会話データより客観的に解析出来る技術を新規に開発することである． 言語・非言語情報（発話，音声，動作）と，アノテーションされたグループディスカッションの質を紐づけることで，良質なディスカッションに特有に現れる非言語情報や，コミュニケーション能力の高い人に見られる特有の言語パターンを抽出出来るフレームワークを構築した．機械学習のSupport Vector Machine を用いた結果，最大82％の精度で推定するモデルを構築した．

研究成果の概要（英文）：This research project focuses on group discussion for a problem solving anddevelops a framework for analyzing the group decision making process based on verbal and nonverbal(multimodal) information which observed from group members.We defined the quality of group output as
an index set of social science ( product dimension ), which proposed by Hackman. The annotation
data of the quality of group output has been collected. The machine learning model it developed topredict the product dimension from multimodal information including dialog transcription, headmotion, speech prosody and turn taking. Novel co‑occurrence data mining is proposed to capture thegroup interaction and multimodal patterns. Through the machine learning modeling and data mining,thespecific multimodal features observed in group discussion process with high/low quality can be
discovered automatically. Best prediction accuracy of product dimension is 82 % in binaryclassification task (high or low of quality).

研究分野： 知能情報処理
キーワード： マルチモーダルインタラクションッション

社会的信号処理機械学習

データマイニング

グループディスカ

様 式 Ｃ－１９、Ｆ－１９－１、Ｚ－１９、ＣＫ－１９（共通）１．研究開始当初の背景

グループのアウトプットと，グループディスグループで協調し，議論を通じて意思決定・カッションに参加する個人のコミュニケー

問題解決を行う能力の向上は重要な課題でション能力を社会学の指標より定義し，あり，これを支援する情報技術の開発が重要

ディスカッションデータにアノテーションである．能力向上のためには，自身のグルーを行う．またグループディスカッションで交プの会話と他者の会話を客観的に比較し，他わされる言語・非言語情報（発話，音声，動者との違いを理解できる技術が必要である．

作）と，アノテーションされたグループディ

社会学における会話分析の知見を基盤にスカッションの質やコミュニケーション能

会話中に交わされる発話内容の言語情報，非力を紐づけることで，良質なディスカッショ

言語情報，会話構造を会話データから自動まンに特有に現れる非言語情報や，コミュニケたは半自動で抽出し・モデル化する研究が行ーション能力の高い人に見られる特有の言われてきた．合意形成過程の解明を試みた研語パターンを抽出出来るフレームワークを究<2>もあったが，分析の多くは人手で行わ構築する．この技術を用いることで，良質なれた．会話内容・非言語情報を簡易に記録す

ミーティングプロセスで観測される議論シるツール<3><4>も開発されていたが，会話プーンや非言語行動を自身の行動と比較するロセス解析自体はユーザに委ねられており，ことが可能となり，ミーティングの振り返り自動解析技術の提案はなされていなかった．

や，自身のミーティングと効率的かつ・満足いく結論が生まれた良質なミーティングプ
ロセスとの違いを把握出来る．
３．研究の方法
機械学習・データマイニングを用いたモデリ
ングを通じて，会話者の言語・非言語情報から，意思決定が行われるまでのプロセスを会
話データより解析するモデルの構築した．
・会話プロセスの比較解析モデル
入力（Ｘ）としてマイク・モーションセンサ

図１：本研究の概要を含む各種センサから取得される会話者の言語・非言語情報を，出力（Ｙ）として会話

２．研究の目的者のコミュニケーション能力，グループのコ

本研究の目的は，意思決定を行うためのグル

ミュニケーションの質を定義し，X から Y をープ会議に焦点を当て，会議中に交わされる出力する機械学習モデルを構築する．このモ会話者の言語・非言語情報から，意思決定がデリングを通じて，コミュニケーション能力行われるまでのプロセスを会話データよりの高い/低い人．グループディスカッションの客観的に解析出来る技術を,社会的信号処理

アウトプットの高い/低いグループを言語・非技術<1>に基づき新規に開発することである．

言語情報のパターンを可視化することで理解できる．

る参加者に見られる特徴を明らかに・データ収集とアノテーションした．

4 名による合意形成型ミーティングを 30 セッ

さらに，ディスカッションタスク，コミュション行い，マイク・カメラ・モーションセ

ニケーション能力，言語・非言語情報の関係ンサを利用してマルチモーダル時系列デーを明らかにするために，タスクの種類別にコタコーパスを収録した．このコーパスはミュニケーション能力の推定モデルを構

MATRIX コーパスと呼ばれ，申請者が共同研究築・評価した．最初に，相関分析の結果，評者 と し て 参 画 し た 基 盤 B( 研 究 課 題

定されたコミュニケーション能力値はタス25280076：)のプロジェクトの予算で収集さクの種類に対して一定であり，能力の高い/れた．本研究はこのデータコーパスに基づき低いと評価される人はタスクによって変わ研究を行った．本研究費で，グループアウトらないことを示した．様々な組み合わせの言

プットのアノテーションと，ディスカッショ語・非言語特徴量から，各タスクにおいて評ンのプロセスを捉えるための言語行為のア定されたコミュニケーション能力の推定をノテーションを実施した．

行った結果，インバスケット型課題であり，事前情報・タスク設定に制約を受けやすいタ

４．研究成果スク１では，発話ターンの特徴量のみを用い4.1 グループディスカッション参加者のコミたモデルが最大の精度だった．一方，事前情ュニケーション能力の推定モデルの構築と報が少なく，議論進行の自由度の高いケース

分析

スタディ型のタスク２，３では言語特徴量，

本研究では，会話参加者の表出するマルチモとりわけ談話行為タグの特徴量が有効であーダル情報から「コミュニケーション能力」ることが明らかになった．

を推定するモデルの構築・評価を行った．発

4.2 グループディスカッションのアウトプッ

話内容に含まれる単語の品詞，発話ターン，トの推定モデル構築と分析

韻律情報，頭部動作量をマルチモーダル特徴ディスカッションのアウトプットの評価方量として抽出し，人事採用経験者より評定さ法を確立するため，社会心理学の知見をサーれた各参加者のコミュニケーション能力値

ベイし， Hackman により提案された Productを推定するモデルを機械学習により構築しdimensions (PD)と呼ばれるプロダクトの評た．評価実験の結果，総合的なコミュ価指標を選定した． PD は建設的，アイデアニケーション能力に関する評定値の推定にの新規性，綿密さ，肯定的な内容か否か，と関して，回帰タスクで最大 0.62 の決定係数

いった 19 個の評価軸が定義されており，1-7R2，高群・低群の 2 クラスの分類タスクで最のリッカード尺度で評定される．客観的な評

大 0.93 の精度を得た．また，各要素定を行うために，グループディスカッション項目と総合的なコミュニケーション能力をの参加者以外の第三者４名にアノテーショ識別するために有効な特徴量を明らかにし，ンを依頼した．アノテータ間の評定一致率をコミュニケーション能力の高・低に分類され計算した結果，クローンバックα値は 0.42

～0.72 であった．この 4 名の評定したスコア含むコミュニケーション能力を推定する手の総和をグループディスカッションのアウ法を提案した．この手法を用いることで，イトプットの数値と定義した． 会話参加者のンタラクションを詳細に分析できることを言語情報，非言語情報（頭部動作，音声，発示した．例えば，コミュニケーション能力の話ターン），コミュニケーション能力のスコ高い人が話した際，他の人が視線を向けやす

アを入力として，各グループのディスカッシ

い．重要でない発言が行われた際，他の人はョンのアウトプットの質（PD）を推定するた

説明者を向かない等の特徴量をマイニング

めの機械学習モデルの構築・評価を行った．

可能である．

結果として，アウトプットの １．創造性，２．理解可能かつ明快な度合い，３．扱って(参考文献)いる問題に対処できていない程度，４．考え<1>Pentland, Alex. "Social signal

方，物，事に難色を示す度合い，５．綿密さprocessing. "IEEE Signal Processingの欠如，特定の信念や意見への偏り，６．あMagazine24.4 (2007): 108.

りふれたアイデアである度合いの６つの項<2>片桐恭弘 他, 会話における合意形成と目の評定値を 0.7

相互信頼感形成． SIG-SLUD-B001: 49-54.

(70％)以上の精度で推定するモデルを構築した．線形モデルの各特徴

2010

量の重みを分析することにより，コミュニケ<3> 対面式会議コンテンツの作成と議論中ーション能力の値，発話ターン，談話行為のにおけるメタデータの可視化，土田 貴裕 他

遷移が重要であることが示された．

情報処理学会論文誌,
Vol.51,No.2,pp.404-416, 2010

4.3 会話参加者のインタラクション・参加者<4>角 康之, 他，：協調的なインタラクショの非言語マルチモーダルパターンを自動抽ンの記録と解釈, 情報処理学会論文誌,出するためのデータマイニング手法の構築

Vol.44, No.11, pp.2628-2637, 2003 年 11 月

グループアウトプットの質やコミュニケー

５．主な発表論文等

ション能力に関わる多種多様な言語・非言語（研究代表者、研究分担者及び連携研究者にパターンを抽出するためには，人間同士のイは下線）

ンタラクション・人間が表出するマルチモー〔雑誌論文 (全て査読付き)〕（計 14 件）

ダルパターンをボトムアップに抽出するモ[1] Youwei Lu, Shogo Okada, Katsumi

デルが有用である．多人数のマルチモーダル

Nitta,Modeling Content Structures of

時系列データから，効率的にインタラクショ

Domain-specific Texts withン・マルチモーダルパターンを抽出するグラ

RUP-HDP-HSMM and Its Applications,

フクラスタリングに基づくデータマイニン

IEICE Transactions,Vol.E100-D, No.9,

グの手法を提案し，このマイニング手法と

pp. 2126-2137 (2017)

latestfusion と呼ばれるデータ統合方法[2] 岡田将吾，松儀良広，中野有紀子，林佑を併用することで，高精度にリーダシップを樹，黄宏軒，高瀬裕，新田克己 マルチモーダル情報に基づくグループ会話にMultimodal

おけるコミュニケーション能力の推定

Seattle, Nov. 2015.

人工知能学会論文誌, Vol31，No.6

Interaction(ICMI),[5] Yukiko I. Nakano, Sakiko Nihonyanagi,

AI30-E [人工知能学会創設 30 周年記念

Yutaka Takase, Yuki Hayashi, Shogo

特集論文最優秀賞]

Okada,[3] Shogo Okada, Mi Hang, Katsumi Nitta， ”

Predicting

Styles using Co-occurrence Patterns

Predicting performance ofof

collaborative storytelling using

Collaborative

multimodal analysis”, IEICEInternational

Transactions,6ED-55,pp.429-439

Multimodal(2016)

Seattle, Nov. 2015.

〔学会発表〕（計 28 件）[1] Shogo

Okada,

Participation

Nonverbal

Behaviors

Learning,

17thConference
InteractioninACMon(ICMI),[6] 岡田 将吾, 大竹 圭彦, 中野 有紀子,KazuhiroOtsuka:林 佑樹, 黄 宏軒, 高瀬 裕, 新田 克

Gestures:己, マルチモーダルモデリングに基づ

Descriptors

くコミュニケーション能力とグループ

Associated with Spoken Utterances. FG

ディスカッションタスクの関連性分析,

2017: 430-437

HCG シンポジウム 2016 [優秀インタラク

Recognizing

Words

fromDiscovering

Gesture[2] Youwei Lu, Shogo Okada, Katsumi Nitta:
Weibullpartitionwith[7] 岡田将吾，米航，新田克己，説明行為のapplications to hidden semi-Markov

質の推定に向けた会話者のマルチモーmodels. IEEE IJCNN 2017: 162-169

ダル情報モデリング，人工知能学会 言[3] Shogo Okada, Yoshihiko Ohtake, Yukiko

語・音声理解と対話処理研究会（SLUD）

I. Nakano, Yuki Hayashi, Hung-Hsuan

第 74 回研究会 [2015 年度人工知能学会

Huang, Yutaka Takase, Katsumi Nitta:研究会優秀賞]

Estimating communication skills using

〔図書〕
（計０件）

dialogue acts and nonverbal features〔産業財産権〕

in multiple discussion datasets, 18th

○出願状況（計 1 件）

ACM

名称：コミュニケーション能力推定装置、Internationalmodels

ティブ発表賞]

ConferenceonMultimodal Interaction (ICMI), Tokyo,

方法およびプログラム

Nov. 2016.

発明者：中野有紀子, 岡田将吾, 松儀良[4] Shogo Okada, Oya Aran and Daniel
Gatica-Perez,

Personality

Classification

via

Trait

Co-Occurrent広, 林佑樹, 黄宏軒, 高瀬裕, 新田克己
権利者：学校法人成蹊学園
種類：特許Multiparty Multimodal Event Discovery,

番号：特願 2016-12890417th ACM International Conference on

出願年月日：2016 年 6 月 29 日

国内外の別：国内〔その他〕
ホームページ等
http://www.jaist.ac.jp/~okada-s/SocialA
ctivity.html

６．研究組織(1)研究代表者

岡田 将吾（Shogo Okada）
北陸先端科学技術大学院大学・先端科学技術研究科・准教授
研究者番号：00512261