情報処理学会研究報告
IPSJ SIG Technical Report

話者の頭部及び姿勢変化に着目した複数人対話分析小松 和朗1,a)

嶋田 和孝2,b)

遠藤 勉2,c)

概要：多人数インタラクションの円滑化において話者の内面を推定することは重要な課題である．本論文
では話者の頭部及び姿勢変化のタイミングと話者の内面変化との関連性に着目した複数人対話分析を行う．
提案手法では，頭上方向から撮影した人物画像より得られた深度情報を基に抽出した (1) 深度ヒストグラ
ム，(2) 人物の面積，(3) 身体の傾き度合い，(4) 身体の向き の計 4 種類の特徴量を用いる．画像フレーム間において，取得した各特徴量の類似度を比較することで話者の頭部及び姿勢変化推定を行う．また，対話分析では話者の姿勢変化と感情変化の発生回数に着目し，調査することで得られた得た見解について述べる．

Multi-party interaction analysis based on the speaker’s changes
in head and posture
Kazuaki Komatsu1,a)Kazutaka Shimada2,b)Tsutomu Endo2,c)Abstract: The goal of our study is to understand user’s states in multi-party conversation. In this paper,
we focus on the change of a user’s posture in the conversation. Our method uses a top view image with depth
information for the analysis. We compute a similarity between each image frame by using 4 features; (1)depth histogram, (2) dimensions, (3)slant and (4) direction. Furthermore, we analyze our corpus in terms of
the relation between the changes of posture and emotion of users.

1. はじめにを推定し，推定結果を基に各話者の意図伝達，意図理解を促進するインタラクション支援システムの構築を目指して

対話は，私たち人間が生活する上で，他人とコミュニいる．これまでに，単語の出現頻度や発話長，声の抑揚やケーションを図るための手段である．コミュニケーション

発話時間を用いた複数人対話における盛り上がり判定 [2]は，自らの意思を相手に伝え，相手の意思を受け入れるこや，対話中に発生する笑いに着目し，笑いの発生要因や笑とで成立し，他人との情報共有，双方の感情理解および全いの大きさに基づく盛り上がり推定手法 [3] について研究

体の意思決定を目的として行われる．雑談や会議といったを進めてきた．これらの研究においてより精度を向上させ

複数人で行うコミュニケーションの形態は多人数インタラ

るには，画像情報の利用が必要である．対話中の画像情報

クションと呼ばれ，現在対話分析を中心に研究が進められから取得できる特徴としては話者の表情，顔の向きや姿勢，ている [1]．我々は複数人対話において言語情報および非言

ジェスチャなどが挙げられるが，我々は対話中に話者がみ語情報を効果的に組み合わせて使用することで話者の内面せる姿勢に着目する．
本研究では話者が対話中にみせる姿勢とその時の話者の

1

2

a)
b)
c)

九州工業大学大学院情報工学府
Kyushu Institute of Technology，680-4 Kawazu，Iizuka-shi，
Fukuoka，820-8502，JAPAN九州工業大学情報工学部
Kyushu Institute of Technology，680-4 Kawazu，Iizuka-shi，
Fukuoka，820-8502，JAPANk komatsu@pluto.ai.kyutech.ac.jp
shimada@pluto.ai.kyutech.ac.jp
endo@pluto.ai.kyutech.ac.jp

c 2013 Information Processing Society of Japan
⃝

内面変化との関連性に着目した対話分析を行う．頭部の動きや姿勢は話者の内面状態を無意識のうちに表現する特徴の 1 つである．例えば，相手を注視しつつタイミングよく相槌をうてば，話題に関心を持っている状態であるといえるし，相手を見ておらず頬杖をついていたならば話題に関心がない状態であるといえる．我々は「人の姿勢パターン

1

情報処理学会研究報告
IPSJ SIG Technical Reportはある程度一定であり，姿勢パターンが変化した時に話者

上方向から撮影することで人物の重なりによって発生するの内面に変化が発生する」という仮説を検証することで，オクルージョンを回避することができ，かつ，被験者に与話者の頭部及び姿勢変化が話者の内面推定及び対話分析にえる心理的負担の軽減が期待できる．さらに，撮影に深度対して有効であることを示す．

センサーを利用することで物体との距離情報を含んだ深度

2. 関連研究
本節では，対話分析における非言語情報の有効性及び姿
勢変化の重要性，頭上方向から撮影するメリットについて述べた関連研究をそれぞれ紹介する．Vargas[4] は対話中

情報を取得することができ，撮影時に照明変動の影響を受けないというメリットがある．

3. コーパス
3.1 データ収集に現れる姿勢や視線が話者の内面推定に有効な要素である

本論文では 3 人 1 グループで行う複数人対話を対象とし言語調整動作であることを述べている．Mahmoud ら [5]ている．そこで，今回は計 19 名の大学生を対象に対話者とは自発的に生じたジェスチャとその時の精神状態との関係

して実験に参加してもらい，複数人対話データを 8 グルー性を考慮した感情推定手法を提案しており，人物の感情認

プ分，計 16 セット収集した*1 ．

識における非言語情報の有効性を示している．

実際に撮影した動画データの一部分を図 1 に示す．1 つ

非言語情報のうち，頭部の動きや姿勢は対話分析や学習のテーマにつき 4 分間の対話をしてもらい，各グループ

支援の分野において学習者の内面推定を行う際にその有効

2 テーマ分の対話データを収集している．対話のテーマは性が述べられている．頭部の動きに関する研究として，熊「研究室」，「就職活動」といった対話者全員が同程度の知識

野ら [6] は複数人対話において各話者の表情と話者間の視を持ちうる事柄にしている．対話データを録画する直前に線から共感状態を求めることで各話者の対人感情推定を

対話のテーマを提示することでなるべくテーマに沿った対行っており，円滑な多人数インタラクションの実現に向け話を行ってもらうようにした．また，各話者には実験の目た新しい研究の枠組みを提案している．また，姿勢に関す的は説明していない．これは，実験において話者に特別なる研究として，Mota ら [7] は「学習者の内面が姿勢に現れ意識をもたせないためであり，実際の対話環境における自る」という仮定に基づき，姿勢推定を行うことで学習者の然な動作や表情を取得するためである．なお，本実験では内面推定を図っている．Grafsgaard ら [8] は深度センサー

動画撮影に ASUS 社が提供している Xtion PRO LIVE*2

を学習者の正面に設置し，学習者の各部位の情報を間接的を使用している．

に取得することで姿勢推定を行い，姿勢と心理状態との相関関係を算出している．
しかし，これらの研究にはいくつかの問題点が存在す
る．Mota らの研究では姿勢推定に用いる特徴量を圧力セ
ンサーを搭載した椅子から物理的に取得した圧力値から算出しており，椅子と接触した部位の情報を詳細に取得でき

PC×
PC× 2
頭上カメラ

る反面，腕や手の動きなど接触していない部位の情報を取ID3得することはできない．加えて，複数人対応を実現するた

正面カメラ

めには人数分の装置を用意する必要があるなど制約が多ID2

い．Grafsgaard らの研究では人物や身体の部位の重なりに
レコーダ

よって身体の一部にオクルージョンが生じた場合，取得でID1

きる情報量が減少するため識別精度に悪影響を及ぼすこと
図 1が予想される．対話分析手法においても中村ら [9] は，対姿勢変化推定及び対話分析における撮影環境．

話のトピックや話者間の関係性を考慮する必要があると述べており，単純に視線や姿勢状態と感情を一対一対応させればいいという問題ではない．

3.2 フレームの正規化

以上の関連研究を踏まえて，本研究では深度センサーを今回の実験では正面及び頭部方向に設置した深度セン備えたカメラを用いて頭上方向から撮影することで話者サーをそれぞれ同程度の PC 環境で利用することで動画の姿勢状態及び複数人対話環境を取得する．取得した動画

データを取得したが，正面及び頭上方向で取得された動画データより，話者の姿勢状態及び姿勢変化のタイミングを*1

推定するとともに複数人対話環境における対話分析を行う．
また，我々は人物識別のタスクでオクルージョンを解消するために頭上画像を利用する手法を提案している [10]．頭c 2013 Information Processing Society of Japan⃝*2

机上に設置したレコーダにより動画データと同時に音声データも取得したが，本研究では頭部及び姿勢変化に着目した対話分析を行うため今回は使用していない．
ASUS
Xtion
PRO
LIVE，http://www.asus.co.jp/
Multimedia/Motion Sensor/Xtion PRO LIVE/2

情報処理学会研究報告
IPSJ SIG Technical Report

データのフレーム数に若干の差分が生じてしまった．この

人物領域の抽出ままではそれぞれの深度センサーで取得したフレーム番号

姿勢状態推定では人物領域の抽出対象が一人であるのに同士の対応付けがとれていないため単純に比較することが対し，姿勢変化推定では図 2 で示すように抽出対象が複数できない．そこで，正面方向のフレームを F ，正面方向の人物であるため，話者毎の人物領域を抽出する必要がある．

総フレーム数を Fcenter ，頭上方向の総フレーム数を Ftop

抽出には各話者の頭部領域を算出し，頭部領域の座標を基として，正規化後の正面方向のフレーム Fnormal を以下のに人物領域の抽出範囲を決定している．なお，各話者の人式によって正規化を行った．

物領域の範囲は 213 × 240 としている．

Fnormal = F ×

Ftop
Fcenter

(1)

特徴量抽出

この正規化によって算出された新たな正面方向のフレーム

本論文では，話者の姿勢変化を取得するために人物領域

Fnormal は頭上方向のフレーム数と対応付けすることがでより取得した深度情報を基に以下の 4 種類の特徴量を抽出

きる．

している．

1. 深度ヒストグラム特徴
3.3 姿勢変化のアノテートデータ

2. 人物の面積特徴

収集した対話データに対し，頭部及び姿勢変化，感情変化が発生したフレームのラベル付けを行った．ラベル付け

3. 身体の傾き度合い特徴
4. 身体の向き特徴

は，3 名のアノテータによって行った．3 名のうち，1 名は実際に対話実験に参加してもらっており，残り 2 名は実験

頭部及び姿勢変化の推定には参加していない．各アノテータには各対話者の頭部方

頭部及び姿勢変化の推定はまず，姿勢変化が発生したフ

向・姿勢・感情の変化についてそれぞれ評価してもらった．

レームから前述した 4 つの特徴量を取得する．次にフレー

頭部方向及び姿勢変化は変化開始時と変化終了時のフレー

ム毎において各特徴量を抽出し，前回姿勢変化が発生した

ムをそれぞれ記録してもらったが，感情変化は変化開始時

フレームで抽出された特徴量との類似度を算出する．こののフレームのみを記録してもらった．これは感情の変化が時得られた類似度を基に閾値を設定し，各フレームにおい

頭部の動きや姿勢とは異なり，一瞬のうちに発生するためて閾値以上の差分が見られた時にそのフレームを変化発生である．また，ここでいう「姿勢変化が発生した」というフレームとして判断する．図 3 に変化推定の例を示す．

状態とは対象者の身体の一部が明らかに動いていると人目で判断できる状態としており，首ふりやうなずきといった微かな動作に関しては今回対象外としている．

面積：16098pix
傾き度合い：911mm
身体の向き：22°

4. 頭部及び姿勢変化推定
類似度：0.976
面積：738pix
傾き度合い：9mm
身体の向き：5°

フレーム：300

4.1 提案手法概要
本節では本研究における提案手法の概要について述べる．提案手法は深度情報を利用した人物領域の抽出，特徴

面積：16836pix
傾き度合い：902mm
身体の向き：27°

量抽出，頭部及び姿勢変化推定の大きく 3 つによって構成される．
フレーム：423

図 3

頭部及び姿勢変化推定の例．

4.2 深度ヒストグラム特徴
4.2.1 深度ヒストグラムによる特徴抽出
人物領域の座標位置を算出

姿勢状態推定の手法では，人物領域のみを取得するために最適な距離情報の範囲を 1000mm〜1700mm と設定することで深度ヒストグラムを作成している．しかし，1000〜

1300mm の範囲では他の範囲と比較して話者の人物領域が
ID1

図 2

ID2

ID3

人物領域の抽出．

現れる回数が少なく，ヒストグラムに特徴が現れにくい．
そこで，範囲ごとにヒストグラムを構成する要素の基準を差別化したり，ある一定の範囲において要素を統合するこ

c 2013 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Reportとで特徴の顕著化を図る必要がある．本研究では 1000〜

合いによる特徴抽出を行う．

1300mm の範囲において 10mm ごとに，1301〜1700mm の

本論文では，画像モーメントを利用することで人物領域範囲においては 1mm ごとにヒストグラムの要素を生成しより取得した重心及び深度値を中心座標として扱う．人物ており，合計 430 個の要素でヒストグラムを構成している．

の面積および体型特徴を取得した際に用いた人物領域を入

図 4 に深度ヒストグラムの生成例を示す．

力画像とし，以下の式において人物領域の 3 次の空間モー
メント Mpq を求めることで領域の重心座標 (x̄，ȳ) を算出

床

カメラする．式 (4) の p，q はそれぞれ x 方向，y 方向の次数を示

床

カメラ

している．

∑

mpq =
(xp · y q · f (x, y))



x,y

1000

1700

1300

1000

1300

深度値


m
m

 x̄ = 10 ， ȳ = 01
m00
m00

1700

深度値

図 4 ヒストグラム生成の例．

(4)

さらに，式 (4) で求めた座標地点の深度値を要素として加4.2.2 深度ヒストグラムによる類似度算出えることで 3 次元の座標として取得する．また，頭部領域

深度ヒストグラム特徴の類似度算出には深度ヒストグの中心座標も同様に頭部領域を入力画像として式 (4) を用

ラム間の Bhattacharyya 距離を用いる. ヒストグラム間のいることで頭部領域の重心座標を算出する．頭部の位置をBhattacharyya 距離による類似度を算出するには，それぞ示す頭部領域は図 5 において人物領域内の濃淡が濃い部分

れのヒストグラムでヒストグラムの合計が 1 になるようにである．なお，図 5 中の●は人物領域の中心座標点を表し

正規化を行う. m ビンからなる 2 つの正規化深度ヒストグており，▲は頭部領域の中心座標点を表している*3 ．入力

ラムをそれぞれ p，q とし，前回変化が発生したフレーム

画像より人物領域の中心座標からみて頭部領域の中心座標の深度ヒストグラムを p，判定対象フレームの深度ヒストがどこに位置するか求めた後，座標間の距離を取得する．

グラムを q ，各ビンを pu ，qu とする. このときの 2 つの正この座標間の距離の値を身体の傾き度合いとする．図 5 の規化深度ヒストグラムの類似度 Shist は以下の式で算出さ矢印がその傾きを意味している．身体の傾き度合いを表す

れる.

座標間の距離 D は以下の式で算出する．

m∑√
Shist =
pu qu

√

D=

(2)

u=1

(xc − xg )2 + (yc − yg )2 + (Depthc − Depthg )2(5)

式 (5) の xc と yc はそれぞれ人物領域の中心座標 (xc ，4.3 人物の面積特徴

yc ) を，xg と yg はそれぞれ頭部領域の中心座標の (xg ，yg )4.3.1 人物の面積による特徴抽出を，Depthc と Depthg はそれぞれ人物領域の中心座標と頭人物の面積は姿勢変化推定においても直感的で特有の特部領域の中心座標の深度値 Depthc ，Depthg を表現してい徴量となると考える．そこで本手法でも姿勢状態推定の手る．図 5 に身体の傾き度合い特徴の取得例を示す．図中の法と同様に抽出された人物領域のピクセル数の総和を算出

矢印の長さが身体の傾き度合いである座標間の距離 D をすることにより求める．

表している．D の値が大きければ大きいほど矢印の長くな

4.3.2 人物の面積による類似度抽出

り，身体が大きく傾いているころを表す．

人物の面積特徴の類似度算出には前回変化が発生したフ4.4.2 身体の傾き度合いによる類似度抽出

レームの人物の面積特徴との差分を用いる．前回変化が発

身体の傾き度合いの類似度算出には前回変化が発生した

生したフレームの面積特徴を Sn−1 ，判定対象フレームのフレームの身体の傾き度合い特徴との差分を用いる．前回

面積特徴を Sn とする．このときの 2 つの面積特徴の類似変化が発生したフレームの傾き度合い特徴を Dn−1 ，判定

度 Sarea は以下の式で算出される.

対象フレームの傾き度合い特徴を Dn とする．このときのSarea = |Sn − Sn−1 |2 つの面積特徴の類似度 Sdist は以下の式で算出される.
(3)
Sdist = |Dn − Dn−1 |(6)

4.4 身体の傾き度合い特徴
4.4.1 身体の傾き度合いによる特徴抽出
取得した画像データを分析した結果，姿勢状態推定の手

4.5 身体の向き
4.5.1 身体の向きによる特徴抽出
姿勢状態推定の手法では人物領域の中心座標 (xc ，yc ) お法と同様に各姿勢の身体の傾き方には一定の傾向が現れていることが分かった．そこで，本研究においても人物領域の中心座標と頭部領域の中心座標を利用した身体の傾き度

c 2013 Information Processing Society of Japan
⃝*3

図 5 の画像で取得する座標位置は実世界の寸法 (単位は mm) に変換している．図 5 の身体の傾き具合を取得する際に使用する画像のみが対象であることに注意．

4

情報処理学会研究報告
IPSJ SIG Technical Report

類似度 Sangle の 4 つの類似度に対してそれぞれ閾値を設定
人物：(xc,yc,Depthc)=(455,-255,1202)
頭部：(xg,yg,Depthg)=(478,-284,1202)
距離： D = 36
フレーム:320

した．事前に行った予備実験の結果，各類似度が Sarea ≧200pix かつ Sdist ≧ 5mm を満たした上で，Shist ≦ 0.985
または Sangle ≧ 10°になった状態が変化推定に最適であると判明したため，本論文においても同様に設定している．

人物：(xc,yc,Depthc)=(478,-268,1236)
頭部：(xg,yg,Depthg)=(524,-299,1202)
距離： D = 65
フレーム:440

4.7 評価実験
4.7.1 評価基準
提案手法で取得したデータとアノテートデータとの比較●：人物領域の中心座標▲：頭部領域の中心座標

図 5を行うにあたり，本論文では ±1 秒間を誤差の範囲内とし，

人物領域および頭部領域の中心座標とアノテートデータに記載された各フレームの前後 20 フレー

身体の傾き度合い特徴の例．

ムを正解フレームとしている．これは 1 フレームが約 0.05

よび頭部領域の中心座標 (xg ，yg ) を用いて角度を算出す

秒という人間が変化を捉えるには非常に短い時間であり，ることで身体の向きは算出していた．本論文では，身体の同一フレームを取得するのは非常に困難なためである．ま

向きの算出に頭部領域における楕円検出手法を利用していた，本研究では変化推定の精度より対話分析に重点を置いる．楕円検出には最小ニ乗推定を用いており，最良の楕円ている．そのため，1 秒という時間は人間が刹那と感じる及び楕円の中心座標を算出することができる．さらに，図時間の範囲内であり，その区間の変化は人間にとっては気

6 において楕円の中心座標 (x1 ，y2 ) および楕円の短辺 a ににならない誤差であると考えた．なお，この条件で 3 名分

おける等分点座標 (x2 ，y2 ) を用いて身体の向きとなる角度のアノテートデータの一致率を算出した結果，頭部及び姿を算出する．身体の向き θ は以下の式で算出する．

勢変化における一致率は 86.5 ％となった．以上を踏まえ，

θ = − arctan((y2 −y1 ), (x2 −x1 )) ∗ (180/π)

本論文では以下の 3 項目を評価することで提案手法の有効(7)性を検証した．

なお，座標位置は図 6 の画像において，その左上を (0,0)

1. データ要約率とした絶対座標である．図 6 は身体の向きの取得例を表し

2. 抽出成功率ている．

3. 正答率
評価内容の概略を図 7，各評価項目間の関係性を図 8 に示す．まず，提案手法によって対話データから姿勢変化フa

楕円：(x1,y1)=(103,123)
短辺：(x2,y2)=(156,99)
角度： θ = 25°

レームと推定したフレームを取得する．次に，推定したフ●：楕円の中心座標▲：短辺の中心座標

したフレームを人間の評価尺度に変換する．これは，提案θ

レームとアノテータデータを直接比較するとともに，推定手法のシステムとしての評価尺度がフレーム単位である一b
図 6方，人間の評価尺度は変化回数単位であり，提案手法を対
話分析に応用する際に人間とシステム間にギャップが生じ

身体の向き特徴の例．

てしまうためである．最後に，人間の評価尺度に変化した

4.5.2 身体の向きによる類似度抽出

ものとアノテートデータを比較する．システムの評価尺度

身体の向きの類似度算出には前回変化が発生したフレー
ムの身体の向き特徴との差分を用いる．前回変化が発生しから人間の評価尺度に変換することにより，システムと人間両方の評価尺度で有効性を評価することができる．

たフレームの身体の向き特徴を θn−1 ，判定対象フレームの身体の向き特徴を θn とする．このときの 2 つの面積特徴の類似度 Sangle は以下の式で算出される.

対話データ

データ要約率自動抽出

Sangle = |θn − θn−1 |(8)

評価尺度の変換

抽出結果

変換データ

4.6 変化推定における閾値設定
4.2.2 節より得られた深度ヒストグラム特徴による類似度
Shist ，4.3.2 節より得られた人物の面積特徴による類似度
Sarea ，4.4.2 節より得られた身体の傾き度合い特徴による

抽出成功率

正答率

アノテートデータ

図 7

評価内容の概略図．

類似度 Sdist ，4.5.2 節より得られた身体の向き特徴による

c 2013 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report

連続して発生する姿勢変化を一つの姿勢変化として評価を動画データの全フレーム自動抽出されたフレーム

対話データ

行う．例えば図 8 では，自動抽出されたフレームのうち 6

自動抽出されたフレーム群
アノテートデータに記載された変化フレーム

フレームが姿勢変化推定に成功しているが，人間の評価尺度では 4 箇所の姿勢変化推定を成功したことになり，評価

評価尺度の変換

データ要約率
データ要約率

抽出結果

変換データ

抽出成功率
抽出成功率

正答率
正答率

結果が異なってしまう．そこで，提案手法によって抽出された抽出フレーム数を人間と同じ評価尺度に変換したものを集約されたフレーム群と定義する．
さらに，集約されたフレーム群の内アノテートデータにアノテートデータ記載されたフレーム群と一致するものを正解フレーム群，

図 8 各評価項目間の関係性．

アノテートデータに記載されたフレーム群の合計を正解変化数と定義して，正解変化数に対する人間の評価尺度で評

データ要約率
一般的に対話分析を行う際には，収集した動画データを繰り返し観察する必要があるため非常に大きな労力を要す

価された正解フレーム群の割合を正答率として評価する．
正答率は以下の式によって算出する．

る．そこで，提案手法を用いて分析に必要な姿勢変化が発
正答率 (%) =生したフレームを残しつつ分析に不要なフレームが削減で正解フレーム群
正解変化数

(11)

きれば，今後対話分析を効率良く行う上で大きな貢献ができると考える．データ要約率とは各グループの対話データ

図 8 の集約されたフレーム群において，二重線の矢印は正の全フレームから提案手法によって抽出されたフレーム数

解フレーム群を，破線の矢印は失敗フレーム群を表しておの割合であり，以下の式によって算出する．

り，この場合，正解フレーム群は 4 つ，アノテートデータ

抽出フレーム数
データ要約率 (%) =全フレーム数に記載されたフレーム群は 5 つあるため，正答率抽出成功(9)

率は 90.0 ％となる．
正答数は提案手法を人間の評価尺度で評価することで取データ要約率の値が高いほど対話分析で確認するフレーム

得した変化推定の精度を表しており，値が高いほど提案手が少なくなるため，効率良く分析を行うことができる．

法がどれだけ人間の感覚に近似した状態で分析に必要な姿

抽出成功率

勢変化のタイミングを捉えられているかを示す．

次に抽出したフレームがどれだけ有効であるかを調べる
ことで提案手法の有効性を検証した．ここでの正解フレー

4.8 結果と考察

ムとは，抽出されたフレームのうちアノテートデータに記

データ要約率，抽出成功率，正答率に関する実験結果載された各フレームの前後 20 フレームのことを指す．提をそれぞれ表 1 に示す．まず，8 つの対話データにおける案手法によって取得された抽出フレームに対する正解フ

データ要約率の平均は 91.7 ％となった．次に，抽出したフ

レーム数の割合を抽出成功率として提案手法の性能評価を

レーム数における正解フレームの抽出成功率の平均は 76.4

行う．抽出成功率は以下の式によって算出する．

％と，分析に不要なフレームを含んでいるものの一定の成抽出成功率 (%) =正解フレーム数
抽出フレーム数果を挙げていることが分かる．最後に，アノテータデータ(10)に記載されたフレーム数における人間の評価尺度に変換した提案手法の正答率の平均が 94.4 ％であることから，提案

図 8 において，二重線の矢印は正解フレームを，破線の矢手法によって対話分析に必要な姿勢変化フレームを人間の印は失敗フレームを表しており，この場合，自動抽出され感覚に近似した状態で効率良く取得できたことが分かる．

た 10 フレームの内，アノテートデータに記載されたフレー

一方，提案手法では図 9 で示すような机と同等の位置また

ム群と一致するフレームは 6 フレームであるため，抽出成は机の下で発生した姿勢変化を捉えることができなかっ

功率は 60.0 ％となる．抽出成功率は提案手法をシステム

た．捉えられなかった原因としては，本研究で設定した深の評価尺度で評価することで取得した変化推定の精度を表度センサーの範囲内に机周辺の情報が含まれておらず，そしており，値が高いほど分析に必要な姿勢変化フレームがの結果深度情報を取得することができなかったことが考え取得できていることを示す．

られる．

正答率
最後に，提案手法で人間の評価尺度において有効である

5. 対話データ分析

フレームがどの程度抽出されたかを調べることで提案手法

本章では，3.1 節で収集した対話データにおけるアノテーの有効性を検証した．提案手法では全てのフレームに対しトデータの分析を行う．本研究では以下の 2 項目を分析及て設定した制約に従って機械的に評価する一方で，人間はび評価を行った．

c 2013 Information Processing Society of Japan⃝6

情報処理学会研究報告
IPSJ SIG Technical Report
表 1 データ要約率．
全フレーム数

抽出フレーム数

正解フレーム数

正解変化数

正解フレーム群

データ要約率

抽出成功率

正答率

Group1

27900

1827

1512

390

369

93.5 ％

82.8 ％

94.6 ％

Group2

27735

2613

2255

506

482

90.6 ％

86.3 ％

95.3 ％

Group3

28545

1737

817

231

231

93.9 ％

47.0 ％

97.9 ％

Group4

29154

3238

2850

537

537

88.9 ％

88.0 ％

92.6 ％

Group5

30600

3536

1991

412

412

88.4 ％

56.3 ％

100.0 ％

Group6

21945

1974

1869

342

342

91.0 ％

94.7 ％

96.6 ％

Group7

27687

1249

1109

307

307

95.5 ％

88.8 ％

83.0 ％

Group8

32731

2532

1890

457

457

92.3 ％

74.6 ％

96.4 ％

合計

226297

18706

14293

3322

3137

91.7 ％

76.4 ％

94.4 ％

これは話し手として話題を盛り上げようとする際に，周囲の反応を伺いつつ，話題に惹きつけるための動作を加えて話をしているためである．一方で，Group2 の ID2 やGroup3 の ID3 のように頭部及び姿勢変化が少なく，かつ，
感情変化が最も多かった話者は，話の聞き手にまわる傾向が確認できた．これは現在の話題が自分の前提知識に無い

RGB画像
図 9

深度画像

話題であり，話し手から情報を得るために聞き手に徹して姿勢変化フレーム取得失敗例．

いたことが分かる．このことから話者の姿勢変化の回数は，話者の特性を判断するための有効であることが分かった．

1. 姿勢変化と感情変化の回数

5.1.2 話者間の親密度

2. 姿勢変化と感情変化の一致率

表 2 において，Group4 や Group5，Group8 のような姿
勢及び感情変化が多いグループは，話者の一人一人が相手

5.1 姿勢変化と感情変化の回数の顔を見ながら話したり，ジェスチャを交えながら話す様

まず初めに，3 節で述べたアノテートデータにおいて頭子が多く見られ，会話がほとんど途切れることがなかった．

部及び姿勢変化と感情変化の発生回数に着目した分析を一方で，Group3 のように変化が少ないグループでは，相行った*4 ．アノテートデータの一部を表 2 に示す．その結手の顔を見ずに下を見ながら話したり，長時間沈黙が続く

果，姿勢変化と感情変化の回数には以下の 3 項目との関連傾向が見られた．これは話者同士の親密度が高いグループ性がみられた．

ほど相手の好みや話題に対する知識量がどの程度であるか

1. 話者の特性推定を把握しており，相手のペースに合わせつつ話題を展開出2. 話者間の親密度

来る一方，親密度が低いグループでは相手の好みや話題に

3. 対話場の雰囲気推定

対する知識量が分からないため，相手の状態を探りながら話題を展開せざるを得ないことが影響していると考えられ

表 2

アノテートデータ 1 の姿勢変化と感情変化の回数．
姿勢変化数

感情変化数

全変化数

る．このことから，姿勢及び感情の変化回数がグループの親密度を図る指標の一つになりうることが分かった．

5.1.3 対話場の雰囲気推定

ID1

ID2

ID3

合計

ID1

ID2

ID3

合計

Group1

56

6

52

114

17

21

20

58

172

Group2

48

42

56

146

14

27

14

55

201

Group3

6

20

34

60

12

7

5

24

84

情変化が多く，かつ各話者の変化回数がほぼ同じグループ

Group4

54

50

72

176

14

34

22

70

246

Group5

36

48

84

168

27

30

28

65

253

では，話者間でのやりとりが多く，場が非常に盛り上がっ

Group6

18

80

38

136

10

24

20

54

190

Group7

58

36

42

136

14

17

13

44

180

Group8

72

62

44

178

27

34

29

90

268

表 2 において，Group5 のような頭部及び姿勢変化，感ている様子が確認出来た．一方で，Group3 のように頭部及び姿勢変化，感情変化が少ないグループでは，話者間のやりとりがほとんどなく，場があまり盛り上がっていない

5.1.1 話者の特性推定
表 2 において，Group4 の ID3 や Group5 の ID3 のような他の話者に比べて頭部及び姿勢変化が多かった話者は，
対話場における中心人物となっている傾向が確認できた．
*4

感情変化における 3 名分のアノテートデータの一致率を姿勢変化と同様に 4.7.1 節で述べた評価基準で算出した結果，一致率は79.3 ％となった．

c 2013 Information Processing Society of Japan⃝

様子が確認出来た．対話場が盛り上がっているグループでは各話者が話し手と聞き手の立場を無意識のうちに交代しながら対話を行っているため，話者全員の姿勢及び感情変化の回数が多いことが考えられる．一方で，対話場が盛り上がっていないグループでは話者間で話し手と聞き手の役
割を分担できないまま対話のやりとりを試みており，上手7

情報処理学会研究報告
IPSJ SIG Technical Report

く対話をできない状態が続いたため，話者全員の姿勢及び感情変化の回数が少なくなっていることが考えられる．このことから，姿勢及び感情の変化回数が対話場の雰囲気を

6. おわりに
本論文では話者が対話中にみせる姿勢とその時の話者の推定する上で有効であるということが分かった．

内面変化との関連性に着目した対話分析を行った．実験の姿勢変化のパターン

結果，対話データ全体のフレーム数を平均 91.7 ％削減しつ

前述の 3 項目に加えて対話において特定の話者に共通しつ，姿勢変化が発生したフレームを人間の評価尺度においた動作がいくつかが見られた．まず，メガネを着用していて平均 94.4 ％の精度で抽出することができた．このことる話者に共通してみられた動作として話者が話終わった直により，提案手法が対話分析において有効であることが示

後にメガネの位置を直すしぐさである，また，対話場におされた．さらに対話分析の結果，話者の姿勢及び感情変化

ける中心人物である話者は話題に詰まった時や話をする直が話者の特性判定や親密度，場の雰囲気推定を行う上で有前に上を見上げるしぐさを多くすることが確認できた．さ

効な特徴量であることが示された．今後の課題としては，らに，場が盛り上がっていない時には話者全員が下を向い最終目標である対話支援の実現にむけたシステム設計に加ていた．このように対話においていくつかの行動パターン

え，人物領域検出の改良や，変化発生を捉えるための特緒が存在していると考えられ，今後の対話分析において着目量の追加が必要である．

すべき要素である．
参考文献

5.2 姿勢変化と感情変化の一致率[1]

次に，話者の頭部及び姿勢変化と感情変化との関連度を調査するために，姿勢変化と感情変化の発生箇所の一致率[2]を測定した．アノテートデータの一部を表 3 に示す．その結果，一致率はアノテータ 3 名の平均で 32.1 ％となり，話[3]

者の感情変化の際に必ずしも動作が発生するわけではないということが明らかとなった．
[4]
表 3 アノテートデータ 1 の姿勢変化と感情変化の一致率．
変化総数

姿勢変化数

感情変化数

一致数

一致率

Group1

172

114

58

14

24.1 ％

Group2

201

146

55

22

40.7 ％

Group3

84

60

24

3

12.5 ％

Group4

246

176

70

44

62.9 ％

Group5

253

168

65

40

47.1 ％

Group6

190

136

54

28

51.9 ％

Group7

180

136

44

21

47.7 ％

Group8

268

178

90

48

53.3 ％

合計

1594

1114

479

220

45.9 ％

[5]

[6]

[7]

考えられる要因として以下の 2 点が考えられる．まず一
つ目は，話者によって自己の感情表現が異なるという点で[8]ある．実際の動画データを分析した結果，話が盛り上がっている際に身体を大きく揺らしながら笑う人もいれば，身体をほとんど動かさずに笑う人もいるなど，話者によって[9]

感情の表現が異なっていたことが分かった．そのため，話者全員の姿勢及び感情変化を一律で評価するのではなく，話者毎に一定の評価パターンを設ける必要がある．二つ目
は，話者の何名かがメガネやマスクを着用していた点である．メガネ及びマスクの着用によって話者の表情にオクルージョンが生じたことで，人手においても感情変化の推定が困難な状態であった．そのため，顔の一部分である目や口元に重点をおいて推定を行うなど，顔の表情に加えて[10]

坊農真弓, 高梨克也, “多人数インタラクションの分析手法,” オーム社, 2009.
横山貴彦, 嶋田和孝, 遠藤 勉, “複数人談話における言語情報と非言語情報を利用した盛り上がり判定,” 言語処理学会第 18 回年次大会 (NLP2012), 1-26, 2012.
嶋田和孝, 楠本章裕, 横山貴彦, 遠藤 勉, “複数人談話における笑いの情報を考慮した盛り上がり判定,” 電子情報通信学会, 言語理解とコミュニケーション研究会 (NLC),
NLC2012-7, pp.25-30, 2012.
Marjorie Fink Vargas, 石丸 正, “非言語コミュニケーショ
ン,” 新潮社, 1987.
M. Mahmoud, T. Baltrusaitis, P. Robinson and L. Riek,“3D corpus of spontaneous complex mental states,” In
Proceedings of the International Conference on Aﬀective
Computing and Intelligent Interaction (ACII 2011), Lecture Notes in Computer Science, Oct, 2011.
熊野史朗, 大塚和弘, 松田昌史, 大和淳司, “二者間の行動の一致性と時間差に基づく外部観察者の共感解釈の分析,”
電子情報通信学会，ヒューマンコミュニケーショングルー
プ (HCG), HCG2012-I-7-3，pp.330-337，2012.
S. Mota and R. W. Picard, “Automated Posture Analysis
for detecting Learner’s Interest Level,” In Proceedingsof Workshop on Computer Vision and Pattern Recognition for Human-Computer Interaction, CVPR HCI,
June, 2003.
J. F. Grafsgaard, K. E. Boyer, E. N. Wiebe and J. C.
Lester, “Analyzing Posture and Aﬀect in Task-Oriented
Tutoring,” In Proceedings of the 25th Florida Artiﬁcial
Intelligence Research Society Conference, 2012.
中村和晃, 角所 考, 正司哲朗, 美濃導彦, 澤木美奈子, 南
泰浩, 前田英作, “擬人化エージェントとの音声対話時におけるユーザの非言語動作からの難/易及び興味/退屈の推定,” 電子情報通信学会和文論文誌 A, Vol.J95-A No.1
PP.85-96, 2012-1.
R. Nakatani, D. Kouno, K. Shimada and T. Endo, “A
Person Identiﬁcation Method Using a Top-view Head Image from an Overhead Camera,” In Proceedings of 2ndInternational Workshop on Advanced Computational
Intelligence and Intelligent Informatics(IWACIII2011),
SS4-1, pp.739-746, 2011.

オクルージョンに頑健な特徴量を用いた感情推定を行う必要がある．

c 2013 Information Processing Society of Japan⃝

8