非言語情報の出現パターンによる会話状況の特徴抽出
中 田 篤 志†

角

康

之†

西

田 豊 明†

我々が会話を行う際には，発話に伴う視線の変化や指差しといった非言語行動に一定の構造が存在し，それは発話権取得の意図や話題に対する興味，理解度と関連があると考えられる．会話における非言語行動の構造を明らかにすることができれば，我々の会話状況を観察し，適切なタイミングで適切な相手に対して話しかけることができるエージェントやロボットを実現する一助となるであろう．
本研究では，参照物を介した 3 人会話において会話参加者間で起こる一定のインタラクションパター
ンを抽出し，会話構造の特徴の顕在化を試みる．非言語情報の出現パターンを機械的に抽出するイン
タラクションマイニングと呼ばれる手法を適用し，三者対面時の発話と視線の関係や発話者と聞き手による指さしの使われ方に関するパターンが自動抽出できることを示す．

Sequential Pattern Mining of Nonverbal Behavior
in Multiparty Conversations
Atsushi Nakata,† Yasuyuki Sumi† and Toyoaki Nishida†
When we talk, certain structures exist in nonverbal behaviors such as changes of gazeand pointing with speech, and it is considered that the structures are related with intentionof speaking next, interest in topics and understanding about those. If we can explain the
structures of nonverbal actions in conversations, it helps to realize agents and robots which
can understand contexts in our conversations and talk to a proper person at a good timing. In this research, we tried to extract certain interaction patterns in conversations withthree people and some objects and reveal characteristics of structure in conversations. We
apply the method to extract the patterns of nonverbal actions automatically. We called themethod Interaction Mining. Finally we extract automatically relations between speech andgaze in face-to-face conversations with three people and patterns about pointing by speakeror listener.

1. は じ め に
我々が会話を行う際には，発話や視線，指差しといっ突に伝えるのではなく，うなずきや視線配分を利用して発話の権利を得てから情報を伝えるといったことが期待される．

た行動によって会話を制御している．このときの行動

会話的インタラクションの分析において従来使われは，言語に節や文法といった文章構造が存在するのとている手法としては，ある仮説を検証するために統同様に，一定の構造を持って行われていると考えられ制された環境で実験を行うという手法や，会話の中かている．例えば「話している人物が発話を一時中断しら分析者が一部のエピソードを取り出し，その中におたとき，聞き手は聞いていることを示すためうなずきける会話構造を詳細に議論する手法がある．しかし，を返す」「重要な発話の前には，視線配分やジェスチャ

前者の手法では様々な非言語行動の関連性を調べるのを行って他の人の興味を引く」といったものである．

に多大な労力を必要とし，後者の手法では調べたエピ

このような会話におけるマルチモーダルな行動の構

ソードの一般性などについて議論するのが困難である．

造を明らかにすることができれば，それを基にエー

このようなことを踏まえ，本研究ではデータマイニ

ジェントやロボットなどの人工物が今よりも自然な形ングの手法をインタラクション分析に取り入れることで人とインタラクションを行うことが可能となる．例

によって，多数の種類における会話構造を数値的根拠

えばロボットが伝えたい情報がある場合に，それを唐に基づいて検証する手法を提案する．これをインタラ
クションマイニングと呼ぶ．

† 京都大学大学院情報学研究科
Graduate School of Informatics Kyoto University

本論文では，まずインタラクションマイニングの具
体的な手順について説明を行う．その後 3 人の被験者情報処理学会 インタラクション 2010による自由会話を収録し，発話・視線・指差しの 3 つては，森田らの研究10) が挙げられる．この研究では，の非言語行動を対象として本手法を適用する．この過ウェアラブルセンサにより自動付加されたラベルから程でインタラクションマイニングにおける分析者の留のパターン抽出を試みている．しかし，この研究では意点を例示すると共に，発話・指差し間の関係に関す構造の時間変化については検討されておらず，また構

1)2)る研究 ，発話・視線間の関係に関する研究という造の頻出順を正規化し示すのみであった．

2 つの既存研究で議論されてきた会話構造を共に自動

最後に，本研究で提案しているインタラクションス

処理で抽出できることを示す．これによりインタラク

テートの概念，およびインタラクションマイニングのションマイニングの有効性を示す．

手法は福間らの研究11) において最初に提案されたものである．本研究ではインタラクションマイニングの2. 関連研究と本研究の位置づけ

手法について整理すると共に，有効性の検証に利用す

1 でも述べたとおり，会話的インタラクションにおける構造を明らかにしようとする試みは数多く行われている1)2)3)4)5) ．その際の手法として代表的なものとるデータの拡充を行っている．

3. インタラクションマイニングの流れして 2 種類が挙げられ，分析者はこれらの片方，ある

インタラクションマイニングは，いは両方を用いて分析を行う場合が多い．

• 参加者の一人が指差しを行った

ひとつは仮説に関わるモダリティを数え上げて検証3)を行う手法であり，Chen らの論文

2)

や榎本らの論文• 参加者の一人が発話した後，別の参加者がが発話
者を見たなどで用いられている．しかし会話構造には多くの種といった会話状態と遷移に着目し，遷移の出現回数の類の非言語行動が関わっており，それら全てに関して

偏りから会話構造を検証する手法である．インタラク

分析を行おうとすると非言語行動の組み合わせの数だ

ションマイニングは通常のデータマイニングと同様以け数え上げを行う必要性がある．

下のような流れで行われる．

もうひとつは，会話の中から分析者が一部のエピ

データ収集 人がインタラクションを行っている様子

ソードを取り出し，その中における会話構造を詳細にを様々なセンサ・ビデオカメラ・マイクなどで収4)議論する手法である．例としては McNeill の論文
5)や録し，基礎データとして蓄積する．

が挙げられる．この手法の場合，得らデータの前処理 収録された基礎データに分析者が前れた知見がどの程度汎用的なのか，どのような状況で処理をほどこし，インタラクションステート列の発生しやすいのかといったことについて議論するのは形に変換する．

細馬らの論文モデル化 変換済みのデータを木構造化し発現遷移に難しい．
これらのことを踏まえ，本研究ではデータマイニン
グの手法を用いて多量のデータを構造化し分類することで，複数の非言語行動・複数の段階を経た会話構造について回数や発現尤度といった数値的根拠を基に会話構造を検証することを試みる．
次に，多数のカメラやセンサを用いて大量に会話
7)

結果の検証 得られた結果を評価・解釈し，データマ
イニング全体の結果を検証する．
以下では，インタラクションマイニングにおけるそ
れぞれの手順について詳細に説明する．

データを収録し，インタラクションの分析を試みてい6)

偏りがある部分を抽出する．

8)

る研究として NIST ，AMI ，VACE

3.1 データ収集
インタラクションマイニングでは，会話的インタラ

といったもクションをビデオカメラやマイク，モーションキャプ

のがある．中でも，VACE ではジェスチャや音律・語チャや視線計測装置といった様々なセンサによって収彙といったデータをクラスタリングすることで，会話録し，これによって生成される自動ラベリングを用いにおける文境界を識別することを試みている9) ．このてデータマイニングを行う．

ようなデータを基にした自動解釈は我々の研究に通じ

3.2 データの前処理るものであるが，これらの研究における自動解釈はあ

本論文において提案するモデル化を実行するためにくまで文のセグメンテーションや非言語行動の検出には，データ収集によって得られた基礎データをインタとどまっており，会話の意味構造といった抽象度の高ラクションステートという状態の列に変換する必要がいものについては従来の会話分析の手法が用いられてある．これは，以下の 3 ステップを経て行われる．

いる4) ．

ラベリング 得られた基礎データから，被験者の非言

また，計測データの自動解釈に関する先行研究とし語行動の開始点・終了点についてラベリングする

非言語情報の出現パターンによる会話状況の特徴抽出

同一性の定義 同一として扱う被験者および非言語行

a1

b

a2
P0

P1

P2

P0

P1

P2

P0

P1

P2

動の対象物を定義する
S0

ステート列への変換 ラベリング結果をインタラク

S2

S2

S1

ションステートの列に変換する

動作

以下で，これらについて詳細に述べる．

S0

A

S2

S0

S1

S1

B

発話
視線
被験者
ポスター

3.2.1 ラベリング
まず通常の会話分析と同様に，注目する非言語行動に対して開始点・終了点に関する情報を付加するラベ
リングという作業を行う．付加された情報をラベルと

図 1 インタラクションステートの例示
Fig. 1 The samples of Interaction State呼ぶ．
このとき，多くの会話分析では人が動画や音声を参照しながら手作業でラベリングを行うのが一般的であラクションステートは，分析対象とした非言語行動そる．しかし，インタラクションマイニングで有用な情

れぞれについて，その発生の有無（発話をしているか，報を取得するためには大量のデータを基に行う必要がしていないかなど）およびその対象を全て記述したもあり，このデータを全て手作業で作成するのは膨大なのになる．

時間とコストを必要とする．

ここで，「被験者・対象物の入れ替えによるステート

そのため，インタラクションマイニングではラベリの同一視」について説明する．3.2.2 で述べたようなングを自動処理によって行うことを想定している．機

会話分析の考え方を取り入れるため，インタラクショ

械的に得られる情報からラベリングを行う研究は，動ンステートでは以下の条件を満たすとき，2 つの会話

画からの注視対象認識

12)など様々なものが研究されている．

状態を同じインタラクションステートとして扱う．

(1)

被験者または非言語行動の対象物である a，b

3.2.2 同一性の定義

が，同一とみなすと分析者によって定義されて一般的に，会話分析の際は被験者の立場が対等の場いる

合被験者を区別せず，非言語行動を合算して分析する(2)

a,b を入れ替えたときに，各被験者が取ってい場合がある．例えば３人が対面会話を行う様子を分析る非言語行動の発生の有無および対象を同一にする際には，発話数や視線を送った回数は「A が発話

できる

した回数」
「A が B を見た回数」と数えず，被験者全インタラクションステートの同一視について，例を員を同一とみなして「全員の合計発話数」「ある被験図 1 に挙げる．ここでは分析対象は視線・発話の 2

者が他の被験者を見た回数」という形で数える場合がつのモダリティとする．また，全ての被験者，および多い．一方でプレゼンテーションの様子を分析する場

視線の対象となるポスターは同一とみなされていると合には，被験者を「発表者」と「その他の聴衆」に分する．

け，発表者の行動は別個に扱う場合もある．

ここで，ステート a0 とステート a1 は，被験者 S0

このような会話分析の考え方を考慮し，インタラクと S2 を入れ替え，ポスター P1 と P2 を入れ替える

ションマイニングを行う際には「被験者を同一とみなことで同じ状態となるため，同じインタラクションス

すかどうか」をあらかじめ定義しておく．これは，後テート A として扱う．一方，ステート b はステート

述するステート列への変換に必要となる．

a0 と S0，S2 の状態は同じであるものの，S1 が発話

3.2.3 インタラクションステート列への変換者である S0 を見ているか，非発話者である S2 を見て

3.2.1 で作成したラベルから，インタラクションス

いるかという点が異なるため，異なるインタラクショ

テートの列を作成しマイニングのための処理済データとする．

ンステート B として扱う．
なお，図 1 の例はあくまで全員が入れ替え可能であ

インタラクションステートとは，例えばる場合の例である．仮にこれがポスター発表の場であ• 全員でひとつのボードを見ていて，一人がボードり，3.2.2 の段階で分析者が「S0 は発表者であるためを指差している• 3 人中 2 人が顔を向かい合わせており，もう一人はそのうちの片方を見ているといった会話の一場面を表現したものである．インタ

S1,S2 と同一とはみなさない」とした場合，a0 と a1
は別のステートとして扱われることになる．
以上のようなインタラクションステートの考え方を基に，分析対象となっている非言語行動のラベルから

情報処理学会 インタラクション 2010
gaze

Poster3

ラクションステートへの遷移が同じ回数ずつ起きると

Subject1 speechgaze
Subject2 speechgaze
Subject3
speechいうことになる．しかし，インタラクションの持つ会

Poster3

話構造を考えた場合，ポスターを見ていない B が指Poster3
ON

差しを行うことは非常に考えづらい．また，非発話者である C が指差しを行うという遷移の発生回数も Aが行う遷移よりも少ないのではないかと考えられる．
この抽出プロセスでは，このような偏りを χ2 検定

図 2 インタラクションステート列への変換例
Fig. 2 Samples of Interaction Stateで検出する．これにより，変換プロセスで生成された
非常に大きなツリーから，インタラクションの構造に

発話
視線
指差し
被験者
ポスター

Poster 0
A

p = 1/3 ?

BC

p = 1/3 ?

Poster 0
A

C

ことができる．
このモデル化において，何段階の木構造を作るかは重要な問題である．段数の深い木構造を作った場合，

p = 1/3 ?

Poster 0
A

B

よるものであると考えられる部分を検出し，抽出する

Poster 0
C

A

B

複雑な会話構造を検証することができる一方で，デーCB

図 3 χ2 検定による構造抽出
Fig. 3 Extracting structure by χ2 test

タ量が十分でない場合は階層の深い部分では発生回数が非常に少ないものとなるため，信頼性が低く結果の検証の手間を増やすだけとなる可能性もある．したがって，何段階の木構造を作るかについては最下段でインタラクションステートの列を作成する．インタラの発生回数を参照しつつ調整することが重要である．

クションステートは非言語行動の状態を全て記述した

3.4 結果の検証ものであるため，いずれかの非言語行動の発生の有無・3.3 で得られる特徴的構造は大量である．また通常

対象が変わるたびにインタラクションステートが変化のデータマイニングと同様に，ラベリングやステート

する．この変換の例が図 2 である．

の定義といった前処理によって得られる結果は大きく

2

3.3 モデル化：木構造化と χ 検定による構造抽出

変化し，結果の中にはラベリングにおけるノイズが原

ここではインタラクションステートの列を基に，会因であるものなど会話プロトコルに起因する偏り以外

話状態遷移における特徴的な構造を見つけるためのモデル化手法について説明する．
まず前処理で得られたインタラクションステート列
を一定の深さで切り分け，木構造によって構造化する．
これによって，それぞれのインタラクションステート
ごとに木構造およびそれぞれの構造の出現回数を得る
ことができる．その後，「インタラクションステートの遷移において，被験者間の偏りは存在しない」という2も含まれる可能性がある．
そのため，分析者は得られた特徴的構造に関して，
実験データや従来研究などと照らし合わせて検証を行う必要性がある．

4. 3 人自由会話へのインタラクションマイニ
ング実行
本論文では，3 人の被験者による自由会話に対して帰無仮説を基に χ 検定を行い，仮説が棄却される木提案したインタラクションマイニングを適用し，得ら構造を抽出する．これによって抽出された木構造が，れる結果を従来研究と比較することでインタラクショ

会話的インタラクションにおける特徴的な構造となる．

ンマイニングの有用性を示す．本章ではデータの収録

具体例を図 3 に示す．最初の状態ではどの被験者もからモデル化までに分析者が行った手順を説明し，次指差しを行っていない．この図では，この状態からイ章で得られた結果の検証を行う．

ンタラクションステートが変化した場合のうち，変化

4.1 データの収録

がポスターへの指差しによるものであった場合のみを本章では，評価に利用した多人数インタラクション示している．

データの収録について説明する．

ここで前記の帰無仮説を採用すると，どの被験者もまず，被験者の数は 3 人とした．理由は，発話交替

一様に行動の開始・終了を決定することになる．する

における立場の変化，指差しに対する注視・非注視，と A，B，C の誰もが指差しを行っていないため，次立ち位置の変化といった，会話に伴う興味深い社会現の行動として指差しを開始する可能性があり，その確象が多く発生するといわれている1)2) ためである．

率は 1/3 で等しい．すなわち，図 3 の 2 段目のインタ

前処理の対象とするデータとしては，音声データ・

非言語情報の出現パターンによる会話状況の特徴抽出

アイマークレコーダ

造として検出される場合が多数見られた．そのため，モーションキャプチャ
マーカー

ここでは自動認識の後，明らかなノイズを人手で修正したものをラベルとして利用した．
以下に，視線・指差し・発話のそれぞれについて自無線マイク

動認識の手法と手作業修正の基準について述べる．な
図 4 被験者
Fig. 4 Subject

図 5 収録環境
Fig. 5 Experimentation
environment

お，文中における時間幅などのパラメータについては，
実験の前に行われた数度の予備実験で得られた最も精度よく取れる値を利用している．

4.3.1 視線

3 次元位置情報・視線方向を採用した．これらを計測

視線ラベルの生成に当たっては，まずアイマークレするため，被験者には頭・腕・背中にモーションキャ

コーダとモーションキャプチャから視線ベクトルを計

プチャのマーカーを取り付け，また視線計測用のアイ

算し，その後他の人の頭部をモデル化した球体と，ポマークレコーダと無線マイクを取り付けた．センサをスターをモデル化した長方形との衝突判定を行った．

取り付けた被験者の様子を図 4 に示す．またインタラ

さらにセンサからデータが取得できない場合があるこ

クションマイニングの結果を検証するため，実験環境とを考慮し，250ms 以下の短いラベルに対して補間をに多数のカメラを設置し，マイクによる音声データと行った．

合わせて実験の様子を記録した．
会話環境としては，被験者が図 5 のように配置された 6 枚のポスターを見ながら自由に会話を行うという

その後，人手での訂正が必要な箇所については，それぞれのアイマークレコーダの映像を参考にして訂正を行った．

形式をとった．これは，我々が興味の対象としている，

ただし，3 回目の実験における被験者一人分の視線

話題の発生や発話者の遷移，さらにその前後におけるラベルに関しては，アイマークレコーダのデータに

話者や聞き手の非言語行動を多く観測するための設定

重大な欠損があったため，完全手作業でラベルを作成

である．

した．

以上のような条件で 3 回の実験を行い，インタラク

4.3.2 指 差 しションマイニングの基礎データとした．

指差しラベルの生成のため，まず指差しベクトル

4.2 対象とする非言語行動の選択を計算した．このベクトルの始点は頭部のモーション

これまでの会話分析において，発話と視線，およびキャプチャのマーカー位置から推定した眼の位置であ発話とジェスチャの関連性は非常に強いものとして注り，その方向は手首につけられたモーションキャプチャ

目されてきた．例えば榎本らの研究2) では，発話交代のマーカーの位置である．次に，このベクトルとポス

における視線の役割を分析するため，発話の終わり付

ターをモデル化した長方形との衝突判定を行った．そ近とそのときの視線対象について数え上げを行っていの後衝突判定から得られたラベルのうち，間が 250ms

る．また，坊農の研究1) では発話とジェスチャのタイ

以下のものを補間し，さらに発生区間が 150ms より

ミングについて関連性が議論されている．

短いラベルについては削除を行った．

以上の理由から，今回のインタラクションマイニン

また，人手での訂正は，基本的に誤認識したラベル

グでは，分析の対象とする情報として発話の有無，視を削除することで行ったが，モーションキャプチャの線の対象，さらにジェスチャの中でも本実験の環境でマーカーが隠れている等の理由でラベルが断続的に生頻繁に行われる指差しの 3 種類を選択した．これらの成されている場合は補間を行った．また，ラベルの開会話構造をインタラクションマイニングで検証し，既始点や終了点に問題があり，ずれている場合は，指先存研究で議論されている関連性が自動処理で容易に抽もしくは手のひらがボードに向いているかどうかを判出できることから本手法の有効性を示す．

断基準として調整を行った．

4.3 ラベリング

4.3.3 発3.2.1 で説明したとおり，インタラクションマイニ

発話ラベルの生成は，まず各被験者が装着したマ

ングではセンサから自動処理によって得られたラベル

イクから得られた音声波形を 50msec ごとに分割し，を用いて分析を行うことを想定している．しかし，現FFT を用い音量を計算したうえで適当な閾値で 2 値状では自動認識は精度が悪く多数のノイズが発生する化を行った．閾値は実験の最初の部分に人手でラベル上，構造化を行った際ノイズによる偏りが特徴的な構を付加したうえで，それらの部分で再現率 90% を超話

情報処理学会 インタラクション 2010

え適合率を最大とする値とした．次に，隣接するラベル同士の間が 250ms 以下のものを補間した．最後に，発生区間が 150ms より短いラベルを削除した．

1-A

67

X

ベルの開始点や終了点の調整が必要な場合には，それらの点は音の立ち上がり・立下りの点にあわせた．

4.4 被験者・対象物における同一性の定義
今回収録したデータは 3 人による自由会話であり，被験者の役割に差異は存在しない．また，ポスターに関しても明らかに注目されやすいものなどは想定して

64

169

15

3-A

X

また，人手での訂正では，基本的にラベルの追加は行わず誤認識したラベルを削除することで行った．ラ

2-A

73

9

1

1-B X

8

4

X

X

図の見方
動視線
作

2-B

4

発話
指差し 2-C
赤がStart 青がEnd
ポスター
被験者

79

49

X

X
52

X
26

7

X

3-B
3-C
10

4

X

8

図 6 最頻インタラクションステートを基点とした構造
Fig. 6 The structure based on the most frequentinteraction state

いない．
以上のような前提から，今回のインタラクションス
テートにおいては被験者・ポスターを共に入れ替え可回，発話していない人物が 73 回となっている．仮に一能であると定めた．

定の会話構造が存在しない場合，発話中の人物と発話

4.5 モデル化における値の設定

中でない人物が視線を外す確率はそれぞれ 1/3，2/3

今回のインタラクションマイニングでは，木構造のとなるはずであり，ここには一定の会話構造が存在し深さを「4 段階」，
「2 段階」の 2 種類に設定してモデル化を行うと共に，得られた結果のうち以下のような一部分のみに着目して結果の検証を行った．

(1)

これらの構造が発生している場面を実験の映像から確認したところ，発話者・非発話者に関わらず，他の最も多く出現したインタラクションステートを発話者に視線を送る場合や別のポスターに視線を向け初めとした構造に関して，4 段階の深さまで検て会話場を変化させる場面が多く見られた．
以上のようなことから，発話者は非発話者よりも頻

証する

(2)

ていると考えられる．

2 段階の深さで有意差が見られた構造のうち，繁に視線を配分し，他の被験者やポスターに視線を向総ステート数が多いもの上位 5 つに関して検証

けて会話をコントロールしているのではないかと考えする．

るられる．このような現象は従来研究でも論じられて
2

また，いずれにおいても χ 検定の有意水準は 5%とした．

5. 特徴的なインタラクション構造の抽出結果
5.1 最頻インタラクションステートを基点とした構造
図 6 が，最も多く出現した（出現回数 972 回）インタラクションステートを頂点とする構造である．このインタラクションステートは，「3 人がボードを注視

いる2) ．
また，非発話者が視線を外した場合でも，その後発話者が視線を外す回数はもう一人の非発話者が視線を外す場合に比べて有意に多い（1-B）．この事実も，1-A で見られた会話構造を補強するものだと考えることができる．

5.1.2 指差しに関わる構造
2-A，2-B，2-C は，いずれも発話と指差しの関係についての構造である．

し，かつそのうちの一人が発話中である」という状態

2-A に関してだが，初期のステートから注視対象である．図 6 では発現頻度に有意差が見られた構造，

を指差す回数は，発話者が 65 回，非発話者が 15 回

およびそれに関連する構造のみを記述し，他は省略しとなっており，発話者の指差し回数は非常に多いと言てある．矢印の側の数字はそれぞれの遷移の回数を表

える．

している．

また，非発話者が指差しを行った場合に注目すると，

以下は得られた構造を 3 つの着眼点で検証する．

指差しを行った被験者が直後に発話する場面は見られ5.1.1 視線の遷移に関する構造

たが，行っていない被験者が発話する場面は見られな

1-A，1-B は，いずれも被験者の視線の遷移に関すかった（2-B）．さらに，初期状態で発話していた被る特徴的な構造を示したものである．

1-A に関してだが，初期の「全員がボードを注視」という状態から，発話中の人物が視線を外す回数が 67

験者が発話を終了した後，指差しを行った被験者が発話する場面はみられたが他の被験者が発話する場面は見られなかった (2-C)．

非言語情報の出現パターンによる会話状況の特徴抽出

図の見方
動作
発話

1位（総生起回数310回）

156
154
視線
指差し
赤がStart 青がEnd
被験者「指差し中の被験者1人は他の2人より発話が多い」
ポスター
3位（総生起回数137回） 4位（総生起回数91回）
64

73「発話者は他の2人より
ポスターから視線を外す
回数が多い」

72

2位（総生起回数151回）

ず，1 位と 4 位の構造から，「指差しを行っている被験者は，その直後に発話を行う場合が他の被験者に比べ

81

51

19

て多い」ということが分かる．さらに，5 位では「発話者は非発話者に比べて指差しをする場合が多い」と「発話数は被験者間の視線で大きく異なる」
5位（総生起回数79回）

19

64

15

いうことが分かる．
以上のことから，「発話と指差しには強い共起関係がある」という会話構造が読み取れる．この構造は普段の日常会話でも納得のできるものであり，また発話とジェスチャの共起関係については先行研究でも議論が「発話者は「指差し中の被験者２人はそうでない１人より発話が多い」 他の２人より指差しが多い」

図 7 1 段階遷移における発現尤度の高い構造
Fig. 7 Structure with higher presentation likelihood in
one stage transition

なされている1) ．このような場面が自動的に発見できたことは，我々の提案手法を支持する結果であると考えられる．
次に 2 位の構造に着目する．この構造は 3 人が互いの顔を見ながら話している場面で，発話の回数が下記

これらは生起回数が少ないので必ずしも一定の会話構造であるとは言い難いが，これが会話構造であるの順に多くなっていることを示している．

(1)

場合は「指差しと発話は強い共起関係があり，前後関

他の被験者の 1 人と視線を交し合っており，かつもう一人の被験者から視線を受けている人物

係にはあまり大きな意味がない」と考えることができ(2)(1) と視線を交し合っている人物

る．事実，これらのステートの発生箇所を確認したと(3)(1) を注視しているが (1)(2) のどちらからも注

ころ，被験者が発話をしながら発話内容に関わる指差しを行っている場面が多かった．

視されていない人物

3 人会話において視線が非常に大きな役割を果たし

5.1.3 同時発話時の発話権の遷移に関する構造ていることはこれまでに研究がなされており2) ，それ3-A，3-B，3-C は，いずれも 2 人が同時発話を行っらの研究において議論されている構造が自動的に発見たときの発話の遷移に関わる構造である．

3-A に関してだが，初期のステートから「2 人が同できたことは提案手法を支持する結果であると考えられる．

時発話」の状態に移った後，先に話していたほうが発

最後に 3 位の構造に着目する．この構造から，「発話

話をやめる回数が 79 回，後から話し始めた方が発話

者は全員が見ているポスターの対象から視線を外す場をやめる回数が 49 回であった．一定の会話構造がな

合が非発話者よりも多い」ということが分かる．このいとした場合の発話終了確率はどちらも 1/2 であるか

構造から，発話者は他の被験者を見て様子を伺う，他ら，ここには一定の会話構造があると考えられる．

のポスターを見て会話場の移動を促すといった，会話

また回数は少ないものの，3-B の構造から，この構をコントロールする行動を多くとっているのではない

造は間に何らかのイベントを挟んでも成り立つのではないかと考えられる．
さらに特徴的な場面として 3-C が挙げられる．このかと考えられる．

6. お わ り に

構造は，発話が重なって双方が発話をやめた後，初め本論文では，マルチモーダルな多人数会話データかに発話をしていた被験者が発話をする回数が，他の被ら特徴的構造を効率的に抽出するための手法として，

験者よりも有意に多いことを示している．これは，「一

インタラクションマイニングを提案した．また提案手

般的な会話では，片方の話者が一方的に話すよりもあ法の有用性を示すため，実際に 3 人の被験者による自る程度の発話のやりとりをしながら話すほうが自然で由会話に対してインタラクションマイニングの手法をある」ということを表していると考えられる．

適用し，提案手法において分析者が留意すべき点につ

5.2 1 段階遷移における特徴的構造

いて具体的に述べると共に，得られたインタラクショ

図 7 の 5 つの構造は，1 段階のみの遷移において特ンの特徴的構造について検証を行った．

徴的な構造を持つもののうち，総生起回数が多い順に５つを取り出したものである．

結果，指差しと発話の共起性，3 者会話における視線と発話の関係など，従来研究でも議論されてきたイ

これらの構造のうち，1 位・4 位・5 位は，指差しとンタラクションの会話構造を自動処理によって抽出す

発話の共起関係に関する構造であると考えられる．まることができた．また，発話のオーバーラップに関わ情報処理学会 インタラクション 2010

る会話構造を検証した．これらのような，3 種類の非言語行動に関する様々な会話構造を数値的根拠を持って得られたことは，インタラクションマイニングという手法の有用性を示唆していると考えている．
今後の展望としては，まず対象とする非言語行動を増やしていくことが考えられる．今回は発話・視線・指差しという 3 つの行動のみに注目して分析を行ったが，このほかにうなずきや相槌などといった会話における重要な行動を追加することで，既存手法では困難な多くの非言語行動が関わる構造の検証が期待できる．
また，今回は抽出された構造の中でも頻度の多いものに関して議論を行ったため，ごく一般的な会話構造を抽出するのみにとどまった．しかし，より多くのデータを基にしてマイニングを行うことで，中程度の頻度を持つ部分ではこれまで議論がされていなかった新たな会話構造が見つかる可能性がある．
最後に，完全自動で作成されたラベルからの分析が課題として挙げられる．前述した取り組みを行っていくためには大量のインタラクションデータが不可欠だ
が，それらのデータに対しラベルの作成や修正を手作業で行うには限界がある．今後はより自動認識の精度を高める実験デザイン・認識手法を用いて，自動ラベ
リングによる構造化・構造抽出に取り組んでいきたい．
謝辞 本研究は，文部科学省科学研究費補助金「情報爆発時代に向けた新しい IT 基盤技術の研究」の一環で実施されました．また，本稿で述べた内容の初期の研究開発に携わった福間良平氏（現在，奈良先端科
学技術大学院大学所属）に感謝いたします．最後に，本研究における実験協力や論文へのアドバイスなど多大な助力を頂いた西田・角研究室の皆様に感謝いたし
ます．

参 考

文

献

1) 坊農真弓：日本語会話における言語・非言語表
現の動的構造に関する研 究，ひつじ書房 (2008).
2) 榎本美香，伝 康晴：3 人会話における参与役割の交替に関わる非言語的行動の分析，人工知能学会， Vol.SIG-SLUD-A301, pp.25 – 30 (2003).
3) Chen, L., Harper, M., Franklin, A., R.Rose,
T., Kimbara, I., Huang, Z. and Quek, F.: A
Multimodal Analysis of Floor Control in Meetings, Machine Learning for Multimodal Interaction, Vol.3869, pp.36–49 (2006).
4) McNeill, D.: Gesture, gaze, and ground, Machine Learning for Multimodal Interaction, pp.
1–14 (2005).
5) 細馬宏通，石津香菜，繁松麻衣子，中村智代，矢野雅人：身体を示し合う会話−自分の身体で相手の身体を語ること−，社会言語科学会第 14 回大会，pp.67 – 70 (2004).
6) Michel, M., Ajot, J. and Fiscus, J. G.: The
NIST Meeting Room Corpus 2 Phase 1, Machine Learning for Multimodal Interaction, pp.
13–23 (2006).
7) Carletta, J., Ashby, S., Bourban, S., Flynn,
M., Guillemot, M., Hain, T., Kadlec, J.,
Karaiskos, V., Kraaij, W., Kronenthal, M.,
Lathoud, G., Lincoln, M., Lisowska, A., McCowan, I., Post, W., Reidsma, D. and Wellner, P.: The AMI Meeting Corpus: A Preannouncement, Machine Learning for Multimodal Interaction, pp.28–39 (2005).
8) Chen, L., Rose, R., Qiao, Y., Kimbara, I., Parrill, F., Welji, H., Han, T. X., Tu, J., Huang,Z., Harper, M. P., Quek, F. K. H., Xiong,Y., McNeill, D., Tuttle, R. and Huang, T. S.:
VACE Multimodal Meeting Corpus, Machine
Learning for Multimodal Interaction, pp.40–51(2005).
9) Chen, L., Liu, Y., Harper, M. and Shriberg,
E.: Multimodal model integration for sentence
unit detection, Proc. of Int. Conf. on Multimodal Interface (ICMI), University Park, PA(2004).
10) 森田友幸，平野 靖，角 康之，梶田将司，間瀬健二，萩田紀博：マルチモーダルインタラクショ
ン記録からのパターン発見手法，情報処理学会論文誌， Vol.47, No.1, pp.121–130 (2006).
11) 福間良平，角 康之，西田豊明：人のインタラ
クションに関するマルチモーダルデータからの時間構造発見，情報処理学会研究報告 (ユビキタス
コンピューティングシステム)，No.2009-UBI-23(2009).
12) Otsuka, K., Sawada, H. and Yamato, J.: Automatic inference of cross-modal nonverbal interactions in multiparty conversations:” who responds to whom, when, and how?” from gaze,head gestures, and utterances, Proceedings of
the 9th international conference on Multimodal
interfaces, ACM New York, NY, USA, pp.255–
262 (2007).