異なる会話環境におけるうなずきの機能分析齊 賀弘泰†

角康之†

西田豊明†

会話において，うなずきは聞き手の行うフィードバックとされている．他方で話し手が肯定や強調，発話の前振りに行うなど会話の流れを調節しているという研究がある．そこで本研究ではうなずきを話し手，聞き手両方が行う行為であるとし，首振り動作と定義する．そして首振り動作に対して会話調節の機能を分類するため，言語・非言語行動の発生パターンによってクラスタリングを行い，機能分析を行った．結果として同じ聞き手としての首振り動作でも，受け手的に行うものと傍参与者的に行うものが得られた．また異なる会話環境間でも異なった機能のクラスタが生成された．

Functional Analysis of Head Nodding in Multi-party Conversations
Hiroyasu Saiga,† Yasuyuki Sumi† and Toyoaki Nishida †In face-to-face communication, nodding has important functions of visual feedback to aspeaker. On the other hand, previous studies showed that speakers nod in order to agree
or emphasize an important point, and to show that they start speaking in order to adjust
conversation. In this paper, we defined head nodding as “vertical head movements” thatboth speakers and listeners use. To analyze “vertical head movements”, we used clustering
against patterns of verbal and non-verbal behavior. As a result, we acqured sevral clusters oflisteners’ vertical head movements, for example, doing as an adresee and as a side participant.
Moreover,between two conversation environments, we detected common and diﬀerent clusters.

1. は じ め に

2. うなずきの機能と本研究の目的

人は会話において，言語以外にも身振りや視線移動

会話分析やジェスチャー研究において，従来うなずといった非言語的な情報で意図を伝える他にも，会話きは聞き手行動としての頭部ジェスチャーの 1 つとしのリズムを調整している．その中でもうなずきは聞きて考えられていた．他方で話し手の行ううなずきに着手が相手に対して行うフィードバックとして，非常に目し，うなずきの会話の流れの調節機能を調べた研究重要な機能を持っているとされる．他方で，うなずきとして Maynard1) があげられる．Maynard はうなずは話し手の行う強調やリズム取りの他，誰も話していきを聞き手の行う相槌としての機能だけでなく，話しない状況での発話の前振り行動など，聞き手以外も使手の行う肯定，強調，リズム取り，さらに発話前に発1)う行動であるという研究がある．しかしこれらの機話意図を示す機能があるとした．

能は頭部の動きだけでは理解できないと考えられる．

しかし Maynard はうなずきの機能のカテゴリは提そこで本論文では話し手，聞き手を問わず頭部の鉛供しているが，どのような言語，非言語行動が共起し直な動きを 首振り動作 と定義し，うなずきの機能ているかといったことには注目していない．また発話を機械的に理解することを試みる．今回は発話したタのタイミングのみに注目しているため，聞き手のうなイミングだけでなく，相槌，首振り動作の発生パター

ずきは 1 つのカテゴリにまとめられている．これに対ンを入力とし，クラスタリングを行う．異なる会話環

し前田ら5) によると，話し手は聞き手の反応を得るた境において共通する機能を持つクラスタや環境に依存め働きかけの機能を持ったうなずきを行い，聞き手はしたクラスタを見つけ，それに寄与した周囲の振る舞それに対して，応答的に頷き返すという分析をしていいを分析する．それにより首振り動作が周囲の状況よる．さらにこういったうなずきの他，聞き手には発話りどのように理解できるかを調べる．

継続を促すうなずきを行うといわれており，同じ聞き手のうなずきでも他の共起現象により機能が異なると† 京都大学大学院情報学研究科
Graduate Informatics of Kyoto University

考えられる．このようにうなずきの機能を理解するには周囲の振る舞いを知る必要がある．

情報処理学会 インタラクション 2011

そこで本論文では Maynard と同様に，うなずきは話し手も行う非言語行動であるとし，発話だけでなく，視線や他者のうなずきとの共起関係から，うなずきの機能を機械的に理解することを試みる．本論文ではうなずきを聞き手，話し手問わず行う行為として「首振り動作」と定義し，首振り動作に対し言語，非言語行動の共起パターンを入力データとしたクラスタリングを行う．各クラスタの機能を分析し，クラスタリングに特徴を与えた振る舞いを調べ，機械的に理解を行えるかを検証する．

3. 多人数会話のデータ収録
3.1 収録会話設定
分析対象とする会話データは図 1 左のようなポス
ター発表型の会話と，図 1 右のようなポスターを対象物とした自由環境型の会話の 2 種類を収録し，分析を行った．これは異なる環境において，共通してみられる機能や，環境に依存した機能が見られることを期待したためである．本研究ではポスター発表型，自由環境型会話ともに 2 セッションを分析対象とした．

3.1.1 ポスター発表型会話
図 1 左に示すよう，非発表者 2 人に対し発表者が 1枚のポスターを説明する会話を収録した．非発表者役の被験者は理解を深めてもらうため，分からないところは積極的に質問を行い，発表者はそれについて回答をするよう教示した．ポスター発表型会話を使用する
理由は，瀬戸口ら2) が指摘するように，会話の役割が明確であり，会話状況が説明と質疑応答に分かれる点である．会話状況の切り替わりからうなずきと共起する振る舞いの変化が期待される．

3.1.2 自由環境型会話
自由環境型会話とは，図 1 右のように三人の被験者にポスターについて会話をしてもらうものである．参加者には「描かれた年代を推測する」などのいくつかの話題を与えた上で，博物館の展示をみるような形で自由に雑談を行うよう教示した．ポスターについては京都の古地図を 6 枚に分割し，周囲に配置した．自由環境型会話を使用する理由は，自由環境会話では発話交代が頻繁に起こるため，ポスター発表型会話と違ったクラスタが生成されることを期待したためである．

3.2 使用したセンサ機器
非言語行動を抽出するため以下のセンサを使用した．
まず首振り動作を検出するため，小型無線加速度セン
サ WAA-001 を用いた．今回は前頭部，背中上部，腰の計 3 所に装着した．次に視線データを自動的に作成するため，モーションキャプチャと視線追跡装置を用

ポスター発表会話

自由環境会話図 1 収録した会話環境
Fig. 1 Scenes of recorded conversations

いた．モーションキャプチャマーカを帽子に数点の他，肩と背中に装着した．視線追跡装置はゴーグル型と帽子型の 2 種類を用いた．その他にヘッドウォーンタイ
プの音声マイクと複数の環境カメラも用いて会話状況を収録した．

3.3 アノテーション方法
首振り動作の機能分析において非言語行動のデータを使用するために，いくつかの非言語行動に対しアノテーション作業を行った．

3.3.1 首振り動作
本研究ではうなずきを，垂直に頭を上または下に動かした後に元の位置に戻る動作と定義し，前頭部に付けた三軸加速度センサによって抽出する．抽出の方法
は以前筆者らが行った手法3) を用いる．加速度の変化量の大きい区間を抽出後，ノイズとなりうる区間を除去する．最後にポスター発表会話における発表者，自由環境会話の参加者の抽出区間は精度が悪かったため，手作業で修正を行った．

3.3.2 視線

視線情報は福間らの方法7) をもとに，会話参加者が装着したモーションキャプチャ，および視線計測装置のデータから，自動的にラベルを生成した．まずアイマークレコーダと頭の座標データから視線ベクトルを計算し，その後他の人の頭部をモデル化した球体との衝突判定を行った．

3.3.3 発話および相槌
発話区間の認定，および相槌と通常発話の認定については手作業で行った．まず，無線マイクによって収録した発話音声を基に日本語話し言葉コーパス4) を基準に発話区間の認定と発話内容の書き起こしを行った．
次に，吉田らの研究6) を参考にして通常発話と相槌の分離を行った．

4. クラスタ分析
4.1 入力データ
今回入力データは多次元時系列データとし，それに対し階層的クラスタリングを行った．使用したモダリ
ティは，以下の 5 つとした．

異なる会話環境におけるうなずきの機能分析の時間iにおける各モダリティの有無:Pa(i)Pa

1111100011100000

パターンPa Pa = 1111111111111111
・・・
HeadShake:aGaze-to-B

ラベルデータ時系列データ化

Duration

0.15sec

首振り動作

G

パターンPaの時間iの要素Pa(i)とパターンPbの時間jの要素Pb(j)の距離
D(ai,bj’) = S|Pa(i,k)-Pb(j,k)|kは各ベクトルのk番目の要素

A-Utterance･･･

ラベルの01化

Frequency=15/sec･･･0001111111111100011100000000000･･････0000001111111111111111111000000･･･

クラスタリング用
入力ベクトルPa

Pa =

時間軸

M(i,j) =1111100011100000
1111111111111111
・・・

図 2 入力データの作成法
Fig. 2 Method of input dataの時間jにおける各モダリティの有無:Pb(j)Pb

0001111000100000

パターンPb Pb = 1000111111111111
・・・

時間軸

行列の作成

マッチング

Distance(Pa,Pb) = DP(M)図 3 時系列パターン間の距離の算出法
Fig. 3 Distance between
time sequence data(2)

相槌 (On,Oﬀ)(3)

他の被験者 1 に対する視線 (On,Oﬀ)(4)

他の被験者 2 に対する視線 (On,Oﬀ)(5)

首振り動作 (On,Oﬀ)

タ内の平方和が最も小さくなるようにするウォード法を用いた．
最後にクラスタの分割法を述べる．まずノード間の連結距離を高さの標準偏差を求めた．次にツリーの見した時点でノードの分割を停止するようにした．

4.3 分 析 結 果
今回はポスター発表型会話，自由環境型会話ともにた．これらのデータを用いてクラスタリングを行う理由は，話者の視線と首振り動作は同期すること2) や話者と話し手の首振り動作は同期する5) など先行研究より首振り動作前後に発生するものを時系列で調べることで機能分析が行えると期待したためである．
次に入力データの作成法について述べる．区間は各首振り動作の開始時間 0.15 秒前から終了時間の 0.15秒後までの区間とした．入力データの作成法は図 2 のように 1 秒間を 15 の区間に分割し，区間内で各モダリティが発生していれば 1，していなければ 0 となる
時系列データを作成した．

2 つを対象にクラスタリングを行った．また入力デー
タは各参加者それぞれで作成し，計 12 人のクラスタリング結果について分析を行った．以下では各会話環境で見られた特徴的なクラスタでの周囲の行動がどのように共起するか分析する．

4.3.1 ポスター発表型会話のクラスタ
聞き手で見られた機能として，まず話者の首振り動作に対して応答するように首振りを返すものが見られた．応答的な機能は，他の参加者の発話およびうなずきが特徴的な振る舞いとなっている5) ．この中でポス
ター発表型会話では，質疑応答中に質問を行った人が発表者と対話的に 1 人で返すものが見られた（もう一人は首振り動作 8 回中 0 回）．またこのとき聞き手は発表者を注視していた（8 回中 8 回）．次に話者と聞4.2 クラスタリング手法
まず各パターン間の距離の算出法について述べる．
図 3 に示すように各時系列パターン間の距離を DPマッチングにより算出した．各時系列パターンの要素
は 15 次元の特徴量で構成されている．時系列パターン Pa の時系列 i の特徴ベクトル pai と Pb の時系列

j の特徴ベクトル pbj の距離 Dij をハミング距離で算き手 2 人が同時に首振り動作を行うというクラスタが見られた．これらは協調的なリズム取りとしての機能もあると考えられる．
話し手の首振り動作を伴わない聞き手行動のクラス
タで，得られたものは他の 2 人が対話状態になっているクラスタがある．これは自身が参与構造における傍参与者の状態になっており，話を聞いていることを示す，理解していることを示していると考えられる．周n|pai (k) − pbj (k)|以上のように算出した各時系列パターン間の距離を要差が閾値よりも高いノードを分割し，低いノードを発リィテを 3 人分，計 15 モダリティを入力として用い∑と Pb の非類似度とみなせるので，これを距離とする．

ルートから高いノードの標準偏差を見ていき，標準偏各被験者の首振り動作の区間に対し，これらのモダ出した．

用することで，最小コストが算出される．これは Paスタリングを行った．クラスタ間の距離計算はクラスDP

相槌を除いた発話 (On,Oﬀ)

この行列に対して動的計画法 (DP マッチング) を適素とした距離行列を作成し，それをもとに階層的クラD(ai,bj)(1)

間 j の生じているモダリティの違いの多さを意味する．

(1)

囲に起こる振る舞いでは自身に対し視線が来ないこと

上記式において，n は入力とした特徴ベクトルの次元が特徴的である．ポスター発表型会話では，他の聞き数であり，今回は 15 とする．次に各時間における時手の質疑応答中であり，話者が他の聞き手に対し視線系列パターンの特徴ベクトルの距離 Dij を要素とする配布が多くなされている（12 回中 10 回）．

Dij =k=1

話し手の行う機能では，相手の応答を要求するよう行列 M を作成した．

(2)に働きかける強調の機能5) を持つクラスタが生成され行列 Mab の要素 Mab (i, j) は Pa の時間 i と Pb の時た．これは自身の発話のとき，視線配布を行いながらMab (i, j) = Dij

首を振り，他の参加者の首振り動作が同期することが情報処理学会 インタラクション 2011

特徴的となっており，内容を強調したい場合に相手の境ではうなずきを誘発する振る舞いに違いがあり，入様子を確認しながら強調を行っていると考えられる．

力するデータを考える必要がある．

質疑応答時に，対話的に 1 人の聞き手に対し行うクラスタと，2 人の聞き手に行うクラスタの 2 種類が生成された．

5. 終 わ り に
本論文では，うなずきという非言語行動の持つ多様

最後に誰も発話をしていない中，次に発話を行う参な機能に注目し，聞き手話し手を問わず首振り動作と加者が間を埋めるように首振り動作を行うクラスタがして分析を行った．言語，非言語行動の発生パターン生成された．これは発表者が次の発話までの準備のたからクラスタリングを行い，生成されたクラスタの機め，首振り動作を行い，間を埋めていることが考えら能を調べた．

れる．

その結果，聞き手，話し手ともに共通した機能を持

4.3.2 自由環境型会話のクラスタつクラスタが生成された．また共通するクラスタでも聞き手で見られたクラスタではポスター発表型会話同期する振る舞いが違い，受け手的に頷き返すものやと同様の傾向が見られた．話者の首振り動作に対して協調的に頷くなど会話状況の違うものが見られた．さ応答するクラスタでは，聞き手自身は話者を注視してらに間を埋めるクラスタなど会話環境による違いも現いなかった点が異なる．また他の聞き手と同時に首振れ，同期する振る舞いによって機能が理解できることり動作を行う協調的なクラスタも見られた一方で，他が示唆された．の聞き手が代わりに相槌を行うクラスタも見られた（10 回中 6 回）．
次に話し手の首振り動作を伴わない聞き手のクラス

今後の展望としてうなずきの機能に対しどのような振る舞いが影響しているのかを定量的に評価し，入力データを変更していく必要がある．

タでは，ポスター発表型会話と同様に他の聞き手と話謝辞 本研究は，文部科学省科学研究費補助金「情者が対話状態になっているクラスタが見られた．話し

報爆発時代に向けた新しい IT 基盤技術の研究」の一

手は他の聞き手に対し視線配布が多くなされている環で実施されました．

（16 回中 13 回）．
話し手の行う機能では，相手に働きかける強調の機能を持つクラスタが生成された．自由環境型会話も同様に対話的に 1 人の聞き手が首振り動作を返すクラスタと，2 人の聞き手が返すクラスタが生成された．

4.4 考

察

今回話し手，聞き手の行うクラスタにそれぞれ分け，共通して見られたクラスタや，そのクラスタにおける特徴的な振る舞いを比較した．結果として，聞き手では同じ機能でも会話状態が異なるクラスタが見られ，話し手の行う機能ではポスター発表型会話でのみ見られたクラスタがあった．また共起する振る舞いの違いとして，自由環境型会話では，視線配布があまり起きなかった点が挙げられる．これは周囲にポスターがあり，常に参照しており，他の被験者の振る舞いを認識しづらいからではないかと考えられる．またポスター
発表型会話では，発表者は聞き手が理解できるように発表をするよう教示したため，聞き手の振る舞いを注視していたことが理由に挙げられる．
また自由環境型会話では話し手，聞き手が混在したクラスタが多い点が特徴的であった．これは自由環境型会話では発話のオーバーラップが多いことが理由に考えられる．さらに首振り動作が同期するクラスタが生成されない被験者もいた．このように異なる会話環

参 考文

献

1) Maynard・K・泉子：会話分析，くろしお出版(1993).
2) 瀬戸口久雄，高梨克也，河原達也：ポスター会
話における聞き手反応のマルチモーダルな分析，人工知能学会研究会資料,SIG-SLUD-A703，pp.
65–70 (2008).
3) 齊賀弘泰，角 康之，西田豊明：多人数会話におけるうなずきの会話制御機能の分析，情報処理学会研究報告 (ユビキタスコンピューティングシステム)，No.2010-UBI-26 (2010).
4) 独立行政法人国立国語研究所：日本語話し言葉コーパス.
5) 前田真季子，堀内靖雄，市川 嘉：自然対話におけるジェスチャーの相互的関係の分析，情報処理学会研究報告. HI, ヒューマンインタフェース研
究会報告， Vol.2003, pp.39–46 (2002-HI-102).
6) 吉田奈央，高梨克也，伝 康晴：対話におけるあいづち表現の認定とその問題点について，言語処
理学会第 15 回年次大会発表論文集，pp.430–433(2009).
7) 福間良平，角 康之，西田豊明：人のインタラクションに関するマルチモーダルデータからの時間構造発見，情報処理学会研究報告 (ユビキタスコンピューティングシステム)，No.2009-UBI-23(2009).