状況説明会話における説明者間の発話とジェスチャの引き取り
井上卓†

角康之††

高梨克也†††

会話中ではしばしば一人の発話が完結点を迎えるよりも前に，別の誰かがその発話と連続するような発話を開始することがある．本稿ではこの「引き取り」と呼ばれる現象が状況説明的な会話中で起こるとき，発話と同時にジェスチャ形態の引き取りが行われている事例について分析し，この現象が会話を構成するうえでどのような役割を果たしているかを考察することを目的とする．

Collaborative Utterances with Gestures in Descriptive Conversation
Suguru Inoue,† Yasuyuki Sumi†† and Katsuya Takanashi†††
In conversations, people sometimes start an utterance that are continuous to ongoingspeaker’s utterance before its complete. In this paper, we will analyze such collaborativeutterances in a descriptive conversation especially where utterances are accompanied withalso collaboratively produced gestures and will study how they are employed in organizationof conversations.

ような形で関与しているのかについての序論的な検討

1. は じ め にを行うことを目的としている．

わたしたちが日常的に行っている会話は，そのとき話題となっている事柄に対する成員間の経験や知識の2. 関連研究と本稿の立場違いによってさまざまな様相を呈する．その中で特に，説明的会話における共同説明者同士のインタラクある事柄に関して複数の人が知識を共有し，別の誰かションについてはこれまでにもさまざまな観点から研に向けてその内容を語るという状況下で起こる現象と究が行われてきた．会話分析の立場からは先に挙げたして，一人の語り手によって進行中の発話が完了可能

Lerner や串田らによる発話引き取りの研究があり，まとなるよりも前に，知識を共有する別の成員が進行中た心理学の分野では会話を通した記憶の共同想起につの発話の続きとなりうるようにデザインされた発話をいて研究されている8) ．Lerner や串田が注目した引き開始する，というものがある．このことは会話分析の取りにおいては，発話される文の統語的な連続性が重研究（たとえば文献 1)，4)）において注目され，発話要なポイントとなっているが，それぞれの発話においの「引き取り」あるいは「共‐参与者による完了 co-て文が統語的に完結しているかどうかを明確な基準でparticipants’ completion」として議論の対象になって判定することは難しい．たとえば日本語会話におけるきた．本稿では，状況説明的な会話において進行中の接続助詞「て」は文の途中で現れるとともに，文末要説明が共同説明者によって引き取られるのと並行して，素ともなりうる（semi-permeable）ことが指摘されて発話に伴って産出されていたジェスチャの形態が同時いる10) ．そこで本稿ではある程度会話の流れが統制で7)に注目し，会話コーきる実験をデザインしたうえで，引き取りを発話の統パスの分析を通して，この現象が会話の組織化にどの語的な連続性から定義せず，会話内で説明されているに引き取られていくという現象

事柄についてのまとまりを基準として，その基準によ† 京都大学工学部
Faculity of Engineering, Kyoto University†† 京都大学大学院情報学研究科
Graduate School of Informatics, Kyoto University††† 科学技術振興機構さきがけ／京都大学学術情報メディアセンター
PRESTO, Japan Science and Technology Agency (JST)/ Academic Center for Computing and Media Studies,
Kyoto University

る分割境界以外で生じる共話者の説明への参入について，説明が引き取られている現象として分析の対象とする，という方法を試みている．

情報処理学会 インタラクション 2011

が建物の排水管を登る」，「小鳥が部屋の中に逃げ込む」など）に分割し，語り手の交替をこの分割に即した箇所で起こる交替と，それ以外の箇所で起こる交替とに分けた．
その結果，前者はおもに発話される文が統語的に完結するケース（「〜です」など）と，後続するシーンにつながる接続助詞（「て」，「けど」など）によって終わるケースによって占められ，現在の話者が引き続き説明を行うか，交替するかを交渉するターンテイキングが可能な場を形成していることが分かった．これ
図 1 収録風景
Fig. 1 Recordingに対して，われわれが注目するシーン説明の引き取りは後者にあたる．

4.3 引き取りの分析
シーン説明の引き取りがいつでも無秩序に起こるの

3. 会話コーパス

でないとすれば，そこでは引き取り手によって何らか

3.1 被 験 者の手がかりが引き取りを開始する契機として用いられ初対面の 20 代女性 3 名 1 組．ているはずである．本稿では，会話コーパスの観察と3.2 タスク内容先行研究から，シーン説明の引き取りの契機として以会話の収録は McNeill によるジェスチャ研究9) など下の要素に注目することにする．

で用いられる「アニメーション説明課題」を用いて行対化された発話 自分が要求した応答が終了すること

う．3 名の被験者のうち説明役となる 2 名が会話収録

はシーン説明の（再）引き取りを可能にするものと考直前に短いアニメーションを視聴し，その内容を聞きえられる（例．A:「... 排水管？」B:「排水管の」A:手役となる残りの 1 名に対して共同で説明する．会話「の中にボールを...」）．このような特定の発話連鎖タで説明されるアニメーションの尺は約 7 分で，この中イプは「対化された発話」3) とよばれている．に独立性の高い 8 つの場面が含まれている．3 名の被韻律 文の途中でも，語尾を上昇させることで共同説

験者には収録終了後に内容の理解を確認するための簡明者の支持を得ようとしたり，協力を求めたりするこ

単なアンケートを行う旨をあらかじめ伝えている．まとがある（例．A:「... 歩いていこうとするんですけ

た，会話の収録時間について事前に制限は設けず，被ど，電車？」B:「そう路面電車...」）．

験者らによる申告をもって終了とした．

視線 ターン末において現話者から視線を向けられる

3.3 収 録 環 境

ことが次話者として選択される契機となることは榎本

会話コーパスの収録は各種センサ類による行動計測6)が可能な IMADE 環境で行った．被験者 3 名はひじ掛けのない椅子に着席した状態で会話に臨む（図 1）．

による研究などで指摘されている2) ．このことは引き取りの契機としても用いられると考えられる．
言い淀み 発話中の説明者が文の途中で言い淀むことは共同説明者が助け船を出す契機となる．

4. 分

析

シーン説明の引き取りが起こっている箇所のうち，進行中の説明においてジェスチャが生じていたそれぞ

4.1 コーパスの概要

れの箇所について，上の各要素が用いられているかど収録された会話は約 10 分であった．この中でアニうかについて調べ，これとジェスチャ引き取りとの関メーションの 8 つの場面すべてが想起され，順番通り係について示したものが表 1 である．進行中の説明に説明された．説明役 2 名の間に発話量の大きな偏りにおいてジェスチャが用いられている場合に注目するは見られなかった．以下では，アニメーションの場面と，シーン説明の引き取りの契機となる要素によってが最初から順に最後まで説明されていく会話の前半部

ジェスチャが引き取りに伴う傾向に違いがあることが分約 7 分を対象として分析を行う．

分かる．たとえば，どの要素も用いられなかった場合

4.2 分析の準備にはジェスチャの引き取りが起こることが多く，一方分析の準備として，まず会話の題材となるアニメー

韻律要素が用いられてシーン説明の引き取りが起こる

ションをおおよそカット割りに準じて短いシーン（「猫場合には一度もジェスチャの引き取りが起こらなかっ状況説明会話における説明者間の発話とジェスチャの引き取り
引き取り手のジェスチャ

サンプル数

対化された発話

韻律

ターン参入の契機
視線
言い淀み

左記いずれもなし
51
12
2
2
61
2
3
12
122
56
5
同時に複数の契機が利用されていることがあるため，各要素の和とサンプル数は一致しない．
表 1 ターン参入の契機とジェスチャの引き取り
Table 1 Triggers for intervention into ongoing description and collaborative gestureなしあり（異なるジェスチャ）あり（同じジェスチャ）た．以下ではジェスチャの引き取りが起こったシーンれている．A は発話の開始に先立って B のジェスチャについて，2 つの具体的な事例を示す．

を複製することで，自分の発話が B の発話に連続すなお以下の記述で，A および B は説明役として会話に参加している被験者，C は聞き手役として会話に参加している被験者を表す．本稿のトランスクリプトるものであることを表示していると考えられる．

5. 考

察におけるジェスチャ略記法は基本的に文献 5) に従っこれらの事例を踏まえて，シーン説明の引き取りのている．各系列は発話（ut），ジェスチャ（gs），視線契機とジェスチャ引き取りの関係について考察する．

（gz）を表している．

本稿で注目したシーン説明の引き取りの契機となる要

4.4 要求された引き取り：事例 1「オルガン」

素を説明を引き取られる側の能動性の観点から整理す事例「オルガン」（図 2）では，A と B は「路上でると，韻律の上昇や投射された対化された発話連鎖が大道芸人が演奏する手回しオルガンに合わせて見世物存在することは共同説明者が説明に参入することにつのサルが踊っている」という情景を説明しようとしていての了解が成立しているか，説明への参入が明示的いる．ここでは A が「サルが」に続く発話を言い淀むに求められているか，少なくとも許容していることを（図 2 中 (1.0)）ことと，それに続く A の B への視線示しているものと考えられる．一方で，言い淀みを契移動が引き取りの契機となる．B は A に応えようと機としてターンに参入する場合（事例 1）や現在発話して発話を開始しているが，やはり適切な表現をすぐ中の説明者からこれらの契機のいずれも与えられていに見つけられないでいる（おそらく「大道芸」と言おない場合（事例 2），このことは発話中の説明者にとっうとしているが，中断している）．この間，B は A がてある程度予期しないものであることが予想され，説行った手回しオルガンのジェスチャ（S1，S2）と同じ明への参入が会話を構成するうえでのトラブル源とし形態のジェスチャを行っている（S5）．すると，それて認識されてしまう可能性がある．このことから，聞を受けて A が「そうそう」と言いながら，ふたたびき手にまわっている共同説明者が説明の進行性維持の小さく手回しオルガンのジェスチャをする（S6）．B

ために振舞おうとするときに，ジェスチャの引き取りのジェスチャの引き取りは，A に対して B が同じ事を開始することは，進行中の説明への介入の許可を話柄の表現についての問題を共有していることを示すサ

し手に求めるために行われている可能性がある．

インとして機能するとともに，説明が滞っている間の間を取り持つような働きをしていると考えられる．

6. お わ り に

4.5 自発的な引き取り：事例 2「傘でバーン」

状況説明会話においてジェスチャが会話の組織化に

次に「どの要素も引き取りの契機として用いられてどのように関っているのかについて論じた．今回分析いない」タイプの引き取りについて見てみよう．事例対象とした会話コーパスは 1 セッションのみであり，「傘でバーン」（図 3）では，A と B は「小鳥を狙っ引き取りの契機とジェスチャ引き取りの関連についてて部屋に侵入した猫がお婆さんに見つかり，傘で叩かも明確な結論には至っていない．今後は行動データのれる」というシーンを説明している．ここでは，引き計測を行うことができる IMADE 環境および一覧性・取り手 A のジェスチャ（S2）は，進行中の B の発話検索性に富むマルチモーダル分析環境 iCorpusStudioに伴って産出されている，腕を振り下ろすことで「傘の利点を生かし，より多くの会話データを分析対象とで叩く」ことを表現するジェスチャ（S1）に呼応してして研究を進めていく必要がある．

開始され，その約 0.9 秒後に発話「バーンて追い払っ謝辞 データ収録とラベリング作業にご協力いただて」が続く形になっている．B の視線は聞き役の C にいた坊農真弓，岡田将吾の両氏を始めとする皆様に感固定されており，引き取りは A から自発的に開始さ謝いたします．本研究は，国立情報学研究所グランド情報処理学会 インタラクション 2011

A(S1)

A(S2)

A(S3)

A(S4)

B(S5)

A(S6)

A(ut): オルガン (.)[オルガン弾きでサル (.) が (1.0)[オモ (.) 芸を (.) そうそうA(gs): S1 /h/S2 /h/S3 /S4/h/S6/
A(gz): B_______........C____________________.......B__________....C_______________________
B(ut):[あっ[ダイ (.) ダイドウ (.) なんか芸を見せる人たちがB(gs):/P /S5/h
B(gz): A________________________....C___________.........A_____________..........C________
図 2 事例「オルガン」
Fig. 2 Organ

B(S1)

A(S2)

B(ut): でまた (0.2) 猫 (0.2) て気づいてるから (0.25) 傘で (0.2) [ (0.5) 追い払_B(gz): /P /S
/S
/h/S1
/R
/
B(gs): C______________________________________________________________________________
A(ut):[バーンて (.) 追い払ってA(gz): S/R//P/S2/R/A(gs): B______.............C--------......C___________________________________________
図 3 事例「傘でバーン」
Fig. 3 Hit with an umbrella

チャレンジ「情報環境を支える日常的インタラクションデータ収録のためのプラットフォーム構築」，科研費・特定領域研究「情報爆発時代に向けた新しい IT基盤技術の研究」，基盤研究 (A)「聞き手の反応に着目した音声会話の解析と生成」，JST 戦略的創造研究推進事業さきがけ「多人数インタラクション理解のための会話分析手法の開発」の補助を受けています．

参 考文献

1) Lerner, G.H.: Assisted storytelling: Deploying
shared knowledge as a practical matter, Qualitative Sociology (1992 年).
2) 榎本美香，伝康晴：3 人会話における参与役割の交替に関わる非言語行動の分析，人工知能学会研究会資料, SIG-SLUD-A301, pp.25-30 (2003 年).
3) 串田秀也：相互行為秩序と会話分析 - 「話し手」と「共‐成員性」をめぐる参加の組織化, 世界思想社 (2006 年).
4) 串田秀也：統語的単位の開放性と参与の組織化(1) ―引き取りのシークエンス環境―, 大阪教育大学紀要 第 II 部門 第 50 巻 第 2 号 (2002 年).
5) 細馬宏道：非言語コミュニケーション研究のための分析単位 ―ジェスチャー単位―, 人工知能学
会誌 23 巻 3 号 (2008 年)．
6) 角康之，西田豊明，坊農真弓，來嶋宏：IMADE:会話の構造理解とコンテンツ化のための実世界イ
ンタラクション研究基盤 (2008 年)．
7) 城綾実，細馬宏道：多人数会話における自発的ジェスチャーの同期，認知科学 16(1)，pp.103-119（2009 年）．
8) Edwards, D. and Middleton, D.：Joint remembering: Constructing an account of sharedexperience through conversational discourse，Discourse Processes 9(4)，pp.423-459，（1986年）．
9) McNeil, D. and Duncan, S.D.：Growth points
in thinking-for-speaking（1998 年）．
10) 伝 康晴，小磯 花絵，丸山 岳彦，前川 喜久雄，高梨 克也，榎本 美香，吉田 奈央：対話研究にふさわしい発話単位の提案とその評価 (2)〜長い単位〜，人工知能学会研究会資料, SIG-SLUD-A903,pp.13-18（2010 年）．