2019年度日本認知科学会第36回大会

P2-12

見えにくい物はどのように指差されるのか？
―環境の遮蔽構造と指差しの軌道に着目して―
How is an object pointed when it is partially or entirely occluded?
門田 圭祐†，山本 敦†，古山 宣洋‡
Keisuke KADOTA, Atsushi YAMAMOTO, Nobuhiro FURUYAMA†早稲田大学大学院人間科学研究科，‡早稲田大学人間科学学術院

Waseda University†

Graduate School of Human Sciences
kadota.keisuke@gmail.com

概要‡

Faculty of Human Sciences

ザインしていると考えられる[2]．

本稿では，人々の身体や物体の配置によって指示対象が遮蔽されている環境においてなされる指差しについて検討した．実際の会話を収録して得た断片について，とくに指差しの軌道に注目して微視的分析を行った．その結果，遮蔽された指示対象への指差しが１)
対象が遮蔽されていること，２）仕手にとって指示対象の見えやすさ，３）受け手にとっての指示対象の見えやすさを明らかにするような軌道でなされている可能性が示された．

しかし，日常生活において私たちは，そもそも視覚的に十分に利用可能でない物を対象として，指差しを行うこともある．たとえば，パーティションの向こう側にある物体を指差すような場合である．こういった状況においては，指差しの調整によって，受け手にはっきりとした見えを提供することが，そもそも困難であるように思われる．一方，実際に様々な指差しの事
例について見ていくと，視覚的に十分に利用可能でな

キーワード：指差し（pointing），遮蔽（occlusion），
環境の構造（environmental structure）

い物が指示対象になっている場合においても，指差しにおける指示対象の理解は達成されているようである．

1. 背景

前述の指差しのデザインという観点からみれば，その本稿では，指差しを行う者（仕手），指差しを見る者

理解も，指さし方の微細な調整によって達成されてい（受け手），指示対象の物理的配置によって，遮蔽されるものと推察される．それでは，そのような理解は，ている（見えなく／見えにくくなっている）物体を，どのような調整によって成り立つのであろうか．

人々が会話の中で指差すやり方について報告する．さこの問いについて検討するために，本稿では遮蔽さらに，分析の結果をふまえて，それらの指さしが，環れた（occluded）物体を指示対象とした指差しに着目

境の遮蔽構造を相互行為に関連づけるやり方である可する．たとえば，上述したようにパーティション（遮能性について議論する．

蔽）の向こう側にある物体を指示するようなとき，指会話の中で行われる指差し（ポインティング）は，

示対象は仕手・受け手の両者にとって視覚的に十分にその動きの方向によって，特定の方向，位置，物体を利用可能ではないと考えられる．一方で，パーティシ

指し示すための動作である[1]．そのように指差しを捉

ョンを除去したり，仕手や受け手が動いたりすれば対える場合，仕手は指差しの都度，受け手が指示対象と象を見ることができるという点で，指示対象は，完全なっている物体を理解できるように指差しを組み立てに視覚的に利用不可能なものではないと考えられる．

るという課題に対処していると考えられる1．このよう

こうしたことから，遮蔽された物体を指示対象の指差な課題への対処については，受け手に指示対象のはっ指さし方を明らかにすることは，先に示した問いにつきりとした見え（clear view）を提供するために仕手がいて検討する上で，有用だと考えられる．

行う，指差し方の微細な調整が知られている[2]．たと

ただし，遮蔽された物体を対象とした指差しについえば，先に指示語を産出しておくことで身体的指示がて検討するためには，“遮蔽されている”と呼びうる環

なされようとしていることを示す，または，受け手が境の構造のバリエーションについて明らかにしておく

指示対象を見る準備が整うまで指差しを控える，とい必要があるだろう．たとえば，先のパーティションのった調整である．すなわち，受け手が指示対象を見る

例のように指示対象が仕手と受け手の両者から完全にことができるように配慮しながら，仕手は指差しをデ遮蔽されている場合とは異なり，指示対象が仕手と受
け手のどちらか片方にとってのみ遮蔽されて見えなく

1 当然，指差しが指示以外のために使用されるような場合は，この限なっている場合や，指示対象の一部のみが遮蔽されてりではないと考えられる．

564

2019年度日本認知科学会第36回大会

P2-12

21

見えにくくなっている場合など，遮蔽にまつわる環境

4

4> 3

p _

] n

の構造には，様々なバリエーションがありうる．本稿

- 2

f

_aa

- 2

では便宜上，指示対象が仕手と受け手と両者から完全に遮蔽されているような環境の構造を完全遮蔽の構造，
指示対象が仕手と受け手のどちらか一方から見えなく

d .3

- 2

2 ?---

- 2

2 i

(

-

)

-

?-

h

[

_

b

.

g

0

c2 ?-

-

なっていたり，指示対象の一部だけが遮蔽されていた

d

3

2

h

d

-

りするような環境の構造を部分遮蔽の構造と呼ぶ．

(

c

4 5 8-_

9<:-

以上をふまえ，本稿では，実際の会話の中で指差しを行うとき，指示対象が部分的に遮蔽されている場合

5

6

7

-

_2

]

_

- 2

_

n _3

2 c

3

2

03

- 2

3

にも，仕手が指示対象を遮蔽されたものとして指差しうることを示す．具体的には，まず，完全遮蔽の構造が見られる環境での指差しについて分析を予備的に行い，それと類似した特徴が，部分遮蔽の構造がみられる環境での指差しにも見られることを示す．
6

5

7
_

_

_

_

2. データ本研究では，日常の対面会話をビデオ収録して得られた映像データから収集した指差しの断片を分析する．
映像データには，著者らが収集したもの（断片２）に

8

d

]

a _ _ Kd_

加えて，国立国語研究所の共同研究プロジェクトで構

c _

d
g f f

築された『日本語日常会話コーパス』モニター公開版

図１ 断片１に含まれる会話の一部（断片１）を用いる[3]．次節でが焦げてしまう可能性について声に出して心配していは，事例を文字化して作成した断片の微視的分析を行る（06）．06 行目の発話は 03 行目で言及されていたナう．なお，文字化に際して用いた記号については巻末

イフの使用について「そこが心配」だ，と聞かれる組に記載した．

み立てになっている．ついで，健三郎は「お母さんだ

からね」と，島村の心配の可能な根拠を示すことによ

3. 分析って島村による心配の示しを受け止めている（07）．そ3.1. 見えない対象への指差しして，島村が「底」という発話の理解の問題が生じて図１は菓子作りをしている親子の会話から作成したいる可能性に対処すべく，修復を開始している（09）．

断片である．参与者たちは，ケーキ作りをしている最09 行目における島村の修復開始には，２つの指差し中であり，母親（島村）と息子（健三郎）が出来上がが共起している（島村_hand: ＋）．１度目の指差しで，ったケーキの生地の底が型に付着してしまう可能性に島村は，ケーキの生地が入った型の上部の空間を横方

ついて話そうとしている．分析では，09 行目で島村が向からすばやく指している（図１−b）2．そして，同じ行っている指差しに注目する．

手型を維持しながら１度目の指差しの軌道を弦として，まず，断片の概要を述べる．ここでのやりとりの直下方向に弧を描くような軌道で，再度指差しを行って前，島村は，型にケーキの生地が付いてしまったら心いる（図１−c，図１−d）．そして，これらの指差しは，配だという旨の発話を島村が行っている．これに応じ

島村の「底だよ」という発話に共起して産出されていて，健三郎は，自力でナイフを使って剥がすことを提る．

案しており（02），島村がそれを受け入れる（03）．た

ここで島村が行っている指差しは，２度とも何もな

だし，発話の重なりのタイミングから，続けてなされい空間を指している．この指差しは「底」という発話

たナイフを使うことに関しての提案（04）については，

2 １度目の指差しについては，指示に失敗したというよりは，受け手

明示的には受け入れられていない．つづいて，連鎖上の注意を獲得する，あるいは，２度目のジェスチャーで潜り込むための空間を設ける「抽象的直示」[6]など，いくつかの働きを有すると推察される．とくに後者については，完全遮蔽の構造に対処しながら指示を行うための手段になっている可能性がある．

の「第三の位置における修復開始」[4][5]がなされている（06−09）．具体的には，まず，島村がケーキの「底」

565

2019年度日本認知科学会第36回大会

P2-12と共起していることで，一見すると，指示対象が「底」

みならず，指示対象に視覚的にアクセスするための可であることが理解可能になっているように見える．し能な経路を提示しているものとしてみることができる

かし，直前に「底」という発話についての理解の問題かもしれない．つまり，（型が持ち上げられる必要はあが生じていることをふまえると，「底」という発話とのるが）潜り込むように動くことで「底」を見ることが共起のみによって指示対象が特定されているとは考えできるということを示すものとして，島村の指差しはにくい．そこで，指差しのさらに詳細な組み立てにつ理解可能になっている4．そして，このことによって，いて分析を行いたい．

「底」は鍋の下を覗き込むようにしなければ見えない

注目すべきは，島村による１度目の指差しが，ケー

もの，すなわち，まさに遮蔽されたものとして位置づキの型の直上で行われている点である．このことによけられていると考えられる．

って，島村の指差しは，ケーキの型（あるいは型の中3.2. 見えにくい対象への指差しのケーキの生地）に関連したものとして提示されてい3. 1. 節では，指示対象が完全に遮蔽されているとき，る．ただし，ケーキの型のどの部分を指しているのかは，１度目の指差しからでは十分に理解可能になって指差しの組み立てを通して，指示対象を見るための可いないように見える．

能な経路の提示が行われる可能性を提示した．本節では，3. 1. 節と異なり，部分遮蔽の構造が存在する場面

次に注目すべきは，島村の２度目の指差しが，１度目の指差しの下方に弧を描くような軌道をとっているでなされた指差しの断片を検討したい．

ことである．このような軌道は，すくなくとも，１度

図２は，卒業旅行中の大学生８名の会話から作成し目の軌道で指差したものよりも下方に指示対象があるた断片である．参与者たちは，民泊で鍋料理を食べてことを際立たせるであろう．このことから，指示対象

おり，各々の取り皿に調味料を注いでいる．分析では，がすくなくともケーキの型の下方であることが理解可

とくに 20 行目から 21 行目にかけて G が行っている指能になっていると考えられる．

差しに注目する．

さらに，２度目の指差しの軌道についても注目すべ

まず，断片の概要を述べる．はじめに，G が柚子ポきである．ここで島村は，下方向に弧を描いて潜り込

ン酢入のビンを探していることを周囲に示している

むような軌道で指差しを行っている．仮に，指示対象（16）．つぎに，H が「柚子」の場所を知っているこがケーキの型の下方にあることを示すだけであれば，とを G に申し出ている（18）．ただし，H の申し出は，

ここでの指差しは，他の軌道でも行われたかもしれな

G の探し物の空間上の位置を明らかにはしていない．

い．むしろ，「底」を特定する上では，１度目の指差し

そして，G は「ある( ).」という切り詰められた表現の軌道（地面に水平となるような軌道）を，下方にそによって直前の H の発話との関連を示しつつ，自身ものまま移し，型と机の接地部を指すようにやり直すこ5「柚子」を見つけたことを声に出して示している（20）．

とが確実かもしれない3．それでは，２度目の指差しをそして，19 行目冒頭から自身の身体の前に差し出して下方向に弧を描くことを通して，島村は何を示していいた手を変形させながら「柚子」に向けた指差しを行るのだろうか．

うことで，G は身体的にも，自身が「柚子」を見つけ

ここで，この場面における遮蔽構造に注目しよう．

たことを示している（G_hand: φ）．

この場において，「底」は島村にとっても，健三郎にとここで注目すべきは，G が行っている指差しの軌道っても，視覚的に十分に利用可能でない状態になってがストロークの途中で変化している点である．指差しいる．型の「底」は，型自体が机上に置かれ遮蔽となの開始直後（図 2d の画像①）から 21 行目冒頭（図 2dっているという点で，両参与者から遮蔽されているかの画像③）に至るまで，G の指差しは，柚子ポン酢にらだ．

直線的に向かっていく．そして，21 行目冒頭から撤退

島村の指差しは，上述したような遮蔽構があることを示すものとして理解可能である．まず，島村の指差

4 ただし，この断片から，ここで行った分析の十分な証拠を見出すこ

しは，下方向に潜り込むような軌道で行われていた．

とはできない．健三郎は島村の 09 行目に応じて，底を覗き込むなど際立った反応を見せてはいないためである．

そのような軌道は，指示対象が型の下部であることの3

5 「あ(る).」という G の発話は，18 行目において H が探し物の空
間上の位置を明らかにしなかったことに応じて，情報の追求を行っているようにも聞かれるかもしれない．ただし，ここの G の発話は，追求としては不十分な平坦さを伴っているように聞かれる．

実際に，島村は 11 行目でそのような指差しを行っている．

566

2019年度日本認知科学会第36回大会

P2-12



対象である「底」は，仕手にとっても受け手にとって

7 6)
(

2

)

1

c

c

も見えないものだった．つまり，そこには完全遮蔽の

h

26 7C

.

36 7C

構造が見て取れた．一方で，本節で取り上げている断

.

3

G

26 7C

.G

m

片には，以下の２点において，部分遮蔽の構造を見て

.

36 7C

.

取れる．１点目に，（G にとって）「柚子」は完全に隠

7
g

<?
0

d

i

]

n

b

されているわけではなく，下部が隠されて見えにくい

b

2
26 7C

状態にある6．２点目に，「柚子」の視覚的利用可能性.

26>7 :

h.

は仕手と受け手の間で異なっているようにみえる．つ

.

36 7C

.

まり，G にとって鍋が遮蔽になっているのに対して，<?
3 . l H_ 26 7C.

26>7 :

.

.

.

36 7C

G の指差しは，上述したような遮蔽構造があること.

36>7 :

H

<?

H

2/ gE

G

.

を示すものとして理解可能である．G の指差しは，鍋.

の縁に沿って弧を描く，つまりは鍋を迂回するような

H

26 7C

.

26>7 :
36 7C

H にとってはそうなっていないようにみえる．

8

.

G

.H

36>7 :

軌道へと変化させられていた．そのような軌道は，１

.

.E

.
.G

.H

9

.

つ目の断片同様に，指示対象を見るための可能な経路

Hを示すものとして組み立てられたものとしてみることができる．すなわち，G の指差しは，鍋を迂回するよ
うに動くことによって指示対象を見ることができると
:
g

g
f

8
n

8

n

8

9e

af f f

nf
af

fz f

f
m[f

いうことを示すものとして，理解可能になっていると9[考えられる．そして，このことによって，「柚子」は鍋図２ 断片２を迂回しなければ見えにくいもの，すなわち，遮蔽さの直前（図 2d の画像④）にかけて，その軌道は鍋の縁れたものとして位置づけられていると考えられる．

に沿って弧を描くようなものへと変化している．

遮蔽構造を示すということに関しては，G の指差し

G が行っているような軌道の変化に対する１つの説によって示されているのは，受け手である H ではなく，

明は，鍋，あるいは，別の何かを回避しながら「柚子」

G 自身にとっての指示対象を見るために可能な経路だを指すために軌道が変えられた，というものであろう．

という点も重要である．指差しに先立つやり取りの中

しかし，G は鍋よりも高い空間上の位置で指差しを行で，H が柚子にアクセス可能であることが発話によっっており，鍋を物理的に避ける必要はないように見えて示されていた（18）．そして，その発話以降，H はる．このことの傍証として，指差しの開始時に，G が「柚子」に視線を向けていた（H_gaze: †）．このこと

直線的な軌道で柚子ポン酢を指差そうとしていたことによって，H が「柚子」に視覚的に十分にアクセス可が挙げられるだろう．また，ここで G が行っているよ

能であることが G にとって理解可能になっていたと言うに，手をすばやく返すような動きは，典型的には急える．そのような状況で，G が自身の視覚的アクセスに近づいてきた何かと衝突するのを避けようとする際の限定性を示すように指差しをすることは，G と H のに行われるものであるように思える．しかし，そのよ間にある，視覚的な利用可能性の異なりをも示すもの

うに G の腕に近づく物体はこの場にはない．

として理解可能になっていると言えるかもしれない．

以上をふまえると，ここでの G による指差しは，回

さいごに，G の指差しが，断片２のやりとりにおい

避動作というよりは，何らかの示しとして行われていて担っている役割についても述べておく．まず，G はると考えられる．それでは，この動作によって，G は遮蔽構造を示すことによって，単に「柚子」を見つけ

何を示しているのであろうか．

たことを示すだけでなく，自身が「柚子」を見つけら

ここで，仕手である G と，受け手である H，指示対れなかった理由（ビンが鍋で物理的に遮蔽されていた象である「柚子」，そして，鍋の物理的配置について整こと）を周囲に提示することが可能になっている．ま理しておこう．この物理的配置には，１つ目の断片と異なる点があるものの，やはり遮蔽構造を見て取るこ

6 この場面では，鍋から肉をよそう参与者 E の手が，もう１つの遮とができる．3. 1. 節で取り上げた断片において，指示蔽になっている可能性がある（2−b と図 2−c）
．こちらについても，鍋同様に部分遮蔽となっているものと考えられる．

567

2019年度日本認知科学会第36回大会

P2-12

た，16 行目において G が「柚子」を使おうとしているが盛んに行われている[7]．それらの研究に対して，本ことまでもが予め示されていたと考えると，G による研究の知見は，ある物体の “遮蔽されている（見えな指差しは，柚子ポン酢入のビンが見えにくい（≒取り

い／見えにくい）”といった性質を，相互行為に関連づにくい）ことを示すことによって，周囲の参与者に「柚け，利用するためのやり方があることを示唆するもの子」を渡す（ことを申し出る）機会を用意している可である．ただし，“遮蔽されている”ことは，単に物の能性がある．

性質・特性・状態としてみることはできない．それは以上の分析から，指示対象が完全に遮蔽されている

むしろ，身体−環境の関係性としてみるべきものである．

状況における指差しと同様の特徴を，指示対象が部分

次節ではこの点について議論する．

的に遮蔽されている状況における指さしにも見出だせ

4.2. 相互行為における視覚的利用可能性

る．このことは，完全遮蔽のみならず，部分遮蔽の構造を，参与者らが遮蔽構造として扱いうることを示し

見えやすさ／見えにくさという性質は，物の性質とている．

しては捉えられない．指示対象の見えやすさは，指示対象自体の性質・特性・状態というよりは，仕手−受け

4. 考察

手−遮蔽−指示対象の空間上の位置の関係によって決ま

本稿では，指示対象が遮蔽されることによって，見るからである．このようなことから，見えやすさ／見

えなく／見えにくくなっている環境における指差しのえにくさは，物自体に備わった性質・特性・状態とい微視的な調整について報告した．以下では，本稿で示うよりは，身体-環境の関係性として捉えるべきものでしてきたような指差しの組み立てを通して，指示対象あると考えられる．以上をふまえると，本研究の治験を“遮蔽された”物として扱うことについて，相互行

は，相互行為において，身体−環境の関係性としての視為研究，とくにマルチモダリティ研究に引きつけて議

覚的な利用可能性を相互行為において利用するやり方

論する．そして，相互行為において身体−環境の関係とがあることを示唆するものと考えられる．

しての視覚的利用可能性（さらにはその異なり）を利

それでは，見えやすさ／見えにくさは，具体的には用するようなやり方がある可能性についても議論する．

どのように利用されうるのだろうか．このことについて，とくに示唆的な研究として，援助の「リクルート

4.1. 指示対象を“遮蔽された”物として扱うことメント」について触れておきたい．援助のリクルート

本稿では，指示対象が遮蔽された状況における指差

メントとは，他者から援助を引き出せるような様々なしが，指示対象に視覚的にアクセスするための可能なやり方を指す[8]．たとえば，本を皆で読んでいる場面

経路を示すように行われていることを論じてきた．１

において，本が見えにくいことを参与者 A が身体的につ目の断片では，遮蔽された指示対象を指差そうとす示したことにより，本を持っている参与者 B が本の持るとき，何もない空間を指差した直後，指示対象に視ち方を参与者 A に見えやすいように変える動作が引き覚的にアクセスするための経路を提示するような軌道出される事例が挙げられる[8]．このような事例についで，再度指差しが行われていることを示した．２つ目て，本稿の考察に引きつけて考えてみると，見えやすの断片では，指示対象が部分的にしか遮蔽されていなさの限定性，すなわち見えにくさが示されることによい状況で，指差しの軌道が，対象に直線的に向かおうって，他者から援助が引き出されている事例として捉とするものから指示対象に視覚的にアクセスするためえることができるかもしれない．

の経路を提示するような軌道へと変化していることを

4.3. 今後の課題

示した．そして，これらの指差しを通して，仕手が環境中の遮蔽構造を示していることを論じた．そのよう本稿では，仕手による指差しの組み立てに焦点を当な示しは，１つには，指示対象を“遮蔽されている”てたため，指差しの組み立てと，行為（連鎖的）組織

ように扱うべきものとして位置づけるやり方として特の関係などについては，十分に考慮することができな徴づけられると考えられる．

かった．この点に関しては，4.2.節で議論したように

近年，会話における発話や身体動作の微細な調整に

視覚的利用可能性の限定性を示すことが相互行為のよ

おいて，ある物体がもつ特定の性質・特性・状態を，り大きな流れの中で，利用されるやり方を検討してい人々が相互行為において利用するためのやり方の研究く必要がある．また，本稿では，指差し以外の指示の568

2019年度日本認知科学会第36回大会

P2-12

repair in conversation", Language, Vol. 53, No. 2, pp.
361-382.
[5] Schegloff, E. A., (1992). "Repair after next turn: The
last structurally provided defense of intersubjectivity
in conversation", American Journal of Sociology, Vol. 97,
No.5, pp. 1925-1345.
[6] McNeill, D., (1992) Hand and mind: What gestures
reveal about thought, University of Chicago press.
[7] Mondada, L., (2019) "Contemporary issues inconversation analysis: Embodiment and materiality,
multimodality and multisensoriality in social
interaction". Journal of Pragmatics, Vol. 145, No.1, pp.
47-62.
[8] Kendrick, H. K., & Drew, P., (2016) "Recruitment:
Offers, requests, and the organization if assistance ininteraction", Research on Language and Social
Interaction, Vol. 49, No. 1, pp. 1-19.
[9] Jefferson, G. (2004). "Glossary of transcript symbols
with an introduction", "Pragmatics and Beyond New
Series", Vol. 125, pp. 13-34.
[10] 西阪仰, (2008) 分散する身体, 勁草書房.

ための視覚的ふるまい（たとえば手差し，足差し，道具を用いた指示など）について検討できなかった．こういったふるまいに関しても，今後，事例の量的・質的拡大とともに，検討を重ねていく必要がある．

付録：トランスクリプトの記号
転記に用いた記号を以下に記す．これらは，英語の転記のために考案された記法[9]を，日本語のためにアレンジしたものを参考にしている[10]．なお，これらに加えて，身体動作と発話の時間関係を表すため，適宜，ß，∫，＋などの記号を用いている．

[ ]複数の参与者にまたがる発話の重なりの開始と終了=

複数の発話の途切れない密着(文字)

聞き取り困難(数字)

音声が途絶えている状態，数字は秒数を示す:

直前の音の引き伸ばし

h

呼気音

.h

吸気音

文字(h) 笑いながらなされている発話\文字\

笑いながらではないが笑い声でなされている発話↑↓

音調の極端な上がりと下がり?

語尾の音調の上がり

文字

強調

ﾟ文字ﾟ

音が小さい

>文字<

発話のスピードが目立って早くなる部分<文字>

発話のスピードが目立って遅くなる部分((文字))

発言の要約やその他の注記

参照文献[1] Kita, S., (2003) "Pointing: A fundamental building
block of human communication", Pointing: Where
language, culture, and cognition meet, pp. 1-8,
Psychology Press.
[2] Hindmarsh, J., & Heath, C., (2000) "Embodied
reference: A study of deixis in workplaceinteraction", Journal of Pragmatics, Vol. 32, No. 12, pp.
1855-1878.
[3] 小磯花絵・天谷晴香・石本祐一・居關友里子・臼田泰如・
柏野和佳子・川端良子・田中弥生・伝康晴・西川賢哉,(2019) "『日本語日常会話コーパス』モニター公開版の設計と特徴", 言語処理学会第 25 回年次大会発表論文集,
pp.367-370.
[4] Schegloff, E. A., Jefferson, G., & Sacks, H., (1977) "Thepreference for self-correction in the organization of569