情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A01
2015/3/5

複数人の指差しを用いた車内会話の場所への紐付け
坂本 匡†1	  	  松村 耕平†1	  	  野間 春生†1	  	 	  	 概要：本研究では自動車内での環境を想定して，指差し行動を認識し，その指示対象を自動識別することで，その地点と車内での会話との紐付けを行う手法を提案する．複数人に対して小型のモーションキャプチャ装置を用いて位置姿勢の計測を行い，手と頭の位置から直線の式を求めて，複数の直線から交点を求めることで指差し対象を同定する．
本稿では，提案手法による識別が可能かを検証する実験を行ったのでその結果について考察する．

Embedding In-car Conversations into Places using Finger-pointing
TADASHI SAKAMOTO†1	  KOHEI MATSUMURA†1	  	 HARUO NOMA†1	  	 Abstract: In this study, assuming the environment in a car, we propose a method of embedding in-car conversations into places
by using recognition of finger pointing. We use a motion capture device towards people and measure their positions andattitudes, and we identify the object of their finger pointing by using cross point of their finger pointing. In this paper, we discuss
the result of the experiment that validates whether the pointed object can be recognized by our method or not.

1. は じ め に	  我々がある対象について会話をするとき，指示語と共にしばしば対象を指差すことがある．我々が，傍観者として	  本研究では，そのことに着目し，目的とする．本論文では，特に車内での会話に着目し，複数人の指差し行為による指差し対象の特定手法について述べる．

会話者を眺めるとき，そのような指差しを目にすれば，指2. 関 連 研 究

差された対象について会話をしていると理解することがで	  本論文で対象とする，人のジェスチャに着目した研究ときる．このことを逆に捉えれば，指差しという行為を抽出しては Mistry と Maes によるカメラとプロジェクタを用いすることが出来れば，ある対象についての会話だけを取りたユーザインタフェースに関する研究などが有名である[4,出すことが出来る．例えば，友人と歩きながら「そこのカ5]．特に，自動車に関連した研究に関しては，Ohn-Bar ら

フェの雰囲気が素敵」と言いながら指差しを行っていればの車内での情報端末へのアクセスに手のジェスチャを用いその指差した先のカフェの口コミとなるし，ドライブ中にた研究[6]や，Riener らの運転者が車内でのジェスチャを「あそこの交差点はよく人が飛び出してくるから危険」と行う空間に着目し，車内における有効なモーションキャプいう話の途中に指差しがあれば，それは危険な地点の情報チャの方法を提案した研究[7]などがある．Rümelin らの研となる．また，同じ場所であっても，例えば，「ここの道は究[8]では，本稿と同じように車内における指差しについて春になると桜が綺麗」や，「夜になるとイルミネーションが検証を行っている．彼の手法では，Microsoft Kinect を用美しい」など，季節あるいは時間によって会話が変化する．

いて計測した手と頭部の位置から指差しのベクトルを計算

このように，会話する内容は場所，季節，時間，あるいはし，そのベクトルと車の前方 2m の面との交点を指差しの会話者の関係性などによっても変化し，シチュエーション対象としていた．しかしながら，指差しの対象が前方だけに強く結びついている[1]．にあるわけではなく，また，同じ方向に複数のランドマー	  会話の内容を，指差しという動作によって対象の地点とクがある場合，そのどれを指しているのかをこの手法では自動的に結びつけることが出来れば，時間などの状況と場識別することができない．これらのような課題を改善する所に結びついた情報の一つとして捉えることが出来る．そため，我々は次章の手法を提案する．

して，これらの情報を人々に流通させることで，その場所に関する知識の共有や，共有によって得た知識に上乗せする形での知識の創出，あるいは知識を得たことによる行動の変容などの効果が期待できる．
†1 立命館大学
Ritsumeikan University© 2015 Information Processing Society of Japan144

図１	  提案手法の概要

3. 提 案 手 法の点については前方 40°に 5°刻みの位置に配置した．配
置した計 31 点につきそれぞれ 4 回，事前に決定したラン	  我々は，人々が会話の際にその対象を指さすことに着目

ダムな順で 2 秒間の指差しをさせた．各ペアで左右の立ちする．図 1 左は提案手法の概要を図示したものである．複

位置を変更して，2 セットを行った．このときの被験者 2数人による指差しによって，会話を紐付ける場所の同定を名のボディモーションを Microsoft Kinect v2[a]を用いてする．

記録し，頭の位置と手の位置について平均を取った後に前	  我々の提案する手法では小型のモーションキャプチャ装

述の直線の式を求めた．2 名の被験者から求められた直線置を用いて身体動作の計測を行い，指差しの認識を行う．の交点が，その試行における指差し対象の位置となる．

指差し認識のプロセスは以下である．（1）指差しの判断：

11"

モーションキャプチャ装置から手の位置，頭の位置，肩の位置を得て，手の位置が肩の高さにある時に指差しの検出

[m]

10"

を開始する．
（2）図 1 左のように搭乗者それぞれの頭の位

9"

置と手の位置を入力として，それらを結ぶ直線を求める．
（3）（2）で求められた 2 つの直線の交点を求める．この

m"m"
m"

8"

交点を搭乗者が指さした対象とする．従来の手法と比較す
7"

ると，深度の情報も取れるほか，複数人の情報を用いているためより高い精度が期待できる．

6"

Kinect"	  また，これらの操作によって得られた座標の単位をメー
5"トルから経緯度のオフセット量に変換し，現在の車輌の座標・方角に対して足し合わせることで，地図上における指4"

差し対象の経度と緯度を決定する（図 1 右）．このように3"決定された緯度経度の地点と，指差しがされていた時の会話を紐付けし，活用する．

2"

4. 評 価 実 験1"

4.1 実 験 概 要	  この手法による識別精度を検証するため，我々は次のよ	
[m]0",5",4",3"

うな実験を行った．被験者は 20 歳から 22 歳の大学生 8 名である．被験者には二名一組のペアを作り，並んで立って特定の位置にある対象を指差すことを依頼した．指示対象には視認性を考慮して硬式テニスのボールを採用した．指示対象は図 2 に示すように，被験者から 3m・5m・10m の地点にそれぞれ 11 点，11 点，9 点を放射状に配置した．
3m および 5m の点については前方 100°に 10°刻み，10m,2",1"0"

1"

2"

3"

4"5"

図２	  指差し対象の配置図4.2 実 験 結 果	  4 ペア 8 セットの実験から，各地点について 32 回の計測データ，総数 992 試行のデータが計測できた．各試行によって得られた指差した交点の位置から上下 5%ずつを除外
a) Microsoft Kinect for Windows v2	  http://www.microsoft.com/en-us/kinectforwindows/default.aspx© 2015 Information Processing Society of Japan145

し，指定された点と指差した交点との距離誤差について分14"析を行った．まず，得られた距離の誤差の平均，分散につ[m]13"いて表１に示す．中央値についても算出したが，平均値と12"差は無かったため，表からは除外した．
表１	  各距離の点における距離の誤差

平均

分散11"

左側の点

中央の点

右側の点

全体

3m

0.44m

0.39m

0.38m

0.40m

5m

1.09m

1.02m

1.02m

1.05m

9"

10m

2.46m2.65m

2.69m

2.59m

8"

3m

0.03

0.02

0.04

0.03

7"

5m

0.26

0.25

0.32

0.28

10m

1.41

1.25

1.42

1.36

10"

6"5"	  また，各距離の点について，指差すように指定された指示対象の位置と指差された交点をプロットしたものを図３，
図４，図５に示す．大きな点が指差すように指示された指差し対象であり，小さな点群が実際に指差された点である．
同じ形・色をした点は同一の指示対象を指差したものである．なお，視認性向上のため，点を半分に間引いて示した．	
[m]4",5",4",3",2",1"

0"

1"

2"

3"

4"

5"

図５	  10m 地点における指定点と指差された点	  表を見て分かる通り，左側・中央・右側で大きな差は無いため，距離ごとの差について分析する．指差しを行う人
から遠くに離れた点ほど，誤差は大きくなっている．また，プロットした図を見ると，全体的に，特に左側の点におい4$[m]て，指差し対象となる点よりも右側を指していることがわ
かる．

3.5$

4.3 考 察3$	  前述の通り，距離が遠くなるほど誤差が大きくなる．3mのとき 0.40m，5m のとき 1.05m，10m のとき 2.59m の誤

2.5$

差は，一見するとほぼ直線状に並んでおり，一次関数的に2$増加していくように見えるが，一次式で補間すると 0m の	[m]

1.5$
(2.5$

(2$(1.5$(1$(0.5$

0$

0.5$

1$

1.5$

2$

2.5$

図３	  3m 地点における指定点と指差された点ときの誤差が負になるため，一次関数的では有り得ない．
0m 地点における誤差を仮に 0m であるとすると，この誤差は距離の二乗に比例していると言え，一般的なビルの底面を 20m×20m の正方形であるとした場合，約 24m 先のビルの中心を指差しても，平均的な誤差であれば，指差し[m]6"た点はビルの中に収まると言える．このことから，車から25m ほどの点までに関しては，この手法が有効であり，指5"差し対象の認識は可能であると考えられる．

4"	  また，図から，指差しを行う人を中心とした放射状に点3"の誤差が分布していることが分かる．さらに，指差した時	[m]

2"'5"'4"

'3"

'2"

'1"

0"

1"

2"3"4"

図４	  5m 地点における指定点と指差された点5"の交点はあまり左右には誤差がなく，前後に対して大きく誤差があることが見て取れる．特に被験者に対して正面の点ではこの誤差が顕著である．この前後の誤差を生み出す要因として考えられるのが Kinect の設置方法である．本
実験においては，指差しを行う人の全身が映るように指差しを行う人たちの前方 1.6m，肩の高さに Kinect を設置した．しかし，この位置からモーションキャプチャを行うことにより，真正面を指した場合は突き出された腕によって手首や肘，肩などが隠されてしまい，手の位置が安定してキャプチャできていなかった．手の位置が前後に微妙に変© 2015 Information Processing Society of Japan146

化し続けることで引き起こされる直線の傾きの微妙な変化

参考文献

は，近距離の点を指し示す場合においてはあまり大きな距

1) Adato, A.: “Occasionality” as a constituent feature of the
known-in-common character of topics, Human Studies, Vol.3,
No.1, pp. 47-64 (1980).
2) Kohei Matsumura, Yasuyuki Sumi: What Are You Talking
About While Driving? : An Analysis of In-car Conversations
Aimed at Conversation Sharing, Proceedings of the 6thInternational Conference on Automotive User Interfaces andInteractive Vehicular Applications, pp. 1-4 (2014)
3) Kohei Matsumura, Yasuyuki Sumi: CarCast: a frameworkfor situated in-car conversation sharing, Proceedings of the 5th
Augmented Human International Conference, No.17 (2014)
4) Mistry Pranav, Pattie Maes, and Liyan Chang. : WUW wear Ur world, Proceedings of the 27th international
conference extended abstracts on Human factors in computingsystems - CHI EA '09. Boston, MA, USA, 4111. (2009)5) Pranav Mistry and Pattie Maes. 2009. SixthSense: awearable gestural interface. In ACM SIGGRAPH ASIA 2009
Sketches (SIGGRAPH ASIA '09). ACM, New York, NY, USA, ,Article 11 , 1 pages. DOI=10.1145/1667146.1667160
6) Eshed Ohn-Bar, Cuong Tran, and Mahan Trivedi. : Hand
Gesture-based Visual User Interface for Infotainment,
Proceedings of the 4th International Conference on Automotive
User Interfaces and Interactive Vehicular Applications,pp.111-115 (2012)
7) A. Riener, A. Frescha, F.Bachmair, P.Hagmuller, A. Lemme,D.Muttenthaler, D. Puhringer, H. Rongner, A. Tappe, and F.
Weger. : Standardization of the In-Car Gesture InteractionSpace, Proceedings of the 5th International Conference on
Automotive User Interfaces and Interactive VehicularApplications, pp. 14-21 (2013)
8) Sonja Rümelin, Chadly Marouane, and Andreas Butz. :Free-hand pointing for identification and interaction with
distant objects, Proceedings of the 5th International
Conference on Automotive User Interfaces and Interactive
Vehicular Applications, pp. 40-47 (2013)

離の誤差となって現れることはないが，遠距離の点を指し示す場合においては大きな問題となる．遠距離を指し示す
際は複数の直線の傾きが平行に近いため，左右に少しでもずれると，少しの傾きの変化が大きな距離の誤差の要因になる．	  この問題を解決する方法として考えられるのが，搭乗者の上からモーションキャプチャを行うことである．もちろん，指差しを行う人々の距離を離して指差しを行わせれば解決できる問題であり，そちらの方が容易でもある．しかしながら，車内という狭い空間においてはそれほどの距離を取ることができるわけではない．従って上から遮られないように撮るのが良いと考えた．ほとんどの車には屋根があるため，設置は容易であると考える．Kinect の深度方向の精度が悪くとも，今回の手法では指差しを行う人に対する上下方向の位置座標は無視しているため，問題にはならないと考える．

5. お わ り に	  本稿では，複数人の指差しによる指示対象識別手法について述べ，想定する環境における運用可能性を示した．今後はシミュレータを用いた，より実際に近い環境での実験や，実際の車内での実験によって本手法の運用可能性を検証したいと考えている．また，同時に指差さずとも，誰かの指差しによって他者の指差しが誘発され，時間差で指差し行動を行う場合や，車が動いている間に一人が継続して指差しを行う場合が考えられるため，GPS を用いて車輌の変位を計測するなどし，時間差の指差しにも対応できるよう改善を加えたい．また，車内において，Kinect などの赤外光を用いる計測機器は高い精度を期待できず，ジャイロセンサなどによる計測は高い精度があるものの，装着性が大きな課題となる．そのため，動きの計測方法についても考える必要がある．	  さらに，指差し行動による対象の特定と会話の紐付けには，本論文で述べた以外にも応用可能性がある．例えば，
Web 上の情報と場所の情報は，既に Google Maps[ b ]やYahoo!地図[c]などで紐付けされている．本手法で会話と対象の場所の情報を紐付けることができれば，Web と会話も紐付いた，新たな形のメディアが成立する．今後は，それらの応用系についても検討をしていきたい．

b) Google Maps	  https://www.google.com/mapsc) Yahoo!地図	  http://map.yahoo.co.jp/© 2015 Information Processing Society of Japan147