情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C532015/3/7

VISTouch – 複数デバイスを用いた動的かつ立体的連携
安本 匡佑†1

寺岡 丈博†1

概要：本研究では、複数の携帯デバイスを任意に組み合わせて同時に使用し、それらを動的かつ立体的に連携させることで、新しい操作感と面白さを実現するシステム（VISTouch）を構築した。ここでは、容易にデバイスの位置を移動させることができる携帯端末の特性に着目し、これらを立体的に接触させることで 3 次元空間を直感的に操作できることを可能にした。つまり、水平に配置したタブレットを上から見た地図とし、そのディスプレイ上にスマートフォンを接触させることで、相対的位置関係を動的に取得する。スマートフォンを仮想 3D 空間を見るための窓として機能させ、その位置、方向、角度からの映像をリアルタイムに表示する。実空間と仮想空間を重ね合わせることで実空間の情報が利用でき、映像のみに依存していた従来の仮想 3D 空間の方向認識を改め、空間把握能力の向上を目指した。このように、タブレット上でスマートフォンを動かしたり傾けたりといった新たな操作感をもたらし、単体では実現できなかった微細な移動情報を利用できる VISTouch の開発を実現した。

VISTouch - Dynamic Three-dimensional Connection
between Mobile Devices
MASASUKE YASUMOTO†1

TAKEHIRO TERAOKA†1

Abstract: In this study, we have constructed a new system that achieves a new operational capability and increases user interest in
portable devices by enabling multiple devices to be used in combination dynamically and spatially. We call the system “VISTouch”.
We focused on developing a mobile device attribute that would enable the user to easily move the position of the device. We
implemented a new approach with intuitive handling in three-dimensional (3D) virtual space. When a smart-phone is spatiallyconnected to a horizontally positioned tablet that is displaying a map as viewed from above, these devices dynamically obtain thecorrect relative position by using VISTouch. The smart-phone displays images viewed from its position, direction, and angle inreal time as a window to show the virtual 3D space. In addition to the old way of recognizing directions, which depends on virtual
3D images, we employed real space information to improve the user’s spatial perception by superimposing real space and virtualspace. Thus, we constructed VISTouch, which conveys a new operational feeling by moving or inclining the smart-phone on thetablet display and uses detailed information of the relative position in real space.

1. 背景

る身体感覚を用いることができないため、不正確にならざるを得ない。これを解決するために VR や MR などの分野

近年の携帯端末の普及により、一人で複数台の端末を所

では、ヘッドトラッキング可能な HMD や、立体的にマル持することが一般的になってきた。しかしながらそれらをチプロジェクション、マルチディスプレイを配することで使用する際に、それぞれに適した用途に合わせて使用する解決を図っている。

使い分けは行われるが、それらを効果的に複数台連携させ本研究で開発した VISTouch はこれら２つの背景を受け、て同時に使用することはない。また、次々に大きさや性能、直感的な 3 次元空間の操作を実現するために、複数の携帯OS、機能などが異なる機種が次々に市場に投入されている。

端末を組み合わせて使用することで解決を図るものである。

このような背景を受け、本研究はこのように巷にあふれる

これは、携帯端末同士の相対的位置関係をリアルタイムに機種に依存することなく、そして複数のデバイスを組み合自動的に取得する連携システムであり、いわば 1 つのアプわせることで、新しい使い方を提案するものである。

リケーションを２つの端末を同時に使って操作するもので一方、携帯デバイスはラップトップやデスクトップタイプのコンピュータと携帯性という意味では優れているが、基本的に映像提示面は一つの 2 次元平面であることは変わある。

2. 関連研究りがない、そのため 3 次元空間を扱うことは直感的に難し

複数の携帯端末を組み合わせるマルチデバイス、マルチい、これは情報として本来 2 次元しか提示できないため、ディスプレイの分野では、特にゲームにおいては活発で任現実の 3 次元空間での人の認識と異なり、例えば仮想の 3天堂の 3DS や Wii U がある。しかしこれらは、複数のディ次元空間上での移動や回転を人はその映像の変化からしかスプレイの使い分けであり、それぞれの位置関係を効果的判断することができず、現実に人が行っているように、身に利用しているとは言いがたい。マルチディスプレイの配体のひねり、頭部や眼球運動が発生せず、そこから得られ置 な ど に 関 す る 研 究 [1,2,3] の 他 、 特 徴 的 な も の と し て†1 東京工科大学
Tokyo University of Technology© 2015 Information Processing Society of Japan926

Pinch[4]があげられる。これは複数の隣接した iOS デバイのタッチケースを装着する。実験にはスマートフォンとしスをピンチ操作すること一つの画面として繋げることがでて iPod Touch 5th gen を、タブレットには iPad2 を使用してきるが、平面的にしか接続できない。またリアルタイムかいる。タッチケースはスマートフォンに装着するため、機つ連続的に相対的位置を変化させることには完全には対応種に依存してしまうが、本システムの要件を満たしてケーしておらず、端末間の相対的位置関係が変わった場合は接スを制作すれば、どの機種でも対応可能である。

続しなおさなければならない。またカメラからの映像認識により複数デバイスの連携を行う研究[5,6]、代表的なものとしては THAW インターフェース[7]などがある。しかし、動的な位置関係の変化に対応できるものの、立体的に角度を変化させることには対応していない。動的な移動と立体的配置を実現する

研究[8,9]があるが、プロジェクターとカメラによる画像認識を使用しており、処理が重く、また3 台以上のデバイスの同時使用には対応していない。
我々のシステムでは携帯環境で使用可能で、特殊なセンサ類を使用せず、動的に変化する立体的な位置関係をリアルタイムに取得可能とするだけでなく、デバイスへの依存度が低く、計算負荷や通信負荷も低いため、これらの技術と比べて優位性がある。

図 2
Figure 2

iPod touch に装着したタッチケース

VISTouch-case for iPod touch

3. システム概要

図 1
Figure 1

VISTouch 使用の様子Depiction of VISTouch system in use

VISTouch と名付けた本システムは、複数の携帯デバイスの相対的位置関係を動的に取得することを目的としている。
位置関係とは 3 軸の位置情報と角度情報を含むものとする。
使用するデバイスは、その大きさや OS に依存しないが、大小大きさの異なるものを使用することを想定し、便宜上大きい方をタブレット、小さい方をスマートフォンとして呼称する。
VISTouch は OS や機種に独自の機能を使用せず、加速度

図 3

VISTouch システムの処理の流れセンサ、マルチタッチ認識、Bluetooth の 3 つのみを必要と

Figure 3

Process flow of VISTouch System

し、これらは現在発売されている携帯デバイスのほとんどがこれを満たしているため、機種や OS に依存しない。そ本システムは、図 1 に示したように、下にタブレットをれ以外に、図 2 に示したように、スマートフォン側に専用置き、その上にタッチケースを装着したスマートフォンを© 2015 Information Processing Society of Japan927

接触させることで、両者の相対的位置関係を動的に取得す得られる複数の座標情報の距離とその比率から、タッチケるものである。図 3 にこの相対的位置関係を取得するためースのどの辺で接触したのかを判別することができるのでの本システムの処理の流れを示した。

ある。また、突起物はなめらかな円弧を描いているため、3.1 タッチケース

辺でタブレットに接触する際に、幅広い接触角度の範囲に対応し、常に 3 点が同一直線状に並ぶように接触することができる。

図 4

VISTouch のタッチケース、左がアルミ製、右が樹脂＋導電塗料

Figure 4

VISTouch-case, Aluminum case(Left), Resin casethat painted a conductive paint(Right)

図 6

5 つの接触パターン、P1 から P4 は辺で接触。P5 は面で接触。P1P2 と P3P4 は長さが異なる。P1 と P2（P3 と P4）は比率が異なる

タッチケースは導電体でできており、図 4 に示した導電性のアルミ(A6061)を削り出したものと、3D プリンタで出力した紫外線硬化樹脂に導電性塗料を塗布したものを用い

Figure 3

different rates between connection points.)ている。またタッチケースには同じ導電素材の複数の突起物が存在し、かつそれらは導電体で接続されている。そのためこれらを静電容量方式のマルチタッチ認識が可能なタ
ブレットなどのディスプレイ面に接触させると、人の指で触ったのと同様にタブレットに認識される。

Five connection patterns (P1-P2 and P3-P4 havedifferent distances between connection points. All patterns haveタブレットとタッチケースを装着したスマートフォンが接触し、相対的位置関係を取得するためには、タッチケースの突起物のうち 3 点以上が接触していなければならない。
面で接触する際は 4 点以上であれば任意の点で判別可能であるが、3 点の場合は同一直線状に並んでいないことが条件となる。接触する際のこれらのパターンは図 6 に示した5 パターンが存在する。P1,P2,P3,P4 は辺で接触する場合で、P5 は面で接触する場合である。スマートフォンの表面で接触することも認識できるが、スマートフォンの画面の映像が見えないため、考慮しないものとする。P1 と P2、P3 とP4 は接触する辺の物理的な長さが異なるため、それぞれを判別することができ、P1 と P2 では、同じ短辺で接触しているため、物理的距離は同じだが、3 点が接触しており、3点間の距離の比率が異なるため、P1 と P2 を判別できる。
P3 と P4 も同様である。これらの突起物の比率は、スマートフォンの側面部にあるスイッチやイヤフォンジャックな

図 5
Figure 5

どの位置を避けて、辺ごとの突起物の比率が異なり、なおタッチケースの突起物の詳細

Protuberances of VISTouch-case

タッチケースの裏面には図 5 に示した配置で突起物が複数配置されている。突起物は、4 辺の辺ごとに 3 つ存在し、頂点の突起物は裏面で 1 つになるため、辺で接触した際は3 点、裏面で接触した場合は最大 8 点が認識される。この突起物の配置は、辺ごとに物理的距離と比率が異なる。そのため、タブレットに接触し、マルチタッチ認識によって© 2015 Information Processing Society of Japan

かつすべての突起物間の物理距離も変えることで、判別の精度を上げている。
3.2

タブレット側での相対的位置関係の処理

タッチケースとタブレットが接触し、3 点以上を認識すると、相対位置化関係を計算するためのステップへと進む。
タッチケースの物理的距離と、タブレットの解像度と寸法をあらかじめデータベースに持っておくことで、マルチタッチ認識によって得られた座標値と比較し、どの辺で接触928したのかを判別する。実験に使用した iPad2 では、解像度

A’B’と線分 B’C’は長さが異なるため、接触した辺のタブレは 132dpi のため、1mm あたり約 5.2 ピクセルとなる。図 7

ット平面の法線方向を軸とした角度を計算、タブレット平にタッチケースの下辺の寸法を示しており、スマートフォ面にタッチケースの辺で接触しいることからもう一軸の角ンの側面にあるボタンやコネクタを避けるように突起物を度を取得できる。タッチケースの辺を軸とした。また、座配置し、突起物はタブレット側が認識しやすいように 6mm標の値から、スマートフォンの 2 軸の位置を取得、タッチの幅を持っており、下辺の最大距離は 51mm となり、このケースの外寸とお互いに接触していることから残り 1 軸の時 265.2 ピクセルの距離となる。しかしながら、実際に iPad2位置を計算できる。

上で計測を行うと約 240~275 ピクセルの間で変化する。ここれにより辺で接触した場合は、この時点で相対的 3 軸のれはタッチケースの寸法の精度や、突起物の幅の広さに由位置と 2 軸の角度が計算できる。直線 A’B’C’を軸とする角来するものであり、精度向上は今後の課題である。

度が不明である。

VISTouch システムではこの誤差を解消するために、物理距面で接触し、3 点の座標が得られる場合は、それによっ離から得られるピクセル距離と、その比率の両方の値を使て構成される三角形の形から面の位置と角度を計算し、4用して辺の判別を行っている。

点以上の場合は、同一直線状に 3 点が並ぶ点があれば、そこから辺を判別し、残りの点の座標から面の位置と角度を計算する。同一直線状に 3 点が並ぶ点がない場合は、三角形に分割し、その形から計算を行う。面で接触する際は、タブレットの面とスマートフォンの面が平行であることから、この時点で相対的 3 軸の位置と角度が計算できる。
3.3

スマートフォン側での相対的位置関係の処理

接触によって計算できる相対的位置関係の情報の共有と、辺で接触した際の不明な 1 軸の回転角度を取得するため、タブレット側で計算した相対低地関係の情報をスマートフ
ォン側に無線で通信を行う。通信処理は、モバイル環境で
図 7
Figure 7

突起物の寸法

Dimensions of the protuberancesの使用を前提にしているため、Bluetooth を用いて行う。
スマートフォン側では、内蔵の加速度センサを用いて、タブレットとの接触している辺を軸とした角度を取得し、タブレット側から送信されてきた情報と組み合わせることで、相対的な 3 軸の位置と角度を計算し、計算結果をタブレット側に Bluetooth を使い送信することで、お互いに相対的位置関係の情報を共有することができる。

4. 応用
本研究は複数のデバイスを組み合わせることで初めて意味を持つ。携帯デバイスのディスプレイは物理的に 2 次元であり、3 次元情報を表示してそれを人に認識させるには限界があった。本研究では複数のデバイスを立体的に配置し、実空間での配置をそのまま仮想空間での位置関係とすることができるため、相互の位置関係の把握が容易となり、直感的に操作することが可能となる。これにより複数の携帯デバイスを使い分けたり、対戦ゲームをしたりする
以上に、複数のデバイスを所持する意味を与え、高精度の
図 8
Figure 8辺の位置と角度の判別法

Method of determining the position and angle

相対的位置情報の取得、低負荷の処理を実現するポストマルチディスプレイ・デバイスとなり得るだろう。
VISTouch のソフトウェア部分はすべてゲームエンジン

図 8 の様にケースの下部の突起物 ABC が、タブレットUnity 上で動作するように制作している。このため、iOS だに接触すると、3 点の座標 A’B’C’が得られる。この時、こけでなく、android や windows phone 等、マルチプラットフの 3 点が一直線上に並ぶと、辺で触れたと判定し、そうでォーム環境で使用することができる。タッチケースの寸法ない場合は面で触れたと判定し、処理を分岐させる。線分や、タブレットの解像度を VISTouch の持つハードウェア© 2015 Information Processing Society of Japan929

のデータベースに登録しておけば、本システムをそのままほかの端末を用いて使用することが可能となる。
4.1

ゲームへの応用

4.2

地図アプリへの応用

3D 空間を 2D のディスプレイで操作すると、移動や方向の情報は映像情報からしか判断することができず、そのた

VISTouch は Unity を用いており、相対的位置関係の取得め方向などを見失いやすかった。これは例えば、Googleに必要な計算コストが低く、また通信も座標情報のやり取

Street View を使ったとき、2D のマップと 3D の Street View

りのみで、非常に軽量のため、コンテンツに使用できるリが別の位置に描画され、Street View 側で暫く操作を続けてソースが多い。

いると地図上のどの位置にいて、今どちらの方角を見ているのかを見失ってしまうことがあげられる。

図 10

Vistouch の地図アプリ

Figure 10

3DMap for VISTouch

図 10 はこの問題を解決した VISTouch を利用した地図アプリである。タブレット上には地図を表示し、スマートフォンにはその位置、方向、角度の立体地図を表示している。
タブレット側の地図をスワイプすると、地図の位置を動かすことも可能である。これにより、現実空間にタブレットもスマートフォンも目に見えて存在しているため、いま地図上のどこからどの方向を見ているのかが一目瞭然で理解することができる。
この地図アプリは現在 Unity を利用し、アプリ内部に 3Dの都市モデルを持っており、それを利用した表示を行っているが、将来的には、Google Map と Google Street View への対応を検討している。
4.3
図 9Figure 9

3 台以上への応用

ゲーム作品“Phantom Window”

本システムは、3 台以上への応用にも対応可能である。こGame work “Phantom Window”の場合はタブレット 1 台に、タッチケースを装着したスマートフォン 2 台を想定しており、タッチケースの導電体突

図 9 は VISTouch を利用したゲーム作品”Phantom Window”である。このゲームでは、タブレット側に 3D 空間を真上

起物の 1 辺当たりの数、間隔、比率のパターンを変えることでタブレットはそれぞれを区別できる。

から見た地図を表示し、スマートフォン側には接触したそ3 台以上で接続する際は、2 つのパターンを想定しておの位置、その方向、その角度からその 3D 空間を立体的にり、1 つは、タブレットに対して 2 台のスマートフォンの覗き込むことができる。接触する辺によって、スマートフうち 1 台あるいは同時に 2 台が辺で接触する場合で、タッォン側に表示する映像を変化させている。また、タブレッチケースごとに接触点は必ず一直線上に並ぶため、タブレトと、スマートフォン側で 1 つの 3D 空間を共有するため、ットは 2 つのスマートフォンを区別し判別可能である。

スマートフォン側で、ステージ上に見えているオブジェク

もう一つのパターンは 1 台のタブレットに 1 台のスマートを触ったり動かしたりすると、その結果が即座にタブレトフォンを接触させ、さらにそのスマートフォンにもう 1ット側にも反映される。

台のスマートフォンを接触させる場合であり、この場合は単純に 2 台の携帯端末同士のやりとりを 2 重化するだけで© 2015 Information Processing Society of Japan930

あり、操作性は悪いが４台以上に台数を増やすことも難しくない。

5. 今後の課題

図 11
Figure 11

精度測定アプリケーション

Application for accuracy measurement

現在の課題はタッチケースをタブレットに接触した際

New York, NY, USA, pp.269-276 (2001).
4) Ohta,T. and Tanaka, J.: Pinch: An Interface That Relates Applications
on Multiple Touch-Screen by ‘Pinching' Gesture, Advances in ComputerEntertainment, Lecture Notes in Computer Science Volume 7624, pp.320335 (2012).
5) Baur, D., Boring, S., and Feiner, S.: Virtual projection: exploring
optical projection as a metaphor for multi-device interaction,
In Proceedings of the SIGCHI Conference on Human Factors in
Computing Systems (CHI '12), ACM, New York, NY, USA, pp.16931702 (2012).
6) Boring, S., Baur, D., Butz, A., Gustafson, S., and Baudisch. P.: Touch
Projector: Mobile Interaction through Video, In Proceedings of theSIGCHI Conference on Human Factors in Computing Systems (CHI '10),
ACM, New York, NY, USA, pp.2287-2296 (2010).
7) Leigh, S., Schoessler, P., Heibeck, F., Maes, P., M., and Ishii, H.:
THAW: Tangible Interaction with See-Through Augmentation for
Smartphones on Computer Screens, In Proceedings of the adjunctpublication of the 27th annual ACM symposium on User interface
software and technology, ACM, New York, NY, USA, pp.55-56 (2014).
8) Nagakura, T. and Oishi, J.: Deskrama, In ACM SIGGRAPH 2006
Emerging technologies (SIGGRAPH '06), ACM, New York, NY, USA,Article 6 (2006).
9) Dalsgaard, P. and Halskov, K.: Tangible 3D Tabletops: Combining
Tangible Tabletop Interaction and 3D Projection, In Proceedings of the7th Nordic Conference on Human-Computer Interaction: Making Sense
Through Design (NordiCHI '12), ACM, New York, NY, USA, pp.109118 (2012).の認識精度である。図 11 の様に接触時の突起物間の座標を計測するアプリケーションを用いて、タッチケースを移動させたり、回転させたりすると本来一定のはずのあたりが常に変化してしまう。これは、タッチケースの精度と材質に由来する問題である。現在使用している樹脂製のケースは、3D プリンタで出力したものに、導電インクを塗布したもので、素材的にインクを弾いてしまうため、使用中にインクが剥がれ落ち、導電性能が落ちてしまう。また樹脂の歪みやインクの量で、本来 3 点で接触するはずの突起物に凹凸が生じ、接触不良の原因となっている。これを解決すべく、図 4 に示したアルミの削り出しによるケースの制作を行ったが、タブレットの表面を削ってしまい、傷防止のための保護用のシートを用いると、認識精度がさらに下がるという問題が発生している。
これらの問題はタッチケースの材質が硬質のため、工作制度が高くなければ十分な接触面積を得られないということに起因すると考えており、軟質の素材を用いることでさらなる精度向上を模索している。

参考文献
1) Ohta, T.: Dynamically reconfigurable multi-display environment for
CG contents, In Proceedings of the 2008 International Conference onAdvances in Computer Entertainment Technology, pp.416-416 (2008).
2) Ohta, T. and Tanaka, J.: Automatic configuration of display ordering
for multi-display environments, In Proceedings of the 7th International
Conference on Advances in Computer Entertainment Technology (ACE'10). ACM, New York, NY, USA, pp.24-27 (2010).
3) Rekimoto, J., Ullmer, B., and Oba, H.: DataTiles: A Modular Platform
for Mixed Physical and Graphical Interactions, In Proceedings of theSIGCHI Conference on Human Factors in Computing Systems. ACM,

© 2015 Information Processing Society of Japan931