情報処理学会 インタラクション 2015
IPSJ Interaction 2015

B24
2015/3/6

スマートフォンとクラウドを利用したインタラクティブディスプレイシステムの提案
大木 遼太1

河越 嵩介1

孫 嘉成1

鄭 万嘉1

嵯峨 智2

概要：本研究では，ディスプレイを窓のようにして仮想空間を覗き込むような感覚を実現する，インタラク
ティブディスプレイシステムを提案する．提案システムでは，スマートフォンと標準的な PC およびディスプレイといった汎用的な装置とクラウドを利用して，簡易的な装置立てにより CAVE システムのようなディスプレイシステムを実現する．ユーザが持つスマートフォンのカメラにより AR マーカとの位置関係をリアルタイムに取得し，ユーザの移動に合わせて映像をリアルタイムに描画することで，強い没入感を提示可能なシステムを実現する．本稿では，システムの概要とプロトタイプの実装，動作について述べる．

Novel Interactive Display System
Using Smartphone and Cloud Service
Ryota Oki1

Shusuke Kawagoe1

Sun Jiacheng1

Zheng Wanjia1

Satoshi Saga2

Abstract: In this research, we propose an interactive display system that makes the user feel as if he/shegazes at virtual space out of the window. The system is composed of smartphone, PC, display and cloudservice, so it realizes CAVE-like immersive system by employing simple devices. Relative position information is acquired by the user’s smartphone and marker(s). Based on the information, the system renders
the appropriate image in real-time. In this paper, we describe about implementation and operation of thesystem.

1. はじめにり，没入感を実現する．
しかしながら，いずれのディスプレイシステムにおいて近年，Oculus Rift をはじめとする Head-Mounted Dis-

も幾つかの問題点が挙げられる．IPT 環境の実現におけるplay（HMD）の普及に伴い，ゲームなど仮想空間への没問題点として，位置センサや複数のプロジェクタおよびス入感を提示するディスプレイシステムに注目が集まっていクリーンなど多くの高価なデバイスが必要であり，さらにる [1]．このような没入感を提示するディスプレイとして可搬性に乏しいこと，設置場所が限られてしまうことが挙は HMD のほか，これまでに CAVE システムに代表されげられる．このように IPT システムは個人が気軽に使用る Immersive Projection Technology（IPT）の開発が行わするシステムとしては大規模であり，研究やイベント等にれてきた．IPT はユーザの周囲の空間にディスプレイを設用途が限られてしまう．

置するのに対し，HMD はユーザの目元に視界を覆うよう一方 HMD は専用のデバイスを用意さえすれば容易に実にディスプレイを設置する．両システムともユーザの動き現可能であり，主に個人を対象としたディスプレイシステに合わせてインタラクティブに映像を変化させることによムとして現在普及しつつある．しかしながら HMD はユー

1

ザの視界を覆うようにして使用する特性上，日常的な生活2

筑波大学 大学院システム情報工学研究科
Graduate School of System and Information Engineering,
University of Tsukuba
筑波大学 システム情報系
Faculty of Engineering, Information and Systems, Universityof Tsukuba© 2015 Information Processing Society of Japanの中で利用するには適さず，加えてユーザの動作と映像の描画のずれや操作性等に起因する酔いが生じやすい [2]．
そこで著者らは上記の問題を改善する没入型ディスプレ530

イシステムとして，スマートフォンや標準的な PC，ディスプレイなどの汎用的な装置とクラウドサービスを用いた簡便なインタラクティブディスプレイシステムを提案す

3. システムの概要
3.1 利用方法

る．本システムは，スマートフォンのカメラと AR マーカ

本システムは，クライアント端末（スマートフォン，タを利用した相対位置計測によりユーザの位置情報を取得すブレット端末等），クラウド中継サーバ，コンテンツサー

る．この位置情報に応じてリアルタイムに映像を変化させバ，ディスプレイの 4 つの要素で構成される（図 1）．ク

ることで，ディスプレイを窓のようにして仮想空間を覗き込むような感覚を実現し，没入感を提示可能なインタラクティブディスプレイシステムをして動作する．本システム
は，汎用的な装置およびクラウドを用いた手軽な構成により，酔いを抑えつつ日常生活の中での利用を実現する．

2. 関連研究
近年，HMD として Oculus Rift が注目されている [1]．

Oculus Rift は角速度センサ，加速度センサおよび磁気センサを搭載しており，姿勢推定を行ってインタラクティブにコンテンツを動作させることで没入感を実現するが，回転方向の姿勢推定は可能である反面，並進方向における位置情報の補正は不可能である．本システムは実空間に設置された AR マーカから相対位置情報を取得するため，回転方向および並進方向において適切な位置情報を取得できる．
また，IPT における技術発展のきっかけとして，アメリカのイリノイ大学で開発された CAVE（CAVE Automatic

Virtual Enviroment）が挙げられる [3]．CAVE は，前，右，左および床面に設置されたそれぞれスクリーンに対し，プロジェクターを使用して映像を投影し，ユーザはそのスクリーンに囲まれた空間内を移動して没入感を体験する．
ユーザは磁気センサを搭載したシャッターグラス方式の

図 1

本システムの概要図

ライアント端末（スマートフォン，タブレット端末等）のカメラはユーザ視点の役割をもっており，それを保持したユーザがカメラを正面にかざしながら移動することで利用できる．ディスプレイ上や周辺には AR マーカが設置されており，カメラが AR マーカに向けられると，クライアン
ト端末と AR マーカの相対位置情報を取得する．この相対位置情報がクラウド中継サーバを経由してコンテンツサーバに送信され，位置情報に基づいた映像をディスプレイに対してリアルタイムに描画することにより，仮想空間を窓越しに見ているかのような没入感を実現できる．例えば，ユーザが左右に動けば，ユーザは仮想空間内のオブジェクトを左や右から見ているような画像を視認できる．本シス
テムの利用時の様子を図 2 に示す.

3D グラスを身につけており，CAVE は磁気センサーからユーザの位置を特定し，視点を考慮した立体視映像を投影する．CAVE は提案システムと類似した没入感を提供するが，以上のように様々な装置から構成された大規模なシステムであり，研究用途を目的として開発されたため個人用途には向いていない．本システムは CAVE のような動作を簡易的な装置立てにより実現する．
さらに提案システムと類似したシステムとして，RoomA-live が挙げられる [4]．RoomAlive は家庭環境のような部屋全体に対して，見え方を考慮した映像を投影するインタラクティブシステムであり，部屋の形状に合わせて映像を投図 2

本システムの利用時の様子影することによって，あたかも仮想空間がその場に広がっているかのように見せ没入感を実現する．加えて Kinectを使用して人の動作を感知し，それに応じてコンテンツを変化させられるインタラクティブシステムである．しかし映像を適切に投影するためにはあらかじめ空間の形状を把握しなければならず，部屋の中心など決められた場所に装置を設置する必要がある．一方，本システムは AR マーカ
を通じて相対位置情報を動的に取得するため，ディスプレイの位置情報を簡便に取得できる．

© 2015 Information Processing Society of Japan

3.2 システムの動作
以下に，本システムにおける一連の処理を示す．

( 1 ) ディスプレイ上や周辺に設置された AR マーカをクライアント端末のカメラで撮影し，AR マーカとクライアント端末間の相対位置情報を算出する．

( 2 ) クライアント端末は，得られた相対位置情報をクラウド中継サーバ経由でコンテンツサーバに送信する．

531

( 3 ) コンテンツサーバは受信した相対位置情報をもちいてジン Unity と言語として C Sharp を使用した．

コンテンツ映像を描画する．

表 1 使用した PC の性能
Intel(R) Core(TM) i5-3320M 2.60GHz

この一連の処理を逐次繰り返してクライアント端末（ユーCPUザ）の位置情報を反映した映像をリアルタイムに描画する

メモリ

8.00GBOS

Windows 8.1 Pro

ことにより，現実空間と仮想空間における動作が一致し，ユーザは仮想空間への没入感を得られる．

4. 実装

5. システムの評価実験
5.1 評価項目と実験プロトコル

4.1 通信規約と内容本システムではクライアント端末で取得した相対位置情報をリアルタイムで処理し，コンテンツサーバで適切に展開するために，通信規約を設定した．通信プロトコルは逐次的な通信処理に適しているという観点から，一つのコネクション上で全データの送受信ができる WebSocket を使用した．主な通信内容はクライアント端末と AR マーカ間の相対位置情報を表す変換行列であり，加えてディスプレイに対応する AR マーカの識別 ID を含む．

システムの計測精度およびインタラクティブシステムとしての動作速度を評価するため，以下の二項目について評価実験を行う．

( 1 ) 計測精度
クライアント端末と AR マーカ間の相対位置計測精度を確認するため，マーカを固定し，クライアント端末を移動させたときの移動，回転量と，計測された変換行列における並進，回転成分を比較する．図 3 のような固定器具を作成し，方眼紙上でクライアント端末を移動させたときの移動，回転量の実測値と，クライア

4.2 クライアント端末の実装ント端末による計測値を記録した．

はじめに，ユーザが保持するクライアント端末で撮影した画像をリアルタイムで処理し，AR マーカを探索する．

AR マーカを認識した場合，AR マーカに割り振られている ID と，AR マーカの座標系をクライアント端末のカメラ座標系へ写す変換行列を算出し，それらを相対位置情報とする．次に，得られた相対位置情報を MessagePack を使用してバイナリデータへ変換し，あらかじめ設定されているクラウド中継サーバへデータを送信する [5]．プロト
タイプの実装ではクライアント端末として Nexus7 を使用し，Java 言語を用いて Android アプリケーションを作成した．また AR マーカの種類や数を簡便に設定可能とする
ため，AR ライブラリとして Metaio を使用した [6]．

図 3 固定器具を使用した実験( a ) 並進移動実験
AR マーカの中心を原点，法線方向を z 軸とする．

4.3 クラウド中継サーバの実装

このとき，クライアント端末のカメラと AR マー

クラウド中継サーバにおける処理は，クライアント端末カを正対させ，z 軸にカメラの光軸を合わせるようから送信された相対位置情報を受信し，そのままコンテンにクライアント端末を設置する．この状態からカツサーバへ送信することである．なおクラウド中継サーバ

メラ位置 zc を 150 mm から 1150 mm まで 50 mmを経由する利点は，第 6 節にて述べる．プロトタイプの実間隔で変化させ，計測値を記録する．図 4 に計測

装では，クラウド中継サーバとしてクラウドサーバサービ結果を示す．

ス Heroku を使用し，言語は Node.js を使用した．

また，AR マーカの水平方向を x 軸とする．このとき，zc = 500 mm 付近にカメラ位置を合わせ4.4 コンテンツサーバの実装るようにクライアント端末を設置する．この状態

コンテンツサーバはクラウド中継サーバより送信されたからカメラ位置 xc を −160 mm から 160 mm まで相対位置情報を受信し，クライアント端末におけるバイナ20 mm 間隔で変化させ，計測値を記録する．図 5

リデータの変換と同様に MessagePack を使用してデータに計測結果を示す．

を復号する．得られた位置情報から仮想空間上のカメラ位( b ) 回転移動実験

置を決定し，ディスプレイに映像を描画する．プロトタイ

AR マーカの中心を原点，z 軸を 0◦ とし，zc =プの実装では，コンテンツサーバとして標準的な PC（表500 mm 付近にカメラ位置を合わせるようにクラ1）を使用した．またコンテンツ作成にはゲーム開発エン© 2015 Information Processing Society of Japan532

表 2

イアント端末を設置する．この状態からカメラを◦

原点中心にパン方向に ±16 程度変化させる．こ通信時間 [mm]のときの計測結果を図 6 に示す．
Measured	  Value	  通信時間の計測結果
平均
標準偏差

Calculated	  Value	  114.4

36.9

また，クライアント端末におけるデータの送信間隔

1400	  

およびコンテンツサーバにおけるデータの受信間隔を1200	  

計測し，得られた結果を表 3 に示す．

1000	  

表 3 データ送受信間隔の結果
送信間隔
受信間隔

Calculated	  Value	  	   800	  [mm]	
600	  

平均 [ms]56.657.6

フレームレート [fps]17.7

17.4400	  200	  200	  図 4400	  600	  800	  1000	  Measured	  Value	  [mm]	

1200	  

光軸上における zc の実測値と計測値のグラフ

5.2 評価結果と考察
zc の並進移動実験の結果からは，理論値とやや傾きは異なるものの線形な関数が得られる．この傾きの違いについMeasured	  Value	  ては今後の検証とするが，理論値に対して 17% 程度の誤Calculated	  Value	  160	  差率に抑えられていることがわかる．一方，xc の並進移120	  動実験の結果からは，理論値に対して 10% 程度の誤差率80	  に抑えられていることがわかる．また回転運動の結果から40	  Calculated	  Value	  [mm]	  は，全体に上下のばらつきがあるものの，全方向に渡り 3◦0	  程度の誤差に抑えられていることがわかる．

-­‐40	  インタラクティブ性を確認する実験からは，大きなばら-­‐80	  つきが見られるものの通信時間は 114 ms 程度であり，リ-­‐120	  -­‐160	  -­‐160	  図 5

アルタイムなデータ通信を可能としていることがわかる．
-­‐120	  -­‐80	  -­‐40	  0	  40	  80	  120	  160	  Measured	  Value	  [mm]	

通信間隔についてはそれぞれの更新速度が 17 fps 程度とな

光軸上における xc の実測値と計測値のグラフ

り，十分に高速とはいえないまでもある程度のインタラクティブ性を確保したシステムを構築可能なことがわかる．

Measured	  Value	  Calculated	  Value	  20	  6. おわりに

16	  12	  本研究では，既存のディスプレイシステムにおける問題

8	  点を解決するインタラクティブディスプレイシステムの提Calculated	   4	  Value	  0	  [angle]	  -­‐4	  案，およびプロトタイプの実装と有効性の評価をおこなった．本システムは位置情報を簡便かつ適切に取得し，仮想-­‐8	  空間の描画に反映させることで没入感の提示を実現する．

-­‐12	  今後，位置情報に基づいたコンテンツ描画の適正について-­‐16	  -­‐20	  -­‐16	   -­‐14	   -­‐12	   -­‐10	   -­‐8	   -­‐6	   -­‐4	   -­‐2	   0	   2	   4	   6	   8	   10	   12	   14	   16	  Measured	  Value	  [degree]	

図 6

パン方向における回転の実測値と計測値のグラフ( 2 ) インタラクティブ性
一連のシステムとして動作させたときに，ユーザの動作に対してディスプレイ描画までがどの程度の遅れになるかを計測するため，クライアント端末-コンテンツサーバ間（図 1 参照）における相対位置情報の更新速度を計測する．同一のデータにおけるクライアント端末からの送信時間およびコンテンツサーバでの受信時間を 3 秒間計測し，得られた通信時間の結果を表 2 に示す．

評価実験を行い，本システムのさらなる有効性を実証する．
またプロトタイプの実装では，クラウド中継サーバを経由して位置情報を受け渡すようにした．これは様々な場所におけるシステムの利用を想定したもので，第三者へのコンテンツ提供や新たなコミュニケーションツール等の利用が期待できる．本システムにおける位置情報の取得技術
は，GPS のような既存技術では位置を取得できない状況での利用や，より簡便かつ正確な位置情報を提供できるフレームワークとしての利用が可能であり，街中のデジタルサイネージや大型ディスプレイを利用した新たなサービスの展開が期待できる．
さらに近年，カメラの移動により観測される視差から認識されるカメラの位置と姿勢，空間の形状を利用したマーカレス AR の研究が行われている [7][8]．本システムは AR
マーカを使用しクライアント端末とディスプレイとの相対位置情報を取得するが，マーカレス AR の活用によりディスプレイや周囲の空間情報に基づいた位置情報を取得でき，より簡便な本システムの利用が期待できる．今後，エンターテイメントにおけるコンテンツや日常生活における応用に向けた，AR とクラウドを組み合わせた新たな価値の提供についての検討が課題として挙げられる．
謝辞 本研究は，enPiT（分野・地域を超えた実践的情報教育協働ネットワーク）ビジネスアプリケーション分野
における教育事業のプロジェクト成果物です．
参考文献[1][2]

[3]

[4]

[5]
[6]
[7]

[8]

Oculus Rift, http://www.oculus.com, (2014.12.11)
Simon Davis, Keith Nesbitt, Eugene NaliVaiko: A Systematic Review of Cybersickness Proceedings of the 2014
Conference on Interactive Entertainment, pp.1-9, 2014
Carolina Cruz-Neira, Daniel J. Sandin, Thomas A. DeFanti: Surround-Screen Projection-Based VirtualReality: The Design and Implementation of the CAVE,ACM SIGGRAPH ’93 Proceedings, pp.135-142, 1993
Brett Jones, Rajinder Sodhi, Michael Murdock, RavishMehra, Hrvoje Benko, Andrew D. Wilson, Eyal Ofek,Blair MacIntyre, Nikunj Raghuvanshi, Lior Shapira:
RoomAlive: Magical Experiences Enabled by Scalable,
Adaptive Projector-Camera Units, ACM UIST, 2014
MessagePack, http://msgpack.org/, (2014.12.11)
Metaio, http://www.metaio.com/, (2014.12.11)
Georg Klein, David Murray: Parallel Tracking andMapping for Small AR Workspaces, 6th IEEE and ACM
International Symposium on Mixed and Augmented Reality, pp.1-10, 2007
Smart AR, http://www.sony.co.jp/SonyInfo/News/Press/201105/11-058/, (2014.12.11)© 2015 Information Processing Society of Japan534