WISS 2016

Qoom: 球体型インタラクティブディスプレイ
宮藤詩緒 ∗

李 正卿 †

佐藤俊樹 ‡小池英樹 §概要. 本論文では完全な球体型ディスプレイデバイスとして Qoom を提案する．本システムでは，球体の代表的な物体であるボールの特性を活かしたインタラクションを可能とし，タッチによる操作はもちろん，回転や投げるといった球体特有の動きを操作に組み込んだ．また，球体ディスプレイに表示される情報の探求として，球体形状の情報の直接表示だけでなく，平面的な矩形情報の表示や，非球体情報の球体情報への変換表示を行い，球体特有の操作と組み合わせ，人と球状情報とのインタラクション手法の検討を行った.
そして，これらのインタラクションや球体面への表示方法を利用したアプリケーションを作成し有用性を示した．

1

はじめに
近年，コンピュータシステムは大きな発展を遂げ，3 次元 CG, 全天球映像など従来の２次元コンテンツとは異なるメディアが生まれている．しかし，このようなコンピュータ内部および入力技術の発展にもかかわらず，出力として用いられるディスプレイは 2 次元平面の矩形という形から抜け出せずにいる．
従来の平面的なディスプレイではインタラクションや表現方法など様々な面で制限を有する．例えば，平面的な 1 枚のディスプレイに表示された 3 次元立体とのインタラクションを考えると，指のフリックや，ボタンでの操作が一般的であるが，これは実際の 3 次元物体を回転させる手の動作とは全く別の動作で行われるため，直感的ではない．直方体の全面に画面を表示を行えば 6 視点からの立体映像を表現することができるが，連続的な画像を表示しても面と面のつなぎ目に角が出てしまうため，非連続的な表現となってしまう．
そこで我々は，新しいディスプレイの形態として，非平面かつ連続的な繋がりを持つサーフェスから成る「球」の形状に着目し，球体の代表的で，我々にとって最も身近で扱いやすい物体の一つである「ボール」の特性を活かしたインタラクティブメディアとしての応用を試みた．球面を用いたディスプレイの先行研究として Benko らの Sphere [1] が挙げられるが，球面の特性は活かしていても，球体（ボール）の特性である，回転・投げるといった動作を活かしたインタラクションが行えていなかった．ボールは，古くからスポーツや遊戯のための道具として我々の身近に存在してきた，手・足・頭など我々の体の様々な部位と接触し，人と直接的な触れ合いが可能な道
Copyright is held by the author(s).
東京工業大学大学院情報理工学研究科計算工学専攻†
東京工業大学大学院情報理工学研究科計算工学専攻‡
東京工業大学大学院情報理工学研究科計算工学専攻§
東京工業大学大学院情報理工学研究科計算工学専攻∗具である．さらに，投げる・蹴る・叩く等の激しい扱いをされても決して壊れないという「究極の耐久性を備えた道具」であるという一面を持つ一方で，時には細かい指先の動作によりコントロールされる「繊細な装置」の一面も持つ．そこで本研究では，完全な球体型ディスプレイ「Qoom」を提案し，従来の「人とボールとの関係」をインタラクティブ技術を用いて拡張することで，「人と情報」・「人と物」・「人と人」とのより直接的なインタラクションを可能とする新しいインタラクティブディスプレイの実現を試みた．

2

目的

本研究の目的は，球体の全表面をディスプレイとして用い，タッチによる操作はもちろん，実際のボールのように手にとり，回転や投げるといった球体（ボール）特有の動作を用いてインタラクションを行うことの出来る，軽量かつ耐衝撃性をもつボール型ディスプレイをプロトタイピングし，これを用いた新しいインタラクション手法を提案することである．
まず本研究では，実際に球の全表面をディスプレイとして用いることが可能な「完全な球状」のディスプレイデバイスの開発を行った．球面に映像を表示する手法として，球体内部に内蔵したプロジェクタからの投影や，小型液晶パネルの貼り付け，球面上に LED アレイを構築する手法等が考えられる．
しかしこれらの手法は装置の小型・軽量化が困難であったり，内蔵するプロジェクタ等の耐衝撃性も限界があったりする．そこで本研究では，全球面上への映像表示手法として，複数の外部プロジェクタからディスプレイデバイスに対しリアルタイムに全周囲投影を行う手法を用いることにした．これを行う
ために，複数台のプロジェクタによるプロジェクショ
ンマッピング環境と 3 次元モーションキャプチャシ
ステム，さらにボール内に内蔵した無線式センサデ

WISS 2016

バイスを組み合わせて用いたリアルタイムプロジェクションマッピング環境を構築し用いることにした．
また，球状ディスプレイデバイスに対する入力手法として，我々がボールを手にした際に手で自然とボールに触れる時のような動作に近い，手指による直接的なタッチ操作に着目した．これを実現するた
めに，上記ボール型ディスプレイデバイスに静電容量式のタッチ検出機構の実装を行った．本論文では，まずこれらの実装方法について詳細に述べる．
次に，本研究では構築した完全な球面ディスプレイを介した人と球状情報とのインタラクション手法の検討を行った．本研究では，球状にマッピング可能な球状情報を次の 3 つに分類し，それぞれに適したインタラクション手法の検討と具体的なアプリケーションの試作実装を行った．まず，球面ディスプレイに最適な情報として，完全に球の形状を持つ情報が考えられる．球状ディスプレイでは一般的な地球儀等の情報は，本システムを用いてまさに手に取るように閲覧が可能になる．次に，非球状の情報でも，変形することにより球状にマッピング可能な情報も挙げられる．例えば，人の顔 (頭) は厳密に言えば「球」ではないが，適切な変形を行うことで，球面状でも自然に顔として認識・閲覧が可能になる．また，従来の平面的なディスプレイ状で閲覧していた矩形情報も，球の一部分に貼り付けることで閲覧が可能になる．本論文では，球状ディスプレイを用いたこれら 3 つの異なるタイプの情報とのインタラクション手法についても検討する．

3
3.1

関連研究
球体ディスプレイ

Sphere [1] や PuﬀerSpheres [6] は画面として球面を利用した直立型の球面ディスプレイである．これらのシステムは画面が球面であり，赤外線カメラを用いた接触検出を用いてユーザとディスプレイとのインタラクションを可能にしている．球面をディスプレイとするために，これらのシステムでは，ディスプレイとなる球体の真下にプロジェクタを設置し，球体の内部から球面に対して投影を行っている．そのため，ディスプレイはプロジェクタを設置した土台と切り離すことができず，ディスプレイを自由に動かしたり，回転させることを妨げている．Kettner
ら [2] は，外部プロジェクタから球体に映像を投影して，球体外部と接しているオプティカルマウスの動きをもとに球体の回転を検知し，回転に合わせた投影を行った．回転という球の特性を活かしているが，回転検知方法から球体を上下左右に動かすことができず，球体の動きと操作は回転のみに限られてしまっている．

図 1. システム構成図

プロジェクションマッピング

3.2

プロジェクタを用いた 3 次元物体への映像投影は現在までに数多く研究されている．Shader Lamps [7]は現実の 3 次元物体へプロジェクションを行うことで，コンピュータグラフィックスを現実世界に描写することを可能にしたプロジェクションマッピングの基礎といえる研究である．動的な 3 次元物体へのプロジェクションを行った研究として，Knibbeet.al. [3] や Ballumiere [4] が挙げられる．これらの研究では動的な 3 次元物体のトラッキングから実際にプロジェクタから投影を行うまでに生じるシステムの遅延を予測を行うことで解消し，正確な投影を実現している．本研究では Ballumiere [5] の予測方法を用いてプロジェクタから球体デバイスへ投影を行っている．

4実装

次に，実際に実装を行ったプロトタイプシステム
について述べる．

4.1

システム構成プロトタイプシステムのハードウェア構成を図 1に示す．本システムは，ボールの 3 次元位置を追跡するためのモーションキャプチャシステム，ボール全周囲に映像を投影するためのプロジェクションシ
ステム，ボール型デバイス及び計算機から成る．

4.1.1

ボールの追跡と全周囲投影

プロトタイプシステムのソフトウェア構成を図2 に示す．ボール型デバイスの 3 次元位置は，モーションキャプチャシステムから計算機にリアルタイ
ム (250Hz) で送信される．同時に，各ボールデバイスに内蔵されたセンサから得られるセンサデータもリアルタイム (200Hz) の無線通信により計算機に送信される．
計算機ではこれらのデータをもとにボールの 3 次元モデルを 3 次元空間内に配置し，ボール表面のコQoom: 球体型インタラクティブディスプレイ

図 4. プロジェクタ配置と投影範囲例

図 2. ソフトウェア構成

図 5. ボール型デバイス

4.2

図 3. 全周囲画像の投影結果ンテンツ映像を更新した後，事前のキャリブレーションで求めたプロジェクタの内部・外部パラメータ行列から生成した複数のカメラを用いてレンダリングを行い，ボールの全周囲に映像を投影するなおこの際，プロジェクタの遅延等による映像のずれを軽減させるために [4] の手法を用いてボール位置の予測投影を行っている．
図 3 はボール型デバイスに例として地球儀の全周囲画像を投影した結果を示している．(a)(c) は左右のプロジェクタからの投影をそれぞれのプロジェクタ位置から観察した様子，(b) では左右から投影された画像を左右のプロジェクタの中間地点から観察した様子を示している．球体デバイスに映し出されたアフリカ大陸が (a) では右側，(c) では左側に観察でき，(b) では左右からの投影が重なり，アフリカ大陸が中心に確認できる．なお，本研究で使用したプロジェクタ (TH681) の画角は 70 度であり，図 4のようにプロジェクタ 4 台を 5m 四方の空間の四隅に配置すると，3.5m 四方の空間で全周囲投影を行うことができる．なお，このプロジェクタ配置では厳密にいうとボール最下部には映像を投影することが困難であるが，ボールが低い位置にあった場合にユーザがボール下部を覗き込むように見ることはほぼ無いという仮定のうえで割り切った実装を行った．

ボール型入出力デバイス

ボール型デバイスの構成を図 5 に示す．ボール型デバイスは，ボール表面に貼り付けた 32 枚のア
ルミ製タッチ検出用電極，静電容量計測モジュー
ル (MPR121)，姿勢制御用 IMU センサモジュール(MPU9250)，無線送信機内蔵の制御用のマイクロコントローラ (nRF51822) から成る．これらのモジュールは，ボール落下時の衝撃から保護するため5 本のワイヤーを用いてボール中央に固定した．
IMU から得られた加速度・角速度データは，遅延を最大限に抑えるために遅延 400 マイクロ秒の無線通信により即座に計算機に無線送信され，計算機内で処理される．なお，今回は内蔵された電子コンパ
スはボールの絶対姿勢を計測するのに用いるが，今回はボール内での正確な地磁気計測が困難であったため使用していない．そのため各アプリケーション使用前に初期姿勢を合わせる必要があるが，将来的には改良の予定である．
またタッチ検出結果は毎秒 30Hz の周期で加速度・角速度とは別パケットで送信される．なお，今回はボール最下部を手で保持することを考慮し，最下部に位置する電極はタッチ検出に用いず，さらに数百msec 以上の長時間接触し続けられた電極もタッチされたとみなさないようにした．またボールが空中にいる場合，またボールの回転中もタッチの誤検出を回避するために静電容量計測そのものを無効にしている．また，無線の最大到達距離は 20m 程度である．

4.3

インタラクション

ボールのプリミティブな操作として考えられる動作には図 6 のように (a) タッチ，(b) 回転，(c) バウ
ンド，(d) 投げるの動きがある．本システムではこれ

WISS 2016

図 8. Pano ball
図 6. ボールを用いた動作

図 9. 顔マッピングを用いたゲームの例

図 7. 受けとった側が前面となるような表示

らの動作を操作方法に組み込んだ．タッチは選択の操作，回転は表示の回転や選択肢の変換，バウンドはホーム画面への遷移の操作としている．また，投げる動作では，投げ手が受け取る相手への情報の受け渡しを目的としていることを想定し，投げた方向（球体デバイスを受け取る相手がいる方向）に球体デバイスの全面が向くように実装している．この実装により，球体デバイスを相手に投げてパスすることで，画面の方向が相手の方向に変化し，自分が見ていた画像を相手にも見せることができる（図 7）．

5

アプリケーション案

次に，球状ディスプレイを用いた具体的な球状情報とのインタラクションを可能にするアプリケーショ
ン案と，その試作実装について述べる．

5.1

球体情報の直接表示

本来球体である情報の例としては，地球等の天体，全天球画像などが挙げられる．また，サッカー・バスケットボールなどのボール表面デザインや，ダンゴムシ・アルマジロ・キャベツ等の球状の動植物の表面テクスチャなどなども球状の情報として考えられる．本研究では，これらの球状情報を手に取るように閲覧する可能な球状情報閲覧アプリケーションを開発した．
例として，全天球画像閲覧用アプリケーション
PanoBall を図 8 に示す．このアプリケーションはRicoh 社の全天球カメラ Theta [8] で撮影された画像を表示したアプリケーションである．従来の平面
ディスプレイでは見たい画像位置をドラッグで操作していたが，提案システムを用いれば実際に球体を手で回転させることで，好きな距離，好きな角度から自然に全天球画像を閲覧することができる．

5.2

球体情報への変換表示

実際には完全な球体でないものでも，球体に変形して表示することができる．例として，人の頭が挙げられる．図 9 の左図は，通常のカメラから映された顔を用いて球面上にマッピングした様子である．
目的とする表示は人間の顎から頭のつむじまでを直径とするような顔のマッピングだが，図 5.2(a1) のよ
うに顔の顎からつむじを均等に引き伸ばしたテクスチャを球体にマッピングすると結果は図 5.2(a2) のようになり額と顎が極端に小さくなってしまい，不自然な顔となってしまっている．そこで，図 5.2(b1)のように鼻がテクスチャの中心になるよう配置し，顎より下部と額より上部を引き伸ばした画像をマッピングすることで，図 5.2(b2) のようなより自然な人間の顔に近い球面マッピングを行うことができる．
この顔マッピングアプリケーションを用いて，図9 右図にある「Face Matching」というゲームを制作した．このゲームでは，Qoom デバイスにあらかじめ登録しておいた首が表示されており，ユーザーがこのデバイスを上に投げると表示されている顔がQoom: 球体型インタラクティブディスプレイ

図 10. 球体への顔貼り付けの例

図 12. その他球を用いたゲームへの応用例

は球体の中に丸められて入っており，ゲットした後に Qoom デバイスを回転させることで観察したり，転がして遊んだり，撫でて愛でることができる．

6

図 11. 球面における矩形表示

変わる．床には複数人の顔が表示されたパネルが投影されており，Qoom デバイスに表示された顔と同じ顔のパネルに Qoom デバイスを投げつけ当てると得点することができる．
LavalVirtual2016 での出展時には, プレイ前に観客の顔を取り込み，自分の顔のパネルに自分の生首が映し出された Qoom デバイスを当てるゲームを数十人遊んでもらった．現在は静止画でのマッピングを行っているが，リアルタイムで行えば Qoom を用いて喋る生首と会話することが可能となる．

5.3

平面的な情報の表示

平面ディスプレイで表示される長方形ベースの情報は球面ディスプレイでも自然に表示することができる．図 11 は長方形の水平な中心線を球体の赤道に合わせて配置する際の球体の歪みを考慮する方法を示している．平面に描かれた長方形をそのまま球体へマッピングすると，図 11 右上のように中心線から上下に離れるほど横幅が短くなり，長方形が観察できなくなってしまう．そこで球の半径を r，長方形の横幅を w とした際，中心線からの距離が rθ
w
離れた地点での横幅を cosθに伸ばした画像を生成することで，図 11 右下のように，長方形を表示することができる．

5.4

スポーツ拡張技術としての応用

球体型デバイス Qoom では，その他にも球を用いたゲームへの応用が考えられる．図 12 では，壁や床に出てくるモンスターに Qoom デバイスを投げつけ，モンスターを球の中に閉じ込めてゲットするアプリケーションである．閉じ込められたモンスター考察

今回の実装では，球全体に再帰性反射シールを張ることで，ボールを 1 つのマーカとしてモーションキャプチャシステムで検出するようにした．しかし，ボールを手で保持したり接触操作を行ったりする際にボールが手で部分的に隠れしまい，位置検出にブレが生じる問題がある．この問題を解決するためには，ボールに複数の赤外線点光源を直接埋め込み，剛体として検出する手法が考えられる．これにより，手によるオクルージョンの問題が解決されると同時に，ボールの絶対姿勢も得られることになるため角度の検出精度の向上も期待できる．また，再帰性反射シールが必要なくなるため，映像の視認性向上も期待できる．
次に，ボールの位置と同時にユーザの頭部の位置を検出することもできるようになれば，ボールの表面にコンテンツを表示することに加え，ボールの内部にコンテンツが存在するようにレンダリングすることも可能になる．現在の実装ではユーザの頭にマーカを取り付ける事が考えられるが，将来的にはボール内に埋め込んだセンサや小型カメラによるユーザの検出も考えられる．
また，今回は 1 種類のボールのみを用いているが，アプリケーションに応じて複数の異なる大きさのボールを同時に用いることも考えられる．例えば，複数人で協調作業を行うことを想定した場合，複数人で閲覧可能な大きなボールに共有情報を，手の平で隠れる小さいボールに各ユーザの個人的な情報を表示することも考えられる．また，ボールの大きさを動的に変化させることで，ボールの大きさでコンテンツの持つファイルサイズ等のパラメータを伝える手法等が考えられる．このような複数ボールが存在する場合，ボールの識別が必要になるが，ボール内部のセンサに異なる ID を振り，さらにボール内部の加速度センサから得られる加速度値と，外部カメラから得られる加速度値とでマッチングを取ることで個々のボールが識別可能である．
次に，ユーザの立ち位置やボールの位置によってはプロジェクタの映像がユーザの体に遮られ，ボーWISS 2016

ルに映像が表示できなくなる場合がある．また，各プロジェクタとの距離によってフォーカスが合わず，画像の解像度が低下する場合もある．現在の実装においては，プロジェクタの数を増やす他に，ユーザの体にも位置・姿勢追跡が可能なプロジェクタを取り付ける手法も考えられるが，将来的にはやはり外部のプロジェクタを用いずに，ボール表面に直接映像を表示する表示手法に置き換えたい．

7

結論

本論文では完全な球体型インタラクティブディスプレイとして Qoom を提案し新しいインタラクティブメディアの実現を試みた．本システムでは，静電容量によるタッチ検出や IMU センサによる姿勢検出を用いた軽量かつ耐衝撃性をもつ球体型インタラクティブディスプレイを開発することで，球体の代表的な物体であるボールの特性を活かしたインタラクションを可能とし，タッチによる操作はもちろん，回転やバウンド，投げるといった球体特有の動きをディスプレイの操作に組み込むことに成功した．また，球体ディスプレイに表示される情報の探求として，球体形状の情報の直接表示だけでなく，平面的な矩形情報の表示や，非球体情報の球体情報への変換表示を行い，球体特有の操作と組み合わせ，人と球状情報とのインタラクション手法を提示した. そして，これらのインタラクション手法を利用したアプリケーションを作成し有用性を示した．今後はこれ
ら球体デバイスでのインタラクションやアプリケーションの評価を行いたい．

参考文献[1] H. Benko, A. D. Wilson, and R. Balakrishnan.
Sphere: multi-touch interactions on a sphericaldisplay. UIST ’08 Proceedings of the 21st annual
ACM symposium on User interface software andtechnology, pp. 77–86, 2008.
[2] S. Kettner, C. Madden, and R. Ziegler. Direct
Rotational Interaction With a Spherical Projection. Creativity & Cognition Symposium on Interaction: Systems, Plactice and Theory., 2004.
[3] J. Knibbe, H. Benko, and A. D. Wilson. Juggling the Eﬀects of Latency: Motion Prediction
Approaches to Reducing Latency in Dynamic
Projector-Camera Systems. UIST ’15 Adjunct,pp. 93–94, 2015.
[4] S. Miyafuji and H. Koike. Ballumiere: Real-time
Tracking and Projection System for High-speed
Flying Balls. In SIGGRAPH Asia 2015 Emerging
Technologies, SA ’15, pp. 2:1–2:1, New York, NY,USA, 2015. ACM.
[5] S. Miyafuji and H. Koike. Ballumiere: Real-time
Tracking and Projection System for High-Speed
Flying Balls. SA ’15 SIGGRAPH Asia 2015
Emerging Technologies, p. Article No. 2, 2015.
[6] Puﬀerfish
Itd.
Puﬀerfish
EXPERTSPHERICALPROJECTION.
http://www.puﬀerfishdisplays.co.uk/, 2012.
[7] R. Rasker, G. Welch, K. Low, and B. Bandyopadhyay. Shader Lamps: Animating Real Objects
With Image-Based Illumination. Proceedings ofthe 12th Eurographics Workshop on Rendering
Techniques, pp. 89–102, 2001.
[8] Ricoh Company, Ltd.
RICOH THETA.
https://theta360.com/.

WISS2016 採録判定時のコメント
採録区分：ロング採録
判断理由：
一般に購入できるプロジェクタとモーションキャプチャで完成度の高いシステムを構成している点、ボールへの投影の遅延の補正をしている点、また国際会議などでの実運用（デモンストレーション）が評価され、ロング採録となりました。一方で、動作検出や投影の遅延による操作性への影響や、参照文献の少なさに加え、誤字脱字等も散見されるため、推敲の上で国際会議などへのフルペーパ投稿に繋げてください。
レビューサマリ：全体の構成：
プロジェクタとモーションキャプチャシステムを用いたボールへの映像投影と、ボール内蔵型のセンサシステムによるインタラクション検出を、無線化された状態で可能とするものである。
評価すべき点：
移動物体に対して、一般に購入できるプロジェクタとモーションキャプチャシステムを用いて映像の投影に成功している点を評価する。汎用機器で構成するために生じるボールへの投影の遅延の補正をしている点についてもエンジニアリングの努力を感じ、結果的に完成度の高いシステムになっている。また実際に国際会議の場などでデモンストレーションを行っており、運用できている点についても高く評価したい。
改良の為のコメント等：
・ボールの自己位置検出ができていることから、ただのトラッキングと投影だけでなく、空間中の位置に応じたコンテンツも提示できるようになると、ボールに内蔵する手法のプロジェクタと比較した際に、装置の耐久性の軸以外で差別化ができると感じる。またアプリケーションの幅も広がる。
・WISS は特に評価実験を必要としていないが、投影遅延の操作性への影響については、議論や実験の掲載があると、より説得力が増すだろう。
・関連研究の章が短く研究の位置付けが不明確である。例えば以下の研究などは引用のうえ、違いについても議論すべきである。

http://www.k2.t.u-tokyo.ac.jp/mvf/LumipenRetroReflection/
なお、全体的に論文中に誤字脱字が多い。論文投稿前に一度読み直して確認すべきであろう。
その他：
一般に購入可能なモーションキャプチャやプロジェクタを用いてシステムを構成できる利点を生かして、ぜひオープンソースなどで配布を検討してほしい。テクノロジとスポーツの融合研究は特に近年盛んに研究されているため、そういった開発者が開発可能となるとアプリケーションやゲームデザインの幅が広がると思われる。

本論文に対する各査読者の詳しいコメントは以下のページを参照のこと：

http://www.wiss.org/WISS2016Proceedings/oral/20.html＊本ページは論文本体ではありません【Qoom: 球体型インタラクティブディスプレイ】