タンジブルスクリーンを用いた３次元物体表現
 伊藤 崇仁 (東大) Alvaro Cassinelli (東大) 小室 孝 (東大) 石川 正俊 (東大)3D Object Representation Using a Tangible Screen
 Takahito Ito Alvaro Cassinelli

Takashi Komuro

Masatoshi Ishikawa (Univ. of Tokyo)

Abstract: We introduce prototype system for interactive exploration of volumetric data using a tangible screen,
called ”Volume Slicing Display.” The system tracks the shape and the position of a screen on 3D space using acustom monocular high-speed vision system, then projects the corresponding slice of a 3D virtual object on thescreen surface in real time. This experimental interface thus enables users to feel as if 3D virtual objects co-exist
in real space, as well as to explore them interactively.
Key Words: tangible, interface, interactive

1

はじめに

近年の計測・保存技術の飛躍的向上により、複雑で高次元なデータを取得し、安価かつ大容量に保存することが可能となった。多岐に渡る分野で情報の高次元化が進む一方、情報との接点であるインターフェイス分野ではGUI: Graphical User Interface による固定した２次元平面内における表現アプローチが主流である。ユーザからの入力情報は制限され、また情報は既定の２次元平面での表示となる。この制約は実世界を形成する３次元物体や高次元な情報表現に必ずしも適してはいない。
こうした問題に対し、実物体の空間性とユーザの持つ経験的感覚を利用する TUI: Tangible User Interface[1] の概念とそれを基づくスクリーンインターフェイスに KHRONOSPROJECTOR[2], Deskrama[3], SP3X[4] 等がある。
中でも KHRONOS PROJECTOR では、映像の時空間情報を抽出し、操作できる。我々はこのセンシングと空間性の融合を発展させ、本稿では新たな３次元物体表現手法を提案する。具体的には、時空間情報を持つ既得の２次元データの積層から３次元物体を生成し、その任意断面を自由形状可変型タンジブルスクリーンに投影するものである（Fig.1）。
以下の提案は、その初期試作システムである。
㪚㪬㪫㩷㪧㪣㪘㪥㪜㪭㪠㪩㪫㪬㪘㪣㪦㪙㪡㪜㪚㪫㪭㪪㪛㪪㪚㪩㪜㪜㪥

ザは VSD スクリーンを空間内で自由に移動、傾けることで仮想３次元物体の任意の断面を定義する。ユーザは自分の操作意志に対して違和感なく、既得情報では観察し得ない新たな映像を観察できる。
㪭㪪㪛㩷㪪㪚㪩㪜㪜㪥㪚㪬㪫㩷㪧㪣㪘㪥㪜㪭㪠㪩㪫㪬㪘㪣
㪦㪙㪡㪜㪚㪫

Fig. 2 Example : Slices of a cube2.2

ハードウエアVSD システムは、特定の空間全体での使用を前提としている。空間上部に配置したプロジェクタ、それらと対に配置された単眼の高速ビジョンセンサであるビジョンチップ [5]、スクリーンとして用いる軽量な 30[cm]×20[cm] の白色アクリル板から構成される。

㽲ⓨ㑆ౝ䈪䈱⥄↱䈭䉟䊮䉺䊤䉪䉲䊢䊮㽳◲ᤃ䈭ᄌᒻน⢻䈭⚛᧚㽴᭽䇱䈭䋳ᰴర䊂䊷䉺䉕ⷞⷡൻ㪭㪠㪪㪠㪦㪥㩷㪚㪟㪠㪧㪧㪩㪦㪡㪜㪚㪫㪦㪩

Fig. 1 A non-planar section of a 3D virtual object using
the Volume Slicing Display㪧㪚㪣㪜㪛㫊

2

３次元物体表現手法の提案

2.1

システム概要我々は簡易な素材をスクリーン媒体に用い、日常生活空間においてユーザの動きを制限せずに、情報との自由なインタラクションを実現することを目的とする。そこ
で、時空間情報を特定の方法で視覚化し随意に探索を可能にする VSD:Volume Slicing Display を提案する。
VSD システムでは、仮想３次元物体の断面を軽量なアクリル板（VSD スクリーン）に投影する (Fig.2)。ユー㪭㪪㪛㩷㪪㪚㪩㪜㪜㪥

Fig. 3 System setup

アクリル板の４頂点には赤外 LED を配置し、PC からそれぞれの明滅を制御する。そして、それら４点をトラッキングするためにビジョンチップには赤外フィルタをカメラ部レンズの手前に装着した。Fig.3 にシステムの全体図を示す。

2.3

㪫㫆㫇㪝㫉㫆㫅㫋

ソフトウエア

ユーザの入力動作に対し、以下の操作を実行し違和感のない断面図の提示を遅延なく行う。断面図の描画には
C++, OpenGL, 行列ライブラリを用いている。

1. ビジョンチップによるスクリーン頂点 LED のトラッキングと識別 [6]2. 取得した LED の２次元画像座標から P4P アルゴ
リズム [7] を応用し、LED の３次元座標算出
3. 算出した LED の３次元座標から PC 内に VSD ス
クリーンの３次元モデルを構築

Fig. 5 Reconstruction of the shape of the VSD screen

4. 定義された３次元スクリーンモデルに対応した３次元仮想物体の断面図を作成

3実験及び結果

3.1

４頂点のトラッキングと３次元位置算出

赤外 LED をビジョンチップのサンプリングレート5[ms] に同期させ、順に明滅させる。これにより、ビジョンチップ単眼で各 LED の重心位置をシングルトラッキングし、それらの識別を行った。Fig.4 がその結果である。
各頂点を追跡し、また赤、青、緑、白の４色で識別出来ていることが確認できる。

Fig. 4 Distinction of each LED[Above: horizontal axis
rotation, Below: vertical axis rotation]

次に、得られた各 LED の２次元画像座標は同一平面上にあるという制約条件の下、P4P アルゴリズムを応用し各 LED の３次元ワールド座標を算出する。再現した
VSD スクリーンの３次元位置と形状の結果を、実際の動きとともに Fig.5 に示す。垂直軸に対する回転を３次元上に再現出来ている。

3.2

スクリーン３次元モデルからの断面図生成

PC 内に再現した VSD スクリーンの３次元モデルをベースに、あらかじめグラフィックカードに取り込んだ
32 枚の果物の正面から見た輪切り画像から断面図を作成、投影した。ビジョンチップから直線距離 1[m] 地点に幅 30[cm]、横 20[cm]、奥行き 35[cm] のイメージの積層なら成る仮想３次元物体を想定している。その結果を Fig.6に示す。
正面からの輪切り画像のみから、VSD スクリーンの傾き方向に合わせて切断された断面図が新たに生成、観察できることがわかる。ただし投影については、投影前に VSD スクリーンの初期位置検出のために WEB カメラで初期位置を取得することでキャリブレーションを行っている。

Fig. 6 Generated images

4

結論と考察

本稿では、３次元物体情報の新しい表現方法を提案、実験した。既存データをタンジブルスクリーン VSD を用いて自由に探索することで、元情報では観察し得ない新たな切り口での情報提示が可能となった。
課題としては大きく２つある。まず第一に、４頂点のオクルージョン問題である。次に、ユーザによるプロジェクタ映像の遮蔽問題が挙げられる。これらは共に、プロジェクタとビジョンチップの配置への工夫で解決されると考える。
将来的には、医療分野での MRI 画像や地球物理学分野での計測データ等、様々なデータに対する検索アプリ
ケーション、特に空間を利用した仮想データストレージ、美術館等の施設内空間探索といったことへ応用していく。
また、プロジェクタのスイッチング等を利用し、オフィス空間全体でのデータの受渡しを簡便にするといった新たなコミュニケーションツールを考えている。

参考文献[1] 石井裕 著 『Tangible Bit』 (NTT 出版, 2000 年)[2] A.Cassinelli ら, ”KHRONOS PROJECTOR,” Interactive Tokyo 2005, Miraikan Museum of Science and Technology(2005).
[3] T.Nagakura, ”Deskrama,” SIGGRAPH 2006, E-Tech.
[4] R.Whitney, ”SP3X,” http://tangible.media.mit.edu/projects/sp3x/[5] 小室孝ら, ”高速対象追跡ビジョンチップの開発,” 計測と制御, Vol. 43, pp. 802-804 (2004).
[6] A.Cassinelli ら, ”Smart Laser-Scanner for 3D HumanMachine Interface,” ACM SIGCHI 2005, pp.1138-39.
[7] 大隈ら, ”拡張現実感システムのための画像からの実時間カ
メラ位置姿勢推定,” 電子情報通信学会論文誌, Vol.J82-DNo.10 pp.1784-1792.