自然で直感的な立体映像操作を実現するインタラクティブ３次元ディスプレイシステム
杉田 馨

福島 理恵子

小林 等

山本 澄彦

森下 明

平山 雄三

株式会社 東芝 研究開発センター ヒューマンセントリックラボラトリー
１． はじめに観察者

現実の物体を観察者が直接的に操作することにより、コンピュータグラフィックス(CG)で表現された仮想的な物体とのインタラクションを実現することを目

透明カップ
光学式センサーユニット
拡散領域

再帰性反射枠的とした、さまざまな研究が行われている[1,2]。
自然かつ直感的な操作感を実現するための要件
立体映像として、実空間性（現実の物体と場とをインターフェイスとすること）、実時間性（リアルタイムで仮想物体が反応すること）、非装着型インターフェイス（観察者に装着感を与えないこと）、実物体と仮想物体の空間共有性（両者の意味のある融合）を挙げることがで

平置き３次元ディスプレイ 筐体外装
タッチセンサーパネル面

きる。Jellyfish party[1]は、実空間性・実時間性・空間共有性を実現しているが、観察者は HMD デバイ

立体表示用画像

スを装着する必要があり、自然さが失われやすい。

透明カップ位置・半径制御用PC

一方、Tablescape plus[2]は、実空間性・実時間性・
図 1．本システムの構成

非装着型インターフェイスを実現しているが、仮想物体の投影領域はテーブル面とテーブル上に配置された小型スクリーン面上に限定されるため、実物体

この３次元ディスプレイは、液晶ディスプレイ上にレンチキュラーシートを重ねることで水平方向に視差と仮想物体の空間共有性は少ない。
本稿では、平置きした３次元ディスプレイとタッチのある映像を表示する１次元インテグラルイメージンセンサーを組み合わせることで、上記の要件を満足グ方式(1D-II 方式)を用いている。1D-II 方式の３次するインタラクティブ３次元ディスプレイシステムを提元ディスプレイは、観察者の視点位置を限定せず、案する。以下、本システムの構成と、試作したインタ

実際に物体があると仮定した場合の物体の表面からラクティブアプリケーションについて述べる。の光線を再生する。現実の物体と再生された立体映像は同一空間を共有しているため、観察者は両者の同時鑑賞が可能である（空間共有性の実現）。

２． インタラクティブ３次元ディスプレイシステム
本システムは、図１に示すように、平置きした３次観察者が直接操作する物体として、今回は、直径元ディスプレイとタッチセンサーを一体化した筐体、10cm の半球型透明アクリルドーム（以下、透明カッおよび、制御用 PC から構成されている。

プ）を利用している。これは、自然で直感的な操作の本システムでは、観察者が特別なめがねをかける一例として、実物体に「立体映像を内部に捕まえる」ことなく立体映像を鑑賞できる３次元ディスプレイ[3]という意味を与えるためである。観察者は俯角 60°を用いる（非装着型インターフェイスの実現①）。

から筐体を観察し、手に持った透明カップをディスプ

An Interactive 3-D Display System for Intuitive Virtual

レイ上の所望の位置に置くことで操作を行う（実空間Object Manipulation,性の実現）。

Kaoru Sugita, Rieko Fukushima, Hitoshi Kobayashi,「立体映像を内部に捕まえる」という操作の検出にSumihiko Yamamoto, Akira Morishita and Yuzo Hirayama,

必要な情報は、ディスプレイ上に置かれた透明カッHumancentric

プの接地面の円の中心座標である。この情報を得る

Laboratory,

Corporate

Development Center, Toshiba Corporation.

Research&ために、平置きした３次元ディスプレイ上に重畳したタッチセンサーXYFer® [4]を用いる（非装着型インターフェイスの実現②）。このタッチセンサーは赤外線イメージセンサーによって測位を行っているため、透明カップの接地面がイメージセンサーに正しく検出されるように、透明カップの底面付近の側面に立体映像を阻害しない程度の帯状の拡散領域を付加している。また、透明カップがタッチセンサーに密着していることの検出、および、指などがタッチセンサーに触れた場合の誤検出の防止のために、タッチセンサーから得られる物体の半径と透明カップの既知の半径との比較判定処理を行っている。
本システムで用いている３次元ディスプレイのパネ

立体映像（ペンギン、トマト）

ルサイズは対角 15.4 インチであり、水平方向 30°の視野角に 12 視差の映像を表示する。立体表示をし実物体（透明カップ）た場合の画素数は水平 480 ピクセル、垂直 400 ピクセルである。この各画素について 12 の異なる視点からの CG 画像を描画する必要があるため、一般的な図２．筐体の全景（上）、単一視点での CG 画像の描画と比べ処理負荷が高透明カップに付着したトマトの映像（下）い。後述するインタラクティブアプリケーションの製作
においては、制御用 PC に CPU として AMD Athlon™

４．体験型展示の実施とまとめ

64 Processor 4000+ (2.4GHz) 、 GPU と し て本システムは、2006 年 10 月 3 日～7 日に開催さ

NVIDIA® GeForce® 7900 GTX という高性能なプロれた CEATEC JAPAN 2006 において展示を行い、セッサを使用し、毎秒 60 フレーム以上での立体表示

延べ 2300 人以上の方にご体験いただいた。体験者

用画像の描画を実現した（実時間性の実現）。のうち 98%以上の方が、透明カップでトマトの弾を捕らえることができ、自然で直感的な操作性の実現が３．インタラクティブアプリケーション確認できた。また、多くの体験者から、透明カップにインタラクティブアプリケーション（名称：「とびだせ衝突したトマトが透明カップの表面に付着しているよペンギン」）は、仮想的な立体映像と実物体を同時うに見えるという感想をいただき、実物体と仮想物体鑑賞する意味のある映像表現を実現することと、その同時鑑賞が行えることの効果を確認できた。の表現の効果がわかりやすいことを目標として製作

今後は、異なる形状の実物体およびセンシング装した。また、観察者に能動的に体験してもらえるよう置の利用の検討と、本システムにおける映像表現の操作が簡易なゲーム風アプリケーションとした。

可能性を広げるアプリケーションの製作を進める。

本アプリケーションの内容は以下のとおりである。
「地面（立体映像）の上を、3 匹のペンギンのキャラク

参考文献

タ（立体映像）が、あたかもそこにいるかのように動き[1] Y. Okuno et al., “Jellyfish party: blowing soap

回る（図２上）。ペンギンはときおりトマトの弾（立体映bubbles in mixed reality space,” Proc. of ISMAR,像）を前方に発射する。打ち出されたトマトの弾は、

pp.358-359 (2003).

あたかも空中に浮いているかのような弾道を描き床[2] Y. Kakehi et al., “Tablescape plus: upstandingに落下していく。観察者が、トマトの弾を発射しようと

tiny displays on tabletop display,” ACM SIGGRAPH

しているペンギンを覆うように透明カップ（実物体）を2006 Emerging technologies, Article No.31 (2006).

置くと、発射されたトマトの弾が透明カップに衝突し、[3] 福島，平山，“鑑賞者参加型の３次元映像ディス

トマトの弾がはじけて透明カップの壁面を滴り落ちる

プ レ イ ” ， 情 報 処 理 ， Vol.47 ， No.4 ， pp. 368-373

様子を鑑賞できる（図２下）。」(2006)．
[4] 株式会社イーアイティー，www.e-it.co.jp.