9222特集

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月

新しい飛躍の時代を迎えた複合現実感

特集 ■ 新しい飛躍の時代を迎えた複合現実感

Projection-Based Mixed Reality

苗村健

東京大学

NAEMURA TAKESHI

1. はじめに示のために，プロジェクタ技術が早くから重要な役割を

複 合 現 実 感 (Mixed Reality) も し く は 拡 張 現 実 感(Augmented Reality) という研究分野の存在は，すでに演じてきた．CAVE など，大画面の全周立体映像の中に，お茶の間にまで知れ渡りつつある．多くの人々がそのように，ステレオ映像を用いて立体感を提示するためにステレオメガネをかけて入り込むシステムである．このビジョンを共有し，「単に可能である」という段階から，は，特殊なメガネを使用することが一般的である．スク「日常的に当たり前のように使える」という段階へと飛リーンに囲まれた部屋から飛び出して，日常の生活空間躍すべき時代を迎えたと言えよう．

でも同様の体験をもたらすために，HMD などの技術が複合現実感研究の中でも，特に，日常的な生活空間 ( 現実世界 ) を情報的に拡張するという立場の研究は，Mark発展してきた．

Weiser が提唱した Ubiquitous Computing の概念にも通じクタ映像の投影方法を工夫することで，メガネなどの装ている．コンピュータが我々の生活空間に遍在し，区別がつかないほどひっそりと日常生活に織り込まれていく着を極力避けることを目指した試みに焦点をあてる．
3D 元年と呼ばれる昨今では，裸眼で鑑賞できる立体という未来像である．このためのインフラとして，いつ表示ディスプレイの研究開発も盛んに進められている．

でもどこでもネットワークにアクセスできる環境の整備

しかし，このようなアプローチは，あくまで電子的ディに重点が置かれてきた．すぐそこまで，バーチャル世界スプレイの画面が立体的に見えるに過ぎない．物理的なの情報が届いているのである．この情報を人々に効果的ディスプレイの枠から脱却するためには，現実世界への投影 (projection) が本質的な役割を担うことになる．

本稿では，これらとは異なる方向性として，プロジェに提示するために，各種の「整合性」を高いレベルで実現することが，複合現実感技術が担う重要な役割である．

このような projection 方式の長所は，機器装着に伴う特に，時間的整合性，幾何学的整合性，光学的整合性ユーザ負担やコストの軽減が挙げられる．また，多人数を同時に高めるためには，カメラで現実世界を撮影し，による同時鑑賞に適しているため，協調作業・ミュージその撮影位置における整合性に処理を集中させることがアムにおける展示・デジタルサイネージなどへの応用と得策となる．このため，カメラ付き情報端末の表示画面上での情報重畳や，HMD (Head Mounted Display) を用いの親和性が高い．さらに，映像投影面となるスクリーンたシステムが，この分野を代表する試みとして，数々の限定されないマルチモーダルな複合現実感を提示することができる．一方で，眼前で光を制御する HMD などに物体を実際に掴んで操作することも可能であり，視覚に成功を収めてきたのだと言えよう．

比べれば，必ずしも万能なディスプレイではない．用途

本稿では，さらに次のステップとして，電子的なディスプレイという「枠」から脱却することを目指し，ディに応じて適切な方法を選択していく必要がある．

スプレイ画面の中ではなく，現実世界の中にバーチャル世界の情報が立ち現れるような仕組みについて，いくつな お， 当 該 分 野 の 呼 称 と し て，“Projection-BasedMixed Reality’’ と “Projector-Based Mixed Reality’’ の両者かの研究例を紹介する．

をしばしば見かける．本稿では，既存のプロジェクタを

2. Projection-Based Mixed Reality

単に使うだけでなく，投影手段全般が研究課題に含まれるという意識から，“Projection-Based Mixed Reality’’ という表記を用いることにする．

バーチャルリアリティ分野において，没入型の映像提22

特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 2010

3. プロジェクタからの映像の投影手法に関する研究

2393

決まってくる．ここでは，具体的な応用例を紹介する．
Free Form Projection Display [15] では，立体視のため

Projection-Based Mixed Reality における研究では，高速性 ( 時間的整合性 ) を保ちつつ，如何にして，投影位のメガネの着用が必要になるが，人体模型の中に内臓な置 ( 幾何学的整合性 ) と自然な見え方 ( 光学的整合性 ) をどの映像を透かして見ることが可能になっている．これ両立していくかが重要な課題になってくる．

も，ディスプレイの枠を超えた複合現実感提示の実用的3.1な試みとして位置づけられる．
Limpid Desk [16] では，机上の書類に対象を絞り，下再帰性反射材を用いて視点位置を限定することで，ユー層の書類を色補正しながら透かして提示することが可能 に な っ て い る．Universal Media Book [17] で は， 物ザ負担の問題は残るが，これらの整合性を担保しつつ，理的な書籍に対する映像投影による拡張が施されていディスプレイの枠にとらわれない投影型の複合現実感のる．このような平面で構成される対象を扱う場合には，Projection-Based のアプローチの有意性が顕著になる．

要素技術
光 学 迷 彩 [1] や HMP (Head Mounted Projector) [2] は，可能性を提示した試みとして位置付けられる．
Table-Top Spatially Augmented Reality[3] や，DynamicShader Lamps [4] では，スクリーンとなる実物体の位置

4. 映像投影から情報投影へや向きに応じて，適応的に映像の投影方法を制御している．このように投影映像の幾何学的な整合性を維持する

ここで，Ubiquitous Computing のもう一つの側面に着目する．Mark Wiser は，invisible という言葉を強調してためには，実物体の位置計測が必要になる．位置計測セいた．あからさまに目立つ存在であっては，真に日常生ンサやレンジファインダ，各種マーカーを用いる方法以活に溶け込んだことにはならないのである．それでいて，外にも，投影型の複合現実感ならではの方法も提案されあらゆる場面にコンピュータが遍在している姿は，古来ている．例えば，プロジェクタ映像へのパターン埋め込みによってこれを実現することができる [5]．また，プロの日本で「万物に神が宿る」と信じられてきたという話を連想させる．

ジェクタ映像を人が遮ってしまうと，例え原理的に位置4.1があっていても，正しい光を目に届けることができなく情報を宿すアプローチなる．この問題に対して，複数のプロジェクタを用いて協調的に投影することで影を除去する試み [6][7] や指向

これまでの複合現実感技術は，物体やユーザの位置計測に重きを置き，その計測結果に応じて情報を加工した性フィルムを用いてシステム内部から投影する試み [8]り，サーバから別のチャンネルで情報を伝送したりするが報告されている．

手法が一般的であった．これは「位置計測に基づくコン体が必ずしも白色とは限らないことに対する色補正や光学的整合性の課題としては，スクリーンとなる物ピューティング」であって，物体そのものに情報を宿すという立場とは異なるものである ( 図 1)．筆者らは，個々ダイナミックレンジの問題と，プロジェクタとスクリーの物体に宿された情報を直接受信するだけで，明示的なンの距離が一様でないことに起因する焦点ボケの問題な位置計測を行わずとも，空間的な整合性を保った情報提どがある．色補正やダイナミックレンジの問題は，プロ示が可能になる仕組みの実現を目指している．

ジェクタとカメラの連携によって，解決が試みられている [9][10]．また，焦点ボケへの対応としては，PSF (PointSpread Function) の逆フィルタを適用する試み [11] や，「位置計測に基づくコンピューティング」と「情報を宿すアプローチ」では，例えば，以下のような違いが期待される．前者では，位置計測の精度・計算コスト・遅プロジェクタ開口を工夫して被写界深度を拡大する試み[12]，複数のプロジェクタで対処する方法 [13][14] などが位置に応じた処理提案されている．
以上の先行研究においては，スクリーン物体の形状や位置計測

表面の光学特性が既知の場合と未知の場合，空間的な配位置計測

情報提示

空間的に整合した情報提示

置を計測する様々な方法，プロジェクタの台数などコスト面をどこまで許容できるのかなど，様々に前提条件の異なる立場からの研究が精力的に進められている．

ユーザ

ユーザ

3.2

アプリケーション
HMD を用いるべきか，Projection-Based のアプローチ

物体
位置計測に基づくコンピューティングをとるべきかは，アプリケーションのデザインによって物体
物体に情報を宿すアプローチ

図 1 位置計測に基づくコンピューティングと物体に情報を宿すアプローチ

23

24
94

特集 新しい飛躍の時代を迎えた複合現実感

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月延などが問題になるが，伝送する情報の量は別のチャネカーで出力する．そして，左右に超音波マイクを有するルを使用することで自由に設計できる．特に，不特定多ヘッドホンを装着したユーザに対して，集音された超音数で同時に使用するためには，人数に応じた規模のシス波を可聴音に復調して提示する．超音波の空気中での伝テムをあらかじめ設計しておくことが必要になる．一方，播を経て，左右の耳に適切な時間差と音圧差が現れる．

後者では，物体に宿された情報を同時に多人数で受信す

この時間差と音圧差を保ったまま可聴音に変調することることを可能にすることで，人数に対する自由度は高くなる．ただし，後者の方式で位置情報を宿すことによっで，人はどの方向から音が聞こえてきたのかを知覚することができる．超音波スピーカーの位置 ( 図 2 では二つの人形 ) に宿っている情報は，超音波マイクを装着したて，前者の枠組みを取り入れていくことも可能となる．

ユーザだけがアクセス可能であり，コンピュータによるなるが，情報量は通信の方式によって制限されることに以下では，「情報を宿す」ための具体的な例として，位置計測などを行わずとも，ユーザの耳に届く段階でそ

聴覚と視覚のそれぞれにおいて，聞きたい人にだけ聞かの位置をユーザ自身が知覚することができる．超音波とせ，見たい人にだけ見せる仕組みを紹介する．

いう形態で現実世界を情報で満たしておくアプローチであるため，不特定多数のユーザが同時に利用することが4.2

超音波による現実世界の拡張 [18]可能になっている．本システムは，超音波スピーカーをまず，超音波によって現実世界を情報で満たす方法に仕込んだ実物体からしか音が聞こえてこないという制約ついて述べる．これはプロジェクタを用いる研究ではなが許容される応用において，多人数向けの複合現実環境

く，本稿の主旨からは外れるが，情報を宿すアプローチを容易に実現する方式として位置づけられる．の例として簡単に紹介する．
4.3. 可視光通信プロジェクタ [19]

博物館における音声ガイドのように，聞きたい人にだけスポット的に音を伝える技術がある．一般に，多くのシステムでは，音が耳の中 ( もしくは頭の中 ) から聞こ続いて，本稿の主旨であるプロジェクタを用いて情報を宿す試みについて紹介する．

えてくるように知覚される．頭の中でなく，3 次元空間中に音を定位させる方法としては，HRTF (Head RelatedTransfer Function) を用いた手法が開発されている．人とディスプレイを人間のための映像提示だけでなく，機械に対する情報提示に応用する Display-Based Computingの概念が提案されている [20]．Augmented Coliseum [21]

音源の位置関係を計測し，それに応じて音波の各周波数では，小型ロボットをプロジェクタ映像で制御すること成分がどのように空気中を伝搬するのかを計算し尽くしで，映像とロボットが融合した複合現実環境を実現してて，両耳に提示する手法である．これは典型的な「位置いる．このようなアプローチのメリットは，プロジェク計測に基づくコンピューティング」であり，多人数で同タで照らし出した生活空間が，そのまま情報的に拡張さ時に利用するためには，ユーザ全員の位置計測と位置にれる点にある．
Display-Based Computing は，複合現実感研究の基盤技応じた計算処理が必要になる．
以上の状況を踏まえ，下記の三つの条件を満たす新た な 手 法 と し て，u-soul (Ubiquitous/Ultrasonic SOUndLocalization) を提案した [18]．

術として広く利用されている「マーカー」を動的に映像として提示するものである．このマーカーを不可視にす・ヘッドホンをした人にだける試みとしては，赤外光プロジェクタを利用する手法が提案されている [22]．ただし，見えない赤外光情報を生・人数に依らずに活空間の中で幾何学的に整合させる必要がある．

・3 次元空間中に定位した音を聞かせる
図 2 を用いて説明する．各人形が発するメッセージ ( 可聴音 ) を超音波領域に変調し，人形内部の超音波スピー以上のような背景を踏まえ，筆者らは，不可視かつ動的な情報を，プロジェクタ映像そのものの中に宿す手法を提案してきた [19]．これは，マーカーという形式に限定せずに，より一般的な通信をプロジェクタ映像の画素単位で行う試みである．別の言い方をすれば，例えばXGA 解像度のプロジェクタを用いる場合，1024×768 個の画素がそれぞれ独立した通信チャンネルになることを意味している．プロジェクタで投影された可視の映像と空間的に整合した情報発信を行うことができる．
このような，人に見える光の中に，見えない形で情報を宿す技術は，可視光通信の研究分野での蓄積がある [23]．LED 照明や信号機を高速点滅させることで，時図 2 人形から聞こえてくる音像

24

特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 20102595

間軸方向に情報を宿す技術である．しかし，LED で照原理的に，映像の内容と直接リンクした情報を提示すらされたエリアに一様に情報を提供する場合がほとん
どで，空間中の位置に応じて細かく情報を分けて伝ることができる．
図 5 は，PVLC プロジェクタを水平スクリーンの下にえることはあまり検討されていない．筆者らの試み設置し，背面投影によるテーブル型ディスプレイを構築

は，プロジェクタ映像の画素毎に可視光通信を行う手法であり，PVLC プロジェクタ (Pixel-level Visual LightCommunication Projector) と名付けた．

した例である．テーブル面の各位置から個別の情報を放出 (emit) しているという意味から，EmiTable と名付けた [24]．EmiTable では，水平なテーブル面に複数の受光

具体的には，DMD (Digital Micro-mirror Device) を用い端末を配置することができる．全画面に対して常に情報た映像プロジェクタを改造して実装した．DMD は，微が届いており，受光端末の位置や数に応じて処理を変更する必要はない．この技術は，テーブル上に 100 個近い細な鏡を高度に集積したチップであり，鏡を高速制御することによって，プロジェクタ映像の諧調的な表現を画数のブロックを配置してその発色を制御する体積型立体
ディスプレイ Bloxels ( 図 6) に応用された [25]．

素単位で実現している．プロジェクタ映像の各画素は，それぞれ人に提示すべき輝度値を有しており，それは一定時間内において鏡が ON の状態と OFF の状態の時間的な比率によって制御される．人に見える映像は，この時間的な比率だけで決まる．すなわち，この比率を保ったまま，点滅する順番を入れ替えても，人には知覚されないように制御することができる．図 3 にシステム構成
図を示す．プロジェクションされた映像の上に何らかの受光端末をかざしたり，映像を高速カメラで撮影したりすることで，映像の中に宿っている情報 ( 高速点滅パターン ) にアクセスすることができる．

図 5 EmiTable

図 3 可視光通信プロジェクタの基本原理
図 6 Bloxels

図 4 に実装例を示す．日本地図の映像の上に端末をプロジェクタを用いる利点として，スクリーンに到達かざすと，そこに点滅パターンとして宿っている天気情報 ( ピクトグラム ) が表示される．この例に留まらず，する前の光路においても，高速点滅パターンとしての情報にアクセスできることが挙げられる．図 7 は，空間中で受光端末を振ることで残像として空中に映像が浮かび上がる SteganoScan [26] への応用例である．図 8 は，こ図 4 地図に天気情報を宿す

図 7 SteganoScan

25

2696

特集 新しい飛躍の時代を迎えた複合現実感

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月

13:1-13:4 (2008)[13] O. Bimber and A. Emmerling: Multifocal Projection: A Multiprojector
Technique for Increasing Focal Depth, IEEE Trans. Visualization andComputer Graphics, Vol. 12, No. 4, pp. 658-667 (2006)[14] 長瀬，岩井，佐藤：複数投影における鮮明な投影像表示のためのモデルベース多重焦点制御，情処研報 CVIM, pp.29:1 – 29:8(2009)[15] D. Kondo and R. Kijima: Proposal of a Free Form Projection Display
Using the Principle of Duality Rendering, VSMM'02, pp. 346-352 (2002)[16] 岩井，佐藤：Limpid Desk: 投影型複合現実感による机上書類

図 8 SteganoScan Orbsの透過化，情報処理学会論文誌，Vol.48, No.3, pp. 1294-1306 (2007)[17] S. Gupta and C. Jaynes: The Universal media book: tracking and

れを無数の球体が転がるお盆の中で，位置に応じた発色を制御した SteganoScan Orbs [27] への応用例である．

augmenting moving surface with projected information, ISMAR’06,pp. 177-180 (2006)[18] 吉野，苗村：u-soul: 超音波を用いた空間的な音像提示システム，

5. おわりにVR 学論，Vol. 13, No. 2, pp. 239-246 (2008)[ 19 ] 北村，苗村：DMD を用いた空間分割可視光通信 : メタメ

ディスプレイの枠から脱却し，現実世界にバーチャル世界の情報が立ち現れるような複合現実感の実現を目指した Projection-Based Mixed Reality に関する研究をいく

ディア情報を埋め込んだ映像投影，VR 学論，Vol. 12, No. 3, pp.
381-388 (2007)

つか紹介した．現実世界とバーチャル世界の混ぜ合わせ[20] 稲見，杉本，新居：Display-Based Computing の研究第一報：

方の一つの選択肢として，HMD などとは異なる新たな画像提示装置を主体とした実世界指向情報システム，VRSJ 大会
論文集，pp. 441-442 (2005)

複合現実感を今後も提示していくものと期待される．

[21] M. Kojima, M. Sugimoto, A. Nakamura, M. Tomita, H. Nii, M.
Inami: Augmented coliseum: an augmented game environment with

参考文献
[1] 川上，稲見，柳田，前田，舘：現実感融合の研究 ( 第 2 報 ) −small vehicles, TableTop 2006, pp. 3-8 (2006)[22] 白井，松下，大黒：秘映プロジェクタ : 不可視情報による実Reality Fusion における光学迷彩技術の提案と実装−，VRSJ 大会
論文集，pp. 285-286 (1998)

環境の拡張，WISS2003, pp. 115-122 (2003)[ 23 ] Y. Tanaka, S. Haruyama and M. Nakagawa: Wireless optical[2] M. Inami, N. Kawakami, D. Sekiguchi, Y. Yanagida, T. Maeda and S.
Tachi: Visuo-Haptic Display Using Head-Mounted Projector, Proc. IEEE
Virtual Reality 2000, pp. 233-240 (2000)

transmission with the whitecolored LED for the wireless home links,
PIMRC 2000, pp. 1325-1329 (2000)[24] S. Kimura, M. Kitamura and T. Naemura: EmiTable: A Tabletop[3] R. Raskar, G. Welch, W. C. Chen: Table-Top Spatially-Augmented
Reality: Bringing Physical Models to Life with Projected Imagery,
IWAR’99, pp. 64-71 (1999)

Surface Pervaded with Imperceptible Metadata, Tabletop 2007, pp.

[4] D. Bandyopadhyay, R. Raskar and H. Fuchs: Dynamic Shader Lamps:189-192 (2007)[25] J. Lee, Y. Kakehi, and T. Naemura: Bloxels: Glowing Blocks as

Painting on Movable Objects, ISAR’01, pp. 207-216 (2001)[5] 永井，向川，大田：プロジェクタ型複合現実感のためのスクリー
Vol. 104, No. 391, MVE2004-37, pp.1-6 (2004)
ン物体の追跡，信学技報，ET 331 (2009)[26] 岸，筧，苗村：光で制御する残像ディスプレイ SteganoScan

Volumetric Pixels, ACM SIGGRAPH 2009 Emerging Technologies,[6] R. Sukthankar, T. Cham, G. Sunthankar,: Dynamic shadow elimination
for multiprojector displays, CVPR’01, vol.II, pp.151-157 (2001)の提案，エンタテインメントコンピューティング 2009, pp.
43-46 (2009)[27] 岸，李，筧，苗村：PVLC プロジェクタ - Bloxels & SteganoScan[ 7] C. Jaynes, S. Webb, R. M. Steele: Camera-Based Detection andRemoval of Shadows from Interactive Multiprojector Displays, IEEEOrbs-, 第 13 回文化庁メディア芸術祭協賛展 先端技術ショーケー

Trans. on Visualization and Computer Graphics, Vol.10, No.3, pp.290-301(2004)

ス '10 (2010.2.3 - 2.14)[8] 筧，飯田，苗村，松下：Tablescape Plus: インタラクティブな【略歴】

卓上映像シアター，VR 学論，Vol. 11, No. 3, pp. 377-386 (2006)[9] S. Nayar, H. Peri, M. Grossberg, and P. Belhumeur: A projection system

苗村健（NAEMURA Takeshi）

東京大学大学院 情報理工学系研究科 准教授
1992 年東京大学工学部卒業，1997 年同博士課程修了．博士 ( 工学 )．

with radiometric compensation for screen imperfections, PROCAMS’03(2003)[10] D. Wang, I. Sato, T. Okabe and Y. Sato: Radiometric Compensation

同大助手，講師を経て，2000 年米国スタンフォード大学客員助教
授 ( 日本学術振興会海外特別研究員 )．2002 年東京大学大学院情報in a Projector-Camera System Based on the Properties of Human

学環助教授．2007 年より現職．メディア＋コンテンツ，複合現実

Vision System, PROCAMS’05 (2005)[11] 小山田，斎藤：プロジェクタスクリーン上に生じる焦点ボケ感，空間共有通信の研究に従事．文部科学大臣表彰若手科学者賞(2008)，日本バーチャルリアリティ学会論文賞 (2008, 2007, 2006) な解消のための投影画像の事前補正法，VR 学論，Vol. 12, No. 4
pp. 479-486 (2007)[12] M. Grosse and O. Bimber: Coded Aperture Projection, EDT-IPT, pp.

ど受賞．日本バーチャルリアリティ学会理事，アート＆エンタテ
インメント研究委員会委員長 (2006 年〜 )，複合現実感研究委員会
幹事 (2004 年〜 2007 年 )．

26