2286特集

日本バーチャルリアリティ学会誌第 19 巻 2 号 2014 年 6 月

プロジェクションマッピング

特集 ■ プロジェクションマッピング

プロジェクタ応用工学の発展

佐藤宏介

大阪大学

Sato Kosuke

トが投影された机上で直接コンピュータを操作できるシ

1．はじめにステムが提案されている．

スクリーンにプロジェクタからの映像を投影する映画館のような構成ではなく，矩形の白色平面スクリーンで2000 年前後になると，コンピュータからの映像出力をはない身の回りの様々な物体にビジュアルな情報を重畳直接投影することのできるデータプロジェクタの普及がする形態で提示する技術は，当学会においては仮想現実進み，プロジェクタを用いた様々な研究がなされるよう感の一技術である投影型複合現実感として研究が進めになってきた．The Office of the Future と呼ばれる研究プられており，また近年では，一般の方々にもプロジェクロジェクトでは，遠隔のオフィスの風景を，壁や机に映ションマッピングの名称で広く認知されてきている．本像を投影することで，あたかも空間を共有して共同作業

稿ではこのような研究分野をプロジェクタ応用工学と名できるようなシステムの提案がなされた [2]．同研究グ付け，これまでの発展について俯瞰する．

ループからは，その後も立て続けに重要な発表が行われ著者の独断ではあるが，国際ワークショップ ProCamsており，任意形状の投影面上での立体表示を実現する手の 開 始 と，Microsoft 社 の 廉 価 な モ ー シ ョ ン セ ン サ

法 [3]，白色模型を自在に投影彩色する Shader Lamps [4]Kinect の販売の 2 つが，当該研究分野においてエポッや，ペン型デバイスを用いてインタラクティブに模型にクメーキングな出来事であると考えており，本稿では，投影彩色する Dynamic Shader Lamps [5] など，現在のプ

図 1，表 1 に示すように，これらを起点として時間軸を大きく 3 つに分けて研究例を紹介していきたい．なお，1980 年代より行われている，プロジェクタと画像センサを組み合わせる画像計測の観点については本稿では取り扱わない．
当然のことながら，紙幅の制約のために紹介できない重要な研究は多く存在する．また，研究は連綿としておりある年代で区切ることも，それが本質的ではないことは，多くの読者の考えられるとおりであるが，半ば無理やりな区切りであっても，それがなければ取り留めもなく研究紹介となってしまうため，ご容赦願いたい．
2．黎明期（〜 2002 年）
プロジェクタを用いて，コンピュータモニタの枠の外の現実空間にコンピュータ合成された映像を重畳する初期のシステムとして，1991 年に提案された DigitalDesk
が挙げられる [1]．この研究では，電卓等のウィジェッ

図 1 プロジェクタ応用工学の発展

22

特集

プロジェクションマッピング

JVRSJ Vol.19 No.2 June, 2014

2387

での相互反射補償 [13] や，焦点ボケも含めて投影色をロジェクションマッピングで用いられる基盤技術のほとんどがこの頃に提案されている．プロジェクタの小型化補正する技術 [14] 等の要素技術の各種提案は，ProCamsを見越し，ハンドヘルドプロジェクタに関する研究も行での発表でほぼ完了したと言える．
プロジェクタのハードウェアのダイナミックレンジおわれている [6]．
一方，国内においても 2000 年前後にプロジェクタをよび解像度に関する制約を乗り越えるような研究も行わ用いて身の回りの実物体に映像を投影重畳する研究が進れている．プロジェクタのダイナミックレンジの制約をめられている．その代表例として，再帰性反射材にプロ乗り越える研究では，印刷紙等の反射メディアに投影重ジェクタから映像を投影することで，投影対象を透明化畳することで，プロジェクタと反射メディアそれぞれのする光学迷彩 [7] が挙げられるが，その他にも，上述の積のダイナミックレンジを持つプロジェクションシステ

Shader Lamps と同様の概念に関する研究も行われている

ムを実現する技法が提案されている [15]．解像度に関し[8][9]．さらに，プロジェクタを遠隔地間の情報伝達にては，複数台のプロジェクタからの投影像を重畳させる利用するシステムも提案されている [10]．また，人体模ことによって，超解像度化が実現されている [16]．
人間にとって意味のある映像を投影するだけでなく，型に映像を投影し，あたかもその内部が透けて見えるかフォトセンサのような受光デバイスに対して時空間変調のような映像表現が早くも実現されている [11]．

された情報を伝達する可視光通信デバイスとしてプロジェクタを使用する研究も行われている．例えば，近赤表 1 プロジェクタ応用光学のエポック

外線を投影するプロジェクタを用いて指先に取り付けたフォトセンサ付き触覚提示デバイスに信号を送り，任意の位置で触覚を提示するシステムが提案されている[17]．また，フォトセンサ付きのロボットの制御にプロジェクタからの投影光を利用するシステムが提案されている [18]．さらに，DMD 素子のミラーを画素毎に 1 万Hz 以上で高速変調することで，人間にとってちらつきのない画像を提示しながらも，時間応答性の高い光検出器で投影光に埋め込まれたコードを読み取ることのできるようなシステムが提案されている [19]．
アプリケーションの提案でも，机上や壁のような，比較的通常の投影スクリーンに近い対象や，投影用に作成された模型だけでなく，現実空間に存在する多種多様な実物体への重畳投影を応用したものが提案されている．
例えば，キャンバスに絵画を描く際の筆使いを投影教示して絵画作成を支援するシステム [20] や，冷蔵庫の扉3．投影対象の非白色面への拡張（2003 〜 09 年）
2002 年頃までは，投影対象は非平面であっても白色に映像を投影して扉を開けずにその中身を確認できるよであることが暗黙的・明示的に限定されていた．これうにしたシステム [21] などが提案された．また，パンに対して，2003 年になると，非白色（だけでなく，テチルト台にプロジェクタを載せて，投影範囲の制限無しクスチャを持つ）対象上でも，あたかも白色の対象にに部屋中の実物体上に情報を提示するシステムも提案さ映像を投影したかのように色を補正する基盤技術に関れている [22]．上記の色補正技術を応用した応用研究とする研究が進み，投影対象の幅が飛躍的に増加するこ

しては，机上の書類の山を投影によって透明化していきととなる．これは，プロジェクタとカメラを組み合わ書類探索を効率化するシステムが提案されている [23]．

せた Projector-Camera System に関する国際ワークショッ

また，プロジェクタの小型化が進んだことから，ウェア

プ ProCams が 2003 年に創設されたことが大きな契機とラブルプロジェクタが提案され [24][25]，そのシステムなっている．研究開発された色補正技術には，非白色かを用いて，ユーザの掌に操作画面を投影重畳して，あたつテクスチャのあるような対象上で所望の色の見えをかも掌がスマートフォンやリモコンになったかのような実現する手法 [12] だけでなく，複雑な形状をした対象インタフェースの提案がなされている [26]．

23

2488

特集

日本バーチャルリアリティ学会誌第 19 巻 2 号 2014 年 6 月

プロジェクションマッピング

4．インタラクティブシステムの発展（2010 年〜現在）用を目指す，プロジェクタ応用工学の揺籃と発展を時間

プロジェクタから身の回りの実環境に投影された投影軸を追って紹介した．読者各位がこの時間軸をさらに延像を，ユーザの指先接触やジェスチャにより操作する研究長することを期待したい．

はこれまでにもなされてきていたが，入力操作の認識に，高価なモーションキャプチャシステムや照明条件等の環境

参考文献

変動に頑健でない画像処理技術が制約となっていた．この[ 1 ] P. Wellner, “The DigitalDesk Calculator: Tangible

問題が，2010 年にリリースされた廉価なモーションセン

Manipulation on a Desk Top Display,” Proc. ACM UIST,

サ Kinect によって克服され，実環境中でユーザインタラ

pp. 27-33（1991）

クションを伴うシステムが，この年以降，カンブリア爆発[2] R. Raskar, G. Welch, M. Cutts, A. Lake, L. Stesin and的に数多く提案されるようになってきている．例えば，H. Fuchs, “The Office of the Future: A Unified Approach to[26] で提案された掌上でのコンピューティングを Kinect を

Image-based Modeling and Spatially Immersive Displays,”

用いたユーザインタフェースに置き換えた研究 [27] や，Proc. ACM SIGGRAPH, pp. 179-188（1998）

実環境およびユーザ手先の 3 次元形状をリアルタイムで計[3] G Welch, H. Fuchs, R. Raskar, H. Towles and M. S. Brown,

測することで実環境中に触れた箇所に絵を描く等のインタ“Projected Imagery in Your "Office of the Future",” IEEE

ラクションを実現した研究 [28] が行われている．ユーザ

Comput. Graph. Appl., Vol. 20, No. 4, pp. 62-67（2000）とのインタラクションだけでなく，天井に取り付けたパン[4] R. Raskar, G. Welch, K. L. Low and D. Bandyopadhyay,

チルト台にプロジェクタと Kinect を載せ，実環境中の物体“Shader Lamps: Animating Real Objects With Image-Basedの配置が変更しても適応的に投影像を補正して投影する研

Illumination,” Proc. EGWR, pp. 89-102（2001）

究 [29] や，テレビの置かれたリビングの形状を計測して，[5] D. Bandyopadhyay, R. Raskar and H. Fuchs, “Dynamic

テレビ画面の周囲に映像を投影して没入感の高い表現を実Shader Lamps: Painting on Movable Objects,” Proc. IEEE/現した研究 [30] などが挙げられる．

ACM ISAR, pp. 207-216（2001）

Kinect を使わない研究も継続して行われている．例え[6] R. Raskar, V. B. Jeroen, P. Beardsley, T. Willwacher, S.

ば，粘土を用いて望みの形状の模型を作成する作業を，

Rao and C. Forlines, “iLamps: Geometrically Aware andプロジェクタとカメラを用いて粘土の形状を連続的に計

Self-configuring Projectors,” ACM Trans. Graph., Vol. 22,

測して，計測された形状と目標形状との差分を投影光に

No. 3, pp. 809-818（2003）

よって可視化することで作業を支援するシステムが提案[7] 川上直樹，稲見昌彦，柳田康幸，前田太郎，舘暲：

されている [31]．また，可視画像と同時に近赤外線画像

現実感融合の研究（第 2 報）－ Reality Fusion におけを投影するハンドヘルドプロジェクタを試作し，近赤外る光学迷彩技術の提案と実装－，日本 VR 学会第 3 回

線画像中に埋め込んだマーカーパターンを近赤外線カメ大会論文集，pp. 285-286（1998）

ラで計測することで，複数のユーザが把持したハンドヘ[8] 楠本拓矢，佐藤宏介，井口征士：実物体へのテクス

ルドプロジェクタの投影像間でのインタラクションを実チャ像投影による混合現実感システム，電子情報通信現する研究が行われている [32]．

学会総合大会予稿集，A-16-14（2000）

これら諸研究が分野を大きく拡げているなか，基盤[9] 向川康博，西山正志，尺長健：スクリーン物体への技術の研究も着実に発展してきている．特に，複数台の工学パターン投影による仮想工学環境の実現，電子情プロジェクタを用いて，立体物に映像を投影する際や，

報通信学会論文誌D-II，Vol. 84, No. 7, pp. 1448-1455（2001）

ユーザとのインタラクションで生じる影をキャンセルす[10] 東城賢司，日浦慎作，井口征士，プロジェクタをる技法が幾つか提案され，例えば，対象上の各小領域で，用いた３次元遠隔指示インタフェースの構築， 日本

最も解像度の高い映像を影無く投影できるプロジェクタ

VR 学会論文誌，Vol. 7, No. 2, pp. 169-176（2002）

を選択する手法 [33] や，投影結果の画質を最大化するよ[ 11 ] D. Kondo and R. Kijima, “Proposal of a Free From

うなプロジェクタの最適配置法が考案されている [34]．

Projection Display Using the Principal Duality Rendering,”
In Proc. VSMM, pp. 346-352（2002）[ 12 ] T. Yoshida, C. Horii and K. Sato, “A virtual color

5．おわりに本稿では，白色平面スクリーンを想定しない，実環境

reconstruction system for real heritage with light

中の様々な物体に映像投影するプロジェクタの新たな適

projection,” In Proc. VSMM, pp. 161-168（2003）

24

特集

プロジェクションマッピング

JVRSJ Vol.19 No.2 June, 2014[13] O. Bimber, A. Grundhoefer, T. Zeidler, D. Danch, and P.

25
89

wearable multitouch interaction everywhere,” Proc. ACM
UIST, pp. 441-450（2011）

Kapakos, “Compensating Indirect Scattering for Immersive[28] D. Molyneaux, S. Izadi, D. Kim, O. Hilliges, S. Hodges,

and Semi-Immersive Projection Displays,” Proc. IEEE

X. Cao, A. Butler, H. Gellersen. “Interactive environment-

Virtual Reality, pp. 151-158（2006）

aware handheld projectors for pervasive computing spaces,”[14] L. Zhang and S. Nayar, “Projection Defocus Analysis for
Scene Capture and Image Display,” ACM Trans. Graph.,

Proc. Pervasive, pp. 197-215（2012）

Vol. 25, No. 3, pp. 907-915（2006）[ 29 ] A. D. Wilson, H. Benko, S. Izadi and O. Hilliges.

[ 15 ] O. Bimber and D. Iwai, “Superimposing Dynamic“Steerable augmented reality with the beamatron,” Proc.

Range,” ACM Trans. Graph., Vol. 27, No. 5, pp. 150:1-

ACM UIST, pp. 413-422（2012）

150:8（2008）[ 30 ] B. R. Jones, H. Benko, E. Ofek and A. D. Wilson,“IllumiRoom: Peripheral Projected Illusions for Interactive[16] N. Damera-Venkata and N. L. Chang, “Realizing Super-Experiences,” Proc. ACM CHI, pp. 869-878（2013）

Resolution with Superimposed Projection,” Proc. IEEE

[ 31 ] A. Rivers, A. Adams and F. Durand, “Sculpting byProcams（2007）[17] 岩中由紀，佐藤宏介：赤外パターン光投影による触Numbers,” ACM Trans. Graph., Vol. 31, No. 6, pp. 157:1-

覚情報提示装置，電子情報通信学会総合大会予稿集，157:7（2012）

A-16-25（2005）[32] K. D. D. Willis, I. Poupyrev, S. E. Hudson, M. Mahler,[18] 杉本麻樹，小島稔，中村亨大，新居英明，稲見昌彦：“SideBySide: Ad-hoc Multi-user Interaction with Handheld

画像提示装置で表示した指標画像を用いた位置・姿

Projectors,” Proc. ACM UIST, pp. 431-440（2011）

勢計測，日本 VR 学会論文誌，Vol. 10, No. 4, pp. 485-

[33] A. J. Law, D. G. Aliaga and A. Majumder, “Projector494（2005）

Placement Planning for High Quality Visualizations on[19] 北村匡彦，苗村健：DMD を用いた空間分割可視光

Real-World Colored Objects,” IEEE Trans. Vis. Comput.

通信 : メタメディア情報を埋め込んだ映像投影，日本Graphics, Vol. 16, No. 6, pp. 1633-1641（2010）

VR 学会論文誌，Vol. 12, No. 3, pp. 381-388（2007）[34] M. Nagase, D. Iwai and K. Sato, “Dynamic Defocus[20] M. Flagg and J. M. Rehg, “Projector-guided Painting,”

and Occlusion Compensation of Projected Imagery byModel-Based Optimal Projector Selection in Multi-Proc. of ACM UIST, pp. 235-244（2006）

projection Environment,” Virtual Reality, Vol. 15, No. 2,[21] L. Bonanni and C. H. Lee, “The Kitchen As a Graphicalpp. 119-132（2011）

User Interface,” Proc. ACM SIGGRAPH Art Gallery, pp.
109-111（2004）【略歴】[22] A. Butz and C. Schmitz, “Annotating Real World objects
using a Steerable Projector-Camera Unit,” Proc. IEEE佐藤宏介（SATO Kosuke）

Procams（2005）

大阪大学

大学院基礎工学研究科教授[23] D. Iwai and K. Sato, “Limpid Desk: See-Through Access1983 年大阪大学基礎工学部制御工学科卒，1985 年同大

to Disorderly Desktop in Projection-Based Mixed Reality,”

学院修士了．1986 年同大助手，1994 年奈良先端科学技

Proc. ACM VRST, pp. 112-115（2006）

術大学院大学助教授，2003 年より現職．専門は 3 次元
画像計測，プロジェクタ応用工学，情報考古学など．

[24] T. Karitsuka and K. Sato, “A Wearable Mixed Reality
with an On-Board Projector,” Proc. IEEE/ACM ISMAR, p.
321（2003）[25] P. Mistry, P. Maes and L. Chang, “WUW - Wear Ur World:
A Wearable Gestural Interface,” Proc. ACM CHI EA, pp.
4111-4116（2009）[ 26 ] G. Yamamoto and K. Sato, “PALMbit : A PALM
Interface with Projector-Camera System,” Proc. UbiComp,pp. 276-279（2007）[27] C. Harrison, H. Benko and A. D. Wilson, “OmniTouch:25