1478特集

日本バーチャルリアリティ学会誌第 19 巻 2 号 2014 年 6 月

プロジェクションマッピング

特集 ■ プロジェクションマッピング

質感プロジェクションマッピング

天野敏之

和歌山大学

Amano Toshiyuki

ンディスプレイの研究としては，Raskar らが提案して1．質感脳情報学
生理学研究所の小松英彦教授を代表とする，新学術領いる Shader Lamps [1] が有名である．この研究ではラン域研究「質感認知の神経メカニズムと高度質感情報処理

バート反射の仮定のもとで建築物の模型上にテクスチャ技術の融合的研究」（以後，質感脳情報学）では，工学，や日照条件の変化に対する陰影アニメーションを提示

心理物理，脳科学分野から多くの研究者が集い，質感認している．ランバート反射を仮定したプロジェクショ

知に関わる人間の情報処理の仕組みの解明と，質感情報ンディスプレイの研究はこの他に，Mukaigawa らの投影の獲得や生成に関する工学技術の発展を推進している．

対象の BRDF に基づく任意の陰影や反射特性の再現 [2]

質感脳情報学の研究領域は平成 22 年に発足し，平成や，Okazaki らの高精度なモデリングによる品質の高い反射特性の再現 [3] などもある．

23 年度から平成 24 年度にかけて第 1 期の公募研究が実施され，現在は第 2 期の公募研究が行われている．筆一方，放射輝度補償とは異なり，物体本来の見かけに者は質感脳情報学において第 1 期より「質感の計測と応じて光投影によって物体の見かけを操作する手法 [4]表示に関わる光学的解析と技術」について研究を行う[5] も提案されている．さらに，立体物への投影を行う

A01 班に参加し，プロジェクタとカメラから構成される応用として，重畳投影による劣化した遺物の仮想修復フィードバック系を用いた光投影による質感操作につい[6] やテクスチャを持つ模型の上への重畳投影による高て研究を行ってきた．

ダイナミックレンジ提示 [7] なども提案されている．

本稿では，質感プロジェクションマッピングの研究事
例として，筆者が質感脳情報学で現在までに行ってきた3．プロジェクタカメラ系による連続的な操作前述のプロジェクションディスプレイの研究では，形状研究の概要を紹介する．と反射特性を含む投影対象のモデルに基づき，物理的に正しい精巧な見かけの操作を実現している．そのため，これ

2．光投影による質感の操作
物体の見かけは双方向反射率分布関数（BRDF）や双らの手法はクオリティが要求されるが，事前に機材の配置

方向透過率分布関数（BTDF），双方向散乱面反射率分や照明環境の設計が許されるテーマパークのアトラクショ布関数（BSSRDF）などなどによって表される物体表面

ンや博物館での展示への応用に適していると言える．しかおよび表皮下の光学特性だけでなく，直接もしくは間接し，あらかじめ投影対象のモデルを用意できない場合や，的に物体へ照射される光によっても変化する．つまり，投影対象の配置が変化する場合では，プロジェクタとカメ

物体の見かけが物体の光学的な特性のみで決定されなラを用いた適応的な補償方法 [8-10] が有利である．

い．そのため，プロジェクタなどを用いて投影光を緻密筆者らは，このような適用的な処理で見かけを操作すに制御することで，光学的な制約の範囲内で物体の見かる手法として，図 1 に示すプロジェクタカメラフィード

けを操作することが可能であり，物体の見かけから知覚バックを用いた見かけの制御を提案している [5]．
この制御系では，カメラで計測された画像 C' に対しされる質感の操作も可能となる．てカラーマッチングおよびガンマ補正を施した画像 C

光投影により物体の見かけを操作するプロジェクショ

14

特集

プロジェクションマッピング

JVRSJ Vol.19 No.2 June, 2014(a) input(b) IH + IS(c) IV L(d) IV H(e) finv (IVL)(f) fγ (IVH)(g) finv + fγ(h) output

1579

図 1 見かけの制御のブロックダイアグラムとシステム内部で生成された投影画像 P から白色照明下での見かけ Cest を推定する．その後，Cest にユーザにより定義される画像処理を施して目標画像 R を生成し，モデル予測制御（MPC）によって P を調整することで図 3 画像処理による透明感の操作現実世界の見かけを連続的に操作する．例えば，この見かけの制御の画像処理部分に彩度強調や色彩除去，色相低周波成分 IVL を抽出し（c），IV から IVL 減算することシフトなど所望のアルゴリズムを実装することで，図 2

で明度成分の高周波成分 IVH を得る（d）．その後，IVL に，
finv（x）= 1-x 			に示すように現実世界の物体の見かけを光投影によって（1）による逆トーンマップを適用して明度を反転させる（e）．

連続的に操作することが可能となる．

また，IVH についてはコントラスト強調
fγ（x）= xγt 			（2）を適用し（f），これらの結果を加算することで透明感を操作した明度成分（g）を得る．最後に，これを（b）に示す色相・彩度成分 IH+IS と合成することで出力（h）を得る．
4.2

ヒストグラムのひずみ操作による光沢感操作

本吉らの別の研究 [12] では，輝度ヒストグラムの歪みと画像のサブバンド・フィルタ出力の歪みが表面の光沢と相関し，物体表面の拡散反射率と負の相関を持つことが示されている．つまり，入力画像に適切なトーンカーブを適応し，出力画像の明度ヒストグラムに正の歪を持つ分布が得られれば，入力画像として与えられた

図 2 見かけの制御による処理結果＊口絵にカラー版掲載

マットな物体の見かけ物体像に光沢を与えることができ

4．認知科学の成果を応用した質感操作ることが期待できる．筆者らは，この知見に基づき光沢4.1

感操作手法も提案している．

逆トーンマッピングによる透明感操作

質感脳情報学において「質感認知に関わる感覚情報の例えば，出力画像の明度ヒストグラムを操作するため特徴と処理様式について研究」を行う B 班に計画班とには，透明感の操作と同様に図 4（a）に示す入力画像して参加している本吉の研究 [11] では，非光沢成分のの明度成分 IV に対して正の歪を生成するトーンカーブをコントラストと鏡面反射の鋭さは視覚による透明物体の適用すればよいが，IV のヒストグラムも画像により様々識別に大きな影響を与えることを明らかにしている．これは言い換えると，物体像の低周波数成分に対して逆トーンマップを施して画像を再構築すると，不透明物体の見かけが透明に見えるということである．筆者らはこの知見に基づき図 3 に示す透明感操作手法を提案した．
具体的な処理としては，例えば（a）に示す入力画像(a) IVの明度成分 IV にガウシアンフィルターを適用することで(b) IVLHE(c) fskew

図 4 画像処理による光沢感の操作

15(d) output

1680

特集

日本バーチャルリアリティ学会誌第 19 巻 2 号 2014 年 6 月

プロジェクションマッピング

であり，適したトーンカーブは画像毎異なる．そこで，

しかし，プロジェクタからの投影光はビームスプリッ

提案手法では，まず IV に対してヒストグラム平坦化を行

タの反射率に応じて筐体下方に反射される．この光がカい，IVHE を得る（b）．その後，トーンマッピング

メラの視野範囲で拡散反射すると撮影像が白濁し，制御γg

fskew（x）=（1-β）x + β（3）性能が低下する．そこで，この光学系ではビームスプを施して出力画像の明度成分（c）を得る．最後に，IHリッタ下方の黒色ガラス板で迷光を減衰反射させ，その成分，IS 成分と合成して出力（d）を得る．

先の植毛紙で吸収する効果的な迷光処理を採用した．

このようにヒストグラム平坦化を施すことによって，出力画像の明度ヒストグラムは常に

p(x) ={0 , 𝑥𝑥 < β1− γg

1γg(1− β)1/γg(x − β) x γg

5.2

透明感の操作結果

コントラストパラメータを γt = 2.0 とし，混合パラメー
タ α を変化させて透明感を操作した結果を図 6 に示す．

（4）

この結果を見ると，α の増加とともに，小人（上段左，, 𝑥𝑥 > β

陶器，ラッカー仕上げ）やクマ（上段右，素焼き）の顔や胴体の輪郭が次第に明るくなっている．このような見となり，正の歪度を持つことが保証される．
本研究ではこのトーンマップのパラメータ β,γg を調整

かけは表面の拡散反射だけでは説明ができないため，光することで入力画像の光沢感の操作を試みた．の屈折や発光などが想起され，透明感の知覚が促されることが期待できる．しかし，いずれの結果においても鏡5．質感操作結果面反射が提示されていないため光沢のあるガラスのよう5.1な透明感を与えることは困難である．

瞳位置が一致したプロジェクタカメラ系

1600x1200 画素のカメラと 2500lm，Full HD 液晶プロジェクタを用いて図 5 に示す光学系を試作した．この光学系では，プレート型ビームスプリッタによってプロジェクタとカメラを光学的に同じ位置に配置することが可能であり，投影対象によらず投影画像とキャプチャ画像の画素対応が一定となる．従って，この光学系に先に述べた質感操作アルゴリズムを実装すれば，操作対象の形状モデルを用意することなく，連続的に投影対象の透明感や光沢感を操作することが可能となる．もちろん，

α = 0.2

投影画像の位置合わせも必要としない．

α = 0.4

α = 0.6

α = 0.8

図 6 透明感の操作結果＊口絵にカラー版掲載

処理結果に鏡面反射が提示されない原因は，いずれのCamera Unit
Camera

投影対象も本来の見かけに強い鏡面反射成を持たないこTargetとにある．この解決方法としては形状推定に基づく擬似Projector

Transmission
Reflection

Stray Light
Absorber

ScreenBeamSplitter

的な光沢付与が考えられる．
5.3

BlackMirror(Attenuated Reflection)

光沢感の操作結果

明度ヒストグラムにおける歪度を変化させて対象の見かけを制御した結果（図 7）を見ると，γg の増加とともに見かけの光沢感が強くなっており，特に，クマの顔や胴体では美しい光沢が提示できていることが確認できる．
しかし，小人の顔や胴体では γg の増加とともに黒潰れが発生している．原因は領域ごとに反射率が異なり，トーンカーブが均一に適用されなかったためである．こOptical component.の解決方法としては色彩の領域ごとに処理を行う方法

System overview

や，アルベドを事前に分離しておく方法が考えられる．

図 5 瞳位置が一致したプロジェクタカメラ系

16

特集

プロジェクションマッピング

JVRSJ Vol.19 No.2 June, 2014

本稿で紹介した結果は，いずれも OpenMP，OpenGL，1781

Multimedia, pp. 544-553（2004）

OpenCV などのライブラリを用いて Xeon ベースのマル[3] T. Okazaki, T. Okatani, and K. Deguchi. A projector-camera

チコア PC（12Core Mac Pro 2.4GHz）で並列実装したもsystem for high-quality synthesis of virtual reflectance on realのであり，処理速度は 8fps 程度であった．

object surfaces. IPSJ Tran. on Computer Vision and Applications,2, pp. 71-83（2010）[4] O. Bimber and D. Iwai. Superimposing dynamic range.
ACM Trans. Graph, 27（5）:150:1-150:8（Dec. 2008）[5] T. Amano and H. Kato. Appearance control using projection
with model predictive control. In Proc. of ICPR, pp. 28322835（2010）[6] D. G. Aliaga, A. J. Law, and Y. H. Yeung. A virtual restoration
stage for real-world objects. ACM Trans. Graph., 27(5):149:1–149:10（Dec. 2008）[ 7 ] S. Shimazu, D. Iwai, and K. Sato. 3d high dynamic

図 7 光沢感の操作結果＊口絵にカラー版掲載

range display system. In Proceedings of the 2011 10th IEEE
International Symposium on Mixed and Augmented Reality,

6．おわりに質感を光学的に操作するプロジェクションディスプレ

ISMAR’11, pp. 235-236（2011）

イ技術は，テーマパークや博物館，シアター，ショーウィ[8] S. K. Nayar, H. Peri, M. D. Grossberg, and P. N. Belhumeur.

ンドウでの演出など，多くの場面への利用が期待できる

A projection system with radiometric compensation forが，その普及のためには扱い安いことが重要である．

screen imperfections. In IEEE International Workshop on

本研究では，見かけの制御技術に認知科学の知見に基Projector Camera Systems（2003）

づく画像ベースの質感操作アルゴリズムを導入した．ま[9] M. D. Grossberg, H. Peri, S. K. Nayar, and P. N. Belhumeur.

た，入射瞳位置が一致したプロジェクタカメラ系に実装

Making one object look like another: Controlling appearanceすることによって，操作対象のモデル形状モデルや投影

using a projector-camera system. In Proc. IEEE Conf. CVPR,光の位置合わせなどを必要とせず，連続的な操作が可能

vol.1, pp.452-459（2004）な質感プロジェクションマッピングを実現した．

[10] K. Fujii, M. D. Grossberg, and S. K. Nayar. A projector-

現在は，操作対象の前面だけでなく，側面や後方につcamera system with real-time photometric adaptation for

いても見かけを操作する全周囲の質感操作，再帰性反射

dynamic environments. In Proc. of the CVPR, volume 2, p.

を用いた構造色の質感プロジェクションマッピングにつ1180（2005）

いて研究を行っている．今後，機会があればこれらの成[11] I. Motoyoshi. Highlight-shading relationship as a cue for果についても報告したい．

the perception of translucent and transparent materials. J Vis,10（9）:6（2010）[12] I. Motoyoshi, S. Nishida, L. Sharan, and E. H. Adelson.

謝辞
本研究は，JSPS 科研費，新学術領域研究（質感脳情Image statistics and the perception of surface qualities.

報学）23135523，25135723 の助成によるものである．

Nature, 447:pp. 206-209（Apr. 2007）

参考文献

【略歴】

[1] R. Raskar, G.Welch, K.-L.Low, and D. Bandyopadhyay.

天野敏之（AMANO Toshiyuki）

Shader lamps: Animating real objects with image-based

和歌山大学システム工学研究科知的計測クラスタ准教

illumination. In Proc. of the 12th Eurographics Workshop

授．2000 年大阪大学大学院博士後期課程修了．同年名on Rendering Techniques, pp. 89-102（2001）

古屋工大助手，2007 年奈良先端大助教，2011 年山形大

[2] Y. Mukaigawa, M. Nishiyama, and T. Shakunaga. Virtual准教授を経て 2012 年 10 月より現職．パターン認識，コ

photometric environment using projector. In Proceedings

ンピュータビジョン，拡張現実感に興味を持つ．現在のof the International Conference on Virtual Systems and専門はプロジェクタカメラ系による拡張現実感．

17