WISS 2022

Displacement Projection Mapping: 実物体の境界を超えた形状変化の投影
幸谷 有紗 ∗浦垣 啓志郎 ∗ 宮藤 詩緒 ∗ 小池 英樹 ∗概要. プロジェクションマッピングは実物体に映像を重畳投影することで，色や金属光沢などの見た目の質感を変更可能な技術である．しかし，投影によりトゲや毛などの凹凸のある形状を付け加える場合，実物体の内部だけでなく背景にも映像が投影されてしまい，実物体と背景の境界が不自然に見えてしまう問題が生じる．本論文では，境界に生じた陰影を軽減することで凹凸のある形状の映像を自然になじませる投影手法を提案する．実験により，本手法を用いることで凹凸のある見た目を従来手法よりも自然に再現できることが示された．本手法は投影による映像表現の幅を従来以上に向上し，3D 印刷や医療などの幅広い分野への応用が期待できる．

1

はじめに

プロジェクションマッピングは，現実空間の見た目を塗り替える技術である．
しかし，プロジェクションマッピングによって変更できる実物体のテクスチャには制限があり，変位マップ (Displacement map) を始めとする形状の頂点自体を動かすテクスチャを扱うことができない．
そのため，トゲや毛などの凹凸のある形状を付与する際に，表面から投影映像がはみ出してしまう．
本論文では，この問題に対し，実物体の表面をはみ出す形状を投影する場合に境界付近の陰影を自然になじませることで，実物体の見た目を自然に変更する投影手法を提案する．図 1 に提案手法の概念図を示す．

図 1. 提案手法の概念図：投影によって実物体にトゲや毛などの凹凸のある形状を仮想的に付与するを変えることで，実物体と背景の境界にある陰影を軽減するための陰影平滑化フィルタを作成する．その後，陰影平滑化フィルタと目標の凹凸形状を付与した投影映像を合成することで，実物体の見た目を自然に変更する．
本手法により，プロジェクションマッピングによる映像表現の幅がより広がることが期待される．例
えば，博物館や医療現場などのその場での見た目の形状変更が困難な状況でも，本手法を用いることで即座に実物体の見た目の形状を変更可能となる．[2]2

Amano らは，ProCam システムを用いて 3 次元物体の色や金属光沢などの外観制御を行なっている[1]．また Siegl ら [5] は，複数プロジェクタを用いたリアルタイムプロジェクションマッピングシステムを提案しており，高速に表面材質を変更する投影を行っている．
以上のプロジェクションマッピングを用いた研究において，投影可能範囲は，投影対象である実物体の表面に制限されている．本研究では，プロジェクションマッピングにおける実物体表面外への投影手法を用いた見かけの形状の制御手法を検討する．

3
まず，プロジェクタとカメラの光軸を一致させた
ProCam システムを用いて，投影する映像の輝度（以下，投影輝度）に対して，投影対象を撮影した画像中の輝度（以下，反射輝度）がどのように変化するかを測定する．次に，投影箇所に応じて投影輝度
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗東京工業大学 情報理工学院

関連研究

提案手法

本論文では実物体の表面をはみ出すような投影であっても自然に見えるような投影手法を提案する．
図 2 に示される提案手法は 3 つのステップで構成される．

1. 反射輝度の測定
投影輝度が全画素で一定である場合であっても，反射輝度は各画素で異なる．このような反射輝度のばらつきを補正するため、投影輝WISS 2022

図 3. 球体 (左) とうさぎ (右) における投影目標画像と，従来手法と提案手法の投影結果との差異の可視化度が均一な白色光を段階的に投影することで反射輝度を測定する．

2. 陰影平滑化フィルタの作成
測定して得られた各画素における投影輝度と反射輝度の関係から，実物体の反射輝度が一定となるように投影輝度を調整する陰影平滑化フィルタを作成する．

3. 陰影平滑化フィルタと凹凸モデル画像の合成
陰影平滑化フィルタと，実現したい凹凸モデルの画像を組み合わせることで，最終的に投影するための画像である凹凸モデル投影画像を合成する．

IRours を示し，中段に各画像を補正した後の輝度，下段に目標画像の輝度との差異を示す．目標画像と各手法の差異を比較すると，従来手法に比べ，提案手法では背景との境界付近における差異が減少している．これらの結果から，提案手法を用いることで従来手法に比べて目標とする凹凸モデルに近い投影結果を得られることがわかる．

5

提案手法は，実物体が静止していると仮定しており，視点位置もカメラ位置に限定されている．複数のプロジェクタを導入することで，実物体の側面や背景への投影が可能となり，観察視点を拡張できる．
今後の展望として，投影により形状を付加した部
分に超音波を用いて触覚を提示 [3] する方向性が考えられる．物体の形状変化を視覚だけでなく触覚を用いて観測者に提示できるようになる．また，観察者の実物体への接触に合わせ，投影する形状を変化させるインタラクションも実現可能となる [4]．

6図 2. 提案手法の流れ

4

実験

本手法によって物体の陰影をなじませ，目標とする凹凸モデルとなるように見た目の形状を変更できるのかを検証する．物体の陰影をなじませず，投影対象に凹凸モデルの画像をそのまま投影する手法を従来手法とし，提案手法との比較をおこなった．
図 3 の上段に投影目標とする IPrender ，従来手法
prevによる投影結果 IR ，提案手法を用いた投影結果

議論

まとめ

本論文では，実物体表面をはみ出す形状を投影により付与する場合に境界付近の陰影を自然になじませることで，実物体の見た目を自然に変更する投影手法を提案した．本手法を用いることで，投影を用いた見た目の形状変化に関する制限を緩和することができ，プロジェクションマッピングによる表現の幅を従来以上に拡張できる．

謝辞
本研究は JSPS 科研費 JP20K21807 の助成を受けたものである．

Displacement Projection Mapping

参考文献[1] T. Amano, K. Komura, T. Sasabuchi, S. Nakano,and S. Yamashita. Appearance control for humanmaterial perception manipulation. In Proceedingsof the 21st International Conference on Pattern
Recognition (ICPR2012), pp. 13–16, 2012.
[2] K. A. Gavaghan, S. Anderegg, M. Peterhans,
T. Oliveira-Santos, and S. Weber. Augmented
Reality Image Overlay Projection for Image
Guided Open Liver Ablation of Metastatic Liver
Cancer. In C. A. Linte, J. T. Moore, E. C. S.
Chen, and D. R. Holmes eds., Augmented Environments for Computer-Assisted Interventions,pp. 36–46, Berlin, Heidelberg, 2012. Springer
Berlin Heidelberg.
[3] B. Long, S. A. Seah, T. Carter, and S. Subra-manian. Rendering Volumetric Haptic Shapes in
Mid-Air Using Ultrasound. ACM Trans. Graph.,33(6), nov 2014.
[4] K. Nakagaki, L. Vink, J. Counts, D. Windham,
D. Leithinger, S. Follmer, and H. Ishii. Materiable: Rendering Dynamic Material Properties in
Response to Direct Physical Touch with Shape
Changing Interfaces. In Proceedings of the 2016
CHI Conference on Human Factors in Computing Systems, CHI ’16, p. 2764–2772, New York,NY, USA, 2016. Association for Computing Machinery.
[5] C. Siegl, M. Colaianni, L. Thies, J. Thies,M. Zollhöfer, S. Izadi, M. Stamminger, andF. Bauer. Real-Time Pixel Luminance Optimization for Dynamic Multi-Projection Mapping.
ACM Trans. Graph., 34(6), oct 2015.