解 説

画像情報に基づく質感表現・認知研究の最前線

拡張現実感システムにおける質感表現
眞鍋佳嗣

Material Representation on Mixed Reality System
Yoshitsugu MANABE
Augmented reality（AR）is a technique to integrate the real world and virtual objects comfortably. In thecase of application of furniture layout simulation using AR, it is very important to represent material
perception─Shitsukan. The representation of Shitsukan should be considered the lighting condition of
the real world and optical properties such as reﬂection, refraction and transmission. This manuscript
describes about the estimation method of lighting condition of the real world and reﬂectance of objects
in order to represent Shitsukan for AR.
Key words: augmented reality, Shitsukan, lighting condition, re-lighting

現実世界とコンピューターで作った仮想世界を継ぎ目な
く 融 合 し て 人 間 に 提 示 す る 拡 張 現 実 感 （ augmented

広い概念である3―8）．しかしながら，AR と MR は同じ意味で使われることも多い．

reality: AR）という研究が行われている．拡張現実感は，AR の応用分野としては，医療における手術計画支援や現実世界に仮想の情報を提示することで，さまざまなシー屋内外でのナビゲーション，作業支援，エンターテイメンンにおいてわれわれ人間の活動の支援を行うことを目的と

ト，インテリアシミュレーションなどがある．例えばインしている．

テリアシミュレーションでは，IKEA が「IKEA カタログ」

拡張現実感は，仮想現実感（virtual reality: VR）の研究

アプリ（http://www.ikea.com/ms/ja_JP/customer_service/と同じく人間の五感を対象としているが，特に視覚（映像）download-ikea-apps/index.html）［2014 年 6 月 30 日現在］をを対象とした拡張現実感の研究が盛んに行われている．

スマートフォンやタブレット端末用に提供している．この

本解説では，拡張現実感において現実世界と仮想世界のアプリでは単なる電子カタログの機能だけではなく，製品視覚情報を違和感なく融合させることを目的として，質感の CG をカメラ画像に重畳して配置等を確認することがでを考える．まず，拡張現実感で重要である整合性についてきるようになっている．また，東芝は「AR 家電 未来のカ説明する．そして，質感表現に必要な現実世界の照明環境タログ」（http:// arkaden.jp）［2014 年 6 月 30 日現在］を提の計測方法，および現実環境に合わせた仮想物体の提示手供しており，自宅で家電を置いた様子をシミュレーション法について述べる．

できるようになっている．
このようなインテリアシミュレーションを行う場合，設1.

拡張現実感とは置する場所によって照明条件が変化するが，提供されてい拡張現実感とは，電子的なデータを現実世界に重畳表示

る CG はレンダリングする際の光源位置が固定されておすることで強化，拡張する技術であり，1990 年代中頃にり，実際の照明条件と異なってしまう．シミュレーション

1）

においては，単に配置や大きさの確認だけではなく，他の2）として複合現実感（mixed reality: MR） があるが，MR は家具や壁紙等との調和の確認も必要であり，重畳される現実世界と仮想世界を連続的に捉え，VR や AR を包含したCG の質感再現が重要となる．

コロンビア大学の S. Feiner が提唱した ．同じような言葉

千葉大学大学院融合科学研究科（〒263―8522 千葉市稲毛区弥生町 1―33） E-mail: manabe@faculty.chiba-u.jp

312（ 16 ）光学

図 1 立体マーカー．
図 2 視点と光源の位置関係．

2.

拡張現実感における整合性
拡張現実感において現実空間と仮想空間を違和感なく融何学的整合性と合わせて光学的整合性を保っている．図 1

合させるには，幾何学的整合性，時間的整合性，および光に，安室らが提案した，二次元マーカーと鏡面球の組み合学的整合性の 3 つの整合性に関する課題を解決することがわせで構成する立体マーカーを示す 11）．

重要となる．
幾何学的整合性は，現実空間と仮想物体の空間的な位置

3.

現実空間の照明環境の反映合わせであり，仮想物体が実空間の重力や慣性，反力に矛立体マーカーを用いて照明環境を推定する方法を説明す盾せずに表示されることである．例えば，コンピューター

る．まず，カメラで撮影された画像から二次元マーカーのグラフィックス（CG）で表現されたコップが机にめり込

位置情報を取得し，鏡面球が二次元マーカーの上部にあるんだり，空中に浮いて見えたりしないように，幾何学的にことを利用して，得られた位置情報に基づき撮影画像から位置を合わせることである．

鏡面球画像を取得する．鏡面球上の各画素は，画素位置に

時間的整合性は，ユーザー（カメラ）の視点移動や，現応じてカメラからの視線ベクトルと鏡面球の直径を用いる

実物体の移動などと仮想物体の描画に遅延が生じないようことで，その点での法線ベクトルを求めることができる．にすることである．計算機の処理能力を高くすることや，これらを用いることで，その画素位置での正反射方向が求効率的な計算アルゴリズムの開発などが重要となる．

められ，正反射方向にある光源の強さと色を得ることがで

光学的整合性は，現実空間の光源環境を考慮し，陰影やきる（図 2）．

影の付き方を現実空間と仮想空間で違和感なく提示するこまた，仮想物体表面での反射が，拡散反射と鏡面反射のとである．本稿の目的である質感再現では，3 つの整合性二色性反射モデルで表せると仮定する．なお，金属表面での中で，この光学的整合性が最も重要となる．

生じる金属反射は鏡面反射の拡張と考える．この反射モデ

これら 3 つの整合性のうち幾何学的整合性を保つため

ルと観測された鏡面球から推定された光源の位置および色に，現実空間に対するカメラの位置姿勢の推定するさまざにより，仮想物体をレンダリングすることで，現実世界とまな手法が提案されている．その中でも，マーカーを用い仮想物体の光学的整合性を保持する．

9）

た代表的な手法が ARToolKit である ．この手法では，

3. 1 拡散反射への照明環境の反映

マーカーの四角い枠を認識することによってマーカーとカ

まず，物体の色および陰影を表現する拡散反射から考えメラの位置関係を求め，仮想物体をマーカー上に正しく表る．鏡面球の画素すべてを光源としてレンダリングする

示することを実現している．と，表現は正確になるが，計算コストがかかる．また，拡さらに，位置姿勢と照光条件を同時に計測し，光学的整

散反射の場合は全方向に一様な強度で反射し，物体表面の合性と幾何学的整合性とを保持して仮想物体を表示する方

色と陰影を表現するため，それほど厳密な光源位置は必要法として，鏡面球とマーカーを組み合わせた方法が提案さとしない．そこで，得られた鏡面球画像を分割し，分割さ

10，
11）

．これらの手法では，鏡面球に映った像かられた領域内の RGB 値の平均をその領域の光源の色とし，鏡面球を中心にした周囲の照明環境を推定し，それをもとまたその領域の重心から光源位置を求める．つまり，領域に仮想物体をレンダリングすることで，マーカーによる幾数を光源のサンプリング数とする．図 3 に，得られた鏡面れている

43 巻 7 号（2014）

313（ 17 ）

（a）

（b）

（c）

（a）

（b）

図 3 鏡面球画像とサンプリング画像．
（a）鏡面球画像，（b）
25 分割，（c）100 分割．

図 5 ハイライトマスク画像．
（a）鏡面球画像，（b）マスク画像．

球画像と，それを 25 分割した画像および 100 分割した画像

なお，図 4（ b ）と図 4（ c ）の比率を変えて混合した場を示す．この画像を用いることで，現実空間の照明環境を合，そのままでは，強いハイライトの部分が弱くなってし近似して仮想物体の陰影を表現することが可能となる．

まう．そのため，図 5 に示すように鏡面球画像において輝3. 2 仮想物体への現実環境の映り込み度が高い領域に関してマスク画像を作成しておき，強いハ仮想物体をよりリアルに見せるには，拡散反射だけでなイライトを保持できるようにしている．

く，鏡面反射の表現も重要である．光沢だけではなく，周りの物体の映り込みも鏡面反射によるためである．

4.

現実環境への仮想情報の反映

仮想物体の鏡面反射の表現のために，鏡面球画像を用いここまで，現実環境の情報，特に照明環境を仮想物体にて環境マッピングを行う．このとき，仮想物体表面の色と反映させ，仮想物体の質感表現を行う方法について説明し鏡面球画像による映り込み色の比率を変化させて混合するた．しかしながら，現実世界を考えるとさまざまな物体がことで，仮想物体の局所的な映り込みを表現する．また，相互に影響を与えており，当然ながら拡張現実感において表面が粗い物体に対しては，鏡面球画像に反射モデルに応も，現実環境から仮想物体への影響だけでなく，仮想物体じた平滑化フィルターを適用することで面の粗さの表現がから現実環境への影響も考慮することが重要である．ここ可能となる12）．

では，仮想物体の現実環境への映り込み，および仮想照明

3. 3 仮想物体の重畳表示による現実環境への照明効果について紹介する．

3.1 節，3.2 節で説明した拡散反射成分による色と陰影の表現，および鏡面反射成分による映り込みの表現について，結果を図 4 に示す．
図 4（ a ）は入力画像である．この画像から二次元マーカーを検出し，マーカーの位置・姿勢をもとに鏡面球の領

4. 1 現実環境への仮想物体の映り込み
机や床などが光沢をもつ場合，その上におかれた物体が映り込んで観測される．そのため，仮想物体を机や床などの上に重畳表示させる場合も，現実環境に仮想物体を映り込みませることが重要となる．

域を切り出し，照明環境を推定する．推定した照明環境に前章で述べたように，ある物体に他の物体が映り込んで基づき拡散反射のみで仮想物体を表現した結果が図 4（b）

いるのは，その物体の鏡面反射によるものである．つまである．陶器のようなマットな質感が再現できているのがり，仮想物体を現実物体に映り込ませるには，現実物体表わかる．また，環境マッピングを用いて映り込みを表現し面の反射率を求めることが必要となる．そのために，マーた結果が図 4（c）である．滑らかな金属の質感が表現されカーの床面への映り込みを利用する方法を提案している13）．ている．

この方法では，映り込みによる床面の輝度の変化を解析す

さらに，この 2 つのレンダリング結果を，比率を変えてることで床面の反射率を推定し，推定した反射率を考慮す混合した結果が図 4（d）と図 4（e）である．図 4（d）は拡ることで仮想物体の映り込みを表現している．また，映り散反射成分の重みを強くした結果で，プラスチックのよう込みの生じている領域のエッジ部分の輝度値の変化幅を解な質感が再現されている．また図 4（e）は鏡面反射である

析することで，床面の粗さを推定し，床面の粗さを考慮し映り込み成分を強くした結果であり，金属らしい質感が表た仮想物体の映り込みのぼけの表現を行っている．

現されている．これらの結果より，現実空間の照明環境に4. 2 仮想照明（re-lighting）の実現合わせつつ，拡散反射成分と鏡面反射成分の比率を変えてここまで，立体マーカーを用いて現実世界の照明環境の表現することで，仮想物体の質感を変えた重畳表示が可能推定および現実環境の床面の反射率の推定方法を示した．となっている．

しかしながら，仮想物体として照明器具を考えた場合，現314（ 18 ）

光学

（a）

（b）

（d）

（e）

（c）

図 4 質感を変えた重畳表示結果．（a）入力画像，（b）拡散反射成分による色と陰影の表現，（c）環境マッピングによる映り込みの表現，（d）拡散反射成分を強くした表現，（e）鏡面反射成分を強くした表現．

（a）

（b）

（c）

図 6 法線ベクトルの推定．（a）入力画像 1，（b）法線ベクトル推定結果（平滑化なし），（c）法線ベクトル推定結果 （平滑化あり）．

（a）

（b）

（a）

（b）

図 8 仮想照明の効果の再現．
（a）図 6（a）に対する結果，（b）図 7 に対する結果．

図 9 光源の種類による照明効果の再現．（a）白色光源の仮想照明，（b）白熱電球の仮想照明．

実世界の床面だけでなくシーン中の物体などさまざまな物

4. 2. 1 仮想照明の処理の流れの反射率を推定する必要がある．そこで，立体マーカーと仮想照明は大きく 3 つのステップに分けて実現する．1

通常の RGB の情報と同時に距離情報を取得できる RGB-D

つ目のステップでは，RGB-D カメラで取得した深度の平カメラを用いた照明位置推定と，現実環境の反射率の推定滑化，深度から三次元点群への変換，法線ベクトルの計算を行う．

による前処理を行う．2 つ目のステップは，現実環境の反43 巻 7 号（2014）

315（ 19 ）

射率の推定を行う．反射率の推定には，実光源の位置と色と強度が必要となるが，本手法では鏡面球を用いて推定を行う．3 つ目のステップでは，仮想照明の効果の計算を行う．本手法ではマーカーを用いて仮想光源の位置を指定し，推定した現実環境の反射率を用いて仮想照明の効果を計算する．
4. 2. 2 現実環境の法線ベクトルの推定
この手法では，RGB-D カメラで取得した深度情報を用

図 7 入力画像 2．

いて，現実環境の反射率の推定および仮想照明の効果の計算を行う．しかし，RGB-D カメラで取得した深度情報にはできない．そのため，White Patch Retinex の手法を用いはノイズが含まれているため，これをそのまま用いると計て，RGB-D カメラで取得した RGB 画像の画素値から実光算結果に誤差が生じてしまう．そこで，改良したバイラテ源の色を推定する．White Patch Retinex とは，ホワイトバラルフィルターを用いて深度情報の平滑化を行う．通常のランスなどで使われる光源の色の推定手法のひとつであバイラテラルフィルターでは，深度差の分散を大きくするる．これは，シーン中に白色物体が含まれているとしたとエッジがぼやけてしまい，小さくするとノイズが除去しら，カメラで撮影されたその物体の色は光源の色と同じにきれないという問題がある．そのため，深度差が一定値以なるという仮定に基づいている．本手法では，現実環境に上の場合には注目画素に対して隣接画素の影響を与えないおける鏡面反射成分の白飛びを考慮して，R, G, B それぞようにすることで，エッジを保ちつつ深度情報の平滑化をれのヒストグラムの上位 5％ を除いた値の中の最大値を実行う．

光源の色とした．

RGB-D カメラの画角と深度情報の解像度を用いると，これら鏡面球で計測した光源の位置とシーン中の物体の深度情報を三次元点群に変換することができる．さらに，法線ベクトルにより入射角 q を求め，光源の色と画像中の計算された三次元点群を用いることで，現実環境の法線ベ色を用いて補正した色を cos q で除算することで現実環境クトルを計算することができる．RGB-D カメラで図 6（a）の反射率を推定する．のようなシーンを撮影する．図 6（b）は計測された元の深図 6（a）および図 7 は RGB-D カメラで取得した入力画像度情報を用いて計算された法線ベクトルであり，図 6（c）である．これらの画像から光源位置および実光源の色を推は平滑化された深度情報を用いて計算された法線ベクトル定したところ，図 6（a）では，光源ベクトルは 共x, y, z兲 ＝である．図 6（ b ）および c は法線方向を色で表現してお共−0.58, −0.04, 0.81兲，実光源の色は 共r, g, b兲＝共104, 157, 172）

り，平滑化をしない場合，法線ベクトルに誤差が含まれてと な っ た．ま た，図 7 で は，光 源 ベ ク ト ル は 共x, y, z兲 ＝おり，床面や立方体表面の法線が一定の方向になっていな

共−0.65, −0.04, 0.76兲，実光源の色は 共r, g, b兲 ＝ 共104, 157, 172兲

いことがわかる．一方，図 6（ c ）の平滑化した場合は，となった．推定された色は 2 つの画像において同じ値を示

エッジを残しつつ適切に法線ベクトルを計算できているこ

しており，推定方法がロバストであるということを示唆しとがわかる．ている．一方，実光源の位置は，2 つの画像において推定

4. 2. 3 反射率の推定の結果に誤差が生じた．これは鏡面球画像を正確に抽出で本手法では，現実環境の反射はランバートモデルに従うきていないことに原因がある．本手法ではマーカー位置かと仮定し，鏡面球により実光源の方向と色と強度を計測しら鏡面球画像の抽出を行うため，鏡面球画像を正確に抽出て現実環境の反射率の推定を行う．

するためには，マーカー位置を正しく推定する必要がある．

まず，鏡面球を用いて実光源の位置を計測する場合，実4. 2. 4 仮想照明の効果の計算

光源が分布していると仮定した距離によって，実光源ベク仮想照明の効果は，反射率の推定と同様，現実環境の反トルの向きが変わってしまう．これを解決するために，実射はランバートモデルに基づくと仮定して計算する．仮想光源は無限遠に存在すると仮定し，実光源は平行光源であ光源の位置をユーザーがマーカーにより指定することで，るとする．これにより，実光源ベクトルの向きを一意に定仮想光源ベクトルが決定する．これに現実環境の物体の法めることができる．

線ベクトルを用いて入射角を求める．また，推定した現実

また，鏡面球に映り込んでいる光源は白飛びしていることが多く，その領域から実光源の色を適切に推定すること316（ 20 ）環境の反射率にユーザーが任意に設定した仮想光源の色と強度を用いて，仮想の照明効果を計算する．
光学

図 8 は，図 6（a）および図 7 の画像に対してマーカー位置に照明があるとした場合の仮想照明の効果を再現した結果である．これらの図からわかるように，マーカーの位置によりライティングの状況が変化していることがわかる．
また，図 9 に示すように，現実環境の反射率を推定したことで，仮想光源によってさまざまな光源色によるライティングが再現可能になった．このように，仮想照明を再現することができる事前計算が不要なインタラクティブなシステムを構築することができた．
本稿では拡張現実感システムにおける質感表現として，仮想物体に現実環境の照明条件を考慮する方法と仮想照明の効果による見えの再現について紹介した．
近年のコンピューターグラフィックス技術の進歩により，実物と見間違うほどの映像表現が可能になった．しかし，この表現はあくまでも仮想世界の中でのことであり，拡張現実感のように現実世界に重畳表示すると，整合性が取れずに違和感が生じてしまう．違和感なく融合させるには，相互の影響を考慮することが必要不可欠である．本稿で紹介した手法はその端緒である．今後さらに，反射だけでなく，屈折や透過，散乱等の光学現象を実時間で計測しモデル化することができるようになれば，さらにリアルな重畳表現が可能になると考える．
文献1）S. Feiner, B. MacIntyre and D. Seligmann: “Knowledge-basedaugmented reality,” Communications of The ACM, 36, No. 7（1993）52―62.
2）P. Milgram and F. Kishino: “A taxonomy of mixed reality visual

43 巻 7 号（2014）display,” IEICE Trans. Inf. Syst., E77-D（1994）1311―1329.
3）横矢直和： 現実世界と仮想世界を融合する複合現実感技術
：複合現実感とは ，システム制御情報学会誌，49（2005）
489―494.
4）横矢直和： 現実世界と仮想世界を融合する複合現実感技術
：仮 想 化 現 実 の 方 法 論 ，シ ス テ ム 制 御 情 報 学 会 誌，50
（2006）68―73.
5）横矢直和： 現実世界と仮想世界を融合する複合現実感技術
：仮 想 化 現 実 の 具 体 例 ，シ ス テ ム 制 御 情 報 学 会 誌，50
（2006）162―167.
6）横矢直和： 現実世界と仮想世界を融合する複合現実感技術
：拡 張 現 実 感 の 方 法 論 ，シ ス テ ム 制 御 情 報 学 会 誌，50（2006）238―243.
7）横矢直和： 現実世界と仮想世界を融合する複合現実感技術
：拡 張 現 実 感 の 具 体 例 ，シ ス テ ム 制 御 情 報 学 会 誌，50
（2006）321―326.
8）横矢直和： 現実世界と仮想世界を融合する複合現実感技術
：応用事例 ，システム制御情報学会誌，50（2006）430―435.
9）H. Kato, M. Billinghurst: “Marker tracking and HMD calibration for a video-based augmented reality conferencing system,”IEEE International Workshop on Augmented Reality（1999）pp.
125―133.
10）M. Kanbara and N. Yokoya: Geometric and photometric registration for real-time augmented reality, Proc. IEEE and ACM
International Symposium on Mixed Augmented Reality（2002）
pp. 278―279.
11）安室喜弘，石川 悠，井村誠孝，南 広一，眞鍋佳嗣，千原國宏： 立体マーカを用いた実空間における仮想物体の調和的表現─インタラクティブ MR インテリアデザイン─ ，映像
情報メディア学会誌，57（2003）1307―1313.
12）Y. Manabe, M. Sagano and K. Chihara: “Representation oftexture and interreﬂection using spherical mirror for mixedreality,” Midterm Meeting of the International Colour Association
2011（2011）pp. 556―559.
13）浦西友樹，眞鍋佳嗣，千原國宏： 立体マーカを用いた拡張現
実感環境における仮想物体の床平面に対する映り込みの実時
間表現 ，日本バーチャルリアリティ学会論文誌，17（2012）
477―486.

（2014 年 3 月 24 日受理）

317（ 21 ）