質感のつどい第１回公開フォーラム

2015/11/25

光線計測による質感定量化に向けて

奈良先端科学技術大学院大学

向川康博

本日の講演内容について• 大阪大学・奈良先端大での成果• 多くの共同研究プロジェクト▫ 多くの共同研究者，多くの学生

大阪大学
八木康史副学長

大阪大学
奈良先端大
松下康之教授 舩冨卓哉准教授

奈良先端大
久保尋之助教画像ではなく光線を観るコンピュータビジョン
 人間は照明に対する反応からシーンを理解している コンピュータも同様の機能を持つべき．そのためには
 光線を計測 光線を解析 光線から画像を再構成

光源を出た光線はどのような光学現象を経て，我々人間の眼やカメラに届くのか光を媒体とする
新しいインタフェース

入射光線?
シーン

出射光線

光学現象：反射, 散乱, 透過, 屈折, 干渉, ...

質感• 計算機における「質感」の視覚情報の取り扱い▫ 入射光線に対する出射光線の応答関数と捉える▫ 反射光・散乱光・透過光から質感を考える?
入射光線

出射光線

質感の定量化に向けて• 産業界における「質感定量化」の重要性▫ 自動車の内装部品の高級感の定量評価▫ 製品の表面の傷の検査▫ 電化製品の高級感による差別化→ 光の伝播から定量化できないか？

反射特性

反射特性の違い• 同じ形状，同じ照明でも異なる見え方

ざらざら

質感

つるつる

反射の表現方法• ある点 x に方向(qi,fi)から照明した光は，方向(qr,fr) にどれだけの強さで反射するか？
• 照明方向と反射方向の双方向に依存する

N
照明

L

θiφi

θrx

V

観測φr

双方向反射率分布関数• BRDF (Bidirectional Reflection Distribution Function)• 入射光照度（イラディアンス）に対する出射光輝度（ラディアンス）の比• 通常は波長を省略 → R,G,Bの３チャンネルで定義
Nf BRDF ( x, q i , fi , q r , fr )Lθi θrφiVφrBRDFサンプリング手法の分類(1) 光源とセンサを機械的に回転(2) 反射特性が一様な物体を利用(3) 光源とセンサを半球状に配置(4) 反射屈折光学系を工夫

(1)

(2)

(3)

(4)

反射光の計測角野皓平, 向川康博, 八木康史,“楕円鏡を用いた双方向反射率分布関数の高速計測”,
電子情報通信学会論文誌 D, Vol.J90-D, No.8, pp.1930-1937, Aug.2007.

反射鏡の利用• 回転楕円体の特徴
𝑥2𝑦2
𝑧2+ 2+ 2=12𝑎𝑏𝑏▫ ２つの焦点を持ち，一方の焦点を出た光線は内面で反射し，もう一方の焦点に集まる▫ その総距離は一定

yzx

楕円鏡を用いた反射特性計測の原理• 投影パターンを変えることにより照明方向を制御• 一度の撮影で全方向への反射光を計測
楕円鏡
ハーフミラー
投影画像
プロジェクタ

カメラ
試料

撮影画像

楕円鏡試料

反射特性の計測とCG応用

硬貨

計測した反射特性Buddaの幾何形状

構造色の反射特性• モデル化の難しい構造色
構造色の例

多層膜干渉

メキシコ貝の内側メタリック塗装
池本祥，向川康博，松下康之，八木康史，“微粒子を含む加飾フィルムの表面下構造解析”,
画像の認識・理解シンポジウム(MIRU2014), SS1-61, July, 2014.
池本祥, 向川康博, 松下康之, 久保尋之, 八木康史,“観測スケールを考慮したメタリック塗装の表面下法線分布解析”,
情処研報 CVIM 199, Nov. 2015.

背景
メタリック塗装を用いた「高級感」の表現▫ 自動車：パールマイカ塗装▫ 家電製品：加飾フィルム

課題▫ メタリック塗装の質感の定量化

・含有量：1%・フレークサイズ：90um

・含有量：2%・フレークサイズ：60um

メタリック塗装の特徴
加飾フィルム加飾フィルムの構造

表面下に多数の金属フレーク

顕微鏡を用いた観測 フレークは異なる半径の円形
 様々な角度に傾いている

観測画像

高さ情報

多重法線構造
フレークによる表面下の法線を「表面下法線」と定義
また，1画素に複数の法線が対応する構造を「多重法線構造」と定義

多重法線の影響で複数の反射ピークが存在

反射光の計測• カメラを固定し，光源を2軸回転(45, 180)

反射光の解析
計測輝度値

鏡面反射成分

法線尤度

法線分布

定量化
法線分布の統計量

拡散反射の分離法線尤度の算出

混合ガウス分布近似

比較鏡

ヘアライン加工

加飾フィルム１

加飾フィルム２CGによる「キラキラ」の再現
Content : 1%

5um

20um

40um

55um

90um

Content : 2%
30um

40um

60um

90um

JIDAスタンダードサンプルズ・２（アルミフレークが埋め込まれたアクリル樹脂プレート）

反射による質感表現の限界

反射・散乱による見え方の違い• 反射の違い（ざらざら，つるつる）• 散乱の違い（不透明，半透明）半透明物体で生じる表面下散乱
半透明不透明表面下散乱

oixoixixo

BRDF: F ( x, i , o )BSSRDF: S ( xi , i , xo , o )Bidirectional ReflectanceDistribution Function

Bidirectional Scattering Surface
Reflectance Distribution Function

ダイポールモデルによるレンダリング例(Jensen et al. SIGGRAPH2001)

BRDF
BSSRDF半透明物体は特殊ではない• 典型的な半透明物体▫ ミルク，大理石，肌• 金属以外の物体は，程度の差こそあれ半透明である
卵

ミルク
野菜
ロウソク

肌

果物

プラスチック

紙
大理石

石鹸

布

CGにおける散乱光表現の重要性• 写実的な皮膚の質感の表現• 特に人間のレンダリングには必須
ジュラシックパーク(1993)「ハリーポッターと秘密の部屋」のDobby (2002)「ロードオブザリング」の（物理的に正確な表面下散乱を計算した最初の映画） Gollum (2002-2003)

反射光・散乱光の分解に基づく材質推定
高谷剛志，向川康博，松下康之，八木康史，“多重重み付け計測による反射・散乱光の分解”,
画像の認識・理解シンポジウム(MIRU2011).

シーン中に混在する様々な光学現象

表面下散乱

拡散反射

鏡面反射

反射光・散乱光の分解• 「多重重み付け計測」▫ 偏光解析・高周波照明などを組み合わせ，反射・散乱成分を分解
プロジェクタ

偏光板

計測の様子

拡散反射

鏡面反射

対象シーン

単一散乱

多重散乱（＋相互反射）

カメラ

単一散乱

拡散反射

鏡面反射

単一散乱

多重散乱

プロジェクタ 多重散乱
Diffuse reflection
Single scattering
100%
90%

Polyoxymethylen (POM) resin80%

11.73%

0.00%
12.99%

11.21%

9.56%
0.00%

70%

Milky epoxy resin

Specular reflection
Multiple scattering

41.02%

60%

68.06%

50%
40%

5.08%
12.22%

78.71%

23.91%

30%
20%

Duralumin board

50.63%

35.55%

10%

20.37%

18.96%

0%Ceramic board

Ceramic

Duralumin

Milky epoxy

POM材質ごとの分類• ４成分の比率に基づくセグメンテーション
1. 各ピクセルごとに４成分を分解し，４次元ベクトルとして表現
2. ベクトルのノルムを正規化（４成分の強度ではなく比率）
3. 𝑘-means セグメンテーション
POM resin

Duralumin
Acrylic board
Blue paper

Wood
Polyvinyl chloride (PC) resin

RubberAcrylic board

POM resin
CowhideCeramic board
Blue candle

Milky epoxy resin
White candle

PP resin

Polypropylene (PP) resin
PE resin

Polyethylene (PE) resin

White paper

19 objects (13 materials)

領域分割の結果• Decomposition result
拡散反射

鏡面反射単一散乱LowOpaqueopaquenessMetallic

High opaqueness

多重散乱• Segmentation Result

High translucency

LowTranslucenttranslucency

Mid translucency

𝑘=62345

書画の質感再現
浅田繁伸, 久保尋之, 舩冨卓哉, 向川康博,“書画の質感再現を目的とした光学的レプリカの試作”,
情処研報 GCAD 159-5, June 2015.

書画の質感• 反射光と透過光に現れる書画特有の質感▫ 書画を書いた人物の筆使いの様子▫ 後世の書き加えの発見
起筆

とめ
はらいはね
送筆

書画の反射率と透過率の計測• 暗室で反射光と透過光を撮影
diffuser
CCD camera
LED lightdisplay

反射光

Subject(paper)

反射光の撮影ディスプレイを光源として透過光を撮影

透過光光学的レプリカの作成• 異なる２枚の印刷物の間に白紙を挿入する３層構造▫ 上層色と下層色の組み合わせで，反射率と透過率を同時に再現
１つの濃淡値で、反射率と透過率を同時に制御することは難しい

上層色𝑝1

下層色𝑝2
1枚の印刷物

白紙

３層構造

光学レプリカの作成• 反射率と透過率を同時に再現• 見るだけでなく手にとって観察することで質感を感じる新たなCGを提案
0.22

反射率

透過率

実物

光学的レプリカ

誤差分布

0.00-0.22

質感計測のまとめ• 質感の計測▫ 画像の撮影ではなく，入射光線に対する出射光線の応答関数を詳細に計測• 質感の定量化▫ モデルのパラメータ推定（粗さ係数，吸収係数，散乱係数．．．）▫ 拡散反射・鏡面反射・散乱光・透過光等の比率• 定量化の検証▫ CGやレプリカ作成による比較

質感の計測・解析

反射特性の解析

反射光と透過光

反射特性の計測と提示

反射光と散乱光

反射光と散乱光の分解
材質の推定