質感のつどい 2015/11/25

質感研究の現在
西田眞也
ＮＴＴコミュニケーション科学基礎研究所
Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

質感認識• 五感を通した脳による物体の本性の解読– 物性（例：光沢感、透明感）– 材質（例：陶器、金属）– 状態（例：乾燥、凍結）– 感性的価値（例：美味しそう）質感研究の重要性• 脳科学研究の大きなミッシングピース
質感情報処理対象認識

価値評価・行動選択

身体運動制御• 情報工学の技術革新の宝庫– ユーザが満足する質感をもったプロダクト– 質感を判断して適切に働くロボット• 難問– どういう刺激入力からどういう質感反応をどういう計算原理で推定？

もっとリアルに複雑に疑問• どうして、物理的な光学シミュレーションを精緻にすると、本物の写真のようにリアルに見えるのか（質感が正しく再現されるのか）？	  
• 脳が逆光学計算に基づいて画像生成の物理的正しさをチェックすることができるから？	  
• 脳がリアリティを感じるのに必要な「画像特徴」が画像中にうまく再現されるようになるから？	  
• 脳の質感情報処理はどれほど深いのか？
Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

6光沢感の手がかり：画像統計量

画素頻度

平均輝度は同じ

輝度ヒスト
00.5

1グラム

00.51輝度

輝度

光沢のない明るい表面

光沢のある暗い表面

輝度ヒストグラムが輝度ヒストグラムが負の方向に歪む

正の方向に歪む

Motoyoshi, Nishida, Sharan, Adelson (2007), Nature, 447, 206-209

輝度ヒストグラムによる光沢感の操作
歪度# pixels

- 1.5

01.5

luminance

輝度ヒストグラムを人工的にゆがめると，見かけの光沢や明るさが変化する

光沢感には形状情報も重要

Beck	  and	  Prazdny.	  Highlights	  and	  the	  perception	  of	  glossiness.	  Perception	  &	  psychophysics	  (1981)	  vol.	  30	  (4)	  pp.	  407

Todd,	  Norman	  &	  Mingolla,	  Lightness	  constancy	  in	  the	  presence	  of	  specular	  highlights.	  Psychological	  Science	  (2004)	  vol.	  15	  (1)	  pp.	  33Anderson,	  B.,	  &	  Kim,	  J.	  (2009).	  Image	  statistics	  do	  not	  explain	  the	  perception	  of	  gloss	  and	  lightness.	  
Journal	  of	  vision.

399

輝度ヒストグラムによる光沢感の操作
歪度# pixels

- 1.5

0

1.5

luminance

輝度ヒストグラムをゆがめても、形状知覚は変化しない輝度順序マップ•

輝度ヒストグラムは輝度順序マップに影響しない	  	  •表面反射特性が変化しても輝度順序マップはほとんど変化
しないIntensity	  order	  is	  altered	  li/le	  by	  material
MERL BRDF

Intensity order information

Normalized intensity gradient map
Many material changes (in MERL database) have only minor effects
on pixel intensity order.

Separate	  processing	  of	  material	  and	  shape
Magnitude ofIntensity gradientMotoyoshi, Nishida, Sharan.
& Adelson (2007)

Marlow, Todorović,& Anderson (2014)

Material

AlbedoGilchrist, Delman,& Jacobsen, (1983)

Intensity orderinformation

Lighting

Scale factor

Inputimage

Pentland (1989)
Gilchrist (1977)

Shape
Fleming, Torralba,& Adelson (2004)(Sawayama & Nishida, VSS 2014; APCV 2014; Nishida et al., VSS 2015)

Image-­‐based	  material	  editing
Boyadzhiev, I., Bala, K., Paris, S., & Adelson, E. (2015). Band-Sifting Decomposition for
Image-Based Material Editing. ACM Transactions on Graphics, 34(5), 1‒16.

Fig. 2. Our band-sifting operators are particularly useful for manipulating material properties in human faces. (a) Original image courtsey of Bychkovsky
et al. [2011] with detail inset at upper left, and mask inset at lower left. (b) We sift and then boost the high-amplitude, positive coefﬁcients in the high-spatialfrequencies, which gives the skin a more shiny or wet look. (c) We manipulate the positive low-spatial frequencies coefﬁcients, which gives the skin a soft glow.
(d) We produce an aging effect by emphasizing blemishes and pores that are not noticeable in the input image. We achieve this by sifting and then boosting thelow-amplitude coefﬁcients in the high-spatial frequencies. (d) We reverse the effect, that is, reduce blemishes and pores, by decreasing the sifted coefﬁcientsfrom (d).

Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

Fig. 3. Conceptual diagram of our band-sifting space. Input image courtsey of Ewan [2009] Given an image, we split it into high- and low-frequency subbands.
These are then split into high- and low-amplitude parts. These are further split into positive and negative parts. For visualization purposes we show only two
frequency splits, but in practice we create log2 (min(width, height))-frequency subbands and work on each one of them. Further, in order to make the size ofthe space more tractable, we “compress” the set of possible choices by looking at two categories of frequencies. We consider the high-to-mid frequencies
as one category, which we refer to as “high-spatial frequencies”, and we look at the mid-to-low frequencies as another category, which we call “low-spatialfrequencies”. Further, as shown in the diagram, we do not split the low-spatial frequencies category based on the amplitude of the coefﬁcients since, numerically,sifting based on this criterion does not give much differentiation. However, the sign of the coefﬁcients is still a useful sifting criterion along the low-spatial
frequencies paths, for instance, it differentiates between broad-gloss and broad-shadow effects. With colored text and arrows we show how various operators
can be mapped into paths in our space. With purple borders we show the path of sifted coefﬁcients that was used to generate the orange result in Figure 1. In
the upper-left border we show an alternative, more compact diagram, of the same path. On the far right, next to each path, we show acronyms which we use todescribe paths in our space. For example, we use HHP for paths that manipulate (H)igh-spatial frequency, (H)igh-amplitude, (P)ositive coefﬁcients.

Fineness

Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

PercepYon	  of	  sub-­‐resoluYon	  ﬁnenessShinya, Sawayama & Nishida (inpreparation)

0.15 mm

1 pixel0.05 mm0.3 pixel
Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

17PercepYon	  of	  sub-­‐resoluYon	  ﬁnenessShinya, Sawayama & Nishida (inpreparation)

X (lines/pixel)

0.250.5

1

2

4

8

16

Lines/min at 43 cm distance

0.125

0.25

0.5

1

2

4

8

Lines/min at 344 cm distance

1

2

4

8

16

32

64

2 min/px

0.25 min/px

0.250.5 1 2 4 8 16

0.250.5 1 2 4 8 16

0.25

0.25

0.5

0.5

1

1

2

2

4

4

8

8

16

16
N=12
100

50

0

Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

18PercepYon	  of	  sub-­‐resoluYon	  ﬁneness
Hair 2

Brush
Low originalLowup
downLow SF
down

Original

Low SF.
up

Low originalLowup
down

Lowdown

Lowdown

original

original

Lowup

Lowup

Hair 1Grass

Low originalLowup
down

Low SFdown

Original

Low SFup

Low originalLowup
down

Lowdown

Lowdown

original

original

Lowup

Lowup

Low SFdown

Original

Low SF.
up

Low SFdown

Original

Low SFup

N=11

Shinya, Sawayama & Nishida (inpreparation)

Percentage of trials in which“row” textures were judged to befiner than “column” textures
Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

19

Wetness

Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

Wet filter
Output lum.

Transformed image

Input lum.

Output sat.

Original image

Input sat.

Operations①Change the luminance histogram positively skewed②Enhance the color saturation
Sawayama & Nishida (2015 VSS)

Wet filter
Original image

Output sat.

Output lum.

Transformed image

Input lum.

Input sat.

Wet filter
Original image

Output sat.

Output lum.

Transformed image

Input lum.

Input sat.

Wet filter
Original image

Output sat.

Output lum.

Transformed image

Input lum.

Input sat.

Wet

Results of wetness rating

WetTransparent	  LiquidCopyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

Seeing liquid from image deformation
Kawabe,	  Maruya,	  &	  Nishida	  (2015,	  PNAS)

27

Low-pass

Spatiotemporal deformation frequency

Broadband28

When is image deformation effective?

29

When is image deformation effective?

30

When is image deformation effective?

31

炎

Copyright©2015	  	  NTT	  corp.	  All	  Rights	  Reserved.

水Copyright©2015	  	  NTT	  corp.	  All	  Rights	  Reserved.

変幻灯システム：カメラ＋プロジェクタ
任意の静止画を様々に変形し、多様な効果（印象）を付加する

Copyright©2015	  	  NTT	  corp.	  All	  Rights	  Reserved.

プロジェクションによる見かけの編集
ダイナミックレンジ拡大(Bimber	  &	  Iwai,	  2008;	  Shimazu,	  Iwai	  &	  Sato,	  2011)	  アピアランス制御	  (Amano	  &	  Kato,	  2008;天野・加藤,	  2010)	  Copyright©2015	  	  NTT	  corp.	  All	  Rights	  Reserved.

実世界の多様な質感入力と質感出力
入力：質感刺激
質感サンプルセットFlickr Material Database

出力：質感・意味・価値
光沢感

べたべた

粘性感

高級感

透明感

シズル感

液体感
固体感

情動

素材感
生き物らしさ音質
触感サンプルセット

音響
サンプル

気配

触感
温感
カワイイ新しい情報科学・脳科学の流れを取り込んで実世界の多様な質感を効率的に解明

デー

多様な質感刺激機タマ学 イニ
脳
習デ・ ン
コ
械

ー

工学

心理物理学

深

多様な質感
意味・価値多様化・複雑化に対応するスケーラブル＆ハイスループットな研究手法の導入

グ

層デ学
ィ習ン
グ

質感脳情報学（前領域）

多元質感知（新領域）学

脳科

先端コンピュータグラフィックス
触覚工学
デジタルファブリケーション

多彩なアプローチを融合して共通原理を解明

多元質感知岡谷班キックオフスライドより

材質の画像認識[Liu+2010][Hu+2011][Timofte+2012][Sharan+2013]…

fabricmetalFeature extraction+classificationwood(a) Fabric(b) Glass(c) Leather(d) Metal(e) Paper(f) Plastic(g) Stone(h) Water(i) Wood(j) Foliage

多元質感知岡谷班キックオフスライドより

材質の画像認識例：Fablic多元質感知岡谷班キックオフスライドより

材質の画像認識
Liu, Ozay, Okatani, preparation for submission

Publication

Low level features

High level featClassifier

Recognition
accuracy

Liu+2010

SIFT, color, curvature,edge-ribbon etc.
Kernel descriptors(five)

BoF

LDA

44.60

Efficient match
kernel
SPM-like +

SVM

54.00

CRC

55.78

Hu+2011
Timofte+2012

BIFs(Basic ImageFeatures)

Sharan+2013↑SIFT, color, curvature,edge-robbon etc.

BoF

SVM

60.6

Human?

?

84.9

Comparative
reasoning(Collaborative
Representation
Classifier)(Mechanical Turk)

Cimpoi+2015

Deep
CNN(VGG-19layers)ßß82.5 1.5

Ours

Ensemble of multiple
Deep CNNs

ß

Hierarchicalsparse decisionfusion84.3 1.9(preparation forsubmission)

CNN-based texture synthesis

Gatys, L. A., Ecker, A. S., & Bethge, M. (2015).
Texture synthesis and the controlled generation ofnatural stimuli using convolutional neural networks.
arXiv.org.

CNN-­‐based	  texture	  ediYng

Gatys, L. A., Ecker, A. S., & Bethge, M. (2015). A Neural Algorithm of Artistic Style,
Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.
arXiv:1508.06576 [cs.CV],1‒16.

42

多元質感知神谷班キックオフスライドより

画像・テキストのデータマイニング技術とデコーディング技術の連携による質感情報表現の探索
質感画像

CNN1

CNN2

CNN3

CNN7

fMRI計測信号

デコーダ

予測パターン

トレーニングデータ

CNN8

画像

輝いた
綺麗な
なめらかな
明るい
女性的な
豪華な

fMRI計測信号
質感特徴パターンfMRI計測信号からの質感特徴予測を介した
脳内質感表現の探索

ニューラルネットワークによる画像・テキストデータ解析にもとづく質感特徴抽出

6

最後に• 脳の質感情報処理は浅すぎず・深すぎず	  • 多様で複雑な質感の認識・操作	  – 理論検証型アプローチ	  • 着実に進歩しているが、問題は無限に広がっている	  • 研究方法論も模索中	  – データ駆動型アプローチ	  • Deep	  learning	  (CNN)の衝撃	  • 理解するには不満	  • 環境に情報がある	  Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.

45