総合報告

画像情報に基づく質感表現・認知研究の最前線

質感認知の情報学の進展と将来
小

松

英

彦

The Present and Future of Shitsukan Research
Hidehiko KOMATSU
Shitsukan means perception of materials and surface qualities of natural and man-made objects basedon visual, somatosensory and auditory sensory signals. Shitsukan plays important roles in our daily life,
but systematic attempts to understand the mechanisms of Shitsukan have emerged only recently. In thisarticle, I will introduce current situations where the problems of Shitsukan are actively challenged by thecooperative e›orts across di›erent ﬁelds such as technological science, psychophysics and neuroscience.
Key words: Shitsukan, material perception, surface reﬂectance, texture perception, light ﬁeld

質感認知とは，視覚，触覚，聴覚などの感覚刺激をもと扱うことをめざす学問分野であるといえるだろう．もちろに，物体の材質や表面あるいは内部の状態を知覚し認識すんその場合でも，個別の対象に目を向けることは重要である機能である．われわれは日常生活のあらゆる場面で質感る．ある対象物においてどのような仕組みで固有の質感が認知を行っている．例えば，われわれは物体の材質が木で生み出されるかを知ることから，普遍性のある原理を導いできているか金属でできているかを理解したり，表面がつたり，新しい原理の発見につながると考えられるからでるつるしているかざらざらしているかを容易に見分けるこある．

とができる．また，地面が濡れているか乾いているかを判

個別の対象についての質感の追究は人類の歴史の中で断したり，魚の鮮度を見分けるのも質感認知である．そしずっと行われてきたが，その中から普遍性を取り出し体系て質感認知で得られた情報を，物を触るときの手指の動きづける試みが始められたのは比較的最近のことと思われや道を歩くときの歩行運動の制御に役立てたり，物を買うる．特に今世紀に入って，PC の高速化やメモリーの大容か買わないかといった行動を行うための意思決定に使った量化により，視覚質感認知の研究が心理物理学や脳科学のりしている．

分野でも進められるようになった．そのような状況の中質感認知を考える場合，対象物の特殊性に注目したアプで，世界的に質感をめぐる研究が活発に行われている．

ローチと，対象物を超えた普遍性に注目するアプローチの2010 年にはわが国で文部科学省科学研究費補助金新学術両方が重要と考えられる．例えば，化粧品と漆のそれぞれ

領域研究の「質感認知の脳神経メカニズムと高度質感情報について，別のマーケットが存在し，それぞれの質感を追処 理 技 術 の 融 合 的 研 究」
（略 称：質 感 脳 情 報 学）が 始 ま究している専門家がいる．一方，化粧品の質感も漆の質感

り，工学，心理物理学，脳科学の研究者が連携して質感認も，ある光学特性をもつ素材によって生み出される質感と知の研究に取り組んでいる＊1．また 2012 年にはヨーロッいう意味では，共通の土俵で考えることができる．質感認

パ 7 か国が，EU の研究費で共同で質感の研究や若手の育

知の情報学は，後者のさまざまな物が生み出す質感をでき成を進める PRISM という組織を構成して，領域融合的なるだけ共通の言語で理解し，一般性のある科学として取り活動を始めた＊2．このほか学術雑誌でも質感の特集号が組

自然科学研究機構・生理学研究所感覚認知情報研究部門（〒444―8585 岡崎市明大寺町字西郷中 38） E-mail: komatsu@nips.ac.jp＊1＊2

新学術領域研究「質感脳情報学領域」ホームページ
PRISM ホームページ http://prism-network.eu/

298（ 2 ）http://shitsukan.jp/光学እ⏺䛾≀⌮ⓗ䛺せᅉ

㉁ឤ
䛴䜛䛴䜛
䛝䜙䛝䜙

ග⥺䝟䝍䞊䞁

ᗄఱᙧ≧

↷᫂

⥙⭷⏬ീ

ගᏛⓗ≉ᛶ
図 1 質感認知に関わる外界の 3 つの物理要因．

まれたり，学会の分科会として質感を取り上げることが増物の素材や表面の情報を伝えている．光線の場がどのようえており，質感の研究は加速しているといえる．本稿でな性質をもつのか，またどのようにそれらの情報を取り出は，このように多様な分野が相互に刺激を与えながら質感せばよいのかについて理解が進めば，質感認知の研究に新

認知の情報学的研究が進んでいる状況を紹介したい．

たな展望が開けるものと期待される．コンピュテーショナ
ルフォトグラフィーの分野は，まさにそのような方向から

Lytro の衝撃

1.

質感認知の研究の発展にきわめて重要な役割を果たすと考個人的な思い出から始めさせていただきたい．2 年あまえられる1）．

り前に行われた質感脳情報学領域の班会議で，九州大の長

すでに Adelson と Bergen は，ライトフィールドを記述

原さんがポケットから小さな箱のようなものを出して，する関数として，プレノプティック関数（ plenoptic func-「これは Lytro というライトフィールドカメラです」と説明

tion ）という概念を 1991 年に提唱している（ plenoptic はを始められた．一見おもちゃのようなこのカメラは，普通「完全な」を意味する plenus と optics を合成した言葉であのディジタルカメラができないことができる．撮影した画

る）2）．プレノプティック関数はある環境である時刻 t にお像の中のどこかに触れると，それまでピントがはずれてぼけるすべての光線の場を P ＝ P 共q , f , l , t, Vx , Vy , Vz 兲 とい

けていたその部分の画像がシャープにピントを結び，これう 7 次元で表す関数で，（Vx , Vy , Vz ）は環境内の任意の点までピントの合っていた別の場所の画像がぼける，つまりの座標，q , f はその点を通過する光の方向，l は波長を表

撮影後の画像に焦点を当てなおすことが可能なのであす．彼らはこの関数から視覚系がさまざまな情報を取り出＊3

る ．私の頭の中でそれまでぼんやりとしかつかめていな

すときに，これらのパラメーター空間内で微分を計算するかったコンピュテーショナルフォトグラフィーの分野のイことが有効であることを主張し，それらの微分演算子が実メージが，そのときくっきりと焦点を結んだ．

際に初期視覚皮質で見いだされているさまざまな特徴抽出

ライトフィールドカメラはライトフィールド，つまり光細胞のフィルター特性と類似していることを述べている．

の場そのものを記録するカメラである．質感認知において視覚系の情報処理を網膜像の元になる光の場の構造にさかは図 1 に示すように，外界の物理的な要因つまり物体の幾のぼってとらえる考え方はまだ一般的なものとはいえない

何形状，光学的特性と照明環境が相互作用して作り出す網

が，視覚の原理から出発する考え方は，この分野に将来大膜画像の特徴の分析とその脳内処理，そしてその結果生みきなインパクトを与える可能性を秘めていると思われる．

出される質感知覚の関係が分析される．しかし外界の物理

視覚における質感認知の研究の基本的な問題は，素材の的な要因が相互作用して生み出すのは光線の場であり，網認識と表面状態の認知である．以下では，このそれぞれに膜画像はその限られた一部を切り取ってきたものに過ぎなついての研究の展開を眺めてみたい．

い．光線の一本一本は，そのたどってきた経路で出会った＊3

Lytro ホームページ

43 巻 7 号（2014）

https://www.lytro.com/

299（ 3 ）透明な見せて評価を行う性質の中には，硬さや冷たさといった触覚的な性質が含まれていた．このように質感は，見ただけ

素材 A
柔かい

で触った感じがわかるといった多感覚的な特性をもってい

素材 E
光沢のない

る．これはおそらく生後の発達過程においてヒトが身の回りの物を見て触るという経験を積み重ねてきた学習の要素

素材 B
光沢のある
硬い

刺激に含まれる特徴の関係が，生得的な知識として脳の中にある程度埋め込まれている可能性も否定できない．質感

素材 C

素材 D

が大きいと想像されるが，視覚刺激に含まれる特徴と触覚についての発達研究はまだあまり進んでいないのが現状で不透明なあるが，近年活発に進められつつあり，後で述べるように

図 2 さまざまな性質を軸とする多次元空間による素材の表
現．図では三次元で描いているが，実際にはもっと高次元．

興味深い成果が現れつつある．
最近，Fleming は質感研究についてのレビューの中で，

素材の認識

2.

質感に関する問題が，大きくはクラス分け（classiﬁcation）

われわれはさまざまな素材に共通したイメージを抱いてと評価（estimation）の 2 つの処理に分けられるという考いる．例えば，金属は冷たく硬い，布は柔らかく温かい，えを述べている4）．このうちクラス分けが素材の認識に対などである．木のぬくもりのある家というようなフレーズ

応すると考えられる．クラス分けで問題になるのは，クラのコマーシャルが意味をもつのは，素材に対して共通した

ス間の境界線を引くこと，そして個々のサンプルがどのク

イメージが存在することによる．さまざまな素材に対してラスに属するかを判断することである．多様なバラエ

ヒトがどのようなイメージをもち，それが素材間でどのよ

ティーに富む素材の画像に対してどのように境界線を引け

うに似ていたり異なっていたりするのかという問いは，質ばよいのかというのは難しい問題である．ヒトはかなり素感の基本的な問題であるが，まともにそのような問題に取早く画像から素材を見分けることができる．Sharan らはり組んだ研究は意外に乏しい．イメージを定量化するひと

インターネット上の Flickr の画像から 10 種類の素材を含つの方法は言語を媒介にするもので，物の性質や受ける印

む画像各 100 枚を選んでデータベース（ Flickr Material

象を表す形容詞がどの程度当てはまるかを数値で表すといDatabase）＊4 を作り，これを利用して素材識別の実験をうやり方である．Fleming らは Flickr Material Database の行ったところ，40 ms の短時間提示でもチャンスレベルよ画像 130 枚を用いて，9 つの性質（光沢，透明，色鮮やか

り有意に高い成績で正しく識別できることを示した 5）．

さ，粗さ，硬さ，冷たさ，脆さ，自然さ，可愛らしさ）にどのようなアルゴリズムを用いればさまざまな素材の画ついて，被験者に評価をしてもらうという方法により素材

像を正しく分類できるのだろうか．コンピュータービジョ

3）の性質の表現を調べた ．その結果，被験者間で評価値のンの分野では，画像中の物体やシーンを正しくラベル付け

相関は 0.6〜0.8 程度あり，被験者は各素材についてかなりする問題について多くの研究がなされてきた．それらの研共通したイメージを抱いていることが裏付けられた．9 つ究においては，画像を輝度勾配の情報についての局所特徴の性質のそれぞれと評価値の関係を示すパターンは，各刺量である SIFT (scale invariant feature transform) や HOG

激がどのようにイメージされたかを表しているが，このパ(histograms of oriented gradients) とよばれる特徴の集まり

ターンは同じ素材の画像間では類似しており，異なる素材として記述し，それを元に物体カテゴリを識別する統計的の間では異なっていた．別の見方をすると，図 2 に模式的学習手法が発達してきた 6）．Flickr Material Database の画に示すように，それぞれの性質を軸にとった 9 次元の空間像について，Sharan たちはこれらを含む局所特徴量を用の別々の場所に，異なる素材の画像が雲のように集まっていて素材カテゴリの識別を行うことを試み，55.6％ までの位置づけられるということである．

正答率を得ることに成功している7）．これは多様な素材のわれわれはある素材を見たときに，それが光沢があるか認識の正答率としてはかなり高いものであるが，まだヒト透明であるかといった視覚的な判断だけでなく，硬いか柔の識別性能には及ばない．その理由として，シーンや物体

らかいか，あるいは冷たいか温かいかといった触覚的な性

カテゴリに比べて素材の見えの変化が大きい可能性も考え質についても判断できる．Fleming らの実験でも，画像をられるが，素材画像データベースの規模が小さく，十分に＊4

Flickr Material Database ホームページ

300（ 4 ）http://people.csail.mit.edu/celiu/CVPR2010/FMD/

光

学

V2

機械学習の識別器の訓練ができないことによる可能性もୗഃ㢌⓶㉁ ,7㸧ある．
近年はウェブ上に膨大な画像データが蓄積されており，

V4

それを利用した物体やシーン画像の統計的機械学習の研究
๓が発展している．例えば Hays と Efros は，一部が物体によITる画像を使って，画像に付されたラベルを参照することな成功した 8）．また，大規模なデータを用いて学習させた多層のニューラルネットが物体認識において高い性能を示す
ことが，一昨年からにわかに注目を集めるようになった 9）．さらに，同じ年に Ng たちのグループは，数十億のパラメーターをもつ 12 層の大規模ニューラルネットを構
築し，YouTube の画像 1000 万枚を 16 コアの PC 1000 台か

ᚋ

9㔝
9㔝
୍ḟどぬ㔝 9る遮蔽などで欠損したシーンの画像を，ウェブ上に存在す
0

しにきわめて自然に見える完全なシーンに補完することに

V1

እഃ⭸≧య
3
እഃ⭸≧య
.
⥙⭷

図 3 サルの視覚神経系の模式図．目から外側膝状体で中継された視覚情報は大脳の一番後ろにある第一次視覚野（V1）に伝えられる．大脳皮質は階層的に構成されたいくつもの視
覚領野から成り，2 つの経路に分かれて視覚情報は処理される．1 つの経路は頭頂連合野に向かう背側経路（破線矢印）
であり，もう 1 つは下側頭皮質に向かう腹側経路（実線矢印）である．右の線でつないだブロックは腹側経路に含まれる脳領野を示す．

らなる PC クラスターで教師なしで学習させたところ，ヒトの顔やネコ，あるいは人体といった高次な物体カテゴに対し，腹側経路は物体認識に関係する処理を行っていリーの画像の検出器が自動的に生成されたことを報告し，

る＊6．

話題になった 10）．このように，人が設計した特徴量では

このうち，腹側経路が質感認知に関係することがいくつなく，大規模なサンプルデータを用いることにより，高いかの研究で報告されている．平松と郷田らは，素材の CG能力をもつ識別器が統計的機械学習によって作られること

画像をヒトに見せたときに，視覚野のどの部分が活動し素が物体認識の分野で示されており，素材の識別に関しても材の種類を見分けているかを，機能的磁気共鳴画像法（機このような方向の研究の発展が注目される．また，計測技

能的 MRI; fMRI ）を用いて調べた 11）．その結果，V1 から術の向上によって生み出される大量の高次元データから意

紡錘状回に至る腹側経路の領域において，素材の種類に味のある情報を効率よく抽出する手法の数理科学的研究

よって局所的な活動分布のパターンが変化し，素材を見分

が，スパースモデリングや圧縮センシングなどをキーワー

けていることがわかった．次に彼らは，これらの活動が素＊5ドとして近年急速に発展している ．このような分野とう材についてのどのような情報を表現しているのかを，2 通まく連携を取ることも，質感認知の情報学の発展には重要りの仮説に基づいて調べた．1 つの仮説は，ニューロン活であると考えられる．

動が素材間での比較的単純な画像特徴の違いを反映しているというものである．そこで，各素材の画像ごとに局所の素材識別の脳内処理

3.

方位，空間周波数成分の大きさ，および平均的な輝度と色大脳皮質における視覚情報処理は視覚野とよばれる脳領についての計 20 個の画像特徴を求め，素材による脳活動域でなされるが，視覚野はいくつもの領野から構成されの違いが画像特徴の違いとどの程度相関しているかを調べ

る．目から入った視覚情報は網膜で神経の信号に変換さた．もう 1 つの仮説は，ニューロン活動が素材間での知覚れ，視神経を通って外側膝状体で中継された後，大脳皮質される印象の違いを反映しているというものである．知覚の一番後ろに位置する第一次視覚野（ V1 ともよばれる）される印象を定量化するために，〈光沢あり─光沢なし〉に伝えられる（図 3）．一次視覚野（V1）で処理された信号〈透明─不透明〉〈単調─複雑〉〈冷たい─温かい〉〈硬い─柔らは，その前方に隣接する V2 野を経て前方の視覚領野に伝かい〉など 12 の形容詞対について，各画像を 5 段階で被験えられていく．これらの経路は頭頂連合野に向かう背側経者に評価してもらった．そして，このように定量化した素路と下側頭皮質に向かう腹側経路に解剖学的に区別され，材による印象の違いが，素材に対する脳活動の違いとどの両者は機能的にも違う役割を果たしていることが示されて程度相関しているかを調べた．すると，V1, V2 といった初いる．背側経路は空間や運動に関連した情報処理を行うの

期視覚野の脳活動は，画像特徴と高い相関を示す一方，知＊5＊6

新学術領域研究「スパースモデリングの深化と高次元データ駆動科学の創成領域」ホームページ
大脳皮質視覚野における情報処理の概説 http://www.nips.ac.jp/scinfo/kaisetsu.htm

43 巻 7 号（2014）

http://sparse-modeling.jp/

301（ 5 ）覚的な印象とは相関が低いことがわかった．一方，腹側経されて表現されることになる．生体における素材識別の仕路の高次領野である紡錘状回付近の活動は，逆に知覚的な組みを考える上で重要なことは，V1 で表現されている局

印象と相関が高く，単純な画像特徴とはあまり相関がみら

所の方位や空間周波数の信号をどのように利用すればよいれなかった．この結果は，腹側視覚経路において素材識別のかということになる．これについて重要な手がかりを与が行われていること，また腹側経路での処理の過程で素材えると考えられるのは，自然テクスチャーを合成するための印象が形成されることを示している．また興味深いことに開発されたアルゴリズムである．Portilla と Simoncelli がに，知覚的印象を評価するときに用いた形容詞には，視覚開発したアルゴリズムでは，テクスチャー画像をガボール

的な形容詞だけでなく〈冷たい─温かい〉〈硬い─柔らかい〉

様のフィルターで局所の方位と空間周波数の信号に分解しといった触覚的な形容詞も含まれるが，それらだけを取りた後，それらの成分の空間位置間の相関，異なるスケール

出して解析を行っても同様な結果が得られた．このことのフィルター出力間の相関，異なる方位のフィルター出力

は，腹側高次視覚野では，視覚と触覚の情報が統合された間の相関などを元画像について計算し，各統計量が元画像

多感覚的な形で素材が表現されている可能性を示していと同じ値をもつように新しい画像を合成していくことにる．郷田らは最近，ヒトで用いたのと同じ素材画像をサル

よって，元画像と同じように知覚される自然テクスチャーに見せて，fMRI を用いて脳活動を調べる実験を行った結を合成することに成功した 14）．素材テクスチャーの識別

果，ヒトと同様に腹側視覚経路が素材を見分ける活動を示を問題にしているときに，どうしてテクスチャーの合成のし，また画像特徴から知覚的な印象への変換がこの経路で話をするのか疑問に感じられるかもしれないが，それは以12）起こっていることを見いだしている ．

下のような理由による．例えば 2 本の松の木の樹皮を比較生体において質感認知がどのように行われているかを知してみると，同じようなテクスチャーをもち，いずれもまることは，質感認知の生物学的な仕組みを明らかにするとぎれもない松の木の樹皮であるが，細部を比較すると，ピいう意義のほかに，生体のすぐれた質感認知の機能の仕組

クセルの明るさや細かいパターンは両者で全く異なっていみを知ることによって新しい情報処理アルゴリズムを生みる．つまりテクスチャー知覚において重要なことは，テク出す上でのヒントを得るという側面がある．視覚野の単純スチャー画像がもつ何らかの統計的な性質をヒトは検出し型細胞に類似した特徴検出細胞と，複雑型細胞に類似したており，それが同じであればヒトには同じテクスチャーと空間的な不変性をもつ細胞を，階層的に複数回積み上げた

して知覚されるということである．Portilla と Simoncelli のニューラルネットはその一例であり，パターン認識にすぐ

アルゴリズムでは，元の自然テクスチャー画像をガボール

13）

れた能力をもつことが示されている ．

様のフィルターに通したときの出力を出発点として，それ素材認識に深く関係すると考えられる画像処理は自然テらを組み合わせて作られる高次統計量を元画像に一致させクスチャーの識別である．布，毛，石，樹皮，皮革のようることにより，ヒトの目に同じように知覚される自然テクに，多くの素材は特有の自然テクスチャーをもっている．

スチャーを合成することに成功していた（図 4）．したがっこれらのテクスチャーの識別を行うアルゴリズムについてて，このアルゴリズムで用いられた高次統計量が視覚野のも，多くの工学的研究がなされている．その中で，生体に処理において計算されている可能性が考えられるというこおける素材認識機構を考える上で参考になると思われるのとである．

は，テクスチャー処理の初期段階でガボールフィルター様

近年，このような可能性を生理学的に検証する試みが始の特徴検出器で画像を局所の方位と空間周波数の成分に分まっている．Freeman たちは Portilla と Simoncelli の統計解するという，視覚野の処理と同様の処理を行うアルゴリ

量をすべて用いて合成した自然テクスチャー画像と，ガズムである．

ボール様フィルターの出力のみを使って合成した画像の 2

サルやネコなどの哺乳動物の一次視覚野（V1）には，特種類の画像を用いて，それらをサルに見せたときの V1 と定の方位と空間周波数の刺激に選択的に反応する細胞が存

V2 野のニューロン活動を比較した 15）．その結果，V1 では在し，そのうち単純型細胞とよばれる細胞の受容野は，ガ2 種類の画像に対する応答に差がなかったのに対して，V2ボール関数によく似た空間構造をもつことが知られていでは前者に対して有意に強い応答が得られた．V1 で応答る．一方，複雑型細胞とよばれる細胞は，位相が 90 度ずに差がなかったことは，V1 がテクスチャー画像に含まれつずれた複数の単純型細胞の出力を組み合わせたものとしる局所の方位と空間周波数のみを検出しているという考えて表される．したがって，素材画像の自然テクスチャーと一致した結果である．一方，V2 において自然テクス

は，これらの細胞によって局所の方位と空間周波数に分解

チャー画像でより強い応答が得られたことは，V2 におい302（ 6 ）

光

学

樹皮

れてきたが，一般性のある形で反射特性を記述する方法

布は，Nicodemus らが用いた双方向反射率分布関数（ bidi18）
rectional reﬂectance distribution function; BRDF）として，照明光と反射光をそれぞれすべての方向の組み合わせ

実物写真

について計測する方法であり，今日一般的な方法として用いられている．
図 1 をもう一度見ていただきたい．網膜画像は，物体の幾何形状，光学的特性と照明という 3 つの要因が相互作用してできる光の場が，網膜に結像することによって生じる

合成画像

ことを述べた．質感認知はこの矢印を逆にした過程として考えることができ，網膜画像を元にその元になる物体の光学的特性を推定する機能と考えることができる．いま光学

図 4 素材テクスチャーの合成．Portilla と Simoncelli のテ
クスチャー合成アルゴリズムによる樹皮（左）と布（右）の合成例．上が実物で下が合成した画像．

的特性として物体表面の反射に限定して考えると，これは画像から BRDF を推定する問題ということになる．このよ
うに，画像を元にその原因となる物理的な要因を推定する
問題は，工学分野で研究されてきた．従来，3 つの物理的て Portilla と Simoncelli のアルゴリズムで用いられた高次要因のうち 2 つを既知として残りの 1 つを推定する研究が統計量の計算の少なくとも一部が行われている可能性を示行われてきた 19）が，近年，より制約の少ない条件で画像すものである．Freeman らの実験では個々のニューロンがから外界の要因を推定する試みが行われている．そのひとどのような統計量を検出しているかについては示されていつのきっかけは，さまざまな素材の BRDF や自然照明環境

ないが，最近岡澤らはこの問題に答えを与える実験を V2の計測が行われ，それらの性質の分析が進んだことが挙げ

16）の次の段階であるサルの V4 野で進めている ．

られるであろう．BRDF や自然照明環境のもつ統計的な性

これらの研究は，素材識別の問題を超えて，腹側経路に質を逆問題を解くにあたっての拘束条件として利用するこおける視覚情報処理の研究に新しい発展をもたらす可能性とにより，物体の反射特性を画像から推定することが成功

が あ る．こ れ ま で 多 く の 研 究 に よ っ て，下 側 頭 皮 質 のを収めつつある 20，21）．これらの研究は現段階では脳の視覚ニューロンは顔や体あるいは物体画像に含まれる複雑なパ系が行っている情報処理とどのように関係するのかは不明

ターンに対して選択性をもつことが明らかにされてきであるが，光沢知覚においても自然な照明環境のもつ統計．しかし，V1 で取り出された方位や空間周波数の情的な性質が重要であることが示されており 22，23），工学的研報から下側頭皮質でみられるそのような複雑な選択性が，究で用いられているアルゴリズムが知覚のメカニズムを理

視覚皮質のどのような処理で生み出されるのかについて解する上で手がかりを与える可能性がある．

た17）は，ほとんどわかっていなかった．素材テクスチャーに関

光沢知覚の心理物理学的研究は以前より行われていた

する最近の研究の発展は，対象としている画像特徴がはっが，近年，PC の高速化や CG のプラットフォームの整備

きりしており，出発点となる V1 の選択性との関係も明瞭

により，さまざまな反射特性をリアルに模擬した刺激を比である．そのため，これまで謎のまま残っていた中間段階

較的容易に作れる環境が整い，研究が発展している．またでの処理が，これらの研究をきっかけにして進む可能性がBRDF は 6 次元の関数であり，1 つのサンプルだけでも膨あると考えられる．

大なデータとなるが，現実の素材は可能な BRDF 空間のごく一部を占めるに過ぎず，CG のプログラムでは少数のパ4.

表面状態の認知ラメーターを用いて反射特性を近似してリアルな画像を作

次に，質感認知のもうひとつの側面である表面状態の認ることが一般に行われる．図 5A はよく用いられる 3 つの知に目を転じたい．視覚による表面状態の認知に関して最パラメーターで反射をモデル化する方法の各パラメーターも多く研究がなされてきたのは，光沢についてであろう．

を表したもので，1 つは方向性をもたない反射成分（拡散

光沢は物体表面の反射特性と密接に関わっている．光沢は反射），第 2 は強い方向性をもつ反射成分（鏡面反射），第実用的な重要性が高いため，工学的に物体の反射特性を特3 は物体表面の微小な凸凹によって生じる鏡面反射の広が定の測定条件に限定して定量化する試みはさまざまに行わりである．

43 巻 7 号（2014）

303（ 7 ）ᵟ

を行うためには，照明光の影響を何らかの方法で差し引く

法線

λ‫ݧ‬ή

ᦟ᩿Ӓ‫ݧ‬
ᴾᴾᴾᴾᴾᴾᴾᴾᴾᵠᵡਘ૝Ӓ‫ݧ‬
ᴾᴾᴾᴾᴾᴾᴾᴾᴾᴾᴾ
ཋ˳ᘙ᩿

必要があることと類似の問題設定である．画像からの反射特性の推定に関しては，前章で述べたように，工学的にはある程度成功しつつある．もう 1 つの考え方は，光沢の検出において視覚系が行っていることは，他の要因を分離して反射特性を推定することではなく，照明環境によらず反図 5 A：鏡面反射と拡散反射の模式図．拡散反射は入射した光がすべての方向に一様に反射する成分，鏡面反射は入射
光が法線方向をはさんで反対の方向に反射する成分．鏡面反射は方向性が高いが，物体表面の微小な凹凸により反射方向に広がりが生じる．B：鏡面反射の強い物体画像の CG 画
像，C：B の物体のハイライトを回転して作った画像．C では光沢感が減少している．

射特性と相関する画像特徴を取り出すことであるというものである．この考え方を，ここでは画像特徴説とよぶことにする．西田と新谷は，凸凹した表面の CG 画像を用いた実験において，ヒトの光沢の判断が同じ反射特性でも表面の形状に依存して変化することを見いだすとともに，画像の輝度ヒストグラムが光沢の判断に関係することを示唆しこれらの物理的パラメーターが光沢知覚とどのように関た 27）．その後，本吉らは，物体画像の輝度やその周波数係しているかを調べるために，Ferwarda らは上の 3 つの反サブバンドのヒストグラムの歪度が光沢知覚に重要である

射パラメーターのさまざまな組み合わせで作った CG 物体ことを報告した 28）．逆光学説と画像特徴説は光沢知覚を

画像を被験者に提示し，光沢知覚の強さを説明する変数を舞台にして競い合っているが，これは視知覚の本質に関わ

24）．その結果，2 つのパラメーターがる問題点をめぐる議論であり，質感認知の取り扱う問題に知覚される光沢の強さと相関することを見いだした．1 つ

視知覚の本質的な問題が凝集していることを示すものであは拡散反射率と鏡面反射率を非線形に組み合わせた変数でるといえる．

求める実験を行ったあり，これは物体表面のハイライトの部分とそれ以外の部

その後の研究で，輝度ヒストグラムの歪度だけでは光沢分の明るさのコントラストを表す．もう 1 つの変数は鏡面知覚が説明できない例が報告されているが，その 1 つは，反射の広がりで，これは物体表面に映りこんだ環境のイ

ハイライトを画像中で回転すると輝度ヒストグラムは変化

メージの鮮明さを表す量である．

しないにもかかわらず知覚される光沢の強さが低下するというものである29）（図 5B, 5C ）．これは，ハイライトが光

5.

光沢知覚のメカニズム

沢知覚の手がかりとなるためには，物体表面の三次元形状

光沢に関する脳活動を調べた研究では，素材識別と同様

によって生じる陰影とハイライトのパターンに整合性が必

腹側視覚経路において光沢をもつ刺激に対する強い活動が要であることを示唆している．光沢を中心とした質感研究

25）．また，サルの下側頭皮質には光沢を見の発達研究は中央大の山口らのグループが精力的に進めて分ける細胞が存在しており，それらのニューロン集団の活おり，楊らは，ヒトには生後 7〜8 か月で光沢のある物体

動は，さまざまな光沢を系統的に表現していることが示さとない物体を見分ける能力があらわれることを報告してい見いだされたれている ．これらの生理学的な研究は，視覚系が画像中る30）．興味深いことに，乳児はすでにこの段階で正しいハのどのような情報を手がかりとして光沢を知覚しているか

イライトと画像中で回転したハイライトを区別しており，という問題については，今のところ答えを与えることはで

このことは，自然環境におかれた外界の物体が作る画像のきていない．心理物理学的なアプローチにより，この問題

性質について，このような早い発達段階ですでに正しい知についての研究が現在活発に進められている状況である．

識をもっていることを示唆している．

26）

視覚系がどのように光沢の判断を行っているかという問題

Fleming は最近のレビューの中で上記の 2 つの考え方に関して，大きく 2 つの異なる考え方が存在する．1 つの（逆光学説と画像特徴説）を取り上げ，それぞれの問題

考え方は，光沢の検出はそれに関係する外界の物理的な要点を指摘した後，彼が「統計的見えのモデル」（ statistical

因，つまり光沢の場合であれば反射パラメーターの推定を

appearance model）とよぶ第三のアプローチについての主行っているというものである．この考え方を逆光学説とよ張を展開している4）．それによると，視覚系が行っている

ぶことにする．物体の画像は反射特性だけでなく，物体のことは，表面の性質が変わったときに画像がどのように変幾何形状や照明環境の要因も混じって作られるので，反射化するかについての統計的な規則性を把握し，新しいサン特性を推定するためには幾何形状や照明環境の要因を差し

プルが与えられたときにその規則性を利用して特定の質感引く必要がある．これは，色覚において色の恒常性の計算の変化として知覚するというものである．まだラフな構想

304（ 8 ）

光

学

物理現象

観察者

光学特性
網膜像

（反射、透過など）

光線の場
照明環境

脳

質感の知覚

（視覚神経情報処理）（心理現象）

脳科学

心理物理学

工学

図 6 質感認知の情報学におもに関係する 3 つの学問分野（工学，脳科学，心理物理学）と，それらがおもに対象とする視覚質感認知の 3 つの段階（物理現象，脳情報処理，知覚）の概念図．

の段階であり，今後具体的な例に適用して肉付けが行われ感性工学でつちかわれた感性評価のさまざまな方法が参考るとともに理論としての有効性が検証されていく必要があになるものと思われる．
質感認知の情報学は，物と光の相互作用の仕方，それにるが，新しい発展が期待される注目すべき考え方のように思われる．

より生じるライトフィールド，網膜画像の形成，そして脳内情報処理を経て知覚へと至る一連の流れを系統だてて解

表面状態の認知については光沢のみを取り上げてみてき

明することをめざしている．それにより，世界とわれわれ

たが，BRDF が取り扱えるのは物体表面での反射だけであがどのように関係しているのかという人類にとっての大きる．しかし，世の中に存在する素材は多かれ少なかれ光をな問題を，より深いレベルで理解できるようになるだろ

透過する性質をもち，物体内部に光が侵入して散乱を受けう．それは，世界を構成する多様な事物がわれわれの心にたり，物体内部に存在する異なる媒質間の界面で反射したもたらす豊かさの源泉に迫っていく，ひとつのメインルー

り，あるいは物体の他の面から物体外に出ていく．それら

トとなるに違いない．工学と心理物理学と脳科学の連携をの光学過程によりライトフィールドは複雑に変化し，また中心にすえ，諸科学が交流する場がさらに活発に広がって波長分布にも変化が生じる．現実の物体がもつ多様な質感

ゆき，質感認知の情報学が発展することを願っている（図に対する認知を対象とするためには，それらの素材の光学6）．

的な特性の計測や解析がまず必要であり，それをめざした
工学的な研究が進められている31）．本稿の最初に触れたコ

文

ンピュテーショナルフォトグラフィーの分野においても，

1）日浦慎作： コンピュテーショナルフォトグラフィ理解のための光学系入門 ，コンピュータビジョン最先端ガイド 4 ─
CVIM チュートリアルシリーズ─，八木康史・斉藤英雄編（アドコム・メディア，2011）pp. 23―52.
2）E. H. Adelson and J. R. Bergen: “The plenoptic function and theelements of early vision,” Computational Models of Visual Processing, ed. M. S. Landy and J. A. Movshon（MIT Press,
Cambridge, 1991）pp. 3―20.
3）R. W. Fleming, C. Wiebel and K. Gegenfurtner: “Perceptual
qualities and material classes,” J. Vision, 13（8）（2013）9:1―20.
4）R. W. Fleming: “Visual perception of materials and their properties,” Vision Res., 94（2014）62―75.
5）L. Sharan, R. Rosenholtz and E. Adelson: “Material perception:（2009）784.
What can you see in a brief glance?” J. Vision, 9（8）6）柳井啓司： 一般物体認識の現状と今後 ，情報処理学会論文
誌，コンピュータビジョンとイメージメディア，48（2007）1―
24.
7）L. Sharan, C. Liu, R. Rosenholtz and E. Adelson: “Recognizing
materials using perceptually inspired features,” Int. J. Comp.
Vis., 103（2013）348―371.
8） J. Hays and A. A. Efros: “Scene completion using millions ofphotographs,” Proc. of SIGGRAPH（2007）.
9）A. Krizhevsky, I. Sutskever and G. E. Hinton: “ImageNet classiﬁcation with deep convolutional neural networks,” Proc. of
Neural Information Processing Systems（ NIPS）（2012）.
10）Q. V. Le, M. Ranzato, R. Monga, M. Devin, K. Chen, G. S.

このような現実世界で生み出される複雑なライトフィール
ドから情報を取り出す研究がさまざまに進められている．
例えば長原らは透明物体を透過して観察される背景のひずみ方が透明物体の形状に依存することに注目して，ライトフィールドカメラが取得する多視点画像を解析することにより，背景によらず透明物体の形状を認識する興味深い研究を行っている32）．心理物理学の分野においても，半透明感 33，34）や流体の粘度 35）など，光沢以外の質感を生み出す
画像手がかりについての先駆的な研究が進められつつある．
質感認知がさまざまな産業において興味をもたれる大きな理由は，質感認知が嗜好や価値判断に密接につながっているからである．ヒトの嗜好や価値判断を分析して商品開発に結び付ける研究は感性工学の分野で多くなされてきたが，質感認知の情報学の発展により，ヒトの心が生み出す知覚の成り立ちの仕組みを明らかにすることが可能になる．一方で，質感認知を感性と結びつけていくためには，
43 巻 7 号（2014）

献305（ 9 ）Corrado, J. Dean and A. Y. Ng: “Building high-level featuresusing large scale unsupervised learning,” Proc. of International
Conference on Machine Learning（ ICML）（2012）.
11）C. Hiramatsu, N. Goda and H. Komatsu: “Transformation fromimage-based to perceptual representation of materials along thehuman ventral visual pathway,” NeuroImage, 57（2011）482―
494.
12）N. Goda, A. Tachibana, G. Okazawa and H. Komatsu: “Representation of the material properties of objects in the visual cortex
of nonhuman primates,” J. Neurosci., 34（2014）2660―2673.
13）K. Fukushima: “Neocognitron: “A self organizing neuralnetwork model for a mechanism of pattern recognitionuna›ected by shift in position,” Biol. Cybern., 36（1980）193―
202.
14） J. Protilla and E. P. Simoncelli: “A parametric texture model
based on joint statistics of complex wavelet coe¤cients,” Int. J.
Comp. Vision, 40（2000）49―71.
15） J. Freeman, C. M. Ziemba, D. J. Heeger, E. P. Simoncelli and
J. A. Movshon: “A functional and perceptual signature of thesecond visual area in primates,” Nat. Neurosci., 16（2013）974―
981.
16）G. Okazawa, T. Tajima and H. Komatsu: “Natural texture selectivity of macaque V4 neurons examined by adaptive sampling,”
Abst. for 43rd Soc. Neurosci. Meeting（2013）555.06.
17）K. Tanaka: “Inferotemporal cortex and object vision,” Annu.
Rev. Neurosci., 19（1996）109―139.
18）F. E. Nicodemus, J. C. Richmond, J. J. Hsia, I. W. Ginsberg and
T. Limperis: “Geometrical considerations and nomenclature forreﬂectance,” National Bureau of Standards Monograph 160（1977）.
19）佐藤洋一，向川康博： インバースレンダリング ，情報処理学会研究報告コンピュータビジョンとイメージメディア（CVIM）91（2004）65―76.
20）F. Romeiro and T. Zickler: “Blind reﬂectometry,” European
Conference on Computer Vision（ ECCV）（2010）.
21）S. Lombardi and K. Nishino: “Reﬂectance and natural illumination from a single image,” European Conference on Computer
Vision（ ECCV）（2012）.
22）R. W. Fleming, R. O. Dror and E. H. Adelson: “Real-world illumination and the perception of surface reﬂectance properties,”
J. Vision, 3（2003）347―368.
23）I. Motoyoshi and H. Matoba: “Variability in constancy of the306（ 10 ）perceived surface reﬂectance across di›erent illumination statistics,” Vision Res., 53（2012）30―39.
24） J. Ferwerda, F. Pellacini and D. P. Greenberg: “A
psychophysically-based model of surface gloss perception,”
Proc. SPIE, 4299（2001）291―301.
25）G. Okazawa, N. Goda and H. Komatsu: “Selective responses to
specular surfaces in the macaque visual cortex revealed by
fMRI,” NeuroImage, 63（2012）1321―1333.
26）A. Nishio, N. Goda and H. Komatsu: “Neural selectivity andrepresentation of gloss in the monkey inferior temporal cortex,”
J. Neurosci., 32（2012）10780―10793.
27）S. Nishida and M. Shinya: “Use of image-based information injudgments of surface-reﬂectance properties,” J. Opt. Soc. Am. A
Opt. Image Sci. Vis., 15（1998）2951―2965.
28）I. Motoyoshi, S. Nishida, L. Sharan and E. H. Adelson: “Image
statistics and the perception of surface qualities,” Nature, 447（2007）206―209.
29） J. Kim, P. Marlow and B. L. Anderson: “The perception of gloss
depends on highlight congruence with surface shading,” J.
Vision, 11, No. 9（2011）article 4, 1―19.
30） J. Yang, Y. Otsuka, S. Kanazawa, M. K. Yamaguchi and I.
Motoyoshi: “Perception of surface glossiness by infants aged 5
to 8 months,” Perception, 40（2011）1491―1502.
31）向川康博： 反射・散乱の計測とモデル化 ，コンピュータビ
ジョン最先端ガイド 4 ─ CVIM チュートリアルシリーズ─，八木康史，斉藤英雄編（アドコム・メディア，2011）pp. 121―150.
32）K. Maeno, H. Nagahara, A. Shimada and R. Taniguchi: “Lightﬁeld distortion feature for transparent object recognition,”
Conference on Computer Vision and Pattern Recognition（ CVPR）pp. 2786―2793.
33）R. Fleming and H. H. Bultho›: “Low-level image cues in theperception of translucent materials,” ACM Trans. Appl. Percept,2（2005）346―382.
34）I. Motoyoshi: “Highlight-shading relationship as a cue for theperception of translucent and transparent materials,” J. Vision,
10, No. 9（2010）article 6, 1―11.
35）K. Maruya, T. Kawabe and S. Nishida: “Material from motion:
Human perception of ﬂuid properties from motion vectorﬁelds,” J. Vision, 13, No. 9（2013）article 207.

（2014 年 2 月 24 日受理）

光学