文部科学省科学研究費補助金
新学術領域研究

質感脳情報学

News Letter No.4
2015.6.23

NewsLetter No.4

1
2
5

A01

9

B01

57

C01

113
187
195

領域代表挨拶

本領域は平成２７年３月を持ちまして５年間の研究期間を満了しました。本領域の活動にあた
りましては、多くの方から温かいご支援をいただき大変ありがたく存じます。この場を借りて厚く御礼申し上げます。このたび領域研究期間の満了にあたり、本領域の活動をまとめて広く知っていただくために、参加したすべての班員の研究活動を紹介するニュースレター第４号を作成いたしましたのでお届けいたします。
質感脳情報学領域では、私共の生活にもなじみが深い一方、科学的な解明が進んでいなかった
質感の問題を、工学と心理物理学と脳科学の研究者が連携して解明に取り組んで参りました。おかげさまで分野間の交流が大いに進み、新しい学際的な研究分野としての質感の科学が着実に発展しています。本領域の研究期間は満了しましたが、成果取りまとめを目的とした終了領域に採択され活動を継続しています。終了領域では成果取りまとめに加え、これまで作り上げてきた質感研究の交流の場とエネルギーを維持し発展させるために関係者と協力してさまざまな取り組
みを進めているところです。また、領域としての研究期間は満了しましたが、もちろん研究がこれで終わる訳ではありません。質感研究を進める上でかかせない異分野が交流する足場がしっかりできたので、その足場を利用して更に活発に研究が展開されていくと思います。また本領域の活動を通じて、質感に関心を持つ多くの企業の研究者の方や工芸・芸術分野の方とのつながりもできています。これらのつながりも、今後の質感研究の発展のための貴重な財産です。昨年７月には東京大学で領域主催の国際シンポジウム「質感の科学の未来（Future of Shitsukan
Research）」を行い、海外から最先端の研究者を招聘して交流を深めました。我が国の質感研
究の広がりと高いレベルは海外の研究者に強い印象を与えたようですが、現在世界各地で質感の研究が活発に進められつつあります。これからは国際的な協力と競争が一段と進むことにより、質感研究が加速していくものと思います。
今後とも質感の科学の発展のため、領域関係者一同力を尽くして参りたいと存じますので、ご支援の程どうぞよろしくお願い申し上げます。

「質感認知の脳神経メカニズムと高度質感情報処理技術の融合的研究」領域代表
自然科学研究機構・生理学研究所・感覚認知情報研究部門
教授 小松 英彦

1
1

本研究領域のねらいと概要
私たちはある物体を見ただけで、その素材について、金属、プラスチック、ゴム、木、ガラス、布、あるいは皮でできている、といったことを瞬時に認知することができます。さらにその物体の手触りや柔らかさ、摩擦、温度、新鮮さ、濡れて滑りやすいといった複雑な状態も瞬時に判断できます。私たちは事物が生み出すそれらさまざまな質感から、世界の豊かさを実感すると共に、物を選んだり、身体運動を制御するための生存に不可欠な情報を得ています。
物体の質感をいかに表現するかという問題について、芸術家は何世紀にもわたって多くの試みを積み重ねすぐれた質感表現を生み出してきました。しかしそこで培われてきた技法への理解は多くの場合直感的なもので、科学的・工学的な理解とは距離があります。また、近年コンピュータ
グラフィックス（CG）技術などが高度に発達して、非常にリアルな映像で世界を表現できるよ
うになっていますが、そこで発達してきたのは物理的な光学過程をシミュレートして画像生成する技術であり、生成された画像に含まれたどのような情報が質感認知に関わるのかはよく分かっていません。質感を生み出す情報は、物体の反射特性、三次元形状、照明環境が相互作用して作る複雑な高次元情報として画像に埋め込まれており、人間はその情報を読み解くことができます
が、それがどのような脳内情報処理によって実現されているかは未だに多くは謎に包まれています。
本研究領域は、工学、心理物理学、脳神経科学の学際的な研究者集団の力を結集して「質感認知のメカニズムの理解」を深める目的で生み出されました。この目的を実現するために本領域では
以下の 3 つの研究項目が設定され平成２２年から平成２７年３月までの間研究が進められました。
A01 質感の計測と表示に関わる工学的解析と技術
A01 班では、自然画像処理やコンピュータビジョン、コンピュテーショナルフォトグラフィの最先端の理論とテクニックを使ってさまざまな物体の持つ質感を正確に計測し、忠実に再現する
新たな方法を開発します。また、画像から物体形状、反射特性、環境の光源分布を推定するインバースレンダリングの枠組みを拡張させ、新たな質感推定アルゴリズムを開発します。
B01 質感認知に関わる感覚情報の特徴と処理様式
B01 班は心理物理学的手法を駆使し、私たちが感覚刺激に含まれるどのような特徴を使って素材を識別し、質感を認知しているかについて実験的に解明を進めます。その成果をもとに質感の定量的測定や機械認識、質感コントロール技術の可能性を探ります。また、質感判断に相関する画像情報ができるだけ単純な形で表現できる刺激体系の構築を目指します。

2
2

C01 質感情報の脳内表現と利用のメカニズム
C01 班は、他の班との共同研究で得られる質感認知に重要な情報の理解の上に立って、脳科学の方法を駆使して質感認知に関わる脳内処理の解明を進めます。そこでは、質感認知に関わる情報が脳のどこでどのように表現されているのか、それらの情報が質感認知にどのように用いられているか、また情動とどのように結びついているのかを、ニューロン活動記録および脳機能イメージング法など多様な方法を組み合わせて究明します。
工学・心理物理学・脳神経科学の連携による融合的質感研究の推進
これら 3 つの研究班は異なる角度から共同して質感認知に重要な情報を究明してきました。視覚における質感に関しては、物体からの反射光を解析して質感を正確に計測する技術や、リアルな質感を合成、表示する技術の開発が進められました。また画像のパラメータを操作して質感に影響を与える特徴を調べることにより、ヒトの質感知覚の特性の解明が進み、光沢や素材識別な
ど基本的な質感認知機能について脳の仕組みの解明が進められました。また本領域の研究期間中に機械学習の分野で多層のニューラルネットを用いたディープラーニングが飛躍的に発展しました。本領域においてもこの技術を質感認知に応用する試みが進められました。
また視覚以外の聴覚、触覚、嗅覚などの感覚も質感知覚において重要な役割を果たしており、それらの感覚モダリティにおける質感についても研究が進められました。触覚に関しては触質感を生み出す感覚特徴の分析をもとに、人工的に触質感を呈示する技術の開発も進められました。また質感知覚は見ただけで触った感じが分かるといったクロスモーダルな性質を持ちますが、クロ
スモーダルな質感情報処理についても、その動作原理の解明が進められました。また言語による
クロスモーダルな性質も含めた質感の表現の理解や、それを利用した質感表示システムの開発も進められています。
また、質感の認知に関わる特徴識別の能力は学習により高度に発達し、特定の質感識別を専門に行うエキスパートが存在します。このようなエキスパートのもつ質感識別能力の理解やその獲得の仕組みも質感認知の重要な研究課題です。このような研究を効果的に進めるための共通設備として心理物理実験室を積載したモバイル・ラボが導入され、質感識別のエキスパートと素人の比較を行う実験に活用されました。また赤ちゃんの成長過程で質感認知がどのように発達するかについての研究も行われています。
これまでにデザイン、工芸、芸術やさまざまな産業分野で独自にすぐれた質感の追求がなされています。私たちの研究領域では、それらの社会の各分野の方々と交流を持ち、そこで蓄積された技術や知識も取り込んで研究を発展させることに努めました。真珠、漆工芸、西陣織などの宝飾・工芸品を対象にして、それらのすぐれた質感にアプローチする研究も進められています。

3
3

「質感の科学」のコミュニティの形成

各班員の研究紹介でご覧いただけるように、本領域ではここで触れることができなかったものも含めて広範な質感認知に関わる研究がなされています。このような研究の展開は、質感認知という本質的に学際的な問題に関して、これまでになかった分野横断的な研究グループができたこと
により初めて可能になったものと考えています。毎年２回全班員が集まって研究計画や成果について報告しディスカッションを行う班会議や、それ以外の研究会、またネットを利用したセミナーなどで、班員の交流が深まり数々の共同研究が行われました。またこれらの交流を通して領域
内には大きな知の対流が持続的に存在し、他分野の研究の発展に刺激を受けて自らの研究が発展するといったことが当たり前のこととして起こっていました。この領域の活動を通して、質感を体系的に扱う「質感の科学」とよぶべき学際的な学問領域の形成が進みました。質感認知でこれまでに分かったことは、まだごく一部でまだまだ大事な問題が多く残っています。本領域で作り出された「質感の科学」の場が、今後も学際的な質感研究の発展の足場として使われることを期待しています。また質感認知は芸術や工芸をはじめ、衣食住のあらゆる側面において社会の活動とも密接に関係しています。私たちの研究成果や「質感の科学」の研究者コミュニティが質感に関わる社会の広範な活動に寄与して、精神的に豊かな社会を作っていくことに貢献することを期待しています。

4
4

研究組織
総括班
小松 英彦
（領域代表）

自然科学研究機構 生理学研究所 感覚認知情報研究部門・教授

中内 茂樹
（事務局）

豊橋技術科学大学 大学院工学研究科 情報・知能工学系・教授

佐藤 いまり国立情報学研究所 コンテンツ科学研究系・准教授

日浦 慎作

広島市立大学 大学院情報科学研究科 知能工学専攻 知能メディア分
野・教授

西田 眞也

日本電信電話株式会社 NTT コミュニケーション科学基礎研究所 人間
情報部・主幹研究員

大澤 五住

大阪大学 大学院生命機能研究科 脳神経工学講座 視覚神経科学研究
室・教授

本田 学

独立行政法人 国立精神・神経医療研究センター 神経研究所 疾病研究
第七部・部長佐藤 洋一

東京大学 生産技術研究所・教授

内川 惠二

東京工業大学 大学院総合理工学研究科 物理情報システム専攻・教授

一戸 紀孝

独立行政法人 国立精神・神経医療研究センター 神経研究所 微細構造
研究部・部長領域アドバイザー
富永 昌治

大阪電気通信大学・名誉教授、千葉大学大学院融合科学研究科・特任研究員

江島 義道

京都大学・監事、名誉教授、京都工芸繊維大学・前学長

田中 啓治

理化学研究所 脳科学総合研究センター・副センター長

川人 光男

ATR 脳情報通信総合研究所・所長

A01 質感の計測と表示に関わる工学的解析と技術
計画班
佐藤 いまり（研究代表者）

国立情報学研究所・准教授

佐藤 洋一（研究分担者）

東京大学生産技術研究所・教授

岡部 孝弘（研究分担者）

九州工業大学・准教授

日浦 慎作（研究代表者）

広島市立大学大学院 情報科学研究科・教授

岩井 大輔（研究分担者）

大阪大学大学院 基礎工学研究科・准教授

55平成 23～24 年度

公募班

岡谷

貴之

東北大学大学院 情報科学研究科・准教授

堀内隆彦

千葉大学大学院 融合科学研究科・准教授

山口雅浩

東京工業大学 学術国際情報センター・教授

宮田一乘

北陸先端科学技術大学院 大学ライフスタイルデザイン研究センター・教授

天野敏之

山形大学大学院 理工学研究科・准教授

長原一

九州大学大学院 システム情報科学研究院・准教授

土居元紀

大阪電気通信大学 情報通信工学部 通信工学科・准教授

山本昇志

東京都立産業技術高等専門学校 ものづくり工学科・准教授

平成 25～26 年度

公募班

岡谷 貴之

東北大学大学院 情報科学研究科・准教授

堀内 隆彦

千葉大学大学院 融合科学研究科・教授

津村 徳道

千葉大学大学院 融合科学研究科・准教授

天野 敏之

和歌山大学 システム工学部情報通信システム学科・准教授

岩崎 慶

和歌山大学 システム工学部情報通信システム学科・准教授

長原 一

九州大学大学院 システム情報科学研究院・准教授

田中 弘美

立命館大学 情報理工学部知能情報学科・教授

長田 典子

関西学院大学 理工学部人間システム工学科・教授

山口 雅浩

東京工業大学 学術国際情報センター・教授

B01 質感認知に関わる感覚情報の特徴と処理様式
計画班
西田 眞也
（研究代表者）

NTT コミュニケーション科学基礎研究所・主幹研究員

内川 惠二（研究分担者）

東京工業大学 総合理工学研究科・教授

本吉 勇（研究分担者）

東京大学大学院 総合文化研究科・准教授

藤崎 和香（研究分担者）

産業技術総合研究所 ヒューマンライフテクノロジー研究部門・主任研
究員

中内 茂樹
（研究代表者）

豊橋技術科学大学大学院 工学研究科・教授

北崎 充晃（研究分担者）

豊橋技術科学大学大学院 工学研究科・准教授

永井 岳大（研究分担者）

山形大学大学院 理工学研究科・准教授

平成 23～24 年度
酒井

宏

公募班
筑波大学大学院 システム情報工学研究科・教授

66阿山 みよし宇都宮大学大学院 工学研究科・教授

溝上陽子

千葉大学大学院 融合科学研究科・助教

坂本真樹

電気通信大学大学院 情報理工学研究科・准教授

岡嶋克典

横浜国立大学大学院 環境情報研究院・准教授

岡本正吾

名古屋大学大学院 工学研究科・助教

齋木潤

京都大学大学院 人間・環境学研究科・教授

伊村知子

京都大学霊長類研究所・助教

大谷芳夫

京都工芸繊維大学大学院 工芸科学研究科・教授

新谷幹夫

東邦大学 理学部情報科学科・教授

平成 25～26 年度

公募班

栗木 一郎

東北大学 電気通信研究所・准教授

酒井 宏

筑波大学 システム情報系情報工学域・教授

坂本 真樹

電気通信大学 情報理工学研究科・准教授

柳井 啓司

電気通信大学 大学院情報理工学研究科・准教授

岡嶋 克典

横浜国立大学大学院 環境情報研究院・准教授

岡本 正吾

名古屋大学大学院 工学研究科・助教

齋木 潤

京都大学大学院 人間環境学研究科・教授

土居 裕和

長崎大学大学院 医歯薬学総合研究科・講師

山口 真美

中央大学 文学部心理学専攻・教授

和田 有史

農業食品産業技術総合研究機構 食品総合研究所・主任研究員

下川 丈明

国際電気通信基礎技術研究所 脳情報通信総合研究所・研究員

C01 質感情報の脳内表現と利用のメカニズム
計画班
大澤 五住
（研究代表者）

大阪大学大学院 生命機能研究科・教授

佐々木 耕太（研究分担者）

大阪大学大学院 生命機能研究科・特任助教

小松 英彦（研究代表者）

自然科学研究機構 生理学研究所・教授

一戸 紀孝（研究分担者）

国立精神・神経医療研究センター 神経研究所・部長

郷田 直一（研究分担者）

自然科学研究機構 生理学研究所・助教

本田 学（研究代表者）

国立精神・神経医療研究センター 神経研究所・部長

77

平成 23～24 年度

公募班

鈴木

匡子

山形大学大学院 医学系研究科・教授

高橋宏知

東京大学 先端科学技術研究センター・講師

勝山成美

東京医科歯科大学大学院 医歯学総合研究科・助教川嵜圭祐

新潟大学大学院 医歯学総合研究科・助教

山本洋紀

京都大学大学院 人間・環境学研究科・助教

船橋 新太郎京都大学 こころの未来研究センター・教授

古田貴寛

京都大学大学院 医学研究科・助教

田村弘

大阪大学大学院 生命機能研究科・准教授

藤田一郎

大阪大学大学院 生命機能研究科・教授

萩原綱一

九州大学大学院 医学研究院臨床神経生理・助教

檀一平太

自治医科大学 医学部先端医療技術開発センター・准教授

宇賀貴紀

順天堂大学 医学部生理学第一講座・先任准教授

伊藤南

自然科学研究機構

南本敬史

放射線医学総合研究所分子イメージング研究センター・チームリーダー

関和彦

国立精神・神経医療研究センター 神経研究所・部長

宮脇陽一

ATR 脳情報通信総合研究所

平成 25～26 年度

生理学研究所・准教授

神経情報学研究室・研究員

公募班

鈴木 匡子

山形大学大学院医学系研究科・教授

眞部 寛之

東京大学大学院医学系研究科・助教

高橋 宏知

東京大学先端科学技術研究センター・教授

勝山 成美

東京医科歯科大学大学院医歯学総合研究科・助教

川嵜 圭祐

新潟大学医学部生理学第一・助教

鯉田 孝和

豊橋技術科学大学エレクトロニクス先端融合研究所・テニュアトラック准教授

山本 洋紀

京都大学大学院人間環境学研究科・助教

船橋 新太郎京都大学こころの未来研究センター・教授

田村 弘

大阪大学大学院生命機能研究科・准教授

宇賀 貴紀

順天堂大学医学部生理学第一講座・先任准教授

西村 幸男

生理学研究所発達生理学研究系・准教授

北田 亮

生理学研究所大脳皮質機能研究・助教

南本 敬史

放射線医学総合研究所分子イメージング研究センター・チームリーダー

研究紹介での班員の所属・身分は２０１５年５月時点のものを記載しています。

88

研究紹介 A01 質感の計測と表示に関わる工学的解析と技術

9
9

計画研究

計画研究

A01

質感認知に関わるコンピュータビジョンと情報論的解析
研究代表者

佐藤

いまり（国立情報学研究所・教授）

研究分担者

佐藤
岡部

洋一（東京大学生産技術研究所・教授）
孝弘 （九州工業大学・准教授）

慮は十分なされてきませんでした．
蛍光は反射特性とは異なる特性を持ちます．例えば，蛍光は吸収光の波長よりも長波長側の光を出力するという複雑なメカニズムを持ち，蛍光物質が出力する波長は一定あり，照明色の影響を受けないという特性を持ちます（例えば，青い光源の下でもオ
レンジの蛍光発光を見せます）．これにより，対象物体が蛍光成分を含む場合，従来の分光反射率を用
いた色再現では，正しく色推定を行うことが難しくなります．すなわち，通常の反射成分と蛍光成分とを分けて色再現することが重要です．
本研究では，実在物体の持つ蛍光特徴に着目し，実物体の反射•蛍光成分の双方を考慮した分光解析技術の開発を進め，実在物体のモデル（形状，分光特性）の獲得を実現しています。

図１：蛍光成分を含む物質例: 鉱石, バナナの皮，
スーパーボール，蛍光塗料を含む紙.左側または上側の画像は自然光のもとで観察される物体の見えを，右側または下側の画像は，紫外光を含むブラックラ
イトのもとで観察された蛍光発光を示す．

照明色変化と蛍光物質
なぜ蛍光発光が起こるのか，その発光の特徴については，量子論を通して明らかにされてきています．
具体的には，蛍光物体の分子が光エネルギーを吸収すると励起状態と呼ばれる不安定な状態になり，再び基底状態に戻る際に光を放出します．蛍光物質ごとに吸収する波長や放出する光の分光分布は異なり，蛍光物質の特性は，どの波長の光をどれだけ吸収するかを示す「励起関数」と蛍光物体固有の蛍光発光の分光特性を表す「蛍光関数」により表現されます．
ここで，蛍光物質は，吸収光の波長よりも長波長側の光を放出し，光源の分光分布に関わらず，出力される蛍光発光の分光分布は一定のパターンを示すことが知られています． 対象物体が通常の反射成分のみより構成される場合，物体表面で観察される色は，
照明光の分光分布と物体表面の分光反射率（入射光の各波長に対する反射の割合を示す）の積として求められるのに対し，蛍光発光は，照明の分光分布と励起関数により吸収光の量が決まり，観察される発光強度が決定されます.

○研究の背景と目的
物体表面の色，明るさは照明条件により大きく変化することが知られており，このことが画像処理技術
による物体の認識を難しくする大きな要因ともなっています．これに対し，色恒常性の研究分野では，照明の影響を除去し，物体色を推定するための様々なアルゴリズムが提案されてきました．また，画像合成の研究分野では，複雑な光源環境下で物体の見えを正確に生成するための様々な技術が提案されてきています．ここで，物体の見えや色の推定に関わるコンピュータビジョン技術の多くは，対象となる
物体表面が反射成分のみにより構成されることを仮定しています．すなわち，物体表面の色は，照明光の分光分布（どの波長の光を多く含むかを示す）と
物体表面の分光反射率（入射光の各波長に対する反射の割合を示す）の積として考慮されます．その一方で，私たちの身の回りに目を向けてみると，例えば白紙，塗料，染料，植物など，反射成分のみならず蛍光成分を含む物体が多数存在します．これに対し，画像の認識と理解を扱うコンピュータビジョンの研究分野では，光の反射成分のみを対象とした画像解析手法が提案され，実物体の持つ蛍光成分の考1010

○研究成果本研究では，このような入射光に対する蛍光発光と反射のメカニズムの違いを積極的に活用することによって，対象物体の蛍光成分と反射成分を分離して観察し画像解析に用います．具体的には，入射光の波長と観察する光の波長の双方を変化させながら物 体 を 観 察 す る バ イ ス ペ ク ト ル 計 測 （ Bispectral
Measurements）により，観察波長の違いを用いて反射特性と蛍光成分を分離して観察していきます．バ
イスペクトル計測は，蛍光試料の発光スペクトル計
測の目的のため用いられる手段です．
先に述べた様に，蛍光は吸収光の波長よりも長波長側の光を出力するという特性を示します．蛍光発光の波長シフトという特性を活用することによって，対象物体の蛍光成分と反射成分を分離して観察することができます．例えば，図 2 に青色の光源下で観察されたカッターナイフの RGB 画像を示します．単波長により構成される照明下で観察する場合（例えば，光源色が青），反射成分は照明と同じ波長にのみ観察されます（光源色が青であれば，青色の反射のみが観察される）．これに対し，蛍光は吸収光の波長よりも長波長側の光を出力します（光源色が青の場
合，緑色や赤色の蛍光が観察される）．このカッターナイフは，反射•蛍光成分により構成されるため，
画像の B チャンネルのみを取り出すと反射成分のみが，G と R のチャンネルのみを取り出すと蛍光成分のみを観察することができました．図３左（B チャンネルの画像）では，物体表面の艶，すなわち鏡面
反射のみが観察され，図３右（R チャンネルの画像）
では蛍光発光のみをとらえている様子が分かります．

図２：Bispectral Measurement により観察される反射・蛍光成分.

図３：蛍光画像から推定された物体形状. 右下に対象物であるキーホルダーの画像を示す．鍵の模様や文字などの詳細が推定できている様子が分かる.
図 3 に提案手法により推定された形状（対象物はキーホルダー）を示します．キーホルダーの物体表面
では鍵の模様や文字などの詳細が推定できている様
子が分かります．

①蛍光発光に基づく形状推定
蛍光成分は，照射光より長波長側の光を返し，照射方向による発光強度の違いは拡散反射と同じである
ことが知られています．すなわち，法線の方向から照射した時の発光強度が最も強くなり，法線となす
角度が 90 度に近づく程，発光強度も弱くなります．
これに従い，照明方向の変化にともない観察された蛍光発光の強度変化に基づく照度差ステレオ法(Photometric Stereo)により対象物体の形状を推定することができます．
照度差ステレオ法は，３つ以上の照明方向の異なる
光源下，単一視点から撮影された画像の陰影情報をもとに物体表面の各点の法線方向を推定する手法です．一般に物体表面が拡散反射のみにより構成されることを仮定した手法であり，物体表面に強い鏡面反射（艶など）が観察される場合，その影響を受けてしまうという問題を抱えています．我々は，バイスペクトル計測により，反射と蛍光を分離して観察することにより，物体表面の艶などの影響を受けずに蛍光発光に基づき安定して形状推定を行うことができることを示しました[1]．

②反射・蛍光特性に基づくカメラの分光感度ならびに照明色の推定実在シーンをカメラを用いて撮像する場合，対象シーンの見えは，照明色とシーンを観測するカメラの分光感度の双方の影響を受けます．例えば，和紙を異なるカメラ（Nikon DIX, Canon 5D）や異なる照明
下（Sun:太陽光と Blue Sky:青空）で撮像すると観察される物体色は大きく異なります（図 4 右上）. 本
研究では，蛍光物質が出力する波長は一定で照明色の影響を受けないという特性に着目し, 通常の反射成分のみならず蛍光成分を含む新しいキャリブレー
ションボードを提案しました[2]．このキャリブレー
ションボードの反射・蛍光特性（分光反射率，蛍光発光の励起波長と発光波長）は，あらかじめ光学計
測により既知とします．
先に述べたように，蛍光発光の色は光源色の影響を受けません．そのため，このキャリブレーション
ボードの蛍光成分を含む色チャート（図４左下のチ

1111

図５：反射・蛍光特性のモデル化により実現される
正しい色再現．図は左から，白色照明における対象シーンの見え，青色の照明のもとで観察される対象

図４: 蛍光塗料を含むキャリブレーションボードをシーンの見え，反射特性のみの考慮により再現され提案，光源の分光分布とカメラの分光感度の同時推たシーンの見え（従来法），反射・蛍光特性の双方定を実現．
ャートの左半分）の色の変化はカメラの分光感度の影響のみを受けることになります．一方，反射成分で構成される色チャート（図４左下のチャートの右半分）は，光源色の影響とカメラの分光感度双方の影響を受けます．この違いを利用することにより，
まず，蛍光成分を含む色チャートからカメラの分光
感度を推定することができ，その後，推定されたカメラの分光感度と反射成分のみを含む色チャートにおいて観察される色から照明色を推定することができます．すなわち，このキャリブレーションボード
と一緒に撮像することにより，照明色やカメラの分
光感度の影響を除去して物体色の推定が可能となり，さらに任意の照明下，異なるカメラで撮像された時に観察される見えを予測することができる様になりました．

の考慮により再現された対象シーンの見え（提案手法）．
高周波に変化する分光分布を持つ光源が，反射・蛍
光特性を分離して計測するのに有効に働くことを明らかにして，２種類の照明下で撮像された２枚の分
光画像に基づき対象シーンの反射・蛍光特性のモデル化を実現しました[4]．また，高周波照明という特殊な光源を用いずに，LED, 白熱電球といった一般的な照明のもとで観察された分光画像に基づき対象シーンの反射・蛍光特性のモデル化を実現する手法も開発しています[5]. 2014 年は，分光カメラを用いずに RGB カラーカメラを用いて対象シーンの反射・蛍光特性を推定する手法[6]や対象シーンの直接
反射と間接反射成分（相互反射など）を分離して計③実在物体の反射・蛍光特性のモデル化による任意測する手法を開発しました[7]. 図５に提案手法によ

照明下での見えの合成

りモデル化された実シーンの見えを示します．反射

対象物体が反射ならびに蛍光成分により構成される特性のみならず，蛍光特性をモデル化することによ場合，この物体の見えをモデル化して任意照明下でり，任意照明下での正しい見えの再現が実現できての画像合成を行うためには，対象シーンの分光反射いる様子が分かります．図７に提案手法により分離率と蛍光物質の吸光度を示す励起関数と発光の分光された対象シーンの直接成分と間接成分を示します．

分布を示す蛍光関数を獲得する必要があります．最コンピュータビジョン技術の多くは直接反射のみをも確実な方法は，単波長により構成される照明を準考慮したものであり，分離後の直接成分を用いて，備して，照明の波長を変化させながら照射し，対象物体の形状を安定に推定することも可能です．

物の明るさを様々な波長で記録する方法です．しかしながら，このアプローチは，全ての照射波長と観察波長の組み合わせを試す必要があり，膨大な計測○今後の展望本研究では，従来の反射のみを考慮した画像解析でを要するという問題が存在します（照射波長と観察は困難な問題に対する蛍光の特性を活用したアプロ

波長により構成される行列は，Donaldson 行列と呼ばーチを提案しました．対象シーンが蛍光特性を含む

れる）.

場合，その見えのモデル化には反射と蛍光成分の考

我々は，実世界の反射特性や蛍光特性の統計量に基慮が必要です．今後は，珊瑚，生物，植物など，自づき照射波長と蛍光波長の組み合わせを決定し，少然界の反射・蛍光成分のモデル化に取り組んでいきない計測に基づき実物体の反射•蛍光特性をモデル

ます．さらに，モデル化された反射・蛍光特性を用化する手法を提案しました[3]．さらに，波長領域でいて，様々な条件下（反射・蛍光の割合など）のシ

1212

ーンを再現し，人間がどの程度，蛍光を知覚できるのか，蛍光に起因する質感について調べていくことを予定しています．
○代表的な研究発表
1. I. Sato, T. Okabe, Y. Sato: Bispectral Photometric
Stereo based on Fluorescence, Proc. IEEE Conf.
Computer Vision and Pattern Recognition (CVPR 2012),
270-277, 2012.
2. S. Han, Y. Matsushita, I. Sato, T. Okabe, and Y. Sato,"Camera Spectral Sensitivity Estimation from a Single
Image under Unknown Illumination by using
Fluorescence", Proc. IEEE Conf. Computer Vision and
Pattern Recognition (CVPR 2012), 805-812, 2012.
3. A. Lam and I. Sato: Spectral Modeling and Relightingof Reflective-Fluorescent Scenes, Proc. IEEE Conf.
Computer Vision and Pattern Recognition (CVPR 2013),
1452-1459, 2013.

図 6：一般的な光源下で撮像された分光画像から推4. Y. Fu, A. Lam, I. Sato, T. Okabe, Y. Sato: Separating
Reflective and Fluorescent Components using HighFrequency Illumination in the Spectral Domain, Proc.
International Conf. Computer Vision (ICCV 2013),
457-464, 2013

定された反射・蛍光特性，(a)光源の種類，(b)各光源の分光特性，(c)LED 光源のもとでのシーンの見え，(d)推定された反射特性，(e)推定された蛍光成分．

5. Y. Zheng, I. Sato, Y. Sato: Spectra Estimation of
Fluorescent and Reflective Scenes by Using Ordinary
Illuminants, Proc. European Conference on Computer
Vision (ECCV2014), 188-202, September 2014.
6. Y. Fu, A. Lam, Y. Kobashi, I. Sato, T. Okabe, Y. Sato:
Reflectance and Fluorescent Spectra Recovery based on
Fluorescent Chromaticity Invariance under Varying
Illumination, Proc. IEEE Conference on Computer
Vision (CVPR 2014), June 2014.
7. Y. Fu, A. Lam, Y. Matsushita, I. Sato, and Y. Sato:Interreflection Removal Using Fluorescence, Proc.
European Conference on Computer Vision (ECCV2014),
203-217, September 2014.

図７：対象シーンの蛍光と反射特性の違いに基づく
直接成分と相互反射成分の分離．図左から，入力画像, 直接成分，間接成分（相互反射），直接成分に基づきモデル化された形状．

13
13

計画研究

A01

質感認知に関わる記録・合成と表示
研究代表者

日浦 慎作（広島市立大学大学院情報科学研究科・教授）

研究分担者 岩井 大輔（大阪大学大学院基礎工学研究科・准教授）に、文化財や考古遺物等を精細に記録することによって後世に伝えるディジタルアーカイブ分野でも求められている技術です。
○この研究の目指すもの
この研究では、物体の質感をなるだけ高度に、かつ効率よく記録すること、つまり物体の表面でどのように光が反射しているのかをなるだけ上手に取り込むことを目標としています。また同時に、質感を再現する上で現在のディスプレイ技術に欠けている要素に着目し、より本物らしく見せるための新しい表示技術や、ディスプレイ内ではなく実物上に質感を再現する手法も研究の対象にしています。
図１ 複雑な反射特性を持つ物体の計測と、それに基づく反射再現の例。

○研究の背景私たちが日々生活する中で感じる様々な物体の質感の中でも、見かけの質感（視覚による質感）はその物体に触れる前にも感じることが出来る質感であり、その対象の手触りや重さ、暖かさなどを予想したり、食べ物の新鮮さを判断したりといった点で私たちが暮らし、生きるための重要な情報となっています。また、衣服や工業製品の高級感や本物らしさ
も見た目の質感に大きく左右されます。そのため、日本が得意とするものづくりにおいても視覚的な質感の品質管理や検査がますます重要となってきていますが、その質感を余すことなく記録したり、またそれをディスプレイ等に再現することは容易ではありません。最近は衣服や食料品を通信販売で購入する機会が増えていますが、届いてみたら思ったものとは違った、というような失敗をした方もあると思います。その原因として、通信販売では実際に触れたり味わったり出来ないという問題もあるはずですが、現在のカメラ・ディスプレイ技術の性能が不十分であるからということもあるでしょう。
それでは、手元にない物体の質感を、まるで実物を見ているかのように確認するためにはどのような技術が必要なのでしょうか。また、物体の見え方を変えることで、物体の手触りや温度感覚などにどのような影響が生じるのでしょうか。この問いに対する答えを探し、またそのための技術的手段を開発するのがこの研究の狙いです。
質感の記録・再現の技術はこのような質感の通信や、グローバルなものづくりにおける品質管理の他

図２ 多自由度照明装置「質感サンプラー」。対象物
体を様々な照明パターンにより照らすことで、高精度かつ高速に反射特性を計測するために開発しました。
近年のディジタルカメラ技術の発達により、対象の「ある条件での」見た目は非常に高精細に取り込
むことが出来るようになりました。しかし、物体の見え方は光の当たり方や見る方向により様々に変化します。我々は、質感の記録にはむしろ入力装置であるカメラそのものよりも、対象物体を照らす照明の性能に大きく影響されると考えています。図２は

1414

や影の配置も変化します。拡散反射の明るさはランバート則と呼ばれる法則に従うことが多いため、その法則に従って変化しているかどうかを調べ、その法則から外れた分を影や鏡面反射として検出します。
鏡面反射はランバート反射則よりも明るくなり、影の部分は逆に暗くなるのでそれらを区別することが出来ます。光源の方向がわかっていなくても法則に従っているかどうかを調べることはできるので、光源を手に持って自由に位置を変えながら撮影した画像から、影や鏡面反射の成分を取り除くことが出来ます。この技術を使うと、光沢のある物体の写真か
ら光沢を除いたマットな表面の画像に変換したり、逆に光沢を強めた画像を作り出すことも出来ます。
この手法は、様々な方位から照明した画像群のデー
タ量を圧縮する技術の基礎となります。また、質感の認知に関する研究を行う研究者が、被験者や動物への刺激として使うことが期待されています。
図１は、より複雑な反射特性を持つ物体を計測した例です。金属をヤスリのようなもので一方向に磨いたような仕上げ（ヘアライン仕上げなどと言います）は、磨きの方向によって反射が鋭い方向とぼやける方向が決まり、これを異方性と呼びます。これを精密に取り込むには、小さな照明を置き、その方位を非常に細かく動かしながら膨大な数の画像を取り込む必要がありました。そこで我々は、図２に示すような照明パターンが変化する装置を用い、高速かつ詳細に反射特性を調べる手法を開発しました。
光沢は、物体表面の滑らかさによってその鋭さが変化します。例えば鏡のように平滑であれば、写り込
んだ先の物体がはっきり見え、これが最も鋭い反射です。それに対し、少しざらついた仕上げの物体ではつやの鋭さが低下し、写りこんだ物体がはっきり
見えなくなります。そこでディスプレイ上に様々な方向と間隔の縞模様パターンを表示し、その縞のコントラスト変化を観測することで、光沢の鋭さや方向性を求める手法を開発しました。図１に示すように、異方性を持つような表面が複雑に入り交じった物体でも少ない枚数の画像から、各点ごとの反射特性が得られることを示しました。

対象物体を様々な条件により照明することが出来る装置で、照明の形も鋭い１点から面的に広がりのある光源、または縞模様状といったふうに変化させることができます。これにより、物体表面の微妙な光沢の違いなどを取り込むことが出来ると考えています。
表示についても、最近の液晶ディスプレイは非常に高精細化してきており、静止画の観察にはほとん
ど不足のないものになってきました。しかしディス
プレイの枠の中の表示はどうしても実物による呈示とは同じにならないと考えています。ディスプレイ
の高精細化・ハイダイナミックレンジ化についても研究を行ってきましたが、それよりも我々が力を入れてきたのは、高度な照明の制御により実物の見た目を能動的にコントロールする手法に関する研究です。
○これまでに得られた成果
反射の解析
物体の見た目の質感のうち、光沢感は表面の滑らかさにも関連しており、質感脳情報学のプロジェク
トの中では心理物理学・脳神経科学分野の研究者も含め多くの方々が研究テーマにしています。我々は照明や撮影方法を様々に工夫することで、「ここが光沢に見える」というような推測に基づく光沢検出・光沢認識ではなく、物体表面上で物理的に生じている光沢の検出を行います。

質感の呈示
先に述べたように、液晶ディスプレイなどの表示
デバイス技術は長足の進歩を遂げていますが、ディ
スプレイの枠内に表示するという本質的な制約からは逃れることは出来ません。そこで我々は、立体的な実物の上に高精細な質感を表示する手法について研究を行っています。
立体物の表面の見え方を変化させる方法として、
プロジェクタにより物体表面へ映像を投影する手法があります。我々はこの手法を古くから研究していますが、最近は「プロジェクションマッピング」と呼ばれ一般にも広く知られるようになりました。しかし、一般のディスプレイのように自由な色や明る

図３ 様々な照明条件の画像から、光沢（鏡面反射）や影を取り除く処理を施した結果。最上段が入力画像のうちの３枚で、２段目がその画像から光沢と影の影響を取り除いたもの。３段目は入力画像に生じている現象を解析した結果で、緑と青が影、赤と黄色が光沢が生じた部分の検出結果です。
図３は物体を様々な方向から照明した時の明るさ変化から光沢（鏡面反射）を検出する研究の例を示しています。照明の方向が変わると、その照明の映り込みである光沢の配置も変化します。しかしそれと同時に、物体表面の地の色の明るさ（拡散反射）1515

ができます。各面に対しあらかじめ担当するプロジェクタが決まっているわけではなく、投影コンテンツによって最適なプロジェクタに切り替えられる点が特徴です。プロジェクタ 2 台と立方体の投影対象を用いて基礎実験を行った結果を図５に示します。
コンテンツを考慮しない、従来のプロジェクタ選択法との比較の結果、提案法の方が高解像度な表示が可能であることが確認できました。

さを表現することは簡単ではなく、特に明暗のコン
トラストが低下しがちになります。そこで我々は複数台のプロジェクタを用い、3 次元カラープリンタ
により出力したモデルに映像を重ねあわせることで高精細かつコントラストの高い表示を実現する重畳型 3 次元 HDR ディスプレイを提案しています。
この研究では、コントラストを向上させつつ、立体模型の全周を照らすには、どの位置にプロジェク
タを置けばよいか自動計算する方法について検討しました。計算した配置にプロジェクタを設置して投影実験を行った結果、図４に示すように、立体模型
を環境光下に置いたときに比べて、高いコントラスト（理論上 1,000 倍）での表示が可能となりました。

図４ カラー３次元プリンタから出力された模型に複数台のプロジェクタを使って映像を投影して、文化財を高いコントラストで再現します（上段：映像を投影した場合としない場合でのコントラストを比較するため異なる露光時間で撮影した画像、下段：実験風景）。

図５ 実験システムの構成図（上）と、それによる像の表示結果（下左が従来法、下右が提案手法）。
また、プロジェクタによる投影像のピンぼけを抑制する研究も行っています。プロジェクタはもともと平面上に映像を投影するように作られており、立体物に映像を投影すると、その奥行きによってピントが合った部分と外れた部分が生じます。最近のカメラは小型化が進んでおり、それによってピントの合う範囲も深くなっていますが、プロジェクタはより大きなレンズを備えていることや、絞りを絞り込
むことが出来ないことなどからピントの合う範囲を深くすることが困難です。そこで我々は、プロジェ
クタに液体レンズと呼ばれる特殊なレンズをとりつけ、ピントが合う距離を高速に前後に動かすとともに、投影像にも前処理を施すことで、図６に示すようにピントの合っているように見える範囲を通常のプロジェクタと比べて４倍程度に広げることを可能にしました。これらの技術を組み合わせることで、この技術では、モデル表面の大部分で様々な位置・角度から投影される複数の投影像が重なりあうことになります。このとき浅い角度で光が照射されると画像がぼやけるため、それぞれ表面上に画像を投影すべきプロジェクタを一つ選択する必要があります
が、我々は、個々の面に表示されるコンテンツを考慮して、その精細さを最も低下させないプロジェク
タを選択する手法を開発しました。具体的には、モデル表面における各プロジェクタからの像のぼけ方を計算し、それによってオリジナル画像がどの程度劣化するのかを計算機内で求めます。これらをプロ
ジェクタごとに比較することで、最も解像度低下の少ない画像を表示できるプロジェクタを求めること

1616

実物上に自由
自在に質感を表現できるようになると、博物館での考古遺物の展示や自動車の内外装シミュレーシ ョ ン な ど
様々な分野で応用できると考えています。
○今後の展望これまで質感の計測と呈示を照明の高度なコントロールにより行う方法を研究してきました
図６ 液体レンズを用いたプロジェクタの被写界深度拡張。ピントが合う距離を高速にが、これからは前後させ、その時の光学特性に合わせて補正した画像を投影することで、より深い範囲
物理的な再現にピントが合ったように見える像を立体物上に表示できる。
度を高めるだ集, 238, 2011.
けでなく、人の感じ方や認知のメカニズムを理解し、
6. 島津冴子, 岩井大輔, 佐藤宏介, "複数台プロジェク
これを活用することで、より自由度が高く、かつ自タによる投影型複合現実感のための解像度を考慮した
然に質感の変化を感じられるような方法を追求してプロジェクタ最適配置," 日本バーチャルリアリティ学会
いきたいと考えています。ややもすると乖離しがち
論文誌, 17.3.261-268, 2012.
な、コンピュータによる仮想世界と実世界の間を埋7. Mori T, Taketa R, Hiura S, Sato S: Photometric
めるためのキーワードの１つが質感であり、いまのLinearization by Robust PCA for Shadow and Specular
画像技術や情報技術に欠けているものを考察し、よRemoval, Communications in Computer and Information
り良くしていくための重要な視点であるといえるで
Science (CCIS), Springer-Verlag, 359.211-224, 2013.
しょう。
8. 吉川佑生, 岩井大輔, 佐藤宏介, "視温覚融合投影
インターフェースにおける視覚が温覚に与える作用の基○代表的な研究発表
礎検討," 日本バーチャルリアリティ学会論文誌,
18.4.527-530, 2013.
1. 古瀬達彦, 日浦慎作, 佐藤宏介:スリット光の変調
9. 武内真梨奈, 岩井大輔, 佐藤宏介, "投影型複合現による相互反射と表面下散乱に頑健な三次元形状計
実感のための 6 スペクトルバンドプロジェクタによる投影
測, 計測自動制御学会論文集 46(10):589-597, 2010.
色補正," 日本バーチャルリアリティ学会論文誌,
2. 島津冴子, 岩井大輔, 佐藤宏介：3 次元カラー迅速
18.3.207-216, 2013.
造形物へのマルチプロジェクション重畳による高コントラ10. 宮崎大輔, 高橋可菜実, 馬場雅志, 青木広宙, 古スト立体ディスプレイ, 第 15 回日本バーチャルリアリティ川亮, 青山正人, 日浦慎作: メタメリズムアート制学会大会, 332-335, 2010.
作のための油絵の具の混合比率推定, 電子情報通信
3. Tachikawa T, Hiura S, Sato S: Robust Estimation of
学会論文誌
J97-D.8.1250-1262, 2014.
Light Directions and Albedo Map of an Object of Known
11.
Daisuke
Iwai,
Shoichiro Mihara, and Kosuke Sato,
Shape, IPSJ Transactions on Computer Vision and"Extended
Depth-of-Field
Projector by Fast Focal Sweep
Applications, 3.172-185, 2011.
Projection,"
IEEE
Transactions
on Visualization and
4. Nagase M, Iwai D, Sato K: Dynamic Defocus andComputerGraphics(Proceedingsof IEEE Virtual Reality
Occlusion Compensation of Projected Imagery by2015),
21.4.462-470,
2015.
Model-Based Optimal Projector Selection in
Multi-projection Environment, Virtual Reality,
Springer-Verlag London Limited, 15.2.119-132, 2011.
5. 日野直登, 岩井大輔, 佐藤宏介: フォトクロミズ
ムを利用した投影面の反射率変調による高コントラ
スト投影表示, 電子情報通信学会総合大会講演論文

17
17

18
18

研究紹介 A01 質感の計測と表示に関わる工学的解析と技術

19
19

公募研究・前期

公募研究

A01

画像のボケと両眼視差を同時に再現する注視反応ディスプレイ

研究代表者

岡谷 貴之（東北大学大学院情報科学研究科・教授）

(a1)

(a2)

(b1)

(b2)

(c1)

(c2)

(c3)

(d1)

(d2)

(d3)

元的な像から 3 次元情報を引き出しています．もっとも重要だと考えられている手がかりは，両眼・運動にかかわる視差および輻輳です．いわゆる 3 次元
ディスプレイはこれらの再現のために存在します．
もうひとつの重要な手掛かりが，網膜上で生じる像のボケです．眼の被写界深度に制約があることで，眼から物体までの奥行きに応じて，像の場所ごとに程度が異なるボケが生じます．以下このボケを DOF
ボケと呼びます．既に広く市販されている眼鏡方式のものを含め，現在までに実現されている 3 次元ディスプレイのほとんどは，視差（および輻輳）の再
現に重点が置かれており，DOF ボケを，注視変動に伴う時間変化を含めて忠実に再現できるようなものは存在しませんでした．
われわれは，以前の研究で，ビューアの片方の眼の計測を行い，そこから映像のどこを見ているかを推定し，シーンの奥行き情報から DOF ボケを擬似的に再現するシステムを実現しました．しかしながらこの方法では，シーンに複数の奥行きがあるような場合をうまく扱うことができませんでした．例えば商品のショーケースのように，物体の手前にガラスがあり，そのガラスに風景が映り込んでいるような場合，われわれは意識的かつ自発的に，物体と映り込みのどちらかを選択して，見る（眼の焦点をあわせる）ことができます．本研究の目的は，このような視覚体験を実現可能な映像ディスプレイシステムを実現することです．

図 1．開発したディスプレイシステムの概要と表示
映像の例．(a1)-(a2) 外観と各部の説明．(b1)-(b2)
表示映像のイメージ：手前の置物を見つめたときと，ガラスに写り込む室内を見つめたとき．(c1)-(c3)ハーフミラー経由で 2 枚のディスプレイ表示映像を見た場合の映像．(d1)-(d3) 開発したシステムでこれを再現した場合の映像．
○研究の背景と目的
究極の映像ディスプレイとは，われわれが自分の眼で現実シーンを見るときの感覚や視覚的体験をそのまま再現してくれるようなものでしょう．映像ディスプレイに関する長年にわたる多様な研究開発は，
この目標へ向けて進められてきたと言えます．この目標を実現するには，映像表示の基本性能―コント
ラスト，色再現性や解像度など―の一層の向上と，
奥行き手掛かりのさらに忠実な再現が必要です．
人が 3 次元シーンを見るとき，その視覚は，画像に存在する奥行き手がかりを使って，網膜上の 2 次

20
20

○研究成果
本研究では，両眼視差と DOF ボケを同時に提示可
能ないわゆる注視反応ディスプレイを構築しました（図 1）．このシステムの最大の特徴は，上述のような視覚体験を実現するため，2 台のカメラでビュー
アの両眼の輻輳角を計測し，ビューアが今どの奥行きを見ようとしているかを推定し，その結果に基づいて表示映像をリアルタイムに変化させることで，視差を提示しつつ眼に生じる DOF ボケを疑似的に再現することにあります．
システムは，1 台のステレオディスプレイと 2 台の高速カメラから構成されます．ステレオディスプ
レイは眼鏡方式の市販のもので，ビューアがかけた眼鏡の電子シャッターの開閉と同期させつつ，左右の画像をディスプレイ上に交互に表示します．ビューアは，顎台にあごを乗せ，頭を固定した状態で，この眼鏡をかけてステレオディスプレイ上に表示さ図２．本研究で開発した注視反応ディスプレイの効果を検証する実験装置の配置図．
れる映像を見ます．2 台のカメラは，ビューアの眼を眼鏡越しに撮影し，その瞳孔位置・形状を画像計測する．各カメラが左右の眼それぞれを計測し，そこからユーザが表示シーンのどの奥行きを見ようとしているのかを推定します．
ディスプレイ上には，奥行きのあるシーンが表示されます．ビューアがシーンのどの奥行きを見ようとしているかをリアルタイムに推定し，ディスプレ
イ上で表示する映像を自動的に変化させます．具体的には映像は，そのビューアが選んだ奥行きに焦点
があい，それ以外の点では奥行きに応じた DOF ボケが生成されたものになります．このとき DOF ボケは，眼球の物理モデルに基づくシミュレーションによって合成します．
このシステムを使って視差を DOF ボケと同時に表示した場合の効果を，実験的に調べました．人の視覚体験には主観的な部分が多く，その効果を客観的に調べるのは困難です．そこで，図 2（および図 1(c1)）のように，ハーフミラーを使って，遠近 2 台のディ
スプレイの表示映像を重ねて提示する実験システム
を作り，この場合の映像の見え方を，提案するシス
テム（図 1(c2)）が，どこまで忠実に再現できるかを調べる実験を行いました．
この実験装置では，ビューアはハーフミラーを通して，主ディスプレイの映像の他に，副ディスプレ
イ上の表示映像も見ることができるようになっており，意識的にどちらかを選択し，その奥行に焦点を合わせて見ることができます．実験では，副ディス
プレイに実際に映像を表示する場合と，主ディスプ
レイのみに映像を表示する場合とをランダムに切り替えてビューアに提示し，ビューアにどちらのディ
スプレイに映像が表示されているかを訊ねました．
その際，主ディスプレイのみに表示する場合には，われわれの映像ディスプレイを機能させたときとさせない場合とを作り出し，これによってビューアの正答率に差が生じるかを調べました．つまり映像ディスプレイを機能させたときのみ，ビューアが見ようとする奥行きに応じて，主ディスプレイ上の映像が切り替わります．機能させないときは，主ディス

21
21

図 3．効果検証実験の結果．(a) 像の表示奥行き（遠近 2 通り）を答える問題の正答率（被験者 8 人）．
(b) 回答に要した時間．
プレイ上にはともにフォーカスのあった 2 つの像を重ねて表示します（ただし視差は奥行きに応じて異なります）．前者の場合に，副ディスプレイに表示した場合と見分けが付かなければ，注視反応ディスプ
レイはハーフミラーに映る副ディスプレイの表示映像をうまく再現できたことになり，望んだ機能を実現できたことになります．実験では，副ディスプレイ（および注視反応ディスプレイで再現する）映像
を何通りか変えて実験を行いました．
以上の実験の結果を図 3 に示します．図は，A〜H
まで 8 人の被験者の数字で，図(a)は映像が副ディスプレイに表示されているか否かを答えさせた場合の正答率を，図(b)は映像を見始めてから答えるまでの経過時間をそれぞれ表します．青が，注視反応ディ
スプレイを動作させなかった場合，緑が動作させた
場合です．このように，注視反応ディスプレイを動作させると，被験者を問わずほぼ一様に正答率が低
下し，回答時間が伸びることが確かめられました．
○今後の展望提案する注視反応ディスプレイは，より自然な視覚体験を可能にし，奥行き感覚を強化します．ただし，ビューアの両眼の輻輳角の計測を完璧な精度で行えないことと，ビューアの頭部を完全に固定する必要が有る点で，自然さという観点では問題が残ります．これらの点の改善が今後の課題です．
○関連する研究発表
1. 折笠達郎，岡谷貴之，出口光一郎，両眼視差と被写界深度ボケを同時に提示する注視反応ディスプレ
イ，画像の認識・理解シンポジウム(MIRU2011)，2011.

公募研究

A01

色彩情報処理による質感の計測・解析・再現研究代表者

堀内 隆彦（千葉大学大学院 融合科学研究科・教授）

本研究では、色彩情報工学の観点から、物体表面に関する質感（材質感、つや感、マット感など）の認知に関わる人間の情報処理の特性を客観的に明らかにして、それらの理解に基づいて、質感情報の獲得や生成に関する工学技術の発展を推進するための基礎研究と応用研究を行うことを目的としています。
本報告では、下図に示すように、カメラで獲得したシーンから物体を抽出し、それらの材質が金属なのか不均質誘電体なのかを自動識別するシステムを開発したので紹介します。

用いて容易に識別処理を行うことが可能ですが、その性能は物体と照明のジオメトリや、物体色に強く依存する問題がありました。後者は、物体や照明光の色情報の影響を受けませんが、識別結果が光源の入射角に強く依存する問題がありました。著者らは、先行研究において、ハイライトにおける偏光度の空間分布を利用した識別手法を提案しました。この方法は、入射角に識別結果が依存し難い頑強な方法でしたが、ハイライト周辺の材質識別を目的としていたため、シーン内に存在する物体全体の材質識別を行うことができませんでした。
本研究では、一つのイメージング系を用いてシーン内に存在する物体の材質を、金属または誘電体に自動識別し、それらの物体領域を自動抽出するシス
テムの構築を目指しています。一般のシーンを対象とするために、ハイライトや陰影などの照明の影響に依存しない方法を開発しました。
○研究成果
はじめに、液晶チューナブルフィルタ(LCTF)を用
いて、物体の領域を抽出するために利用する分光画
像と物体の材質を識別するために利用する偏光画像の両方を、同一システムで獲得できるイメージング系を構築しました。構築したイメージングシステム
を、図 2 に示します。

図 1. 実験例（上：入力シーン、下：材質識別結果）○研究の背景と目的
コンピュータビジョンをはじめ多くのビジョン問題において、獲得した画像データから、シーン内に存在する物体表面の材質を識別することは本質的な課題です。実世界に存在する物体の多くは、金属または誘電体に大別できます。シーンの獲得画像内の物体を金属または誘電体に分類する材質識別法は以前から研究されており、それらの従来研究は、色情報を用いたアプローチと物体の偏光現象に基づいたアプローチに分類できます。前者は、 RGB カメラを

図 2. 構築したイメージングシステム
本研究に使用したフィルタは、人間が知覚することのできる可視域 400-700nm の区間で任意のピーク
波長帯を透過させることができ、31 チャンネルの分
光情報を獲得することが可能です。また、一般に、

2222

た。照明の影響に不変な領域分割を行うために、我々が提案した「照明不変表現」を分光画像に適用することによって、物体を安定に抽出することが可能となりました。
構築したシステムの有効性は、実シーンを用いた実験によって検証しました。図 1 の入力画像から、(1)の方法によって抽出したハイライトを図 3 上の写真に示します。また、それぞれのハイライトに対して求められた偏光度の形状を図 3(a)～(d)に示します。これらの結果と、(3)の方法によって領域分割した結果が、図 1 下となります。

反射光の偏光状態を観測するためには，偏光フィル
タをカメラの前に設置し，フィルタを回転させて撮影を行います。今回構築したシステムでは、液晶チューナブルフィルタに偏光フィルタが挿入されているため、液晶チューナブルフィルタ自身を回転する
ことによって、偏光画像を獲得できる利点があります。
次に、教師データが不要であり、照明の影響に依存しない識別アルゴリズムを考案しました。具体的には、(1)輝度情報の動的閾値処理によるハイライト
領域検出、(2)ハイライト領域の偏光度の分布形状に基づく材質識別、(3)照明不変な表面分光反射率を利用した領域分割を提案しました。
(1) 輝度情報の動的閾値処理によるハイライト領域
検出
物体上のハイライト領域を単純に検出する方法として、画像の輝度値のヒストグラムに対して，固定
閾値を用いるアプローチが考えられます。しかし、黄色の物体の輝度は明るく、青色の物体の輝度は暗いなど、一般に輝度値は色相に依存して変化するため、様々な色の物体が同時に含まれるシーンに対して、この方法を用いて適切にハイライトを検出することはできませんでした。我々は、閾値を動的に変化させながら、反復的にハイライトを検出する方法を開発しました。この方法により、様々な色の物体が含まれていても，適切にハイライト領域を検出することが可能となりました。
(2) ハイライト領域の偏光度の分布形状に基づく材
質識別
不均質誘電体は、ハイライトピークにおける鏡面反射の強さと、そこから離れるにつれて影響を及ぼしてくる拡散反射成分によって、偏光フィルタの回
転角度が変化すると物体の光強度も大きく変化する特性があります。鏡面反射部分は偏光の影響を強く受け、拡散反射はあまり影響を受けない性質があります。そのため、鏡面反射の強いハイライトピーク付近では偏光度が高く、そこから外れた画素では拡散反射が強いので偏光度が低くなり，偏光度の分布は上に凸型となります。一方，金属物体はほとんど
偏光の影響を受けないため，偏光フィルタの回転に対してほとんど変化しません。そのため、理論的には偏光度は一定値を取ります。しかし，実験的にはハイライトピークで偏光度が最小となることを発見
し、偏光度の分布が凹型となる現象が現れることを見出しました。以上の現象に基づいて、ハイライト
領域の偏光度分布の形状を利用して、上に凸なら不均質誘電体に、下に凸なら金属に分類する方法を提案しました。
(3) 照明不変な表面分光反射率を利用した領域分割
一般に、実シーンの領域分割では、照明の不均一性、陰影、鏡面ハイライトなどの影響によって、同じ物体の領域でも画素値が一様にならず、カメラ画
像から物体の領域を適切に抽出することが困難でし

図 3. 実験による処理結果○今後の展望現在のシステムは、ハイライトや光沢が検出されない物体に対して適用できません。また、同一物体が多色で塗装されている場合には、ハイライトを有する領域の材質のみ識別が可能です。メタリック塗装のように光輝材を含む対象物体に対しては、識別が不安定となる結果が得られています。これらの問
題点を改善することが、課題となっています。また、
金属材質の種類をさらに同定する研究を、現在進めています。
○関連する研究発表
1. Tominaga S, Kadoi H, Hirai K, Horiuchi T: Material
classification of object surfaces by using spectralreflectance and polarization property, Proc. 25th
IS&T/SPIE Symposium on Electronic Imaging,
Burlingame, U.S.A., 86520E, 2013.

23
23

公募研究

A01

分光情報に基づく高質感映像の収集と表示に関する研究研究代表者

山口雅浩（東京工業大学学術国際情報センター・教授）
RGB 三原色だけでなく、光のスペクトルに基づく画像、すなわち分光画像を用いて忠実な色再現を行う
方法が研究されています。
ところが、分光画像では、可視光の波長ごとの成分をそれぞれ画像として扱わなければならないため、その取得に大掛かりな撮影機材が必要でした。また、光沢をもつ物体の質感を表現するには、視点を移動させた時の輝き具合の変化が重要です。そのためには動画像として分光画像を取得することが必要です
が、従来の分光画像の技術では、高精細で高画質な分光動画像を取得することは不可能でした。
さらに、光沢のように輝度の高い個所は、カメラやディスプレイの扱うことのできる輝度範囲（ダイナミックレンジ）を超えるため、正確な再現ができませんでした。特に金属の光沢や、光沢をもつ布地などでは、光沢部の呈する色合いは知覚される質感に大きく影響します。したがって光沢など高輝度部の再現性を高めることが重要な課題といえます。
本研究では、これらの課題を解決し、質感・リア
リティの高い映像再現を行うための映像の収集と表示する方法を開発することを目的としています。具
体的には
1) 映像の質感を高めるための分光情報の効率的な収集技術
2) 光沢など高輝度部の質感を高める映像再現技術を実現することを目的として研究を行いました。

投影像

(a)
ヒストグラム

白色点
輝度値

通常の色再現の階調範囲

ハイライト部の階調範囲

通常
プロジェクタ
タ 1 用の画像

重畳投影なし（通常）プロジェクタ
タ 2 用の画像

重畳投影による再生像

高ダイナミックレンジ
画像
ハイライト

(b)
図１ 2 台のプロジェクタ重畳投影による光沢の映
像表示システム。(a)のようにプロジェクタ 2 の投影範囲を小さくすることによって、狭い範囲で高い輝度の画像を表示できるようになります。(b)光沢を含
む被写体を高ダイナミックレンジで撮影すると、図中のヒストグラムのグラフに示すように、光沢の部分で白色よりも高い輝度を持つ、ハイライト部が生じます。そこで白色より低い輝度の範囲（通常の色再現の階調範囲）をプロジェクタ 1 に、白色より高い輝度範囲（ハイライト部）をプロジェクタ 2 に表示して、この 2 台のプロジェクタによる投影像を(a)のようにして重ね合わせます。これによって、光沢部分の高い輝度を正しい色合いで表示することが可能になりました（右下の図の矢印の個所）○研究成果
1) 映像の質感を高めるための分光情報の効率的な収集技術
映像の質感を高めるための分光情報としては、高精細で高画質な動画像をコンパクトなシステムで入力できることが必要です。これを実現するために、本研究では、「複合解像度型分光イメージング手法」
を提案しました（図２）。これは、高精細な RGB 三原
色のカメラと、空間的には低解像度の分光カメラとから得られる２種類の画像を統合して、高精細な分
光画像を再構成する方法です。
低解像度分光カメラとして、光ファイバー束により２次元配列から１次元配列への変換を行い、分光器を用いて多点のスペクトルを取得する装置を構築しました。そしてこれを通常の RGB カメラと組みあわせることによって動画像での高解像度分光画像取得、色再現、質感再現を実証しました。

○研究の背景と目的
映像システムの究極の課題の一つは、実物の質感をリアリティ高くディスプレイ上に再現することです。そのためには、実物の色を正確に表示する必要があります。しかしながら人間が知覚する色は、物体の性質だけでなく照明光の特性によっても変化します。このため、一般的なカラー映像システムで使われている赤・緑・青（RGB）の三原色だけでは、正しい色を取得することができません。これに対して、

2424

質感とリアリティの項目において他手法より有意に優れている（図４）ことなどが示され、質感の高い映像システムの設計に役立つ有意義な知見が得られ
ました。

高解像度
RGBカメラ
高解像度RGB画像

シーン

再構成
処理
高解像度
分光画像

低解像度
分光カメラ
低解像度分光画像

図２ 「複合解像度型分光イメージング」システム
さらに、複合解像度型分光イメージングの技術を応用して、多色のカラーフィルタをイメージセンサの画素ごとに並べたセンサ（マルチスペクトルセンサ）によって、コンパクトなカメラシステムを実現する方法を提案しました（図３）。高解像度の RGB 画像とともに、多色カラーフィルタを配置して低解像度の分光画像を取得し、画像再構成処理を適用する
ことで、空間解像度の高いマルチスペクトル画像の復元が可能となることを示しました。

RGB

iCAM

Knee

さらに、ハードウェア的なアプローチとして、複数台のレーザープロジェクタの重畳投影を用いて高輝度部の物理的な再現を可能とするディスプレイ
（図１）を開発しました。通常は、画面内の最も明るい場所が白色ですが、その 10 倍程度の輝度を持つ光沢を表現することが可能です。実際に分光撮影された画像を用いて、提案手法により、金などの有色の光沢のきらめきを表現できることを実証しました。

Multispectral

1 panelRGB+Multispectral
図３

Reinhard

図４ 異なるトーンマッピング法の比較。Clipping（高輝度部分を最大値で飽和させる処理）、Reinhardによるトーンマッピング法、iCAM（色の見えモデルに基づく方法）、Knee（高輝度部分の階調特性のみ傾きを小さくする）の比較。

4 panels
2 panels

Clipping

マルチスペクトルフィルタアレイの提案○今後の展望「複合解像度型分光イメージング」の技術によって、既存の高精細カラーカメラの技術を応用した効率的で実用的なシステムを実現することができます。
今後、その実用性を高めるために、リアルタイムの映像処理や高ダイナミックレンジ化を図ることが望まれます。そして、このような実用性の高いシステ
ムによって分光画像技術の応用分野を拡大することが期待されます。

2)

光沢など高輝度部の質感を高める映像再現技術
光沢のように輝度の高い箇所は、カメラやディスプレイのダイナミックレンジを超えるため、そのままでは忠実に再現ができません。本研究では、光沢などの高輝度部の質感を高めるために、ソフトウェ
ア的アプローチとハードウェア的アプローチの両面から検討を行いました。
ソフトウェア的アプローチとしては、光沢・金属
光沢・高輝度なテクスチャーの再現に適したトーンマッピング法（階調圧縮法）の検討を行いました。
従来、高ダイナミックレンジの画像を通常のディスプレイで表示するため、階調を圧縮する手法が提案されていますが、光沢や高輝度なテクスチャーを持
つ画像に適した方法は明示されていません。本研究では、6 バンドの高ダイナミックレンジ画像入力シ
ステムにより、金属光沢を含む被写体の画像を取得
し、光沢の色・質感を失わずに階調圧縮を行う方法
について主観評価実験を行いました。その結果、色・光沢・質感・リアリティの項目はお互いに相関があること、実物を参照して評価した際には、光沢等の高輝度部に適度な階調を割り振る Reinhard の階調圧縮手法に、色を保持する処理を適用したものが、○関連する研究発表
1. Murakami Y, Yamaguchi M, Ohyama N:
Hybrid-resolution multispectral imaging using color filter
array. Opt Express 20(7):7173-7183, 2012.
2. Yamaguchi M, Suzuki K, Murakami Y: Realistic
Reproduction of Surface Highlight by Superposed
Laser-scanning Projection Display, Laser Display
Conference’13, Yokohama, Japan, Apr. 2013.

25
25

公募研究

A01

質感情報の実体化プロセスを考慮した物体表面の質感編集手法

研究代表者

宮田 一乘（北陸先端科学技術大学院大学知識科学研究科・教授）
生成のために、ダートスローイング法（要素同士が重ならないようにランダムに配置する一手法）を応用した要素の配置手法を提案しました。
提案手法は、図 2-1 に示すように排他的な領域を付加した任意の構成要素を入力し、排他的な領域が重なることなくランダムに配置することで、所望の質感を有する模様や凹凸データテクスチャを生成します。図 2-2,2-3 の例に示すように、構成要素を変更することで、食器の模様や革シボなどのさまざまな非周期的テクスチャを生成することができます。

図 1: 飯粒を固めてドラゴンを自動生成○研究の背景と目的
我々が利用する工業製品には、物体表面に微細な加工（シボやヘアライン加工など）が施されたものが多数あります。そして、その微細な加工が工業製品の質感を大きく左右しています。物体表面の微細構造(凹凸状況)をコンピュータ上でシミュレーショ
ンし画像として検証することは可能です。しかしながら、シミュレーション画像と製造されたものでは見た目に差異を感じることがあるため、実体化して検証するほうが良い場合があります。
一方、ある構成要素が 3 次元的に凝集して形を成しているもの（おにぎりなど）が身の回りにたくさんあります。その質感を CG で表現するためには、構成要素の方向と位置を調整しながら配置する必要があり、非常に面倒です。また、2D のテクスチャを生成して物体に貼り付けるだけでは不十分です。
この研究では、以上で述べた課題を解決すること
で、工業製品の質感向上を検証できる枠組みの構築を目指しました。すなわち、物体表面に付与する微細な凹凸データの生成・編集手法および、そのデータを実体化する仕組み、そして、3 次元テクスチャ
として物体表面の凹凸データを、手間をかけずに自動生成する手法を研究しました。
具体的には、小さなサンプルテクスチャ（模様や凹凸情報）から大きなテクスチャを生成する手法や、構成要素を凝集させ自然な見た目になるように大量の形状データを寄せ集める手法などを開発しました。
○研究成果
任意の要素で構成する非周期的な 2D テクスチャ

図 2-1: 指定した構成要素と配置結果

図 2-2: 食器の模様の生成例

図 2-3: 革シボの生成例
図 2: 非周期的な 2D テクスチャの生成例

26
26

次に、任意の要素で構成された非周期的な堆積の形成手法を提案しました。多数の要素で構成された
3D モデルは多数存在しますが、このモデリングは人手に頼ることが多いです。
提案手法は、任意の凝集形状表面付近で、任意の構成要素で凝集体を自動的に構成することで、その手間を軽減することができます。粗い配置と最適化
による位置の決定を駆使することで、オブジェクトの総数、姿勢、位置を決定でき、図 3 に示すような凝集による擬似ソリッドテクスチャを表現することができます。

図 4-1: 革シボの凹凸情報から金型データを作成

図 4-2: 金型でシリコンを成形し実体化した例
図 4: デジタルデータの実体化の例

図 3-1: バナナを凝集して作ったうさぎ

図 3-2: おにぎり(飯粒の凝集体)
図 3: 凝集による擬似ソリッドテクスチャの生成例

また、図 4 に示すようにコンピュータで生成した
革シボの凹凸データを金型加工用のデータに変換し、切削加工した金型にシリコンを流し込んで実体化す
るプロセスを実現し、実体化した場合の質感の確認をしました。3D の凝集体も 3D プリンタで出力することで、見た目の印象だけでなく手触りの質感を確認することができます。

27
27○今後の展望
質感データは実体化しないと真の評価はできません。この研究課題は、データ生成から実体化まで繋いで考える必要があり、特に印刷業界との親和性が良いテーマだと考えます。また、3D プリンティングの技術開発が進むにつれて、重要度が増すと予想できます。
マルコフモデルを用いた既存のテクスチャ合成法
では、近隣画素の類似性を参照して合成するため、大域的な流れを表現できず、等方的なテクスチャのみが生成されてしまいます。また、テクスチャの視覚的な構成要素を考慮していないため、例えば、革シボのような粒状の隆起の山が、合成結果ではつぶれてしなうなどの不都合が見られます。さらに、革シボの山の広さは、部位によって異なるが、既存の合成法では構成要素の粒度を考慮していないため、構成要素の大きさの違いを表現できないという欠点があります。これらを補うために、方向場と粒度場を用いて、流れと構成要素の大きさの違いを考慮したテクスチャ合成の研究に取り組む予定です。
○関連する研究発表
櫻井快勢, 宮田一乘:任意形状の堆積形成手法、情報処理学会論文誌 54(3): 1220-1229, 2013.
Kaisei Sakurai, Kazunori Miyata: Generating
Layout of Nonperiodic Aggregates, NICOGRAPH
International 2012, Bari, Indonesia, 68-75,
2012.

公募研究

A01

動的な見かけ制御を応用した実世界の質感制御技術に関する研究
研究代表者

天野 敏之（和歌山大学大学院システム工学研究科・准教授）
デザイン過程では試作を行いますが，試作品の質感を変化させることができれば，素材の選定や装飾方法の検討のために試作を繰り返す必要がなくなります．テーマパークのアトラクションへ応用すれば，幻想的な視覚効果を提示でき，博物館へ応用すれば風化して光沢を失った金属製の食器や漆塗りの器，
鎧などに手を加えることなく完成当時の輝きを再現することができます．それだけでなく，質感制御は視覚研究において心理実験を行う際の刺激提示手法
としての利用も期待できます．
本研究は，このような社会からの要請に応えることを目的として，実世界の質感制御技術の研究に取り組んできました．

(a) 光投影による透明感の操作○研究成果
我々の身の回りにある物の見かけは，投影されている光によって変化します．我々のグループでは，
このような光学的な特性に着目し，プロジェクタとカメラで構成されるフィードバック系によって，物体の見た目を変化させる，見かけの制御を実現しました．この技術を用いることで，フォトレタッチソ
フトを操るように，現実世界で物体の色彩や陰影を自在に操作することを可能にしました．
一方，心理物理の研究分野では，人間が透明感や光沢感などの質感を知覚するメカニズムが解明されつつあり，この成果の一つに透明感や光沢感に関して興味深い性質が示されています．例えば，透明感の知覚は物体に生じる陰影のうち低周波成分の位相に依存していて，画像処理によりシーンを高周波成分と低周波成分に分け，低周波成分の明暗を反転させて画像を再構築すると，不透明な物体が透明に見えるという視覚特性などが明らかになっています．
本研究では，これらの視覚に関する心理物理の研究成果を見かけの制御技術へ応用し，図１に示すよ
うに物体の光沢感や透明感といった物体の見かけの質感を変化させる制御技術を確立しました．具体的には図 2 に示すモデル予測制御を用いた見かけの制御の画像処理として，後述のアルゴリズムを実装することで光投影による質感操作を実現しました．

(b) 光投影による光沢感の操作
図 1 本研究では物体の形状や色彩に応じてプロジ
ェクタで映像を重畳投影することで(a)物体の見かけの光沢感や(b)透明感を瞬間的に変化させる質感操
作技術を実現しました．
○研究の背景と目的
近年様々なイベントで行われているプロジェクションマッピングは，建築物や身の回りの物や人物の顔などの形状に応じて映像を投影することで，物体の見かけの形状や印象を変化させ，その幻想的な演
出によって多くの観客を魅了しています．このような光投影による見かけの印象操作は，プロジェクションマッピングに限定される技術ではなく，古くから身の回りで用いられてきました．例えば， 食料品
売場では，食品の鮮度を強調し，食欲を促す演色性の高い照明器具が用いられています．
物体の色彩を操作するだけでなく，照明によって物体の見た目の質感を操作することができればその応用はさらに広がるでしょう．商業施設では感性に訴えかける演出が可能となるでしょうし，質感が操作できればデザイン支援にも応用することができます．もちろん，テーマパークなどの特殊照明等としての利用も期待できます．
例えば，宝飾品から工業製品に至る様々な製品の

図2

28
28

モデル予測制御を用いた見かけの制御

ています．このような光学系では，プロジェクタのある位置から投影された光は，投影対象の形状や距離に関係なく，カメラの決まった位置で撮影されます．そのため，操作対象に応じて投影像の校正を行う必要はなく，図 1 のような立体物へ連続的な質感操作が可能になります．
(a)入力画像(b)色彩成分(c)明度低周波 (d)明度高周波(e)位相反転(f)輪郭強調(g)明度の統合 (h)出力画像

図３

透明感の操作過程(a) 光学系の仕組み(b)操作対象(a)明度成分(b)平坦化

図４(c)投影画像(d)操作結果

図５ 投影中心が一致したプロジェクタカメラ系：
プレートビームスプリッタで分光し，カメラとプロ
ジェクタの投影中心が光学的に同じ位置に配置されています(a)．この光学系では物体の位置に関わらず，
プロジェクタのある画素から投影される光は，撮影
画像で常に同じ位置で観測されますので，立体物の質感操作を連続的に行うことができます．

(c)トーンカーブ (d)出力画像

光沢感の操作過程

透明感の操作アルゴリズム
透明感の操作はモデル予測制御の内部処理で推定された白色照明での見かけ Cest に対して図 3 の処理を行い，得られた出力画像を見かけの制御の目標画
像 R として出力します．具体的には，入力(a)を色彩(b)と明度の成分に分解し，明度については低周波成分(c)と高周波成分(d)に分解します．その後，低周波成分の位相を反転させ(e)，輪郭強調を施した高周波成分(f)と合成します(g)．最後に色彩成分と足し合わせて出力画像(h)を得ます．
光沢感の操作アルゴリズム
光沢感の操作は，透明感の操作と同様の処理で分離された入力画像の明度成分に対して図 4 の処理を行うことで実現しました．具体的には，明度成分(a)に対してヒストグラム平坦化(b)を施し，操作対象の明暗やコントラストによらない一様な明るさの分布に変換します．その後，輝度ヒストグラムに正の歪みを与えるトーンマッピングを適用(c)し，色彩成分と合成することで出力画像(d)を得ます．
見かけの操作の立体物への適用
我々が提案している見かけの制御はプロジェクタとカメラを組み合わせたフィードバック処理によって連続的な見かけの操作を行うことができます．ただし，そのためには，プロジェクタとカメラが同じ位置に配置されている必要があります．
そこで，本研究では図 5 に示すプロジェクタカメ
ラ系を設計製作しました．この光学系ではプレート型ビームスプリッタで分光することでプロジェクタとカメラの投影中心を光学的に同一の位置に配置し○今後の展望質感は我々の生活を豊かにするために欠かせない要素です．本研究で実現した見かけの質感制御は，
光投影によって物体の質感の操作を実現する技術であり，さまざまなシーンや目的において潜在的な需要があると確信しています．しかし，その潜在的な需要に応えるためには技術の使いやすさが重要です．
そこで，今後の研究では，実用化を視野に入れ，持ち運びが容易な一体化したプロジェクタカメラユ
ニットを製作し，校正を必要としない扱いやすい質
感操作技術を実現します．さらに，金属感やウェット感，滑らかさ，荒さなどの様々な質感操作の実装を試み，本研究で実現した光投影による物体の質感操作の実用化の道を模索する予定です．
○関連する研究発表
論文
1. 天野敏之,加藤博一,モデル予測制御を用いたプ
ロジェクタカメラ系による見かけの制御,電子情報通信学会論文誌 D,J94-D,(8), pp.1368-1375, 2011.
学会発表など1. T. Amano, Shading Illusion: A Novel Way for 3-D
Representation on the Paper Media, PROCAMS 2012
Workshop on CVPR2012, 2012, Providence, USA(Honorable Mention 受賞).

29
29

公募研究

A01

人の認知を考慮した三次元記録や評価法の確立

研究代表者

長原

一（九州大学大学院システム情報科学研究院・准教授）
な冗長性を持っています。
本研究では、この多視点画像に含まれるデータの冗長性や特異性を特定し、この知見に基づいて従来コストのかかっていた多眼カメラアレイによる多視点画像撮影の効率化を目指します。情報の冗長性を単純に工学的なデータ量削減や手法上の都合ではな
く、人の主観的知覚の影響を考慮したデータ表現を提案することで、視覚的に効率的な圧縮手法を実現できます。

図１：自由視点提示に用いられる多眼カメラアレイによる撮影画像(ライトフィールド画像)。視点間による画像情報の違いは少なく、冗長性が高い。さらに、これらを撮影するには、視点数分のカメラをグリッド状に並べた高価なカメラアレイが必要である。
○研究の背景と目的
映画やテレビ、携帯ゲーム機などの三次元画像表
示や、医療分野における三次元画像表示を活用した手術支援システムなど、さまざまな分野で三次元画像表示技術の応用が注目されています．しかし、実用化された多視点テレビは、たかだか 1×9 視点、
3D 携帯ゲーム機や 3D テレビは左右２視点とそれらの視点数は少なく、より臨場感のある自由視点画
像表示に関する研究が行われてきました．具体的には、自由視点テレビの開発や、自由視点映像閲覧法、
臨場感通信会議システムなどの新しいアプリケーシ
ョンの研究が行われています．しかし、自由視点画
像表示に必要なデータ量は膨大であり、データ取得のためのカメラコストも多大です．したがって、より効率的に自由視点画像表示を行うために、自由視
点画像表示に必要なデータを効率的に取得し、視点を内挿する技術が望まれます．そもそもこの様な 3D
テレビに必要な、または 3D 撮像で得られる図１の様な多視点画像(ライトフィールド画像)は、小さな視点変化を持つ画像の集まりであり、それら画像の見かけはほとんど同じであるためそのデータは大き

30
30

○研究成果
本研究では、多視点画像を効率的に撮影するための視点と解像度内挿手法を提案しました。多視点画
像計測では、通常求める視点数分のカメラが必要でした。また、Lytro に代表されるライトフィールドカ
メラでは、単体での撮影手法では、視点数を増やすと各視点の解像度が低下するというトレードオフがありました。つまり、密で高解像度の多視点画像を得るためには、高コストの機材を使わなければならない上、得られたデータも巨大であることから、データの保存や転送などの取り扱いが問題でした。提案した多視点画像の内挿を行えば、少ないカメラ台
数(低コスト)での多視点画像獲得が可能になります。
本研究では、内挿手法として Light field renderingと Dimensional Gap prior を組み合わせた手法を提案しました。Light field rendering は、入力の多視点画像
から任意の光学条件の画像を計算機シミュレーショ
ンにより仮想的に生成する手法です。 Light field
rendering を用いることで、入力にはないカメラ間の視点画像を生成したり、デジタルリフォーカスと呼ばれるカメラのレンズによる奥行きボケを仮想的に生成することが出来ます。本手法では、レンズの焦点位置を変化させながら撮影した画像であるフォー
カルスタック画像をデジタルリフォーカスにより入力多視点画像から生成します。また、Dimensional Gap
prior では、物体の反射率が理想的な拡散反射であった場合は、入力の多視点画像は、冗長であり画像と視点の 4 次元の自由度を持たず、フォーカルスタッ
ク画像が持つ、画像とフォーカス設定の 3 次元の画像情報から生成ができるとされています。そこで、本手法では、Light field rendering により生成された、合成フォーカルスタック画像から、4 次元の多視点画像を再合成することで、解像度が低く疎なカメラにより撮影された、入力多視点画像からより密な視点で高解像度の多視点画像を生成しました。

さらに、提案した視点･解像度内挿手法が、視覚的に遜色なく撮影の効率化やデータ削減の効果があるかを主観評価により検証した。評価実験では、様々なカメラを想定して Stanford 大のライトフィー
ルドデータセット画像から入力視点数(3x3〜17x17
視点)や入力解像度(1/2x1/2〜1/16x1/16)を変化させ、内挿して生成された画像の画質を比較しました。評
価手法として DSCQS 法を用いてその評価値を図２の様にプロットしました。その結果、解像度に関しては、入力解像度が低くとも提案する内挿法によって比較的画像劣化の影響が低いこと、一方で入力視点数の減少に関しては、著しい画像劣化が見られることから、視点内挿による補間が難しいことがわかりました。これにより、同様のデータ量削減であれ
ば、視点数よりは、空間解像度を削減した方が、視覚的劣化の少ない画像が得られることがわかりました。すなわち、ライトフィールドカメラを設計する
際には、視点数を解像度に対して優先する方が効率的であることが導かれました。

(a) 入力視点数に対する DSCQS○今後の展望本研究では、多視点画像生成における視点や解像度の内挿手法を提案することで、より少ない台数や解像度で撮影の効率化を検討しました。多視点画像
を撮影に必要なカメラの台数や解像度の要求に対して、画像処理による視点や解像度の内挿手法がどの程度、視覚的に実用的に耐えるかを、主観実験により評価を行いました。今回行ったシミュレーション
による画像の内挿の知見から、今後カメラの光学系やセンサをそもそもどのように設計するかを考え、新しい多視点画像撮影のためのライトフィールドカ
メラの設計にフィードバックしていく予定です。

(b) 入力解像度に対する DSCQS○関連する研究発表
1. 長原 一， 中村勇太， 井手佑人， 谷口倫一郎: 自由視点提示のための効率的画像取得と主観・客観画
質評価，画像電子学会誌，Vol.43, No.4, pp. 559-567,
2014.

(c) 画素数に対する DSCQS

図２：主観評価実験の結果

2. 長原一，高畠聖，谷口倫一郎: 効率的自由視点撮
影のための画像内挿と画質評価”，画像の認識理解シンポジウム，No.IS2-64, 2012.

31
31

公募研究

A01

分光画像を利用した物体表面の色材要素解析と高質感画像の生成研究代表者

土居 元紀（大阪電気通信大学情報通信工学部通信工学科・准教授）○研究の背景と目的
質感の計測と表示においては、物体表面の反射特性と同時に表面上の色彩分布が重要であると考えます。
従来はあらかじめ記録されたカラーテクスチャ（模様）の画像を用いて反射特性の表現が行われる場合が多くみられました．しかし、あらかじめ記録されたカラーテクスチャは、撮影時の照明条件（光源色や照射方向等）の影響を受けていて，その影響が質感を低下させる場合があると考えられます。また、
色彩分布を変更して画像を生成する場合には、単純に RGB 値の分布を操作しただけでは物理的に正確な
カラーテクスチャを生成できないといった問題がありました。
本研究課題では、色情報を波長ごとの反射強度として記録する分光画像に注目しました。分光画像か
ら物体表面の色材要素分布を解析し、分布を変化させて画像を合成することにより、高質感画像を生成できると考えました。具体的な処理手順を説明します。まず、層構造をなす物体表面について、各場所での分光反射率を分光画像計測システムで獲得します。そして、得られた分光画像の各画素について、
分光反射率および層を成す色材の分光特徴から、色材（色素）の分量を推定します。色材分布を変更して再合成することによって異なった質感の画像を生成します。

皮膚画像（分光情報）
色素分布推定メラニン

ヘモグロビンデオキシ
ヘモグロビン

色素分布変更色素の集中領域を付加した色素分布
画像合成

しみ

炎症
合成画像

○研究成果
まず、分光画像計測システムを、波長プログラマブ
ル光源と高感度モノクロカメラにより構築しました。
そして対象として皮膚を撮影して解析と合成を行いました。皮膚は色素を含む表皮と真皮の二層構造としてモデル化しました。各画素の色素量推定には、
半透明物体層の透過と反射について比較的簡単に計算を行うことができるクベルカ-ムンク理論を応用しました。各色素量を変化させながらクベルカ-ムン
ク理論で皮膚の分光反射率を推定し、分光画像から得られた分光反射率と最も一致した時の各色素量を、その画素における色素量とみなします。
研究を開始した当初、皮膚表面の形状による陰影や細かいしわが色素分布推定の妨げになることがわ
かりました。そのため、ウェーブレット解析を用いて色素分布解析の妨げになる陰影や細かいしわを分離する方法を考案しました。これらを分離した後、クベルカ-ムンク理論を用いて、メラニン、ヘモグロ
ビンおよびデオキシヘモグロビンの分布を解析しま

あざ(a)色素分布の推定と画像合成(b)加齢のシミュレーション
図説：皮膚の分光画像から色素分布を解析し、それを変更することで、しみなどを合成します。皮溝な
どの要素も変化させて合成することができます。

32
32

更することにより、昼光下や白熱灯下など異なる光源での物体表面の色の見えを再現できます。皮膚では長波長領域において強い内部散乱があり、長波長の光だけで照らすとしみが薄く見えます。白熱灯は長波長で強いエネルギーを持つので、白熱灯下の皮
膚画像の再現では、全般的な色の変化だけではなく、しみの見え方と言った質感にも変化が生じていることがわかりました。
皮膚以外の対象への応用として、植物表面の色素分布の解析を行いました。もみじの葉は緑から黄色や赤に変色しますが、これらの色は緑のクロロフィ
ルと赤のアントシアニンの量で決定されています。
段階的に紅葉していくもみじの葉を分光画像撮影して、これらの色素分布の推定を試みました。その結
果、皮膚と同様に組織内色素の分布を解析することが可能であることがわかりました。

した。解析の結果として、図に示すように、ほくろの部分にはメラニンが集中し、静脈血管の部分にはデオキシヘモグロビンが集中しているのがわかりました。これらの色素の分布に円形の色素濃度が高い領域を付加しました。そして、色素の分布から色彩
分布画像を生成し、ウェーブレット解析により分離した陰影や細かいしわを再び合成して、しみや炎症、あざなどがある質感の異なる皮膚画像をカラー画像
として生成できることを示しました。
次に、色彩分布が質感に影響を及ぼす例として、
蒙古斑の合成を行いました。蒙古班は、通常表皮にのみ存在するメラニンが真皮に存在することによって生じます。メラニンは表皮に含まれると皮膚を茶色に見せますが、蒙古斑は一般に青くみえると思われています。しかし、蒙古斑そのものは青くはなく
やはり茶色です。そして、単純に茶色を皮膚の画像に付加しても、青くは見えません。よって、興味深い例としてこの合成に取り組みました。通常表皮において操作するメラニンの分布を真皮にも加えて合成を行った結果、実際のカラーの値としては茶色だが見かけ上青く見える蒙古班を合成することに成功しました。
これまでは色素分布の変更を主に行ってきましたが、色素分布の推定の前処理として行ったウェーブ
レット解析を用いて、細かいしわの要素なども変更
して合成することにより、質感を変更することを検討しました。例えば、皮膚は加齢により皮溝が深くなります。よって細かいしわの要素を強調して再合成することにより深い皮溝を表現できます。同時に、老人の皮膚では全体にヘモグロビン量が減少してい
ることやしみがみられることなどを考慮して、加齢
皮膚画像生成を行いました。結果の例は図に示しています。同様に、皮溝の要素と全体のメラニン量を減少させることにより、より若い皮膚画像を合成することもできました。
本研究においては、物体表面の分光反射率画像を合成し、それをカラー画像に変換しています。カラー画像に変換するときには、物体表面にあたる照明
光の分光データが必要となります。このデータを変○今後の展望本研究課題では、主に皮膚を対象に分光画像を光学モデルに基づいて解析し、各種パラメータを変更して質感の異なる画像を再合成できることを示しました。このなかで、蒙古班のように、単純に色の相違そのものではなく、その分布が色の見えとしての質感に大きく影響を与えている場合があることが明確になりました。今後の展望として、これらの色の見
えと色彩分布との関連を解き明かしていくことを検討しています。
○関連する研究発表
1. Doi M, Konishi M, Kimachi A, Nishi S, Tominaga S:
Robust estimation of pigment distributions frommultiband skin images and its application to realistic skin
image synthesis, 4th Color and Photometry in Computer
Vision Workshop, Florence, Italy, 2.421-430, 2012.
2. Doi M, Kimachi A, Nishi S, Tominaga S: Simulationof blue skin color caused by melanin concentration, 12th
Congress of the International Colour Association (AIC),
Newcastle Gateshead, United Kingdom, 1.201-204,
2013.

33
33

公募研究

A01

輝度と立体感の順応を利用した質感再現の顕在化研究
研究代表者

山本 昇志（東京都立産業技術高等専門学校・教授）

本システム

0度

45度

追従なしとの差分得点の観察が可能なように，視線をカメラで追従して，視線方向や射影角度を実物体と一致させることが可能です． このシステムを用いて予備実験を行ったと
ころ，図 2 に示すように様々な観察位置で正確な光沢再現が可能であることがわかりました．また，図3 に示すように，三次元表示を行うことで，二次元表示より光沢感が増強された再現が可能であることも明らかにしました．
2.0
1.5
0.5
0.0

-0.5

補正無し

視線追従は必須

1.0

物 床 全 物 床 全物 床 全
体
体 体
体体
体
0度
22.5度
45度

図2

立体表示における視線追従の効果

図3

立体表示における光沢感増強の効果

図 1 視線追従型立体視による質感再現システム
光沢質感は奥行きを持った光源反射が織りなす現象です．我々はこの特性を正確に再現するために，観察者視線に追従可能な再現システムを開発しました．
○研究の背景と目的
近年，製造業界では三次元 CAD や FEM 解析を用いた設計のデジタル化が急速に進行していて，更に機能性やデザインの確認まで行うデジタルモックアップの開発に着手しています．このデジタルモック
アップを有益にするためには本物と遜色のない機能や外観の再現が求められます．特に，外観の確認では塗装や使用部品の材質感，すなわち質感をディス
プレイ上でリアルに再現することが必要となります．
本物と同様の質感を再現するためには，物体で生じる光学的な物理現象を正確に再現できる反射モデ
ルの設計と，視覚特性に基づいた再現手法の開発が必要です．その中で，我々は光沢質感が持つ立体的な特性と，輝度に関する順応などの特性に着目して研究を進めています．特に，我々は光沢や映り込んだ反射の輝度や奥行き情報から材質判断を行う認知特性を明確化して，この特性を再現手法に組み込むことで材質感を顕在化させることを狙っています．
○研究成果
1．材質感再現と人間の分別能力
図 1 は立体再現での質感知覚を定量化するための実験システムです．我々はアクティブシャッタ型の二眼立体投影装置を用いていますが，自由な位置で

34
34

続いて，この視線追従型立体表示システムを用いて，材質感に対する人間の分別能力について検討を行いました．評価に使用した材質は(a)Aluminum,(b)Rubber, (c)Graphite, (d)Ceramic の 4 種で，その主観評価結果を図 4 に示します．図 4 では最初の材質イメージが付き易い形状物体を示していますが，実際の実験では球などの一般的形状を用いて行っています．評価者は表面の反射強度と表面粗さに着目して，その知覚を得点で表していきます．同様の実
験を 6 名の被験者に対して行ったところ，各材料ごとに固有の得点分布が現れることが明らかになりました．更に表面反射だけではなく，色としての拡散反射率も変化パラメータとして変化させた実験も追加で行い，明確な分離が困難だった(a)Aluminum と(d)Cerami の分離も可能なことが明らかになりました．このように，人間は表面の反射具合だけでも，かなりの分別能力を持っていることがわかります．
また，光沢等の表面反射の強さや分布は材質を分別するための重要な手掛かりであるとも言えます．

(a)Aluminum(b)Rubber

図 6 対向配置による最終的な質感再現システム(c)Graphite

1.5
1
0.5
0
-0.5
-1
-1.5

視線追従型立体再現での材質感分別結果

以上のように，我々は初年度で，様々な材質感を現実物に近く再現することができるシステムの構築を図りました．ポイントとなったのは表面反射の強度，反射分布の変化，そして立体的な再現です．従来の三次元表示は奥行き感を誘引する効果が主に注目されていましたが，材質感などを示す光沢などの再現にも重要であることが明らかになりました．

背面
プロジェクタFront:none
Back:3D

Front:2D
Back:3D

bunny

blob

*The advantage of 2D & 2D superimposing display
has already confirmed.

最終的に，図 6 に示すような，立体再生との整合性を確立したハイダイナミックレンジ（HDR）再現
システムを構築しました．このシステムでのダイナ
ミックレンジは 9bit で輝度は合計 5000 ルーメン以
上あります．立体再生も可能です．その効果の比較
結果を図 7 に示します．図 7 から明らかなように，
単なる HDR 再現（左），単なる立体再現（真ん中）に比べ，HDR 立体再現（右）が最も質感を良く再現できているという評価結果を得ることができました．
○今後の展望我々は材質感の変化を的確に表現しながら，実物体が織り成す表面反射に近い再現が可能な表示再生手法を検討してきました．その結果，材質感再現に
は表面反射の輝度，反射分布の再現，そして光沢の立体的な再現が重要であることを明らかにしました．
またこれらの特徴を顕在化させる再生方法として，市販の投影装置を対抗配置として組み合わせる手法を検討しました．立体表示を実現しつつダイナミッ
クレンジや輝度を合成により向上させる手法を考案し，従来の単純な投影画像の合成より材質感を顕在化できる手法を確認しました．
しかしながら，再現できる材質をもっと現実に近づけるためには解像度や環境光との整合性一致など取り組むべき課題は多くあります．我々は今後もこれら特性を組み込みながら，特徴ある材質で表現されたリアルな物体の再現を試みていく所存です．

Front projector

スクリーン

Front:2D
Back:2D

Stereoscopic
Superimpose

図 7 開発システムにおける HDR＋立体表示の効果

2．材質感を顕在化する再現手法の開発
前章までの再現システムを参考として，次年度では材質感を顕在化する再現手法を検討しました．顕在化のためには輝度の変化，分布の精密な再現，そして立体表示が必要不可欠です．そこでまず，輝度による顕在化を目的とした実験では，図 5 に示すような対向配置したプロジェクタでの再現に取り組みました．投影装置を対向にすることで，スクリーンを透過する光は輝きと指向性を持った表示が可能となります．一方，反射する光は鮮明な画像再現が可能で，細部に至る細かなテクスチャ再現に適しています．これら各々の特性を生かして，質感が強調可
能な表示再生手法を検討してきました．
前面
プロジェクタStereoscopic

Score

図4

(d)CeramicSuperimpose

ScreenMirrorBack Projectoer

図 5 対向配置による HDR 再現方法

35
35

36
36

研究紹介 A01 質感の計測と表示に関わる工学的解析と技術

37
37

公募研究・後期

公募研究

A01

ものの質感を画像を元に認識するシステムの実現

研究代表者

岡谷 貴之（東北大学大学院情報科学研究科・教授）
き，その形容詞の度合いを数値化し，出力とすることにしました．選んだ形容詞の尺度において，この数値が人の感覚を反映したものとなればよい，と考えます.
このように，質感を読み取るという問題を，コンピュータが画像１枚を入力として受け取り，これを解析し，画像に写る物の質感を，いくつかの予め選んでおいた形容詞を数値化して出力することであると定義します．
○研究成果
本研究では，以上のように画像から質感を認識する問題を定義した上で，以下に述べるような形でこれを解決する方法を実現しました．
一般に画像認識では，最初に画像から特徴を取り出す必要があります．これは質感認識でもこれは同じであり，質感認識の性質を考えると，むしろ一番重要な問題であると言えます．ここでは自然画像の他のタスクで実績があり，有効性が確かめられている代表的な 2 つの方法，すなわち，「ビジュアルワード」に基づく方法と，大量データで物体認識を学習
した畳込みネットを使う方法を選びました．
特徴の取り出し方が決まれば，解くべき問題は，
画像から取り出した特徴を元に，選んだ形容詞一つの強弱を予測する問題，つまり回帰問題に帰着されます．画像から取り出した特徴量を x と書き，ある質感を表す一つの形容詞に対し，その強度をｙと書きます．すると画像から質感を認識することは，関数 y=f(x)を考えることに帰着されます．
関数 f は，いわば質感認知にかかわる人の感性を再現しようとするもので，まさに人に匹敵するような f を求めたようとしています．理屈の上では，人（被験者）に画像を見せ，例えば滑らかさを数値で，
例えば 5 段階評価させ，その結果を y と見なせば，そのようなデータをある程度の量集めることで，そこから f を学習できるかもしれません．しかしながら，被験者ごとの違いや，同一被験者内の再現性の問題から，そのようなデータを安定して得るのはそれほど簡単ではありません．
このような難しさを解決する方法に，比較情報を利用する方法があります．つまり，2 枚の画像を比較した時，ある質感の形容詞の基準で，どちらの画像（に写る物）がより強く，どちらが弱いかという情報です．本研究では，質感を表す 13 の形容詞を選び，それらの比較情報を保持したデータセットを構
築 し ま し た ． 選 ん だ 形 容 詞 は glossy, smooth,

図 1．本研究による質感認識の結果の一例．質感を表す 13 個の形容詞で画像の集合をソーティングしたもの．各行が一つの形容詞に対応し，最もそれらしいのが左の 5 枚，最もそうでないのが右の 5 枚．
○研究の背景と目的
本研究の目標は，物体の質感，特にその表面の質感を，人が目で見て感じるのと同じように機械で読み取る方法を実現することです．
質感を読み取るというだけではただ漠然としており，問題をきちんと定義する必要があります．まず，一口に質感といっても様々であり，その中でどのような質感を対象にするかを決める必要があります．
ここでは問題を単純化し，人が画像１枚だけからでも感じ取れる質感，すなわち，画像１枚をディスプ
レイ上あるいは写真として人に提示したとき，人が感じ取れる質感に，対象を限定することにします．
このようにして画像１枚を見るのと，目の前の物を裸眼で直接見る場合とで，時に大きな違いがあるものの，1 枚の画像だけからでも人は多くを感じ取れるのも事実だからです．
次に，読み取りの結果，機械は何を出力すべきかを決める必要があります．この問は，人が質感を感じるというとき，実際には何を感じているか，その感覚は脳内でどのように表現されているか，という問いに通じ，これに答えるのは困難です．ここでは，質感に関わりの深い形容詞をいくつか選び出してお38
38

報の予測が人の比較結果と一致すれば正解，そうでなければ不正解という判定基準で算出した正答率を表 1 に示します．この数値が高ければ，今の方法が人の感性をよく再現できていることになります．結果は，resilient（弾力のある），wet，smooth などで正答率は 95%前後と高く，残りの形容詞も大体 9 割前後の予測が出来ました．概ね，人の感性を再現できたと言えます．なお，beautiful（美しい）だけは例外
的に正答率が低かったが，この形容詞は審美的な主観に関わるものであるためだと考えられます．
表 1．質感形容詞 13 個の比較順序の正答率．

図 2．質感を表す特定の形容詞について，被験者に画像ペアを提示し，どちらがより強いかを答えさせます．画像特徴の空間でこの比較順序がなるべく再現されるような空間方向を決めると，その方向がその形容詞らしさを表す方向になります．

形容詞
正答率

smooth
94.8

aged
94.2

resilient
96.9

sticky93.4

fragile
92.8

clean
93.5

beautiful
80.3

hard
90.8

light
91.3

glossy85.9transparent
95.0

cold
90.7

wet
94.4

これら各形容詞に関する学習結果を用いて，テス
トデータの画像をその強弱にしたがってソートしたのが図 1 です．左ほどその形容詞が強く，右ほど弱いことを表します．上述の差異はあるが，各形容詞
ともに人の感性と概ね合致することが確認できます．

transparent, cold, fragile, hard, light, wet, aged, beautiful,clean, sticky, resilient の 13 個です．
これら形容詞の比較情報を集めるため，比較対象となる画像のデータを集めた．具体的には，10 の異なるマテリアルで出来た物体を撮影した画像データセットです．同様の既存のデータセットに，10 種類のマテリアルの画像を含む Flickr Material Database（FMD）があります．ただし FMD は全部で 1000 枚の画像サンプルしかなく，それが少ないために使えない認識方法もありました．そこでわれわれは FMD
を拡張し，10 種類のカテゴリはそのままに，1 カテ
ゴリあたり 100 枚から 1000 枚に増やし，合計 1 万枚の画像サンプルからなる新たなデータセット（Extended FMD,あるいは EFMD と呼ぶ）を作成しました．
比較情報のデータセットは，この EFMD の画像からランダムに選んだ画像ペアのそれぞれについて，
これらの形容詞の尺度で見た場合に 2 つの画像のいずれがより強いかを与えます．各形容詞について，
約 1000 ペアの比較情報を保持します．
こうして集めた比較情報のデータに対し，ランキ
ング SVM（Support Vector Machines）という方法で，未知関数 f の推定を得ます．基本的な考え方は，図 2のように，学習データにある画像ペア間の大小関係を，なるべく保存するような方向を特徴空間で見つけることです．ある形容詞について得た方向は，特徴空間内でその形容詞の尺度を与えると考えることができます．
上述のデータセットの比較情報を，訓練データとテストデータの 2 つに分けます．各形容詞について，
訓練データで上述の方法で学習を行い，テストデー
タを使って画像ペア間の（その形容詞の）大小関係を予測するテストを行いました．テスト時の比較情○今後の展望本研究では，画像１枚から物体表面の質感を認識する一つの方法を実現しました．ただしわれわれの方法は，その正答率が 100%近辺に達しておらず，な
お人の視覚の性能に対しギャップが有ります．今後の目標の一つは，このギャップを埋めることです．
そのために解決すべき課題は複数ある．中でも最も重要なのが，画像からどのような特徴を取り出すべ
きかです．画像認識技術は長足の進歩を遂げつつあり，特に近年のディープニューラルネットワークの登場により，そのスピードは一気に加速しました．
現時点でのその質感の認識に対する有効性は定かではありませんが，研究の余地は広いと言えます．
また，質感をどのように表現するかも大きな課題です．本稿では，あらかじめ形容詞をトップダウンに選び，その強弱で質感を表現する方法を紹介しました．この方法は，どのような形容詞を選ぶべきかに恣意性が残り，また質感を包括的に捉えることができていません．将来的には，特に言語情報を画像情報と組み合わせることで質感の意味空間を定義し，その中で画像から読みとった質感を表現する方法の実現を考えています．
このような技術の研究はまだ始まったばかりであり，本当に人と同等の質感認識技術が実現できれば，様々な工学的応用が可能になるでしょう．
○関連する研究発表
1. 岡谷貴之: 質感の画像認識:研究の状況と今後の課題, 電子情報通信学会 PRMU/MVE 研究会(情報処
理学会 CVIM 研究会・日本 VR 学会 SIG-MR 共催),
2015 年 1 月 23 日, 奈良先端科技大．

39
39

公募研究

A01

色彩情報処理による質感の計測・解析・再現研究代表者

堀内 隆彦（千葉大学大学院 融合科学研究科・教授）

本研究では、色彩情報工学の観点から、物体表面に関する質感（材質感、つや感、マット感など）の認知に関わる人間の情報処理の特性を客観的に明らかにして、それらの理解に基づいて、質感情報の獲得や生成に関する工学技術の発展を推進するための基礎研究と応用研究を行うことを目的としています。
本報告では、実際の物体から得られる質感知覚と、
ディスプレイに再現された画像から得られる質感の違いについて、下図に示すような実験環境において考察したので、紹介します。

うな「質感の管理（マネージメント）」は重要であると考えました(図 2)。

図 2. デバイス間の質感マネージメント
本研究では、質感マネージメントを実現するための基礎研究として、実物体と再現画像から得られる質感の違いについて検証を行いました。対象物体として、(1)反射物体、(2)蛍光物体の２種類に着目し
ました。
○研究成果
(1) 反射物体から得られる質感知覚
図 3 に示されるように、10 材質（布、紙、木、石、金属、ガラス、皮、プラスチック、陶器、ゴム）からなる 34 種類の質感サンプル(50×50 mm)を準備しました。これらのサンプルをカメラで正確に撮影し、カラー高解像度，グレー高解像度，カラー低解像度，
グレー低解像度の４種類の画像セットも準備しました。画像は、Apple 15.4" MacBook Pro with Retina
display の高解像度なディスプレイに表示しました。
このとき、色、明るさ、サイズを正確に調整しました（図 1）。

図 1.

実験シーン（上：実物体、下：モニタ画像）○研究の背景と目的物体が有する質感情報を解析する手段の一つとして、物体を撮影した画像の特徴を利用する方法があります。我々も、これまで多くの物体を画像として計測し、解析を試みてきましたが、実物体と再現画像から得られる質感知覚が異なることが多く、画像から得られる質感の解析はできましたが、実物体の質感に関して、画像特徴を利用して解析することは困難でした。そのため、様々な異なる特性をもつ表
示機器において、同じ質感を感じることができるよ

図 3. 実験に用いた質感サンプルセット

40
40

実験の結果、実験 1 ではディスプレイ出力画像の蛍光感が、実物と比較して大きく低下しました。実験 2 から 3 になるにつれて、ディスプレイ画像の蛍光感は向上していき、実験 4 では双方の蛍光感がほぼ一致しました。このことは、蛍光の質感の知覚において、刺激の色や明るさを一致させた場合には、
出力デバイスには依存しないが、刺激の周囲環境が影響していることがわかりました。このことにより、蛍光感をデバイスで再現する場合には，刺激とその周辺の間に存在する「質感対比」のような効果を考慮する必要のあることが示唆されました。

10 名の被験者に対して、9 種類（光沢感、透明感、色彩感、粗さ感、硬さ感、冷たさ感、もろさ感、自然さ感、魅力感）の質感項目について、6 段階の尺度で回答してもらいました。実験の結果、実物を画像表示することによって、透明感や光沢感が低下する一方で、硬さや冷たさなどは向上し得ることがわ
かりました。また、材質が同じ物体の場合、実物体から得られる質感知覚は比較的類似していますが、画像から得られる質感知覚は必ずしも類似しないことも明らかとなりました。これらの結果は、デバイ
スごとに、どのような質感を調整すべきかを決定する基礎資料とすることができます。
(2) 蛍光物体から得られる質感知覚
我々が日常生活する環境において、約 20%の物体には蛍光が含まれていると言われています。蛍光物
体は、(1)で述べた反射物体とは異なり、通常の可視光による光反射に加えて、紫外光・可視光を吸収・励起して，励起光よりも長波長側の光を発光するという蛍光発光特性をもっています。
我々の先行研究により、実際の蛍光物体と色、明るさ、サイズを一致させてディスプレイ上に画像再現しても、「蛍光感」が低下することがわかっていました。この原因を調べるために、実際の蛍光パッチとディスプレイ上に再現した画像に対して、蛍光感を評価する実験を、以下の環境で行いました。
（実験１）蛍光パネルを穴の開いた黒い画用紙で覆った刺激とディスプレイ上に色再現されたパッチ画
像を直接観察する。このとき、モニタの背景は、モニタの黒とする。
（実験２）蛍光パネルを穴の開いた画用紙で覆った
刺激とディスプレイ上に色再現されたパッチ画像を直接観察する。このとき、モニタの背景は、色と明るさを画用紙と一致させる。
（実験３）蛍光パネルに穴の開いた画用紙で覆った
刺激と、それを撮影して、背景を含めてディスプレ
イに再現した画像を観察する。
（実験４）蛍光パネルとディスプレイの双方を穴の開いた観察箱の中から観察する。

図 5. 周囲環境による蛍光感の変化○今後の展望反射物体については、出力デバイスの特性によって、それぞれの質感項目がどのように変化するかの基礎データは獲得できましたが、具体的にそれらをどのように制御することによって、質感を管理できるかは明らかになっていません。また、今回実験に用いたサンプルは平板ですが、実際の物体は種々の形状を有しています。それらの一般物体に、どのように適用できるかを明らかにしていく必要があります。
蛍光物体については、周囲質感との質感対比のよ
うな現象は明らかとなりましたが、具体的に周囲の画用紙のどのような質感特徴が影響しているのかは、
まだ明らかにされていません。また、蛍光感以外の質感についても、同様の質感対比のような効果が生じているかを確認する必要があり、デバイスで質感を管理する場合には、刺激だけでなく、周囲環境を含めて管理する必要性について、より深い検討を続けていく必要があります。
○関連する研究発表
1. Tanaka M and Horiuchi T: Investigating perceptual
qualities of static surface appearance using real materials
and displayed images, Vision Research, doi:
10.1016/j.visres.2014.11.016, 2014.
2. Hirai K, Yamaguchi M, Horiuchi T and Tominaga S:
Comparison of fluorescent color perception using real
objects and LCD monitor, Proc. AIC2014 Interim
Meeting, Oaxaca, Mexico, 2014.

図 4. 実験環境（左）実験 1～3，（右）実験 4

41
41

公募研究

A01

Light Field カメラによる多焦点画像を用いた
反射特性の推定とその応用研究代表者

津村 徳道（千葉大学大学院融合科学研究科・准教授）
が，物体表面上で鏡面反射した光源像のぼけ方に基づく手法では，一枚の撮影画像から反射特性を取得できるため，実用的であると考えられます．しかし，一般的な撮影シーンにおいて，光源像のぼけ方は焦点位置に応じて大きく変化します．そこで本研究では，物体の反射特性の取得方法として，焦点位置を撮影後に変更できる Light Field カメラに着目しました．Light Field カメラでは，一度の撮影で入射する光線の強度・位置・方向の情報を取得できるため，これらの情報を用いることで，撮影後に任意の焦点位置の画像を作成することができます．
本研究では，以上のことから，物体の反射特性の取得方法として Light Field カメラを用い，物体表面の光沢を撮影した多焦点画像から光源像に焦点の合った画像を選択し，反射特性を推定する手法を提案します．また，推定した反射特性を用いて，撮影環境と異なる光源下における物体上の光沢の再現を
行います．

図１

○研究成果
1．多焦点画像による反射特性の推定
本研究では，図２に示すように光源分布(光源像)にはエッジが含まれると仮定して反射特性の推定を行います．光源からの光が物体表面に入射し，その鏡面反射光(光沢)をカメラで撮影する際のエッジ部分の観測値について考えると，図 3 に示すように，
光源像のエッジは，物体表面に入射する際，物体表面の反射特性を表すボケ関数（SR-PSF）によって“ぼけ”ます．また，物体表面で鏡面反射した光源像のエッジは，カメラで撮影する際，焦点位置に依存するぼけ関数（PSF）によってさらにぼけます．この際，Light Field カメラでは任意に焦点位置を変化させた画像を生成できるため，光源像に焦点の合った，
焦点位置に依存する PSF の影響を受けない画像を求めることができ，この際のエッジのぼけ方から表面粗さによるぼけ関数を推定することができます．

異なる光源下における光沢の再現結果○研究の背景と目的
我々の身の周りには様々な色の光源が存在し，それに応じて観察される物体色は変化します．人間
は，任意の色の光源下で物体色を正しく知覚することができますが，それを撮影して異なる色の光源下で表示して観察した際には，物体色を正しく知覚することが困難となります．そのため，ほとんどのデ
ジタルカメラにはオートホワイトバランス機能が搭載されており，撮影画像から光源色を推定すること
で，異なる光源下における物体色を再現できます．
一方，我々の身の周りには様々な形状の光源も存在します．そして，それに応じて物体上の光沢が変化
し，同じ材質の物体であってもその見た目が変化します．人間は，任意の形状の光源下で物体の材質を正しく知覚することができますが，それを撮影して異なる形状の光源下で表示して観察した際には，材質を正しく知覚することが困難となります．そのため，撮影画像から材質を決定する要素である反射特性を推定し，異なる光源下における光沢を再現する必要があると考えられます．
反射特性を取得する手法は数多く提案されています

図２光源分布に含まれるエッジ

4242

図３ 焦点位置に伴うエッジの変化

図５

この原理に基づき反射特性を推定する予備実験を行いました．予備実験ではディスプレイを光源として用いる．ディスプレイに白と黒のエッジ画像を表示してサンプル面を照射し，図 5 に示すようなサン
プル面の画像を Light Field カメラ，Lytro で撮影します．撮影した Raw 画像を用いて多焦点画像を作成し，光源の輝度むらなどによるノイズ除去のための前処理を行った後，多焦点画像の中から光源像に焦点の合った画像を決定し，反射特性の推定を行います．サンプルの一つに対する焦点位置毎のエッジの傾きを求めます．傾きがもっとも大きくなるエッジを含む画像では，焦点位置に依存する PSF の影響は極めて小さいと考えられます．ここで，計算上，このエッジの傾きの最大値は，反射特性のパラメー
タに比例するため，この値を定数倍した値を反射特性のパラメータの推定値とします．6 種類のサンプルに対して推定を行いました．サンプル 1 (黒色ガラス) に合わせて正規化を行った結果を図４に示します．この結果から，反射特性のパラメータの値が大きい高光沢なサンプルでは推定値は正解値とほぼ一致しているが，反射特性のパラメータの値が小さ
い低光沢なサンプルでは一致していないことがわかりました．これは，低光沢のサンプルは表面の粗さが大きく，ノイズの影響を受けやすいためであると考えられます．しかし，光沢の再現においては，低光沢な物体の誤差は影響が小さいため，本研究ではこの方法で得られる推定値を光沢再現に応用します．

2．異なる光源下における光沢の再現
図６に提案手法の流れを示します．まず，エッジを含む光源下で物体を撮影した画像からその反射特性を推定します．次に推定した反射特性に基づいて
SR-PSF を復元し，異なる光源の画像に対して畳み込み積分することで，その光源下における物体上の光沢の再現を行います．この光沢を，イメージインペ
インティングを用いて撮影画像から光沢を取り除いた画像に足し合わせることで，異なる光源下における物体の再現画像を作成します．図１の上図 の画像に対し，蛍光灯下における光沢の再現を行った結果を図１の下図 に示します．
○今後の展望本研究では，Light Field カメラによる多焦点画像を用いた物体の反射特性の推定手法を提案しました．また，推定した反射特性を用いることで異なる
光源下における物体上の光沢の再現が可能となりました．今後の課題として，エッジを含まない，より一般的な光源下における反射特性の推定や物体形状
や微小構造を考慮した反射特性の推定と光沢再現が挙げられます．今回提案した技術を我々は，オート
アペアレンス機能と呼んでいます．次世代のカメラに搭載されるべき，新しい付加価値として，注目されることが期待されています．

図５

図４ 反射特性のパラメータ a の推定結果

43
43

予備実験環境（暗室下）と撮影画像異なる光源下における光沢の再現方法

公募研究

A01

ライトフィールド投影を用いた質感制御
研究代表者

天野 敏之（和歌山大学大学院システム工学研究科・准教授）
虫や光学ディスクなどに見られる構造色や，金属の輝きや透明物体での光の屈折など，視点の移動によって変化する見かけの提示を試みました．さらに，複数のプロジェクタカメラ系を用いることで物体の全周囲の見かけを操作する技術も研究しました．
私たちが取り組んでいる質感制御では，これらの技術を発展させ，見かけの質感を完全に置き換える技術の実現を研究の最終目的としています．
○研究成果
本研究では，ライトフィールド投影による構造色
物体の質感提示とプロジェクタカメラ系の協調制御による全周囲見かけの制御について研究しました．

(a) ライトフィールド投影による質感操作結果(a) 投影対象に映像を投影した様子(b) 投影対象(c) プロジェクタアレイ

図 1 ライトフィールド投影を用いて視方向ごとに異なる見かけを提示することで，(a)に示す構造色や金属光沢などの光学特性をもつ物体の質感提示を試みました．具体的には，(b)に示す塗料を塗布することで投影対象に再帰性反射の特性を持たせ，(c)のよ
うにプロジェクタアレイでライトフィールドを投影することでこれらの質感提示を実現しました．

(b) 投影対象の反射特性○研究の背景と目的
我々のグループでは，プロジェクションマッピン
グのような物体への映像投影と，その様子を撮影するカメラを組み合わせたフィードバック系によって，物体の見た目の色彩や陰影を変化させる，見かけの制御を研究しています．
平成 23 年度から平成 24 年度に行った，本領域の公募研究では，見かけの制御を立体物に動的に適用する装置を開発しました．また，心理物理の分野で解明された透明感および光沢感に関する知覚メカニ
ズムを見かけの制御技術に実装することで，光投影による実世界の質感制御を実現しました．
しかし，この研究で実現した質感操作は物体のある面のみに限定した手法です．また，視点の移動にも対応していません．そこで，本研究ではライトフ
ィールド投影を用いることで，図１に示すような玉

44
44

図２

再帰性反射塗料を塗布した投影対象

図３

投影対象上での反射虹の再現結果

ライトフィールド投影による構造色物体の質感提示
問題を簡単にするために，平面形状の物体で構造色を持つ DVD-R ディスクの反射虹を題材として構造
色の質感提示を試みました．また，DVD-R の反射虹を再現するための投影対象は黒画用紙に再帰性反射
塗料を塗布して製作しました．
図２(a)は投影対象の正面(0°)から四角い映像を投影した様子です．この写真を見るとわかるように，投影対象は再帰性反射によって正面から見たときにによる投影画像の色味の相違を補償する手法や，図５のように鏡の反射を利用することで，少ないプロ
ジェクタカメラユニットで全周囲の見かけの制御を実現する方法についても検討しました．
本研究では，これらの解析や手法を用いることで，
図６のような投影対象の全周囲に対する見かけの制御を実現しました．

は強い反射が見られます．それだけでなく，左右の方向（-25°，+25°）から見たときにも弱い反射が見られ，投影対象の再帰性反射にはある程度の広がりを持っていることがわかります．
この特性を詳しく調査したところ，図２(b)のように再帰性反射成分には幅の狭い成分（赤色）と広い成分（水色）があり，これらに加え，黒画用紙の拡散反射成分（紫色）があることがわかりました．我々はこのような再帰性反射の特性を二つのガウス関数と定数項の和として数理モデルで表現しました．
理想的な再帰性反射面では，ライトフィールド投影装置のそれぞれのプロジェクタ位置で取得した画像をそのまま投影すれば，プロジェクションによって構造色を再現することができます．しかし，実際の再帰性反射には広がりがあるうえに，拡散反射もあります．そのため，我々は非負制約付きの最小二乗法で最適な投影画像を計算し，正確な DVD-R の反射虹を正確に再現する手法を提案しました（図３）．
この研究成果により，ライトフィールド投影を用いた構造色提示手法の基礎を確立しました．

図５

鏡の反射を利用した投影手法

図４ 複数ユニットを用いた全周囲見かけの制御
全周囲見かけの制御
本学術領域研究の前期の研究では，我々のグルー
プでは投影中心が一致した同軸プロジェクタカメラ
系を製作し，立体物に対する連続的な質感操作を実現しました．しかし，一方向からの投影では，投影対象の側面や背面には光が届きません．そのため，観察できる位置は正面に限られていました．
そこで，図４のように三脚にマウントされた同軸のプロジェクタカメラユニットを製作し，投影対象を取り囲むように複数のユニットを配置することで，全周囲の見かけを制御する方法を検討しました．
このような装置で問題となるのは，投影が重なる領域です．それぞれの同軸プロジェクタカメラユニットで独立に見かけの制御を行うことで投影対象の全周囲に対する連続的な見かけの制御が実現できる
はずですが，投影が重なり複数の制御系が干渉する状況では，見かけの制御がどのような挙動を示すのかはわかっていませんでした．そこで，我々は理論的な解析とシミュレーションにより安定性を調査しました．その結果，単体のプロジェクタカメラ系が安定になる制御パラメータを用いれば，干渉状態でもシステムは安定することを解明しました．
このような解析のほかに，プロジェクタの個体差

45
45

図６

全周囲見かけの制御による操作結果○今後の展望本研究では，ライトフィールド投影による構造色
物体の質感提示と複数のプロジェクタカメラユニッ
トを用いた全周囲見かけの制御を実現しました． これらの技術を組み合わせ，光学的に物体の見かけの質感を完全に置き換えるためには，まだ多くの課題が残されています．今後もこの研究を継続し，見かけにおいては実物と全く区別ができない究極の見かけの質感操作の実現を目指します．
○関連する研究発表
論文
1. 天野敏之, プロジェクタカメラ系を用いた光沢
感と透明感の実時間操作, 映像メディア学会誌,
Vol.68, No.12, pp.J528-J533, 2014.
学会発表など1. T. Amano et al., Successive Wide Viewing Angle
Appearance Manipulation with Dual Projector Camera
Systems, ICAT - EGVE Eurographics Symposium on
Virtual Environments, 2014, Bremen, Germany.

公募研究

A01

ﾏﾙﾁｽｹｰﾙﾏﾃﾘｱﾙの質感編集および質感ﾊﾟﾗﾒｰﾀの計算に関する研究
研究代表者

岩崎

慶（和歌山大学大学院システム工学研究科・准教授）
環境照明下において物体表面の反射特性である
BRDF(Bidirectional Reflectance Distribution
Function) をリアルタイムに編集するシステムが可能となっています. これらの方法は，主に単一のスケールでの物体表面の質感編集に注目しています．
しかしながら，物体表面の質感は表面形状のスケー
ルに依存します．
本研究は，複数のスケール(マルチスケール)からなる素材の質感を効率的にレンダリング（画像生成）
し，インタラクティブに編集する手法を提案します．
マルチスケールな素材の例としては布を対象とします（布を構成する糸はミリスケールであり，糸を構成する繊維はマイクロスケールです)．

図

○研究成果
本研究では，現実世界の複雑な照明（環境照明）下において，織り合された糸から構成される布のBRDF における重点的サンプリングを行う手法を提案します．本研究では，布の散乱モデルとして
Sadeghi らの提案したマイクロシリンダモデルを使用します．マイクロシリンダモデルにおいて，BRDF
はガウス関数で表現されます．提案法では，環境照明を球面ガウス関数の線形和で近似します．このとき，BRDF と環境照明の積はガウス関数で表現されるため，得られた積に比例した確率分布に従って重点的サンプリングを行います．これにより，入射光(環境照明)と BRDF を考慮したサンプルを得ることができます．提案手法を用いて，一様サンプリングと同数のサンプル数で布をレンダリングした場合，一様
サンプリングと比較してノイズの少ない画像を得ることができます．提案手法により，環境照明下における高精細な布の画像を効率的に生成することが可能となります．

図: 本研究の結果例．マルチスケールな素材である布を対象とし，環境照明下における布のレンダリン
グシステムを開発しました．重点的サンプリングにより，一様サンプリングと比較してノイズの少ない画像を生成することができます．
○研究の背景と目的
現実世界の複雑な照明(以降，環境照明と呼ぶ)を用いて，物体表面のリアルな質感を編集するシステ
ムは，インテリアデザインや材質デザインにおいて重要です．近年の CG 分野における技術の進歩に伴い，

46
46

また，織り合された糸から構成される布の高速レンダリング法および布の外観編集法を開発しました．
マイクロシリンダモデルにおける布の輝度は，入射光の輝度，布の散乱関数，および布を構成する糸の幾何構造に基づいた重み関数の積を積分することによって計算されます．
提案法では入射光（環境照明）を球面ガウス関数の線形和で表現します．球面ガウス関数，散乱関数と重み関数の積の積分を，球面ガウス関数と重み関数の畳み込み積分と，球面ガウス関数と散乱関数の積分の積で近似します．畳み込み積分は前計算可能

であり，レンダリング時にテーブル参照するだけでよいことになります．球面ガウス関数と散乱関数の積分は解析的に計算可能なため，レンダリング時に布の材質特性をインタラクティブに変更することが可能となりました．
○今後の展望本研究により，高精細かつ効率的な布の画像生成が可能となりました．また，前計算が必要となりま
すが，インタラクティブな速度で布をレンダリングする手法も提案しました．今後の展望としては，1枚の写真から，布の材質を特定する手法が考えられます．いままでに我々が開発した手法は，ユーザが布の反射分布に関するパラメータを制御することで，所望の外観・質感となる布の画像を生成してきました．この場合，ユーザによるパラメータチューニン
グが必要となり，ユーザにとって負担になると思われます．そこで，逆問題的に，目標となる所望の布の画像が与えられたら，その画像となるような反射パラメータを推定する研究が考えられます．
また，布のインタラクティブレンダリングに関する提案法は，布は固定されているという制限があります．そこで，変形するような布をインタラクティ
ブにレンダリングする手法の開発も今後の課題の一つとして挙げられます．

(a) リネン(提案法)(b) リネン(参照画像)○代表的な研究発表
1. *K. Iwasaki, K. Mizutani, Y. Dobashi, T. Nishita,
Interactive Cloth Rendering of Microcylinder
Appearance Model under Environment Lighting,Computer Graphics Forum (Eurographics 2014), Vol. 33,
No. 2, pp.333-340, 2014.
2. K. Mizutani, K. Iwasaki, Importance Sampling for
Cloth Rendering under Environment Light, Symposium
Mathematical Progress in Expressive Image Synthesis(MEIS) 2014, pp. 81-88, 2014.

(c) シルクショット(提案法)(d) シルクショット(参照画像)
図: 本研究の結果例．環境照明下における布のイン
タラクティブレンダリングシステムを開発しました．
(a)(c)は提案法によるインタラクティブレンダリン
グの結果，(b)(d)はレイトレーシングによる参照画像です．提案法は参照画像と同程度の画質を高速に
レンダリングすることが可能です．

47
47

公募研究

A01

ライトフィールドによる質感情報の定量評価と認知との関連

研究代表者

長原

一（九州大学大学院システム情報科学研究院・准教授）
画像認識においてやっかいな特徴を持っています。
例えば、従来の局所特徴のようにエッジの方向や勾配情報といった見かけ情報を学習するアプローチでは、背景が学習されるだけで透明物体自体をうまくモデル化できませんでした。このような特徴から、様々な画像認識による物体識別手法が提案される中、透明物体は例外中の例外として、ほとんど対象として無視されてきました。
本研究では、ライトフィールドカメラを用いることで、透明物体の様なこれまで画像による記述が難しかった対象を定量的に記述することで、より質感
情報にあふれた現実的な物体認識を実現する手法を提案しました。具体的な対象として、透明物体形状をライトフィールドの歪みとしてモデル化する
Light Field Distortion 特徴を提案し、それを物体認識に応用することで、透明物体の形状の違いの識別を実現しました。

図１：透明物体の屈折による背景の歪み。透明物体の形状により、背景の歪みは異なる。また、ライトフィールドに含まれる視点の違いによりこの歪みはことなる。この視点間の歪みの関係をもちいること
で、背景のテクスチャによらない物体形状の記述を実現した。
○研究の背景と目的
ロボットや機械認識の真の実用化には、カメラなどの視覚による自動物体認識技術が必要不可欠です。
このような自動認識の応用を目指してこれまで数多くの物体認識手法がコンピュータビジョンやパター
ン認識の分野で提案されてきました。例えば、最近
では、Bag-of-features と呼ばれる統計的学習認識
手法がイメージアノテーションや一般物体認識の応用で盛んに研究され、一部では実用化が進んでいます。しかし、これらのアプローチは、SIFT 特徴や
SURF 特徴といった画像のエッジや勾配情報といった局所特徴の統計情報を物体の学習や認識に用いています。つまり、環境や物体の材質などにより物体の見かけがほとんど変化しない完全拡散反射の様な
理想的な条件を仮定しています。一方で、我々の身の回りには、金属やプラスチック、ガラスなど様々な材質でつくられた物体にあふれています。その中でも特に、ガラスやプラスチックなどを素材とした
透明物体は、物体それ自体にテクスチャやエッジな
どの視覚特徴を持たないという特徴を持っています。
さらに、透明物体は光を透過するため、背景が変わると物体の見かけが大きく変わるという物体認識や

48
48

図２：ライトフィールドカメラとライトフィールド
画像

○研究成果
カメラにより透明物体を撮影すると、画像中での透明物体の見かけは物体の奥の背景が屈折により歪んでしまいます。この屈折による影響は物体形状毎に固有であるため図 1(a) に示すように背景が同じであってもこの歪み方は物体によって異なって見えます。この歪み方を透明物体の固有特徴として物体認識を実現しようというのが本研究のコンセプトです。具体的には、図 1(b) に示すように，視点の変化に伴う歪み方の変化を利用して屈折を表現します。この視点間の見かけは背景に依存しますが、歪みそのものは背景が異なっても変化しないため、視点間での歪みによる見かけの変化の関係は背景によらず同一の関係が保存されます。そこで，本研究では図 2 に示す様なライトフィールドカメラで撮影されるライトフィールド画像を入力として用います。
そのライトフィールド画像に含まれる多視点情報からこの視点間の歪みの関係をライトフィールド上でモデル化し、特徴量として利用します。具体的には、カメラと背景の間に何もなく光が屈折、反射、散乱、吸収されない自由空間では、光線の伝搬による光路は図 3 のように直進し、ライトフィールドカメラの各センサで撮影されます。図 3 の例のように背景の一点から発射した光線が直進する場合は，センサ平面上に均一な視差を持って撮像されることから、図3 の右図の様に s-x ライトフィールド空間では直線として表されます。実際のライトフィールドは 4 次
元であることから、直線ではなく超平面状に分布しますが、同様に線形性を持ちます。一方で、背景とカメラの間に透明物体が存在する場合、背景からの光線が屈折の影響を受けると図 4 のようにライトフィールドは歪められ，光線の分布は s-x 平面上では直線から逸脱した分布となります。このライトフィ
ールドの歪みは、屈折を生じる物体の材質(屈折率)や形状によって変化することから、物体の特徴として利用できます。このライトフィールドの歪みパターンを Light Field Distortion(LFD) 特徴と呼び、本研究で初めて透明物体の形状特徴として提案しました。
本研究では、Bag-of-features 手法に基づく統計的学習手法により、この LFD のパターンを学習する
ことで、図 5 に示しました 10 個の異なる形状の物体をおよそ 80％の精度で識別することに成功しました。

図５：識別に利用した物体○今後の展望本研究では、質感のある現実的な物体として透明物体を対象として、その形状をライトフィールドにより記述して、識別する手法について提案･実現を行ないました。従来の画像認識や画像による物体識別
は、完全拡散反射の物体や照明条件など様々な制約が存在し、透明物体を含む様々な材質の物体を対象としていませんでした。本研究では、ライトフィー
ルドカメラという、リッチな視点情報を含む画像センシング手法を用いることで、屈折という複雑な光学現象をもつ対象の識別を可能にしました。今後は、透明物体だけでなく、複雑な反射特性を持つ物体の認識やその材質感の定量化などに対象を広げていきたいと考えています。

○関連する研究発表
1. Yichao Xu, Kazuki Maeno, Hajime Nagahara, Atsushi
Shimada, Rin-ichiro Taniguchi: Light Field Distortion
Feature for Transparent Object Classification, 2015, In
press.

図３：透明物体が存在しない場合のライトフィールド

2. Kazuki Maeno, Hajime Nagahara, Atsushi Shimada,
Rin-ichiro Taniguchi: Light Field Distortion Feature forTransparent Object Recognition, IEEE Conference on
Computer Vision and Pattern Recognition, pp.2786-2793,
2013.

図４：透明物体が存在した場合のライトフィールド

49
49

公募研究

A01

織物の反射および表面下散乱の計測とモデル化
研究代表者

田中 弘美（立命館大学 情報理工学部・教授）

連携研究者 坂口 嘉之 (立命館大学 総合科学技術研究機構・チェアプロフェッサー)連携研究者 田中 士郎 (立命館大学 情報理工学研究科)
析から織物の反射と表面下散乱特性を高精度に抽出し,モデリングしました．さらに，得られた反射および表面下散乱特性パラメータを用いて，フォトリア
リスティックな CG レンダリングにより，織物の美
しい光沢の色や質感を忠実に再現すること,さらに，織物の光沢が光源色ではなく物体色を帯びる物理現象を解明することを目的としました.

(a)組織図

図 1 織物の反射および表面下散乱の計測とモデル化(a) 赤色のシルクライク織物の高分解能(7 ㎛/画素)多方向照明多重露光画像の，(b)各画素で推定された分光反射率は織物の光沢は物体色である
ことを示した,(c)正反射方向に近づくほど,より強い物体色の光沢が観測された,(d)各画素で推定された織物の繊維毎の分光反射率を用いた CG レ
ンダリングにより任意の照明下での織物の光沢を再現した．

(b)朱子織顕微鏡画像(d)単糸(繊維)(c)拡大画像(e)フィラメント糸断面画像

図 2 朱子織(サテン)の組織図と顕微鏡撮影画像○研究の背景と目的
美しく精緻な絹織物は「光の織物」と呼ばれている．その表面の複雑で微妙な光沢や質感を観測画像
データから抽出し高精度にモデリングすることや，それらをレンダリングにより忠実に再現することは，
コンピュータグラフィックスおよびコンピュータビ
ジョン分野における重要な課題です．
絹糸は，半透明のガラス棒のような形状をしており，その断面はやや丸みを帯びた三角形であるため「絹のプリズム」と表現されています．絹織物はこの絹糸の構造によって光を透過・反射し,複雑な光沢や質感を発するとされています.しかし，絹織物を半透明物体として解析した質感の研究は報告されていません. また，織物の光沢が光源色ではなく有彩色になる物理現象が解明されるまでは至っていません．
そこで本研究では，絹糸の性質に最も近い長繊維のフィラメント糸で織られたシルクライク織物（図2 参照）を対象とし，織糸の各繊維における反射光と表面下散乱光を高分解能・多重露光(HDR: HighDynamic Range)画像計測し，得られた画像情報の解

50
50

○研究成果
1. 織物の反射および表面下散乱の計測
繊維レベル(約 10μm)の解像度での反射光および表面下散乱光を安定に観測できる画像計測システムを構築し，得られた高解像度多方向照明 HDR 画像を解析することにより，対象織物の表面および表面下の3 次元微視的幾何構造と反射および表面下散乱の相関関係を解析しました.
1)拡大レンズを用いて，1 画素サイズ 7-10μm の 高
分解能・多視点 HDR 画像計測システムを構築し，織物を高分解能画像計測しました.
3) 高周波パターン投光法により，反射と表面下散乱
を HDR 画像計測しました.格子サイズを 3×3,5×5,7×7 と拡大させ，反射および表面下散乱光の方向や強度の変化を解析しました.
4) 入射点からの距離に対する単一散乱の減少を分析し，反射，単一散乱，多重散乱を分離した．さらに，反射と表面下散乱の指向性や強度と，織物の微視的幾何構造との関係を解析しました（図 3 参照）．

図3 反射光(左)・表面下散乱光(中)と差分(右)2. 6 バンド HDR 画像を用いる織物の反射光解析
織物表面は織組織に基づくメゾ構造により複雑な
異方性反射特性を示し，二色性反射モデルでは織物の反射光を正確に記述することが困難です．また，織物の鏡面反射光の色は光源色ではないことは確認されていますが何色かは明らかにされていません
そこで我々は，2 ショット 6 バンド型画像計測(図4)により獲得した織物の高分解能 6 バンド画像の各画素(7μm）において，部分最小二乗法(PLS 法)を用いて高精度に分光スペクトルを推定する方法を提案しました(研究発表１参照)．

図 4 ２ショット型６バンド撮影方式による画像計測

まず，1)織物の繊維を構成する単繊維による微小構
造 を ， 1 画 素 5 ～ 7𝜇𝜇𝜇𝜇𝜇𝜇𝜇𝜇 の 高 分 解 能 マ ル チ バ ン ド
HDR(High Dynamic Range)画像計測しました．人間は三原色の比によって色を知覚していることに基づき，
2)入力の三原色情報を構成比で表し，推定誤差の原因となる高ダイナミックレンジの輝度を色度と分離して記述しました．次に，3)輝度値を正規化して 1とし，色度(色の構成比)に基づき，全波長(410𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛～
680𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛)の反射率の総和が 1 となる基準となる分光
反射率を推定しました．次に，4)得られた基準分光
反射率の各波長の反射率を入力輝度値に応じて定数倍して拡大することにより，対象織物の分光反射率を推定しました．輝度値を正規化することにより，教師データのダイナミックレンジ内にあることが保証されるため，高次近似項の導入による誤差の拡大することを避けることができます．
任意の色票や光沢の強いサテンと能装束織物を対象とした実験結果から，Wiener 推定法や PLS 法，重回帰分析法などの推定手法に関わらず，光沢の強い領域の単繊維上において，鏡面反射光の分光反射率が高精度に且つ安定に推定され，提案手法の有効性を確認しました．さらに，1)物体色の鏡面反射光は光沢の強い緯糸領域の単繊維上で出射されており，
2)数%ながら，比較的光沢の弱い経糸領域で光源色の鏡面反射光が出射されていることを確認しました．
3. 織物の微小構造に基づく鏡面反射の色度解析
織物の光源色と異なる光沢などの織物固有の質感
は，糸を構成する単繊維(10μm 厚)と呼ばれる繊維の断面形状や織組織による表面の微小構造に基づく
幾何的要因と，単繊維や糸の反射や透過特性に基づく光学的要因により生み出されると考えられます．

そこで織物の質感を高精度に表現するために，単繊維の鏡面反射光の分光反射率の強さと色度座標の変化を，織物表面の微小構造と糸の光学特性に基づいて解析を行いました．まず，織物のよこ糸中心が正反射になるような入射角と観測角の条件において，織物表面の微小構造を 1 画素 7μm で観測した高分解能なマルチバンド HDR 画像から，部分最小二乗法を用いて画素ごとの分光反射率を推定しました．次に，推定分光反射率から理想光源下(E 光源)でのCIE-xy 色度分布，CIE-RGB 画像を生成し，その画像
ヒストグラムから拡散反射成分と鏡面反射成分に分離し，鏡面反射の分光反射率を抽出しました．織物の微小構造から観測される鏡面反射光の色度と，微小構造における領域との関係の解析を行いました．
図 1 に，鏡面反射光の輝度に対するよこ糸中心付
近の微小構造の領域と，色度の変化を示しています．
微小構造において観測される光沢は微小面の法線が織物の法線と一致するよこ糸中心付近ほど強く，その色度座標は物体色が強くなる方向へ変化しました．
観測される鏡面反射は，単繊維の表面で反射する光
源色(白色)の鏡面反射と単繊維内部から出射される
表面下散乱を含んでおり，よこ糸中心の微小面が平滑なほど離れた入射光による表面下散乱光が加わる
ため，物体色の鏡面反射がより強く観測されることが確認されました．
一方，たて糸領域で観測される鏡面反射は，よこ
糸中心付近で観測される鏡面反射より弱く，光源色に近い色度を持つ分光反射率がたて糸の一部（丸枠）
において観測されました．たて糸上で観測される光源色の鏡面反射は，図 3 に示すように単繊維（三角断面）の側面が真上を向いている微小面であり，内部に侵入する光も発生しますが，出射光は断面形状に依存したランダムな方向となります．そのため，
観測方向へ向かう物体色の鏡面反射は少なく，光源色の色度に近い鏡面反射光が観測されました．
最後に，繊維毎に推定された分光反射率パラメー
タを用いた CG レンダリングにより能装束の質感再現を試みました．
○今後の展望今後は，数十本の単繊維を束ねたフィラメント糸の内部での複雑な光線空間におけるライトトランス
ポートの解析により，3 次元微小構造に基づく反射および表面下散乱の現象を幾何的かつ物理的に解明することを目指します．
○関連する研究発表
1. 田中士郎，高柳亜紀，土田 勝，坂口嘉之，田中
弘美，``高分解能マルチバンド HDR 画像解析に基づ
く織物の分光反射率推定,'' 日本バーチャルリアリテ
ィ学会論文誌, vol.20, no.1, Mar. 2015.
2. 田中士郎，坂口 嘉之，田中弘美，``高分解能マルチバ
ンド HDR 画像を用いた織物の微小構造に基づく鏡面反射の色度解析,'' 情報処理学会 CVIM コンピュータビジョンとイメージメディア研究会, Jan. 22, 2015

51
51

公募研究

A01

BSDF データに基づく感性的質感の推定と表現研究代表者

長田 典子（関西学院大学理工学部・教授）
2 つ目は物理的特性の刺激に対してヒトが感じる印
象，3 つ目が，印象から喚起されるヒトの心的状態であり，とりわけ好き・嫌い，きれい・汚いといった価値を含む感性（感性価値）です．
本研究では感性的質感をトータルに説明する体系的な評価モデルをつくり，見え方から感性的質感を推定する技術や，逆に狙った感性的質感から必要な
見え方や触り心地を求めて CG 表現する技術を実現します（図３）．さらに本技術を化粧素材のデザインへ応用する実証評価を行います．これらは感性的質感に関する認知メカニズムを明らかにするだけでな
く，CG やコンテンツの高質感化を進め，加えて感性的質感の優れた素材デザインといった，ものづくりのプリプロダクションプロセスへのフィードバックに寄与し，意匠性等の感性価値をさらに高めることが可能であると考えられます．

図１ 布の質感と印象と感性価値の関係を示した感
性的質感評価モデル

図３

感性的質感評価モデルの概念○研究成果
織布を題材として感性的質感モデルを構築しました．物理的要因の解析では，BSDF データと呼ばれる光の反射や透過の性質を解析して，ヒトの印象に寄与する因子を抽出しました．その結果，光の反射の強さや反射の拡がりの他，布の織り目構造（織り糸の方向性）による光の偏り等が印象に寄与していることが分かりました（図４）．
また印象評価実験では，プレ実験を経て収集された柔らかい，軽やか，ふんわりした等 14 語を用いた評価結果を分析して，布が静止した条件では薄厚感，ぼやけ感，なめらか感，ソフト感の 4 因子，布が動いたときの条件では同様に 3 因子を抽出しました．さらに感性価値要因に関する評価語には，美しい，高級感のある，上品な，清潔な，涼しげな，好き，素朴な，親しみのある等の 11 語を用いて，印

図２ 真珠の輝きのシミュレーションと化粧品のマーケティング調査への応用○研究の背景と目的「しっとりした」や「高級感のある」といった素材の高次の印象は感性的質感と呼ばれます．こうした感性的質感を数値化したり可視化したりするニーズ
は，ものづくりや芸術分野など多方面においてます
ます高まっています．
感性的質感には，主に３つの要素があります．１
つ目は素材表面の物理的特性（見え方や触り心地），52
52

雑な光学現象に起因します．われわれはベースメイ
ク料に真珠の輝きを応用すること考え、その光学現象を人の顔で再現した場合の視覚印象等に対する影響を検証しました。
まず、真珠の光の反射や透過の性質を BSDF データから解析して，真珠の特徴的な輝きがにじみ現象と干渉光現象からつくられることを明らかにしました．
次に CG シミュレーションを行い、真珠の輝きを持つ
人の顔の CG 画像（真珠肌 CG）を生成し，条件を変化させた複数の真珠肌 CG 画像に対して、215 名の女性被験者による目視評価を行いました。その結果、にじみ現象が合成されている CG 画像では、「魅力度」という感性価値と，「仕上がり感」「肌色の好み」「透明感」といった印象とが関係することが示されました(図２)．
本研究で得られた知見を設計指針として(図５)，
真珠のような美しい輝きを具現化するベースメイク
料のための新素材が開発されました．

(a) PC1(b) PC2○今後の展望感性的質感評価モデルの構築方法については，さらなる精緻化を図り，多くの要素の抽出や要素間の関係の定量化を行います．またより高次の感性価値や，低次の物理パラメータとの関係も明らかにするとともに，対象を広げて網羅性を高めます．個人差などユーザプロファイルとの関係についても引き続き研究を行います．
また産業界への展開としては，化粧品以外にも素材開発や製品デザイン，製品評価など多岐に渡る分野への適用が可能ですので，具体的な応用を進めて行きます．
さらに感性価値創造の研究領域において，質感に関連する様々な研究を行う予定です．

(c) PC3
図４ 光の強さと拡がり（BSDF データ）の PCA 解析
によって，第１主成分(PC1)が拡散反射，第 2 主成分(PC2)が正反射，第 3 主成分(PC3)が織り目構造であることが示された．

○関連する研究発表
1. Park L, Tobitani K, Katahira K, Nagata N: Analysis of
BRDF/BTDF for the texture representation of woven
fabrics based on the impression-evaluation model. Proc.
21th Korea-Japan Joint Workshop on Frontiers ofComputer Vision (FCV2015), Mokpo, Korea, We2_4,
2015.
2. 岡田明大，飛谷謙介，石田適志，朴理沙，長田典
子: ベースメイク料開発のための 3DCG 技術の活用～真珠の光学特性とユーザ評価との関連付け～. 日
本化粧品技術者会誌, 49(1), 22-31, 2015.
3. ナリス化粧品：産学共同研究で真珠の「にじみ」に着目。業界初“本物の真珠肌”を実現する新素材を開発. ニュースリリース, 2014.11.7.
http://www.naris.co.jp/company/20141107company

図５ 真珠の多層薄膜構造のシミュレーション（左）から，真珠特有ににじみを表現する BRDF データを推定し（右），設計指針とした．

象評価要因および物理要因との関係を求めて 3 層のモデルを構築しました(図 1)．印象要因層のない 2層モデルを構成し相関関係を比較したところ，印象
要因を介する 3 層モデルにおいて，より高い相関がみられました．このことから本方法の有効性を示すことができました．
また感性的質感モデルの方法を，真珠の輝きを与える化粧料（真珠肌のベースメーク料）の開発に応用しました．真珠の魅力はそのなめらかな輝きや奥深い光沢にあり，その輝きは多層層状構造による複

53
53

公募研究

A01

複合解像度型イメージングを用いた高質感映像の収集と表示に関
する研究
研究代表者

山口雅浩（東京工業大学 学術国際情報センター・教授）
沢やテクスチャーを含む分光動画像を収集し、質感を失うことなくディスプレイ上に再現する技術の開発を行いました。

図１ 複合解像度型分光イメージングに基づくリア
ルタイムでの色再現のようす。右の大きな手のひらの画像は分光的処理によって忠実な色をリアルタイムで再現した画像。左下の小さな画像は低解像度分
光画像から作成したカラー画像。右側の高解像度な
画像は各画素にスペクトルの情報を持っているので、画像中の一点をカーソル（＋印）で指定すると、左上のグラフのように物体の分光反射率を表示することができる。

○研究の背景と目的
映像システムにおいて、実物の質感をリアリティ
高くディスプレイ上に再現することは、究極の課題の一つといえます。そのためには、実物の色を忠実に再現することが必要ですが、従来の映像システム
で使われている赤・緑・青（RGB）の三原色だけでは実物の色を正しく再現することができません。これに対して、RGB 三原色に代えて、各画素に光のスペ
クトルの情報を持つ画像「分光画像」の技術を用いることが有効です。しかし、従来の分光画像技術では、高精細・高画質・動画像を取得・処理することが難しく、応用範囲が限られていました。また質感の再現のために重要な、光沢の輝きや色を正確に再現することが困難という課題もありました。
本研究では、このような問題を解決することを目的として、「複合解像度型分光イメージング」の手法を提案し、システムの試作を行いました。質感脳情報学の後期の研究では、この複合解像度型手法を用いて、簡易なシステムで高精細・高画質の分光動画像を撮影・処理して忠実な色再現を行う技術を確立することを目的としています。そして、高輝度な光○研究成果
映像収集技術としては、まず、これまでに開発を進めてきた複合解像度型分光イメージング技術に関して、ほぼリアルタイム（約１０フレーム／秒）での処理を実装しました。構築したシステム（図２）では、図１に示すように、分光画像からカラー画像を生成してリアルタイムで表示します。このとき、高解像度で表示された画像の各画素はスペクトルの情報を持っているので、任意の画素を指定すると、その画素のスペクトルを表示することが可能です。
また、特定波長の画像やスペクトルに基づく色強調
画像などに即座に切り替えて表示を行うことができます。分光動画像データは、画素数×波長チャネル
数の容量が必要なので、一般には莫大な容量になりますが、本システムでは高解像度 RGB 画像と低解像度分光画像の形で保存するので、比較的少ないデー
タ容量（高解像度 RGB 画像の 2 倍以下）で保存できます。このように、複合解像度型の手法を応用する
ことによって、一般的な PC の能力で十分に分光動画像の保存処理も可能になりました。

高解像度
RGB画像
LRSSカメラヘッド部
LRSS 分光器
画像センサー
RGBカメラスペクトルに基づく
色再現処理
推定マトリクス
狭帯域画像
スペクトル強調処理
照明スペ
クトル
推定マトリクス

撮影画像

低解像度
分光画像

忠実な色再現狭帯域画像
スペクトル強調画像
ディスプレイPC

高解像度RGB画像 +低解像度分光画像
保存装置

図２ 複合解像度型分光イメージングに基づく準リ
アルタイム処理システム。
また、高解像度分光画像の再構成精度を向上する
方法を検討しました。精度低下の原因として、高解像度 RGB 撮影を行うカメラの分光感度特性のモデル化誤差が挙げられます。そこで、重回帰分析を用いた再構成手法を適用し、これによって精度低下を回避できることを示しました。さらに本システムに適した分光画像再構成手法として、局所重みつき重回
帰分析に基づく分光画像再構成手法を新たに提案しました。そして、これまでに構築した複合解像度型
分光イメージングの実験システムを用いて実験を行54
54

と一致しているときに、確かにリアリティや色再現性に対するスコアが高くなることがわかりました。
今後より多くの条件でのデータを得ることによって、ディスプレイを感じさせない映像表示を実現できると考えられます。

った結果、精度向上の効果を確認することができました。
優れた質感再現のためには、高輝度な光沢やテク
スチャーを分光動画像として取得する必要がありま
すが、通常のカメラではダイナミックレンジが足りないため、高輝度な部分が飽和して色や輝度変化のようすが失われてしまいます。本研究では、17bitのダイナミックレンジを有するカメラを用いて複合
解像度型分光イメージングシステムを実装し、光沢部分を飽和しないように分光動画像として入力することができるようになりました。このようにして取得した高ダイナミックレンジの映像を通常のディスプレイに表示するには、ダイナミックレンジの圧縮（トーンマッピング）を行う必要があります。このときに光沢の色や輝きをできるだけ保つように階調圧縮を行う必要があります。前期の研究で、色の忠実性を失わないトーンマッピングとして、輝度に対して Reinhard の手法を適用し、色度は保存するような手法が適していることが示されています。しかし、
階調圧縮をする時のパラメータは、ユーザが手動で設定する必要がありました。本研究では、階調圧縮の程度を最適化するようなパラメータを自動的に定める方法を提案し、開発した分光動画像システムに適用し、その効果を確かめました。図３に実験結果の一例を示します。

低解像度
分光画像

RGB+トーンマッピング

図４ 背景の色の影響を調べるための主観評価実験に用いた実験系。被験者は実物を参考にしながら再現された映像を評価します。
○今後の展望本研究で開発した複合解像度型分光イメージング
システムは、簡易に高画質な分光動画像を撮影できるもので、分光画像の応用範囲を拡大する可能性を持っています。また高輝度な光沢部分の色についても忠実に入力できるため、つやのある布地や金属の光沢の再現性を高め、優れた質感を再現することが可能になります。今後、今までの分光画像技術では装置の大きさや画質の問題で適用が困難であった応
用分野において、高質感な再現が可能な分光画像技術の意義を実証し、リアリティの高い映像通信シス
テムや、より価値の高い映像コンテンツ作りを可能にしていく予定です。

複合解像度+トーンマッピング

図３ 金属光沢を含む画像の再現結果。高解像度 RGB
画像のみを用いたとき（中）は被写体の色が正しく再現できていないが、低解像度分光画像（左）を用いた複合解像度型処理を適用したもの（右）では、正しい色が表示され、かつ金箔などの光沢感が保たれています。
映像として再現された物体のリアリティや色・質
感は、ディスプレイ周囲の環境にも影響を受けます。
ディスプレイの周囲の色と、画像中の背景の色が一致していれば、被写体があたかも目の前にあるような印象を高めることができる可能性があります。そこでここでは、画像中の背景の色をディスプレイ周囲の色と一致させた時に、色再現性やリアリティを観察者がどのように知覚するか、主観評価実験によって調べました。この実験では、図４のように、被験者は実物を参照しながら映像の評価を行いました。
その結果、画像中の背景の色がディスプレイの周囲5555○関連する研究発表
1. Murakami Y, Nakazaki K, Yamaguchi M:
Hybrid-resolution spectral video system using
low-resolution spectral sensor, Optics Express vol. 22, 17,20311-20325, 2014.
2. Nakazaki K, Murakami Y, Yamaguchi M:
Hybrid-Resolution Spectral Imaging System Using
Adaptive Regression-based Reconstruction, Proc. ICISP
2014, Lecture Notes in Computer Science Vol. 8509,
142-150, 2014.

56
56