文部科学省科学研究費補助金
新学術領域研究

多元質感知News Letter No. 1
2016.10.26

多元質感知 NewsLetter No.1

目次
領域代表挨拶

i

計画研究 A01-1 信号変調に基づく視聴触覚の質感認識機構2

西田 眞也（NTT コミュニケーション科学基礎研究所・主幹研究員）
古川 茂人（NTT コミュニケーション科学基礎研究所・主幹研究員）
鈴木 匡子（山形大学大学院医学系研究科・教授）
柳井 啓司（電気通信大学大学院情報理工学研究科・教授）
計画研究 A01-2 質感知覚の神経基盤とその獲得および変容機構3

小松 英彦（自然科学研究機構生理学研究所・教授）
本吉 勇（東京大学大学院総合文化研究科・准教授）
下川 丈明（国際電気通信基礎技術研究所・脳情報通信総合研究所・研究員）
郷田 直一（自然科学研究機構生理学研究所・助教）
計画研究 A01-3 質感認知に伴う情動惹起の神経機構

4南本 敬史（量子科学技術研究開発機構・放射線医学総合研究所・チームリーダー）
本田 学（国立精神・神経医療研究センター神経研究所・部長）
鯉田孝和（豊橋技術科学大学・エレクトロニクス先端融合研究所・准教授）
計画研究 A01-4 コンピュータビジョンで実現する多様で複雑な質感の認識機構

5

佐藤 いまり（国立情報学研究所コンテンツ科学研究系・教授）
向川 康博（奈良先端科学技術大学院大学情報科学研究科・教授）
佐藤 洋一（東京大学生産技術研究所・教授）
Yinqiang Zheng（国立情報学研究所コンテンツ科学研究系・助教）
計画研究 B01-1 画像と言語を用いた質感情報表現のディープラーニング

7

岡谷 貴之（東北大学大学院情報科学研究科・教授）
山口 光太（東北大学大学院情報科学研究科・助教）
計画研究 B01-2 脳・画像・テキストデータマイニングによる質感情報表現の解明

8

神谷 之康（ATR 脳情報研究所・客員室長/京都大学大学院情報学研究科・教授）
計画研究 B01-3 視覚系における質感情報表現の階層的情報変換

9

大澤 五住（大阪大学大学院生命機能研究科・教授）
田村 弘（大阪大学大学院生命機能研究科・准教授）
佐々木 耕太（大阪大学大学院生命機能研究科・助教）
計画研究 B01-4 物理・知覚・感性の対応付けに基づく実社会の多様な質感情報表現
坂本 真樹（電気通信大学大学院情報理工学研究科・教授）

10中内 茂樹（豊橋技術科学大学大学院工学研究科・教授）
計画研究 C01-1 触覚的質感の記録再生技術

12

梶本 裕之（電気通信大学大学院情報理工学研究科・准教授）
岡本 正吾（名古屋大学大学院工学研究科・講師）
計画研究 C01-2 コンピュータグラフィクスによる質感表現技術

13

土橋 宜典（北海道大学大学院情報科学研究科・准教授）
岩崎 慶（和歌山大学大学院システム工学研究科・准教授）
岡部 誠（電気通信大学大学院情報理工学研究科・助教）
井尻 敬（立命館大学情報理工学部・講師）
藤堂 英樹（東京工科大学メディア学部・助教）
計画研究 C01-3 超多自由度照明による実物体の質感表現編集技術14

岩井 大輔（大阪大学大学院基礎工学研究科・准教授）
日浦 慎作（広島市立大学大学院情報科学研究科・教授）
計画研究 C01-4 実社会の多様な質感情報を分析・制御・管理する技術

15

岡嶋 克典（横浜国立大学大学院環境情報研究院・教授）
堀内 隆彦（千葉大学大学院融合科学研究科・教授）
富永 昌二（千葉大学大学院融合科学研究科・特任研究員）
公募研究 D01-1 質感知覚における輝度ヒストグラム部分情報と空間サイクル数の寄与

17

栗木 一郎（東北大学電気通信研究所・准教授）
公募研究 D01-2 フラッシュラグ効果を用いた質感処理過程の同定

17

塩入 諭（東北大学電気通信研究所・教授）
公募研究 D01-3 ヒトの触質感はなぜ多彩なのか？～非線形触質感喚起モデル～

18

野々村 美宗（山形大学大学院理工学研究科・准教授）
公募研究 D01-4 肌色空間の構築と肌質感認識のマッピングによる解析

18

溝上 陽子（千葉大学大学院融合科学研究科・准教授）
公募研究 D01-5 質感認知の異文化比較研究19

高橋 康介（中京大学心理学部・准教授）
公募研究 D01-6 身体や情動に訴えかけるセンシュアルな音響質感メディアの研究

19

仲谷 正史（北海道大学電子科学研究所・学術研究員）
公募研究 D01-7 振幅変調の概念に基づいた聴知覚における質感認識メカニズムの理解

20

鵜木 祐史（北陸先端科学技術大学院大学・准教授）
公募研究 D01-8 おいしさをつくりだす神経細胞集団の同定

20村田 航志（福井大学医学部脳形態機能学領域・助教）
公募研究 D01-9 高精度視覚質感記憶の心理学的基盤と神経機構の解明

21齋木 潤（京都大学人間・環境学研究科・教授）
公募研究 D01-10 細胞集団による質感情報の符号化，復号化，皮質表現21

藤田 一郎（大阪大学大学院生命機能研究科・教授）
公募研究 D01-11 ワンショットＢＲＤＦ計測と質感解析

22

長原 一（九州大学大学院システム情報科学研究院・准教授）
公募研究 D01-12 多様な感覚による質感認知の発達初期過程

22

山口 真美（中央大学文学部心理学専攻・教授）
公募研究 D01-13 チンパンジーにおける質感知覚・認知の総合的研究：比較認知科学の観点から

23

伊村 知子（新潟国際情報大学情報文化学部・准教授）
公募研究 D01-14 触覚の質感を表現するオノマトペの神経基盤

23北田 亮（自然科学研究機構生理学研究所・助教）
公募研究 D01-15 液体粘性知覚の神経メカニズムの解明

24

眞田 尚久（自然科学研究機構生理学研究所・特任助教）
公募研究 D01-16 新奇食品に対する感性的質感認知の解明－食用昆虫を例として－

24

和田 有史（農業・食品産業技術総合研究機構食品研究部門・主任研究員）
公募研究 D01-17 マーモセット大脳視覚皮質における光沢情報の処理過程

25

宮川 尚久（国立精神・神経医療研究センター神経研究所・研究員）
公募研究 D01-18 顔の質感情報の時間的コーディングの研究

25

菅生 康子（産業技術総合研究所人間情報研究部門・主任研究員）
公募研究 D01-19 咀嚼筋電音フィードバックを用いた食質感知覚メカニズムの解明

26

藤崎 和香（産業技術総合研究所人間情報研究部門・主任研究員）
公募研究 D02-1 錯触覚を利用したタッチパネル型多自由度標準触覚デバイス

26

嵯峨 智（筑波大学システム情報系情報工学域・准教授）
公募研究 D02-2 光線制御型エネルギー投影手法による質感プロジェクション基盤技術の構築

27

小泉 直也（電気通信大学大学院情報理工学研究科・助教）
公募研究 D02-3 高速ビジョン・プロジェクタに基づいた動的質感再現

27

渡辺 義浩（東京大学大学院情報理工学系研究科・講師）
公募研究 D02-4 タッチパネルのための Pseudo-haptics 生起手法の確立と質感設計への応用

28

鳴海 拓志（東京大学情報理工学系研究科・講師）
公募研究 D02-5 引箔を施した西陣織を題材とした見かけの BRDF 操作による革新的な質感

28

編集の研究
天野 敏之（和歌山大学システム工学研究科・准教授）
公募研究 D02-6 多波長・多方向光源による蛍光物体の質感編集
岡部 孝弘（九州工業大学大学院情報工学研究院・准教授）

29

領域代表挨拶
平成 27 年度より平成 31 年度までの 5 年の計画で，新学術領域研究「多元質感知」を進めています．これは，神経科学，心理学，情報科学を駆使して人間がものの質感を認識する仕組みを解明し，その知見を利用して革新的な質感技術を開発することを目指した学際的複合領域研究です．実質的に，平成 26 年度に終了した新学術領域研究「質感脳情報学」の後継プロジェクトになります．早いもので領域のスタートから一年以上経ち，この春から公募班メンバーも加わりました．
現在の領域の研究活動をより広い方に知っていただくために，ニュースレター第一号をお届けします．
われわれの領域の研究対象は質感認識です．前領域「質感脳情報学」は，国内に学際的な質感研究コミュニティを形成し，質感の科学の成長に大きな役割を果たしました．今回の「多元質感知」では，質感の科学をさらに発展させ，実世界に溢れる多様な質感の認識の原理と，その計算を実現する脳情報処理の仕組みを明らかにし，革新的な質感技術の開発に結び付けることを目指しています．計画班は三つの項目で構成されています．研究項目 A01「質感メカニズム」では，仮説検証型のアプローチにより，質感認識の計算原理とその神経機構を解析しています．物体の複雑な表面構造が生み出す光学的質感，音響的質感，質感が情動惹起する仕組みなどをおもな研究対象としています．研究項目 B01「質感マイニング」では，データ駆動型アプローチにより人間の質感認識機構に迫っています．深層学習などの統計的機械学習と脳情報解析技術を融合し，問題の多様化・複雑化にも対応可能な新しい質感研究パラダイムの確立を目指しています．さらに，この研究活動を実現するために，質感データベースの整備にも注力しています．そして，研究
項目 C01「質感イノベーション」では，質感認識の科学的研究の成果を，最先端のデジタルファブリ
ケーション・触覚工学・コンピュータグラフィックスなどに結び付けることにより，革新的な質感創成技術を開発し，実世界の多様な質感の制御を可能とする知見を質感工学として体系化することを目指しています．さらに，計画班だけではカバーできない幅広い関連テーマに関して，公募班が研究を展開するという布陣です．
このニュースレターを見て本領域の研究に興味が出てきた方は，是非「質感のつどい」のホームページ(http://www.shitsukan.jp/tsudoi/)」もチェックください．これはどなたでも参加できる質感研究者の集まりです．「質感のつどい」のイベントなどを利用して，領域内外の研究者を積極的に結び付け，質感研究の輪をどんどん広げて行きたいと考えています．ご期待下さい．

「多様な質感認知の科学的解明と革新的質感技術の創出」領域代表
NTT コミュニケーション科学基礎研究所
上席特別研究員 西田眞也
i

計画研究
A01 質感メカニズム

1

計画研究

A01-1

信号変調に基づく視聴触覚の質感認識機構研究代表者 西田 眞也（NTT コミュニケーション科学基礎研究所・主幹研究員）
研究分担者

古川 茂人（NTT コミュニケーション科学基礎研究所・主幹研究員）
鈴木 匡子（山形大学大学院医学系研究科・教授）
柳井 啓司（電気通信大学 大学院情報理工学研究科・教授）○ これまでに得られた成果【視覚】 (a)光沢感に関して，二次元画像の特徴量である輝度ヒストグラムの歪度が光沢感の有望な手がかりになるという主張に対して，物体表面の三次元形状を含む高次の情報が光沢感に影響するという反論がなされています．この議論を解決するために，画像を輝度勾配情報と輝度順序情報に分解して質感と形状の両方を推定する理論を構築中です．(b)
物体表面を濡れて見せるための画像変換を分析し，輝度ヒストグラムの増加，色彩度の増加に加えて，
画像エントロピーの高さが知覚に重要な画像特徴量
であることを明らかにしました．(c)髪の毛のような
視覚解像度より細かい要素でできあがったテクスチ
ャの細かさ知覚では，コントラストの低下に加えて輝度ヒストグラムの形状が重要であることを明らかにしました(文献 1)．(d)画像の動的変形から液体や
熱風，生物感を知覚するための画像特徴の同定を進めています．(e)iPad を用いた視覚実験環境の上で走る質感認識テストバッテリーを構築するプロジェ
クトを立ち上げました．高次脳機能障害者への検査利用を想定し，臨床的視点から，より使いやすい仕様へと改善を行っています（鈴木担当）．(f)プロジ
ェクションマッピングを使った実物体の見かけの動きの編集技術の開発を進めました(文献 2)．(g)畳み込みニューラルネットを用いたスタイル変換を質感に応用して，画像の質感操作を実現しました（柳井担当）．
【聴覚】聴覚にとって意味のある変調情報を同定するためには，実世界のさまざまな場面で遭遇する音を収録・分析する必要があります．この認識に基づいて，実耳装着型のマイクロホンを用いて環境音の収録を行い，分析を進めています（古川担当）．
【触覚】温度による材質認識に関する研究や，指先に与えられた振動情報の統合に関する研究を進めています．

図１．A01-1 班の研究体制○ 研究の背景
視覚的な質感情報は，光と物体の相互作用が生みだす画像特徴の複雑な変調パタンの中に埋め込まれています．たとえば，金属表面に映り込むシーンのボケ具合を変調すると，金属表面の質感ががらりと変わります．その際，映り込んでいるシーンは関係ありません．映り込み映像の変調の具合が表面の質感として解釈されます．同様のことは聴覚質感にも当てはまります．実世界においては，音源から発せられた音は，地面・壁・各種物体による反射・遮蔽・回折の影響を経て変調されて耳に届きます．この変調こそが，ひとの気配などの聴覚空間に関する質感知覚の源となります．触覚においても，数種類の機
械受容器の応答の複雑な時空間の変調パタンが触り心地などの質感を生み出していますし，冷たさや暖かさから感じ取る材質感も，絶対的な温度では無く，指先が感じる温度の時間変調のパタンが重要な手がかりとなります．

○ 関連する研究発表
1. Sawayama M, Shinya M, Nishida S: Perceptionof super-fine structures based on image intensity
statistics, Annual Meeting of Vision Sciences
Society, St. Pete Beach, USA, 17 May, 2016.
2. Kawabe T, Fukiage T, Sawayama M, Nishida S:
Deformation Lamps. ACM Transactions on
Applied Perception, 13(2), 1–17, 2016.

○ この研究の目指すもの
視覚，聴覚，触覚信号の変調パタンに埋め込まれた多様で複雑な質感情報を読み取る脳の仕組みを明らかにするために，各質感に結びついた変調情報を特定して，その抽出の仕組みを解明することを目します．さらに，質感認識の科学的理解に基づいて，
新たな質感操作技術の開発にも結び付けます．

2

計画研究

A01-2

質感知覚の神経基盤とその獲得および変容機構研究代表者 小松 英彦（自然科学研究機構生理学研究所・教授）
研究分担者

本吉 勇（東京大学大学院総合文化研究科・准教授）
下川 丈明（国際電気通信基礎技術研究所・脳情報通信総合研究所・研究員）
郷田 直一（自然科学研究機構生理学研究所・助教）で表現された情報がどのように行動に結びついてい
るのかについては分かっていません．本研究では主に大脳視覚野をターゲットとして，これらの問題の解明を進めます．
○ この研究の目指すもの
本研究ではこれまでの質感認知機能に関わる脳内情報処理の成果をベースにして，さまざまな質感に関わる情報が脳内でどのように表現され，学習や経験により質感の脳内表現がどのように影響されるかを明らかにすることを目指しています．また基本的な質感認知機能の結果，対象物に対する嗜好や情動が生み出されます．このような質感認知における感性的な側面も視野に入れた研究を進めます．そのために，ヒトとサルを用いた心理・行動実験により質感処理に関わる刺激特徴やその状況依存性を調べます．またサルとヒトの脳活動計測により，質感に関わる情報の脳内表現と脳内ネットワークの解明を進めます．
○ これまでに得られた成果
さまざまな素材の実物体を見て触る課題をサルに２か月間行わせ，その前後で素材を表現する脳活動のパターンを機能的ＭＲＩで計測して比較しました．
その結果，サルの視覚野における素材の脳内表現が，見て触れる経験を積むことにより，素材の手触りの印象をよりよく反映した脳活動パターンに変化することが明らかになりました．また，表面質感に対するヒトの嗜好と嫌悪の判断が非常に素早く行われることを示す心理物理学的データが得られました．

図１．(A) 素材の実物を触る経験の前後でサルの脳活
動を fMRI で測定した．(B) 下側頭皮質後部の活動パターンが経験前後で変化した．(C,D)経験後の活動パター
ンはヒトの素材印象と類似していた．

○ 関連する研究発表
1. Goda N, Yokoi I, Tachibana A, Minamimoto T,
Komatsu H: Crossmodal association of visual andhaptic material properties of objects in themonkey ventral visual cortex. Curr Biol
26:928-934, 2016.
2. Motoyoshi I & Mori S: Image statistics and theaffective responses to visual surfaces. Annual
Meeting of Vision Sciences Society 2016, Florida,
USA, 2016.

○ 研究の背景
質感認知の基本的な機能には素材を分類する機能と，特定の質（光沢や半透明など）の程度を区別する機能が含まれます．光沢や半透明などの基本的な視覚質感については，これまでの心理物理学的研究
により，関係する刺激の特徴が明らかになりつつあ
ります．また光沢や素材識別に関係すると考えられる脳部位の探求が脳機能イメージングや電気生理学
実験で行われ，腹側高次視覚野がこれらの機能に関係があることが示されつつあります．しかし，そのような情報が初期視覚野からどのような階層的な処理によって取り出されているのか，また高次視覚野

3

計画研究

A01-3

質感認知に伴う情動惹起の神経機構研究代表者 南本 敬史（量子科学技術研究開発機構・放射線医学総合研究所
研究分担者
研究分担者

・チームリーダー）
本田 学（国立精神・神経医療研究センター神経研究所・部長）
鯉田 孝和（豊橋技術科学大学・エレクトロニクス先端融合研究所・准教授）
響を特定することで，感性的質感認知における情動・感性系の神経回路，分子，両者の相互作用を明らかにします．特定の神経回路の神経活動を薬物で遠隔的に ON/OFF できる画期的な化学遺伝学的手法である「DREADD-CNO 法」を用い，イメージング等と組み合わせた解析を進めます（南本）．一方，別のアプローチとして(2)特定の情動反応に影響を与える質感属性を特定して，それが辺縁系にどのように作用するかを明らかにします．人間の可聴域上限をこえる超高周波により音の感性的質感認知が顕著に向上する現象〈ハイパーソニック・エフェクト〉に着目し，聴覚における強い効果をもたらす刺激属性を抽出，動物実験でその効果の検証を行ないます（本田）．また視覚においては，明るく鮮やかなシーンや画像が好まれる現象に着目し，ヒトとサルを対象とした心理・神経生理学実験を通じて脳の仕組みの理解を目指します（鯉田）．
これらの取り組みにより，他班における質感刺激やその呈示法など領域内でのリソースを積極的に利用した学際的研究による成果が期待できます．これ
らの成果を通じて，質感の感性的な側面の客観的評
価方法の確立や，質感向上のための属性パラメータの特定など，質感評価・再現技術に重要な情報を提供できることが期待されます．

図１．サル脳神経回路の化学遺伝学的な操作により，嗅皮質−前頭眼窩野の回路が視覚による価値判断に必須であることが明らかとなった（文献１）．
○ 研究の背景
私たちは知覚した感覚情報に伴って「美しい」「すばらしい」と感じる感性や価値判断，そして「快い」などといった情動反応（感性的質感認知）が生じます．多様で複雑な現実世界の質感から，私たちはどのような属性を頼りに特定の情動反応を引き起こしているのか？この感性的質感認知の謎を解き共通原理を理解できれば，世界をより豊かにし，日常を心
地よいものに導けるかもしれません．これらを紐解
く鍵はきっと私たちの脳の中にあるはずです．
これまでの研究から，私たちが受け取った複雑な感覚情報は，最終的に情動や価値判断を担当する「辺縁系」と呼ばれる部位で処理され，快楽や価値に関係するドーパミンや，気分や感情と関係するセロト
ニンといったモノアミンとの相互作用の結果，特定の感情や情動が生じると考えられています．しかし，神経回路と分子との相互作用の仕組み，そしてどの
質感属性が特に辺縁系に働きかけて特定の情動反応を引き起こすかについて，詳しくは分かっていません．

○ これまでに得られた成果
化学遺伝学的手法「DREADD-CNO 法」を世界に先駆けてサルに適用し，内側側頭葉の嗅皮質と前頭眼窩皮質との神経連絡を薬物で遠隔的に遮断することで視覚に基づく価値の評価・判断に障害を引き起こすことを明らかにしました（文献１）．この経路が視覚に基づく価値判断に必須であることを示すとともに，質感認知に伴う価値判断や情動反応に関わる神経回路の同定に，この手法が非常に有効であることを示す結果です．
○ 関連する研究発表
1. Eldridge MA, Lerchner W, Saunders RC,
Kaneko H, Krausz KW, Gonzalez FJ, Ji B,
Higuchi M, Minamimoto T, Richmond BJ.:
Chemogenetic
disconnectionofmonkeyorbitofrontal and rhinal cortex reversibly disrupts
reward value. Nature Neurosci. 19: 37-39, 2016.

○ この研究の目指すもの
私たちのグループは，感性的質感認知における脳の基本的な仕組みを明らかにすることを目的とします．そのため，(1) サルをモデルとして特定の脳回路や分子機能を操作して価値判断や情動行動への影

4

計画研究

A01-4

コンピュータビジョンで実現する多様で複雑な質感の認識機構研究代表者 佐藤 いまり（国立情報学研究所コンテンツ科学研究系・教授）
研究分担者

向川 康博（奈良先端科学技術大学院大学情報科学研究科・教授）
佐藤 洋一（東京大学生産技術研究所・教授）
Yinqiang Zheng（国立情報学研究所コンテンツ科学研究系・助教）進められてきました．その一方で，物体表面の微細構造に起因する表面下散乱，内部散乱，異方性反射，
構造色，相互反射といった複雑な光学現象に起因す
る質感を効率的に記録・再現・加工する手法は未だ確立されていません．
○ この研究の目指すもの
本研究では，実物体表面・内部の微細な構造に起因して発生する複雑で多様な質感を対象として，人間の質感知覚と関連が深い光学現象を解明すること
で，質感知覚と関係する光学特性を近似するモデルを提案し，質感知覚に基づく質感の効果的なモデル化技術の実現を目指しています．複雑な構造を持つ
実物体を対象に，下記の３つの研究項目に従って，複雑で多様な質感をモデル化する手法の開発を目指しています．
1.物体表面で観察される光学要素の分離計測
2.光学特性と質感知覚関係の解明
3.質感知覚の解明に基づく質感モデリング

直接反射○ これまでに得られた成果
実物体の観察に基づき，物体の直接反射成分（物
体表面における一次反射），物体の透過性など物体の内部構造に起因する間接反射成分（物体内部，物体表面における多重反射），物体表面の鏡面反射（艶具合）や拡散反射などの詳細な要素を分離計測可能な技術を開発しています．

相互反射

図
１．実物体の様々な光学現象の解析を通して，物体表
面の微細構造により生まれる多様で豊かな質感のモデル化を目指します．箱の見えを直接成分（光源からのを光を受けて反射する１次反射成分）と箱内の相互反射成分に分離した例．

○ 関連する研究発表
1. K. Tanaka, Y. Mukaigawa, H. Kubo, Y.
Matsushita, Y. Yagi, "Recovering Inner Slices ofTranslucent
Objects
byMulti-frequency
Illumination", Proc. IEEE CVPR, 2015.
2. Y. Zheng, Y. Fu, A. Lam, I. Sato, and Y. Sato.
“Separating
Fluorescent
andReflective
Components by Using a Single Hyperspectral
Image”, Proc. IEEE ICCV, 2015.
3. Y. Fu, A. Lam, I. Sato, T. Okabe, and Y. Sato,“Separating
Reflective
andFluorescent
Components using High Frequency Illuminationin the Spectral Domain” IEEE Trans.
PAMI, 38(5) 965-978 2016.

○ 研究の背景
草花の透明感，果物のみずみずしさ，絹織物の輝きなど，身近でありながらも従来型の反射モデル式を用いての計測と再現が容易ではない反射特性を持
つ物体が多数存在します．光沢・艶具合などの光学特徴がもたらす質感については，光学物理現象を記述する反射モデルが提案され，そのモデルに基づき
実在物体の反射特性を推定し，コンピュータグラフ
ィックス（CG）により再現する手法の開発が活発に

5

計画研究
B01 質感マイニング

6

計画研究

B01-1

画像と言語を用いた質感情報表現のディープラーニング研究代表者 岡谷 貴之（東北大学大学院情報科学研究科・教授）
研究分担者

山口 光太（東北大学大学院情報科学研究科・助教）

IN PU Tag ed

c o ldc le a n

f r a g ile

g lo s s

IN PU Tb e a u tif u l

hard

tr a n s p a r e n t

f r a g ile

s tic k y

葉（意味）を超えた心理的な表象であり，個人差や主観の排除も難しいからです．
そこで本研究では，物体カテゴリ認識など，大量のデータを容易に準備できるタスクをディープニュ
ーラルネットに学習させ，そこで獲得される内部表
現（≒入力画像に対する中間層の活性パタン）をマ
イニングし，質感を表現する特徴の空間を構築しようとしています． 核となるアイデアは，多層のニュ
ーラルネットワークに質感認識の「代理タスク」を学習させ，獲得される内部表現を元に，質感の表現
空間を構築することにより，質感表現のマイニングを行うというものです．
言葉で表しにくいがゆえに人と人，あるいは人と機械の間での伝達が難しかった質感を「数値化」し，工業デザインの効率化（＝製品の試作や実物目視の必要性を排除）や，ウェブの検索サイト等での情報取得や，E-コマースでの商品推薦の精度向上を狙い
ます．

図１．画像のどの部分がどういう形容詞で表現されるかの表示．左上の画像に対し，各形容詞の程度が強い場
所が赤く，弱い場所が青く表示されています．
○ 研究の背景
人は画像に写るシーンや物体を見て，様々なことを理解し，感じ取ることができます．同じことをコンピュータで行えるようにすることは，人工知能（AI）
研究の基本課題です．最近の研究の進展により，この課題は解決へ向けて大きく前進しました．しかしながら，画像に写る物の質感を人と同じように理解することは，未だに AI には難しいことです．本研究では，視覚による質感理解が人にとってたやすく，
かつ日常の生活に欠かせないことを踏まえ，質感を認識するシステムを実現しようとしています．
○ この研究の目指すもの
画像からそこに写る物の質感をコンピュータが認識するシステムの実現を目指し，大規模な画像デー
タを用いたディープラーニング（深層学習）により，質感情報の表現空間を構築しようとしています．
最近の AI の進展は，大量のデータを用いた機械学習に支えられています．質感認識の難しさは，同じような学習用のデータを得ることが容易でないことです．質感とは，人でもしばしば言語化が困難な，言○ これまでに得られた成果
画像１枚からそこに写る物の質感を，いくつかの
形容詞について認識するシステムを実現しました．
具体的には，質感に関わる形容詞を予め選んでおき，
入力画像からその形容詞の尺度で人が受ける印象を再現します（図 1）．このシステムは，サンプル画像群に対し，人が各形容詞の尺度を与えたデータを元に，深層学習を用いることで実現しています．
また，ウェブの大量データを用いて，質感を表現する語彙を自動的に発見するシステムを実現しました．インターネットで様々な商品を販売するサイト
を対象に，そこに掲載されている商品の画像およびその紹介文（テキスト）を使います．商品の画像の内容と，商品の紹介文に登場する語彙との間の相関を調べることで，画像の内容（＝質感）をよく説明する語彙を選び出します．画像の内容は，上述の画像特徴を用いて取り出しています．
○ 関連する研究発表
1. Vittayakorn S, Umeda T, Murasaki K, Sudo K,
Okatani T, Yamaguchi K, Automatic Attribute
Discovery with Neural Activations, In Proc.
European Conference on Computer Vision, 2016.
2. Liu X, Ozay M, Zhang Y, Okatani T, Learning
Deep Representations of Objects and Materials forMaterial Recognition , Vision Sciences Society
Annual Conference, 2016

7

計画研究

B01-2

脳・画像・テキストデータマイニングによる質感情報表現の解明
研究代表者 神谷 之康（ATR 脳情報研究所・客員室長/京都大学大学院情報学研究科・教授）

図１．多様な質感の情報表現を探るデータ駆動型アプ

す．質感に関連する単語やフレーズでタグ付けされた大規模画像データを用いて，質感概念に関連する
画像特徴をコンピュータビジョンやディープラーニ
ングの手法を用いて抽出します．次に，これらの要素特徴を脳活動パターンから予測するデコーディン
グ解析を行い，脳活動パターンが質感特徴や概念をどのように表現しているかを解明します．さらに，デコード（予測）された特徴ベクトルから，画像や質感の同定・再構成を実現する方法を開発し，脳に表現される質感要素特徴がどのようにしてトータル
な質感認知を生み出すかを解析します．
この方法は，特定の物理パラメータを操作して質感認知のメカニズムを探る従来の手法と異なり，データ駆動的に質感特徴を抽出して脳情報表現と対応づける点でこれまでにないユニークなアプローチであり，ブレイン・デコーディングやディープラーニ
ングの近年の進歩によって初めて可能になったものです．

ローチ○ 研究の背景
質感は言語表現とも結びついた複雑な情報構造をもつと考えられ，少数の物理パラメータを用いて包括的に特徴づけることは困難であることが予想されます．従来の方法で特徴づけるのが困難な質感脳情
報表現を理解するには，大規模脳・画像・テキスト
データのデータマイニングにもとづくアプローチが有効であると考えられます．
研究代表者のグループはヒトの脳イメージングデ
ータを用いた「ブレイン・デコーディング法」を提唱し，機械学習にもとづく脳画像パターン認識により視覚イメージ情報を解読する数々の新手法を開発してきました．近年，コンピュータビジョンで用いられている画像特徴やニューラルネットワークを用いて，脳活動パターンから任意の物体カテゴリーを予測する方法（「一般物体デコーディング」）の開発を進めています．本課題では，このアプローチを質
感情報の解読に適用します．

○ これまでに得られた成果
これまでに，大規模画像データベースを用いて訓練したディープニューラルネットワーク（DNN）の階層的特徴を fMRI 脳活動パターンから予測（デコード）することに成功し，予測特徴ベクトルから任意の物体を同定する方法を確立しました．DNN の
各階層の特徴は，大脳視覚野の階層的情報処理と対応する形で予測できることが示されました．また，物体を想起している時の脳活動から，物体に共通す
る階層的画像特徴を予測できることもわかりました．
現在この枠組みをベースとして，質感に関連する
DNN 特徴の同定と fMRI 脳活動パターンからのデコーディング解析を行っています．また，質感画像や言語ラベルを用いて課題に最適化された多様な
DNN モデルを構築することで，質感に固有な情報表現の解明を進めています．

○ この研究の目指すもの
本課題では，大規模画像・テキストデータから抽出した質感概念に関連する画像・言語特徴と，機能的磁気共鳴画像（fMRI）信号を用いたブレイン・デ
コーディングを組み合わせ，脳に表現される質感特徴をデータ駆動的に発見・利用する方法を開発しま○ 関連する研究発表
1. Horikawa, T. & Kamitani, Y. Generic Decodingof Seen and Imagined Objects using HierarchicalVisual Features. arXiv:1510.06479, 2016.

8

計画研究

B01-3

視覚系における質感情報表現の階層的情報変換研究代表者 大澤 五住（大阪大学大学院生命機能研究科・教授）
研究分担者

田村 弘（大阪大学大学院生命機能研究科・准教授）
佐々木 耕太（大阪大学大学院生命機能研究科・助教）
担う腹側経路の領野から取得し解析する．さらに，両経路をまたいで共通に適用可能な刺激手法を開発
し，両経路の相互作用と質感情報の統合についての解明を目指す．様々なアプローチで研究を行っているが，中でも両眼立体視の高精度化を実現するメカ
ニズムを最近発見したのでこの研究について以下に記す．
視覚系は階層的である．近年注目されるようになった人工のディープニューラルネットでは，フィル
タリングとプーリングの階層的繰返し構造が注目されているが，実際の大脳の最初の視覚野である一次視覚野でのプーリングに着目し，それがもたらす細胞特性への影響に興味を持った．フィルタリングは，
大脳以前の細胞には存在しない新たな方位などの視覚特徴への選択性を作り出すが，プーリングに関しては，その役割はよく研究されてはいなかった．
○ この研究の目指すもの
一次視覚野の複雑型細胞におけるプーリングの程度を，多くを仮定しないサイン波の縞模様（グレーティング）を様々な組み合わせで左右眼に網羅的に提示することにより，マイニング的なアプローチで解析した．それにより，細胞の両眼立体視に関するニューロンの選択性を調べることができる．従来から調べられてきた，両眼視差（両眼画像間の位置ず
れ）に対する選択性だけでなく，両眼刺激の方位や空間周波数の一致度に対する選択性がプーリングによりどのような影響を受けるのかを調べた．

図１．両眼立体視の高精度化のメカニズム．V1 細胞のプーリングにより左右刺激パラメータの整合性がより強く要求される．
○ 研究の背景
本研究はおもにデータ駆動型アプローチを用いて
質感情報処理を単一細胞の神経活動と対応づけて理解することを目的とする．階層的に構成された視覚系において，質感にかかわる情報処理過程を，主として神経細胞レベルでの電気生理学および心理物理学的手法により解析する．中間段階の視覚領野における質感情報の担われ方には未知な点が非常に多い
ため，少数の可能性に特化した仮説やモデルを検証する従来手法は限定的にしか使えない．このため，
データ駆動のマイニング的なアプローチが必要である．すなわち，自然画像による刺激だけでなく，特定の仮説やモデルに強く特化しない視覚刺激として，
画像統計量を体系的に操作した刺激や，視覚情報の起点である一次視覚野（V1）の細胞が担う情報の集合として生成したランダム人工刺激を使用する．V1から高次の視覚野までのデータを，物体位置や運動情報を主として担う背側経路と，形状や物体認知を

9○ これまでに得られた成果
図１C は単位両眼視差検出器の(X,Y)視野空間におけるプーリングを示すが，さらに空間周波数と方位パラメータを追加した V1 空間に拡張した．このプーリングにより，細胞のパラメータの両眼一致度に対する選択性が全パラメータについてよりシャープになることを発見した．プーリングという簡単なメカニズムが両眼立体視の高精度化に寄与している．
○ 関連する研究発表
1. Kato D, Baba M, Sasaki KS, Ohzawa I. Effects
of generalized pooling on binocular disparity
selectivity of neurons in the early visual cortex.
Phil. Trans. R. Soc. B. 371: 20150266, 2016.
2. 大澤五住 . 神経科学者からみた Deep Neural
Network (DNN), 第 39 回 日 本 神 経 科 学 大 会
2016.07.22. パシフィコ横浜（横浜）

計画研究

B01-4

物理・知覚・感性の対応付けに基づく実社会の多様な質感情
報表現研究代表者 坂本 真樹（電気通信大学大学院情報理工学研究科・教授）
研究分担者

中内 茂樹（豊橋技術科学大学大学院工学研究科・教授）○ この研究の目指すもの「さらさら」というオノマトペでカテゴリ化される異種素材（例えば紙や布）に共通する物理特徴や視触覚に関する知覚表現と感性表現との関係性を把握していきます．さらに，経験や嗜好，価値判断などに起因する感性データの個人差を表現可能な物理
特徴−知覚表現−オノマトペマッピングモデルを構築することにより，感性的質感に基づく素材推薦など，個性適合型モノづくりの基盤技術を提案したいと思います．この目的を実現するために，実素材サ
ンプルを中心に収集し，各素材に対する知覚・オノ
マトペ表現を被験者実験で収集し，データベース化
します．物理特徴↔知覚評価↔オノマトペの関係性について，坂本は実験で取得したデータをオノマト
ペ関連システムで，中内は正準相関分析をはじめとした統計的手法で解析します．

図１．(上) 紙の専門家へのヒアリングで作成した紙の質感を表すオノマトペ分布図. (下) 木の専門家へのヒアリングで作成した木の質感を表すオノマトペ分布図.
○ 研究の背景
人は世の中の様々な物理特性を持つ物の質感を知覚し，感じたことを「さらさらして気持ちいい」といったオノマトペで表現します．研究代表者坂本は，人が感性的質感を直感的に表すオノマトペの微細な意味を，視触覚や快不快などの感性に関する 43 種類の形容詞尺度ごとに定量化するシステムなどを開発してきました．研究分担者の中内は，様々な材質でできた実物の質感サンプルを用いて，我々の材質判
断の時間特性を明らかにするとともに，熟練者と一般人の真珠評価について比較実験を行ってきました．
本研究では，多様な質感に対する物理特徴，知覚表
現，感性表現であるオノマトペを，実社会の様々な実例から掘り起こし，それらの対応関係を同定・蓄積することで共有化する仕組みを実現します．

10○ これまでに得られた成果
物理特徴↔知覚評価↔オノマトペの関係性を解析する手法については，坂本は，物理特徴とオノマトペの関係性を解析する方法として，音象徴語・物理特徴情報提供装置（特願 2015-178379）を開発し，プ
ロトタイプを実装しました．中内は，実験で取得した知覚表現とその材質情報およびオノマトペのデー
タから，材質特有のオノマトペが知覚にも対応することを示しました．また，坂本は，連携研究者の渡邊とともに，素材とオノマトペの関係性の個人差を簡便な手法で可視化できるシステムを開発しました．
さらに，木，紙，布を取り扱う専門家へのヒアリングを行い，各 50 種類程度の素材の収集と質感を分類するオノマトペなどの言葉の調査を行いました．取集したオノマトペをオノマトペで表される感性的印象を数量化するシステムで解析した二次元分布図として可視化した結果が冒頭図に示されています．
○ 関連する研究発表
1. Sakamoto M., Watanabe J.: Cross-Modal
Associations between Sounds and Drink
Tastes/Textures: A Study with Spontaneous
Production of Sound-Symbolic Words, Chemical
Senses, 4(3), 197-203, 2015
2. 坂本真樹，田原拓也，渡邊淳司：オノマトペ分布図を利用した触感覚の個人差可視化システム，日本
バーチャルリアリティ学会論文誌，21(2), 213-216,
2016

計画研究
C01 質感イノベーション

11

計画研究

C01-1

触覚的質感の記録再生技術
研究代表者 梶本 裕之（電気通信大学大学院情報理工学研究科・准教授）
研究分担者

岡本 正吾（名古屋大学大学院工学研究科・講師）

を組み合わせ，触感生成の面から最適化する手法を構築します．
○ これまでに得られた成果
触感の構成要素の解明に関しては，現在までに指先皮膚が凹凸テクスチャ面上を移動した際の皮膚水
平変位を高速に捉えるシステムを構築しました．テ
クスチャ素材とほぼおなじ屈折率のシリコンオイルを 用 い て 凹 凸 に よ る 画 像 の 歪 を な く し （ index
matching），指先皮膚のマーカーをトラッキングするシステムを構築しました．現在さらに，計測した
皮膚時空間変位パタンを再現するための水平振動型の触覚ディスプレイを開発中で，この記録と再生の組み合わせによって触覚的質感の再現，および要素同定が可能となると考えています．
さらに現在，皮膚垂直変位に関して，粘性感の定量化にも取り組んでいます．粘性感の測定は皮膚上の負の力を計測する必要が有るためこれまで実現されていませんでしたが，圧力分布センサと同じ密度に棒を並べて予圧を加えるというシンプルなアイデ
アで計測できることを原理的に確認しています．
タッチパネルによる触感表現については，現時点
でタッチパネルの触覚提示手段として合理的と思われる機械的変位を提示するタイプ（Active type，エネルギー供給型）と，パネルに帯電した静電気によって摩擦を提示するタイプ（Passive type，エネル
ギー消費型）を組み合わせ，触感生成の面から最適化する手法の構築を目指しています．この二つのタ
イプの触感提示原理は，提示可能な触刺激の性質が相補的であることから，両者を併用することで高品
質な触感刺激を提示することが可能になると考えています．まずは素材の触感（テクスチャ）を対象として両タイプの触刺激の特性を活かした触感提示手法を開発しています．

図１．触覚的質感の計測，解明とタッチパネルへの実応用○ 研究の背景
触感の自在な提示は情報端末分野を中心に現在産業界の高い関心を集めています．しかし実現されている触感表現は記号的な触覚提示にとどまり，質感を表現できるレベルに達していないのが現状です．
この原因は，第一に指先を皮膚の知覚能力以上に高い時間・空間分解能で刺激するハードウエアがな
いこと，第二にその結果として触感表現に関する探索が時間波形と空間パタンに分離して議論されており，刺激の時空間特徴に関する視点が不足していることであると考えられます．
○ この研究の目指すもの
本研究は次の二点を目指しています．第一は触感の構成要素の解明です．時間的，空間的に高い解像度を実現する計測装置を開発し，触感を構成する時
空間的特徴量を観察により明らかにすると共に，機械的な刺激装置で再現することによって確認します．
第二の目的は産業界からの期待の大きいタッチパ
ネルにおける触感表現の最適設計論の構築です．タッチパネルですでに提案されている複数の提示手段

12○ 関連する研究発表
1. Kaneko, S., Kajimoto, H.: Method of observing
finger skin displacement on a textured surface
using index matching. Haptics: Perception,
Devices, Control, and Applications LNCS9775, pp
147-155, 2016.
2. Higashi, K., Okamoto, S., Yamada, Y.: Effects ofmechanical parameters on hardness experienced
by damped natural vibration stimulation.
Proceedings of IEEE Int. Conf. Systems, Man, andCybernetics, pp. 1539-1544, 2015.

計画研究

C01-2

コンピュータグラフィクスによる質感表現技術研究代表者 土橋 宜典（北海道大学大学院情報科学研究科・准教授）
研究分担者

微細構造

岩崎 慶（和歌山大学大学院システム工学研究科・准教授）
岡部 誠（電気通信大学大学院情報理工学研究科・助教）
井尻 敬（立命館大学情報理工学部・講師）
藤堂 英樹（東京工科大学メディア学部・助教）

CGでは，画像だけでなく，音響的な質感の計測と再現も目指しています．将来的には，CG によって精密に再現された質感とその計算に関わる物理現象や物
理パラメータの関係を解析し，質感認知のメカニズムの解明とその工学的な応用を目指しています．

実写○ これまでに得られた成果
複雑な構造を持つ物体の質感の再現に関して，果物や植物の形状モデリングと反射関数の推定に関する研究を行いました．CT を用いてリンゴ，みかん，
花などの形状計測を行い，CG 表現に適した形状モデルを生成する手法を開発しました．また，対象物をカメラにて撮影し，表面のテクスチャ（色や模様）を効率的に抽出する手法の開発も行いました．さらに，マクロな形状だけでなく，レーザ顕微鏡を用いたミクロな形状の計測を行い，そこから反射関数を予測する仕組みについても研究を行いました（図参照）．これらによって，非常にリアルな CG 映像を作成することが可能となりました[1]．
リアルな CG 画像の生成は膨大な計算コストが必要なため，これを削減する方法に関する研究も行いました．特に計算コストの高い光の散乱現象について，効率化を行う方法を開発しました．既存手法に比べて，数十倍に高速化を実現しました．
音響的な質感に関する研究にも取り組んでいます．
具体的には，食材の切断音の計測と解析，食材の経
過日数と音響特性の関係の解明などの研究に取り組んでいます[2]．また，応用研究として，質感のイラ
スト表現や実写の質感を CG 画像へ転送する研究などにも着手し始めています．

応用例
図１．上段：（左）リンゴ表面の微細構造，（中央）推定した反射関数を用いて生成した CG 画像，（右）実写．下段：実際的なシーンへの応用例（CG 画像）○ 研究の背景CG において，リアルな画像の生成は重要な研究
課題の一つであり，さまざまな計算方法が開発されています．しかし，食べ物や植物，生物など，複雑な構造をもつ物体の表現は十分とは言えません．本
グループでは，このような複雑な物体の構造と質感を計測し，CG による精密な再現とその応用に関する研究を進めています．

○ 関連する研究発表
1. Dobashi Y, Ijiri T, Todo H, Iwasaki K, Okabe M,
Nishimura S: Measuring Microstructures Using
Confocal Laser Scanning Microscopy for
Estimating Surface Roughness, ACM SIGGRAPH
2016 Posters, Article No. 28, Anaheim, USA,7.24-28, 2016.
2. Kojima T, Ijiri T, Kataoka H, White J,
Hirabayashi A: CogKnife: Food Recognition from
Their Cutting Sounds, CEA 2016: 8th Workshop
on Multimedia for Cooking and Eating Activities,
Seattle, USA, 7.15, 2016

○ この研究の目指すもの
CG によって，複雑な構造を持つ物体を精密に再するためには，まず，現実を知らねばなりません．
そこで，CT 装置を用いて複雑物体の３次元構造を取得します．しかし，CT によって計測できるのは，形状に関する情報のみです．そこで，CT 計測と同時に，対象物の画像を撮影し，質感（すなわち，光の反射や散乱）に関する情報を計測します．これらの計測データに基づき，計算機によって光の反射や散乱を物理現象に忠実に再現し，対象物の形状と質感を精密に再現した CG 画像を作成します．また，本研究

13

計画研究

C01-3

超多自由度照明による実物体の質感表現編集技術研究代表者 岩井 大輔（大阪大学大学院基礎工学研究科・准教授）
研究分担者

日浦 慎作（広島市立大学大学院情報科学研究科・教授）○ この研究の目指すもの
本研究課題では，ディスプレイ技術と D-Fab 方式
を融合し，それぞれ単体では実現できないレベルの高い再現性および自由度での質感表現を目指しています（図 1）．具体的には，ユーザが望みの表面質感を指定すると，それに最も近い実物をマルチマテリ
アル 3D プリンタ（領域共有資産）や切削ラピッド
プロトタイピングマシンを用いて出力できるよう，
多自由度照明とコンピュテーショナルフォトグラフ
ィ技術を組み合わせた技法で較正する質感較正技術を開発します．さらに，その出力物体から反射されて観察者の眼に届く光を，プロジェクタ等の多自由度照明で光線場を制御することで変調し，視覚的質感を修飾する質感編集技術を開発します．

図 1．多自由度照明と D-Fab 技術を組み合わせた質感
編集と D-Fab 装置の質感較正○ これまでに得られた成果
上記の二つの具体的な目的の内，後者の質感編集に関して得られた成果について述べます．プロジェ
クタからの映像を D-Fab 出力に適切に投影するためには，位置合わせが重要な技術課題となります．フルカラー3D プリンタやマルチマテリアル 3D プリン
タより複数の色や素材を同時に出力できる点に着目
し，投影対象を出力する際に，同時に位置合わせ用の目印（マーカー）を異なる色もしくは素材で印刷する技法を提案しました（図 2）．このマーカーをカメラで撮影することで出力物のプロジェクタに対する位置姿勢を求めることができ，投影画像を正確に位置合わせできるようになります．一方，このマーカーはそのままだと投影後に浮かび上がってきてしまい，投影画質を劣化させてしまうことから，それを映像投影によって視覚的にキャンセルする技術も同時に開発しました．

図 2．3D プリンタによる位置合わせ用マーカー埋込みとその投影結果○ 研究の背景
質感認識の解明には，多様で複雑な質感を人工的に制御し表現できるディスプレイが不可欠です．物
体表面で反射する光の分布は物体に入射する光の方
向や配置によって複雑に変化します．個々の物体の豊かな質感をもたらしているこの光線の入出力関係
を，正確に再現したり，意図に応じて変更を加える(編集する)技術が求められています．
しかしながら，従来のディスプレイ技術では，質感呈示に十分な解像度で光線を再現することは困難でした．一方，コンピュータグラフィクス分野では
近年，3D プリンタや切削加工機等のデジタルファブ
リケーション(D-Fab)装置の出力を最適化して，実物の反射特性を再現する研究が高い関心を集めています．しかしながら，D-Fab 装置の空間解像度や扱える素材数の制約から，呈示できる質感空間は限定的で，出力後その質感を編集できません．

○ 関連する研究発表
1. Takeda S, Iwai D, Sato K: Inter-reflection
Compensation of Immersive Projection Display by
Spatio-Temporal Screen Reflectance Modulation,
IEEE Transactions on Visualization andComputer Graphics, 22(4):1424-1431, 2016.
2. Asayama H, Iwai D, Sato K: Diminishable
Visual Markers on Fabricated Projection Object
for Dynamic Spatial Augmented Reality, ACM
SIGGRAPH ASIA Emerging Technologies, Article
No. 7, 2015.

14

計画研究

C01-4

実社会の多様な質感情報を分析・制御・管理する技術研究代表者 岡嶋 克典（横浜国立大学大学院環境情報研究院・教授）
研究分担者

堀内 隆彦（千葉大学大学院融合科学研究科・教授）
富永 昌二（千葉大学大学院融合科学研究科・特任研究員）の総合的工学体系を確立することを目指しています．
○ これまでに得られた成果
照明光の分光分布が各種質感に与える影響について，主に ipRGC（内因性光感受性網膜神経節細胞）と鮮度や光沢感等を向上させる照明光について検討を行いました．また，これまでの視覚系の多重スケ
ール ON 中心型受容野の応答から光沢感を推定するモデルをさらに改良し，画像中から光沢部分を自動検出する技術を開発しました（図 1 上図）．他にも，古さ感の制御（図 1 中図）や色分布が肌知覚に与える影響について検討しました．さらに，食品の色や質感のリアルタイム変換を可能にする投影型拡張現
実感システムを用いて味覚や風味を視覚情報だけで制御する技術を開発しました（図 1 下図）．
分担者の堀内は，実刺激とモニタ再現画像の質感変化について，1) モニタの仕様および観察環境の違
いが質感知覚に及ぼす影響，2) 物体表面のテクスチ
ャが明るさ知覚に及ぼす影響，3) 3D 形状が明るさ
知覚に及ぼす影響を調べるために，心理物理実験を実施して，基礎データを収集しました．また，特色ある質感として，金色物体の光沢感に着目し，実物とディスプレイ画像から得られる「金色感」および「金らしさ」について評価し，それらの質感が等価となるために制御すべき画像特徴量の解析を行いました．
蛍光物体は反射と発光特性の両方を有しています．
分担者の富永は，蛍光物体と絵画絵具の質感を計
測・分析・制御する技術開発を目指し，通常の連続光源とスペクトルカメラによる簡便なイメージング
系で対象物体上の全画素点において，拡散反射と蛍光発光の分光特性を分離して求めることを可能にしました．また絵画絵具の質感について，水彩絵具の表面反射の計測と解析を行いました．

図１．上図：視覚系の多重スケール ON 中心型受容野の応答から光沢感を推定するモデルを用いて原画像（中央）から光沢除去（左）と光沢強調（右）を施した画像
中図：太陽光による退色データを用いた画像処理によって原画像（左）を劣化処理した画像（右）下図：投影型
拡張現実感(AR)システムで変換されたカステラと皿画
像（左：原画像，右：投影処理後）○ 研究の背景
物理的な感覚入力情報が質感判断に変換されるまでのプロセスを脳科学的・情報科学的に理解した上で，ヒトの感性判断のデータを基に，刺激の物理的なパラメータから直接，質感を定量的に制御できる「質感工学」の確立が産業界から求められています．
○ この研究の目指すもの
質感の科学的な理解に基づき，ものづくりの現場で使える質感マネジメントの学問的な体系である「質感工学」を構築します．本新学術領域から生み出される最先端の質感科学のノウハウを，実社会の様々な問題に適用して磨き上げることで，一般性のある質感知の体系を確立し，多様な質感情報を多角的かつ系統的に分析してモデル化・定式化し，波長次元のレベルから質感を任意に制御・管理するため○ 関連する研究発表
1. Okajima, K. Wanting, J. Nishizawa, M : Controlof crossmodal effects of food appearance using a
projective-AR
system,Proceedingsof
Sensometrics2016, 46, 2016.
2. Tominaga S, Hirai K and Horiuchi T:
Estimation of Bispectral Donaldson Matrices ofFluorescent Objects by using two Illuminant
Projections, JOSA-A, 32(6): 1068-1078, 2015.

15

公募研究

16

公募研究

D01-1

質感知覚における輝度ヒストグラム部分情報と空間サイクル数の寄与研究代表者 栗木 一郎（東北大学電気通信研究所・准教授）
質感の知覚に関連する画像情報として輝度ヒストグラム中で高輝度成分に含まれるハイライト（光沢）が存在します．しかし光沢は表面の平滑感や照明光の知覚に寄与する一方，布地や樹皮，物体の表皮などの質感知覚には寄与しません．これらの素材には，繊維の重なりや物体の境界面で生じる多重反射による自然の暗部があり，輝度ヒストグラムの低輝度成分が質感知覚に大きく寄与していると考えられます．しかし，その役割については光沢に比べて研究が進んでいません．我々は主に，低輝度成分が質感知覚に及ぼす影響について，
高 ダ イ ナ ミ ッ ク レ ン ジ （ High Dynamic
Range: HDR）画像の呈示装置と HDR 画像を用いて心理物理学的に研究を進めます．また，布地や木目，樹皮などの画像は適切な空間周
波数情報を伴って呈示されないと正しい質感知覚が得られません．物体のスケールと画像サイズの比率を定める尺度[cycle/item]にも着目して研究を進める必要があると考えてい
ます．

公募研究

D01-2

フラッシュラグ効果を用いた質感処理過程の同定
研究代表者 塩入 諭（東北大学電気通信研究所・教授）

人間は多様な質感の知覚を通して，物体の表面や内部構造など多様な情報を得ています．
しかし，質感とは何か，どのような知覚／認識を質感に含めるかについては共通の認識はありません．質感が主観的には明暗などの初期視覚特徴と異なる知覚といえるでしょうが，それを明確に示す客観的な根拠は十分とは言えません．質感処理が初期視覚処理の結果に基づくとして，初期視覚処理と質感処理を分離することは質感の脳処理を考える上で本質的な問題です．本研究では，フラッシュラグ効果を利用し，初期視覚特徴と質感関連特徴を分離する方法を開発し，質感の処理レベルについて明らかにすることを目的とします．

17

公募研究

D01-3

ヒトの触質感はなぜ多彩なのか？～非線形触質感喚起モデル～
研究代表者 野々村 美宗（山形大学大学院理工学研究科・准教授）～Non-linear tactile texture arousal model～

Deformation

ヒトはモノに触れると，「なめらか感」「しっと
Non-linear factors during tactile texture arousal process
Non-linearity in movement
り感」などの触質感を感じます．われわれは，皮 Friction Fractal contact probe Movement Force
Displacementforce
膚の表面で起こる摩擦現象の非線形性によってSine movement with acceleration
喚起される多彩な摩擦パターンが，繊細な触質感が発現する一つの原因であるという仮説を考え， Non-linearity in surface structure Non-linearity in mechanical property
Skin deformation
Mechanical model『非線形触質感喚起モデル』となづけました．本
dashpot
研究では，触質感と摩擦現象の関係を明らかにし，
この仮説を検証します．具体的には，触運動を真dashpot
Hierarchical rough structure:
SpringTime
Small bumps in large bunps
似て正弦運動によって摩擦を行い，階層性と柔らComplex deformation behavior ofviscoelastic materials
かい粘弾性を持つ接触子が装着された触質感センシングシステムを開発，非線形摩擦現象をモデリングします．本研究で触質感が喚起されるメカニズムを説明する物理モデルを構築することで，質感認識機構が明らかになるだけでなく，触覚工学の社会実装が進むことが期待されます．

公募研究

D01-4

肌色空間の構築と肌質感認識のマッピングによる解析
研究代表者 溝上 陽子（千葉大学大学院融合科学研究科・准教授）

肌質感（色，テクスチャ，くすみ感等）は，年齢，健康状態，顔印象等の重要な判断に関わります．色に関しては，人間は肌特有の色分布に適応した知覚を持つと考えられるため，肌色の見えを正確に評価するには，肌色を構成する色素成分（メラニン，ヘモグロビン）を肌色空間への肌質感マッピングによる解析
考慮した肌色空間が必要です．また，他の 肌色空間の構築
印象
肌質感にもこれらの色素成分が関わるこ（健康状態・審美性・年齢知覚）課題３
肌の外観とから，肌色空間に肌質感認識もマッピン
質感を伴う肌画像の肌色空間へのマッピング
つや感
肌色空間
グして表現できる可能性があります．本研 肌明度軸？
テカリ感
くすみ感
課題1
質感
究では，色素沈着の分析と視感評価実験に
肌の色やテクスチャがメラニン軸？
質感認識に及ぼす影響
基づく肌の色とテクスチャが肌質感認識に及ぼす影響の定量化，肌色空間の構築，
肌色
テクスチャ
さらに肌質感画像の肌色空間へのマッピ
ﾒﾗﾆﾝ
ニキビ
ヘモグロビン軸？
シミ
ングに取り組みます．肌色空間を定義でき
ﾍﾓｸﾞﾛﾋﾞﾝ課題２
ソバカス
肌色知覚を正確に評価するためのれば，既存の色空間では取り出せない色彩
肌色空間の構築
値と色知覚の関係を明らかにでき，肌質感
認識の理解につながると考えられます．
小ジワ
による凹凸

毛穴・キメ
による凹凸

18

公募研究

D01-5

質感認知の異文化比較研究
研究代表者 高橋 康介（中京大学心理学部・准教授）

Rati ng / % Resp onse

画像統計量の文化差「ものの質感の情報は，ものと環境と観察者の質感認知特性の文化差
相互作用が生み出す感覚信号の複雑な変調のパタンの中に含まれる（西田）」―文化が異なれば環境
Lu m . D i st. 2D Fou ri er
Cu l tu re A
は異なり，従って相互作用のあり方も異なります．
視覚環境の文化差
Cu l tu re B
Cu l tu re C
質感認知がこれら相互作用の結果として生じるもIm ag e statisti csのならば，文化は質感認知の規定因となり得ます．
質感の情報及びその認知過程は生まれ育つ環境によらず人類共通であるのか，それとも視覚環境が我々の質感認知をはぐくむものなのか．本研究計
画ではアフリカ・南米・ヨーロッパ・日本などの多地域間でヒトの質感認知特性を比較し，その通文化性及び文化依存性を検証するとともに，各地域での視覚環境を収集・解析して認知特性との関係を調べることで，生まれ育った地域や文化の視覚環境が質感認知にどの程度，どのように寄与しているのか解明します．

公募研究

D01-6

身体や情動に訴えかけるセンシュアルな音響質感メディアの研究研究代表者 仲谷 正史（北海道大学電子科学研究所・学術研究員）

本研究は聴覚における質感について検討します．聴覚において質感をあたえる音響信号の１つとして，ASMR 音源と呼ばれる刺激を利用します．ASMR とは，自発的に官能的な感覚をもた ら す 反 応 (Autonomous Sensory Meridian
Response)と呼ばれる現象で，この音響信号を聴くと鳥肌が立つという生理応答が見られたり，「リラックスする」という主観評価がこれまでに報告されています．この現象は，音楽を聴取している際に生じる深い感動にも似ていますが，ASMR 現象が音楽聴取の場合と同じメカニズムで生理応答や知覚を生じさせているのかどうかについては明らかでありません．このような現状を鑑み，本研究では ASMR
音源を網羅的に集め，その音源の特徴を解析しながら，聴覚刺激がもたらす質感情報について検討を進めてゆきます．

19

公募研究

D01-7

振幅変調の概念に基づいた聴知覚における質感認識メカニズムの理解研究代表者 鵜木 祐史（北陸先端科学技術大学院大学・准教授）

ヒトが音環境を経て音源の質を評価する際，音環境の伝達特性を予測して知覚するのではなく，知覚に関係する物理量の変化を検知して，それに伴う質の変化を知覚しているはずです．室内音響学では，音声伝送指標と振幅変調との関係性を取り扱ってきましたが，「音の質感」という概念を導入することで，物理的な振幅変調の変化と知覚される音の性質の変化とを統一的に説明できるのではないかと考えられます．本研究では，「振幅変調」の概念に基づき，音の質感だけでなく，それが耳に到達するまでに通った伝送経路の質感も認識するメカニズムを理解します．特に，①音の質感認識における「粗さ」に係わる物理量が何であるのか，②音の質感には音源だけでなく伝送系の質も関係しているのか，③ヒトは音源と伝送系を切り分けて質感認識を行っているかどうかについて検討を深めていきます．

公募研究

D01-8

おいしさをつくりだす神経細胞集団の同定
研究代表者 村田 航志（福井大学医学部脳形態機能学領域・助教）

おいしい食事は豊かな生活を送るうえで必須ですが，「おいしさ」は脳のどのような神経メカニズムでつくられるのでしょうか．本研究ではおいしさを「食べたものへの嗜好性を獲得するときの脳内状態が作り出す質感」と定義して，マウスを用いた遺伝子工学および行動学のアプローチで，食べ物への嗜好性を獲得するときに活性化する神経細胞集団を同定します．また光遺伝学実験により，同定された神経細胞集団の活動操作が食べ物への嗜好性獲得に与える影響を評価します．さらに，同定された神経細胞集団に対して，味覚や嗅覚といった食べ物に由来する感覚情報がどのような神経経路をたどって伝えられるかをウイル
ス遺伝子工学を用いて神経解剖学的に明らかにします．以上の実験により，食べ物に由来
する感覚情報からおいしさがつくられる神経メカニズムを包括的に理解することを目指し
ます．
20

公募研究

D01-9

高精度視覚質感記憶の心理学的基盤と神経機構の解明
研究代表者 齋木 潤（京都大学人間・環境学研究科・教授）

質感の詳細な知覚と，質感を表出の困難さの乖離を理解するには，これらを媒介する質感記
憶の特性の解明が不可欠です．これまでの研究で得た，物体表面の光沢感の短期記憶が極めて精度が高いという知見に基づき，本研究では，光沢感の視覚性短期記憶の心理学的特性と神経基盤の解明を目指します．記憶精度の精密な測定により，(1) 記憶と知覚，(2) 光沢感記憶と視点情報記憶の比較，(3) 光沢感記憶と単純視覚属性記憶の比較を通して光沢感記憶の特殊性を浮き彫りにします．並行して，fMRI 実験と多重ボ
クセルパターン解析から光沢感記憶情報が表現されている脳領域の同定を試みます．質感記
憶の特殊性を足掛かりに，従来の記憶研究の定説とは異なる「記憶」，「知覚」概念の再検討も視野に入れます．また，質感記憶の検索や表出を支援する手法の開発による主観的質感情
報の可視化技術の創出の手がかりを与えることも目指します．

公募研究D01-10

細胞集団による質感情報の符号化，復号化，皮質表現研究代表者 藤田 一郎（大阪大学大学院生命機能研究科・教授）

物体はその材質に従い固有の視覚的表面特徴（テクスチャ）を持ち，視覚認識や視覚に基づく行動にとって重要な情報となっています．テクスチャの知覚においては大脳皮質側頭葉経路の V4 野の細胞が重要な役割を果たすことを示す証拠が蓄積しつつあります．本研究では，２光子カルシウムイメージング手法を用いて，V4 野細胞が集団としてテクスチャ知覚を支える十分な情報を伝えているかを検討します．またテクスチャ情報を処理する細胞の分布を調べ，他の視覚属性を伝える細胞との関係を見ることで，視覚属性間の相互作用を明らかにします．さらに，前段である V1 野，V2 野に同様の解析を行い，この経路におけるテクスチャ情報の符号化と皮質表現の変換過程を解明します．これらの解析を通して，テクスチャ知覚の基盤となる情報処理過程の理解を
進めます．
21

公募研究

D01-11

ワンショットＢＲＤＦ計測と質感解析研究代表者 長原 一（九州大学大学院システム情報科学研究院・准教授）

本研究では，ライトフィールド(LF)カメラを用いたワンショット BRDF 計測とその質感解析を目的としています．提案手法では物体表面による複数の反射光線の生成と LF カメラ
によるそれら光線の観測をモデル化します．実際のカメラから得られる計測画像と生成モデルで得られる画像の比較を行うことで，物体形状と反射特性である BRDF を同時推定します．提案手法により未知形状の物体であっても，LF 画像から BRDF を推定することが可能となります．また本手法により得られる BRDF と質感の関連を調べることで，質感の定量化や判別を可能にする手法を提案します．
提案手法は，工学的な新規性や独創性のみならず，
通常はラボ環境で計測時間のかかっていた BRDF
計測の問題を解決し，簡便な方法による BRDF 計測を提供できることから，他の応用分野への貢献や波及効果が期待できます．

公募研究D01-12

多様な感覚による質感認知の発達初期過程研究代表者 山口 真美（中央大学文学部心理学専攻・教授）

ヒトは多様な感覚情報を統合し，現実の環境世界の中で様々な物体を認識します．このような感覚統合は，発達初期において，音表象から言語獲得にも影響しうると考えられます．
このような感覚統合から言語獲得に至る，多感覚統合の発達過程を，言語獲得前後の乳児を対象に実験的に検討します．近赤外分光法（NIRS）を用いて，感覚統合の発達と音表象へと進む過程を，その脳内機能から検討します．また，現実のリアルな質感を持った素材に基づく「物体」において，多様な感覚が統合される発達過程を検討します．本研究により，多様な質感知覚の発達過程の検討と，言語獲得の発達までを見越した，質感知覚のメカニズムを解明する一端を担いたいと思っています．

22

公募研究

D01-13チンパンジーにおける質感知覚・認知の総合的研究：
比較認知科学の観点から研究代表者 伊村 知子（新潟国際情報大学情報文化学部・准教授）

ヒトはなぜ， 質感の違いを知覚 するようになったのか．このような問いに答えるためには，ヒトの質感知覚のメカニズムだけでなく，質感知覚がヒトに特有のものなのか，生物の生存や繁殖において何らかの機能を持っているのかについても考える必要があります．そこで，本研究では， チンパンジーとヒトを対象に，生存にかかわる質感知覚の能力について比較します．具体的には，食物の質や状態を見分ける能力や，個体の性別や年齢，健康状態などの指標となる顔色や肌の質感の知覚，
素材の質感知覚の能力について検討することにより，ヒトの質感知覚の特徴と，進化的な基盤について比較認知科学の視点から明らか
にします．

公募研究

D01-14

触覚の質感を表現するオノマトペの神経基盤研究代表者 北田 亮（自然科学研究機構生理学研究所・助教）

私 た ち は 物 体 に 触 れる
ことで，その質感を直に経験することができます．従来の心理物理学研究において触覚の素材感は，粗さ
や柔らかさといった 知覚
単位で説明できるとされています．しかし実際に知覚する素材感は，多様でかつ複雑なため，知覚単位の量ではなく，「ふかふか」のようなオノマトペで直感的に表現されます．現実に即した素材の触知覚メカニズムを理解するには，
素材感とオノマトペの関係性を知る必要がありますが，オノマトペを表象する神経基盤は未解明であり，触感とオノマトペの関係性を調べた脳科学研究は行われていません．この背景に基づき本研究は「脳は触れた素材の柔らかさをどのように解釈し，オノマトペとして表現するのか」について認知脳科学的に明らかにすることを目的とし，触覚の質感認知に関する
認知脳科学的モデルの構築を目指します．
23

公募研究

D01-15

液体粘性知覚の神経メカニズムの解明
研究代表者 眞田 尚久（自然科学研究機構生理学研究所・特任助教）

近年，視覚生理学研究分野では，素材や光沢感など物体の質感の脳内表現が調べられるよ
うになってきています．腹側経路 V4 野や IT 野における研究で，素材やテクスチャ，光沢感などの物体の質感に選択的に反応する細胞の報告がされましたが (Okazawa et al. 2014,
Nishio et al. 2011, 2014)，これらの質感情報処理の研究では静止画像が主に用いられてきました．質感知覚は，液体運動など動きの情報からも得ることができますが，視覚生理学の運動視研究は従来，ランダムドット運動などの単純な視覚刺激を用いて調べられてきており，
液体運動の様な複雑運動がどのように表現されているのかはあまり研究されてきませんでした．本研究では，近年報告された液体粘性の知覚判断と相関する高次運動統計量(Kawabe
et al. 2014, 2015)を視覚刺激生成に適用することで，液体粘性知覚が高次視覚領野でどのように表現されているかを明らかにします．

公募研究D01-16

新奇食品に対する感性的質感認知の解明－食用昆虫を例として－研究代表者 和田 有史（農業・食品産業技術総合研究機構食品研究部門・主任研究員）

我が国の多くの消費者は昆虫食の習慣がなく，昆虫をみるだけでも嫌悪感を抱く者も少な
くありません．その一方で，伝統的に昆虫食がなされる地域も存在します．このため，食習慣によって同じ食用昆虫画像を みたときに生じる感性的質感が著しく異なる可能性があります．これまでの質感研究では，物理的質感認知を拡張して食品の鮮度の視知覚などは研究されてきましたが，食品として認識するかどうか，という食の感性的質感（好悪・美醜などの感情的な質感）における根本的な問題に対してアプローチしてませんでした．そこで本研
究は食用昆虫をモチーフとして食文化と実際の摂食経験による新奇食品に対する 感性的質
感の変化を，潜在的態度と顕在的態度の両方向から解明することを目的としています．

24

公募研究

D01-17

マーモセット大脳視覚皮質における光沢情報の処理過程研究代表者 宮川 尚久（国立精神・神経医療研究センター神経研究所・研究員）

これまでの研究で，小型霊長類マーモセットの側頭視覚皮質の領野 FSTv には光沢物体画
像に選択的な応答を示す神経細胞群が存在すること，またそこに強く投射する領野 MTc には，表面光沢刺激に応答するものの，より低次元な画像特徴量で応答が説明される神経細胞群が存在することを見出しました． 本研究では，①FSTv の光沢選択性が MTc から投射する入力に由来するか，②個体の光沢知覚が FSTv の活動に由来するか，③個体の光沢知覚がMTc から FSTv への情報伝播に由来するか，の 3 点の検証を計画しています．具体的には，①と③に関しては MTc から FSTv の光沢選択性小領域へ投射する神経線維の活動を，②に関しては FSTv の光沢選択性小領域の活動そのものを，光遺伝学や薬理学的な手法で抑制し，神経活動や個体の知覚に生じる影響の評価する予定です．

公募研究D01-18

顔の質感情報の時間的コーディングの研究研究代表者 菅生 康子（産業技術総合研究所人間情報研究部門・主任研究員）

質感は，我々が外界の事物の状態を見分けるために重要な情報です．日常生活に存在する自然な物体についての質感認識の理解を目指して，社会生活に重要な「顔」の質感をコードする
脳の仕組みを明らかにすることを目的とします．私たちが顔を見るとき，肌や眼，髪などの質感情報から，年齢や体調などを推しはかることができます．また，眼，鼻，口などの形やそれら相互の距離など造作の形態情報から個体や表情を認知します．
本研究では，顔の肌の異なる質感の知覚について，情報の時間
的コーディングという観点から研究を進めます．側頭皮質では，
ヒトかサルかの分類情報と個体・表情の情報が時間的に異なるタイミングでコードされることが明らかになっています．そこで，マカクザルの側頭皮質からニューロン活動を記録し，顔に対する応答を調べます．顔応答性ニューロンにおける顔の質感情報のコードを，特にそのダイナミクスについて，個体や表情の情報のコードと比較して，明らかにします．

25

公募研究

D01-19

咀嚼筋電音フィードバックを用いた食質感知覚メカニズムの解明
研究代表者 藤崎 和香（産業技術総合研究所人間情報研究部門・主任研究員）

質感知覚は予測，意思決定，身体制御，感覚運動フィードバックなどを含んだ，多感覚的，適応的，能動的なプロセスの結果として生じます．食質感知覚はこのようなプロセスについて考える最適の題材です．それは食質感知覚には「食べる」という能動的な動作によってもたらされる感覚フィードバックの情報が大きく貢献しているためです．これまで咀嚼音をフィードバックして食質感を変容させる様々な研究が行われてきましたが，フィードバックの時間ずれや利用できる食品の物性上の制約が課題でした．私たちは近年，咀嚼に完全に同期したフィードバック音をあらゆる物
性の食品について返すことができる画期的な手法を考案しました．それは咀嚼音そのものではなく咀嚼時の咬筋の筋電波形を音に変換したものをフィードバックするという手法です．本研究ではこの手法を発展させた一連の研究により多様な食質感を認識する人間の情報処理の仕組みを解明することを目的とします．
公募研究

D02-1

錯触覚を利用したタッチパネル型多自由度標準触覚デバイス研究代表者 嵯峨 智（筑波大学システム情報系情報工学域・准教授）

近年，スマートフォンの普及とともに触覚技術への期待が増大しています．しかし未だ表示された仮想物体そのものに触れるインタラクションは，直感的とは言えないものに留まっています．これは触覚そのものが入力と出力を同時に備えた感覚にもかかわらず，入力装置としてのタッチパネルのみが普及していることに起因します．そこで我々はタッチパネル上での仮想物体との触覚フィードバックを伴う直感的かつインタラクティブな操作の実現を目指します．

 多電極ディスプレイによる多自由度化
 接触面積制御による柔らかさ表現の実現

26

公募研究

D02-2

光線制御型エネルギー投影手法による質感プロジェクション基盤
技術の構築
研究代表者 小泉 直也（電気通信大学大学院情報理工学研究科・助教）

本研究の目的は，質感プロジェクタの実現に向けた光線制御型エネルギー投影手法の試験的実装を行うことです．コンピュータグラフィックスの中では，テクスチャマッピングによって質感を容易に書き換えることができます．このような方法を実世界で実現することができれば，物理世界と情報世界の融合を実現する有力な手法になりえます．そこで本研究では書き換え可能な実物体質感制御の実現を目指すことにしました．本提案の基本概念は，物体の表面に化学反応の生じる物質を塗布し，そこにエネルギーを投影して化学変化を生じさせることで，表面の繰り返し書き換えを実現するものです．研究目的を達成するために，レー
ザーをエネルギー源として光学系によって反射・屈折させることで，対象に質感を投影できる手法を開発します．本研究ではこれまでの技術を発展させ，特に 3D プリンタで作成されたる立体物を対象に，質感の書き換えを繰り返し実施できる手法を実現します．

公募研究

D02-3

高速ビジョン・プロジェクタに基づいた動的質感再現研究代表者 渡辺 義浩（東京大学大学院情報理工学系研究科・講師）

視点と物体と光源の配置を人間が能動的に変化させる
ことで知覚される視覚情報は，質感の理解を深める上で重要な役割を担っています．しかし，このような動的に変化する視覚情報を，実世界上に自在に再現する技術の実現は困難でした．ボトルネックは，実世界や体性感覚と仮想的な再現情報の間で，時空間的整合性が崩れていることにあります．本研究では，この限界を高速なセン
シング・ディスプレイ技術によって打破します．具体的には，1,000fps・ms オーダ遅延の超高速視覚センシングとプロジェクタ技術を基盤として，動的に変化する実世界と仮想質感を，人間の知覚レベルで完全に融合させる
システム技術を創出します．人間の知覚限界を超える高速な性能を駆使するとともに，無拘束・非接触の要請を満たしたシステム技術を構築することで，静的・準静的
環境に制限されていた質感再現技術を次のレベルへ引き上げることを目指します．
27

公募研究

D02-4

タッチパネルのための Pseudo-haptics 生起手法の確立と質感設計への応用
研究代表者 鳴海 拓志（東京大学情報理工学系研究科・講師）

本研究の目的は，指の運動にあわせてポインタではなく背景を運動させるという新しいアプローチから，視触覚間相互作用である Pseudo-haptics を生起させることが可能な新規手法を確立し，タッチパネルでも Pseudo-haptics によって多様な触質感を提示可能にすることです．指で小さなポイン
タを操作するのではなく，背景等画面全体をスクロールさせる場合には，注意がタッチパネル画面全体に分散してずれが強く意識されなくなるために，タッチパネルにおいてもPseudo-haptics を生起できるという新規現象の精緻化・モデル化に取り組み，タッチパネル操作の触質感をデザインするための手法を明らかにします．
また，タッチパネルにおける Pseudo-haptics のコンテンツ応用手法の確立，触感変化を通じた注意誘導や情動喚起等の効果生起による体験・質感設計手法を明らかにします．

公募研究

D02-5

引箔を施した西陣織を題材とした見かけの BRDF 操作による革新的な質感編集の研究研究代表者 天野 敏之（和歌山大学システム工学研究科・准教授）

照明の色彩や明度，方向を緻密に制御することにより，物体の見た目の色彩のみならず，素材感などの質感を操作することもできます．本研究は引箔を施した西陣織の帯地を題材とし，ライトフィールドの投影と撮影を行う
フィードバック系によって，見かけの BRDF を操作する
革新的なプロジェクションディスプレイ技術の実現を試みます．この目的を達成するために，まず，ライトフ
ィールド投影と圧縮センシングを用いた動的な BRDF
解析手法を確立します．その後，引箔の見かけの BRDF
操作方法を完成させ，最後に研究成果を応用した質感表
現技法を模索します．

28

公募研究

D02-6

多波長・多方向光源による蛍光物体の質感編集
研究代表者 岡部 孝弘（九州工業大学大学院情報工学研究院・准教授）
本研究では，蛍光物体の質感
編集技術の確立を目指します．
蛍光物体は，光学的特性が入射光と反射光の方向だけでなく波長にも依存することから，独特の質感を有します．そこで本
研究では，多波長・多方向光源装置により蛍光物体を様々な波長で様々な方向から照明して撮影した画像を活用して，イメージベーストモデリング（IBM）とイメージベーストレンダリング（IBR）の両方のアプローチで，蛍光物体の幾何学的・光学的モデルの獲得，および，任意照明環境における蛍光物体の写実的画像生成に取り組みます．さらに，IBM により獲得した蛍光物体の幾何学的・光学的モデルや IBR への入力となる蛍光物体の画像そのものに基づいた"蛍光感"の編集技術を開発します．

◎表紙の画像は鈴木未有さんがボランティアで提供してくださいました．

29