文部科学省科学研究費補助金
新学術領域研究

多元質感知News Letter No. 2
2018.03.05

多元質感知 NewsLetter No.2

目次
領域代表挨拶

i

計画研究 A01-1 信号変調に基づく視聴触覚の質感認識機構2

西田 眞也（NTT コミュニケーション科学基礎研究所・主幹研究員）
古川 茂人（NTT コミュニケーション科学基礎研究所・主幹研究員）
鈴木 匡子（東北大学大学院医学系研究科・教授）
柳井 啓司（電気通信大学大学院情報理工学研究科・教授）
計画研究 A01-2 質感知覚の神経基盤とその獲得および変容機構

5

小松 英彦（玉川大学脳科学研究所・教授）
本吉 勇（東京大学大学院総合文化研究科・准教授）
下川 丈明（国際電気通信基礎技術研究所・脳情報通信総合研究所・研究員）
郷田 直一（自然科学研究機構生理学研究所・助教）
計画研究 A01-3 質感認知に伴う情動惹起の神経機構

7

南本 敬史（量子科学技術研究開発機構・放射線医学総合研究所・チームリーダー）
本田 学（国立精神・神経医療研究センター神経研究所・部長）
鯉田 孝和（豊橋技術科学大学・エレクトロニクス先端融合研究所・准教授）
計画研究 A01-4 コンピュータビジョンで実現する多様で複雑な質感の認識機構

9

佐藤 いまり（国立情報学研究所コンテンツ科学研究系・教授）
向川 康博（奈良先端科学技術大学院大学情報科学研究科・教授）
佐藤 洋一（東京大学生産技術研究所・教授）
平 諭一郎（東京藝術大学・特任准教授）
鄭 銀強 （国立情報学研究所・助教）
計画研究 B01-1 画像と言語を用いた質感情報表現のディープラーニング

13

岡谷 貴之（東北大学大学院情報科学研究科・教授）
川嵜 佳祐（新潟大学大学院医歯学総合研究科・准教授）
計画研究 B01-2 脳・画像・テキストデータマイニングによる質感情報表現の解明

15

神谷 之康（ATR 脳情報研究所・客員室長/京都大学大学院情報学研究科・教授）
計画研究 B01-3 視覚系における質感情報表現の階層的情報変換

17

大澤 五住（大阪大学大学院生命機能研究科・教授）
田村 弘（大阪大学大学院生命機能研究科・准教授）
佐々木 耕太（大阪大学大学院生命機能研究科・助教）
計画研究 B01-4 物理・知覚・感性の対応付けに基づく実社会の多様な質感情報表現19

坂本 真樹（電気通信大学大学院情報理工学研究科・教授）
中内 茂樹（豊橋技術科学大学大学院工学研究科・教授）
計画研究 C01-1 触覚的質感の記録再生技術

22

梶本 裕之（電気通信大学大学院情報理工学研究科・准教授）
岡本 正吾（名古屋大学大学院工学研究科・准教授）
計画研究 C01-2 コンピュータグラフィクスによる質感表現技術

24

土橋 宜典（北海道大学大学院情報科学研究科・准教授）
岩崎 慶（和歌山大学大学院システム工学研究科・准教授）
岡部 誠（静岡大学大学院総合科学技術研究科・准教授）
井尻 敬（芝浦工業大学工学部情報工学科・准教授）
藤堂 英樹（中央学院大学現代教養学部・助教）
計画研究 C01-3 超多自由度照明による実物体の質感表現編集技術27

岩井 大輔（大阪大学大学院基礎工学研究科・准教授）
日浦 慎作（広島市立大学大学院情報科学研究科・教授）
計画研究 C01-4 実社会の多様な質感情報を分析・制御・管理する技術29

岡嶋 克典（横浜国立大学大学院環境情報研究院・教授）
堀内 隆彦（千葉大学大学院工学研究院・教授）
富永 昌二（千葉大学大学院工学研究院・特任研究員）
公募研究 D01-1 質感知覚における輝度ヒストグラム部分情報と空間サイクル数の寄与

32

栗木 一郎（東北大学電気通信研究所・准教授）
公募研究 D01-2 フラッシュラグ効果を用いた質感処理過程の同定

33

塩入 諭（東北大学電気通信研究所・教授）
公募研究 D01-3 ヒトの触質感はなぜ多彩なのか？～非線形触質感喚起モデル～

34

野々村 美宗（山形大学大学院理工学研究科・教授）
公募研究 D01-4 肌色空間の構築と肌質感認識のマッピングによる解析

35

溝上 陽子（千葉大学大学院工学研究院・准教授）
公募研究 D01-5 質感認知の異文化比較研究

36

高橋 康介（中京大学心理学部・准教授）
公募研究 D01-6 身体や情動に訴えかけるセンシュアルな音響質感メディアの研究37

仲谷 正史（慶應義塾大学環境情報学部・准教授）
公募研究 D01-7 振幅変調の概念に基づいた聴知覚における質感認識メカニズムの理解

38

鵜木 祐史（北陸先端科学技術大学院大学情報科学研究科・教授）
公募研究 D01-8 おいしさをつくりだす神経細胞集団の同定
村田 航志（福井大学医学部脳形態機能学分野・助教）

39

公募研究 D01-9 高精度視覚質感記憶の心理学的基盤と神経機構の解明

40

齋木 潤（京都大学人間・環境学研究科・教授）
公募研究 D01-10 細胞集団による質感情報の符号化，復号化，皮質表現41

藤田 一郎（大阪大学大学院生命機能研究科・教授）
公募研究 D01-11 ワンショットＢＲＤＦ計測と質感解析

42

長原 一（大阪大学データビリティフロンティア機構・教授）
公募研究 D01-12 多様な感覚による質感認知の発達初期過程

43

山口 真美（中央大学文学部心理学専攻・教授）
公募研究 D01-13 チンパンジーにおける質感知覚・認知の総合的研究：比較認知科学の観点から

44

伊村 知子（新潟国際情報大学情報文化学部・准教授）
公募研究 D01-14 触覚の質感を表現するオノマトペの神経基盤45

北田 亮（Nanyang Technological University・Associate Professor）
公募研究 D01-15 液体粘性知覚の神経メカニズムの解明

46

眞田 尚久（関西医科大学医学部・助教）
公募研究 D01-16 新奇食品に対する感性的質感認知の解明－食用昆虫を例として－

47

和田 有史（立命館大学理工学部・教授）
公募研究 D01-17 マーモセット大脳視覚皮質における光沢情報の処理過程

48

宮川 尚久（量子科学技術研究開発機構・放射線医学総合研究所・主任研究員）
公募研究 D01-18 顔の質感情報の時間的コーディングの研究

49

菅生 康子（産業技術総合研究所人間情報研究部門・主任研究員）
公募研究 D01-19 咀嚼筋電音フィードバックを用いた食質感知覚メカニズムの解明

50

藤崎 和香（産業技術総合研究所情報・人間工学領域・主任研究員）
公募研究 D02-1 錯触覚を利用したタッチパネル型多自由度標準触覚デバイス

51

嵯峨 智（熊本大学大学院先端科学研究部・准教授）
公募研究 D02-2 光線制御型エネルギー投影手法による質感プロジェクション基盤技術の構築

52

小泉 直也（電気通信大学大学院情報理工学研究科・助教）
公募研究 D02-3 高速ビジョン・プロジェクタに基づいた動的質感再現

53

渡辺 義浩（東京大学大学院情報理工学系研究科・講師）
公募研究 D02-4 タッチパネルのための Pseudo-haptics 生起手法の確立と質感設計への応用

54

鳴海 拓志（東京大学情報理工学系研究科・講師）
公募研究 D02-5 引箔を施した西陣織を題材とした見かけの BRDF 操作による革新的な質感編
集の研究

55

天野 敏之（和歌山大学大学院システム工学研究科・教授）

公募研究 D02-6 多波長・多方向光源による蛍光物体の質感編集
岡部 孝弘（九州工業大学大学院情報工学研究院・教授）

56

領域代表挨拶
新学術領域研究「多元質感知」も、早いもので５年計画の３年目が終わろうとしています。最近行われた中間審査では励みになる評価を頂きました。２年目から始まった公募研究第一期がほぼ終了し、第二期がもうすぐ始まるという段階です。このニュースレター２号はここまでの前半戦の研究状況の報告となります。
本領域は文理複合領域で、さまざまな分野の研究者が集っています。「質感」というキーワード
を共有しつつも、研究手法のみならず研究のねらいも各人によって異なります。質感認識に関わる脳の情報処理を科学的に理解したい人もいれば、革新的な質感工学を送出したいという研究者もいます。同じ質感認識の計算理論を考える上でも、サイエンスとしては生体に利用可能な情報（たとえば入力光に対する錐体応答）だけを想定しますが、エンジニアリングとしては物理的に利用可能なすべての情報（たとえばマルチスペクトル）の利用を考えることができます。視覚に興味がある人がいれば、聴覚や触覚が専門の人もいます。そういう中で、領域メンバ全員で一つの具体的な目標を目指すというより、互いに刺激しあいながら各人のフィールドで高いレベルの研究目
標を達成し、そのことで質感研究全体を前に進めるという方針で、プロジェクトを進めています。
そういう観点から、連携のための方策として、テクノロジ・データ・コンセプトの3つの共有が重要であると考えています。テクノロジの共有とは、メンバが持っている専門技術をメンバ間で共有することです。総括班で購入したマルチマテリアルの３Dプリンタをメンバーで効率的に利用できる体制を整備しました。また、最新のメディアテクノロジーがサイエンス研究で利用され、逆にサイエンスの手法が情報工学研究に共有されるような体制を作ろうとしています。データの共有は、多様な質感の理解を目指す本領域には不可欠な施策です。視聴触覚の質感刺激データセットに、物理
計測、心理評定や言語記述、心理物理実験データ、脳活動データを紐付けることにより、データ駆動型の研究を推進していきたいと考えています。コンセプトの共有とは、理論や考え方を異分野間で融合することです。関連分野でも少し離れると考え方が違うことが良くあります。サイエンスとエンジニアリングの違いはもとより、視覚・触覚・聴覚・嗅覚で研究発想が異なるし、コンピュータビジ
ョンとコンピュータグラフィックスでも異なります。しかし、解決すべき問題はしばしば相同であり、異分野のアイデアが問題解決のヒントを与えてくれることがあります。前プロジェクトの「質感脳情報学」以来の異種分野交流の結果、本領域では分野間の相互理解が驚くほど進み、分野を超えたコラボレーションも進んでいます。
このニュースレターをお読みになって、われわれの領域の現在の姿をご確認下さい。
「多様な質感認知の科学的解明と革新的質感技術の創出」領域代表
NTTコミュニケーション科学基礎研究所
上席特別研究員 西田眞也

i

計画研究

A01 質感メカニズム

1

計画研究

A01-1

信号変調に基づく視聴触覚の質感認識機構
研究代表者
研究分担者

西田 眞也（NTT コミュニケーション科学基礎研究所・主幹研究員）
古川 茂人（NTT コミュニケーション科学基礎研究所・主幹研究員）
鈴木 匡子（東北大学大学院医学系研究科・教授）
柳井 啓司（電気通信大学大学院情報理工学研究科・教授）
取りのメカニズムを解明しました。
図 1 に示すのは、乾燥した物体表面が濡れている
ように見せる濡れ強調変換（Wetness Enhancing
Transform: WET）です。光沢を増やす輝度ヒスト
グラムの歪度上昇に加えて、色の鮮やかさ（彩度）を上昇させるのがポイントです。心理実験の結果、多くの自然画像で濡れ感の増加効果が確認されました。また、物理計測の結果、ものが濡れたときこのような画像変化が実際に起こっていることを確認しました。しかし、物理的に濡れているときの生じる
画像変化を見ると人間には濡れているように見える、という単純な話ではありません。そのような画像変化起こっても常に濡れて見えるわけではないのです。
その条件を分析した結果、色の多彩さ（エントロピー）が高いほど WET の濡れ感誘導の効果が高くなる
ことが分かりました。同時多発的に濡れの方向への画像の歪み（変調）があるときに、人間の目には濡れて見えるのです［文献 1］。

図 1：濡れ強調変換。左半分がオリジナル、右半分が変換結果。輝度ヒストグラムの歪度を上げ、色彩度を高めることで、濡れ具体が強調される。
○研究の背景と目的
ものの質感の情報はどこにあるか？それは、もの・環境・人間の相互作用が生み出す感覚信号の複雑な変調のパタンの中に含まれると、われわれは考えています。その考えに基づいて、視覚・触覚・聴覚の３つの感覚モダリティに関して、多様な質感を生み出す変調情報を特定し、その変調情報の抽出処
理メカニズムを解明することを目指して研究を進めています。さまざまな手法で収集した質感刺激デー
タセットの物理特性の分析と、その刺激に対する人間観察者の質感判断の心理物理学的解析から、質感認識の計算論と機能的なメカニズムを明らかにするとともに、脳損傷患者を含む幅広い観察者を対象とすることで、質感認識の脳神経メカニズムにも迫ります。さらに、質感認識の科学的理解を最先端の情報メディア技術と融合することにより、革新的な質感操作技術の開発にも挑戦します。

図 2：細かさの判断に関するコントラストの効果。
われわれ人間は髪の毛のような非常に細かいものでも、その細さを判断できる「ような」気がします。
実際に実験したところ、視覚系の解像度の限界（視覚 1 分）以下の細かさの判断が可能でした。さらに分析を進めた結果、この細かさ判断に画像テクスチ
ャのコントラストが利用されていて、コントラストが低いほど細かいと判断されることが分かりました。
図 2 では、中央のオリジナルに比較してコントラス
トを下げる（左）と細かく見え、上げる（右）と粗く見えます。また、このコントラストの効果は輝度
ヒストグラムがガウス分布に近いときに明瞭に現れます。このことは、画像の統計的性質から考えて理屈の通ったものです。つまり、空間的なサンプリングの限界を超えると各サンプリング点で複数の要素○これまでに得られた成果
まず、いくつかの視覚質感情報の特定とその読み

2

が平均化されるため、沢山の要素が平均化されるテ
クスチャほど分散が小さくなり、分布がガウス分布に近づくのです。人間の視覚系はこのような細かさに起因する画像変調を無意識で知っていて、質感判断に用いているのです［文献 2］。
光学的な質感特性だけではなく、機械的な質感特性についても研究を進めています。われわれは、液体流動の運動パタンから液体らしさやその粘性が知覚できたり、ある種の動的な画像の変形が透明な層による屈折が生み出したものとして解釈されたりす
ることを発見したのに続いて、動的屈折手がかりがゼリーのような物体の弾性判断にも用いられることを解明しました［文献 3］。
また、タブレット端末を使った視覚心理実験システムを開発し、インターネットを使った大規模実験を行いました。数百名規模のクラウドソーシングのワーカーが手持ちの装置を使って基本的な質感認知能力を測る心理物理課題を行い、その実験の結果に基づいて質感標準課題データベースの第一版を作りました。この実験の課題は言語教示を必要としない
課題を基本としているので、乳児研究・動物研究・
多文化比較研究に利用することで、標準観測者とパフォーマンスを比較することが可能となります。
革新的な質感技術に開発については、実物体の質感を操作するプロジェクションマッピング技術の研究を進めました。静止物体に錯視的な運動印象を与える「変幻灯」技術は、テレビ番組や新聞で取り上げられたほか、科学技術館などの展示に用いられています。また、変幻灯の派生技術として、ステレオ
眼鏡無しで見たときにボケを生じない新しい二眼ス
テレオ方式（Hidden Stereo）を考案しました（図 3）。
一枚の画像に同じ視差誘導画像を逆符号で加算する
ことで右目・左目画像を作るという点と視差誘導パ
タンをマルチスケールの位相シフトで生成する点がポイントで、人間の両眼視メカニズムの特性をうまく利用した手法になっています［文献 4］。

明らかにしました［文献 5］、また、様々な素材を触っているときの手の動きから触り手の触覚をある程度推定することにも成功しました［文献 6］。

図 4：音による質感判断に残響は影響するか？

残響による材質判断の変化

室内残響がランダムに変化

次に聴覚チーム（分担：古川）の研究を紹介します。われわれ人間は、物を叩いた時に出る音の音色
0.4や時間波形により、その物の材質をある程度当てることができます。しかし、耳に届く音は、音源からの音そのものではなく、室内の残響などの環境条件
0.3
により、常に何らかの変形が加わっています（図 4）。
残響によって、音に基づく材質判断はどのように影響を受けるのでしょうか？ また、環境の条件が常に一定でないのにも関わらず、私たちが材質を間違
0.2
n = 22人
えにくいのはなぜでしょう？ この問題を考えるた
p < 0.05
めに、様々な室内音響を模擬した条件で、音による
0.2
0.3
0.4
材質判断への残響の影響を調べました。その結果、同じ部屋で音を聴き続ける条件
平均的な傾向としては、残響の負荷によって材質判断が偏ることはありませんでした。しかし、個人ごとにみると、残響による判断の仕方には大きなばらつきがあることが分かりました。さらに、一定の残響で聞き続ける条件では、残響が常に変化する条件
よりも、残響の影響が小さいことが分かりました。
これは、私たちの聴覚が、室内の条件に適応することにより、安定した材質判断を行おうとする働きを反映しているものと考えられます［文献 7］。
次に、質感認知臨床研究についてです（担当：鈴木）。アルツハイマー型認知症(AD)、レビー小体型認知症(DLB)の患者および健常高齢者において、視覚の基本的機能、質感認知機能、物の認知における質感の役割を検討しました。AD53 名、DLB20 名、健常高齢者(NC)31 名を対象として、基本的な視知覚（コントラスト感度、色覚、立体覚）、高次視知覚（図と地の弁別、形態照合、立方体計数、位置弁別、色名呼称）、素材同定（実物、写真）、野菜鮮度判断課
題、輝度判断課題を施行しました。また、物の質感と視点がその同定に与える影響を見るために、clear
texture/blurry texture, canonical view/noncanonical view を組み合わせた４条件で物の同定課
題も施行しました。認知機能検査としては Mini
Mental State Examination (MMSE)、Alzheimer’s
Disease Assessment Scale(ADAS)を行いました。

図 3：Hidden stereo の原理
触覚に関しては、異なる機械受容器で検出される
低周波と高周波の振動が同時に呈示されると知覚的に融合して中間周波数を含んだような感覚を生むこと、さらに二つの周波数は異なる身体部位（右手と左手）に提示されてもこの融合現象は生じることを3

DLB では立体視を除くほとんどの視知覚機能で障害がみられ、素材同定もごく軽症例から低下していましたが、素材同定の成績と視知覚機能に相関を認めませんでした。AD では立方体計数、位置弁別、素材同定が NC より低下して おり、素材同定はMMSE、位置弁別と正の相関がありました。ものの同定課題では、DLB はいずれの条件でも NC より低下していましたが、AD は non-canonical view のみ
で低下がみられました。以上より、素材同定課題からみた視覚性質感認知は DLB、AD ともに低下しており、DLB でより重度でした。変性性認知症における質感認知の障害は、基本的な視知覚障害では説明できず、その初期から出現して QOL に影響する可能性が示唆されたと言えます。
最後に、深層学習を使ったデータドリブンな画像
質感変換です（担当：柳井）。Deep Neural Networkを用いた画像の質感変換について研究を行い、これまでに主に，(1)任意のスタイルの変換をリアルタイ
ムに行う Unseen Style Fast Transfer Network ［文献８］、(2)逆伝搬計算を用いた弱教師あり学習による意味的画像領域分割［文献 9］、(3) Web 収集画像
による言葉による画像質感変換、について研究を行いました。(1)の任意スタイル変換では、スタイル画
像と変換対象のコンテンツ画像を入力すると瞬時にスタイルの変換が行われる手法を開発し、iPhone 上で動作するモバイルアプリケーションとして実装して iOS アプリストアで公開しています［文献 10］)．
写真画像を絵画風画像へ変換するだけでなく、石でできたものを木でできたように見せる様な、物体の素材の変換も可能であることを確認しています．(2)では、キーワードのみが付与された画像から自動的に物体の領域を探す弱教師あり意味的画像領域分割の手法を研究しました．通常の領域分割の方法では、認識モデルの学習に、画素ごとに物体カテゴリラベ
ルが付与されている学習画像データが必要です．しかしながら、画素毎にラベルを付ける作業を大量の画像に対して行うことは極めて多大な労力が必要で、独自に収集した画像に対してこの手法を適用することは困難です。それに対して弱教師あり領域分割では、キーワードが付いている画像が大量にあれば、それだけで学習可能であるため、最初にキーワードを与えて自動的に Web から画像を収集し、それを学
習データとして任意の言葉に対応する画像領域分割を実現することが可能となります。(3)では、そうした弱教師あり領域分割手法の特徴を利用して、質感表現語としてオノマトペを用いて学習画像を Web から収集し、画像中の例えば「ふわふわ」した部分を推定することが可能となりました。これをスタイル変換と組み合わせることで、「ふわふわ」した部分だ
けを「ごつごつ」にするような変換も可能となりました（図 5）。 現在は引き続き、Web 画像検索を用いて様々な質感語に対応した画像を収集し、より広範
囲な言葉によって画像を変換する方法の研究を行っ

4

ています。

図 5：弱教師あり領域分割とスタイル変換の組み合わせによる部分スタイル変換○関連する研究発表
1. Sawayama M, Adelson, EH, & Nishida S:
Visual wetness perception based on image
color statistics, J Vis, 17(5)7: 1-24, 2017
2. Sawayama M, Nishida S, & Shinya M:
Human perception of sub-resolution finenessof dense textures based on image intensity
statistics, J Vis, 17(4)8:1-18, 2017.
3. Kawabe T, & Nishida S: Seeing jelly: judging
elasticity of transparent object, ACM SAP,
2016.
4. Fukiage T, Kawabe T, & Nishida S: Hiding ofphase-based stereo disparity for ghost-freeviewing without glasses, ACM TOG, 36(4):147,
2017
5. Kuroki S, Watanabe J & Nishida S:
Integration of vibrotactile frequency
information beyond the mechanoreceptor
channel and somatotopy, Sci Rep 7:2758, 2017
6. Yokosaka T, Kuroki S, Watanabe J & Nishida
S: Linkage between free exploratory
movements and subjective tactile ratings”, *,IEEE ToH 10(2):217-225, 2017
7. Koumura T, Furukawa S: Context-dependent
effect of reverberation on material perception
from impact sound. Sci Rep 7:16455, 2017.
8. Yanai, K.: Unseen Style Transfer Based on a
Conditional Fast Style Transfer Network,
ICLR WS, 2017.
9. Shimoda, W. and Yanai, K.: Distinct Class
Saliency Maps for Weakly Supervised
Semantic Segmentation, ECCV, 2016.
10. Tanno, R. and Yanai, K.: DeepStyleCam,
https://itunes.apple.com/jp/app/deepstylecam/i
d1161707531, 2017.

計画研究

A01-2

質感知覚の神経基盤とその獲得および変容機構研究代表者 小松 英彦（玉川大学脳科学研究所・教授）
研究分担者

本吉 勇（東京大学大学院総合文化研究科・准教授）
下川 丈明（国際電気通信基礎技術研究所・脳情報通信総合研究所
・研究員）
郷田 直一（自然科学研究機構生理学研究所・助教）(a)

えられる情報が大脳の腹側高次視覚野で表現されていることが示されつつあります。しかし、そのような情報がどのような階層的な処理によって取り出されているのか、また感性・情動的な質感認知がどのような処理に関わり、どのような情報が使われているかについてはよく分かっていません。本研究では質感認知におけるそれらの重要な問題にアプローチ
します。

評定値(瞬間提示)

(b)
1

-4

4

○この研究の目指すもの
本研究では上で述べた質感認知に関わる処理が重層的に行われているという仮説に基づいて、重層的な処理の内容について明らかにすることを目的とした研究を進めます。質感認知における重層的な処理とは、階層的に構成された視覚系において、段階的に単純な特徴から徐々に複雑な特徴を取り出して利用する様式と、ある質感に相関する比較的単純な特徴を取り出して利用するショートカット的な様式の両方から成り立つ処理を意味します。このために、ヒトとサルを用いた心理実験や生理実験によりこれ
ら二つの処理様式に関わる画像特徴や神経処理の時間的な特性の差異と、それぞれがどのような状況で用いられるかを明らかにすることを試みます。

-1

評定値(定常提示)

(c)

SD

skew

kurt

lum-colenergy corr.
ori
freq

Lum
RG-YB

RG
Lum-RG

freq

YB
Lum-YB(d)

原画

不快側に変調ori○これまでに得られた成果
滑らかなシルクからブツブツした生き物の表皮まで様々な表面の質感が喚起する心地よさや気持ち悪さを人間の観察者に評価させ、質感の情動的価値や美醜の判断がどのような情報に基づくかを調べました(図 1)。その結果、表面の心地よさや気持ち悪さの判断は、表面の画像に含まれる比較的少数の画像統計量とよく相関することが明らかになりました。中程度の空間周波数のパワーが相対的に弱く、高空間周波数帯域における方位情報の相関が少ない、という統計的性質をもつ表面の画像ほど心地よいと判断される傾向がありました。このことを利用して、決め手となる画像統計量を人工的に操作する技術を開発したところ、実際に表面の美醜をコントロールすることができました。加えて、表面の画像やその統
計量合成画像を極めて短い時間だけ提示することにより何の表面であるか(材質カテゴリ)を認識できないようにしても、心地よさや気持ち悪さの評価はゆっくり見たときの評価と高く相関することもわかりました。これは、表面質感の情動的価値を決定づけ

快側に変調

図 1：(a)様々な情動価値をもつ表面画像。(b) 画像を定常提示したときの心地よさ評価と瞬間提示したときの評価の関係。(c) 心地よさ評価と相関する画像
統計量．赤は正の相関，青は負の相関を示す。(d) 心
地よさに関連する統計量を弱めた画像(中央)と強調した画像(右)。

○研究の背景
質感認知の基本的な機能には素材を分類する機能と、特定の質（光沢や半透明など）の程度を区別する機能が含まれます。また質感認知はそれにとどまらず物体の美醜の判断や生物的な価値の判断につながる感性・情動的な処理を伴います。光沢や半透明などの基本的な視覚質感については、これまでの心
理物理学的研究により、関係する刺激の特徴が明らかになりつつあり、光沢や素材識別に関係すると考5

とは、画像提示から 70-80ms という早い段階ですでに神経細胞群は光沢の２つのパラメータを高い精度で表現できているということです。より詳しく見て
い く と 'c' の パ ラ メ ー タ は 'd' の パ ラ メ ー タ よ り も10ms 程度早く表現されているといったパラメータ間の違いが見られました。さらに、'd'に応答する細胞は画像が表示されている間ずっと反応し続けるタ
イプのものしか見つからなかったのに対し、'c'に応答する細胞はそのようなタイプの他に、早い時間帯
のみに急激に反応するタイプの細胞が数多く見つかっています。このように対象を光沢に限っても反応パターンに複数の処理様式が見られました。このよ
うな応答パターンの違いは重層的な質感認知の処理と何らかの関りがあるのではないかと考えられます。

る画像情報がとても素早く抽出されていること、また材質の認知を必ずしも必要としないことを意味します。
一般に、モノの価値の評価はそのモノの認識のあとに行なわれると考えられがちですが、この実験結
果は、ヒトの脳には材質の認知とは別に画像統計量からダイレクトに情動関連情報を処理する経路が存在する可能性を示唆しています。この発見により、材質認知の複雑な情報処理を完全に理解せずとも、
表面画像の特徴を分析するだけである表面の美しさ・醜さを予測したり制御したりする技術への可能性が見えてきました。
しかし、続く実験から、この理論は「食べ物」の画像ではうまくいかないこともわかりました。ほとんどの食べ物の画像は、画像統計量の点ではかなり醜い表面に分類されるはずなのですが、食べ物と非食べ物を混ぜた多くの画像を見せられた観察者は、その画像が「食べ物」であると認知するやいなや心
地よい表面であると評価しました。一方、その食べ物をどれほど心地よい、あるいはおいしそうと評価するかは、やはりいくつかの低次画像統計量とよく相関しました。食べ物か食べ物でないかは、低次の画像統計量では判別できませんでした。この結果は、あるクラスの材質の認知は画像ベースの情動処理を強く変調すると考えると説明がつきそうですが、詳細は不明です。
私たちはまたサルを用いた生理実験により神経処理の時間的な特性についても調べています。ヒト光
沢知覚の程度は、コントラストの強さ'c'、鮮明さ'd'という２つのパラメータで特徴づけられることが知られています。サルの腹側高次視覚野である下側頭皮質にはさまざまな光沢に選択的に反応する神経細胞が存在しますが、それらの細胞はこれらの光沢知覚に重要なパラメータの情報を表現していることが以前の研究で分かっています。私たちはサルに光沢画像を見せた時に得られたそのような神経細胞の応
答の時間特性を詳細に調べました。まず分かったこ○関連する研究発表
論文
1. Okazawa G, Tajima S, Komatsu H: Gradualdevelopment of visual texture-selective properties
between macaque areas V2 and V4. Cerebral
Cortex 27:4867-4880, 2017.
学会発表など1. Motoyoshi, I., Mori, S. (2016). Image statistics
and the affective responses to visual surfaces.
Journal of Vision, 16(12):645.
2. 森詩織, 本吉勇 (2017). 視覚質感への嗜好と嫌悪：食べ物の魅力と画像統計量. 日本視覚学会 2017年冬季大会.
3. Nishio A, Shimokawa T, Komatsu H: Temporal
dynamics of responses of gloss selective neurons.
第３９回日本神経科学大会、横浜、2016.7.20.

6

計画研究

A01-3

質感認知に伴う情動惹起の神経機構
研究代表者

南本 敬史（量子科学技術研究開発機構・

研究分担者
研究分担者

放射線医学総合研究所・チームリーダー）
本田 学（国立精神・神経医療研究センター神経研究所・部長）
鯉田孝和（豊橋技術科学大学・エレクトロニクス先端融合研究所・准教授）の影響を特定することで、感性的質感認知における情動・感性系の神経回路、分子、両者の相互作用を明らかにします。特定の神経回路の神経活動を薬物で遠隔的に ON/OFF できる画期的な化学遺伝学的手法である「DREADD-CNO 法」を用い、イメージング等と組み合わせた解析を進めます（南本）。一方、別のアプローチとして(2)特定の情動反応に影響を与える質感属性を特定して、それが辺縁系にどのように作用するかを明らかにします。人間の可聴域上限をこえる超高周波により音の感性的質感認知が顕著に向上する現象〈ハイパーソニック・エフェクト〉に着目し、聴覚における強い効果をもたらす刺激属
性を抽出、動物実験でその効果の検証を行ないます（本田）。また視覚においては、明るく鮮やかなシーンや画像が好まれる現象に着目し、ヒトとサルを対象とした心理・神経生理学実験を通じて脳の仕組みの理解を目指します（鯉田）。
これらの取り組みにより、他班における質感刺激やその呈示法など領域内でのリソースを積極的に利用した学際的研究による成果が期待できます。これ
らの成果を通じて、質感の感性的な側面の客観的評
価方法の確立や、質感向上のための属性パラメータの特定など、質感評価・再現技術に重要な情報を提供できることが期待されます。

化学遺伝学手法(DREADD-CNO 法)を用いてサル脳
神経活動を操作することで、嗅周野−前頭眼窩野-吻
内側尾状核の回路が視覚による価値判断に必須であることが明らかとなった（論文 1,2）。
○研究の背景と目的
私たちは知覚した感覚情報に伴って「美しい」「すばらしい」と感じる感性や価値判断、そして「快い」などといった情動反応（感性的質感認知）が生じます。多様で複雑な現実世界の質感から、私たちはどのような属性を頼りに特定の情動反応を引き起こしているのか？この感性的質感認知の謎を解き共通原理を理解できれば、世界をより豊かにし、日常を心
地よいものに導けるかもしれません。これらを紐解
く鍵はきっと私たちの脳の中にあるはずです。
これまでの研究から、私たちが受け取った複雑な感覚情報は、最終的に情動や価値判断を担当する「辺縁系」と呼ばれる部位で処理され、快楽や価値に関係するドーパミンや、気分や感情と関係するセロト
ニンといったモノアミンとの相互作用の結果、特定の感情や情動が生じると考えられています。しかし、神経回路と分子との相互作用の仕組み、そしてどの
質感属性が特に辺縁系に働きかけて特定の情動反応を引き起こすかについて、詳しくは分かっていません。
そこで私たちのグループは、感性的質感認知における脳の基本的な仕組みを明らかにすることを目的とします。そのため、(1) サルをモデルとして特定の脳回路や分子機能を操作して価値判断や情動行動へ○これまでに得られた成果(1)視覚認知に伴う価値判断の回路
視覚物体認知の最終ステージである下側頭皮質(IT)から、嗅周野(Rh)そして報酬などの価値が表現されていることが知られている前頭眼窩野(OFC)に至る
経路が、視覚認知に伴う価値判断に重要であると考えられてきました。南本らは、脳局所の神経細胞に人工受容体（DREADD）を導入することで、その活動を薬物(CNO)で一過性に抑制させることができる
化学遺伝学的手法(DREADD-CNO 法)をサル脳に世界に先駆けて適用し、Rh と OFC との神経連絡が価値判断評価に必須であることを明らかにしました(論文１)。さらに OFC の投射を受ける吻内側尾状核（ rmCD ） に 着 目 し 、 サル rmCD の 神 経 活 動を
DREADD-CNO 法を用いて一過性に抑制させること
で価値判断に障害を引き起こすことを明らかにしました(論文２)。これらの結果から、視覚に基づく価値判断・評価には IT→Rh→OFC→rmCD という神経連絡が必須の役割を果たすことが示唆されました。
さらに、価値判断課題遂行中のサルからニューロン

7

活動記録を進め rmCD とその投射先である腹側淡蒼球(VP)のニューロン活動が視覚刺激の提示後、価値の大きさに相関することを見出すなど、この回路の機能の詳細に調べています(学会発表 1)。

素早い縮瞳反射と、集中度や情動の状態に応じた効果が重ね合わされています。また、縮瞳反射は光感
受性網膜神経節細胞(ipRGC)の活動に大きく支配されているため視覚刺激の色と時間特性に特徴が出ると予想されます。測定の結果、サルもヒトも２秒～
１分に渡っての遅くて持続的収縮が青色光で観察され、赤色光では生じないことがわかりました。また、プロジェクターの光学系をカスタマイズした４原色
型の高輝度表示デバイスを導入し、色を司る LMS
錐体と ipRGC の寄与を切り分ける実験が可能となりました。さらに、ヘッドマウントディスプレイを用いたシーンへの没入刺激によりシーンへの生理応答を計測しています。今年度は物体刺激の厚み知覚が材質とシーン、動きによってどのように影響を受けるか調査し、光沢が厚み知覚に強力に寄与することが明らかになりました（学会発表３）。視覚刺激提示装置の開発を通じて、視覚的質感と情動の研究に貢献しています。

(2)視聴覚認知に伴う情動惹起の回路
OFC は視覚だけではなく全ての感覚入力を受け取る脳領域であり、高次感覚野との双方向性の神経連
絡があります。感覚認知に伴う情動惹起の神経回路として、この回路の役割を明らかにするため、抑制性 DREADD を両側の OFC に導入することで、この領域の神経活動を選択的・一時的に抑制可能にしたサルを作出しました。このサルを対象とした fMRI
計測を進めており、情動の顕著性の高いサルの音声を呈示した際にみられる強い神経活動が DREADD
活動抑制によって減弱すること、そして情動に関連する視床 MD 核、扁桃体などの神経ネットワーク活
動に有意な変容があることを見出しています。
(3)音響環境エンリッチメントが動物生存と社会性に及ぼす効果の検討
特定の質感刺激は情動・感性神経系に作用し、生存に最適な環境を選択することで生存値を向上させるための機能を果たしていると考えられます。聴覚における環境情報の複雑性が、動物の寿命や生存値に与える影響を特定するため、マウスを熱帯雨林の環
境音を呈示する音響環境エンリッチメント条件と、通常の実験動物飼育環境の騒音下で飼育する対照条件に分けて長期飼育しました。その結果、音響環境
エンリッチ条件で飼育したマウスで寿命が有意に延長しました。この効果は、自発活動量の増加による影響を差し引いても有意であったことから、単なる運動量増加以外の要因が関与することが示唆されました。また音響環境エンリッチメントによる寿命延長効果はオスで顕著であり、自然環境音呈示によって最長寿命は変化しないものの、最短寿命が延長するとともに、同一ケージ内の個体ごとの寿命のばらつきが小さくなることがわかりました。このことは、個体間の社会的順位付けがメスより顕著なオスにおいて、自然環境音呈示によって順位付けが緩和され、いじめ行動が抑制されることにより、最短寿命が延長したことを示唆すると考えられます。すなわち自然環境音による音響環境エンリッチメントがもたらす寿命延長効果には、ケージ内での社会的ストレスの軽減が関与している可能性が示唆されました。
(学会発表 2)。

○関連する研究発表
論文
1. Eldridge MA, Lerchner W, Saunders RC,
Kaneko H, Krausz KW, Gonzalez FJ, Ji B, Higuchi
M, Minamimoto T, Richmond BJ.: Chemogenetic
disconnection of monkey orbitofrontal and rhinal
cortex reversibly disrupts reward value. Nature
Neurosci. 19: 37-39, 2016.
2. Nagai Y, Kikuchi E, Lerchner W, Inoue KI, Ji B,
Eldridge MAG, Kaneko H, Kimura Y, Oh-Nishi A,
Hori Y, Kato Y, Hirabayashi T, Fujimoto A,
Kumata K, Zhang MR, Aoki I, Suhara T, Higuchi
M, Takada M, Richmond BJ, *Minamimoto T: PET
imaging-guided chemogenetic silencing reveals a
critical role of primate rostromedial caudate in
reward evaluation. Nat Commun. 7: 13605, 2016.
学会発表など1. Fujimoto A, Hori Y, Nagai Y, McCairn KW,
Hirabayashi T, Kikuchi E, Takada M, Suhara T,
Minamimoto T: Encoding expected reward value
for formulating goal-directed decision in the
rostro-medial caudate and the ventral pallidum.
Annual meeting of Society for Neuroscience,
Washington DC, U.S.A. 2017.
2. Yamashita Y, Kawai N, Ueno O, Matsumoto Y,
Oohashi T, Honda M: Sex differences in lifespanprolongation effect in mice induced by acoustic
environmental enrichment, Annual meeting ofSociety for Neuroscience, Washington DC, U.S.A.
2017.
3. Ohara M, Kim J, Koida K: Using the Oculus
Rift to Understand the Perception of Shape from
Material Flow. 13th annual Asia PacificConference on Vision, Tainan, Taiwan, July 13-17,2017.

(4)視覚における明るさの選好性と非対称情報処理
視覚においては一般的に明るい環境や輝くモノが好まれます。シーンの明るさへの生体応答を評価す
るため、高輝度大画面ディスプレイに赤、青の全画
面刺激を呈示して、サルとヒトの生理応答を記録しました。生理応答として注目したのは瞳孔経です。
瞳孔経は自律神経系の制御を受け、刺激光に対する

8

計画研究

A01-4

研究タイトル コンピュータビジョンで実現する多様で複雑な質感の認識機構
研究代表者
研究分担者

佐藤
向川

平

いまり（国立情報学研究所・教授）

康博（奈良先端科学技術大学・教授）

諭一郎（東京藝術大学・特任准教授） 鄭佐藤洋一（東京大学・教授）

銀強（国立情報学研究所・助教）

図１：機械の目「コンピュータビジョン」で認識する身の周りに存在する様々な質感
図 2：濡れている点と乾いている点の分光情報○研究の背景と目的
物体表面に入射した光は、反射・散乱・吸収・透過・
屈折・干渉等の様々な光学現象を起こし物体表面から出射する。この時、出射光の性質が変化することに基づいて、我々人間が目で見て感じる「光学的な質感」が作りだされる。また我々はこの「光学的な質感」から物の材質や状態を直感的に知ることができる。つまり「光学的な質感」の中には物体の材質や状態を知るための手がかりが含まれているということが言える。そこで我々のグループでは、図１に示すように、我々の身の回りに存在する様々な質感を光学の視点から解明し、コンピュータによる質感の認識を目指して研究を進めている。

図３：水の染み込み（左）と濡れ度合いマップ（右）案した。物体の濡れ度合いにより変化する散乱の物
理式を導出し、濡れることによって物体の見えが暗くなる現象と色がシャープになる現象を示した（図３参照）。
（２） 超音波振動による物体表面の法線方向の変化を用いた粘弾性の推定
図１左下に示すように、指で物体表面を触った時、我々はネバネバやプニプニといった粘性や弾性を感じることができる。本研究では、これら粘性や弾性といった物体の触った質感を触らずに推定するために、超音波による振動と光学的な解析を組み合わせた手法を提案した。具体的には、図 4 に示すように、
超音波を物体表面に集めることによって応力を発生させると、物体表面は与えられた応力によって振動させられる。振動の振幅は、与えられた応力と粘性・弾性に応じて決定されるため、事前に応力を測定し、振幅を測定すれば粘性・弾性量が決定できる。物体
表面の振動位置に光を入射すると、光は物体表面で○これまでに得られた成果（１） Wet / Dry ? 状態変化に伴う輝度・色変化を利用した湿り具合の認識
図１の左上に示すように、コップに入っている液体を絨毯にこぼしてしまった時、我々は布が乾いているところと濡れているところを写真から認識することができる。これは、物体の見えが、その材質に加え、乾いているか濡れているなどといった状態の影
響も大きく受けることを示している。そこで本研究では、図２に示すように、光の波長情報である 1 枚の分光画像を入力として物体の濡れている度合いと物体の色、散乱の度合いを同時に推定する手法を提9

図６：マヨネーズの写真（左）とToF カメラを用いた距離計測結果（右）図 7: 同じ色で異なる材質の材質分類結果
射光が時間的に歪み、距離が正確に測れない。本研
究では、この距離計測の誤りを逆に材質分類の手がかりとして利用する手法を提案している。図７に示すように、提案手法は、光の飛行時間を手がかりとして材質の分類を行っているため、同じ色の物体で通常の写真では見た目の質感の違いが認識しにくい
場合においても、材質の分類が可能であるという特長を持つ。

図４：粘弾性推定の概要

Normalized
Photometric ValueOil VG32

Oil VG68

Oil VG100（４） 質感を表現する光学的レプリカ

VG32

VG68

Non-vibration
Vibration ３D プリンタなどを用いた物体の製作では、所望す
VG100( duty rate 20% )る対象物体の三次元の形状や色を再現することが行( duty rate 30% )われている。我々の研究では、三次元の形状や色だ
Proposed method
44.19
64.44
80.64
けでなく、物体表面上で観測される光の散乱現象を
Oil VG32
Oil VG68
Oil VG100
完全に再現可能な光学的レプリカを作成することをGround truth
26.72
60.08
85.94
Ground Truth
目指している。図８に示すように、これまでにも、(a)Proposed
書画の反射光と透過光を同時に再現できる光学的レ
図５：オイルを用いた粘弾性推定実験(b)Proposedプリカの作成法を提案してきた。今回はさらに図９に示すように、光学特性の異なる液体の混合によっ反射し、拡散板を通してカメラ上で観測される。こて、任意の散乱・吸収特性を再現することを試みた。
Oil
VG32
Oil
VG68
Oil
VG100
の時、物体表面が振動していると、振動に伴い物体標準溶液に対して散乱溶液と吸収溶液の混合比率を
VG32
VG68
VG100
表面の法線方向が変化するため、拡散反射板上の陰(a)影は残像効果により明るさの分布として観測される。
Proposed (red) [cP]
20.14
64.08
80.55 制御することで，所望の散乱・吸収特性を有する液(b)Proposed(blue)
[cP]
44.19
64.44
80.64 体を生成する方法を提案した．図１０に示すように、
この陰影情報と超音波による振動をモデル化し観測(c)Ground
Truth
[cP]
26.72
60.08
85.94 材質としては異なる物体を用いているが，見た目の情報から図５に示すように粘弾性を推定可能である
光の広がり方が近くなるように設計されているため、ことを示した。
光学的な質感の違いが再現できている。

Viscoelasticity

Vibration（３） ToF カメラを用いた同じ色を持つ物体の
材質分類
Time-of-flight カメラは、光の飛行時間からカメラか
ら物体表面までの距離を測定するデバイスとして開発された。しかし、プラスチックや食品に代表されるような散乱体は、様々な経路の光がカメラ上で同時に観測される。そのため、図６に示すように、反（５） 球体ディスプレイを用いた浮遊感表現
それ自体が立体構造を持つ球体ディスプレイでは、どのような映像表現が可能となるのか。本研究では、
浮遊感表現に焦点を当て、球体ディスプレイにおいてテクスチャの層構造を知覚させる映像表現について検討した。図１１に示すように、地球の雲の浮遊10によって、擬似的な奥行きの違いを浮遊感として人間に知覚させる効果を検証した。
○関連する研究発表
論文
1. 浅田繁伸, 久保尋之, 舩冨卓哉, 向川康博, ``書
画の質感再現を目的とした反射率と透過率を同時に再現するレプリカの作成'', 電子情報通信学会論文誌 D, 2017.6.

図８：二層物体による反射と透過の光学的質感の再現結果

学会発表など1. Mihoko Shimano, Hiroki Okawa, Yuta Asano,
Ryoma Bise, Ko Nishino, Imari Sato The IEEE
Conference on Computer Vision and Pattern
Recognition (CVPR), 2017, pp. 3967-3975
2. 青砥隆仁, 向川康博, ``超音波振動による物体表面の法線方向の変化を利用した粘弾性の推定'',
情処研報 CVIM 206-12, Mar. 2017.
3. K. Tanaka, Y. Mukaigawa, T. Funatomi, H.
Kubo, Y. Matsushita, Y. Yagi, "Material
Classification using Frequency and Depth
Dependent Time-of-Flight Distortion", Proc.
The IEEE Conference on Computer Vision and
Pattern Recognition , pp.79-88, 2017.7.
4. 伏下晋， 久保尋之，舩冨卓哉，向川康博，``光
学特性の異なる液体の混合による半透明物体の散乱特性再現''， 映像表現・芸術科学フォーラム
2017, 2017/3/14.
5. 佐藤大夢，久保尋之，舩冨卓哉，高柳亜紀，中村芳知，瀬口慎人，松岡均，向川康博， ``球体
ディスプレイのための浮遊感表現に関する考察'',
映像表現・芸術科学フォーラム 2017, 2017/3/14.

図９：液体の混合による光学的レプリカの製作に置ける概念図

図１０：対象物体（左）と液体の混合による光学的レプリカの再現結果（右）図１１：球体ディスプレイを用いた浮遊感表現

像の間に生じる奥行き感を動的なテクスチャによって表現している。地表と雲に運動視差を与えること

11

計画研究

B01 質感マイニング

12

計画研究

B01-01

画像と言語を用いた質感情報表現のディープラーニング
研究代表者
研究分担者

岡谷
川嵜

貴之（東北大学大学院情報科学研究科・教授）

佳祐（新潟大学大学院医歯学総合研究科・准教授）というこの問題特有の難しさです．また，そもそもどういう概念を扱うべきか，人がどんな画像に，それぞれの概念をどの程度の強さで感じているかなどを測る必要があります．これに付随して，人の知覚にある個人差をどう扱うかも課題となります．このような課題は，物体カテゴリ認識のように，システ
ムが出力すべきものが人と独立に存在する場合には，無縁でした．
以下に，われわれの取り組みのいくつかを紹介します．いずれにおいても，近年，あらゆる画像認識の定番となった畳み込みニューラルネットワーク（以下 CNN）が中心的な役割を果たします．

図 1. 目標とする「人と同じように質感を認識できる
ビジョンシステム」の概念○研究の背景と目的
われわれは，画像から質感を認識するシステムの実現を目指し，研究を行っています．質感は言語化
しづらく，それゆえに人と人，あるいは人と機械の間での共有・伝達が難しいという性質があります．
例えば「漆のような黒」や「ダイアモンドの透明感」
は，様々に解釈が可能です．これを踏まえ，画像に写る物の質感を「数値化」し，万人が共有できるような「質感の標準化」を可能にすることが，最終的な目標です．
このようなことが実現されれば，産業・社会への大きなインパクトがあります．質感を数値化・可視化することで，工業デザインの効率化（＝製品の試作や実物目視の必要性を排除）を図れるでしょう．
また，ウェブの検索サイト等での情報取得や，商品推薦の精度を向上させることもできると期待されます．人が感じとる質感因子の成分が明らかにされることで，画像（に写る物）の質感を制御することや，
映像伝送時の情報圧縮への応用も可能になるかもしれません．
質感とは，様々なものを指し得る広範な概念です．
われわれは主として，表面の素材や形状に由来する
視覚で知覚可能なものを，ターゲットとしていますが，その中にも，光沢感や透明度といった視覚でのみ捉えられるものだけでなく，冷たさや柔らかさといった，触覚に結びついた質感もあります．人はそういった属性であっても，視覚によってかなり正確に認識できることが知られています．
われわれは，こういった質感を，人と同じように認識できるシステムの実現を目指し，いくつかの取り組みを行ってきています．そこで壁になるのは，システムが出力すべきものが人の頭の中にしかない，

13○これまでに得られた成果
質感形容詞の認識
画像１枚からそこに写る物体の（あるいは画像全体から受ける）質感に関わる形容詞の強弱を出力するシステムを構築しました．まず，人の知覚の内容を測るために，２枚の画像の順序付け（ranking）を人に行ってもらいます．具体的には，２枚の画像を被験者（クラウドソーシングの作業者）に提示し，複数の形容詞のそれぞれについて，どちらがより強く感じるか（例えば，より“aged”か）と問い，回答を記録します．多数の画像ペアを対象に，複数の形容詞それぞれについて，順序の情報を得ます．
そして，この結果を可能なかぎり忠実に再現する
よう，CNN の学習を行います．技術的には以下のよ
うにしています．２つの入力をとる Siamese 型の構造を持つ，事前学習済みの CNN を使い，画像ペア
を２つの入力層に入力します．CNN の出力層には，
形容詞それぞれ，ソフトマックス関数による出力を持たせ，上述の複数人の順序付けの分布との差を，交差エントロピー損失関数で測り，学習時にはこれを最小化しています．
以上の方法で，各質感形容詞を概ね正確に予測できるようになりました．提案手法の推定結果について，形容詞別に見ると，性能の良い方から順に cold，
glossy，wet，aged，transparent，beautiful，resilient，
sticky の各形容詞は，われわれが構築したデータセット内では，かなり人に近い認識が出来ています．
一方，hard，light，fragile の推定性能は概ね低く，人とはまだ距離があるという結論です．
図 2 にわれわれの CNN の認識結果を可視化したものを示します．これは，各形容詞の強弱の値を計

算した場合に，画像のどこからどれだけの貢献を得たかを表しており，赤が正，青が負の貢献を与えていることを示しています．
INPUT

aged

cold

clean

fragilegloss

質感を含む概念による画像記述
質感の概念の広がりは広く，形容詞一語で表せる
質感は限られています．また，質感の表現の中には，
文脈によって意味が変化するようなものもあります．
読み取った質感を表現するには，形容詞＋名詞でできた句や，より柔軟な言語表現を用いる必要があると言えます．そのためには，最初に紹介した形容詞のように閉じたクラスを対象としていては不可能であり，新しい言語表現を生成できるようにする必要があります．
そこでわれわれは，画像記述の枠組みを採用し，上と同じ Etsy のデータを対象に，商品の画像から，その商品の内容を的確に表現したタイトル文を生成する問題を対象に，この問題に取り組みました．この目的で Etsy の商品のタイトル文から教師データを生成し，これを使って CNN-LSTM ハイブリッドを学習し，画像からタイトル文を生成するシステムを構築しました．結果の一例を図 3 に示します．図
には，一般的な画像記述手法の結果（画像とその記述のペアを収めたデータセット MS-COCO を用いて学習したもの）も，併せて示しています．概ね，われわれの方法で，より自然な商品タイトルを生成できることが確かめられました．

図 2．質感形容詞の CNN による認識の可視化
質感形容詞の発見
上のシステムでは，事前に選んだ形容詞につき，クラウドソーシングによって学習データを作り出していました．しかしこのやり方では，質感の多様な表現すべてを，事前に選び出す必要があり，それは一般に困難であると考えられます．そこで，ウェブ上の何らかのデータを用いて，質感形容詞あるいは類語を，自動的に発見する方法を検討しました．
主として，手作りの商品を販売するサイト Etsy
（etsy.com）の商品データを用い，商品画像とその説明文のペアを分析することで，人によるアノテー
ションを行うことなく，「視覚的に認識可能」な概念を自動的に獲得します．まず，物体認識を学習済みの CNN に，商品画像を入力し，各中間層の出力を記録します．ある特定の語に注目し，その語を説明文に含む商品と含まない商品の２つの集合を考えた
とき，前者の画像に対してのみ，選択的に出力が大きくなる中間層のユニットを見つけ出します．このユニットはその語の概念を捉えていると考えることができ，さらに，その語が表す概念は，視覚的に認識可能だと言えます．こうして発見された語と，その可視化の例が図 3 です．
white style

gingham checkyellow

sunglasses

Needlecraft

Art

Dolls and Miniatures

Zombie Chicken Needle Felted Wool
Sculpture - MADE TO
ORDER

RootedFairy Walking sticks

Our needle felted animal
model
MS-COCO a white teddy bearmodel sitting on top of agreen fieldart print

primitive dolla close up of a pairof scissors

a man sitting on abench with a bunchof bananas

Original

図 4．写真からの商品タイトルの生成○関連する研究発表
論文
1. Vittayakorn S, Umeda T, Murasaki K, Sudo K,
Okatani T, Yamaguchi K: Automatic attributediscovery with neural activations. In Proc.
European Conference on Computer Vision:
252-268, 2016.
2. Yashima T, Okazaki N, Inui K, Yamaguchi K,
Okatani T: Learning to describe E-commerce
images from noisy online data, In Proc. Asian
Conference on Computer Vision: 85-100, 2016.
3. Li S, Yamaguchi K, Okatani T: Attention todescribe products with attributes, In Proc.
Machine Vision Applications, 2017.
学会発表など1. Liu X, Ozay M, Zhang Y, Okatani T: Learning
deep representations of objects and materials
for material recognition, Vision Sciences
Society Annual Conference, 2016.

図 3．視覚的に認識可能な概念を表す語彙の発見

14

計画研究

B01-2

脳・画像・テキストデータマイニングによる質感情報表現の解明
研究代表者

神谷之康（ATR 脳情報研究所・客員室長/京都大学大学院情報学研究科・教授）
データ駆動的に得られる膨大な数の特徴の中にヒトの脳活動と密接に結びついた特徴が多数含まれることを示唆しています。この方法により、質感を生み出す多彩な特徴とその脳内表現にアプローチすることができると考えられます。

図１：ブラー処理した画像を見ているときの脳活動から深層ニューラルネットワーク特徴量を予測（デコード）すると、元画像を見ているときの特徴に近づいていることがわかった。トップダウン処理により、脳内の特徴表現が「シャープ」になっていることが示唆される (Abdelhack & Kamitani, 2017)。

○研究の背景と目的
従来の質感研究では、少数の物理パラメータに注
目して脳活動との相関が調べられてきましたが、われわれが経験する質感は、言語表現とも結びついた
複雑な情報構造をもつと考えられます。本課題では、
多様な質感情報表現を探索・発見するために、大規模脳・画像・テキストデータのデータマイニングを用いた発見的なプローチで質感研究を推進しています。
機 能 的 磁 気 共 鳴 画 像 法 （ functional magnetic
resonance imaging, fMRI）等により計測されるヒトの脳活動信号を機械学習によるパターン認識で解析することで心の状態を解読する技術は「ブレイン・
デコーディング」と呼ばれ、当研究グループが世界に先駆けて開発してきました。一方、深層ニューラ
ルネットワーク（deep neural network, DNN）は、脳の基本素子であるニューロンやシナプスにヒントを得て作られた人工ニューラルネットワークの一種で、近年ではヒトと同レベルの物体認識精度を達成しています。
最近われわれは、画像を見ている時のヒトの脳活動パターンと、同じ画像を入力としたときの DNNの信号パターンの間に相同性を発見し、脳から DNNへの信号変換が可能であることを見出しました。
DNN の各ユニットの活動は、大規模データ用いてネットワークを訓練する際に自動的に抽出される特徴量を表現していると考えられます。ヒトの脳活動か
ら DNN 信号パターンに変換できるということは、

15○これまでに得られた成果
本研究課題の第一段階では、脳から深層ニューラ
ルネットワークへの信号変換技術を完成させるための 研究を 進めて きまし た（ Horikawa, Kamitani,2017）。
本研究では、コンピュータ・ビジョンの分野で用いられる「物体概念を視覚特徴のパターンによって表現する」という考え方を採用し、DNN 特徴量のパターンによって物体画像を表現しました。そして、ブレイン・デコーディングを応用して、被験者が物体画像を見ているときの脳活動パターンから DNN
信号を予測（脳から DNN への変換）するデコーダを構築しました。学習済みのデコーダで予測された
特徴パターンを大規模画像データベーとマッチングすることで、画像を見たり想像したりしているときの脳活動から、任意の物体カテゴリーを解読（検索）する方法を考案しました。
このアプローチの有効性を検証するため、われわ
れはまず、脳活動から DNN 特徴量を正確に予測できるかどうかを確認しました。脳の視覚野の異なる部位の活動を使ってデコーダの学習を行ったところ、
低次視覚野の活動を使って学習したデコーダは、
DNN 低次層の特徴量をよく予測でき、高次視覚野の活動を使って学習したデコーダは、DNN 高次層の特徴量をよく予測できることがわかりました。この結果から、脳と DNN の間の相同性（ホモロジー）を確認することができました。
デコーダを、物体を想像中の脳活動に対して適用すると、DNN 高次層の特徴量を予測した成績のピー
クのタイミングが、低次層の予測成績のピークのタ
イミングに先行するという結果が得られました。物
体画像を想像しているときに、想像中の物体の視覚特徴が実際に画像を見ているときと共通の脳活動パ
ターンによって表現されていることが明らかになるとともに、脳が高次から低次の順にトップダウン的に階層的特徴表現を活用している様子を可視化することができました。
これらの結果をもとに、提案するアプローチを用いて、ランダムに選択した 1000 個の物体カテゴリー
から、知覚・想像している物体カテゴリーを正しく予測（検索）できるか検証した結果、正解の物体カ

テゴリーが検索ランキングの上位にランクされる結果が得られました。また、予測が外れた場合であっても、正解のカテゴリーと意味的によく似たカテゴリーを予測できていることがわかりました（例：“duck”が正解の場合に他の鳥類のカテゴリーが予測として与えられる）。
本研究により、モデルの学習に用いていない任意の物体に関しても、ヒトが物体を知覚・想像しているときの脳活動から物体のカテゴリー情報を予測することが可能になりました。また、脳の視覚野とDNN の階層的相同性が示されるとともに、物体を想像しているときには、階層的情報表現が高次から低次に向けて段階的に活用されていることが明らかになりました。
本研究では、ブレイン・デコーディング、DNN、大規模画像データベースを組み合わせることで、脳活動パターンから、知覚・想起している任意の物体を解読する方法を開発しました。人工ニューラルネ
ットワークは脳の構造にヒントを得て作られた数理モデルですが、近年では脳のモデルとしてよりも汎用的な機械学習手法として利用されてきました。この成果によって、人工ニューラルネットワークが再び実際の脳と対応づけられることとなり、ブレイ
ン・デコーディングへの応用だけでなく、脳型人工知能の開発にも貢献することが期待されます。
上記の成果をもとに、今年度われわれは、トップダウンの視覚情報処理が脳内の階層的特徴表現に与え る 影 響に つ いて 調 べまし た （図 1; Mohamed,
Kamitani, 2017）。
この研究では、低周波フィルタによりブラー処理した画像（ブラー画像）を刺激として脳活動を計測し、そこから、上記と同じアルゴリズムで DNN 特
徴量をデコードしました。デコードされた DNN 特
徴量を、ブラー画像自体の DNN 特徴量とブラー処理する前の元画像の DNN 特徴量それぞれと比較しました。
その結果、脳からデコードされた DNN 特徴量は、
刺激画像と比較して元画像の DNN 特徴量により近くなることが見出されました。これは、脳がブラー処理で失われた特徴を補完して表現していることを示しています。ぼやけた画像を知覚する際には、トップダウン処理により補完された質感が意識に上っている可能性が示唆されます。
この研究では、ブラー処理によりぼやけた画像を刺激とし用いましたが、一般に視覚入力においては、
物理的な遮蔽や光学的制約により、多くの情報が失われています。ベイズ推論の考え方を利用してトッ
プダウン処理を説明する理論がこれまで提案されてきましたが、実際の脳活動データと対応づけられた
具体的な情報表現を調べることは困難でした。脳活動パターンから DNN 特徴量をデコードすることにより、トップダウン処理による具体的な情報表現の計画研究 B01-3

16変調を捉えることが初めて可能になりました。
今後はこれらのアプローチを画像生成や言語情報にも拡張し、質感認知に関わる階層的情報表現を明らかにしたいと考えています。
○関連する研究発表
論文
1. Horikawa, T, Kamitani, Y, Generic Decoding of
Seen and Imagined Objects using HierarchicalVisual Features. Nature Communications 8:15037, 2017.
2. Abdelhack, M, Kamitani, Y, Top-down
sharpening of hierarchical visual feature
representations Affiliations. bioRxiv
https://doi.org/10.1101/230078, 2017.
3. Satake, E, Majima, K, Aoki, SC, Kamitani, Y,
Sparse ordinal logistic regression and its
application to brain decoding. bioRxiv
https://doi.org/10.1101/238758, 2017.

計画研究

B01-3

視覚系における質感情報表現の階層的情報変換
研究代表者
研究分担者

大澤
田村

五住（大阪大学大学院生命機能研究科・教授）

弘（大阪大学大学院生命機能研究科・准教授）

佐々木 耕太（大阪大学大学院生命機能研究科・助教）
細胞のそれと比較することにより，電気生理学的手法のみでは得られない示唆が得られると期待されます．本稿では B01-3 班における，このような研究か
ら２つの研究について述べます．
○Part １
この研究では，物体認識のための階層的な視覚情報
処理過程に注目し，脳と人工的なネットワークとの間で情報処理はどのように進むのか，階層的な情報処理システムに共通する性質を明らかにすることを目指しました．

図１：サル大脳皮質階層構造と AlexNet 階層構造○研究の背景と目的
目やカメラに映ったいろいろなものを識別することは，かつて哺乳動物の脳だけができることでした．
しかし，十数年前から機械にも人の顔を識別できるようになり，今や，人とほとんど変わらないか，あるいは人以上の精度で，機械が視覚的物体を識別できるようになりました．現在の一般物体識別の技術
は，霊長類の大脳視覚皮質における視覚情報処理を参考にして構成された，深層畳み込みニューラルネ
ットワーク（CNN）によりもたらされています．CNN
は「人工知能」という名前で，私たちの生活と切っても切り離せない深い関わりを持ちつつあります．
しかし，CNN によってさまざまなことができるようになった一方で，どうのようにして実現しているのかわかっていないことが多く，実用上の不安がぬぐえません．
本研究は，おもにデータ駆動型アプローチを用いて
質感情報処理を単一細胞の神経活動と対応づけて理解することを目的とし，階層的に構成された視覚系において，質感にかかわる情報処理過程を，主として神経細胞レベルでの電気生理学および心理物理学的手法により解析します．このような手法に加えて，最近の人工ニューラルネットの発展により利用が進む深層畳み込みニューラルネットワーク（CNN）の中間層が担う視覚情報を調べ，実際の動物の脳内の17○これまでに得られた成果１
階層的に配置したサル大脳皮質視覚関連領野［初期
視覚野（V1）, 中次視覚野（V4）, 高次視覚野（TE）；
図１上］より物体表面画像に対する神経活動をそれぞれ計測し，各領野における情報表現を画像間非類
似度行列（RDM）として求めました．畳み込みニュ
ーラルネットワーク(CNN)の一つである AlexNet（図１下）に入力した時の各層における RDM も求め，神経活動より求めた RDM と比べました．RDMを用いることで，画像間で神経細胞集団に誘発する活動の類似度を定量化できるので，大脳皮質領野−
CNN 層間で情報表現が似ていれば，RDM の相関は高くなります．

図２：脳の情報表現(画像間非類似度行列 RDM)と
CNN の RDM の比較．脳の低次(V1)，中次(V4)，高次(TE)領野における RDM は，それぞれ CNN の低次(conv2)，中次(conv3)，高次(fc7)層の RDM と一致しました．
大脳皮質視覚関連領野における階層性と AlexNet

するユニットを CNN において発見しました．また，この応答を生み出すサブユニットの構成を同定しました．
図３A は方位の境界の例です．シマリスの背中には縞模様（縦縞）がありますが，背景にはありません．
このような視覚特徴に応答する CNN のユニットを見つけ，応答を作り出しているサブユニット構成を現代的な視覚神経科学の手法により明らかにしました．図３B に，応答に正の寄与をするサブユニット
５つと，負の寄与をするサブユニット５つを，それぞれの行に示しました．各サブユニットの２つの図は，左側は空間領域におけるフィルタのプロファイ
ル，右側はそれをフーリエ変換して得た，周波数領域における表現です．いずれのサブユニットも縦の方位（縞模様）の検出器として働きますが，正の寄与をするサブユニットは負の寄与をするサブユニッ
トよりも右側にあることがわかります．これは，図３A に示すような，シマリスの背中と背景のような位置関係で縦の方位の境界が現れた時に，強く応答することを意味しています．
CNN も動物の脳と似たような機構により一般物体識別を実現していることを示唆する結果が得られました．今後，動物の脳を調べる際にも，CNN を改良する際にも，重要な指針となることが期待されます．

における階層性が，よく一致することが明らかになりました．初期視覚野（V1）RDM は conv2 層 RDMと，中次視覚野（V4）RDM は conv3 層 RDM と，
高次視覚野（TE）RDM は fc7 層 RDM と，それぞれ最もよく相関しました（図２）．つまり，脳における階層的な情報処理と対応する順番で，人工的なニューラルネットワークでも階層的に処理が進行している様子が明らかになりました．階層的な処理過程が類似していたことから，複雑な視覚特徴の組み合わせとして得られる物体表面画像の処理に際して普遍的に観察される性質が存在すると考えられます．
今後は，人工的なネットワークでの詳細な解析を進めることで，脳における情報処理様式の理解を進めます．

図３：（A） シマリスの背中（緑丸：縦縞がある）と背景（赤丸：縦縞がない）は，「方位の境界」により区別することができます．
（B） こうした方位の境界を検出する CNN のユニ
ットの応答を生み出すサブユニット構成を明らかにしました．
○Part ２
この研究では，CNN がどのように一般物体識別を実現しているのかを探るべく，CNN の特に中間層でどのような視覚情報が表現されているのか調べています．CNN ではすべての神経結合は既知であること，さらに，とてつもない数の視覚刺激に対するユニットの応答を得ることができること，という特長を生かし，データ駆動型アプローチにより研究を推進しています．
○これまでに得られた成果２
動物の脳にせよ，CNN にせよ，最も基本的な視覚特徴は方位（傾き）です（大脳皮質一次視覚野には方位に選択的に応答する神経細胞が見つかり，CCN の第一層にも同じ性質を持ったユニットがあります）．
動物の脳では，この後，「方位（視覚テクスチャ）の境界」に応答する神経細胞に視覚情報が伝えられると考えられています．本研究において，これに相当

18○関連する研究発表
論文
1. Tamura H (2017) Pairwise correlations of
spiking activity changes along the ventral visual
cortical pathway of macaque monkeys. bioRxiv
220301.
2. 本武陽一，庄野逸，田村弘，岡田真人 (2018) 脳
情報科学と人工知能−ネオコグニトロンから Deep
Learning へ− 情報処理（情報処理学会誌） 59：
42-47.
学会発表など1. Tamura H, Pairwise correlation of spiking
activities differed among hierarchically organizedvisual cortical areas of macaque monkeys. 第 40 回
日本神経科学大会，東京，2017.7.20-23.
2. 中谷光宏，神田悠汰，田村弘，自然物体表面画像に対するサル腹側視覚経路神経活動情報表現と畳み込みニューラルネットワーク情報表現の関係. 第 27
回日本神経回路学会全国大会, 北九州市，2017,9,20–
22.
3. Wakitani K, Sasaki KS, Ohzawa I: Curvatureselective units emerged in intermediate layer of a
convolutional network. 第 40 回日本神経科学大会
2017.07.21. 幕張メッセ（幕張）
4. Tsukada T, Sasaki K, Ohzawa I: Comparisons oforientation and spatial frequency tuning
characteristics across V1, V2 and MT neurons in
macaque monkeys. 第 40 回日本神経科学大会
2017.07.22. 幕張メッセ（幕張）

計画研究

B01-4

物理・知覚・感性の対応付けに基づく実社会の多様な質
感情報表現
研究代表者
研究分担者

坂本 真樹（電気通信大学大学院情報理工学研究科・教授）
中内 茂樹（豊橋技術科学大学大学院工学研究科・教授）

ス化することを目的とします．海外でも画像データ
ベースに関する研究が行われていますが，本研究のように質感情報が充実した画像データベースは，建築・デザインの分野で好んで活用され，さらに学術的な研究においても相互に活用しあえるなど，様々な利用方法が考えられます．本研究は，坂本班の主課題である「質感情報」に着目し，実素材の物理量と知覚特性，言語表現がインタラクティブに結びついたデータベース構築を目標としています．
また，身の回りに溢れている“質感”を表す言葉「オノマトペ」が，社会の中でどのように使われているのかをさまざまな素材の専門家の方たちに伺い，木，紙，布などの質感オノマトペマップを作成する「質感オノマトペマッププロジェクト」も進めております．
さらに，画像の印象のオノマトペ表現と，画像を見た時に感じる質感の関係を調査しています．また，その結果を基に，日本語を母語としない被験者を対象とした実験を行い，ブーバキキ効果に見られるよ
うな言語に依存しない普遍性が質感の音象徴にも存在するかを調査しています．

図１．データベースの素材一覧ページ○研究の背景と目的
質感認知とは表面形状・熱伝導率・硬度・水分量などの物理量と粗い－滑らか，熱い－冷たい，硬い－
柔らかい，濡れた－乾いたなどの知覚特性が対応づけられて成立します．さらに近年，質感の物理情報
は快・不快などの高次感性知覚にも影響し，人の価
値判断や意思決定に繋がるとも知られています．西洋では物理量に対応する単一の知覚特性(粗い－滑らかなど)を中心に研究がされてきました．一方，日本では日常的にオノマトペなどの音象徴語を使用することにより，質感知覚を統合的に表現しています．
例えば，「さらさら」とは乾いて滑らか，かつ快の質感特性を統合的に表します．坂本・渡邊は，音象徴
性が触覚の材質感表現においても観察されることを示してきました．特に坂本研は，質感とオノマトペ
音韻の結びつきを工学的に応用し，任意のオノマトペで表される多次元質感印象を推定するシステムを構築してきました．しかし，これまでの成果では，
オノマトペから抽出される質感次元と物理次元や知覚次元との関係性は明らかにされていませんでした．
そこで本計画研究課題では，物理量－知覚特性－言語表現の関係を解明し，得られた情報をデータベー

19○これまでに得られた成果
実験実施とデータベース構築を推進するために，実素材サンプルと画像データセットの収集を行いました．具体的には，実験用和室に用いられている素材
サンプル(畳など 11 種類)，木 10 種類，紙 10 種類，
布 10 種類を確保することができました．収集した実素材を対象として，物理量(表面形状など)と，知覚特性(SD 法)，言語表現(オノマトペ)を触覚，聴覚実験により調べました．物理量は梶本班と連携し表面形状
を中心に行い，3D 形状測定器(KEYENCE/VR-3000)を用いて記録・分析しました．心理物理実験において，
紙，木，布各 8 種類に対して SD 法とオノマトペ回
答による触覚・聴覚実験を行いました．得られた実験データはデータベースに実装し，音韻カテゴリに
より素材検索が可能になる質感データベースの初案を構築しました．例えば，図 2 は「つるつる，さら
さら」と回答した素材の表面，図 3 は「ざらざら」と回答した素材の表面の例です．
「つるつる，さらさら」 とした素材の表面は凸凹の度合いが小さいかつ細かく，「ざらざら」 とした素材の表面は凸凹の度合いが大きいことがわかります．これからは表面形状の高さや間隔情報などを数値化し，定量化してい図 4 は布のオノマトペマップです．５０種類程度の布と，その布に対応付けられたオノマトペが２次元マップ上に分布しています．特に，「粗い－滑らか」，「凸凹なー平らな」，「硬いーやわらかい」，「冷たいー温かい」，「乾いたー湿った」，「滑るー粘つく」の６軸を重ねることにより，素材－知覚－オノマトペの関係が直感的に分かるようになります．

くことで，布の表面の凸凹度合いとオノマトペの関係性を可視化していきます．

画像の印象のオノマトペ表現と，画像を見た時に感じ る 質 感 の 関 係 を 調 査 し た 研 究 で は ， Flickr
Material Database (FMD) の画像を用いて，画像の印象をオノマトペで表現する実験を行いました．また，別の被験者に同一の画像を見せ，その質感を 14の形容詞対をもとに評定する実験を行いました．収
集されたオノマトペは人が発音する際の発声器官の運動を表す IPA 特徴 (IPA: International Phonetic
Alphabet) に変換され，それぞれの質感との相関関係を求めました．結果，「ざ」や「が」などの”有声性”という特徴をもつ音を含むオノマトペが「粗い」，｢つやのない｣という質感と結びつくことなどがわかりました．IPA 特徴という物理的な特徴と質感知覚の関係を示したことにより，今後の研究において，異なる言語どうしを同一の尺度でもって比較することが可能になります．
質感音象徴の普遍性を調査するため，フィンランド
とマレーシアで実験を行いました．実験では，日本
語オノマトペを 2 つ(例：ふわふわ，ごつごつ)聞いてもらい，2 枚の画像(例：セーター，硬貨)を見て，どちらの音の印象がどちらの画像の印象に近いかを答えてもらいました．結果，柔らかい/硬い様子を表す
オノマトペと，滑らか/粗い様子を表すオノマトペに対して，日本人の感覚と同様の応答(例：ふわふわ⇔
セーター，ごつごつ⇔硬貨)をすることがわかり，質感の音象徴性がいくつかの言語話者の間で共通する可能性を示しました．

図 2．
「つるつる，さらさら」と回答した素材の表面形状

図 3．
「ざらざら」と回答した素材の表面形状
このデータベースは，実素材を用いて素材に対する物理・知覚・オノマトペのデータを取得し，データベース化することにより経験的妥当性のあるデータ
ベースになることを特徴とします．また，物理―知覚―言語の関係性を解明することにより科学的知見を提供する上，質感操作システムを構築することで人による価値判断が重要なモノづくりの現場へ活用できる枠組みを提供する点にも特色があります．これからモノづくり側(製品開発者)と一般ユーザー(顧客，製品使用者)，研究者が求めている質感情報をマ
イニング・提供し，新たな質感価値の創出につながることを期待できます．
「質感オノマトペマッププロジェクト」では，木，紙，布を取り扱う専門家へのヒアリングを行い，各50 種類程度の素材の収集と質感を分類するオノマト
ペなどの言葉の調査を行いました．各素材の質感を分類するオノマトペを用いて，木と紙，布のオノマ
トペマップを作成し，質感オノマトペプロジェクト
冊子としてまとめました．

○関連する研究発表
論文
1. Doizaki R, Watanabe J, Sakamoto M: Automatic
Estimation of Multidimensional Ratings from aSingle Sound-symbolic Word and Word-based
Visualization of Tactile Perceptual Space, IEEE
Transactions on Haptics, 10(2):173-182, 2017.
学会発表など1. Wakamatsu K, Tamura H, Kwon J, Sakamoto M,
Nakauchi S: Relationship between perceptual
surface qualities and distinctive features inonomatopoetic expression, Vision Sciences Society
2017 Annual Meeting, Florida, U.S.A., 5.19-24,2017.

図 4．布のオノマトペマップ

20

計画研究

C01 質感イノベーション

21

計画研究

C01-1

触覚的質感の記録再生技術
研究代表者
研究分担者

梶本
岡本

裕之（電気通信大学大学院情報理工学研究科・准教授）

正吾（名古屋大学大学院工学研究科・准教授）
μm 以下の精度、約 1kHz のサンプリングレートで計測することが可能です。

図 1：触覚的質感の計測，解明○研究の背景触感の自在な提示は情報端末分野を中心に現在産業界の高い関心を集めています。しかし実現されている触感表現は記号的な触覚提示にとどまり、質感を表現できるレベルに達していないのが現状です。
この原因は、第一に指先を皮膚の知覚能力以上に高い時間・空間分解能で刺激するハードウエアがな
いこと、第二にその結果として触感表現に関する探索が時間波形と空間パタンに分離して議論されており、刺激の時空間特徴に関する視点が不足していることであると考えられます。
○この研究の目指すもの
本研究は次の二点を目指しています。第一は触感の構成要素の解明です。時間的、空間的に高い解像度を実現する計測装置を開発し、触感を構成する時
空間的特徴量を観察により明らかにすると共に、機械的な刺激装置で再現することによって確認します。
第二の目的は産業界からの期待の大きいタッチパ
ネルにおける触感フィードバック法の最適設計論の構築です。タッチパネルですでに提案されている 2
種類の提示手段を組み合わせ、触感生成の面から最適化する手法を構築します。
○これまでに得られた成果
触感の構成要素の解明に関しては、現在までに指先皮膚が凹凸テクスチャ面上を移動した際の皮膚水
平変位を高速に捉えるシステムを構築しました（図2）。テクスチャ素材とほぼおなじ屈折率のシリコンオイルを用いて凹凸による画像の歪をなくし、指先
皮膚のマーカーをトラッキングするシステムを構築しました。実現した計測系は指皮膚の水平変位を 522

図 2：インデックスマッチングを用いた皮膚計測
この計測系を用いて一定間隔の溝をなぞり、皮膚が局所的に変形するか、皮膚全体が同期して動くかを観察しました(図 3)。同期性に関してはマーカー同士の動きの相関を計算することで検証しました。その結果、約 2mm より狭い間隔の溝に対して指皮膚は全体が同期して振動することが確認されました。
類似の知見は触覚受容器の神経活動計測等によって知られていましたが、皮膚の挙動を直接観察することによって確認されたのは初めてのことです。
同じ計測系によって静電気によって摩擦を提示するタイプのディスプレイにおける皮膚の挙動も観察しました。この結果、皮膚の挙動は加えられる電圧と皮膚のダイナミクスの関係によって決定されることを確認しました。
現在、計測した皮膚時空間変位パタンの水平振動型触覚ディスプレイによる再現を試みています。こ
の記録と再生の組み合わせによって触覚的質感の再現と要素同定が可能となると考えています。

質な触感刺激を提示することが可能になると考えています(図 5)。
まずは限定された素材の触感（テクスチャ）を対象として両タイプの触刺激の特性を活かした触感提示手法を開発しています。タッチパネルを擦ると、そこに表示された画像に合致した触刺激を感じることができます。通常、素材の表面には粗さがあります。また、表面を指で擦ると摩擦が発生します。機械的変位を提示するタイプは、仮想的な表面粗さを提示することが得意ですが、摩擦を生成することはできません。この点を補うために、摩擦を提示する
タイプを併せて用います。そのことによって、これまでのどちらか一方のタイプを用いた手法よりも、より本物らしい触感の提示が可能となることが心理学実験によって分かっています。これら 2 手法をどのように組み合わせることで、良い触感が提示できるかという最適設計論を今後も追究していきます。

図 3：等間隔溝をなぞった際の皮膚運動の同期性
以上は皮膚の水平変位に関する記録と再生ですが、皮膚垂直変位に関しては、粘着感の定量化にも取り組んでいます。粘着感の測定は皮膚上の負の力を計測する必要が有るためこれまで実現されていません
でしたが、圧力分布センサと同じ密度に棒を並べて予圧を加えるというシンプルなアイデアで計測できます（図 4）。

タッチパネルを機械的に駆動するタイプの触感提示

パネルを駆動パネルを駆動させるための素子

タッチパネル

タッチパネルに電荷を蓄えて静電気による摩擦を生成するタイプの触感提示

+ +

+ +

絶縁体
導電体

- - -- - - - - - - -

図 5: 上)パネルに表示された素材（畳）の触感を提示している様子．下)2 種類の触感提示の原理○関連する研究発表
1. Kaneko, S., Okazaki, R., Yem, V., Kajimoto, H.:
Measurement and Analysis of Finger Surface
Behavior on One-dimensional Textured Surface.
Proceedings of IEEE World Haptics Conference2017.
2. Kameoka, T., Takahashi, A., Yem, V., Kajimoto,H.: Quantification of Stickiness Using a Pressure
Distribution Sensor. Proceedings of IEEE World
Haptics Conference 2017.
3. Ito K, Okamoto S, Elfekey H, Kajimoto H,
Yamada Y: Feeling softness on a hard touch panel
using an electrostatic tactile texture display, 2017
IEEE Global Conference on Consumer Electronics,
10.24-27, Nagoya, Japan, 2017.

図 4：粘着感の計測
タッチパネルによる触感表現については、現時点
でタッチパネルの触覚提示手段として合理的と思われる機械的変位を提示するタイプ（Active type、エネルギー供給型）と、パネルに帯電した静電気によって摩擦を提示するタイプ（Passive type、エネル
ギー消費型）を組み合わせ、触感生成の面から最適化する手法の構築を目指しています。この二つのタ
イプの触感提示原理は、提示可能な触刺激の性質が相補的であることから、両者を併用することで高品

23

計画研究

C01-2

コンピュータグラフィクスによる質感表現技術
研究代表者

土橋

宜典（北海道大学大学院情報科学研究科・准教授）

研究分担者

岩崎 慶（和歌山大学大学院システム工学研究科・准教授）
岡部 誠（静岡大学大学院総合科学技術研究科・准教授）
井尻 敬（芝浦工業大学工学部情報工学科・准教授）
藤堂 英樹（中央学院大学現代教養学部・助教）

図１: X 線 CT 画像と写真に基づく実オブジェクトのデジタルモデル化○研究の背景と目的
CG を用いて非常にリアルな画像を生成することが可能となってきました。CG を使ったリアルな質感の表現は人の認知メカニズムの解明から映画やゲー
ムなどのエンターテイメントまで広く利用されています。本チームでは、その構造が複雑な物体を主な対象として、CG による質感表現とその応用に関する研究を進めています。
CG によって質感を再現するには，対象物の構造をできるだけ正確にモデリングする必要があります。
煙や炎のような複雑な動きを伴う物体の場合は、その動きまで含めたモデリングが求められます。そして、モデリングされた対象物にレンダリングと呼ばれる輝度計算処理を施すことで画像データが生成され、視覚的な質感が表現されます。
質感表現の応用では、必ずしも物理的に正確な質感が求められるとも限りません。絵画やアニメでは、抽象化された質感表現が用いられます。こういった応用では、物理的な正確性とは異なる新しい計算方法が必要です。また、質感表現の逆問題も重要な課題です。これは目的とする質感が与えられた場合に、その質感を実現する構造を計算する問題です。

本稿では、このような CG を用いた質感表現にかかわる本チームのこれまでの成果を報告します。
○X 線 CT と写真による実物体のデジタル化
食べ物や植物、昆虫などの複雑なオブジェクトを対象として、X 線 CT と写真の両方を用いてテクス
チャ付き 3 次元デジタルモデルを構築するシステムの開発を行いました【学会発表１】。計測対象物を X
線 CT 撮影し、得られた３次元画像を領域分割することで形状を取得します。しかし、この処理で得られるのは形状のみで色情報が含まれていません。そこで、市販のデジタルカメラにより対象物を様々な方向から撮影した写真を取得します。そして、写真と３次元形状との位置合わせを最適化問題として定式化し、この位置合わせ結果よりテクスチャを復元します。その結果、色のついた非常に精巧なデジタ
ルモデルを構築できます（図１）。
○効率的な輝度計算法の開発
質感を正確に再現するには、仮想環境内での光の振る舞いを正確にシミュレーションした上で対象物の輝度計算を行う必要があります。しかし、一般に、そのような計算には膨大なコストがかかります。そこで、その高速化を行う手法の開発に取り組んでい図２：精密な誤差評価に基づく高速輝度計算法

24図３：織パターンの逆算によりデザインしたドレスます。現在までに、光の相互反射と散乱現象の効率的な計算に成功しています。
光の相互反射の計算に関しては、計算誤差を厳密に評価しながら、光源をグループ化することで、目的の計算誤差を満たしつつ、必要最低限の計算コス
トで輝度計算を行う方法【論文１】や GPU と呼ばれる並列計算に特化した演算チップをフル活用し、計算誤差を評価しながらアダプティブに輝度計算を行う方法を開発しました【学会発表２】。また、光の散乱現象の計算に関しては、散乱方程式の解析解に基づく高速レンダリング法 【論文２】や重要度サンプ
リングと呼ばれる方法を用いて効率的に多重散乱光を計算する方法を開発しました【学会発表３】。これらの手法により、従来法より数倍から数十倍の高速化を達成しました。図２に計算例を示しています。
○質感表現の逆問題
目的の質感を再現するように対象物体の構造を逆算する方法の開発に取り組んでいます。二つの研究を行いました。
一つ目は、布に関する研究で、ユーザによって与えられる目標画像が反射光として表示されるよう布の織パターンを逆算する方法を開発しました【論文３】。与えられた目標画像の各輝度レベルと織パターンを対応させるマッピング関数を求めることでこれを実現します。この問題をグラフの最短経路問題として表現し、ダイナミックプログラミングを用いて効率的に算出する方法を開発しました。図３にその一例を示しています。左下の画像に示す模様が現れるようドレスの織りパターンを逆算しています。
もう一つは目的の画像が反射光として表示される
特殊な反射板の設計法を開発しました【学会発表４】。
目的の画像は複数枚指定することができ、観察方向によって表示される画像が切り替わります。これは反射板の表面に微細なストライプ状の壁を構築する
ことで実現しています。反射率を最大化する壁を求める最適化問題を解いています。実際に UV プリン
タを用いて制作し、有効性を確認しました。
○手描きイラストからの形状推定
手描きイラストでは、簡略化あるいはデフォルメ
された陰影表現が行われます。本研究では、そのよ

25

図４：イラストのリライティング
うなイラスト画から形状を推定する問題に取り組みました【論文４】。この問題は非常に複雑で、物理モデルを当てはめるだけでは適切な形状推定が行えません。また、ただ一つだけ解が存在するとも限りません。そこで、イラストの輪郭線から推定される粗い初期形状から徐々に最適な形状へと更新していく手法を開発しました。この方法によって、入力されるイラストの陰影が再現される３D 形状の算出が可能になりました。そして、推定した形状を用いて光源方向を変更した画像の自動生成処理（リライティ
ング処理）を実現しました。イラストを描く作業は手間がかかるため計算機によって自動的に陰影を変更できれば作業時間の短縮につながります。図４はこの方法を用いた例を示しています。
○流体の質感表現
CG による表現が難しい対象の一つが流体です。流
体の質感を表現するにはその複雑な動きを再現しなくてはなりません。また、エンターテイメント応用
では、単に再現すればよいだけでなく、流体らしい
質感を保ちながら目的の映像効果を表現することが求められます。この課題に対し、数値シミュレーシ
ョンと画像合成という二つのアプローチによる研究を進めています。
数値シミュレーションを利用した研究では、炎の動きをコントロールする手法を開発しました【論文５】。ユーザが指定した位置に炎が差し掛かるように
仮想的な外力を発生させ、その大きさを自動調整します。この方法によって流体の質感を維持しながら目的の炎の表現を実現することを可能としました。
図５はこの方法によってドラゴンの吐く炎を制御し、

オリジナル編集後
図５：炎の動きのコントロール
より迫力のある映像を生成した例を示しています。
画像合成を用いた研究では、与えられた水の静止
画像から動画像を生成する手法を開発しました【論文６】。あらかじめ水の流れを撮影した動画像を大量に準備しておき、与えられた静止画から適切な動画像を検索し、シームレスに合成することで実現しています。動画像検索に水の見た目と動きの特徴量を用いることで、与えられた静止画の質感を保つように動画像の合成を行うことが可能です。実写だけでなく、絵画として描かれた水の静止画から自然な動画像を生成することにも成功しました。図６はその一例を示しています。
○関連する研究発表
論文
1. Kosuke Nabata, Kei Iwasaki, Yoshinori Dobashi,
Tomoyuki Nishita, "An Error Estimation
Framework for Many-Light Rendering" Computer
Graphics Forum, Vol.35, No.7, pp.431-439, Oct
2016.
2. Mikio Shinya, Yoshinori Dobashi, Michio
Shiraishi, Motonobu Kawashima, Tomoyuki
Nishita, “Multiple Scattering Approximation in
HeterogeneousMedia
byNarrow
Beam
Distributions,” Computer Graphics Forum, Vol. 35,
No. 7, pp. 373-382, Oct. 2016.
3. Yoshinori Dobashi, Kei Iwasaki, Makoto Okabe,
Takashi Ijiri, Hideki Todo, “Inverse Appearance
Modeling of Interwoven Cloth,” The VisualComputer (in press).
4. Hideki Todo, Yasushi Yamaguchi, “Estimating
Reflectance and Shape of Objects from a Single
Cartoon-shaded Image,” Computational Visual
Media, Vol. 3, Issue 1, pp. 21-31, 2017.
5. Syuhei Sato, Keisuke Mizutani, Yoshinori
Dobashi, Tomoyuki Nishita, Tsuyoshi Yamamoto,"Feedback Control of Fire Simulation based on
Computational Fluid Dynamics," Computer
Animation and Virtual Worlds, Vol.28 Issue.3-4

図６：水面画像の動画化
e1766, 2017.
6. Makoto Okabe, Yoshinori Dobashi, Ken Anjyo,“Animating Pictures of Water Scenes Using Video
Retrieval,” The Visual Computer (in press).
学会発表など1. 井尻敬, 藤堂英樹, 小檜山賢二, 平林晃, 土橋宜典, X 線 CT と写真を用いたテクスチャ付き三次元モデルの生成法, Visual Computing / グラフィクスとCAD 合同シンポジウム 2017.VC 賞．
2. Namo Podee, Kei Iwasaki, Yoshinori Dobashi,
Tsuyoshi Yamamot, “Efficient Adaptive GPU Path
Tracing,” Proc of IEVC 2017, 2017.
3. Ryosuke Enotani, Shinya Tasuaki, Kei Iwasaki,
Yoshinori
Dobashi,Tomoyuki
Nishita,“ImportanceCachingfor
Homogeneous
Participating Media,” Proc of IEVC 2017, 2017.
Best Paper Award.
4. Kaisei Sakurai, Yoshinori Dobashi, Tomoyuki
Nishita, "A Method for Fabricating Reflectors
Presenting Multiple Colored Images by Raised
Linear Stripes," Proc of IEVC2017, 2017.
Excellent Paper Award.

26

計画研究

C01-3

超多自由度照明による実物体の質感表現編集技術
研究代表者
研究分担者

岩井
日浦

大輔（大阪大学大学院基礎工学研究科・准教授）

慎作（広島市立大学大学院情報科学研究科・教授）(編集する)技術が求められています．
しかしながら，従来のディスプレイ技術では，質感呈示に十分な解像度で光線を再現することは困難でした．一方，コンピュータグラフィクス分野では
近年，3D プリンタや切削加工機等のデジタルファブ
リケーション(D-Fab)装置の出力を最適化して，実物の反射特性を再現する研究が高い関心を集めています．しかしながら，D-Fab 装置の空間解像度や扱える素材数の制約から，呈示できる質感空間は限定的で，出力後その質感を編集できません．
本研究課題では，ディスプレイ技術と D-Fab 方式
を融合し，それぞれ単体では実現できないレベルの高い再現性および自由度での質感表現を目指しています(図 1)．具体的には，ユーザが望みの表面質感を指定すると，それに最も近い実物をマルチマテリア
ル 3D プリンタや切削ラピッドプロトタイピングマ
シンを用いて出力できるよう，多自由度照明とコン
ピュテーショナルフォトグラフィ技術を組み合わせた技法で較正する質感較正技術を開発します．さらに，その出力物体から反射されて観察者の眼に届く
光を，プロジェクタ等の多自由度照明で光線場を制御することで変調し，視覚的質感を修飾する質感編集技術を開発します．

図１ 光センサ埋め込みによる D-Fab 出力へのレー
ザープロジェクタ投影映像の動的位置合わせ○これまでに得られた成果
多自由度照明による D-Fab 出力の質感編集
プロジェクションマッピングで D-Fab 出力の質感を変更するためには，投影された映像を D-Fab 出力に位置合わせする必要があります．特に D-Fab 出力を動かして様々な角度からその質感を観察すること
は，質感を把握する上で重要です．私たちは，次世代の映像投影技術として注目されているレーザープ
ロジェクタを対象として，従来必要とされてきた特殊パターンの投影やカメラ計測が不要な，全く新しい自動位置合わせ技術の開発に成功しました(図 1)．
レーザープロジェクタは，レーザー光を 2 次元的に走査することで映像を表示するため，各画素は 1 枚の画像を表示する間に 1 度だけ，ある決まったタイ
ミング(画像表示の基準時刻からの時間)で照射されます．そこで，対象面に光センサを埋め込み，映像
コンテンツを投影している際に，センサに照射しているプロジェクタ画素の位置をその受光タイミングから求めることで，投影映像を対象面に位置合わせすることを実現しました．
質感編集するためのディスプレイ技術には，それ

図２ プロジェクタと光学シースルー頭部搭載型ディスプレイの組み合わせによる質感表現 (下左: プ
ロジェクタのみによる表示, 下右: 両ディスプレイ
組み合わせによる光沢表示)○研究の背景と目的
質感認識の解明には，多様で複雑な質感を人工的に制御し表現できるディスプレイが不可欠です．物
体表面で反射する光の分布は物体に入射する光の方
向や配置によって複雑に変化します．個々の物体の豊かな質感をもたらしているこの光線の入出力関係
を，正確に再現したり，意図に応じて変更を加える

27ぞれ長所・短所があり，単一のディスプレイ技術だ
けでは所望の質感を実現できない場合があります．
プロジェクションマッピングは，複数の観察者に異なる見えを提示することができません．例えば，光沢の位置は視点に依存して異なりますので，複数の観察者に対して光沢質感を再現するのにはプロジェ
クションマッピングは向きません．私たちは，光学
シースルー型の頭部搭載ディスプレイをプロジェク
ションマッピングの観察者に装着させることで，この欠点を補い，さらに高輝度・高コントラストな質
感編集を実現しました(図２)．
内部構造を有する物体の光学的特性の解析と設計
物体の多彩な見た目や質感を詳しく調べるには，物体を照らす光(入射光)の向きや配置と，物体から再び出ていく光(反射光)との間の「入出力関係」をモデル化することが重要です．従来この分野では主に，物体の表側から光が入射し，再び表側に光が出ていくことを前提とした「反射解析」が多く行われてきました．またほとんどの場合，光が物体の内部に入り込まないこと(物体が不透明であること)を前提としています．しかしそのようなモデルでは，半透明な物体を正しく取り扱うことは出来ません．人の皮膚やプラスティックなどは微細に見ると半透明であり，質感の高度な再現には光の透過を取り扱う必要があります．
半透明物体に光が入射すると，内部の粒子等により光が散乱し広がります．これを表面下散乱と呼び，
近年，CG によりこれを正確に再現するための研究が活発化しています．多くの研究では内部の光学特性が均一であることを前提としていますが，我々は内部に構造を持つ物体の反射・透過特性を正確にモデリングしたり，任意の光学的特性を有する物体を設計する手法の研究を行っています．
１つの例は化粧を施した際の見え方の変化の解析についての研究です．肌に化粧を施すと言うことは，肌の上に光学的特性の異なる層が重なることを意味
し，その厚みによって光学的特性が変化します．
「厚化粧」というように化粧は厚ければ良いわけではな
く，元の肌の質感を適度に残すことが求められます．
つまり，化粧肌の見た目は薄く塗られた化粧品により反射した成分の他に，化粧品を通り抜けて肌で反射し，再び化粧品を通って反射する成分にも影響されます．我々は化粧品の厚みと，その化粧品の土台となる背景の色を様々に変化させ，その反射特性を計測することにより，塗布厚の変化に応じた見た目を再現することが出来る手法を開発しました(図３)．
口唇の微細な形状が程よく視認できる自然な画像を生成することが出来ました．現在は化粧品による光沢の変化のモデル化に取り組んでいます．
もう１つの例は，マルチマテリアル 3D プリンタ
により内部構造を作り込むことで，任意の反射特性や透過特性を有する物体を作り出す研究です．通常28の 3D プリンタでは１つの物体には１つの素材しか使うことが出来ませんが，本研究プロジェクトで使用している機種では３種類の素材を，物体表面だけ
でなく内部にも自由に配置して出力できます．しかも，素材として乳白色，黒色等のほか，透明な素材を使用でき，さらに混ぜ合わせることで透明度を変化させることも出来ます．そこで，表面から順に乳白色，黒色，透明の３層を並べ，それらの厚みを変化させることで，表面から光を当てたときと，裏面から照らしたときに見た目がまったく違うものに変化する物体を設計する手法を開発しました(図４)．乳白色層が厚いと表から照らしたときに明るくなり，黒色層が薄いと裏から照らしたときに明るくなります．しかし実際には，それぞれの厚みが反射率・透過率の双方に影響するので，それらの干渉を補正する方法を開発しました．現在は，裏面から照らす光源の方位により見た目が変化する物体の設計も出来るようになっています．

図３

化粧（口紅）のシミュレーション結果

図４

反射率と透過率の独立制御○関連する研究発表
論文
1. Kitajima Y, Iwai D, Sato K: Simultaneous
projection and positioning of laser projector pixels.
IEEE Transactions on Visualization andComputer Graphics 23(11): 2419-29, 2017.
2. Hamasaki T, Itoh Y, Hiroi Y, Iwai D, Sugimoto
M: HySAR: Hybrid material rendering by an
optical see-through head-mounted display withspatial augmented reality projection. IEEE
Transactions on Visualization and Computer
Graphics (in press).

計画研究

C01-4

実社会の多様な質感情報を分析・制御・管理する技術
研究代表者

岡嶋 克典（横浜国立大学大学院環境情報研究院・教授）

研究分担者

堀内 隆彦（千葉大学大学院工学研究院・教授）
富永 昌二（千葉大学大学院工学研究院・特任研究員）としています。本新学術領域から生み出される最先端の質感科学のノウハウを、実社会の様々な問題に適用して磨き上げることで、一般性のある質感知の体系を確立し、多様な質感情報を多角的かつ系統的に分析してモデル化・定式化し、波長次元のレベルから質感を任意に制御・管理するための総合的工学
体系を確立することを目指しています。

上図：２台のロボットアームの先端にそれぞれ装着したライトとカメラによる多視点質感計測システム
中図：陰影検出フィルタ出力の加算処理によるパン画像の陰影（焦げ）の強調（左側）と減算処理による透明感強調（右側）の制御例（中央は元画像）
下図：物体表面の質感に着目したときの瞳孔径の収縮の様子（下が質感に着目したとき）○研究の背景と目的
物理的な感覚入力情報が質感判断に変換されるまでのプロセスを脳科学的・情報科学的に理解した上で、ヒトの感性判断のデータを基に、刺激の物理的なパラメータから直接、質感を定量的に制御できる「質感工学」の確立が産業界から求められています。
そこで当班では、質感の科学的な理解に基づき、ものづくりの現場で使える質感マネジメントの学問的な体系である「質感工学」を構築することを目的

29○これまでに得られた成果
代表者の岡嶋は、２台のロボットアームを制御することで照明光とカメラ位置（視点）が質感に与える影響を全自動で測定可能なシステムを開発し、多視点質感画像生成用のプログラムを作成しました（上図）。また、視覚系の多重スケール ON 中心型受容野の応答から光沢を自動検出するモデルを提案し、それを用いて画像中の光沢を任意に増大・減衰または除去できるシステムを開発するとともに、多重ス
ケール OFF 中心型受容野の応答から陰影を自動検出できること、ON/OFF フィルタを組み合わせることで透明感等も含む様々な質感制御が可能であることを示しました（中図）。ヒトの肌知覚に関して、肌の透明感が平均的な測色値だけでなく、色分布にも依存することを示すとともに、プロジェクタ・カメ
ラシステムを用いて顔の肌の表面反射光成分と内部散乱光成分を分離して測定し、それらの成分比を変えた画像を用いて透明感等の肌知覚に両光成分が複雑に関与していることを明らかにしました。また、人工物の退色過程を測定・分析・定式化し、画像における人工物の古さ感の制御を実現するとともに、その技術を応用して京町家の適切な古さ感の度合いを明らかにしました。山口班（公募研究）と鮮度の知覚実験を乳幼児で行い、鮮度知覚の発達過程についても検討するとともに、伊村班（公募研究）と共同で、チンパンジーもヒトと同様な鮮度知覚ができることを実験的に示しました。さらには、食品の色や質感のリアルタイム変換を可能にする HMD 型拡張現実感システムを用いてコーヒーや緑茶の味覚や風味等を視覚情報だけで変調させるクロスモーダル実験を実施し、飲料の湯気や粘度も味覚に影響することを明らかにしました。また、HMD を用いない
プロジェクション・マッピングを用いた食品用の拡張現実感システムを開発し、視覚的質感を制御する
ことで、食品の味を変調できることを示しました。
先述の光沢・陰影制御機能を応用し、食品の視覚的
質感の味覚や食感への影響を明らかにしていきます。

分担者の堀内は、人間が物体表面の質感に着目して観察する際に、瞳孔径が収縮する現象を心理生理学実験によって発見しました（下図）。この現象が見えの変化に与える一つのモデルを構築し、一般のデ
ィジタル画像から質感に着目した際の見えへと画像変換するアルゴリズム PuRet を提案しました(JIST
2017)。詳細な見えのメカニズムは研究中ですが、質感マネジメントにつながる基盤技術の一つになると考えています。また、蛍光感の知覚において、内因性光感受性網膜神経節細胞(ipRGC)が寄与している可能性を実験的に明らかにしました(AIC 2017)。このことは、三刺激値が等価であっても、異なる分光
分布が知覚に影響を与えることを意味しており、ディスプレイにおける蛍光感再現では、ipRGC の吸収量を考慮する必要性を示しています。さらに、線画から構成されるマンガの材質データベースを構築して、深層学習によって生成されたネットワークを可視化することにより、各層の特徴を調べました(JIST
2017)。このネットワークが写真の材質識別にも適用できることを実験的に明らかにすることにより、材質の識別に寄与しているプリミティブな特徴を抽出することに成功しました。その他にも、視覚と聴覚のクロスモーダルな質感知覚モデルの構築(ACMTAP 2017)、質感調和と物理特徴との関係性(CRA 2017)、光沢感と記憶との関係性(AIC 2017)などを解析しました。
分担者の富永は、物体の材質感を計測・分析・制御するための基礎的な技術開発を目指しています。
異なる材質感として取り上げられる代表的な材質は、金属とプラスチックや塗装物体のような不均質誘電体です。金属物体と不均質誘電体物体はともに光沢やハイライトをもつため、通常の画像では、これら２つを識別することが困難です。そこで物体からの反射光の偏光度合を観測する画像系を構築し、光沢・ハイライト近傍の偏光度を調べることで、金属と誘電体を容易に識別する技術を開発しました(Optics Express 2017）。蛍光物体は反射特性と発光特性の両方を有し、通常の反射物体とは異なる良い質感を有するため、今日よく使われている材料です。
これまでに、分光イメージング系を用いて蛍光物体の分光特性を解析し、反射と蛍光を含む２次元分光行列を求める技術を確立しましたが、今回はその技術を、テクスチャをもつ蛍光物体に拡張しました。
蛍光物体表面は滑らかであるとは限らず、ザラツキ
や凹凸のある表面も多くあります。蛍光表面の特性を、光波長の分光関数と陰影のテクスチャ関数に分離して、それぞれ推定する技術を開発しました(EI2017)。これにより、テクスチャのある蛍光物体の見えを任意の照明光源下で再構築できるようになりました。さらに、２つの蛍光物体間で相互照明効果を含む分光画像を解析し、シーンの見えは４つの成分から構成されることを明らかにしました。各成分は分光関数と幾何関数の積で表現できるので、陰影を30表す幾何関数を固定し、分光関数を異なる蛍光物体の特性に入れ換えて、物体のサイズや位置は同じシーンで異なった蛍光物体の見えを構築する手法を検討し (CIC 2017)、観測したシーンから蛍光材料を任意に入れ換えたシーンを再構築できることを示しました。
○関連する研究発表
論文
1. Spence C, Okajima K, Adrian Cheok D, Petit O,
Michel C: Eating with our eyes: From visual
hunger to digital satiation, Brain and Cognition,
110, 53-63, 2016.
2. 奥田紫乃、岡嶋克典：京町家のファサードに好ましい古さ感に関する研究、日本感性工学会論文誌,
16(3), 285-291, 2017.
3. Katsunuma T, Hirai K, Horiuchi T: FabricAppearance Control System for Example-basedInteractive Texture and Color Design. ACM Trans.
Advanced Perception 14(3): 16, 2017.
4. Tanaka M, Arai R, Horiuchi T: PuRet: Material
Appearance Enhancement Considering Pupil andRetina Behaviors, Journal of Imaging Science andTechnology, 61(4): 040401-{1-8}, 2017.
5.
Martínez-Domingo
MA,
ValeroEM,
Hernandez-Andres
J,
Tominaga
S,
Horiuchi T , Hirai K: Image Processing Pipeline
for Segmentation and Material Classification
based on Multispectral High Dynamic Range
Polarimetric Images, Optics Express, 25(24),30073-30090, 2017.
学会発表など1. Okajima K: Visual analysis, modulation andcrossmodal effect of food appearance, Symposiumon Five-Sense in FechnerDay2017 (33rd Annual
Meeting of the International Society for
Psychophysics), Fukuoka, 2017.
2. Okajima K: To what extent can perception offood and drink be modified with Augmented
Reality technology? 2nd International Workshop
on Multisensory Approaches to Human-Food
Interaction, 19th ACM International Conference
on Multimodal Interaction, Glasgow, UK, 2017.
3. Tanaka Y, Hirai K, Tanaka M, Horiuchi T,
Okajima K: Contribution of ipRGC to the
Fluorescent Feeling, 13th AIC International
Congress, Jeju, Korea, 2017.
4. Tominaga S, Kato K, Hirai K, and Horiuchi H:
Appearance Decomposition and Reconstruction of
Textured Fluorescent Objects, EI (Electronic
Imaging) 2017 in Material Appearance, San
Francisco, USA, 2017.
5. Tominaga S, Kato K, Hirai K, Horiuchi T:
Appearance Reconstruction of Fluorescent Objects
for Different Materials and Light Source, CIC25,
Lillehammer, Norway, 2017.

公募研究

31

公募研究

D01-1

質感知覚における輝度ヒストグラム部分情報と空間サイクル数
の寄与
研究代表者

栗木

一郎（東北大学電気通信研究所・准教授）

図説 (1)材質間の知覚に対する輝度成分の寄与．(2)(3) 広輝度レンジの表示の必要性と課題．
○研究の背景と目的
画像中のどのような要素が光沢感を与えるか，という研究は多くなされており，例えば画像全体が持つ輝度ヒストグラムの特徴が光沢感に強く影響を与える等の研究が知られています．しかし，木目や布目から得られる材質感も重要な質感であるにもかかわらず，これらがどのような画像の特徴に基づいて得られるかはあまり研究されていません．
本研究では，布地，石，木材，皮革の画像を多数用いて，正しい材質感を与えるのに必要な画像の特徴を明らかにします．それにより，例えば画像圧縮を経ても材質感を正しく与えるには，画像のどのような特徴を保持する必要があるか，を明らかにし，
画像による質感情報の伝達に必要な技術の基礎的知見を確立する事を目的としています．
また，現実の視野における最大/最小の輝度比は100 万倍にもなり，質感印象を正しく与えるには，光沢も陰影も適切に表示できる輝度比の画像表示システムが必要です．また，視覚系の感度についても，
100 万倍の輝度比を表示できるディスプレイを用い，日常に近い環境中で正しく測定し把握する必要があります．これらの研究を可能にする表示技術と，それを用いて人間の感度の様子を明らかにします．
○これまでに得られた成果(1) 質感情報と輝度帯域・空間サイクル数の関係
我々は，木・石・布・革の質感に必要な輝度情報

32を知るため「輝度分布をどのように改変すると質感の印象を損なうか」を調べる方法を取りました．具
体的には，画像のもつ輝度のヒストグラムのうち，平均輝度より高い方または低い方の輝度コントラス
トを 1/5 に狭めた画像を作成し，元の画像と質感印
象が近い方を観察者（10 名×２回）に選んでもらう
心理物理実験を行いました(図(1)左)．その結果，必要とされる輝度が高い輝度か低い輝度かは材質によって異なるという結果を得ました(図(1)右)．
一方，木目や布目などの情報は空間的に細かな情報，凹凸感を与える陰影の手がかりを得るために必
要な輝度の変化は空間的に粗い情報として画像内に存在するはずです．そこで，先ほどの実験で被験者が下した判断が，画像中でどの程度細かい空間解像度（空間サイクル数）における輝度の変化に依存していたかを，画像解析により調べました．
(2) 広輝度レンジモニタにおける高精細階調表示技術の確立
有機 EL モニタなど 100 万倍の最大輝度比を表示できるディスプレイに従来の輝度比 1,000 倍のモニタと同じ画像（RGB 各 256 階調）を表示すると，輝度の段差が見えてしまいます(図(2),(3))．我々は，広輝度レンジの表示装置でも画像を正しく表示する為に必要な，無限階調の表示技術を確立しました．
(3) 広輝度レンジ表示での輝度コントラスト感度
通常の視覚研究では，視野の輝度比を被験者に明示的に示した状態では感度が測定されていませんでした．特に広輝度レンジ（1:100 万倍）のディスプレ
イでは，輝度範囲の高域／低域でも視覚の感度が異なる可能性があります．我々は，様々な周辺条件下
でコントラスト感度関数を測定し，ターゲットの直近の背景輝度に依存して感度が変化する非対称性や，背景輝度に応じて最大感度となる空間サイクル数が遷移する事などを明らかにしました．
○関連する研究発表
学会発表など1. 保坂侑汰, 永井岳大, 佐藤智治, 栗木一郎：様々な素材
サンプルの質感判断における低/高輝度成分依存性．日本視覚学会 2017 年冬季大会，2017/1/20.
2. Hosaka Y, Nagai T, Sato T, Kuriki I: Impacts of lowerand higher- luminance components on the material
perception. Optical Society of America Fall Vision
Meeting (OSA FVM) 2017. Washington, D.C., U.S.A.,
2017/10/13-15.
3. 佐藤智治, 永井岳大, 栗木一郎：確率的誤差補償法による高ダイナミックレンジ画像表示システムの開発．映像
情報メディア学会ヒューマンインフォメーション研究会,
2017/11/24-25.

公募研究

D01-2

フラッシュラグ効果を用いた質感処理過程の同定研究代表者

塩入 諭（東北大学電気通信研究所・教授）

図
図 光沢知覚と明るさ知覚のフラッシュラグ効果の大きさを比較し、時間処理の差異を検出○研究の背景と目的
人間は多様な質感の知覚を通して、物体の表面や内部構造など多様な情報を得ています。しかし，質感とは何か，どのような知覚／認識を質感に含めるかについては共通の認識はありません。質感が主観的には明暗などの初期視覚特徴と異なる知覚といえるでしょうが，それを明確に示す客観的な根拠は十分とは言えません。質感処理が初期視覚処理の結果に基づくとして，初期視覚処理と質感処理を分離する
ことは質感の脳処理を考える上で本質的な問題です。
本研究では，フラッシュラグ効果を利用し、初期視覚特徴と質感関連特徴を分離する方法を開発し，質感の処理レベルについて明らかにすることを目的とします。
○これまでに得られた成果
被験者に質感が連続的に変化する動画を見せ、途中で赤枠を短時間呈示すると、赤枠と同時に見えた画像は、実際より時間的に進んだタイミングで呈示された画像が知覚されます。その原因として、フラッ
シュした赤枠に対する処理時間と画像の処理時間に違いがあるからと考えることができます。この考え
では、フラッシュ刺激の処理が遅れﾚ手いることにな
るので、この現象はフラッシュラグ効果と呼ばれます。フラッシュラグ効果を測定することで、処理時間の違いがわかるのであれば、光沢に注目した場合と明るさに注目した場合では、フラッシュラグ効果が異なる可能性があります。その違いから、両者の処理における時間特性の違いを知ることができ、脳内での処理の順序などについても検討することがで33きるはずです。
実験結果は、予想通りに、光沢と明るさでは、異なる効果量示しました。時間変化する画像を利用することで、同じ画像に対する異なる知覚、光沢と明るさ（一般的には質感処理と提示視覚処理）を別々に調べることができることを意味します。この事実に基づき、信号処理にとって重要な物理特性である、
時間周波数特性の比較も開始しています。
時間周波数特性に関しては、脳波を利用した検討を計画しているため、そのための基礎研究でもある、
定常状態視覚誘発電位による視覚特性の検討も続けている。特に注意の空間特性では、初期の視覚処理と高次の視覚処理に大きな違いがあることを示した。
○関連する研究発表
論文
1. Shioiri S, Honjyo H, Kashiwase Y, Matsumiya
K, Kuriki I, Visual attention spreads broadly
but selects information locally. Scientificreports 6, 35513 (2016)
2. 高倉健太郎，後藤直人，Chia-huei Tseng, 松宮
一道，栗木一郎, フラッシュラグ効果を用いた質感知覚の時間特性に関する検討, 日本視覚学会
2017 夏季大会、松江、９月６日−７日、2017
学会発表など1. Shioiri S, Ishi K, Matsumiya K, Kuriki I,
Measuring the spotlight of moveing attention,
Asia-Pacific Conference on Vision 2016,
Fremantle, Australia, July 14-17, 2016
2. Shioiri S, Spread of visual attention andattentional selection, National Taiwan
Univesrsity Psychology Seminar, April 27,
2016
3. Shioiri S, Honjyo H, Kashiwase Y, Miura T,
Matsumiya K, Kuriki I Dynamic change ofspatial attention measured by event related
steady state visual evoked potential,
European Conference on Visual Perception,
Berlin, Germany, August 27-31, 2017
4. Tseng, CH, Flash-lag Effect and Material,
Invited talk at Division of Biology & BiologicalEngineering; Computation & Neural Systems
Perception, California Institute of Technology,
March 23, 2017
5. Tseng, CH. Attentional Selection on Material
Property, Invited talk at Viterbi School ofEngineering, Computer Science Department,
University of Southern California, CA, US,
March 25, 2017

公募研究

D01-3

ヒトの触質感はなぜ多彩なのか？～非線形触質感喚起モデル～
研究代表者

野々村 美宗（山形大学大学院理工学研究科・教授）

ヒトはモノに触れると、「なめらか感」「しっとり感」などの触質感を感じます。われわれは、皮膚の表面で起こる摩擦現象の非線形性によって喚起される多彩な摩擦パターンが、繊細な触質感が発現する
一つの原因であるという仮説を考え、『非線形触質感喚起モデル』となづけました。本研究では、触質感と摩擦現象の関係を明らかにし、この仮説を検証します。具体的には、触運動を真似て常に加速度が加わった正弦運動によって摩擦を行い、皮膚のように柔らかく凸凹構造の刻まれた接触子が装着された触質感センシングシステムを開発して、非線形摩擦現象をモデリングします(図 1)。本研究で触質感が喚起されるメカニズムを説明する物理モデルを構築する
ことで、質感認識機構が明らかになるだけでなく、触覚工学の社会実装が進むことが期待されます。

を構築し、ソフトマテリアルの摩擦現象を俯瞰的に説明できることを確認しました。
（２）「しっとり感」の発現メカニズム
次にわれわれは、開発した物理モデルに基づいて、
触質感の発現メカニズムを明らかにすることとしました。まず、様々な触質感の中でも「しっとり感」に着目しました。
「しっとり」とは湿る程度に濡れていたり適度に水分を含んでいたりするさま、と定義されていますが、一方で、布や粉体、革など水をほとんど含まない物質に触れた時にも感知される場合がしばしばあり、幾つかの触覚因子が組み合わさって発現する複雑な感覚であることが予想されます。
これまでに、人工皮革・布・樹脂・化粧用粉体などの 12 種類の固体試料のしっとり感を系統的に評価しました。その結果、最もしっとり感が高いのは化粧用粉体、低いのはカシミヤのような布や表面に凸凹を刻んだシリコーン樹脂でした。さらに、しっとり感と滑らか感・硬軟感・温冷感などの触覚次元の関係を解析したところ、接着感と滑らか感が高いとしっとり感が発現すること、さらにこれらの感覚は試料の表面の凸凹と滑り出しにおける摩擦変化によって決まることが明らかになりました。

～Non-linear tactile texture arousal model～
Non-linear factors during tactile texture arousal process
Fractal contact probe
Frictionforce

Movement

Non-linearity in movement
Force

Displacement

Sine movement with acceleration
Non-linearity in surface structure

Non-linearity in mechanical property
Skin deformation

dashpot

Deformation

Hierarchical rough structure:
Small bumps in large bunps

Mechanical model

今後は、「温もり感」「ぬめり感」など高次の触感の発現メカニズムを明らかにするだけでなく、触覚に着目した化粧品・情報機器・ロボットの商品設計に取り組んでいきます。

dashpotTime

SpringComplex deformation behavior ofviscoelastic materials

図 1 非線形触質感喚起モデルの概念図

論文
1. Kikegawa K, Takamatsu K, Kawakami M,
Furukawa H, Mayama H, Nonomura Y:
Evaluation of 3D printer accuracy in producing
fractal structure. J Oleo Sci, 66(4): 383-389, 2017.
2. Aita Y, Asanuma N, Takahashi A, Mayama H,
Nonomura Y: Nonlinear friction dynamics on
polymer surface under accelerated movement. AIPAdvances 7: 045005, 2017.
3. Sato S, Nonomura Y: Hand mixing process ofthickener aqueous solutions. J Jpn Soc Colour
Mater 90(9): 315-318, 2017.
4. Shimizu R, Nonomura Y: Preparation of
artificial skin that mimics human skin surface
and mechanical properties. J Oleo Sci, in press.

（１）触質感センシングシステムの開発
ヒトがモノに触れる時の動きを真似た正弦運動を実現するために、偏心した円盤を回転させてヨークを往復運動させる機構を組み込んだ摩擦評価装置を開発しました。まず、非線形運動下における摩擦運動のモデルを構築するために、潤滑性に優れたポリ
テトラフルオロエチレン(PTFE)表面における摩擦を評価しました。その結果、摩擦開始とともに摩擦抵抗が増加する速度依存性と、摩擦運動と摩擦力の応答の間に時間差δが観察されました。
この、加速に伴う摩擦係数の増加と時間差は、皮膚や毛髪の表面でも観察されました。そこで、生体材料に広くみられる粘弾性を組み込んだ摩擦モデル

34

公募研究

D01-4

肌色空間の構築と肌質感認識のマッピングによる解析
研究代表者

溝上

顔写真

陽子（千葉大学大学院工学研究院・准教授）
成分方向を軸にとり、平均的な肌色を持つ肌画像とその変調画像を用いて色弁別（色の識別）実験を行いました。変調方向は肌色平均値を基準点とし、そこから第 1 と第 2 主成分ベクトルの方向 4 方向とそ
れらの間の計 8 方向です。その結果、色識別能力は、
色変化方向によって異なる傾向が見られました。さらに、メラニンとヘモグロビン濃度による色変化方
向でも同様の実験を行った結果、ヘモグロビン色変化方向に対して色識別の感度が高いことが示唆されました。
また、色素斑の個数と面積が色素斑の目立ちに与える影響も調べました。頬画像に色素斑を加えた刺激を作成し、総面積を保ったまま大きい色素斑からだんだん小さく分割していくと、より目立たなくなっていきました。一方、個々の色素斑の大きさを等しくしたまま数のみ増やした場合は、個数が増加す
ると、より目立つようになりました。ただし、大きな色素斑を含む場合が一番目立つ傾向にありました。
さらに、色素斑の弁別に色濃度が与える影響について、3 種類の背景（肌画像、肌色ランダム分布、単色）を用いて比較すると、色素斑判定の正答率は色濃度の増加とともに増加する傾向が見られました。
また、肌画像より単純な背景において色素斑判定の正答率が高くなりました。
これらの結果をもとに、肌色空間における適切な軸方向とスケーリング設定を検討し、また色素斑の色変化や見え方の特性についても、肌色空間を用いて分析していく予定です。

肌色変化の様子（上図）と色素斑の分布（下図）○研究の背景と目的
肌質感（色、テクスチャ、くすみ感など）は、年
齢、健康状態、顔印象などの重要な判断に関わるため、その認識特性を明らかできれば、様々な分野で有用です。
人間は、肌に対して特有の色知覚をすることが知られています。そのため、肌色の見えを正確に評価するには、肌特有の色分布や肌色を構成する色素成分（メラニン、ヘモグロビン）を考慮した「肌色空間」が必要と考えられます。また、他の肌質感にもこれらの色素成分が関わることから、肌色空間に肌
質感認識もマッピングして表現できる可能性があります。本研究では、色素沈着の分析と視感評価実験に基づく肌の色とテクスチャが肌質感認識に及ぼす影響の定量化、肌色空間の構築、さらに肌質感画像の肌色空間へのマッピングを目的としています。
肌色空間を定義できれば、既存の色空間では取り出せない色彩値と色知覚の関係を明らかにでき、肌質感認識の理解につながると考えられます。

○関連する研究発表
1. 大塚, 溝上, 矢口: 色素斑の大きさと数が目立ちに与える影響, 日本色彩学会第 48 回全国大会［東京］’17, 東京, 2017
2. 濱田, 溝上, 矢口: 肌画像と単色刺激における肌色の弁別特性, 日本色彩学会第 48 回全国大会［東京］’17, 東京, 2017
3. Fang Y, Mizokami Y, Yaguchi H: Visual
perception of pigmentation on facial skin-color
distribution, the 13th Asia-Pacific Conference
on Vision (APCV), Tainan, Taiwan, 2017
4. Hamada K, Mizokami Y, Kikuchi K, Yaguchi
H: Discrimination thresholds for skin image
and uniform color stimulus, Proc. of 13th AIC
Congress 2017, Jeju, Korea, PS03-74, 2017
5. Otsuka C, Mizokami Y, Kikuchi K, Yaguchi H:
Conspicuity of facial pigmentation influenced
by its distribution, Proc. of 13th AIC Congress
2017, Jeju, Korea, PS03-74, 2017

○これまでに得られた成果
肌色空間を構築するための基礎的実験として、肌色を様々な色変化の方向に変化させたときの色識別
能力を調べました。日本人の肌色分布データ（L*a*b*値）から得られた、（分布幅の大きい）第 1、第 2 主

35

公募研究

D01-5

質感認知の異文化比較研究
研究代表者

高橋 康介（中京大学心理学部・准教授）

タブレット装置を用いたフィールド実験の風景。左から現地アシスタント、高橋、実験参加者、現地アシスタント。実験参加者自身がタブレットを操作し、実験を進めている。なお、この実験場面は比較的実験室場面に近い理想的な状況で実施できたものであり、他の実験場面では周囲に人だかりができるなど、状況は様々であったことを記しておく。2017 年 8 月、タンザニア・タンガニーカ湖畔の村にて。撮影：島田将喜（帝京科学大学・連携研究者）。
○研究の背景と目的
文化や地域が異なれば環境は異なる。質感認知が「ものと環境と観察者の相互作用が生み出す（西田）」ならば、文化や地域は質感認知の規定因となり得る。
質感の情報及びその認知過程は生まれ育つ環境によらず人類共通であるのか、それとも視覚環境が我々の質感認知を育むものなのか。この問題を考える上では、欧米や日本など都市部だけでなく世界中の様々な地域にアプローチして実証的なデータを取得する必要がある。
本研究計画では文化人類学者や霊長類学者とのコ
ラボレーションにより、フィールド実験という手法
を通して質感認知特性を多地域間で比較し、その通文化性及び文化依存性を検証するとともに、各地域での視覚環境を収集・解析して認知特性との関係を調べる。このアプローチを通して、生まれ育った地
域や文化の視覚環境が質感認知にどの程度、どのように寄与しているのか検討することを目的としている。
○これまでに得られた成果
１）環境映像からの地域推定

2016 年度〜2017 年

36度にかけて、連携研究者の協力の下、カメルーン、
カナダ（都市部、郊外）、インドネシア、フィンラン
ド、ラオス（都市部、山間部）など様々な地域へア
クセスし、各地域の環境映像の取得を行った。これ
らの各地域の映像を用いて日本人被験者にて地域推定実験を実施した。映像から切り出した環境画像に対してガウシアンフィルタをかけて、オリジナルカ
ラー画像、グレースケール画像として呈示し、実験参加者はその画像の地域が世界のどこなのかを地図上で回答するという実験である。多くの地域において正答に近い地域が選ばれる傾向があり、「地域の特色」ともいうべき画像特徴が存在することが示唆された他、欧米都市部（カナダ・フィンランド）においては色情報を脱落させることで混同が起こった。
２）質感フィールド実験 2017 年の 7 月〜8 月にかけて、東アフリカ・タンザニアのマハレ近郊の村に滞在し、持ち運び可能な実験環境としてタブレット装置を用いて、公募研究当初より予定していた質感に関するフィールド実験を実施した。なお、タブレ
ットベースの実験構築、比較用に大規模サンプルは計画班とのコレボレーションによる。実験では、複数の刺激画像の中から「仲間はずれ」を探すというユニバーサル質感課題を実施した。質感カテゴリとして、「光沢の強度」「光沢の鋭さ」「不透明 vs. 半
透明感」「銀 vs. ガラス」「金 vs 黃プラスチック」の 5 種類を使用した。大規模サンプルとの比較など
詳細な解析を実施中であるが、「透明感」の認識において大規模サンプルとの間に顕著な違いが現れる可能性が示されている。この点に着目し、実験時に取得した一人称視点映像を用いて半透明な物体の存在についての事前確率の計算を進める。
３）絵画印象フィールド実験 領域会議の議論から生まれた計画班 B01-4 との連携研究である絵画色彩
印象研究について、上記の滞在中にフィールド実験研究を行った。原画の色彩が好まれるという傾向がフィールド実験でも確認された。現在、日本国内で取得するデータとの比較を進めている。
○関連する研究発表
学会発表など1. 鑓水秀和・錢琨・大石高典・島田将喜・高橋康介
自然風景画像からの地域推定における色情報の効果.
日本心理学会第 81 回大会, 長崎, 2017/9/20-22

公募研究

D01-6

身体や情動に訴えかけるセンシュアルな音響質感メディアの研究研究代表者

仲谷 正史（慶應義塾大学 環境情報学部・准教授）

バイノーラル録音した物音の音響刺激の元波形とス
ペクトログラム。音源が右→左→右耳へと移動する様子が見える。
○研究の背景と目的
本研究は音がもたらす質感について検討しました。
物音を聴くと、その物音を立てている素材が何であるかを人間は容易に聞き分けることができます。これは、生態的に安全か危険かを察知するために備わった能力と考えられます。本研究では、物音を聴くことで生じる主観的な快・不快感とその際の生理応答を研究題材として選びました。この際、ASMR(Autonomous Sensory Meridian Response、自然と心地よくなる感覚反応)の略称で知られる現象を引き起こしやすい聴覚刺激（以下、ASMR 音源）を利用することにしました。ASMR 音源を聴くと鳥肌が立つ、「くすぐったい」「リラックスする」といった内観報告をもたらします。本研究は、ASMR 音源に相当する聴覚刺激を日常生活の中から録音し、これらがどのような体験を引き起こすのかを調べることにしました。
○これまでに得られた成果
聴覚刺激はバイノーラルマイクロフォンを用いて制作しました。この記録方法を利用すると立体音響を再現することが容易であり、記録した物音が空間内を移動する様子を聞き取ることができます。本研究
では、耳のごく近傍（耳介から 60mm 程度）で頭部周辺を移動する物音を記録し、実験に使用しました。
この聴覚刺激をヘッドフォンを通して提示すると、被験者は「ゾクゾクする」という内観報告をしました。特に、ビニール袋がこすれる音の場合には、ゾ
クゾク感が強いだけでなく、被験者の中には後頭部皮膚がなでられたような感覚が生じた人もいました。

37

実験に使用した聴覚刺激が身体の生理反応を引き起こしているのかを確認するために、感覚刺激に対して生じる瞳孔散大反応を生理指標として計測しま
した（Liao et al., 2017）。ビニール袋がこすれる近接音を聴取すると、ガラスのコップに入ったビーズ
音を聴取した場合と比較して、瞳孔散大量が大きくなりました。また，立体音響（バイノーラル）条件の方が、両耳同音聴条件（モノラル音）と比較して、瞳孔径の変化が大きくなりました。また、立体音響を考慮した聴覚刺激はゾクゾク感の評定値（主観報告）が大きくなりました。
一方で、主観的なゾクゾク感の報告量と生理指標の間では有意な相関関係は認められませんでした。
これは、制作した音源を聞いたすべての人がゾクゾ
ク感を覚えるわけではないことを示唆しています。
実際、被験者によってはまったくゾクゾク感が生じない人も見受けられました。ゾクゾク感の生起の有無やその強度には個人差があることが推測されます。
本研究課題では、聴覚刺激と同時に触覚刺激を積極的に与え、生理反応が引き起こされていると錯覚させる試みも行いました。首の後ろの皮膚は指先に比較して感度が高いため、わずかに温度を変化させただけでも、人間は容易に温度変化に気づくことができます。そこで、体験者が立体音響を聴いている
際に、音響特徴に合わせて温度刺激を提示する方法を考案しました。この方法を採用することで、提示している音への感じ方を多様に変化させること検討を進めています。最近では首掛け型のスピーカーが増えてきていますが、本研究の取り組みと組みあわせることで、音がもたらす質感を体性感覚でも感じることが可能になるかもしれません。
研究のアウトリーチ活動の一環として、ASMR 音
源を効果音として利用した楽曲の制作も行いました。
ASMR 音源がもたらす知覚現象を利用することで、新しい音楽が今後制作できると考えています。
○関連する研究発表
学会発表
1. 川添、仲谷: 立体音響聴取時における温度提示を用いた人の気配や環境の雰囲気提示の試み, 日本バーチャルリアリティ学会大会予稿集, 1A02-06, 徳島,
9.27-29, 2017.
2. Liao H-I, Nakatani M, Miyazaki H, Furukawa
S.: Correspondence between subjective frisson
feeling and pupillary response by material sounds.
日本音響学会 2017 年秋季研究発表会，1-7-5, 愛媛,
9.25-27, 2017.

公募研究

D01-7

振幅変調の概念に基づいた聴知覚における質感認識メカニズムの理解
鵜木祐史（北陸先端科学技術大学院大学情報科学研究科・教授）

×
変調周波数

変調度

変調スペクトル

音環境のMTF＝
変調周波数

は変調周波数 4 Hz 以下の情報が必要であることが分かりました．次に，同様の操作から，話者 10 名
10 文章（ATR 音声データベース C セット，男性 5名，女性 10 名）に対する話者認識実験を行いました．
その結果，変調周波数 16 Hz 以下の情報が必要であることが分かりました．最後に，5 つの感情（平静，
喜び，悲しみ，抑えた怒り，荒げた怒り）をもつ日
本語感情音声から作成した雑音駆動音声に関して感情認識実験を行いました．その結果，雑音駆動声の感情を認識できることがわかりました．また，認識率が感情によって差があることも分かりました．

変調スペクトル

研究代表者

変調周波数

図：音源・音環境・聴知覚の流れからみた質感認識（上）と音源の非言語情報知覚（左下：話者性，右下：感情）に対する残響環境の影響○研究の背景と目的
質感認識は，脳による物体の本性の解読であるといわれています．聴覚においてもヒトは，音を聞いただけで音を発した物体の性質（例えば，生物／無生物，個体差など）を瞬時に見極めることが可能です．さらに，聴覚では，音源となる物体の性質だけ
でなく，音がどのような環境で発せられたかという環境の性質も，同じ音から同時に認識することができます．例えば，リビングで聞いた声と風呂場で聞いた声の質感は異なっていますが，声を発したヒトが誰であるのか，どういった感情で話したのかといった音源の性質はきちんと見極めることができます．
本研究の目的は，音環境の質感認識にターゲットを絞り，「振幅変調」の概念に基づいて，その物体の発する音の質感だけでなく，それが耳に到達するまでに通った伝送経路の質感も認識するメカニズム（図１上）を理解することです．
○これまでに得られた成果
大きく分けて，次の二つの成果を得ました．
(1) 音源の変調周波数と言語・非言語情報の知覚
まず，聴覚フィルタバンク，振幅包絡線検波，変調フィルタバンクで構成される雑音駆動型音声分析
合成系を構築しました．次に，この雑音駆動型音声
分析合成系を利用して包絡線情報の帯域制限を施した４モーラ単語（親密度別単語音声了解試験用デー
タベース）に対する単語了解度試験を行いました．
その結果，言語情報として正しく単語を認識するに(2) 残響特性が非言語情報の認識に与える影響
室の変調伝達特性（残響特性）と音源の変調成分の関係ならびにそれらに関する聴知覚の検討を行いました．実験では，残響環境における非言語情報の知覚を想定し，Schroeder の室内インパルス応答（残響時間 0～2.0 s）と (1) と同様の音声刺激を利用しました．ここでは，静音／残響環境下で観測された
音声信号を雑音駆動型声分析合成系で得られた振幅
包絡線情報に関し，非言語情報（話者性と感情知覚）の知覚が，室の音響特性（残響の変調伝達関数）によってどのような影響を受けるか調査しました．その結果，音源の話者性（図 1 左下）や感情（図１右下）のような非言語情報の知覚は残響の影響を受けにくいことがわかりました．
これらの結果から，我々は音源の質感と音環境の質感を容易に切り分けて認識していることが示唆されます．現在，これらの結果に基づき，様々な音環
境（例えば，雑音環境や雑音残響環境など）での音
源の質感の影響（分離知覚）を調査しています．
○関連する研究発表
論文
1. Zhu Z., Nishino, Y., Miyauchi, R. and Unoki, M:
Study on linguistic information and speakerindividuality contained in temporal envelope ofspeech, Acoustical Science and Technology, 37(5),258-261, Sept. 2016.
学会発表など1. Zhu Z., Miyauchi, R., Araki, Y., and Unoki, M.,“Feasibility of vocal emotion conversion on
modulation spectrogram for simulated cochlear
implants,” Proc. EUSIPCO2017, pp. 1884-1888,
Kos Island, Greece, Aug. 2017.

38

公募研究

D01-8

おいしさをつくりだす神経細胞集団の同定
研究代表者

村田

航志（福井大学医学部脳形態機能学分野・助教）
マウスがおいしいエサを食べたときに活性化する神経回路として、嗅結節という脳の底のほうにある場所が見つかりました。実験では、マウスにフレー
バー付きのエサを食べさせ、脳標本を作製し、最初期遺伝子という神経細胞が活性化したときに発現する遺伝子の量を測定しました。嗅結節は匂いの感覚が伝わる場所でもあります。
次に嗅結節の神経細胞が、マウスに気分のよさをもたらすかどうかをオプトジェネティクスという神経細胞を操作する手法を用いて検証しました。光を当てると開くイオンチャネルであるチャネルロドプ
シンを嗅結節の神経細胞に発現させ、脳に光ファイバーを留置することで、実験者の任意のタイミング
で神経細胞を活動させることができます。マウスが気分のよさを感じているかどうかは場所嗜好性試験
によって評価しました。嗅結節の神経細胞を操作することで部屋の滞在時間が長くなったことから、この神経操作はマウスにいい気分をもたらした可能性があります。
今後は嗅結節の操作によって、人為的にエサを好きにさせられるかどうかを評価し、おいしさの形成に関わる神経回路であるかどうかを検証します。

図１．嗅結節の神経細胞の操作による場所嗜好性の変化 (A) 場所嗜好性試験の様子。光ファイバーを嗅結節に留置し、マウスが明るい部屋に滞在しているときに青色光を照射して神経細胞を操作する。
(B) 光照射により嗅結節の神経細胞が活動したことを最初期遺伝子 c-fos の発現で確認した。(C) マウス
は通常では暗い部屋を好み長時間滞在するが、嗅結節の神経操作によって明るい部屋の滞在時間が長くなった。黒い線はマウスの移動の様子を表わす。

○研究の背景と目的
私達が食事を楽しむときに感じる「おいしさ」を
脳がどのようにしてつくりだすのかは実はまだよくわかっていません。鼻をつまんでものを食べると風味が感じらなくなり、おいしさがよくわからなくなります。匂いの感覚はおいしさを感じるための大事な感覚だといえます。この研究ではおいしさ、すな
わち「食べたものを好きになってしまう気分のよさ」
が食べ物の特に匂いの感覚から生じる神経メカニズ
ムを解明します。そのためにマウスを用いた実験で、マウスがおいしいエサを食べたときに活性化する神経回路を見つけ、見つかった神経回路を操作したときにマウスの行動やエサの好みがどう変化するか、エサを人為的に好きにさせられるかを評価します。

○これまでに得られた成果

39○関連する研究発表
日本語総説
1. 村田 航志
嗅結節から探る匂いの質感形成の脳神経メカニズム
Is the olfactory tubercle involved in creating odor
quality? : AROMA RESEARCH 17(3):224-229,
2016
学会発表など1. 村田 航志: 嗅覚で誘起されるモチベーション行
動への嗅結節の関与 Involvement of the olfactory
tubercle in odor-induced motivated behaviors: 日
本味と匂学会第 51 回大会 若手の会シンポジウム「化学感覚と動物の生きる仕組み」、神戸、2017 年 9月
2. 村田 航志: マウス脳で探る匂いの誘引性と忌避性が生じる神経メカニズム シンポジウム 2「食と基礎心理学の接点」, 日本基礎心理学会第 36 回大会、大阪、2017 年 12 月

公募研究

D01-9

高精度視覚質感記憶の心理学的基盤と神経機構の解明
研究代表者

齋木

潤（京都大学大学院人間・環境学研究科・教授）
さは条件によって過小評価のみが生じました。次に、
この結果を画像統計量の観点から分析した結果、記憶のバイアスは画像の輝度分布の平均や歪度といった要約統計量の組み合わせによって比較的よく説明できることがわかりました。また、知覚に比べて記憶ではより低周波の画像成分の寄与が大きいことも示唆されました。光沢感に関わる画像特徴は記憶内で均等に減衰するのではなく、周波数成分、画像統
計量特異的に減衰することが示唆されます。
(2)光沢感短期記憶の神経基盤
粗さ記憶課題と鏡面反射率記憶課題を実施時の脳活動を fMRI で測定しました。参加者は粗さまたは反射率が異なる 2 枚の刺激を見て、記憶すべき特徴を判断しました。２画面の呈示後に記憶すべき刺激の手がかりが呈示され、記憶刺激と１１秒後に呈示されたテスト刺激を比較し、粗さの程度が小さい（反射率の強い）刺激を選択しました（図(b)）。
保持期間中の脳活動データにマルチボクセルパタ
ーン解析を適用して、記憶保持過程の神経基盤を検討しました。マルチボクセルパターン解析は脳活動パターンから刺激や課題に関連する神経基盤を推定する手法です。その結果、光沢感知覚に関与する腹側高次視覚野と短期記憶に関与する頭頂間溝の課題への関与が同定されました。また、活動パターンの
時間経過分析の結果、腹側高次視覚野は保持期間の初期のみに関与しているのに対し、頭頂間溝は保持期間中一貫して関与していることが分かりました。
これは、両領域が光沢感の短期記憶において異なる機能を果たしていることを示唆します。

(a)本研究では粗さと鏡面反射率を光沢感の二つの要素として取り上げました。(b)実験の流れ。(c)マルチ
ボクセルパターン解析の流れ。本研究では脳活動パターンからどちらの質感記憶課題を行っているかを判別しました。(d)腹側高次視覚野は記憶保持の最初の時点でのみ課題を判別できていますが、頭頂間溝
では常に課題を判別できています。
○研究の背景と目的
人間は正確に質感を知覚できることがわかっています。他方、人間は昔見た真珠の光沢をありありと思いだし、眼前の真珠と比較することができます。
しかし、人間の質感の記憶の特性については不明な点が多く、知覚との共通性や差異、質感記憶の精度
やその神経基盤に至るまで未解明の問題が山積しています。そこで本研究は光沢感の短期記憶に焦点をあて、行動実験と脳機能計測を併用して、質感記憶の特性とその神経基盤の解明を目指しています。具
体的には、行動実験から光沢感の記憶が知覚された視覚情報がそのまま保持しているのか、脳機能計測
実験から光沢感の知覚に関連する脳領域に加えて記憶に固有の脳領域が存在するのかを検討しました。

○関連する研究発表
学会発表など1. Tsuda, H., & Saiki, J. (2017). “Image Statistics
and Visual Working Memory of Glossiness”. Poster
Presentation at 40th European Conference on
Visual Perception, Henry Ford Building, Berlin,
Germany, Aug 27-31.
2. Fujimichi M, Tsuda H, Yamamoto H, Saiki J:
Neural substrate of objects’ material properties
held in visual working memory, 47th Annual
Meeting of Society for Neuroscience,
WashingtonDC, USA, 11.11-15, 2017
3. 藤道宗人・津田裕之・山本洋紀・齋木潤, 質感の視覚記憶情報は腹側高次視覚野と頭頂間溝で表現される, 日本基礎心理学会第 36 回大会, 大阪, 12.1-3,
2017○これまでに得られた成果(1)光沢感の記憶に固有のバイアスの存在
記憶した光沢感を思い出す際の特徴的なバイアスを見出し、その発生機序についての仮説を提案しました。鏡面反射率と粗さの光沢感の２要素についての記憶を高精度に測定したところ、両者のバイアスのパターンに違いが見られました。具体的には、記憶項目の鏡面反射率に依存して記憶された鏡面反射率は過大もしくは過小評価が生じました。一方、粗

40

公募研究

D01-10

細胞集団による質感情報の符号化、復号化、皮質表現研究代表者 藤田 一郎（大阪大学大学院生命機能研究科・教授）

A問題としている細胞の性質（どのような傾きの情報を送るか、どのような粗さのフィ
ルターとなっているかなど）を系統的に調べることができます（C）。本研究においては、まずその手法を確立しました（論文３）。
この方法を V1 野と V4 野の神経細胞に適用したと
ころ、V1 野では方位・空間周波数のような単純な画像特徴が主に検出されているのに対し、V4 野ではより複雑な特徴（方位フィルター間の相関など）が抽出されていることが判明しました（学会発表１、２）。
同様に、色に関する情報処理も V1 野から V4 野に向けて、反対色表現から限局した色受容野表現への変換が起きていることがわかりました。テクスチャー
や色という物体の表面特徴が、側頭葉視覚経路においていかに処理されているかが判明しつつあります。

B

図１ サル大脳皮質における２光子イメージング（A）と符号化モデル解析（B, C）
物体はその材質に従い固有の視覚的表面特徴（テクスチャー）を持ち、視覚認識や視覚に基づく行動
にとって重要な情報となっています。テクスチャーの知覚には大脳皮質側頭葉経路が重要な役割を果たします。本研究では、２光子カルシウムイメージン
グ手法を用いて、多数の神経細胞の活動を同時に記録することにより、側頭葉経路第一段の V1 野と中期
視覚野である V4 野におけるテクスチャー情報の処理過程を調べています（図１）。
この研究においては、自然情景を映した動画を動物に提示し、その際の神経細胞の反応（カルシウム反応）を記録します（A）。次に、その反応を再現できるような神経回路モデルを作成します（B）。この
神経回路モデルが十分な精度で、動物の神経細胞の反応を模擬できるようであれば、そのモデルに統制された様々な視覚刺激（例えば、傾きや粗さを変化させた縞模様）を入力し、その出力を調べることで、論文
1. Oga T, Elston GN, Fujita I: Postnatal dendritic
growth and spinogenesis of layer-V pyramidalcells differ between visual, inferotemporal,
and prefrontal cortex of the macaque monkey.
Front Neurosci
doi.org/10.3389/fnins.2017.00118, 2017.
2. Ito J, Yamane Y, Suzuki M, Maldonado P,
Fujita I, Tamura H, Gruen S: Switch fromambient to focal processing mode explains the
dynamics of free viewing eye movements. Sci
Rep 7 (1082): 1-14, 2017.
3. Ikezoe K, Amano M, Nishimoto S, Fujita I:
Mapping stimulus feature selectivity in
macaque V1 by two-photon Ca2+ imaging:encoding-model approach of fluorescence
responses to natural movies. NeuroImage inpress.
学会発表など1. Hatanaka G, Ikezoe K, Takeuchi RF, Inagaki
M, Nishimoto S, Fujita I: Functionalarchitecture of image statistics in macaque
V4. Neuroscience 2017 (The 40th Annual
Meeting of the Japan Neuroscience Society,Makuhari, Japan, 7.20-23, 2017.
2.

41

Hatanaka G, Ikezoe K, Takeuchi RF, Inagaki
M, Fujita I: Relationship between image
statistics in neural movie and responses ofneurons in visual areas V1 and V4. ニューロ
コンピューティング研究会、東京、3.13-14, 2017

公募研究D01-11

ワンショット BRDF 計測と質感解析
研究代表者

撮影画像

長原

一（大阪大学データビリティフロンティア機構・教授）

法線マップ

なカメラを用いることで，この問題を解決しようとしました．提案手法では物体表面による複数の反射
光線の生成と LF カメラによるそれら光線の観測をモデル化することで，実際のカメラにより撮影される複数視点画像がどのように得られるかを考えました．このような，モデルから得られる予測画像と計
測画像と比較を行うことで，物体形状と反射特性である BRDF を画像のみから同時推定することを可能としました．つまり，計測結果と同じ見かけの推定画像が得られるよう，つじつまのあう物体形状と反射率を最適化問題として解ことでこの問題を解決しました．この提案アルゴリズムにより，未知形状の物体であっても，図のように物体の表面形状を表す法線マップやカメラからの距離を表す奥行きマップ，さらに物体の反射率を表す BRDF を推定することが可能となりました．

奥行きマップ

反射率(BRDF)
本手法は，撮影画像から法線と奥行きマップと反射率を同時推定する．
○研究の背景と目的本研究では，ライトフィールド(LF)カメラを用いた
ワンショット BRDF 計測とその質感解析を目的としています．提案手法では物体表面による複数の反射
光線の生成と LF カメラによるそれら光線の観測をモデル化します．実際のカメラから得られる計測画
像と生成モデルで得られる画像の比較を行うことで，物体形状と反射特性である BRDF を同時推定します．
提案手法により未知形状の物体であっても，LF 画像
から BRDF を推定することが可能となります．また本手法により得られる BRDF と質感の関連を調べる
ことで，質感の定量化や判別を可能にする手法を提案します．提案手法は，工学的な新規性や独創性のみならず，通常はラボ環境で計測時間のかかっていた BRDF 計測の問題を解決し，簡便な方法による
BRDF 計測を提供できることから，他の応用分野への貢献や波及効果が期待できます．
○これまでに得られた成果
画像から物体の反射率や物体の形状を推定する方法は，インバースレンダリングと呼ばれています．
図に示すような撮影画像中の輝度は，物体の形状のみならず，物体表面の反射率や照明の影響を受け結果としてあらわれます．そのため，画像のみから物
体形状や反射率分布である BRDF を求めることは一
般的には困難な問題とされてきました．一般的には，物体形状を求めるためには，物体の反射特性が既知であるか．また逆に反射率を求めるためには物体形状が既知である必要がありました．これに対して，
LF カメラと呼ばれる多視点の画像が同時記録可能42○関連する研究発表
学会発表など1. Trung Thanh Ngo, Hajime Nagahara Ko
Nishino Rin-ichiro Taniguchi, Yasushi Yagi,“Reflectance and Shape Estimation with a Light
Field Camera under Natural Illumination”,
British Machine Vision Conference, London, UK ,Sep, 2017.
2. Thanh Trung Ngo, Hajime Nagahara, Ko
Nishino, Rin-ichiro Taniguchi, Yasushi Yagi,"Reflectance and Shape Estimation with a Light
Field Camera under Natural Illumination", 情報処理学会研究報告，CVIM209-20, Nov., 2017.
3. Thanh Trung Ngo, Hajime Nagahara, Ko
Nishino, Rin-ichiro Taniguchi, Yasushi Yagi,“Reflectance and Shape Estimation with a Light
Field Camera under Natural Illumination”, The
12th International Workshop on Robust Computer
Vision, Nara, Japan, Jan., 2018,.

Thanh Trung Ngo, Hajime Nagahara, Ko
Nishino, Rin-ichiro Taniguchi, Yasushi
Yagi, “Reflectance and Shape Estimation”
with a Light Field Camera under Natural
Illumination,
The
21st
SANKENInternational Symposium, Osaka, Japan
Jan., 2018,.

公募研究D01-12

多様な感覚による質感認知の発達初期過程
研究代表者

山口 真美（中央大学文学部心理学専攻・教授）
チ条件」における両側頭の脳活動を NIRS によって計測した結果、聴覚刺激が Moma の場合、右側頭において「ミスマッチ条件」と比べ「マッチ条件」により強い脳活動がみられました（図 a, b）。この脳活
動は音表象に関わる右上側頭溝に関与すると考えられます。
[乳児におけるリアルな質感を持つ物体の視聴覚統合]質感を持つ「物体」の認識は、「木」や「金属」を叩いている時の視覚映像と音が一致することにより成立します。本実験では、4～8 ヶ月児を対象に、質感を持つ素材の視覚と聴覚の統合過程について、
NIRS を用いて検討しました。結果では、木や金属を叩く音とその表面材質（視覚刺激）がマッチした刺激を観察した際、ミスマッチの刺激と比べ、右側頭領域における脳血流の有意な増加が見られました。
この結果から、質感を持つ素材の視覚と聴覚の統合にも、音表象が関わる右側頭の活動が関与することが示されました。

図. (a)「ブーバ/キキ効果」Moma 条件の oxy-Hb の時系列
変化、(b)有意な上昇がみられたチャンネル○研究の背景と目的
ヒトは多様な感覚情報を統合し、現実の環境世界の中で様々な物体を認識します。このような感覚統合は、発達初期において、音表象から言語獲得にも影響しうると考えられます。感覚統合から言語獲得に至る、多感覚統合の発達過程を、言語獲得前後の乳児を対象に実験的に検討します。近赤外分光法（NIRS）を用いた実験では、感覚統合の発達と音表象へと進む過程を、その脳内機能から検討します。
まず、言語獲得直前の乳児を対象に、視覚印象と聴覚が一致する「ブーバ/キキ効果」を用いた検討を行います。音表象に重要な right posterior STS（上側頭溝）がブーバ/キキ効果によって活動する時期を解明し、視覚と聴覚の統合が言語表象へと進む過程を検討します。また、現実のリアルな質感を持った物
体認識の統合過程について検討します。さらに、質感知覚の発達に関わる乳幼児の環境要因を解明する
ため、日常の照明環境や色環境を wearable camera
を用いて撮影し、データベース構築を試みます。本
研究により、多様な質感知覚の発達過程検討と、言語獲得の発達までを見越した、質感知覚のメカニズ
ムを解明する一端を担いたいと思っています。

[乳幼児における日常の照明環境および色環境の調査]
乳幼児の頭部に wearable camera を設定し日常生
活における乳幼児視点の風景を撮影し、得られた画像から乳幼児の日常の照明環境や色環境を調べました。現在はまだデータ数が少ないですが、今後も測定を継続しデータベースの構築を図る予定です。
[表面知覚の恒常性における影知覚の影響]
観察位置や光源の位置が変わる時、物体表面に投射される物体自身の影や、物体表面の映り込み等が変化し、網膜像は大きく変化します。本実験では、3～8 ヶ月児を対象に、物体自身の影の変化と、物体の 3 次元形状の変化に対する感度の違いを選好注視法により検討しました。ヒトの恒常的な知覚が獲得される以前の 3～4 ヶ月児は、7～8 ヶ月児が無視する物体表面の映り込みの変化を検出できることが示されました。

○これまでに得られた成果[言語獲得前後の乳児でのブーバ/キキ効果の検討]
視覚と聴覚の情報統合がどのように言語表象へと進むか、その脳内処理機構の発達を、言語獲得前の11 ヶ月児を対象に検討しました。視覚表象と音表象が一致する「マッチ条件」と一致しない「ミスマッ○関連する研究発表
1. Sato, K., Kanazawa S, Yamaguchi MK (2017)
Infants' perception of lightness changes related tocast shadows. PLoS ONE 12(3): e0173591.

43

公募研究

D01-13チンパンジーにおける質感知覚・認知の総合的研究：比較認知科学の観点から研究代表者

伊村知子（新潟国際情報大学情報文化学部・准教授）
識別するだけでなく，場面全体に広がった複数の対象でも瞬時に鮮度の違いを識別できることが示唆されました．
一方で，人工物の CG 画像から光沢の強さを識別する能力については，ヒトとチンパンジーで違いがあることもわかりました．コンピュータ画面上に呈示された 4 枚の物体画像の中から 1 枚だけ光沢の強さの異なる物体の画像を選択する課題をおこないました．光沢の強さは 7 種類あり，中程度の光沢を持
つ物体の画像の中からより光沢の弱い物体の画像を見つけ出す条件が 3 つと, 中程度の光沢を持つ物体の画像の中からより光沢の強い物体の画像を見つけ出す条件が 3 つありました。その結果, ヒトの成人では，光沢の弱い物体を検出する条件の方が，光沢の強い物体を検出する条件よりも正確に答えられたのに対し，チンパンジーでは，いずれの条件でも正確に答えられないことがわかりました．このことから，チンパンジーでは，少なくとも本研究で用いた
CG 画像から光沢の強さを識別することが難しい可能性が示唆されました．
さらに, ヒトの発達過程において光沢の強さの違いを識別する能力がどのように変化するかを明らかにするため，6 歳から 12 歳のヒトの児童を対象に，成人やチンパンジーと同じ課題を用いて光沢の強さの違いを識別する能力について調べました（図 1D）．
その結果，ヒトの児童では，6 歳から 9 歳半の児童
よりも 9 歳半から 12 歳の児童の方がより正確に答えられること，9 歳半から 12 歳の児童と成人の正答率には差がないことが示されました．したがって，光沢の強さの識別能力は，児童期まで発達し，成人と同じレベルに達する可能性が示唆されました．

図１. (A)キャベツの葉の画像例. (B)人工物の CG 画像の例. (C)複数のキャベツ画像の鮮度を見比べるチンパンジー. (D)4 つの中から 1 つだけ光沢の強さの異なる CG 画像に触れるヒトの児童.
○研究の背景と目的
私たちヒトは，様々な素材やその状態の違いを見分けることができます．このような豊かな質感の世界に暮らすのはヒトだけなのでしょうか．質感の知
覚が，環境の認識や食物選択，配偶者選択など生存にとって重要な役割を果たしているとすれば，質感を識別する能力の一部は，そのほかの動物にも備わっているかもしれません．本研究では，ヒトとその他の動物に共通な質感知覚の基盤とその発達過程を探るため，ヒトに最も近縁なチンパンジーやヒトの児童を対象に光沢質感知覚について検討しました．

○関連する研究発表
論文
1. Imura T, Masuda T, Wada Y, Tomonaga M,
Okajima K: Chimpanzees can visually perceive
differences in the freshness of foods. Scientific
Reports 6:34685, 2016.
学会発表
1. 伊村知子：チンパンジーにおけるアンサンブル知覚 比較認知科学の視点から. 日本心理学会第 81 回
大会, 久留米大学, 9.20-22, 2017.
2. 伊村知子・澤山正貴・白井述・友永雅己・西田眞也：ヒト児童における光沢質感の知覚.日本基礎心理学会第 36 回大会, 立命館大学, 12.1-3, 2017.

○これまでに得られた成果
チンパンジーにとって馴染みのあるキャベツの写
真（図 1A）や，馴染みのない未知の人工物の CG 画
像（図 1B）を用い，光沢の違いを識別する能力について比較しました．
まず，キャベツの葉が時間経過に伴い劣化していく様子を撮影した写真を用いて，「鮮度」の異なる 6
枚のキャベツの画像のセットを 2 つ見比べて，より新鮮な方を選択できるかについて調べました（図1C）．その結果，ヒトもチンパンジーも，複数の画像セットでも 1 枚ずつよりも正確に「鮮度」の違いを識別できることが示されました．このことから, ヒト
もチンパンジーも，1 つずつ鮮度の違いを見比べて

44

公募研究

D01-14

触覚の質感を表現するオノマトペの神経基盤
研究代表者

北田

亮（Nanyang Technological University・Associate Professor）

図 1. 本研究では脳が触覚から得た素材の情報をどのようにオノマトペに変えていくのかを知るため, 3
つのサブテーマに関する実験を実施しました(上部).
素材の柔らかさの強度に関わる脳部位を同定しました(下部).
○研究の背景と目的
私たちは物体に触れることで，その質感を直に経験することができます．従来の心理物理学研究において触覚の素材感は，粗さや柔らかさといった知覚単位で説明できるとされています．しかし実際に知覚する素材感は，多様でかつ複雑なため，知覚単位の量ではなく，「ふかふか」のようなオノマトペで直感的に表現されます．現実に即した素材の触知覚メカ
ニズムを理解するには，素材感とオノマトペの関係性を知る必要がありますが，オノマトペを表象する
神経基盤は未解明であり，触感とオノマトペの関係性を調べた脳科学研究は行われていません．この背景に基づき本研究は「脳は触れた素材の柔らかさをどのように解釈し，オノマトペとして表現するのか」について認知脳科学的に明らかにすることを目的とし，触覚の質感認知に関する認知脳科学的モデルの構築を目指します．
○これまでに得られた成果
本研究の目的を達成するためには, まず触覚によって得た情報から, 素材の柔らかさ強度を抽出する脳45

部位を同定する必要があります. これまでの研究では, 物体の方位や粗さの知覚に関わる脳内ネットワークが明らかにされています. しかし柔らかさに関連する神経基盤についてはほとんど調べられてしませんでした. そこで磁気共鳴画像装置(MRI)の高磁場環境下の中でも使用可能な空圧刺激装置を, 計画
研究の梶本班（電気通信大学）と坂本班と共同で開発しました. これらの装置を用いて, 硬さの異なる
３つのポリウレタンゲルを 35 名の参加者の中指に呈示し, 参加者が硬さを推定しているときの脳活動（BOLD 信号）を計測しました. その結果, 両側の上前頭回・島部・右側の前部帯状回の活動は素材の柔らかさに応じて増加することが分かりました. さらにこれらの活動は, 指に呈示される圧力に対して大きく変化することはありませんでした. つまりこの結果は, これらの脳部位が柔らかさに関する情報を抽出および表現している可能性を示唆しています.
過去の研究では, 島部と頭頂弁蓋部と呼ばれる脳部
位が, 粗さ強度や温度に関連していることが明らかにされています. 今回の結果は島部が物体の素材の特徴抽出に関与するという仮説を支持しています.
その一方で, 一次体性感覚野が本当に柔らかさの情報の抽出や表現に関わらないのかどうか, 機械学習による解析を進めていきます.
次に柔らかさの情報をオノマトペに変換するメカ
ニズムを調べるため, 2 つの実験を実施しました. 最初の実験ではオノマトペの処理と表現に関する脳部位について, 第 2 の実験ではオノマトペと触覚の情報の比較に関する脳部位について調べました. 今後はこれらの実験データを解析し,言葉と感覚情報の関係性について明らかにしていく予定です.
○関連する研究発表
論文
1. Yang J, Kitada R, Kochiyama T, Yu Y, Makita K,
Araki Y, Wu J, Sadato N: Brain networks involvedin tactile speed classification of moving dot
patterns: the effects of speed and dot periodicity.
Sci Rep 7:40931, 2017.
2. Fujimoto S, Tanaka S, Laakso I, Yamaguchi T,
Kon N, Nakayama T, Kondo K, Kitada R: The
Effect of Dual-Hemisphere Transcranial Direct
Current Stimulation Over the Parietal Operculumon Tactile Orientation Discrimination.
Front Behav Neurosci, 11:173, 2017.

公募研究D01-15

液体粘性知覚の神経メカニズムの解明
研究代表者

眞田 尚久（関西医科大学医学部・助教）されているかは未だに明らかとなっていません。背側経路 MT 野における研究から、単純な視覚運動刺激(一様運動)に対して神経細胞が運動方向選択的に応答することが分かっていますが、これらの細胞が液体粘性運動のような複雑な刺激に対して感受性を示すかどうかは不明です。
視覚運動情報を処理している背側経路と、静的な質感情報処理を担っている腹側経路の両方から入力を受ける FST 野では、運動による質感情報処理をしている可能性が高いと考えられます。
本研究では、近年報告された液体粘性の知覚判断と相関する高次運動統計量(Kawabe et al., 2015)を視覚刺激生成に適用することで、液体粘性知覚が高
次視覚領野でどのように表現されているかを明らかにすることを目的とし、研究を行っています。
○これまでに得られた成果
まず、Kawabe ら(2015)が報告した高次運動統計量を用い「液体らしさ」の刺激軸を作成しました。
運動方向ごとに液体らしさが異なる刺激を生成する
ことで、「液体らしさ－運動方向」の刺激空間を作り、個々の刺激条件に対する神経細胞の応答特性を電気生理学的に記録しました。運動方向選択的に応答するタイプの神経細胞であれば、「液体らしさ－運動方向」の刺激空間で、縦方向に伸びたような応答パターンが観察されるはずです(図 1C)。それに対して、液体らしさに感受性を示す場合は横方向に伸びた応答特性が得られると予想できます(図 1D)。
一様運動の情報処理を担っていると考えられる
MT 野の神経細胞から記録を行った結果、縦に伸びた応答パターンが観察されました。運動方向には選択的な応答を示しましたが、液体らしさには感受性がないことが分かりました（図 1E）。この縦方向に伸びた応答特性は、MT 野神経細胞モデルによって再現できることが確認できました(図 1F)。今後 FST
野での記録を行い、異なる領野間で「液体らしさ－
運動方向」の刺激空間での応答特性がどのように違うかを比較する予定です。
○関連する研究発表
学会発表など1. 眞田尚久, 河邉隆寛, 西田 眞也, 小松英彦, 視覚運動による質感表現への生理学的アプローチ,
質感のつどい第３回公開フォーラム, 大阪,
2017 年 11 月 22 日(ポスター発表)
2. 眞田尚久, 河邉隆寛, 西田 眞也, 小松英彦, 複雑運動刺激に対する MT 野細胞の応答特性, 第21 回視覚科学フォーラム, 豊橋, 2017 年 9 月
28 日(ポスター発表)

図 1 A,B:大脳皮質視覚野と視覚情報処理経路の模式図。C,D:「液体らしさ－運動方向」の刺激空間と、予想される神経細胞の応答特性。運動方向のみに選択性を示す場合は縦長に(C)、液体らしさに選択性を示す場合は横長のパターンとなる(D)。E:MT 野神経
細胞から実際に計測した、液体粘性刺激に対する応答特性と、一様運動に対する応答特性。液体らしさには感受性を持たないため、縦長の応答パターンが観察された。F:モデル MT 野細胞を構築し、液体粘性刺激に対する応答を予測した。E で示した結果と同様、縦方向に伸びた応答パターンが観察された。
○研究の背景と目的大脳皮質における視覚情報処理は、背側経路と腹側経路の二つの経路で処理され (図 1A)、これまでの研究から背側経路では視覚運動や奥行きが、腹側経
路は色や形状などの情報が処理されていると考えられてきました(図 1B)。
近年の研究から、素材やテクスチャ、光沢感などの物体の静的な質感情報が腹側経路 V4 野や IT 野で処理されていることが分かってきました(Okazawa
et al. 2014, Nishio et al. 2011, 2014)。しかし、液体
粘性運動などの動きを伴う質感情報処理がどこでな

46

公募研究

D01-16

新奇食品に対する感性的質感認知の解明－食用昆虫を例として－
研究代表者
(a)

和田

顔写真

有史（立命館大学理工学部・教授）
(b)

(c)

図１(a)各都道府県での食虫経験者の割合. (b)食用食品の画像の例. (c)食品に対する印象○研究の背景と目的
我が国の多くの地域でイナゴの佃煮は消費されてきた一方で、昆虫の摂食経験がなく、昆虫を見るだ
けでも嫌悪感を抱く方もいます。対象に対して生じる嫌悪や嗜好のような感情を本領域では感性的質感と呼んでいます。この公募研究では、同じ昆虫食画
像でも、それによる感性的質感が経験によって大きく異なることを数値化して表すことを目的としています。また、味覚 (例：甘味・塩味) と同時に生じることが多い嗅覚刺激 (例：バニラ・醤油) によって、感じられる味の強さが増強されるますが、日常的な飲料や食品を摂取するときの匂いと味の順番が与える影響があるかどうかも検討しました。
○これまでに得られた成果
まず、現在の日本の各地域の方たちがどの程度、昆虫食の経験があるのかを探るためにクラウドソー
シングによる実験を行いました。実験参加者 1,057
名についての結果を集計しました。参加者の県別の被験者割合はほぼ人口統計の割合と一致しました(相関係数＝0.98)。アンケート調査の結果を見ると、昆虫食経験者は内陸部に多く存在することが示されました (図 1a)。また、摂食経験者の割合は 10 代では 15％程度ですが年齢が上がるにつれて増えて、40代以上では 30％を越えました。イナゴについては
28.4％、ハチの子 10.8％、蚕の蛹 4.0％、セミ 1.6％の方が食べたことがあると答えました。昆虫食品画

47

像 (図 1b) を参加者に見せて “おいしそう”に見えると答える人数は、この摂食経験と比例します。
その一方で、ネガティブな評価は摂食経験に反比例します (図 1c)。これは摂食経験と感性的な質感に強い関係があることをはっきりと示しています。
また、昆虫食画像が食品としての認識がされやす
いかどうかを、意味的プライミング課題という潜在的な態度を測定する手法で測定しました。まず先行刺激としてコンピューターの画面に食品画像，動物
画像，昆虫食画像のどれかを参加者に見せました(0.5 秒間)。
その後に食品名か動物名を画面に出して、参加者に食品か動物かをできるだけ早く正確に答えてもらいました。この課題では、先行刺激と単語が心の中で関連が強い場合は正確に答えられる一方で、関連が弱いと不正解が多いといわれています。この
結果、先行刺激が食品、動物の場合は単語の判断については、先行刺激と対応した単語の時に正答率が高かった一方で、昆虫食の時は動物と食品の単語の正答率に差はありませんでした。これは、昆虫食品
は一般の食品とは異なるカテゴリーとして認識されている可能性があることを示しています。
また、味覚に結びついた匂いの提示では、食品を摂取する前に鼻孔に提示した匂いよりも、摂取した後に口の奥から呈示された匂いの方が強く味覚を増強することがわかりました。
○関連する研究発表
論文
1. Kakutani,Y., Narumi, T., Kobayakawa, T.,
Kawai, T., Kusakabe, Y., Kunieda, S., Wada, Y.,
Taste of breath: the temporal order of taste andsmell synchronized with breathing as adeterminant for taste and olfactory integration,
Scientific Reports, 7:8922, 2017.
学会発表
1. 松原和也・角谷雄哉・山田祐樹・木村敦・曲山幸
生・宮ノ下明大・日下部裕子・和田有史：昆虫食の摂食経験と潜在的態度に関するインターネット調査
を用いた検討, 日本官能評価学会 2017 年度大会, 東
京家政大学, 2017.
2. 角谷雄哉・鳴海拓志・小早川達・河合崇行・日下部裕子・國枝里美・和田有史: 呼吸と連動した後鼻腔
経路嗅覚刺激による味覚強度増強効果―味質による効果の違い―, 日本官能評価学会 2017 年度大会, 東
京家政大学, 2017.

公募研究D01-17

マーモセット大脳視覚皮質における光沢情報の処理過程研究代表者 宮川尚久(量子科学技術研究開発機構・放射線医学総合研究所・主任研究員)
提示しながら、側頭葉の高次視覚皮質より神経活動を計測し、領野 FSTv に光沢画像に選択的に反応する神経細胞があることを初めて報告しました(Miyakawa et al., 2017)。 また左図 A において矢印で示した複数の領域から FSTv への神経軸索投射があること、そのうち MTc では FSTv の光沢
選択性領域に投射する部位には同じく光沢に反応する神経細胞が有り、そこを外れると光沢選択性の神経細胞が存在しないことを発見しました(左図 B;
Miyakawa et al., 北米神経科学会にて 2016 年発表)。
しかし、FSTv 光沢選択性部位は MTc 以外にも腹側経路のより高次な領野および前頭葉外側からも大量のフィードバック入力を受けており(北米神経科学会 2016 年)、また MTc から FSTv への神経投射を光
遺伝学的手法で抑制しても FSTv 神経細胞の光沢選択性は有意に影響されないという予備的な結果も得られました。

A

MTc
FSTv

B

○関連する研究発表
論文
1. Miyakawa N, Banno T, Abe H, Tani T, Suzuki
W, Ichinohe N: Representation of glossy material
surface in ventral superior temporal sulcal area ofcommon marmosets, Frontiers in neural circuits,
11 17, 2017

電極刺入位置図説: マーモセット側頭葉の光沢選択性神経回路A) マーモセット大脳視覚関連領野(Solomon and
Rosa 2014 より改変)。FSTv に光沢選択性神経細胞があり、矢印で示した領域から FSTv への神経投射があることを発見しました。B) MTc の中で FSTv の光沢(ガラスと金属)選択性領域に投射する部位は光沢に反応するものの、そこを外れた部位は光沢に反応しないことを発見しました。

2. Abe H, Tani T, Mashiko H, Kitamura N,
Miyakawa N, Mimura K, Sakai K, Suzuki W,
Kurotani T, Mizukami H, Watakabe A, Yamamori
T, Ichinohe N: 3D reconstruction of brain section
images for creating axonal projection maps inmarmosets,
Journalofneuroscience
methods, 286 102-113○研究の背景と目的
光沢感の知覚は物体の材質や表面状態の認知において重要な役割を持ち、実際に霊長類で光沢に反応する特別な脳領域の存在が先行研究で知られていまし
た(Okazawa ら 2012, Nishio ら 2012)。小型霊長類のマーモセットは、高い視覚認知能力を持ちながら溝の少ない大脳皮質を持つため、神経回路の生きた状態で可視化や(図 B)、その回路の選択的な活動操作に向いた実験動物です。我々は、マーモセットで上記の方法を用い、光沢に反応する神経ネットワークの同定を目的として研究を行いました。

3. Miyakawa N, Majima K, Sawahata H,
Kawasaki K, Matsuo K, Kotake N, Suzuki T,
Kamitani Y, and Hasegawa I: Heterogeneous
redistribution of facial subcategory information
within and outside the face-selective domain inprimate inferior temporal cortex, Cerebral Cortex,

in press

学会発表
1. Miyakawa N, Banno T, Abe H, Tani T, Suzuki
W, Ichinohe N: Representation of glossy material
surface in common marmoset temporal visualcortex, Society for Neuroscience 16th Annual
Meeting, San Diego, USA, 6.6-10, 201○これまでに得られた成果
これまで我々は麻酔下のマーモセットに、ガラスや金属など光沢を持った画像を含む視覚刺激セットを

48

公募研究

D01-18

顔の質感情報の時間的コーディングの研究
研究代表者

菅生

康子（産業技術総合研究所人間情報研究部門・主任研究員）
について個体や表情の情報のコードと比較して明らかにします。
○これまでに得られた成果
まず、質感の異なる顔画像セットを作成しました（図、左上）。画像の輝度チャンネルの正の成分を変更（Boyadzhiev ら、2015）し、光沢を強調または減弱させた顔画像、および、スタイル変換の手法（Matsuo & Yanai、2016）で、顔の質感を織物へと変化させた画像です。
これらの顔画像セットを用いて、サル 1 頭の側頭皮質から単一ニューロン活動を記録したところ、側頭皮質のニューロン活動の強度に、顔の質感変化の影響が観察されることが分かってきました（図、下段）。各ニューロンの応答について、質感を変化させた顔画像に対する選択性を、元の顔画像に対する選択性と比較したところ、スタイル変換では光沢変化
よりも、選択性が異なるニューロンの割合が多いことが分かりました。さらに、光沢の違いは、時間的に画像呈示後の遅いタイミングでコードされ、顔表情の情報処理を乱さない一方、スタイル変換の影響は時間的に早くからみられ、表情の情報処理を弱めていました。光沢の違いとスタイル変換は、異なるメカニズムで顔の情報処理に影響を与えることが示唆されます。

側頭皮質の顔応答性ニューロンの活動に顔の質感変化の影響が観察されました。左上、質感の異なる顔画像；右上、神経活動の記録部位（灰色）；左下、単一ニューロン活動の例。横軸は刺激呈示（0 ms）からの時間経過。この
例の場合、スタイル変換の影響が時間的に早くから見られます；右下、左下のニューロン活動について顔表情の選択
性を顔の質感の違いで比較。

○研究の背景と目的
質感は、我々が外界の事物の状態を見分けるために重要な情報です。日常生活に存在する自然な物体につての質感認識の理解を目指して、社会生活に重要な顔の質感をコードする脳の仕組みを明らかにすることを目的としています。私たちが顔を見るとき、肌や眼、髪などの質感情報から、年齢や体調などを推し量ることができます。また、眼、鼻、口などの形やそれら相互の距離など造作の形態情報から個体や表情を認知します。
本研究では、顔の異なる質感の知覚について、情報の時間的コーディングという観点から研究を進めています。側頭皮質では、ヒトかサルかの分類情報と個体・表情の情報が時間的に異なるタイミングでコードされることが明らかになっています。そこで、
サルの側頭皮質からニューロン活動を記録し、顔に対する応答を調べます。顔応答性ニューロンにおける顔の質感情報のコードを、特にそのダイナミクス○関連する研究発表
論文
1. Kuboki R, Sugase-Miyamoto Y, Matsumoto N,
Richmond BJ, Shidara M. Information
accumulation over time in monkey inferior
temporal cortex neurons explains patternrecognition reaction time under visual noise.
Frontiers in Integrative Neuroscience, doi:
10.3389/fnint.2016.00043, 2017.
学会発表など1. Sugase-Miyamoto Y, Matsumoto N, Mototake Y,
Kawano K, Okada M: Upright and inverted faces
are separately represented in feed-forward
processing in the visual cortex, Neuroscience 2017,
Washington DC, USA, 11.14, 2017

49

公募研究

D01-19

咀嚼筋電音フィードバックを用いた食質感知覚メカニズムの解明
研究代表者

藤崎 和香（産業技術総合研究所 情報・人間工学領域 主任研究員）
クする実験を行いました。その結果、筋電音をそのままフィードバックするよりも、介護食の漬物を噛んだ時の違和感を減少させることに成功しました。
この成果はヒューマンインターフェースシンポジウ
ム 2016 で優秀プレゼンテーション賞を受賞し（遠藤・金子・井野・藤崎, 2016）、また同内容の論文が、Journal of Advanced Computational Intelligenceand Intelligent Informatics 誌に掲載されました（Endo, Kaneko, Ino & Fujisaki, 2017）。
さらに、健常高齢者を対象にした実験を行い、高齢者であっても一般成人と同様に、咀嚼筋電音フィー
ドバックによる食質感の変容効果が生じることを示しました。この成果は、Appetite 誌に掲載されました（Endo, Ino & Fujisaki, 2017）。
現在は、疑似咀嚼音の種類を 14 種類に増やすと同時に、評価軸に形容詞対だけでなくオノマトペを加えた実験を行い、結果について詳細な分析を進めています。また、さらなる装置の改良を進めています。

咀嚼筋電音フィードバックによる食質感の変容○研究の背景と目的
質感知覚は予測，意思決定，身体制御，感覚運動
フィードバックなどを含んだ，多感覚的，適応的，能動的なプロセスの結果としても生じます．食質感
知覚はこのようなプロセスについて考える最適の題
材です．それは食質感知覚には「食べる」という能動的な動作によってもたらされる感覚フィードバッ
クの情報が大きく貢献しているためです．
これまで咀嚼音をフィードバックして食質感を変容させる様々な研究が行われてきましたが，フィードバックの時間ずれや利用できる食品の物性上の制約が課題でした．私たちは近年，咀嚼に完全に同期したフィードバック音をあらゆる物性の食品について返すことができる画期的な手法を考案しました．
それは咀嚼音そのものではなく咀嚼時の咬筋の筋電波形を音に変換したものをフィードバックするという手法です．
本研究ではこの手法を発展させた一連の研究により多様な食質感を認識する人間の情報処理の仕組みを解明することを目的とします。

○関連する研究発表
論文
1. Endo H, Ino S, Fujisaki W: The effect of acrunchy pseudo-chewing sound on perceived
texture of softened foods., Physiol Behav.,
167:324-331, 2016.
2. Endo H, Kaneko H, Ino S, Fujisaki W: An
attempt to improve food/sound congruity using anelectromyogram pseudo-chewing soundpresentation, JACIII, 21(2), 342-349, 2017.
3. Endo H, Ino S, Fujisaki W: Texture-dependent
effects of pseudo-chewing sound on perceived foodtexture and evoked feelings in response to nursing
care foods, Appetite, 116,493-501, 2017.

○これまでに得られた成果
まずは単純に筋電波形をそのまま音に変換してリアルタイムにフィードバックしただけでも、噛みご
たえやざらざら感といった食質感が変化すること、
さらに高次質感（高級感、新鮮さなど）や行為主体
感（食べている実感など）が変化することを示しました。この成果は Physiology & Behavior 誌に掲載されました（Endo, Ino & Fujisaki, 2016）。
次に、咬筋の筋電波形のエンベロープを取り出して任意の音信号を振幅変調して出力できるように装置を改良し、漬物の音を連続的に繋いた音信号を筋
電波形のエンベロープで振幅変調してフィードバッ

学会発表など1.Fujisaki, W, Ino, S, & Endo, H: Auditory
modulation of material properties of food bypseudo-mastication feedback sound generated
from EMG signal, 31st International Congress of
Psychology, July 24-29, 2016, Yokohama, Japan
2. Endo, H, Ino, S & Fujisaki, W: Improving thepalatability of nursing care food using a
pseudo-chewing sound generated by an EMG
signal, HCI International 2016, July 17-22, Tronto,
Canada

50

公募研究

D02-1

錯触覚を利用したタッチパネル型
多自由度標準触覚デバイス
研究代表者

嵯峨 智（熊本大学大学院先端科学研究部・准教授）

CloudMachineLearning

1
5

knocking
Repeater
ZigBeewritingrubbing

Accelerometerembedded
Microcomputer

User’ssmartphone

図 1 触覚情報収集システムと機械学習による分類

さまざまな触覚コンテンツを生成する手法の実現を目指します．
○これまでに得られた成果
触覚の知覚強度と触感の評価実験を行うことで入力波形と知覚刺激との関連性を調査し，評価結果と波形の特徴を比較し考察を行いました．この結果，知覚強度は波形とその周波数成分によって変化する
ことと，触感はどの波形や周波数を変えても粗いや硬いといったテクスチャ表現のオノマトペに集中することがわかりました．今後は，波形に対する知覚
強度と触感をモデル化と，指の動きに合わせた触覚
提示による触感表現の拡張を目指します．
また，ZigBee を用いた手軽に日常の触覚情報を収集できるシステムを実装し，本システムによる触覚
情報収集を実現しました．また，収集した触覚情報のための畳み込みニューラルネットワークの構築と分類を実施し，30 種の異なるテクスチャの分類において，精度約 90%を達成しました．今後は，触察速度が分類に与える影響を考察してゆきます．

図 2 静電気力による触覚ディスプレイ(上)と，さま
ざまな入力波形に対するオノマトペ表現(下)○研究の背景と目的
近年，スマートフォンの普及とともに触覚技術への期待が増大しています．しかし未だ表示された仮想物体そのものに触れるインタラクションは，直感的とは言えないものに留まっています．これは触覚そのものが入力と出力を同時に備えた感覚にもかかわらず，入力装置としてのタッチパネルのみが普及していることに起因します．そこで我々はタッチパネル上での仮想物体との触覚フィードバックを伴う
直感的かつインタラクティブな操作の実現を目指します．
また，こういったさまざまな触覚を提示する触覚
ディスプレイの普及に伴い，提示すべき触覚情報を効率的に収集分類し，適切な触覚コンテンツデザイ
ンをすることが必要になってきました．これにあわせ我々は，さまざまな日常的な触覚情報をユビキタ
スセンサにて収集し，機械学習による分類を通じて，○関連する研究発表
学会発表など1. Hirobumi Tomita, Satoshi Saga & Hiroyuki
Kajimoto. Onomatopoeic-based Classificationof Generated Sensation on Electrostatic
Tactile Display. In Proceedings of IEEE
WorldHaptics 2017, WIP-26, 2017.
2. Shotaro
Agatsuma,
ShinjiNakagawa,
Tomoyoshi Ono, Satoshi Saga, Simona
Vasilache & Shin Takahashi. Classification
Method of Unknown Haptic Information
Using Convolutional Neural Network. In

Proceedings of International Conference, HCIInternational 2018, 2018. (in press)

51

公募研究

D02-2

光線制御型エネルギー投影手法による質感プロジェクションの基盤技術の構築
研究代表者

図１

小泉

直也（電気通信大学 大学院 情報理工学研究科・助教）に CMY などの多色ドットパター
ンをあらかじめ印刷しておき，色彩の提示を行いました．本提案手法では，色彩層の印刷対象として赤
外線透過素材を使用しました．さらに最下層にレジストレーション層に赤外線を吸収するインクで印刷しておくことで，両面印刷情報を用いて位置合わせができます．これによって赤外線を用いてレジスト
レーションパターンを認識できるようになりました．
この多層構造を図２に示します。
試験的実装として，赤外線を透過する黒色クロミ
ックとインクジェットプリンタカラーインク，赤外線を吸収するインクジェットプリンタ黒色インクを使い分け，発色と位置合せを実施するための構造設計を行い，実際に選択的に発色内容を変更した様子
を図３に示します。

発色型情報提示の原理○研究の背景と目的
本研究の目的は，質感プロジェクタの実現に向けた光線制御型エネルギー投影手法の試験的実装を行うことです．コンピュータグラフィックスの中では，テクスチャマッピングによって質感を容易に書き換えることができます．このような方法を実世界で実現することができれば，物理世界と情報世界の融合を実現する有力な手法になりえます．そこで本研究
では書き換え可能な実物体質感制御の実現を目指す
ことにしました．本提案の基本概念は，物体の表面に化学反応の生じる物質を塗布し，そこにエネルギーを投影して化学変化を生じさせることで，表面の繰り返し書き換えを実現するものです（図１）．研究
目的を達成するために，レーザーをエネルギー源として光学系によって投影することで，対象に質感を投影できる手法を開発します．本研究ではこれまでの技術を発展させ，質感の書き換えを繰り返し実施できる手法を目指します．
○これまでに得られた成果
提案する発色制御層・色彩層・対象物・レジスト
レーション層の多層構造を提案しました．人の目に近い方から，発色制御層・色彩層・対象物・レジス
トレーション層と並べます．発色制御層には黒色の双安定性クロミックインクを塗布し，可視光の発色
または吸光の調整を行いました．このインクは，６５度以上で消色し，-１０度以下で復色する特性を持ちます．そこへレーザーによって熱を加え，発色制御層の黒色を消色し，可視光の吸光から透過へと切り替えるます．これによって、その下層に配置された色彩層の色が見えるようになります。この色彩層

図２

多層構造による多発色の発色型情報提示技術

図３

選択的発色の様子○関連する研究発表
学会発表
1. 小泉 直也, 水原 遼.多層印刷による多発色型情報提示手法の基礎検討. 情報処理学会 インタラク
ション 2017, インタラクション 2017 論文集, pp.
397 - 400, 2017

52

公募研究

D02-3

高速ビジョン・プロジェクタに基づいた動的質感再現研究代表者

渡辺 義浩（東京大学大学院情報理工学系研究科・講師）
非接触の要請を満たしたシステム技術を構築することで、静的・準静的環境に制限されていた質感再現技術を次のレベルへ引き上げることを目指します。
○これまでに得られた成果
対象の 3 次元位置と姿勢を高速に取得可能なマー
カ型 3 次元トラッキング技術を開発しました。本技
術は速度性能が高いだけでなく、人間とのインタラ
クションによって遮蔽が生じる状況下でもこのようなトラッキングを維持することができます。
新たに開発したトラッキングと高速プロジェクタを用いて、プロジェクションマッピングに基づく動的質感再現を実現しました。左写真に示されるように、石膏製の対象物が光沢をもつ金属製の物体に見えることが確認できます。
このほかにも、プロジェクションマッピングとは異なるアプローチに基づいた動的質感再現も実現しました。これは、人間の臨界融合周波数を超える速度で変調された構造化光を利用することで、実物体を自由に再配置できるディスプレイとなっています。
左写真のように、裸眼で視聴できる毛糸を用いたア
ニメーションを生成することに成功しています。

上段：3 次元トラッキングの様子と投影対象。中段：
プロジェクションマッピングに基づく動的質感再現。
下段：実物体を用いた動的質感再現。

○関連する研究発表
論文
1. 吉田貴寿, 渡辺義浩, 石川正俊: 周期運動する実物体と高速時分割構造化光を用いたリアリスティックディスプレイの開発, 日本バーチャルリ
アリティ学会論文誌, 22(9):229-240, 2017.
学会発表など1. Yoshihiro Watanabe, Toshiyuki Kato,
Masatoshi Ishikawa: Extended Dot Cluster
Marker for High-speed 3D Tracking in
Dynamic Projection Mapping, IEEE
International Symposium on Mixed andAugmented Reality, Nantes, France, 52-61,
2017.
2. Takatoshi Yoshida, Yoshihiro Watanabe, andMasatoshi Ishikawa: Phyxel: Realistic
Display of Shape and Appearance using
Physical Objects with High-speed Pixelated
Lighting, Annual Symposium on User
Interface Software and Technology, Tokyo,
Japan, 453-460, 2016.

○研究の背景と目的
視点と物体と光源の配置を人間が能動的に変化させることで知覚される視覚情報は、質感の理解を深める上で重要な役割を担っています。しかし、このような動的に変化する視覚情報を、実世界上に自在に再現する技術の実現は困難でした。ボトルネック
は、実世界や体性感覚と仮想的な再現情報の間で、
時空間的整合性が崩れていることにあります。
本研究では、この限界を高速なセンシング・ディ
スプレイ技術によって打破します。具体的には、1,000fps・ms オーダ遅延の超高速視覚センシングとプロジェクタ技術を基盤として、動的に変化する実世界と仮想質感を、人間の知覚レベルで完全に融合させるシステム技術を創出します。人間の知覚限界を超える高速な性能を駆使するとともに、無拘束・

53

公募研究

D02-4

タッチパネルのための Pseudo-haptics 生起手法の確立と質感設計への応用研究代表者

鳴海

拓志（東京大学大学院情報理工学系研究科・講師）あるものの、提案手法では C/D 比が一定の場合にも抵抗感の違いを提示できることを明らかにしました。
これは提案手法が従来の擬似触力覚提示手法とは異なるメカニズムに依拠することを示唆しています。
こうした知見を踏まえた上で、スワイプ操作の繰り返しが擬似触力覚知覚に影響を与えるか検証しました。従来の擬似触力覚提示手法では、C/D 比を動的に変化させる必要があるために、入力操作量が小さい場合には触力覚が感じられにくいという特徴がありました。他方、タッチパネルのスワイプ操作では、指による短い移動操作が繰り返されるという特徴があり、従来手法のこの特徴は望ましくありません。
これに対し、提案手法では 1 度しか触らない条件下での抵抗感の丁度可知差異よりも、5 度繰り返し触る条件下での丁度可知差異のほうが小さくなることを明らかにしました。これは、提案手法では操作量が小さい場合であっても、操作の反復によって抵抗感の違いを感じやすくなることを意味します。
さらに、擬似触力覚の付与がタッチパネルを用いて閲覧した情報の認知に影響を与えるかを検討しました。提案手法を用いてタブレット端末上で画像を閲覧するアプリケーションにおいて、特定の画像が表示されているときのみ CD 比を小さくし、抵抗を付与するようにしました。その結果、CD 比を変化させた画像と変化させていない画像の注視時間は変わらなかった（CD 比が小さい場合にはユーザがスクロー
ル速度を早めるために注視時間が一定となった）にもかかわらず、CD 比を変化させた画像の記憶への定着率が有意に高まるという結果が得られました。こ
の成果は、触質感の設計・提示に留まらず、触質感の設計を通じて学習や印象形成の効果を設計できることを示唆するものであり、新たなアプリケーショ
ン分野の開拓に繋がるものであると考えられます。

操作量（Control）と背景移動量（Display）の比である C/D 比を場所に応じて変更することでタッチパネル操作に対して触力覚を付与することができる○研究の背景と目的
タッチパネルにおいて触力覚提示が可能になれば、細かい入力の操作性を高められるだけでなく、触感やそこから立ち上がる質感をも含めた情報伝達が可能な新しいメディアが創出可能になります。
そこで本研究では、指の運動にあわせてポインタではなく背景を運動させるという新しいアプローチから、視触覚間相互作用である Pseudo-haptics を生起させることが可能な新規手法を確立し、タッチパネ
ルでも Pseudo-haptics によって多様な触質感を提示可能にすることを目的に研究を進めています。
○これまでに得られた成果
従来研究では、マウスとカーソルを利用するデスクトップ環境やバーチャルリアリティ環境を利用し、ポインタと手の動きのずれを意識させないことがPseudo-haptics 生起に必要だと明かされています。
そのため、既存手法をタッチパネルに適用すると、ユーザは指とポインタの双方を直視してずれを意識するため、Pseudo-haptics は生起しません。
これに対し、この研究では、指で小さなポインタを操作するのではなく、背景等画面全体をスクロール
させる場合には、タッチパネルにおいても Pseudohaptics を生起できることを発見しました。スワイプ
操作量（Control）と背景移動量（Display）の比である C/D 比を 1 より小さくすることで抵抗感を強く知覚させることができること、1 より大きくした場
合には、若干自然さが損なわれるものの、摩擦が弱い、滑るような感覚が知覚されることを確認しました。また、従来の擬似触力覚提示手法では触力覚を提示するためには C/D 比を動的に変化させる必要が○関連する研究発表
論文
1. 宇治土公雄介，鳴海拓志，伴祐樹，谷川智洋，広田光一，廣瀬通孝：背景移動量操作を利用した視触
覚間相互作用生起によるタッチパネルでの擬似触力
覚提示，日本バーチャルリアリティ学会論文誌 22(3): 305-313, 2017．
学会発表など1. Narumi T, Ujitoko Y, Ban Y, Tanikawa T, Hirota
K, Hirose M: Resistive Swipe: Visuo-Haptic
Interaction during Swipe Gestures to Scroll
Background Images on Touch Interfaces, World
Haptics 2017, 334-339, 2017.

54

公募研究

D02-5

引箔を施した西陣織を題材とした見かけの BRDF 操作による革新的な質感編集の研究
研究代表者

天野 敏之（和歌山大学大学院システム工学研究科・教授）を施した西陣織を題材として、光投影による質感編集の技術について研究しています。
○これまでに得られた成果ある視点での外観だけでなく、視点や照明が変化したときに生じるスペキュラの動きや色彩の変化は質感認識を認識する大きな手がかりとなります。本
研究では、複数のプロジェクタからの映像投影でこの手がかりを置き換える「質感編集」を実現します。
視線方向や照明の向きによる物体表面上の反射特性は、双方向反射率分布関数（BRDF）で表すことができます。この研究では、図 1 のように様々な方
向から光線を投影することで、通常の照明環境とは異なる反射光の分布に変化させ、鑑賞者が知覚する
BRDF を変化させることで質感編集を実現します。
現在は、このような質感編集を実現する簡便な方法として、独立した閉ループ処理を同時に行うこと
で、視点ごとに光沢や色彩に変化させる技術を確立しました。それぞれの視点ごとにことなる色彩に変化させるためには、物体表面に指向性のある反射特性が必要です。本研究では、そのような反射特性を持つ操作対象として引箔が施された帯地を用い、操作対象の BRDF を考慮して構成した 4 対のプロジェ
クタカメラ系で同時に制御を行うことで、図 2 に示
す視線毎で異なる鮮やかさに変化させる色彩の操作を実現しました（1 段目、２段目）。
このような操作を行うためには、必ずしも引箔のような複雑な BRDF は必要ありません。新聞紙のようなマットな素材であっても、インクなどに光沢があれば、インクの鏡面反射成分を利用することで視線毎に異なる色彩へ変化させることができます（３段目）。また、それぞれの視点ごとに異なるパラメー
タによる色彩操作を適用すれば、構造色の質感提示（4 段目）など、この技術を応用することでさまざ
まな質感編集が実現できます。

図１．４対のプロジェクタカメラで構成される質感編集装置。鏡面反射を仮定して対面のプロジェクタとカメラを組合せ、視線毎独立に制御を行います。

図２．左側はモノクロ化、右側は彩度強調を目標として制御を行うことで、観察方向ごとに鮮やかさを変化させることができます。1、2 段目の引箔のような複雑な反射特性を持つものだけでなく、インクの光沢を利用すれば、3 段目のように新聞紙にも適用できます。また、視方向ごとに色相を変化させれば、4段目のように構造色の質感提示もできます。
○研究の背景と目的
映像を投影することで光沢や色彩を変化させ、物体の質感を自在に変化させる技術が実現できれば、劣化した美術品の美観回復や店頭での商品展示、プ
ロダクトデザインの補助が実現できるだけでなく、伝統工芸品の演出も実現でき、この技術は様々な分
野で革新的なディスプレイ技術として利用できます。
そこで本研究では、図 1 に示す装置のように、複数の方向から映像を重畳投影することで、物体の質感を別の物体の質感へと変化させる質感編集を実現することを目指しています。特に本研究では、引箔55○関連する研究発表
1. T. Amano, S. Ushida, Y. Miyabayashi:
Viewpoint-Dependent Appearance-Manipulation
with Multiple Projector-Camera Systems,
ICAT-EGVE, Adelaide, Australia, 11.23, 2017.
2. 天野敏之: 光学フィードバックを用いた質感操作とインスタレーションアート, 第 3 回質感のつどい
公開フォーラム, 招待講演, 大阪, 11.22, 2017.
3. T. Amano: Adaptive Appearance Manipulation
for the Installation Art, JSAP-OSA Joint
Symposia, 招待講演, Fukuoka, 9.6, 2017.

公募研究

D02-6

多波長・多方向光源による蛍光物体の質感編集
研究代表者

岡部 孝弘（九州工業大学 大学院情報工学研究院・教授）
び、反射成分を拡散反射成分と鏡面反射成分（つや）に分離する技術も開発しています。これらの成分を任意の重みで組み合わせることにより、任意照明環境における写実的画像の生成だ
けでなく、蛍光成分や鏡面反射成分を強調したり除去したりするような加工も可能になります。
また、プロジェクタ-カメラシステムを用いて、光源色ごとに直接成分と大域成分を分離する技術の開発に取り組んでいます。多原色 DLP プロジェクタを用いたシステムでは、静的なシーンを対象としたマ
ルチスペクトルな成分分離を実現しています。一方、
高速度カメラを用いたシステムでは、動的シーンを対象とした成分分離を実現しています。後者の技術により、例えば、蛍光物質を含む半透明な動物体の質感編集が可能になります。
さらに、リアプロジェクションディスプレイと透過型液晶からなる 5 自由度光源システムを用いて、実写画像に基づく照明シミュレーション技術の開発に取り組んでいます。光線の位置・方向・色を変化させながら撮影した大量の実写画像を任意の重みで組み合わせることにより、所望の 5 自由度光線空間が与えられたときの蛍光物体の照明シミュレーショ
ンが可能になります。

多波長・多方向光源下の実写画像に基づくモデリン
グ・レンダリング技術により蛍光物体の質感を編集○研究の背景と目的
蛍光物質は、植物や染料などの身近な物体に含まれ、短波長の光を吸収して長波長の光を放出することから、独特の質感を生じます。本研究では、蛍光
物体の質感編集（写実的な画像の生成・加工）技術の開発を目指しています。具体的には、蛍光物体の見えが入射光と反射光の方向だけでなく波長にも依存することから、様々な波長で様々な方向から被写体を照らして撮影した実写画像に基づいた、幾何学
的・分光学的モデルの獲得や反射成分と蛍光成分の分離、および、任意照明環境における画像生成などの研究に取り組んでいます。

○関連する研究発表
1. Kobayashi N, Okabe T: Separating reflection
components in images under multispectral andmultidirectional light sources, 23rd IAPR
International Conference on Pattern Recognition(ICPR2016), pp.3199-3204, Mexico, 12.4-8, 2016.
2. Maeda K, Okabe T: Acquiring multispectral
light transport using multi-primary DLP projector,
6th International Conference on Image Processing
Theory, Tools and Applications (IPTA2016),
No.127, Finland, 12.12-15, 2016.
3 鳥居, 岡部: 動的シーンにおける光源色ごとの直接・大域成分の分離, 第 20 回画像の認識・理解シン
ポジウム (MIRU2017), OS1-2, 広島, 8.7-10, 2017.
（MIRU 学生奨励賞）
4 北原, 岡部: 蛍光物体のモデリングとその任意照
明下画像の生成・編集への応用, 第 16 回情報科学技
術フォーラム (FIT2017), H-016, 東京, 9.12-14,
2017.（FIT 奨励賞）
5 Oya S, Okabe T: Image-based relighting with
5-D incident light fields, 6th Color andPhotometry in Computer Vision Workshop(CPCV2017) in conjunction with ICCV2017, Italy,
10.29, 2017.

○これまでに得られた成果
様々な色（分光強度）の LED からなる光源クラ
スタをドーム状に配置した多波長・多方向光源装置
を用いて撮影された実写画像に基づいて、蛍光物体の形状（法線）、分光反射率、蛍光吸収スペクトル、
および、蛍光発光色相を推定する技術を開発しています。この技術により、空間分布も分光分布も任意の照明環境における蛍光物体の写実的画像の生成が可能になります。
多波長・多方向光源装置を用いて撮影された実写画像を、反射成分と蛍光成分に分離する技術、およ56