IS1-B3

多視点画像統合による 3 次元物体と感性的印象のマッピング○田口皓一†，橋本学†，飛谷謙介‡，長田典子‡†: 中京大学大学院工学研究科機械システム工学専攻，{taguchi, mana}@isl.sist.chukyo-u.ac.jp‡: 関西学院大学理工学部／感性価値創造研究センター，{tobitani, nagata}@kwansei.ac.jp
概要： 本研究では，人が物体形状から感じる印象（感性的印象）を推定する手法を提案する．
3D プリンタを用いた家庭におけるものづくりを促進するために，直感的な 3D モデル設計システムが求められる．このシステムを実現するためには，感性的印象（心理的要因）と物体形状（物理的要因）を対応づける必要がある．本研究では，3D モデルを複数の視点から撮影した画像によるDeep Neural Network（DNN）を用いて，各感性的印象を推定する．実験の結果，提案した多視点画像による Deep Learning の手法の感性的印象の相関係数が「硬い－柔らかい」：約 0.70，「派手－地味」：約 0.61，「安定－不安定」：約 0.67 であり，3 次元物体と「硬い－柔らかい」は強い相関がある，「地味－派手」および「安定－不安定」は相関があることを確認した．

1.

はじめに近年，3D プリンタ等の手軽な製造装置の価格が低下し始めている．それに伴い，3D プリンタを工場のみならず，家庭でも利用が容易になった．加えて，3次元モデルのデータベースが整備され始め，誰もがインターネットを通じて，3 次元モデルを取得可能になった．そのため，大量生産のような従来のモノづくりではなく，上述した装置を利用した個人による新たなモノづくり（以下，パーソナルファブリケーションと記載）が注目を集めている．
ここで，3D プリンタを用いて，各家庭でモノを製造するためには，3 次元モデルが必要である．しかし，一般ユーザは CAD などの 3 次元モデルを制作するための技術（以下，モデリング技術と記載）を保有していないため，好みの形状を作り上げることが困難である．そのため，直感的な 3 次元モデルの検索・設計システムが求められている[1]．
このシステムを実現するための課題として，人が 3次元物体から感じる印象（以下，感性的印象と記載）という心理的要因と物体形状という物理的要因を対応づける必要がある．
両者の対応付けに関する従来法では，ある感性的印象に特化した特徴量を人手で設計し，感性的印象を推定していた．しかしながら，対象とする製品領域および感性的印象ごとに設計する必要があった．

そのため，本研究の目的は，複数の製品領域に対して，感性的印象推定が可能な汎用的な枠組みを作成することである．
この目的の達成のために，Deep Neural Network（以下，DNN と記載）に着目する．
本研究では，3 次元モデルに対して，仮想的な複数の視点から撮影した画像を用いた DNN による感性的印象を推定するための手法を提案する．
本研究で想定する感性的印象による形状修正シ
ステムは，入力として，既存または作成した 3 次元モデルを想定する．はじめに，この 3 次元モデルに対して，感性的を推定する．そして，推定した感性的印象に基づき，3 次元モデルの形状を修正する．これらの処理を繰り返すことによって，ユーザが好む 3 次元モデルを生成することが可能である．

2.

関連研究

2.1. 人手の特徴量設計による感性的印象推定
従来研究として，田口ら[2]は 3 次元モデルを点群として扱い，その局所的な丸みに着目した特徴量を提案し，重回帰分析に適用することによって，感性的印象を推定した．この特徴量は，特定の感性的印象にのみ最適化されている．しかしながら，人が 3 次元物体から受ける感性的印象は複数存在する．そのため，各感性的印象に適切な特徴量および識別器のViEW2018 ビジョン技術の実利用ワークショップ(2018.12.6-7 横浜)― 110 ―

設計は，視覚的分析のために必要な時間と試行回数が，対象物の数に比例して増加するため， 人的労力も増加する．そのため，各感性的印象に最適化した特徴量および識別器を設計することが困難である．

(a)

(b)
C

3 次元モデルAB

2.2. 3 次元物体に対する Deep Neural Network
近年，コンピュータビジョンの分野で，DNN が注目されており，物体認識のみならず，画像の生成および素材推定などのさまざまな分野に応用されている[3-5]．
3 次元モデルを処理するための DNN の枠組みは，大きく分けて 2 つに分類される．1 つは，ボクセルグリッドを用いる手法（以下，ボクセ DNN と記載）であり，もう 1 つは，3 次元モデルを複数の視点から撮影した画像（以下，多視点画像と記載）を用いる方法（以下，多視点 DNN と記載）である．図 1 に 3 次元モデルを処理するための 2 種類の DNN を示す．Wu ら[5]は，3 次元モデルの形状をボクセルグリッド上の 2 値変数の確率分布として表現する手法を提案した．一方，Su ら[6]は， 仮想的な複数の視点における 3 次元モデルの見えを 2 次元画像として表現する手法を提案した．ここで， 人は，3 次元的な形状を把握するときに，ある特定の視点からの見えを統合し，3 次元的な形状を認識している．そのため本手法では，人の認識プロセスに則り，感性的印象を推定するために，多視点 DNN を利用する．

3.

レンダリング（画像化）

画像 A

画像 B

画像 C

図 1 3 次元モデルを処理するための 2 種類の DNN(a) ボクセルグリッドとして扱う手法(b) 多視点のレンダリング画像として扱う手法
なお，形状に対する感性的印象を評価するために，照明，材質，背景などの実験条件は統一されている．
また，評価値の範囲は，－3.0～3.0 の 7 段階である．
その結果，Osgood[9]の 3 因子に相当する「均等性」，「活動性」，「力量性」が，主要な評価基準になっていることを明らかにした．そのため，この 3 因子を推定することによって，感性的印象の構造と物体の形状を対応付けることができる．本手法では，この 3因子の中から，主要な評価尺度である「硬い－柔らかい」，「派手－地味」，「安定－不安定」に着目する．

物体形状に対する感性的印象の構造

本研究では，3D プリンタによる家庭でのモノづくり
において，感性的印象に影響する要因として，色，素材，形状が挙げられる．ここで，色および素材は，3Dプリンタで使用するフィラメントに依存する．そのため，モデリング技術支援のために，感性的要因を決定する最も支配的な要因が，形状であると仮定した．
そのため，まず，感性的印象と 3 次元モデルの形状の関係を明確にしなければならない．
片平および飛谷ら[7,8]は，対象となる製品領域を特定しない抽象的な物体の形状を用いて，感性的印象の構造化をおこなっている．この構造化をおこなうために，SD（semantic differential）法[9]を用いて，3次元モデルに対する定量的な感性的印象を定めた．
SD 法には，18 項目の形容詞対を設定した．表 1 に使用した形容詞対を示す．

4.

感性的印象の推定

図 2 に感性的印象推定の流れを示す．本手法では，Deep Learning による多視点画像の畳み込みネッ
トワークを用いて，物体の形状に対する感性的印象― 111 ―表1

SD 法に使用した 18 項目の形容詞対

形容詞対
規則的な－不規則的な
陽気な－陰気な健康的な－不健康な繊細な－露骨な安定した－不安定な
柔らかい－硬い
まとまったーばらばらな
緩んだ－緊張した
はげしい－おだやかな
弱い－強い
派手な－地味な
はっきりした－ぼんやりした
活発な－不活発な
なめらかな－粗い
賑やかな－静かな
鈍い－鋭い動的な－静的な重い－軽い柔らかさ
派手さ

深層学習

安定さ

多方向画像群

3D 形状を多方向からの画像群に分解

深層学習により「人と同様の印象」を再現

図 2 感性的印象推定の流れ

仮想的な視点(正12角形の頂点)

各視点における多視点画像

3~3 までの離散的な 7 段階の数値付けをおこなう．ここで，SD 法の評価尺度は，3 章と同様の項目を使用している．
次に，ネットワークの入力データとして，対象とする3 次元モデルを複数の画像に変換した多視点画像を利用する．3 次元モデルを多視点画像に変換することによって，人が見ている 3 次元物体の見えを表現することが可能になる．図 3 に 3 次元モデルを仮想的な視点からレンダリングした多視点画像の例を示す．
本手法では，3 次元モデルの周りに，正 12 角形を配置する．その各頂点から 3 次元モデルの重心に向かって，レンダリングすることによって，20 個の多視点画像を生成する．なお，3 次元モデルが存在していな
い領域は，背景と定義し，一定の数値で補間している．この画像群を DNN の入力データとして，推定結果と教師信号の誤差を最小化するように学習することによって，感性的印象の推定を実現する．次に使用したネットワークの構成を図 4 に示す．
本手法では，5 つの畳み込み層と 3 つのプーリング層で構成される前段の層と各視点の画像情報を統合するための view-pooling 層および 3 つの全結合層で構成される後段の層で構成されている．
活性化関数は，式(1)で示す softmax 関数を使用することによって，各評価値クラスに対する尤度𝑦𝑘 を推定する．

図 3 仮想的な視点から撮影した多視点画像
𝑦𝑘 =評価値
CNN1

評価値クラス-3-2-1

CNN1・・・・・・

View
pooling

CNN2

CNN1

入力画像

01exp(𝑎𝑘 )∑𝑛𝑖 exp(𝑎𝑖 )，𝑖 = 0．．．𝑛(1)

ここで，各 3 次元モデルには，複数の被験者が評価した感性的印象の評価値が付与されている．学習には，これらすべて値を使用する．これにより，各 3 次元モデルに対する評価値の揺らぎ，つまり，各評価者の評価値のばらつきを学習する．

25.

3

尤度

図 4 ネットワークの構造を推定する．はじめに，各物体に対する感性的印象の値を SD 法[9]による主観評価実験によって推定し，教師信号として定める．この主観評価実験では，-実験結果

5.1. 感性的印象の値を付与したデータセット
実験には，ModelNet10[9]の car カテゴリ内に存在する 3 次元物体に対して，SD 法[9]によって，主観評価実験を施したオリジナルデータセットを利用した．
図 5 に使用したデータセットの例を示す．
この実験では，クラウドソーシングで不特定多数の人が評価しており，評価者 1 人あたり 10 個の 3 次元モデルを評価している．合計として，1 つの 3 次元物― 112 ―CarData_115151512121299966633300-3-2-10

123-10123151512121299966633-2-10

123-2-10

12315

1512121299966633

300-2-10

123-2-10

123-3-2-10

123-3-2-10

1230-315-3-330-3CarData_3-2150CarData_20-30-3-2柔らかい－硬い-10

123派手－地味

安定－不安定図 5 感性的印象値を付与したデータセットの例
2推定結果

推定結果

1.5推定結果

1.5

11.5

10.5

10.50-1.5-1-0.5

教師信号

0.5

0-0.5

0.5

教師信号

-1

教師信号

10-1-0.5

0-0.5

00.5-0.5
00.5

1-1.5

1.5-0.5-2

柔らかい－硬い-1

派手－地味

安定－不安定図 6 各感性的印象に対する推定結果と教師信号の相関図

体につき，20~40 人の評価値が付与されている．なお，実験に使用した評価尺度は，片平および飛谷ら[7,8]の評価尺度と同様である．
なお，評価者の中で，1 個以上の 3 次元モデルに対して，すべての評価尺度を 0（どちらともいえない）で回答した被験者は，不真面目な回答者と定義し，除外している．また，この不真面目な回答者の回答時間の分布を確認し，回答にかかった最大の時間以下で，回答を終了した評価者も排除している．
5.2. 推定結果と教師信号の相関
表 2 および図 6 に推定結果と教師信号の相関係数および相関図を示す．

表 2 推定結果と教師信号の相関係数
相関係数
Car カテゴリ

硬い－柔らかい地味－派手

安定－不安定約 0.70約 0.61

約 0.67推定結果は，提案手法によって算出した各評価値クラスに対する尤度に評価値を掛け合わせた値である．また，教師信号は，20~40 個の評価値の平均値である． 提案手法によって推定された感性的印象と教師信号の相関係数が，「硬い－柔らかい」：約 0.70，「派手－地味」：約 0.61，「安定－不安定」：約 0.67.であることを確認した．その結果を評価することによって，3 次元物体と「硬い－柔らかい」は強い相関がある，― 113 ―「地味－派手」および「安定－不安定」は相関があることを確認した．

6.

おわりに人が物体の形状から感じる印象（「硬い－柔らかい」，「派手－地味」，「安定－不安定」）を推定する手法を提案した．実験の結果，提案した多視点画像による Deep Learning の手法の感性的印象の相関係
数が「硬い－柔らかい」：約 0.70，「派手－地味」：約0.61，「安定－不安定」：約 0.67 であり，3 次元物体と「柔らかい－硬い」は強い相関，「地味－派手」および「安定－不安定」は相関があることを確認した．

7.

謝辞

JST 研究成果展開事業 COI プログラム「感性とデジタル製造を直結し，生活者の創造性を拡張するフ
ァブ地球社会創造拠点」の支援によっておこなわれた．
参考文献[1] Rajapakse, H. Javasinghe, Y.Tokuyama, K.Miyata,A.Marasinghe： “The Effect Variable Base on Perceiving
Gender Kansei of 3D-shape”, International Conference on
Biometrics and Kansei Engineerring（ICBAKE）, pp. 136141, 2009.
[2] K. Taguchi, K. Sasaki, M. Hashimoto, K. Tobitani, N.
Nagata ： “A proposal of 3D local feature for estimating
human’s impression factor to object”, International
Workshop on Advanced Image Technology（IWAIT）, 2017.
[3] Y. Zhang, M. Ozay, X. Liu, T. Okatani, ：“Integrating Deep
FeaturesforMaterialRecognition”,
international
Conference on Pattern Recognition (ICPR), 2016.
[4] Ian J. Goodfellow, J. Poiget-Abadie, M. Mirza, B. Xu, D.
Warde-Farley,： “Generative Adversarial Nets”,
International Conference on Neural InformationProcessing
System（NIPS）, Vol. 2, pp. 2672-2680, 2914.
[5] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Angueloy,
D. Erhan,V. Vanhoucke, A. Rabinovich ： “Going Deeperwith Convolutions”, IEEE Conference on Computer Vision
and Pattern Recognition（CVPR）,pp. 1-9, 2015.
[6] Z. Wu, S. S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang, J.
Xiao ： “A Deep Representation for Volumetric Shapes”,
IEEE Conference on Computer Vision and PatternRecognition（CVPR）, pp.1912-1920, 2016.
[7] 片平建史・武藤和仁・李奈栄・飛谷謙介・白岩史・中島加惠・長田典子・岸野文郎・山本倫也・河崎圭吾・荷方邦夫・浅野隆：3 次元造形物体の感性評価における主要因

子, 日本感性工学会論文誌, Vol.15, No.4, pp.563-570,
2016．
[8] K. Tobitani, S. Akizuki, K. Katahira, M. Hashimoto, and N.
Nagata, “ A Comparison Study on 3D Features in Terms ofEffective Representation for Impression of Shape,”The 2ndInternational Conference on Digital Fabrication (ICDF),
No. 22, 2016.
[9] Osgood, C., Suci, G. & Tannenbaum, P. (1957). The
measurement of meaning, University of Illinois Press.
Palán, Z. & Langer, T. (2008) Základy andragogiky. Praha,UJAK.
[10] Wu, Z., Song, S., Khosla, A., Yu, F., Zhang, L., Tang, X.,
Xiao, J. ： 3d shapenets: A deep representation forvolumetric shapes. In, CVPR 2015, ,2015. (2015) 1912–1920.

田口皓一：2017 年 4 月中京大学大学院工学研究科機械システム工学専攻入学．3 次元物体認識，感性情報処理に興味を持つ．精密工学会，情報処理学会，IEEE 会員．2017 年
度 IEEE Nagoya Section student Paper Award 受賞．
橋本学：1987 年大阪大学大学院修了．同年三菱電機（株）
入社．生産技術研究所，先端技術総合研究所に勤務．2008年より中京大学教授．2017 年より工学部長．3 次元物体認識，ロボットビジョン，ヒューマンセンシングの研究などに従事．
2012/2017 年度画像センシングシンポジウム優秀学術賞，2015 年精密工学会小田原賞など受賞．
飛谷謙介：2002 年早稲田大学理工学部応用物理学科卒
業．2004 年岐阜県立情報科学芸術大学院大学(IAMAS) 修士課程修了．JST 地域結集型共同研究事業特別研究員を経て，2010 年岐阜大学大学院工学研究科博士後期課程修了．
同年岐阜大学産官学融合本部研究員．2014 年より関西学院大学理工学部／感性価値創造研究センター特任講師．博士(工学)．主に感性工学，コンピュータビジョンに関する研究に従事．電気学会，精密工学会，日本顔学会，ACM など各会員．
長田典子：1983 年京都大学理学部数学系卒業。同年三菱電機（株）入社。1996 年大阪大学大学院基礎工学研究科博士後期課程修了。2003 年より関西学院大学理工学部情報科学科助教授、2007 年教授。2009 年米国パデュー大学客員研究員。2013 年感性価値創造研究センター長。2015 年革新的イノベーション創出プログラム「感性とデジタル製造を直結し、生活者の創造性を拡張するファブ地球社会創造拠点」サテラ
イトリーダー。専門は感性工学、メディア工学等。

― 114 ―