一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATIONAND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会

信学技報
IEICE Technical Report
MVE2019-11(2019-08)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

多視点画像群を用いた DNN による
視線方向の影響を考慮した 3 次元形状の印象推定
阪下啓祐†

飛谷謙介†

田口晧一††

片平建史†

橋本学††

谷伊織†

橋本翔†

長田 典子†† 関西学院大学 大学院理工学研究科 〒669-1337 兵庫県三田市学園 2-1†† 中京大学 工学部 機械システム工学科 橋本研究室 〒466-8666 愛知県名古屋市昭和区八事本町 101-2
E-mail: †{sakashita.keisuke,dfy99243,iori.tani,sho.hashimoto,k.katahira,nagata}@kwansei.ac.jp,††kouichitaguchi1014@gmail.com, †††mana@isl.sist.chukyo-u.ac.jp
あらまし人が 3 次元形状から感じる印象を推定するため，先行研究において多視点画像群を用いた Deep NeuralNetwork（DNN）による手法を提案した．本研究では，先行研究の高精度化を目的として，各視点の重要度に着目し，3 つの形状カテゴリを用いて形状の特徴と視点の重要度の関係について検討を行った．その結果，各カテゴリが持つ形状の自由度に応じて，視点毎の重要度の偏りが異なることがわかった．また先行研究の妥当性を支持する 2 つの結果を得た．これらの結果をネットワーク構造に反映することで，高精度化が図れると期待される．
キーワード

多視点画像群，DNN，3 次元形状，印象推定，感性，SD 法

Impression estimation of 3D shape considering the inﬂuence of gaze direction
DNN using multi-viewpoint image group
Keisuke SAKASHITA† , Kensuke TOBITANI† , Koichi TAGUCHI†† , Iori TANI† ,Sho HASHIMOTO† , Kenji KATAHIRA† , Manabu HASIMOTO†† , and Noriko NAGATA†† School of Science and Technology, Kwansei Gakuin University, Gakuen 2-1, Sanda, Hyogo, 669-1337 Japan†† 101-2 Yagoto Honmachi, Showa-ku, Nagoya-shi, AICHI, 466-8666 Japan
E-mail: †{sakashita.keisuke,dfy99243,iori.tani,sho.hashimoto,k.katahira,nagata}@kwansei.ac.jp,††kouichitaguchi1014@gmail.com, †††mana@isl.sist.chukyo-u.ac.jp

研究に関し，推定精度に影響を与える各視点の重要度を明らか

1. は じ め ににし，その結果を基にネットワークを改良することで，さらな近年，個人によるものづくり（パーソナルファブリケーション）が注目を浴びている．しかし，大多数のユーザは所望のデザインを実現するための専門的な知識・技術を有しておらず，る推定精度向上が期待される．また視点毎の重要度を明らかにすることは，先行研究 [1] の妥当性を示すためにも有用であると考えられる．

このことがものづくりを始める障壁となる．一方で，多くのユーザにとって，感性的な印象（派手な，なめらかな等）を用いてデザインを表現することは比較的容易であると考えられる．

以上を踏まえ本研究では，各視点の重要度を明らかにし，それらの結果を基に，推定精度向上が期待されるネットワーク構造を示す．

従って，感性的印象に基づいた 3 次元形状の提案や検索は，個人のものづくり支援に有効であると考えられ，そのためには 3

2. 推定精度の向上

次元形状とその印象との関係性を明らかにする必要がある．

2. 1 データセット

これまでに田口らは，3 次元形状に対して仮想的な複数の視3 次元形状には，物体認識タスクで広く利用されている公開点から撮影した多視点画像群を用いた Deep Neural Network

データベース ModelNet40 から，サンプル数を多く含む Chair，（DNN）から，形状とその印象をマッピングした [1]．この先行Vase，Car の 3 カテゴリを採用した．

- 35 -—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2019 by IEICEはじめに各サンプルに対する印象を定量化するため印象評価実験を行った．この際，評価語の選定には SD 法の先行研究 [2]から 3 次元形状を表現するのに適切な 18 個の形容詞対を選択した．18 語の形容詞対に関して各サンプルがどの程度当てはまるかを，-3〜3 の 7 段階で評価してもらった．20〜40 人によって評価された結果を，各サンプルの印象値として付与した．これらの印象値データを DNN の教師データとして扱う．

2. 2 ネットワークの構造
本研究で用いたネットワークの構造を図 1 に示す．ネットワークへの入力は各サンプルの多視点画像群であり，出力は印象値クラスに対する尤度である．出力された確率尤度と教師データの誤差を最小化するように学習することで，3 次元形状

図 2 View-Pooling 層で各視点が選択される回数の印象推定を可能にする．図 1 中の CNN は，全て重みを共有多様性があるため，多くの視点からの情報をもとに印象推定している．

を行っていることに起因していると考えられる．また，人は車のフロントマスクから様々な印象を受けることが知られている [3]．Car カテゴリにおいて重要度の高い視点に，車のフロントやテール部分を多く含んでいるという結果は，認知心理学的観点から先行研究 [1] の妥当性を示している．
さらに，Vase カテゴリでは，その高い対称性から視点間で類似した内容を含んだ画像が存在する．これらの類似した画像同士は複数ペア存在し，その重要度を比較するとほぼ同一であった．これは DNN が同じ内容を含む画像を認識していることを図 1 DNN の構造示唆しており，先行研究 [1] の妥当性を支持する結果と言える．
加えて，重要度が極端に低い視点は存在しなかったことから，

2. 3 重要度の算出
図 1 中の View-Pooling 層に入力される特徴量は，１視点のCNN から出力される特徴量（L 次元）の視点数（N 個）倍となる．これらの特徴量を圧縮するため，View-Pooling 層では視点毎に L 次元存在する特徴量を１次元ずつ視点間で比較し，最大値を持つ視点の特徴量を選択する．これにより View-Pooling

先行研究 [1] の View-Pooling 層のような最大値の次元（視点）のみの情報を抽出するのではなく，全視点の情報を用いることが効果的だと考えられる．そのため，ネットワークに各視点の重要度を学習できるような新しい層を付加し，全ての視点の情報を考慮することで推定精度の向上が期待できる．

層から出力される特徴量は L 次元に圧縮され，全結合層へと入5. ま と め力される．従って View-Pooling 層は，印象推定することに適

本研究では，3 次元形状から喚起される印象の推定を行うした視点を選択する役割を担っている．

DNN において，多視点画像群における各視点の重要度を定義

そこで本研究では，各視点の特徴量が選択される回数を算出

し，3 つの形状カテゴリを用いて検討を行った．その結果，自し，その回数を印象推定に関わる視点の重要度として定義する．

由度が低い形状カテゴリでは，視点毎に重要度が大きく偏るな

ここで，L は 9216，N は 20，教師データは 3 次元形状を評価

ど，形状カテゴリの自由度に応じて，視点毎の重要度の偏りがする際の主要因子である「固い‐柔らかい」の印象値，また対異なることがわかった．また DNN が類似した画像を認識した象カテゴリを Chair，Vase，Car として，各カテゴリ別の学習と示唆された．これらの結果は先行研究の妥当性を支持するも済みモデルを使用した．のである．さらに本研究で得られた知見から，推定精度向上に3. 結寄与するネットワーク構造を着想することができた．

果

2.3 節で述べた方法を用い，カテゴリ毎の全サンプルに対し重要度を算出した．結果を図 2 に示す．この際各カテゴリのサンプル数に差があるため，重要度をサンプル数で正規化した．

4. 考察

図 2 より，視点によって重要度に差があることが分かる．特に Vase，Car カテゴリにおいては視点毎で大きな偏りが生じた．一方で，Chair カテゴリではそのような偏りを確認できなかった．実際に視点間の分散を各カテゴリで算出したところ，

文

献[1] 田口 晧一，橋本 学，飛谷 謙介，長田 典子，“多視点画像統合による 3 次元物体と感性的印象のマッピング，，ビジョン技術の実利用ワークショップ 講演論文集，pp.110-114, 2018[2] 片平 建史，武藤 和仁，橋本 翔，飛谷 謙介，長田 典子，“SD法を用いた感性の測定における評価の階層性 EPA 構造の評価性因子の多義性に着目して，，日本感性工学会，vol17, no.4,pp.453-463, 2018
[3] 黄 峻, 川澄 未来子, “タイ人向け自動車フロントグリルデザイ
ン提案のための感性の分析, , 日本感性工学会論文誌, vol.18,no.1, pp.127-137, Feb.2019

Vase で 0.10，Car で 0.17，Chair で 0.03 となった．本結果は，Chair は他のカテゴリよりも形状の自由度が高く，サンプルに- 36 -—2—