電子情報通信学会論文誌 2020/11 Vol. J103–D No. 11

支援を最終的な目標とし，その最初の試みとして，3多視点画像群を用いた DNN による 3 次元物体の印象

次元物体の印象推定手法を提案する．その際，質感や推定色といった要素は考慮せず，形状に対する印象のみを飛谷橋本謙介† a)

皓一††対象とする．推定には，3 次元物体を多視点からレン阪下 啓祐†

ダリングした画像群を入力データとする Deep Neural田口学††（正員）

谷伊織†

橋本翔†

Network（以下 DNN）を使用する．更に，定量化した片平建史†長田 典子†（正員）

印象が付与された 3 次元モデルデータセットを用い，Impression Estimation of 3D Object by DNN Using Multi-View Images

提案手法の精度検証のための実験を行うことで本研究

Kensuke TOBITANI† a) , Koichi TAGUCHI†† , Nonmembers,の有効性を明らかにする．

Manabu HASHIMOTO†† , Member, Keisuke SAKASHITA† , Iori TANI† ,Sho HASHIMOTO† , Kenji KATAHIRA† , Nonmembers,

2. 先 行 研 究and Noriko NAGATA† , Member

対象物に対する印象を活用した研究事例として，印† 関西学院大学理工学部/感性価値創造インスティテュート，三田市

象を表現する語（以下評価語）をクエリとした検索技

School of Science and Technology, Research Institute for Kansei Value Creation,
Kwansei Gakuin University, 2–1 Gakuen, Sanda-shi, 669–1337 Japan†† 中京大学大学院工学研究科，名古屋市

術が挙げられる [1]〜[4]．これらの技術はいずれも対象の物理的な特徴量と喚起される印象との関係性を用Graduate School of Engineering, Chukyo University, 101–2 Yagoto Honmachi,Showa–ku, Nagoya-shi, 466–8666 Japan

いて実現している．このような印象推定に関する研究は主に 2 次元画像を対象にしてきたが，3 次元物体にa) E-mail: tobitani@kwansei.ac.jp
DOI:10.14923/transinfj.2020JDL8003

応用した事例も報告されつつある [5], [6]．しかしながら，これらの研究では幾何学的で単純な 3 次元形状を本研究では，3 次元物体の直感的なデザ用いており，多様な特徴をもつ一般的な 3 次元形状のイン支援を最終的な目標とし，その最初の試みとして，印象評価については未だ体系的な結果が報告されてい3 次元物体の印象推定手法を提案する．推定には多視ない．そのため，本研究の目的であるデザイン支援を点画像群を入力とする DNN を使用した．検証実験に想定した場合，その応用は限定的になると予想される．

あらまし

おいて推定値が実際の印象と正の相関関係を示し，本キーワード

一方で，3 次元物体から印象を推定するということは，目的変数を印象値，説明変数を 3 次元物体の物理研究の有効性を確認した．

3 次元物体，印象推定，DNN，多視点的な特徴量とした分類・回帰による認識問題と言い換えることができる．3 次元物体認識に関する研究は，当

画像

1. ま え が き

初，当該研究の重要な構成要素である 3 次元特徴量の近年，3D プリンタ技術の急速な発展，及び低価格化設計に関する研究が盛んに行われていたが [7]，近年はによる普及により，3 次元物体を出力するための環境

DNN を利用することで，End-to-End で学習し，認識が整いつつある．このような環境変化は，幅広いユーを行う手法が主流となっている．この DNN を基にしザに対して個人的なものづくり活動の機会を提供する

た認識手法は，主に RGBD ベース [8], [9]，Point Cloud可能性を有する．しかしながら，3 次元物体のデザイ

ベース [10], [11]，Voxel ベース [12], [13]，Multi-view

ンには専門的な知識や経験，技術が必要であり，デザベース [14], [15] に大別でき，現状，大規模 3 次元物体インに対する潜在的なニーズをもっていても，それを認識において Multi-view ベースの手法が他手法と比較

物体形状に反映させることは一般のユーザには難しいして高精度だと言われている [16]．と予想される．そのため，幅広いユーザに対して個人

これまでに我々は多様な抽象的形状を用いた印象評的なものづくり活動の機会を提供するためには，ユー価実験を行い，様々な 3 次元形状に共通し得る印象評

ザが容易に 3 次元物体のものづくりに取り組めるよう価の構造を明らかにした [17], [18]．本研究では，このな支援技術，例えば印象を表現する語（例：「もっとや印象評価構造に基づき，印象を定量化した値（印象値）わらかい感じに」）による形状の提案等が不可欠だとを付与した，複数の形状カテゴリーの 3 次元モデル考えられる．これらの支援を実現するためには，物体データセットを作成し，学習データとして使用する．

形状とそこから喚起される印象の関係性を明らかにす更に，Multi-view ベースの DNN を用い，当該データる必要がある．

セットを End-to-End で学習することで，対象とする印

そこで本研究では，3 次元物体の直感的なデザイン
844

電子情報通信学会論文誌 D Vol. J103–D

象や形状カテゴリーごとに特徴量設計を行う必要がな

No. 11 pp. 844–848 © 一般社団法人電子情報通信学会 2020

レター

図1

提案手法の概念図

い，単一の枠組みでの多様な 3 次元物体の印象推定を実現する．

3. 印象推定モデルの構築
3. 1 基 本 設 計
本研究では Multi-view ベースの MVCNN [14] を用いて 3 次元物体の印象を推定する．提案手法の概念図を図 1，提案手法で用いる DNN の仕様を表 1 に示す．

MVCNN は，多視点画像群を入力データとし，視点情報を統合する View pooling 層を介して出力層でクラス分類を行う．当該ネットワークにおいて教師データとして与えるクラスラベルの番号を，印象の強弱と対応表1

提案手法における DNN の仕様

Layer
conv1
maxpool1
conv2
CNN1 maxpool2
conv3
conv4
conv5
maxpool3
Viewpooling
FC1
CNN2
FC2
FC3

Input size
221x221x3
55x55x96
27x27x96
27x27x256
13x13x256
13x13x384
13x13x384
13x13x256

Output size
55x55x96
27x27x96
27x27x256
13x13x256
13x13x384
13x13x384
13x13x256
6x6x256

kernel
11x11
3x3
5x5
3x3
3x3
3x3
3x3
3x3

stride
4
2
12
1
1
12

20x92169216--9216
4096
4096

4096
4096
7--

させることで，クラス分類として印象推定を実現する．
また，ネットワークに入力する多視点画像群は複数の視点から 3 次元モデルをレンダリングすることで得データのクリーニングを行った．クリーニングの手順を以下に示す．

られる．レンダリングには Phong の反射モデルを用（ 1 ） 回答システムの誤作動やネットワークの状況

い，カメラ位置は 3 次元モデルの重心を中心とした正により評価が正常に終了できなかった実験参加者を未十二面体の各頂点とする．各カメラ位置から，正十二評価回答者とし，その全ての評価データを排除面体に内包された 3 次元モデルの重心方向に向かって（ 2 ） 1 個以上のモデルに，全て 0（7 段階評価の真レンダリングすることにより，20 枚 1 セットの画像中：どちらでもない）と回答した実験参加者は不誠実セットを作成する．その際，3 次元モデルの位置姿勢回答者とし，その全ての評価データを排除は統一した．本研究では個人によって評価のばらつき（ 3 ） 不誠実回答者の回答時間分布を確認し，そのが生じる印象値を離散確率分布として扱うため，損失最頻値である 156 秒以下で回答を終了した実験参加者関数としてクロスエントロピー誤差を用いる．

を短時間回答者とし，その全ての評価データを排除

3. 2 データセットの作成
3 次元物体から印象を推定するには，印象値が付与

クリーニングの結果，総回答者 6101 人の内，未評
価回答者 388 名，不誠実回答者 628 名，短時間回答者された 3 次元モデルのデータセットが必要である．そ307 人をそれぞれ排除し，最終的に有効回答者は 4778

こで先行研究 [17] に基づき，大規模 3 次元モデルデー名となった．データのクリーニング後，7 段階の評価タベースである ModelNet40 における三つの形状カテデータを 1 から 7 のクラスラベルに数値化し，その値ゴリー（car，vase，chair）に対し，クラウドソーシンを確率変数とした離散確率分布を 3 次元モデルの印象グを利用した SD 法による印象評価実験を行った．こ値（厳密には印象分布）とした．表 2 に使用した作成

れにより各モデルに対し，20〜40 人分の 18 種類の形したデータセットの仕様を，表 3 に使用した 18 種類容詞対における 7 段階の評価データを取得した．得らの形容詞対をそれぞれ示す．

れた評価データに対し，回答内容や回答時間から評価845

電子情報通信学会論文誌 2020/11 Vol. J103–D No. 11
表 2 作成したデータセット仕様
形状カテゴリー
モデル数
データベース
1 モデルあたりの評価数
対象実験参加者
3D モデル提示形式
評価語
評価尺度

car297vasechair575
989
ModelNet40
20〜40 名20〜60 代男女（各年代約 30 名）
モデル回転動画18 形容詞対
7 段階の SD 法

い（力量性）” であるため，これらの形容詞対に対する印象値を推定対象とした．

4. 2 結果

本研究では，実際の人の評価データと推定結果との相関関係を推定精度の比較指標とする．具体的には，検証用データにおける人の評価データの離散確率分布及び推定された離散確率分布それぞれにおいて期待値を算出し，期待値間のピアソン積率相関係数を用いた．

表 3 印象評価実験に使用した形容詞対
形容詞対
規則的な-不規則的な
健康的な-不健康な
安定した-不安定なまとまった-ばらばらな
はげしい-おだやかな
派手な-地味な活発な-不活発な
賑やかな-静かな動的な-静的な陽気な-陰気な繊細な-武骨な柔らかい-硬い
緩んだ-緊張した
弱い-強い
はっきりした-ぼんやりした
なめらかな-粗い
鈍い-鋭い
重い-軽い

各検証で得られた相関係数の平均を表 4 に示す．

4. 3 考察

表 4 より，提案手法において 9 条件中，2 条件で強い正の相関 (0.7 以上)，6 条件で中程度の正の相関（0.4 以上 0.7 未満）を示したことから，提案手法の実用上の有効性を確認した．また，比較手法に対する提案手法の有効性を統計的に検定するため，提案手法（Multi-view）をコントロール群，各比較手法を処理群とした Dunnett 法による多重比較検定を行った．その際，対立仮説は µc > µi とした (µc:コントロール群の相関係数の平均値， µi:処理群の相関係数の平均値)．
その結果，提案手法と Voxel ベースの手法 [12] との間では全 9 条件で有意差 (p < 0.05) が認められた．この結果は，Voxel ベースの手法がその構造上，入力データを低解像度化せざるを得ないことに起因していると考えられる．3 次元形状に対する人の印象は，大まか

4. 精度検証実験な形状だけでなくその微細な構造によって喚起される

提案手法の有効性を検証するために，Voxel ベース可能性があり，Voxel ベースの手法を用いた場合，その手法である ShapeNets [12] と，提案手法に単視点のの情報が消失してしまう可能性があることが予想され画像を入力した場合，及び提案手法の各手法におけるる．更に，提案手法と Single-view との間では，Vase推定精度を比較する．の派手-地味条件，Chair の派手-地味条件，安定-不安

4. 1 実験手続き

定条件以外の 6 条件で有意差 (p < 0.05) が認められ精度比較を行う上で，本研究では 9 分割の交差検証た．この結果は，印象評価実験の際，実験参加者にはを採用した．その際，分割されたデータセットは手法

3 次元物体を水平方向に回転させた動画を提示すると間で共通とした．ネットワークに教師データとして印いう，多方向からの印象を総合的に評価するような実象値を与える際は，離散確率分布ではなく，評価デー験デザインであったことに起因すると考えられ，提案タ数分の One-hot ベクトルを用いる．具体的には，実手法はこのような印象の視角依存性を学習可能な枠組

験参加者が評価したクラスラベルには 1，それ以外のみであることが示唆される．しかしながら，幾つかのクラスラベルは 0 とした 7 次元ベクトルに変換し教師条件下では視点の増加による推定精度の向上が確認でデータとした．対象とする印象は表 3 に示した 18 種きなかった．これは，ある条件下では印象推定に寄与類の形容詞対の内，SD 法研究で頻出する 3 因子（評しない，若しくは精度の悪化に繋がる視点が存在する価性・活動性・力量性因子）[19] が 3 次元形状の印象ことに起因していると予想される．そのため，印象推においても主要な基準を構成するという先行研究 [17]定に寄与している視点の選択や重み付けなどの処理がの知見に基づき選定した．先行研究において，この 3精度向上に有効だと考えられる．

因子への負荷量が大きい形容詞対は “安定な-不安定なまた，「安定-不安定」条件において，形状カテゴリー（評価性）”，“派手な-地味な（活動性）”，“柔らかい-硬によって推定精度に差があることがわかる．この現象

846

レター
表 4 各手法における評価データと推定値の相関係数の平均
car
手法
入力形式
柔らかい-硬い 派手-地味 安定-不安定
ShapeNets [12]
Voxel
0.42
0.62
0.01
Single-view
単一画像
0.43
0.71
0.08
Multi-view（提案手法） 多視点画像
0.52
0.78
0.18vase
手法
入力形式
柔らかい-硬い 派手-地味 安定-不安定
ShapeNets [12]
Voxel
0.05
0.31
0.61
Single-view単一画像
0.360.510.66
Multi-view（提案手法） 多視点画像
0.47
0.530.73
chair
手法
入力形式
柔らかい-硬い 派手-地味 安定-不安定
ShapeNets [12]
Voxel
0.44
0.30
0.48
Single-view
単一画像
0.570.580.62
Multi-view（提案手法） 多視点画像
0.65
0.55
0.63

5. む す び
本研究では，3 次元物体の直感的なデザイン支援を最終的な目標とし，その最初の試みとして，3 次元物体の印象推定手法を提案した．推定には，Multi-viewベースの MVCNN を用い，独自に作成した印象値が付与された 3 次元モデルデータセットを End-to-End で学習することで，単一の枠組みによる多様な 3 次元物体の印象推定を試みた．3 種類の形状カテゴリーにおける検証用データ用い，“安定な-不安定な”，“派手な地味な”，“柔らかい-硬い” の三つの印象について，推定結果と実際に人が付与した印象との相関係数を算出
図 2 Car カテゴリーにおける「安定-不安定」の評定値が高いモデルと低いモデルしたところ，9 条件中 8 条件で中程度以上の正の相関関係を示し，提案手法の実用上の有効性を確認した．
また，従来手法と精度比較をした結果，Voxel ベースは，同じ印象であってもその判断根拠が形状カテゴの手法に対しては全ての条件で，単視点の画像を入力リーごとに異なることに起因すると思われる．そこで，とした手法に対しては 9 条件中 6 条件で，提案手法のCar カテゴリーの「安定-不安定」条件における評定有効性を統計的に信頼できる形で確認した．

値の高いモデルと低いモデルを視覚的に確認した．評今後は，提案手法の推定精度や汎化性能の更なる向定値上位 2 サンプルと下位 2 サンプルを図 2 に示す．

上を目指し，学習データの拡充や他の形状カテゴリー

図 2 より，上位 2 サンプルはオフロードカーで，下位での精度検証を行いたい．また，本研究の最終的な目

2 サンプルはスポーツカーとコンパクトカーであるこ標である 3 次元物体の直感的なデザイン支援を考慮しとがわかる．このことから，当該条件では物理的な特た場合，印象推定の判断根拠を可視化する必要がある．

徴だけでなく，機能的側面も評価基準に含まれている

更に，提案手法は視点数が多ければ多いほど学習時間と予想される．このように評価基準が混在した場合，が増加してしまう構造であり，また，印象推定に寄与学習データ数が少ないと，その影響が大きくなる．形

しない，若しくは精度の悪化に繋がる視点が存在する状カテゴリーの内 Car カテゴリーが最もサンプル数がことが予想されるため，視点の最適化についても検討少ないため，当該条件で大きく精度が低下したと思わする必要がある．

れる．そのため，推定精度の更なる向上には学習デー
タの拡充が必要である．

謝辞 本研究は，JSTCOI，JPMJCE1314 の支援を受けたものである．
847

電子情報通信学会論文誌 2020/11 Vol. J103–D No. 11

文
[1]

献

local features for robust 3D point matching,” Proc. 2018 IEEE Conference on Computer Vision and Pattern Recognition, pp.195–205,

栗田多喜夫，加藤俊一，福田郁美，坂倉あゆみ，“印象語Utah, USA, June 2018.

による絵画データベースの検索，” 情処学論，vol.33, no.11,pp.1373–1383, Nov. 1992.
[2]

[12]

“3D ShapeNets: A deep representation for volumetric shapes,”

システムモデリング，” 情処学論，vol.47, no.SIG4(TOD29),

Proc. 2015 IEEE Conference on Computer Vision and PatternRecognition, pp.1912–1920, Massachusetts, USA, June 2015.

pp.28–39, March 2006.
[3]

[4]

太田茂，竹之内宏，徳丸正孝，“深層ニューラルネット

boosted Voxel Nets for 3D Object Recognition,” Proc. 28th British
Machine Vision Conference, London, United Kingdam, Sept.
2017.

Y.W. Chen, X. Huang, D. Chen, and X.H. Han, “Generic and[14]view convolutional neural networks for 3D shape recognition,”

Artif. Intell., vol.32, no.10, 1854024, April 2018.

Proc. 2015 IEEE International Conference on Computer Vision,
pp.945–953, Santiago, Chile, Dec. 2015.

向江亜紀，加藤俊一，“3 次元物体の形状と質感に対する感性[15]

object categorization and pose estimation using multiviews fromL.C. Ou, W.Y. Lee, and M. Luo, “Assessing the aﬀective feel-unsupervised viewpoints,” Proc. 2018 IEEE Conference on Com-ings of two- and three-dimensional objects,” Color Research andputer Vision and Pattern Recognition, pp.5010–5019, Utah, USA,橋本 学，秋月秀一，武井翔一，“物体認識のための 3 次元Aug. 2016.

June 2018.
[16]

史，

object recognition combining RGB and depth information,” Proc.

邦夫，浅野2011 IEEE Int. Conf. Robotics and Automation, pp.4007–4013,

要因子，” 日本感性工学会論文誌，vol.15, no.4, pp.563–570,

X. Song, L. Herranz, and S. Jiang, “Depth CNNs for RGB-D scene

隆，“3 次元造形物体の感性評価における主Aug. 2016.
[18]

片平建史，武藤和仁，飛谷謙介，橋本 翔，長田典子，“SDrecognition: Learning from scratch better than transferring from法を用いた感性の測定における評価の階層性–EPA 構造のRGB-CNNs,” Proc. Thirty-First AAAI Conference on Artificial

評価性因子の多義性に注目して–，” 日本感性工学会論文誌，

J. Li, B.M. Chen, and G.H. Lee, “SO-Net: Self-organizing netComputer Vision and Pattern Recognition, pp.9397–9406, Utah,USA, June 2018.

848

奈栄，飛谷謙介，白岩中島加惠，長田典子，岸野文郎，山本倫也，河崎圭吾，荷方

work for point cloud analysis,” Proc. 2018 IEEE Conference on[11]

片平建史，武藤和仁，李K. Lai, L. Bo, X. Ren, and D. Fox, “Sparse distance learning forvol.17, no.4, pp.453–463, July 2018.

Intelligence, pp.4271–4277, California, USA, Feb. 2017.
[10]

Large-Scale 3D shape retrieval from shapenet CORE55, ShapeNet,
https://shapenet.cs.stanford.edu/shrec17/, April 2017.

[17]

Shanghai, China, May 2011.
[9]

A. Kanezaki, Y. Matsushita, and Y. Nishida, “RotationNet: Joint

June 2006.

特徴量の研究動向，” 電学論（C），vol.136, no.8, pp.1038–1046,[8]

H. Su, S. Maji, E. Kalogerakis, and E. Learned-Miller, “Multi-based clothing fabric image retrieval,” Int. J. Pattern Recognit. andApplication, vol.34, no.1, pp.75–83, Feb. 2009.
[7]

N. Sedaghat, M. Zolfaghari, E. Amiri, and T. Brox, “Orientation-性工学会論文誌，vol.16, no.3, pp.277–283, Dec. 2017.のモデル化，” 情処学論，vol.47, no.SIG8(TOD30), pp.134–146,
[6]

[13]

ワークによる特徴抽出を用いた衣服の感性検索，” 日本感specific impressions estimation and their application to KANSEI-[5]

Z. Wu, S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang, and J. Xiao,

荻野晃大，加藤俊一，“感性検索システムの設計手法：感性

H. Deng, T. Birdal, and S. Ilic, “PPFNet: Global context aware[19]

C.E. Osgood, D. Suci, and P.H. Tannenbaum, The Measurementof MeaningStage of Design, University of Illinois Press, 1957.

（2020 年 1 月 20 日受付，6 月 30 日再受付，
8 月 3 日早期公開）