(57)【要約】【課題】  自由に配置された複数の形状が異なる物体が含まれていても、高い確率で三次元情景を判定し、分類することができる三次元画像分類装置および三次元画像分類方法を提供すること【解決手段】  複数の三次元物体情報を含む画像に対し、三次元情景を三次元格子の集合で表し、該三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成し、該複数のマップから合成される学習用の画像を生成して、該画像を畳み込みニューラルネットワークで学習しかつ分類する。【選択図】  図１
2019159910.tif 000002
【特許請求の範囲】
【請求項１】
複数の三次元物体情報を含む画像を入力として三次元情景を分類する三次元画像分類装置であって、
三次元情景を三次元格子の集合で表す手段と、
三次元格子集合で表される三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成する手段と、
複数のマップから合成される学習用の画像を生成する手段と、
該画像を学習しかつ判定するニューラルネットワークと、を備え、
当該ニューラルネットワークによって空間情報の畳み込み処理を行うことを特徴とする三次元画像分類装置。
【請求項２】
前記複数のマップは、三次元情景を三方向の投影平面から作成される三つのマップであり、前記学習用の画像は、前記三つのマップをＲ，Ｇ，Ｂとするカラー画像であることを特徴とする請求項１に記載の三次元画像分類装置。
【請求項３】
複数の三次元物体情報を含む画像を入力として三次元情景を分類する三次元画像分類方法であって、
三次元情景を三次元格子の集合で表す工程と、
三次元格子集合で表される三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成する工程と、
複数のマップから合成される学習用の画像を生成する工程と、
ニューラルネットワークによって空間情報の畳み込み処理を行う工程と、
を含むことを特徴とする三次元画像分類方法。
【請求項４】
前記複数のマップは、三次元情景を三方向の投影平面から作成される三つのマップであり、前記学習用の画像は、前記三つのマップをＲ，Ｇ，Ｂとするカラー画像であることを特徴とする請求項３に記載の三次元画像分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情景を記録した画像に対し所定の処理を行い、情景の場面を判定する三次元画像分類装置および三次元画像分類方法に関する。具体的には、三次元物体情報からなる三次元の情報を有する情景画像から、その場面を判定する三次元画像分類装置および三次元画像分類方法である。
【背景技術】
【０００２】
三次元情報から構成される情景に関する先行技術には、次のものがある。
【０００３】
特許文献１には、三次元情景においてオブジェクトの三次元モデル化アセンブリを設計するためのコンピュータ実装方法が開示されている。三次元情景を設計する方法であって、分類を行う技術ではない。また、特許文献２においては、建築物モデルを三次元に可視化し、さらに視点を連続的に変化させ、建築物中を歩いているように建築物モデルを確認する建築モデル作成装置が開示されている。いわゆるウォークスルーを実現する装置であるが、部屋の用途やカテゴリなど情景を分類するものではない。
【０００４】
一方、非特許文献では三次元情報を対象とした認識技術は多々あるが、三次元物体単体を対象とした認識技術がほとんどである。三次元情報の認識に関する非特許文献では、深層学習を利用した、三次元情報をボクセル群や点群、画像などに変換して畳み込みニューラルネットワークの入力データとする手法が多くみられる。例えば、非特許文献１は三次元物体単体の認識に関する報告である。三次元情景を畳み込みニューラルネットワーク入力可能なボクセル群の大きさに変換すると、情景全体の大きさに対して微小だが、情景の分類には欠かせない三次元物体個々の詳細な形状が保持できなくなり、特徴が失われてしまうという問題があった。逆に、情景全体からみれば微小な三次元物体個々の詳細な形状を保持できるまで解像度をあげたボクセル表現においても、メモリ量や計算量に関して高コストとなり、深層学習に時間がかかるという問題があった。
【０００５】
非特許文献２は、三次元物体単体の点群表現による分類とセグメンテーションに関して、三次元情報を点群に変換して畳み込みニューラルネットワークの入力とする手法が報告されている。三次元物体単体の大きさに合わせた点の数で生成した点群を入力とするネットワーク構造となっているため、情景に対しては粗雑な点群になる。そのため点群の密度を見ることによって物体の有無を捉えることは可能であるが、形状情報が大きく損失するため、物体の特徴を捉えることが難しいという問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2012-238311号公報
【特許文献２】特開平11-338906号公報
【非特許文献】
【０００７】
【非特許文献１】D. Maturana and S. Scherer.: Voxnet: A 3d convolutional neural network for real-time object recognition. in IROS, 2015.
【非特許文献２】Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas.: PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. CVPR 2017.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
三次元情景では、複数の形状の異なる物体情報を含み、自由に配置される。そのため三次元物体単体の認識のために調整された三次元物体認識では、すべての物体に関する特徴量の保持が困難であり、結果として、三次元情景の認識および判定は困難である。
【０００９】
本発明は先行技術の課題を鑑みてなされたものであり、本発明の課題は、自由に配置された複数の形状が異なる物体が含まれていても、高い確率で三次元情景を判定し、分類することができる三次元画像分類装置および三次元画像分類方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明にかかる三次元画像分類装置は、複数の三次元物体情報を含む画像を入力として三次元情景を分類する三次元画像分類装置であって、三次元情景を三次元格子の集合で表す手段と、三次元格子集合で表される三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成する手段と、複数のマップから合成される学習用の画像を生成する手段と、該画像を学習しかつ判定するニューラルネットワークと、を備え、当該ニューラルネットワークによって空間情報の畳み込み処理を行うことを特徴とする。
【００１１】
また、前記三次元画像分類装置において、前記複数のマップは、三次元情景を三方向の投影平面から作成される三つのマップであり、前記学習用の画像は、前記三つのマップをＲ，Ｇ，Ｂとするカラー画像であることを特徴とする。
【００１２】
本発明にかかる三次元画像分類方法は、複数の三次元物体情報を含む画像を入力として三次元情景を分類する三次元画像分類方法であって、三次元情景を三次元格子の集合で表す工程と、三次元格子集合で表される三次元情景の複数の投影面から該三次元格子集合の奥行密度を求めて複数のマップを作成する工程と、複数のマップから合成される学習用の画像を生成する工程と、ニューラルネットワークによって空間情報の畳み込み処理を行う工程と、を含むことを特徴とする。
【００１３】
また、前記三次元画像分類方法において、前記複数のマップは、三次元情景を三方向の投影平面から作成される三つのマップであり、前記学習用の画像は、前記三つのマップをＲ，Ｇ，Ｂとするカラー画像であることを特徴とする。
【発明の効果】
【００１４】
本発明にかかる三次元画像分類装置および三次元画像分類方法により、自由に配置された複数の形状が異なる物体が含まれていても、高い確率で三次元情景を判定し、自動で分類することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明にかかる三次元画像分類における三次元情景の学習時の流れを示すブロック図である。
【図２】本発明にかかる三次元画像分類におけるテスト時の三次元情景の判定の流れを示すブロック図である。
【図３】ユークリッド空間におけるx軸、y軸、z軸それぞれを奥行きとした投影平面の概念図である。
【図４】ボクセルを用いたマップ生成に関する概念図である。この図ではp_((1,1))=0、p_((4,1))=128、p_((4,4))=255である。
【図５】三次元情景の特徴を表す画像化を示す概念図である。なお、この図では、カラー画像をグレイスケールで示している。
【図６】三次元情景の特徴を表す画像化により生成されたカラー画像のサンプルである。なお、この図では、カラー画像をグレイスケールで示している。
【発明を実施するための形態】
【００１６】
本発明を実施するための形態について、図および表などを参照しながら以下に説明する。なお、三次元情報あるいはデータを３Ｄ、三次元情景を３Ｄシーン、三次元物体を３Ｄオブジェクトと表現することがある。
【００１７】
まず、本発明に係る三次元画像分類装置の構成、およびアルゴリズムを記述する。当該アルゴリズムは、プログラム言語を用いて構築され、ＣＰＵ、メモリ、外部記憶機器、表示機器および入出力機器が電気的に接続されてなり動作する計算機ハードウェアを当該三次元画像分類装置として、適宜、稼働させて実行される。
【００１８】
本発明にかかるアルゴリズムでは、ボクセル表現に変換した３Ｄシーンの奥行き密度から、３Ｄシーンの分類を行う手助けとなる画像を生成し、深層学習を適用して３Ｄシーンに対して分類を行う。
【００１９】
本発明よる３Ｄシーン認識は、教師あり機械学習手法に大別され、学習段階の構成とテスト段階の構成からなる。図１および図２は、それぞれ学習時の流れおよびテスト時の流れを示す。３Ｄメッシュモデルによって構成された３Ｄシーンを画像化するまでの流れはどちらも共通である。
【００２０】
＜処理の概要＞
本発明による３Ｄシーン分類の流れを図１に示す。まず、３Ｄシーンの位置と大きさを正規化し、ボクセル表現を生成する。ボクセル表現とは、三次元の格子（すなわち、ボクセル）に値を設定することで、三次元形状を立方体の集合で表現したものである。本発明では物体の有無を0か1の値で表現したバイナリボクセルで形状を表現する。次にボクセル表現に変換した３Ｄシーンを、ユークリッド空間ｘ軸，ｙ軸，ｚ軸それぞれを奥行きとした投影平面から、ボクセル群の奥行きの密度を反映したマップを生成する。その後、各マップを一つの画像にまとめることで３Ｄシーンの画像化を行う。これらの処理によって生成された画像を入力として畳み込みニューラルネットワーク（以下、CNNと略語を使うことがある。）で学習し、学習されたモデルを分類器とすることで３Ｄシーンの分類を行う。
【００２１】
＜３Ｄシーンの正規化（処理L1, T1, L2, T2）＞
本発明では最初にボクセル化の前処理として、３Ｄシーンの位置と大きさを正規化する。重心が原点となるように３Ｄシーンを平行移動することで位置を正規化する。（処理L1, T1）
３Ｄシーンの大きさの正規化は、原点から最も離れた頂点への距離を求め、求めた値で３Ｄシーンの各頂点座標の値を除算することで行う。(処理L2, T2)
【００２２】
＜バイナリボクセル表現への変換（処理L3, T3）＞
正規化した３Ｄシーンからバイナリボクセル表現に変換する。まず３Ｄシーンを構成する三次元モデルの（空間の３角形の）面上にランダムな点をｍ個の点群として生成する。この際、三次元モデルの面上に一様に分布する点の座標ｐは、頂点と接続性により構成される３角形の頂点座標ａ,ｂ,ｃから数１の式で求める。
【００２３】
【数１】
2019159910.tif 000003
具体的には、Osadaらの非特許文献（論文、Robert Osada, Thomas Funkhouser, Bernard Chazelle, and David Dobkin. Shape distributions. ACM Trans. Graph.,21(4):807-832, October 2002）を参照することで実装する。
【００２４】
上式の二つの乱数ｒ１，ｒ２には，SobolあるいはNiederreiterなどの擬似乱数を用いる。これにより３Ｄシーンを点群表現に変換する。
【００２５】
次に各点の座標値をボクセル表現の大きさに合わせて量子化することで、点群表現をボクセル表現に変換する。このとき、点が一つも含まれていない場合は0の値を、点が一つ以上含まれている場合は1の値を設定する。本発明では224×224×224の大きさでバイナリボクセル表現を生成する。
【００２６】
＜画像化（処理L4, T4）＞
バイナリボクセル表現に変換した３Ｄシーンから、３Ｄシーンの判定を行う手助けとなる画像を生成する。本発明では、まずユークリッド空間ｘ軸，ｙ軸，ｚ軸それぞれを奥行きとした投影平面（図３）から、ボクセル群の奥行きの密度を表現したマップを生成する（図４）。わかりやすさのため、図３と図４ではボクセル表現の大きさを４×４×４としている。ボクセル表現の大きさをＮ×Ｎ×Ｎとし、ボクセル群に含まれる各ボクセルをν（ｘ,ｙ,ｚ）(ただしｘ,ｙ,ｚはＮ以下の正整数)、ｘ軸を奥行きとした面をＹＺ、ｙ軸を奥行きとした面をＸＺ、ｚ軸を奥行きとした面をＸＹとすると、それぞれの投影平面から生成されるマップＭは、
【００２７】
【数２】
2019159910.tif 000004
【００２８】
【数３】
2019159910.tif 000005
【００２９】
【数４】
2019159910.tif 000006
となる。このとき、ｐは各座標の画素値を表す。
【００３０】
各投影平面の横座標をｉ、縦座標をｊとすると、画素値ｐは、それぞれ
【００３１】
【数５】
2019159910.tif 000007
【００３２】
【数６】
2019159910.tif 000008
【００３３】
【数７】
2019159910.tif 000009
となる。
【００３４】
次に、三つの投影平面から生成されたそれぞれのマップＭをカラー画像の３チャネル(R,G,B)に当てはめることで一つの画像にまとめる（図５）。
【００３５】
最終的に、本発明の画像化によって生成される画像Ｉは
【００３６】
【数８】
2019159910.tif 000010
となる。
【００３７】
図５に示すように、カラー画像化が本発明のキーとなるアイデアである。通常３Ｄシーンの内部に含まれる微小な３Ｄモデルは単純なボクセル化では、消失する危険性があるが、数５、６、７で投影される画像に含まれる３Ｄオブジェクトである限り、微小であっても、それが特徴となり、カラー画像化される数８の中に、重要な特徴量として残るため、３Ｄシーンが、たとえば、リビングルームか、書斎か、寝室なのかを識別可能となる。なお、図５はカラー画像をグレイスケールで表示したものであり、ボクセル投影は３方向から行い、それぞれをRed (R), Green (G), Blue (B)のチャネルに対応させ、最後に３チャネルを合成した画像を生成する。画像は見やすくするため、実際より輝度を上げている。部屋の中の小物体（Ｕ字形のソファ、テーブルなど）も捉えていることがわかる。また、参考のため図６を示す。図６は浴室の三次元情景を本発明係る画像化を行った例である。また、図５と同様にカラー画像をグレイスケールで表示したものである。図６から、向きは上下反転しているがバスタブがあるのがわかり、これにより深層学習を用いる分類器が、３Ｄシーン内に浴槽に似たものがある部屋をバスルームと高い確率で判定できる。
【００３８】
＜畳み込み層を多く含む多層のニューラルネットワークによる深層学習(処理L5, L6)＞
本発明では、畳み込み層を多く含む多層のニューラルネットワークを適用して学習を行う。実施例ではResNet50（K. He, X. Zhang, S. Ren and J. Sun .: Deep Residual Learning for Image Recognition. in CVPR, 2016.を参照）のネットワーク構造を利用している。ニューラルネットワークのハイパーパラメータとして、最適化アルゴリズムに「Adam」（Diederik Kingma; Jimmy Ba (2015). “Adam: A Method for Stochastic Optimization”. Proceedings of the 3rd International Conference for Learning Representations, San Diego.を参照）を採用し、学習率を0.01とする。訓練時の損失関数は以下のクロスエントロピーを適用する。
【００３９】
【数９】
2019159910.tif 000011
学習時（図１）では画像化した３Ｄシーンを入力（処理L5）し、深層学習(処理L6)を行い、それによって生成した学習済みネットワークをテスト時（図２）に分類器として使用する。
【００４０】
＜学習済みネットワークによる分類(処理T5, T6, T7)＞
処理L6によって生成した学習済みネットワークを分類器として扱い、３Ｄシーンの分類を行う。未知の３Ｄシーンを本発明による手法で画像化し、学習済みネットワークに入力（処理T5）することで、入力した３Ｄシーンの各カテゴリの所属確率を計算し出力する(処理T6)。次に、出力した各カテゴリの所属確率の中で最も値の大きいカテゴリのものを、入力データの予測カテゴリとする。各カテゴリの所属確率の中で同値が存在する場合、アルファベット順で先にくるカテゴリのものを予測カテゴリとし、分類を行う（処理T7）。
【実施例】
【００４１】
＜実験環境＞
本実施例では６クラスの分類問題とする。プリンストン大学から公開された屋内の３Ｄシーンデータである、SUNCGデータセット（http://suncg.cs.princeton.edu/を参照）で公開されている家の３Ｄシーンを部屋ごとに分割し、その中からデータ数が多い６種(浴室、寝室、ダイニング、キッチン、居間、オフィス)を各6,400個取り出し、訓練データ4,600個、テストデータ1,800個に分けたものを実施例データセットとして使用する。そのため、訓練データ総数は27,600個、テストデータの総数は10,800個となる。また、３Ｄシーンの分割の際にノイズ除去として、人や猫といった生物のオブジェクト除去、床や机といった要素が10個以下のシーン除去を行った。
【００４２】
分類評価は、正確性と網羅の総合的な評価に利用される尺度であるF値を用いる。
【００４３】
比較のため従来手法には、VoxNet（[1]、非特許文献１を参照）、MVCNN（[4]、H. Su, S. Maji, E. Kalogerakis, E. Learned -Miller.: Multi-view convolutional neural net works for 3d shape recogni tion. in Proc. ICCV, 2015, pp. 945-953.を参照）、PointNet（[3]、非特許文献２を参照）を選択した。
【００４４】
VoxNetは３Ｄデータをボクセル表現に変換し、3DCNNの入力として学習を行う手法である。実験は、入力データのボクセル表現の大きさを64×64×64とした。
【００４５】
MVCNNはマルチビューの深度画像から学習済みCNNで特徴量を取りだし、view-pooling層で全ビューを統合したのち、もう一つのCNNで学習を行う手法ある。実験では３Ｄシーンの重心から18方向にレンダリグした深度画像を入力とした。特徴量抽出のCNNはImageNet（J. Deng, W. Dong, R. Socher, L. -J. Li, K. Li and L. Fei-Fei.: ImageNet: A Large -Scale Hierarchical. Image Database. In CVPR09, 2009.を参照）で学習済みのResNet50を適用し、avg_pool層から取り出した2048次元の特徴量を使用した。
【００４６】
PointNetは３Ｄデータを点群で表現したものを入力として学習行う手法である。実験では、Osadaらの手法を用いて、３Ｄシーンを2,048個の点で表現したものを入力とした。
【００４７】
本発明は、各投影平面から生成したマップを全て反映して画像化する場合で実施例を述べるが、ｙ軸を奥行きとした投影平面から生成したマップのみを反映して画像化する場合や、ｘ軸を奥行きとした投影平面とｚ軸を奥行きとした投影平面から生成したマップを反映して画像化する場合でも同様に実施可能である。
【００４８】
本発明のCNNではResNet50のネットワーク構造を適用し、ネットワークの重みを最適化するアルゴリズムとして「Adam」を利用した。このとき、学習率は0.01とした。また、バッチサイズは32とした。訓練時の損失関数はクロスエントピー（数９）を適用した。
【００４９】
＜実験結果＞
比較実験の結果を表１に示す。同表は各手法の６カテゴリのF値と、F値の平均をまとめたものであり、カテゴリで最も大きな値を太字で表している。本発明が全てのカテゴリにおいて比較した従来手法を上回る値となった。また、VoxNetは３Ｄシーンの学習ができず、どのクラスの入力であっても1種類のクラスを返す結果となっている。
【００５０】
【表１】
2019159910.tif 000012
表１からわかるように、本発明が全体で最も高い分類精度となった。このことから本発明が屋内３Ｄシーンの分類に有効である。
【００５１】
本発明では、ボクセル群を直接入力とせずにボクセル群の奥行き密度を反映して画像に変換することで、シーンに含まれるオブジェクトの詳細な形状情報の保持を実現している。
【図１】
2019159910.tif 000013
【図２】
2019159910.tif 000014
【図３】
2019159910.tif 000015
【図４】
2019159910.tif 000016
【図５】
2019159910.tif 000017
【図６】
2019159910.tif 000018