(57)【要約】【課題】ポイントクラウドを入力として、精度よく形状補完をすることができる。【解決手段】形状補完部が、予め学習された、ポイントクラウド及びクラス識別特徴を入力として、ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、クラス識別特徴とを統合した統合結果を得て、統合結果を畳み込むことによりポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器に対して、入力ポイントクラウド及びクラス識別部により出力されたクラス識別特徴を入力して、入力ポイントクラウドを補完する形状補完ポイントクラウドを出力する。【選択図】図５
2020052543.tif 000002
【特許請求の範囲】
【請求項１】
物体上の３次元の点の集合を計測した計測結果であるポイントクラウドを補完する形状補完装置であって、
予め学習された、前記物体のクラスを識別する識別器に対して、入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力するクラス識別部と、
予め学習された、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器に対して、前記入力ポイントクラウド及び前記クラス識別部により出力された前記クラス識別特徴を入力して、前記入力ポイントクラウドを補完する前記形状補完ポイントクラウドを出力する形状補完部と、
を含む形状補完装置。
【請求項２】
物体上の３次元点の集合を計測した計測結果であるポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器を学習する形状補完学習装置であって、
前記物体の形状の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、前記入力ポイントクラウドを補完する教師ポイントクラウドとを含む学習データに基づいて、
予め学習された、前記物体のクラスを識別する識別器に対して、前記入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力し、
ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する前記形状補完ポイントクラウドを生成する生成器、及び
前記ポイントクラウド、前記形状補完ポイントクラウド、及び前記クラス識別特徴を入力として、前記ポイントクラウド及び前記形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する判別器について、
前記入力ポイントクラウド及び前記教師ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、前記入力ポイントクラウド及び前記生成器によって生成された前記形状補完ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、及び前記生成器によって生成された前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離、を用いて表される損失関数を最適化するように、前記生成器のパラメータ及び前記判別器のパラメータを最適化する学習部、
を含む形状補完学習装置。
【請求項３】
前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離は、前記入力ポイントクラウド及び前記教師ポイントクラウドの間での点の対応付けの結果を用いて定められる、対応する前記形状補完ポイントクラウドの点と、前記教師ポイントクラウドの点との距離の総和である請求項２に記載の形状補完学習装置。
【請求項４】
物体上の３次元の点の集合を計測した計測結果であるポイントクラウドを補完する形状補完装置における形状補完方法であって、
クラス識別部が、予め学習された、前記物体のクラスを識別する識別器に対して、入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力するステップと、
形状補完部が、予め学習された、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器に対して、前記入力ポイントクラウド及び前記クラス識別部により出力された前記クラス識別特徴を入力して、前記入力ポイントクラウドを補完する前記形状補完ポイントクラウドを出力するステップと、
を含む形状補完方法。
【請求項５】
物体上の３次元点の集合を計測した計測結果であるポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器を学習する形状補完学習装置であって、
学習部は、前記物体の形状の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、前記入力ポイントクラウドを補完する教師ポイントクラウドとを含む学習データに基づいて、
予め学習された、前記物体のクラスを識別する識別器に対して、前記入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力し、
ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する前記形状補完ポイントクラウドを生成する生成器、及び
前記ポイントクラウド、前記形状補完ポイントクラウド、及び前記クラス識別特徴を入力として、前記ポイントクラウド及び前記形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する判別器について、
前記入力ポイントクラウド及び前記教師ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、前記入力ポイントクラウド及び前記生成器によって生成された前記形状補完ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、及び前記生成器によって生成された前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離、を用いて表される損失関数を最適化するように、前記生成器のパラメータ及び前記判別器のパラメータを最適化するステップ
を含む形状補完学習方法。
【請求項６】
コンピュータを、請求項１に記載の形状補完装置の各部として機能させるためのプログラム。
【請求項７】
コンピュータを、請求項２又は請求項３に記載の形状補完学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、形状補完装置、形状補完学習装置、方法、及びプログラムに係り、特に、３次元点の集合を補完するための形状補完装置、形状補完学習装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、３次元計測技術の発展により、リアルタイムで手軽に計測できるＲＧＢ−Ｄカメラやレーザセンサが普及している。これらのセンサで計測されたデータは３次元点の集合であるポイントクラウドとして扱われることが多い。実世界の計測結果として取得したポイントクラウドデータをコンピュータグラフィクスなどで扱うためには、完全な形状のモデルを再構成する必要があるが、一度の計測で得られるポイントクラウドは、形状の一部である。そのため、対象物体の完全な形状を取得するために、様々な視点から計測し、ポイントクラウドデータを統合する必要がある。しかし、取得データは物体材質によるノイズやオクルージョンなどの影響を受けやすく、データ統合によって完全な形状のモデルを取得することは困難である。そのため、従来、以下のように、幾何学的なアプローチとテンプレートベースのアプローチで形状を補完すること、また、近年では、深層学習による形状補完手法が提案されてきている。
【０００３】
幾何学的なアプローチでは、局所領域に平面、又は平滑なボリュームを仮定することで、小さな隙間を補完することができる。欠損が大きい場合は、ある特定の形状カテゴリに対して、経験則に基づいて形状を仮定し、形状補完を行う。従来手法では、物体の形状が平面、円柱などのプリミティブな要素の集合であると仮定して、不完全なポイントクラウドからＣＡＤモデルを再構成する手法を提案している。また、従来手法では、局所的にフィッテングされたプリミティブな要素に対し、要素間の向きや配置といった幾何学的関係を考慮し、形状を最適化している。その他に、不完全なポイントクラウドから対称性を検出し、複数の対称性から形状を補完する手法も提案されている。
【０００４】
テンプレートベースのアプローチは、変形可能なテンプレートまたは最近傍によって入力形状の再構成を行う。従来手法では、データベースから最も類似した形状を取り出し、それをテンプレートとして使用して、入力データに合わせて変形している。しかし、これらの手法は、複雑な入力に対してはユーザーへの対話が必要であり、入力に近いテンプレートが存在しないときは、形状補完に失敗することがある。
【０００５】
この問題に対して、従来手法では、構造と部品の関係に着目し、データベースから最良の部分候補を見つけ出し、その組み合わせの最適化問題を解くことによって、部分スキャンデータから形状の再構成を行う手法が提案している。
【０００６】
近年では、深層学習による形状補完手法が提案されてきている。従来手法では、３次元グリッドにおけるボクセル占有率を表すバイナリ変数に対する確率分布をＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｄｅｅｐ  ＢｅｌｉｅｆＮｅｔｗｏｒｋｓ（ＣＤＢＮ）で学習し、形状を補完している。また、従来手法では、ＣＤＢＮ  とマルコフ確率場を組み合わせて、最大事後確率推論問題として形状補完を定式化している。また、ある従来手法では、Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ型のネットワークをＥｎｄ−ｔｏ−Ｅｎｄで学習し、形状補完を行なっている。これらの従来手法は、３次元畳み込みの計算コストが高いため、入力を粗いグリッドでボクセル化している。ボクセル化の手法に対し、粗いグリッド上で完全な形状を推定するための３次元Ｅｎｃｏｄｅｒ−Ｐｒｅｄｉｃｔｏｒ  Ｎｅｔｗｏｒｋ（ＥＰＮ）を提案し、最近傍探索に基づくボリュームのパッチ合成をすることで、詳細な形状を再構成する従来手法もある。また、例えば、非特許文献１の従来技術では、さらに大域的な形状構造と、パッチレベルのサーフェスを推定する局所的なＥＰＮを学習している。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】X. Han, Z. Li, H. Huang, E. Kalogerakis and Y. Yu: High-Resolution Shape Completion Using Deep Neural Networks for Global Structure and Local Geometry Inference,International Conference on Computer Vision (2017).
【発明の概要】
【発明が解決しようとする課題】
【０００８】
もっとも、非特許文献１に記載の手法では、３次元畳み込みの計算コストが高いため，入力を粗いグリッドでボクセル化しており、ポイントクラウドの点群そのものを入力できず、点群の各点の情報を有効に利用できないという問題があった。
【０００９】
本発明は、上記事情を鑑みて成されたものであり、ポイントクラウドを入力として、精度よく形状補完をすることができる形状補完装置、方法、及びプログラムを提供することを目的とする。
【００１０】
また、ポイントクラウドを入力として、精度よく形状補完をするための生成器を学習することができる形状補完学習装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、第１の発明に係る形状補完装置は、物体上の３次元の点の集合を計測した計測結果であるポイントクラウドを補完する形状補完装置であって、予め学習された、前記物体のクラスを識別する識別器に対して、入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力するクラス識別部と、予め学習された、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器に対して、前記入力ポイントクラウド及び前記クラス識別部により出力された前記クラス識別特徴を入力して、前記入力ポイントクラウドを補完する前記形状補完ポイントクラウドを出力する形状補完部と、を含んで構成されている。
【００１２】
また、第２の発明に係る形状補完学習装置は、物体上の３次元点の集合を計測した計測結果であるポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器を学習する形状補完学習装置であって、前記物体の形状の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、前記入力ポイントクラウドを補完する教師ポイントクラウドとを含む学習データに基づいて、予め学習された、前記物体のクラスを識別する識別器に対して、前記入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力し、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する前記形状補完ポイントクラウドを生成する生成器、及び前記ポイントクラウド、前記形状補完ポイントクラウド、及び前記クラス識別特徴を入力として、前記ポイントクラウド及び前記形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する判別器について、前記入力ポイントクラウド及び前記教師ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、前記入力ポイントクラウド及び前記生成器によって生成された前記形状補完ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、及び前記生成器によって生成された前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離、を用いて表される損失関数を最適化するように、前記生成器のパラメータ及び前記判別器のパラメータを最適化する学習部、を含んで構成されている。
【００１３】
第３の発明に係る形状補完方法は、物体上の３次元の点の集合を計測した計測結果であるポイントクラウドを補完する形状補完装置における形状補完方法であって、クラス識別部が、予め学習された、前記物体のクラスを識別する識別器に対して、入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力するステップと、形状補完部が、予め学習された、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器に対して、前記入力ポイントクラウド及び前記クラス識別部により出力された前記クラス識別特徴を入力して、前記入力ポイントクラウドを補完する前記形状補完ポイントクラウドを出力するステップと、を含んで実行することを特徴とする。
【００１４】
第４の発明に係る形状補完学習方法は、物体上の３次元点の集合を計測した計測結果であるポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する生成器を学習する形状補完学習装置であって、学習部は、前記物体の形状の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、前記入力ポイントクラウドを補完する教師ポイントクラウドとを含む学習データに基づいて、予め学習された、前記物体のクラスを識別する識別器に対して、前記入力ポイントクラウドを入力して、前記入力ポイントクラウドが表す物体のクラスを識別する際に算出されるクラス識別特徴を出力し、ポイントクラウド及び前記クラス識別特徴を入力として、前記ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、前記クラス識別特徴とを統合した統合結果を得て、前記統合結果を畳み込むことにより前記ポイントクラウドを補完する前記形状補完ポイントクラウドを生成する生成器、及び前記ポイントクラウド、前記形状補完ポイントクラウド、及び前記クラス識別特徴を入力として、前記ポイントクラウド及び前記形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する判別器について、前記入力ポイントクラウド及び前記教師ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、前記入力ポイントクラウド及び前記生成器によって生成された前記形状補完ポイントクラウドを合わせた３次元点の集合に対する前記判別器の判別結果、及び前記生成器によって生成された前記形状補完ポイントクラウドと前記教師ポイントクラウドとの距離、を用いて表される損失関数を最適化するように、前記生成器のパラメータ及び前記判別器のパラメータを最適化するステップを含んで実行することを特徴とする。
【００１５】
第５の発明に係るプログラムは、第１の発明に記載の形状補完装置の各部として機能させるためのプログラムである。
【００１６】
第６の発明に係るプログラムは、第２の発明に記載の形状補完学習装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１７】
本発明の形状補完装置、方法、及びプログラムによれば、ポイントクラウドを入力として、精度よく形状補完をすることができる、という効果が得られる。
【００１８】
本発明の形状補完学習装置、方法、及びプログラムによれば、ポイントクラウドを入力として、精度よく形状補完をするための生成器を学習することができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】ＰＣＮｅｔのネットワークの構造の一例を示す図である。
【図２】生成器のネットワーク構造の詳細の一例を示す図である。
【図３】判別器のネットワーク構造の詳細の一例を示す図である。
【図４】本発明の実施の形態に係る形状補完学習装置の構成を示すブロック図である。
【図５】本発明の実施の形態に係る形状補完装置の構成を示すブロック図である。
【図６】本発明の実施の形態に係る形状補完学習装置における形状補完学習処理ルーチンを示すフローチャートである。
【図７】本発明の実施の形態に係る形状補完装置における形状補完処理ルーチンを示すフローチャートである。
【図８】実験結果における形状補完の比較結果を示す図である。
【図９】実験結果におけるＲ−Ｎｅｔの効果の結果を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
まず、本発明の実施の形態における概要を説明する。
【００２２】
実世界で観測される物体のポイントクラウドは、部分的な形状からしか得られない場合が多くあり、物体のクラス識別と形状補完を行うことは、多様なアプリケーションの実現に重要になっている。上述した従来技術の課題のように、昨今主流となっている畳み込みニューラルネットワークは、その性質上、３次元データを扱うために入力をボクセルやデプス画像に変換する必要がある。しかし、これらは元の３次元情報を離散化したり、２次元に写像するため、情報欠落が生じるという問題がある。
【００２３】
そこで、本発明の実施の形態では、ポイントクラウドからクラス識別と、形状補完を同時に行うＰＣＮｅｔというニューラルネットワークを用いる手法を提案する。本手法では、ポイントクラウドから、局所的特徴から大域的特徴を抽出し、大域的特徴からクラス識別を行うと共に、大域的特徴を用いて形状補完を行う。
【００２４】
次に、本実施の形態で用いるＰＣＮｅｔのネットワークの構造を図１に示す。
【００２５】
入力となる物体の形状を表す疎な３次元点の集合である入力ポイントクラウドをｘ、入力の形状を補完する３次元点の集合である形状補完ポイントクラウドをｙ′、形状補完の教師となる教師ポイントクラウドをｙとする。本実施の形態で用いるＰＣＮｅｔは、入力ポイントクラウドｘに対して物体認識を行うクラス識別器、形状補完ポイントクラウドｙ′を生成する生成器、入力ポイントクラウドと補完ポイントクラウドの集合（ｘ，ｙ′）、又は入力ポイントクラウドと教師ポイントクラウドの集合（ｘ，ｙ）のＲｅａｌ（真）又はＦａｋｅ（偽）を識別する判別器で構成される。本実施の形態では、クラス識別器にＰｏｉｎｔＮｅｔを使用する（参考文献１参照）。
【００２６】
［参考文献１］C. R. Qi, H. Su, K. Mo and L. J. Guibas: PointNet: Deep Learning on Point Sets for 3D Classication and Segmentation, Proc. Computer Vision and Pattern Recognition(2017).
【００２７】
また、図２に生成器のネットワーク構造の詳細、図３に判別器のネットワーク構造の詳細を示す。
【００２８】
図２に示すように、生成器では、まず入力ポイントクラウドの各点から局所的特徴を抽出する。図２のＩｎｐｕｔ  ＴｒａｎｓｆｏｒｍからＭＬＰ（６４×１２８×１０２４）までが図１のＥｎｃｏｄｅｒに対応する。そして、局所的特徴の全特徴の各次元に対してＭａｘ ｐｏｏｌｉｎｇを行い、局所的特徴に基づく大域的特徴を得る。ＰＣＮｅｔでは、入力ポイントクラウドから抽出した大域的特徴と、クラス識別器でクラスを識別する際に算出されるクラス識別特徴とを結合する。ＰＣＮｅｔでは、クラス識別特徴を結合することで，入力ポイントクラウドに対して、明示的に物体形状に関する特徴を与えることができる。
【００２９】
生成器に対しては、各点から抽出した中間の局所的特徴に対して、大域的特徴を結合し、畳み込み（ＭＬＰ）を行って３次元のベクトルを得る。最終層では、入力ポイントクラウドと生成されたポイントクラウドの回転と平行移動による位置ずれをＲ−Ｎｅｔによって軽減する。Ｒ−Ｎｅｔは、ＰｏｉｎｔＮｅｔ（参考文献１）におけるＴ−Ｎｅｔを拡張し、回転行列だけでなく、平行移動ベクトルを学習させる。
【００３０】
判別器に対しては、入力ポイントクラウド及び教師ポイントクラウドを組み合わせた３次元点の集合（ｘ，ｙ′）、及び入力ポイントクラウド及び生成された形状補完ポイントクラウドの組み合わせた３次元点の集合（ｘ，ｙ′）のそれぞれ入力とする。そして、Ｍａｘ ｐｏｏｌｉｎｇを行って大域的特徴を得て、大域的特徴とクラス識別特徴とを結合する過程まで生成器と同様に行われる。判別器では、結合した大域的特徴に対して畳み込みを行い、最終層の活性化関数にシグモイド関数を用いて、区間[０，１]の値を出力する。
【００３１】
以上が本実施の形態で用いるＰＣＮｅｔのネットワークの構成である。
【００３２】
本実施の形態では、以上のＰＣＮｅｔのネットワークの構成について、損失関数を用いてパラメータを学習する。
【００３３】
以下、パラメータを学習するのに用いる損失関数について説明する。
【００３４】
生成器をＧ（ｘ；θｇ）、判別器をＤ（ｘ，ｙ；θｇ）とする。Ｇ（ｘ；θｇ）は、観測ポイントクラウドｘに対して、形状補完ポイントクラウドを生成する確率分布ｐ（ｘ）が近似するようにパラメータθｇを学習する。一方Ｄ（ｘ，ｙ；θｄ）は、生成される形状補完ポイントクラウドｙ´が教師ポイントクラウドｙに近づいたとしても、判別の真偽を正しく行える確率が高くなるようにパラメータθｄを学習する。ＤはｌｏｇＤ（ｘ，ｙ）が最大となり、Ｇはｌｏｇ（１−Ｄ（ｘ，Ｇ（ｘ））が最小となるように、それぞれ学習する。これらをまとめた損失関数をＶ（Ｄ，Ｇ）とすれば、以下（１）式のように表せる。
【００３５】
【数１】
2020052543.tif 000003
・・・（１）
【００３６】
本実施の形態では、Ｖ（Ｄ，Ｇ）に加え、生成点群が物体の形状を再現するような損失関数Ｒを設計する。まず、入力ポイントクラウドと形状補完の教師ポイントクラウドに対し、安定マッチングによって、一対一の点対応ペアを作成する。安定マッチングには、Ｇａｌｅ−Ｓｈａｐｌｅｙのアルゴリズムを用いる（参考文献２参照）。
【００３７】
［参考文献２］D. Gale and L. S. Shapley: College Admissions and the Stability of Marriage, The American Mathematical Monthly, Vol. 69, No. 1, pp. 9{15 (1962).
【００３８】
安定マッチングは選好リストに基づいており、得られるペアが、現在の対応よりも選好順位が高くなるペアが存在しないように、最適化する。本実施の形態では、選好リストをユークリッドの距離の昇順で作成し、入力ポイントクラウドと教師ポイントクラウドの各点の距離がより小さくなるようにペアを作成する。生成器は、入力ポイントクラウドの各点から生成される形状補完点が、教師点を近似するように学習される。ここで、損失関数Ｒは、以下（２）式とする。
【００３９】
【数２】
2020052543.tif 000004
・・・（１）
【００４０】
最終的に最適化する損失関数は、以下（３）式とする。λは重み係数である。
【００４１】
【数３】
2020052543.tif 000005
・・・（３）
【００４２】
以上、説明したネットワーク構成、及び損失関数を元に、以下、形状補完学習装置、及び形状補完装置の構成、及び作用について説明する。
【００４３】
＜本発明の実施の形態に係る形状補完学習装置の構成＞
【００４４】
次に、本発明の実施の形態に係る形状補完学習装置の構成について説明する。図４に示すように、本発明の実施の形態に係る形状補完学習装置１００は、ＣＰＵと、ＲＡＭと、後述する形状補完学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この形状補完学習装置１００は、機能的には図４に示すように入力部１０と、演算部２０とを備えている。
【００４５】
入力部１０は、物体の一部を表す疎な３次元の点の集合である入力ポイントクラウドと、入力ポイントクラウドを補完する教師ポイントクラウドと、当該物体のクラスを示すラベルとを含む学習データを受け付ける。
【００４６】
演算部２０は、事前学習部３０と、学習部３２と、パラメータ記憶部４０とを含んで構成されている。
【００４７】
本実施の形態では、上述したＰＣＮｅｔのネットワークのパラメータを学習する。
【００４８】
事前学習部３０は、入力ポイントクラウドと、教師ポイントクラウドとを含む学習データに基づいて、物体のクラスを識別するクラス識別器を学習する。
【００４９】
クラス識別器は、上述したクラス識別器であり、ＰｏｉｎｔＮｅｔの既知学習手法を用いて重みを学習するものとする。学習したクラス識別器のパラメータはパラメータ記憶部４０に記憶する。なお、形状補完学習装置１００に事前学習部３０を設けずに、外部の装置によって学習したクラス識別器を用いるようにしてもよい。また、本実施の形態の学習データは、学習部３２で用いる学習データを前提としているが、クラス識別器の学習には、学習部３２で用いる学習データとは異なる学習データを用いてもよい。
【００５０】
学習部３２は、入力ポイントクラウドと、教師ポイントクラウドとを含む学習データに基づいて、上記（３）式の損失関数を最適化するように、生成器のパラメータ及び判別器のパラメータを最適化し、パラメータ記憶部４０に記憶する。
【００５１】
学習部３２は、事前学習部３０で学習されたクラス識別器に対して、入力ポイントクラウドを入力して、クラス識別特徴を、生成器及び判別器にそれぞれ出力する。
【００５２】
生成器は、上述した生成器である。生成器は、ポイントクラウド及びクラス識別特徴を入力として、ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、クラス識別特徴とを統合した統合結果を得て、統合結果を畳み込むことによりポイントクラウドを補完する形状補完ポイントクラウドを生成する。
【００５３】
判別器は、上述した判別器である。判別器は、ポイントクラウド、形状補完ポイントクラウド、及びクラス識別特徴を入力として、ポイントクラウド及び形状補完ポイントクラウドを合わせた３次元点の集合が、真のポイントクラウドであるか否かを判別する。
【００５４】
パラメータの最適化は、上述した（３）式の損失関数に基づいて確率的勾配降下法を用いて行う。損失関数は、判別器の判別結果、及び生成器によって生成された形状補完ポイントクラウドｙ′と教師ポイントクラウドｙとの距離を用いて表される。判別結果は、入力ポイントクラウド及び教師ポイントクラウドを合わせた３次元点の集合（ｘ，ｙ）に対する判別器の［０，１］の値の判別結果、及び入力ポイントクラウド及び生成された形状補完ポイントクラウドを合わせた３次元点の集合（ｘ，ｙ′）に対する判別器の［０，１］の値の判別結果である。判別器については、３次元点の集合（ｘ，ｙ）及び３次元点の集合（ｘ，ｙ′）に対し、判別の真偽を正しく行える確率が高くなるように（つまりｌｏｇＤ（ｘ，ｙ）が最大となるように）学習を行い、生成器については、生成した形状補完ポイントクラウドについて判別器により真と判別されるように（つまりｌｏｇ（１−Ｄ（ｘ，Ｇ（ｘ）））が最小となるように）学習を行う。
【００５５】
形状補完ポイントクラウドｙ′と教師ポイントクラウドｙとの距離は、入力ポイントクラウドｘ及び教師ポイントクラウドｙの間での点の対応付けｉの結果を用いて定められる。上述した（２）式のＲ（Ｇ）に示すように、形状補完ポイントクラウドｙ′と教師ポイントクラウドｙとの距離は、この点の対応付けｉに対応する形状補完ポイントクラウドの点ｙｉ′と、教師ポイントクラウドの点ｙｉとの距離の総和として表される。生成器については、距離の総和ができるだけ小さくなるように学習を行う。
【００５６】
学習部３２は、以上説明した損失関数に基づいて、生成器のパラメータ及び判別器のパラメータを最適化する。
【００５７】
＜本発明の実施の形態に係る形状補完装置の構成＞
【００５８】
次に、本発明の実施の形態に係る形状補完装置の構成について説明する。図５に示すように、本発明の実施の形態に係る形状補完装置２００は、ＣＰＵと、ＲＡＭと、後述する形状補完処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この形状補完装置２００は、機能的には図５に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。
【００５９】
入力部２１０は、形状補完の対象とする入力ポイントクラウドを受け付ける。
【００６０】
演算部２２０は、クラス識別部２３０と、形状補完部２３２と、パラメータ記憶部２４０とを含んで構成されている。
【００６１】
パラメータ記憶部２４０には、形状補完学習装置１００で学習された、クラス識別器のパラメータと、生成器のパラメータとが記憶されている。
【００６２】
学習されたクラス識別器は、ポイントクラウドを入力として、パラメータ記憶部２４０の識別器のパラメータを用いて、物体のクラスを識別する。クラス識別器は、クラスの識別の際にクラス識別特徴を算出する。学習された生成器は、ポイントクラウド及びクラス識別特徴を入力として、パラメータ記憶部２４０の生成器のパラメータを用いて、ポイントクラウドの各点から抽出した局所的特徴に基づく大域の特徴である大域的特徴と、クラス識別特徴とを統合した統合結果を得て、統合結果を畳み込むことによりポイントクラウドを補完する３次元点の集合である形状補完ポイントクラウドを生成する。
【００６３】
クラス識別部２３０は、学習されたクラス識別器に対して、入力部１０で受け付けた入力ポイントクラウドを入力して、クラス識別特徴を形状補完部２３２に出力する。また、クラス識別部２３０は、クラス識別器による物体のクラスの識別結果を、出力部２５０に出力する。
【００６４】
形状補完部２３２は、学習された生成器に対して、入力部１０で受け付けた入力ポイントクラウド及びクラス識別部２３０により出力されたクラス識別特徴を入力して、入力ポイントクラウドを補完する形状補完ポイントクラウドを出力部２５０に出力する。
【００６５】
＜本発明の実施の形態に係る形状補完学習装置の作用＞
【００６６】
次に、本発明の実施の形態に係る形状補完学習装置１００の作用について説明する。形状補完学習装置１００は、図６に示す形状補完学習処理ルーチンを実行する。
【００６７】
まず、ステップＳ１００では、事前学習部３０は、学習データに含まれる入力ポイントクラウドと、当該物体のクラスを示すラベルとに基づいて、物体のクラスを識別するクラス識別器を学習する。
【００６８】
次に、ステップＳ１０２では、学習データに含まれる入力ポイントクラウドと、教師ポイントクラウドとに基づいて、上記（３）式の損失関数を最適化するように、生成器のパラメータ及び判別器のパラメータを最適化し、パラメータ記憶部４０に記憶する。判別器については、３次元点の集合（ｘ，ｙ）及び３次元点の集合（ｘ，ｙ′）に対し、判別の真偽を正しく行える確率が高くなるように（つまりｌｏｇＤ（ｘ，ｙ）が最大となるように）学習を行う。生成器については、教師ポイントクラウドとの距離の総和ができるだけ小さくなり、かつ、生成した形状補完ポイントクラウドについて判別器により真と判別されるように（つまりｌｏｇ（１−Ｄ（ｘ，Ｇ（ｘ）））が最小となるように）学習を行う。
【００６９】
以上説明したように、本発明の実施の形態に係る形状補完学習装置によれば、ポイントクラウドを入力として、精度よく形状補完をするためのネットワークを学習することができる。
【００７０】
＜本発明の実施の形態に係る形状補完装置の作用＞
【００７１】
次に、本発明の実施の形態に係る形状補完装置２００の作用について説明する。形状補完装置２００は、図７に示す形状補完処理ルーチンを実行する。
【００７２】
まず、ステップＳ２００では、クラス識別部２３０は、学習されたクラス識別器に対して、入力部１０で受け付けた入力ポイントクラウドを入力して、クラス識別特徴を形状補完部２３２に出力すると共に、クラス識別器による物体のクラスの識別結果を、出力部２５０に出力する。
【００７３】
次に、ステップＳ２０２では、形状補完部２３２は、学習された生成器に対して、入力部１０で受け付けた入力ポイントクラウド及びステップＳ２００で出力されたクラス識別特徴を入力して、入力ポイントクラウドを補完する形状補完ポイントクラウドを出力部２５０に出力する。
【００７４】
以上説明したように、本発明の実施の形態に係る形状補完装置によれば、ポイントクラウドを入力として、精度よく形状補完をすることができる。
【００７５】
［実験結果］
【００７６】
次に本発明の実施の形態の手法を用いた実験結果について述べる。提案手法の性能を評価するために、ＭｏｄｅｌＮｅｔ４０を用いて実験を行う。ＭｏｄｅｌＮｅｔ４０は、４０クラスの単一オブジェクトのＣＡＤモデルであり、ＰｏｉｎｔＮｅｔでは頂点数を２０４８点に統一している。本実験では、２０４８点からなるポイントクラウドを、入力ポイントクラウドと形状補完の教師ポイントクラウドに分割し、それぞれ１０２４点となるように整形した。データの分割にはランダムサンプリングを用い、１つのモデルから１０回のサンプリングを行なって、データ拡張を行った。ＰＣＮｅｔは、まずクラス識別器を学習し、パラメータを固定する。次に、クラス識別器を除いた生成器と判別器を交互に最適化し、最後に識別器単体を最適化する。なお、損失関数の最適化に確率的勾配降下法を用い、学習率は１０−１０、損失関数の重み係数はλ＝０．１とした。
【００７７】
形状補完の比較結果を図８に示す。図８はそれぞれ、（ａ）入力ポイントクラウド、（ｂ）ドロネー分割で得られる三角形メッシュの重心に点を補完する手法、（ｃ）本実施の形態の提案手法、（ｄ）形状補完の教師ポイントクラウドであり、（ｂ）−（ｄ）は入力ポイントクラウドを加えている。ドロネー分割を利用した形状補完では、全体の形状を保ったままポイントクラウドを密にできているが、全体的にノイズがかかったような結果となった。一方で、提案手法による形状補完は、生成器のポイントクラウド生成に物体クラス識別特徴を加えたことで、ノイズがかかることなく、入力ポイントクラウドに沿って補完ポイントクラウドを生成している。また、図９はＲ−Ｎｅｔの効果を検証した結果であり、（ａ）が入力、（ｂ）がＲ−Ｎｅｔ有、（ｃ）がＲ−Ｎｅｔなし、（ｄ）が正解である。図９に示すように、Ｒ−Ｎｅｔは形状補完ポイントクラウドが教師ポイントクラウドに近づくような変換行列を学習し、Ｒ−Ｎｅｔなしの場合と比べて、位置ずれを軽減している。
【００７８】
以上が実験結果の説明である。
【００７９】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【００８０】
１０，２１０  入力部
２０，２２０  演算部
３０   事前学習部
３２   学習部
４０   パラメータ記憶部
１００ 形状補完学習装置
２００ 形状補完装置
２３０ クラス識別部
２３２ 形状補完部
２４０ パラメータ記憶部
２５０ 出力部
【図１】
2020052543.tif 000006
【図２】
2020052543.tif 000007
【図３】
2020052543.tif 000008
【図４】
2020052543.tif 000009
【図５】
2020052543.tif 000010
【図６】
2020052543.tif 000011
【図７】
2020052543.tif 000012
【図８】
2020052543.tif 000013
【図９】
2020052543.tif 000014