(57)【特許請求の範囲】
【請求項１】
第１の画像及び第２の画像を受信することと、
前記第１の画像と前記第２の画像の間の点対応を生成するための変換を決定するために、典型的な薄板スプライン（ＴＰＳ）を検索することと、
深層ニューラルネットワークを訓練するために人工的な点対応を使用することと、
空間変換器を通したＴＰＳ変換出力を使用して学習することと、
正確な再構成のためにマッチさせる画像セットを選択するためにヒューリスティックスを適用することと、
を含み、
前記第１及び第２の画像が、共有重みを有する特徴抽出畳み込み層に通され、
抽出された特徴が、特徴マップの要素ごとの減算によって組み合わされ、その後他の一連の畳み込み層に通されて、前記第１の画像のインスタンスと前記第２の画像のインスタンスとの間の前記ＴＰＳ変換のための制御点を出力する、深層学習ネットワークを訓練するためのコンピュータにより実施される方法。
【請求項２】
前記人工的な点対応が、ランダムな空間的及び色彩的変換を前記第１及び第２の画像に適用することで作成される、請求項１に記載の方法。
【請求項３】
前記典型的なＴＰＳ変換を生成するためにシルエットが使用される、請求項１に記載の方法。
【請求項４】
前記深層学習ネットワークが、前記第１の画像の点を前記第２の画像の点へワープさせることを学習する、請求項１に記載の方法。
【請求項５】
前記深層学習ネットワークが、異なる外見を有する前記第１及び第２の画像の異なるインスタンスの変形可能なオブジェクト同士をマッチさせる、請求項１に記載の方法。
【請求項６】
メモリと、
前記メモリと通信するプロセッサとを備え、
前記プロセッサが、
第１の画像及び第２の画像を受信し、
前記第１の画像と前記第２の画像の間の点対応を生成するための変換を決定するために、典型的な薄板スプライン（ＴＰＳ）を見出し、
深層ニューラルネットワークを訓練するために人工的な点対応を使用し、
空間変換器を通したＴＰＳ変換出力を使用して学習し、
正確な再構成のためにマッチさせる画像セットを選択するためにヒューリスティックスを適用するように構成され、
前記第１及び第２の画像が、共有重みを有する特徴抽出畳み込み層に通され、
抽出された特徴が、特徴マップの要素ごとの減算によって組み合わされ、その後他の一連の畳み込み層に通されて、前記第１の画像のインスタンスと前記第２の画像のインスタンスとの間の前記ＴＰＳ変換のための制御点を出力する、深層学習ネットワークを訓練するためのシステム。
【請求項７】
前記人工的な点対応が、ランダムな空間的及び色彩的変換を前記第１及び第２の画像に適用することで作成される、請求項６に記載のシステム。
【請求項８】
前記典型的なＴＰＳ変換を生成するためにシルエットが使用される、請求項６に記載のシステム。
【請求項９】
前記深層学習ネットワークが、前記第１の画像の点を前記第２の画像の点へワープさせることを学習する、請求項６に記載のシステム。
【請求項１０】
前記深層学習ネットワークが、異なる外見を有する前記第１及び第２の画像の異なるインスタンスの変形可能なオブジェクト同士をマッチさせる、請求項６に記載のシステム。
【請求項１１】
深層学習ネットワークを訓練するためのコンピュータで読み取り可能なプログラムを含む非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータで読み取り可能なプログラムがコンピュータ上で実行されると、
前記コンピュータに、
第１の画像及び第２の画像を受信することと、
前記第１の画像と前記第２の画像の間の点対応を生成するための変換を決定するために、典型的な薄板スプライン（ＴＰＳ）を検索することと、
深層ニューラルネットワークを訓練するために人工的な点対応を使用することと、
空間変換器を通したＴＰＳ変換出力を使用して学習することと、
正確な再構成のためにマッチさせる画像セットを選択するためにヒューリスティックスを適用することと、
を実行させ、
前記第１及び第２の画像が、共有重みを有する特徴抽出畳み込み層に通され、
抽出された特徴が、特徴マップの要素ごとの減算によって組み合わされ、その後他の一連の畳み込み層に通されて、前記第１の画像のインスタンスと前記第２の画像のインスタンスとの間の前記ＴＰＳ変換のための制御点を出力するための、非一時的なコンピュータ可読記憶媒体。
【請求項１２】
前記人工的な点対応が、ランダムな空間的及び色彩的変換を前記第１及び第２の画像に適用することで作成される、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【請求項１３】
前記深層学習ネットワークが、前記第１の画像の点を前記第２の画像の点へワープさせることを学習する、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【請求項１４】
前記深層学習ネットワークが、異なる外見を有する前記第１及び第２の画像の異なるインスタンスの変形可能なオブジェクト同士をマッチさせる、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１５年１１月４日に出願された米国特許仮出願第６２／２５０８６０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０００２】
本発明は、画像処理に関し、特に単一ビューオブジェクト再構成のためのファイングレイン（fine-grained）データセットにおける教師なしマッチングに関する。
【背景技術】
【０００３】
異なるインスタンスのオブジェクト同士をマッチングさせることは、単一ビューオブジェクト再構成の実行における重要なステップである。しかしながら、オブジェクトは変形し、異なる外見を有することがあるため、これは難しいタスクである。そのため、単一ビューオブジェクト再構成における近年の取り組みは、様々な方法で点対応（point correspondences）を提供する教師あり部分的注釈（part annotation）に依存している。これは、拡大縮小を行う方法ではなく、再構成のために高密度なマッチ（matches）が求められるが、それは労力を要するだけではなく、人が注釈を付与するのに有意な名前を何ら持たない部分（parts）を得ることは困難である。
【発明の概要】
【０００４】
深層学習ネットワークを訓練するためのコンピュータにより実施される方法が提供される。該方法は、第１の画像及び第２の画像を受信することと、第１の画像と第２の画像の間の点対応を生成するための変換を決定するために、典型的な薄板スプライン（ＴＰＳ）を検索することと、深層ニューラルネットワークを訓練するために人工的な点対応を使用することと、空間的トランスフォーマー（spatial transformer）を通したＴＰＳ変換出力を使用して学習することと、正確な再構成のためにマッチさせる画像セットを選択するためにヒューリスティックス（heuristics）を適用することとを含む。
【０００５】
深層学習ネットワークを訓練するためのシステムが提供される。該システムは、メモリと、メモリと通信するプロセッサとを備え、プロセッサが、第１の画像及び第２の画像を受信し、第１の画像と第２の画像の間の点対応を生成するための変換を決定するために、典型的な薄板スプライン（ＴＰＳ）を見出し、深層ニューラルネットワークを訓練するために人工的な点対応を使用し、正確な再構成のためにマッチさせる画像セットを選択するためにヒューリスティックスを適用するように構成される。
【０００６】
深層学習ネットワークを訓練するためのコンピュータで読み取り可能なプログラムを含む非一時的なコンピュータ可読記憶媒体が提供される。コンピュータで読み取り可能なプログラムがコンピュータ上で実行されると、コンピュータに、第１の画像及び第２の画像を受信することと、第１の画像と第２の画像の間の点対応を生成するための変換を決定するために、典型的な薄板スプライン（ＴＰＳ）を検索することと、深層ニューラルネットワークを訓練するために人工的な点対応を使用することと、正確な再構成のためにマッチさせる画像セットを選択するためにヒューリスティックスを適用することと、を実行させる。
【０００７】
これら及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。
【図面の簡単な説明】
【０００８】
本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。
【０００９】
【図１】本発明の実施形態による、深層学習ネットワークを訓練するためのシステムのブロック／フロー図である。
【００１０】
【図２】本発明の実施形態による、人による注釈付きの点対応を何ら用いずに１つのオブジェクトを他のオブジェクトへワープさせる関数を作成するためのシステムのブロック／フロー図である。
【００１１】
【図３】本発明の実施形態による、深層学習ネットワークを訓練するための方法のブロック／フロー図である。
【００１２】
【図４】本発明の実施形態による、処理システムのブロック図である。
【発明を実施するための形態】
【００１３】
本発明の実施形態では、部分的注釈を何ら用いずにファイングレインカテゴリのオブジェクト同士をマッチングさせる方法を提供する。本発明は、ＷａｒｐＮｅｔ（商標）と呼ばれる、オブジェクトを画像ごとに並べるマッピングを出力する、深層学習フレームワークに依存する。典型的な実施形態では、教師なし識別学習アプローチにおいて本ネットワークを訓練し、それは本ネットワークを識別可能に訓練するために、既知の点対応と共に人工的に生成されたデータセットを用いる。本ネットワークの出力は、２つの異なるインスタンス間のマッチを計算するための空間的事前情報（spatial prior）としての役割を果たす。本ネットワークによって得られるマッチは、外見、視点及びアーティキュレーション（articulation）の変化に対してロバストである。
【００１４】
本発明の実施形態では、ファイングレインカテゴリの部分的注釈を何ら用いずにマッチ品質を改善する方法を提供する。一つの態様は、画像集のファイングレインの性質を活用することに関連し、それは１つのオブジェクトを他のオブジェクトへワープさせることを学習する深層学習フレームワークを導入することで、全てのオブジェクトが共通の形状を共有する。そのため、本ネットワークは部分対応を何ら用いずに訓練される。
【００１５】
加えて、本発明はＷａｒｐＮｅｔ（商標）と呼ばれる１つの画像の点が他の画像の点へワープする関数を予測することを学習する深層学習フレームワークを提案する。予測されたワープは、ファイングレインカテゴリの異なるインスタンス間のマッチの品質を改善する空間的事前情報として用いられる。
【００１６】
本発明は、さらに点対応を何ら用いずにＷａｒｐＮｅｔ（商標）を訓練する方法を提案する。これは、点対応が自明に知られた人工的なデータセットを作成することで達成される。オブジェクトの実際の変形が得られる場合は、画像にランダムな非線形変換を適用するためにエグゼンプラードリブン（exemplar-driven）アプローチを導入する。
【００１７】
部分的注釈を用いないにもかかわらず本方法が先の最新のアプローチよりも優れている場合、本方法の有効性はＣＵＢ−２００−２０１１データセットにおけるオブジェクトのマッチングに関する一連の定量的評価によって示される。教師なしのオブジェクト再構成と教師ありのオブジェクト再構成と間のズレが小さい場合、マッチは単一ビューオブジェクト再構成の提供に適用される。
【００１８】
次に、同じ数字が同一または同様の要素を表す図面として、まず図１を詳細に参照すると、図１には、本発明の実施形態による、深層学習ネットワークを訓練するためのシステムのブロック／フロー図が示されている。
【００１９】
近年、教師あり方式において画像パッチ間の類似度メトリックを学習する幾つかの深層学習ドリブンアプローチが提案されている。これらの研究は、様々な視点から同じインスタンスの画像同士をマッチングさせることに焦点を当てているが、本発明の典型的な実施形態では、様々なまたは多数の外見を用いて異なるインスタンスの変形可能なオブジェクト同士をマッチングさせることに焦点を当てている。このタスクは、局所的な外見の特徴だけではなく、オブジェクトの形状を意味的に理解することが必要である。
【００２０】
マッチングまたはポイントローカリゼーションタスクでは、何らかの空間的事前情報を用いて外見上の類似度を増強させることで改善できることが知られている。教師あり方法は、キーポイントとなる位置に関する非パラメータ的事前情報を提供するためにラベル付けされた部分を有する大規模データセットを用いる場合が多い。これらの事前情報はデータからも学習できるが、全ての事例において訓練中に教師ありの部分的注釈を必要とする。教師ありのアプローチは、点対応の大規模データセットを必要とするが、これを得るには多くの時間と労力を要するため困難である。これらの理由から、ほとんどのファイングレインまたは検出データセットは、重要な意味的部分（key semantic parts）にてスパース（sparse）な部分的注釈がラベル付けされる。再構成の場合、これらの重要な意味的部分だけではなく、フォアグランド（foreground）の他の点もマッチできる方法を得ることが望ましい。
【００２１】
本アプローチとより密接に関連するのは、マッチングの問題を解決するために教師なしの空間的事前情報を用いる方法である。しかしながら、これらの方法は、何ら学習を必要とせず、かつ純粋に幾何学的である。近年、グローバルな一貫性を活用することで画像セットの結合デンスアラインメント（joint dense alignment）を計算する教師なしのアプローチの研究が提案されている。さらに、近年の研究では、教師ありの方式におけるデンスオプティカルフロー（dense optical flow）を予測する畳み込みネットワークの訓練が検討されている。これらは全結合ピクセルアラインメント法（all joint pixel alignment methods）である。しかしながら、本発明の典型的な実施形態では、高い信頼度でマッチするキーポイントを特定することによる再構成が目的であるため、結合ピクセルアラインメントを実施しない。
【００２２】
単一ビューオブジェクト再構成は、単一ビューからターゲットオブジェクトを再構成するために類似するオブジェクトの画像集合体を用いる比較的最近の課題である。重要な研究は、類似するオブジェクトの画像集合体をターゲットオブジェクトを再構成するための代替ビューとして用いることで、単一ビューオブジェクト再構成が可能であることを示している。そのような方法は、例えばシルエットハル（silhouette hull）に基づくものであり、カメラマトリックスを推定するためにグラウンドトゥルースの部分的注釈を用いる。
【００２３】
本発明の典型的な実施形態のネットワークは、変換の予測に使用されるシャムネットワーク（Siamese Network）であってもよく、マッチを改善するために、その外見的な特徴だけでなく、予測された変換をそのまま使用する。さらに、本ネットワークでは、人工的な点対応を用いてパラメータを暗黙的に最適化する。本ネットワークは、訓練されるシルエットのみが必要であり、それは共通セグメンテーション（co-segmentation）と置き換えることが可能であり、人工的なデータセットを作成することのみに使用される。さらに、本ネットワークは連続する変換パラメータを出力するように設計される。
【００２４】
本ネットワークは、近年の空間的変換ネットワークから着想を得たものであり、入力画像を空間的に変換するのに用いる変換パラメータを予測する深層学習モジュールを導入している。これは、モジュールに続く分類または何らかのタスクによって暗黙的に駆動されるアテンションメカニズム（attention mechanism）として動作する。そのような概念は、教師なし方式において、２つのオブジェクトインスタンスを並べるワープ関数を予測することでさらに拡張される。本アプローチは、画像パッチ及びその変換バージョンを「代理」（“surrogate”）クラスとして扱うことで、教師ありラベルを何ら用いることなく畳み込みネットワークの訓練が可能であることを明らかにした近年の研究と合致するものである。しかしながら、「代理」クラスを分類するという教師なし訓練の目的は、良好な特徴を学習するための口実でしかなかった。本発明の典型的な実施形態では、人工的なデータセットによって訓練されたネットワークの出力を実画像ペアに一般化できる。
【００２５】
本発明は、注釈を必要としない、１つの画像から他の画像への対応を学習する深層学習フレームワーク（いわゆる、ＷａｒｐＮｅｔ（商標））を提供する。２つの画像Ｉ１及びＩ２が与えられると、本ネットワークはＩ１における点とＩ２における点をとる関数を出力する。その関数は、形状変形（shape deformations）をキャプチャできるため、薄板スプライン（thin-plate spline: ＴＰＳ）変換としてパラメータ化される。既知の変換を画像に対して適用することで人工的な点対応が生成される。本アプローチは、非リジッド及びアーティキュレーションを扱うファイングレインデータセットによって得られる構成を使用する。本ネットワークは、テスト時に異なるカテゴリのインスタンスに良好に一般化し、その出力は２つのオブジェクト間のマッチの計算における空間的事前情報として使用される。図１は、そのようなアプローチの概要を示している。
【００２６】
システム１００は、検索（mining）モジュール１１０と、点対応サンプラー１２０と、訓練モジュール１３０と、画像マッチングモジュール１４０と、３Ｄ再構成モジュール１５０とを含む。
【００２７】
検索モジュール１１０に関して、典型的なＴＰＳを抽出するためにｃｏｎｖ４特徴類似度に基づいて計算されたポーズグラフが用いられる。ポーズグラフにおける半径３以内の画像が考慮されて、それらのシルエットを用いて形状コンテキスト特徴に基づきＴＰＳ変換が計算される。ＴＰＳ変換は、曲げエネルギーの５０から９０パーセンタイルの間で保持される。
【００２８】
点対応サンプラー１２０に関して、均一なグリッド上で点がサンプリングされ、様々な典型的なＴＰＳ変換が、拡大縮小、回転及びコントラスト変換と共に適用される。
【００２９】
訓練モジュール１３０に関して、シャムネットワークからなる深層学習アーキテクチャが、畳み込み層の特徴抽出のために提示される。抽出された特徴は差分がとられ、２つのインスタンス間のＴＰＳ変換のための制御点を出力する他の一連の畳み込み層を通過する。グリッド座標は、ＴＰＳワープ係数を出力するＴＰＳ層を通過し、１つのインスタンスからキーポイントに変換され、それが他のインスタンスからのキーポイントと比較する損失層に送られる。
【００３０】
画像マッチングモジュール１４０に関して、本ネットワークは、第１と第２の最も密なマッチングポイント間の比判定法（ratio test）によってフィルタ処理されたマッチを出力する。
【００３１】
３Ｄ再構成モジュール１５０に関して、入力画像が与えられると、同じカテゴリ内及び他のカテゴリ内のマッチが計算される。マッチング用の画像は、多数のヒューリスティックスに基づいて選択できる。選択された画像にわたってマッチが伝播する仮想ビューネットワークを使用できる。伝播したマッチはフィルタ処理されてもよく、残りのキーポイントはファクトリゼーションベース（factorization-based）の再構成に使用できる。
【００３２】
図２は、本発明の実施形態による、人による注釈付きの点対応を何ら用いずに１つのオブジェクトを他のオブジェクトへワープさせる関数を作成するためのシステムのブロック／フロー図である。
【００３３】
本明細書で提示する方法は、注釈付きの点対応を有していないため、ランダムな空間的及び色的変換を画像に適用することで人工的な点対応が作成される。重要な必要条件は、適用される空間的変換がテスト時にマッチされる実画像の反映である、変換された画像を作成する間、意味がある対応を学習するのに十分に複雑であることである。例えば、アフィン変換（affine transformations）は、特定のタイプの画像において、非リジッドな変形及びアーティキュレーションをキャプチャするのに十分な表現ではない。その代わりに、現実的な変換範囲に及ぶ典型的なワープを生成してファイングレインデータセットを活用する、ＴＰＳ変換が用いられる。
【００３４】
事前に訓練されたＩＬＳＶＲＣ（ImageNet Large Scale Visual Recognition Competition）変換ネットワークの第４層のコサイン距離によってエッジ重みが決定されるポーズグラフが使用され、それはファイングレインデータセットにおけるクラスに依存しない形状などの抽象的な概念をキャプチャする。形状コンテキストＴＰＳワープは、ポーズグラフにおける半径３以内の各画像ペアのシルエット間で計算される。ＴＰＳワープは、それらの曲げエネルギー及びアフィンエネルギーの平均を用いることで分類され、急激過ぎるまたはわずか過ぎるワープを避けるために第５０パーセンタイルと第９０パーセンタイル間にあるもののみを保持する。本方法では、このＴＰＳワープセットからサンプリングすることで各画像のｍ個の変換されたバージョンを作成する。全ての画像は、それらの境界ボックスで切り取られてｓ×ｓにリサイズされる。キーポイントが使用され、フォアグラウンドに関してｎ点が均等に抽出される。このように典型的なＴＰＳワープから抽出された変換を適用することで画像が作成される。本変換は、オブジェクト形状及び画像内のオブジェクトの様々な特徴周辺のアーティキュレーションの変化を含むため、それが典型的なＴＰＳワープのユーティリティを有効にする。
【００３５】
上述したように、提案するＷａｒｐＮｅｔ（商標）は、訓練中に入力として用いる、対応するｎ個のキーポイント位置と共に典型的なＴＰＳ変換Ｉ１及びＩ２に関係する２つの画像を取得する、シャムネットワークである。シャムニューラルネットワークは、２つ以上の同一のサブネットワークを含むニューラルネットワークアーキテクチャの一種である。ここで、同一とは同じパラメータ及び重みを持つ同じ構成を有することを意味する。パラメータの更新は両方のサブネットワークに反映される。
【００３６】
テスト時において、入力は、マッチしていなければならない、異なる可能性があるカテゴリ及びポーズからの２つの画像のみで構成される。ＷａｒｐＮｅｔ（商標）の主な目的は、ワープ後のＩ１における対応する点ｐ１までのＬ２距離が最小となるように、Ｉ２の点ｐ２をＩ１における画像座標へワープさせる関数を計算することである。図２は、２つの画像２１０、２２０が特徴抽出畳み込み層２３０を通過し、続いて減算器２４０を通過する、ＷａｒｐＮｅｔ（商標）のアーキテクチャ２００を示している。特徴マップは、次に畳み込み層２５０の他のセットを通過し、後述するようにさらなる処理のためにＴＰＳ層２６０へ送られる。
【００３７】
上述したように、入力画像２１０、２２０は、共有重み（tied weights）を有する特徴抽出畳み込み層２３０を通過する。抽出された特徴は、特徴マップのエレメント単位減算２４０によって合成される。連結はネットワークにおけるパラメータ数を大幅に増加させて訓練を不安定にさせるため、本方法では、チャネルに沿って特徴マップを連結させるのではなく、差分を取る。合成された特徴マップは、変形されたＫ×Ｋグリッドの（ｘ，ｙ）座標を出力する他の一連の畳み込み層２５０を通過し、それがＩ２からＩ１へのグリッドベースのＴＰＳ変換を計算するための制御点としての役割を果たす。出力グリッドは、両方向における［−１，１］の範囲へ正規化される。グリッド座標は、ＴＰＳ層２６０に送られ、そこで連立一次方程式の解を求めることでＴＰＳワープ係数を推定する。続いて、ＴＰＳ変換をＩ２のキーポイントｐ２に適用してそれらの変換バージョンＴθ（ｐ２）を生成し、それが最終的にｐ１と共にＬ２損失層へ送られる。
【００３８】
ＴＰＳ座標は以下のように計算できる。
【００３９】
規則的なグリッド点｛ｘｉ｝及び変形したグリッド点｛ｘ０ｉ｝，ｉ＝１，・・・，Ｋ２が与えられると、ＴＰＳマッピングは次式で与えられる。
【数１】
0006596164.tif 000002
【００４０】
ここで、φ０＝１，φｊ（ｘｉ）＝ｘｊ、Ｕ（ｒ）＝ｒ２ｌｏｇｒ２である。ＴＰＳ係数θ＝｛ｗ，ａ｝は次の連立方程式の解を求めることで与えられる。
【数２】
0006596164.tif 000003
【００４１】
Ｌは正則かつ可逆的であり、レギュラーグリッドｘが固定であるため、一度だけ計算すればよい手法である。したがって、これは、Ｌ−１を重みとする、他の線形層θ＝Ｌ−１ｘｉである。
【００４２】
ワープパラメータは、ＴＰＳワープ係数に対するダイレクトスーパービジョン（direct supervision）よりもむしろ暗黙的に訓練される。これについての１つの理由は、典型的なＴＰＳワープ制御点がシルエットの輪郭上にあり、レギュラーグリッド上で定義されないことである。しかしながら、本方法は、使用される正確な変換パラメータを知ることなく、依然としてネットワークを訓練できるため、この設計上の選択は必要な種類のスーパービジョンへとネットワークの柔軟性を維持する。
【００４３】
２つの画像Ｉｉ及びＩｊが与えられると、Ｉｉにおける点ｕｉに関するマッチは、外見的観点及び空間的観点からなる類似度スコアを用いたＩｊにおける最類似点ｖｊである。
【数３】
0006596164.tif 000004
【００４４】
ここで、ｄｆ（ｕ，ｖ）はｕｉ及びｖｊで抽出された外見的特徴の距離であり、ｄｗは対称な空間的事前情報である。
【数４】
0006596164.tif 000005
【００４５】
次に、マッチは比率テスト戦略（ratio-test strategy）によってランク付けされる。このヒューリスティックによって、Ｉｊにおける他の多くの点で類似するＩｉにおける点の破棄が可能になる。キーポイントはフォアグランドで密に抽出されるため、少なくとも１０ピクセル離れた、最も近い隣接する第１の点と第２の点との間の比が計算される。
【００４６】
良好なマッチを得ることは、３Ｄ再構成に向けた重要な第１のステップである。過去の単一ビュー３Ｄ再構成法は、部分的注釈またはＣＡＤモデル等の高コストな教師あり入力に依存していたが、本発明の典型的な実施形態のマッチング方法は、チャレンジングな新しいタスク、すなわち教師なし単一ビュー再構成に向けた第１のアプローチを可能にする。既存の教師あり法またはＳＦＭ（structure from motion）パイプラインの変形を、教師なし単一ビュー再構成にどのように用いるかについて概要を提供する。
【００４７】
結果として、完全な教師なし単一ビューオブジェクト再構成に向けたステップとして、教師なし方式におけるマッチ品質を改善する方法を提示する。良好なマッチを得ることは、再構成プロセスの重要な構成要素である。部分的注釈を何ら用いずにモーションパイプラインからストラクチャーを通してそのようなマッチを送ることで、マッチの有効性を以下で実例説明する。例えば、本方法はＣＵＢ−２００−２０１１データセット（すなわち、鳥の画像）で評価される。
【００４８】
本発明は、画像集合体全体にわたって類似ポーズのオブジェクト間のマッチが伝播する最短経路ベースの方法を提案した近年の研究に続くものである。これは、リジッドなファクトリゼーションフレームワークに送られるターゲットオブジェクトにおけるキーポイントのより密なトラックを提供する。本発明の典型的な実施形態では、部分的注釈を通して得られるグラウンドトゥルースカメラマトリックス（ground-truth camera matrices）に基づくグラフを作成する代わりにポーズグラフが使用される。ポーズグラフは、全ての訓練及び鏡像を含むテスト画像を用いて計算される。
【００４９】
直面する第１の課題は、ターゲットオブジェクトを再構成するために、どの画像を使用するかである。過去の研究では同じカテゴリの全ての画像が再構成に使用されていた。しかしながら、画像が１０００未満であるＰＡＳＣＡＬ  ＶＯＣデータセットの「鳥」カテゴリと比べて、ＣＵＢ−２００−２０１１データセットは１つのサブカテゴリ当たり６０の画像で１２０００の鳥の固有画像を有している。一般的に、単一のサブカテゴリで６０の画像では視点の範囲が不十分であるが、１２０００の画像全てを再構成に用いるのは多数のアウトライアー（outlier）が導入されるため、非効率であり、問題である。多くの研究が従来のマルチビュー再構成フレームワークにおいて再構成用の画像をどのように選択するかの学習に専念しているが、変形可能なオブジェクトの単一ビューオブジェクト再構成のために画像を選択することはさらなる問題をもたらす。同じキーワードを共有するサブカテゴリの画像、または分類法に基づく関連する画像、または鳥類の類似度ツリーにおける５つの最近傍のサブカテゴリが用いられる（例えば、全て「ムシクイ」（warblers））、幾つかの単純なヒューリスティックスが試みられている。これらのヒューリスティックスは、２つ以上のサブカテゴリの画像がある限り同等の結果をもたらす。再構成の品質を大幅に改善できる適切な画像セットを選択するときの興味深い今後の方向性である。
【００５０】
本発明では、与えられた１つの特定クラスのターゲットオブジェクトに関して、ヒューリスティックスを実装することで幾つかのサブカテゴリの画像が用いられる。そして、本方法では、ポーズグラフ上の距離が４未満である全ての画像ペア間において、ペアごとのマッチを８５％の精度の閾値で計算する。本方法では、残存するマッチが５０未満の画像ペアのマッチは無視する。そして、選択された全ての画像にわたるマッチを伝播するための仮想ビューネットワークを設定する。Ｉｊにおける他の点に対するターゲット画像Ｉｔｇｔ上の点ｕに関するマッチを伝播することは、ｕからＩｔｇｔにおける全ての点までの最短経路の解を求め、重みが最小の点を選択することから構成される。本方法は、キーポイントを接続するグラフ上の重みとして、［０，１］の間に制限された式１によるスコアを用いる。
【００５１】
伝播後、本方法では、誤ったマッチを回避するために、最短経路距離が０．４を超える伝播後のマッチをさらにフィルタ処理し、この点におけるターゲットオブジェクトとのマッチが３０未満である画像を全て除去する。続いて、本方法では、ターゲットキーポイントの追跡点の測定マトリクスを作成する。本方法では、使用される画像の少なくとも１０％では可視のキーポイントのみを再構成するが、そうでなければ再構成の品質が劣化してしまう。観察マトリックスは、消失点をロバストに扱うＭａｒｑｕｅｓ及びＣｏｓｔｅｉｒａのリジッドなファクトリゼーションアルゴリズムに送られる。
【００５２】
図３は、本発明の実施形態による、深層学習ネットワークを訓練するための方法のブロック／フロー図である。
【００５３】
ブロック３１０において、第１の画像及び第２の画像が受信される。
【００５４】
ブロック３２０において、第１及び第２の画像における対応する点の座標が抽出される。
【００５５】
ブロック３３０において、第１及び第２の画像におけるポジティブ点が特定される。
【００５６】
ブロック３４０において、第１及び第２の画像におけるネガティブ点が特定される。
【００５７】
ブロック３５０において、第１及び第２の画像のポジティブ点に対応する特徴が互いに近付くように訓練される。
【００５８】
ブロック３６０において、第１及び第２の画像のネガティブ点に対応する特徴が互いに離れるように訓練される。
【００５９】
本発明の利点としては、点対応を生成するための変換を決定するために典型的なＴＰＳを検索すること、人工的な点対応を使用して深層ニューラルネットワークを訓練すること、空間変換器を通したＴＰＳ変換出力を学習して使用すること、正確な再構成のためにマッチさせる良好または許容される画像セットを選択するのにヒューリスティックスを用いることを含む。本発明のさらなる利点としては、本方法が教師なしであり、深層学習を使用しない他の教師なし方式と比べてマッチング及び再構成がより正確であるため、ラベリング及び注釈の労力が少ないことを含む。
【００６０】
実験において、部分的注釈を用いずに再構成のためのマッチングを得ることに焦点が当てられた。したがって、データセットのオブジェクトがローカライズされ、セグメント化されるものと仮定される。全ての実験は、１５の部分的注釈でそれぞれラベル付けされた２００の鳥カテゴリの１１７８８の画像を有するＣＵＢ−２００−２０１１データセットで行われた。本方法では、部分的注釈をグラウンドトゥルースとして用いることで得られたマッチを定量的に評価した。そして、本方法では、人工的なデータセットの作成に用いた空間的変換の選択を分析した。フレームワークの有効性は、マッチを用いて単一ビューオブジェクト再構成を行うことで実例説明される。
【００６１】
結論として、訓練中、典型的な薄板スプライン（ＴＰＳ）変換を生成するために、シルエット（共同セグメント化で得られる）を用いた。与えられた画像の均一にサンプリングされた点に対する人工的な点対応を、標準的な拡大縮小、回転及びコントラスト変換とともに生成するために、典型的なＴＰＳが用いられる。さらに、畳み込み層の特徴抽出のためのシャムネットワークを含む、深層学習アーキテクチャが提案される。抽出された特徴は、差分がとられ、２つのインスタンス間のＴＰＳ変換のための制御点を出力する、他の一連の畳み込み層を通過する。グリッド座標は、ＴＰＳワープ係数を出力するＴＰＳ層を通過し、１つのインスタンスからのキーポイントに変換され、それが他のインスタンスからのキーポイントと比較する損失層に送られる。グリッド座標は、ＴＰＳワープ係数を出力し、他のインスタンスからのキーポイントと比較する損失層に送られる、１つのインスタンスからのキーポイントを変換するＴＰＳ層を通過する。
【００６２】
さらに、本方法は、部分的注釈を何ら用いることなく、ファイングレインのカテゴリのオブジェクト間のマッチ品質を改善する。ターゲットアプリケーションは、全ての現在の方法が再構成プロセス中における部分的注釈の何らかの形態に依存する、単一ビューオブジェクト再構成である。教師なし方式における良好または許容されるマッチを得ることは、完全な教師なし単一ビューオブジェクト再構成を目指すステップである。本発明のアプローチの核心は、１つのオブジェクトを他のオブジェクトからワープさせる関数を予測する新規な深層学習フレームワークである。そのようなネットワークは教師あり点対応を用いずに訓練できる。本発明のアプローチは、部分的注釈を用いずに、従来のアプローチを上回る顕著な改善を達成する。
【００６３】
本明細書に記載した実施形態は、全体的にハードウェアであってもよく、全体的にソフトウェアであってもよく、ハードウェアとソフトウェアの両方の要素を含んでいてもよい。好ましい実施形態において、本発明は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むが、これらに限定されないソフトウェアでも実現可能である。
【００６４】
実施形態には、コンピュータもしくは任意の命令実行システムによって使用される、または関連して使用されるプログラムコードを提供する、コンピュータで利用可能な、またはコンピュータで読み取り可能な媒体からアクセスできる、コンピュータプログラム製品を含んでもよい。コンピュータで利用可能な、またはコンピュータで読み取り可能な媒体には、命令実行システム、機器、もしくは装置によって使用される、または関連して使用されるプログラムを格納、伝達、伝搬または転送する任意の機器を含んでもよい。該媒体は、磁気媒体、光学媒体、電子媒体、電磁気媒体、赤外線媒体、または半導体システム（または機器もしくは装置）、あるいは伝搬媒体であってよい。該媒体には、半導体または固体メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスク及び光ディスク等のコンピュータで読み取り可能な媒体を含んでもよい。
【００６５】
各コンピュータプログラムは、汎用または特殊用途のプログラム可能なコンピュータで読み取ることができる、機械で読み取り可能なストレージメディアまたは装置（例えば、プログラムメモリまたは磁気ディスク）に格納される。該コンピュータプログラムは、ストレージメディアまたは装置から本明細書に記載された手順を実行するコンピュータで読み出される、該コンピュータの設定及び制御動作のためのものである。本発明のシステムには、本明細書に記載された機能を実行する、特定の及び事前に定義された方法でコンピュータに動作させるように構成されたコンピュータプログラムを含む、コンピュータで読み取り可能に具現化されたストレージメディアも考慮される。
【００６６】
プログラムコードを保存及び／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に接続された少なくとも１つのプロセッサを備えていてもよい。このメモリ要素には、処理の実行中にコードがバルク記憶装置から検索される回数を減らすために、プログラムコードの実際の実行中に用いられるローカルメモリ、バルク記憶装置及び少なくともいくつかのプログラムコードを一時的に記憶するキャッシュメモリを備えていてもよい。入出力またはＩ／Ｏ装置（限定されるものではないが、キーボード、ディスプレイ、ポインティングデバイス等を含む）は、直接またはＩ／Ｏコントローラを介してシステムに接続されていてもよい。
【００６７】
ネットワークアダプタは、データ処理システムが、プライベートネットワークまたは公衆ネットワークを介して、他のデータ処理システムまたは遠隔プリンタもしくは記憶装置と接続できるように、上記システムと接続されていてもよい。モデム、ケーブルモデム及びイーサネット（登録商標）カードは、現在利用可能なネットワークアダプタのほんの一握りのタイプである。
【００６８】
次に、図４を参照すると、典型的な処理システム６００が示されている。
処理システム６００は、システムバス６０２を介して他の構成要素と動作可能に接続された、少なくとも１つのプロセッサ（ＣＰＵ）６０４を含む。システムバス６０２には、キャッシュ６０６、リードオンリーメモリ（ＲＯＭ）６０８、ランダムアクセスメモリ（ＲＡＭ）６１０、入力／出力（Ｉ／Ｏ）アダプタ６２０、サウンドアダプタ６３０、ネットワークアダプタ６４０、ユーザインタフェースアダプタ６５０及び表示アダプタ６６０が動作可能に接続されている。
【００６９】
第１の記憶装置６２２及び第２の記憶装置６２４は、Ｉ／Ｏアダプタ６２０によってシステムバス６０２と動作可能に接続されている。記憶装置６２２及び６２４は、ディスク記憶装置（例えば、磁気記憶装置または光学ディスク記憶装置）、固体磁気装置等のいずれであってもよい。記憶装置６２２及び６２４は、同じタイプの記憶装置であってもよく、異なるタイプの記憶装置であってもよい。
【００７０】
スピーカ６３２は、サウンドアダプタ６３０によってシステムバス６０２と動作可能に接続されている。送受信器６４２は、ネットワークアダプタ６４０によってシステムバス６０２と動作可能に接続されている。表示デバイス６６２は、表示アダプタ６６０によってシステムバス６０２と動作可能に接続されている。
【００７１】
第１のユーザ入力デバイス６５２、第２のユーザ入力デバイス６５４及び第３のユーザ入力デバイス６５６は、ユーザインタフェースアダプタ６５０によってシステムバス６０２と動作可能に接続されている。ユーザ入力デバイス６５２、６５４及び６５６は、キーボード、マウス、キーパッド、イメージキャプチャデバイス、モーション感知デバイス、マイクロフォンあるいはこれらのデバイスのうちの少なくとも２つのデバイスの機能が組み込まれたデバイス等のいずれであってもよい。もちろん、本原理の趣旨を維持する限りにおいて、他のタイプの入力デバイスを使用してもよい。ユーザ入力デバイス６５２、６５４及び６５６は、同じタイプのユーザ入力デバイスであってもよく、異なるタイプのユーザ入力デバイスであってもよい。ユーザ入力デバイス６５２、６５４及び６５６は、システム６００に情報を入力し、システム６００から情報を出力するために使用される。
【００７２】
もちろん、処理システム６００は、当業者であれば容易に思いつくような他の要素（不図示）を含んでいてもよく、特定の要素を除いてもよい。例えば、当業者であれば容易に理解できるが、処理システム６００には、その詳細な実装に応じて他の様々な入力デバイス及び／または出力デバイスを含むことができる。例えば、無線及び／または有線による種々の入力デバイス及び／または出力デバイスを使用できる。さらに、当業者であれば容易に理解できるが、様々な構成において追加のプロセッサ、コントローラ、メモリ等を用いることも可能である。処理システム６００の上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
【００７３】
上記は、あらゆる観点において例示的（illustrative）かつ典型的（exemplary）であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、当業者であれば、本発明の範囲及び主旨から逸脱することなく、様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される詳細及び特殊性と共に説明したが、特許証で保護されることを求める特許請求の範囲は、添付の特許請求の範囲に示されている。
【図１】
0006596164.tif 000006
【図２】
0006596164.tif 000007
【図３】
0006596164.tif 000008
【図４】
0006596164.tif 000009