(57)【特許請求の範囲】
【請求項１】
領域適応システムであって、
物体のビューを有するラベル付けされたソース画像を含むデータベース（１０ｃ）と、
プロセッサによって実行され、ソース画像内の前記物体の複数の視点を合成して、前記ソース画像のための複数の視野拡張ソース画像を生成する視点合成器（１００）と、
前記プロセッサによって実行され、前記ソース画像内の前記物体の複数の視点の各々の測光を調整して、複数の照明および視野拡張ソース画像を生成する測光調整器（２００）と、
メモリに記憶された領域適応モジュール（５２０）とを有し、前記領域適応モジュールは、
前記複数の照明および視野拡張ソース画像の各々から特徴を抽出するための第１の特徴抽出器（３０１）と、
画像取得装置によって取得された複数の取得画像の各々から特徴を抽出するための第２の特徴抽出器（３０２）と、
前記第１の特徴抽出器からの抽出された特徴を、取得された画像の抽出された特徴と前記照明および視野拡張ソース画像の抽出された特徴との間の領域敵対学習を用いて領域適応を使用して分類するための第１の分類器（４０１）と、
前記取得された画像の抽出された特徴と前記照明および視野拡張ソース画像の抽出された特徴との間の領域敵対学習を用いて領域適応を使用して前記第２の特徴抽出器からの抽出された特徴を分類するための第２の分類器（４０２）と、を含み、
法律に違反する取得画像内の車両に対応するラベル付けされたターゲット画像と、車両分類を含む取得画像の前記抽出された特徴の分類に対応するラベルとを表示するためのディスプレイ（５３０）と、
法律に違反する前記取得画像内の車両のチケットを生成する自動応答システム（５３０）とを含む領域適応システム。
【請求項２】
測光を調整することは、属性固有のスタイル変更を生成することを含み、属性固有のスタイル変更は、前記視野拡張ソース画像のそれぞれにおける物体の照明に対する変更を含、請求項１に記載のシステム。
【請求項３】
前記測光調整器は、前記測光を調整することと同時に測光調整を実行するために、生成敵対ネット
ワークを訓練することをさらに含む、請求項１に記載のシステム。
【請求項４】
前記生成敵対ネットワークは、属性条件付きＣｙｃｌｅＧＡＮを含む、請求項３に記載のシステム。
【請求項５】
前記複数の視点を合成することは、
前記ソース画像内の前記物体の一般的な幾何学的構造に対応する２次元（２Ｄ）キーポイントを生成することと、
２Ｄキーポイントアピアランスフローネットワークを用いて、前記視野拡張ソース画像の各々に対応するターゲットビューに対する２Ｄキーポイントのアピアランスフロー表現を生成することと、
前記アピアランスフロー表現の各々を前記ソース画像と組み合わせて前記視野拡張ソース画像を生成することとを含む請求項１に記載のシステム。
【請求項６】
前記アピアランスフロー表現と、予め訓練されたアピアランスフローネットワークによって生成された表現との間で決定されたエラーを使用して、前記２Ｄキーポイントアピアランスフローネットワークを訓練することをさらに含む、請求項５に記載のシステム。
【請求項７】
前記２Ｄキーポイントアピアランスフローネットワークを訓練することをさらに含み、
視点でレンダリングされた、レンダリングされた３次元（３Ｄ）コンピュータ支援設計（ＣＡＤ）モデルのための２Ｄキーポイントを生成するための２Ｄキーポイントジェネレータと、
２Ｄキーポイントアピアランスフローネットワークを用いて、前記ターゲットビューのレンダリングされた３Ｄ  ＣＡＤモデルの前記２Ｄキーポイントのアピアランスフロー表現を生成することと、
前記３Ｄ  ＣＡＤモデルのための前記２Ｄキーポイントの前記アピアランスフロー表現を前記レンダリングされた３Ｄ  ＣＡＤモデルと組み合わせて、予測視点を生成する結合器と、
前記予測視点と前記ターゲットビュー内にレンダリングされたターゲットレンダリングされた３Ｄ  ＣＡＤモデルとの間の誤差を決定することとを含む、請求項５に記載のシステム。
【請求項８】
前記抽出された特徴を分類することは、前記抽出された特徴を第１の分類器で同時に分類することと、第２の分類器で領域識別を実行することとを含む、請求項１に記載のシステム。
【請求項９】
前記第１の分類器および前記第２の分類器がゼロの領域識別値に向かって訓練されるように、前記第１の分類器の分類と前記第２の分類器の分類との間の誤差に従って前記第１の分類器および前記第２の分類器の分類パラメータを共同で訓練することと、
前記第１の分類器の分類と前記第２の分類器の分類との間の誤差を使用して前記第１の特徴抽出器および前記第２の特徴抽出器の特徴パラメータを共同で訓練することとを含む、請求項８に記載のシステム。
【請求項１０】
前記第１の特徴抽出器および前記第２の特徴抽出器は、共有特徴パラメータを有する畳み込みニューラルネットワーク（ＣＮＮ）である、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連する出願情報
本出願は、２０１８年８月１日に出願された米国非仮特許出願第１６／０５１９２４号および２０１８年８月１日に出願された米国非仮特許出願第１６／０５１９８０号の優先権を主張し、これらの各々は、２０１７年８月３１日に出願された米国仮特許出願第６２／５５３０９０号および２０１７年１１月１４日に出願された米国仮特許出願第６２／５８５７５８号の優先権を主張し、これらの全ては、参照によりその全体が本明細書に組み込まれる。
【０００２】
本発明は、物体認識に関し、より詳細には、合成および領域適応による視点不変物体認識に関する。
【背景技術】
【０００３】
物体認識のためのニューラルネットワークモデルのようなコンピュータビジョンのためのツールを提供することは、モデルを訓練するためのデータの不足によって妨げられる可能性がある。物体認識アプリケーションのための訓練データは、訓練画像をラベル付けするために必要とされる大量の人的労力のために、生成および取得するのに非常にコストがかかる可能性がある。さらに、訓練画像のセットは、特定の視点から、または特定の照明の下で、物体のラベル付けされた画像のみを有することができる。したがって、モデルは、特定の環境における物体のための訓練のみである。物体を認識するモデルの能力を広げるために、様々な視点のための訓練データを得ることは、さらに困難であり、よりコストがかかる。したがって、２つ以上の視点に対して正確な物体認識モデルを開発するためにニューラルネットワークを訓練することは、トレーニング画像を取得するコストと、モデルをトレーニングする時間とを乗じる。
【０００４】
さらに、効率的で正確な物体認識モデルに対する障害は、表現空間であり得る。例えば、幾何学的分析のための強度を有する低レベル画素空間、又は意味分析のための強度を有する高レベル特徴空間のような、高レベル空間と低レベル空間との間にはトレードオフがある。物体認識モデルをこれらの表現空間のうちの１つだけに限定することは、選択された空間の強さから利益を得ることができるが、代替空間の利益を犠牲にし、したがって、いくつかのシナリオにおけるモデルの適用性を制限する。
【発明の概要】
【０００５】
本原理の一態様によれば、領域適応を実行するための方法が提供される。この方法は、物体のビューを有するラベル付けされたソース画像を収集するステップを含む。ソース画像内の物体の複数の視点が合成されて、ソース画像のための複数の視野拡張ソース画像を生成する。ソース画像内の物体の複数の視点の各々の測光は、複数の照明および視野拡張ソース画像を生成するように調整される。特徴は、第１の特徴抽出器を用いて複数の照明及び視野拡張ソース画像の各々から抽出され、第２の特徴抽出器を用いて画像取得装置によって取得された複数の取得画像の各々から抽出される。抽出された特徴は、取得された画像の抽出された特徴と照明及び視野拡張ソース画像の抽出された特徴との間の領域敵対学習を用いた領域適応を使用して分類される。ラベル付けされたターゲット画像は、取得された画像の各々に対応して生成され、取得された画像の各々における車両を識別する取得された画像の抽出された特徴の分類に対応するラベルを含む。取得された画像の各々における物体は、ユーザが車両を識別できるように自動的にログされる。
【０００６】
本原理の別の態様によれば、領域適応のためのシステムが提供される。システムは、物体のビューを有するラベル付けされたソース画像を含むデータベースを含む。視点合成器がプロセッサによって実行され、ソース画像内の物体の複数の視点を合成して、ソース画像のための複数の視野拡張ソース画像を生成する。測光調整器は、プロセッサによって実行され、ソース画像内の物体の複数の視点の各々の測光を調整して、複数の照明および視野拡張ソース画像を生成する。領域適応モジュールは、複数の照明および視野拡張ソース画像の各々から特徴を抽出するための第１の特徴抽出器と、画像取得装置によって取得された複数の取得された画像の各々から特徴を抽出するための第２の特徴抽出器と、取得された画像の抽出された特徴と照明および視野拡張ソース画像の抽出された特徴との間の領域敵対学習を用いた領域適応を使用して第１の特徴抽出器から抽出された特徴を分類するための第１の分類器と、取得された画像の抽出された特徴と照明および視野拡張ソース画像の抽出された特徴との間の領域敵対学習を用いた領域適応を使用して第２の特徴抽出器から抽出された特徴を分類するための第２の分類器とを含むメモリに格納される。ディスプレイは、法律に違反する取得画像内の車両に対応するラベル付けされたターゲット画像を表示するために使用され、ラベルは、車両分類を含む取得画像の抽出された特徴の分類に対応する。自動応答システムは、法律に違反する取得された画像内の車両のためのチケットを生成する。
【０００７】
これらおよび他の特徴および利点は、添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００８】
本開示は、以下の図面を参照して好ましい実施形態の以下の説明において詳細を提供する。
【図１】本発明の原理による、合成および領域適応による視点不変物体認識のための高レベルシステム／方法を示すブロック／フロー図である。
【図２】本発明の原理による、キーポイントベースの視点変換のためのシステム／方法を示すブロック／フロー図である。
【図３】本発明の原理による、敵対的測光変換のためのシステム／方法を示すブロック／フロー図である。
【図４】本発明の原理による、領域適応のための領域敵対的訓練を伴う特徴抽出のためのシステム／方法を示すブロック／フロー図である。
【図５】本発明の原理による、監視された駐車場における車両識別のためのシステム／方法を示すブロック／フロー図である。
【図６】本原理による、合成および領域適応による視点不変物体認識のためのシステム／方法を示すフロー図である。
【発明を実施するための形態】
【０００９】
本発明の原理によれば、合成および領域適応による視点不変物体認識のためのシステムおよび方法が提供される。
【００１０】
一実施形態では、特徴空間および画素空間領域適応は、教師なし視点合成を使用する領域適応モデルの半教師あり学習を使用して実施される。領域適応は、生成敵対ネットワークの訓練を改善するために物体のウェブ画像を活用する訓練を含むことができる。領域適応と半教師あり学習との間の接続を使用して、ウェブ画像のような訓練画像の比較的まばらなセットを用いて、物体認識のためにニューラルネットワークをより効率的かつより正確に訓練することができる領域敵対ニューラルネットワークを利用することができる。
【００１１】
本発明の態様によれば、領域−敵対的訓練は、特徴−空間領域適応を達成するために領域適応ニューラルネットワークのために使用されることができる。領域敵対物体は、例えば、分類器と弁別器との共同パラメータ化のような、半教師あり学習の原理を実施することによって、別個の弁別器の必要性を排除することによって改善することができる。したがって、分類器は、ターゲット領域により良好に転送され、ネットワークの精度を向上させ、訓練時間および訓練データセットを低減させることができる。
【００１２】
さらに、例えば、ラベル付けされたウェブ画像などのまばらなデータセットは、例えば、測光変換および視点変換を含む、教師なし視点合成を使用することによって、領域適応ニューラルネットワークを訓練するためにさらに活用することができる。視点合成は、教師なしネットワークを活用して、入力画像に対するピクセル空間適応を実行する。例えば、生成的な敵対的ネットワークを使用して、入力画像は、ラベル付けされた訓練画像なしに、新しい視点に適応され得る。したがって、訓練は、より安価であり、より効率的であり、一方、生成的な敵対ネットワークの正確さは、継続的に改善され得る。
【００１３】
測光変換に関して、生成敵対ネットワークは、入力から２つ以上の出力を生成することを容易にするために属性調整を使用して改善することができる。したがって、ネットワークの効率および速度は、一度に１つではなく複数の画素空間適応を決定することを容易にすることによって改善される。
【００１４】
外観フローは、例えば、ピクセルレベル視点変換のために使用されることができる。キーポイントを利用するためにアピアランスフローネットワークを修正することによって、例えば、物体の３次元（３Ｄ）レンダリング画像のようなまばらな訓練データを使用することができる。一般化されていない実際の物体ではなくキーポイントを使用することができるので、訓練がより効率的かつ安価になるだけでなく、アピアランスフローネットワークの速度および精度が改善される。
【００１５】
本明細書で説明される実施形態は、完全にハードウェアであってもよく、完全にソフトウェアであってもよく、またはハードウェアおよびソフトウェア要素の両方を含んでもよい。好ましい実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されないソフトウェアで実施される。
【００１６】
実施形態は、コンピュータまたは任意の命令実行システムによって、またはそれに関連して使用するためのプログラムコードを提供するコンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含むことができる。コンピュータ可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを格納、通信、伝搬、またはトランスポートする任意の装置を含むことができる。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体システム（または装置またはデバイス）、または伝搬媒体とすることができる。媒体は、半導体またはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、リジッド磁気ディスク、および光ディスクなどのようなコンピュータ可読記憶媒体を含むことができる。
【００１７】
各コンピュータプログラムは、汎用または専用プログラマブルコンピュータによって読み取り可能な機械可読記憶媒体またはデバイス（例えば、プログラムメモリまたは磁気ディスク）に有形に記憶され、記憶媒体またはデバイスがコンピュータによって読み取られて本明細書で説明される手順を実行するときに、コンピュータの動作を構成および制御することができる。本発明のシステムはまた、コンピュータプログラムで構成されたコンピュータ可読記憶媒体で具現化されると考えることができ、そのように構成された記憶媒体は、本明細書で説明される機能を実行するために、コンピュータに特定の事前定義された方法で動作させる。
【００１８】
プログラムコードを記憶および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に結合された少なくとも１つのプロセッサを含むことができる。メモリ要素は、プログラムコードの実際の実行中に使用されるローカルメモリ、大容量記憶装置、および実行中に大容量記憶装置からコードが取り出される回数を減らすために少なくともいくつかのプログラムコードの一時記憶装置を提供するキャッシュ・メモリを含むことができる。入力／出力またはI／O装置（キーボード、ディスプレイ、ポインティング装置などを含むが、これらに限定されない）は、直接または介在するI／Oコントローラを介して、システムに結合され得る。
【００１９】
介在する専用ネットワークまたは公衆ネットワークを介して、データ処理システムを他のデータ処理システムあるいはリモートプリンタまたはストレージデバイスに結合できるようにするために、ネットワークアダプタをシステムに結合することもできる。モデム、ケーブルモデム、およびイーサネット・カードは、現在使用可能なネットワークアダプタのタイプの一例に過ぎない。
【００２０】
ここで、類似の数字が同一又は類似の要素を表し、最初に図１を参照すると、合成及び領域適応による視点不変物体認識のためのシステム／方法のためのハイレベルなシステム／方法が、本原理の実施形態に従って図示されている。
【００２１】
本発明の態様の一実施形態によれば、ピクセルレベルおよび特徴レベルの画像変換を用いて、訓練効率ならびに物体認識の精度および速度を改善する。本システム／方法は、環境の２つ以上の観点から入力画像を処理することができる。例えば、例えばカメラのような撮像装置は、例えば第１の仰角のような第１の遠近法または視点を有する環境の第１の画像セットと、第２の遠近法または視点を有する環境の第２の画像セットとの画像を取り込むことができる。したがって、システムは、第１の監視画像１０ａおよび第２の監視画像１０ｂが異なる視点を有する、例えばソース画像１０ｃなどの訓練画像とともに、第１の監視画像１０ａおよび第２の監視画像１０ｂを含む監視画像を含むことができる。画像１０ａ，１０ｂおよび１０ｃは、例えば、視点合成器１００および測光調整器２００を有する合成モジュール５１０と、特徴抽出器３００および領域適応訓練ユニット４００を含む領域適応モジュール５２０とを含むシステムによって処理することができる。
【００２２】
システムは、第１の監視画像１０ａおよび第２の監視画像１０ｂを含む２つ以上の入力画像を利用して、監視画像１０ａおよび１０ｂ内の認識された物体を有するラベル付けされたターゲット画像３０を生成する。物体は、画像から意味的特徴を抽出する特徴抽出器３００を用いて認識される。したがって、特徴抽出器３００は、監視画像１０ａおよび１０ｂを他の画像と共に分析して意味的特徴を決定するように構成することができる。意味的特徴を決定することは、例えば、画像の連続的により高いレベルの特徴を決定するためのレイヤのセットを含むことができる。例えば、特徴抽出器３００は、例えば、抽出された特徴が幾何学的ではなく意味的であるように、より高いレベルの特徴を抽出するより多くのレイヤを有するより深いＣＮＮを備えた畳み込みニューラルネットワーク（ＣＮＮ）を含むことができる。したがって、特徴抽出器３００は、例えば、メモリまたはストレージに格納され、プロセッサを使用して実行されることができる。
【００２３】
特徴抽出器３００の特徴抽出を改善するために、特徴抽出器は、特徴抽出と同時に訓練されることができる。訓練は、例えば、ラベル付けされたウェブ画像のようなソース画像１０ｃを利用することができる。訓練画像セットは、高価であり、生成または取得が困難であり得るため、訓練画像は、例えば、ラベル付けされたコンテンツを有するウェブ画像としてインターネットなどのネットワークからインデックス付けされ得る。例えば、特徴抽出器３００は、監視画像１０ａ及び１０ｂから車両の種類及び／又はモデルを抽出するように構成することができる。したがって、ウェブ画像は、インターネット上で見つけられる様々な車両の種類およびモデルの画像とすることができ、各画像は、そこに描かれた車両の種類および／またはモデルでラベル付けされる。したがって、ソース画像１０ｃは、車両の種類および／またはモデルを認識するように特徴抽出器３００を訓練するために使用することができる。
【００２４】
監視カメラは、例えば、少なくとも第１の監視画像１０ａおよび第２の監視画像１０ｂを含む所与の車両の複数の視点を有することができるので、特徴抽出器３００は、車両の複数の視点を有するソース画像１０ｃなどのソース画像を使用することによって、より正確に訓練される。しかしながら、ソース画像１０ｃはウェブ画像であるので、識別される各車両のあらゆる視点の高密度なデータセットが存在しないことがある。視点は、例えば、遠近法およびカメラ角度、照明、ならびに設定および条件における任意の他のバリエーションを含み得る。したがって、ビュー変換を利用して、ソース画像１０ｃをソース画像１０ｃのコンテンツの複数のビューに変換することができる。
【００２５】
視点合成部１００及び測光調整部２００を用いて、画素レベルでの視点変換が可能である。視点シンセサイザ１００は、ソース画像１０ｃの視点、すなわち画角を変換することができる。例えば、ソース画像１０ｃが車両の正面図である場合、視点合成器１００は、ソース画像１０ｃを、例えば、１０度の仰角ビュー、または２０度の仰角ビュー、あるいは、例えば、約０度から約９０度の範囲内の任意の仰角ビュー、および、側面に対して約０度から約９０度の範囲内の任意の側面ビューなどの任意の他のビューに変換することができる。本発明の態様によれば、視点合成器１００は、ソース画像１０ｃのコンテンツの様々なビューを含むソース画像１０ｃの複数の変換を生成することができる。したがって、ソース画像１０ｃは、ソース画像１０ｃ内の物体の様々な視点を有する特徴抽出器３００にラベル付けされた訓練画像を提供するために使用され得る。
【００２６】
同様に、例えば、車両の監視映像のような画像は、様々な照明条件でキャプチャすることができる。様々な照明条件は、モデルが異なる照明条件で訓練されていない場合、物体認識に問題を引き起こす可能性がある。このように、測光調整器２００は、ソース画像１０ｃの照明を調整するために使用されることができる。例えば、視点合成器１００を用いてソース画像１０ｃのビュー変換を生成すると、測光調整器２００は、ソース画像１０ｃの生成されたビュー変換の各々において照明を調整するために使用され得る。したがって、ソース画像１０ｃ内の物体は、様々な視点ならびに様々な照明条件で表すことができる。このように、様々な条件の各々に対する訓練画像は、より効率的で、より正確で、より経済的な訓練のために特徴抽出器３００に提供されることができる。このように、視点合成器１００および測光調整器の各々は、例えば、メモリまたは記憶装置に記憶され、プロセッサを使用して実行され、異なる視点および照明を有する物体の様々な画像を生成することができる。
【００２７】
本発明の態様によれば、特徴抽出器３００の訓練は、例えば、領域適応訓練ユニット４００を使用して実行することができる。領域適応訓練ユニット４００は、ソース領域に対してターゲット領域を訓練することができる。ターゲット領域とソース領域は同一でない場合がある。このように、領域適応訓練ユニット４００は、ソース領域を異なるターゲット領域と比較するためにモデルを適応させるために使用される。本発明の態様による一実施形態では、ソース領域は、視点合成器１００および測光調整器２００によって生成されたソース画像１０ｃの調整されたビューと共に、ソース画像１０ｃを含む。ターゲット領域は、例えば、第１の監視画像１０ａおよび第２の監視画像１０ｂを含む、特徴抽出器３００によって分析される監視画像を含むことができる。ソース領域とターゲット領域は同一ではないので、特徴抽出器３００は、領域が適合される場合、特徴抽出のためにより良好に訓練され得る。
【００２８】
本発明の態様によれば、領域適応は、例えば、異なる領域にもかかわらず、類似の物体に対応する類似の特徴を抽出するようにソースおよびターゲット領域を適応させる敵対的技法を含むことができる。本発明の一実施形態による領域適応訓練ユニット４００の一例は、例えば、領域敵対ニューラルネットワーク（ＤＡＮＮ）を使用する汎用領域適応のための領域敵対訓練である。ＤＡＮＮの敵対的技法は、特徴抽出器３００の正確な訓練のために、ソース領域とターゲット領域とを正確に比較することができる。さらに、例えば、共同パラメータ化分類器および弁別器を使用するＤＡＮＮは、敵対的訓練における誤り率を低減することができる。精度および効率的な訓練をさらに改善するために、例えば、エントロピー正則化をＤＡＮＮに組み込むことができる。エントロピー正則化は、分類分布が、ラベル付けされていないデータをより良く反映するために「ピーク」であるべきであるという原理を組み込むことができる。領域適応ユニット４００は、例えば、メモリまたはストレージに格納され、メモリまたはストレージに格納され、プロセッサによって実行されるＤＡＮＮを使用して、プロセッサを使用して実行され得る。
【００２９】
領域適応訓練ユニット４００によって決定された損失物体は、特徴抽出器３００にフィードバックされ、分類および領域識別に対応する損失に従って特徴抽出器３００を訓練することができる。したがって、特徴抽出器３００は、弁別器をだますように訓練され、したがって、特徴抽出のためのターゲット領域により良く適合される。したがって、出力ラベル付けされたターゲット画像３０は、監視画像１０ａおよび１０ｂから特徴を同時に抽出し、領域適応および領域敵対訓練に従って訓練を継続することができる、より訓練された特徴抽出器３００に従って、より正確かつ効率的に生成される。
【００３０】
さらに、ラベル付けされたターゲット画像３０のクラスラベルは、自動応答システム５３０によって使用され得る。自動応答システム５３０は、例えば、不法駐車車両のためのチケットを自動的に生成する駐車場チケットシステム、または、例えば、赤色灯を走らせるなど、交通法に違反する車両のためのチケットを自動的に生成する交通カメラを含むことができる。例えば、認識された車両または他の物体上のデータを含む任意の形態を生成するのに適したシステムを含む、他の適切な自動応答システム５３０が企図される。
【００３１】
次に図２を参照すると、本原理の一実施形態による、キーポイントベースの視点変換のためのシステム／方法が例示的に示されている。
【００３２】
本発明の一態様によれば、視点合成器１００の一実施形態は、アピアランスフローネットワーク１１０および１２２を含むことができる。アピアランスフローネットワーク110は、ソース画像10cからアピアランスフローを生成し、ソース画像10cのアピアランスフローの堅固な表現に従って２次元（２Ｄ）キーポイントアピアランスフローネットワーク１２２を訓練することができる。
【００３３】
アピアランスフローネットワーク１１０は、例えば、ソース１０ｃとターゲット視点１０ｄとの間のピクセルの密なフローを推定することを含むことができる。一旦推定されると、アピアランスフロー表現は、ピクセルを再編成するために双一次サンプリングを使用して合成され得る。アピアランスフローネットワーク１１０は、出力アピアランスフロー表現からの予測された視野拡張ソース画像１２ａとターゲット視点１０ｄの地上真実表現とを比較することによって訓練することができる。
【００３４】
しかしながら、ソース画像１０ｃ及び地上真実ターゲット画像１０ｄのソース視点は、視点変化のみを含むことができるので、訓練ペアとして取得することが困難である。したがって、現実の画像の高度に制御されたデータセットを使用して、アピアランスフローネットワークを訓練することができる。しかしながら、これらの高度に制御されたデータセットは、実用的に高価であり、入手するのが困難である。したがって、訓練中のソース画像10cは、例えば、レンダリングされた３次元（３Ｄ）コンピュータ支援設計（ＣＡＤ）画像を含むことができる。これらの３Ｄ  ＣＡＤ画像は、容易に入手可能であり、その中に表される物体のための３Ｄ情報を提供する。その結果、３Ｄ  ＣＡＤ画像は、ソース画像１０ｃと地上真実ターゲット画像１０ｄを提供するために、ソース視点とターゲット視点とで正確に描画することができる。このように、訓練されたアピアランスフローネットワーク１１０は、2D画像にレンダリングされた３Ｄ  ＣＡＤ画像を含むソース画像１０ｃの堅固なアピアランスフロー表現を生成することができる。これにより、ソース画像１０ｃの物体の目標視点を含む視野拡大ソース画像１２ａを正確に予測することができる。
【００３５】
アピアランスフローネットワーク１１０は、ターゲット画像１０ｄのための堅固で高密度なアピアランスフロー表現を生成することができるが、アピアランスフローネットワーク１１０は、画素レベルの詳細を利用する。したがって、レンダリングされた３Ｄ  ＣＡＤ画像上で訓練されると、アピアランスフローネットワーク１１０は、現実の画像に一般化できない可能性がある正確なアピアランスフロー表現を生成する。したがって、堅固なアピアランスフロー表現は、より一般的な２Ｄキーポイントアピアランスフローネットワーク１２２を訓練するために使用することができる。したがって、２Ｄキーポイントアピアランスフローネットワーク１２２は、画像の２Ｄキーポイントのアピアランスフローを合成するために組み込まれる。
【００３６】
２Ｄキーポイントの使用は、２Ｄキーポイントが、ピクセルレベルの幾何学的特徴とは対照的に、より高いレベルの幾何学的特徴を活用するため、領域にわたって十分に一般化する。したがって、一般的な形状を２Ｄキーポイントでキャプチャすることができ、２Ｄキーポイントアピアランスフローネットワーク１２２は、例えば、車両などのクラスの物体を表すことができる一般的な幾何学的特徴に従って訓練することができる。
【００３７】
したがって、２Ｄキーポイント生成器１２０は、ソース画像１０ｃの幾何学的特徴に対応する２Ｄキーポイントを生成することができる。２Ｄキーポイントは、例えば、特定の種類及び／又はモデルの車両のような、ソース画像１０ｃの物体の一般的な表現を形成する。２Ｄキーポイントは、２Ｄキーポイントアピアランスフローネットワーク１２２に提供することができる。したがって、２Ｄキーポイントアピアランスフローネットワーク１２２は、同じソース画像１０ｃのピクセルレベルアピアランスフロー表現を生成するアピアランスフローネットワーク１１０と並行して、３Ｄ  ＣＡＤ画像からレンダリングされたソース画像１０ｃのアピアランスフロー表現を生成することができる。
【００３８】
２Ｄキーポイントアピアランスフロー表現は、ターゲット視点に対応する高密度な２Ｄキーポイントアピアランスフロー１１ｂを予測するために使用されることができる。結合器１２４ｂで結合されると、高密度な２Ｄキーポイントアピアランスフロー１１ｂは、ソース画像１０ｃを修正することができる。修正は、ソース画像１０ｃの複数の他の視点の合成を含むことができる。従って、視界拡張ソース画像１２ｂは、ソース画像１０ｃを拡張した高密度２Ｄキーポイントアピアランスフロー１１ｂから合成することができる。
【００３９】
同様に、アピアランスフローネットワーク１１０は、ピクセルレベル分析に基づいて、ソース画像１０ｃの高密度なアピアランスフロー１１ａを生成することができる。次に、高密度なアピアランスフロー１１ａを使用して、結合器１２４ａでソース画像１０ｃを拡張することができ、その結果、ソース画像１０ｃを修正して、複数の他の視点を合成することができる。したがって、視野拡張ソース画像１２ａも、例えば視野拡張ソース画像１２ｂの合成と同時に合成される。
【００４０】
アピアランスフローネットワーク１１０は、ソース画像10cに対応する地上真実ターゲット画像１０ｄに対して訓練されているので、予め訓練されたアピアランスフローネットワーク１１０からの知識は、アピアランスフローネットワーク１１０の堅固なアピアランスフロー表現と２Ｄキーポイントアピアランスフローネットワーク１２２の２Ｄアピアランスフロー表現との間の損失を決定することによって、２Ｄキーポイントアピアランスフローネットワーク１２２を訓練するために蒸留され得る。損失決定は、推定された２Ｄキーポイントアピアランスフロー表現から生成された視野拡張ソース画像１２ｂと地上真実ターゲット画像１０ｄとの間の差によって決定された損失と組み合わせることができる。このように、２Ｄキーポイントアピアランスフローネットワーク１２２は、アピアランスフローネットワーク１１０からの知識と、地上真実ターゲット画像１０ｄとを同時に訓練される。
【００４１】
その結果、２Ｄキーポイントアピアランスフローネットワーク１２２は、アピアランスフローへのピクセルレベルの洞察の知識も含めながら、領域全体にわたって十分に一般化する堅固な予測を生成することができる。例えば、アピアランスフローネットワーク１１０のようなピクセルレベルアピアランスフローネットワーク単独と比較して、２Ｄキーポイントアピアランスフローネットワーク１２２は、レンダリングされた３Ｄ  ＣＡＤモデルに対して０．０７２のピクセル毎の再構成誤差を有する拡張画像を生成することができる。アピアランスフローネットワーク１１０のみを、０．０７１の再構成を達成するように訓練することができる。したがって、２Ｄキーポイントアピアランスフローネットワーク１２２は、領域にわたるより大きな一般化を伴って、同等のレベルの精度を達成することができる。
【００４２】
上述した視点合成器１００は、１つ以上のビュー拡張ソース画像１２ｂを予測するように実施することができる。レンダリングされた３Ｄ  ＣＡＤ画像が訓練に使用されるので、任意の数のターゲット画像１０ｄを使用して、３Ｄ  ＣＡＤ画像の３Ｄデータを使用して、アピアランスフローネットワーク１１０および２Ｄキーポイントアピアランスフローネットワーク１２２を訓練することができる。例えば、ソース画像１０ｃが車両の正面図である場合、視点合成器１００は、例えば、１０度の仰角ビュー、または２０度の仰角ビュー、あるいは、例えば、約０度から約９０度の範囲の任意の仰角ビュー、および、側面に対して約０度から約９０度の範囲の任意の側面ビューなどの任意の他のビューを含む、ターゲット視点で視野拡張ソース画像１２ａおよび１２ｂを予測するように訓練され得る。
【００４３】
さらに、訓練時に、視点合成器１００は、ウェブ収集画像を含むソース画像10cのターゲット視点を予測し、ウェブ収集画像内の物体のビューを様々な視点で生成するために使用することができる。ウェブ収集画像は、ウェブ収集画像の視野拡張ソース画像１２ｂを予測しながら２Ｄキーポイントフローネットワーク１２２を同時に訓練するために、アピアランスフローネットワーク１１０と２Ｄキーポイントアピアランスフローネットワーク１２２との両方に提供することができる。従って、各ウェブ収集ソース画像に対してターゲット画像１０ｄが存在しないかもしれないが、アピアランスフローネットワーク１１０は、依然として、２Ｄキーポイントアピアランスフローネットワーク１２２に対して洞察を提供するために実装することができ、一方、２Ｄキーポイントアピアランスフローネットワーク１２２は、視野拡張ソース画像１２ｂを予測する。
【００４４】
ここで図３を参照すると、敵対的測光変換のためのシステム／方法が、本発明の原理の実施形態に従って例示的に示されている。
【００４５】
本発明の一実施形態によれば、ソース画像１０ｃの予測視点を有する視野拡張ソース画像１２は、視野拡張ソース画像１２内の物体の異なる照明条件を予測するために測光調整器２００に提供され得る。監視画像１０ａおよび１０ｂは、様々な照明変動を含むことができるので、対応する照明変動を含むようにソース画像１０ｃの領域を調整することにより、特徴抽出器３００の訓練を改善することができる。
【００４６】
本発明の態様によれば、測光調整は、属性固有生成器２１０によって実行することができる。属性固有生成器２１０は、視野拡張ソース画像１２に対する色調整を生成する生成器としてニューラルネットワークを実装することができる。したがって、属性固有生成器２１０は、視野拡張ソース画像１２の幾何学的構造を保存するために、例えば、Ｕｎｅｔニューラルネットワークを含むニューラルネットワークを含むことができる。
【００４７】
属性固有生成器２１０は、例えば、ＣｙｃｌｅＧＡＮまたは他のＧＡＮのような生成敵対ネットワーク（ＧＡＮ）において訓練され得る。したがって、属性固有照明生成器２１０は、入力画像のそれぞれについて照明に対する１つまたは複数の調整を生成し、したがって、予測スタイルおよび視野拡張ソース画像１３を出力する。しかしながら、例えば、ＣｙｃｌｅＧＡＮのようなＧＡＮは、各入力画像に対して、照明のような１つの出力スタイルのみを予測することに限定されてもよい。したがって、生成器２１０のＧＡＮは、条件変数を生成器２１０に組み込んで属性固有生成器２１０を形成することによって、複数のスタイル変更を予測できるように属性条件付けすることができる。条件変数は、例えば、昼間および夜間に対応する照明、ならびに、薄暗い照明などの中間の照明条件、ならびに任意の他の調整など、複数の条件を含むことができる。
【００４８】
条件変数を組み込むことにより、属性固有生成器210は、特定の属性に従って画像調整を生成することができ、したがって、同じ幾何学的構造を有する多様な出力画像を容易にする。したがって、各視野拡張ソース画像１２は、様々なスタイルを生成し、拡張ソース画像13をビューするために使用することができ、スタイルは、予測され生成される状態を指す。したがって、属性固有生成器２１０は、例えば、照明（例えば、昼対夜の照明）を含むスタイル拡張を含む視野拡張ソース画像１２への拡張を予測することができる。したがって、拡張は、属性固有生成器２１０内の視野拡張ソース画像１２に適用されて、拡張の各属性に対応する１つまたは複数のスタイルおよび視野拡張ソース画像１３を予測する。
【００４９】
属性固有生成器２１０を訓練するために、スタイルおよび視野拡張ソース画像１３は、属性固有逆生成器２２０によってスタイル反転されて、画像を視野拡張ソース画像１２の領域に戻すスタイル反転画像14を予測する。属性固有逆生成器２２０は、例えばＵＮｅｔの逆など、属性固有生成器２１０によって適用されるスタイル拡張を逆にするための任意の生成器とすることができる。本発明の一実施形態によれば、属性固有逆生成器２２０は、属性固有生成器２１０の逆によって形成される生成器である。したがって、属性固有の拡張および属性固有の逆拡張を提供するために、１つの生成器のみを訓練する必要がある。
【００５０】
属性固有生成器２１０によって適用されるスタイル拡張を反転させることによって、スタイル反転画像１４は、属性固有生成器２１０内のエラーの程度を反映する。したがって、スタイル反転画像１４は、属性固有弁別器２３０を使用して視野拡張ソース画像１２に対して弁別され、拡張および反転拡張プロセスにおけるエラーの程度を決定することができる。したがって、属性固有弁別器２３０は、ローカルパッチから実際の／偽の決定を行うために、例えばパッチＧＡＮを含むことができる。したがって、属性固有逆生成器２２０とのサイクル整合性を有する敵対分析に従って、スタイル反転画像１４と視野拡張ソース画像１２との間の損失を決定することができる。
【００５１】
測光調整器２００は監視されておらず、訓練画像なしに訓練することができるので、測光調整器２００は、ソース画像１０ｃが視点合成器１００で視野拡張され、測光調整器２００でスタイル拡張されるときに、連続的に訓練されることができる。したがって、属性固有生成器２１０は、継続的に改善され、スタイル拡張の精度および効率を向上させる。
【００５２】
次に図４を参照すると、領域適応のための領域敵対的訓練を用いた特徴抽出のためのシステム／方法が、本原理の実施形態に従って例示的に示されている。
【００５３】
本発明の実施形態によれば、特徴抽出器３００は、領域適応訓練ユニット４００の助けを借りて特徴レベル領域適応のための特徴２０及び２３を抽出する。領域適応訓練ユニット４００は、スタイルのソース領域に対して訓練された監視画像１０のターゲット領域から特徴を抽出し、拡張ソース画像１３を見るために、特徴抽出器３００を訓練するのを支援することができる。監視画像１０及びスタイル及び視野拡張ソース画像１３は異なる領域からのものであるため、例えば、敵対的訓練を用いて特徴抽出器３００を訓練することができる。敵対的訓練を使用することは、教師なし訓練を容易にし、したがって、ソース領域とターゲット領域のペアを有する大きな訓練セットの必要性を低減する。したがって、領域適応モジュール５２０のための可能な構造は、例えば、領域敵対ニューラルネットワーク（ＤＡＮＮ）である。
【００５４】
領域適応モジュール５２０のＤＡＮＮ構造は、監視画像１０の特徴提示と、ソース領域のスタイルおよび視野拡張ソース画像１３との間の差を低減する特徴抽出器３００を訓練することによって、ターゲット領域の監視画像１０の訓練を容易にする。したがって、領域適応モジュール５２０は、監視画像１０およびスタイルおよび視野拡張ソース画像１３の各々が同じ物体を含む場合に、監視画像１０およびスタイルおよび視野拡張ソース画像１３から同じ特徴を抽出するように特徴抽出器３００を訓練する。
【００５５】
特徴抽出器３００を訓練するために、他のＣＮＮ３０２はスタイル及び視野拡張ソース画像１３から拡張ソース特徴23を同時に抽出する一方で、畳込みニューラルネットワーク（ＣＮＮ）３０１は、監視画像１０から監視特徴２０を抽出する。ＣＮＮ３０１及び３０２の各々は、例えば、入力画像から特徴表現を抽出するための任意のニューラルネットワークとすることができる。本発明の１つの可能な実施形態は、例えば、各ＣＮＮ３０１と３０２との間の共有されたパラメータまたは重みを含む。ＣＮＮ３０１とＣＮＮ３０２との間で重みを共有することによって、ＣＮＮ３０１および３０２の両方を、領域適応訓練ユニット４００に従って共同で訓練することができる。
【００５６】
領域適応訓練ユニット４００は、特徴抽出モジュール３００によって生成された特徴表現の差異に従って特徴抽出器３００を訓練する。したがって、領域適応訓練ユニット４００は、監視特徴２０を拡張ソース特徴２３と比較する。比較のために、領域適応訓練ユニット４００は、例えば、教師なし領域適応（ＵＤＡ）スキームなどの敵対的訓練を使用することができる。したがって、領域適応訓練ユニット４００のＵＤＡスキームは、識別不能であるが、識別力を維持する特徴表現を生成するように特徴抽出器３００を訓練する。したがって、領域適応訓練ユニット４００は、特徴２０および２３のそれぞれの分類ならびに識別を決定する。
【００５７】
領域適応訓練ユニット４００は、例えば、別個の分類器および識別器を用いて分類および識別を実行することができるが、別個の識別器を有さない分類器が使用されるように、共同パラメータ化構造が代わりに使用され得る。共同パラメータ化によれば、領域適応訓練ユニット４００は、監視特徴２０の分類および領域識別の両方を決定するための分類器４０１と、拡張ソース特徴２３の分類および領域識別の両方を決定するための分類器４０２とを含む。その結果、損失関数の領域敵対目的関数は、分類器４０１および４０２の各々において、分類変換目的関数として再定式化されることができる。
【００５８】
識別器なしの分類器を使用する結果として、分類器４０１および４０２はそれぞれ、例えば、各分類に対応するクラススコアのためのエントリ、ならびに領域識別に対応する領域分類スコアのための追加のエントリを含む出力を生成することができる。したがって、分類器４０１および分類器４０２は、それぞれ、例えば、監視特徴２０および拡張ソース特徴の特徴分類および領域分類の両方をそれぞれ決定するためのパラメータを含む。これらのパラメータは、例えば、以下の式（１）の関数のようなソフトマックス損失関数を含む損失関数に従って訓練されることができる。
【００５９】
【数１】
0006847277.tif 000002
【００６０】
ここで、θcは、式（１）によって最適化された分類器４０１および４０２のためのパラメータであり、Ｌcは分類器４０１および４０２のためのクロスエントロピー損失であり、χsはスタイルおよび視野拡張ソース画像１３を含むソース領域データのセットであり、χtは監視画像１０を含むターゲット領域データのセットであり、
【００６１】
【数２】
0006847277.tif 000003
【００６２】
はソース領域のための期待値を示し、
【００６３】
【数３】
0006847277.tif 000004
【００６４】
はターゲット領域のための期待値を示し、Ｃはクラススコア関数であり、ｆ（ｘ）は特徴表現関数であり、ｙはラベルのセットのクラスラベルであり、Ｎはクラスラベルのカテゴリの数である。
【００６５】
したがって、分類器パラメータθcの損失関数は、ソース領域分類器４０２の項、ならびにターゲット領域分類器４０１のＮ＋１エントリの両方を含む。各分類器４０１および４０２におけるＮ＋１エントリは、領域識別分類のために提供されるエントリである。したがって、分類器４０１および４０２のためのパラメータを最適化することは、ラベルクラスｙに加えて、領域クラスのための最適化を含む。その結果、領域識別器を別々に訓練するのではなく、分類器４０１および４０２は、分類器４０１および４０２のクラスとして領域識別を割り当てることによって領域識別を組み込むように訓練される。
【００６６】
しかしながら、クラススコア関数Ｃ（ｆ（ｘ），ｙ）は、クラスラベルのセットＣ（ｆ（ｘ），（ｙ｜γ））が与えられたクラススコア関数と、Ｃ（ｆ（ｘ），ｙ）＝Ｃ（ｆ（ｘ），（ｙ｜γ））（１−Ｃ（ｆ（ｘ），Ｎ＋１））となるような識別器クラスＣ（ｆ（ｘ），Ｎ＋１）のクラススコア関数との積と等価である。したがって、式（１）は式（２）のように書き換えられる。
【００６７】
【数４】
0006847277.tif 000005
【００６８】
式中、
【００６９】
【数５】
0006847277.tif 000006
【００７０】
は分類による損失に相当し、
【００７１】
【数６】
0006847277.tif 000007
【００７２】
は識別による損失に相当する。
【００７３】
したがって、式（１）または式（２）の損失関数を適用すると、分類器パラメータθcは、例えば、分類器４０１および分類器４０２のそれぞれのパラメータを一緒に訓練するために、例えば、確率的勾配降下のような勾配降下を使用して更新され得る。分類器パラメータθcを更新することに加えて、分類に起因する損失を含む損失Ｌcが計算された。分類に起因する損失は、例えば、以下の式（３）を含むソフトマックス損失関数のような損失関数を使用して、ＣＮＮ３０１および３０２を訓練するために使用され得る。
【００７４】
【数７】
0006847277.tif 000008
【００７５】
ここで、θfは、式（２）によって最適化されるＣＮＮ３０１および３０１のパラメータであり、Ｌfは、ＣＮＮ３０１および３０２のクロスエントロピー損失であり、λは、分類と領域識別とのバランスをとるハイパーパラメータである。
【００７６】
したがって、分類器４０１および４０２は、クロスエントロピー損失を介して訓練され、分類器４０１および４０２の損失は、ＣＮＮ３０１および３０２のパラメータを共同で訓練するために使用され得る。その結果、ＣＮＮ３０１および３０２は、別個の識別器を使用することなく、分類器４０１および４０２の領域クラスをだますために、敵対的な技法で訓練される。その結果、特徴抽出及び分類の精度を向上させつつ、計算量を削減することができる。その結果、領域適応モジュール５２０は、より信頼性の高い予測ターゲットクラスラベル３０ａおよび予測ソースクラスラベル３０ｂに対して、より正確かつより効率的にされる。
【００７７】
本発明の態様によれば、エントロピー正則化を使用することによって、精度をさらに向上させることができる。式（１）、（２）および（３）の損失関数は、ターゲットデータの事前分類分布を想定していないので、ＣＮＮ３０１および３０２は、特徴の正確な分布のために訓練されないことがある。しかしながら、分類器４０１および４０２は、分類分布のエントロピーを最小化することによって、ラベル付けされていないデータのより正確な分布のために訓練することができる。特に、エントロピー正則化は、以下の式（４）に反映されるように式（３）を修正することによって、ピーククラス予測をN個のクラスのうちの１つに促進することを含むことができる。
【００７８】
【数８】
0006847277.tif 000009
【００７９】
ここで、ｉは１からＮ＋１までの指標であり、ｙは分類識別と物体の識別違いとのバランスをとるハイパーパラメータである。
【００８０】
ここでは、
【００８１】
【数９】
0006847277.tif 000010
【００８２】
は、分類器４０１および４０２のピーク予測を促進することを容易にし、γｌｏｇ（ｆ（ｘ），１−Ｃ（Ｎ＋１））の項は、ドメインクラススコアの識別器をだますための学習を促進する。その結果、式（４）は、ピーク分類分布の予測と、識別器の違いとのバランスをとる、領域適応モジュール５２０のエントロピー正規化バージョンを表す。その結果、予測ターゲットクラスラベル３０ａおよび予測ソースクラスラベル３０ｂがより正確にされる。
【００８３】
次に図５を参照すると、監視された駐車場における車両識別のためのシステム／方法が、本原理の一実施形態に従って例示的に示されている。
【００８４】
本発明の実施形態の態様によれば、合成および領域適応は、監視された駐車場における車両認識のために使用され、駐車場セキュリティの強化を容易にする。
【００８５】
本発明の態様によれば、駐車場６１０は車両６１１を収容するための複数の駐車スペース６１２を含む。カメラ６００は、駐車スペース６１２を占有する車両６１１を監視するために駐車場６１０を監視することができる。駐車場６１０の監視を容易にするために、カメラ６００は、例えば、物体認識システム５００と通信して、車両を認識し、認識された車両の指示を返すことができる。カメラ６００はまた、例えば、コンピュータシステム６２０およびデータベース６３０を含むネットワーク６４０と通信することができる。
【００８６】
物体認識システム５００は、車両を認識するために領域適応を採用することができる。カメラ６００は、様々な照明条件で広い物理的領域にわたって画像をキャプチャしているので、車両上の視点は、広範囲の視点および照明にわたって変化する。このように、この広範に変化するシナリオのために訓練するための訓練データのセットは、各視点の可能性のために訓練ペアが必要とされるので、得ることが困難である。その代わりに、物体認識システム５００は、例えば、ウェブベースのデータベースなどのデータベース６３０からのラベル付けされた画像を使用して訓練されるように構成され得る。したがって、物体認識システム５００は、視点の可能性の大きな集合を表さない、広く利用可能で安価なラベル付けされた画像で訓練される。例えば、物体認識システム５００は、車両６１１の種類および／またはモデルの認識を訓練するために、様々な種類および／またはモデルの車両の正面図画像を提供され得る。
【００８７】
データベース６３０からの画像を用いて物体認識システム５００を訓練するために、物体認識システムは、視点の可能性を再現するための領域適応を含むことができる。領域適応は、例えば、上述した合成器モジュール５１０のような合成器モジュール５１０と、上述した領域適応モジュール５２０のような領域適応モジュール５２０とによって実行することができる。したがって、合成器モジュール５１０を使用して、データベース６３０からのラベル付けされた画像の様々な視点を合成することができる。領域適応モジュール５２０は、データベース６３０からの元のラベル付けされた画像と同様に、合成された視点をソース領域画像として使用して、駐車場６１０の類似するが必ずしも同等ではない目標領域における物体認識のためのニューラルネットワーク訓練を一般化することができる。
【００８８】
したがって、合成器モジュール５１０は、例えば、測光調整、視点調整、ならびに様々なシナリオを表すための他のビューおよびスタイル調整を含むことができる。合成器モジュール５１０は、データベース６３０のラベル付けされた画像と同様に、ウェブ収集された画像を使用して訓練することができる。しかしながら、合成器モジュール５１０は、例えば、３Ｄ  ＣＡＤモデルを使用して訓練されることができる。３Ｄ  ＣＡＤモジュールを使用することは、異なるビューにおいて３Ｄ  ＣＡＤモデルをレンダリングすることによって、所望の視点に従った訓練のためのソースおよびターゲット画像を形成することを容易にする。したがって、ソース画像およびターゲット画像を使用して、上述したように、例えば、アピアランスフローネットワークなどの視野拡張機構を訓練することができる。特に、３Ｄ  ＣＡＤモデルは、ソース表現およびターゲット表現でレンダリングされ得る。モデルの物体を一般化するために、レンダリングされたソース表現から２Ｄキーポイントを生成することができる。アピアランスフローネットワークは、レンダリングされたソース表現を使用してターゲット領域内のソース表現を予測するために実装されることができる。同時に、生成された２Ｄキーポイントを使用してターゲット領域内の２Ｄキーポイントを予測するために、キーポイントベースのアピアランスフローを使用することができる。２Ｄキーポイントは、ターゲット画像を予測するためにソース表現と融合されることができる。次いで、予測とレンダリングされたターゲット表現との間の誤差に基づいて、アピアランスフローおよびキーポイントベースのアピアランスフローを共同で訓練することができる。次いで、２Ｄキーポイントベースのアピアランスフローネットワークを使用して、データベース６３０からラベル付けされた画像内の２Ｄキーポイントを生成し、ラベル付けされた画像のそれぞれについて様々な視点を合成することができる。
【００８９】
さらに、スタイル拡張機構を使用して、例えば、データベース６３０からのラベル付けされた画像の測光調整を介して照明シナリオを調整することができる。測光調整は可逆的なプロセスである。したがって、測光調整のためのネットワークを訓練することは、例えば、ＣｙｃｌｅＧＡＮなどを用いて、例えば、敵対的訓練を使用して、監視されずに実行することができる。例えば、ラベル付けされた画像は、生成器を用いて測光的に調整され得る。次に、調整された画像は、生成器の逆数を用いて逆にすることができる。次に、オリジナルのラベル付けされた画像と、調整された画像及び反転された画像との間の誤差は、発生器及びその反転の誤差を決定するために識別器を使用して評価されることができる。次に、発生器をこの誤差に対して訓練することができる。次いで、生成器を使用して、ラベル付けされた画像の合成視点を測光的に調整し、合成視点のそれぞれについて様々な照明スタイルを生成することができる。
【００９０】
視点合成のための機構および測光調整のための機構が議論されてきたが、他のスタイルおよびビュー合成は、とりわけ、例えば、物体のオクルージョンおよび部分的なオクルージョンのような、任意の数の変数に対して実行され得る。したがって、駐車場６１０における物体認識を訓練するために使用することができる、データベース６３０からの各ラベル付けされた画像について、様々なシナリオが作成される。例えば、車両の種類および／またはモデルでラベル付けされた車両の正面図を合成して、約０°から約９０°の範囲の仰角点から、および約０°から約９０°の間の斜視図で、画像の車両の昼間および夜間の両方のビューを提供することができる。その結果、訓練データの大きなコーパスが、元のラベル付けされた画像から生成される。
【００９１】
領域適応モジュール５２０は、訓練画像のコーパスを使用して、例えばＣＮＮまたは他のニューラルネットワークを使用して、カメラ６００によってキャプチャされた画像から特徴を抽出することができる。領域適応モジュール５２０はまた、キャプチャされた画像にラベル付けするために抽出特徴を分類するように訓練され得る。訓練は、例えば、上述したものと同様の領域敵対ニューラルネットワーク（ＤＡＮＮ）を使用して実行することができる。特に、例えば、ＣＮＮを含む特徴抽出器は、キャプチャされた画像及び訓練画像のそれぞれから特徴を抽出することができる。次いで、分類器は、キャプチャされた画像と、対応する視点を有する訓練画像とを同時に分類し、領域識別を実行することができる。次いで、分類器は、領域識別をゼロに減少させ、分類器の領域識別を効果的にだますように訓練され得る。次いで、分類器の訓練は、各分類器について対応するＣＮＮを訓練するための損失関数に組み込まれ得る。分類器は、分類および領域識別の両方を実行するので、ＣＮＮに、ターゲット領域について定義されたクラスのセットの１つに分類可能な表現を生成させることによって、訓練を正確かつ効率的に実行することができる。したがって、分類器および識別器の単一の分類器への共同パラメータ化は、分類器およびＣＮＮを訓練する際に、より正確かつより効率的な、分類器転送目的を形成する。
【００９２】
次いで、領域適応モジュール５２０は、データベース６３０のラベル付けされた画像からの訓練に基づいて、車両の種類及び／又はモジュールに対応する分類を生成することができる。訓練は、キャプチャ画像の分類と同時に、または別個に実行され得る。物体認識モジュール５００の精度を常に向上させるために、訓練を連続的に行うこともできる。
【００９３】
分類された画像は、分類に対応するラベル、例えば、カメラ６００によってキャプチャされた車両６１１の種類および／またはモデルのためのラベルでラベル付けすることができる。キャプチャされた画像上のラベルは、データベース６３０に格納され、例えば、ディスプレイ又はコンピュータ６２０を介してユーザに提供される。キャプチャされた画像上のラベルはまた、ネットワーク６４０と通信する任意の他のデバイスに提供され得る。
【００９４】
ネットワーク６４０は、任意のネットワーク、例えば、ローカルエリアネットワーク、ＷｉＦｉネットワーク、インターネット、イントラネットシステム、直接接続、または任意の他の通信ネットワークを含む有線または無線ネットワークとすることができる。
【００９５】
次に図６を参照すると、本原理の一実施形態による、合成および領域適応による視点不変物体認識のためのシステム／方法が例示的に示されている。
【００９６】
ブロック７０１において、物体のビューを有するラベル付けされたソース画像を収集する。
【００９７】
ブロック７０２において、ソース画像内の物体の複数の視点を合成して、ソース画像のための複数の視野拡張ソース画像を生成する。
【００９８】
ブロック７０３で、ソース画像内の物体の複数の視点の各々の測光を調整して、複数の照明および視野拡張ソース画像を生成する。
【００９９】
ブロック７０４において、第１の特徴抽出器を用いて複数の照明および視野拡張ソース画像の各々から、および第２の特徴抽出器を用いて画像取得装置によって取得された複数の取得画像の各々から特徴を抽出する。
【０１００】
ブロック７０５で、取得された画像の抽出された特徴と照明および視野拡張ソース画像の抽出された特徴との間の領域敵対学習を用いた領域適応を使用して、抽出された特徴を分類する。
【０１０１】
ブロック７０６において、取得された画像の抽出された特徴の分類に対応するラベルを含む、取得された画像のそれぞれに対応するラベル付けされたターゲット画像を表示する。
【０１０２】
上記は、あらゆる点で実例的かつ例示的であるが、限定的ではないと理解されるべきであり、本明細書に開示される本発明の範囲は、詳細な説明からではなく、むしろ特許法によって許容される完全な範囲に従って解釈されるような特許請求の範囲から決定されるべきである。本明細書に示され、説明された実施形態は、本発明の原理を例示するに過ぎず、当業者は、本発明の範囲および精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、本発明の態様を、特許法によって要求される詳細および特殊性を用いて説明したが、特許証によって保護されることが請求され、望まれるものは、添付の特許請求の範囲に記載されている。
【図１】
0006847277.tif 000011
【図２】
0006847277.tif 000012
【図３】
0006847277.tif 000013
【図４】
0006847277.tif 000014
【図５】
0006847277.tif 000015
【図６】
0006847277.tif 000016