(57)【要約】  顔認識を向上させるための特徴転送ネットワークを備えた非監視下のクロスドメイン距離メトリック適応フレームワークを実行するための方法であって、特徴転送ネットワークを再帰的にトレーニングすることと、クラスタリング方法を使用してターゲットドメインデータを自動的にラベル付けすることと、顔認識タスクを実行するために特徴転送ネットワークおよび自動的にラベル付けすることを実行することと、を含む方法。
2021513698.tif 000002
【特許請求の範囲】
【請求項１】
顔認識を向上させるための特徴転送ネットワークを備えた非監視下のクロスドメイン距離メトリック適応フレームワークを実行するための方法であって、
ラベル付けされたソースデータに関連するソースドメインと、ラベル付けされていないターゲットデータに関連するターゲットドメインとに基づいて、特徴転送ネットワークを再帰的にトレーニングすることと、クラスタリング方法を使用してターゲットドメインデータを自動的にラベル付けすることと、を含み、
前記特徴転送ネットワークをトレーニングすることは、
第１のドメイン識別器に対応する目的関数および第２のドメイン識別器に対応する目的関数をトレーニングすることを含む前記第１のドメイン識別器および前記第２のドメイン識別器をトレーニングすることと、
特徴生成器に対応する目的関数および特徴変換器に対応する目的関数をトレーニングすることを含む前記第１および第２のドメイン識別器に基づいて、前記特徴生成器および前記特徴変換器をトレーニングすることと、を含み、
顔認識タスクを実行するために前記特徴転送ネットワークおよび前記自動的にラベル付けすることを実行すること、を含む方法。
【請求項２】
前記第１のドメイン識別器は、ソース拡張された特徴とターゲットの特徴とを識別するようにトレーニングされ、
前記第２のドメイン識別器は、ソースの特徴と、前記ソース拡張された特徴と前記ターゲットの特徴との混合とを識別するようにトレーニングされる、請求項１に記載の方法。
【請求項３】
前記特徴生成器をトレーニングすることは、前記ソースの特徴および前記ソース拡張された特徴の両方からの検証損失、前記第２のドメイン識別器を経由したドメイン分離損失、および前記第１のドメイン識別器を経由したドメイン敵対的損失を含み、
前記特徴変換器をトレーニングすることは、前記第２のドメイン識別器を経由した検証損失およびドメイン分離損失を含む、請求項２に記載の方法。
【請求項４】
前記特徴生成器および前記特徴変換器をトレーニングすることは、前記特徴生成器に関連する検証損失に対応する目的関数をトレーニングすることと、前記特徴変換器に関連する検証損失に対応する目的関数をトレーニングすることとをさらに含む、請求項１に記載の方法。
【請求項５】
前記特徴生成器および前記特徴変換器をトレーニングすることは、前記特徴生成器から抽出された特徴と、前記ラベル付けされたソースデータを使用して事前トレーニングされた参照ネットワークとの間の特徴再構成の損失に対応する目的関数をトレーニングすることをさらに含む、請求項１に記載の方法。
【請求項６】
前記特徴生成器および前記特徴変換器をトレーニングすることは、マルチクラスエントロピーの最小化損失に対応する目的関数をトレーニングすることをさらに含む、請求項１に記載の方法。
【請求項７】
前記自動的にラベル付けすることは、ノイズ法によるアプリケーションの階層的密度ベースの空間クラスタリングを実行することを含む、請求項７に記載の方法。
【請求項８】
一緒に具現化されたプログラム命令を有する非一時的なコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラム製品であって、前記プログラム命令は、顔認識を向上させるための特徴転送ネットワークを備えた非監視下のクロスドメイン距離メトリック適応フレームワークを実行する方法をコンピュータによって実行可能なものであり、前記コンピュータによって実行される方法は、
ラベル付けされたソースデータに関連するソースドメインと、ラベル付けされていないターゲットデータに関連するターゲットドメインとに基づいて、特徴転送ネットワークを再帰的にトレーニングすることと、クラスタリング方法を使用してターゲットドメインデータを自動的にラベル付けすることとを含み、
前記特徴転送ネットワークをトレーニングすることは、
第１のドメイン識別器に対応する目的関数および第２のドメイン識別器に対応する目的関数をトレーニングすることを含む前記第１のドメイン識別器および前記第２のドメイン識別器をトレーニングすることと、
特徴生成器に対応する目的関数および特徴変換器に対応する目的関数をトレーニングすることを含む前記第１および第２のドメイン識別器に基づいて、前記特徴生成器および前記特徴変換器をトレーニングすることと、を含み、
顔認識タスクを実行するために前記特徴転送ネットワークおよび前記自動的にラベル付けすることを実行すること、を含む方法。
【請求項９】
前記第１のドメイン識別器は、ソース拡張された特徴とターゲットの特徴とを識別するようにトレーニングされ、
前記第２のドメイン識別器は、ソースの特徴と、前記ソース拡張された特徴と前記ターゲットの特徴との混合とを識別するようにトレーニングされる、請求項８に記載のコンピュータプログラム製品。
【請求項１０】
前記特徴生成器をトレーニングすることは、前記ソースの特徴および前記ソース拡張された特徴の両方からの検証損失、前記第２のドメイン識別器を経由したドメイン分離損失、および前記第１のドメイン識別器を経由したドメイン敵対的損失を含み、
前記特徴変換器をトレーニングすることは、前記第２のドメイン識別器を経由した検証損失およびドメイン分離損失を含む、請求項９に記載のコンピュータプログラム製品。。
【請求項１１】
前記特徴生成器および前記特徴変換器をトレーニングすることは、前記特徴生成器に関連する検証損失に対応する目的関数をトレーニングすることと、前記特徴変換器に関連する検証損失に対応する目的関数をトレーニングすることとをさらに含む、請求項８に記載のコンピュータプログラム製品。
【請求項１２】
前記特徴生成器および前記特徴変換器をトレーニングすることは、前記特徴生成器から抽出された特徴と、前記ラベル付けされたソースデータを使用して事前トレーニングされた参照ネットワークとの間の特徴再構成の損失に対応する目的関数をトレーニングすることをさらに含む、請求項８に記載のコンピュータプログラム製品。
【請求項１３】
前記特徴生成器および前記特徴変換器をトレーニングすることは、マルチクラスエントロピーの最小化損失に対応する目的関数をトレーニングすることをさらに含む、請求項８に記載のコンピュータプログラム製品。
【請求項１４】
前記自動的にラベル付けすることは、ノイズ法によるアプリケーションの階層的密度ベースの空間クラスタリングを実行することを含む、請求項８に記載のコンピュータプログラム製品。
【請求項１５】
顔認識を向上させるための特徴転送ネットワークを備えた非監視下のクロスドメイン距離メトリック適応フレームワークを実行するためのシステムであって、
プログラムコードを記憶するための記憶装置と、
記憶装置に動作可能に結合され、前記記憶装置に記憶されたプログラムコードを実行し、
ラベル付けされたソースデータに関連するソースドメインと、ラベル付けされていないターゲットデータに関連するターゲットドメインとに基づいて、特徴転送ネットワークを再帰的にトレーニングし、クラスタリング方法を使用してターゲットドメインデータを自動的にラベル付けするように構成された少なくとも１つのプロセッサ装置とを含み、前記少なくとも１つのプロセッサ装置は、
第１のドメイン識別器に対応する目的関数および第２のドメイン識別器に対応する目的関数をトレーニングすることを含む前記第１のドメイン識別器および前記第２のドメイン識別器をトレーニングし、
特徴生成器に対応する目的関数および特徴変換器に対応する目的関数をトレーニングすることを含む前記第１および第２のドメイン識別器に基づいて、前記特徴生成器および前記特徴変換器をトレーニングすることによって、前記特徴転送ネットワークをトレーニングするように構成されており、
前記少なくとも１つのプロセッサ装置は、顔認識タスクを実行するために前記特徴転送ネットワークおよび前記自動的にラベル付けすることを実行する、システム。
【請求項１６】
前記第１のドメイン識別器は、ソース拡張された特徴とターゲットの特徴とを識別するようにトレーニングされ、
前記第２のドメイン識別器は、ソースの特徴と、前記ソース拡張された特徴と前記ターゲットの特徴との混合とを識別するようにトレーニングされ、
前記少なくとも１つのプロセッサ装置は、さらに、前記ソースの特徴および前記ソース拡張された特徴の両方からの検証損失、前記第２のドメイン識別器を経由したドメイン分離損失、および前記第１のドメイン識別器を経由したドメイン敵対的損失によって、前記特徴生成器をトレーニングするように構成され、
前記少なくとも１つのプロセッサ装置は、さらに、前記第２のドメイン識別器を経由した検証損失およびドメイン分離損失によって、前記特徴変換器をトレーニングするように構成されている、請求項１５に記載のシステム。
【請求項１７】
前記少なくとも１つのプロセッサ装置は、さらに、前記特徴生成器に関連する検証損失に対応する目的関数をトレーニングすること、および前記特徴変換器に関連する検証損失に対応する目的関数をトレーニングすることによって、前記特徴生成器および前記特徴変換器をトレーニングするように構成されている、請求項１５に記載のシステム。
【請求項１８】
前記少なくとも１つのプロセッサ装置は、さらに、前記特徴生成器から抽出された特徴と、前記ラベル付けされたソースデータを使用して事前トレーニングされた参照ネットワークとの間の特徴再構成の損失に対応する目的関数をトレーニングすることによって、前記特徴生成器および前記特徴変換器をトレーニングするように構成されている、請求項１５に記載のシステム。
【請求項１９】
前記少なくとも１つのプロセッサ装置は、さらに、マルチクラスエントロピーの最小化損失に対応する目的関数をトレーニングすることによって、前記特徴生成器および前記特徴変換器をトレーニングするように構成されている、請求項１５に記載のシステム。
【請求項２０】
前記自動的にラベル付けすることは、ノイズ法によるアプリケーションの階層的密度ベースの空間クラスタリングを実行することを含む、請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願情報）
本出願は、２０１８年５月１６日に出願された仮出願シリアル番号６２/６７２，５６７、および２０１９年５月１日に出願された米国特許出願シリアル番号１６/４００，４２９の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【０００２】
本発明は、人工知能及び機械学習に関し、特に顔認識技術に関する。
【背景技術】
【０００３】
顔分析エンジンのグローバル化は、一般に、認識エンジンのトレーニング時の監視下の情報に大きく依存する。すなわち、顔分析エンジンを新しい民族性ドメインに適応させるために、民族性ドメインに関連する母集団の大規模な顔データを収集し、関心のあるタスク（例えば、顔識別、ならびに性別予測および年齢推定）に関して収集されたデータに注釈を付ける必要があり得る。
【発明の概要】
【０００４】
本発明の一態様によれば、顔認識を向上させるための特徴転送ネットワークを備えた非監視下のクロスドメイン距離メトリック適応フレームワークを実行するための方法が提供される。その方法は、ラベル付けされたソースデータに関連するソースドメインと、ラベル付けされていないターゲットデータに関連するターゲットドメインとに基づいて、特徴転送ネットワークを再帰的にトレーニングすることと、クラスタリング方法を使用してターゲットドメインデータを自動的にラベル付けすることとを含む。前記特徴転送ネットワークをトレーニングすることは、第１のドメイン識別器に対応する目的関数および前記第２のドメイン識別器に対応する目的関数をトレーニングすることを含む前記第１のドメイン識別器および前記第２のドメイン識別器をトレーニングすることと、特徴生成器に対応する目的関数および特徴変換器に対応する目的関数をトレーニングすることを含む前記第１および第２のドメイン識別器に基づいて、前記特徴生成器および前記特徴変換器をトレーニングすることと、を含む。その方法は、さらに、顔認識タスクを実行するために前記特徴転送ネットワークおよび前記自動的にラベル付けすることを実行することを含む。
【０００５】
本発明の別の実施形態によれば、顔認識を向上させるための特徴転送ネットワークを備えた非監視下のクロスドメイン距離メトリック適応フレームワークを実行するためのシステムが提供される。そのシステムは、プログラムコードを記憶するための記憶装置と、前記記憶装置に動作可能に結合された少なくとも１つのプロセッサ装置とを含む。前記少なくとも１つのプロセッサ装置は、ラベル付けされたソースデータに関連するソースドメインと、ラベル付けされていないターゲットデータに関連するターゲットドメインとに基づいて、特徴転送ネットワークを再帰的にトレーニングし、クラスタリング方法を使用してターゲットドメインデータを自動的にラベル付けするために前記記憶装置に記憶されたプログラムコードを実行するように構成されている。前記少なくとも１つのプロセッサ装置は、前記第１のドメイン識別器に対応する目的関数および前記第２のドメイン識別器に対応する目的関数をトレーニングすることを含む前記第１のドメイン識別器および前記第２のドメイン識別器をトレーニングすること、および特徴生成器に対応する目的関数および特徴変換器に対応する目的関数をトレーニングすることを含む前記第１および第２のドメイン識別器に基づいて、前記特徴生成器および前記特徴変換器をトレーニングすることによって、前記特徴転送ネットワークをトレーニングするように構成されている。前記少なくとも１つのプロセッサ装置は、顔認識タスクを実行するために前記特徴転送ネットワークおよび前記自動的にラベル付けすることを実行するように構成されている。
【０００６】
これらおよび他の特徴および利点は、添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００７】
本開示は、以下の図面を参照して、好ましい実施形態の以下の説明において詳細を提供する。
【図１】本発明の一実施形態による、顔認識を向上させるための特徴転送ネットワークを有する非監視下のクロスドメイン距離メトリック適応フレームワークを実行するためのシステムの概要のブロック／フロー図である。
【図２】本発明の一実施形態による、顔認識を向上させるための特徴転送ネットワークを有する非監視下のクロスドメイン距離メトリック適応フレームワークを実行するためのトレーニングフレームワークの概要のブロック／フロー図である。
【図３】本発明の一実施形態による、顔認識を向上させるための特徴転送ネットワークを有する非監視下のクロスドメイン距離メトリック適応フレームワークを実行するためのシステム／方法のブロック／フロー図である。
【図４】システムの例示的な実装を示すブロック図である。
【図５】本発明の一実施形態によるコンピュータシステムを示すブロック／フロー図である。
【発明を実施するための形態】
【０００８】
本明細書で説明される実施形態は、顔認識を向上するための特徴転送ネットワークを備えたクロスドメイン距離メトリック適応フレームワークを実行するためのシステムおよび方法を提供する。本明細書で説明される実施形態は、ソースドメインおよびターゲットドメインのラベル空間が互い共通部分を持たない状況に適用することができる。より具体的には、特徴転送ネットワークは、統一されたフレームワークにおける共同ドメイン敵対者およびドメイン分離トレーニングを可能にするために、拡張されたソースドメインの埋め込み空間を生成することができる。特徴再構成損失、分類損失、ドメイン敵対的損失、およびドメイン分離損失を含むことができる一連のトレーニング目標を導入して、特徴転送ネットワークをトレーニングすることができる。
【０００９】
本明細書で説明される実施形態は、ソースドメインが豊富なラベル付けされたトレーニングデータを有し、ターゲットドメインが豊富なラベル付けされていないトレーニングデータを有する場合に、分類および距離メトリック学習のためのドメイン適応フレームワークを提供することができる。例えば、本明細書で説明される実施形態は、例えば、異民族年齢推定などのタスクのための補助分類モジュールを有するドメイン適応フレームワークを提供する。
【００１０】
ここで、同様の数字が同一または類似の要素を表す図面を詳細に参照し、最初に図１を参照すると、顔認識を向上させるための特徴転送ネットワークを備えた、非監視下のクロスドメイン距離メトリック適応フレームワークを実行するためのシステム１００の高レベルの概要を示すブロック／フロー図が提供される。
【００１１】
図示のように、システム１００は、特徴転送ネットワーク（ＦＴＮ）サブシステム１０２および自動的にラベル付けするサブシステム１０４を含むことができる。トレーニングフレームワークは、ＦＴＮサブシステム１０２に関してＦＴＮを再帰的または反復的に達成し、自動的にラベル付けするサブシステム１０４に関してトレーニングされたＦＴＮを使用してデータを自動的にラベル付けすることによって達成することができる。ＦＴＮのトレーニングをすること、および自動的にラベル付けすることは、顔認識を実行するためにニューラルネットワーク内で実行することができる。
【００１２】
ＦＴＮサブシステム１０２は、ソースドメイン１１０およびターゲットドメイン１２０を含むことができる。ソースドメイン１１０は、ラベル付けされた例を含むラベル付けされたドメインであってもよく、ターゲットドメイン１２０は、ラベル付けされていない例を含むラベル付けされてないドメインであってもよい。例示的な実施形態では、ソースドメイン１１０およびターゲットドメイン１２０は、それぞれの民族に対応することができる。例えば、ソースドメイン１１０は、ソース民族に対応することができ、ターゲットドメイン１２０は、ターゲット民族に対応することができる。
【００１３】
システム１００は、検証タスクを実行するために使用することができる。より具体的には、検証タスクは、ソースドメイン１１０、ターゲットドメイン１２０にわたって共有されるバイナリ分類タスクを含むことができ、これは、一対の画像を入力として取得し、画像の対が同一の身元を共有した場合には「１」のラベルを予測し、そうでない場合には「０」のラベルを予測する。検証タスクの目的は、ソースドメイン１１０およびターゲットドメイン１２０の何れかから引き出された２つ不特定のサンプルが同じクラスに属するかどうかを検証することである（２つのランダムサンプルが先験的にどちらの分布に由来するかは不明である）。
【００１４】
ソースドメイン１１０をＸＳとし、ターゲットドメイン１２０をＸＴとし、２つの不特定のサンプルをｘおよびｘ’とする。対を構成する３つの状況、（１）ｘ、ｘ’∈ＸＳ；（２）ｘ、ｘ’∈ＸＴ；および（３）ｘ∈ＸＳ、ｘ’∈ＸＴがある。状況（１）と（２）はメイン内検証と呼ばれ、状況（３）はクロスドメイン（またはドメイン間）検証と呼ばれる。
【００１５】
ドメイン内検証状況では、ソース（またはターゲット）ドメイン分類子が必要な場合がある。ソースドメイン１１０については、適切にラベル付けされたトレーニング例が提供され、有能な分類子を学習することができる。ターゲットドメイン１２０については、ラベル付けされていないトレーニング例のみが提供される。しかしながら、分類子の識別力は、ＸＴｘＸＴおよびＸＳｘＸＳの表現空間を適応させることによって、ターゲットドメイン１２０に転送することができる。すなわち、ソースドメイン１１０からの同じ有能な分類子を使用して、２つのドメインが良好に整列している場合にターゲットドメイン対を検証することができる。クロスドメイン検証状況では、２つのサンプルｘおよびｘ’が同じクラスであることはないと仮定することができ、これは、例えば、異民族顔検証問題などの問題に当てはまる。
【００１６】
上述のドメイン内検証状況およびクロスドメイン検証状況の両方を処理するために、ＦＴＮサブシステム１０２は、ＦＴＮコンポーネント１３０をさらに含むことができる。ＦＴＮコンポーネント１３０は、ソースドメイン１１０のソースの特徴からターゲットドメイン１２０のターゲットの特徴を分離すると同時に、特徴を、変換されたソースの特徴の補助ドメインと合わせることができる。例えば、ＦＴＮコンポーネント１３０は、複数のモジュールを含むことができる。より具体的には、ＦＴＮコンポーネント１３０は、特徴生成モジュールおよび特徴変換モジュールを含むことができる。
【００１７】
さらに示されるように、ＦＴＮコンポーネント１３０の出力は、検証コンポーネント１４０、エントロピー最小化コンポーネント１５０、およびドメイン識別器１６０のそれぞれへの入力として受信される。
【００１８】
自動的にラベル付けするサブシステム１０４において、ターゲット画像１７０は、自動的にラベル付けするためにターゲットドメイン１２０への入力として提供され得る。
【００１９】
システム１００の実行に関するさらなる詳細は、図２−３を参照して以下に記載される。
【００２０】
図２を参照すると、特徴転送ネットワーク（ＦＴＮ）を再帰的または反復的にトレーニングし、トレーニングされたＦＴＮを使用してデータを自動的にラベル付けするトレーニングフレームワーク全体の例示的なシステム／方法２００を示すブロック／フロー図が提供されている。システム／方法２００は、顔認識を向上させるための特徴転送ネットワークを用いて、非監視のクロスドメイン距離メトリック適応フレームワークを実行するために、システム１００内で実行することができる。
【００２１】
システム／方法２００は、ドメイン識別器Ｄ1およびＤ2のトレーニングプロトコルに対応するセクション２１０と、特徴生成器ｆおよび特徴変換器ｇのトレーニングに対応するセクション２３０と、自動的にラベル付けするプロトコルに対応するセクション２５０とを含む。自動的にラベル付けすることを実行するために、セクション２５０は、擬似ラベルを提供するためのターゲットの例のクラスタリングを実行することができる。例えば、セクション２５０は、トレーニングされた特徴ネットワークの特徴表現を用いたノイズ（ＤＢＳＣＡＮ）法によるアプリケーションの密度に基づいた空間クラスタリングを実行することができる。より具体的には、セクション２５０は、階層的クラスタリングを実行することができる。例えば、セクション２５０は、階層的ＤＢＳＣＡＮ（ＨＤＢＳＣＡＮ）法を実行することができる。
【００２２】
セクション２１０および２３０は、ラベル付けされていないソースおよびターゲットの例を使用して、識別器の間、特徴生成器ｆおよび特徴変換器ｇの間のＦＴＮの双方向トレーニングに集合的に対応する。さらに詳細に説明するように、特徴変換器ｇは、ドメイン敵対的損失（Ｄ1を介する）およびドメイン分離損失（Ｄ2を介する)との共同最適化を可能にすることができる。
【００２３】
ｆ：Ｘ→Ｚとして表される特徴生成器ｆは、ＸSおよびＸTを区別可能な表現空間ｆ（ＸS）およびｆ（ＸT）にマッピングすることができる。ドメイン分離目的関数（例えば、損失関数）、Ｌsepは、この分離を達成するために使用される。ここで、「ドメイン分離」という語は、表現空間がドメイン定義（例えば、ソースまたはターゲット）に関して分離可能であることを示す。
【００２４】
特徴変換器ｇは、ｇ：Ｚ→Ｚとして表すことができ、ｆ（ＸS）をｆ（ＸT）との位置合わせのためｇ（ｆ（ＸS））に変換することができる。ドメイン敵対的目的関数、Ｌadvは、位置合わせを達成するために使用される。ここで、「ドメイン分離」という語は、表現空間がドメイン定義（例えば、ソースまたはターゲット）に関して分離可能であることを示す。
【００２５】
ドメイン位置合わせのためのドメイン敵対的目的関数は、Ｄ1によって変換されたソースドメインとターゲットドメインとの間に適用することができ、Ｄ2によってターゲットドメインと変換されたソースドメインとの両方からソースドメインを区別するためにＬsepを適用することができる。検証目的関数は、ソース対ｆ（ＸS）に適用することができ、分類子を使用してソース対ｇ（ｆ（ＸS））に変換することができる。例えば、分類子は、分類子ｈf、ｈg：ＺｘＺ→｛０，１｝を含むことができる。
【００２６】
試験中、ｆ（ｘ）とｆ（ｘ’）との間の適応距離が比較され得る。以下の所望の能力が達成され得る：
１．ｘおよびｘ’は異なるドメインのものである場合、ｆ（ｘ）およびｆ（ｘ’）は、特徴生成モジュールの機能性のために遠く離れている；
２．ｘ，ｘ’∈ＸS、それらが同じ分類に属する場合、ｆ（ｘ）およびｆ（ｘ’）は、近く、そうでなければ、ｈfの最適化から得られる識別力のため遠く離れている、そして
３．ｘ，ｘ’∈ＸT、そして、ｆ（ｘ）およびｆ（ｘ’）の場合、そして、それらが同じ分類に属する場合、ｆ（ｘ）およびｆ（ｘ’）は近く、そうでなければ、ｈgの最適化から得られる識別力のため遠く離れている。
【００２７】
より具体的には、ドメイン識別器Ｄ1およびＤ2をトレーニングするためのサブセクション２１２から２２０までを含むセクション２１０が示されている。識別器Ｄ2は、ソースの特徴と、ソース拡張された特徴とターゲットの特徴との混合とを識別するようにトレーニングされる。さらに、識別器Ｄ1は、ソース拡張された特徴とターゲット特徴とを識別するようにトレーニング訓練される。
【００２８】
サブセクション２１２および２１４は、識別器Ｄ2、ＬD2に対応する目的関数（損失関数）をトレーニングするために出力を生成する。より具体的には、サブセクション２１２および２１４は、ソースドメインに対応し、また、サブセクション２１６は、ターゲットドメインに対応する。実例として、ＬD2は、以下のようにトレーニングすることができ、ここで、Ｅは、期待または期待値を示す：
【００２９】
【数１】
2021513698.tif 000003
ここで、Ｅｘ∈ＸSｌｏｇＤ2（ｆ（ｘ），１）は、サブセクション２１２の出力、Ｅｘ∈ＸSｌｏｇＤ2（ｇ（ｆ（ｘ）），２）は、サブセクション２１４の出力、Ｅｘ∈ＸTｌｏｇＤ2（ｆ（ｘ），２）は、サブセクション２１６の出力である
【００３０】
サブセクション２１８および２２０は、識別子Ｄ1，ＬD1に対応する目的関数（例えば、損失関数）をトレーニングするための出力を生成する。より具体的には、サブセクション２１８はソースドメインに対応し、サブセクション２２０はターゲットドメインに対応する。実例として、ＬD1は、以下のようにトレーニングすることができる:
【００３１】
【数２】
2021513698.tif 000004
ここで、Ｅｘ∈ＸSｌｏｇＤ1（ｇ（ｆ（ｘ）），１）は、サブセクション２１８の出力、Ｅｘ∈ＸTｌｏｇＤ1（ｆ（ｘ），２）は、サブセクション２２０の出力である。
【００３２】
セクション２３０は、特徴生成器ｆおよび特徴変換器ｇのトレーニングプロトコルを提供する。図示のように、セクション２３０は、複数のサブセクション２３２〜２４６を含むことができ、サブセクション２３２、２３４、２３６、２４２、および２４４は、ソースドメインに対応し、サブセクション２３８、２４０、および２４６は、ターゲットドメインに対応する。
【００３３】
より具体的には、セクション２３０は、特徴変換器ｇ、Ｌgに対応する目的関数（例えば、損失関数）、特徴生成器ｆ、Ｌfに対応する目的関数（例えば、損失関数）、特徴生成器（ｆ）から抽出された特徴と、参照ネットワーク（ｒｅｆ）、Ｌreconとの間の特徴再構成の損失に対応する目的関数（例えば、損失関数）、およびマルチクラスエントロピーの最小化損失、Ｌentropyに対応する目的関数（例えば、損失関数）をトレーニングすることができる。セクション２３０において目的関数をトレーニングする目的で、サブセクション２３４は、サブセクション２１２と同じまたは類似の出力を生成することができ、サブセクション２３６は、サブセクション２１４と同じまたは類似の出力を生成することができ、サブセクション２３８は、サブセクション２１６と同じまたは類似の出力を生成することができる。ここで、セクション２３０によってトレーニングされた目的関数に関するさらなる詳細を以下に説明する。
【００３４】
Ｌgは、識別器Ｄ2を介した検証損失およびドメイン分離損失によってトレーニングすることができる。実例として、Ｌgは、以下のようにトレーニングされ得る：
【００３５】
【数３】
2021513698.tif 000005
ここで、Ｌvrf はラベル付けされた画像の対の間の検証損失に対応する目的関数（例えば、損失関数）を指し、λ2はＤ2に関する検証損失と敵対的損失のバランスを取るハイパーパラメータを指す。ここで使用される「ハイパーパラメータ」とは、ユーザによって定義される正規則化係数（例えば、非負の実数）を指す。例えば、Ｅｘ∈ＸSｌｏｇＤ2（ｇ（ｆ（ｘ）），２）は、サブセクション２３６によって生成され、Ｌvrf（ｇ）は、サブセクション２４４によって生成される。Ｌvrfのトレーニングの実例を以下に提供する。
【００３６】
Ｌfは、ソースおよびソース拡張された特徴の双方からの検証損失、識別器Ｄ2を介したドメイン分離損失、およびＤ1を介したドメイン敵対的損失によってトレーニングすることができる。実例として、Ｌfは、以下のようにトレーニングすることができる:
【００３７】
【数４】
2021513698.tif 000006
ここで、λ1は、Ｄ1に関する検証損失と敵対的損失とのバランスを取るハイパーパラメータを指す。例えば、Ｌvrf（ｆ）はサブセクション２４２によって生成され、Ｌvrf（ｇ）はサブセクション２４４によって生成され、Ｅｘ∈ＸTｌｏｇＤ1（ｆ（ｘ），１）はサブセクション２４６によって生成される。
【００３８】
使用されるＬvrf（ｆ）は、以下のようにトレーニングすることができる：
【００３９】
【数５】
2021513698.tif 000007
ここで、ｙijは、例えば、ｘiおよびｘjの正解検証ラベルを指し（例えば、ｘiおよびｘjが同じ特徴（例えば、同じ顔の人物）を表す場合にはｙij＝１、そうでなければｙij＝０）、σは、シグモイド関数（例えば、σa＝１／１＋e-a）を指し、ｆ（ｘi）Tは、ベクトルｆ（ｘi）の転置を指す。Ｌvrf（ｆ）は、より速い収束と改善された性能のために、Ｎ対の距離メトリック損失に拡張できる。Ｌvrf（ｇ）も同様にトレーニングすることができる。
【００４０】
Ｌreconは、特徴生成器ｆから抽出された特徴と、難しい敵対的トレーニングを安定化するためにラベル付けされたソースデータを使用して事前トレーニングされた参照ネットワーク（ｒｅｆ）との間の特徴再構成の損失に対応することができる。実例として、Ｌreconは、以下のようにトレーニングすることができる：
【００４１】
【数６】
2021513698.tif 000008
ここで、ｆref（ｘ）は参照ネットワークｆrefを使用した入力ｘの表現を指し、λ3およびλ4はハイパーパラメータを指す。例えば、Ｅｘ∈ＸS||ｆ（ｘ）−ｆref（ｘ）||22は、サブセクション２３２によって生成することができ、Ｅｘ∈ＸT||ｆ（ｘ）−ｆref（ｘ）||22は、サブセクション２４０によって生成することができる。
【００４２】
Ｌentropyは、階層的クラスタリングによって検索された擬似ラベルを使用することができる。実例として、Ｌentropyは、以下のようにトレーニングすることができる：
【００４３】
【数７】
2021513698.tif 000009
【００４４】
【数８】
2021513698.tif 000010
ここで、ｘ+nは、ｘnの正の例を指す（例えば、ｘnおよびｘ+nは、同じ身元部類からの顔画像である）。
【００４５】
図３を参照すると、顔認識を向上させるための特徴転送ネットワークを用いて非監視下のクロスドメイン距離メトリック適応フレームワークを実行するためのシステム／方法３００を示すブロック／フロー図が提供されている。
【００４６】
ブロック３１０で、ソースドメインおよびターゲットドメインが取得される。ソースドメインは、ラベル付けされたソースデータ（例えば、ラベル付けされたソース例）と関連付けることができ、一方、ターゲットドメインは、ラベル付けされていないターゲットデータ（例えば、ラベル付けされていない例）と関連付けることができる。ソースドメインおよびターゲットドメインは、顔認識を実行する目的で取得することができる。例えば、実例では、ソースドメインおよびターゲットドメインは、顔認識のためのそれぞれの民族に対応することができ、ソースドメインは、ソース民族に対応することができ、ターゲットドメインは、ターゲット民族に対応することができる。
【００４７】
ソースドメインとターゲットドメインは、検証タスクを実行するために提供される。より具体的には、検証タスクは、一対の画像を入力として取得し、一対の画像が同じ身元を共有する場合には「１」のラベルを予測し、そうでなければ「０」のラベルを予測する、ソースドメインおよびターゲットドメインにわたって共有されるバイナリ分類タスクを含むことができる。検証タスクの目的は、ソースドメインおよびターゲットドメインの何れかから引き出された２つのランダムサンプルが同じ部類に属するかどうかを検証することである（２つのランダムサンプルが先験的にどちらの分布に由来するかは不明である）。
【００４８】
ブロック３２０において、特徴転送ネットワーク（ＦＴＮ）は、ソースドメインおよびターゲットドメインに基づいてトレーニングされる。
【００４９】
例えば、ＦＴＮをトレーニングすることは、ブロック３２２において、第１のドメイン識別器および第２のドメイン識別器をトレーニングすることを含むことができる。第１のドメイン識別器および第２のドメイン識別器をトレーニングすることは、第１の識別器に対応する目的関数をトレーニングすることと、第２の識別器に対応する第２の目的関数をトレーニングすることとを含むことができる。第１のドメイン識別器は、ソース拡張された特徴とターゲットの特徴とを識別するようにトレーニングすることができ、第２のドメイン識別器は、ソースの特徴と、ソース拡張された特徴とターゲットの特徴との混合とを識別するようにトレーニングすることができる。ブロック３２２に関するさらなる詳細は、図２（例えば、システム／方法２００のセクション２１０）を参照して上述されている。
【００５０】
ＦＴＮをトレーニングするステップは、ブロック３２４において、第１および第２のドメイン識別器に基づいて、特徴生成器および特徴変換器をトレーニングすることをさらに含むことができる。特徴生成器は、第１のドメイン識別器を介したドメイン敵対的損失と、第２のドメイン識別器を介したドメイン分離損失との共同最適化を可能にすることができる。
【００５１】
特徴生成器および特徴変換器のトレーニングは、特徴変換器に対応する目的関数のトレーニング、および特徴生成器に対応する目的関数のトレーニングを含むことができる。より具体的には、特徴生成器のトレーニングは、ソースおよびソース拡張された特徴の両方からの検証損失、第２のドメイン識別器を介したドメイン分離損失、および第１のドメイン識別器を介したドメイン敵対的損失を含むことができる。特徴変換器のトレーニングは、第２のドメイン識別器を介した検証損失およびドメイン分離損失を含むことができる。
【００５２】
一実施形態では、特徴生成器および特徴変換器をトレーニングすることは、特徴生成器に関連する検証損失に対応する目的関数をトレーニングすることと、特徴変換器に関連する検証損失に対応する目的関数をトレーニングすることと、をさらに含むことができる。特徴生成器に対応する目的関数は、特徴生成器に関連する検証損失に対応する目的関数の一部に基づいてトレーニングすることができ、特徴変換器に対応する目的関数は、特徴変換器に関連する検証損失に対応する目的関数の一部に基づいてトレーニングすることができる。検証損失は、より速い収束と改善された性能のためにＮ対の距離メトリック損失に拡張され得る。
【００５３】
一実施形態では、特徴生成器および特徴変換器をトレーニングすることは、特徴生成器から抽出された特徴と、難しい敵対的トレーニングを安定化するためにラベル付けされたソースデータを使用して事前トレーニングされた参照ネットワークとの間の特徴再構成の損失に対応する目的関数をトレーニングすることをさらに含むことができる。例えば、特徴再構成の損失に対応する目的関数は、参照ネットワークを用いてソースドメインおよびターゲットドメインからの例の表現に基づいてトレーニングすることができる。
【００５４】
一実施形態では、特徴生成器および特徴変換器をトレーニングすることは、さらに、マルチクラスエントロピーの最小化損失に対応する目的関数をトレーニングすることを含むことができる。マルチクラスエントロピーの最小化損失に対応する目的関数は、クラスタリングによって（例えば、以下でさらに詳細に説明するように、ブロック３３０から）検索されたラベル（例えば、擬似ラベル）を使用することができる。例えば、マルチクラスエントロピーの最小化損失に対応する目的関数は、ターゲットドメインからのそれぞれの例の正の例に基づいてトレーニングすることができる。
【００５５】
ブロック３２４に関するさらなる詳細は、図２（例えば、システム／方法２００のセクション２３０）を参照して上述される。
【００５６】
ブロック３３０で、クラスタリング方法を使用して、ターゲットドメインデータの自動的にラベル付けすることがトレーニングされる。例えば、ターゲットドメインに対応するターゲットの例は、自動的にラベル付けをすることができる。ターゲットの例は、例えば、ターゲット画像を含むことができる。
【００５７】
ターゲットの例に自動的にラベル付けすることは、ターゲットドメインのクラス構造を自動的に発見するために擬似ラベルを提供するターゲットの例のクラスタリングを含むことができる。例えば、ターゲットの例をクラスタリングすることは、トレーニングされた特徴ネットワークの特徴表現によって、ノイズ（ＤＢＳＣＡＮ）法によるアプリケーションの密度ベースの空間クラスタリングを実行することを含むことができる。より具体的には、ターゲットの例のクラスタリングは、階層的クラスタリングの実行を含むことができる。例えば、ターゲットの例のクラスタリングは、階層型ＤＢＳＣＡＮ（ＨＤＢＳＣＡＮ）法の実行を含むことができる。
【００５８】
示されるように、特徴転送ネットワークのトレーニングおよび自動的にラベル付けすることは、再帰的または反復的であり得る。より具体的には、ブロック３２０におけるトレーニングの出力は、ブロック３３０における自動的にラベル付けすることをトレーニングするための入力として提供され、ブロック３３０におけるトレーニングの出力は、ブロック３２０における特徴転送ネットワークをトレーニングするための入力として提供される。
【００５９】
ブロック３４０において、顔認識タスクを実行するために、特徴転送ネットワークおよび自動的にラベル付けすることが実行され得る。例えば、特徴転送ネットワークのトレーニングおよび自動的にラベル付けすることは、顔の検証および識別、性別予測、年齢推定などの顔分析エンジンのグローバル化に適用することができる。特徴転送ネットワークのトレーニングおよび自動的にラベル付けすることは、異なる民族のターゲットドメインに対する顔分析エンジンの一般化能力を改善することができ、ターゲットドメインからの直接的なタスク固有の監視なしに、異なる民族にわたる顔認識、性別、予測、年齢推定などを達成することができる。さらに、特徴転送ネットワークのトレーニングおよび自動的にラベル付けすることは、顔分析エンジンの一般化能力を改善するために、ターゲットドメインからのラベリル付けされたデータを利用することによって、データ注釈の開発コストを低減することができる。
【００６０】
システム／方法３００は、特徴変換器を介してソース拡張された埋め込み空間を導入し、特徴変換器は、ラベル付けされたソースデータおよびラベル付けされていないターゲットデータを使用して顔認識タスクを実行するためのドメインの敵対する、およびドメインの分離する統一された学習フレームワークを可能にする。特徴転送ネットワーク学習および自動クラス構造発見のシステム／方法３００の再帰的または反復的トレーニングのフレームワークは、ラベル付けされていないターゲットデータの迅速かつ正確なラベル付けおよび特徴表現の改善された品質を可能にすることができる。したがって、システム／方法３００は、潜在的に高価なデータ注釈プロセスをバイパスしながら、顔認識システムの効率的な展開を可能にすることができる。
【００６１】
システム／方法３００は、１つまたは複数のソースドメインからの情報に基づいて、顔分析システムを１つまたは複数の新しいターゲットドメインに適応させることによって、顔分析システムをグローバル化するように実行することができる。実例として、民族性に関連するドメインの文脈において、ソース民族性ドメイン（例えば、白人ソースドメイン）は、豊富なラベル付けされたトレーニングデータを含むことができ、しかし一方、少なくとも１つのターゲット民族性ドメイン（例えば、非白人ターゲットドメイン）は、豊富なラベル付けされていないターゲットデータを含むことができる。この実例における可能な標的ドメインの例は、アフリカ系アメリカ人、東アジア人、南アジア人、ヒスパニック人などを含むことができるが、これらに限定されない。次に、図4を参照して、この実施形態の実例を説明する。
【００６２】
図４を参照すると、例示的なシステム４００を示す図が提供されている。システム４００は、少なくとも１つの顔画像収集装置４１０と、少なくとも１つのネットワーク４３０と通信する少なくとも１つの処理装置４２０とを含むことができる。装置４１０は、顔画像データを収集するように構成された任意の適切な装置（例えば、カメラ）を含むことができる。例えば、図示のように、装置４１０は、少なくとも１人のユーザ４４０から顔画像を収集することができる。
【００６３】
処理装置４２０は、関心のあるタスクに関して顔画像に注釈を付けるように構成された顔分析エンジンを含むことができる。いくつかの実施形態では、顔分析エンジンは、さらに、注釈付き顔画像に基づいて関心のあるタスクを実行するように構成することができる。例えば、装置４１０によって収集された顔画像は、関心のあるタスクを実行するために、少なくとも１つのネットワーク４３０を介して処理装置４２０によって取得され得る。処理デバイス４２０によって実行することができるタスクの例は、識別、性別予測、年齢推定などが含まれるが、これらに限定されない。
【００６４】
ユーザ４４０は、システム４００内の新しい民族性ドメインに関連付けることができ、処理装置４２０の顔分析エンジンは、図１−３を参照して上述した実施形態に従って、ユーザ４４０に関連する民族性ドメインに適合させることができる。
【００６５】
本明細書に記載する実施形態は、完全にハードウェアであってもよく、完全にソフトウェアであってもよく、または、ハードウェア要素およびソフトウェア要素の両方を含むものであってもよい。好ましい実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されないソフトウェアで実行される。
【００６６】
実施形態は、コンピュータまたは任意の命令実行システムによって、またはそれに関連して使用するプログラムコードを提供する、コンピュータ使用可能またはコンピュータ読み取り可能媒体からアクセス可能なコンピュータプログラム製品を含むことができる。コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを格納、通信、伝搬、または搬送する任意の装置を含むことができる。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体システム（または装置またはデバイス）、または伝搬媒体とすることができる。媒体は、半導体またはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスクおよび光ディスクなどのコンピュータ読み取り可能な記憶媒体を含むことができる。
【００６７】
各コンピュータプログラムは、本明細書に記載する手順を実行するために、記憶媒体または装置がコンピュータによって読み取られるときに、コンピュータの操作を構成し制御するために、汎用または特殊目的のプログラム可能なコンピュータによって読み取り可能な、機械読み取り可能な記憶媒体または装置（例えば、プログラムメモリまたは磁気ディスク）に確実に記憶することができる。本発明のシステムはまた、コンピュータプログラムで構成された、コンピュータ読み取り可能な記憶媒体で具体化されるものと考えることができ、同時に、そのように構成された記憶媒体は、コンピュータを特定の予め決められた方法で動作させて、本明細書に記載する機能を実行させる。
【００６８】
プログラムコードを記憶および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接的または間接的に結合された少なくとも１つのプロセッサを含んでもよい。メモリ要素は、プログラムコードの実際の実行中に採用されるローカルメモリ、バルクストレージ、および実行中にバルクストレージからコードが検索される回数を減らすために少なくとも何らかのプログラムコードの一時記憶を提供するキャッシュメモリを含むことができる。入力／出力またはＩ／Ｏ装置（キーボード、ディスプレイ、ポインティング装置などを含むが、これらに限定されない）は、直接または介在するＩ／Ｏコントローラを介してシステムに結合され得る。
【００６９】
介在する専用ネットワークまたは公衆ネットワークを介して、データ処理システムを他のデータ処理システムあるいはリモートプリンタまたは記憶装置に結合できるようにするために、ネットワークアダプタをシステムに結合することもできる。モデム、ケーブルモデム、およびイーサネットカードは、現在使用可能なネットワークアダプタのタイプのほんの一部に過ぎない。
【００７０】
ここで図５を参照すると、本発明の一実施形態による、サーバまたはネットワークデバイスを表す例示的なコンピュータシステム５００が示されている。コンピュータシステム５００は、システムバス５０２を介して他の構成要素に動作可能に結合された少なくとも１つのプロセッサ（ＣＰＵ）５０５を含む。キャッシュ５０６、リードオンリーメモリ（ＲＯＭ）５０８、ランダムアクセスメモリ（ＲＡＭ）５１０、入力／出力（Ｉ／０）アダプタ５２０、サウンドアダプタ５３０、ネットワークアダプタ５９０、ユーザインタフェースアダプタ５５０、およびディスプレイアダプタ５６０は、システムバス５０２に動作可能に結合される。
【００７１】
第１の記憶装置５２２および第２の記憶装置５２９は、Ｉ／Ｏアダプタ５２０によってシステムバス５０２に動作可能に結合される。記憶装置５２２および５２９は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、ソリッドステート磁気装置などの何れかであってもよい。記憶装置５２２および５２９は、同じタイプの記憶装置であっても、異なるタイプの記憶装置であってもよい。
【００７２】
スピーカ５３２は、サウンドアダプタ５３０によってシステムバス５０２に動作可能に結合することができる。トランシーバ５９５は、ネットワークアダプタ５９０によってシステムバス５０２に動作可能に結合される。ディスプレイ装置５６２は、ディスプレイアダプタ５６０によってシステムバス５０２に動作可能に結合される。
【００７３】
第１のユーザ入力装置５５２、第２のユーザ入力装置５５９、および第３のユーザ入力装置５５６は、ユーザインタフェースアダプタ５５０によってシステムバス５０２に動作可能に結合される。ユーザ入力装置５５２、５５９、および５５６は、センサ、キーボード、マウス、キーパッド、ジョイスティック、画像キャプチャデバイス、動き検出デバイス、電力測定デバイス、マイク、前述の装置のうちの少なくとも２つの機能を組み込んだ装置などの何れかとすることができる。もちろん、本発明の精神を維持しながら、他のタイプの入力装置を使用することもできる。ユーザ入力装置５５２、５５９、および５５６は、同じタイプのユーザ入力装置または異なるタイプのユーザ入力装置とすることができる。ユーザ入力装置５５２、５５９、および５５６は、システム５００との間で情報を入出力するために使用される。
【００７４】
特徴転送ネットワーク（ＦＴＮ）構成要素５７０は、システムバス５０２に動作可能に結合され得る。ＦＴＮ構成要素５７０は、上述の動作のうちの１つまたは複数を実行するように構成される。例えば、ＦＴＮ構成要素５７０は、顔分析エンジンの一部として実行することができる。ＦＴＮ構成要素５７０は、スタンドアロンの特殊目的のハードウェア装置として実行することも、記憶装置に記憶されたソフトウェアとして実行することもできる。ＦＴＮ構成要素４７０がソフトウェア実装される実施形態では、コンピュータシステム５００の別個の構成要素として示されているが、ＦＴＮ構成要素５７０は、例えば、第１の記憶装置５２２および／または第２の記憶装置１０２９に格納することができる。代替的に、ＦＴＮ構成要素５７０は、別個の記憶装置（図示せず）に記憶され得る。
【００７５】
もちろん、コンピュータシステム５００は、当業者によって容易に企図されるように、他の要素（図示せず）を含むこともでき、また、特定の要素を省略することもできる。例えば、種々の他の入力装置および／または出力装置は、当業者によって容易に理解されるように、同一の特定の実行に依存して、コンピュータシステム５００に含めることができる。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、様々な構成の追加のプロセッサ、コントローラ、メモリなども、当業者によって容易に理解されるように利用することができる。コンピュータシステム５００のこれらおよび他の変形は、本明細書で提供される本発明の教示を与えられた当業者によって容易に企図される。
【００７６】
前述は、あらゆる点で例示としての一例であるが、限定的ではないと理解されるべきであり、本明細書に開示される本発明の範囲は、詳細な説明からではなく、むしろ特許法によって許可される全範囲に従って解釈されるような特許請求の範囲から決定されるべきである。本明細書に示され、説明された実施形態は、本発明の例示にすぎず、当業者は、本発明の範囲および精神から逸脱することなく、様々な修正を実行することができることを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特徴の組み合わせを実行することができる。このように説明された本発明の態様は、特許法によって要求される詳細および特殊性を伴い、特許証によって保護が請求され、望まれるものは、添付の特許請求の範囲に記載されている。
【図１】
2021513698.tif 000011
【図２】
2021513698.tif 000012
【図３】
2021513698.tif 000013
【図４】
2021513698.tif 000014
【図５】
2021513698.tif 000015
【国際調査報告】
2021513698.tif 000016
2021513698.tif 000017