(57)【要約】本発明は、顔画像のデータから顔特徴を抽出する方法、およびシステムに関する。当該システムは、顔画像のデータに対してフィルタリングして第１の次元を有する、第１の多チャンネルの特徴マップを形成し、且つ当該特徴マップを第２の次元を有する特徴マップにダウンサンプリングするように配置されている第１の特徴抽出ユニットと、第２の次元を有する特徴マップに対してフィルタリングして第２の次元を有する、第２の多チャンネルの特徴マップを形成し、且つ第２の多チャンネルの特徴マップを第３の次元を有する特徴マップにダウンサンプリングするように配置されている第２の特徴抽出ユニットと、第３の次元の特徴マップに対してフィルタリングして顔領域以外に位置する強い応答を減少し、顔画像の同じ身元の中での差異を減少すると共に、顔画像の複数の身元の間の識別力を維持するように配置されている第３の特徴抽出ユニットと、を含むことができる。【選択図】図１
2016538671.tif 000002
【特許請求の範囲】
【請求項１】
顔画像のデータから顔特徴を抽出する方法であって、
１）  前記顔画像のデータに対してフィルタリングして第１の次元を有する、第１の多チャンネルの特徴マップを形成するステップ と、
２）  
2016538671.tif 000094
（式中、ｘは前記第１の次元を有する特徴マップを表す）の規則により各前記特徴マップを計算するステップと、
３）  前記計算された特徴マップをダウンサンプリングして第２の次元を有する特徴マップを形成するステップと、
４）  前記ダウンサンプリングして形成された特徴マップに対してフィルタリングして第２の次元を有する、第２の多チャンネルの特徴マップを形成するステップと、
５）  
2016538671.tif 000095
（式中、ｘは前記第２の多チャンネルの特徴マップを表す）の規則により前記第２の次元を有する各前記特徴マップを計算するステップと、
６）  前記計算された第２の多チャンネルの特徴マップに対してダウンサンプリングし、第３の次元を有する特徴マップを形成するステップと、
７）  前記第３の次元を有する特徴マップにおける各特徴マップに対してフィルタリングして顔領域以外の強い 応答を減少し、これにより、前記顔画像の同じ身元の中での 差異を減少すると共に、前記顔画像の複数の身元の間の 識別力を維持するステップと、
を含む方法。
【請求項２】
前記ステップ１）においては、前記特徴マップのいずれも、
前記顔領域以外に位置する、主に前記顔画像の姿勢情報を捕捉する大量の強い応答と、
前記顔領域内部に位置する、前記顔画像の顔構造を捕捉する複数の強い応答と、を有するように、前記顔画像のデータに対してフィルタリングすることをさらに含む、請求項１に記載の方法。
【請求項３】
前記ステップ７）においては、前記ステップ６）により受信された各前記マップに対してフィルタリングして前記顔領域以外に位置する強い応答を減少することで、大多数の姿勢変化の影響を除去すると共に、前記顔画像の前記顔構造を維持するステップをさらに含む、請求項１または２に記載の方法。
【請求項４】
前記ステップ７）においては、前記ステップ６）により受信された各前記マップに対して重みを付けるステップと、
重み付けられたマップを、姿勢および照明の変化がない正面の顔画像に変換するステップと、をさらに含む請求項３に記載の方法。
【請求項５】
前記ステップ１）の前に、前記顔画像をグレイスケール画像に変換するステップを、さらに含む請求項１〜４のいずれか１項に記載の方法。
【請求項６】
それぞれ第１の重み行列Ｗ１、第２の重み行列Ｗ２、第３の重み行列Ｗ３を用いて前記ステップ１）、前記ステップ４）および前記ステップ７）におけるフィルタリング操作を実行し、且つ第４の重み行列Ｗ４を用いて前記変換を実行し、
前記行列Ｗ１、Ｗ２、Ｗ３およびＷ４は、最小二乗辞書学習に基づいてＷ１、Ｗ２、Ｗ３およびＷ４のパラメータを初期化してから、再構成された画像と実測値との間の加算・二乗された再構成誤差を逆伝播することで全ての前記パラメータを更新することにより、訓練される、請求項４に記載の方法。
【請求項７】
2016538671.tif 000096
を一組のＦＩＰ特徴とし、
2016538671.tif 000097
を一組のターゲット画像とし（ここで、
2016538671.tif 000098
は訓練例の数を表す）、
前記初期化の操作は、
固定行列Ｏを提供し、規則
2016538671.tif 000099
（ここで、
2016538671.tif 000100
は一組の入力画像であり、
2016538671.tif 000101
はフロベニウスノルムである）により、Ｘ０およびＹを用いてＷ１を初期化するステップと、
固定行列Ｐを提供して規則
2016538671.tif 000102
により、Ｗ１Ｘ０（ここで、Ｗ１は固定である）およびＹを用いてＷ２を初期化するステップと、
固定行列Ｑを提供し、規則
2016538671.tif 000103
により、Ｗ２Ｗ１Ｘ０およびＹを用いてＷ３を初期化するステップと、
規則
2016538671.tif 000104
により、Ｗ３Ｗ２Ｗ１Ｘ０およびＹを用いてＷ４を初期化するステップと、を含む、請求項６に記載の方法。
【請求項８】
顔画像のデータから顔特徴を抽出するシステムであって、
前記顔画像のデータに対してフィルタリングして第１の次元を有する、第１の多チャンネルの特徴マップを形成し、且つ前記特徴マップを第２の次元を有する特徴マップにダウンサンプリングするように配置されている第１の特徴抽出ユニットと、
第２の次元を有する特徴マップに対してフィルタリングして前記第２の次元を有する、第２の多チャンネルの特徴マップを形成し、且つ前記第２の多チャンネルの特徴マップを第３の次元を有する特徴マップにダウンサンプリングするように配置されている第２の特徴抽出ユニットと、
前記第３の次元を有する特徴マップに対してフィルタリングして顔領域以外に位置する強い応答をさらに減少し、顔画像の同じ身元の中での差異を減少すると共に、前記顔画像の複数の身元の間の識別力を維持するように配置されている第３の特徴抽出ユニットと、を含むシステム。
【請求項９】
前記第１の特徴抽出ユニットは、第１のフィルター行列を含み、
前記第１のフィルター行列は、前記第１の多チャンネルの特徴マップのいずれも、
前記顔領域以外に位置する、主に前記顔画像の姿勢情報を捕捉する大量の強い応答と、
前記顔領域内部に位置する、前記顔画像の顔構造を捕捉する複数の強い応答と、を有するように、前記顔画像のデータに対してフィルタリングするように配置されていることをさらに含む、請求項８に記載のシステム。
【請求項１０】
前記第２の特徴抽出ユニットは、
第１の非線形活性化ユニットと、
前記第１の多チャンネルの特徴マップを、前記第２の次元を有する特徴マップにダウンサンプリングするように配置されている第１のダウンサンプリングユニット行列とを、さらに含んでおり、
前記第１の非線形活性化ユニットは、前記第１のフィルター行列１１と、前記第１のダウンサンプリングユニット行列とを非線形的に連結するように配置されている、請求項９に記載のシステム。
【請求項１１】
前記第２の特徴抽出ユニットは、前記第１の特徴抽出ユニットからの各前記マップに対してフィルタリングして前記顔領域以外に位置する強い応答を減少することで、大多数の姿勢変化の影響を除去すると共に、前記顔画像の前記顔構造を維持するように配置されている第２のフィルター行列を含む、請求項８に記載のシステム。
【請求項１２】
前記第２の特徴抽出ユニットは、
第２の非線形活性化ユニットと、
前記特徴マップを、前記第２の次元を有する特徴マップにダウンサンプリングするように構成された第２のダウンサンプリングユニット行列とを、さらに含んでおり、
前記第２の非線形活性化ユニットは、前記第２のフィルター行列と、前記第２のダウンサンプリングユニット行列とを非線形的に連結するように配置されている、請求項１１に記載のシステム。
【請求項１３】
第１の非線形活性化ユニットおよび前記第２の非線形活性化ユニットのいずれも、前記関数
2016538671.tif 000105
（式中、ｘは、それぞれ前記第１の非線形活性化ユニットおよび前記第２の非線形活性化ユニットにおける各入力である）を実行するように配置されている、請求項１０または１２に記載のシステム。
【請求項１４】
各前記マップに対して重みを付け、且つ前記重み付けられたマップを、姿勢および照明の変化がない正面の顔画像に変換するように配置されている再構成ユニットをさらに含む、請求項８に記載のシステム。
【請求項１５】
前記顔画像のデータを前記第１の特徴抽出ユニットに入力する前に、前記顔画像のデータをグレイスケール画像に変換するように配置されている非線形前活性化ユニットを、さらに含む、請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像のデータから顔特徴を抽出する方法、およびシステムに関する。
【背景技術】
【０００２】
多くの実際のアプリケーションにおいて、姿勢および照明の変化は、顔認識に影響を与えるボトルネックとなっている。今までに、このような変化に対応するために、多くの既存解決策が提案されてきた。姿勢不変（ｐｏｓｅ−ｉｎｖａｒｉａｎｔ）方法では、一般的に、２Ｄによるタイプ、および３Ｄによるタイプという２種類に分けられる。第１タイプでは、２Ｄ画像のマッチングをしたり、いくつかの基礎もしくはテンプレートを用いたりすることにより、テスト画像をエンコードして姿勢を処理する。例えば、１つの通常の様態において、ステレオマッチング（ｓｔｅｒｅｏ  ｍａｔｃｈｉｎｇ）により２つの顔の間の類似性を計算する。そして画像訓練のテスト用顔の組み合わせを提供し、且つ、次いで線形回帰係数は顔を認識するための特徴として利用される。３Ｄによる方法は、通常、３Ｄの顔データを捕捉したり、２Ｄの入力から３Ｄのモデルを推定したりして、且つそれらを２Ｄプローブ顔画像とマッチングすることを試みる。このような方法では、プローブ顔の任意のビューを合成することが可能となるため、これらの方法が、通常、姿勢の変化に対してさらに頑健になっている。
【０００３】
照明不変（ｉｌｌｕｍｉｎａｔｉｏｎ−ｉｎｖａｒｉａｎｔ）方法では、通常、照明が顔画像を如何に影響するかを仮定し、且つ当該仮定を用いて照明効果をモデル化させて除去する。例を挙げて言えば、本技術分野において、既にプロジェクターに基くシステムが設けられて少量の照明下でのギャラリーにおける各対象画像を捕捉し、この捕捉された画像は、線形的に組み合わせて任意の照明下での画像を生成することができる。当該強化された顔画像集合において、スパースコーディングを用いて顔認識を実行する。
【０００４】
上記方法は、いくつかの制限がある。例えば、３Ｄデータを捕捉するために追加コストおよびリソースを必要とし、２Ｄデータから３Ｄモデルを推定することは、不良設定問題となっている。統計的照明モデルは、制御された環境から一般化される場合が多いため、実際のアプリケーションにおいてそれをよく要約することができない。
【発明の概要】
【０００５】
本発明の一態様において、顔画像のデータから顔特徴を抽出する方法を提供し、この方法は、
１）  前記顔画像のデータに対してフィルタリングして第１の次元を有する、第１の多チャンネルの特徴マップを形成するステップと、
２）  
2016538671.tif 000003
（式中、ｘは前記第１の次元を有する特徴マップを表す）の規則により各前記特徴マップを計算するステップと、
３）  前記計算された特徴マップをダウンサンプリングして第２の次元を有する特徴マップを形成するステップと、
４）  前記ダウンサンプリングして形成された特徴マップに対してフィルタリングして第２の次元を有する、第２の多チャンネルの特徴マップを形成するステップと、
５）  
2016538671.tif 000004
（式中、ｘは前記第２の多チャンネルの特徴マップを表す）の規則により前記第２の次元を有する各前記特徴マップを計算するステップと、
６）  前記計算された第２の多チャンネルの特徴マップに対してダウンサンプリングし、第３の次元を有する特徴マップを形成するステップと、
７）  前記第３の次元を有する特徴マップにおける各特徴マップに対してフィルタリングして顔領域以外の強い応答を減少し、これにより、前記顔画像の同じ身元の中での差異を減少すると共に、前記顔画像の複数の身元の間に識別力を維持するステップと、を含む。
【０００６】
他の一態様において、本発明は、顔画像のデータから顔特徴を抽出するシステムを提供し、このシステムは、
前記顔画像のデータに対してフィルタリングして第１の次元を有する、第１の多チャンネルの特徴マップを形成し、且つ前記特徴マップを第２の次元を有する特徴マップにダウンサンプリングするように配置されている第１特徴抽出ユニットと、
第２の次元を有する特徴マップに対してフィルタリングして前記第２の次元を有する、第２の多チャンネルの特徴マップを形成し、且つ前記第２の多チャンネルの特徴マップを第３の次元を有する特徴マップにダウンサンプリングするように配置されている第２特徴抽出ユニットと、
前記第３の次元を有する特徴マップに対してフィルタリングして顔領域以外の強い応答をさらに減少し、これにより、顔画像の同じ身元の中での差異を減少すると共に、前記顔画像の複数の身元の間に識別力を維持するように配置されている第３特徴抽出ユニットと、を含む。
【０００７】
一実施例において、上記方法は、コンピュータにおける１つまたは複数のプロセッサにより実施されたり実行されたりすることができる。
【０００８】
一実施例において、第１の特徴抽出ユニットは、第１のフィルター行列と、第１の非線形活性化ユニットと、第１のダウンサンプリング行列とを含む。第１のフィルター行列は、顔画像のデータに対してフィルタリングし、各マップに、顔領域以外に位置する、主に顔画像の姿勢情報を捕捉するための大量の強い応答と、顔領域内部に位置する、顔画像の顔構造を捕捉するための複数の強い応答とを有するように配置されている。第１のダウンサンプリングユニット行列は、特徴マップを、第２の次元を有する特徴マップにダウンサンプリングするように配置されている。第１の非線形活性化ユニットは、第１のフィルター行列と、第１のダウンサンプリングユニット行列とを非線形的に連結するように配置されている。
【０００９】
他の実施例において、第２の特徴抽出ユニットは、第２のフィルター行列２１を含む。第２のフィルター行列は、第１の特徴抽出ユニットからの各マップに対してフィルタリングして顔領域以外に位置する強い応答を減少することで、大多数の姿勢変化の影響を除去すると共に、顔画像の顔構造を維持するように配置されている。第２の特徴抽出ユニットは、第２の非線形活性化ユニットと、第２のダウンサンプリングユニット行列とをさらに含む。第２のダウンサンプリングユニット行列は、特徴マップを第２の次元を有する特徴マップにダウンサンプリングするように配置されており、また、第２の非線形活性化ユニットは、第２のフィルター行列と、第２のダウンサンプリングユニット行列とを非線形的に連結するように配置されている。
【００１０】
他の態様において、本発明は、コンピュータ読み取り可能な媒体を提供し、このコンピュータ読み取り可能な媒体は、
１）  前記顔画像のデータに対してフィルタリングして第１の次元を有する、第１の多チャンネルの特徴マップを形成するステップと、
２）  
2016538671.tif 000005
（式中、ｘは前記第１の次元を有する特徴マップを表す）の規則により各前記特徴マップを計算するステップと、
３）  計算された特徴マップをダウンサンプリングして第２の次元を有する特徴マップを形成するステップと、
４）  ダウンサンプリングして形成された特徴マップに対してフィルタリングして第２の次元を有する、第２の多チャンネルの特徴マップを形成するステップと、
５）  
2016538671.tif 000006
（式中、ｘは前記第２の多チャンネルの特徴マップを表す）の規則により前記第２の次元を有する各前記特徴マップを計算するステップと、
６）  計算された第２の多チャンネルの特徴マップに対してダウンサンプリングし、第３の次元を有する特徴マップを形成するステップと、
７）  前記第３の次元を有する特徴マップにおける各特徴マップに対してフィルタリングして顔領域以外の強い応答を減少し、これにより、前記顔画像の身元自体の差異を減少すると共に、前記顔画像の身元同士の間に識別力を維持するステップと、
を実行する指令を記憶するために用いられる。
【図面の簡単な説明】
【００１１】
【図１】顔画像のデータから顔特徴を抽出するプロセスを示すフローチャートである。
【図２】本発明の実施例に係る顔画像のデータから顔特徴を抽出するためのシステムを示すアーキテクチャである。
【図３】本発明の実施例に係る顔画像のデータから顔特徴を抽出するための例示的なシステムを示すブロック図である。
【図４】本発明の一実施例に係る重みにおけるパラメータの訓練を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、例示的な実施形態を参照しながら、添付図面に基づいて本発明の具体的な実施例について詳細に説明する。適切な場合、図面全体における同じまたは類似の部分は、同じ符号で示されている。
【００１３】
図１は、顔画像のデータから顔特徴を抽出するためのプロセス１００のフローチャートを示している。プロセス１００において、任意姿勢および任意照明変化を有する人の顔画像が入力として用いられ、且つ当該人の正規化された視点でその顔をターゲットとして再構成する（図２を参照）。まず、特徴抽出層を介して入力画像をエンコードし、当該特徴抽出層は、３つの局所連続層と、交互に積層されている２つのプーリング層とを備え、これらの層については後述する。各層は、異なるスケールで顔特徴を捕捉する。第１の局所連続層は、第１の複数（例えば、３２）の特徴マップを出力する。各マップには、顔領域以外に位置する、主に姿勢情報を捕捉するための大量の強い応答と、顔領域内部に位置する、顔構造を捕捉するためのいくつかの強い応答とを備える。第２の局所連続層から出力された特徴マップにおいて、顔領域以外に位置する強い応答が既に大幅に減少され、これにより、大多数の姿勢変化の影響を除去すると共に、顔構造を維持することが示されている。第３の局所連続層は、スパースであり身元特徴を保持したＦＩＰ特徴を出力する。ＦＩＰ特徴は、正規化された視点で顔画像を回復するために用いられることができる。
【００１４】
本発明の一実施例において、プロセス１００は、ステップｓ１０１を含み、当該ステップでは、顔画像のデータに対してフィルタリングして第１の次元を有する、第１の多チャンネルの特徴マップを形成する。次いで、
2016538671.tif 000007
により、各マップが計算され、式中、ｘはそれぞれ第２の次元を有する特徴マップを表す。計算されたマップをさらにダウンサンプリングして第２の次元を有する特徴マップを形成する。当該ステップにおいて、顔画像のデータに対してフィルタリングし、各マップに、１）顔領域以外に位置する、主に顔画像の姿勢情報を捉えるための大量の強い応答と、２）顔領域内部に位置する、顔画像の顔構造を捉えるための複数の強い応答とを備える。
【００１５】
例えば、
2016538671.tif 000008
は、任意姿勢および任意照明下での顔画像のデータ行列を表し、次元初期サイズ（例えば、９６×９６）を有する。説明の便宜上、下記の内容は、９６×９６の次元初期サイズに基くものである。データ行列
2016538671.tif 000009
の次元初期サイズをフィルタリングして３２チャンネルの特徴マップを形成することができる。
【００１６】
一実施例において、３２小行列を有する重み行列
2016538671.tif 000010
により、
2016538671.tif 000011
は、３２特徴マップ／チャンネルに変換され、
2016538671.tif 000012
式中、
2016538671.tif 000013
はデータ行列の次元初期サイズ（すなわち、
2016538671.tif 000014
＝９６）を表す。
【００１７】
各小行列は、画像データの局所連続構造を維持するように、スパースとなっている。直観的に、小行列における各行の
2016538671.tif 000015
は、中心が画素
2016538671.tif 000016
の所に位置する小さなフィルターを表し、当該フィルターに属する要素以外の、当該行における全ての要素のいずれもゼロに等しいことにさせる。特に、
2016538671.tif 000017
の重みが共有されていなく、これらの行における非ゼロ値も同じでない。このため、重み行列
2016538671.tif 000018
は、３２特徴マップ
2016538671.tif 000019
を生成し、各特徴マップは
2016538671.tif 000020
次元を有する。
【００１８】
次いで、行列
2016538671.tif 000021
（ここで、
2016538671.tif 000022
）を用いてこれらの特徴マップにおいていずれも４８×４８の特徴にダウンサンプリングしてパラメータを学習する必要とされる数を減少し、より頑健な特徴を取得する。ｘの各
2016538671.tif 000023
は、
2016538671.tif 000024
（１）
として計算される。
【００１９】
上記の式（１）において、
2016538671.tif 000025
は、特徴強度が変化しなく改正された線形関数である。このため、それは、形状および照明の変化に対して比較的頑健である。
2016538671.tif 000026
は、全ての
2016538671.tif 000027
を一緒に直列に繋いで
2016538671.tif 000028
次元の比較的大きい特徴マップを取得することにより得られる。
【００２０】
一実施例において、ステップｓ１０１の前に、プロセス１００は、
2016538671.tif 000029
（式中、ｘは顔画像の各データを表す）の規則に応じて顔画像のデータを非線形的に活性化することができる。別の一実施例において、ステップｓ１０１の前に、顔画像をグレイスケール画像に変換することができる。
【００２１】
ステップｓ１０２において、計算された各マップをさらに第２の次元を有する、第２の多チャンネルの特徴マップにフィルタリングし、且つ
2016538671.tif 000030
により、さらにそれぞれフィルタリングされたマップを計算し、式中、ｘは第２の次元を有する特徴マップを表す。次いで、上記マップをさらに第３の次元を有する特徴マップにダウンサンプリングする。
【００２２】
具体的には、各
2016538671.tif 000031
は、３２小行列
2016538671.tif 000032
を持っている
2016538671.tif 000033
にフィルタリングされる。
ここで、
2016538671.tif 000034
（２）
【００２３】
上記の式（２）において、
2016538671.tif 000035
は、
2016538671.tif 000036
を用いて
2016538671.tif 000037
次元にダウンサンプリングされる。式（２）は、第１の層における各小さい特徴マップに３２小行列をかけてからそれらを合計することを意味する。ここで、各小行列には、上記で説明されたようなスパース構造を有する。式（２）は、新たに式
2016538671.tif 000038
（３）で行列形式に表されることができる。
【００２４】
上記の式（３）において、
2016538671.tif 000039
且つ、
2016538671.tif 000040
である。
2016538671.tif 000041
は、
2016538671.tif 000042
を３２回まで繰り返して簡単に得られる。このため、
2016538671.tif 000043
は、
2016538671.tif 000044
次元を有する。
【００２５】
ステップｓ１０３において、プロセス１００では、ステップｓ１０２により得られた第３の次元の特徴マップにおける各マップを、フィルタリングして顔領域以外に位置する強い応答を減少し、従って、顔画像の同じ身元の中で差異を減少し、且つ顔画像の複数の身元の間の識別力を維持する。本発明において、得られた顔特徴は、ＦＩＰ（ｆａｃｅ  ｉｄｅｎｔｉｔｙ−ｐｒｅｓｅｒｖｉｎｇ：顔身元保持）特徴とも呼ばれる。
【００２６】
一実施例において、プロセス１００は、ステップｓ１０２により受信された各マップに対して重みを付け、且つ、ステップｓ１０４において、重み付けられたマップを、姿勢および照明の変化がない正面顔画像に変換する。
【００２７】
具体的に、
2016538671.tif 000045
は
2016538671.tif 000046
（すなわち、ＦＩＰ特徴）に変換され、
2016538671.tif 000047
と
2016538671.tif 000048
とは同じサイズである。
ここで、
2016538671.tif 000049
（４）
上記の式（４）において、
2016538671.tif 000050
且つ
2016538671.tif 000051
である。
【００２８】
次いで、ステップｓ１０６において、プロセス１００は、重み行列
2016538671.tif 000052
を介してＦＩＰ特徴
2016538671.tif 000053
が正面顔画像
2016538671.tif 000054
に変換される。
ここで、
2016538671.tif 000055
（５）。
【００２９】
上記したように、顔画像のデータから顔特徴を抽出するための方法を説明した。以下、図２および図３を参照して顔画像のデータから顔特徴を抽出するシステムを説明する。そのうち、図２は本発明の実施形態に係る顔画像のデータから顔特徴を抽出するためのシステム２００のアーキテクチャを示し、図３は本発明の実施例に係る顔画像のデータから顔特徴を抽出するための例示的なシステム２００のブロック図を示す。
【００３０】
図２に示すように、システム２００は特徴抽出層および特徴を含む。上記で述べられたように、任意姿勢および任意照明の変化を持っている、人の顔画像は、システム２００の入力として用いられる。システム２００は、同じ人の正規化された視点で顔を再構成してターゲットとする。まず、特徴抽出層を介して入力画像をエンコードし、当該特徴抽出層は、３つの局所連続層と、交互に積層されている２つのプーリング層とを備える。各層は、異なるスケールで顔特徴を捕捉する。第１の局所連続層は、第１の複数（例えば、３２）の特徴マップを出力する。各マップには、顔領域以外に位置する、主に姿勢情報を捕捉するための大量の強い応答と、顔領域内部に位置する、顔構造を捕捉するためのいくつかの強い応答とを有する。第２の局所連続層から出力された特徴マップにおいて、顔領域以外に位置する強い応答が既に大幅に減少され、これにより、大多数の姿勢変化の影響を除去すると共に、顔構造を維持することが示されれいる。第３の局所連続層は、スパースであり身元を保持したＦＩＰ特徴を出力する。ＦＩＰ特徴は、正規化された視点で顔画像を回復するために用いられることができる。
【００３１】
より具体的には、図３に示すように、システム２００は、第１の特徴抽出ユニット１０と、第２の特徴抽出ユニット２０と、第３の特徴抽出ユニット３０とを含んでもよい。第１の特徴抽出ユニット１０は、顔画像のデータを、第１の次元を有する、第１の多チャンネルの特徴マップとしてフィルタリングし、且つ特徴マップを第２の次元を有する特徴マップにダウンサンプリングするように配置されている。第２の特徴抽出ユニット１１ は、第２の次元の特徴マップに対してフィルタリングして第２の次元を有する、第２の多チャンネルの特徴マップを形成し、且つ第２の多チャンネルの特徴マップをダウンサンプリングして第３の次元を有する特徴マップを形成するように配置されている。第３の特徴抽出ユニット１２ は、第３の次元を有する特徴マップに対してフィルタリングして顔領域以外に位置する強い応答をさらに減少し、顔画像の同じ身元の中での差異を減少すると共に、顔画像の複数の身元の間の識別力を維持するように配置されている。
【００３２】
図３に示すように、システム２００は、第１の特徴抽出ユニット１０と第２の特徴抽出ユニット１１との間に配置されている第１の非線形活性化ユニット２０ 、および第２の特徴抽出ユニット１１と第３の特徴抽出ユニット１２との間に配置されている第２の非線形活性化ユニット２１ をさらに含む。第１の非線形活性化ユニットと第２の非線形活性化ユニットは、それぞれ規則
2016538671.tif 000056
（式中、ｘは抽出された特徴マップである）により第１、第２及び第３の特徴抽出ユニットを非線形的に連結するように配置されている。
【００３３】
一実施例において、第１の特徴抽出ユニット１０は、第１のフィルター行列１１と、第１の非線形活性化ユニット１２と、第１のダウンサンプリングユニット行列１３とを含む。第１のフィルター行列１１は、顔画像のデータに対してフィルタリングし、各マップに、いずれも、顔領域以外に位置する、主に顔画像の姿勢情報を捕捉するための大量の強い応答と、顔領域内部に位置する、顔画像の顔構造を捕捉するための複数の強い応答とを備えるように配置されている。第１の非線形活性化ユニット１２は、第１のフィルター行列１１と、第１のダウンサンプリングユニット行列１３とを非線形的に連結するように配置されている。第１のダウンサンプリングユニット行列１３は、特徴マップを、第２の次元を有する特徴マップにダウンサンプリングするように配置されている。第１のフィルター行列１１、第１の非線形活性化ユニット１２、および第１のダウンサンプリングユニット行列１３は、上記式（５）に表われる規則に基づいてその機能を続行するために協働する。
【００３４】
第２の特徴抽出ユニット２０は、第２のフィルター行列２１と、第２の非線形活性化ユニット２２と、第２のダウンサンプリングユニット行列２３とを含む。第２のフィルター行列２１は、第１の特徴抽出ユニットからの各マップに対してフィルタリングして顔領域以外における強い応答を減少することで、大多数の姿勢変化の影響を除去すると共に、顔画像の顔構造を維持するように配置されている。第２のダウンサンプリングユニット行列２３は、特徴マップを、第２の次元を有する特徴マップにダウンサンプリングするように配置されている。第２の非線形活性化ユニット２２は、第２のフィルター行列１１ と、第２のダウンサンプリングユニット行列２３とを非線形的に連結するように配置されている。第２のフィルター行列２１、第２の非線形活性化ユニット２２、および第２のダウンサンプリングユニット行列２３は、上記の式（２）〜式（４）に表われる規則に基づいて上記した機能を続行するために協働する。
【００３５】
また、システム２００は、再構成ユニット４０をさらに含んでもよい。当該再構成ユニットは、第３の特徴抽出ユニット３０により受信された各特徴に対して重みを付け、且つ上記した式（５）の規則に基き、前記重み付けられた特徴を、姿勢および照明の変化がない正面の顔画像に変換するように配置されている。
【００３６】
なお、一実施例において、システム２００は、非線形前活性化ユニット５０をさらに含んでもよい。当該非線形前活性化ユニットは、顔画像のデータを第１の特徴抽出ユニットに入力する前に、顔画像のデータを処理する。ユニット５０は、さらに、画像をグレイスケール画像に変換するように配置されてもよい。
【００３７】
それぞれ第１の重み行列Ｗ１、第２の重み行列Ｗ２、第３の重み行列Ｗ３を用い、３つの層に行われたフィルタリングのプロセス（すなわち、ステップｓ１０１〜１０３、ユニット１０〜２０）を実行し、且つ第４の重み行列Ｗ４を用いて変換を実行する。本発明では、最小二乗辞書学習に基づいて監視方法を設計する。特に、次のステップにより、行列Ｗ１、Ｗ２、Ｗ３およびＷ４を訓練し、すなわち、最小二乗辞書学習に基づいてＷ１、Ｗ２、Ｗ３およびＷ４のパラメータを初期化し、次いで再構成された画像と実測値（ｇｒｏｕｎｄ  ｔｒｕｔｈ）との間の加算・二乗された（ｓｕｍｍｅｄ  ｓｑｕａｒｅｄ）再構成誤差に対して逆伝播することにより、全てのパラメータを更新する。
【００３８】
図４はＷ１、Ｗ２、Ｗ３およびＷ４のパラメータを初期化するための流れを示す。
2016538671.tif 000057
は一組のＦＩＰ特徴であり、
2016538671.tif 000058
は一組のターゲット画像であり、ここで、
2016538671.tif 000059
は訓練例の数を表す。第１のステップにおいて、固定行列Ｏを提供し、規則
2016538671.tif 000060
により、Ｘ０およびＹを用いてＷ１を初期化する。
【００３９】
上記の式（６）において、
2016538671.tif 000061
は一組の入力画像であり、且つ
2016538671.tif 000062
はフロベニウスノルムである。
【００４０】
第２のステップにおいて、当該方法は、固定行列Ｐを提供し、規則
2016538671.tif 000063
により、Ｗ１Ｘ０（ここで、Ｗ１は固定である）およびＹを用いてＷ２を初期化する。
【００４１】
第３のステップにおいて、当該方法は、固定行列Ｑを提供し、規則
2016538671.tif 000064
により、Ｗ２Ｗ１Ｘ０およびＹを用いてＷ３を初期化する。
【００４２】
第４のステップにおいて、当該方法は、規則
2016538671.tif 000065
により、Ｗ３Ｗ２Ｗ１Ｘ０およびＹを用いてＷ４を初期化する。
【００４３】
更新については、提案方法は、初期化後、再構成誤差の損失関数を最小化することにより全ての重み行列を更新し、その中でも、
2016538671.tif 000066
式中、
2016538671.tif 000067
と、
2016538671.tif 000068
と、
2016538671.tif 000069
および
2016538671.tif 000070
とが、それぞれ一組の入力画像、一組のターゲット画像、および一組の再構成された画像である。それは、確率的勾配降下法（ｓｔｏｃｈａｓｔｉｃ  ｇｒａｄｉｅｎｔ  ｄｅｓｃｅｎｔ）を用いて
2016538671.tif 000071
を更新し、その中でも、第ｋ番目の重複における
2016538671.tif 000072
の更新規則は、以下の通りである。
【００４４】
2016538671.tif 000073
（１１）
【００４５】
2016538671.tif 000074
（１２）
【００４６】
ここで、
2016538671.tif 000075
は運動量変数（ｍｏｍｅｎｔｕｍ  ｖａｒｉａｂｌｅ）であり、
2016538671.tif 000076
は学習率であり、且つ
2016538671.tif 000077
は導関数であり、それは逆伝播誤差
2016538671.tif 000078
と前層（ｐｒｅｖｉｏｕｓ  ｌａｙｅｒ）
2016538671.tif 000079
の特徴との外積として計算される。当該深層ネットワーク（ｄｅｅｐ  ｎｅｔｗｏｒｋ）において、
2016538671.tif 000080
の３種類の異なる式がある。まず、変換層について、
2016538671.tif 000081
は、線形正規化関数（ｌｉｎｅａｒ  ｒｅｃｔｉｆｉｅｄ  ｆｕｎｃｔｉｏｎ）の導関数に基づいて計算される。
2016538671.tif 000082
（１３）
【００４７】
上記の式（１３）において、
2016538671.tif 000083
であり、
2016538671.tif 000084
はベクトルの第
2016538671.tif 000085
番目の要素である。
【００４８】
同様に、
2016538671.tif 000086
の逆伝播誤差（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ  ｅｒｒｏｒ）は、
2016538671.tif 000087
（１４）として計算される。
【００４９】
上記の式（１４）において、
2016538671.tif 000088
である。
【００５０】
本発明において、
2016538671.tif 000089
および
2016538671.tif 000090
は、
2016538671.tif 000091
と同じ活性化関数を用いているため、
2016538671.tif 000092
と同じ方式で計算される。ダウンサンプリングが行われた結果として、微細な差がある。これらの２つの層については、対応する逆伝播誤差
2016538671.tif 000093
をアップサンプリングしてそれに入力特徴と同じ次元を含ませる必要があると考えられる。本発明は、各勾配のステップの後で局所連続的構造を備えるように重み行列を強化する必要がある。このために、対応する行列要素に連続がないと仮定する場合、これらの要素をゼロとする。
【００５１】
本発明の実施形態は、あるハードウェア、ソフトウェア、または両方の組み合わせを用いて実行されることができる。また、本発明の実施形態は、コンピュータプログラム製品に適することができ、当該コンピュータプログラム製品は、コンピュータプログラムコードを有する１つまたは複数のコンピュータ読み取り可能な記憶媒体（ディスクメモリ、ＣＤ−ＲＯＭ、光メモリ等を含むが、これらに限定されない）に具現されている。例を挙げて言えば、１つまたは複数のプロセッサにより上記した方法を実施してコンピュータ読み取り可能な媒体に記憶された指令を実行することができる。具体的に、媒体は、一対の顔画像を検索するための指令と、各顔画像を画像の複数のパッチに分割するための指令（１つの画像における各パッチと、他の一画像中の対応するパッチとが一対のパッチを形成する）と、各対のパッチの第１の類似性を確定するための指令と、全ての対のパッチから前記一対の顔画像の第２の類似性を確定するための指令と、第１の類似性および第２の類似性を用いるための指令と、顔画像を認識するための指令と、を記憶することができる。
【００５２】
上記の説明において、説明のために、単一の実施例において本発明の各態様、ステップまたは部材が集合されている。本発明は、保護を請求する主題の、全ての開示の変化を必要とすることが解釈されるべきではない。記載されている特許請求の範囲は、例示的な実施例の説明に組み込まれることが理解されるべきであり、その中でも、各請求項そのものは、本発明の独立的な実施形態として認識されるべきである。
【００５３】
また、本発明の明細書および実践から考えると、本発明の範囲から逸脱しない場合、開示されたシステムおよび方法に対して様々な修正および変更を実行できることは、当業者にとって自明である。このため、明細書およびその実施例は、単に例示的なものだけとみなし、本発明の実際の保護範囲は、記載されている特許請求の範囲およびその同等物により示されている。
【図１】
2016538671.tif 000106
【図３】
2016538671.tif 000107
【図２】
2016538671.tif 000108
【図４】
2016538671.tif 000109
【国際調査報告】
2016538671.tif 000110
2016538671.tif 000111
2016538671.tif 000112