(57)【要約】  顔認識のための方法およびシステムが開示されている。この方法は、顔画像のペアを取得するステップと、取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するステップと、各パッチのペアにおける第1の類似度を決定するステップと、全てのパッチのペアから顔画像のペアにおける第2の類似度を決定するステップと、各パッチのペアに対して決定された第1の類似度と顔画像のペアに対して決定された記第2の類似度とを融合するステップと、を備える。【選択図】図１
2016538674.tif 000002
【特許請求の範囲】
【請求項１】
顔画像のペアを取得するステップと、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するステップと、
各パッチのペアにおける第1の類似度を決定するステップと、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定するステップと、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合するステップと、を備える顔を認識するための方法。
【請求項２】
各パッチのペアにおける前記第1の類似度を決定するステップは、
各パッチのペアを取得するとともに取得された前記パッチを囲むK個（Kは1またはそれ以上）の隣接パッチを取得することと、
取得されたパッチから第1のKNNを形成することと、
形成された前記第１のKNNにおいて各パッチのペアの前記第1の類似度を決定することと、を備える、請求項１に記載の方法。
【請求項３】
前記第1の類似度は、形成された第1のKNNにおいてランダムウォークを実行することにより決定される、請求項１に記載の方法。
【請求項４】
全てのパッチのペアから前記顔画像のペアにおける前記第2の類似度を決定するステップは、
複数の画像パッチから各パッチのペアを取得することと、
取得された前記パッチを囲む複数の隣接パッチを第2のKNNにおいて取得することと、
前記隣接パッチに対するサブネットワークを前記第2のKNNから取得することと、
取得された前記サブネットワークにおいて前記第2の類似度を決定することと、
を備える、請求項１に記載の方法。
【請求項５】
さらに、前記第2のKNNを形成するステップを備え、前記第2のKNNを形成するステップは、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像に対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、を備える、請求項４に記載の方法。
【請求項６】
前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定する、請求項１に記載の方法。
【請求項７】
前記第1の類似度および前記第2の類似度は、
前記パッチにより形成される第1のサブネットワークGi、前記パッチにより形成される第2のサブネットワークGjおよび前記第1のサブネットワークと前記第2のサブネットワークとを統合したサブネットワーク
【数１】
2016538674.tif 000052
を決定することと、
Gi、Gjおよび
【数２】
2016538674.tif 000053
のそれぞれに対し隣接行列を決定することと、
前記隣接行列のそれぞれに対し、パス中心性
【数３】
2016538674.tif 000054
、
【数４】
2016538674.tif 000055
および
【数５】
2016538674.tif 000056
を決定することと、
【数６】
2016538674.tif 000057
の規定によりGiとGjの間における前記第1の類似度を決定することと、
によって決定される、請求項３または請求項６に記載の方法。
【請求項８】
顔認識のためのシステムであって、
顔画像のペアを取得し、それぞれの顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するように構成されるセグメント部と、
各パッチのペアの第1の類似度を決定するように構成される第1の類似度決定部と、
全てのパッチのペアからの顔画像のペアの第2の類似度を決定するように構成される第2の類似度決定部と、
各パッチのペアに対して決定される前記第1の類似度および前記顔画像のペアに対して決定される前記第2の類似度を融合するように構成される融合部と、を含むシステム。
【請求項９】
前記第1の類似度決定部は、
各パッチのペアを取得するとともに取得された前記パッチを囲むK個（Kは1またはそれ以上）の隣接パッチを取得し、
取得された前記パッチから第1のKNNを形成し、そして、
形成された前記第1のKNNにおいて各パッチのペアの前記第1の類似度を決定する、請求項８に記載のシステム。
【請求項１０】
前記第1の類似度は、形成された第1のKNNにおいてランダムウォークを実行することにより決定される、請求項８に記載のシステム。
【請求項１１】
前記第1の類似度は、
前記パッチにより形成される第1のサブネットワークGi、前記パッチにより形成される第2のサブネットワークGjおよび前記第1のサブネットワークと前記第2のサブネットワークとを統合したサブネットワーク
【数７】
2016538674.tif 000058
を決定することと、
Gi、Gjおよび
【数８】
2016538674.tif 000059
のそれぞれに対し隣接行列を決定することと、
前記隣接行列のそれぞれに対し、パス中心性
【数９】
2016538674.tif 000060
、
【数１０】
2016538674.tif 000061
および
【数１１】
2016538674.tif 000062
を決定することと、
【数１２】
2016538674.tif 000063
の規定によりGiとGjの間における前記第1の類似度を決定することと、
、により決定される、請求項１０に記載のシステム。
【請求項１２】
前記第2の類似度決定部は、
複数の画像パッチから各パッチのペアを取得し、
取得された前記パッチを囲む複数の隣接パッチを第2のKNNにおいて取得し、
前記隣接パッチに対するサブネットワークを前記第2のKNNから取得し、
取得された前記サブネットワークにおいて前記第2の類似度を決定する、ように構成される、請求項８に記載のシステム。
【請求項１３】
前記第2のKNNを形成するための前記第2の類似度決定部における操作は、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像に対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、により形成される、請求項１２に記載のシステム。
【請求項１４】
前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定される、請求項８に記載のシステム。
【請求項１５】
前記第2の類似度は、
前記パッチにより形成される第1のサブネットワークGi、前記パッチにより形成される第2のサブネットワークGjおよび前記第1のサブネットワークと前記第2のサブネットワークとを統合したサブネットワーク
【数１３】
2016538674.tif 000064
を決定することと、
Gi、Gjおよび
【数１４】
2016538674.tif 000065
のそれぞれに対し隣接行列を決定することと、
前記隣接行列のそれぞれに対し、パス中心性
【数１５】
2016538674.tif 000066
、
【数１６】
2016538674.tif 000067
および
【数１７】
2016538674.tif 000068
を決定することと、
【数１８】
2016538674.tif 000069
の規定によりGiとGjの間における前記第2の類似度を決定することと、
、により決定される、請求項１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、顔を認識するための方法およびシステムに関する。
【背景技術】
【０００２】
過去20年間、顔認識は広く研究されている。しかし、ポーズ、照明および表情などによる個人内における大きな変化については、実環境の写真に対するロバストな顔認識の課題として残っている。
【０００３】
従来の顔認識のための測定手法は、個人内における大きな変化がある場合、用途の広さにいくつかの制限がある。例えば、当該技術分野において、一人の人間についての顔画像が多様な分布を有することが知られている。実際には、これらの分布は、一般的に、顔データにおける高い複雑性に起因する、異なる密度、大きさおよび形状を有している。また、多くの場合、顔領域にはノイズおよび外れ値が含まれている。従来の測定手法は、これらの課題の全てに取り組むことができない。類似度（または非類似度）の計算に基づく多くの方法は、ペアワイズ距離を顔の間の類似度（または非類似度）の計算に直接用いるが、これでは顔を高精度に見分けるための構造情報を取得することはできない。いくつかの研究では上記構造情報を計算に適用しているが、開発されたアルゴリズムは、一般的に、ノイズや外れ値の影響を受けやすい。例えば、ネットワークにおける最短のパスの長さの計算は、ノイズの多いノードの影響を受けやすい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願は、上記問題点を克服するために設計されたランダムパス（RP）測定と呼ばれる新しい顔類似度の測定を提案する。また、2つの新規な顔パッチネットワークである、インフェイスネットワークとアウトフェイスネットワークとが開示されている。
【課題を解決するための手段】
【０００５】
幾つかの態様において、本発明は、顔は、複数の重複する同じ大きさのパッチにより分割される。インフェイスネットワークは、任意の顔のペアに対して定義される。各顔画像のペアにおける各パッチエリアに対し、2つの対応するパッチのペアとそれらの近隣の8つのパッチは、インフェイスネットワークと呼ばれるKNNグラフを形成するために用いられる。このような各インフェイスネットワークのために、対応するパッチのペアのパッチ類似度として、ランダムパス（RP）測定が提案されている。与えられたネットワークにおいて、任意の2つのノード間における全てのパスが機能生成により統合される。RP測定は、ネットワーク内における異なる長さの全てのパスが含まれ、顔内でより多くの識別情報を取得し、かつ、ノイズや外れ値の影響を大幅に低減することを可能にする。従って、M個のパッチを有する顔のペアに対し、M個のRP測定が、二つの顔の間の類似特徴ベクトルを形成するために決定される。この手法では、２つの顔内にのみネットワークが形成されるので、インフェイスネットワークと呼ばれる。本開示では、それはまた、第1のKNNを示す。
【０００６】
アウトフェイスネットワーク（第2のKNN）は、同様の方法で形成される。ネットワークを形成するために局所（ローカル）隣接パッチを用いる代わりに、各パッチに対し、顔パッチのデータベースを検索し、パッチのペアのネットワークを形成するために、そのパッチと同じ位置の隣接パッチにおいて類似のパッチおよび当該類似のパッチの8つの隣接パッチを見つける。検索はトレーニング空間を超えてグローバルに行われるので、アウトフェースネットワークは、よりグローバルに構造情報を取得する。2つのネットワークは、それぞれローカルおよびグローバルの構造情報を描くため、これら2つのネットワーク上からRP測定により導かれる類似度は、認識性能を高めるために組み合わせることができる。インフェイスネットワーク上およびアウトフェイスネットワーク上でのRP測定によれば、既存の測定よりも、課題である2つの顔データセットに対する顔認証においてRP測定の性能が著しく向上する。
【０００７】
一態様において、本出願は、顔を認識するための方法であって、
顔画像のペアを取得するステップと、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するステップと、
各パッチのペアにおける第1の類似度を決定するステップと、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定するステップと、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合するステップと、を備える、方法を提供する。
【０００８】
この提供された方法は、コンピュータ内における1またはそれ以上のプロセッサによって実行されてもよい。
【０００９】
他の態様において、本出願は、顔認識のためのシステムであって、
セグメント部は、顔画像のペアを取得し、それぞれの顔画像を複数の画像パッチにセグメント化するように構成され、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成し、
第1の類似度決定部は、各パッチのペアの第1の類似度を決定するように構成され、
第2の類似度決定部は、全てのパッチのペアからの顔画像のペアの第2の類似度を決定するように構成され
融合部は、各パッチのペアに対して決定される前記第1の類似度および前記顔画像のペアに対して決定される前記第2の類似度を融合するように構成される、システムを提供する。
【００１０】
他の態様において、本出願は、
顔画像のペアを取得する命令と、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する命令と、
各パッチのペアにおける第1の類似度を決定する命令と、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定する命令と、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合する命令と、を備える、コンピュータ可読記憶媒体を提供する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る顔認識のための方法のフローチャートを示す。
【図２】本出願の一実施形態におけるインフェースネットワークの形成プロセスを示す。
【図３】本発明の一実施形態に係るアウトフェースネットワークの形成プロセスを示す。
【図４】本発明の一実施の形態におけるインフェースネットワークにおいてパッチの各ペアの類似度を決定するための方法のフローチャートを示す。
【図５】本発明の一実施形態に従ってアウトフェースネットワークにおいてパッチの各ペアの類似度を決定するための方法のフローチャートを示す。
【図６】本発明の一実施形態に従ってアウトフェースネットワークを形成するための方法のフローチャートを示す。
【図７】本発明の一実施形態に従ってインフェースネットワーク内の各パッチのペアの類似度を決定するための例示的なシステムのブロック図を示す。
【発明を実施するための形態】
【００１２】
例示的な実施形態について、添付の図面を参照して詳細に説明する。図面全体を通して、同じ参照番号は同じまたは同様の部分を示すために適切に用いられる。
【００１３】
図1は、以下に詳細に説明される本発明の一実施形態に係る顔認識のための手順100のフローチャートを示す。
【００１４】
[ステップS101]
図1に示すように、顔画像のペアは顔画像データベースから検索され、続いて、各顔画像は、複数の画像パッチに分割（セグメント化）され、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する。図2aに示すように、顔aと顔bは、顔画像のペアを形成し、顔aのパッチpと顔bのパッチqはパッチのペアを形成する。
【００１５】
[ステップS102]
このステップでは、各パッチのペアの第1の類似度は、第1顔画像KNN（K-隣接ネットワーク）によって決定されることになる。図２に示す本発明の一実施形態では、ステップS1021において、各パッチのペアおよびそれらの得られたパッチを囲むK個（Kは1以上の整数）の隣接パッチが得られ、続いて、ステップS1022において、第1の顔画像KNNが取得されたパッチから形成され、そしてステップS1023において、以下で詳細に説明される、形成された第1の顔画像KNNにおいて各パッチのペアの第1の類似度が決定される。
【００１６】
当該技術分野においてよく知れられるように、顔が全体的に構造化される。パッチpは、顔aから構成されたものであるため、その微細構造は、パッチpの周辺のパッチと連続的に結合される。図2（a）および図2（b）に示されるように、例えば、目の隅のパッチの構造は、その隣接するパッチと架橋される。従って、パッチのペアから得た2つの顔の間の類似度を局所的に比較する際に、隣接パッチを考慮するのがより説得力がある。本発明の実施の形態では、これを行うために、パッチPの周りのrの隣接パッチをサンプリングする。図2（b）は、r=8の場合の、顔aと顔bにおけるパッチの例を示す。異なる顔に対して同じ位置で取得されたローカルパッチは、視覚的な意味において高度に相関する。例えば、異なる顔の目の隅は非常に類似する。従って、2×（r+1）の隣接パッチは、それらが空間ベクトルポイントとして提示される場合、空間的に混合されてもよい。このような混合構造をモデル化するために、混合パッチは、KNNネットワークによる特徴空間内におけるその空間的位置に応じて局所的に結合される。図2（c）は、顔のパッチの2-NNネットワークを示す。2つの顔の間に構築されたネットワークは、インフェースネットワークと呼ばれる。
【００１７】
図2（c）は、同一人物のいくつかのパッチが直接的にリンクされていないことを示す。このような場合の構造をモデル化するために、ネットワーク内における遠く離れたノードを結合するためのパスを適用する。ソーシャルネットワークにおいて、パスに基づく測定は、ノードの類似度を計算するために広く用いられる。例えば、(I-zP)-1の各エントリーは、対応するノードのグローバル類似度を表す。Pはネットワークの隣接行列である。ノードの類似度は、ノード間を結合する全てのパスにより定義される。類似度行列(I-zP)-1を用いることで、ネットワークにおける構造のコンパクトさは、全てのノード間における平均類似度により計算することができる。この目的のために、パスの重要性は、
【数１】
2016538674.tif 000003
として定義することができる。
【００１８】
ネットワークがよりコンパクトになると、パスの中心性がより大きくなる。パスの中心性CGを用いることにより、ネットワークフレームワーク内においてパッチのペアの類似度を計算することが容易になる。分析をより明確にするために、
【数２】
2016538674.tif 000004
は、顔aにおけるパッチpと顔bにおけるパッチqにより構築されるネットワークを表す。Gapはパッチpのサブネットワークであり、Gbqはパッチqのサブネットワークである。パッチPとパッチqがより類似すると、GapとGbqとの間にあるパスはより相互に結合されることが簡単に分かる。従って、パスの中心性
【数３】
2016538674.tif 000005
の増加は、サブネットワーク
【数４】
2016538674.tif 000006
および
【数５】
2016538674.tif 000007
の増加の大きさ以上になり、これはパッチのペアの類似度を計算するためにランダムパス測定
【数６】
2016538674.tif 000008
を定義することの動機になる。ランダムパス測定については後述する。
【００１９】
再び図２に戻り、本出願の実施形態では、顔画像は、サイズn×n（ここではn=16に設定）のパッチを重ね合わせてM=K×Kに密にセグメント化される。例えば、8ピクセルの重ね合わせを設定し、サイズn×nの各パッチの特徴を抽出するためにローカル画像記述子を適用することができる。従って、各顔は、ローカル画像記述子から形成されたM=K×Kの特徴ベクトルのセット
【数７】
2016538674.tif 000009
によって表される。fijは顔内の（i,j）に位置するパッチの特徴ベクトルである。FaとFbは、それぞれ、顔aと顔bの特徴セットを表す。（i,j）のパッチにインフェースネットワークを構築するために、Fa内にfaijおよびFb内にfbijを取る。同時に、（i,j）周辺におけるr個のfaijの隣接が取られる。fbijに対しても同様の操作が実行される。例えば、r=8iである。よって、faij及びfbijのパッチのペアについてKNNネットワークGijを構築するために利用される（2+2r）のパッチの特徴ベクトルが得られる。その重み付けされた隣接行列は、
【数８】
2016538674.tif 000010
によって表される。従って、faijとそのr個の隣接に対応する、ネットワークGaijの重み付け隣接行列
【数９】
2016538674.tif 000011
は、faijとその隣接rの索引により標記される、Gijのサブ行列である。同様に、Gbijとその隣接行列
【数１０】
2016538674.tif 000012
が得られる。より良い理解のため、本願では、GijのノードのセットがノードのセットGaijおよびGbijの結合であることを意味する、
【数１１】
2016538674.tif 000013
を定義する。faijとfbijのパッチのペアに対し、それらのパスの中心性は以下のように計算される。
【数１２】
2016538674.tif 000014
2016538674.tif 000015
2016538674.tif 000016
【００２０】
そして、パッチのペアの類似度の計算を得るためにRP測定が適用される。
【数１３】
2016538674.tif 000017
【００２１】
この操作に類似して、FaおよびFbからM個のパッチのペアの類似度が導出される。類似度は、類似度ベクトル
【数１４】
2016538674.tif 000018
として表すことができる。
【００２２】
上述のネットワークは、2つの顔画像内にのみ構築されるのでインフェースネットワークとして呼ばれる。パッチのペアとそれらの近隣の構造情報のみが考慮され、したがってインフェースネットワークは主にローカル情報を伝える。
【００２３】
[ステップS103]
このステップでは、全てのパッチのペアから得られる顔画像のペアの第2の類似度は、第2の顔画像KNNを介して取得される。本願では、第2の顔画像KNNもアウトフェースネットワークと呼ばれる。
多くの顔では、異なる顔の同じ構成要素の間には相関関係が存在する。例えば、ピーターの目はトムの目と似ている、といったことがある。このような構造的な相関関係をモデル化するために、さらに、全ての顔の同じ位置におけるパッチからネットワークを構築する。図3（a）及び（b）に示すように、1つの顔の中にM個の異なるパッチがある場合、M個のネットワークを構築することができる。図3（c）に示すように、これらの構成ネットワークを統合するために、顔内の各パッチに対し、トレーニングデータ内の隣接位置において最も類似するr個のパッチとリンクする。よって、アウトフェイスネットワークとして、顔と顔内との間の構造的な相関をカバーするグローバルネットワークを導出する。具体的には、図６に示すように、ステップS601において、アウトフェースネットワークは、画像データベースからN個のトレーニング顔画像を検索することによって得られ、ステップS602において、M個の画像パッチで各トレーニング顔画像をセグメント化し、ステップS603において、N個のトレーニング顔画像のM個の画像に対して、セグメント化されたパッチからM個のKNNを形成し（M<N）、ステップS604において、第2のKNNを形成するために、各パッチと形成された各KNN内における当該パッチの隣接パッチとをリンクする。
【００２４】
インフェースネットワークとは異なり、アウトフェースネットワークの構築には、教師なしの方法によるトレーニングデータを必要とする。パッチセグメント化および特徴抽出は、上述したステップS102と同じ方法で形成される。
【００２５】
Tは、トレーニングセットにおける顔画像の数であると仮定する。特徴セットを、
【数１５】
2016538674.tif 000019
ように記載する。
【００２６】
ここで、Ftは第tの顔の特徴セットである。第2のKNN（アウトフェースネットワーク）としてのKNNネットワークGijglobalを構築するために、まず、トレーニングセット内の（i,j）における全ての特徴ベクトル
【数１６】
2016538674.tif 000020
を適用する。この方法により、M個の独立したGijglobalが構築される。独立したとは、それらの間には相関が無いことを意味する。各顔の（i,j）におけるfijtとその近隣との間の構造的な近接性を保つために、fijtはその8個の近隣と結合される。ここで、“結合”とは、パッチが選択された場合、それのr個の近隣も選択されることを意味する。そのため、近隣との結合により、M個の独立したGijglobalは、最終的なグローバルネットワークGglobalを形成するために、加重隣接行列Pglobalとともにリンクされる。
【００２７】
ネットワーク内のノードxiとノードyjとを結合するエッジの重みP(i,j)は、
【数１７】
2016538674.tif 000021
のように定義される。dist(xi,xj)は、xiとxjとの間のペアワイズ距離であり、NiKはxiのKNNのセットであり、
【数１８】
2016538674.tif 000022
である。遷移確率行列を得るために、
【数１９】
2016538674.tif 000023
を実行する必要がある。
【００２８】
図5は、本発明の一実施形態に従った、アウトフェースネットワークにおいて各パッチのペアの類似性を決定する方法のフローチャートを示す。ステップS1031では、パッチのペアのそれぞれを取得し、かつ、得られたパッチを囲む複数の隣接パッチを取得し、ステップS1032において、隣接パッチのサブネットワークは、第2のKNNから検索され、ステップS1033において、全てのパッチのペアによる顔画像のペアの類似度が決定される。
【００２９】
再び図2（b）を参照して、テスト顔画像a与えられ、GijglobalにおけるそのrNN個の最も類似するパッチが各fijaから検索され、そして次に、各選択されたパッチに対し、初期Gaを形成するために、それの8個の隣接パッチが一緒に選択される。この検索方法では、取得された類似パッチが、他の顔画像中におけるfijaの空間的にセマンティックな近隣のの１つであることを保証できる。従って、(rNN+1)×M個のパッチノードは、最終的にGglobalから選択される。一実施形態では、いくつかの重複がそれらから削除され、残りのノードはGglobalからサブネットワークGaを抽出し、対応するPglobalからサブ行列
【数２０】
2016538674.tif 000024
を抽出するために使用される。同じ方法により、顔bから、Gbおよび
【数２１】
2016538674.tif 000025
を取得できる。GaおよびGb内のノードを統合することによって、GglobalおよびPglobalから、統合ネットワーク
【数２２】
2016538674.tif 000026
およびその隣接行列
【数２３】
2016538674.tif 000027
を取り込むことができる。
【００３０】
顔aおよび顔bに対して、
【数２４】
2016538674.tif 000028
と、
【数２５】
2016538674.tif 000029
と、
【数２６】
2016538674.tif 000030
と、を取得した後、定義１に従って、それらのパスの中心性である、
【数２７】
2016538674.tif 000031
と、
【数２８】
2016538674.tif 000032
と、
【数２９】
2016538674.tif 000033
と、を計算することは容易である。RP測定は、その後、それらの類似度
【数３０】
2016538674.tif 000034
を計算するために適用される。
【００３１】
類似度soutは、グローバルな観点からの2つの顔画像の構造情報を表す。
【００３２】
このネットワークの構成はトレーニングデータを必要とし、各テスト顔はその上に投影される必要があるので、このネットワークは、アウトフェースネットワークと呼ばれる。
検索操作はGglobalの代わりにGijglobalのみで作られているので、各パッチに対する最も近隣を検索するのが速い。
【００３３】
[ステップS104]
上述の分析から、インフェースネットワークとアウトフェースネットワークとは構造的に補完的であることは明らかである。ネットワークの識別能力を改善するため、ステップS102で得られた第1の類似度sinとステップS102で得られた第2の類似度soutとを、
【数３１】
2016538674.tif 000035
によって結合する単純な融合方法が使用される。
【００３４】
ここで、sfinalは、2つの顔画像の複合類似度ベクトルであり、そしてαは、トレーニングデータから学習される自由パラメータである。例えば、α=0.5である。この融合/組み合わせ方法は、インフェースネットワークとアウトフェイスネットワークの利点を効果的に組み合わせることができる。認識のための分類器を訓練するために、組み合わせsfinalが従来の線形SVM（Support Vector Machine）に供給されてもよい。
【００３５】
本発明の一実施形態では、プロセス100は、さらに、顔画像を認識するステップ（図示せず）を含んでいてもよい。これをすることで、線形モードは、重み付け類似度ベクトルsfinalのN組をそれらに対応するラベル（0または1）とともに線形サポートベクトルマシンに入力することにより得られる。その後、二つの顔のベクトルsfinalは、二つの顔が一人のラベルに属するかどうかを決定するために、線形サポートベクトルマシンモードに入力される。例えば、0はそれらが同じ人に属していることを意味し、逆に、1はそれらが異なる人に属していることを意味する。
【００３６】
以下に、本願において提案されているランダムパス測定について説明する。
【００３７】
Gは、N個のノード
【数３２】
2016538674.tif 000036
を有するネットワークを表すものとし、Pは、その重み付き隣接行列を表すものとする。行列P内の各エントリは、関連するノード間の類似度である。一般性のため、Gは方向性を持つと仮定し、これはPが非対称であってもよいことを意味する。Pで定義された長さtの経路は、
【数３３】
2016538674.tif 000037
により表される。Stは長さtのすべてのパスのセットである。Tは行列の転置演算子を表し、１は、すべて１の行列を表し、Iは単位行列を表すものとする。
【００３８】
当該技術分野において開示されているようなソーシャルネットワーク分析における概念に端を発し、ネットワークGのパス中心性CGの定義が導入される。
【００３９】
定義１  パス中心性
【数３４】
2016538674.tif 000038
ここで、
【数３５】
2016538674.tif 000039
であり、かつ、ρ（P）はPのスペクトル半径である。
【００４０】
行列（I-ZP）-1の（i、j）エントリは、ノードxiとノードxjとの間のグローバルな類似度のようなものを表す。これは、ソーシャルネットワーク内のアクターの影響度を計算するために導入される。明確にするため、（I-ZP）-1を拡張し、それを生成行列関数
【数３６】
2016538674.tif 000040
と見なす。
【００４１】
行列Pt内の各エントリは、
【数３７】
2016538674.tif 000041
と表記することができ、Gにおいてノードxiで始まりノードxjで終わる全てのパスの長さtのすべてのパス上の重みの積の和である。機械学習では、上記によって定義されたグローバル類似度は、当該技術分野においてはセマンティック類似度とも呼ばれる。本願のフレームワークでは、重み付き隣接行列Pは、各エントリが負ではなく、各行の合計が1に正規化されることを満たす。従って、エントリPi,jtを、ランダムウォーカーがノードxiから始まりtステップ後にノードxjに到達する確率として見なされる。この観点から、パスの中心性は、G内の結合された全てのノード間の全てのパスの全ての長さによって、ネットワークGの構造的なコンパクトさを計算することである。G内のウォークのランダムさによる測定は、ランダムパス測定とも呼ばれる。
【００４２】
パス中心性の定義を用いて、RP測定が、2つのネットワーク間の類似度を計算するために当然に使用できる。パス中心性の定義から、G内の2つのサブネットワークが、ほとんどのパスを共有する場合にパス中心性という意味で最も近い構造を持つことは、理にかなっている。つまり、構造的認識の観点から、2つのネットワークは最も関連しているといえる。従って、2つの所定のネットワークGiおよびGjに対して、RP測定の定義を、以下のように定義することができる。
【００４３】
定義２  ランダムパス測定
【数３８】
2016538674.tif 000042
は、2つのネットワークGiおよびGjとの間の類似度を考慮している。
【００４４】
上記の定義において、ユニオンパス中心性
【数３９】
2016538674.tif 000043
は、
【数４０】
2016538674.tif 000044
のように記載される。
【数４１】
2016538674.tif 000045
は、GiおよびGjのノードに対応するユニオン隣接行列である。RP測定
【数４２】
2016538674.tif 000046
は、GiとGjとの間の全てのパスについての構造情報を具体化する。この定義を直感的に理解するために、図4に示すケースについて考える。
【数４３】
2016538674.tif 000047
と
【数４４】
2016538674.tif 000048
は、
それぞれ、Ci内の構造情報とCj内の構造情報を計算する。
【数４５】
2016538674.tif 000049
は、GiおよびGj内の構造情報を計算するだけでなく、GiとGjとの間の全てのパスを通して構造情報を計算する。
【数４６】
2016538674.tif 000050
の値が大きくなれば、2つのネットワークが共有する構造情報は多くなり、これら2つのネットワークが、より類似した構造を有することを意味する。従って、
【数４７】
2016538674.tif 000051
は、二つのネットワークの間の構造的類似性を計算するために利用できる。
【００４５】
RP測定は、2つのネットワークの間の、最短のパスだけでなくすべてのパスを考慮する。従って、この測定は、ノイズや外れ値に対してロバストである。さらに、ノードの中心性（I-zP）-11の平均値を取る。この操作により、ネットワークの構造情報は各ノードに分散され、これは、RP測定が、マルチ分布とマルチスケールの影響を受けないことを意味する。
【００４６】
上記では、顔認識の手法について説明した。以下では、顔認識のためのシステム200について、図７を参照して説明する。
図７に示すように、システム200は、セグメント部10、第1の類似度決定部20、第2の類似度決定部30、融合部40および認識部50を備える。
【００４７】
セグメント部10は、顔画像のペアを取得し（検索し）、それぞれの顔画像を複数の画像パッチにセグメント化するように構成される。ステップS101で説明したように、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する。
【００４８】
第1の類似度決定部20は、各パッチのペアの第1の類似度を決定するように構成されている。本出願では、各パッチのペアの第1の類似度は、ステップS102で説明したように、各パッチのペアと取得されたパッチを囲むK個の隣接パッチを取得し、取得されたパッチから第1のKNNを形成し、そして各パッチのペアの第1の類似度を決定することによって、インフェースネットワークを介して決定されてもよい。Kは1以上の整数である。
第2の類似度決定部30は、全てのパッチのペアからの顔画像のペアの第2の類似度を決定するように構成される。具体的には、第2の類似度決定部30は、各パッチのペアを取得するとともに第2のKNNにおける得られたパッチを囲む複数の隣接パッチを取得し、第2のKNNから隣接パッチのサブネットワークを検索し、検索されたサブネットワークから第2の類似度を決定するように構成される。第2のKNNは、上述したアウトフェースネットワークを参照する。そして、第2のKNNは、画像データベースからN個のトレーニング顔画像を検索すること、各トレーニング顔画像をM個の画像のパッチにセグメント化すること、N個のトレーニング顔画像のM個の画像に対して、セグメント化されたパッチからM個のKNNを形成すること、そして、形成された各KNN内において各パッチをその隣接パッチとリンクすること、によって形成されてもよい。本実施形態では、上述したように、第2の類似度は、第2のネットワークにおいてランダムウォークを実行することによって決定される。
【００４９】
融合部40と認識部50は、上述した式（7）の規定により、第1の類似度および第2の類似度を融合／結合するように構成される。
【００５０】
本発明の実施形態は、特定のハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現することができる。また、本発明の実施形態は、1またはそれ以上のコンピュータ読み取り可能な記憶媒体（ディスク記憶装置、CD-ROM、光メモリなどを備えるがそれらに限定されない）上に具現化されたコンピュータプログラムコードを含むコンピュータプログラム製品により実現することができる。例えば、上述の方法は、コンピュータ可読媒体に格納された命令を実行するための1またはそれ以上のプロセッサによって実現されてもよい。具体的には、この媒体は顔画像のペアを読み取るための命令、それぞれの顔画像を複数の画像のパッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するための命令、それぞれのパッチのペアの第１の類似度を決定するための命令、全てのパッチのペアから顔画像のペアの第2の類似度を決定するための命令、および顔画像を認識するための命令、を記憶してもよい。
【００５１】
以上の説明では、種々の態様、ステップ、または構成要素は、例示の目的のために単一の実施形態に一緒にグループ化されている。本開示は、特許請求の範囲において請求された主題のために、開示された全てのバリエーションを必要とするものであると解釈されるべきではない。以下のそれぞれの請求項は、本開示の独立した実施形態として、例示的な実施形態であるこの説明に組み込まれる。
【００５２】
また、特許請求の範囲としての本開示の範囲から逸脱することなく、本発明の明細書の考察および本開示の実施から、開示されたシステムや方法に対する様々な変更および変形が可能であることは、当業者にとって明らかであろう。従って、明細書および実施例は例示としてのみ考慮されることが意図され、本開示の真の範囲は以下の請求項とそれらの等価物により意図される。
【図１】
2016538674.tif 000070
【図２】
2016538674.tif 000071
【図３】
2016538674.tif 000072
【図４】
2016538674.tif 000073
【図５】
2016538674.tif 000074
【図６】
2016538674.tif 000075
【図７】
2016538674.tif 000076
【手続補正書】
【提出日】平成28年5月27日(2016.5.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔画像のペアを取得するステップと、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するステップと、
各パッチのペアにおける第1の類似度を決定するステップと、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定するステップと、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合するステップと、を備える顔を認識するための方法。
【請求項２】
各パッチのペアにおける前記第1の類似度を決定するステップは、
各パッチのペアを取得するとともに取得された前記パッチを囲むK個（Kは1またはそれ以上）の隣接パッチを取得することと、
取得されたパッチから第1のKNNを形成することと、
形成された前記第１のKNNにおいて各パッチのペアの前記第1の類似度を決定することと、を備える、請求項１に記載の方法。
【請求項３】
前記第1の類似度は、形成された第1のKNNにおいてランダムウォークを実行することにより決定される、請求項１に記載の方法。
【請求項４】
全てのパッチのペアから前記顔画像のペアにおける前記第2の類似度を決定するステップは、
複数の画像パッチから各パッチのペアを取得することと、
取得された前記パッチを囲む複数の隣接パッチを第2のKNNにおいて取得することと、
前記隣接パッチに対するサブネットワークを前記第2のKNNから取得することと、
取得された前記サブネットワークにおいて前記第2の類似度を決定することと、
を備える、請求項１に記載の方法。
【請求項５】
さらに、前記第2のKNNを形成するステップを備え、前記第2のKNNを形成するステップは、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像パッチに対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、を備える、請求項４に記載の方法。
【請求項６】
前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定する、請求項１に記載の方法。
【請求項７】
顔認識のためのシステムであって、
顔画像のペアを取得し、それぞれの顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するように構成されるセグメント部と、
各パッチのペアの第1の類似度を決定するように構成される第1の類似度決定部と、
全てのパッチのペアからの顔画像のペアの第2の類似度を決定するように構成される第2の類似度決定部と、
各パッチのペアに対して決定される前記第1の類似度および前記顔画像のペアに対して決定される前記第2の類似度を融合するように構成される融合部と、を含むシステム。
【請求項８】
前記第1の類似度決定部は、
各パッチのペアを取得するとともに取得された前記パッチを囲むK個（Kは1またはそれ以上）の隣接パッチを取得し、
取得された前記パッチから第1のKNNを形成し、そして、
形成された前記第1のKNNにおいて各パッチのペアの前記第1の類似度を決定する、請求項７に記載のシステム。
【請求項９】
前記第1の類似度は、形成された第1のKNNにおいてランダムウォークを実行することにより決定される、請求項７に記載のシステム。
【請求項１０】
前記第2の類似度決定部は、
複数の画像パッチから各パッチのペアを取得し、
取得された前記パッチを囲む複数の隣接パッチを第2のKNNにおいて取得し、
前記隣接パッチに対するサブネットワークを前記第2のKNNから取得し、
取得された前記サブネットワークにおいて前記第2の類似度を決定する、ように構成される、請求項７に記載のシステム。
【請求項１１】
前記第2のKNNを形成するための前記第2の類似度決定部における操作は、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像パッチに対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、により形成される、請求項１０に記載のシステム。
【請求項１２】
前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定される、請求項７に記載のシステム。
【請求項１３】
コンピュータ可読記憶媒体であって、
顔画像のペアを取得する命令と、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する命令と、
各パッチのペアにおける第1の類似度を決定する命令と、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定する命令と、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合する命令と、を備える、コンピュータ可読記憶媒体。
【請求項１４】
前記命令は、前記コンピュータ可読記憶媒体上に具現化されたコンピュータプログラム製品に含まれている請求項１３に記載のコンピュータ可読記憶媒体。
【請求項１５】
前記コンピュータ可読記憶媒体はディスク記憶装置、CD-ROMまたは光メモリである請求項１３に記載のコンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、顔を認識するための方法、システムおよびコンピュータ可読記憶媒体に関する。
【背景技術】
【０００２】
過去20年間、顔認識は広く研究されている。しかし、ポーズ、照明および表情などによる個人内における大きな変化については、実環境の写真に対するロバストな顔認識の課題として残っている。
【０００３】
従来の顔認識のための測定手法は、個人内における大きな変化がある場合、用途の広さにいくつかの制限がある。例えば、当該技術分野において、一人の人間についての顔画像が多様な分布を有することが知られている。実際には、これらの分布は、一般的に、顔データにおける高い複雑性に起因する、異なる密度、大きさおよび形状を有している。また、多くの場合、顔領域にはノイズおよび外れ値が含まれている。従来の測定手法は、これらの課題の全てに取り組むことができない。類似度（または非類似度）の計算に基づく多くの方法は、ペアワイズ距離を顔の間の類似度（または非類似度）の計算に直接用いるが、これでは顔を高精度に見分けるための構造情報を取得することはできない。いくつかの研究では上記構造情報を計算に適用しているが、開発されたアルゴリズムは、一般的に、ノイズや外れ値の影響を受けやすい。例えば、ネットワークにおける最短のパスの長さの計算は、ノイズの多いノードの影響を受けやすい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願は、上記問題点を克服するために設計されたランダムパス（RP）測定と呼ばれる新しい顔類似度の測定を提案する。また、2つの新規な顔パッチネットワークである、インフェイスネットワークとアウトフェイスネットワークとが開示されている。
【課題を解決するための手段】
【０００５】
幾つかの態様において、本発明は、顔は、複数の重複する同じ大きさのパッチにより分割される。インフェイスネットワークは、任意の顔のペアに対して定義される。各顔画像のペアにおける各パッチエリアに対し、2つの対応するパッチのペアとそれらの近隣の8つのパッチは、インフェイスネットワークと呼ばれるKNNグラフを形成するために用いられる。このような各インフェイスネットワークのために、対応するパッチのペアのパッチ類似度として、ランダムパス（RP）測定が提案されている。与えられたネットワークにおいて、任意の2つのノード間における全てのパスが機能生成により統合される。RP測定は、ネットワーク内における異なる長さの全てのパスが含まれ、顔内でより多くの識別情報を取得し、かつ、ノイズや外れ値の影響を大幅に低減することを可能にする。従って、M個のパッチを有する顔のペアに対し、M個のRP測定が、二つの顔の間の類似特徴ベクトルを形成するために決定される。この手法では、２つの顔内にのみネットワークが形成されるので、インフェイスネットワークと呼ばれる。本開示では、それはまた、第1のKNNを示す。
【０００６】
アウトフェイスネットワーク（第2のKNN）は、同様の方法で形成される。ネットワークを形成するために局所（ローカル）隣接パッチを用いる代わりに、各パッチに対し、顔パッチのデータベースを検索し、パッチのペアのネットワークを形成するために、そのパッチと同じ位置の隣接パッチにおいて類似のパッチおよび当該類似のパッチの8つの隣接パッチを見つける。検索はトレーニング空間を超えてグローバルに行われるので、アウトフェースネットワークは、よりグローバルに構造情報を取得する。2つのネットワークは、それぞれローカルおよびグローバルの構造情報を描くため、これら2つのネットワーク上からRP測定により導かれる類似度は、認識性能を高めるために組み合わせることができる。インフェイスネットワーク上およびアウトフェイスネットワーク上でのRP測定によれば、既存の測定よりも、課題である2つの顔データセットに対する顔認証においてRP測定の性能が著しく向上する。
【０００７】
一態様において、本出願は、顔を認識するための方法であって、
顔画像のペアを取得するステップと、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するステップと、
各パッチのペアにおける第1の類似度を決定するステップと、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定するステップと、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合するステップと、を備える、方法を提供する。
もう一例において、前記方法は前記第2のKNNを形成するステップを備え、前記第2のKNNを形成するステップは、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像に対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、を備える。
もう一例において、前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定する。
もう一例において、前記第1の類似度および前記第2の類似度は、
前記パッチにより形成される第1のサブネットワークGi、前記パッチにより形成される第2のサブネットワークGjおよび前記第1のサブネットワークと前記第2のサブネットワークとを統合したサブネットワーク
【数１】
2016538674.tif 000077
を決定することと、
Gi、Gjおよび
【数２】
2016538674.tif 000078
のそれぞれに対し隣接行列を決定することと、
前記隣接行列のそれぞれに対し、パス中心性
【数３】
2016538674.tif 000079
、
【数４】
2016538674.tif 000080
および
【数５】
2016538674.tif 000081
を決定することと、
【数６】
2016538674.tif 000082
の規定によりGiとGjの間における対応する類似度を決定することと、
によって決定される。
【０００８】
この提供された方法は、コンピュータ内における1またはそれ以上のプロセッサによって実行されてもよい。
【０００９】
他の態様において、本出願は、顔認識のためのシステムであって、
セグメント部は、顔画像のペアを取得し、それぞれの顔画像を複数の画像パッチにセグメント化するように構成され、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成し、
第1の類似度決定部は、各パッチのペアの第1の類似度を決定するように構成され、
第2の類似度決定部は、全てのパッチのペアからの顔画像のペアの第2の類似度を決定するように構成され
融合部は、各パッチのペアに対して決定される前記第1の類似度および前記顔画像のペアに対して決定される前記第2の類似度を融合するように構成される、システムを提供する。
一例において、前記第1の類似度決定部は、
各パッチのペアを取得するとともに取得された前記パッチを囲むK個（Kは1またはそれ以上）の隣接パッチを取得し、
取得された前記パッチから第1のKNNを形成し、そして、
形成された前記第1のKNNにおいて各パッチのペアの前記第1の類似度を決定する。
もう一例において、前記第1の類似度は、形成された第1のKNNにおいてランダムウォークを実行することにより決定される。
もう一例において、前記第1の類似度は、
前記パッチにより形成される第1のサブネットワークGi、前記パッチにより形成される第2のサブネットワークGjおよび前記第1のサブネットワークと前記第2のサブネットワークとを統合したサブネットワーク
【数７】
2016538674.tif 000083
を決定することと、
Gi、Gjおよび
【数８】
2016538674.tif 000084
のそれぞれに対し隣接行列を決定することと、
前記隣接行列のそれぞれに対し、パス中心性
【数９】
2016538674.tif 000085
、
【数１０】
2016538674.tif 000086
および
【数１１】
2016538674.tif 000087
を決定することと、
【数１２】
2016538674.tif 000088
の規定によりGiとGjの間における前記第1の類似度を決定することと、
、により決定される。
もう一例において、前記第2の類似度決定部は、
複数の画像パッチから各パッチのペアを取得し、
取得された前記パッチを囲む複数の隣接パッチを第2のKNNにおいて取得し、
前記隣接パッチに対するサブネットワークを前記第2のKNNから取得し、
取得された前記サブネットワークにおいて前記第2の類似度を決定する、ように構成される。
もう一例において、前記第2のKNNを形成するための前記第2の類似度決定部における操作は、
N個（Nは1以上の整数）のトレーニング顔画像を取得することと、
各トレーニング顔画像をM個の画像のパッチにセグメント化することと、
N個のトレーニング顔画像のM個の画像に対して、セグメント化されたパッチからM個のKNNを形成することと、
第2のKNNを形成するために、各パッチと形成された各KNNにおける当該パッチの隣接パッチとをリンクすることと、により形成される。
もう一例において、前記第2の類似度は、ネットワークにおいてランダムウォークを実行することにより決定される。
もう一例において、前記第2の類似度は、
前記パッチにより形成される第1のサブネットワークGi、前記パッチにより形成される第2のサブネットワークGjおよび前記第1のサブネットワークと前記第2のサブネットワークとを統合したサブネットワーク
【数１３】
2016538674.tif 000089
を決定することと、
Gi、Gjおよび
【数１４】
2016538674.tif 000090
のそれぞれに対し隣接行列を決定することと、
前記隣接行列のそれぞれに対し、パス中心性
【数１５】
2016538674.tif 000091
、
【数１６】
2016538674.tif 000092
および
【数１７】
2016538674.tif 000093
を決定することと、
【数１８】
2016538674.tif 000094
の規定によりGiとGjの間における前記第2の類似度を決定することと、
、により決定される。
【００１０】
他の態様において、本出願は、
顔画像のペアを取得する命令と、
取得した各顔画像を複数の画像パッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する命令と、
各パッチのペアにおける第1の類似度を決定する命令と、
全てのパッチのペアから前記顔画像のペアにおける第2の類似度を決定する命令と、
各パッチのペアに対して決定された前記第1の類似度と前記顔画像のペアに対して決定された前記第2の類似度とを融合する命令と、を備える、コンピュータ可読記憶媒体を提供する。
一例において、前記命令は、コンピュータ可読記憶媒体上に具現化されたコンピュータプログラム製品に含まれている。
もう一例において、前記コンピュータ可読記憶媒体はディスク記憶装置、CD-ROMまたは光メモリである。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る顔認識のための方法のフローチャートを示す。
【図２】本出願の一実施形態におけるインフェースネットワークの形成プロセスを示す。
【図３】本発明の一実施形態に係るアウトフェースネットワークの形成プロセスを示す。
【図４】本発明の一実施の形態におけるインフェースネットワークにおいてパッチの各ペアの類似度を決定するための方法のフローチャートを示す。
【図５】本発明の一実施形態に従ってアウトフェースネットワークにおいて顔画像のペアの類似度を決定するための方法のフローチャートを示す。
【図６】本発明の一実施形態に従ってアウトフェースネットワークを形成するための方法のフローチャートを示す。
【図７】本発明の一実施形態に従ってインフェースネットワーク内の各パッチのペアの類似度を決定するための例示的なシステムのブロック図を示す。
【発明を実施するための形態】
【００１２】
例示的な実施形態について、添付の図面を参照して詳細に説明する。図面全体を通して、同じ参照番号は同じまたは同様の部分を示すために適切に用いられる。
【００１３】
図1は、以下に詳細に説明される本発明の一実施形態に係る顔認識のための手順100のフローチャートを示す。
【００１４】
[ステップS101]
図1に示すように、顔画像のペアは顔画像データベースから検索され、続いて、各顔画像は、複数の画像パッチに分割（セグメント化）され、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する。図2aに示すように、顔aと顔bは、顔画像のペアを形成し、顔aのパッチpと顔bのパッチqはパッチのペアを形成する。
【００１５】
[ステップS102]
このステップでは、各パッチのペアの第1の類似度は、第1顔画像KNN（K-隣接ネットワーク）によって決定されることになる。図２に示す本発明の一実施形態では、ステップS1021において、各パッチのペアおよびそれらの得られたパッチを囲むK個（Kは1以上の整数）の隣接パッチが得られ、続いて、ステップS1022において、第1の顔画像KNNが取得されたパッチから形成され、そしてステップS1023において、以下で詳細に説明される、形成された第1の顔画像KNNにおいて各パッチのペアの第1の類似度が決定される。
【００１６】
当該技術分野においてよく知れられるように、顔が全体的に構造化される。パッチpは、顔aから構成されたものであるため、その微細構造は、パッチpの周辺のパッチと連続的に結合される。図2（a）および図2（b）に示されるように、例えば、目の隅のパッチの構造は、その隣接するパッチと架橋される。従って、パッチのペアから得た2つの顔の間の類似度を局所的に比較する際に、隣接パッチを考慮するのがより説得力がある。本発明の実施の形態では、これを行うために、パッチPの周りのrの隣接パッチをサンプリングする。図2（b）は、r=8の場合の、顔aと顔bにおけるパッチの例を示す。異なる顔に対して同じ位置で取得されたローカルパッチは、視覚的な意味において高度に相関する。例えば、異なる顔の目の隅は非常に類似する。従って、2×（r+1）の隣接パッチは、それらが空間ベクトルポイントとして提示される場合、空間的に混合されてもよい。このような混合構造をモデル化するために、混合パッチは、KNNネットワークによる特徴空間内におけるその空間的位置に応じて局所的に結合される。図2（c）は、顔のパッチの2-NNネットワークを示す。2つの顔の間に構築されたネットワークは、インフェースネットワークと呼ばれる。
【００１７】
図2（c）は、同一人物のいくつかのパッチが直接的にリンクされていないことを示す。このような場合の構造をモデル化するために、ネットワーク内における遠く離れたノードを結合するためのパスを適用する。ソーシャルネットワークにおいて、パスに基づく測定は、ノードの類似度を計算するために広く用いられる。例えば、(I-zP)-1の各エントリーは、対応するノードのグローバル類似度を表す。Pはネットワークの隣接行列である。ノードの類似度は、ノード間を結合する全てのパスにより定義される。類似度行列(I-zP)-1を用いることで、ネットワークにおける構造のコンパクトさは、全てのノード間における平均類似度により計算することができる。この目的のために、パスの重要性は、
【数１９】
2016538674.tif 000095
として定義することができる。
【００１８】
ネットワークがよりコンパクトになると、パスの中心性がより大きくなる。パスの中心性CGを用いることにより、ネットワークフレームワーク内においてパッチのペアの類似度を計算することが容易になる。分析をより明確にするために、
【数２０】
2016538674.tif 000096
は、顔aにおけるパッチpと顔bにおけるパッチqにより構築されるネットワークを表す。Gapはパッチpのサブネットワークであり、Gbqはパッチqのサブネットワークである。パッチPとパッチqがより類似すると、GapとGbqとの間にあるパスはより相互に結合されることが簡単に分かる。従って、パスの中心性
【数２１】
2016538674.tif 000097
の増加は、サブネットワーク
【数２２】
2016538674.tif 000098
および
【数２３】
2016538674.tif 000099
の増加の大きさ以上になり、これはパッチのペアの類似度を計算するためにランダムパス測定
【数２４】
2016538674.tif 000100
を定義することの動機になる。ランダムパス測定については後述する。
【００１９】
再び図２に戻り、本出願の実施形態では、顔画像は、サイズn×n（ここではn=16に設定）のパッチを重ね合わせてM=K×Kに密にセグメント化される。例えば、8ピクセルの重ね合わせを設定し、サイズn×nの各パッチの特徴を抽出するためにローカル画像記述子を適用することができる。従って、各顔は、ローカル画像記述子から形成されたM=K×Kの特徴ベクトルのセット
【数２５】
2016538674.tif 000101
によって表される。fijは顔内の（i,j）に位置するパッチの特徴ベクトルである。FaとFbは、それぞれ、顔aと顔bの特徴セットを表す。（i,j）のパッチにインフェースネットワークを構築するために、Fa内にfaijおよびFb内にfbijを取る。同時に、（i,j）周辺におけるr個のfaijの隣接が取られる。fbijに対しても同様の操作が実行される。例えば、r=8iである。よって、faij及びfbijのパッチのペアについてKNNネットワークGijを構築するために利用される（2+2r）のパッチの特徴ベクトルが得られる。その重み付けされた隣接行列は、
【数２６】
2016538674.tif 000102
によって表される。従って、faijとそのr個の隣接に対応する、ネットワークGaijの重み付け隣接行列
【数２７】
2016538674.tif 000103
は、faijとその隣接rの索引により標記される、Gijのサブ行列である。同様に、Gbijとその隣接行列
【数２８】
2016538674.tif 000104
が得られる。より良い理解のため、本願では、GijのノードのセットがノードのセットGaijおよびGbijの結合であることを意味する、
【数２９】
2016538674.tif 000105
を定義する。faijとfbijのパッチのペアに対し、それらのパスの中心性は以下のように計算される。
【数３０】
2016538674.tif 000106
2016538674.tif 000107
2016538674.tif 000108
【００２０】
そして、パッチのペアの類似度の計算を得るためにRP測定が適用される。
【数３１】
2016538674.tif 000109
【００２１】
この操作に類似して、FaおよびFbからM個のパッチのペアの類似度が導出される。類似度は、類似度ベクトル
【数３２】
2016538674.tif 000110
として表すことができる。
【００２２】
上述のネットワークは、2つの顔画像内にのみ構築されるのでインフェースネットワークとして呼ばれる。パッチのペアとそれらの近隣の構造情報のみが考慮され、したがってインフェースネットワークは主にローカル情報を伝える。
【００２３】
[ステップS103]
このステップでは、顔画像のペアの第2の類似度は、第2の顔画像KNNを介して全てのパッチのペアから取得される。本願では、第2の顔画像KNNもアウトフェースネットワークと呼ばれる。
多くの顔では、異なる顔の同じ構成要素の間には相関関係が存在する。例えば、ピーターの目はトムの目と似ている、といったことがある。このような構造的な相関関係をモデル化するために、さらに、全ての顔の同じ位置におけるパッチからネットワークを構築する。図3（a）及び（b）に示すように、1つの顔の中にM個の異なるパッチがある場合、M個のネットワークを構築することができる。図3（c）に示すように、これらの構成ネットワークを統合するために、顔内の各パッチに対し、トレーニングデータ内の隣接位置において最も類似するr個のパッチとリンクする。よって、アウトフェイスネットワークとして、顔と顔内との間の構造的な相関をカバーするグローバルネットワークを導出する。具体的には、図６に示すように、ステップS601において、アウトフェースネットワークは、画像データベースからN個のトレーニング顔画像を検索することによって得られ、ステップS602において、M個の画像パッチで各トレーニング顔画像をセグメント化し、ステップS603において、N個のトレーニング顔画像のM個の画像パッチに対して、セグメント化されたパッチからM個のKNNを形成し（M<N）、ステップS604において、第2のKNNを形成するために、各パッチと形成された各KNN内における当該パッチの隣接パッチとをリンクする。
【００２４】
インフェースネットワークとは異なり、アウトフェースネットワークの構築には、教師なしの方法によるトレーニングデータを必要とする。パッチセグメント化および特徴抽出は、上述したステップS102と同じ方法で形成される。
【００２５】
Tは、トレーニングセットにおける顔画像の数であると仮定する。特徴セットを、
【数３３】
2016538674.tif 000111
ように記載する。
【００２６】
ここで、Ftは第tの顔の特徴セットである。第2のKNN（アウトフェースネットワーク）としてのKNNネットワークGijglobalを構築するために、まず、トレーニングセット内の（i,j）における全ての特徴ベクトル
【数３４】
2016538674.tif 000112
を適用する。この方法により、M個の独立したGijglobalが構築される。独立したとは、それらの間には相関が無いことを意味する。各顔の（i,j）におけるfijtとその近隣との間の構造的な近接性を保つために、fijtはその8個の近隣と結合される。ここで、“結合”とは、パッチが選択された場合、それのr個の近隣も選択されることを意味する。そのため、近隣との結合により、M個の独立したGijglobalは、最終的なグローバルネットワークGglobalを形成するために、加重隣接行列Pglobalとともにリンクされる。
【００２７】
ネットワーク内のノードxiとノードyjとを結合するエッジの重みP(i,j)は、
【数３５】
2016538674.tif 000113
のように定義される。dist(xi,xj)は、xiとxjとの間のペアワイズ距離であり、NiKはxiのKNNのセットであり、
【数３６】
2016538674.tif 000114
である。遷移確率行列を得るために、
【数３７】
2016538674.tif 000115
を実行する必要がある。
【００２８】
図5は、本発明の一実施形態に従った、アウトフェースネットワークにおいて顔画像のペアの類似性を決定する方法のフローチャートを示す。ステップS1031では、パッチのペアのそれぞれを取得し、かつ、得られたパッチを囲む複数の隣接パッチを取得し、ステップS1032において、隣接パッチのサブネットワークは、第2のKNNから検索され、ステップS1033において、顔画像のペアの類似度が全てのパッチのペアから決定される。
【００２９】
再び図2（b）を参照して、テスト顔画像a与えられ、GijglobalにおけるそのrNN個の最も類似するパッチが各fijaから検索され、そして次に、各選択されたパッチに対し、初期Gaを形成するために、それの8個の隣接パッチが一緒に選択される。この検索方法では、取得された類似パッチが、他の顔画像中におけるfijaの空間的にセマンティックな近隣のの１つであることを保証できる。従って、(rNN+1)×M個のパッチノードは、最終的にGglobalから選択される。一実施形態では、いくつかの重複がそれらから削除され、残りのノードはGglobalからサブネットワークGaを抽出し、対応するPglobalからサブ行列
【数３８】
2016538674.tif 000116
を抽出するために使用される。同じ方法により、顔bから、Gbおよび
【数３９】
2016538674.tif 000117
を取得できる。GaおよびGb内のノードを統合することによって、GglobalおよびPglobalから、統合ネットワーク
【数４０】
2016538674.tif 000118
およびその隣接行列
【数４１】
2016538674.tif 000119
を取り込むことができる。
【００３０】
顔aおよび顔bに対して、
【数４２】
2016538674.tif 000120
と、
【数４３】
2016538674.tif 000121
と、
【数４４】
2016538674.tif 000122
と、を取得した後、定義１に従って、それらのパスの中心性である、
【数４５】
2016538674.tif 000123
と、
【数４６】
2016538674.tif 000124
と、
【数４７】
2016538674.tif 000125
と、を計算することは容易である。RP測定は、その後、それらの類似度
【数４８】
2016538674.tif 000126
を計算するために適用される。
【００３１】
類似度soutは、グローバルな観点からの2つの顔画像の構造情報を表す。
【００３２】
このネットワークの構成はトレーニングデータを必要とし、各テスト顔はその上に投影される必要があるので、このネットワークは、アウトフェースネットワークと呼ばれる。
検索操作はGglobalの代わりにGijglobalのみで作られているので、各パッチに対する最も近隣を検索するのが速い。
【００３３】
[ステップS104]
上述の分析から、インフェースネットワークとアウトフェースネットワークとは構造的に補完的であることは明らかである。ネットワークの識別能力を改善するため、ステップS103で得られた第1の類似度sinとステップS102で得られた第2の類似度soutとを、
【数４９】
2016538674.tif 000127
によって結合する単純な融合方法が使用される。
【００３４】
ここで、sfinalは、2つの顔画像の複合類似度ベクトルであり、そしてαは、トレーニングデータから学習される自由パラメータである。例えば、α=0.5である。この融合/組み合わせ方法は、インフェースネットワークとアウトフェイスネットワークの利点を効果的に組み合わせることができる。認識のための分類器を訓練するために、組み合わせsfinalが従来の線形SVM（Support Vector Machine）に供給されてもよい。
【００３５】
本発明の一実施形態では、プロセス100は、さらに、顔画像を認識するステップ（図示せず）を含んでいてもよい。これをすることで、線形モードは、重み付け類似度ベクトルsfinalのN組をそれらに対応するラベル（0または1）とともに線形サポートベクトルマシンに入力することにより得られる。その後、二つの顔のベクトルsfinalは、二つの顔が一人のラベルに属するかどうかを決定するために、線形サポートベクトルマシンモードに入力される。例えば、0はそれらが同じ人に属していることを意味し、逆に、1はそれらが異なる人に属していることを意味する。
【００３６】
以下に、本願において提案されているランダムパス測定について説明する。
【００３７】
Gは、N個のノード
【数５０】
2016538674.tif 000128
を有するネットワークを表すものとし、Pは、その重み付き隣接行列を表すものとする。行列P内の各エントリは、関連するノード間の類似度である。一般性のため、Gは方向性を持つと仮定し、これはPが非対称であってもよいことを意味する。Pで定義された長さtの経路は、
【数５１】
2016538674.tif 000129
により表される。Stは長さtのすべてのパスのセットである。Tは行列の転置演算子を表し、１は、すべて１の行列を表し、Iは単位行列を表すものとする。
【００３８】
当該技術分野において開示されているようなソーシャルネットワーク分析における概念に端を発し、ネットワークGのパス中心性CGの定義が導入される。
【００３９】
定義１  パス中心性
【数５２】
2016538674.tif 000130
ここで、
【数５３】
2016538674.tif 000131
であり、かつ、ρ（P）はPのスペクトル半径である。
【００４０】
行列（I-ZP）-1の（i、j）エントリは、ノードxiとノードxjとの間のグローバルな類似度のようなものを表す。これは、ソーシャルネットワーク内のアクターの影響度を計算するために導入される。明確にするため、（I-ZP）-1を拡張し、それを生成行列関数
【数５４】
2016538674.tif 000132
と見なす。
【００４１】
行列Pt内の各エントリは、
【数５５】
2016538674.tif 000133
と表記することができ、Gにおいてノードxiで始まりノードxjで終わる全てのパスの長さtのすべてのパス上の重みの積の和である。機械学習では、上記によって定義されたグローバル類似度は、当該技術分野においてはセマンティック類似度とも呼ばれる。本願のフレームワークでは、重み付き隣接行列Pは、各エントリが負ではなく、各行の合計が1に正規化されることを満たす。従って、エントリPi,jtを、ランダムウォーカーがノードxiから始まりtステップ後にノードxjに到達する確率として見なされる。この観点から、パスの中心性は、G内の結合された全てのノード間の全てのパスの全ての長さによって、ネットワークGの構造的なコンパクトさを計算することである。G内のウォークのランダムさによる測定は、ランダムパス測定とも呼ばれる。
【００４２】
パス中心性の定義を用いて、RP測定が、2つのネットワーク間の類似度を計算するために当然に使用できる。パス中心性の定義から、G内の2つのサブネットワークが、ほとんどのパスを共有する場合にパス中心性という意味で最も近い構造を持つことは、理にかなっている。つまり、構造的認識の観点から、2つのネットワークは最も関連しているといえる。従って、2つの所定のネットワークGiおよびGjに対して、RP測定の定義を、以下のように定義することができる。
【００４３】
定義２  ランダムパス測定
【数５６】
2016538674.tif 000134
は、2つのネットワークGiおよびGjとの間の類似度を考慮している。
【００４４】
上記の定義において、ユニオンパス中心性
【数５７】
2016538674.tif 000135
は、
【数５８】
2016538674.tif 000136
のように記載される。
【数５９】
2016538674.tif 000137
は、GiおよびGjのノードに対応するユニオン隣接行列である。RP測定
【数６０】
2016538674.tif 000138
は、GiとGjとの間の全てのパスについての構造情報を具体化する。この定義を直感的に理解するために、図4に示すケースについて考える。
【数６１】
2016538674.tif 000139
と
【数６２】
2016538674.tif 000140
は、
それぞれ、Ci内の構造情報とCj内の構造情報を計算する。
【数６３】
2016538674.tif 000141
は、GiおよびGj内の構造情報を計算するだけでなく、GiとGjとの間の全てのパスを通して構造情報を計算する。
【数６４】
2016538674.tif 000142
の値が大きくなれば、2つのネットワークが共有する構造情報は多くなり、これら2つのネットワークが、より類似した構造を有することを意味する。従って、
【数６５】
2016538674.tif 000143
は、二つのネットワークの間の構造的類似性を計算するために利用できる。
【００４５】
RP測定は、2つのネットワークの間の、最短のパスだけでなくすべてのパスを考慮する。従って、この測定は、ノイズや外れ値に対してロバストである。さらに、ノードの中心性（I-zP）-11の平均値を取る。この操作により、ネットワークの構造情報は各ノードに分散され、これは、RP測定が、マルチ分布とマルチスケールの影響を受けないことを意味する。
【００４６】
上記では、顔認識の手法について説明した。以下では、顔認識のためのシステム200について、図７を参照して説明する。
図７に示すように、システム200は、セグメント部10、第1の類似度決定部20、第2の類似度決定部30、融合部40および認識部50を備える。
【００４７】
セグメント部10は、顔画像のペアを取得し（検索し）、それぞれの顔画像を複数の画像パッチにセグメント化するように構成される。ステップS101で説明したように、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成する。
【００４８】
第1の類似度決定部20は、各パッチのペアの第1の類似度を決定するように構成されている。本出願では、各パッチのペアの第1の類似度は、ステップS102で説明したように、各パッチのペアと取得されたパッチを囲むK個の隣接パッチを取得し、取得されたパッチから第1のKNNを形成し、そして各パッチのペアの第1の類似度を決定することによって、インフェースネットワークを介して決定されてもよい。Kは1以上の整数である。
第2の類似度決定部30は、全てのパッチのペアからの顔画像のペアの第2の類似度を決定するように構成される。具体的には、第2の類似度決定部30は、各パッチのペアを取得するとともに第2のKNNにおける得られたパッチを囲む複数の隣接パッチを取得し、第2のKNNから隣接パッチのサブネットワークを検索し、検索されたサブネットワークから第2の類似度を決定するように構成される。第2のKNNは、上述したアウトフェースネットワークを参照する。そして、第2のKNNは、画像データベースからN個のトレーニング顔画像を検索すること、各トレーニング顔画像をM個の画像のパッチにセグメント化すること、N個のトレーニング顔画像のM個の画像パッチに対して、セグメント化されたパッチからM個のKNNを形成すること、そして、形成された各KNN内において各パッチをその隣接パッチとリンクすること、によって形成されてもよい。本実施形態では、上述したように、第2の類似度は、第2のネットワークにおいてランダムウォークを実行することによって決定される。
【００４９】
融合部40と認識部50は、上述した式（7）の規定により、第1の類似度および第2の類似度を融合／結合するように構成される。
【００５０】
本発明の実施形態は、特定のハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現することができる。また、本発明の実施形態は、1またはそれ以上のコンピュータ読み取り可能な記憶媒体（ディスク記憶装置、CD-ROM、光メモリなどを備えるがそれらに限定されない）上に具現化されたコンピュータプログラムコードを含むコンピュータプログラム製品により実現することができる。例えば、上述の方法は、コンピュータ可読媒体に格納された命令を実行するための1またはそれ以上のプロセッサによって実現されてもよい。具体的には、この媒体は顔画像のペアを読み取るための命令、それぞれの顔画像を複数の画像のパッチにセグメント化し、それぞれのパッチに対し1つの画像内におけるパッチと他の画像内における対応するパッチとでパッチのペアを形成するための命令、それぞれのパッチのペアの第１の類似度を決定するための命令、全てのパッチのペアから顔画像のペアの第2の類似度を決定するための命令、および顔画像を認識するための命令、を記憶してもよい。
【００５１】
以上の説明では、種々の態様、ステップ、または構成要素は、例示の目的のために単一の実施形態に一緒にグループ化されている。本開示は、特許請求の範囲において請求された主題のために、開示された全てのバリエーションを必要とするものであると解釈されるべきではない。以下のそれぞれの請求項は、本開示の独立した実施形態として、例示的な実施形態であるこの説明に組み込まれる。
【００５２】
また、特許請求の範囲としての本開示の範囲から逸脱することなく、本発明の明細書の考察および本開示の実施から、開示されたシステムや方法に対する様々な変更および変形が可能であることは、当業者にとって明らかであろう。従って、明細書および実施例は例示としてのみ考慮されることが意図され、本開示の真の範囲は以下の請求項とそれらの等価物により意図される。
【国際調査報告】
2016538674.tif 000144
2016538674.tif 000145
2016538674.tif 000146