(57)【要約】  本出願は、生きた人の顔検証方法およびデバイスを開示する。デバイスは、少なくとも2つのカメラによってキャプチャされた顔画像を獲得し、顔画像の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を実行する。特徴点の組合せの間のホモグラフィ変換行列を整えた後、デバイスは、誤差計算の結果を得るためにホモグラフィ変換行列を使用して特徴点の組合せの変換誤差を計算し、誤差計算の結果に従って顔画像の生きた人の顔検証を実行する。本出願の実施形態は、カメラを較正する必要がなく、したがって、生体判断アルゴリズムの計算の量が削減される可能性があり、さらに、カメラが自由に配置される可能性があり、それによって、生体判断の柔軟性および利便性が高められる可能性がある。
2019509545.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングデバイスによって、少なくとも2つのカメラによってキャプチャされた顔画像を獲得するステップと、
前記コンピューティングデバイスによって、前記顔画像の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って前記顔画像に対して特徴点の登録を実行するステップと、
前記コンピューティングデバイスによって、前記特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用するステップと、
前記コンピューティングデバイスによって、誤差計算の結果を得るために前記ホモグラフィ変換行列を使用して前記特徴点の組合せの変換誤差を計算するステップと、
前記コンピューティングデバイスによって、前記誤差計算の結果に従って前記顔画像の生きた人の顔検証を実行するステップとを含む生きた人の顔検証方法。
【請求項２】
少なくとも2つのカメラによってキャプチャされた前記顔画像を獲得するステップが、
少なくとも2つのカメラによってキャプチャされた画像データを獲得するステップと、
顔検出の結果を得るために前記画像データに対して顔検出を実行するステップと、
前記顔検出の結果が顔画像が検出されることを示すとき、前記顔画像を獲得するステップとを含む請求項1に記載の生きた人の顔検証方法。
【請求項３】
前記特徴点の組合せの間の前記ホモグラフィ変換行列を整えるために前記予め設定されたアルゴリズムを利用するステップが、
最小二乗法を使用して前記ホモグラフィ変換行列を生成するために前記特徴点の組合せを当てはめるために予め設定されたランダムサンプリング一致アルゴリズムを利用するステップを含む請求項1に記載の生きた人の顔検証方法。
【請求項４】
前記ホモグラフィ変換行列を生成するために前記特徴点の組合せを当てはめるステップが、
同次座標の形態で、前記特徴点の組合せの中の各特徴点ペアに印を付けるステップと、
行列モデルを作成し、前記行列モデルを用いて各特徴点ペアの間の対応する関係を決定するステップと、
同次の対応する関係を生成するために前記対応する関係に対して同次変換を実行するステップと、
前記ホモグラフィ変換行列を生成するために前記同次の対応する関係に基づいて前記特徴点の組合せを当てはめるステップとを含む請求項3に記載の生きた人の顔検証方法。
【請求項５】
前記誤差計算の結果を得るために前記ホモグラフィ変換行列を使用して前記特徴点の組合せの前記変換誤差を計算する前記ステップが、
それぞれの特徴点の組合せに関して、前記ホモグラフィ変換行列を使用して対応する変換誤差を計算するステップと、
平均誤差を得るためにそれぞれの特徴点の組合せの前記対応する変換誤差に従って平均値計算を実行するステップと、
前記平均誤差を前記誤差計算の結果として決定するステップとを含む請求項1に記載の生きた人の顔検証方法。
【請求項６】
前記誤差計算の結果に従って前記顔画像の生きた人の顔検証を実行するステップが、
前記誤差計算の結果によって示される前記平均誤差が予め設定された閾値以下である場合、生きた人の顔検証の結果が「合格」であると判定するステップと、
前記誤差計算の結果によって示される前記平均誤差が前記予め設定された閾値よりも大きい場合、生きた人の顔検証の結果が「不合格」であると判定するステップとを含む請求項5に記載の生きた人の顔検証方法。
【請求項７】
1つまたは複数のプロセッサおよびメモリ、ならびに前記1つまたは複数のプロセッサによって実行されるときにデバイスに以下の動作、すなわち、
コンピューティングデバイスによって、少なくとも2つのカメラによってキャプチャされた顔画像を獲得する動作と、
前記コンピューティングデバイスによって、前記顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って前記顔画像に対して特徴点の登録を実行する動作と、
前記コンピューティングデバイスによって、前記特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用する動作と、
前記コンピューティングデバイスによって、誤差計算の結果を得るために前記ホモグラフィ変換行列を使用して前記特徴点の組合せの変換誤差を計算する動作と、
前記コンピューティングデバイスによって、前記誤差計算の結果に従って前記顔画像の生きた人の顔検証を実行する動作とを実行させる、前記メモリに記憶された複数のプログラムを含む生きた人の顔検証デバイス。
【請求項８】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記コンピューティングデバイスに以下の動作、すなわち、
少なくとも2つのカメラによってキャプチャされた画像データを獲得する動作と、
顔検出の結果を得るために前記画像データに対して顔検出を実行する動作と、
前記顔検出の結果が顔画像が検出されることを示すとき、前記顔画像を獲得する動作とを実行させる請求項7に記載のデバイス。
【請求項９】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記コンピューティングデバイスに以下の動作、すなわち、
最小二乗法を使用して前記ホモグラフィ変換行列を生成するために前記特徴点の組合せを当てはめるために予め設定されたランダムサンプリング一致アルゴリズムを利用する動作を実行させる請求項7に記載のデバイス。
【請求項１０】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記コンピューティングデバイスに以下の動作、すなわち、
同次座標の形態で、前記特徴点の組合せの中の各特徴点ペアに印を付ける動作と、
行列モデルを作成し、前記行列モデルを用いて各特徴点ペアの間の対応する関係を決定する動作と、
同次の対応する関係を生成するために前記対応する関係に対して同次変換を実行する動作と、
前記ホモグラフィ変換行列を生成するために前記同次の対応する関係に基づいて前記特徴点の組合せを当てはめる動作とを実行させる請求項9に記載のデバイス。
【請求項１１】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記コンピューティングデバイスに以下の動作、すなわち、
それぞれの特徴点の組合せに関して、前記ホモグラフィ変換行列を使用して対応する変換誤差を計算する動作と、
平均誤差を得るためにそれぞれの特徴点の組合せの前記対応する変換誤差に従って平均値計算を実行する動作と、
前記平均誤差を前記誤差計算の結果として決定する動作とを実行させる請求項7に記載のデバイス。
【請求項１２】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記コンピューティングデバイスに以下の動作、すなわち、
前記誤差計算の結果によって示される前記平均誤差が予め設定された閾値以下である場合、生きた人の顔検証の結果が「合格」であると判定する動作と、
前記誤差計算の結果によって示される前記平均誤差が前記予め設定された閾値よりも大きい場合、生きた人の顔検証の結果が「不合格」であると判定する動作とを実行させる請求項11に記載のデバイス。
【請求項１３】
コンピューティングデバイスの1つまたは複数のプロセッサによって実行されるときに前記1つまたは複数のプロセッサに以下の動作、すなわち、
少なくとも2つのカメラによってキャプチャされた顔画像を獲得する動作と、
前記顔画像の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って前記顔画像に対して特徴点の登録を実行する動作と、
前記特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用する動作と、
誤差計算の結果を得るために前記ホモグラフィ変換行列を使用して前記特徴点の組合せの変換誤差を計算する動作と、
前記誤差計算の結果に従って前記顔画像の生きた人の顔検証を実行する動作とを実行させる複数のプログラムを記憶するコンピュータ可読ストレージ媒体。
【請求項１４】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記1つまたは複数のプロセッサに以下の動作、すなわち、
少なくとも2つのカメラによってキャプチャされた画像データを獲得する動作と、
顔検出の結果を得るために前記画像データに対して顔検出を実行する動作と、
前記顔検出の結果が顔画像が検出されることを示すとき、前記顔画像を獲得する動作とを実行させる請求項13に記載のコンピュータ可読ストレージ媒体。
【請求項１５】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記1つまたは複数のプロセッサに以下の動作、すなわち、
最小二乗法を使用して前記ホモグラフィ変換行列を生成するために前記特徴点の組合せを当てはめるために予め設定されたランダムサンプリング一致アルゴリズムを利用する動作を実行させる請求項13に記載のコンピュータ可読ストレージ媒体。
【請求項１６】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記1つまたは複数のプロセッサに以下の動作、すなわち、
同次座標の形態で、前記特徴点の組合せの中の各特徴点ペアに印を付ける動作と、
行列モデルを作成し、前記行列モデルを用いて各特徴点ペアの間の対応する関係を決定する動作と、
同次の対応する関係を生成するために前記対応する関係に対して同次変換を実行する動作と、
前記ホモグラフィ変換行列を生成するために前記同次の対応する関係に基づいて前記特徴点の組合せを当てはめる動作とを実行させる請求項15に記載のコンピュータ可読ストレージ媒体。
【請求項１７】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記1つまたは複数のプロセッサに以下の動作、すなわち、
それぞれの特徴点の組合せに関して、前記ホモグラフィ変換行列を使用して対応する変換誤差を計算する動作と、
平均誤差を得るためにそれぞれの特徴点の組合せの前記対応する変換誤差に従って平均値計算を実行する動作と、
前記平均誤差を前記誤差計算の結果として決定する動作とを実行させる請求項13に記載のコンピュータ可読ストレージ媒体。
【請求項１８】
前記プログラムが、前記1つまたは複数のプロセッサによって実行されるときに前記1つまたは複数のプロセッサに以下の動作、すなわち、
前記誤差計算の結果によって示される前記平均誤差が予め設定された閾値以下である場合、生きた人の顔検証の結果が「合格」であると判定する動作と、
前記誤差計算の結果によって示される前記平均誤差が前記予め設定された閾値よりも大きい場合、生きた人の顔検証の結果が「不合格」であると判定する動作とを実行させる請求項13に記載のコンピュータ可読ストレージ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、2016年4月21日に中華人民共和国の国家知識産権局に出願した、「LIVING FACE VERIFICATION METHOD AND DEVICE」と題した中国特許出願第201610252267.9号の優先権を主張するものであり、この特許出願のすべては、その全体が参照により本明細書に組み込まれる。
【０００２】
本出願は、顔認識の技術分野に属し、特に、生きた人の顔検証方法およびデバイスに関する。
【背景技術】
【０００３】
生物学的認識テクノロジーの発展につれて、顔認識テクノロジーは成熟に向かって進んできた。アクセス制御システムおよびログインシステムなどの一部の顔認識システムに関しては、ユーザが、写真などの不正な手段によってシステムを欺くことができる。したがって、生体検出が、そのようなシステムの安全を保証するための措置になった。生体検出は、入力された顔が平面的な偽の体であるのかまたは本物の生きた人の顔であるのかを判断するテクノロジーを意味する。
【０００４】
既存のマルチカメラ生体検出テクノロジーは、通常、水平に配列された左右双眼カメラを採用する。双眼の較正が行われた後、左画像と右画像とのステレオマッチングが行われ、その結果、顔領域の深さ情報が発見され、顔領域の通常の深さに従って、本物の人の顔と平面的な偽の体(モバイルデバイス(モバイル電話もしくはタブレットコンピュータなど)において再生された写真もしくは動画または印刷された顔の紙など)とが区別される。
【発明の概要】
【課題を解決するための手段】
【０００５】
上述の技術的問題を解決するために、本出願の実施形態は、以下の技術的解決策を提供する。
【０００６】
開示されるのは、
少なくとも2つのカメラによってキャプチャされた顔画像を獲得するステップと、
顔画像の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を実行するステップと、
特徴点の組合せの間のホモグラフィ(homography)変換行列を整えるために予め設定されたアルゴリズムを利用するステップと、
誤差計算の結果を得るためにホモグラフィ変換行列を使用して特徴点の組合せの変換誤差を計算するステップと、
誤差計算の結果に従って顔画像の生きた人の顔検証を実行するステップとを含む、生きている顔検証方法である。
【０００７】
開示されるのは、
少なくとも2つのカメラによってキャプチャされた顔画像を獲得するように構成された獲得ユニットと、
顔画像の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を実行するように構成された特徴点の登録ユニットと、
特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用するように構成された当てはめユニットと、
誤差計算の結果を得るためにホモグラフィ変換行列を使用して特徴点の組合せの変換誤差を計算するように構成された計算ユニットと、
誤差計算の結果に従って顔画像の生きた人の顔検証を実行するように構成された検証ユニットとを含む、生きている顔検証デバイスである。
【０００８】
既存のテクノロジーと比較して、本出願の実施形態はカメラを較正する必要がなく、したがって、既存のテクノロジーにおけるカメラ較正のプロセスでの較正誤差が排除される。本出願の実施形態の方法は、キャプチャされた顔画像に対して特徴点のマッチングを直接行い、ホモグラフィ変換行列を整え、ホモグラフィ変換行列を使用して誤差計算の結果を得た後、生きた人の顔検証を行い、したがって、既存の生体検出テクノロジーと比較して、方法は、生体判断アルゴリズムの計算の量を大幅に削減し、生体検出の速度およびリアルタイム性能を向上させる。
【０００９】
図面を参照して、本出願の技術的解決策およびその他の有益な効果がはっきりし得るように、本出願の特定の実施形態が下で詳細に説明される。
【図面の簡単な説明】
【００１０】
【図１ａ】本出願の実施形態によって提供される生きた人の顔検証方法の場面の概略図である。
【図１ｂ】本出願の実施形態によって提供される生きた人の顔検証方法のフローの概略図である。
【図２ａ】本出願の実施形態によって提供される生きた人の顔検証方法のフローの概略図である。
【図２ｂ】本出願の実施形態によって提供される生きた人の顔検証方法における特徴点の登録の概略図である。
【図３ａ】本出願の実施形態によって提供される生きた人の顔検証デバイスの構造の概略図である。
【図３ｂ】本出願の実施形態によって提供される生きた人の顔検証デバイスの別の構造の概略図である。
【図４】本出願の実施形態によって提供されるサーバの構造の概略図である。
【発明を実施するための形態】
【００１１】
図面を参照すると、同じ構成要素の記号が、同じ構成要素を表す。本出願の原理が、適切なコンピューティング環境に実装されることによって示される。下で示されることは、本出願の例示的な特定の実施形態に基づいており、本明細書において詳しく述べられない本出願のその他の特定の実施形態に対する限定であるとみなされるべきでない。
【００１２】
下の説明において、本出願の特定の実施形態は、別途示されない限り、1つまたは複数のコンピュータによって実行されるステップおよび記号を参照することによって示される。したがって、これらのステップおよび動作が、ハードウェアとソフトウェアとによって実装される可能性があり、コンピュータまたはプロセッサによって実行される可能性がある。
【００１３】
本明細書において使用される用語「モジュール」は、コンピューティングシステム上で実行されるソフトウェアオブジェクトとみなされ得る。本明細書において説明される異なる構成要素、モジュール、エンジン、およびサービスは、コンピューティングシステム上の実装オブジェクト(implementation object)とみなされ得る。
【００１４】
本出願の実施形態は、生きた人の顔検証方法およびデバイスを提供する。
【００１５】
図1aを参照すると、図面は、本出願の実施形態によって提供される生きた人の顔検証方法の場面の概略図である。場面は、生きた人の顔検証デバイスを含む可能性があり、生きた人の顔検証デバイスは、略して顔検証デバイスと呼ばれることがある。デバイスは、指定されたコンピューティングデバイスによって実装されるかまたはサーバなどの特定のコンピューティングデバイスに組み込まれる可能性があり、たとえば、サーバ内で実行されるアプリケーション、サーバの拡張スロットに差し込まれるカードなどとして働く可能性がある。デバイスは、少なくとも2つのカメラによってキャプチャされた顔画像、たとえば、カメラAおよびカメラBによってキャプチャされた顔画像を獲得し、それから、顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を実行し、たとえば、顔画像に対して五官の登録を実行し、そして、特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用し、最後に、誤差計算の結果を得るためにホモグラフィ変換行列を使用して特徴点の組合せの変換誤差を計算し、たとえば、誤差計算の結果が予め設定された閾値を満足する場合、誤差計算の結果に従って顔画像の生きた人の顔検証を実行し、そして、生きた人の顔検証の結果が「合格」であると判定するために使用され得る。
【００１６】
本出願の実施形態はカメラを較正する必要がなく、したがって、既存のテクノロジーにおけるカメラ較正のプロセスでの較正誤差が排除される。本出願の実施形態の方法は、キャプチャされた顔画像に対して特徴点のマッチングを直接行い、ホモグラフィ変換行列を整え、ホモグラフィ変換行列を使用して誤差計算の結果を得た後、生きた人の顔検証を行い、したがって、既存の生体検出テクノロジーと比較して、方法は、生体判断アルゴリズムの計算の量を大幅に削減し、生体検出の速度およびリアルタイム性能を向上させる。
【００１７】
加えて、場面は、画像データをキャプチャし、主に、顔画像をキャプチャするとき、生きた人の顔検証が合格であるかどうかを判定するために顔検証デバイスに顔画像を送信するように構成される複数のピックアップデバイス(すなわち、カメラ)をさらに含み得る。
【００１８】
一部の実施形態は、生きた人の顔検証デバイスの観点で説明され、生きた人の顔検証デバイスは、特に、サーバなどのネットワークデバイスに組み込まれる可能性がある。
【００１９】
生きた人の顔検証方法は、少なくとも2つのカメラによってキャプチャされた顔画像を獲得するステップと、顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を実行するステップと、特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用するステップと、誤差計算の結果を得るためにホモグラフィ変換行列を使用して特徴点の組合せの変換誤差を計算し、誤差計算の結果に従って顔画像の生きた人の顔検証を実行するステップとを含む。
【００２０】
図1bを参照すると、図1bは、本出願の実施形態によって提供される生きた人の顔検証方法のフローの概略図である。方法は、以下のステップを含み得る。
【００２１】
ステップS101において、少なくとも2つのカメラによってキャプチャされた顔画像を獲得する。
【００２２】
本出願の実施形態において、少なくとも2つのカメラによってキャプチャされた顔画像を生きた人の顔検証デバイスによって獲得するステップが、特に、
ステップ1:  少なくとも2つのカメラによってキャプチャされた画像データを獲得するステップ、
ステップ2:  顔検出の結果を得るために画像データに対して顔検出を行うステップ、
ステップ3:  顔検出の結果が顔画像が検出されることを示すとき、顔画像を獲得するステップを含む可能性があることが、理解され得る。
【００２３】
顔検出は、自動顔認識システムにおける重要なステップであり、任意の所与の画像に関して、顔がその画像内に含まれるか否かを判定するために画像を探索するために特定の方略が採用され、顔が含まれる場合、顔の位置、サイズ、および姿勢が返されることを意味する。本実施形態が、獲得された画像データに対して分析および認識を行うために既存の顔検出アルゴリズムを採用し得ることは容易に想到される可能性があり、顔検出のプロセスは本明細書において規定されない。
【００２４】
つまり、複数のカメラ(2つ以上)が、画像データを収集し、生きた人の顔検証デバイスに画像データをリアルタイムで送信し、生きた人の顔検証デバイスが、受信された画像データに対して顔検出を行い、顔画像が検出されると判定されるとき、生体検証(living body verification)を行うための顔画像を獲得する。
【００２５】
一部の実施形態において、カメラは、さらに、収集された画像データに対して顔検出を直接行い、顔画像が検出されるとき、顔画像を獲得し、生体検証のために生きた人の顔検証デバイスに顔画像を送信する可能性がある。
【００２６】
ステップS102において、顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を行う。
【００２７】
たとえば、生きた人の顔検証デバイスは、予め設定された顔の特徴点の数および位置に従って顔画像に対して特徴点の登録(すなわち、五官の登録)を行い、その結果、対応する特徴点の組合せが、得られ得る。
【００２８】
別の例として、2つのカメラが利用可能である場合、2つのカメラによってキャプチャされた顔画像を獲得した後、生きた人の顔検証デバイスは、予め設定された顔の特徴点に従って2つの顔画像に対して特徴点の登録を行うことができ、結果として、特徴点ペアとも呼ばれる複数の特徴点の組合せが、得られる。
【００２９】
本出願の実施形態において、特徴点の登録は、異なる撮像手段によって同じエリア内で複数のカメラによって獲得される複数の顔画像が、幾何学的補正、射影変換、縮尺の統一、およびその他の処理を含むマッチングおよび重ね合わせをされるプロセスを意味する。
【００３０】
一部の実施形態においては、2つのカメラが利用可能である場合、生きた人の顔検証デバイスの登録プロセスは、以下の通りである可能性があり、つまり、2つの顔画像に対してまず特徴抽出が行われ、その結果、特徴点が得られ、類似性の測定を実行することによってマッチングされた特徴点ペアが発見され、それから、マッチングされた特徴点ペアを用いて画像の空間座標変換パラメータが得られ、最後に、座標変換パラメータを用いて画像の登録が行われる。画像に対して特徴点の登録を行うために既存の特徴抽出アルゴリズムが採用される可能性があり、これは、本明細書において特に説明されない。
【００３１】
ステップS103において、特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用する。
【００３２】
一部の実施形態において、生きた人の顔検証デバイスは、最小二乗法を使用してホモグラフィ変換行列を生成するために特徴点の組合せを当てはめるために予め設定されたランダムサンプリング一致(random sampling consensus)アルゴリズムを利用し得る。
【００３３】
本出願の実施形態におけるランダムサンプリング一致アルゴリズム(Ransacアルゴリズム)は、基本的に、サンプルがインライア(inlier)(モデルによって記述され得るデータ)およびアウトライア(outlier)(正常な範囲から大きくそれ、数学的モデルに適合しないデータ)を含む、つまり、データセットが雑音を含むと仮定する。これらのアウトライアは、誤った測定、誤った仮説、誤った計算などによって生成され得る。さらに、Ransacアルゴリズムは、インライアの組が与えられたとして、これらのデータに合致するモデルパラメータを見つけ出すことができる方法が存在することも仮定する。
【００３４】
最小二乗法は、誤差の二乗和を最小化することによってデータの最適な関数のマッチングを探すことである。最小二乗法を利用することによって、未知のデータが容易に得られる可能性があり、これらの得られたデータと実際のデータとの間の誤差の二乗和が最小にされる。
【００３５】
つまり、ランダムサンプリング一致アルゴリズムおよび最小二乗法を用いて、生きた人の顔検証デバイスは、特徴点の組合せに対応するモデル、すなわち、ホモグラフィ変換行列を計算し、整えることができ、さらに、ホモグラフィ変換行列を生成するために特徴点の組合せを当てはめるステップは、特に、
ステップa:  同次座標の形態で、特徴点の組合せの中の各特徴点ペアに印を付けるステップ、
ステップb:  行列モデルを作成し、行列モデルを用いて各特徴点ペアの間の対応する関係を決定するステップ、
ステップc:  同次の対応する関係を生成するために対応する関係に対して同次変換を行うステップ、
ステップd:  ホモグラフィ変換行列を生成するために同次の対応する関係に基づいて特徴点の組合せを当てはめるステップを含む可能性がある。
【００３６】
同次座標は、元々n次元であるベクトルがn+1次元ベクトルを使用することによって表されることを意味し、たとえば、2つのカメラが配列される場合、P1およびP2が2つの顔画像内の対応する特徴点のペアの同次座標であると仮定され、ホモグラフィ変換行列の行列モデルHが作成され、それによって、ホモグラフィ変換行列Hを用いて、P1とP2との間の対応する関係はP2=H*P1である可能性がある。
【００３７】
さらに、たとえば、ホモグラフィ変換行列の行列モデルHが3x3行列である場合、正規化のために、行列モデルH内のh33(すなわち、最後の要素)は1に等しく、そして、H*P1が同次の対応する関係に変換され、特徴点のペアが(同次変換の前および後で)2つの等式を生成し得るので、行列モデルHの8つの未知のパラメータの決定は、少なくとも4つの特徴点ペアを必要とする。したがって、Ransacアルゴリズムおよび最小二乗法が、各特徴点ペアに関して行列モデルHを当てはめるために使用される可能性があり、ゆえに、行列モデルHに対応するホモグラフィ変換行列を得る。
【００３８】
ステップS104において、誤差計算の結果を得るためにホモグラフィ変換行列を使用して特徴点の組合せの変換誤差を計算し、誤差計算の結果に従って顔画像の生きた人の顔検証を行う。
【００３９】
生きた人の顔検証デバイスによって、誤差計算の結果を得るためにホモグラフィ変換行列を使用して特徴点の組合せの変換誤差を計算するステップは、特に、
ステップA:  それぞれの特徴点の組合せに関して、ホモグラフィ変換行列を使用して対応する変換誤差を計算するステップ、
ステップB:  平均誤差を得るためにそれぞれの特徴点の組合せの対応する変換誤差に従って平均値計算を行い、平均誤差を誤差計算の結果として決定するステップを含む可能性があることが理解され得る。
【００４０】
たとえば、それぞれの特徴点の組合せに関して、生きた人の顔検証デバイスは、ホモグラフィ変換行列を使用して対応する変換誤差を計算し、変換誤差は、ホモグラフィ変換行列を使用する同次変換の前および後に得られる特徴点の組合せの誤差であり、50個の特徴点が前もって設定される場合、50個の対応する特徴点の組合せが得られ、平均誤差を得るために50個の特徴点の組合せの変換誤差に対して平均値計算が行われる。
【００４１】
さらに、たとえば、特徴点の組合せが2つの特徴点を含む場合、各特徴点ペアは、変換誤差に対応し、50個の特徴点が前もって設定される場合、50個の対応する特徴点ペアが得られ、平均誤差が得られるように50個の特徴点ペアの変換誤差に対して平均値計算が行われる。
【００４２】
特徴点の組合せが3つの特徴点を含む場合、真ん中のカメラを比較対象として、2つの誤差がそれぞれの特徴点の組合せに存在し得ることが、理解され得て、一部のより正確な場合、より多くの誤差が比較のために設定される可能性があり、たとえば、特徴点の組合せが3つの特徴点を含む場合、変換誤差が各特徴点ペアの間に存在し、そして、3つの誤差がそれぞれの特徴点の組合せに存在する可能性があり、これは、本明細書において規定されない。
【００４３】
一部の実施形態において、誤差計算の結果に従って顔画像の生きた人の顔検証を実行することは、特に、
ステップ1:  誤差計算の結果によって示される平均誤差が予め設定された閾値以下である場合、生きた人の顔検証の結果が「合格」であると判定するステップ、
ステップ2:  誤差計算の結果によって示される平均誤差が予め設定された閾値よりも大きい場合、生きた人の顔検証の結果が「不合格」であると判定するステップを含む可能性がある。
【００４４】
つまり、変換誤差の平均誤差が見つけ出された後、平均誤差が予め設定された閾値と比較され、平均誤差が予め設定された閾値以下である場合、生きた人の顔検証の結果が「合格」である、つまり、獲得された顔画像が本物の人であると考えられる可能性があり、それから、顔認識が行われ、平均誤差が予め設定された閾値よりも大きい場合、生きた人の顔検証の結果が「不合格」である、つまり、獲得された顔画像が偽の体であると考えられる可能性がある。
【００４５】
少なくとも2つのカメラが顔画像をキャプチャするとき、本出願の実施形態によって提供される生きた人の顔検証方法は、まず、顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を行い、そして、特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用し、最後に、ホモグラフィ変換行列を使用してこれらの特徴点の組合せの変換誤差を計算し、それによって、誤差計算の結果に従って顔画像の生きた人の顔検証を行うことが、上述のことから知られる可能性があり、本出願の実施形態は、カメラを較正する必要がなく、その結果、較正誤差が排除され、本出願の実施形態は、キャプチャされた顔画像に対して特徴点のマッチングを直接行い、ホモグラフィ変換行列を整え、したがって、生体判断アルゴリズムの計算の量が削減される可能性があり、さらに、カメラが自由に配置される可能性があり、それによって、生体判断の柔軟性および利便性が高められる可能性がある。
【００４６】
一部の実施形態において、方法によって提供される生きた人の顔検証方法は、主に、オフィスアクセス制御システムに適用される。顔認識が行われる前に、方法は、まず、生体検証を実行するために使用され、生きた人の顔検証が合格であるとき、顔認識が行われ、方法は、自由に配置される2つ以上のカメラを採用し、複数のカメラによって同時に撮影された複数の顔画像内の五官の点の間の3次元の幾何学的関係を分析し、平面解析幾何学において特徴点ペアのホモグラフィを利用することによって、方法は、ユーザの協力を必要とせずに生きた人の顔検証を行う。
【００４７】
2つのカメラを例に取って、生きた人の顔検証方法が、詳細に説明され、2つのカメラが、それぞれ、戸枠の側面に配列され、通常は、空間を節約するために垂直方向に沿って配置される。
【００４８】
図2aを参照すると、図2aは、本出願の実施形態によって提供される生きた人の顔検証方法のフローの概略図である。方法は、以下のステップを含み得る。
【００４９】
ステップS201において、生きた人の顔検証デバイスが、2つのカメラにおいて画像を同時にキャプチャする。
【００５０】
たとえば、カメラAおよびカメラBが、それぞれ、戸枠の側面に配列され、自由に配置される可能性があり、水平方向または垂直方向に沿った配置をサポートするだけでなく、特定の水平または垂直オフセットおよび挟角(included angle)がカメラの間に存在することも可能にし、したがって、実際の展開は、便利で、柔軟である。カメラAおよびカメラBは、通常、空間を節約するために垂直方向に沿って配置されることが理解され得る。
【００５１】
ステップS202において、生きた人の顔検証デバイスが、2つのカメラにおいて画像に対して顔検出を行う。
【００５２】
たとえば、カメラAおよびカメラBは、キャプチャされた画像を生きた人の顔検証デバイスに送信し、生きた人の顔検証デバイスは、受信された画像に対して顔検出を行い、つまり、画像内に顔が存在するかどうかを検出し、顔検出は、任意の所与の画像に関して、画像が顔を含むか否かを判定するために画像を探索するために特定の方略が採用される。本実施形態が、獲得された画像データに対して分析および認識を行うために既存の顔検出アルゴリズムを採用し得ることは、容易に想到され得る。
【００５３】
ステップS203において、2つのカメラのすべての画像内で顔が検出されると判定した後、生きた人の顔検証デバイスが、特徴点の登録を行い、したがって、特徴点ペアを得る。
【００５４】
たとえば、カメラAとカメラBとの両方が顔を検出するとき、生きた人の顔検証デバイスは、2つの顔画像に対して特徴点の登録、すなわち五官の登録を行う。本実施形態においては、90個の特徴点が、生きた人の顔検証デバイスにおいて予め設定され、特徴点ペアのこれらの2つのグループは、1対1で対応しており、図2bに示されるのは、垂直方向に沿って配列されたカメラAおよびカメラBによって同時にキャプチャされる2つの顔画像であり、顔の上で印を付けられた点は、正確に重ね合わされた五官の特徴点である。
【００５５】
ステップS204においては、特徴点ペアに従って、生きた人の顔検証デバイスが、特徴点ペアのホモグラフィ変換行列を整えるためにランダムサンプリング一致(Ransac)アルゴリズムを使用する。
【００５６】
まず第1に、P1(x1, y1, 1)TおよびP2(x2, y2, 1)Tが2つの顔画像内の対応する特徴点のペアの同時座標であると仮定され、ホモグラフィ変換行列の行列モデルHが下のように作成され、それから、ホモグラフィ変換行列の行列モデルHを用いて、P1とP2との間の対応する関係は、P2 = H*P1である。
【００５７】
Hは、3x3行列、
【００５８】
【数１】
2019509545.tif 000003
【００５９】
である。
【００６０】
正規化のために、ホモグラフィ変換行列H内のh33が1に設定される。H*P1によって変換された座標は、
【００６１】
【数２】
2019509545.tif 000004
【００６２】
である。
【００６３】
H*P1は、同時になるために同時変換を受け、
【００６４】
【数３】
2019509545.tif 000005
【００６５】
を得る。
【００６６】
つまり、
【００６７】
【数４】
2019509545.tif 000006
【００６８】
である。
【００６９】
特徴点のペアが(同次変換の前および後で)2つの等式を生成し得るので、行列モデルHの8つの未知のパラメータの決定は、少なくとも4つの特徴点ペアを必要とする。本実施形態においては、たとえば、Ransacアルゴリズムおよび最小二乗法が、90個の特徴点ペアに関して行列モデルHを当てはめるために使用される可能性があり、ゆえに、行列モデルHに対応するホモグラフィ変換行列を得る。
【００７０】
ステップS205においては、生きた人の顔検証デバイスが、ホモグラフィ変換行列の変換の前および後で特徴点ペアの誤差を計算する。
【００７１】
たとえば、生きた人の顔検証デバイスは、ホモグラフィ変換行列の同次変換の前および後で90個の特徴点ペアの誤差を計算し、90個の特徴点ペアが、(1)および(2)にそれぞれ代入され、その結果、同次変換の前および後のユークリッド距離の誤差e=||H*P1-P2||2が、見つけ出される可能性があり、ユークリッド距離は、よく採用される距離の定義であり、ユークリッド距離は、m次元空間内の2つの点の間の真の距離である。
【００７２】
ステップS206においては、生きた人の顔検証デバイスが、ホモグラフィ変換行列の変換の前および後で特徴点ペアの誤差に従って平均誤差を計算する。
【００７３】
たとえば、生きた人の顔検証デバイスが90個の特徴点を前もって設定し、それから、90個の対応する特徴点ペアが得られ、そして、平均誤差を得るために90個の特徴点ペアの変換誤差に従って平均値計算が行われる。
【００７４】
ステップS207aにおいては、平均誤差が予め設定された閾値以下である場合、生きた人の顔検証デバイスが、生きた人の顔検証が合格であると判定する。
【００７５】
ステップS207bにおいては、平均誤差が予め設定された閾値よりも大きい場合、生きた人の顔検証デバイスが、生きた人の顔検証が不合格であると判定する。
【００７６】
最後に、生きた人の顔検証デバイスは、それが本物の人であるのかまたは偽の体であるのかを判断するために平均誤差を予め設定された閾値と比較し、平均誤差が現在の閾値以下である場合、生きた人の顔検証が合格である、つまり、画像が本物の人であると判定され、顔の生体検証が合格であるとき、顔認識が行われ、顔認識が合格である場合、ドアが開けられ、または顔認識が不合格である場合、ドアが開けられず、平均誤差が予め設定された閾値よりも大きい場合、生きた人の顔検証が不合格である、つまり、画像が偽の体であると判定され、ドアが開けられない。
【００７７】
本実施形態によって説明される方法は、2つ以上の自由に配置されるカメラを採用し、カメラによって同時に撮影された複数の顔画像内の五官の点の間の3次元の幾何学的関係を用いて、平面解析幾何学において特徴点ペアのホモグラフィを利用することによって、方法は、カメラの較正またはユーザの協力を必要とせずに生きた人の顔検証を行うために、複数のカメラによって撮影された画像に対して顔の特徴点ペアのマッチングを直接行う。方法は、カメラを較正することなく本物の人の顔と平面的な偽の体(モバイルデバイス(モバイル電話もしくはタブレットコンピュータなど)において再生された写真もしくは動画または印刷された顔の紙など)とを効果的に区別することができる。方法における複数のカメラの配置の自由度は高く、水平方向または垂直方向に沿った配置がサポートされるだけでなく、特定の水平または垂直オフセットおよび挟角がカメラの間に存在することも可能にされ、したがって、双眼システムの実際の展開は、より便利で、柔軟である。
【００７８】
方法は、オフィスアクセス制御システムなどの様々なアクセス制御システムだけでなく、生体検証を必要とするその他のシステムにも適用可能であることが理解され得る。
【００７９】
少なくとも2つのカメラが顔画像をキャプチャするとき、本出願の実施形態によって提供される生きた人の顔検証方法は、まず、顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を行い、そして、特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用し、最後に、ホモグラフィ変換行列を使用してこれらの特徴点の組合せの変換誤差を計算し、それによって、誤差計算の結果に従って生きた人の顔検証を行うことが、上述のことから知られる可能性があり、本出願の実施形態は、カメラを較正する必要がなく、その結果、較正誤差が排除され、本出願の実施形態は、キャプチャされた顔画像に対して特徴点のマッチングを直接行い、ホモグラフィ変換行列を整え、したがって、生体判断アルゴリズムの計算の量が削減される可能性があり、さらに、カメラが自由に配置される可能性があり、それによって、生体判断の柔軟性および利便性が高められる可能性がある。
【００８０】
本出願の実施形態によって提供される生きた人の顔検証方法をより良く実装するために、本出願の実施形態は、生きた人の顔検証方法に基づくデバイスをさらに提供する。名詞の意味は、上述の生きた人の顔検証方法における意味と同じであり、特定の実装の詳細に関しては、方法の実施形態の説明を参照されたい。
【００８１】
図3aを参照すると、図3aは、本出願の実施形態によって提供される生きた人の顔検証デバイスの構造の概略図であり、生きた人の顔検証デバイスは、獲得ユニット301、特徴点の登録ユニット302、当てはめユニット303、計算ユニット304、および検証ユニット305を含み得る。
【００８２】
獲得ユニット301は、少なくとも2つのカメラによってキャプチャされた顔画像を獲得するように構成され、特徴点の登録ユニット302は、顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を行うように構成される。
【００８３】
当てはめユニット303は、特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用するように構成され、計算ユニット304は、誤差計算の結果を得るためにホモグラフィ変換行列を使用して特徴点の組合せの変換誤差を計算するように構成され、検証ユニット305は、誤差計算の結果に従って顔画像の生きた人の顔検証を行うように構成される。
【００８４】
図3bも参照すると、図3bは、本出願の実施形態によって提供される生きた人の顔検証デバイスの別の構造の概略図であり、獲得ユニット301は、
少なくとも2つのカメラによってキャプチャされた画像データを獲得するように構成された画像獲得サブユニット3011と、
顔検出の結果を得るために画像データに対して顔検出を行うように構成された検出サブユニット3012と、
顔検出が顔画像が検出されることを示すときに顔画像を獲得するように構成された顔獲得サブユニット3013とを含み得る。
【００８５】
顔検出は、自動顔認識システムにおける重要なステップであり、任意の所与の画像に関して、顔がその画像内に含まれるか否かを判定するために画像を探索するために特定の方略が採用され、顔が含まれる場合、顔の位置、サイズ、および姿勢が返されることを意味する。本実施形態が、獲得された画像データに対して分析および認識を行うために既存の顔検出アルゴリズムを採用し得ることは容易に想到される可能性があり、顔検出のプロセスは本明細書において規定されない。
【００８６】
つまり、複数のカメラ(2つ以上)が、画像データを収集し、生きた人の顔検証デバイスに画像データをリアルタイムで送信し、生きた人の顔検証デバイスが、受信された画像データに対して顔検出を行い、顔画像が検出されると判定されるとき、生体検証を行うための顔画像を獲得する。
【００８７】
一部の実施形態において、カメラは、さらに、収集された画像データに対して顔検出を直接行い、顔画像が検出されるとき、顔画像を獲得し、生体検証のために生きた人の顔検証デバイスに顔画像を送信する可能性がある。
【００８８】
その後、特徴点の登録ユニット302が、顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を実行するために使用され得る。
【００８９】
たとえば、生きた人の顔検証デバイスは、予め設定された顔の特徴点の数および位置に従って顔画像に対して特徴点の登録(すなわち、五官の登録)を行い、その結果、対応する特徴点の組合せが、得られ得る。
【００９０】
別の例として、2つのカメラが利用可能である場合、2つのカメラによってキャプチャされた顔画像を獲得した後、生きた人の顔検証デバイスは、予め設定された顔の特徴点に従って2つの顔画像に対して特徴点の登録を行うことができ、結果として、特徴点ペアとも呼ばれる複数の特徴点の組合せが、得られる。
【００９１】
本出願の実施形態において、特徴点の登録は、異なる撮像手段によって同じエリア内で複数のカメラによって獲得される複数の顔画像が、幾何学的補正、射影変換、縮尺の統一、およびその他の処理を含むマッチングおよび重ね合わせをされるプロセスを意味する。
【００９２】
さらに、2つのカメラが利用可能である場合、生きた人の顔検証デバイスの登録プロセスは、以下の通りである可能性があり、つまり、2つの顔画像に対してまず特徴抽出が行われ、その結果、特徴点が得られ、類似性の測定を実行することによってマッチングされた特徴点ペアが発見され、それから、マッチングされた特徴点ペアを用いて画像の空間座標変換パラメータが得られ、最後に、座標変換パラメータを用いて画像の登録が行われる。画像に対して特徴点の登録を行うために既存の特徴抽出アルゴリズムが採用される可能性があり、これは、本明細書において規定されない。
【００９３】
そして、当てはめユニット303は、特に、最小二乗法を使用してホモグラフィ変換行列を生成するために特徴点の組合せを当てはめるために予め設定されたランダムサンプリング一致アルゴリズムを利用するように構成され得る。
【００９４】
本出願の実施形態におけるランダムサンプリング一致アルゴリズム(Ransacアルゴリズム)は、基本的に、サンプルがインライアおよびアウトライアを含む、つまり、データセットが雑音を含むと仮定する。これらのアウトライアは、誤った測定、誤った仮説、誤った計算などによって生成され得る。さらに、Ransacアルゴリズムは、インライアの組が与えられたとして、これらのデータに合致するモデルパラメータを見つけ出すことができる方法が存在することも仮定する。
【００９５】
最小二乗法は、誤差の二乗和を最小化することによってデータの最適な関数のマッチングを探すことである。最小二乗法を利用することによって、未知のデータが容易に得られる可能性があり、これらの得られたデータと実際のデータとの間の誤差の二乗和が最小にされる。
【００９６】
つまり、ランダムサンプリング一致アルゴリズムおよび最小二乗法を用いて、生きた人の顔検証デバイスは、特徴点の組合せに対応するモデル、すなわち、ホモグラフィ変換行列を計算し、整えることができ、さらに、当てはめユニット303は、特に、
同次座標の形態で、特徴点の組合せの中の各特徴点ペアに印を付けるように構成された印付けサブユニット3031と、
行列モデルを作成し、行列モデルを用いて各特徴点ペアの間の対応する関係を決定するように構成された決定サブユニット3032と、
同次の対応する関係を生成するために対応する関係に対して同次変換を行うように構成された変換サブユニット3033と、
ホモグラフィ変換行列を生成するために同次の対応する関係に基づいて特徴点の組合せを当てはめるように構成された当てはめサブユニット3034とを含む可能性がある。
【００９７】
同次座標は、元々n次元であるベクトルがn+1次元ベクトルを使用することによって表されることを意味し、たとえば、2つのカメラが配列される場合、P1およびP2が2つの顔画像内の対応する特徴点のペアの同次座標であると仮定され、ホモグラフィ変換行列の行列モデルHが作成され、それによって、ホモグラフィ変換行列Hを用いて、P1とP2との間の対応する関係はP2=H*P1である可能性がある。
【００９８】
さらに、たとえば、ホモグラフィ変換行列の行列モデルHが3x3行列である場合、正規化のために、行列モデルH内のh33(すなわち、最後の要素)は1に等しく、そして、H*P1が同次の対応する関係に変換され、特徴点のペアが(同次変換の前および後で)2つの等式を生成し得るので、行列モデルHの8つの未知のパラメータの決定は、少なくとも4つの特徴点ペアを必要とする。したがって、Ransacアルゴリズムおよび最小二乗法が、各特徴点ペアに関して行列モデルHを当てはめるために使用される可能性があり、ゆえに、行列モデルHに対応するホモグラフィ変換行列を得る。
【００９９】
計算ユニット304は、特に、ホモグラフィ変換行列を使用して、それぞれの特徴点の組合せに関して対応する変換誤差を計算し、平均誤差を得るためにそれぞれの特徴点の組合せの対応する変換誤差に従って平均値計算を行い、平均誤差を誤差計算の結果として決定するように構成される可能性があることが理解され得る。
【０１００】
たとえば、それぞれの特徴点の組合せに関して、生きた人の顔検証デバイスは、ホモグラフィ変換行列を使用して対応する変換誤差を計算し、変換誤差は、ホモグラフィ変換行列を使用する同次変換の前および後に得られる特徴点の組合せの誤差であり、50個の特徴点が前もって設定される場合、50個の対応する特徴点の組合せが得られ、平均誤差を得るために50個の特徴点の組合せの変換誤差に対して平均値計算が行われる。
【０１０１】
さらに、たとえば、特徴点の組合せが2つの特徴点を含む場合、各特徴点ペアは、変換誤差に対応し、50個の特徴点が前もって設定される場合、50個の対応する特徴点ペアが得られ、平均誤差を得るために50個の特徴点ペアの変換誤差に対して平均値計算が行われる。
【０１０２】
別の例として、特徴点の組合せが3つの特徴点を含む場合、真ん中のカメラを比較対象として、2つの誤差が、それぞれの特徴点の組合せに存在する可能性があり、一部のより正確な場合、より多くの誤差が比較のために設定される可能性があり、たとえば、特徴点の組合せが3つの特徴点を含む場合、変換誤差が各特徴点ペアの間に存在し、そして、3つの誤差がそれぞれの特徴点の組合せに存在する可能性があり、これは、本明細書において規定されない。
【０１０３】
さらに、検証ユニット305は、特に、誤差計算の結果によって示される平均誤差が予め設定された閾値以下である場合、生きた人の顔検証の結果が「合格」であると判定し、または誤差計算の結果によって示される平均誤差が予め設定された閾値よりも大きい場合、生きた人の顔検証の結果が「不合格」であると判定するように構成され得る。
【０１０４】
つまり、変換誤差の平均誤差が見つけ出された後、平均誤差が予め設定された閾値と比較され、平均誤差が予め設定された閾値以下である場合、生きた人の顔検証の結果が「合格」である、つまり、獲得された顔画像が本物の人であると考えられる可能性があり、それから、顔認識が行われ、平均誤差が予め設定された閾値よりも大きい場合、生きた人の顔検証の結果が「不合格」である、つまり、獲得された顔画像が偽の体であると考えられる可能性がある。
【０１０５】
特定の実装において、上の各ユニットは、別々のエンティティとして実装される可能性があり、または任意で単一のエンティティもしくは複数のエンティティとして実装されるように組み合わされる可能性もあり、上の各ユニットの特定の実装に関しては、本明細書において繰り返されない上の方法の実施形態を参照されたい。
【０１０６】
生きた人の顔検証デバイスは、特に、サーバなどのネットワークデバイスに組み込まれる可能性がある。
【０１０７】
少なくとも2つのカメラが顔画像をキャプチャするとき、本出願の実施形態によって提供される生きた人の顔検証デバイスは、まず、顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を行い、そして、特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用し、最後に、ホモグラフィ変換行列を使用してこれらの特徴点の組合せの変換誤差を計算し、それによって、誤差計算の結果に従って生きた人の顔検証を行うことが、上述のことから知られる可能性があり、本出願の実施形態は、カメラを較正する必要がなく、その結果、較正誤差が排除され、本出願の実施形態は、キャプチャされた顔画像に対して特徴点のマッチングを直接行い、ホモグラフィ変換行列を整え、したがって、生体判断アルゴリズムの計算の量が削減される可能性があり、さらに、カメラが自由に配置される可能性があり、それによって、生体判断の柔軟性および利便性が高められる可能性がある。
【０１０８】
本出願の実施形態は、本出願の実施形態の生きた人の顔検証デバイスが組み込まれ得るサーバをさらに提供する。図4は、本出願の実施形態に含まれるサーバの構造の概略図を示す。
【０１０９】
サーバは、1つまたは複数の処理コアを用いるプロセッサ401と、1つまたは複数の非一時的コンピュータ可読ストレージ媒体を用いるメモリ402と、無線周波数(RF)回路403、電源404、入力ユニット405、ディスプレイユニット406、およびその他の部分を含み得る。当業者は、図4に示されるサーバの構造がサーバに対する限定を定めず、各実施形態のサーバが図面よりも多くのもしくは少ない部分または特定の部分の組合せまたは異なる部分の配列を含む可能性があることを理解し得る。たとえば、一部の実施形態のサーバは、RF回路403および/またはディスプレイユニット406を持たない可能性がある。
【０１１０】
プロセッサ401は、サーバの制御中枢であり、様々なインターフェースおよび線が、サーバ全体のあらゆる部分を接続するために利用され、メモリ402に記憶されたソフトウェアプログラムおよび/またはモジュールを走らせるかまたは実行し、メモリ402に記憶されたデータを呼び出すことによって、サーバの様々な機能が実行され、データが処理され、その結果、サーバ全体が監視される。一部の実施形態において、プロセッサ401は、1つまたは複数の処理コアを含む可能性がある。一部の実施形態において、プロセッサ401は、アプリケーションプロセッサおよび変調/復調プロセッサと統合される可能性があり、アプリケーションプロセッサは、主に、オペレーティングシステム、ユーザインターフェース、アプリケーションプログラムなどを処理し、変調/復調プロセッサは、主に、ワイヤレス通信を処理する。上述の変調/復調プロセッサはプロセッサ401に組み込まれる可能性もあることが、理解され得る。
【０１１１】
メモリ402は、ソフトウェアプログラムおよびモジュールを記憶するように構成される可能性があり、メモリ402に記憶されたソフトウェアプログラムおよびモジュールを走らせることによって、プロセッサ401は、様々な機能のアプリケーションを実行し、データを処理する。メモリ402は、主に、プログラムストレージエリアおよびデータストレージエリアを含み得る。プログラムストレージエリアは、オペレーティングシステム、少なくとも1つの機能が必要とするアプリケーションプログラム(たとえば、音声再生機能、画像再生機能など)などを記憶することができる。データストレージエリアは、サーバの使用によって作成されるデータを記憶することができる。加えて、メモリ402は、高速なランダムアクセスメモリを含む可能性があり、少なくとも1つのディスクストレージデバイスもしくはフラッシュメモリデバイスなどの不揮発性メモリ、またはその他の揮発性ソリッドステートストレージデバイスを含む可能性がある。それに対応して、メモリ402は、プロセッサ401がメモリ402にアクセスするためにメモリコントローラも含む可能性がある。
【０１１２】
特に本実施形態において、サーバのプロセッサ401は、下の命令に従って1つまたは複数のアプリケーションプログラムのプロセスに対応する実行可能ファイルをメモリ402にロードし、プロセッサ401は、メモリ402に記憶されたアプリケーションプログラムを走らせ、したがって、様々な機能を実行する。たとえば、プロセッサ401は、メモリ402に記憶されたアプリケーションプログラムを走らせて下の動作を実行する、つまり、
少なくとも2つのカメラによってキャプチャされた顔画像を獲得し、
顔画像の間の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って顔画像に対して特徴点の登録を行い、
特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用し、
誤差計算の結果を得るためにホモグラフィ変換行列を使用して特徴点の組合せの変換誤差を計算し、誤差計算の結果に従って顔画像の生きた人の顔検証を行うことができる。
【０１１３】
一部の実施形態において、プロセッサ401は、少なくとも2つのカメラによってキャプチャされた画像データを獲得し、顔検出の結果を得るために画像データに対して顔検出を行い、顔検出の結果が顔画像が検出されることを示すとき、顔画像を獲得するように構成される可能性もある。
【０１１４】
一部の実施形態において、プロセッサ401は、最小二乗法を使用してホモグラフィ変換行列を生成するために特徴点の組合せを当てはめるために予め設定されたランダムサンプリング一致アルゴリズムを利用するように構成される可能性もある。
【０１１５】
一部の実施形態において、プロセッサ401は、同次座標の形態で、特徴点の組合せの中の各特徴点ペアに印を付け、行列モデルを作成し、行列モデルを用いて特徴点の各ペアの間の対応する関係を決定し、同次の対応する関係を生成するために対応する関係に対して同次変換を行い、ホモグラフィ変換行列を生成するために同次の対応する関係に基づいて特徴点の組合せを当てはめるように構成される可能性もある。
【０１１６】
一部の実施形態において、プロセッサ401は、ホモグラフィ変換行列を使用して、それぞれの特徴点の組合せに関して対応する変換誤差を計算し、平均誤差を得るためにそれぞれの特徴点の組合せの対応する変換誤差に従って平均値計算を行い、平均誤差を誤差計算の結果として決定するように構成される可能性もある。
【０１１７】
一部の実施形態において、プロセッサ401は、誤差計算の結果によって示される平均誤差が予め設定された閾値以下である場合、生きた人の顔検証の結果が「合格」であると判定し、または誤差計算の結果によって示される平均誤差が予め設定された閾値よりも大きい場合、生きた人の顔検証の結果が「不合格」であると判定するように構成される可能性もある。
【０１１８】
本出願の実施形態によって提供されるサーバにおいては、少なくとも2つのカメラが顔画像をキャプチャするとき、まず、顔画像の間の対応する特徴点の組合せを得るために予め設定された特徴点に従って顔画像に対して特徴点の登録が行われ、そして、特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムが利用され、最後に、ホモグラフィ変換行列を使用してこれらの特徴点の組合せの変換誤差が計算され、それによって、誤差計算の結果に従って生きた人の顔検証が行われることが、上述のことから知られる可能性がある。本出願の実施形態は、カメラを較正する必要がなく、その結果、較正誤差が排除され、本出願の実施形態は、キャプチャされた顔画像に対して特徴点のマッチングを直接行い、ホモグラフィ変換行列を整え、したがって、生体判断アルゴリズムの計算の量が削減される可能性があり、さらに、カメラが自由に配置される可能性があり、それによって、生体判断の柔軟性および利便性が高められる可能性がある。
【０１１９】
上述の実施形態において、各実施形態の説明は、独自の焦点を持ち、詳細に説明されない特定の実施形態の部分に関しては、本明細書において再び繰り返されない、上の生きた人の顔検証方法に関する詳細な説明を参照されたい。
【０１２０】
本出願の実施形態によって提供される生きた人の顔検証デバイスは、たとえば、コンピュータ、タブレットコンピュータ、タッチ機能を有するモバイル電話などであり、上述の実施形態の生きた人の顔検証デバイスおよび生きた人の顔検証方法は、同じ概念に属しており、生きた人の顔検証デバイスは、生きた人の顔検証方法の実施形態によって提供される方法のいずれか1つを走らせることができる。
【０１２１】
本出願によって説明される生きた人の顔検証方法に関して、当技術分野の通常の試験者は、本出願の実施形態によって説明される生きた人の顔検証方法を実施するフローのすべてまたは一部が、関連するハードウェアを制御することによってコンピュータプログラムによって行われる可能性があり、コンピュータプログラムが、端末のメモリなどの非一時的コンピュータ可読ストレージ媒体に記憶され、端末の少なくとも1つのプロセッサによって実行される可能性があり、実行のプロセスにおいて、たとえば、生きた人の顔検証方法の実施形態のフローが含まれる可能性があることを理解し得ることに留意されたい。ストレージ媒体は、ディスク、コンパクトディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)などである可能性がある。
【０１２２】
本出願の実施形態の生きた人の顔検証デバイスに関しては、各機能モジュールが、処理チップに統合される可能性があり、または各モジュールが、物理的に別々に存在する可能性があり、または2つ以上のモジュールが、1つのモジュールに統合される可能性がある。統合されたモジュールは、ハードウェアの形態でまたはソフトウェア機能モジュールの形態で実装される可能性がある。統合されたモジュールは、ソフトウェア機能モジュールの形態で実装され、別々の製品として販売されるかまたは使用される場合、非一時的コンピュータ可読ストレージ媒体に記憶される可能性もあり、ストレージ媒体は、たとえば、読み出し専用メモリ、ディスク、コンパクトディスクなどである。
【０１２３】
本出願の実施形態によって提供される生きた人の顔検証方法およびデバイスが、上で詳細に紹介されており、特定の実施形態が、本出願の原理および実装方法を詳しく述べるために本明細書において適用され、上述の実施形態の図示は、本出願の方法およびその中核となる考えを理解する助けを提供するように意図されているに過ぎず、さらに、当業者にとって、特定の実施形態と応用の範囲との両方は、本出願の考えに従って変更される可能性があり、要するに、説明の内容は、本出願に対する限定と理解されるべきでない。
【符号の説明】
【０１２４】
301  獲得ユニット
302  特徴点の登録ユニット
303  当てはめユニット
304  計算ユニット
305  検証ユニット
3011  画像獲得サブユニット
3012  検出サブユニット
3013  顔獲得サブユニット
3031  印付けサブユニット
3032  決定サブユニット
3033  変換サブユニット
3034  当てはめサブユニット
401  プロセッサ
402  メモリ
403  無線周波数(RF)回路
404  電源
405  入力ユニット
406  ディスプレイユニット
【図１ａ】
2019509545.tif 000007
【図１ｂ】
2019509545.tif 000008
【図２ａ】
2019509545.tif 000009
【図２ｂ】
2019509545.tif 000010
【図３ａ】
2019509545.tif 000011
【図３ｂ】
2019509545.tif 000012
【図４】
2019509545.tif 000013
【手続補正書】
【提出日】平成30年9月19日(2018.9.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピューティングデバイスによって、少なくとも2つのカメラによってキャプチャされた顔画像を獲得するステップと、
前記コンピューティングデバイスによって、前記顔画像の対応する特徴点の組合せを得るために予め設定された顔の特徴点に従って前記顔画像に対して特徴点の登録を実行するステップと、
前記コンピューティングデバイスによって、前記特徴点の組合せの間のホモグラフィ変換行列を整えるために予め設定されたアルゴリズムを利用するステップと、
前記コンピューティングデバイスによって、誤差計算の結果を得るために前記ホモグラフィ変換行列を使用して前記特徴点の組合せの変換誤差を計算するステップと、
前記コンピューティングデバイスによって、前記誤差計算の結果に従って前記顔画像の生きた人の顔検証を実行するステップとを含む生きた人の顔検証方法。
【請求項２】
少なくとも2つのカメラによってキャプチャされた前記顔画像を獲得するステップが、
少なくとも2つのカメラによってキャプチャされた画像データを獲得するステップと、
顔検出の結果を得るために前記画像データに対して顔検出を実行するステップと、
前記顔検出の結果が顔画像が検出されることを示すとき、前記顔画像を獲得するステップとを含む請求項1に記載の生きた人の顔検証方法。
【請求項３】
前記特徴点の組合せの間の前記ホモグラフィ変換行列を整えるために前記予め設定されたアルゴリズムを利用するステップが、
最小二乗法を使用して前記ホモグラフィ変換行列を生成するために前記特徴点の組合せを当てはめるために予め設定されたランダムサンプリング一致アルゴリズムを利用するステップを含む請求項1に記載の生きた人の顔検証方法。
【請求項４】
前記ホモグラフィ変換行列を生成するために前記特徴点の組合せを当てはめるステップが、
同次座標の形態で、前記特徴点の組合せの中の各特徴点ペアに印を付けるステップと、
行列モデルを作成し、前記行列モデルを用いて各特徴点ペアの間の対応する関係を決定するステップと、
同次の対応する関係を生成するために前記対応する関係に対して同次変換を実行するステップと、
前記ホモグラフィ変換行列を生成するために前記同次の対応する関係に基づいて前記特徴点の組合せを当てはめるステップとを含む請求項3に記載の生きた人の顔検証方法。
【請求項５】
前記誤差計算の結果を得るために前記ホモグラフィ変換行列を使用して前記特徴点の組合せの前記変換誤差を計算する前記ステップが、
それぞれの特徴点の組合せに関して、前記ホモグラフィ変換行列を使用して対応する変換誤差を計算するステップと、
平均誤差を得るためにそれぞれの特徴点の組合せの前記対応する変換誤差に従って平均値計算を実行するステップと、
前記平均誤差を前記誤差計算の結果として決定するステップとを含む請求項1に記載の生きた人の顔検証方法。
【請求項６】
前記誤差計算の結果に従って前記顔画像の生きた人の顔検証を実行するステップが、
前記誤差計算の結果によって示される前記平均誤差が予め設定された閾値以下である場合、生きた人の顔検証の結果が「合格」であると判定するステップと、
前記誤差計算の結果によって示される前記平均誤差が前記予め設定された閾値よりも大きい場合、生きた人の顔検証の結果が「不合格」であると判定するステップとを含む請求項5に記載の生きた人の顔検証方法。
【請求項７】
1つまたは複数のプロセッサおよびメモリ、ならびに前記1つまたは複数のプロセッサによって実行されるときにデバイスに請求項1乃至6のいずれか1項に記載の方法を実行させる、前記メモリに記憶された複数のプログラムを含む生きた人の顔検証デバイス。
【請求項８】
コンピューティングデバイスの1つまたは複数のプロセッサによって実行されるときに前記1つまたは複数のプロセッサに請求項1乃至6のいずれか1項に記載の方法を実行させる複数のプログラムを記憶するコンピュータ可読ストレージ媒体。
【国際調査報告】
2019509545.tif 000014
2019509545.tif 000015
2019509545.tif 000016
2019509545.tif 000017
2019509545.tif 000018
2019509545.tif 000019