(57)【特許請求の範囲】
【請求項１】
第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得することと、前記目標画像に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得ることと、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得ることであって、前記目標対象物の生体検知結果は、前記目標対象物が生体であるか、または目標対象物が偽物である、ことと、を含み、
前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得ることは、
前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることと、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることと、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定することと、を含み、
前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得ることを含み、
前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることは、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得ることを含む生体検知方法。
【請求項２】
前記第二センサーがＲＧＢセンサーまたは近赤外センサーであり、
前記第一センサーが飛行時間ＴＯＦセンサーまたは構造光センサーである請求項１に記載の方法。
【請求項３】
前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることは、
前記目標対象物の深度情報および前記目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得ることと、前記第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得ることと、前記第一ダウンサンプリング結果に基づいて、第一特徴情報を得ることと、を含む請求項１に記載の方法。
【請求項４】
前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定することは、
前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得ることと、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を判定することと、を含む請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記第三特徴情報に基づいて、生体検知結果を判定することは、
前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定することと、を含む請求項４に記載の方法。
【請求項６】
第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得するように構成される取得モジュールと、前記目標画像に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得るように構成される検出モジュールと、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得るように構成される判定モジュールであって、前記目標対象物の生体検知結果は、前記目標対象物が生体であるか、または目標対象物が偽物である、判定モジュールと、を含み、
前記判定モジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得るように構成される第一判定サブモジュールと、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得るように構成される第二判定サブモジュールと、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される第三判定サブモジュールと、を含み、
前記第一判定サブモジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得るように構成され、前記第二判定サブモジュールは、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得るように構成される生体検知装置。
【請求項７】
前記第二センサーがＲＧＢセンサーまたは近赤外センサーであり、
前記第一センサーが飛行時間ＴＯＦセンサーまたは構造光センサーである請求項６に記載の装置。
【請求項８】
前記第三判定サブモジュールは、前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得るように構成される全結合ユニットと、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される第三判定ユニットと、を含む請求項６に記載の装置。
【請求項９】
前記第三判定ユニットは、前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得るように構成される第一判定サブユニットと、前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定するように構成される第二判定サブユニットと、を含む請求項８に記載の装置。
【請求項１０】
プロセッサにより実行される時に請求項１から５のいずれか一項に記載の方法を実行するコンピュータプログラム命令が記憶されている不揮発性コンピュータ可読記憶媒体。
【請求項１１】
請求項６に記載の生体検知装置、前記第一センサーおよび前記第二センサーを含む生体検知システム。
【請求項１２】
請求項１０に記載の不揮発性コンピュータ可読記憶媒体、前記第一センサーおよび前記第二センサーを含む生体検知システム。
【請求項１３】
プロセッサにより実行される時に請求項１から５のいずれか一項に記載の方法を実行するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はコンピュータビジョンの技術分野に関し、特に生体検知方法および装置、システム、電子機器および記憶媒体に関する。
【背景技術】
【０００２】
現在、顔認識技術は既にフェイスアンロック、顔パスペイメント、セルフサービススーパーマーケットおよびビデオ監視などのシーンにおいて広く応用されている。しかしながら、顔認識技術には顔の実体写真、顔の電子写真または顔を含むビデオなどの形式の偽顔で攻撃される脆弱性が存在している。そのため、顔認識には生体検知が不可欠な一環である。
【０００３】
関連出願への相互参照
本願は出願番号が２０１８１０４４４１０５．４、出願日が２０１８年０５月１１日の中国特許出願に基づいて提供し、かつ該中国特許出願の優先権を主張し、該中国特許出願の全ての内容をここで全文引用の方式で本願に引用する。
【発明の概要】
【０００４】
前記背景を鑑みて、本開示の実施例は生体検知方法および装置を提供する。
【０００５】
本開示の実施例の一態様によれば、第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得することと、前記目標画像に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得ることと、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得ることと、を含む生体検知方法が提供される。
【０００６】
いくつかの実施例では、前記目標対象物が顔である。
【０００７】
いくつかの実施例では、前記第二センサーが画像センサーであり、例えば、前記第二センサーがＲＧＢセンサーまたは近赤外センサーである。
【０００８】
いくつかの実施例では、前記第一センサーは深度センサーであり、例えば、前記第一センサーは飛行時間ＴＯＦセンサーまたは構造光センサーである。
【０００９】
いくつかの実施例では、第一センサーおよび前記第二センサーは同一デバイスに集積され、例えば３Ｄカメラに集積される。
【００１０】
いくつかの実施例では、目標画像に対してキーポイント検出を行う前に、前記方法は、前記第一センサーのパラメータおよび前記第二センサーのパラメータに基づいて、前記目標対象物の深度情報と前記目標画像を整列させることをさらに含む。
【００１１】
いくつかの実施例では、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得ることに関して、
前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることと、
前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることと、
前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定することと、を含む。
【００１２】
いくつかの実施例では、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることに関して、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得ることを含み、
前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることに関して、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得ることを含む。
【００１３】
いくつかの実施例では、前記第一ニューラルネットワークおよび前記第二ニューラルネットワークは同一のネットワーク構造を有する。
【００１４】
いくつかの実施例では、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることに関して、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得ることと、前記第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得ることと、前記第一ダウンサンプリング結果に基づいて、第一特徴情報を得ることと、を含む。
【００１５】
いくつかの実施例では、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることに関して、
前記目標画像および前記目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得ることと、
前記第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得ることと、
前記第二ダウンサンプリング結果に基づいて、第二特徴情報を得ることと、を含む。
【００１６】
いくつかの実施例では、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定することに関して、前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得ることと、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を得ることと、を含む。
【００１７】
いくつかの実施例では、前記第三特徴情報に基づいて、生体検知結果を判定することに関して、
前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定することと、を含む。
【００１８】
本開示の実施例に係る他の態様によれば、
第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得するように配置される取得モジュールと、
前記目標画像に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得るように配置される検出モジュールと、
前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得るように配置される判定モジュールと、を含む生体検知装置が提供される。
【００１９】
いくつかの実施例では、前記目標対象物が顔である。
【００２０】
いくつかの実施例では、前記第二センサーが画像センサーであり、例えば、前記第二センサーがＲＧＢセンサーまたは近赤外センサーである。
【００２１】
いくつかの実施例では、前記第一センサーが深度センサーであり、例えば、前記第一センサーが飛行時間ＴＯＦセンサーまたは構造光センサーである。
【００２２】
いくつかの実施例では、第一センサーおよび前記第二センサーは同一のデバイスに集積され、例えば３Ｄカメラに集積される。
【００２３】
いくつかの実施例では、前記装置はさらに、前記第一センサーのパラメータおよび前記第二センサーのパラメータに基づいて、前記目標対象物の深度情報と前記目標画像を整列させるように配置される整列モジュールを含む。
【００２４】
いくつかの実施例では、前記判定モジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得るように配置される第一判定サブモジュールと、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得るように配置される第二判定サブモジュールと、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される第三判定サブモジュールと、を含む。
【００２５】
いくつかの実施例では、前記第一判定サブモジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得るように構成され、
前記第二判定サブモジュールは、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得るように構成される。
【００２６】
いくつかの実施例では、前記第一ニューラルネットワークおよび前記第二ニューラルネットワークは同一のネットワーク構造を有する。
【００２７】
いくつかの実施例では、前記第一判定サブモジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得るように構成される第一畳み込みユニットと、前記第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得るように構成される第一ダウンサンプリングユニットと、前記第一ダウンサンプリング結果に基づいて、第一特徴情報を得るように構成される第一判定ユニットと、を含む。
【００２８】
いくつかの実施例では、前記第二判定サブモジュールは、前記目標画像および前記目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得るように構成される第二畳み込みユニットと、前記第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得るように構成される第二ダウンサンプリングユニットと、前記第二ダウンサンプリング結果に基づいて、第二特徴情報を得るように構成される第二判定ユニットと、を含む。
【００２９】
いくつかの実施例では、前記第三判定サブモジュールは、前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得るように構成される全結合ユニットと、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される第三判定ユニットと、を含む。
【００３０】
いくつかの実施例では、前記第三判定ユニットは、前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得るように構成される第一判定サブユニットと、前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定するように構成される第二判定サブユニットと、を含む。
【００３１】
本開示の実施例が提供する生体検知装置は上記任意の実施例における生体検知方法を実行するために用いられるものであり、上記任意の可能な生体検知方法のステップおよび／またはプロセスを実行するためのモジュールおよびユニットを含む。
【００３２】
本開示の実施例に係る別の態様によれば、プロセッサと、プロセッサで実行可能な命令を記憶するように構成されるメモリと、を含み、前記プロセッサが上記方法を実行するように構成される生体検知装置が提供される。
【００３３】
本開示の実施例に係る他の態様によばれ、プロセッサにより実行される時に上記方法を実現するコンピュータプログラム命令が記憶されている不揮発性コンピュータ可読記憶媒体が提供される。
【００３４】
本開示の実施例に係る別の態様によれば、上記生体検知装置、前記第一センサーおよび前記第二センサーを含む生体検知システムが提供される。
【００３５】
本開示の実施例に係る他の態様によれば、上記不揮発性コンピュータ可読記憶媒体、前記第一センサーおよび前記第二センサーを含む生体検知システムが提供される。
【００３６】
本開示の実施例に係る別の態様によれば、
目標対象物の深度情報を検出するように構成される第一センサーと、
前記目標対象物を含む目標画像を収集するように構成される第二センサーと、
前記第二センサーにより収集される目標対象物に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得て、かつ前記第一センサーにより検出される前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得るように構成されるプロセッサと、を含む電子機器が提供される。
【００３７】
いくつかの実施例では、前記第二センサーがＲＧＢセンサーまたは近赤外センサーである。
【００３８】
いくつかの実施例では、前記第一センサーが飛行時間ＴＯＦセンサーまたは構造光センサーである。
【００３９】
いくつかの実施例では、前記プロセッサはさらに、前記第一センサーのパラメータおよび前記第二センサーのパラメータに基づいて、前記目標対象物の深度情報と前記目標画像を整列させるように構成される。
【００４０】
いくつかの実施例では、前記プロセッサは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得て、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得て、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される。
【００４１】
いくつかの実施例では、前記プロセッサは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得るように構成され、
前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることに関して、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得ることを含む。
【００４２】
いくつかの実施例では、前記プロセッサは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得て、前記第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得て、前記第一ダウンサンプリング結果に基づいて、第一特徴情報を得るように構成される。
【００４３】
いくつかの実施例では、前記プロセッサは、前記目標画像および前記目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得て、前記第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得て、前記第二ダウンサンプリング結果に基づいて、第二特徴情報を得るように構成される。
【００４４】
いくつかの実施例では、前記プロセッサは、前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得て、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される。
【００４５】
いくつかの実施例では、前記プロセッサは、前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得て、前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定するように構成される。
【００４６】
本開示の各態様の生体検知方法は目標対象物の深度情報と目標画像を組み合わせて生体検知を行うことによって、目標対象物の深度情報および目標画像における目標対象物のキーポイント情報を利用して生体検知を行うことができ、それにより生体検知の正確性を向上させることができる。以下の参照図面による例示的な実施例への詳細な説明に基づいて、本開示の他の特徴および態様は明確になる。
【図面の簡単な説明】
【００４７】
明細書に含まれかつ明細書の一部となる図面は明細書と併せて本開示の例示的な実施例、特徴および態様を示し、かつ本開示の原理を解釈するために用いられる。
【図１】本開示の実施例に係る生体検知方法のフローチャートを示す。
【図２】本開示の実施例に係る生体検知方法の例示的なフローチャートを示す。
【図３】本開示の実施例に係る生体検知方法のステップＳ１３の例示的なフローチャートを示す。
【図４Ａ】本開示の実施例に係る顔に応用する生体検知装置のブロック図を示す。
【図４Ｂ】本開示の実施例に係る図４Ａにおけるデータ前処理モジュールのブロック図を示す。
【図４Ｃ】本開示の実施例に係る図４Ａにおけるディープニューラルネットワークモジュールのブロック図を示す。
【図５】本開示の実施例に係る生体検知方法のステップＳ１３１の例示的なフローチャートを示す。
【図６】本開示の実施例に係る生体検知方法のステップＳ１３２の例示的なフローチャートを示す。
【図７】本開示の実施例に係る生体検知方法のステップＳ１３３の例示的なフローチャートを示す。
【図８】本開示の実施例に係る生体検知方法のステップＳ１３３２の例示的なフローチャートを示す。
【図９】本開示の実施例に係る生体検知装置のブロック図を示す。
【図１０】本開示の実施例に係る生体検知装置の例示的なブロック図を示す。
【図１１】例示的な実施例により示される生体検知装置８００のブロック図である。
【発明を実施するための形態】
【００４８】
以下に図面と関連付けて本開示の様々な例示的な実施例、特徴および態様を詳細に説明する。図面において、同じ参照符号は機能が同じ又は類似する部品を示す。図面では実施例の様々な態様を示すが、特に断らない限り、比例に基づいて図面を作成する必要がない。ここで、特定語「例示的」とは「例、実施例または説明的なものとして用いられること」を指す。ここで「例示的」なものとして説明される何らの実施例も他の実施例より優れるまたは好ましいと解釈される必要がない。また、本開示をよりよく説明するために、後述の具体的な実施形態には多くの具体的な詳細を示す。当業者は、ある具体的な詳細がなくても、本開示の実施例は同様に実施できることを理解すべきである。いくつかの実施例では、本開示の実施例の趣旨を強調するよう、当業者が精通している方法、手段、部品および電気回路を詳細に説明しない。
【００４９】
図１は本開示の実施例に係る生体検知方法のフローチャートを示す。該方法はスマートフォン、タブレットコンピュータ、ディジタルカメラまたは出入管理装置などの顔認識機能を有する端末装置に応用することができる。該方法はフェイスアンロック、顔パスペイメント、セルフサービススーパーマーケットおよびビデオ監視などのシーンに応用することができる。図１に示すように、該方法はステップＳ１１からステップＳ１３を含む。
【００５０】
ステップＳ１１では、第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得する。
【００５１】
いくつかの実施例では、目標対象物が顔である。いくつかの実施例では、第一センサーが三次元センサーである。例えば、第一センサーはＴｏＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ、飛行時間）センサー、構造光センサー、双眼センサーまたは他のタイプの深度センサーであってもよい。三次元センサーで目標対象物の深度情報を取得することによって、高精度の深度情報を得ることができる。本開示の実施例は目標対象物を含む深度情報を利用して生体検知を行い、目標対象物の深度情報を十分に掘り出すことができ、それにより生体検知の正確性を向上させることができる。例えば、目標対象物は顔である場合、本開示の実施例は顔を含む深度情報を利用して生体検知を行い、顔データの深度情報を十分に掘り出すことができ、それにより生体顔検出の正確性を向上させることができる。
【００５２】
ＴｏＦセンサー、構造光センサーおよび双眼センサーを挙げて第一センサーを以上のように説明したが、当業者にとって、本開示の実施例はこれらに限定されるべきではないことが理解できることを説明すべきである。当業者は、第一センサーで目標対象物の深度情報を検知することさえできれば、実際の応用シーンにおける需要および／または個人的好みに基づいて第一センサーのタイプを自由に選択することができる。
【００５３】
本開示の実施例において、目標対象物の深度情報は目標対象物の深度を体現できる任意の情報であってもよく、本開示の実施例は目標対象物の深度情報の具体的な実現形態を限定しない。いくつかの実施例では、目標対象物の深度情報は目標対象物の深度画像であってもよい。他の実施例では、目標対象物の深度情報は目標対象物のポイントクラウドであってもよい。ここで、目標対象物のポイントクラウドは目標対象物の各ポイントの三次元座標を記録することができる。別の実施例では、目標対象物の深度情報は目標対象物の各ポイントの深度を記録するテーブルまたは他のタイプのファイルであってもよい。
【００５４】
いくつかの実施例では、第二センサーはＲＧＢ（Ｒｅｄ／赤、Ｇｒｅｅｎ／緑、Ｂｌｕｅ／青）センサーまたは近赤外センサーであってもよい。第二センサーがＲＧＢセンサーまたは他のタイプの画像センサーであれば、第二センサーにより検知される目標画像はＲＧＢ画像となる。第二センサーが近赤外センサーであれば、第二センサーにより検知される目標画像は近赤外画像となる。ここで、近赤外画像はスペックル付きの近赤外画像であってもよく、スペックルのない近赤外画像などであってもよい。ＲＧＢセンサーおよび近赤外センサーを挙げて第二センサーを以上のように説明したが、当業者にとって、本開示の実施例はこれらに限定されるべきではないことが理解できることを説明すべきである。当業者は、第二センサーにより検知される目標画像によって目標対象物のキーポイント情報を取得することさえできれば、実際の応用シーンにおける需要および／または個人的好みに基づいて第二センサーのタイプを自由に選択することができる。
【００５５】
いくつかの実施例では、３Ｄカメラによって深度画像および目標画像を収集し、ここで、３Ｄカメラは画像を収集するための画像センサーおよび深度情報を収集するための深度センサーを含む。例えば、端末装置は自体に設置される３Ｄカメラによって目標対象物の三次元情報を収集する。他の実施例では、他の設備から深度情報および目標画像を取得し、例えば、端末装置により送信される、前記深度情報および目標画像が携帯されている生体検知リクエストを受信する。
【００５６】
ステップＳ１２では、目標画像に対してキーポイント検出を行い、目標対象物のキーポイント情報を得る。
【００５７】
ここで、目標対象物のキーポイント情報は目標対象物のキーポイントの位置情報を含んでもよい。
【００５８】
本開示の実施例において、目標対象物が顔であれば、目標対象物のキーポイントは目キーポイント、眉毛キーポイント、鼻キーポイント、口キーポイントおよび顔輪郭キーポイントのうちの一つまたは複数を含んでもよい。ここで、目キーポイントは目輪郭キーポイント、目頭キーポイントおよび瞳孔キーポイントなどのうちの一つまたは複数を含んでもよい。
【００５９】
ステップＳ１３では、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、目標対象物の生体検知結果を得る。
【００６０】
ここで、目標対象物の生体検知結果は目標対象物が生体、または目標対象物が偽物であってもよく、例えば目標対象物の生体検知結果は目標対象物が生体顔、または目標対象物が偽顔であってもよい。
【００６１】
本開示の実施例は目標対象物の深度情報と目標画像を組み合わせて生体検知を行うことによって、目標対象物の深度情報および目標画像における目標対象物のキーポイント情報を利用して生体検知を行うことができ、それにより生体検知の正確性を向上させることができる。
【００６２】
図２は本開示の実施例に係る生体検知方法の例示的なフローチャートを示す。図２に示すように、該方法はステップＳ２１からステップＳ２４を含んでもよい。
【００６３】
ステップＳ２１では、第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得する。ここで、ステップＳ２１は前文のステップＳ１１に対する記述を参照されたい。ステップＳ２２では、第一センサーのパラメータおよび第二センサーのパラメータに基づいて、目標対象物の深度情報と目標画像を整列させる。
【００６４】
いくつかの実施例では、目標画像の深度情報を変換処理し、変換処理された深度情報と目標画像を整列させるようにしてもよい。例えば、目標対象物の深度情報は目標対象物の深度画像である場合、第一センサーのパラメータ行列および第二センサーのパラメータ行列に基づいて、第一センサーのパラメータ行列から第二センサーのパラメータ行列への変換行列を決定し、該変換行列に基づいて、目標対象物の深度画像を変換する。
【００６５】
別の実施例では、目標画像を変換処理し、変換処理された目標画像と深度情報を整列させるようにしてもよい。例えば、目標対象物の深度情報は目標対象物の深度画像である場合、第一センサーのパラメータ行列および第二センサーのパラメータ行列に基づいて、第二センサーのパラメータ行列から第一センサーのパラメータ行列への変換行列を決定し、該変換行列に基づいて、目標画像を変換する。
【００６６】
本開示の実施例では、第一センサーのパラメータは第一センサーの内部パラメータおよび／または外部パラメータを含んでもよく、第二センサーのパラメータは第二センサーの内部パラメータおよび／または外部パラメータを含んでもよい。
【００６７】
本開示の実施例では、目標対象物の深度情報は目標対象物の深度画像である場合、目標対象物の深度情報と目標画像を整列させることによって、目標対象物の深度画像および目標画像における対応する部分の二つの画像での位置を同一にすることができる。
【００６８】
ステップＳ２３では、目標画像に対してキーポイント検出を行い、目標対象物のキーポイント情報を得る。ここで、ステップＳ２３は前文のステップＳ１２に対する記述を参照されたい。
【００６９】
ステップＳ２４では、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、目標対象物の生体検知結果を得る。ここで、ステップＳ２４は前文のステップＳ１３に対する記述を参照されたい。
【００７０】
図３は本開示の実施例に係る生体検知方法のステップＳ１３の例示的なフローチャートを示す。図３に示すように、ステップＳ１３はステップＳ１３１からステップＳ１３３を含んでもよい。
【００７１】
ステップＳ１３１では、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、第一特徴情報を得る。
【００７２】
いくつかの実施例では、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることに関して、目標対象物の深度情報および目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得ることを含む。該実現形態の一例として、第一ニューラルネットワークは畳み込み層、ダウンサンプリング層および全結合層を含んでもよい。例えば、第一ニューラルネットワークは一段の畳み込み層、一段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。また、例えば、第一ニューラルネットワークは多段の畳み込み層、多段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。そのうち、ｉ段目の畳み込み層の後にｉ段目のダウンサンプリング層がカスケードされ、ｉ段目のダウンサンプリング層の後にｉ＋１段目の畳み込み層がカスケードされ、ｎ段目のダウンサンプリング層の後に全結合層がカスケードされ、ここで、ｉもｎも正の整数であり、１≦ｉ≦ｎで、ｎは第一ニューラルネットワークにおける畳み込み層およびダウンサンプリング層の段数を示す。
【００７３】
該実現形態の他例として、第一ニューラルネットワークは畳み込み層、ダウンサンプリング層、正規化層および全結合層を含んでもよい。例えば、第一ニューラルネットワークは一段の畳み込み層、一つの正規化層、一段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。
【００７４】
また、例えば、第一ニューラルネットワークは多段の畳み込み層、複数の正規化層、多段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。そのうち、ｉ段目の畳み込み層の後にｉ個目の正規化層がカスケードされ、ｉ個目の正規化層の後にｉ段目のダウンサンプリング層がカスケードされ、ｉ段目のダウンサンプリング層の後にｉ＋１段目の畳み込み層がカスケードされ、ｎ段目のダウンサンプリング層の後に全結合層がカスケードされ、ここで、ｉもｎも正の整数であり、１≦ｉ≦ｎで、ｎは第一ニューラルネットワークにおける畳み込み層、ダウンサンプリング層の段数および正規化層の数を示す。
【００７５】
ステップＳ１３２では、目標対象物のキーポイント情報に基づいて、第二特徴情報を得る。
【００７６】
いくつかの実施例では、目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることに関して、目標画像および目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得ることを含む。
【００７７】
該実現形態の一例として、第二ニューラルネットワークは畳み込み層、ダウンサンプリング層および全結合層を含んでもよい。
【００７８】
例えば、第二ニューラルネットワークは一段の畳み込み層、一段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。また、例えば、第二ニューラルネットワークは多段の畳み込み層、多段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。そのうち、ｊ段目の畳み込み層の後にｊ段目のダウンサンプリング層がカスケードされ、ｊ段目のダウンサンプリング層の後にｊ＋１段目の畳み込み層がカスケードされ、ｍ段目のダウンサンプリング層の後に全結合層がカスケードされ、ここで、ｊもｍも正の整数であり、１≦ｊ≦ｍで、ｍは第二ニューラルネットワークにおける畳み込み層およびダウンサンプリング層の段数を示す。
【００７９】
該実現形態の他例として、第二ニューラルネットワークは畳み込み層、ダウンサンプリング層、正規化層および全結合層を含んでもよい。例えば、第二ニューラルネットワークは一段の畳み込み層、一つの正規化層、一段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。また、例えば、第二ニューラルネットワークは多段の畳み込み層、複数の正規化層、多段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。そのうち、ｊ段目の畳み込み層の後にｊ個目の正規化層がカスケードされ、ｊ個目の正規化層の後にｊ段目のダウンサンプリング層がカスケードされ、ｊ段目のダウンサンプリング層の後にｊ＋１段目の畳み込み層がカスケードされ、ｍ段目のダウンサンプリング層の後に全結合層がカスケードされ、ここで、ｊもｍも正の整数であり、１≦ｊ≦ｍで、ｍは第二ニューラルネットワークにおける畳み込み層、ダウンサンプリング層の段数および正規化層の数を示す。
【００８０】
いくつかの実施例では、第一ニューラルネットワークおよび第二ニューラルネットワークは同一のネットワーク構造を有する。
【００８１】
ステップＳ１３３では、第一特徴情報および第二特徴情報に基づいて、目標対象物の生体検知結果を判定する。
【００８２】
本開示の実施例はステップＳ１３１およびステップＳ１３２を実行する優先順位を限定せず、ステップＳ１３１およびステップＳ１３２をステップＳ１３３の前に実行すればよいことを説明すべきである。例えば、ステップＳ１３１を実行してからステップＳ１３２を実行してもよく、またはステップＳ１３２を実行してからステップＳ１３１を実行してもよく、またはステップＳ１３１およびステップＳ１３２を同時に実行してもよい。
【００８３】
図５は本開示の実施例に係る生体検知方法のステップＳ１３１の例示的なフローチャートを示す。図５に示すように、ステップＳ１３１はステップＳ１３１１からステップＳ１３１３を含んでもよい。
【００８４】
ステップＳ１３１１では、目標対象物の深度情報および目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得る。
【００８５】
ステップＳ１３１２では、第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得る。
【００８６】
いくつかの実施例では、一段の畳み込み層および一段のダウンサンプリング層によって目標対象物の深度情報および目標対象物のキーポイント情報に対して畳み込み処理とダウンサンプリング処理を行ってもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層を含んでもよい。
【００８７】
他の可能な実現形態では、多段の畳み込み層および多段のダウンサンプリング層によって目標対象物の深度情報および目標対象物のキーポイント情報に対して畳み込み処理とダウンサンプリング処理を行ってもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層を含んでもよい。
【００８８】
いくつかの実施例では、第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得ることに関して、第一畳み込み結果を正規化処理し、第一正規化結果を得ることと、第一正規化結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得ることと、を含んでもよい。
【００８９】
ステップＳ１３１３では、第一ダウンサンプリング結果に基づいて、第一特徴情報を得る。
【００９０】
いくつかの実施例では、第一ダウンサンプリング結果を全結合層に入力し、全結合層によって第一ダウンサンプリング結果を融合処理（例えば、全結合演算）し、第一特徴情報を得るようにしてもよい。
【００９１】
図６は本開示の実施例に係る生体検知方法のステップＳ１３２の例示的なフローチャートを示す。図６に示すように、ステップＳ１３２はステップＳ１３２１からステップＳ１３２３を含んでもよい。
【００９２】
ステップＳ１３２１では、目標画像および目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得る。
【００９３】
ステップＳ１３２２では、第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得る。
【００９４】
いくつかの実施例では、一段の畳み込み層および一段のダウンサンプリング層によって目標画像および目標対象物のキーポイント情報に対して畳み込み処理とダウンサンプリング処理を行ってもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層を含んでもよい。他の可能な実現形態では、多段の畳み込み層および多段のダウンサンプリング層によって目標画像および目標対象物のキーポイント情報に対して畳み込み処理とダウンサンプリング処理を行ってもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層を含んでもよい。いくつかの実施例では、第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得ることに関して、第二畳み込み結果を正規化処理し、第二正規化結果を得ることと、第二正規化結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得ることと、を含んでもよい。
【００９５】
ステップＳ１３２３では、第二ダウンサンプリング結果に基づいて、第二特徴情報を得る。
【００９６】
いくつかの実施例では、第二ダウンサンプリング結果を全結合層に入力し、全結合層によって第二ダウンサンプリング結果を融合処理（例えば、全結合演算）し、第二特徴情報を得るようにしてもよい。
【００９７】
図７は本開示の実施例に係る生体検知方法のステップＳ１３３の例示的なフローチャートを示す。図７に示すように、ステップＳ１３３はステップＳ１３３１およびステップＳ１３３２を含んでもよい。
【００９８】
ステップＳ１３３１では、第一特徴情報と第二特徴情報を融合処理（例えば、全結合演算）し、第三特徴情報を得る。
【００９９】
いくつかの実施例では、第一特徴情報と第二特徴情報を結合（例えば、チャンネル重ね合わせ）するかまたは加算処理し、第三特徴情報を得るようにしてもよい。一例では、全結合層によって第一特徴情報と第二特徴情報の全結合演算を行い、第三特徴情報を得る。
【０１００】
ステップＳ１３３２では、第三特徴情報に基づいて、目標対象物の生体検知結果を判定する。
【０１０１】
図８は本開示の実施例に係る生体検知方法のステップＳ１３３２の例示的なフローチャートを示す。図８に示すように、ステップＳ１３３２はステップＳ１３３２１およびステップＳ１３３２２を含んでもよい。
【０１０２】
ステップＳ１３３２１では、第三特徴情報に基づいて、目標対象物が生体である確率を得る。
【０１０３】
いくつかの実施例では、第三特徴情報をＳｏｆｔｍａｘ層に入力し、Ｓｏｆｔｍａｘ層によって目標対象物が生体である確率を得るようにしてもよい。該実現形態の一例として、Ｓｏｆｔｍａｘ層は二つのニューロンを含んでもよく、このうち、一つのニューロンは目標対象物が生体である確率を代表し、他のニューロンは目標対象物が偽物である確率を代表する。
【０１０４】
ステップＳ１３３２２では、目標対象物が生体である確率に基づいて、目標対象物の生体検知結果を判定する。
【０１０５】
いくつかの実施例では、目標対象物が生体である確率に基づいて、目標対象物の生体検知結果を判定することに関して、目標対象物が生体である確率は第一閾値より大きい場合、目標対象物の生体検知結果につき目標対象物が生体であると判定することと、目標対象物が生体である確率は第一閾値以下の場合、目標対象物の生体検知結果は偽物であると判定することと、を含む。図８に示すプロセスを挙げてステップＳ１３３２の実現形態を以上のように説明したが、当業者にとって、本開示の実施例はこれに限定されるべきではないことが理解できることを説明すべきである。他の可能な実現形態では、第三特徴情報に基づいて、目標対象物が偽物である確率を得て、かつ目標対象物が偽物である確率に基づいて、目標対象物の生体検知結果を判定するようにしてもよい。該実現形態では、目標対象物が偽物である確率は第二閾値より大きい場合、目標対象物の生体検知結果につき目標対象物が偽物であると判定し、目標対象物が偽物である確率は第二閾値以下の場合、目標対象物の生体検知結果は生体であると判定する。
【０１０６】
本開示の実施例は目標対象物の深度情報と目標画像を組み合わせて生体検知を行うことによって、目標対象物の深度情報および目標画像における目標対象物のキーポイント情報を利用して生体検知を行うことができ、それにより生体検知の正確性を向上させることができ、かつ計算の複雑度が低く、カメラが軽く揺動または振動する場合にも正確な生体検知結果を得ることができる。
【０１０７】
顔認識技術の発展に伴い、顔認識の正確度は指紋を超えることが可能になっているため、様々なシーン、例えば、ビデオ監視、フェイスアンロック、顔パスペイメントなどの用途に活用されている。しかし、顔認識にはｈａｃｋ（攻撃）されやすい脆弱性が存在し、顔認識の応用には生体検知が不可欠な一環である。
【０１０８】
単眼生体検知は一般的なカメラにより収集される画像を入力として用いるため、ブレのない高解像度ｈａｃｋ画像が通過しやすいという欠陥がある。双眼生体検知技術は二つのカメラ（一般的なＲＧＢカメラまたは一般的な近赤外カメラ）を入力として用いることによって、性能が単眼生体検知よりも優れる。しかし、双眼マッチングによって顔の深度分布情報を計算する際、計算量が大きく、深度情報の精度が低いという欠陥が存在し、かつカメラは揺動、振動などの場合にカメラのパラメータ変化による計算無効が発生しやすい。近年、飛行時間(Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ、ＴＯＦ)センサー、構造光センサー、双眼センサーなどを含む三次元(３Ｄ、３Ｄｉｍｅｎｓｉｏｎｓ)センサー技術のめざましい発展によって、ユーザはセンサー(Ｓｅｎｓｏｒ)から高精度の深度情報を容易に直接取得することができる。本開示の実施例では３Ｄデータおよび近赤外データまたはＲＧＢカラーモードのデータを入力として、近赤外画像またはＲＧＢ画像を利用して顔キーポイント情報を求め、そして顔３Ｄ深度画像、近赤外画像またはＲＧＢ画像、顔キーポイント情報、目頭特徴、瞳孔特徴などのうちの一つまたは複数を融合し、深度学習モデルを利用して真の顔とｈａｃｋをより効率的に区別することができる。
【０１０９】
図４Ａは本開示の実施例に係る顔に応用する生体検知装置の概略ブロック図を示す。図４Ａに示すように、該生体検知装置は入力モジュール４１、データ前処理モジュール４２、ディープニューラルネットワークモジュール４３および検出結果出力モジュール４４を含む。
【０１１０】
入力モジュール４１は、異なるハードウェアモジュールのデータ入力に適し、入力モジュールのデータ入力形式は、深度画像、純粋な近赤外画像、スペックル付きの近赤外画像、ＲＧＢ画像などのうちの一種または複数種を含む。具体的な組み合わせ形式はハードウェアソリューションによって決定する。
【０１１１】
データ前処理モジュール４２は、入力モジュールにより入力されるデータを前処理し、ディープニューラルネットワークに必要なデータを得るために用いられる。図４Ｂは本開示の実施例に係る図４Ａにおけるデータ前処理モジュール４２の一つの実現形態の例示的なブロック図を示し、そのうち、データ前処理モジュールの入力は、深度センサーにより取得される深度画像および画像センサーにより取得される画像（純粋な近赤外画像、スペックル付きの赤外画像、ＲＧＢ画像など）を含み、図４Ｂに示す例では深度画像４２１および近赤外画像４２２をデータ前処理モジュール４２の入力とする。いくつかの可能な実現形態では、データ前処理モジュールにより入力データを処理するプロセスは、画像整列補正４２３および顔キーポイント検出４２４というプロセスであり、このうち、顔キーポイント検出は顔キーポイントモデルによって実現できる。
【０１１２】
画像整列補正４２３では、深度画像と近赤外画像（またはＲＧＢ画像）が同期整列していない場合、カメラのパラメータ行列に基づいて入力される深度画像と近赤外画像を整列／補正する必要があり、それによって画像の整列を実現する。
【０１１３】
顔キーポイント検出４２４では、近赤外画像（またはＲＧＢ画像）を顔キーポイントモデルに入力して顔キーポイント検出を行い、顔キーポイント情報４２５を得る。
【０１１４】
データ前処理モジュールの出力につき、出力形式が入力に対応し、整列補正された顔深度画像（入力される深度画像４２１に対応する）、顔近赤外画像（入力される近赤外画像４２２に対応する）および顔キーポイント情報を含む。いくつかの実施例では、ディープニューラルネットワークモジュール４３はバイナリ分類モデルであり、例えば、真の顔に対して、分類のラベル(ｌａｂｅｌ)が０となり、ｈａｃｋの顔に対して、分類のｌａｂｅｌが１となる。さらに、例えば、真の顔に対して、分類のラベル(ｌａｂｅｌ)が１となり、ｈａｃｋの顔に対して、分類のｌａｂｅｌが０となるなどである。図４Ｃは本開示の実施例に係る図４Ａにおけるディープニューラルネットワークモジュールの一例のブロック図を示し、図４Ｃに示すように、ディープニューラルネットワークモジュールの入力は、データ前処理モジュールを経由して得られる顔深度画像４３１、顔近赤外画像４３２（または他の形式の二次元顔画像）および顔キーポイント情報４３３を含む。いくつかの実施例では、ディープニューラルネットワークモジュールの出力は、判定スコア、即ち真人またはｈａｃｋであると判定する確率を含む。ディープニューラルネットワークの出力は一つのバイナリ値であり、出力スコアと所定の閾値を比較し、このうち、閾値の設定は正確率およびリコール率に基づいて調整してもよく、例えば、ニューラルネットワークの出力スコアは閾値より大きい場合、ｈａｃｋであると判定し、閾値より小さい場合、生体であると判定するなどである。
【０１１５】
図４Ｃに示す例では、ディープニューラルネットワークは多分岐モデルであり、分岐の数は入力画像の数に依存し、図４Ｃは顔深度画像および顔近赤外画像を例として、ディープニューラルネットワークは二つの分岐を含み、各分岐も複数の畳み込み層４３４、ダウンサンプリング層４３５および全結合層４３６を含み、ここで、顔深度画像４３１および顔キーポイント情報４３３を第一分岐に入力して特徴を抽出し、顔近赤外画像４３２および顔キーポイント情報４３３を第二分岐に入力して特徴を抽出し、最後に複数の分岐から抽出された特徴を一体に結合して全結合層４３７に入力し、最終的にＳｏｆｔｍａｘ層４３８の処理によって出力結果を得て、出力層のニューロン数は２とし、それぞれ真人およびｈａｃｋである確率を代表する。図４Ｃの二つの分岐の入力も顔キーポイント情報を含むが、全結合層４３７はまさに顔キーポイント情報を利用して二つの分岐の全結合層４３６から出力される特徴情報を融合し、仮に第一分岐において全結合層４３６から第一特徴情報が出力され、第二分岐において全結合層４３６から第二特徴情報が出力されると、全結合層４３７は顔キーポイント情報を利用して全結合演算によって第一特徴情報と第二特徴情報を一体に融合するということを説明すべきである。換言すれば、本開示の実施例では、顔キーポイント情報を利用し、顔深度画像と顔近赤外画像を融合し、それにより最終的な出力結果を得る。
【０１１６】
検出結果出力モジュール４４の出力方式は複数ある。一例では、真の顔に対して、出力される結果が０と標識され、ｈａｃｋの顔に対して、出力される結果が１と標識されるが、本開示の実施例はこれを限定しない。
【０１１７】
本開示の実施例が提供する技術手段は、以下の少なくとも一つの特徴を有する。
【０１１８】
１）いくつかの実施例では、深度情報を有する３Ｄセンサーおよび他の補助画像、例えば近赤外画像、ＲＧＢ画像などを結合する。即ち複数の新しい３Ｄデータを、顔深度データ分配の基礎として利用する。一方、提供されるフレームは、ＴＯＦカメラにより提供される３Ｄ深度画像＋近赤外画像、構造光カメラにより提供される３Ｄ深度画像＋スペックル付きの近赤外画像、３Ｄ深度画像＋ＲＧＢ画像、３Ｄ深度画像＋近赤外画像＋ＲＧＢ画像、および３Ｄ深度画像および近赤外画像またはＲＧＢ画像を含む他の形式など、様々な３Ｄセンサーの入力形式に適する。関連技術では、一般的なカメラおよび双眼を主とし、顔データの深度情報を十分に掘り出さず、ブレのない高解像度ｈａｃｋにより攻撃されやすいという欠陥があるが、本開示の実施例は３Ｄセンサーにより収集される顔深度画像を利用して平面上のｈａｃｋ攻撃を防止することができる。
【０１１９】
２）いくつかの実施例では、３Ｄ深度情報、他の近赤外データまたはＲＧＢデータ、顔キーポイント情報および目頭や瞳孔特徴を融合し、深度学習モデルによる訓練によって真人とｈａｃｋを区別する。関連する検出方法では、単一のデータを主とし、マルチモーダルデータ同士の関連性および相補性を利用しない。つまり、一般的な双眼による深度算出方法には、計算の複雑度が高く、精度が低いという欠陥があるが、本開示の実施例は現在の３Ｄセンシング技術を効果的に利用してより正確な３Ｄ顔データ分配を実現することができる。
【０１２０】
３）いくつかの実施例では、多分岐モデルを融合し、多分岐モデルはマルチモーダルのデータを十分に融でき、かつ複数のデータタイプとの互換性を有し、ニューラルネットワークによって真の顔情報特徴を学習できる。本開示の実施例は顔深度情報、近赤外顔情報またはＲＧＢ画像顔情報、顔キーポイント情報および目頭、目、瞳孔などの多次元バイオメトリック融合技術を融合し、単一の技術が指向的にｈａｃｋされやすいという欠陥を補う。
【０１２１】
図９は本開示の実施例に係る生体検知装置のブロック図を示す。図９に示すように、該装置は、第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得するように構成される取得モジュール９１と、目標画像に対してキーポイント検出を行い、目標対象物のキーポイント情報を得るように構成される検出モジュール９２と、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、目標対象物の生体検知結果を得るように構成される判定モジュール９３と、を含む。いくつかの実施例では、目標対象物が顔である。いくつかの実施例では、第二センサーがＲＧＢセンサーまたは近赤外センサーである。
【０１２２】
図１０は本開示の実施例に係る生体検知装置の例示的なブロック図を示す。図１０に示すように、いくつかの実施例では、該装置は、第一センサーのパラメータおよび第二センサーのパラメータに基づいて、目標対象物の深度情報および目標画像を整列させるように構成される整列モジュール９４をさらに含む。
【０１２３】
いくつかの実施例では、判定モジュール９３は、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、第一特徴情報を得るように構成される第一判定サブモジュール９３１と、目標対象物のキーポイント情報に基づいて、第二特徴情報を得るように構成される第二判定サブモジュール９３２と、第一特徴情報および第二特徴情報に基づいて、目標対象物の生体検知結果を判定するように構成される第三判定サブモジュール９３３と、を含む。
【０１２４】
いくつかの実施例では、第一判定サブモジュール９３１は、目標対象物の深度情報および目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得るように構成され、第二判定サブモジュール９３２は、目標画像および目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得るように構成される。いくつかの実施例では、第一ニューラルネットワークおよび第二ニューラルネットワークは同一のネットワーク構造を有する。
【０１２５】
いくつかの実施例では、第一判定サブモジュール９３１は、目標対象物の深度情報および目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得るように構成される第一畳み込みユニットと、第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得るように構成される第一ダウンサンプリングユニットと、第一ダウンサンプリング結果に基づいて、第一特徴情報を得るように構成される第一判定ユニットと、を含む。
【０１２６】
いくつかの実施例では、第二判定サブモジュール９３２は、目標画像および目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得るように構成される第二畳み込みユニットと、第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得るように構成される第二ダウンサンプリングユニットと、第二ダウンサンプリング結果に基づいて、第二特徴情報を得るように構成される第二判定ユニットと、を含む。
【０１２７】
いくつかの実施例では、第三判定サブモジュール９３３は、第一特徴情報と第二特徴情報を融合処理（例えば、全結合演算）し、第三特徴情報を得るように構成される全結合ユニットと、第三特徴情報に基づいて、目標対象物の生体検知結果を判定するように構成される第三判定ユニットと、を含む。
【０１２８】
いくつかの実施例では、第三判定ユニットは、第三特徴情報に基づいて、目標対象物が生体である確率を得るように構成される第一判定サブユニットと、目標対象物が生体である確率に基づいて、目標対象物の生体検知結果を判定するように構成される第二判定サブユニットと、を含む。本開示の実施例では目標対象物の深度情報と目標画像を組み合わせて生体検知を行うことによって、目標対象物の深度情報および目標画像における目標対象物のキーポイント情報を利用して生体検知を行うことができ、それにより生体検知の正確性を向上させ、偽物画像の攻撃を防止することができる。
【０１２９】
図１１は例示的な実施例により示される生体検知装置８００のブロック図である。例えば、装置８００は携帯電話、コンピュータ、ディジタル放送端末、メッセージ送受信設備、ゲームコンソール、タブレットデバイス、医療機器、フィットネス装置、パーソナルディジタルアシスタントなどであってもよい。図１１を参照すると、装置８００は、処理アセンブリ８０２、メモリ８０４、電源アセンブリ８０６、マルチメディアアセンブリ８０８、オーディオアセンブリ８１０、入力／出力(Ｉ／Ｏ)インタフェース８１２、センサーアセンブリ８１４および通信アセンブリ８１６のうちの一つまたは複数のアセンブリを含んでもよい。
【０１３０】
処理アセンブリ８０２は通常、装置８００全体の動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理アセンブリ８０２は一つまたは複数のプロセッサ８２０を含んで命令を実行し、上記方法の全てまたは一部のステップを達成させるようにしてもよい。また、処理アセンブリ８０２は一つまたは複数のモジュールを含み、それによって処理アセンブリ８０２と他のアセンブリの間のインタラクティブを容易にするようにしてもよい。例えば、処理アセンブリ８０２はマルチメディアモジュールを含み、それによってマルチメディアアセンブリ８０８と処理アセンブリ８０２の間のインタラクティブを容易にするようにしてもよい。
【０１３１】
メモリ８０４は様々なタイプのデータを記憶して装置８００での動作をサポートするように構成される。これらのデータの例は装置８００で動作するための任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせ、例えばスタティックランダムアクセスメモリ(ＳＲＡＭ)、電気的消去可能プログラマブル読み取り専用メモリ(ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ(ＥＰＲＯＭ)、プログラマブル読み取り専用メモリ(ＰＲＯＭ)、読み出し専用メモリ(ＲＯＭ)、磁気記憶装置、フラッシュメモリ、磁気ディスクまたは光ディスクによって実現できる。電源アセンブリ８０６は装置８００の様々なアセンブリへ電力を供給する。電源アセンブリ８０６は電源管理システム、一つまたは複数の電源、および装置８００の電力発生、管理および分配に関する他のアセンブリを含んでもよい。
【０１３２】
マルチメディアアセンブリ８０８は前記装置８００とユーザの間に一つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ(ＬＣＤ)およびタッチパネル(ＴＰ)を含んでもよい。スクリーンはタッチパネルを含む場合、スクリーンはタッチスクリーンとして実現され、ユーザからの入力信号を受信する。タッチパネルは一つまたは複数のタッチセンサーを含んでタッチ、スライドおよびタッチパネル上の手振りを検知する。前記タッチセンサーはタッチまたはスライド動作の境界を検知するだけでなく、前記タッチまたはスライド動作に関する持続時間および圧力をも検出するようにしてもよい。いくつかの実施例では、マルチメディアアセンブリ８０８は一つのフロントカメラおよび／またはリアカメラを含む。装置８００は動作モード、例えば撮影モードまたはビデオモードである時、フロントカメラおよび／またはリアカメラは外部のマルチメディアデータを受信できる。各フロントカメラおよびリアカメラは一つの固定した光学レンズシステムであってもよく、または焦点距離と光学ズーム能力を有してもよい。オーディオアセンブリ８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオアセンブリ８１０は一つのマイクロフォン(ＭＩＣ)を含み、装置８００は動作モード、例えば呼び出しモード、記録モードおよび音声識別モードである時、マイクロフォンは外部オーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶するかまたは通信アセンブリ８１６を経由して送信するようにしてもよい。いくつかの実施例では、オーディオアセンブリ８１０はさらに、オーディオ信号を出力するための一つのスピーカーを含む。Ｉ／Ｏインタフェース８１２は処理アセンブリ８０２と周辺インタフェースモジュールの間にインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、ボリュームボタン、始動ボタンおよびロックボタンを含んでもよいがこれらに限定されない。
【０１３３】
センサーアセンブリ８１４は一つまたは複数のセンサーを含み、装置８００に対して様々な態様の状態評価を提供するために用いられる。例えば、センサーアセンブリ８１４は装置８００のオン／オフ状態、アセンブリの相対位置決めを検出でき、例えば前記アセンブリは装置８００のディスプレイおよびキーパッドであり、センサーアセンブリ８１４はさらに装置８００または装置８００の一つのアセンブリの位置変化、ユーザと装置８００の接触が存在しているか否か、装置８００の方位または加速／減速および装置８００の温度変化を検出できる。センサーアセンブリ８１４は、いかなる物理的接触もない時に近所物体の存在を検出するために用いられるように構成される近接センサーを含んでもよい。センサーアセンブリ８１４はさらに、画像形成アプリケーションに使用するための光センサー、例えばＣＭＯＳまたはＣＣＤ画像センサーを含んでもよい。いくつかの実施例では、該センサーアセンブリ８１４はさらに加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサーまたは温度センサーを含んでもよい。
【０１３４】
通信アセンブリ８１６は装置８００と他の設備の間の有線または無線方式の通信を容易にするように構成される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一つの例示的な実施例では、通信アセンブリ８１６は放送チャンネルを経由して外部放送管理システムからの放送信号または放送関連情報を受信する。一つの例示的な実施例では、前記通信アセンブリ８１６はさらに、短距離通信を促進する近接場通信(ＮＦＣ)モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別(ＲＦＩＤ)技術、赤外線通信協会(ＩｒＤＡ)技術、超広帯域(ＵＷＢ)技術、ブルートゥース(ＢＴ)技術および他の技術に基づいて実現してもよい。
【０１３５】
例示的な実施例では、装置８００は一つまたは複数の特定用途向け集積回路(ＡＳＩＣ)、ディジタル信号プロセッサ(ＤＳＰ)、ディジタル信号処理装置(ＤＳＰＤ)、プログラム可能論理デバイス(ＰＬＤ)、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子部品によって実現され、上記方法を実行するために用いられるようにしてもよい。例示的な実施例では、さらに不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０により実行されて上記方法を達成するようにしてもよい。
【０１３６】
本開示の実施例はシステム、方法および／またはコンピュータプログラムプロダクトであってもよい。コンピュータプログラムプロダクトは、プロセッサが本開示の各態様を実現するためのコンピュータ可読プログラム命令がロードされるコンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体は命令実行設備により使用される命令を保持及び記憶可能な有形設備であってもよい。コンピュータ可読記憶媒体は例えば電気記憶装置、磁気記憶装置、光学的記憶装置、電磁記憶装置、半導体記憶装置または上記任意の適切な組み合わせであってもよいがこれらに限定されない。コンピュータ可読記憶媒体のより具体的な例は（非包括的リスト）、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(ＲＡＭ)、読み出し専用メモリ(ＲＯＭ)、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ(ＳＲＡＭ)、携帯式コンパクトディスク読み出し専用メモリ(ＣＤ−ＲＯＭ)、ディジタル多機能(ＤＶＤ)、メモリースティック、フロッピーディスク、機械的符号化装置、例えば命令を記憶しているせん孔カードまたは溝内突起構造、および上記任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波管または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号として解釈されない。
【０１３７】
ここで記述されたコンピュータ可読プログラム命令はコンピュータ可読記憶媒体から各コンピュータ／処理設備にダウンロードでき、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを経由して外部コンピュータまたは外部記憶装置にダウンロードできる。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバーを含んでもよい。各コンピュータ／処理設備におけるネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、かつ該コンピュータ可読プログラム命令を転送し、各コンピュータ／処理設備におけるコンピュータ可読記憶媒体に記憶する。
【０１３８】
本開示の実施例に係る動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ(ＩＳＡ)命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または一種または複数種のプログラミング言語の任意の組み合わせによって作成されるソースコードまたはオブジェクトコードであってもよく、前記プログラミング言語は対象向けのプログラミング言語例えばＳｍａｌｌｔａｌｋ、Ｃ＋＋など、および一般的な手続的プログラミング言語例えば“Ｃ”言語または類似するプログラミング言語を含む。コンピュータ可読プログラム命令は完全にユーザコンピュータで実行され、部分的にユーザコンピュータで実行され、一つの独立したソフトウェアパッケージとして実行され、一部がユーザコンピュータで実行され一部がリモートコンピュータで実行され、あるいは完全にリモートコンピュータまたはサーバで実行されるようにしてもよい。リモートコンピュータに関する場合、リモートコンピュータはローカルエリアネットワーク(ＬＡＮ)または広域ネットワーク(ＷＡＮ)を含む任意の種類のネットワークを経由してユーザコンピュータ、または、外部コンピュータにアクセスしてもよい（例えば、インターネットサービスプロバイダーを利用してインターネットを経由してアクセスする）。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して電子回路、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)またはプログラマブル論理アレイ(ＰＬＡ)をカストマイズすることによって、該電子回路はコンピュータ可読プログラム命令を実行し、それにより本開示の実施例の各態様を実現することができる。
【０１３９】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラムプロダクトのフローチャートおよび／またはブロック図を参照して本開示の実施例の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できることを理解すべきである。
【０１４０】
これらのコンピュータ可読プログラム命令は汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供し、それによりマシンを生産させ、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される時、フローチャートおよび／またはブロック図における一つまたは複数のブロックに規定される機能／動作を実現する装置を生成させるようにしてもよい。また、これらのコンピュータ可読プログラム命令はコンピュータ可読記憶媒体に記憶し、これらの命令がコンピュータ、プログラマブルデータ処理装置および／または他の設備を特定の方式で作動させ、それにより命令が記憶されているコンピュータ可読媒体が、フローチャートおよび／またはブロック図における一つまたは複数のブロックに規定される機能／動作の各態様を実現する命令を含む一つの製造品を含むようにしてもよい。
【０１４１】
コンピュータ可読プログラム命令はコンピュータ、他のプログラマブルデータ処理装置、または他の設備にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の設備で一連の動作ステップを実行させ、コンピュータによる実現プロセスを生成させ、それによりコンピュータ、他のプログラマブルデータ処理装置、または他の設備で実行される命令がフローチャートおよび／またはブロック図における一つまたは複数のブロックに規定される機能／動作を実現するようにしてもよい。
【０１４２】
図面におけるフローチャートおよびブロック図は本開示の実施例に係る複数の実施例のシステム、方法、コンピュータプログラムプロダクトの実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は一つまたは複数の規定される論理機能を実現するための実行可能な命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で発生してもよい。例えば、二つの連続的なブロックは実際には基本的に同時に実行してもよく、それらは場合によって逆な順序で実行してもよく、これは係る機能に依存する。ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、規定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよく、または専用ハードウェアとコンピュータ命令の組み合わせによって実現してもよいことに注意すべきである。
【０１４３】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されない。当業者にとって、説明される各実施例の範囲および精神から逸脱することなく、多くの修正および変更が自明である。本明細書に用いられた専門用語の選択につき、各実施例の原理、実際の応用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露される各実施例を理解させることを目指す。
【図１】
0006852150.tif 000002
【図２】
0006852150.tif 000003
【図３】
0006852150.tif 000004
【図４Ａ】
0006852150.tif 000005
【図４Ｂ】
0006852150.tif 000006
【図４Ｃ】
0006852150.tif 000007
【図５】
0006852150.tif 000008
【図６】
0006852150.tif 000009
【図７】
0006852150.tif 000010
【図８】
0006852150.tif 000011
【図９】
0006852150.tif 000012
【図１０】
0006852150.tif 000013
【図１１】
0006852150.tif 000014