(57)【要約】本願は、生体検出方法、装置及びシステム、電子機器並びに記憶媒体に関する。前記方法は、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得することと、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることと、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することと、を含む。本願は生体検出の正確性を高めることができる。
2021503659.tif 000002
【特許請求の範囲】
【請求項１】
深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得することと、
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることと、
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することと、を含むことを特徴とする生体検出方法。
【請求項２】
前記深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサであることを特徴とする請求項１に記載の方法。
【請求項３】
前記画像センサはＲＧＢセンサ又は近赤外線センサであることを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、
前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することと、
前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることと、を含むことを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることは、
前記目標対象の対応領域の少なくとも１つの失効位置が前記目標対象の対応領域中で占める割合に基づいて、前記第１の深度マップの品質検出結果を得ることを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることは、
前記目標対象の対応領域の少なくとも１つの失効位置及び前記少なくとも１つの失効位置に対応する重みに基づいて、前記第１の深度マップの品質検出結果を得ることを含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することは、
前記目標対象の対応領域中の深度値がゼロとなる位置を前記失効位置として決定することを含むことを特徴とする請求項４〜６のいずれか一項に記載の方法。
【請求項８】
前記第１の目標画像に対してキーポイント検出を行い、前記目標対象のキーポイント情報を得ることと、
前記目標対象のキーポイント情報に基づいて、前記第１の深度マップから前記目標対象の対応領域を決定することを更に含むことを特徴とする請求項４〜７のいずれか一項に記載の方法。
【請求項９】
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、
前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得ることと、
第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることと、を含むことを特徴とする請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記の第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることは、
前記第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、前記第１の深度マップの品質検出結果を品質合格と決定すること、及び／又は
前記第１の深度マップに対応する品質信頼度が前記第１の閾値以下であることに応答して、前記第１の深度マップの品質検出結果を品質不合格と決定することを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることの前に、
前記深度センサのパラメータと前記画像センサのパラメータにより、前記第１の深度マップと前記第１の目標画像をアライメントすることを更に含むことを特徴とする請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、
前記第１の深度マップの品質検出結果が品質合格であることに応答して、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることは、
前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることは、
前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、
前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、
前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することと、を含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、
前記第１の深度マップ及び前記目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得ることを含み、
前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、
前記第１の目標画像及び前記目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、
前記第１の深度マップ及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、
前記第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、
前記第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることと、を含むことを特徴とする請求項１４又は１５に記載の方法。
【請求項１７】
前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、
前記第１の目標画像及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、
前記第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、
前記第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることと、を含むことを特徴とする請求項１４〜１６のいずれか一項に記載の方法。
【請求項１８】
前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することは、
前記第１の特徴情報及び前記第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、
前記第３の特徴情報により、前記目標対象の生体検出結果を決定することと、を含むことを特徴とする請求項１４〜１７のいずれか一項に記載の方法。
【請求項１９】
前記第３の特徴情報により、生体検出結果を決定することは、
前記第３の特徴情報に基づいて、前記目標対象が生体である確率を得ることと、
前記目標対象が生体である確率により、前記目標対象の生体検出結果を決定することと、を含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、
前記第１の深度マップの品質検出結果が品質不合格であることに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１〜１９のいずれか一項に記載の方法。
【請求項２１】
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、
前記第１の深度マップの品質検出結果が品質不合格であり且つ前記第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、前記目標対象の生体検出結果が非生体であると決定し、又は前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１〜２０のいずれか一項に記載の方法。
【請求項２２】
深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得するための取得モジュールと、
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得るための品質検出モジュールと、
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定するための第１の決定モジュールと、を含むことを特徴とする生体検出装置。
【請求項２３】
前記深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサであることを特徴とする請求項２２に記載の装置。
【請求項２４】
前記画像センサはＲＧＢセンサ又は近赤外線センサであることを特徴とする請求項２２又は２３に記載の装置。
【請求項２５】
前記品質検出モジュールは、
前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定するための第１の決定サブモジュールと、
前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得るための第２の決定サブモジュールと、を含むことを特徴とする請求項２２〜２４のいずれか一項に記載の装置。
【請求項２６】
前記第２の決定サブモジュールは、
前記目標対象の対応領域の少なくとも１つの失効位置が前記目標対象の対応領域中で占める割合に基づいて、前記第１の深度マップの品質検出結果を得るために用いられることを特徴とする請求項２５に記載の装置。
【請求項２７】
前記第２の決定サブモジュールは、
前記目標対象の対応領域の少なくとも１つの失効位置及び前記少なくとも１つの失効位置に対応する重みに基づいて、前記第１の深度マップの品質検出結果を得るために用いられることを特徴とする請求項２５に記載の装置。
【請求項２８】
前記第１の決定サブモジュールは、
前記目標対象の対応領域中の深度値がゼロとなる位置を前記失効位置として決定するために用いられることを特徴とする請求項２５〜２７のいずれか一項に記載の装置。
【請求項２９】
前記第１の目標画像に対してキーポイント検出を行い、前記目標対象のキーポイント情報を得るためのキーポイント検出モジュールと、
前記目標対象のキーポイント情報に基づいて、前記第１の深度マップから前記目標対象の対応領域を決定するための第２の決定モジュールと、を更に含むことを特徴とする請求項２５〜２８のいずれか一項に記載の装置。
【請求項３０】
前記品質検出モジュールは、
前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得るための処理サブモジュールと、
第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得るための第３の決定サブモジュールと、を含むことを特徴とする請求項２２〜２９のいずれか一項に記載の装置。
【請求項３１】
前記第３の決定サブモジュールは、
前記第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、前記第１の深度マップの品質検出結果を品質合格と決定すること、及び／又は
前記第１の深度マップに対応する品質信頼度が前記第１の閾値以下であることに応答して、前記第１の深度マップの品質検出結果を品質不合格と決定するために用いられることを特徴とする請求項３０に記載の装置。
【請求項３２】
前記深度センサのパラメータと前記画像センサのパラメータにより、前記第１の深度マップと前記第１の目標画像をアライメントするためのアライメントモジュールを更に含むことを特徴とする請求項２２〜３１のいずれか一項に記載の装置。
【請求項３３】
前記第１の決定モジュールは、
前記第１の深度マップの品質検出結果が品質合格であることに応答して、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得るために用いられることを特徴とする請求項２２〜３２のいずれか一項に記載の装置。
【請求項３４】
前記第１の決定モジュールは、
前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得るために用いられることを特徴とする請求項３３に記載の装置。
【請求項３５】
前記第１の決定モジュールは、
前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得るための第４の決定サブモジュールと、
前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得るための第５の決定サブモジュールと、
前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定するための第６の決定サブモジュールと、を含むことを特徴とする請求項３４に記載の装置。
【請求項３６】
前記第４の決定サブモジュールは、
前記第１の深度マップ及び前記目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得るために用いられ、
前記第５の決定サブモジュールは、
前記第１の目標画像及び前記目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得るために用いられることを特徴とする請求項３５に記載の装置。
【請求項３７】
前記第４の決定サブモジュールは、
前記第１の深度マップ及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、
前記第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、
前記第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることとに用いられることを特徴とする請求項３５又は３６に記載の装置。
【請求項３８】
前記第５の決定サブモジュールは、
前記第１の目標画像及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、
前記第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、
前記第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることとに用いられることを特徴とする請求項３５〜３７のいずれか一項に記載の装置。
【請求項３９】
前記第６の決定サブモジュールは、
前記第１の特徴情報及び前記第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、
前記第３の特徴情報により、前記目標対象の生体検出結果を決定することとに用いられることを特徴とする請求項３５〜３８のいずれか一項に記載の装置。
【請求項４０】
前記第６の決定サブモジュールは、
前記第３の特徴情報に基づいて、前記目標対象が生体である確率を得ることと、
前記目標対象が生体である確率により、前記目標対象の生体検出結果を決定することとに用いられることを特徴とする請求項３９に記載の装置。
【請求項４１】
前記第１の決定モジュールは、
前記第１の深度マップの品質検出結果が品質不合格であることに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得るために用いられることを特徴とする請求項２２〜４０のいずれか一項に記載の装置。
【請求項４２】
前記第１の決定モジュールは、
前記第１の深度マップの品質検出結果が品質不合格であり且つ前記第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、前記目標対象の生体検出結果が非生体であると決定し、又は前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得るために用いられることを特徴とする請求項２２〜４１のいずれか一項に記載の装置。
【請求項４３】
プロセッサと、
プロセッサ実行可能コマンドを記憶するためのメモリとを含み、
前記プロセッサは前記メモリに記憶された前記コマンドを呼び出して、請求項１〜２１のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項４４】
コンピュータプログラムコマンドが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１〜２１のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【請求項４５】
請求項４３に記載の電子機器、前記深度センサ及び前記画像センサを含むことを特徴とする生体検出システム。
【請求項４６】
請求項４４に記載のコンピュータ可読記憶媒体、前記深度センサ及び前記画像センサを含むことを特徴とする生体検出システム。
【請求項４７】
目標対象の第１の深度マップを検出するための深度センサと、
前記目標対象を含む第１の目標画像を収集するための画像センサと、
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定するためのプロセッサと、を含むことを特徴とする電子機器。
【請求項４８】
前記深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサであることを特徴とする請求項４７に記載の電子機器。
【請求項４９】
前記画像センサはＲＧＢセンサ又は近赤外線センサであることを特徴とする請求項４７又は４８に記載の電子機器。
【請求項５０】
前記プロセッサは、
前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することと、
前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることとに用いられることを特徴とする請求項４７〜４９のいずれか一項に記載の電子機器。
【請求項５１】
前記プロセッサは、
前記目標対象の対応領域の少なくとも１つの失効位置が前記目標対象の対応領域中で占める割合に基づいて、前記第１の深度マップの品質検出結果を得るために用いられることを特徴とする請求項５０に記載の電子機器。
【請求項５２】
前記プロセッサは、
前記目標対象の対応領域の少なくとも１つの失効位置及び前記少なくとも１つの失効位置に対応する重みに基づいて、前記第１の深度マップの品質検出結果を得るために用いられることを特徴とする請求項５０に記載の電子機器。
【請求項５３】
前記プロセッサは、
前記目標対象の対応領域中の深度値がゼロとなる位置を前記失効位置として決定するために用いられることを特徴とする請求項５０〜５２のいずれか一項に記載の電子機器。
【請求項５４】
前記プロセッサは、更に、
前記第１の目標画像に対してキーポイント検出を行い、前記目標対象のキーポイント情報を得ることと、
前記目標対象のキーポイント情報に基づいて、前記第１の深度マップから前記目標対象の対応領域を決定することとに用いられることを特徴とする請求項５０〜５３のいずれか一項に記載の電子機器。
【請求項５５】
前記プロセッサは、
前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得ることと、
第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることとに用いられることを特徴とする請求項４７〜５４のいずれか一項に記載の電子機器。
【請求項５６】
前記プロセッサは、
前記第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、前記第１の深度マップの品質検出結果を品質合格と決定すること、及び／又は
前記第１の深度マップに対応する品質信頼度が前記第１の閾値以下であることに応答して、前記第１の深度マップの品質検出結果を品質不合格と決定するために用いられることを特徴とする請求項５５に記載の電子機器。
【請求項５７】
前記プロセッサは、更に、
前記深度センサのパラメータと前記画像センサのパラメータにより、前記第１の深度マップと前記第１の目標画像をアライメントするために用いられることを特徴とする請求項４７〜５６のいずれか一項に記載の電子機器。
【請求項５８】
前記プロセッサは、
前記第１の深度マップの品質検出結果が品質合格であることに応答して、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得るために用いられることを特徴とする請求項４７〜５７のいずれか一項に記載の電子機器。
【請求項５９】
前記プロセッサは、
前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得るために用いられることを特徴とする請求項５８に記載の電子機器。
【請求項６０】
前記プロセッサは、
前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、
前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、
前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することとに用いられることを特徴とする請求項５９に記載の電子機器。
【請求項６１】
前記プロセッサは、
前記第１の深度マップ及び前記目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得るために用いられ、
前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、
前記第１の目標画像及び前記目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含むことを特徴とする請求項６０に記載の電子機器。
【請求項６２】
前記プロセッサは、
前記第１の深度マップ及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、
前記第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、
前記第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることとに用いられることを特徴とする請求項６０又は６１に記載の電子機器。
【請求項６３】
前記プロセッサは、
前記第１の目標画像及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、
前記第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、
前記第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることとに用いられることを特徴とする請求項６０〜６２のいずれか一項に記載の電子機器。
【請求項６４】
前記プロセッサは、
前記第１の特徴情報及び前記第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、
前記第３の特徴情報により、前記目標対象の生体検出結果を決定することとに用いられることを特徴とする請求項６０〜６３のいずれか一項に記載の電子機器。
【請求項６５】
前記プロセッサは、
前記第３の特徴情報に基づいて、前記目標対象が生体である確率を得ることと、
前記目標対象が生体である確率により、前記目標対象の生体検出結果を決定することとに用いられることを特徴とする請求項６４に記載の電子機器。
【請求項６６】
前記プロセッサは、
前記第１の深度マップの品質検出結果が品質不合格であることに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得るために用いられることを特徴とする請求項４７〜６５のいずれか一項に記載の電子機器。
【請求項６７】
前記プロセッサは、
前記第１の深度マップの品質検出結果が品質不合格であり且つ前記第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、前記目標対象の生体検出結果が非生体であると決定し、又は前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得るために用いられることを特徴とする請求項４７〜６６のいずれか一項に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１８年７月２７日に中国特許局に提出された、出願番号２０１８１０８４６５８７．６、出願の名称「生体検出方法、装置及びシステム、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願は、コンピュータビジョン技術に関し、特に生体検出方法、装置及びシステム、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
現在、顔認識技術は、顔によるロック解除、顔による支払、無人スーパー及びビデオ監視などのシーンに広く用いられている。しかしながら、顔認識技術には、顔の実体写真、顔の電子写真又は顔が含まれるビデオなどの形式の非生体顔に攻撃されやすいリスクが存在する。従って、生体検出は顔認識における不可欠な一環である。
【発明の概要】
【０００４】
これに鑑みて、本願は生体検出技術手段を提供する。
【０００５】
本願の一態様によれば、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得することと、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることと、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することと、を含む生体検出方法を提供する。
【０００６】
可能な一実現形態では、前記深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサである。
【０００７】
可能な一実現形態では、前記画像センサはＲＧＢセンサ又は近赤外線センサである。
【０００８】
可能な一実現形態では、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することと、前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることと、を含む。
【０００９】
可能な一実現形態では、前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることは、前記目標対象の対応領域の少なくとも１つの失効位置が前記目標対象の対応領域中で占める割合に基づいて、前記第１の深度マップの品質検出結果を得ることを含む。
【００１０】
可能な一実現形態では、前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることは、前記目標対象の対応領域の少なくとも１つの失効位置及び前記少なくとも１つの失効位置に対応する重みに基づいて、前記第１の深度マップの品質検出結果を得ることを含む。
【００１１】
可能な一実現形態では、前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することは、前記目標対象の対応領域中の深度値がゼロとなる位置を前記失効位置として決定することを含む。
【００１２】
可能な一実現形態では、前記方法は、前記第１の目標画像に対してキーポイント検出を行い、前記目標対象のキーポイント情報を得ることと、前記目標対象のキーポイント情報に基づいて、前記第１の深度マップから前記目標対象の対応領域を決定することと、を更に含む。
【００１３】
可能な一実現形態では、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得ることと、第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることと、を含む。
【００１４】
可能な一実現形態では、前記の第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることは、前記第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、前記第１の深度マップの品質検出結果を品質合格と決定すること、及び／又は前記第１の深度マップに対応する品質信頼度が前記第１の閾値以下であることに応答して、前記第１の深度マップの品質検出結果を品質不合格と決定することを含む。
【００１５】
可能な一実現形態では、前記第１の目標画像に対してキーポイント検出を行うことの前に、前記方法は、前記深度センサのパラメータと前記画像センサのパラメータにより、前記第１の深度マップと前記第１の目標画像をアライメントすることを更に含む。
【００１６】
可能な一実現形態では、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、前記第１の深度マップの品質検出結果が品質合格であることに応答して、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることを含む。
【００１７】
可能な一実現形態では、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることは、前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることを含む。
【００１８】
可能な一実現形態では、前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることは、前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することと、を含む。
【００１９】
可能な一実現形態では、前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、前記第１の深度マップ及び前記目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得ることを含み、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、前記第１の目標画像及び前記目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含む。
【００２０】
可能な一実現形態では、前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、前記第１の深度マップ及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、前記第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、前記第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることと、を含む。
【００２１】
可能な一実現形態では、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、前記第１の目標画像及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、前記第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、前記第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることと、を含む。
【００２２】
可能な一実現形態では、前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することは、前記第１の特徴情報及び前記第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、前記第３の特徴情報により、前記目標対象の生体検出結果を決定することと、を含む。
【００２３】
可能な一実現形態では、前記第３の特徴情報により、生体検出結果を決定することは、前記第３の特徴情報に基づいて、前記目標対象が生体である確率を得ることと、前記目標対象が生体である確率により、前記目標対象の生体検出結果を決定することと、を含む。
【００２４】
可能な一実現形態では、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、前記第１の深度マップの品質検出結果が品質不合格であることに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含む。
【００２５】
可能な一実現形態では、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、前記第１の深度マップの品質検出結果が品質不合格であり且つ前記第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含む。
【００２６】
本願の一態様によれば、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得するための取得モジュールと、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得るための品質検出モジュールと、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定するための第１の決定モジュールと、を含む生体検出装置を提供する。
【００２７】
本願の一態様によれば、プロセッサと、プロセッサ実行可能コマンドを記憶するためのメモリと、を含み、前記プロセッサは上記生体検出方法を実行するように構成される電子機器を提供する。
【００２８】
本願の一態様によれば、コンピュータプログラムコマンドが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に上記生体検出方法を実現するコンピュータ可読記憶媒体を提供する。
【００２９】
本願の一態様によれば、前記電子機器、前記深度センサ及び前記画像センサを含む生体検出システムを提供する。
【００３０】
本願の一態様によれば、前記コンピュータ可読記憶媒体、前記深度センサ及び前記画像センサを含む生体検出システムを提供する。
【００３１】
本願の一態様によれば、目標対象の第１の深度マップを検出するための深度センサと、前記目標対象を含む第１の目標画像を収集するための画像センサと、前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得、前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定するためのプロセッサと、を含む電子機器を提供する。
【００３２】
可能な一実現形態では、前記深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサである。
【００３３】
可能な一実現形態では、前記画像センサはＲＧＢセンサ又は近赤外線センサである。
【００３４】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することと、前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることとに用いられる。
【００３５】
可能な一実現形態では、前記プロセッサは、前記目標対象の対応領域の少なくとも１つの失効位置が前記目標対象の対応領域中で占める割合に基づいて、前記第１の深度マップの品質検出結果を得るために用いられる。
【００３６】
可能な一実現形態では、前記プロセッサは、前記目標対象の対応領域の少なくとも１つの失効位置及び前記少なくとも１つの失効位置に対応する重みに基づいて、前記第１の深度マップの品質検出結果を得るために用いられる。
【００３７】
可能な一実現形態では、前記プロセッサは、前記目標対象の対応領域中の深度値がゼロとなる位置を前記失効位置として決定するために用いられる。
【００３８】
可能な一実現形態では、前記プロセッサは、更に、前記第１の目標画像に対してキーポイント検出を行い、前記目標対象のキーポイント情報を得ることと、前記目標対象のキーポイント情報に基づいて、前記第１の深度マップから前記目標対象の対応領域を決定することとに用いられる。
【００３９】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得ることと、第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることとに用いられる。
【００４０】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、前記第１の深度マップの品質検出結果を品質合格と決定すること、及び／又は前記第１の深度マップに対応する品質信頼度が前記第１の閾値以下であることに応答して、前記第１の深度マップの品質検出結果を品質不合格と決定するために用いられる。
【００４１】
可能な一実現形態では、前記プロセッサは、更に、前記深度センサのパラメータと前記画像センサのパラメータにより、前記第１の深度マップと前記第１の目標画像をアライメントするために用いられる。
【００４２】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップの品質検出結果が品質合格であることに応答して、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得るために用いられる。
【００４３】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得るために用いられる。
【００４４】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することとに用いられる。
【００４５】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップ及び前記目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得るために用いられ、前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、前記第１の目標画像及び前記目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含む。
【００４６】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップ及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、前記第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、前記第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることとに用いられる。
【００４７】
可能な一実現形態では、前記プロセッサは、前記第１の目標画像及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、前記第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、前記第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることとに用いられる。
【００４８】
可能な一実現形態では、前記プロセッサは、前記第１の特徴情報及び前記第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、前記第３の特徴情報により、前記目標対象の生体検出結果を決定することとに用いられる。
【００４９】
可能な一実現形態では、前記プロセッサは、前記第３の特徴情報に基づいて、前記目標対象が生体である確率を得ることと、前記目標対象が生体である確率により、前記目標対象の生体検出結果を決定することとに用いられる。
【００５０】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップの品質検出結果が品質不合格であることに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得るために用いられる。
【００５１】
可能な一実現形態では、前記プロセッサは、前記第１の深度マップの品質検出結果が品質不合格であり且つ前記第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、前記目標対象の生体検出結果が非生体であると決定し、又は前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得るために用いられる。
【００５２】
本願の生体検出方法は、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得し、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得、第１の深度マップの品質検出結果に基づいて第１の目標画像中の目標対象の生体検出結果を決定することにより、生体検出の正確性を高めることができる。
【００５３】
以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明確になる。
【図面の簡単な説明】
【００５４】
以下、明細書に含まれ且つ明細書の一部を構成する図面は明細書と共に本願の例示的な実施例、特徴及び態様を示し、更に本願の原理を解釈するために用いられる。
【図１】本願の実施例に係る生体検出方法のフローチャートを示す。
【図２】本願の実施例に係る生体検出方法中で第１の深度マップに対して品質検出を行う例示的なフローチャートを示す。
【図３】本願の実施例に係る生体検出方法中で第１の深度マップに対して品質検出を行う別の例示的なフローチャートを示す。
【図４】本願の実施例に係る生体検出方法中で第１の深度マップ及び第１の目標画像に基づいて目標対象の生体検出結果を得る例示的なフローチャートを示す。
【図５】本願の実施例に係る生体検出方法中で第１の深度マップ及び目標対象のキーポイント情報に基づいて第１の特徴情報を得る例示的なフローチャートを示す。
【図６】本願の実施例に係る生体検出方法中で目標対象のキーポイント情報に基づいて第２の特徴情報を得る例示的なフローチャートを示す。
【図７】本願の実施例に係る生体検出方法中で第１の特徴情報及び第２の特徴情報に基づいて目標対象の生体検出結果を決定する例示的なフローチャートを示す。
【図８】本願の実施例に係る生体検出方法中で第３の特徴情報により目標対象の生体検出結果を決定する例示的なフローチャートを示す。
【図９】本願の実施例に係る生体検出装置のブロック図を示す。
【図１０】本願の実施例に係る生体検出装置の例示的なブロック図を示す。
【図１１】本願の実施例に係る電子機器の例示的なブロック図を示す。
【図１２】本願の実施例に係る電子機器の別の例示的なブロック図を示す。
【発明を実施するための形態】
【００５５】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。
【００５６】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。
【００５７】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。
【００５８】
図１は本願の実施例に係る生体検出方法のフローチャートを示す。該方法は携帯電話、タブレット型コンピュータ、ディジタルカメラ又は出入管理装置などの顔認識機能を有する端末装置に用いることができる。該方法は、オンラインアカウント登録、出入管理システム、顔によるロック解除、顔による支払、運転支援、無人スーパー、ビデオ監視、ＡＴＭ（Ａｕｔｏｍａｔｉｃ  Ｔｅｌｌｅｒ  Ｍａｃｈｉｎｅ、現金自動預入支払機）、駅改札機、空港改札機又はインテリジェントビルなどに用いることができる。いくつかの可能な実現形態では、該生体検出方法はプロセッサによりメモリに記憶されたコンピュータ可読コマンドを呼び出すことで実現することができる。
【００５９】
図１に示すように、該方法はステップＳ１１〜ステップＳ１３を含む。
【００６０】
ステップＳ１１において、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得する。
【００６１】
本願の実施例では、目標画像は目標対象を含み、ここで、目標画像は静止画像又はビデオフレーム画像であってよく、例えば、目標画像はビデオシーケンスから選択された画像であってよく、様々な方式によりビデオシーケンスから画像を選択可能であり、具体的な一例において、目標画像はビデオシーケンスから選択された所定の品質条件を満たした画像であり、該所定の品質条件は、目標対象を含むか否か、目標対象が画像の中心領域に位置するか否か、目標対象が完全に画像に含まれるか否か、目標対象が画像中で占める割合、目標対象の状態又は姿勢、画像鮮鋭度、画像露光度などの一項又はそれらの任意の組合せを含んでよく、本願の実施例はこれについて制限を加えない。
【００６２】
目標対象は人物の顔、人体、動物又は他の生体対象の少なくとも一部であってよく、本願の実施例はこれについて制限を加えない。可能な一実現形態では、目標対象は人物の顔である。
【００６３】
第１の深度マップと第１の目標画像とが対応し、例えば、第１の深度マップと第１の目標画像はそれぞれ深度センサと画像センサにより同一なシーンについて収集されたものであり、又は、第１の深度マップと第１の目標画像は深度センサと画像センサにより同一な時刻に同一な目標領域について収集されたものであるが、本願の実施例はこれについて制限を加えない。
【００６４】
本願の実施例では、深度センサは深度情報を収集するために用いられ、画像センサは２次元画像を収集するために用いられる。
【００６５】
いくつかの実施例では、深度センサは３次元センサである。例えば、深度センサはＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ、飛行時間）センサ又は構造光センサであってよい。ここで、構造光センサは符号化構造光センサ又はスペックル構造光センサであってよい。３次元センサにより目標対象の深度マップを取得することで、高精度の深度マップを得ることができる。本願の実施例は目標対象を含む深度マップを用いて生体検出を行って、目標対象の深度情報を十分に掘りおこして、生体検出の正確性を高めることができる。例えば、目標対象が顔である時に、本願の実施例は顔を含む深度マップを用いて生体検出を行って、顔データの深度情報を十分に掘りおこして、生体顔検出の正確性を高めることができる。
【００６６】
いくつかの実施例では、画像センサはＲＧＢ（Ｒｅｄ赤、Ｇｒｅｅｎ緑、Ｂｌｕｅ青）センサ又は近赤外線センサである。画像センサがＲＧＢセンサであれば、画像センサに収集された目標画像がＲＧＢ画像である。画像センサが近赤外線センサであれば、画像センサに収集された目標画像が近赤外線画像である。ここで、近赤外線画像はスポットが付いた近赤外線画像であってもよく、スポットが付いていない近赤外線画像であってもよい。
【００６７】
ＴＯＦセンサ及び構造光センサを例として深度センサを説明し、ＲＧＢセンサ及び近赤外線センサを例として画像センサを説明したが、当業者であれば、本願の実施例がこれに限定されるものではないのを理解できることを説明する必要がある。当業者が実際の使用要求に応じて深度センサ及び画像センサの種類を選択でき、それぞれ深度マップと画像の収集を実現できればよい。
【００６８】
ステップＳ１２において、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得る。
【００６９】
ここで、いくつかの実現形態では、第１の深度マップの品質検出結果は品質合格又は品質不合格である。
【００７０】
ある特定のシーン（例えば、室外強光シーン）では、深度センサ（例えば、ＴＯＦセンサ又は構造光センサ）は深度マップが大面積で失効し又は完全に失効する状況が発生しやすい。なお、正常な光照射下で、眼鏡の光反射、黒い髪の毛又は黒い眼鏡枠などの要因によりも深度マップの局所的な失効をランダムに引き起こすことがある。ある特別な紙のため、プリントされた顔写真に類似的な深度マップの大面積失効又は局所的な失効の効果が発生する。なお、深度センサの能動光源を遮蔽することにより深度マップの失効を引き起こしたが、非生体の画像センサでの結像が正常であることもある。従って、目標対象の深度マップが失効した場合に、生体と非生体を区別するために目標対象の深度マップが不十分であり、更に逆効果になることがある。従って、本願の実施例では、第１の深度マップに対して品質検出を行い、品質検出結果が不合格である場合に適宜な処理を行うことにより、第１の深度マップが生体検出中で逆効果になることを回避する。
【００７１】
ステップＳ１３において、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定する。
【００７２】
ここで、いくつかの実現形態では、目標対象の生体検出結果としは目標対象が生体であってよく又は目標対象が非生体であってよい。
【００７３】
いくつかの実施例では、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質合格であることに応答して、第１の深度マップ及び第１の目標画像に基づいて、目標対象の生体検出結果を得ることを含む。
【００７４】
いくつかの実施例では、第１の深度マップ及び第１の目標画像に基づいて、目標対象の生体検出結果を得ることは、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報に基づいて、目標対象の生体検出結果を得ることを含む。具体的な一例において、第１の目標画像に含まれる目標対象のキーポイント情報を取得し、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報に基づいて、目標対象の生体検出結果を得てよい。
【００７５】
該実現形態では、第１の深度マップの品質検出結果が品質合格であれば、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報を基礎として生体検出を行う。生体検出中に深度マップを増加することにより、高精細無痕跡画像類の攻撃（単眼生体検出技術がこのような攻撃に撃破されやすい）を効果的に防御して、生体検出の正確性を高めることができる。
【００７６】
別のいくつかの実施例では、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質不合格であることに応答して、目標対象の生体検出結果が非生体であると決定することを含む。例えば、ある適用シーンに室外強光シーンを考慮しなくてもよい時に、又は深度マップの品質の不合格確率が所定の確率より大幅に低い時に、第１の深度マップの品質検出結果が品質不合格であれば、直接目標対象の生体検出結果として目標対象が非生体であると決定してよい。ここで、所定の確率は予め設定された、生体を非生体と誤判定する最大確率を表す。
【００７７】
別のいくつかの実施例では、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質不合格であることに応答して、第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得、つまり、第１の目標画像の処理結果に基づいて目標対象の生体検出結果を得ることを含む。該実現形態では、第１の深度マップの品質検出結果が品質不合格であれば、単眼生体検出技術に基づいて目標対象の生体検出結果を得てよい。本願の実施例では目標画像の処理結果に基づいて目標対象の生体検出結果を得る実現形態について制限を加えない。例えば、ある適用シーンに室外強光シーンを考慮する必要がある時に、室外強光下で、深度マップは品質が不合格である確率が高い。このような場合に、単眼生体検出技術により生体検出を行って、生体を非生体と誤判定するのをできるだけ回避することができる。
【００７８】
別のいくつかの実施例では、第１の目標画像はビデオフレーム画像、例えばビデオシーケンスから選択された画像であってよく、この時に、ビデオシーケンスから選択されたある画像に対応する深度マップに対して品質検出を行ってよく、品質検出結果が品質不合格であれば、再試行回数が最大再試行回数に達し又は品質に合格した深度マップが検出され又はある品質に合格した深度マップに基づいて目標対象の生体検出結果が生体であると決定されるまで、ビデオシーケンスから選択された他の画像に対応する深度マップに対して品質検出を行い、且つ再試行回数に１をプラスしてよく、本願の実施例はこれについて制限を加えない。
【００７９】
具体的な一例において、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、目標対象の生体検出結果が非生体であると決定し、又は第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得ることを含む。該実現形態では、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達した場合に、直接目標対象の生体検出結果が非生体であると決定し、又は単眼生体検出技術に基づいて目標対象の生体検出結果を得てよい。
【００８０】
別のいくつかの実施例では、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定することは、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達していないことに応答して、目標画像の所属するビデオシーケンス中の第２の目標画像に対応する第２の深度マップに対して品質検出を行い、第２の深度マップの品質検出結果を得ることと、第２の深度マップの品質検出結果に基づいて、目標対象の生体検出結果を得ることと、を含む。具体的な一例において、第２の深度マップの品質検出結果が品質合格であれば、第２の深度マップ及び第２の目標画像に基づいて目標対象の生体検出結果を得てよい。別の具体的な一例では、第２の深度マップの品質検出結果が品質不合格であれば、現在の品質検出再試行回数が第２の閾値に達したか否かを決定してよく、第２の閾値に達した場合に、目標対象が生体ではないと決定し又は第２の目標画像の処理結果に基づいて目標対象の生体検出結果を決定し、本願の実施例ではこれについて制限を加えない。
【００８１】
本願の実施例では、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得し、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得、第１の深度マップの品質検出結果に基づいて第１の目標画像中の目標対象の生体検出結果を決定することにより、生体検出の正確性を高めることができる。
【００８２】
図２は本願の実施例に係る生体検出方法におけるステップＳ１２の例示的なフローチャートを示す。図２に示すように、ステップＳ１２はステップＳ１２１〜ステップＳ１２２を含んでよい。
【００８３】
ステップＳ１２１において、第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置を決定する。
【００８４】
いくつかの実施例では、第１の深度マップ中の少なくとも１つの画素点のうちのそれぞれの画素点の深度値、又は目標対象の対応領域に含まれる少なくとも１つの画素点のうちのそれぞれの画素点の深度値に基づいて、目標対象の対応領域の失効位置を決定してよい。
【００８５】
具体的な一例において、深度センサは失効位置の深度値を０にデフォルト設定し、この時に、目標対象の対応領域中の深度値がゼロとなる位置を失効位置として決定してよい。
【００８６】
別の具体的な一例では、深度センサは失効位置の深度値を１つ又は複数の所定の数値又は所定の範囲に設定し、そのように目標対象の対応領域中の深度値が所定の数値となり又は所定の範囲に属する位置を失効位置として決定してよい。
【００８７】
本願の実施例は他の統計方式に基づいて目標対象の対応領域中の失効位置を決定してもよく、本願の実施例はこれについて制限を加えない。
【００８８】
ステップにＳ１２２おいて、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得る。
【００８９】
いくつかの実施例では、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得ることは、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合に基づいて、第１の深度マップの品質検出結果を得ることを含む。
【００９０】
選択可能に、失効位置又は失効画素点の数量が目標対象の対応領域に含まれる位置の総数又は画素点の総数で占める割合に基づいて、第１の深度マップ又は目標対象の対応領域の品質検出結果を得てよい。
【００９１】
一例として、第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置に含まれる画素点数量を決定し、第１の深度マップ中の目標対象の対応領域に含まれる画素点総数を決定し、この少なくとも１つの失効位置に含まれる画素点の数量と目標対象の対応領域に含まれる画素点の総数との割合を計算し、且つ該割合を目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合としてよい。
【００９２】
一例として、得られた上記割合を所定の数値（例えば、第３の閾値）と比較して第１の深度マップの品質検出結果を決定してよい。例えば、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値以下である場合に、第１の深度マップの品質検出結果が品質合格であると決定する。更に例えば、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値より大きい場合に、第１の深度マップの品質検出結果が品質不合格であると決定する。
【００９３】
該実現形態では、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値より大きい時に、生体と非生体を区別するために残りの深度マップが不十分であり、この時に第１の深度マップの品質検出結果が品質不合格であると決定してよい。
【００９４】
該実現形態は第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合に基づいて、第１の深度マップの品質検出結果を得、それにより統計量の方法を用いて第１の深度マップに対して品質判断を行い、直感的で簡単である。
【００９５】
本願の実施例では、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合と第３の閾値の差が大きい（例えば、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値より大幅に大きく、又は目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合が第３の閾値より大幅に小さい）時に、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合を第３の閾値と比較することで、精確な品質検出結果を得ることができる。
【００９６】
上記実現形態では、目標対象の対応領域中のそれぞれの位置が同等なものと見なされる。別のいくつかの実施例では、目標対象の対応領域中の異なる位置に異なる重みを割り当て、目標対象の対応領域中の失効位置及び失効位置の重みに基づいて、深度マップの品質検出結果を決定してよい。この時に、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得ることは、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得ることを含む。
【００９７】
例えば、深度失効画素点の数量が同様である場合に、顔部縁部又は頬などの非要部に存在すれば、生体検出への影響が大きくなく、目、鼻などの要部に存在すれば、生体検出に大きい干渉を与える。従って、異なる位置の深度失効画素が深度マップの品質に与える影響の程度が異なる、従って、異なる位置に異なる重みを付け、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得ることにより、より精確な品質検出結果を得ることができる。
【００９８】
一例として、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得ることは、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップに対応する品質信頼度を得ることと、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得ることと、を含む。
【００９９】
本願の実施例では、品質信頼度は様々な方式により決定できる。例えば、少なくとも１つの失効位置をニューラルネットワークに入力して処理し、深度マップに対応する品質信頼度を得てよく、この時に、失効位置に対応する重みはニューラルネットワークのトレーニングにより得られる。又は、該重みは予め設定されてよく、この時に、少なくとも１つの失効位置及びそれに対応する重みをニューラルネットワークに入力して処理し、深度マップに対応する品質信頼度を得てよく、本願の実施例はこれについて制限を加えない。
【０１００】
選択可能に、品質信頼度と所定の数値を比較することにより、第１の深度マップの品質検出結果を決定してよく、例えば、品質信頼度が第４の閾値以上である場合に、第１の深度マップ品質が合格であると決定し、本願の実施例はこれについて制限を加えない。
【０１０１】
本願の実施例では、例えば、目、鼻などの要部に高い重みを付け、他の非要部に低い重みを付け、異なる位置の重み及び失効画素数に基づいて、第１の深度マップの品質信頼度を得てよい。ここで、要部の重みが非要部の重みより大きいが、異なる位置の重みは実際の状況に応じて割り当てよく、本願の実施例はこれについて制限を加えない。
【０１０２】
図３は本願の実施例に係る生体検出方法におけるステップＳ１２の別の例示的なフローチャートを示す。図３に示すように、ステップＳ１２はステップＳ１２３〜ステップＳ１２４を含んでよい。
【０１０３】
ステップＳ１２３において、第１の深度マップを第１のニューラルネットワークに入力して処理し、第１の深度マップに対応する品質信頼度を得る。
【０１０４】
この例では、第１の深度マップがニューラルネットワークに入力され、又は、第１の深度マップ中の目標対象の対応領域をニューラルネットワークに入力してもよく、本願の実施例はこれについて制限を加えない。
【０１０５】
いくつかの実施例では、第１のニューラルネットワークは第１の深度マップ又は目標対象の対応領域を処理し、目標対象の対応領域中の少なくとも１つの失効位置を得てよい。次に、ニューラルネットワーク又は他の方式により、この少なくとも１つの失効位置に基づいて、深度マップの品質検出結果を決定してよい。
【０１０６】
一例において、第１のニューラルネットワークは目標対象の対応領域の異なる失効位置に異なる重みを付けることができる。
【０１０７】
いくつかの実施例では、深度マップのトレーニングデータを手動で合格深度マップ及び不合格深度マップに分け、更に合格深度マップ及び不合格深度マップという２種類の画像を用いて第１のニューラルネットワークをトレーニングしてよい。
【０１０８】
ステップＳ１２４において、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得る。
【０１０９】
いくつかの実施例では、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得ることは、第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、第１の深度マップの品質検出結果が品質合格であると決定すること、及び／又は第１の深度マップに対応する品質信頼度が第１の閾値が以下であることに応答して、第１の深度マップの品質検出結果が品質不合格であると決定することを含む。
【０１１０】
本願の実施例では、第１の深度マップから目標対象の対応領域を決定してよい。いくつかの実施例では、該方法は、第１の目標画像に対してキーポイント検出を行い、目標対象のキーポイント情報を得ることと、目標対象のキーポイント情報に基づいて、第１の深度マップから目標対象の対応領域を決定することと、を更に含む。
【０１１１】
ここで、目標対象のキーポイント情報は目標対象のキーポイントの位置情報を含んでよい。
【０１１２】
本願の実施例では、目標対象が顔であれば、目標対象のキーポイントは目キーポイント、眉キーポイント、鼻キーポイント、口キーポイント及び顔輪郭キーポイントなどの１つまたは複数を含んでよい。ここで、目キーポイントは目輪郭キーポイント、眼角キーポイント及び瞳キーポイントなどの１つまたは複数を含んでよい。
【０１１３】
いくつかの実施例では、目標対象のキーポイント情報に基づいて、第１の深度マップから目標対象の対応領域を決定することは、目標対象の輪郭キーポイントに基づいて、第１の深度マップから目標対象の対応領域を決定することを含む。例えば、目標対象が顔であれば、顔輪郭キーポイントにより、第１の深度マップから顔対応領域を決定してよい。
【０１１４】
選択可能に、目標対象のキーポイント情報に基づいて、目標対象の輪郭を決定し、且つ目標対象の輪郭の所在する領域を目標対象の対応領域として決定し、又は目標対象の輪郭の所在する領域を所定の倍数拡大した後得られた領域を目標対象の対応領域として決定してよく、例えば、目標対象のキーポイント情報に基づいて決定された楕円形領域を目標対象の対応領域として決定してよく、又は該楕円形領域の最小外接矩形領域を目標対象の対応領域として決定してよく、本願の実施例はこれについて制限を加えない。
【０１１５】
いくつかの実施例では、第１の目標画像に対してキーポイント検出を行うことの前に、該方法は、深度センサのパラメータ及び画像センサのパラメータにより、第１の深度マップと第１の目標画像をアライメントすることを更に含む。
【０１１６】
一例として、第１の深度マップに対して変換処理を行って、変換処理後の第１の深度マップと第１の目標画像をアライメントしてよい。例えば、深度センサのパラメータ行列及び画像センサのパラメータ行列により、深度センサのパラメータ行列から画像センサのパラメータ行列への変換行列を決定し、該変換行列により、第１の深度マップを変換してよい。
【０１１７】
別の例として、第１の目標画像に対して変換処理を行って、変換処理後の第１の目標画像と第１の深度マップをアライメントしてよい。例えば、深度センサのパラメータ行列及び画像センサのパラメータ行列により、画像センサのパラメータ行列から深度センサへのパラメータ行列の変換行列を決定し、該変換行列により、第１の目標画像を変換してよい。
【０１１８】
本願の実施例では、深度センサのパラメータは深度センサの内パラメータ及び／又は外パラメータを含んでよく、画像センサのパラメータは画像センサの内パラメータ及び／又は外パラメータを含んでよい。
【０１１９】
本願の実施例では、第１の深度マップと第１の目標画像をアライメントすることにより、第１の深度マップと第１の目標画像中の対応部分の２つの画像での位置を同様にすることができる。
【０１２０】
図４は本願の実施例に係る生体検出方法におけるステップＳ１３の例示的なフローチャートを示す。図４に示すように、ステップＳ１３はステップＳ１３１〜ステップＳ１３３を含んでよい。
【０１２１】
ステップＳ１３１において、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得る。
【０１２２】
いくつかの実施例では、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、第１の深度マップ及び目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得ることを含む。
【０１２３】
一例として、第２のニューラルネットワークは畳み込み層、ダウンサンプリング層及び全結合層を含んでよい。
【０１２４】
例えば、第２のニューラルネットワークは一段畳み込み層、一段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。
【０１２５】
また、例えば、第２のニューラルネットワークは多段畳み込み層、多段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。ここで、ｉ段目の畳み込み層の後にｉ段目のダウンサンプリング層がカスケードされ、ｉ段目のダウンサンプリング層の後にｉ＋１段目の畳み込み層がカスケードされ、ｎ段目のダウンサンプリング層の後に全結合層がカスケードされ、ただし、ｉ及びｎはいずれも正整数であり、１≦ｉ≦ｎ、ｎは第２のニューラルネットワーク中の畳み込み層及びダウンサンプリング層の段数を表す。
【０１２６】
別の例として、第２のニューラルネットワークは畳み込み層、ダウンサンプリング層、正規化層及び全結合層を含んでよい。
【０１２７】
例えば、第２のニューラルネットワークは一段畳み込み層、１つの正規化層、一段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。
【０１２８】
また、例えば、第２のニューラルネットワークは多段畳み込み層、複数の正規化層及び多段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。ここで、ｉ段目の畳み込み層の後にｉ番目の正規化層がカスケードされ、ｉ番目の正規化層の後にｉ段目のダウンサンプリング層がカスケードされ、ｉ段目のダウンサンプリング層の後にｉ＋１段目の畳み込み層がカスケードされ、ｎ段目のダウンサンプリング層の後に全結合層がカスケードされ、ただし、ｉ及びｎはいずれも正整数であり、１≦ｉ≦ｎ、ｎは第２のニューラルネットワーク中の畳み込み層、ダウンサンプリング層の段数及び正規化層の個数を表す。
【０１２９】
ステップＳ１３２において、目標対象のキーポイント情報に基づいて、第２の特徴情報を得る。
【０１３０】
いくつかの実施例では、目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、第１の目標画像及び目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含む。
【０１３１】
一例として、第３のニューラルネットワークは畳み込み層、ダウンサンプリング層及び全結合層を含んでよい。
【０１３２】
例えば、第３のニューラルネットワークは一段畳み込み層、一段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。
【０１３３】
また、例えば、第３のニューラルネットワークは多段畳み込み層、多段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。ここで、ｊ段目の畳み込み層の後にｊ段目のダウンサンプリング層がカスケードされ、ｊ段目のダウンサンプリング層の後にｊ＋１段目の畳み込み層がカスケードされ、ｍ段目のダウンサンプリング層の後に全結合層がカスケードされ、ただし、ｊ及びｍはいずれも正整数であり、１≦ｊ≦ｍ、ｍは第３のニューラルネットワーク中の畳み込み層及びダウンサンプリング層の段数を表す。
【０１３４】
別の例として、第３のニューラルネットワークは畳み込み層、ダウンサンプリング層、正規化層及び全結合層を含んでよい。
【０１３５】
例えば、第３のニューラルネットワークは一段畳み込み層、１つの正規化層、一段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。
【０１３６】
また、例えば、第３のニューラルネットワークは多段畳み込み層、複数の正規化層、多段ダウンサンプリング層及び一段全結合層を含んでよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく、該一段の全結合層は１つ又は複数の全結合層を含んでよい。ここで、ｊ段目の畳み込み層の後にｊ番目の正規化層がカスケードされ、ｊ番目の正規化層の後にｊ段目のダウンサンプリング層がカスケードされ、ｊ段目のダウンサンプリング層の後にｊ＋１段目の畳み込み層がカスケードされ、ｍ段目のダウンサンプリング層の後に全結合層がカスケードされ、ただし、ｊ及びｍはいずれも正整数であり、１≦ｊ≦ｍ、ｍは第３のニューラルネットワーク中の畳み込み層、ダウンサンプリング層の段数及び正規化層の個数を表す。
【０１３７】
いくつかの実施例では、第２のニューラルネットワークと第３のニューラルネットワークは同一なネットワーク構成を有する。
【０１３８】
ステップＳ１３３において、第１の特徴情報及び第２の特徴情報に基づいて、目標対象の生体検出結果を決定する。
【０１３９】
本願の実施例はステップＳ１３１及びステップＳ１３２の実行順序の先後を限定せず、ステップＳ１３１及びステップＳ１３２をステップＳ１３３の前に実行すればよいことを説明する必要がある。例えば、ステップＳ１３１を実行してからステップＳ１３２を実行してもよく、又は、ステップＳ１３２を実行してからステップＳ１３１を実行してもよく、又は、ステップＳ１３１とステップＳ１３２を同時に実行してもよい。
【０１４０】
図５は本願の実施例に係る生体検出方法中で第１の深度マップ及び目標対象のキーポイント情報に基づいて第１の特徴情報を得る例示的なフローチャートを示す。図５に示すように、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、ステップＳ１３１１〜ステップＳ１３１３を含んでよい。
【０１４１】
ステップＳ１３１１において、第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得る。
【０１４２】
ステップＳ１３１２において、第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得る。
【０１４３】
いくつかの実施例では、一段畳み込み層及び一段ダウンサンプリング層により第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理及びダウンサンプリング処理を行ってよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよい。
【０１４４】
別のいくつかの実施例では、多段畳み込み層及び多段ダウンサンプリング層により第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理及びダウンサンプリング処理を行ってよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよい。
【０１４５】
いくつかの実施例では、第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることは、第１の畳み込み結果に対して正規化処理を行い、第１の正規化結果を得ることと、第１の正規化結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、を含んでよい。
【０１４６】
ステップＳ１３１３において、第１のダウンサンプリング結果に基づいて、第１の特徴情報を得る。
【０１４７】
いくつかの実施例では、第１のダウンサンプリング結果を全結合層に入力し、全結合層により第１のダウンサンプリング結果に対して全結合処理を行い、第１の特徴情報を得てよい。
【０１４８】
図６は本願の実施例に係る生体検出方法中で目標対象のキーポイント情報に基づいて第２の特徴情報を得る例示的なフローチャートを示す。図６に示すように、目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、ステップＳ１３２１〜ステップＳ１３２３を含んでよい。
【０１４９】
ステップＳ１３２１において、第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得る。
【０１５０】
ステップＳ１３２２において、第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得る。
【０１５１】
いくつかの実施例では、一段畳み込み層及び一段ダウンサンプリング層により第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理及びダウンサンプリング処理を行ってよい。ここで、該一段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、該一段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよい。
【０１５２】
別のいくつかの実施例では、多段畳み込み層及び多段ダウンサンプリング層により第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理及びダウンサンプリング処理を行ってよい。ここで、各段の畳み込み層は１つ又は複数の畳み込み層を含んでよく、各段のダウンサンプリング層は１つ又は複数のダウンサンプリング層を含んでよく。
【０１５３】
いくつかの実施例では、第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることは、第２の畳み込み結果に対して正規化処理を行い、第２の正規化結果を得ることと、第２の正規化結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、を含んでよい。
【０１５４】
ステップＳ１３２３において、第２のダウンサンプリング結果に基づいて、第２の特徴情報を得る。
【０１５５】
いくつかの実施例では、第２のダウンサンプリング結果を全結合層に入力し、全結合層により第２のダウンサンプリング結果に対して全結合処理を行い、第２の特徴情報を得てよい。
【０１５６】
図７は本願の実施例に係る生体検出方法中で第１の特徴情報及び第２の特徴情報に基づいて目標対象の生体検出結果を決定する例示的なフローチャートを示す。図７に示すように、第１の特徴情報及び第２の特徴情報に基づいて、目標対象の生体検出結果を決定することは、ステップＳ１３３１及びステップＳ１３３２を含んでよい。
【０１５７】
ステップＳ１３３１において、第１の特徴情報及び第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得る。
【０１５８】
いくつかの実施例では、全結合層により第１の特徴情報及び第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得てよい。
【０１５９】
ステップＳ１３３２において、第３の特徴情報により、目標対象の生体検出結果を決定する。
【０１６０】
図８は本願の実施例に係る生体検出方法中で第３の特徴情報により目標対象の生体検出結果を決定する例示的なフローチャートを示す。図８に示すように、第３の特徴情報により、目標対象の生体検出結果を決定することは、ステップＳ１３３２１及びステップＳ１３３２２を含んでよい。
【０１６１】
ステップＳ１３３２１において、第３の特徴情報に基づいて、目標対象が生体である確率を得る。
【０１６２】
いくつかの実施例では、第３の特徴情報をＳｏｆｔｍａｘ層に入力して、Ｓｏｆｔｍａｘ層により目標対象が生体である確率を得てよい。
【０１６３】
一例として、Ｓｏｆｔｍａｘ層は、一方が、目標対象が生体である確率を表し、他方が、目標対象が非生体である確率を表す２つのニューロンを含んでよい。
【０１６４】
ステップＳ１３３２２において、目標対象が生体である確率により、目標対象の生体検出結果を決定する。
【０１６５】
いくつかの実施例では、目標対象が生体である確率により、目標対象の生体検出結果を決定することは、目標対象が生体である確率が第４の閾値より大きい場合に、目標対象の生体検出結果として目標対象が生体であると決定することと、目標対象が生体である確率が第４の閾値以下である場合に、目標対象の生体検出結果として目標対象が非生体であると決定することと、を含む。
【０１６６】
図８に示すフローによりステップＳ１３３２の以上のような実現形態が説明されたが、当業者であれば、本願がこれに限定されるものではないのを理解できることを説明する必要がある。別のいくつかの実施例では、第３の特徴情報に基づいて、目標対象が非生体である確率を得、目標対象が非生体である確率により、目標対象の生体検出結果を決定してよい。該実現形態では、目標対象が非生体である確率が第５の閾値より大きい場合に、目標対象の生体検出結果として目標対象が非生体であると決定し、目標対象が非生体である確率が第５の閾値以下である場合に、目標対象の生体検出結果として目標対象が生体であると決定する。
【０１６７】
本願の実施例は深度マップ失効類の非生体攻撃を根本的に防御し、生体検出の正確性を高めることができ、安全性や信頼性がより高くなる。
【０１６８】
本願で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組合せ後の実施例を形成することができることが理解され、紙数に限りがあるので、本願では詳細な説明を省略する。
【０１６９】
また、本願は生体検出装置、生体検出システム、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供し、それらはいずれも本願で提供されるいずれか１種の生体検出方法を実現するために利用可能であり、それに対応する技術手段、説明及び参照方法部分に対応する記載をここで省略する。
【０１７０】
図９は本願の実施例に係る生体検出装置のブロック図である。図９に示すように、該装置は、深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得するための取得モジュール２１と、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得るための品質検出モジュール２２と、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定するための第１の決定モジュール２３と、を含む。
【０１７１】
いくつかの実施例では、深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサである。
【０１７２】
いくつかの実施例では、画像センサはＲＧＢセンサ又は近赤外線センサである。
【０１７３】
図１０は本願の実施例に係る生体検出装置の例示的なブロック図を示す。
【０１７４】
図１０に示すように、いくつかの実施例では、品質検出モジュール２２は、第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置を決定するための第１の決定サブモジュール２２１と、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得るための第２の決定サブモジュール２２２と、を含む。
【０１７５】
いくつかの実施例では、第２の決定サブモジュール２２２は、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合に基づいて、第１の深度マップの品質検出結果を得るために用いられる。
【０１７６】
いくつかの実施例では、第２の決定サブモジュール２２２は、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得るために用いられる。
【０１７７】
いくつかの実施例では、第１の決定サブモジュール２２１は、目標対象の対応領域中の深度値がゼロとなる位置を失効位置として決定するために用いられる。
【０１７８】
いくつかの実施例では、該装置は、第１の目標画像に対してキーポイント検出を行い、目標対象のキーポイント情報を得るためのキーポイント検出モジュール２４と、目標対象のキーポイント情報に基づいて、第１の深度マップから目標対象の対応領域を決定するための第２の決定モジュール２５と、を更に含む。
【０１７９】
いくつかの実施例では、品質検出モジュール２２は、第１の深度マップを第１のニューラルネットワークに入力して処理し、第１の深度マップに対応する品質信頼度を得るための処理サブモジュール２２３と、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得るための第３の決定サブモジュール２２４と、を含む。
【０１８０】
いくつかの実施例では、第３の決定サブモジュール２２４は、第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、第１の深度マップの品質検出結果が品質合格であると決定すること、及び／又は第１の深度マップに対応する品質信頼度が第１の閾値以下であることに応答して、第１の深度マップの品質検出結果が品質不合格であると決定するために用いられる。
【０１８１】
いくつかの実施例では、該装置は、深度センサのパラメータ及び画像センサのパラメータにより、第１の深度マップと第１の目標画像をアライメントするためのアライメントモジュール２６を更に含む。
【０１８２】
いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップの品質検出結果が品質合格であることに応答して、第１の深度マップ及び第１の目標画像に基づいて、目標対象の生体検出結果を得るために用いられる。
【０１８３】
いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報に基づいて、目標対象の生体検出結果を得るために用いられる。
【０１８４】
いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得るための第４の決定サブモジュール２３１と、目標対象のキーポイント情報に基づいて、第２の特徴情報を得るための第５の決定サブモジュール２３２と、第１の特徴情報及び第２の特徴情報に基づいて、目標対象の生体検出結果を決定するための第６の決定サブモジュール２３３と、を含む。
【０１８５】
いくつかの実施例では、第４の決定サブモジュール２３１は、第１の深度マップ及び目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得るために用いられ、第５の決定サブモジュール２３２は、第１の目標画像及び目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得るために用いられる。
【０１８６】
いくつかの実施例では、第４の決定サブモジュール２３１は、第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることとに用いられる。
【０１８７】
いくつかの実施例では、第５の決定サブモジュール２３２は、第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることとに用いられる。
【０１８８】
いくつかの実施例では、第６の決定サブモジュール２３３は、第１の特徴情報及び第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、第３の特徴情報により、目標対象の生体検出結果を決定することとに用いられる。
【０１８９】
いくつかの実施例では、第６の決定サブモジュール２３３は、第３の特徴情報に基づいて、目標対象が生体である確率を得ることと、目標対象が生体である確率により、目標対象の生体検出結果を決定することとに用いられる。
【０１９０】
いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップの品質検出結果が品質不合格であることに応答して、第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得るために用いられる。
【０１９１】
いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、目標対象の生体検出結果が非生体であると決定し、又は第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得るために用いられる。
【０１９２】
いくつかの実施例では、第１の決定モジュール２３は、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達していないことに応答して、目標画像の所属するビデオシーケンス中の第２の目標画像に対応する第２の深度マップに対して品質検出を行い、第２の深度マップの品質検出結果を得るための品質検出サブモジュール２３４と、第２の深度マップの品質検出結果に基づいて、目標対象の生体検出結果を得るための第７の決定サブモジュール２３５と、を含む。
【０１９３】
本願の実施例は深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得し、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得、第１の深度マップの品質検出結果に基づいて第１の目標画像中の目標対象の生体検出結果を決定することにより、生体検出の正確性を高めることができる。
【０１９４】
いくつかの例において、該装置は上述した各種の可能な方法を実行するために用いられ、それに対して、該装置は上述した方法中の各種の可能なステップ又はフローを実現するためのユニット又はモジュールを含み、簡単化するために、ここで繰り返して説明しない。
【０１９５】
本願の実施例は、プロセッサと、プロセッサ実行可能コマンドを記憶するためのメモリとを含み、該プロセッサが上記方法を実行するように構成される電子機器を更に提供する。
【０１９６】
本願の実施例は、コンピュータプログラムコマンドが記憶されたコンピュータ可読記憶媒体であって、コンピュータプログラムコマンドがプロセッサにより実行される時に上記方法を実現するコンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってよい。
【０１９７】
本願の実施例は、上記電子機器、深度センサ及び画像センサを含む生体検出システムを更に提供する。
【０１９８】
本願の実施例は、上記コンピュータ可読記憶媒体、深度センサ及び画像センサを含む生体検出システムを更に提供する。
【０１９９】
図１１は本願の実施例に係る電子機器の例示的なブロック図を示す。図１１に示すように、該電子機器は、目標対象の深度マップを検出するための深度センサ３１と、目標対象を含む目標画像を収集するための画像センサ３２と、第１の深度マップに対して品質検出を行い、第１の深度マップの品質検出結果を得、第１の深度マップの品質検出結果に基づいて、第１の目標画像中の目標対象の生体検出結果を決定するためのプロセッサ３３と、を含む。
【０２００】
いくつかの実施例では、深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサである。
【０２０１】
いくつかの実施例では、画像センサはＲＧＢセンサ又は近赤外線センサである。
【０２０２】
いくつかの実施例では、該プロセッサ３３は、更に、第１の深度マップ中の目標対象の対応領域の少なくとも１つの失効位置を決定することと、目標対象の対応領域の少なくとも１つの失効位置に基づいて、第１の深度マップの品質検出結果を得ることとに用いられる。
【０２０３】
いくつかの実施例では、該プロセッサ３３は、目標対象の対応領域の少なくとも１つの失効位置が目標対象の対応領域で占める割合に基づいて、第１の深度マップの品質検出結果を得るために用いられる。
【０２０４】
いくつかの実施例では、該プロセッサ３３は、目標対象の対応領域の少なくとも１つの失効位置及び少なくとも１つの失効位置に対応する重みに基づいて、第１の深度マップの品質検出結果を得るために用いられる。
【０２０５】
いくつかの実施例では、該プロセッサ３３は、目標対象の対応領域中の深度値がゼロとなる位置を失効位置として決定するために用いられる。
【０２０６】
いくつかの実施例では、該プロセッサ３３は、更に、第１の目標画像に対してキーポイント検出を行い、目標対象のキーポイント情報を得ることと、目標対象のキーポイント情報に基づいて、第１の深度マップから目標対象の対応領域を決定することとに用いられる。
【０２０７】
いくつかの実施例では、該プロセッサ３３は、第１の深度マップを第１のニューラルネットワークに入力して処理し、第１の深度マップに対応する品質信頼度を得ることと、第１の深度マップに対応する品質信頼度に基づいて、第１の深度マップの品質検出結果を得ることとに用いられる。
【０２０８】
いくつかの実施例では、該プロセッサ３３は、第１の深度マップに対応する品質信頼度が第１の閾値より大きいことに応答して、第１の深度マップの品質検出結果が品質合格であると決定すること、及び／又は第１の深度マップに対応する品質信頼度が第１の閾値以下であることに応答して、第１の深度マップの品質検出結果が品質不合格であると決定するために用いられる。
【０２０９】
いくつかの実施例では、該プロセッサ３３は、更に、に深度センサのパラメータ及び画像センサのパラメータより、第１の深度マップと第１の目標画像をアライメントするために用いられる。
【０２１０】
いくつかの実施例では、該プロセッサ３３は、第１の深度マップの品質検出結果が品質合格であることに応答して、第１の深度マップ及び第１の目標画像に含まれる目標対象のキーポイント情報に基づいて、目標対象の生体検出結果を得るために用いられる。
【０２１１】
いくつかの実施例では、該プロセッサ３３は、第１の深度マップ及び目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、第１の特徴情報及び第２の特徴情報に基づいて、目標対象の生体検出結果を決定することとに用いられる。
【０２１２】
いくつかの実施例では、該プロセッサ３３は、第１の深度マップ及び目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得るために用いられ、目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、第１の目標画像及び目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含む。
【０２１３】
いくつかの実施例では、該プロセッサ３３は、第１の深度マップ及び目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることとに用いられる。
【０２１４】
いくつかの実施例では、該プロセッサ３３は、第１の目標画像及び目標対象のキーポイント情報に対して畳み込み処理を行い、第２の畳み込み結果を得ることと、第２の畳み込み結果に対してダウンサンプリング処理を行い、第２のダウンサンプリング結果を得ることと、第２のダウンサンプリング結果に基づいて、第２の特徴情報を得ることとに用いられる。
【０２１５】
いくつかの実施例では、該プロセッサ３３は、第１の特徴情報及び第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、第３の特徴情報により、目標対象の生体検出結果を決定することとに用いられる。
【０２１６】
いくつかの実施例では、該プロセッサ３３は、第３の特徴情報に基づいて、目標対象が生体である確率を得ることと、目標対象が生体である確率により、目標対象の生体検出結果を決定することとに用いられる。
【０２１７】
いくつかの実施例では、該プロセッサ３３は、第１の深度マップの品質検出結果が品質不合格であることに応答して、第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得るために用いられる。
【０２１８】
いくつかの実施例では、該プロセッサ３３は、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、第１の深度マップを利用せずに目標対象に対して生体検出を行い、目標対象の生体検出結果を得るために用いられる。
【０２１９】
いくつかの実施例では、該プロセッサ３３は、第１の深度マップの品質検出結果が品質不合格であり且つ第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達していないことに応答して、目標対象の生体検出結果が非生体であると決定し、又は目標画像の所属するビデオシーケンス中の第２の目標画像に対応する第２の深度マップに対して品質検出を行い、第２の深度マップの品質検出結果を得ることと、第２の深度マップの品質検出結果に基づいて、目標対象の生体検出結果を得ることとに用いられる。
【０２２０】
電子機器は端末、サーバ又は他の形態の機器として提供されてよい。
【０２２１】
図１２は本願の実施例に係る電子機器の別の例示的なブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってよい。
【０２２２】
図１２を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。
【０２２３】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。
【０２２４】
メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。
【０２２５】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。
【０２２６】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。
【０２２７】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【０２２８】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。
【０２２９】
センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳ又はＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。
【０２３０】
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【０２３１】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。
【０２３２】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。
【０２３３】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。
【０２３４】
コンピュータ読み取り可能記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０２３５】
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。
【０２３６】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。
【０２３７】
なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【０２３８】
これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。
【０２３９】
コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０２４０】
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
【０２４１】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図１】
2021503659.tif 000003
【図２】
2021503659.tif 000004
【図３】
2021503659.tif 000005
【図４】
2021503659.tif 000006
【図５】
2021503659.tif 000007
【図６】
2021503659.tif 000008
【図７】
2021503659.tif 000009
【図８】
2021503659.tif 000010
【図９】
2021503659.tif 000011
【図１０】
2021503659.tif 000012
【図１１】
2021503659.tif 000013
【図１２】
2021503659.tif 000014
【手続補正書】
【提出日】令和2年5月18日(2020.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得することと、
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることと、
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することと、を含むことを特徴とする生体検出方法。
【請求項２】
前記深度センサは飛行時間（ＴＯＦ）センサ又は構造光センサであり、
又は、前記画像センサはＲＧＢセンサ又は近赤外線センサであることを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、
前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することと、
前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることと、を含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記目標対象の対応領域の少なくとも１つの失効位置に基づいて、前記第１の深度マップの品質検出結果を得ることは、
前記目標対象の対応領域の少なくとも１つの失効位置が前記目標対象の対応領域中で占める割合に基づいて、前記第１の深度マップの品質検出結果を得ることを含むこと、又は、
前記目標対象の対応領域の少なくとも１つの失効位置及び前記少なくとも１つの失効位置に対応する重みに基づいて、前記第１の深度マップの品質検出結果を得ることを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記第１の深度マップ中の前記目標対象の対応領域の少なくとも１つの失効位置を決定することは、
前記目標対象の対応領域中の深度値がゼロとなる位置を前記失効位置として決定することを含むことを特徴とする請求項３又は４に記載の方法。
【請求項６】
前記第１の目標画像に対してキーポイント検出を行い、前記目標対象のキーポイント情報を得ることと、
前記目標対象のキーポイント情報に基づいて、前記第１の深度マップから前記目標対象の対応領域を決定することを更に含むことを特徴とする請求項３〜５のいずれか一項に記載の方法。
【請求項７】
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得ることは、
前記第１の深度マップを第１のニューラルネットワークに入力して処理し、前記第１の深度マップに対応する品質信頼度を得ることと、
第１の深度マップに対応する品質信頼度に基づいて、前記第１の深度マップの品質検出結果を得ることと、を含むことを特徴とする請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、
前記第１の深度マップの品質検出結果が品質合格であることに応答して、前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記第１の深度マップと前記第１の目標画像に基づいて、前記目標対象の生体検出結果を得ることは、
前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１の深度マップ及び前記第１の目標画像に含まれる前記目標対象のキーポイント情報に基づいて、前記目標対象の生体検出結果を得ることは、
前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることと、
前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることと、
前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することと、を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、
前記第１の深度マップ及び前記目標対象のキーポイント情報を第２のニューラルネットワークに入力して処理し、第１の特徴情報を得ることを含み、
前記目標対象のキーポイント情報に基づいて、第２の特徴情報を得ることは、
前記第１の目標画像及び前記目標対象のキーポイント情報を第３のニューラルネットワークに入力して処理し、第２の特徴情報を得ることを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記第１の深度マップ及び前記目標対象のキーポイント情報に基づいて、第１の特徴情報を得ることは、
前記第１の深度マップ及び前記目標対象のキーポイント情報に対して畳み込み処理を行い、第１の畳み込み結果を得ることと、
前記第１の畳み込み結果に対してダウンサンプリング処理を行い、第１のダウンサンプリング結果を得ることと、
前記第１のダウンサンプリング結果に基づいて、第１の特徴情報を得ることと、を含むことを特徴とする請求項１０又は１１に記載の方法。
【請求項１３】
前記第１の特徴情報及び前記第２の特徴情報に基づいて、前記目標対象の生体検出結果を決定することは、
前記第１の特徴情報及び前記第２の特徴情報に対して全結合処理を行い、第３の特徴情報を得ることと、
前記第３の特徴情報により、前記目標対象の生体検出結果を決定することと、を含むことを特徴とする請求項１０〜１２のいずれか一項に記載の方法。
【請求項１４】
前記第３の特徴情報により、生体検出結果を決定することは、
前記第３の特徴情報に基づいて、前記目標対象が生体である確率を得ることと、
前記目標対象が生体である確率により、前記目標対象の生体検出結果を決定することと、を含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、
前記第１の深度マップの品質検出結果が品質不合格であることに応答して、前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定することは、
前記第１の深度マップの品質検出結果が品質不合格であり且つ前記第１の目標画像の所属するビデオシーケンスについての品質検出再試行回数が第２の閾値に達したことに応答して、前記目標対象の生体検出結果が非生体であると決定し、又は前記第１の深度マップを利用せずに前記目標対象に対して生体検出を行い、前記目標対象の生体検出結果を得ることを含むことを特徴とする請求項１〜１５のいずれか一項に記載の方法。
【請求項１７】
深度センサにより収集された第１の深度マップと画像センサにより収集された第１の目標画像を取得するための取得モジュールと、
前記第１の深度マップに対して品質検出を行い、前記第１の深度マップの品質検出結果を得るための品質検出モジュールと、
前記第１の深度マップの品質検出結果に基づいて、前記第１の目標画像中の目標対象の生体検出結果を決定するための第１の決定モジュールと、を含むことを特徴とする生体検出装置。
【請求項１８】
プロセッサと、
プロセッサ実行可能コマンドを記憶するためのメモリとを含み、
前記プロセッサは前記メモリに記憶された前記コマンドを呼び出して、請求項１〜１６のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項１９】
コンピュータプログラムコマンドが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１〜１６のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【請求項２０】
請求項１８に記載の電子機器、前記深度センサ及び前記画像センサを含むことを特徴とする生体検出システム。
【請求項２１】
プロセッサにより実行される時に請求項１〜１６のいずれか一項に記載の方法を実現することを特徴とするコンピュータプログラム。
【国際調査報告】
2021503659.tif 000015
2021503659.tif 000016
2021503659.tif 000017
2021503659.tif 000018