(57)【要約】本開示の実施例は、画像処理方法および装置、電子機器および記憶媒体に関する。当該方法は、識別される画像における目標領域画像を取得することであって、目標領域画像は少なくとも１つの目標対象を含むことと、目標領域画像に基づいて、少なくとも１つの目標対象の状態を決定することであって、状態は、開眼および閉眼を含むことと、少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することとを含む。【選択図】図１
2021516405.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
識別される画像における目標領域画像を取得することであって、前記目標領域画像は、少なくとも１つの目標対象を含むことと、
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することであって、前記状態は、開眼および閉眼を含むことと、
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することとを含む、前記画像処理方法。
【請求項２】
前記少なくとも１つの目標対象は、少なくとも片目を含む、
請求項１に記載の画像処理方法。
【請求項３】
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、
前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定することを含む、
請求項１または２に記載の画像処理方法。
【請求項４】
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定する前に、ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定することをさらに含み、
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することは、前記ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在することに応答して、前記少なくとも１つの目標対象の状態を決定することを含む、
請求項１ないし３のいずれか一項に記載の画像処理方法。
【請求項５】
前記識別される画像を顔認識して、顔認識結果を取得することをさらに含み、
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、少なくとも前記顔認識結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することを含む、
請求項１ないし３のいずれか一項に記載の画像処理方法。
【請求項６】
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、
前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、前記識別される画像を顔認識して、顔認識結果を取得することと、
前記顔認識結果に基づいて、アイデンティティ認証結果を決定することとを含む、
請求項１ないし３のいずれか一項に記載の画像処理方法。
【請求項７】
前記識別される画像における目標領域画像を取得することは、
前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得することを含む、
請求項１ないし６のいずれか一項に記載の画像処理方法。
【請求項８】
前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
前記識別される画像における目標領域画像を取得することは、
前記識別される画像における第１領域画像を取得することであって、前記第１領域画像は前記第１目標対象を含み、
前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することであって、前記第２領域画像は前記第２目標対象を含む、
請求項１ないし７のいずれか一項に記載の画像処理方法。
【請求項９】
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することは、
前記目標領域画像を処理して、予測結果を取得することであって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含むことと、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することとを含む、
請求項１ないし８のいずれか一項に記載の画像処理方法。
【請求項１０】
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、
前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定すること、および／または、
前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定することを含む、
請求項９に記載の画像処理方法。
【請求項１１】
前記画像有効性情報は有効な信頼度を含み、前記状態情報は開眼の信頼度を含み、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定することを含む、
請求項９または１０に記載の画像処理方法。
【請求項１２】
前記目標領域画像を処理して、予測結果を取得することは、
前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することと、
前記特徴情報に従って、予測結果を取得することとを含む、
請求項９ないし１１のいずれか一項に記載の画像処理方法。
【請求項１３】
前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することは、
深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することを含む、
請求項１２に記載の画像処理方法。
【請求項１４】
アイデンティティ認証が成功したと決定したことに応答して、端末機器のロックを解除することをさらに含む、
請求項１ないし１３のいずれか一項に記載の画像処理方法。
【請求項１５】
アイデンティティ認証が成功したと決定したことに応答して、支払い操作を実行することをさらに含む、
請求項１ないし１３のいずれか一項に記載の画像処理方法。
【請求項１６】
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することは、
画像処理ネットワークを使用して前記目標領域画像を処理して、前記少なくとも１つの目標対象の状態を取得することを含む、
請求項１ないし１５のいずれか一項に記載の画像処理方法。
【請求項１７】
複数の初期サンプル画像および前記複数の初期サンプル画像の注釈情報を取得することと、
前記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得することであって、前記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含むことと、
前記少なくとも１つの初期サンプル画像に対して実行する前記変換処理および前記少なくとも１つの初期サンプル画像の注釈情報に基づいて、前記少なくとも１つの拡張サンプル画像の注釈情報を取得することと、
前記複数の初期サンプル画像および前記少なくとも１つの拡張サンプル画像が含まれるトレーニングサンプルセットに基づいて、前記画像処理ネットワークをトレーニングすることとを含む、
請求項１６に記載の画像処理方法。
【請求項１８】
画像処理方法であって、
識別される画像における目標領域画像を取得することであって、前記目標領域画像は、少なくとも１つの目標対象を含むことと、
前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することと、
前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定することであって、前記状態は、開眼および閉眼を含む、前記画像処理方法。
【請求項１９】
前記識別される画像における目標領域画像を取得することは、
前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得することを含む、
請求項１８に記載の画像処理方法。
【請求項２０】
前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
前記識別される画像における目標領域画像を取得することは、
前記識別される画像における第１領域画像を取得することであって、前記第１領域画像は前記第１目標対象を含むことと、
前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することであって、前記第２領域画像は前記第２目標対象を含むこととを含む、
請求項１８または１９に記載の画像処理方法。
【請求項２１】
前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定することは、
前記特徴情報に従って、予測結果を取得することであって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含むことと、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することとを含む、
請求項１８ないし２０のいずれか一項に記載の画像処理方法。
【請求項２２】
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、
前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定すること、および／または、
前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定することを含む、
請求項２１に記載の画像処理方法。
【請求項２３】
前記画像有効性情報は有効な信頼度を含み、前記状態情報は開眼の信頼度を含み、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定することを含む、
請求項２１または２２に記載の画像処理方法。
【請求項２４】
前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することは、
深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することを含む、
請求項１８ないし２２のいずれか一項に記載の画像処理方法。
【請求項２５】
画像処理装置であって、
識別される画像における目標領域画像を取得するように構成される画像取得モジュールであって、前記目標領域画像は、少なくとも１つの目標対象を含む画像取得モジュールと、
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定するように構成される状態決定モジュールであって、前記状態は、開眼および閉眼を含む状態決定モジュールと、
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定するように構成される認証結果決定モジュールとを含む、前記画像処理装置。
【請求項２６】
前記少なくとも１つの目標対象は、少なくとも片目を含む、
請求項２５に記載の画像処理装置。
【請求項２７】
前記認証結果決定モジュールは、
前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定するように構成される第１決定サブモジュールを含む、
請求項２５または２６に記載の画像処理装置。
【請求項２８】
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定する前に、ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定するように構成されるプリセットの画像情報決定モジュールをさらに含み、
前記状態決定モジュールは、前記ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在することに応答して、前記少なくとも１つの目標対象の状態を決定するように構成される状態決定サブモジュールを含む、
請求項２５ないし２７のいずれか一項に記載の画像処理装置。
【請求項２９】
前記識別される画像を顔認識して、顔認識結果を取得するように構成される識別結果取得モジュールをさらに含み、
前記認証結果決定モジュールは、少なくとも前記顔認識結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定するように構成される第２決定サブモジュールを含む、
請求項２５ないし２７のいずれか一項に記載の画像処理装置。
【請求項３０】
前記認証結果決定モジュールは、
前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、前記識別される画像を顔認識して、顔認識結果を取得するように構成される識別結果取得サブモジュールと、
前記顔認識結果に基づいて、アイデンティティ認証結果を決定するように構成される第３決定サブモジュールとを含む、
請求項２５ないし２７のいずれか一項に記載の画像処理装置。
【請求項３１】
前記画像取得モジュールは、
前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得するように構成される画像取得サブモジュールをさらに含む、
請求項２５ないし３０のいずれか一項に記載の画像処理装置。
【請求項３２】
前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
前記画像取得モジュールは、
前記識別される画像における第１領域画像を取得するように構成される第１画像取得サブモジュールであって、前記第１領域画像は前記第１目標対象を含む第１画像取得サブモジュールと、
前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得するように構成される第２画像取得サブモジュールであって、前記第２領域画像は前記第２目標対象を含む第２画像取得サブモジュールとを含む、
請求項２５ないし３１のいずれか一項に記載の画像処理装置。
【請求項３３】
前記状態決定モジュールは、
前記目標領域画像を処理して、予測結果を取得するように構成される予測結果取得サブモジュールであって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む予測結果取得サブモジュールと、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定するように構成される第４決定サブモジュールとを含む、
請求項２５ないし３２のいずれか一項に記載の画像処理装置。
【請求項３４】
前記第４決定サブモジュールは、
前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定するように構成される閉眼決定サブモジュール、および／または、
前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定するように構成される第１対象状態決定サブモジュールを含む、
請求項３３に記載の画像処理装置。
【請求項３５】
前記画像有効性情報は有効な信頼度を含み、前記状態情報は開眼の信頼度を含み、前記第４決定サブモジュールは、
前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定するように構成される開眼決定サブモジュールを含む、
請求項３３または３４に記載の画像処理装置。
【請求項３６】
前記予測結果取得サブモジュールは、
前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される特徴情報取得サブモジュールと、
前記特徴情報に従って、予測結果を取得するように構成される結果取得サブモジュールとを含む、
請求項３３ないし３５のいずれか一項に記載の画像処理装置。
【請求項３７】
前記特徴情報取得サブモジュールは、
深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される情報取得サブモジュールを含む、
請求項３６に記載の画像処理装置。
【請求項３８】
アイデンティティ認証が成功したと決定した場合、端末機器のロックを解除するように構成されるロック解除モジュールをさらに含む、
請求項２５ないし３７のいずれか一項に記載の画像処理装置。
【請求項３９】
アイデンティティ認証が成功したと決定した場合、支払い操作を実行するように構成される支払いモジュールをさらに含む、
請求項２５ないし３７のいずれか一項に記載の画像処理装置。
【請求項４０】
前記状態決定モジュールは、
画像処理ネットワークを使用して前記目標領域画像を処理して、前記少なくとも１つの目標対象の状態を取得するように構成される状態取得サブモジュールを含み、
前記装置は、複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングするように構成されるトレーニングモジュールをさらに含む、
請求項２５ないし３９のいずれか一項に記載の画像処理装置。
【請求項４１】
複数の初期サンプル画像および前記複数の初期サンプル画像の注釈情報を取得するように構成される取得モジュールと、
前記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得するように構成される拡張サンプル画像取得モジュールであって、前記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含む拡張サンプル画像取得モジュールと、
前記少なくとも１つの初期サンプル画像に対して実行する前記変換処理および前記少なくとも１つの初期サンプル画像の注釈情報に基づいて、前記少なくとも１つの拡張サンプル画像の注釈情報を取得するように構成される注釈情報取得モジュールと、
前記複数の初期サンプル画像および前記少なくとも１つの拡張サンプル画像が含まれるトレーニングサンプルセットに基づいて、前記画像処理ネットワークをトレーニングするように構成されるトレーニングネットワークモジュールとさらにを含む、
請求項４０に記載の画像処理装置。
【請求項４２】
画像処理装置であって、
識別される画像における目標領域画像を取得するように構成される目標領域画像取得モジュールであって、前記目標領域画像は、少なくとも１つの目標対象を含む目標領域画像取得モジュールと、
前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される情報取得モジュールと、
前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定するように構成される決定モジュールであって、前記状態は、開眼および閉眼を含む決定モジュールとを含む、前記画像処理装置。
【請求項４３】
前記目標領域画像取得モジュールは、
前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得するように構成される第１取得サブモジュールを含む、
請求項４２に記載の画像処理装置。
【請求項４４】
前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
前記目標領域画像取得モジュールは、
前記識別される画像における第１領域画像を取得するように構成される第２取得サブモジュールであって、前記第１領域画像は前記第１目標対象を含む第２取得サブモジュールと、
前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得するように構成される第３取得サブモジュールであって、前記第２領域画像は前記第２目標対象を含む第３取得サブモジュールとを含む、
請求項４２または４３に記載の画像処理装置。
【請求項４５】
前記決定モジュールは、
前記特徴情報に従って、予測結果を取得するように構成される第４取得サブモジュールであって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む第４取得サブモジュールと、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定するように構成される第５決定サブモジュールとを含む、
請求項４２ないし４４のいずれか一項に記載の画像処理装置。
【請求項４６】
前記第５決定サブモジュールは、
前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定するように構成される第６決定サブモジュール、および／または、
前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定するように構成される第２対象状態決定サブモジュールを含む、
請求項４５に記載の画像処理装置。
【請求項４７】
前記画像有効性情報は有効な信頼度を含み、前記状態情報は開眼の信頼度を含み、前記第５決定サブモジュールは、
前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定するように構成される第７決定サブモジュールを含む、
請求項４５または４６に記載の画像処理装置。
【請求項４８】
前記情報取得モジュールは、深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される第５取得サブモジュールを含む、
請求項４２ないし４７のいずれか一項に記載の画像処理装置。
【請求項４９】
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、
前記プロセッサは、前記メモリに記憶された命令を読み出して、請求項１ないし２４のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
【請求項５０】
コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１ないし２４のいずれか一項に記載の方法を実現する、前記コンピュータ読み取り可能な記憶媒体。
【請求項５１】
コンピュータプログラム命令を含む、コンピュータプログラム製品であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１ないし２４のいずれか一項に記載の方法を実現する、前記コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年０７月１１日に中国特許局に提出された、出願番号がＣＮ２０１８１０７５７７１４．５である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が引用によって本願に組み込まれる。
【０００２】
本開示は、コンピュータビジョンの技術分野に関し、特に、画像処理方法および装置、電子機器および記憶媒体に関する。
【背景技術】
【０００３】
インターネット技術の急速な発展に伴い、コンピュータビジョンに基づく画像処理技術はかつてない発展を遂げ、様々な分野に適用される。例えば、顔認識技術は、アイデンティティ認証などのシナリオに幅広く適用されるが、顔画像に基づいて、アイデンティティ認証を実行するセキュリティをさらに向上させる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これを鑑みて、本開示の実施例は、画像処理の技術的解決策を提案する。
【課題を解決するための手段】
【０００５】
本開示の実施例の一態様によれば、画像処理方法を提供し、前記方法は、目標領域画像を取得することであって、前記目標領域画像は、少なくとも１つの目標対象を含むことと、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することであって、前記状態は、開眼および閉眼を含むことと、前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することとを含む。
【０００６】
いくつかの実施例において、目標対象の状態が開眼または閉眼であることを決定し、少なくとも部分的に、少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することができる。
【０００７】
いくつかの実施例において、前記目標領域画像に対して識別処理を実行して、少なくとも１つの目標対象の状態を取得することができる。例えば、状態識別ニューラルネットワークを使用して目標領域画像に対して識別処理を実行して、少なくとも１つの目標対象の状態情報を取得し、当該状態情報は、当該少なくとも１つの目標対象の状態を指示するために使用される。例えば、当該状態情報は、開眼または閉眼の信頼度を含むことができ、または状態を指示する識別子またはインジケータを含むことができる。
【０００８】
いくつかの実施例において、前記少なくとも１つの目標対象は、少なくとも片目を含む。
【０００９】
いくつかの実施例において、前記少なくとも１つの目標対象は両目であってもよく、対応的に、目標領域画像は、両目を含む１つの領域画像であり、例えば、目標領域画像は顔画像であってもよく、または片目をそれぞれ含む２つの領域画像であってもよく、即ち、左目領域画像および右目領域画像であってもよい。
【００１０】
いくつかの実施例において、目標領域画像に対して特徴抽出処理を実行して、目標領域画像の特徴情報を取得することができ、目標領域画像の特徴情報に基づいて、目標領域画像における少なくとも１つの目標対象の状態を決定することができる。
【００１１】
いくつかの実施例において、前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定することを含む。
【００１２】
いくつかの実施例において、少なくとも部分的に、少なくとも１つの目標対象の状態が開眼であることに応答して、アイデンティティ認証が成功したと決定することができ、例えば、少なくとも１つの目標対象が２つの目標対象であると仮定する場合、１つの目標対象の状態が開眼であり、且つもう１つの目標対象の状態が閉眼であることに応答して、または２つの目標対象の各目標対象の状態が両方とも開眼であることに応答して、アイデンティティ認証が成功したと決定する。
【００１３】
いくつかの実施例において、少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、前記目標領域画像に属する人物の顔画像に基づいて顔認識することができ、顔認識の結果に基づいてアイデンティティ認証結果を決定することができる。例えば、顔認識の結果が認識成功であることに応答して、アイデンティティ認証が成功したと決定することができ、顔認識の結果が認識失敗であることに応答して、アイデンティティ認証が失敗したと決定することができる。
【００１４】
別のいくつかの実施例において、少なくとも１つの目標対象の各目標対象の状態が開眼であることに応答してのみ、アイデンティティ認証が成功したと決定し、または、少なくとも１つの目標対象の各目標対象の状態が開眼である場合のみ、アイデンティティ認証が成功したと決定する。この場合、当該少なくとも１つの目標対象に状態が閉眼である目標対象がある限り、アイデンティティ認証が失敗したと決定する。
【００１５】
いくつかの実施例において、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定する前に、前記方法は、ベースライブラリに、前記目標領域画像に属する識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定することをさらに含み、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することは、前記ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在することに応答して、前記少なくとも１つの目標対象の状態を決定することを含む。いくつかの実施例において、前記識別される画像は、顔画像または人体画像であり得る。
【００１６】
いくつかの実施例において、前記方法は、前記識別される画像を顔認識して、顔認識結果を取得することをさらに含み、
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、少なくとも前記顔認識結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することを含む。
【００１７】
一例において、前記顔認識結果が認識成功であり、且つ前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定する。
【００１８】
別の例において、前記顔認識結果が認識失敗であり、または前記少なくとも１つの目標対象の各目標対象の状態が閉眼であることに応答して、アイデンティティ認証が失敗したと決定する。
【００１９】
いくつかの実施例において、前記方法は、前記識別される画像に対して生体検出を実行して、生体検出結果を決定することをさらに含み、前記少なくとも前記顔認識結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することは、前記顔認識結果、前記生体検出結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することを含む。
【００２０】
一例において、前記顔認識結果が認識成功であり、前記生体検出結果が活体であり、且つ前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定する。
【００２１】
別の例において、前記顔認識結果が認識失敗であり、または前記生体検出結果が活体ではなく、または前記少なくとも１つの目標対象の各目標対象の状態が閉眼であることに応答して、アイデンティティ認証が失敗したと決定する。
【００２２】
いくつかの実施例において、前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、前記識別される画像を顔認識して、顔認識結果を取得することと、前記顔認識結果に基づいて、アイデンティティ認証結果を決定することとを含む。
【００２３】
いくつかの実施例において、前記識別される画像を顔認識して成功した後、前記少なくとも１つの目標対象の状態を決定する。または、前記識別される画像の顔認識および前記少なくとも１つの目標対象の状態の決定を同時に実行し、または、少なくとも１つの目標対象の状態を決定した後、前記識別される画像の顔認識を実行する。
【００２４】
いくつかの実施例において、ベースライブラリに前記識別される画像とマッチングする参照画像情報が存在するかどうかを決定することができ、前記ベースライブラリに前記識別される画像とマッチングする参照画像情報が存在すると決定したことに応答して、顔認識が成功したと決定することができる。例えば、ベースライブラリにおけるプリセットの画像情報は、プリセットの画像特徴情報を含むことができ、識別される画像の特徴情報と少なくとも１つのプリセットの画像特徴情報との類似度に基づいて、ベースライブラリに識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定することができる。
【００２５】
いくつかの実施例において、目標領域画像を取得することは、前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像から目標領域画像を取得することを含む。
【００２６】
いくつかの実施例において、前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、ここで、識別される画像における目標領域画像を取得することは、前記識別される画像における第１領域画像を取得することであって、前記第１領域画像は前記第１目標対象を含むことと、前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することであって、前記第２領域画像は前記第２目標対象を含むこととを含む。
【００２７】
いくつかの実施例において、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することは、前記目標領域画像を処理して、予測結果を取得することであって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含むことと、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することとを含む。
【００２８】
いくつかの実施例において、目標領域画像の特徴情報に基づいて、目標領域画像の画像有効性情報を決定することができ、目標領域画像の画像有効性情報に基づいて、少なくとも１つの目標対象の状態を決定することができる。
【００２９】
一例において、ニューラルネットワークを使用して目標領域画像を処理して、予測結果を出力する。
【００３０】
いくつかの実施例において、画像有効性情報は、目標領域画像が有効であるかどうかを指示する。
【００３１】
いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定することを含む。
【００３２】
一例において、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の各目標対象の状態が閉眼であると決定する。
【００３３】
いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定することを含む。
【００３４】
いくつかの実施例において、前記画像有効性情報は有効な信頼度を含み、前記状態情報は、開眼の信頼度または閉眼の信頼度を含む。
【００３５】
一例において、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定する。
【００３６】
別の例において、有効な信頼度が第１閾値より低く、または特定の目標対象の開眼の信頼度が第２閾値より低いことに応答して、当該目標対象の状態が閉眼であると決定する。
【００３７】
いくつかの実施例において、前記目標領域画像を処理して、予測結果を取得することは、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することと、前記特徴情報に従って、予測結果を取得することとを含む。
【００３８】
いくつかの実施例において、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することは、深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することを含む。
【００３９】
いくつかの実施例において、前記方法は、アイデンティティ認証が成功したと決定した場合、端末機器のロックを解除することをさらに含む。いくつかの実施例において、前記方法は、アイデンティティ認証が成功したと決定した場合、支払い操作を実行することをさらに含む。
【００４０】
いくつかの実施例において、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することは、画像処理ネットワークを使用して前記目標領域画像を処理して、前記少なくとも１つの目標対象の状態を取得することを含み、ここで、前記方法は、複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングすることをさらに含む。
【００４１】
いくつかの実施例において、複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングすることは、前記複数のサンプル画像に対して前処理して、前処理後の前記複数のサンプル画像を取得することと、前処理後の前記複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングすることとを含む。
【００４２】
いくつかの実施例において、前記複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングすることは、前記サンプル画像を前記画像処理ネットワークに入力して処理して、前記サンプル画像に対応する予測結果を取得することと、前記サンプル画像に対応する予測結果および注釈情報に従って、前記画像処理ネットワークのモデルが損失したと決定することと、前記モデルの損失に従って、前記画像処理ネットワークのネットワークパラメータ値を調整することとを含む。
【００４３】
いくつかの実施例において、前記方法は、複数の初期サンプル画像および前記複数の初期サンプル画像の注釈情報を取得することと、前記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得することであって、前記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含むことと、前記少なくとも１つの初期サンプル画像に対して実行する前記変換処理および前記少なくとも１つの初期サンプル画像の注釈情報に基づいて、前記少なくとも１つの拡張サンプル画像の注釈情報を取得することであって、前記複数のサンプル画像は、前記複数の初期サンプル画像および前記少なくとも１つの拡張サンプル画像を含むこととをさらに含む。
【００４４】
いくつかの実施例において、前記方法は、前記画像処理ネットワークを使用してテストサンプルを処理して、前記テストサンプルの予測結果を取得することと、前記テストサンプルの予測結果および前記テストサンプルの注釈情報に基づいて、前記画像処理ネットワークの閾値パラメータを決定することとをさらに含む。
【００４５】
いくつかの実施例において、前記方法は、
複数の初期サンプル画像および前記複数の初期サンプル画像の注釈情報を取得することと、前記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得することであって、前記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含むことと、前記少なくとも１つの初期サンプル画像に対して実行する前記変換処理および前記少なくとも１つの初期サンプル画像の注釈情報に基づいて、前記少なくとも１つの拡張サンプル画像の注釈情報を取得することと、前記複数の初期サンプル画像および前記少なくとも１つの拡張サンプル画像が含まれるトレーニングサンプルセットに基づいて、前記画像処理ネットワークをトレーニングすることとをさらに含む。
【００４６】
本開示の実施例の一態様によれば、画像処理方法を提供し、前記方法は、識別される画像における目標領域画像を取得することであって、前記目標領域画像は、少なくとも１つの目標対象を含むことと、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することと、前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定することであって、前記状態は、開眼および閉眼を含むこととを含む。
【００４７】
いくつかの実施例において、識別される画像における目標領域画像を取得することは、
前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得することを含む。
【００４８】
いくつかの実施例において、前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
ここで、識別される画像における目標領域画像を取得することは、前記識別される画像における第１領域画像を取得することであって、前記第１領域画像は前記第１目標対象を含むことと、前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することであって、前記第２領域画像は前記第２目標対象を含むこととを含む。
【００４９】
いくつかの実施例において、前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定することは、前記特徴情報に従って、予測結果を取得することであって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含むことと、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することとを含む。
【００５０】
いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定することを含む。
【００５１】
いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定することを含む。
【００５２】
いくつかの実施例において、前記画像有効性情報は有効な信頼度を含み、前記状態情報は開眼の信頼度を含み、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定することを含む。
【００５３】
いくつかの実施例において、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することは、深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することを含む。
【００５４】
本開示の実施例の一態様によれば、画像処理装置を提供し、前記装置は、
識別される画像における目標領域画像を取得するように構成される画像取得モジュールであって、前記目標領域画像は、少なくとも１つの目標対象を含む画像取得モジュールと、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定するように構成される状態決定モジュールであって、前記状態は、開眼および閉眼を含む状態決定モジュールと、前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定するように構成される認証結果決定モジュールとを含む。
【００５５】
本開示の実施例の一態様によれば、画像処理装置を提供し、前記装置は、識別される画像における目標領域画像を取得するように構成される目標領域画像取得モジュールであって、前記目標領域画像は、少なくとも１つの目標対象を含む目標領域画像取得モジュールと、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される情報取得モジュールと、前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定するように構成される決定モジュールであって、前記状態は、開眼および閉眼を含む決定モジュールとを含む。
【００５６】
本開示の実施例の一態様によれば、電子機器を提供し、前記電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、ここで、前記プロセッサは、上記の画像処理方法または画像処理方法の任意の可能な実施例を実行するように構成される。
【００５７】
本開示の実施例の一態様によれば、コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行されると、上記の画像処理方法または画像処理方法の任意の可能な実施例を実現する。
【００５８】
本開示の実施例において、識別される画像における目標領域画像を取得し、目標領域画像における少なくとも１つの目標対象の状態を決定することができ、少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することができ、アイデンティティ認証のセキュリティを向上させるのに有益である。
【００５９】
以下、図面を参照した例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明らかになる。
【図面の簡単な説明】
【００６０】
明細書に含まれ、明細書の一部を構成する図面は、明細書とともに、本開示の例示的な実施例、特徴および態様を示し、本開示の原理を説明するために使用される。
【図１】本開示の実施例に係る画像処理方法のフローチャートである。
【図２】本開示の実施例に係る画像処理方法の別のフローチャートである。
【図３】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図４】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図５】本開示の実施例に係る、画像処理方法を実現するために使用される画像処理ネットワークの概略図である。
【図６】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図７】本開示の実施例に係る、画像処理ネットワークのトレーニング方法のフローチャートである。
【図８】本開示の実施例に係る、画像処理ネットワークのトレーニング方法の別のフローチャートである。
【図９】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図１０】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図１１】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図１２】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図１３】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図１４】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図１５】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図１６】本開示の実施例に係る画像処理方法のさらに別のフローチャートである。
【図１７】本開示の実施例に係る別の画像処理方法のフローチャートである。
【図１８】本開示の実施例に係る別の画像処理方法の別のフローチャートである。
【図１９】本開示の実施例に係る別の画像処理方法のさらに別のフローチャートである。
【図２０】本開示の実施例に係る別の画像処理方法のさらに別のフローチャートである。
【図２１】本開示の実施例に係る別の画像処理方法のさらに別のフローチャートである。
【図２２】本開示の実施例に係る画像処理装置の例示的なブロック図である。
【図２３】本開示の実施例に係る画像処理装置の別の例示的なブロック図である。
【図２４】本開示の実施例に係る別の画像処理装置の例示的なブロック図である。
【図２５】本開示の実施例に係る別の画像処理装置の別の例示的なブロック図である。
【図２６】本開示の実施例に係る電子機器の例示的なブロック図である。
【図２７】本開示の実施例に係る電子機器の別の例示的なブロック図である。
【発明を実施するための形態】
【００６１】
以下、本開示の様々な例示的な実施例、特徴および態様を、図面を参照して詳細に説明する。図面における同じ参照番号は、同じまたは類似の機能を有する要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。ここで排他的に使用される「例示的」とは、「例、実施例または説明として使用される」ことを意図する。ここで、「例示的」として使用されるいずれかの実施例は、他の実施例より優れるか好ましいものとして解釈する必要はない。さらに、本開示をよりよく説明するために、以下の具体的な実施形態において多くの特定の詳細が与えられる。当業者は、特定のいくつかの詳細なしに、本開示を同様に実施することができることを理解するはずである。いくつかの具現例において、当業者に周知の方法、手段、要素および回路は、本開示の要旨を強調するために、詳細に説明しない。
【００６２】
図１は、本開示の実施例に係る画像処理方法のフローチャートである。当該方法は、電子機器またはシステムに適用することができる。当該電子機器は、携帯電話、タブレットコンピュータなど、端末、サーバまたは他の形の機器として提供することができる。図１に示されたように、当該方法は、次のステップを含む。
【００６３】
ステップＳ１０１において、識別される画像における目標領域画像を取得し、前記目標領域画像は、少なくとも１つの目標対象を含む。
【００６４】
ステップＳ１０２において、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定し、ここで、前記状態は、開眼および閉眼を含む。
【００６５】
ステップＳ１０３において、前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定する。
【００６６】
本開示の実施例によれば、識別される画像における目標領域画像を取得し、目標領域画像における少なくとも１つの目標対象の状態を決定し、少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することができる。このようにして、少なくとも１つの目標対象の状態に少なくとも基づいて、現在ユーザがアイデンティティ認証プロセスに対して認識しているかどうかを決定することができ、アイデンティティ認証のセキュリティを向上させるのに有益である。例えば、目標対象の状態が開眼または閉眼であることを決定することができ、少なくとも部分的に、少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することができる。
【００６７】
いくつかの実施例において、前記目標領域画像に対して識別処理を実行して、少なくとも１つの目標対象の状態を取得することができる。例えば、状態識別ニューラルネットワークを使用して目標領域画像に対して識別処理を実行して、少なくとも１つの目標対象の状態情報を取得することができ、当該状態情報は、当該少なくとも１つの目標対象の状態を指示するために使用される。当該状態識別ニューラルネットワークは、トレーニングサンプルセットに従ってトレーニングすることにより取得することができる。例えば、当該状態情報は、開眼または閉眼の信頼度を含み、または状態を指示する識別子またはインジケータを含むことができる。本開示の実施例は、少なくとも１つの目標対象の状態情報を決定する方式、状態情報に含まれる情報コンテンツおよびタイプなどに対して限定しない。
【００６８】
いくつかの実施例において、前記少なくとも１つの目標対象は、少なくとも片目を含む。いくつかの実施例において、前記少なくとも１つの目標対象は両目であってもよく、対応的に、目標領域画像は、両目を含む１つの領域画像であってもよく、例えば、目標領域画像は顔画像であってもよく、または片目をそれぞれ含む２つの領域画像、即ち、左目領域画像および右目領域画像などであってもよく、本開示の実施例は、これらに限定されない。
【００６９】
いくつかの実施例において、目標領域画像に対して特徴抽出処理を実行して、目標領域画像の特徴情報を取得することができ、目標領域画像の特徴情報に基づいて、目標領域画像における少なくとも１つの目標対象の状態を決定することができる。
【００７０】
例示的な適用シナリオにおいて、アイデンティティ認証プロセス中に、電子機器（例えば、ユーザの携帯電話など）は、現在認識される顔画像または人体画像の、目の近くの領域の画像を取得することができ、目の近くの領域の画像に従って目の開閉を判断し、少なくとも片目の状態が開眼であるか閉眼であるかを決定することができる。ユーザの携帯電話は、少なくとも片目の状態に基づいて、アイデンティティ認証結果を決定することができる。例えば、ユーザの携帯電話は、目の開閉を判断する目の状態結果に従って、現在ユーザがアイデンティティ認証に対して認識しているかどうかを判断することができる。ユーザが今回のアイデンティティ認証を認識している場合、当該ユーザが今回のアイデンティティ認証を認識していることに基づいて、アイデンティティ認証の成功または失敗など、アイデンティティ認証結果を決定することができる。ユーザが今回のアイデンティティ認証を認識していない場合、当該ユーザが今回のアイデンティティ認証に対して認識していないことに基づいて、アイデンティティ認証の失敗など、アイデンティティ認証結果を決定することができる。このようにして、ユーザが認識していない（例えば、ユーザが眠っているときや、意識を失っているときなど、認識していない様々な状況）場合、他人が、顔写真を撮るなどの方式により、アイデンティティ認証を通過する可能性を低減し、アイデンティティ認証のセキュリティを向上させることができる。
【００７１】
いくつかの実施例において、電子機器は、携帯電話、タブレットコンピュータ、コンピュータ、サーバなどの任意の機器であってもよい。例として、携帯電話を電子機器として説明する。例を挙げると、ユーザの携帯電話は、識別される画像における目標領域画像を取得することができ、当該目標領域画像は少なくとも１つの目標対象を含む。ここで、当該識別される画像は実画像であってもよく、例えば、原画像または処理後の画像であってもよく、本開示の実施例はこれらに対して限定しない。目標領域画像は、識別される画像内の特定の領域の画像であってもよく、例えば、識別される画像内の少なくとも１つの目標対象の近くの画像であってもよい。例えば、識別される画像は顔画像であってもよく、少なくとも１つの目標対象は、少なくとも片目を含むことができ、目標領域画像は、顔画像内の、少なくとも片目の近くの画像であってもよい。様々な方式により識別される画像における目標領域画像を取得することができ、本開示の実施例は、これらに限定されないことを理解されたい。
【００７２】
図２は、本開示の実施例に係る画像処理方法の別のフローチャートである。いくつかの実施例において、図２に示されたように、ステップＳ１０１は、次のステップを含み得る。
【００７３】
ステップＳ１０１１において、前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得する。
【００７４】
例を挙げると、深層学習トレーニングを介して、顔キーポイントの位置決めのために使用されるキーポイント位置決めネットワーク（例えば、当該キーポイント位置決めネットワークは、畳み込みニューラルネットワークを含み得る）を取得することができる。当該キーポイント位置決めネットワークは、識別される画像内の少なくとも１つの目標対象に対応するキーポイント情報を決定し、少なくとも１つの目標対象が位置する領域を決定することができる。例えば、当該キーポイント位置決めネットワークは、識別される画像（例えば、顔画像など）内の少なくとも片目のキーポイント情報を決定することができ、少なくとも片目の輪郭点の位置を決定することができる。これに基づき、関連技術における既知の方法により、少なくとも片目の近くの画像を切り取ることができる。例えば、キーポイント位置決めネットワークによって決定された少なくとも片目の輪郭点の位置に従って、イメージ処理を実行し、当該少なくとも片目の近くのイメージを長方形のイメージにインターセプトして、識別される画像（例えば、顔画像など）内の少なくとも片目の近くの画像（目標領域画像など）を取得する。このようにして、少なくとも１つの対象に対応するキーポイント情報に従って、目標領域画像を取得することにより、目標領域画像を迅速且つ正確に取得することができ、当該目標領域画像には、少なくとも１つの目標対象が含まれる。本開示は、少なくとも１つの目標対象に対応するキーポイント情報を決定する方式、キーポイント情報に従って識別される画像における目標領域画像を取得する方式に対して限定しない。
【００７５】
図３は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、図３に示されたように、ステップＳ１０１は、次のステップを含み得る。
【００７６】
ステップＳ１０１２において、前記識別される画像における第１領域画像を取得し、ここで、前記第１領域画像は前記第１目標対象を含む。
【００７７】
ステップＳ１０１３において、前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得し、前記第２領域画像は前記第２目標対象を含む。
【００７８】
例を挙げると、前記目標領域画像は、それぞれ、第１目標対象および第２目標対象である２つの目標対象を含んでもよい。例えば、顔画像は、右目（例えば、第１目標対象など）および左目（例えば、第２目標対象など）を含む。目標領域画像は、第１領域画像（例えば、第１目標対象を含む領域など）および第２領域画像（例えば、第２目標対象を含む領域など）を含んでもよい。
【００７９】
ここで、識別される画像における目標領域画像を取得する（ステップＳ１０１）プロセスでは、第１領域画像および第２領域画像をそれぞれ取得することができる。例を挙げると、前記識別される画像における第１領域画像を取得することができ、ここで、前記第１領域画像は前記第１目標対象を含む。例えば、以上で述べられたように、第１目標対象に対応するキーポイント情報に従って、識別される画像における第１領域画像を取得することができる。
【００８０】
いくつかの実施例において、取得した識別される画像における第１領域画像に基づいて、第２領域画像を取得することができる。例えば、第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することができ、前記第２領域画像は前記第２目標対象を含む。例えば、顔画像内の右目の近くの画像（例えば、第１領域画像は１つの長方形画像である）を取得し、顔画像内の左目と右目が対称であるため、当該長方形画像に対してミラリング処理を実行して、顔画像内の左目の近くの画像（例えば、第１領域画像と同じ形で同じ大きさの第２領域画像など）を取得することができることを理解されたい。このようにして、前記目標領域画像内の第１領域画像および第２領域画像をより迅速に取得することができる。目標領域画像が第１領域画像および第２領域画像を含む場合、識別される画像における目標領域画像を取得することは、第１目標対象に対応するキーポイント情報および第２目標対象に対応するキーポイント情報に従って、第１領域画像および第２領域画像をそれぞれ取得することもでき、本開示の実施例は、識別される画像における目標領域画像を取得する方式、目標領域画像が含む領域画像の数などに対して限定しないことを理解されたい。
【００８１】
図１に示されたように、ステップＳ１０２において、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定し、ここで、前記状態は、開眼および閉眼を含む。
【００８２】
例を挙げると、目標領域画像に従って、目の開閉を判断し、目標領域画像内の少なくとも片目の状態が開眼であるか閉眼であるかを決定することができる。例えば、目標領域画像は、第１領域画像および第２領域画像を含み、第１領域画像は右目を含み、第２領域画像は左目を含む。ユーザの携帯電話は、目標領域画像を取得するときに（第１領域画像および第２領域画像を含む）、第１領域画像および第２領域画像に基づいて、右目および左目の状態が開眼であるか閉眼であるかをそれぞれ決定することができる。様々な方法により、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することができ、本開示の実施例は、これらに対して限定しないことを理解されたい。
【００８３】
図４は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図４に示されたように、ステップＳ１０２は、次のステップを含み得る。
【００８４】
ステップＳ１０２１において、前記目標領域画像を処理して、予測結果を取得し、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む。
【００８５】
一例において、ニューラルネットワークを使用して目標領域画像を処理して、予測結果を出力する。
【００８６】
ここで、画像有効性情報は、当該目標領域画像の効力状態を示すために使用されることができ、例えば、画像有効性情報は、目標領域画像が有効であるかどうか指示することができ、例えば、当該目標領域画像が有効か無効かを示すために使用されることができる。目標対象の状態情報は、当該目標対象の状態が開眼であるか閉眼であるかを示すために使用される。前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つは、いずれも少なくとも１つの目標対象の状態を決定するために使用されることができる。例を挙げると、ユーザの携帯電話が目標領域画像を取得し、ユーザの携帯電話が当該目標領域画像を処理して、予測結果を取得することができる。当該予測結果は、画像有効性情報を含み得、または少なくとも１つの目標対象の状態情報を含み得、画像有効性情報および少なくとも１つの目標対象の状態情報を同時に含み得る。例えば、ユーザの携帯電話が目標領域画像を取得するとき、目が遮られたり、当該目標領域画像自体がはっきりしないなど、様々な状況が存在する可能性があるが、ユーザの携帯電話は、当該目標領域画像を処理して、予測結果を取得することができ、例えば、画像有効性情報を含む１つの予測結果を取得し、当該画像有効性情報は、当該目標領域画像が無効であることを示すことができる。
【００８７】
いくつかの実施例において、前記目標領域画像を処理して、予測結果を取得することであって、前記予測結果が、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む（ステップＳ１０２１）ことは、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することと、前記特徴情報に従って、予測結果を取得することとを含み得る。例を挙げると、ユーザの携帯電話は、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することができる。様々な方式により、目標領域画像の特徴情報を取得することができ、例えば、畳み込みニューラルネットワーク（いずれか１つの畳み込みニューラルネットワークであってもよい）を介して目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することができ、本開示の実施例は、これらに限定されないことを理解されたい。このようにして、特徴情報を介して正確な予測結果を取得することができる。
【００８８】
いくつかの実施例において、深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することができる。
【００８９】
図５は、本開示の実施例に係る、画像処理方法を実現するために使用される画像処理ネットワークの一例の概略図である。ここで、画像処理ネットワークがＲｅｓＮｅｔに基づく深層残差ネットワークであると仮定するが、当業者は、画像処理ネットワークが他のタイプのニューラルネットワークによって実現されることもでき、本開示の実施例はこれらに対して限定しないことを理解することができる。
【００９０】
図５に示されたように、深層残差ネットワークは、入力画像（例えば、目標領域画像など）の基本情報を抽出し、入力画像の特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）の次元を削減するために使用される畳み込み層５１を含む。当該深層残差ネットワークは、残差ネットワークブロック５２（例えば、ＲｅｓＮｅｔ残差ネットワークブロック１およびＲｅｓＮｅｔ残差ネットワークブロック２など）をさらに含む。当該ＲｅｓＮｅｔ残差ネットワークブロック５２は残差ユニットを含み、当該残差ユニットは、タスクの全体的な入力および出力を変更することなく、タスクの複雑さを低減することができる。ここで、ＲｅｓＮｅｔ残差ネットワークブロック１は、特徴情報を抽出するために使用され、畳み込み層およびバッチ正規化（ＢＮ：Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ）層を含み得る。ＲｅｓＮｅｔ残差ネットワークブロック２は、特徴情報を抽出するために使用され、畳み込み層およびＢＮ層を含み得る。ＲｅｓＮｅｔ残差ネットワークブロック２は、構造的に、ＲｅｓＮｅｔ残差ネットワークブロック１より１つ多い畳み込み層およびＢＮ層を有することができ、したがって、ＲｅｓＮｅｔ残差ネットワークブロック２は、特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）の次元を削減するためにも使用されることができる。この方式により、深層残差ネットワークを使用して、目標領域画像の特徴情報をより正確に取得することができる。いずれか１つの畳み込みニューラルネットワーク構造を使用して目標領域画像に対して特徴抽出処理を実行して、目標領域画像の特徴情報を取得することができ、本開示の実施例は、これらに対して限定しないことを理解されたい。
【００９１】
いくつかの実施例において、前記特徴情報に従って、予測結果を取得することができる。
【００９２】
例を挙げると、特徴情報に従って分析処理を実行して、予測結果を取得することができる。目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報を同時に含む、予測結果を取得することを例として説明する。例えば、図５に示されたように、当該深層残差ネットワークは、全結合層５３をさらに含み得る、例えば、３つの全結合層を含む。全結合層は、目標領域画像の特徴情報に対して次元削減処理を実行することができ、例えば、３次元から２次元に削減する同時に、有用な情報を保留する。
【００９３】
さらに、図５に示されたように、当該深層残差ネットワークは、出力分割層５４をさらに含み得、当該出力分割層は、最後の全結合層の出力に対して出力分割処理を実行して、予測結果を取得することができる。例えば、最後の全結合層の出力は出力分割処理を経て、２つの予測結果を取得し、目標領域画像の画像有効性情報５５および前記少なくとも１つの目標対象の状態情報５６をそれぞれ取得する。このようにして、予測結果をより正確に取得することができる。様々な方法により、目標領域画像を処理して、予測結果を取得することができ、上述の例に限定されないことを理解されたい。
【００９４】
図４に示されたように、ステップＳ１０２２において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定する。
【００９５】
いくつかの実施例において、目標領域画像の特徴情報に基づいて、目標領域画像の画像有効性情報を決定することができ、目標領域画像の画像有効性情報に基づいて、少なくとも１つの目標対象の状態を決定することができる。例えば、トレーニングされたニューラルネットワークを介して目標領域画像に対して特徴抽出して、目標領域画像の特徴情報を取得するなど、目標領域画像の特徴情報を取得することができる。目標領域画像の特徴情報に従って、目標領域画像の画像有効性情報を決定する。例えば、ニューラルネットワークの全結合層に入力して処理するなど、目標領域画像の特徴情報を処理して、目標領域画像の画像有効性情報を取得する。目標領域画像の画像有効性情報に基づいて、少なくとも１つの目標対象の状態を決定する。本開示は、目標領域画像特徴情報を決定する方式、目標領域画像の画像有効性情報を決定しおよび目標領域画像の画像有効性情報に基づいて少なくとも１つの目標対象の状態を決定する方式のそれぞれに対して限定しない。
【００９６】
例を挙げると、ユーザの携帯電話によって取得したものが画像有効性情報であると、ユーザの携帯電話は、画像有効性情報に従って、前記少なくとも１つの目標対象の状態を決定することができる。ユーザの携帯電話によって取得したものが少なくとも１つの目標対象の状態情報であると、ユーザの携帯電話は、少なくとも１つの目標対象の状態情報に従って、前記少なくとも１つの目標対象の状態を決定することができる。ユーザの携帯電話が画像有効性情報および少なくとも１つの目標対象の状態情報を同時に取得すると、画像有効性情報および少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、少なくとも１つの目標対象の状態を決定することができる。このようにして、様々な方式により、少なくとも１つの目標対象の状態を決定することができる。本開示は、予測結果に従って少なくとも１つの目標対象の状態を決定する方式に対して限定しない。
【００９７】
いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定する（ステップＳ１０２２）ことは、
前記画像有効性情報が前記目標領域画像の無効を示す場合、前記少なくとも１つの目標対象の状態が閉眼であると決定すること、または、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定することを含み得る。一例において、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の各目標対象の状態が閉眼であることを決定する。
【００９８】
いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定する（ステップＳ１０２２）ことは、前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定することを含み得る。
【００９９】
いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定することを含む。例を挙げると、ユーザの携帯電話によって取得された予測結果に画像有効性情報が含まれ、且つ、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定することができる。
【０１００】
いくつかの実施例において、画像有効性情報は有効な信頼度を含み得、ここで、有効な信頼度は、当該画像有効性情報が有效である確率情報を示すために使用されることができる。例えば、目標領域画像が有効であるか無効であるかを判断する第１閾値をプリセットすることができ、例えば、画像有効性情報に含まれる有効な信頼度が第１閾値より低い場合、前記目標領域画像が無効であることを決定することができ、目標領域画像が無効である場合、少なくとも１つの目標対象の状態が閉眼であることを決定することができる。この方式により、少なくとも１つの目標対象の状態を迅速且つ効果的に決定することができる。本開示は、画像有効性情報が前記目標領域画像の無効を示すことを決定する方式に対して限定しない。
【０１０１】
いくつかの実施例において、目標対象の状態情報は、開眼の信頼度または閉眼の信頼度を含み得る。ここで、開眼の信頼度は、目標対象の状態が開眼である確率情報を示すことができ、閉眼の信頼度は、目標対象の状態が閉眼である確率情報を示すことができる。いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定する（ステップＳ１０２２）ことは、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定することができる。
【０１０２】
別の例において、有効な信頼度が第１閾値より低く、または特定の目標対象の開眼の信頼度が第２閾値より低いことに応答して、当該目標対象の状態が閉眼であると決定する。例を挙げると、少なくとも１つの目標対象の状態が開眼であるか閉眼であるかを判断する第２閾値をプリセットすることができ、例えば、状態情報の開眼の信頼度が第２閾値を超えた場合、少なくとも１つの目標対象の状態が開眼であることを決定することができ、状態情報の開眼の信頼度が第２閾値より低い場合、少なくとも１つの目標対象の状態が閉眼であることを決定することができる。予測結果における画像有効性情報に含まれる有効な信頼度が第１閾値を超え（この場合、画像有効性情報は、当該目標領域画像が有效であることを示す）、且つ目標対象の開眼の信頼度が第２閾値を超えた場合（この場合、状態情報は、当該少なくとも１つの目標対象の状態が開眼であることを示す）、ユーザの携帯電話は、当該目標状態の状態が開眼であることを決定することができる。予測結果における画像有効性情報に含まれる有効な信頼度が第１閾値より低くまたは特定の目標対象の開眼の信頼度が第２閾値より低い場合、当該目標対象の状態が閉眼であることを決定することができる。この方式により、ユーザがアイデンティティ認証に対して認識しているかどうかを判断するために、少なくとも１つの目標対象の状態をより正確に決定することができる。第１閾値および第２閾値はシステムにより設定されることができ、本開示は、第１閾値および第２閾値の決定方式、第１閾値および第２閾値の具体的な値に対して両方とも限定しないことを理解されたい。
【０１０３】
図６は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図６に示されたように、ステップＳ１０２は、次のステップを含み得る。
【０１０４】
ステップＳ１０２３において、画像処理ネットワークを使用して前記目標領域画像を処理して、前記少なくとも１つの目標対象の状態を取得する。
【０１０５】
ここで、当該画像処理ネットワークは、クラウドプラットフォームから取得されるか、ソフトウェア記憶媒体などから取得されるなど、他の装置から取得されてもよい。いくつかの代替実施例において、当該画像処理ネットワークは、以上の画像処理方法を実行する電子機器によって事前にトレーニングされてもよく、対応的に、当該方法は、次のステップをさらに含み得る。ステップＳ１０４において、複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングする。
【０１０６】
ここで、画像処理ネットワークは、前文に記載の深層残差ネットワークを含み得、当該画像処理ネットワークは、複数のサンプル画像に従って、トレーニングを通じて取得することができる。トレーニングによって取得された画像処理ネットワークに目標領域画像を入力して処理することにより、少なくとも１つの目標対象の状態を取得することができる。このようにして、複数のサンプル画像トレーニングによって取得された画像処理ネットワークを介して、前記少なくとも１つの目標対象の状態をより正確に取得することができる。本開示は、画像処理ネットワークの構造、複数のサンプル画像に従って画像処理ネットワークをトレーニングするプロセスなどに対して限定しない。
【０１０７】
図７は、本開示の実施例に係る、画像処理ネットワークのトレーニング方法のフローチャートである。いくつかの実施例において、図７に示されたように、ステップＳ１０４は、次のステップを含み得る。
【０１０８】
ステップＳ１０４１において、前記複数のサンプル画像に対して前処理して、前処理後の前記複数のサンプル画像を取得する。
【０１０９】
ステップＳ１０４２において、前処理後の前記複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングする。
【０１１０】
例を挙げると、複数のサンプル画像に対して、平行移動、回転、スケーリング、モーションブラーなどの操作を実行するなど、前処理することができ、前処理後の前記複数のサンプル画像を取得して、前処理後の複数のサンプル画像に従って、トレーニングして様々な複雑なシナリオに適用する画像処理ネットワークを取得することができる。ここで、複数のサンプル画像に対して前処理して、前処理後の前記複数のサンプル画像を取得するプロセスでは、一部のサンプル画像の注釈情報は変更する必要がなく、一部のサンプル画像の注釈情報は変更する必要がある。注釈情報は、サンプル画像の状態（例えば、サンプル画像が有効であるかどうか、サンプル画像内の目標対象の状態が開眼であるか閉眼であるかなど）に従って、ネットワークトレーニング用の情報を手動で表記することができる。例えば、当該サンプル画像自体がはっきりしなく、注釈情報は、画像有効性情報を含み得、手動で表記された画像有効性情報は、当該サンプル画像が無効であることを示す。例えば、複数のサンプル画像に対して前処理するプロセスでは、前処理内容はモーションブラー操作であり、その操作よって取得されたサンプル画像の注釈情報を調整することにより変更することができ、前処理内容が他の操作であることにより取得されたサンプル画像の注釈情報に対して変更する必要がない。
【０１１１】
例を挙げると、前処理後の前記複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングすることができる。例えば、前処理後の前記複数のサンプル画像をトレーニングサンプルとして使用し、前処理後の前記複数のサンプル画像に対応する注釈情報を画像処理ネットワークをトレーニングするときの監視情報として使用して、当該画像処理ネットワークをトレーニングする。この方式により、トレーニングして様々な複雑なシナリオに適用可能な画像処理ネットワークを取得することができ、画像処理の精度を向上させる。本開示は、前処理の方式、表記方式、注釈情報の形式、前処理後の前記複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングする具体的なプロセスに対して限定しない。
【０１１２】
図８は、本開示の実施例に係る、画像処理ネットワークのトレーニング方法の別のフローチャートである。ここで、複数のサンプル画像における特定のサンプル画像に対応する処理プロセスは、次の通りである。
【０１１３】
ステップＳ１０４３において、前記サンプル画像を前記画像処理ネットワークに入力して処理して、前記サンプル画像に対応する予測結果を取得する。
【０１１４】
ステップＳ１０４４において、前記サンプル画像に対応する予測結果および注釈情報に従って、前記画像処理ネットワークのモデルが損失したと決定する。
【０１１５】
ステップＳ１０４５において、前記モデルの損失に従って、前記画像処理ネットワークのネットワークパラメータ値を調整する。
【０１１６】
例を挙げると、サンプル画像を前記画像処理ネットワークに入力して処理して、前記サンプル画像に対応する予測結果を取得し、サンプル画像に対応する予測結果および注釈情報に従って、前記画像処理ネットワークのモデルが損失したと決定し、前記モデルの損失に従って、前記画像処理ネットワークのネットワークパラメータ値を調整することができる。例えば、逆勾配アルゴリズムなどを使用してネットワークパラメータ値を調整することができる。適切な方式を採用して特徴抽出ネットワークのネットワークパラメータ値を調整することができ、本開示の実施例は、これらに限定されないことを理解されたい。複数回の調整後、調整回数がプリセットのトレーニング回数閾値に達し、またはモデル損失がプリセットの損失閾値より小さいか等しいなど、プリセットのトレーニング条件を満たす場合、現在の画像処理ネットワークを最終の画像処理ネットワークとして決定することができ、それにより、特徴抽出ネットワークのトレーニングプロセスを完了する。当業者は、実際の状況に従ってトレーニング条件および損失閾値を設定することができ、本開示の実施例はこれらに限定しないことを理解されたい。この方式により、少なくとも１つの目標対象の状態をより正確に取得可能な画像処理ネットワークをトレーニングして取得することができる。
【０１１７】
図９は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。この例において、画像処理ネットワークが電子機器によって事前にトレーニングされ、テストされたと仮定するが、当業者は、ニューラルネットワークのトレーニング方法、テスト方法および適用方法が同じ実行機器を有し、または異なる実行機器をそれぞれ有することができ、本開示の実施例はこれらに限定されないことを理解することができる。
【０１１８】
ステップＳ１０５において、複数の初期サンプル画像および前記複数の初期サンプル画像の注釈情報を取得する。例を挙げると、複数の初期サンプル画像は、識別される画像（例えば、識別される画像におけるトレーニングサンプルセット画像など）に対してインターセプト処理を実行して、取得した複数の初期サンプル画像であってもよい。例えば、トレーニングによって取得された画像処理ネットワークは、目標領域画像（例えば、顔画像における目の近くの画像など）を処理するために使用されたい場合、識別される画像におけるトレーニングサンプルセット画像（例えば、顔画像など）をインターセプトして、トレーニングサンプルセット画像における目標領域画像（顔画像における目の近くの画像など）を取得し、取得されたトレーニングサンプルセット画像における目標領域画像を、複数の初期サンプル画像として決定することができる。
【０１１９】
いくつかの実施例において、目の近くのキーポイントを表記するなど、前記識別される画像内の顔の目キーポイントを表記し、片目の近くの画像を１つの長方形画像にインターセプトするなど、目の近くの画像をインターセプトすることができ、ミラリング操作して別の１つの目の近くの長方形画像をインターセプトして、複数の初期サンプル画像を取得することができる。
【０１２０】
いくつかの実施例において、複数の初期サンプル画像を手動で表記することができ、例えば、初期サンプル画像が有効であるかどうか（例えば、画像が鮮明であるかどうか、画像内の目がはっきり見えるかどうか）および目の状態が開眼であるか閉眼であるかに従って、初期サンプル画像の画像有効性情報および状態情報を表記することができる。例えば、特定の初期サンプル画像では、画像と目がはっきり見え、且つ目が開眼状態であると、表記した後に取得された注釈情報は、ｖａｌｉｄ（画像が有効であることを示す）、ｏｐｅｎ（目が開眼状態であることを示す）であってもよい。本開示は、表記方式、注釈情報の形式に対して限定しない。ステップＳ１０６において、前記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得し、ここで、前記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含む。例を挙げると、複数の初期サンプル画像から初期サンプル画像の一部または全部を抽出することができ、それぞれ、赤緑青（ＲＧＢ：Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）カラーモード、赤外線（ＩＲ：Ｉｎｆｒａｒｅｄ  Ｒａｄｉａｔｉｏｎ）撮影シーン（例えば、ＩＲウェブカメラ、ＲＧＢウェブカメラを介して自撮りする様々なシーンなど）で発生可能な複雑な状況に従って、抽出された初期サンプル画像に対して変換処理を実行し、例えば、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含むがこれらに限定されない変換処理を実行して、少なくとも１つの拡張サンプル画像を取得する。
【０１２１】
ステップＳ１０７において、前記少なくとも１つの初期サンプル画像に対して実行する前記変換処理および前記少なくとも１つの初期サンプル画像の注釈情報に基づいて、前記少なくとも１つの拡張サンプル画像の注釈情報を取得し、ここで、前記複数のサンプル画像は、前記複数の初期サンプル画像および前記少なくとも１つの拡張サンプル画像を含む。例を挙げると、少なくとも１つの初期サンプル画像に対して変換処理を実行し、変換処理の方式および当該少なくとも１つの初期サンプル画像の注釈情報に基づいて、前記少なくとも１つの拡張サンプル画像の注釈情報を取得することができる。例えば、初期サンプル画像１では、画像と目がはっきり見え、且つ目が開眼状態であると、当該初期サンプル画像１の注釈情報はｖａｌｉｄ、ｏｐｅｎであってもよい。当該初期サンプル画像１に対して透明化処理を実行した後、取得された拡張サンプル画像では、画像と目が依然としてはっきり見え、且つ目が依然として開眼状態であると、当該拡張サンプル画像の注釈情報は、初期サンプル画像１の注釈情報と同じである。
【０１２２】
いくつかの実施例において、初期サンプル画像２では、画像と目がはっきり見え、且つ目が開眼状態であると、当該初期サンプル画像２の注釈情報は、ｖａｌｉｄ（画像が有効であることを示す）、ｏｐｅｎ（目が開眼状態であることを示す）であってもよい。当該初期サンプル画像２に対して変換処理を実行した後（例えば、目に対するオクルージョンの追加など）、取得された拡張サンプル画像では、目がはっきり見えないため、初期サンプル画像２の基で、変換処理後の状況に従って、当該拡張サンプル画像の注釈情報がｉｎｖａｌｉｄ（画像が無効であることを示す）、ｃｌｏｓｅ（目が閉眼状態であることを示す）であることを取得することができる。
【０１２３】
いくつかの実施例において、複数の初期サンプル画像および前記少なくとも１つの拡張サンプル画像を前記複数のサンプル画像として決定することができる。例えば、識別される画像におけるトレーニングサンプルセットに従って、５０万枚の初期サンプル画像を取得し、その中の２０万枚の初期サンプル画像に対して変換処理を実行して、２０万枚の拡張サンプル画像を取得するため、５０万枚の初期サンプル画像および２０万枚の拡張サンプル画像を、画像処理ネットワークをトレーニングするために使用される複数のサンプル画像（７０万枚を含む）として決定することができる。このようにして、複雑な状況を多く有する複数のサンプル画像を取得することができる。本開示は、初期サンプル画像の数、拡張サンプル画像の数に対して限定しない。
【０１２４】
複数の初期サンプル画像および少なくとも１つの拡張サンプル画像を前記複数のサンプル画像として決定することにより、画像処理ネットワークをトレーニングするために使用されるトレーニングデータセットを拡張し、それにより、トレーニングによって取得された画像処理ネットワークがより複雑な様々なシナリオに適用されることができるようにし、画像処理ネットワークの処理能力を向上させる。例えば、ＲＧＢカラーモード撮影シーンで発生可能な複雑な状況に従って、複数の初期サンプル画像に対して変換処理を実行して、取得された少なくとも１つの拡張サンプル画像は、当該拡張サンプル画像が含まれるサンプル画像がトレーニングして取得した画像処理ネットワークを介してＲＧＢカラーモード撮影シーンの識別される画像における目標領域画像内の少なくとも１つの目標対象の状態をより正確に決定することができ、本開示の実施例の画像処理方法のロバスト性および精度を保証する。本開示は、複数のサンプル画像の決定方式に対して限定しない。
【０１２５】
図１０は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図１０に示されたように、前記方法は、次のステップをさらに含む。
【０１２６】
ステップＳ１０８において、前記画像処理ネットワークを使用してテストサンプルを処理して、前記テストサンプルの予測結果を取得する。
【０１２７】
ステップＳ１０９において、前記テストサンプルの予測結果および前記テストサンプルの注釈情報に基づいて、前記画像処理ネットワークの閾値パラメータを決定する。ここで、前記閾値パラメータは、当該画像処理ネットワークを使用して少なくとも１つの目標対象の状態を決定するプロセスで使用される閾値であってもよい。例えば、以上で述べられた第１閾値および第２閾値を含んでもよく、本開示の実施例は、閾値パラメータの数およびタイプに対して限定しない。
【０１２８】
目標領域画像が第１領域画像および第２領域画像を有し、第１領域画像が右目を含み、第２領域画像が左目を含み、予測結果が画像有効性情報および状態情報を同時に含むことを例として説明する。例を挙げると、前記画像処理ネットワークを使用してテストサンプルを処理して、前記テストサンプルの予測結果を取得することができる。例えば、右目の画像有効性情報および状態情報、および左目の画像有効性情報および状態情報をそれぞれ取得する。
【０１２９】
いくつかの実施例において、右目の予測結果（右目の画像有効性情報および状態情報）、左目の予測結果（左目の画像有効性情報および状態情報）およびテストサンプルの注釈情報に基づいて、画像処理ネットワークの閾値パラメータを決定することができる。例を挙げると、複数のテストサンプルの予測結果を１つのテキストファイルに出力することができ、複数のテストサンプルの予測結果をテストサンプルの注釈情報と比較して、前記第１閾値および第２閾値をそれぞれ決定することができる。複数のテストサンプルの予測結果における画像有効性情報およびテストサンプルの注釈情報における画像有効性情報に従って、第１閾値を決定することを例として説明する。
【０１３０】
いくつかの実施例において、適合率（ｐｒｅｃｉｓｉｏｎ）および再現率（ｒｅｃａｌｌ）に従って、Ｆ１値を決定することができ、最大Ｆ１値に対応する閾値を第１閾値として決定する。ここで、適合率は、正例として分類された正例の中の、実際の正例の割合を示し、再現率は、正例として分類された正例の数を示し、ここで、正例は、画像有効性情報が現在の閾値を超え、且つ注釈情報がｖａｌｉｄ（画像が有効であることを表す）であってもよい。
【０１３１】
以下、例示的なＦ１値を決定するための式（１）を示す。
【０１３２】
【数１】
2021516405.tif 000003
【０１３３】
式（１）では、
【０１３４】
【化１】
2021516405.tif 000004
【０１３５】
は適合率を示し、
【０１３６】
【化２】
2021516405.tif 000005
【０１３７】
は再現率を示す。
【０１３８】
以下、例示的な適合率
【０１３９】
【化３】
2021516405.tif 000006
【０１４０】
を決定するための式（２）を示す。
【０１４１】
【数２】
2021516405.tif 000007
【０１４２】
式（２）では、
【０１４３】
【化４】
2021516405.tif 000008
【０１４４】
は適合率を示し、
【０１４５】
【化５】
2021516405.tif 000009
【０１４６】
は、画像有効性情報が現在の閾値を超え、且つ注釈情報がｖａｌｉｄ（画像が有効であることを表す）である値を示し、
【０１４７】
【化６】
2021516405.tif 000010
【０１４８】
は、画像有効性情報が現在の閾値を超え、且つ注釈情報がｉｎｖａｌｉｄ（画像が無効であることを表す）である値を示す。
【０１４９】
以下、例示的な再現率
【０１５０】
【化７】
2021516405.tif 000011
【０１５１】
を決定するための式（３）を示す。
【０１５２】
【数３】
2021516405.tif 000012
【０１５３】
式（３）では、
【０１５４】
【化８】
2021516405.tif 000013
【０１５５】
は再現率を示し、
【０１５６】
【化９】
2021516405.tif 000014
【０１５７】
は、画像有効性情報が現在の閾値を超え、且つ注釈情報がｖａｌｉｄ（画像が有効であることを表す）である値を示し、
【０１５８】
【化１０】
2021516405.tif 000015
【０１５９】
は、画像有効性情報が現在の閾値より小さく、且つ注釈情報がｖａｌｉｄ（画像が有効であることを表す）である値を示す。１つの閾値（現在の閾値）を与えると、画像有効性情報および前記テストサンプルの注釈情報における画像有効性情報に従って、
【０１６０】
【化１１】
2021516405.tif 000016
【０１６１】
の数値をそれぞれ決定することができ、
【０１６２】
【化１２】
2021516405.tif 000017
【０１６３】
の値に従って、式（２）、（３）によって適合率Ｐｓおよび再現率Ｒｃをそれぞれ決定することができることを理解されたい。式（１）、適合率
【０１６４】
【化１３】
2021516405.tif 000018
【０１６５】
および再現率
【０１６６】
【化１４】
2021516405.tif 000019
【０１６７】
に従って、現在閾値が与えられた場合に対応するＦ１値を決定することができる。明らかに、対応するＦ１値が最大になるように、１つの閾値が存在し、この場合、当該閾値を第１閾値として決定する。
【０１６８】
いくつかの実施例において、真陽性率および偽陽性率に従って、Ｍｘ値を決定し、最大Ｍｘ値に対応する閾値を第１閾値として決定する。ここで、真陽性率は、正例として分類された正例の数を示し、偽陽性率は、正例として分類された負例の数を示し、ここで、正例は、画像有効性情報が現在の閾値を超え、且つ注釈情報がｖａｌｉｄ（画像が有効であることを表す）であることであってもよく、負例は、画像有効性情報が現在の閾値を超え、且つ注釈情報がｉｎｖａｌｉｄ（画像が無効であることを表す）であることであってもよい。
【０１６９】
以下、例示的なＭｘ値を決定するための式（４）を示す。
【０１７０】
【数４】
2021516405.tif 000020
【０１７１】
式（４）では、
【０１７２】
【化１５】
2021516405.tif 000021
【０１７３】
は真陽性率を示し、
【０１７４】
【化１６】
2021516405.tif 000022
【０１７５】
は偽陽性率を示す。
【０１７６】
以下、例示的な真陽性率
【０１７７】
【化１７】
2021516405.tif 000023
【０１７８】
を決定するための式（５）を示す。
【０１７９】
【数５】
2021516405.tif 000024
【０１８０】
式（５）では、Ｔｐｒは真陽性率を示し、
【０１８１】
【化１８】
2021516405.tif 000025
【０１８２】
は、画像有効性情報が現在の閾値を超え、且つ注釈情報がｖａｌｉｄ（画像が有効であることを表す）である値を示し、
【０１８３】
【化１９】
2021516405.tif 000026
【０１８４】
は、画像有効性情報が現在の閾値より小さいか等しく、且つ注釈情報がｖａｌｉｄ（画像が有効であることを表す）である値を示す。
【０１８５】
以下、例示的な偽陽性率
【０１８６】
【化２０】
2021516405.tif 000027
【０１８７】
を決定するための式（６）を示す。
【０１８８】
【数６】
2021516405.tif 000028
【０１８９】
式（６）では、
【０１９０】
【化２１】
2021516405.tif 000029
【０１９１】
は、は偽陽性率を示し、
【０１９２】
【化２２】
2021516405.tif 000030
【０１９３】
は、画像有効性情報が現在の閾値より低く、且つ注釈情報がｉｎｖａｌｉｄ（画像が無効であることを表す）である値を示し、
【０１９４】
【化２３】
2021516405.tif 000031
【０１９５】
は、画像有効性情報が現在の閾値より大きく、且つ注釈情報がｉｎｖａｌｉｄ（画像が無効であることを表す）である値を示す。
【０１９６】
１つの閾値（現在の閾値）を与えると、画像有効性情報およびテストサンプルの注釈情報における画像有効性情報に従って、
【０１９７】
【化２４】
2021516405.tif 000032
【０１９８】
の数値をそれぞれ決定することができ、
【０１９９】
【化２５】
2021516405.tif 000033
【０２００】
の値に従って、式（５）、（６）によって真陽性率
【０２０１】
【化２６】
2021516405.tif 000034
【０２０２】
および偽陽性率
【０２０３】
【化２７】
2021516405.tif 000035
【０２０４】
をそれぞれ決定することができることを理解されたい。式（４）、真陽性率
【０２０５】
【化２８】
2021516405.tif 000036
【０２０６】
および偽陽性率
【０２０７】
【化２９】
2021516405.tif 000037
【０２０８】
に従って、現在閾値が与えられた場合に対応するＭｘ値を決定することができる。明らかに、対応するＭｘ値が最大になるように、１つの閾値が存在し、この場合、当該閾値を第１閾値として決定する。当業者は、上述の例示的な方法を同様に使用して第２閾値を決定することができることを理解すべきである。この方式により、画像処理ネットワークを決定するために使用される閾値パラメータ（例えば、第１閾値および第２閾値）を決定することができ、当該閾値パラメータは、少なくとも１つの目標対象の状態を決定するために使用される。本開示は、画像処理ネットワークの閾値パラメータの決定方式に対して限定しない。このようにして、少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定するために、様々な方式により、目標領域画像に基づいて、少なくとも１つの目標対象の状態を決定することができる。本開示は、目標領域画像に基づいて、少なくとも１つの目標対象の状態を決定することに対して限定しない。
【０２０９】
図１１は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図１１に示されたように、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定する前に、前記方法は、次のステップをさらに含み得る。ステップＳ１１０において、ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定する。ここで、ベースライブラリは、アイデンティティ認証用のプリセットの画像情報を記憶することができる。例えば、顔認識でアイデンティティ認証することを例とすると、基準対象の顔画像を事前に取得することができる。ここで、基準対象は、アイデンティティ認証プロセスでの正当な認証主体であり、例えば、当該アイデンティティ認証とは、特定のユーザが端末をロック解除する検証であり、当該ユーザはアイデンティティ認証プロセスでの正当な認証主体であり、即ち、基準対象である。例えば、当該携帯電話ユーザの顔画像を取得し、当該基準顔画像をベースライブラリに記憶してアイデンティティ認証用のプリセットの画像として使用することができる。
【０２１０】
図１１に示されたように、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定する（ステップＳ１０２）ことは、次のステップを含み得る。ステップＳ１０２４において、前記ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在することに応答して、前記少なくとも１つの目標対象の状態を決定する。
【０２１１】
例を挙げると、ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在すると決定することに応答して、少なくとも１つの目標対象の状態を決定して、アイデンティティ認証を実行することができる。例えば、ユーザの携帯電話は、カメラを介して識別される画像（顔画像など）および顔画像における目標領域画像（目の近くの画像など）を取得することができ、ユーザの携帯電話は、当該携帯電話のベースライブラリに当該顔画像とマッチングするプリセットの画像情報が存在するかどうかを決定することができ、例えば、プリセットの画像情報を当該顔画像と比較して、マッチングするかどうかを決定することができる。前記識別される画像とマッチングするプリセットの画像情報が存在する場合、ユーザの携帯電話は、顔画像内の少なくとも片目の状態を決定して、少なくとも片目の状態に従って、アイデンティティ認証結果を決定することができる。このようにして、ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在すると決定することに応答して取得した少なくとも１つの目標対象の状態は、アイデンティティ認証結果を決定するために使用される少なくとも１つの目標対象がプリセットされた基準対象の目標対象であることを保証することができ、それにより、アイデンティティ認証結果の精度を向上させることができる。本開示は、ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定する方式に対して限定しない。
【０２１２】
図１に示されたように、ステップＳ１０３において、前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定する。例を挙げると、ユーザの携帯電話は、少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することができる。例えば、以上で述べられたように、ユーザの携帯電話は、様々な方式により、少なくとも１つの目標対象の状態を決定することができ、ユーザの携帯電話は、少なくとも１つの目標対象の状態に従って、アイデンティティ認証結果を決定することができる。例えば、ユーザの携帯電話が少なくとも片目の状態が開眼であると決定する場合、少なくとも片目の状態が開眼であることに少なくとも基づいて、認証の成功または認証の失敗などのアイデンティティ認証結果を決定することができる。。本開示は、前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定する方式に対して限定しない。
【０２１３】
図１２は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図１２に示されたように、ステップＳ１０３は、次のステップを含み得る。
【０２１４】
ステップＳ１０３１において、前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定する。
【０２１５】
いくつかの実施例において、少なくとも１つの目標対象の状態が開眼であることに少なくとも部分的に応答して、アイデンティティ認証が成功したと決定することができ、例えば、少なくとも１つの目標対象が２つの目標対象であると仮定すると、この場合、１つの目標対象の状態が開眼であり、且つもう１つの目標対象の状態が閉眼であることに応答して、または２つの目標対象の各目標対象の状態が両方とも開眼であることに応答して、アイデンティティ認証が成功したと決定する。
【０２１６】
いくつかの実施例において、少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、前記目標領域画像に属する人物の顔画像に基づいて顔認識することができ、顔認識の結果に基づいてアイデンティティ認証結果を決定することができる。例えば、顔認識の結果が認識成功であることに応答して、アイデンティティ認証が成功したと決定することができ、顔認識の結果が認識失敗であることに応答して、アイデンティティ認証が失敗したと決定することができる。
【０２１７】
別のいくつかの実施例において、少なくとも１つの目標対象における各目標対象の状態が開眼であることに応答してのみ、アイデンティティ認証が成功したと決定する。この場合、当該少なくとも１つの目標対象に状態が閉眼である目標対象がある限り、アイデンティティ認証が失敗したと決定する。例を挙げると、識別される画像における少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定すると事前に設定することができる。例えば、ユーザの携帯電話は、顔画像の両目のうち、片目（例えば、左目など）の状態が開眼であると決定し、アイデンティティ認証が成功したと決定する。このようにして、アイデンティティ認証のセキュリティを向上させることができる。アイデンティティ認証セキュリティのニーズレベルに従ってアイデンティティ認証が成功する条件を設定することができ、例えば、識別される画像内の両目の状態が開眼である場合、アイデンティティ認証が成功したと決定するように設定することができ、本開示の実施例は、これらに限定されないことを理解されたい。
【０２１８】
いくつかの実施例において、ユーザの携帯電話は識別される画像（例えば、顔画像など）を取得し、ユーザの携帯電話は、ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定することができ、例えば、ユーザの携帯電話は、当該顔画像が当該携帯電話のベースライブラリに記憶された基準対象のプリセットの画像情報とマッチングすると決定し、ユーザの携帯電話は、顔画像における目標領域画像を取得することができる。例えば、左目と右目の近くの画像（例えば、それぞれ、第１領域画像および第２領域画像である）をそれぞれ取得する。ユーザの携帯電話は、目標領域画像に基づいて、少なくとも１つの目標対象の状態を決定することができる。例えば、ユーザの携帯電話は、トレーニング後の画像処理ネットワークを介して第１領域画像および第２領域画像を処理して、少なくとも１つの目標対象の状態を取得する。例えば、右目の状態は開眼であり、左目の状態は閉眼であることを取得する。ユーザの携帯電話は、決定された当該顔画像が当該携帯電話のベースライブラリに記憶された基準対象のプリセットの画像情報とマッチングし、少なくとも１つの目標領域（目）の状態が開眼であることに従って、アイデンティティ認証が成功したと決定することができる。
【０２１９】
図１３は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図１３に示されたように、ステップＳ１０３は、次のステップを含み得る。
【０２２０】
ステップＳ１０３２において、前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、前記識別される画像を顔認識して、顔認識結果を取得する。ステップＳ１０３３において、前記顔認識結果に基づいて、アイデンティティ認証結果を決定する。例を挙げると、ユーザの携帯電話は、前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、前記識別される画像を顔認識して、顔認識結果を取得することができる。例えば、様々な方法により、識別される画像における顔特徴情報などを取得することができる。
【０２２１】
いくつかの実施例において、ベースライブラリに前記識別される画像とマッチングする参照画像情報が存在するかどうかを決定することができ、前記ベースライブラリに前記識別される画像とマッチングする参照画像情報が存在すると決定したことに応答して、顔認識が成功したと決定することができる。例えば、ベースライブラリにおけるプリセットの画像情報は、プリセットの画像特徴情報を含み得、識別される画像の特徴情報と少なくとも１つのプリセットの画像特徴情報との類似度に基づいて、ベースライブラリに識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定する。本開示は、顔認識的方式、顔認識結果のコンテンツおよび形式、顔認識の成功または失敗の基準などに対して限定しない。
【０２２２】
いくつかの実施例において、前記識別される画像を顔認識して成功した後、前記少なくとも１つの目標対象の状態を決定する。または、前記識別される画像の顔認識および前記少なくとも１つの目標対象の状態の決定を同時に実行し、または、少なくとも１つの目標対象の状態を決定した後、前記識別される画像の顔認識を実行する。
【０２２３】
ユーザの携帯電話は、前記顔認識結果に基づいて、アイデンティティ認証結果を決定することができる。例えば、基準対象（例えば、携帯電話のユーザなど）の基準画像（例えば、事前に撮影されて記憶された顔画像など）を事前に記憶することができ、ユーザの携帯電話は、顔認識結果（例えば、顔特徴情報など）を基準対象の基準画像の特徴情報と比較して、マッチング結果を決定することができる。例えば、顔認識結果が基準画像とマッチングする場合、アイデンティティ認証が成功したと決定することができ、顔認識結果が基準画像とマッチングしない場合、アイデンティティ認証が失敗したと決定することができる。このようにして、少なくとも１つの目標対象に状態が開眼である目標対象が存在すると決定することに応答して、当該ユーザが現在のアイデンティティ認証プロセスに対して認識していると判断することができ、この場合に顔認識して、顔認識結果に従って決定されたアイデンティティ認証結果は、精度が高く、セキュリティが高いなどの特徴がある。本開示は、顔認識の方式、顔認識結果の形式、顔認識結果に基づいてアイデンティティ認証結果を決定する方式に対して限定しない。
【０２２４】
図１４は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図１４に示されたように、前記方法は、次のステップをさらに含み得る。ステップＳ１１１において、前記識別される画像を顔認識して、顔認識結果を取得する。
【０２２５】
対応的に、ステップＳ１０３は、次のステップを含み得る。ステップＳ１０３４において、少なくとも前記顔認識結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定する。
【０２２６】
いくつかの実施例において、前記識別される画像を顔認識して成功した後、前記少なくとも１つの目標対象の状態を決定する。または、前記識別される画像の顔認識および前記少なくとも１つの目標対象の状態の決定を同時に実行し、または、少なくとも１つの目標対象の状態を決定した後、前記識別される画像の顔認識を実行する。例を挙げると、ユーザの携帯電話は、少なくとも１つの目標対象の状態を決定する前、決定した後または決定すると同時に、前記識別される画像を顔認識するなど、前記識別される画像に対して顔認識して、顔認識結果を取得することができる。顔認識プロセスは以上で述べられ、ここでは繰り返しない。
【０２２７】
一例において、前記顔認識結果が認識成功であり、且つ前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定する。別の例において、前記顔認識結果が認識失敗であり、または前記少なくとも１つの目標対象の各目標対象の状態が閉眼であることに応答して、アイデンティティ認証が失敗したと決定する。
【０２２８】
例を挙げると、ユーザの携帯電話は、顔認識結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することができる。例を挙げると、認証成功の条件をプリセットすることができる。例えば、顔認識結果が当該識別される画像における顔画像が非基準対象であることを示す場合、顔認識結果および前記少なくとも１つの目標対象の状態に基づいてアイデンティティ認証が失敗したと決定することができる。顔認識結果が当該識別される画像における顔画像が基準対象であることを示す場合、顔認識結果および前記少なくとも１つの目標対象の状態に従って、アイデンティティ認証結果を決定することができる。例えば、少なくとも１つの目標対象の状態が開眼であると設定した場合、アイデンティティ認証が成功したと決定する。ユーザの携帯電話は、顔認識結果が当該識別される画像における顔画像が基準対象であり、且つ少なくとも１つの目標対象の状態が開眼であることを示すと決定した場合、アイデンティティ認証結果が認証成功であることを決定する。このようにして、アイデンティティ認証のセキュリティを向上させるのに役立つ。本開示は、顔認識の方式、顔認識結果の形式、顔認識結果に基づいてアイデンティティ認証結果を決定する方式に対して限定しない。
【０２２９】
いくつかの実施例において、前記方法は、前記識別される画像に対して生体検出を実行して、生体検出結果を決定することをさらに含み、前記少なくとも前記顔認識結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することは、前記顔認識結果、前記生体検出結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することを含む。
【０２３０】
一例において、前記顔認識結果が認識成功であり、前記生体検出結果が生体であり、且つ前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定する。別の例において、前記顔認識結果が認識失敗であり、または前記生体検出結果が生体ではなく、または前記少なくとも１つの目標対象の各目標対象の状態が閉眼であることに応答して、アイデンティティ認証が失敗したと決定する。このようにして、アイデンティティ認証のセキュリティを向上させるのに役立つ。本開示は、生体検出の具体的な方法、生体検出結果の形式などに対して限定しない。
【０２３１】
図１５は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図１５に示されたように、前記方法は、次のステップをさらに含み得る。ステップＳ１１２において、アイデンティティ認証が成功したと決定した場合、端末機器のロックを解除する。例を挙げると、ユーザの携帯電話には、顔認証ロック解除機能を持ち、ユーザの携帯電話がロック状態である場合、ユーザは当該携帯電話を使用することができない。ユーザは、当該携帯電話のロックを解除したい場合、携帯電話のカメラを介して、当該ユーザの顔画像など、識別される画像を取得することができ、当該顔画像に基づいてアイデンティティ認証を実行して、アイデンティティ認証が成功したと決定した場合、端末機器のロックを解除することができ、例えば、ユーザはロック解除パスワードを入力する必要がなく、ユーザの携帯電話を解除することができ、ユーザは、当該携帯電話を正常に使用することができる。このようにして、ユーザが端末機器のロックを迅速に解除するのに便利である同時に、端末機器のセキュリティを保証することができる。端末機器は、例えば、携帯電話自体がロックされて、ユーザが当該携帯電話を使用することができないなど、様々なロック状況を有する可能性があることを理解されたい。当該端末機器の特定のアプリケーションプログラムのロックなどであってもよく、本開示の実施例は、これらに限定されない。
【０２３２】
図１６は、本開示の実施例に係る画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図１６に示されたように、前記方法は、次のステップをさらに含む。
【０２３３】
ステップＳ１１３において、アイデンティティ認証が成功したと決定した場合、支払い操作を実行する。例を挙げると、ユーザは、端末機器（携帯電話など）を介して様々な支払い操作を実行することができる。支払い操作を実行する場合、アイデンティティ認証を介して迅速に支払うことができる。例えば、ユーザは、支払いしたい場合、携帯電話カメラを介して、当該ユーザの顔画像など識別される画像を取得することができ、当該顔画像に基づいてアイデンティティ認証を実行し、アイデンティティ認証が成功したと決定した場合、支払い操作を実行することができる。例えば、ユーザが支払いパスワードを入力する必要がなく、支払い操作を実行することができる。このようにして、ユーザが迅速に支払いするのに便利であり、且つ支払いのセキュリティを保証することができる。本開示の実施例は、支払い操作の適用シナリオに対して限定しない。本開示の実施例で決定されたアイデンティティ認証結果は、例えば、以上で述べられたように、アイデンティティ認証が成功したと決定した場合、端末機器のロックを解除して、支払い操作を実行することができるなど、様々な適用シナリオに適用されることができる。さらに、アイデンティティ認証結果に基づいて実行可能な操作である限り、ドアロックの解除、さまざまな仮想アカウントのログイン、同じユーザの複数のアカウントの関連付け、ユーザのアイデンティティ認証などの適用シナリオで実行されることもでき、本開示は、決定されたアイデンティティ認証結果の適用シナリオに対して限定しない。
【０２３４】
いくつかの実施例において、前記方法は、次のステップをさらに含む。
【０２３５】
ステップＳ１２１において、複数の初期サンプル画像および前記複数の初期サンプル画像の注釈情報を取得する。
【０２３６】
ステップＳ１２２において、前記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得し、ここで、前記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含む。
【０２３７】
ステップＳ１２３において、前記少なくとも１つの初期サンプル画像に対して実行する前記変換処理および前記少なくとも１つの初期サンプル画像の注釈情報に基づいて、前記少なくとも１つの拡張サンプル画像の注釈情報を取得する。
【０２３８】
ステップＳ１２４において、前記複数の初期サンプル画像および前記少なくとも１つの拡張サンプル画像が含まれるトレーニングサンプルセットに基づいて、前記画像処理ネットワークをトレーニングする。
【０２３９】
図１７は、本開示の実施例に係る別の画像処理方法のフローチャートである。当該方法は、電子機器またはシステムに適用することができる。当該電子機器は、携帯電話、タブレットコンピュータなど、端末、サーバまたは他の形の機器として提供することができる。図１７に示されたように、当該方法は、次のステップを含む。ステップＳ２０１において、識別される画像における目標領域画像を取得し、前記目標領域画像は、少なくとも１つの目標対象を含む。ステップＳ２０２において、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得する。ステップＳ２０３において、前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定し、ここで、前記状態は、開眼および閉眼を含む。
【０２４０】
本開示の実施例によれば、識別される画像における目標領域画像を取得することができ、前記目標領域画像は、少なくとも１つの目標対象を含み、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することができ、前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定することができ、ここで、前記状態は、開眼および閉眼を含む。このようにして、アイデンティティ認証するために、少なくとも１つの目標対象の状態をより正確に決定することができる。例を挙げると、目標対象の状態が開眼または閉眼であることを決定することができる。いくつかの実施例において、前記目標領域画像に対して識別処理を実行して、少なくとも１つの目標対象の状態を取得することができる。例えば、状態識別ニューラルネットワークを使用して目標領域画像に対して識別処理を実行して、少なくとも１つの目標対象の状態情報を取得することができ、当該状態情報は、当該少なくとも１つの目標対象の状態を指示する。当該状態識別ニューラルネットワークは、トレーニングサンプルセットに従ってトレーニングすることにより取得することができる。例えば、当該状態情報は、開眼または閉眼の信頼度を含み、または状態を指示する識別子またはインジケータを含むことができる。本開示は、少なくとも１つの目標対象の状態情報を決定する方式、状態情報に含まれる情報コンテンツおよびタイプなどに対して限定しない。いくつかの実施例において、前記少なくとも１つの目標対象は、少なくとも片目を含む。いくつかの実施例において、前記少なくとも１つの目標対象は両目であってもよく、対応的に、目標領域画像は、両目を含む１つの領域画像であってもよく、例えば、目標領域画像は顔画像であってもよく、または片目をそれぞれ含む２つの領域画像であってもよく、即ち、左目領域画像および右目領域画像であってもよいなどであってもよく、本開示の実施例は、これらに限定されない。いくつかの実施例において、目標領域画像に対して特徴抽出処理を実行して、目標領域画像の特徴情報を取得することができ、目標領域画像の特徴情報に基づいて、目標領域画像における少なくとも１つの目標対象の状態を決定することができる。いくつかの実施例において、電子機器は、携帯電話、タブレットコンピュータ、コンピュータ、サーバなどの任意の機器であってもよい。例として、携帯電話を電子機器として説明する。例を挙げると、ユーザの携帯電話は、識別される画像における目標領域画像を取得することができ、前記目標領域画像は少なくとも１つの目標対象を含む。例えば、以上で述べられたように、ユーザの携帯電話が取得した識別される画像における目標領域画像は、第１領域画像および第２領域画像を含み得る。ユーザの携帯電話は、目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得する。例えば、以上で述べられたように、ユーザの携帯電話は、様々な方式により、目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することができる。ユーザの携帯電話は、前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定し、ここで、前記状態は、開眼および閉眼を含む。以上で述べられたように、ここでは繰り返しない。
【０２４１】
図１８は、本開示の実施例に係る別の画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図１８に示されたように、ステップＳ２０１は、次のステップを含み得る。ステップＳ２０１１において、前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得する。例を挙げると、深層学習トレーニングを介して、顔キーポイントの位置決めのために使用されるキーポイント位置決めネットワーク（例えば、当該キーポイント位置決めネットワークは、畳み込みニューラルネットワークを含み得る）を取得することができる。当該キーポイント位置決めネットワークは、識別される画像内の少なくとも１つの目標対象に対応するキーポイント情報を決定することができ、少なくとも１つの目標対象が位置する領域を決定する。例えば、当該キーポイント位置決めネットワークは、識別される画像（例えば、顔画像など）内の少なくとも片目のキーポイント情報を決定することができ、少なくとも片目の輪郭点の位置を決定する。ユーザの携帯電話は、様々な方式により、少なくとも片目の近くの画像を取得するなど、識別される画像における目標領域画像を取得することができる。以上で述べられたように、ここでは繰り返しない。このようにして、少なくとも１つの対象に対応するキーポイント情報に従って、目標領域画像を取得することにより、目標領域画像を迅速且つ正確に取得することができ、当該目標領域画像は、少なくとも１つの目標対象を含む。本開示は、少なくとも１つの目標対象に対応するキーポイント情報を決定する方式、キーポイント情報に従って識別される画像における目標領域画像を取得する方式に対して限定しない。
【０２４２】
図１９は、本開示の実施例に係る別の画像処理方法のさらに別のフローチャートである。いくつかの実施例において、前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、図１９に示されたように、ステップＳ２０１は、次のステップを含み得る。
【０２４３】
ステップＳ２０１２において、前記識別される画像における第１領域画像を取得し、ここで、前記第１領域画像は前記第１目標対象を含む。
【０２４４】
ステップＳ２０１３において、前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得し、前記第２領域画像は前記第２目標対象を含む。
【０２４５】
例を挙げると、ユーザの携帯電話は、様々な方法により、例えば、第１目標対象に対応するキーポイント情報に従って、前記識別される画像における第１領域画像を取得する。ユーザの携帯電話は、前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することができ、前記第２領域画像は前記第２目標対象を含む。以上で述べられたように、ここでは繰り返しない。このようにして、前記目標領域画像内の第１領域画像および第２領域画像をより迅速に取得することができる。目標領域画像が第１領域画像および第２領域画像を含む場合、識別される画像における目標領域画像を取得することは、第１目標対象に対応するキーポイント情報および第２目標対象に対応するキーポイント情報に従って、第１領域画像および第２領域画像をそれぞれ取得することもでき、本開示の実施例は、識別される画像における目標領域画像を取得する方式、目標領域画像が含む領域画像の数などに対して限定しないことを理解されたい。
【０２４６】
図２０は、本開示の実施例に係る別の画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図２０に示されたように、ステップＳ２０２は、次のステップを含み得る。
【０２４７】
ステップＳ２０２１において、深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得する。例を挙げると、深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することができる。以上で述べられたように、ここでは繰り返しない。この方式により、深層残差ネットワークを使用して、目標領域画像の特徴情報をより正確に取得することができる。いずれか１つの畳み込みニューラルネットワーク構造を使用して目標領域画像に対して特徴抽出処理を実行して、目標領域画像の特徴情報を取得することができ、本開示の実施例は、これらに限定されないことを理解されたい。
【０２４８】
図２１は、本開示の実施例に係る別の画像処理方法のさらに別のフローチャートである。いくつかの実施例において、図２１に示されたように、ステップＳ２０３は、次のステップを含み得る。ステップＳ２０３１において、前記特徴情報に従って、予測結果を取得し、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む。ステップＳ２０３２において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定する。いくつかの実施例において、目標領域画像の特徴情報に基づいて、目標領域画像の画像有効性情報を決定することができ、目標領域画像の画像有効性情報に基づいて、少なくとも１つの目標対象の状態を決定することができる。例えば、目標領域画像の特徴情報を取得することができ、例えば、トレーニングされたニューラルネットワークを介して目標領域画像に対して特徴抽出して、目標領域画像の特徴情報を取得する。目標領域画像の特徴情報に従って、目標領域画像の画像有効性情報を決定する。例えば、目標領域画像の特徴情報を処理し、例えば、ニューラルネットワークを入力した全結合層を処理して、目標領域画像の画像有効性情報を取得する。目標領域画像の画像有効性情報に基づいて、少なくとも１つの目標対象の状態を決定する。本開示は、目標領域画像特徴情報を決定する方式、目標領域画像の画像有効性情報を決定し、および目標領域画像の画像有効性情報に基づいて、少なくとも１つの目標対象の状態を決定する方式に対して限定しない。
【０２４９】
例を挙げると、ユーザの携帯電話は、特徴情報に従って、予測結果を取得することができ、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む。ユーザの携帯電話は、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することができる。以上で述べられたように、ここでは繰り返しない。このようにして、様々な方式により、少なくとも１つの目標対象の状態を決定することができる。本開示は、予測結果に従って少なくとも１つの目標対象の状態を決定する方式に対して限定しない。いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定する（ステップＳ２０３２）ことは、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定することを含み得る。
【０２５０】
いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定する（ステップＳ２０３２）ことは、前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定することを含み得る。例を挙げると、以上で述べられたように、ユーザの携帯電話によって取得された予測結果に画像有効性情報が含まれ、且つ、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定することができる。
【０２５１】
いくつかの実施例において、画像有効性情報は有効な信頼度を含み得、ここで、有効な信頼度は、当該画像有効性情報が有效である確率情報を示すことができる。例えば、目標領域画像が有効であるか無効であるかを判断する第１閾値をプリセットすることができ、例えば、画像有効性情報に含まれる有効な信頼度が第１閾値より低い場合、前記目標領域画像が無効であることを決定することができ、目標領域画像が無効である場合、少なくとも１つの目標対象の状態が閉眼であることを決定することができる。この方式により、少なくとも１つの目標対象の状態を迅速且つ効果的に決定することができる。本開示は、画像有効性情報が前記目標領域画像が無効であることを示すことを決定する方式に対して限定しない。
【０２５２】
いくつかの実施例において、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定する（ステップＳ２０３２）ことは、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定することを含み得る。例を挙げると、以上で述べられたように、少なくとも１つの目標対象の状態が開眼であるか閉眼であるかを判断する第２閾値をプリセットすることができ、例えば、状態情報の開眼の信頼度が第２閾値を超えた場合、少なくとも１つの目標対象の状態が開眼であることを決定することができ、状態情報の開眼の信頼度が第２閾値より低い場合、少なくとも１つの目標対象の状態が閉眼であることを決定することができる。予測結果における画像有効性情報に含まれる有効な信頼度が第１閾値を超え（この場合、画像有効性情報は、当該目標領域画像が有效であることを示す）、且つ目標対象の開眼の信頼度が第２閾値を超えた場合（この場合、状態情報は、当該少なくとも１つの目標対象の状態が開眼であることを示す）、ユーザの携帯電話は、当該目標状態の状態が開眼であることを決定することができる。この方式により、ユーザがアイデンティティ認証に対して認識しているかどうかを判断するために、少なくとも１つの目標対象の状態をより正確に決定することができる。第１閾値および第２閾値はシステムで設定することができ、本開示は、第１閾値および第２閾値の決定方式、第１閾値および第２閾値の具体的な値に対して限定しないことを理解されたい。
【０２５３】
図１７〜２１に示された画像処理方法は、以上に記載の画像処理ネットワークによって実現されることができるが、本開示の実施例はこれらに対して限定しないことを理解されたい。
【０２５４】
図２２は、本開示の実施例に係る画像処理装置の例示的なブロック図である。前記画像処理装置は、端末（例えば、携帯電話、タブレット、コンピュータなど）、サーバまたは他の形の機器として提供することができる。図２２に示されたように、前記装置は、識別される画像における目標領域画像を取得するように構成される画像取得モジュール３０１であって、前記目標領域画像は、少なくとも１つの目標対象を含む画像取得モジュール３０１と、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定するように構成される状態決定モジュール３０２であって、前記状態は、開眼および閉眼を含む状態決定モジュール３０２と、前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定するように構成される認証結果決定モジュール３０３とを含む。
【０２５５】
いくつかの実施例において、前記少なくとも１つの目標対象は、少なくとも片目を含む。
【０２５６】
図２３は、本開示の実施例に係る画像処理装置の別の例示的なブロック図である。図２３に示されたように、いくつかの実施例において、前記認証結果決定モジュール３０３は、前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定し、または、在前記少なくとも１つの目標対象に状態が開眼である目標対象が存在する場合、アイデンティティ認証が成功したと決定するように構成される第１決定サブモジュール３０３１を含む。
【０２５７】
図２３に示されたように、いくつかの実施例において、前記装置は、前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定する前に、ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定するように構成されるプリセットの画像情報決定モジュール３１０をさらに含み、前記状態決定モジュール３０２は、前記ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在することに応答して、前記少なくとも１つの目標対象の状態を決定するように構成される状態決定サブモジュール３０２４を含む。
【０２５８】
図２３に示されたように、いくつかの実施例において、前記装置は、前記識別される画像を顔認識して、顔認識結果を取得するように構成される識別結果取得モジュール３１１をさらに含み、前記認証結果決定モジュール３０３は、少なくとも前記顔認識結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定するように構成される第２決定サブモジュール３０３４を含む。図２３に示されたように、いくつかの実施例において、前記認証結果決定モジュール３０３は、前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、前記識別される画像を顔認識して、顔認識結果を取得するように構成される識別結果取得サブモジュール３０３２と、前記顔認識結果に基づいて、アイデンティティ認証結果を決定するように構成される第３決定サブモジュール３０３３とを含む。
【０２５９】
図２３に示されたように、いくつかの実施例において、前記画像取得モジュール３０１は、前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得するように構成される画像取得サブモジュール３０１１を含む。図２３に示されたように、いくつかの実施例において、前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、ここで、前記画像取得モジュール３０１は、前記識別される画像における第１領域画像を取得するように構成される第１画像取得サブモジュール３０１２であって、前記第１領域画像は前記第１目標対象を含む第１画像取得サブモジュール３０１２と、前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得するように構成される第２画像取得サブモジュール３０１３であって、前記第２領域画像は前記第２目標対象を含む第２画像取得サブモジュール３０１３とを含む。図２３に示されたように、いくつかの実施例において、前記状態決定モジュール３０２は、前記目標領域画像を処理して、予測結果を取得するように構成される予測結果取得サブモジュール３０２１であって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む予測結果取得サブモジュール３０２１と、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定するように構成される第４決定サブモジュール３０２２とを含む。
【０２６０】
いくつかの実施例において、前記第４決定サブモジュール３０２２は、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定するように構成される閉眼決定サブモジュールを含む。いくつかの実施例において、前記第４決定サブモジュール３０２２は、前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定するように構成される第１対象状態決定サブモジュールを含む。
【０２６１】
いくつかの実施例において、前記画像有効性情報は有効な信頼度を含み、前記状態情報は開眼の信頼度を含み、前記第４決定サブモジュール３０２２は、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定するように構成される開眼決定サブモジュールを含む。いくつかの実施例において、前記予測結果取得サブモジュール３０２１は、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される特徴情報取得サブモジュールと、前記特徴情報に従って、予測結果を取得するように構成される結果取得サブモジュールとを含む。いくつかの実施例において、前記特徴情報取得サブモジュールは、深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される情報取得サブモジュールを含む。
【０２６２】
図２３に示されたように、いくつかの実施例において、前記装置は、アイデンティティ認証が成功したと決定した場合、端末機器のロックを解除するように構成されるロック解除モジュール３１２をさらに含む。図２３に示されたように、いくつかの実施例において、前記装置は、アイデンティティ認証が成功したと決定した場合、支払い操作を実行するように構成される支払いモジュール３１３をさらに含む。
【０２６３】
図２３に示されたように、いくつかの実施例において、前記状態決定モジュール３０２は、画像処理ネットワークを使用して前記目標領域画像を処理して、前記少なくとも１つの目標対象の状態を取得するように構成される状態取得サブモジュール３０２３を含み、ここで、前記装置は、複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングするように構成されるトレーニングモジュール３０４をさらに含む。図２３に示されたように、いくつかの実施例において、前記トレーニングモジュール３０４は、前記複数のサンプル画像に対して前処理して、前処理後の前記複数のサンプル画像を取得するように構成されるサンプル画像取得サブモジュール３０４１と、前処理後の前記複数のサンプル画像に従って、前記画像処理ネットワークをトレーニングするように構成されるトレーニングサブモジュール３０４２とを含む。
【０２６４】
図２３に示されたように、いくつかの実施例において、前記トレーニングモジュール３０４は、前記サンプル画像を前記画像処理ネットワークに入力して処理して、前記サンプル画像に対応する予測結果を取得するように構成される予測結果決定サブモジュール３０４３と、前記サンプル画像に対応する予測結果および注釈情報に従って、前記画像処理ネットワークのモデルが損失したと決定するように構成されるモデル損失決定サブモジュール３０４４と、前記モデルの損失に従って、前記画像処理ネットワークのネットワークパラメータ値を調整するように構成されるネットワークパラメータ調整サブモジュール３０４５とを含む。
【０２６５】
図２３に示されたように、いくつかの実施例において、前記装置は、複数の初期サンプル画像および前記複数の初期サンプル画像の注釈情報を取得するように構成される取得モジュール３０５と、前記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得するように構成される拡張サンプル画像取得モジュール３０６であって、前記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含む拡張サンプル画像取得モジュール３０６と、前記少なくとも１つの初期サンプル画像に対して実行する前記変換処理および前記少なくとも１つの初期サンプル画像の注釈情報に基づいて、前記少なくとも１つの拡張サンプル画像の注釈情報を取得するように構成される注釈情報取得モジュール３０７であって、前記複数のサンプル画像は、前記複数の初期サンプル画像および前記少なくとも１つの拡張サンプル画像を含む注釈情報取得モジュール３０７とをさらに含む。図２３に示されたように、いくつかの実施例において、前記装置は、前記画像処理ネットワークを使用してテストサンプルを処理して、前記テストサンプルの予測結果を取得するように構成される結果決定モジュール３０８と、前記テストサンプルの予測結果および前記テストサンプルの注釈情報に基づいて、前記画像処理ネットワークの閾値パラメータを決定するように構成される閾値パラメータ決定モジュール３０９とさらに含む。
【０２６６】
いくつかの実施例において、前記装置は、図２２に示された構成要素以外にも、さらに、
複数の初期サンプル画像および前記複数の初期サンプル画像の注釈情報を取得するように構成される取得モジュールと、
前記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得するように構成される拡張サンプル画像取得モジュールであって、前記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含む拡張サンプル画像取得モジュールと、
前記少なくとも１つの初期サンプル画像に対して実行する前記変換処理および前記少なくとも１つの初期サンプル画像の注釈情報に基づいて、前記少なくとも１つの拡張サンプル画像の注釈情報を取得するように構成される注釈情報取得モジュールと、
前記複数の初期サンプル画像および前記少なくとも１つの拡張サンプル画像が含まれるトレーニングサンプルセットに基づいて、前記画像処理ネットワークをトレーニングするように構成されるトレーニングネットワークモジュールとを含むことができる。
【０２６７】
図２４は、本開示の実施例に係る別の画像処理装置の例示的なブロック図である。前記画像処理装置は、端末（例えば、携帯電話、タブレットなど）、サーバまたは他の形の機器として提供することができる。図２４に示されたように、前記装置は、識別される画像における目標領域画像を取得するように構成される目標領域画像取得モジュール４０１であって、前記目標領域画像は、少なくとも１つの目標対象を含む目標領域画像取得モジュール４０１と、前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される情報取得モジュール４０２と、前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定するように構成される決定モジュール４０３であって、前記状態は、開眼および閉眼を含む決定モジュール４０３とを含む。
【０２６８】
図２５は、本開示の実施例に係る別の画像処理装置の別の例示的なブロック図である。図２５に示されたように、いくつかの実施例において、前記目標領域画像取得モジュール４０１は、前記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得するように構成される第１取得サブモジュール４０１１を含む。
【０２６９】
図２５に示されたように、いくつかの実施例において、前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、ここで、前記目標領域画像取得モジュール４０１は、前記識別される画像における第１領域画像を取得するように構成される第２取得サブモジュール４０１２であって、前記第１領域画像は前記第１目標対象を含む第２取得サブモジュール４０１２と、前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得するように構成される第３取得サブモジュール４０１３であって、前記第２領域画像は前記第２目標対象を含む第３取得サブモジュール４０１３とを含む。
【０２７０】
図２５に示されたように、いくつかの実施例において、前記決定モジュール４０３は、前記特徴情報に従って、予測結果を取得するように構成される第４取得サブモジュール４０３１であって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む第４取得サブモジュール４０３１と、前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定するように構成される第５決定サブモジュール４０３２とを含む。いくつかの実施例において、前記第５決定サブモジュール４０３２は、前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定するように構成される第６決定サブモジュールを含む。
【０２７１】
いくつかの実施例において、前記第５決定サブモジュール４０３２は、前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定するように構成される第２対象状態決定サブモジュールを含む。いくつかの実施例において、前記画像有効性情報は有効な信頼度を含み、前記状態情報は開眼の信頼度を含む。
【０２７２】
前記第５決定サブモジュール４０３２は、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定するように構成される第７決定サブモジュールを含む。図２５に示されたように、いくつかの実施例において、前記情報取得モジュール４０２は、深層残差ネットワークを使用して前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される第５取得サブモジュール４０２１を含む。
【０２７３】
図２６は、本開示の実施例に係る電子機器の例示的なブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。図２６を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電力コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの１つまたは複数のコンポーネットを含むことができる。処理コンポーネント８０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような電子機器８００の全般的な操作を制御する。処理コンポーネント８０２は、前記方法のステップのすべてまたは一部を完了するために、１つまたは複数のプロセッサ８２０を含んで命令を実行することができる。加えて、処理コンポーネント８０２は、処理コンポーネント８０２と他のコンポーネントの間の相互作用を容易にするために、１つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８と処理コンポーネント８０２との間の相互作用を容易にするために、マルチメディアモジュールを含むことができる。メモリ８０４は、機器８００での操作をサポートするために、様々なタイプのデータを格納するように構成される。これらのデータの例には、電子機器８００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現されることができる。電力コンポーネント８０６は、電子機器８００の様々なコンポーネントに電力を提供する。電力コンポーネント８０６は、電力管理システム、１つまたは複数の電源、及び電子機器８００のための電力の生成、管理および割り当てに関する他のコンポーネントを含むことができる。マルチメディアコンポーネント８０８は、前記電子装置８００とユーザとの間の、出力インターフェースを提供するスクリーンを含む。いくつかの実施形態において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含み得る。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実装されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間及び圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント８０８は、１つのフロントカメラ及び／またはリアカメラを含む。電子機器８００が撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラ及び／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定光学レンズシステムであり、または焦点距離と光学ズーム機能を持つことができる。オーディオコンポーネント８１０は、オーディオ信号を出力及び／または入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイクロフォン（ＭＩＣ）を含み、電子機器８００が通話モード、録音モード及び音声認識モードなどの動作モードである場合、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ８０４にさらに格納されてもよく、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するためのスピーカをさらに含む。Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを含むが、これらに限定されない。センサコンポーネント８１４は、電子機器８００に各態様の状態評価を提供するための１つまたは複数のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、コンポーネントの相対的な位置を検出することができ、例えば、前記コンポーネントは、電子機器８００のディスプレイやキーパッドなどであり、センサコンポーネント８１４は、電子機器８００または電子機器８００の１つのコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加速／減速、及び電子機器８００の温度の変化も検出することができる。センサコンポ―ネット８１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを含むことができる。センサコンポーネント８１４は、撮像用途で使用するためのＣＭＯＳまたはＣＣＤ画像センサなどの光センサも含むことができる。いくつかの実施例において、前記センサコンポーネント８１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサをさらに含むことができる。
【０２７４】
通信コンポーネント８１６は、電子機器８００と他の機器の間の有線または無線方式の通信を容易にするように構成される。電子機器８００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、前記通信コンポーネント８１６は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント８１６は、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて具現することができる。例示的に、電子機器８００は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができ、前記方法を実行するように構成される。例示的に、コンピュータプログラム命令を含むメモリ８０４などの、不揮発性コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されて前記方法を完了することができる。
【０２７５】
図２７は、本開示の実施例に係る電子機器の別の例示的なブロック図である。例えば、電子機器１９００は、サーバとして提供されることができる。図２７を参照すると、電子機器１９００は、処理コンポーネント１９２２を含み、１つまたは複数のプロセッサと、アプリケーションプログラムなど、処理コンポーネント１９２２によって実行可能な命令を記憶するように構成されるメモリ１９３２によって表されるメモリリソースとさらにを含む。メモリ１９３２に記憶されたアプリケーションプログラムは、１つまたは１つ以上の１セットの命令に対応する各モジュールを含み得る。さらに、処理コンポーネント１９２２は、前記音声対話方法を実行するための命令を実行するように構成される。電子機器１９００は、電子装置１９００の電源管理を実行するように構成される１つの電力コンポーネント１９２６、電子装置１９００をネットワークに接続するように構成される１つの有線または無線ネットワークインターフェース１９５０、および１つの入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェース１９５８をさらに含み得る。電子機器１９００は、メモリ１９３２に記憶されたＷｉｎｄｏｗｓ（登録商標）  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭまたは類似したものなどの操作システムに基づいて操作されることができる。例示的に、コンピュータプログラム命令を含むメモリ１９３２などの、不揮発性コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されて前記方法を完了することができる。本開示は、システム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサが本開示の様々な態様を実現するようにするためのコンピュータ読み取り可能なプログラム命令がロードだれたコンピュータ読み取り可能な記憶媒体を含み得る。コンピュータ読み取り可能な記憶媒体は、命令実行機器によって使用される命令を保留および記憶することができる有形機器であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体記憶機器または前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的リスト）は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、命令が記憶されたパンチカードまたは溝の凸構造、および前述の任意の適切な組み合わせなどの機械的符号化機器を含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、電波や自由に伝播される他の電磁波、導波管や他の伝播媒体を介して伝播される電磁波（例えば、光ファイバーケーブルを介した光パルスなど）、またはワイヤを介して伝送される電子信号などの、一時的な信号として解釈されてはならない。
【０２７６】
ここで説明されるコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から様々なコンピューティング／処理機器にダウンロードするか、ネットワークを介して外部コンピュータまたは外部記憶機器にダウンロードすることができる。各コンピューティング／処理機器におけるネットワークアダプターカードまたはネットワークインターフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、各コンピューティング／処理機器におけるコンピュータ読み取り可能な記憶媒体に記憶するために、当該コンピュータ読み取り可能なプログラム命令を転送する。
【０２７７】
本開示の操作を実行するために使用されるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または以１つまたは複数のプログラミング言語の任意の組み合わせでプログラミングされたソースコードまたは目標コードであってもよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む。コンピュータ読み取り可能なプログラム命令は、ユーザのコンピュータで完全にまたは部分的に実行されることができ、１つの独立したソフトウェアパッケージとして実行され、部分的にユーザのコンピュータで、部分的にリモートコンピュータで実行されることができ、または完全にリモートコンピュータまたはサーバで実行されることができる。ここで、本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロックを参照して本開示の各態様を説明する。フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図における各ブロックの組み合わせのすべては、コンピュータ読み取り可能なプログラム命令によって実行されることができることを理解されたい。
【０２７８】
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに提供することができ、それにより、マシンを作成して、これらの命令がコンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって実行されるときに、フローチャートおよび／またはブロック図における１つのまたは複数のブロックで規定した機能／動作を実現する装置を作成するようにする。これらのコンピュータ読み取り可能なプログラム命令をコンピュータ読み取り可能な記憶媒体に記憶してもよく、これらの命令は、コンピュータ、プログラム可能データ処理装置および／または他の機器が特定方式で動作するようにし、それにより、命令が記憶されたコンピュータ読み取り可能な媒体は、フローチャートおよび／またはブロック図における１つまたは複数のブロックで規定した機能功能／実現する各態様の命令を含む、製品を含む。
【０２７９】
コンピュータ読み取り可能なプログラム命令をコンピュータ、他のプログラム可能な数据処理装置、または他の機器にローディングして、一連の操作ステップをコンピュータ、プログラム可能な数据処理装置または他の機器で実行することができるようにし、コンピュータによって実現されるプロセスを作成し、それにより、コンピュータ、他のプログラム可能な数据処理装置、または他の機器で実行される命令がフローチャートおよび／またはブロック図における１つまたは複数のブロックで規定した機能／動作を実現することができるようにする。
【０２８０】
図１７〜２１に示された画像処理方法は、以上に記載の画像処理ネットワークによって実現されることができるが、本開示の実施例はこれらに対して限定しないことを理解されたい。
【０２８１】
図面におけるフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能な実装アーキテクチャ、機能および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラムセグメントまたは命令の一部を表すことができ、前記モジュール、プログラムセグメントまたは命令の一部は、規定された論理機能を実現するために使用される１つまたは複数の実行可能な命令を含む。いくつかの代替的な実現では、ブロックで表示された機能は、図面で表示された順序と異なる順序で発生することができる。例えば、連続して示された２つのブロックは、実際には、並行して実行される場合や、逆の順序で実行される場合があり、これは、関連する機能によって決定される。ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、規定された機能または動作を実行する専用のハードウェアに基づくシステムによって実現することができ、またはハードウェアとコンピュータ命令の組み合わせによって実現されることができることにも留意されたい。
【０２８２】
以上、本開示の各実施例を説明したが、以上の説明は網羅的ではなく、例示的なものに過ぎず、開示された各実施例に限定されない。当業者にとって、説明された各実施例の範囲および思想から逸脱することなく、多くの修正および変更は明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の応用または市場における技術の改善を最もよく説明するか、当業者が本明細書で開示された各実施例を理解することができるようにすることを意図する。
【図１】
2021516405.tif 000038
【図２】
2021516405.tif 000039
【図３】
2021516405.tif 000040
【図４】
2021516405.tif 000041
【図５】
2021516405.tif 000042
【図６】
2021516405.tif 000043
【図７】
2021516405.tif 000044
【図８】
2021516405.tif 000045
【図９】
2021516405.tif 000046
【図１０】
2021516405.tif 000047
【図１１】
2021516405.tif 000048
【図１２】
2021516405.tif 000049
【図１３】
2021516405.tif 000050
【図１４】
2021516405.tif 000051
【図１５】
2021516405.tif 000052
【図１６】
2021516405.tif 000053
【図１７】
2021516405.tif 000054
【図１８】
2021516405.tif 000055
【図１９】
2021516405.tif 000056
【図２０】
2021516405.tif 000057
【図２１】
2021516405.tif 000058
【図２２】
2021516405.tif 000059
【図２３】
2021516405.tif 000060
【図２４】
2021516405.tif 000061
【図２５】
2021516405.tif 000062
【図２６】
2021516405.tif 000063
【図２７】
2021516405.tif 000064
【手続補正書】
【提出日】令和2年9月18日(2020.9.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像処理方法であって、
識別される画像における目標領域画像を取得することであって、前記目標領域画像は、少なくとも１つの目標対象を含むことと、
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することであって、前記状態は、開眼および閉眼を含むことと、
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することとを含む、前記画像処理方法。
【請求項２】
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、
前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定することを含む、
請求項１に記載の画像処理方法。
【請求項３】
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定する前に、ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定することをさらに含み、
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することは、前記ベースライブラリに前記識別される画像とマッチングするプリセットの画像情報が存在することに応答して、前記少なくとも１つの目標対象の状態を決定することを含む、
請求項１または２に記載の画像処理方法。
【請求項４】
前記識別される画像を顔認識して、顔認識結果を取得することをさらに含み、
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、少なくとも前記顔認識結果および前記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することを含む、
請求項１または２に記載の画像処理方法。
【請求項５】
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、
前記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、前記識別される画像を顔認識して、顔認識結果を取得することと、
前記顔認識結果に基づいて、アイデンティティ認証結果を決定することとを含む、
請求項１または２に記載の画像処理方法。
【請求項６】
前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
前記識別される画像における目標領域画像を取得することは、
前記識別される画像における第１領域画像を取得することであって、前記第１領域画像は前記第１目標対象を含み、
前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することであって、前記第２領域画像は前記第２目標対象を含む、
請求項１ないし５のいずれか一項に記載の画像処理方法。
【請求項７】
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定することは、
前記目標領域画像を処理して、予測結果を取得することであって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含むことと、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することとを含む、
請求項１ないし６のいずれか一項に記載の画像処理方法。
【請求項８】
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、
前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定すること、および／または、
前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定することを含む、
請求項７に記載の画像処理方法。
【請求項９】
前記画像有効性情報は有効な信頼度を含み、前記状態情報は開眼の信頼度を含み、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定することを含む、
請求項７または８に記載の画像処理方法。
【請求項１０】
前記目標領域画像を処理して、予測結果を取得することは、
前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することと、
前記特徴情報に従って、予測結果を取得することとを含む、
請求項７ないし９のいずれか一項に記載の画像処理方法。
【請求項１１】
アイデンティティ認証が成功したと決定したことに応答して、端末機器のロックを解除することをさらに含み、または、
アイデンティティ認証が成功したと決定したことに応答して、支払い操作を実行することをさらに含む、
請求項１ないし１０のいずれか一項に記載の画像処理方法。
【請求項１２】
画像処理方法であって、
識別される画像における目標領域画像を取得することであって、前記目標領域画像は、少なくとも１つの目標対象を含むことと、
前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得することと、
前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定することであって、前記状態は、開眼および閉眼を含む、前記画像処理方法。
【請求項１３】
前記目標領域画像は、第１領域画像および第２領域画像を含み、前記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
前記識別される画像における目標領域画像を取得することは、
前記識別される画像における第１領域画像を取得することであって、前記第１領域画像は前記第１目標対象を含むことと、
前記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することであって、前記第２領域画像は前記第２目標対象を含むこととを含む、
請求項１２に記載の画像処理方法。
【請求項１４】
前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定することは、
前記特徴情報に従って、予測結果を取得することであって、前記予測結果は、前記目標領域画像の画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含むことと、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することとを含む、
請求項１２または１３に記載の画像処理方法。
【請求項１５】
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、
前記画像有効性情報が前記目標領域画像の無効を示すことに応答して、前記少なくとも１つの目標対象の状態が閉眼であると決定すること、および／または、
前記画像有効性情報が前記目標領域画像の有効を示すことに応答して、前記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、前記各目標対象の状態を決定することを含む、
請求項１４に記載の画像処理方法。
【請求項１６】
前記画像有効性情報は有効な信頼度を含み、前記状態情報は開眼の信頼度を含み、
前記画像有効性情報および前記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、前記少なくとも１つの目標対象の状態を決定することは、前記有効な信頼度が第１閾値を超え、且つ前記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、前記目標対象の状態が開眼であると決定することを含む、
請求項１４または１５に記載の画像処理方法。
【請求項１７】
画像処理装置であって、
識別される画像における目標領域画像を取得するように構成される画像取得モジュールであって、前記目標領域画像は、少なくとも１つの目標対象を含む画像取得モジュールと、
前記目標領域画像に基づいて、前記少なくとも１つの目標対象の状態を決定するように構成される状態決定モジュールであって、前記状態は、開眼および閉眼を含む状態決定モジュールと、
前記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定するように構成される認証結果決定モジュールとを含む、前記画像処理装置。
【請求項１８】
画像処理装置であって、
識別される画像における目標領域画像を取得するように構成される目標領域画像取得モジュールであって、前記目標領域画像は、少なくとも１つの目標対象を含む目標領域画像取得モジュールと、
前記目標領域画像に対して特徴抽出処理を実行して、前記目標領域画像の特徴情報を取得するように構成される情報取得モジュールと、
前記特徴情報に従って、前記少なくとも１つの目標対象の状態を決定するように構成される決定モジュールであって、前記状態は、開眼および閉眼を含む決定モジュールとを含む、前記画像処理装置。
【請求項１９】
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、
前記プロセッサは、前記メモリに記憶された命令を読み出して、請求項１ないし１６のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
【請求項２０】
コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１ないし１６のいずれか一項に記載の方法を実現する、前記コンピュータ読み取り可能な記憶媒体。
【請求項２１】
コンピュータプログラム命令を含む、コンピュータプログラム製品であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１ないし１６のいずれか一項に記載の方法を実現する、前記コンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
本開示の実施例において、識別される画像における目標領域画像を取得し、目標領域画像における少なくとも１つの目標対象の状態を決定することができ、少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することができ、アイデンティティ認証のセキュリティを向上させるのに有益である。
例えば、本願は以下の項目を提供する。
（項目１）
画像処理方法であって、
識別される画像における目標領域画像を取得することであって、上記目標領域画像は、少なくとも１つの目標対象を含むことと、
上記目標領域画像に基づいて、上記少なくとも１つの目標対象の状態を決定することであって、上記状態は、開眼および閉眼を含むことと、
上記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することとを含む、上記画像処理方法。
（項目２）
上記少なくとも１つの目標対象は、少なくとも片目を含む、
項目１に記載の画像処理方法。
（項目３）
上記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、
上記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定することを含む、
項目１または２に記載の画像処理方法。
（項目４）
上記目標領域画像に基づいて、上記少なくとも１つの目標対象の状態を決定する前に、ベースライブラリに上記識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定することをさらに含み、
上記目標領域画像に基づいて、上記少なくとも１つの目標対象の状態を決定することは、上記ベースライブラリに上記識別される画像とマッチングするプリセットの画像情報が存在することに応答して、上記少なくとも１つの目標対象の状態を決定することを含む、
項目１ないし３のいずれか一項に記載の画像処理方法。
（項目５）
上記識別される画像を顔認識して、顔認識結果を取得することをさらに含み、
上記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、少なくとも上記顔認識結果および上記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定することを含む、
項目１ないし３のいずれか一項に記載の画像処理方法。
（項目６）
上記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定することは、
上記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、上記識別される画像を顔認識して、顔認識結果を取得することと、
上記顔認識結果に基づいて、アイデンティティ認証結果を決定することとを含む、
項目１ないし３のいずれか一項に記載の画像処理方法。
（項目７）
上記識別される画像における目標領域画像を取得することは、
上記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得することを含む、
項目１ないし６のいずれか一項に記載の画像処理方法。
（項目８）
上記目標領域画像は、第１領域画像および第２領域画像を含み、上記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
上記識別される画像における目標領域画像を取得することは、
上記識別される画像における第１領域画像を取得することであって、上記第１領域画像は上記第１目標対象を含み、
上記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することであって、上記第２領域画像は上記第２目標対象を含む、
項目１ないし７のいずれか一項に記載の画像処理方法。
（項目９）
上記目標領域画像に基づいて、上記少なくとも１つの目標対象の状態を決定することは、
上記目標領域画像を処理して、予測結果を取得することであって、上記予測結果は、上記目標領域画像の画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含むことと、
上記画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、上記少なくとも１つの目標対象の状態を決定することとを含む、
項目１ないし８のいずれか一項に記載の画像処理方法。
（項目１０）
上記画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、上記少なくとも１つの目標対象の状態を決定することは、
上記画像有効性情報が上記目標領域画像の無効を示すことに応答して、上記少なくとも１つの目標対象の状態が閉眼であると決定すること、および／または、
上記画像有効性情報が上記目標領域画像の有効を示すことに応答して、上記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、上記各目標対象の状態を決定することを含む、
項目９に記載の画像処理方法。
（項目１１）
上記画像有効性情報は有効な信頼度を含み、上記状態情報は開眼の信頼度を含み、
上記画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、上記少なくとも１つの目標対象の状態を決定することは、上記有効な信頼度が第１閾値を超え、且つ上記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、上記目標対象の状態が開眼であると決定することを含む、
項目９または１０に記載の画像処理方法。
（項目１２）
上記目標領域画像を処理して、予測結果を取得することは、
上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得することと、
上記特徴情報に従って、予測結果を取得することとを含む、
項目９ないし１１のいずれか一項に記載の画像処理方法。
（項目１３）
上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得することは、
深層残差ネットワークを使用して上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得することを含む、
項目１２に記載の画像処理方法。
（項目１４）
アイデンティティ認証が成功したと決定したことに応答して、端末機器のロックを解除することをさらに含む、
項目１ないし１３のいずれか一項に記載の画像処理方法。
（項目１５）
アイデンティティ認証が成功したと決定したことに応答して、支払い操作を実行することをさらに含む、
項目１ないし１３のいずれか一項に記載の画像処理方法。
（項目１６）
上記目標領域画像に基づいて、上記少なくとも１つの目標対象の状態を決定することは、
画像処理ネットワークを使用して上記目標領域画像を処理して、上記少なくとも１つの目標対象の状態を取得することを含む、
項目１ないし１５のいずれか一項に記載の画像処理方法。
（項目１７）
複数の初期サンプル画像および上記複数の初期サンプル画像の注釈情報を取得することと、
上記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得することであって、上記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含むことと、
上記少なくとも１つの初期サンプル画像に対して実行する上記変換処理および上記少なくとも１つの初期サンプル画像の注釈情報に基づいて、上記少なくとも１つの拡張サンプル画像の注釈情報を取得することと、
上記複数の初期サンプル画像および上記少なくとも１つの拡張サンプル画像が含まれるトレーニングサンプルセットに基づいて、上記画像処理ネットワークをトレーニングすることとを含む、
項目１６に記載の画像処理方法。
（項目１８）
画像処理方法であって、
識別される画像における目標領域画像を取得することであって、上記目標領域画像は、少なくとも１つの目標対象を含むことと、
上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得することと、
上記特徴情報に従って、上記少なくとも１つの目標対象の状態を決定することであって、上記状態は、開眼および閉眼を含む、上記画像処理方法。
（項目１９）
上記識別される画像における目標領域画像を取得することは、
上記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得することを含む、
項目１８に記載の画像処理方法。
（項目２０）
上記目標領域画像は、第１領域画像および第２領域画像を含み、上記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
上記識別される画像における目標領域画像を取得することは、
上記識別される画像における第１領域画像を取得することであって、上記第１領域画像は上記第１目標対象を含むことと、
上記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得することであって、上記第２領域画像は上記第２目標対象を含むこととを含む、
項目１８または１９に記載の画像処理方法。
（項目２１）
上記特徴情報に従って、上記少なくとも１つの目標対象の状態を決定することは、
上記特徴情報に従って、予測結果を取得することであって、上記予測結果は、上記目標領域画像の画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含むことと、
上記画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、上記少なくとも１つの目標対象の状態を決定することとを含む、
項目１８ないし２０のいずれか一項に記載の画像処理方法。
（項目２２）
上記画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、上記少なくとも１つの目標対象の状態を決定することは、
上記画像有効性情報が上記目標領域画像の無効を示すことに応答して、上記少なくとも１つの目標対象の状態が閉眼であると決定すること、および／または、
上記画像有効性情報が上記目標領域画像の有効を示すことに応答して、上記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、上記各目標対象の状態を決定することを含む、
項目２１に記載の画像処理方法。
（項目２３）
上記画像有効性情報は有効な信頼度を含み、上記状態情報は開眼の信頼度を含み、
上記画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、上記少なくとも１つの目標対象の状態を決定することは、上記有効な信頼度が第１閾値を超え、且つ上記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、上記目標対象の状態が開眼であると決定することを含む、
項目２１または２２に記載の画像処理方法。
（項目２４）
上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得することは、
深層残差ネットワークを使用して上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得することを含む、
項目１８ないし２２のいずれか一項に記載の画像処理方法。
（項目２５）
画像処理装置であって、
識別される画像における目標領域画像を取得するように構成される画像取得モジュールであって、上記目標領域画像は、少なくとも１つの目標対象を含む画像取得モジュールと、
上記目標領域画像に基づいて、上記少なくとも１つの目標対象の状態を決定するように構成される状態決定モジュールであって、上記状態は、開眼および閉眼を含む状態決定モジュールと、
上記少なくとも１つの目標対象の状態に少なくとも基づいて、アイデンティティ認証結果を決定するように構成される認証結果決定モジュールとを含む、上記画像処理装置。
（項目２６）
上記少なくとも１つの目標対象は、少なくとも片目を含む、
項目２５に記載の画像処理装置。
（項目２７）
上記認証結果決定モジュールは、
上記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、アイデンティティ認証が成功したと決定するように構成される第１決定サブモジュールを含む、
項目２５または２６に記載の画像処理装置。
（項目２８）
上記目標領域画像に基づいて、上記少なくとも１つの目標対象の状態を決定する前に、ベースライブラリに上記識別される画像とマッチングするプリセットの画像情報が存在するかどうかを決定するように構成されるプリセットの画像情報決定モジュールをさらに含み、
上記状態決定モジュールは、上記ベースライブラリに上記識別される画像とマッチングするプリセットの画像情報が存在することに応答して、上記少なくとも１つの目標対象の状態を決定するように構成される状態決定サブモジュールを含む、
項目２５ないし２７のいずれか一項に記載の画像処理装置。
（項目２９）
上記識別される画像を顔認識して、顔認識結果を取得するように構成される識別結果取得モジュールをさらに含み、
上記認証結果決定モジュールは、少なくとも上記顔認識結果および上記少なくとも１つの目標対象の状態に基づいて、アイデンティティ認証結果を決定するように構成される第２決定サブモジュールを含む、
項目２５ないし２７のいずれか一項に記載の画像処理装置。
（項目３０）
上記認証結果決定モジュールは、
上記少なくとも１つの目標対象に状態が開眼である目標対象が存在することに応答して、上記識別される画像を顔認識して、顔認識結果を取得するように構成される識別結果取得サブモジュールと、
上記顔認識結果に基づいて、アイデンティティ認証結果を決定するように構成される第３決定サブモジュールとを含む、
項目２５ないし２７のいずれか一項に記載の画像処理装置。
（項目３１）
上記画像取得モジュールは、
上記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得するように構成される画像取得サブモジュールをさらに含む、
項目２５ないし３０のいずれか一項に記載の画像処理装置。
（項目３２）
上記目標領域画像は、第１領域画像および第２領域画像を含み、上記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
上記画像取得モジュールは、
上記識別される画像における第１領域画像を取得するように構成される第１画像取得サブモジュールであって、上記第１領域画像は上記第１目標対象を含む第１画像取得サブモジュールと、
上記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得するように構成される第２画像取得サブモジュールであって、上記第２領域画像は上記第２目標対象を含む第２画像取得サブモジュールとを含む、
項目２５ないし３１のいずれか一項に記載の画像処理装置。
（項目３３）
上記状態決定モジュールは、
上記目標領域画像を処理して、予測結果を取得するように構成される予測結果取得サブモジュールであって、上記予測結果は、上記目標領域画像の画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む予測結果取得サブモジュールと、
上記画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、上記少なくとも１つの目標対象の状態を決定するように構成される第４決定サブモジュールとを含む、
項目２５ないし３２のいずれか一項に記載の画像処理装置。
（項目３４）
上記第４決定サブモジュールは、
上記画像有効性情報が上記目標領域画像の無効を示すことに応答して、上記少なくとも１つの目標対象の状態が閉眼であると決定するように構成される閉眼決定サブモジュール、および／または、
上記画像有効性情報が上記目標領域画像の有効を示すことに応答して、上記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、上記各目標対象の状態を決定するように構成される第１対象状態決定サブモジュールを含む、
項目３３に記載の画像処理装置。
（項目３５）
上記画像有効性情報は有効な信頼度を含み、上記状態情報は開眼の信頼度を含み、上記第４決定サブモジュールは、
上記有効な信頼度が第１閾値を超え、且つ上記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、上記目標対象の状態が開眼であると決定するように構成される開眼決定サブモジュールを含む、
項目３３または３４に記載の画像処理装置。
（項目３６）
上記予測結果取得サブモジュールは、
上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得するように構成される特徴情報取得サブモジュールと、
上記特徴情報に従って、予測結果を取得するように構成される結果取得サブモジュールとを含む、
項目３３ないし３５のいずれか一項に記載の画像処理装置。
（項目３７）
上記特徴情報取得サブモジュールは、
深層残差ネットワークを使用して上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得するように構成される情報取得サブモジュールを含む、
項目３６に記載の画像処理装置。
（項目３８）
アイデンティティ認証が成功したと決定した場合、端末機器のロックを解除するように構成されるロック解除モジュールをさらに含む、
項目２５ないし３７のいずれか一項に記載の画像処理装置。
（項目３９）
アイデンティティ認証が成功したと決定した場合、支払い操作を実行するように構成される支払いモジュールをさらに含む、
項目２５ないし３７のいずれか一項に記載の画像処理装置。
（項目４０）
上記状態決定モジュールは、
画像処理ネットワークを使用して上記目標領域画像を処理して、上記少なくとも１つの目標対象の状態を取得するように構成される状態取得サブモジュールを含み、
上記装置は、複数のサンプル画像に従って、上記画像処理ネットワークをトレーニングするように構成されるトレーニングモジュールをさらに含む、
項目２５ないし３９のいずれか一項に記載の画像処理装置。
（項目４１）
複数の初期サンプル画像および上記複数の初期サンプル画像の注釈情報を取得するように構成される取得モジュールと、
上記複数の初期サンプル画像のうちの少なくとも１つの初期サンプル画像に対して変換処理を実行して、少なくとも１つの拡張サンプル画像を取得するように構成される拡張サンプル画像取得モジュールであって、上記変換処理は、オクルージョンの増加、画像の露出の変更、画像のコントラストの変更、透明化処理の実行のうちの少なくとも１つを含む拡張サンプル画像取得モジュールと、
上記少なくとも１つの初期サンプル画像に対して実行する上記変換処理および上記少なくとも１つの初期サンプル画像の注釈情報に基づいて、上記少なくとも１つの拡張サンプル画像の注釈情報を取得するように構成される注釈情報取得モジュールと、
上記複数の初期サンプル画像および上記少なくとも１つの拡張サンプル画像が含まれるトレーニングサンプルセットに基づいて、上記画像処理ネットワークをトレーニングするように構成されるトレーニングネットワークモジュールとさらにを含む、
項目４０に記載の画像処理装置。
（項目４２）
画像処理装置であって、
識別される画像における目標領域画像を取得するように構成される目標領域画像取得モジュールであって、上記目標領域画像は、少なくとも１つの目標対象を含む目標領域画像取得モジュールと、
上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得するように構成される情報取得モジュールと、
上記特徴情報に従って、上記少なくとも１つの目標対象の状態を決定するように構成される決定モジュールであって、上記状態は、開眼および閉眼を含む決定モジュールとを含む、上記画像処理装置。
（項目４３）
上記目標領域画像取得モジュールは、
上記少なくとも１つの目標対象に対応するキーポイント情報に従って、識別される画像における目標領域画像を取得するように構成される第１取得サブモジュールを含む、
項目４２に記載の画像処理装置。
（項目４４）
上記目標領域画像は、第１領域画像および第２領域画像を含み、上記少なくとも１つの目標対象は、第１目標対象および第２目標対象を含み、
上記目標領域画像取得モジュールは、
上記識別される画像における第１領域画像を取得するように構成される第２取得サブモジュールであって、上記第１領域画像は上記第１目標対象を含む第２取得サブモジュールと、
上記第１領域画像に対してミラリング処理を実行して、第２領域画像を取得するように構成される第３取得サブモジュールであって、上記第２領域画像は上記第２目標対象を含む第３取得サブモジュールとを含む、
項目４２または４３に記載の画像処理装置。
（項目４５）
上記決定モジュールは、
上記特徴情報に従って、予測結果を取得するように構成される第４取得サブモジュールであって、上記予測結果は、上記目標領域画像の画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つを含む第４取得サブモジュールと、
上記画像有効性情報および上記少なくとも１つの目標対象の状態情報のうちの少なくとも１つに従って、上記少なくとも１つの目標対象の状態を決定するように構成される第５決定サブモジュールとを含む、
項目４２ないし４４のいずれか一項に記載の画像処理装置。
（項目４６）
上記第５決定サブモジュールは、
上記画像有効性情報が上記目標領域画像の無効を示すことに応答して、上記少なくとも１つの目標対象の状態が閉眼であると決定するように構成される第６決定サブモジュール、および／または、
上記画像有効性情報が上記目標領域画像の有効を示すことに応答して、上記少なくとも１つの目標対象における各目標対象の状態情報に基づいて、上記各目標対象の状態を決定するように構成される第２対象状態決定サブモジュールを含む、
項目４５に記載の画像処理装置。
（項目４７）
上記画像有効性情報は有効な信頼度を含み、上記状態情報は開眼の信頼度を含み、上記第５決定サブモジュールは、
上記有効な信頼度が第１閾値を超え、且つ上記目標対象の開眼の信頼度が第２閾値を超えたことに応答して、上記目標対象の状態が開眼であると決定するように構成される第７決定サブモジュールを含む、
項目４５または４６に記載の画像処理装置。
（項目４８）
上記情報取得モジュールは、深層残差ネットワークを使用して上記目標領域画像に対して特徴抽出処理を実行して、上記目標領域画像の特徴情報を取得するように構成される第５取得サブモジュールを含む、
項目４２ないし４７のいずれか一項に記載の画像処理装置。
（項目４９）
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、
上記プロセッサは、上記メモリに記憶された命令を読み出して、項目１ないし２４のいずれか一項に記載の方法を実行するように構成される、上記電子機器。
（項目５０）
コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、
上記コンピュータプログラム命令がプロセッサによって実行されると、項目１ないし２４のいずれか一項に記載の方法を実現する、上記コンピュータ読み取り可能な記憶媒体。
（項目５１）
コンピュータプログラム命令を含む、コンピュータプログラム製品であって、
上記コンピュータプログラム命令がプロセッサによって実行されると、項目１ないし２４のいずれか一項に記載の方法を実現する、上記コンピュータプログラム製品。
【国際調査報告】
2021516405.tif 000065
2021516405.tif 000066
2021516405.tif 000067
2021516405.tif 000068
2021516405.tif 000069