(57)【要約】本開示は像処理方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、第１撮影モジュールにより収集された確認すべき対象の第１画像及び少なくとも１つの第２撮影モジュールにより収集された確認すべき対象の第２画像を取得するステップと、前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得するステップと、第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するステップと、を含む。本開示は、判定精度が高く、誤報率が低いという特徴を有する。
2021515945.tif 000002
【特許請求の範囲】
【請求項１】
第１撮影モジュールにより収集された確認すべき対象の第１画像及び少なくとも１つの第２撮影モジュールにより収集された確認すべき対象の第２画像を取得するステップと、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得するステップと、
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するステップと、を含む画像処理方法。
【請求項２】
前記目標ライブラリは、ホワイトリスト／ブラックリストライブラリを含み、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得する前記ステップは、
前記第１画像の第１特徴データを前記ホワイトリスト／ブラックリストライブラリにおける各画像の特徴データと照合するステップと、
前記ホワイトリスト／ブラックリストライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をブラックリスト対象又はホワイトリスト対象として決定するステップと、を含む請求項１に記載の方法。
【請求項３】
前記目標ライブラリは、ラベリング済み見知らぬ人ライブラリを含み、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得する前記ステップは、
取得された前記第１画像の第１特徴データを前記ラベリング済み見知らぬ人ライブラリにおける画像の特徴データと照合するステップと、
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をラベリングされた見知らぬ人として決定するステップと、を含む請求項１又は２に記載の方法。
【請求項４】
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、
前記第１画像に対応する確認すべき対象が見知らぬ人としてラベリングされた回数を統計するステップを更に含む請求項３に記載の方法。
【請求項５】
前記第１確認結果が確認成功である場合に、前記第１画像及び前記第１画像の関連情報を、マッチングする特徴データに対応するマッチング記録に加えるステップであって、前記第１画像の関連情報は、前記第１撮影モジュールが前記第１画像を収集した時間情報、前記第１撮影モジュールの識別子情報、前記第１撮影モジュールの位置情報の中の少なくとも１つを含むステップを更に含む請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記第１画像と前記第２画像を用いて共同確認するステップの前に、
第１時間範囲内で確認に失敗した第１画像及び／又は第２画像に対して重複排除処理を行って、第１時間範囲内で第１事前設定条件を満たした各確認すべき対象の第１画像及び／又は第２画像を得るステップを更に含む請求項１〜５のいずれか一項に記載の方法。
【請求項７】
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定する前記ステップは、
第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得するステップと、
前記画像集合における各画像と前記画像集合における他の画像との間の類似度を決定するステップと、
前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定するステップと、
前記画像集合が第２事前設定条件を満たした場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定するステップと、を含む請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記画像集合における各画像と他の画像との間の類似度を決定する前記ステップは、
各画像集合における各画像の特徴データと全ての画像の特徴データのドット積の合計値を取得するステップと、
前記合計値と前記画像集合中の特徴データの個数に基づいて各画像と他の画像との間の類似度を決定するステップと、を含む請求項７に記載の方法。
【請求項９】
前記第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得するステップは、
前記第２時間範囲内で確認に失敗した第１画像及び第２画像のそれぞれに対応する第１特徴データ及び第２特徴データを取得するステップと、
前記第１特徴データと前記第２特徴データを比較、マッチングして、第１特徴データと第２特徴データのそれぞれが同一確認すべき対象に対応するか否かを決定するステップと、
前記同一確認すべき対象の第１特徴データと第２特徴データをクラスタリングして前記同一確認すべき対象の画像集合を形成するステップと、を含む請求項７又は８に記載の方法。
【請求項１０】
前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定する前記ステップは、
前記画像集合における各画像に対応する類似度のうちの最大類似度が第１類似度閾値より大きいこと、
前記画像集合における各画像に対応する類似度のうち、第２類似度閾値より大きい類似度の特徴データ数量が所定比率を超えたこと、及び
前記画像集合における各画像に対応する類似度のうちの最小類似度が第３類似度閾値より大きいことのうちの少なくとも１つを含む請求項７〜９のいずれか一項に記載の方法。
【請求項１１】
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定する前記ステップは、
前記画像集合における画像同士の類似度が事前設定条件を満たさない場合に、前記画像集合に対応する全ての画像を削除するステップを更に含む請求項７〜１０のいずれか一項に記載の方法。
【請求項１２】
前記画像集合が第２事前設定条件を満たした場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定する前記ステップは、
前記特徴データ集合中の特徴データに対応する画像が、異なる時間範囲内に異なる撮影モジュールで収集された画像である場合に、前記特徴データ集合に対応する確認すべき対象が見知らぬ人であると決定するステップを含む請求項７〜１１のいずれか一項に記載の方法。
【請求項１３】
確認すべき対象の第１画像及び第２画像を取得する前記ステップは、
第１撮影モジュールにより収集された第１動画及び少なくとも１つの第２撮影モジュールにより収集された第２動画をそれぞれ取得し、前記第１動画を前処理して第３画像を取得し、前記第２動画を前処理して第４画像を取得するか、第３画像及び第４画像を受信するステップと、
第３画像のうち、品質要求を満たす画像を前記第１画像として決定し、第４画像のうち、品質要求を満たす画像を第２画像として決定するステップと、を含む請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記確認すべき対象の第１画像及び第２画像を取得した後、且つ、前記第１画像の第１特徴データを取得し、前記第１特徴データを目標ライブラリ中の特徴データと照合して身元確認を実行して第１確認結果を取得する前に、前記方法は更に、
前記第１画像及び／又は第２画像が所定特徴を含むか否かを検出するステップと、
前記第１画像及び／又は第２画像が所定特徴を含む場合に応答して、前記所定特徴を含む第１画像及び／又は第２画像をラベリングするステップと、を含み、前記所定特徴は、マスク、帽子、サングラスの中の少なくとも１つを含む請求項１３に記載の方法。
【請求項１５】
前記第１確認結果又は第２確認結果を出力、リマインドするステップを更に含む請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記第１確認結果又は第２確認結果を出力、リマインドする前記ステップは、
第１認証結果が認証成功である場合に応答して、予め設定された方式で、前記確認すべき対象の身元及びその関連情報を出力し、前記確認すべき対象がラベリングされた見知らぬ人であると決定された時に、見知らぬ人としてラベリングされた回数を出力するステップ、又は
前記第２確認結果を出力するステップを含む請求項１５に記載の方法。
【請求項１７】
確認すべき対象が見知らぬ人であるという第２確認結果に応答して、前記確認すべき対象に対応する第１画像、第２画像及び関連情報を前記目標ライブラリに記憶するステップと、
見知らぬ人と判定された確認結果、統計情報及びリマインド情報をユーザ対話インタフェースによって表示するステップと、を更に含む請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
第１撮影モジュールにより収集された確認すべき対象の第１画像及び少なくとも１つの第２撮影モジュールにより収集された確認すべき対象の第２画像を取得するように構成される取得モジュールと、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得するように構成される第１確認モジュールと、
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するように構成される第２確認モジュールと、を含む画像処理装置。
【請求項１９】
前記目標ライブラリは、ホワイトリスト／ブラックリストライブラリを含み、
前記第１確認モジュールは更に、前記第１画像の第１特徴データを前記ホワイトリスト／ブラックリストライブラリにおける各画像の特徴データと照合するステップと、
前記ホワイトリスト／ブラックリストライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をブラックリスト対象又はホワイトリスト対象として決定するステップと、に用いられる請求項１８に記載の装置。
【請求項２０】
前記目標ライブラリは、ラベリング済み見知らぬ人ライブラリを含み、
前記第１確認モジュールは更に、取得された前記第１画像の第１特徴データを前記ラベリング済み見知らぬ人ライブラリにおける画像の特徴データと照合するステップと、
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をラベリングされた見知らぬ人として決定するステップと、に用いられる請求項１８又は１９に記載の装置。
【請求項２１】
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１画像に対応する確認すべき対象が見知らぬ人としてラベリングされた回数を統計するように構成される統計モジュールを更に含む請求項２０に記載の装置。
【請求項２２】
前記第１確認モジュールは更に、前記第１確認結果が確認成功である場合に、前記第１画像及び前記第１画像の関連情報を、マッチングする特徴データに対応するマッチング記録に加えるために用いられ、前記第１画像の関連情報は、前記第１撮影モジュールが前記第１画像を収集した時間情報、前記第１撮影モジュールの識別子情報、前記第１撮影モジュールの位置情報の中の少なくとも１つを含む請求項１８〜２１のいずれか一項に記載の装置。
【請求項２３】
前記第１画像と前記第２画像を用いて共同確認する前に、第１時間範囲内で確認に失敗した第１画像及び／又は第２画像に対して重複排除処理を行って、第１時間範囲内で第１事前設定条件を満たした各確認すべき対象の第１画像及び／又は第２画像を得るように構成される重複排除モジュールを更に含む請求項１８〜２２のいずれか一項に記載の装置。
【請求項２４】
前記第２確認モジュールは更に、第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得するステップと、
前記画像集合における各画像と前記画像集合における他の画像との間の類似度を決定するステップと、
前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定するステップと、
前記画像集合が第２事前設定条件を満たした場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定するステップと、に用いられる請求項１８〜２３のいずれか一項に記載の装置。
【請求項２５】
前記第２確認モジュールは更に、各画像集合における各画像の特徴データと全ての画像の特徴データのドット積の合計値を取得するステップと、
前記合計値と前記画像集合中の特徴データの個数に基づいて各画像と他の画像との間の類似度を決定するステップと、に用いられる請求項２４に記載の装置。
【請求項２６】
前記第２確認モジュールは更に、前記第２時間範囲内で確認に失敗した第１画像及び第２画像のそれぞれに対応する第１特徴データ及び第２特徴データを取得するステップと、
前記第１特徴データと前記第２特徴データを比較、マッチングして、第１特徴データと第２特徴データのそれぞれが同一確認すべき対象に対応するか否かを決定するステップと、
前記同一確認すべき対象の第１特徴データと第２特徴データをクラスタリングして前記同一確認すべき対象の画像集合を形成するステップと、に用いられる請求項２４又は２５に記載の装置。
【請求項２７】
前記第２確認モジュールは更に、
前記画像集合における各画像に対応する類似度のうちの最大類似度が第１類似度閾値より大きいこと、
前記画像集合における各画像に対応する類似度のうち、第２類似度閾値より大きい類似度の特徴データ数量が所定比率を超えたこと、及び
前記画像集合における各画像に対応する類似度のうちの最小類似度が第３類似度閾値より大きいことの中の少なくとも１つによって、前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定する前記ステップを実行するために用いられる請求項２４〜２６のいずれか一項に記載の装置。
【請求項２８】
前記第２確認モジュールは更に、前記画像集合における画像同士の類似度が事前設定条件を満たさない場合に、前記画像集合に対応する全ての画像を削除するために用いられる請求項２４〜２７のいずれか一項に記載の装置。
【請求項２９】
前記第２確認モジュールは更に、前記特徴データ集合中の特徴データに対応する画像が、異なる時間範囲内に異なる撮影モジュールで収集された画像である場合に、前記特徴データ集合に対応する確認すべき対象が見知らぬ人であると決定するために用いられる請求項２４〜２８のいずれか一項に記載の装置。
【請求項３０】
前記取得モジュールは更に、第１撮影モジュールにより収集された第１動画及び少なくとも１つの第２撮影モジュールにより収集された第２動画をそれぞれ取得し、前記第１動画を前処理して第３画像を取得し、前記第２動画を前処理して第４画像を取得するか、第３画像及び第４画像を受信するステップと、
第３画像のうち、品質要求を満たす画像を前記第１画像として決定し、第４画像のうち、品質要求を満たす画像を第２画像として決定するステップと、に用いられる請求項１８〜２９のいずれか一項に記載の装置。
【請求項３１】
前記取得モジュールは更に、前記確認すべき対象の第１画像及び第２画像を取得した後、且つ、前記第１画像の第１特徴データを取得し、前記第１特徴データを目標ライブラリ中の特徴データと照合して身元確認を実行して第１確認結果を取得する前に、前記第１画像及び／又は第２画像が所定特徴を含むか否かを検出するステップと、
前記第１画像及び／又は第２画像が所定特徴を含む場合に応答して、前記所定特徴を含む第１画像及び／又は第２画像をラベリングするステップと、に用いられ、前記所定特徴は、マスク、帽子、サングラスの中の少なくとも１つを含む請求項３０に記載の装置。
【請求項３２】
前記第１確認結果又は第２確認結果を出力、リマインドするように構成されるリマインドモジュールを更に含む請求項１８〜３１のいずれか一項に記載の装置。
【請求項３３】
前記リマインドモジュールは更に、第１認証結果が認証成功である場合に応答して、予め設定された方式で、前記確認すべき対象の身元及びその関連情報を出力し、前記確認すべき対象がラベリングされた見知らぬ人であると決定された時に、見知らぬ人としてラベリングされた回数を出力するステップ、又は
前記第２確認結果を出力するステップに用いられる請求項３２に記載の装置。
【請求項３４】
前記第２確認モジュールは更に、確認すべき対象が見知らぬ人であるという第２確認結果に応答して、前記確認すべき対象に対応する第１画像、第２画像及び関連情報を前記目標ライブラリに記憶するステップと、見知らぬ人と判定された確認結果、統計情報及びリマインド情報をユーザ対話インタフェースによって表示するように制御するステップと、に用いられる請求項１８〜３３のいずれか一項に記載の装置。
【請求項３５】
プロセッサと、
プロセッサ実行可能コマンドを記憶するためのメモリと、を含み、
前記プロセッサが請求項１〜１７のいずれか一項に記載の方法を実行するように構成される電子機器。
【請求項３６】
コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１〜１７のいずれか一項に記載の方法を実現するコンピュータ読取可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、出願番号が２０１８１１５７４８４０．３で、出願日が２０１８年１２月２１日である中国特許出願に基づいて提出され、且つこの中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本開示は、インテリジェント監視に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
現在、政府の建物、工業団地、ホテル、住宅、オフィスビル等の場所で、一般的に、伝統的な防犯手段によって対応の場所に入る人を管理しているが、このような方法では、来客が区域内部に入る権限があるか否かを認識できない。この問題に鑑みて、一般的にはセキュリティゲート、出入管理システムによるカード認証又は顔認証の方式で管理している。しかしながら、セキュリティゲートやカード認証の手段は個人の間でカードの交換又はフォローアップ行為を防止することができない。また、顔認識に基づく見知らぬ人の認識について、実際のシーンにおいて人が撮影装置の前に出現する時に顔部が遮蔽され、横顔が示され、頭が低く下げられる等の場合が多く、その結果として、キャプチャされた人物写真は目標ライブラリの写真との違いが大きく、見知らぬ人の誤報率が非常に高かった。
【発明の概要】
【０００４】
本開示の実施例は、複数の撮影モジュールで取得された画像情報によって対応する場所範囲内の確認すべき対象の身元を共同判定することができる画像処理方法及び装置、電子機器並びに記憶媒体を提供し、その判定精度が高く、誤報率が低い。
【０００５】
本開示の一態様によれば、
第１撮影モジュールにより収集された確認すべき対象の第１画像及び少なくとも１つの第２撮影モジュールにより収集された確認すべき対象の第２画像を取得するステップと、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得するステップと、
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するステップと、を含む画像処理方法を提供する。
【０００６】
ある可能な実施形態では、前記目標ライブラリは、ホワイトリスト／ブラックリストライブラリを含み、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得する前記ステップは、
前記第１画像の第１特徴データを前記ホワイトリスト／ブラックリストライブラリにおける各画像の特徴データと照合するステップと、
前記ホワイトリスト／ブラックリストライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をブラックリスト対象又はホワイトリスト対象として決定するステップと、を含む。
【０００７】
ある可能な実施形態では、前記目標ライブラリは、ラベリング済み見知らぬ人ライブラリを含み、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得する前記ステップは、
取得された前記第１画像の第１特徴データを前記ラベリング済み見知らぬ人ライブラリにおける画像の特徴データと照合するステップと、
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をラベリングされた見知らぬ人として決定するステップと、を含む。
【０００８】
ある可能な実施形態では、前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記方法は、
前記第１画像に対応する確認すべき対象が見知らぬ人としてラベリングされた回数を統計するステップを更に含む。
【０００９】
ある可能な実施形態では、前記方法は、
前記第１確認結果が確認成功である場合に、前記第１画像及び前記第１画像の関連情報を、マッチングする特徴データに対応するマッチング記録に加えるステップを更に含み、前記第１画像の関連情報は、前記第１撮影モジュールが前記第１画像を収集した時間情報、前記第１撮影モジュールの識別子情報、前記第１撮影モジュールの位置情報の中の少なくとも１つを含む。
【００１０】
ある可能な実施形態では、前記第１画像と前記第２画像を用いて共同確認するステップの前に、前記方法は、
第１時間範囲内で確認に失敗した第１画像及び／又は第２画像に対して重複排除処理を行って、第１時間範囲内で第１事前設定条件を満たした各確認すべき対象の第１画像及び／又は第２画像を得るステップを更に含む。
【００１１】
ある可能な実施形態では、前記第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するステップは、
第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得するステップと、
前記画像集合における各画像と前記画像集合における他の画像との間の類似度を決定するステップと、
前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定するステップと、
前記画像集合が第２事前設定条件を満たした場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定するステップと、を含む。
【００１２】
ある可能な実施形態では、前記画像集合における各画像と他の画像との間の類似度を決定する前記ステップは、
各画像集合における各画像の特徴データと全ての画像の特徴データのドット積の合計値を取得するステップと、
前記合計値と前記画像集合中の特徴データの個数に基づいて各画像と他の画像との間の類似度を決定するステップと、を含む。
【００１３】
ある可能な実施形態では、第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得する前記ステップは、
前記第２時間範囲内で確認に失敗した第１画像及び第２画像のそれぞれに対応する第１特徴データ及び第２特徴データを取得するステップと、
前記第１特徴データと前記第２特徴データを比較、マッチングして、第１特徴データと第２特徴データのそれぞれが同一確認すべき対象に対応するか否かを決定するステップと、
前記同一確認すべき対象の第１特徴データと第２特徴データをクラスタリングして前記同一確認すべき対象の画像集合を形成するステップと、を含む。
【００１４】
ある可能な実施形態では、前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定する前記ステップは、
前記画像集合における各画像に対応する類似度のうちの最大類似度が第１類似度閾値より大きいこと、
前記画像集合における各画像に対応する類似度のうち、第２類似度閾値より大きい類似度の特徴データ数量が所定比率を超えたこと、及び
前記画像集合における各画像に対応する類似度のうちの最小類似度が第３類似度閾値より大きいことのうちの少なくとも１つを含む。
【００１５】
ある可能な実施形態では、第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定する前記ステップは、
前記画像集合における画像同士の類似度が事前設定条件を満たさない場合に、前記画像集合に対応する全ての画像を削除するステップを更に含む。
【００１６】
ある可能な実施形態では、前記画像集合が第２事前設定条件を満たした場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定する前記ステップは、
前記特徴データ集合中の特徴データに対応する画像が、異なる時間範囲内に異なる撮影モジュールで収集された画像である場合に、前記特徴データ集合に対応する確認すべき対象が見知らぬ人であると決定するステップを含む。
【００１７】
ある可能な実施形態では、確認すべき対象の第１画像及び第２画像を取得する前記ステップは、
第１撮影モジュールにより収集された第１動画及び少なくとも１つの第２撮影モジュールにより収集された第２動画をそれぞれ取得し、前記第１動画を前処理して第３画像を取得し、前記第２動画を前処理して第４画像を取得するか、第３画像及び第４画像を受信するステップと、
第３画像のうち、品質要求を満たす画像を前記第１画像として決定し、第４画像のうち、品質要求を満たす画像を第２画像として決定するステップと、を含む。
【００１８】
ある可能な実施形態では、前記確認すべき対象の第１画像及び第２画像を取得した後、且つ、前記第１画像の第１特徴データを取得し、前記第１特徴データを目標ライブラリ中の特徴データと照合して身元確認を実行して第１確認結果を取得する前に、前記方法は更に、
前記第１画像及び／又は第２画像が所定特徴を含むか否かを検出するステップと、
前記第１画像及び／又は第２画像が所定特徴を含む場合に応答して、前記所定特徴を含む第１画像及び／又は第２画像をラベリングするステップと、を含み、前記所定特徴は、マスク、帽子、サングラスの中の少なくとも１つを含む。
【００１９】
ある可能な実施形態では、前記方法は、更に、
前記第１確認結果又は第２確認結果を出力、リマインドするステップを含む。
【００２０】
ある可能な実施形態では、前記第１確認結果又は第２確認結果を出力、リマインドする前記ステップは、
第１認証結果が認証成功である場合に応答して、予め設定された方式で、前記確認すべき対象の身元及びその関連情報を出力し、前記確認すべき対象がラベリングされた見知らぬ人であると決定された時に、見知らぬ人としてラベリングされた回数を出力するステップ、又は
前記第２確認結果を出力するステップを含む。
【００２１】
ある可能な実施形態では、前記方法は、
確認すべき対象が見知らぬ人であるという第２確認結果に応答して、前記確認すべき対象に対応する第１画像、第２画像及び関連情報を前記目標ライブラリに記憶するステップと、
見知らぬ人と判定された確認結果、統計情報及びリマインド情報をユーザ対話インタフェースによって表示するステップと、を更に含む。
【００２２】
本開示の第２態様によれば、
第１撮影モジュールにより収集された確認すべき対象の第１画像及び少なくとも１つの第２撮影モジュールにより収集された確認すべき対象の第２画像を取得するように構成される取得モジュールと、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得するように構成される第１確認モジュールと、
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するように構成される第２確認モジュールと、を含む画像処理装置を提供する。
【００２３】
ある可能な実施形態では、前記目標ライブラリは、ホワイトリスト／ブラックリストライブラリを含み、
前記第１確認モジュールは更に、前記第１画像の第１特徴データを前記ホワイトリスト／ブラックリストライブラリにおける各画像の特徴データと照合するステップと、
前記ホワイトリスト／ブラックリストライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をブラックリスト対象又はホワイトリスト対象として決定するステップと、に用いられる。
【００２４】
ある可能な実施形態では、前記目標ライブラリは、ラベリング済み見知らぬ人ライブラリを含み、
前記第１確認モジュールは更に、取得された前記第１画像の第１特徴データを前記ラベリング済み見知らぬ人ライブラリにおける画像の特徴データと照合するステップと、
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をラベリングされた見知らぬ人として決定するステップと、に用いられる。
【００２５】
ある可能な実施形態では、前記装置は、前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１画像に対応する確認すべき対象が見知らぬ人としてラベリングされた回数を統計するように構成される統計モジュールを更に含む。
【００２６】
ある可能な実施形態では、前記第１確認モジュールは更に、前記第１確認結果が確認成功である場合に、前記第１画像及び前記第１画像の関連情報を、マッチングする特徴データに対応するマッチング記録に加えるために用いられ、前記第１画像の関連情報は、前記第１撮影モジュールが前記第１画像を収集した時間情報、前記第１撮影モジュールの識別子情報、前記第１撮影モジュールの位置情報の中の少なくとも１つを含む。
【００２７】
ある可能な実施形態では、前記装置は、前記第１画像と前記第２画像を用いて共同確認するステップの前に、第１時間範囲内で確認に失敗した第１画像及び／又は第２画像に対して重複排除処理を行って、第１時間範囲内で第１事前設定条件を満たした各確認すべき対象の第１画像及び／又は第２画像を得るように構成される重複排除モジュールを更に含む。
【００２８】
ある可能な実施形態では、前記第２確認モジュールは更に、第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得するステップと、
前記画像集合における各画像と前記画像集合における他の画像との間の類似度を決定するステップと、
前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定するステップと、
前記画像集合が第２事前設定条件を満たした場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定するステップと、に用いられる。
【００２９】
ある可能な実施形態では、前記第２確認モジュールは更に、各画像集合における各画像の特徴データと全ての画像の特徴データのドット積の合計値を取得するステップと、
前記合計値と前記画像集合中の特徴データの個数に基づいて各画像と他の画像との間の類似度を決定するステップと、に用いられる。
【００３０】
ある可能な実施形態では、前記第２確認モジュールは更に、前記第２時間範囲内で確認に失敗した第１画像及び第２画像のそれぞれに対応する第１特徴データ及び第２特徴データを取得するステップと、
前記第１特徴データと前記第２特徴データを比較、マッチングして、第１特徴データと第２特徴データのそれぞれが同一確認すべき対象に対応するか否かを決定するステップと、
前記同一確認すべき対象の第１特徴データと第２特徴データをクラスタリングして前記同一確認すべき対象の画像集合を形成するステップと、に用いられる。
【００３１】
ある可能な実施形態では、前記第２確認モジュールは更に、
前記画像集合における各画像に対応する類似度のうちの最大類似度が第１類似度閾値より大きいこと、
前記画像集合における各画像に対応する類似度のうち、第２類似度閾値より大きい類似度の特徴データ数量が所定比率を超えたこと、
前記画像集合における各画像に対応する類似度のうちの最小類似度が第３類似度閾値より大きいことの中の少なくとも１つによって、前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定する前記ステップを実行するために用いられる。
【００３２】
ある可能な実施形態では、前記第２確認モジュールは更に、前記画像集合における画像同士の類似度が事前設定条件を満たさない場合に、前記画像集合に対応する全ての画像を削除するために用いられる。
【００３３】
ある可能な実施形態では、前記第２確認モジュールは更に、前記特徴データ集合中の特徴データに対応する画像が、異なる時間範囲内に異なる撮影モジュールで収集された画像である場合に、前記特徴データ集合に対応する確認すべき対象が見知らぬ人であると決定するために用いられる。
【００３４】
ある可能な実施形態では、前記取得モジュールは更に、第１撮影モジュールにより収集された第１動画及び少なくとも１つの第２撮影モジュールにより収集された第２動画をそれぞれ取得し、前記第１動画を前処理して第３画像を取得し、前記第２動画を前処理して第４画像を取得するか、第３画像及び第４画像を受信するステップと、
第３画像のうち、品質要求を満たす画像を前記第１画像として決定し、第４画像のうち、品質要求を満たす画像を第２画像として決定するステップと、に用いられる。
【００３５】
ある可能な実施形態では、前記取得モジュールは更に、前記確認すべき対象の第１画像及び第２画像を取得した後、且つ、前記第１画像の第１特徴データを取得し、前記第１特徴データを目標ライブラリ中の特徴データと照合して身元確認を実行して第１確認結果を取得する前に、前記第１画像及び／又は第２画像が所定特徴を含むか否かを検出するステップと、
前記第１画像及び／又は第２画像が所定特徴を含む場合に応答して、前記所定特徴を含む第１画像及び／又は第２画像をラベリングするステップと、に用いられ、前記所定特徴は、マスク、帽子、サングラスの中の少なくとも１つを含む。
【００３６】
ある可能な実施形態では、前記装置は、前記第１確認結果又は第２確認結果を出力、リマインドするように構成されるリマインドモジュールを更に含む。
【００３７】
ある可能な実施形態では、前記リマインドモジュールは更に、第１認証結果が認証成功である場合に応答して、予め設定された方式で、前記確認すべき対象の身元及びその関連情報を出力し、前記確認すべき対象がラベリングされた見知らぬ人であると決定された時に、見知らぬ人としてラベリングされた回数を出力するステップ、又は
前記第２確認結果を出力するステップに用いられる。
【００３８】
ある可能な実施形態では、前記第２確認モジュールは更に、確認すべき対象が見知らぬ人であるという第２確認結果に応答して、前記確認すべき対象に対応する第１画像、第２画像及び関連情報を前記目標ライブラリに記憶するステップと、見知らぬ人と判定された確認結果、統計情報及びリマインド情報をユーザ対話インタフェースによって表示するように制御するステップと、に用いられる。
【００３９】
本開示の第３態様によれば、
プロセッサと、
プロセッサ実行可能コマンドを記憶するためのメモリと、を含み、
前記プロセッサが第１態様のいずれか一項に記載の方法を実行するように構成される電子機器を提供する。
【００４０】
本開示の第４態様によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に第１態様のいずれか一項に記載の方法を実現するコンピュータ読取可能記憶媒体を提供する。
【００４１】
本開示の実施例は、複数の撮影モジュールで取得された画像情報に基づいて確認すべき対象の身元権限を判定することができ、誤報率を効果的に低下させ、見知らぬ人の認識精確率を大幅に高めることができる。
【００４２】
以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示を制限しないことを理解すべきである。
【００４３】
以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明確になる。
【図面の簡単な説明】
【００４４】
【図１】本開示の実施例に係る画像処理方法のフローチャートを示す。
【図２】本開示の実施例に係る画像処理方法におけるステップＳ１００のフローチャートを示す。
【図３】本開示の実施例に係る画像処理方法におけるステップＳ２００のフローチャートを示す。
【図４】本開示の実施例に係る画像処理方法におけるステップＳ２００のフローチャートを示す。
【図５】本開示の実施例に係る画像処理方法におけるステップＳ３００のフローチャートを示す。
【図６】本開示の実施例に係る画像処理方法におけるステップＳ３０１のフローチャートを示す。
【図７】本開示の実施例に係る画像処理方法におけるステップＳ３０２のフローチャートを示す。
【図８】本開示の実施例に係る画像処理方法のフローチャートを示す。
【図９】本開示の実施例に係る画像処理方法の見知らぬ人照合のフローチャートを示す。
【図１０】本開示の実施例に係る画像処理装置のブロック図を示す。
【図１１】本開示の実施例に係る電子機器８００のブロック図を示す。
【図１２】本開示の実施例に係る電子機器１９００のブロック図を示す。
【発明を実施するための形態】
【００４５】
ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
【００４６】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。
【００４７】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。
【００４８】
本明細書の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本明細書の用語の「少なくとも１種」は多種のうちのいずれか１種又は多種のうちの少なくとも２種の任意の組合を示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むということは、Ａ、Ｂ及びＣから構成される集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。
【００４９】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。
【００５０】
図１は本開示の実施例に係る画像処理方法のフローチャートを示し、ここで、本開示の実施例の画像処理方法は、政府の建物、工業団地、ホテル、住宅、オフィスビル等、人の出入りを管理する必要がある場所に利用可能であり、異なる区域位置に設けられた撮影モジュールの収集した画像情報によって確認すべき対象の身元を共同判定することができ、それによって前記確認すべき対象が見知らぬ人であるか否か、又はデータベースに登録された人であるか否かを決定可能である。
【００５１】
図１に示すように、本開示の実施例の画像処理方法は、以下のステップを含んでよい。
【００５２】
Ｓ１００：第１撮影モジュールにより収集された確認すべき対象の第１画像及び少なくとも１つの第２撮影モジュールにより収集された確認すべき対象の第２画像を取得する。
【００５３】
本開示の実施例の画像処理方法は、携帯電話、コンピュータ装置等のような端末装置又はサーバ等の画像処理機能を有する電子機器に利用可能である。これらの電子機器は被検出区域のそれぞれの隅に取り付けられた撮影装置に電気的に接続され、前記撮影装置は、ビデオカメラ、画像キャプチャ装置等を含むが、それらに限定されない。別の実施例では、これらの電子機器はディスプレイスクリーンを備えている。
【００５４】
ここで、確認すべき対象とは確認すべき区域へ通行する人員を指し、第１画像及び第２画像は身元確認する必要のある確認すべき対象の顔部画像であってもよく、全身画像であってもよく、本発明の実施例では顔部画像をもとに解釈し説明するが、本発明を限定するものと理解してはならない。ここの第１画像及び第２画像は異なる動画に由来するものであり、例えば、第１画像は第１撮影モジュールによって取得されてよく、第２画像は少なくとも１つの第２撮影モジュールによって取得されてよく、本開示の実施例は異なる位置区域に異なる撮影モジュールを設置してもよく、即ち第１撮影モジュール及び第２撮影モジュールは異なる位置に設置されている撮影モジュールであってもよい。また、説明の便宜上、第１撮影モジュール以外の撮影モジュールは第２撮影モジュールと略称され、各第２撮影モジュールの設置位置は異なってもよく、このような方式によって、異なる位置区域内の画像情報をリアルタイムに取得することができる。また、上記第１画像及び第２画像の取得時間は同じであっても、異なってもよく、本開示はこれを限定するものではない。
【００５５】
Ｓ２００：前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得する。
【００５６】
ここで、ニューラルネットワークを用いて各第１画像の第１特徴データを取得し、且つこの第１特徴データを予め記憶された目標ライブラリにおける画像データの特徴データと照合するようにしてよく、この目標ライブラリには、登録されたブラックリストとホワイトリスト及び見知らぬ人としてラベリングされた対象を含んでよい。第１特徴データを目標ライブラリにおける特徴データと照合、マッチングすることによって、この第１特徴データに対応する対象が目標ライブラリにおける人員対象であるか否かを容易に決定することができる。ここで、目標ライブラリに第１特徴データとマッチングする特徴データが存在しなければ、第１画像の第１確認結果は確認失敗であることを反映し、目標ライブラリに第１特徴データとマッチングする特徴データが存在すれば、第１画像の第１確認結果は確認成功であることを反映する。
【００５７】
Ｓ３００：第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定する。
【００５８】
ステップＳ２００の身元確認によれば、目標ライブラリに第１特徴データとマッチングする特徴データが存在しない時に、少なくとも１つの第２撮影モジュールで取得された第２画像にも基づいて共同確認して、確認すべき対象の身元を確認するようにしてもよい。
【００５９】
本開示の実施例では、確認が失敗した第１画像及び第２画像を用いて確認すべき対象の身元を共同確認してもよく、それによって確認すべき対象の確認成功率を高めることができる。
【００６０】
以下、本開示の実施例の具体的な過程を詳細に説明し、ここで、本開示の実施例を実行する時に、まずステップＳ１００によって、第１撮影モジュールで取得された確認すべき対象の第１画像及び第２画像を取得する。ここで、以上のとおり、本開示の実施例の画像処理方法は、人員管理場所に利用可能であり、この場所の異なる位置に監視カメラが設置されていてもよく、ここで、いずれかの監視カメラを本開示の実施例の第１撮影モジュールとしてもよく、説明の便宜上、以下、この第１撮影モジュール以外の撮影モジュールを第２撮影モジュールといい、また、第２撮影モジュールで取得された画像を第２画像と呼んでもよい。
【００６１】
本開示の実施例では、ステップＳ１００において取得された身元確認する必要がある第１画像及び第２画像は、第１撮影モジュール及び第２撮影モジュールで直接取得された画像であってもよく、分析処理がなされ、選別された画像であってもよい。本開示はこれを限定するものではない。図２は本開示の実施例に係る画像処理方法におけるステップＳ１００のフローチャートを示し、ここで、身元を判定される第１画像を取得する前記ステップは、以下のステップを含んでよい。
【００６２】
Ｓ１０１：第１撮影モジュールにより収集された第１動画及び少なくとも１つの第２撮影モジュールにより収集された第２動画を取得し、前記第１動画を前処理して複数の第３画像を取得し、前記第２動画を前処理して第４画像を取得するか、確認すべき対象の顔部情報を含む前記第３画像及び第４画像を直接受信する。
【００６３】
本開示の実施例では、受信された情報は動画形式の情報であってもよく、写真形式の情報であってもよく、動画形式の情報が受信された時に、この動画情報に対して前処理操作を実行して、動画情報から処理する必要がある第３画像及び第４画像を取得するようにしてもよく、ここで、前処理操作は、動画復号化、画像のサンプリング及び顔検出等を含んでもよく、上記前処理操作によって、対応する顔部画像を含む第３画像及び第４画像を取得することができる。
【００６４】
あるほかの可能な実施例では、取得されたのは写真形式の第３画像及び第４画像であってもよく、この時に第３画像及び第４画像を直接処理してもよく、即ち顔検出によって確認すべき対象の顔部画像を含む第３画像及び第４画像を取得してもよい。又は、第１撮影モジュールは顔部画像を含む第３画像を直接取得してもよく、第２撮影モジュールは顔部画像を含む第４画像を直接取得してもよく、例えば、第１撮影モジュール及び第２撮影モジュールは顔画像キャプチャ装置であってもよく、取得された第３画像及び第４画像は顔部画像となり、本開示はこれについて具体的に限定するものではなく、取得した第３画像及び第４画像には判定される確認すべき対象の顔部領域を含むものであれば、本開示の実施例とすることができる。
【００６５】
Ｓ１０２：取得された第３画像のうち、品質要求を満たす画像を前記第１画像として決定し、第４画像のうち、品質要求を満たす画像を第２画像として決定する。
【００６６】
実際のシーンにおいて、取得された画像の角度、鮮明度、帽子やマスク、眼鏡等のアクセサリーの着用有無、及び他の物体の有無、人物の遮蔽はランダム的なものであるので、撮影モジュールで取得された第３画像及び第４画像を取得した後、ユーザの身元の検出及び判定を実行するために、更に第３画像及び第４画像から品質要求に応えられる画像を選び出す必要がある。ここで、第３画像と第４画像に対して角度、品質スコアの共同判定を同時に実行してもよく、所定の品質より低い画像は廃棄される。
【００６７】
本開示の実施例では、ニューラルネットワークによって第３画像及び第４画像の画像品質を決定してもよいし、特定のアルゴリズムによって第３画像の画像品質を決定してもよく、ここで、画像の鮮明度、顔の角度をもとに第３画像及び第４画像をスコアリングしてもよく、このスコアが特定のスコアより低ければ、例えば８０点より低ければ、この第３画像及び第４画像を削除してもよく、スコアが特定のスコアより高ければ、この画像の品質が品質要求に応えられることを反映し、この時にこの第３画像及び第４画像を用いて人員身元の判定を実行してもよく、即ち、品質要求に応えられる第３画像を身元を確認される第１画像とし、品質要求に応えられる第４画像を身元を確認される第２画像とするようにしてもよい。ここで、特定のスコアは異なる要求や適用のシーンに応じて自ら設定してもよく、本開示は具体的に限定するものではない。
【００６８】
ある他の可能な実施形態では、前記確認すべき対象の第１画像及び第２画像を取得した後、且つ、前記第１画像の第１特徴データを取得し、前記第１特徴データを目標ライブラリ中の特徴データと照合して身元確認を実行して第１確認結果を取得する前に、更に、第１画像及び／又は第２画像が所定特徴を含むか否かを検出してもよく、第３画像及び／又は第４画像に所定特徴が含まれると検出された時に、所定特徴を含む第３画像及び／又は第２画像をラベリングしてもよい。ここのラベリングとは、所定特徴を含む第３画像及び／又は第４画像にラベルを付けてもよいことを指し、このラベルは対応する画像を直接身元を確認される第１画像及び第２画像としてもよいことを示す。ここで、前記所定特徴は、マスク、帽子、サングラスの中の少なくとも１種のものを含んでもよい。例えば、第１撮影モジュールで取得された第１動画から取得された第３画像における確認すべき対象は帽子をかぶっており、マスクをかけている確認すべき対象である（即ち第１画像に対応する特徴データは帽子、マスク等の特徴を含む）ことが検出された時に、前記確認すべき対象を直接不審者としてもよく、即ち、その第３画像は第１画像としてもよい。又は、第２撮影モジュールで取得された第２動画から取得された第４画像における確認すべき対象は帽子をかぶっており、サングラスをかけている確認すべき対象である（即ち、第２画像に対応する特徴データは帽子、サングラス等の特徴を含む）ことが検出された時に、前記確認すべき対象を直接不審者としてもよく、即ち、その第４画像は第２画像としてもよい。ここで、ニューラルネットワークによって第３画像及び第４画像の特徴データを検出して、上記所定特徴を有するか否かを決定するようにしてもよい。
【００６９】
上記形態によれば、受信された様々な画像について、処理される第１画像及び第２画像を容易に取得することができ、ここで、取得された第１画像及び第２画像は品質要求に応えられる画像であるので、確認すべき対象の身元確認を精確に実行することに利用可能である。
【００７０】
第１画像及び第２画像が取得された後、この第１画像及び第２画像を目標ライブラリにおける対象の特徴データと照合、マッチングしてもよく、即ちステップＳ２００を実行してもよい。ここで、本開示の実施例は、目標ライブラリを含んでもよく、ここで目標ライブラリにはブラックリストとホワイトリスト及びラベリングされた見知らぬ人の情報が記録されている。ここで、ブラックリストとはこの場所への通行が禁止される対象の情報を指し、ホワイトリストとはこの場所への通行が許可される対象の情報を指し、本開示の実施例の目標ライブラリに記憶されたのは身元が知られている対象の情報及び見知らぬ人としてラベリングされた対象の情報である。
【００７１】
例えば、第１撮影モジュールで取得された第１画像については、本開示の実施例はステップＳ１００によって第１画像を取得した後、第１画像の第１特徴データを目標ライブラリにおける画像データの特徴データと照合、マッチングしてもよい。例えば、目標ライブラリには各第１対象の顔部画像及びその顔部特徴データが記憶されているか、氏名、年齢等のほかの情報を含んでいてもよく、本開示は具体的に限定するものではない。
【００７２】
本開示の実施例は、第１画像の第１特徴データを目標ライブラリにおける各対象の特徴データと照合してもよく、目標ライブラリには第１特徴データとのマッチング値が第１マッチング閾値を超えた特徴データが存在すれば、第１画像に対応する確認すべき対象が目標ライブラリ中の対象であると決定可能であり、この時に第１確認結果は確認成功であることを反映する。更に、第１特徴データに対応する特徴データが検索できなければ、第１確認結果は確認失敗であると決定可能である。また、目標ライブラリには第１画像の第１特徴データとマッチングする特徴データが存在しない時に、例えば目標ライブラリにおける全ての対象の顔部特徴の第１特徴データとのマッチング値が第１マッチング閾値よりも低い時に、目標ライブラリに第１特徴データとマッチングする特徴データが存在しないと決定可能である。即ち、第１画像に対応する確認すべき対象は目標ライブラリ中の人員ではない。この時に第２撮影モジュールで取得された第２画像にも基づいて更に判定してもよい。ここで、本開示の実施例は撮影モジュールで取得された画像又は受信された画像に基づいて人物対象の身元確認を行うことができるので、入力された画像を目標ライブラリにおける画像データと照合する効果を実現することができ、即ち、画像をもって画像を検索する効果を有し、入力画像とマッチング可能な目標ライブラリにおける画像を検索できる。
【００７３】
ここで、本開示の実施例の目標ライブラリにはホワイトリスト／ブラックリストライブラリ及びラベリング済み見知らぬ人ライブラリを含んでもよいことを説明すべきである。ここで、ホワイトリスト／ブラックリストライブラリには、登録されたブラックリスト対象及びホワイトリスト対象を含み、ここで、ブラックリスト対象は対応する場所への通行が禁止される人員であり、ホワイトリスト対象は対応する場所への通行が許可される人員である。ここで、ホワイトリスト／ブラックリストライブラリにはホワイトリスト対象及びブラックリスト対象の顔部画像を含み、更に、対応する氏名、年齢、職務等の情報を含んでもよい。ホワイトリスト／ブラックリストライブラリに基づいて、確認すべき対象の身元確認を実行することができ、確認結果によれば、前記確認すべき対象がブラックリスト対象又はホワイトリスト対象であるか否かが分かる。
【００７４】
図３は本開示の実施例に係る画像処理方法におけるステップＳ２００のフローチャートを示し、ここで、前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得するステップは、
前記第１画像の第１特徴データを前記ホワイトリスト／ブラックリストライブラリにおける各画像の特徴データと照合するＳ２０１と、
前記ホワイトリスト／ブラックリストライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をブラックリスト対象又はホワイトリスト対象として決定するＳ２０２と、を含む。
【００７５】
以上のとおり、目標ライブラリはホワイトリスト／ブラックリストライブラリを含み、ホワイトリスト／ブラックリストライブラリにはホワイトリスト対象及びブラックリスト対象の顔部画像を含んでもよく、又は、顔部画像の特徴データを直接含んでもよい。第１特徴データをホワイトリスト／ブラックリストライブラリにおける各対象の画像データ中の特徴データとマッチングすることによって、第１特徴データとのマッチング度が第１マッチング閾値より高い特徴データが存在すれば、前記確認すべき対象がホワイトリスト／ブラックリストライブラリ中の対象であると決定可能であり、マッチング度が最も高い特徴データに対応する身元情報を前記確認すべき対象の身元情報としてもよく、この時に前記確認すべき対象の身元が決定可能であり、第１確認結果は確認成功であることを反映する。逆には、ホワイトリスト／ブラックリストライブラリ中の全ての特徴データの第１特徴データとのマッチング度がいずれも第１マッチング閾値より低ければ、ホワイトリスト／ブラックリストライブラリに前記確認すべき対象とマッチングする対象が存在しないことを反映する。
【００７６】
ある可能な実施形態では、ホワイトリスト／ブラックリストライブラリから第１特徴データとマッチングする特徴データが検索できた後、第１画像及び第１画像の関連情報をマッチングする対象のマッチング記録に加えてもよく、ここで、関連情報は第１撮影モジュールが第１画像を取得した時間、第１撮影モジュールの識別子及び対応する位置情報等であってもよい。本開示の実施例は各画像を取得すると共に、各画像に関連する情報を取得してもよい。確認が成功した第１画像及びその関連情報を対応するマッチング記録に加えることによって、この対象の軌跡、移動時間等を容易に分析することができる。
【００７７】
他の実施例では、ホワイトリスト／ブラックリストライブラリから検索できた、第１特徴とマッチングする特徴データに対応する対象がブラックリスト対象である時に、更に特定のリマインド操作を実行してもよく、例えば、音声又は表示出力の方式によってこのブラックリスト人員の通行状況をリマインドしてもよい。又は、このブラックリスト対象の通行回数等の情報を統計すると共に、この通行回数を出力するようにリマインドしてもよく、管理者が容易に見ることができる。本開示の実施例では、上記情報を上記電子機器のユーザ対話インタフェースに伝送してこのユーザ対話インタフェースによって表示してもよく、各リマインド情報を容易に調べることができる。
【００７８】
以上のことによってブラックリスト対象及びホワイトリスト対象の身元確認を実行することができ、ホワイトリスト／ブラックリストライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功とする。
【００７９】
また、以上のとおり、目標ライブラリは、更にラベリング済み見知らぬ人ライブラリを含んでもよく、このラベリング済み見知らぬ人ライブラリにおける対象は見知らぬ人としてラベリングされた対象であり、ここで、各対象の顔部画像を含んでもよく、又は顔部特徴データを直接含んでもよく、また、各顔部画像の取得時間、位置等の関連情報を含んでもよく、更に、見知らぬ人としてラベリングされた回数等を含んでもよい。
【００８０】
ラベリング済み見知らぬ人ライブラリに基づいて、確認すべき対象の身元確認を実行することができ、確認結果によれば、前記確認すべき対象がラベリングされた見知らぬ対象であるか否かが分かる。
【００８１】
図４は本開示の実施例に係る画像処理方法におけるステップＳ２００のフローチャートを示し、ここで、前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得する前記ステップは、
取得された前記第１画像の第１特徴データを、前記ラベリング済み見知らぬ人ライブラリにおける画像の特徴データと照合するＳ２０３と、
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をラベリングされた見知らぬ人として決定するＳ２０４と、を含む。
【００８２】
以上のように、目標ライブラリはラベリング済み見知らぬ人ライブラリを含み、ラベリング済み見知らぬ人ライブラリには見知らぬ人としてラベリングされた対象の顔部画像を含んでもよく、又は、顔部画像の特徴データを直接含んでもよい。第１特徴データをラベリング済み見知らぬ人ライブラリにおける各対象の特徴データとマッチングすることによって、第１特徴データとのマッチング度が第２マッチング閾値より高い特徴データが存在すれば、前記確認すべき対象がラベリング済み見知らぬ人ライブラリ中の対象であると決定可能であり、マッチング度が最も高い特徴データに対応する対象の身元情報をこの確認対象の身元情報としてもよく、この時に前記確認すべき対象の身元が見知らぬ人であることが決定可能であり、第１確認結果は確認成功であることを反映する。逆に、全ての特徴データの第１特徴データとのマッチング度がいずれも第２マッチング閾値より低ければ、ラベリング済み見知らぬ人ライブラリに前記確認すべき対象とマッチングする対象が存在しないことを反映する。
【００８３】
ある可能な実施形態では、ラベリング済み見知らぬ人ライブラリから第１特徴データとマッチングする特徴データが検索できた後、第１画像及び第１画像の関連情報をマッチングする対象のマッチング記録に加えてもよく、ここで、関連情報は第１撮影モジュールが第１画像を取得した時間、第１撮影モジュールの識別子及び対応する位置情報等であってもよい。本開示の実施例は、各画像を取得すると共に、各画像に関連する情報を同時に取得してもよい。確認が成功した第１画像及びその関連情報を対応するマッチング記録に加えることによって、この対象の軌跡、移動時間等を容易に分析することができる。
【００８４】
他の実施例では、ラベリング済み見知らぬ人ライブラリから第１特徴とマッチングする特徴データが検索できた時に、更に特定のリマインド操作を実行してもよく、例えば、音声又は表示出力の方式によってこの見知らぬ人の通行状況をリマインドしてもよい。又は、この見知らぬ人が対応場所でラベリングされた回数及びこの見知らぬ人の対応場所での滞在時間、出現の頻度等の情報を統計すると共に、上記情報を出力するようにリマインドしてもよく、管理者が容易に見ることができる。ここで、滞在時間は、検出された、対象が見知らぬ人としてラベリングされた時間に基づいて決定してもよく、例えば、最後で見知らぬ人としてラベリングされた第１時間と最初で見知らぬ人としてラベリングされた時間の時間差を滞在時間としてもよく、出現の頻度は、この見知らぬ人が認識された回数と上記滞在時間の比率であってもよい。本開示の他の実施例では、例えばこの見知らぬ人の出現した位置情報のようなほかの情報を統計してもよく、ここで、この見知らぬ人の画像を取得した撮影モジュールの識別子又は位置に基づいて見知らぬ人の所在位置を決定可能であり、それによって見知らぬ人の移動軌跡を取得することができ、統計される情報については本開示はここで一つずつ列挙しない。本開示の実施例では、上記情報を電子機器のユーザ対話インタフェースに伝送して、このユーザ対話インタフェースによって表示してもよく、各リマインド情報を容易に調べることができる。
【００８５】
以上のことで、登録された見知らぬ対象の身元確認が実行可能であり、また、ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果は確認成功であると決定する。
【００８６】
ここで、第１マッチング閾値及び第２マッチング閾値は同じものであってもよく、異なるものであってもよく、当業者であれば必要に応じて自ら設定してもよい。
【００８７】
また、本開示の実施例では、目標ライブラリ中のホワイトリスト／ブラックリストライブラリ及びラベリング済み見知らぬ人ライブラリの確認手順については、当業者であれば必要に応じて設定してもよく、ここで、先にホワイトリスト／ブラックリストライブラリによって第１特徴データを確認し、ホワイトリスト／ブラックリストライブラリにマッチングする特徴データが存在しない時に、更にラベリング済み見知らぬ人ライブラリを用いて確認するようにしてもよく、先にラベリング済み見知らぬ人ライブラリによって第１特徴データを確認し、ラベリング済み見知らぬ人ライブラリにマッチングする特徴データが存在しない時に、更にホワイトリスト／ブラックリストライブラリを用いて確認するようにしてもよく、又は、ホワイトリスト／ブラックリストライブラリ及びラベリング済み見知らぬ人ライブラリを同時に用いて確認してもよい。つまり、本開示の実施例は２つのデータベースを用いて確認操作を実行する時間順序について具体的に限定するものではなく、上記確認を実行できるものであれば本開示の実施例としてもよい。
【００８８】
また、本開示の実施例では、前記目標ライブラリに前記第１画像の第１特徴データとマッチングする特徴データが存在しない（即ち、ラベリング済み見知らぬ人ライブラリ及びホワイトリスト／ブラックリストライブラリのいずれにもマッチングする特徴データが存在しない）場合に、第１確認結果は確認失敗であると決定可能であり、この時に前記第１画像を保存してもよい。例えば、目標ライブラリ中の全ての対象の特徴データが第１画像の第１特徴データとマッチング不可能である時に、この第１画像を保存してもよい。また、第１確認結果が認証失敗である場合に応答して、第１撮影モジュール以外の第２撮影モジュールで取得された第２画像と第１画像に基づいて共同確認し、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するようにしてもよい。
【００８９】
本開示の実施例では第２画像の第１確認操作の過程は第１画像と同様であり、第２画像の第１確認結果を同様に取得することもできる。本開示はここで重複な説明を省略する。
【００９０】
ここで、目標ライブラリに第１特徴データとマッチングする対象が存在しない場合に、この第１画像を一時的に保存してもよい。また、余分な画像を減少し、一時的に保存される第１画像の占用する記憶空間を小さくするために、特定時間範囲内の第１画像に対して重複排除処理を行って、同一確認すべき対象に対して一時的に多く保存された画像を減少するようにしてもよい。ここで、本開示の実施例は、第１時間範囲内で確認に失敗した第１画像及び／又は第２画像に対して重複排除処理を行って、第１時間範囲内で第１事前設定条件を満たした各確認すべき対象の第１画像及び／又は第２画像を得るようにしてもよい。ここで、第１時間範囲はローリングウインドウ（ｒｏｌｌｉｎｇ  ｗｉｎｄｏｗ）であってもよく、例えば、２−５秒間に設定してもよく、保存される（一時的に保存される）第１画像及び第２画像に対して第１時間範囲によって１回のバッチ処理を行ってもよく、この時に、同じ確認すべき対象の第１画像に対して合併及び重複排除処理を行い、同じ確認すべき対象の第２画像に対して合併及び重複排除処理を行うようにしてもよい。第１時間範囲内に異なる確認すべき対象の第１画像が取得可能であるので、一時的に保存される第１画像は異なる確認すべき対象の画像であってもよく、１つの確認すべき対象の複数の画像であってもよく、この時に、第１画像のうち同じ確認すべき対象の画像を認識してもよく、例えば、各画像の特徴データに基づいて比較して、類似度が類似度閾値より大きい画像を同じ確認すべき対象の画像とし、更に第１事前設定条件で同じ確認すべき対象の各画像のうちの１つのみを保存するようにしてもよい。ここで、第１事前設定条件は、一時的に保存された時間によって、最初に一時的に保存された画像を保留し、同じ確認すべき対象の他の一時保存画像を削除するようになってもよい。又は、第１事前設定条件は、同じ確認すべき対象の各画像のスコアを比較して、スコアが最も高い画像を保留し、他の画像を削除するようになってもよい。このスコアの取得は上記実施例と同様であり、例えば、特定のアルゴリズムに基づいて画像を分析してスコアを得るか、ニューラルネットワークを用いて画像をスコアリングするようにしてもよく、ここで、スコアリングの原理は画像の鮮明度、顔部の角度、遮蔽状況等によって決定される。当業者であれば必要に応じて対応のスコアリング方法を選択してもよく、本開示はこれについて具体的に限定するものではない。
【００９１】
上記形態によれば、第１時間範囲内で第１撮影モジュールの収集した第１画像中の不審者（第１対象及び第２対象とマッチングできなかった）を取得し、且つそれぞれの確認すべき対象に対して１つの第１画像のみを保存するようにしてもよく、それによって記憶空間の使用を減少することができる。以上では第１撮影モジュールの例のみによって第１撮影モジュールの第１画像の処理を説明したが、他の撮影モジュールの処理方式が同じであり、ここで重複な説明を省略する。
【００９２】
各第１画像に対して合併及び重複排除処理を行った後、他の第２撮影モジュールの収集した第２画像にも基づいて確認すべき対象の身元を判定するようにしてもよい。図５は本開示の実施例に係る画像処理方法におけるステップＳ３００のフローチャートを示し、ここで、第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定する前記ステップは、以下のステップを含んでもよい。
【００９３】
Ｓ３０１：第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得する。
【００９４】
本開示の実施例の画像処理方法を実行する装置は、それぞれの撮影モジュールが第２時間範囲内に特徴データとマッチングできなかった第１画像及び第２画像を合併し、且つクラスタリング処理を実行して、各確認すべき対象に対する画像集合を得ることができ、各画像集合に含まれる画像は同じ確認すべき対象の画像である。それによって各画像集合を容易に処理することができる。
【００９５】
Ｓ３０２：前記画像集合における各画像と前記画像集合における他の画像との間の類似度を決定する。
【００９６】
本開示の実施例では、同一確認すべき対象の画像集合の画像に対して類似度分析を行ってもよく、即ち、各画像と他の画像との間の類似度を決定して、画像集合における各画像が同一確認すべき対象の画像であるか否かを更に判断するようにしてよい。
【００９７】
Ｓ３０３：前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定する。
【００９８】
Ｓ３０４：前記画像集合が第２事前設定条件を満たすと決定する場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定する。
【００９９】
各画像集合における各画像と他の画像との間の類似度が取得された後、取得された類似度値に基づいて画像集合が第２事前設定条件を満たすか否かを決定してもよく、第２事前設定条件を満たした時に、前記画像集合が同じ対象の画像である確率が高いと決定可能であり、画像集合を保留してもよく、各類似度が第２事前設定条件を満たさないと判断された場合に、前記画像集合における各画像のクラスタリングが信頼不可能であると判断可能であり、同じ対象の画像である確率が低く、この時に前記画像集合を削除してもよい。また、更に事前設定条件を満たす画像集合を用いて前記確認すべき対象が未登録対象であるか否かを決定可能してもよい。
【０１００】
以下、各過程を詳細に説明する。図６は本開示の実施例に係る画像処理方法におけるステップＳ３０１のフローチャートを示し、ここで、第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得する前記ステップは、
前記第２時間範囲内で確認に失敗した第１画像及び第２画像のそれぞれに対応する第１特徴データ及び第２特徴データを取得するＳ３０１１と、
前記第１特徴データと前記第２特徴データを比較、マッチングして、第１特徴データと第２特徴データのそれぞれが同一確認すべき対象に対応するか否かを決定するＳ３０１２と、
前記同一確認すべき対象の第１画像の第１特徴データ及び第２画像の第２特徴データをクラスタリングして前記確認すべき対象に対応する画像集合を形成するＳ３０１３と、を含んでもよい。
【０１０１】
ステップＳ３０１１において、第２時間範囲が第１時間範囲より大きいものであり、例えば、第１時間範囲を２−５ｓとし、第２時間範囲を１０ｍｉｎとしてもよいが、本開示の実施例を具体的に限定する意図がない。第２時間範囲が第１時間範囲より大きいように限定することで、それぞれの第１時間範囲内に確認が失敗し且つ重複排除処理を行って得られた第１画像及び第２画像が取得可能であり、第２時間範囲内に各撮影モジュールで得られた第１画像及び第２画像を用いて異なる確認すべき対象の異なる画像を取得する。例えば、第２時間範囲内に、第１撮影モジュール及び少なくとも１つの第２撮影モジュールで各第１時間範囲内に重複排除処理を行って得た第１画像及び第２画像を取得し、且つそれらの中から重複した確認すべき対象の特徴を選び出して合併するようにしてもよく、例えば、画像の顔部特徴が類似度閾値より大きい画像を１つのカテゴリとして合併してもよく、即ち、１つの確認すべき対象の画像としてもよい。このステップによって複数の確認すべき対象に対する画像集合を得ることができ、各画像集合は同じ確認すべき対象の画像である。
【０１０２】
ここで、本開示の実施例では、各種の処理の画像にはいずれもそれに関連する撮影モジュールの識別子情報を含んでもよく、それによってそれぞれの画像がどの撮影モジュールにより収集されたものであるかを決定して、確認すべき対象の所在位置を対応付けて取得することができることを説明すべきである。また、画像は撮影モジュールがこの画像を取得した時間情報が関連付けられていてもよく、それによって各画像が取得された時間を決定して、確認すべき対象が各位置にいた時間を対応付けて決定することができる。
【０１０３】
各画像をクラスタリングする時に、まず第２時間範囲内で確認に失敗した第１画像の第１特徴データ及び確認が失敗した第２画像の第２特徴データを取得してもよく、ここで、ニューラルネットワークによって各画像の特徴データを認識してもよいが、本開示は具体的に限定するものではない。各第１特徴データ及び第２特徴データが得られた後、第１特徴データと第２特徴データを比較、マッチングして、各第１特徴データ及び第２特徴データが同じ確認すべき対象に対応するか否かを決定し、同じ確認すべき対象に対応する特徴データを１つのカテゴリとして組合せ、各確認すべき対象に対する画像集合を形成するようにしてもよく、前記画像集合には各画像及び各画像に対応する特徴データを含んでもよく、各画像の特徴データだけを含んでもよいが、本開示は具体的に限定するものではない。ここで、各特徴データが同一確認すべき対象に対応するか否かを決定する方式は、ニューラルネットワークを用いて決定する方式を含んでもよく、認識された２つの特徴データが同一確認すべき対象である確率が特定閾値より高ければ、両者が同一確認すべき対象であると決定可能であり、特定閾値より低ければ、異なる確認すべき対象であると決定可能である。このような方式によれば、各特徴データが同じ確認すべき対象の特徴データであるか否かを決定して、更に異なる確認すべき対象に対応する画像集合を決定することができる。
【０１０４】
各確認すべき対象に対する画像集合が取得された後、各画像集合における各画像同士の類似度を決定してもよい。図７は本開示の実施例に係る画像処理方法におけるステップＳ３０２のフローチャートを示し、ここで、前記画像集合における各画像と前記画像集合における他の画像との間の類似度を決定する前記ステップは、以下のステップを含む。
【０１０５】
Ｓ３０２１：各画像集合における各画像の特徴データと全ての画像の特徴データのドット積の合計値を取得する。
【０１０６】
ここで、ステップＳ２００によって、画像集合における各画像の特徴データ、例えば第１特徴データを取得することができ、それは特徴ベクトルの形式で表してもよい。それに基づいて、画像集合における各画像の特徴データと全ての画像の特徴データに対してドット積演算及び加算処理を行ってもよい。例えば、画像集合にはｎ個の画像を含んでもよく、ｎが１より大きい整数であり、そのように対象の各画像と全ての画像の顔部特徴データの合計値を取得してもよい。例えば、ｉ番目の画像の合計値はＳｉ＝Ｎｉ・Ｎ１＋Ｎｉ・Ｎ２＋…Ｎｉ・Ｎｎであってもよく、ただし、Ｎｉはｉ番目の画像の顔部特徴データである。上記形態によれば、各画像の顔部特徴データと全ての画像の顔部特徴データのドット積の合計値が取得可能である。
【０１０７】
本開示の実施例で取得された各画像の特徴データは正規化処理された特徴ベクトルであり、即ち、各特徴データの演算を容易にするように、本開示の実施例によって得られた各第１画像の第１特徴データ及び第２画像の第２特徴データはいずれも次元も長さも同じな特徴ベクトルであることをここで説明すべきである。
【０１０８】
Ｓ３０２２：前記合計値と前記画像集合中の特徴データの個数に基づいて各画像と他の画像との間の類似度を決定する。
【０１０９】
各合計値が取得された後、画像集合中の画像の数量に基づいて各画像と他の画像との間の類似度を決定する。本開示の実施例では、類似度はＰｉ＝Ｓｉ／（ｎ−１）＝（Ｎｉ・Ｎ１＋Ｎｉ・Ｎ２＋…Ｎｉ・Ｎｎ）／（ｎ−１）であってもよい。
【０１１０】
即ち、取得された合計値がｎ−１であれば各画像と他の画像との間の類似度を取得することができる。
【０１１１】
各画像と他の画像との間の類似度が取得された後、取得された各類似度値に基づいて画像集合が事前設定条件を満たすか否かを決定してもよい。また、事前設定条件を満たした画像集合を用いて対応する確認すべき対象が未登録者であるか否かを判断する。
【０１１２】
ある可能な実施形態では、各画像同士の類似度に基づいて前記画像集合が事前設定条件を満たしたと決定された場合に、前記画像集合に基づいて前記確認すべき対象が見知らぬ人であるか否かを決定する前記ステップの前に、画像集合が第２事前設定条件を満たすか否かを更に決定してもよく、前記画像集合における各画像に対応する類似度が以下のいずれか一項を満たした時に、前記画像集合が第２事前設定条件を満たすと決定する。
【０１１３】
ａ）前記画像集合における各画像同士の類似度のうちの最大類似度が第１類似度閾値より大きい。
【０１１４】
本開示の実施例では、他の画像との類似度が最も大きい類似度と第１類似度閾値を比較してもよく、この最も大きい類似度が第１類似度閾値より大きければ、前記画像集合における各画像同士の類似度が大きいことを反映し、前記画像集合が事前設定条件を満たすことが決定可能である。最も大きい類似度が第１類似度閾値より小さければ、前記画像集合のクラスタリング効果が好ましくないことを反映し、前記画像集合における各画像は異なる確認すべき対象である確率が大きく、この時に前記画像集合を削除してもよい。
【０１１５】
ｂ）前記画像集合における各画像同士の類似度のうち、第２類似度閾値より大きい類似度の画像数量が所定比率を超えた。
【０１１６】
それに類似するように、画像集合における各画像同士の類似度のうち、第２類似度閾値より大きい類似度の比率が所定比率より大きければ、例えば、５０％の画像の類似度が第２類似度閾値よりも大きければ、この時に前記画像集合における各画像同士の類似度が大きいと決定可能であり、そのように前記画像集合が事前設定条件を満たすと決定可能である。第２類似度閾値より大きい画像の比率がこの所定比率より小さければ、前記画像集合のクラスタリング効果が好ましくないことを反映し、前記画像集合中の各画像は異なる確認すべき対象である確率が大きく、この時に前記画像集合を削除してもよい。
【０１１７】
ｃ）前記画像集合における各画像同士の類似度のうちの最も小さい類似度が第３類似度閾値より大きい。
【０１１８】
それに類似するように、画像集合中の最も小さい類似度が第３類似度閾値より大きければ、前記画像集合における各画像同士の類似度が大きいことを反映し、そのように前記画像集合が事前設定条件を満たすと決定可能である。最も小さい類似度が第１類似度閾値より小さければ、前記画像集合のクラスタリング効果が好ましくないことを反映し、前記画像集合における各画像は異なる確認すべき対象である確率が大きく、この時に前記画像集合を削除してもよい。ここで、第１類似度閾値、第２類似度閾値及び第３類似度閾値の選択は異なる要求に応じて設定してもよく、本開示はこれについて具体的に限定するものではない。
【０１１９】
上記形態によれば、画像集合が事前設定条件を満たすか否かを決定して、更に事前設定条件を満たした画像集合を用いて確認すべき対象の身元判定を実行することができる。ここで、前記画像集合における各画像同士の類似度が事前設定条件を満たした場合に、前記確認すべき対象が見知らぬ人であるか否かを決定するステップは、前記画像集合における画像が異なる時間範囲内に異なる撮影モジュールによって取得されたものである場合に、前記確認すべき対象が見知らぬ人であると決定するステップを含んでもよい。
【０１２０】
即ち、画像集合には、第１撮影モジュール及び第２撮影モジュールのそれぞれによって異なる時間範囲に取得された２つの画像を含む場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定可能である。即ち、第１撮影モジュールで取得された第１画像から前記確認すべき対象の身元が認識できなく、且つ第２撮影モジュールで取得された第２画像からも前記確認すべき対象の身元が認識できなくなっており、第１画像及び第２画像の取得時間が異なる時間範囲、例えば、異なる第１時間範囲内にあり、そのようにこの第１画像及び第２画像で構成された画像集合が事前設定条件を満たした場合に、画像集合に対応する確認すべき対象が見知らぬ人であると決定可能である。
【０１２１】
上記形態によれば、複数の撮影モジュールで取得された画像によって不審者の身元を共同判定することができ、それによって確認すべき対象の身元をより精確に決定可能である。
【０１２２】
第１画像に対応する確認すべき対象が見知らぬ人であると決定された場合に、特定のリマインド操作を実行する。上記実施例で説明したように、オーディオ又は表示出力の方式によってこの見知らぬ人の情報を関係者にリマインドしてもよい。即ち、本開示の実施例では、前記第１画像に対応する確認すべき対象が見知らぬ人である場合に、特定のリマインド操作を実行するステップは、この見知らぬ人の画像、この見知らぬ人の現在位置情報及び出現回数の統計情報を表示装置に表示するステップ、及び／又は、見知らぬ人の出現、この見知らぬ人の現在位置情報及び出現回数の統計情報をオーディオリマインドの方式によってリマインドするステップを含む。ここで、滞在時間は、検出された、対象が見知らぬ人としてラベリングされた時間に基づいて決定してもよく、例えば、最後で見知らぬ人としてラベリングされた第１時間と最初で見知らぬ人としてラベリングされた時間の時間差を滞在時間としてもよく、出現の頻度は、この見知らぬ人が認識された回数と上記滞在時間の比率であってもよい。本開示の他の実施例では、例えばこの見知らぬ人の出現した位置情報のようなほかの情報を統計してもよく、ここで、この見知らぬ人の画像を取得した撮影モジュールの識別子又は位置に基づいて見知らぬ人の所在位置を決定可能であり、それによって見知らぬ人の移動軌跡を取得することができ、統計される情報については本開示はここで一つずつ列挙しない。本開示の実施例では、上記情報を電子機器のユーザ対話インタフェースに伝送して、このユーザ対話インタフェースによって表示してもよく、各リマインド情報を容易に調べることができる。
【０１２３】
また、画像集合に対応する確認すべき対象が見知らぬ人であると決定された場合に、前記画像集合をラベリング済み見知らぬ人ライブラリに保存してもよく、ここで、各画像の取得時間、取得位置及び画像を取得した撮影モジュールの識別子等の情報を関連付けて記憶してもよい。
【０１２４】
あるほかの可能な実施例では、前記確認すべき対象がラベリングされた見知らぬ人であると決定された時に、見知らぬ人としてラベリングされた回数を出力するか、前記第２確認結果を出力するようにしてもよい。この第２確認結果は確認すべき対象を共同判定した後決定された結果であり、例えば、見知らぬ人であると認識できたようになってするか、この対象の情報が認識できない等のようになっていてもよい。
【０１２５】
本開示の実施例をより詳細に説明するために、以下、例を挙げて本開示の実施例の具体的な過程を説明する。図８は本開示の実施例に係る画像処理方法のフローチャートを示し、図９は本開示の実施例に係る画像処理方法の見知らぬ人照合のフローチャートを示す。
【０１２６】
ここで、まずホワイト／ブラックリスト人員情報をシステムに入力してホワイトリスト／ブラックリストライブラリを形成しておき、ホワイトリスト／ブラックリストライブラリ内の第１対象はデータベース中の人員と略称され、データベース外の人員は見知らぬ人となる。見知らぬ人としてラベリングされた対象情報はラベリング済み見知らぬ人ライブラリを構成可能であり、上記の２つのデータベースは目標ライブラリを形成可能である。撮影モジュールの収集した画像を得る方式は、前方撮影装置を用いて人物画像情報を収集し、高鮮明度ネットワークカメラの収集した動画を後方サーバに伝送する方式を含んでもよく、又は顔画像キャプチャ装置によって顔写真を収集して直接サーバに伝送してもよい。サーバはビデオストリームを受信すると、伝送されてきたビデオストリームをデコードし、顔検出アルゴリズム又はニューラルネットワークによってその中の顔写真及び特徴値（顔部特徴）を抽出し、例えば、サーバは伝送してきた顔写真を受信した場合に、ビデオストリームデコードを省略して、顔画像の特徴値を直接検出してもよい。ここで、顔検出を実行すると共に、この顔写真にマスクをかけている特徴を含むか否かを検出してもよく、マスクをかけている特徴に合致した写真を直接不審者写真ライブラリに保存してもよく、また、顔写真に対して角度、品質スコアの共同判定を行って、品質要求に応えられない顔画像を廃棄する。
【０１２７】
次に、取得された顔画像の顔特徴値を見知らぬ人認識システムにおけるホワイトリスト／ブラックリストライブラリと照合してもよく、第１マッチング閾値（調節可能）を超えたものであれば、ブラックリスト対象又はホワイトリスト対象に合致したと考えられ、この時にこの顔画像をホワイトリスト／ブラックリストライブラリの照合記録に保存してもよい。ホワイトリスト／ブラックリストライブラリの特徴に合致しなかった時に、ラベリング済み見知らぬ人ライブラリと照合してもよく、第２マッチング閾値（調節可能）を超えたものであれば、マッチングが成功したと考えられ、見知らぬ人が再度認識された。
【０１２８】
ホワイトリスト／ブラックリストライブラリに合致しなかった上に、ラベリング済み見知らぬ人ライブラリにも合致しなかった場合に、顔画像の特徴値を一時的に保存して処理を待つ。この時に設定された第１ローリングウインドウ（ｒｏｌｌｉｎｇ  ｗｉｎｄｏｗ）、例えば２−５秒間に基づいて、分類保存を待つ特徴値に対して一回のバッチ処理を行って、現在のローリングウインドウの全ての特徴をトラバースし、類似度閾値ｔｈｒｅｓｈｏｌｄ  Ｌｖ２（調節可能）より大きい場合に、同一の人物が１つのシーンで数回撮影されたと考えられ、この時に合併、重複排除（例えば、要求に合致した最も初期の特徴を保留してもよい）を行い、且つ撮影装置の識別子を記録するようにしてもよい。
【０１２９】
異なる撮影装置で複数の第１時間範囲後に保留した顔画像に対して合併及びクラスタリング分析を行い、例えば第２時間範囲はこの複数の第１時間範囲であってもよく、第２時間範囲は１０分間に設定されてもよく、この第２時間範囲内に異なる撮影装置の保留した顔画像中の重複した画像特徴を見つけ出して合併し、ここで、類似度閾値ｔｈｒｅｓｈｏｌｄ  Ｌｖ３（調節可能）を用いてクラスタリングしてもよく、また画像に対応する撮影装置の識別子を記録してもよく、このステップの顔特徴の初期値は廃棄せず、１つのカテゴリとして合併、記憶する。
【０１３０】
上記の２つのステップの後、類似度がＬｖ２及びＬｖ３を超えた特徴値は、同一のカテゴリに取り入れられ、同一人物の異なる写真特徴と見なされ、この人物の全ての特徴値Ｎ１、Ｎ２、Ｎ３．．．．Ｎｋについては、１〜ｋのそれぞれの特徴値の他の特徴値との類似度ｐｉ＝（Ｎｉ＊Ｎ１＋Ｎｉ＊Ｎ２＋…＋Ｎｉ＊Ｎ（ｉ−１）＋Ｎｉ＊Ｎ（ｉ＋１）．．．Ｎｉ＊Ｎｋ）／ｋ−１を計算し、そのうちの最大値を取り、閾値ｔｈｒｅｓｈｏｌｄ  Ｌｖ４（調節可能、このＬｖ４がＬｖ３より大きい）以上のものであれば、初期のクラスタリングに拡散が発生しなかったと考えられ、Ｎｉに対応する特徴及び顔写真を適切に保留し、表示される顔写真とし、ｔｈｒｅｓｈｏｌｄ  Ｌｖ４より小さいものであれば、初期のクラスタリングが信頼不可能であると考えられ、特徴及び対応の写真を全て廃棄する。
【０１３１】
確認された後の各カテゴリ（即ち、それぞれの異なる来客）の全ての特徴値については、以下の２つの条件で判断する。ｉ）ｎ個のローリングウインドウ（ｒｏｌｌｉｎｇ  ｗｉｎｄｏｗ）内に出現したものであるか否か、ｎは一般的に１又は２に設定される。ｉｉ）記録された装置数量がｍより大きいか否か、ｍは一般的に２に設定される。両方も満たした場合に、見知らぬ人判定条件に合致するとし、見知らぬ人ライブラリに加える。即ち、画像集合中の画像が異なる時間範囲内に異なる撮影装置で撮影されたものであるか否かを判断してもよく、ＹＥＳの場合に、見知らぬ人判定条件に合致するとし、取得された、見知らぬ人判定条件に合致する画像集合を第２データベースに加えてもよく、ＮＯの場合に、画像集合を廃棄する。
【０１３２】
以上のステップで保存された特徴値は全てその最初顔写真に一対一に対応可能であり、更にいずれも時間、出所（装置番号）情報があり、システムはこれらの情報に基づいて見知らぬ人の写真の検索、画像による画像検索、見知らぬ人の軌跡検索、趨勢統計等を行う。
【０１３３】
以上の通り、本開示の実施例は、複数の撮影モジュールで取得された画像情報に基づいて確認すべき対象の身元権限を判定することができ、誤報率を効果的に低下させ、見知らぬ人の認識精確率を大幅に高めることができる。また、本開示の実施例では、マスクをかけており、帽子かぶっている人を直接不審者リストに記録すると共に、後で容易に調べるように、時間や場所を記録することも可能であり、更に必要に応じてマスクをかけている人が出現すると警告を出すビジネス・ロジックを設定することも可能である。見知らぬ人情報の記録、統計、時間や場所に基づく見知らぬ人写真の検索、画像による画像検索、軌跡検索、滞在時間検索、見知らぬ人出現頻度検索等の操作が可能である。即ち、本開示の実施例によれば、見知らぬ人出入り情報を効果的に記録することができ、精確率が実用要求に応えられ、公共の場で見知らぬ人を認識できないという問題を解決した。実用する際、管理者、ガードマンが政府の建物、工業団地、ホテル、住宅、オフィスビル等の閉鎖場所での見知らぬ人の出入りを管理することに役立ち、場所の安全性及び秩序を高めることができる。
【０１３４】
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならなく、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
【０１３５】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組合せ後の実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。
【０１３６】
また、本開示は画像処理装置、電子機器、コンピュータ読取可能記憶媒体、プログラムを更に提供し、それらはいずれも本開示で提供されるいずれか１種の画像処理方法を実現することに利用可能であり、対応する技術的解決手段及び説明については方法部分の対応の記載を参照してもよく、ここで詳細な説明を省略する。
【０１３７】
図１０は本開示の実施例に係る画像処理装置のブロック図を示し、図１０に示すように、前記装置は、
第１撮影モジュールにより収集された確認すべき対象の第１画像及び少なくとも１つの第２撮影モジュールにより収集された確認すべき対象の第２画像を取得するように構成される取得モジュール１０と、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得するように構成される第１確認モジュール２０と、
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するように構成される第２確認モジュール３０と、を含む。
【０１３８】
ある可能な実施形態では、前記目標ライブラリは、ホワイトリスト／ブラックリストライブラリを含み、
前記第１確認モジュールは更に、前記第１画像の第１特徴データを前記ホワイトリスト／ブラックリストライブラリにおける各画像の特徴データと照合するステップと、
前記ホワイトリスト／ブラックリストライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をブラックリスト対象又はホワイトリスト対象として決定するステップと、に用いられる。
【０１３９】
ある可能な実施形態では、前記目標ライブラリは、ラベリング済み見知らぬ人ライブラリを含み、
前記第１確認モジュールは更に、取得された前記第１画像の第１特徴データを前記ラベリング済み見知らぬ人ライブラリにおける画像の特徴データと照合するステップと、
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をラベリングされた見知らぬ人として決定するステップと、に用いられる。
【０１４０】
ある可能な実施形態では、前記装置は、前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１画像に対応する確認すべき対象が見知らぬ人としてラベリングされた回数を統計するように構成される統計モジュールを更に含む。
【０１４１】
ある可能な実施形態では、前記第１確認モジュールは更に、前記第１確認結果が確認成功である場合に、前記第１画像及び前記第１画像の関連情報を、マッチングする特徴データに対応するマッチング記録に加えるために用いられ、前記第１画像の関連情報は、前記第１撮影モジュールが前記第１画像を収集した時間情報、前記第１撮影モジュールの識別子情報、前記第１撮影モジュールの位置情報の中の少なくとも１つを含む。
【０１４２】
ある可能な実施形態では、前記装置は、前記第１画像と前記第２画像を用いて共同確認するステップの前に、第１時間範囲内で確認に失敗した第１画像及び／又は第２画像に対して重複排除処理を行って、第１時間範囲内で第１事前設定条件を満たした各確認すべき対象の第１画像及び／又は第２画像を得るように構成される重複排除モジュールを更に含む。
【０１４３】
ある可能な実施形態では、前記第２確認モジュールは更に、第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得するステップと、
前記画像集合における各画像と前記画像集合における他の画像との間の類似度を決定するステップと、
前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定するステップと、
前記画像集合が第２事前設定条件を満たした場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定するステップと、に用いられる。
【０１４４】
ある可能な実施形態では、前記第２確認モジュールは更に、各画像集合における各画像の特徴データと全ての画像の特徴データのドット積の合計値を取得するステップと、
前記合計値と前記画像集合中の特徴データの個数に基づいて各画像と他の画像との間の類似度を決定するステップと、に用いられる。
【０１４５】
ある可能な実施形態では、前記第２確認モジュールは更に、前記第２時間範囲内で確認に失敗した第１画像及び第２画像のそれぞれに対応する第１特徴データ及び第２特徴データを取得するステップと、
前記第１特徴データと前記第２特徴データを比較、マッチングして、第１特徴データと第２特徴データのそれぞれが同一確認すべき対象に対応するか否かを決定するステップと、
前記同一確認すべき対象の第１特徴データと第２特徴データをクラスタリングして前記同一確認すべき対象の画像集合を形成するステップと、に用いられる。
【０１４６】
ある可能な実施形態では、前記第２確認モジュールは更に、
前記画像集合における各画像に対応する類似度のうちの最大類似度が第１類似度閾値より大きいこと、
前記画像集合における各画像に対応する類似度のうち、第２類似度閾値より大きい類似度の特徴データ数量が所定比率を超えたこと、
前記画像集合における各画像に対応する類似度のうちの最小類似度が第３類似度閾値より大きいことの中の少なくとも１つによって、前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定する前記ステップを実行するために用いられる。
【０１４７】
ある可能な実施形態では、前記第２確認モジュールは更に、前記画像集合における画像同士の類似度が事前設定条件を満たさない場合に、前記画像集合に対応する全ての画像を削除するために用いられる。
【０１４８】
ある可能な実施形態では、前記第２確認モジュールは更に、前記特徴データ集合中の特徴データに対応する画像が、異なる時間範囲内に異なる撮影モジュールで収集された画像である場合に、前記特徴データ集合に対応する確認すべき対象が見知らぬ人であると決定するために用いられる。
【０１４９】
ある可能な実施形態では、前記取得モジュールは更に、第１撮影モジュールにより収集された第１動画及び少なくとも１つの第２撮影モジュールにより収集された第２動画をそれぞれ取得し、前記第１動画を前処理して第３画像を取得し、前記第２動画を前処理して第４画像を取得するか、第３画像及び第４画像を受信するステップと、
第３画像のうち、品質要求を満たす画像を前記第１画像として決定し、第４画像のうち、品質要求を満たす画像を第２画像として決定するステップと、に用いられる。
【０１５０】
ある可能な実施形態では、前記取得モジュールは更に、前記確認すべき対象の第１画像及び第２画像を取得した後、且つ、前記第１画像の第１特徴データを取得し、前記第１特徴データを目標ライブラリ中の特徴データと照合して身元確認を実行して第１確認結果を取得する前に、前記第１画像及び／又は第２画像が所定特徴を含むか否かを検出するステップと、
前記第１画像及び／又は第２画像が所定特徴を含む場合に応答して、前記所定特徴を含む第１画像及び／又は第２画像をラベリングするステップと、に用いられ、前記所定特徴は、マスク、帽子、サングラスの中の少なくとも１つを含む。
【０１５１】
ある可能な実施形態では、前記装置は、前記第１確認結果又は第２確認結果を出力、リマインドするように構成されるリマインドモジュールを更に含む。
【０１５２】
ある可能な実施形態では、前記リマインドモジュールは更に、第１認証結果が認証成功である場合に応答して、予め設定された方式で、前記確認すべき対象の身元及びその関連情報を出力し、前記確認すべき対象がラベリングされた見知らぬ人であると決定された時に、見知らぬ人としてラベリングされた回数を出力するステップ、又は
前記第２確認結果を出力するステップに用いられる。
【０１５３】
ある可能な実施形態では、前記第２確認モジュールは更に、確認すべき対象が見知らぬ人であるという第２確認結果に応答して、前記確認すべき対象に対応する第１画像、第２画像及び関連情報を前記目標ライブラリに記憶するステップと、見知らぬ人と判定された確認結果、統計情報及びリマインド情報をユーザ対話インタフェースによって表示するステップと、に用いられる。
【０１５４】
いくつかの実施例では、本開示の実施例で提供された装置に備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してもよく、簡単化するために、ここで重複説明は割愛する。
【０１５５】
本開示の実施例は、更に、コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に上記方法を実現するコンピュータ読取可能記憶媒体を提供する。コンピュータ読取可能記憶媒体は不揮発性コンピュータ読取可能記憶媒体であってよい。
【０１５６】
本開示の実施例は、更に、プロセッサと、プロセッサ実行可能コマンドを記憶するためのメモリと、を含み、前記プロセッサが上記方法を実行するように構成される電子機器を提供する。
【０１５７】
電子機器は、端末、サーバ又は他の形態のデバイスとして提供されてよい。
【０１５８】
図１１は例示的な一実施例に基づいて示した電子機器８００のブロック図である。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってよい。
【０１５９】
図１１を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。
【０１６０】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。
【０１６１】
メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。
【０１６２】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。
【０１６３】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。
【０１６４】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【０１６５】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。
【０１６６】
センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。
【０１６７】
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【０１６８】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。
【０１６９】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。
【０１７０】
図１２は例示的な一実施例に基づいて示した電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供できる。図１２を参照すると、電子機器１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する一つ以上のモジュールを含むことができる。また、処理コンポーネント１９２２は命令を実行し、それによって上記方法を実行するように構成される。
【０１７１】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークにアクセスするように構成された有線または無線ネットワークインタフェース１９５０、および入入力／出力（Ｉ／Ｏ）インタフェース１９５８を含むことができる。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【０１７２】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行して上記方法を完了することができる。
【０１７３】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。
【０１７４】
コンピュータ読み取り可能記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０１７５】
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。
【０１７６】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。
【０１７７】
なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【０１７８】
これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。
【０１７９】
コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０１８０】
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
【０１８１】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図１】
2021515945.tif 000003
【図２】
2021515945.tif 000004
【図３】
2021515945.tif 000005
【図４】
2021515945.tif 000006
【図５】
2021515945.tif 000007
【図６】
2021515945.tif 000008
【図７】
2021515945.tif 000009
【図８】
2021515945.tif 000010
【図９】
2021515945.tif 000011
【図１０】
2021515945.tif 000012
【図１１】
2021515945.tif 000013
【図１２】
2021515945.tif 000014
【手続補正書】
【提出日】令和2年9月8日(2020.9.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１撮影モジュールにより収集された確認すべき対象の第１画像及び少なくとも１つの第２撮影モジュールにより収集された確認すべき対象の第２画像を取得するステップと、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得するステップと、
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するステップと、を含む画像処理方法。
【請求項２】
前記目標ライブラリは、ホワイトリスト／ブラックリストライブラリを含み、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得する前記ステップは、
前記第１画像の第１特徴データを前記ホワイトリスト／ブラックリストライブラリにおける各画像の特徴データと照合するステップと、
前記ホワイトリスト／ブラックリストライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をブラックリスト対象又はホワイトリスト対象として決定するステップと、を含む請求項１に記載の方法。
【請求項３】
前記目標ライブラリは、ラベリング済み見知らぬ人ライブラリを含み、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得する前記ステップは、
取得された前記第１画像の第１特徴データを前記ラベリング済み見知らぬ人ライブラリにおける画像の特徴データと照合するステップと、
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、前記第１確認結果を確認成功であると判断し、且つ前記第１画像に対応する確認すべき対象をラベリングされた見知らぬ人として決定するステップと、を含む請求項１又は２に記載の方法。
【請求項４】
前記ラベリング済み見知らぬ人ライブラリに前記第１特徴データとマッチングする特徴データが存在する場合に、
前記第１画像に対応する確認すべき対象が見知らぬ人としてラベリングされた回数を統計するステップを更に含む請求項３に記載の方法。
【請求項５】
前記第１確認結果が確認成功である場合に、前記第１画像及び前記第１画像の関連情報を、マッチングする特徴データに対応するマッチング記録に加えるステップであって、前記第１画像の関連情報は、前記第１撮影モジュールが前記第１画像を収集した時間情報、前記第１撮影モジュールの識別子情報、前記第１撮影モジュールの位置情報の中の少なくとも１つを含むステップを更に含む請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記第１画像と前記第２画像を用いて共同確認するステップの前に、
第１時間範囲内で確認に失敗した第１画像及び／又は第２画像に対して重複排除処理を行って、第１時間範囲内で第１事前設定条件を満たした各確認すべき対象の第１画像及び／又は第２画像を得るステップを更に含む請求項１〜５のいずれか一項に記載の方法。
【請求項７】
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定する前記ステップは、
第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得するステップと、
前記画像集合における各画像と前記画像集合における他の画像との間の類似度を決定するステップと、
前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定するステップと、
前記画像集合が第２事前設定条件を満たした場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定するステップと、を含む請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記画像集合における各画像と他の画像との間の類似度を決定する前記ステップは、
各画像集合における各画像の特徴データと全ての画像の特徴データのドット積の合計値を取得するステップと、
前記合計値と前記画像集合中の特徴データの個数に基づいて各画像と他の画像との間の類似度を決定するステップと、を含む請求項７に記載の方法。
【請求項９】
前記第２時間範囲内で第１確認結果が確認失敗である第１画像と第１確認結果が確認失敗である第２画像に対してクラスタリング処理を行って、各確認すべき対象に対する画像集合を取得するステップは、
前記第２時間範囲内で確認に失敗した第１画像及び第２画像のそれぞれに対応する第１特徴データ及び第２特徴データを取得するステップと、
前記第１特徴データと前記第２特徴データを比較、マッチングして、第１特徴データと第２特徴データのそれぞれが同一確認すべき対象に対応するか否かを決定するステップと、
前記同一確認すべき対象の第１特徴データと第２特徴データをクラスタリングして前記同一確認すべき対象の画像集合を形成するステップと、を含む請求項７又は８に記載の方法。
【請求項１０】
前記画像集合における各画像に対応する類似度に基づいて前記画像集合が第２事前設定条件を満たすか否かを決定する前記ステップは、
前記画像集合における各画像に対応する類似度のうちの最大類似度が第１類似度閾値より大きいこと、
前記画像集合における各画像に対応する類似度のうち、第２類似度閾値より大きい類似度の特徴データ数量が所定比率を超えたこと、及び
前記画像集合における各画像に対応する類似度のうちの最小類似度が第３類似度閾値より大きいことのうちの少なくとも１つを含む請求項７〜９のいずれか一項に記載の方法。
【請求項１１】
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定する前記ステップは、
前記画像集合における画像同士の類似度が事前設定条件を満たさない場合に、前記画像集合に対応する全ての画像を削除するステップを更に含む請求項７〜１０のいずれか一項に記載の方法。
【請求項１２】
前記画像集合が第２事前設定条件を満たした場合に、前記画像集合に対応する確認すべき対象が見知らぬ人であると決定する前記ステップは、
前記特徴データ集合中の特徴データに対応する画像が、異なる時間範囲内に異なる撮影モジュールで収集された画像である場合に、前記特徴データ集合に対応する確認すべき対象が見知らぬ人であると決定するステップを含む請求項７〜１１のいずれか一項に記載の方法。
【請求項１３】
確認すべき対象の第１画像及び第２画像を取得する前記ステップは、
第１撮影モジュールにより収集された第１動画及び少なくとも１つの第２撮影モジュールにより収集された第２動画をそれぞれ取得し、前記第１動画を前処理して第３画像を取得し、前記第２動画を前処理して第４画像を取得するか、第３画像及び第４画像を受信するステップと、
第３画像のうち、品質要求を満たす画像を前記第１画像として決定し、第４画像のうち、品質要求を満たす画像を第２画像として決定するステップと、を含む請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記確認すべき対象の第１画像及び第２画像を取得した後、且つ、前記第１画像の第１特徴データを取得し、前記第１特徴データを目標ライブラリ中の特徴データと照合して身元確認を実行して第１確認結果を取得する前に、前記方法は更に、
前記第１画像及び／又は第２画像が所定特徴を含むか否かを検出するステップと、
前記第１画像及び／又は第２画像が所定特徴を含む場合に応答して、前記所定特徴を含む第１画像及び／又は第２画像をラベリングするステップと、を含み、前記所定特徴は、マスク、帽子、サングラスの中の少なくとも１つを含む請求項１３に記載の方法。
【請求項１５】
前記第１確認結果又は第２確認結果を出力、リマインドするステップを更に含む請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記第１確認結果又は第２確認結果を出力、リマインドする前記ステップは、
第１認証結果が認証成功である場合に応答して、予め設定された方式で、前記確認すべき対象の身元及びその関連情報を出力し、前記確認すべき対象がラベリングされた見知らぬ人であると決定された時に、見知らぬ人としてラベリングされた回数を出力するステップ、又は
前記第２確認結果を出力するステップを含む請求項１５に記載の方法。
【請求項１７】
確認すべき対象が見知らぬ人であるという第２確認結果に応答して、前記確認すべき対象に対応する第１画像、第２画像及び関連情報を前記目標ライブラリに記憶するステップと、
見知らぬ人と判定された確認結果、統計情報及びリマインド情報をユーザ対話インタフェースによって表示するステップと、を更に含む請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
第１撮影モジュールにより収集された確認すべき対象の第１画像及び少なくとも１つの第２撮影モジュールにより収集された確認すべき対象の第２画像を取得するように構成される取得モジュールと、
前記第１画像を目標ライブラリにおける画像データと照合して身元確認を実行して、第１確認結果を取得するように構成される第１確認モジュールと、
第１確認結果が認証失敗である場合に応答して、前記第１画像と前記第２画像を用いて共同確認して、前記共同確認の第２確認結果に基づいて前記確認すべき対象の身元を決定するように構成される第２確認モジュールと、を含む画像処理装置。
【請求項１９】
プロセッサと、
プロセッサ実行可能コマンドを記憶するためのメモリと、を含み、
前記プロセッサが請求項１〜１７のいずれか一項に記載の方法を実行するように構成される電子機器。
【請求項２０】
コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１〜１７のいずれか一項に記載の方法を実現するコンピュータ読取可能記憶媒体。
【請求項２１】
コンピュータに、請求項１〜１７のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【国際調査報告】
2021515945.tif 000015
2021515945.tif 000016
2021515945.tif 000017
2021515945.tif 000018