(57)【要約】本開示は、歩行者を認識する方法及び装置に関する。前記方法は、ターゲット歩行者画像の、顔特徴及び身体特徴を含む画像特徴を取得すること（Ｓ１０１）と、特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすること（Ｓ１０３）とを含み、前記特徴データベースには複数の歩行者特徴ノードが含まれ、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれる。当該方法によれば、歩行者の検索にかかる計算量を大幅に低減し、検索効率を向上させることができる。【選択図】図１
2021530791.tif 000002
【特許請求の範囲】
【請求項１】
ターゲット歩行者画像の、顔特徴及び身体特徴を含む画像特徴を取得することと、
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含み、
前記特徴データベースには複数の歩行者特徴ノードが含まれ、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれることを特徴とする歩行者認識方法。
【請求項２】
前記関係特徴は、顔画像品質値、身体画像品質値、顔特徴、身体特徴をパラメータとして、これらに基づいて決定されるように構成されることを特徴とする請求項１に記載の歩行者認識方法。
【請求項３】
前記関係特徴は類似ノード相関関係を含み、前記類似ノード相関関係は、
２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの顔特徴間の類似度を決定し、
前記顔特徴間の類似度が予め設定された顔類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定し、
前記２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値未満であり、且つ前記２つの歩行者特徴ノードにおいて小さい身体画像品質値が身体画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの身体特徴間の類似度を決定し、
前記身体特徴間の類似度が予め設定された身体類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定するように構成されることを特徴とする請求項２に記載の歩行者認識方法。
【請求項４】
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることは、
前記画像特徴をターゲット特徴ノードとして、前記ターゲット特徴ノードから前記歩行者特徴ノードまでの、前記類似ノード相関関係のある複数の歩行者特徴ノードが接続されて形成される少なくとも１つの検索ルートを決定することと、
前記検索ルートで隣り合う２つの歩行者特徴ノード間の類似度のうち最小値を決定し、前記最小値を前記検索ルートのルートスコアとすることと、
前記少なくとも１つの検索ルートのルートスコアのうち最大値を決定し、前記最大値を前記ターゲット特徴ノードと前記歩行者特徴ノードとの類似度とすることと、
前記ターゲット特徴ノードとの類似度が前記予め設定された顔類似度閾値又は前記予め設定された身体類似度閾値以上である少なくとも１つの歩行者特徴ノードを前記ターゲット特徴ノードの少なくとも１つのターゲットノードとし、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含むことを特徴とする請求項３に記載の歩行者認識方法。
【請求項５】
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることは、
前記複数の歩行者特徴ノードの関係特徴に基づいて、前記特徴データベースから前記画像特徴の少なくとも１つの類似ノードを探し出すことと、
前記少なくとも１つの類似ノードから少なくとも１つのターゲットノードを選出することと、
前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含むことを特徴とする請求項１〜３のいずれか１項に記載の歩行者認識方法。
【請求項６】
前記少なくとも１つの類似ノードから少なくとも１つのターゲットノードを選出することは、
前記少なくとも１つの類似ノードの顔特徴の顔クラスタ中心値を決定することと、
前記少なくとも１つの類似ノードから、顔特徴及び身体特徴がゼロ値ではない少なくとも１つの顔・身体特徴ノードを選出することと、
前記少なくとも１つの顔・身体特徴ノードの顔特徴と前記顔クラスタ中心値との顔類似度をそれぞれ決定し、前記顔類似度が予め設定された類似度閾値以上のノードを第１類似ノード集合に属させ、前記顔類似度が前記予め設定された類似度閾値未満のノードを第２類似ノード集合に属させることと、
前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去し、除去後の前記少なくとも１つの類似ノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含むことを特徴とする請求項５に記載の歩行者認識方法。
【請求項７】
前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去する前に、
前記第１類似ノード集合の身体特徴の第１身体クラスタ中心値、前記第２類似ノード集合の身体特徴の第２身体クラスタ中心値を決定することと、
前記少なくとも１つの類似ノードから、顔特徴がゼロ値で、身体特徴がゼロ値ではない少なくとも１つの身体特徴ノードを選出することと、
前記少なくとも１つの身体特徴ノードの身体特徴の、前記第１身体クラスタ中心値との第１身体類似度、前記第２身体クラスタ中心値との第２身体類似度をそれぞれ決定することと、
前記第２身体類似度が前記第１身体類似度より大きい身体特徴ノードを前記第２類似ノード集合に追加することとをさらに含むことを特徴とする請求項６に記載の歩行者認識方法。
【請求項８】
前記ターゲット歩行者の画像に基づいて、前記ターゲット歩行者の、時間情報及び／又は位置情報を含む行動軌跡を取得することをさらに含むことを特徴とする請求項１〜７のいずれか１項に記載の歩行者認識方法。
【請求項９】
新たな歩行者画像が取得された場合に、前記新たな歩行者画像の画像特徴を抽出することと、
前記新たな歩行者画像の画像特徴を新たな歩行者特徴ノードとして、前記特徴データベースに更新することとをさらに含むことを特徴とする請求項１〜８のいずれか１項に記載の歩行者認識方法。
【請求項１０】
ターゲット歩行者画像の、顔特徴及び身体特徴を含む画像特徴を取得するための画像特徴取得モジュールと、
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのターゲットノード取得モジュールとを含み、
前記特徴データベースには複数の歩行者特徴ノードが含まれ、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれることを特徴とする歩行者認識装置。
【請求項１１】
前記関係特徴は、顔画像品質値、身体画像品質値、顔特徴、身体特徴をパラメータとして、これらに基づいて決定されるように構成されることを特徴とする請求項１０に記載の歩行者認識装置。
【請求項１２】
前記関係特徴は類似ノード相関関係を含み、前記類似ノード相関関係は、
２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの顔特徴間の類似度を決定し、
前記顔特徴間の類似度が予め設定された顔類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定し、
前記２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値未満であり、且つ前記２つの歩行者特徴ノードにおいて小さい身体画像品質値が身体画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの身体特徴間の類似度を決定し、
前記身体特徴間の類似度が予め設定された身体類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定するように構成されることを特徴とする請求項１１に記載の歩行者認識装置。
【請求項１３】
前記ターゲットノード取得モジュールは、
前記画像特徴をターゲット特徴ノードとして、前記ターゲット特徴ノードから前記歩行者特徴ノードまでの、前記類似ノード相関関係のある複数の歩行者特徴ノードが接続されて形成される少なくとも１つの検索ルートを決定するためのルート決定サブモジュールと、
前記検索ルートで隣り合う２つの歩行者特徴ノード間の類似度のうち最小値を決定し、前記最小値を前記検索ルートのルートスコアとするためのルートスコア決定サブモジュールと、
前記少なくとも１つの検索ルートのルートスコアのうち最大値を決定し、前記最大値を前記ターゲット特徴ノードと前記歩行者特徴ノードとの類似度とするためのノード類似度決定サブモジュールと、
前記ターゲット特徴ノードとの類似度が前記予め設定された顔類似度閾値又は前記予め設定された身体類似度閾値以上である少なくとも１つの歩行者特徴ノードを前記ターゲット特徴ノードの少なくとも１つのターゲットノードとし、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのターゲットノード決定サブモジュールとを含むことを特徴とする請求項１２に記載の歩行者認識装置。
【請求項１４】
前記ターゲットノード取得モジュールは、
前記複数の歩行者特徴ノードの関係特徴に基づいて、前記特徴データベースから前記画像特徴の少なくとも１つの類似ノードを探し出すための類似ノード検索サブモジュールと、
前記少なくとも１つの類似ノードから少なくとも１つのターゲットノードを選出するためのターゲットノード選択サブモジュールと、
前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするための歩行者画像取得サブモジュールとを含むことを特徴とする請求項１０〜１２のいずれか１項に記載の歩行者認識装置。
【請求項１５】
前記ターゲットノード選択サブモジュールは、
前記少なくとも１つの類似ノードの顔特徴の顔クラスタ中心値を決定するための顔中心値決定ユニットと、
前記少なくとも１つの類似ノードから、顔特徴及び身体特徴がゼロ値ではない少なくとも１つの顔・身体特徴ノードを選出するためのノードスクリーニングユニットと、
前記少なくとも１つの顔・身体特徴ノードの顔特徴と前記顔クラスタ中心値との顔類似度をそれぞれ決定し、前記顔類似度が予め設定された類似度閾値以上のノードを第１類似ノード集合に属させ、前記顔類似度が前記予め設定された類似度閾値未満のノードを第２類似ノード集合に属させるためのノード区分ユニットと、
前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去し、除去後の前記少なくとも１つの類似ノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのノード除去ユニットとを含むことを特徴とする請求項１４に記載の歩行者認識装置。
【請求項１６】
前記ターゲットノード選択サブモジュールは、
前記第１類似ノード集合の身体特徴の第１身体クラスタ中心値、前記第２類似ノード集合の身体特徴の第２身体クラスタ中心値を決定するための身体中心値決定ユニットと、
前記少なくとも１つの類似ノードから、顔特徴がゼロ値で、身体特徴がゼロ値ではない少なくとも１つの身体特徴ノードを選出するための身体ノードスクリーニングユニットと、
前記少なくとも１つの身体特徴ノードの身体特徴の、前記第１身体クラスタ中心値との第１身体類似度、前記第２身体クラスタ中心値との第２身体類似度をそれぞれ決定するための類似度決定ユニットと、
前記第２身体類似度が前記第１身体類似度より大きい身体特徴ノードを前記第２類似ノード集合に追加するためのノード追加ユニットとをさらに含むことを特徴とする請求項１５に記載の歩行者認識装置。
【請求項１７】
前記ターゲット歩行者の画像に基づいて、前記ターゲット歩行者の、時間情報及び／又は位置情報を含む行動軌跡を取得するための歩行者軌跡取得モジュールをさらに含むことを特徴とする請求項１０〜１６のいずれか１項に記載の歩行者認識装置。
【請求項１８】
新たな歩行者画像が取得された場合に、前記新たな歩行者画像の画像特徴を抽出するための新規データ取得モジュールと、
前記新たな歩行者画像の画像特徴を新たな歩行者特徴ノードとして、前記特徴データベースに更新するためのデータ更新モジュールとをさらに含むことを特徴とする請求項１０〜１７のいずれか１項に記載の歩行者認識装置。
【請求項１９】
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、
前記プロセッサは、請求項１〜９のいずれか１項に記載の歩行者認識方法を実行するように構成されることを特徴とする電子機器。
【請求項２０】
非揮発性コンピュータ読取可能な記憶媒体であって、前記記憶媒体内のコマンドがプロセッサにより実行されると、プロセッサに請求項１〜９のいずれか１項に記載の歩行者認識方法を実行させる非揮発性コンピュータ読取可能な記憶媒体。
【請求項２１】
コンピュータプログラムであって、コンピュータ読取可能なコードを含み、前記コンピュータ読取可能なコードは電子機器において実行されると、前記電子機器のプロセッサに請求項１〜９のいずれか１項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本開示は、２０１８年１２月２９日に中国国家知識産権局に提出された、出願番号が２０１８１１６３７１１９．４で、発明の名称が「歩行者認識方法及び装置」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本開示に組み込まれる。
【技術分野】
【０００２】
本開示は、コンピュータビジョン技術の分野に関し、特に、歩行者認識方法及び装置に関する。
【背景技術】
【０００３】
歩行者認識技術は、スマート都市の構築、公共安全等の安全保障・監視の分野で重要な役割を果たすとともに、コンピュータビジョン分野でも重要な課題である。歩行者認識は、挑戦的な技術である。関連技術である歩行者認識技術は、一般的に歩行者の服装、人物の属性等の身体特徴に基づくものであり、典型的な技術として、例えば、歩行者再認識（Ｐｅｒｓｏｎ  ＲｅＩＤ）が挙げられる。しかしながら、例えば、歩行者の服装の着替など、環境要因や外的要因による多くの影響で、身体特徴の唯一性が不十分である場合が多い。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、関連技術に存在する課題を解決するために、歩行者認識方法及び装置を提供する。
【課題を解決するための手段】
【０００５】
本開示の実施例の第一の方面によれば、
ターゲット歩行者画像の、顔特徴及び身体特徴を含む画像特徴を取得することと、
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含み、
前記特徴データベースには複数の歩行者特徴ノードが含まれ、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれる歩行者認識方法を提供する。
【０００６】
本開示の実施例による技術的解決手段は次の有益な効果を含む。本開示の実施例による歩行者認識方法は、顔特徴及び身体特徴に基づく共同検索の方式で、特徴データベースからターゲット歩行者の画像を検索することができる。顔特徴及び身体特徴に基づく共同検索の方式は、顔特徴の唯一性という利点を利用しているだけでなく、顔が遮蔽され、顔がぼやける等の特別な場合に身体特徴による認識の利点も利用している。また、前記特徴データベースは前記歩行者特徴ノードと他の歩行者特徴ノードとの関係特徴を含むため、一つの歩行者特徴ノードを介して相関関係がある歩行者特徴ノードを探し出すことができる。これにより、歩行者の検索にかかる計算量を大幅に低減し、検索効率を向上させることができる。
【０００７】
任意選択で、本開示の一実施例では、前記関係特徴は、顔画像品質値、身体画像品質値、顔特徴、身体特徴をパラメータとして、これらに基づいて決定されるように構成される。
【０００８】
本開示の実施例による技術的解決手段は次の有益な効果を含む。前記顔画像品質値及び前記身体画像品質値を前記相関特徴を算出するためのパラメータとすることにより、前記関係特徴の計算結果の正確性を高めることができる。
【０００９】
任意選択で、本開示の一実施例では、前記関係特徴は類似ノード相関関係を含み、前記類似ノード相関関係は、
２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの顔特徴間の類似度を決定し、
前記顔特徴間の類似度が予め設定された顔類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定し、
前記２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値未満であり、且つ前記２つの歩行者特徴ノードにおいて小さい身体画像品質値が身体画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの身体特徴間の類似度を決定し、
前記身体特徴間の類似度が予め設定された身体類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定するように構成される。
【００１０】
本開示の実施例による技術的解決手段は次の有益な効果を含む。顔画像品質値、身体画像品質値、顔特徴、身体特徴に基づいて類似ノード相関関係を決定し、顔特徴と身体特徴との属性の差異に基づいて、顔特徴の優先度が身体特徴の優先度より高いように設定することにより、類似ノード相関関係が正確に決定される。
【００１１】
任意選択で、本開示の一実施例では、特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることは、
前記画像特徴をターゲット特徴ノードとして、前記ターゲット特徴ノードから前記歩行者特徴ノードまでの、前記類似ノード相関関係のある複数の歩行者特徴ノードが接続されて形成される少なくとも１つの検索ルートを決定することと、
前記検索ルートで隣り合う２つの歩行者特徴ノード間の類似度のうち最小値を決定し、前記最小値を前記検索ルートのルートスコアとすることと、
前記少なくとも１つの検索ルートのルートスコアのうち最大値を決定し、前記最大値を前記ターゲット特徴ノードと前記歩行者特徴ノードとの類似度とすることと、
前記ターゲット特徴ノードとの類似度が前記予め設定された顔類似度閾値又は前記予め設定された身体類似度閾値以上である少なくとも１つの歩行者特徴ノードを前記ターゲット特徴ノードの少なくとも１つのターゲットノードとし、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含む。
【００１２】
本開示の実施例による技術的解決手段は次の有益な効果を含む。複数の検索ルートに基づく方式で、前記ターゲット特徴ノードと前記歩行者特徴ノードとの類似度を決定することにより、類似度を決定する方法を最適化することができる。
【００１３】
任意選択で、本開示の一実施例では、特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることは、
前記複数の歩行者特徴ノードの関係特徴に基づいて、前記特徴データベースから前記画像特徴の少なくとも１つの類似ノードを探し出すことと、
前記少なくとも１つの類似ノードから少なくとも１つのターゲットノードを選出することと、
前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含む。
【００１４】
本開示の実施例による技術的解決手段は次の有益な効果を含む。後処理により、前記少なくとも１つの類似ノードから一部のノードを除去するという方式を提供する。
【００１５】
任意選択で、本開示の一実施例では、前記少なくとも１つの類似ノードから少なくとも１つのターゲットノードを選出することは、
前記少なくとも１つの類似ノードの顔特徴の顔クラスタ中心値を決定することと、
前記少なくとも１つの類似ノードから、顔特徴及び身体特徴がゼロ値ではない少なくとも１つの顔・身体特徴ノードを選出することと、
前記少なくとも１つの顔・身体特徴ノードの顔特徴と前記顔クラスタ中心値との顔類似度をそれぞれ決定し、前記顔類似度が予め設定された類似度閾値以上のノードを第１類似ノード集合に属させ、前記顔類似度が前記予め設定された類似度閾値未満のノードを第２類似ノード集合に属させることと、
前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去し、除去後の前記少なくとも１つの類似ノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含む。
【００１６】
本開示の実施例による技術的解決手段は次の有益な効果を含む。クラスタ中心値に基づいて、前記少なくとも１つの類似ノードから、顔特徴が顔クラスタ中心値からかなりずれている一部の類似ノードを除去し、残りの類似ノードをターゲットノードとする。
【００１７】
任意選択で、本開示の一実施例では、前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去する前に、
前記第１類似ノード集合の身体特徴の第１身体クラスタ中心値、前記第２類似ノード集合の身体特徴の第２身体クラスタ中心値を決定することと、
前記少なくとも１つの類似ノードから、顔特徴がゼロ値で、身体特徴がゼロ値ではない少なくとも１つの身体特徴ノードを選出することと、
前記少なくとも１つの身体特徴ノードの身体特徴の、前記第１身体クラスタ中心値との第１身体類似度、前記第２身体クラスタ中心値との第２身体類似度をそれぞれ決定することと、
前記第２身体類似度が前記第１身体類似度より大きい身体特徴ノードを前記第２類似ノード集合に追加することとをさらに含む。
【００１８】
本開示の実施例による技術的解決手段は次の有益な効果を含む。クラスタ中心値に基づいて、前記少なくとも１つの類似ノード内の、顔特徴がゼロ値で、身体特徴がゼロ値ではない類似ノードから、身体特徴が身体クラスタ中心値からずれるノードをさらに除去する。
【００１９】
任意選択で、本開示の一実施例では、前記の方法は、
前記ターゲット歩行者の画像に基づいて、前記ターゲット歩行者の、時間情報及び／又は位置情報を含む行動軌跡を取得することをさらに含む。
【００２０】
本開示の実施例による技術的解決手段は次の有益な効果を含む。歩行者の行動軌跡に基づいて、前記ターゲット歩行者の日常的な活動を把握することができ、公共安全、心理分析の分野で大きな価値がある。
【００２１】
任意選択で、本開示の一実施例では、前記の方法は、
新たな歩行者画像が取得された場合に、前記新たな歩行者画像の画像特徴を抽出することと、
前記新たな歩行者画像の画像特徴を新たな歩行者特徴ノードとして、前記特徴データベースに更新することとをさらに含む。
【００２２】
本開示の実施例による技術的解決手段は次の有益な効果を含む。前記特徴データベースを常に更新することにより、前記特徴データベースに最新の情報が保持される。
【００２３】
本開示の実施例の第二の方面によれば、
ターゲット歩行者画像の、顔特徴及び身体特徴を含む画像特徴を取得するための画像特徴取得モジュールと、
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのターゲットノード取得モジュールとを含み、
前記特徴データベースには複数の歩行者特徴ノードが含まれ、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれる歩行者認識装置を提供する。
【００２４】
任意選択で、本開示の一実施例では、前記関係特徴は、顔画像品質値、身体画像品質値、顔特徴、身体特徴をパラメータとして、これらに基づいて決定されるように構成される。
【００２５】
任意選択で、本開示の一実施例では、前記関係特徴は類似ノード相関関係を含み、前記類似ノード相関関係は、
２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの顔特徴間の類似度を決定し、
前記顔特徴間の類似度が予め設定された顔類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定し、
前記２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値未満であり、且つ前記２つの歩行者特徴ノードにおいて小さい身体画像品質値が身体画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの身体特徴間の類似度を決定し、
前記身体特徴間の類似度が予め設定された身体類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定するように構成される。
【００２６】
任意選択で、本開示の一実施例では、前記ターゲットノード取得モジュールは、
前記画像特徴をターゲット特徴ノードとして、前記ターゲット特徴ノードから前記歩行者特徴ノードまでの、前記類似ノード相関関係のある複数の歩行者特徴ノードが接続されて形成される少なくとも１つの検索ルートを決定するためのルート決定サブモジュールと、
前記検索ルートで隣り合う２つの歩行者特徴ノード間の類似度のうち最小値を決定し、前記最小値を前記検索ルートのルートスコアとするためのルートスコア決定サブモジュールと、
前記少なくとも１つの検索ルートのルートスコアのうち最大値を決定し、前記最大値を前記ターゲット特徴ノードと前記歩行者特徴ノードとの類似度とするためのノード類似度決定サブモジュールと、
前記ターゲット特徴ノードとの類似度が前記予め設定された顔類似度閾値又は前記予め設定された身体類似度閾値以上である少なくとも１つの歩行者特徴ノードを前記ターゲット特徴ノードの少なくとも１つのターゲットノードとし、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのターゲットノード決定サブモジュールとを含む。
【００２７】
任意選択で、本開示の一実施例では、前記ターゲットノード取得モジュールは、
前記複数の歩行者特徴ノードの関係特徴に基づいて、前記特徴データベースから前記画像特徴の少なくとも１つの類似ノードを探し出すための類似ノード検索サブモジュールと、
前記少なくとも１つの類似ノードから少なくとも１つのターゲットノードを選出するためのターゲットノード選択サブモジュールと、
前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするための歩行者画像取得サブモジュールとを含む。
【００２８】
任意選択で、本開示の一実施例では、前記ターゲットノード選択サブモジュールは、
前記少なくとも１つの類似ノードの顔特徴の顔クラスタ中心値を決定するための顔中心値決定ユニットと、
前記少なくとも１つの類似ノードから、顔特徴及び身体特徴がゼロ値ではない少なくとも１つの顔・身体特徴ノードを選出するためのノードスクリーニングユニットと、
前記少なくとも１つの顔・身体特徴ノードの顔特徴と前記顔クラスタ中心値との顔類似度をそれぞれ決定し、前記顔類似度が予め設定された類似度閾値以上のノードを第１類似ノード集合に属させ、前記顔類似度が前記予め設定された類似度閾値未満のノードを第２類似ノード集合に属させるためのノード区分ユニットと、
前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去し、除去後の前記少なくとも１つの類似ノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのノード除去ユニットとを含む。
【００２９】
任意選択で、本開示の一実施例では、前記ターゲットノード選択サブモジュールは、
前記第１類似ノード集合の身体特徴の第１身体クラスタ中心値、前記第２類似ノード集合の身体特徴の第２身体クラスタ中心値を決定するための身体中心値決定ユニットと、
前記少なくとも１つの類似ノードから、顔特徴がゼロ値で、身体特徴がゼロ値ではない少なくとも１つの身体特徴ノードを選出するための身体ノードスクリーニングユニットと、
前記少なくとも１つの身体特徴ノードの身体特徴の、前記第１身体クラスタ中心値との第１身体類似度、前記第２身体クラスタ中心値との第２身体類似度をそれぞれ決定するための類似度決定ユニットと、
前記第２身体類似度が前記第１身体類似度より大きい身体特徴ノードを前記第２類似ノード集合に追加するためのノード追加ユニットとをさらに含む。
【００３０】
任意選択で、本開示の一実施例では、前記装置は、
前記ターゲット歩行者の画像に基づいて、前記ターゲット歩行者の、時間情報及び／又は位置情報を含む行動軌跡を取得するための歩行者軌跡取得モジュールをさらに含む。
【００３１】
任意選択で、本開示の一実施例では、前記装置は、
新たな歩行者画像が取得された場合に、前記新たな歩行者画像の画像特徴を抽出するための新規データ取得モジュールと、
前記新たな歩行者画像の画像特徴を新たな歩行者特徴ノードとして、前記特徴データベースに更新するためのデータ更新モジュールとをさらに含む。
【００３２】
本開示の実施例の第三の方面によれば、
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、
前記プロセッサは、前記歩行者認識方法を実行するように構成される電子機器を提供する。
【００３３】
本開示の実施例の第四の方面によれば、非揮発性コンピュータ読取可能な記憶媒体であって、前記記憶媒体内のコマンドがプロセッサにより実行されると、プロセッサに前記歩行者認識方法を実現させる非揮発性コンピュータ読取可能な記憶媒体を提供する。
【００３４】
本開示の実施例の第五の方面によれば、コンピュータプログラムであって、コンピュータ読取可能なコードを含み、前記コンピュータ読取可能なコードは電子機器において実行されると、前記電子機器のプロセッサに前記方法を実現するためのコマンドを実行させるコンピュータプログラムを提供する。
【００３５】
以上の一般説明及び以下の詳細説明は、単なる例示的及び解釈的なものに過ぎず、本開示を限定するものではないことを理解すべきである。
【図面の簡単な説明】
【００３６】
明細書の一部として組み込まれた図面は、本開示に合致する実施例を示し、さらに明細書と共に本開示の原理を説明するために用いられる。
【図１】図１は例示的な一実施例による歩行者認識方法のフローチャートを示す。
【図２】図２は例示的な一実施例によるシーングラフを示す。
【図３】図３は例示的な一実施例による装置のブロック図を示す。
【図４】図４は例示的な一実施例による装置のブロック図を示す。
【図５】図５は例示的な一実施例による装置のブロック図を示す。
【発明を実施するための形態】
【００３７】
次に、例示的な実施例を詳細に説明し、その例を図面に示す。以下、図面について、特に説明されない限り、各図で同じ数字は同一の又は類似する要素を表す。次の例示的な実施例で説明される実施形態は、本開示に適合される全ての実施形態を表すものではない。それらは、添付の特許請求の範囲に詳しく記載された本開示のいくつかの方面に適合される装置及び方法の例に過ぎない。
【００３８】
当業者が本開示の実施例による技術的解決手段を理解できるように、まず、技術的解決手段を実現するための技術的環境について説明する。
【００３９】
関連技術では、歩行者認識技術は、一般的に顔認識技術又は身体認識技術に基づくもので、顔認識技術に基づく歩行者認識技術は、一般的に歩行者の顔特徴からターゲット歩行者を認識する。しかしながら、実際に適用する場合に、例えば、街並みで撮られた歩行者の顔画像は、遮蔽物があるものであり、側面の角度から撮られたものであり、遠距離で撮られたものである等の場合が多いため、顔特徴によってターゲット歩行者を認識する方式は、一般に再現率及び正確率が比較的低い。
【００４０】
上述した実際の技術上のニーズに応じて、本開示に係る歩行者認識方法は、顔及び身体の両方に基づく共同検索の方式で、顔特徴及び身体特徴に基づく特徴データベースを構築できる。ターゲット歩行者の顔特徴及び身体特徴に基づいて、前記特徴データベースから前記ターゲット歩行者の顔特徴及び身体特徴に類似する顔特徴及び身体特徴を探し出し、前記類似する顔特徴及び身体特徴に対応する歩行者画像を前記ターゲット歩行者の画像とすることができる。
【００４１】
次に、図１を参照しながら本開示に係る歩行者認識方法を詳細に説明する。図１は、本開示による歩行者認識方法の一実施例のフローチャートである。本開示は、下記の実施例又は図面に示される方法の動作ステップを提供するが、通常の作業又は進歩性を必要としない作業により、前記方法により多くの又は少ない動作ステップを含ませてもよい。論理的に必ず因果関係のないステップでは、ステップの実行順番が本開示の実施例に記載の実行順に限定されない。
【００４２】
本開示の実施例は、任意の画像処理装置に適用可能な歩行者認識方法を提供する。例えば、当該方法は、ユーザ側装置（Ｕｓｅｒ  Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルフォン、コードレス電話、パーソナル・デジタル・アシススタント（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド機器、計算装置、車載装置、ウェアラブル装置等の端末機器、サーバに適用されてもよいし、又は他の処理機器に適用されてもよい。いくつかの可能な実現形態では、当該歩行者認識方法は、プロセッサがメモリに記憶されているコンピュータ読取可能コマンドを呼び出すことで実現されてもよい。
【００４３】
具体的には、本開示による歩行者認識方法の一実施は、例えば、図１に示すように、以下のステップを含んでもよい。
Ｓ１０１、ターゲット歩行者画像の、顔特徴及び身体特徴を含む画像特徴を取得する。
【００４４】
Ｓ１０３、特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とする。
ただし、前記特徴データベースには複数の歩行者特徴ノードが含まれ、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれる。
【００４５】
本開示の実施例では、検索の基礎としてターゲット歩行者画像を取得することができる。一例では、ターゲット歩行者を張三とすれば、前記ターゲット歩行者画像として、例えば、張三の身分証明写真、日常生活の写真、ストリートフォト、アート写真等が挙げられる。前記ターゲット歩行者画像には顔画像又は身体画像が含まれてもよいし、顔と身体の画像が含まれてもよい。これにより、前記ターゲット歩行者画像から、顔特徴及び身体特徴を含む画像特徴を取得することができる。即ち、前記ターゲット歩行者画像に顔画像だけが含まれる場合に、顔特徴を取得することができ、即ち、前記画像特徴の顔特徴がゼロ値ではなく、身体特徴がゼロ値である。前記ターゲット歩行者画像に身体画像だけが含まれる場合に、身体特徴を取得することができ、即ち、前記画像特徴の顔特徴はゼロ値であり、身体特徴がゼロ値ではない。前記ターゲット歩行者画像に顔と身体の画像が含まれる場合に、顔特徴及び身体特徴を取得することができ、即ち、前記画像特徴の顔特徴も身体特徴もゼロ値ではない。ただし、前記顔特徴、前記身体特徴は特徴ベクトルで表すことができ、例えば、顔特徴ベクトルは顔キーポイント間のユークリッド距離、曲率、角度等の複数種の成分を含んでもよく、前記身体特徴は身体部位の割合、姿勢、服装特徴等の複数種の成分を含んでもよい。本開示では、顔特徴、身体特徴の抽出方式が限定されない。
【００４６】
本開示の実施例では、前記ターゲット歩行者画像の前記画像特徴を取得した後、前記画像特徴に基づいて、予め設定された特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得してもよい。前記特徴データベースには複数の歩行者特徴ノードが含まれてもよく、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれる。一実施例では、前記歩行者特徴ノードと歩行者画像とは一対一で対応する関係であり、例えば、前記特徴データベースには１００万個の歩行者特徴ノードが含まれると、前記１００万個の歩行者特徴ノードは１００万枚の歩行者画像に対応する。この場合、本開示の実施例の目的は、当該１００万枚の歩行者画像から前記ターゲット歩行者の画像を探し出すことにある。前記歩行者画像に、同様に顔画像、身体画像、顔と身体の画像が含まれてもよい。これにより、前記歩行者画像から顔特徴及び身体特徴を抽出して、前記顔特徴及び身体特徴を前記歩行者画像に対応する歩行者特徴ノードに設定することができる。
【００４７】
本開示の実施例では、前記他の歩行者特徴ノードとの関係特徴は、顔特徴、身体特徴に基づいて決定されるように構成されてもよい。前記関係特徴は類似ノード相関関係を含み、前記類似ノード相関関係は、２つの歩行者特徴ノード間に比較的高い類似度があること、即ち、前記２つの歩行者特徴ノードが同一の歩行者の特徴ノードである可能性が高いことを含む。前記類似ノード相関関係によって、一つの歩行者特徴ノードからもう一つの歩行者特徴ノードを探し出すことができる。一実施例では、２つの歩行者特徴ノードの顔特徴がいずれもゼロ値ではなく、且つ前記２つの歩行者特徴ノードの顔特徴間の類似度が予め設定された顔類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定する。別の実施例では、２つの歩行者特徴ノードの身体特徴がいずれもゼロ値ではなく、且つ前記２つの歩行者特徴ノードの身体特徴間の類似度が予め設定された身体類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定する。本開示の一実施例では、前記顔特徴間又は前記身体特徴間の類似度は特徴ベクトルを用いて算出されてもよく、例えば、前記類似度は２つの特徴ベクトル間のコサイン値である。本開示では、２つの特徴間の類似度の計算方法が限定されない。
【００４８】
実際に適用する場合に、画像品質は、顔認識、身体認識において比較的重要な影響要因であり、画像品質が高い場合に、顔認識、身体認識の正確性が向上し、画像品質が低い場合に、顔認識、身体認識の正確性が低下する。これにより、本開示の一実施例では、前記関係特徴は、顔画像品質値、身体画像品質値、顔特徴、身体特徴をパラメータとして、これらに基づいて決定されるように構成される。ただし、前記顔画像品質値は顔の三次元的姿勢、画像のぼやけ度合い、露光の度合い等のパラメータに基づいて算出されてもよく、前記身体画像品質値は遮蔽の度合い、混雑度、主体人物の完全性等のパラメータに基づいて算出されてもよい。この場合に、前記歩行者特徴ノードには顔画像品質値、身体画像品質値がさらに含まれてもよい。これに応じて、前記ターゲット歩行者画像の画像特徴には顔画像品質値、身体画像品質値がさらに含まれてもよい。
【００４９】
前記類似ノード相関関係を決定する過程では、まず２つの歩行者特徴ノードの顔特徴間の類似度を算出してもよい。これは、顔特徴が唯一性及び正確性を有するので、顔特徴の優先度が身体特徴の優先度より高いように設定されるからです。具体的に、２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの顔特徴間の類似度を決定してもよい。つまり、２つの歩行者特徴ノードにおいて顔特徴がいずれもゼロ値ではなく、且つ当該２つの歩行者特徴ノードにおいて顔画像品質値がいずれも予め設定された顔画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの顔特徴間の類似度を決定する。算出した前記顔特徴間の類似度が予め設定された顔類似度閾値以上であれば、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定する。
【００５０】
前記２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値未満である場合に、前記２つの歩行者特徴ノードの身体特徴がゼロ値ではないか否かを確認してもよい。前記２つの歩行者特徴ノードにおいて身体特徴がいずれもゼロ値ではないと確認され、且つ前記２つの歩行者特徴ノードにおいて小さい身体画像品質値が予め設定された身体画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの身体特徴間の類似度を算出してもよい。前記身体特徴間の類似度が予め設定された身体類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定してもよい。前記予め設定された顔画像品質閾値、前記予め設定された身体画像品質閾値、前記予め設定された顔類似度閾値、前記予め設定された身体類似度閾値の設定に関しては、経験値を参考として得るようにしてもよいし、サンプルデータの統計により得るようにしてもよいことに注意されたく、本開示では限定されない。
【００５１】
前記複数の歩行者特徴ノードのうち類似ノード相関関係のある歩行者特徴ノードを決定した後、前記複数の歩行者特徴ノードからネットワークのような関係図が形成されてもよい。一つの歩行者特徴ノードによって、前記特徴データベースから類似ノード相関関係のある歩行者特徴ノードを探し出すことができる。前記特徴データベースは、異種グラフ等のネットワーク構造として表されてもよい。
【００５２】
本開示の実施例では、特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とする過程では、前記画像特徴をターゲット特徴ノードとして、前記ターゲット特徴ノードから前記歩行者特徴ノードまでの、前記類似ノード相関関係のある複数の歩行者特徴ノードが接続されて形成される少なくとも１つの検索ルートを決定してもよい。前記少なくとも１つの検索ルートを決定した後、前記検索ルートで隣り合う２つの歩行者特徴ノード間の類似度のうち最小値を決定し、前記最小値を前記検索ルートのルートスコアとしてもよい。各検索ルートのルートスコアを決定した後、前記少なくとも１つの検索ルートのルートスコアのうち最大値を決定して、前記最大値を前記ターゲット特徴ノードと前記歩行者特徴ノードとの類似度としてもよい。最後に、前記ターゲット特徴ノードとの類似度が前記予め設定された顔類似度閾値又は前記予め設定された身体類似度閾値以上である少なくとも１つの歩行者特徴ノードを前記ターゲット特徴ノードの少なくとも１つのターゲットノードとし、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とする。
【００５３】
次に、図２を参照しながら上記実施例の方法を説明する。図２に示すように、ノードＡを前記ターゲット特徴ノードとして設定し、ノードＢ〜Ｈは前記特徴データベース中の歩行者特徴ノードである。ノードＡからノードＢまでのルートは、ルート１、ルート２、ルート３の３つのルートがある。ルート１において、ノードＣとノードＤ、ノードＤとノードＢは類似ノード相関関係であり、ルート３において、ノードＥとノードＦ、ノードＦとノードＧ、ノードＧとノードＨ、ノードＨとノードＢは類似ノード相関関係である。ルート２に示すように、ノードＡとノードＢの直接的類似度が０．５であり、予め設定された顔類似度閾値及び予め設定された身体類似度閾値が０．７であれば、ノードＢがノードＡの類似ノードであるとは決定されない。実際に適用する場合に、ノードＡ及びノードＢがいずれもターゲット歩行者の特徴であるが、ノードＡは黒色の衣服を着るターゲット歩行者の正面画像に対応し、ノードＢは黄色の衣服を着るターゲット歩行者の側面画像に対応する可能性があるため、ノードＡとノードＢの直接的類似度が比較的低い可能性がある。しかしながら、他の関連ノードを介してＢに到達する場合に、ノードＡとノードＢの高い関連性が発見される。例えば、ルート１では、ノードＣはターゲット歩行者の顔の正面画像であり、ノードＤは黄色の衣服を着る前記ターゲット歩行者の正面画像である。これにより、ノードＡとノードＢの類似度の計算方法を最適化できる。一実施例では、各ルートのルートスコアをそれぞれ算出してもよく、前記ルートスコアはルートにおいて隣り合う２つの歩行者特徴ノード間の類似度のうちの最小値が含まれてもよい。例えば、ルート１のルートスコアは０．６であり、ルート２のルートスコアは０．５であり、ルート３のルートスコアは０．８であり、３つのルート中の最大ルートスコアは０．８であることから、ノードＡとノードＢの類似度は０．８であると決定してもよい。０．７より大きいため、ノードＡ及びノードＢはターゲット特徴ノードＡのターゲットノードである。
【００５４】
これにより、上記の実施例の方法と同様の方式で前記特徴データベースを検索して、前記ターゲット特徴ノードの少なくとも１つのターゲットノードを探し出し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像としてもよい。
【００５５】
本開示の一実施例では、特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とする過程では、前記複数の歩行者特徴ノードの関係特徴に基づいて、前記特徴データベースから前記画像特徴の少なくとも１つの類似ノードを探し出した後、前記少なくとも１つの類似ノードから、顔特徴が顔クラスタ中心値からかなりずれている類似ノードを除去し、残りの類似ノードをターゲットノードとする。ただし、前記類似ノードの取得方式は、上記の例でノードＡのターゲットノードＢの検索方法を参照してもよい。具体的な除去方法では、前記少なくとも１つの類似ノードの顔特徴の顔クラスタ中心値を決定してもよい。その後に、前記少なくとも１つの類似ノードから、顔特徴及び身体特徴がゼロ値ではない少なくとも１つの顔・身体特徴ノードを選出してもよい。その後、前記少なくとも１つの顔・身体特徴ノードから、顔特徴が顔クラスタ中心値からかなりずれているノードを除去してもよい。具体的には、前記少なくとも１つの顔・身体特徴ノードの顔特徴と前記顔クラスタ中心値との顔類似度をそれぞれ算出し、前記顔類似度が予め設定された類似度閾値以上のノードを第１類似ノード集合に属させ、前記顔類似度が前記予め設定された類似度閾値未満のノードを第２類似ノード集合に属させてもよい。ただし、前記第２類似ノード集合内の類似ノードは前記ターゲット歩行者に対応するノードでない可能性が高い。したがって、前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去し、除去後の前記少なくとも１つの類似ノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像としてもよい。
【００５６】
本開示の一実施例では、前記少なくとも１つの類似ノード内の、顔特徴がゼロ値で、身体特徴がゼロ値ではない類似ノードから、身体特徴が身体クラスタ中心値からずれるノードをさらに除去してもよい。具体的には、一実施例では、前記第１類似ノード集合の身体特徴の第１身体クラスタ中心値、前記第２類似ノード集合の身体特徴の第２身体クラスタ中心値を算出してもよい。その後、前記少なくとも１つの類似ノードから、顔特徴はゼロ値で、身体特徴がゼロ値ではない少なくとも１つの身体特徴ノードを選出してもよい。前記少なくとも１つの身体特徴ノードの身体特徴の、前記第１身体クラスタ中心値との第１身体類似度、前記第２身体クラスタ中心値との第２身体類似度をそれぞれ算出する。第２類似ノード集合は、顔特徴が前記顔特徴クラスタ中心値からかなりずれているため、除去すべきのノード集合である。前記第２身体類似度が前記第１身体類似度より大きい場合に、当該身体特徴も前記ターゲット歩行者の身体特徴からずれることが示される。したがって、前記第２身体類似度が前記第１身体類似度より大きい身体特徴ノードを前記第２類似ノード集合に追加してもよい。その後、前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去してもよい。
【００５７】
なお、実際に適用する際に、複数のターゲット歩行者画像を用いて特徴検索を行う場合が多い。この場合、前記複数のターゲット歩行者画像に対して、それぞれ特徴検索を行い、少なくとも１つのターゲットノードをそれぞれ得てもよい。最後に、それぞれ得た少なくとも１つのターゲットノードを合わせ、合わせた後の少なくとも１つのターゲットノードに対応する歩行者画像を前記ターゲット歩行者の画像としてもよい。
【００５８】
本開示の一実施例では、前記ターゲット歩行者の画像を取得した後、前記ターゲット歩行者の画像に基づいて、前記ターゲット歩行者の、時間情報及び／又は位置情報を含む行動軌跡を取得してもよい。一例では、ターゲット歩行者の前記行動軌跡は、例えば、２０１８年１０月１日１０：３０：蘇州市観前街→２０１８年１０月１日１１：０３：蘇州市観前街→２０１８年１０月１日１２：５０：蘇州市××駐車場→……→２０１８年１０月１日２１：３７：蘇州市××住宅団地を含む。当該行動軌跡から、前記ターゲット歩行者の日常的な活動を把握することができ、公共安全、心理分析の分野で大きな価値がある。
【００５９】
前記特徴データベースになるべく多くのデータが含まれるように、前記特徴データベースを更新してもよい。一例では、あるストリートの監視映像を取得した後、前記監視映像から画像フレームを抽出してもよい。その後、前記画像フレームに対する特徴抽出を行って、前記画像フレームの、顔特徴及び身体特徴を含む画像特徴を抽出してもよい。次に、前記画像フレームの画像特徴を新たな歩行者特徴ノードとして、前記特徴データベースに更新する。
【００６０】
本開示の各実施例に係る歩行者認識方法は、顔特徴及び身体特徴に基づく共同検索の方式で、特徴データベースからターゲット歩行者の画像を検索することができる。顔特徴及び身体特徴に基づく共同検索の方式は、顔特徴の唯一性という利点を利用しているだけでなく、顔が遮蔽され、顔がぼやける等の特別な場合に身体特徴による認識の利点も利用している。また、前記特徴データベースは前記歩行者特徴ノードと他の歩行者特徴ノードとの関係特徴を含むため、一つの歩行者特徴ノードによって相関関係がある歩行者特徴ノードを探し出すことができる。これにより、歩行者の検索にかかる計算量を大幅に低減し、検索効率を向上させることができる。
【００６１】
本開示の実施例の別の方面は、歩行者認識装置を提供する。図３は、本開示の実施例に係る歩行者認識装置のブロック図を示し、図３に示すように、前記装置３００は、
ターゲット歩行者画像の、顔特徴及び身体特徴を含む画像特徴を取得するための画像特徴取得モジュール３０１と、
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのターゲットノード取得モジュール３０３とを含み、
前記特徴データベースには複数の歩行者特徴ノードが含まれ、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれる。
【００６２】
任意選択で、本開示の一実施例では、前記関係特徴は、顔画像品質値、身体画像品質値、顔特徴、身体特徴をパラメータとして、これらに基づいて決定されるように構成される。
【００６３】
任意選択で、本開示の一実施例では、前記関係特徴は類似ノード相関関係を含み、前記類似ノード相関関係は、
２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの顔特徴間の類似度を決定し、
前記顔特徴間の類似度が予め設定された顔類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定し、
前記２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値未満であり、且つ前記２つの歩行者特徴ノードにおいて小さい身体画像品質値が身体画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの身体特徴間の類似度を決定し、
前記身体特徴間の類似度が予め設定された身体類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定するように構成される。
【００６４】
任意選択で、本開示の一実施例では、前記ターゲットノード取得モジュールは、
前記画像特徴をターゲット特徴ノードとして、前記ターゲット特徴ノードから前記歩行者特徴ノードまでの、前記類似ノード相関関係のある複数の歩行者特徴ノードが接続されて形成される少なくとも１つの検索ルートを決定するためのルート決定サブモジュールと、
前記検索ルートで隣り合う２つの歩行者特徴ノード間の類似度のうち最小値を決定し、前記最小値を前記検索ルートのルートスコアとするためのルートスコア決定サブモジュールと、
前記少なくとも１つの検索ルートのルートスコアのうち最大値を決定し、前記最大値を前記ターゲット特徴ノードと前記歩行者特徴ノードとの類似度とするためのノード類似度決定サブモジュールと、
前記ターゲット特徴ノードとの類似度が前記予め設定された顔類似度閾値又は前記予め設定された身体類似度閾値以上である少なくとも１つの歩行者特徴ノードを前記ターゲット特徴ノードの少なくとも１つのターゲットノードとし、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのターゲットノード決定サブモジュールとを含む。
【００６５】
任意選択で、本開示の一実施例では、前記ターゲットノード取得モジュールは、
前記複数の歩行者特徴ノードの関係特徴に基づいて、前記特徴データベースから前記画像特徴の少なくとも１つの類似ノードを探し出すための類似ノード検索サブモジュールと、
前記少なくとも１つの類似ノードから少なくとも１つのターゲットノードを選出するためのターゲットノード選択サブモジュールと、
前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするための歩行者画像取得サブモジュールとを含む。
【００６６】
任意選択で、本開示の一実施例では、前記ターゲットノード選択サブモジュールは、
前記少なくとも１つの類似ノードの顔特徴の顔クラスタ中心値を決定するための顔中心値決定ユニットと、
前記少なくとも１つの類似ノードから、顔特徴及び身体特徴がゼロ値ではない少なくとも１つの顔・身体特徴ノードを選出するためのノードスクリーニングユニットと、
前記少なくとも１つの顔・身体特徴ノードの顔特徴と前記顔クラスタ中心値との顔類似度をそれぞれ決定し、前記顔類似度が予め設定された類似度閾値以上のノードを第１類似ノード集合に属させ、前記顔類似度が前記予め設定された類似度閾値未満のノードを第２類似ノード集合に属させるためのノード区分ユニットと、
前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去し、除去後の前記少なくとも１つの類似ノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのノード除去ユニットとを含む。
【００６７】
任意選択で、本開示の一実施例では、前記ターゲットノード選択サブモジュールは、
前記第１類似ノード集合の身体特徴の第１身体クラスタ中心値、前記第２類似ノード集合の身体特徴の第２身体クラスタ中心値を決定するための身体中心値決定ユニットと、
前記少なくとも１つの類似ノードから、顔特徴がゼロ値で、身体特徴がゼロ値ではない少なくとも１つの身体特徴ノードを選出するための身体ノードスクリーニングユニットと、
前記少なくとも１つの身体特徴ノードの身体特徴の、前記第１身体クラスタ中心値との第１身体類似度、前記第２身体クラスタ中心値との第２身体類似度をそれぞれ決定するための類似度決定ユニットと、
前記第２身体類似度が前記第１身体類似度より大きい身体特徴ノードを前記第２類似ノード集合に追加するためのノード追加ユニットとをさらに含む。
【００６８】
任意選択で、本開示の一実施例では、前記装置は、
前記ターゲット歩行者の画像に基づいて、前記ターゲット歩行者の、時間情報及び／又は位置情報を含む行動軌跡を取得するための歩行者軌跡取得モジュールをさらに含む。
【００６９】
任意選択で、本開示の一実施例では、前記装置は、
新たな歩行者画像が取得された場合に、前記新たな歩行者画像の画像特徴を抽出するための新規データ取得モジュールと、
前記新たな歩行者画像の画像特徴を新たな歩行者特徴ノードとして、前記特徴データベースに更新するためのデータ更新モジュールとをさらに含む。
【００７０】
本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、前記プロセッサは、上記の各実施例に記載の方法を実行するように構成される電子機器をさらに提供する。
【００７１】
前記電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。
【００７２】
図４は、本開示の例示的な一実施例による電子機器８００のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
【００７３】
図４を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの１つ以上を含んでもよい。
【００７４】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作及び記録動作に関連する動作を制御する。処理コンポーネント８０２は、コマンドを実行して上記方法の全て又は一部のステップを実行するために、１つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための１つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【００７５】
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラム又は方法のコマンド、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなどの様々なタイプの揮発性又は非揮発性記憶装置又はそれらの組み合わせによって実現できる。
【００７６】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、１つ以上の電源、及び電子機器８００のための電力生成、管理及び配分に関連する他のコンポーネントを含んでもよい。
【００７７】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャーを検知するために、１つ以上のタッチセンサを含む。前記タッチセンサはタッチ又はスライド動きの境界を検知するのみならず、前記タッチ又はスライド操作に関連する持続時間及び圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は１つの前面カメラ及び／又は後面カメラを含む。電子機器８００が動作モード、例えば撮像モード又は撮影モードになる場合、前面カメラ及び／又は後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラ及び後面カメラは、固定された光学レンズ系、又は焦点距離及び光学ズーム能力を有するものであってもよい。
【００７８】
オーディオコンポーネント８１０はオーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モード及び音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、又は通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【００７９】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタン及びロックボタンを含んでもよいが、これらに限定されない。
【００８０】
センサコンポーネント８１４は電子機器８００の各面の状態評価のために１つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置及びキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００又は電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加減速及び電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、相補性金属酸化膜半導体（ＣＭＯＳ）又は電荷結合素子（ＣＣＤ）イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、当該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを含んでもよい。
【００８１】
通信コンポーネント８１６は電子機器８００と他の機器との有線又は無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばワイヤレスネットワーク（ＷｉＦｉ）、第二世代移動通信技術（２Ｇ）、第三世代移動通信技術（３Ｇ）、又はそれらの組み合わせにアクセスできる。例示的な一実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムからの放送信号又は放送関連情報を受信する。例示的な一実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術によって実現できる。
【００８２】
例示的な実施例では、電子機器８００は１つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【００８３】
例示的な実施例では、さらに、非揮発性コンピュータ読取可能な記憶媒体、例えばコンピュータプログラムコマンドを含むメモリ８０４を提供し、上記コンピュータプログラムコマンドは、電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【００８４】
図５は、例示的な一実施例の電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図５を参照すると、電子機器１９００は、１つ以上のプロセッサを含む処理コンポーネント１９２２、及び、処理コンポーネント１９２２によって実行可能なコマンド、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つのコマンド群に対応する１つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２はコマンドを実行することによって上記方法を実行するように構成される。
【００８５】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０、及び入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似するものに基づいて動作できる。
【００８６】
例示的な実施例は、さらに、非揮発性コンピュータ読取可能な記憶媒体、例えばコンピュータプログラムコマンドを含むメモリ１９３２を提供し、上記コンピュータプログラムコマンドは、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。
【００８７】
本開示はシステム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読取可能なプログラムコマンドを有しているコンピュータ読取可能な記憶媒体を含んでもよい。
【００８８】
コンピュータ読取可能な記憶媒体は、コマンド実行装置に使用されるコマンドを保存及び記憶可能な有形装置であってもよい。コンピュータ読取可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読取可能な記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えばコマンドが記憶されているせん孔カード又はスロット内突起構造のような機械的符号化装置、及び上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読取可能な記憶媒体は、瞬時信号自体、例えば無線電波又は他の自由に伝播される電磁波、導波路又は他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、又は電線を経由して伝送される電気信号と解釈されるものではない。
【００８９】
ここで記述したコンピュータ読取可能なプログラムコマンドは、コンピュータ読取可能な記憶媒体から各計算／処理装置にダウンロードされてもよいし、又はネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び／又は無線ネットワークを介して外部のコンピュータ又は外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各計算／処理装置内のネットワークアダプタカード又はネットワークインタフェースはネットワークからコンピュータ読取可能なプログラムコマンドを受信し、当該コンピュータ読取可能なプログラムコマンドを転送し、各計算／処理装置内のコンピュータ読取可能な記憶媒体に記憶させる。
【００９０】
本開示の動作を実行するためのコンピュータプログラムコマンドはアセンブラコマンド、コマンドセットアーキテクチャ（ＩＳＡ）コマンド、機械語コマンド、機械依存コマンド、マイクロコード、ファームウェアコマンド、状態設定データ、又はＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」言語又は類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコード又は目標コードであってもよい。コンピュータ読取可能なプログラムコマンドは、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、又は完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、又は、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読取可能なプログラムコマンドの状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、当該電子回路によりコンピュータ読取可能なプログラムコマンドを実行することにより、本開示の各方面を実現できるようにしてもよい。
【００９１】
ここで本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら本開示の各方面を説明したが、フローチャート及び／又はブロック図の各ブロック、及びフローチャート及び／又はブロック図の各ブロックの組み合わせは、いずれもコンピュータ読取可能なプログラムコマンドによって実現できることを理解すべきである。
【００９２】
これらのコンピュータ読取可能なプログラムコマンドは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらのコマンドがコンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行されるときフローチャート及び／又はブロック図の１つ以上のブロックにおいて指定された機能／動作を実現ように、装置を製造してもよい。これらのコンピュータ読取可能なプログラムコマンドは、コンピュータ読取可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び／又は他の機器を特定の方式で動作させるようにしてもよい。これにより、コマンドを記憶しているコンピュータ読取可能な記憶媒体には、フローチャート及び／又はブロック図の１つ以上のブロックにおいて指定された機能／動作の各方面を実現するためのコマンドを有する製品を含む。
【００９３】
コンピュータ読取可能なプログラムコマンドは、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置又は他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施可能なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器において実行されるコマンドにより、フローチャート及び／又はブロック図の１つ以上のブロックにおいて指定された機能／動作を実現する。
【００９４】
図面のうちのフローチャート及びブロック図は、本開示の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャート又はブロック図における各ブロックは１つのモジュール、プログラムセグメント又はコマンドの一部分を代表することができ、前記モジュール、プログラムセグメント又はコマンドの一部分は指定された論理機能を実現するための１つ以上の実行可能コマンドを含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、２つの連続的なブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、指定される機能又は動作を実行するハードウェアに基づく専用システムによって実現してもよいし、又は専用ハードウェアとコンピュータコマンドとの組み合わせによって実現してもよいことにも注意すべきである。
【００９５】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲及び精神から逸脱することなく、様々な修正及び変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用又は市場における既存技術に対する改善を好適に解釈するか、又は他の当業者に本明細書に披露された各実施例を理解させるためのものである。
【図１】
2021530791.tif 000003
【図２】
2021530791.tif 000004
【図３】
2021530791.tif 000005
【図４】
2021530791.tif 000006
【図５】
2021530791.tif 000007
【手続補正書】
【提出日】令和3年1月12日(2021.1.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ターゲット歩行者画像の、顔特徴及び身体特徴を含む画像特徴を取得することと、
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含み、
前記特徴データベースには複数の歩行者特徴ノードが含まれ、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれることを特徴とする歩行者認識方法。
【請求項２】
前記関係特徴は、顔画像品質値、身体画像品質値、顔特徴、身体特徴をパラメータとして、これらに基づいて決定されるように構成されることを特徴とする請求項１に記載の歩行者認識方法。
【請求項３】
前記関係特徴は類似ノード相関関係を含み、前記類似ノード相関関係は、
２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの顔特徴間の類似度を決定し、
前記顔特徴間の類似度が予め設定された顔類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定し、
前記２つの歩行者特徴ノードにおいて小さい顔画像品質値が予め設定された顔画像品質閾値未満であり、且つ前記２つの歩行者特徴ノードにおいて小さい身体画像品質値が身体画像品質閾値以上である場合に、前記２つの歩行者特徴ノードの身体特徴間の類似度を決定し、
前記身体特徴間の類似度が予め設定された身体類似度閾値以上である場合に、前記２つの歩行者特徴ノードは類似ノード相関関係であると決定するように構成されることを特徴とする請求項２に記載の歩行者認識方法。
【請求項４】
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることは、
前記画像特徴をターゲット特徴ノードとして、前記ターゲット特徴ノードから前記歩行者特徴ノードまでの、前記類似ノード相関関係のある複数の歩行者特徴ノードが接続されて形成される少なくとも１つの検索ルートを決定することと、
前記検索ルートで隣り合う２つの歩行者特徴ノード間の類似度のうち最小値を決定し、前記最小値を前記検索ルートのルートスコアとすることと、
前記少なくとも１つの検索ルートのルートスコアのうち最大値を決定し、前記最大値を前記ターゲット特徴ノードと前記歩行者特徴ノードとの類似度とすることと、
前記ターゲット特徴ノードとの類似度が前記予め設定された顔類似度閾値又は前記予め設定された身体類似度閾値以上である少なくとも１つの歩行者特徴ノードを前記ターゲット特徴ノードの少なくとも１つのターゲットノードとし、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含むことを特徴とする請求項３に記載の歩行者認識方法。
【請求項５】
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることは、
前記複数の歩行者特徴ノードの関係特徴に基づいて、前記特徴データベースから前記画像特徴の少なくとも１つの類似ノードを探し出すことと、
前記少なくとも１つの類似ノードから少なくとも１つのターゲットノードを選出することと、
前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含むことを特徴とする請求項１〜３のいずれか１項に記載の歩行者認識方法。
【請求項６】
前記少なくとも１つの類似ノードから少なくとも１つのターゲットノードを選出することは、
前記少なくとも１つの類似ノードの顔特徴の顔クラスタ中心値を決定することと、
前記少なくとも１つの類似ノードから、顔特徴及び身体特徴がゼロ値ではない少なくとも１つの顔・身体特徴ノードを選出することと、
前記少なくとも１つの顔・身体特徴ノードの顔特徴と前記顔クラスタ中心値との顔類似度をそれぞれ決定し、前記顔類似度が予め設定された類似度閾値以上のノードを第１類似ノード集合に属させ、前記顔類似度が前記予め設定された類似度閾値未満のノードを第２類似ノード集合に属させることと、
前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去し、除去後の前記少なくとも１つの類似ノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とすることとを含むことを特徴とする請求項５に記載の歩行者認識方法。
【請求項７】
前記少なくとも１つの類似ノードから前記第２類似ノード集合を除去する前に、
前記第１類似ノード集合の身体特徴の第１身体クラスタ中心値、前記第２類似ノード集合の身体特徴の第２身体クラスタ中心値を決定することと、
前記少なくとも１つの類似ノードから、顔特徴がゼロ値で、身体特徴がゼロ値ではない少なくとも１つの身体特徴ノードを選出することと、
前記少なくとも１つの身体特徴ノードの身体特徴の、前記第１身体クラスタ中心値との第１身体類似度、前記第２身体クラスタ中心値との第２身体類似度をそれぞれ決定することと、
前記第２身体類似度が前記第１身体類似度より大きい身体特徴ノードを前記第２類似ノード集合に追加することとをさらに含むことを特徴とする請求項６に記載の歩行者認識方法。
【請求項８】
前記ターゲット歩行者の画像に基づいて、前記ターゲット歩行者の、時間情報及び／又は位置情報を含む行動軌跡を取得することをさらに含むことを特徴とする請求項１〜７のいずれか１項に記載の歩行者認識方法。
【請求項９】
新たな歩行者画像が取得された場合に、前記新たな歩行者画像の画像特徴を抽出することと、
前記新たな歩行者画像の画像特徴を新たな歩行者特徴ノードとして、前記特徴データベースに更新することとをさらに含むことを特徴とする請求項１〜８のいずれか１項に記載の歩行者認識方法。
【請求項１０】
ターゲット歩行者画像の、顔特徴及び身体特徴を含む画像特徴を取得するための画像特徴取得モジュールと、
特徴データベースから前記画像特徴の少なくとも１つのターゲットノードを取得し、前記少なくとも１つのターゲットノードのそれぞれに対応する歩行者画像を前記ターゲット歩行者の画像とするためのターゲットノード取得モジュールとを含み、
前記特徴データベースには複数の歩行者特徴ノードが含まれ、前記歩行者特徴ノードには歩行者画像に対応する顔特徴、身体特徴及び他の歩行者特徴ノードとの関係特徴が含まれることを特徴とする歩行者認識装置。
【請求項１１】
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、
前記プロセッサは、請求項１〜９のいずれか１項に記載の歩行者認識方法を実行するように構成されることを特徴とする電子機器。
【請求項１２】
非揮発性コンピュータ読取可能な記憶媒体であって、前記記憶媒体内のコマンドがプロセッサにより実行されると、プロセッサに請求項１〜９のいずれか１項に記載の歩行者認識方法を実行させる非揮発性コンピュータ読取可能な記憶媒体。
【請求項１３】
コンピュータプログラムであって、コンピュータ読取可能なコードを含み、前記コンピュータ読取可能なコードは電子機器において実行されると、前記電子機器のプロセッサに請求項１〜９のいずれか１項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。
【国際調査報告】
2021530791.tif 000008
2021530791.tif 000009
2021530791.tif 000010
2021530791.tif 000011