(57)【要約】本出願の実施例は、画像処理方法、装置、端末機器、サーバおよびシステムを提供し、当該方法は、第１画像を処理して、前記第１画像内の第１顔を取得することと、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することと、前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することとを含む。前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することは、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１人体の画像情報は、前記サーバが人物識別を実行するために使用されることを含む。【選択図】図２
2021520015.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
第１画像を処理して、前記第１画像内の第１顔を取得することと、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することと、
前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することとを含む、前記画像処理方法。
【請求項２】
前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することは、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１人体の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
請求項１に記載の画像処理方法。
【請求項３】
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画質に従って、前記第１人物識別要求メッセージが前記第１人体の画像情報を含むかどうかを決定することをさらに含む、
請求項２に記載の画像処理方法。
【請求項４】
前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することは、前記第１人体の画質が品質要件を満たすことに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することを含む、
請求項２または３に記載の画像処理方法。
【請求項５】
前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも１つを含む、
請求項４に記載の画像処理方法。
【請求項６】
前記第１人体の画質が品質要件を満たさないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用されることをさらに含む、
請求項２ないし５のいずれか一項に記載の画像処理方法。
【請求項７】
前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、
前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む、
請求項２ないし６のいずれか一項に記載の画像処理方法。
【請求項８】
前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信する前に、
前記第１顔の画像情報を前記第１人体の画像情報に置き換えて人物識別を実行することを決定することをさらに含む、
請求項２ないし７のいずれか一項に記載の画像処理方法。
【請求項９】
前記第１人物識別要求メッセージは、前記第１顔の識別子情報をさらに含む、
請求項１ないし８のいずれか一項に記載の画像処理方法。
【請求項１０】
前記決定された結果に従って、前記第１人物識別要求メッセージを前記サーバに送信することは、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在しないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
請求項１ないし９のいずれか一項に記載の画像処理方法。
【請求項１１】
前記第１画像の少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することは、
前記第１画像に対応する少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定することであって、前記候補ペアは、前記少なくとも１つの顔のうちの１つの顔および前記少なくとも１つの人体のうちの１つの人体を含み、前記少なくとも１つの顔は前記第１顔を含むことと、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することと、
前記ターゲットマッチング結果に基づいて、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することとを含む、
請求項１ないし１０のいずれか一項に記載の画像処理方法。
【請求項１２】
前記少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定することは、
第１候補ペアに含まれる第２人体および前記第１候補ペアに含まれる第２顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定することであって、前記Ｎ個の候補ペアは前記第１候補ペアを含み、前記目標対象は人体の一部であることと、
前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第１候補ペアのマッチング確率情報を決定することとを含む、
請求項１１に記載の画像処理方法。
【請求項１３】
前記目標対象は、耳および顔のうちの少なくとも１つを含む、
請求項１２に記載の画像処理方法。
【請求項１４】
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することは、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体の少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定することであって、前記候補マッチング結果は、前記Ｎ個の候補ペアにおけるｍ（１≦ｍ≦Ｎ）個の候補ペアを含み、前記ｍ個の候補ペアにおける２つの候補ペアごとに含まれる顔および人体はそれぞれ異なることと、
前記少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも１つの候補マッチング結果から、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することとを含む、
請求項１１ないし１３のいずれか一項に記載の画像処理方法。
【請求項１５】
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、
前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得することをさらに含む、
請求項１ないし１４のいずれか一項に記載の画像処理方法。
【請求項１６】
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、
前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、
前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索することとをさらに含む、
請求項１ないし１５のいずれか一項に記載の画像処理方法。
【請求項１７】
前記ビデオシーケンスの人体追跡結果で前記第１画像の人体追跡情報が見つからなかったことに応答して、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得することをさらに含む、
請求項１６に記載の画像処理方法。
【請求項１８】
前記第１画像を処理して、前記第１画像内の第１顔を取得することは、
前記第１画像に対して顔追跡を実行して、前記第１画像内の第１顔を取得することを含む、
請求項１ないし１７のいずれか一項に記載の画像処理方法。
【請求項１９】
前記第１画像に対して人体追跡を実行して、前記第１画像内の第３人体を取得することと、
第２人物識別要求メッセージを前記サーバに送信することであって、前記第２人物識別要求メッセージは、前記第３人体の画像情報および前記第３人体の追跡識別子情報を含むこととをさらに含む、
請求項１ないし１８のいずれか一項に記載の画像処理方法。
【請求項２０】
前記第１画像を処理して、前記第１画像内の第１顔を取得する前に、
ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択することをさらに含む、
請求項１ないし１９のいずれか一項に記載の画像処理方法。
【請求項２１】
前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択することは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択することを含む、
請求項２０に記載の画像処理方法。
【請求項２２】
画像処理方法であって、
第１端末機器によって送信された人物識別要求メッセージを受信することであって、前記人物識別要求メッセージは第１人体の画像情報を含むことと、
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することとを含む、前記画像処理方法。
【請求項２３】
前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、
前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む、
請求項２２に記載の画像処理方法。
【請求項２４】
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得することと、
前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定することであって、前記顔テンプレートデータベースは、少なくとも１つの顔テンプレートを記憶することとを含む、
請求項２２または２３に記載の画像処理方法。
【請求項２５】
前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得することは、
前記第１人体の画像から第１顔の画像を取得することを含む、
請求項２４に記載の画像処理方法。
【請求項２６】
前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
前記第１顔の画像に対して特徴抽出処理を実行して、前記第１顔の特徴情報を取得することと、
前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定することと、
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することとを含む、
請求項２４または２５に記載の画像処理方法。
【請求項２７】
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む、
請求項２６に記載の画像処理方法。
【請求項２８】
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む、
請求項２６または２７に記載の画像処理方法。
【請求項２９】
前記新しく追加された人物識別子情報および前記第１顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加することをさらに含む、
請求項２８に記載の画像処理方法。
【請求項３０】
前記人物識別要求メッセージは、前記第１人体の第１顔の検出フレーム識別子情報または追跡識別子情報をさらに含む、
請求項２２ないし２９のいずれか一項に記載の画像処理方法。
【請求項３１】
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定することと、
前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することとを含む、
請求項２２ないし３０のいずれか一項に記載の画像処理方法。
【請求項３２】
前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定することは、
前記第１人体の画像に対して特徴抽出を実行して、前記第１人体の特徴情報を取得することと、
人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定することであって、前記人体テンプレートデータベースは、少なくとも１つの人体テンプレートを記憶することと、
前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得することとを含む、
請求項３１に記載の画像処理方法。
【請求項３３】
前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第１人体の人体識別子情報として決定することを含む、
請求項３２に記載の画像処理方法。
【請求項３４】
前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、追加される人体識別子情報を前記第１人体の人体識別子情報として決定することを含む、
請求項３２または３３に記載の画像処理方法。
【請求項３５】
前記追加される人体識別子情報および前記第１人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加することをさらに含む、
請求項３４に記載の画像処理方法。
【請求項３６】
前記第１人体の人体識別子情報および前記第１人体が属する人物の人物識別子情報と、前記第１人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加することをさらに含む、
請求項３５に記載の画像処理方法。
【請求項３７】
前記人物識別要求メッセージは、前記第１人体の追跡識別子情報または前記第１人体の検出フレーム識別子情報をさらに含む、
請求項３１ないし３６のいずれか一項に記載の画像処理方法。
【請求項３８】
前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在するかどうかを決定することであって、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも１つの関連関係を記憶するために使用されることと、
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することとを含む、
請求項３１ないし３７のいずれか一項に記載の画像処理方法。
【請求項３９】
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む、
請求項３８に記載の画像処理方法。
【請求項４０】
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第１体が属する人物の人物識別子情報として決定することを含む、
請求項３８に記載の画像処理方法。
【請求項４１】
前記第１人体が属する人物の人物識別子情報を第２端末機器に送信することをさらに含む、
請求項３１ないし４０のいずれか一項に記載の画像処理方法。
【請求項４２】
前記人物識別要求メッセージは、前記第１端末機器がビデオシーケンスのうちの少なくとも１つの画像に対して顔追跡を実行することに基づいて取得される、
請求項２２ないし４１のいずれか一項に記載の画像処理方法。
【請求項４３】
画像処理装置であって、
第１画像を処理して、前記第１画像内の第１顔を取得するように構成される取得モジュールと、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される第１決定モジュールと、
前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信するように構成される送信モジュールとを備える、前記画像処理装置。
【請求項４４】
前記送信モジュールは、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成され、前記第１人体の画像情報は、前記サーバが人物識別を実行するために使用される、
請求項４３に記載の画像処理装置。
【請求項４５】
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画質に従って、前記第１人物識別要求メッセージが前記第１人体の画像情報を含むかどうかを決定するように構成される第２決定モジュールをさらに備える、
請求項４４に記載の画像処理装置。
【請求項４６】
前記送信モジュールは、前記第１人体の画質が品質要件を満たすことに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成される、
請求項４４または４５に記載の画像処理装置。
【請求項４７】
前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも１つを含む、
請求項４６に記載の画像処理装置。
【請求項４８】
前記送信モジュールは、前記第１人体の画質が品質要件を満たさないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成され、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用される、
請求項４４ないし４７のいずれか一項に記載の画像処理装置。
【請求項４９】
前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、
前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む、
請求項４４ないし４８のいずれか一項に記載の画像処理装置。
【請求項５０】
前記装置は、前記第１顔の画像情報を前記第１人体の画像情報に置き換えて人物識別を実行することを決定するように構成される第２決定モジュールをさらに備える、
請求項４４ないし４９のいずれか一項に記載の画像処理装置。
【請求項５１】
前記第１人物識別要求メッセージは、前記第１顔の識別子情報をさらに含む、
請求項４３ないし５０のいずれか一項に記載の画像処理装置。
【請求項５２】
前記送信モジュールは、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在しないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成され、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用される、
請求項４３ないし５０のいずれか一項に記載の画像処理装置。
【請求項５３】
前記第１決定モジュールは、
前記第１画像に対応する少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定し、前記候補ペアは、前記少なくとも１つの顔のうちの１つの顔および前記少なくとも１つの人体のうちの１つの人体を含み、前記少なくとも１つの顔は前記第１顔を含み、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定し、
前記ターゲットマッチング結果に基づいて、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される、
請求項４３ないし５２のいずれか一項に記載の画像処理装置。
【請求項５４】
前記第１決定モジュールは、
第１候補ペアに含まれる第２人体および前記第１候補ペアに含まれる第２顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定し、前記Ｎ個の候補ペアは前記第１候補ペアを含み、前記目標対象は人体の一部であり、
前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第１候補ペアのマッチング確率情報を決定するように構成される、
請求項５３に記載の画像処理装置。
【請求項５５】
前記目標対象は、耳および顔のうちの少なくとも１つを含む、
請求項５４に記載の画像処理装置。
【請求項５６】
前記第１決定モジュールは、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体の少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定し、前記候補マッチング結果は、前記Ｎ個の候補ペアにおけるｍ（１≦ｍ≦Ｎ）個の候補ペアを含み、前記ｍ個の候補ペアにおける２つの候補ペアごとに含まれる顔および人体はそれぞれ異なり、
前記少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも１つの候補マッチング結果から、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定するように構成される、
請求項５３ないし５５のいずれか一項に記載の画像処理装置。
【請求項５７】
前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得するように構成される人体検出モジュールをさらに備える、
請求項４３ないし５６のいずれか一項に記載の画像処理装置。
【請求項５８】
前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得するように構成される人体追跡モジュールと、
前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索するように構成される追跡情報検索モジュールとをさらに備える、
請求項４３ないし５７のいずれか一項に記載の画像処理装置。
【請求項５９】
前記ビデオシーケンスの人体追跡結果で前記第１画像の人体追跡情報が見つからなかったことに応答して、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得するように構成される人体検出モジュールをさらに備える、
請求項５８に記載の画像処理装置。
【請求項６０】
前記取得モジュールは、前記第１画像に対して顔追跡を実行して、前記第１画像内の第１顔を取得するように構成される、
請求項４３ないし５９のいずれか一項に記載の画像処理装置。
【請求項６１】
前記装置は、前記第１画像に対して人体追跡を実行して、前記第１画像内の第３人体を取得するように構成される追跡モジュールをさらに備え、前記送信モジュールは、さらに、第２人物識別要求メッセージを前記サーバに送信するように構成され、前記第２人物識別要求メッセージは、前記第３人体の画像情報および前記第３人体の追跡識別子情報を含む、
請求項４３ないし６０のいずれか一項に記載の画像処理装置。
【請求項６２】
前記装置は、ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択するように構成される選択モジュールをさらに備える、
請求項４３ないし６１のいずれか一項に記載の画像処理装置。
【請求項６３】
前記選択モジュールは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択するように構成される、
請求項６２に記載の画像処理装置。
【請求項６４】
画像処理装置であって、
第１端末機器によって送信された人物識別要求メッセージを受信するように構成される受信モジュールであって、前記人物識別要求メッセージは第１人体の画像情報を含む受信モジュールと、
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される決定モジュールとを備える、前記画像処理装置。
【請求項６５】
前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、
前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む、
請求項６４に記載の画像処理装置。
【請求項６６】
前記決定モジュールは、
前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得するように構成される第１決定ユニットと、
前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される第２決定ユニットであって、前記顔テンプレートデータベースは、少なくとも１つの顔テンプレートを記憶する第２決定ユニットとを備える、
請求項６４または６５に記載の画像処理装置。
【請求項６７】
前記第１決定ユニットは、前記第１人体の画像から第１顔の画像を取得するように構成される、
請求項６６に記載の画像処理装置。
【請求項６８】
前記第２決定ユニットは、
前記第１顔の画像に対して特徴抽出処理を実行して、前記第１顔の特徴情報を取得し、
前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定し、
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得するように構成される、
請求項６６または６７に記載の画像処理装置。
【請求項６９】
前記第２決定ユニットは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される、
請求項６８に記載の画像処理装置。
【請求項７０】
前記第２決定ユニットは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される、
請求項６８または６９に記載の画像処理装置。
【請求項７１】
前記新しく追加された人物識別子情報および前記第１顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加するように構成される第１追加モジュールをさらに備える、
請求項７０に記載の画像処理装置。
【請求項７２】
前記人物識別要求メッセージは、前記第１人体の第１顔の検出フレーム識別子情報または追跡識別子情報をさらに含む、
請求項６４ないし７１のいずれか一項に記載の画像処理装置。
【請求項７３】
前記決定モジュールは、
前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定するように構成される第３決定ユニットと、
前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される第４決定ユニットとをさらに備える、
請求項６４ないし７２のいずれか一項に記載の画像処理装置。
【請求項７４】
前記第３決定ユニットは、
前記第１人体の画像に対して特徴抽出を実行して、前記第１人体の特徴情報を取得し、
人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定し、前記人体テンプレートデータベースは、少なくとも１つの人体テンプレートを記憶し、
前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得するように構成される、
請求項７３に記載の画像処理方法。
【請求項７５】
前記第３決定ユニットは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第１人体の人体識別子情報として決定するように構成される、
請求項７４に記載の画像処理装置。
【請求項７６】
前記第３決定ユニットは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、新しく追加された人体識別子情報を前記第１人体の人体識別子情報として決定するように構成される、
請求項７４に記載の画像処理装置。
【請求項７７】
前記新しく追加された人体識別子情報および前記第１人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加するように構成される第２追加モジュールをさらに備える、
請求項７６に記載の画像処理装置。
【請求項７８】
前記第１人体の人体識別子情報および前記第１人体が属する人物の人物識別子情報と、前記第１人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加するように構成される第２追加モジュールをさらに備える、
請求項７７に記載の画像処理装置。
【請求項７９】
前記人物識別要求メッセージは、前記第１人体の追跡識別子情報または前記第１人体の検出フレーム識別子情報をさらに含む、
請求項７３ないし７８のいずれか一項に記載の画像処理装置。
【請求項８０】
前記第４決定ユニットは、
関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在するかどうかを決定し、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも１つの関連関係を記憶するために使用され、
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得するように構成される、
請求項７３ないし７９のいずれか一項に記載の画像処理装置。
【請求項８１】
前記第４決定ユニットは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される、
請求項８０に記載の画像処理装置。
【請求項８２】
前記第４決定ユニットは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される、
請求項８０に記載の画像処理装置。
【請求項８３】
前記第１人体が属する人物の人物識別子情報を第２端末機器に送信するように構成される送信モジュールをさらに備える、
請求項７３ないし８２のいずれか一項に記載の画像処理装置。
【請求項８４】
前記人物識別要求メッセージは、前記第１端末機器がビデオシーケンスのうちの少なくとも１つの画像に対して顔追跡を実行することに基づいて取得される、
請求項７３ないし８３のいずれか一項に記載の画像処理装置。
【請求項８５】
端末機器であって、
プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、請求項１ないし２１のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記端末機器。
【請求項８６】
サーバであって、
プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、請求項２２ないし４２のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記サーバ。
【請求項８７】
画像処理システムであって、
請求項８５に記載の端末機器および請求項８６に記載のサーバを含む、前記画像処理システム。
【請求項８８】
読み取り可能な記憶媒体であって、
コンピュータプログラムが記憶され、前記コンピュータプログラムは、請求項１ないし２１のいずれか一項に記載の方法または請求項２２ないし４２のいずれか一項に記載の方法を実行するように構成される、前記読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年０９月１０日に中国特許局に提出された、出願番号がＣＮ２０１８１１０５１５８３．５である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
【０００２】
本出願の実施例は、コンピュータ技術に関し、特に、画像処理方法、装置、端末機器、サーバおよびシステムに関する。
【背景技術】
【０００３】
実際のニーズに応じて、いくつかの企業や組織は、訪問回数の統計、人物の身元の識別および人物の特徴の分析などに使用されるための、公衆場所での人の流れに対する追跡および識別を必要とする場合がある。
【０００４】
関連技術では、顔追跡の方式により追跡および識別を実行し、カメラによってキャプチャされた画面内の顔に対して特徴マッチング分析を実行することにより、顔情報を識別する。しかしながら、関連技術の方法を使用して取得された追跡識別結果の正確度は高くない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本出願の実施例は、画像処理の技術的解決策を提供する。
【課題を解決するための手段】
【０００６】
第１態様によれば、画像処理方法を提供し、前記方法は、第１画像を処理して、前記第１画像内の第１顔を取得することと、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することと、前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することとを含む。
【０００７】
いくつかの実施例において、前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することは、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１人体の画像情報は、前記サーバが人物識別を実行するために使用されることを含む。
【０００８】
いくつかの実施例において、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画質に従って、前記第１人物識別要求メッセージが前記第１人体の画像情報を含むかどうかを決定することをさらに含む。
【０００９】
いくつかの実施例において、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することは、前記第１人体の画質が品質要件を満たすことに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することを含む。
【００１０】
いくつかの実施例において、前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも１つを含む。
【００１１】
いくつかの実施例において、前記方法は、前記第１人体の画質が品質要件を満たさないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用されることをさらに含む。
【００１２】
いくつかの実施例において、前記第１人物識別要求メッセージは、前記第１顔の追跡識別子情報または第１顔の検出フレーム識別子情報をさらに含む。
【００１３】
いくつかの実施例において、前記第１人物識別要求メッセージは、前記第１顔の識別子情報をさらに含む。
【００１４】
いくつかの実施例において、前記決定された結果、即ち、前記第１顔とマッチングする人体が存在するかどうかに基づいて、前記人体の画像情報に基づいて前記第１顔に対して人物識別を実行するかどうかを決定する。
【００１５】
いくつかの実施例において、前記決定された結果に基づいて、前記第１人物識別要求メッセージが第１顔の画像情報を含むかどうかを決定する。
【００１６】
いくつかの実施例において、前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、ここで、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む。
【００１７】
いくつかの実施例において、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信する前に、前記第１顔の画像情報を前記第１人体の画像情報に置き換えて人物識別を実行することを決定することをさらに含む。
【００１８】
いくつかの実施例において、前記決定された結果に従って、前記第１人物識別要求メッセージを前記サーバに送信することは、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在しないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用されることを含む。
【００１９】
いくつかの実施例において、前記第１画像の少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することは、前記第１画像に対応する少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定することであって、前記候補ペアは、前記少なくとも１つの顔のうちの１つの顔および前記少なくとも１つの人体のうちの１つの人体を含み、前記少なくとも１つの顔は前記第１顔を含むことと、前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することと、前記ターゲットマッチング結果に基づいて、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することとを含む。
【００２０】
いくつかの実施例において、前記少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定することは、第１候補ペアに含まれる第２人体および前記第１候補ペアに含まれる第２顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定することであって、前記Ｎ個の候補ペアは前記第１候補ペアを含み、前記目標対象は人体の一部であることと、前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第１候補ペアのマッチング確率情報を決定することとを含む。
【００２１】
いくつかの実施例において、前記目標対象は、耳および顔のうちの少なくとも１つを含む。
【００２２】
いくつかの実施例において、前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することは、前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体の少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定することであって、前記候補マッチング結果は、前記Ｎ個の候補ペアにおけるｍ（１≦ｍ≦Ｎ）個の候補ペアを含み、前記ｍ個の候補ペアにおける２つの候補ペアごとに含まれる顔および人体はそれぞれ異なることと、前記少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも１つの候補マッチング結果から、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することとを含む。
【００２３】
いくつかの実施例において、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することは、前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、人体追跡結果を取得することであって、前記人体追跡結果は、前記ビデオシーケンスのうちの少なくとも１つの画像の人体追跡情報を含むことと、前記ビデオシーケンスの少なくとも一部の画像の顔追跡結果に、前記第１画像のフレーム番号に対応する人体追跡情報に基づいて、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することとを含む。
【００２４】
いくつかの実施例において、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、前記方法は、前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索することとをさらに含む。
【００２５】
いくつかの実施例において、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、前記方法は、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得することをさらに含む。
【００２６】
いくつかの実施例において、前記方法は、前記ビデオシーケンスの人体追跡結果で前記第１画像の人体追跡情報が見つからなかったことに応答して、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得することをさらに含む。
【００２７】
いくつかの実施例において、前記方法は、前記人体追跡結果に、前記第１画像のフレーム番号に対応する人体追跡情報が存在しないことに応答して、前記第１画像に対して人体検出を実行することにより取得された少なくとも１つの人体から、前記第１顔とマッチングする人体が存在するかどうかを決定することをさらに含む。
【００２８】
いくつかの実施例において、前記第１画像を処理して、前記第１画像内の第１顔を取得することは、前記第１画像に対して顔追跡を実行して、前記第１画像内の第１顔を取得することを含む。
【００２９】
いくつかの実施例において、前記方法は、前記第１画像に対して人体追跡を実行して、前記第１画像内の第３人体を取得することと、第２人物識別要求メッセージを前記サーバに送信することであって、前記第２人物識別要求メッセージは、前記第３人体の画像情報および前記第３人体の追跡識別子情報を含むこととをさらに含む。
【００３０】
いくつかの実施例において、前記第１画像を処理して、前記第１画像内の第１顔を取得する前に、ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択することをさらに含む。
【００３１】
いくつかの実施例において、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択することは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択することを含む。
【００３２】
第２態様によれば、画像処理方法を提供し、前記方法は、第１端末機器によって送信された人物識別要求メッセージを受信することであって、前記人物識別要求メッセージは第１人体の画像情報を含むことと、前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することとを含む。
【００３３】
いくつかの実施例において、前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、ここで、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む。
【００３４】
いくつかの実施例において、前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得することと、前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定することであって、前記顔テンプレートデータベースは、少なくとも１つの顔テンプレートを記憶することとを含む。
【００３５】
いくつかの実施例において、前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得することは、前記第１人体の画像から第１顔の画像を取得することを含む。
【００３６】
いくつかの実施例において、前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、前記第１顔の画像に対して特徴抽出処理を実行して、前記第１顔の特徴情報を取得することと、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定することと、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することとを含む。
【００３７】
いくつかの実施例において、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む。
【００３８】
いくつかの実施例において、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む。
【００３９】
いくつかの実施例において、前記方法は、前記新しく追加された人物識別子情報および前記第１顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加するをさらに含む。
【００４０】
いくつかの実施例において、前記人物識別要求メッセージは、前記第１人体の第１顔の検出フレーム識別子情報または追跡識別子情報をさらに含む。
【００４１】
いくつかの実施例において、前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定することと、前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することとを含む。
【００４２】
いくつかの実施例において、前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定することは、前記第１人体の画像に対して特徴抽出を実行して、前記第１人体の特徴情報を取得することと、人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定することであって、前記人体テンプレートデータベースは、少なくとも１つの人体テンプレートを記憶することと、前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得することとを含む。
【００４３】
いくつかの実施例において、前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに属する人物の人体識別子情報を前記第１人体の人体識別子情報として決定することを含む。
【００４４】
いくつかの実施例において、前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、追加される人体識別子情報を前記第１人体の人体識別子情報として決定することを含む。
【００４５】
いくつかの実施例において、前記方法は、前記新しく追加された人体識別子情報および前記第１人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加することをさらに含む。
【００４６】
いくつかの実施例において、前記方法は、前記第１人体の人体識別子情報および前記第１人体が属する人物の人物識別子情報と、前記第１人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加することをさらに含む。
【００４７】
いくつかの実施例において、前記人物識別要求メッセージは、前記第１人体の追跡識別子情報または前記第１人体の検出フレーム識別子情報をさらに含む。
【００４８】
いくつかの実施例において、前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在するかどうかを決定することであって、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも１つの関連関係を記憶するために使用されることと、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することとを含む。
【００４９】
いくつかの実施例において、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む。
【００５０】
いくつかの実施例において、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む。
【００５１】
いくつかの実施例において、前記方法は、前記第１人体が属する人物の人物識別子情報を第２端末機器に送信することをさらに含む。
【００５２】
いくつかの実施例において、前記人物識別要求メッセージは、前記第１端末機器がビデオシーケンスのうちの少なくとも１つの画像に対して顔追跡を実行することに基づいて取得される。
【００５３】
第３態様によれば、画像処理装置を提供し、前記装置は、第１画像を処理して、前記第１画像内の第１顔を取得するように構成される取得モジュールと、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される第１決定モジュールと、前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信するように構成される送信モジュールとを備える。
【００５４】
第４態様によれば、画像処理装置を提供し、前記装置は、第１端末機器によって送信された人物識別要求メッセージを受信するように構成される受信モジュールであって、前記人物識別要求メッセージは第１人体の画像情報を含む受信モジュールと、前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される決定モジュールとを備える。
【００５５】
第５態様によれば、端末機器を提供し、前記機器は、プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、上述の第１態様に記載の方法のステップを実行するように構成されるプロセッサとを備える。
【００５６】
第６態様によれば、サーバを提供し、前記サーバは、プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、上述の第２態様に記載の方法のステップを実行するように構成されるプロセッサとを備える。
【００５７】
第７態様によれば、画像処理システムを提供し、上述の第５態様に記載の端末機器および上述の第６態様に記載のサーバを含む。
【００５８】
第８態様によれば、読み取り可能な記憶媒体を提供し、前記読み取り可能な記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは、上述の第１態様または第２態様に記載の方法を実行するために使用される。
【発明の効果】
【００５９】
本出願の実施例で提供される技術的解決策では、画像内の第１顔を取得することにより、画像に対応する少なくとも１つの人体のうち、第１顔とマッチングする人体が存在するかどうかを決定し、決定された結果に基づいて、人物識別要求メッセージをサーバに送信し、それにより、人物識別の正確度を向上させるのに有益である。
【図面の簡単な説明】
【００６０】
本出願または先行技術の技術的解決策をより明確に説明するために、実施例または先行技術の説明で使用される図面を以下に簡単に紹介する。明らかなこととして、以下に説明される図面は、本出願のいくつかの実施例に過ぎず、当業者にとって、創造的な努力なしにこれらの図面に従って他の図面を得ることができる。
【図１】本出願の実施例のシステムアーキテクチャの概略図である。
【図２】本出願の実施例によって提供された画像処理方法の例示的なフローチャートである。
【図３】本出願の実施例によって提供された画像処理方法の別の例示的なフローチャートである。
【図４】本出願の実施例によって提供された画像処理方法のさらに別の例示的なフローチャートである。
【図５】本出願の実施例によって提供された画像処理方法のさらに別の例示的なフローチャートである。
【図６】本出願の実施例によって提供された画像処理方法のさらに別の例示的なフローチャートである。
【図７】本出願の実施例によって提供された画像処理装置のモジュールの構造図である。
【図８】本出願の実施例によって提供された画像処理装置の別のモジュールの構造図である。
【図９】本出願の実施例によって提供された画像処理装置のさらに別のモジュールの構造図である。
【図１０】本出願の実施例によって提供された画像処理装置のさらに別のモジュールの構造図である。
【図１１】本出願の実施例によって提供された画像処理装置のさらに別のモジュールの構造図である。
【図１２】本出願の実施例によって提供された別の画像処理装置のモジュールの構造図である。
【図１３】本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。
【図１４】本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。
【図１５】本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。
【図１６】本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。
【図１７】本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。
【図１８】本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。
【図１９】本出願の実施例によって提供された端末機器の例示的なブロック図である。
【図２０】本出願の実施例によって提供されたサーバの例示的なブロック図である。
【図２１】本出願の実施例によって提供された画像処理システムのアーキテクチャの概略図である。
【発明を実施するための形態】
【００６１】
本出願の目的、技術的解決策および利点をより明確にするために、以下、本出願の実施例における図面を参照して、本出願の実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本出願の実施例の一部であり、全ての実施例ではないことは明らかである。本出願の実施例に基づき、当業者が創造性のある労働を必要とせずに得られる他の実施例の全ては、本願の保護範囲に含まれるべきである。
【００６２】
関連技術では、主に、顔情報に基づいて人物の追跡識別を実行するが、実際の環境では、顔追跡識別は、オクルージョンや撮影角度などの問題により、検出漏れや検出品質の低下の結果を招く場合があり、したがって、取得された追跡識別結果の正確度は高くない。本出願の実施例は、上述の問題に基づき、画像処理方法を提案し、クライアントは、顔および人体をマッチングすることにより、且つマッチング結果に従って、人物識別要求メッセージをサーバに送信する。顔および人体を同時にマッチングするため、追跡識別結果の正確度を大幅に向上させることができる同時に、マッチング結果をサーバに送信した後に、サーバが当該マッチング結果に従って正確な顧客データ分析を実行するようにすることもできる。
【００６３】
本出願の実施例で提供される方法は、人物の追跡識別を実行する必要がある様々なシナリオに適用されることができる。例えば、スーパーマーケットや小売店などのシナリオでは、スーパーマーケットまたは小売店の経営者は、スーパーマーケットまたは小売店内の客の流れを追跡および識別して、客の流れの統計、顧客識別、顧客の訪問回数などの情報を取得するため、これらの情報を企業管理の重要な参照情報として使用する。さらに例えば、交差点や鉄道駅などの公衆場所のモニタリングシナリオでは、これらのシナリオにおいて個人追跡識別を実行することにより、いくつかの特定人物の身元情報などを決定することができる。
【００６４】
本出願の以下の実施例では、小売店のシナリオを例として本出願の実施例の技術案を説明するが、本出願の実施例はこれらに限定されないことは明らかである。
【００６５】
図１は、本出願の実施例のシステムアーキテクチャの概略図であり、図１に示されたように、当該アーキテクチャは、第１端末機器１１、サーバ１２および第２端末機器１３を含む。小売店のシナリオでは、当該第１端末機器にはクライアントが実行され、当該第１端末機器は小売店内に展開され、且つ小売店内に配置されたカメラに接続され、カメラによって撮影されたビデオ画像を取得して、追跡、マッチングなど処理を実行する。当該第１端末機器のクライアントはサーバに接続され、サーバは、第１端末機器のクライアントからデータを受信した後に識別処理を実行して、処理結果を第２端末機器のクライアントに送信する。当該第２端末機器のクライアントは、小売店の経営者の管理システムなどであってもよく、当該第２端末機器のクライアントは、サーバによって送信された情報を分析することにより、前記客の流れの統計、顧客識別、顧客の訪問回数などの情報を取得することができる。
【００６６】
本出願の以下の実施例は、それぞれ前記クライアントおよびサーバの角度から本出願の実施例の技術案を説明する。以下、先ず、クライアントの処理プロセスを説明する。図２に示されたように、本出願の実施例で提供される画像処理方法において、当該方法の実行主体は前記クライアントであってもよく、または他の端末機器であってもよいが、本出願の実施例はこれらに限定されない。理解を容易にするために、以下、クライアントが実行する方法を例として説明する。図２に示された方法は、次のステップを含む。
【００６７】
ステップＳ２０１において、第１画像を処理して、当該第１画像内の第１顔を取得する。
【００６８】
ここで、当該第１画像は、カメラによってリアルタイムで撮影されたビデオシーケンスのうちの１フレームの画像であり得、または当該第１画像は静的画像であり得、本出願の実施例は、第１画像の具体的な実現に対して限定しない。
【００６９】
いくつかの実施例において、カメラを介してリアルタイムで撮影して、連続するビデオストリームを取得し、カメラは、ビデオストリームをクライアントにリアルタイムでまたは定期的に送信することができる。クライアントは、ビデオストリームをデコーディングして、ビデオシーケンスを取得することができる。当該ビデオシーケンスは、複数のフレームの画像を含む。クライアントは、本出願の実施例の方法を使用して、当該複数のフレームの画像または当該複数のフレームの画像のうちの一部の画像のそれぞれを処理することができる。
【００７０】
いくつかの実施例において、他の方式により、ビデオシーケンスまたは第１画像を取得することもでき、本出願の実施例は、取得する具体的な方式に対して限定しない。いくつかの実施例において、クライアントは、ビデオシーケンスに含まれる複数の画像から第１画像を選択することができる。例えば、クライアントは、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択してもよく、または、クライアントは、プリセットの閾値に基づいてビデオシーケンスから第１画像を選択してもよいが、本出願の実施例は、フレームを選択する具体的な実現に対して限定しない。
【００７１】
いくつかの実施例において、クライアントは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる複数の画像から前記第１画像を選択することができる。例示的に、クライアントは、ビデオシーケンスに含まれるＱ（Ｑは整数であり、例えば、１０である）フレームの連続する画像から最も品質の良いフレームを第１画像として選択することができる。例えば、各画像の品質評点を決定し、最も高い品質評点を持つ画像を第１画像として使用することができる。ここで、品質評点は、顔の鮮明度、顔の角度、顔の大きさ、顔検出の信頼度などの１つまたは任意の組み合わせなどの、画像の要素の１つまたは複数に基づいて、画像の品質評点を決定することができ、または他の要素に基づいて、画像の品質評点を決定することもできる。なお、ニューラルネットワークに基づいて画像の品質評点を決定することができ、または他のアルゴリズムに基づいて画像の品質評点を取得することができるなどの、様々な方式により画像の品質評点を取得することができ、本出願の実施例は、品質評点の取得方式および影響因子に対して限定しない。
【００７２】
さらに例えば、クライアントは、ビデオシーケンスから、品質評点がプリセットの閾値に達する画像を第１画像として使用する。ここで、一例において、画像の総合的な品質評点を決定し、総合的な品質評点がプリセットの閾値に達するかどうかに基づいて当該画像を選択するかどうかを決定することができ、または、顔の角度、顔の大きさ、顔の鮮明度のうちの１つまたは任意の複数のそれぞれに閾値を設定するなど、画像の各品質要素の閾値を設定し、各品質要素が、対応する閾値に達するかどうかに基づいて当該画像を選択するかどうかを決定することができる。または、総合的な品質評点および各品質要素のそれぞれに対応する閾値を設定することもでき、本出願の実施例は、それらの具体的な実現に対して限定しない。
【００７３】
例示的な方式として、クライアントは、第１画像に対して顔検出を実行して、第１顔を取得することができ、この場合、クライアントは、第１顔の画像および、第１顔の検出フレーム識別子など、第１顔の識別子情報を取得することができる。または、クライアントは、第１画像内の第１顔を取得するために、第１画像に対して顔追跡を実行することができ、この場合、別の方式として、クライアントは、第１顔の画像および第１顔の追跡識別子情報を取得することができる。
【００７４】
いくつかの実施例において、クライアントは、顔キーポイントに基づいて顔追跡を実行することができ、例えばクライアントは、第１画像の前に位置する第２画像に対して顔検出を実行して、顔画像を取得し、顔画像に対してキーポイント検出を実行して、第２画像におけるキーポイントの位置情報を取得することができ、ここで、第２画像と第１画像との間の間隔は、プリセットされた値より低い可能性がある。その後、クライアントは、第２画像におけるキーポイントの位置情報および、オプティカルフロー情報などの第２画像に対する第１画像の移動情報に基づいて、第１画像におけるキーポイントの予測位置情報を決定し、第１画像におけるキーポイントの予測位置情報に基づいて、第１顔の画像を取得することができる。
【００７５】
いくつかの実施例において、他の方式に基づいて顔追跡を実行することもできる、本出願の実施例は、顔追跡の具体的な実現に対して限定しない。いくつかの実施例において、顔追跡により第１顔を取得した後に、クライアントは、当該第１顔が位置する画像のフレーム識別子を記録することもできる。
【００７６】
ステップＳ２０２において、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する。
【００７７】
いくつかの実施例において、第１画像に含まれる少なくとも１つの人体のうち、第１顔とマッチングする人体が存在するかどうかを決定することができる。
【００７８】
本出願の実施例において、様々な方式により、第１画像に含まれる少なくとも１つの人体の情報を取得することができる。いくつかの実施例において、第１画像に対して人体検出を実行して、第１画像内の少なくとも１つの人体を取得することができ、この場合、一方式として、各人体の画像、および検出フレーム識別子などの各人体の識別子情報を取得することができる。他のいくつかの可能な実施形態において、第１画像に対して人体追跡を実行して、第１画像内の少なくとも１つの人体を取得することができ、例えば、前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、人体追跡結果を取得することができ、ここで、当該人体追跡結果は、当該ビデオシーケンスのうちの少なくとも１つの画像の人体追跡情報を含む。この場合、別の方式として、各人体の画像および各人体の追跡識別子情報を取得することができる。さらに別の方式として、各人体において、クライアントは、当該人体が位置する画像のフレーム識別子をさらに記録することもできるが、本出願の実施例はこれらに限定されない。
【００７９】
いくつかの実施例において、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、当該方法は、前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索することとをさらに含む。
【００８０】
いくつかの実施例において、ビデオシーケンスの少なくとも一部の画像の人体追跡結果から前記第１顔のフレーム番号に対応する人体追跡情報を検索することができる。ある場合には、人体追跡結果に、前記第１顔のフレーム番号に対応する人体追跡情報が存在すると、第１画像のフレーム番号に対応する人体追跡情報から第１顔とマッチングする人体を検索する。別の場合では、人体追跡結果に、前記第１顔のフレーム番号に対応する人体追跡情報が存在しない場合、第１画像に対して人体検出を実行し、第１画像に対して人体検出を実行して取得した少なくとも１つの人体から第１顔とマッチングする人体が存在するかどうかを決定することができる。別のいくつかの可能な実施形態において、第１画像に対して人体検出を直接に実行し、第１画像に対して人体検出を実行して取得した少なくとも１つの人体から第１顔とマッチングする人体が存在するかどうかを決定することができる。
【００８１】
本出願の実施例は、第１画像の少なくとも１つの人体の取得方式に対して限定しない。
【００８２】
ステップＳ２０３において、前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信する。
【００８３】
いくつかの実施例において、前記決定された結果は、第１顔とマッチングする人体が存在すること、または、第１顔とマッチングする人体が存在しないことを含む。
【００８４】
いくつかの実施例において、前記第１人物識別要求メッセージは、前記第１顔の識別子情報をさらに含む。
【００８５】
異なる決定された結果に対して、クライアントは、異なる第１人物識別要求メッセージをサーバに送信することができ、即ち、異なる決定された結果に対して、第１人物識別要求メッセージに含まれる情報は異なることができる。例えば、決定された結果に基づいて、即ち、第１顔とマッチングする人体が存在するかどうかに基づいて、人体の画像情報に基づいて第１顔に対して人物識別を実行するかどうかを決定することができる。さらに例えば、決定された結果に基づいて、第１人物識別要求メッセージに第１顔の画像情報が含まれるかどうかを決定することができる。
【００８６】
本出願の実施例では、クライアントは、顔と人体をマッチングすることにより、且つ、マッチング結果に従って、人物識別要求メッセージをサーバに送信し、人物識別の正確度を向上させるのに有益である。いくつかの実施例において、ターゲット領域のモニタリングシナリオでは、一般的に、１つまたは複数の位置にカメラを配置するが、光、オクルージョン、顔の角度などの要素により、顔を介して人物識別を実行することができない場合、または人物識別の正確度が比較的に低い場合があるため、本出願の実施例は、第１顔とマッチングする人体が存在するかどうかを決定することにより、且つ、マッチング結果に基づいてサーバによって送信された第１人物識別要求メッセージに第１顔の画像情報が含まれるかどうかを決定することにより、人物識別の正確度を向上させるのに有益である。
【００８７】
上述の実施例の基で、以下、決定された結果に従って第１人物識別要求メッセージをサーバに送信する方法を説明する。以上に記載されたように、前記決定された結果は、第１顔とマッチングする人体が存在すること、または、第１顔とマッチングする人体が存在しないことを含むことができる。これらの２つの場合での処理方式をそれぞれ説明する。
【００８８】
１、第１顔とマッチングする人体が存在する
いくつかの実施例において、第１顔とマッチングする人体が存在する（当該マッチングする人体を第１人体と称する）場合、クライアントは、当該第１人体の画像情報を含む第１人物識別要求メッセージをサーバに送信することができる。
【００８９】
一可能な実現方式において、第１顔とマッチングする人体が存在することに応答して、第１人物識別要求メッセージに第１人体の画像情報を含むことを直接に決定することができる。この場合、一方式として、第１人物識別要求メッセージに第１顔の画像情報をさらに含むことができ、それに対応して、サーバは、当該第１人物識別要求メッセージを受信した後に、第１顔の画像情報および第１人体の画像情報に基づいて人物識別を実行することができる。または、第１人物識別要求メッセージは、第１顔の画像情報を含まないことができ、それに対応して、サーバは、第１人物識別要求メッセージを受信した後に、第１人体の画像情報に基づいて人物識別を実行することができ、本出願の実施例はこれらに限定されない。
【００９０】
別の可能な実現方式において、第１人体の画質を判断することにより、且つ、第１画質に基づいて第１人物識別要求メッセージが第１人体の画像情報を含むかどうかを決定することもできる。一方式として、第１人体の画質が、プリセットされた品質要件を満たすかどうかを判断することにより、第１人物識別要求メッセージに第１人体の画像情報が含まれているかどうかを決定することができる。
【００９１】
ある場合には、第１人体の画質が品質要件を満たすと、サーバに送信される第１タスク識別要件メッセージは、第１人体の画像情報を含む。それに対応して、サーバは、第１人体の画像情報に基づいて人物識別を実行することができる。例えば、サーバは、第１人体の画像から第１顔の画像をキャプチャするなど、第１人体の画像情報から第１顔の画像情報を取得し、第１顔の画像情報に基づいて人物識別を実行することができるが、本出願の実施例はこれらに限定されない。
【００９２】
別の場合では、第１人体の画質が品質要件を満たさない場合、サーバに送信される第１人物識別要求メッセージは第１人体の画像情報を含まず、前記第１顔の画像情報のみを含み、ここで、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用される。
【００９３】
このようにして、本出願の実施例の技術的解決策において、人体の画質の良い場合には、人体の画像情報から顔の画像情報を取得することにより人物識別を実行するが、人体の画質の悪い場合には、顔検出または顔追跡により取得された顔の画像情報を使用して人物識別を実行するなど、画像の実際の状況に応じて、人体検出または人体追跡により取得された人体の画像情報または顔検出または顔追跡により取得された顔の画像情報に基づいて人物識別を実行することを決定することができ、それにより、人物識別を実行するときに顔の角度やオクルージョンなどの要素による識別正確度が低いという問題を回避し、人物識別の正確度を向上させる。
【００９４】
ここで、本出願の実施例において、品質要件は、実際の状況に従って設定されることができる。一可能な実現方式において、前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの１つまたは任意の組み合わせを含み得る。
【００９５】
一例において、品質要件は、人体の検出フレームの信頼度がプリセットの閾値に達すること、顔の完全性が特定の要件に達すること（例えば、完全な人体を含むなど）、顔の鮮明度が特定の要件に達すること、顔の大きさが特定の要件に達すること、顔の角度が特定の範囲内にあることの組み合わせのうちの少なくとも１つを含み、このようにして、サーバは、人体画像から品質の良い顔画像を取得し、当該顔画像に基づいて人物識別を実行して、人物識別の正確度を向上させることができる。
【００９６】
一方式として、品質要件は、他のタイプのパラメータ要件を含むこともでき、本出願の実施例は、それらの具体的な実現に対して限定しない。本出願の実施例において、上述の任意の手段によりサーバに送信される第１人物識別要求メッセージが第１人体の画像情報を含むことを決定すると、一例において、当該メッセージは、第１顔の画像情報をさらに含むことができ、この場合、サーバは、第１人物識別要求メッセージを受信した後に、メッセージに含まれる第１顔の画像情報または第１人体の画像情報を使用して人物識別を実行すること、または両者を組み合わせて人物識別を実行することを選択することができるが、本出願の実施例は、これらに限定されない。別の例において、当該メッセージは第１顔の画像情報を含まなくてもよく、それに対応して、当該メッセージを送信する前に、前記第１顔の画像情報を前記第１人体の画像情報に切り替えると決定することができ、それにより、第１人物識別要求メッセージに第１人体の画像情報を含むが、第１顔の画像情報を含まない。それに対応して、サーバは、第１人物識別要求メッセージを受信した後に、メッセージに含まれる第１人体の画像情報に基づいて人物識別を実行するが、本出願の実施例はこれらに限定されない。
【００９７】
２、第１顔とマッチングする人体が存在しない
いくつかの実施例において、第１顔とマッチングする人体が存在しないことに応答して、クライアントは、サーバに送信可能な第１人物識別要求メッセージが前記第１顔の画像情報を含む。このようにして、第１顔に対応する第１人物識別要求メッセージは、第１顔の画像情報、第１人体の画像情報、または第１人体の画像および第１顔の画像情報を含み得る。
【００９８】
本出願の実施例において、一可能な実現方式において、第１人体の画像情報は、第１人体の画像を含む。この場合、サーバは、第１人体の画像に基づいて人物識別を実行することができる。例えば、サーバは、第１人体の画像から第１顔の画像を取得し、第１顔の画像および顔テンプレートに基づいて人物識別を実行し、さらに例えば、第１人体の画像、人体テンプレートおよび人物−人体関連ライブラリに基づいて人物識別を実行するなど、本出願の実施例は、サーバが第１人体の画像に基づいて人物識別を実行する具体的な実現に対して限定しない。
【００９９】
別の可能な実現方式において、第１人体の画像情報は、第１人体の画像の特徴情報を含み、ここで、一方式として、第１人体の画像の特徴情報は、人体の特徴情報を含み得、または顔の特徴情報を含み得、または人体の特徴情報および顔の特徴情報を含み得る。ここで、第１人体の画像の人体の特徴情報は、第１人体の画像に対して特徴抽出を実行することにより取得され、第１人体の画像の顔の特徴情報は、第１人体の画像内の顔領域画像に対して特徴抽出を実行することにより取得される。いくつかの実施例において、第１顔の画像情報は、第１顔の画像および／または第１顔の画像の特徴情報を含み、ここで、第１顔の画像の特徴情報は、第１顔の画像に対して特徴抽出を実行することにより取得され、本出願の実施例はこれらに限定されない。一実現方式として、第１人物識別要求メッセージは、第１人体の画像情報および／または第１顔の画像情報を含む以外にも、追跡識別子情報または検出フレーム識別子情報などの第１顔の識別子情報をさらに含み得る。サーバは、これらの情報を取得した後に、これらの情報に従ってより正確な人物の身元識別を実行し、および／または分析処理をさらに実行することができる。
【０１００】
理解を容易にするために、「第１人体の画像情報」という用語は、画像に対して人体検出または人体追跡を実行することにより取得された画像情報を指し、なお、上述の実施例において、「第１顔の画像情報」という用語は、画像に対して顔検出または顔追跡を実行することにより取得された画像情報を指す。以下の実施例において、「第１顔の画像情報」という用語は、メッセージにおける人体の画像情報に基づいて取得された顔の画像情報を指すこともできる。
【０１０１】
さらに、「第１人物識別要求メッセージ」という用語は、顔検出または顔追跡により取得された人物を識別することを要求する人物識別要求メッセージを指し、「第２人物識別要求メッセージ」という用語は、人体検出または人体追跡により取得された人物を識別することを要求する人物識別要求メッセージを指すことを理解されたい。なお、クライアントは、第１画像に対して人体検出または人体追跡を実行して、顔検出または顔追跡の結果を取得し、人体検出または人体追跡の結果をサーバに送信することもできる。
【０１０２】
一例において、クライアントは、第１画像に対して人体追跡または人体検出を実行して、第１画像内の第２人体を取得し、第２人物識別要求メッセージをサーバに送信することができ、当該第２人物識別要求メッセージは第２人体の画像情報および第２人体の識別子情報を含み、ここで、第２人体の画像情報は、第２人体の画像および／または第２人体の画像の人体の特徴情報を含み得、本出願の実施例は、これらに対して限定しない。サーバは、第２人物識別要求メッセージを受信した後に、第２人体の画像情報に基づいて人物識別を実行することができる。
【０１０３】
図３は、本出願の実施例によって提供された画像処理方法の別の例示的なフローチャートである。
【０１０４】
ステップＳ３０１において、第１画像内の少なくとも１つの顔および少なくとも１つの人体に従って、Ｎ（Ｎは、１より大きいか等しい整数である）個の候補ペアにおける各候補ペアのマッチング確率情報を決定し、ここで、前記候補ペアは、前記少なくとも１つの顔のうちの１つの顔および前記少なくとも１つの人体のうちの１つの人体を含み、前記少なくとも１つの顔は、前記第１顔を含む。
【０１０５】
いくつかの実施例において、第１画像に対して顔検出または顔追跡を実行することにより少なくとも１つの顔を取得することができ、第１画像に対して人体検出または人体追跡を実行することにより少なくとも１つの人体を取得することができる。
【０１０６】
少なくとも１つの第１顔および少なくとも１つの第１人体を取得した後に、少なくとも１つの人体および少なくとも１つの顔のうちの任意の顔−人体の組み合わせを候補ペアとして使用して、Ｎ個の候補ペアを取得することができ、即ち、
【０１０７】
【数１】
2021520015.tif 000003
【０１０８】
であり、ここで、ｎ１およびｎ２は、それぞれ、少なくとも１つの顔の数および少なくとも１つの人体の数であり、または、少なくとも１つの人体および少なくとも１つの顔のうちの一部の顔−人体の組み合わせを候補ペアとして使用して、Ｎ個の候補ペアを取得することができ、本出願の実施例は、Ｎ個の候補ペアの具体的な実現に対して限定しない。
【０１０９】
一方式では、前記少なくとも１つの顔および前記少なくとも１つの人体を取得した後に、各顔の基で、前記顔と、少なくとも１つの人体のうちの一部または各人体または一部の人体の候補ペアを確立することができる。別の方式では、前記少なくとも１つの顔および前記少なくとも１つの人体を取得した後に、各人体の基で、前記人体と、少なくとも１つの顔のうちの各顔または一部の顔の候補ペアを確立することができる。
【０１１０】
いくつかの実施例において、候補ペアのマッチング確率情報は、候補ペアに含まれる顔と人体のマッチング度を識別するために使用される。一例において、マッチング確率情報は、マッチング確率を含み得、候補ペアのマッチング確率が大きいほど、候補ペアに含まれる顔と人体のマッチング度が高くなることを表す。別の例において、マッチング確率情報は、マッチング重みを含み得、候補ペアのマッチング重みが小さいほど、候補ペアに含まれる顔と人体のマッチング度が高くなることを表し、本出願の実施例は、これに対して限定しない。
【０１１１】
本出願の実施例において、様々な方式によりＮ個の候補ペアにおける各候補ペアのマッチング確率情報を取得することができ、一例において、機械学習または他の方法に基づくマッチングアルゴリズムを介して、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を取得する。例えば、候補ペア中に含まれる顔および人体の画像情報をニューラルネットワークに入力して処理することにより、当該候補ペアのマッチング確率情報を出力することができるが、本出願の実施例は、候補ペアのマッチング確率情報を取得する具体的な実現に対して限定しない。
【０１１２】
ステップＳ３０２において、前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔および前記少なくとも１つの人体のターゲットマッチング結果を決定する。
【０１１３】
いくつかの実施例において、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に基づいて、少なくとも１つの人体と少なくとも１つの顔のうち、マッチングする各顔−人体ペアを決定することができる。例えば、当該ターゲットマッチング結果は、マッチングするｎ１個の顔−人体ペアを含み得、この場合、ｎ１個の顔のうちの各顔には、当該顔とマッチングする人体がそれぞれ存在する、ここで、ｎ１はｎ２より小さい場合あり、この場合、ｎ２個の人体のうちの一部の人体には、当該人体とマッチングする顔が存在せず、または、ｎ１がｎ２と等しい場合、ｎ１個の顔およびｎ２個の人体は一対一でマッチングする。さらに例えば、当該ターゲットマッチング結果は、マッチングするｎ２個の顔−人体ペアを含み得、さらに、ｎ２はｎ１より小さく、この場合、ｎ２個の体のうちの各人体には、当該人体とマッチングする顔がそれぞれ存在するが、ｎ１個の顔のうちの一部の顔には当該顔とマッチングする人体が存在しない。さらに例えば、当該ターゲットマッチング結果は、マッチングするｎ３個の顔−人体ペアを含み得、ここで、ｎ３はｎ１およびｎ２より小さく、この場合、ｎ１個の顔のうちの一部の顔とｎ２個の人体のうちの一部の人体のマッチングを実現し、本出願の実施例は、ターゲットマッチング結果の具体的な実現に対して限定しない。
【０１１４】
ステップＳ３０３において、前記ターゲットマッチング結果に基づいて、前記第１画像内の少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する。
【０１１５】
いくつかの実施例において、当該少なくとも１つの顔と少なくとも１つの人体のターゲットマッチング結果は、少なくとも１つのマッチングする人体と顔のペア（即ち、少なくとも１つのマッチングする顔−人体ペア）を含む。対応的に、第１顔とマッチングする人体が存在するかどうかを決定するために、前記ターゲットマッチング結果において第１顔を検索することができる。いくつかの実施例において、第１顔とマッチングする人体が存在すると、第１顔とマッチングする人体の情報をさらに取得することができる。
【０１１６】
一方式では、以下の方式により、Ｎ個の候補ペアにおける第１候補ペアのマッチング確率情報を決定することができ、ここで、当該第１候補ペアは、Ｎ個の候補ペアにおける任意の候補ペアであってもよく、第１候補ペアは、第２顔および第２人体を含む。第１候補ペアに含まれる第２人体および当該第１候補ペアに含まれる第２顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定し、ここで、前記目標対象は人体の一部を含む。その後、前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第１候補ペアのマッチング確率情報を決定する。
【０１１７】
いくつかの実施例において、前記目標対象は、耳、顔、または目や鼻体などの顔の特定の器官などの人体の一部であってもよく、または人体の他の部分であってもよく、本出願の実施例は、目標対象の具体的な実現に対して限定しない。一可能な実現方式において、第２人体および第２顔のうちの１つに基づいて目標対象の推定位置情報を決定することができ、別の１つに基づいて目標対象の実際の位置情報を決定することができる。このようにして、目標対象の推定位置情報および実際の位置情報に基づいて、例えば、目標対象の推定位置情報と実際の位置情報を比較することにより、または目標対象の推定位置情報に対応する世推定位置と、実際の位置情報に対応する実際の位置との間の距離を決定することにより、第１候補ペアにおける第２顔と第２人体のマッチング度を決定することができるが、本出願の実施例はこれらに限定されない。
【０１１８】
本出願の実施例において、目標対象の実際の位置情報および推定位置情報の決定は、同時に実行されてもよく、任意の順序で実行されてもよく、本出願の実施例はこれらに限定されない。一例において、前記目標対象が耳である場合、第２人体および第２顔に基づいて、耳の推定位置および実際の位置を取得することができるため、距離などの、推定位置と実際の位置との差に従って、第２人体と第２顔のマッチング確率情報を決定することができる。
【０１１９】
以下、第２人体および第２顔に基づいて耳の推定位置および実際の位置を得る一例を詳細に説明する。いくつかの実施例において、ステップＳ３０１において、前記第２人体に基づいて、耳の実際の位置情報を決定し、前記第２顔に基づいて、耳の推定位置情報を決定する。本出願の実施例において、様々な方式により第２人体に基づいて耳の実際の位置情報を決定することができる。一例において、クライアントによって取得された第２人体は第２人体の画像を含み、この場合、第２人体の画像に対してキーポイント検出を実行して、耳キーポイントの位置情報を取得することができ、ここで、前記耳の実際の位置情報は、耳キーポイントの位置情報を含む。別の例において、クライアントによって取得された第２人体は、第２人体の位置情報を含み、この場合、前記第２人体の位置情報に基づいて、前記第１画像から前記第２人体の画像を取得し、第２人体の画像に対してキーポイント検出を実行して、耳キーポイントの位置情報を取得することができ、または、クライアントは、他の方式により、耳の実際の位置情報を決定することもでき、本出願の実施例はこれらに限定されない。
【０１２０】
いくつかの実施例において、前記耳キーポイントの位置情報は、少なくとも１つの耳のキーポイントの位置情報を含み得、即ち、左耳キーポイントの位置情報および／または右耳キーポイントの位置情報を含み得、本出願の実施例はこれらに限定されない。いくつかの実施例において、ニューラルネットワークを介して第２人体の画像に対してキーポイントの検出を実行することができる。例えば、事前にトレーニングされたキーポイント検出モデルを介して、前記第２人体の画像を当該キーポイント検出モデルに入力することができ、当該キーポイント検出モデルは、前記第２人体における耳キーポイント情報を出力することができる。または、他のキーポイント検出アルゴリズムを介して、第２人体の画像のキーポイント情報を取得することもでき、本出願の実施例は、これらに限定されない。本出願の実施例において、クライアントは、様々な方式により前記第２顔に基づいて耳の推定位置情報を決定することができる。一方式として、第２顔の顔限定フレームの位置情報または第２顔の位置情報に基づいて、耳の推定位置情報を決定する。一可能な実現方式において、前記第２顔の中心点位置および前記第２顔のサイズ情報に基づいて、耳の推定位置情報を決定することができる。
【０１２１】
いくつかの実施例において、前記第２顔のサイズ情報は、第２顔の高さと幅を含み得る。
【０１２２】
別の可能な実施形態において、第２顔の顔限定フレームの複数の頂点の位置情報に基づいて、耳の推定位置情報を決定することができる。いくつかの実施例において、先ず、第２顔の顔限定フレームを取得し、当該顔限定フレームの情報に基づいて、顔の高さおよび幅を取得することができる。例えば、第１画像の少なくとも一部のに対して顔検出または顔追跡を実行することにより、第２顔の顔限定フレームを取得し、当該顔限定フレームの情報は、画像における複数の頂点の座標を含み、または中心点の位置および顔限定フレームの幅と高さを含むなど、当該顔限定フレームの位置情報を含み得る。一例において、顔の高さが顔限定フレームの高さと等しい可能性があり、顔の幅が顔限定フレームの幅と等しい可能性があるが、本出願の実施例はこれらに限定されない。
【０１２３】
一可能な実現方式において、ガウス分布モデルを介して前記耳の推定位置情報を決定することができ、ここで、当該耳の推定位置情報は、推定の左耳位置および／または推定の右耳位置を含み得る。
【０１２４】
例えば、耳の推定位置は式（１）で取得される。
【０１２５】
【数２】
2021520015.tif 000004
【０１２６】
ここで、
【０１２７】
【数３】
2021520015.tif 000005
【０１２８】
は、耳の推定位置パラメータであり、手動で設定されまたはトレーニングにより取得さえることができ、
【０１２９】
【数４】
2021520015.tif 000006
【０１３０】
は、第２顔の中心点位置であり、
【０１３１】
【数５】
2021520015.tif 000007
【０１３２】
は、第２顔の幅であり、
【０１３３】
【数６】
2021520015.tif 000008
【０１３４】
は第２顔の高さである。
【０１３５】
別の可能な実施形態において、ニューラルネットワークを介して耳の推定位置情報を決定することができる。この場合、第２顔の画像をニューラルネットワークに入力して処理することにより、耳の推定位置情報を取得することができるが、本出願の実施例は、これらに限定されない。
【０１３６】
クライアントは、耳の推定位置情報および実際の位置情報を決定した後に、前記耳の推定位置情報および前記耳の実際の位置情報に基づいて第１候補ペアの第１マッチング確率情報を決定する。
【０１３７】
いくつかの実施例において、前記耳の実際の位置情報に対応する位置と、前記耳の推定位置情報に対応する位置の距離を計算し、当該距離および前記ガウス分布モデルにおけるモデルパラメータに従って確率密度を取得することができ、当該確率密度は、第１候補ペアのマッチング確率として使用されることができ、または、当該確率密度を介して、第１候補ペアのマッチング確率を決定することができ、本出願の実施例はこれらに限定されない。
【０１３８】
別の例において、前記目標対象は顔である。この場合、一方式として、第２人体に基づいて、第２顔の推定位置情報を決定し、第２顔の推定位置情報および第２顔の実際の位置情報に基づいて、第１候補ペアのマッチング確率情報を決定することができる。いくつかの実施例において、前記第２人体の限定フレーム情報に基づいて、前記第２顔の中心点の推定位置情報を決定することができる。さらに、前記第２顔の位置情報に基づいて、前記第２顔の中心点の実際の位置情報を決定する。その後、第２顔の中心点の推定位置情報および第２顔の中心点の実際の位置情報に基づいて、第１候補ペアのマッチング確率情報を決定することができる。
【０１３９】
第２顔の位置情報に基づいて第２顔の中心点の実際の位置情報を決定するプロセスは、上記した実施例の説明を参照することができ、ここでは繰り返して説明しない。クライアントは、様々な方式により、第２人体の位置情報（即ち、人体限定フレームの位置情報）に従って、第２顔の中心点の推定位置情報を決定することができる。一方式として、クライアントは、前記人体限定フレームの位置情報に従って、人体限定フレームの頂点座標、人体の高さおよび人体の幅のうちの少なくとも１つを決定することができる。さらに、前記頂点座標、人体の高さおよび人体の幅のうちの少なくとも１つに従って、第２顔の中心点の推定位置情報を決定する。
【０１４０】
一例において、ガウス分布モデルを介して第２顔の中心点の推定位置を決定することができる。
【０１４１】
例えば、第２顔の中心点の推定位置は式（２）で取得される。
【０１４２】
【数７】
2021520015.tif 000009
【０１４３】
ここで、
【０１４４】
【数８】
2021520015.tif 000010
【０１４５】
は人体限定フレームの頂点座標であり、
【０１４６】
【数９】
2021520015.tif 000011
【０１４７】
および
【０１４８】
【数１０】
2021520015.tif 000012
【０１４９】
は第２顔の中心点の推定位置パラメータであり、プリセットされまたはトレーニングにより取得されることができ、
【０１５０】
【数１１】
2021520015.tif 000013
【０１５１】
は人体の幅であり、
【０１５２】
【数１２】
2021520015.tif 000014
【０１５３】
は人体の高さである。
【０１５４】
別の例において、検出された顔の検出フレームの位置情報に基づいて第２顔の中心点の推定位置情報を決定するなど、第２人体の画像に対して顔検出を実行することにより、且つ検出結果に基づいて、第２顔の中心点の推定位置情報を決定することができる。
【０１５５】
別の例において、ニューラルネットワークを介して第２顔の中心点の推定位置情報を決定することができる。この場合、第２人体の画像をニューラルネットワークに入力して処理することにより、第２顔の中心点の推定位置情報を取得することができるが、本出願の実施例は、これらに限定されない。
【０１５６】
第２顔の中心点の推定位置情報および実際の位置情報を取得した後に、それらに基づいて、第１候補ペアのマッチング確率情報を決定することができる。
【０１５７】
いくつかの実施例において、前記第１顔の中心点の推定位置および前記第１顔の中心点の実際の位置に従って二次元ガウス関数を確立することができ、それにより、確率密度を取得し、当該確率密度を第１候補ペアのマッチング確率として使用し、または、当該確率密度を介して、第１候補ペアのマッチング確率を決定することができ、本出願の実施例は、これらに限定されない。
【０１５８】
ステップＳ３０２において、前記少なくとも１つの顔および前記少なくとも１つの人体のターゲットマッチング結果を決定する一方式は、次の通りである。前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体の少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定し、ここで、当該候補マッチング結果は、前記Ｎ個の候補ペアにおけるｍ（１≦ｍ≦Ｎ）個の候補ペアを含み、当該ｍ個の候補ペアにおける２つの候補ペアごとに含まれる顔および人体はそれぞれ異なり、前記少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも１つの候補マッチング結果から、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定する。
【０１５９】
いくつかの実施例において、前記候補マッチング結果はｍ個の候補ペアのセットであり、当該セット内の候補ペアは重複せず、即ち、候補マッチング結果に含まれるｍ個の候補ペアにおける２つの候補ペアごとに含まれる顔および人体はそれぞれ異なる。即ち、候補マッチング結果は、Ｎ個の候補ペアのうち、マッチングすると仮定したｍ個の顔−人体ペアのセットである。
【０１６０】
いくつかの実施例において、前記ｍは、前記少なくとも１つの人体または前記少なくとも１つの顔の数と等しい可能性がある。または、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に基づいて、Ｎ個の候補ペアに対してフィルタリング処理を実行して、Ｍ個の候補ペアを取得し、Ｍ個の候補ペアに基づいて少なくとも１つの候補マッチング結果を取得することができ、この場合、ｍは、少なくとも１つの人体の数より小さく且つ少なくとも１つの顔の数より小さいが、本出願の実施例は、これらに限定されない。
【０１６１】
一可能な実現方式において、候補マッチング結果のマッチング確率情報を決定した後に、候補マッチング結果に含まれるｍ個の候補ペアのマッチング確率の和を当該候補マッチング結果のマッチング確率情報に対応するマッチング確率として使用することができる。
【０１６２】
例示的に、特定の候補マッチング結果には３個の候補ペアが含まれ、各候補ペアは１つのマッチング確率をそれぞれ有し、それぞれは、確率１、確率２および確率３であり、当該候補マッチング結果のマッチング確率は、当該率１、当該率２および確率３の和である。
【０１６３】
別の可能な実施形態において、ｍ個の候補ペアの加重マッチング確率の和を当該候補マッチング結果のマッチング確率として使用することができる。または、他の方式によりｍ個の候補ペアのマッチング確率を処理して、候補マッチング結果のマッチング確率を取得することもでき、例えば、候補マッチング結果のマッチング確率は、ｍ個の候補ペアのマッチング確率の平均値、最大値または最小値と等しく、本出願の実施例は、これらに限定されない。
【０１６４】
少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を取得した後に、各候補マッチング結果のマッチング確率情報に基づいて、少なくとも１つの候補マッチング結果からターゲットマッチング結果を決定することができる。一方式として、前記少なくとも１つの候補マッチング結果に、マッチング確率情報に対応する最も大きいマッチング確率候補マッチング結果を前記ターゲットマッチング結果として使用することができる。または、閾値をプリセットする方式により、少なくとも１つの候補マッチング結果からターゲットマッチング結果を決定することができ、本出願の実施例は、これらに限定されない。
【０１６５】
図３に示された例において、特に、第１画像内の顔の少なくとも過半数を分析して処理する必要がある場合に、先ず、第１画像内の少なくとも１つの顔および少なくとも１つの人体の全体的なマッチング状況を決定し、その後、全体的なマッチング状況に応じて少なくとも１つの顔における第１顔の人体マッチング状況を決定し、第１画像内の全ての顔と人体のマッチング結果を一度に取得することができ、画像処理効率を向上させることができる。
【０１６６】
他のいくつかの可能な実施形態において、第１顔と第１画像の少なくとも１つの人体における各人体のマッチング確率情報に応じて、少なくとも１つの人体から第１顔とマッチングする人体を決定することができるが、本出願の実施例は、これらに限定されない。
【０１６７】
いくつかの実施例において、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、前記方法は、前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索することとをさらに含む。
【０１６８】
いくつかの実施例において、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、前記方法は、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得することをさらに含む。
【０１６９】
いくつかの実施例において、前記方法は、前記ビデオシーケンスの人体追跡結果で前記第１画像の人体追跡情報が見つからなかったことに応答して、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得することをさらに含む。
【０１７０】
本出願の実施例で提供される別の画像処理方法は、図４に示し、当該方法の実行主体は、サーバまたは人物識別を実行可能な他の機器であり、理解を容易にするために、以下では、当該方法をサーバによって実行することを例として説明するが、本出願の実施例は、これらに限定されない。
【０１７１】
ステップＳ４０１において、第１端末機器によって送信された人物識別要求メッセージを受信し、当該人物識別要求メッセージは第１人体の画像情報を含む。
【０１７２】
一可能な実現方式において、当該第１端末機器は、上述の図１の端末機器であってもよいが、本出願の実施例は、これに限定されない。
【０１７３】
いくつかの実施例において、人物識別要求メッセージは、上記した実施例の顔検出または顔追跡に基づいて取得された第１人物識別要求メッセージであり得、または上記した実施例の人体検出または人体追跡に基づいて取得された第２人物識別要求メッセージであり得、本出願の実施例は、これらに限定されない。
【０１７４】
ステップＳ４０２において、前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定する。
【０１７５】
サーバは、人物識別要求メッセージに含まれる第１人体の画像情報に基づいて、人物識別子情報を決定する。ここで、サーバが人物識別を実行するプロセスにおいて、顔テンプレートデータベース、人体テンプレートデータベースおよび関連データベースの３つのデータベースのうちの１つまたは複数に関する可能性がある。
【０１７６】
ここで、顔テンプレートデータベースは、少なくとも１つの顔テンプレートを記憶するために使用され、顔テンプレートは、顔画像または顔の特徴情報を含み得、人物識別子（ｐｅｒｓｏｎ−ｉｄ）など、属する人物の人物識別子情報を有し、当該人物識別子は、個人を一意に識別することができる。人体テンプレートデータベースは、少なくとも１つの人体テンプレートを記憶するために使用され、人体テンプレートは、人体画像または人体の特徴情報を含み得、人体識別子（ｂｏｄｙ−ｉｄまたはＲｅ−Ｉｄ）など、属する人物の人物識別子情報を有し、当該人体識別子は、人体を一意に識別することができる。
【０１７７】
関連データベースは、顔に基づく第１人物識別子情報（例えば、人物識別子など）と人体に基づく第２人物識別子情報（例えば、人体識別子など）との間の対応関係を記憶するために使用され、または、人体に基づく第２人物識別子情報を人体識別子情報と称し、この場合、関連データベースは、人物識別子情報と人体識別子情報との間の対応関係を記憶するために使用される。例えば、関連データベースは、複数の記録を含むことができ、各記録は、１つの人体識別子および、当該人体識別子並びに対応する人物識別子を含む。
【０１７８】
なお、顔テンプレート、人体テンプレートおよび関連データベースのうちの任意の１つまたは複数は、手動で入力された顔画像に対して特徴抽出を実行することにより取得されるか、人物識別プロセス中に動的に更新されるなど、手動で入力するか、手動入力情報に基づいて取得されるものであり得、本出願の実施例は、これらに限定されない。
【０１７９】
以下、人物識別要求メッセージの異なる内容の場合のステップＳ４０２の具体的な実現を詳細に説明する。
【０１８０】
本出願の実施例で提供される別の画像処理方法は、図５に示し、ここで、当該例において、サーバによって受信された人物識別要求メッセージが第１人物識別要求メッセージであると仮定する。この場合、サーバは、ステップＳ５０１およびステップＳ５０２を通じて、顔に基づく人物識別を実行することにより、または、ステップＳ５０３を通じて人体に基づく人物識別を実行することにより、または顔に基づく人物識別および人体に基づく人物識別を組み合わせて、最後的な人物識別結果を取得することができる。
【０１８１】
ステップＳ５０１において、前記第１人体の画像情報に基づいて、前記第１人体の第１顔の画像情報を取得する。
【０１８２】
いくつかの実施例において、前記第１人体の画像情報は第１人体の画像を含む。この場合、サーバは、第１人体の画像から第１顔の画像を取得することができる。一例において、サーバは、第１人体の画像に対して顔検出を実行して、第１顔の画像を取得することができる。または、サーバは、第１顔の位置情報を取得し、第１顔の位置情報に基づいて、第１人体の画像から第１顔の画像を取得することができる。例えば、第１人物識別要求メッセージは第１顔の位置情報を含み、または、第１人物識別要求メッセージは第１顔のキーポイント情報を含むなど、本出願の実施例は、サーバが第１顔の画像を取得する具体的な実現に対して限定しない。いくつかの実施例において、第１人体の画像情報は、第１人体の画像の人体の特徴情報および／または第１人体の画像の顔の特徴情報を含む。この場合、サーバは、第１人体の画像情報に含まれる顔の特徴情報を取得することができるが、本出願の実施例は、これらに限定されない。
【０１８３】
ステップＳ５０２において、前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定する。いくつかの実施例において、サーバは、顔テンプレートデータベースに、第１顔の画像情報とマッチングする顔テンプレートが存在するかどうかを決定することができる。
【０１８４】
一可能な実現方式において、第１顔の画像情報は、第１顔の画像を含む。この場合、一例において、顔テンプレートデータベースにおける顔テンプレートが顔の特徴情報を含む場合、サーバは、前記第１顔の画像に対して特徴抽出処理を実行して、前記第１顔の特徴情報を取得することができ、第１顔の特徴情報と少なくとも１つの顔テンプレートにおける顔の特徴情報の類似度または距離に基づいて、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定する。別の例において、顔テンプレートデータベースにおける顔テンプレートが顔画像を含む場合、サーバは、第１顔の画像と、顔テンプレートデータベースに含まれる少なくとも１つの顔テンプレートの類似度に基づいて、顔テンプレートデータベースに、第１顔の画像とマッチングする顔テンプレートが存在するかどうかを決定することができる。
【０１８５】
別の可能な実施形態において、第１顔の画像情報は、第１人体の画像の顔の特徴情報を含み、それに対応して、サーバは、第１人体の画像の顔の特徴情報に基づいて顔テンプレートデータベースに第１顔の画像情報とマッチングする顔テンプレートが存在するかどうかを決定することができ、本出願の実施例は、顔テンプレートデータベースに、第１顔の画像情報とマッチングする顔テンプレートが存在するかどうかを決定する具体的な実現に対して限定しない。その後、サーバは、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することができ、ここで、一例として、第１人体が属する人物の人物識別子情報は人物識別子を含む。
【０１８６】
一例として、前記決定された結果が、顔テンプレートデータベースに、前記第１顔の画像情報とマッチングする顔テンプレートが存在することである場合、一方式として、サーバは、当該マッチングする顔テンプレートに対応する人物識別子情報を、第１人体が属する人物の人物識別子情報として決定する。
【０１８７】
いくつかの実施例において、顔テンプレートデータベースにおける各顔テンプレートのそれぞれが１つの人物身元識別子に対応するため、顔テンプレートデータベースに第１顔の画像情報とマッチングする顔テンプレートが存在すると、当該第１顔に対応する人物がサーバ端末によって記録された人物であることを表す。この場合、一方式として、サーバは、当該人物の出現回数に１をプラスしたり、時間情報、位置情報、対応するカメラ情報、収集された画像などの１つまたは複数など、当該人物の今回の出現情報を記憶したりすることができ、本出願の実施例は、これらに限定されない。
【０１８８】
別の例として、前記決定された結果が、顔テンプレートデータベースに、前記第１顔の画像情報とマッチングする顔テンプレートが存在しないことである場合、一方式として、サーバは、人物識別子を追加するなど、人物識別子情報を新しく追加し、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することができる。
【０１８９】
顔テンプレートデータベースに、第１顔の特徴情報とマッチングする顔テンプレートが存在しない場合、サーバは、当該第１顔が属する人物が新規人物であることを確認し、当該新規人物に対して、新しく追加された人物識別子情報を割り当てることができる。
【０１９０】
いくつかの実施例において、サーバは、当該新規人物に対して人物識別子情報を割り当てた後に、当該新しく追加された人物識別子情報および前記第１顔の画像情報を前記顔テンプレートデータベースに追加することができ、ここで、一方式として、当該新しく追加された人物識別子情報と前記第１顔の画像情報は、１つの新しいレコードとして顔テンプレートデータベースに入力されることができ、それにより、当該新しく追加された人物識別子情報と第１顔の画像情報との間の対応関係を確立する。または、サーバは、第１顔の画像情報を顔テンプレートデータベースに追加し、第１顔の画像情報と新しく追加された人物識別子情報との間の対応関係を記録することもできる。
【０１９１】
ステップＳ５０３において、第１人体の画像情報および人体テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定する。
【０１９２】
いくつかの実施例において、前記第１人体の画像情報は第１人体の画像を含む。この場合、一例において、人体テンプレートデータベースにおける人体テンプレートは人体の特徴情報を含み、サーバは、前記第１人体の画像に対して特徴抽出処理を実行して、前記第１人体の特徴情報を取得し、第１人体の特徴情報と少なくとも１つの人体テンプレートにおける人体の特徴情報の類似度または距離に基づいて、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定することができる。
【０１９３】
別の例において、人体テンプレートデータベースにおける人体テンプレートは人体画像を含み、サーバは、第１人体の画像と、人体テンプレートデータベースに含まれる少なくとも１つの人体テンプレートの類似度に基づいて、人体テンプレートデータベースに、第１人体の画像とマッチングする人体テンプレートが存在するかどうかを決定することができる。
【０１９４】
別の可能な実現方式において、第１人体の画像情報は、第１人体の画像の人体の特徴情報を含み、それに対応して、サーバは、第１人体の画像の人体の特徴情報に基づいて人体テンプレートデータベースに第１人体の画像情報とマッチングする人体テンプレートが存在するかどうかを決定することができ、本出願の実施例は、人体テンプレートデータベースに第１人体の画像情報とマッチングする人体テンプレートが存在するかどうかを決定する具体的な実現に対して限定しない。
【０１９５】
その後、サーバは、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することができ、ここで、一例として、第１人体が属する人物の人物識別子情報は人体識別子を含む。
【０１９６】
一例として、前記決定された結果が、人体テンプレートデータベースに前記第１人体の画像情報とマッチングする人体テンプレートが存在することである場合、一方式として、サーバは、当該マッチングする人体テンプレートに対応する第２人物識別子情報を、第１人体が属する人物の人物識別子情報として決定する。または、サーバは、関連データベースにおいて当該マッチングする人体テンプレートに対応する第２人物識別子情報に対応する第１人物識別子情報を照会し、照会して取得した当該第１人物識別子情報を、当該第１人体が属する人物の人物識別子情報として決定することもできる。
【０１９７】
いくつかの実施例において、人体テンプレートデータベースにおける各人体テンプレートのそれぞれは、１つの人体識別子に対応し、したがって、人体テンプレートデータベースに、第１人体の画像情報とマッチングする人体テンプレートが存在すると、当該第１人体がサーバ端末によって記憶された人体であることを表す。この場合、一方式として、サーバは、当該人体の出現回数に１をプラスしたり、時間情報、位置情報、対応するカメラ情報、収集された画像などの１つまたは複数など、当該人体の今回の出現情報を記憶したりすることができ、本出願の実施例は、これらに限定されない。
【０１９８】
別の例として、前記決定された結果が、人体テンプレートデータベースに前記第１人体の画像情報とマッチングする人体テンプレートが存在しないことである場合、一方式として、サーバは、人体識別子を新しく追加するなど、第２人物識別子情報または人体識別子情報を新しく追加し、新しく追加された第２人物識別子情報を、前記第１人体が属する人物の人物識別子情報として決定することができる。人体テンプレートデータベースに第１人体の特徴情報とマッチングする人体テンプレートが存在しない場合、サーバは、当該第１人体が属するが新規人物であることを確認し、当該新規人物に対して、新しく追加された人物識別子情報を割り当てることができる。
【０１９９】
いくつかの実施例において、サーバは、当該新規人物に対して第２人物識別子情報を割り当てた後に、当該新しく追加された第２人物識別子情報および前記第１人体の画像情報を前記人体テンプレートデータベースに追加することができ、ここで、一方式として、当該新しく追加された人物識別子情報と前記第１人体の画像情報は、１つの新しいレコードとして人体テンプレートデータベースに入力されることができ、それにより、当該新しく追加された第２人物識別子情報と第１人体の画像情報との間の対応関係を確立する。または、サーバは、第１人体の画像情報を人体テンプレートデータベースに追加し、第１人体の画像情報と、新しく追加された第２人物識別子情報との間の対応関係を記録することもできる。
【０２００】
別の可能な実現方式において、サーバは、顔に基づく人物識別および人体に基づく人物識別を実行して、顔に基づく第１人物識別子情報（例えば、人物識別子など）および人体に基づく第２人物識別子情報（例えば、人体識別子など）を取得した後に、第１人物識別子情報と第２人物識別子情報との間の対応関係を確立し、第１人物識別子情報と第２人物識別子情報との間の対応関係を関連データベースに追加するが、本出願の実施例は、これらに限定されない。いくつかの実施例において、前記第１人物識別要求メッセージは、検出フレーム識別子情報または追跡識別子情報など、前記第１人体の第１顔の識別子情報をさらに含み得る。サーバは、第１顔の検出フレーム情報または第１顔の追跡識別子情報に従って、さらなる身元識別や客の流れの分析などを実行することができる。
【０２０１】
本出願の実施例で提供される別の画像処理方法は、図６に示し、ここで、この例において、サーバによって受信された人物識別要求メッセージが第２人物識別要求メッセージであると仮定する。
【０２０２】
ステップＳ６０１において、前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報（または第２人物識別子情報）を決定する。この方式において、サーバは、第１人体の画像情報および人体テンプレートデータベースに基づいて、第１人体の人体識別子情報または第２人物識別子情報を決定することができる。ステップＳ６０２において、前記第１人体の人体識別子情報（または第２人物識別子情報）に基づいて、前記第１人体が属する人物の人物識別子情報を決定する。
【０２０３】
いくつかの実施例において、第１人体の人体識別子情報を決定した後に、サーバは、関連データベースに、前記第１人体の人体識別子情報とマッチングする関連関係が存在するかどうかを決定する方式により、第１人体が属する人物の人物識別子情報を決定することができ、ここで、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも１つの関連関係を記憶するために使用される。前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得する。
【０２０４】
いくつかの実施例において、前記関連データベースに、前記第１人体の人体識別子情報とマッチングする関連関係が存在する場合、サーバは、当該マッチングする関連関係における人物識別子情報（または第１人物識別子情報と称する）を、前記第１人体が属する人物の人物識別子情報として決定する。関連データベースに、第１人体の人体識別子とマッチングする関連関係が存在する場合、当該第１人体が属する人物の人物がサーバに記憶された人物であることを説明し、サーバは、第１人体の人体識別子に対応する人物身元識別子に対応する人物が第１人体が属する人物であることを決定することができる。いくつかの実施例において、関連データベースに、前記第１人体の人体識別子情報とマッチングする関連関係が存在しない場合、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定する。関連データベースに、第１人体の人体識別子情報とマッチングする関連関係が存在しない場合、サーバは、当該第１人体が属する人物が新規人物であることを確認することができ、当該新規人物は、新しく追加された人物識別子情報に対応することができる。
【０２０５】
上述の各実施例については、一方式として、サーバが第１人体の人物識別子情報を決定した後に、前記第１人体が属する人物の人物識別子情報を第２端末機器に送信することができ、第２端末機器は、特定の業者が所有する端末機器などであってもよく、第２端末機器は、第１人体が属する人物の人物識別子情報に基づいて、客の流れの統計、顧客識別、顧客の訪問回数の統計などの処理を実行することができ、本出願の実施例は、これらに対して限定しない。
【０２０６】
別の実施例では、サーバによって受信されたメッセージが顔のみを含む場合、前記顔テンプレートデータベースに従って当該顔に対して識別処理を実行することができる。いくつかの実施例において、サーバは、当該顔と、顔テンプレートデータベースにおける顔テンプレートとのマッチング処理を実行し、前記決定された結果に従って識別することができる。いくつかの実施例において、顔テンプレートデータベースに、前記顔とマッチングする顔テンプレートが存在する場合、サーバは、当該顔が属する人物の人物識別子情報が、当該マッチングする顔テンプレートに対応する人物識別子情報であることを決定することができる。いくつかの実施例において、顔テンプレートデータベースに、前記顔とマッチングする顔テンプレートが存在しない場合、サーバは、前記顔の特徴情報を顔テンプレートデータベースに追加し、当該顔が属する人物の人物識別子情報を割り当てることができる。
【０２０７】
本出願の実施例で提供される画像処理装置は、図７に示し、当該装置は、第１画像を処理して、前記第１画像内の第１顔を取得するように構成される取得モジュール７０１と、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される第１決定モジュール７０２と、前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信するように構成される送信モジュール７０３とを備える。
【０２０８】
別の実施例では、送信モジュール７０３は、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成され、ここで、前記第１人体の画像情報は、前記サーバが人物識別を実行するために使用される。
【０２０９】
本出願の実施例で提供される別の画像処理装置は、図８に示し、当該装置は、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画質に従って、前記第１人物識別要求メッセージが前記第１人体の画像情報を含むかどうかを決定するように構成される第２決定モジュール７０４をさらに備える。
【０２１０】
別の実施例では、送信モジュール７０３は、前記第１人体の画質が品質要件を満たすことに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成される。
【０２１１】
別の実施例では、前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、完全な顔を含むかどうかのことうちの少なくとも１つを含む。
【０２１２】
別の実施例では、送信モジュール７０３は、前記第１人体の画質が品質要件を満たさないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成され、ここで、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用される。
【０２１３】
別の実施例では、前記第１人物識別要求メッセージは、前記第１顔の追跡識別子情報または第１顔の検出フレーム識別子情報をさらに含む。別の実施例では、前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、ここで、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む。
【０２１４】
本出願の実施例で提供される別の画像処理装置は、図９に示し、当該装置は、前記第１顔の画像情報を前記第１人体の画像情報に置き換えて人物識別を実行することを決定するように構成される第３決定モジュール７０５をさらに備える。
【０２１５】
別の実施例では、送信モジュール７０３は、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在しないことに応答して、前記第１顔の画像情報を含む第１人物識別要求メッセージを前記サーバに送信するように構成され、ここで、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用される。
【０２１６】
別の実施例では、第１決定モジュール７０２は、前記第１画像の少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される。
【０２１７】
別の実施例では、第１決定モジュール７０２は、前記第１画像に対応する少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定し、ここで、前記候補ペアは、前記少なくとも１つの顔のうちの１つの顔および前記少なくとも１つの人体のうちの１つの人体を含み、前記少なくとも１つの顔は前記第１顔を含み、前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定し、前記ターゲットマッチング結果に基づいて、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される。
【０２１８】
別の実施例では、第１決定モジュール７０２は、第１候補ペアに含まれる第２人体および前記第１候補ペアに含まれる第２顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定し、ここで、前記Ｎ個の候補ペアは前記第１候補ペアを含み、前記目標対象は人体の一部であり、前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第１候補ペアのマッチング確率情報を決定するように構成される。
【０２１９】
別の実施例では、前記目標対象は、耳および顔のうちの少なくとも１つを含む。
【０２２０】
別の実施例では、第１決定モジュール７０２は、前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体の少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定し、ここで、前記候補マッチング結果は、前記Ｎ個の候補ペアにおけるｍ（１≦ｍ≦Ｎ）個の候補ペアを含み、前記ｍ個の候補ペアにおける２つの候補ペアごとに含まれる顔および人体はそれぞれ異なり、前記少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも１つの候補マッチング結果から、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定するように構成される。
【０２２１】
別の実施例では、第１決定モジュール７０２は、前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、人体追跡結果を取得し、ここで、前記人体追跡結果は、前記ビデオシーケンスのうちの少なくとも１つの画像の人体追跡情報を含み、前記ビデオシーケンスの少なくとも一部の画像の顔追跡結果に、前記第１画像のフレーム番号に対応する人体追跡情報に基づいて、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される。別の実施例では、第１決定モジュール７０２は、前記人体追跡結果に、前記第１画像のフレーム番号に対応する人体追跡情報が存在しないことに応答して、前記第１画像に対して人体検出を実行することにより取得された少なくとも１つの人体から、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される。
【０２２２】
別の実施例では、当該装置は、前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得するように構成される人体追跡モジュールと、前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索するように構成される追跡情報検索モジュールとをさらに備える。
【０２２３】
別の実施例では、当該装置は、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得するように構成される人体検出モジュールをさらに備える。
【０２２４】
別の実施例では、当該装置は、前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得するように構成される人体追跡モジュールと、前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索するように構成される追跡情報検索モジュールとをさらに備える。
【０２２５】
別の実施例では、当該装置は、前記ビデオシーケンスの人体追跡結果で前記第１画像の人体追跡情報が見つからなかったことに応答して、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得するように構成される人体検出モジュールをさらに備える。
【０２２６】
別の実施例では、取得モジュール７０１は、前記第１画像に対して顔追跡を実行して、前記第１画像内の第１顔を取得するように構成される。
【０２２７】
本出願の実施例で提供される別の画像処理装置は、図１０に示し、前記装置は、前記第１画像に対して人体追跡を実行して、前記第１画像内の第３人体を取得するように構成される追跡モジュール７０６をさらに備える。送信モジュール７０３は、さらに、第２人物識別要求メッセージを前記サーバに送信するように構成され、前記第２人物識別要求メッセージは、前記第３人体の画像情報および前記第３人体の追跡識別子情報を含む。
【０２２８】
本出願の実施例で提供される別の画像処理装置は、図１１に示し、前記装置は、ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択するように構成される選択モジュール７０７をさらに備える。別の実施例では、選択モジュール７０７は、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択するように構成される。
【０２２９】
本出願の実施例で提供される別の画像処理装置は、図１２に示し、当該装置は、第１端末機器によって送信された人物識別要求メッセージを受信するように構成される受信モジュール１２０１であって、前記人物識別要求メッセージは第１人体の画像情報を含む受信モジュール１２０１と、前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される決定モジュール１２０２とを備える。
【０２３０】
別の実施例では、前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、ここで、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む。
【０２３１】
本出願の実施例は、別の画像処理装置を提供し、図１３に示されたように、決定モジュール１２０２は、前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得するように構成される第１決定ユニット１２０２１と、前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される第２決定ユニット１２０２２であって、前記顔テンプレートデータベースは、少なくとも１つの顔テンプレートを記憶する第２決定ユニット１２０２２とを備える。
【０２３２】
別の実施例では、第１決定ユニット１２０２１は、前記第１人体の画像から第１顔の画像を取得するように構成される。別の実施例では、第２決定ユニット１２０２２は、前記第１顔の画像に対して特徴抽出処理を実行して、前記第１顔の特徴情報を取得し、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定し、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得するように構成される。別の実施例では、第２決定ユニット１２０２２は、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される。別の実施例では、第２決定ユニット１２０２２は、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される。
【０２３３】
本出願の実施例で提供される別の画像処理装置は、図１４に示し、当該装置は、前記新しく追加された人物識別子情報および前記第１顔の情報（例えば、第１顔の特徴情報など）を新しい顔テンプレートとして前記顔テンプレートデータベースに追加するように構成される第１追加モジュール１２０３をさらに備える。別の実施例では、前記人物識別要求メッセージは、前記第１人体の第１顔の検出フレーム識別子情報または追跡識別子情報をさらに含む。
【０２３４】
本出願の実施例で提供される別の画像処理装置は、図１５に示し、決定モジュール１２０２は、前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定するように構成される第３決定ユニット１２０２３と、前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される第４決定ユニット１２０２４とをさらに含む。
【０２３５】
別の実施例では、第３決定ユニット１２０２３は、前記第１人体の画像に対して特徴抽出を実行して、前記第１人体の特徴情報を取得し、人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定し、ここで、前記人体テンプレートデータベースは、少なくとも１つの人体テンプレートを記憶し、前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得するように構成される。別の実施例では、第３決定ユニット１２０２３は、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第１人体の人体識別子情報として決定するように構成される。別の実施例では、第３決定ユニット１２０２３は、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、追加される人体識別子情報を前記第１人体の人体識別子情報として決定するように構成される。
【０２３６】
本出願の実施例で提供される別の画像処理装置は、図１６に示し、当該装置は、前記追加される人体識別子情報および前記第１人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加するように構成される第２追加モジュール１２０４をさらに備える。
【０２３７】
本出願の実施例は、別の画像処理装置を提供し、図１７に示し、当該装置は、前記第１人体の人体識別子情報および前記第１人体が属する人物の人物識別子情報と、前記第１人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加するように構成される第３追加モジュール１２０５をさらに備える。
【０２３８】
別の実施例では、前記人物識別要求メッセージは、前記第１人体の追跡識別子情報または前記第１人体の検出フレーム識別子情報をさらに含む。別の実施例では、第４決定ユニット１２０２４は、関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在するかどうかを決定し、ここで、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも１つの関連関係を記憶するために使用され、前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得するように構成される。別の実施例では、第４決定ユニット１２０２４は、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される。別の実施例では、第４決定ユニット１２０２４は、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される。
【０２３９】
本出願の実施例で提供される別の画像処理装置は、図１８に示し、当該装置は、前記第１人体が属する人物の人物識別子情報を第２端末機器に送信するように構成される送信モジュール１２０６をさらに備える。別の実施例では、前記人物識別要求メッセージは、前記第１端末機器がビデオシーケンスのうちの少なくとも１つの画像に対して顔追跡を実行することに基づいて取得される。
【０２４０】
本出願の実施例で提供される端末機器は、図１９に示し、当該端末機器１９００は、プログラム命令を記憶するように構成されるメモリ１９０１と、メモリ１９０１のプログラム命令を呼び出して実行して、上記した方法の実施例における、クライアントによって実行される方法のステップを実行するように構成されるプロセッサ１９０２とを含む。
【０２４１】
本出願の実施例で提供されるサーバは、図２０に示し、当該サーバ２０００は、プログラム命令を記憶するように構成されるメモリ２００２と、メモリ２００２プログラム命令を呼び出して実行して、上記した方法の実施例における、サーバによって実行される方法のステップを実行するように構成されるプロセッサ２００１とを含む。
【０２４２】
本出願の実施例で提供される画像処理システムは、図２１に示し、当該システム２１００は、通信接続するカメラ１８００、端末機器１９００およびサーバ２０００を含む。実施プロセスでは、ビデオ画像をカメラ１８００を介してリアルタイムで撮影して、端末機器１９００に送信し、端末機器は、ビデオ画像従って追跡やマッチングなどの処理を実行して、人体情報および顔情報を取得し、情報をサーバ２０００に送信するため、サーバは、受信された情報に従って識別処理を実行する。
【０２４３】
当業者は、上述の各方法の実施例のステップの全てまたは一部を実現するには、プログラム命令に関するハードウェアを介して完了させることができることを理解することができる。前述のプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。当該プログラムが実行されるとき、上記の各方法の実施例のステップを実行し、前記記憶媒体は、ＲＯＭ、ＲＡＭ、磁気メモリまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。最後に留意されたいことは、以上の各実施例は、本出願の技術的解決策を説明するのみに使用され、それらを限定することではない。上記した各実施例を参照して本出願を詳細に説明しているが、当業者は、依然として、上記した各実施例で説明された技術的解決策を修正し、またはその中の技術的特徴の一部または全てに対して同等の置換を実行することができ、これらの修正または置換は、対応する技術的解決策の本質が本出願の各実施例の技術的解決策の範囲を超えるようにするものではないことを理解するはずである。
【図１】
2021520015.tif 000015
【図２】
2021520015.tif 000016
【図３】
2021520015.tif 000017
【図４】
2021520015.tif 000018
【図５】
2021520015.tif 000019
【図６】
2021520015.tif 000020
【図７】
2021520015.tif 000021
【図８】
2021520015.tif 000022
【図９】
2021520015.tif 000023
【図１０】
2021520015.tif 000024
【図１１】
2021520015.tif 000025
【図１２】
2021520015.tif 000026
【図１３】
2021520015.tif 000027
【図１４】
2021520015.tif 000028
【図１５】
2021520015.tif 000029
【図１６】
2021520015.tif 000030
【図１７】
2021520015.tif 000031
【図１８】
2021520015.tif 000032
【図１９】
2021520015.tif 000033
【図２０】
2021520015.tif 000034
【図２１】
2021520015.tif 000035
【手続補正書】
【提出日】令和2年10月28日(2020.10.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像処理方法であって、
第１画像を処理して、前記第１画像内の第１顔を取得することと、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することと、
前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することとを含む、前記画像処理方法。
【請求項２】
前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することは、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１人体の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
請求項１に記載の画像処理方法。
【請求項３】
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在すること、且つ前記第１人体の画質が品質要件を満たすことに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することをさらに含む、
請求項１または２に記載の画像処理方法。
【請求項４】
前記第１人物識別要求メッセージは、前記第１顔の識別子情報をさらに含む、
請求項１ないし３のいずれか一項に記載の画像処理方法。
【請求項５】
前記決定された結果に従って、前記第１人物識別要求メッセージを前記サーバに送信することは、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在しないことに応答して、または、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在し且つ前記第１人体の画質が品質要件を満たさないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
請求項１ないし４のいずれか一項に記載の画像処理方法。
【請求項６】
前記第１画像の少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することは、
前記第１画像に対応する少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定することであって、前記候補ペアは、前記少なくとも１つの顔のうちの１つの顔および前記少なくとも１つの人体のうちの１つの人体を含み、前記少なくとも１つの顔は前記第１顔を含むことと、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することと、
前記ターゲットマッチング結果に基づいて、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することとを含む、
請求項１ないし５のいずれか一項に記載の画像処理方法。
【請求項７】
前記少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定することは、
第１候補ペアに含まれる第２人体および前記第１候補ペアに含まれる第２顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定することであって、前記Ｎ個の候補ペアは前記第１候補ペアを含み、前記目標対象は人体の一部であることと、
前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第１候補ペアのマッチング確率情報を決定することとを含む、
請求項６に記載の画像処理方法。
【請求項８】
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することは、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体の少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定することであって、前記候補マッチング結果は、前記Ｎ個の候補ペアにおけるｍ（１≦ｍ≦Ｎ）個の候補ペアを含み、前記ｍ個の候補ペアにおける２つの候補ペアごとに含まれる顔および人体はそれぞれ異なることと、
前記少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも１つの候補マッチング結果から、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することとを含む、
請求項６または７に記載の画像処理方法。
【請求項９】
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、
前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、
前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索することとをさらに含む、
請求項１ないし８のいずれか一項に記載の画像処理方法。
【請求項１０】
前記ビデオシーケンスの人体追跡結果で前記第１画像の人体追跡情報が見つからなかったことに応答して、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得することをさらに含む、
請求項９に記載の画像処理方法。
【請求項１１】
画像処理方法であって、
第１端末機器によって送信された人物識別要求メッセージを受信することであって、前記人物識別要求メッセージは第１人体の画像情報を含むことと、
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することとを含む、前記画像処理方法。
【請求項１２】
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得することと、
前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定することであって、前記顔テンプレートデータベースは、少なくとも１つの顔テンプレートを記憶することとを含む、
請求項１１に記載の画像処理方法。
【請求項１３】
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定することと、
前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することとを含む、
請求項１１または１２に記載の画像処理方法。
【請求項１４】
前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在するかどうかを決定することであって、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも１つの関連関係を記憶するために使用されることと、
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することとを含む、
請求項１３に記載の画像処理方法。
【請求項１５】
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定すること、
および／または、
前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第１体が属する人物の人物識別子情報として決定することを含む、
請求項１４に記載の画像処理方法。
【請求項１６】
端末機器であって、
プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、請求項１ないし１０のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記端末機器。
【請求項１７】
サーバであって、
プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、請求項１１ないし１５のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記サーバ。
【請求項１８】
読み取り可能な記憶媒体であって、
コンピュータプログラムが記憶され、前記コンピュータプログラムは、請求項１ないし１０のいずれか一項に記載の方法または請求項１１ないし１５のいずれか一項に記載の方法を実行するように構成される、前記読み取り可能な記憶媒体。
【請求項１９】
コンピュータ可読記憶媒体に記憶され、コンピュータ可読コードを含むコンピュータプログラム製品であって、
前記コンピュータ可読コードが機器で実行される時に、前記機器内のプロセッサは、請求項１ないし１０のいずれか一項に記載の方法または請求項１１ないし１５のいずれか一項に記載の方法を実現するための命令を実行するように構成される、前記コンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
第８態様によれば、読み取り可能な記憶媒体を提供し、前記読み取り可能な記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは、上述の第１態様または第２態様に記載の方法を実行するために使用される。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
画像処理方法であって、
第１画像を処理して、前記第１画像内の第１顔を取得することと、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することと、
前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することとを含む、前記画像処理方法。
（項目２）
前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信することは、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１人体の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
項目１に記載の画像処理方法。
（項目３）
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画質に従って、前記第１人物識別要求メッセージが前記第１人体の画像情報を含むかどうかを決定することをさらに含む、
項目２に記載の画像処理方法。
（項目４）
前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することは、前記第１人体の画質が品質要件を満たすことに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することを含む、
項目２または３に記載の画像処理方法。
（項目５）
前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも１つを含む、
項目４に記載の画像処理方法。
（項目６）
前記第１人体の画質が品質要件を満たさないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用されることをさらに含む、
項目２ないし５のいずれか一項に記載の画像処理方法。
（項目７）
前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、
前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む、
項目２ないし６のいずれか一項に記載の画像処理方法。
（項目８）
前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信する前に、
前記第１顔の画像情報を前記第１人体の画像情報に置き換えて人物識別を実行することを決定することをさらに含む、
項目２ないし７のいずれか一項に記載の画像処理方法。
（項目９）
前記第１人物識別要求メッセージは、前記第１顔の識別子情報をさらに含む、
項目１ないし８のいずれか一項に記載の画像処理方法。
（項目１０）
前記決定された結果に従って、前記第１人物識別要求メッセージを前記サーバに送信することは、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在しないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信することであって、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
項目１ないし９のいずれか一項に記載の画像処理方法。
（項目１１）
前記第１画像の少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することは、
前記第１画像に対応する少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定することであって、前記候補ペアは、前記少なくとも１つの顔のうちの１つの顔および前記少なくとも１つの人体のうちの１つの人体を含み、前記少なくとも１つの顔は前記第１顔を含むことと、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することと、
前記ターゲットマッチング結果に基づいて、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定することとを含む、
項目１ないし１０のいずれか一項に記載の画像処理方法。
（項目１２）
前記少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定することは、
第１候補ペアに含まれる第２人体および前記第１候補ペアに含まれる第２顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定することであって、前記Ｎ個の候補ペアは前記第１候補ペアを含み、前記目標対象は人体の一部であることと、
前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第１候補ペアのマッチング確率情報を決定することとを含む、
項目１１に記載の画像処理方法。
（項目１３）
前記目標対象は、耳および顔のうちの少なくとも１つを含む、
項目１２に記載の画像処理方法。
（項目１４）
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することは、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体の少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定することであって、前記候補マッチング結果は、前記Ｎ個の候補ペアにおけるｍ（１≦ｍ≦Ｎ）個の候補ペアを含み、前記ｍ個の候補ペアにおける２つの候補ペアごとに含まれる顔および人体はそれぞれ異なることと、
前記少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも１つの候補マッチング結果から、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定することとを含む、
項目１１ないし１３のいずれか一項に記載の画像処理方法。
（項目１５）
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、
前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得することをさらに含む、
項目１ないし１４のいずれか一項に記載の画像処理方法。
（項目１６）
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定する前に、
前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、
前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索することとをさらに含む、
項目１ないし１５のいずれか一項に記載の画像処理方法。
（項目１７）
前記ビデオシーケンスの人体追跡結果で前記第１画像の人体追跡情報が見つからなかったことに応答して、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得することをさらに含む、
項目１６に記載の画像処理方法。
（項目１８）
前記第１画像を処理して、前記第１画像内の第１顔を取得することは、
前記第１画像に対して顔追跡を実行して、前記第１画像内の第１顔を取得することを含む、
項目１ないし１７のいずれか一項に記載の画像処理方法。
（項目１９）
前記第１画像に対して人体追跡を実行して、前記第１画像内の第３人体を取得することと、
第２人物識別要求メッセージを前記サーバに送信することであって、前記第２人物識別要求メッセージは、前記第３人体の画像情報および前記第３人体の追跡識別子情報を含むこととをさらに含む、
項目１ないし１８のいずれか一項に記載の画像処理方法。
（項目２０）
前記第１画像を処理して、前記第１画像内の第１顔を取得する前に、
ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択することをさらに含む、
項目１ないし１９のいずれか一項に記載の画像処理方法。
（項目２１）
前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択することは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択することを含む、
項目２０に記載の画像処理方法。
（項目２２）
画像処理方法であって、
第１端末機器によって送信された人物識別要求メッセージを受信することであって、前記人物識別要求メッセージは第１人体の画像情報を含むことと、
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することとを含む、前記画像処理方法。
（項目２３）
前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、
前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む、
項目２２に記載の画像処理方法。
（項目２４）
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得することと、
前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定することであって、前記顔テンプレートデータベースは、少なくとも１つの顔テンプレートを記憶することとを含む、
項目２２または２３に記載の画像処理方法。
（項目２５）
前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得することは、
前記第１人体の画像から第１顔の画像を取得することを含む、
項目２４に記載の画像処理方法。
（項目２６）
前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
前記第１顔の画像に対して特徴抽出処理を実行して、前記第１顔の特徴情報を取得することと、
前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定することと、
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することとを含む、
項目２４または２５に記載の画像処理方法。
（項目２７）
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む、
項目２６に記載の画像処理方法。
（項目２８）
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む、
項目２６または２７に記載の画像処理方法。
（項目２９）
前記新しく追加された人物識別子情報および前記第１顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加することをさらに含む、
項目２８に記載の画像処理方法。
（項目３０）
前記人物識別要求メッセージは、前記第１人体の第１顔の検出フレーム識別子情報または追跡識別子情報をさらに含む、
項目２２ないし２９のいずれか一項に記載の画像処理方法。
（項目３１）
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定することと、
前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することとを含む、
項目２２ないし３０のいずれか一項に記載の画像処理方法。
（項目３２）
前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定することは、
前記第１人体の画像に対して特徴抽出を実行して、前記第１人体の特徴情報を取得することと、
人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定することであって、前記人体テンプレートデータベースは、少なくとも１つの人体テンプレートを記憶することと、
前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得することとを含む、
項目３１に記載の画像処理方法。
（項目３３）
前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第１人体の人体識別子情報として決定することを含む、
項目３２に記載の画像処理方法。
（項目３４）
前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、追加される人体識別子情報を前記第１人体の人体識別子情報として決定することを含む、
項目３２または３３に記載の画像処理方法。
（項目３５）
前記追加される人体識別子情報および前記第１人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加することをさらに含む、
項目３４に記載の画像処理方法。
（項目３６）
前記第１人体の人体識別子情報および前記第１人体が属する人物の人物識別子情報と、前記第１人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加することをさらに含む、
項目３５に記載の画像処理方法。
（項目３７）
前記人物識別要求メッセージは、前記第１人体の追跡識別子情報または前記第１人体の検出フレーム識別子情報をさらに含む、
項目３１ないし３６のいずれか一項に記載の画像処理方法。
（項目３８）
前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定することは、
関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在するかどうかを決定することであって、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも１つの関連関係を記憶するために使用されることと、
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することとを含む、
項目３１ないし３７のいずれか一項に記載の画像処理方法。
（項目３９）
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定することを含む、
項目３８に記載の画像処理方法。
（項目４０）
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第１体が属する人物の人物識別子情報として決定することを含む、
項目３８に記載の画像処理方法。
（項目４１）
前記第１人体が属する人物の人物識別子情報を第２端末機器に送信することをさらに含む、
項目３１ないし４０のいずれか一項に記載の画像処理方法。
（項目４２）
前記人物識別要求メッセージは、前記第１端末機器がビデオシーケンスのうちの少なくとも１つの画像に対して顔追跡を実行することに基づいて取得される、
項目２２ないし４１のいずれか一項に記載の画像処理方法。
（項目４３）
画像処理装置であって、
第１画像を処理して、前記第１画像内の第１顔を取得するように構成される取得モジュールと、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される第１決定モジュールと、
前記決定された結果に従って、第１人物識別要求メッセージをサーバに送信するように構成される送信モジュールとを備える、前記画像処理装置。
（項目４４）
前記送信モジュールは、
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成され、前記第１人体の画像情報は、前記サーバが人物識別を実行するために使用される、
項目４３に記載の画像処理装置。
（項目４５）
前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする第１人体が存在することに応答して、前記第１人体の画質に従って、前記第１人物識別要求メッセージが前記第１人体の画像情報を含むかどうかを決定するように構成される第２決定モジュールをさらに備える、
項目４４に記載の画像処理装置。
（項目４６）
前記送信モジュールは、前記第１人体の画質が品質要件を満たすことに応答して、前記第１人体の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成される、
項目４４または４５に記載の画像処理装置。
（項目４７）
前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも１つを含む、
項目４６に記載の画像処理装置。
（項目４８）
前記送信モジュールは、前記第１人体の画質が品質要件を満たさないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成され、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用される、
項目４４ないし４７のいずれか一項に記載の画像処理装置。
（項目４９）
前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、
前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む、
項目４４ないし４８のいずれか一項に記載の画像処理装置。
（項目５０）
前記装置は、前記第１顔の画像情報を前記第１人体の画像情報に置き換えて人物識別を実行することを決定するように構成される第２決定モジュールをさらに備える、
項目４４ないし４９のいずれか一項に記載の画像処理装置。
（項目５１）
前記第１人物識別要求メッセージは、前記第１顔の識別子情報をさらに含む、
項目４３ないし５０のいずれか一項に記載の画像処理装置。
（項目５２）
前記送信モジュールは、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在しないことに応答して、前記第１顔の画像情報を含む前記第１人物識別要求メッセージを前記サーバに送信するように構成され、前記第１顔の画像情報は、前記サーバが人物識別を実行するために使用される、
項目４３ないし５０のいずれか一項に記載の画像処理装置。
（項目５３）
前記第１決定モジュールは、
前記第１画像に対応する少なくとも１つの顔および前記少なくとも１つの人体に従って、Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報を決定し、前記候補ペアは、前記少なくとも１つの顔のうちの１つの顔および前記少なくとも１つの人体のうちの１つの人体を含み、前記少なくとも１つの顔は前記第１顔を含み、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定し、
前記ターゲットマッチング結果に基づいて、前記第１画像に対応する少なくとも１つの人体のうち、前記第１顔とマッチングする人体が存在するかどうかを決定するように構成される、
項目４３ないし５２のいずれか一項に記載の画像処理装置。
（項目５４）
前記第１決定モジュールは、
第１候補ペアに含まれる第２人体および前記第１候補ペアに含まれる第２顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定し、前記Ｎ個の候補ペアは前記第１候補ペアを含み、前記目標対象は人体の一部であり、
前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第１候補ペアのマッチング確率情報を決定するように構成される、
項目５３に記載の画像処理装置。
（項目５５）
前記目標対象は、耳および顔のうちの少なくとも１つを含む、
項目５４に記載の画像処理装置。
（項目５６）
前記第１決定モジュールは、
前記Ｎ個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも１つの顔と前記少なくとも１つの人体の少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定し、前記候補マッチング結果は、前記Ｎ個の候補ペアにおけるｍ（１≦ｍ≦Ｎ）個の候補ペアを含み、前記ｍ個の候補ペアにおける２つの候補ペアごとに含まれる顔および人体はそれぞれ異なり、
前記少なくとも１つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも１つの候補マッチング結果から、前記少なくとも１つの顔と前記少なくとも１つの人体のターゲットマッチング結果を決定するように構成される、
項目５３ないし５５のいずれか一項に記載の画像処理装置。
（項目５７）
前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得するように構成される人体検出モジュールをさらに備える、
項目４３ないし５６のいずれか一項に記載の画像処理装置。
（項目５８）
前記第１画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得するように構成される人体追跡モジュールと、
前記第１画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第１画像の人体追跡情報を検索するように構成される追跡情報検索モジュールとをさらに備える、
項目４３ないし５７のいずれか一項に記載の画像処理装置。
（項目５９）
前記ビデオシーケンスの人体追跡結果で前記第１画像の人体追跡情報が見つからなかったことに応答して、前記第１画像に対して人体検出を実行して、前記第１画像に対応する少なくとも１つの人体を取得するように構成される人体検出モジュールをさらに備える、
項目５８に記載の画像処理装置。
（項目６０）
前記取得モジュールは、前記第１画像に対して顔追跡を実行して、前記第１画像内の第１顔を取得するように構成される、
項目４３ないし５９のいずれか一項に記載の画像処理装置。
（項目６１）
前記装置は、前記第１画像に対して人体追跡を実行して、前記第１画像内の第３人体を取得するように構成される追跡モジュールをさらに備え、前記送信モジュールは、さらに、第２人物識別要求メッセージを前記サーバに送信するように構成され、前記第２人物識別要求メッセージは、前記第３人体の画像情報および前記第３人体の追跡識別子情報を含む、
項目４３ないし６０のいずれか一項に記載の画像処理装置。
（項目６２）
前記装置は、ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択するように構成される選択モジュールをさらに備える、
項目４３ないし６１のいずれか一項に記載の画像処理装置。
（項目６３）
前記選択モジュールは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第１画像を選択するように構成される、
項目６２に記載の画像処理装置。
（項目６４）
画像処理装置であって、
第１端末機器によって送信された人物識別要求メッセージを受信するように構成される受信モジュールであって、前記人物識別要求メッセージは第１人体の画像情報を含む受信モジュールと、
前記第１人体の画像情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される決定モジュールとを備える、前記画像処理装置。
（項目６５）
前記第１人体の画像情報は、前記第１人体の画像を含み、および／または、
前記第１人体の画像情報は、前記第１人体の画像の特徴情報を含み、前記第１人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも１つを含む、
項目６４に記載の画像処理装置。
（項目６６）
前記決定モジュールは、
前記第１人体の画像情報に基づいて、前記第１人体に含まれる第１顔の画像情報を取得するように構成される第１決定ユニットと、
前記第１顔の画像情報および顔テンプレートデータベースに基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される第２決定ユニットであって、前記顔テンプレートデータベースは、少なくとも１つの顔テンプレートを記憶する第２決定ユニットとを備える、
項目６４または６５に記載の画像処理装置。
（項目６７）
前記第１決定ユニットは、前記第１人体の画像から第１顔の画像を取得するように構成される、
項目６６に記載の画像処理装置。
（項目６８）
前記第２決定ユニットは、
前記第１顔の画像に対して特徴抽出処理を実行して、前記第１顔の特徴情報を取得し、
前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定し、
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得するように構成される、
項目６６または６７に記載の画像処理装置。
（項目６９）
前記第２決定ユニットは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される、
項目６８に記載の画像処理装置。
（項目７０）
前記第２決定ユニットは、前記顔テンプレートデータベースに、前記第１顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される、
項目６８または６９に記載の画像処理装置。
（項目７１）
前記新しく追加された人物識別子情報および前記第１顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加するように構成される第１追加モジュールをさらに備える、
項目７０に記載の画像処理装置。
（項目７２）
前記人物識別要求メッセージは、前記第１人体の第１顔の検出フレーム識別子情報または追跡識別子情報をさらに含む、
項目６４ないし７１のいずれか一項に記載の画像処理装置。
（項目７３）
前記決定モジュールは、
前記第１人体の画像情報に基づいて、前記第１人体の人体識別子情報を決定するように構成される第３決定ユニットと、
前記第１人体の人体識別子情報に基づいて、前記第１人体が属する人物の人物識別子情報を決定するように構成される第４決定ユニットとをさらに備える、
項目６４ないし７２のいずれか一項に記載の画像処理装置。
（項目７４）
前記第３決定ユニットは、
前記第１人体の画像に対して特徴抽出を実行して、前記第１人体の特徴情報を取得し、
人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定し、前記人体テンプレートデータベースは、少なくとも１つの人体テンプレートを記憶し、
前記決定された結果に基づいて、前記第１人体の人体識別子情報を取得するように構成される、
項目７３に記載の画像処理方法。
（項目７５）
前記第３決定ユニットは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第１人体の人体識別子情報として決定するように構成される、
項目７４に記載の画像処理装置。
（項目７６）
前記第３決定ユニットは、前記人体テンプレートデータベースに、前記第１人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、新しく追加された人体識別子情報を前記第１人体の人体識別子情報として決定するように構成される、
項目７４に記載の画像処理装置。
（項目７７）
前記新しく追加された人体識別子情報および前記第１人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加するように構成される第２追加モジュールをさらに備える、
項目７６に記載の画像処理装置。
（項目７８）
前記第１人体の人体識別子情報および前記第１人体が属する人物の人物識別子情報と、前記第１人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加するように構成される第２追加モジュールをさらに備える、
項目７７に記載の画像処理装置。
（項目７９）
前記人物識別要求メッセージは、前記第１人体の追跡識別子情報または前記第１人体の検出フレーム識別子情報をさらに含む、
項目７３ないし７８のいずれか一項に記載の画像処理装置。
（項目８０）
前記第４決定ユニットは、
関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在するかどうかを決定し、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも１つの関連関係を記憶するために使用され、
前記決定された結果に基づいて、前記第１人体が属する人物の人物識別子情報を取得するように構成される、
項目７３ないし７９のいずれか一項に記載の画像処理装置。
（項目８１）
前記第４決定ユニットは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される、
項目８０に記載の画像処理装置。
（項目８２）
前記第４決定ユニットは、前記関連データベースに、前記第１人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第１人体が属する人物の人物識別子情報として決定するように構成される、
項目８０に記載の画像処理装置。
（項目８３）
前記第１人体が属する人物の人物識別子情報を第２端末機器に送信するように構成される送信モジュールをさらに備える、
項目７３ないし８２のいずれか一項に記載の画像処理装置。
（項目８４）
前記人物識別要求メッセージは、前記第１端末機器がビデオシーケンスのうちの少なくとも１つの画像に対して顔追跡を実行することに基づいて取得される、
項目７３ないし８３のいずれか一項に記載の画像処理装置。
（項目８５）
端末機器であって、
プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、項目１ないし２１のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記端末機器。
（項目８６）
サーバであって、
プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、項目２２ないし４２のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記サーバ。
（項目８７）
画像処理システムであって、
項目８５に記載の端末機器および項目８６に記載のサーバを含む、前記画像処理システム。
（項目８８）
読み取り可能な記憶媒体であって、
コンピュータプログラムが記憶され、前記コンピュータプログラムは、項目１ないし２１のいずれか一項に記載の方法または項目２２ないし４２のいずれか一項に記載の方法を実行するように構成される、前記読み取り可能な記憶媒体。
【国際調査報告】
2021520015.tif 000036
2021520015.tif 000037
2021520015.tif 000038
2021520015.tif 000039