(57)【要約】【課題】本発明は、人数カウント方法及び人数カウントシステムを提供する。【解決手段】本発明の実施例は、画像ライブラリ中に同一人物の異なる姿勢パターンの画像を保存することにより、上記画像ライブラリを利用して異なる姿勢パターンにある同一人物を認識することができ、それによって同一人物の重複カウントを減らし、人数カウントの正確性を高めることができる。また、本発明の実施例は、画像に対してパノラマ画像変換処理を行うことにより、後続の人物認識の正確性も高めることができ、人数カウントの正確性を更に高めることができる。【選択図】図２
2020068030.tif 000002
【特許請求の範囲】
【請求項１】
動画ソースの第一ビデオフレームから人の画像群を取り込み、第一画像集合を取得するステップであって、各画像は１人に対応している、ステップと、
第二画像集合中に第一画像集合の画像に対応する関連画像が存在するか否かに基づき、第一画像集合を第一サブセットと第二サブセットに分割するとともに、第一サブセットの画像に対して、該画像に対応する第二画像集合中の関連画像の人物ＩＤを再利用するステップであって、前記第二画像集合は、第一ビデオフレームの直前のビデオフレームから取得された人の画像群であり、第二画像集合の関連画像の第一ビデオフレームにおける予測位置は、第一画像集合の対応する第一画像の第一ビデオフレームにおける実際位置とマッチする、ステップと、
第一サブセット中の画像の姿勢パターンを推定し、人物ＩＤと姿勢パターンに基づき、第一サブセットの画像を画像ライブラリに保存するステップと、
前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするとともに、類似度評点が所定の閾値より大きい場合は前記ターゲット画像の人物ＩＤを再利用し、そうでない場合は該画像に一つの新たな人物ＩＤを割り当てるとともに、人数計数機の数値に１を加算した後で出力するステップと、を含むことを特徴とする人数カウント方法。
【請求項２】
前記動画ソースのビデオフレームはパノラマビデオフレームであり、
前記第一サブセットの画像の姿勢パターンを推定するステップの前に、
前記第一サブセットと第二サブセットの画像に対してパノラマ画像変換処理を行い、前記第一サブセットと第二サブセットの画像を更新するステップ、をさらに含むことを特徴とする請求項１に記載の人数カウント方法。
【請求項３】
前記第一サブセットと第二サブセットの画像に対してパノラマ画像変換処理を行うステップは、
透視投影変換アルゴリズムにより、前記第一サブセットと第二サブセットの画像を更新するステップ、を含むことを特徴とする請求項２に記載の人数カウント方法。
【請求項４】
前記第一サブセットの画像の姿勢パターンを推定するステップは、
第一サブセットの推定対象画像に対して、前記推定対象画像と同じ人物ＩＤを具備する画像の連続ビデオフレームにおける位置変化に基づき、前記推定対象画像の移動方向を予測するステップと、
前記移動方向と第一ビデオフレームの赤道の夾角を計算し、所定の角度と姿勢パターンとの間の対応関係に基づき、該夾角に対応する姿勢パターンを、前記推定対象画像の姿勢パターンとして決定するステップと、を含むことを特徴とする請求項１に記載の人数カウント方法。
【請求項５】
前記第一サブセットの画像を画像ライブラリに保存するステップは、
第一サブセットの画像、該画像の人物ＩＤ、姿勢パターン、該画像の所属するビデオフレームにおける位置情報、及び所属するビデオフレームのタイムスタンプ情報を、前記画像ライブラリにおける同一の人物ＩＤの同一の姿勢パターンのレコードに保存するステップ、を含むことを特徴とする請求項１に記載の人数カウント方法。
【請求項６】
前記の前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするステップは、
深層学習アルゴリズムにより、前記第二サブセットの認識対象画像と前記画像ライブラリ中の各画像とを認識し、評点が最も高いＮ個の候補画像を取得するステップであり、Ｎは１より大きい整数である、ステップと、
前記認識対象画像と前記候補画像の位置情報に基づいて位置類似度を計算し、前記認識対象画像と前記候補画像のタイムスタンプ情報に基づいて時間類似度を計算し、前記位置類似度と時間類似度に対して重み付け合計を求め、前記候補画像の類似度評点を取得するとともに、類似度評点が最も高い候補画像を、前記ターゲット画像として決定するステップと、を含むことを特徴とする請求項５に記載の人数カウント方法。
【請求項７】
動画ソースの第一ビデオフレームから人の画像群を取り込み、第一画像集合を取得する画像取得ユニットであって、各画像は１人に対応している、画像取得ユニットと、
第二画像集合中に第一画像集合の画像に対応する関連画像が存在するか否かに基づき、第一画像集合を第一サブセットと第二サブセットに分割するとともに、第一サブセットの画像に対して、該画像に対応する第二画像集合中の関連画像の人物ＩＤを再利用する集合分割ユニットであって、前記第二画像集合は、第一ビデオフレームの直前のビデオフレームから取得された人の画像群であり、第二画像集合の関連画像の第一ビデオフレームにおける予測位置は、第一画像集合の対応する第一画像の第一ビデオフレームにおける実際位置とマッチする、集合分割ユニットと、
第一サブセット中の画像の姿勢パターンを推定し、人物ＩＤと姿勢パターンに基づき、第一サブセットの画像を画像ライブラリに保存する姿勢推定ユニットと、
前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするとともに、類似度評点が所定の閾値より大きい場合は前記ターゲット画像の人物ＩＤを再利用し、そうでない場合は該画像に一つの新たな人物ＩＤを割り当てるとともに、人数計数機の数値に１を加算した後で出力する人数計算ユニットと、を含むことを特徴とする人数カウントシステム。
【請求項８】
前記動画ソースのビデオフレームはパノラマビデオフレームであり、
前記集合分割ユニットは、
前記第一サブセットと第二サブセットの画像に対してパノラマ画像変換処理を行い、前記第一サブセットと第二サブセットの画像を更新する画像変換ユニット、をさらに含むことを特徴とする請求項７に記載の人数カウントシステム。
【請求項９】
前記姿勢推定ユニットは、
第一サブセットの推定対象画像に対して、前記推定対象画像と同じ人物ＩＤを具備する画像の連続ビデオフレームにおける位置変化に基づき、前記推定対象画像の移動方向を予測し、
前記移動方向と第一ビデオフレームの赤道の夾角を計算し、所定の角度と姿勢パターンとの間の対応関係に基づき、該夾角が対応する姿勢パターンを、前記推定対象画像の姿勢パターンとして決定することを特徴とする請求項７に記載の人数カウントシステム。
【請求項１０】
前記姿勢推定ユニットは、
第一サブセットの画像、該画像の人物ＩＤ、姿勢パターン、該画像の所属するビデオフレームにおける位置情報、及び所属するビデオフレームのタイムスタンプ情報を、前記画像ライブラリにおける同一の人物ＩＤの同一の姿勢パターンのレコードに保存することを特徴とする請求項７に記載の人数カウントシステム。
【請求項１１】
前記人数計算ユニットは、
深層学習アルゴリズムにより、前記第二サブセットの認識対象画像と前記画像ライブラリ中の各画像とを認識し、評点が最も高いＮ個の候補画像を取得し、Ｎは１より大きい整数であり、
前記認識対象画像と前記候補画像の位置情報に基づいて位置類似度を計算し、前記認識対象画像と前記候補画像のタイムスタンプ情報に基づいて時間類似度を計算し、前記位置類似度と時間類似度に対して重み付け合計を求め、前記候補画像の類似度評点を取得するとともに、類似度評点が最も高い候補画像を、前記ターゲット画像として決定することを特徴とする請求項１０に記載の人数カウントシステム。
【請求項１２】
プロセッサと、
コンピュータプログラムのコマンドが記憶されているメモリと、を含む人数カウントシステムであって、
前記コンピュータプログラムのコマンドが前記プロセッサによって実行される際に、前記プロセッサに、
動画ソースの第一ビデオフレームから人の画像群を取り込み、第一画像集合を取得するステップであって、各画像は１人に対応している、ステップと、
第二画像集合中に第一画像集合の画像に対応する関連画像が存在するか否かに基づき、第一画像集合を第一サブセットと第二サブセットに分割するとともに、第一サブセットの画像に対して、該画像に対応する第二画像集合中の関連画像の人物ＩＤを再利用するステップであって、前記第二画像集合は、第一ビデオフレームの直前のビデオフレームから取得された人の画像群であり、第二画像集合の関連画像の第一ビデオフレームにおける予測位置は、第一画像集合の対応する第一画像の第一ビデオフレームにおける実際位置とマッチする、ステップと、
第一サブセット中の画像の姿勢パターンを推定し、人物ＩＤと姿勢パターンに基づき、第一サブセットの画像を画像ライブラリに保存するステップと、
前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするとともに、類似度評点が所定の閾値より大きい場合は前記ターゲット画像の人物ＩＤを再利用し、そうでない場合は該画像に一つの新たな人物ＩＤを割り当てるとともに、人数計数機の数値に１を加算した後で出力するステップと、を実行させることを特徴とする人数カウントシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ監視及び画像処理分野に関し、さらに具体的には、人数カウント方法及び人数カウントシステムに関する。
【背景技術】
【０００２】
ビデオ監視分野において、監視領域中の人数をカウントすることはいつも費用であり、比較的正確な人数カウント結果は、リソース管理や公共交通、広告配信などの業種に価値ある指針情報を提供可能である。
【０００３】
現在の人数カウント方法には主に、通行人検知に基づく人数カウント方法、クラスタリングに基づく人数カウント方法、回帰に基づく人数カウント方法がある。通行人検知に基づく人数カウント方法は、独立した人毎に検知をして人数カウント行い、クラスタリングに基づく人数カウント方法は、コーナーポイント数によって人数カウントを行い、回帰に基づく人数カウント方法は、画像特徴により人数カウントを行う。
【０００４】
人数カウントの使用シーンは、パノラマカメラを用いて監視領域のパノラマビデオデータを得て、パノラマビデオデータのビデオフレーム中に出現する人に対して認識とカウントを行う。この工程で、異なるビデオフレーム中の同一人物を認識して、同一人物の重複カウントを避ける必要がある。つまり、上記カウント工程の難点は、同じ人物の認識精度を如何に上げて如何に重複カウントを減らすかということにある。よって、人物の重複カウントが減り、人数カウント結果の正確性が上がった人数カウント方法が早急に必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施例が解決しようとする課題は、同一人物の重複カウントが減り、人数カウント結果の正確性が上がった人数カウント方法及び人数カウントシステムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の実施例は、動画ソースの第一ビデオフレームから人の画像群を取り込み、第一画像集合を取得するステップであって、各画像は１人に対応している、ステップと、第二画像集合中に第一画像集合の画像に対応する関連画像が存在するか否かに基づき、第一画像集合を第一サブセットと第二サブセットに分割するとともに、第一サブセットの画像に対して、該画像に対応する第二画像集合中の関連画像の人物ＩＤを再利用するステップであって、前記第二画像集合は、第一ビデオフレームの直前のビデオフレームから取得された人の画像群であり、第二画像集合の関連画像の第一ビデオフレームにおける予測位置は、第一画像集合の対応する第一画像の第一ビデオフレームにおける実際位置とマッチする、ステップと、第一サブセット中の画像の姿勢パターンを推定し、人物ＩＤと姿勢パターンに基づき、第一サブセットの画像を画像ライブラリに保存するステップと、前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするとともに、類似度評点が所定の閾値より大きい場合は前記ターゲット画像の人物ＩＤを再利用し、そうでない場合は該画像に一つの新たな人物ＩＤを割り当てるとともに、人数計数機の数値に１を加算した後で出力するステップと、を含むことを特徴とする人数カウント方法を提供する。
【０００７】
好ましくは、前記人数カウント方法において、前記動画ソースのビデオフレームはパノラマビデオフレームであり、前記第一サブセットの画像の姿勢パターンを推定するステップの前に、前記第一サブセットと第二サブセットの画像に対してパノラマ画像変換処理を行い、前記第一サブセットと第二サブセットの画像を更新するステップ、をさらに含む。
【０００８】
好ましくは、前記人数カウント方法において、前記第一サブセットと第二サブセットの画像に対してパノラマ画像変換処理を行うステップは、透視投影変換アルゴリズムにより、前記第一サブセットと第二サブセットの画像を更新するステップ、を含む。
【０００９】
好ましくは、前記人数カウント方法において、前記第一サブセットの画像の姿勢パターンを推定するステップは、第一サブセットの推定対象画像に対して、前記推定対象画像と同じ人物ＩＤを具備する画像の連続ビデオフレームにおける位置変化に基づき、前記推定対象画像の移動方向を予測するステップと、前記移動方向と第一ビデオフレームの赤道の夾角を計算し、所定の角度と姿勢パターンとの間の対応関係に基づき、該夾角に対応する姿勢パターンを、前記推定対象画像の姿勢パターンとして決定するステップと、を含む。
【００１０】
好ましくは、前記人数カウント方法において、前記第一サブセットの画像を画像ライブラリに保存するステップは、第一サブセットの画像、該画像の人物ＩＤ、姿勢パターン、該画像の所属するビデオフレームにおける位置情報、及び所属するビデオフレームのタイムスタンプ情報を、前記画像ライブラリにおける同一の人物ＩＤの同一の姿勢パターンのレコードに保存するステップ、を含む。
【００１１】
好ましくは、前記人数カウント方法において、前記の前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするステップは、深層学習アルゴリズムにより、前記第二サブセットの認識対象画像と前記画像ライブラリ中の各画像とを認識し、評点が最も高いＮ個の候補画像を取得するステップであり、Ｎは１より大きい整数である、ステップと、前記認識対象画像と前記候補画像の位置情報に基づいて位置類似度を計算し、前記認識対象画像と前記候補画像のタイムスタンプ情報に基づいて時間類似度を計算し、前記位置類似度と時間類似度に対して重み付け合計を求め、前記候補画像の類似度評点を取得するとともに、類似度評点が最も高い候補画像を、前記ターゲット画像として決定するステップと、を含む。
【００１２】
本発明の実施例は、動画ソースの第一ビデオフレームから人の画像群を取り込み、第一画像集合を取得する画像取得ユニットであって、各画像は１人に対応している、画像取得ユニットと、第二画像集合中に第一画像集合の画像に対応する関連画像が存在するか否かに基づき、第一画像集合を第一サブセットと第二サブセットに分割するとともに、第一サブセットの画像に対して、該画像に対応する第二画像集合中の関連画像の人物ＩＤを再利用する集合分割ユニットであって、前記第二画像集合は、第一ビデオフレームの直前のビデオフレームから取得された人の画像群であり、第二画像集合の関連画像の第一ビデオフレームにおける予測位置は、第一画像集合の対応する第一画像の第一ビデオフレームにおける実際位置とマッチする、集合分割ユニットと、第一サブセット中の画像の姿勢パターンを推定し、人物ＩＤと姿勢パターンに基づき、第一サブセットの画像を画像ライブラリに保存する姿勢推定ユニットと、前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするとともに、類似度評点が所定の閾値より大きい場合は前記ターゲット画像の人物ＩＤを再利用し、そうでない場合は該画像に一つの新たな人物ＩＤを割り当てるとともに、人数計数機の数値に１を加算した後で出力する人数計算ユニットと、を含むことを特徴とする人数カウントシステムをさらに提供する。
【００１３】
好ましくは、前記人数カウントシステムにおいて、前記動画ソースのビデオフレームはパノラマビデオフレームであり、前記集合分割ユニットは、前記第一サブセットと第二サブセットの画像に対してパノラマ画像変換処理を行い、前記第一サブセットと第二サブセットの画像を更新する画像変換ユニット、をさらに含む。
【００１４】
好ましくは、前記人数カウントシステムにおいて、前記姿勢推定ユニットは、第一サブセットの推定対象画像に対して、前記推定対象画像と同じ人物ＩＤを具備する画像の連続ビデオフレームにおける位置変化に基づき、前記推定対象画像の移動方向を予測し、前記移動方向と第一ビデオフレームの赤道の夾角を計算し、所定の角度と姿勢パターンとの間の対応関係に基づき、該夾角が対応する姿勢パターンを、前記推定対象画像の姿勢パターンとして決定する。
【００１５】
好ましくは、前記人数カウントシステムにおいて、前記姿勢推定ユニットは、第一サブセットの画像、該画像の人物ＩＤ、姿勢パターン、該画像の所属するビデオフレームにおける位置情報、及び所属するビデオフレームのタイムスタンプ情報を、前記画像ライブラリにおける同一の人物ＩＤの同一の姿勢パターンのレコードに保存する。
【００１６】
好ましくは、前記人数カウントシステムにおいて、前記人数計算ユニットは、深層学習アルゴリズムにより、前記第二サブセットの認識対象画像と前記画像ライブラリ中の各画像とを認識し、評点が最も高いＮ個の候補画像を取得し、Ｎは１より大きい整数であり、前記認識対象画像と前記候補画像の位置情報に基づいて位置類似度を計算し、前記認識対象画像と前記候補画像のタイムスタンプ情報に基づいて時間類似度を計算し、前記位置類似度と時間類似度に対して重み付け合計を求め、前記候補画像の類似度評点を取得するとともに、類似度評点が最も高い候補画像を、前記ターゲット画像として決定する。
【００１７】
本発明の実施例は、プロセッサと、コンピュータプログラムのコマンドが記憶されているメモリと、を含む人数カウントシステムであって、前記コンピュータプログラムのコマンドが前記プロセッサによって実行される際に、前記プロセッサに、動画ソースの第一ビデオフレームから人の画像群を取り込み、第一画像集合を取得するステップであって、各画像は１人に対応している、ステップと、第二画像集合中に第一画像集合の画像に対応する関連画像が存在するか否かに基づき、第一画像集合を第一サブセットと第二サブセットに分割するとともに、第一サブセットの画像に対して、該画像に対応する第二画像集合中の関連画像の人物ＩＤを再利用するステップであって、前記第二画像集合は、第一ビデオフレームの直前のビデオフレームから取得された人の画像群であり、第二画像集合の関連画像の第一ビデオフレームにおける予測位置は、第一画像集合の対応する第一画像の第一ビデオフレームにおける実際位置とマッチする、ステップと、第一サブセット中の画像の姿勢パターンを推定し、人物ＩＤと姿勢パターンに基づき、第一サブセットの画像を画像ライブラリに保存するステップと、前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするとともに、類似度評点が所定の閾値より大きい場合は前記ターゲット画像の人物ＩＤを再利用し、そうでない場合は該画像に一つの新たな人物ＩＤを割り当てるとともに、人数計数機の数値に１を加算した後で出力するステップと、を実行させることを特徴とする人数カウントシステムをさらに提供する。
【発明の効果】
【００１８】
従来技術に比べ、本発明の実施例が提供する人数カウント方法及び人数カウントシステムは、画像ライブラリ中に同一人物の異なる姿勢パターンの画像を保存することにより、前記画像ライブラリを利用して異なる姿勢パターンにある同一人物を認識することができ、それによって同一人物の重複カウントを減らし、人数カウントの正確性を高めることができる。また、本発明の実施例は、画像に対してパノラマ画像変換処理を行うことにより、カメラ非線性歪みによるデータアライメントの問題を減らし、後続の人物認識の正確性を高めることができ、人数カウントの正確性を更に高めることができる。また、本発明の実施例は、姿勢パターンと位置情報と時間情報を利用して一つの動的画像ライブラリを構築し、上記三次元の情報を用いてビデオフレーム中で以前に現れたことがある人を認識し、クラス内類似性が高まることにより、認識精度が上がった。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例の人数カウント方法の使用場面を示す図である。
【図２】本発明の実施例が提供する人数カウント方法のフロー図である。
【図３】本発明の実施例が提供する人数カウント方法の別のフロー図である。
【図４】本発明の実施例が提供する姿勢パターン推定の例である。
【図５】本発明の実施例が提供するターゲット画像決定の例である。
【図６】本発明の実施例が提供する人数カウントシステムの構造を示す図である。
【図７】本発明の実施例が提供するリコー人数カウントシステムの構造を示す図である。
【発明を実施するための形態】
【００２０】
本発明が解決する技術問題、技術方案及び優れた点をより明確にするため、以下に図面と具体的な実施例を組み合わせて詳しく説明する。以下の説明において、具体的な配置とコンポーネントの特定の細部を提供することは、本発明の実施例を全面的に理解するのを助けるためだけのものである。したがって、本発明の範囲と主旨から逸脱することなく、ここで述べた実施例に対して様々な変更と改良が可能であることは、当業者にとって自明である。また、明瞭且つ簡潔にするため、既知の機能と構造の記述は省略する。
【００２１】
本明細書で言及した「一つ実施例」または「実施例」は、実施例に関連する特定の特徴、構造または特性が本発明の少なくとも一つの実施例に含まれることを意味する。したがって、本明細書のいたるところに出現する「一つの実施例で」または「実施例で」とは必ずしも同じ実施例を指すとは限らない。なお、これら特定の特徴、構造若しくは特性は任意に適当な方式で一つ或は複数の実施例に結合することができる。
【００２２】
本発明の種々の実施例において、以下の各プロセスの番号の大きさは実行順序の前後を意味するものではない。各プロセスの実行順序は、その機能と内在的論理に依存し、本発明実施例の実施過程に対していかなる限定も行われない。
【００２３】
図１は、本発明の実施例の人数カウント方法の使用場面を示す図である。図１において、自動車１１は出展中であり、自動車１１の天井部に監視カメラ１２が設けられており、自動車の周囲の環境をリアルタイムで監視しており、自動車周辺の人混みの画像を収集している。監視カメラ１２は具体的にパノラマカメラであっても、従来型のピンホールカメラであっても良い。図１には複数の人物１３〜１５が示されており、彼らは車両の周囲に位置しており、車両に向って歩くことも可能であるし、車両から離れることも可能であるし、車体の周囲を移動することも可能である。本発明の実施例の人数カウント方法は、上記シーン中の自動車１１周辺の人数をカウントすることが可能であり、ひいては自動車１１に興味がある人の人数を得ることが可能である。
【００２４】
従来の通行人検知方法は、類似のシーンの人数をカウントすることが可能であるが、通行人検知方法の従来の工程では、同一人物を重複してカウントしやすい。例えば、人物１３の異なるビデオフレーム中での歩行姿勢に比較的大きな差異が有る時、例えば、第ｎフレームでは人物１３が車輛に向って動き、第ｍフレームでは人物１３が車輛に背を向ける、このようなとき、両フレーム中の人物１３の画像差異が比較的大きいので、この両フレーム中の同一人物１３を異なる２人だと認識して別々にカウントしてしまいやすい。
【００２５】
同一人物の重複カウントを減らし、人数カウントの正確性を高めるために、本発明の実施例は図２に示すような人数カウント方法を提供している。該方法は以下のステップを含む。
【００２６】
ステップ２１：動画ソースの第一ビデオフレームから人々のグループの画像を取り出して、第一画像集合を得る。なお、各画像は１人に対応している。
【００２７】
ここで、動画ソースは、収集し終えたビデオデータであっても良いし、リアルタイムに収集するビデオデータであっても良い。具体的に、監視カメラ、例えばパノラマカメラまたはピンホールカメラによって、動画ソースを収集することができる。例えば、パノラマカメラによって収集する際、前記動画ソースのビデオフレームはパノラマビデオフレームである。ここで、第一ビデオフレームは、前記動画ソース中の第一ビデオフレームの後の任意のビデオフレームであって良い。
【００２８】
本発明の実施例は通行人検知のアルゴリズムを用いて、ビデオフレーム中から人の画像を検知し、各前記人の画像を対応する１人に分け、それによって前記人の画像の画像集合を得ることができる。例えば、動画ソースの第一ビデオフレームに対して通行人検知を行う際、第一画像集合を得ることができ、該第一画像集合は第一ビデオフレームから検知した少なくとも一つの前記人の画像を含む。前記人の画像を検知する際に、前記人の画像の第一ビデオフレーム中の位置情報及び第一ビデオフレーム中のタイムスタンプ情報を得ることも可能である。前記位置情報は、前記人の画像の第一ビデオフレーム中の座標（例えば経緯度座標）によって表すことも可能である。
【００２９】
ステップＳ２２：第二画像集合中に第一画像集合の画像の関連画像が有るか無いかに基づき、第一画像集合を第一サブセットと第二サブセットに分割するとともに、第一サブセットの画像に対して、該画像の第二画像集合中の関連画像の人物ＩＤを再利用する。なお、前記第二画像集合は、第一ビデオフレームの前フレームのビデオフレーム中から取得した人々のグループの画像であり、第二画像集合の第二画像が第一ビデオフレーム中の予測位置にあり、第一画像集合の第一画像が第一ビデオフレーム中の実際の位置とマッチするとき、前記第二画像は第一画像の関連画像である。
【００３０】
ここで、第二ビデオフレームは前記動画ソース中で第一ビデオフレームの前に位置し、且つ前記第一ビデオフレームと隣り合うビデオフレームである。人の行為動作は通常一定の持続性を有するので、第一ビデオフレーム中で検知した人の画像を、第二ビデオフレーム中で既に検知した人の画像と互いに関連付けて、第二ビデオフレームで既に出現した人を認識し、これらの既に出現した人に対して、以前に割り当てた人物ＩＤを再利用することができる。ここで、前記以前に割り当てた人物ＩＤは、第二ビデオフレーム中で該人を検知した時に割り当てたものであっても良いし、第二ビデオフレームの前のビデオフレームで割り当てたものでも良い。これにより、異なるビデオフレーム中の同一人物の人物ＩＤが全て同じであることを保証する。
【００３１】
関連画像に存在するかどうかを判断する際、位置追跡アルゴリズムにより、第二ビデオフレーム中の各前記人画像位置を追跡し、第二ビデオフレーム中の各前記人の画像の第一ビデオフレーム中の位置を予測し、少なくとも一つの予測位置を得ることができる。その後、位置マッチングアルゴリズムにより、第一ビデオフレーム中で検知した書く人の画像に対し、該人の画像の実際の位置がある予測位置とマッチするかどうかを判断する。マッチする場合、関連画像が存在するとみなす。該人の画像の実際の位置と所有する予測位置とが全てマッチしない場合、関連画像が存在しないとみなす。上記判断工程により、第一画像集合中の各画像に対し、第二ビデオフレーム中に関連画像が存在するならば、該画像を第一サブセットに分割し、さもなければ第二サブセットに分割し、それによって第一画像集合の分割を完成させる。
【００３２】
ステップＳ２３：第一サブセット中の画像の姿勢パターンを推定し、人物ＩＤと姿勢パターンに基づき、第一サブセットの画像を画像ライブラリに保存する。
【００３３】
ここで、第一サブセット中の各画像（記述しやすいよう、以下、推定対象画像と称する）に対して、前記推定対象画像と同じ人物ＩＤを具備する画像の連続ビデオフレーム中の位置変化に基づき、前記推定対象画像の移動方向を予測する。具体的には、関係運動予測アルゴリズムを用いて予測することができる。その後、前記移動方向と第一ビデオフレームの赤道の夾角を計算し、所定の角度と姿勢パターンとの間の対応関係に基づき、該夾角が対応する姿勢モードを決定して、前記推定対象画像の姿勢パターンとする。
【００３４】
ここで、前記画像ライブラリは、前記動画原虫の既に割り当てられた人物ＩＤの画像のレコードを保存するのに用いられる。第一サブセットの画像を画像ライブラリに保存する際、第一サブセットの画像と、該画像の人物ＩＤと、姿勢パターンと、該画像の所属ビデオフレーム中の位置情報及び所属ビデオフレームのタイムスタンプ情報（即ち、第一ビデオフレームの動画ソース中のタイムスタンプ情報）とを、前記画像ライブラリ中の同一人物ＩＤの同一姿勢パターンのレコードに保存する。このように、各人物ＩＤが対応する人に対し、前記画像ライブラリ中で該人の異なる姿勢モード下の画像や、該画像の位置情報及びタイムスタンプ情報をメンテナンスすることができる。また、記憶空間の占有を減らすために、各姿勢モードに対して所定の数量を設けることができる。すなわち、ある人のある姿勢モード下の画像の数量が該所定の数量を超えると、その中のタイムスタンプ情報が比較的早い画像を削除して、画像数量が該所定数量を超えないことを保証することができる。
【００３５】
ステップＳ２４：前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするとともに、類似度評点が所定の閾値より大きい場合は前記ターゲット画像の人物ＩＤを再利用し、そうでない場合は該画像に一つの新たな人物ＩＤを分配するとともに、人数計数機の数値に１を加算した後で出力する。
【００３６】
ここで、深層学習アルゴリズムにより、前記第二サブセットの認識対象画像（記述しやすいよう、以下、認識対象画像と称する）を、前記画像ライブラリ中の各画像と認識し、評点が最高であるＮ個の候補画像を得る。なお、Ｎは１より大きい整数である。その後、前記認識対象画像と前記候補画像の位置情報に基づいて位置類似度を計算し、前記認識対象情報と前記候補画像のタイムスタンプ情報に基づいて時間類似度を計算し、前記位置類似度と時間類似度に対して重みづけして和を求め、前記候補画像の類似度評点を得るとともに、類似度評点が最高である候補画像を、前記ターゲット画像として決定する。
【００３７】
認識対象画像と最も似ているターゲット画像を得た後、類似度評点が所定の閾値より大きいかどうかを判断する。大きい場合は、認識対象画像とターゲットの両方が同一人物に対応するとみなし、この時、認識対象画像は前記ターゲット画像の人物ＩＤに再利用可能である。小さい場合は、認識対象画像とターゲット画像がそれぞれ異なる人物に対応するとみなし、認識対象画像に新たな人物ＩＤを割り当てるととともに、人数計数機に１を加算する処理を行い、ビデオフレーム中で検知する人数を更新する。
【００３８】
つまり、上記ステップは、姿勢モードと位置情報と時間情報を利用して一つの動的画像ライブラリを構築し、上記三次元の情報を用いてビデオフレーム中で以前に現れたことがある人を認識し、クラス内類似性が高まることにより、認識精度が上がった。
【００３９】
以上のステップにより、本発明の実施例は、画像ライブラリ中に同一人物の異なる姿勢パターンの画像を保存し、上記画像ライブラリを利用して異なる姿勢パターンにある同一人物を認識することができ、それによって同一人物の重複カウントを減らし、人数カウントの正確性を高めることができる。
【００４０】
本発明の実施例において、前記動画ソースのビデオフレームがパノラマビデオフレームである場合、カメラ非線性歪みによるデータアライメントの問題を減らし、人物認識の正確性を高めるために、上記ステップＳ２２において、第一画像集合を第一サブセットと第二サブセットに分割した後、前記第一サブセットと第二サブセットの画像に対してパノラマ画像変換処理を行うことにより、これらの画像の透視投影図を得るとともに、前記第一サブセットと第二サブセットの画像を更新することもできる。すなわち、第一サブセットと第二サブセットの画像を対応する透視投影図に替えることもできる。具体的には、透視投影変換アルゴリズムにより、前記第一サブセットと第二サブセットの画像が対応する透視投影図を得ることができる。
【００４１】
図２に示すステップは、ビデオフレーム中の最初のビデオフレームの後の任意のビデオフレームに対する処理であっても良い。しかし、ビデオフレーム中の最初のビデオフレームに処理を行う際は、画像ライブラリと人数計数機の初期化が必要である。初期化後の画像ライブラリ中のレコードは空であり、人数計数機の計数値は０である。例えば、最初のビデオフレームから一組の人の画像を取出し、第三画像集合を得る。なお、各画像は１人に対応する。最初のビデオフレームの前にビデオフレームは存在しないので、ステップ２２の分割処理は必要ない。この時は、第三画像集合中の画像の姿勢モードを直接推定するとともに、第三画像集合中の各画像に新たな人物ＩＤを割り当てて、一つの人物ＩＤを割り当てた後、人数計数機の数値に１を加算する。その後、人物ＩＤと姿勢モードに基づいて、第三画像集合中の各画像を画像ライブラリに保存する。これをもって最初のビデオフレームの処理が完成し、後続のビデオフレームの処理は図２に示すフローを参照に行うことが可能である。
【００４２】
以下、さらに具体的な工程により本発明の実施例の方法について説明する。この工程中ではパノラマビデオフレームの第ｎ＋１フレームのパノラマ動画ソースの処理を例として説明している。図３に示すように、本発明の実施例が提供する人数カウント方法は、以下のステップを含む。
【００４３】
ステップＳ３０１：動画ソースの第ｎ＋１フレームのパノラマビデオフレームを受け取り、該パノラマビデオフレーム中から一組の人の画像を取得し、各前記人の画像が１人に対応し、それによって一つの画像集合を得る。なお、ｎは０より大きい整数である。
【００４４】
記述しやすいようここで、第ｎ＋１フレームのパノラマビデオフレームから取得した人の画像集合を第一画像集合と称し、該第一画像集合中の人の画像を第一画像と称する。ここで、畳み込みニューラルネットワーク（CNN，Convolutional  Neural  Network）の人検知のアルゴリズムを用いてパノラマビデオフレームに対して検知を行うことが可能である。検知により、各人の画像及び画像のパノラマビデオフレーム上の位置情報（経度座標と緯度座標を含む）を得ることができる。例えば、パノラマ画像の緯度座標範囲は（−９０°〜９０°）であって良く、経度座標範囲は（−１８０°〜１８０°）であって良い。ここで、該パノラマビデオフレームの動画ソース中のタイムスタンプを記録することも可能である。例えば、ビデオフレーム中のタイムスタンプ情報が００：０２：３６：２３であるならば、該パノラマビデオフレームは動画ソースの第００時間０２分３６．２３秒に位置することを表す。
【００４５】
ステップ３０２：第ｎフレームのパノラマビデオフレーム中の人の画像の第ｎ＋１フレームのパノラマビデオフレーム中の予測位置を得て、第ｎフレームのパノラマビデオフレーム中に第１画像の関連画像が存在するか否かに基づき、第一画像を第一サブセットまたは第二サブセットに分割する。
【００４６】
同様に、第ｎフレームのパノラマビデオフレームから取得した人の集合画像を第二画像集合と称し、該第二画像集合中の人の画像を第二画像と称する。第二画像を追跡することにより、第ｎ＋１フレームのパノラマビデオフレーム中における第二画像の新たな位置を予測するとともに、予測した新たな位置に基づいて第二画像の状態を更新することが可能であり、具体的にはカルマンフィルター等のアルゴリズムを用いることにより位置追跡が可能である。予測位置を得た後、第ｎ＋１フレームのパノラマビデオフレーム中における第一画像の実際の位置と各第二画像の予測位置とをマッチングさせ、該第一画像の関連画像が存在するか否かを決定する。具体的には、ハンガリー法アルゴリズムなどを用いることにより位置のマッチングを行うことができる。第一画像と状態更新後の第二画像のリンク（即ち位置のマッチング）が成功したら、該第一画像は関連画像の人物ＩＤを再利用することが可能であり、また、該第一画像を第一サブセットに加え入れることが可能である。第一画像とマッチする関連画像が存在しない場合、該第一か像を第二サブセットに加え入れる。
【００４７】
ステップ３０３：第一サブセットの第一画像に対してパノラマ変換処理を行い、透視投影画像に変換することにより、第一画像の更新を実現する。
【００４８】
ステップ３０４：第二サブセットの第二画像に対してパノラマ編化処理を行い、透視投影画像に変換することにより、第二画像の更新を実現する。
【００４９】
上記ステップ３０３と３０４において、第一画像／第二画像に対してパノラマ変換処理を行う際、透視投影変換のアルゴリズムを用いて、透視投影図に変換することが可能であり、それによって、後続のステップ３０６中で更新後の第一画像／第二画像を用いて画像認識処理を行う画像アライメントに有利であり、認識の精度を高めることができる。
【００５０】
ステップ３０５：更新後の第一画像に対して姿勢モードの推定を行い、第一画像の相関データを画像ライブラリ中に保存する。前記相関データは、更新後の第一画像、第一画像の人物ＩＤ、姿勢モード、第ｎ＋１フレームのパノラマビデオフレーム上の位置情報（例えば経度と緯度）及びタイムスタンプ情報、の元データを含む。
【００５１】
ここで、姿勢モードの推定を行う際、先ず、同一の人物ＩＤの画像の連続する幾つかのフレーム中の位置変化に基づいて、対応人物の移動方向を予測する。例えば、該人物ＩＤの画像の、第ｎ＋１フレーム内にある連続するｋフレーム内の位置変化に基づき、該人物の移動方向を予測する。その後、該移動方向とパノラマビデオフレームの赤道の間の夾角を計算し、その後、該夾角に基づいて該人物の状態を分類する。例えば、あらかじめ各姿勢モードが対応する角度範囲を予め設定することが可能である。その後、上記夾角を計算した後に、先ず該夾角が属する角度範囲を決定し、該角度範囲が対応する姿勢モードを決定することにより、該人物の姿勢モードを得ることができる。
【００５２】
図４に示すように、可能な姿勢モードの種類は、前向き、後ろ向き、左向き、右向き、左前、右前、左後ろ、右後ろ、の８種を含むことが可能であり、隣り合う姿勢モードの間の夾角は４５度である。上記姿勢モードに対し、各姿勢モードが対応する角度範囲を予め設定しておくことが可能である。例えば、前向きに対応する角度範囲として［２４７．５°、２９２．５°）、後ろ向きに対応する角度範囲として［６７．５°、１１２．５°）、右後ろに対応する角度範囲として［２２．５°、６７．５°）・・・と設定可能である。計算した移動方向と赤道間の夾角θが３０°である際、姿勢モードは右後ろであると決定できる。
【００５３】
ここで、画像ライブラリ中の画像の人物ＩＤ及び状態モードの保存データを参照し、同一の人物ＩＤの各姿勢モード下で所定の数量を超えない画像の相関データを保存する。第一画像を画像ライブラリに保存する際、該第一画像が対応する人物ＩＤと姿勢モード下で前記所定数量の画像が既に保存されている場合、タイムスタンプ情報に基づき、保存画像中の最も早い画像を削除し、その後第一画像を再保存することが可能である。
【００５４】
ステップ３０６：第二サブセット中の各更新後の第二画像を、画像ライブラリ中の各画像とそれぞれ認識し、類似度が最も高いターゲット画像を得る。
【００５５】
ここで、第二サブセット中の各更新後の第二画像を、画像ライブラリ中の各画像とそれぞれ認識し、最高点数を具備する画像を得る。具体的に、図５に示すように、第二画像と各画像とを深層学習方式（例えば、距離行列学習の方式によって）を用いて認識し、点数が最高の前ｋ個の候補画像を得る。なお、ｋは２より大きい整数である。その後、時間類似度と位置類似度を利用して、点数が最高の画像をスクリーニングして、ターゲット画像を得る。
【００５６】
具体的に、各画像スクリーニングについて、該候補画像の類似度得点Ｓｉｍｉｌａｒｉｔｙは、以下の公式により求めることができる。なお、時間類似度は第二画像と候補画像のタイムスタンプの差値によって表すことができ、位置類似度は二つの画像のいちの間のオイラー距離である。
【００５７】
Ｓｉｍｉｌａｒｉｔｙ＝αＳｔｉｍｅ＋βＳｐｏｓｉｔｉｏｎ
Ｓｔｉｍｅ＝Ｔｉｍｅ＿ｄｉｆｆ（ｔ１，  ｔ２）
Ｓｐｏｓｉｔｉｏｎ＝Ｅｕｌｅｒ＿ｄｉｓｔａｎｃｅ（ｌｎｇ１，  ｌａｔ１，  ｌｎｇ２，  ｌａｔ２）
上記公式において、Ｓｔｉｍｅは時間類似度を表し、Ｓｐｏｓｉｔｉｏｎは位置類似度を表す。αとβはそれぞれ、予め設定された時間類似度と位置類似度が対応する重みを表す。ｔ１は、第二画像のタイムスタンプ情報を表し、ｔ２は候補画像のタイムスタンプを表す。ｌｎｇ１、ｌａｔ１はそれぞれ、第二画像の位置点と経緯度座標を表す。ｌｎｇ２、ｌａｔ２はそれぞれ、候補画像の位置点の経緯度座標を表す。Ｔｉｍｅ＿ｄｉｆｆ（ｔ１，  ｔ２）は、ｔ１とｔ２の間の差値の計算を表す。Ｅｕｌｅｒ＿ｄｉｓｔａｎｃｅ（ｌｎｇ１，  ｌａｔ１，  ｌｎｇ２，  ｌａｔ２）は、２つの位置点のオイラー距離の計算を表す。
【００５８】
ステップ３０７〜３０９：ターゲット画像の類似度得点が所定の閾値より大きいかどうかを判断し、大きい場合は、第二画像が対応する人物がこれより前のビデオフレーム中に存在することを荒らすので、第二画像はターゲット画像の人物ＩＤを再利用できる。小さい場合、第二画像に新たな人物ＩＤを割り当てるとともに、人数計数機の計算値に１を加算する。これをもって第ｎ＋１フレームのパノラマビデオフレームの処理が完成し、この時の人数計数機の現在の数値は第ｎ＋１フレームのパノラマビデオフレームの時にすでに検知された人数で打ち切られる。
【００５９】
ステップ３１０：第ｎ＋１フレームのパノラマビデオフレーム中の人の画像に対して追跡を行い、第ｎ＋２フレームのパノラマビデオフレームにおけるｎ＋１フレームのパノラマビデオフレーム中の人の画像の予測位置を得て、その後、ステップ３０１に戻り、動画ソースのｎ＋２フレームのパノラマビデオフレームに対する処理を継続する。
【００６０】
以上のステップにより、本発明の実施例は、動画ソースのビデオフレームに対して、持続的かつリアルタイムに人数カウントが可能であり、同一人物に対してダブル処理を行い、比較的正確な人数のカウント結果を得ることができる。
【００６１】
以上の実施例が提供する人数カウント方法に基づき、本発明の実施例は、コンピュータが読み取り可能な記憶媒体も提供している。そこにはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行される際に、上記任意の方法の実施例中の人数カウント方法のステップを実現する。
【００６２】
以上の方法に基づき、本発明の実施例は、上記方法を実施する装置も提供した。図６に示すように、本発明の実施例が提供する人数カウントシステム６０は、以下のユニットを含む。
【００６３】
画像取得ユニット６１は、動画ソースの第一ビデオフレームから人々のグループの画像を取り出して、第一画像集合を得る。なお、各画像は１人に対応している。
【００６４】
集合分割ユニット６２は、第二画像集合中に第一画像集合の画像の関連画像が有るか無いかに基づき、第一画像集合を第一サブセットと第二サブセットに分割するとともに、第一サブセットの画像に対して、該画像の第二画像集合中の関連画像の人物ＩＤを再利用する。なお、前記第二画像集合は、第一ビデオフレームの前フレームのビデオフレーム中から取得した人々のグループの画像であり、第二画像集合の第二画像が第一ビデオフレーム中の予測位置にあり、第一画像集合の第一画像が第一ビデオフレーム中の実際の位置とマッチするとき、前記第二画像は第一画像の関連画像である。
【００６５】
姿勢推定ユニット６３は、第一サブセット中の画像の姿勢パターンを推定し、人物ＩＤと姿勢パターンに基づき、第一サブセットの画像を画像ライブラリに保存する。
【００６６】
人数計算ユニット６４は、前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするとともに、類似度評点が所定の閾値より大きい場合は前記ターゲット画像の人物ＩＤを再利用し、そうでない場合は該画像に一つの新たな人物ＩＤを割り当てるとともに、人数計数機の数値に１を加算した後で出力する。
【００６７】
好ましくは、前記動画ソースのビデオフレームがパノラマビデオフレームである場合、カメラ非線性歪みによるデータアライメントの問題を減らし、後続の人物認識の正確性を高めるために、前記集合分割ユニット６２が、前記第一サブセットと第二サブセットの画像に対してパノラマ画像変換処理を行い、前記第一サブセットと第二サブセットの画像を更新するための画像変換ユニットも含む。
【００６８】
好ましくは、前記画像変換ユニットは、透視投影変換アルゴリズムにより、前記第一サブセットと第二サブセットの画像を更新する。
【００６９】
好ましくは、前記姿勢推定ユニット６３が、具体的に、第一サブセットの推定対象画像に対して、前記推定対象画像と同じ人物ＩＤを具備する画像の連続ビデオフレーム中の位置変化に基づき、前記推定対象画像の移動方向を予測することと、前記移動方向と第一ビデオフレームの赤道の夾角を計算し、所定の角度と姿勢パターンとの間の対応関係に基づき、該夾角が対応する姿勢モードを決定して、前記推定対象画像の姿勢パターンとすることに用いられる。
【００７０】
好ましくは、前記姿勢推定ユニット６３が、第一サブセットの画像と、該画像の人物ＩＤと、姿勢パターンと、該画像の所属ビデオフレーム中の位置情報及び所属ビデオフレームのタイムスタンプ情報とを、前記画像ライブラリ中の同一人物ＩＤの同一姿勢パターンのレコードに保存するのにも用いられる。
【００７１】
好ましくは、前記人数計算ユニット６４が、具体的に、深層学習アルゴリズムにより、前記第二サブセットの認識対象画像を、前記画像ライブラリ中の各画像と認識し、評点が最高であるＮ個の候補画像を得るためのものであり、Ｎは１より大きい整数であることと、前記認識対象画像と前記候補画像の位置情報に基づいて位置類似度を計算し、前記認識対象情報と前記候補画像のタイムスタンプ情報に基づいて時間類似度を計算し、前記位置類似度と時間類似度に対して重みづけして和を求め、前記候補画像の類似度評点を得るとともに、類似度評点が最高である候補画像を、前記ターゲット画像として決定することに用いられる。
【００７２】
図７に示すように、本発明の実施例は、人数カウントシステムのハードウェアのブロック図も提供している。図７に示すように、該人数カウントシステム７００は、プロセッサ７０２と、コンピュータプログラムのコマンドが記憶されているメモリ７０４と、を含む。なお、前記コンピュータプログラムのコマンドが前記プロセッサ７０２によって実行される際に、前記プロセッサに、動画ソースの第一ビデオフレームから人々のグループの画像を取り出して、第一画像集合を得るステップであって、各画像が１人に対応しているステップと、第二画像集合中に第一画像集合の画像の関連画像が有るか無いかに基づき、第一画像集合を第一サブセットと第二サブセットに分割するとともに、第一サブセットの画像に対して、該画像の第二画像集合中の関連画像の人物ＩＤを再利用するステップであって、前記第二画像集合は、第一ビデオフレームの前フレームのビデオフレーム中から取得した人々のグループの画像であり、第二画像集合の第二画像が第一ビデオフレーム中の予測位置にあり、第一画像集合の第一画像が第一ビデオフレーム中の実際の位置とマッチするとき、前記第二画像は第一画像の関連画像であるステップと、第一サブセット中の画像の姿勢パターンを推定し、人物ＩＤと姿勢パターンに基づき、第一サブセットの画像を画像ライブラリに保存するステップと、前記第二サブセットの各画像に対して、前記画像ライブラリ中の該画像と最も似ているターゲット画像をスクリーニングするとともに、類似度評点が所定の閾値より大きい場合は前記ターゲット画像の人物ＩＤを再利用し、そうでない場合は該画像に一つの新たな人物ＩＤを割り当てるとともに、人数計数機の数値に１を加算した後で出力するステップと、を実行させる。
【００７３】
さらに図７に示すように、該人数カウントシステム７００はネットワークインターフェース７０１と、入力装置７０３と、ハードディスク７０５と、表示装置７０６も備える。
【００７４】
上記の各インターフェースと装置の間は、バス構成よって相互接続している。バス構成は、任意の数量の相互接続のバスとブリッジであっても良い。具体的には、プロセッサ７０２に代表される一つ又は複数の中央処理装置（ＣＰＵ）、及びメモリ７０４に代表される一つ又は複数のメモリによる各種回路によって一つに接続される。バスアーキ構成は、例えば周辺機器や電圧レギュレータやパワーマジメント回路といった各種のその他の回路を一つに接続しても良い。また、バス構成は、これらのコンポーネント間の接続通信を実現するものであると理解すべきである。バス構成は、データバスの他に電源バスや制御バスや状態信号バスも含まれるが、これらは全て本分野で公知のものであるので、本文ではこれ以上詳細に記載しない。
【００７５】
前記ネットワークインターフェース７０１は、ネットワーク（例えばインターネットやＬＡＮなど）と接続可能であり、且つ、取得したビデオフレームデータをハードディスク７０５中に保存可能である。
【００７６】
前記入力装置７０３は、オペレータが入力する各種コマンドを受信可能であり、そしてプロセッサ７０２へ送信して実行される。前記入力装置７０３は、キーボードやクリックデバイス（例えば、マウス、トラックボール（track  ball）、タッチパネル、タッチスクリーンなど）であって良い。
【００７７】
前記表示装置７０６は、プロセッサ７０２がコマンドを実行して得た結果を表示することができる。例えば、現在処理しているビデオフレームまでの人数カウント結果などをリアルタイムに表示する。
【００７８】
前記メモリ７０４は、操作システムの実行に必須のプログラムとデータの記憶、及び、プロセッサ７０２の計算過程の中間結果等のデータの記憶、のためのものである。
【００７９】
本発明の実施例のメモリ７０４は、揮発性メモリまたは不揮発性メモリであっても良いし、あるいは揮発性メモリと不揮発性メモリの両方を含んでも良い、と理解すべきである。なお、不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、書き込み可能なＲＯＭ（ＰＲＯＭ）、書込と消去が可能なＲＯＭ（ＥＰＲＯＭ）、通常電圧印加で書込と消去が可能なＲＯＭ（ＥＥＰＲＯＭ）またはフラッシュメモリであって良い。揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、書き込み可能なＲＯＭ（ＰＲＯＭ）、書込と消去が可能なＲＯＭ（ＥＰＲＯＭ）、通常電圧印加で書込と消去が可能なＲＯＭ（ＥＥＰＲＯＭ）またはフラッシュメモリであって良い。本文に記載の装置と方法のメモリ７０４は、これらのものに限らず、任意のその他の適切なタイプのメモリを含む。
【００８０】
幾つかの実施方式において、メモリ７０４には、実行可能なモジュールまたはデータ構造、或いはそれらのサブセット、或いはそれらのエクステンションセット、ＯＳ７４０１、アプリケーションプログラム７０４２、の要素が記憶されている。
【００８１】
なお、ＯＳ７４０１は、例えばフレーム層やコアライブラリ層やドライバ層等の各種システムプログラムを含み、さまざまな基本業務及び処理がハードウェアのタスクに基づき実現するのに用いられる。アプリケーションプログラム７０４２は、例えばブラウザ（Browser）等の各種アプリケーションプログラムを含み、各種アプリケーションタスクの実現に用いられる。本発明の実施例の方法を実現するためのプログラムは、アプリケーション７０４２に含まれてもよい。
【００８２】
本発明の上記実施例で示した方法はプロセッサ７０２中で応用可能であるか、或いはプロセッサ７０２によって実現する。プロセッサ７０２は、集積回路チップであり、信号処理能力を具備する。実現過程において、上記方法の各ステップは、プロセッサ７０２のハードウェアの集積論理回路又はソフトウェア形式のコマンドによって完成することが可能である。上記のプロセッサ７０２は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理回路、離散トハードウェアコンポーネントであっても良く、本発明の実施例に開示されている各方法及びステップ及び論理ブロック図を実行または実行可能である。汎用プロセッサは、マイクロプロセッサであっても良く、或いは該プロセッサも任意の通常のプロセッサなどで良い。本発明の実施例が開示の方法を組み合わせたステップは、ハードウェアに直接体現して解読プロセッサが実行を完成させることもできるし、或いは、解読プロセッサ中のハードウェア又はソフトウェアモジュールの組み合わせを用いて実行を完成させても良い。ソフトウェアモジュールはＲＡＭ、フラッシュメモリ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ等の本分野で成熟した記憶媒体にあっても良い。該記憶媒体はメモリ７０４にあり、プロセッサ７０２はメモリ７０４中の情報を読み取り、そのハードウェアが組み合わさって上記方法のステップが完成する。
【００８３】
本文に記載のこれらの実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの任意の組合せに実装できると理解されるべきである。ハードウェアで実現する場合、プロセッサは一つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタルシグナル処理デバイス（ＤＳＰＤ）、プログラム可能論理回路（ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、汎用プロセッサ、コントローラ、マイクロ・コントローラ、マイクロプロセッサ、本願に記載の機能を実行するためのその他の電子ユニット、或いはこれらの組み合わせに実装できる。
【００８４】
ソフトウェアで実現する場合、本文に記載の機能を実行するモジュール（例えばプログラム、関数など）によって本文に記載の技術を実現できる。ソフトウェアコードは、メモリに記憶され、プロセッサによって実行することができる。メモリはプロセッサの中、或いはプロセッサの外に実装できる。
【００８５】
具体的に、前記コンピュータプログラムがプロセッサ７０２によって実行される際は、前記動画ソースのビデオフレームがパノラマビデオフレームである場合、前記第一サブセットの画像の姿勢パターンを推定するステップの前に、前記第一サブセットと第二サブセットの画像に対してパノラマ画像変換処理を行い、前記第一サブセットと第二サブセットの画像を更新するステップを実現することも可能である。
【００８６】
具体的に、前記コンピュータプログラムがプロセッサ７０２によって実行される際は、透視投影変換アルゴリズムにより、前記第一サブセットと第二サブセットの画像を更新するステップを実現することも可能である。
【００８７】
具体的に、前記コンピュータプログラムがプロセッサ７０２によって実行される際は、第一サブセットの推定対象画像に対して、前記推定対象画像と同じ人物ＩＤを具備する画像の連続ビデオフレーム中の位置変化に基づき、前記推定対象画像の移動方向を予測するステップと、前記移動方向と第一ビデオフレームの赤道の夾角を計算し、所定の角度と姿勢パターンとの間の対応関係に基づき、該夾角が対応する姿勢モードを決定して、前記推定対象画像の姿勢パターンとするステップと、を実現することも可能である。
【００８８】
具体的に、前記コンピュータプログラムがプロセッサ７０２によって実行される際は、第一サブセットの画像と、該画像の人物ＩＤと、姿勢パターンと、該画像の所属ビデオフレーム中の位置情報及び所属ビデオフレームのタイムスタンプ情報とを、前記画像ライブラリ中の同一人物ＩＤの同一姿勢パターンのレコードに保存するステップを実現することも可能である。
【００８９】
具体的に、前記コンピュータプログラムがプロセッサ７０２によって実行される際は、深層学習アルゴリズムにより、前記第二サブセットの認識対象画像を、前記画像ライブラリ中の各画像と認識し、評点が最高であるＮ個の候補画像を得るステップであり、Ｎは１より大きい整数であるステップと、前記認識対象画像と前記候補画像の位置情報に基づいて位置類似度を計算し、前記認識対象情報と前記候補画像のタイムスタンプ情報に基づいて時間類似度を計算し、前記位置類似度と時間類似度に対して重みづけして和を求め、前記候補画像の類似度評点を得るとともに、類似度評点が最高である候補画像を、前記ターゲット画像として決定するステップと、を実現することも可能である。
【００９０】
本発明の技術分野に属する当業者は、上記のシステム、装置及びユニットの具体的な作業過程について、上記実施例で述べられた対応過程に参照して説明可能なことが明らかであるために、説明上簡潔且つ便宜を理由に、詳細な説明を省略する。
【００９１】
本発明が提供する実施例において開示された方法及び装置は別の形態でも実現可能であると理解すべきである。例えば、上記記載された装置は模式的なものに過ぎない。例えば、前記ユニットの分割は論理的な機能の割り当ての一例に過ぎず、実際に実現する際に別の分割方式を採用しても良い。例えば、複数のユニットまたはモジュールを組み合わせるか、別のシステムに集約し、または、一部の機能を省略し、若しくは実行しなくてもよい。なお、上記表示または開示された相互的な接続または直接な接続若しくは通信可能な接続は、インターフェースを介した接続である。装置やユニット同士の間接的な接続または通信可能な接続は、電気的または機械的もしくは他の形態の接続でよい。
【００９２】
前記分離部材として説明したユニットは物理的に分離してもしなくてもよい。ユニットとして表示する部材は物理的なユニットであってもでなくてもよい。即ち、同一の場所にしてよく、複数のネットワークユニット上に分散してもよい。実際の需要に応じてその中の一部または全部のユニットを選択して本発明の実施例の目的を実現する。
【００９３】
また、本発明の各実施例にかかる各機能的ユニットは、１つの処理ユニットに集約しても良く、物理的に単独でもよく、２つでも、２つ以上で一つのユニットとして集約してもよい。
【００９４】
前記機能は、ソフトウェア機能ユニットの形で実現し、且つ、独立製品として販売または使用する場合に、コンピュータ読取り可能な記憶媒体に記憶することができる。この場合に、本発明の技術方案は本質的、または従来技術に貢献する部分若しくは前記技術方案の部分はソフトウェア製品の形で表現される。前記コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ装置（パーソナルコンピュータ、サーバ、或はネットワークデバイスなど）に本発明の各実施例にかかる前記方法の全部或は一部のステップを実行させる複数の指令を含む。なお、前述の記憶媒体は、ＵＳＢメモリ、リムーバブルディスク、ＲＯＭ、ＲＡＭ、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。
【００９５】
以上は本発明の具体的な実施形態ではあるが、本発明の保護範囲を限定するものではない。本発明に開示される技術範囲内で、本技術分野に属する当業者が容易に想到される変化または置換は、本発明の保護範囲内に含めるべきである。したがって、本発明の保護範囲は権利要求の保護範囲を準じるべきである。
【図１】
2020068030.tif 000003
【図２】
2020068030.tif 000004
【図３】
2020068030.tif 000005
【図４】
2020068030.tif 000006
【図５】
2020068030.tif 000007
【図６】
2020068030.tif 000008
【図７】
2020068030.tif 000009