(57)【要約】  群集推定手法の性能モデリングのための方法及びシステムが提供される。群集推定手法のモデリングのためのシステムは、画像内における群集の群集カウントを推定する１以上の群集推定モジュールと、１以上の群集推定モジュールのそれぞれに対する性能モデリングモジュールを含む。性能モデリングモジュールは、対応する群集推定手法の複数の性能を複数の群集レベルで決定し、群集推定手法の性能を、群集推定手法の複数の性能に応答してモデリングする。【選択図】図２
2021516393.tif 000002
【特許請求の範囲】
【請求項１】
対応する複数の群集レベルで群集推定手法の複数の性能を決定し、
群集推定手法の複数の性能に応答して群集推定手法の性能をモデリングする群集推定手法の性能モデリング方法。
【請求項２】
前記複数の群集レベルは、第１の群集レベルと、該第１の群集レベルより低い第２の群集レベルを含む請求項１に記載の群集推定手法の性能モデリング方法。
【請求項３】
前記群集推定手法の複数の性能を決定することは、複数の注目位置で群集推定手法の複数の性能を決定することをさらに含む請求項１又は２に記載の群集推定手法の性能モデリング方法。
【請求項４】
前記群集推定手法の性能をモデリングすることは、前記群集推定手法の複数の性能の誤差分布を決定することを含む請求項１から３何れか１項に記載の群集推定手法の性能モデリング方法。
【請求項５】
前記群集推定手法の複数の性能の誤差分布を決定することは、前記複数の性能のそれぞれの群集カウントの誤差を決定することを含む請求項４に記載の群集推定手法の性能モデリング方法。
【請求項６】
前記群集推定手法の複数の性能の誤差分布を決定することは、前記群集推定手法の性能のインディケータとして、前記群集推定手法の複数の性能のそれぞれに対する誤差分布の標準偏差を決定することを含む請求項４又は５に記載の群集推定手法の性能モデリング方法。
【請求項７】
前記群集推定手法の性能をモデリングすることは、前記群集推定手法の複数の性能の精度メトリックを決定することを含む請求項１から３何れか１項に記載の群集推定手法の性能モデリング方法。
【請求項８】
前記精度メトリックはＦスコアを含み、前記群集推定手法の複数の性能の精度メトリックを決定することは、前記群集推定手法の複数の性能のＦスコアの分散を決定することを含む請求項７に記載の群集推定手法の性能モデリング方法。
【請求項９】
前記複数の群集推定手法の性能の精度メトリックを決定することは、更に、前記複数の群集推定手法の性能のＦスコアの平均に対するＦスコア分布を決定することを含み、前記複数の群集推定手法の性能のＦスコアの分散と、前記複数の群集推定手法の性能のＦスコアの平均に対するＦスコア分布との双方に応答して、前記群集推定手法の性能のインディケータを決定することを更に含む請求項８に記載の群集推定手法の性能モデリング方法。
【請求項１０】
群集推定手法の性能モデリングのためのシステムであって、
画像内における群集の群集カウントを推定する１以上の群集推定モジュールと、
前記１以上の群集推定モジュールのそれぞれに対し、対応する群集推定手法の複数の性能を複数の群集レベルで決定し、前記群集推定手法の性能を、前記群集推定手法の複数の性能に応答してモデリングする性能モデリングモジュールとを備えるシステム。
【請求項１１】
前記複数の群集レベルは、第１の群集レベルと、該第１の群集レベルより低い第２の群集レベルを含む請求項１０に記載のシステム。
【請求項１２】
前記性能モデリングモジュールは、更に、複数の注目位置での群集推定手法の複数の性能を決定する請求項１０又は１１に記載のシステム。
【請求項１３】
前記性能モデリングモジュールは、記複群集推定手法の複数の性能の誤差分布を決定することにより、前記群集推定手法の性能をモデル化する請求項１０から１２何れか１項に記載のシステム。
【請求項１４】
前記性能モデリングモジュールは、前記複数の性能のそれぞれの群集カウントの誤差を決定することにより、前記群集推定手法の複数の性能の誤差分布を決定することを含む請求項１３に記載のシステム。
【請求項１５】
前記性能モデリングモジュールは、前記群集推定手法の性能のインディケータとして、前記群集推定手法の複数の性能のそれぞれに対する誤差分布の標準偏差を決定することにより、前記群集推定手法の複数の性能の誤差分布を決定する請求項１３又は１４に記載のシステム。
【請求項１６】
前記性能モデリングモジュールは、前記群集推定手法の複数の性能の精度メトリックを決定することにより、前記群集推定手法の性能をモデル化する請求項１０から１２何れか１項に記載のシステム。
【請求項１７】
前記精度メトリックはＦスコアを含み、前記性能モデリングモジュールは、前記群集推定手法の複数の性能のＦスコアの分散を決定することにより、前記群集推定手法の複数の性能の精度メトリックを決定する請求項１６に記載のシステム。
【請求項１８】
前記性能モデリングモジュールは、更に、前記群集推定手法の複数の性能のＦスコアの平均に対するＦスコア分布を決定し、前記群集推定手法の複数の性能のＦスコアの分散と、前記群集推定手法の複数の性能のＦスコアの平均に対するＦスコア分布との双方に応答して、前記群集推定手法の性能のインディケータを決定する請求項１７に記載のシステム。
【請求項１９】
プロセッサにより実行されるプログラムが格納されるコンピュータ可読媒体であって、前記プログラムは前記プロセッサに、
対応する複数の群集レベルで群集推定手法の複数の性能を決定し、
前記群集推定手法の複数の性能に応答して前記群集推定手法の性能をモデリングすることを実行させる、コンピュータ可読媒体。
【請求項２０】
前記複数の群集レベルは、第１の群集レベルと、該第１の群集レベルより低い第２の群集レベルを含み、前記群集推定手法の複数の性能を決定することは、複数の注目位置で群集推定手法の複数の性能を決定することをさらに含む請求項１９に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、全般的に、群集推定のための方法及びシステムに関し、特に複数の群集推定手法の性能モデリングのための方法及びシステムに関する。
【背景技術】
【０００２】
多くのセキュリティシステムは、群集が形成されたエリアを観察し、多くの状況において、徒歩でエリアを通過する人を監視するため、或いは群集に対応するためにエリアにサービスを提供するため、又は他の理由のために、群集のサイズを推定する必要がある。群集のレベルを推定し、群集における人の数を発見する多数の手法がある。それら手法は、背景差分ベースのブロブ（blob）カウントなどの単純な画素レベルの手法から、人体部位検出及び複合頭部パターン生成などの複雑なパターン認識手法までの範囲に及ぶ。各手法は、それぞれの長所及び短所を有する。
【０００３】
単一の群集推定手法は、全ての環境及び群集状況に対して適していない可能性がある。例えば、背景差分手法は、人物の重なり（すなわちオクルージョン）がある場合、性能が劣る。同様に、人体部位認識は、高い群集密度でのオクルージョンの場合に影響を受け、それによりその手法の精度が低下する。一方、複合頭部パターン手法は、複合頭部パターンを学習するという基本的な概念により、群集密度が高い場合に性能が向上することが確認されているものの、まばらな群集レベル又は低い群集密度で精度が低い傾向にある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従って、さまざまな群集の状態及び群集の位置において向上した精度を提供する、リアルタイム群集レベル推定のための方法及びシステムが求められる。さらに、他の望ましい特徴及び特性は、添付の図面及び本開示のこの背景と共に、以下の詳細な説明および添付の請求の範囲から明らかになるであろう。
【課題を解決するための手段】
【０００５】
本開示の少なくとも１つの実施形態によれば、群集推定手法の性能モデリング方法が提供される。方法は、対応する複数の群集レベルで群集推定手法の複数の性能を決定し、群集推定手法の複数の性能に応答して群集推定手法の性能をモデリングすることを含む。
【０００６】
本開示の他の実施形態によれば、群集推定手法の性能モデリングのためのシステムが提供される。システムは、画像内における群集の群集カウントを推定する１以上の群集推定モジュールと、前記１以上の群集推定モジュールのそれぞれに対する性能モデリングモジュールとを含む。性能モデリングモジュールは、対応する群集推定手法の複数の性能を複数の群集レベルで決定し、前記群集推定手法の性能を、前記群集推定手法の複数の性能に応答してモデリングする。
【０００７】
さらに、他の実施形態によれば、コンピュータ可読媒体が提供される。コンピュータ可読媒体は、プロセッサにより実行された場合、プロセッサに方法を実行させるプログラムが格納される。方法は、対応する複数の群集レベルで群集推定手法の複数の性能を決定し、前記群集推定手法の複数の性能に応答して前記群集推定手法の性能をモデリングすることを実行させることを含む。
【図面の簡単な説明】
【０００８】
添付の図面において、同じ参照符号は、個別の図全体を通して同一又は機能的に同様の要素を指し、以下の詳細な説明と共に本明細書に組み込まれ、その一部を形成し、様々な実施形態を説明し、本開示の実施形態にかかる様々な原理及び利点を説明するのに役立つ。 
【図１Ａ】図１Ａは、本実施形態に係るフロントエンド群集レベル推定の図を示し、図１Ａは群集の画像をキャプチャするように配置されたカメラを示す。
【図１Ｂ】図１Ｂは、本実施形態に係るフロントエンド群集レベル推定の図を示し、図１Ｂはカメラによりキャプチャされた群集の画像を示す。
【図２】図２は、本実施形態の第１の態様に係る群集レベル推定のためのシステムの図を示す。
【図３】図３は、本実施形態の第２の態様に係る群集レベル推定のためのシステムの図を示す。
【図４】図４は、本実施形態の第２の態様に係る性能モデリングのフローチャートを示す。
【図５Ａ】図５Ａは、本実施形態の第２の態様に係る高い群集レベルの群集の群集推定の誤差分布のグラフを示す。
【図５Ｂ】図５Ｂは、本実施形態の第２の態様に係る低い群集レベルの群集の群集推定の誤差分布のグラフを示す。
【図６】図６は、本実施形態に係る２つの群集レベルに対するＦスコア分散のグラフを示す。
【図７】図７は、本実施形態の第３の態様に係る群集レベル推定のためのシステムの図を示す。
【図８】図８は、本実施形態に係る空間画素変動群集推定手法を示す。
【図９】図９は、本実施形態に係る自動群集推定手法切り替えを示す。
【図１０】図１０は、本実施形態に係る群集レベル推定のための方法のフローチャートを示す。
【図１１】図１１は、本実施形態に係る最良の群集推定手法を選択するためのフローチャートを示す。
【図１２】図１２は、本実施形態に係るコンピュータ装置の構成例を示す。  当業者は、図中の要素は単純かつ明瞭に図示され、必ずしも縮尺通りに描かれていないことを理解するであろう。
【発明を実施するための形態】
【０００９】
以下の詳細な説明は、本質的に単なる例示であり、本開示、又は本開示の適用及び使用を制限することを意図していない。さらに、先行する発明の背景又は以下の詳細な説明に提示される理論にとらわれる意図はない。本実施形態の意図は、ロバストかつ最適化されたリアルタイム群集推定のための方法及びシステムを提供することにある。詳細に分析すると、互いに補完することができる複数の手法を識別、及び／又はモデル化することができる。本実施形態によれば、これら群集推定手法を現在の群集レベル（低い群集レベル、高い群集レベル）及び他のパラメータに依存して自動的に切り替える方法及びシステムは、これら利点を利用して、最適化された群集推定を提供する。本明細書を通して、高い／低い群集レベルは離散的な群集レベルを意味し、離散的な群集密度の尺度として考えられるべきではないことに注意されたい。
【００１０】
図１Ａを参照すると、イラスト１００は、場所１０４にいる群集１０２と、場所１０４にいる群集１０２の画像を撮影するように構成されたカメラ１０６とを示す。図１Ｂは、画像１５４、１５６を取り込むメディア１５２のイラスト１５０を示す。画像１５４は、高い群集レベル（第１の群集レベル）の画像であり、画像１５６は，低い群集レベル（第２の群集レベル）の画像である。
【００１１】
図２を参照すると、図解２００は、本実施形態の第１の態様による群集推定のためのシステムを示す。システムは、群集１０２の映像を受信する入力モジュール２０２を含む。本実施形態によれば、複数の群集推定手法計算機２０４は、入力モジュール２０２から群集１０２の画像を受け取り、それから群集カウント２０５を推定する。同数の性能モデリングモジュール２０６は、群集推定手法計算機２０４のそれぞれに結合され、異なる群集レベル、及び／又は異なる場所で、複数の群集推定手法のそれぞれをその精度に基づいてモデリングする。
【００１２】
群集推定手法統合モジュール２０８は、複数の群集推定手法の１つ又はそれより多数を、その性能モデリングと、推定された群集レベル及び／又は推定された場所とに応答して選択する。群集推定手法統合モジュール２０８は、その後、選択した１つ又はそれより多い群集推定手法に従って、受信された画像における群集の群集カウントを推定し、最終群集カウント２１０を出力する。
【００１３】
従って、個々の群集推定手法の性能モデルは、受信画像フレームを使用することにより、異なる群集レベルで生成され、異なる群集推定手法について推定された群集カウントが生成される。群集レベル推定方法は、どの推定された群集カウントを選択するか、或いは高い信頼値を割り当てるかを決定する。本実施形態によれば、入力モジュール２０２は、群集の画像を受信することができ、群集の画像内に関心領域を決定することができる。群集推定手法統合モジュール２０８は、群集の画像内の関心領域における群集の群集レベル、又は群集の画像内の関心領域における群集の場所の１つ又は双方を推定する。
【００１４】
あるいは、入力モジュール２０２は、群集の画像を受信し、画像を複数のサブ領域に分割することができる。入力モジュールは、画像を撮影したカメラ１０６の視点、又は他の基準を考慮して、群集の画像を複数のサブ領域に分割できる。群集推定手法統合モジュール２０８は、対応する複数の性能モデリングモジュール２０６の１つによる、複数の群集推定手法の１つ又は複数の性能のモデルと、複数のサブ領域の１つに対して推定された群集レベル、及び／又は推定された場所に応答して、複数のサブ領域のそれぞれについて、複数の群集推定手法計算機２０４の１つ又はそれより多数を選択できる。群集推定手法統合モジュール２０８は、次いで、複数のサブ領域のそれぞれについて選択された複数の群集推定手法に従って、１つ又はより多い複数のサブ領域のそれぞれにおける群集の群集カウントを推定する。最後に、群集推定手法統合モジュール２０８は、複数のサブ領域のそれぞれについて推定された群集カウントを結合し、受信された画像における群集の最終群集カウント２１０を得る。
【００１５】
本実施形態によれば、複数の性能モデリングモジュール２０６は、複数の群集推定手法のそれぞれに、その性能モデルに従って、リアルタイム信頼値を割り当てることができる。システムは、複数の群集推定手法の１つのリアルタイム信頼値が信頼しきい値より低い場合、複数の群集推定手法計算機２０４の１つを選択から取り除く、群集推定手法統合モジュール２０８に結合される信頼値オブザーバ２１２を含むことができる。
【００１６】
群集推定手法統合モジュール２０８は、複数の群集推定手法計算機２０４のうちの複数のものを更に選択し、複数の群集推定手法計算機２０４からの群集推定結果（群集カウント）２０５を結合し、受信された画像内の群集の群集カウントを推定できる。本実施形態によれば、群集推定手法統合モジュール２０８は、複数の群集推定手法計算機２０４からの群集推定結果２０５を、そのリアルタイム信頼値に従って動的に結合し、受信された群集１０２の画像における群集の最終群集カウント２１０を推定できる。群集推定結果２０５は、逆加重和アプローチに従って、又は正規化加重和アプローチに従って結合されることができる。
【００１７】
図解２００において示されたシステムの更なる強化は、入力モジュール２０２と群集推定手法統合モジュール２０８の間に結合された前景測定モジュール２１４を追加し、群集の画像の前景における群集レベルを測定し、複数の群集推定手法計算機２０４の１つ又はそれより多数を選択する場合に群集推定手法統合モジュール２０８により使用される、推定された群集レベルを提供することを含むことができる。
【００１８】
図３を参照すると、図解３００は、本実施形態の第２の態様に係る群集レベル推定のためのシステムを示す。図解３００に示されるシステムは、１つ又はそれより多数の群集推定手法計算機２０４のぞれぞれのための、対応する群集推定手法計算機２０４の複数の性能を複数の群集レベル（例えば群集レベルＨＩＧＨ、群集レベルＬＯＷ）で決定し、複数の群集レベルでの群集推定手法計算機２０４の複数の性能に応答して群集推定手法計算機２０４の性能をモデリングする性能モデリングモジュール２０６により、群集推定手法の性能モデリングを実施する。
【００１９】
性能モデリングモジュール２０６の性能モデリング動作は、図４のフローチャート４００に示される。性能モデリングモジュール２０６のそれぞれは、異なる群集レベルの画像を収集し（ステップ４０２）、それら画像を低群集画像及び高群集画像に分類する（ステップ４０４）。各性能モデリングモジュール２０６は、その後、対応する群集推定手法計算機２０４の性能を、異なる群集レベルでの群集推定手法計算機２０４の複数の性能に応答してモデル化する（ステップ４０６）。
【００２０】
図３に戻り、性能モデリングモジュール２０６は、注目位置において対応する群集推定手法計算機２０４の複数の性能を決定し、注目位置における群集推定手法計算機２０４の複数の性能に応答して群集推定手法計算機２０４の性能をモデル化することもできる。
【００２１】
本実施形態によれば、性能モデリングモジュール２０６は、群集推定手法計算機２０４の性能のインディケータとして、複数の性能のそれぞれに対する群集カウントの誤差によって群集推定手法の複数の性能の誤差分布３０２を決定し、及び／又は群集推定手法の複数の性能のそれぞれに対して誤差分布の標準偏差を決定するなどにより、対応する群集推定手法計算機２０４の性能をモデル化し得る。
【００２２】
図５Ａ及び５Ｂを参照すると、グラフ５００及び５５０は、本実施形態の第２の態様に係る群集推定の誤差分布を示す。グラフ５００は、高群集レベルの群集の群集推定の誤差分布のグラフを示し、グラフ５５０は、低群集レベルの群集の群集推定の誤差分布のグラフを示す。異なる群集レベルの画像サンプルを用いた群集推定手法計算機２０４の精度の検証は、本実施形態係る性能モデリングモジュール２０６により、考えられる群集レベルでの誤差分布３０２を生成するために使用され、誤差は群集推定における実際の人数からの偏差を示す。
【００２３】
誤差分布３０２の標準偏差（σ）は、群集推定手法計算機２０４の適合性を示す。カウント推定誤差が小さい場合、σは小さい。グラフ５５０に示される低い群集レベルσについて、誤差分布は、高い群集レベル（すなわち分布グラフ５００に示されるように）に比べて、低い群集レベルに対して群集推定手法計算機２０４がより少ない誤差を有することを示す。標準偏差の計算は、下記式（１）に示される。
【数１】
2021516393.tif 000003
ここで、Ｍはサンプルの数であり、ｘｉはｉ番目のサンプルの誤差である。式１は、σｌｏｗ＜＜σｈｉｇｈならば、対応する性能モデリングモジュール２０６により性能モデル化された特定の群集推定手法計算機２０４は、低い群集レベル推定に適していることを示す。
【００２４】
図３に戻り、性能モデリングモジュール２０６は、代替的に、Ｆスコアを含み得る、群集推定手法の複数の性能の精度メトリックを決定することにより、対応する群集推定手法計算機２０４の性能をモデル化してもよく、性能モデリングモジュール２０６は、群集推定手法の複数の性能のＦスコア３０４の分散を決定することにより、対応する群集推定手法計算機２０４の複数の性能の精度メトリックを決定する。Ｆスコアは、検出されなかった人の数、及び人と誤って検出された他の領域とに基づく性能の尺度である。性能モデリングモジュール２０６は、群集推定手法計算機２０４の複数の性能のＦスコアの平均に対するＦスコア（Ｆスコア分布）３０４の分散を決定してもよく、その後、群集推定手法計算機２０４の複数の性能のＦスコアの分散と、群集推定手法計算機２０４の複数の性能のＦスコアの平均に対するＦスコア分布との双方に応答して、群集推定手法計算機２０４の性能のインディケータを決定し得る。
【００２５】
図６は、群集レベル６０２と他の群集レベル６０４とにおけるＦスコア分散を示すグラフ６００を示す。異なる群集レベルでのサンプルに対するＦスコアは、それら群集レベルでのＦスコア分散を求めるために使用される。特定の群集レベルでのＦスコアの分散Ｖ（Ｆｃｒ）は、下記式（２）から計算されることができる。
【数２】
2021516393.tif 000004
ここで、ｃｒは低又は高群集レベルであり、Ｍはサンプルの数であり、μはＦスコアの平均であり、Ｆｃｒｉ、はｉ番目のサンプルに対するＦスコアである。Ｖ（Ｆｌｏｗ）＜＜Ｖ（Ｆｈｉｇｈ）、かつμｌｏｗ＞＞μｈｉｇｈであれば、対応する性能モデリングモジュール２０６により性能モデル化された特定の群集推定手法計算機２０４は、低群集レベル推定に適している。
【００２６】
図７を参照すると、図解７００は、本実施形態の第３の態様に係る群集レベル推定のためのシステムを示す。この第３の態様によれば、群集レベル推定モジュール７０２は、最も適切な群集推定手法計算機２０４を選択することにおいて使用するために、群集推定手法統合モジュール２０８に推定された群集レベルを提供する。群集レベル推定モジュール７０２は、群集密度レベルに応答して、入力モジュール２０２により受信された入力画像内の群集の群集レベルを推定できる。これは、画像内の関心領域にフォーカスすることにより達成されることができる。入力モジュール２０２は、群集の入力画像を受信し、群集の入力画像内に関心領域を決定できる。その後、群集レベル推定モジュール７０２は、入力画像の関心領域における群集密度レベルに応答して、その関心領域内の群集の群集レベルを推定できる。
【００２７】
群集レベル推定モジュール７０２は、複数の群集レベルのそれぞれの空間変動を、画素密度変動に応じてモデル化し、群集レベル空間変動の複数のモデルを生成する空間画素変動モデル構築ユニット７０４を含み得る。群集レベル推定モジュール７０２は、空間画素変動モデル構築ユニット７０４により構築された群集レベル空間変動のモデルのそれぞれに対する群集の入力画像の類似度を決定し、最も類似する群集レベル空間変動のモデルに応じて入力画像内の群集の群集レベルを推定することにより、自動群集推定手法切替７０６のための群集レベルを推定できる。
【００２８】
最も類似する群集レベル空間変動の決定に関して、群集レベル推定モジュール７０２は、群集の入力画像と群集レベル空間変動の複数のモデルのそれぞれとの類似度の確率密度関数に応じて、入力画像内の群集の群集レベルを推定できる。より詳細には、群集レベル推定モジュールは、群集の入力画像と群集レベル空間変動の複数のモデルのそれぞれとの類似度の確率密度関数により決定される、群集レベル空間変動の複数のモデルのうち最も適合するモデルに応じて入力画像内の群集の群集レベルを推定する。
【００２９】
空間画素変動モデル構築ユニット７０４は、グレースケール群集ヒストグラム、赤、緑、青（ＲＧＢ）群集ヒストグラム７０８、群集局所バイナリパターン７１０、及び群集テクスチャ７１２の１以上に応じて、群集レベル空間変動の複数のモデルを生成できる。群集レベル推定モジュール７０２の自動群集推定手法切替７０６は、入力画像内の群集の推定された離散的なレベルに応じて、群集推定手法を切り替えることができる。
【００３０】
このように、低い群集レベル及び高い群集レベルなどの群集レベルは、推定された群集レベルにおいてより良好に動作する群集推定手法計算機２０４を選択するため、又は高い信頼値を割り当てるために推定される。群集レベル推定モジュール７０２は、空間画素変動モデル構築ユニット７０４により構築される第１の空間画素変動モデルと、自動群集推定手法切替７０６とにより実現される。
【００３１】
図８を参照すると、フローチャート８００及びイラスト８２０は、推定は群集レベルの空間変動を空間画素変動モデル構築ユニット７０４によりモデル化することに基づく群集レベル推定モジュール７０２の動作を示す。フローチャート８００は、本実施形態に係る空間変動モデル化処理を示す。注目位置において（ステップ８０２）、カメラ１０６は、群集１０２の画像を取得する（ステップ８０４）。要求される群集レベル（例えば、高い群集レベル又は低い群集レベル）について、群集の訓練画像が抽出される（ステップ８０６）。その後、訓練画像から空間画素変動が抽出され（ステップ８０８）、要求される群集レベルについて空間画素変動モデルが展開される（ステップ８１０）。
【００３２】
イラスト８２０を参照すると、フローチャートのステップのそれぞれが図示されている。イラスト８３０において、場所（注目位置）１０４を監視するカメラ１０６が選択される。イラスト８４０において、ビデオ（メディア１５２）は、画像１５４における高い群集レベルから画像１５６における低い群集レベルまでの範囲の異なる群集レベルをカバーする注目位置１０４から記録される。
【００３３】
イラスト８５０は、高い群集レベルの訓練画像８５２及び低い群集のレベルの訓練画像８５４が抽出される、フローチャート８００のステップ８０６に対応する。このようにして、フローチャート８００のステップ８０４において記録されるビデオ（ビデオクリップ）１５２から、「人がいないケース」から「フルに混雑しているケース」をカバーする異なる群集レベルでの群集レベルが異なる訓練画像（画像フレーム）８５２、８５４が抽出される。
【００３４】
次のステップ８０８にて、空間画素変動が抽出される。空間画素変動を抽出するためのヒストグラム手法が、イラスト８６０において例として提供される。画像のグレースケールヒストグラムは、ビンと呼ばれる離散的な画素強度レベルでグループ化された画素強度の頻度表現である。抽出された全ての画像フレーム８５２、８５４のグレースケースヒストグラム８６２、８６４は、２５６ビンで記録される。画像とヒストグラムのペアは、画像フレーム８５２及び８５４に含まれる人の数に基づいて、高群集レベル画像フレーム８５２及びヒストグラム８６２と、低群集レベル画像フレーム８５４及びヒストグラム８６４とにグループ化される。
【００３５】
各群集レベルにおいて、全ての画像とヒストグラムのペアを考慮して、ビンごとの頻度平均が実施される。平均化は、イラスト８７０に示されるように、各群集レベルに対してヒストグラム８７２、８７４を形成する。動作において、入力画像（画像フレーム）１５４、１５６は、各画像フレームの群集レベルを推定するために、それらヒストグラムモデル８７２、８７４と比較される。
【００３６】
図９を参照すると、フローチャート９００及びイラスト９２０は、推定は自動群集推定手法切替７０６（図７）による自動群集推定手法切替に基づく群集レベル推定モジュール７０２の動作を示す。フローチャート９００は、本実施形態に係る自動群集推定手法切替処理を示す。注目位置において（ステップ９０２）、カメラ１０６は群集１０２の画像のライブストリームビデオを取得する（ステップ９０４）。その後、取得された画像から空間画素変動が抽出され（ステップ９０６）、類似度決定に基づく確率計算により、群集レベル推定が実施される（ステップ９０８）。処理は、その後、適切な群集推定手法計算機２０４を選択、又は統合する（ステップ９１０）。
【００３７】
イラスト９２０を参照すると、フローチャートの各ステップが図示されている。イラスト９３０において、カメラ１０６は、注目位置１０４のライブビデオストリームを開始する。イラスト９４０において、群集の画像フレーム９４２の自動的、周期的なキャプチャが注目位置１０４について開始される。ユーザは、画像フレームキャプチャ９４４の適切な時間間隔を定義することができる。
【００３８】
次のステップ９０６において、空間画素変動が抽出される。空間画素変動９５０を抽出するための例示的なヒストグラム手法は、離散的な画素強度レベルでグループ化された画素強度の頻度表現として、画像のグレースケールヒストグラム９５２を抽出する。
【００３９】
次のステップ９０８にて、ヒストグラム９５２は、イラスト（モデル構築ステージ）８７０（図８）において生成された全てのヒストグラムモデル８７２、８７４と比較される。ヒストグラム９５２は、イラスト９６２にてヒストグラム８７２と比較され、イラスト９６４にてヒストグラム８７４と比較される。比較は、入力画像フレームのヒストグラム９５２とヒストグラムモデル８７２、８７４との間の類似スコアを計算することにより実施される。類似度計算方法の例は、相関法、バッタチャリヤ（Bhattacharya）距離法、カイ二乗（Chi-square）法、及び交差（intersection）法を含む。類似度計算は、各類似方法が、入力画像フレームが高い群集レベル（イラスト９６２）又は低い群集レベル（イラスト９６４）のどちらに似ているかかについての分類器として作用する結果となる。
【００４０】
例えば、各方法が、４つの異なる類似度計算によって入力画像フレーム９４２のヒストグラムと比較されるヒストグラム８７２又は８７４を出力する４つの異なる画素変動モデリング方法の使用は、１６の分類をもたらす。確率密度関数（ＰＤＦ：Probability Density Function）は、式（３）及び（４）に示されるように、それら１６の分類に基づいて構築されることができる。
【数３】
2021516393.tif 000005
【数４】
2021516393.tif 000006
【００４１】
ステップ９１０にて、入力画像フレーム９４２は、ステップ９０８で計算された最も高い確率に基づいて特定の群集レベルに分類される。ステップ９１０における群集推定手法選択のため、推定された群集レベルにおいて、σ又はＶ（Ｆｃｒ）が最も低く、Ｆｃｒが高い群集推定手法計算機２０４が選択される。
【００４２】
ステップ９１０における群集推定手法統合のために、式（５）を用いて最終カウント推定（Ｆｃｏｕｎｔ）が計算される。
【数５】
2021516393.tif 000007
ここで、ｉ＝１からＮ群集推定手法であり、Ｚｒｉは式（６）により計算される再重み信頼値である。
【数６】
2021516393.tif 000008
ここでＺｎｏｒｍｉは、［０，１］の範囲の正規化された信頼値であり、式（７）を用いて計算される。
【数７】
2021516393.tif 000009
ここで、Ｚは、全ての群集推定手法計算機２０４に対して生成されたσの集合又はＶ（Ｆｃｒ）の集合の何れかである。例えば、第１の群集推定手法計算機２０４（例えば、結合頭部パターン推定手法）、及び第２の群集推定手法計算機２０４（例えば個別頭部パターン推定手法）の結果がＣｏｕｎｔ１及びＣｏｕｎｔ２で表されることができる場合、式（８）は、信頼値の平均化を示す。
【数８】
2021516393.tif 000010
ここで、Ｚ１＞＞Ｚ２、かつＺ１＋Ｚ２＝１である（例えばＺ１は１であり、Ｚ２は０であることができる）。
【００４３】
図１０を参照すると、フローチャート１０００は、本実施形態に係る群集レベル推定の方法を示す。群集の入力画像が受信された場合（ステップ１００２）、各群集推定手法が画像に適用され（ステップ１００４）、群集カウントが群集推定手法のそれぞれに対して計算される（ステップ１００６）。同時に、受信された入力画像から空間画素変動が抽出される（ステップ１００８）。空間画素変動は、上記したように最も高い類似度を見つけるために、空間画素モデルと比較される（ステップ１０１０）。群集レベルは、ステップ１０１０の比較から決定され、信頼値が割り当てられる（ステップ１０１２）。ステップ１００６において群集推定手法のそれぞれについて計算されたカウントは、ステップ１０１２において決定された／割り当てられた群集レベル／信頼値と統合され（ステップ１０１４）、最終群集カウントが推定される（ステップ１０１６）。
【００４４】
本実施形態に係る方法は、最も性能がよい群集推定手法を選択するために使用されることもできる。このケースにおいて、入力画像フレームは、全ての群集推定手法により処理されず、選択された群集推定手法のみが入力画像フレームを処理する。図１１を参照すると、フローチャート１１００はこの選択処理を示す。入力画像が受信され（ステップ１１０２）、空間画素変動が抽出される（ステップ１１０４）。空間画素変動は全ての空間画素モデルと比較され（ステップ１１０６）、群集レベルが決定され、その群集レベルに対して群集推定手法が選択される（ステップ１１０８）。選択された群集推定手法は適用され（ステップ１１１０）、最終群集カウントが推定される（ステップ１１１２）。
【００４５】
従って、本実施形態は、リアルタイムでロバストかつ最適化された群集推定手法のための方法及びシステムを提供することがわかる。詳細に分析したとき、互いに補完することができる複数の手法を識別、及び／又はモデル化することができる。本実施形態によれば、これら群集推定手法を、現在の群集レベル（低群集レベル、高群集レベル）及び他のパラメータに依存して自動的に切り替える方法及びシステムは、これら利点を活用し、多様な群集状況及び群集位置において、改善された精度で、最適化されたリアルタイム群集推定を提供する。
【００４６】
本開示の前述の詳細な説明において例示的な実施形態が提示されたが、膨大な数の変形が存在することを理解されたい。さらに、例示的な実施形態は単なる例であり、本開示の範囲、適用可能性、動作、又は構成を何らかの方法で制限することを意図していないことを理解されたい。むしろ、上記の詳細な説明は、本開示の例示的な実施形態を実施するための便利なロードマップを当業者に提供するであろう。様々な変更が、添付の特許請求の範囲に記載される本開示の範囲から逸脱することなく、例示的な実施形態に記載されるステップの機能及び配置、並びに動作の方法において行われ得ることが理解される。
【００４７】
上述の実施形態において図解２００、３００、及び７００として示される群集推定のためのシステムの機能は、例えば、プログラムに従って動作するコンピュータ装置に含まれるプロセッサによって実施することができる。図１２は、コンピュータ装置の構成例を示す。コンピュータ装置１１０は、プロセッサ１２０とメモリ１２１とを含む。メモリ１２１は、揮発性メモリ、及び／又は不揮発性メモリを含む。メモリ１２１は、プロセッサ１２０上で実行されるソフトウェア（コンピュータプログラム）を、例えば不揮発性メモリに格納する。プロセッサ１２０は、例えば、中央処理装置（ＣＰＵ：Central Processing Unit）などであり、コンピュータ装置１１０によって実行される制御や動作は、例えば、プロセッサ１２０が、メモリ１２１からロードされるコンピュータプログラムに従って動作するにより実現される。プロセッサ１２０は、コンピュータ装置１１０内のメモリ１２１からコンピュータプログラムをロードする代わりに、コンピュータ装置１１０の外部メモリからコンピュータプログラムをロードし、ロードされたコンピュータプログラムを実行してもよい。
【００４８】
上記コンピュータプログラムは、任意のタイプの非一時的なコンピュータ可読媒体を使用して、コンピュータ装置に格納し、提供することができる。非一時的なコンピュータ可読媒体は、任意のタイプの有形記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（フロッピーディスク、磁気テープ、ハードディスクドライブなど）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（compact disc read only memory）、ＣＤ−Ｒ（compact disc recordable）、ＣＤ−Ｒ／Ｗ（compact disc rewritable）、及び半導体メモリ（マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory）など）を含む。プログラムは、任意のタイプの一時的なコンピュータ可読媒体を使用してコンピュータに提供することができる。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、有線通信線（例えば、電線、光ファイバー）、又は無線通信線を介してプログラムをコンピュータに提供することができる。
【００４９】
上記の例示的な実施形態の全部又は一部は、以下の付記のようにも記載され得るが、以下には限られない。
【００５０】
（付記１）
対応する複数の群集レベルで群集推定手法の複数の性能を決定し、
群集推定手法の複数の性能に応答して群集推定手法の性能をモデリングする群集推定手法の性能モデリング方法。
【００５１】
（付記２）
前記複数の群集レベルは、第１の群集レベルと、該第１の群集レベルより低い第２の群集レベルを含む付記１に記載の方法。
【００５２】
（付記３）
前記群集推定手法の複数の性能を決定することは、複数の注目位置で群集推定手法の複数の性能を決定することをさらに含む付記１又は２に記載の方法。
【００５３】
（付記４）
前記群集推定手法の性能をモデリングすることは、前記群集推定手法の複数の性能の誤差分布を決定することを含む付記１から３何れか１項に記載の方法。
【００５４】
（付記５）
前記群集推定手法の複数の性能の誤差分布を決定することは、前記複数の性能のそれぞれの群集カウントの誤差を決定することを含む付記４に記載の方法。
【００５５】
（付記６）
前記群集推定手法の複数の性能の誤差分布を決定することは、前記群集推定手法の性能のインディケータとして、前記群集推定手法の複数の性能のそれぞれに対する誤差分布の標準偏差を決定することを含む付記４又は５に記載の方法。
【００５６】
（付記７）
前記群集推定手法の性能をモデリングすることは、前記群集推定手法の複数の性能の精度メトリックを決定することを含む付記１から３何れか１項に記載の方法。
【００５７】
（付記８）
前記精度メトリックはＦスコアを含み、前記群集推定手法の複数の性能の精度メトリックを決定することは、前記群集推定手法の複数の性能のＦスコアの分散を決定することを含む付記７に記載の方法。
【００５８】
（付記９）
前記複数の群集推定手法の性能の精度メトリックを決定することは、更に、前記複数の群集推定手法の性能のＦスコアの平均に対するＦスコア分布を決定することを含み、前記複数の群集推定手法の性能のＦスコアの分散と、前記複数の群集推定手法の性能のＦスコアの平均に対するＦスコア分布との双方に応答して、前記群集推定手法の性能のインディケータを決定することを更に含む付記８に記載の方法。
【００５９】
（付記１０）
群集推定手法の性能モデリングのためのシステムであって、
画像内における群集の群集カウントを推定する１以上の群集推定モジュールと、
前記１以上の群集推定モジュールのそれぞれに対し、対応する群集推定手法の複数の性能を複数の群集レベルで決定し、前記群集推定手法の性能を、前記群集推定手法の複数の性能に応答してモデリングする性能モデリングモジュールとを備えるシステム。
【００６０】
（付記１１）
前記複数の群集レベルは、第１の群集レベルと、該第１の群集レベルより低い第２の群集レベルを含む付記１０に記載のシステム。
【００６１】
（付記１２）
前記性能モデリングモジュールは、更に、複数の注目位置での群集推定手法の複数の性能を決定する付記１０又は１１に記載のシステム。
【００６２】
（付記１３）
前記性能モデリングモジュールは、記複群集推定手法の複数の性能の誤差分布を決定することにより、前記群集推定手法の性能をモデル化する付記１０から１２何れか１項に記載のシステム。
【００６３】
（付記１４）
前記性能モデリングモジュールは、前記複数の性能のそれぞれの群集カウントの誤差を決定することにより、前記群集推定手法の複数の性能の誤差分布を決定することを含む付記１３に記載のシステム。
【００６４】
（付記１５）
前記性能モデリングモジュールは、前記群集推定手法の性能のインディケータとして、前記群集推定手法の複数の性能のそれぞれに対する誤差分布の標準偏差を決定することにより、前記群集推定手法の複数の性能の誤差分布を決定する付記１３又は１４に記載のシステム。
【００６５】
（付記１６）
前記性能モデリングモジュールは、前記群集推定手法の複数の性能の精度メトリックを決定することにより、前記群集推定手法の性能をモデル化する付記１０から１２何れか１項に記載のシステム。
【００６６】
（付記１７）
前記精度メトリックはＦスコアを含み、前記性能モデリングモジュールは、前記群集推定手法の複数の性能のＦスコアの分散を決定することにより、前記群集推定手法の複数の性能の精度メトリックを決定する付記１６に記載のシステム。
【００６７】
（付記１８）
前記性能モデリングモジュールは、更に、前記群集推定手法の複数の性能のＦスコアの平均に対するＦスコア分布を決定し、前記群集推定手法の複数の性能のＦスコアの分散と、前記群集推定手法の複数の性能のＦスコアの平均に対するＦスコア分布との双方に応答して、前記群集推定手法の性能のインディケータを決定する付記１７に記載のシステム。
【００６８】
（付記１９）
プロセッサにより実行されるプログラムが格納されるコンピュータ可読媒体であって、前記プログラムは前記プロセッサに、
対応する複数の群集レベルで群集推定手法の複数の性能を決定し、
前記群集推定手法の複数の性能に応答して前記群集推定手法の性能をモデリングすることを実行させる、コンピュータ可読媒体。
【００６９】
（付記２０）
前記複数の群集レベルは、第１の群集レベルと、該第１の群集レベルより低い第２の群集レベルを含み、前記群集推定手法の複数の性能を決定することは、複数の注目位置で群集推定手法の複数の性能を決定することをさらに含む付記１９に記載のコンピュータ可読媒体。
【００７０】
この出願は、２０１８年３月２９日に出願されたシンガポール特許出願第１０２０１８０２６７０Ｔを基礎とする優先権を主張し、その開示の全てをここに取り込む。 
【図１Ａ】
2021516393.tif 000011
【図１Ｂ】
2021516393.tif 000012
【図２】
2021516393.tif 000013
【図３】
2021516393.tif 000014
【図４】
2021516393.tif 000015
【図５Ａ】
2021516393.tif 000016
【図５Ｂ】
2021516393.tif 000017
【図６】
2021516393.tif 000018
【図７】
2021516393.tif 000019
【図８】
2021516393.tif 000020
【図９】
2021516393.tif 000021
【図１０】
2021516393.tif 000022
【図１１】
2021516393.tif 000023
【図１２】
2021516393.tif 000024
【手続補正書】
【提出日】令和2年9月7日(2020.9.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対応する複数の群集レベルで群集推定手法の複数の性能を決定し、
群集推定手法の複数の性能に応答して群集推定手法の性能をモデリングする群集推定手法の性能モデリング方法。
【請求項２】
前記複数の群集レベルは、第１の群集レベルと、該第１の群集レベルより低い第２の群集レベルを含む請求項１に記載の群集推定手法の性能モデリング方法。
【請求項３】
前記群集推定手法の複数の性能を決定することは、複数の注目位置で群集推定手法の複数の性能を決定することをさらに含む請求項１又は２に記載の群集推定手法の性能モデリング方法。
【請求項４】
前記群集推定手法の性能をモデリングすることは、前記群集推定手法の複数の性能の誤差分布を決定することを含む請求項１から３何れか１項に記載の群集推定手法の性能モデリング方法。
【請求項５】
前記群集推定手法の複数の性能の誤差分布を決定することは、前記複数の性能のそれぞれの群集カウントの誤差を決定することを含む請求項４に記載の群集推定手法の性能モデリング方法。
【請求項６】
前記群集推定手法の複数の性能の誤差分布を決定することは、前記群集推定手法の性能のインディケータとして、前記群集推定手法の複数の性能のそれぞれに対する誤差分布の標準偏差を決定することを含む請求項４又は５に記載の群集推定手法の性能モデリング方法。
【請求項７】
前記群集推定手法の性能をモデリングすることは、前記群集推定手法の複数の性能の精度メトリックを決定することを含む請求項１から３何れか１項に記載の群集推定手法の性能モデリング方法。
【請求項８】
前記精度メトリックはＦスコアを含み、前記群集推定手法の複数の性能の精度メトリックを決定することは、前記群集推定手法の複数の性能のＦスコアの分散を決定することを含む請求項７に記載の群集推定手法の性能モデリング方法。
【請求項９】
群集推定手法の性能モデリングのためのシステムであって、
画像内における群集の群集カウントを推定する１以上の群集推定モジュールと、
前記１以上の群集推定モジュールのそれぞれに対し、対応する群集推定手法の複数の性能を複数の群集レベルで決定し、前記群集推定手法の性能を、前記群集推定手法の複数の性能に応答してモデリングする性能モデリングモジュールとを備えるシステム。
【請求項１０】
対応する複数の群集レベルで群集推定手法の複数の性能を決定し、
前記群集推定手法の複数の性能に応答して前記群集推定手法の性能をモデリングすることをプロセッサに実行させるためのプログラム。
【国際調査報告】
2021516393.tif 000025