(57)【要約】所定のエリア内でリアルタイムに取り込まれた画像の少なくとも１つのフレーム中の人物カウンティングの精度を高めるための方法及びシステムに関する。取り込まれた画像の特徴的結果を得るために少なくとも１つの人物検出モダリティを使用することにより、１つまたは複数のフレーム中の人物を検出する。各人物検出モダリティに関連する活動確率をさらに計算する。特徴的結果及び活動確率は、人物カウントの精度を高めるため、また最も正確な人物検出モダリティを選択するために、融合技法を使用することにより、選択的に統合される。このとき、選択された最も正確な人物検出モダリティに基づき、人物カウントが実現される。【選択図】図１
2014532947.tif 000002
【特許請求の範囲】
【請求項１】
事前定義表示エリア内で取り込まれた画像の少なくとも１つのフレーム中のリアルタイム人物カウンティングの精度を高める方法であって、プロセッサに実装された下記ステップ：
前記取り込まれた画像の特徴的結果を得るために、少なくとも１つの人物検出モダリティを使用することにより、１つまたは複数のフレーム中の人物を検出するステップと、
前記人物検出モダリティの前記得られた特徴的結果の間を切り替えることにより、各フレーム中で検出された人物カウントの分散を決定するように適合された活動確率の、事前に計算された値を使用することにより、精度確率を計算するステップと、
前記事前定義表示エリア内の前記人物の場所を検出するために、融合技法を使用することにより、各フレームに対する前記得られた特徴的結果、及び前記活動確率を選択的に統合するステップと、を有する
ことを特徴とする方法。
【請求項２】
各フレーム内部の各人物検出モダリティの前記精度確率を定量化し、前記融合により統合された特徴的結果を超える最大精度確率を有する少なくとも１つの人物検出モダリティを選択することにより、人物カウントの精度を高めるステップを有する
請求項１に記載の方法。
【請求項３】
前記精度は、各人物検出モダリティの前記精度確率を計算するために、前記追跡される画像の各フレーム内部の前記活動確率及び前記特徴的結果に回帰モデルを適用することにより高められる
請求項１または２に記載の方法。
【請求項４】
各人物検出モダリティの前記計算された活動確率は、入力共変量を比較するための所定の値を含むグラウンド・トルース・データに近い値を提供する
請求項１に記載の方法。
【請求項５】
前記選択された人物検出モダリティに従って人物をカウントするステップを有する
請求項１または２に記載の方法。
【請求項６】
前記人物検出は、少なくとも１つの画像取込デバイスの前記事前定義表示エリア内部で１人または複数の人物をリアルタイムに追跡するステップを有する
請求項１に記載の方法。
【請求項７】
１人または複数の人物を検出する前記ステップは、Ｈａａｒを使用して人物の顔を検出するステップと、
勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ、ＨＯＧ）を使用して前記人体を、背景差分（Ｂａｃｋｇｒｏｕｎｄ  Ｓｕｂｔｒａｃｔｉｏｎ、ＢＧＳ）、またはＨａａｒ、ＨＯＧ、及びＢＧＳの組合せを使用して前記人体に関連する背景の変化を検出するステップとを有する
請求項１に記載の方法。
【請求項８】
前記特徴的結果は、人物のグレースケール画像の画素値を含む
請求項１に記載の方法。
【請求項９】
前記特徴的結果及び前記活動確率を選択的に統合するために使用される前記融合技法は、選択技法である
請求項１に記載の方法。
【請求項１０】
Ｈａａｒ、ＨＯＧ、及びＢＧＳの前記組合せは、ベイズの融合技法に基づく
請求項７に記載の方法。
【請求項１１】
事前定義表示エリア内でリアルタイムに取り込まれた画像の少なくとも１つのフレーム中の人物カウンティングの精度を高めるシステムであって、
少なくとも１つの人物検出モダリティと協調して人物を検出して、前記取り込まれた画像に関連する特徴的結果を得るように構成される、少なくとも１つのモダリティ構成要素が埋め込まれた検出ユニットと、
各人物検出モダリティに関連する精度確率、及び各フレーム中で検出された人物カウントの分散を決定する活動確率を計算するように適合された計算モジュールと、
各フレームに対して各人物検出モダリティから得られた前記活動確率及び複数の特徴的結果を選択的に統合するように適合された融合プロセッサと、を備える
ことを特徴とするシステム。
【請求項１２】
各フレーム内部の人物検出モダリティの前記活動確率を定量化するように適合された、前記融合により統合された特徴的結果を超える最大確率検出モダリティを選択する精度エンハンサを備える
請求項１１に記載のシステム。
【請求項１３】
前記精度エンハンサは、各人物検出モダリティの前記精度確率を計算するために、回帰モデルを適用するためのモジュールを備える
請求項１２に記載のシステム。
【請求項１４】
前記回帰モデルの入力共変量が、前記取り込まれた画像に関連する前記特徴的結果と、前記計算された活動確率とを含む
請求項１３に記載のシステム。
【請求項１５】
前記選択された人物検出モダリティに従って人物をカウントするように適合された人物カウンタを備える
請求項１１に記載のシステム。
【請求項１６】
１つまたは複数のフレーム中の人物を追跡するための追跡モジュールを備える
請求項１１に記載のシステム。
【請求項１７】
前記人物検出モダリティは、Ｈａａｒ、勾配方向ヒストグラム（ＨＯＧ）、背景差分（ＢＧＳ）、またはこれらの組合せを含む
請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に画像処理の分野に関し、詳細には、画像内の人物をリアルタイムにカウントする精度を高めるための方法及びシステムに関する。
【背景技術】
【０００２】
画像またはビデオ内の人物の活動を検出することは非常に重要であり、自動人体検出が重要な成功要因である適用分野、たとえばセキュリティ及び監視、ロボット工学、監視及び高速道路交通システム、自律車両及び自動運転者支援システムなどのために人物の存在を検出することが重要である。同様に、コンピュータ・ビジョン・システムでは、各セグメント内の物体を検出する、及び他の物体から人物を区別するための画像のセグメント化は、依然として難題である。
【０００３】
画像内に出現する多数の視覚的パターンが、複雑さを増大させる。人物検出は、画像内の人物の存在を検出するハードウェア及びソフトウェアの能力を要する。現在、画像内の人物の検出は、さまざまな人物検出技法及びアルゴリズムを使用することにより実現される。このような技法及びアルゴリズムは広く使用されているが、前記技法及びアルゴリズムによりもたらされる結果は、多くの場合、多数の間違った予測を含む。
【０００４】
人物検出及び追跡技法に関連する間違った予測またはエラーを低減することに関連する問題に対処するために、多くの解決策が提案された。人物を検出するためにしばしば取られる技法の１つが、人物をリアルタイムに検出するために、複数の人物検出技法を組み合わせることである。しかしながら、組合せの成功は、各検出技法に関連するエラーにより影響を受ける。このような解決策の１つが、ベイズの融合分類器技法（Ｂａｙｅｓｉａｎ  ｆｕｓｉｏｎ  Ｃｌａｓｓｉｆｉｅｒ  ｔｅｃｈｎｉｑｕｅ）を使用して処理されたＤＦＡベクトルから、解析される画像を表現するベクトルを教示する、Ｃｈｅｎｇｊｕｎ  Ｌｉｕの特許文献１で開示された。この方法は、比較的低いエラーの確率及び誤検出率の顔検出を開示するが、２つ以上の技法またはアルゴリズムが関与するとき、解決策の精度の決定に関して依然として言及していない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７，１６２，０７６号明細書
【特許文献２】インド特許出願第１３５９／ＭＵＭ／２０１１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、画像内の人物を検出するために適用されるすべての技法の精度を決定することにより、人物検出のために利用可能な複数の技法の間違った予測を低減することができる解決策の技術が必要である。
【０００７】
人物検出モダリティで人物カウントの精度を高めるシステム及び方法を提案することが、本発明の主要な目的である。
【０００８】
人物検出モダリティに関連する、信頼できない要因を低減するシステム及び方法を提案することが、本発明の他の目的である。
【０００９】
取り込まれた画像のフレーム中の人物をカウントするための、最も正確な人物検出モダリティを選択するシステム及び方法を提案することが、本発明のさらに他の目的である。
【課題を解決するための手段】
【００１０】
一様態では、本発明は、事前定義表示エリア内でリアルタイムに取り込まれた画像の少なくとも１つのフレーム中の人物カウンティングの精度を高める方法であって、前記取り込まれた画像の特徴的結果を得るために少なくとも１つの人物検出モダリティを使用することにより、１つまたは複数のフレーム中の人物を検出する、プロセッサに実装されたステップと、人物検出モダリティの得られた特徴的結果間を切り替えることにより、及び事前に計算された活動確率を使用することにより、精度確率を計算する、プロセッサに実装されたステップとを備える方法を開示する。活動確率は、各フレーム中で検出された人物カウントの分散を決定するように適合される。前記方法は、事前定義表示エリア内の人物の場所を検出するための選択技法を使用することにより、人物検出モダリティと活動確率の組合せから、各フレームに対して得られた特徴的結果を選択的に統合する、プロセッサに実装されたステップをさらに備える。人物検出モダリティの組合せは、ベイズの融合技法（Ｂａｙｅｓｉａｎ  ｆｕｓｉｏｎ  ｔｅｃｈｎｉｑｕｅ）に基づく。
【００１１】
他の様態では、本発明はまた、事前定義表示エリア内でリアルタイムに取り込まれた画像の少なくとも１つのフレーム中の人物カウンティングの精度を高めるシステムであって、少なくとも１つのモダリティ構成要素が埋め込まれた検出ユニットを備えるシステムを開示する。検出ユニットは、少なくとも１つの人物検出モダリティと協調して人物を検出して、前記取り込まれた画像に関連する特徴的結果を得るように構成される。システムは、各人物検出モダリティに関連する活動確率を計算するように適合された計算モジュールをさらに備える。活動確率は、各フレーム中で検出された人物カウントの分散を決定する。システムは、各フレームに対する各人物検出モダリティから得られた複数の特徴的結果を選択的に統合するように適合された融合プロセッサをさらに備える。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態によるシステムのアーキテクチャ
【図２】本発明の代替の一実施形態による人物カウント機構を示す説明図
【図３】本発明の代替の一実施形態による精度計算のプロセスフロー
【図４】本発明の代表的一実施形態を示す説明図
【図５】本発明の代表的一実施形態による検出精度の結果を示す説明図
【図６】本発明の代表的一実施形態による信頼できない要因に関する結果を示す説明図
【発明を実施するための形態】
【００１３】
次に、本発明の特徴を例示する、本発明のいくつかの実施形態について説明する。
【００１４】
「備える」、「有する」、「含有する」、及び「含む」という用語、ならびにこれらの他の形態は、意味が同等であることが意図され、これらの用語の任意の１つに続く１つまたは複数の項目が、このような１つまたは複数の項目の網羅的列挙であることを意味することも、列挙した１つまたは複数の項目だけに限定されることを意味することもないという点で非限定的である。
【００１５】
また、本明細書及び添付の特許請求の範囲で使用するとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈において特に明記しない限り、複数の指示対象も含む。本明細書で説明するシステム、方法、装置、及びデバイスに類似する、または等価な任意のシステム、方法、装置、及びデバイスを、本発明の実施形態の実現及び試験で使用することができるが、次に、好ましいシステム及び部分について説明する。
【００１６】
開示する実施形態は、本発明の代表的実施形態でしかなく、本発明はさまざまな形態で具体化されてもよい。
【００１７】
本発明は、人物カウンティングの精度を高めるための方法及びシステムに関する。人物カウンティングは、通常、複数の人物検出モダリティを使用することにより実現される。これらの人物検出モダリティ、たとえば、勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ、ＨＯＧ）、Ｈａａｒ（ハール）、及び背景差分（Ｂａｃｋｇｒｏｕｎｄ  Ｓｕｂｔｒａｃｔｉｏｎ、ＢＧ）は、人物画像を検出及び追跡して、人物の数を決定する。各人物検出モダリティは、特定の信頼できない要因、たとえば、ビデオフレームの変動、不適切な人物検出、誤検出などに関連づけられる。本発明は、これらの信頼できない要因を低減するために、各人物検出モダリティの精度を計算する。信頼できない要因を低減することにより、人物カウントの精度が高まり、さらに、最も高い精度の人物検出モダリティを選択することが可能になる。
【００１８】
本発明のさまざまな様態及び実施形態によれば、本明細書で説明する方法は、コンピュータプロセッサ上で実行されるソフトウェアプログラム（１組のプログラムされた命令）として動作することが意図される。
【００１９】
一様態によれば、図１を参照すると、システム（１００）は、複数のフレーム中の画像を取り込むための画像取込デバイス（１０２）を備える。システム（１００）は、人物を検出するように構成された検出ユニット（１０４）をさらに備える。検出ユニット（１０４）は、少なくとも１つのフレーム中の人物を検出するために、少なくとも１つの人物検出モダリティを適用するための少なくとも１つのモダリティ構成要素（１０６）をさらに埋め込まれる。人物検出モダリティは、取り込まれた画像に関連する特徴的結果を得るために適用される。特徴的結果は、人物のグレースケール画像の画素値を含む。人物検出モダリティは、Ｈａａｒ、勾配方向ヒストグラム（ＨＯＧ）、背景差分（ＢＧＳ）、またはこれらの組合せを含み、これらに限定されない。
【００２０】
本発明の一実施形態によれば、システム（１００）は、１つまたは複数のフレーム中の人物を追跡するための追跡モジュール（図示せず）をさらに備える。追跡モジュールは、人物を追跡するために、画像内に存在する信頼できない要因で人物を差別化することにより、人物画像をさらに処理する。
【００２１】
システム（１００）は、各人物検出モダリティに関連する活動確率を計算するように適合された計算モジュール（１０８）をさらに備える。活動確率は、各フレーム中で検出された人物カウントの分散を決定するための、取り込まれた画像の各フレーム中の変動の値を提供する。計算モジュール（１０８）はまた、各人物検出モダリティの精度を決定するための精度確率を計算する。
【００２２】
システム（１００）は、検出ユニット（１０４）及び計算モジュール（１０８）と通信する融合プロセッサ（１１０）をさらに備え、画像取込デバイス（１０２）により取り込まれた画像に関連する特徴的結果、及び各人物検出モダリティに関連する活動確率を選択的に統合するように適合される。
【００２３】
一実施形態によれば、システム（１００）は、融合プロセッサ（１１０）に通信可能に連結された精度エンハンサ（１１２）をさらに備える。精度エンハンサ（１１２）は、画像内の人物カウントの精度を高めるために、融合プロセッサ（１１０）と共に機能する。精度エンハンサ（１１２）は、回帰モデルを使用することにより、各人物検出モダリティに関連する特徴的結果、及び各人物検出モダリティに関連する活動確率を選択的に統合するモジュール（１１６）をさらに備える。選択的統合は、最も正確な人物検出モダリティを選択するように実現される。
【００２４】
システム（１００）は、精度エンハンサ（１１２）と通信する人物カウンタ（１１４）をさらに備える。人物カウンタ（１１４）は、選択された人物検出モダリティに従って人物をカウントするように適合される。好適な人物検出モダリティは、選択的統合が実現された後に、精度エンハンサ（１１２）により選択された最も正確な人物検出モダリティである。
【００２５】
一実施形態によれば、図２を参照すると、画像取込デバイス（１０２）は、現在のフレーム及び先行するフレーム中の人物の画像を取り込む。複数のフレーム中の抽出された画像の１つまたは複数の特徴が、閾値と比較される。閾値は手作業で選択される。閾値は、画像が活動状態の画像であるかどうかを決定するのに役立つ。活動状態の画像は、固定していないフレームで取り込まれた画像である。活動状態は、活動確率に関して計算モジュール（１０８）により計算される。
【００２６】
次いで、検出ユニット（１０４）により、少なくとも１つの人物検出モダリティを使用することにより、１つまたは複数のフレーム中で人物が検出される。図２をさらに参照すると、ステップ２０２に示すように、検出ユニット（１０４）は、人物を検出するために、前景抽出を適用する。検出ユニット（１０４）は、人体を検出するために、勾配方向ヒストグラム（ＨＯＧ）をさらに適用する。高速物体を検出するために、線形ＳＶＭのカスケーディングが行われる。この場合、物体は人物を指す。検出ユニット（１０４）は、人物の顔を検出するために、Ｈａａｒ特徴抽出をさらに適用する。背景差分（ＢＧＳ）を使用することにより、背景変化が検出される（特許文献２参照）。
【００２７】
図１を再度参照すると、計算モジュール（１０８）は活動確率を計算する。計算モジュール（１０８）は、人物検出モダリティから得られた特徴的結果の間を切り替えることにより、及び事前計算された活動確率の値を使用することにより、各人物検出モダリティの精度確率をさらに計算する。活動確率は、各ビデオフレーム中で検出された人物カウントの分散を決定する。
【００２８】
図２を参照すると、ステップ２０４に示すように、融合プロセッサ（１１０）は、選択技法を使用することにより、個々の人物検出モダリティから得られた特徴的結果の組合せを生成する。人物の場所を検出するために、及び各人物検出モダリティに関連する信頼できない要因を低減するために、上記の組合せの特徴的結果を選択的に統合することが実現される。
【００２９】
一実施形態によれば、個々の人物検出モダリティの組合せを実現するために使用される選択技法は、ベイズの融合技法である。ベイズの融合により、人物検出モダリティの分類成果が改善される。個々の人物検出モダリティ（Ｈａａｒ、勾配方向ヒストグラム（ＨＯＧ）、背景差分（ＢＧＳ））が、それ自体の特徴的結果を提供する。分類システムは、各人物検出モダリティに関連する活動確率を観察することにより、物体が人物クラス（Ｈ）に属するかどうかを決定する。ベイズの融合技法のベイズ分類器は、特徴的結果を任意の事前ｐ（Ｈ）と融合して、大域コンセンサス事後確率ｐ（Ｈ／Ｚ）に至り、ここで、Ｚ＝∪ｉ｛Ｚｉ｝∀ｉである。ｐ（Ｈ）は、クラスタイプＨの事前確率であり、Ｚ＝｛ＨＯＧ、ＢＧＳ、Ｈａａｒ｝である。勾配方向ヒストグラム（ＨＯＧ）分類器は、ｐ（Ｈ／ＺＨＯＧ）により人物クラスＨに属する物体の事後確率について記述する。同様に、ｐ（Ｈ／ＺＢＧＳ）及びｐ（Ｈ／ＺＨａａｒ）は、その他の２つの人物検出モダリティにより与えられる。同じ重要性の、すなわち同じ検出信頼水準の、これらの情報キューが、情報融合過程で与えられるべきであると仮定する。情報融合は、ベイズのモデル化手法を使用して対処される。
【００３０】
一実施形態によれば、図３を参照すると、画像取込デバイス（１０２）は、複数のフレーム中の、たとえば、古いフレーム及び新しいフレーム中の画像を取り込む。ステップ２０８に示すように、両フレームの特徴値の差を取った後に、マトリックスを準備する。特徴値は、画像の画素値である。マトリックスを使用して、画素値の標準偏差及び平均を計算する。ステップ２０２に示すように、検出ユニット（１０４）は、複数の人物検出モダリティを１つまたは複数の組合せでさらに適用する。組合せは、勾配方向ヒストグラム（ＨＯＧ）、背景差分、及びＨａａｒの組合せ、または勾配方向ヒストグラム（ＨＯＧ）及び背景差分（ＢＧ）の組合せを含むが、これらに限定されない。
【００３１】
同時分布から開始して、結合規則を再帰的に適用して、分解を得る。
【００３２】
【数１】
2014532947.tif 000003
【００３３】
式（１）は、異なる人物検出モダリティから得られる観察結果が独立であると仮定する。多感覚応用システムでは、各情報源が共通に有する唯一のパラメータが状態であるので、各情報源の尤度ｐ（Ｚｉ／Ｈ）、ｉ＝１，…，ｎが独立であるという主張は合理的である。情報融合を定義する条件付き確率を（２）のように書くことができる。
【００３４】
【数２】
2014532947.tif 000004
【００３５】
図３を再度参照すると、各人物検出モダリティから得られる特徴的結果は、グレースケール画像の画素値を含む。これらの特徴的結果から、１組のマトリックスを形成することができ、マトリックスの成分が、グレースケール画像の画素値を含む。ステップ２１０に示すように、マトリックスは、顕著な活動が発生したフレームを識別するために、融合プロセッサ（１１０）及び精度エンハンサ（１１２）により処理される。これにより、各フレームの活動の尺度が与えられる。先行するフレームから画素値が大きく変化する場合に、顕著な活動が出現する。このとき、マトリックスは、画素値の異なる成分を有し、処理される。
【００３６】
図３を再度参照すると、ステップ２１２及び２１４に示すように、精度エンハンサ（１１２）は、１つまたは複数の人物検出モダリティにより得られた特徴的結果、及び各人物検出モダリティに関連する活動確率に回帰モデルを適用することにより、精度を高める。第１のステップは、情報源として画素値の平均及び標準偏差を選ぶことである。平均及び標準偏差のこの値は、活動確率に回帰モデルを適用するための入力共変量とみなされ、精度確率は、活動確率のこの値を使用することにより計算される。
【００３７】
共変量ベクトルＣＶ＝［平均，分散］に対して、Ｖ＝［１，平均，分散］とし、ロジスティック回帰ｙの値が以下の分布を有する。
【００３８】
【数３】
2014532947.tif 000005
【００３９】
【数４】
2014532947.tif 000006
【００４０】
であり、ここで、αは推定されるモデルのベクトルパラメータである。
【００４１】
出力値が事前に決められている、サイズｋのサンプルが存在するとする。この事前決定は、手作業による決定とすることができる。ｙｉは、ｉ＝１，２，３，…，ｋに対して既知である。αの関数である尤度関数Ｌ（α）は、次式で与えられる。
【００４２】
【数５】
2014532947.tif 000007
【００４３】
αに対して尤度関数Ｌ（α）を最大にして、Ｌ（α）を最大にするαの値として、以下の推定値を得る。
【００４４】
【数６】
2014532947.tif 000008
【００４５】
これらのパラメータの助けを借りて、活動確率の値を計算する。これらの値は、活動状態の尺度を提供する。具体的な例として、０．７より大きな確率値が、所望の、固定していないフレームを示す。この活動確率の助けを借りて、計算モジュール（１０８）は、各人物検出モダリティの精度を決定するための精度確率を計算する。
【００４６】
図３を再度参照すると、ステップ２１２に示すように、回帰モデルの入力として、人物検出モダリティの出力が存在する。具体的な例として、フレームレベルで、３つの人物検出モダリティの出力が存在する。各フレームに対して、出力Ｘ１＝Ｈａａｒ、Ｘ２＝ＨＯＧ＋ＢＧ、及びＸ３＝ＨＯＧ＋ＢＧ＋Ｈａａｒがあるとする。これらのＸｉのすべてが、整数の値を取るカテゴリ変数である。
【００４７】
その他の入力が、各人物検出モダリティに対して計算された活動確率Ｐである。
【００４８】
共変量として、１組の独立した対照が入力に基づき入念に選ばれ、活動確率は、共変量として変化しないとみなされる。
【００４９】
換言すれば、共変量は以下である。
ＣＶ１＝Ｘ２−Ｘ１、
ＣＶ２＝Ｘ３−Ｘ１、
ＣＶ３＝Ｐ。
【００５０】
次式を考えてみる。
【００５１】
【数７】
2014532947.tif 000009
【００５２】
【数８】
2014532947.tif 000010
【００５３】
モデルが、関数
【００５４】
【数９】
2014532947.tif 000011
【００５５】
である。これらの関数のクラスの中の最良の要素を選ぶ。しかし、このクラスの中の最良の要素が、確率値１を有するグラウンド・トルース・データに出力が最も近い回帰モデルであることは明らかである（手作業で決定されたグラウンドトルースが、小さなサンプルで利用可能である）。
【００５６】
特殊なクラスの関数ｆ（ＣＶ）＝ｇ（α’Ｖ）を考えてみる。ここで、Ｖは、ＣＶ上の初等変換である。利用可能な観察されたデータ、またはサンプルから、回帰モデルが最良の成果を与える、マトリックスαの最適値を決定する。ｇが平滑な凸関数（一定次数までゼロではない正の導関数を有する関数を意味する）、たとえば、α’Ｖの個々の行に対する論理関数のベクトルであることが一般に考えられる。
【００５７】
ＣＶｉがｎｉの値
【００５８】
【数１０】
2014532947.tif 000012
【００５９】
を取るとして、ｉ番目の共変量に対して、ｎｉ−１の指標変数
【００６０】
【数１１】
2014532947.tif 000013
【００６１】
を、ｉ＝１，２；ｊ＝１，２，３，…，ｎｉに対してＩｉ，ｊ＝Ｉｎｄ（ＣＶｉ＝ｋｉ，ｊ）として導入する。このとき、この変換されたベクトルは、以下のように定義される。
【００６２】
【数１２】
2014532947.tif 000014
【００６３】
グラウンド・トルース・データは、所望の出力ベクトルＹ＝（ｙ１，ｙ２，ｙ３）のサンプルをもたらす。ｙｉのうち１つが１であり、残りがゼロである。回帰モデルを得るために、フレームレベルの値から、パラメータの関数が構築され、パラメータに対して最大化される。
【００６４】
ｇが論理関数のベクトルであるとする。Ｖがｍの要素を有するとする。α＝［α１，α２］について考えてみる、ここで、α１及びα２は長さｍのベクトルである。
【００６５】
このとき、ｇ（α’Ｖ）＝ｇ（［α１，α２］’Ｖ）＝［ｐ１（α’Ｖ），ｐ２（α’Ｖ），ｐ３（α’Ｖ）］’であり、ここで、ｐｉは、
ｐ１（α’Ｖ）＝ｅｘｐ（α１’Ｖ）／［１＋ｅｘｐ（α１’Ｖ）＋ｅｘｐ（α２’Ｖ）］、
ｐ２（α’Ｖ）＝ｅｘｐ（α２’Ｖ）／［１＋ｅｘｐ（α１’Ｖ）＋ｅｘｐ（α２’Ｖ）］、及び
ｐ３（α’Ｖ）＝（１−［ｐ１（α’Ｖ）＋ｐ２（α’Ｖ）］）
のように定義される。
【００６６】
サイズｋのサンプルがあるとする。このとき、尤度関数は次式となる。
【００６７】
【数１３】
2014532947.tif 000015
【００６８】
Ｆｉｓｈｅｒのスコアリング法を使用して、αの最尤推定値と呼ばれる推定値
【００６９】
【数１４】
2014532947.tif 000016
【００７０】
を得ることにより、αに関して尤度関数Ｌ（α）を最大化する。
【００７１】
図３を参照すると、ステップ２１４に示すように、パラメータを導出した後、回帰モデルを使用して計算した、事前に計算された活動確率を使用することにより、計算モジュール（１０８）により精度確率を計算する。ステップ２１６に示すように、信頼できない要因を低減するために、最大確率を有する人物検出モダリティを選択する。最大確率を有する人物検出モダリティが２つ以上あるときには、ランダムに選択する。
【００７２】
図２及び図３を参照すると、ステップ２０６に示すように、このとき、人物カウンタ（１１４）は、変動のないフレームを考慮すると共に、窓の中で最大確率を有する人物検出モダリティを使用することにより、人物をカウントする。
【００７３】
本発明を機能させるための最良の形態／実施例：
図４を参照すると、人物を検出及びカウントするために、複数の人物検出モダリティがグループで、または個別に使用される。これらをアルゴリズムと呼ぶ。これらのアルゴリズムは、トレーニング及び試験のために使用される。グラウンド・トルース・データは、手作業で選択された参照用データを含む。人物検出モダリティの選択を以下に示す。
Ａｌｇｏ１−Ｈａａｒ、
Ａｌｇｏ２−勾配方向ヒストグラム（ＨＯＧ）＋背景差分（ＢＧ）
Ａｌｇｏ３−Ｈａａｒ＋勾配方向ヒストグラム（ＨＯＧ）＋背景差分（ＢＧ）、
であり、Ａｌｇｏはアルゴリズムを意味する。
【００７４】
所定のグラウンド・トルース・データの助けを借りて、所望のパラメータを手作業で生成する。Ａｌｇｏ１、Ａｌｇｏ２、及びＡｌｇｏ３について、計算モジュール（１０８）が活動確率を計算し、活動確率をそれぞれＰｒｏｂ１、Ｐｒｏｂ２、及びＰｒｏｂ３とする。融合プロセッサ（１１０）及び精度エンハンサ（１１２）を用いて、回帰モデルを適用することにより、これらのアルゴリズムの選択的統合を実現する。Ａｌｇｏ１、Ａｌｇｏ２、及びＡｌｇｏ３について計算した検出率及び誤検出を以下の表に示す。
【００７５】
表１及び表２：検出率及び誤検出
【００７６】
【表１】
2014532947.tif 000017
【００７７】
【表２】
2014532947.tif 000018
【００７８】
図５及び図６は、それぞれ検出率及び誤検出を示すために、表１及び表２から得られた結果のグラフ表示を示す。
【００７９】
上述の表で、最大精度確率を有するアルゴリズムが選択される。
【００８０】
上記の手法を使って、検出精度を維持しながら、信頼できない要因または誤検出の低減が、４０％から２０％以下まで達成される。
【００８１】
さまざまな様態及び実施形態に関連して説明した方法論及び技法は、１組の命令が、実行されたときに、上記で説明した方法論のうち任意の１つまたは複数を機械に実現させてもよい機械または他のコンピューティングデバイスを使用して実現されることができる。機械は、バスを介して互いに通信するプロセッサ（たとえば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、または両方）、メインメモリ、及びスタティックメモリを含んでもよい。ディスク・ドライブ・ユニットが、上記で例示したこれらの方法を含む、本明細書で説明する方法論または機能のうち任意の１つまたは複数を具体化する１つまたは複数の組のプログラムされた命令（たとえば、ソフトウェア）が記憶された機械可読媒体を含んでもよい。命令はまた、メインメモリ、スタティックメモリ内部に、及び／または機械により命令が実行される間にプロセッサ内部に、全部または少なくとも一部、存在してもよい。メインメモリ及びプロセッサはまた、機械可読媒体を構成してもよい。
【００８２】
さまざまな様態、実施形態、及び図面を参照して、上記の説明を提示した。説明した動作の構造及び方法の代替形態及び変更形態が、原理及び範囲を有意に逸脱することなく実施することができる。
【図１】
2014532947.tif 000019
【図２】
2014532947.tif 000020
【図３】
2014532947.tif 000021
【図４】
2014532947.tif 000022
【図５】
2014532947.tif 000023
【図６】
2014532947.tif 000024
【手続補正書】
【提出日】平成26年7月10日(2014.7.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
事前定義表示エリア内で取り込まれた画像の少なくとも１つのフレーム中のリアルタイム人物カウンティングの精度を高める方法であって、プロセッサにより、
１つまたは複数の人物検出モダリティのうちの少なくとも１つの人物検出モダリティを使用することにより、１つまたは複数のフレーム中の人物を検出して、検出された前記人物の画像に対する特徴的結果を、前記人物検出モダリティの各々に対して計算するステップと、
前記人物検出モダリティの各々に対して得られた特徴的結果の間を切り替えることにより、各フレーム中で検出された人物カウントの分散を決定するために使用される活動確率の、事前に計算された値を使用することにより、精度確率を計算するステップと、
前記事前定義表示エリア内の前記人物の場所を検出するために、融合技法を使用することにより、各フレームに対する前記人物検出モダリティの各々の前記特徴的結果、及び前記活動確率を選択的に統合するステップと、を有する
ことを特徴とする方法。
【請求項２】
選択された人物検出モダリティを得るために、前記融合により統合された特徴的結果に基づき、最大精度確率を有する少なくとも１つの人物検出モダリティを選択することにより、各フレーム内部の人物カウントの精度を高めるステップを有する
請求項１に記載の方法。
【請求項３】
前記精度は、各人物検出モダリティの前記精度確率を計算するために、前記画像の各フレーム内部の前記活動確率及び前記特徴的結果に回帰モデルを適用することにより高められる
請求項１または２に記載の方法。
【請求項４】
前記人物検出モダリティの各々に対して計算された活動確率は、前記画像の入力共変量を比較するための所定の値を含むグラウンド・トルース・データに近い値を提供する
請求項１に記載の方法。
【請求項５】
前記選択された人物検出モダリティに従って人物をカウントするステップを有する
請求項１または２に記載の方法。
【請求項６】
前記検出ステップは、少なくとも１つの画像取込デバイスの前記事前定義表示エリア内部で１人または複数の人物をリアルタイムに追跡するステップを有する
請求項１に記載の方法。
【請求項７】
１人または複数の人物を検出する前記ステップは、Ｈａａｒを使用して人物の顔を検出するステップと、
勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ、ＨＯＧ）を使用して前記人体を、背景差分（Ｂａｃｋｇｒｏｕｎｄ  Ｓｕｂｔｒａｃｔｉｏｎ、ＢＧＳ）、またはＨａａｒ、ＨＯＧ、及びＢＧＳの組合せを使用して前記人体に関連する背景の変化を検出するステップとのうち少なくとも１つを有する
請求項１に記載の方法。
【請求項８】
前記特徴的結果は、人物のグレースケール画像の人物カウント値を含む
請求項１に記載の方法。
【請求項９】
前記特徴的結果及び前記活動確率を選択的に統合するために使用される前記融合技法は、選択技法である
請求項１に記載の方法。
【請求項１０】
Ｈａａｒ、ＨＯＧ、及びＢＧＳの前記組合せは、ベイズの融合技法に基づく
請求項７に記載の方法。
【請求項１１】
事前定義表示エリア内で取り込まれた画像の少なくとも１つのフレーム中のリアルタイム人物カウンティングの精度を高めるシステムであって、
少なくとも１つの人物検出モダリティと協調して、１つまたは複数の人物検出モダリティから人物を検出して、検出された人物の画像に対して、前記人物検出モダリティの各々に対して計算された特徴的結果を得るように構成される、少なくとも１つのモダリティ構成要素が埋め込まれた検出ユニットと、
各人物検出モダリティに関連する精度確率、及び前記精度確率が前記特徴的結果の間を切り替えることにより計算される活動確率を計算するように適合され、各フレーム中で検出された人物カウントの分散を決定する計算モジュールと、
前記活動確率及び前記特徴的結果を選択的に統合するように適合された融合プロセッサと、を備える
ことを特徴とするシステム。
【請求項１２】
各フレーム内部の人物検出モダリティの前記活動確率を定量化するように適合された、前記ベイズの融合により統合された特徴的結果を超える最大確率検出モダリティを選択する精度エンハンサを備える
請求項１１に記載のシステム。
【請求項１３】
前記精度エンハンサは、各人物検出モダリティの前記精度確率を計算するために、回帰モデルを適用するためのモジュールを備える
請求項１２に記載のシステム。
【請求項１４】
前記回帰モデルの入力共変量が、前記取り込まれた画像に関連する前記特徴的結果と、前記計算された活動確率とを含む
請求項１３に記載のシステム。
【請求項１５】
前記選択された人物検出モダリティに従って人物をカウントするように適合された人物カウンタを備える
請求項１１に記載のシステム。
【請求項１６】
１つまたは複数のフレーム中の人物を追跡するための追跡モジュールを備える
請求項１１に記載のシステム。
【請求項１７】
前記人物検出モダリティは、Ｈａａｒ、勾配方向ヒストグラム（ＨＯＧ）、背景差分（ＢＧＳ）、またはこれらの組合せを含む
請求項１１に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に画像処理の分野に関し、詳細には、画像内の人物をリアルタイムにカウントする精度を高めるための方法及びシステムに関する。
【背景技術】
【０００２】
画像またはビデオ内の人物の活動を検出することは非常に重要であり、自動人体検出が重要な成功要因である適用分野、たとえばセキュリティ及び監視、ロボット工学、監視及び高速道路交通システム、自律車両及び自動運転者支援システムなどのために人物の存在を検出することが重要である。同様に、コンピュータ・ビジョン・システムでは、各セグメント内の物体を検出する、及び他の物体から人物を区別するための画像のセグメント化は、依然として難題である。
【０００３】
画像内に出現する多数の視覚的パターンが、複雑さを増大させる。人物検出は、画像内の人物の存在を検出するハードウェア及びソフトウェアの能力を要する。現在、画像内の人物の検出は、さまざまな人物検出技法及びアルゴリズムを使用することにより実現される。このような技法及びアルゴリズムは広く使用されているが、前記技法及びアルゴリズムによりもたらされる結果は、多くの場合、多数の間違った予測を含む。
【０００４】
人物検出及び追跡技法に関連する間違った予測またはエラーを低減することに関連する問題に対処するために、多くの解決策が提案された。人物を検出するためにしばしば取られる技法の１つが、人物をリアルタイムに検出するために、複数の人物検出技法を組み合わせることである。しかしながら、組合せの成功は、各検出技法に関連するエラーにより影響を受ける。このような解決策の１つが、ベイズの融合分類器技法（Ｂａｙｅｓｉａｎ  ｆｕｓｉｏｎ  Ｃｌａｓｓｉｆｉｅｒ  ｔｅｃｈｎｉｑｕｅ）を使用して処理されたＤＦＡベクトルから、解析される画像を表現するベクトルを教示する、Ｃｈｅｎｇｊｕｎ  Ｌｉｕの特許文献１で開示された。この方法は、比較的低いエラーの確率及び誤検出率の顔検出を開示するが、２つ以上の技法またはアルゴリズムが関与するとき、解決策の精度の決定に関して依然として言及していない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７，１６２，０７６号明細書
【特許文献２】インド特許出願第１３５９／ＭＵＭ／２０１１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、画像内の人物を検出するために適用されるすべての技法の精度を決定することにより、人物検出のために利用可能な複数の技法の間違った予測を低減することができる解決策の技術が必要である。
【０００７】
なお、人物検出モダリティで人物カウントの精度を高めるシステム及び方法を提案することも、本発明の目的となりうる。
【０００８】
また、人物検出モダリティに関連する、信頼できない要因を低減するシステム及び方法を提案することも、本発明の目的となりうる。
【０００９】
また、取り込まれた画像のフレーム中の人物をカウントするための、最も正確な人物検出モダリティを選択するシステム及び方法を提案することも、本発明の目的となりうる。
【課題を解決するための手段】
【００１０】
一様態では、本発明は、事前定義表示エリア内でリアルタイムに取り込まれた画像の少なくとも１つのフレーム中の人物カウンティングの精度を高める方法であって、前記取り込まれた画像の特徴的結果を得るために少なくとも１つの人物検出モダリティを使用することにより、１つまたは複数のフレーム中の人物を検出する、プロセッサに実装されたステップと、人物検出モダリティの得られた特徴的結果間を切り替えることにより、及び事前に計算された活動確率を使用することにより、精度確率を計算する、プロセッサに実装されたステップとを備える方法を開示する。活動確率は、各フレーム中で検出された人物カウントの分散を決定するように適合される。前記方法は、事前定義表示エリア内の人物の場所を検出するための選択技法を使用することにより、人物検出モダリティと活動確率の組合せから、各フレームに対して得られた特徴的結果を選択的に統合する、プロセッサに実装されたステップをさらに備える。人物検出モダリティの組合せは、ベイズの融合技法（Ｂａｙｅｓｉａｎ  ｆｕｓｉｏｎ  ｔｅｃｈｎｉｑｕｅ）に基づく。
【００１１】
他の様態では、本発明はまた、事前定義表示エリア内でリアルタイムに取り込まれた画像の少なくとも１つのフレーム中の人物カウンティングの精度を高めるシステムであって、少なくとも１つのモダリティ構成要素が埋め込まれた検出ユニットを備えるシステムを開示する。検出ユニットは、少なくとも１つの人物検出モダリティと協調して人物を検出して、前記取り込まれた画像に関連する特徴的結果を得るように構成される。システムは、各人物検出モダリティに関連する活動確率を計算するように適合された計算モジュールをさらに備える。活動確率は、各フレーム中で検出された人物カウントの分散を決定する。システムは、各フレームに対する各人物検出モダリティから得られた複数の特徴的結果を選択的に統合するように適合された融合プロセッサをさらに備える。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態によるシステムのアーキテクチャ
【図２】本発明の代替の一実施形態による人物カウント機構を示す説明図
【図３】本発明の代替の一実施形態による精度計算のプロセスフロー
【図４】本発明の代表的一実施形態を示す説明図
【図５】本発明の代表的一実施形態による検出精度の結果を示す説明図
【図６】本発明の代表的一実施形態による信頼できない要因に関する結果を示す説明図
【発明を実施するための形態】
【００１３】
次に、本発明の特徴を例示する、本発明のいくつかの実施形態について説明する。
【００１４】
「備える」、「有する」、「含有する」、及び「含む」という用語、ならびにこれらの他の形態は、意味が同等であることが意図され、これらの用語の任意の１つに続く１つまたは複数の項目が、このような１つまたは複数の項目の網羅的列挙であることを意味することも、列挙した１つまたは複数の項目だけに限定されることを意味することもないという点で非限定的である。
【００１５】
また、本明細書及び添付の特許請求の範囲で使用するとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈において特に明記しない限り、複数の指示対象も含む。本明細書で説明するシステム、方法、装置、及びデバイスに類似する、または等価な任意のシステム、方法、装置、及びデバイスを、本発明の実施形態の実現及び試験で使用することができるが、次に、好ましいシステム及び部分について説明する。
【００１６】
開示する実施形態は、本発明の代表的実施形態でしかなく、本発明はさまざまな形態で具体化されてもよい。
【００１７】
本発明は、人物カウンティングの精度を高めるための方法及びシステムに関する。人物カウンティングは、通常、複数の人物検出モダリティを使用することにより実現される。複数の人物検出モダリティ、たとえば、勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ、ＨＯＧ）、Ｈａａｒ（ハール）、及び背景差分（Ｂａｃｋｇｒｏｕｎｄ  Ｓｕｂｔｒａｃｔｉｏｎ、ＢＧ）は、人物画像を検出及び追跡して、人物の数を決定する。複数の人物検出モダリティのうちの各人物検出モダリティは、特定の信頼できない要因に関連づけられる。信頼できない要因の例は、ビデオフレームの変動、不適切な人物検出、誤検出などを含む。本発明は、信頼できない要因を低減するために、各人物検出モダリティの精度を計算する。信頼できない要因を低減することにより、人物カウントの精度が高まり、さらに、最も高い精度の人物検出モダリティを選択することが可能になる。
【００１８】
本発明のさまざまな様態及び実施形態によれば、本明細書で説明する方法は、コンピュータプロセッサ上で実行されるソフトウェアプログラム（１組のプログラムされた命令）として動作することが意図される。
【００１９】
一様態によれば、図１を参照すると、システム（１００）は、複数のフレーム中の画像を取り込むための画像取込デバイス（１０２）を備える。システム（１００）は、人物を検出するように構成された検出ユニット（１０４）をさらに備える。検出ユニット（１０４）は、少なくとも１つのフレーム中の人物を検出するために、少なくとも１つの人物検出モダリティを適用するための少なくとも１つのモダリティ構成要素（１０６）をさらに埋め込まれる。人物検出モダリティは、このように取り込まれた画像（取り込まれた画像と呼ぶ場合がある）に関連する特徴的結果を得るために適用される。特徴的結果は、人物のグレースケール画像の人物カウント値を含む。人物検出モダリティは、Ｈａａｒ、勾配方向ヒストグラム（ＨＯＧ）、背景差分（ＢＧＳ）、またはこれらの組合せを含んでもよいが、これらに限定されない。
【００２０】
本発明の一実施形態によれば、システム（１００）は、１つまたは複数のフレーム中の人物を追跡するための追跡モジュール（図示せず）をさらに備える。追跡モジュールは、人物を追跡するために、画像内に存在する信頼できない要因で人物を差別化することにより、人物画像をさらに処理する。
【００２１】
システム（１００）は、各人物検出モダリティに関連する活動確率を計算するように適合された計算モジュール（１０８）をさらに備える。活動確率は、各フレーム中で検出された人物カウントの分散を決定するための、取り込まれた画像の各フレーム中の変動の値を提供する。計算モジュール（１０８）はまた、各人物検出モダリティの精度を決定するための精度確率を計算する。
【００２２】
システム（１００）は、検出ユニット（１０４）及び計算モジュール（１０８）と通信する融合プロセッサ（１１０）をさらに備え、画像取込デバイス（１０２）により取り込まれた画像に関連する特徴的結果、及び各人物検出モダリティに関連する活動確率を選択的に統合するように適合される。
【００２３】
一実施形態によれば、システム（１００）は、融合プロセッサ（１１０）に通信可能に連結された精度エンハンサ（１１２）をさらに備える。精度エンハンサ（１１２）は、画像内の人物カウントの精度を高めるために、融合プロセッサ（１１０）と共に機能する。精度エンハンサ（１１２）は、回帰モデルを使用することにより、各人物検出モダリティの各々に関連する特徴的結果、及び各人物検出モダリティに関連する活動確率を選択的に統合するモジュール（１１６）をさらに備える。選択的統合は、最も正確な人物検出モダリティ、または選択された人物検出モダリティを選択するように実現される。
【００２４】
システム（１００）は、精度エンハンサ（１１２）と通信する人物カウンタ（１１４）をさらに備える。人物カウンタ（１１４）は、選択された人物検出モダリティに従って人物をカウントするように適合される。好適な人物検出モダリティ（または選択された人物検出モダリティ）は、選択的統合が実現された後に、精度エンハンサ（１１２）により選択された最も正確な人物検出モダリティである。
【００２５】
一実施形態によれば、図２を参照すると、画像取込デバイス（１０２）は、現在のフレーム及び先行するフレーム中の人物の画像を取り込む。複数のフレーム中の抽出された画像の１つまたは複数の特徴が、閾値と比較される。閾値は手作業で選択される。閾値は、画像が活動状態の画像であるかどうかを決定するのに役立つ。活動状態の画像は、固定していないフレームで取り込まれた画像である。活動状態は、活動確率に関して計算モジュール（１０８）により計算される。
【００２６】
次いで、検出ユニット（１０４）により、少なくとも１つの人物検出モダリティを使用することにより、１つまたは複数のフレーム中で人物が検出される。図２をさらに参照すると、ステップ２０２に示すように、検出ユニット（１０４）は、人物を検出するために、前景抽出を適用する。検出ユニット（１０４）は、人体を検出するために、勾配方向ヒストグラム（ＨＯＧ）をさらに適用する。高速物体を検出するために、線形ＳＶＭのカスケーディングが行われる。この場合、物体は人物を指す。検出ユニット（１０４）は、人物の顔を検出するために、Ｈａａｒ特徴抽出をさらに適用する。背景差分（ＢＧＳ）を使用することにより、背景変化が検出される（特許文献２参照）。
【００２７】
図１を再度参照すると、計算モジュール（１０８）は活動確率を計算する。計算モジュール（１０８）は、人物検出モダリティから得られた特徴的結果の間を切り替えることにより、及び事前計算された活動確率の値を使用することにより、各人物検出モダリティの精度確率をさらに計算する。活動確率は、各ビデオフレーム中で検出された人物カウントの分散を決定する。
【００２８】
図２を参照すると、ステップ２０４に示すように、融合プロセッサ（１１０）は、選択技法を使用することにより、人物検出モダリティの各々から得られた特徴的結果の組合せを生成する。人物の場所を検出するために、及び各人物検出モダリティに関連する信頼できない要因を低減するために、上記の組合せ（すなわち、ＨＯＧ、ＨＡＡＲ、勾配方向ヒストグラム、及びＢＧＳ）の特徴的結果を選択的に統合することが実現される。
【００２９】
一実施形態によれば、１つまたは複数の人物検出モダリティの組合せを実現するために使用される選択技法は、ベイズの融合技法である。ベイズの融合により、人物検出モダリティの分類成果が改善される。個々の人物検出モダリティ（Ｈａａｒ、勾配方向ヒストグラム（ＨＯＧ）、背景差分（ＢＧＳ））が、それ自体の特徴的結果を提供する。分類システムは、各人物検出モダリティに関連する活動確率を観察することにより、物体が人物クラス（Ｈ）に属するかどうかを決定する。ベイズの融合技法のベイズ分類器は、特徴的結果を任意の事前ｐ（Ｈ）と融合して、大域コンセンサス事後確率ｐ（Ｈ／Ｚ）に至り、ここで、Ｚ＝∪ｉ｛Ｚｉ｝∀ｉである。ｐ（Ｈ）は、クラスタイプＨの事前確率であり、Ｚ＝｛ＨＯＧ、ＢＧＳ、Ｈａａｒ｝である。勾配方向ヒストグラム（ＨＯＧ）分類器は、ｐ（Ｈ／ＺＨＯＧ）により人物クラスＨに属する物体の事後確率について記述する。同様に、ｐ（Ｈ／ＺＢＧＳ）及びｐ（Ｈ／ＺＨａａｒ）は、その他の２つの人物検出モダリティにより与えられる。同じ重要性の、すなわち同じ検出信頼水準の、これらの情報キューが、情報融合過程で与えられるべきであると仮定する。情報融合は、ベイズのモデル化手法を使用して対処される。
【００３０】
一実施形態によれば、図３を参照すると、画像取込デバイス（１０２）は、複数のフレーム中の、たとえば、古いフレーム及び新しいフレーム中の画像を取り込む。ステップ２０８に示すように、両フレームの特徴値の差を取った後に、マトリックスを準備する。特徴値は、画像の画素値である。マトリックスを使用して、画素値の標準偏差及び平均を計算する。ステップ２０２に示すように、検出ユニット（１０４）は、人物検出モダリティのうち少なくとも１つを１つまたは複数の組合せでさらに適用する。具体的な例では、組合せは、勾配方向ヒストグラム（ＨＯＧ）、背景差分、及びＨａａｒの組合せ、または勾配方向ヒストグラム（ＨＯＧ）及び背景差分（ＢＧ）の組合せを含む。
【００３１】
同時分布から開始して、結合規則を再帰的に適用して、分解を得る。
【００３２】
【数１】
2014532947.tif 000025
【００３３】
式（１）は、異なる人物検出モダリティから得られる観察結果が独立であると仮定する。多感覚応用システムでは、各情報源が共通に有する唯一のパラメータが状態であるので、各情報源の尤度ｐ（Ｚｉ／Ｈ）、ｉ＝１，…，ｎが独立であるという主張は合理的である。情報融合を定義する条件付き確率を（２）のように書くことができる。
【００３４】
【数２】
2014532947.tif 000026
【００３５】
図３を再度参照すると、各人物検出モダリティから得られる特徴的結果は、グレースケール画像の人物カウント値を含む。特徴的結果を計算する間に、１組のマトリックスを形成してもよく、マトリックスでは、成分が、グレースケール画像の画素値を含んでもよい。ステップ２１０に示すように、マトリックスは、顕著な活動が発生したフレームを識別するために、融合プロセッサ（１１０）及び精度エンハンサ（１１２）により処理される。これにより、各フレームの活動の尺度が与えられる。先行するフレームから画素値が大きく変化する場合に、顕著な活動が出現する。このとき、マトリックスは、画素値の異なる成分を有し、処理される。
【００３６】
図３を再度参照すると、ステップ２１２及び２１４に示すように、精度エンハンサ（１１２）は、１つまたは複数の人物検出モダリティにより得られた特徴的結果、及び各人物検出モダリティに関連する活動確率に回帰モデルを適用することにより、精度を高める。第１のステップは、情報源として画素値の平均及び標準偏差を選ぶことである。平均及び標準偏差の値は、活動確率に回帰モデルを適用するための入力共変量（少なくとも２つの変数の組合せ）とみなされ、精度確率は、活動確率の値を使用することにより計算される。
【００３７】
共変量（共変量ベクトル）ＣＶ＝［平均，分散］に対して、Ｖ＝［１，平均，分散］とし、ロジスティック回帰ｙの値が以下の分布を有する。
【００３８】
【数３】
2014532947.tif 000027
【００３９】
【数４】
2014532947.tif 000028
【００４０】
であり、ここで、αは推定されるモデルのベクトルパラメータである。
【００４１】
出力値が事前に決められている、サイズｋのサンプルが存在するとする。この事前決定は、手作業による決定であってもよい。ｙｉは、ｉ＝１，２，３，…，ｋに対して既知である。αの関数である尤度関数Ｌ（α）は、次式で与えられる。
【００４２】
【数５】
2014532947.tif 000029
【００４３】
αに対して尤度関数Ｌ（α）を最大にして、Ｌ（α）を最大にするαの値として、以下の推定値を得る。
【００４４】
【数６】
2014532947.tif 000030
【００４５】
これらのパラメータの助けを借りて、活動確率の値を計算する。これらの値は、活動状態の尺度を提供する。具体的な例として、０．７より大きな確率値が、所望の、固定していないフレームを示す。この活動確率の助けを借りて、計算モジュール（１０８）は、各人物検出モダリティの精度を決定するための精度確率を計算する。
【００４６】
図３を再度参照すると、ステップ２１２に示すように、回帰モデルの入力として、人物検出モダリティの出力が存在する。具体的な例として、フレームレベルで、３つの人物検出モダリティの出力が存在する。各フレームに対して、出力Ｘ１＝Ｈａａｒ、Ｘ２＝ＨＯＧ＋ＢＧ、及びＸ３＝ＨＯＧ＋ＢＧ＋Ｈａａｒがあるとする。これらのＸｉのすべてが、整数の値を取るカテゴリ変数である。
【００４７】
その他の入力が、各人物検出モダリティに対して計算された活動確率Ｐである。
【００４８】
共変量として、１組の独立した対照が入力に基づき入念に選ばれ、活動確率は、共変量として変化しないとみなされる。
【００４９】
換言すれば、共変量は以下である。
ＣＶ１＝Ｘ２−Ｘ１、
ＣＶ２＝Ｘ３−Ｘ１、
ＣＶ３＝Ｐ。
【００５０】
次式を考えてみる。
【００５１】
【数７】
2014532947.tif 000031
【００５２】
【数８】
2014532947.tif 000032
【００５３】
モデルが、関数
【００５４】
【数９】
2014532947.tif 000033
【００５５】
である。これらの関数のクラスの中の最良の要素を選ぶ。しかし、このクラスの中の最良の要素が、確率値１を有するグラウンド・トルース・データに出力が最も近い回帰モデルであることは明らかである（手作業で決定されたグラウンドトルースが、小さなサンプルで利用可能である）。
【００５６】
特殊なクラスの関数ｆ（ＣＶ）＝ｇ（α’Ｖ）を考えてみる。ここで、Ｖは、ＣＶ上の初等変換である。利用可能な観察されたデータ、またはサンプルから、回帰モデルが最良の成果を与える、マトリックスαの最適値を決定する。ｇが平滑な凸関数（一定次数までゼロではない正の導関数を有する関数を意味する）、たとえば、α’Ｖの個々の行に対する論理関数のベクトルであることが一般に考えられる。
【００５７】
ＣＶｉがｎｉの値
【００５８】
【数１０】
2014532947.tif 000034
【００５９】
を取るとして、ｉ番目の共変量に対して、ｎｉ−１の指標変数
【００６０】
【数１１】
2014532947.tif 000035
【００６１】
を、ｉ＝１，２；ｊ＝１，２，３，…，ｎｉに対してＩｉ，ｊ＝Ｉｎｄ（ＣＶｉ＝ｋｉ，ｊ）として導入する。このとき、この変換されたベクトルは、以下のように定義される。
【００６２】
【数１２】
2014532947.tif 000036
【００６３】
グラウンド・トルース・データは、所望の出力ベクトルＹ＝（ｙ１，ｙ２，ｙ３）のサンプルをもたらす。ｙｉのうち１つが１であり、残りがゼロである。回帰モデルを得るために、フレームレベルの値から、パラメータの関数が構築され、パラメータに対して最大化される。
【００６４】
ｇが論理関数のベクトルであるとする。Ｖがｍの要素を有するとする。α＝［α１，α２］について考えてみる、ここで、α１及びα２は長さｍのベクトルである。
【００６５】
このとき、ｇ（α’Ｖ）＝ｇ（［α１，α２］’Ｖ）＝［ｐ１（α’Ｖ），ｐ２（α’Ｖ），ｐ３（α’Ｖ）］’であり、ここで、ｐｉは、
ｐ１（α’Ｖ）＝ｅｘｐ（α１’Ｖ）／［１＋ｅｘｐ（α１’Ｖ）＋ｅｘｐ（α２’Ｖ）］、
ｐ２（α’Ｖ）＝ｅｘｐ（α２’Ｖ）／［１＋ｅｘｐ（α１’Ｖ）＋ｅｘｐ（α２’Ｖ）］、及び
ｐ３（α’Ｖ）＝（１−［ｐ１（α’Ｖ）＋ｐ２（α’Ｖ）］）
のように定義される。
【００６６】
サイズｋのサンプルがあるとする。このとき、尤度関数は次式となる。
【００６７】
【数１３】
2014532947.tif 000037
【００６８】
Ｆｉｓｈｅｒのスコアリング法を使用して、αの最尤推定値と呼ばれる推定値
【００６９】
【数１４】
2014532947.tif 000038
【００７０】
を得ることにより、αに関して尤度関数Ｌ（α）を最大化する。
【００７１】
図３を参照すると、ステップ２１４に示すように、パラメータを導出した後、回帰モデルを使用して計算した、事前に計算された活動確率を使用することにより、計算モジュール（１０８）により精度確率を計算する。ステップ２１６に示すように、信頼できない要因を低減するために、最大確率を有する人物検出モダリティを選択する。最大確率を有する人物検出モダリティが２つ以上あるときには、ランダムに選択する。
【００７２】
図２及び図３を参照すると、ステップ２０６に示すように、このとき、人物カウンタ（１１４）は、変動のないフレームを考慮すると共に、窓の中で最大確率を有する人物検出モダリティを使用することにより、人物をカウントする。
【００７３】
本発明を機能させるための最良の形態／実施例：
図４を参照すると、人物を検出及びカウントするために、複数の人物検出モダリティがグループで、または個別に使用される。これらをアルゴリズムと呼ぶ。これらのアルゴリズムは、トレーニング及び試験のために使用される。グラウンド・トルース・データは、手作業で選択された参照用データを含む。人物検出モダリティの選択を以下に示す。
Ａｌｇｏ１−Ｈａａｒ、
Ａｌｇｏ２−勾配方向ヒストグラム（ＨＯＧ）＋背景差分（ＢＧ）
Ａｌｇｏ３−Ｈａａｒ＋勾配方向ヒストグラム（ＨＯＧ）＋背景差分（ＢＧ）、
であり、Ａｌｇｏはアルゴリズムを意味する。
【００７４】
所定のグラウンド・トルース・データの助けを借りて、所望のパラメータを手作業で生成する。Ａｌｇｏ１、Ａｌｇｏ２、及びＡｌｇｏ３について、計算モジュール（１０８）が活動確率を計算し、活動確率をそれぞれＰｒｏｂ１、Ｐｒｏｂ２、及びＰｒｏｂ３とする。融合プロセッサ（１１０）及び精度エンハンサ（１１２）を用いて、回帰モデルを適用することにより、これらのアルゴリズムの選択的統合を実現する。Ａｌｇｏ１、Ａｌｇｏ２、及びＡｌｇｏ３について計算した検出率及び誤検出を以下の表に示す。
【００７５】
表１及び表２：検出率及び誤検出
【００７６】
【表１】
2014532947.tif 000039
【００７７】
【表２】
2014532947.tif 000040
【００７８】
図５及び図６は、それぞれ検出率及び誤検出を示すために、表１及び表２から得られた結果のグラフ表示を示す。
【００７９】
上述の表で、最大精度確率を有するアルゴリズムが選択される。
【００８０】
上記の手法を使って、検出精度を維持しながら、信頼できない要因または誤検出の低減が、４０％から２０％以下まで達成される。
【００８１】
さまざまな様態及び実施形態に関連して説明した方法論及び技法は、１組の命令が、実行されたときに、上記で説明した方法論のうち任意の１つまたは複数を機械に実現させてもよい機械または他のコンピューティングデバイスを使用して実現されることができる。機械は、バスを介して互いに通信するプロセッサ（たとえば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、または両方）、メインメモリ、及びスタティックメモリを含んでもよい。ディスク・ドライブ・ユニットが、上記で例示したこれらの方法を含む、本明細書で説明する方法論または機能のうち任意の１つまたは複数を具体化する１つまたは複数の組のプログラムされた命令（たとえば、ソフトウェア）が記憶された機械可読媒体を含んでもよい。命令はまた、メインメモリ、スタティックメモリ内部に、及び／または機械により命令が実行される間にプロセッサ内部に、全部または少なくとも一部、存在してもよい。メインメモリ及びプロセッサはまた、機械可読媒体を構成してもよい。
【００８２】
さまざまな様態、実施形態、及び図面を参照して、上記の説明を提示した。説明した動作の構造及び方法の代替形態及び変更形態が、原理及び範囲を有意に逸脱することなく実施することができる。
【国際調査報告】
2014532947.tif 000041
2014532947.tif 000042