(57)【要約】【課題】  人の集団の自動的な検出を実現する。【解決手段】  人の集団検出方法であって、ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するステップと、コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得するステップと、クラスタに従って人の集団の少なくとも１つの領域を構築するステップとを含む。【選択図】  図１
2013196682.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するステップと、
前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得するステップと、
前記クラスタに従って人の集団の少なくとも１つの領域を構築するステップとを含む
ことを特徴とする人の集団検出方法。
【請求項２】
前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得する前記ステップは、
前記コーナーおよび前記前景領域における画素の交点を取得してコーナーセットを取得するステップと、
クラスタ化アルゴリズムを使用することによって前記コーナーセットにおいてクラスタ化操作を実行し、少なくとも１つのクラスタを取得するステップとを含む
ことを特徴とする請求項１に記載の人の集団検出方法。
【請求項３】
前記クラスタに従って人の集団の少なくとも１つの領域を構築するステップは、
クラスタの中心を中心と見なすことによって取得されたクラスタ毎に人の集団の領域を構築するステップを含み、
前記領域は前記クラスタにおけるコーナーを含む領域である
ことを特徴とする請求項１に記載の人の集団検出方法。
【請求項４】
クラスタ毎に構築された人の集団の領域は、前記クラスタにおけるすべてのコーナーを含む最小の領域であり、
前記コーナーは画像において局所的な構造特性を有する画素である
ことを特徴とする請求項３に記載の人の集団検出方法。
【請求項５】
前記クラスタに従って人の集団の少なくとも１つの領域を構築した後、
人の集団の前記領域のサイズを計算し、人の集団の前記領域のサイズに従って人の集団の前記領域をフィルタ処理するステップ、または人の集団の前記領域のコーナー密度を計算し、前記コーナー密度に従って人の集団の前記領域をフィルタ処理するステップを含む
ことを特徴とする請求項１に記載の人の集団検出方法。
【請求項６】
人の集団の前記領域のサイズに従って人の集団の前記領域をフィルタ処理するステップは、
人の集団の構築された領域毎に、前記領域のサイズがあらかじめ設定された第１のしきい値よりも小さい場合、前記領域を除去するステップを含む
ことを特徴とする請求項５に記載の人の集団検出方法。
【請求項７】
前記コーナー密度に従って人の集団の前記領域をフィルタ処理するステップは、
人の集団の構築された領域毎に、前記領域のコーナー密度があらかじめ設定された第２のしきい値よりも小さい場合、前記領域を除去するステップを含む
ことを特徴とする請求項５に記載の人の集団検出方法。
【請求項８】
前記コーナー密度に従って人の集団の前記領域をフィルタ処理する前に、
手動でマーク付けされたサンプルデータにおいて、人の集団の少なくとも１つの正のサンプル領域および人の集団の少なくとも１つの負のサンプル領域を取得するステップと、
前記正のサンプル領域のコーナー密度および前記負のサンプル領域のコーナー密度を計算するステップと、
前記正のサンプル領域のコーナー密度の第１の分布グラフおよび前記負のサンプル領域のコーナー密度の第２の分布グラフを計算するステップと、
前記第１の分布グラフと前記第２の分布グラフとの交点に対応するコーナー密度値を取得するステップと、
前記取得されたコーナー密度値を前記第２のしきい値として定義するステップとを含む
ことを特徴とする請求項７に記載の人の集団検出方法。
【請求項９】
前記クラスタに従って人の集団の少なくとも１つの領域を構築した後、
人の集団の前記領域において、指定された画素のオプティカルフロー強度を計算するステップと、
前記指定された画素のオプティカルフロー強度に従って、人の集団の前記領域のオプティカルフロー強度の密度を計算するステップと、
前記オプティカルフロー強度の密度に従って、人の集団の前記領域をフィルタ処理するステップとを含む
ことを特徴とする請求項１に記載の人の集団検出方法。
【請求項１０】
本発明の実施例の別の目的は、人の集団の検出のためのデバイスを提供することであり、
ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するための取得モジュールと、
前記取得モジュールによって取得された前記コーナーおよび前景領域に従って計算を行い、少なくとも１つのクラスタを取得するためのクラスタ化モジュールと、
前記クラスタ化モジュールによって取得された前記クラスタに従って、人の集団の少なくとも１つの領域を構築するための構築モジュールとを含む。
ことを特徴とする人の集団検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理の分野に関し、特に人の集団の検出のための方法およびデバイスに関する。
【背景技術】
【０００２】
近年「平和都市」プロジェクト、北京オリンピックセキュリティプロジェクト、上海万博、広州アジア大会などの大規模事業の影響、ならびに様々な場所や産業におけるセキュリティプロジェクトに対する必要性の急激な高まりによって、中国のビデオ監視市場は急速に発展、拡大した。市場の急速な発展と共に様々な監視カメラおよび記憶装置がますます普及しつつあり、従って大量の画像およびビデオデータを取得することができる。データの迅速かつ高度な分析は、行政および産業の差し迫った課題となっている。ＩＶＳ（インテリジェント映像監視）はインテリジェントデータの分析において非常に重要な技術的手法を提供し、人の集団の検出はＩＶＳの重要な監視分析法と見なされる。
【０００３】
人の集団の検出のプロセスは、所与の監視領域においてカメラによるシーンのビデオデータを入力として取得し、あるエリア内に人の集団が存在するかどうかを検出し、存在する場合人の集団の位置を特定するステップを含む。この技術は例えば街の広場のセキュリティ、商業地域における群衆整理、駅のセキュリティなど高度映像監視の分野で広く適用されている。
【０００４】
従来技術における人の集団の検出技術は以下の通りである。まず所与の監視領域において移動対象物抽出技術、対象物検出または追跡技術によって１人の人間の位置を取得し、次に１人の人間の位置に基づいて人数を計数し、最後に、計数された人数が指定された値に達しているかどうかによって人の集団が存在するかを決定する。
【０００５】
しかし上記の方法で人の集団を検出した結果は人々の位置検出に完全に依存するため、この方法の用途が制限される。特に人体画像のサイズが非常に小さい時、またはシーンが非常に複雑な時、この方法によって自動的かつ正確に人々を検出し位置を特定することは難しい。従って人の集団の検出は自動的化できず、結果的には実用の用途における必要性に応えることができていない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の技術的問題を解決するために、本発明の実施例において人の集団の検出のための方法およびデバイスが提供される。技術的な解決策は以下の通りである。
【課題を解決するための手段】
【０００７】
本発明の実施例の１つの目的は人の集団の検出のための方法を提供することであり、この方法は、
ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するステップと、
前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得するステップと、
前記クラスタに従って人の集団の少なくとも１つの領域を構築するステップとを含む。
【０００８】
一実施例では、前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得する前記ステップは、
前記コーナーおよび前記前景領域における画素の交点を取得してコーナーセットを取得するステップと、
クラスタ化アルゴリズムを使用することによって前記コーナーセットにおいてクラスタ化操作を実行し、少なくとも１つのクラスタを取得するステップとを含む。
【０００９】
別の実施例では、前記クラスタに従って人の集団の少なくとも１つの領域を構築するステップは、
クラスタの中心を中心と見なすことによって取得されたクラスタ毎に人の集団の領域を構築するステップを含み、前記領域は前記クラスタにおけるコーナーを含む領域である。
【００１０】
別の実施例では、クラスタ毎に構築された人の集団の領域は、具体的には前記クラスタにおけるすべてのコーナーを含む最小の領域であり、前記コーナーは画像において局所的な構造特性を有する画素である。
【００１１】
別の実施例では前記クラスタに従って人の集団の少なくとも１つの領域を構築した後、前記方法は、
人の集団の前記領域のサイズを計算し、人の集団の前記領域のサイズに従って人の集団の前記領域をフィルタ処理するステップ、または人の集団の前記領域のコーナー密度を計算し、前記コーナー密度に従って人の集団の前記領域をフィルタ処理するステップをさらに含む。
【００１２】
好ましくは、人の集団の前記領域のサイズに従って人の集団の前記領域をフィルタ処理するステップは、
人の集団の構築された領域毎に、前記領域のサイズがあらかじめ設定された第１のしきい値よりも小さい場合、前記領域を除去するステップを含む。
【００１３】
好ましくは、前記コーナー密度に従って人の集団の前記領域をフィルタ処理するステップは、
人の集団の構築された領域毎に、前記領域のコーナー密度があらかじめ設定された第２のしきい値よりも小さい場合、前記領域を除去するステップを含む。
【００１４】
さらに前記コーナー密度に従って人の集団の前記領域をフィルタ処理する前に、前記方法は、
手動でマーク付けされたサンプルデータにおいて、人の集団の少なくとも１つの正のサンプル領域および人の集団の少なくとも１つの負のサンプル領域を取得するステップと、
前記正のサンプル領域のコーナー密度および前記負のサンプル領域のコーナー密度を計算するステップと、
前記正のサンプル領域のコーナー密度の第１の分布グラフおよび前記負のサンプル領域のコーナー密度の第２の分布グラフを計算するステップと、
前記第１の分布グラフと前記第２の分布グラフとの交点に対応するコーナー密度値を取得するステップと、
前記取得されたコーナー密度値を前記第２のしきい値として定義するステップとをさらに含む。
【００１５】
別の実施例では、前記クラスタに従って人の集団の少なくとも１つの領域を構築した後、前記方法は、
人の集団の前記領域において、指定された画素のオプティカルフロー強度を計算するステップと、
前記指定された画素のオプティカルフロー強度に従って、人の集団の前記領域のオプティカルフロー強度の密度を計算するステップと、
前記オプティカルフロー強度の密度に従って、人の集団の前記領域をフィルタ処理するステップとをさらに含む。
【００１６】
別の実施例では、前記オプティカルフロー強度の密度に従って人の集団の前記領域をフィルタ処理するステップは、
人の集団の構築された領域毎に、前記領域のオプティカルフロー強度の密度があらかじめ設定された第３のしきい値よりも大きい場合、人の集団の前記領域を除去するステップを含む。
【００１７】
別の実施例では、前記オプティカルフロー強度の密度に従って人の集団の前記領域をフィルタ処理する前に、前記方法は、
手動でマーク付けされたサンプルデータにおいて、人の集団の少なくとも１つの正のサンプル領域および少なくとも１つの負のサンプル領域を取得するステップと、
前記正のサンプル領域のオプティカルフロー強度の密度および前記負のサンプル領域のオプティカルフロー強度の密度を計算するステップと、
前記正のサンプル領域のオプティカルフロー強度の密度の第３の分布グラフ、および前記負のサンプル領域のオプティカルフロー強度の密度の第４の分布グラフを計算するステップと、
前記第３の分布グラフと前記第４の分布グラフとの交点に対応するオプティカルフロー強度の密度値を取得するステップと、
オプティカルフロー強度の前記取得された密度値を前記第３のしきい値として定義するステップとをさらに含む。
【００１８】
本発明の実施例の別の目的は、人の集団の検出のためのデバイスを提供することであり、
ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するための取得モジュールと、
前記取得モジュールによって取得された前記コーナーおよび前景領域に従って計算を行い、少なくとも１つのクラスタを取得するためのクラスタ化モジュールと、
前記クラスタ化モジュールによって取得された前記クラスタに従って、人の集団の少なくとも１つの領域を構築するための構築モジュールとを含む。
【００１９】
一実施例では、前記クラスタ化モジュールは、
前記コーナーおよび前記前景領域における画素の交点を取得して、コーナーセットを取得するための処理ユニットと、
クラスタ化アルゴリズムを使用することによって前記処理ユニットによって取得された前記コーナーセットにおいてクラスタ化操作を実行して、少なくとも１つのクラスタを取得するためのクラスタ化ユニットとを含む。
【００２０】
別の実施例では、前記構築モジュールは具体的にはクラスタの中心を中心と見なすことによって、取得されたクラスタ毎に人の集団の領域を構築するために使用され、前記領域は前記クラスタにおけるコーナーを含む領域である。
【００２１】
別の実施例では、クラスタ毎に前記構築モジュールによって構築された人の集団の領域は、具体的には前記クラスタにおけるすべてのコーナーを含む最小の領域であり、前記コーナーは画像における局所的な構造特性を有する画素である。
【００２２】
別の実施例では、前記デバイスは、
前記構築モジュールによって人の集団の前記領域が構築された後、人の集団の少なくとも１つの領域のサイズを計算し、人の集団の前記領域のサイズに従って人の集団の前記領域をフィルタ処理するためのサイズフィルタリングモジュール、または前記構築モジュールによって人の集団の前記領域が構築された後、人の集団の少なくとも１つの領域のコーナー密度を計算し、前記コーナー密度に従って人の集団の前記領域をフィルタ処理するためのコーナー密度フィルタリングモジュールをさらに含む。
【００２３】
別の実施例では、前記サイズフィルタリングモジュールは、具体的には前記構築モジュールによって人の集団の前記領域が構築された後、人の集団の少なくとも１つの領域のサイズを計算し、人の集団の構築された領域毎に前記領域のサイズがあらかじめ設定された第１のしきい値よりも小さい場合、前記領域を除去するために使用される。
【００２４】
別の実施例では、前記コーナー密度フィルタリングモジュールは、具体的には前記構築モジュールによって人の集団の前記領域が構築された後、人の集団の少なくとも１つの領域のコーナー密度を計算し、人の集団の構築された領域毎に前記領域のコーナー密度があらかじめ設定された第２のしきい値よりも小さい場合、前記領域を除去するために使用される。
【００２５】
別の実施例では、前記デバイスは、
手動でマーク付けされたサンプルデータにおける人の集団の少なくとも１つの正のサンプル領域および人の集団の少なくとも１つの負のサンプル領域を取得し、前記正のサンプル領域のコーナー密度および前記負のサンプル領域のコーナー密度を計算し、前記正のサンプル領域のコーナー密度の第１の分布グラフおよび前記負のサンプル領域のコーナー密度の第２の分布グラフを計算し、前記第１の分布グラフと前記第２の分布グラフとの交点に対応するコーナー密度値を取得し、前記取得されたコーナー密度値を前記第２のしきい値として定義するための第１の生成モジュールをさらに含む。
【００２６】
別の実施例では、前記デバイスは、
前記構築モジュールによって人の集団の前記領域が構築された後、人の集団の少なくとも１つの領域における指定された画素のオプティカルフロー強度を計算し、前記指定された画素のオプティカルフロー強度に従って人の集団の前記領域のオプティカルフロー強度の密度を計算し、前記オプティカルフロー強度の密度に従って人の集団の前記領域をフィルタ処理するためのオプティカルフロー強度密度フィルタリングモジュールをさらに含む。
【００２７】
別の実施例では、前記オプティカルフロー強度密度フィルタリングモジュールは、
前記オプティカルフロー強度の密度に従って人の集団の前記領域をフィルタ処理する時、人の集団の構築された領域毎に、前記領域のオプティカルフロー強度の密度があらかじめ設定された第３のしきい値よりも大きい場合、人の集団の前記領域を除去するためのフィルタリングユニットを含む。
【００２８】
別の実施例では、前記デバイスは、
手動でマーク付けされたサンプルデータにおける人の集団の少なくとも１つの正のサンプル領域および少なくとも１つの負のサンプル領域を取得し、前記正のサンプル領域のオプティカルフロー強度の密度および前記負のサンプル領域のオプティカルフロー強度の密度を計算し、前記正のサンプル領域のオプティカルフロー強度の密度の第３の分布グラフおよび前記負のサンプル領域のオプティカルフロー強度の密度の第４の分布グラフを計算し、前記第３の分布グラフと前記第４の分布グラフとの交点に対応するオプティカルフロー強度の密度値を取得し、前記取得されたオプティカルフロー強度の密度値を前記第３のしきい値として定義するための第２の生成モジュールをさらに含む。
【発明の効果】
【００２９】
本発明の実施例において提供される技術的解決策は以下の利点を有する。本実施例における方法によれば、ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得し、前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得し、前記クラスタに従って人の集団の少なくとも１つの領域を構築することによって、人の集団の自動的な検出が実現され、用途が限定されるという従来技術の問題が解決される。さらに本発明の実施例は人の位置検出には依存せず、人の画像のサイズによって影響を受けないため、複雑なシーンを含む任意のシーンに適用することができ、従って用途が広がり、ユーザからの要求を今までよりも充足させることができる。さらに、人の集団の構築された領域における誤検出領域は、人の集団の領域のサイズやコーナー密度を計算しフィルタ処理を実行することによって除去することができ、人の集団の検出の精度および信頼性がさらに向上する。
【図面の簡単な説明】
【００３０】
本発明は以下に示す添付の図面からより完全に理解できる。しかし、これらの図面は例示にすぎない。当業者であれば、負担の大きい不要な実験を行わなくてもさらに別の変形を容易に得ることができる。こうした変形は本発明の精神および範囲からの逸脱とは見なされない。
【００３１】
【図１】本発明の実施例によって提供される人の集団の検出のための方法のフローチャートを示す。
【図２】本発明の実施例によって提供される人の集団の検出のための別の方法のフローチャートを示す。
【図３】本発明の実施例によって提供される人の集団の検出のための別の方法のフローチャートを示す。
【図４】本発明の実施例において提供されるコーナー密度の分布グラフを示す。
【図５】本発明の実施例によって提供される領域のサイズおよびコーナー密度に基づくフィルタ処理の前後の比較図を示す。
【図６】本発明の実施例によって提供される人の集団の検出のための別の方法のフローチャートを示す。
【図７】本発明の実施例において提供されるオプティカルフロー強度の密度の分布グラフを示す。
【図８】本発明の実施例によって提供されるオプティカルフロー強度の密度に基づくフィルタ処理の前後の比較図を示す。
【図９】本発明の実施例によって提供される人の集団の検出のためのデバイスの構造図を示す。
【図１０】本発明の実施例によって提供される人の集団の検出のための別のデバイスの構造図を示す。
【発明を実施するための形態】
【００３２】
本発明の目的、技術的解決策、および利点を明確にするために、本発明の実施例について添付の図面を参照してさらに詳しく説明する。
【００３３】
図１を参照すると、本発明の一実施例による人の集団の検出のための方法が提供される。
１０１：ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するステップと、
１０２：前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得するステップと、
１０３：前記クラスタに従って人の集団の少なくとも１つの領域を構築するステップとを含む。
【００３４】
本実施例における方法によれば、ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得し、前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得し、前記クラスタに従って人の集団の少なくとも１つの領域を構築することによって、人の集団の自動的な検出が実現され、用途が限定されるという従来技術の問題が解決される。さらに本発明の実施例は、人の位置検出には依存せず、人の画像のサイズによって影響を受けないため、複雑なシーンを含む任意のシーンに適用することができ、従って用途が広がり、ユーザからの要求を今までよりも充足させることができる。
【００３５】
本発明の実施例は人の集団の検出に関連する。ここで前記人の集団とは２人以上の人である。人の集団に含まれる人々は通常、シーンの背景には属しておらず、静止した状態、または不可視だが動いている状態にある。従って本発明の実施例では、人の集団は前景領域に基づいて検出される。図２を参照すると、本発明の本実施例における人の集団の検出のための方法が提供される。この方法は以下を含む。
【００３６】
２０１：ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するステップ。
【００３７】
本発明の実施例におけるコーナー（Ｃｏｒｎｅｒ）は、注視点（Ｉｎｔｅｒｅｓｔ  Ｐｏｉｎｔ）またはキーポイント（Ｋｅｙ  Ｐｏｉｎｔ）とも呼ばれており、例えばエッジ点および２本の線の交点など、画像における局所的な構造特性を有する画素である。画像が変化する時、コーナーは整合性が変わらない特性を有する。前記変化とは、画像のスケール変化、回転、平行移動、ズーム、および照明変化を意味する。例えばビデオデータにおける静止した車両、道路および芝生上の歩行者はコーナーを含み、人の集団がある場合も明らかなコーナーが存在する。従って人の集団の領域の特徴は、コーナー情報によって表すことができる。「コーナー」、「注視点」、および「キーポイント」は、本文献において相互に入れ替え可能であり、従って本発明では区別されず、説明を分かり易くするために統一して「コーナー」とする。コーナーは、画像処理分野において一般的に使用される画像の特徴（Ｉｍａｇｅ  Ｆｅａｔｕｒｅ）であり、エッジ（Ｅｄｇｅ）、コーナー（Ｃｏｒｎｅｒ）、または斑点（Ｂｌｏｂ）などのタイプを含むがこれに限られず、様々なタイプの情報に基づいて抽出することができる。
【００３８】
通常、実際のシーンのコンテンツは時間と共に変化し、本発明の実施例における前景は例えば部屋の中を歩いている人、道路上を走っている車両など実際のシーンにおける動的な対象物を指す。それに対応して背景は静的コンテンツを指し、時として前景の対象物によって妨げられる。通常、人の集団は異なる方向から来て特定の場所にとどまっている人々によって形成される。従って人の集団の領域は通常、シーンにおける前景の対象物に属し、前景は人の集団を表すために使用することができる。
【００３９】
前記ビデオデータはカメラ機器によって収集されるビデオ画像を指す。カメラ機器は確かに音を収集することはできるが音の収集は本発明には関連しておらず、従って本発明におけるビデオデータは主にビデオ画像から構成される。通常、ビデオ画像はリアルタイムに収集される。これは本発明の実施例におけるコーナーの取得および前景領域の抽出がいずれもリアルタイムに実行されることを意味する。
【００４０】
コーナー検出の方法は数多くある。例えば、コーナー検出のためにビデオデータにおいてＦＡＳＴアルゴリズムを使用することができ、他のコーナー検出アルゴリズムとして例えばハリス演算子（Ｈａｒｒｉｓ  Ｏｐｅｒａｔｏｒ）（ハリス（Ｈａｒｒｉｓ）コーナー抽出法）、ＳＵＳＡＮコーナー検出器（ＳＵＳＡＮ  ｃｏｒｎｅｒ  ｄｅｔｅｃｔｏｒ）（ＳＵＳＡＮコーナー検出法）、ＬｏＧ（ラプラシアンガウシアン：Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）特徴検出アルゴリズムなどを含むがこれらに限定されない方法でコーナー検出を行うこともできる。一般にコーナー検出の結果はコーナーセットによって表すことができる。
ＣｏｎｅｒＳｅｔ＝｛ｐ１（ｘ，ｙ），ｐ２（ｘ，ｙ）・・・ｐｘ（ｘ，ｙ）｝  （１）
【００４１】
この式においてｎはコーナーの数を表し、ｐはコーナーを表し、（ｘ，ｙ）はビデオ画像におけるコーナーｐの座標であり、ｘは水平座標を表し、ｙは垂直座標を表す。
【００４２】
また、例えば動き検出アルゴリズムなど、前景領域抽出のための方法も数多くある。本発明では、前景領域抽出のための特定のアルゴリズムは限定されない。一般に入力画像の前景領域を抽出する結果は、以下によって表すことができる。
【数１】
2013196682.tif 000003
ここでｑ（ｘ，ｙ）は入力画像における画素を表し、ｑ（ｘ，ｙ）は、そのグレー値が２５５である時入力画像の前景画素に属し、そのグレー値が０である時入力画像の前景画素に属さない。具体的には前景が抽出された後、黒い部分が背景であり、白い突出部分が前景であることが入力画像からわかる。
【００４３】
本実施例ではコーナーおよび前景領域を取得する順序は固定されず、これは操作を連続してまたは同時に実行することができることを意味する。本発明ではこの態様における制限はない。
【００４４】
２０２：コーナーおよび前景領域における画素の交点を取得してコーナーセットを取得するステップ。
【００４５】
ここで交点を取得した結果は、コーナーおよび前景領域の両方に属する画素であり、従ってコーナーセットが取得される。
【００４６】
具体的にはこのステップは、
最初に新しいコーナーセットＳ、Ｓ＝φを構築するステップと、
ステップ２０１において取得された各コーナーｐ（ｘ，ｙ）∈ＣｏｒｎｅｒＳｅｔが前景領域における画素に属するかどうかを決定し、そうである場合Ｓ＝Ｓ∪ｐ（ｘ，ｙ）となるステップと、
取得されたすべてのコーナーをトラバースした後、新しいコーナーセットＳを取得するステップであり、新しいコーナーセットにおけるコーナーが前景領域に属するステップとを含む。
【００４７】
２０３：クラスタ化アルゴリズムを使用することによってコーナーセットにおいてクラスタ化操作を実行して、少なくとも１つのクラスタを取得するステップ。
【００４８】
クラスタ化アルゴリズムは数学のアルゴリズム用語であり、さらなる分析のために、ある特定のカテゴリにおける類似性または焦点に基づいて各カテゴリの特性を要約することができる。いわゆる「カテゴリ」は通常、類似の要素の集合を指す。クラスタ分析はグループ分析とも言われ、分類を研究するための統計分析法である。Ｋ平均値、平均値シフト（Ｍｅａｎｓｈｉｆｔ）などそれだけには限定されないが、多くのクラスタ化アルゴリズムがある。本発明の実施例ではクラスタ化アルゴリズムのうちの任意の１つを採用することができ、これはこの態様において限定されない。
【００４９】
このステップでは、クラスタ化アルゴリズムによって取得された１つまたは複数のクラスタがある。例えば、あるビデオシーンでは１つのクラスタのみが取得され、このクラスタは歩行中の人であり、別のビデオシーンでは、２つのクラスタが取得され、一方のクラスタは１０人以上の人の集団であり、もう一方は自転車に乗っている２人である。
【００５０】
２０４：クラスタの中心を中心と見なすことによって、取得されたクラスタ毎に人の集団の領域を構築するステップであり、領域がクラスタにおけるコーナーを含む領域であるステップ。
【００５１】
本発明の別の実施例では、好ましくはこのステップは具体的に、
クラスタの中心を中心と見なすことによって、取得されたクラスタ毎に人の集団の領域を構築するステップであり、領域がクラスタにおけるすべてのコーナーを含む最小の領域であり、前記コーナーが画像における局所的な構造特性を有する画素であるステップを含む。例えばクラスタの中心を円の中心と見なすことによって、取得されたクラスタ毎に人の集団の丸い領域が構築され、領域の半径はクラスタにおけるすべてのコーナーを含む円の最小半径である。
【００５２】
本実施例では、一例として人の集団の丸い領域が構築される。当然、他の実施例では、例えば正方形、長方形、楕円形など、他の形状の人の集団の領域を構築することができ、形状は本発明ではこの態様において限定されない。
【００５３】
クラスタに従って人の集団の領域を構築する時、領域がこのクラスタにおけるすべてのコーナーを含む限り、例えば異なる半径を有する丸い領域など任意のサイズの人の集団の領域を構築することができる。好ましくは、人の集団の領域をより正確に表す人の集団の領域を構築するために、本実施例ではクラスタにおけるすべてのコーナーを含む最小の円が選択される。
本実施例では、構築された人の集団の領域に対応するＩＤを割り当て、領域への格納を容易にすることができる。ＩＤを割り当てるための方法は数多くあり、例えば構築時刻の順序に従ってＩＤを割り当てることができる。例えば時刻ｔ１から時刻ｔ２までの期間に人の集団の領域が３つ構築され、次いでこれらの領域にＩＤ１、ＩＤ２、およびＩＤ３が次々に割り当てられる。当然、本発明の別の実施例においては他の方法でＩＤを割り当てることもできる。例えば同一の人の集団が異なる時に、または異なる場所で現れる場合、人の集団には画像情報の類似性を合致させる方法でマークを付し、同じＩＤを割り当てることができる。本実施例ではこの態様における制限はない。さらに割り当てられたＩＤ値および割り当て時刻などの情報を関連付け、共に記録し、後の分析や計算を容易にすることができる。本実施例ではこの態様における制限はない。
【００５４】
本実施例において提供される方法によれば、ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得し、前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得し、前記クラスタに従って人の集団の少なくとも１つの領域を構築することによって、人の集団の自動的な検出が実現され、用途が限定されるという従来技術の問題が解決される。さらに、本発明の実施例は人の位置検出には依存せず、人の画像のサイズによって影響を受けないため、複雑なシーンを含む任意のシーンに適用することができ、従って用途が広がり、ユーザからの要求を今までよりも充足させることができる。ここで、人の集団の領域は丸い形状に構築することによって知覚しやすくなり、容易にアクセスすることができる。人の集団の領域はクラスタにおけるすべてのコーナーを含む最小の円に基づいて構築することによって、より正確に表すことができる。
【００５５】
上述の実施例に従って人の集団の領域が構築された後、何らかの誤検出がある可能性があり、従って構築された人の集団の領域はフィルタ処理する必要がある。図３を参照すると、本発明の実施例では人の集団の検出のための方法がさらに提供され、検出の精度を向上させるために人の集団の領域が構築された後、領域のサイズまたはコーナー密度に従ってフィルタ操作が行われる。この方法は以下を含む。
【００５６】
３０１：ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するステップ。
【００５７】
３０２：コーナーおよび前景領域に従って計算を行い、少なくとも１つのクラスタを取得するステップ。
【００５８】
３０３：クラスタに従って人の集団の少なくとも１つの領域を構築するステップ。
【００５９】
ステップ３０１〜３０３の詳細な実現プロセスは上述の実施例における説明と同一であり、本実施例では説明しない。
【００６０】
以下は、構築された人の集団の領域をフィルタ処理するためのステップであり、ステップ３０４／ステップ３０５を含む。
【００６１】
３０４：人の集団の領域のサイズを計算し、人の集団の領域のサイズに従って人の集団の領域をフィルタ処理するステップ。
【００６２】
具体的には、人の集団の構築された領域毎に、計算された領域のサイズがあらかじめ設定された第１のしきい値よりも小さい場合、この領域は除去される。ここで前記あらかじめ設定された第１のしきい値は、人の集団の領域の形状に従ってあらかじめ設定された境界値であり、通常比較的小さい値であり、従って構築された人の集団の領域のサイズがこのしきい値よりも小さい時、人の集団のこの領域は比較的小さく誤検出となり得ることを意味する。例えば、これは静止した車両内または芝生上の人などである。人の集団の領域のサイズに基づいてフィルタ処理することによって、より小さい領域は除去することができ、サイズが第１のしきい値よりも大きい領域は保持され、従って誤検出された領域は除去され、検出精度はさらに向上する。
【００６３】
好ましくは、人の集団の領域が円で構築された時、前記第１のあらかじめ設定されたしきい値は、あらかじめ設定された半径のしきい値である。フィルタ処理操作の間、人の集団の丸い領域の半径がそれぞれ計算され半径のしきい値と比較されるものとし、半径が半径のしきい値よりも小さい場合領域は除去され、半径が半径のしきい値よりも大きい場合領域は保持される。
【００６４】
３０５：人の集団の領域のコーナー密度を計算し、コーナー密度に従って、人の集団の領域をフィルタ処理するステップ。
【００６５】
人の集団の領域の前記コーナー密度を計算するための方法は数多くある。本発明ではこの態様における制限はない。例えばコーナー密度を計算するために以下の式を採用することができる。
【数２】
2013196682.tif 000004
【００６６】
式中、前記コーナーの数は人の集団の領域におけるすべてのコーナーの合計数を指し、ｒは人の集団の領域の半径を表し、πｒ２は人の集団の領域の面積を表す。
【００６７】
実際の用途では、３０４においてサイズに従って人の集団の領域をフィルタ処理し、３０５においてコーナー密度に従って人の集団の領域をフィルタ処理する２つのステップのいずれか一方を選択して実行することができる。好ましくは、検出精度をさらに向上させるために両方のステップを実行することができる。両方のステップが実行される時ステップの順序は限定されない。どのステップが最初に実行されても、後のステップにおいて前のフィルタ処理の結果に基づいてフィルタ処理が実行されるが、これについてはここでは詳述しない。例えば３０５が３０３の後で実行される場合、３０５における人の集団の領域は、ステップ３０３において構築された人の集団の領域を指し、３０５が３０４の後で実行される場合、人の集団の前記領域は３０４におけるフィルタ処理の後で保持されるものを指す。
【００６８】
このステップでは、コーナー密度に従って人の集団の領域をフィルタ処理するステップは、具体的には次のステップ、
人の集団の構築された領域毎に、前記領域のコーナー密度があらかじめ設定された第２のしきい値よりも小さい場合、前記領域を除去するステップを含むことができる。
【００６９】
ここで、前記あらかじめ設定された第２のしきい値は、コーナー密度のあらかじめ設定された境界値であり、人の集団の領域のコーナー密度が第２のしきい値よりも小さい時、この領域のコーナー密度が比較的低く誤検出であり得ることを意味し、従ってその領域は除去される。人の集団の領域のコーナー密度が第２のしきい値よりも大きい時、この領域のコーナー密度が比較的高く適切であることを意味し、次にこの領域は人の集団の正しい領域と見なされ保持される。人の集団の領域のコーナー密度に基づいてフィルタ処理することによって、コーナー密度が小さい領域は除去することができ、コーナー密度が第２のしきい値よりも大きい領域は保持され、従って誤検出された領域は除去され検出精度はさらに向上する。
【００７０】
本実施例では、前記第２のしきい値は０．６など経験に従って設定された固定値とすることができ、本発明ではこの態様における制限はない。当然、第２のしきい値をより合理的に設定し、コーナー密度の実際の状況をより正確に反映するために、第２のしきい値を自動的に設定する方法を採用することもできる。具体的には、上述の方法においてコーナー密度に従って人の集団の領域をフィルタ処理する前に、上述の方法は、
手動でマーク付けされたサンプルデータにおいて、人の集団の少なくとも１つの正のサンプル領域および人の集団の少なくとも１つの負のサンプル領域を取得するステップと、
正のサンプル領域のコーナー密度および負のサンプル領域のコーナー密度を計算するステップと、
正のサンプル領域のコーナー密度の第１の分布グラフおよび負のサンプル領域のコーナー密度の第２の分布グラフを計算するステップと、
第１の分布グラフと第２の分布グラフとの交点に対応するコーナー密度値を取得するステップと、
取得されたコーナー密度値を第２のしきい値として定義するステップとも含む。
【００７１】
ここで、前記サンプルデータは前もって収集されたビデオデータであり、好ましくは、検出すべきビデオデータのシーンに関連したシーンから収集されたビデオデータ、または検出すべきビデオデータの同じシーンから収集されたビデオデータである。前記正のサンプル領域は正の例として手動でマーク付けされた領域、すなわち人の集団の領域を指し、前記負のサンプル領域は負の例として手動でマーク付けされた領域、すなわち人の集団のない領域を指す。正のサンプルの取得された領域の数は１つまたは複数でもよく、正のサンプル領域が複数ある時それらの正のサンプル領域は１つの正のサンプルセットを構成する。この状況では正のサンプルセットにおけるすべての正のサンプル領域のコーナー密度値に基づいて計算を行うことによって、第１の分布グラフを取得することができる。負のサンプルの取得された領域の数は１つまたは複数でもよく、負のサンプル領域が複数ある時それらの負のサンプル領域は１つの負のサンプルセットを構成する。この状況では、負のサンプルセットにおける負のサンプル領域のコーナー密度値に基づいて計算を行うことによって、第２の分布グラフを取得することができる。
【００７２】
前記コーナー密度の分布グラフはコーナー密度の分布を反映する。ここで分布グラフの水平座標はコーナー密度値を表し、垂直座標はすべてのサンプル領域に対する各コーナー密度値に対応するサンプル領域の比率を表す。例えば正のサンプル領域が１００個あり、その中の２０個の領域がコーナー密度値Ｔを有する時、コーナー密度値Ｔに対応する分布は２０％である。
【００７３】
図４は、第２のしきい値を自動的に設定するために使用されるコーナー密度分布の概略図を示し、２本の曲線は正のサンプル領域のコーナー密度の分布グラフ、および負のサンプル領域のコーナー密度の分布グラフをそれぞれ表す。２本の曲線の交点に対応するコーナー密度値はＴ１であり、コーナー密度値Ｔ１に対応する比率はａ％であり、このことは、正および負のサンプル領域におけるコーナー密度値Ｔ１を有するサンプル領域がサンプル領域の合計数のａ％を占めることを意味する。コーナー密度値Ｔ１は、前記コーナー密度に従って人の集団の領域をフィルタ処理するために前記第２のしきい値として使用され、従って検出精度をさらに向上させることができる。
【００７４】
本実施例において提供される方法によれば、ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得し、前記コーナーおよび前景領域に従って計算を行って少なくとも１つのクラスタを取得し、前記クラスタに従って人の集団の少なくとも１つの領域を構築することによって、人の集団の自動的な検出が実現され、用途が限定されるという従来技術における問題が解決される。さらに、本発明の実施例は人の位置検出には依存せず、人の画像のサイズによって影響を受けないため、複雑なシーンを含む任意のシーンに適用することができ、従って用途が広がり、ユーザからの要求を今までよりも充足させることができる。
【００７５】
さらに、人の集団の構築された領域における誤検出領域は、人の集団の領域のサイズやコーナー密度を計算し、フィルタ処理を実行することによって除去することができ、これによって人の集団の検出の精度および信頼性がさらに向上する。図５は人の集団の構築された領域をフィルタ処理する概略図を示す。ここで図（ａ）は、本実施例において提供される方法によって構築された人の集団の３つの領域を示し、人の集団の領域のサイズおよびコーナー密度に従ってフィルタ処理された後、図（ｂ）に示される人の集団の領域が取得される。これは、１つの誤検出領域を除去することができ、従って人の集団の検出の精度が向上することを示す。
【００７６】
通常、人の集団に属していない移動中の歩行者または対象物の画像上のコーナーが数多く存在する可能性があり、誤検出が生じる可能性がある。従って図６を参照すると本発明の実施例による人の集団の検出のための方法が提供される。この方法は移動中の歩行者または対象物における誤検出を除去し検出精度を向上させるために、オプティカルフロー強度の密度に従って人の集団の構築された領域がフィルタ処理されるという点で、上述の方法と異なる。この方法は、以下を含む。
【００７７】
６０１：ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するステップ。
【００７８】
６０２：前記コーナーおよび前景領域に従って計算を行い、少なくとも１つのクラスタを取得するステップ。
【００７９】
６０３：前記クラスタに従って人の集団の少なくとも１つの領域を構築するステップ。
【００８０】
ステップ６０１〜６０３の詳細な実現プロセスは上述の実施例における説明と同一であり、現在の実施例では説明しない。
【００８１】
６０４：人の集団の領域における指定された画素のオプティカルフロー強度を計算するステップ。
【００８２】
本発明の実施例におけるオプティカルフローまたは光フローは、ビデオにおける対象物の動き検出に関連した概念である。オプティカルフローは、観察された画像面において移動している対象物の画素の動きの瞬間速度を指す。オプティカルフローは、対象物の運動状態を反映することができる。オプティカルフローの研究は、時間領域における変化および画像シーケンスにおける画素値データの相対性を利用することによって各画素の位置の動きを決定することである。通常、目につかない移動状態にある対象物のオプティカルフロー情報は比較的弱く、一方、明らかな移動状態にある対象物のオプティカルフロー情報は比較的強い。人々がグループ分けされ、特定の場所にとどまっており明らかな移動状態ではない時、オプティカルフロー情報は比較的弱い。従って人の集団の領域と明らかに移動している対象物の領域とは、オプティカルフロー情報によってビデオデータにおいて区別することができる。オプティカルフロー情報は、オプティカルフローの方向およびオプティカルフロー強度を含む。本発明には主にオプティカルフロー強度が関連するため、オプティカルの方向についてはここでは詳述しない。
【００８３】
オプティカルフロー強度を計算するための方法は数多くある。本発明ではオプティカルフロー強度を計算するために、ルーカス−カナデ（ＬＫ）法、ホーン−シュンク（ＨＳ）法、ＬＫとＨＳとの組み合わせの方法など任意の方法を採用することができる。本実施例ではこの態様における制限はない。
【００８４】
ここで前記指定された画素は人の集団の前記領域におけるあらかじめ定められた画素、具体的には領域における画素の一部、または領域におけるすべての画素である。本実施例ではこの態様における制限はない。好ましくは、領域におけるすべての画素のオプティカルフロー強度を計算するために、領域におけるすべての画素を指定することができる。
【００８５】
６０５：指定された画素のオプティカルフロー強度に従って、人の集団の領域のオプティカルフロー強度の密度を計算するステップ。
【００８６】
具体的には、人の集団の領域のオプティカルフロー強度の密度は以下の式によって計算することができる。
【数３】
2013196682.tif 000005
式中、分子は、人の集団の領域Ａｒｅａにおける指定された画素のオプティカルフロー強度の合計であり、ｒは人の集団の領域Ａｒｅａの半径であり、πｒ２は人の集団の領域の面積を表す。
【００８７】
６０６：オプティカルフロー強度の密度に従って人の集団の領域をフィルタ処理するステップ。
【００８８】
ここでオプティカルフロー強度の密度に従って、人の集団の領域をフィルタ処理するステップは、具体的には、
【００８９】
人の集団の構築された領域毎に、領域のオプティカルフロー強度の密度があらかじめ設定された第３のしきい値よりも大きい場合、人の集団の領域を除去するステップを含む。
【００９０】
ここで、前記あらかじめ設定された第３のしきい値は、オプティカルフロー強度の密度のあらかじめ設定された境界値であり、人の集団の領域のオプティカルフロー強度の密度が第３のしきい値よりも大きい時、この領域のオプティカルフロー強度の密度が比較的高く、この領域は例えば明らかに移動している歩行者または対象物など誤検出であり得ることを意味し、従ってこの領域は除去される。人の集団の領域のオプティカルフロー強度の密度が第３のしきい値よりも小さい時、例えば静止した状態にある人々など、この領域のオプティカルフロー強度の密度が比較的低く、この領域は人の集団の正しい領域と見なされ保持される。人の集団の領域のオプティカルフロー強度の密度に基づいてフィルタ処理を行うことによって、オプティカルフロー強度の密度が大きい領域は除去することができ、オプティカルフロー強度の密度が第３のしきい値よりも小さい領域は保持され、従って移動状態に関与する誤検出された領域は除去され、検出精度はさらに向上する。
【００９１】
本実施例では、前記第３のしきい値は０．６など経験に従って設定された固定値とすることができ、本発明ではこの態様における制限はない。当然、第３のしきい値をより合理的に設定し、オプティカルフロー強度の密度の実際の状況をより正確に反映するために、第３のしきい値を自動的に設定する方法を採用することもできる。具体的には、上述の方法においてオプティカルフロー強度の密度に従って人の集団の領域をフィルタ処理する前に、上述の方法は、
手動でマーク付けされたサンプルデータにおいて、人の集団の少なくとも１つの正のサンプル領域および少なくとも１つの負のサンプル領域を取得するステップと、
正のサンプル領域のオプティカルフロー強度の密度および負のサンプル領域のオプティカルフロー強度の密度を計算するステップと、
正のサンプル領域のオプティカルフロー強度の密度の第３の分布グラフ、および負のサンプル領域のオプティカルフロー強度の密度の第４の分布グラフを計算するステップと、
第３の分布グラフと第４の分布グラフとの交点に対応するオプティカルフロー強度の密度値を取得するステップと、
オプティカルフロー強度の取得された密度値を第３のしきい値として定義するステップとも含む。
【００９２】
ここで、前記サンプルデータは前もって収集されたビデオデータであり、好ましくは、検出すべきビデオデータのシーンに関連したシーンから収集されたビデオデータ、または検出すべきビデオデータの同じシーンから収集されたビデオデータである。前記正のサンプル領域は正の例として手動でマーク付けされた領域、すなわち人の集団の領域を指し、前記負のサンプル領域は負の例として手動でマーク付けされた領域、すなわち人の集団のない領域を指す。正のサンプルの取得された領域の数は１つまたは複数でもよく、正のサンプル領域が複数ある時それらの正のサンプル領域は１つの正のサンプルセットを構成する。この状況では、正のサンプルセットにおけるすべての正のサンプル領域のオプティカルフロー強度の密度値に基づいて計算を行うことによって、第３の分布グラフを取得することができる。負のサンプルの取得された領域の数は１つまたは複数でもよく、負のサンプル領域が複数ある時それらの負のサンプル領域は１つの負のサンプルセットを構成する。この状況では負のサンプルセットにおける負のサンプル領域のオプティカルフロー強度の密度値に基づいて計算を行うことによって、第４の分布グラフを取得することができる。
【００９３】
前記オプティカルフロー強度の密度の分布グラフはオプティカルフロー強度の密度の分布を反映する。ここで、分布グラフの水平座標はオプティカルフロー強度の密度値を表し、垂直座標はすべてのサンプル領域に対する各オプティカルフロー強度の密度値に対応するサンプル領域の比率を表す。例えば正のサンプル領域が１００個あり、その中の１５個の領域がオプティカルフロー強度の密度値Ｔを有する時、オプティカルフロー強度の密度値Ｔに対応する分布は１５％である。
【００９４】
図７は、第３のしきい値を自動的に設定するために使用されるオプティカルフロー強度の密度の分布の概略図を示し、２本の曲線は正のサンプル領域のオプティカルフロー強度の密度の分布グラフ、および負のサンプル領域のオプティカルフロー強度の密度の分布グラフをそれぞれ表す。２本の曲線の交点に対応するオプティカルフロー強度の密度値はＴ２であり、オプティカルフロー強度の密度値Ｔ２に対応する比率はｂ％であり、このことは、正および負のサンプル領域におけるオプティカルフロー強度の密度値Ｔ２を有するサンプル領域がサンプル領域の合計数のｂ％を占めることを意味する。オプティカルフロー強度の密度値Ｔ２は、前記オプティカルフロー強度の密度に従って人の集団の領域をフィルタ処理するために前記第３のしきい値として使用され、従って検出精度をさらに向上させることができる。
【００９５】
実際の用途では、本実施例におけるオプティカルフロー強度の密度に従って人の集団の領域をフィルタ処理するステップを、上述の実施例においてそのサイズやコーナー密度に従って人の集団の領域をフィルタ処理するステップとの組み合わせで使用することができる。このことは、人の集団の領域を、選択された領域のサイズ、コーナー密度、およびオプティカルフロー強度の密度のうちの少なくとも１つに従ってフィルタ処理することができることを意味する。好ましくは、検出精度をさらに向上させるために、これら３つの方法をそれぞれ採用することができる。上述の２つまたは３つの方法が採用される時、各方法のフィルタ処理ステップは独立しており、互いの影響を受けず、フィルタ処理ステップにおける固定の順序はない。本実施例ではこの態様における制限はない。
【００９６】
本実施例における方法によれば、ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得し、前記コーナーおよび前景領域に従って計算を行って少なくとも１つのクラスタを取得し、前記クラスタに従って人の集団の少なくとも１つの領域を構築することによって、人の集団の自動的な検出が実現され、用途が限定されるという従来技術における問題が解決される。さらに、本発明の実施例は人の位置検出には依存せず、人の画像のサイズによって影響を受けないため、複雑なシーンを含む任意のシーンに適用することができ、従って用途が広がり、ユーザからの要求を今までよりも充足させることができる。
【００９７】
さらに、人の集団の構築された領域における運動状態に関連する領域などの誤検出領域は、人の集団の領域のオプティカルフロー強度の密度を計算し、フィルタ処理を実行することによって除去することができ、これによって人の集団の検出の精度および信頼性がさらに向上する。例えば図８は、人の集団の構築された領域をフィルタ処理する概略図を示す。ここで、図（ａ）は、本発明の実施例において提供される方法によって構築された人の集団の２つの領域を示し、図（ｂ）は、人の集団の領域のオプティカルフロー強度の密度を計算することによって取得された、オプティカルフロー強度の密度が第３のしきい値よりも大きい誤検出領域を示し、図（ｃ）は、誤検出領域が除去された後の人の集団の領域を示す。これは、オプティカルフロー強度の密度に基づくフィルタ処理の後、人の集団の検出の精度がさらに向上することを示す。
【００９８】
図９を参照すると、本発明の実施例において人の集団の検出のためのデバイスが提供され、このデバイスは、
ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するための取得モジュール９０１と、
前記取得モジュールによって取得された前記コーナーおよび前景領域に従って計算を行い、少なくとも１つのクラスタを取得するためのクラスタ化モジュール９０２と、
前記クラスタ化モジュールによって取得された前記クラスタに従って、人の集団の少なくとも１つの領域を構築するための構築モジュール９０３とを含む。
【００９９】
本実施例では、取得モジュール９０１によってコーナーおよび前景領域を取得する順序は固定されず、このことは、操作を連続してまたは同時に実行することができることを意味する。本実施例ではこの態様における制限はない。
【０１００】
前記ビデオデータはカメラ機器によって収集されるビデオ画像を指す。カメラ機器は確かに音を収集することはできるが音の収集は本発明には関連しておらず、従って本発明におけるビデオデータは主にビデオ画像から構成される。通常、ビデオ画像はリアルタイムに収集される。これは本発明の実施例におけるコーナーの取得および前景領域の抽出がいずれもリアルタイムに実行されることを意味する。
【０１０１】
図１０を参照すると、一実施例において前記クラスタ化モジュール９０２は、
前記コーナーおよび前記前景領域における画素の交点を取得して、コーナーセットを取得するための処理ユニット９０２ａと、
クラスタ化アルゴリズムを使用することによって、前記処理ユニット９０２ａによって取得された前記コーナーセットにおいてクラスタ化操作を実行し、少なくとも１つのクラスタを取得するためのクラスタ化ユニット９０２ｂとを含む。
【０１０２】
別の実施例では、前記構築モジュール９０３は具体的にはクラスタの中心を中心と見なすことによって、取得されたクラスタ毎に人の集団の領域を構築するために使用され、領域はクラスタにおけるコーナーを含む領域である。本発明の別の実施例では、好ましくは前記構築モジュール９０３は、具体的にクラスタの中心を中心と見なすことによって、取得されたクラスタ毎に人の集団の領域を構築するために使用され、領域はクラスタにおけるすべてのコーナーを含む最小の領域であり、前記コーナーは画像における局所的な構造特性を有する画素である。
【０１０３】
クラスタに従って人の集団の領域を構築する時、領域がこのクラスタにおけるすべてのコーナーを含む限り、例えば異なる半径を有する丸い領域など任意のサイズの人の集団の領域を構築することができる。好ましくは、構築モジュール９０３は、具体的には、クラスタの中心を円の中心と見なすことによって、取得されたクラスタ毎に人の集団の丸い領域を構築するために使用され、領域の半径はクラスタにおけるすべてのコーナーを含む円の最小半径であり、従って人の集団の領域をより正確に表すことができる。
【０１０４】
本実施例では、一例として人の集団の丸い領域が構築される。当然、他の実施例では例えば正方形、長方形、楕円形など、他の形状の人の集団の領域を構築することができ、形状については本発明ではこの態様において限定されない。
【０１０５】
さらに、本発明の実施例において提供される前記デバイスは、
構築モジュールによって人の集団の領域が構築された後、人の集団の少なくとも１つの領域のサイズを計算し、人の集団の領域のサイズに従って人の集団の領域をフィルタ処理するためのサイズフィルタリングモジュール９０４、または構築モジュールによって人の集団の領域が構築された後、人の集団の少なくとも１つの領域のコーナー密度を計算し、コーナー密度に従って人の集団の領域をフィルタ処理するためのコーナー密度フィルタリングモジュール９０５をさらに含む。
【０１０６】
実際の用途では、サイズフィルタリングモジュール９０４によるサイズに従って人の集団の領域をフィルタ処理する手段、またはコーナー密度フィルタリングモジュール９０５によるコーナー密度に従って人の集団の領域をフィルタ処理する手段のいずれかを選択して実行することができる。好ましくは、検出精度をさらに向上させるために、両方の手段を実行することができる。両方のステップが実行される時ステップの順序は限定されない。
【０１０７】
サイズフィルタリングモジュール９０４は、具体的には構築モジュールによって人の集団の領域が構築された後、人の集団の少なくとも１つの領域のサイズを計算し、人の集団の構築された領域毎に、領域のサイズがあらかじめ設定された第１のしきい値よりも小さい場合、領域を除去するために使用される。
【０１０８】
コーナー密度フィルタリングモジュール９０５は、具体的には構築モジュールによって人の集団の領域が構築された後、人の集団の少なくとも１つの領域のコーナー密度を計算し、人の集団の構築された領域毎に、領域のコーナー密度があらかじめ設定された第２のしきい値よりも小さい場合、領域を除去するために使用される。
【０１０９】
ここで前記あらかじめ設定された第２のしきい値はコーナー密度のあらかじめ設定された境界値であり、人の集団の領域のコーナー密度が第２のしきい値よりも小さい時、この領域のコーナー密度が比較的低く誤検出であり得ることを意味し、従ってこの領域は除去される。人の集団の領域のコーナー密度に基づいてフィルタ処理を行うことによって、コーナー密度が小さい誤検出領域は除去することができ、従って検出精度がさらに向上する。
【０１１０】
本実施例では、前記第２のしきい値は０．６など経験に従って設定された固定値とすることができ、本発明ではこの態様における制限はない。当然、第２のしきい値をより合理的に設定し、コーナー密度の実際の状況をより正確に反映するために、第２のしきい値を自動的に設定する方法を採用することもできる。具体的には、前記デバイスは、
【０１１１】
手動でマーク付けされたサンプルデータにおける人の集団の少なくとも１つの正のサンプル領域および人の集団の少なくとも１つの負のサンプル領域を取得し、正のサンプル領域のコーナー密度および負のサンプル領域のコーナー密度を計算し、正のサンプル領域のコーナー密度の第１の分布グラフおよび負のサンプル領域のコーナー密度の第２の分布グラフを計算し、第１の分布グラフと第２の分布グラフとの交点に対応するコーナー密度値を取得し、取得されたコーナー密度値を第２のしきい値として定義するための第１の生成モジュールをさらに含む。
【０１１２】
ここで、前記第１の生成モジュールによって取得された前記サンプルデータは前もって収集されたビデオデータであり、好ましくは、検出すべきビデオデータのシーンに関連したシーンから収集されたビデオデータ、または検出すべきビデオデータの同じシーンから収集されたビデオデータである。前記正のサンプル領域は正の例として手動でマーク付けされた領域、すなわち人の集団の領域を指し、前記負のサンプル領域は負の例として手動でマーク付けされた領域、すなわち人の集団のない領域を指す。正のサンプルの取得された領域の数は１つまたは複数でもよく、正のサンプル領域が複数ある時それらの正のサンプル領域は１つの正のサンプルセットを構成する。この状況では、正のサンプルセットにおけるすべての正のサンプル領域のコーナー密度値に基づいて計算を行うことによって、第１の分布グラフを取得することができる。負のサンプルの取得された領域の数は１つまたは複数でもよく、負のサンプル領域が複数ある時それらの負のサンプル領域は１つの負のサンプルセットを構成する。この状況では、負のサンプルセットにおける負のサンプル領域のコーナー密度値に基づいて計算を行うことによって、第２の分布グラフを取得することができる。
【０１１３】
本実施例では別の手段において、前記デバイスは、
構築モジュールによって人の集団の領域が構築された後、人の集団の少なくとも１つの領域における指定された画素のオプティカルフロー強度を計算し、指定された画素のオプティカルフロー強度に従って人の集団の領域のオプティカルフロー強度の密度を計算し、オプティカルフロー強度の密度に従って人の集団の領域をフィルタ処理するための、オプティカルフロー強度密度フィルタリングモジュール９０６をさらに含むことができる。
【０１１４】
前記指定された画素は、人の集団の前記領域におけるあらかじめ定められた画素、具体的には領域における画素の一部、または領域におけるすべての画素である。本実施例ではこの態様における制限はない。
【０１１５】
オプティカルフロー強度密度フィルタリングモジュール９０６は、
オプティカルフロー強度の密度に従って人の集団の領域をフィルタ処理する時、人の集団の構築された領域毎に、領域のオプティカルフロー強度の密度があらかじめ設定された第３のしきい値よりも大きい場合、人の集団の領域を除去するためのフィルタリングユニットをさらに含むことができる。
【０１１６】
ここで、前記あらかじめ設定された第３のしきい値は、オプティカルフロー強度の密度のあらかじめ設定された境界値であり、人の集団の領域のオプティカルフロー強度の密度が第３のしきい値よりも大きい時、この領域のオプティカルフロー強度の密度が比較的高く、この領域は例えば明らかに移動している歩行者または対象物など、誤検出であり得ることを意味し、従ってこの領域は除去される。人の集団の領域のオプティカルフロー強度の密度に基づいてフィルタ処理を行うことによって、オプティカルフロー強度の密度が大きい領域は除去することができ、オプティカルフロー強度の密度が第３のしきい値よりも小さい領域は保持され、従って移動状態に関与する誤検出された領域は除去され、検出精度はさらに向上する。
【０１１７】
本実施例では、前記第３のしきい値は０．６など経験に従って設定された固定値とすることができ、本発明ではこの態様における制限はない。当然、第３のしきい値を合理的に設定し、オプティカルフロー強度の密度の実際の状況をより正確に反映するために、第３のしきい値を自動的に設定する方法を採用することもできる。具体的には前記デバイスは、
手動でマーク付けされたサンプルデータにおける人の集団の少なくとも１つの正のサンプル領域および少なくとも１つの負のサンプル領域を取得し、正のサンプル領域のオプティカルフロー強度の密度および負のサンプル領域のオプティカルフロー強度の密度を計算し、正のサンプル領域のオプティカルフロー強度の密度の第３の分布グラフおよび負のサンプル領域のオプティカルフロー強度の密度の第４の分布グラフを計算し、第３の分布グラフと第４の分布グラフとの交点に対応するオプティカルフロー強度の密度値を取得し、取得されたオプティカルフロー強度の密度値を第３のしきい値として定義するための第２の生成モジュールをさらに含むことができる。
【０１１８】
前記第２の生成モジュールによって取得された前記サンプルデータは、前もって収集されたビデオデータであり、好ましくは、検出すべきビデオデータのシーンに関連したシーンから収集されたビデオデータ、または検出すべきビデオデータの同じシーンから収集されたビデオデータである。前記正のサンプル領域は正の例として手動でマーク付けされた領域、すなわち人の集団の領域を指し、前記負のサンプル領域は負の例として手動でマーク付けされた領域、すなわち人の集団のない領域を指す。正のサンプルの取得された領域の数は１つまたは複数でもよく、正のサンプル領域が複数ある時、それらの正のサンプル領域は１つの正のサンプルセットを構成する。この状況では、正のサンプルセットにおけるすべての正のサンプル領域のオプティカルフロー強度の密度値に基づいて計算を行うことによって、第３の分布グラフを取得することができる。負のサンプルの取得された領域の数は１つまたは複数でもよく、負のサンプル領域が複数ある時、それらの負のサンプル領域は１つの負のサンプルセットを構成する。この状況では、負のサンプルセットにおける負のサンプル領域のオプティカルフロー強度の密度値に基づいて計算を行うことによって、第４の分布グラフを取得することができる。
【０１１９】
本実施例において提供されるデバイスは、上述の実施例において提供される方法のうちの任意の１つを実行することができる。特定のプロセスについては方法の実施例の説明を参照して頂き、その詳細は省略する。前記デバイスはコンピュータなどの機器に配置されてもよく、ここでは限定しない。
【０１２０】
本実施例において提供されたデバイスによれば、ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得し、前記コーナーおよび前景領域に従って計算を行って少なくとも１つのクラスタを取得し、前記クラスタに従って人の集団の少なくとも１つの領域を構築することによって、人の集団の自動的な検出が実現され、用途が限定されるという従来技術における問題が解決される。さらに、本発明の実施例は人の位置検出には依存せず、人の画像のサイズによって影響を受けないため、複雑なシーンを含む任意のシーンに適用することができ、従って用途が広がり、ユーザからの要求を今までよりも充足させることができる。
【０１２１】
ここで、人の集団の領域は丸い形状に構築することによって、より知覚しやすくなり容易にアクセスすることができる。人の集団の領域はクラスタにおけるすべてのコーナーを含む最小の円に基づいて構築することによって、より正確に表すことができる。さらに構築された人の集団の領域における誤検出領域は、人の集団の領域のサイズやコーナー密度を計算し、フィルタ処理を実行することによって除去することができ、これによって人の集団の検出の精度および信頼性がさらに向上する。
【０１２２】
上述の実施例を実現するためのステップのすべてまたは一部は、ハードウェアによって、またはプログラムの命令によって関連のハードウェアによって達成することができ、前記プログラムをＲＯＭ、ディスク、または光ディスクなどの可読メモリ媒体に格納することができることを、当業者であれば理解することができる。
【０１２３】
上述の説明は本発明の例示的な実施例であり、本発明を限定することはできない。本発明の精神および原理の範囲内で、任意の変更、同等物との置換、または改良はすべて本発明の補償範囲内に含まれる。
【０１２４】
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
【０１２５】
（付記１）
ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するステップと、
前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得するステップと、
前記クラスタに従って人の集団の少なくとも１つの領域を構築するステップとを含む
ことを特徴とする人の集団検出方法。
【０１２６】
（付記２）
前記コーナーおよび前景領域に従って計算を行い少なくとも１つのクラスタを取得する前記ステップは、
前記コーナーおよび前記前景領域における画素の交点を取得してコーナーセットを取得するステップと、
クラスタ化アルゴリズムを使用することによって前記コーナーセットにおいてクラスタ化操作を実行し、少なくとも１つのクラスタを取得するステップとを含む
ことを特徴とする付記１に記載の人の集団検出方法。
【０１２７】
（付記３）
前記クラスタに従って人の集団の少なくとも１つの領域を構築するステップは、
クラスタの中心を中心と見なすことによって取得されたクラスタ毎に人の集団の領域を構築するステップを含み、
前記領域は前記クラスタにおけるコーナーを含む領域である
ことを特徴とする付記１に記載の人の集団検出方法。
【０１２８】
（付記４）
クラスタ毎に構築された人の集団の領域は、前記クラスタにおけるすべてのコーナーを含む最小の領域であり、
前記コーナーは画像において局所的な構造特性を有する画素である
ことを特徴とする付記３に記載の人の集団検出方法。
【０１２９】
（付記５）
前記クラスタに従って人の集団の少なくとも１つの領域を構築した後、
人の集団の前記領域のサイズを計算し、人の集団の前記領域のサイズに従って人の集団の前記領域をフィルタ処理するステップ、または人の集団の前記領域のコーナー密度を計算し、前記コーナー密度に従って人の集団の前記領域をフィルタ処理するステップを含む
ことを特徴とする付記１に記載の人の集団検出方法。
【０１３０】
（付記６）
人の集団の前記領域のサイズに従って人の集団の前記領域をフィルタ処理するステップは、
人の集団の構築された領域毎に、前記領域のサイズがあらかじめ設定された第１のしきい値よりも小さい場合、前記領域を除去するステップを含む
ことを特徴とする付記５に記載の人の集団検出方法。
【０１３１】
（付記７）
前記コーナー密度に従って人の集団の前記領域をフィルタ処理するステップは、
人の集団の構築された領域毎に、前記領域のコーナー密度があらかじめ設定された第２のしきい値よりも小さい場合、前記領域を除去するステップを含む
ことを特徴とする付記５に記載の人の集団検出方法。
【０１３２】
（付記８）
前記コーナー密度に従って人の集団の前記領域をフィルタ処理する前に、
手動でマーク付けされたサンプルデータにおいて、人の集団の少なくとも１つの正のサンプル領域および人の集団の少なくとも１つの負のサンプル領域を取得するステップと、
前記正のサンプル領域のコーナー密度および前記負のサンプル領域のコーナー密度を計算するステップと、
前記正のサンプル領域のコーナー密度の第１の分布グラフおよび前記負のサンプル領域のコーナー密度の第２の分布グラフを計算するステップと、
前記第１の分布グラフと前記第２の分布グラフとの交点に対応するコーナー密度値を取得するステップと、
前記取得されたコーナー密度値を前記第２のしきい値として定義するステップとを含む
ことを特徴とする付記７に記載の人の集団検出方法。
【０１３３】
（付記９）
前記クラスタに従って人の集団の少なくとも１つの領域を構築した後、
人の集団の前記領域において、指定された画素のオプティカルフロー強度を計算するステップと、
前記指定された画素のオプティカルフロー強度に従って、人の集団の前記領域のオプティカルフロー強度の密度を計算するステップと、
前記オプティカルフロー強度の密度に従って、人の集団の前記領域をフィルタ処理するステップとを含む
ことを特徴とする付記１に記載の人の集団検出方法。
【０１３４】
（付記１０）
前記オプティカルフロー強度の密度に従って人の集団の前記領域をフィルタ処理するステップは、
人の集団の構築された領域毎に、前記領域のオプティカルフロー強度の密度があらかじめ設定された第３のしきい値よりも大きい場合、人の集団の前記領域を除去するステップを含む
ことを特徴とする付記９に記載の人の集団検出方法。
【０１３５】
（付記１１）
前記オプティカルフロー強度の密度に従って人の集団の前記領域をフィルタ処理する前に、
手動でマーク付けされたサンプルデータにおいて、人の集団の少なくとも１つの正のサンプル領域および少なくとも１つの負のサンプル領域を取得するステップと、
前記正のサンプル領域のオプティカルフロー強度の密度および前記負のサンプル領域のオプティカルフロー強度の密度を計算するステップと、
前記正のサンプル領域のオプティカルフロー強度の密度の第３の分布グラフ、および前記負のサンプル領域のオプティカルフロー強度の密度の第４の分布グラフを計算するステップと、
前記第３の分布グラフと前記第４の分布グラフとの交点に対応するオプティカルフロー強度の密度値を取得するステップと、
オプティカルフロー強度の前記取得された密度値を前記第３のしきい値として定義するステップとを含む
ことを特徴とする付記１０に記載の人の集団検出方法。
【０１３６】
（付記１２）
本発明の実施例の別の目的は、人の集団の検出のためのデバイスを提供することであり、
ビデオデータにおける少なくとも１つのコーナーおよび前景領域を取得するための取得モジュールと、
前記取得モジュールによって取得された前記コーナーおよび前景領域に従って計算を行い、少なくとも１つのクラスタを取得するためのクラスタ化モジュールと、
前記クラスタ化モジュールによって取得された前記クラスタに従って、人の集団の少なくとも１つの領域を構築するための構築モジュールとを含む。
ことを特徴とする人の集団検出装置。
【０１３７】
（付記１３）
前記クラスタ化モジュールは、
前記コーナーおよび前記前景領域における画素の交点を取得して、コーナーセットを取得する処理ユニットと、
クラスタ化アルゴリズムを使用することによって前記処理ユニットによって取得された前記コーナーセットにおいてクラスタ化操作を実行して、少なくとも１つのクラスタを取得するクラスタ化ユニットとを含む
ことを特徴とする付記１２に記載の人の集団検出装置。
【０１３８】
（付記１４）
前記構築モジュールは、クラスタの中心を中心と見なすことによって、取得されたクラスタ毎に人の集団の領域を構築するために使用され、
前記領域は前記クラスタにおけるコーナーを含む領域である
ことを特徴とする付記１２に記載の人の集団検出装置。
【０１３９】
（付記１５）
クラスタ毎に前記構築モジュールによって構築された人の集団の領域は、前記クラスタにおけるすべてのコーナーを含む最小の領域であり、
前記コーナーは画像における局所的な構造特性を有する画素である
ことを特徴とする付記１４に記載の人の集団検出装置。
【０１４０】
（付記１６）
前記構築モジュールによって人の集団の前記領域が構築された後、
人の集団の少なくとも１つの領域のサイズを計算し、人の集団の前記領域のサイズに従って人の集団の前記領域をフィルタ処理するサイズフィルタリングモジュール、または前記構築モジュールによって人の集団の前記領域が構築された後、人の集団の少なくとも１つの領域のコーナー密度を計算し、前記コーナー密度に従って人の集団の前記領域をフィルタ処理するコーナー密度フィルタリングモジュールを含む
ことを特徴とする付記１２に記載の人の集団検出装置。
【０１４１】
（付記１７）
前記サイズフィルタリングモジュールは、前記構築モジュールによって人の集団の前記領域が構築された後、人の集団の少なくとも１つの領域のサイズを計算し、人の集団の構築された領域毎に前記領域のサイズがあらかじめ設定された第１のしきい値よりも小さい場合、前記領域を除去するために使用される
ことを特徴とする付記１６に記載の人の集団検出装置。
【０１４２】
（付記１８）
前記コーナー密度フィルタリングモジュールは、前記構築モジュールによって人の集団の前記領域が構築された後、人の集団の少なくとも１つの領域のコーナー密度を計算し、人の集団の構築された領域毎に前記領域のコーナー密度があらかじめ設定された第２のしきい値よりも小さい場合、前記領域を除去するために使用される
ことを特徴とする付記１６に記載の人の集団検出装置。
【０１４３】
（付記１９）
手動でマーク付けされたサンプルデータにおける人の集団の少なくとも１つの正のサンプル領域および人の集団の少なくとも１つの負のサンプル領域を取得し、前記正のサンプル領域のコーナー密度および前記負のサンプル領域のコーナー密度を計算し、前記正のサンプル領域のコーナー密度の第１の分布グラフおよび前記負のサンプル領域のコーナー密度の第２の分布グラフを計算し、前記第１の分布グラフと前記第２の分布グラフとの交点に対応するコーナー密度値を取得し、前記取得されたコーナー密度値を前記第２のしきい値として定義する第１の生成モジュールを含む
ことを特徴とする付記１８に記載の人の集団検出装置。
【０１４４】
（付記２０）
前記構築モジュールによって人の集団の前記領域が構築された後、人の集団の少なくとも１つの領域における指定された画素のオプティカルフロー強度を計算し、前記指定された画素のオプティカルフロー強度に従って人の集団の前記領域のオプティカルフロー強度の密度を計算し、前記オプティカルフロー強度の密度に従って人の集団の前記領域をフィルタ処理するオプティカルフロー強度密度フィルタリングモジュールをさらに含む。
ことを特徴とする付記１２に記載の人の集団検出装置。
【０１４５】
（付記２１）
前記オプティカルフロー強度密度フィルタリングモジュールは、
前記オプティカルフロー強度の密度に従って人の集団の前記領域をフィルタ処理する時、人の集団の構築された領域毎に、前記領域のオプティカルフロー強度の密度があらかじめ設定された第３のしきい値よりも大きい場合、人の集団の前記領域を除去するフィルタリングユニットを含む
ことを特徴とする付記２０に記載の人の集団検出装置。
【０１４６】
（付記２２）
手動でマーク付けされたサンプルデータにおける人の集団の少なくとも１つの正のサンプル領域および少なくとも１つの負のサンプル領域を取得し、前記正のサンプル領域のオプティカルフロー強度の密度および前記負のサンプル領域のオプティカルフロー強度の密度を計算し、前記正のサンプル領域のオプティカルフロー強度の密度の第３の分布グラフおよび前記負のサンプル領域のオプティカルフロー強度の密度の第４の分布グラフを計算し、前記第３の分布グラフと前記第４の分布グラフとの交点に対応するオプティカルフロー強度の密度値を取得し、前記取得されたオプティカルフロー強度の密度値を前記第３のしきい値として定義する第２の生成モジュールを含む
ことを特徴とする付記２１に記載の人の集団検出装置。
【符号の説明】
【０１４７】
９０１：取得モジュール
９０２：クラスタ化モジュール
９０３：構築モジュール
９０２ａ：処理ユニット
９０２ｂ：クラスタ化ユニット
９０４：サイズフィルタリングモジュール
９０５：コーナー密度フィルタリングモジュール
９０６：オプティカルフロー強度密度フィルタリングモジュール
【図１】
2013196682.tif 000006
【図２】
2013196682.tif 000007
【図３】
2013196682.tif 000008
【図４】
2013196682.tif 000009
【図５】
2013196682.tif 000010
【図６】
2013196682.tif 000011
【図７】
2013196682.tif 000012
【図８】
2013196682.tif 000013
【図９】
2013196682.tif 000014
【図１０】
2013196682.tif 000015
【外国語明細書】
2013196682000001.pdf