(57)【要約】【課題】動画像に写された人物の動きを高精度に追跡できる人物追跡装置及び方法を提供する。【解決手段】入力されたフレーム画像を蓄積する画像メモリ１０７と、入力されたフレーム画像に写された人物を検出する人物検出部１０１と、検出済みの人物を候補者として登録する候補者登録部１０６と、入力されたフレーム画像において検出された人物と、登録されている候補者との同一性を示す同一性指数を、全ての人物と候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する同一性指数算出部１０２と、各同一性指数を正規化する正規化部１０３と、検出された人物と候補者との組み合わせごとに、正規化した同一性指数を統合する統合部１０４と、統合した同一性指数に基づいて、任意の候補者と同一の人物を特定するトラッキング部１０５とを有する。【選択図】図１
2010257441.tif 000002
【特許請求の範囲】
【請求項１】
入力されたフレーム画像を蓄積する手段と、
入力されたフレーム画像に写された人物を検出する手段と、
検出済みの人物を候補者として登録する手段と、
前記入力されたフレーム画像において検出された人物と、そのフレームの時点で登録されている前記候補者との同一性を示す指数を、全ての前記人物と前記候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する手段と、
算出した同一性を示す各指数を正規化する手段と、
前記入力されたフレーム画像において検出された人物と前記候補者との組み合わせごとに、正規化した同一性を示す指数を統合する手段と、
統合した同一性を示す指数に基づいて、任意の前記候補者と同一の人物を特定するトラッキング手段とを有することを特徴とする人物追跡装置。
【請求項２】
前記各パラメータについて、前記入力されたフレーム画像において検出された人物と、前記候補者とを同一の人物と見なしうる最大の差異に相当する値を閾値として正規化を行うことを特徴とする請求項１記載の人物追跡装置。
【請求項３】
前記パラメータの一つは、前記入力されたフレーム画像における人物の位置と、前記候補者が検出された際のフレーム画像における該候補者の位置との差分であることを特徴とする請求項１又は２記載の人物追跡装置。
【請求項４】
前記パラメータの一つは、過去のフレーム画像における前記人物の位置を基に予測される前記入力されたフレーム画像における該人物の位置と、該入力されたフレーム画像において前記人物が実際に検出された位置との差分であることを特徴とする請求項１から３のいずれか１項記載の人物追跡装置。
【請求項５】
前記パラメータの一つは、前記入力されたフレーム画像における人物の大きさと、前記候補者が検出された際のフレーム画像における該候補者の大きさとの差分であることを特徴とする請求項１から４のいずれか１項記載の人物追跡装置。
【請求項６】
前記パラメータの一つは、前記入力されたフレーム画像において人物が占める領域内の色の分布と、前記候補者が検出されたフレーム画像において該候補者が占める領域内の色の分布との差分であることを特徴とする請求項１から５のいずれか１項記載の人物追跡装置。
【請求項７】
前記パラメータの一つは、前記入力されたフレーム画像において人物が占める領域内の色の分布と、前記候補者が検出された２以上のフレーム画像における該候補者が占める領域内の色の分布の平均との差分であることを特徴とする請求項１から６のいずれか１項記載の人物追跡装置。
【請求項８】
前記パラメータの一つは、前記入力されたフレーム画像における人物の向きと、前記候補者が検出された際のフレーム画像における該候補者の向きとの差分であることを特徴とする請求項１から７のいずれか１項記載の人物追跡装置。
【請求項９】
前記パラメータの一つは、過去のフレーム画像における前記人物の向きを基に予測される前記入力されたフレーム画像での該人物の移動方向と、該入力されたフレーム画像で実際に検出された前記人物の移動方向との差分であることを特徴とする請求項１から８のいずれか１項記載の人物追跡装置。
【請求項１０】
前記パラメータの一つは、前記入力されたフレーム画像における人物の形状と、前記候補者が検出された際のフレーム画像における該候補者の形状との差分であることを特徴とする請求項１から９のいずれか１項記載の人物追跡装置。
【請求項１１】
候補者との同一性を示す指数をするか否かを、前記各パラメータに個別に設定可能であることを特徴とする請求項１から１０のいずれか１項記載の人物追跡装置。
【請求項１２】
前記統合した同一性を示す指数のうち、最も同一性が高いことを示す値の前記人物と前記候補者との組み合わせに係る人物と候補者とを同一人物として特定し、
残りの前記統合した同一性を示す指数のうち、先に同一人物と特定した人物及び候補者を含まないそれぞれの組み合わせに関して、最も同一性が高いことを示す値の前記人物と前記候補者との組み合わせに係る人物と候補者とを同一人物として順次特定することを特徴とする請求項１から１１のいずれか１項記載の人物追跡装置。
【請求項１３】
前記トラッキング手段の特定結果に基づいて、前記入力されたフレーム画像上に、そのフレーム画像において検出された人物の軌跡を描画する手段を有することを特徴とする請求項１から１２のいずれか１項記載の人物追跡装置。
【請求項１４】
入力されたフレーム画像に写された人物を検出する工程と、
前記入力されたフレーム画像において検出された人物と、そのフレームの時点で候補者として登録されている検出済みの人物との同一性を示す指数を、全ての前記人物と前記候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する工程と、
算出した同一性を示す各指数を正規化する工程と、
前記入力されたフレーム画像において検出された人物と前記候補者との組み合わせごとに、正規化した同一性を示す指数を統合する工程と、
統合した同一性を示す指数に基づいて、任意の前記候補者と同一の人物を特定する工程とを有することを特徴とする人物追跡方法。
【請求項１５】
前記各パラメータについて、前記入力されたフレーム画像において検出された人物と、前記候補者とを同一の人物と見なしうる最大の差異に相当する値を閾値として正規化を行うことを特徴とする請求項１４記載の人物追跡方法。
【請求項１６】
前記統合した同一性を示す指数のうち、最も同一性が高いことを示す値の前記人物と前記候補者との組み合わせに係る人物と候補者とを同一人物として特定し、
残りの前記統合した同一性を示す指数のうち、先に同一人物と特定した人物及び候補者を含まないそれぞれの組み合わせに関して、最も同一性が高いことを示す値の前記人物と前記候補者との組み合わせに係る人物と候補者とを同一人物として順次特定することを特徴とする請求項１４又は１５記載の人物追跡方法。
【請求項１７】
請求項１４から１６のいずれか１項記載の人物追跡方法をコンピュータに実行させることを特徴とする人物追跡処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に写された人物の動きを追跡する人物追跡装置及び人物追跡方法並びに人物追跡処理プログラムに関する。
【背景技術】
【０００２】
動画像に写された不特定多数の人物を検出し、各人物の動きを追跡する「人物追跡」処理は、施設等への入退場人数を計測する用途などに用いられている。
【０００３】
人物追跡処理に関連する技術としては、特許文献１に開示される「動画像データに基づく移動物体追跡方法及び装置」がある。
特許文献１に開示される発明は、過去のフレームにおける追跡物体位置を基に予測位置を求め、今回のフレームにおける画像データから候補物体を抽出し、予測位置により近い候補物体を追跡物体として割り当てるものである。
【０００４】
このような人物追跡処理においては、任意のフレーム画像に写された人物に関して、前のフレームに写された人物との同一性を判断し、同一と判断した人物の位置の変化を検出することによって人物を追跡する。
【０００５】
しかし、特許文献１に開示される発明は、人物追跡に用いているパラメータが一つだけであるため、人物の同一性の判断の精度が低い。このため、人物追跡の精度も低くなってしまうという問題があった。
【０００６】
また、人物追跡に複数のパラメータを用いるものとしては、特許文献２に開示される発明がある。特許文献２に開示される発明は、つながり方、速度、及び画像の尤度に基づいて算出した尤度を基に人物の追跡を行うものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−４６６４７号公報
【特許文献２】ＵＳ２００５／０１０４９５９Ａ１
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献２に開示される発明は、つながり方、速度、画像の類似度といった意味合いが全く異なるパラメータを等価的に扱っている（［０１２８］参照）。したがって、これを基にして算出される尤度は信頼性が高いとは言えない。よって、これを基に行われる人物の追跡結果の精度も低くなってしまう。
【０００９】
本発明は係る問題に鑑みてなされたものであり、動画像に写された人物の動きを高精度に追跡できる人物追跡装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明は、第１の態様として、入力されたフレーム画像を蓄積する手段と、入力されたフレーム画像に写された人物を検出する手段と、検出済みの人物を候補者として登録する手段と、入力されたフレーム画像において検出された人物と、そのフレームの時点で登録されている候補者との同一性を示す指数を、全ての人物と候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する手段と、算出した同一性を示す各指数を正規化する手段と、入力されたフレーム画像において検出された人物と候補者との組み合わせごとに、正規化した同一性を示す指数を統合する手段と、統合した同一性を示す指数に基づいて、任意の候補者と同一の人物を特定するトラッキング手段とを有することを特徴とする人物追跡装置を提供するものである。
【００１１】
また、上記目的を達成するため、本発明は、第２の態様として、入力されたフレーム画像に写された人物を検出する工程と、入力されたフレーム画像において検出された人物と、そのフレームの時点で候補者として登録されている検出済みの人物との同一性を示す指数を、全ての人物と候補者との組み合わせに関して、蓄積されているフレーム画像を基に２種類以上のパラメータについて算出する工程と、算出した同一性を示す各指数を正規化する工程と、入力されたフレーム画像において検出された人物と候補者との組み合わせごとに、正規化した同一性を示す指数を統合する工程と、統合した同一性を示す指数に基づいて、任意の候補者と同一の人物を特定する工程とを有することを特徴とする人物追跡方法を提供するものである。
【００１２】
また、上記目的を達成するため、本発明は、第３の態様として、上記本発明の第２の態様に係る人物追跡方法をコンピュータに実行させることを特徴とする人物追跡処理プログラムを提供するものである。
【発明の効果】
【００１３】
本発明によれば、動画像に写された人物の動きを高精度に追跡できる人物追跡装置及び方法を提供できる。
【図面の簡単な説明】
【００１４】
【図１】本発明を好適に実施した第１の実施形態に係る人物トラッキング装置の構成を示す図である。
【図２】第１の実施形態に係る人物トラッキング装置の動作の流れを示す図である。
【図３】フレーム間での人物の移動距離の一例を示す図である。
【図４】予測した人物の位置と実際の位置との差の一例を示す図である。
【図５】フレーム間での人物の頭部の大きさの差の一例を示す図である。
【図６】胸部領域における色成分のヒストグラム分布の一例を示す図である。
【図７】フレーム間での頭部の向きの差の一例を示す図である。
【図８】予測した人物の移動方向と実際の移動方向との差の一例を示す図である。
【図９】トラッキング処理の一例を示す図である。
【図１０】トラッキング処理の一例を示す図である。
【図１１】トラッキング処理の一例を示す図である。
【図１２】トラッキング処理の一例を示す図である。
【図１３】トラッキング処理の一例を示す図である。
【図１４】本発明を好適に実施した第２の実施形態に係る人物トラッキング装置の構成を示す図である。
【発明を実施するための形態】
【００１５】
〔第１の実施形態〕
本発明を好適に実施した第１の実施形態について説明する。
図１に、本発明を好適に実施した第１の実施形態に係る人物トラッキング装置の構成を示す。人物トラッキング装置１００は、人物検出部１０１、同一性指数算出部１０２、正規化部１０３、統合部１０４、トラッキング部１０５、及び候補者登録部１０６を有する。
【００１６】
人物検出部１０１は、入力されたフレーム画像を解析して、その中に写されている人物を検出する。人物を検出する処理としては、任意の公知の方法を適用可能である。同一性指数算出部１０２は、入力フレーム画像に写されていた人物と、それ以前のフレーム画像に写されていて候補者登録部１０６に登録されている人物との同一性を複数のパラメータに関して数値化して指数（同一性指数）として算出する。正規化部１０３は、同一性指数算出部１０２が算出した意味合いの異なる同一性の指数の各々を同じ意味合いとなるように変換する。統合部１０４は、正規化された同一性の指数を合成した値を算出する。トラッキング部１０５は、統合された同一性指数を基に、入力されたフレーム画像において検出された人物を、それ以前のフレームにおいて検出されている人物のうちのどれと一致するかを判断する。また、入力されたフレームにおいて検出した人物を次以降に入力されるフレームにおける候補者として候補者登録部１０６に記録する。候補者登録部１０６は、入力されたフレーム画像の写されている人物と同一人物のなりうる候補者に関する情報が記録される。人物検出部１０１、同一性指数算出部１０２、正規化部１０３、統合部１０４、及びトラッキング部１０５は、ソフトウェア処理によってコンピュータ制御装置上に実現可能である。
【００１７】
人物検出部１０１が動画像の入力フレーム画像から人物を検出する方法としては、人体の頭部を検出処理を用いる。頭部を検出する処理には公知の顔検出方法を適用可能である。検出した人物は、それまでに検出されている人物（候補者）と同一ではないとトラッキング部１０５において判断されると、ユニークなＩＤが付与された上で候補者登録部１０６へ登録され、以降のフレームにおける同一人物の候補となる。
【００１８】
本実施形態に係る人物追跡装置は、人物の同一性を複数の異なる方法で数値化して指数とし、各々の指数を正規化した上で統合し、統合後の指数に基づいて人物を追跡する。
【００１９】
以下の説明においては、人物の頭部の中心の位置を追跡する場合を例とする。
【００２０】
図２に、人物トラッキング装置１００の動作の流れを示す。
フレーム画像が入力されると、人物検出部１０１は、そのフレーム画像に写されている人物を検出する（ステップＳ１０１）。
【００２１】
次に、同一性指数算出部１０２は、人物検出部１０１が検出した人物と、候補者登録部１０６に登録されている候補者との全ての組み合わせについて、人物の同一性を示す指数（同一性指数）を複数のパラメータに関して算出する（ステップＳ１０２）。同一性指数の算出に必要となる以前のフレーム画像は、画像メモリ１０７から取得する。
人物の同一性を判定するためのパラメータとしては、下記のものが考えられる。ただし、これらのパラメータに限定されることはない。
【００２２】
＜移動距離＞
通常、同一人物の位置は、連続するフレーム間で急激に変化しない。例えば、図３に示すように、ｎ−１番目のフレームにおける任意の候補者の位置を（ｘn-1，ｙn-1）、ｎ番目のフレームにおける人物の位置を（ｘn，ｙn）とした場合に、これらの２点間の距離
diffdist1＝｛（ｘn-1−ｘn）2＋（ｙn-1−ｙn）2｝1/2
が、小さいほど人物の同一性が高いと考えられる。
【００２３】
＜予測位置との比較＞
あるフレームの画像に写っている人物が次のフレームの画像においてどの位置に移動するかは、予測可能である。例えば、ｎ−１番目のフレームの画像に写っている人物が次のｎ番目のフレームでどの位置へ移動するかは、ｎ−１番目のフレームの画像及びｎ−２番目以前のフレームの画像から予測可能である。ここで、図４に示すように、ｎ−１番目のフレームにおいて予測したｎ番目のフレーム画像での人物の位置を（predict_x，predict_y）、ｎ番目のフレームにおける実際の位置を（ｘn，ｙn）とすると、これらの２点間の距離
diffdist2＝｛（predict_x−ｘn）2＋（predict_y−ｙn）2｝1/2
が小さいほど人物の同一性が高いと考えられる。
【００２４】
＜頭部の大きさ＞
通常、同一人物の頭部の大きさは、連続するフレーム間で急激に変化しない。従って、図５に示すようにｎ−１番目のフレームにおける任意の人物の頭部の大きさをｈ(n-1)、ｎ番目のフレームにおける頭部の大きさをｈnとすると、頭部の大きさの差
diffhead-size＝｛ｍａｘ（ｈn-1，ｈn）−ｍｉｎ（ｈn-1，ｈn）｝／ｍａｘ（ｈn-1，ｈn）
が小さいほど人物の同一性が高いと考えられる。
【００２５】
＜服装の共通性＞
同一人物の衣服は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の服装を基に、人物の同一性を判定可能である。図６に示すように、フレーム画像において人物の頭部を検出した場合、その直下の部分はその人物の胸部であると推定できる。したがって、あるフレーム画像における人物の頭部の直下の部分（胸部領域）における色成分のヒストグラム分布と、その後のフレームに画像における胸部領域における色成分のヒストグラム分布とは、同一人物であればほぼ同じとなる。
ここで、ｎ番目のフレームでの胸部領域における色成分のヒストグラム分布と、ｎ−１番目のフレームでの胸部領域における色成分のヒストグラム分布の仕方の違いは、例えばＫＬ情報量（Kullback-Leibler divergence）として数値化することが可能である。すなわち、ｎ−１フレームにおける色成分のヒストグラム分布をＨｉｓｔn-1、ｎフレームにおける色成分のヒストグラム分布をＨｉｓｔnとすると、色成分のヒストグラム分布の差、
diffcolor1＝ＫＬ（Ｈｉｓｔn-1，Ｈｉｓｔn）
が小さいほど人物の同一性が高いと考えられる。
【００２６】
しかし、ある人物の前を別の人物を通過するなどして、特定のフレームの胸部領域における色成分のヒストグラム分布が他のフレームと異なる場合もある。したがって、ｎ番目のフレームでの胸部領域における色成分のヒストグラム分布と、ｎ−１番目のフレームまでの胸部領域における色成分のヒストグラム分布平均とを比較することによっても人物の同一性を判定する。この場合も、上記同様にＫＬ情報量として数値化する。
ｎ−１番目のフレームまでの色成分のヒストグラム分布の平均をＨｉｓｔavg、ｎフレームにおける色成分のヒストグラム分布をＨｉｓｔnとすると、
diffcolor2＝ＫＬ（Ｈｉｓｔavg，Ｈｉｓｔn）
が小さいほど人物の同一性が高いと考えられる。
このような処理の一例は、Changjiang Yang, Ramani Duraiswami and Larry Davis, Fast Multiple Object Tracking via a Hierarchical Particle Filter, "Proceedings of the Tenth IEEE International Conference on Computer Vision", 2005 の3.1  Color Rectangle Featuresに記載されている。
【００２７】
＜頭部の向き＞
一般的に、人間は一定の方向を向いて移動するため、あるフレームにおける頭部の向きとその次のフレームにおける頭部の向きとが極端に異なることはまれである。よって、ｎ−１番目のフレームにおける頭部の向きとｎ番目のフレームにおける頭部の向きとを比較することで、人物の同一性を判定可能である。図７に示すように、ｎ−１番目のフレームにおける頭部の向きをＯn-1、ｎ番目のフレームにおける頭部の向きをＯnとすると
difforientation1＝｜Ｏn-1−Ｏn｜
が小さいほど人物の同一性が高いと考えられる。
【００２８】
また、移動時に頭部が向いている方向は、その人物の進行方向と一致すると考えられる。したがって、ｎ−１番目のフレームの頭部の向きから予測した移動方向と、ｎ−１番目のフレームからｎ番目のフレームの間に移動した方向とを比較することによって人物の同一性を判定できる。
図８に示すように、ｎ−１番目のフレームにおける頭部の向きをＯn-1、ｎ−１番目のフレームからｎ番目のフレームの間に移動した方向をｍnとすると、
difforientation2＝｜Ｏn-1−ｍn｜
が小さいほど人物の同一性が高いと考えられる。
【００２９】
＜顔の類似度＞
同一人物の顔は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の顔を基に、人物の同一性を判定可能である。
フレーム間での人物の顔の相違は、テンプレートマッチング（Sum of Squared Difference：ＳＳＤ、Sum of Absolute Difference：ＳＡＤ）やＰＣＡ（Principal Component Analysis）空間上でのユークリッド距離によって数値化できる。
これらの方法で数値化した値をdifffaceとすると、その値が小さいほど人物の同一性が高いと考えられる。
【００３０】
＜性別度＞
同一人物の顔の女性らしさ（男性らしさ）は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の女性らしさ（男性らしさ）を基に、人物の同一性を判定可能である。
ここで、女性らしさ（男性らしさ）を性別度として定義すると、性別度は認識器（識別器）によって顔画像を基に出力可能である。例えば、フレーム画像に写っている人物の顔が女性らしいほど０に近い値を出力し、男性らしいほど１に近い値を出力するようにすればよい。
上記のように性別度を出力する場合、ｎ−１番目のフレームにおける性別度をｇn-1、ｎ番目のフレームにおける性別度をｇnとすると、
diffgender＝｜ｇn-1−ｇn｜
が小さいほど人物の同一性が高いと考えられる。
【００３１】
＜年齢＞
同一人物の年齢は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の年齢を基に、人物の同一性を判定可能である。
人物の年齢は連続量を扱う（換言すると回帰問題を扱う）識別器によって、顔画像を基に推定することが可能である。
ｎ−１番目のフレームにおいて推定された年齢をｇn-1、ｎ番目のフレームにおいて推定された年齢をｇnとすると、
diffage＝｜ａｇｅn-1−ａｇｅn｜
が小さいほど人物の同一性が高いと考えられる。
【００３２】
上記のような各パラメータに関しては、人物の追跡に用いるか否かを個別に設定可能である。
【００３３】
人物の同一性の判定に用いる各同一性指数はそれぞれ意味合いが異なるため、異なる同一性指数を比較しても人物の同一性を評価できない。よって、正規化部１０３は、各同一性指数に個別の所定の閾値で同一性指数の値を除することによって、各同一性指数を正規化する（ステップＳ１０３）。なお、所定の閾値は、同一人物と判定する最大の値とする。移動距離を例とすると、フレーム間の移動距離がＬを超える場合には同一人物と判定しないのであれば、実際の移動距離ＸをＬで除することによって正規化する。以下、正規化した値をスコアという。スコアは、同一人物である可能性の高さを０から１の範囲で示す値であり、０に近いほど同一人物の可能性が高い。これは基となった同一性指数によらず共通である。
【００３４】
統合部１０４は、ある人物とある候補者との組み合わせに関して、各スコアの相加平均することにより、その人物と候補者との組み合わせに関して各同一性指数による同一性の判定結果を統合した値を算出する（ステップＳ１０４）。
なお、同一性指数ごとに重みを変えて重み付け平均した値を算出することも可能である。例えば、Ａ〜Ｄの四つのスコアを統合する場合、０．２５Ａ＋０．２５Ｂ＋０．２５Ｃ＋０．２５Ｄとしてスコアを統合すれば、各同一性指数の重みは同一である。一方、０．４Ａ＋０．２Ｂ＋０．２Ｃ＋０．２Ｄとしてスコアを統合すれば、スコアＡの基となった同一性指数に他の同一性指数の２倍の重みを与えることができる。
【００３５】
以上のようにして算出されるスコアは、ｎ番目のフレームにおいて検出された全ての人物と、同一人物と判定しうる全ての候補に関して算出する。例えば、図９に示すように、ｎ番目のフレームには４人の人物（Ｗ、Ｘ、Ｙ、Ｚ）が検出されており、その時点において同一人物の候補として３人（Ａ、Ｂ、Ｃ）が登録されている場合は、４×３＝１２通りのスコアを算出する。なお、Ｗn、Ｘn、Ｙn、Ｚnは、人物Ｗ、Ｘ、Ｙ、Ｚがｎ番目のフレームにおいて検出されたことを示しており、Ａn-1、Ｂn-1、Ｃn-1は、候補者Ａ、Ｂ、Ｃがｎ−１番目のフレームにおいて検出されていることを示している。
【００３６】
トラッキング部１０５は、統合されたスコアを基に、以下の手順で人物と候補者とを対応させる（ステップＳ１０５）。
まず、トラッキング部１０５は、統合部１０４が統合したスコアのうち最小の値を検出し、同一人物と判定する。ここでは、Ｂn-1とＸnとの組み合わせにおけるスコアが最小値をとるため、図１０に示すようにトラッキング部１０５はｎ番目のフレームにおいて検出されたＸは、候補者Ｂであると判定する。
【００３７】
次に、トラッキング部１０５は、人物Ｂ及び人物Ｘとは関連のないスコアの中から最小の値を検出し、同一人物と判定する。ここでは、Ｃn-1とＺnとの組み合わせにおけるスコアが最小値をとるため、図１１に示すようにトラッキング部１０５は、ｎ番目のフレームにおいて検出されたＺは、候補者Ｃであると判定する。
【００３８】
その後、トラッキング部１０５は、人物Ｂ、Ｃ、Ｘ及びＺとは関連のないスコアの中から最小の値を検出し、同一人物と判定する。ここでは、Ａn-1とＷnとの組み合わせにおけるスコアが最小値をとるため、図１２に示すようにトラッキング部１０５はｎ番目のフレームにおいて検出されたＷは、候補者Ａであると判定する。
【００３９】
この段階で、登録済みの候補者と同一の人物は全て検出されたため、図１３に示すようにトラッキング部１０５は残った人物Ｙは新規の人物であると判断する。トラッキング部１０５は、人物Ｙを以降のトラッキング処理における候補者として候補者登録部１０６に登録する。なお、人物検出部１０１が人物以外のものを誤って人物と検出する可能性もあるため、トラッキング部１０５は、所定回数続けて残った人物のみを新規の人物として候補者登録部１０６へ登録することが好ましい。
【００４０】
候補者登録部１０６に登録されているにもかかわらず、追跡できなかった候補者が存在する場合（例えば、人物検出部１０１が入力フレーム画像から検出した人物の数が、候補者登録部１０６に登録されている候補者の数よりも少なかった場合）は、トラッキング部１０５は追跡できなかった候補者はフレームアウトしたものと判断する。なお、ある人物の前を別の人物を通過するなどして、人物がフレーム内に存在するにもかかわらず人物検出部１０１が人物の検出に失敗することも考えられるため、トラッキング部１０５が所定回数続けて追跡できなかった候補者をフレームアウトしたと判断することが好ましい。
【００４１】
人物トラッキング１００は、上記の処理を所定のフレーム数ごとに繰り返すことにより、動画像に映された人物を追跡する。
【００４２】
なお、ここでは同一人物の候補が全てｎ−１番目のフレームにおいて検出されている場合を例としたが、ｎ−１番目のフレームにおいて検出されない候補がいる場合は、その候補者については、同一性指数算出部１０２が直前に検出されたフレームの画像（ｎ−２番目のフレームなど）を画像メモリ１０７から取得して、入力フレーム画像との差分から同一性指数を算出する。
【００４３】
このように、本実施形態に係る人物トラッキング装置は、複数のパラメータに関して同一性指数を算出し、それらを正規化した上で統合するため、動画像に写された人物の動きを高精度に追跡できる。
【００４４】
〔第２の実施形態〕
本発明を好適に実施した第２の実施形態について説明する。図１４に、本実施形態に係る人物トラッキング装置の構成を示す。人物トラッキング装置１００が軌跡描画部１０８を備えている点で第１の実施形態と相違する。
軌跡描画部１０８は、フレーム画像のデータと、トラッキング部１０５による人物追跡結果とが入力され、人物追跡結果に基づいてフレーム画像上に各人物の移動の軌跡を描画する。軌跡描画部１０８は、ソフトウェア処理によってコンピュータ制御装置上に実現可能である。
【００４５】
軌跡描画部１０８から軌跡付き画像を出力することにより、不図示の表示装置等において軌跡が付与された画像を表示できる。
【００４６】
この他の点については上記第１の実施形態と同様であるため、重複する説明は省略する。
【００４７】
なお、上記各実施形態は本発明の好適な実施の一例であり、本発明はこれに限定されることなく様々な変形が可能である。
【符号の説明】
【００４８】
１００    人物トラッキング装置
１０１    人物検出部
１０２    同一性指数算出部
１０３    正規化部
１０４    統合部
１０５    トラッキング部
１０６    候補者登録部
１０７    画像メモリ
１０８    軌跡描画部
【図１】
2010257441.tif 000003
【図２】
2010257441.tif 000004
【図３】
2010257441.tif 000005
【図４】
2010257441.tif 000006
【図５】
2010257441.tif 000007
【図６】
2010257441.tif 000008
【図７】
2010257441.tif 000009
【図８】
2010257441.tif 000010
【図９】
2010257441.tif 000011
【図１０】
2010257441.tif 000012
【図１１】
2010257441.tif 000013
【図１２】
2010257441.tif 000014
【図１３】
2010257441.tif 000015
【図１４】
2010257441.tif 000016