(57)【特許請求の範囲】
【請求項１】
撮像手段によって撮像した撮像画像から人物の顔を検出し、前記検出した人物を追跡する人物追跡装置において、
人物が移動する場合の、前記撮像手段の位置と前記人物の顔の位置との距離によって決まる顔サイズ情報と前記撮影画像内の顔移動距離情報との分布を示す移動距離分布情報を収納している移動距離分布情報収納手段と、
前記人物の顔サイズ情報を取得する顔サイズ情報取得手段と、
前記人物の顔移動距離情報を取得する顔移動距離情報取得手段と、
前記人物が同一人物であるか別人物であるかを推定する同一人物推定手段とを備え、
前記移動距離分布情報は、微小時間内の前記顔が移動可能な顔移動距離範囲であって、前記人物が同一人物のとき、前記人物を同一人物であると推定する同一人物推定領域と、
前記同一人物推定領域を超えた顔移動距離範囲であって、別人物であると推定する別人物推定領域と、
検出した顔から顔の向き情報を取得する顔向き情報取得手段とを有し、
前記同一人物推定手段は、前記取得した顔サイズ情報と前記取得した顔移動距離情報とから決定される前記移動距離分布情報における位置が前記同一人物推定領域に存在するか、または前記別人物推定領域に存在するかによって、前記人物が同一人物であるか、別人物であるかを推定し、
前記取得した顔の向きが正面でないとき前記顔の向きの変化による前記顔移動距離の増加分に応じて前記同一人物推定領域を拡大することを特徴とする人物追跡装置。
【請求項２】
撮像手段によって撮像した撮像画像から人物の顔を検出し、前記検出した人物を追跡する人物追跡装置において、
人物が移動する場合の、前記撮像手段の位置と前記人物の顔の位置との距離によって決まる顔サイズ情報と前記撮影画像内の顔移動距離情報との分布を示す移動距離分布情報を収納している移動距離分布情報収納手段と、
前記人物の顔サイズ情報を取得する顔サイズ情報取得手段と、
前記人物の顔移動距離情報を取得する顔移動距離情報取得手段と、
前記人物が同一人物であるか別人物であるかを推定する同一人物推定手段とを備え、
前記移動距離分布情報は、微小時間内の前記顔が移動可能な顔移動距離範囲であって、前記人物が同一人物のとき、前記人物を同一人物であると推定する同一人物推定領域と、
前記同一人物推定領域を超えた顔移動距離範囲であって、別人物であると推定する別人物推定領域と、
前記撮像手段の設置角度情報または画角情報を取得する撮像手段角度情報取得手段を備え、
前記同一人物推定手段は、前記取得した顔サイズ情報と前記取得した顔移動距離情報とから決定される前記移動距離分布情報における位置が前記同一人物推定領域に存在するか、または前記別人物推定領域に存在するかによって、前記人物が同一人物であるか、別人物であるかを推定し、
前記設置角度情報が大きいときまたは前記画角情報が狭いとき、前記設置角度情報または前記画角情報による前記顔移動距離の増加分に応じて前記同一人物推定領域を拡大することを特徴とする人物追跡装置。
【請求項３】
前記同一人物推定手段で同一人物と推定された一連の顔画像を追跡履歴として記録する追跡履歴記録手段を備えることを特徴とする請求項１または請求項２に記載の人物追跡装置。
【請求項４】
前記追跡履歴に複数の人物の顔画像が含まれている場合に、同一人物と別人物とに分類して追跡履歴を修正する追跡履歴修正手段を備えることを特徴とする請求項１ないし請求項３記載の人物追跡装置。
【請求項５】
検出した連続する顔画像の隣り合う２つの顔画像同士を比較して、顔サイズの変化が大きい場合または顔向きの変化が大きい場合に同一人物であるかをユーザーに確認する追跡履歴確認手段を備えていることを特徴とする請求項１ないし請求項４のいずれかに記載の人物追跡装置。
【請求項６】
撮像手段によって撮像した撮像画像から人物の顔を検出し、前記検出した人物を追跡する人物追跡方法において、
人が移動する場合の、前記撮像手段の位置と前記人物の顔の位置との距離によって決まる顔サイズ情報と前記撮影画像内の顔移動距離情報との分布を示す移動距離分布情報を収納するステップと、
前記人物の顔サイズ情報を取得するステップと、
前記人物の顔移動距離情報を取得するステップと、
前記人物が同一人物であるか別人物であるかを推定するステップと、
検出した顔から顔の向き情報を取得する顔向き情報取得ステップとを備え、
前記移動距離分布情報は、微小時間内の前記顔が移動可能な顔移動距離範囲であって、前記人物が同一人物のとき、前記人物を同一人物であると推定する同一人物推定領域と、
前記同一人物推定領域を超えた顔移動範囲であって、別人物であると推定する別人物推定領域とを有し、
前記取得した顔サイズ情報と前記取得した顔移動距離情報とから決定される前記移動距離分布情報における位置が前記同一人物推定領域に存在するか、または前記別人物推定領域に存在するかによって、前記人物が同一人物であるか、別人物であるかを推定し、
前記取得した顔の向きが正面でないとき前記顔の向きの変化による前記顔移動距離の増加分に応じて前記同一人物推定領域を拡大することを特徴とする人物追跡方法。
【請求項７】
コンピュータに、請求項６記載の人物追跡方法を実行させることを特徴とする人物追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から人物の顔を検出し、検出した人物を追跡する、人物追跡装置、人物追跡方法および人物追跡プログラムに関するものである。
【背景技術】
【０００２】
従来の人物追跡装置は、撮影画像から人物領域を抽出し、人体のプロポーション（例えば頭部、上半身、下半身等の、人体の各部位のサイズ比率）に基づいて、人物領域を人体の各部位が映るブロックに分割し、分割されたブロックの中の一つ（例えば、頭部が映るブロック）をテンプレートとし、連続する各撮影画像をテンプレートと順次マッチング処理することによって、撮影画像の中から人物を検出し、その動きを追跡している（例えば、特許文献１参照）。
【特許文献１】特開２００４−９４５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の人物追跡装置では、人物追跡において、撮像画像に人物が複数人存在して接近している場合や交差した場合に、他人同士を互いに連結してしまうなどの追跡の失敗が発生するという問題があった。
【０００４】
本発明は、従来の問題を解決するためになされたもので、撮像画像に人物が複数人存在している場合でも、また複数の人物が近接している場合でも高精度な人物追跡を行うことができる人物追跡装置、人物追跡方法および人物追跡プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の人物追跡装置は、撮像手段によって撮像した撮像画像から人物の顔を検出し、前記検出した人物を追跡する人物追跡装置において、人物が移動する場合の、前記撮像手段の位置と前記人物の顔の位置との距離によって決まる顔サイズ情報と前記撮影画像内の顔移動距離情報との分布を示す移動距離分布情報を収納している移動距離分布情報収納手段と、前記人物の顔サイズ情報を取得する顔サイズ情報取得手段と、前記人物の顔移動距離情報を取得する顔移動距離情報取得手段と、前記人物が同一人物であるか別人物であるかを推定する同一人物推定手段とを備え、前記移動距離分布情報は、微小時間内の前記顔が移動可能な顔移動距離範囲であって、前記人物が同一人物のとき、前記人物を同一人物であると推定する同一人物推定領域と、前記同一人物推定領域を超えた顔移動距離範囲であって、別人物であると推定する別人物推定領域と、検出した顔から顔の向き情報を取得する顔向き情報取得手段とを有し、前記同一人物推定手段は、前記取得した顔サイズ情報と前記取得した顔移動距離情報とから決定される前記移動距離分布情報における位置が前記同一人物推定領域に存在するか、または前記別人物推定領域に存在するかによって、前記人物が同一人物であるか、別人物であるかを推定し、前記取得した顔の向きが正面でないとき前記顔の向きの変化による前記顔移動距離の増加分に応じて前記同一人物推定領域を拡大することを特徴としている。
また、本発明の人物追跡装置は、撮像手段によって撮像した撮像画像から人物の顔を検出し、前記検出した人物を追跡する人物追跡装置において、人物が移動する場合の、前記撮像手段の位置と前記人物の顔の位置との距離によって決まる顔サイズ情報と前記撮影画像内の顔移動距離情報との分布を示す移動距離分布情報を収納している移動距離分布情報収納手段と、前記人物の顔サイズ情報を取得する顔サイズ情報取得手段と、前記人物の顔移動距離情報を取得する顔移動距離情報取得手段と、前記人物が同一人物であるか別人物であるかを推定する同一人物推定手段とを備え、前記移動距離分布情報は、微小時間内の前記顔が移動可能な顔移動距離範囲であって、前記人物が同一人物のとき、前記人物を同一人物であると推定する同一人物推定領域と、前記同一人物推定領域を超えた顔移動距離範囲であって、別人物であると推定する別人物推定領域と、前記撮像手段の設置角度情報または画角情報を取得する撮像手段角度情報取得手段を備え、前記同一人物推定手段は、前記取得した顔サイズ情報と前記取得した顔移動距離情報とから決定される前記移動距離分布情報における位置が前記同一人物推定領域に存在するか、または前記別人物推定領域に存在するかによって、前記人物が同一人物であるか、別人物であるかを推定し、前記設置角度情報が大きいときまたは前記画角情報が狭いとき、前記設置角度情報または前記画角情報による前記顔移動距離の増加分に応じて前記同一人物推定領域を拡大することを特徴とすることを特徴としている。
【０００６】
この構成により、画面上に人物が複数存在していても、また人物同士が近接していても高精度な人物追跡を行うことができる。
【０００７】
また、本発明の人物追跡装置では、前記同一人物推定手段で同一人物と推定された一連の顔画像を追跡履歴として記録する追跡履歴記録手段を備えて構成されている。
【０００８】
この構成により、人物追跡履歴を作成し、記録することができる。
【０００９】
また、本発明の人物追跡装置では、前記追跡履歴に複数の人物の顔画像が含まれている場合に、同一人物と別人物とに分類して追跡履歴を修正する追跡履歴修正手段を備えて構成されている。
【００１０】
この構成により、作成した人物追跡履歴を修正し、記録することができる。
【００１７】
また、本発明の人物追跡装置では、検出した連続する顔画像の隣り合う２つの顔画像同士を比較して、顔サイズの変化が大きい場合または顔向きの変化が大きい場合に同一人物であるかをユーザーに確認する追跡履歴確認手段を備えた構成とされている。
【００１８】
この構成により、ユーザーが画面上で簡単に追跡結果の確認および修正が可能であり、高精度な人物追跡結果を作成することができる。
【００１９】
また、本発明の人物追跡方法は、撮像手段によって撮像した撮像画像から人物の顔を検出し、前記検出した人物を追跡する人物追跡方法において、人が移動する場合の、前記撮像手段の位置と前記人物の顔の位置との距離によって決まる顔サイズ情報と前記撮影画像内の顔移動距離情報との分布を示す移動距離分布情報を収納するステップと、前記人物の顔サイズ情報を取得するステップと、前記人物の顔移動距離情報を取得するステップと、
前記人物が同一人物であるか別人物であるかを推定するステップと、検出した顔から顔の向き情報を取得する顔向き情報取得ステップとを備え、前記移動距離分布情報は、微小時間内の前記顔が移動可能な顔移動距離範囲であって、前記人物が同一人物のとき、前記人物を同一人物であると推定する同一人物推定領域と、前記同一人物推定領域を超えた顔移動範囲であって、別人物であると推定する別人物推定領域とを有し、前記取得した顔サイズ情報と前記取得した顔移動距離情報とから決定される前記移動距離分布情報における位置が前記同一人物推定領域に存在するか、または前記別人物推定領域に存在するかによって、前記人物が同一人物であるか、別人物であるかを推定し、前記取得した顔の向きが正面でないとき前記顔の向きの変化による前記顔移動距離の増加分に応じて前記同一人物推定領域を拡大することを特徴としている。
【００２０】
この構成により、撮影手段の設置角度情報を移動距離分布情報に反映することができ、精度の高い人物追跡を行うことができる。
【００２１】
また、本発明の人物追跡プログラムは、コンピュータに、前記人物追跡方法を実行させる。
【００２２】
この構成により、画面上に人物が複数存在していても、また人物同士が近接していても高精度な人物追跡を行うことができる。
【発明の効果】
【００２３】
本発明は、撮像画像に人物が複数人存在している場合でも、接近している場合でも、高
精度に人物の追跡を行うことができる。また、ユーザーが追跡結果の確認および修正が可能であり、高精度な人物追跡結果を作成することのできる人物追跡装置、人物追跡方法および人物追跡プログラムを提供することができるものである。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２５】
（実施の形態１）
図１は本発明の実施の形態１における人物追跡装置の構成を示すブロック図である。
【００２６】
図１において、本発明の実施の形態１における人物追跡装置は、監視場所等を撮像するカメラ等の撮像手段１１と、撮像手段１１から出力された映像信号をデジタル画像データ等に変換してパソコン等の処理装置に入力する映像入力手段１２と、映像入力手段１２から出力された画像データを入力して撮像画像内の顔を検出する顔検出手段１３と、顔検出手段１３で検出された顔から顔サイズ情報を取得する顔サイズ情報取得手段１４と、顔検出手段１３で検出された顔から顔の移動距離情報を取得する顔移動距離情報取得手段１５と、顔サイズ情報と顔移動距離情報との分布を示した移動距離分布情報２１（図８参照）を収納している移動距離分布情報収納手段１６と、顔サイズ情報取得手段１４と顔移動距離情報取得手段１５との各情報から、顔検出手段１３で検出された顔が同一の顔であるかの推定に基づいて同一人物であるかどうかを推定する同一人物推定手段１７と、同一人物推定手段１７で同一人物と推定された一連の画像を追跡履歴として記録する追跡履歴記録手段１８と、記録された追跡履歴から一連の顔画像に複数の人物の顔画像が含まれている場合に、同一人物のグループと別人物のグループとに分類して追跡履歴を修正する追跡履歴修正手段１９と、検出した連続する２つの顔画像の隣り合う画像同士の比較結果に応じて、ユーザーに確認を促す追跡履歴確認手段２０と、追跡履歴記録手段１８が記録した追跡履歴を表示する表示手段２２とを有する。
【００２７】
次に、上記各手段等について、さらに詳細に説明する。
【００２８】
撮像手段１１は、リアルタイムに映像が出力される監視カメラ等のデバイスによって構成され、映像信号を出力する。撮像手段１１は、録画した映像を出力するハードディスクレコーダー等のデバイスでも良い。
【００２９】
映像入力手段１２は、撮像手段１１と処理装置間を繋ぐデバイスであり、データの移動や、撮像装置１１からの映像信号を図７に示すようにデジタル画像５１（ＲＧＢカラー画像）への変換等を行う。
【００３０】
顔検出手段１３は、図７に示すようにデジタル画像５１から人物５３の顔領域５２を検出する。
【００３１】
人物５３の顔の検出方法には、正面顔や横顔等の顔のテンプレートを用いたテンプレートマッチング方式や、顔の特徴を抽出する数種の濃淡矩形フィルターに対して、あらかじめ学習により顔であるか非顔であるかを推定する識別空間内の識別関数を決定しておき、この識別器を何段階か結合して最終的な顔推定を行うＡｄａ Ｂｏｏｓｔ方式等があり、特定の顔検出方式に限定されるものではない。
【００３２】
顔サイズ情報取得手段１４は、表示手段２２の表示領域における顔領域５２の、顔サイズ情報である顔の幅Ｗと高さＨを取得する（図７参照）。すなわち、顔サイズ情報取得手段１４は、顔検出手段１３が検出した顔領域５２の、デジタル画像５１における水平方向および垂直方向の画素数を求め、それぞれを顔の幅Ｗと高さＨとの顔サイズ情報とする。
【００３３】
顔サイズ情報は、連続した複数のデジタル画像５１における幅Ｗと高さＨのそれぞれの平均値を用いても良い。また、画素数の合計を顔サイズ情報としても良い。
【００３４】
顔移動距離情報取得手段１５は、顔検出手段１３が現在検出した顔領域５２と、微小時間前に検出した顔領域５２とからそれぞれの顔領域５２の重心位置を求め、それぞれの重心位置から顔の移動距離情報を取得する。ここで、顔の移動距離は、現在検出した顔領域の重心位置を示す画素の座標を
【００３５】
【数１】
0004821355.tif 000002
【００３６】
とし、微小時間経過前の顔領域の重心位置を示す画素の座標を
【００３７】
【数２】
0004821355.tif 000003
【００３８】
とすると、
【００３９】
【数３】
0004821355.tif 000004
【００４０】
で、求められる。
【００４１】
ここで、微小時間は、現在の撮像画像のフレームと、１フレーム前のフレームとの１フレーム分の時間でも、数フレーム分の時間でも良い。
【００４２】
移動距離分布情報収納手段１６は、顔サイズ情報取得手段１４で得られた顔サイズ情報と、顔移動距離情報取得手段１５で得られた顔移動距離情報とを収納する。さらに、移動距離分布情報収納手段１６は、撮像手段１１と人物の顔位置との距離により決まる顔サイズと、顔の移動距離との分布を示した移動距離分布情報１２を収納する。撮像画像において、撮像手段１１に近い位置にいる人物の顔サイズは大きく、一方撮像手段１１から遠い位置にいる人物の顔サイズは小さく表示される。また、人物が同じ速度で移動する場合、撮像手段１１の近くにいる顔の移動距離は長く、一方撮像手段１１の遠くにいる顔の移動距離は短く表示される。このように、撮像画像において、人物の顔サイズが大きいと移動距離は長く、一方人物の顔サイズが小さいと移動距離は短いという関係がある。
【００４３】
図８は、顔サイズ情報と微小時間前後における移動距離情報との関係を表した図であり、移動距離分布情報２１の一例である。図８において、例えば、顔サイズがＳＡである人物Ａの場合、距離０から距離Ｌ１までの範囲を移動することが可能であり、また顔サイズがＳＢである人物Ｂの場合、距離０から距離Ｌ２までの範囲を移動することが可能である
ことをそれぞれ示している。従って、人物Ａが距離Ｌ１より長い例えば距離Ｌ３まで移動することはない。移動距離情報として距離がＬ３である場合、それは人物Ａの移動ではなく、人物Ａ以外の人物Ｂの移動によるものと判断できる。
【００４４】
従って、図８の移動距離分布情報２１において、顔サイズ情報と顔移動距離情報とから得られる位置が、同一人物推定曲線６３の下側の同一人物推定領域６１にあれば同一人物と推定でき、同一人物推定曲線６３の上側の別人物推定領域６２にあれば別人物と推定できる。
【００４５】
図８における顔サイズ情報と移動距離情報との関係は、人物の移動条件（速度、方向等）、映像入力手段１１の設置条件（設置位置や向き（水平方向角度、上下方向角度）等）等により変化するものであり、顔サイズ情報や移動距離情報（同一人物推定曲線６３）は条件に応じて設定する必要がある。
【００４６】
例えば、映像入力手段１１の撮影方向と人物の移動方向とが並行である場合は、顔サイズ情報の変化は大きく、顔移動距離情報の変化は小さい。一方、映像入力手段１１の撮影方向と人物の移動方向とが直角である場合は、顔サイズ情報の変化は小さく、顔移動距離情報の変化は大きい。
【００４７】
同一人物推定手段１７は、現在検出された顔画像と微小時間前に検出された顔画像とが同一人物の顔であるかどうかの推定を行う。この推定は、取得した顔サイズ情報と顔移動距離情報とから決まる位置が、あらかじめ移動距離分布情報収納手段１６に収納されている移動距離分布情報２１の同一人物推定領域６１または別人物推定領域６２のうち、どの領域に存在するかにより行う。
【００４８】
例えば、図８において、得られた顔サイズ情報がＳＡであり、顔移動距離情報がＬ４（＜Ｌ１）である場合には、同一人物推定領域６１にあり、同一人物であると推定する。顔サイズ情報がＳＡであり、顔の移動距離情報がＬ３（＞Ｌ１）である場合には、別人物推定領域６２にあるため、別人物であると推定する。
【００４９】
追跡履歴記録手段１８は、同一人物または別人物と推定された一連の顔画像と、それぞれの顔画像に対応する各種追跡情報とを追跡履歴情報として記録し、この記録内容を表示手段２２に表示する。
【００５０】
図９は、追跡履歴情報の記録内容を表示手段２２に表示した場合の説明図である。
【００５１】
顔画像１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅは、同一人物推定手段１７で同一人物と推定された場合の顔画像群であり、検出した時刻の古いものから順に画面右方向へ表示されている。図９に示す例では、それぞれの顔画像に対応する追跡情報として、顔画像、検出した時刻および顔サイズ情報が画面表示されている。図９において、例えば、時刻ｔ０において検出された顔画像１０１ａは、顔サイズ情報が３０ｐｉｘであり、また時刻ｔ１において検出された顔画像１０１ｂは、顔サイズ情報が３８ｐｉｘであることをそれぞれ示している。
【００５２】
なお、追跡情報としてはこの他にも、検出した顔の画面上の中心位置、人物が登場してからの移動方向、人物の移動速度、検出した顔画像と登録済みの顔画像との照合を行った時の顔認識結果等を表示しても良い。
【００５３】
以上により、同一人物推定手段１７で同一人物と推定された一連の顔画像を、追跡履歴情報として追跡履歴記録手段１８に記録することができる。
【００５４】
次に、追跡履歴記録手段１８に記録された追跡履歴情報の修正方法について説明する。
【００５５】
追跡履歴修正手段１９は、追跡履歴記録手段１８に記録された追跡履歴情報を、同一人物のグループとそれ以外のグループとに分類して追跡履歴情報を修正する。
【００５６】
図１０および図１１は、追跡履歴情報の修正方法を説明する図である。
【００５７】
図１０において、顔画像１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ、１１１ｅは、同一人物推定手段１７で同一人物と推定された顔画像群を示している。
【００５８】
図１０において、時刻ｔ０から時刻ｔ３までの顔サイズ情報は３０ｐｉｘから５８ｐｉｘへと時刻の変化に対しおおよそ比例して増加しているが、時刻ｔ３から時刻ｔ４における顔サイズ情報は５８ｐｉｘから８０ｐｉｘへと大きく変化している。
【００５９】
この大きな変化の原因としては、時刻ｔ３から時刻ｔ４にかけて同一人物がそれまでの移動速度より速く移動した結果、顔サイズ情報が大きくなる場合や、時刻ｔ３と時刻ｔ４とにおける顔画像の人物が違う場合がある。
【００６０】
同一人物推定手段１７は、顔サイズ情報と顔移動距離情報とから得られる位置が、図８に示す同一人物推定領域６１にあれば、別人物でも同一人物と推定することがある。
【００６１】
一般的に、隣り合う微小時間内に追跡情報の変化が大きい場合は、同一人物である可能性が低くなる。
【００６２】
従って、ユーザーは、同一人物と推定された顔画像群の中で隣り合う顔画像について、追跡情報の変化を確認することにより、同一人物であるか、別人物であるかの判定を行うことができ、精度の高い追跡を行うことが可能である。
【００６３】
追跡履歴確認手段２０は、同一人物の顔画像群の中で隣り合う顔画像について、追跡情報の変化が大きい場合に、ユーザーに確認を勧めるメッセージを表示手段２２に表示する。
【００６４】
ユーザーは、表示された追跡履歴情報をもとに同一人物であるかの判定を行っても良いし、追跡履歴確認手段２０のメッセージに基づき、判定を行っても良い。メッセージを表示することにより、ユーザーは追跡した人物が同一人物であるかの確認がしやすくなり、負担を減らすことができる。メッセージの表示は、微小時間内の追跡情報の変化が、ある閾値以上または閾値以下である場合に表示すれば良い。また、ユーザーに確認を勧める手段はメッセージに限定せず、枠の表示、警報音等でも良い。
【００６５】
図１０に示す例では、追跡履歴確認手段２０は、同一人物推定手段１７が同一人物と推定した顔画像１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ、１１１ｅにおいて、時刻ｔ３における顔画像１１１ｄの顔サイズが５８ｐｉｘで、微小時間後の時刻ｔ４における顔画像１１１ｅの顔サイズが８０ｐｉｘであり、それ以前の顔サイズの変化と比較して変化が大きいので、表示手段２２の画面上に確認枠１１２を表示してユーザーに確認を勧めている。
【００６６】
ユーザーが確認して、顔画像１１１ｄと顔画像１１１ｅとが同一人物でないと判定した場合は、図１１に示すように、同一人物に属さない顔画像１１１ｅをユーザーが選択（画面上で顔画像１１１ｅを指定）して選択枠１１３を表示させる。
【００６７】
図１１は、ユーザーが顔画像１１１ａ、１１１ｂ、１１１ｃ、１１１ｄを人物Ａ、顔画像１１１ｅを人物Ｂと判定した例を示している。
【００６８】
以上のようにして、同一人物推定手段１７が同一人物のグループとして選択した顔画像に対して、ユーザーが同一人物の顔画像と別人物の顔画像とを選択することが可能である。
【００６９】
次に、追跡履歴の修正方法について説明する。
【００７０】
図１３において、追跡履歴情報１３１は、同一人物推定手段１７で同一人物と推定された顔画像を時系列に表示したものである。ここで、１３５は人物Ａの顔画像を、１３６は人物Ｂの顔画像をそれぞれ示している。太枠で示している選択枠１３４は、追跡履歴修正手段１９でユーザーが別人物と判定して画面上で指定した顔画像を示している。
【００７１】
この、画面上で指定した顔画像を追跡履歴情報１３１から、同一人物のグループと別人物のグループ（選択枠１３４で示した顔画像）との２つに分類する。
【００７２】
この結果、人物Ａと人物Ｂとを含む追跡履歴情報１３１は、人物Ａのみを含む修正追跡履歴情報１３２と、人物Ａを含まない人物Ｂのみを含む修正追跡履歴情報１３３との２つの顔画像系列に分類される。
【００７３】
以上により、同一人物と推定された追跡履歴情報１３１の内容を見直し、同一人物とそれ以外の人物とのグループに分類して追跡履歴を修正し、高精度な追跡履歴を追跡履歴記録手段１８に保存することが可能であり、このデータベースを用いた人物検索の性能を向上することができる。
【００７４】
なお、追跡履歴修正手段１９において、追跡履歴記録手段１８が記録した追跡履歴情報の確認は、ユーザーが表示手段２２の内容を確認しながら行っても良いし、またテンプレートを用いたテンプレートマッチング方式等の画像認識手段を追跡履歴修正手段１９に搭載して行っても良い。
【００７５】
次に、本実施の形態１の人物追跡装置の動作について、図２に示すフローチャートを用いて説明する。
【００７６】
映像入力手段１１は、監視場所等を撮影し、映像入力手段１２は、映像入力手段１１からの映像信号を、デジタル画像５１等の変換を行う（ステップＳ１）。
【００７７】
顔検出手段１３は、デジタル画像５１から人物５３の顔領域５２を検出する（ステップＳ２）。
【００７８】
顔サイズ情報取得手段１４は、顔検出手段１３が検出した顔領域から顔サイズ情報を取得し（ステップＳ３）、顔移動距離情報取得手段１５は、顔サイズ情報取得手段１４が取得した顔サイズ情報から顔移動距離情報を取得する（ステップＳ４）。
【００７９】
取得した顔サイズ情報および顔移動距離情報は、移動距離分布情報収納手段１６に収納される。
【００８０】
同一人物推定手段１７は、移動距離分布情報収納手段１６に収納された顔サイズ情報、顔移動距離情報および、移動距離分布情報収納手段１６にあらかじめ記憶されている、撮
像手段と人物の顔位置との距離により決まる顔サイズ情報と顔移動距離情報との分布を示した移動距離分布情報２１を参照し（ステップＳ５）、撮像画像中の人物が同一人物であるか、別人物であるかを推定する（ステップＳ６）。
【００８１】
追跡履歴記録手段１８は、同一人物推定手段１７で同一人物と推定された一連の顔画像とそれぞれの顔画像に対応する各種追跡情報を、追跡履歴情報として記録し（ステップＳ７）、追跡履歴を表示手段２２に画面表示する（ステップＳ９）。
【００８２】
また、追跡履歴記録手段１８は、同一人物推定手段１７で別人物と推定された一連の顔画像とそれぞれの顔画像に対応する各種追跡情報を、追跡履歴情報として記録し（ステップＳ８）、これを必要に応じて表示手段２２に画面表示する（ステップＳ９）。
【００８３】
追跡履歴確認手段２０は、同一人物推定手段１７で同一人物と推定した一連の追跡履歴情報中の隣り合う顔画像について、追跡情報の変化が大きい画像があるか確認し（ステップＳ１０）、追跡情報の変化が大きい画像がある場合（ステップＳ１０、Ｙｅｓ）に、該当する画像に枠表示を行う（ステップＳ１１）。
【００８４】
追跡情報の変化が大きい画像がない場合（ステップＳ１０、Ｎｏ）は、ステップステップＳ１２に進む。
【００８５】
追跡情報の変化が大きいか否かの判断は、適宜決定される閾値を用いて判断すれば良い。
【００８６】
追跡履歴確認手段２０の枠表示に基づき、ユーザーが選択した顔画像がある場合（ステップＳ１２、Ｙｅｓ）、追跡履歴修正手段１９は、ユーザーが選択した顔画像を追跡履歴から分離する追跡履歴修正（ステップＳ１３）を行い、同一人物に属さないグループとして追跡履歴記録手段１８に保存し（ステップＳ１４）、ユーザーが選択しなかった顔画像を同一人物のグループとして追跡履歴を修正し、追跡履歴記録手段１８に保存する（ステップＳ１４）。
【００８７】
また、ユーザーが選択した顔画像がない場合（ステップＳ１２、Ｎｏ）、追跡履歴修正手段１９は、追跡履歴記録手段１８に追跡履歴を保存する（ステップＳ１４）。
【００８８】
以上のように、本発明の実施の形態１は、検出した人物が同一人物であるか、別人物であるか、取得した顔サイズ情報と顔移動距離情報とから決まる位置が、移動距離分布情報収納手段１６に収納されている移動距離分布情報２１の同一人物推定領域６１および別人物推定領域６２のうち、どの領域に存在するかによって推定することが可能であり、同一人物と推定された一連の顔画像を追跡履歴として記録し、記録した追跡履歴を修正することができる。
【００８９】
（実施の形態２）
本発明の実施の形態２は、実施の形態１とは、顔向き情報取得手段２３と移動距離分布選択手段２４が追加され、また移動距離分布情報収納手段１６が複数の移動距離分布情報２１を収納している点が異なっている。
【００９０】
図３は、本発明の実施の形態２における人物追跡装置の構成を示している。
【００９１】
図３において、実施の形態１の人物追跡装置と同一の構成要素に関しては同一の符号で示してあり、追加になった構成要素に関して、以下に説明を行う。
【００９２】
顔向き情報取得手段２３は、顔検出手段１３で検出された顔領域５２の、表示手段２２における画面上の顔向き情報を取得する。
【００９３】
図１４（ａ）に示すように、人物５３の顔向きの検出方法には、顔の検出方法で用いたテンプレートマッチング方法等により、検出した顔情報の中に小さな楕円形状が２個並んでいれば目であると判定し、図１４（ｂ）に示すように、目と判定した領域の重心を結ぶ線が、水平線となす角度θを顔向き情報として取得する。取得した顔向き情報は、移動距離分布情報収納手段１６に収納される。
【００９４】
なお、上記の顔向き情報取得方法は一例であり、これに限定されるものではない。
【００９５】
移動距離分布選択手段２４は、移動距離分布情報収納手段１６に顔向き情報が収納された場合、顔向き情報に応じた移動距離分布情報２１を選択し、選択した移動距離分布情報２１に基づき、同一人物推定手段１７は、検出した顔画像が同一の顔であるか否か推定する。
【００９６】
一般的に、顔向き情報が０°近辺（表示手段２２において顔が正面顔に映っている）のときは、微小時間内に表示手段２２上を移動する距離が小さく、顔向き情報が大きい（表示手段２２において顔が横方向を向いている）ときは、微小時間内に移動する距離が大きくなるという関係にある。
【００９７】
図１５は、顔向き情報の違いによって表示手段２２における移動距離が異なる原理を説明する図である。
【００９８】
図１５（ａ）は、顔向き情報が０°近辺の人物が、図１５（ｂ）は、顔向き情報が大きい人物が、距離Ｌ１をそれぞれ移動する状態を示す平面図であり、図１５（ｃ）は図１５（ａ）の撮像画像であり、図１５（ｄ）は図１５（ｂ）の撮像画像である。また、撮像手段１１は地平からの高さは、顔高さとほぼ同一であり、光軸は水平であるように設定されている。
【００９９】
図１５（ｃ）に示すように、顔向き情報が０°近辺である人物は、距離Ｌ１を移動しても、表示手段２２における顔移動距離はほぼゼロである。一方、図１５（ｄ）に示すように、顔向き情報が大きい人物の場合、距離Ｌ１を移動すると、その水平成分である距離Ｌ２が表示手段２２における顔移動距離情報として取得される。
【０１００】
従って、顔移動距離は、顔向き情報が大きい場合の方が、顔向き情報が０°近辺である場合より大きくなる。
【０１０１】
図１６は、移動距離分布選択手段２４が選択した、顔向き情報が大きい場合の顔サイズ情報と顔移動距離情報との関係を示した図であり、顔向き情報が０°近辺である場合の顔移動距離情報に、顔向きが発生したことによる顔移動距離情報の増加分を加える補正を行っている。
【０１０２】
同一人物推定手段１７は、現在検出された顔領域の顔サイズ情報および中心位置と微小時間前に検出された中心位置とから、本発明の実施の形態１で行った手法と同様の手法で移動距離情報を取得する。取得した顔サイズ情報と顔移動距離情報とから得られる位置が、同一人物推定曲線６３より下側の同一人物推定領域６１にあれば、同一人物と推定し、同一人物推定曲線６３の上側の別人物推定領域６２にあれば、別人物と推定する。
【０１０３】
なお、移動距離分布情報収納手段１６は、顔向き情報に応じた複数の移動距離分布情報
２１を有していることが望ましい。
【０１０４】
また、顔向きが０°近辺の場合、閾値を設定し、閾値以内では顔向き０°の移動距離分布情報２１を採用し、閾値を超えた場合は顔向き情報に応じた移動距離分布情報２１を採用すれば良く、閾値は適宜設定すれば良い。
【０１０５】
図１２は、顔向き情報を用いて同一人物の推定を行っている場合の例を示している。
【０１０６】
同一人物推定手段１７が、顔画像１２１ａ、１２１ｂ、１２１ｃ、１２１ｄ、１２１ｅの５枚の画像を同一人物と推定しているが、追跡履歴確認手段２０は、時刻ｔ３における顔画像１２１ｄの顔向きが０°で、微小時間後の時刻ｔ４における顔画像１２１ｅの顔向きが１５°であり、それ以前の顔向きの変化と比較し、変化が大きいので、表示手段２２の画面上に選択枠１２２を表示してユーザーに確認を勧めている。
【０１０７】
ユーザーが確認して、顔画像１２１ｄと顔画像１２１ｅとが同一人物でないと判定した場合は、図１２に示すように、同一人物に属さない顔画像１２１ｅをユーザーが選択（画面上で顔画像１２１ｅを指定）して太枠の選択枠１２３を表示させる。
【０１０８】
図１２は、ユーザーが顔画像１２１ａ、１２１ｂ、１２１ｃ、１２１ｄを人物Ａ、顔画像１２１ｅを人物Ｂと推定した例を示している。
【０１０９】
追跡履歴記録手段１８および追跡履歴修正手段１９の動作は、本発明の実施の形態１の人物追跡装置と同様の動作であるので、その説明を省略する。
【０１１０】
次に、本発明の実施の形態２の人物追跡装置の動作について、図４に示すフローチャートに基づいて説明を行う。
【０１１１】
本発明の実施の形態２の動作は、実施の形態１の動作と基本的には変わらないので、異なる点について説明する。
【０１１２】
顔向き情報取得手段２３は、顔検出手段１３で検出された顔領域５２の、表示手段２２における画面上の顔向き情報を取得する（ステップＳ２１）。取得した顔向き情報は、顔サイズ情報、顔移動距離情報とともに移動距離分布情報収納手段１６に収納される。
【０１１３】
移動距離分布情報収納手段１６は、顔向き情報の有無、顔向き情報の内容（角度等）により、あらかじめ記憶してある移動距離分布情報２１を選択する（ステップＳ２２）。
【０１１４】
ステップＳ６以降は、本発明の実施の形態１と同様の動作を行うので、その説明は省略する。
【０１１５】
以上のように、本発明の実施の形態２は、検出した人物が同一人物であるか、別人物であるか、取得した顔サイズ情報と顔移動距離情報と顔向き情報とから決まる位置が、移動距離分布情報収納手段１６に収納されている移動距離分布情報２１の同一人物推定領域６１および別人物推定領域６２のうち、どの領域に存在するかによって推定することが可能であり、同一人物と推定された一連の顔画像を追跡履歴として記録し、記録した追跡履歴を修正することができる。
【０１１６】
（実施の形態３）
本発明の実施の形態３は、実施の形態１とは、撮像手段角度情報取得手段２５を追加した点が異なっている。
【０１１７】
図５において、本発明の実施の形態１の人物追跡装置と同一の構成要素に関しては同一の符号で示してあり、追加になった構成要素に関して、以下に説明を行う。
【０１１８】
図５において、本発明の実施の形態３の人物追跡装置は、撮像手段１１の設置角度等の撮像手段角度情報を取得する撮像手段角度情報取得手段２５を有する。
【０１１９】
一般的に、人物追跡装置における撮像手段１１は、人物を上方向から見下ろすよう、高所に取り付けられている。従って、撮像手段１１は、撮像手段１１の光軸が水平面とある角度（以下、撮像手段設置角度という）を有して取り付けられる。
【０１２０】
撮像手段設置角度が小さいときは、微小時間内に表示手段２２上を移動する人物の顔移動距離は小さく、一方撮像手段設置角度が大きいときは、顔移動距離は大きくなる。
【０１２１】
図１７および図１８は、撮像手段設置角度と顔移動距離との関係を説明する図である。
【０１２２】
図１７は、小さな撮像手段設置角度５４ａを有する撮像手段１１ａおよび、大きな撮像手段設置角度５４ｂを有する撮像手段１１ｂの方へ向かって移動する人物５３を、撮像手段１１ａ、１１ｂの光軸の横方向から示した図である。ここで、人物５３は２つの撮像手段１１ａ、１１ｂで撮像される。
【０１２３】
撮像手段１１ａで撮像した画像を図１８（ａ）に、撮像手段１１ｂで撮像した画像を図１８（ｂ）にそれぞれ示す。
【０１２４】
撮像手段１１ａで撮像する場合、撮像手段１１ａへ向かってくる距離Ｌ３は図１８（ａ）の画像にはほとんど表れず、横方向の移動が距離Ｌ４として画像に表れる。
【０１２５】
撮像手段１１ｂで撮像する場合、距離Ｌ３は図１８（ｂ）の画像に距離Ｌ５として現れ、横方向の移動が撮像装置１１ａと同様に距離Ｌ４として表れる。
【０１２６】
このように、小さな撮像手段設置角度５４ａのときは、微小時間内に表示手段２２上を移動する人物の顔移動距離５５が小さく、一方大きな撮像手段設置角度５４ｂのときは、顔移動距離５５が大きくなる。
【０１２７】
また、撮像手段１１は固有の画角を有し、画角によって撮影可能な範囲が決まっており、人物等が同一の時間で移動した場合でも、撮像手段１１の画角が広いと、表示装置２２上での顔移動距離は短く、画角が小さいと、顔移動距離は大きくなる。
【０１２８】
撮像手段角度情報取得手段２５は、撮像手段１１の撮像手段設置角度５４ａ、５４ｂの情報や、画角情報等の撮像手段角度情報を取得する。
【０１２９】
移動距離分布選択手段２４は、移動距離分布情報収納手段１６に収納されている移動距離分布情報２１のうち、撮像手段角度情報を反映している移動距離分布情報２１を選択する。
【０１３０】
図１９は、移動距離分布選択手段２４が選択した、撮像手段角度情報を反映させた場合の顔サイズ情報と顔移動距離情報との関係を示した図である。図１９では、撮像手段角度情報を反映させたことにより、同一の顔サイズ情報で顔移動距離情報が増加する場合の例を示したが、撮像手段角度情報によっては、同一の顔サイズ情報で顔移動距離情報が減少する場合もある。
【０１３１】
検出された顔画像から、同一人物であるか否かの推定方法については、本発明の実施の形態１で説明した方法と同一であり、ここでは説明を省略する。
【０１３２】
次に、本発明の実施の形態３の人物追跡装置の動作について、図６に示すフローチャートに基づいて説明を行う。
【０１３３】
本発明の実施の形態３の動作は、実施の形態１の動作と基本的には変わらないので、異なる点について説明する。
【０１３４】
撮像手段角度情報取得手段２５は、撮像手段１１の撮像手段設置角度や、画角情報等の撮像手段角度情報を取得し（ステップＳ３１）、取得した撮像手段角度情報は、顔サイズ情報、顔移動距離情報とともに移動距離分布情報収納手段１６に収納される。
【０１３５】
移動距離分布情報収納手段１６は、撮像手段角度情報の内容により、あらかじめ記憶してある移動距離分布情報２１を選択する（ステップＳ２２）。
【０１３６】
ステップＳ５以降は、本発明の実施の形態１と同様の動作を行うので、その説明を省略する。
【０１３７】
以上のように、本発明の実施の形態３は、検出した人物が同一人物であるか、別人物であるか、取得した顔サイズ情報と顔移動距離情報と撮像手段の角度情報とから決まる位置が、移動距離分布情報収納手段１６に収納されている移動距離分布情報２１の同一人物推定領域６１および別人物推定領域６２のうち、どの領域に存在するかによって推定することが可能であり、同一人物と推定された一連の顔画像を追跡履歴として記録し、記録した追跡履歴を修正することができる。
【産業上の利用可能性】
【０１３８】
本発明にかかる人物追跡装置、人物追跡方法および人物追跡プログラムは、撮像画像に人物が複数人存在している場合でも、接近している場合でも、高精度に人物の追跡を行うことができ、またユーザーが簡単に追跡結果の確認および修正が可能であり、高精度な人物追跡結果を作成することができるという効果を有し、人物の行動を監視する用途や人物の検索を行うためのデータベースを構築する人物追跡装置等として有用である。
【図面の簡単な説明】
【０１３９】
【図１】本発明の実施の形態１の人物追跡装置の構成を示すブロック図
【図２】本発明の実施の形態１の人物追跡装置の動作手順を示すフローチャート
【図３】本発明の実施の形態２の人物追跡装置の構成を示すブロック図
【図４】本発明の実施の形態２の人物追跡装置の動作手順を示すフローチャート
【図５】本発明の実施の形態３の人物追跡装置の構成を示すブロック図
【図６】本発明の実施の形態３の人物追跡装置の動作手順を示すフローチャート
【図７】顔サイズ情報の検出を説明する図
【図８】顔サイズ情報と顔移動距離情報との関係を示す図
【図９】追跡履歴の一覧表示を説明する図
【図１０】追跡履歴確認内容の表示を説明する図
【図１１】追跡履歴の修正方法を説明する図
【図１２】追跡履歴の修正方法を説明する図
【図１３】追跡履歴のデータベースの修正方法を説明する図
【図１４】顔角度の取得方法を説明する図
【図１５】顔向きによる画面上での移動距離を説明する図
【図１６】顔向きがある場合の顔サイズ情報と顔移動距離情報との関係を示す図
【図１７】撮像手段の設置角度を説明する図
【図１８】撮像手段の設置角度による画面上での移動距離を説明する図
【図１９】撮像手段角度情報を反映した顔サイズ情報と顔移動距離情報との関係を示す図
【符号の説明】
【０１４０】
１１    撮像手段
１２    映像入力手段
１３    顔検出手段
１４    顔サイズ情報取得手段
１５    顔移動距離情報取得手段
１６    移動距離分布情報収納手段
１７    同一人物推定手段
１８    追跡履歴記録手段
１９    追跡履歴修正手段
２０    追跡履歴確認手段
２１    移動距離分布情報
２２    表示手段
２３    顔向き情報取得手段
２４    移動距離分布選択手段
２５    撮像手段角度情報取得手段
【図１】
0004821355.tif 000005
【図２】
0004821355.tif 000006
【図３】
0004821355.tif 000007
【図４】
0004821355.tif 000008
【図５】
0004821355.tif 000009
【図６】
0004821355.tif 000010
【図７】
0004821355.tif 000011
【図８】
0004821355.tif 000012
【図９】
0004821355.tif 000013
【図１０】
0004821355.tif 000014
【図１１】
0004821355.tif 000015
【図１２】
0004821355.tif 000016
【図１３】
0004821355.tif 000017
【図１４】
0004821355.tif 000018
【図１５】
0004821355.tif 000019
【図１６】
0004821355.tif 000020
【図１７】
0004821355.tif 000021
【図１８】
0004821355.tif 000022
【図１９】
0004821355.tif 000023