(57)【要約】【課題】監視対象領域が非常に混雑している状況などでも、監視対象領域内の個々の人物を正確に検出することができるようにする。【解決手段】複数のカメラ１により撮影された映像に写っている人物を検出する人物検出部８と、人物検出部８により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定部９とを設け、移動軌跡解析部１０が３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析する。【選択図】図１
2009143722.tif 000002
【特許請求の範囲】
【請求項１】
監視対象領域の映像を撮影する複数の映像撮影手段と、上記複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出手段と、上記人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定手段と、上記３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析する移動軌跡解析手段とを備えた人物追跡装置。
【請求項２】
複数の映像撮影手段により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、上記複数の映像撮影手段のカメラパラメータを算出するパラメータ算出手段と、上記パラメータ算出手段により算出されたカメラパラメータを用いて、上記映像撮影手段により撮影された複数の映像の歪みを補正し、補正後の映像を人物検出手段に出力する映像補正手段とを設けたことを特徴とする請求項１記載の人物追跡装置。
【請求項３】
複数の映像撮影手段により撮影されたキャリブレーションパターンの映像から、監視対象領域内の基準点に対する上記複数の映像撮影手段の設置位置及び設置角度を算出する設置位置角度算出手段を設け、３次元位置推定手段が上記設置位置角度算出手段により算出された設置位置及び設置角度と上記人物検出手段により検出された個々の人物の映像座標を用いて、個々の人物の３次元位置を推定することを特徴とする請求項１または請求項２記載の人物追跡装置。
【請求項４】
３次元位置推定手段は、個々の人物の３次元位置の推定結果が所定の検出条件に合致しない場合、上記３次元位置の推定結果を破棄することを特徴とする請求項１から請求項３のうちのいずれか１項記載の人物追跡装置。
【請求項５】
移動軌跡解析手段は、３次元位置推定手段が個々の人物の３次元位置を推定する際、上記３次元位置の確からしさを示す確信度を算出する場合、確信度が所定の閾値より低い３次元位置を除いて、個々の人物の移動軌跡を解析することを特徴とする請求項１から請求項４のうちのいずれか１項記載の人物追跡装置。
【請求項６】
移動軌跡解析手段は、監視対象領域がエレベータのかご内である場合、上記エレベータの停止階を示す停止階情報と個々の人物の移動軌跡とを照らし合わせて、どの人物がどの階で乗ってどの階で降りたかを示す移動履歴を求めることを特徴とする請求項１から請求項５のうちのいずれか１項記載の人物追跡装置。
【請求項７】
移動軌跡解析手段は、移動履歴を複数台のエレベータの運行を管理する群管理システムに出力することを特徴とする請求項６記載の人物追跡装置。
【請求項８】
３次元位置推定手段は、監視対象領域の床に敷かれている感圧センサのセンシング結果を収集し、上記感圧センサのセンシング結果を考慮して、個々の人物の３次元位置を推定することを特徴とする請求項１から請求項７のうちのいずれか１項記載の人物追跡装置。
【請求項９】
映像撮影手段が監視対象領域の映像を撮影する複数の映像撮影ステップと、人物検出手段が上記複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出ステップと、３次元位置推定手段が上記人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定ステップと、移動軌跡解析手段が上記３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析する移動軌跡解析ステップとを備えた人物追跡方法。
【請求項１０】
監視対象領域の映像を撮影する複数の映像撮影処理手順と、上記複数の映像撮影処理手順により撮影された映像に写っている人物を検出する人物検出処理手順と、上記人物検出処理手順により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定処理手順と、上記３次元位置推定処理手順により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析する移動軌跡解析処理手順とをコンピュータに実行させるための人物追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、カメラにより撮影された映像に写っている個々の人物を検出して、個々の人物を追跡する人物追跡装置、人物追跡方法及び人物追跡プログラムに関するものである。
【背景技術】
【０００２】
例えば、高層ビルには非常に多数のエレベータが設置されており、早朝の通勤ラッシュ時や、お昼休みの混雑時などには、多数のエレベータをうまく連携させて、乗客を効率的に輸送しなければならない。
多数のエレベータの群管理を効率的に行うには、“誰がどの階で乗って、どの階で降りたか”という乗客の移動履歴を計測して、その移動履歴を群管理システムに提供する必要がある。
【０００３】
従来より、カメラを用いることで、乗客の人数カウントや人物移動を計測する人物追跡装置が多数提案されている。
例えば、以下の特許文献１には、予め記憶している背景画像と、カメラから随時取り込む入力画像との差分の画像（背景差分画像）を求めることにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する手法が開示されている。
しかし、非常に混み合っているエレベータでは、約２５ｃｍ四方に一人の乗客が存在し、乗客が重なり合う状況が発生するため、背景差分画像は一塊のシルエットになる。
このため、背景差分画像から個々の人物を分離することは極めて困難である。
【０００４】
また、以下の特許文献２には、エレベータのかご内の上部にカメラを設置し、予め記憶している頭部画像参照パターンとカメラの撮影画像とを対比することにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する手法が開示されている。
しかし、単純なパターンマッチングによる人物検出方法では、例えば、カメラから見て、ある人物が他の人物に隠れてしまっている場合など、遮蔽が生じている場合には、誤って人数をカウントしてしまうことがある。
また、エレベータのかご内に鏡が設置されている場合には、鏡に映っている人物を誤検出してしまうことがある。
【０００５】
【特許文献１】特開平８−２６６１１号公報（段落番号［００１６］、図１）
【特許文献２】特開２００６−１６８９３０号公報（段落番号［００２７］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の人物追跡装置は以上のように構成されているので、エレベータが非常に混雑している状況などでは、エレベータ内の乗客を正確に検出することができないなどの課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、監視対象領域が非常に混雑している状況などでも、監視対象領域内の個々の人物を正確に検出することができる人物追跡装置、人物追跡方法及び人物追跡プログラムを得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る人物追跡装置は、複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出手段と、人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定手段とを設け、移動軌跡解析手段が３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するようにしたものである。
【発明の効果】
【０００９】
この発明によれば、複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出手段と、人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定手段とを設け、移動軌跡解析手段が３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するように構成したので、監視対象領域が非常に混雑している状況などでも、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を追跡することができる効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による人物追跡装置を示す構成図であり、図において、カメラ１はエレベータのかご内（監視対象領域）の上部に複数台設置されており、複数のカメラ１はかご内の映像を撮影して、その映像を映像取得部２に出力する。なお、カメラ１は映像撮影手段を構成している。
ただし、カメラ１の種類は特に問わず、一般的な監視カメラのほかに、可視カメラ、近赤外線領域まで撮影可能な高感度カメラ、熱源を撮影することが可能な遠赤外線カメラなどでもよい。また、距離計測が可能な赤外線距離センサや、レーザーレンジファインダなどで代用してもよい。
映像取得部２はカメラ１により撮影された映像を取得する映像入力インタフェースである。
【００１１】
カメラキャリブレーション部３はカメラパラメータ算出部４及び設置位置角度算出部５から構成されている。
カメラパラメータ算出部４は映像解析部６による人物の検出処理が開始される前に、複数のカメラ１により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、複数のカメラ１のカメラパラメータ（レンズの歪み、焦点距離、光軸、画像中心（ｐｒｉｎｃｉｐａｌ  ｐｏｉｎｔ）に関するパラメータ）を算出する処理を実施する。なお、カメラパラメータ算出部４はパラメータ算出手段を構成している。
設置位置角度算出部５は映像解析部６による人物の３次元位置の推定処理が開始される前に、複数のカメラ１により撮影されたキャリブレーションパターンの映像から、エレベータのかご内の基準点に対する複数のカメラ１の設置位置及び設置角度を算出する処理を実施する。なお、設置位置角度算出部５は設置位置角度算出手段を構成している。
【００１２】
映像解析部６は映像補正部７、人物検出部８、３次元位置推定部９及び移動軌跡解析部１０から構成されており、人物の検出処理や移動軌跡の解析処理などを実施する。
映像補正部７はカメラパラメータ算出部４により算出されたカメラパラメータを用いて、映像取得部２により取得された複数の映像の歪みを補正する処理を実施する。なお、映像補正部７は映像補正手段を構成している。
【００１３】
人物検出部８は映像取得部２により取得された複数の映像に写っている人物（例えば、人間の頭部、肩、胴体など）を検出する処理を実施する。なお、人物検出部８は人物検出手段を構成している。
３次元位置推定部９は設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、人物検出部８により検出された個々の人物をステレオ立体視することにより、個々の人物の３次元位置を推定する処理を実施する。なお、３次元位置推定部９は３次元位置推定手段を構成している。
移動軌跡解析部１０は３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するなど処理を実施する。なお、移動軌跡解析部１０は移動軌跡解析手段を構成している。
【００１４】
図１の例では、人物追跡装置の構成要素である映像取得部２、カメラパラメータ算出部４、設置位置角度算出部５、映像補正部７、人物検出部８、３次元位置推定部９及び移動軌跡解析部１０のそれぞれが専用のハードウェア（例えば、ＭＰＵを実装している半導体集積回路基板）で構成されているものを想定しているが、人物追跡装置がコンピュータで構成される場合、映像取得部２、カメラパラメータ算出部４、設置位置角度算出部５、映像補正部７、人物検出部８、３次元位置推定部９及び移動軌跡解析部１０の処理内容を記述している人物追跡プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されている人物追跡プログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による人物追跡方法の一部（人物追跡装置の前処理部分）を示すフローチャートであり、図３はこの発明の実施の形態１による人物追跡方法の一部（人物追跡装置の後処理部分）を示すフローチャートである。
【００１５】
次に動作について説明する。
最初に、カメラキャリブレーション部３が実施する前処理について説明する。
カメラキャリブレーション部３のカメラパラメータ算出部４がカメラパラメータ（レンズの歪み、焦点距離、光軸、画像中心（ｐｒｉｎｃｉｐａｌ  ｐｏｉｎｔ）に関するパラメータ）を算出するに際して、個々のカメラ１がキャリブレーションパターンを撮影する（図２のステップＳＴ１）。
【００１６】
映像取得部２は、個々のカメラ１により撮影されたキャリブレーションパターンの映像を取得して、そのキャリブレーションパターンの映像をカメラキャリブレーション部３のカメラパラメータ算出部４に出力する。
キャリブレーションパターンとしては、例えば、大きさが既知の白黒のチェッカーフラグパターンなどが該当する（図４を参照）。
なお、キャリブレーションパターンは、１０〜２０通りの異なる角度からカメラ１により撮影される。
【００１７】
カメラキャリブレーション部３のカメラパラメータ算出部４は、映像取得部２からキャリブレーションパターンの映像を受けると、そのキャリブレーションパターンの映像の歪み具合を解析して、各カメラ１のカメラパラメータを算出する（ステップＳＴ２）。
カメラパラメータの算出方法は、公知の技術であるため詳細な説明を省略する。
【００１８】
次に、カメラキャリブレーション部３の設置位置角度算出部５が複数のカメラ１の設置位置及び設置角度を算出するに際して、複数のカメラ１がエレベータのかご内の上部に設置されたのち、複数のカメラ１が既知の大きさのカメラキャリブレーションパターンを同時に撮影する（ステップＳＴ３）。
例えば、図４に示すように、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷いて、チェッカーフラグパターンが複数のカメラ１で同時に写るように撮影する。
【００１９】
このとき、かご内の床に敷いているキャリブレーションパターンに対して、かご内の基準点（例えば、かごの入口）からの位置と角度をオフセットとして計測し、また、かごの内寸を計測しておくようにする。
図４の例では、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷いているものを示しているが、これに限るものではなく、例えば、かご内の床に描かれた模様でもよい。この場合、床に描かれた模様の大きさを予め計測しておくようにする。
また、図５に示すように、キャリブレーションパターンとして、無人のかご内を撮影し、かご内の床と天井の四隅を選択したものでもよい。この場合、かごの内寸を計測しておくようにする。
【００２０】
カメラキャリブレーション部３の設置位置角度算出部５は、複数のカメラ１により撮影されたキャリブレーションパターンの映像と、カメラパラメータ算出部４により算出されたカメラパラメータを用いて、エレベータのかご内の基準点に対する複数のカメラ１の設置位置及び設置角度を算出する（ステップＳＴ４）。
具体的には、キャリブレーションパターンとして、例えば、白黒のチェッカーフラグパターンが用いられる場合、まず、複数のカメラ１により撮影されたチェッカーパターンに対するカメラ１の相対位置と相対角度を算出する。
次に、予め計測しているチェッカーパターンのオフセット（かご内の基準点であるかごの入口からの位置と角度）を複数のカメラ１の相対位置と相対角度に足し合わせることで、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を求める。
【００２１】
また、キャリブレーションパターンとして、例えば、かご内の床の四隅と天井の三隅が用いられる場合、予め計測しているかごの内寸から、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を算出する。
この場合、かご内にカメラ１を設置するだけで、カメラ１の設置位置と設置角度を自動的に求めることが可能である。
【００２２】
次に、映像解析部６が実施する後処理について説明する。
映像解析部６が人物の検出処理や移動軌跡の解析処理などを実施するに際して、複数のカメラ１が運行中のエレベータのかご内の映像を繰り返し撮影する。
映像取得部２は、複数のカメラ１により撮影されたかご内の映像を時々刻々と取得する（図３のステップＳＴ１１）。
【００２３】
映像解析部６の映像補正部７は、映像取得部２が複数のカメラ１により撮影された映像を取得する毎に、カメラパラメータ算出部４により算出されたカメラパラメータを用いて、複数の映像の歪みを補正し、歪みの無い映像である正規化画像を生成する（ステップＳＴ１２）。
映像の歪みを補正する方法は、公知の技術であるため詳細な説明を省略する。
【００２４】
映像解析部６の人物検出部８は、映像補正部７が複数のカメラ１により撮影された映像から正規化画像をそれぞれ生成すると、複数の正規化画像に存在している人間の頭部を検出し、頭部の画像座標と確信度を算出する（ステップＳＴ１３）。
ここで、頭部の画像座標は、人間の頭部の領域を囲む矩形の中心座標のことである。
また、確信度は、人物検出部８の検出物が、どの程度、人間の頭部に近いかを表現する指標であり、確信度が高いほど、人間の頭部である確率が高く、確信度が低いほど、人間の頭部である確率が低いことを表している。
【００２５】
図６は人物検出部８による頭部の検出処理を示す説明図である。
図６の例では、かご内の天井に２台のカメラ１が設置されており、２台のカメラ１がかご内の乗客（人物）を撮影し、人物検出部８が２台のカメラ１の映像に係る正規化画像から乗客の頭部を検出している。頭部の検出結果には確信度が付随している。人物検出部８の検出結果には、図６に示すように、誤検出が存在していることがある。
乗客の頭部は、例えば、以下の非特許文献１に開示されている顔検出手法を利用して検出すればよい。
即ち、“Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ”と呼ばれるハール基底状のパターンをＡｄａｂｏｏｓｔにより選択して多数の弱判別機を取得し、これら弱判別機の出力と適当な閾値をすべて加算した値を確信度として利用することができる。
【非特許文献１】「Viola, P.; Jones, M., "Rapid Object Detection Using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001」
【００２６】
また、人物検出部８は、例えば、以下の非特許文献２に開示されている道路標識検出方法を人間の頭部検出方法に応用して、その画像座標と確信度を算出するようにしてもよい。
【非特許文献２】「田口 進也、神田 準史郎、島 嘉宏、瀧口 純一、“特徴量ベクトルの相関係数行列を用いた少ないサンプルでの高精度画像認識 : 道路標識認識への適用”電子情報通信学会技術研究報告. IE, 画像工学,Vol.106, No.537(20070216) pp. 55-60,IE2006-270」  なお、この実施の形態１では、人物検出部８が人物の頭部を検出するものを示しているが、検出対象は人物の特徴的な箇所であれば頭部に限るものではなく、例えば、人物の顔、肩や胴体などを検出するようにしてもよい。
【００２７】
映像解析部６の３次元位置推定部９は、人物検出部８が人物の頭部を検出すると、設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、人物検出部８により検出された個々の人物の頭部をステレオ立体視することにより、個々の人物の３次元位置を推定する（ステップＳＴ１４）。
即ち、３次元位置推定部９は、設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求め、二つ以上の直線の交点又は近似的な交点を求めることで、人物の頭部の３次元位置を算出する。また、各直線に付随する確信度を加算して、その加算結果を頭部の３次元位置の確信度として出力する。
【００２８】
ここで、図７は３次元位置推定部９による３次元位置の推定処理を示す説明図である。
図７の例では、３次元位置推定部９が設置位置角度算出部５により算出された２台のカメラ１の設置位置及び設置角度と、人物検出部８により算出された頭部の画像座標とを用いて、図中左側のカメラ１の中心から頭部に向かう直線Ｖ１と、図中右側のカメラ１の中心から頭部に向かう直線Ｖ２とを描いて、二つの直線Ｖ１，Ｖ２の交点を頭部の３次元位置として推定する。
【００２９】
また、３次元位置推定部９は、例えば、図中左側のカメラ１により撮影された映像に係る正規化画像から検出された頭部の確信度がｃｏｎｆ１＝２００であり、図中右側のカメラ１により撮影された映像に係る正規化画像から検出された頭部の確信度がｃｏｎｆ２＝１００である場合、これらの頭部の確信度を加算することにより、頭部の３次元位置の確信度ｃｏｎｆを算出する。
ｃｏｎｆ
＝ｃｏｎｆ１＋ｃｏｎｆ２
＝２００＋１００
＝３００
【００３０】
図７では、人物検出部８により一人の頭部が検出されている例を示しているが、複数の人物の頭部が検出される場合、図８（Ａ）に示すように、３次元位置推定部９が複数の直線の交点を求め、これらの交点を頭部の３次元位置として出力するようにする。なお、この段階では、誤って算出された頭部の３次元位置が含まれていることがある。
【００３１】
図７の例では、直線Ｖ１と直線Ｖ２が交わるものを示しているが、実際には、頭部の検出誤差やキャリブレーション誤差が原因で、直線Ｖ１と直線Ｖ２が近づいているだけで、交わらないこともある。
このような場合には、二つの直線Ｖ１，Ｖ２の距離を求め、この距離が一定範囲以内（例えば１５ｃｍ以内）であれば、二つの直線Ｖ１，Ｖ２が交わっているとみなして、その近似的な交点を求めるようにしてもよい。
以下、二つの直線Ｖ１，Ｖ２の距離と、その近似的な交点の算出法について説明する。
【００３２】
図９は近似的な交点の概念を示す説明図である。
ここでは説明の便宜上、二つの直線Ｖ１，Ｖ２上の点Ｘ１，Ｘ２の座標ｘ１，ｘ２が下記に示すように、パラメータ表示されるものとする。
ｘ１＝ａ１＋ｔ１＊ｂ１
ｘ２＝ａ２＋ｔ２＊ｂ２
ただし、ａ１，ａ２は原点から直線Ｖ１，Ｖ２までの３次元ベクトル、ｂ１，ｂ２は３次元の法線ベクトル、ｔ１，ｔ２はスカラーパラメータである。また、記号“＊”は掛け算を意味するものとする。
このとき、ユークリッド距離ｄ＝｜｜ｘ１−ｘ２｜｜の最小値を二つの直線Ｖ１，Ｖ２の距離と定義して、ユークリッド距離ｄが最小になるようなパラメータｔ１，ｔ２を求め、このときの点Ｘ１，Ｘ２の中間点を二つの直線Ｖ１，Ｖ２の近似的な交点と定義する。
【００３３】
次に、ユークリッド距離ｄが最小になるようなパラメータｔ１，ｔ２を求める方法について説明する。
ユークリッド距離ｄが最小になるための必要条件は、ｄ2のｔ１とｔ２に関する変微分が０になることである。即ち、下式を満たすことである。
∂ｄ2／∂ｔ１＝０
∂ｄ2／∂ｔ２＝０
このことから、下式が得られる。
ｂ１T＊（ａ１＋ｔ１＊ｂ１−ａ２−ｔ２＊ｂ２）＝０
ｂ２T＊（ａ１＋ｔ１＊ｂ１−ａ２−ｔ２＊ｂ２）＝０
ただし、Ｔは転置記号である。
【００３４】
上の二つの式をパラメータｔ１，ｔ２について解くと次式が得られる。
【数１】
2009143722.tif 000003
パラメータｔ１，ｔ２からｄ2の最小値が求まるので、このときの点Ｘ１，Ｘ２の中間点を算出すれば、二つの直線Ｖ１，Ｖ２の近似的な交点が求まる。
【００３５】
この実施の形態１では、３次元位置推定部９が、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求め、二つ以上の直線の交点又は近似的な交点を求めることで、人物の頭部の３次元位置を算出するものについて示したが、図１０に示すように、図中左側のカメラ１から見たとき、人物Ｂが人物Ａに隠れてしまって、図中左側のカメラ１の映像に人物Ｂが写らない場合がある。
このような場合には、図中左側のカメラ１の中心から人物Ｂの頭部に向かう直線を描くことができず、人物Ｂの頭部において、二つ以上の直線の交点又は近似的な交点を求めることができない。
【００３６】
そこで、このような場合には、確信度が高い頭部を通る直線（図１０の例では、図中右側のカメラ１の中心から人物Ｂの頭部に向かう直線Ｖ）上の点のうち、床からの高さが人間の平均身長である点を求め、この点の位置を人物Ｂの頭部の３次元位置として算出するようにする。
これにより、人物が一つのカメラにしか写らないような場合でも、その人物の頭部の３次元位置を暫定的に求めることが可能となる。
【００３７】
３次元位置推定部９は、人物検出部８により検出された個々の人物の頭部の３次元位置を算出したのち、誤って算出した３次元位置を破棄するため、個々の人物の頭部の３次元位置をフィルタリングする（ステップＳＴ１５）。
即ち、３次元位置推定部９は、人物検出部８が人物の頭部を誤検出することが原因で、頭部の３次元位置を誤って算出することがあるので、例えば、頭部の３次元位置が以下の条件（ア）〜（エ）に合致しない場合、その３次元位置の算出結果を破棄する。
条件（ア）    人物の身長が一定長（例えば、５０ｃｍ）以上である
条件（イ）    人物が特定の領域内（例えば、かご内）に存在する
条件（ウ）    特定の範囲（例えば、２５ｃｍ四方）には人物が一人しか存在できない
条件（エ）    頭部の確信度が一定値以上である
【００３８】
条件（ア）により、低い位置にある誤検出の頭部の３次元位置を破棄することができる。
条件（イ）により、例えば、かご内に設置された鏡に映っている人物像について誤検出された頭部の３次元位置を破棄することができる。
条件（ウ）により、特定の領域内に存在する複数の頭部の３次元位置を一つにまとめて出力することが可能になる。
条件（エ）により、頭部である確率が低い物体の３次元位置を破棄することができる。
このような３次元位置のフィルタリングにより、図８（Ｂ）に示すような正しい３次元位置を算出することが可能になる。
【００３９】
映像解析部６の移動軌跡解析部１０は、３次元位置推定部９が個々の頭部の３次元位置を推定する毎に、個々の頭部の３次元位置の時間的変化を監視して、個々の頭部の３次元位置の移動軌跡を解析する（ステップＳＴ１６）。
以下、移動軌跡解析部１０による移動軌跡の解析処理を具体的に説明する。
図１１は移動軌跡解析部１０による移動軌跡の解析処理を示す説明図である。
【００４０】
例えば、図１１（Ａ）に示すように、３次元位置推定部９が時刻ｔ−１において、頭部の３次元位置Ｘ１t-1とＸ２t-1を算出するものとする。
ただし、Ｘ１t-1は、移動軌跡解析部１０が個々の人物を識別するために、移動軌跡解析部１０によって“１”とラベル付けされた頭部の３次元位置であり、Ｘ２t-1は移動軌跡解析部１０によって“２”とラベル付けされた頭部の３次元位置である。
また、３次元位置推定部９は、時刻ｔにおいて、未だラベル付けされていない３次元位置も算出する。
【００４１】
移動軌跡解析部１０は、３次元位置推定部９が、時刻ｔにおいて、２つの３次元位置を算出すると、時刻ｔにおける２つの３次元位置の中で、時刻ｔ−１における３次元位置Ｘ１t-1に最近傍の３次元位置を探索して、その３次元位置に“１”のラベル付けを行うとともに、時刻ｔ−１における３次元位置Ｘ２t-1に最近傍の３次元位置を探索して、その３次元位置に“２”のラベル付けを行う。
図１１（Ｂ）の例では、時刻ｔにおける２つの３次元位置の中で、図中左側の３次元位置が時刻ｔ−１における３次元位置Ｘ１t-1と最近傍であるため、図中左側の３次元位置に“１”のラベルを付けて、その３次元位置をＸ１tとする。
また、図中右側の３次元位置が時刻ｔ−１における３次元位置Ｘ２t-1と最近傍であるため、図中右側の３次元位置に“２”のラベルを付けて、その３次元位置をＸ２tとする。
このように、時々刻々と最近傍に存在する頭部の３次元位置を探索し、同一のラベルを付けていくことにより、同一人物の頭部の３次元位置を時々刻々と追跡することができるようになる。
【００４２】
ただし、移動軌跡解析部１０は、頭部の３次元位置を追跡する際、その頭部の３次元位置の確信度を時々刻々と累積して、その３次元位置の確信度を所定の閾値と比較し、確信度が閾値より低い３次元位置を破棄するようにする。
即ち、移動軌跡解析部１０は、時刻ｔ−１における３次元位置Ｘ１t-1の確信度がｃｏｎｆ１t-1であり、時刻ｔにおける３次元位置Ｘ１tの確信度がｃｏｎｆ１tであるとき、次式にしたがって時刻ｔにおける３次元位置Ｘ１tの確信度ｃｏｎｆ１tを更新する。
ｃｏｎｆ１t  ←  α＊ｃｏｎｆ１t＋β＊ｃｏｎｆ１t-1＋γ
ここで、α，β，γは確信度の更新程度を調整する適当なパラメータである。
【００４３】
移動軌跡解析部１０は、時刻ｔにおける３次元位置Ｘ１tの確信度ｃｏｎｆ１tを更新して、更新後の確信度ｃｏｎｆ１tがある一定の閾値未満であれば、該当の３次元位置Ｘ１tは頭部の３次元位置ではないとして、その３次元位置を破棄する。
例えば、人物検出部８が、時刻ｔにおいて、一度だけ頭部を誤検出したとき、例えば、α＝０．５、β＝０．５、γ＝0と設定されていれば、その頭部の３次元位置の確信度が時間の経過と共に減衰していくので、確信度の閾値処理によって、その３次元位置を取り除くことが可能になる。
【００４４】
この実施の形態１では、移動軌跡解析部１０が時々刻々と最近傍に存在する頭部の３次元位置を探索し、同一のラベルを付けていくことで、頭部の３次元位置の移動軌跡を解析するものについて示したが、頭部の３次元位置の確率分布を時々刻々と推定して、頭部の３次元位置の移動軌跡を解析するようにしてもよい。
即ち、移動軌跡解析部１０は、例えば、次式にしたがって時々刻々と確率分布Ｐ（Ｘt｜Ｙt）を求める。
【００４５】
【数２】
2009143722.tif 000004
【００４６】
また、上式における尤度関数Ｐ（Ｙt｜Ｘt）と状態遷移確率Ｐ（Ｘt｜Ｘt-1）は次式で与えられる。
【数３】
2009143722.tif 000005
【００４７】
ここで、ａ，ｂ，ｃ，ｄ，δは適当な定数である。また、ｆkはかごの３次元座標系からｋ番目のカメラ１の正規化画像の座標系への射影関数である。
上記の確率分布Ｐ（Ｘt｜Ｙt）はカルマンフィルタや“Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒ”によって計算することができ、最終的に確率分布Ｐ（Ｘt｜Ｙt）を最大化するＸtを求めて、このＸtを頭部の３次元位置の推定値とする。
また、ΠＰ（ｙtn，ｃｏｎｆtk,n｜ｘtm）は推定した３次元位置ｘtmが頭部である確からしさであり、この値が一定の閾値よりも低いものを削除することで、頭部の誤検出を削減することができる。
【００４８】
移動軌跡解析部１０は、上記のようにして、人物の頭部の３次元位置の移動軌跡を解析すると、エレベータの停止階を示す停止階情報と個々の人物の移動軌跡とを照らし合わせて、“どの人物がどの階で乗って、どの階で降りたか”を示す個々の人物の移動履歴を求める（ステップＳＴ１７）。
例えば、頭部の移動軌跡がエレベータの入口から開始していれば、該当の階から乗車していると判断し、また、移動軌跡がエレベータの出口で終了していれば、該当の階から降車していると判断する。
なお、停止階情報は、エレベータの制御機器から取得するようにしてもよいし、カメラ１により撮影された映像に写っているエレベータのコントローラの文字盤を認識して、画像処理によって停止階の情報を取得するようにしてもよい。
【００４９】
移動軌跡解析部１０は、上記のようにして、個々の人物の移動履歴を求めると、その移動履歴を複数台のエレベータの運行を管理する群管理システムに与えるようにする。
これにより、群管理システムでは、常に最適なエレベータの群管理を実施することが可能になる。
【００５０】
以上で明らかなように、この実施の形態１によれば、複数のカメラ１により撮影された映像に写っている人物を検出する人物検出部８と、人物検出部８により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定部９とを設け、移動軌跡解析部１０が３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するように構成したので、エレベータのかご内が非常に混雑している状況などでも、かご内の個々の人物を正確に検出することができるとともに、個々の人物を追跡することができる効果を奏する。
【００５１】
また、この実施の形態１によれば、個々の人物の３次元位置の推定結果が所定の検出条件に合致しない場合、その３次元位置の推定結果を破棄するように構成したので、誤検出された人物の３次元位置が除かれて、人物の検出精度や追跡精度を高めることができる効果を奏する。
【００５２】
さらに、この実施の形態１によれば、３次元位置推定部９により算出された３次元位置の確信度を所定の閾値と比較して、確信度が所定の閾値より低い３次元位置を除いて、個々の人物の移動軌跡を解析するように構成したので、誤検出された人物の３次元位置が除かれて、人物の検出精度や追跡精度を高めることができる効果を奏する。
【００５３】
なお、この実施の形態１では、監視対象領域がエレベータのかご内であるものについて示したが、これに限るものではなく、例えば、電車の中を監視対象領域として、電車の混雑度などを計測するようにしてもよい。
また、セキュリティニーズの高い場所を監視対象領域として、人物の移動履歴を求めることにより、不審な行動を監視することも可能である。
あるいは、駅や店舗などで、人物の移動軌跡を解析することにより、マーケティングなどに利用することもできる。
【００５４】
また、エスカレータの踊り場を監視対象領域として、エスカレータの踊り場に存在する人物の数をカウントし、エスカレータの踊り場が混雑してくれば、例えば、エスカレータの運行を徐行や停止を行って、エスカレータで人物が将棋倒しになってしまうなどの事故を未然に回避することもできる。
【００５５】
実施の形態２．
図１２はこの発明の実施の形態２による人物追跡装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
感圧センサ１１は監視対象領域であるエレベータのかご内の床に敷かれており、人物の体重によって圧力が掛かっている位置を示すセンサ信号を足跡解析部１２に出力する。
足跡解析部１２は感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定する処理を実施する。
３次元位置推定部１３は足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定する処理を実施する。なお、３次元位置推定部１３は３次元位置推定手段を構成している。
【００５６】
上記実施の形態１では、３次元位置推定部９が設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、個々の人物の３次元位置を推定するものについて示したが、さらに、足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定するようにしてもよい。
具体的には、以下の通りである。
図１３は３次元位置推定部１３による３次元位置の推定処理を示す説明図である。
【００５７】
感圧センサ１１は、人物の体重によって圧力が掛かっている位置を示すセンサ信号を足跡解析部１２に出力する。
足跡解析部１２は、感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定する。
【００５８】
３次元位置推定部１３は、図１の３次元位置推定部９と同様に、複数のカメラ１の設置位置及び設置角度を利用して、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求めるとともに、足跡解析部１２により特定された人物の足がある位置から天井に向う直線を求めることで、人物の頭部の３次元位置を算出する。また、各直線に付随する確信度を加算して、その加算結果を頭部の３次元位置の確信度として出力する。
図１３の例では、図中左側のカメラ１の中心から頭部に向かう直線Ｖ１と、図中右側のカメラ１の中心から頭部に向かう直線Ｖ２と、足跡解析部１２により特定された人物の足がある位置から天井に向う直線Ｖ３とを描いて、三つの直線Ｖ１，Ｖ２，Ｖ３の交点又は近似的な交点を頭部の３次元位置として推定する。
その他の処理内容は、上記実施の形態１と同様であるため説明を省略する。
【００５９】
以上で明らかなように、この実施の形態２によれば、足跡解析部１２が感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定し、３次元位置推定部１３が足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定するように構成したので、上記実施の形態１よりも更に、３次元位置の推定精度を高めることができる効果を奏する。
【図面の簡単な説明】
【００６０】
【図１】この発明の実施の形態１による人物追跡装置を示す構成図である。
【図２】この発明の実施の形態１による人物追跡方法の一部（人物追跡装置の前処理部分）を示すフローチャートである。
【図３】この発明の実施の形態１による人物追跡方法の一部（人物追跡装置の後処理部分）を示すフローチャートである。
【図４】キャリブレーションパターンの設置例を示す説明図である。
【図５】キャリブレーションパターンとして、かご内の床と天井の四隅が選択される例を示す説明図である。
【図６】人物検出部８による頭部の検出処理を示す説明図である。
【図７】３次元位置推定部９による３次元位置の推定処理を示す説明図である。
【図８】３次元位置推定部９による３次元位置の推定処理を示す説明図である。
【図９】近似的な交点の概念を示す説明図である。
【図１０】移動軌跡解析部１０による移動軌跡の解析処理を示す説明図である。
【図１１】移動軌跡解析部１０による移動軌跡の解析処理を示す説明図である。
【図１２】この発明の実施の形態２による人物追跡装置を示す構成図である。
【図１３】３次元位置推定部１３による３次元位置の推定処理を示す説明図である。
【符号の説明】
【００６１】
１  カメラ（映像撮影手段）、２  映像取得部、３  カメラキャリブレーション部、４  カメラパラメータ算出部（パラメータ算出手段）、５  設置位置角度算出部（設置位置角度算出手段）、６  映像解析部、７  映像補正部（映像補正手段）、８  人物検出部（人物検出手段）、９，１３  ３次元位置推定部（３次元位置推定手段）、１０  移動軌跡解析部（移動軌跡解析手段）、１１  感圧センサ、１２  足跡解析部。
【図１】
2009143722.tif 000006
【図２】
2009143722.tif 000007
【図３】
2009143722.tif 000008
【図４】
2009143722.tif 000009
【図５】
2009143722.tif 000010
【図６】
2009143722.tif 000011
【図７】
2009143722.tif 000012
【図８】
2009143722.tif 000013
【図９】
2009143722.tif 000014
【図１０】
2009143722.tif 000015
【図１１】
2009143722.tif 000016
【図１２】
2009143722.tif 000017
【図１３】
2009143722.tif 000018