(57)【要約】【課題】画像に写った人物の姿勢を正確に推定可能な姿勢推定装置を提供する。【解決手段】姿勢推定装置３は、人物の姿勢を表す複数の姿勢モデルごとに設定された複数の参照特徴点のそれぞれについて算出された他の参照特徴点との位置関係の分布を示す参照形状特徴量と、その参照形状特徴量に対応する姿勢モデルの特定部位ごとに関節の角度を表す部位パラメータ値とを記憶しておき、画像のエッジ上に設定した各特徴点について、他の特徴点との位置関係の分布を示す形状特徴量を算出し、形状特徴量のそれぞれに類似する参照形状特徴量を特徴点ごとに選択する。そして選択された参照形状特徴量に対応する部位パラメータ値について特定部位ごとの分布を求め、部位パラメータ値の分布が集中している部位パラメータ値から画像に写っている人物の特定部位の形状を推定する。姿勢推定装置３は、推定された部位形状を用いて画像に写っている人物の姿勢を推定する。【選択図】図１
2011113398.tif 000002
【特許請求の範囲】
【請求項１】
画像に写った人物の姿勢を推定する姿勢推定装置であって、
前記画像においてエッジを検出し、当該エッジ上に複数の特徴点を設定する特徴点設定部と、
前記複数の特徴点のそれぞれについて、他の複数の特徴点との位置関係の分布を示す形状特徴量を算出する特徴量算出部と、
人物の姿勢を表す複数の姿勢モデルのそれぞれに設定された複数の参照特徴点について、予め求められた前記形状特徴量である参照形状特徴量と、該参照形状特徴量に対応する姿勢モデルの特定部位ごとに関節の角度を表す部位パラメータ値とを記憶する記憶部と、
前記形状特徴量のそれぞれに類似する前記参照形状特徴量を前記特徴点ごとに選択する特徴量選択部と、
前記選択された参照形状特徴量に対応する前記部位パラメータ値について前記特定部位ごとの分布を求め、当該部位パラメータ値の分布が集中している部位パラメータ値から前記画像に写っている人物の特定部位の形状を推定する部位形状推定部と、
前記推定された部位形状を用いて、前記画像に写っている人物の姿勢を推定する姿勢推定部と、
を有する姿勢推定装置。
【請求項２】
前記記憶部は、前記参照形状特徴量と関連付けて、前記参照特徴点から前記姿勢モデルの全身の位置を表すための参照基準点までの方向及び距離を表す指標を記憶し、
前記特徴量選択部により選択された参照形状特徴量のそれぞれについて、当該参照形状特徴量に関連付けられた前記指標と、当該参照形状特徴量に類似する前記形状特徴量に対応した前記特徴点の位置から前記画像上での人物の位置を表す基準点についての投票位置を求め、当該投票位置が最も集中する最頻位置から所定範囲内に前記投票位置を有する前記参照形状特徴量を選択する全身基準点特定部をさらに有し、
前記部分形状推定部は、前記参照形状特徴量のうち、前記全身基準点特定部により選択された前記参照形状特徴量のみを前記人物の部位形状の推定に使用する、請求項１に記載の姿勢推定装置。
【請求項３】
前記記憶部は、前記参照形状特徴量と関連付けて、前記姿勢モデルの太り度合いをさらに記憶し、
前記全身基準点特定部は、前記特徴量選択部により選択された前記参照形状特徴量を用いて求めた前記画像上での前記基準点の位置と、当該参照形状特徴量に関連付けられた前記太り度合いとを含む多次元値として前記投票位置を決定する、請求項２に記載の姿勢推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に写った人物の姿勢を推定する姿勢推定装置に関する。
【背景技術】
【０００２】
従来、カメラにより撮影された画像に写った人物の姿勢を推定する技術が研究されている。特に、物体の形状を認識するためのロバストネスに優れた手法として、シェイプコンテキストマッチングと呼ばれる手法が提案されている。そしてシェイプコンテキストマッチングを人物の姿勢推定に応用した技術が開示されている（例えば、非特許文献１及び２を参照）。
【０００３】
シェイプコンテキストマッチングにおいて用いられる特徴量であるシェイプコンテキストは、以下のように算出される。まず、認識対象となるモデルの輪郭上に複数の特徴点が設定される。これら複数の特徴点のうちの着目特徴点について、着目特徴点から他の特徴点へのベクトルを求め、そのベクトルが画像に対して設定されたX軸、Y軸などの基準線となす角及びそのベクトルの長さ、すなわち、着目特徴点から他の特徴点までの距離を求める。そして着目特徴点を中心とする円形領域を、所定の角度単位及び所定の長さ単位で複数のセクションに区切り、セクションごとに、該当する他の特徴点までのベクトルの長さ及び角度の度数を算出することによりシェイプコンテキストが求められる。すなわち、シェイプコンテキストは、着目特徴点から他の特徴点を結ぶベクトルの角度及び長さの２次元分布を表す。このシェイプコンテキストは、特徴点ごとに求められる。したがって、一つのモデルに対して、特徴点の数だけシェイプコンテキストが求められる。
【０００４】
シェイプコンテキストマッチングは、既知の複数の形状モデルについて予め求められたシェイプコンテキストのセットのうち、未知のモデルについて求めたシェイプコンテキストのセットと最も一致するものを検出し、未知のモデルを、その検出されたセットに対応する形状モデルとするものである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】S.Belongie, J.Malik, and J.Puzicha, "Shape Matching and Object Recognition Using Shape Contexts", IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Computer Society, 2002年, Volume 24 , Issue 4, p.509-522
【非特許文献２】G.Mori, and J.Malik, "Recovering 3D Human Body Configurations Using Shape Contexts", IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Computer Society, 2006年, Volume 28 , Issue 7, p.1052-1062
【発明の概要】
【発明が解決しようとする課題】
【０００６】
手足など、人体の一部の部位の関節の角度が変わっても、その部位から離れたところに設定された特徴点についてのシェイプコンテキストの値は大きく変化しない。一方、例えば、単純に立っている姿勢と立ちながら携帯電話を用いて通話する姿勢のように、二つの姿勢の違いが、一方の腕の角度が異なるだけということもある。
このように人体の部位の一部の形状のみが異なる複数の姿勢を正確に識別しようとすれば、認識対象となる人物の像について求めたシェイプコンテキストのセットを、それら複数の姿勢のそれぞれに対応する複数のモデルから求めたシェイプコンテキストのセットと、それぞれマッチング処理を行う必要がある。そのため、従来技術による姿勢推定方法では、人物の姿勢を正確に識別するためには、非常に多くの演算処理が必要であり、姿勢推定結果を得るまでに長時間を要してしまう。現実的な計算負荷にするためには、モデルの数を絞らざるを得ず、結果として正確な推定を行えない場合があった。そのため、人物の姿勢の推定結果を有効に利用できない可能性があった。
【０００７】
そこで、本発明は、画像に写った人物の姿勢を正確に推定可能な姿勢推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一つの実施形態によれば、画像に写った人物の姿勢を推定する姿勢推定装置が提供される。かかる姿勢推定装置は、画像においてエッジを検出し、そのエッジ上に複数の特徴点を設定する特徴点設定部と、複数の特徴点のそれぞれについて、他の複数の特徴点との位置関係の分布を示す形状特徴量を算出する特徴量算出部と、人物の姿勢を表す複数の姿勢モデルのそれぞれに設定された複数の参照特徴点について、予め求められた形状特徴量である参照形状特徴量と、その参照形状特徴量に対応する姿勢モデルの特定部位ごとに関節の角度を表す部位パラメータ値とを記憶する記憶部と、形状特徴量のそれぞれに類似する参照形状特徴量を特徴点ごとに選択する特徴量選択部と、選択された参照形状特徴量に対応する部位パラメータ値について特定部位ごとの分布を求め、部位パラメータ値の分布が集中している部位パラメータ値から画像に写っている人物の特定部位の形状を推定する部位形状推定部と、推定された部位形状を用いて、画像に写っている人物の姿勢を推定する姿勢推定部とを有する。
【０００９】
かかる姿勢推定装置において、記憶部は、参照形状特徴量と関連付けて、参照特徴点から姿勢モデルの全身の位置を表すための参照基準点までの方向及び距離を表す指標を記憶することが好ましい。この場合において、姿勢推定装置は、特徴量選択部により選択された参照形状特徴量のそれぞれについて、参照形状特徴量に関連付けられた指標と、その参照形状特徴量に類似する形状特徴量に対応した特徴点の位置から画像上での人物の位置を表す基準点についての投票位置を求め、投票位置が最も集中する最頻位置から所定範囲内に投票位置を有する参照形状特徴量を選択する全身基準点特定部をさらに有し、部分形状推定部は、参照形状特徴量のうち、全身基準点特定部により選択された参照形状特徴量のみを人物の部位形状の推定に使用することが好ましい。
【００１０】
かかる姿勢推定装置において、記憶部は、参照形状特徴量と関連付けて、姿勢モデルの太り度合いをさらに記憶し、全身基準点特定部は、特徴量選択部により選択された参照形状特徴量を用いて求めた画像上での基準点の位置と、参照形状特徴量に関連付けられた太り度合いとを含む多次元値として投票位置を決定することが好ましい。
【発明の効果】
【００１１】
本発明に係る姿勢推定装置は、画像に写った人物の姿勢を正確に推定することができる。
【図面の簡単な説明】
【００１２】
【図１】一つの実施形態に係る画像監視装置の概略構成図である。
【図２】（ａ）は、人物が写っている監視画像の一例を示す図であり、（ｂ）は、（ａ）に示された監視画像を領域分割した一例を示す図であり、（ｃ）は、（ｂ）に示された領域の境界上に設定された特徴点の一例を示す図である。
【図３】（ａ）は、人物の輪郭上に設定された一つの特徴点についての各セクションと、他の特徴点との位置関係を表す図であり、（ｂ）は部分形状特徴量の一例を示す図である。
【図４】検索リストの一例を示すである。
【図５】参照形状特徴量リストの一例を示す図である。
【図６】図２（ｃ）に示された各特徴点を基準とした、参照形状特徴量に対応する基準方向ベクトルの一例を示す図である。
【図７】（ａ）は、部位パラメータに含まれる各パラメータの一例を示す図であり、（ｂ）は、姿勢モデルと各パラメータの対応関係を示す図である。
【図８】姿勢判定テーブルの一例を示す図である。
【図９】（ａ）〜（ｃ）は、それぞれ、人物の姿勢の輪郭の一例を示す図である。
【図１０】異常検出処理の動作フローチャートである。
【図１１】異常検出処理の動作フローチャートである。
【発明を実施するための形態】
【００１３】
以下、図を参照しつつ、一つの実施形態による姿勢推定装置を利用した画像監視装置について説明する。この画像監視装置は、画像中のエッジ上に設定した複数の特徴点について、シェイプコンテキストを他の特徴点との位置関係の分布を表す部分形状特徴量として求める。そしてこの画像監視装置は、各特徴点の部分形状特徴量を、人物の姿勢モデルの手足など、特定の部位に設定された参照特徴点について求めた部分形状特徴量と比較して、類似するものだけを用いることにより、その特定部位の形状を推定する。本実施の形態においては、部位の形状とは、四肢の関節の角度で表されるものとする。例えば、腕には肩と肘とに関節があり、肩関節に対する上腕の方向は３方向の角度で表され、また上腕に対する前腕の方向は肘関節の角度に相当する１個の角度で表される。よって、腕の形状は合計４個の角度をパラメータとして特定される。脚も同様に、股関節に対する大腿の方向は３方向の角度で表され、大腿に対する下腿の方向は、膝関節の角度に相当する１個の角度で表される。よって、脚の形状も合計４個の角度をパラメータとして特定される。そしてこの画像監視装置は、部位ごとの形状を組み合わせて人物全身の姿勢を推定する。
【００１４】
図１は、一つの実施形態による画像監視装置１の概略構成図である。画像監視装置１は、撮像部２と、姿勢推定装置３とを有する。そして姿勢推定装置３は、インターフェース部４と、記憶部５と、出力部６と、制御部７とを有する。
【００１５】
撮像部２は、CCDまたはC-MOSなど、可視光または近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２は、例えば、NTSC規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。そして撮像部２は、監視領域を撮影した監視画像を、例えば、各画素の輝度が256階調で表される濃淡画像あるいはカラー画像として生成する。
撮像部２の画像出力は、姿勢検出装置３のインターフェース部４と接続されており、撮像部２は、監視画像を生成する度に、その生成した監視画像を姿勢推定装置３へ出力する。
【００１６】
姿勢推定装置３のインターフェース部４は、姿勢推定装置３と撮像部２とを接続するインターフェース及びその制御回路を有する。インターフェース部４は、撮像部２が準拠する画像通信規格に適用した構成を有する。なお、インターフェース部４は、監視画像がアナログ画像として生成される場合、監視画像をデジタル画像に変換するアナログ−デジタル変換回路を有していてもよい。
インターフェース部４は制御部７と接続されており、撮像部２から受信した監視画像を制御部７へ渡す。
【００１７】
姿勢推定装置３の記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置を有する。
記憶部５は、画像監視装置１で使用される各種のプログラム及びデータを記憶する。また記憶部５は、例えば、画像監視装置１が起動したとき、あるいは定期的に撮像部２から取得した、侵入者の写っていない監視画像を背景画像として記憶してもよい。
また記憶部５は、人物の姿勢モデルの手足などの部位に、より好適には姿勢モデルの輪郭上に設定された参照特徴点について求めた、他の参照特徴点との位置関係の分布を表す参照形状特徴量を記憶する。さらに記憶部５は、参照形状特徴量と、参照形状特徴量に対応する参照特徴点から見た姿勢モデルの全身の位置を表す参照基準点の位置とを示す参照形状特徴量リストを記憶する。さらに記憶部５は、姿勢モデルの各部位の形状と人物の姿勢との関係、及びその人物の姿勢が正常か異常かを表す判定フラグとの関係を表す姿勢判定テーブルを記憶する。なお、記憶部５に記憶されるこれらのデータの詳細については後述する。
【００１８】
姿勢推定装置３の出力部６は、構内LANまたは公衆回線網などの通信ネットワークに接続する通信インターフェース及びその制御回路を有している。そして出力部６は、制御部７により異常の発生が検知されたことを示す異常検出信号を制御部７から受け取って、その異常検出信号を画像監視装置１と通信ネットワークを介して接続された警備装置または監視センタ装置へ出力してもよい。また出力部６は、異常検出信号とともに、異常検知時及びその後に取得された監視画像、推定した人物の姿勢の名称などを制御部７から受け取って、その監視画像及び推定した人物の姿勢の名称などを警備装置または監視センタ装置へ出力してもよい。
【００１９】
姿勢推定装置３の制御部７は、例えば、１個または複数個のマイクロプロセッサユニットとその周辺回路とを有する。そして制御部７は、画像監視装置１全体を制御する。また制御部７は、撮像部２からインターフェース部４を介して受け取った監視画像及び記憶部５に記憶されたデータに基づいて、監視領域内の人物の姿勢を推定する。そして制御部７は、推定した姿勢に基づいて、異常が発生したか否かを判定する。
そのために、制御部７は、特徴点設定部７１と、部分形状特徴量算出部７２と、類似度算出部７３と、特徴量選択部７４と、全身基準点特定部７５と、部位形状推定部７６と、姿勢推定部７７と、判定部７８とを有する。制御部７が有するこれらの各部は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。
【００２０】
特徴点設定部７１は、監視画像に写っている人物の輪郭を含むエッジ上に、後述する部分形状特徴量を算出するための参照点となる特徴点を複数設定する。
そのために、特徴点設定部７１は、例えば、監視画像に対してセグメンテーション処理を行い、監視画像を類似する特徴を持つ複数の領域に分割する。特徴点設定部７１は、セグメンテーション処理として、例えば、平均シフト分割（Mean Shift Segmentation）法を用いることができる。この平均シフト分割法は、例えば、D.Comaniciu, P.Meer, "Mean Shift: A Robust Approach. Toward Feature Space Analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Computer Society, 2002年, Volume 24 , Issue 5, p.603-619、に開示されている。
【００２１】
特徴点設定部７１は、領域の境界をエッジとし、その境界上に所定数の特徴点を設定する。なお、設定される特徴点の個数は、撮影条件または制御部７の処理能力に応じて決定され、例えば、特徴点の個数は２５個、５０個あるいは１００個とすることができる。
【００２２】
特徴点設定部７１は、領域の境界を表す画素に順次番号を付与し、乱数を発生させて、その乱数に対応した番号が付された画素を特徴点として設定する。
または、特徴点設定部７１は、例えば、所定の基準位置（例えば、監視画像の左上あるいは中心）に最も近い境界上の画素を特徴点として設定し、その特徴点からランダムに定めた距離だけ離れた位置にある境界上の画素を次の特徴点として設定する。その後、特徴点設定部７１は、設定した特徴点の数が所定数に達するまで同様の処理を繰り返し実行する。その際、特徴点設定部７１は、新たに設定しようとする特徴点と、既に設定されている特徴点間の距離が所定以上（例えば、５画素以上）離れるように特徴点を設定してもよい。
【００２３】
また特徴点設定部７１は、領域の境界の密度が高いところほど、多数の特徴点を設定してもよい。この場合、特徴点設定部７１は、例えば、監視画像を横４区画×縦４区画に分割し、各区画内に含まれる領域の境界上に位置する画素の数をカウントする。そして特徴点設定部７１は、区画ごとに、その区画に含まれる境界上の画素の数を監視画像全体の境界上の画素の総数で割った値に、設定する特徴点の総数を乗じることにより、区画ごとの特徴点の数を決定する。そして特徴点設定部７１は、各区画について、上記と同様に特徴点を設定する。
【００２４】
図２（ａ）は、人物が写っている監視画像の一例を示す図であり、図２（ｂ）は、図２（ａ）に示された監視画像を領域分割した一例を示す図であり、図２（ｃ）は、図２（ｂ）に示された領域の境界上に設定された特徴点の一例を示す図である。
図２（ａ）に示された監視画像２００には、屋内において直立した一人の人物２０１が写っている。図２（ｂ）では、各領域の境界が実線で表されている。図２（ｂ）に示されるように、監視画像２００が複数の領域に分割されたことにより、人物２０１が含まれる領域が他の領域と区別されている。例えば、領域２１０には、人物の右手部分が写っており、他の部分とは異なる領域として区別されている。また図２（ｃ）において、複数の点２１１は、各領域の境界上に設定された特徴点を表す。図２（ｃ）では、特徴点は、各領域の境界上に均等に設定されている。本実施形態では、後述する処理により、人物の輪郭に相当する境界上に設定された特徴点に関する情報のみが選択される。そのため、図２（ｃ）に示した点２１１ａのように、人物の輪郭以外のところに特徴点が設定されてもよい。
【００２５】
あるいは、特徴点設定部７１は、監視画像を領域分割する代わりに、監視画像に対して、sobelフィルタまたはLaplacianフィルタなどのエッジ検出フィルタを用いてエッジ検出処理を実行することにより、監視画像上のエッジを抽出してもよい。この場合も、特徴点設定部７１は、領域分割することにより得られた領域境界上に特徴点を設定する場合と同様の処理を行うことにより、所定のエッジ強度よりも強いエッジ強度を持つエッジ上に所定数の特徴点を設定する。
【００２６】
さらに特徴点設定部７１は、監視画像と、監視領域内に検知対象となる人物が写っていないときの監視領域の画像である背景画像との背景差分処理を行うことにより、人物が写っている可能性のある領域である人物領域を抽出してもよい。そして特徴点設定部７１は、人物領域の輪郭をエッジとして、その輪郭上に所定数の特徴点を設定する。この場合、特徴点設定部７１は、例えば、人物領域の輪郭画素数をカウントすることにより人物領域の輪郭の長さを求める。そして特徴点設定部７１は、予め定められた特徴点の個数でその輪郭長を割ることにより、隣接する特徴点同士の間隔を表す特徴点間距離を決定する。
特徴点設定部７１は、人物領域の輪郭上の任意の輪郭画素を最初の特徴点とする。特徴点設定部７１は、最初の特徴点から順に、人物領域の輪郭に沿って時計回りまたは反時計回りに、一つ前に設定された特徴点から特徴点間距離だけ離れる度に、対応する輪郭画素を次の特徴点として設定する。
特徴点設定部７１は、設定した特徴点の位置座標を部分形状特徴量算出部７２へ渡す。
【００２７】
部分形状特徴量算出部７２は、各特徴点について、人体の特定の部位の輪郭形状の特徴を表す部分形状特徴量を算出する。本実施形態では、部分形状特徴量算出部７２は、部分形状特徴量としてシェイプコンテキストを算出する。すなわち、部分形状特徴量算出部７２は、着目特徴点から他の特徴点へのベクトルを求め、そのベクトルが画像に対して定義されたX軸またはY軸などの基準線となす角度θ及びそのベクトルの長さ、すなわち、着目特徴点から他の特徴点までの距離ｒを求める。そして部分形状特徴量算出部７２は、着目特徴点を中心とする円形領域を、所定の角度単位及び所定の長さ単位で複数のセクションに区切り、セクションごとに、該当する他の特徴点までのベクトルの長さｒ及び角度θの度数、すなわち、そのセクションに存在する他の特徴点の数を算出する。そして部分形状特徴量算出部７２は、各セクションの度数をそのセクションの面積で割って正規化することにより、シェイプコンテキストを求める。なお、本実施形態では、基準線は、着目特徴点から右方向へ向かう水平線とした。また所定の角度単位は３０°とし、所定の長さは１０画素とした。なお、所定の長さ単位は、着目特徴点からの距離が長くなるにつれて大きくなるように、例えば、セクションの境界に対応する距離の対数が等間隔となるように定められてもよい。また、所定の長さ単位は、各セクションの面積が等しくなるように決定されてもよい。
【００２８】
図３（ａ）は、人物の輪郭３００上に設定された一つの特徴点３０１についての各セクションと、他の特徴点との位置関係を表す図であり、図３（ｂ）は、部分形状特徴量の一例を示す図である。図３（ａ）において、特徴点３０１を中心とする、同心円状でかつ放射状に区切られた部分環状領域のそれぞれが一つのセクションに対応する。例えば、セクション３０２には、二つの特徴点３０３、３０４が含まれているので、セクション３０２の度数は２となる。一方、セクション３０５には、一つの特徴点３０６が含まれているので、セクション３０５の度数は１となる。
図３（ｂ）に示されるように、部分形状特徴量３１０は、角θと距離rの正規化２次元ヒストグラムであり、横軸は角度θを表し、縦軸は距離ｒを表す。そして高さ方向軸は正規化度数を表す。この例では、角度θに関して12個、距離rに関して6個のセクションが設定されている。そして、各セクションの正規化度数３１１は立体棒グラフとして表されている。
部分形状特徴量算出部７２は、各特徴点の位置座標及び各特徴点について得られた部分形状特徴量を類似度算出部７３へ渡す。
【００２９】
類似度算出部７３は、各特徴点について得られた部分形状特徴量について、記憶部５に記憶されている複数の参照形状特徴量のそれぞれとの類似度を算出する。ここで、各参照形状特徴量は、人物の特定の姿勢を表す姿勢モデル上に、より好適にはその輪郭上に複数の特徴点を設定し、その姿勢モデルの特定部位（例えば、腕または脚）の輪郭上に設定された参照特徴点について、部分形状特徴量算出部７２と同様の手法により求めたシェイプコンテキストである。そのため、参照形状特徴量も、部分形状特徴量と同様に、着目する参照特徴点から他の参照特徴点までの距離r及びそれら二つの参照特徴点を結ぶベクトルと基準線とのなす角度θのセクションごとの正規化度数を表す２次元ヒストグラムである。また参照形状特徴量は、互いに異なる姿勢を表す複数の姿勢モデルに対してそれぞれ複数個求められる。そして参照形状特徴量は、その識別番号とともに記憶部５に予め記憶される。なお、参照形状特徴量は、画像上に合成されたモデルとは別個に算出され、シミュレーションなどによってその参照形状特徴量がどのような姿勢を持つモデルのどの部位の参照特徴点に対応するものかが決定されてもよい。
【００３０】
類似度算出部７３は、例えば、参照形状特徴量及び部分形状特徴量に含まれる２次元ヒストグラムの各正規化度数を、それぞれ一つの要素とみなして計算したマンハッタン距離に基づいて類似度を決定する。すなわち、類似度算出部７３は、ｉ番目の特徴点に対する部分形状特徴量piと記憶部５に記憶されているｊ番目の参照形状特徴量rjの類似度sijを、次式にしたがって算出する。
【数１】
2011113398.tif 000003
なお、Nは、部分形状特徴量に含まれるセクションの総数である。またpi=(pi1, pi2,...,piN)は、i番目の特徴点に対応する部分形状特徴量を表し、その要素pik(k=1,2,...,N)は、k番目のセクションの正規化度数を表す。なお、セクションの順序の決め方は任意でよい。またrj=(rj1, rj2,...,rjN)は、j番目の参照形状特徴量を表し、その要素rjkは、k番目のセクションの正規化度数を表す。得られた類似度は、０〜１の範囲に含まれる値であり、部分形状特徴量piと参照形状特徴量rjが完全に一致する場合に１となる。
なお、類似度算出部７３は、部分形状特徴量と参照形状特徴量間の距離を、インターセクション（対応するセクションの二つの度数のうちの最小値の和）あるいはEarth Mover's Distanceなど、他の距離尺度により算出してもよい。
類似度算出部７３は、各特徴点の位置座標及び各特徴点について得られた類似度及びその類似度に対応する参照形状特徴量の識別番号を特徴量選択部７４に渡す。
【００３１】
特徴量選択部７４は、各特徴点について、類似度が高い方から順に、所定個数の参照形状特徴量を選択する。所定個数は、例えば、３、５あるいは１０とすることができる。
あるいは、特徴量選択部７４は、記憶部５を参照して、各特徴点について、類似度が所定の閾値以上となる参照形状特徴量を選択してもよい。所定の閾値は、例えば、人物の輪郭上に存在すると分かっている複数の特徴点について算出された類似度の分布と、人物の輪郭以外に設定された複数の特徴点について算出された類似度の分布とに対して判別分析を行うことにより、それら二つの類似度分布を最も分離できる閾値として予め決定される。例えば、所定の閾値は0.5〜0.7程度の値に設定される。
特徴量選択部７４は、各特徴点について、その位置座標及び選択された参照形状特徴量の類似度及び識別番号を含む検索リストを作成し、その検索リストを記憶部５に記憶する。
【００３２】
図４は、検索リストの一例を示すである。検索リスト４００において、左の列から順番に、各列には、それぞれ、監視画像上に設定された特徴点の識別番号４０１、その特徴点の監視画像上の位置座標４０２、その特徴点に対して選択された参照形状特徴量の識別番号４０３、選択された参照形状特徴量に対する類似度４０４が表される。例えば、検索リスト４００を参照すると、識別番号"01"の特徴点について、その特徴点の位置座標が(100, 150)であり、識別番号"123"、"456"、"789"の３個の参照形状特徴量が選択されており、そして、選択された各参照形状特徴量に対する類似度が、それぞれ、0.8、0.7、0.85であることが示されている。
【００３３】
全身基準点特定部７５は、検索リストに登録されている参照形状特徴量から、監視画像上での人物の全身の位置を表す基準点を特定し、その参照形状特徴量に対応する特徴点と基準点との位置関係が、参照形状特徴量に対応する参照特徴点と参照基準点との位置関係とほぼ同じである参照形状特徴量を選択する。そこで全身基準点特定部７５は、各特徴点について選択された参照形状特徴量に対応する参照特徴点から、姿勢モデルの全身位置を表す参照基準点までのベクトルを用いる。なお参照基準点は、例えば、参照特徴点が設定された姿勢モデルの重心位置に設定される。あるいは、参照基準点は、姿勢モデルの重心位置以外、例えば、姿勢モデルの臍に相当する点のように、姿勢モデルの胴体内に位置する点といった、姿勢モデルの全身の位置を代表できる点であればよい。
【００３４】
全身基準点特定部７５は、検索リストを参照し、各特徴点について選択された参照形状特徴量の識別番号を特定する。そして全身基準点特定部７５は、記憶部５に記憶されている、参照形状特徴量リストを参照することにより、その参照形状特徴量に対応する参照特徴点から参照基準点へのベクトルを求める。
【００３５】
図５は、参照形状特徴量リストの一例を示す図である。参照形状特徴量リスト５００において、左の列から順番に、各列には、それぞれ、参照形状特徴量の識別番号５０１、その参照形状特徴量に対応する全身パラメータ５０２、その参照形状特徴量が対応する手足の形状として、手足に含まれる関節の角度を表す部位パラメータ５０３が表される。
【００３６】
全身パラメータ５０２には、参照形状特徴量に対応する参照特徴点が設定された姿勢モデルの太り度合いを表す太り度５１１と、その参照特徴点から参照基準点の方向及び距離を表す指標である基準方向ベクトル５１２が含まれる。太り度５１１は、例えば、標準的な体型に対応する姿勢モデルに対して1.0とし、標準的な体型の姿勢モデルの胴体部分の直径に対する、着目する姿勢モデルの胴体部分の直径の比として表される。腕及び脚の直径は、胴体の直径の比に応じて変化させる。胴体の直径の比、腕の直径の比、及び脚の直径の比を独立に可変として、それぞれの組み合わせを考えてもよい。したがって、太り度５１１は、標準的な体型よりも痩せている度合いが強い姿勢モデルほど小さな値となり、逆に標準的な体型よりも太っている度合いが強い姿勢モデルほど大きな値となる。例えば、太り度５１１が0.8〜1.2の範囲内に含まれ、かつ0.01単位で増減するように、姿勢モデルは設定される。
【００３７】
部位パラメータ５０３には、右肩の関節の角度と右肘の関節の角度を表す右腕パラメータ５２１と、左肩の関節の角度と左肘の関節の角度を表す左腕パラメータ５２２と、右股関節の角度と右膝の関節の角度を表す右脚パラメータ５２３と、左股関節の角度と左膝の関節の角度を表す左脚パラメータ５２４とが含まれる。なお、部位パラメータの詳細については後述する。
【００３８】
全身基準点特定部７５は、検索リストに登録されている各参照形状特徴量について、参照形状特徴量リストに示された対応する基準方向ベクトルに、その参照形状特徴量が類似するとして選択された特徴点の位置座標を加えることにより、監視画像の座標系における基準点の位置を求める。
【００３９】
図６は、図２（ｃ）に示された各特徴点を基準とした、特徴量選択部７４により選択された参照形状特徴量に対応する基準方向ベクトルの一例を示す図である。図６において、点６０１〜６０３は、それぞれ特徴点を表す。また矢印６０１ａ〜６０１ｅは、それぞれ、特徴点６０１に対して選択された参照形状特徴量に対応する基準方向ベクトルを、特徴点６０１を原点として表したものである。同様に、矢印６０２ａ〜６０２ｅ及び矢印６０３ａ〜６０３ｅは、それぞれ、特徴点６０２及び６０３に対して選択された参照形状特徴量に対応する基準方向ベクトルを、特徴点６０２及び６０３を原点として表したものである。
【００４０】
特徴点と、その特徴点について選択された参照形状特徴量に対応する参照特徴点とが、類似する姿勢でかつ同じ部位のうちの近接した場所に設定された特徴点であれば、その特徴点について求めた基準点は、姿勢モデルに対する参照基準点の位置とほぼ同じ位置を表すことになる。例えば、このような場合、参照基準点が姿勢モデルの臍に設定されていれば、基準点も、監視画像上での人物の像の臍近辺に位置することになる。そのため、各特徴点について、監視画像に写っている人物の姿勢と同じ姿勢を持つ姿勢モデル上の同じ部位に設定された参照特徴点の参照形状特徴量が選択されていれば、図６に示されるように、複数の特徴点について算出された基準点の位置（すなわち、複数の特徴点から向けられた基準方向ベクトルの先の位置）がほぼ同じとなる。逆に、各特徴点について、監視画像に写っている人物の姿勢と異なる姿勢をもつ姿勢モデルに設定された参照特徴点、またはその人物と同じ姿勢をもつ姿勢モデルに設定されているものの、特徴点とは異なる部位に設定されている参照特徴点の参照形状特徴量が選択されていれば、各特徴点について算出された基準点の位置は、互いに異なることとなる。
したがって、例えば、図６の領域６０４のように、基準方向ベクトルの先が最も集中している領域内に基準方向ベクトルの先が位置する参照形状特徴量に対応する参照特徴点は、監視画像に写っている人物と同じ姿勢を持つ姿勢モデルに設定され、かつ、対応する特徴点と同じ部位に付された特徴点である可能性が高い。
【００４１】
そこで、全身基準点特定部７５は、各参照形状特徴量について求めた基準点が最も集中している領域を最頻領域として特定する。そして全身基準点特定部７５は、検索リストに登録されている参照形状特徴量のうち、対応する基準方向ベクトルに特徴点の位置座標を加えた投票位置と、その最頻領域を代表する位置である最頻度位置との距離が所定距離以内の参照形状特徴量を抽出し、その他の参照形状特徴量を検索リストから削除する。
【００４２】
全身基準点特定部７５は、最頻領域を決定するために、例えば、監視画像を複数のブロックに分割する。そして全身基準点特定部７５は、複数のブロックのうち、検索リストに登録されている参照形状特徴量と対応する基準方向ベクトルに特徴点の位置座標を加えた投票位置が含まれる度数が最も多い領域を最頻領域とする。この場合、各ブロックは、例えば、水平方向及び垂直方向にそれぞれ５画素の幅を持つ領域とすることができる。
あるいは、全身基準点特定部７５は、所定の形状及びサイズを持つ探索領域を監視画像上で移動させつつ、探索領域内に投票位置が含まれる度数を調べてもよい。この場合、全身基準点特定部７５は、度数が最も高くなったときの位置における探索領域を、最頻領域とする。探索領域は、例えば、半径５画素の円形とすることができる。
【００４３】
また、全身基準点特定部７５は、最頻領域を、監視画像上の水平座標及び垂直座標と、太り度により表される３次元空間において定めてもよい。これにより、全身基準点特定部７５は、監視領域に写っている人物の体型に応じた特徴点間の位置関係の変化による部分形状特徴量のバラツキも考慮することができる。そのため、全身基準点特定部７５は、監視画像に写っている人物の姿勢と同じ姿勢を持つ姿勢モデルに設定された参照特徴点に対応する参照形状特徴量をより正確に選択できる。
【００４４】
この場合、全身基準点特定部７５は、検索リストに登録されている参照形状特徴量と対応する基準方向ベクトルに特徴点の位置座標を加えた２次元座標値と、その参照形状特徴量と対応する太り度との３個の値で投票位置を表す。また全身基準点特定部７５は、監視画像の水平方向及び垂直方向と、太り度とをそれぞれ直交する軸とする３次元空間を、所定のサイズのブロックに分割し、各ブロックについて投票位置の度数を求める。そして全身基準点特定部７５は、最も投票度数の高いブロックを最頻領域とする。この場合、各ブロックは、例えば、水平方向及び垂直方向にそれぞれ５画素の幅を持ち、太り度について0.05の幅を持つ３次元空間とすることができる。
また、全身基準点特定部７５は、所定の形状及びサイズを持つ探索領域を移動させつつ、探索領域内に含まれる投票位置の度数が最も高くなる探索領域の位置を決定することにより、最頻領域を決定してもよい。
【００４５】
全身基準点特定部７５は、最頻領域の中心、または、最頻領域に含まれる、投票位置の重心を最頻度位置とする。そして全身基準点特定部７５は、検索リストに登録されている参照形状特徴量のそれぞれについて求めた投票位置と最頻度位置の距離を算出する。そして全身基準点特定部７５は、求めた距離が予め定められた閾値よりも大きい参照形状特徴量を検索リストから削除する。なお閾値は、例えば、最頻領域を決定するための探索領域の半径またはブロックの中心から端点までの距離と同一の値、あるいは、探索領域の半径またはブロックの中心から端点までの距離に、0.5〜2を乗じた値とすることができる。
【００４６】
部位形状推定部７６は、全身基準点特定部７５により選択された参照形状特徴量に対応する部位パラメータに基づいて、腕または脚などの各部位の形状、すなわち、各部位に含まれる関節の角度を推定する。
【００４７】
図７（ａ）は、部位パラメータに含まれる各パラメータの一例を示す図であり、図７（ｂ）は、姿勢モデルと各パラメータの対応関係を示す図である。
左右の肩関節及び左右の股関節の自由度は３であるため、それらの関節の角度は３個のパラメータで表される。また左右の肘関節及び左右の膝関節の自由度は１であるため、それらの関節の角度は１個のパラメータで表される。したがって、図７（ａ）に示されるように、右腕パラメータ７０１は、右肩関節の角度を表す３個のパラメータαr、βr、γrと、右肘関節の角度を表す１個のパラメータφrを持つ。同様に、左腕パラメータ７０２、右脚パラメータ７０３及び左脚パラメータ７０４は、それぞれ、角度を表す４個のパラメータを持つ。
【００４８】
図７（ｂ）において、座標系７１１は、右肩関節のパラメータに対応する座標系を示す。本実施形態では、右上腕が姿勢モデルの鉛直方向軸となす角をαrとし、姿勢モデルの水平方向軸となす角をβrとし、姿勢モデルの鉛直方向軸及び水平方向軸と直交し、姿勢モデルの前方に向かう方向を正とする軸となす角をγrとする。
座標系７１２は、右肘関節のパラメータに対する座標系を表す。本実施形態では、右前腕と右上腕とがなす角をφrとする。
また座標系７１３は、、右股関節のパラメータに対応する座標系を示す。本実施形態では、右大腿が姿勢モデルの鉛直方向軸となす角をψrとし、姿勢モデルの水平方向軸となす角をηrとし、姿勢モデルの鉛直方向軸及び水平方向軸と直交し、姿勢モデルの前方に向かう方向を正とする軸となす角をζrとする。
座標系７１４は、右膝関節のパラメータに対する座標系を表す。本実施形態では、右大腿と右下腿とがなす角をξrとする。
なお、左半身に対する部位パラメータに含まれる関節の角度は、右半身用の座標系を左右に反転した座標系に基づいて決定される。
【００４９】
部位形状推定部７６は、検索リストに登録されている参照形状特徴量のそれぞれに対応する部位パラメータを所定の角度範囲ごとに集計し、右腕、左腕、右脚、左脚それぞれについて４個の部位パラメータから定義される４次元のパラメータ空間内において、度数分布を求める。そして部位形状推定部７６は、度数の最頻値が属する角度範囲の代表値を、その部位の姿勢と決定する。これにより、部位形状推定部７６は、監視画像に写っている人物の各部位についての関節の角度、すなわち、右腕を上方に伸ばしている、あるいは右脚を曲げているといった、各四肢の部位形状を推定できる。なお、代表値は、例えば、最頻値が属する角度範囲に含まれる部位パラメータのそれぞれの角度パラメータの平均値、あるいは、最頻値が属する角度範囲の重心を表す角度値とすることができる。
なお、度数算出に用いる方法は、例えば、全身基準点特定部７５が最頻領域を決定するのに用いる方法と同様の方法とすることができる。またそれぞれの関節の角度パラメータに対する角度単位は、例えば、5°、10°または30°とすることができる。
部位形状推定部７６は、各部位の関節の角度を姿勢推定部７７へ通知する。
【００５０】
姿勢推定部７７は、部位形状推定部７６により決定された各部位の関節の角度に基づいて、監視画像に写っている人物の姿勢を推定する。
本実施形態では、姿勢推定部７７は、人物の姿勢ごとに対応する各部位の関節の角度範囲を関連付けた姿勢判定テーブルを参照する。
【００５１】
図８は、姿勢判定テーブルの一例を示す図である。姿勢判定テーブル８００において、左の列から順番に、各列には、それぞれ、人物全体の姿勢を一意に識別するための識別番号８０１、人物全体の姿勢に対応する各部位の関節の角度範囲８０２、人物全体の姿勢の名称８０３、及びその姿勢が正常か異常かを表す判定フラグ８０４が表される。また各関節の角度範囲８０２は、四肢ごとに４個の角度パラメータの範囲、すなわち、合計１６個の角度パラメータの範囲を示す。
姿勢推定部７７は、姿勢の識別番号で特定される姿勢ごとに、各部位の関節の角度パラメータが、それぞれの関節ごとに定められた角度範囲に含まれるか否か判定する。そして姿勢推定部７７は、全ての角度パラメータが関節ごとに定められた対応する角度範囲に含まれる場合、監視領域に写っている人物の姿勢は、その角度範囲に対応する識別番号で表される姿勢であると推定する。
姿勢推定部７７は、推定された姿勢の識別番号を判定部７８へ渡す。
【００５２】
判定部７８は、姿勢推定部７７から受け取った姿勢の識別番号に基づいて、異常が発生したか否か判定する。具体的には、判定部７８は、姿勢判定テーブルを参照し、姿勢推定部７７から受け取った姿勢の識別番号に対応する判定フラグが正常であることを示す値となっているか、それとも異常であることを示す値になっているかを調べる。
そして判定部７８は、判定フラグの値が正常であることを示していれば、監視画像に写っている人物に異常は無いと判定する。一方、判定部７８は、判定フラグの値が異常であることを示していれば、監視画像に写っている人物に異常が発生したと判定する。
なお、判定部７８は、一定期間の間に連続して取得されたそれぞれの監視画像について、上記の判定結果が異常となったときに、監視画像に写っている人物に異常が発生したと判定してもよい。
【００５３】
図９（ａ）〜（ｃ）は、それぞれ、人物の姿勢の輪郭の一例を示す図である。
図９（ａ）に示された姿勢の輪郭９０１は、人物が歩行している姿勢を表している。また図９（ｂ）に示された姿勢の輪郭９０２は、人物が立ち止まって携帯電話を用いて通話をしている姿勢を表している。そして図９（ｃ）に示された姿勢の輪郭９０３は、人物が両手を挙げている姿勢を表している。この姿勢は、例えば、人が他人に凶器を突きつけられているような場合に取る姿勢に対応する。そのため、推定された人物の姿勢が、図９（ｃ）に示される姿勢となっている場合、画像監視装置１は、監視画像に写っている人物に何らかの異常が発生したと判定できる。一方、推定された人物の姿勢が、図９（ａ）または図９（ｂ）に示される姿勢となっている場合、画像監視装置１は、監視画像に写っている人物に異常はないと判定できる。なお、監視画像に写っている人物の姿勢が同じでも、設定される監視領域によって正常か異常かの判定基準は異なる。そのため、姿勢判定テーブルの判定フラグの値は、監視領域に応じて設定されることが好ましい。
【００５４】
判定部７８が監視領域内で異常が発生したと判定すると、制御部７は、出力部６へ異常検出信号を送信し、出力部６に警報を発報させる。
【００５５】
図１０及び図１１に示したフローチャートを参照しつつ、姿勢推定処理を含む異常検出処理の動作を説明する。なお、この動作は、姿勢推定装置３の制御部７によって制御される。そして以下の動作は、監視画像の撮影間隔で繰り返される。
異常検出処理が開始されると、制御部７は、撮像部２により撮影された監視領域の監視画像を、インターフェース部４を介して取得する（ステップＳ１０１）。次に、制御部７の特徴点設定部７１は、監視画像から検出したエッジ上に複数の特徴点を設定する（ステップＳ１０２）。
【００５６】
その後、制御部７の部分形状特徴量算出部７２は、各特徴点について部分形状特徴量を算出する（ステップＳ１０３）。
次に、制御部７は、i番目の特徴点を着目特徴点に設定する（ステップＳ１０４）。なお、最初に選択される特徴点に対して、iは1に設定される。また制御部７は、j番目の参照特徴点に対応する参照形状特徴量を記憶部５から読み込む（ステップＳ１０５）。なお、最初に読み込まれる参照形状特徴量に対して、jは1に設定される。そして類似度算出部７３は、i番目の特徴点の部分形状特徴量とj番目の参照形状特徴量の類似度Sijを算出する（ステップＳ１０６）。
【００５７】
制御部７の特徴量選択部７４は、類似度算出部７３により求められた類似度Sijが、予め定められた閾値Lよりも大きいか否か判定する（ステップＳ１０７）。類似度Sijが閾値Lよりも大きい場合、特徴量選択部７４は、i番目の特徴点について算出された部分形状特徴量と、j番目の参照形状特徴量は類似すると判定する。そして特徴量選択部７４は、i番目の特徴点に関連付けてj番目の参照形状特徴量の識別番号を検索リストに登録する（ステップＳ１０８）。
また制御部７の全身基準点特定部７５は、j番目の参照形状特徴量に対応する全身パラメータのうち、基準方向ベクトルとそのj番目の参照形状特徴量と類似すると判定された部分形状特徴量を持つi番目の特徴点の位置座標から投票位置を算出する（ステップＳ１０９）。
【００５８】
ステップＳ１０９の後、あるいはステップＳ１０７にて類似度Sijが閾値L以下である場合、制御部７は、jが記憶部５に記憶されている参照形状特徴量の総数よりも小さいか否か判定する（ステップＳ１１０）。jが参照形状特徴量の総数よりも小さい場合、制御部７はjを1インクリメントする（ステップＳ１１１）。そして制御部７は、ステップＳ１０５〜Ｓ１１０の処理を繰り返す。
一方、jが参照形状特徴量の総数と等しい場合、制御部７は、iが設定された特徴点の総数よりも小さいか否か判定する（ステップＳ１１２）。iが特徴点の総数よりも小さい場合、制御部７はiを1インクリメントする（ステップＳ１１３）。そして制御部７は、ステップＳ１０４〜Ｓ１１２の処理を繰り返す。
【００５９】
図１１に示されるように、全身基準点特定部７５は、監視画像を分割した複数のブロックまたは監視画像上を移動しつつ設定される探索領域のうち、含まれる投票位置の度数が最も高いブロックまたは探索領域の位置を最頻領域として決定する。そして全身基準点特定部７５は、最頻領域に含まれる投票位置の重心または最頻領域の中心を最頻度値位置として決定する（ステップＳ１１４）。
【００６０】
最頻度値位置が決定されると、制御部７は、検索リストに登録されているk番目の参照形状特徴量を着目特徴量に設定する（ステップＳ１１５）。なお、検索リストの最初に登録されている参照形状特徴量に対して、kは1に設定される。
その後、全身基準点特定部７５は、着目特徴量に対応する投票位置と最頻度値位置の距離dを算出する（ステップＳ１１６）。そして全身基準点特定部７５は、距離dが予め定められた閾値Kよりも大きいか否か判定する（ステップＳ１１７）。距離dが閾値Kよりも大きい場合、全身基準点特定部７５は着目特徴量を検索リストから削除する（ステップＳ１１８）。一方、距離dが閾値K以下である場合、制御部７の部位形状推定部７６は、着目特徴量に対応する部位パラメータに含まれる関節の角度を表すパラメータを用い、４次元のパラメータ空間内において対応する角度範囲の度数を1インクリメントする（ステップＳ１１９）。
ステップＳ１１８またはＳ１１９の後、制御部７は、kが検索リストに登録されている参照形状特徴量の総数よりも小さいか否か判定する（ステップＳ１２０）。そしてkが検索リストに登録されている参照形状特徴量の総数よりも小さい場合、制御部７は、kを1インクリメントする（ステップＳ１２１）。そして制御部７は、ステップＳ１１６〜Ｓ１２０の処理を繰り返す。
【００６１】
一方、kが検索リストに登録されている参照形状特徴量の総数と等しい場合、部位形状推定部７６は、部位ごとに、最も度数の高い角度範囲に基づいて部位の関節の角度を推定する（ステップＳ１２２）。そして制御部７の姿勢推定部７７は、各部位の関節の角度の組み合わせに対応する姿勢を監視領域に写っている人物の姿勢として推定する（ステップＳ１２３）。
【００６２】
次に、制御部７の判定部７８は、記憶部５に記憶されている姿勢判定テーブルを参照することにより、推定された姿勢は異常か否か判定する（ステップＳ１２４）。推定された姿勢が正常である場合、制御部７は、異常検出処理を終了する。
一方、推定された姿勢が異常である場合、判定部７８は、その人物候補領域に写っている人物に関して何らかの異常が発生したと判定する。そして判定部７８は、出力部６へ異常検出信号を出力し、警報を発報させる（ステップＳ１２５）。
ステップＳ１２５の後、制御部７は、異常検出処理を終了する。
【００６３】
以上説明してきたように、本発明の一実施形態である、姿勢推定装置を用いた画像監視装置は、各特徴点について求めた部分形状特徴量を、人物の手足など、姿勢モデルのうちの特定の部位に設定された参照特徴点について求めた参照部分形状特徴量と比較して、部分形状特徴量に類似する参照部分形状特徴量だけを選択する。この参照特徴点は、姿勢モデルの輪郭に設定することが好適なものである。そしてこの画像監視装置は、選択された参照部分形状特徴量が表す各部位の形状、すなわち、関節の角度に基づいて、監視画像に写っている人物の各部位の形状を推定する。そしてこの画像監視装置は、推定された部位ごとの形状を組み合わせることにより、人物の全身の姿勢を推定する。このように、この画像監視装置は、各部位ごとの形状を推定できるので、監視画像に写った人物の姿勢を、一部の部位の形状だけが異なる姿勢を区別しなければならない場合であっても正確に推定することができる。またこの画像監視装置は、選択された参照形状特徴量の中から、対応する特徴点の位置と基準方向ベクトルから求めた基準点の位置が近いものをさらに選択するので、監視画像に写っている人物の姿勢と類似する姿勢モデルに設定され、かつ特徴点が設定された部位と同じ部位に設定された参照特徴点について求めた参照形状特徴量を正確に選択できる。そのため、この画像監視装置は、監視画像に写っている人物の姿勢を正確に推定できる。
またこの画像監視装置は、手足などの部位単位で参照形状特徴量を利用するので、特定の部位に着目すれば、その部位に含まれる関節の角度が全て同じとなる姿勢モデルは一つあればよい。すなわち、複数の部位のそれぞれについて関節の角度を少しずつ変えて組み合わせた姿勢モデルを準備しなくてもよい。そのため、用意しなければならない姿勢モデルの数を減らすことができるので、参照形状特徴量の数も少なくて済む。これにより、この画像監視装置は、特徴量同士の類似度計算に要する演算量を低減することができるので、姿勢推定全体の演算量も低減できる。
【００６４】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、姿勢推定部７７は、各部位の関節の角度を表すパラメータを入力とし、姿勢を表す識別番号を出力する識別器を有してもよい。そのような識別器は、例えば、パーセプトロンタイプのニューラルネットワークにより構成できる。この場合、識別器は、予め姿勢が分かっている複数の姿勢モデルから求められた各部位の関節の角度を表すパラメータを用いて、例えばバックプロパゲーションを用いて事前学習される。そのため、姿勢推定部７７は、部位形状推定部７６により推定された各部位の関節の角度を表すパラメータを識別器に入力することにより、適切な姿勢推定結果を得ることができる。同様に、判定部７８も、各部位の関節の角度を表すパラメータを入力とし、正常か異常かを表す値を出力する識別器を有してもよい。この場合も、識別器は、例えば、パーセプトロンタイプのニューラルネットワークにより構成できる。そして識別器は、予め正常か異常かが分かっている複数の姿勢モデルから求められた各部位の関節の角度を表すパラメータを用いて、例えばバックプロパゲーションを用いて事前学習される。
【００６５】
また、姿勢推定に求められる精度によっては、全身基準点特定部の処理は省略されてもよい。この場合、画像監視装置は、特徴量選択部により選択された参照形状特徴量を用いて、直接部分形状推定部の処理を行うことにより、各部位の姿勢を推定する。
【００６６】
さらに、監視領域が自動現金預払機の正面に設定される場合のように、撮像部２は、姿勢を推定しようとする人物の一部、例えば、上半身のみを撮影するものであってもよい。この場合、姿勢推定装置３は、例えば、右腕のみ、左腕のみ、あるいは両腕の関節の角度を推定し、それらの部位の関節の角度に応じて、人物の上半身などの姿勢を推定する。
以上のように、当業者は、本発明の範囲内で様々な修正を行うことができる。
【符号の説明】
【００６７】
１    画像監視装置
２    撮像部
３    姿勢推定装置
４    インターフェース部
５    記憶部
６    出力部
７    制御部
７１    特徴点設定部
７２    部分形状特徴量算出部
７３    類似度算出部
７４    特徴量選択部
７５    全身基準点特定部
７６    部位形状推定部
７７    姿勢推定部
７８    判定部
【図１】
2011113398.tif 000004
【図３】
2011113398.tif 000005
【図４】
2011113398.tif 000006
【図５】
2011113398.tif 000007
【図６】
2011113398.tif 000008
【図７】
2011113398.tif 000009
【図８】
2011113398.tif 000010
【図９】
2011113398.tif 000011
【図１０】
2011113398.tif 000012
【図１１】
2011113398.tif 000013
【図２】
2011113398.tif 000014