(57)【要約】  関節状領域検出装置（１００）は、複数の移動軌跡を、複数のサブクラスに分類するサブクラス分類部（１０５）と、サブクラスごとに、当該サブクラスと他のサブクラスとの間の、２点間距離および測地距離を算出する距離算出部（１０６）と、任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部（１０７）とを備える。
2011080923.tif 000002
【特許請求の範囲】
【請求項１】
動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、
動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、
サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、
任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部と
を備える関節状領域検出装置。
【請求項２】
前記領域検出部は、サブクラス間の２点間距離の時間変化が所定の２点間距離閾値よりも大きく、かつ前記サブクラス間の測地距離の時間変化が所定の測地距離閾値以下となるサブクラスを、関節状動きを有する領域として検出する
請求項１記載の関節状領域検出装置。
【請求項３】
前記領域検出部は、前記サブクラス分類部により分類された前記複数のサブクラスの中から、サブクラス間の２点間距離の時間変化が前記所定の２点間距離閾値よりも大きくなるサブクラスを検出し、検出したサブクラスの中からサブクラス間の測地距離の時間変化が前記所定の測地距離閾値以下となるサブクラスを、関節状動きを有する領域として検出する
請求項２記載の関節状領域検出装置。
【請求項４】
前記領域検出部は、前記サブクラス分類部により分類された前記複数のサブクラスの中から、サブクラス間の測地距離の時間変化が前記所定の測地距離閾値以下となるサブクラスを検出し、検出したサブクラスの中からサブクラス間の２点間距離の時間変化が前記所定の２点間距離閾値よりも大きくなるサブクラスを、関節状動きを有する領域として検出する
請求項２記載の関節状領域検出装置。
【請求項５】
前記領域検出部は、前記サブクラス分類部により分類された前記複数のサブクラスの中から、サブクラス間の２点間距離の時間変化が前記所定の２点間距離閾値よりも大きくなるサブクラスを検出する第１の検出処理と、前記サブクラス分類部により分類された前記複数のサブクラスの中から、サブクラス間の測地距離の時間変化が前記所定の測地距離閾値以下となるサブクラスを検出する第２の検出処理とを並行して実行し、前記第１の検出処理および前記第２の検出処理の双方において検出されたサブクラスを、関節状動きを有する領域として検出する
請求項２記載の関節状領域検出装置。
【請求項６】
前記領域検出部は、さらに、サブクラス間の２点間距離の最小値が、所定の最小値閾値以下となる場合のみ、前記サブクラス間の２点間距離の時間変化が所定の２点間距離閾値よりも大きくなり、かつ前記サブクラス間の測地距離の時間変化が所定の測地距離閾値以下となるサブクラスを、関節状動きを有する領域として検出する
請求項２〜５のいずれか１項に記載の関節状領域検出装置。
【請求項７】
前記領域検出部は、任意の２つのサブクラス間の２点間距離の代表値の時間変化および測地距離の代表値の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する
請求項１記載の関節状領域検出装置。
【請求項８】
前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の平均値であり、
前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の平均値である
請求項７記載の関節状領域検出装置。
【請求項９】
前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の中央値であり、
前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の中央値である
請求項７記載の関節状領域検出装置。
【請求項１０】
前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の最頻値であり、
前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の最頻値である
請求項７記載の関節状領域検出装置。
【請求項１１】
前記サブクラス分類部は、移動軌跡間の２点間距離に基づいて、前記複数の移動軌跡を前記複数のサブクラスに分類する
請求項１〜１０のいずれか１項に記載の関節状領域検出装置。
【請求項１２】
前記サブクラス分類部は、移動軌跡間での、各移動軌跡に属する画素同士、または前記画素が属するブロック同士の色類似度に基づいて、前記複数の移動軌跡を前記複数のサブクラスに分類する
請求項１〜１０のいずれか１項に記載の関節状領域検出装置。
【請求項１３】
前記サブクラス分類部は、移動軌跡間の測地距離の次元圧縮を行い、次元圧縮された前記移動軌跡間の測地距離に基づいて、前記複数の移動軌跡を前記複数のサブクラスに分類する
請求項１〜１０のいずれか１項に記載の関節状領域検出装置。
【請求項１４】
前記距離算出部は、前記複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の２点間距離のうち、所定の距離閾値以下の２点間距離を選択し、選択しなかった２点間距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、前記測地距離を算出する
請求項１〜１３のいずれか１項に記載の関節状領域検出装置。
【請求項１５】
前記距離算出部は、前記複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の２点間距離のうち、前記所定の距離閾値以下の２点間距離を選択し、選択しなかった２点間距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、前記測地距離を算出し、移動軌跡間の測地距離が有限の値となる移動軌跡の集まりを同一のサブクラスに分類することにより、前記複数の移動軌跡を複数のサブクラスに分類する
請求項１４記載の関節状領域検出装置。
【請求項１６】
さらに、
前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域検出部により検出された領域ごとに異なる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える、
請求項１〜１５のいずれか１項に記載の関節状領域検出装置。
【請求項１７】
前記動画像は、人物を被写体として撮影された動画像であり、
前記関節状領域検出装置は、さらに、
前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域検出部により検出された領域ごとに、人物の領域が視認できる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える
請求項１〜１５のいずれか１項に記載の関節状領域検出装置。
【請求項１８】
前記動画像は、人物を被写体として撮影された動画像であり、
前記関節状領域検出装置は、さらに、
前記領域検出部により検出された領域に含まれる関節状動きをなす複数のサブクラス間の角度を算出し、算出した角度と、人物の動作パターンごとに予め定められている角度とを比較することにより、前記被写体の動作を認識する動作認識部を備える
請求項１〜１５のいずれか１項に記載の関節状領域検出装置。
【請求項１９】
さらに、
前記動作認識部により認識された前記被写体の動作に基づいて、前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記被写体の動作が視認できる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える
請求項１８記載の関節状領域検出装置。
【請求項２０】
さらに、
前記領域検出部により検出された前記領域に含まれる関節状動きをなす複数のサブクラス間の関節数に基づいて、前記動画像に含まれる移動体の接続数の変化を検知する動作検知部を備える
請求項１〜１５のいずれか１項に記載の関節状領域検出装置。
【請求項２１】
前記動作検知部は、前記接続数の減少を検知した場合には、前記移動体による物体の置き去りがあったと判定し、前記接続数の増加を検知した場合には、前記移動体による物体の持ち去りがあったと判定する
請求項２０記載の関節状領域検出装置。
【請求項２２】
さらに、
前記動作検知部による判定結果に基づいて、前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記物体の置き去りまたは持ち去りが視認できる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える
請求項２１記載の関節状領域検出装置。
【請求項２３】
さらに、
動画像を構成する複数枚のピクチャを受け付ける画像入力部と、
受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と
を備える請求項１〜２２のいずれか１項に記載の関節状領域検出装置。
【請求項２４】
前記移動軌跡算出部は、算出される移動軌跡の個数に応じて、当該移動軌跡の算出に用いられるピクチャの枚数を変化させ、前記複数の移動軌跡を算出する
請求項２３記載の関節状領域検出装置。
【請求項２５】
前記移動軌跡算出部は、算出される移動軌跡の個数があらかじめ定められた上限値を越える場合に、当該移動軌跡の算出に用いられるピクチャの枚数を増加させ、前記複数の移動軌跡を算出する
請求項２４記載の関節状領域検出装置。
【請求項２６】
前記移動軌跡算出部は、算出される移動軌跡の個数があらかじめ定められた下限値を下回る場合に、当該移動軌跡の算出に用いられるピクチャの枚数を減少させ、前記複数の移動軌跡を算出する
請求項２４または２５に記載の関節状領域検出装置。
【請求項２７】
前記関節状動きは、関節により接続された物体の動きである
請求項１〜２６のいずれか１項に記載の関節状領域検出装置。
【請求項２８】
前記関節状動きは、ひも状の物体の動きである
請求項１〜２６のいずれか１項に記載の関節状領域検出装置。
【請求項２９】
動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出方法であって、
動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類ステップと、
サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出ステップと、
任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出ステップと
を含む関節状領域検出方法。
【請求項３０】
動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出するためのプログラムであって、
請求項２９に記載の関節状領域検出方法に含まれるステップをコンピュータに実行させるためのプログラム。
【請求項３１】
動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、
動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類した結果を示す分類情報を取得するサブクラス取得部と、
取得した前記分類情報に基づき、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、
任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部と
を備える関節状領域検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像から構成される動画像中の動き情報に基づき、画像中の移動体を検出する技術に関する。特に人物のように輪郭の形状が変化しながら移動する対象に対し、そのような対象が特徴的に有する関節状領域を検出することで、移動体の領域を検出する関節状領域検出装置に関する。
【背景技術】
【０００２】
移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。特に移動体が人である場合に、人の領域を抽出する技術は、デジタルビデオカメラやデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、または、ロボットにおける人との衝突回避制御もしくは警報などに、共通して利用される基礎技術である。【０００３】
画像中の移動体の領域を抽出する技術のうち、一般的な手法として、（１）あらかじめ用意した移動体のモデルと画像中の移動体の候補領域との類似度を評価して、移動体の領域を特定する方法と、（２）画像を複数の小領域に分割して、領域ごとに特徴量を算出し、特徴量を基準として類似する領域を統合することで移動体の領域を特定する方法との２つがある。【０００４】
前者の代表的な手法として、画像から移動体領域の候補を抽出したのち、抽出した移動体領域の候補に対し、あらかじめ用意した移動体モデルとの類似度を評価して、類似度が高い領域を移動体領域として抽出する手法がある。さらに、歩行する人物等のように、変形しながら移動する移動体の領域を抽出する場合、変形を考慮した移動体モデルを利用する手法がある。例えば、特許文献１では、移動体領域候補として複数の画像から移動体のシルエット画像を抽出する。そして、あらかじめパラメータ化した移動体の変形に関するモデルと、抽出したシルエット画像との類似度を評価し、類似度が高い領域とモデルのパラメータを推定する手法が開示されている。これによって、形状が周期的に変化しながら移動する人物に対しても、パラメータ化したモデルを当てはめることができるため、移動体の領域抽出を可能にしている。【０００５】
後者の代表的な手法としては、画像を複数の小領域に一旦分割し、各小領域の画素の輝度値に基づいた特徴量を抽出したのち、複数の小領域間の特徴量の類似度を評価して、類似度が高い領域を同一の移動体領域として統合する手法がある。例えば、特許文献２では、画像を矩形の小領域に一旦分割し、小領域の輝度や動きに基づいて特徴量を算出し、特徴量の類似度の順番に基づいて小領域を統合することで、移動体の領域抽出を可能にしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２１４２８９号公報
【特許文献２】特開２００６−０３１１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の領域抽出の技術は、例えば、複数の人物が歩行するシーンなどで、姿勢や大きさなどの変化により、移動体の形状が著しい変化をともなうような場合などに、正しく移動体を抽出することができないという問題がある。【０００８】
特許文献１に示す、あらかじめ用意したモデルを用いる領域抽出手法では、画像から移動体領域の候補を抽出する必要がある。この時、適切に移動体領域候補を抽出できなければ、移動体をパラメータ化したモデルを正確に移動体領域候補に当てはめることが不可能になる。特に、上述のようなシーンにおいては、移動体の姿勢や大きさなどの変化により移動体の形状が大きく変化するため、移動体領域候補を適切に抽出することは困難である。さらに、移動体領域候補を適切に抽出できたとしても以下のような課題がある。【０００９】
特に、人物等の関節的な動きを有する物体を移動体とした場合には、移動体のさまざまな姿勢や位置、大きさに起因する画像の変化の幅が非常に大きくなる。このため、移動体モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめ誤りを誘発する。ゆえに、例えば、１つの移動体を複数の移動体として誤って領域抽出したり、抽出対象となる移動体が存在しない領域を移動体として誤って領域抽出したりするなど、正しく移動体を検出することができないという課題がある。【００１０】
特許文献２に示す領域抽出手法では、特許文献１のようにモデルを作成する代わりに、小領域間の特徴量を用い、特徴量として用いる輝度値や動きが類似していない小領域を、異なる領域と判定することにより領域を抽出する。しかし、人物のような移動体では、場所によって輝度値が異なり、また、同一移動体上であっても例えば関節領域両端の小領域間などでは動きが異なる。そのために、同一の移動体上における複数の小領域であるのに、異なる移動体の領域として分離されて抽出されてしまい、正しく移動体を検出することができないといった課題がある。【００１１】
そこで本発明では、以上の課題を誘起する「関節状動き」に着目する。本発明では、動画像中において、人物に代表されるような関節状の動きを有する、すなわち姿勢などの変化により移動体の形状が時間的に著しい変化をともなうような移動体を対象とする。【００１２】
本発明は、上記移動体において、同一移動体上の小領域が分離されて抽出されることなく、また移動体自身の形状変化の影響を受けずに、正しくその領域を検出するため、上記移動体上において関節状動きを有する領域である関節状領域を検出することができる関節状領域検出装置等を提供することを目的とする。【００１３】
なお、本明細書において、関節状動きとは、例えば人の関節動きに代表されるような関節状の動きのことをさす。【００１４】
人の関節以外の例を挙げると、例えば、蛇やムカデの動きのように、関節間の距離が微小な、多数の関節によって構成されるような動き等であってもよいし、傘の骨のように、一つのジョイント（関節）から多数の骨（腕）が出ているようなもの、または、モビールのようなものでもよい。【００１５】
従来の領域抽出手法では、このような関節状の動きを呈する部分で、対象物が分離されて抽出されることが多い。したがって、逆に、関節状動きを含む「関節状領域」を抽出できれば、対象物が分離されて抽出されるのを防ぐことができる。なお「関節状領域」とは、その一部または全部に、関節状の動きを呈する領域を１箇所以上有するような領域のことをさす。
【課題を解決するための手段】
【００１６】
本発明は上述の課題を解決するためになされたものであり、本発明のある局面に係る関節状領域検出装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部とを備える。【００１７】
この構成によると、サブクラス間の測地距離の時間変化と２点間距離の時間変化とに基づいて、関節状領域を抽出することで、移動体の形状の変化の影響を受けることなく、正しく関節状領域を抽出することができる。【００１８】
なお、本発明は、このような特徴的な処理部を備える関節状領域検出装置として実現することができるだけでなく、関節状領域検出装置に含まれる特徴的な処理部をステップとする関節状領域検出方法として実現することができる。また、関節状領域検出方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００１９】
上記の方法および装置等により、動画像中において、人物のように、姿勢や位置、大きさなどが時間的に変化するような関節状動きを有する移動体の関節状領域を検出することで、画像中の移動体を確実に検出することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施の形態における関節状領域検出装置の構成を示す図である。
【図２】図２は、コンピュータによって構成された関節状領域検出装置のハードウェア構成を示す図である。
【図３】図３は、関節状領域検出装置の動作の手順を示すフローチャートである。
【図４】図４は、撮影状況の例を示す図である。
【図５】図５は、複数のピクチャの例を示す図である。
【図６】図６は、動きベクトルおよび移動軌跡の例を示す図である。
【図７】図７は、関節状領域検出部におけるサブクラス分類部の構成を示す図である。
【図８】図８は、ピクチャ中の移動軌跡の分布を示す図である。
【図９】図９は、関節状領域検出部における距離算出部の構成を示す図である。
【図１０】図１０は、移動軌跡のデータ分布と距離について示す図である。
【図１１】図１１は、移動軌跡間のユークリッド距離と測地距離について示す図である。
【図１２】図１２は、関節状領域検出部における領域検出部の構成を示す図である。
【図１３】図１３は、異なるサブクラスに属する移動軌跡間のユークリッド距離と測地距離について示す図である。
【図１４】図１４は、関節状領域を構成するサブクラス間の、代表ユークリッド距離、および代表測地距離について示す概念図である。
【図１５】図１５は、関節状領域を構成するサブクラス間、および関節状領域を構成しないサブクラス間の、代表ユークリッド距離、および代表測地距離の時間変化について示す概念図である。
【図１６】図１６は、関節動きの判定基準を示す図である。
【図１７Ａ】図１７Ａは、距離比較部の処理を示すフローチャートである。
【図１７Ｂ】図１７Ｂは、距離比較部の処理を示すフローチャートである。
【図１７Ｃ】図１７Ｃは、距離比較部の処理を示すフローチャートである。
【図１８Ａ】図１８Ａは、距離比較部の望ましい追加処理を示すフローチャートである。
【図１８Ｂ】図１８Ｂは、距離比較部の望ましい追加処理を示すフローチャートである。
【図１８Ｃ】図１８Ｃは、距離比較部の望ましい追加処理を示すフローチャートである。
【図１９】図１９は、画像出力ステップで生成した画像の例を示す図である。
【図２０】図２０は、本発明に係る実施の形態１の変形例１における関節状領域検出装置の構成を示す図である。
【図２１】図２１は、本発明に係る実施の形態１の変形例２における関節状領域検出装置の構成を示す図である。
【図２２】図２２は、次元圧縮によるデータのクラスタリングについて示す図である。
【図２３】図２３は、本発明に係る実施の形態１の変形例３における関節状領域検出装置の構成を示す図である。
【図２４】図２４は、測地距離を利用したデータのクラスタリングについて示す図である。
【図２５】図２５は、本発明の実施の形態２における関節状領域検出装置の構成を示す図である。
【図２６Ａ】図２６Ａは、本発明の実施の形態２における関節状領域検出装置による動作認識について説明する図である。
【図２６Ｂ】図２６Ｂは、本発明の実施の形態２における関節状領域検出装置による動作認識について説明する図である。
【図２７】図２７は、本発明の実施の形態３における関節状領域検出装置の構成を示す図である。
【図２８】図２８は、本発明の実施の形態３における関節状領域検出装置による持ち去り検出について説明する図である。
【図２９Ａ】図２９Ａは、本発明の実施の形態４における移動軌跡をサブクラスに分類した結果を示す分類情報を作成する分類情報作成装置の構成を示すブロック図である。
【図２９Ｂ】図２９Ｂは、本発明の実施の形態４における関節状領域検出装置の構成を示すブロック図である。
【図３０】図３０は、本発明の実施の形態４における関節状領域検出装置の動作を表すフローチャートである。
【図３１Ａ】図３１Ａは、１フレームから４フレームにわたって算出された、ピクチャ間の対応点である移動軌跡を示す図である。
【図３１Ｂ】図３１Ｂは、記憶部に保存されている分類情報の一例を示す図である。
【図３１Ｃ】図３１Ｃは、記憶部に保存されている分類情報の一例を示す図である。
【図３２Ａ】図３２Ａは、１フレームから４フレームにわたって算出された、ピクチャ間の対応点である移動軌跡を示す図である。
【図３２Ｂ】図３２Ｂは、記憶部に保存されている分類情報の一例を示す図である。
【発明を実施するための形態】
【００２１】
本発明の一実施形態は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部とを備える。
【００２２】
上記した構成によって、サブクラス間の測地距離の時間変化と２点間距離の時間変化とに基づいて、関節状領域を抽出することで、形状の変化の影響を受けることなく、正しく移動体の領域を抽出することができる。
【００２３】
また、本発明のより好ましい形態では、前記領域検出部は、サブクラス間の２点間距離の時間変化が所定の２点間距離閾値よりも大きく、かつ前記サブクラス間の測地距離の時間変化が所定の測地距離閾値以下となるサブクラスを、関節状動きを有する領域として検出する。
【００２４】
上記した構成によって、同一移動体に属するサブクラスを特定することができるので、より正確に移動体の領域を特定することができる。
【００２５】
特に、前記領域検出部は、任意の２つのサブクラス間の２点間距離の代表値の時間変化および測地距離の代表値の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出するものとしてもよい。これにより、より精度よく関節状領域検出を実行させることができる。
【００２６】
ここで、距離の代表値の算出方法として、前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の平均値であり、前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の平均値であるとしてもよい。また、前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の中央値であり、前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の中央値であるとしてもよい。さらに、前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の最頻値であり、前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の最頻値であるとしてもよい。
【００２７】
上記の構成によって、このような代表値に基づいて関節状領域を検出することで、関節状動き領域を高速に効率よく抽出することができる。また、このような代表値は、サブクラス間における移動軌跡間の測地距離および２点間距離のマクロな関係を保っている。
【００２８】
また、本発明のより好ましい形態では、上述の関節状領域検出装置は、さらに、前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域検出部により検出された領域ごとに異なる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備えるものとしたものである。上記した構成によって、特定された領域ごとに異なる表示態様で画像処理が施されるので、検出された関節状領域、または移動体を容易に確認することができる。
【００２９】
好ましくは、前記動画像は、人物を被写体として撮影された動画像であり、前記関節状領域検出装置は、さらに、前記領域検出部により検出された領域に含まれる関節状動きをなす複数のサブクラス間の角度を算出し、算出した角度と、人物の動作パターンごとに予め定められている角度とを比較することにより、前記被写体の動作を認識する動作認識部を備えるとしたものである。上記した構成によって、関節状領域、または移動体の動作を簡単に推定することができる。
【００３０】
好ましくは、上述の関節状領域検出装置は、さらに、前記領域検出部により検出された前記領域に含まれる関節状動きをなす複数のサブクラス間の関節数に基づいて、前記動画像に含まれる移動体の接続数の変化を検知する動作検知部を備えるとしたものである。より好ましくは、前記動作検知部は、前記接続数の減少を検知した場合には、前記移動体による物体の置き去りがあったと判定し、前記接続数の増加を検知した場合には、前記移動体による物体の持ち去りがあったと判定するとしたものである。
【００３１】
上記した構成によって、関節状領域、または移動体の持ち去り・置き去り動作を簡単に検知することができる。
【００３２】
好ましくは、上述の関節状領域検出装置は、さらに、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部とを備えるものとする。
【００３３】
なお、関節状動きの内容については、先に述べたように、前記関節状動きは、関節により接続された物体の動きであるとしてもよいし、前記関節状動きは、ひも状の物体の動きであるとしてもよいし、その他これに類似する関節状の動きであればよい。
【００３４】
本発明の他の実施形態は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類した結果を示す分類情報を取得するサブクラス取得部と、取得した前記分類情報に基づき、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部とを備える。
【００３５】
上記した構成によって、サブクラス間の測地距離の時間変化と２点間距離の時間変化とに基づいて、関節状領域を抽出することで、形状の変化の影響を受けることなく、正しく移動体の領域を抽出することができる。
【００３６】
なお、本発明の関節状領域検出装置は、各処理部をハードウェアにより構成することにより実現されるだけでなく、上記各処理部をステップとする関節状領域検出方法として実現したり、関節状領域検出方法を、コンピュータ上のプログラムによって実現したり、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、動画像において動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置等として実現することもできる。
【００３７】
（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。
【００３８】
図１は、実施の形態１における関節状領域検出装置の構成を示す図である。図１に示されるように、関節状領域検出装置１００は、画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３および出力部１０４を備える。関節状領域検出装置１００は、動画像中の関節状領域の全部または一部の領域を特定する領域分割をすることによって動画像中の関節状領域を検出する装置である。つまり、関節状領域検出装置１００は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する装置である。本実施の形態では、関節状領域検出装置１００は、カメラ１１０で撮影した動画像を入力して、動画像中の関節状領域を検出し、検出結果に基づいてピクチャを生成して出力する。ディスプレイ１２０は、関節状領域検出装置１００から出力されるピクチャを表示する。本明細書中では、ピクチャのことを画像ともいう。
【００３９】
画像入力部１０１は、動画像を構成する複数枚のピクチャの入力を受け付ける処理部であり、例えば、カメラ、または、カメラと接続された通信インターフェース等である。
【００４０】
移動軌跡算出部１０２は、画像入力部１０１で受け付けた複数枚のピクチャをもとに、複数枚のピクチャ間の対応点を複数求め、複数の移動軌跡として出力する処理部である。つまり、移動軌跡算出部１０２は、画像入力部１０１で受け付けられたピクチャを構成する１個以上の画素からなるブロックごとに、動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、複数の移動軌跡を算出する。ピクチャ間の対応点は、ピクチャの１画素ごとに対応点を求めてもよいし、ピクチャ内の隣接する複数の画素（ブロック）ごとに１つの対応点を求めるとしてもよい。本明細書では、ある対応点が、１画素ごとに求められたか、複数の画素に対して１つ求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
【００４１】
関節状領域検出部１０３は、移動軌跡算出部１０２で求めた移動軌跡をもとに、小領域間の移動軌跡の時間変化に基づいて、関節状動きを行う関節状領域の検出を行う処理部である。関節状領域検出部１０３は、サブクラス分類部１０５、距離算出部１０６および領域検出部１０７を備える。
【００４２】
サブクラス分類部１０５は、移動軌跡算出部１０２で求めた複数の移動軌跡に対して、軌跡間距離、または速度等の類似度をもとに、複数の移動軌跡を、各々が少なくとも１つの移動軌跡を含む複数のサブクラスにクラスタリングする。つまり、サブクラス分類部１０５は、動画像を構成する複数枚のピクチャにわたる、各々がピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類する。
【００４３】
距離算出部１０６は、前述の移動軌跡間の類似度を表す距離を算出する処理部である。つまり、距離算出部１０６は、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、第１の移動軌跡および第２の移動軌跡以外の移動軌跡を中継点として第１の移動軌跡から第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する。
【００４４】
本実施の形態では、距離算出部１０６は、移動軌跡算出部１０２で求めた複数の移動軌跡から、Ｔ枚（Ｔ＞＝２）のピクチャ間にわたる対応点であるＮ個の移動軌跡を抽出し、抽出した移動軌跡より、移動軌跡間の類似度を表す２点間距離および測地距離を算出する。
【００４５】
なお、本明細書における２つの移動軌跡間の「距離」は、対応する２次元画像空間における２点の間の距離だけでなく、後述するように、多次元のデータ間の算術的な距離を含む。なお、一般的に距離と類似度は相反する関係がある。すなわち、２つのデータ間の距離が小さい場合、類似度が高く、逆に２つのデータの距離が大きい場合、類似度が低いものとする。
【００４６】
また、本明細書において「２点間距離」および「測地距離」の２種類の距離を定義しているが、「２点間距離」は２つのデータ間のみから求まる距離のことを指し、「測地距離」は、後述するように２つのデータ以外の点を経由することで求められる距離のことを指す。なお、本明細書における「２点間距離」は、移動軌跡間のピクチャ座標における位置、速度、加速度等といった幾何的な類似度を表す指標となる距離であり、必ずしも線形距離である必要はない。「２点間距離」の代表的なものとして本明細書では「ユークリッド距離」を以降説明のため用いる。前記の距離の詳細な例については、距離算出部１０６の説明の部分にて後述する。
【００４７】
領域検出部１０７は、距離算出部１０６で算出された測地距離、ユークリッド距離について、サブクラス分類部１０５で生成されたサブクラス間の測地距離の代表値（以下、「代表測地距離」と称す）、およびユークリッド距離の代表値（以下、「代表ユークリッド距離」と称す）を算出し、算出した代表測地距離と代表ユークリッド距離に基づいて、関節状領域の検出を行う処理部である。つまり、領域検出部１０７は、任意の２つのサブクラス間のユークリッド距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する。
【００４８】
出力部１０４は、関節状領域検出部１０３で処理された動画像中の関節状領域の検出結果を出力する。具体的には、出力部１０４は、画像入力部１０１で受け付けた動画像に対して、例えば、関節状領域検出部１０３で特定された関節状領域ごとに異なる表示態様となるように、画像処理を施し、画像処理が施された動画像をディスプレイ１２０等に出力する。
【００４９】
本明細書において、「領域抽出」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なくピクチャ中の領域を分割する領域分割技術との、両者を含んでいる。検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。
【００５０】
また、本明細書において、「移動体検出」とは、基準となる座標系に対して移動している物体が存在する画像領域のみを特定する検出技術と、相対的に異なる移動をしている物体ごとにピクチャ中の領域を分割する領域分割技術の両者を含んでいる。
【００５１】
なお、関節状領域検出装置１００を構成する各構成要素（画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３、出力部１０４）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図２は、ソフトウェアによって実現された本実施の形態における関節状領域検出装置のハードウェア構成を示す図である。図２において、カメラ１１０はピクチャを撮影して出力し、コンピュータ２００はピクチャを取得して関節状領域抽出処理を行って、領域抽出結果を表示するピクチャを生成する。ディスプレイ１２０はコンピュータ２００で生成されたピクチャを取得して表示する。コンピュータ２００は、Ｉ／Ｆ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ２０５およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４に読み出されて展開される。ＣＰＵ２０２はＲＡＭ２０４に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１は、プログラムの実行に応じて、カメラ１１０で撮影されたピクチャを、ＲＡＭ２０４へ取り込む。ビデオカード２０６は、プログラムの実行に応じて生成されたピクチャを出力し、ディスプレイ１２０がそのピクチャを表示する。
【００５２】
なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限られず、例えばＣＤ−ＲＯＭに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０４に取り込まれてもよい。
【００５３】
以下、本実施の形態における関節状領域検出装置１００の動作を、図３を用いて説明する。
【００５４】
図３は、本実施の形態における関節状領域検出装置１００の動作を表すフローチャートである。
【００５５】
図３において、７つのステップＳ３０１〜Ｓ３０７は、それぞれ図１の各処理部１０１〜１０７に対応している。すなわち、画像入力部１０１では画像入力ステップＳ３０１、移動軌跡算出部１０２では移動軌跡算出ステップＳ３０２、関節状領域検出部１０３では関節状領域検出ステップＳ３０３、出力部１０４では画像出力ステップＳ３０４の各動作を実行する。また、関節状領域検出ステップＳ３０３は、サブクラス分類ステップＳ３０５、距離算出ステップＳ３０６、領域検出ステップＳ３０７の３つのステップを含む。サブクラス分類部１０５ではサブクラス分類ステップＳ３０５、距離算出部１０６では距離算出ステップＳ３０６、領域検出部１０７では領域検出ステップＳ３０７の各動作を実行する。
【００５６】
最初に、画像入力ステップＳ３０１が、画像入力部１０１により実行される。つまり、画像入力部１０１は、カメラ１１０から、動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１１０から取得される動画像は３０フレーム／秒の動画像である。
【００５７】
図４は、撮影状況の一例を示す図である。また、図５（ａ）〜（ｆ）は、カメラ１１０によって、図４の撮影状況を撮影して取得した複数のピクチャの例を示す。画像入力部１０１により、１フレームからＴフレームまでのＴ枚（Ｔ＞＝２）のピクチャが入力されたものとする。本実施の形態では、ピクチャの数Ｔはあらかじめ定められており、３０フレーム（Ｔ＝３０）とする。
【００５８】
次に、移動軌跡算出ステップＳ３０２は、移動軌跡算出部１０２により実行される。つまり、移動軌跡算出部１０２は、画像入力部１０１から複数のピクチャを入力し、ピクチャ間の対応点を検出して、移動軌跡を生成して出力する。複数のピクチャ間の対応点を求める手法として、ここでは１フレームのピクチャ上における全ての画素（Ｉ個）を基準として、２フレームからＴフレームまでの（Ｔ−１）枚のピクチャ上の対応する画素を求める。
【００５９】
以下、本実施の形態では、画素単位の処理について説明するが、複数の画素からなるブロック単位で処理をする場合には、（ｉ）ブロック内で画素値を合計したり、（ｉｉ）ブロック内の画素値の平均値を求めたり、（ｉｉｉ）ブロック内の画素値の中央値を求めたりすることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。
【００６０】
例えば、ステップＳ３０１にてＴ枚のピクチャが入力されたと仮定すると、移動軌跡算出部１０２は、時刻ｔと時刻ｔ＋１に入力された２枚のピクチャを用いて、画素ｉの動きベクトル（ｕｔｉ，ｖｔｉ）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、時刻ｔと時刻ｔ＋ｎに入力された２枚のピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。
【００６１】
上記した複数のピクチャ間の対応点を算出する具体的な手法としては、非特許文献１または非特許文献２などに開示されている方法を用いてもよい。ともに、オプティカルフローを計算することにより動きベクトルを算出する手法であり、非特許文献１は階層的なブロックマッチングをベースに、オプティカルフローを算出する。画素間の滑らかさを拘束条件とするため、隣り合うオプティカルフロー間で動きベクトルが滑らかに変化するようなオプティカルフローを得る。特に急峻な動きや遮蔽がない場合に効率的かつ正確な対応点が求められる。また、推定の信頼度を計算できるため、後述するように、信頼度がある閾値より低い対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節状領域推定を行えるという効果がある。
【００６２】
これに対して、非特許文献２はグラフカットベースのオプティカルフロー算出手法であり、計算コストは高いが、正確な対応点がピクチャ上で密に求まる。また、この手法によると、オクルージョンの領域も推定できるため、後述するようにオクルージョン領域に位置する対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節状領域推定を行えるという効果がある。さらなる詳細は各文献に記載されているため、その詳細な説明は省略する。
【非特許文献１】Ｐ．Ａｎａｎｄａｎ，“Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  Ｖｉｓｕａｌ  Ｍｏｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．２，ｐｐ．２８３−３１０，１９８９
【非特許文献２】Ｖｌａｄｉｍｉｒ  Ｋｏｌｍｏｇｏｒｏｖ  ａｎｄ  Ｒａｍｉｎ  Ｚａｂｉｈ，“Ｃｏｍｐｕｔｉｎｇ  Ｖｉｓｕａｌ  Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｗｉｔｈ  Ｏｃｃｌｕｓｉｏｎｓ  ｖｉａ  Ｇｒａｐｈ  Ｃｕｔｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，２００１
【００６３】
さらに、移動軌跡算出部１０２は、画素の動きとして、前記動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、ピクチャをグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、ピクチャをブロックに区切ってブロックごとに動き情報を求めてもよい。
【００６４】
さらに、非特許文献１の開示技術を用いて動きベクトルを算出する場合は、前述したようにその信頼度を計算することができるため信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献２の開示技術を用いて動きベクトルを算出する場合は、前述したようにオクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。
【００６５】
さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、非特許文献３の開示技術を用いて実現することができる。
【非特許文献３】Ｊｉａｎｂｏ  Ｓｈｉ  ａｎｄ  Ｃａｒｌｏ  Ｔｏｍａｓｉ，“Ｇｏｏｄ  Ｆｅａｔｕｒｅｓ  ｔｏ  Ｔｒａｃｋ”，ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４
【００６６】
上記手法では、時刻ｔと時刻ｔ＋１に入力されたピクチャの画素ｉ近傍の動きに相当するアフィンパラメータＡｔｉを推定する。画素ｉについて、時刻ｔと時刻ｔ＋１におけるピクチャ上での画素位置ｘｔｉとｘｔ＋１ｉは（式１）に示す関係がある。
【００６７】
【数１】
2011080923.tif 000003
【００６８】
上記手法では、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素ｉの動きを推定することができる。
【００６９】
そして、移動軌跡算出部１０２は、時間的に異なるＴ枚のピクチャ間で算出された前記画素の対応点から移動軌跡ｉを算出する。以下、画素ｉの移動軌跡を、移動軌跡ｉと呼ぶこととする。図６（ａ）に示すように、移動軌跡算出部１０２は、時刻ｔにおける入力ピクチャ６０１の画素ｉ６０３ａ、画素ｋ６０３ｂに基づきステップＳ３０２において算出された動きベクトル情報６０２を用いて、画素ｉ６０３ａ、画素ｋ６０３ｂの動きを追跡し、画素ｉ６０３ａ、画素ｋ６０３ｂの対応点を求める。この時、移動軌跡算出部１０２は、１フレームのピクチャ上のある画素ｉの座標値（ｘ１ｉ，ｙ１ｉ）と、時刻ｔにおける画素ｉの対応点の画素座標値（ｘｔｉ，ｙｔｉ）とから、（式２）のように移動軌跡ｘｉを算出する。
【００７０】
【数２】
2011080923.tif 000004
【００７１】
本実施の形態において、移動軌跡ｘｉは、１フレームからＴフレームまでのＴ枚のピクチャ間にわたる対応点であるものとする。
【００７２】
図６（ｂ）は、移動軌跡の例を示す。移動軌跡算出部１０２に入力された動画像は、Ｔ枚のピクチャ６０４で構成されている。このとき移動軌跡ｘｉ６０６ａ、ｘｋ６０６ｂは、１フレームのある画素ｉ６０５ａ、画素ｋ６０５ｂにそれぞれ対応する、２フレームからＴフレームのピクチャ上の対応点の集まりである。移動軌跡ｘｉ６０６ａ、ｘｋ６０６ｂは、各ピクチャのピクチャ座標値を要素とするベクトルで表される。
【００７３】
なお、移動軌跡算出部１０２においてピクチャ間の対応点を求める際、ピクチャの全ての画素ごとに対応点を求める代わりに、ピクチャ内の隣接する複数の画素（ブロック）ごとに対応点を求めるものとしてもよい。本明細書において、ある対応点が１画素ごとに求められたものか、または複数の画素に対して１つの対応点が求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
【００７４】
次に、サブクラス分類ステップＳ３０５は、サブクラス分類部１０５により実行される。つまり、サブクラス分類部１０５は、移動軌跡算出部１０２で算出された移動軌跡の集まりを、輝度、または移動軌跡の類似度等の、ある指標によりクラスタリングすることで、サブクラスを生成する。
【００７５】
本実施の形態においてサブクラス分類部１０５は、図７に示すように、移動軌跡間のユークリッド距離を求めるユークリッド距離算出部７０１と、ユークリッド距離を元にクラスタリングを行うクラスタリング部７０２とを含む。
【００７６】
ユークリッド距離算出部７０１は、（式３）により、画素ｉの移動軌跡と画素ｊの移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）を算出する。
【００７７】
【数３】
2011080923.tif 000005
【００７８】
ここで（式３）によって算出されるユークリッド距離ｆ（ｉ，ｊ）は、表記の都合上、全ての移動軌跡間について定義したが、ユークリッド距離として有限な値となるのは、Ｎ個の移動軌跡ｘｉの間でのみとなる。
【００７９】
なお、本実施の形態におけるユークリッド距離は、（式３）によって算出するとしたが、この式に限定するものではない。ユークリッド距離は、（式３）と同様に、移動軌跡間のピクチャ座標における位置、動き、加速度、回転速度などのような、幾何的な類似度を表す指標であればよく、例えば、下記の（式４）を用いてもよい。
【００８０】
【数４】
2011080923.tif 000006
【００８１】
（式４）において、ｗは重み係数であり、設計者が設定するパラメータである。上記（式４）の移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）は、移動軌跡間におけるピクチャ座標の距離の時間平均に、ピクチャ座標の距離の時間変動成分を加えたものである。特に移動軌跡間距離の時間変動成分は、移動軌跡の動きの類似度を示すものであり、これによって、形状変化を伴うような場合でも、より正確に移動軌跡間の類似度を捉えることができる。
【００８２】
クラスタリング部７０２は、ユークリッド距離算出部７０１で算出した移動軌跡ｉと移動軌跡ｊとのユークリッド距離ｆ（ｉ，ｊ）を用い、ｆ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一クラスとして束ねていく処理を繰り返すことによってクラスタリングを行う。
【００８３】
図８（ａ）の移動軌跡ａ〜ｈに示すように、移動軌跡は同一被写体上であっても、姿勢変化によって部位ごとに大きく変化したものとなる。しかしながら、関節で繋がった物体である限り、特に近傍における移動軌跡は高い類似性を保持していると仮定できる。ここで、高い類似性とは、移動軌跡ｉと移動軌跡ｊとのユークリッド距離ｆ（ｉ，ｊ）が小さいことを意味する。さらに、ユークリッド距離ｆ（ｉ，ｊ）が小さいことは、移動軌跡ｉと移動軌跡ｊとが、移動軌跡からなる高次元空間上に近距離に分布していると解釈することができる。
【００８４】
図８（ｂ）に、移動軌跡からなる高次元空間の概念図を示す。概念図では、説明を容易にするため、３次元空間としたが、実際には、（式２）に示したベクトルの各要素が各次元と対応する。つまり、高次元空間は、次元数が２×Ｔの空間である。また、説明の簡略化のため移動軌跡を移動軌跡ａ〜ｈの８本としているが、実際には、画素ごとに求めた移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、図８（ｂ）に示す移動軌跡からなる高次元空間上のデータ点は、それぞれ（式２）に示した一つの移動軌跡に対応する。すなわち、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果に対応する。
【００８５】
そして、移動軌跡からなる高次元空間上の分布の連続性によって移動軌跡をクラスタリングしていくことによって、移動軌跡間の距離の不連続性をもとにクラスタリングを行う。その結果、各クラスは、個別の被写体または被写体の一部に対応することが期待でき、被写体の検出と領域分割を行うことができる。
【００８６】
まず、分割する各領域を次のように表現する。
【００８７】
【数５】
2011080923.tif 000007
【００８８】
ここで、Ｍは、領域数であり、利用するシーンに応じて経験的に決定される。
【００８９】
まず、サブクラス分類部１０５は、ユークリッド距離ｆ（ｉ，ｊ）が小さい順に、互いに異なる移動軌跡ｉと移動軌跡ｊとを同一領域ラベルθｍとする処理を行う。この処理を行う上で、移動軌跡ｉまたは移動軌跡ｊの一方が既に領域θｋに属している場合には、まだ領域ラベルが付与されていない画素も領域θｋに属するようにする。さらに、既に移動軌跡ｉと移動軌跡ｊとがそれぞれ異なる領域に属している場合には、領域ラベルを統合する。次に、すべての移動軌跡に対してラベル付けがされ、かつ領域数が規定のＭになっているか否かを判断し、その条件が満たされていない場合には、前述のユークリッド距離ｆ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一領域ラベルθｍとする処理を繰り返す。なお、各領域に属する移動軌跡の数が閾値Ｔｃｌｕｓｔｅｒ個以下となる領域については、外れ値（Ｏｕｔｌｉｅｒ）として扱い、その後の処理に用いないよう廃棄してもよい。
【００９０】
サブクラス分類処理の具体例を図８（ｃ）、図８（ｄ）を用いて説明する。簡単のため、Ｍ＝２とした場合（図８（ｃ））と、Ｍ＝３とした場合（図８（ｄ））について説明する。実際のサブクラス分類時には、十分に移動体の領域を細かな単位に分割するような、より大きなＭを利用することになる。ここで、図８の例では、移動軌跡ａと移動軌跡ｂとの距離をｆ（ａ，ｂ）とした時に、ｆ（ａ，ｂ）＜ｆ（ｇ，ｈ）＜ｆ（ｄ，ｅ）＜ｆ（ｂ，ｃ）＜ｆ（ｆ，ｇ）＜ｆ（ｃ，ｄ）である。まず、Ｍ＝２の例について図８（ｃ）を用いて説明する。サブクラス分類部１０５は、移動軌跡ａと移動軌跡ｂとの距離ｆ（ａ，ｂ）が最小であるため、移動軌跡ａと移動軌跡ｂに同一の領域ラベルθ１を付与する。次に、移動軌跡ｇと移動軌跡ｈとの距離ｆ（ｇ，ｈ）が２番目に小さいため、サブクラス分類部１０５は、移動軌跡ｇと移動軌跡ｈに同一の領域ラベルθ２を付与する。さらに、サブクラス分類部１０５は、３番目に小さい距離である移動軌跡ｄと移動軌跡ｅに対して、同一の領域ラベルθ３を付与する。次に距離が小さいのは、移動軌跡ｂと移動軌跡ｃとの距離ｆ（ｂ，ｃ）である。ここでは、移動軌跡ｂがすでにラベル付けされているため、サブクラス分類部１０５は、移動軌跡ｃに移動軌跡ｂと同一の領域ラベルθ１を付与する。次に距離が小さいのは、移動軌跡ｆと移動軌跡ｇとの距離ｆ（ｆ，ｇ）である。サブクラス分類部１０５は、ｆ（ｂ，ｃ）の場合と同様に、移動軌跡ｆに対して移動軌跡ｇと同一の領域ラベルθ３を付与する。ここでＭ＝３とした場合は、すべての移動軌跡にラベルが付与され、Ｍ＝３となると判断されるため、処理を終了する。
【００９１】
Ｍ＝２という条件設定をした場合には、現在のクラス分類ではその条件を満たさない。このため、サブクラス分類部１０５は、再度、次に小さい距離をなす移動軌跡ｃと移動軌跡ｄについて移動軌跡ｃが属する領域ラベルθ１と移動軌跡ｄが属する領域ラベルθ３とを統合する。また、サブクラス分類部１０５は、移動軌跡ａからｅに対して、領域ラベルθ１を付与する。ここで、すべての移動軌跡にラベルが付与され、Ｍ＝２となると判断されるため、処理を終了する。
【００９２】
本実施の形態では、移動軌跡に対して（式３）または（式４）のような距離を計算することによって、画素の位置と動きの類似性とを考慮した領域分割が可能になる。そのため、図８（ｃ）のような例において、Ｍ＝２の場合は、下半身の動きが上半身の動きと大きく異なることが反映されて、移動軌跡は、上半身と下半身とに分離される。さらに、図８（ｄ）のＭ＝３の場合は、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違いが反映され、移動軌跡を、上半身、腕、下半身とに分離することが可能になる。同様に、より大きいＭを利用することにより、サブクラス内に関節状動きを含まないような細かい小領域にまで、移動軌跡をクラスタリングすることができる。
【００９３】
このように、類似した移動軌跡に対して、順々に領域ラベルを付与することによって、高次元空間上で連続している移動軌跡を一つのクラスと判断し、移動軌跡間の距離が大きいところを不連続点として、それぞれのクラスを分離することができる。そして、各クラスに属する移動軌跡を、関節状領域検出に利用することが可能となる。
【００９４】
次に、距離算出ステップＳ３０６は、距離算出部１０６によって実行される。つまり、距離算出部１０６は、移動軌跡算出部１０２で算出した複数の移動軌跡ｘｉを用いて、各移動軌跡間の類似性を表す距離を算出する。すなわち、画素ｉと移動軌跡と画素ｊの移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）と、測地距離ｇ（ｉ，ｊ）を段階的に算出する。
【００９５】
以下、距離算出部１０６において、移動軌跡間の類似度を表す距離を算出する方法について、図９を参照しながら説明する。
【００９６】
図９（ａ）は、距離算出部１０６の構成の一例を示す図である。距離算出部１０６は、ユークリッド距離算出部９０１と、測地距離算出部９０２とを含む。
【００９７】
図９（ａ）の構成によれば、ユークリッド距離算出部９０１は、ユークリッド距離ｆ（ｉ，ｊ）をまず算出する。なおユークリッド距離算出部９０１の動作は、前述のサブクラス分類部１０５が含むユークリッド距離算出部７０１とまったく同じものであるため、ここでは説明を省略する。
【００９８】
なお、本実施の形態における距離算出部１０６は、図９（ｂ）に示すような別の構成によっても実現できる。つまり、図９（ｂ）に示す距離算出部１０６は、ユークリッド距離ロード部９０３と、測地距離算出部９０２とを含む。
【００９９】
この構成では、サブクラス分類部１０５の備えるユークリッド距離算出部７０１で算出したユークリッド距離ｆ（ｉ，ｊ）を先にメモリ（図示せず）に格納しておき、距離算出部１０６が備えるユークリッド距離ロード部９０３が、メモリに格納されたユークリッド距離ｆ（ｉ，ｊ）を、メモリからロードする。これにより、新たにユークリッド距離を計算する手間を省くことができ、より高速な処理が実現できる。
【０１００】
以上の手順で算出した移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）の集まりを、ユークリッド距離マトリクスＦとして表す。
【０１０１】
【数６】
2011080923.tif 000008
【０１０２】
続いて、距離算出部１０６の測地距離算出部９０２は、移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。なお、以降の測地距離算出部９０２の処理手順については、図９（ａ）および図９（ｂ）の構成ともに共通である。
【０１０３】
以降、測地距離算出部９０２において、ユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する動作を詳しく説明する。
【０１０４】
まず、測地距離算出部９０２では、算出したユークリッド距離ｆ（ｉ，ｊ）に対してあらかじめ定められた閾値Ｒを用いて、（式７）の非線形化した距離ｆ´（ｉ，ｊ）を算出する。
【０１０５】
【数７】
2011080923.tif 000009
【０１０６】
次に、測地距離算出部９０２は、非線形化された距離ｆ´（ｉ，ｊ）から、測地距離を算出する。「測地距離」とは、ある空間に定義された複数のデータ点について、それらのデータ点間の接続、および接続されたデータ点間の距離が得られているときに、ある２つのデータ点間を結び得る全ての経路の距離のうちの最短の距離である。したがって、測地距離算出部９０２は、第ｉの移動軌跡ｘｉから第ｊの移動軌跡ｘｊまでの測地距離の算出においては、他の複数の移動軌跡のいずれかを中継点として第ｉの移動軌跡ｘｉから第ｊの移動軌跡ｘｊに辿りつく全ての経路のうちの最短の経路を、測地距離として、算出する。
【０１０７】
例えば、移動軌跡ｘｉと移動軌跡ｘｊの２点間を直接結ぶノードの距離ｆ´（ｉ，ｊ）が得られているとする。このとき移動軌跡ｘｉと移動軌跡ｘｊの２点間を結ぶ経路は、２点を直接結ぶノード以外に、別の移動軌跡ｘｓを中継する経路もある。この経路の距離をｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）とする。このような移動軌跡ｘｉと移動軌跡ｘｊの２点間を結ぶ経路は複数あり、それらの距離のうちで最も短い距離を測地距離ｇ（ｉ，ｊ）として算出する（式８）。
【０１０８】
【数８】
2011080923.tif 000010
【０１０９】
（式８）において、ｍｉｎ（ｘ，ｙ，…）は、値ｘと値ｙなどのうち最も小さい値を返す関数である。また、ｓは、移動軌跡ｘｓであり、移動軌跡ｘｉから移動軌跡ｘｊに辿（たど）りつくための中継点である。ここで、ｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）における中継点ｓは１点に限るものではない。
【０１１０】
上述した測地距離の算出における２点間の最短経路を探索する手法の詳細は、例えば非特許文献４のダイクストラ法が広く知られているため、ここでは処理手順の詳細説明を省略する。
【非特許文献４】Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，“Ａ  ｎｏｔｅ  ｏｎ  ｔｗｏ  ｐｒｏｂｌｅｍｓ  ｉｎ  ｃｏｎｎｅｘｉｏｎ  ｗｉｔｈ  ｇｒａｐｈｓ”，Ｎｕｍｅｒｉｓｃｈｅ  Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９
【０１１１】
上記した手順により、測地距離算出部９０２は、長時間移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。なお、測地距離の計算方法は、前記（式７）および（式８）に限定されるものではない。
【０１１２】
なお、ユークリッド距離と測地距離の最も異なる点は、距離を求める２データ点と、他のデータ点との間の関係である。他のデータ点の状態に左右されることなく、２つのデータ点のみから定義されるのがユークリッド距離であり、それに対して、２つのデータ点、および２つのデータ点間を結び得る経路上にある他のデータ点を含む距離として定義される、すなわち他のデータ点の状態から影響を受ける可能性があるのが測地距離である。
【０１１３】
算出した移動軌跡間の測地距離ｇ（ｉ，ｊ）の集まりを、測地距離マトリクスＧとして表す（式９）。
【０１１４】
【数９】
2011080923.tif 000011
【０１１５】
以上の手順によって、測地距離算出部９０２は、Ｎ個の移動軌跡間の類似度を表す測地距離ｇ（ｉ，ｊ）を算出し、測地距離マトリクスＧとして出力する。
【０１１６】
上記した複数の移動軌跡間のユークリッド距離から測地距離を算出する処理について、図１０（ａ）〜図１０（ｃ）の概念図を用いて説明する。
【０１１７】
図１０（ａ）は、ピクチャ上の複数の移動軌跡の一例を示す図である。なお移動軌跡は、背景領域においても算出されるが、表記を容易にするため、以降は背景領域の移動軌跡を図示しないものとする。
【０１１８】
図１０（ｂ）は、各々が（式２）で示される複数の移動軌跡のデータの分布を示した図である。図１０（ｂ）中の「×」印の各データ点は、（式２）で示した画素ｉの移動軌跡ｘｉに相当する。移動軌跡ｘｉは独立したＴ×２個の変数からなるベクトルである。したがって、移動軌跡は、本来は最大で（Ｔ×２）次元空間のデータであるが、図１０（ｂ）では表記の都合上、３次元空間の点として表している。
【０１１９】
図１０（ｂ）中の矢印１００１は、（式３）で得られる移動軌跡ｘｉと移動軌跡ｘｊとの間のユークリッド距離ｆ（ｉ，ｊ）を表す。すなわちデータ点ｉとデータ点ｊとのユークリッド距離１００１は、データ間を直接結んだ距離になる。
【０１２０】
一方、図１０（ｃ）中の矢印１００２は、（式８）で得られる移動軌跡ｘｉと移動軌跡ｘｊとの間の測地距離ｇ（ｉ，ｊ）を表す。図１０（ｃ）に示すように、データ点ｉとデータ点ｊとの測地距離１００２は、中継のデータ点ｓを辿った距離となる。
【０１２１】
次に、ユークリッド距離ｆ（ｉ，ｊ）と、（式８）により算出した測地距離ｇ（ｉ，ｊ）の特徴を、図１１（ａ）および図１１（ｂ）の概念図を用いてより詳しく説明する。
【０１２２】
ピクチャ内の移動体について、頭部の移動軌跡ｘｉと手先部の移動軌跡ｘｊとのユークリッド距離を、図１１（ａ）中の矢印１１０１で示す。同図から明らかであるように、移動軌跡間のユークリッド距離１１０１は、距離を求める対象である２つの移動軌跡ｘｉ、ｘｊにのみ依存し、他の移動軌跡とは無関係な距離となる。
【０１２３】
一方、頭部の移動軌跡ｘｉと手先部の移動軌跡ｘｊとの測地距離１１０２を、図１１（ｂ）に示す。この場合、距離を求める対象である２つの移動軌跡ｘｉ、ｘｊだけでなく、太矢印１１０２で示すように、ｘｓをはじめとする近傍の複数の移動軌跡を経由して移動軌跡ｘｊにたどり着く。したがって、測地距離１１０２は、経由した複数の移動軌跡間の距離の和となるため、移動軌跡ｘｉ、ｘｊ以外の移動軌跡の影響を受ける。
【０１２４】
言い換えると図１１（ａ）のユークリッド距離１１０１は、他の移動軌跡の分布をまったく反映していない。このため、人物のように関節で繋がった移動体において、移動軌跡間の距離は、その形状には依存しない値をとる。これに対して、図１１（ｂ）に示される測地距離１１０２では、他の移動軌跡を反映した距離となっている。したがって関節で繋がった移動体において、移動軌跡間の距離は、移動体の形状に依存する値をとる。すなわち関節における繋がりが情報として距離に含まれるため、関節領域の検出に利用できる。
【０１２５】
前述したように、（式２）で示される移動軌跡ｘｉは、数学的には最大で（Ｔ×２）次元空間のデータである。しかし、実際にピクチャから求められる移動軌跡は、図８（ｃ）および図８（ｄ）のように（Ｔ×２）次元空間のごく一部に局在化する性質をもつことが、発明者の実験によっても確認されている。このような性質をもつ移動軌跡に対して、複数の移動軌跡間の類似度を表す距離の尺度としては、データの分布とは無関係に２データ間の距離のみを求めたものであるユークリッド距離（図１１（ａ）の距離１１０１）よりも、近傍のデータの粗密を反映した測地距離（図１１（ｂ）の測地距離１１０２）の方が、適していると言える。
【０１２６】
例えば、あらかじめ定めたＫ個の閾値Ｒｋの代わりに、あらかじめ定めたＫ個の閾値Ｎｋを用いる。そして、ユークリッド距離ｆ（ｉ，ｊ）から非線形化した距離ｆ´ｋ（ｉ，ｊ）を求める処理として、以下の処理を行ってもよい。つまり、閾値Ｒｋ以上のユークリッド距離ｆ（ｉ，ｊ）を無限大に置き換える（式７）の処理の代わりに、ある移動軌跡ｘｉと他の（Ｉ−１）個の移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）のうちで、小さいほうからＮｋ番目のユークリッド距離よりも大きいユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出してもよい。
【０１２７】
また、ユークリッド距離を無限大に置き換える処理の代わりに、小さいほうからｋ番目の移動軌跡とのユークリッド距離よりも大きい移動軌跡とのユークリッド距離を無限大で置き換えることによって、非線形化距離ｆ´ｋ（ｉ，ｊ）を算出するとしてもよい。
【０１２８】
次に、領域検出ステップＳ３０７は、領域検出部１０７によって実行される。領域検出部１０７は、図１２に示すように、クラス間距離算出部１２０１と、距離比較部１２０２とを含む。
【０１２９】
クラス間距離算出部１２０１は、距離算出部１０６で算出された測地距離、ユークリッド距離を元に、サブクラス分類部１０５で生成されたサブクラス間での測地距離の代表値（代表測地距離）、およびユークリッド距離の代表値（代表ユークリッド距離）をそれぞれ算出する。続く距離比較部１２０２は、クラス間距離算出部１２０１が算出した代表測地距離と代表ユークリッド距離に基づいて、関節状領域の検出を行う。
【０１３０】
以下で、クラス間距離算出部１２０１の動作について詳しく説明する。
【０１３１】
図１３に、サブクラス分類部１０５で生成された複数のクラスのうち、近接する２つのサブクラスθｉ、θｊを示す。なお、簡単のため以下の説明では、「サブクラス」を「クラス」とのみ表記する。
【０１３２】
クラスθｉ、θｊに含まれる移動軌跡の集まりをそれぞれＩ、Ｊとし、クラスθｉ、θｊが含む移動軌跡の個数をそれぞれＮｉ、Ｎｊとすると、Ｉ、Ｊはそれぞれ以下の（式１０）、（式１１）で表せる。
【０１３３】
【数１０】
2011080923.tif 000012
【０１３４】
【数１１】
2011080923.tif 000013
【０１３５】
なお、（式１０）、（式１１）に含まれるｘｉは、（式２）同様、多次元ベクトルの形式で表された移動軌跡である。
【０１３６】
ここで、Ｉに含まれる移動軌跡と、Ｊに含まれる移動軌跡との間で求められる距離を、クラス間距離と定義する。ここで、「距離」とはユークリッド距離、測地距離をともに含む概念であるとする。
【０１３７】
図１３に、クラス間距離の概念図を示す。クラスθｉから移動軌跡ｘｉ３１３０１を、クラスθｊから移動軌跡ｘｊ１１３０２を選択した場合、この２移動軌跡間のユークリッド距離はｆ３１（＝ｆ（ｉ３，ｊ１））、測地距離はｇ３１（＝ｇ（ｉ３，ｊ１））として求まる。これを、Ｉ，Ｊ間における全ての移動軌跡の組み合わせについて計算すると、以下の（式１２）、（式１３）に示すような、複数の測地距離ｇと複数のユークリッド距離ｆが得られる。
【０１３８】
【数１２】
2011080923.tif 000014
【０１３９】
【数１３】
2011080923.tif 000015
【０１４０】
本明細書における関節状動き領域検出は、Ｉ、Ｊに示すようなクラス内の単一移動軌跡の集まりに着目し、クラス間のマクロな距離の時間変化に基づいて動作する。したがって、クラス間距離の代表値を算出することが望ましい。
【０１４１】
クラス間測地距離の代表値（代表測地距離）の概念図を図１４（ａ）に、クラス間ユークリッド距離の代表値（代表ユークリッド距離）の概念図を図１４（ｂ）に示す。図１４に示すように、複数クラスに対して、クラス間の動きまたは位置的な関係を近似できるような代表値であることが望ましい。
【０１４２】
前述の望ましい条件を満たす代表距離については、各クラスの移動軌跡間測地距離の平均値を代表値として用いることができる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求め、それらを平均して得られるものである。ユークリッド距離の代表値についても、同様に求めて利用することができる。この場合、代表測地距離Ｇ（θｉ，θｊ）、代表ユークリッド距離Ｆ（θｉ，θｊ）は以下の（式１４）および（式１５）で算出できる。
【０１４３】
【数１４】
2011080923.tif 000016
【０１４４】
【数１５】
2011080923.tif 000017
【０１４５】
なお、（式１４）および（式１５）において、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞となる距離）、平均値の計算からはそれらの点を除くものとする。
【０１４６】
あるいは、すべてのｇ（ｉ，ｊ）から、それぞれ無限大を除いた最大値ｇｍａｘを求め、ｇ（ｉ，ｊ）＝∞となる距離をｇｍａｘと置き換えて平均値の計算を行っても良い。あるいは、ｇ（ｉ，ｊ）≠∞となるよう、測地距離計算のみ再度やりなおしてもよい。
【０１４７】
なお、この代表距離については平均値に限るものではない。
【０１４８】
以下に示すように、各クラスの移動軌跡間測地距離の中央値を代表値として用いることもできる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求め、それらのメジアンをとって得られるものである。ユークリッド距離の代表値についても、同様に求めて用いることができる。この場合、代表測地距離Ｇ（θｉ，θｊ）、代表ユークリッド距離Ｆ（θｉ，θｊ）は以下の（式１６）および（式１７）で算出できる。
【０１４９】
【数１６】
2011080923.tif 000018
【０１５０】
【数１７】
2011080923.tif 000019
【０１５１】
なお、（式１６）、（式１７）において、
【０１５２】
【数１８】
2011080923.tif 000020
【０１５３】
は、整数ラベルｉ（ｉ＝１〜Ｎｉ）、整数ラベルｊ（ｊ＝１〜Ｎｊ）に対応する複数の値を有するｆ（ｉ，ｊ）の中央値を返す関数である。
【０１５４】
なお、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞）、前述の平均値の計算と同様の処置をｇ（ｉ，ｊ）＝∞となる点に対して行っても良い。
【０１５５】
また、以下の（式１８）に示すように、代表測地距離として、各クラスの移動軌跡間測地距離の最頻値を代表値として用いることもできる。これらの代表値は、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求めた際に、それらの中でもっとも高頻度で現れる値である。ユークリッド距離の代表値についても、以下の（式１９）に従い、同様に求めることができる。
【０１５６】
【数１９】
2011080923.tif 000021
【０１５７】
【数２０】
2011080923.tif 000022
【０１５８】
なお、（式１８）、（式１９）において、
【０１５９】
【数２１】
2011080923.tif 000023
【０１６０】
は、整数ラベルｉ（ｉ＝１〜Ｎｉ）、整数ラベルｊ（ｊ＝１〜Ｎｊ）に対応する複数の値を有するｆ（ｉ，ｊ）の最頻値を返す関数である。
【０１６１】
なお、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞）、前述の平均値の計算同様の処置をｇ（ｉ，ｊ）＝∞となる点に対して行っても良い。
【０１６２】
次に、距離比較部１２０２の動作について詳しく説明する。距離比較部１２０２は、各クラス間の代表測地距離Ｇ、および各クラス間の代表ユークリッド距離Ｆの時間変化をそれぞれ計算し、その結果に基づいて、関節状動きを伴う、すなわち関節状領域であるクラスを検出する。
【０１６３】
図１５は、クラスθｉ、θｊ間の代表測地距離Ｇ（θｉ，θｊ）、および代表ユークリッド距離Ｆ（θｉ，θｊ）の時間変化について示した図である。図１５（ａ）および図１５（ｂ）にはそれぞれ、２つのクラスθｉ、θｊが関節様の動きを伴う場合の例を示す。すなわち、この場合クラスθｉ、θｊは、同一の移動体に属する関節状領域であると考えられる。一方、図１５（ｃ）および図１５（ｄ）では、クラスθｉ、θｊが関節様の動きを伴わない場合の一例を示す。すなわちクラスθｉ、θｊは、異なる移動体に属するものと考えられる。したがって、この場合これらのクラスθｉ、θｊは関節状領域を構成しない。
【０１６４】
ここで、まず図１５（ｂ）および図１５（ｄ）の代表ユークリッド距離に着目する。
【０１６５】
クラスθｉ、θｊが図１５（ｂ）のように関節状動きを構成する場合、クラス間の代表ユークリッド距離は時間に伴い大きく変化する。
【０１６６】
ここで、逆に代表ユークリッド距離がほぼ一定（時間変化がゼロに近い）である場合の例を図１５（ｄ）に示す。図１５（ｄ）から明らかなように、この場合、各クラスにおける重心の、相対的な位置関係がほぼ変化しないことと同等になる。
【０１６７】
同一の移動体に属するような関節状領域においては、代表ユークリッド距離は時間に伴って変化する。したがって、代表ユークリッド距離の時間変化が、一定の閾値ＦＴＨより大きいクラスは、関節状領域である可能性がある。
【０１６８】
次に、図１５（ａ）および図１５（ｃ）に示す代表測地距離に着目する。クラスθｉ、θｊが図１５（ｃ）のように関節状領域ではない場合に、代表測地距離は時間に伴い大きく変化する。逆に、クラスθｉ、θｊが図１５（ａ）のように関節状動きを構成する場合、代表測地距離は時間に伴いほとんど変化しない。したがって、代表測地距離の時間変化が、一定の閾値ＧＴＨより小さいクラスは、関節状領域である可能性が高いものと判定できる。
【０１６９】
以上より、代表測地距離Ｇの時間変化をＧｔ、代表ユークリッド距離Ｆの時間変化をＦｔとすると、距離比較部１２０２では、「クラス間の代表ユークリッド距離Ｆの時間変化Ｆｔが、一定の閾値ＦＴＨより大きく」、かつ「クラス間の代表測地距離Ｇの時間変化Ｇｔが、一定の閾値ＧＴＨより小さい」ようなクラスを、関節状領域として検出することができる。
【０１７０】
ここで、代表測地距離Ｇの時間変化Ｇｔ、代表ユークリッド距離Ｆの時間変化Ｆｔは、それぞれ以下の（式２０）および（式２１）のように、代表測地距離Ｇおよび代表ユークリッド距離Ｆを微分した絶対値として求められる。絶対値として求める理由は、関節動きであるかどうかの判定結果に、距離ＧおよびＦが増加するか減少するか、すなわち微分値の向きは関与しないからである（図１６）。
【０１７１】
【数２２】
2011080923.tif 000024
【０１７２】
【数２３】
2011080923.tif 000025
【０１７３】
なお、代表測地距離Ｇの時間変化Ｇｔ、代表ユークリッド距離Ｆの時間変化Ｆｔの求め方については、（式２０）および（式２１）に限るものではない。微分に類する方法であるが、最も単純な方法としては、ある定めた時間間隔で代表測地距離Ｇ、代表ユークリッド距離Ｆの差分をそれぞれ求めて用いてもよい。
【０１７４】
図１７Ａ〜図１７Ｃは、以上の関節状領域判定処理のフローチャートである。
【０１７５】
図１７Ａに示すように、距離比較部１２０２は、各クラス間距離について閾値ＦＴＨと代表ユークリッド距離Ｆの時間変化Ｆｔの比較をまず行い（Ｓ１７０１）、閾値ＦＴＨよりも代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの組を求める（Ｓ１７０１でＹｅｓ）。続いて、距離比較部１２０２は、閾値ＧＴＨと代表測地距離Ｇの時間変化Ｇｔの比較を行い（Ｓ１７０２）、代表測地距離Ｇの時間変化Ｇｔが閾値ＧＴＨ以下となるクラスの組を、関節状動きを構成する関節状領域と判定するものである（Ｓ１７０２でＮｏ、Ｓ１７０３）。なお、代表測地距離Ｇが無限大となる場合には、その代表測地距離の算出に用いられたクラスの組を除外して処理を行うものとする。
【０１７６】
距離比較部１２０２は、図１７Ａに示した処理の代わりに、図１７Ｂに示す処理を行ってもよい。つまり、距離比較部１２０２は、各クラス間距離について、まず閾値ＧＴＨと代表測地距離Ｇの時間変化Ｇｔの比較を行う（Ｓ１７１１）。距離比較部１２０２は、代表測地距離Ｇの時間変化Ｇｔが閾値ＧＴＨ以下となるクラスの組を求める（Ｓ１７１１でＮＯ）。続いて、距離比較部１２０２は、閾値ＦＴＨと代表ユークリッド距離Ｆの時間変化Ｆｔの比較を行い（Ｓ１７１２）、閾値ＦＴＨよりも代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの組を、関節状動きを構成する関節状領域と判定するものである（Ｓ１７１２でＹｅｓ、Ｓ１７１３）。
【０１７７】
距離比較部１２０２は、図１７Ａおよび図１７Ｂに示した処理の代わりに、図１７Ｃに示す処理を行ってもよい。つまり、距離比較部１２０２は、先に示した閾値ＧＴＨと代表測地距離Ｇの時間変化Ｇｔの比較、および閾値ＦＴＨと代表ユークリッド距離Ｆの時間変化Ｆｔの比較を同時並行的に行う（Ｓ１７２１）。距離比較部１２０２は、代表測地距離Ｇの時間変化Ｇｔが閾値ＧＴＨ以下となり、かつ、閾値ＦＴＨよりも代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの組を、関節状動きを構成する関節状領域と判定する（Ｓ１７２１（Ｇ，Ｆ）で（Ｎ，Ｙ）、Ｓ１７２２）。これらの処理は、図１７Ａ〜図１７Ｃのどれを用いてもよいが、データの性質がある程度わかっている、または予測できる場合は、計算の効率化を図るために選択的に用いることができる。
【０１７８】
例えば、代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの数が比較的少ないと予測できる場合には、先にユークリッド距離の比較を行い、クラス数を大幅に減らしてから、測地距離の比較を行う図１７Ａのフローを採用することで、計算の効率化が行えるという効果が期待できる。逆に、代表測地距離Ｇの時間変化Ｇｔが小さいようなクラスの数が比較的比較的少ないと予測できる場合には、先に測地距離の比較を行い、クラス数を大幅に減らしてから、ユークリッド距離の比較を行う図１７Ｂのフローを採用することで、計算の効率化が行えるという効果が期待できる。それ以外の場合、特に代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの数と代表測地距離Ｇの時間変化Ｇｔが小さいようなクラスの数が同程度の規模と予測できる場合は、図１７Ｃに示すように同時並列的に処理を行ってもよい。以上のように、状況に応じて処理を選択することで、計算効率を上げられる可能性がある。
【０１７９】
なお、前述した図１７Ａ〜図１７Ｃのフローの処理の最後に、クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）または、クラス間測地距離の最小値ｍｉｎｇ（ｉ，ｊ）を判定条件として追加してもよい。図１７Ａ〜図１７Ｃの各距離判定フローに、前記最小距離判定フローを追加したフローを図１８Ａ〜図１８Ｃにそれぞれ示す。
【０１８０】
例えば、図１８Ａに示されるように、距離比較部１２０２は、関節状動きを構成する関節状領域と判定されたクラスの組について、クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）と予め定められた閾値ＭＩＮＴＨとの比較を行う（Ｓ１８０１）。クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）が閾値ＭＩＮＴＨよりも大きい場合には（Ｓ１８０１でＹｅｓ）、距離比較部１２０２は、当該組のクラスは、関節状領域に対応するが、接続されておらず、異なる２つの物体に対応すると判断する（Ｓ１８０２）。一方、クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）が閾値ＭＩＮＴＨ以下の場合には（Ｓ１８０１でＮｏ）、距離比較部１２０２は、当該組のクラスは、関節状領域に対応し、かつ同一の物体に対応すると判断する（Ｓ１８０３）。図１８Ｂおよび図１８ＣのフローチャートにおけるＳ１８０１〜Ｓ１８０３の処理は、図１８Ａに示したものと同様であるため、その詳細な説明は繰り返さない。なお、Ｓ１８０１の処理では、クラス間ユークリッド距離の最小値と閾値との比較処理を行ったが、クラス間ユークリッド距離の変わりにクラス間の測地距離の最小値を用いて、閾値との比較処理を行ってもよい。
【０１８１】
図１５（ａ）等に示すような同一物体上の関節状領域において、クラス間のユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）は多くの場合でゼロに近くなる。したがって、クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）、またはクラス間測地距離の最小値ｍｉｎｇ（ｉ，ｊ）が、予め定められた閾値ＭＩＮＴＨより小さい場合は、同一物体上の関節状領域である可能性が非常に高くなる。このため、同一の移動体上の関節状領域をより確実に検出できるという効果がある。
【０１８２】
なお、本発明における距離比較部１２０２の処理は、図１６の表、または図１７Ａ〜図１８Ｃのフローチャートに示すように、関節状だけでなく、クラス間の接近・平行移動といった状態の検出にも用いることができる。例えば、代表ユークリッド距離Ｆの時間変化Ｆｔが閾値ＦＴＨよりも小さい場合、２クラスの重心は平行移動しているか、静止していると考えられる。さらに、代表測地距離Ｇの時間変化Ｇｔの情報を利用して２クラスの状態をより細かに推定できる。代表測地距離Ｇの時間変化Ｇｔが小さい場合は平行に移動、代表測地距離Ｇの時間変化Ｇｔが大きい場合はともに重心の相対的な位置関係は保ったまま、別の物体としての動きをしていると推定できる。このように、距離比較部１２０２の出力を利用することで、クラスとクラスの間の関係について、有用な情報を取得することが可能であり、これらの情報を統合し、各クラス間の動き情報を豊富にすることで、より正確に移動物検出を実現できる効果がある。
【０１８３】
最後に、画像出力ステップＳ３０４は、出力部１０４によって実行される。つまり、出力部１０４は、関節状領域の情報に基づいてピクチャを生成して、ディスプレイ１２０に表示する。
【０１８４】
本実施の形態において出力部１０４は、画像入力部１０１で受け付けた動画像に対して、関節状領域検出部１０３で特定された関節状領域が視認できる表示態様となるように、入力ピクチャに画像処理を施して出力し、ディスプレイ１２０に表示する。
【０１８５】
図１９に、出力部１０４で生成したピクチャの例を示す。
【０１８６】
サブクラス分類部１０５で算出された各サブクラスに対し、互いに関節状動きをしている同一移動体として抽出されたサブクラスごとに、一つの移動体であるものとして色分けを行うと、図１９（ａ）、図１９（ｂ）のように表示することができる。この例では、２つの移動体が２種類に色分けされて表示されている。このような表示形態にすることで、ピクチャ中の移動体を正しく検出し、その結果をわかりやすく表示できる効果がある。
【０１８７】
移動体の位置を視認するためには、少なくともそのおおまかな位置が提示される必要がある。したがって、領域全体を色分けする必要は必ずしもないため、図１９（ｃ）のように、外枠のみ表示するとしてもよい。メリットとしては、移動体そのものの見え方をほとんど変化させずに、移動体領域を提示することができる。
【０１８８】
また、図１９（ｄ）のように、検出されたサブクラス間において、２つのクラスが関節状領域を構成する場合は、そのクラス間に「接続領域であること」を示す印（図１９（ｄ）の場合、四角いボックス）を表示することで、関節状動きをしている領域を簡単に確認することもできる。
【０１８９】
さらに、前記多種の情報を統合することで、例えば図１９（ｅ）のように、ヒトと車が同時に存在するピクチャにおいて、関節状動きを有する移動体に「Ｈｕｍａｎ」、関節状動きを有しない物体に「ＮｏＨｕｍａｎ」と併記することもできる。例えば、運転時のドライバーに前方の状況を知らせる際に役立つと考えられる。さらに、「Ｈｕｍａｎ」というラベルがふられた移動体について、ピクチャ内でのサイズが大きい場合はカメラ（＝自車）から近い位置にいると考えられるので、そのような場合には警報を表示するか、警報を鳴らす、等の処理により、安全運転支援等に役立つ機能への応用が期待できる。
【０１９０】
なお、出力部１０４において、ピクチャを生成する手順として、移動軌跡のピクチャ座標位置の画素をセグメント領域に応じた色で描画するとしたが、ピクチャを生成する方法をこれに限定するものではない。具体的には、移動軌跡の数とピクチャ全体の画素数とが同数であれば、上述した方法によりピクチャ中の全画素をクラスに応じた色で描画することができる。一方、移動軌跡の数がピクチャ全体の画素数より少ない場合、どの移動軌跡のピクチャ座標位置とも一致しない画素が存在する。
【０１９１】
このような移動軌跡のピクチャ座標位置と一致しない画素については、別の方法で描画しても良い。例えば、移動軌跡算出部１０２において、ある移動軌跡を生成するための動き検出に用いたブロックに属する画素は、その移動軌跡が属するサブクラスと同じ色で描画するとしても良い。
【０１９２】
また、移動軌跡のピクチャ座標位置と一致しない画素を描画する別の方法として、最近傍の移動軌跡の属するサブクラスと同じ色で描画するとしても良い。
【０１９３】
また、移動軌跡のピクチャ座標位置と一致しない画素を描画する別の方法として、複数の移動軌跡のピクチャ座標位置（点）の間を、Ｄｅｌａｕｎａｙ三角メッシュ生成法にて結び、同一のクラスに属する３点に囲まれる３角形に含まれる画素を、そのクラスと同じ色で描画するとしても良い。
【０１９４】
なお、連続して入力される動画像に対して処理を行う場合は、上述したステップＳ３０１〜Ｓ３０７の動作を、Ｔ枚のピクチャが入力されるたびに繰り返し行うとしても良い。
【０１９５】
以上のようにして、本実施の形態における関節状領域検出装置および方法によれば、ピクチャ内のサブクラス間移動軌跡のユークリッド距離と測地距離の代表値の時間変化に基づいて関節状領域の判定を行うことによって、ピクチャ中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、ピクチャ中の関節状領域を検出することができる。
【０１９６】
また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域抽出の失敗がない。
【０１９７】
以上のように、膨大なパラメータのフィッティングを必要とせずに、領域間測地距離に基づいてクラスタリングを行うことによって、安定に、形状が変化しながら移動する人物等を含むピクチャから関節状領域を抽出し、これによってピクチャ中の移動体を正しく検出可能となる。
【０１９８】
なお、本実施の形態の関節状領域検出装置において、距離算出部１０６が、移動軌跡算出部１０２で生成した移動軌跡から抽出する、移動軌跡のピクチャ数Ｔは、Ｔ＝３０としたが、この数値に限定するものではない。例えば、検出すべき移動体の種類や状態に応じて別の数値を用いても良い。例えば、検出する対象が歩行者と仮定できる場合、平均的な歩行周期が約１秒（３０フレーム）であることから、Ｔ＝３０フレームのピクチャにわたる移動軌跡は、人の歩行１周期に対応する。このように、検出すべき対象が周期的な変形を伴う移動体である場合、距離算出部１０６において抽出する移動軌跡のピクチャ数Ｔを、移動体の変形周期に対応するピクチャ数とすることで、移動体の変形の影響を受けにくくなり、移動体をより正しく抽出することができるという効果がある。また遮蔽などの影響により、ピクチャ数Ｔにわたる移動軌跡が算出できないピクチャ中の移動体領域が存在する場合について、移動軌跡が算出可能な最大のピクチャ数をＳ（Ｓ＜Ｔ）とすることで、移動体の領域をより詳細に検出可能になるという効果がある。
【０１９９】
なお、本実施の形態の関節状領域検出装置において、距離算出部１０６が抽出する移動軌跡を得るためのピクチャの枚数Ｔは、あらかじめ定められており、一定であるものとして説明したが、それぞれの移動軌跡の算出に利用するピクチャ数Ｔを、動的に変化させても良い。
【０２００】
移動軌跡のピクチャ数Ｔを動的に変化させる手法としては、例えば、移動軌跡個数の上限値をあらかじめ定めておき、これらの上限値を大きく超えないようにピクチャ数Ｔを動的に変化させるとしても良い。具体的には、移動軌跡の個数の上限値Ｎｍａｘをあらかじめ定めておき、距離算出部１０６において、あらかじめ定められたピクチャ数Ｔにわたる移動軌跡から抽出した移動軌跡の個数が、Ｎｍａｘを超えた場合に、ピクチャ数Ｔを増加させるとしてもよい。ここで移動軌跡の数が多いということは、動画像中の変化が小さい、被写体の動きが小さい、動きによる遮蔽領域が少ない、などの理由により、全ピクチャにわたる対応点が多く算出可能であることに相当する。このような場合、ピクチャ数Ｔを増加させることで、移動領域により多くの動きの情報が含まれることによって移動体を正しく検出できるという効果が期待できる。
【０２０１】
また、移動軌跡のピクチャ数Ｔを動的に変化させる別の手法としては、例えば、移動軌跡個数の下限値をあらかじめ定めておき、これらの下限値を下回らないようにピクチャ数Ｔを動的に変化させるとしても良い。具体的には、移動軌跡の個数の下限値Ｎｍｉｎをあらかじめ定めておき距離算出部１０６において、あらかじめ定められたピクチャ数Ｔにわたる移動軌跡の個数がＮｍｉｎを下回った場合に、移動軌跡の個数がＮｍｉｎを超えるように、より小さいピクチャ数Ｔを用いる、としても良い。このような処理を行うと、移動軌跡があらかじめ定められた移動軌跡数を下回らないようにすることができる。そのため、例えば動画像中の被写体の動きによる遮蔽によって移動軌跡の個数が相対的に小さくなる動画像に対しても、移動軌跡が極端に少なくなるということが発生しにくくなる。その結果、領域分割ができないということが発生しにくくなるという効果がある。
【０２０２】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０２０３】
なお、本発明に係る関節状領域検出装置および方法は、上記実施の形態に限定されるものではなく、上記実施の形態に対して当業者が思いつく変形を施して得られる形態や、後述する各種変形例を含む複数の形態における構成要素を任意に組み合わせて得られる形態も本発明に含まれる。
【０２０４】
（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１における関節状領域検出装置について説明する。
【０２０５】
実施の形態１で説明した関節状領域検出装置において、サブクラス分類部１０５は、（式３）で算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。つまり、サブクラス分類部１０５は、移動軌跡間での、各移動軌跡に属するブロック同士の色類似度に基づいて、複数の移動軌跡を複数のサブクラスに分類してもよい。以下で、画素の色類似度を元にクラスタリングを行う例について説明する。
【０２０６】
図２０（ａ）は、実施の形態１の変形例１における関節状領域検出装置の構成を示す図である。図２０（ａ）に示すように、この関節状領域検出装置は、画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３、出力部１０４を含む。関節状領域検出部１０３は、サブクラス分類部１９０１、距離算出部１０６、および領域検出部１０７を含む。
【０２０７】
まず、サブクラス分類部１９０１以外の部分については、実施の形態１と同じであるため、説明を省略する。
【０２０８】
サブクラス分類部１９０１にてサブクラスを算出する手法として、実施の形態１で説明した類似移動軌跡のラベリングによりサブクラスを算出する方法の代わりに、画素の色類似度をもとに、いわゆる“ｓｕｐｅｒｐｉｘｅｌ”と呼ばれる複数のサブクラスにピクチャを分割する方法を用いてもよい。ｓｕｐｅｒｐｉｘｅｌを算出する方法については、グラフベースの手法などを用いることができる。処理手順の詳細説明は非特許文献５等に記載されているため省略するが、ピクチャのグラフ表現に基づいて各領域間の境界を推定することで、効率的かつグローバルな特徴を保持しながらピクチャを小領域に分割するというものであり、遮蔽に強いためよりロバストな分割ができるという効果がある。
【非特許文献５】Ｐｅｄｒｏ  Ｆ．  Ｆｅｌｚｅｎｓｚｗａｌｂ  ａｎｄ  Ｄａｎｉｅｌ  Ｐ．  Ｈｕｔｔｅｎｌｏｃｈｅｒ，“Ｅｆｆｉｃｉｅｎｔ  Ｇｒａｐｈ−Ｂａｓｅｄ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．５９，Ｎｏ．２，ｐｐ．１６７−１８１，Ｓｅｐｔ，２００４
【０２０９】
本実施の形態の変形例１におけるサブクラス分類部１９０１の構成を図２０（ｂ）に示す。サブクラス分類部１９０１は、クラスタリング部１９０２を含む。クラスタリング部１９０２は、上述の色類似度を基に、ピクチャを複数のサブクラスに分類する。本変形例のサブクラス分類部１９０１の構成では、図７に示したサブクラス分類部１０５の構成と比較して、ユークリッド距離算出部が必要ないため、より簡易な構成で、高速にサブクラスへの分類を行うことができるという効果がある。
【０２１０】
以上の手順によりピクチャをサブクラスに分離し、各サブクラスに属する移動軌跡を、関節状領域検出に利用することが可能となる。
【０２１１】
（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２における関節状領域検出装置について説明する。
【０２１２】
実施の形態１で説明した関節状領域検出装置において、サブクラス分類部１０５は、（式３）にて算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。以下で測地距離ｇ（ｉ，ｊ）の次元圧縮を行うことによって、サブクラスへの分類を行う例について説明する。
【０２１３】
図２１（ａ）は、実施の形態１の変形例２における関節状領域検出装置の構成を示す図である。図２１（ａ）に示すように、この関節状領域検出装置は、画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３、および出力部１０４を含む。関節状領域検出部１０３は、サブクラス分類部２００１、距離算出部１０６、および領域検出部１０７を含む。
【０２１４】
まず、サブクラス分類部２００１以外の部分については、実施の形態１と同じであるため、説明を省略する。本実施の形態の変形例２におけるサブクラス分類部２００１の構成を図２１（ｂ）に示す。サブクラス分類部２００１は、距離算出部２００２と、クラスタリング部２００３とを含む。サブクラス分類部２００１は、図７に示したサブクラス分類部１０５の構成と異なり、ユークリッド距離算出部７０１の代わりに、距離算出部２００２を備えている。距離算出部２００２は、移動軌跡算出部１０２で算出した移動軌跡から、（式３）に従ってユークリッド距離ｆ（ｉ，ｊ）を算出したのち、（式７）、（式８）に従って測地距離ｇ（ｉ，ｊ）を求める。なお、ここでの測地距離ｇ（ｉ，ｊ）の算出手順は、実施の形態１で記した距離算出部１０６での動作と同じため、説明を省略する。
【０２１５】
続いて、クラスタリング部２００３は、算出した測地距離ｇ（ｉ，ｊ）の次元圧縮を行ったのち、次元圧縮された測地距離を用いて、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする。
【０２１６】
次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ  ｓｙｓｔｅｍを求めることで実現できる。次元圧縮により、多次元空間に分布するデータを低次元空間に効率良く射影するための方法である。以降、クラスタリング部２００３において、測地距離ｇ（ｉ，ｊ）の次元圧縮を行い、移動軌跡をクラスタリングする手順について示す。
【０２１７】
測地距離ｇ（ｉ，ｊ）の構成するマトリクスを測地距離マトリクスＧとする（式２２）。
【０２１８】
【数２４】
2011080923.tif 000026
【０２１９】
クラスタリング部２００３は、まず測地距離マトリクスＧに対して、中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。
【０２２０】
【数２５】
2011080923.tif 000027
【０２２１】
ここで、Ｈは中心化行列であり、
【０２２２】
【数２６】
2011080923.tif 000028
【０２２３】
である。Ｉは単位行列、Ｎは移動軌跡の数である。
【０２２４】
また、
【０２２５】
【数２７】
2011080923.tif 000029
【０２２６】
である。
【０２２７】
次に、クラスタリング部２００３は、次元圧縮を行うために、τ（Ｇ）に対するＰ個の固有ベクトル（ｅｉｇｅｎ  ｖｅｃｔｏｒ）ｅｐおよびそれに対応する固有値（ｅｉｇｅｎ  ｖａｌｕｅ）λｐを算出する。
【０２２８】
これにより、測地距離ｇ（ｉ，ｊ）について
【０２２９】
【数２８】
2011080923.tif 000030
【０２３０】
とすると、測地距離ｇｉを次元圧縮された空間上に射影した結果は、データｚｐｉとして以下のように表すことができる。
【０２３１】
【数２９】
2011080923.tif 000031
【０２３２】
なお、ｅｐｉは、ｐ番目の固有ベクトルｅｐのｉ番目の要素である。固有ベクトルの数Ｐは、利用するシーンに応じて実験的に決定しても良いし、以下のように固有値λｐから寄与率ａｐを算出し、それに基づいて決定しても良い。
【０２３３】
【数３０】
2011080923.tif 000032
【０２３４】
ここで、Ｐは利用する固有ベクトルの数、すなわち圧縮された空間の次元数である。Ｎは全固有ベクトルの数である。そこで、寄与率ａｐが一定値以上となる時のＰを固有ベクトルの数とすれば良い。
【０２３５】
以上のようにクラスタリング部２００３は、（式２２）から（式２７）の処理により、測地距離ｇ（ｉ，ｊ）の次元圧縮を行う。距離算出部２００２において算出した測地距離ｇｉおよび対応する仮想的な移動軌跡を、固有ベクトルｅｐで張られる次元圧縮された空間上のデータｚｐｉと対応付けることができる。
【０２３６】
図２２に人物の歩行画像を入力とした場合の画素ｉの時間的移動軌跡が非線形に次元圧縮された空間に射影された結果を示す。図２２（ａ）は、多次元空間における次元圧縮前の移動軌跡のデータ分布を示す図である。同図では、説明を容易にするため、多次元空間を３次元空間としたが、実際には、（式２）に示したベクトルの各要素が各次元と対応する。図２２（ｂ）は、図２２（ａ）に示した移動軌跡の多次元空間を次元圧縮した空間を示す。図２２（ｂ）の縦軸、横軸は、それぞれ固有ベクトルｅ１、ｅ２である。２次元上に射影された点（ｚ１ｉ，ｚ２ｉ）は、測地距離ｇｉを射影したものである。ここで、非線形空間上のデータｚｐｉとピクチャ上での画素ｉの移動軌跡ｘｉとは一対一の対応関係にある。
【０２３７】
このため、（ｚ１ｉ，ｚ２ｉ）は、画素ｉの移動軌跡ｘｉに対応していると捉えることができる。なお、ここでは結果を可視化するために非線形空間の次元数を２次元としたが、前述のように、次元数は必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。
【０２３８】
次に、クラスタリング部２００３は、図２２（ｂ）に示したような移動軌跡を次元圧縮したデータｚｐｉに対してクラスタリングを行うことで、移動軌跡のクラスタリングを行う。本実施の形態の変形例３では、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする手法を用いるものとする。
【０２３９】
まず、サブクラスを次のように表現する。
【０２４０】
【数３１】
2011080923.tif 000033
【０２４１】
ここで、Ｍは、サブクラス数であり利用するシーンに応じて経験的に決定される。
【０２４２】
それぞれのサブクラスθｍは、パラメータ
【０２４３】
【数３２】
2011080923.tif 000034
【０２４４】
およびパラメータＺｍで表現する。ここで、パラメータ
【０２４５】
【数３３】
2011080923.tif 000035
【０２４６】
は、次元圧縮された空間におけるサブクラスθｍに属するデータの座標値の平均値、パラメータＺｍは、サブクラスθｍに属するデータの座標値に関する共分散行列である。パラメータ
【０２４７】
【数３４】
2011080923.tif 000036
【０２４８】
の初期値はランダムに決定しても良いし、圧縮された非線形空間中をグリッドで等間隔に分割するなどして、その交点の座標値を初期値としても良い。
【０２４９】
なお、パラメータ
【０２５０】
【数３５】
2011080923.tif 000037
【０２５１】
およびパラメータＺｍは、以下の（式３０）および（式３１）のように表すことができる。
【０２５２】
【数３６】
2011080923.tif 000038
【０２５３】
【数３７】
2011080923.tif 000039
【０２５４】
ここで、Ｃｍは圧縮された非線形空間上でサブクラスθｍに属するデータ数である。
【０２５５】
以下、具体的なクラスタリングの方法について説明する。まず、以下の（式３２）の距離関数を用いて、データｚｉが属するサブクラスθｍを求める。
【０２５６】
【数３８】
2011080923.tif 000040
【０２５７】
ここで、ψｍ（ｚｉ）は、画素ｉの移動軌跡に対応するデータｚｉとそれぞれのサブクラスθｍとの距離を示すものである。各データは、距離ψｍ（ｚｉ）が最小値をとるサブクラスθｍに属するものとする。なお、φｍ（ｚｉ）はマハラノビス距離であり、
【０２５８】
【数３９】
2011080923.tif 000041
【０２５９】
である。また、φｍ（ｚｉ）をψｍ（ｚｉ）の代わりとして用いても構わない。
【０２６０】
また、ｐ（ｚｉ）は、尤度関数の枠組みにおけるｚｉの事前確率である。したがって、ｐ（ｚｉ）は、一定値としても構わないし、対象シーンが人物など決まった被写体を含むことが既知である場合、人物部位の形状や面積比等をもとにあらかじめ設定しても良い。特にデータｚｉの密度に偏りがある場合には有効である。例えば、データｚｉの密度が高いことが分かっているときに、密なデータｚｉを同じサブクラスにしたい場合は、対応する事前確率ｐ（ｚｉ）を大きく設定すればよい。逆にデータｚｉを細かく異なるサブクラスに分割したい場合は、対応する事前確率ｐ（ｚｉ）を小さく設定すればよい。なお、ここでのデータｚｉの密度は、画像空間上の密度でもよいし、圧縮された非線形空間上の密度でもよい。
【０２６１】
次に、（式３２）の計算結果から、サブクラスθｍに属するデータｚｉを用いて、以下のようにサブクラスθｍのパラメータ
【０２６２】
【数４０】
2011080923.tif 000042
【０２６３】
およびパラメータＺｍを更新する。
【０２６４】
【数４１】
2011080923.tif 000043
【０２６５】
【数４２】
2011080923.tif 000044
【０２６６】
ここで、ｚｃｍは、サブクラスθｍに属する圧縮された非線形空間上のデータである。また、ωはサブクラスθｍに対する重み係数であり、ω＝１としても良いし、入力データの平均値からのずれ具合によってωの値を調整しても良い。このように、（式３２）から（式３５）の距離計算およびパラメータ更新を規定回数繰り返すことによって、非線形空間上の各データが属するサブクラスθｍを得ることができる。なお、上記に加えて、ｋ−ｍｅａｎ、競合学習など、他のクラスタリング方法を用いても構わない。
【０２６７】
図２２（ｄ）に非線形空間上のデータに対しクラスタリングした例を示す。なお、次元圧縮したデータ分布図に、対応する人物領域を併記している。圧縮された非線形空間上でのサブクラスθ１からθ２についてピクチャ上での対応を見ると、θ１は人物頭部、θ２は人物胴体、というように、人体の各パーツに、各サブクラスが対応している。
【０２６８】
ここで、人体の各パーツが圧縮された非線形空間上のサブクラスに対応するのは、時間的に連続した複数枚のピクチャに渡って画素を追跡したことによる。圧縮された非線形空間上でクラスタリングを行うことによって、ピクチャ中を移動する物体の領域を時間的に追跡した結果として、ピクチャ中の移動する被写体ごとに画像領域を抽出することができる。
【０２６９】
本実施の形態の変形例２では、前処理として人物候補領域を設定する必要がない。このため、人物候補領域の検出ミスに起因する失敗がない。したがって、膨大なパラメータフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって安定に、形状が変化しながら移動する人物等を含むピクチャをクラスタリングできるという効果がある。
【０２７０】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０２７１】
（実施の形態１の変形例３）
次に、本発明の実施の形態１の変形例３における関節状領域検出装置について説明する。
【０２７２】
実施の形態１で説明した関節状領域検出装置において、サブクラス分類部１０５は、ユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを算出するものとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。以下、測地距離を複数生成することで、サブクラスの候補を生成し、それらの候補から選択してサブクラスを生成する例について説明する。
【０２７３】
図２３（ａ）は、実施の形態１の変形例３における関節状領域検出装置の構成を示す図である。図２３（ａ）に示すように、関節状領域検出装置は、画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３および出力部１０４を含む。関節状領域検出部１０３は、サブクラス分類部２２０１、距離算出部１０６および領域検出部１０７を含む。
【０２７４】
サブクラス分類部２２０１以外の構成要素については、実施の形態１と同じであるため、説明を省略する。本実施の形態の変形例３におけるサブクラス分類部２２０１の構成を図２３（ｂ）に示す。
【０２７５】
サブクラス分類部２２０１は、距離算出部２２０２、サブクラス候補生成部２２０３およびサブクラス候補選択部２２０４を備える。
【０２７６】
サブクラス分類部２２０１では、まず距離算出部２２０２にて、移動軌跡算出部１０２で算出した移動軌跡からユークリッド距離ｆ（ｉ，ｊ）を算出したのち、算出した距離マトリクスに対して、複数の判断基準を設けて測地距離変換を行い、測地距離ｇ（ｉ，ｊ）を求める。次にサブクラス候補生成部２２０３で、移動軌跡間の距離の分布における不連続点を閾値によって検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスとなるように、連続に分布する移動軌跡をクラスタリングすることによって、前記閾値に対するサブクラスの候補を生成する。最後に、サブクラス候補選択部２２０４において、クラス数についての指示を取得し、取得したクラス数に近い個数の領域に分割された領域抽出候補を、サブクラス候補生成部２２０３で生成された複数の領域抽出候補から選択し、選択したサブクラス候補を、移動軌跡算出部１０２で算出された移動軌跡からサブクラス化した結果として出力する。すなわち、サブクラス候補生成部２２０３で生成した、それぞれの前記閾値に対する領域抽出の候補から、あらかじめ定めたクラス数に最も近いクラスタリング結果を選択する。
【０２７７】
以下、サブクラス分類部２２０１の動作について説明する。
【０２７８】
まず距離算出部２２０２において、ユークリッド距離ｆ（ｉ，ｊ）を算出する。この手順は実施の形態１で説明したユークリッド距離算出部７０１と同じであるため、説明を省略する。距離算出部２２０２は、求めたユークリッド距離ｆ（ｉ，ｊ）に対してＫ個の閾値Ｒｋを定める。距離算出部２２０２は、それぞれの定めた閾値Ｒｋに対して非線形化処理を行い閾値Ｒｋに対する測地距離であるところのｇｋ（ｉ，ｊ）を算出する。ここで、各閾値Ｒｋに対応する測地距離ｇｋ（ｉ，ｊ）の算出手順は、実施の形態１で記した距離算出部１０６での動作と同じであるため、説明を省略する。
【０２７９】
次に、サブクラス候補生成部２２０３では、それぞれの閾値Ｒｋに対応する測地距離ｇｋ（ｉ，ｊ）を用いて、不連続点を検出することによってサブクラス候補生成を行う。具体的には、サブクラス候補生成部２２０３は、ｇｋ（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間を不連続点とする。上記手順について、図２４を参照して説明する。図２４（ａ）に移動軌跡ａ〜ｈを示し、図２４（ｂ）に移動軌跡ａ〜ｈからなる多次元空間の概念図を示す。
【０２８０】
もし閾値Ｒｋが十分に大きな値である場合、例えば、ユークリッド距離ｆ（ｉ，ｊ）の最大値よりも閾値Ｒｋが大きい場合には、測地距離ｇｋ（ｉ，ｊ）は、すべてのｉ，ｊの組合せにおいて無限大にならない。すなわち、不連続点が１点もないため、図２４（ｃ）に示すようにサブクラスは１個と判断できる。一方、閾値Ｒｋが十分に小さい場合、具体的には、ｆ（ｉ，ｊ）の最小値よりも閾値Ｒｋが小さい場合には、すべてのｉ，ｊの組合せにおいてｇｋ（ｉ，ｊ）が無限大となる。すなわち、サブクラス数は移動軌跡の数と同数となる。したがって、閾値Ｒｋをｆ（ｉ，ｊ）の最大値と最小値の間の値に設定して、それぞれサブクラス分類を行うことが効率的である。図２４（ｄ）、図２４（ｅ）にそのようにして定めた閾値を適用した例を示す。
【０２８１】
閾値をＲ１として設定した場合、図２４（ｄ）のように測地距離ｇ１（ｅ，ｆ）は無限大となる。そこで、サブクラス候補生成部２２０３は、移動軌跡ｅと移動軌跡ｆとの間を不連続点と判定する。この結果、移動軌跡ａからｄの各移動軌跡と移動軌跡ｅとの測地距離は不連続点を通らないため無限大の値を取らず、逆に移動軌跡ｆからｈの各移動軌跡と移動軌跡ａからｅの各移動軌跡との測地距離は、不連続点ｇ１（ｅ，ｆ）を通るためそれぞれ無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じサブクラスに属すると判定し、無限大となる場合は別のサブクラスに属すると判定する。これによって、図２４（ｄ）に示すように、データ点はθ１、θ２の２つのサブクラスに分離される。さらに、別の閾値をＲ２（ただし、Ｒ１＞Ｒ２）と定めた例について、図２４（ｅ）に示す。それぞれ、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡ｅと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定し、図２４（ｄ）の場合と同様に測地距離が無限大となる組と無限大にならない組とを整理してθ１、θ２、θ３、θ４の合計４つのサブクラスに分離される。
【０２８２】
以上の処理により、サブクラス候補生成部２２０３は、複数の閾値Ｒｋに対して、測地距離が無限大とならない移動軌跡の組は連続とすることで同じサブクラスと判定することができる。また測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとにサブクラス候補を複数生成することができる。
【０２８３】
次に、サブクラス候補選択部２２０４は、サブクラス候補生成部２２０３でのサブクラス候補生成結果より、あらかじめ設定した数に最も近いクラス数となったサブクラス候補を、最終結果として選択する。図２４の例で説明すると、クラス数Ｍ＝４と設定した場合には、閾値Ｒ２の時のサブクラス候補（図２４（ｅ））が選択される。また、クラス数Ｍ＝２と設定した場合には、閾値Ｒ１の時のサブクラス候補（図２４（ｄ））が選択され、各移動軌跡について、指定したサブクラス数に最も近くなるようサブクラス分類が実行される。なお、クラス数Ｍについてはここでは２、４を取り上げたが、実際はより多い数が望ましく、シーンの状況や経験によって任意に定めることができる。
【０２８４】
なお、本実施の形態の変形例３では、ユークリッド距離と測地距離を利用することによって、画素の位置と動きの類似性とを考慮したサブクラス分類が可能となる。図２４の例では、クラス数Ｍ＝２と設定した場合には、下半身の動きが上半身の動きと大きく異なることが反映されて、上半身と下半身とが別々のサブクラスとなる。またクラス数Ｍ＝４と設定した場合には、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違い、上腿と下腿との動きの違いが反映され、頭部、腕、上腿（じょうたい）、下腿（かたい）が別々のサブクラスとなる。
【０２８５】
なお、閾値Ｒｋの数は何種類用意してもかまわない。また、設定したクラス数と同数のサブクラス候補がない場合には、最も近いサブクラス数となったものを選択してもよいし、設定したクラス数よりも小さいクラス数の中から一番近いサブクラス数となったサブクラス候補を選択してもよい。また同様に、設定したクラス数よりも大きいクラス数の中から一番近いサブクラス数となったサブクラス候補を選択してもよい。
【０２８６】
このように、複数の閾値に対して、測地距離を用いて算出した不連続点をもとにサブクラス候補生成を行い、規定したクラス数に最も近いサブクラス候補を選択することによってサブクラス分類を行うことができる。
【０２８７】
以上のようにして、本実施の形態およびその変形例に係る関節状領域検出装置および方法では、画素間の距離または移動軌跡の類似度に基づいてサブクラス化を行い、さらにサブクラス間のユークリッド距離と測地距離の情報から、関節物体の姿勢によらずに、移動体を含むピクチャ中の関節状領域、または、関節状動きを有する部位の検出、関節状領域または関節状動きを有する移動体を含むピクチャの領域分割をすることができる。
【０２８８】
また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域分割の失敗がない。したがって、膨大なパラメータのフィッティングを必要とせずに、ユークリッド距離と測地距離を定めた閾値との単純に比較するだけで、形状が変化しながら移動する人物等を含むピクチャに対しても正しく関節状領域の検出を行い、これによってピクチャ中の移動体の検出も正しく行えることとなる。
【０２８９】
また、上記実施の形態における関節状領域検出装置１００は、画像入力部１０１および移動軌跡算出部１０２を備えたが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおけるピクチャの移動軌跡が予め算出されている場合には、関節状領域検出装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ２０３〜Ｓ２０７の処理を実行してもよい。
【０２９０】
また、本発明は、関節状領域検出装置として実現されたが、関節状領域検出部１０３の機能を持つものであれば、動画像において関節状動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置として実現することができるのは言うまでもない。
【０２９１】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０２９２】
（実施の形態２）
上記した実施の形態１およびその変形例では、関節状領域検出の結果として、人物領域、または関節状領域をディスプレイに表示したが、関節状領域検出の結果の利用方法としては、このような応用に限られず、例えば、人物または移動体の動作認識に応用してもよい。
【０２９３】
具体的には、本発明に係る関節状領域検出装置は、上記実施の形態における構成要素に加え、動作認識部を備えてもよい。本実施の形態における関節状領域検出部の構成を図２５に示す。関節状領域検出装置１００は、実施の形態１の関節状領域検出装置１００の構成に加え、領域検出部１０７と出力部１０４との間に、動作認識部２４０１を備えている。動作認識部２４０１は、関節状領域検出部１０３で得られた関節状領域検出結果に基づいて、各関節状動きをなすサブクラス間の角度をデータとして蓄積しておき、その情報をもとに移動体の動作を認識する。つまり、動作認識部２４０１は、領域検出部１０７で検出された領域に含まれる関節状動きをなす複数のサブクラス間の角度を算出し、算出した角度と、人物の動作パターンごとに予め定められている角度とを比較することにより、被写体の動作を認識する。以下、図２６Ａおよび図２６Ｂを参照しながら動作認識部２４０１の動作について説明する。
【０２９４】
図２６Ａに、ある定められた作業を行っている作業者を示す。例えば、図２６Ａ（ａ）に示すように、作業者が、１番目の操作として、部品＃５の取付けを行い、図２６Ａ（ｂ）に示すように、作業者が、２番目の操作として、部品＃１０の取付けを行ったとする。作業者の動作をとらえる位置に設置されたカメラ１１０より入力されたピクチャに対し、サブクラスθｉとθｊが関節状動きを構成する関節状領域として検出されたものとする。図２６Ａ（ｃ）は、図２６Ａ（ａ）に示すピクチャにおける関節状領域を示し、図２６Ａ（ｄ）は、図２６Ａ（ｂ）に示すピクチャにおける関節状領域を示している。
【０２９５】
図２６Ａ（ｃ）に示すように、ある時刻でのサブクラスθｉ２５０１ａおよびサブクラスθｊ２５０２ａ、並びにその間をつなぐ関節部２５０３ａが得られると、サブクラスθｉ２５０１ａとサブクラスθｊ２５０２ａとのなす角度は、各サブクラスの重心および関節部２５０３ａより求めることができる。
【０２９６】
具体的には、サブクラスθｉ２５０１ａの重心をｗｉ（ｘｉ，ｙｉ）、サブクラスθｊ２５０２ａの重心をｗｊ（ｘｊ，ｙｊ）と表現すると、関節部Ｊｎｔ（ｘｊｎｔ，ｙｊｎｔ）２５０３ａを挟んでピクチャ上でなす角φｉｊ２５０４ａは、ベクトルの内積を用いて（式３６）のように、求められる。
【０２９７】
【数４３】
2011080923.tif 000045
【０２９８】
ここで、図２６Ａ（ｄ）に示すように、上記角φｉｊ２５０４ａを含むピクチャ（図２６Ａ（ａ））に隣接するピクチャ（図２６Ａ（ｂ））における、サブクラスθｉ２５０１ｂ、サブクラスθｊ２５０２ｂ、関節部Ｊｎｔ２５０３ｂが、ピクチャ上でなす角φｉｊ２５０４ｂについても同様に（式３６）で求めることができる。
【０２９９】
ここで、（式３６）に示される関節部の角度を用いると、例えばあるべき角度として図２６Ａ（ｅ）の破線の矢印で示される関節角度φ´ｉｊ２５０４ｃが与えられたときに、動作認識部２４０１は、与えられた関節角度φ´ｉｊ２５０４ｃと、図２６Ａ（ｄ）に示す実際に観測された関節角度φｉｊ２５０４ｂと比較して、比較結果を出力部１０４に対して出力する。
【０３００】
最後に、出力部１０４は、関節角度があるべき角度と異なっていた場合は、図２６Ａ（ｆ）に示すように、作業手順にミスがあったとして、警告メッセージ２５０５を提示する。それによって作業ミスを作業者に知らせることができる。本実施の形態ではディスプレイ１２０に提示しているが、もちろん、メッセージは音声でもよい。
【０３０１】
（実施の形態２の変形例１）
図２６Ｂに、別の動画像に対する、動作認識結果の例を示す。
【０３０２】
図２６Ａには、人物が１人含まれる動画像を入力として、作業時の支援を行う例を示したが、動作認識部２４０１の処理内容をこれに限るものではない。以下では、実施の形態２の変形例として、人物に代表される多数の移動体を含むピクチャを入力として、それぞれの移動体の動作を認識、表示させる例について説明する。
【０３０３】
認識させたい動作について、ある一定のパターンを仮定する。例として、図２６Ｂに示すような［ｗａｌｋｉｎｇ（歩行）、ｄａｎｃｉｎｇ（踊り）、ｒｕｎｎｉｎｇ  ｔｏｗａｒｄｓ（こちらへ向かって走る）、ｈｉｔｔｉｎｇ（殴る）、ｔｒｅｍｂｌｉｎｇ（倒れる）、ｅｔｃ（その他）］の６パターンを仮定したとする。それぞれのパターンについて、関節部の数とその角度、および人物領域中での位置をデータとして予めメモリ（図示せず）に蓄積しておく。最も簡易な手法としては、蓄積したデータの平均値をメモリに格納しておくとよい。また、人の動作は時間変化を伴うため、これらのデータは一定の時間長を持つ時系列データとして蓄積・利用することが望ましい。もちろん、学習の手法はこれに限るものではない。
【０３０４】
続いて、カメラ１１０より入力した移動体を含むピクチャに対して、関節状領域検出部１０３は、関節状領域検出を行い、関節状領域検出部１０３の処理結果から、動作認識部２４０１にて関節部の数とその角度、および人物領域中での位置を取得する。動作認識部２４０１は、上述した予め蓄積されているデータ、またはデータの平均値と比較し、最も近い動作を、その移動体の動作として決定し、移動体領域に決定した動作に対応するラベル付けを行い、出力部１０４に出力することで、動作認識を行う。
【０３０５】
最後に、出力部１０４は、動作認識ラベルと移動体領域の情報を用い、ディスプレイ１２０に図２６Ｂのようなピクチャとして、動作認識結果を表示する。以上のようにして、踊っている移動体には「ｄａｎｃｉｎｇ」、歩いている移動体には「ｗａｌｋｉｎｇ」等と付記してディスプレイにピクチャを表示することで、殴っている「ｈｉｔｔｉｎｇ」などの異常行動に監視者が気づくよう促すことができる。また、ディスプレイだけでなく、異常行動について音声等で警告を発してもよい。
【０３０６】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０３０７】
（実施の形態３）
以下で、本発明の実施の形態３について説明する。
【０３０８】
関節状領域の検出結果の利用方法としては、実施の形態１および２で例示したような応用例に限られず、例えば、置き去り検知に応用することもできる。
【０３０９】
具体的には、本実施の形態に係る関節状領域検出装置は、実施の形態１における関節状領域検出装置の構成要素に加え、動作検知部を備えていてもよい。
【０３１０】
本実施の形態における関節状領域検出装置の構成を図２７に示す。実施の形態１に係る関節状領域検出装置１００の構成に加え、本実施の形態に係る関節状領域検出装置１００は、領域検出部１０７と出力部１０４との間に、動作検知部２６０１を備えている。動作検知部２６０１は、関節状領域検出部１０３で得られた関節状領域検出結果に基づいて、関節状動きをなすサブクラス間の関節数をデータとして蓄積しておき、その情報をもとに移動体の接続数の変化を検出する。以下、図２８を参照しながら動作検知部２６０１の動作について説明する。
【０３１１】
図２８（ａ）および図２８（ｂ）に示すように、ある移動体が通り過ぎざまにバッグを持ち去ったとすると、関節状領域の関節数に、変化が生じる。
【０３１２】
つまり、両方矢印で示される関節２７０１の数が、当初（図２８（ａ））は８である。その後、図２８（ｂ）に示すように、移動体がある物体を持ち去ると、図２８（ｃ）に示すように、関節数が、９に増加する。
【０３１３】
動作検知部２６０１は、このような関節数の増加を捉えることにより、物体の持ち去りを検出することができる。逆に、関節数の減少をとらえることで、置き去り検知にも利用可能である。
【０３１４】
以上の手順により、動作検知部２６０１は置き去り・持ち去りの有無を出力部１０４に出力し、最終的に出力部１０４が、図２８（ｄ）のように、ディスプレイに警報を表示し、監視者に知らせることができる。もちろん、警報は画像のみならず音声でもよい。
【０３１５】
本発明の本実施の形態を用いれば、その他同様なセキュリティ・監視分野への本発明の応用も可能である。
【０３１６】
なお、上述の実施の形態１〜３における２つのサブクラス間の測地距離を、２つのサブクラス内の移動軌跡間の距離に基づいて正規化を行うようにしてもよい。
【０３１７】
また、上述の実施の形態１〜３における２つのサブクラス間のユークリッド距離を、２つのサブクラス内の移動軌跡間のユークリッド距離に基づいて正規化を行うようにしてもよい。
【０３１８】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０３１９】
（実施の形態４）
以下で、本発明の実施の形態４について説明する。
【０３２０】
関節状領域検出装置の構成および関節状領域の検出方法は、実施の形態１〜３で示した例に限られず、例えば以下に示す構成および方法で実現することもできる。
【０３２１】
具体的には、本実施の形態に係る関節状領域検出装置は、実施の形態１における関節状領域検出装置１００のように、関節状領域検出装置１００の内部に設けられたサブクラス分類部１０５で移動軌跡をサブクラスに分類する代わりに、移動軌跡をサブクラスに分類した結果を外部から取得して用いる。
【０３２２】
図２９Ａは、移動軌跡をサブクラスに分類した結果を示す分類情報を作成する分類情報作成装置の構成を示すブロック図である。
【０３２３】
分類情報作成装置３００は、画像入力部１０１、移動軌跡算出部１０２およびサブクラス分類部１０５を備える。画像入力部１０１、移動軌跡算出部１０２およびサブクラス分類部１０５が実行する処理は、実施の形態１に示したものと同様である。このため、その詳細な説明はここでは繰り返さない。ただし、サブクラス分類部１０５は、移動軌跡をサブクラスに分類した結果である分類情報２８０２を、分類情報作成装置３００の外部に設けられた記憶部２８００に記憶する。記憶部２８００は、ＣＤ−ＲＯＭなどの記録媒体である。分類情報２８０２は、動画像を構成する複数枚のピクチャにわたる、各々がピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類した結果を示す。
【０３２４】
図２９Ｂは、本実施の形態における関節状領域検出装置の構成を示すブロック図である。
【０３２５】
図１に示した実施の形態１に係る関節状領域検出装置１００の構成における、移動軌跡算出部１０２、関節状領域検出部１０３および出力部１０４が実行する処理は、必ずしも同一の関節状領域検出装置で行われる必要はない。つまり、距離算出部１０６および領域検出部１０７が関節状領域検出装置に含まれていれば、実施の形態１と同等の効果を得ることができる。
【０３２６】
本実施の形態に係る関節状領域検出装置４００は、関節状領域検出部２８０３と、出力部１０４とを備える。
【０３２７】
関節状領域検出部２８０３は、記憶部２８００に記憶されている分類情報２８０２を参照し、小領域間の移動軌跡の時間変化に基づいて、関節状動きを行う関節状領域の検出を行う処理部である。関節状領域検出部２８０３は、サブクラス取得部２８０１、距離算出部１０６および領域検出部１０７を備える。
【０３２８】
サブクラス取得部２８０１は、記憶部２８００に記憶されている分離情報２８０２を、記憶部２８００から読み込むことにより取得する。
【０３２９】
距離算出部１０６は、サブクラス取得部２８０１が取得した分類情報２８０２に基づいて、実施の形態１で説明したのと同様の方法により、サブクラスごとに、他のサブクラスとの間の移動軌跡および測地距離を算出する。
【０３３０】
領域検出部１０７は、実施の形態１で説明したのと同様の方法により、関節状動きを有する領域を検出する。
【０３３１】
本実施の形態における関節状領域検出装置４００の動作を表すフローチャートを図３０に示す。図３０において、ステップＳ３０３およびＳ３０４は、それぞれ図２９Ｂの関節状領域検出部２８０３および出力部１０４に対応している。すなわち、関節状領域検出部２８０３では関節状領域検出ステップＳ３０３、出力部１０４では画像出力ステップＳ３０４の各動作を実行する。また、ステップＳ２９００、Ｓ３０６およびＳ３０７は、それぞれ図２９Ｂのサブクラス取得部２８０１、距離算出部１０６および領域検出部１０７に対応している。すなわち、サブクラス取得部２８０１では分類情報取得ステップＳ２９００、距離算出部１０６では距離算出ステップＳ３０６、領域検出部１０７では領域検出ステップＳ３０７の各動作を実行する。距離算出ステップＳ３０６、領域検出ステップＳ３０７および画像出力ステップＳ３０４の各動作は、実施の形態１に示したものと同様である。
【０３３２】
実施の形態１におけるサブクラス分類部１０５では、移動軌跡をサブクラスに分類する処理を行っている。本実施の形態におけるサブクラス取得部２８０１は、別途あらかじめサブクラスへの分類を行っておいた移動軌跡の分類結果情報である分類情報２８０２を取得し、各移動軌跡がどのサブクラスに属するかという情報（分類情報２８０２）を、距離算出部１０６へ出力する。
【０３３３】
以下、サブクラス取得部２８０１の動作について説明する。
【０３３４】
複数の移動軌跡を、各々が少なくとも１つの移動軌跡を含む複数のサブクラスへ分類する、実施の形態１におけるサブクラス分類部１０５は、必ずしも本発明における関節状領域検出装置に含まれる必要はない。
【０３３５】
というのも、サブクラスとは、各移動軌跡を、ある定めた指標によってクラスタリングしたものであるため、そのようなクラスタリングが事前に外部の装置またはソフトウェアによって行われるような場合は、関節状領域検出装置内で改めてクラスタリングをする必要がないからである。
【０３３６】
本実施の形態では、外部であらかじめ移動軌跡をサブクラスへ分類した分類結果を示す分類情報２８０２を、サブクラス取得部２８０１が取得し、取得した分類情報２８０２を距離算出部１０６および領域検出部１０７で利用する。
【０３３７】
まず、サブクラス取得部２８０１が取得するデータについて、いくつかの例を用いて説明し、その後、データの取得方法について説明する。
【０３３８】
図３１Ａ〜図３１Ｃを用いて、サブクラス取得部２８０１が取得する分類情報２８０２の一例について説明する。
【０３３９】
図３１Ａは、１フレームから４フレームにわたって算出された、ピクチャ間の対応点である移動軌跡を示す。実際の画像では通常、より多くの移動軌跡が算出されるが、ここでは簡単のため移動軌跡が５本算出されたものとする。
【０３４０】
（１サブクラスが１移動軌跡を含む場合）
まずは、最も単純なケースである、１つのサブクラスが１つの移動軌跡に対応する場合について説明する。
【０３４１】
サブクラス取得部２８０１は、各移動軌跡がどのサブクラスに属するかという情報を取得する。したがって、図３１Ｂに示すような分類情報２８０２が記憶部２８００に保存されていれば、取得して用いることができる。
【０３４２】
具体的には、分類情報２８０２は、フレーム数に対応する軌跡長（ここでは４）、軌跡長（ここでは４フレーム）にわたり追跡された移動軌跡の数（ここでは５）、および分類先のサブクラスの総数（ここでは５）、および各サブクラスのデータ（各対応点の画素座標と、輝度情報を並べたもの）を少なくとも含んでいればよい。例えば、１つ目の移動軌跡の１フレーム目のピクチャ上の座標は、（ａｘ１，ａｙ１）であり、その座標の輝度値はａＣ１であることが示されている。
【０３４３】
なお、ここで輝度情報が必要である理由は、出力部１０４が元の画像をディスプレイ１２０に表示するためであり、関節状領域の検出自体については、各サブクラスのデータに画素座標の情報が少なくとも含まれていれば実現できる。このため、目的と場合によっては、輝度情報を省略することで、よりデータの大きさを削減することも可能である。
【０３４４】
また、特にこの場合、１つのサブクラスが１つの移動軌跡に対応するため、サブクラス数と移動軌跡数は等しい。従って、図３１Ｃに示すように、分類情報２８０２は、フレーム数（軌跡長）、移動軌跡数、および各移動軌跡のデータ（各対応点の画素座標と、輝度情報を並べたもの）を含んでいればよい。すなわち、分類情報２８０２に移動軌跡のみの情報が含まれていてもよいため、実際には外部でサブクラス分類が行われたかどうかに関わらず、関節状領域検出装置４００は、図３１Ｃに示したような情報が含まれる分類情報２８０２を取得し、関節状領域を検出することができる。
【０３４５】
サブクラス取得部２８０１が分類情報２８０２を取得した後、距離算出部１０６が移動軌跡間距離を算出し、領域検出部１０７がサブクラス間の代表測地距離および代表ユークリッド距離を求め、関節状動きを有する領域を検出する。
【０３４６】
図３１Ａ〜図３１Ｃの例において、注意すべき点は、それぞれのサブクラスが１移動軌跡よりなるという点である。距離算出部１０６での各移動軌跡間の距離算出手順は、サブクラスに含まれる移動軌跡数に影響を受けない。領域検出部１０７では、サブクラス間距離の算出、すなわち（式１４）、（式１５）によって代表測地距離および代表ユークリッド距離を算出していた。しかし、これらの式は、１サブクラスが１移動軌跡の場合、すなわち上述のケースでも成り立つ式であり、本実施の形態の図３１Ａの例においても計算上何ら問題はない。
【０３４７】
以上のように、本発明は各サブクラスが１移動軌跡からなるサブクラス、すなわち移動軌跡そのものに対しても関節状領域検出が可能である。しかし、領域検出部１０７が（式１４）により算出する代表測地距離、および（式１５）により算出する代表ユークリッド距離は、異なるサブクラスの移動軌跡間で定義される距離の平均、中央値、または最頻値である。このため、サブクラスの有する移動軌跡数が、１つよりも複数の方が、計算上安定するとともに、計算の高速化にも寄与できるといえる。したがって、実際は各サブクラスの含む移動軌跡は複数あったほうが望ましい。以下で、各サブクラスの含む移動軌跡が複数である例について説明する。
【０３４８】
（１サブクラスが複数の移動軌跡を含む場合）
図３２Ａおよび図３２Ｂを用いて、サブクラス取得部２８０１が取得する分類情報２８０２の別の例について説明する。
【０３４９】
図３２Ａは、図３１Ａと同じく、１フレームから４フレームにわたって算出された、ピクチャ間の対応点である移動軌跡が５本算出された場合を示す図である。
【０３５０】
図３１Ａと異なる点は、１つのサブクラスが複数の移動軌跡を含む点である。
【０３５１】
図３２Ａのｔ＝１のフレーム上に示す点線の楕円で、それぞれ算出された１つのサブクラスを表すとすると、図３１Ａでも参照した点ａ〜ｅについて、点ａとｂが同じサブクラス（クラス１）に、点ｄとｅが別の同じサブクラス（クラス３）に分類されることがわかる。
【０３５２】
この場合に、記憶部２８００に保存される分類情報２８０２の例を図３２Ｂに示す。具体的には、分類情報２８０２は、フレーム数に対応する軌跡長（ここでは４）、軌跡長（ここでは４フレーム）にわたり追跡された移動軌跡の数（ここでは５）、分類先のサブクラスの総数（ここでは３）、および各サブクラスのデータ（各対応点の画素座標と、輝度情報を並べたもの）を少なくとも含んでいればよい。例えば、１つ目のサブクラス（クラス１）には２つの移動軌跡が属しており、そのうちの１つ目の移動軌跡の１フレーム目のピクチャ上の座標は、（ａｘ１，ａｙ１）であり、その座標の輝度値はａＣ１であることが示されている。また、２つ目の移動軌跡の１フレーム目のピクチャ上の座標は、（ｂｘ１，ｂｙ１）であり、その座標の輝度値はｂＣ１であることが示されている。
【０３５３】
図３１Ｂおよび図３１Ｃの場合と同様に、ここで輝度情報が必要である理由は、出力部１０４が元の画像をディスプレイ１２０に表示するためであり、関節状領域の検出自体については、各サブクラスのデータに画素座標の情報が少なくとも含まれていれば実現できる。このため、目的と場合によっては、輝度情報を省略することで、よりデータの大きさを削減することも可能である。
【０３５４】
特にこの場合、１つのサブクラスが複数の移動軌跡に対応する。
【０３５５】
サブクラス取得部２８０１が分類情報２８０２を取得した後、距離算出部１０６が移動軌跡間距離を算出し、領域検出部１０７がサブクラス間の代表測地距離および代表ユークリッド距離を求め、関節状動きを有する領域を検出する。領域検出部１０７が（式１４）により算出する代表測地距離、および（式１５）による算出する代表ユークリッド距離は、異なるサブクラス間の移動軌跡間で定義される距離の平均、中央値、または最頻値である。このため、サブクラスの有する移動軌跡数が、１つよりも複数である本実施の形態の図３２Ａおよび図３２Ｂの例は、計算上の安定および高速化に貢献できる。
【０３５６】
以上説明した分類情報２８０２は、様々な形態で保存されうる。例えば、記憶部２８００として、外部メモリやサーバのメモリに分類情報２８０２を格納しておくことが可能である。また、記憶部２８００として、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）カード、ＣＤまたはＤＶＤ−ＲＯＭ等の記録媒体に、分類情報２８０２を記録しておくことも可能である。記録された分類情報２８０２は、有線または無線経由で読み出すことが可能である。具体的には、ＵＳＢケーブル等のＰＣケーブルもしくはカードリーダを経由する、または有線もしくは無線のネットワーク、放送等により伝送されることで、サブクラス取得部２８０１は分類情報２８０２を取得することができる。
【０３５７】
以上より、本実施の形態では、分類情報作成装置３００によって、例えば色、動き等の指標に基づいて、移動軌跡のクラスタリングが行われる。関節状領域検出装置４００は、クラスタリングされた移動軌跡を取得し、領域検出処理を行なう。
【０３５８】
以上の手順により、関節状領域検出装置４００は、各移動軌跡が所属するサブクラスについての情報を、内部で計算することなく、外部から取得する。以上の構成によっても、動画像中において、人物のように、姿勢や位置、大きさなどが時間的に変化するような関節状動きを有する移動体の関節状領域を検出することで、画像中の移動体を確実に検出することができる。
【産業上の利用可能性】
【０３５９】
本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含むピクチャを領域抽出することによってピクチャ中の移動体を検出する関節状領域検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる関節状領域検出装置等として利用することが可能である。
【符号の説明】
【０３６０】
１００、４００    関節状領域検出装置
１０１    画像入力部
１０２    移動軌跡算出部
１０３    関節状領域検出部
１０４    出力部
１０５    サブクラス分類部
１０６    距離算出部
１０７    領域検出部
１１０    カメラ
１２０    ディスプレイ
２００    コンピュータ
２０１    Ｉ／Ｆ
２０２    ＣＰＵ
２０３    ＲＯＭ
２０４    ＲＡＭ
２０５    ＨＤＤ
２０６    ビデオカード
３００    分類情報作成装置
７０１、９０１    ユークリッド距離算出部
７０２    クラスタリング部
９０２    測地距離算出部
９０３    ユークリッド距離ロード部
１２０１    クラス間距離算出部
１２０２    距離比較部
２８００    記憶部
２８０１    サブクラス取得部
２８０２    分類情報
２８０３    関節状領域検出部
【図１】
2011080923.tif 000046
【図２】
2011080923.tif 000047
【図３】
2011080923.tif 000048
【図４】
2011080923.tif 000049
【図５】
2011080923.tif 000050
【図６】
2011080923.tif 000051
【図７】
2011080923.tif 000052
【図８】
2011080923.tif 000053
【図９】
2011080923.tif 000054
【図１０】
2011080923.tif 000055
【図１１】
2011080923.tif 000056
【図１２】
2011080923.tif 000057
【図１３】
2011080923.tif 000058
【図１４】
2011080923.tif 000059
【図１５】
2011080923.tif 000060
【図１６】
2011080923.tif 000061
【図１７Ａ】
2011080923.tif 000062
【図１７Ｂ】
2011080923.tif 000063
【図１７Ｃ】
2011080923.tif 000064
【図１８Ａ】
2011080923.tif 000065
【図１８Ｂ】
2011080923.tif 000066
【図１８Ｃ】
2011080923.tif 000067
【図１９】
2011080923.tif 000068
【図２０】
2011080923.tif 000069
【図２１】
2011080923.tif 000070
【図２２】
2011080923.tif 000071
【図２３】
2011080923.tif 000072
【図２４】
2011080923.tif 000073
【図２５】
2011080923.tif 000074
【図２６Ａ】
2011080923.tif 000075
【図２６Ｂ】
2011080923.tif 000076
【図２７】
2011080923.tif 000077
【図２８】
2011080923.tif 000078
【図２９Ａ】
2011080923.tif 000079
【図２９Ｂ】
2011080923.tif 000080
【図３０】
2011080923.tif 000081
【図３１Ａ】
2011080923.tif 000082
【図３１Ｂ】
2011080923.tif 000083
【図３１Ｃ】
2011080923.tif 000084
【図３２Ａ】
2011080923.tif 000085
【図３２Ｂ】
2011080923.tif 000086
【手続補正書】
【提出日】平成23年3月24日(2011.3.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像から構成される動画像中の動き情報に基づき、画像中の移動体を検出する技術に関する。特に人物のように輪郭の形状が変化しながら移動する対象に対し、そのような対象が特徴的に有する関節状領域を検出することで、移動体の領域を検出する関節状領域検出装置に関する。
【背景技術】
【０００２】
移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。特に移動体が人である場合に、人の領域を抽出する技術は、デジタルビデオカメラやデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、または、ロボットにおける人との衝突回避制御もしくは警報などに、共通して利用される基礎技術である。
【０００３】
画像中の移動体の領域を抽出する技術のうち、一般的な手法として、（１）あらかじめ用意した移動体のモデルと画像中の移動体の候補領域との類似度を評価して、移動体の領域を特定する方法と、（２）画像を複数の小領域に分割して、領域ごとに特徴量を算出し、特徴量を基準として類似する領域を統合することで移動体の領域を特定する方法との２つがある。
【０００４】
前者の代表的な手法として、画像から移動体領域の候補を抽出したのち、抽出した移動体領域の候補に対し、あらかじめ用意した移動体モデルとの類似度を評価して、類似度が高い領域を移動体領域として抽出する手法がある。さらに、歩行する人物等のように、変形しながら移動する移動体の領域を抽出する場合、変形を考慮した移動体モデルを利用する手法がある。例えば、特許文献１では、移動体領域候補として複数の画像から移動体のシルエット画像を抽出する。そして、あらかじめパラメータ化した移動体の変形に関するモデルと、抽出したシルエット画像との類似度を評価し、類似度が高い領域とモデルのパラメータを推定する手法が開示されている。これによって、形状が周期的に変化しながら移動する人物に対しても、パラメータ化したモデルを当てはめることができるため、移動体の領域抽出を可能にしている。
【０００５】
後者の代表的な手法としては、画像を複数の小領域に一旦分割し、各小領域の画素の輝度値に基づいた特徴量を抽出したのち、複数の小領域間の特徴量の類似度を評価して、類似度が高い領域を同一の移動体領域として統合する手法がある。例えば、特許文献２では、画像を矩形の小領域に一旦分割し、小領域の輝度や動きに基づいて特徴量を算出し、特徴量の類似度の順番に基づいて小領域を統合することで、移動体の領域抽出を可能にしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２１４２８９号公報
【特許文献２】特開２００６−０３１１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の領域抽出の技術は、例えば、複数の人物が歩行するシーンなどで、姿勢や大きさなどの変化により、移動体の形状が著しい変化をともなうような場合などに、正しく移動体を抽出することができないという問題がある。
【０００８】
特許文献１に示す、あらかじめ用意したモデルを用いる領域抽出手法では、画像から移動体領域の候補を抽出する必要がある。この時、適切に移動体領域候補を抽出できなければ、移動体をパラメータ化したモデルを正確に移動体領域候補に当てはめることが不可能になる。特に、上述のようなシーンにおいては、移動体の姿勢や大きさなどの変化により移動体の形状が大きく変化するため、移動体領域候補を適切に抽出することは困難である。さらに、移動体領域候補を適切に抽出できたとしても以下のような課題がある。
【０００９】
特に、人物等の関節的な動きを有する物体を移動体とした場合には、移動体のさまざまな姿勢や位置、大きさに起因する画像の変化の幅が非常に大きくなる。このため、移動体モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめ誤りを誘発する。ゆえに、例えば、１つの移動体を複数の移動体として誤って領域抽出したり、抽出対象となる移動体が存在しない領域を移動体として誤って領域抽出したりするなど、正しく移動体を検出することができないという課題がある。
【００１０】
特許文献２に示す領域抽出手法では、特許文献１のようにモデルを作成する代わりに、小領域間の特徴量を用い、特徴量として用いる輝度値や動きが類似していない小領域を、異なる領域と判定することにより領域を抽出する。しかし、人物のような移動体では、場所によって輝度値が異なり、また、同一移動体上であっても例えば関節領域両端の小領域間などでは動きが異なる。そのために、同一の移動体上における複数の小領域であるのに、異なる移動体の領域として分離されて抽出されてしまい、正しく移動体を検出することができないといった課題がある。
【００１１】
そこで本発明では、以上の課題を誘起する「関節状動き」に着目する。本発明では、動画像中において、人物に代表されるような関節状の動きを有する、すなわち姿勢などの変化により移動体の形状が時間的に著しい変化をともなうような移動体を対象とする。
【００１２】
本発明は、上記移動体において、同一移動体上の小領域が分離されて抽出されることなく、また移動体自身の形状変化の影響を受けずに、正しくその領域を検出するため、上記移動体上において関節状動きを有する領域である関節状領域を検出することができる関節状領域検出装置等を提供することを目的とする。
【００１３】
なお、本明細書において、関節状動きとは、例えば人の関節動きに代表されるような関節状の動きのことをさす。
【００１４】
人の関節以外の例を挙げると、例えば、蛇やムカデの動きのように、関節間の距離が微小な、多数の関節によって構成されるような動き等であってもよいし、傘の骨のように、一つのジョイント（関節）から多数の骨（腕）が出ているようなもの、または、モビールのようなものでもよい。
【００１５】
従来の領域抽出手法では、このような関節状の動きを呈する部分で、対象物が分離されて抽出されることが多い。したがって、逆に、関節状動きを含む「関節状領域」を抽出できれば、対象物が分離されて抽出されるのを防ぐことができる。なお「関節状領域」とは、その一部または全部に、関節状の動きを呈する領域を１箇所以上有するような領域のことをさす。
【課題を解決するための手段】
【００１６】
本発明は上述の課題を解決するためになされたものであり、本発明のある局面に係る関節状領域検出装置は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部とを備える。
【００１７】
この構成によると、サブクラス間の測地距離の時間変化と２点間距離の時間変化とに基づいて、関節状領域を抽出することで、移動体の形状の変化の影響を受けることなく、正しく関節状領域を抽出することができる。
【００１８】
なお、本発明は、このような特徴的な処理部を備える関節状領域検出装置として実現することができるだけでなく、関節状領域検出装置に含まれる特徴的な処理部をステップとする関節状領域検出方法として実現することができる。また、関節状領域検出方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００１９】
上記の方法および装置等により、動画像中において、人物のように、姿勢や位置、大きさなどが時間的に変化するような関節状動きを有する移動体の関節状領域を検出することで、画像中の移動体を確実に検出することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施の形態における関節状領域検出装置の構成を示す図である。
【図２】図２は、コンピュータによって構成された関節状領域検出装置のハードウェア構成を示す図である。
【図３】図３は、関節状領域検出装置の動作の手順を示すフローチャートである。
【図４】図４は、撮影状況の例を示す図である。
【図５】図５は、複数のピクチャの例を示す図である。
【図６】図６は、動きベクトルおよび移動軌跡の例を示す図である。
【図７】図７は、関節状領域検出部におけるサブクラス分類部の構成を示す図である。
【図８】図８は、ピクチャ中の移動軌跡の分布を示す図である。
【図９】図９は、関節状領域検出部における距離算出部の構成を示す図である。
【図１０】図１０は、移動軌跡のデータ分布と距離について示す図である。
【図１１】図１１は、移動軌跡間のユークリッド距離と測地距離について示す図である。
【図１２】図１２は、関節状領域検出部における領域検出部の構成を示す図である。
【図１３】図１３は、異なるサブクラスに属する移動軌跡間のユークリッド距離と測地距離について示す図である。
【図１４】図１４は、関節状領域を構成するサブクラス間の、代表ユークリッド距離、および代表測地距離について示す概念図である。
【図１５】図１５は、関節状領域を構成するサブクラス間、および関節状領域を構成しないサブクラス間の、代表ユークリッド距離、および代表測地距離の時間変化について示す概念図である。
【図１６】図１６は、関節動きの判定基準を示す図である。
【図１７Ａ】図１７Ａは、距離比較部の処理を示すフローチャートである。
【図１７Ｂ】図１７Ｂは、距離比較部の処理を示すフローチャートである。
【図１７Ｃ】図１７Ｃは、距離比較部の処理を示すフローチャートである。
【図１８Ａ】図１８Ａは、距離比較部の望ましい追加処理を示すフローチャートである。
【図１８Ｂ】図１８Ｂは、距離比較部の望ましい追加処理を示すフローチャートである。
【図１８Ｃ】図１８Ｃは、距離比較部の望ましい追加処理を示すフローチャートである。
【図１９】図１９は、画像出力ステップで生成した画像の例を示す図である。
【図２０】図２０は、本発明に係る実施の形態１の変形例１における関節状領域検出装置の構成を示す図である。
【図２１】図２１は、本発明に係る実施の形態１の変形例２における関節状領域検出装置の構成を示す図である。
【図２２】図２２は、次元圧縮によるデータのクラスタリングについて示す図である。
【図２３】図２３は、本発明に係る実施の形態１の変形例３における関節状領域検出装置の構成を示す図である。
【図２４】図２４は、測地距離を利用したデータのクラスタリングについて示す図である。
【図２５】図２５は、本発明の実施の形態２における関節状領域検出装置の構成を示す図である。
【図２６Ａ】図２６Ａは、本発明の実施の形態２における関節状領域検出装置による動作認識について説明する図である。
【図２６Ｂ】図２６Ｂは、本発明の実施の形態２における関節状領域検出装置による動作認識について説明する図である。
【図２７】図２７は、本発明の実施の形態３における関節状領域検出装置の構成を示す図である。
【図２８】図２８は、本発明の実施の形態３における関節状領域検出装置による持ち去り検出について説明する図である。
【図２９Ａ】図２９Ａは、本発明の実施の形態４における移動軌跡をサブクラスに分類した結果を示す分類情報を作成する分類情報作成装置の構成を示すブロック図である。
【図２９Ｂ】図２９Ｂは、本発明の実施の形態４における関節状領域検出装置の構成を示すブロック図である。
【図３０】図３０は、本発明の実施の形態４における関節状領域検出装置の動作を表すフローチャートである。
【図３１Ａ】図３１Ａは、１フレームから４フレームにわたって算出された、ピクチャ間の対応点である移動軌跡を示す図である。
【図３１Ｂ】図３１Ｂは、記憶部に保存されている分類情報の一例を示す図である。
【図３１Ｃ】図３１Ｃは、記憶部に保存されている分類情報の一例を示す図である。
【図３２Ａ】図３２Ａは、１フレームから４フレームにわたって算出された、ピクチャ間の対応点である移動軌跡を示す図である。
【図３２Ｂ】図３２Ｂは、記憶部に保存されている分類情報の一例を示す図である。
【発明を実施するための形態】
【００２１】
本発明の一実施形態は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部とを備える。
【００２２】
上記した構成によって、サブクラス間の測地距離の時間変化と２点間距離の時間変化とに基づいて、関節状領域を抽出することで、形状の変化の影響を受けることなく、正しく移動体の領域を抽出することができる。
【００２３】
また、本発明のより好ましい形態では、前記領域検出部は、サブクラス間の２点間距離の時間変化が所定の２点間距離閾値よりも大きく、かつ前記サブクラス間の測地距離の時間変化が所定の測地距離閾値以下となるサブクラスを、関節状動きを有する領域として検出する。
【００２４】
上記した構成によって、同一移動体に属するサブクラスを特定することができるので、より正確に移動体の領域を特定することができる。
【００２５】
特に、前記領域検出部は、任意の２つのサブクラス間の２点間距離の代表値の時間変化および測地距離の代表値の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出するものとしてもよい。これにより、より精度よく関節状領域検出を実行させることができる。
【００２６】
ここで、距離の代表値の算出方法として、前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の平均値であり、前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の平均値であるとしてもよい。また、前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の中央値であり、前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の中央値であるとしてもよい。さらに、前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の最頻値であり、前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の最頻値であるとしてもよい。
【００２７】
上記の構成によって、このような代表値に基づいて関節状領域を検出することで、関節状動き領域を高速に効率よく抽出することができる。また、このような代表値は、サブクラス間における移動軌跡間の測地距離および２点間距離のマクロな関係を保っている。
【００２８】
また、本発明のより好ましい形態では、上述の関節状領域検出装置は、さらに、前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域検出部により検出された領域ごとに異なる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備えるものとしたものである。上記した構成によって、特定された領域ごとに異なる表示態様で画像処理が施されるので、検出された関節状領域、または移動体を容易に確認することができる。
【００２９】
好ましくは、前記動画像は、人物を被写体として撮影された動画像であり、前記関節状領域検出装置は、さらに、前記領域検出部により検出された領域に含まれる関節状動きをなす複数のサブクラス間の角度を算出し、算出した角度と、人物の動作パターンごとに予め定められている角度とを比較することにより、前記被写体の動作を認識する動作認識部を備えるとしたものである。上記した構成によって、関節状領域、または移動体の動作を簡単に推定することができる。
【００３０】
好ましくは、上述の関節状領域検出装置は、さらに、前記領域検出部により検出された前記領域に含まれる関節状動きをなす複数のサブクラス間の関節数に基づいて、前記動画像に含まれる移動体の接続数の変化を検知する動作検知部を備えるとしたものである。より好ましくは、前記動作検知部は、前記接続数の減少を検知した場合には、前記移動体による物体の置き去りがあったと判定し、前記接続数の増加を検知した場合には、前記移動体による物体の持ち去りがあったと判定するとしたものである。
【００３１】
上記した構成によって、関節状領域、または移動体の持ち去り・置き去り動作を簡単に検知することができる。
【００３２】
好ましくは、上述の関節状領域検出装置は、さらに、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部とを備えるものとする。
【００３３】
なお、関節状動きの内容については、先に述べたように、前記関節状動きは、関節により接続された物体の動きであるとしてもよいし、前記関節状動きは、ひも状の物体の動きであるとしてもよいし、その他これに類似する関節状の動きであればよい。
【００３４】
本発明の他の実施形態は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類した結果を示す分類情報を取得するサブクラス取得部と、取得した前記分類情報に基づき、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部とを備える。
【００３５】
上記した構成によって、サブクラス間の測地距離の時間変化と２点間距離の時間変化とに基づいて、関節状領域を抽出することで、形状の変化の影響を受けることなく、正しく移動体の領域を抽出することができる。
【００３６】
なお、本発明の関節状領域検出装置は、各処理部をハードウェアにより構成することにより実現されるだけでなく、上記各処理部をステップとする関節状領域検出方法として実現したり、関節状領域検出方法を、コンピュータ上のプログラムによって実現したり、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、動画像において動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置等として実現することもできる。
【００３７】
（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。
【００３８】
図１は、実施の形態１における関節状領域検出装置の構成を示す図である。図１に示されるように、関節状領域検出装置１００は、画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３および出力部１０４を備える。関節状領域検出装置１００は、動画像中の関節状領域の全部または一部の領域を特定する領域分割をすることによって動画像中の関節状領域を検出する装置である。つまり、関節状領域検出装置１００は、動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する装置である。本実施の形態では、関節状領域検出装置１００は、カメラ１１０で撮影した動画像を入力して、動画像中の関節状領域を検出し、検出結果に基づいてピクチャを生成して出力する。ディスプレイ１２０は、関節状領域検出装置１００から出力されるピクチャを表示する。本明細書中では、ピクチャのことを画像ともいう。
【００３９】
画像入力部１０１は、動画像を構成する複数枚のピクチャの入力を受け付ける処理部であり、例えば、カメラ、または、カメラと接続された通信インターフェース等である。
【００４０】
移動軌跡算出部１０２は、画像入力部１０１で受け付けた複数枚のピクチャをもとに、複数枚のピクチャ間の対応点を複数求め、複数の移動軌跡として出力する処理部である。つまり、移動軌跡算出部１０２は、画像入力部１０１で受け付けられたピクチャを構成する１個以上の画素からなるブロックごとに、動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、複数の移動軌跡を算出する。ピクチャ間の対応点は、ピクチャの１画素ごとに対応点を求めてもよいし、ピクチャ内の隣接する複数の画素（ブロック）ごとに１つの対応点を求めるとしてもよい。本明細書では、ある対応点が、１画素ごとに求められたか、複数の画素に対して１つ求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
【００４１】
関節状領域検出部１０３は、移動軌跡算出部１０２で求めた移動軌跡をもとに、小領域間の移動軌跡の時間変化に基づいて、関節状動きを行う関節状領域の検出を行う処理部である。関節状領域検出部１０３は、サブクラス分類部１０５、距離算出部１０６および領域検出部１０７を備える。
【００４２】
サブクラス分類部１０５は、移動軌跡算出部１０２で求めた複数の移動軌跡に対して、軌跡間距離、または速度等の類似度をもとに、複数の移動軌跡を、各々が少なくとも１つの移動軌跡を含む複数のサブクラスにクラスタリングする。つまり、サブクラス分類部１０５は、動画像を構成する複数枚のピクチャにわたる、各々がピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類する。
【００４３】
距離算出部１０６は、前述の移動軌跡間の類似度を表す距離を算出する処理部である。つまり、距離算出部１０６は、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、第１の移動軌跡および第２の移動軌跡以外の移動軌跡を中継点として第１の移動軌跡から第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する。
【００４４】
本実施の形態では、距離算出部１０６は、移動軌跡算出部１０２で求めた複数の移動軌跡から、Ｔ枚（Ｔ＞＝２）のピクチャ間にわたる対応点であるＮ個の移動軌跡を抽出し、抽出した移動軌跡より、移動軌跡間の類似度を表す２点間距離および測地距離を算出する。
【００４５】
なお、本明細書における２つの移動軌跡間の「距離」は、対応する２次元画像空間における２点の間の距離だけでなく、後述するように、多次元のデータ間の算術的な距離を含む。なお、一般的に距離と類似度は相反する関係がある。すなわち、２つのデータ間の距離が小さい場合、類似度が高く、逆に２つのデータの距離が大きい場合、類似度が低いものとする。
【００４６】
また、本明細書において「２点間距離」および「測地距離」の２種類の距離を定義しているが、「２点間距離」は２つのデータ間のみから求まる距離のことを指し、「測地距離」は、後述するように２つのデータ以外の点を経由することで求められる距離のことを指す。なお、本明細書における「２点間距離」は、移動軌跡間のピクチャ座標における位置、速度、加速度等といった幾何的な類似度を表す指標となる距離であり、必ずしも線形距離である必要はない。「２点間距離」の代表的なものとして本明細書では「ユークリッド距離」を以降説明のため用いる。前記の距離の詳細な例については、距離算出部１０６の説明の部分にて後述する。
【００４７】
領域検出部１０７は、距離算出部１０６で算出された測地距離、ユークリッド距離について、サブクラス分類部１０５で生成されたサブクラス間の測地距離の代表値（以下、「代表測地距離」と称す）、およびユークリッド距離の代表値（以下、「代表ユークリッド距離」と称す）を算出し、算出した代表測地距離と代表ユークリッド距離に基づいて、関節状領域の検出を行う処理部である。つまり、領域検出部１０７は、任意の２つのサブクラス間のユークリッド距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する。
【００４８】
出力部１０４は、関節状領域検出部１０３で処理された動画像中の関節状領域の検出結果を出力する。具体的には、出力部１０４は、画像入力部１０１で受け付けた動画像に対して、例えば、関節状領域検出部１０３で特定された関節状領域ごとに異なる表示態様となるように、画像処理を施し、画像処理が施された動画像をディスプレイ１２０等に出力する。
【００４９】
本明細書において、「領域抽出」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なくピクチャ中の領域を分割する領域分割技術との、両者を含んでいる。検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。
【００５０】
また、本明細書において、「移動体検出」とは、基準となる座標系に対して移動している物体が存在する画像領域のみを特定する検出技術と、相対的に異なる移動をしている物体ごとにピクチャ中の領域を分割する領域分割技術の両者を含んでいる。
【００５１】
なお、関節状領域検出装置１００を構成する各構成要素（画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３、出力部１０４）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図２は、ソフトウェアによって実現された本実施の形態における関節状領域検出装置のハードウェア構成を示す図である。図２において、カメラ１１０はピクチャを撮影して出力し、コンピュータ２００はピクチャを取得して関節状領域抽出処理を行って、領域抽出結果を表示するピクチャを生成する。ディスプレイ１２０はコンピュータ２００で生成されたピクチャを取得して表示する。コンピュータ２００は、Ｉ／Ｆ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ２０５およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４に読み出されて展開される。ＣＰＵ２０２はＲＡＭ２０４に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１は、プログラムの実行に応じて、カメラ１１０で撮影されたピクチャを、ＲＡＭ２０４へ取り込む。ビデオカード２０６は、プログラムの実行に応じて生成されたピクチャを出力し、ディスプレイ１２０がそのピクチャを表示する。
【００５２】
なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限られず、例えばＣＤ−ＲＯＭに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０４に取り込まれてもよい。
【００５３】
以下、本実施の形態における関節状領域検出装置１００の動作を、図３を用いて説明する。
【００５４】
図３は、本実施の形態における関節状領域検出装置１００の動作を表すフローチャートである。
【００５５】
図３において、７つのステップＳ３０１〜Ｓ３０７は、それぞれ図１の各処理部１０１〜１０７に対応している。すなわち、画像入力部１０１では画像入力ステップＳ３０１、移動軌跡算出部１０２では移動軌跡算出ステップＳ３０２、関節状領域検出部１０３では関節状領域検出ステップＳ３０３、出力部１０４では画像出力ステップＳ３０４の各動作を実行する。また、関節状領域検出ステップＳ３０３は、サブクラス分類ステップＳ３０５、距離算出ステップＳ３０６、領域検出ステップＳ３０７の３つのステップを含む。サブクラス分類部１０５ではサブクラス分類ステップＳ３０５、距離算出部１０６では距離算出ステップＳ３０６、領域検出部１０７では領域検出ステップＳ３０７の各動作を実行する。
【００５６】
最初に、画像入力ステップＳ３０１が、画像入力部１０１により実行される。つまり、画像入力部１０１は、カメラ１１０から、動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１１０から取得される動画像は３０フレーム／秒の動画像である。
【００５７】
図４は、撮影状況の一例を示す図である。また、図５（ａ）〜（ｆ）は、カメラ１１０によって、図４の撮影状況を撮影して取得した複数のピクチャの例を示す。画像入力部１０１により、１フレームからＴフレームまでのＴ枚（Ｔ＞＝２）のピクチャが入力されたものとする。本実施の形態では、ピクチャの数Ｔはあらかじめ定められており、３０フレーム（Ｔ＝３０）とする。
【００５８】
次に、移動軌跡算出ステップＳ３０２は、移動軌跡算出部１０２により実行される。つまり、移動軌跡算出部１０２は、画像入力部１０１から複数のピクチャを入力し、ピクチャ間の対応点を検出して、移動軌跡を生成して出力する。複数のピクチャ間の対応点を求める手法として、ここでは１フレームのピクチャ上における全ての画素（Ｉ個）を基準として、２フレームからＴフレームまでの（Ｔ−１）枚のピクチャ上の対応する画素を求める。
【００５９】
以下、本実施の形態では、画素単位の処理について説明するが、複数の画素からなるブロック単位で処理をする場合には、（ｉ）ブロック内で画素値を合計したり、（ｉｉ）ブロック内の画素値の平均値を求めたり、（ｉｉｉ）ブロック内の画素値の中央値を求めたりすることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。
【００６０】
例えば、ステップＳ３０１にてＴ枚のピクチャが入力されたと仮定すると、移動軌跡算出部１０２は、時刻ｔと時刻ｔ＋１に入力された２枚のピクチャを用いて、画素ｉの動きベクトル（ｕｔｉ，ｖｔｉ）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、時刻ｔと時刻ｔ＋ｎに入力された２枚のピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。
【００６１】
上記した複数のピクチャ間の対応点を算出する具体的な手法としては、非特許文献１または非特許文献２などに開示されている方法を用いてもよい。ともに、オプティカルフローを計算することにより動きベクトルを算出する手法であり、非特許文献１は階層的なブロックマッチングをベースに、オプティカルフローを算出する。画素間の滑らかさを拘束条件とするため、隣り合うオプティカルフロー間で動きベクトルが滑らかに変化するようなオプティカルフローを得る。特に急峻な動きや遮蔽がない場合に効率的かつ正確な対応点が求められる。また、推定の信頼度を計算できるため、後述するように、信頼度がある閾値より低い対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節状領域推定を行えるという効果がある。
【００６２】
これに対して、非特許文献２はグラフカットベースのオプティカルフロー算出手法であり、計算コストは高いが、正確な対応点がピクチャ上で密に求まる。また、この手法によると、オクルージョンの領域も推定できるため、後述するようにオクルージョン領域に位置する対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節状領域推定を行えるという効果がある。さらなる詳細は各文献に記載されているため、その詳細な説明は省略する。
【非特許文献１】Ｐ．Ａｎａｎｄａｎ，“Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  Ｖｉｓｕａｌ  Ｍｏｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．２，ｐｐ．２８３−３１０，１９８９
【非特許文献２】Ｖｌａｄｉｍｉｒ  Ｋｏｌｍｏｇｏｒｏｖ  ａｎｄ  Ｒａｍｉｎ  Ｚａｂｉｈ，“Ｃｏｍｐｕｔｉｎｇ  Ｖｉｓｕａｌ  Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｗｉｔｈ  Ｏｃｃｌｕｓｉｏｎｓ  ｖｉａ  Ｇｒａｐｈ  Ｃｕｔｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，２００１
【００６３】
さらに、移動軌跡算出部１０２は、画素の動きとして、前記動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、ピクチャをグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、ピクチャをブロックに区切ってブロックごとに動き情報を求めてもよい。
【００６４】
さらに、非特許文献１の開示技術を用いて動きベクトルを算出する場合は、前述したようにその信頼度を計算することができるため信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献２の開示技術を用いて動きベクトルを算出する場合は、前述したようにオクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。
【００６５】
さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、非特許文献３の開示技術を用いて実現することができる。
【非特許文献３】Ｊｉａｎｂｏ  Ｓｈｉ  ａｎｄ  Ｃａｒｌｏ  Ｔｏｍａｓｉ，“Ｇｏｏｄ  Ｆｅａｔｕｒｅｓ  ｔｏ  Ｔｒａｃｋ”，ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４
【００６６】
上記手法では、時刻ｔと時刻ｔ＋１に入力されたピクチャの画素ｉ近傍の動きに相当するアフィンパラメータＡｔｉを推定する。画素ｉについて、時刻ｔと時刻ｔ＋１におけるピクチャ上での画素位置ｘｔｉとｘｔ＋１ｉは（式１）に示す関係がある。
【００６７】
【数１】
2011080923.tif 000087
【００６８】
上記手法では、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素ｉの動きを推定することができる。
【００６９】
そして、移動軌跡算出部１０２は、時間的に異なるＴ枚のピクチャ間で算出された前記画素の対応点から移動軌跡ｉを算出する。以下、画素ｉの移動軌跡を、移動軌跡ｉと呼ぶこととする。図６（ａ）に示すように、移動軌跡算出部１０２は、時刻ｔにおける入力ピクチャ６０１の画素ｉ６０３ａ、画素ｋ６０３ｂに基づきステップＳ３０２において算出された動きベクトル情報６０２を用いて、画素ｉ６０３ａ、画素ｋ６０３ｂの動きを追跡し、画素ｉ６０３ａ、画素ｋ６０３ｂの対応点を求める。この時、移動軌跡算出部１０２は、１フレームのピクチャ上のある画素ｉの座標値（ｘ１ｉ，ｙ１ｉ）と、時刻ｔにおける画素ｉの対応点の画素座標値（ｘｔｉ，ｙｔｉ）とから、（式２）のように移動軌跡ｘｉを算出する。
【００７０】
【数２】
2011080923.tif 000088
【００７１】
本実施の形態において、移動軌跡ｘｉは、１フレームからＴフレームまでのＴ枚のピクチャ間にわたる対応点であるものとする。
【００７２】
図６（ｂ）は、移動軌跡の例を示す。移動軌跡算出部１０２に入力された動画像は、Ｔ枚のピクチャ６０４で構成されている。このとき移動軌跡ｘｉ６０６ａ、ｘｋ６０６ｂは、１フレームのある画素ｉ６０５ａ、画素ｋ６０５ｂにそれぞれ対応する、２フレームからＴフレームのピクチャ上の対応点の集まりである。移動軌跡ｘｉ６０６ａ、ｘｋ６０６ｂは、各ピクチャのピクチャ座標値を要素とするベクトルで表される。
【００７３】
なお、移動軌跡算出部１０２においてピクチャ間の対応点を求める際、ピクチャの全ての画素ごとに対応点を求める代わりに、ピクチャ内の隣接する複数の画素（ブロック）ごとに対応点を求めるものとしてもよい。本明細書において、ある対応点が１画素ごとに求められたものか、または複数の画素に対して１つの対応点が求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
【００７４】
次に、サブクラス分類ステップＳ３０５は、サブクラス分類部１０５により実行される。つまり、サブクラス分類部１０５は、移動軌跡算出部１０２で算出された移動軌跡の集まりを、輝度、または移動軌跡の類似度等の、ある指標によりクラスタリングすることで、サブクラスを生成する。
【００７５】
本実施の形態においてサブクラス分類部１０５は、図７に示すように、移動軌跡間のユークリッド距離を求めるユークリッド距離算出部７０１と、ユークリッド距離を元にクラスタリングを行うクラスタリング部７０２とを含む。
【００７６】
ユークリッド距離算出部７０１は、（式３）により、画素ｉの移動軌跡と画素ｊの移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）を算出する。
【００７７】
【数３】
2011080923.tif 000089
【００７８】
ここで（式３）によって算出されるユークリッド距離ｆ（ｉ，ｊ）は、表記の都合上、全ての移動軌跡間について定義したが、ユークリッド距離として有限な値となるのは、Ｎ個の移動軌跡ｘｉの間でのみとなる。
【００７９】
なお、本実施の形態におけるユークリッド距離は、（式３）によって算出するとしたが、この式に限定するものではない。ユークリッド距離は、（式３）と同様に、移動軌跡間のピクチャ座標における位置、動き、加速度、回転速度などのような、幾何的な類似度を表す指標であればよく、例えば、下記の（式４）を用いてもよい。
【００８０】
【数４】
2011080923.tif 000090
【００８１】
（式４）において、ｗは重み係数であり、設計者が設定するパラメータである。上記（式４）の移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）は、移動軌跡間におけるピクチャ座標の距離の時間平均に、ピクチャ座標の距離の時間変動成分を加えたものである。特に移動軌跡間距離の時間変動成分は、移動軌跡の動きの類似度を示すものであり、これによって、形状変化を伴うような場合でも、より正確に移動軌跡間の類似度を捉えることができる。
【００８２】
クラスタリング部７０２は、ユークリッド距離算出部７０１で算出した移動軌跡ｉと移動軌跡ｊとのユークリッド距離ｆ（ｉ，ｊ）を用い、ｆ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一クラスとして束ねていく処理を繰り返すことによってクラスタリングを行う。
【００８３】
図８（ａ）の移動軌跡ａ〜ｈに示すように、移動軌跡は同一被写体上であっても、姿勢変化によって部位ごとに大きく変化したものとなる。しかしながら、関節で繋がった物体である限り、特に近傍における移動軌跡は高い類似性を保持していると仮定できる。ここで、高い類似性とは、移動軌跡ｉと移動軌跡ｊとのユークリッド距離ｆ（ｉ，ｊ）が小さいことを意味する。さらに、ユークリッド距離ｆ（ｉ，ｊ）が小さいことは、移動軌跡ｉと移動軌跡ｊとが、移動軌跡からなる高次元空間上に近距離に分布していると解釈することができる。
【００８４】
図８（ｂ）に、移動軌跡からなる高次元空間の概念図を示す。概念図では、説明を容易にするため、３次元空間としたが、実際には、（式２）に示したベクトルの各要素が各次元と対応する。つまり、高次元空間は、次元数が２×Ｔの空間である。また、説明の簡略化のため移動軌跡を移動軌跡ａ〜ｈの８本としているが、実際には、画素ごとに求めた移動軌跡を用いてもよいし、ブロック単位で求めた移動軌跡を用いてもよい。ここで、図８（ｂ）に示す移動軌跡からなる高次元空間上のデータ点は、それぞれ（式２）に示した一つの移動軌跡に対応する。すなわち、１枚のピクチャ上の領域だけではなく時間的に異なる複数枚のピクチャに渡って画素を追跡した結果に対応する。
【００８５】
そして、移動軌跡からなる高次元空間上の分布の連続性によって移動軌跡をクラスタリングしていくことによって、移動軌跡間の距離の不連続性をもとにクラスタリングを行う。その結果、各クラスは、個別の被写体または被写体の一部に対応することが期待でき、被写体の検出と領域分割を行うことができる。
【００８６】
まず、分割する各領域を次のように表現する。
【００８７】
【数５】
2011080923.tif 000091
【００８８】
ここで、Ｍは、領域数であり、利用するシーンに応じて経験的に決定される。
【００８９】
まず、サブクラス分類部１０５は、ユークリッド距離ｆ（ｉ，ｊ）が小さい順に、互いに異なる移動軌跡ｉと移動軌跡ｊとを同一領域ラベルθｍとする処理を行う。この処理を行う上で、移動軌跡ｉまたは移動軌跡ｊの一方が既に領域θｋに属している場合には、まだ領域ラベルが付与されていない画素も領域θｋに属するようにする。さらに、既に移動軌跡ｉと移動軌跡ｊとがそれぞれ異なる領域に属している場合には、領域ラベルを統合する。次に、すべての移動軌跡に対してラベル付けがされ、かつ領域数が規定のＭになっているか否かを判断し、その条件が満たされていない場合には、前述のユークリッド距離ｆ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一領域ラベルθｍとする処理を繰り返す。なお、各領域に属する移動軌跡の数が閾値Ｔｃｌｕｓｔｅｒ個以下となる領域については、外れ値（Ｏｕｔｌｉｅｒ）として扱い、その後の処理に用いないよう廃棄してもよい。
【００９０】
サブクラス分類処理の具体例を図８（ｃ）、図８（ｄ）を用いて説明する。簡単のため、Ｍ＝２とした場合（図８（ｃ））と、Ｍ＝３とした場合（図８（ｄ））について説明する。実際のサブクラス分類時には、十分に移動体の領域を細かな単位に分割するような、より大きなＭを利用することになる。ここで、図８の例では、移動軌跡ａと移動軌跡ｂとの距離をｆ（ａ，ｂ）とした時に、ｆ（ａ，ｂ）＜ｆ（ｇ，ｈ）＜ｆ（ｄ，ｅ）＜ｆ（ｂ，ｃ）＜ｆ（ｆ，ｇ）＜ｆ（ｃ，ｄ）である。まず、Ｍ＝２の例について図８（ｃ）を用いて説明する。サブクラス分類部１０５は、移動軌跡ａと移動軌跡ｂとの距離ｆ（ａ，ｂ）が最小であるため、移動軌跡ａと移動軌跡ｂに同一の領域ラベルθ１を付与する。次に、移動軌跡ｇと移動軌跡ｈとの距離ｆ（ｇ，ｈ）が２番目に小さいため、サブクラス分類部１０５は、移動軌跡ｇと移動軌跡ｈに同一の領域ラベルθ２を付与する。さらに、サブクラス分類部１０５は、３番目に小さい距離である移動軌跡ｄと移動軌跡ｅに対して、同一の領域ラベルθ３を付与する。次に距離が小さいのは、移動軌跡ｂと移動軌跡ｃとの距離ｆ（ｂ，ｃ）である。ここでは、移動軌跡ｂがすでにラベル付けされているため、サブクラス分類部１０５は、移動軌跡ｃに移動軌跡ｂと同一の領域ラベルθ１を付与する。次に距離が小さいのは、移動軌跡ｆと移動軌跡ｇとの距離ｆ（ｆ，ｇ）である。サブクラス分類部１０５は、ｆ（ｂ，ｃ）の場合と同様に、移動軌跡ｆに対して移動軌跡ｇと同一の領域ラベルθ３を付与する。ここでＭ＝３とした場合は、すべての移動軌跡にラベルが付与され、Ｍ＝３となると判断されるため、処理を終了する。
【００９１】
Ｍ＝２という条件設定をした場合には、現在のクラス分類ではその条件を満たさない。このため、サブクラス分類部１０５は、再度、次に小さい距離をなす移動軌跡ｃと移動軌跡ｄについて移動軌跡ｃが属する領域ラベルθ１と移動軌跡ｄが属する領域ラベルθ３とを統合する。また、サブクラス分類部１０５は、移動軌跡ａからｅに対して、領域ラベルθ１を付与する。ここで、すべての移動軌跡にラベルが付与され、Ｍ＝２となると判断されるため、処理を終了する。
【００９２】
本実施の形態では、移動軌跡に対して（式３）または（式４）のような距離を計算することによって、画素の位置と動きの類似性とを考慮した領域分割が可能になる。そのため、図８（ｃ）のような例において、Ｍ＝２の場合は、下半身の動きが上半身の動きと大きく異なることが反映されて、移動軌跡は、上半身と下半身とに分離される。さらに、図８（ｄ）のＭ＝３の場合は、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違いが反映され、移動軌跡を、上半身、腕、下半身とに分離することが可能になる。同様に、より大きいＭを利用することにより、サブクラス内に関節状動きを含まないような細かい小領域にまで、移動軌跡をクラスタリングすることができる。
【００９３】
このように、類似した移動軌跡に対して、順々に領域ラベルを付与することによって、高次元空間上で連続している移動軌跡を一つのクラスと判断し、移動軌跡間の距離が大きいところを不連続点として、それぞれのクラスを分離することができる。そして、各クラスに属する移動軌跡を、関節状領域検出に利用することが可能となる。
【００９４】
次に、距離算出ステップＳ３０６は、距離算出部１０６によって実行される。つまり、距離算出部１０６は、移動軌跡算出部１０２で算出した複数の移動軌跡ｘｉを用いて、各移動軌跡間の類似性を表す距離を算出する。すなわち、画素ｉと移動軌跡と画素ｊの移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）と、測地距離ｇ（ｉ，ｊ）を段階的に算出する。
【００９５】
以下、距離算出部１０６において、移動軌跡間の類似度を表す距離を算出する方法について、図９を参照しながら説明する。
【００９６】
図９（ａ）は、距離算出部１０６の構成の一例を示す図である。距離算出部１０６は、ユークリッド距離算出部９０１と、測地距離算出部９０２とを含む。
【００９７】
図９（ａ）の構成によれば、ユークリッド距離算出部９０１は、ユークリッド距離ｆ（ｉ，ｊ）をまず算出する。なおユークリッド距離算出部９０１の動作は、前述のサブクラス分類部１０５が含むユークリッド距離算出部７０１とまったく同じものであるため、ここでは説明を省略する。
【００９８】
なお、本実施の形態における距離算出部１０６は、図９（ｂ）に示すような別の構成によっても実現できる。つまり、図９（ｂ）に示す距離算出部１０６は、ユークリッド距離ロード部９０３と、測地距離算出部９０２とを含む。
【００９９】
この構成では、サブクラス分類部１０５の備えるユークリッド距離算出部７０１で算出したユークリッド距離ｆ（ｉ，ｊ）を先にメモリ（図示せず）に格納しておき、距離算出部１０６が備えるユークリッド距離ロード部９０３が、メモリに格納されたユークリッド距離ｆ（ｉ，ｊ）を、メモリからロードする。これにより、新たにユークリッド距離を計算する手間を省くことができ、より高速な処理が実現できる。
【０１００】
以上の手順で算出した移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）の集まりを、ユークリッド距離マトリクスＦとして表す。
【０１０１】
【数６】
2011080923.tif 000092
【０１０２】
続いて、距離算出部１０６の測地距離算出部９０２は、移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。なお、以降の測地距離算出部９０２の処理手順については、図９（ａ）および図９（ｂ）の構成ともに共通である。
【０１０３】
以降、測地距離算出部９０２において、ユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する動作を詳しく説明する。
【０１０４】
まず、測地距離算出部９０２では、算出したユークリッド距離ｆ（ｉ，ｊ）に対してあらかじめ定められた閾値Ｒを用いて、（式７）の非線形化した距離ｆ´（ｉ，ｊ）を算出する。
【０１０５】
【数７】
2011080923.tif 000093
【０１０６】
次に、測地距離算出部９０２は、非線形化された距離ｆ´（ｉ，ｊ）から、測地距離を算出する。「測地距離」とは、ある空間に定義された複数のデータ点について、それらのデータ点間の接続、および接続されたデータ点間の距離が得られているときに、ある２つのデータ点間を結び得る全ての経路の距離のうちの最短の距離である。したがって、測地距離算出部９０２は、第ｉの移動軌跡ｘｉから第ｊの移動軌跡ｘｊまでの測地距離の算出においては、他の複数の移動軌跡のいずれかを中継点として第ｉの移動軌跡ｘｉから第ｊの移動軌跡ｘｊに辿りつく全ての経路のうちの最短の経路を、測地距離として、算出する。
【０１０７】
例えば、移動軌跡ｘｉと移動軌跡ｘｊの２点間を直接結ぶノードの距離ｆ´（ｉ，ｊ）が得られているとする。このとき移動軌跡ｘｉと移動軌跡ｘｊの２点間を結ぶ経路は、２点を直接結ぶノード以外に、別の移動軌跡ｘｓを中継する経路もある。この経路の距離をｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）とする。このような移動軌跡ｘｉと移動軌跡ｘｊの２点間を結ぶ経路は複数あり、それらの距離のうちで最も短い距離を測地距離ｇ（ｉ，ｊ）として算出する（式８）。
【０１０８】
【数８】
2011080923.tif 000094
【０１０９】
（式８）において、ｍｉｎ（ｘ，ｙ，…）は、値ｘと値ｙなどのうち最も小さい値を返す関数である。また、ｓは、移動軌跡ｘｓであり、移動軌跡ｘｉから移動軌跡ｘｊに辿（たど）りつくための中継点である。ここで、ｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）における中継点ｓは１点に限るものではない。
【０１１０】
上述した測地距離の算出における２点間の最短経路を探索する手法の詳細は、例えば非特許文献４のダイクストラ法が広く知られているため、ここでは処理手順の詳細説明を省略する。
【非特許文献４】Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，“Ａ  ｎｏｔｅ  ｏｎ  ｔｗｏ  ｐｒｏｂｌｅｍｓ  ｉｎ  ｃｏｎｎｅｘｉｏｎ  ｗｉｔｈ  ｇｒａｐｈｓ”，Ｎｕｍｅｒｉｓｃｈｅ  Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９
【０１１１】
上記した手順により、測地距離算出部９０２は、長時間移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。なお、測地距離の計算方法は、前記（式７）および（式８）に限定されるものではない。
【０１１２】
なお、ユークリッド距離と測地距離の最も異なる点は、距離を求める２データ点と、他のデータ点との間の関係である。他のデータ点の状態に左右されることなく、２つのデータ点のみから定義されるのがユークリッド距離であり、それに対して、２つのデータ点、および２つのデータ点間を結び得る経路上にある他のデータ点を含む距離として定義される、すなわち他のデータ点の状態から影響を受ける可能性があるのが測地距離である。
【０１１３】
算出した移動軌跡間の測地距離ｇ（ｉ，ｊ）の集まりを、測地距離マトリクスＧとして表す（式９）。
【０１１４】
【数９】
2011080923.tif 000095
【０１１５】
以上の手順によって、測地距離算出部９０２は、Ｎ個の移動軌跡間の類似度を表す測地距離ｇ（ｉ，ｊ）を算出し、測地距離マトリクスＧとして出力する。
【０１１６】
上記した複数の移動軌跡間のユークリッド距離から測地距離を算出する処理について、図１０（ａ）〜図１０（ｃ）の概念図を用いて説明する。
【０１１７】
図１０（ａ）は、ピクチャ上の複数の移動軌跡の一例を示す図である。なお移動軌跡は、背景領域においても算出されるが、表記を容易にするため、以降は背景領域の移動軌跡を図示しないものとする。
【０１１８】
図１０（ｂ）は、各々が（式２）で示される複数の移動軌跡のデータの分布を示した図である。図１０（ｂ）中の「×」印の各データ点は、（式２）で示した画素ｉの移動軌跡ｘｉに相当する。移動軌跡ｘｉは独立したＴ×２個の変数からなるベクトルである。したがって、移動軌跡は、本来は最大で（Ｔ×２）次元空間のデータであるが、図１０（ｂ）では表記の都合上、３次元空間の点として表している。
【０１１９】
図１０（ｂ）中の矢印１００１は、（式３）で得られる移動軌跡ｘｉと移動軌跡ｘｊとの間のユークリッド距離ｆ（ｉ，ｊ）を表す。すなわちデータ点ｉとデータ点ｊとのユークリッド距離１００１は、データ間を直接結んだ距離になる。
【０１２０】
一方、図１０（ｃ）中の矢印１００２は、（式８）で得られる移動軌跡ｘｉと移動軌跡ｘｊとの間の測地距離ｇ（ｉ，ｊ）を表す。図１０（ｃ）に示すように、データ点ｉとデータ点ｊとの測地距離１００２は、中継のデータ点ｓを辿った距離となる。
【０１２１】
次に、ユークリッド距離ｆ（ｉ，ｊ）と、（式８）により算出した測地距離ｇ（ｉ，ｊ）の特徴を、図１１（ａ）および図１１（ｂ）の概念図を用いてより詳しく説明する。
【０１２２】
ピクチャ内の移動体について、頭部の移動軌跡ｘｉと手先部の移動軌跡ｘｊとのユークリッド距離を、図１１（ａ）中の矢印１１０１で示す。同図から明らかであるように、移動軌跡間のユークリッド距離１１０１は、距離を求める対象である２つの移動軌跡ｘｉ、ｘｊにのみ依存し、他の移動軌跡とは無関係な距離となる。
【０１２３】
一方、頭部の移動軌跡ｘｉと手先部の移動軌跡ｘｊとの測地距離１１０２を、図１１（ｂ）に示す。この場合、距離を求める対象である２つの移動軌跡ｘｉ、ｘｊだけでなく、太矢印１１０２で示すように、ｘｓをはじめとする近傍の複数の移動軌跡を経由して移動軌跡ｘｊにたどり着く。したがって、測地距離１１０２は、経由した複数の移動軌跡間の距離の和となるため、移動軌跡ｘｉ、ｘｊ以外の移動軌跡の影響を受ける。
【０１２４】
言い換えると図１１（ａ）のユークリッド距離１１０１は、他の移動軌跡の分布をまったく反映していない。このため、人物のように関節で繋がった移動体において、移動軌跡間の距離は、その形状には依存しない値をとる。これに対して、図１１（ｂ）に示される測地距離１１０２では、他の移動軌跡を反映した距離となっている。したがって関節で繋がった移動体において、移動軌跡間の距離は、移動体の形状に依存する値をとる。すなわち関節における繋がりが情報として距離に含まれるため、関節領域の検出に利用できる。
【０１２５】
前述したように、（式２）で示される移動軌跡ｘｉは、数学的には最大で（Ｔ×２）次元空間のデータである。しかし、実際にピクチャから求められる移動軌跡は、図８（ｃ）および図８（ｄ）のように（Ｔ×２）次元空間のごく一部に局在化する性質をもつことが、発明者の実験によっても確認されている。このような性質をもつ移動軌跡に対して、複数の移動軌跡間の類似度を表す距離の尺度としては、データの分布とは無関係に２データ間の距離のみを求めたものであるユークリッド距離（図１１（ａ）の距離１１０１）よりも、近傍のデータの粗密を反映した測地距離（図１１（ｂ）の測地距離１１０２）の方が、適していると言える。
【０１２６】
例えば、あらかじめ定めたＫ個の閾値Ｒｋの代わりに、あらかじめ定めたＫ個の閾値Ｎｋを用いる。そして、ユークリッド距離ｆ（ｉ，ｊ）から非線形化した距離ｆ´ｋ（ｉ，ｊ）を求める処理として、以下の処理を行ってもよい。つまり、閾値Ｒｋ以上のユークリッド距離ｆ（ｉ，ｊ）を無限大に置き換える（式７）の処理の代わりに、ある移動軌跡ｘｉと他の（Ｉ−１）個の移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）のうちで、小さいほうからＮｋ番目のユークリッド距離よりも大きいユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出してもよい。
【０１２７】
また、ユークリッド距離を無限大に置き換える処理の代わりに、小さいほうからｋ番目の移動軌跡とのユークリッド距離よりも大きい移動軌跡とのユークリッド距離を無限大で置き換えることによって、非線形化距離ｆ´ｋ（ｉ，ｊ）を算出するとしてもよい。
【０１２８】
次に、領域検出ステップＳ３０７は、領域検出部１０７によって実行される。領域検出部１０７は、図１２に示すように、クラス間距離算出部１２０１と、距離比較部１２０２とを含む。
【０１２９】
クラス間距離算出部１２０１は、距離算出部１０６で算出された測地距離、ユークリッド距離を元に、サブクラス分類部１０５で生成されたサブクラス間での測地距離の代表値（代表測地距離）、およびユークリッド距離の代表値（代表ユークリッド距離）をそれぞれ算出する。続く距離比較部１２０２は、クラス間距離算出部１２０１が算出した代表測地距離と代表ユークリッド距離に基づいて、関節状領域の検出を行う。
【０１３０】
以下で、クラス間距離算出部１２０１の動作について詳しく説明する。
【０１３１】
図１３に、サブクラス分類部１０５で生成された複数のクラスのうち、近接する２つのサブクラスθｉ、θｊを示す。なお、簡単のため以下の説明では、「サブクラス」を「クラス」とのみ表記する。
【０１３２】
クラスθｉ、θｊに含まれる移動軌跡の集まりをそれぞれＩ、Ｊとし、クラスθｉ、θｊが含む移動軌跡の個数をそれぞれＮｉ、Ｎｊとすると、Ｉ、Ｊはそれぞれ以下の（式１０）、（式１１）で表せる。
【０１３３】
【数１０】
2011080923.tif 000096
【０１３４】
【数１１】
2011080923.tif 000097
【０１３５】
なお、（式１０）、（式１１）に含まれるｘｉは、（式２）同様、多次元ベクトルの形式で表された移動軌跡である。
【０１３６】
ここで、Ｉに含まれる移動軌跡と、Ｊに含まれる移動軌跡との間で求められる距離を、クラス間距離と定義する。ここで、「距離」とはユークリッド距離、測地距離をともに含む概念であるとする。
【０１３７】
図１３に、クラス間距離の概念図を示す。クラスθｉから移動軌跡ｘｉ３１３０１を、クラスθｊから移動軌跡ｘｊ１１３０２を選択した場合、この２移動軌跡間のユークリッド距離はｆ３１（＝ｆ（ｉ３，ｊ１））、測地距離はｇ３１（＝ｇ（ｉ３，ｊ１））として求まる。これを、Ｉ，Ｊ間における全ての移動軌跡の組み合わせについて計算すると、以下の（式１２）、（式１３）に示すような、複数の測地距離ｇと複数のユークリッド距離ｆが得られる。
【０１３８】
【数１２】
2011080923.tif 000098
【０１３９】
【数１３】
2011080923.tif 000099
【０１４０】
本明細書における関節状動き領域検出は、Ｉ、Ｊに示すようなクラス内の単一移動軌跡の集まりに着目し、クラス間のマクロな距離の時間変化に基づいて動作する。したがって、クラス間距離の代表値を算出することが望ましい。
【０１４１】
クラス間測地距離の代表値（代表測地距離）の概念図を図１４（ａ）に、クラス間ユークリッド距離の代表値（代表ユークリッド距離）の概念図を図１４（ｂ）に示す。図１４に示すように、複数クラスに対して、クラス間の動きまたは位置的な関係を近似できるような代表値であることが望ましい。
【０１４２】
前述の望ましい条件を満たす代表距離については、各クラスの移動軌跡間測地距離の平均値を代表値として用いることができる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求め、それらを平均して得られるものである。ユークリッド距離の代表値についても、同様に求めて利用することができる。この場合、代表測地距離Ｇ（θｉ，θｊ）、代表ユークリッド距離Ｆ（θｉ，θｊ）は以下の（式１４）および（式１５）で算出できる。
【０１４３】
【数１４】
2011080923.tif 000100
【０１４４】
【数１５】
2011080923.tif 000101
【０１４５】
なお、（式１４）および（式１５）において、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞となる距離）、平均値の計算からはそれらの点を除くものとする。
【０１４６】
あるいは、すべてのｇ（ｉ，ｊ）から、それぞれ無限大を除いた最大値ｇｍａｘを求め、ｇ（ｉ，ｊ）＝∞となる距離をｇｍａｘと置き換えて平均値の計算を行っても良い。あるいは、ｇ（ｉ，ｊ）≠∞となるよう、測地距離計算のみ再度やりなおしてもよい。
【０１４７】
なお、この代表距離については平均値に限るものではない。
【０１４８】
以下に示すように、各クラスの移動軌跡間測地距離の中央値を代表値として用いることもできる。これは、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求め、それらのメジアンをとって得られるものである。ユークリッド距離の代表値についても、同様に求めて用いることができる。この場合、代表測地距離Ｇ（θｉ，θｊ）、代表ユークリッド距離Ｆ（θｉ，θｊ）は以下の（式１６）および（式１７）で算出できる。
【０１４９】
【数１６】
2011080923.tif 000102
【０１５０】
【数１７】
2011080923.tif 000103
【０１５１】
なお、（式１６）、（式１７）において、
【０１５２】
【数１８】
2011080923.tif 000104
【０１５３】
は、整数ラベルｉ（ｉ＝１〜Ｎｉ）、整数ラベルｊ（ｊ＝１〜Ｎｊ）に対応する複数の値を有するｆ（ｉ，ｊ）の中央値を返す関数である。
【０１５４】
なお、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞）、前述の平均値の計算と同様の処置をｇ（ｉ，ｊ）＝∞となる点に対して行っても良い。
【０１５５】
また、以下の（式１８）に示すように、代表測地距離として、各クラスの移動軌跡間測地距離の最頻値を代表値として用いることもできる。これらの代表値は、複数クラス間において、各クラスが含む移動軌跡間の全組み合わせにあたる複数の測地距離を求めた際に、それらの中でもっとも高頻度で現れる値である。ユークリッド距離の代表値についても、以下の（式１９）に従い、同様に求めることができる。
【０１５６】
【数１９】
2011080923.tif 000105
【０１５７】
【数２０】
2011080923.tif 000106
【０１５８】
なお、（式１８）、（式１９）において、
【０１５９】
【数２１】
2011080923.tif 000107
【０１６０】
は、整数ラベルｉ（ｉ＝１〜Ｎｉ）、整数ラベルｊ（ｊ＝１〜Ｎｊ）に対応する複数の値を有するｆ（ｉ，ｊ）の最頻値を返す関数である。
【０１６１】
なお、測地距離の中に無限大をとるものが含まれる場合（ｇ（ｉ，ｊ）＝∞）、前述の平均値の計算同様の処置をｇ（ｉ，ｊ）＝∞となる点に対して行っても良い。
【０１６２】
次に、距離比較部１２０２の動作について詳しく説明する。距離比較部１２０２は、各クラス間の代表測地距離Ｇ、および各クラス間の代表ユークリッド距離Ｆの時間変化をそれぞれ計算し、その結果に基づいて、関節状動きを伴う、すなわち関節状領域であるクラスを検出する。
【０１６３】
図１５は、クラスθｉ、θｊ間の代表測地距離Ｇ（θｉ，θｊ）、および代表ユークリッド距離Ｆ（θｉ，θｊ）の時間変化について示した図である。図１５（ａ）および図１５（ｂ）にはそれぞれ、２つのクラスθｉ、θｊが関節様の動きを伴う場合の例を示す。すなわち、この場合クラスθｉ、θｊは、同一の移動体に属する関節状領域であると考えられる。一方、図１５（ｃ）および図１５（ｄ）では、クラスθｉ、θｊが関節様の動きを伴わない場合の一例を示す。すなわちクラスθｉ、θｊは、異なる移動体に属するものと考えられる。したがって、この場合これらのクラスθｉ、θｊは関節状領域を構成しない。
【０１６４】
ここで、まず図１５（ｂ）および図１５（ｄ）の代表ユークリッド距離に着目する。
【０１６５】
クラスθｉ、θｊが図１５（ｂ）のように関節状動きを構成する場合、クラス間の代表ユークリッド距離は時間に伴い大きく変化する。
【０１６６】
ここで、逆に代表ユークリッド距離がほぼ一定（時間変化がゼロに近い）である場合の例を図１５（ｄ）に示す。図１５（ｄ）から明らかなように、この場合、各クラスにおける重心の、相対的な位置関係がほぼ変化しないことと同等になる。
【０１６７】
同一の移動体に属するような関節状領域においては、代表ユークリッド距離は時間に伴って変化する。したがって、代表ユークリッド距離の時間変化が、一定の閾値ＦＴＨより大きいクラスは、関節状領域である可能性がある。
【０１６８】
次に、図１５（ａ）および図１５（ｃ）に示す代表測地距離に着目する。クラスθｉ、θｊが図１５（ｃ）のように関節状領域ではない場合に、代表測地距離は時間に伴い大きく変化する。逆に、クラスθｉ、θｊが図１５（ａ）のように関節状動きを構成する場合、代表測地距離は時間に伴いほとんど変化しない。したがって、代表測地距離の時間変化が、一定の閾値ＧＴＨより小さいクラスは、関節状領域である可能性が高いものと判定できる。
【０１６９】
以上より、代表測地距離Ｇの時間変化をＧｔ、代表ユークリッド距離Ｆの時間変化をＦｔとすると、距離比較部１２０２では、「クラス間の代表ユークリッド距離Ｆの時間変化Ｆｔが、一定の閾値ＦＴＨより大きく」、かつ「クラス間の代表測地距離Ｇの時間変化Ｇｔが、一定の閾値ＧＴＨより小さい」ようなクラスを、関節状領域として検出することができる。
【０１７０】
ここで、代表測地距離Ｇの時間変化Ｇｔ、代表ユークリッド距離Ｆの時間変化Ｆｔは、それぞれ以下の（式２０）および（式２１）のように、代表測地距離Ｇおよび代表ユークリッド距離Ｆを微分した絶対値として求められる。絶対値として求める理由は、関節動きであるかどうかの判定結果に、距離ＧおよびＦが増加するか減少するか、すなわち微分値の向きは関与しないからである（図１６）。
【０１７１】
【数２２】
2011080923.tif 000108
【０１７２】
【数２３】
2011080923.tif 000109
【０１７３】
なお、代表測地距離Ｇの時間変化Ｇｔ、代表ユークリッド距離Ｆの時間変化Ｆｔの求め方については、（式２０）および（式２１）に限るものではない。微分に類する方法であるが、最も単純な方法としては、ある定めた時間間隔で代表測地距離Ｇ、代表ユークリッド距離Ｆの差分をそれぞれ求めて用いてもよい。
【０１７４】
図１７Ａ〜図１７Ｃは、以上の関節状領域判定処理のフローチャートである。
【０１７５】
図１７Ａに示すように、距離比較部１２０２は、各クラス間距離について閾値ＦＴＨと代表ユークリッド距離Ｆの時間変化Ｆｔの比較をまず行い（Ｓ１７０１）、閾値ＦＴＨよりも代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの組を求める（Ｓ１７０１でＹｅｓ）。続いて、距離比較部１２０２は、閾値ＧＴＨと代表測地距離Ｇの時間変化Ｇｔの比較を行い（Ｓ１７０２）、代表測地距離Ｇの時間変化Ｇｔが閾値ＧＴＨ以下となるクラスの組を、関節状動きを構成する関節状領域と判定するものである（Ｓ１７０２でＮｏ、Ｓ１７０３）。なお、代表測地距離Ｇが無限大となる場合には、その代表測地距離の算出に用いられたクラスの組を除外して処理を行うものとする。
【０１７６】
距離比較部１２０２は、図１７Ａに示した処理の代わりに、図１７Ｂに示す処理を行ってもよい。つまり、距離比較部１２０２は、各クラス間距離について、まず閾値ＧＴＨと代表測地距離Ｇの時間変化Ｇｔの比較を行う（Ｓ１７１１）。距離比較部１２０２は、代表測地距離Ｇの時間変化Ｇｔが閾値ＧＴＨ以下となるクラスの組を求める（Ｓ１７１１でＮＯ）。続いて、距離比較部１２０２は、閾値ＦＴＨと代表ユークリッド距離Ｆの時間変化Ｆｔの比較を行い（Ｓ１７１２）、閾値ＦＴＨよりも代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの組を、関節状動きを構成する関節状領域と判定するものである（Ｓ１７１２でＹｅｓ、Ｓ１７１３）。
【０１７７】
距離比較部１２０２は、図１７Ａおよび図１７Ｂに示した処理の代わりに、図１７Ｃに示す処理を行ってもよい。つまり、距離比較部１２０２は、先に示した閾値ＧＴＨと代表測地距離Ｇの時間変化Ｇｔの比較、および閾値ＦＴＨと代表ユークリッド距離Ｆの時間変化Ｆｔの比較を同時並行的に行う（Ｓ１７２１）。距離比較部１２０２は、代表測地距離Ｇの時間変化Ｇｔが閾値ＧＴＨ以下となり、かつ、閾値ＦＴＨよりも代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの組を、関節状動きを構成する関節状領域と判定する（Ｓ１７２１（Ｇ，Ｆ）で（Ｎ，Ｙ）、Ｓ１７２２）。これらの処理は、図１７Ａ〜図１７Ｃのどれを用いてもよいが、データの性質がある程度わかっている、または予測できる場合は、計算の効率化を図るために選択的に用いることができる。
【０１７８】
例えば、代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの数が比較的少ないと予測できる場合には、先にユークリッド距離の比較を行い、クラス数を大幅に減らしてから、測地距離の比較を行う図１７Ａのフローを採用することで、計算の効率化が行えるという効果が期待できる。逆に、代表測地距離Ｇの時間変化Ｇｔが小さいようなクラスの数が比較的比較的少ないと予測できる場合には、先に測地距離の比較を行い、クラス数を大幅に減らしてから、ユークリッド距離の比較を行う図１７Ｂのフローを採用することで、計算の効率化が行えるという効果が期待できる。それ以外の場合、特に代表ユークリッド距離Ｆの時間変化Ｆｔが大きいようなクラスの数と代表測地距離Ｇの時間変化Ｇｔが小さいようなクラスの数が同程度の規模と予測できる場合は、図１７Ｃに示すように同時並列的に処理を行ってもよい。以上のように、状況に応じて処理を選択することで、計算効率を上げられる可能性がある。
【０１７９】
なお、前述した図１７Ａ〜図１７Ｃのフローの処理の最後に、クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）または、クラス間測地距離の最小値ｍｉｎｇ（ｉ，ｊ）を判定条件として追加してもよい。図１７Ａ〜図１７Ｃの各距離判定フローに、前記最小距離判定フローを追加したフローを図１８Ａ〜図１８Ｃにそれぞれ示す。
【０１８０】
例えば、図１８Ａに示されるように、距離比較部１２０２は、関節状動きを構成する関節状領域と判定されたクラスの組について、クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）と予め定められた閾値ＭＩＮＴＨとの比較を行う（Ｓ１８０１）。クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）が閾値ＭＩＮＴＨよりも大きい場合には（Ｓ１８０１でＹｅｓ）、距離比較部１２０２は、当該組のクラスは、関節状領域に対応するが、接続されておらず、異なる２つの物体に対応すると判断する（Ｓ１８０２）。一方、クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）が閾値ＭＩＮＴＨ以下の場合には（Ｓ１８０１でＮｏ）、距離比較部１２０２は、当該組のクラスは、関節状領域に対応し、かつ同一の物体に対応すると判断する（Ｓ１８０３）。図１８Ｂおよび図１８ＣのフローチャートにおけるＳ１８０１〜Ｓ１８０３の処理は、図１８Ａに示したものと同様であるため、その詳細な説明は繰り返さない。なお、Ｓ１８０１の処理では、クラス間ユークリッド距離の最小値と閾値との比較処理を行ったが、クラス間ユークリッド距離の変わりにクラス間の測地距離の最小値を用いて、閾値との比較処理を行ってもよい。
【０１８１】
図１５（ａ）等に示すような同一物体上の関節状領域において、クラス間のユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）は多くの場合でゼロに近くなる。したがって、クラス間ユークリッド距離の最小値ｍｉｎｆ（ｉ，ｊ）、またはクラス間測地距離の最小値ｍｉｎｇ（ｉ，ｊ）が、予め定められた閾値ＭＩＮＴＨより小さい場合は、同一物体上の関節状領域である可能性が非常に高くなる。このため、同一の移動体上の関節状領域をより確実に検出できるという効果がある。
【０１８２】
なお、本発明における距離比較部１２０２の処理は、図１６の表、または図１７Ａ〜図１８Ｃのフローチャートに示すように、関節状だけでなく、クラス間の接近・平行移動といった状態の検出にも用いることができる。例えば、代表ユークリッド距離Ｆの時間変化Ｆｔが閾値ＦＴＨよりも小さい場合、２クラスの重心は平行移動しているか、静止していると考えられる。さらに、代表測地距離Ｇの時間変化Ｇｔの情報を利用して２クラスの状態をより細かに推定できる。代表測地距離Ｇの時間変化Ｇｔが小さい場合は平行に移動、代表測地距離Ｇの時間変化Ｇｔが大きい場合はともに重心の相対的な位置関係は保ったまま、別の物体としての動きをしていると推定できる。このように、距離比較部１２０２の出力を利用することで、クラスとクラスの間の関係について、有用な情報を取得することが可能であり、これらの情報を統合し、各クラス間の動き情報を豊富にすることで、より正確に移動物検出を実現できる効果がある。
【０１８３】
最後に、画像出力ステップＳ３０４は、出力部１０４によって実行される。つまり、出力部１０４は、関節状領域の情報に基づいてピクチャを生成して、ディスプレイ１２０に表示する。
【０１８４】
本実施の形態において出力部１０４は、画像入力部１０１で受け付けた動画像に対して、関節状領域検出部１０３で特定された関節状領域が視認できる表示態様となるように、入力ピクチャに画像処理を施して出力し、ディスプレイ１２０に表示する。
【０１８５】
図１９に、出力部１０４で生成したピクチャの例を示す。
【０１８６】
サブクラス分類部１０５で算出された各サブクラスに対し、互いに関節状動きをしている同一移動体として抽出されたサブクラスごとに、一つの移動体であるものとして色分けを行うと、図１９（ａ）、図１９（ｂ）のように表示することができる。この例では、２つの移動体が２種類に色分けされて表示されている。このような表示形態にすることで、ピクチャ中の移動体を正しく検出し、その結果をわかりやすく表示できる効果がある。
【０１８７】
移動体の位置を視認するためには、少なくともそのおおまかな位置が提示される必要がある。したがって、領域全体を色分けする必要は必ずしもないため、図１９（ｃ）のように、外枠のみ表示するとしてもよい。メリットとしては、移動体そのものの見え方をほとんど変化させずに、移動体領域を提示することができる。
【０１８８】
また、図１９（ｄ）のように、検出されたサブクラス間において、２つのクラスが関節状領域を構成する場合は、そのクラス間に「接続領域であること」を示す印（図１９（ｄ）の場合、四角いボックス）を表示することで、関節状動きをしている領域を簡単に確認することもできる。
【０１８９】
さらに、前記多種の情報を統合することで、例えば図１９（ｅ）のように、ヒトと車が同時に存在するピクチャにおいて、関節状動きを有する移動体に「Ｈｕｍａｎ」、関節状動きを有しない物体に「ＮｏＨｕｍａｎ」と併記することもできる。例えば、運転時のドライバーに前方の状況を知らせる際に役立つと考えられる。さらに、「Ｈｕｍａｎ」というラベルがふられた移動体について、ピクチャ内でのサイズが大きい場合はカメラ（＝自車）から近い位置にいると考えられるので、そのような場合には警報を表示するか、警報を鳴らす、等の処理により、安全運転支援等に役立つ機能への応用が期待できる。
【０１９０】
なお、出力部１０４において、ピクチャを生成する手順として、移動軌跡のピクチャ座標位置の画素をセグメント領域に応じた色で描画するとしたが、ピクチャを生成する方法をこれに限定するものではない。具体的には、移動軌跡の数とピクチャ全体の画素数とが同数であれば、上述した方法によりピクチャ中の全画素をクラスに応じた色で描画することができる。一方、移動軌跡の数がピクチャ全体の画素数より少ない場合、どの移動軌跡のピクチャ座標位置とも一致しない画素が存在する。
【０１９１】
このような移動軌跡のピクチャ座標位置と一致しない画素については、別の方法で描画しても良い。例えば、移動軌跡算出部１０２において、ある移動軌跡を生成するための動き検出に用いたブロックに属する画素は、その移動軌跡が属するサブクラスと同じ色で描画するとしても良い。
【０１９２】
また、移動軌跡のピクチャ座標位置と一致しない画素を描画する別の方法として、最近傍の移動軌跡の属するサブクラスと同じ色で描画するとしても良い。
【０１９３】
また、移動軌跡のピクチャ座標位置と一致しない画素を描画する別の方法として、複数の移動軌跡のピクチャ座標位置（点）の間を、Ｄｅｌａｕｎａｙ三角メッシュ生成法にて結び、同一のクラスに属する３点に囲まれる３角形に含まれる画素を、そのクラスと同じ色で描画するとしても良い。
【０１９４】
なお、連続して入力される動画像に対して処理を行う場合は、上述したステップＳ３０１〜Ｓ３０７の動作を、Ｔ枚のピクチャが入力されるたびに繰り返し行うとしても良い。
【０１９５】
以上のようにして、本実施の形態における関節状領域検出装置および方法によれば、ピクチャ内のサブクラス間移動軌跡のユークリッド距離と測地距離の代表値の時間変化に基づいて関節状領域の判定を行うことによって、ピクチャ中を移動する物体の領域を時間的に追跡した結果として、関節物体の姿勢によらずに、ピクチャ中の関節状領域を検出することができる。
【０１９６】
また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域抽出の失敗がない。
【０１９７】
以上のように、膨大なパラメータのフィッティングを必要とせずに、領域間測地距離に基づいてクラスタリングを行うことによって、安定に、形状が変化しながら移動する人物等を含むピクチャから関節状領域を抽出し、これによってピクチャ中の移動体を正しく検出可能となる。
【０１９８】
なお、本実施の形態の関節状領域検出装置において、距離算出部１０６が、移動軌跡算出部１０２で生成した移動軌跡から抽出する、移動軌跡のピクチャ数Ｔは、Ｔ＝３０としたが、この数値に限定するものではない。例えば、検出すべき移動体の種類や状態に応じて別の数値を用いても良い。例えば、検出する対象が歩行者と仮定できる場合、平均的な歩行周期が約１秒（３０フレーム）であることから、Ｔ＝３０フレームのピクチャにわたる移動軌跡は、人の歩行１周期に対応する。このように、検出すべき対象が周期的な変形を伴う移動体である場合、距離算出部１０６において抽出する移動軌跡のピクチャ数Ｔを、移動体の変形周期に対応するピクチャ数とすることで、移動体の変形の影響を受けにくくなり、移動体をより正しく抽出することができるという効果がある。また遮蔽などの影響により、ピクチャ数Ｔにわたる移動軌跡が算出できないピクチャ中の移動体領域が存在する場合について、移動軌跡が算出可能な最大のピクチャ数をＳ（Ｓ＜Ｔ）とすることで、移動体の領域をより詳細に検出可能になるという効果がある。
【０１９９】
なお、本実施の形態の関節状領域検出装置において、距離算出部１０６が抽出する移動軌跡を得るためのピクチャの枚数Ｔは、あらかじめ定められており、一定であるものとして説明したが、それぞれの移動軌跡の算出に利用するピクチャ数Ｔを、動的に変化させても良い。
【０２００】
移動軌跡のピクチャ数Ｔを動的に変化させる手法としては、例えば、移動軌跡個数の上限値をあらかじめ定めておき、これらの上限値を大きく超えないようにピクチャ数Ｔを動的に変化させるとしても良い。具体的には、移動軌跡の個数の上限値Ｎｍａｘをあらかじめ定めておき、距離算出部１０６において、あらかじめ定められたピクチャ数Ｔにわたる移動軌跡から抽出した移動軌跡の個数が、Ｎｍａｘを超えた場合に、ピクチャ数Ｔを増加させるとしてもよい。ここで移動軌跡の数が多いということは、動画像中の変化が小さい、被写体の動きが小さい、動きによる遮蔽領域が少ない、などの理由により、全ピクチャにわたる対応点が多く算出可能であることに相当する。このような場合、ピクチャ数Ｔを増加させることで、移動領域により多くの動きの情報が含まれることによって移動体を正しく検出できるという効果が期待できる。
【０２０１】
また、移動軌跡のピクチャ数Ｔを動的に変化させる別の手法としては、例えば、移動軌跡個数の下限値をあらかじめ定めておき、これらの下限値を下回らないようにピクチャ数Ｔを動的に変化させるとしても良い。具体的には、移動軌跡の個数の下限値Ｎｍｉｎをあらかじめ定めておき距離算出部１０６において、あらかじめ定められたピクチャ数Ｔにわたる移動軌跡の個数がＮｍｉｎを下回った場合に、移動軌跡の個数がＮｍｉｎを超えるように、より小さいピクチャ数Ｔを用いる、としても良い。このような処理を行うと、移動軌跡があらかじめ定められた移動軌跡数を下回らないようにすることができる。そのため、例えば動画像中の被写体の動きによる遮蔽によって移動軌跡の個数が相対的に小さくなる動画像に対しても、移動軌跡が極端に少なくなるということが発生しにくくなる。その結果、領域分割ができないということが発生しにくくなるという効果がある。
【０２０２】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０２０３】
なお、本発明に係る関節状領域検出装置および方法は、上記実施の形態に限定されるものではなく、上記実施の形態に対して当業者が思いつく変形を施して得られる形態や、後述する各種変形例を含む複数の形態における構成要素を任意に組み合わせて得られる形態も本発明に含まれる。
【０２０４】
（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１における関節状領域検出装置について説明する。
【０２０５】
実施の形態１で説明した関節状領域検出装置において、サブクラス分類部１０５は、（式３）で算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。つまり、サブクラス分類部１０５は、移動軌跡間での、各移動軌跡に属するブロック同士の色類似度に基づいて、複数の移動軌跡を複数のサブクラスに分類してもよい。以下で、画素の色類似度を元にクラスタリングを行う例について説明する。
【０２０６】
図２０（ａ）は、実施の形態１の変形例１における関節状領域検出装置の構成を示す図である。図２０（ａ）に示すように、この関節状領域検出装置は、画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３、出力部１０４を含む。関節状領域検出部１０３は、サブクラス分類部１９０１、距離算出部１０６、および領域検出部１０７を含む。
【０２０７】
まず、サブクラス分類部１９０１以外の部分については、実施の形態１と同じであるため、説明を省略する。
【０２０８】
サブクラス分類部１９０１にてサブクラスを算出する手法として、実施の形態１で説明した類似移動軌跡のラベリングによりサブクラスを算出する方法の代わりに、画素の色類似度をもとに、いわゆる“ｓｕｐｅｒｐｉｘｅｌ”と呼ばれる複数のサブクラスにピクチャを分割する方法を用いてもよい。ｓｕｐｅｒｐｉｘｅｌを算出する方法については、グラフベースの手法などを用いることができる。処理手順の詳細説明は非特許文献５等に記載されているため省略するが、ピクチャのグラフ表現に基づいて各領域間の境界を推定することで、効率的かつグローバルな特徴を保持しながらピクチャを小領域に分割するというものであり、遮蔽に強いためよりロバストな分割ができるという効果がある。
【非特許文献５】Ｐｅｄｒｏ  Ｆ．  Ｆｅｌｚｅｎｓｚｗａｌｂ  ａｎｄ  Ｄａｎｉｅｌ  Ｐ．  Ｈｕｔｔｅｎｌｏｃｈｅｒ，“Ｅｆｆｉｃｉｅｎｔ  Ｇｒａｐｈ−Ｂａｓｅｄ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．５９，Ｎｏ．２，ｐｐ．１６７−１８１，Ｓｅｐｔ，２００４
【０２０９】
本実施の形態の変形例１におけるサブクラス分類部１９０１の構成を図２０（ｂ）に示す。サブクラス分類部１９０１は、クラスタリング部１９０２を含む。クラスタリング部１９０２は、上述の色類似度を基に、ピクチャを複数のサブクラスに分類する。本変形例のサブクラス分類部１９０１の構成では、図７に示したサブクラス分類部１０５の構成と比較して、ユークリッド距離算出部が必要ないため、より簡易な構成で、高速にサブクラスへの分類を行うことができるという効果がある。
【０２１０】
以上の手順によりピクチャをサブクラスに分離し、各サブクラスに属する移動軌跡を、関節状領域検出に利用することが可能となる。
【０２１１】
（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２における関節状領域検出装置について説明する。
【０２１２】
実施の形態１で説明した関節状領域検出装置において、サブクラス分類部１０５は、（式３）にて算出したユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを求めるとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。以下で測地距離ｇ（ｉ，ｊ）の次元圧縮を行うことによって、サブクラスへの分類を行う例について説明する。
【０２１３】
図２１（ａ）は、実施の形態１の変形例２における関節状領域検出装置の構成を示す図である。図２１（ａ）に示すように、この関節状領域検出装置は、画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３、および出力部１０４を含む。関節状領域検出部１０３は、サブクラス分類部２００１、距離算出部１０６、および領域検出部１０７を含む。
【０２１４】
まず、サブクラス分類部２００１以外の部分については、実施の形態１と同じであるため、説明を省略する。本実施の形態の変形例２におけるサブクラス分類部２００１の構成を図２１（ｂ）に示す。サブクラス分類部２００１は、距離算出部２００２と、クラスタリング部２００３とを含む。サブクラス分類部２００１は、図７に示したサブクラス分類部１０５の構成と異なり、ユークリッド距離算出部７０１の代わりに、距離算出部２００２を備えている。距離算出部２００２は、移動軌跡算出部１０２で算出した移動軌跡から、（式３）に従ってユークリッド距離ｆ（ｉ，ｊ）を算出したのち、（式７）、（式８）に従って測地距離ｇ（ｉ，ｊ）を求める。なお、ここでの測地距離ｇ（ｉ，ｊ）の算出手順は、実施の形態１で記した距離算出部１０６での動作と同じため、説明を省略する。
【０２１５】
続いて、クラスタリング部２００３は、算出した測地距離ｇ（ｉ，ｊ）の次元圧縮を行ったのち、次元圧縮された測地距離を用いて、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする。
【０２１６】
次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ  ｓｙｓｔｅｍを求めることで実現できる。次元圧縮により、多次元空間に分布するデータを低次元空間に効率良く射影するための方法である。以降、クラスタリング部２００３において、測地距離ｇ（ｉ，ｊ）の次元圧縮を行い、移動軌跡をクラスタリングする手順について示す。
【０２１７】
測地距離ｇ（ｉ，ｊ）の構成するマトリクスを測地距離マトリクスＧとする（式２２）。
【０２１８】
【数２４】
2011080923.tif 000110
【０２１９】
クラスタリング部２００３は、まず測地距離マトリクスＧに対して、中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。
【０２２０】
【数２５】
2011080923.tif 000111
【０２２１】
ここで、Ｈは中心化行列であり、
【０２２２】
【数２６】
2011080923.tif 000112
【０２２３】
である。Ｉは単位行列、Ｎは移動軌跡の数である。
【０２２４】
また、
【０２２５】
【数２７】
2011080923.tif 000113
【０２２６】
である。
【０２２７】
次に、クラスタリング部２００３は、次元圧縮を行うために、τ（Ｇ）に対するＰ個の固有ベクトル（ｅｉｇｅｎ  ｖｅｃｔｏｒ）ｅｐおよびそれに対応する固有値（ｅｉｇｅｎ  ｖａｌｕｅ）λｐを算出する。
【０２２８】
これにより、測地距離ｇ（ｉ，ｊ）について
【０２２９】
【数２８】
2011080923.tif 000114
【０２３０】
とすると、測地距離ｇｉを次元圧縮された空間上に射影した結果は、データｚｐｉとして以下のように表すことができる。
【０２３１】
【数２９】
2011080923.tif 000115
【０２３２】
なお、ｅｐｉは、ｐ番目の固有ベクトルｅｐのｉ番目の要素である。固有ベクトルの数Ｐは、利用するシーンに応じて実験的に決定しても良いし、以下のように固有値λｐから寄与率ａｐを算出し、それに基づいて決定しても良い。
【０２３３】
【数３０】
2011080923.tif 000116
【０２３４】
ここで、Ｐは利用する固有ベクトルの数、すなわち圧縮された空間の次元数である。Ｎは全固有ベクトルの数である。そこで、寄与率ａｐが一定値以上となる時のＰを固有ベクトルの数とすれば良い。
【０２３５】
以上のようにクラスタリング部２００３は、（式２２）から（式２７）の処理により、測地距離ｇ（ｉ，ｊ）の次元圧縮を行う。距離算出部２００２において算出した測地距離ｇｉおよび対応する仮想的な移動軌跡を、固有ベクトルｅｐで張られる次元圧縮された空間上のデータｚｐｉと対応付けることができる。
【０２３６】
図２２に人物の歩行画像を入力とした場合の画素ｉの時間的移動軌跡が非線形に次元圧縮された空間に射影された結果を示す。図２２（ａ）は、多次元空間における次元圧縮前の移動軌跡のデータ分布を示す図である。同図では、説明を容易にするため、多次元空間を３次元空間としたが、実際には、（式２）に示したベクトルの各要素が各次元と対応する。図２２（ｂ）は、図２２（ａ）に示した移動軌跡の多次元空間を次元圧縮した空間を示す。図２２（ｂ）の縦軸、横軸は、それぞれ固有ベクトルｅ１、ｅ２である。２次元上に射影された点（ｚ１ｉ，ｚ２ｉ）は、測地距離ｇｉを射影したものである。ここで、非線形空間上のデータｚｐｉとピクチャ上での画素ｉの移動軌跡ｘｉとは一対一の対応関係にある。
【０２３７】
このため、（ｚ１ｉ，ｚ２ｉ）は、画素ｉの移動軌跡ｘｉに対応していると捉えることができる。なお、ここでは結果を可視化するために非線形空間の次元数を２次元としたが、前述のように、次元数は必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。
【０２３８】
次に、クラスタリング部２００３は、図２２（ｂ）に示したような移動軌跡を次元圧縮したデータｚｐｉに対してクラスタリングを行うことで、移動軌跡のクラスタリングを行う。本実施の形態の変形例３では、クラス数を所与としてクラス内分散が最小となるように移動軌跡をクラスタリングする手法を用いるものとする。
【０２３９】
まず、サブクラスを次のように表現する。
【０２４０】
【数３１】
2011080923.tif 000117
【０２４１】
ここで、Ｍは、サブクラス数であり利用するシーンに応じて経験的に決定される。
【０２４２】
それぞれのサブクラスθｍは、パラメータ
【０２４３】
【数３２】
2011080923.tif 000118
【０２４４】
およびパラメータＺｍで表現する。ここで、パラメータ
【０２４５】
【数３３】
2011080923.tif 000119
【０２４６】
は、次元圧縮された空間におけるサブクラスθｍに属するデータの座標値の平均値、パラメータＺｍは、サブクラスθｍに属するデータの座標値に関する共分散行列である。パラメータ
【０２４７】
【数３４】
2011080923.tif 000120
【０２４８】
の初期値はランダムに決定しても良いし、圧縮された非線形空間中をグリッドで等間隔に分割するなどして、その交点の座標値を初期値としても良い。
【０２４９】
なお、パラメータ
【０２５０】
【数３５】
2011080923.tif 000121
【０２５１】
およびパラメータＺｍは、以下の（式３０）および（式３１）のように表すことができる。
【０２５２】
【数３６】
2011080923.tif 000122
【０２５３】
【数３７】
2011080923.tif 000123
【０２５４】
ここで、Ｃｍは圧縮された非線形空間上でサブクラスθｍに属するデータ数である。
【０２５５】
以下、具体的なクラスタリングの方法について説明する。まず、以下の（式３２）の距離関数を用いて、データｚｉが属するサブクラスθｍを求める。
【０２５６】
【数３８】
2011080923.tif 000124
【０２５７】
ここで、ψｍ（ｚｉ）は、画素ｉの移動軌跡に対応するデータｚｉとそれぞれのサブクラスθｍとの距離を示すものである。各データは、距離ψｍ（ｚｉ）が最小値をとるサブクラスθｍに属するものとする。なお、φｍ（ｚｉ）はマハラノビス距離であり、
【０２５８】
【数３９】
2011080923.tif 000125
【０２５９】
である。また、φｍ（ｚｉ）をψｍ（ｚｉ）の代わりとして用いても構わない。
【０２６０】
また、ｐ（ｚｉ）は、尤度関数の枠組みにおけるｚｉの事前確率である。したがって、ｐ（ｚｉ）は、一定値としても構わないし、対象シーンが人物など決まった被写体を含むことが既知である場合、人物部位の形状や面積比等をもとにあらかじめ設定しても良い。特にデータｚｉの密度に偏りがある場合には有効である。例えば、データｚｉの密度が高いことが分かっているときに、密なデータｚｉを同じサブクラスにしたい場合は、対応する事前確率ｐ（ｚｉ）を大きく設定すればよい。逆にデータｚｉを細かく異なるサブクラスに分割したい場合は、対応する事前確率ｐ（ｚｉ）を小さく設定すればよい。なお、ここでのデータｚｉの密度は、画像空間上の密度でもよいし、圧縮された非線形空間上の密度でもよい。
【０２６１】
次に、（式３２）の計算結果から、サブクラスθｍに属するデータｚｉを用いて、以下のようにサブクラスθｍのパラメータ
【０２６２】
【数４０】
2011080923.tif 000126
【０２６３】
およびパラメータＺｍを更新する。
【０２６４】
【数４１】
2011080923.tif 000127
【０２６５】
【数４２】
2011080923.tif 000128
【０２６６】
ここで、ｚｃｍは、サブクラスθｍに属する圧縮された非線形空間上のデータである。また、ωはサブクラスθｍに対する重み係数であり、ω＝１としても良いし、入力データの平均値からのずれ具合によってωの値を調整しても良い。このように、（式３２）から（式３５）の距離計算およびパラメータ更新を規定回数繰り返すことによって、非線形空間上の各データが属するサブクラスθｍを得ることができる。なお、上記に加えて、ｋ−ｍｅａｎ、競合学習など、他のクラスタリング方法を用いても構わない。
【０２６７】
図２２（ｄ）に非線形空間上のデータに対しクラスタリングした例を示す。なお、次元圧縮したデータ分布図に、対応する人物領域を併記している。圧縮された非線形空間上でのサブクラスθ１からθ２についてピクチャ上での対応を見ると、θ１は人物頭部、θ２は人物胴体、というように、人体の各パーツに、各サブクラスが対応している。
【０２６８】
ここで、人体の各パーツが圧縮された非線形空間上のサブクラスに対応するのは、時間的に連続した複数枚のピクチャに渡って画素を追跡したことによる。圧縮された非線形空間上でクラスタリングを行うことによって、ピクチャ中を移動する物体の領域を時間的に追跡した結果として、ピクチャ中の移動する被写体ごとに画像領域を抽出することができる。
【０２６９】
本実施の形態の変形例２では、前処理として人物候補領域を設定する必要がない。このため、人物候補領域の検出ミスに起因する失敗がない。したがって、膨大なパラメータフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって安定に、形状が変化しながら移動する人物等を含むピクチャをクラスタリングできるという効果がある。
【０２７０】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０２７１】
（実施の形態１の変形例３）
次に、本発明の実施の形態１の変形例３における関節状領域検出装置について説明する。
【０２７２】
実施の形態１で説明した関節状領域検出装置において、サブクラス分類部１０５は、ユークリッド距離ｆ（ｉ，ｊ）に基づいてサブクラスを算出するものとして説明した。しかし、サブクラス分類部１０５の動作をこれに限定するものではない。以下、測地距離を複数生成することで、サブクラスの候補を生成し、それらの候補から選択してサブクラスを生成する例について説明する。
【０２７３】
図２３（ａ）は、実施の形態１の変形例３における関節状領域検出装置の構成を示す図である。図２３（ａ）に示すように、関節状領域検出装置は、画像入力部１０１、移動軌跡算出部１０２、関節状領域検出部１０３および出力部１０４を含む。関節状領域検出部１０３は、サブクラス分類部２２０１、距離算出部１０６および領域検出部１０７を含む。
【０２７４】
サブクラス分類部２２０１以外の構成要素については、実施の形態１と同じであるため、説明を省略する。本実施の形態の変形例３におけるサブクラス分類部２２０１の構成を図２３（ｂ）に示す。
【０２７５】
サブクラス分類部２２０１は、距離算出部２２０２、サブクラス候補生成部２２０３およびサブクラス候補選択部２２０４を備える。
【０２７６】
サブクラス分類部２２０１では、まず距離算出部２２０２にて、移動軌跡算出部１０２で算出した移動軌跡からユークリッド距離ｆ（ｉ，ｊ）を算出したのち、算出した距離マトリクスに対して、複数の判断基準を設けて測地距離変換を行い、測地距離ｇ（ｉ，ｊ）を求める。次にサブクラス候補生成部２２０３で、移動軌跡間の距離の分布における不連続点を閾値によって検出し、検出した不連続点よりも小さい測地距離だけ離れた移動軌跡どうしが一つのクラスとなるように、連続に分布する移動軌跡をクラスタリングすることによって、前記閾値に対するサブクラスの候補を生成する。最後に、サブクラス候補選択部２２０４において、クラス数についての指示を取得し、取得したクラス数に近い個数の領域に分割された領域抽出候補を、サブクラス候補生成部２２０３で生成された複数の領域抽出候補から選択し、選択したサブクラス候補を、移動軌跡算出部１０２で算出された移動軌跡からサブクラス化した結果として出力する。すなわち、サブクラス候補生成部２２０３で生成した、それぞれの前記閾値に対する領域抽出の候補から、あらかじめ定めたクラス数に最も近いクラスタリング結果を選択する。
【０２７７】
以下、サブクラス分類部２２０１の動作について説明する。
【０２７８】
まず距離算出部２２０２において、ユークリッド距離ｆ（ｉ，ｊ）を算出する。この手順は実施の形態１で説明したユークリッド距離算出部７０１と同じであるため、説明を省略する。距離算出部２２０２は、求めたユークリッド距離ｆ（ｉ，ｊ）に対してＫ個の閾値Ｒｋを定める。距離算出部２２０２は、それぞれの定めた閾値Ｒｋに対して非線形化処理を行い閾値Ｒｋに対する測地距離であるところのｇｋ（ｉ，ｊ）を算出する。ここで、各閾値Ｒｋに対応する測地距離ｇｋ（ｉ，ｊ）の算出手順は、実施の形態１で記した距離算出部１０６での動作と同じであるため、説明を省略する。
【０２７９】
次に、サブクラス候補生成部２２０３では、それぞれの閾値Ｒｋに対応する測地距離ｇｋ（ｉ，ｊ）を用いて、不連続点を検出することによってサブクラス候補生成を行う。具体的には、サブクラス候補生成部２２０３は、ｇｋ（ｉ，ｊ）が無限大となる移動軌跡ｉと移動軌跡ｊの間を不連続点とする。上記手順について、図２４を参照して説明する。図２４（ａ）に移動軌跡ａ〜ｈを示し、図２４（ｂ）に移動軌跡ａ〜ｈからなる多次元空間の概念図を示す。
【０２８０】
もし閾値Ｒｋが十分に大きな値である場合、例えば、ユークリッド距離ｆ（ｉ，ｊ）の最大値よりも閾値Ｒｋが大きい場合には、測地距離ｇｋ（ｉ，ｊ）は、すべてのｉ，ｊの組合せにおいて無限大にならない。すなわち、不連続点が１点もないため、図２４（ｃ）に示すようにサブクラスは１個と判断できる。一方、閾値Ｒｋが十分に小さい場合、具体的には、ｆ（ｉ，ｊ）の最小値よりも閾値Ｒｋが小さい場合には、すべてのｉ，ｊの組合せにおいてｇｋ（ｉ，ｊ）が無限大となる。すなわち、サブクラス数は移動軌跡の数と同数となる。したがって、閾値Ｒｋをｆ（ｉ，ｊ）の最大値と最小値の間の値に設定して、それぞれサブクラス分類を行うことが効率的である。図２４（ｄ）、図２４（ｅ）にそのようにして定めた閾値を適用した例を示す。
【０２８１】
閾値をＲ１として設定した場合、図２４（ｄ）のように測地距離ｇ１（ｅ，ｆ）は無限大となる。そこで、サブクラス候補生成部２２０３は、移動軌跡ｅと移動軌跡ｆとの間を不連続点と判定する。この結果、移動軌跡ａからｄの各移動軌跡と移動軌跡ｅとの測地距離は不連続点を通らないため無限大の値を取らず、逆に移動軌跡ｆからｈの各移動軌跡と移動軌跡ａからｅの各移動軌跡との測地距離は、不連続点ｇ１（ｅ，ｆ）を通るためそれぞれ無限大となる。このように、測地距離が無限大とならない移動軌跡ｉと移動軌跡ｊの組は同じサブクラスに属すると判定し、無限大となる場合は別のサブクラスに属すると判定する。これによって、図２４（ｄ）に示すように、データ点はθ１、θ２の２つのサブクラスに分離される。さらに、別の閾値をＲ２（ただし、Ｒ１＞Ｒ２）と定めた例について、図２４（ｅ）に示す。それぞれ、移動軌跡ｃと移動軌跡ｄとの間、移動軌跡ｅと移動軌跡ｆとの間、移動軌跡ｆと移動軌跡ｇとの間が不連続点であると判定し、図２４（ｄ）の場合と同様に測地距離が無限大となる組と無限大にならない組とを整理してθ１、θ２、θ３、θ４の合計４つのサブクラスに分離される。
【０２８２】
以上の処理により、サブクラス候補生成部２２０３は、複数の閾値Ｒｋに対して、測地距離が無限大とならない移動軌跡の組は連続とすることで同じサブクラスと判定することができる。また測地距離が無限大となる移動軌跡の組は不連続とすることによって、不連続点をもとにサブクラス候補を複数生成することができる。
【０２８３】
次に、サブクラス候補選択部２２０４は、サブクラス候補生成部２２０３でのサブクラス候補生成結果より、あらかじめ設定した数に最も近いクラス数となったサブクラス候補を、最終結果として選択する。図２４の例で説明すると、クラス数Ｍ＝４と設定した場合には、閾値Ｒ２の時のサブクラス候補（図２４（ｅ））が選択される。また、クラス数Ｍ＝２と設定した場合には、閾値Ｒ１の時のサブクラス候補（図２４（ｄ））が選択され、各移動軌跡について、指定したサブクラス数に最も近くなるようサブクラス分類が実行される。なお、クラス数Ｍについてはここでは２、４を取り上げたが、実際はより多い数が望ましく、シーンの状況や経験によって任意に定めることができる。
【０２８４】
なお、本実施の形態の変形例３では、ユークリッド距離と測地距離を利用することによって、画素の位置と動きの類似性とを考慮したサブクラス分類が可能となる。図２４の例では、クラス数Ｍ＝２と設定した場合には、下半身の動きが上半身の動きと大きく異なることが反映されて、上半身と下半身とが別々のサブクラスとなる。またクラス数Ｍ＝４と設定した場合には、Ｍ＝２の場合に加えて、頭部の動きと腕の動きの違い、上腿と下腿との動きの違いが反映され、頭部、腕、上腿（じょうたい）、下腿（かたい）が別々のサブクラスとなる。
【０２８５】
なお、閾値Ｒｋの数は何種類用意してもかまわない。また、設定したクラス数と同数のサブクラス候補がない場合には、最も近いサブクラス数となったものを選択してもよいし、設定したクラス数よりも小さいクラス数の中から一番近いサブクラス数となったサブクラス候補を選択してもよい。また同様に、設定したクラス数よりも大きいクラス数の中から一番近いサブクラス数となったサブクラス候補を選択してもよい。
【０２８６】
このように、複数の閾値に対して、測地距離を用いて算出した不連続点をもとにサブクラス候補生成を行い、規定したクラス数に最も近いサブクラス候補を選択することによってサブクラス分類を行うことができる。
【０２８７】
以上のようにして、本実施の形態およびその変形例に係る関節状領域検出装置および方法では、画素間の距離または移動軌跡の類似度に基づいてサブクラス化を行い、さらにサブクラス間のユークリッド距離と測地距離の情報から、関節物体の姿勢によらずに、移動体を含むピクチャ中の関節状領域、または、関節状動きを有する部位の検出、関節状領域または関節状動きを有する移動体を含むピクチャの領域分割をすることができる。
【０２８８】
また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因する領域分割の失敗がない。したがって、膨大なパラメータのフィッティングを必要とせずに、ユークリッド距離と測地距離を定めた閾値との単純に比較するだけで、形状が変化しながら移動する人物等を含むピクチャに対しても正しく関節状領域の検出を行い、これによってピクチャ中の移動体の検出も正しく行えることとなる。
【０２８９】
また、上記実施の形態における関節状領域検出装置１００は、画像入力部１０１および移動軌跡算出部１０２を備えたが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおけるピクチャの移動軌跡が予め算出されている場合には、関節状領域検出装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ２０３〜Ｓ２０７の処理を実行してもよい。
【０２９０】
また、本発明は、関節状領域検出装置として実現されたが、関節状領域検出部１０３の機能を持つものであれば、動画像において関節状動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置として実現することができるのは言うまでもない。
【０２９１】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０２９２】
（実施の形態２）
上記した実施の形態１およびその変形例では、関節状領域検出の結果として、人物領域、または関節状領域をディスプレイに表示したが、関節状領域検出の結果の利用方法としては、このような応用に限られず、例えば、人物または移動体の動作認識に応用してもよい。
【０２９３】
具体的には、本発明に係る関節状領域検出装置は、上記実施の形態における構成要素に加え、動作認識部を備えてもよい。本実施の形態における関節状領域検出部の構成を図２５に示す。関節状領域検出装置１００は、実施の形態１の関節状領域検出装置１００の構成に加え、領域検出部１０７と出力部１０４との間に、動作認識部２４０１を備えている。動作認識部２４０１は、関節状領域検出部１０３で得られた関節状領域検出結果に基づいて、各関節状動きをなすサブクラス間の角度をデータとして蓄積しておき、その情報をもとに移動体の動作を認識する。つまり、動作認識部２４０１は、領域検出部１０７で検出された領域に含まれる関節状動きをなす複数のサブクラス間の角度を算出し、算出した角度と、人物の動作パターンごとに予め定められている角度とを比較することにより、被写体の動作を認識する。以下、図２６Ａおよび図２６Ｂを参照しながら動作認識部２４０１の動作について説明する。
【０２９４】
図２６Ａに、ある定められた作業を行っている作業者を示す。例えば、図２６Ａ（ａ）に示すように、作業者が、１番目の操作として、部品＃５の取付けを行い、図２６Ａ（ｂ）に示すように、作業者が、２番目の操作として、部品＃１０の取付けを行ったとする。作業者の動作をとらえる位置に設置されたカメラ１１０より入力されたピクチャに対し、サブクラスθｉとθｊが関節状動きを構成する関節状領域として検出されたものとする。図２６Ａ（ｃ）は、図２６Ａ（ａ）に示すピクチャにおける関節状領域を示し、図２６Ａ（ｄ）は、図２６Ａ（ｂ）に示すピクチャにおける関節状領域を示している。
【０２９５】
図２６Ａ（ｃ）に示すように、ある時刻でのサブクラスθｉ２５０１ａおよびサブクラスθｊ２５０２ａ、並びにその間をつなぐ関節部２５０３ａが得られると、サブクラスθｉ２５０１ａとサブクラスθｊ２５０２ａとのなす角度は、各サブクラスの重心および関節部２５０３ａより求めることができる。
【０２９６】
具体的には、サブクラスθｉ２５０１ａの重心をｗｉ（ｘｉ，ｙｉ）、サブクラスθｊ２５０２ａの重心をｗｊ（ｘｊ，ｙｊ）と表現すると、関節部Ｊｎｔ（ｘｊｎｔ，ｙｊｎｔ）２５０３ａを挟んでピクチャ上でなす角φｉｊ２５０４ａは、ベクトルの内積を用いて（式３６）のように、求められる。
【０２９７】
【数４３】
2011080923.tif 000129
【０２９８】
ここで、図２６Ａ（ｄ）に示すように、上記角φｉｊ２５０４ａを含むピクチャ（図２６Ａ（ａ））に隣接するピクチャ（図２６Ａ（ｂ））における、サブクラスθｉ２５０１ｂ、サブクラスθｊ２５０２ｂ、関節部Ｊｎｔ２５０３ｂが、ピクチャ上でなす角φｉｊ２５０４ｂについても同様に（式３６）で求めることができる。
【０２９９】
ここで、（式３６）に示される関節部の角度を用いると、例えばあるべき角度として図２６Ａ（ｅ）の破線の矢印で示される関節角度φ´ｉｊ２５０４ｃが与えられたときに、動作認識部２４０１は、与えられた関節角度φ´ｉｊ２５０４ｃと、図２６Ａ（ｄ）に示す実際に観測された関節角度φｉｊ２５０４ｂと比較して、比較結果を出力部１０４に対して出力する。
【０３００】
最後に、出力部１０４は、関節角度があるべき角度と異なっていた場合は、図２６Ａ（ｆ）に示すように、作業手順にミスがあったとして、警告メッセージ２５０５を提示する。それによって作業ミスを作業者に知らせることができる。本実施の形態ではディスプレイ１２０に提示しているが、もちろん、メッセージは音声でもよい。
【０３０１】
（実施の形態２の変形例１）
図２６Ｂに、別の動画像に対する、動作認識結果の例を示す。
【０３０２】
図２６Ａには、人物が１人含まれる動画像を入力として、作業時の支援を行う例を示したが、動作認識部２４０１の処理内容をこれに限るものではない。以下では、実施の形態２の変形例として、人物に代表される多数の移動体を含むピクチャを入力として、それぞれの移動体の動作を認識、表示させる例について説明する。
【０３０３】
認識させたい動作について、ある一定のパターンを仮定する。例として、図２６Ｂに示すような［ｗａｌｋｉｎｇ（歩行）、ｄａｎｃｉｎｇ（踊り）、ｒｕｎｎｉｎｇ  ｔｏｗａｒｄｓ（こちらへ向かって走る）、ｈｉｔｔｉｎｇ（殴る）、ｔｒｅｍｂｌｉｎｇ（倒れる）、ｅｔｃ（その他）］の６パターンを仮定したとする。それぞれのパターンについて、関節部の数とその角度、および人物領域中での位置をデータとして予めメモリ（図示せず）に蓄積しておく。最も簡易な手法としては、蓄積したデータの平均値をメモリに格納しておくとよい。また、人の動作は時間変化を伴うため、これらのデータは一定の時間長を持つ時系列データとして蓄積・利用することが望ましい。もちろん、学習の手法はこれに限るものではない。
【０３０４】
続いて、カメラ１１０より入力した移動体を含むピクチャに対して、関節状領域検出部１０３は、関節状領域検出を行い、関節状領域検出部１０３の処理結果から、動作認識部２４０１にて関節部の数とその角度、および人物領域中での位置を取得する。動作認識部２４０１は、上述した予め蓄積されているデータ、またはデータの平均値と比較し、最も近い動作を、その移動体の動作として決定し、移動体領域に決定した動作に対応するラベル付けを行い、出力部１０４に出力することで、動作認識を行う。
【０３０５】
最後に、出力部１０４は、動作認識ラベルと移動体領域の情報を用い、ディスプレイ１２０に図２６Ｂのようなピクチャとして、動作認識結果を表示する。以上のようにして、踊っている移動体には「ｄａｎｃｉｎｇ」、歩いている移動体には「ｗａｌｋｉｎｇ」等と付記してディスプレイにピクチャを表示することで、殴っている「ｈｉｔｔｉｎｇ」などの異常行動に監視者が気づくよう促すことができる。また、ディスプレイだけでなく、異常行動について音声等で警告を発してもよい。
【０３０６】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０３０７】
（実施の形態３）
以下で、本発明の実施の形態３について説明する。
【０３０８】
関節状領域の検出結果の利用方法としては、実施の形態１および２で例示したような応用例に限られず、例えば、置き去り検知に応用することもできる。
【０３０９】
具体的には、本実施の形態に係る関節状領域検出装置は、実施の形態１における関節状領域検出装置の構成要素に加え、動作検知部を備えていてもよい。
【０３１０】
本実施の形態における関節状領域検出装置の構成を図２７に示す。実施の形態１に係る関節状領域検出装置１００の構成に加え、本実施の形態に係る関節状領域検出装置１００は、領域検出部１０７と出力部１０４との間に、動作検知部２６０１を備えている。動作検知部２６０１は、関節状領域検出部１０３で得られた関節状領域検出結果に基づいて、関節状動きをなすサブクラス間の関節数をデータとして蓄積しておき、その情報をもとに移動体の接続数の変化を検出する。以下、図２８を参照しながら動作検知部２６０１の動作について説明する。
【０３１１】
図２８（ａ）および図２８（ｂ）に示すように、ある移動体が通り過ぎざまにバッグを持ち去ったとすると、関節状領域の関節数に、変化が生じる。
【０３１２】
つまり、両方矢印で示される関節２７０１の数が、当初（図２８（ａ））は８である。その後、図２８（ｂ）に示すように、移動体がある物体を持ち去ると、図２８（ｃ）に示すように、関節数が、９に増加する。
【０３１３】
動作検知部２６０１は、このような関節数の増加を捉えることにより、物体の持ち去りを検出することができる。逆に、関節数の減少をとらえることで、置き去り検知にも利用可能である。
【０３１４】
以上の手順により、動作検知部２６０１は置き去り・持ち去りの有無を出力部１０４に出力し、最終的に出力部１０４が、図２８（ｄ）のように、ディスプレイに警報を表示し、監視者に知らせることができる。もちろん、警報は画像のみならず音声でもよい。
【０３１５】
本発明の本実施の形態を用いれば、その他同様なセキュリティ・監視分野への本発明の応用も可能である。
【０３１６】
なお、上述の実施の形態１〜３における２つのサブクラス間の測地距離を、２つのサブクラス内の移動軌跡間の距離に基づいて正規化を行うようにしてもよい。
【０３１７】
また、上述の実施の形態１〜３における２つのサブクラス間のユークリッド距離を、２つのサブクラス内の移動軌跡間のユークリッド距離に基づいて正規化を行うようにしてもよい。
【０３１８】
なお、本実施の形態では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０３１９】
（実施の形態４）
以下で、本発明の実施の形態４について説明する。
【０３２０】
関節状領域検出装置の構成および関節状領域の検出方法は、実施の形態１〜３で示した例に限られず、例えば以下に示す構成および方法で実現することもできる。
【０３２１】
具体的には、本実施の形態に係る関節状領域検出装置は、実施の形態１における関節状領域検出装置１００のように、関節状領域検出装置１００の内部に設けられたサブクラス分類部１０５で移動軌跡をサブクラスに分類する代わりに、移動軌跡をサブクラスに分類した結果を外部から取得して用いる。
【０３２２】
図２９Ａは、移動軌跡をサブクラスに分類した結果を示す分類情報を作成する分類情報作成装置の構成を示すブロック図である。
【０３２３】
分類情報作成装置３００は、画像入力部１０１、移動軌跡算出部１０２およびサブクラス分類部１０５を備える。画像入力部１０１、移動軌跡算出部１０２およびサブクラス分類部１０５が実行する処理は、実施の形態１に示したものと同様である。このため、その詳細な説明はここでは繰り返さない。ただし、サブクラス分類部１０５は、移動軌跡をサブクラスに分類した結果である分類情報２８０２を、分類情報作成装置３００の外部に設けられた記憶部２８００に記憶する。記憶部２８００は、ＣＤ−ＲＯＭなどの記録媒体である。分類情報２８０２は、動画像を構成する複数枚のピクチャにわたる、各々がピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類した結果を示す。
【０３２４】
図２９Ｂは、本実施の形態における関節状領域検出装置の構成を示すブロック図である。
【０３２５】
図１に示した実施の形態１に係る関節状領域検出装置１００の構成における、移動軌跡算出部１０２、関節状領域検出部１０３および出力部１０４が実行する処理は、必ずしも同一の関節状領域検出装置で行われる必要はない。つまり、距離算出部１０６および領域検出部１０７が関節状領域検出装置に含まれていれば、実施の形態１と同等の効果を得ることができる。
【０３２６】
本実施の形態に係る関節状領域検出装置４００は、関節状領域検出部２８０３と、出力部１０４とを備える。
【０３２７】
関節状領域検出部２８０３は、記憶部２８００に記憶されている分類情報２８０２を参照し、小領域間の移動軌跡の時間変化に基づいて、関節状動きを行う関節状領域の検出を行う処理部である。関節状領域検出部２８０３は、サブクラス取得部２８０１、距離算出部１０６および領域検出部１０７を備える。
【０３２８】
サブクラス取得部２８０１は、記憶部２８００に記憶されている分離情報２８０２を、記憶部２８００から読み込むことにより取得する。
【０３２９】
距離算出部１０６は、サブクラス取得部２８０１が取得した分類情報２８０２に基づいて、実施の形態１で説明したのと同様の方法により、サブクラスごとに、他のサブクラスとの間の移動軌跡および測地距離を算出する。
【０３３０】
領域検出部１０７は、実施の形態１で説明したのと同様の方法により、関節状動きを有する領域を検出する。
【０３３１】
本実施の形態における関節状領域検出装置４００の動作を表すフローチャートを図３０に示す。図３０において、ステップＳ３０３およびＳ３０４は、それぞれ図２９Ｂの関節状領域検出部２８０３および出力部１０４に対応している。すなわち、関節状領域検出部２８０３では関節状領域検出ステップＳ３０３、出力部１０４では画像出力ステップＳ３０４の各動作を実行する。また、ステップＳ２９００、Ｓ３０６およびＳ３０７は、それぞれ図２９Ｂのサブクラス取得部２８０１、距離算出部１０６および領域検出部１０７に対応している。すなわち、サブクラス取得部２８０１では分類情報取得ステップＳ２９００、距離算出部１０６では距離算出ステップＳ３０６、領域検出部１０７では領域検出ステップＳ３０７の各動作を実行する。距離算出ステップＳ３０６、領域検出ステップＳ３０７および画像出力ステップＳ３０４の各動作は、実施の形態１に示したものと同様である。
【０３３２】
実施の形態１におけるサブクラス分類部１０５では、移動軌跡をサブクラスに分類する処理を行っている。本実施の形態におけるサブクラス取得部２８０１は、別途あらかじめサブクラスへの分類を行っておいた移動軌跡の分類結果情報である分類情報２８０２を取得し、各移動軌跡がどのサブクラスに属するかという情報（分類情報２８０２）を、距離算出部１０６へ出力する。
【０３３３】
以下、サブクラス取得部２８０１の動作について説明する。
【０３３４】
複数の移動軌跡を、各々が少なくとも１つの移動軌跡を含む複数のサブクラスへ分類する、実施の形態１におけるサブクラス分類部１０５は、必ずしも本発明における関節状領域検出装置に含まれる必要はない。
【０３３５】
というのも、サブクラスとは、各移動軌跡を、ある定めた指標によってクラスタリングしたものであるため、そのようなクラスタリングが事前に外部の装置またはソフトウェアによって行われるような場合は、関節状領域検出装置内で改めてクラスタリングをする必要がないからである。
【０３３６】
本実施の形態では、外部であらかじめ移動軌跡をサブクラスへ分類した分類結果を示す分類情報２８０２を、サブクラス取得部２８０１が取得し、取得した分類情報２８０２を距離算出部１０６および領域検出部１０７で利用する。
【０３３７】
まず、サブクラス取得部２８０１が取得するデータについて、いくつかの例を用いて説明し、その後、データの取得方法について説明する。
【０３３８】
図３１Ａ〜図３１Ｃを用いて、サブクラス取得部２８０１が取得する分類情報２８０２の一例について説明する。
【０３３９】
図３１Ａは、１フレームから４フレームにわたって算出された、ピクチャ間の対応点である移動軌跡を示す。実際の画像では通常、より多くの移動軌跡が算出されるが、ここでは簡単のため移動軌跡が５本算出されたものとする。
【０３４０】
（１サブクラスが１移動軌跡を含む場合）
まずは、最も単純なケースである、１つのサブクラスが１つの移動軌跡に対応する場合について説明する。
【０３４１】
サブクラス取得部２８０１は、各移動軌跡がどのサブクラスに属するかという情報を取得する。したがって、図３１Ｂに示すような分類情報２８０２が記憶部２８００に保存されていれば、取得して用いることができる。
【０３４２】
具体的には、分類情報２８０２は、フレーム数に対応する軌跡長（ここでは４）、軌跡長（ここでは４フレーム）にわたり追跡された移動軌跡の数（ここでは５）、および分類先のサブクラスの総数（ここでは５）、および各サブクラスのデータ（各対応点の画素座標と、輝度情報を並べたもの）を少なくとも含んでいればよい。例えば、１つ目の移動軌跡の１フレーム目のピクチャ上の座標は、（ａｘ１，ａｙ１）であり、その座標の輝度値はａＣ１であることが示されている。
【０３４３】
なお、ここで輝度情報が必要である理由は、出力部１０４が元の画像をディスプレイ１２０に表示するためであり、関節状領域の検出自体については、各サブクラスのデータに画素座標の情報が少なくとも含まれていれば実現できる。このため、目的と場合によっては、輝度情報を省略することで、よりデータの大きさを削減することも可能である。
【０３４４】
また、特にこの場合、１つのサブクラスが１つの移動軌跡に対応するため、サブクラス数と移動軌跡数は等しい。従って、図３１Ｃに示すように、分類情報２８０２は、フレーム数（軌跡長）、移動軌跡数、および各移動軌跡のデータ（各対応点の画素座標と、輝度情報を並べたもの）を含んでいればよい。すなわち、分類情報２８０２に移動軌跡のみの情報が含まれていてもよいため、実際には外部でサブクラス分類が行われたかどうかに関わらず、関節状領域検出装置４００は、図３１Ｃに示したような情報が含まれる分類情報２８０２を取得し、関節状領域を検出することができる。
【０３４５】
サブクラス取得部２８０１が分類情報２８０２を取得した後、距離算出部１０６が移動軌跡間距離を算出し、領域検出部１０７がサブクラス間の代表測地距離および代表ユークリッド距離を求め、関節状動きを有する領域を検出する。
【０３４６】
図３１Ａ〜図３１Ｃの例において、注意すべき点は、それぞれのサブクラスが１移動軌跡よりなるという点である。距離算出部１０６での各移動軌跡間の距離算出手順は、サブクラスに含まれる移動軌跡数に影響を受けない。領域検出部１０７では、サブクラス間距離の算出、すなわち（式１４）、（式１５）によって代表測地距離および代表ユークリッド距離を算出していた。しかし、これらの式は、１サブクラスが１移動軌跡の場合、すなわち上述のケースでも成り立つ式であり、本実施の形態の図３１Ａの例においても計算上何ら問題はない。
【０３４７】
以上のように、本発明は各サブクラスが１移動軌跡からなるサブクラス、すなわち移動軌跡そのものに対しても関節状領域検出が可能である。しかし、領域検出部１０７が（式１４）により算出する代表測地距離、および（式１５）により算出する代表ユークリッド距離は、異なるサブクラスの移動軌跡間で定義される距離の平均、中央値、または最頻値である。このため、サブクラスの有する移動軌跡数が、１つよりも複数の方が、計算上安定するとともに、計算の高速化にも寄与できるといえる。したがって、実際は各サブクラスの含む移動軌跡は複数あったほうが望ましい。以下で、各サブクラスの含む移動軌跡が複数である例について説明する。
【０３４８】
（１サブクラスが複数の移動軌跡を含む場合）
図３２Ａおよび図３２Ｂを用いて、サブクラス取得部２８０１が取得する分類情報２８０２の別の例について説明する。
【０３４９】
図３２Ａは、図３１Ａと同じく、１フレームから４フレームにわたって算出された、ピクチャ間の対応点である移動軌跡が５本算出された場合を示す図である。
【０３５０】
図３１Ａと異なる点は、１つのサブクラスが複数の移動軌跡を含む点である。
【０３５１】
図３２Ａのｔ＝１のフレーム上に示す点線の楕円で、それぞれ算出された１つのサブクラスを表すとすると、図３１Ａでも参照した点ａ〜ｅについて、点ａとｂが同じサブクラス（クラス１）に、点ｄとｅが別の同じサブクラス（クラス３）に分類されることがわかる。
【０３５２】
この場合に、記憶部２８００に保存される分類情報２８０２の例を図３２Ｂに示す。具体的には、分類情報２８０２は、フレーム数に対応する軌跡長（ここでは４）、軌跡長（ここでは４フレーム）にわたり追跡された移動軌跡の数（ここでは５）、分類先のサブクラスの総数（ここでは３）、および各サブクラスのデータ（各対応点の画素座標と、輝度情報を並べたもの）を少なくとも含んでいればよい。例えば、１つ目のサブクラス（クラス１）には２つの移動軌跡が属しており、そのうちの１つ目の移動軌跡の１フレーム目のピクチャ上の座標は、（ａｘ１，ａｙ１）であり、その座標の輝度値はａＣ１であることが示されている。また、２つ目の移動軌跡の１フレーム目のピクチャ上の座標は、（ｂｘ１，ｂｙ１）であり、その座標の輝度値はｂＣ１であることが示されている。
【０３５３】
図３１Ｂおよび図３１Ｃの場合と同様に、ここで輝度情報が必要である理由は、出力部１０４が元の画像をディスプレイ１２０に表示するためであり、関節状領域の検出自体については、各サブクラスのデータに画素座標の情報が少なくとも含まれていれば実現できる。このため、目的と場合によっては、輝度情報を省略することで、よりデータの大きさを削減することも可能である。
【０３５４】
特にこの場合、１つのサブクラスが複数の移動軌跡に対応する。
【０３５５】
サブクラス取得部２８０１が分類情報２８０２を取得した後、距離算出部１０６が移動軌跡間距離を算出し、領域検出部１０７がサブクラス間の代表測地距離および代表ユークリッド距離を求め、関節状動きを有する領域を検出する。領域検出部１０７が（式１４）により算出する代表測地距離、および（式１５）による算出する代表ユークリッド距離は、異なるサブクラス間の移動軌跡間で定義される距離の平均、中央値、または最頻値である。このため、サブクラスの有する移動軌跡数が、１つよりも複数である本実施の形態の図３２Ａおよび図３２Ｂの例は、計算上の安定および高速化に貢献できる。
【０３５６】
以上説明した分類情報２８０２は、様々な形態で保存されうる。例えば、記憶部２８００として、外部メモリやサーバのメモリに分類情報２８０２を格納しておくことが可能である。また、記憶部２８００として、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）カード、ＣＤまたはＤＶＤ−ＲＯＭ等の記録媒体に、分類情報２８０２を記録しておくことも可能である。記録された分類情報２８０２は、有線または無線経由で読み出すことが可能である。具体的には、ＵＳＢケーブル等のＰＣケーブルもしくはカードリーダを経由する、または有線もしくは無線のネットワーク、放送等により伝送されることで、サブクラス取得部２８０１は分類情報２８０２を取得することができる。
【０３５７】
以上より、本実施の形態では、分類情報作成装置３００によって、例えば色、動き等の指標に基づいて、移動軌跡のクラスタリングが行われる。関節状領域検出装置４００は、クラスタリングされた移動軌跡を取得し、領域検出処理を行なう。
【０３５８】
以上の手順により、関節状領域検出装置４００は、各移動軌跡が所属するサブクラスについての情報を、内部で計算することなく、外部から取得する。以上の構成によっても、動画像中において、人物のように、姿勢や位置、大きさなどが時間的に変化するような関節状動きを有する移動体の関節状領域を検出することで、画像中の移動体を確実に検出することができる。
【産業上の利用可能性】
【０３５９】
本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含むピクチャを領域抽出することによってピクチャ中の移動体を検出する関節状領域検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる関節状領域検出装置等として利用することが可能である。
【符号の説明】
【０３６０】
１００、４００    関節状領域検出装置
１０１    画像入力部
１０２    移動軌跡算出部
１０３    関節状領域検出部
１０４    出力部
１０５    サブクラス分類部
１０６    距離算出部
１０７    領域検出部
１１０    カメラ
１２０    ディスプレイ
２００    コンピュータ
２０１    Ｉ／Ｆ
２０２    ＣＰＵ
２０３    ＲＯＭ
２０４    ＲＡＭ
２０５    ＨＤＤ
２０６    ビデオカード
３００    分類情報作成装置
７０１、９０１    ユークリッド距離算出部
７０２    クラスタリング部
９０２    測地距離算出部
９０３    ユークリッド距離ロード部
１２０１    クラス間距離算出部
１２０２    距離比較部
２８００    記憶部
２８０１    サブクラス取得部
２８０２    分類情報
２８０３    関節状領域検出部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、
動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、
サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、
任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部と
を備える関節状領域検出装置。
【請求項２】
前記領域検出部は、サブクラス間の２点間距離の時間変化が所定の２点間距離閾値よりも大きく、かつ前記サブクラス間の測地距離の時間変化が所定の測地距離閾値以下となるサブクラスを、関節状動きを有する領域として検出する
請求項１記載の関節状領域検出装置。
【請求項３】
前記領域検出部は、前記サブクラス分類部により分類された前記複数のサブクラスの中から、サブクラス間の２点間距離の時間変化が前記所定の２点間距離閾値よりも大きくなるサブクラスを検出し、検出したサブクラスの中からサブクラス間の測地距離の時間変化が前記所定の測地距離閾値以下となるサブクラスを、関節状動きを有する領域として検出する
請求項２記載の関節状領域検出装置。
【請求項４】
前記領域検出部は、前記サブクラス分類部により分類された前記複数のサブクラスの中から、サブクラス間の測地距離の時間変化が前記所定の測地距離閾値以下となるサブクラスを検出し、検出したサブクラスの中からサブクラス間の２点間距離の時間変化が前記所定の２点間距離閾値よりも大きくなるサブクラスを、関節状動きを有する領域として検出する
請求項２記載の関節状領域検出装置。
【請求項５】
前記領域検出部は、前記サブクラス分類部により分類された前記複数のサブクラスの中から、サブクラス間の２点間距離の時間変化が前記所定の２点間距離閾値よりも大きくなるサブクラスを検出する第１の検出処理と、前記サブクラス分類部により分類された前記複数のサブクラスの中から、サブクラス間の測地距離の時間変化が前記所定の測地距離閾値以下となるサブクラスを検出する第２の検出処理とを並行して実行し、前記第１の検出処理および前記第２の検出処理の双方において検出されたサブクラスを、関節状動きを有する領域として検出する
請求項２記載の関節状領域検出装置。
【請求項６】
前記領域検出部は、さらに、サブクラス間の２点間距離の最小値が、所定の最小値閾値以下となる場合のみ、前記サブクラス間の２点間距離の時間変化が所定の２点間距離閾値よりも大きくなり、かつ前記サブクラス間の測地距離の時間変化が所定の測地距離閾値以下となるサブクラスを、関節状動きを有する領域として検出する
請求項２〜５のいずれか１項に記載の関節状領域検出装置。
【請求項７】
前記領域検出部は、任意の２つのサブクラス間の２点間距離の代表値の時間変化および測地距離の代表値の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する
請求項１記載の関節状領域検出装置。
【請求項８】
前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の平均値であり、
前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の平均値である
請求項７記載の関節状領域検出装置。
【請求項９】
前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の中央値であり、
前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の中央値である
請求項７記載の関節状領域検出装置。
【請求項１０】
前記２つのサブクラス間の２点間距離の代表値は、前記２つのサブクラス間の２点間距離の最頻値であり、
前記２つのサブクラス間の測地距離の代表値は、前記２つのサブクラス間の測地距離の最頻値である
請求項７記載の関節状領域検出装置。
【請求項１１】
前記サブクラス分類部は、移動軌跡間の２点間距離に基づいて、前記複数の移動軌跡を前記複数のサブクラスに分類する
請求項１〜１０のいずれか１項に記載の関節状領域検出装置。
【請求項１２】
前記サブクラス分類部は、移動軌跡間での、各移動軌跡に属する画素同士、または前記画素が属するブロック同士の色類似度に基づいて、前記複数の移動軌跡を前記複数のサブクラスに分類する
請求項１〜１０のいずれか１項に記載の関節状領域検出装置。
【請求項１３】
前記サブクラス分類部は、移動軌跡間の測地距離の次元圧縮を行い、次元圧縮された前記移動軌跡間の測地距離に基づいて、前記複数の移動軌跡を前記複数のサブクラスに分類する
請求項１〜１０のいずれか１項に記載の関節状領域検出装置。
【請求項１４】
前記距離算出部は、前記複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の２点間距離のうち、所定の距離閾値以下の２点間距離を選択し、選択しなかった２点間距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、前記測地距離を算出する
請求項１〜１３のいずれか１項に記載の関節状領域検出装置。
【請求項１５】
前記距離算出部は、前記複数の移動軌跡のそれぞれについて、当該移動軌跡から他の移動軌跡までの複数の２点間距離のうち、前記所定の距離閾値以下の２点間距離を選択し、選択しなかった２点間距離を無限大に変更する非線形化をした後に、当該移動軌跡から他の移動軌跡までの最短経路を求めることにより、前記測地距離を算出し、移動軌跡間の測地距離が有限の値となる移動軌跡の集まりを同一のサブクラスに分類することにより、前記複数の移動軌跡を複数のサブクラスに分類する
請求項１４記載の関節状領域検出装置。
【請求項１６】
さらに、
前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域検出部により検出された領域ごとに異なる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える、
請求項１〜１５のいずれか１項に記載の関節状領域検出装置。
【請求項１７】
前記動画像は、人物を被写体として撮影された動画像であり、
前記関節状領域検出装置は、さらに、
前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域検出部により検出された領域ごとに、人物の領域が視認できる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える
請求項１〜１５のいずれか１項に記載の関節状領域検出装置。
【請求項１８】
前記動画像は、人物を被写体として撮影された動画像であり、
前記関節状領域検出装置は、さらに、
前記領域検出部により検出された領域に含まれる関節状動きをなす複数のサブクラス間の角度を算出し、算出した角度と、人物の動作パターンごとに予め定められている角度とを比較することにより、前記被写体の動作を認識する動作認識部を備える
請求項１〜１５のいずれか１項に記載の関節状領域検出装置。
【請求項１９】
さらに、
前記動作認識部により認識された前記被写体の動作に基づいて、前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記被写体の動作が視認できる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える
請求項１８記載の関節状領域検出装置。
【請求項２０】
さらに、
前記領域検出部により検出された前記領域に含まれる関節状動きをなす複数のサブクラス間の関節数に基づいて、前記動画像に含まれる移動体の接続数の変化を検知する動作検知部を備える
請求項１〜１５のいずれか１項に記載の関節状領域検出装置。
【請求項２１】
前記動作検知部は、前記接続数の減少を検知した場合には、前記移動体による物体の置き去りがあったと判定し、前記接続数の増加を検知した場合には、前記移動体による物体の持ち去りがあったと判定する
請求項２０記載の関節状領域検出装置。
【請求項２２】
さらに、
前記動作検知部による判定結果に基づいて、前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記物体の置き去りまたは持ち去りが視認できる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える
請求項２１記載の関節状領域検出装置。
【請求項２３】
さらに、
動画像を構成する複数枚のピクチャを受け付ける画像入力部と、
受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と
を備える請求項１〜２２のいずれか１項に記載の関節状領域検出装置。
【請求項２４】
前記移動軌跡算出部は、算出される移動軌跡の個数に応じて、当該移動軌跡の算出に用いられるピクチャの枚数を変化させ、前記複数の移動軌跡を算出する
請求項２３記載の関節状領域検出装置。
【請求項２５】
前記移動軌跡算出部は、算出される移動軌跡の個数があらかじめ定められた上限値を越える場合に、当該移動軌跡の算出に用いられるピクチャの枚数を増加させ、前記複数の移動軌跡を算出する
請求項２４記載の関節状領域検出装置。
【請求項２６】
前記移動軌跡算出部は、算出される移動軌跡の個数があらかじめ定められた下限値を下回る場合に、当該移動軌跡の算出に用いられるピクチャの枚数を減少させ、前記複数の移動軌跡を算出する
請求項２４または２５に記載の関節状領域検出装置。
【請求項２７】
前記関節状動きは、関節により接続された物体の動きである
請求項１〜２６のいずれか１項に記載の関節状領域検出装置。
【請求項２８】
前記関節状動きは、ひも状の物体の動きである
請求項１〜２６のいずれか１項に記載の関節状領域検出装置。
【請求項２９】
動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出方法であって、
動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類ステップと、
サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出ステップと、
任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出ステップと
を含む関節状領域検出方法。
【請求項３０】
動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出するためのプログラムであって、
請求項２９に記載の関節状領域検出方法に含まれるステップをコンピュータに実行させるためのプログラム。
【請求項３１】
動画像中の移動体を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、関節状動きを有する領域を検出する関節状領域検出装置であって、
動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類した結果を示す分類情報を取得するサブクラス取得部と、
取得した前記分類情報に基づき、サブクラスごとに、当該サブクラスに属する第１の移動軌跡と他のサブクラスに属する第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、
任意の２つのサブクラス間の２点間距離の時間変化および測地距離の時間変化に基づいて、同一の関節により接続された関節状動きを行う２つの領域に対応する移動軌跡が属する２つのサブクラスを、関節状動きを有する領域として検出する領域検出部と
を備える関節状領域検出装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011080923.tif 000130
【図２】
2011080923.tif 000131
【図３】
2011080923.tif 000132
【図４】
2011080923.tif 000133
【図５】
2011080923.tif 000134
【図６】
2011080923.tif 000135
【図７】
2011080923.tif 000136
【図８】
2011080923.tif 000137
【図９】
2011080923.tif 000138
【図１０】
2011080923.tif 000139
【図１１】
2011080923.tif 000140
【図１２】
2011080923.tif 000141
【図１３】
2011080923.tif 000142
【図１４】
2011080923.tif 000143
【図１５】
2011080923.tif 000144
【図１６】
2011080923.tif 000145
【図１７Ａ】
2011080923.tif 000146
【図１７Ｂ】
2011080923.tif 000147
【図１７Ｃ】
2011080923.tif 000148
【図１８Ａ】
2011080923.tif 000149
【図１８Ｂ】
2011080923.tif 000150
【図１８Ｃ】
2011080923.tif 000151
【図１９】
2011080923.tif 000152
【図２０】
2011080923.tif 000153
【図２１】
2011080923.tif 000154
【図２２】
2011080923.tif 000155
【図２３】
2011080923.tif 000156
【図２４】
2011080923.tif 000157
【図２５】
2011080923.tif 000158
【図２６Ａ】
2011080923.tif 000159
【図２６Ｂ】
2011080923.tif 000160
【図２７】
2011080923.tif 000161
【図２８】
2011080923.tif 000162
【図２９Ａ】
2011080923.tif 000163
【図２９Ｂ】
2011080923.tif 000164
【図３０】
2011080923.tif 000165
【図３１Ａ】
2011080923.tif 000166
【図３１Ｂ】
2011080923.tif 000167
【図３１Ｃ】
2011080923.tif 000168
【図３２Ａ】
2011080923.tif 000169
【図３２Ｂ】
2011080923.tif 000170
【国際調査報告】
2011080923.tif 000171
2011080923.tif 000172
2011080923.tif 000173
2011080923.tif 000174