(57)【要約】  移動体検出装置（１００）は、動画像を構成する複数枚のピクチャを受け付ける画像入力部（１０１）と、複数枚のピクチャから複数の移動軌跡を算出する移動軌跡算出部（１０２）と、複数の移動軌跡を、複数のサブクラスに分類するサブクラス分類部（１０３）と、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部（１０４）と、算出されたサブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部（１０５）とを備える。
2011080900.tif 000002
【特許請求の範囲】
【請求項１】
動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、
動画像を構成する複数枚のピクチャを受け付ける画像入力部と、
受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、
算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、
サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、
算出された前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部と
を備える移動体検出装置。
【請求項２】
前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスと他のサブクラスとの間の前記サブクラス間近似測地距離として、当該サブクラスに属する移動軌跡の類似性を表すサブクラス内距離と、前記他のサブクラスの前記サブクラス内距離と、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離とを加算した距離を算出する
請求項１記載の移動体検出装置。
【請求項３】
前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡間の線形距離の平均値、最頻値またはメディアン値を、当該サブクラスの前記サブクラス内距離として算出する
請求項２記載の移動体検出装置。
【請求項４】
前記領域分割部は、さらに、２つのサブクラス間の前記サブクラス間近似測地距離を前記サブクラス内距離によって正規化した距離を、前記サブクラス間近似測地距離として算出する
請求項２または３に記載の移動体検出装置。
【請求項５】
前記サブクラス間近似測地距離算出部は、前記最小値が所定の閾値より大きい場合には、前記サブクラス間近似測地距離を無限大に変更する非線形化を行うことにより、前記サブクラス間近似測地距離を算出する
請求項１〜４のいずれか１項に記載の移動体検出装置。
【請求項６】
前記サブクラス間近似測地距離算出部は、第１のサブクラスと第２のサブクラスとの間のサブクラス間近似測地距離と、前記第１のサブクラスと第３のサブクラスとのサブクラス間近似測地距離および前記第３のサブクラスと前記第２のサブクラスとの間のサブクラス間近似測地距離の和とを比較し、小さいほうの値を前記第１のサブクラスと前記第２のサブクラスとの間のサブクラス間近似測地距離として算出する
請求項５記載の移動体検出装置。
【請求項７】
前記領域分割部は、前記サブクラス間近似測地距離の時間変化に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つの領域を示すクラスとして特定することによって、領域分割を実行する
請求項１〜６のいずれか１項に記載の移動体検出装置。
【請求項８】
前記領域分割部は、２つのサブクラス間の前記サブクラス間近似測地距離の時間変化を表す値が、所定の時間変化閾値以下の場合に、前記２つのサブクラスが同一のクラスに属すると判定することにより、領域分割を実行する
請求項７記載の移動体検出装置。
【請求項９】
前記領域分割部は、２つのサブクラス間の前記サブクラス間近似測地距離の時間変化を表す値が、所定の時間変化閾値よりも大きい場合に、前記２つのサブクラスが異なるクラスに属すると判定することにより、領域分割を実行する
請求項７または８に記載の移動体検出装置。
【請求項１０】
前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の距離のうち、小さいほうから所定個数の距離の平均値を、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離とする
請求項１〜９のいずれか１項に記載の移動体検出装置。
【請求項１１】
前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の距離のうち、所定の閾値以下の距離の平均値を、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離とする
請求項１〜９のいずれか１項に記載の移動体検出装置。
【請求項１２】
前記サブクラス分類部は、算出された前記複数の移動軌跡のうち類似する移動軌跡を同一のサブクラスに分類することによって、前記複数の移動軌跡を複数のサブクラスに分類する
請求項１〜１１のいずれか１項に記載の移動体検出装置。
【請求項１３】
前記サブクラス分類部は、算出された前記複数の移動軌跡のうち最も類似する移動軌跡の組み合わせを同一のサブクラスに分類する処理を、規定回数または前記複数の移動軌跡が規定のサブクラス数に分類されるまで繰り返し実行することによって、前記複数の移動軌跡を複数のサブクラスに分類する
請求項１２記載の移動体検出装置。
【請求項１４】
前記サブクラス分類部は、前記画像入力部において受け付けられた前記複数枚のピクチャのうち少なくとも１枚のピクチャから、当該ピクチャのエッジ情報、色情報および輝度情報のうちの少なくとも１つを用いて、当該ピクチャを複数の領域に分割し、分割した各領域を通る移動軌跡を同一のサブクラスに分類することにより、前記複数の移動軌跡を複数のサブクラスに分類する
請求項１〜１１のいずれか１項に記載の移動体検出装置。
【請求項１５】
さらに、
前記画像入力部において受け付けられた前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域分割部により領域分割を実行することにより特定された領域ごとに、他の特定された領域と異なる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える
請求項１〜１４のいずれか１項に記載の移動体検出装置。
【請求項１６】
さらに、
前記画像入力部において受け付けたられた前記複数枚のピクチャのうち少なくとも１枚のピクチャに対して、前記領域分割部により実行された領域分割の結果を付与したピクチャを、記録装置に書き込む、または、伝送路を介して外部に送信する記録・送信部を備える
請求項１〜１５のいずれか１項に記載の移動体検出装置。
【請求項１７】
さらに、
前記領域分割部により特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する領域が、ピクチャ間で移動すると予測することにより、前記移動体の動きを予測する動き予測部を備える
請求項１〜１５のいずれか１項に記載の移動体検出装置。
【請求項１８】
動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出方法であって、
動画像を構成する複数枚のピクチャを受け付ける画像入力ステップと、
受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、複数の移動軌跡を算出する移動軌跡算出ステップと、
算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類ステップと、
サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出ステップと、
算出された前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割ステップと
を含む移動体検出方法。
【請求項１９】
動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出するためのプログラムであって、
請求項１８に記載の移動体検出方法に含まれるステップをコンピュータに実行させるためのプログラム。
【請求項２０】
ヘッダ情報と、
ボディ情報と
を含むデータ構造を有するデータが記録されたコンピュータ読み取り可能な記録媒体であって、
前記ヘッダ情報は、
動画像を構成するピクチャのサイズと、
前記動画像を構成する前記ピクチャの枚数であるピクチャ枚数と、
前記動画像から得られる移動軌跡の数である移動軌跡数と、
類似する移動軌跡の集合であるサブクラスの数であるサブクラス数とを含み、
前記ボディ情報は、
前記動画像を構成する前記ピクチャ枚数のピクチャと、
前記動画像から得られる前記移動軌跡数の移動軌跡を示すデータと、
各前記移動軌跡が属するサブクラスを示すデータと、
サブクラスごとに、当該サブクラスと他のサブクラスとの間の類似性を表すサブクラス間近似測地距離とを含む
コンピュータ読み取り可能な記録媒体。
【請求項２１】
動画像を構成する複数枚のピクチャを受け付ける画像入力部と、
受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、
算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、
サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、
少なくとも前記サブクラス間近似測地距離算出部が算出した前記サブクラス間近似測地距離を含むデータを出力するデータ出力部と
を備える移動体検出用データ生成装置。
【請求項２２】
動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、
少なくとも、動画像中の類似する移動軌跡の集合であるサブクラスに属する移動軌跡と、当該サブクラスとは異なる前記動画像中の類似する移動軌跡の集合であるサブクラスに属する移動軌跡との間の類似性を表すサブクラス間近似測地距離を含むデータの入力を受け付けるデータ入力部と、
前記データ入力部で受け付けられた前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部と
を備える移動体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の移動体の領域を特定することによって移動体を検出する画像処理技術に関する。特に、移動体が人物のように形状が変化しながら移動する対象である場合においても、動画像中の動き情報に基づいて高速に移動体を検出する移動体検出装置等に関する。
【背景技術】
【０００２】
従来から、移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。特に移動体が人である場合にその移動体の領域を抽出する技術は、デジタルビデオカメラもしくはデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、または、ロボットにおける人との衝突回避制御もしくは衝突回避のための警報などに、共通して利用される基礎技術である。【０００３】
画像中の移動体の領域を抽出する技術のうち、一般的な手法として、画像から移動体領域の候補を抽出したのち、抽出した移動体領域の候補に対し、予め用意した移動体モデルとの類似度を評価して、類似度が高い領域を移動体領域として抽出する手法がある。【０００４】
さらに、歩行する人物等のように、変形しながら移動する移動体の領域を抽出する場合、変形を考慮した移動体モデルを利用する手法がある。例えば、特許文献１の技術では、移動体領域候補として複数の画像から移動体のシルエット画像を抽出する。そして、あらかじめパラメータ化した移動体の変形に関するモデルと、抽出したシルエット画像との類似度を評価し、類似度が高い領域とその領域に対応するモデルのパラメータとを推定する手法が開示されている。これによって、形状が周期的に変化しながら移動する人物に対しても、パラメータ化したモデルを当てはめることができるため、移動体の領域抽出を可能にしている。【０００５】
また、非特許文献１の技術では、固定された１つの移動体を複数の視点から撮影した画像を入力として、各画像における画素値を並べたベクトルと、その他の画像の画素値を並べたベクトルとのユークリッド距離を計算する。そして計算されたユークリッド距離を測地距離変換した後、次元圧縮を行うことによって、類似した視点から撮影した画像が２次元空間上で近距離となるように射影することを可能にする方法が開示されている。ここでは、従来のＰＣＡ（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）等の線形次元圧縮方法と比較して、測地距離変換によって、より低次元に圧縮可能であり、さらに、非線形に分布するデータに対しても取り扱いが可能なことが示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２１４２８９号公報
【非特許文献】
【０００７】
【非特許文献１】Ｊｏｓｈｕａ  Ｔｅｎｅｎｂａｕｍ，  Ｖｉｎ  ｄｅ  Ｓｉｌｖａ  ａｎｄ  Ｊｏｈｎ  Ｌａｎｇｆｏｒｄ，  “Ａ  Ｇｌｏｂａｌ  Ｇｅｏｍｅｔｒｉｃ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｎｏｎｌｉｎｅａｒ  Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  Ｒｅｄｕｃｔｉｏｎ”，  Ｓｃｉｅｎｃｅ，  ＶＯＬ２９０，  ｐｐ．２３１９−２３２２，  ２２  Ｄｅｃｅｍｂｅｒ，  ２０００
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来の領域抽出の技術は、例えば、街頭などで複数の人物等の移動体が行き交うシーンなどのように、移動体が他の移動体によって部分的に遮蔽される場合や、大きさが著しく異なる移動体を含む場合などに、正しく移動体を抽出することができないという問題がある。【０００９】
特許文献１に代表される従来の領域抽出手法では、画像から移動体領域の候補を抽出する必要がある。この時、適切に移動体領域候補を抽出できなければ、移動体をパラメータ化したモデルを正確に移動体領域候補に当てはめることが不可能になる。特に、上述のようなシーンにおいては、移動体領域候補を適切に抽出することは困難である。さらに、移動体領域候補を適切に抽出できたとしても以下のような課題がある。つまり、特に人物等の多関節物体を移動体とした場合、移動体のさまざまな姿勢や大きさに起因する画像の変化、バリエーションが非常に大きいため、移動体モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめ誤りを誘発する。そのため、例えば、複数の移動体を１つの移動体として誤って検出したり、抽出対象となる移動体が存在しない領域を移動体として誤って検出したりするなど、正しく移動体を検出することができないという課題がある。【００１０】
一方で、非特許文献１に代表される画像処理手法では、画像間の距離を入力として非線形処理を行うことにより、効率良く圧縮された低次元空間に画像データを射影することができる。これによりノイズに対する耐性が期待できる。さらには、測地距離変換と次元圧縮により、連続的かつ非線形に分布するデータを効率よく表現することができる。しかしながら、非特許文献１の主な目的は、複数の画像を低次元空間に射影することで画像間の類似度を可視化することにあり、形状が変化する人物等の多関節物体におけるさまざまな姿勢変化に対応しながら、正しく移動体を検出する方法は開示されていない。【００１１】
ここで、非特許文献１は、取り扱う全データ数をＮとした場合に、Ｎ２の要素数を持つマトリクスを用いて、測地距離変換および次元圧縮を行う必要がある。そのため、データ数Ｎが大きい場合に、計算量が膨大になるという問題があることが知られている。【００１２】
これに対し、非特許文献２および非特許文献３には、データ点の中からデータ点数よりも少ない数のランドマーク点を設定し、設定したランドマーク点を用いて前記マトリクスを生成し測地距離変換および次元圧縮を行うことによって、計算量を削減する方法が提示されている。【００１３】
【非特許文献２】Ｖｉｎ  ｄｅ  Ｓｉｌｖａ  ａｎｄ  Ｊｏｓｈｕａ  Ｂ．  Ｔｅｎｅｎｂａｕｍ，  “Ｇｌｏｂａｌ  Ｖｅｒｓｕｓ  Ｌｏｃａｌ  Ｍｅｔｈｏｄｓ  ｉｎ  Ｎｏｎｌｉｎｅａｒ  Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  Ｒｅｄｕｃｔｉｏｎ”，  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ  １５，  ｐｐ．７０５−７１２，  ２００２
【００１４】
【非特許文献３】Ｖｉｎ  ｄｅ  Ｓｉｌｖａ  ａｎｄ  Ｊｏｓｈｕａ  Ｂ．  Ｔｅｎｅｎｂａｕｍ，  “Ｓｐａｒｓｅ  Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ  Ｓｃａｌｉｎｇ  ｕｓｉｎｇ  Ｌａｎｄｍａｒｋ  Ｐｏｉｎｔｓ”，  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，  Ｓｔａｎｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ，  Ｊｕｎｅ  ２００４
【００１５】
そこで本発明者は、特許文献１の領域抽出が正しく行われないという問題を解決することを目的として、以下のような手段からなる領域抽出技術を発明した。この領域抽出技術を用いた領域抽出装置は、画像入力手段と、時間的に異なる画像から動きを検出し、検出した動きを時間的に連結することで、移動軌跡を算出する動き解析手段と、移動軌跡間の類似性を表す距離を算出する距離算出手段と、前記距離を測地距離に変換し、得られた測地距離から移動軌跡を分類することによって、領域抽出を行う領域分割手段とを含む。【００１６】
特には、この領域抽出技術では、非特許文献１に記載される測地距離変換処理による性質として、連続的かつ非線形に分布するデータを効率良く表現可能であるという性質を利用する。【００１７】
ただし、この領域抽出技術は、非特許文献１の技術と同様に入力データ数が多くなると計算量が膨大になるといった問題がある。さらに、非特許文献２および非特許文献３に代表される計算量の削減方法では、ランドマーク点とランドマーク点との間に存在するデータ点、つまりランドマークとして選ばなかった点に関して、ランドマーク点を用いて線形補間を行うものである。しかしながら、特に、形状が変化する人物等の移動体は、頭と足の動きが異なるように、同一の移動体であっても部位によって動きが異なる。例えば、頭と足にランドマーク点がある場合やランドマーク点とランドマーク点の間に関節が存在する場合には、ランドマーク点間の線形補間を行うと、腕や膝の関節動き等の動きを適切に捉えることができない。そのため、形状が変化する人物等の多関節物体における様々な姿勢変化に対応しながら、正しく移動体を抽出することが難しい。さらに、あらかじめ被写体が抽出されていない段階において、人物等の多関節物体に対してランドマーク点を適切に設定することは難しい。【００１８】
そこで本発明は、上述の課題を解決するためになされたものであり、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、少ない計算量で、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出することができる移動体検出装置等を提供することを目的とする。
【課題を解決するための手段】
【００１９】
この課題を解決するために本発明のある局面に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、算出された前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部とを備える。【００２０】
この構成によると、サブクラス間距離は、全ての移動軌跡のペアについて算出される線形距離に基づいて算出され、サブクラス間近似測地距離は、サブクラス間距離を用いて算出される。また、サブクラス間距離は、それぞれ異なるサブクラスに属する移動軌跡間の線形距離の最小値を距離として含んでいるため、多関節物体の動きが生じた場合であっても、変化しにくい。さらに、本発明によるクラスは画像中の移動体領域と対応するため、その結果として移動体を検出することができる。このため、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、少ない計算量で、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出することができる。【００２１】
なお、本発明は、上記移動体検出装置として実現できるだけでなく、移動体検出装置に含まれる特徴的な処理部をステップとする移動体検出方法、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。なお、そのようなプログラムは、インターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００２２】
本発明によると、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、少ない計算量で、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の実施の形態１における移動体検出装置の基本構成を示す図である。
【図２】図２は、本発明の実施の形態１における移動体検出装置をソフトウェアで実現する場合におけるハードウェア構成図である。
【図３】図３は、本発明の実施の形態１における移動体検出装置の基本動作を示すフローチャートである。
【図４】図４は、本発明の実施の形態１における移動軌跡算出部の処理例を示す図である。
【図５】図５は、本発明の実施の形態１におけるサブクラス分類部の処理例を示す図である。
【図６】図６は、本発明の実施の形態１における測地距離の効果の一例を示す図である。
【図７】図７は、本発明の実施の形態１におけるサブクラス間近似測地距離の効果の一例を示す図である。
【図８】図８は、本発明の実施の形態１におけるサブクラス間近似測地距離の計算方法の一例を示す図である。
【図９】図９は、本発明の実施の形態１における領域分割部の処理例を示す図である。
【図１０】図１０は、本発明の実施の形態２における移動体検出装置の基本構成を示す図である。
【図１１】図１１は、本発明の実施の形態２における移動体検出装置の基本動作を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態２におけるサブクラス分類部の処理例を示す図である。
【図１３】図１３は、本発明の実施の形態３における移動体検出装置の基本動作を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態３におけるサブクラス間近似測地距離の性質を示す概念図である。
【図１５】図１５は、本発明の実施の形態３における画像入力部の処理例を示す図である。
【図１６】図１６は、本発明の実施の形態１から３の第１変形例における移動体検出装置の基本構成を示す図である。
【図１７】図１７は、本発明の実施の形態１から３の第１変形例における記録・送信データの一例を示す図である。
【図１８】図１８は、本発明の実施の形態１から３の第２変形例における移動体検出装置の構成例を示す図である。
【図１９】図１９は、本発明の実施の形態１から３の第２変形例における移動体検出装置の基本動作を示すフローチャートである。
【図２０】図２０は、本発明の実施の形態２における動き予測の一例を示す図である。
【図２１】図２１は、本発明の第３変形例に係る移動体検出用データ生成装置の機能的な構成を示すブロック図である。
【図２２】図２２は、記録媒体に記録される情報のデータ構成を示す図である。
【図２３】図２３は、ピクチャのサイズ（Ｘ，Ｙ）およびピクチャ枚数（Ｔ）を説明するための図である。
【図２４】図２４は、移動軌跡数（Ｎ）を説明するための図である。
【図２５】図２５は、サブクラス数（Ｓ）を説明するための図である。
【図２６】図２６は、サブクラスラベル付移動軌跡ベクトルについて説明するための図である。
【図２７】図２７は、記録媒体に記録される情報の具体例を示す図である。
【図２８】図２８は、移動体検出装置の機能的な構成を示すブロック図である。
【発明を実施するための形態】
【００２４】
本発明の一実施形態に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、算出された前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部とを備える。
【００２５】
これにより、連続的かつ非線形に分布する移動軌跡が、類似性によりまとめられてクラス分類が行われるので、動きの異なる複数の部位からなる人物等の多関節物体を移動体として検出する場合であっても、一つの領域として判定される。その結果、正確な領域抽出が行われ、移動体が正しく検出される。つまり、形状が変化しながら移動する人物等の移動体に対しても正しく領域抽出し、これによって画像中の移動体を高速かつ確実に検出することが可能である。
【００２６】
また、移動軌跡をサブクラスに分類し、さらに移動軌跡の類似性を示す測地距離の代わりにサブクラス間近似測地距離を算出することによって、特に関節を持つ物体の動きに対して、より少ない計算量で、測地距離を計算した場合と同様の性質を持った距離を計算することができるため、高速な移動体検出が可能となる。さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。
【００２７】
好ましくは、前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスと他のサブクラスとの間の前記サブクラス間近似測地距離として、当該サブクラスに属する移動軌跡の類似性を表すサブクラス内距離と、前記他のサブクラスの前記サブクラス内距離と、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離とを加算した距離を算出する。
【００２８】
サブクラス間近似測地距離として、サブクラス間距離とサブクラス内距離を用いることで、より高精度に測地距離を近似することができる。これにより、少ない計算量で形状が変化しながら移動する人物等の移動体に対しても正しく領域抽出し、これによって画像中の移動体を高速かつ確実に検出することが可能である。
【００２９】
ここで、前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡間の線形距離の平均値、最頻値またはメディアン値を、当該サブクラスの前記サブクラス内距離として算出する構成としてもよい。
【００３０】
さらに、特に移動体の大きさが変化する場合には、前記領域分割部は、さらに、２つのサブクラス間の前記サブクラス間近似測地距離を前記サブクラス内距離によって正規化した距離を、前記サブクラス間近似測地距離として算出するとしてもよい。サブクラスの空間的な大きさの情報を含むサブクラス内距離によって、サブクラス間近似測地距離を正規化することによって、画像上でのサイズが変化するような移動体もより正確に検出することが可能になる。
【００３１】
また、前記サブクラス間近似測地距離算出部は、前記最小値が所定の閾値より大きい場合には、前記サブクラス間近似測地距離を無限大に変更する非線形化を行うことにより、前記サブクラス間近似測地距離を算出する構成としてもよい。
【００３２】
また、前記サブクラス間近似測地距離算出部は、第１のサブクラスと第２のサブクラスとの間のサブクラス間近似測地距離と、前記第１のサブクラスと第３のサブクラスとのサブクラス間近似測地距離および前記第３のサブクラスと前記第２のサブクラスとの間のサブクラス間近似測地距離の和とを比較し、小さいほうの値を前記第１のサブクラスと前記第２のサブクラスとの間のサブクラス間近似測地距離として算出する構成としてもよい。
【００３３】
また、前記領域分割部は、前記サブクラス間近似測地距離の時間変化に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つの領域を示すクラスとして特定することによって、領域分割を実行する構成としてもよい。このように、サブクラス間近似測地距離の時間変化により、サブクラスラベルの統合・非統合を判定することによって、関節物体等の動きに対しても一つの移動体として検出できる。
【００３４】
なお、時間変化に基づいてサブクラスラベルを統合するためには、前記領域分割部は、２つのサブクラス間の前記サブクラス間近似測地距離の時間変化を表す値が、所定の時間変化閾値以下の場合に、前記２つのサブクラスが同一のクラスに属すると判定することにより、領域分割を実行するのが望ましい。これにより、サブクラス間近似測地距離の時間変化が小さい場合には、関節動きや剛体のように同一の移動体として判定することが可能になる。
【００３５】
さらに、時間変化によりサブクラスラベルを統合しないためには、前記領域分割部は、２つのサブクラス間の前記サブクラス間近似測地距離の時間変化を表す値が、所定の時間変化閾値よりも大きい場合に、前記２つのサブクラスが異なるクラスに属すると判定することにより、領域分割を実行するのが望ましい。これにより、サブクラス間近似測地距離の時間変化が大きい場合には、別々の移動体として判定することが可能になる。
【００３６】
また、前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の距離のうち、小さいほうから所定個数の距離の平均値を、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離としてもよい。また、前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の距離のうち、所定の閾値以下の距離の平均値を、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離としてもよい。この構成により、よりノイズの影響を受けにくいサブクラス間近似測地距離を算出可能である。
【００３７】
また、サブクラスの生成方法に関して、本発明のより好ましい形態は、前記サブクラス分類部は、算出された前記複数の移動軌跡のうち類似する移動軌跡を同一のサブクラスに分類することによって、前記複数の移動軌跡を複数のサブクラスに分類する構成としたものである。より好ましくは、前記サブクラス分類部は、算出された前記複数の移動軌跡のうち最も類似する移動軌跡の組み合わせを同一のサブクラスに分類する処理を、規定回数または前記複数の移動軌跡が規定のサブクラス数に分類されるまで繰り返し実行することによって、前記複数の移動軌跡を複数のサブクラスに分類する構成としたものである。このように、類似する移動軌跡を同一のサブクラスに分類することによって、サブクラスに分類しない場合と比べ、サブクラス間近似測地距離の計算量を削減することが可能になる。
【００３８】
さらに、サブクラスの生成方法に関して、別の好ましい形態は、前記サブクラス分類部は、前記画像入力部において受け付けられた前記複数枚のピクチャのうち少なくとも１枚のピクチャから、当該ピクチャのエッジ情報、色情報および輝度情報のうちの少なくとも１つを用いて、当該ピクチャを複数の領域に分割し、分割した各領域を通る移動軌跡を同一のサブクラスに分類することにより、前記複数の移動軌跡を複数のサブクラスに分類する構成としたものであり、エッジ、輝度、色等の画像の空間的な情報を用いて移動軌跡をサブクラスに分類することも可能である。
【００３９】
好ましくは、上述の移動体検出装置は、さらに、前記画像入力部において受け付けられた前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域分割部により領域分割を実行することにより特定された領域ごとに、他の特定された領域と異なる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える。
【００４０】
この構成によると、抽出した移動体を画像上に表示することによって、ＡＶ、画像監視装置等において、移動体をそれぞれ画像上に表示することによって、ユーザーがそれぞれの被写体を認識しやすくなるといった効果がある。
【００４１】
さらに好ましくは、上述の移動体検出装置は、さらに、前記画像入力部において受け付けられた前記複数枚のピクチャのうち少なくとも１枚のピクチャに対して、前記領域分割部により実行された領域分割の結果を付与したピクチャを、記録装置に書き込む、または、伝送路を解して外部に送信する記録・送信部を備える。
【００４２】
この構成によると、検出した移動体画像を抽出した領域に基づいてそれぞれ別々に保持することによって、各移動体画像の中から必要な部分の画像のみを選択して保存したり、外部に出力したりすることによって、図形要素として効率的な保存および出力が可能になる。そのため、携帯電話等、処理能力の限られた機器に保存および送信する場合に有効に作用する。
【００４３】
また、上述の移動体検出装置は、さらに、前記領域分割部により特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する領域が、ピクチャ間で移動すると予測することにより、前記移動体の動きを予測する動き予測部を備えるものとしてもよい。
【００４４】
複数のブロックの移動軌跡を代表する軌跡を用いて移動体の動きを予測することにより、ノイズ耐性の高い動き予測が可能となる。
【００４５】
本発明の他の実施形態に係るコンピュータ読み取り可能な記録媒体は、ヘッダ情報と、ボディ情報とを含むデータ構造を有するデータが記録されたコンピュータ読み取り可能な記録媒体であって、前記ヘッダ情報は、動画像を構成するピクチャのサイズと、前記動画像を構成する前記ピクチャの枚数であるピクチャ枚数と、前記動画像から得られる移動軌跡の数である移動軌跡数と、類似する移動軌跡の集合であるサブクラスの数であるサブクラス数とを含み、前記ボディ情報は、前記動画像を構成する前記ピクチャ枚数のピクチャと、前記動画像から得られる前記移動軌跡数の移動軌跡を示すデータと、各前記移動軌跡が属するサブクラスを示すデータと、サブクラスごとに、当該サブクラスと他のサブクラスとの間の類似性を表すサブクラス間近似測地距離とを含む。
【００４６】
このように、ピクチャのサイズ、ピクチャ枚数、移動軌跡数、サブクラス数に関する情報をヘッダとして保持することで、これらのデータを受け取って領域分割を行う装置が、領域分割に必要な情報のメモリ確保が可能になる。また、領域分割に必要な情報としてサブクラス間近似測地距離を含んでいるため、移動軌跡間の測地距離を含む場合に比べて、装置側では、少ないメモリ量で領域分割を行うことができるという効果がある。
【００４７】
本発明のさらに他の実施形態に係る移動体検出用データ生成装置は、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、少なくとも前記サブクラス間近似測地距離算出部が算出した前記サブクラス間近似測地距離を含むデータを出力するデータ出力部とを備える。
【００４８】
データ出力部はサブクラス間近似測地距離を含むデータを出力する。このため、このデータを受け取った他の装置では、少ないメモリ量で領域分割を行うことができる。
【００４９】
本発明のさらに他の実施形態に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、少なくとも、動画像中の類似する移動軌跡の集合であるサブクラスに属する移動軌跡と、当該サブクラスとは異なる前記動画像中の類似する移動軌跡の集合であるサブクラスに属する移動軌跡との間の類似性を表すサブクラス間近似測地距離を含むデータの入力を受け付けるデータ入力部と、前記データ入力部で受け付けられた前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部とを備える。
【００５０】
サブクラス間近似測地距離を含むデータの入力を受け付け、領域分割を実行する。このため、移動軌跡間の測地距離に基づいて領域分割を行う場合と比べて、少ないメモリ量で領域分割を行うことができる。
【００５１】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００５２】
（実施の形態１）
以下、本発明の実施の形態について、図面を用いて説明する。
【００５３】
図１は、実施の形態における移動体検出装置１００の構成を示す図である。図１に示されるように、この移動体検出装置１００は、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４、領域分割部１０５および出力部１０６を備える。移動体検出装置１００は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する装置である。つまり、移動体検出装置１００は、２枚以上のピクチャ間の対応点の軌跡である移動軌跡を用いて、動画像中の移動体の全部または一部の領域を特定するクラス分類（クラスタリング）を実行することによって動画像中の移動体を検出する装置である。以下、ピクチャのことを画像ともいう。
【００５４】
画像入力部１０１は、動画像を構成する撮影時刻が時間的に異なる複数枚のピクチャの入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。また、画像入力部１０１は、動画像を蓄積したメモリから動画像を取得してもよい。
【００５５】
移動軌跡算出部１０２は、画像入力部１０１で受け付けたピクチャを構成する１個以上の画素からなるブロックごとに、動画像を構成する２枚のピクチャ間での画像の動きを検出し、検出した動きを複数枚のピクチャについて連結することで、複数の移動軌跡を算出する処理部である。ここで、ブロックとは、移動軌跡を算出する単位であり、１個以上の画素の集まりである。
【００５６】
サブクラス分類部１０３は、移動軌跡算出部１０２で算出された複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類する処理部である。つまり、サブクラス分類部１０３は、移動軌跡算出部１０２で算出された複数の移動軌跡に関して、類似した移動軌跡が同じサブクラスに属するように分類を行い、各移動軌跡に対して、分類結果であるサブクラスのラベルを付与する。
【００５７】
サブクラス間近似測地距離算出部１０４は、サブクラス分類部１０３でラベル付けされた移動軌跡を用いて、サブクラス間の類似度を表す距離を算出する処理部である。本実施の形態では、移動する物体の形状変化を捉えるとともに、距離の計算時間を短縮するために、サブクラス分類部１０３は、サブクラス内距離とサブクラス間距離とを用いて、サブクラス間の近似的な測地距離であるサブクラス間近似測地距離を算出する。つまり、サブクラス間近似測地距離算出部１０４は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出する。ここで、測地距離とは、中継点としての移動軌跡をたどりながら一の移動軌跡から他の一の移動軌跡にたどりつく経路の距離である。また、サブクラス内距離は、同一のサブクラスにラベル付けされた移動軌跡を用いて算出される距離であり、同一のサブクラスに属する移動軌跡間の類似性を表す距離である。サブクラス間距離は、異なる２つのサブクラスに属する移動軌跡間の線形距離の最小値を含んだ距離である。なお、より距離計算の計算量を削減したい場合には、サブクラス内距離を用いずにサブクラス間距離をサブクラス間近似測地距離として代用しても構わない。なお、距離は類似性を表し、例えば、距離が大きい場合は類似性が低く、距離が小さい場合には類似性が高い。
【００５８】
ここでは、Ｓ個のサブクラスを用いた場合、算出されるサブクラス間近似測地距離はＳ行Ｓ列（Ｓ×Ｓ）の距離マトリクスとなる。このように、異なる２つのサブクラス間に属する移動軌跡の類似性を評価する距離を計算することによって、ブロック間の線形距離が動きによって変化する移動体、特に、関節物体のように形状が変化しながら移動する人物等の物体の動きを、近似測地距離マトリクスとして表現することが可能である。これにより、関節物体の動きに対して頑健な被写体抽出が可能になる。ここで、本明細書における「距離」は、２次元空間における２点間の距離だけでなく、後述するように、多次元のデータ間の算術的な距離を含み、１つの値、あるいは、複数の値の集合（距離マトリクス）である。
【００５９】
領域分割部１０５は、サブクラス間近似測地距離算出部１０４で算出されたサブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する処理部である。つまり、領域分割部１０５は、サブクラス間近似測地距離算出部１０４で算出されたサブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりに対して統合・非統合の判断をする。そして、サブクラスをクラスに分類することで、動画像中の移動体を検出する。ここでは、一つのクラスが一つの被写体もしくは被写体の部位に対応するため、クラスに分類することができれば、移動体の領域を特定することになり、移動体を検出できる。なお、クラスはサブクラスの集合である。
【００６０】
出力部１０６は、領域分割部１０５で行った動画像中の移動体の検出結果を出力する。具体的には、出力部１０６は、画像入力部１０１で受け付けた複数枚のピクチャのうち少なくとも１枚のピクチャに対して、例えば、領域分割部１０５により検出された移動体の領域ごとに異なる表示態様となるように、画像処理を施し、画像処理が施された領域を含むピクチャをディスプレイ装置等に出力する。
【００６１】
なお、本明細書において、「領域」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物の区別なく物体ごとに画像領域（移動軌跡）を分類するクラス分類技術の両者を含んでいる。なお、検出技術とクラス分類技術とは、共通する部分が多いため、本願発明書においては両者を区別しない。
【００６２】
なお、上記した移動体検出装置１００を構成する各構成要素（画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４、領域分割部１０５、出力部１０６）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図２は、ソフトウェアによって実現される本実施の形態における移動体検出装置のハードウェア構成を示す図である。図２において、カメラ２０１は、画像を撮影して出力する。コンピュータ２０２は、カメラ２０１から画像を取得して移動体検出処理を行って、移動体検出結果を表示する画像を生成する。ディスプレイ２０３はコンピュータ２０２で生成された画像を取得して表示する。コンピュータ２０２は、Ｉ／Ｆ２０４、ＣＰＵ２０５、ＲＯＭ２０６、ＲＡＭ２０７、ＨＤＤ２０８およびビデオカード２０９を含む。コンピュータ２０２を動作させるプログラムは、ＲＯＭ２０６またはＨＤＤ２０８にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０５によって、ＲＯＭ２０６またはＨＤＤ２０８からＲＡＭ２０７に読み出されて展開される。ＣＰＵ２０５はＲＡＭ２０７に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０４は、プログラムの実行に応じて、カメラ２０１で撮影された画像を、ＲＡＭ２０７へ取り込む。ビデオカード２０９は、プログラムの実行に応じて生成された画像を出力し、ディスプレイ２０３がその画像を表示する。
【００６３】
なお、コンピュータプログラムは、半導体であるＲＯＭ２０６またはＨＤＤ２０８に限られず、例えば光ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０７に取り込まれてもよい。
【００６４】
以下、本実施の形態における移動体検出装置１００の動作を、図３を用いて説明する。
【００６５】
図３は、本実施の形態における移動体検出装置１００の動作を表すフローチャートである。
【００６６】
図３において、７つのステップＳ３０１〜Ｓ３０６は、それぞれ図１の各処理部に対応している。すわなち、画像入力部１０１では画像入力ステップＳ３０１、移動軌跡算出部１０２では移動軌跡算出ステップＳ３０２、サブクラス分類部１０３ではサブクラス分類ステップＳ３０３、サブクラス間近似測地距離算出部１０４ではサブクラス間近似測地距離算出ステップＳ３０４、領域分割部１０５では領域分割ステップＳ３０５、出力部１０６では画像出力ステップＳ３０６の各動作を実行する。
【００６７】
画像入力ステップＳ３０１において、画像入力部１０１は、カメラ２０１から、動画像を構成する複数のピクチャを取得する。ここではＴ枚のピクチャが入力されたものとする。
【００６８】
次に、移動軌跡算出ステップＳ３０２において、移動軌跡算出部１０２は、入力された複数のピクチャ間の動き情報を算出し、移動軌跡を生成して出力する。複数（Ｔ枚）のピクチャ間の動き情報を算出する手法として、ここでは複数のピクチャのうちのある１つのピクチャ上のＩ点の画素を基準に、他のＴ−１枚のピクチャ中の対応する画素を探索する。なお、Ｉ点の画素の代わりに、Ｉ個の小矩形領域（ブロック）を基準にして、対応する小矩形領域の位置を探索しても良い。例えば、図４（ａ）に示すように、移動軌跡算出部１０２は、時刻ｔと時刻ｔ＋１に撮影されたピクチャを用いて、時刻ｔのピクチャ上の画素ｉの画素座標（ｘｉｔ，ｙｉｔ）（ｉ＝１…Ｉ）に対応する、時刻ｔ＋１のピクチャ上の画素座標（ｘｉｔ＋１，ｙｉｔ＋１）を推定する。この時、移動軌跡算出部１０２は、時刻ｔにおける小矩形領域４０４（ブロック）を、時刻ｔ＋１のピクチャ上でスキャン（破線）し、時刻ｔにおける小矩形領域内の画素値と時刻ｔ＋１における小矩形領域内の画素値との差の総和が最も小さい時の画素座標（実線矢印の指す座標）を、対応する画素座標として推定する。画素座標は、ブロックの中心位置を示す画素座標を用いればよい。ここで、小矩形領域４０４をスキャンする範囲は予め決定しておいても構わない。また、ブロック同士の違いを評価する尺度としては、画素値の差の総和に限定されるものではなく、比較するブロック内の画素値の違いを示す尺度であれば他のものであってもよい。例えば、時刻ｔにおける小矩形領域内の画素値と時刻ｔ＋１における小矩形領域内の画素値との平均２乗誤差を用いてもよいし、メディアン等の外れ値（アウトライア）の影響を受けにくい値を用いてもよい。ピクチャが３枚以上ある場合は、移動軌跡算出部１０２は、図４（ｂ）に示すように、隣接する２枚のピクチャ間で順次対応する座標を求めていくことで、入力したＴ枚のピクチャについて、Ｉ点の対応点を算出する。なお、対応する座標を求めるために用いられる２枚のピクチャは、必ずしも隣接している必要はない。例えば、２枚のピクチャ間に他の１枚以上のピクチャが挟まっていてもよい。
【００６９】
上記した複数のピクチャ間の対応点を算出する他の具体的な手法としては、非特許文献４または非特許文献５などに示されている方法を用いてもよい。
【００７０】
【非特許文献４】Ｐ．Ａｎａｎｄａｎ，  “Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  Ｖｉｓｕａｌ  Ｍｏｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．２，  ｐｐ．２８３−３１０，  １９８９
【００７１】
【非特許文献５】Ｖｌａｄｉｍｉｒ  Ｋｏｌｍｏｇｏｒｏｖ  ａｎｄ  Ｒａｍｉｎ  Ｚａｂｉｈ，  “Ｃｏｍｐｕｔｉｎｇ  Ｖｉｓｕａｌ  Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｗｉｔｈ  Ｏｃｃｌｕｓｉｏｎｓ  ｖｉａ  Ｇｒａｐｈ  Ｃｕｔｓ”，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ２００１
【００７２】
そして、この移動軌跡算出ステップＳ３０２では、移動軌跡算出部１０２は、Ｉ点の画素のＴ枚のピクチャにわたる動き情報である、対応点の画素座標の組から、画素ごとに対応する移動軌跡を、Ｉ本生成する。画素ｉの移動軌跡ｘｉは、第１フレームのピクチャ上のある画素ｉの座標値（ｘ１ｉ，ｙ１ｉ）と、対応点の画素座標（ｘｔｉ，ｙｔｉ）とを用いて、下記式１のように示される。
【００７３】
【数１】
2011080900.tif 000003
【００７４】
ここで、Ｔは移動軌跡の算出に用いたピクチャの枚数である。
【００７５】
図４（ｂ）は、移動軌跡ｘｉの一例を示す図である。移動軌跡ｘｉは、時刻ｔから時刻ｔ＋（Ｔ−１）のＴ枚の入力画像４０１において、第１フレームのピクチャ上の画素ｉ４０３から、他のピクチャ上の画素ｉ４０３に対応する画素への動き情報４０２から算出した、画素座標の集まりからなるベクトルである。
【００７６】
次に、サブクラス分類ステップＳ３０３において、サブクラス分類部１０３は、式１に示したＩ本の移動軌跡をＳ個のサブクラスに分類する。サブクラスへの分類については、図５を用いて説明する。例えば、図５（ａ）に示すように、第１フレームのピクチャに含まれる被写体５０１Ａおよび５０１Ｂが、第Ｎフレームにおいて被写体５０２Ｂおよび５０２Ｂの位置にそれぞれ移動したとする。そのときの被写体５０１Ａおよび５０１Ｂの移動軌跡は、各々、複数の移動軌跡５０３Ａおよび５０３Ｂで示される。ただし、図５（ａ）では、説明の簡略化のために移動軌跡の一部分のみを示している。
【００７７】
サブクラスへの分類は、類似した移動軌跡を同一のサブクラスに分類できれば良いため、さまざまな方法を用いることができる。例えば、式１に示したＩ本の移動軌跡を入力として、非特許文献６のｐｐ．５２６−５２８に示されるようなｋ−ｍｅａｎｓ法を用い、サブクラス数をＳ個と設定すれば、図５（ｂ）のように、移動軌跡ベクトルが成す多次元空間上で移動軌跡ベクトルをサブクラスとして分類することができる。ここで、図５（ｂ）の○は、破線の矢印で示すように図５（ａ）の各移動軌跡に対応する多次元空間上の点を示している。説明のため、移動軌跡に対応する点を３次元の空間図上で示しているが、移動軌跡ベクトルが存在する空間は、実際は式１で示される、次元数が２×Ｔの多次元空間である。そこで、図５（ｃ）に示すように、前記多次元空間上で、類似した移動軌跡を同一のサブクラスとして、Ｉ本の移動軌跡をＳ個のサブクラスに分類することができる。
【００７８】
さらには、Ｉ本の移動軌跡を入力として、非特許文献６のｐｐ．５５０−５５５に示すようなデンドログラムをベースとしたクラスタリングアルゴリズムを用いることもできる。ここでは、最も類似度の高い（最も距離が小さい）移動軌跡のペアを順次同一のサブクラスとする処理をサブクラス数がＳ個になるまで繰り返し行うか、もしくは、規定回数行う。この結果、図５（ｃ）のように、類似した移動軌跡を同一のサブクラスとして、Ｉ本の移動軌跡をＳ個のサブクラスに分類することができる。なお、ここで、移動軌跡の類似度は、移動軌跡ベクトル間のユークリッド距離を用いても良いし、前記ユークリッド距離に対して、サブクラスに属する移動軌跡の数を用いて正規化を行った距離を用いても良い。
【００７９】
例えば、移動軌跡ペアの類似度（距離）を計算する時に、同一のサブクラスに属する移動軌跡の数を用いて正規化する処理を行えば、図５（ｄ）のように各サブクラスのサイズが均一になりやすい。すなわち、各サブクラスに属する移動軌跡の数のばらつきが小さくなる。なお、距離または類似度は、上記の算出方法により算出される距離または類似度に限定するものではなく、移動軌跡ベクトル間の類似性を判定できる距離または類似度であれば良い。なお、これらの場合は、距離が小さいほど、類似度が大きいということになる。すなわち、ここでは、類似度が最も大きいか、距離が最も小さい移動軌跡のペアを同一のサブクラスとする処理を行う。このように、移動軌跡をサブクラスへ分類した結果は、図５（ｄ）のようになる。すなわち、各移動軌跡にサブクラスのラベルが付与された結果、類似した移動軌跡が同一のサブクラスに分類されることになる。例えば、対象が人物であれば、人物のボディを図５（ｄ）のように細かく分割したような結果を得ることができる。
【００８０】
【非特許文献６】Ｒｉｃｈａｒｄ  Ｏ．Ｄｕｄａ，  Ｐｅｔｅｒ  Ｅ．Ｈａｒｔ  ａｎｄ  Ｄａｖｉｄ  Ｇ  Ｓｔｏｒｋ，  “Ｐａｔｔｅｒｎ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”，  Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ，  Ｉｎｃ．，  ２００１
【００８１】
上記のようなクラスタリングアルゴリズムを用いた処理により、各移動軌跡ｘｉは、下記式２に示すように、それぞれサブクラスＤｊのいずれかに属することになる。すなわち、各移動軌跡には、サブクラスＤｊのラベルがそれぞれ付与されることになる。
【００８２】
【数２】
2011080900.tif 000004
【００８３】
なお、サブクラスに対応する領域のサイズが検出したい移動体の最小サイズと同じか、それより小さいサイズになるように、サブクラスへの分類を行っても良いし、サブクラス数が、あらかじめ想定される被写体数よりも多くなるようにサブクラスへの分類を行っても良い。
【００８４】
次に、サブクラス間近似測地距離算出ステップＳ３０４において、サブクラス間近似測地距離算出部１０４は、サブクラス分類ステップＳ３０３にて付与したサブクラスラベルとそれに属する移動軌跡を用いて、サブクラス間近似測地距離を算出する。ここで、測地距離を計算するメリットについて図６を用いて説明する。ここでは、線形距離と測地距離の違いを分かりやすく説明するため、時刻ｔにおける移動軌跡間距離を例とする。例えば、サブクラスＤａ６０２に属する頭部の画素とサブクラスＤｂ６０３に属する手先部の画素との間の線形距離６０１は、図６（ａ）に示す距離となる。一方、測地距離の場合は、図６（ｂ）に示されるように、サブクラスＤａ６０２に属する頭部の画素とサブクラスＤｂ６０３に属する手先部の画素との測地距離は、中継点としてサブクラスＤｃ６０４に属する画素を通ってサブクラスＤｂ６０３に属する手先部の画素にたどり着くまでの矢印で示したような距離の和となる。そのため、図６（ａ）に示される線形距離６０１では人物のような関節で連続的に繋がった形状をデータとして連続的に表現できないのに対して、図６（ｂ）に示される測地距離によれば、関節で連続的に繋がった形状を距離として連続性を表現することが可能となるという効果がある。
【００８５】
なお、測地距離の算出時には、図６（ａ）に示すように、サブクラスＤａ６０２に属する頭部の画素とサブクラスＤｂ６０３に属する手先部の画素との間の直線距離の計算ではなく、図６（ｂ）に示すように、２点間を中継点を通って辿る最短経路を探索する計算が必要になる。最短経路探索のための効率的な計算方法については、例えば非特許文献７に示されるダイクストラ法が広く知られているが、この手法を用いても特に移動軌跡の数が多くなればなるほど、計算量は膨大になることが非特許文献３で報告されている。
【００８６】
【非特許文献７】Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，“Ａ  ｎｏｔｅ  ｏｎ  ｔｗｏ  ｐｒｏｂｌｅｍｓ  ｉｎ  ｃｏｎｎｅｘｉｏｎ  ｗｉｔｈ  ｇｒａｐｈｓ”，Ｎｕｍｅｒｉｓｃｈｅ  Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９
【００８７】
そこで、サブクラス間近似測地距離算出ステップＳ３０４では、測地距離と同様の性質を有する距離の計算を、より少ない計算量で実現することを目的として、サブクラス間近似測地距離算出部１０４は、サブクラス間近似測地距離を計算する。ここで、サブクラス間の測地距離を近似する方法について説明する。例えば、図７（ａ）に示すように、画素ｉの移動軌跡と画素ｊの移動軌跡との測地距離を求める場合、非特許文献７に示されるダイクストラ法を用いたとしても、画素ｉの移動軌跡と画素ｊの移動軌跡とを繋ぐ距離の候補を複数個（実線および破線）計算し、その中から最小となる距離（実線）を選ぶ必要がある。このため、候補となる距離を計算する過程で多くの計算量が必要となる。
【００８８】
しかしながら、サブクラス分類ステップＳ３０３にて、類似した移動軌跡を同一のサブクラスに分類するため、同一サブクラスに分類された移動軌跡は、類似したものであるとの仮定をすることができる。すなわち、図５に移動軌跡をサブクラスに分類した例を示したように、同一のサブクラス内に属する移動軌跡は、大きな形状変化を起こさない剛体の移動軌跡と考えることができる。そして、剛体の移動軌跡の場合は、測地距離と線形距離との差は小さいと考えることができる。そこで、サブクラス内の移動軌跡については、線形距離と測地距離との差が小さいとして、測地距離の平均を図７（ｂ）に示すような線形距離の平均で近似する。すなわち、サブクラス内の線形距離の平均
【００８９】
【数３】
2011080900.tif 000005
【００９０】
とサブクラス内の測地距離の平均
【００９１】
【数４】
2011080900.tif 000006
【００９２】
との関係は下記式３のように表せる。
【００９３】
【数５】
2011080900.tif 000007
【００９４】
次に、異なるサブクラスに属する移動軌跡間の距離であるサブクラス間距離について説明する。非特許文献７に開示されている方法を用いてサブクラス間距離を計算する場合について例を挙げる。例えば、図７（ａ）のサブクラスＤａに属する画素ｊの移動軌跡とサブクラスＤｂに属する画素ｋの移動軌跡との測地距離を求める場合、画素ｊの移動軌跡と画素ｋの移動軌跡とを繋ぐ距離の候補を複数個（実線および破線）計算し、その中から最小となる距離（実線）を選ぶ必要がある。しかしながら、前述したように、サブクラス内の移動軌跡については、線形距離で近似可能である。このため、一方のサブクラスともう一方のサブクラスとを繋ぐ距離が重要となる。ここでは、図７（ｂ）に示すように、一のサブクラスと他のサブクラスとを繋ぐ最小の距離をサブクラス間の距離として定義する。この方法によれば、図７（ａ）に示すような、２点間を中継点を通って辿る最短経路を探索する処理を行う必要がなく、サブクラスＤａとサブクラスＤｂにそれぞれ属する移動軌跡間の線形距離の最小値ｆｍｉｎＩｎｔｅｒを求めるだけで良い。さらには、よりノイズに頑健にするためには、サブクラスＤａとサブクラスＤｂにそれぞれ属する移動軌跡間の距離が小さい順に複数個の距離を選択し、選択された距離の平均値をｆｍｉｎＩｎｔｅｒとしても良いし、選択された距離のメディアン値をｆｍｉｎＩｎｔｅｒとしても良い。
【００９５】
そして、図７（ｂ）に示すようにサブクラス間近似測地距離ｇ’は下記式４のように表現できる。
【００９６】
【数６】
2011080900.tif 000008
【００９７】
サブクラス間近似測地距離ｇ’は、必ずしも上記式４に限定されるわけではなく、例えば、ｆｍｉｎＩｎｔｅｒをサブクラス間近似測地距離ｇ’としても構わない。
【００９８】
図７（ｃ）に示すように、サブクラス内の距離とサブクラス間の距離とを用いることで、上記のようにサブクラス間近似測地距離を算出することが可能である。
【００９９】
具体的な計算例について、図８を用いて詳しく説明する。図８（ａ）において、楕円はそれぞれサブクラスを示す。すなわち、各楕円にはそれぞれのサブクラスに属する移動軌跡が含まれている。また、図８（ａ）に示すように、多次元空間中でサブクラスＤａとサブクラスＤｂとが隣接し、サブクラスＤｂとサブクラスＤｃとが隣接しているものとする。そこで、サブクラス間近似測地距離算出部１０４は、サブクラスごとに、同一のサブクラス内に属する移動軌跡を用いて、移動軌跡間の距離を下記式５に従い計算する。
【０１００】
サブクラスＤａに属する画素ｉの移動軌跡と画素ｊの移動軌跡との距離ｆａａ（ｉ，ｊ）は、下記式５により算出できる。
【０１０１】
【数７】
2011080900.tif 000009
【０１０２】
なお、サブクラスＤａに属する画素ｉの移動軌跡と画素ｊの移動軌跡との距離ｆａａ（ｉ，ｊ）を算出する式として、上記式５の代わりに下記式６を用いてもよい。
【０１０３】
【数８】
2011080900.tif 000010
【０１０４】
ここで、ｗは重み係数であり、設計者が設定するパラメータである。上記式６のサブクラスＤａに属する画素ｉの移動軌跡と画素ｊの移動軌跡との距離ｆａａ（ｉ，ｊ）は、移動軌跡間距離の時間平均値ｐｔｎｉｊに、移動軌跡間距離の時間変動成分ｍｔｎｉｊを加えたものである。特に移動軌跡間距離の時間変動成分ｍｔｎｉｊは、画素の動きの類似度を示すものであり、これによって、画素間のなす距離の関係が時間的に変化しない剛体だけでなく、形状変化する関節物体等をも捉えることができる。このように、式５または式６による距離計算をサブクラスごとに行う。図８の例であれば、サブクラスＤａからＤｃのそれぞれについて、同一のサブクラスに属する移動軌跡を用いて距離を計算する。なお、同一のサブクラスに属する画素ｉの移動軌跡と画素ｊの移動軌跡との距離ｆａａ（ｉ，ｊ）は、必ずしも上記に限られるものではなく、例えば、移動軌跡ベクトル同士の内積やＣＯＳを用いても良く、移動軌跡間の画素上での距離や動きの類似性を表す尺度であれば良い。
【０１０５】
次に、下記式７に従い、サブクラスごとに移動軌跡間の距離ｆａａ（ｉ，ｊ）の平均値、すなわちサブクラス内距離を求める。
【０１０６】
【数９】
2011080900.tif 000011
【０１０７】
ここで、Ｎは、移動軌跡ｉとｊの組合せの数である。なお、移動軌跡間の距離ｆａａ（ｉ，ｊ）の最頻値やメディアン値をサブクラス内距離としてもよい。サブクラス内距離は、同一のサブクラスに含まれる移動軌跡から、任意の移動軌跡間の距離ｆａａ（ｉ，ｊ）から算出可能であり、必ずしもＮはすべての移動軌跡ｉとｊの組合せである必要はない。また、式７の代わりに、複数のｉとｊの組合せにおけるｆａａ（ｉ，ｊ）を算出し、その最大値をサブクラス内距離としても良い。
【０１０８】
次に、サブクラス間近似測地距離算出部１０４は、サブクラス間距離を以下の式８に従い求める。
【０１０９】
【数１０】
2011080900.tif 000012
【０１１０】
式８は、異なるサブクラスに属する移動軌跡ｉ，ｊの距離の中で最も小さい距離を算出するものである。さらに、サブクラス間距離の算出方法は、これに限定されるわけではなく、例えば、異なるサブクラスに属する移動軌跡ｉ，ｊの距離の中で、小さい順にＮ個選択しその平均値をサブクラス間距離としても良いし、さらにそれに重み付けをしても良い。さらには、上記Ｎ個の中からメディアン値をサブクラス間距離としても良い。
【０１１１】
ここで、式８を用いて算出したサブクラス間距離ｆｍｉｎＩｎｔｅｒがあらかじめ設定した閾値よりも大きい場合には、サブクラス間距離ｆｍｉｎＩｎｔｅｒを無限大とする処理を行っても良い。例えば、入力画像のサイズを６４０×４８０とし、移動軌跡を４×４のグリッドに区切りグリッド上を通過する移動軌跡のみを用いて、サブクラス間距離ｆｍｉｎＩｎｔｅｒを算出した場合には、前記閾値を１０．０程度とすると良好な結果が得られる。もちろん、画像のサイズや移動軌跡の空間的な密度（上記グリッドサイズが大きいほど密度が小さい）によって上記パラメータを調整することが望ましい。
【０１１２】
以上のようにして、式７および式８に従って計算したサブクラス内距離とサブクラス間距離とを用いて、式４によりサブクラス間近似測地距離を算出することができる。
【０１１３】
そして、下記式９に示されるサブクラスを構成要素としたＳ×Ｓのサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’を生成する。ここでは、図８（ｂ）に示すように、サブクラス内距離・サブクラス間近似測地距離マトリクスＧ’の対角の要素がサブクラス内距離となり、それ以外は、サブクラス間近似測地距離となる。
【０１１４】
【数１１】
2011080900.tif 000013
【０１１５】
ここで、ｓｉ，ｓｊは、サブクラスのインデックスである。
【０１１６】
つぎに、前述したように、ｆｍｉｎＩｎｔｅｒがあらかじめ設定した閾値よりも大きい場合に、ｆｍｉｎＩｎｔｅｒを無限大とする処理を行い、無限大となったサブクラス間近似測地距離を、次のように再計算しても良い。
【０１１７】
【数１２】
2011080900.tif 000014
【０１１８】
上記式１０において、ｍｉｎ（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。
【０１１９】
図８（ａ）に示すように、サブクラスＤａ，Ｄｃ間の近似測地距離を計算する場合には、サブクラスＤｂは、サブクラスＤａからサブクラスＤｃに辿（たど）りつくための中継点として機能する。ここで、中継点は１点に限るものではない。
【０１２０】
上述した測地距離の算出における２点間の最短経路探索には、例えば非特許文献４のダイクストラ法を用いることができる。これにより、中継点の数は１点に限定することなく最短経路探索を行うことができる。ダイクストラ法の計算量のオーダーは、データ点数をＮとすると、Ｎ２ｌｏｇＮで表される。ここで、ステップＳ３０３およびステップＳ３０４の処理を実行せずにダイクストラ法を行った場合の移動軌跡の数Ｎとし、サブクラス間近似測地距離を算出する際のサブクラス数をＭとする。例えば、１００個の類似した移動軌跡が１個のサブクラスに分類されるように処理を行えば、ここでダイクストラ法を用いたとしても、ダイクストラ法の計算量は１／２００００に削減されるという効果がある。このように、ダイクストラ法は、移動軌跡の数が増えるほど、非線形的に計算量が増加する。その一方で、ステップＳ３０３におけるサブクラスラベル付与に要する計算量の増加は、移動軌跡の数に対して線形である。そのため、画像サイズが大きい場合や、移動軌跡を空間上で高密度に算出する場合において、近似測地距離を算出する本発明によると、移動軌跡の数が増える条件下で特に計算量削減の効果がある。
【０１２１】
次に、領域分割ステップＳ３０５において、領域分割部１０５は、サブクラス間近似測地距離を用いて、類似する移動軌跡（サブクラス）の集まりに対して統合・非統合の判断を行う。ここでは、サブクラスの統合・非統合を判断可能な手法であればどのような方法を用いても良い。例えば、非特許文献１に記載の方法を用いることもできる。式９で表したサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’に対して、次元圧縮を行い、圧縮された空間上でＫ−ｍｅａｎｓ法などのクラスタリング手法を用いて、サブクラスの統合・非統合を判断しても良い。もちろん、クラスタリング手法はＫ−ｍｅａｎｓ法に限らない。以下に具体的に説明する。
【０１２２】
まず、領域分割部１０５は、ステップＳ３０４で算出したサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’の次元圧縮を行う。次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ  ｓｙｓｔｅｍを求めることで実現できる。これは、多次元空間に分布するデータを低次元空間に効率良く射影するための方法であり、入力データのノイズ（ここでは、上記式２の画素ｉの時間的移動軌跡を算出する際に画素ｉの動き情報に誤差が含まれる場合に相当する）や、上記式４におけるサブクラス間距離ｆｍｉｎＩｎｔｅｒのノイズに対して頑健なデータの表現が可能となる。
【０１２３】
つまり、上記式９に示したサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’に対して、下記式１１に示すように、中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。
【０１２４】
【数１３】
2011080900.tif 000015
ただし、Ｈは中心化行列であり、
【０１２５】
【数１４】
2011080900.tif 000016
【０１２６】
である。Ｉは単位行列、Ｎはサブクラスの数である。
【０１２７】
また、
【０１２８】
【数１５】
2011080900.tif 000017
【０１２９】
である。ここで、ｓｉ，ｓｊは、サブクラスのインデックスである。
【０１３０】
次に、領域分割部１０５は、次元圧縮を行うために、τ（Ｇ）に対するＰ個の固有ベクトル（ｅｉｇｅｎ  ｖｅｃｔｏｒ）ｅｐおよびそれに対応する固有値（ｅｉｇｅｎ  ｖａｌｕｅ）λｐを算出する。
【０１３１】
これにより、
【０１３２】
【数１６】
2011080900.tif 000018
【０１３３】
とすると、ｇ’ａを次元圧縮された空間上に射影した結果は、データｚｐａとして以下のように表すことができる。
【０１３４】
【数１７】
2011080900.tif 000019
【０１３５】
なお、ｅｐａは、ｐ番目の固有ベクトルｅｐのａ番目の要素である。固有ベクトルの数Ｐは、利用するシーンに応じて実験的に決定しても良いし、以下のように固有値λｐから寄与率αｐを算出し、それに基づいて決定しても良い。
【０１３６】
【数１８】
2011080900.tif 000020
【０１３７】
ここで、Ｐは利用する固有ベクトルの数、すなわち圧縮された空間の次元数である。Ｎは全固有ベクトルの数である。そこで、寄与率αｐが一定値以上となる時の数Ｐを固有ベクトルの数とすれば良い。
【０１３８】
以上のように式２から式１６に基づく処理により、式２に示した画素ｉの時間的移動軌跡をサブクラスに分類し、分類されたサブクラスとそれに属する移動軌跡から生成したサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’とを用いて、固有ベクトルｅｐで張られる次元圧縮された空間上のデータｚｐａを得ることができる。
【０１３９】
図９を用いて、領域分割部１０５の処理の具体例について説明する。
【０１４０】
図９（ａ）は、人物の歩行画像を入力としたときの、移動軌跡ａ〜ｈを示し、図９（ｂ）は、各々類似した移動軌跡が分類された複数のサブクラスが、次元圧縮された空間に射影された結果を示す。縦軸、横軸は固有ベクトルｅ１，ｅ２である。２次元上に射影された点（ｚ１ａ，ｚ２ａ）は、式１４に示したｇ’ａを射影したものである。ここで、非線形空間上のデータｚｐａとサブクラスＤａとは一対一の関係にあるため、サブクラスＤａに属する画像上での画素ｉの移動軌跡ｘｉ∈Ｄａは非線形空間上のデータｚｐａと対応させることが可能である、なお、ここでは結果を可視化するために非線形空間の次元数を２次元としたが、必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。次元数については、２次元以上、式１に示した移動軌跡ベクトルの次元数以下に設定することが望ましい。
【０１４１】
次に、領域分割部１０５は、圧縮された非線形空間に射影されたデータに対して、サブクラスの統合・非統合を判定することで移動体の検出を行う。
【０１４２】
まず、クラスを次のように表現する。ここで、クラス数は移動体の数に対応する。
【０１４３】
【数１９】
2011080900.tif 000021
【０１４４】
ここで、Ｍは、クラス数であり利用するシーンに応じて経験的に決定する。
【０１４５】
それぞれのクラスθｍは、パラメータ
【０１４６】
【数２０】
2011080900.tif 000022
【０１４７】
およびパラメータＺｍで表現する。ここで、
【０１４８】
【数２１】
2011080900.tif 000023
【０１４９】
は、圧縮された非線形空間におけるクラスθｍに属する射影されたデータの座標値の平均値、Ｚｍは、クラスθｍに属する射影されたデータの座標値に関する共分散行列である。
【０１５０】
【数２２】
2011080900.tif 000024
【０１５１】
の初期値はランダムに決定しても良いし、圧縮された非線形空間中をグリッドで等間隔に分割する等して、その交点の座標値を初期値としても良い。
【０１５２】
なお、
【０１５３】
【数２３】
2011080900.tif 000025
【０１５４】
およびＺｍは、以下の式１８および式１９のように表すことができる。
【０１５５】
【数２４】
2011080900.tif 000026
【０１５６】
【数２５】
2011080900.tif 000027
【０１５７】
ここで、Ｃｍは圧縮された非線形空間上でクラスθｍに属するデータ数である。
【０１５８】
以下、具体的な計算方法について説明する。まず、次式の距離関数を用いて、圧縮された非線形空間上のデータｚａが属するクラスθｍを求める。
【０１５９】
【数２６】
2011080900.tif 000028
【０１６０】
ここで、ψｍ（ｚａ）は、画素ｉの時間的な移動軌跡に対応する非線形空間上のデータｚｉとそれぞれのクラスθｍとの距離を示すものである。各データは、ψｍ（ｚａ）が最小値をとるクラスθｍに属することになる。なお、φｍ（ｚａ）はマハラノビス距離であり、次式２１で表すことができる。
【０１６１】
【数２７】
2011080900.tif 000029
【０１６２】
また、φｍ（ｚａ）をψｍ（ｚａ）の代わりとして用いても構わない。
【０１６３】
さらに、ｐ（ωｍ）は、一定値としても構わないし、人物など決まった移動体の抽出を行う場合は、あらかじめ、人物部位の形状や面積比等をもとに設定しておいても良い。ωｍは、クラスθｍに対する重み係数である。
【０１６４】
次に、式２０の計算結果から、クラスθｍに属するデータｚａを用いて、以下の式２２および式２３のようにクラスθｍのパラメータ
【０１６５】
【数２８】
2011080900.tif 000030
【０１６６】
およびＺｍを更新する。
【０１６７】
【数２９】
2011080900.tif 000031
【０１６８】
【数３０】
2011080900.tif 000032
【０１６９】
ここで、ｚｃｍは、クラスθｍに属する圧縮された非線形空間上のデータである。また、ω＝１としても良いし、入力データの平均値からのずれ具合によってωの値を調整しても良い。このように、領域分割部１０５は、式２０から式２３で示される距離計算およびパラメータ更新を規定回数繰り返すことによって、非線形空間上の各データが属するクラスθｍを得ることができる。なお、上記の代わりとして、ｋ−ｍｅａｎｓ法、競合学習など、他のクラスタリング方法を用いても構わない。なお、サブクラス内距離・サブクラス間近似測地距離マトリクスＧ’の次元圧縮は必須の処理ではなく、サブクラス内距離・サブクラス間近似測地距離マトリクスＧ’からスペクトラルクラスタリングによって、クラスタリングを行うことで、領域分割を行っても良い。例えば、スペクトラルクラスタリングについては、非特許文献８の手法を用いることができる。
【０１７０】
【非特許文献８】Ａｒｉｋ  Ａｚｒａｎ   ａｎｄ  Ｚｏｕｂｉｎ  Ｇｈａｈｒａｍａｎｉ，“Ｓｐｅｃｔｒａｌ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ａｕｔｏｍａｔｉｃ  Ｍｕｌｔｉｓｃａｌｅ  Ｄａｔａ  Ｃｌｕｓｔｅｒｉｎｇ”，  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２００６  （ＣＶＰＲ０６）
【０１７１】
このようにして、クラスタリングによるクラス判定が行われた結果、図９（ｃ）に示すようにサブクラスＤａからＤｄに属する移動軌跡は、一つのクラスθ１に統合され、サブクラスＤｅからＤｈに属する移動軌跡は、もう一つのクラスθ２に統合される。各移動軌跡にクラスラベルが付与されるため、クラスラベルごとに移動軌跡をまとめると、図９（ｄ）に示すように被写体を抽出することができる。なお、圧縮された非線形空間上のクラスに対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、領域分割部１０５は、圧縮された非線形空間上でセグメンテーションを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、画像中の被写体（被写体の部位）の検出、被写体を含む画像のセグメンテーションをすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。
【０１７２】
以上のように、本実施の形態によると膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって安定に、形状が変化しながら移動する人物等を含む画像に対して、高速に被写体の検出を行うことが可能となる。
【０１７３】
つまり、近似測地距離を算出することによって、近似を行わずに測地距離を算出する場合と比較して、高速に連続的かつ非線形に分布するデータを効率良く表現可能である。また、測地距離の性質を保ちながら、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、正しく領域抽出することができる。
【０１７４】
また、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく移動体を検出および部位を領域抽出することができる。さらに、検出と領域抽出を行った結果を用いて、移動体の移動予測等を行うことも可能である。
【０１７５】
よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
【０１７６】
（実施の形態２）
次に、本発明の実施の形態２における移動体検出装置について説明する。
【０１７７】
ここでは、サブクラス分類部１０３によるサブクラス分類処理を、実施の形態１とは異なる方法で行う例について説明する。図１０は、実施の形態２における移動体検出装置１００ａの構成を示す図である。
【０１７８】
実施の形態２に係る移動体検出装置１００ａは、画像入力部１０１と、移動軌跡算出部１０２と、サブクラス分類部１０３ａと、サブクラス間近似測地距離算出部１０４と、領域分割部１０５と、出力部１０６とを含む。
【０１７９】
このような実施の形態２に係る移動体検出装置１００ａは、実施の形態１に係る移動体検出装置１００とサブクラス分類部１０３ａの構成を除いて、同じ構成であるため、同一構成要素の説明は省略する。
【０１８０】
サブクラス分類部１０３ａは、画像入力部１０１で受け付けた複数枚の画像のうち少なくとも１枚の画像から、輝度、エッジ情報、色などを用いて、類似した画像領域を同一のサブクラスに分類する処理を行う。次に、サブクラス分類部１０３ａは、移動軌跡算出部１０２で算出された移動軌跡に対して、移動軌跡が通る画像領域のサブクラスラベルを付与する。つまり、サブクラス分類部１０３ａは、同一の画像領域を通る移動軌跡に同一のサブクラスラベルを付すことにより、同一のサブクラスに分類する。実施の形態１と異なるのは、サブクラスへの分類を移動軌跡ではなく、画像の情報から行い、その情報に基づいて、移動軌跡に対してサブクラスラベルを付与する点である。なお、サブクラス分類部１０３ａにおける画像領域のサブクラス分類処理は、移動軌跡に関する情報を用いずに行うことができる。そのため、必ずしもサブクラス分類処理は、移動軌跡算出部１０２の処理の後に行う必要はなく、両者を並列に処理してもよいし、画像領域のサブクラス分類処理を移動軌跡算出部１０２の処理より前に行ってもよい。
【０１８１】
以下、本実施の形態１の第１変形例の移動体検出装置１００ａの動作を、図１１を用いて説明する。
【０１８２】
ステップＳ３０１、Ｓ３０２については、実施の形態１と同様であるため、説明を省略する。次に、サブクラス分類ステップＳ３０３ａにおいて、サブクラス分類部１０３ａは、画像入力ステップＳ３０１で入力された複数の画像のうち少なくとも１枚の画像を用いて、画像の領域分割を行う。ここでは、画素（輝度）値や色情報、エッジ情報等とその位置情報などを入力として領域分割を行う手法であれば何でもよく、例えば、非特許文献９の方法を用いることができる。
【０１８３】
【非特許文献９】Ｘ．Ｒｅｎ  ａｎｄ  Ｊ．Ｍａｌｉｋ，  “Ｌｅａｒｎｉｎｇ  ａ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｍｏｄｅｌ  ｆｏｒ  Ｓｅｇｍｅｎｔａｔｉｏｎ，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ”，  Ｖｏｌ．１，  ｐ．１０−１７，２００３
【０１８４】
非特許文献９の方法では、エッジ情報や空間近傍の画素値のスムーズネスを用いて画像領域を複数の小さな領域に分割する。例えば、対象が人物の場合は、図１２（ａ）のように、人物を細かく分割したような結果となる。ここでは、例えばＴ枚のフレームの画像が入力された時に、その中から１枚の画像を選択して領域分割を行っても良い。ここで、複数の画像のうちの時間的に中間の画像を用いて領域分割を行うのが望ましいが、画像の選択に制限を加えるものではない。
【０１８５】
他にも、例えば、画素値と画素位置とを並べて３次元ベクトルとし、それを入力として、ｋ−ｍｅａｎｓ法などのクラスタリングアルゴリズムにより画像領域を分割しても良いし、もちろん、ＲＧＢなどの色情報と画素位置情報とを並べて５次元ベクトルとしても良いし、さらには、エッジ情報として画素値の空間微分ベクトル（２次元）と画素位置とを並べて４次元ベクトルとしても良いし、空間的に画像を領域分割できる手法であれば良い。
【０１８６】
そして、分割された領域をサブクラスとして、領域分割を行うために選択した画像の時刻と移動軌跡算出ステップＳ３０２で算出した移動軌跡との関係から、移動軌跡にサブクラスラベルを付与する。
【０１８７】
具体的には、サブクラス分類部１０３ａは、図１２（ｂ）に示すように、空間的に領域分割をした各領域をサブクラスと考え、領域分割のために選択した時刻ｔ’の画像において、各移動軌跡がどのサブクラスを通過したかによって、サブクラスラベルを付与する。例えば、移動軌跡１から４は、それぞれ時刻ｔ’において、サブクラスＤａからＤｄをそれぞれ通過する。このため、サブクラス分類部１０３ａは、移動軌跡１から４に、対応するサブクラスラベルａからｄをそれぞれ付与する。このような処理を該当する移動軌跡に対して行えば、各移動軌跡ｘは、式２に示すように、それぞれサブクラスＤｊのいずれかに属することになる。すなわち、各移動軌跡には、実施の形態１のサブクラス分類ステップＳ３０３での処理と同様に、サブクラスＤｊのラベルがそれぞれ付与されることになる。
【０１８８】
サブクラス間近似測地距離算出ステップＳ３０４以降の処理は、実施の形態１と同じであるため、説明を省略する。
【０１８９】
以上のように、実施の形態２によると、移動軌跡から、画像中の被写体（被写体の部位）の検出をすることができる。また、前処理として人物候補領域を設定する必要がない。このため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。さらに、実施の形態１と比べて、色や輝度などの情報を明示的に用いることができるため、例えば単一色の服などを着た被写体を検出する場合には、より高精度な移動体の検出が行える。以上のように、実施の形態２によると、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって安定に、形状が変化しながら移動する人物等を含む画像に対して、高速に被写体の検出を行うことが可能となる。
【０１９０】
つまり、近似測地距離を算出することによって、近似を行わずに測地距離を算出する場合と比較して、高速に連続的かつ非線形に分布するデータを効率良く表現可能である。また、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、正しく領域抽出することができる。
【０１９１】
また、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく移動体を検出および部位を領域抽出することができる。さらに、検出と領域抽出を行った結果を用いて、移動体の移動予測等を行うことも可能である。
【０１９２】
よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
【０１９３】
（実施の形態３）
次に、本発明の実施の形態３における移動体検出装置について説明する。
【０１９４】
実施の形態３では、実施の形態１および２に加えて、サブクラス間近似測地距離の時間変化に基づいて、サブクラスの統合・非統合を判定する。
【０１９５】
このような実施の形態３に係る移動体検出装置１００は、図１に示した実施の形態１に係る移動体検出装置１００と同じ構成であるため、各構成要素の説明は省略する。ただし、領域分割部１０５が実行する処理の内容が実施の形態１とは異なる。以下、実施の形態１と異なる点を中心に、実施の形態３について説明する。
【０１９６】
以下、本実施の形態３の移動体検出装置１００の動作を、図１３を用いて説明する。
【０１９７】
まず、画像入力ステップＳ３０１からサブクラス間近似測地距離算出ステップＳ３０４までの処理は、実施の形態１と同様であるため、説明を省略する。なお、本実施の形態については、実施の形態１の例をもとに説明するが、実施の形態２で説明した方法にも適用可能である。
【０１９８】
次に、領域分割ステップＳ３０５ａにおいて、領域分割部１０５は、時刻０からＴまでの画像に対して、Ｓ３０１からＳ３０４までの処理で算出したサブクラス間近似測地距離と時刻Ｔから２Ｔまでの画像に対して同様に算出したサブクラス間近似測地距離とを用いて、その時間変化により、サブクラスの統合・非統合を判定する。
【０１９９】
図１４（ａ）に、関節状に繋がった２つのサブクラスＤａ，Ｄｂからなる物体の動きを例として、測地距離（○、実線）、サブクラス間近似測地距離（□、破線）、ユークリッド距離（△、破線）の時間変化を示す。ここでは、物体の動きが、人物の脚や腕のように関節状に繋がった動きであるため、同一の移動体として抽出することが望ましい。ここで、測地距離の時間変化と、サブクラス間近似測地距離の時間変化は大きくないが、一方でユークリッド距離の時間変化は大きく変動することが予想できる。すなわち、連続的に分布するデータを辿る距離を算出することによって、関節物体に対しても距離の時間変動が小さいことが、測地距離の利点であり、さらにそれと同じ性質を少ない計算量で実現可能とするのが、サブクラス間近似測地距離である。測地距離は、サブクラス間の測地距離の平均値であり、サブクラス間距離は、サブクラス間の線形距離の最小値を含んで算出される距離である。このため、図１４（ａ）に示すように、測地距離とサブクラス間近似測地距離とは絶対値としての距離が異なる。しかし、関節物体のような動きに対しても距離の時間変動が小さい、すなわち、関節物体の姿勢変化による影響を受けにくい性質は、測地距離とサブクラス間距離ともに、ユークリッド距離よりも優れている。さらに、実際の実験結果を図１４（ｂ）に示す。図１４（ｂ）は、楕円状の２つの物体が関節で繋がっており、関節動きをする例を示している。画像は、画像入力ステップＳ３０１で６フレームごとにまとめて入力される。図１４（ｂ）は、６０フレーム分の画像を用いて算出された各種距離の結果である。例えば、０から６フレームの画像から得られた距離は、横軸の０（フレーム）の位置にプロットされている。
【０２００】
ここで、測地距離を、（○、実線）で示し、サブクラス間近似測地距離を（□、破線）で示し、ユークリッド距離を（△、破線）で示す。図１４（ｂ）から分かるとおり、各距離は、図１４（ａ）と同様の性質を示しており、測地距離とサブクラス間近似測地距離は、時間的な変動がユークリッド距離と比較して小さい。すなわち、これらの距離は、関節動きに対して時間変動が少ないため、ユークリッド距離では、別々の被写体として分類される可能性がある物体に対しても、同一の被写体として判定しやすいという効果がある。
【０２０１】
そこで、具体的な、サブクラス間近似測地距離の時間変動によるサブクラスの統合・非統合の判定方法について次式で説明する。
【０２０２】
まず、領域分割部１０５は、以下の式２４に基づいて、時刻０からＴの画像および移動軌跡から算出したサブクラス間近似測地距離を用いて、時刻Ｔから２Ｔのサブクラス間近似測地距離を推定する。
【０２０３】
【数３１】
2011080900.tif 000033
【０２０４】
ここでＥは、推定値である。また、
【０２０５】
【数３２】
2011080900.tif 000034
【０２０６】
は、サブクラス内距離であり、Ｔは時刻０からＴの画像、２Ｔは、時刻Ｔから２Ｔの画像から算出したサブクラス内距離、およびサブクラス間近似測地距離に対応する。
【０２０７】
なお、式２４におけるサブクラス内距離は、特に移動体のサイズが変化した場合に対する正規化の効果を得るために導入したものであり、固定カメラにおいて、移動体のサイズ変動が無いシーンに対して適用する場合には、単純に次式としても良い。
【０２０８】
【数３３】
2011080900.tif 000035
【０２０９】
そして、領域分割部１０５は、サブクラスＤａとＤｂに対して、推定したサブクラス間近似測地距離と、時刻Ｔから２Ｔの実際のサブクラス間近似測地距離との差分の絶対値を次式のように計算し、サブクラス間近似測地距離の時間変化Ｋがあらかじめ設定した閾値以下であればサブクラスの統合を行い、時間変化Ｋが閾値よりもおおきければ、統合しない。
【０２１０】
【数３４】
2011080900.tif 000036
【０２１１】
領域分割部１０５は、この処理を、全てのサブクラスのペアに対して行うことで、サブクラスの統合・非統合を判断し、最終的なクラスを生成する。図１４の例であれば、時間変動が閾値以下であれば、サブクラスＤａとＤｂは統合され、同じ移動体であると判定可能である。例えば、入力画像のサイズを６４０×４８０とし、移動軌跡を４×４のグリッドに区切り、グリッド上を通過する移動軌跡のみを用いてサブクラス間近似測地距離を算出した場合には、前記閾値を５．０程度とすると良好な結果が得られる。もちろん、画像のサイズや移動軌跡の空間的な密度（上記グリッドサイズが大きいほど密度が小さい）によって上記パラメータを調整することが望ましい。なお、ここでは、説明を容易にするために時刻０からＴ，Ｔから２Ｔの画像が入力されたとして説明を行ったが、時刻０からＴ、Ｔから２Ｔ，２Ｔから３Ｔ，．．．，（Ｎ−１）ＴからＮＴのように、より長い時間の変化に基づいて、サブクラスの統合・非統合を判定しても良い。
【０２１２】
例えば、図１５（ａ）のように、式２６の処理を時刻０からＴ、Ｔから２Ｔ，．．．，（Ｎ−１）ＴからＮＴまで、それぞれについて行い、式２６においてそれぞれ算出した時間変化Ｋを平均した値を時間変化Ｋとしても良いし、現時刻に対してより近い時間平均Ｋほどより大きな重みを付けて求めた重み付け平均値を時間変化Ｋとしても良い。
【０２１３】
さらには、画像入力ステップＳ３０１にて、図１５（ｂ）のように、あらかじめ時刻０からＮＴの画像を入力し、それに対して、移動軌跡算出ステップＳ３０２，サブクラス分類ステップＳ３０３の処理を行い、サブクラス間近似測地距離算出ステップＳ３０４にて、時刻０からＴ，Ｔから２Ｔ，．．．，（Ｎ−１）ＴからＮＴのように画像を時間的に分割し、分割された画像を用いてそれぞれサブクラス間近似測地距離を計算する。そして、領域分割ステップＳ３０５ａにて、上述したような、サブクラス間近似測地距離の時間変化によって、サブクラスの統合・非統合を判定しても良い。
【０２１４】
以上のように、実施の形態３によると、サブクラス間近似測地距離の時間変化によるクラスの統合・非統合判定を行うことによって、同一のクラスと判定されたサブクラスに属する移動軌跡に同じクラスラベルが付与される。このため、同一クラスラベルごとに移動軌跡をまとめると、図９（ｄ）に示すように被写体を抽出することができる。その結果として、画像中の移動体（移動体の部位）の検出、移動体を含む画像のセグメンテーションをすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。以上のように、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、安定に、かつ形状が変化しながら移動する人物等を含む画像に対して、高速に被写体の検出を行うことが可能となる。
【０２１５】
つまり、サブクラス間近似測地距離の時間変化を用いることで、関節を含む物体の動きや拡大、縮小に対しても同一の被写体として領域分割できるという効果がある。また、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、少ない計算量で、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、正しく領域抽出することができる。
【０２１６】
また、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、正しく移動体を検出および部位を領域抽出することができる。さらに、検出と領域抽出を行った結果を用いて、移動体の移動予測等を行うことも可能である。
【０２１７】
よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
【０２１８】
（実施の形態１から３の第１変形例）
次に、本発明の実施の形態１から３の第１変形例における移動体検出装置について説明する。ここでは、実施の形態１から３においてクラス判定を行い、移動体を検出した結果をそれぞれ検出した領域ごとに記録・送信する機能を付加した例について説明する。なお、実施の形態１における変形例について述べるが、実施の形態２、３においても同様に適用可能である。
【０２１９】
図１６に示すように、このような第１変形例に係る移動体検出装置１００ｃは、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４、および領域分割部１０５に、記録・送信部１５０１を付加することによって実現が可能である。
【０２２０】
記録・送信部１５０１は、領域分割部１０５での被写体検出の結果に基づいて、画像入力部１０１で受け付けたピクチャにおける被写体領域を特定し、特定した被写体領域ごとに、当該被写体領域を示すための情報を、メモリやハードディスク等の記録媒体に記録する、または、通信インターフェース等を介して外部に送信する処理部である。つまり、この記録・送信部１５０１は、画像表示の場合と同様に、被写体を検出した結果を示す画像をクラスラベルθｍに応じてそれぞれ別々に記録・送信する。また、各クラスに属する動き情報を以下の式２７および式２８のように平均化することで、動き情報を圧縮することも可能である。通常であれば画素ごとに動き情報を保持する必要があるが、動き情報の平均化処理を行えば、１つの被写体に対して１つの動き情報を保持するだけでよい。例えば、動き情報として画素ｉの動きベクトル（ｕｔｉ，ｖｔｉ）を用いた場合には、記録・送信部１５０１は、以下の式２７および式２８のように分割された領域ごとに平均化した動き情報を計算することができる。
【０２２１】
【数３５】
2011080900.tif 000037
【０２２２】
【数３６】
2011080900.tif 000038
【０２２３】
ここで、Ｃｍは、クラスθｍに属する画素数もしくは移動軌跡の数である。ｕｔｃｍ，ｖｔｃｍは、それぞれ、クラスθｍに属する画素の動きベクトルである。図１７は、時刻Ｔからｔ枚の画像を入力としてクラス分類を行い、その結果を用いて、特定される被写体領域を示すための情報である。記録・送信部１５０１は、識別子として各クラスラベルθｍと、各クラスラベルθ１、θ２に属する時刻Ｔにおけるピクチャの画素位置と画素値、そして、各クラスラベルに対応する時刻Ｔから時刻Ｔ＋ｔまでの動きベクトルｕＴｍ，ｖＴｍ，ｕＴ＋１ｍ，ｖＴ＋１ｍ，…，ｕＴ＋ｔｍ，ｖＴ＋ｔｍを記録、送信する。もちろん、記録・送信部１５０１は、画像の画素位置と画素値を用いる代わりに、時刻Ｔにおける１枚のピクチャに対して、画素ごとに各クラスラベルを付けて送信してもかまわない。これにより、動き情報をクラス数分送信するだけで済むために、ピクチャをｔ枚送信する場合と比べて、効率よく、被写体領域を示すための情報を記録、送信することができるといった効果がある。特に、クラス数が画素数に比べて少なければ少ないほど、効率的に被写体領域を示す情報を記録、送信することができる。
【０２２４】
（実施の形態１から３の第２変形例）
次に、本発明の実施の形態１から３の第２変形例として、移動体を検出した結果から、移動体の動きを予測する機能を付加した移動体検出装置について説明する。ここでは、実施の形態１に沿って説明するが、実施の形態２、３においても同様に適用可能である。
【０２２５】
図１８に示すように、第２変形例に係る移動体検出装置１００ｄは、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４、および領域分割部１０５に、動き予測部１７０１および出力部１７０２を付加することによって移動体の動きを予測する機能を有する。
【０２２６】
動き予測部１７０１は、被写体を検出した結果から、各クラスに含まれる画素の移動軌跡から代表の移動軌跡を算出し、代表の移動軌跡をもとに移動体の動きを予測し、移動体の位置や移動体部位の位置を予測する。
【０２２７】
出力部１７０２は、動き予測部１７０１により予測された移動体の位置や移動体部位の位置を出力する。
【０２２８】
図１９に、第２変形例に係る移動体検出装置１００ｄが実行する処理のフローチャートを示す。ステップＳ３０１からＳ３０５までは、実施の形態１と同様であるため説明を省略する。
【０２２９】
次に、ステップＳ１８０１において、動き予測部１７０１は、領域分割部１０５での被写体検出の結果に基づいて、各クラスに属する移動軌跡から、各クラスの代表点およびその代表の移動軌跡を求める。
【０２３０】
ここで、クラスθｍに属する画素の移動軌跡をｘｃｍと表現することとする。動き予測部１７０１は、次式２９に基づいて、クラスθｍごとに代表の移動軌跡を求める。ここでは、代表の移動軌跡として、平均移動軌跡を算出する例について説明するが、下記の計算に対して画素の移動軌跡ｘＣｍごとに重み付け等を行ってもよいし、画像上でのクラスの重心に対応する画素の移動軌跡を代表の移動軌跡としてもよい。
【０２３１】
【数３７】
2011080900.tif 000039
【０２３２】
ここで、Ｃｍは、クラスθｍに属する画素数もしくは画素の移動軌跡の数である。
【０２３３】
図２０に式２９に基づいてクラスθｍごとに代表の移動軌跡を求める例を示す。図２０には、ある移動体に対応するクラスθ１と他の移動体に対応するクラスθ２とにそれぞれ関する代表の移動軌跡のみを示している。図中の×は、それぞれ時刻ｔに対応する代表の移動軌跡
【０２３４】
【数３８】
2011080900.tif 000040
【０２３５】
の要素である画素位置を示している。この方法によると、単純に近接した画素の移動軌跡の時間平均を求めるような方法と比較して、動きが類似した画素の移動軌跡のみを用いて代表の移動軌跡を算出することができる。このため、より高精度に代表の移動軌跡を求めることができる。このように、クラスごとに代表の移動軌跡を求めることによって、被写体ごと、もしくは部位ごとの動きを正確かつ簡便に表現することができる。
【０２３６】
次に、ステップＳ１８０２において、動き予測部１７０１は、ステップＳ１８０１にて算出した代表の移動軌跡から、時刻Ｔより先の時刻における移動体の位置を予測する。初めに、代表の移動軌跡から加速度を算出し、時刻Ｔ＋１以降の移動体の位置を予測する例について説明する。３枚以上の時系列画像が入力された場合は、次式３０のように代表の移動軌跡
【０２３７】
【数３９】
2011080900.tif 000041
【０２３８】
ごとに加速度ベクトルｓｍを得ることができる。
【０２３９】
【数４０】
2011080900.tif 000042
【０２４０】
ここで、ｕｔｍは動きベクトルであり、次式３１のように表すことができる。
【０２４１】
【数４１】
2011080900.tif 000043
【０２４２】
式３０の加速度ベクトルを用いて、図２０にて破線の矢印および○で示したように、動き予測部１７０１は、移動体ごとに、時刻Ｔ＋ｔ’における移動体の位置ｐｏｓｍ（Ｔ＋ｔ’）を以下の式３２に従って予測することができる。ここでは、移動体を例として挙げたが、実施の形態１の領域分割部１０５でクラス数を増やしたり、実施の形態３の領域分割部１０５で閾値を小さくしたりすることで、移動体の各部位ごとの位置を予測することも可能である。
【０２４３】
【数４２】
2011080900.tif 000044
【０２４４】
そして、出力部１７０２は、ステップＳ１８０２で予測した移動体の位置や移動体部位の位置を出力する。これにより、加速度を加味した動き予測が可能となる。動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して移動体の位置を予測することができるといった効果がある。また、動きベクトルの代わりにアフィンパラメータを用いてもかまわない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕あるいは足の回旋運動の表現に適しているため、特に関節物体の位置をより正確に予測することができる。
【０２４５】
さらに、上述した動きベクトルと加速度の代わりに、代表の移動軌跡ｘｍに対して直接、Ｎ次関数をフィッティングすることも可能である。Ｔ枚の時系列に並んだ画像を入力とした場合、代表の移動軌跡
【０２４６】
【数４３】
2011080900.tif 000045
【０２４７】
に含まれるＴ個の画像上での位置情報に対してＮ次関数をフィッティングすることができる。これにより、フィッティングした関数の値に沿うように、時刻（Ｔ＋ｔ’）における画像上での位置ｐｏｓｍ（Ｔ＋ｔ’）を推定することが可能となる。具体的には、関数をフィッティングすることによって、より滑らかな動きを表現することが可能となるため、より高精度な予測が可能となる。特には、フィッティングした関数に沿った予測が可能であるため、フィッティングした関数が本来の動きに近い場合に動き予測の精度が高い。もちろん、これらの画像上での位置予測は、時間的内挿にも利用可能である。
【０２４８】
以上のように、本変形例によれば、動きが類似した画素の移動軌跡を同一のクラスとして算出できるため、高精度に代表の移動軌跡を求めることができる。特に関節物体等に対して被写体ごと、部位ごとの動きを表現することが可能であり、前処理として人物候補領域を設定することなく、高精度に移動体の部位位置を予測することが可能であるという効果がある。
【０２４９】
（実施の形態１から３の第３変形例）
次に、本発明の実施の形態１から３の第３変形例における移動体検出システムについて説明する。ここでは、実施の形態１から３における処理について、演算に必要なメモリ量に応じて異なる２つの機器を用いる例について説明する。具体的には、移動体検出システムは、移動体検出用データ生成装置と、移動体検出装置とを含む。移動体検出用データ生成装置は、必要とするメモリ量が大きい処理を行なう。移動体検出用データ生成装置は、パーソナルコンピュータ等をはじめとする、メモリ容量が大きく処理スピードも速い機器で実現される。移動体検出装置は、必要とするメモリ量が移動体検出用データ生成装置での処理と比較して小さい処理を行なう。移動体検出装置は、携帯電話やモバイル端末をはじめとする、メモリ容量が小さく処理スピードも遅い機器で実現される。
【０２５０】
以下、実施の形態１から３の第３変形例について、実施の形態１に沿って図面を用いて説明するが、実施の形態２、３においても同様に適用可能である。
【０２５１】
図２１は、実施の形態１の第３変形例における移動体検出用データ生成装置の機能的な構成を示すブロック図である。移動体検出用データ生成装置は、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４およびクラス判定用データ出力部２１０１を備える。画像入力部１０１からサブクラス間近似測地距離算出部１０４までが実行する処理は、実施の形態１に示したものと同様である。つまり、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３およびサブクラス間近似測地距離算出部１０４は、図３に示した画像入力ステップＳ３０１、移動軌跡算出ステップＳ３０２、サブクラス分類ステップＳ３０３およびサブクラス間近似測地距離算出ステップＳ３０４の動作をそれぞれ実行する。以下に、本変形例において重要な部分を補足する。
【０２５２】
サブクラス分類部１０３では、サブクラス分類ステップＳ３０３にて、Ｉ本の移動軌跡をＳ個のサブクラスに分類する。なお、Ｉ＞Ｓである。ここで、前述したように、非特許文献７のダイクストラ法を用いて測地距離を算出する場合には、データ点数（移動軌跡の数）をＮとすると計算量のオーダーはＮ２ｌｏｇＮとなる。この時、任意のデータ点間の距離をメモリに格納する必要があるため、移動軌跡数の２乗、すなわちＮ２のメモリ量を必要とする。
【０２５３】
これに対して、サブクラス間近似測地距離算出部１０４では、ステップＳ３０４にて、測地距離と同様の性質を有するサブクラス間近似測地距離を計算する。ここで、サブクラス間近似測地距離は、前述した計算量の削減のみならず、Ｓ２のデータを記憶するためのメモリ量で実現できることも利点である。なお、Ｎ＞Ｓであるため、メモリ量を大幅に削減することが可能である。例えば、１００個の類似した移動軌跡が１個のサブクラスに分類されるように処理を行えば、測地距離に関係するメモリ量を１／１００００に削減することが可能である。
【０２５４】
次に、クラス判定用データ出力部２１０１について説明する。クラス判定用データ出力部２１０１は、以下に説明する情報を記録媒体に記録する。記録媒体はＳＤカード、ＵＳＢメモリ、携帯型ハードディスク、ＣＤ、ＤＶＤ等を用いれば良い。
【０２５５】
図２２に示すように、記録媒体に記録される情報は、ヘッダ情報と、ボディ情報とを含む。
【０２５６】
ヘッダ情報は、動画像を構成するピクチャのサイズ（Ｘ，Ｙ）と、動画像を構成するピクチャの枚数であるピクチャ枚数（Ｔ）と、動画像から得られる移動軌跡の数である移動軌跡数（Ｎ）と、類似する移動軌跡の集合であるサブクラスの数であるサブクラス数（Ｓ）とを含む。
【０２５７】
図２３は、ピクチャのサイズ（Ｘ，Ｙ）およびピクチャ枚数（Ｔ）を説明するための図である。図２３に示すように、動画像は、Ｔ枚のピクチャから構成され、各ピクチャのサイズは、Ｘ×Ｙ画素である。
【０２５８】
図２４は、移動軌跡数（Ｎ）を説明するための図である。図２４に示すように、動画像から直線または曲線で示されるＮ個の移動軌跡が得られているものとする。図２４の例では、Ｎ＝１２である。
【０２５９】
図２５は、サブクラス数（Ｓ）を説明するための図である。９つの大きな丸印それぞれが、サブクラスを示し、それぞれの大きな丸に含まれる小さな丸が、同一サブクラス内の移動軌跡を示している。図２５の例では、Ｓ＝９となる。
【０２６０】
ボディ情報は、動画像を構成する上記ピクチャ枚数のピクチャと、サブクラスラベル付移動軌跡ベクトルと、サブクラス間近似測地距離マトリクスとを含む。
【０２６１】
サブクラスラベル付移動軌跡ベクトルは、動画像から得られる移動軌跡数の移動軌跡を示すデータと、各移動軌跡が属するサブクラスを示すデータとを含む。図２６は、サブクラスラベル付移動軌跡ベクトルについて説明するための図である。図２６には、５つのサブクラスラベル付移動軌跡ベクトルが示されている。例えば、１番上のサブクラスラベル付移動軌跡ベクトルについて説明する。このサブクラスラベル付移動軌跡ベクトルは、移動軌跡が属するサブクラスがサブクラスａであることと、その移動軌跡の４枚のピクチャ（ｔ＝１〜４）における座標が、（ａ１ｘ１，ａ１ｙ１）、（ａ１ｘ２，ａ１ｙ２）、（ａ１ｘ３，ａ１ｙ３）、（ａ１ｘ４，ａ１ｙ４）であることを示すベクトルである。
【０２６２】
サブクラス間近似測地距離マトリクスは、各サブクラスについて、当該サブクラスと他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を含むマトリクスであり、図８（ｂ）に示したマトリクスのことである。
【０２６３】
図２７は、記録媒体に記録される情報の具体例を示す図である。同図に示すように、ヘッダ情報には、ピクチャサイズ（Ｘ）、ピクチャサイズ（Ｙ）、ピクチャ枚数（Ｔ）、移動軌跡数（Ｎ）、サブクラス数（Ｓ）として、６４０、４８０、４、５、３がそれぞれ記憶されている。なお、ここではピクチャサイズ（Ｘ）、ピクチャサイズ（Ｙ）、ピクチャ枚数（Ｔ）、移動軌跡数（Ｎ）、サブクラス数（Ｓ）として、具体的な数値を用いて説明するが、それぞれの数値に限定されるものではない。
【０２６４】
また、ボディ情報には、４枚分のピクチャの画像データと、５つの移動軌跡に対するサブクラスラベル付移動軌跡ベクトルと、サブクラス間近似測地距離マトリクスとが含まれる。例えば、１つ目のサブクラスラベル付移動軌跡ベクトルは、（ａ  ａ１ｘ１  ａ１ｙ１  ａ１ｘ２  ａ１ｙ２  ａ１ｘ３  ａ１ｙ３  ａ１ｘ４  ａ１ｙ４）であり、上述した図２６の１番上のサブクラスラベル付移動軌跡ベクトルの情報を示している。サブクラス間近似測地距離マトリクスは、すべてのサブクラスの組み合わせについて、サブクラス内距離またはサブクラス間近似測地距離が記憶されている。例えば、（ａ，ａ）の列には、サブクラスａとサブクラスａとのサブクラス内距離ｆａａＩｎｔｒａが記憶されており、（ａ，ｂ）の列には、サブクラスａとサブクラスｂとのサブクラス間近似測地距離ｇａｂ´が記憶されている。
【０２６５】
なお、この記録媒体に記録される情報は、クラス判定用データ出力部２１０１に含まれるクラス判定用データ作成部２１０１Ａによって作成される。例えば、クラス判定用データ作成部２１０１Ａは、ピクチャサイズ（Ｘ，Ｙ）、ピクチャサイズ（Ｙ）、ピクチャ枚数（Ｔ）および画像データを、画像入力部１０１から取得する。クラス判定用データ作成部２１０１Ａは、移動軌跡数を、移動軌跡算出部１０２から取得する。クラス判定用データ作成部２１０１Ａは、サブクラス数（Ｓ）を、サブクラス分類部１０３から取得する。クラス判定用データ作成部２１０１Ａは、サブクラスラベル付移動軌跡ベクトルのうち、移動軌跡を示すデータを、移動軌跡算出部１０２から取得し、サブクラスを示すデータを、サブクラス分類部１０３から取得する。クラス判定用データ作成部２１０１Ａは、サブクラス間近似測地距離マトリクスを、サブクラス間近似測地距離算出部１０４から取得する。クラス判定用データ作成部２１０１Ａは、取得したこれらの情報を集約し、記録媒体に記録される情報を作成する。
【０２６６】
サブクラス間近似測地距離マトリクスを記録媒体に記録するようにしていることより、すべての移動軌跡の組合せについて測地距離を記憶する場合に比べて、メモリ量をＮ２個のデータの記憶容量からＳ２（Ｎ＞Ｓ）個のデータの記憶容量に削減することができる。このため、上記記録媒体を用いて、移動体検出用データ生成装置よりも搭載メモリ量の小さい移動体検出装置を用いて処理を行うことが可能になる。
【０２６７】
次に、移動体検出装置について説明する。図２８は、移動体検出装置の機能的な構成を示すブロック図である。移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する装置であり、クラス判定用データ入力部２１０２と、領域分割部１０５と、出力部１０６とを含む。クラス判定用データ入力部２１０２は、上述した記録媒体から、当該記録媒体に記録された情報を読み込む。領域分割部１０５は、クラス判定用データ入力部２１０２が読み込んだデータに基づいて、領域分割を実行する。領域分割部１０５および出力部１０６が実行する処理は、実施の形態１に示したものと同様である。つまり、領域分割部１０５および出力部１０６は、図３に示した領域分割ステップＳ３０５および画像出力ステップＳ３０６の動作をそれぞれ実行する。
【０２６８】
クラス判定用データ入力部２１０２は、記録媒体からヘッダ情報を読込み、Ｔ枚分の入力画像サイズ（Ｘ×Ｙ×Ｔ）に合わせたメモリ（記憶領域）を確保する。次に、クラス判定用データ入力部２１０２は、移動軌跡数Ｎとピクチャ枚数Ｔから、（２Ｔ＋１）×Ｎのデータを記憶するためのメモリを確保する。ここで、各移動軌跡ベクトルが式１に示すように２次元の画素座標からなるベクトルであるため、２Ｔの画素座標を記憶するためのメモリが必要であり、さらに、各移動軌跡ベクトルには、サブクラスラベルが付与されているため、サブクラスラベルを記憶するためのメモリが必要である。そして、クラス判定用データ入力部２１０２は、ヘッダ情報におけるサブクラス数Ｓから、サブクラス間近似測地距離マトリクスの保持に必要なＳ２個のデータを記憶するためのメモリを確保する。クラス判定用データ入力部２１０２は、上記のメモリを確保した上で、それぞれの情報を読込む。なお、サブクラス間近似測地距離マトリクスは対称行列であるため、実際には、サブクラス間近似測地距離を保持するためのＳＣ２個のデータを記憶するためのメモリを確保すればよい。
【０２６９】
次に、領域分割ステップＳ３０５において、領域分割部１０５は、サブクラス間近似測地距離を用いて、類似する移動軌跡（サブクラス）の集まりに対して統合・非統合の判断を行う。具体的な方法については、実施の形態１と同様であるため、説明を省略する。
【０２７０】
また、画像出力ステップＳ３０６において、出力部１０６は、領域分割部１０５で行った動画像中の移動体の検出結果を出力する。具体的な方法については、実施の形態１と同様であるため、説明を省略する。
【０２７１】
以上のように、移動体検出用データ生成装置を用いて、移動軌跡およびサブクラス間近似測地距離を算出し、記録媒体に保存する。そして、記録媒体を介して、移動体検出装置を用いて領域分割を行うことで被写体を抽出することが可能である。
【０２７２】
このように、ピクチャサイズ、ピクチャ枚数、移動軌跡数、サブクラス数に関する情報をヘッダとして保持することで、移動体検出装置が、領域分割に必要な情報のメモリ確保が可能になる。また、領域分割に必要な情報としてサブクラス間近似測地距離マトリクスを用いているため、移動軌跡間の測地距離のマトリクスである測地距離マトリクス用いて領域分割を行う場合に比べて少ないメモリ量で領域分割を行うことができるという効果がある。
【０２７３】
これにより、メモリ容量に制限があるような機器を移動体検出装置として用いることができるという利点がある。例えば、携帯電話等のモバイル機器において、本変形例における領域抽出の結果を用いることで、特定の被写体に着目してズーム表示を行ったり、追跡を行ったりすることが可能になる。
【０２７４】
なお、移動体検出用データ生成装置は、移動体検出装置において領域分割を行うための最低限のデータとして、少なくともサブクラス間近似測地距離を含むデータを記録媒体に出力するようにしてもよい。また、移動体検出装置は、記録媒体から少なくともサブクラス間近似測地距離を含むデータを受け取り、領域分割を行うようにしても良い。この場合、出力部１０６は必ずしも備えられていなくても良い。
【０２７５】
以上、本発明に係る移動体検出方法および移動体検出装置について、実施の形態およびその変形例に基づいて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。当業者が思いつく各種変形を、本発明の趣旨を逸脱しない範囲で各実施の形態に施して実現される形態も本発明に含まれる。
【０２７６】
また、各実施の形態における特徴的な構成要素を任意に組合せて実現される形態も本発明に含まれる。
【０２７７】
また、上記実施の形態における移動体検出装置は、画像入力部１０１および移動軌跡算出部１０２を備えているが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおける画像の移動軌跡が予め算出されている場合には、移動体検出装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ３０３〜Ｓ３０６の処理を実行してもよい。
【０２７８】
また、本発明は、移動体検出装置として実現したが、動画像において動きをもつオブジェクトの領域を抽出、あるいは、分割する画像処理装置として実現することができるのは言うまでもない。
【産業上の利用可能性】
【０２７９】
本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含む画像を領域抽出することによって画像中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。
【符号の説明】
【０２８０】
１００、１００ａ、１００ｃ、１００ｄ    移動体検出装置
１０１    画像入力部
１０２    移動軌跡算出部
１０３、１０３ａ    サブクラス分類部
１０４    サブクラス間近似測地距離算出部
１０５    領域分割部
１０６、１７０２    出力部
２０１    カメラ
２０２    コンピュータ
２０３    ディスプレイ
２０４    Ｉ／Ｆ
２０５    ＣＰＵ
２０６    ＲＯＭ
２０７    ＲＡＭ
２０８    ＨＤＤ
２０９    ビデオカード
１５０１    記録・送信部
１７０１    動き予測部
２１０１    クラス判定用データ出力部
２１０１Ａ    クラス判定用データ作成部
２１０２    クラス判定用データ入力部
【図１】
2011080900.tif 000046
【図２】
2011080900.tif 000047
【図３】
2011080900.tif 000048
【図４】
2011080900.tif 000049
【図５】
2011080900.tif 000050
【図６】
2011080900.tif 000051
【図７】
2011080900.tif 000052
【図８】
2011080900.tif 000053
【図９】
2011080900.tif 000054
【図１０】
2011080900.tif 000055
【図１１】
2011080900.tif 000056
【図１２】
2011080900.tif 000057
【図１３】
2011080900.tif 000058
【図１４】
2011080900.tif 000059
【図１５】
2011080900.tif 000060
【図１６】
2011080900.tif 000061
【図１７】
2011080900.tif 000062
【図１８】
2011080900.tif 000063
【図１９】
2011080900.tif 000064
【図２０】
2011080900.tif 000065
【図２１】
2011080900.tif 000066
【図２２】
2011080900.tif 000067
【図２３】
2011080900.tif 000068
【図２４】
2011080900.tif 000069
【図２５】
2011080900.tif 000070
【図２６】
2011080900.tif 000071
【図２７】
2011080900.tif 000072
【図２８】
2011080900.tif 000073
【手続補正書】
【提出日】平成23年4月28日(2011.4.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の移動体の領域を特定することによって移動体を検出する画像処理技術に関する。特に、移動体が人物のように形状が変化しながら移動する対象である場合においても、動画像中の動き情報に基づいて高速に移動体を検出する移動体検出装置等に関する。
【背景技術】
【０００２】
従来から、移動体の像（以下、単に「移動体」という。）が含まれる画像から、画像中の移動体の領域を抽出することによって移動体を検出する領域抽出技術の研究開発が広く行われてきている。特に移動体が人である場合にその移動体の領域を抽出する技術は、デジタルビデオカメラもしくはデジタルスチルカメラにおける焦点制御、画質改善処理、自動車の安全運転支援システム、または、ロボットにおける人との衝突回避制御もしくは衝突回避のための警報などに、共通して利用される基礎技術である。
【０００３】
画像中の移動体の領域を抽出する技術のうち、一般的な手法として、画像から移動体領域の候補を抽出したのち、抽出した移動体領域の候補に対し、予め用意した移動体モデルとの類似度を評価して、類似度が高い領域を移動体領域として抽出する手法がある。
【０００４】
さらに、歩行する人物等のように、変形しながら移動する移動体の領域を抽出する場合、変形を考慮した移動体モデルを利用する手法がある。例えば、特許文献１の技術では、移動体領域候補として複数の画像から移動体のシルエット画像を抽出する。そして、あらかじめパラメータ化した移動体の変形に関するモデルと、抽出したシルエット画像との類似度を評価し、類似度が高い領域とその領域に対応するモデルのパラメータとを推定する手法が開示されている。これによって、形状が周期的に変化しながら移動する人物に対しても、パラメータ化したモデルを当てはめることができるため、移動体の領域抽出を可能にしている。
【０００５】
また、非特許文献１の技術では、固定された１つの移動体を複数の視点から撮影した画像を入力として、各画像における画素値を並べたベクトルと、その他の画像の画素値を並べたベクトルとのユークリッド距離を計算する。そして計算されたユークリッド距離を測地距離変換した後、次元圧縮を行うことによって、類似した視点から撮影した画像が２次元空間上で近距離となるように射影することを可能にする方法が開示されている。ここでは、従来のＰＣＡ（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）等の線形次元圧縮方法と比較して、測地距離変換によって、より低次元に圧縮可能であり、さらに、非線形に分布するデータに対しても取り扱いが可能なことが示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２１４２８９号公報
【非特許文献】
【０００７】
【非特許文献１】Ｊｏｓｈｕａ  Ｔｅｎｅｎｂａｕｍ，  Ｖｉｎ  ｄｅ  Ｓｉｌｖａ  ａｎｄ  Ｊｏｈｎ  Ｌａｎｇｆｏｒｄ，  “Ａ  Ｇｌｏｂａｌ  Ｇｅｏｍｅｔｒｉｃ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｎｏｎｌｉｎｅａｒ  Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  Ｒｅｄｕｃｔｉｏｎ”，  Ｓｃｉｅｎｃｅ，  ＶＯＬ２９０，  ｐｐ．２３１９−２３２２，  ２２  Ｄｅｃｅｍｂｅｒ，  ２０００
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来の領域抽出の技術は、例えば、街頭などで複数の人物等の移動体が行き交うシーンなどのように、移動体が他の移動体によって部分的に遮蔽される場合や、大きさが著しく異なる移動体を含む場合などに、正しく移動体を抽出することができないという問題がある。
【０００９】
特許文献１に代表される従来の領域抽出手法では、画像から移動体領域の候補を抽出する必要がある。この時、適切に移動体領域候補を抽出できなければ、移動体をパラメータ化したモデルを正確に移動体領域候補に当てはめることが不可能になる。特に、上述のようなシーンにおいては、移動体領域候補を適切に抽出することは困難である。さらに、移動体領域候補を適切に抽出できたとしても以下のような課題がある。つまり、特に人物等の多関節物体を移動体とした場合、移動体のさまざまな姿勢や大きさに起因する画像の変化、バリエーションが非常に大きいため、移動体モデルのパラメータ化を行う際に膨大な数のパラメータが必要となる。このことは、モデルの当てはめ誤りを誘発する。そのため、例えば、複数の移動体を１つの移動体として誤って検出したり、抽出対象となる移動体が存在しない領域を移動体として誤って検出したりするなど、正しく移動体を検出することができないという課題がある。
【００１０】
一方で、非特許文献１に代表される画像処理手法では、画像間の距離を入力として非線形処理を行うことにより、効率良く圧縮された低次元空間に画像データを射影することができる。これによりノイズに対する耐性が期待できる。さらには、測地距離変換と次元圧縮により、連続的かつ非線形に分布するデータを効率よく表現することができる。しかしながら、非特許文献１の主な目的は、複数の画像を低次元空間に射影することで画像間の類似度を可視化することにあり、形状が変化する人物等の多関節物体におけるさまざまな姿勢変化に対応しながら、正しく移動体を検出する方法は開示されていない。
【００１１】
ここで、非特許文献１は、取り扱う全データ数をＮとした場合に、Ｎ２の要素数を持つマトリクスを用いて、測地距離変換および次元圧縮を行う必要がある。そのため、データ数Ｎが大きい場合に、計算量が膨大になるという問題があることが知られている。
【００１２】
これに対し、非特許文献２および非特許文献３には、データ点の中からデータ点数よりも少ない数のランドマーク点を設定し、設定したランドマーク点を用いて前記マトリクスを生成し測地距離変換および次元圧縮を行うことによって、計算量を削減する方法が提示されている。
【００１３】
【非特許文献２】Ｖｉｎ  ｄｅ  Ｓｉｌｖａ  ａｎｄ  Ｊｏｓｈｕａ  Ｂ．  Ｔｅｎｅｎｂａｕｍ，  “Ｇｌｏｂａｌ  Ｖｅｒｓｕｓ  Ｌｏｃａｌ  Ｍｅｔｈｏｄｓ  ｉｎ  Ｎｏｎｌｉｎｅａｒ  Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  Ｒｅｄｕｃｔｉｏｎ”，  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ  １５，  ｐｐ．７０５−７１２，  ２００２
【００１４】
【非特許文献３】Ｖｉｎ  ｄｅ  Ｓｉｌｖａ  ａｎｄ  Ｊｏｓｈｕａ  Ｂ．  Ｔｅｎｅｎｂａｕｍ，  “Ｓｐａｒｓｅ  Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ  Ｓｃａｌｉｎｇ  ｕｓｉｎｇ  Ｌａｎｄｍａｒｋ  Ｐｏｉｎｔｓ”，  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，  Ｓｔａｎｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ，  Ｊｕｎｅ  ２００４
【００１５】
そこで本発明者は、特許文献１の領域抽出が正しく行われないという問題を解決することを目的として、以下のような手段からなる領域抽出技術を発明した。この領域抽出技術を用いた領域抽出装置は、画像入力手段と、時間的に異なる画像から動きを検出し、検出した動きを時間的に連結することで、移動軌跡を算出する動き解析手段と、移動軌跡間の類似性を表す距離を算出する距離算出手段と、前記距離を測地距離に変換し、得られた測地距離から移動軌跡を分類することによって、領域抽出を行う領域分割手段とを含む。
【００１６】
特には、この領域抽出技術では、非特許文献１に記載される測地距離変換処理による性質として、連続的かつ非線形に分布するデータを効率良く表現可能であるという性質を利用する。
【００１７】
ただし、この領域抽出技術は、非特許文献１の技術と同様に入力データ数が多くなると計算量が膨大になるといった問題がある。さらに、非特許文献２および非特許文献３に代表される計算量の削減方法では、ランドマーク点とランドマーク点との間に存在するデータ点、つまりランドマークとして選ばなかった点に関して、ランドマーク点を用いて線形補間を行うものである。しかしながら、特に、形状が変化する人物等の移動体は、頭と足の動きが異なるように、同一の移動体であっても部位によって動きが異なる。例えば、頭と足にランドマーク点がある場合やランドマーク点とランドマーク点の間に関節が存在する場合には、ランドマーク点間の線形補間を行うと、腕や膝の関節動き等の動きを適切に捉えることができない。そのため、形状が変化する人物等の多関節物体における様々な姿勢変化に対応しながら、正しく移動体を抽出することが難しい。さらに、あらかじめ被写体が抽出されていない段階において、人物等の多関節物体に対してランドマーク点を適切に設定することは難しい。
【００１８】
そこで本発明は、上述の課題を解決するためになされたものであり、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、少ない計算量で、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出することができる移動体検出装置等を提供することを目的とする。
【課題を解決するための手段】
【００１９】
この課題を解決するために本発明のある局面に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、算出された前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部とを備える。
【００２０】
この構成によると、サブクラス間距離は、全ての移動軌跡のペアについて算出される線形距離に基づいて算出され、サブクラス間近似測地距離は、サブクラス間距離を用いて算出される。また、サブクラス間距離は、それぞれ異なるサブクラスに属する移動軌跡間の線形距離の最小値を距離として含んでいるため、多関節物体の動きが生じた場合であっても、変化しにくい。さらに、本発明によるクラスは画像中の移動体領域と対応するため、その結果として移動体を検出することができる。このため、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、少ない計算量で、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出することができる。
【００２１】
なお、本発明は、上記移動体検出装置として実現できるだけでなく、移動体検出装置に含まれる特徴的な処理部をステップとする移動体検出方法、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。なお、そのようなプログラムは、インターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００２２】
本発明によると、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、少ない計算量で、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく領域抽出することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の実施の形態１における移動体検出装置の基本構成を示す図である。
【図２】図２は、本発明の実施の形態１における移動体検出装置をソフトウェアで実現する場合におけるハードウェア構成図である。
【図３】図３は、本発明の実施の形態１における移動体検出装置の基本動作を示すフローチャートである。
【図４】図４は、本発明の実施の形態１における移動軌跡算出部の処理例を示す図である。
【図５】図５は、本発明の実施の形態１におけるサブクラス分類部の処理例を示す図である。
【図６】図６は、本発明の実施の形態１における測地距離の効果の一例を示す図である。
【図７】図７は、本発明の実施の形態１におけるサブクラス間近似測地距離の効果の一例を示す図である。
【図８】図８は、本発明の実施の形態１におけるサブクラス間近似測地距離の計算方法の一例を示す図である。
【図９】図９は、本発明の実施の形態１における領域分割部の処理例を示す図である。
【図１０】図１０は、本発明の実施の形態２における移動体検出装置の基本構成を示す図である。
【図１１】図１１は、本発明の実施の形態２における移動体検出装置の基本動作を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態２におけるサブクラス分類部の処理例を示す図である。
【図１３】図１３は、本発明の実施の形態３における移動体検出装置の基本動作を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態３におけるサブクラス間近似測地距離の性質を示す概念図である。
【図１５】図１５は、本発明の実施の形態３における画像入力部の処理例を示す図である。
【図１６】図１６は、本発明の実施の形態１から３の第１変形例における移動体検出装置の基本構成を示す図である。
【図１７】図１７は、本発明の実施の形態１から３の第１変形例における記録・送信データの一例を示す図である。
【図１８】図１８は、本発明の実施の形態１から３の第２変形例における移動体検出装置の構成例を示す図である。
【図１９】図１９は、本発明の実施の形態１から３の第２変形例における移動体検出装置の基本動作を示すフローチャートである。
【図２０】図２０は、本発明の実施の形態２における動き予測の一例を示す図である。
【図２１】図２１は、本発明の第３変形例に係る移動体検出用データ生成装置の機能的な構成を示すブロック図である。
【図２２】図２２は、記録媒体に記録される情報のデータ構成を示す図である。
【図２３】図２３は、ピクチャのサイズ（Ｘ，Ｙ）およびピクチャ枚数（Ｔ）を説明するための図である。
【図２４】図２４は、移動軌跡数（Ｎ）を説明するための図である。
【図２５】図２５は、サブクラス数（Ｓ）を説明するための図である。
【図２６】図２６は、サブクラスラベル付移動軌跡ベクトルについて説明するための図である。
【図２７】図２７は、記録媒体に記録される情報の具体例を示す図である。
【図２８】図２８は、移動体検出装置の機能的な構成を示すブロック図である。
【発明を実施するための形態】
【００２４】
本発明の一実施形態に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、算出された前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部とを備える。
【００２５】
これにより、連続的かつ非線形に分布する移動軌跡が、類似性によりまとめられてクラス分類が行われるので、動きの異なる複数の部位からなる人物等の多関節物体を移動体として検出する場合であっても、一つの領域として判定される。その結果、正確な領域抽出が行われ、移動体が正しく検出される。つまり、形状が変化しながら移動する人物等の移動体に対しても正しく領域抽出し、これによって画像中の移動体を高速かつ確実に検出することが可能である。
【００２６】
また、移動軌跡をサブクラスに分類し、さらに移動軌跡の類似性を示す測地距離の代わりにサブクラス間近似測地距離を算出することによって、特に関節を持つ物体の動きに対して、より少ない計算量で、測地距離を計算した場合と同様の性質を持った距離を計算することができるため、高速な移動体検出が可能となる。さらに、あらかじめ抽出すべき移動体に関する形状情報等の事前情報を保持、または学習しておく必要がない。
【００２７】
好ましくは、前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスと他のサブクラスとの間の前記サブクラス間近似測地距離として、当該サブクラスに属する移動軌跡の類似性を表すサブクラス内距離と、前記他のサブクラスの前記サブクラス内距離と、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離とを加算した距離を算出する。
【００２８】
サブクラス間近似測地距離として、サブクラス間距離とサブクラス内距離を用いることで、より高精度に測地距離を近似することができる。これにより、少ない計算量で形状が変化しながら移動する人物等の移動体に対しても正しく領域抽出し、これによって画像中の移動体を高速かつ確実に検出することが可能である。
【００２９】
ここで、前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡間の線形距離の平均値、最頻値またはメディアン値を、当該サブクラスの前記サブクラス内距離として算出する構成としてもよい。
【００３０】
さらに、特に移動体の大きさが変化する場合には、前記領域分割部は、さらに、２つのサブクラス間の前記サブクラス間近似測地距離を前記サブクラス内距離によって正規化した距離を、前記サブクラス間近似測地距離として算出するとしてもよい。サブクラスの空間的な大きさの情報を含むサブクラス内距離によって、サブクラス間近似測地距離を正規化することによって、画像上でのサイズが変化するような移動体もより正確に検出することが可能になる。
【００３１】
また、前記サブクラス間近似測地距離算出部は、前記最小値が所定の閾値より大きい場合には、前記サブクラス間近似測地距離を無限大に変更する非線形化を行うことにより、前記サブクラス間近似測地距離を算出する構成としてもよい。
【００３２】
また、前記サブクラス間近似測地距離算出部は、第１のサブクラスと第２のサブクラスとの間のサブクラス間近似測地距離と、前記第１のサブクラスと第３のサブクラスとのサブクラス間近似測地距離および前記第３のサブクラスと前記第２のサブクラスとの間のサブクラス間近似測地距離の和とを比較し、小さいほうの値を前記第１のサブクラスと前記第２のサブクラスとの間のサブクラス間近似測地距離として算出する構成としてもよい。
【００３３】
また、前記領域分割部は、前記サブクラス間近似測地距離の時間変化に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つの領域を示すクラスとして特定することによって、領域分割を実行する構成としてもよい。このように、サブクラス間近似測地距離の時間変化により、サブクラスラベルの統合・非統合を判定することによって、関節物体等の動きに対しても一つの移動体として検出できる。
【００３４】
なお、時間変化に基づいてサブクラスラベルを統合するためには、前記領域分割部は、２つのサブクラス間の前記サブクラス間近似測地距離の時間変化を表す値が、所定の時間変化閾値以下の場合に、前記２つのサブクラスが同一のクラスに属すると判定することにより、領域分割を実行するのが望ましい。これにより、サブクラス間近似測地距離の時間変化が小さい場合には、関節動きや剛体のように同一の移動体として判定することが可能になる。
【００３５】
さらに、時間変化によりサブクラスラベルを統合しないためには、前記領域分割部は、２つのサブクラス間の前記サブクラス間近似測地距離の時間変化を表す値が、所定の時間変化閾値よりも大きい場合に、前記２つのサブクラスが異なるクラスに属すると判定することにより、領域分割を実行するのが望ましい。これにより、サブクラス間近似測地距離の時間変化が大きい場合には、別々の移動体として判定することが可能になる。
【００３６】
また、前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の距離のうち、小さいほうから所定個数の距離の平均値を、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離としてもよい。また、前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の距離のうち、所定の閾値以下の距離の平均値を、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離としてもよい。この構成により、よりノイズの影響を受けにくいサブクラス間近似測地距離を算出可能である。
【００３７】
また、サブクラスの生成方法に関して、本発明のより好ましい形態は、前記サブクラス分類部は、算出された前記複数の移動軌跡のうち類似する移動軌跡を同一のサブクラスに分類することによって、前記複数の移動軌跡を複数のサブクラスに分類する構成としたものである。より好ましくは、前記サブクラス分類部は、算出された前記複数の移動軌跡のうち最も類似する移動軌跡の組み合わせを同一のサブクラスに分類する処理を、規定回数または前記複数の移動軌跡が規定のサブクラス数に分類されるまで繰り返し実行することによって、前記複数の移動軌跡を複数のサブクラスに分類する構成としたものである。このように、類似する移動軌跡を同一のサブクラスに分類することによって、サブクラスに分類しない場合と比べ、サブクラス間近似測地距離の計算量を削減することが可能になる。
【００３８】
さらに、サブクラスの生成方法に関して、別の好ましい形態は、前記サブクラス分類部は、前記画像入力部において受け付けられた前記複数枚のピクチャのうち少なくとも１枚のピクチャから、当該ピクチャのエッジ情報、色情報および輝度情報のうちの少なくとも１つを用いて、当該ピクチャを複数の領域に分割し、分割した各領域を通る移動軌跡を同一のサブクラスに分類することにより、前記複数の移動軌跡を複数のサブクラスに分類する構成としたものであり、エッジ、輝度、色等の画像の空間的な情報を用いて移動軌跡をサブクラスに分類することも可能である。
【００３９】
好ましくは、上述の移動体検出装置は、さらに、前記画像入力部において受け付けられた前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域分割部により領域分割を実行することにより特定された領域ごとに、他の特定された領域と異なる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える。
【００４０】
この構成によると、抽出した移動体を画像上に表示することによって、ＡＶ、画像監視装置等において、移動体をそれぞれ画像上に表示することによって、ユーザーがそれぞれの被写体を認識しやすくなるといった効果がある。
【００４１】
さらに好ましくは、上述の移動体検出装置は、さらに、前記画像入力部において受け付けられた前記複数枚のピクチャのうち少なくとも１枚のピクチャに対して、前記領域分割部により実行された領域分割の結果を付与したピクチャを、記録装置に書き込む、または、伝送路を解して外部に送信する記録・送信部を備える。
【００４２】
この構成によると、検出した移動体画像を抽出した領域に基づいてそれぞれ別々に保持することによって、各移動体画像の中から必要な部分の画像のみを選択して保存したり、外部に出力したりすることによって、図形要素として効率的な保存および出力が可能になる。そのため、携帯電話等、処理能力の限られた機器に保存および送信する場合に有効に作用する。
【００４３】
また、上述の移動体検出装置は、さらに、前記領域分割部により特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する領域が、ピクチャ間で移動すると予測することにより、前記移動体の動きを予測する動き予測部を備えるものとしてもよい。
【００４４】
複数のブロックの移動軌跡を代表する軌跡を用いて移動体の動きを予測することにより、ノイズ耐性の高い動き予測が可能となる。
【００４５】
本発明の他の実施形態に係るコンピュータ読み取り可能な記録媒体は、ヘッダ情報と、ボディ情報とを含むデータ構造を有するデータが記録されたコンピュータ読み取り可能な記録媒体であって、前記ヘッダ情報は、動画像を構成するピクチャのサイズと、前記動画像を構成する前記ピクチャの枚数であるピクチャ枚数と、前記動画像から得られる移動軌跡の数である移動軌跡数と、類似する移動軌跡の集合であるサブクラスの数であるサブクラス数とを含み、前記ボディ情報は、前記動画像を構成する前記ピクチャ枚数のピクチャと、前記動画像から得られる前記移動軌跡数の移動軌跡を示すデータと、各前記移動軌跡が属するサブクラスを示すデータと、サブクラスごとに、当該サブクラスと他のサブクラスとの間の類似性を表すサブクラス間近似測地距離とを含む。
【００４６】
このように、ピクチャのサイズ、ピクチャ枚数、移動軌跡数、サブクラス数に関する情報をヘッダとして保持することで、これらのデータを受け取って領域分割を行う装置が、領域分割に必要な情報のメモリ確保が可能になる。また、領域分割に必要な情報としてサブクラス間近似測地距離を含んでいるため、移動軌跡間の測地距離を含む場合に比べて、装置側では、少ないメモリ量で領域分割を行うことができるという効果がある。
【００４７】
本発明のさらに他の実施形態に係る移動体検出用データ生成装置は、動画像を構成する複数枚のピクチャを受け付ける画像入力部と、受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、少なくとも前記サブクラス間近似測地距離算出部が算出した前記サブクラス間近似測地距離を含むデータを出力するデータ出力部とを備える。
【００４８】
データ出力部はサブクラス間近似測地距離を含むデータを出力する。このため、このデータを受け取った他の装置では、少ないメモリ量で領域分割を行うことができる。
【００４９】
本発明のさらに他の実施形態に係る移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、少なくとも、動画像中の類似する移動軌跡の集合であるサブクラスに属する移動軌跡と、当該サブクラスとは異なる前記動画像中の類似する移動軌跡の集合であるサブクラスに属する移動軌跡との間の類似性を表すサブクラス間近似測地距離を含むデータの入力を受け付けるデータ入力部と、前記データ入力部で受け付けられた前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部とを備える。
【００５０】
サブクラス間近似測地距離を含むデータの入力を受け付け、領域分割を実行する。このため、移動軌跡間の測地距離に基づいて領域分割を行う場合と比べて、少ないメモリ量で領域分割を行うことができる。
【００５１】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００５２】
（実施の形態１）
以下、本発明の実施の形態について、図面を用いて説明する。
【００５３】
図１は、実施の形態における移動体検出装置１００の構成を示す図である。図１に示されるように、この移動体検出装置１００は、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４、領域分割部１０５および出力部１０６を備える。移動体検出装置１００は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する装置である。つまり、移動体検出装置１００は、２枚以上のピクチャ間の対応点の軌跡である移動軌跡を用いて、動画像中の移動体の全部または一部の領域を特定するクラス分類（クラスタリング）を実行することによって動画像中の移動体を検出する装置である。以下、ピクチャのことを画像ともいう。
【００５４】
画像入力部１０１は、動画像を構成する撮影時刻が時間的に異なる複数枚のピクチャの入力を受け付ける処理部であり、例えば、ビデオカメラ、あるいは、ビデオカメラと接続された通信インターフェース等である。また、画像入力部１０１は、動画像を蓄積したメモリから動画像を取得してもよい。
【００５５】
移動軌跡算出部１０２は、画像入力部１０１で受け付けたピクチャを構成する１個以上の画素からなるブロックごとに、動画像を構成する２枚のピクチャ間での画像の動きを検出し、検出した動きを複数枚のピクチャについて連結することで、複数の移動軌跡を算出する処理部である。ここで、ブロックとは、移動軌跡を算出する単位であり、１個以上の画素の集まりである。
【００５６】
サブクラス分類部１０３は、移動軌跡算出部１０２で算出された複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類する処理部である。つまり、サブクラス分類部１０３は、移動軌跡算出部１０２で算出された複数の移動軌跡に関して、類似した移動軌跡が同じサブクラスに属するように分類を行い、各移動軌跡に対して、分類結果であるサブクラスのラベルを付与する。
【００５７】
サブクラス間近似測地距離算出部１０４は、サブクラス分類部１０３でラベル付けされた移動軌跡を用いて、サブクラス間の類似度を表す距離を算出する処理部である。本実施の形態では、移動する物体の形状変化を捉えるとともに、距離の計算時間を短縮するために、サブクラス分類部１０３は、サブクラス内距離とサブクラス間距離とを用いて、サブクラス間の近似的な測地距離であるサブクラス間近似測地距離を算出する。つまり、サブクラス間近似測地距離算出部１０４は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出する。ここで、測地距離とは、中継点としての移動軌跡をたどりながら一の移動軌跡から他の一の移動軌跡にたどりつく経路の距離である。また、サブクラス内距離は、同一のサブクラスにラベル付けされた移動軌跡を用いて算出される距離であり、同一のサブクラスに属する移動軌跡間の類似性を表す距離である。サブクラス間距離は、異なる２つのサブクラスに属する移動軌跡間の線形距離の最小値を含んだ距離である。なお、より距離計算の計算量を削減したい場合には、サブクラス内距離を用いずにサブクラス間距離をサブクラス間近似測地距離として代用しても構わない。なお、距離は類似性を表し、例えば、距離が大きい場合は類似性が低く、距離が小さい場合には類似性が高い。
【００５８】
ここでは、Ｓ個のサブクラスを用いた場合、算出されるサブクラス間近似測地距離はＳ行Ｓ列（Ｓ×Ｓ）の距離マトリクスとなる。このように、異なる２つのサブクラス間に属する移動軌跡の類似性を評価する距離を計算することによって、ブロック間の線形距離が動きによって変化する移動体、特に、関節物体のように形状が変化しながら移動する人物等の物体の動きを、近似測地距離マトリクスとして表現することが可能である。これにより、関節物体の動きに対して頑健な被写体抽出が可能になる。ここで、本明細書における「距離」は、２次元空間における２点間の距離だけでなく、後述するように、多次元のデータ間の算術的な距離を含み、１つの値、あるいは、複数の値の集合（距離マトリクス）である。
【００５９】
領域分割部１０５は、サブクラス間近似測地距離算出部１０４で算出されたサブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する処理部である。つまり、領域分割部１０５は、サブクラス間近似測地距離算出部１０４で算出されたサブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりに対して統合・非統合の判断をする。そして、サブクラスをクラスに分類することで、動画像中の移動体を検出する。ここでは、一つのクラスが一つの被写体もしくは被写体の部位に対応するため、クラスに分類することができれば、移動体の領域を特定することになり、移動体を検出できる。なお、クラスはサブクラスの集合である。
【００６０】
出力部１０６は、領域分割部１０５で行った動画像中の移動体の検出結果を出力する。具体的には、出力部１０６は、画像入力部１０１で受け付けた複数枚のピクチャのうち少なくとも１枚のピクチャに対して、例えば、領域分割部１０５により検出された移動体の領域ごとに異なる表示態様となるように、画像処理を施し、画像処理が施された領域を含むピクチャをディスプレイ装置等に出力する。
【００６１】
なお、本明細書において、「領域」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物の区別なく物体ごとに画像領域（移動軌跡）を分類するクラス分類技術の両者を含んでいる。なお、検出技術とクラス分類技術とは、共通する部分が多いため、本願発明書においては両者を区別しない。
【００６２】
なお、上記した移動体検出装置１００を構成する各構成要素（画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４、領域分割部１０５、出力部１０６）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図２は、ソフトウェアによって実現される本実施の形態における移動体検出装置のハードウェア構成を示す図である。図２において、カメラ２０１は、画像を撮影して出力する。コンピュータ２０２は、カメラ２０１から画像を取得して移動体検出処理を行って、移動体検出結果を表示する画像を生成する。ディスプレイ２０３はコンピュータ２０２で生成された画像を取得して表示する。コンピュータ２０２は、Ｉ／Ｆ２０４、ＣＰＵ２０５、ＲＯＭ２０６、ＲＡＭ２０７、ＨＤＤ２０８およびビデオカード２０９を含む。コンピュータ２０２を動作させるプログラムは、ＲＯＭ２０６またはＨＤＤ２０８にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０５によって、ＲＯＭ２０６またはＨＤＤ２０８からＲＡＭ２０７に読み出されて展開される。ＣＰＵ２０５はＲＡＭ２０７に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０４は、プログラムの実行に応じて、カメラ２０１で撮影された画像を、ＲＡＭ２０７へ取り込む。ビデオカード２０９は、プログラムの実行に応じて生成された画像を出力し、ディスプレイ２０３がその画像を表示する。
【００６３】
なお、コンピュータプログラムは、半導体であるＲＯＭ２０６またはＨＤＤ２０８に限られず、例えば光ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０７に取り込まれてもよい。
【００６４】
以下、本実施の形態における移動体検出装置１００の動作を、図３を用いて説明する。
【００６５】
図３は、本実施の形態における移動体検出装置１００の動作を表すフローチャートである。
【００６６】
図３において、７つのステップＳ３０１〜Ｓ３０６は、それぞれ図１の各処理部に対応している。すわなち、画像入力部１０１では画像入力ステップＳ３０１、移動軌跡算出部１０２では移動軌跡算出ステップＳ３０２、サブクラス分類部１０３ではサブクラス分類ステップＳ３０３、サブクラス間近似測地距離算出部１０４ではサブクラス間近似測地距離算出ステップＳ３０４、領域分割部１０５では領域分割ステップＳ３０５、出力部１０６では画像出力ステップＳ３０６の各動作を実行する。
【００６７】
画像入力ステップＳ３０１において、画像入力部１０１は、カメラ２０１から、動画像を構成する複数のピクチャを取得する。ここではＴ枚のピクチャが入力されたものとする。
【００６８】
次に、移動軌跡算出ステップＳ３０２において、移動軌跡算出部１０２は、入力された複数のピクチャ間の動き情報を算出し、移動軌跡を生成して出力する。複数（Ｔ枚）のピクチャ間の動き情報を算出する手法として、ここでは複数のピクチャのうちのある１つのピクチャ上のＩ点の画素を基準に、他のＴ−１枚のピクチャ中の対応する画素を探索する。なお、Ｉ点の画素の代わりに、Ｉ個の小矩形領域（ブロック）を基準にして、対応する小矩形領域の位置を探索しても良い。例えば、図４（ａ）に示すように、移動軌跡算出部１０２は、時刻ｔと時刻ｔ＋１に撮影されたピクチャを用いて、時刻ｔのピクチャ上の画素ｉの画素座標（ｘｉｔ，ｙｉｔ）（ｉ＝１…Ｉ）に対応する、時刻ｔ＋１のピクチャ上の画素座標（ｘｉｔ＋１，ｙｉｔ＋１）を推定する。この時、移動軌跡算出部１０２は、時刻ｔにおける小矩形領域４０４（ブロック）を、時刻ｔ＋１のピクチャ上でスキャン（破線）し、時刻ｔにおける小矩形領域内の画素値と時刻ｔ＋１における小矩形領域内の画素値との差の総和が最も小さい時の画素座標（実線矢印の指す座標）を、対応する画素座標として推定する。画素座標は、ブロックの中心位置を示す画素座標を用いればよい。ここで、小矩形領域４０４をスキャンする範囲は予め決定しておいても構わない。また、ブロック同士の違いを評価する尺度としては、画素値の差の総和に限定されるものではなく、比較するブロック内の画素値の違いを示す尺度であれば他のものであってもよい。例えば、時刻ｔにおける小矩形領域内の画素値と時刻ｔ＋１における小矩形領域内の画素値との平均２乗誤差を用いてもよいし、メディアン等の外れ値（アウトライア）の影響を受けにくい値を用いてもよい。ピクチャが３枚以上ある場合は、移動軌跡算出部１０２は、図４（ｂ）に示すように、隣接する２枚のピクチャ間で順次対応する座標を求めていくことで、入力したＴ枚のピクチャについて、Ｉ点の対応点を算出する。なお、対応する座標を求めるために用いられる２枚のピクチャは、必ずしも隣接している必要はない。例えば、２枚のピクチャ間に他の１枚以上のピクチャが挟まっていてもよい。
【００６９】
上記した複数のピクチャ間の対応点を算出する他の具体的な手法としては、非特許文献４または非特許文献５などに示されている方法を用いてもよい。
【００７０】
【非特許文献４】Ｐ．Ａｎａｎｄａｎ，  “Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  Ｖｉｓｕａｌ  Ｍｏｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．２，  ｐｐ．２８３−３１０，  １９８９
【００７１】
【非特許文献５】Ｖｌａｄｉｍｉｒ  Ｋｏｌｍｏｇｏｒｏｖ  ａｎｄ  Ｒａｍｉｎ  Ｚａｂｉｈ，  “Ｃｏｍｐｕｔｉｎｇ  Ｖｉｓｕａｌ  Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ  ｗｉｔｈ  Ｏｃｃｌｕｓｉｏｎｓ  ｖｉａ  Ｇｒａｐｈ  Ｃｕｔｓ”，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ２００１
【００７２】
そして、この移動軌跡算出ステップＳ３０２では、移動軌跡算出部１０２は、Ｉ点の画素のＴ枚のピクチャにわたる動き情報である、対応点の画素座標の組から、画素ごとに対応する移動軌跡を、Ｉ本生成する。画素ｉの移動軌跡ｘｉは、第１フレームのピクチャ上のある画素ｉの座標値（ｘ１ｉ，ｙ１ｉ）と、対応点の画素座標（ｘｔｉ，ｙｔｉ）とを用いて、下記式１のように示される。
【００７３】
【数１】
2011080900.tif 000074
【００７４】
ここで、Ｔは移動軌跡の算出に用いたピクチャの枚数である。
【００７５】
図４（ｂ）は、移動軌跡ｘｉの一例を示す図である。移動軌跡ｘｉは、時刻ｔから時刻ｔ＋（Ｔ−１）のＴ枚の入力画像４０１において、第１フレームのピクチャ上の画素ｉ４０３から、他のピクチャ上の画素ｉ４０３に対応する画素への動き情報４０２から算出した、画素座標の集まりからなるベクトルである。
【００７６】
次に、サブクラス分類ステップＳ３０３において、サブクラス分類部１０３は、式１に示したＩ本の移動軌跡をＳ個のサブクラスに分類する。サブクラスへの分類については、図５を用いて説明する。例えば、図５（ａ）に示すように、第１フレームのピクチャに含まれる被写体５０１Ａおよび５０１Ｂが、第Ｎフレームにおいて被写体５０２Ｂおよび５０２Ｂの位置にそれぞれ移動したとする。そのときの被写体５０１Ａおよび５０１Ｂの移動軌跡は、各々、複数の移動軌跡５０３Ａおよび５０３Ｂで示される。ただし、図５（ａ）では、説明の簡略化のために移動軌跡の一部分のみを示している。
【００７７】
サブクラスへの分類は、類似した移動軌跡を同一のサブクラスに分類できれば良いため、さまざまな方法を用いることができる。例えば、式１に示したＩ本の移動軌跡を入力として、非特許文献６のｐｐ．５２６−５２８に示されるようなｋ−ｍｅａｎｓ法を用い、サブクラス数をＳ個と設定すれば、図５（ｂ）のように、移動軌跡ベクトルが成す多次元空間上で移動軌跡ベクトルをサブクラスとして分類することができる。ここで、図５（ｂ）の○は、破線の矢印で示すように図５（ａ）の各移動軌跡に対応する多次元空間上の点を示している。説明のため、移動軌跡に対応する点を３次元の空間図上で示しているが、移動軌跡ベクトルが存在する空間は、実際は式１で示される、次元数が２×Ｔの多次元空間である。そこで、図５（ｃ）に示すように、前記多次元空間上で、類似した移動軌跡を同一のサブクラスとして、Ｉ本の移動軌跡をＳ個のサブクラスに分類することができる。
【００７８】
さらには、Ｉ本の移動軌跡を入力として、非特許文献６のｐｐ．５５０−５５５に示すようなデンドログラムをベースとしたクラスタリングアルゴリズムを用いることもできる。ここでは、最も類似度の高い（最も距離が小さい）移動軌跡のペアを順次同一のサブクラスとする処理をサブクラス数がＳ個になるまで繰り返し行うか、もしくは、規定回数行う。この結果、図５（ｃ）のように、類似した移動軌跡を同一のサブクラスとして、Ｉ本の移動軌跡をＳ個のサブクラスに分類することができる。なお、ここで、移動軌跡の類似度は、移動軌跡ベクトル間のユークリッド距離を用いても良いし、前記ユークリッド距離に対して、サブクラスに属する移動軌跡の数を用いて正規化を行った距離を用いても良い。
【００７９】
例えば、移動軌跡ペアの類似度（距離）を計算する時に、同一のサブクラスに属する移動軌跡の数を用いて正規化する処理を行えば、図５（ｄ）のように各サブクラスのサイズが均一になりやすい。すなわち、各サブクラスに属する移動軌跡の数のばらつきが小さくなる。なお、距離または類似度は、上記の算出方法により算出される距離または類似度に限定するものではなく、移動軌跡ベクトル間の類似性を判定できる距離または類似度であれば良い。なお、これらの場合は、距離が小さいほど、類似度が大きいということになる。すなわち、ここでは、類似度が最も大きいか、距離が最も小さい移動軌跡のペアを同一のサブクラスとする処理を行う。このように、移動軌跡をサブクラスへ分類した結果は、図５（ｄ）のようになる。すなわち、各移動軌跡にサブクラスのラベルが付与された結果、類似した移動軌跡が同一のサブクラスに分類されることになる。例えば、対象が人物であれば、人物のボディを図５（ｄ）のように細かく分割したような結果を得ることができる。
【００８０】
【非特許文献６】Ｒｉｃｈａｒｄ  Ｏ．Ｄｕｄａ，  Ｐｅｔｅｒ  Ｅ．Ｈａｒｔ  ａｎｄ  Ｄａｖｉｄ  Ｇ  Ｓｔｏｒｋ，  “Ｐａｔｔｅｒｎ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”，  Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ，  Ｉｎｃ．，  ２００１
【００８１】
上記のようなクラスタリングアルゴリズムを用いた処理により、各移動軌跡ｘｉは、下記式２に示すように、それぞれサブクラスＤｊのいずれかに属することになる。すなわち、各移動軌跡には、サブクラスＤｊのラベルがそれぞれ付与されることになる。
【００８２】
【数２】
2011080900.tif 000075
【００８３】
なお、サブクラスに対応する領域のサイズが検出したい移動体の最小サイズと同じか、それより小さいサイズになるように、サブクラスへの分類を行っても良いし、サブクラス数が、あらかじめ想定される被写体数よりも多くなるようにサブクラスへの分類を行っても良い。
【００８４】
次に、サブクラス間近似測地距離算出ステップＳ３０４において、サブクラス間近似測地距離算出部１０４は、サブクラス分類ステップＳ３０３にて付与したサブクラスラベルとそれに属する移動軌跡を用いて、サブクラス間近似測地距離を算出する。ここで、測地距離を計算するメリットについて図６を用いて説明する。ここでは、線形距離と測地距離の違いを分かりやすく説明するため、時刻ｔにおける移動軌跡間距離を例とする。例えば、サブクラスＤａ６０２に属する頭部の画素とサブクラスＤｂ６０３に属する手先部の画素との間の線形距離６０１は、図６（ａ）に示す距離となる。一方、測地距離の場合は、図６（ｂ）に示されるように、サブクラスＤａ６０２に属する頭部の画素とサブクラスＤｂ６０３に属する手先部の画素との測地距離は、中継点としてサブクラスＤｃ６０４に属する画素を通ってサブクラスＤｂ６０３に属する手先部の画素にたどり着くまでの矢印で示したような距離の和となる。そのため、図６（ａ）に示される線形距離６０１では人物のような関節で連続的に繋がった形状をデータとして連続的に表現できないのに対して、図６（ｂ）に示される測地距離によれば、関節で連続的に繋がった形状を距離として連続性を表現することが可能となるという効果がある。
【００８５】
なお、測地距離の算出時には、図６（ａ）に示すように、サブクラスＤａ６０２に属する頭部の画素とサブクラスＤｂ６０３に属する手先部の画素との間の直線距離の計算ではなく、図６（ｂ）に示すように、２点間を中継点を通って辿る最短経路を探索する計算が必要になる。最短経路探索のための効率的な計算方法については、例えば非特許文献７に示されるダイクストラ法が広く知られているが、この手法を用いても特に移動軌跡の数が多くなればなるほど、計算量は膨大になることが非特許文献３で報告されている。
【００８６】
【非特許文献７】Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，“Ａ  ｎｏｔｅ  ｏｎ  ｔｗｏ  ｐｒｏｂｌｅｍｓ  ｉｎ  ｃｏｎｎｅｘｉｏｎ  ｗｉｔｈ  ｇｒａｐｈｓ”，Ｎｕｍｅｒｉｓｃｈｅ  Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９
【００８７】
そこで、サブクラス間近似測地距離算出ステップＳ３０４では、測地距離と同様の性質を有する距離の計算を、より少ない計算量で実現することを目的として、サブクラス間近似測地距離算出部１０４は、サブクラス間近似測地距離を計算する。ここで、サブクラス間の測地距離を近似する方法について説明する。例えば、図７（ａ）に示すように、画素ｉの移動軌跡と画素ｊの移動軌跡との測地距離を求める場合、非特許文献７に示されるダイクストラ法を用いたとしても、画素ｉの移動軌跡と画素ｊの移動軌跡とを繋ぐ距離の候補を複数個（実線および破線）計算し、その中から最小となる距離（実線）を選ぶ必要がある。このため、候補となる距離を計算する過程で多くの計算量が必要となる。
【００８８】
しかしながら、サブクラス分類ステップＳ３０３にて、類似した移動軌跡を同一のサブクラスに分類するため、同一サブクラスに分類された移動軌跡は、類似したものであるとの仮定をすることができる。すなわち、図５に移動軌跡をサブクラスに分類した例を示したように、同一のサブクラス内に属する移動軌跡は、大きな形状変化を起こさない剛体の移動軌跡と考えることができる。そして、剛体の移動軌跡の場合は、測地距離と線形距離との差は小さいと考えることができる。そこで、サブクラス内の移動軌跡については、線形距離と測地距離との差が小さいとして、測地距離の平均を図７（ｂ）に示すような線形距離の平均で近似する。すなわち、サブクラス内の線形距離の平均
【００８９】
【数３】
2011080900.tif 000076
【００９０】
とサブクラス内の測地距離の平均
【００９１】
【数４】
2011080900.tif 000077
【００９２】
との関係は下記式３のように表せる。
【００９３】
【数５】
2011080900.tif 000078
【００９４】
次に、異なるサブクラスに属する移動軌跡間の距離であるサブクラス間距離について説明する。非特許文献７に開示されている方法を用いてサブクラス間距離を計算する場合について例を挙げる。例えば、図７（ａ）のサブクラスＤａに属する画素ｊの移動軌跡とサブクラスＤｂに属する画素ｋの移動軌跡との測地距離を求める場合、画素ｊの移動軌跡と画素ｋの移動軌跡とを繋ぐ距離の候補を複数個（実線および破線）計算し、その中から最小となる距離（実線）を選ぶ必要がある。しかしながら、前述したように、サブクラス内の移動軌跡については、線形距離で近似可能である。このため、一方のサブクラスともう一方のサブクラスとを繋ぐ距離が重要となる。ここでは、図７（ｂ）に示すように、一のサブクラスと他のサブクラスとを繋ぐ最小の距離をサブクラス間の距離として定義する。この方法によれば、図７（ａ）に示すような、２点間を中継点を通って辿る最短経路を探索する処理を行う必要がなく、サブクラスＤａとサブクラスＤｂにそれぞれ属する移動軌跡間の線形距離の最小値ｆｍｉｎＩｎｔｅｒを求めるだけで良い。さらには、よりノイズに頑健にするためには、サブクラスＤａとサブクラスＤｂにそれぞれ属する移動軌跡間の距離が小さい順に複数個の距離を選択し、選択された距離の平均値をｆｍｉｎＩｎｔｅｒとしても良いし、選択された距離のメディアン値をｆｍｉｎＩｎｔｅｒとしても良い。
【００９５】
そして、図７（ｂ）に示すようにサブクラス間近似測地距離ｇ’は下記式４のように表現できる。
【００９６】
【数６】
2011080900.tif 000079
【００９７】
サブクラス間近似測地距離ｇ’は、必ずしも上記式４に限定されるわけではなく、例えば、ｆｍｉｎＩｎｔｅｒをサブクラス間近似測地距離ｇ’としても構わない。
【００９８】
図７（ｃ）に示すように、サブクラス内の距離とサブクラス間の距離とを用いることで、上記のようにサブクラス間近似測地距離を算出することが可能である。
【００９９】
具体的な計算例について、図８を用いて詳しく説明する。図８（ａ）において、楕円はそれぞれサブクラスを示す。すなわち、各楕円にはそれぞれのサブクラスに属する移動軌跡が含まれている。また、図８（ａ）に示すように、多次元空間中でサブクラスＤａとサブクラスＤｂとが隣接し、サブクラスＤｂとサブクラスＤｃとが隣接しているものとする。そこで、サブクラス間近似測地距離算出部１０４は、サブクラスごとに、同一のサブクラス内に属する移動軌跡を用いて、移動軌跡間の距離を下記式５に従い計算する。
【０１００】
サブクラスＤａに属する画素ｉの移動軌跡と画素ｊの移動軌跡との距離ｆａａ（ｉ，ｊ）は、下記式５により算出できる。
【０１０１】
【数７】
2011080900.tif 000080
【０１０２】
なお、サブクラスＤａに属する画素ｉの移動軌跡と画素ｊの移動軌跡との距離ｆａａ（ｉ，ｊ）を算出する式として、上記式５の代わりに下記式６を用いてもよい。
【０１０３】
【数８】
2011080900.tif 000081
【０１０４】
ここで、ｗは重み係数であり、設計者が設定するパラメータである。上記式６のサブクラスＤａに属する画素ｉの移動軌跡と画素ｊの移動軌跡との距離ｆａａ（ｉ，ｊ）は、移動軌跡間距離の時間平均値ｐｔｎｉｊに、移動軌跡間距離の時間変動成分ｍｔｎｉｊを加えたものである。特に移動軌跡間距離の時間変動成分ｍｔｎｉｊは、画素の動きの類似度を示すものであり、これによって、画素間のなす距離の関係が時間的に変化しない剛体だけでなく、形状変化する関節物体等をも捉えることができる。このように、式５または式６による距離計算をサブクラスごとに行う。図８の例であれば、サブクラスＤａからＤｃのそれぞれについて、同一のサブクラスに属する移動軌跡を用いて距離を計算する。なお、同一のサブクラスに属する画素ｉの移動軌跡と画素ｊの移動軌跡との距離ｆａａ（ｉ，ｊ）は、必ずしも上記に限られるものではなく、例えば、移動軌跡ベクトル同士の内積やＣＯＳを用いても良く、移動軌跡間の画素上での距離や動きの類似性を表す尺度であれば良い。
【０１０５】
次に、下記式７に従い、サブクラスごとに移動軌跡間の距離ｆａａ（ｉ，ｊ）の平均値、すなわちサブクラス内距離を求める。
【０１０６】
【数９】
2011080900.tif 000082
【０１０７】
ここで、Ｎは、移動軌跡ｉとｊの組合せの数である。なお、移動軌跡間の距離ｆａａ（ｉ，ｊ）の最頻値やメディアン値をサブクラス内距離としてもよい。サブクラス内距離は、同一のサブクラスに含まれる移動軌跡から、任意の移動軌跡間の距離ｆａａ（ｉ，ｊ）から算出可能であり、必ずしもＮはすべての移動軌跡ｉとｊの組合せである必要はない。また、式７の代わりに、複数のｉとｊの組合せにおけるｆａａ（ｉ，ｊ）を算出し、その最大値をサブクラス内距離としても良い。
【０１０８】
次に、サブクラス間近似測地距離算出部１０４は、サブクラス間距離を以下の式８に従い求める。
【０１０９】
【数１０】
2011080900.tif 000083
【０１１０】
式８は、異なるサブクラスに属する移動軌跡ｉ，ｊの距離の中で最も小さい距離を算出するものである。さらに、サブクラス間距離の算出方法は、これに限定されるわけではなく、例えば、異なるサブクラスに属する移動軌跡ｉ，ｊの距離の中で、小さい順にＮ個選択しその平均値をサブクラス間距離としても良いし、さらにそれに重み付けをしても良い。さらには、上記Ｎ個の中からメディアン値をサブクラス間距離としても良い。
【０１１１】
ここで、式８を用いて算出したサブクラス間距離ｆｍｉｎＩｎｔｅｒがあらかじめ設定した閾値よりも大きい場合には、サブクラス間距離ｆｍｉｎＩｎｔｅｒを無限大とする処理を行っても良い。例えば、入力画像のサイズを６４０×４８０とし、移動軌跡を４×４のグリッドに区切りグリッド上を通過する移動軌跡のみを用いて、サブクラス間距離ｆｍｉｎＩｎｔｅｒを算出した場合には、前記閾値を１０．０程度とすると良好な結果が得られる。もちろん、画像のサイズや移動軌跡の空間的な密度（上記グリッドサイズが大きいほど密度が小さい）によって上記パラメータを調整することが望ましい。
【０１１２】
以上のようにして、式７および式８に従って計算したサブクラス内距離とサブクラス間距離とを用いて、式４によりサブクラス間近似測地距離を算出することができる。
【０１１３】
そして、下記式９に示されるサブクラスを構成要素としたＳ×Ｓのサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’を生成する。ここでは、図８（ｂ）に示すように、サブクラス内距離・サブクラス間近似測地距離マトリクスＧ’の対角の要素がサブクラス内距離となり、それ以外は、サブクラス間近似測地距離となる。
【０１１４】
【数１１】
2011080900.tif 000084
【０１１５】
ここで、ｓｉ，ｓｊは、サブクラスのインデックスである。
【０１１６】
つぎに、前述したように、ｆｍｉｎＩｎｔｅｒがあらかじめ設定した閾値よりも大きい場合に、ｆｍｉｎＩｎｔｅｒを無限大とする処理を行い、無限大となったサブクラス間近似測地距離を、次のように再計算しても良い。
【０１１７】
【数１２】
2011080900.tif 000085
【０１１８】
上記式１０において、ｍｉｎ（ｘ，ｙ）は、値ｘと値ｙのうち小さい方を返す関数である。
【０１１９】
図８（ａ）に示すように、サブクラスＤａ，Ｄｃ間の近似測地距離を計算する場合には、サブクラスＤｂは、サブクラスＤａからサブクラスＤｃに辿（たど）りつくための中継点として機能する。ここで、中継点は１点に限るものではない。
【０１２０】
上述した測地距離の算出における２点間の最短経路探索には、例えば非特許文献４のダイクストラ法を用いることができる。これにより、中継点の数は１点に限定することなく最短経路探索を行うことができる。ダイクストラ法の計算量のオーダーは、データ点数をＮとすると、Ｎ２ｌｏｇＮで表される。ここで、ステップＳ３０３およびステップＳ３０４の処理を実行せずにダイクストラ法を行った場合の移動軌跡の数Ｎとし、サブクラス間近似測地距離を算出する際のサブクラス数をＭとする。例えば、１００個の類似した移動軌跡が１個のサブクラスに分類されるように処理を行えば、ここでダイクストラ法を用いたとしても、ダイクストラ法の計算量は１／２００００に削減されるという効果がある。このように、ダイクストラ法は、移動軌跡の数が増えるほど、非線形的に計算量が増加する。その一方で、ステップＳ３０３におけるサブクラスラベル付与に要する計算量の増加は、移動軌跡の数に対して線形である。そのため、画像サイズが大きい場合や、移動軌跡を空間上で高密度に算出する場合において、近似測地距離を算出する本発明によると、移動軌跡の数が増える条件下で特に計算量削減の効果がある。
【０１２１】
次に、領域分割ステップＳ３０５において、領域分割部１０５は、サブクラス間近似測地距離を用いて、類似する移動軌跡（サブクラス）の集まりに対して統合・非統合の判断を行う。ここでは、サブクラスの統合・非統合を判断可能な手法であればどのような方法を用いても良い。例えば、非特許文献１に記載の方法を用いることもできる。式９で表したサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’に対して、次元圧縮を行い、圧縮された空間上でＫ−ｍｅａｎｓ法などのクラスタリング手法を用いて、サブクラスの統合・非統合を判断しても良い。もちろん、クラスタリング手法はＫ−ｍｅａｎｓ法に限らない。以下に具体的に説明する。
【０１２２】
まず、領域分割部１０５は、ステップＳ３０４で算出したサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’の次元圧縮を行う。次元圧縮は、Ｙｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行った後、Ｅｉｇｅｎ  ｓｙｓｔｅｍを求めることで実現できる。これは、多次元空間に分布するデータを低次元空間に効率良く射影するための方法であり、入力データのノイズ（ここでは、上記式２の画素ｉの時間的移動軌跡を算出する際に画素ｉの動き情報に誤差が含まれる場合に相当する）や、上記式４におけるサブクラス間距離ｆｍｉｎＩｎｔｅｒのノイズに対して頑健なデータの表現が可能となる。
【０１２３】
つまり、上記式９に示したサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’に対して、下記式１１に示すように、中心化行列Ｈを両側からかけるＹｏｕｎｇ−Ｈｏｕｓｅｈｏｌｄｅｒ変換を行う。これは、距離マトリクスが点間距離からなる距離行列であるのに対して、重心を原点とした距離マトリクスに変換するために行うものである。
【０１２４】
【数１３】
2011080900.tif 000086
ただし、Ｈは中心化行列であり、
【０１２５】
【数１４】
2011080900.tif 000087
【０１２６】
である。Ｉは単位行列、Ｎはサブクラスの数である。
【０１２７】
また、
【０１２８】
【数１５】
2011080900.tif 000088
【０１２９】
である。ここで、ｓｉ，ｓｊは、サブクラスのインデックスである。
【０１３０】
次に、領域分割部１０５は、次元圧縮を行うために、τ（Ｇ）に対するＰ個の固有ベクトル（ｅｉｇｅｎ  ｖｅｃｔｏｒ）ｅｐおよびそれに対応する固有値（ｅｉｇｅｎ  ｖａｌｕｅ）λｐを算出する。
【０１３１】
これにより、
【０１３２】
【数１６】
2011080900.tif 000089
【０１３３】
とすると、ｇ’ａを次元圧縮された空間上に射影した結果は、データｚｐａとして以下のように表すことができる。
【０１３４】
【数１７】
2011080900.tif 000090
【０１３５】
なお、ｅｐａは、ｐ番目の固有ベクトルｅｐのａ番目の要素である。固有ベクトルの数Ｐは、利用するシーンに応じて実験的に決定しても良いし、以下のように固有値λｐから寄与率αｐを算出し、それに基づいて決定しても良い。
【０１３６】
【数１８】
2011080900.tif 000091
【０１３７】
ここで、Ｐは利用する固有ベクトルの数、すなわち圧縮された空間の次元数である。Ｎは全固有ベクトルの数である。そこで、寄与率αｐが一定値以上となる時の数Ｐを固有ベクトルの数とすれば良い。
【０１３８】
以上のように式２から式１６に基づく処理により、式２に示した画素ｉの時間的移動軌跡をサブクラスに分類し、分類されたサブクラスとそれに属する移動軌跡から生成したサブクラス内距離・サブクラス間近似測地距離マトリクスＧ’とを用いて、固有ベクトルｅｐで張られる次元圧縮された空間上のデータｚｐａを得ることができる。
【０１３９】
図９を用いて、領域分割部１０５の処理の具体例について説明する。
【０１４０】
図９（ａ）は、人物の歩行画像を入力としたときの、移動軌跡ａ〜ｈを示し、図９（ｂ）は、各々類似した移動軌跡が分類された複数のサブクラスが、次元圧縮された空間に射影された結果を示す。縦軸、横軸は固有ベクトルｅ１，ｅ２である。２次元上に射影された点（ｚ１ａ，ｚ２ａ）は、式１４に示したｇ’ａを射影したものである。ここで、非線形空間上のデータｚｐａとサブクラスＤａとは一対一の関係にあるため、サブクラスＤａに属する画像上での画素ｉの移動軌跡ｘｉ∈Ｄａは非線形空間上のデータｚｐａと対応させることが可能である、なお、ここでは結果を可視化するために非線形空間の次元数を２次元としたが、必ずしも２次元である必要は無いし、高い次元数の方がより高い精度でデータを射影することができる。次元数については、２次元以上、式１に示した移動軌跡ベクトルの次元数以下に設定することが望ましい。
【０１４１】
次に、領域分割部１０５は、圧縮された非線形空間に射影されたデータに対して、サブクラスの統合・非統合を判定することで移動体の検出を行う。
【０１４２】
まず、クラスを次のように表現する。ここで、クラス数は移動体の数に対応する。
【０１４３】
【数１９】
2011080900.tif 000092
【０１４４】
ここで、Ｍは、クラス数であり利用するシーンに応じて経験的に決定する。
【０１４５】
それぞれのクラスθｍは、パラメータ
【０１４６】
【数２０】
2011080900.tif 000093
【０１４７】
およびパラメータＺｍで表現する。ここで、
【０１４８】
【数２１】
2011080900.tif 000094
【０１４９】
は、圧縮された非線形空間におけるクラスθｍに属する射影されたデータの座標値の平均値、Ｚｍは、クラスθｍに属する射影されたデータの座標値に関する共分散行列である。
【０１５０】
【数２２】
2011080900.tif 000095
【０１５１】
の初期値はランダムに決定しても良いし、圧縮された非線形空間中をグリッドで等間隔に分割する等して、その交点の座標値を初期値としても良い。
【０１５２】
なお、
【０１５３】
【数２３】
2011080900.tif 000096
【０１５４】
およびＺｍは、以下の式１８および式１９のように表すことができる。
【０１５５】
【数２４】
2011080900.tif 000097
【０１５６】
【数２５】
2011080900.tif 000098
【０１５７】
ここで、Ｃｍは圧縮された非線形空間上でクラスθｍに属するデータ数である。
【０１５８】
以下、具体的な計算方法について説明する。まず、次式の距離関数を用いて、圧縮された非線形空間上のデータｚａが属するクラスθｍを求める。
【０１５９】
【数２６】
2011080900.tif 000099
【０１６０】
ここで、ψｍ（ｚａ）は、画素ｉの時間的な移動軌跡に対応する非線形空間上のデータｚｉとそれぞれのクラスθｍとの距離を示すものである。各データは、ψｍ（ｚａ）が最小値をとるクラスθｍに属することになる。なお、φｍ（ｚａ）はマハラノビス距離であり、次式２１で表すことができる。
【０１６１】
【数２７】
2011080900.tif 000100
【０１６２】
また、φｍ（ｚａ）をψｍ（ｚａ）の代わりとして用いても構わない。
【０１６３】
さらに、ｐ（ωｍ）は、一定値としても構わないし、人物など決まった移動体の抽出を行う場合は、あらかじめ、人物部位の形状や面積比等をもとに設定しておいても良い。ωｍは、クラスθｍに対する重み係数である。
【０１６４】
次に、式２０の計算結果から、クラスθｍに属するデータｚａを用いて、以下の式２２および式２３のようにクラスθｍのパラメータ
【０１６５】
【数２８】
2011080900.tif 000101
【０１６６】
およびＺｍを更新する。
【０１６７】
【数２９】
2011080900.tif 000102
【０１６８】
【数３０】
2011080900.tif 000103
【０１６９】
ここで、ｚｃｍは、クラスθｍに属する圧縮された非線形空間上のデータである。また、ω＝１としても良いし、入力データの平均値からのずれ具合によってωの値を調整しても良い。このように、領域分割部１０５は、式２０から式２３で示される距離計算およびパラメータ更新を規定回数繰り返すことによって、非線形空間上の各データが属するクラスθｍを得ることができる。なお、上記の代わりとして、ｋ−ｍｅａｎｓ法、競合学習など、他のクラスタリング方法を用いても構わない。なお、サブクラス内距離・サブクラス間近似測地距離マトリクスＧ’の次元圧縮は必須の処理ではなく、サブクラス内距離・サブクラス間近似測地距離マトリクスＧ’からスペクトラルクラスタリングによって、クラスタリングを行うことで、領域分割を行っても良い。例えば、スペクトラルクラスタリングについては、非特許文献８の手法を用いることができる。
【０１７０】
【非特許文献８】Ａｒｉｋ  Ａｚｒａｎ   ａｎｄ  Ｚｏｕｂｉｎ  Ｇｈａｈｒａｍａｎｉ，“Ｓｐｅｃｔｒａｌ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ａｕｔｏｍａｔｉｃ  Ｍｕｌｔｉｓｃａｌｅ  Ｄａｔａ  Ｃｌｕｓｔｅｒｉｎｇ”，  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２００６  （ＣＶＰＲ０６）
【０１７１】
このようにして、クラスタリングによるクラス判定が行われた結果、図９（ｃ）に示すようにサブクラスＤａからＤｄに属する移動軌跡は、一つのクラスθ１に統合され、サブクラスＤｅからＤｈに属する移動軌跡は、もう一つのクラスθ２に統合される。各移動軌跡にクラスラベルが付与されるため、クラスラベルごとに移動軌跡をまとめると、図９（ｄ）に示すように被写体を抽出することができる。なお、圧縮された非線形空間上のクラスに対応するのは、１枚の画像上の領域だけではなく時間的に連続した複数枚の画像に渡って画素を追跡した結果である。すなわち、領域分割部１０５は、圧縮された非線形空間上でセグメンテーションを行うことによって、画像中を移動する物体の領域を時間的に追跡した結果として、画像中の被写体（被写体の部位）の検出、被写体を含む画像のセグメンテーションをすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。
【０１７２】
以上のように、本実施の形態によると膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって安定に、形状が変化しながら移動する人物等を含む画像に対して、高速に被写体の検出を行うことが可能となる。
【０１７３】
つまり、近似測地距離を算出することによって、近似を行わずに測地距離を算出する場合と比較して、高速に連続的かつ非線形に分布するデータを効率良く表現可能である。また、測地距離の性質を保ちながら、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、正しく領域抽出することができる。
【０１７４】
また、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく移動体を検出および部位を領域抽出することができる。さらに、検出と領域抽出を行った結果を用いて、移動体の移動予測等を行うことも可能である。
【０１７５】
よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
【０１７６】
（実施の形態２）
次に、本発明の実施の形態２における移動体検出装置について説明する。
【０１７７】
ここでは、サブクラス分類部１０３によるサブクラス分類処理を、実施の形態１とは異なる方法で行う例について説明する。図１０は、実施の形態２における移動体検出装置１００ａの構成を示す図である。
【０１７８】
実施の形態２に係る移動体検出装置１００ａは、画像入力部１０１と、移動軌跡算出部１０２と、サブクラス分類部１０３ａと、サブクラス間近似測地距離算出部１０４と、領域分割部１０５と、出力部１０６とを含む。
【０１７９】
このような実施の形態２に係る移動体検出装置１００ａは、実施の形態１に係る移動体検出装置１００とサブクラス分類部１０３ａの構成を除いて、同じ構成であるため、同一構成要素の説明は省略する。
【０１８０】
サブクラス分類部１０３ａは、画像入力部１０１で受け付けた複数枚の画像のうち少なくとも１枚の画像から、輝度、エッジ情報、色などを用いて、類似した画像領域を同一のサブクラスに分類する処理を行う。次に、サブクラス分類部１０３ａは、移動軌跡算出部１０２で算出された移動軌跡に対して、移動軌跡が通る画像領域のサブクラスラベルを付与する。つまり、サブクラス分類部１０３ａは、同一の画像領域を通る移動軌跡に同一のサブクラスラベルを付すことにより、同一のサブクラスに分類する。実施の形態１と異なるのは、サブクラスへの分類を移動軌跡ではなく、画像の情報から行い、その情報に基づいて、移動軌跡に対してサブクラスラベルを付与する点である。なお、サブクラス分類部１０３ａにおける画像領域のサブクラス分類処理は、移動軌跡に関する情報を用いずに行うことができる。そのため、必ずしもサブクラス分類処理は、移動軌跡算出部１０２の処理の後に行う必要はなく、両者を並列に処理してもよいし、画像領域のサブクラス分類処理を移動軌跡算出部１０２の処理より前に行ってもよい。
【０１８１】
以下、本実施の形態１の第１変形例の移動体検出装置１００ａの動作を、図１１を用いて説明する。
【０１８２】
ステップＳ３０１、Ｓ３０２については、実施の形態１と同様であるため、説明を省略する。次に、サブクラス分類ステップＳ３０３ａにおいて、サブクラス分類部１０３ａは、画像入力ステップＳ３０１で入力された複数の画像のうち少なくとも１枚の画像を用いて、画像の領域分割を行う。ここでは、画素（輝度）値や色情報、エッジ情報等とその位置情報などを入力として領域分割を行う手法であれば何でもよく、例えば、非特許文献９の方法を用いることができる。
【０１８３】
【非特許文献９】Ｘ．Ｒｅｎ  ａｎｄ  Ｊ．Ｍａｌｉｋ，  “Ｌｅａｒｎｉｎｇ  ａ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｍｏｄｅｌ  ｆｏｒ  Ｓｅｇｍｅｎｔａｔｉｏｎ，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ”，  Ｖｏｌ．１，  ｐ．１０−１７，２００３
【０１８４】
非特許文献９の方法では、エッジ情報や空間近傍の画素値のスムーズネスを用いて画像領域を複数の小さな領域に分割する。例えば、対象が人物の場合は、図１２（ａ）のように、人物を細かく分割したような結果となる。ここでは、例えばＴ枚のフレームの画像が入力された時に、その中から１枚の画像を選択して領域分割を行っても良い。ここで、複数の画像のうちの時間的に中間の画像を用いて領域分割を行うのが望ましいが、画像の選択に制限を加えるものではない。
【０１８５】
他にも、例えば、画素値と画素位置とを並べて３次元ベクトルとし、それを入力として、ｋ−ｍｅａｎｓ法などのクラスタリングアルゴリズムにより画像領域を分割しても良いし、もちろん、ＲＧＢなどの色情報と画素位置情報とを並べて５次元ベクトルとしても良いし、さらには、エッジ情報として画素値の空間微分ベクトル（２次元）と画素位置とを並べて４次元ベクトルとしても良いし、空間的に画像を領域分割できる手法であれば良い。
【０１８６】
そして、分割された領域をサブクラスとして、領域分割を行うために選択した画像の時刻と移動軌跡算出ステップＳ３０２で算出した移動軌跡との関係から、移動軌跡にサブクラスラベルを付与する。
【０１８７】
具体的には、サブクラス分類部１０３ａは、図１２（ｂ）に示すように、空間的に領域分割をした各領域をサブクラスと考え、領域分割のために選択した時刻ｔ’の画像において、各移動軌跡がどのサブクラスを通過したかによって、サブクラスラベルを付与する。例えば、移動軌跡１から４は、それぞれ時刻ｔ’において、サブクラスＤａからＤｄをそれぞれ通過する。このため、サブクラス分類部１０３ａは、移動軌跡１から４に、対応するサブクラスラベルａからｄをそれぞれ付与する。このような処理を該当する移動軌跡に対して行えば、各移動軌跡ｘは、式２に示すように、それぞれサブクラスＤｊのいずれかに属することになる。すなわち、各移動軌跡には、実施の形態１のサブクラス分類ステップＳ３０３での処理と同様に、サブクラスＤｊのラベルがそれぞれ付与されることになる。
【０１８８】
サブクラス間近似測地距離算出ステップＳ３０４以降の処理は、実施の形態１と同じであるため、説明を省略する。
【０１８９】
以上のように、実施の形態２によると、移動軌跡から、画像中の被写体（被写体の部位）の検出をすることができる。また、前処理として人物候補領域を設定する必要がない。このため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。さらに、実施の形態１と比べて、色や輝度などの情報を明示的に用いることができるため、例えば単一色の服などを着た被写体を検出する場合には、より高精度な移動体の検出が行える。以上のように、実施の形態２によると、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって安定に、形状が変化しながら移動する人物等を含む画像に対して、高速に被写体の検出を行うことが可能となる。
【０１９０】
つまり、近似測地距離を算出することによって、近似を行わずに測地距離を算出する場合と比較して、高速に連続的かつ非線形に分布するデータを効率良く表現可能である。また、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、正しく領域抽出することができる。
【０１９１】
また、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、高速かつ正しく移動体を検出および部位を領域抽出することができる。さらに、検出と領域抽出を行った結果を用いて、移動体の移動予測等を行うことも可能である。
【０１９２】
よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
【０１９３】
（実施の形態３）
次に、本発明の実施の形態３における移動体検出装置について説明する。
【０１９４】
実施の形態３では、実施の形態１および２に加えて、サブクラス間近似測地距離の時間変化に基づいて、サブクラスの統合・非統合を判定する。
【０１９５】
このような実施の形態３に係る移動体検出装置１００は、図１に示した実施の形態１に係る移動体検出装置１００と同じ構成であるため、各構成要素の説明は省略する。ただし、領域分割部１０５が実行する処理の内容が実施の形態１とは異なる。以下、実施の形態１と異なる点を中心に、実施の形態３について説明する。
【０１９６】
以下、本実施の形態３の移動体検出装置１００の動作を、図１３を用いて説明する。
【０１９７】
まず、画像入力ステップＳ３０１からサブクラス間近似測地距離算出ステップＳ３０４までの処理は、実施の形態１と同様であるため、説明を省略する。なお、本実施の形態については、実施の形態１の例をもとに説明するが、実施の形態２で説明した方法にも適用可能である。
【０１９８】
次に、領域分割ステップＳ３０５ａにおいて、領域分割部１０５は、時刻０からＴまでの画像に対して、Ｓ３０１からＳ３０４までの処理で算出したサブクラス間近似測地距離と時刻Ｔから２Ｔまでの画像に対して同様に算出したサブクラス間近似測地距離とを用いて、その時間変化により、サブクラスの統合・非統合を判定する。
【０１９９】
図１４（ａ）に、関節状に繋がった２つのサブクラスＤａ，Ｄｂからなる物体の動きを例として、測地距離（○、実線）、サブクラス間近似測地距離（□、破線）、ユークリッド距離（△、破線）の時間変化を示す。ここでは、物体の動きが、人物の脚や腕のように関節状に繋がった動きであるため、同一の移動体として抽出することが望ましい。ここで、測地距離の時間変化と、サブクラス間近似測地距離の時間変化は大きくないが、一方でユークリッド距離の時間変化は大きく変動することが予想できる。すなわち、連続的に分布するデータを辿る距離を算出することによって、関節物体に対しても距離の時間変動が小さいことが、測地距離の利点であり、さらにそれと同じ性質を少ない計算量で実現可能とするのが、サブクラス間近似測地距離である。測地距離は、サブクラス間の測地距離の平均値であり、サブクラス間距離は、サブクラス間の線形距離の最小値を含んで算出される距離である。このため、図１４（ａ）に示すように、測地距離とサブクラス間近似測地距離とは絶対値としての距離が異なる。しかし、関節物体のような動きに対しても距離の時間変動が小さい、すなわち、関節物体の姿勢変化による影響を受けにくい性質は、測地距離とサブクラス間距離ともに、ユークリッド距離よりも優れている。さらに、実際の実験結果を図１４（ｂ）に示す。図１４（ｂ）は、楕円状の２つの物体が関節で繋がっており、関節動きをする例を示している。画像は、画像入力ステップＳ３０１で６フレームごとにまとめて入力される。図１４（ｂ）は、６０フレーム分の画像を用いて算出された各種距離の結果である。例えば、０から６フレームの画像から得られた距離は、横軸の０（フレーム）の位置にプロットされている。
【０２００】
ここで、測地距離を、（○、実線）で示し、サブクラス間近似測地距離を（□、破線）で示し、ユークリッド距離を（△、破線）で示す。図１４（ｂ）から分かるとおり、各距離は、図１４（ａ）と同様の性質を示しており、測地距離とサブクラス間近似測地距離は、時間的な変動がユークリッド距離と比較して小さい。すなわち、これらの距離は、関節動きに対して時間変動が少ないため、ユークリッド距離では、別々の被写体として分類される可能性がある物体に対しても、同一の被写体として判定しやすいという効果がある。
【０２０１】
そこで、具体的な、サブクラス間近似測地距離の時間変動によるサブクラスの統合・非統合の判定方法について次式で説明する。
【０２０２】
まず、領域分割部１０５は、以下の式２４に基づいて、時刻０からＴの画像および移動軌跡から算出したサブクラス間近似測地距離を用いて、時刻Ｔから２Ｔのサブクラス間近似測地距離を推定する。
【０２０３】
【数３１】
2011080900.tif 000104
【０２０４】
ここでＥは、推定値である。また、
【０２０５】
【数３２】
2011080900.tif 000105
【０２０６】
は、サブクラス内距離であり、Ｔは時刻０からＴの画像、２Ｔは、時刻Ｔから２Ｔの画像から算出したサブクラス内距離、およびサブクラス間近似測地距離に対応する。
【０２０７】
なお、式２４におけるサブクラス内距離は、特に移動体のサイズが変化した場合に対する正規化の効果を得るために導入したものであり、固定カメラにおいて、移動体のサイズ変動が無いシーンに対して適用する場合には、単純に次式としても良い。
【０２０８】
【数３３】
2011080900.tif 000106
【０２０９】
そして、領域分割部１０５は、サブクラスＤａとＤｂに対して、推定したサブクラス間近似測地距離と、時刻Ｔから２Ｔの実際のサブクラス間近似測地距離との差分の絶対値を次式のように計算し、サブクラス間近似測地距離の時間変化Ｋがあらかじめ設定した閾値以下であればサブクラスの統合を行い、時間変化Ｋが閾値よりもおおきければ、統合しない。
【０２１０】
【数３４】
2011080900.tif 000107
【０２１１】
領域分割部１０５は、この処理を、全てのサブクラスのペアに対して行うことで、サブクラスの統合・非統合を判断し、最終的なクラスを生成する。図１４の例であれば、時間変動が閾値以下であれば、サブクラスＤａとＤｂは統合され、同じ移動体であると判定可能である。例えば、入力画像のサイズを６４０×４８０とし、移動軌跡を４×４のグリッドに区切り、グリッド上を通過する移動軌跡のみを用いてサブクラス間近似測地距離を算出した場合には、前記閾値を５．０程度とすると良好な結果が得られる。もちろん、画像のサイズや移動軌跡の空間的な密度（上記グリッドサイズが大きいほど密度が小さい）によって上記パラメータを調整することが望ましい。なお、ここでは、説明を容易にするために時刻０からＴ，Ｔから２Ｔの画像が入力されたとして説明を行ったが、時刻０からＴ、Ｔから２Ｔ，２Ｔから３Ｔ，．．．，（Ｎ−１）ＴからＮＴのように、より長い時間の変化に基づいて、サブクラスの統合・非統合を判定しても良い。
【０２１２】
例えば、図１５（ａ）のように、式２６の処理を時刻０からＴ、Ｔから２Ｔ，．．．，（Ｎ−１）ＴからＮＴまで、それぞれについて行い、式２６においてそれぞれ算出した時間変化Ｋを平均した値を時間変化Ｋとしても良いし、現時刻に対してより近い時間平均Ｋほどより大きな重みを付けて求めた重み付け平均値を時間変化Ｋとしても良い。
【０２１３】
さらには、画像入力ステップＳ３０１にて、図１５（ｂ）のように、あらかじめ時刻０からＮＴの画像を入力し、それに対して、移動軌跡算出ステップＳ３０２，サブクラス分類ステップＳ３０３の処理を行い、サブクラス間近似測地距離算出ステップＳ３０４にて、時刻０からＴ，Ｔから２Ｔ，．．．，（Ｎ−１）ＴからＮＴのように画像を時間的に分割し、分割された画像を用いてそれぞれサブクラス間近似測地距離を計算する。そして、領域分割ステップＳ３０５ａにて、上述したような、サブクラス間近似測地距離の時間変化によって、サブクラスの統合・非統合を判定しても良い。
【０２１４】
以上のように、実施の形態３によると、サブクラス間近似測地距離の時間変化によるクラスの統合・非統合判定を行うことによって、同一のクラスと判定されたサブクラスに属する移動軌跡に同じクラスラベルが付与される。このため、同一クラスラベルごとに移動軌跡をまとめると、図９（ｄ）に示すように被写体を抽出することができる。その結果として、画像中の移動体（移動体の部位）の検出、移動体を含む画像のセグメンテーションをすることができる。また、前処理として人物候補領域を設定する必要がないため、人物候補領域の検出ミスに起因するセグメンテーションの失敗がない。以上のように、膨大なパラメータのフィッティングを必要とせずに、非線形空間でクラスタリングを行うことによって、安定に、かつ形状が変化しながら移動する人物等を含む画像に対して、高速に被写体の検出を行うことが可能となる。
【０２１５】
つまり、サブクラス間近似測地距離の時間変化を用いることで、関節を含む物体の動きや拡大、縮小に対しても同一の被写体として領域分割できるという効果がある。また、連続的かつ非線形に分布するデータを効率良く表現可能な測地距離の性質を保ちながら、少ない計算量で、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、正しく領域抽出することができる。
【０２１６】
また、形状が変化しながら移動する人物等の移動体を含む画像に対しても、移動体の姿勢あるいは大きさの影響を受けずに、正しく移動体を検出および部位を領域抽出することができる。さらに、検出と領域抽出を行った結果を用いて、移動体の移動予測等を行うことも可能である。
【０２１７】
よって、デジタルビデオカメラ等の動画像撮影装置が普及してきた今日において、デジタルカメラの焦点制御や画質改善処理、自動車の安全運転支援システム、ロボットにおける人との衝突回避制御や警報などへの応用技術として、本発明の実用価値は極めて高い。
【０２１８】
（実施の形態１から３の第１変形例）
次に、本発明の実施の形態１から３の第１変形例における移動体検出装置について説明する。ここでは、実施の形態１から３においてクラス判定を行い、移動体を検出した結果をそれぞれ検出した領域ごとに記録・送信する機能を付加した例について説明する。なお、実施の形態１における変形例について述べるが、実施の形態２、３においても同様に適用可能である。
【０２１９】
図１６に示すように、このような第１変形例に係る移動体検出装置１００ｃは、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４、および領域分割部１０５に、記録・送信部１５０１を付加することによって実現が可能である。
【０２２０】
記録・送信部１５０１は、領域分割部１０５での被写体検出の結果に基づいて、画像入力部１０１で受け付けたピクチャにおける被写体領域を特定し、特定した被写体領域ごとに、当該被写体領域を示すための情報を、メモリやハードディスク等の記録媒体に記録する、または、通信インターフェース等を介して外部に送信する処理部である。つまり、この記録・送信部１５０１は、画像表示の場合と同様に、被写体を検出した結果を示す画像をクラスラベルθｍに応じてそれぞれ別々に記録・送信する。また、各クラスに属する動き情報を以下の式２７および式２８のように平均化することで、動き情報を圧縮することも可能である。通常であれば画素ごとに動き情報を保持する必要があるが、動き情報の平均化処理を行えば、１つの被写体に対して１つの動き情報を保持するだけでよい。例えば、動き情報として画素ｉの動きベクトル（ｕｔｉ，ｖｔｉ）を用いた場合には、記録・送信部１５０１は、以下の式２７および式２８のように分割された領域ごとに平均化した動き情報を計算することができる。
【０２２１】
【数３５】
2011080900.tif 000108
【０２２２】
【数３６】
2011080900.tif 000109
【０２２３】
ここで、Ｃｍは、クラスθｍに属する画素数もしくは移動軌跡の数である。ｕｔｃｍ，ｖｔｃｍは、それぞれ、クラスθｍに属する画素の動きベクトルである。図１７は、時刻Ｔからｔ枚の画像を入力としてクラス分類を行い、その結果を用いて、特定される被写体領域を示すための情報である。記録・送信部１５０１は、識別子として各クラスラベルθｍと、各クラスラベルθ１、θ２に属する時刻Ｔにおけるピクチャの画素位置と画素値、そして、各クラスラベルに対応する時刻Ｔから時刻Ｔ＋ｔまでの動きベクトルｕＴｍ，ｖＴｍ，ｕＴ＋１ｍ，ｖＴ＋１ｍ，…，ｕＴ＋ｔｍ，ｖＴ＋ｔｍを記録、送信する。もちろん、記録・送信部１５０１は、画像の画素位置と画素値を用いる代わりに、時刻Ｔにおける１枚のピクチャに対して、画素ごとに各クラスラベルを付けて送信してもかまわない。これにより、動き情報をクラス数分送信するだけで済むために、ピクチャをｔ枚送信する場合と比べて、効率よく、被写体領域を示すための情報を記録、送信することができるといった効果がある。特に、クラス数が画素数に比べて少なければ少ないほど、効率的に被写体領域を示す情報を記録、送信することができる。
【０２２４】
（実施の形態１から３の第２変形例）
次に、本発明の実施の形態１から３の第２変形例として、移動体を検出した結果から、移動体の動きを予測する機能を付加した移動体検出装置について説明する。ここでは、実施の形態１に沿って説明するが、実施の形態２、３においても同様に適用可能である。
【０２２５】
図１８に示すように、第２変形例に係る移動体検出装置１００ｄは、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４、および領域分割部１０５に、動き予測部１７０１および出力部１７０２を付加することによって移動体の動きを予測する機能を有する。
【０２２６】
動き予測部１７０１は、被写体を検出した結果から、各クラスに含まれる画素の移動軌跡から代表の移動軌跡を算出し、代表の移動軌跡をもとに移動体の動きを予測し、移動体の位置や移動体部位の位置を予測する。
【０２２７】
出力部１７０２は、動き予測部１７０１により予測された移動体の位置や移動体部位の位置を出力する。
【０２２８】
図１９に、第２変形例に係る移動体検出装置１００ｄが実行する処理のフローチャートを示す。ステップＳ３０１からＳ３０５までは、実施の形態１と同様であるため説明を省略する。
【０２２９】
次に、ステップＳ１８０１において、動き予測部１７０１は、領域分割部１０５での被写体検出の結果に基づいて、各クラスに属する移動軌跡から、各クラスの代表点およびその代表の移動軌跡を求める。
【０２３０】
ここで、クラスθｍに属する画素の移動軌跡をｘｃｍと表現することとする。動き予測部１７０１は、次式２９に基づいて、クラスθｍごとに代表の移動軌跡を求める。ここでは、代表の移動軌跡として、平均移動軌跡を算出する例について説明するが、下記の計算に対して画素の移動軌跡ｘＣｍごとに重み付け等を行ってもよいし、画像上でのクラスの重心に対応する画素の移動軌跡を代表の移動軌跡としてもよい。
【０２３１】
【数３７】
2011080900.tif 000110
【０２３２】
ここで、Ｃｍは、クラスθｍに属する画素数もしくは画素の移動軌跡の数である。
【０２３３】
図２０に式２９に基づいてクラスθｍごとに代表の移動軌跡を求める例を示す。図２０には、ある移動体に対応するクラスθ１と他の移動体に対応するクラスθ２とにそれぞれ関する代表の移動軌跡のみを示している。図中の×は、それぞれ時刻ｔに対応する代表の移動軌跡
【０２３４】
【数３８】
2011080900.tif 000111
【０２３５】
の要素である画素位置を示している。この方法によると、単純に近接した画素の移動軌跡の時間平均を求めるような方法と比較して、動きが類似した画素の移動軌跡のみを用いて代表の移動軌跡を算出することができる。このため、より高精度に代表の移動軌跡を求めることができる。このように、クラスごとに代表の移動軌跡を求めることによって、被写体ごと、もしくは部位ごとの動きを正確かつ簡便に表現することができる。
【０２３６】
次に、ステップＳ１８０２において、動き予測部１７０１は、ステップＳ１８０１にて算出した代表の移動軌跡から、時刻Ｔより先の時刻における移動体の位置を予測する。初めに、代表の移動軌跡から加速度を算出し、時刻Ｔ＋１以降の移動体の位置を予測する例について説明する。３枚以上の時系列画像が入力された場合は、次式３０のように代表の移動軌跡
【０２３７】
【数３９】
2011080900.tif 000112
【０２３８】
ごとに加速度ベクトルｓｍを得ることができる。
【０２３９】
【数４０】
2011080900.tif 000113
【０２４０】
ここで、ｕｔｍは動きベクトルであり、次式３１のように表すことができる。
【０２４１】
【数４１】
2011080900.tif 000114
【０２４２】
式３０の加速度ベクトルを用いて、図２０にて破線の矢印および○で示したように、動き予測部１７０１は、移動体ごとに、時刻Ｔ＋ｔ’における移動体の位置ｐｏｓｍ（Ｔ＋ｔ’）を以下の式３２に従って予測することができる。ここでは、移動体を例として挙げたが、実施の形態１の領域分割部１０５でクラス数を増やしたり、実施の形態３の領域分割部１０５で閾値を小さくしたりすることで、移動体の各部位ごとの位置を予測することも可能である。
【０２４３】
【数４２】
2011080900.tif 000115
【０２４４】
そして、出力部１７０２は、ステップＳ１８０２で予測した移動体の位置や移動体部位の位置を出力する。これにより、加速度を加味した動き予測が可能となる。動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して移動体の位置を予測することができるといった効果がある。また、動きベクトルの代わりにアフィンパラメータを用いてもかまわない。アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕あるいは足の回旋運動の表現に適しているため、特に関節物体の位置をより正確に予測することができる。
【０２４５】
さらに、上述した動きベクトルと加速度の代わりに、代表の移動軌跡ｘｍに対して直接、Ｎ次関数をフィッティングすることも可能である。Ｔ枚の時系列に並んだ画像を入力とした場合、代表の移動軌跡
【０２４６】
【数４３】
2011080900.tif 000116
【０２４７】
に含まれるＴ個の画像上での位置情報に対してＮ次関数をフィッティングすることができる。これにより、フィッティングした関数の値に沿うように、時刻（Ｔ＋ｔ’）における画像上での位置ｐｏｓｍ（Ｔ＋ｔ’）を推定することが可能となる。具体的には、関数をフィッティングすることによって、より滑らかな動きを表現することが可能となるため、より高精度な予測が可能となる。特には、フィッティングした関数に沿った予測が可能であるため、フィッティングした関数が本来の動きに近い場合に動き予測の精度が高い。もちろん、これらの画像上での位置予測は、時間的内挿にも利用可能である。
【０２４８】
以上のように、本変形例によれば、動きが類似した画素の移動軌跡を同一のクラスとして算出できるため、高精度に代表の移動軌跡を求めることができる。特に関節物体等に対して被写体ごと、部位ごとの動きを表現することが可能であり、前処理として人物候補領域を設定することなく、高精度に移動体の部位位置を予測することが可能であるという効果がある。
【０２４９】
（実施の形態１から３の第３変形例）
次に、本発明の実施の形態１から３の第３変形例における移動体検出システムについて説明する。ここでは、実施の形態１から３における処理について、演算に必要なメモリ量に応じて異なる２つの機器を用いる例について説明する。具体的には、移動体検出システムは、移動体検出用データ生成装置と、移動体検出装置とを含む。移動体検出用データ生成装置は、必要とするメモリ量が大きい処理を行なう。移動体検出用データ生成装置は、パーソナルコンピュータ等をはじめとする、メモリ容量が大きく処理スピードも速い機器で実現される。移動体検出装置は、必要とするメモリ量が移動体検出用データ生成装置での処理と比較して小さい処理を行なう。移動体検出装置は、携帯電話やモバイル端末をはじめとする、メモリ容量が小さく処理スピードも遅い機器で実現される。
【０２５０】
以下、実施の形態１から３の第３変形例について、実施の形態１に沿って図面を用いて説明するが、実施の形態２、３においても同様に適用可能である。
【０２５１】
図２１は、実施の形態１の第３変形例における移動体検出用データ生成装置の機能的な構成を示すブロック図である。移動体検出用データ生成装置は、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３、サブクラス間近似測地距離算出部１０４およびクラス判定用データ出力部２１０１を備える。画像入力部１０１からサブクラス間近似測地距離算出部１０４までが実行する処理は、実施の形態１に示したものと同様である。つまり、画像入力部１０１、移動軌跡算出部１０２、サブクラス分類部１０３およびサブクラス間近似測地距離算出部１０４は、図３に示した画像入力ステップＳ３０１、移動軌跡算出ステップＳ３０２、サブクラス分類ステップＳ３０３およびサブクラス間近似測地距離算出ステップＳ３０４の動作をそれぞれ実行する。以下に、本変形例において重要な部分を補足する。
【０２５２】
サブクラス分類部１０３では、サブクラス分類ステップＳ３０３にて、Ｉ本の移動軌跡をＳ個のサブクラスに分類する。なお、Ｉ＞Ｓである。ここで、前述したように、非特許文献７のダイクストラ法を用いて測地距離を算出する場合には、データ点数（移動軌跡の数）をＮとすると計算量のオーダーはＮ２ｌｏｇＮとなる。この時、任意のデータ点間の距離をメモリに格納する必要があるため、移動軌跡数の２乗、すなわちＮ２のメモリ量を必要とする。
【０２５３】
これに対して、サブクラス間近似測地距離算出部１０４では、ステップＳ３０４にて、測地距離と同様の性質を有するサブクラス間近似測地距離を計算する。ここで、サブクラス間近似測地距離は、前述した計算量の削減のみならず、Ｓ２のデータを記憶するためのメモリ量で実現できることも利点である。なお、Ｎ＞Ｓであるため、メモリ量を大幅に削減することが可能である。例えば、１００個の類似した移動軌跡が１個のサブクラスに分類されるように処理を行えば、測地距離に関係するメモリ量を１／１００００に削減することが可能である。
【０２５４】
次に、クラス判定用データ出力部２１０１について説明する。クラス判定用データ出力部２１０１は、以下に説明する情報を記録媒体に記録する。記録媒体はＳＤカード、ＵＳＢメモリ、携帯型ハードディスク、ＣＤ、ＤＶＤ等を用いれば良い。
【０２５５】
図２２に示すように、記録媒体に記録される情報は、ヘッダ情報と、ボディ情報とを含む。
【０２５６】
ヘッダ情報は、動画像を構成するピクチャのサイズ（Ｘ，Ｙ）と、動画像を構成するピクチャの枚数であるピクチャ枚数（Ｔ）と、動画像から得られる移動軌跡の数である移動軌跡数（Ｎ）と、類似する移動軌跡の集合であるサブクラスの数であるサブクラス数（Ｓ）とを含む。
【０２５７】
図２３は、ピクチャのサイズ（Ｘ，Ｙ）およびピクチャ枚数（Ｔ）を説明するための図である。図２３に示すように、動画像は、Ｔ枚のピクチャから構成され、各ピクチャのサイズは、Ｘ×Ｙ画素である。
【０２５８】
図２４は、移動軌跡数（Ｎ）を説明するための図である。図２４に示すように、動画像から直線または曲線で示されるＮ個の移動軌跡が得られているものとする。図２４の例では、Ｎ＝１２である。
【０２５９】
図２５は、サブクラス数（Ｓ）を説明するための図である。９つの大きな丸印それぞれが、サブクラスを示し、それぞれの大きな丸に含まれる小さな丸が、同一サブクラス内の移動軌跡を示している。図２５の例では、Ｓ＝９となる。
【０２６０】
ボディ情報は、動画像を構成する上記ピクチャ枚数のピクチャと、サブクラスラベル付移動軌跡ベクトルと、サブクラス間近似測地距離マトリクスとを含む。
【０２６１】
サブクラスラベル付移動軌跡ベクトルは、動画像から得られる移動軌跡数の移動軌跡を示すデータと、各移動軌跡が属するサブクラスを示すデータとを含む。図２６は、サブクラスラベル付移動軌跡ベクトルについて説明するための図である。図２６には、５つのサブクラスラベル付移動軌跡ベクトルが示されている。例えば、１番上のサブクラスラベル付移動軌跡ベクトルについて説明する。このサブクラスラベル付移動軌跡ベクトルは、移動軌跡が属するサブクラスがサブクラスａであることと、その移動軌跡の４枚のピクチャ（ｔ＝１〜４）における座標が、（ａ１ｘ１，ａ１ｙ１）、（ａ１ｘ２，ａ１ｙ２）、（ａ１ｘ３，ａ１ｙ３）、（ａ１ｘ４，ａ１ｙ４）であることを示すベクトルである。
【０２６２】
サブクラス間近似測地距離マトリクスは、各サブクラスについて、当該サブクラスと他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を含むマトリクスであり、図８（ｂ）に示したマトリクスのことである。
【０２６３】
図２７は、記録媒体に記録される情報の具体例を示す図である。同図に示すように、ヘッダ情報には、ピクチャサイズ（Ｘ）、ピクチャサイズ（Ｙ）、ピクチャ枚数（Ｔ）、移動軌跡数（Ｎ）、サブクラス数（Ｓ）として、６４０、４８０、４、５、３がそれぞれ記憶されている。なお、ここではピクチャサイズ（Ｘ）、ピクチャサイズ（Ｙ）、ピクチャ枚数（Ｔ）、移動軌跡数（Ｎ）、サブクラス数（Ｓ）として、具体的な数値を用いて説明するが、それぞれの数値に限定されるものではない。
【０２６４】
また、ボディ情報には、４枚分のピクチャの画像データと、５つの移動軌跡に対するサブクラスラベル付移動軌跡ベクトルと、サブクラス間近似測地距離マトリクスとが含まれる。例えば、１つ目のサブクラスラベル付移動軌跡ベクトルは、（ａ  ａ１ｘ１  ａ１ｙ１  ａ１ｘ２  ａ１ｙ２  ａ１ｘ３  ａ１ｙ３  ａ１ｘ４  ａ１ｙ４）であり、上述した図２６の１番上のサブクラスラベル付移動軌跡ベクトルの情報を示している。サブクラス間近似測地距離マトリクスは、すべてのサブクラスの組み合わせについて、サブクラス内距離またはサブクラス間近似測地距離が記憶されている。例えば、（ａ，ａ）の列には、サブクラスａとサブクラスａとのサブクラス内距離ｆａａＩｎｔｒａが記憶されており、（ａ，ｂ）の列には、サブクラスａとサブクラスｂとのサブクラス間近似測地距離ｇａｂ´が記憶されている。
【０２６５】
なお、この記録媒体に記録される情報は、クラス判定用データ出力部２１０１に含まれるクラス判定用データ作成部２１０１Ａによって作成される。例えば、クラス判定用データ作成部２１０１Ａは、ピクチャサイズ（Ｘ，Ｙ）、ピクチャサイズ（Ｙ）、ピクチャ枚数（Ｔ）および画像データを、画像入力部１０１から取得する。クラス判定用データ作成部２１０１Ａは、移動軌跡数を、移動軌跡算出部１０２から取得する。クラス判定用データ作成部２１０１Ａは、サブクラス数（Ｓ）を、サブクラス分類部１０３から取得する。クラス判定用データ作成部２１０１Ａは、サブクラスラベル付移動軌跡ベクトルのうち、移動軌跡を示すデータを、移動軌跡算出部１０２から取得し、サブクラスを示すデータを、サブクラス分類部１０３から取得する。クラス判定用データ作成部２１０１Ａは、サブクラス間近似測地距離マトリクスを、サブクラス間近似測地距離算出部１０４から取得する。クラス判定用データ作成部２１０１Ａは、取得したこれらの情報を集約し、記録媒体に記録される情報を作成する。
【０２６６】
サブクラス間近似測地距離マトリクスを記録媒体に記録するようにしていることより、すべての移動軌跡の組合せについて測地距離を記憶する場合に比べて、メモリ量をＮ２個のデータの記憶容量からＳ２（Ｎ＞Ｓ）個のデータの記憶容量に削減することができる。このため、上記記録媒体を用いて、移動体検出用データ生成装置よりも搭載メモリ量の小さい移動体検出装置を用いて処理を行うことが可能になる。
【０２６７】
次に、移動体検出装置について説明する。図２８は、移動体検出装置の機能的な構成を示すブロック図である。移動体検出装置は、動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する装置であり、クラス判定用データ入力部２１０２と、領域分割部１０５と、出力部１０６とを含む。クラス判定用データ入力部２１０２は、上述した記録媒体から、当該記録媒体に記録された情報を読み込む。領域分割部１０５は、クラス判定用データ入力部２１０２が読み込んだデータに基づいて、領域分割を実行する。領域分割部１０５および出力部１０６が実行する処理は、実施の形態１に示したものと同様である。つまり、領域分割部１０５および出力部１０６は、図３に示した領域分割ステップＳ３０５および画像出力ステップＳ３０６の動作をそれぞれ実行する。
【０２６８】
クラス判定用データ入力部２１０２は、記録媒体からヘッダ情報を読込み、Ｔ枚分の入力画像サイズ（Ｘ×Ｙ×Ｔ）に合わせたメモリ（記憶領域）を確保する。次に、クラス判定用データ入力部２１０２は、移動軌跡数Ｎとピクチャ枚数Ｔから、（２Ｔ＋１）×Ｎのデータを記憶するためのメモリを確保する。ここで、各移動軌跡ベクトルが式１に示すように２次元の画素座標からなるベクトルであるため、２Ｔの画素座標を記憶するためのメモリが必要であり、さらに、各移動軌跡ベクトルには、サブクラスラベルが付与されているため、サブクラスラベルを記憶するためのメモリが必要である。そして、クラス判定用データ入力部２１０２は、ヘッダ情報におけるサブクラス数Ｓから、サブクラス間近似測地距離マトリクスの保持に必要なＳ２個のデータを記憶するためのメモリを確保する。クラス判定用データ入力部２１０２は、上記のメモリを確保した上で、それぞれの情報を読込む。なお、サブクラス間近似測地距離マトリクスは対称行列であるため、実際には、サブクラス間近似測地距離を保持するためのＳＣ２個のデータを記憶するためのメモリを確保すればよい。
【０２６９】
次に、領域分割ステップＳ３０５において、領域分割部１０５は、サブクラス間近似測地距離を用いて、類似する移動軌跡（サブクラス）の集まりに対して統合・非統合の判断を行う。具体的な方法については、実施の形態１と同様であるため、説明を省略する。
【０２７０】
また、画像出力ステップＳ３０６において、出力部１０６は、領域分割部１０５で行った動画像中の移動体の検出結果を出力する。具体的な方法については、実施の形態１と同様であるため、説明を省略する。
【０２７１】
以上のように、移動体検出用データ生成装置を用いて、移動軌跡およびサブクラス間近似測地距離を算出し、記録媒体に保存する。そして、記録媒体を介して、移動体検出装置を用いて領域分割を行うことで被写体を抽出することが可能である。
【０２７２】
このように、ピクチャサイズ、ピクチャ枚数、移動軌跡数、サブクラス数に関する情報をヘッダとして保持することで、移動体検出装置が、領域分割に必要な情報のメモリ確保が可能になる。また、領域分割に必要な情報としてサブクラス間近似測地距離マトリクスを用いているため、移動軌跡間の測地距離のマトリクスである測地距離マトリクス用いて領域分割を行う場合に比べて少ないメモリ量で領域分割を行うことができるという効果がある。
【０２７３】
これにより、メモリ容量に制限があるような機器を移動体検出装置として用いることができるという利点がある。例えば、携帯電話等のモバイル機器において、本変形例における領域抽出の結果を用いることで、特定の被写体に着目してズーム表示を行ったり、追跡を行ったりすることが可能になる。
【０２７４】
なお、移動体検出用データ生成装置は、移動体検出装置において領域分割を行うための最低限のデータとして、少なくともサブクラス間近似測地距離を含むデータを記録媒体に出力するようにしてもよい。また、移動体検出装置は、記録媒体から少なくともサブクラス間近似測地距離を含むデータを受け取り、領域分割を行うようにしても良い。この場合、出力部１０６は必ずしも備えられていなくても良い。
【０２７５】
以上、本発明に係る移動体検出方法および移動体検出装置について、実施の形態およびその変形例に基づいて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。当業者が思いつく各種変形を、本発明の趣旨を逸脱しない範囲で各実施の形態に施して実現される形態も本発明に含まれる。
【０２７６】
また、各実施の形態における特徴的な構成要素を任意に組合せて実現される形態も本発明に含まれる。
【０２７７】
また、上記実施の形態における移動体検出装置は、画像入力部１０１および移動軌跡算出部１０２を備えているが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおける画像の移動軌跡が予め算出されている場合には、移動体検出装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ３０３〜Ｓ３０６の処理を実行してもよい。
【０２７８】
また、本発明は、移動体検出装置として実現したが、動画像において動きをもつオブジェクトの領域を抽出、あるいは、分割する画像処理装置として実現することができるのは言うまでもない。
【産業上の利用可能性】
【０２７９】
本発明は、複数枚のピクチャにおける動きに基づいて、形状が変化しながら移動する人物等の移動体を含む画像を領域抽出することによって画像中の移動体を検出する移動体検出装置として、例えば、運動解析装置、監視装置、ビデオカメラやＴＶ等のＡＶ機器に内蔵させる移動体検出装置等として利用することが可能である。
【符号の説明】
【０２８０】
１００、１００ａ、１００ｃ、１００ｄ    移動体検出装置
１０１    画像入力部
１０２    移動軌跡算出部
１０３、１０３ａ    サブクラス分類部
１０４    サブクラス間近似測地距離算出部
１０５    領域分割部
１０６、１７０２    出力部
２０１    カメラ
２０２    コンピュータ
２０３    ディスプレイ
２０４    Ｉ／Ｆ
２０５    ＣＰＵ
２０６    ＲＯＭ
２０７    ＲＡＭ
２０８    ＨＤＤ
２０９    ビデオカード
１５０１    記録・送信部
１７０１    動き予測部
２１０１    クラス判定用データ出力部
２１０１Ａ    クラス判定用データ作成部
２１０２    クラス判定用データ入力部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、
動画像を構成する複数枚のピクチャを受け付ける画像入力部と、
受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、
算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、
サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、
算出された前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部と
を備える移動体検出装置。
【請求項２】
前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスと他のサブクラスとの間の前記サブクラス間近似測地距離として、当該サブクラスに属する移動軌跡の類似性を表すサブクラス内距離と、前記他のサブクラスの前記サブクラス内距離と、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離とを加算した距離を算出する
請求項１記載の移動体検出装置。
【請求項３】
前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡間の線形距離の平均値、最頻値またはメディアン値を、当該サブクラスの前記サブクラス内距離として算出する
請求項２記載の移動体検出装置。
【請求項４】
前記領域分割部は、さらに、２つのサブクラス間の前記サブクラス間近似測地距離を前記サブクラス内距離によって正規化した距離を、前記サブクラス間近似測地距離として算出する
請求項２または３に記載の移動体検出装置。
【請求項５】
前記サブクラス間近似測地距離算出部は、前記最小値が所定の閾値より大きい場合には、前記サブクラス間近似測地距離を無限大に変更する非線形化を行うことにより、前記サブクラス間近似測地距離を算出する
請求項１〜４のいずれか１項に記載の移動体検出装置。
【請求項６】
前記サブクラス間近似測地距離算出部は、第１のサブクラスと第２のサブクラスとの間のサブクラス間近似測地距離と、前記第１のサブクラスと第３のサブクラスとのサブクラス間近似測地距離および前記第３のサブクラスと前記第２のサブクラスとの間のサブクラス間近似測地距離の和とを比較し、小さいほうの値を前記第１のサブクラスと前記第２のサブクラスとの間のサブクラス間近似測地距離として算出する
請求項５記載の移動体検出装置。
【請求項７】
前記領域分割部は、前記サブクラス間近似測地距離の時間変化に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つの領域を示すクラスとして特定することによって、領域分割を実行する
請求項１〜６のいずれか１項に記載の移動体検出装置。
【請求項８】
前記領域分割部は、２つのサブクラス間の前記サブクラス間近似測地距離の時間変化を表す値が、所定の時間変化閾値以下の場合に、前記２つのサブクラスが同一のクラスに属すると判定することにより、領域分割を実行する
請求項７記載の移動体検出装置。
【請求項９】
前記領域分割部は、２つのサブクラス間の前記サブクラス間近似測地距離の時間変化を表す値が、所定の時間変化閾値よりも大きい場合に、前記２つのサブクラスが異なるクラスに属すると判定することにより、領域分割を実行する
請求項７または８に記載の移動体検出装置。
【請求項１０】
前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の距離のうち、小さいほうから所定個数の距離の平均値を、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離とする
請求項１〜９のいずれか１項に記載の移動体検出装置。
【請求項１１】
前記サブクラス間近似測地距離算出部は、サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の距離のうち、所定の閾値以下の距離の平均値を、当該サブクラスと前記他のサブクラスとの間の前記サブクラス間距離とする
請求項１〜９のいずれか１項に記載の移動体検出装置。
【請求項１２】
前記サブクラス分類部は、算出された前記複数の移動軌跡のうち類似する移動軌跡を同一のサブクラスに分類することによって、前記複数の移動軌跡を複数のサブクラスに分類する
請求項１〜１１のいずれか１項に記載の移動体検出装置。
【請求項１３】
前記サブクラス分類部は、算出された前記複数の移動軌跡のうち最も類似する移動軌跡の組み合わせを同一のサブクラスに分類する処理を、規定回数または前記複数の移動軌跡が規定のサブクラス数に分類されるまで繰り返し実行することによって、前記複数の移動軌跡を複数のサブクラスに分類する
請求項１２記載の移動体検出装置。
【請求項１４】
前記サブクラス分類部は、前記画像入力部において受け付けられた前記複数枚のピクチャのうち少なくとも１枚のピクチャから、当該ピクチャのエッジ情報、色情報および輝度情報のうちの少なくとも１つを用いて、当該ピクチャを複数の領域に分割し、分割した各領域を通る移動軌跡を同一のサブクラスに分類することにより、前記複数の移動軌跡を複数のサブクラスに分類する
請求項１〜１１のいずれか１項に記載の移動体検出装置。
【請求項１５】
さらに、
前記画像入力部において受け付けられた前記複数枚のピクチャのうちの少なくとも１枚のピクチャに対して、前記領域分割部により領域分割を実行することにより特定された領域ごとに、他の特定された領域と異なる表示態様となるように画像処理を施し、画像処理が施された領域を含むピクチャを出力する出力部を備える
請求項１〜１４のいずれか１項に記載の移動体検出装置。
【請求項１６】
さらに、
前記画像入力部において受け付けたられた前記複数枚のピクチャのうち少なくとも１枚のピクチャに対して、前記領域分割部により実行された領域分割の結果を付与したピクチャを、記録装置に書き込む、または、伝送路を介して外部に送信する記録・送信部を備える
請求項１〜１５のいずれか１項に記載の移動体検出装置。
【請求項１７】
さらに、
前記領域分割部により特定されたクラスを構成する移動軌跡のうち、当該クラスを代表する代表移動軌跡を算出し、算出した前記代表移動軌跡に従って、当該クラスに対応する領域が、ピクチャ間で移動すると予測することにより、前記移動体の動きを予測する動き予測部を備える
請求項１〜１５のいずれか１項に記載の移動体検出装置。
【請求項１８】
動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出方法であって、
動画像を構成する複数枚のピクチャを受け付ける画像入力ステップと、
受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、複数の移動軌跡を算出する移動軌跡算出ステップと、
算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類ステップと、
サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出ステップと、
算出された前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割ステップと
を含む移動体検出方法。
【請求項１９】
動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出するためのプログラムであって、
請求項１８に記載の移動体検出方法に含まれるステップをコンピュータに実行させるためのプログラム。
【請求項２０】
動画像を構成する複数枚のピクチャを受け付ける画像入力部と、
受け付けられた前記ピクチャを構成する１個以上の画素からなるブロックごとに、前記動画像を構成する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することにより、複数の移動軌跡を算出する移動軌跡算出部と、
算出された前記複数の移動軌跡を、各々が類似する移動軌跡の集合である複数のサブクラスに分類するサブクラス分類部と、
サブクラスごとに、当該サブクラスに属する移動軌跡と他のサブクラスに属する移動軌跡との間の線形距離の最小値を含む距離であるサブクラス間距離を用いて、当該サブクラスと前記他のサブクラスとの間の類似性を表すサブクラス間近似測地距離を算出するサブクラス間近似測地距離算出部と、
少なくとも前記サブクラス間近似測地距離算出部が算出した前記サブクラス間近似測地距離を含むデータを出力するデータ出力部と
を備える移動体検出用データ生成装置。
【請求項２１】
動画像中の移動体の全部または一部の領域を特定する領域分割を実行することによって動画像中の移動体を検出する移動体検出装置であって、
少なくとも、動画像中の類似する移動軌跡の集合であるサブクラスに属する移動軌跡と、当該サブクラスとは異なる前記動画像中の類似する移動軌跡の集合であるサブクラスに属する移動軌跡との間の類似性を表すサブクラス間近似測地距離を含むデータの入力を受け付けるデータ入力部と、
前記データ入力部で受け付けられた前記サブクラス間近似測地距離に基づいて、類似する移動軌跡からなるサブクラスの集まりを１つのクラスとして特定することによって、領域分割を実行する領域分割部と
を備える移動体検出装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011080900.tif 000117
【図２】
2011080900.tif 000118
【図３】
2011080900.tif 000119
【図４】
2011080900.tif 000120
【図５】
2011080900.tif 000121
【図６】
2011080900.tif 000122
【図７】
2011080900.tif 000123
【図８】
2011080900.tif 000124
【図９】
2011080900.tif 000125
【図１０】
2011080900.tif 000126
【図１１】
2011080900.tif 000127
【図１２】
2011080900.tif 000128
【図１３】
2011080900.tif 000129
【図１４】
2011080900.tif 000130
【図１５】
2011080900.tif 000131
【図１６】
2011080900.tif 000132
【図１７】
2011080900.tif 000133
【図１８】
2011080900.tif 000134
【図１９】
2011080900.tif 000135
【図２０】
2011080900.tif 000136
【図２１】
2011080900.tif 000137
【図２２】
2011080900.tif 000138
【図２３】
2011080900.tif 000139
【図２４】
2011080900.tif 000140
【図２５】
2011080900.tif 000141
【図２６】
2011080900.tif 000142
【図２７】
2011080900.tif 000143
【図２８】
2011080900.tif 000144
【国際調査報告】
2011080900.tif 000145
2011080900.tif 000146
2011080900.tif 000147
2011080900.tif 000148