(57)【要約】【課題】動画に基づいて、動画に映し出されている対象物の動きを抽出するための装置に関し、比較的容易な処理でありながら、対象物の移動をより確実に抽出することのできる技術を提供する。【解決手段】動画を構成する静止画フレーム中から、対象物を含めた画像ブロックを検出する。これら各画像ブロックについて、直前フレームにおける画像ブロックに関係づける。この際、直前フレームの画像ブロック中、過去の移動方向が安定しているものを選択し、これに関連付けるようにしている。たとえば、図１０Ａに示す注目ブロックＢＬ１に対しては、図１０Ｂに示すように、より動きが安定しているブロックＢＬｐ２に関係づけられる。このようにして、関係づけられた一連のブロックを算出し、対象物の軌跡を得ることができる。【選択図】  図１０
2004157908.tif 000002
【特許請求の範囲】
【請求項１】
与えられた動画から対象物の移動情報を抽出する移動情報抽出装置であって、
当該動画を構成する各静止画において候補画像を認識する候補画像認識手段と、
認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出する画像列認識手段と、
を備えており、
前記画像列認識手段は、
注目候補画像を、既に得られている一連の画像列に関連付ける際、複数の一連の画像列が存在する場合には、それぞれの一連の画像列の移動特性に基づいて、いずれの画像列に関連付けるかを決定するよう構成された移動情報抽出装置。
【請求項２】
与えられた動画から対象物の移動情報を抽出する移動情報抽出処理をコンピュータに行わせるためのプログラムであって、
当該動画を構成する各静止画において候補画像を認識する候補画像認識処理と、
認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出する画像列認識処理と、
をコンピュータに行わせるプログラムであって、
前記画像列認識処理には、
注目候補画像を、既に得られている一連の画像列に関連付ける際、複数の一連の画像列が存在する場合には、それぞれの一連の画像列の移動特性に基づいて、いずれの画像列に関連付けるかを決定する処理が含まれる。
【請求項３】
請求項１の装置または請求項２のプログラムにおいて、
注目候補画像をいずれの画像列に関連付けるかを決定する際に、各画像列の移動方向の安定性が最も大きい画像列に関連付けることを特徴とするもの。
【請求項４】
請求項３の装置またはプログラムにおいて、
注目候補画像をいずれの画像列に関連付けるかを決定する際に、各画像列について、下式によって定義される移動量係数Ｍを算出し、最も大きい移動量係数Ｍを持つ画像列に関連づけることを特徴とするもの。
【数１】
2004157908.tif 000007
ここで、ｉは、各静止画に連続して付されたフレーム番号であり、
ＭＸｉは、ｉ−２フレームの静止画における候補画像とｉ−１フレームの静止画における候補画像のＸ軸方向に関する移動方向をＤｉ−１とし、ｉ−１フレームの静止画における候補画像とｉフレームの静止画における候補画像のＸ軸方向に関する移動方向をＤｉとしたとき、移動方向Ｄｉ−１と移動方向Ｄｉが同方向であれば「１」、反対方向であれば「−１」とする。ただし、ｉ−１フレームの静止画とｉフレームの静止画における候補画像のＸ軸方向に関する移動量が所定のしきい値以下である場合には「０」とする。
ＭＹｉは、ｉ−２フレームの静止画における候補画像とｉ−１フレームの静止画における候補画像のＹ軸方向に関する移動方向をＤｉ−１とし、ｉ−１フレームの静止画における候補画像とｉフレームの静止画における候補画像のＹ軸方向に関する移動方向をＤｉとしたとき、移動方向Ｄｉ−１と移動方向Ｄｉが同方向であれば「１」、反対方向であれば「−１」とする。ただし、ｉ−１フレームの静止画とｉフレームの静止画における候補画像のＹ軸方向に関する移動量が所定のしきい値以下である場合には「０」とする。
【請求項５】
請求項１〜４のいずれかの装置またはプログラムにおいて、
注目候補画像を、既に得られている一連の画像列に関連付ける際、注目候補画像に対して所定以上の関連度を持たない候補画像を直近に有する一連の画像列を、注目候補画像の関連付け対象から除外することを特徴とするもの。
【請求項６】
請求項５の装置またはプログラムにおいて、
前記関連度は、直近の候補画像と注目画像の距離に基づいて算出されるものであることを特徴とするもの。
【請求項７】
請求項１〜６のいずれかの装置またはプログラムにおいて、
注目候補画像を、既に得られている一連の画像列に関連付ける際、関連付け対象として複数の一連の画像列があって、かつ、それぞれの一連の画像列の移動特性に基づいて、いずれの画像列に関連付けるかを決定できない場合には、それぞれの一連の画像列における直近の候補画像の内、注目候補画像に最も近似した図形特性を持つ候補画像を有する画像列に関連づけることを特徴とするもの。
【請求項８】
請求項５の装置またはプログラムにおいて、
前記関連度は、直近の候補画像と注目画像の図形特性の差に基づいて算出されるものであることを特徴とするもの。
【請求項９】
請求項１〜８のいずれかの装置またはプログラムにおいて、
一連の画像列の移動方向の安定性が所定値以上であれば、当該一連の画像列を、対象物であると判断することを特徴とするもの。
【請求項１０】
請求項９の装置またはプログラムにおいて、
一連の画像列に関連付けるべき注目候補画像が存在しない場合には、これを第１の一連の画像列とし、その後の静止画に基づいて、他の一連の画像列を認識し、その移動方向の安定性が所定値以上となれば、これを第２の一連の画像列とし、第１の一連の画像列の最後の候補画像と、第２の一連の画像列の最初の候補画像とを関連付けることによって、連続した一連の画像列とすることを特徴とするもの。
【請求項１１】
請求項１〜１０のいずれかの装置またはプログラムにおいて、
一連の画像列に対して、複数の候補画像が関連付けられて、一連の画像列が分岐を生じた場合には、分岐以後のそれぞれの画像列の移動特性に基づいて、いずれか一つの分岐に係る画像列を選択することを特徴とするもの。
【請求項１２】
請求項１１の装置またはプログラムにおいて、
一連の画像列が分岐を生じた場合に、分岐から所定数の静止画まで処理を行った時点において、分岐以後のそれぞれの画像列の内、移動方向の安定性が小さい画像列を、対象物ではないと判断することを特徴とするもの。
【請求項１３】
与えられた動画から対象物の移動情報を抽出する移動情報抽出装置であって、当該動画を構成する各静止画において候補画像を認識する候補画像認識手段と、
認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出する画像列認識手段と、
を備えており、
前記画像列認識手段は、
一連の画像列の移動方向の安定性が所定値以上であれば、当該一連の画像列を、対象物であると判断し、
一連の画像列に関連付けるべき注目候補画像が存在しない場合には、これを第１の一連の画像列とし、その後の静止画に基づいて、他の一連の画像列を認識し、その移動方向の安定性が所定値以上となれば、これを第２の一連の画像列とし、第１の一連の画像列の最後の候補画像と、第２の一連の画像列の最初の候補画像とを関連付けることによって、連続した一連の画像列とする移動情報抽出装置。
【請求項１４】
与えられた動画から対象物の移動情報を抽出する移動情報抽出処理をコンピュータに行わせるためのプログラムであって、
当該動画を構成する各静止画において候補画像を認識する候補画像認識処理と、
認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出する画像列認識処理と、
をコンピュータに行わせるプログラムであって、
前記画像列認識処理には、
一連の画像列の移動方向の安定性が所定値以上であれば、当該一連の画像列を、対象物であると判断し、
一連の画像列に関連付けるべき注目候補画像が存在しない場合には、これを第１の一連の画像列とし、その後の静止画に基づいて、他の一連の画像列を認識し、その移動方向の安定性が所定値以上となれば、これを第２の一連の画像列とし、第１の一連の画像列の最後の候補画像と、第２の一連の画像列の最初の候補画像とを関連付けることによって、連続した一連の画像列とする処理が含まれる。
【請求項１５】
与えられた動画から対象物の移動情報を抽出する移動情報抽出方法であって、
当該動画を構成する各静止画において候補画像を認識し、
認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出するものであって、
注目候補画像を、既に得られている一連の画像列に関連付ける際、複数の一連の画像列が存在する場合には、それぞれの一連の画像列の移動特性に基づいて、いずれの画像列に関連付けるかを決定する移動情報抽出方法。
【請求項１６】
請求項１５の移動情報抽出方法において、
前記関連づけのための移動特性として、対象物について予想される移動と、対象物以外の移動物について予想される移動とを比較した際に、両者を峻別可能な移動特性を用いることを特徴とするもの。
【請求項１７】
与えられた動画から対象物の移動情報を抽出する移動情報抽出方法であって、
当該動画を構成する各静止画において候補画像を認識し、
認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出するものであって、
前記画像列の認識においては、各静止画像における候補画像を関連付けて得られる一連の画像列の内、最も移動方向の安定性が高い一連の画像列を選択することを特徴とする移動情報抽出方法。
【発明の詳細な説明】
【０００１】
【発明の技術分野】
この発明は、与えられた動画から対象物の移動情報を抽出する技術に関するものである。
【０００２】
【従来の技術】
動画像中から対象物を抽出して、その動きを検出する技術が広く用いられている。このような技術は、たとえば、店舗などの監視システム、製造ラインにおける物品の流れの監視システム、動物の行動監視などに用いられている。
【０００３】
一般的な認識手法としては、動画を構成する静止画の各フレーム間の差分を算出する方法が知られている。この方法は、図１に示すように、連続するフレームにおいてその差分画像を算出し、移動する対象物を検出するものである。図１Ｃが、フレーム１とフレーム２との差分画像である。つまり、フレーム間差分画像には、フレーム１とフレーム２の間の画像の変化部分（つまり対象物の移動）が表れることになる。動画を構成する全ての連続フレームについて差分画像を算出すれば、対象物の動きを算出することができる。このようなフレーム間差分によって対象物の移動を検出する手法を開示したものとして、特許文献１がある。
【０００４】
しかしながら、フレーム間差分による方法では、静止している対象物（図１の例ではラット）を検出できない場合があった。また、対象物全体の形状を認識する必要がある場合であっても、これを認識できないという問題もあった。
【０００５】
また、各フレームごとに背景との差分を算出して、対象物を検出するという手法も知られている。図２Ａに示すように背景フレームを用意しておき、図２Ｂの対象となるフレームと、背景フレームとの差分を算出すれば、図２Ｃに示すように、対象物の画像を得ることができる。このような手法を開示したものとして、非特許文献１がある。
【０００６】
しかしながら、背景差分による方法では、対象物が水面上にある場合などのように、背景が変化するような場合には、対象物の認識がきわめて困難となってしまう。したがって、背景差分による手法を用いる場合には、この問題を解決する必要がある。
【０００７】
また、特許文献２には、次のような手法が開示されている。フレーム毎に、１つ以上の移動物体を背景差分法などによって検出する。その際、フレーム間における移動物体の図形的特徴の類似度および移動距離に基づいて、２つのフレーム間の移動物体が、同一の移動物体であるか否かを判断する。このようにして、同一の移動物体について、その軌跡を算出する。さらに、所定のフレーム数を越えて軌跡を算出できなかった移動物体は、対象から外す。さらに、この軌跡が滑らかでないものは、対象物でないとする。上記のようにして、対象物の動きを検出している。
【０００８】
しかしながら、この手法では、フレーム間における移動物体が同一であるか否かを、まず決定する必要があり、この判断が困難であるという問題があった。
【０００９】
なお、特許文献３に示されるように、動物の一部に着色を施すことにより、対象物の特定を容易にする手法もある。この手法は、この文献に示されているように背景とする装置が予め定まっている場合には有効である。しかし、背景に現れる物体の色が予測できない場合などにこの手法を適用しようとすると、色による対象物の判定が困難であるという問題があった。
【００１０】
したがって、比較的容易な処理でありながら、対象物の移動をより確実に抽出することのできる技術が望まれている。
【００１１】
【特許文献１】
【００１２】
特開平７−２９０１５号公報
【特許文献２】
【００１３】
特開２００２−１５７５９９号公報
【特許文献３】
【００１４】
特開平８−３２９５９号公報
【非特許文献１】
【００１５】
安居院猛、長尾知晴「画像の処理と認識」昭晃堂、１９９２年。
【００１６】
【課題を解決するための手段および効果】
（１）この発明に係る移動情報抽出装置は、与えられた動画から対象物の移動情報を抽出する移動情報抽出装置であって、当該動画を構成する各静止画において候補画像を認識する候補画像認識手段と、認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出する画像列認識手段とを備えており、
前記画像列認識手段は、注目候補画像を、既に得られている一連の画像列に関連付ける際、複数の一連の画像列が存在する場合には、それぞれの一連の画像列の移動特性に基づいて、いずれの画像列に関連付けるかを決定するよう構成されている。
【００１７】
すなわち、一連の画像列の移動特性に基づいて、対象物の移動特性に合致しているものを選択し、これに注目画像候補を関連付けることができるので、より確実に対象物の移動情報を抽出することができる。
【００１８】
（３）この発明に係る移動情報抽出装置は、注目候補画像をいずれの画像列に関連付けるかを決定する際に、各画像列の移動方向の安定性が最も大きい画像列に関連付けることを特徴としている。
【００１９】
したがって、ノイズなど、各画像列の移動方向が目まぐるしく変化しているものを除外できる可能性を高くできる。
【００２０】
（４）この発明に係る移動情報抽出装置は、注目候補画像をいずれの画像列に関連付けるかを決定する際に、各画像列について、下式によって定義される移動量係数Ｍを算出し、最も大きい移動量係数Ｍを持つ画像列に関連づけることを特徴としている。
【００２１】
【数２】
2004157908.tif 000003
ここで、ｉは、各静止画に連続して付されたフレーム番号であり、
ＭＸｉは、ｉ−２フレームの静止画における候補画像とｉ−１フレームの静止画における候補画像のＸ軸方向に関する移動方向をＤｉ−１とし、ｉ−１フレームの静止画における候補画像とｉフレームの静止画における候補画像のＸ軸方向に関する移動方向をＤｉとしたとき、移動方向Ｄｉ−１と移動方向Ｄｉが同方向であれば「１」、反対方向であれば「−１」とする。ただし、ｉ−１フレームの静止画とｉフレームの静止画における候補画像のＸ軸方向に関する移動量が所定のしきい値以下である場合には「０」とする。
【００２２】
ＭＹｉは、ｉ−２フレームの静止画における候補画像とｉ−１フレームの静止画における候補画像のＹ軸方向に関する移動方向をＤｉ−１とし、ｉ−１フレームの静止画における候補画像とｉフレームの静止画における候補画像のＹ軸方向に関する移動方向をＤｉとしたとき、移動方向Ｄｉ−１と移動方向Ｄｉが同方向であれば「１」、反対方向であれば「−１」とする。ただし、ｉ−１フレームの静止画とｉフレームの静止画における候補画像のＹ軸方向に関する移動量が所定のしきい値以下である場合には「０」とする。
【００２３】
したがって、簡易な演算処理によって、各画像列の移動方向の非ランダム性を判断することができる。
【００２４】
（５）この発明に係る移動情報抽出装置は、注目候補画像を、既に得られている一連の画像列に関連付ける際、注目候補画像に対して所定以上の関連度を持たない候補画像を直近に有する一連の画像列を、注目候補画像の関連付け対象から除外することを特徴としている。
【００２５】
したがって、一連の画像列に対して関連度の小さい注目候補画像を処理対象から除外し、処理の迅速化を図ることができる。
【００２６】
（６）この発明に係る移動情報抽出装置は、関連度が、直近の候補画像と注目画像の距離に基づいて算出されるものであることを特徴としている。
【００２７】
したがって、対象物の移動速度をある程度予想できる場合には、処理対象とすべき注目候補画像を絞り込むことができる。
【００２８】
（７）この発明に係る移動情報抽出装置は、注目候補画像を、既に得られている一連の画像列に関連付ける際、関連付け対象として複数の一連の画像列があって、かつ、それぞれの一連の画像列の移動特性に基づいて、いずれの画像列に関連付けるかを決定できない場合には、それぞれの一連の画像列における直近の候補画像の内、注目候補画像に最も近似した図形特性を持つ候補画像を有する画像列に関連づけることを特徴としている。
【００２９】
したがって、より正確に対象物の動きを示す一連の画像列を認識することができる。
【００３０】
（８）この発明に係る移動情報抽出装置は、関連度が、直近の候補画像と注目画像の図形特性の差に基づいて算出されるものであることを特徴としている。
【００３１】
したがって、対象物を示す画像の図形特性が大きく変化しないような場合には、この図形特性を用いて関連度を得ることにより、処理対象とすべき注目候補画像を絞り込むことができる。
【００３２】
（９）この発明に係る移動情報抽出装置は、一連の画像列の移動方向の安定性が所定値以上であれば、当該一連の画像列を、対象物であると判断することを特徴としている。
【００３３】
したがって、ノイズなど短時間に変化する移動方向を持つものを対象から除外する可能性を高くできる。
【００３４】
（１０）この発明に係る移動情報抽出装置は、一連の画像列に関連付けるべき注目候補画像が存在しない場合には、これを第１の一連の画像列とし、その後の静止画に基づいて、他の一連の画像列を認識し、その移動方向の安定性が所定値以上となれば、これを第２の一連の画像列とし、第１の一連の画像列の最後の候補画像と、第２の一連の画像列の最初の候補画像とを関連付けることによって、連続した一連の画像列とすることを特徴としている。
【００３５】
したがって、一旦、対象物とおぼしき候補画像が途切れた場合であっても、対象物の移動情報を抽出することができる。
【００３６】
（１１）この発明に係る移動情報抽出装置は、一連の画像列に対して、複数の候補画像が関連付けられて、一連の画像列が分岐を生じた場合には、分岐以後のそれぞれの画像列の移動特性に基づいて、いずれか一つの分岐に係る画像列を選択することを特徴としている。
【００３７】
すなわち、一連の画像列の移動特性に基づいて、対象物の移動特性に合致しているものを選択することができるので、より確実に対象物の移動情報を抽出することができる。
【００３８】
（１２）この発明に係る移動情報抽出装置は、一連の画像列が分岐を生じた場合に、分岐から所定数の静止画まで処理を行った時点において、分岐以後のそれぞれの画像列の内、移動方向の安定性が小さい画像列を、対象物ではないと判断することを特徴としている。
【００３９】
したがって、ノイズなど、各画像列の移動方向が目まぐるしく変化しているものを対象物の移動情報から除外できる可能性を高くできる。
【００４０】
（１３）この発明に係る移動情報抽出手段は、与えられた動画から対象物の移動情報を抽出する移動情報抽出装置であって、当該動画を構成する各静止画において候補画像を認識する候補画像認識手段と、認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出する画像列認識手段とを備えており、
前記画像列認識手段は、一連の画像列の移動方向の安定性が所定値以上であれば、当該一連の画像列を、対象物であると判断し、一連の画像列に関連付けるべき注目候補画像が存在しない場合には、これを第１の一連の画像列とし、その後の静止画に基づいて、他の一連の画像列を認識し、その移動方向の安定性が所定値以上となれば、これを第２の一連の画像列とし、第１の一連の画像列の最後の候補画像と、第２の一連の画像列の最初の候補画像とを関連付けることによって、連続した一連の画像列とする。
【００４１】
したがって、動画の所定期間において、対象物の認識が困難である場合においても、一連の画像列を関連付けて、対象物の動きを抽出することができる。また、この際に、移動方向の安定性に基づいて対象物か否かを判断しているので、誤判断を少なくできる。
【００４２】
（１５）この発明に係る移動情報抽出方法は、与えられた動画から対象物の移動情報を抽出する移動情報抽出方法であって、当該動画を構成する各静止画において候補画像を認識し、認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出するものであって、注目候補画像を、既に得られている一連の画像列に関連付ける際、複数の一連の画像列が存在する場合には、それぞれの一連の画像列の移動特性に基づいて、いずれの画像列に関連付けるかを決定するものである。
【００４３】
すなわち、一連の画像列の移動特性に基づいて、対象物の移動特性に合致しているものを選択し、これに注目画像候補を関連付けることができるので、より確実に対象物の移動情報を抽出することができる。
【００４４】
（１６）この発明の移動情報抽出方法は、関連づけのための移動特性として、対象物について予想される移動と、対象物以外の移動物について予想される移動とを比較した際に、両者を峻別可能な移動特性を用いることを特徴としている。
【００４５】
したがって、より確実に、対象物の動きを、他の物体の動きから区別して抽出することができる。
【００４６】
（１７）この発明に係る移動情報抽出方法は、与えられた動画から対象物の移動情報を抽出する移動情報抽出方法であって、当該動画を構成する各静止画において候補画像を認識し、認識した候補画像を、順次、時系列順に関連付けて一連の画像列を認識して、対象物の移動情報を抽出するものであって、前記画像列の認識においては、各静止画像における候補画像を関連付けて得られる一連の画像列の内、最も移動方向の安定性が高い一連の画像列を選択することを特徴としている。
【００４７】
したがって、ノイズなどを排除して、対象物の移動情報を抽出する可能性を高くできる。
【００４８】
この発明において、「候補画像認識手段」とは、各静止画中にある画像を認識するものである。実施形態においては、図４、ステップＳ５のラベル化処理がこれに対応している。
【００４９】
「画像列認識手段」とは、時系列順に並んだ各静止画中の候補画像を適切に関係づけて、一連の候補画像列を認識するための手段である。実施形態では、ステップＳ６がこれに対応する。
【００５０】
「移動情報の抽出」とは、何らかの形で対象物の移動を認識できるようにすることをいい、対象物の移動軌跡を算出する場合だけでなく、一連の静止画において対象物を特定する場合も含む概念である。
【００５１】
「対象物」とは、移動情報を抽出する対象である。動物、機械、人間、車などを含む概念である。
【００５２】
「候補画像」とは、対象物である可能性のある画像をいう。下記実施形態では、ブロックがこれに該当する。
【００５３】
「移動特性」とは、移動を特徴付けるものであり、速度、加速度、移動方向、移動方向の変化、移動経路などを含む概念である。下記の実施形態では、移動方向の安定性がこれに該当する。
【００５４】
「移動方向の安定性」とは、一連の静止画における候補画像の移動方向の変化が、緩やかである度合いをいうものである。下記実施形態では、移動量係数Ｍがこれに該当する。
【００５５】
「図形特性」とは、図形を特徴づける属性をいい、たとえば、外形、面積、外周長、色などである。
【００５６】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【００５７】
【発明の実施の形態】
１．発明の適用分野例
この発明に係る移動情報抽出は、対象物の移動を検出する場合全般について適用することができる。たとえば、監視システムにおける不審者進入の監視、動物の行動の測定、生産ラインにおける物品の移動の測定などに用いることができる。
【００５８】
以下に示す実施形態では、対象物である動物の行動の測定に適用した場合について説明を行う。なお、動物の行動の測定は、たとえば、薬品を動物に与えた場合の当該動物の行動を観察し、薬品の薬効や副作用を評価する際に用いられている。
【００５９】
２．装置の全体構成
図３ａに、この発明の一実施形態による移動情報抽出装置２００の全体構成を示す。撮像手段１００は、対象物を撮像して、動画データを移動情報抽出装置２００に与える。候補画像認識手段１０２は、動画を構成する各静止画において、候補画像を認識する。画像列認識手段１０４は、各静止画における候補画像を、時系列順に関連付けて画像列とし、対象物の移動を認識する。軌跡演算手段１０６は、これに基づいて、対象物の軌跡を算出する。出力手段１０８は、この軌跡を表示、印刷、データなどの形式で出力するものである。
【００６０】
３．ハードウエア構成
図３ｂに、図３ａの移動情報抽出装置２００を、コンピュータ２を用いて実現する場合のハードウエア構成を示す。コンピュータ２は、ＣＰＵ６、メモリ８、記録部であるハードディスク１０、表示装置であるディスプレイ１２、入力装置であるマウス／キーボード１４、入出力インターフェイス１６を備えている。入出力インターフェイス１６には、対象物を撮像するためのカメラ（撮像装置）４が接続されている。
なお、この実施形態では、コンピュータ２によって移動情報抽出装置２００を構成したが、カメラ４を含めた全体を、移動情報抽出装置２００としてもよい。
【００６１】
ハードディスク１０には、カメラ４からの動画データに基づいて、対象物の移動情報を抽出するためのプログラムが記録されている。また、ハードディスク１０には、オペレーティングシステム２０（たとえば、マイクロソフト社のＷｉｎｄｏｗｓ（商標））も記録されている。
【００６２】
移動情報抽出プログラム１８は、オペレーティングシステム２０と協働して、ＣＰＵ６に、移動情報抽出処理を行わせる。なお、この実施形態では、オペレーティングシステム２０と協働して、移動情報抽出処理を行うようにしているが、移動情報抽出プログラム１８単独で、移動情報抽出処理を行うようにしてもよい。
【００６３】
以下、マウスの動きをカメラ４で撮像し、その行動を検出する場合を例として説明を行う。
【００６４】
４．移動情報抽出処理
４．１画像取込処理
図４に、移動情報抽出プログラム１８をフローチャートにて示す。まず、ＣＰＵ６は、カメラ４からのカラー動画データ（ＲＧＢデータ）を、インターフェイス１６を介して取り込み、ハードディスク１０に記録する（ステップＳ１）。なお、この実施形態では、予め撮像した動画データを取り込み、移動情報抽出処理を行うようにしている。もちろん、リアルタイムに画像を取り込みつつ、移動情報抽出処理を行ってもよい。
【００６５】
また、カメラ４からの動画がディジタルデータである場合には、そのまま、もしくは、所望のフォーマットに変換した後、取り込む。カメラ４からの動画がアナログデータである場合には、インターフェイス１６にて、Ａ／Ｄ変換処理を行った後、取り込む。
【００６６】
取り込まれたカラー動画は、ハードディスク１０に動画データ２２として記録される。このカラー動画データ２２は、時系列的に連続する複数フレームのカラー静止画として記録される。
【００６７】
４．２表色系変換処理
次に、ＣＰＵ６は、ＲＧＢ表色系で表されているカラー動画データを、下式に基づいて、ＴＳＬ表色系に変換する（ステップＳ２）。なお、Ｔは色合い、Ｓは鮮やかさ、Ｌは輝度である。
【００６８】
【数３】
2004157908.tif 000004
このようにして得たＴＳＬの各成分のうち、図１７に示すユーザ設定画面において予め選択された成分を、以下の処理において用いる。図１７に示す例では、「解析に用いる表色系成分」の項目において、Ｌ成分（輝度成分）が選択されている。この実施形態では、背景や対象物の色特性に応じて、両者の区別に有用な成分を選択することができるようになっている。また、この実施形態では、２以上の成分を指定（たとえば、Ｔ成分とＬ成分を指定）することも可能にしている。
【００６９】
４．３平滑化処理
次に、ＣＰＵ６は、Ｌ成分による動画データを対象として、ノイズを除去するために、中央値フィルタによる平滑化処理を行う（ステップＳ３）。この平滑化により、微少なノイズが取り除かれるので、後に行う２値化処理において、意味のない微少なブロックが多数発生するのを防ぐことができる。つまり、対象物の大きさと比較して、極めて小さいブロックを、この平滑化によって取り除くようにしている。
【００７０】
中央値フィルタ処理は、下式に基づいて行われれる。
【００７１】
【数４】
2004157908.tif 000005
図６に、中央値フィルタ処理の概要を示す。図において、動画データの画素配列は、動画データのうちの１つの静止画データについて、各画素のＬ成分を示したものである。画素α（注目画素とする）について中央値フィルタ処理を行う場合には、次のようにする。ＣＰＵ６は、注目画素αを含む周囲の９画素のＬ成分を取得する。次に、これを、Ｌ成分の値の順に並べ、中央に来る値を求める。この中央値を、注目画素αのＬ成分値とする。
【００７２】
図６の場合であれば、周囲９画素のＬ成分値は、２，２，３，３，４，４，４，５，１０である。したがって、前から５番目の値（中央値）である４が選択され、これが注目画素αの新たなＬ成分値とされる。以上のような処理を、動画を構成する全ての静止画の全ての画素について行う。
【００７３】
なお、図１７のユーザ設定画面において、解析に用いる表色系成分として複数の成分を指定した場合には、それぞれの成分について、独立して平滑化処理を行う。
【００７４】
４．４２値化処理
次に、ＣＰＵ６は、平滑化した動画データを２値化する（ステップＳ４）。この実施形態では、上限下限の２つのしきい値を用いて２値化するようにしている。上限下限の値は、図１７に示すユーザ設定画面によりユーザが入力する。
【００７５】
ＣＰＵ６は、２値化の際に、上限値、下限値として、図１７の画面において入力された値を用いる（図では、下限値として「１９０」、上限値として「２４０」が入力されている）。すなわち、注目画素のＬ成分値につき、上限値と下限値の範囲内にある場合には、当該注目画素の値を「１」とする。また、上記範囲外にある場合には、当該注目画素の値を「０」とする。以上のような処理を、動画を構成する全ての静止画の全ての画素について行う。
【００７６】
上記のように、上限下限の２つのしきい値を用いて２値化することにより、照明などによって発生した高輝度な領域を取り除くことができる。
【００７７】
また、解析に用いる表色系成分として、複数の成分を選択した場合には、それぞれの成分によって２値化し、全ての成分による２値化が「１」となった画素について、「１」とする。
【００７８】
４．５ラベル付け処理
次に、ＣＰＵ６は、上記の２値化された動画データについて、ラベル付け処理を行う（ステップＳ５）。ラベル付け処理とは、各静止画において、「１」の値を持つ画素の塊を認識する処理である。この塊をブロックと呼ぶ。つまり、ブロックとは、値「１」を持つ画素の連結成分である。
【００７９】
ＣＰＵ６は、認識した各ブロックを区別可能なように、ブロック識別子を与える。さらに、各ブロックについて、重心座標、面積、周囲長などを算出して、図７に示すようなブロック情報テーブルとしてハードディスク１０に記録する。なお、この実施形態では、面積および周囲長は、画素数によって算出している。また、図において、フレーム番号とは、動画を構成する静止画について時系列順に付した番号である。
【００８０】
なお、このラベル付け処理において、対象物の面積と比較して、あまりにも大きい面積を持つブロックや、あまりにも小さい面積を持つブロックを、以後の処理対象から外すようにしてもよい。また、面積に代えて周囲長によってこの判断を行ってもよい。
【００８１】
面積を用いるか、周囲長を用いるかは、図１７の設定画面によってユーザが決定できる。また、上限、下限も設定できる。
【００８２】
４．６移動軌跡の識別処理
上記のようにラベル付けを行った後、移動軌跡の識別処理を行う（ステップＳ６）。この実施形態の移動軌跡識別処理では、余分なブロックを関係づけから排除しつつ、各フレームのブロックを時系列順に関連付け、対象物の軌跡を得るようにしている。図５ａ、図５ｂ、図５ｃ、図５ｄに、移動軌跡識別処理の詳細なフローチャートを示す。
【００８３】
ＣＰＵ６は、まず、フレーム「２」を注目フレームとする（図５ａ、ステップＳ６１）。この注目フレームｎは、処理の進行とともに「３」「４」・・・と進んでいく。
【００８４】
次に、当該注目フレームの最初のブロックを注目ブロックとする（ステップＳ６２）。注目ブロックとは、直前フレームのいずれのブロックに関係づけるかの処理を行う対象とするブロックである。つまり、以下においては、注目ブロックを、直前フレームのいずれのブロックに関係づけるかを判断し、適切なものに関係づける処理を行っている。
【００８５】
次に、最大移動量係数Ｍｍａｘを「−１」とする（ステップＳ６３）。移動量係数については、後述する。
【００８６】
続いて、直前フレームの最初のブロックを注目直前ブロックとする（ステップＳ６４）。ここで、たとえば、注目フレームｎが図８Ａのような静止画であったとする。ステップＳ６２において、たとえば、図８ＡのブロックＢＬ１が注目ブロックとして選択される。また、直前フレームｎ−１が図８Ｂのような静止画であったとする。ステップＳ６３において、たとえば、図８ＢのブロックＢＬｐ１が注目直前ブロックとして選択される。
【００８７】
次に、ＣＰＵ６は、注目ブロックＢＬ１と注目直前ブロックＢＬｐ１の重心間の距離Ｄを、図７のブロック情報に基づいて算出する（ステップＳ６５）。この重心距離Ｄが所定値Ｔｄを超えている場合には、当該注目直前ブロックＢＬｐ１を、関係づけの対象から外すようにしている（ステップＳ６６）。つまり、注目直前ブロックＢＬｐ１は、注目ブロックＢＬ１の関連付け対象から除外される。
【００８８】
これを図９によって説明すると、以下のとおりである。図９は、説明のため、注目フレーム（図８Ａ）と直前フレーム（図８Ｂ）を重ねて示したものである。図において、注目フレームのブロックは実線で、直前フレームのブロックは破線で示している。
【００８９】
２点鎖線は、注目ブロックＢＬ１の重心を中心として描いた、所定値Ｔｄを半径とする円である。つまり、注目ブロックＢＬ１に対して関係づけを行う候補となる注目直前ブロックを、所定値Ｔｄの円内にあるものに限定している。これにより、可能性の低い注目直前ブロックを予め排除でき、処理の効率化を図ることができる。なお、所定値Ｔｄは、図１７の設定画面における「ブロック間結合閾値」としてユーザが指定できる。この値は、対象物の移動速度などに基づいて決定すればよい。
【００９０】
このように重心距離Ｄが所定値Ｔｄを超えている場合には、ステップＳ７０を経て、次のブロックＢＬｐ２を注目直前ブロックとし（ステップＳ７１）、再び、ステップＳ６４以下を実行する。
【００９１】
図９に示すように、注目直前ブロックＢＬｐ２と注目ブロックＢＬ１との重心距離Ｄは、所定値Ｔｄを下回っているので、ステップＳ６５、Ｓ６６からＳ６７に進む。ステップＳ６７では、注目直前ブロックＢＬｐ２の有する移動量係数Ｍが、現在の最大移動量係数Ｍｍａｘより大きいか（あるいは等しいか）否かを判断する。
【００９２】
この移動量係数Ｍとは、当該注目直前ブロックを含む、それ以前に関連付けられている一連のブロック（さらに前の一連のフレームの一連のブロック）が、どのように移動してきたかを示す指標である。この実施形態では、関連付けられた一連のブロックの移動方向が、どの程度安定しているか（短時間に極端に変化しないか）を示す数値として移動量係数Ｍを算出するようにしている。すなわち、移動量係数Ｍが大きければ、ブロックの移動方向が安定していることを示すように、移動量係数Ｍを定義している。これにより、ランダムに移動するノイズなどを、認識対象から除外することができる。
【００９３】
図１０Ａは、関連付けられた一連のブロックの移動状況を模式的に示すものである。注目直前ブロックＢＬｐ２は、更にその前のフレームのブロックＢＬｑ２、
更にその前のフレームのブロックＢＬｒ１、更にその前のフレームのブロックＢＬｓ２に関連付けられている。この場合には、これら一連のブロックの移動方向は安定しているので、移動量係数Ｍは大きくなる。なお、移動量係数Ｍの算出については、後に詳しく説明する。また、算出された移動量係数Ｍは、図７のブロック情報テーブルに記録されているので、これを用いる。たとえば、ブロックＢＬｐ２の移動量係数Ｍは、「５２」として記録されている。
【００９４】
ここでは、ステップＳ６８において、注目直前ブロックＢＬｐ２の持つ移動量係数Ｍが最大移動量係数Ｍｍａｘとして記憶される。さらに、ＣＰＵ６は、この注目直前ブロックＢＬｐ２を、選択直前ブロックとする（ステップＳ６９）。
【００９５】
以上のように、注目直前ブロックＢＬｐ２に対する処理が終わると、次に、ブロックＢＬｐ３を、注目直前ブロックとし（ステップＳ７０、Ｓ７１）、ステップＳ６４以下を再び実行する。
【００９６】
注目直前ブロックＢＬＰ３と注目ブロックＢＬ１との重心距離Ｄは、所定値Ｔｄより小さいので（図９参照）、ステップＳ６７以下が実行される。ステップＳ６７においては、注目直前ブロックＢＬｐ３の有する移動量係数Ｍ（ここでは「３」）が、最大移動量係数Ｍｍａｘより大きいか（等しいか）否かが判断される。
【００９７】
図１０Ａに示すように、注目直前ブロックＢＬｐ３を含む一連のブロックの移動方向は、ランダムであり、移動量係数Ｍは小さい。したがって、ステップＳ７０に処理が進む。
【００９８】
この直前フレームには、未処理のブロックは残っていないので、注目ブロックＢＬ１に対する処理が終了したことになる。すなわち、注目ブロックＢＬ１との重心距離Ｄが所定値Ｔｄより小さく、かつ、最も大きな移動量係数Ｍを持つ直前ブロックＢＬｐ２がステップＳ６９の選択直前ブロックとして決定される。
【００９９】
次に、ＣＰＵ６は、選択ブロックがあるか否か、複数あるか否かを判断する（図５ｃ、ステップＳ７２、７３）。選択ブロックがなければ、図５ｄのステップＳ７９に進む。ここでは、選択直前ブロックは、１つであるから、ステップＳ７４に進む。ステップＳ７４において、ＣＰＵ６は、この選択直前ブロックＢＬｐ２を、注目ブロックＢＬ１に関係づける。すなわち、ＣＰＵ６は、図７のブロック情報テーブルにおいて、注目ブロックＢＬ１のブロック情報テーブルの「関連付」の欄に、選択直前ブロックＢＬｐ２のブロック識別子を記述する。
【０１００】
図１０Ｂに示すように、注目ブロックＢＬ１は、移動量係数Ｍの大きい（つまり、より対象物の可能性が高い）一連のブロックＢＬｐ２、ＢＬｑ２、ＢＬｒ１、ＢＬｓ２に関連付けられる。
【０１０１】
次に、ＣＰＵ６は、注目ブロックＢＬ１（および一連のブロック）について、下式に基づき、移動量係数Ｍを算出する。
【０１０２】
【数５】
2004157908.tif 000006
ここで、ｉは、各静止画に連続して付されたフレーム番号である。
【０１０３】
ＭＸｉは、ｉ−２フレームの静止画における候補画像とｉ−１フレームの静止画における候補画像のＸ軸方向に関する移動方向をＤｉ−１とし、ｉ−１フレームの静止画における候補画像とｉフレームの静止画における候補画像のＸ軸方向に関する移動方向をＤｉとしたとき、移動方向Ｄｉ−１と移動方向Ｄｉが同方向であれば「１」、反対方向であれば「−１」とする。ただし、ｉ−１フレームの静止画とｉフレームの静止画における候補画像のＸ軸方向に関する移動量が所定のしきい値以下である場合には「０」とする。
【０１０４】
ＭＹｉは、ｉ−２フレームの静止画における候補画像とｉ−１フレームの静止画における候補画像のＹ軸方向に関する移動方向をＤｉ−１とし、ｉ−１フレームの静止画における候補画像とｉフレームの静止画における候補画像のＹ軸方向に関する移動方向をＤｉとしたとき、移動方向Ｄｉ−１と移動方向Ｄｉが同方向であれば「１」、反対方向であれば「−１」とする。ただし、ｉ−１フレームの静止画とｉフレームの静止画における候補画像のＹ軸方向に関する移動量が所定のしきい値以下である場合には「０」とする。
【０１０５】
なお、この実施形態では、予想される候補画像の面積と同じ面積を有する円を想定し、この円の半径の半分を、上記しきい値として用いるようにしている。
【０１０６】
ＣＰＵ６は、このようにして算出した移動量係数Ｍを、図７のブロック情報テーブルにおける注目ブロックＢＬ１（図７には図示せず）の「移動量係数」の欄に記録する（ステップＳ７５）。なお、移動量係数Ｍの算出は、図７のブロック情報において、既に直前のブロックＢＬｐ２に記録されているので、これを用いて下式に基づいて算出することができる。これにより、処理の迅速化を図ることができる。
【０１０７】
Ｍ＝ＭＸ＋ＭＹ＋ＭＰ
ここで、ＭＰは直前のブロックの移動量係数であり、ＭＸは注目ブロックと直前ブロックとの間のＸ軸に関する移動量係数であり、ＭＹは注目ブロックと直前ブロックとの間のＹ軸に関する移動量係数である。
【０１０８】
次に、ＣＰＵ６は、上記にて算出した注目ブロックの移動量係数Ｍが、所定値Ｔｍ（移動対象認識値）より大きいか否かを判断する（ステップＳ７６）。大きければ、対象物であると判断し、当該注目ブロックおよびこれに関連付けられた一連のブロックのブロック情報中の「対象物フラグ」欄を「１」にする（図７参照）。なお、所定値Ｔｍは、図１７の設定画面によって、ユーザが設定できる。
【０１０９】
続いて、一連のブロックの重心を結ぶ軌跡を算出し、ディスプレイ１２に表示する（ステップＳ７７０）。これにより、ディスプレイ１２上には、図８Ａのように、対象物の移動を示す軌跡Ｌが表示される。
【０１１０】
また、移動量係数Ｍが所定値Ｔｍより小さい場合には、ノイズであるか、あるいは、対象物と判断するにはデータの蓄積が少なすぎると判断し、対象物フラグを「０」のままにしておく。
【０１１１】
ここでは、注目ブロックＢＬ１の移動量係数Ｍ（ここでは「５４」）は、所定値Ｔｍ（ここでは、「１０」）より大きいので、対象物であると判断される。
【０１１２】
次に、ＣＰＵ６は、ステップＳ７９を経て、ステップＳ８２を実行する。ステップＳ８２では、注目フレーム中に、未処理の他のブロックがあるか否かを判断する。未処理のブロックＢＬ２、ＢＬ３が残っているので（図８Ａ参照）、ステップＳ８４に進み、ブロックＢＬ２を注目ブロックとして、再び、図５ａのステップＳ６３以下を実行する。
【０１１３】
注目ブロックＢＬ２に対して、重心距離Ｄが所定値Ｔｄ以下のものは、直前ブロックＢＬｐ３だけである。よって、ブロックＢＬ２は、図１１に示すように、直前ブロックＢＬｐ３と関係づけられる。ただし、ブロックＢＬ２（および一連のブロック）の移動方向はランダムに変化しており、その移動量係数Ｍは、所定値Ｔｍより小さくなるので、これら一連のブロックは、対象物と判定されない。したがって、ＣＰＵ６は、これらのブロックの「対象物フラグ」を「０」のままにしておく。
【０１１４】
以上のようにして、ブロックＢＬ２についての処理を終えると、注目フレーム（図８Ａ参照）には、未処理のブロックが残っていないので、ＣＰＵ６は、ステップＳ８２からＳ８６に進む。ステップＳ８６において、ＣＰＵ６は、未処理のフレームが残っているか否かを判断する。残っていれば、次のフレームを注目フレームとして（ステップＳ８５）、再び、図５ａのステップＳ６２以下を実行する。
【０１１５】
このようにして、全てのフレームの静止画について上述の処理を行うことにより、対象物の移動情報を抽出することができる。すなわち、図７に示すブロック情報テーブルにおいて、対象フラグが「１」となっており、「関連付」欄において関連づけのなされた一連のブロックとして、対象物の移動情報を得ることができる。また、その軌跡を表示することができる。
【０１１６】
ところで、上記の手法にて処理を行うと、一連のブロックにおいて分岐を生じる可能性がある。この実施形態では、このような分岐に対応するための処理を設けている。
【０１１７】
先ほどの例では、注目フレームとして図８Ａのような静止画を想定した。ここでは、図８Ａの静止画に代えて、図１１Ａのような静止画を注目フレームとして想定する。図１１Ａにおいては、ブロックＢＬ３が存在している。
【０１１８】
この注目フレームについて、移動軌跡識別処理を行うと、図１２に示すように関連づけが行われる。ブロックＢＬ１、ＢＬ２が、それぞれ、直前ブロックＢＬｐ２、ＢＬｐ３に関連付けられるのは、図８Ａの場合と同様である。
【０１１９】
ブロックＢＬ３は、最も移動量係数Ｍの大きい直前ブロックＢＬｐ２に関連付けられる。したがって、直前ブロックＢＬｐ２には、２つのブロックＢＬ１、ＢＬ３が関連付けられることになる。すなわち、分岐を生じてしまう。
【０１２０】
ＣＰＵ６は、このような分岐が生じた場合、次のようにして分岐を解消している。まず、分岐が生じた後に、図５ｄのステップＳ７９を実行すると、ステップＳ８０に進む。ステップＳ８０では、分岐が生じてから、所定のフレーム数（たとえば、４フレーム）が経過しているか否かを判断する。ここでは、まだ、１フレームしか経過していないので、通常の処理に戻る。つまり、ステップＳ８２に進む。
【０１２１】
次のフレームの処理において、図１３に示すように、注目ブロックＢＢから所定値Ｔｄの距離内に、直前ブロックＢＬ１、ＢＬ３があることになる。また、この両直前ブロックＢＬ１、ＢＬ３の移動量係数Ｍは等しい。このため、注目ブロックＢＢをいずれの直前ブロックに関係づけるべきかが問題となる。
【０１２２】
この実施形態では、次のようにして、この問題を解決している。ＣＰＵ６は、移動量係数Ｍが等しい直前ブロックが複数ある場合、当該移動量係数Ｍが最も大きいものであるなら、これら複数の直前ブロックを選択直前ブロックとして選択する（図５ｂのステップＳ６７、Ｓ６９参照）。したがって、図１３の場合、両ブロックＢＬ１、ＢＬ３共に選択直前ブロックとして選択されることになる。
【０１２３】
さらに、ＣＰＵ６は、図５ｃのステップＳ７３において、選択直前ブロックが複数ある場合には、ステップＳ７８に進む。ステップＳ７８では、注目ブロックＢＢの図形的特徴（面積、周囲長など）により近い図形的特徴を有する直前ブロックを、最終的な選択直前ブロックと決定する（ステップＳ７８）。このようにして、図１３に示すように、たとえば、ブロックＢＬ１が選択され、これに対して注目ブロックＢＢの関連づけが行われる。
【０１２４】
さらに処理が進むと、図１４に示すように、分岐したブロックのそれぞれに、ブロックが関連付けられて行く。また、移動方向が絶えず変化しているブロックＢＦ３〜ＢＬ３についても、対象物フラグが「１」となる。これは、ブロックＢＬｐ２が既に、大きな移動量係数Ｍを持っているため、これに関係づけられたブロックＢＦ３〜ＢＬ３も大きな移動量係数を持つことになるためである。
【０１２５】
図１４のような状態において、ステップＳ７９を実行すると、ステップＳ８０に進み、さらに、ステップＳ８１に進む。分岐を生じてから、所定のフレーム数（ここでは４とする）を経過しているからである。ステップＳ８１において、ＣＰＵ６は、ブロックＢＬｐ２〜ＢＦ１までの間の移動量係数Ｍ１を算出する。これは、ブロック情報テーブルにおいて、ブロックＢＦ１の移動量係数からブロックＢＬｐ２の移動量係数を減算することにより得ることができる。ＣＰＵ６は、同様にして、ブロックＢＬｐ２〜ＢＦ３までの間の移動量係数Ｍ２を算出する。
【０１２６】
さらに、ＣＰＵ６は、移動量係数Ｍ１とＭ２を比較し、小さい方について、対象から外す。図１４の場合であれば、移動量係数Ｍ２の方が小さくなる。したがって、ブロックＢＬ３〜ＢＦ３までの各ブロックにつき、対象物フラグを「０」にする。さらに、ブロックＢＬ３とＢＬｐ２との関係づけを外す。つまり、ブロックＢＬ３の「関連付」欄に記述されているブロックＢＬｐ２を削除する。このようにして、ＣＰＵ６は、分岐を解除して正しい軌跡を得るようにしている。
【０１２７】
また、図１５Ａ〜図１５Ｆに示すように、照明が写り込んだ領域５２などが生じる場合がある。このような領域５２は、図４のステップＳ４の２値化処理や、ステップＳ５のラベリング処理において、多くの場合、対象から排除される。しかし、図１５Ｃ、図１５Ｄ、図１５Ｅに示すように、対象物の画像が消失してしまうという問題を生じる。
【０１２８】
この実施形態では、このような現象が生じても、対象物の軌跡を追跡できるように、次のような処理を行っている。図１５Ｃのような状態になると、ＣＰＵ６は、対象物フラグが「１」となっている直前ブロック（図１５における画像５０のブロック）に対して、ブロックを関連付けることができない。図５ｄのステップＳ８３において、ＣＰＵ６は、このような状態を判断し、ステップＳ８７に進む。ただし、分岐が生じている場合には、対象物フラグが「１」である全てのブロックに対して、関連づけがなされなかった場合にのみ、ステップＳ８７に進む。
【０１２９】
ステップＳ８７では、対象物の追跡が途切れたことを示すために、消滅フラグを「１」にする。その後、図１５Ｆにおいてブロックが表れると、再び、これを開始点として関連づけを行う（図１６のブロックＢＮ１〜ＢＮ４参照）。これら一連のブロックＢＮ１〜ＢＮ４の移動量係数Ｍが所定値Ｔｍを越えると、この一連のブロックＢＮ１〜ＢＮ４は、対象物として認識される（ステップＳ７６、ステップＳ７７）。
【０１３０】
ＣＰＵ６は、この一連のブロックについて、その移動量係数Ｍが初めて所定値Ｔｍを越えたか否かを判断する（ステップＳ７７１）。ここでは、初めてであるので、ステップＳ７７２に進み、消滅フラグが「１」かどうかを判断する。消滅フラグが「１」であるので、ブロックの関連づけが途切れたブロックＢＺ５０と、この一連のブロックの内の最初のブロックＢＮ１とを関連付ける。このようにして、何らかの要因で一旦途切れたブロック間の関連づけを、復活させている。
【０１３１】
５．その他の実施形態
上記実施形態では、分岐が生じた場合に、対象物でないと判断した一連のブロックに対する関連づけを解除するようにし、対象物に関する一連のブロックのみを残すようにしている。しかし、分岐が生じても、そのまま処理を進め、対象物以外の軌跡も含めて表示を行い、人間が目視によって対象物の軌跡を判断するようにしてもよい。
【０１３２】
また、上記実施形態では、分岐が生じた場合に、対象物でないと判断した一連のブロックに対する関連づけを解除するようにし、対象物に関してのみ、その軌跡を出力（表示）するようにしている。しかしながら、対象物以外の物体の軌跡を、対象物の軌跡と区別可能なように（たとえば、表示色を変えるなど）して出力（表示）してもよい。
【０１３３】
上記実施形態では、対象物が一つである場合について説明をした。対象物が２以上ある場合には、上記の手法を用いつつ、対象物の色特性（輝度、色合い、彩度など）に基づいて、２つの対象物の軌跡を区別するようにすればよい。特に、背景の色と対象物の色が区別し難い場合などに有効である。
【０１３４】
上記実施形態においては、ＲＧＢカラー動画をＴＳＬカラー動画に変換し、これに基づいて処理を行った。しかし、ＨＩＳカラー画像に変換して用いてもよい。また、ＲＧＢカラー画像をそのまま用いてもよい。さらに、白黒画像に基づいて判断するようにしてもよい。
【０１３５】
上記実施形態では、移動方向の安定性を示す指標として移動量係数Ｍを用いた。この移動量係数Ｍは、Ｘ軸成分とＹ軸成分を加算して算出している。しかし、Ｘ軸成分またはＹ軸成分だけを用いてもよい。さらに、前回の動きと今回の動きとの角度差を算出し、当該角度差に基づいて移動方向の安定性を算出してもよい。
【０１３６】
上記実施形態では、移動方向の安定性がより高い直前ブロックに関連づけを行うようにしている（図１０参照）。しかし、対象物が木の葉などであって、その動く方向が目まぐるしく変わるものであり、除外したいノイズが車や人など、その動く方向が一定しているような場合には、移動方向の安定性がより低い直前ブロックに関連づけを行うようにしてもよい。また、移動方向の安定性だけでなく、検出物と検出物以外の移動物とを区別することのできる、その他の移動特性（一連のブロックの総移動距離、移動速度など）を、安定性に代えて、あるいはこれに加えて用いるようにしてもよい。すなわち、検出物について予想される動きと、検出物以外の移動物について予想される動きとを比較した際に、両者を区別できるような移動特性を、上記の関連付けに用いることができる。
【０１３７】
また、上記実施形態では、分岐が生じると、所定フレーム後にこれを解消するようにしている。しかし、分岐が生じたままにしておき、全てのフレームについて処理を終えてから、最も大きい移動方向の安定性を有する軌跡を、対象物の軌跡であると判断してもよい。
【０１３８】
さらに、上記実施形態では、時間的に古いフレームから順番に処理を行ったが、新しいフレームの順に処理を行うようにしてもよい。また、ちょうど中間のフレームから、新しい側、古い側に向けて、並行して処理を行うようにしてもよい。
【０１３９】
上記実施形態では、ステップＳ４の２値化処理において、上下２つのしきい値を用いている。しかし、上限または下限の１つのしきい値を用いて２値化処理を行うようにしてもよい。
【０１４０】
上記実施形態では、移動量係数Ｍの算出において、移動量が所定のしきい値以下である場合、ＭＸｉまたはＭＹｉを「０」としている。このしきい値は、任意の値とすることが可能である。たとえば、しきい値を「０」とすれば、少しでも動きがあった場合には、「１」または「−１」のＭＸｉまたはＭＹｉが得られる。
【０１４１】
また、上記実施形態では、重心間距離によって、ブロック間の関連づけを判断した（ステップＳ６６）。しかしながら、ブロック間の形状的類似度を用いて、ブロック間の関連づけを行うようにしてもよい。
【０１４２】
上記実施形態では、中央値フィルタ処理を用いて平滑化処理を行っている。しかし、移動平均法など他の平滑化手法を用いてもよい。
【０１４３】
上記実施形態では、判定した軌跡を表示するようにしている。しかし、プリントアウトしたり、ファイルとして記録媒体に出力したり、ネットワークで接続された他のコンピュータに出力するなどしてもよい。さらに、軌跡に代えて、あるいはこれとともに、ブロック情報テーブルの一部または全部を出力するようにしてもよい。
【０１４４】
上記実施形態では、対象物の移動情報を出力しているが、対象物の移動情報を抽出することによって、対象物の形状、対象物の存在の有無などを算出するようにしてもよい。
【０１４５】
上記実施形態では、２値化を行うことによって、ブロックを抽出している。しかし、２値化に加えて、背景画像との差分をとる処理を行ってもよい。すなわち、あらかじめ背景画像を用意しておき、各フレーム毎に差分画像を算出して、この差分画像を対象として２値化を行うようにしてもよい。
【０１４６】
上記実施形態では、図３ａに示す各機能を、コンピュータをプログラムに従って動作させることによって実現している。しかし、これら機能のうち一部または全部を、論理回路によって構成してもよい。
【図面の簡単な説明】
【図１】従来のフレーム差分による解析手法を示す図である。
【図２】従来の背景差分による解析手法を示す図である。
【図３ａ】移動情報抽出装置２００の全体的構成を示す図である。
【図３ｂ】移動情報抽出装置２００を、コンピュータを用いて実現した場合のハードウエア構成を示す図である。
【図４】移動情報抽出のためのプログラムのフローチャートである。
【図５ａ】移動軌跡識別処理の詳細を示すフローチャートである。
【図５ｂ】移動軌跡識別処理の詳細を示すフローチャートである。
【図５ｃ】移動軌跡識別処理の詳細を示すフローチャートである。
【図５ｄ】移動軌跡識別処理の詳細を示すフローチャートである。
【図６】中央値フィルタ処理による平滑化を説明するための図である。
【図７】ブロック情報テーブルを示す図である。
【図８】図８Ａは注目フレームを示す図であり、図８Ｂは直前フレームを示す図である。
【図９】図８Ａの注目フレームと図８Ｂの直前フレームとを重ねて示す図である。
【図１０】フレーム間の関連づけを模式的に示す図である。
【図１１】分岐を生じうるような注目フレームの例を示す図である。
【図１２】分岐が生じた状態を、模式的に示す図である。
【図１３】分岐後の処理を説明するための図である。
【図１４】分岐の解消を説明するための図である。
【図１５】対象物の画像が消失した場合の処理を示す図である。
【図１６】対象物の画像が消失した場合に、これを補完する処理を説明するための図である。
【図１７】移動情報抽出プログラムの諸条件設定の画面を示す図である。
【符号の説明】
１００・・・撮像手段
１０２・・・候補画像認識手段
１０４・・・画像列認識手段
１０６・・・軌跡演算手段
１０８・・・出力手段
【図１】
2004157908.tif 000008
【図２】
2004157908.tif 000009
【図３ａ】
2004157908.tif 000010
【図３ｂ】
2004157908.tif 000011
【図４】
2004157908.tif 000012
【図５ａ】
2004157908.tif 000013
【図５ｂ】
2004157908.tif 000014
【図５ｃ】
2004157908.tif 000015
【図５ｄ】
2004157908.tif 000016
【図６】
2004157908.tif 000017
【図７】
2004157908.tif 000018
【図８】
2004157908.tif 000019
【図９】
2004157908.tif 000020
【図１０】
2004157908.tif 000021
【図１１】
2004157908.tif 000022
【図１２】
2004157908.tif 000023
【図１３】
2004157908.tif 000024
【図１４】
2004157908.tif 000025
【図１５】
2004157908.tif 000026
【図１６】
2004157908.tif 000027
【図１７】
2004157908.tif 000028