(57)【特許請求の範囲】
【請求項１】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出する方法において、
上記時系列画像を入力するステップと、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得するステップと、
上記運動軌跡に接する接平面又は上記運動軌跡に含まれ得る部分平面のいずれか一方の平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得するステップと、
上記獲得された平面の頻度分布から上記画像の時間的特徴及び空間的特徴を計測するステップとを有する、方法。
【請求項２】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出する方法において、
上記時系列画像を入力するステップと、
上記入力された時系列画像中の任意の空間範囲および時間範囲で画成された領域内に含まれる対象の画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得するステップと、
上記運用軌跡に接する接平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得するステップと、
上記獲得された接平面の頻度分布から上記領域内の上記対象の運動の速度成分を推定するステップと、
上記獲得された接平面の頻度分布の中から、上記推定された速度成分で運動する上記対象の画像輪郭に対応する接平面の、画像輪郭の接線方向、及び、上記時空間中の任意の一点から該接線に下ろした垂線の長さをパラメータとする頻度分布を抽出するステップと、
上記画像輪郭に対応した接平面の頻度分布から上記の画像の空間的な特徴を獲得するステップとを有する、方法。
【請求項３】
上記速度成分を推定するステップは、
上記獲得された接平面の頻度分布から、時空間領域中に含まれるあらゆる組み合わせの接平面からなる交線の、その方向をパラメータとする頻度分布を獲得するステップと、
上記の画像の特徴として、上記獲得された交線の頻度分布から上記画成された領域内の上記対象の運動の最も優勢な並進速度成分を獲得するステップとを有する請求項２記載の方法。
【請求項４】
上記速度成分を推定するステップは、
上記獲得された接平面の頻度分布から、時空間領域中に含まれるあらゆる組み合わせの接平面からなる交線の、その方向をパラメータとする頻度分布を獲得するステップと、
上記獲得された交線の頻度分布から複数のピークを検出するステップと、
上記検出された複数のピークに対応した上記領域内の複数の運動の速度成分を獲得するステップと、
上記獲得された複数の運動の速度成分に対し、上記各速度成分が他の速度成分の合成速度として表されるか否かを判定し、他の速度成分の合成速度として表されない独立な速度成分を出力するステップとを有する、請求項２記載の方法。
【請求項５】
上記接平面の分布を抽出するステップにおいて、上記対象の画像輪郭の接線方向に沿った接平面の分布が抽出され、
上記画像の空間的な特徴を獲得するステップにおいて、上記抽出された接平面の分布から上記対象の画像輪郭の方向性の特徴量が計算される、請求項２記載の方法。
【請求項６】
上記接平面の分布を抽出するステップにおいて、上記対象の画像輪郭の方向に垂直な方向の接平面の分布が抽出され、
上記画像の空間的な特徴を獲得するステップにおいて、上記対象の画像輪郭の空間的配置の特徴が定量化される、請求項２記載の方法。
【請求項７】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出する方法において、
上記時系列画像を入力するステップと、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得するステップと、
上記運動軌跡に接する接平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得するステップと、
上記獲得された接平面の頻度分布から、時空間領域中に含まれるあらゆる組合せの接平面からなる交線の、その方向をパラメータとする頻度分布を獲得するステップと、
上記獲得された交線の頻度分布から複数のピークを検出するステップと、
上記検出された複数のピークに対応した上記領域内の運動の複数の速度成分を獲得するステップとを有する、方法。
【請求項８】
上記獲得された複数の速度成分に対し、上記各速度成分が他の速度成分の合成速度として表されるか否かを判定し、
他の速度成分の合成速度として表されない独立な速度成分を出力するステップを更に有する請求項７記載の方法。
【請求項９】
画像を表す各フレームが時間に関して並べられる時系列画像から画像の特徴を抽出する方法において、
上記時系列を入力するステップと、
上記入力された時系列画像中の任意の空間範囲および時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得するステップと、
上記運動軌跡に接する接平面又は上記運動軌跡に含まれ得る部分平面のいずれか一方の平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得するステップと、
上記獲得された平面の頻度分布から上記画像のノーマルフローの、その方向と速度の大きさをパラメータとする頻度分布を獲得するステップと、
上記ノーマルフローの頻度分布から上記画像の時間的特徴を獲得するステップとを有する、方法。
【請求項１０】
上記ノーマルフローの頻度分布を獲得するステップにおいて、上記ノーマルフローの頻度分布として、上記ノーマルフローの方向及び速さを変数とするノーマルフローの頻度分布が獲得され、
上記画像の時間的特徴を獲得するステップにおいて、上記画像の動きの一様性を表す特徴量として、上記ノーマルフローの頻度分布の拡がりが計算される、請求項９記載の方法。
【請求項１１】
上記ノーマルフローの頻度分布を獲得するステップにおいて、上記ノーマルフローの頻度分布として、上記ノーマルフローの速さを変数とするノーマルフローの頻度分布が獲得され、
上記画像の時間的特徴を獲得するステップにおいて、上記画像の動きを表す特徴量として、特定の速さのノーマルフローに対応した頻度が全体の頻度に占める割合が計算される、請求項９記載の方法。
【請求項１２】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出する方法において、
上記時系列画像を入力するステップと、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる対象の画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得するステップと、
上記運動軌跡に接する接平面を検出するステップと、
上記検出された接平面上に存在する運動軌跡の分布を画像として抽出するステップと、
上記抽出された画像上の運動軌跡を追跡し、上記対象のオクルージョンを検出するステップとを有する、方法。
【請求項１３】
上記オクルージョンを検出するステップにおいて、
上記運動軌跡の運動方向に沿った断続性が計測され、
上記対象のオクルージョンは上記断続性に基づいて検出される、請求項１２記載の方法。
【請求項１４】
上記オクルージョンを検出するステップにおいて、
上記運動軌跡の運動方向に沿った走行長の統計量が計測され、
上記対象のオクルージョンの度合いが上記走行長の統計量から検出される、請求項１２記載の方法。
【請求項１５】
上記接平面を検出するステップにおいて、
上記接平面は、３次元ハフ変換を用いて得られる上記平面のパラメータ空間に蓄積された投票の値の分布として表される上記接平面の頻度分布の形で検出される、請求項１２記載の方法。
【請求項１６】
上記接平面検出するステップにおいて、推定された速度成分に対応する接平面が検出される、請求項１２記載の方法。
【請求項１７】
上記３次元ボリュームデータは、時間順の上記フレーム間で差分画像を形成し、上記形成された差分画像を積層することにより得られる、請求項１，２，７，９又は１２記載のいずれか１項記載の方法。
【請求項１８】
上記平面の頻度分布を、上記平面のパラメータ値に合致する平面が通過する時空間中の運動軌跡の画素の濃淡値の総和として、３次元ハフ変換を用いて得られる上記平面のパラメータ空間に蓄積された投票の値として得る、請求項１，２，７又は９のうちいずれか１項記載の方法。
【請求項１９】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出する装置において、
上記時系列画像を入力する手段と、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得する手段と、
上記運動軌跡に接する接平面又は上記運動軌跡に含まれ得る部分平面のいずれか一方の平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得する手段と、
上記獲得された平面の頻度分布から上記画像の時間的特徴及び空間的特徴を計測する手段とを有する、装置。
【請求項２０】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出する装置において、
上記時系列画像を入力する手段と、
上記入力された時系列画像中の任意の空間範囲および時間範囲で画成された領域内に含まれる対象の画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得する手段と、
上記運用軌跡に接する接平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得する手段と、
上記獲得された接平面の頻度分布から上記領域内の上記対象の運動の速度成分を推定する手段と、
上記獲得された接平面の頻度分布の中から、上記推定された速度成分で運動する上記対象の画像輪郭に対応する接平面の、画像輪郭の接線方向、及び、上記時空間中の任意の一点から該接線に下ろした垂線の長さをパラメータとする頻度分布を抽出する手段と、
上記画像輪郭に対応した接平面の頻度分布から上記の画像の空間的な特徴を獲得する手段とを有する、装置。
【請求項２１】
上記速度成分を推定する手段は、
上記獲得された接平面の頻度分布から、時空間領域中に含まれるあらゆる組み合わせの接平面からなる交線の、その方向をパラメータとする頻度分布を獲得する手段と、
上記の画像の特徴として、上記獲得された交線の頻度分布から上記画成された領域内の上記対象の運動の最も優勢な並進速度成分を獲得する手段とを有する請求項２０記載の装置。
【請求項２２】
上記速度成分を推定する手段は、
上記獲得された接平面の頻度分布から、時空間領域中に含まれるあらゆる組み合わせの接平面からなる交線の、その方向をパラメータとする頻度分布を獲得する手段と、
上記獲得された交線の頻度分布から複数のピークを検出する手段と、
上記検出された複数のピークに対応した上記領域内の複数の運動の速度成分を獲得する手段と、
上記獲得された複数の運動の速度成分に対し、上記各速度成分が他の速度成分の合成速度として表されるか否かを判定し、他の速度成分の合成速度として表されない独立な速度成分を出力する手段とを有する、請求項２０記載の装置。
【請求項２３】
上記接平面の分布を抽出する手段は、上記対象の画像輪郭の接線方向に沿った接平面の分布を抽出し、
上記画像の空間的な特徴を獲得する手段は、上記抽出された接平面の分布から上記対象の画像輪郭の方向性の特徴量を計算する、請求項２０記載の装置。
【請求項２４】
上記接平面の分布を抽出する手段は、上記対象の画像輪郭の方向に垂直な方向の接平面の分布を抽出し、
上記画像の空間的な特徴を獲得する手段は、上記対象の画像輪郭の空間的配置の特徴を定量化する、請求項２０記載の装置。
【請求項２５】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出する装置において、
上記時系列画像を入力する手段と、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得する手段と、
上記運動軌跡に接する接平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得する手段と、
上記獲得された接平面の頻度分布から、時空間領域中に含まれるあらゆる組合せの接平面からなる交線の、その方向をパラメータとする頻度分布を獲得する手段と、
上記獲得された交線の頻度分布から複数のピークを検出する手段と、
上記検出された複数のピークに対応した上記領域内の運動の複数の速度成分を獲得する手段とを有する、装置。
【請求項２６】
上記獲得された複数の速度成分に対し、上記各速度成分が他の速度成分の合成速度として表されるか否かを判定し、
他の速度成分の合成速度として表されない独立な速度成分を出力する手段を更に有する請求項２５記載の装置。
【請求項２７】
画像を表す各フレームが時間に関して並べられる時系列画像から画像の特徴を抽出する装置において、
上記時系列を入力する手段と、
上記入力された時系列画像中の任意の空間範囲および時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得する手段と、
上記運動軌跡に接する接平面又は上記運動軌跡に含まれ得る部分平面のいずれか一方の平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得する手段と、
上記獲得された平面の頻度分布から上記画像のノーマルフローの、その方向と速度の大きさをパラメータとする頻度分布を獲得する手段と、
上記ノーマルフローの頻度分布から上記画像の時間的特徴を獲得する手段とを有する、装置。
【請求項２８】
上記ノーマルフローの頻度分布を獲得する手段は、上記ノーマルフローの頻度分布として、上記ノーマルフローの方向及び速さを変数とするノーマルフローの頻度分布を獲得し、
上記画像の時間的特徴を獲得する手段は、上記画像の動きの一様性を表す特徴量として、上記ノーマルフローの頻度分布の拡がりを計算する、請求項２７記載の装置。
【請求項２９】
上記ノーマルフローの頻度分布を獲得する手段は、上記ノーマルフローの頻度分布として、上記ノーマルフローの速さを変数とするノーマルフローの頻度分布を獲得し、
上記画像の時間的特徴を獲得する手段は、上記画像の動きを表す特徴量として、特定の速さのノーマルフローに対応した頻度が全体の頻度に占める割合を計算する、請求項２７記載の装置。
【請求項３０】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出する装置において、
上記時系列画像を入力する手段と、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる対象の画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得する手段と、
上記運動軌跡に接する接平面を検出する手段と、
上記検出された接平面上に存在する運動軌跡の分布を画像として抽出する手段と、
上記抽出された画像上の運動軌跡を追跡し、上記対象のオクルージョンを検出する手段とを有する、装置。
【請求項３１】
上記オクルージョンを検出する手段は、
上記運動軌跡の運動方向に沿った断続性を計測し、
上記対象のオクルージョンを上記断続性に基づいて検出する、請求項３０記載の装置。
【請求項３２】
上記オクルージョンを検出する手段は、
上記運動軌跡の運動方向に沿った走行長の統計量を計測し、
上記対象のオクルージョンの度合いを上記走行長の統計量から検出する、請求項３０記載の装置。
【請求項３３】
上記接平面を検出する手段は、
上記平面の頻度分布を、上記平面のパラメータ値に合致する平面が通過する時空間中の運動軌跡の画素の濃淡値の総和として、３次元ハフ変換を用いて得られる上記平面のパラメータ空間に蓄積された投票の値として検出する、請求項３０記載の装置。
【請求項３４】
上記接平面検出する手段は、推定された速度成分に対応する接平面を検出する、請求項３０記載の装置。
【請求項３５】
上記３次元ボリュームデータは、時間順の上記フレーム間で差分画像を形成し、上記形成された差分画像を積層することにより得られる、請求項１９，２０，２５又は３０記載のいずれか１項記載の装置。
【請求項３６】
上記平面の頻度分布は、上記平面のパラメータ値に合致する平面が通過する時空間中の運動軌跡の画素の濃淡値の総和として、３次元ハフ変換を用いて得られる上記平面のパラメータ空間に蓄積された投票の値として得る、請求項１９，２０，２５又は２７のうちいずれか１項記載の装置。
【請求項３７】
コンピュータに画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出させるプログラムを記録したコンピュータが読取可能な記録媒体であって、
上記プログラムは、
上記時系列画像を入力させるコードと、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得させるコードと、
上記運動軌跡に接する接平面又は上記運動軌跡に含まれ得る部分平面のいずれか一方の平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得させるコードと、
上記獲得された平面の頻度分布から上記画像の時間的特徴及び空間的特徴を計測させるコードとを有する、記録媒体。
【請求項３８】
コンピュータに画像を各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出させるプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
上記プログラムは、
上記時系列画像を入力させるコードと、
上記入力された時系列画像中の任意の空間範囲および時間範囲で画成された領域内に含まれる対象の画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得させるコードと、
上記運用軌跡に接する接平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得させるコードと、
上記獲得された接平面の頻度分布から上記領域内の上記対象の運動の速度成分を推定させるコードと、
上記獲得された接平面の頻度分布の中から、上記推定された速度成分で運動する上記対象の画像輪郭に対応する接平面の、画像輪郭の接線方向、及び、上記時空間中の任意の一点から該接線に下ろした垂線の長さをパラメータとする頻度分布を抽出させるコードと、
上記画像輪郭に対応した接平面の頻度分布から上記の画像の空間的な特徴を獲得させるコードとを有する、記録媒体。
【請求項３９】
上記速度成分を推定させるコードは、
上記獲得された接平面の頻度分布から、時空間領域中に含まれるあらゆる組み合わせの接平面からなる交線の、その方向をパラメータとする頻度分布を獲得させるコードと、
上記の画像の特徴として、上記獲得された交線の頻度分布から上記画成された領域内の上記対象の運動の最も優勢な並進速度成分を獲得させるコードとを有する請求項３８記載の記録媒体。
【請求項４０】
上記速度成分を推定させるコードは、
上記獲得された接平面の頻度分布から、時空間領域中に含まれるあらゆる組み合わせの接平面からなる交線の、その方向をパラメータとする頻度分布を獲得させるコードと、
上記獲得された交線の頻度分布から複数のピークを検出させるコードと、
上記検出された複数のピークに対応した上記領域内の複数の運動の速度成分を獲得させるコードと、
上記獲得された複数の運動の速度成分に対し、上記各速度成分が他の速度成分の合成速度として表されるか否かを判定し、他の速度成分の合成速度として表されない独立な速度成分を出力させるコードとを有する、請求項３８記載の記録媒体。
【請求項４１】
上記接平面の分布を抽出させるコードは、上記対象の画像輪郭の接線方向に沿った接平面の分布を抽出させ、
上記画像の空間的な特徴を獲得させるコードは、上記抽出された接平面の分布から上記対象の画像輪郭の方向性の特徴量を計算させる、請求項３８記載の記録媒体。
【請求項４２】
上記接平面の分布を抽出させるコードは、上記対象の画像輪郭の方向に垂直な方向の接平面の分布を抽出させ、
上記画像の空間的な特徴を獲得させるコードは、上記対象の画像輪郭の空間的配置の特徴を定量化させる、請求項３８記載の記録媒体。
【請求項４３】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出させるプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
上記時系列画像を入力させるコードと、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得させるコードと、
上記運動軌跡に接する接平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得させるコードと、
上記獲得された接平面の頻度分布から、時空間領域中に含まれるあらゆる組合せの接平面からなる交線の、その方向をパラメータとする頻度分布を獲得させるコードと、
上記獲得された交線の頻度分布から複数のピークを検出させるコードと、
上記検出された複数のピークに対応した上記領域内の運動の複数の速度成分を獲得させるコードとを有する、記録媒体。
【請求項４４】
上記獲得された複数の速度成分に対し、上記各速度成分が他の速度成分の合成速度として表されるか否かを判定させ、
他の速度成分の合成速度として表されない独立な速度成分を出力させるコードを更に有する請求項４３記載の記録媒体。
【請求項４５】
画像を表す各フレームが時間に関して並べられる時系列画像から画像の特徴を抽出させるプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
上記時系列を入力させるコードと、
上記入力された時系列画像中の任意の空間範囲および時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得させるコードと、
上記運動軌跡に接する接平面又は上記運動軌跡に含まれ得る部分平面のいずれか一方の平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得させるコードと、
上記獲得された平面の頻度分布から上記画像のノーマルフローの、その方向と速度の大きさをパラメータとする頻度分布を獲得させるコードと、
上記ノーマルフローの頻度分布から上記画像の時間的特徴を獲得させるコードとを有する、記録媒体。
【請求項４６】
上記ノーマルフローの頻度分布を獲得させるコードは、上記ノーマルフローの頻度分布として、上記ノーマルフローの方向及び速さを変数とするノーマルフローの頻度分布を獲得させ、
上記画像の時間的特徴を獲得させるコードは、上記画像の動きの一様性を表す特徴量として、上記ノーマルフローの頻度分布の拡がりを計算させる、請求項４５記載の記録媒体。
【請求項４７】
上記ノーマルフローの頻度分布を獲得させるコードは、上記ノーマルフローの頻度分布として、上記ノーマルフローの速さを変数とするノーマルフローの頻度分布を獲得させ、
上記画像の時間的特徴を獲得させるコードは、上記画像の動きを表す特徴量として、特定の速さのノーマルフローに対応した頻度が全体の頻度に占める割合を計算させる、請求項４５記載の記録媒体。
【請求項４８】
画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出させるプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
上記時系列画像を入力させるコードと、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる対象の画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得させるコードと、
上記運動軌跡に接する接平面を検出させるコードと、
上記検出された接平面上に存在する運動軌跡の分布を画像として抽出させるコードと、
上記抽出された画像上の運動軌跡を追跡し、上記対象のオクルージョンを検出させるコードとを有する、記録媒体。
【請求項４９】
上記オクルージョンを検出させるコードは、
上記運動軌跡の運動方向に沿った断続性を計測させ、
上記対象のオクルージョンを上記断続性に基づいて検出させる、請求項４８記載の記録媒体。
【請求項５０】
上記オクルージョンを検出させるコードは、
上記運動軌跡の運動方向に沿った走行長の統計量を計測させ、
上記対象のオクルージョンの度合いを上記走行長の統計量から検出させる、請求項４８記載の記録媒体。
【請求項５１】
上記接平面を検出させるコードは、上記接平面を、３次元ハフ変換を用いて得られる上記平面のパラメータ空間に蓄積された投票の値の分布として表される上記接平面の頻度分布の形で検出させる、請求項４８記載の記録媒体。
【請求項５２】
上記接平面検出させるコードは、推定された速度成分に対応する接平面を検出させる、請求項４８記載の記録媒体。
【請求項５３】
上記３次元ボリュームデータを得させるため、時間順の上記フレーム間で差分画像を形成し、上記形成された差分画像を積層させる、請求項３７，３８，４３，４４又は４７記載のいずれか１項記載の記録媒体。
【請求項５４】
上記平面のパラメータ値に合致する平面が通過する時空間中の運動軌跡の画素の濃淡値の総和として、３次元ハフ変換を用いて得られる上記平面のパラメータ空間に蓄積された投票の値として上記平面の頻度分布を得させる、請求項３７，３８，３９，４３又は４５のうちいずれか１項記載の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、時系列画像中の対象を認識する技術に係わり、特に、画像のフレームの時間的な系列を表す時系列画像の画像特徴を抽出する方法及びその装置に関する。時系列画像は、例えば、人、交通等の監視、製造工程の制御、気象等の自然現象の解明や予測のためにビデオカメラ、気象レーダ装置、又は、リモートセンシング等により得られるような画像である。
【０００２】
【従来の技術】
集中豪雨・豪雪や雷雨等の局所的（例えば、数１０キロ〜数１００キロ平方）かつ短時間（例えば、５分〜数時間）の降水現象は未解明な点が多い。しかし、局所的かつ短時間の降水現象は、日常生活や各種産業活動に与える影響が大きいため、その予測は重要な課題である。
【０００３】
従来、このような局所的な降水現象を予報するため、気象予報士のような専門家が、観測された気象データ画像から目視によって現象を特定し予報を作成している。また、気象レーダ画像中のエコーパターンの動きを解析し、未来のエコーパターンを予測することにより得られる予測エコー画像を参考にして予報が作成されている。前者の予測は、専門家が過去の経験により獲得する気象現象の規則性に基づくため長年の熟練を要す。また、後者の画像解析による予測手法では、殆どの場合に、直前数時間の現象の持続が仮定されているため、最も予報が期待される急激な現象の変化に追従できない。さらに、降水域の正確な移動速度や生成・消滅、変形等の現象をうまく捉えることができないため、予測精度が不充分であるという問題がある。そこで、このような問題を改善する一つの方法として、「類似する気象現象は繰り返し起こる」という気象現象の再現性を利用し、気象レーダ画像から自動的に現象の類似した過去の気象レーダ画像を検索し、専門家に提示することが考えられる。或いは、気象レーダ画像を気象現象のカテゴリーに分類し、特定された気象現象毎に適合した予測手法を選択、適用することが考えられる。このような方法を実現するためには、時系列画像データである気象レーダ画像から画像特徴量を抽出することが必要である。
【０００４】
従来、時系列画像の画像特徴量を抽出する方法として、静止画像中の模様の特徴を得るテクスチャー解析等の手法や、時系列画像のフレーム間で画像パターンの変位量を求める動き推定手法が提案されている。
例えば、Ｒｏｂｅｒｔ  Ｍ．Ｈａｒａｌｉｃｋ，  ”Ｓｔａｔｉｓｔｉｃａｌ  ａｎｄ  Ｓｔｒｕｃｔｕｒａｌ  Ａｐｐｒｏａｃｈｅｓ  ｔｏ  Ｔｅｘｔｕｒｅ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ，  Ｖｏｌ．６７，  Ｎｏ．５，  １９７９には、従来のテクスチャー解析手法の一つのアプローチである統計的テクスチャー解析が記載されている。この統計的テクスチャー解析では、画像平面中の全ての画素について、「ある画素と、その画素から右に３画素離れた画素との輝度の差が１である組合せが存在する頻度」というような統計量を計算し、画像特徴が定量化されている。この統計的テクスチャー解析法は、基本的な図形要素の繰り返しによって得られるような画像表面上の模様（テクスチャーと称される）の如くの２次元的な画像特徴の違いを検出するため用いられる。より詳細には、最初に、時系列画像の１フレームの画像から画像の２値化等の処理によりプリミティブと呼ばれる基本要素の集合が求められる。次に、各プリミティブのエッジの方向や長さ等の統計量として方向性等の空間特徴が計算される。また、プリミティブ間の相対的位置ベクトルから上記の如くのプリミティブの繰り返しの規則性等の空間特徴が計算される。
【０００５】
上記文献に提案された画像特徴量の中には、画像濃度の同時生起行列から定義される特徴量が含まれる。同時生起行列とは、画像の濃度ｉの点から一定の変位δ＝（ｒ，θ）だけ離れた点の濃度がｊである確率
【０００６】
【外１】
0003575293.tif 000002
【０００７】
を要素とする行列である。この同時生起行列から、例えば、
【０００８】
【数１】
0003575293.tif 000003
【０００９】
等の特徴量が計算される。但し、δは例えば、（ｒ＝１，θ＝０［ｄｅｇ］  ）等と設定される。式（０．１）の角２次モーメントでは、同時生起行列の要素がどのくらい密集して分布しているかが計測され、テクスチャーの一様性が測定できる。このような特徴量は、航空写真の地勢や砂岩の分析等に用いられている。しかし、一般的に、このような同時生起行列から得られる特徴量は物理的に何を測定しているかが不明な場合が多い。
【００１０】
従来のテクスチャー解析による手法は、時系列画像の各フレームを独立した画像として取り扱うので、時系列画像の特徴として不可欠な要素である動きに関する特徴は計測されない。
また、従来の動き推定方法として、例えば、時系列画像の２つのフレームを取り出し、その中の小領域毎のマッチングにより、小領域に含まれる対象の動き（速度成分）を計測する方法が、遊馬  芳雄、菊池  勝弘、今  久：“簡易気象レーダーによるエコーの移動速度について”、北海道大学地球物理学研究報告、Ｖｏｌ．４４，  Ｏｃｔｏｂｅｒ，  １９８４，  ｐｐ．２３−３４  、或いは、遊馬  芳雄、菊池  勝弘、今  久：“簡易気象レーダーによる降雪の短時間予測実験（その１）”、北海道大学地球物理学研究報告、Ｖｏｌ．４４，  Ｏｃｔｏｂｅｒ，  １９８４，  ｐｐ．３５−５１  、に記載されている。これらの文献で提案された手法は、時系列画像の異なる２フレームの画像を用いる。まず、一方の画像内のある領域（通常は正方形の領域）が、他方の画像上で最も適合する位置を探索する。次に、２フレーム間における位置のずれ幅と、フレーム間隔とから、対象とした領域内の物体の移動速度を推定する。ここで、２つの画像領域の適合の度合いとして、画像濃度値の相互相関係数が利用される。２つの画像領域内の濃度分布を、Ｉ１  （ｉ，ｊ）、Ｉ２  （ｉ，ｊ）とすると、相関係数は、
【００１１】
【数２】
0003575293.tif 000004
【００１２】
のように計算できる。但し、Ｍ、Ｎは画像領域のサイズである。
このように相互相関係数は、一方の画像領域の位置を画像上でずらしながら計算され、最も相互相関係数が大きくなるずれ幅（Ｋ，Ｌ）が探索される。得られた（Ｋ，Ｌ）から、移動速度成分は、
【００１３】
【数３】
0003575293.tif 000005
【００１４】
のように計算される。但し、Ｖｘ  及びＶｙ  は、夫々速度成分のｘ成分及びｙ成分を示し、Δはフレーム間隔を示す。隣接フレームを用いた場合、Δ＝１である。また、得られる速度の単位は、［画素／フレーム］である。
この方法では、マッチングを行うブロック内の対象は、時間的に形状の変化がなく、一様に並進していることを前提として、移動速度を計算している。しかし、局所的に様々な動き成分が含まれる、生成・消滅を伴う非剛体の対象の特徴は充分に反映されない。このように時系列画像から速度成分を計測する方法の場合、対象の並進などの速度成分しか測定できない。また、時系列画像中の対象の形状や表面模様、画像要素の配置等の空間的特徴を計測することができない。
【００１５】
また、特開平１０−１９７５４３号（特願平９−３１１６号）、特開平１０−２０６４４３号（特願平９−８５６３号）及び特願平９−１１４５７７号明細書には、時系列画像を時間方向に積層したときにできる空間（以下、この空間を時空間とも称する）中において、画像平面中の対象のエッジや輪郭が描く曲面状の運動軌跡を検出し、その運動軌跡に接する複数の異なる接平面がつくる交線の方向から対象の動き（速度成分）を計測する方法が記載されている。
【００１６】
上記の時空間中において対象の動きを計測する方法は、最初に、例えば、ハフ変換（又は投票とも呼ぶ）を使用して、時空間画像を、対象物体の速度成分（速度の方向及び大きさ）を表現するパラメータ空間に変換する。次に、そのパラメータ空間中の分布のピークを検出し、そのピーク座標値から対象物体の速度成分を求める。この従来の対象の動きの計測方法の場合、対象領域内の最も優勢な並進速度成分がノイズやオクルージョンに対しロバストに獲得できることが知られている。
【００１７】
さらに、従来、時系列画像中の動的な対象を検出し、その動きを計測する方法として、局所的な濃度値の勾配に基づく方法も知られている。
従来のテクスチャー解析手法の場合、時系列画像の各フレームが独立した画像として扱われるため、時系列画像の特徴として不可欠な要素である動きに関する特徴は計測することができない。また、この手法では、各フレーム毎に特徴を抽出するため、動的な対象と背景とを区別できないので、オクルージョンやノイズの影響を受け易くなる。その結果として、動的な対象の空間特徴を安定に定量化することが困難である。
【００１８】
また、時系列画像から速度成分を計測する上記従来の方法では、対象の並進のような速度成分しか計測できないので、時系列画像中の対象の形状や表面模様等の特徴を計測することができない。その上、従来の速度成分の計測方法では、対象とする時系列画像の領域には、唯一の顕著な動き成分が存在することが仮定されている。そのため、複数の異なる動きをもつ物体が同じ領域に並存した場合、時系列画像中に含まれる速度成分を正確に推定し得ない。
【００１９】
一方、従来の動的な対象の動きを計測する方法の場合、対象の運動の連続性や、対象の形状の不変性が仮定されている。そのため、観測者と移動する対象の間にオクルージョン物があり、対象が見え隠れするような状況においては、対象の正確な動きの計測は困難である。このようなオクルージョンと称される状況では、より高精度の動き計測を実現するため、オクルージョンの有無、オクルージョンの度合い、オクルージョンの位置等の情報が必要とされる。しかし、オクルージョンが生じる状況では、観測されるべき運動対象が出現、消滅、再出現するため、対象の追跡が困難であり、実際上、オクルージョンに関する情報を獲得できない。
【００２０】
不定形であり、生成・消滅を伴う非剛体を含み、かつ、画像中の動きに特徴があるような対象として、気象レーダ装置から得られる気象レーダ画像のような時系列画像がある。従来技術の手法ではこのような時系列画像の固有の特徴を求めることが困難である。その理由は、上記時系列画像の固有の特徴が、本質的に、従来技術の手法のように単一の画像フレーム又は二つの画像フレームから得られる画像特徴だけからは得られないからである。
【００２１】
時間的に変化する動きパターン、即ち、テンポラルテクスチャーに関する研究は、例えば、Ｒ．  Ｃ．  Ｎｅｌｓｏｎ  ＆  Ｒ．  Ｐｏｌａｎａ，  ”Ｑｕａｌｉｔａｔｉｖｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  ｍｏｔｉｏｎ  ｕｓｉｎｇ  ｔｅｍｐｏｒａｌ  ｔｅｘｔｕｒｅ”，  ＣＶＧＩＰ：  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ，  ｖｏｌ．５６，  ｎｏ．１，  ｐｐ．７８−８９，  １９９２、或いは、Ｍ．Ｏ．  Ｓｚｕｍｍｅｒ，  ”Ｔｅｍｐｏｒａｌ  ｔｅｘｔｕｒｅ  ｍｏｄｅｌｉｎｇ”，  ＭＩＴ  Ｍｅｄｉａ  Ｌａｂ  Ｐｅｒｃｅｐｔｕａｌ  Ｃｏｍｐｕｔｉｎｇ  ＴＲ  ｎｏ．３４６，  １９９５  に提案されている。
【００２２】
Ｎｅｌｓｏｎ等は、オプティカルフロー場から計算される統計量を用いてフロー方向の非一様性等の特徴量を定義している。この特徴量は、例えば、次のようにして抽出される。最初に、オプティカルローの成分の中で濃度勾配に垂直な方向の成分であるノーマルフローを画像中の各画素について求める。次に、そのノーマルフローの大きさの平均値を標準偏差で割った値、若しくは、フローの正及び負の回転（ｃｕｒｌ）や発散（ｄｉｖｅｒｇｅｎｃｅ）の値を計算し、又は、フローの方向を８方向に離散化した後、ヒストグラムを作成し、均等分布からの絶対偏差の統計量を計算することにより得られる。
【００２３】
このようにして得られた特徴量は、照明や色に対して不変であるという利点を有する。しかし、この特徴量は、形状に関する情報を充分に捉えられず、また、オプティカルフロー自体が正確に推定できないという問題点がある。対象の生成、消滅等の現象への対処も不充分である。
また、Ｍａｒｔｉｎ  Ｓｚｕｍｍｅｒ  ａｎｄ  Ｒｏｓａｌｉｕｄ  Ｗ．Ｐｉｃａｒｄ，  ”Ｔｅｍｐｏｒａｌ  Ｔｅｘｔｕｒｅ  Ｍｏｄｅｌｌｉｎｇ”，  Ｉｎｔ．  Ｃｏｎｆ．  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｓｅｐ．  １９９６には、時空間自己回帰モデルを用いてテンポラルテクスチャーをモデル化する手法が提案されている。
時空間自己回帰モデルでは、各々の画素の値が空間的及び時間的に周辺の複数の画素の値の線形結合として表現される。
【００２４】
0003575293.tif 000006
式中、ｓ（ｘ，ｙ，ｙ）は時系列画像の輝度値を表し、ａ（ｘ，ｙ，ｔ）はガウス状白色ノイズを表す。Δｘｉ  、Δｙｉ  、Δｔｉ  は、近傍の画素を表す。
入力された時系列画像から最小二乗法を用いてモデルパラメータφｉ  を推定する。推定されたモデルパラメータは、入力されたパターンの時間的及び空間的特徴を捉えていると考えられる。このモデルパラメータを用いて、パターンの認識等が行われる。
【００２５】
しかし、この手法は、画像の局所的な濃度値を用いるため、照明変動や画像に加わるノイズの影響を受け易い。また、得られたモデルパラメータの物理的な意味が不明である。また、画像濃度に基づくので、画像の構造的な特徴が明示的に得られないという欠点がある。
このように、気象レーダ画像中に含まれるエコーパターンは、生成、消滅を繰り返す非剛体の動きパターンであり、従来提案されている手法では、このような動きパターンを特徴付けることは困難である。従って、画像に含まれる生成、消滅を繰り返す非剛体の動きパターンを特徴付けることができる画像特徴量を抽出する方法及び装置が必要である。また、このような非剛体パターンの画像特徴量は、一般の映像データベース等の検索やインデックス付け等に対しても有効であると期待される。
【００２６】
【発明が解決しようとする課題】
本発明は、従来技術の問題点に鑑み、テンポラルテクスチャーの特徴として必要とされる空間的特徴及び時間的特徴の双方を得ることができる時系列画像特徴抽出方法の提供を目的とする。
また、本発明は、時系列画像特徴抽出方法を実施する装置、並びに、時系列画像特徴抽出プログラムを記録した記録媒体の提供を目的とする。
【００２７】
上記の本発明の目的は、以下の各サブゴール、又は、サブゴールの組合せによって達成される。
本発明の第１のサブゴールは、時系列画像中の複数のフレームから、対象の形状や模様、動きの特徴、さらに生成・消滅等を伴う複雑な非剛体を含む画像の画像特徴を計測する技術を提供することである。
【００２８】
本発明の第２のサブゴールは、時系列画像中の動的な対象の空間的特徴を安定に定量化する技術を提供することである。
本発明の第３のサブゴールは、複数の異なる動きをもつ物体を含む時系列画像から、時系列画像中の各運動物体に対応した複数の速度成分を推定する技術を提供することである。
【００２９】
本発明の第４のサブゴールは、時系列画像中から対象の生成・消滅や非剛体性に由来する複雑な動きに関する情報を定量化する技術を提供することである。
本発明の第５のサブゴールは、時系列画像中の動的対象が被り得るオクルージョンを検出する技術を提供することである。
【００３０】
【課題を解決するための手段】
本発明では、画像要素の形状や配置等の空間的特徴及び動きやオクルージョン等の時間的特徴を得るため、動画像の複数のフレームから得られる時空間画像中の運動軌跡を抽出する。時空間画像とは、時系列画像の１フレームずつを順番に時間方向に積層してできるボリュームであり、対象の各点が時空間中に描く軌跡を運動軌跡と呼ぶ。運動軌跡を用いることにより、時空間中での運動軌跡の方向から対象の速度が得られる。特に、対象の各点として輪郭又はエッジを利用する場合、移動する輪郭は、曲面状の運動軌跡（以下、軌跡曲面とも称する）を時空間中に描く。本発明では、この軌跡曲面に接する接平面、又は、軌跡曲面の一部である部分平面が画像の特徴記述の基本要素と考える。
【００３１】
そこで、本発明によれば、上記第１のサブゴールを達成するため、空間的な画像を表す各フレームが時間に関して並べられた時系列画像から画像の特徴を抽出する方法は、
上記時系列画像を入力するステップと、
上記入力された時系列画像中の任意の空間範囲及び時間範囲で画成された領域内に含まれる画像輪郭の運動軌跡を、上記各フレームの時間順に積層された時空間中に描かれる３次元ボリュームデータとして獲得するステップと、
上記運動軌跡に接する接平面又は上記運動軌跡に含まれ得る部分平面のいずれか一方の平面の、その法線方向、及び、時空間中の任意の一点からの最短距離をパラメータとする頻度分布を獲得するステップと、
上記獲得された平面の頻度分布から上記画像の時間的特徴及び空間的特徴を計測するステップとを有する。
【００３２】
本発明では、画像特徴を計測する際に運動軌跡を用いることにより次の利点が得られる。つまり、画像中の対象の移動、形状、変形、位置、生成、消滅等の特徴が、運動軌跡の曲面の性質として余るところ無く表現され、３次元ボリュームデータとして捉えることができる。この結果として空間的な画像特徴と時間的な画像特徴とが同時に表現できる。
【００３３】
また、本発明によれば、運動軌跡から画像の時間的特徴及び空間的特徴を計測する際に、上記運動軌跡に接する接平面又は上記運動軌跡に含まれ得る部分平面のいずれか一方の平面の頻度分布を獲得し、上記獲得された平面の頻度分布から上記画像の時間的特徴及び空間的特徴を計測する。
接平面又は部分平面の頻度分布を用いると、ノイズやオクルージョンに対しロバストに時間的特徴及び空間的特徴を計測することができるので有利である。特に、この接平面の頻度分布から、接平面の交線の頻度分布を取得することにより、テンポラルストラクチャーのような非剛体であり、変形、生成・消滅を伴う対象からも局所的に最も優勢な速度成分を得ることが可能になる。
【００３４】
画像特徴を計測するために、運動軌跡から、その運動軌跡の接平面の頻度分布を得ることの利点は、以下の通りである。即ち、対象とする時空間の領域に含まれる対象の動き成分（厳密には、法線速度成分）の分布が、対象の生成・消滅、オクルージョンやノイズに起因する断続的な運動軌跡からも安定かつ正確に計測できる。ここで、法線速度成分とは、輪郭上の点の接線の方向に垂直な方向の速度成分である。また、動き成分の計測と共に、輪郭の形状や画像要素の配置に関する情報も接平面の頻度分布として得られるため、空間的な特徴の計測も可能になる。
【００３５】
法線速度成分を得る最も簡単な方法は、画像輝度成分の局所勾配を計算する方法である。この場合、隣接画素間等から得られる局所的な曲面の特徴はノイズや対象の変形に極めて敏感である。そのため、精度良く法線速度成分を獲得することが困難である。それに対し、本発明の運動軌跡の接平面の頻度分布を求める方法では、たとえ運動軌跡が断続的になっている場合（例えば、点が点滅を繰り返しながら移動するような場合）でも、本来の運動が存在する確からしさを、接平面が運動軌跡に接する度合いから得ることができる。この度合いは、時空間差分画像中において、接平面が通過する運動軌跡の画素の個数の濃淡値による重み付き総和によって与えられる。
【００３６】
本発明の第１の実施例では、時系列画像中の任意の空間範囲及び時間範囲をもつ領域内に含まれる画素の集合若しくは図形、即ち、対象若しくは対象のエッジや輪郭に着目する。そして、時系列画像中の各フレームを時間方向に順に積層したときに、この対象若しくは対象のエッジや輪郭によって時空間中に描かれる運動軌跡が求められる。次に、この運動軌跡の形状、位置、向き等の特徴から時系列画像の画像特徴を計測することにより、時系列画像の特徴として不可欠な要素である動きに関する情報（時間的特徴）と共に、時系列画像中の対象の表面形状等の特徴（空間的特徴）が計測される。このように、対象の移動する輪郭を抽出し、その運動軌跡に接する接平面の分布に基づいて特徴量を定義することにより、定義される特徴の意味を明確化し、画像の構造的な特徴を得ることが可能になる。
【００３７】
また、本発明の第１の実施例では、運動軌跡に接する接平面の頻度分布又は運動軌跡を構成する部分平面の頻度分布を、例えば、３次元ハフ変換により得られるパラメータ空間（投票空間）に蓄積された投票値の分布として求める。これにより、対象のエッジや輪郭の方向に関する頻度分布が得られ、この頻度分布から対象の形状に関する情報を得ることができる。また、複数の異なる接平面から、その交線の方向を調べることにより、対象の画像上での速度成分を同時に得ることができる。
【００３８】
３次元ハフ変換は、時空間差分画像中において、接平面が通過する運動軌跡の画素数の個数の濃淡値による重み付き総和を、各平面のパラメータθ、φ、ρについて計算する。このように運動軌跡の接平面分布を得るためにハフ変換を用いることにより、ノイズやオクルージョンにロバストに接平面の分布が得られる利点がある。ハフ変換では、運動軌跡を構成する各画素について、その画素を通り得る全ての平面を考える。そして、その平面の集合に対応するパラメータ空間中の要素の値を、画素の値だけ増加させるという操作を全画素に対して繰り返し行う。これにより、一部の画素が欠落する場合にも、全体の接平面の精度に対する悪影響が抑制され、接平面の分布が安定に計測される。
【００３９】
本発明の第１の実施例では、複数のフレームにまたがる運動軌跡から画像特徴が抽出される。これにより、単一のフレームだけに突発的に起こる外乱に対してロバストに特徴が抽出され得る。また、優勢な速度成分と、それ以外の動き（生成・消滅等）を分離して検出することができるようになり、夫々の動きの組合せ、頻度を求めることにより、動きに関する種々の情報が得られるようになる。
【００４０】
また、本発明の第１の実施例では、優勢な並進速度成分を得るため、交線の頻度分布が利用される。ある時空間領域内で対象が一様に並進する場合、運動軌跡曲面に接する２つの互いに平行でない接平面は、唯一の交線を持つ。その交線の方向は時空間中における対象の運動方向と一致する性質がある。そこで、時空間領域中に含まれるあらゆる組合せの接平面からなる交線の方向の頻度分布を求める。そして、頻度分布の中で最頻値を示す交線方向に対応する速度成分が時空間領域内の優勢な並進速度成分として求められる。そのため、部分的に対象が隠蔽され、一部の接平面が消失する場合、或いは、ノイズが存在する場合にも、比較的安定に並進速度成分がえられるという利点がある。ランダムなノイズは接平面分布を均等にかさ上げする効果を有する。そのため、ランダムノイズによって推定される速度成分が本来の速度成分からずれるという影響は低減される。
【００４１】
また、本発明によれば、上記第２のサブゴールを達成するため、上記の如く接平面の頻度分布から推定された速度で動く対象の輪郭の方向性の強さや散在性（又は、密集度）等の空間的特徴を得ることが可能である。そのため、推定された速度成分で運動する輪郭に対応する接平面の分布、即ち、接平面のパラメータ空間の部分空間が抽出され、空間的特徴の計測に利用される。このように、空間的な画像特徴を計測するために、ある速度成分で運動する輪郭に対応する接平面の頻度分布を用いることの利点は、様々な動きを持つ複数の対象の中から、特定の並進速度成分で運動する対象だけを選別し、選別された対象の空間的特徴が抽出できることである。
【００４２】
本発明の第２の実施例では、時系列画像中の対象の輪郭やエッジを、時空間中に描く運動軌跡に変換する。そのため、対象の形状や配置等の空間的な特徴と、速度成分のような時間的特徴とを同時に捉えることができる。その結果として、対象の優勢な並進速度が得られるだけではなく、対象の輪郭やエッジに対応する接平面から対象の空間的特徴が抽出される。
【００４３】
また、本発明の第２の実施例では、画像中の輪郭やエッジが離散的かつ直線的に配置されている場合に、これらの輪郭やエッジを一まとまりとして取り扱う。そのため、人間の知覚における群化の効果が取り入れられた画像特徴の定量化が可能になる。
本発明の第２の実施例で抽出される方向性の強さの特徴量は、パターンの空間的特徴量（模様、テクスチャー）の一つである。方向性の強さは、パターンの輪郭、或いは、輪郭の配置の方向性の強さの度合いを表す。直線的な輪郭及び輪郭配置が多いパターンの場合、この特徴値は大きくなる。逆に、様々な輪郭の方向が混じり合ったパターンの場合、この方向性の強さの特徴値は小さくなる。例えば、本発明の第２の実施例では、対象とする画像領域中に、一方向の直線のみ存在する場合に大きくなり、逆に、全ての方向成分が均等に存在する円の場合は小さくなるように、方向性の強さが定義される。
【００４４】
又、輪郭の密集度の特徴量も、パターンの空間的特徴量の一つであり、輪郭の密集の度合いを表す。きめの細かい画像に対し、密集度は大きくなり、逆に、線画等のようにエッジがはっきりしている画像に対し、密集度は小さくなる。
本発明の第３のサブゴールは、上記取得された接平面の交線の頻度分布に基づいて複数の比較的優勢な速度成分を獲得し、複数の対象の動きを計測することによって実現される。
【００４５】
本発明の第３の実施例では、時系列画像中の複数の異なる動きを物体毎に、それらの移動物体が時空間中に描く運動軌跡曲面に接する接平面の分布が求められる。次に、相異なる接平面がなす交線の方向の頻度分布が求められる。等速度かつ等方向に一様に並進する移動物体の運動軌跡に関して相異なり、平行ではない接平面がなす交線の方向は、全て同一であり、かつ、時空間中における移動物体の運動方向に一致するという性質がある。そこで、時系列画像に含まれる複数の異なる動きをもつ物体が等速度で等方向に一様に並進する場合を仮定すると、接平面の交線方向の頻度分布には、夫々の移動物体に対するピークが出現する。従って、本発明の第３の実施例では、この複数のピークを検出し、検出されたピーク毎に速度成分を推定する。その結果として、複数の異なる動きをもつ物体を含む時系列画像から夫々の移動物体に対応する複数の速度成分を得ることが可能になる。
【００４６】
また、本発明の第３の実施例では、時系列画像に含まれる複数の異なる動きをもつ移動物体について、接平面の交線方向の分布を求める。次に、その分布中の複数のピークから推定された各速度成分毎に、他の複数の速度成分を組み合わせた和として表現できるかどうかが判定される。判定の結果、他の複数の速度成分の和として表現できないとされた速度成分だけが最終的な結果として出力される。これにより、本発明の第３の実施例では、複数の動物体について、夫々独立で基本的な速度成分だけが選択、出力される。
【００４７】
本発明の第４のサブゴールは以下の通り実現される。本発明によれば、接平面又は部分平面の頻度分布を、例えば、接平面の法線パラメータが張る空間に射影した分布から、輪郭の法線速度（ノーマルフロー）の分布が得られる。次に、このノーマルフローから、動きの一様性、或いは、動きの特定の成分、例えば、高速成分の割合を計測することが可能である。接平面の分布から法線速度の頻度分布を得ることにより、対象の生成・消滅、オクルージョンやノイズが存在する画像からも、安定かつ正確に法線速度の頻度分布を求めることができる。
【００４８】
従来の一般時系列画像の動きの表現法であるオプティカルフローでは、開口問題の影響を受けるという問題点がある。例えば、観測範囲内（切り出した時空間領域内）に端点の見えない直線エッジが存在し、その直線エッジが一様に並進している場合、対象の真の速度は一意に決定できない。そのため、このような画像構造が含まれる画像において真の速度を推定しようとすると、曖昧で不安定になりやすい。また、対象の並進性が仮定されていたので適用範囲が制限されている。そこで、本発明の第４の実施例では、オプティカルフローではなく、ノーマルフローの頻度分布を求め、その分布から動きに関する特徴量を計算する技術が実現される。その理由は、法線速度は、例えば、上記の端点の見えない直線エッジの場合にも、一意に決定できるからである。その結果として、開口問題の影響を受けることなく、複雑で幅広い動きを捉えることができるようになる。さらに、頻度分布の拡がりから安定かつ簡易に時系列画像中の対象の動きの一様性の特徴量が得られる。
【００４９】
従来技術において、時系列画像中のある画素のノーマルフローを求める際に、空間的、時間的に隣接する画素との濃度差が計算されている。そのため、画像にノイズが重畳している場合には、ノイズの影響を過度に受けるため、着目する対象の動きの特徴量を正確かつ安定に得ることができない。
これに対し、本発明の第４の実施例では、ノーマルフローの頻度分布は、対象の動輪郭が時空間中に描く曲面状の運動軌跡を求め、次に、この運動軌跡に接する接平面の頻度分布を抽出することにより得られる。本発明の第４の実施例によれば、ノーマルフローの頻度分布は運動軌跡に接する接平面の頻度分布として得られる点に着眼されている。即ち、本発明の第４の実施例では、時空間中の曲面として対象の動輪郭が表現され、その曲面に最もよく接する接平面が求められる。このように、従来技術と比較して、広い範囲の情報に基づいてノーマルフローが計算されるので、画像に多少のノイズが縦走している場合でも、安定にノーマルフローを検出できる利点がある。その結果として、画像に付加されるノイズや、対象の生成・消滅等が生じる環境下でも、それらによる影響に応じて動きの特徴を正確かつ安定して計算することができる。
【００５０】
本発明の第４の実施例では、動きの一様性が特徴値として抽出される。この動きの一様性は時空間領域内に含まれている動きの多様性を表す。剛体の運動に対しては高い一様性が示されるが、生成・消滅、変形が激しい非剛体性の対象に対しては低い一様性しか得られない。また、対象が同一の場合でも、画像に加わるノイズの量が増加すると動きの一様性の特徴値は低下する。このため、動きの一様性の特徴値は、剛体性、非剛体性の判定や、ノイズ量の計測などに利用することができる。例えば、本発明の第４の実施例における特定の動きの一様性ｆ２は、時空間領域内で直線的なエッジ（輪郭）が一様に並進する場合、最大値をとる。また、全ての速度、方向の輪郭が同じ割合で存在する場合、例えば、ランダムノイズの場合、ｆ２の値は逆に０に近づくという性質を示す。
【００５１】
また、本発明の第４の実施例では、法線速度成分の分布において、ある速度の大きさ以上の速度成分が占める割合が対象の速さの特徴量として抽出される。このような速度の高速成分は、対象が急速に消滅、或いは、出現するときに生じる場合が多い。また、高速成分は対象表面の濃度値が広範囲で急速に変化する場合にも生じる。よって、この高速成分の割合という特徴量は、対象の急速な生成、消滅や表面濃度値の変化等を検出するため有効である。
【００５２】
さらに、本発明によれば、対象のオクルージョン、生成・消滅に関する時間的特徴が抽出される。そのため、接平面の頻度分布から運動軌跡に接する接平面が検出され、検出された接平面上の運動軌跡の分布が画像として出力される。次に、この運動軌跡の運動方向に沿った断続性又は走行長（ランレングス）から、オクルージョンに関する情報が定義される。これにより、上記本発明の第５のサブゴールが達成される。
【００５３】
このように、オクルージョンの度合いを得るため接平面上の運動軌跡の分布画像を利用することにより次の利点が得られる。即ち、一様に並進する対象の輪郭の一点は、一つの接平面上を移動するという性質があるので、接平面上の運動軌跡の分布を運動方向に追跡することで運動軌跡の断続性を計測することができる。これに対し、一般に、画像上で個々の輪郭点を追跡することにより運動の継続性を計測しようとすると、フレーム間において輪郭点の対応付けが必要になる。しかし、ノイズ等が多い現実の環境化では、このような対応付けが困難であり、安定かつ正確にオクルージョンの度合いを計測できない。
【００５４】
本発明の第５の実施例では、最初に、時系列画像中の複数のフレームに含まれる動的な対象（移動対象）について時空間中の運動軌跡の分布が求められ、次に、運動軌跡が接平面の集合として表現される。動的な対象がオクルージョンを被る場合、オクルージョン部分に対応した対象の運動軌跡には途切れが生じる。よって、対象が画像上で並進運動している場合、オクルージョンの有無によらず、対象の運動軌跡は同一の接平面の集合に変換される。従って、本発明の第５の実施例によれば、接平面上の運動軌跡分布を画像として抽出し、その画像中の運動軌跡を追跡し、走行長を計測することにより、オクルージョンに関する情報を計測できるようになる。
【００５５】
また、本発明の第５の実施例は、一般的なオクルージョン以外にも適用され、例えば、気象レーダ画像に含まれるエコーセルのように、ほぼ大気の流れに沿って移動しながら、生成や消滅を繰り返す対象について適用される。その場合、対象の生成や消滅をオクルージョンであるとみなすことによって、気象レーダ画像中のエコーセルと称される各要素の寿命や出現頻度等の情報が定量化され得る。
【００５６】
オクルージョン率は、対象が見えている（存在している）区間と、見えない（存在していない）区間の長さを計測し、全体の区間に対する見えていない区間の長さの比として計測され得る。これは、例えば、運動物体とカメラの間に障害物が存在するような状況を評価するため有効な特徴値である。運動物体が障害物の後ろ側に回り込むと、その運動物体は見えなくなる。運動物体が障害物の後ろ側から出てくると、運動物体は再び見えるようになる。また、対象に固有の寿命が存在し、出現してから消滅を繰り返す様な場合にも、対象の見え隠れが生じるので、オクルージョン率が有効であると考えられる。気象レーダ画像を対象とした場合、対象が見えている（存在している）区間の長さは、エコーセルの寿命に相当するので、対流セルと称される大気の構造の寿命に対応する指標として用いることができる。
【００５７】
【発明の実施の形態】
以下、本発明がよりよく理解できるように、添付図面を参照して本発明の実施例を詳細に説明する。図面中、同一若しくは類似した構成要素には同一の符号が付されている。
図１は本発明に従って時系列画像から画像特徴を抽出するシステムの構成図である。本システムは、時系列画像の供給源１と画像特徴抽出装置２とを含む。画像特徴抽出装置２は、例えば、通信若しくは記憶媒体等を介して時系列画像供給源１から時系列画像を受ける入力部１０と、バス１２を介して入力部１０に接続され、入力部１０からの時系列画像等の画像データを記憶するフレームメモリ１４とを有する。画像特徴抽出装置２は、画像特徴抽出処理を行うプロセッサ又はプロセッサシステム１６と、プロセッサ１６が実行する画像特徴抽出処理プログラムが格納されているプログラムメモリ１８と、画像特徴抽出処理のためのデータを格納するＲＡＭ２０とを有する。また、画像特徴抽出装置２は、処理結果或いは画像データを表示するためのディスプレイ等の出力装置２２と、オペレータからの指示を受けるためのキーボード／マウスのような入力装置２４と、画像特徴抽出処理プログラムや画像特徴抽出処理結果を格納する記憶装置２６とを更に有する。プロセッサ又はプロセッサシステム１６は、汎用のＣＰＵを利用することができるが、高速演算を実現するためシグナルプロセッサや、画像処理用の専用ハードウェア等を汎用ＣＰＵと共に利用してもよい。
【００５８】
以下、上記の時系列画像から画像特徴を抽出するシステムに実装され得る本発明による画像特徴抽出方法の種々の実施例を説明する。
図２は、本発明の第１の実施例の機能的なシステム構成図である。本実施例では、時系列画像中の複数のフレームから、対象の形状や模様、動きの特徴、さらに生成・消滅等を伴う複雑な非剛体を含む画像の画像特徴を計測する技術が実現される。
本発明の第１の実施例のシステムは、時系列画像データを入力する入力部３０と、時系列画像データから画像特徴量を抽出する処理部１００と、処理部１００による処理結果を更に処理する後処理部４０と、処理部１００及び後処理部４０の処理結果を出力する出力部５０とにより構成される。
【００５９】
図３は、上記本発明の第１の実施例のシステムの動作フローチャートである。以下、図２及び図３を参照して、本発明の第１の実施例を説明する。
時系列画像データが入力部３０に入力される（ステップ１０）。処理部１００は運動軌跡抽出部１０２を有し、運動軌跡抽出部１０２は、入力部３０に入力された時系列画像から画像特徴の計測対象の領域を抽出し、その領域内のエッジや輪郭が描く運動軌跡を抽出する（ステップ１２）。運動軌跡部１０２によって抽出された運動軌跡は時空間メモリ１１０に記憶される。
【００６０】
次に、処理部１００のハフ変換部１０４において、計測対象の領域に関して３次元ハフ変換を実行し、運動軌跡の形状特徴を計測する（ステップ１４）。ハフ変換部１０４のハフ変換によって得られる３次元投票空間は３次元投票空間メモリ１１２に記憶される。
処理部１００の空間射影部１０６は、３次元投票空間に記憶された投票空間を２次元空間に投影し、投影された結果の分布を法線パラメータメモリ空間１１４に格納する（ステップ１６）。法線パラメータメモリ空間１１４に格納された結果の分布は、出力部５０を介してそのまま出力してもよい。
【００６１】
続いて、処理部１００の特徴定量化部１０８は、法線パラメータ空間メモリ１１４に格納されている投票値の分布、並びに、３次元投票空間メモリ１１２に記憶されている３次元投票空間から、時系列画像の時間的特徴及び空間的特徴を定量化する（ステップ１８）。定量化された時間的特徴及び空間的特徴は出力部４０を介してそのまま出力してもよい。
【００６２】
或いは、後処理部４０は、特徴定量化部１０８において定量化された時間的特徴及び空間的特徴の値、特徴量を入力として受け、特徴量に基づいて最初に入力された時系列画像の分類等の後処理を行う（ステップ２０）。後処理部４０による後処理の結果は、出力部５０を介して出力される（ステップ２２）。
出力部５０は、法線パラメータ空間メモリ１１４に格納された投票分布、特徴定量化部１０８によって発生された特徴量、及び、後処理部４０によって発生された時系列画像の分類結果等を受け、ディスプレイ装置やファイル装置に出力する。
【００６３】
次に、処理部１００の各構成要素の動作をより具体的に説明する。
運動軌跡抽出部１０２は、時系列画像から画像特徴の計測対象となる領域を抽出した後、画像中の対象のエッジや輪郭が時空間中に描く運動軌跡を３次元ボリュームデータの形で構築する。
運動軌跡を表現する３次元ボリュームデータの一例として、例えば、時系列画像Ｉのフレーム間の差分Ｉ（ｘ，  ｙ，  ｔ＋１）−Ｉ（ｘ，  ｙ，  ｔ）  を計算し、その差分の正値、負値、又は、絶対値を用いた時空間差分画像Ｄ（ｘ，ｙ，ｔ）が利用できる。この時空間差分画像Ｄ（ｘ，ｙ，ｔ）が運動軌跡として時空間メモリ１１０に記憶される。差分の正値を用いる場合、時空間差分画像Ｄ（ｘ，ｙ，ｔ）は、
【００６４】
【数４】
0003575293.tif 000007
【００６５】
のように計算される。これにより、柱面状の運動軌跡が生成され、画像中のエッジや輪郭は柱の底曲線として表される。時空間差分画像Ｄ（ｘ，ｙ，ｔ）の濃淡値の大きさは、画像中のエッジや輪郭の輝度の空間分布に見られる不連続性の大きさ及び動きの量に略比例する。尚、運動軌跡が３次元ボリュームデータとして抽出できる方法であれば、上記時空間差分画像の形式以外の任意の方法を利用することが可能である。
【００６６】
次に、ハフ変換部１０４は、運動軌跡に関する特徴を獲得するため、運動軌跡抽出部１０２において抽出された運動軌跡を表す３次元ボリュームデータ、本例では時空間差分画像Ｄ（ｘ，ｙ，ｔ）、を入力として、パラメータ空間（投票空間とも称する）内で投票を行い、投票分布を発生する。
本実施例では、特に、時空間中の運動軌跡に接し得る接平面の分布（或いは、運動軌跡の部分平面の分布）を３次元ハフ変換によって検出し、接平面の頻度分布を３次元の配列である３次元投票空間メモリ１１２に記憶する。
【００６７】
図４には３次元空間中の極座標表現が示されている。同図に示される如く、３次元空間中の点（ｘｉ  ，ｙｉ  ，ｔｉ  ）を通る平面は、極座標（θ，φ，ρ）を用いて、
0003575293.tif 000008
のように表現することができる。但し、（θ，φ）は平面の法線方向、ρは原点から平面までの最短距離を表す。平面を表す３つのパラメータの張る空間をここでは平面パラメータ空間ＳＰと呼ぶ。式（２）から、３次元空間中の１点（ｘｉ  ，ｙｉ  ，ｔｉ  ）は平面パラメータ空間中の一曲面に対応していることが分かる。図５には時空間領域の１点を通り得る平面のパラメータの分布の様子が示されている。実際には、平面パラメータ空間ＳＰは、微小間隔（Δθ，Δφ，Δρ）で離散化され、離散化された微小空間を要素とする３次元配列に記憶される。本実施例の場合、この３次元配列は３次元投票空間メモリ１１２である。配列の要素はセルと呼ぶ。
【００６８】
次に、投票処理を用いて、時空間差分画像Ｄとして表された対象の領域中の運動軌跡の接平面の分布をパラメータ空間中のセルの値として獲得する。投票処理とは、時空間差分画像Ｄ（ｘ，ｙ，ｔ）の全ての画素について、式（２）で表される曲面を計算し、次に、この曲面が通過するパラメータ空間ＳＰ  中のセルの値を時空間差分画像の画素Ｄ（ｘ，ｙ，ｔ）の値だけ増加させる処理を意味する。全ての画素について投票処理が行われた後、平面パラメータ空間ＳＰ  （θ，φ，ρ）の各セルに集積された投票の合計値は、パラメータ（θ，φ，ρ）をもつ運動軌跡の接平面の強度であるとみなされる。そこで、投票の結果は対象となる接平面の頻度分布を表す。よって、パラメータ空間ＳＰ  中の投票値の分布がピークを形成する場合、そのピークを生ずる座標（θ，φ，ρ）が時空間に含まれる運動軌跡の接平面を表すパラメータに対応する。
【００６９】
空間射影部１０６は、ハフ変換部１０４の処理によって３次元投票空間メモリ１１２に形成された平面パラメータ空間ＳＰ  （θ，φ，ρ）の個々の（θ，φ）について、セルに集積された投票値の最大値をρ方向に探索する。そして、探索によって得られた最大値を２次元配列である２次元法線パラメータ空間メモリ１１４に格納する。このとき、（θ，φ）が張る空間を法線パラメータ空間ＳＮ  （θ，φ）と称する。この法線パラメータ空間ＳＮ  （θ，φ）は、
【００７０】
【数５】
0003575293.tif 000009
【００７１】
のように表される。空間射影処理は、対象領域中の輪郭やエッジが時空間中に描く運動軌跡の接平面の分布を、時間と位置とは無関係に同じ法線方向毎に見たときの分布に統合する働きをもつ。即ち、この統合された分布は時間と位置に関して不変な運動軌跡の接平面の分布を表す。従って、空間射影処理を施すことによって、本発明の第１の実施例において、時間と位置に関して不変な特徴量が得られる。
【００７２】
このようにして得られた法線パラメータ空間ＳＮ  中の投票値分布には、与えられた時系列画像の画像特徴が反映されている。例えば、計測領域内で、対象が一定の速度で一定方向に並進する場合、法線パラメータ空間ＳＮ  には鋭いピークが出現する。孤立したピークが現れる場合、移動する対象のエッジや輪郭は直線的な形状をなし、曲線状に連なったピークが現れる場合、移動する対象のエッジや輪郭は曲線状であることが分かる。さらに、ピークにおける投票値は対応するρ方向のエッジや輪郭が出現する頻度を表す。このように法線パラメータ空間ＳＮ  に得られた投票値分布は、時系列画像の時間的特徴及び空間的特徴を表している。
【００７３】
また、領域内での対象の動きにばらつきがある場合には、法線パラメータ空間ＳＮ  中のピークは拡がりをもつ。さらに、対象が計測領域内でランダムに生成・消滅する場合には、ＳＮ  の投票値はバイアスが付加されたような状態になり、略一様な投票分布が得られる。
或いは、上記の対象の種々の動きが重複して存在する場合には、夫々の動きの影響が法線パラメータ空間ＳＮ  の投票値に加算的に現れる点が有利である。
【００７４】
特徴定量化部１０８は、時系列画像の時間的特徴及び空間的特徴を定量化することにより画像特徴を抽出する。例えば、上記の説明では法線パラメータ空間メモリ１１４に得られた投票値分布によって表される画像特徴を定性的に示しているが、ピークの孤立度、ピークの連結性、ピークでの投票値等を評価することによって特徴が定量化される。
【００７５】
以上の通り、本発明の第１の実施例によれば、時系列画像中に含まれる対象の表面形状や動きなどの画像特徴を計測する際に、画像中の対象若しくは対象のエッジや輪郭が時空間中に描く運動軌跡を抽出する。また、抽出された運動軌跡に接する接平面の頻度分布、若しくは、運動軌跡に含まれる部分平面の頻度分布がハフ変換により獲得される。次に、この頻度分布から時系列画像中の特徴が計測される。従って、時系列画像中の複数のフレームから対象の形状や模様の空間的特徴と、動き等の時間的特徴とを抽出することができる。さらに、生成・消滅等を含む複雑な非剛体の画像特徴も計測され得る。
【００７６】
図６は本発明の第２の実施例の機能的システム構成図である。本実施例では特徴定量化部１０８において時間的特徴の定量化及び空間的特徴の定量化が具体的に実現される。
図６に示された本発明の第２の実施例のシステム構成図と図２に示された本発明の第１の実施例のシステム構成図との相違点は、第２の実施例のシステム構成図の場合に３次元投票空間メモリ１１２の出力が特徴定量化部１０８に接続されている点である。それ以外の構成は全く同じである。従って、以下では、特徴定量化部１０８だけについて説明する。システム内のそれ以外の構成要素、即ち、入力部３０、運動軌跡抽出部１０２、ハフ変換部１０４、空間射影部１０６、時空間メモリ１１０、３次元投票空間メモリ１１２、法線パラメータ空間メモリ１１４、後処理部４０及び出力部５０の構成並びに動作は、本発明の第１の実施例のシステムの場合と同じであるので改めて説明はしない。
【００７７】
図７は本発明の第２の実施例における特徴定量化部１０８の構成図である。特徴定量化部１０８は、ハフ変換部２０２により得られた３次元投票分布及び空間射影部１０６により得られた法線パラメータ空間投票分布から、投票分布の特徴を定量化することにより、時系列画像の画像特徴を抽出する。本例の場合、時間的特徴として、最も優勢な並進速度成分という特徴を定量化し、空間的特徴として画像中の対象の輪郭及びエッジの空間特徴を定量化する。勿論、ここで説明する以外の種々の特徴量を定量化することができる。
【００７８】
空間射影部１０６によって２次元の法線パラメータ空間メモリ１１４に格納された投票分布は、計測対象の領域（対象領域とも言う）中の輪郭やエッジが時空間中に描く運動軌跡の接平面を、平面の法線方向毎に見たときの頻度分布である。対象が同一の方向に一定の速度で並進する場合、図８に示されるように、接平面の交線の方向が全て対象の運動の方向に一致するという性質がある。そこで、本発明の第２の実施例では、この接平面の交線の性質を利用して、交線頻度分布取得部１５０は接平面が形成する交線の頻度分布を求め、交線頻度分布メモリ１５１に格納する。次に、並進速度取得部１５２は、交線頻度分布メモリ１５１に格納された頻度分布の中で最も頻度の高い交線の方向から対象領域内の最も優勢な並進速度成分を求める。
【００７９】
図９は直線の表現方法を説明する図である。本実施例では、交線の方向は、同図に示されるように、原点を通る交線がｘ−ｙ平面に射影されたときにｘ軸となす角αと、ｘ−ｙ平面（画像平面）となす角βとを用いて、
ｌｘ  ＝ｘ２  −ｘ１  ＝ｃｏｓα・ｃｏｓβ              （７）
ｌｙ  ＝ｙ２  −ｙ１  ＝ｓｉｎα・ｃｏｓβ              （８）
ｌｔ  ＝ｔ２  −ｔ１  ＝ｓｉｎβ                        （９）
と表現される。但し、
０≦α＜２π
０＜β＜π／２
である。ここで、交線の頻度分布を表す空間を、α、βの二つのパラメータの張る空間として定義し、この空間を交線パラメータ空間ＳＬ  とする。尚、交線上にある異なる２点をＰ１  （ｘ１  ，ｙ１  ，ｔ１  ）及びＰ２  （ｘ２  ，ｙ２  ，ｔ２  ）とする。
【００８０】
２点Ｐ１  及びＰ２  について式（２）を連立して解き、式（７）〜（９）を代入することにより、法線パラメータ空間ＳＮ  と交線パラメータ空間ＳＬ  の関係を
β＝−ｔａｎ−１｛ｔａｎφ・ｃｏｓ（α−θ）｝          （１０）
のように得ることができる。
二つの接平面は法線パラメータ空間ＳＮ  中の２点として表され、その２点を夫々交線パラメータ空間ＳＬ  に変換すると、式（１０）で表される曲線になる。接平面の交線の方向は、式（１０）で表される曲線の交点として得られる。
【００８１】
本発明の第２の実施例では、法線パラメータ空間ＳＮ  中の全ての要素又はセル（θ，φ）について、式（１０）の曲線が通る交線パラメータ空間ＳＬ  内のセルに、法線パラメータ空間ＳＮ  （θ，φ）の値が投票される。このような投票、即ち、別のハフ変換を実行することにより、対象物体のある速度成分を表現する対象領域に含まれ得る対象の速度成分が、交線パラメータ空間ＳＬ  中の投票分布に反映される。
【００８２】
次に、並進速度取得部１５２は、交線パラメータ空間ＳＬ  中の投票分布のピークを検出し、このピークの座標値（αＰ  ，βＰ  ）より、対象領域中の対象物体の最も優勢な並進速度成分を求める。この動きの方向は、
αＰ                              （１１）
として得られ、速度の大きさＶは、
Ｖ＝１／ｔａｎβＰ                （１２）
と得られる。ピークを示す投票値ＳＬ  （αＰ  ，βＰ  ）は対象領域内に速度Ｖ、方向αＰ  の並進速度成分が存在する確からしさを表す情報である。並進速度成分は時間的特徴、特に、動きの特徴を表す特徴量である。  次に、空間的特徴を定量化するため、拘束曲面抽出部１５４が動作する。拘束曲面抽出部１５４は、並進速度取得部１５２において得られた並進速度成分を有する輪郭及びエッジが描く運動軌跡に接する接平面の分布を、３次元投票空間メモリ１１２に格納された接平面の分布から抽出する。
【００８３】
対象領域中の並進速度成分を（αＰ  ，βＰ  ）で表すと、式（９）から接平面の法線方向のパラメータθ、φの間には、
φ＝−ｔａｎ−１｛ｔａｎβＰ  ／ｃｏｓ（αＰ  −θ）｝          （１３）
のように、速度成分によって一意に決定できる関係がある。この関係から、並進速度成分（αＰ  ，βＰ  ）をもつ対象の輪郭及びエッジに対応する接平面分布は、θ−φ−ρ空間中において拘束曲面上に限定される。図１０には一様な並進速度成分をもつ対象に対応する接平面分布の範囲、即ち、拘束曲面がパラメータ空間中に示されている。
【００８４】
拘束曲面抽出部１５４は、一様な並進速度成分をもつ対象に対応する接平面分布が拘束曲面上に限定されるという性質に基づいて、拘束曲面上の接平面分布ＣＳを、
0003575293.tif 000010
のように得る。ここで、θは輪郭及びエッジの接線方向に対応し、ρは対象領域中の原点から、接線に下ろした垂線の長さに対応する。また、θの接線方向とは、対象領域中の原点から輪郭上の接線に下ろした垂線の方向である。
【００８５】
上記の説明では、拘束曲面抽出部１５４は、並進速度取得部１５２において得られた並進速度成分を利用して空間的特徴を定量化している。しかし、拘束曲面抽出部１５４は、並進速度取得部１５２以外から得られた任意の速度成分を用いて拘束曲面上の接平面分布ＣＳを獲得することができる。
次に、空間的特徴定量化部１５６は、拘束曲面抽出部１５４において得られた拘束曲面上の接平面分布から、画像中の対象の輪郭及びエッジの空間的特徴を定量化する。
【００８６】
第１の空間的特徴として、輪郭及びエッジの方向性に関する特徴が定量化される。第１の空間的特徴は、輪郭及びエッジの接線方向のパラメータに沿った接平面の分布から定量化される。また、第２の空間的特徴として、輪郭及びエッジの空間配置の特徴が定量化される。第２の空間的特徴は、接線方向に垂直な方向の接平面の頻度分布から定量化される。本実施例では、具体的に第１の空間的特徴は輪郭方向の一様性、換言すると、方向性の強さの特徴であり、第２の空間的特徴は輪郭の繰り返し性、換言すると、密集度の特徴である。以下、輪郭方向の一様性の特徴及び輪郭の繰り返し性の特徴の抽出について説明する。
【００８７】
まず、輪郭方向の一様性を求めるため、拘束曲面上の接平面分布ＣＳから、輪郭の接線方向の頻度分布を表す分布ＣＣを求める。
【００８８】
【数６】
0003575293.tif 000011
【００８９】
この分布ＣＣを接線方向ヒストグラム、若しくは、方向性ヒストグラムと呼ぶ。接線方向ヒストグラムＣＣ（θ）は、輪郭が直線的な場合には、その直線の方向に対応するθに鋭いピークを生ずる。一方、輪郭が滑らかな円形に近づくと、ＣＣ（θ）のピークはなだらかになる。そこで、本発明の第２の実施例では、輪郭方向の一様性を、
【００９０】
【数７】
0003575293.tif 000012
【００９１】
と定義する。輪郭が直線的で一様な方向をもつ場合、ｆ１  は１に近づく。
また、輪郭の繰り返し性の特徴を求めるため、本発明の第２の実施例では、拘束曲面上の接平面分布ＣＳのρ方向の分布を考える。ある接線方向θに対するＣＳ（θ，ρ）は、対象領域中の原点から距離ρにある輪郭上の接平面の分布に対応する。そのため、繰り返し性のある輪郭パターンの場合には、ρ方向の接平面分布ＣＳ（θ，ρ）も繰り返し性を有する。そこで、接線方向θをもつ輪郭の繰り返し性ｆ２  を、
【００９２】
【数８】
0003575293.tif 000013
【００９３】
と定義する。また、輪郭全体の繰り返し性ｆ３  は、例えば、
【００９４】
【数９】
0003575293.tif 000014
【００９５】
のように計算できる。
以上の通り、本発明の第２の実施例によれば、時系列画像中に含まれる動きをもつ対象の形状や配置等の空間的特徴を計測する際に、画像中を動く対象の輪郭やエッジが時空間中に描く運動軌跡が抽出される。次に、その運動軌跡に接する接平面の頻度分布が求められ、そこから対象領域中の優勢な並進速度成分が推定される。続いて、推定された速度成分を有する対象の輪郭やエッジに対応する接平面分布から、対象の空間的特徴が計測される。従って、複数のフレームに含まれる顕著な対象の空間的特徴は、ノイズや対象の部分的なオクルージョンに対しロバストに定量化され得る。
【００９６】
次に、上記取得された接平面の交線の頻度分布に基づいて複数の比較的優勢な速度成分を獲得し、複数の対象の動きを計測する本発明の第３の実施例を説明する。
本発明の第３の実施例の機能的システム構成は、図２に示された本発明の第１の実施例のシステム構成と同一である。本発明の第３の実施例と本発明の第１の実施例は、構成上、特徴定量化部１０８だけで相違しているので、以下では、特に、図１１を参照して本発明の第３の実施例による特徴定量化部１０８について説明する。システム内のそれ以外の構成要素、即ち、入力部３０、運動軌跡抽出部１０２、ハフ変換部１０４、空間射影部１０６、時空間メモリ１１０、３次元投票空間メモリ１１２、法線パラメータ空間メモリ１１４、後処理部４０及び出力部５０の構成並びに動作は、本発明の第１の実施例のシステムの場合と同じであるので改めて説明はしない。
【００９７】
本発明の第３の実施例における特徴定量化部１０８は、空間射影部１０６によって法線パラメータ空間メモリ１１４に格納された法線パラメータ空間投票分布から、接平面が形成する交線の頻度分布を求める交線頻度分布取得部１５０と、交線頻度分布取得部１５０で得られた交線の頻度分布が格納される交線頻度分布メモリ１５１とを有する。交線頻度分布取得部１５０及び交線頻度分布メモリ１５１は、上記本発明の第２の実施例で使用された交線頻度分取得部及び交線頻度分布メモリと同じ構成並びに機能を有していてもよい。そこで、以下の説明では、本発明の第２の実施例における交線頻度分取得部及び交線頻度分布メモリを本発明の第３の実施例に適用した場合を考える。そのため、本発明の第３の実施例における交線頻度分布取得部１５０及び交線頻度分布メモリ１５１についての説明は繰り返さない。
【００９８】
また、特徴定量化部１０８は、ピーク検出部１６０及び速度成分計算部１６２を更に有する。ピーク検出部１６０は、交線頻度分布メモリ１５１に格納された交線の頻度分布の中から複数のピークを検出する。ピーク検出部１６０に接続された速度成分計算部１６２は、ピーク検出部１６０で検出された複数のピークの位置から対象の速度成分を推定する。
【００９９】
次に、ピーク検出部１６０が交線頻度分布メモリ１５１に格納されている運動軌跡曲面の接平面がなす交線の頻度分布からピークを検出する処理について詳述する。
本発明の第３の実施例において、ピーク検出部１６０は、交線のパラメータ空間中の交線頻度分布ＳＬ  （α、β）の全てのα、βの組合せについて、次式（１９）が成り立つかどうかを判定する。
【０１００】
0003575293.tif 000015
式（１９）が成立する（αｉ  ，βｉ  ）の組合せをピークの頂点として検出する。式（１９）では、着目している頂点候補点（αｉ  ，βｉ  ）を中心とした半径ｒ内に収まる全ての値ＳＬ  （α、β）よりも、頂点候補の値ＳＬ  （αｉ  ，βｉ  ）の方が大きいときに、頂点候補点（αｉ  ，βｉ  ）がピーク頂点であると判定する。このようにして得られた複数のピークの位置（α１  ，β１  ），（α２  ，β２  ），．．．，（αＮ  ，βＮ  ）が出力される。但し、Ｎは検出されたピークの合計数である。
【０１０１】
尚、複数のピークが得られる方法であれば、上記以外の方法を利用してもよい。
本発明の第３の実施例による速度計算部１６２は、ピーク検出部１６０において検出された交線方向の頻度分布中のピークの位置を入力として受け、時系列画像中の複数の速度成分を計算する。そして、速度計算部１６２は、計算された各速度成分について独立性の判定を行なう。独立性の判定とは、例えば、当該速度成分が他の速度成分の和によって表されるか否かを判定することである。次に、速度計算部１６２は、独立性のない速度成分、即ち、複数の移動物体の合成速度成分を除外して、夫々の移動物体に対応する速度成分だけを選択、出力する。
【０１０２】
本発明の第３の実施例では、ピーク点の位置（αｉ  ，βｉ  ）に対し、式（７）〜（９）を適用することにより、速度のｘ成分及びｙ成分は、夫々、
ｖｘ  ＝ｃｏｓαｉ  ／ｔａｎβｉ                （２０）
ｖｙ  ＝ｓｉｎαｉ  ／ｔａｎβｉ                （２１）
のように得られる。ここで、ｉ番目のピークについての速度成分をｖｉ  ＝（ｖｘ  ，ｖｙ  ）と表すことにする。
【０１０３】
交線方向の頻度分布ＳＬ  には、複数の移動物体の速度成分を合成した速度成分に対応するピークが生じる場合がある。このような合成速度成分が除去され、夫々の移動物体についての基本的な速度成分のみについて出力されることが望ましい。そこで、本発明の第３の実施例では、Ｎ個のピークについて得られた各速度成分ｖ１  ，ｖ２  ，．．．，ｖＮ  に関して、他の速度成分のあらゆる組合せからなる速度成分の和が計算され、この和が各速度成分ｖｉ  に一致するかどうかの独立性のチェックが行われる。全ての速度成分ｖｉ  について独立性のチェックが行われた後、他の速度成分の和として表現できない速度成分、即ち、独立な速度成分だけが複数の移動物体の基本的な速度成分として選択、出力される。
【０１０４】
尚、複数の移動物体の基本的な速度成分を得る方法は上記本発明の第３の実施例による方法に限定されるものではない。
上記の通り、本発明の第３の実施例によれば、移動物体の輪郭が時空間中に描く運動軌跡曲面上の接平面の分布が求められ、次に、相異なる平行ではない接平面のなす交線方向の頻度分布が求められる。続いて、交線方向の頻度分布の複数のピークの位置から夫々の速度成分が推定される。これにより、複数の異なる移動物体が存在する時系列画像から、夫々の物体に対応する複数の速度成分を得ることができる。また、複数のピークから得られる速度成分について独立性を判定することにより、複数の移動物体の合成速度ではなく、各物体の基本的な速度成分だけを抽出することが可能になる。
【０１０５】
以下、本発明の第４の実施例について説明する。
図１２は、本発明の第４の実施例の機能的なシステム構成図である。本実施例では、時系列画像中の複数のフレームから、画像の輪郭の法線速度（ノーマルフロー）の分布を抽出し、抽出されたノーマルフローから、動きの一様性、或いは、動きの特定の成分を計測する技術が実現される。本発明の第４の実施例のシステムは、時系列画像データを入力する入力部３０と、時系列画像データから画像特徴量を抽出する処理部１００と、処理部１００の処理結果を出力する出力部５０とにより構成される。
【０１０６】
本発明の第４の実施例において、処理部１００は、入力部３０において入力された時系列画像から、特徴抽出の対象となる領域を抽出する対象領域抽出部１２２と、対象領域抽出部１２０によって抽出された領域を格納する時空間メモリ１２２とを有する。また、処理部１００は、ノーマルフローの頻度分布を求めるノーマルフロー検出部１２４と、得られたノーマルフローの２変数の頻度分布を記憶する２次元ノーマルフローメモリ１２６と、速度の大きさに関するノーマルフローの頻度分布を記憶する１次元ノーマルフローメモリ１２８とを有する。更に、処理部１００の特徴定量化部１３０は、２次元ノーマルフローメモリ１２６と１次元ノーマルフローメモリ１２８に格納されたノーマルフローの頻度分布から、画像の動きに関する特徴量を定量化する。
【０１０７】
出力部５０は、例えば、特徴定量化部１３０から出力された特徴量をディスプレイ装置やファイル装置に出力する。
図１３は、上記本発明の第４の実施例のシステムの動作フローチャートである。本実施例のシステムは、以下の通り動作する。時系列画像データが入力部３０から処理部１００の対象領域抽出部１２０に入力される（ステップ４０）。対象領域抽出部１２０は、入力された時系列画像から特徴抽出の対象となる対象領域を抽出し、その領域内のエッジや輪郭が描く運動軌跡を得て、時空間メモリ１２２に格納する（ステップ４２）。次に、ノーマルフロー検出部１２４は、対象領域内のノーマルフローの頻度分布を求め、２次元ノーマルフローメモリ１２６及び１次元ノーマルフローメモリ１２８に格納する（ステップ４４）。特徴定量化部１３０は、得られたノーマルフローの頻度分布から時系列画像に含まれる動きに関する特徴量を定量化する（ステップ４６）。最後に、出力部５０は、特徴定量化部１３０において得られた特徴量を出力する（ステップ４８）。
【０１０８】
次に、処理部１００の各構成要素の動作をより具体的に説明する。
対象領域抽出部１２０は、入力部３０によって入力された時系列画像から画像特徴の計測対象となる任意の空間範囲と時間範囲をもつ領域の抽出を行い、時空間メモリ１２２に格納する。
時空間メモリ１２２には、対象領域抽出部１２０によって抽出された時系列画像の領域が、画像空間の２軸と、時間軸との合計３軸、即ち、３次元からなる画像輝度の配列として記憶される。
【０１０９】
ノーマルフロー検出部１２４は、対象領域抽出部１２０により抽出され時空間メモリ１２２に記憶されている時系列画像の領域に含まれる対象物体のノーマルフローを検出し、ノーマルフローの頻度分布を計算し、２次元ノーマルフローメモリ１２６及び１次元ノーマルフローメモリ１２８に記憶させる。
本発明の第４の実施例では、ノーマルフローの頻度分布を得る方法の一例として、接平面の頻度分布を利用する方法を採用する。具体的には以下の４ステップで実現される。
（１）最初に、画像中の対象の動輪郭が、時系列画像の各フレームを時間方向に積層してできる３次元の時空間に描く曲面状の運動軌跡を求める。
（２）次に、曲面状の運動軌跡に接する接平面の分布を求める。
（３）接平面の頻度分布からノーマルフローの２変数の頻度分布を求める。
（４）接平面の頻度分布からノーマルフローの１変数の頻度分布を求める。
【０１１０】
本発明の第４の実施例において、上記のステップ（１）は本発明の第１の実施例において説明した運動軌跡抽出部１０２及び時空間メモリ１１０の組合せと同じ構成及び機能によって実現される。
また、上記のステップ（２）は、本発明の第１の実施例におけるハフ変換部１０４及び３次元投票メモリ１１２の組合せと同じ構成及び機能によって実現される。
【０１１１】
また、本発明の第４の実施例の上記のステップ（３）に関して、本発明の第１の実施例における空間射影部１０６及び法線パラメータ空間メモリ１１４の組合せと同じ構成及び機能を採用することにより、ノーマルフローの２変数の頻度分布を表す２次元ノーマルを２次元ノーマルフローメモリに格納することができる。
【０１１２】
但し、上記のステップ（４）に関しては、ノーマルフローの１変数の頻度分布を別に計算する必要がある。
図１４は、本発明の第４の実施例において、上記のステップ（１）〜（４）を実現するノーマルフロー検出部１２４を詳細に説明するための図である。同図に示す如く、ノーマルフロー検出部１２４は、図２に示された運動軌跡抽出部１０２と、時空間メモリ１１０と、ハフ変換部１０５と、３次元投票空間メモリ１１２と、空間射影部１０６を含む。また、ノーマルフロー検出部１２４は、ノーマルフローの１変数の頻度分布を計算する１変数頻度分布計算部１３２を更に有する。
【０１１３】
ノーマル検出部１２４内の空間射影部１０６の出力は、ノーマルフローの２変数の頻度分布として、２次元ノーマルフローメモリ１２６に格納され、１変数頻度分布計算部１３２の出力は、ノーマルフローの１変数の頻度分布として、１次元ノーマルフローメモリ１２８に格納される。
以下、本発明の第１の実施例に関して既に説明した運動軌跡抽出部１０２と、時空間メモリ１１０と、ハフ変換部１０５と、３次元投票空間メモリ１１２とについては、繰り返し説明しない。
【０１１４】
３次元投票空間メモリ１１２に形成されたパラメータ空間ＳＰ  （θ，φ，ρ）において、パラメータθはノーマルフローの方向に対応し、パラメータφはノーマルフローの速度の大きさに対応し、パラメータρは対応する輪郭の位置を示している。従って、パラメータ空間ＳＰ  （θ，φ，ρ）中の分布をパラメータθとφが張る空間に投影することにより、ノーマルフローの方向と速さをパラメータとする２変数の頻度分布を得ることができる。その一例として、空間射影部１０６の処理の結果としてノーマルフローの２変数の頻度分布ＳＮ  （θ，φ）が、
【０１１５】
【数１０】
0003575293.tif 000016
【０１１６】
として得られる。
一方、ノーマルフローの速さをパラメータとする１変数の頻度分布ＳＬ  は、２次元のノーマルフローの頻度分布ＳＮ  （θ，φ）から、
【０１１７】
【数１１】
0003575293.tif 000017
【０１１８】
のように得ることができる。ここで、ノーマルフローの速度の大きさＶ［画素／フレーム］と、パラメータφ［度］の間には、
Ｖ＝１／ｔａｎφ                                    （２４）
の関係がある。
このようにして得られた２次元のノーマルフローの頻度分布ＳＮ  （θ，φ）は、２次元配列である２次元ノーマルフローメモリ１２６に格納され、１次元ノーマルフローの頻度分布ＳＬ  （φ）は１次元配列である１次元ノーマルフローメモリ１２８に格納される。
【０１１９】
次に、特徴定量化部１３０は、２次元ノーマルフローメモリ１２６及び１次元ノーマルフローメモリ１２８に格納されている２変数及び１変数のノーマルフローの頻度分布から、時系列画像の対象領域に含まれる動きの特徴量を定量化し、出力部５０に渡す。
本発明の第４の実施例において、特徴定量化部１３０は、第１に、ノーマルフローの方向と速さをパラメータとする２変数の頻度分布の拡がりから、対象領域に含まれる対象の動きの一様性に関する特徴を定量化する。図１４にはノーマルフローの頻度分布の拡がりが示されている。同図に示された如くのノーマルフローの頻度分布の拡がりを定量化するため、ノーマルフローの頻度分布の最大値と平均値ＴＮ  との比、或いは、ノーマルフローの頻度分布の最大値と平均値以上の値をもつ分布の面積ＷＮ  との比などから、動きの一様性の特徴量が計算される。具体的には、例えば、以下の例には限定されないがｆ１  からｆ５  に従って特徴量が計算される。
【０１２０】
【数１２】
0003575293.tif 000018
【０１２１】
第２に、ノーマルフローの速さをパラメータとする１変数の頻度分布に関して、ノーマルフローの速さの任意の区間内の頻度の累積値と、全体の頻度の累積値との比から、時系列画像に含まれる対象の動きの特徴が計算される。具体的には、例えば、任意に設定したノーマルフローの速さＶＴＨ［画素／フレーム］以上の速さの動きが全体の動きに占める割合を以下のように計算する方法を利用することができる。
【０１２２】
【数１３】
0003575293.tif 000019
【０１２３】
但し、φｖ  ＝ｔａｎ−１ＶＴＨである。
尚、特徴量の定量化方法は上記の方法に限定されない。
以上の説明の通り、本発明の第４の実施例によれば、時系列画像中の対象の動きはノーマルフローの頻度分布として検出され、ノーマルフローの頻度分布の拡がりから時系列画像中の対象の動きの一様性等の特徴量が定量化される。これにより、時系列画像から、対象の生成・消滅や非剛体性に由来する複雑な動きに関する特徴が定量化され得る。また、本発明の第４の実施例では、ノーマルフローの頻度分布は、時系列画像中の対象の動輪郭が時空間中に描く曲面状の運動軌跡に接する接平面の頻度分布として検出される。これにより、画像に付加されるノイズや対象の生成・消滅等が生じる環境下でも、ノイズや生成・消滅の影響に応じた動きの特徴を安定に計算することができる。
【０１２４】
図１６は本発明の第５の実施例の機能的システム構成図である。本発明の第５の実施例では、対象のオクルージョン、生成・消滅に関する時間的特徴が抽出される。そのため、接平面の頻度分布から運動軌跡に接する接平面が検出され、検出された接平面上の運動軌跡の分布が画像として出力される。次に、この運動軌跡の運動方向に沿った断続性又は走行長から、オクルージョンに関する情報が定義される。
【０１２５】
図１６に示されたシステムは、入力部３０と、処理部１００と、出力部５０とを有する。処理部２００は、入力部３０に入力された時系列画像に対し、対象のオクルージョン、生成・消滅に関する時間的特徴を抽出する処理を行う。処理部１００の処理結果は、出力部５０を介して出力される。
処理部１００は以下の通り構成される。運動軌跡抽出部１０２は入力部３０を介して与えられた時系列画像から、特徴抽出の対象となる領域（即ち、対象領域）を抽出し、次に、その対象領域内のエッジや輪郭が時空間中に描く運動軌跡を抽出する。運動軌跡抽出部１０２で抽出された運動軌跡は、時空間メモリ１１０に記憶される。処理部１００は、運動軌跡に接する接平面分布を求めるハフ変換部１０４と、ハフ変換の結果として得られる接平面分布を記憶する３次元投票空間メモリ１１２とを更に有する。以上の構成要素、運動軌跡抽出部１０２と、時空間メモリ１１０と、ハフ変換部１０４と、３次元投票空間メモリ１１２は、既に図２を参照して説明した本発明の第１の実施例のシステムに採用されている同じ参照番号が付された構成要素と同一の構成並びに機能を有する。従って、これらの構成要素についてのこれ以上の説明は行わない。
【０１２６】
処理部１００は、３次元投票空間メモリ１１２に記憶された接平面分布から対象領域内の動的対象を検出し、その動的対象の接平面分布を出力する動的対象検出部１４０を更に有する。また、処理部１００は、接平面上の運動軌跡分布を時空間メモリ１１０から抽出する接平面画像抽出部１４２と、接平面画像上の運動軌跡を追跡し、オクルージョンに関する情報を計測する運動軌跡追跡計測部１４４とが設けられている。
【０１２７】
図１７は本発明の第５の実施例のシステムの動作フローチャートである。本実施例のシステムは以下の通り動作する。
最初に、入力部３０から時系列画像を運動軌跡抽出部１０２に供給する（ステップ５０）。運動軌跡抽出部１０２は、供給された時系列画像から対象領域に含まれる運動軌跡を抽出し、運動軌跡画像として時空間メモリ１１０に格納する（ステップ５２）。次に、ハフ変換部１０４は、この時空間メモリ１１０に格納された運動軌跡画像から運動軌跡の接平面分布を検出し、３次元投票空間メモリ１１２に格納する（ステップ５４）。動的対象検出部１４０は、３次元投票空間メモリに格納された接平面分布の中から、対象領域内の動的対象に関連した接平面分布を検出する（ステップ５６）。次に、接平面画像抽出部１４２は、検出された接平面に関する平面上の運動軌跡分布を画像として抽出する（ステップ５８）。運動軌跡追跡計測部１４４は、抽出された画像上で、運動軌跡を追跡し、オクルージョン情報を計測し、計測結果を出力部５０に渡す（ステップ６０）。最後に、出力部５０は、運動軌跡追跡計測部１４４から得られたオクルージョン情報を出力する（ステップ６２）。
【０１２８】
次に、処理部１００の機能を詳述する。上記の通り、運動軌跡抽出部１０２、時空間メモリ１１０、ハフ変換部１０４及び３次元投票空間メモリ１１２は、本発明の第１の実施例に関して詳細に説明されている。そこで、以下では、動的対象検出部１４０、接平面画像抽出部１４２及び運動軌跡追跡計測部１４４の説明を行う。
【０１２９】
動的対象検出部１４０は、３次元投票空間メモリ１１２に格納された接平面分布から対象領域内の動的対象を検出し、その動的対象の接平面分布を出力するよう動作する。本発明の第５の実施例では、特に、対象領域中において等速かつ同一方向に並進運動している対象に着目する。そして、その対象の速度成分が推定され、推定された速度成分をもつ対象に由来する接平面分布が獲得される。
【０１３０】
そこで、本発明の第５の実施例では、対象が同一の方向に一定の速度で並進する場合、接平面の交線の方向はすべて対象の運動の方向に一致するという性質を利用する。そして、全ての接平面の組合せによって形成される交線の中で、最も顕著な交線の方向を、対象領域中の最も優勢な並進速度成分として獲得する。
図１８にはかかる動作を実現する、即ち、３次元投票空間メモリ１１２に格納された接平面分布から対象領域中の最も優勢な並進速度成分を獲得する動的対象検出部１４０の構成が示されている。同図に示す如く、動的対象検出部１４０は、空間射影部１０６と、法線パラメータ空間メモリ１１４と、交線頻度分布取得部１５０と、交線頻度分布メモリ１５１と、並進速度取得部１５２とを含む。
【０１３１】
このような動的対象検出部１４０は、図６及び７を参照して説明した本発明の第２の実施例のシステムの一部に実現されている構成と同様に構成することができる。従って、動的対象検出部１４０の各構成要素についてこれ以上の説明は行わない。
既に本発明の第２の実施例に関して説明した通り、並進速度取得部１５２は、交線パラメータ空間ＳＬ  中の投票分布のピークを検出し、このピークの座標値（αＰ  ，βＰ  ）より、対象領域中の対象物体の最も優勢な並進速度成分を求める。この動きの方向は、
αＰ                              （３１）
として得られ、速度の大きさＶは、
Ｖ＝１／ｔａｎβＰ                （３２）
と得られる。
【０１３２】
対象領域中でこのような速度成分が検出された動的対象について、この動的対象の輪郭の運動軌跡に接する接平面の分布を考える。動的対象の並進速度成分が交線の方向（αＰ  ，βＰ  ）として与えられると、接平面の法線方向のパラメータθ、φの間には、既に説明した通り、
φ＝−ｔａｎ−１｛ｔａｎβＰ  ／ｃｏｓ（αＰ  −θ）｝          （３３）
のようにな関係が導かれる。この式（３３）から、獲得されるべき接平面の分布は、３次元空間である平面パラメータ空間ＳＰ  （θ，φ，ρ）中で、式（３３）で表される曲線を底曲線とする柱面上に存在することがわかる。
【０１３３】
接平面画像抽出部１４２は、動的対象検出部１４０において推定された並進速度をもつ輪郭及びエッジが描く運動軌跡の接平面分布から、その節平面上の運動軌跡分布を画像として抽出する。以下、本発明の第５の実施例による一例を説明する。
いま、接線の方向がθ’の輪郭やエッジに関するオクルージョン情報を獲得する場合を考える。式（３３）の関係によって決まるφをφ’とする。また、接平面の頻度分布ＳＰ  （θ’，φ’，ρ）をρ方向に探索したとき、分布がピークをなすときのρを求め、ρ’のように表す。このとき、一つの接平面がパラメータ（θ’，φ’，ρ’）として定まる。ここでは、接平面上の座標を、運動方向と、輪郭・エッジの接線方向の２方向のベクトルを軸として表す。運動方向のベクトルＶは、
0003575293.tif 000020
となり、輪郭・エッジの接線ベクトルｐＳは、
ｐＳ  ＝（−ｓｉｎθ’，ｃｏｓθ’，０）                      （３５）
となる。また、対象領域内の原点から接平面へ下ろした垂線ベクトルｐＯ  は、極座標の式（２）より、
0003575293.tif 000021
と表すことができる。よって、接平面上の位置ベクトルｚ（ｓ，１）は、
ｚ（ｓ，１）＝ｓ・ｐＳ  ＋ｌ・Ｖ＋ｐＯ                          （３７）
と表され得る。但し、ｌは運動方向（時間）のパラメータであり、ｓは輪郭の接線方向（空間）のパラメータである。
【０１３４】
次に、３次元ボリュームデータとして時空間メモリ１１０に記憶されている時空間差分画像Ｄ（ｘ，ｙ，ｔ）を、式（３７）の接平面で切り取ったとき、その断面画像が接平面画像Ｚ（ｓ，ｌ）として獲得される。
0003575293.tif 000022
この接平面画像Ｚ（ｓ，ｌ）において、輪郭上の一点の運動軌跡は、ｌ軸に沿って正の方向に移動する。
【０１３５】
次に、運動軌跡追跡計測部１４４は、接平面画像抽出部１４２において画像として抽出された接平面上の運動軌跡分布を求め、その運動方向に追跡し、オクルージョンに関する情報を計測する。本発明の第５の実施例では、一例として、運動軌跡追跡計測部１４４は以下の通り動作する。
まず、オクルージョンの有無を判断するため一例として以下の方法を採用する。接平面画像Ｚ（ｓ，ｌ）において、各ｓについて、ｌ軸方向に沿って運動軌跡の分布を調べる。運動軌跡が存在するｓについて、運動軌跡の途切れ位置の検出を試みる。対象とする接平面画像の対象領域内において、運動軌跡の途切れが検出されないとき、対象領域内にオクルージョンが存在しないと判定される。運動のとぎれが検出された場合、オクルージョンが存在すると判定される。
【０１３６】
また、オクルージョンの度合いの情報を得るため、接平面画像Ｚ（ｓ，ｌ）において、各ｓについて、ｌ軸方向に沿った運動軌跡の分布を参照して、運動軌跡の出現から消滅までのランレングスを計測する。そのランレングスの平均値をオクルージョンの度合いとして出力する。平均ランレングスが長い場合には、オクルージョンが少なく、平均ランレングスが短くなると、オクルージョンの度合いが大きいと判断され得る。例えば、接平面画像上の平均ランレングスをｌｅｎｇｔｈのように表すと、画像平面上で対象が出現している距離は、
ｌｅｎｇｔｈ・ｃｏｓφ’
となる。
【０１３７】
さらに、オクルージョンの開始点と終了点の位置に関する情報を獲得する方法の例を説明する。
接平面画像Ｚ（ｓ，ｌ）において、各ｓについて、ｌ軸方向に沿った運動軌跡の分布を調べ、対象領域に含まれる接平面画像範囲内において、運動軌跡が消滅する位置（ｓｄ  ，ｌｄ  ）を検出する。これにより、オクルージョンの開始点を知ることができる。式（３８）より得られる（ｓｄ  ，ｌｄ  ）に対応する時空間座標中の空間位置が画像平面上での位置を示す。同様にして、運動軌跡が出現する位置（ｓａ  ，ｌａ  ）を検出することにより、オクルージョンの終了点の位置が得られる。
【０１３８】
上記の通り、本発明の第５の実施例によれば、時系列画像中に含まれる動的対象が被る可能性のあるオクルージョンの有無、頻度及び／又は位置等の情報を計測する際に、時系列画像中を移動ずる対象の輪郭やエッジが時空間中に描く運動軌跡が抽出される。次に、抽出された運動軌跡に接する接平面の頻度分布が獲得され、獲得された接平面上の運動軌跡分布が画像として抽出される。この抽出された画像に関して、運動軌跡の運動方向への断続性を計測することにより、対象のオクルージョンに関する情報が得られる。従って、オクルージョンが存在する状況において、動的対象が安定して追跡され、オクルージョンに関する情報が正確に求められ得る。
【０１３９】
以下、上記の本発明の第１〜第５の実施例の種々の変形例を説明する。
変形例１：
上記実施例の説明では、３次元ボリュームデータとして構築された運動軌跡から、運動軌跡に接する接平面の頻度分布を求める際に、ハフ変換を利用しているが、ハフ変換には限定されない。そこで、運動軌跡から運動軌跡に接する接平面の頻度分布を求める別の方法を説明する。この方法を実現するよう構成された頻度分布抽出部をハフ変換部の代わりに組み込むことが可能である。
【０１４０】
時空間差分画像Ｄ（ｘ，ｙ，ｔ）中のある点（ｘ１  ，ｙ１  ，ｔ１  ）を通る運動軌跡に接する接平面の法線ベクトル（Ｄｘ  ，Ｄｙ  ，Ｄｔ  ）は、例えば、近傍画素間の差分として、
Ｄｘ  ＝Ｄ（ｘ１  ＋１，ｙ１  ，ｔ１  ）−Ｄ（ｘ１  ，ｙ１  ，ｔ１  ）  （３９）
Ｄｙ  ＝Ｄ（ｘ１  ，ｙ１  ＋１，ｔ１  ）−Ｄ（ｘ１  ，ｙ１  ，ｔ１  ）  （４０）
Ｄｔ  ＝Ｄ（ｘ１  ，ｙ１  ，ｔ１  ＋１）−Ｄ（ｘ１  ，ｙ１  ，ｔ１  ）  （４１）
のように計算することができる。これ以外の近傍画素間の差分を用いてもよい。
【０１４１】
次に、法線ベクトル（Ｄｘ  ，Ｄｙ  ，Ｄｔ  ）の大きさを１に正規化した単位法線ベクトル（ｎｘ  ，ｎｙ  ，ｎｔ  ）を
【０１４２】
【数１４】
0003575293.tif 000023
【０１４３】
として計算する。
一般に、点（ｘ１  ，ｙ１  ，ｔ１  ）を通り、単位法線ベクトル（ｎｘ  ，ｎｙ  ，ｎｔ  ）をもつ平面の方程式は、
ｎｘ  （ｘ−ｘ１  ）＋ｎｙ  （ｙ−ｙ１  ）＋ｎｔ  （ｔ−ｔ１  ）＝０    （４５）
と表されるので、平面の極座標表示のパラメータθ、φ、ρは、これらのパラメータを用いた平面の方程式との関係により、
【０１４４】
【数１５】
0003575293.tif 000024
【０１４５】
として計算できる。
このように、時空間差分画像Ｄ（ｘ，ｙ，ｔ）中の各点（ｘ１  ，ｙ１  ，ｔ１  ）について、運動軌跡上の接平面のパラメータ（θ，φ，ρ）が計算できる。よって、接平面のパラメータが張るパラメータ空間を離散化することにより、接平面の頻度分布を３次元配列として確保する。続いて、３次元配列の全ての要素の値をゼロに初期化する。時空間差分画像Ｄ（ｘ，ｙ，ｔ）の各要素（ｘ１  ，ｙ１  ，ｔ１  ）について以上のように接平面のパラメータ（θ，φ，ρ）を計算し、次に、対応するパラメータ空間の配列の要素へ、Ｄ（ｘ１  ，ｙ１  ，ｔ１  ）の値を加算する。全ての時空間差分画像中の画素について、この操作を行った後のパラメータ空間が接平面の頻度分布として得られる。
【０１４６】
ここで説明した方法は、時空間差分画像中の隣接画素の濃度差から接平面の法線方向を求めている。そのため、この方法は、ノイズ等の外乱に対し３次元ハフ変換よりも敏感であると考えられる。
変形例２：
本発明の第２の実施例において、輪郭の接線方向に沿った接平面の分布を抽出する際に、輪郭の接線方向の頻度分布を表すために使用された分布ＣＣは、式（１５）の他に、以下の式、
【０１４７】
【数１６】
0003575293.tif 000025
【０１４８】
のように計算してもよい。但し、式中、ＡはＣＳの分布のρ方向の平均値を表し、ＷＣＳ（θ）は、各θについて、ρ方向にＣＳの分布を順に調べたときに、平均値Ａ以上の値をもつセルの数を表す。
また、輪郭の一様性、又は、方向性の強さは、上記本発明の第２の実施例では、式（１６）に従って定義されているが、
【０１４９】
【数１７】
0003575293.tif 000026
【０１５０】
のように定義してもよい。式中、ＷＨ  は、
【０１５１】
【外２】
0003575293.tif 000027
【０１５２】
以上の値をもつ配列ＣＣ（θ）のセルの数を表す。
また、輪郭の接線方向θの密集度の定義として、式（１７）の代わりに、
【０１５３】
【数１８】
0003575293.tif 000028
【０１５４】
を用いてもよい。例えば、全てのエッジの濃度値が等しく、インパルス形状をしていると仮定する。この場合、ある輪郭の接線方向θに平行な輪郭（エッジ）を考えたとき、単位画素当たりの輪郭（エッジ）の本数は、この場合の輪郭の密集度の定義に相当する。輪郭が１本しか存在しないとき、密集度は最小になり、輪郭の本数が増加すると共に密集度が増加する。密集度が最大となるのは、全ての画素にエッジが存在するときである。このとき、全ての画素は埋め尽くされているので、見た目には方向θのエッジは分からない。
【０１５５】
さらに、ＣＣ（θ）の値は、密集度の逆の意味を表すものとして、「散在度」若しくは「粗さ」の特徴値として使用することができる。
また、本発明の第２の実施例において、定義された輪郭全体の繰り返し性ｆ３  の代わりに、パターン全体の密集度を表す特徴値として、ｆ２  （θ）の最小値、
【０１５６】
【数１９】
0003575293.tif 000029
【０１５７】
を採用してもよい。
また、別の特徴値としてパターン全体の散在度を、ＣＣ（θ）の最大値
【０１５８】
【外３】
0003575293.tif 000030
【０１５９】
のように定義することができる。
変形例３：
本発明の第４の実施例では、接平面又は部分平面の頻度分布からノーマルフローの頻度分布を得る際に、ノーマルフローの２変数の頻度分布ＳＮ  （θ，φ）として、式（２２）を利用している。この式（２２）に代えて、
【０１６０】
【数２０】
0003575293.tif 000031
【０１６１】
のような定義を使用することが可能である。式中、ＡはＳＰ  のρ方向の平均値を表し、例えば、
【０１６２】
【数２１】
0003575293.tif 000032
【０１６３】
のように計算することができる。但し、
【０１６４】
【外４】
0003575293.tif 000033
【０１６５】
は、配列ＳＰ  のρ方向の分割数、即ち、セルの数である。上記本発明の第４の実施例のように、３次元ハフ変換を用いて接平面の頻度分布を計算する場合に、このＡ（θ，φ）は、θ、φによらない一定値である。
変形例５：
本発明の第２の実施例では、接平面の頻度分布から接平面を特定する際に、推定された速度成分に対応する接平面を抽出している。それ以外の方法として、例えば、接平面分布の局所的極大値を探索する方法を採用してもよい。
【０１６６】
【実施例】
以下、上記本発明の第１〜第５の実施例を気象レーダ装置により得られた時系列気象レーダ画像に適用した例を説明する。
適用例１：本発明の第１の実施例の適用例
図１９は、気象レーダ装置により得られた時系列の気象レーダ画像のあるフレーム中の一部において３つの異なる特徴を持つパターンを示している。図１９（ａ）のパターンは、層状のパターンが停滞するパターンであり、移動成分よりも画像表面のランダムな輝度変化が顕著である。図１９（ｂ）は、レーダエコーが筋状を成して流れるパターンである。エコーの一粒の塊には寿命があり、複数のエコー塊の生成、消滅が規則的に生じることで筋状のパターンが維持されている。図１９（ｃ）は、形状と、エコーの配置が共に不定であるパターンを示す。対象領域は画像中に枠で示されている。夫々のパターンについて連続した２０フレームが使用された。
【０１６７】
図２０は、図１９の時系列画像から、運動軌跡抽出部１０２によって生成され、時空間メモリ１１０に蓄積された運動軌跡の分布を示す図である。図１９の３つのパターンに対して夫々異なる特徴を持つ運動軌跡が得られていることが分かる。
さらに、図２０に示された運動軌跡に対し、ハフ変換部１０４によって３次元ハフ変換を施し、次に、空間射影部１０６により２次元空間へ射影した結果が図２１に示されている。図２１の（ａ）〜（ｃ）は、図１９の（ａ）〜（ｃ）の時系列画像に対し法線パラメータ空間メモリ１１４に蓄積された投票分布である。図２１の各点に置いて、白が大きな投票値を示し、黒が小さな投票値を示す。図２１の（ａ）の分布は緩やかなピークがあり、投票値が広範に分布している。これは、ある方向性を持った速度成分が存在し、表面の生成・消滅の影響が大きいことを表している。図２１の（ｂ）の分布からは弓状に連なる顕著なピークが観察できる。これは、図２０の（ｂ）の棒状の運動軌跡を取り巻く接平面の分布に対応し、対象の動きの中に顕著な並進速度成分が存在することが分かる。また、図２１の（ｂ）の下方には投票値が広範に分布している。これは、エコー塊の生成、消滅の影響を表す。図２１の（ｃ）からは、一ヶ所に集中した投票値のピークが観察できる。これは、比較的平坦なエッジを持つエコー塊が、生成・消滅することなく、一様な速度で移動することを意味する。
【０１６８】
図２２には特徴定量化部１０８によって得られた対象領域中の最も優勢な並進速度成分が示されている。速度の方向は図の左から右への方向を０度とし、反時計回りに角度が増える。
以上の通り、本発明の第１の実施例の適用例では、時系列画像中の対象の形状や動きの特徴が図２１に示されるように投票分布の形状として表される。従って、投票分布の形状の違いを観察することにより、時系列画像の時間的特徴並びに空間的特徴を判定することができる。そのため、本発明の第１の実施例によるシステムは、時系列画像パターンの分類、検索等に利用することができる。また、投票分布を特徴定量化部１０８によって客観的に定量化することも可能であり、時系列画像の自動分類等が実現できる。更に、図１９のような気象レーダ画像を対象とすることにより、現在の気象状況に類似した過去の気象レーダ画像を参考にした気象予測に応用することが可能である。
【０１６９】
適用例２：本発明の第２の実施例の適用例
図２３は本発明の第２の実施例を適用する際に利用した時系列画像の１フレームを示す図である。このフレームには、３つのカーブを形成する輪郭が左から右に一様に移動するシーンが映されている。図２４は、この時系列画像に対し得られた拘束曲面上の接平面の頻度分布を表す。３つの輪郭に対応する曲線状の接平面分布ＣＳが観察できる。
【０１７０】
図２５には、かかる接平面分布ＣＳから、本発明の第２の実施例に実装された方法に従って獲得された接線方向ヒストグラムＣＣが示されている。同図から、カーブを形成する輪郭の方向に対応して広がるピークの存在が確認される。但し、画像の離散化の影響を受けているので、ピークの分布自体は滑らかではない。このピークの分布から得られた輪郭方向の一様性ｆ１  は０．０１である。
【０１７１】
図２６は、θ＝０（水平方向）における接平面分布ＣＳのρ方向の分布の例を示す図である。この場合、輪郭方向の繰り返し性ｆ２  は０．９１である。
適用例３：本発明の第３の実施例の適用例
図２７は本発明の第３の実施例による処理例を示す図である。同図の（ａ）に示される如く、時系列画像中に動きの異なる２つの物体が存在する場合を考える。本例では、右から左の方向に１［画素／フレーム］ずつ移動する円と、したから上の方向に１［画素／フレーム］ずつ移動する円とが存在する。図２７の（ｂ）には、同図の（ａ）の時系列画像について、移動物体の運動軌跡曲面の接平面分布ＳＮ  （θ，φ）（＝法線パラメータ空間）の様子が示されている。２つの移動物体の輪郭周りの接平面の分布が２つの曲線状の分布として現れていることが観察できる。図２７の（ｃ）には、同図の（ｂ）の接平面分布から取得された交線方向の頻度分布の様子が示されている。同図の（ｃ）から、明らかに異なる２つのピークの存在が観察される。２つのピークの夫々の位置は、（α１  ，β１  ）＝（０，４５）［ｄｅｇ］  、（α２  ，β２  ）＝（９０，４５）［ｄｅｇ］  として得られる。２つのピーク位置について、式（２０）及び（２１）から、ｖ１  ＝（１，０）［画素／フレーム］、ｖ２  ＝（０，１）［画素／フレーム］として、２つの移動物体の速度成分を得ることができる。尚、本例では、２つのピークしか存在しないので、合成速度成分について考慮する必要はない。
【０１７２】
適用例４：本発明の第４の実施例の適用例
図２８の（ａ）に示されるように格子状に粒子が並び、右上の方向に√２［画素／フレーム］の速度で一様に移動する時系列画像パターンを考える。この基本パターン内では、全ての画像要素が一様に移動しているため、動きの一様性は高いと評価できる。また、この基本パターンに対し、対照用のごま塩雑音を加えた時系列パターンが図２８の（ｂ）に示されている。ごま塩雑音は、全てのフレームでランダムに分布しているので、基本的な格子パターンの動きとは、全く異なる複雑で多様な動きを有する。
【０１７３】
図２９の（ａ）及び（ｂ）は、夫々、図２８の（ａ）及び（ｂ）についてのノーマルフローの頻度分布を示す図である。図２９の（ａ）及び（ｂ）の画像中の各点の濃度がノーマルフローの頻度に対応し、白い点ほど高頻度である。図２９の（ａ）の中央部で見られる曲線状に広がった分布は、図２８の（ａ）の基本パターンのノーマルフロー成分に対応する。この場合、曲線上の点のみが極めて高い値を有し、他の部分から際立っている。そのため、式（２５）〜（２９）に示した動きの一様性の特徴量ｆ１  〜ｆ５  は高い値を示す。これに対し、図２９の（ｂ）には、基本パターンのノーマルフロー成分に対応する曲線状の分布だけではなく、画像に付加されたごま塩雑音に対応したノーマルフロー成分があらゆる方向並びにあらゆる速度の大きさで広く分布している。そのため、基本パターンだけの図２８の（ａ）の場合よりも、動きの一様性の特徴量は低い値を示す。
【０１７４】
図３０には、図２８の（ｂ）のごま塩雑音の量を変化させた場合に生じる動きの一様性の特徴量の推移が示されている。本例では、動きの一様性の特徴量として、式（２９）のｆ５を使用した。図３０の横軸は、画像の全画素数に対するごま塩雑音を付加した画素数の割合である。同図から、ノイズの割合が増加すると共に、動きの一様性が低下する様子が観察できる。
【０１７５】
適用例５：本発明の第５の実施例の適用例
図３１の（ａ）に示される如く、対象が左から右に移動するシーンを考える。このとき、同図の（ｂ）に示されるオクルージョン物が対象と観察者との間に介在する場合、同図の（ｃ）に示されるような画像が観察される。対象の輪郭の一部が描く運動軌跡は同図の（ｄ）に示されている。いま、同図の（ｄ）の接平面上の運動軌跡を抽出すると、同図の（ｅ）に示されるような断続的な運動軌跡分布が得られる。このようにオクルージョン物が不連続な運動軌跡として表されるので、接平面画像上をｌ方向に探索し、運動軌跡のランレングスを計測することにより、オクルージョンの度合いを判定することが可能である。
【０１７６】
適用例６：具体的な応用分野
本発明により抽出される画像特徴量を用いる応用として、気象レーダ画像を用いた気象現象の監視や、気象レーダ画像の検索や分類による気象予報業務、或いは、気象現象解析等の支援がある。
気象レーダ画像は、気象レーダ装置で得られるレーダエコー反射強度を画像化したものである。気象レーダ画像は、エコーパターンと呼ばれるパターンを含み、降水強度の空間分布を表す。一定の時間間隔で観測を行うと、画像の時系列が得られる。エコーパターンは、生成・消滅、変形を伴う非剛体であり、降水現象毎に独特の形状、模様、動きを持つ。
【０１７７】
例えば、冬季に日本海、メキシコ湾上によく現れるように、大陸からの季節風の吹き出しによるロール状対流が生じる場合、気象レーダ画像には、図１９の（ｂ）に示される如くの筋状のエコーパターンが現れる。また、低気圧接近時には、低気圧の前面部分において、図１９の（ａ）に示される如くの層状と呼ばれるエコーパターンが現れる。
【０１７８】
筋状のエコーパターンは、エコーセルと呼ばれる粒状の小さい画像要素が、大気の流れに沿って移動すると共に、数本の筋状のバンドを形成する。個々のエコーセルは、発生・成長・衰弱という特有のライフサイクルをもつ。また、層状のエコーパターンは、比較的広い面積を有し、表面がモヤ状であり、高速に模様が変化するパターンである。
【０１７９】
これらの現象を観測した気象レーダ画像の時系列を入力として、本発明の方法及び装置を用いて特徴量を計算する。その結果として、エコーパターンの違いは特徴量の違いとして反映される。例えば、動きの一様性の特徴量は、層状パターンよりも筋状パターンの場合に大きくなり、高速成分の割合は、逆に層状パターンの方が大きくなるという性質がある。
【０１８０】
そこで、予め過去の気象レーダ画像から、幾つかの代表的な気象現象に対応するエコーパターンを選択し、選択されたエコーパターンから得られる特徴量を記憶しておく。新たに得られた気象レーダ画像から計算される特徴量との比較を行うことによって、入力された新しい気象レーダ画像のエコーパターンがどの気象現象に近いかを判定することができる。これにより、気象現象の自動的な監視を行うことが可能になり、気象現象の解析のツールとして利用できる。
【０１８１】
また、過去の気象レーダ画像、及び、各時刻における特徴量を蓄積したデータベースを構築し、最新の気象レーダ画像から得られる特徴量をキーとして、特徴量の類似する過去の気象レーダ画像を検索することで、現在起こっている気象現象に類似した現象を捉えた気象レーダ画像を検索することができる。次に、検索されたこの気象レーダ画像の時間的変化を気象予報者のようなユーザに提示することによって、気象予報業務の支援を行うことが可能である。
【０１８２】
尚、本発明は、データを保存し、自由に読み出し可能なハードディスク装置等の記憶装置と、データを処理する際に必要なバッファ等の装置と、所望の情報を表示、出力するディスプレイ装置やファイル装置のような出力装置と、これらの記憶装置、バッファ等の装置及び出力装置等を所定の手順に基づいて制御する中央演算装置等を備えたコンピュータ若しくはコンピュータに準ずる装置をハードウェアプラットフォームとして実現され得る。上記種々の本発明の実施例のシステムの処理の全部若しくは一部は、その処理アルゴリズムを記述したプログラム等を、上記ハードウェアプラットフォームに与え、制御、実行させることで実現することが可能である。ここで、上記プログラム等は、コンピュータが処理を実行する際に読み出し可能なＲＯＭ、メモリカード、ＣＤ−ＲＯＭ、フロッピーディスク（ＦＤ）、光磁気ディスク（ＭＯ）、ＤＶＤ或いは、それらに準ずる記憶媒体に記録して、提供、配布することが可能である。
【０１８３】
【発明の効果】
このように、本発明によれば、運動軌跡の接平面の分布から、速度成分（方向及び大きさ）と、動きの一様性と、特定速度成分の割合と、オクルージョンに関する情報とを含む時間的特徴、並びに、輪郭配置の密集度（散在度）と、輪郭配置の歩行性の強さとを含む空間的特徴が共に得られる。
【図面の簡単な説明】
【図１】本発明に従って時系列画像から画像特徴を抽出するシステムの構成図である。
【図２】本発明の第１の実施例の機能的システム構成図である。
【図３】本発明の第１の実施例のシステムの動作フローチャートである。
【図４】本発明の第１の実施例における３次元空間中の極座標表現の説明図である。
【図５】本発明の第１の実施例における時空間領域の１点を通り得る平面のパラメータの分布の様子を示す図である。
【図６】本発明の第２の実施例の機能的システム構成図である。
【図７】本発明の第２の実施例における特徴定量化部の構成図である。
【図８】本発明の第２の実施例における時空間中の運動軌跡の接平面の交線の方向が、運動軌跡の方向に一致することを説明する図である。
【図９】本発明の第２の実施例における３次元空間中の直線の表現方法を説明する図である。
【図１０】一様な並進速度成分をもつ対象に対応する接平面分布の範囲をパラメータ空間中に示す図である。
【図１１】本発明の第３の実施例における特徴定量化部の構成図である。
【図１２】本発明の第４の実施例の機能的システム構成図である。
【図１３】本発明の第４の実施例のシステムの動作フローチャートである。
【図１４】本発明の第４の実施例におけるノーマルフロー検出部の構成図である。
【図１５】ノーマルフローの頻度分布を３次元的に表す図である。
【図１６】本発明の第５の実施例の機能的システム構成図である。
【図１７】本発明の第５の実施例のシステムの動作フローチャートである。
【図１８】本発明の第５の実施例における動的対象検出部の構成図である。
【図１９】（ａ），（ｂ），（ｃ）は、本発明の第１の実施例による適用例で用いた３つの入力時系列画像フレームを示す図である。
【図２０】（ａ），（ｂ），（ｃ）は、本発明の第１の実施例の適用により図１９の時系列画像から得られた運動軌跡分布の様子を示す図である。
【図２１】（ａ），（ｂ），（ｃ）は、本発明の第１の実施例の適用により図１９の時系列画像から法線パラメータ空間メモリに得られた投票分布の様子を示す図である。
【図２２】本発明の第１の実施例の適用により図１９の時系列画像から得られた速度成分を示す図表である。
【図２３】本発明の第２の実施例による適用例で用いた入力時系列画像の例を示す図である。
【図２４】本発明の第２の実施例の適用により図２３の時系列画像から得られた接平面分布の様子を示す図である。
【図２５】本発明の第２の実施例の適用により得られた輪郭の方向ヒストグラムの様子を示す図である。
【図２６】本発明の第２の実施例の適用により得られた輪郭の空間配置の様子を示す図である。
【図２７】本発明の第３の実施例を適用した処理例を示す図である。
【図２８】本発明の第４の実施例による適用例で用いた時系列画像の１フレームの（ａ）基本パターン画像及び（ｂ）ノイズを付加したパターン画像を示す図である。
【図２９】本発明の第４の実施例の適用により得られた（ａ）基本パターンに対するノーマルフローの頻度分布、及び、（ｂ）ノイズを付加したパターンに対するノーマルフローの頻度分布を示す図である。
【図３０】画像に付加されるノイズの量を変化させた場合に、本発明の第４の実施例の適用により得られた動きの一様性の特徴量の推移を示す図である。
【図３１】（ａ）、（ｂ）、（ｃ）、（ｄ）及び（ｅ）は、本発明の第５の実施例の適用例を説明する図である。
【符号の説明】
３０    入力部
４０    後処理部
５０    出力部
１００    処理部
１０２    運動軌跡抽出部
１０４    ハフ変換部
１０６    空間射影部
１０８    特徴定量化部
１１０    時空間メモリ
１１２    ３次元空間投票メモリ
１１４    法線パラメータ空間メモリ
【図１】
0003575293.tif 000034
【図２】
0003575293.tif 000035
【図３】
0003575293.tif 000036
【図４】
0003575293.tif 000037
【図５】
0003575293.tif 000038
【図６】
0003575293.tif 000039
【図７】
0003575293.tif 000040
【図８】
0003575293.tif 000041
【図９】
0003575293.tif 000042
【図１０】
0003575293.tif 000043
【図１１】
0003575293.tif 000044
【図１２】
0003575293.tif 000045
【図１３】
0003575293.tif 000046
【図１４】
0003575293.tif 000047
【図１５】
0003575293.tif 000048
【図１６】
0003575293.tif 000049
【図１７】
0003575293.tif 000050
【図１８】
0003575293.tif 000051
【図１９】
0003575293.tif 000052
【図２０】
0003575293.tif 000053
【図２１】
0003575293.tif 000054
【図２２】
0003575293.tif 000055
【図２３】
0003575293.tif 000056
【図２４】
0003575293.tif 000057
【図２５】
0003575293.tif 000058
【図２６】
0003575293.tif 000059
【図２７】
0003575293.tif 000060
【図２８】
0003575293.tif 000061
【図２９】
0003575293.tif 000062
【図３０】
0003575293.tif 000063
【図３１】
0003575293.tif 000064