(57)【要約】【課題】悪天候の場合であっても、移動対象の動きを安定かつ正確に検出することを課題とする。【解決手段】輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、この輝度変動方程式と移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を用いて、連続する２枚の画像の濃淡値から移動対象の速度ベクトルを推定する。【選択図】図１
2008257382.tif 000002
【特許請求の範囲】
【請求項１】
天候を含む画像を入力する画像入力手段と、
入力された前記画像を時系列に蓄積する画像蓄積手段と、
輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、当該輝度変動方程式と当該移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する目的関数導出手段と、
連続する２枚の画像を前記画像蓄積手段から読み出して、当該２枚の画像の濃淡値を前記目的関数に代入し、前記速度ベクトルを推定する速度ベクトル推定手段と、
推定された当該速度ベクトルを表示する表示手段と、
を有することを特徴とする動き検出装置。
【請求項２】
前記速度ベクトル推定手段は、前記２枚の画像を同じ数のサブブロックにそれぞれ分割して、当該サブブロックごとに前記速度ベクトルを推定し、更に、前記２枚の画像を前記サブブロック数とは異なる数のサブブロックに分割して前記速度ベクトルを推定することを繰り返し行うものであって、
推定された前記速度ベクトルに基づいて、前記移動対象のエネルギー分布を求めるエネルギー分布導出手段と、
前記エネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定する判定手段と、を更に有し、
前記表示手段は、前記類似度が所定の水準に到達した場合に、当該エネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示することを特徴とする請求項１に記載の動き検出装置。
【請求項３】
前記速度ベクトル推定手段は、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを特徴とする請求項１又は２に記載の動き検出装置。
【請求項４】
前記所定のエネルギー分布は、Ｋｏｌｍｏｇｏｒｏｖのエネルギー分布であることを特徴とする請求項２又は３に記載の動き検出装置。
【請求項５】
天候を含む画像を入力する第１のステップと、
入力された前記画像を時系列に画像蓄積手段に蓄積する第２のステップと、
輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、当該輝度変動方程式と当該移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する第３のステップと、
連続する２枚の画像を前記画像蓄積手段から読み出して、当該２枚の画像の濃淡値を前記目的関数に代入し、前記速度ベクトルを推定する第４のステップと、
推定された当該速度ベクトルを表示する第５のステップと、
を有することを特徴とする動き検出方法。
【請求項６】
前記第４のステップは、前記２枚の画像を同じ数のサブブロックにそれぞれ分割して、当該サブブロックごとに前記速度ベクトルを推定し、更に、前記２枚の画像を前記サブブロック数とは異なる数のサブブロックに分割して前記速度ベクトルを推定することを繰り返し行うものであって、
推定された前記速度ベクトルに基づいて、前記移動対象のエネルギー分布を求めるステップと、
前記エネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定するステップと、を更に有し、
前記第５のステップは、前記類似度が所定の水準に到達した場合に、当該エネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示することを特徴とする請求項５に記載の動き検出方法。
【請求項７】
前記第４のステップは、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを特徴とする請求項５又は６に記載の動き検出方法。
【請求項８】
前記所定のエネルギー分布は、Ｋｏｌｍｏｇｏｒｏｖのエネルギー分布であることを特徴とする請求項６又は７に記載の動き検出方法。
【請求項９】
請求項５乃至８のいずれか１項に記載の動き検出方法における各ステップをコンピュータによって実行させることを特徴とする動き検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、悪天候の画像から、移動対象の動きを正確に検出する技術に関する。
【背景技術】
【０００２】
従来、自然環境の変化や、車両，船舶，人などの移動対象の動きを把握するには、通常、監視カメラを屋外の所定場所に設置し、そのカメラで撮影された映像を生で監視する方法や、その映像に画像処理を施した画像をチェックする方法が用いられている。特に、後者の場合、移動対象の動きを正確に把握するには、その画像を処理する技術の性能に大きく左右されることになる。
【０００３】
画像処理を行う技術に関し、ＭＰＥＧ（Moving Picture Experts Group）に代表される符号化の分野で用いられている相互相関法（「ＣＣ法」、「パターンマッチング法」とも称される）を用いて処理する技術が有名である。このＣＣ法は、連続する２枚の画像間の類似性を相互相関関数等により評価して、類似する領域を画像間の移動距離（ベクトル）とみなす方法である。
【０００４】
しかしながら、相互相関法は、その画像間で輝度変動がないことを前提条件とする処理方法であるため、輝度変動が激しい自然環境下における移動対象の動きを検知する場合には適用性が低いものと考えられる。
【０００５】
そこで、非特許文献１では、カメラで撮影した映像や画像の輝度変動を利用して、オプティカルフロー法に基づく移動対象の動きを推定する方法が試みられている。また、非特許文献２では、樹木の揺らぎなどの背景から、前景に存在する車両などの移動対象を検出する技術が開示されている。更に、非特許文献３では、天候が霧の場合における画像処理技術が開示されている。
【非特許文献１】J.L. Barron、外２名、「Systems and experiment performance of optical flow techniques」、Int’l J. Computer Vision、1994年、vol.12、p.43-77
【非特許文献２】J. Kato、外４名、「An HMM/MRF-based stochastic framework for robust vehicle tracking」、IEEE PAMI、2004年、vol.5、no.3、p.142-154
【非特許文献３】S.G. Narasimhan、外１名、「Vision and the atmosphere」、Int’l J. Computer Vision、2002年、no.48、no.3、p.233-254
【非特許文献４】H.W. Haussecker、外１名、「Computing optical flow with physical models of brightness variation」、IEEE Trans. PAMI、vol.23、no.6、p.661-673
【非特許文献５】H. Sakino、「Nonlinear robust velocity estimation of vehicles from a snowfall traffic scene」、IEEE ICPR、2002年、vol.4、p.60-63
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１に記載されたオプティカルフロー法は、映像や画像の輝度変動のみ用いて動きを検出する方法であり、気象現象に関する動きモデルが考慮されていないため、天候の変化を考慮した移動対象の動きを正確に検出できないという問題があった。
【０００７】
また、非特許文献２に記載された推定方法は、天候を晴れとする条件で移動対象を検出する方法であるため、背景と前景とを覆うような雨や雪に覆われた天候の場合には、移動対象の動きを正確に検出できないという問題があった。
【０００８】
更に、非特許文献３では、ビルなどを見え易くする処理方法のみが開示されているため、移動対象の動きを推定できないという問題があった。
【０００９】
なお、非特許文献４では、これらの問題を解決するために、光源の移動モデルなどの物理現象に基づく輝度変動モデルを適用している。しかしながら、風や雪などの降雪現象のように、複数の現象が同時に発生する場合における複合的な物理モデルを考慮していないので、複雑な天候の変化を考慮した場合における移動対象の動きを正確に検知できないという問題があった。
【００１０】
本発明は、上記を鑑みてなされたものであり、悪天候の場合であっても、移動対象の動きを安定かつ正確に検出することを課題とする。
【課題を解決するための手段】
【００１１】
第１の本発明に係る動き検出装置は、天候を含む画像を入力する画像入力手段と、入力された前記画像を時系列に蓄積する画像蓄積手段と、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、当該輝度変動方程式と当該移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する目的関数導出手段と、連続する２枚の画像を前記画像蓄積手段から読み出して、当該２枚の画像の濃淡値を前記目的関数に代入し、前記速度ベクトルを推定する速度ベクトル推定手段と、推定された当該速度ベクトルを表示する表示手段と、を有することを要旨とする。
【００１２】
本発明にあっては、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、この輝度変動方程式と移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を用いて、連続する２枚の画像の濃淡値から移動対象の速度ベクトルを推定するため、悪天候の場合であっても、移動対象の動きを安定かつ正確に検出することができる。
【００１３】
第２の本発明に係る動き検出装置は、請求項１に記載の発明であって、前記速度ベクトル推定手段は、前記２枚の画像を同じ数のサブブロックにそれぞれ分割して、当該サブブロックごとに前記速度ベクトルを推定し、更に、前記２枚の画像を前記サブブロック数とは異なる数のサブブロックに分割して前記速度ベクトルを推定することを繰り返し行うものであって、推定された前記速度ベクトルに基づいて、前記移動対象のエネルギー分布を求めるエネルギー分布導出手段と、前記エネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定する判定手段と、を更に有し、前記表示手段は、前記類似度が所定の水準に到達した場合に、当該エネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示することを要旨とする。
【００１４】
本発明にあっては、２枚の画像を同じ数のサブブロックにそれぞれ分割して、このサブブロックごとに速度ベクトルを推定し、更に、この２枚の画像をこのサブブロック数とは異なる数のサブブロックに分割して速度ベクトルを推定することを繰り返し行うものであって、推定された速度ベクトルに基づいて、移動対象のエネルギー分布を求め、このエネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定し、類似度が所定の水準に到達した場合に、このエネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示するため、より妥当性のある移動対象の動きを検出することができる。なお、一般の画像処理では、サブブロック数は経験的に決定されるが、本発明では、動き検出装置により、所定のエネルギー分布に近似したサブブロック数の画像を決定することも可能となる。
【００１５】
第３の本発明に係る動き検出装置は、請求項１又は２に記載の発明であって、前記速度ベクトル推定手段は、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを要旨とする。
【００１６】
本発明にあっては、速度ベクトル推定手段が、目的関数を演算する際に用いるロバスト関数として、ローレンツ関数を用いるため、目的関数の計算速度を向上することができる。
【００１７】
第４の本発明に係る動き検出装置は、請求項２又は３に記載の発明であって、前記所定のエネルギー分布は、Ｋｏｌｍｏｇｏｒｏｖのエネルギー分布であることを要旨とする。
【００１８】
第５の本発明に係る動き検出方法は、天候を含む画像を入力する第１のステップと、入力された前記画像を時系列に画像蓄積手段に蓄積する第２のステップと、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、当該輝度変動方程式と当該移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する第３のステップと、連続する２枚の画像を前記画像蓄積手段から読み出して、当該２枚の画像の濃淡値を前記目的関数に代入し、前記速度ベクトルを推定する第４のステップと、推定された当該速度ベクトルを表示する第５のステップと、を有することを要旨とする。
【００１９】
第６の本発明に係る動き検出方法は、請求項５に記載の発明であって、前記第４のステップは、前記２枚の画像を同じ数のサブブロックにそれぞれ分割して、当該サブブロックごとに前記速度ベクトルを推定し、更に、前記２枚の画像を前記サブブロック数とは異なる数のサブブロックに分割して前記速度ベクトルを推定することを繰り返し行うものであって、推定された前記速度ベクトルに基づいて、前記移動対象のエネルギー分布を求めるステップと、前記エネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定するステップと、を更に有し、前記第５のステップは、前記類似度が所定の水準に到達した場合に、当該エネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示することを要旨とする。
【００２０】
第７の本発明に係る動き検出方法は、請求項５又は６に記載の発明であって、前記第４のステップは、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを要旨とする。
【００２１】
第８の本発明に係る動き検出方法は、請求項６又は７に記載の発明であって、前記所定のエネルギー分布は、Ｋｏｌｍｏｇｏｒｏｖのエネルギー分布であることを要旨とする。
【００２２】
第９の本発明に係る動き検出プログラムは、請求項５乃至８のいずれか１項に記載の動き検出方法における各ステップをコンピュータによって実行させることを要旨とする。
【発明の効果】
【００２３】
本発明によれば、悪天候の場合であっても、移動対象の動きを安定かつ正確に検出することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について図面を用いて説明する。
【００２５】
〔動き検出装置の構成について〕
図１は、本発明の実施の形態に係る動き検出装置１０を示した構成図である。動き検出装置１０は、天候を含む画像を入力する画像入力部１００と、入力された画像を時系列に蓄積する画像蓄積部１１０と、目的関数を導出する目的関数導出部１２０と、速度ベクトルを推定する速度ベクトル推定部１３０と、天候のエネルギー分布を求めるエネルギー分布導出部１４０と、求められたエネルギー分布の類似度を判定する判定部１５０と、判定結果に基づいて推定された速度ベクトルを表示する表示部１６０とを備えた構成である。
【００２６】
なお、動き検出装置１０は、コンピュータ本体を構成するＣＰＵ，メモリ，ハードディスクなどにより実現され、次に説明する各ステップの動作処理はプログラムで実行される。
【００２７】
〔動き検出装置の処理について〕
続いて、動き検出装置１０を構成する各部１００〜１６０の処理について説明する。なお、画像の輝度値，強度値または濃淡値の意味するところは全て等価であり、計算する際に使用される画像データは画像の濃淡値として以下説明する。
【００２８】
最初に、画像入力部１００には、天候を含む連続した複数の画像が入力される（ステップＳ１）。ここで入力される画像は、雨，霧，雪などの悪天候下で撮影された画像であって、本実施の形態では、図２（ａ）で示す霧のシーンと、図２（ｂ）で示す降雪シーンの画像を用いる。
【００２９】
次に、画像蓄積部１１０は、画像入力部１００で入力された複数の画像を時系列に蓄積する（ステップＳ２）。時系列とは、時間とともに変動する現象の観測値を時間とともに記録した並びを意味するものである。
【００３０】
続いて、目的関数導出部１２０は、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、この輝度変動方程式と移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を導出する（ステップＳ３）。なお、この目的関数の具体的な導出方法については後述する。
【００３１】
速度ベクトル推定部１３０は、連続する２枚の画像を画像蓄積部１１０から読み出して、この２枚の画像の濃淡値をステップ３で導出した目的関数に代入し、オプティカルフロー成分としての輝度変動方程式における速度ベクトルと、気象物理に関する未知数としての異方拡散関数の異方拡散係数，指数関数の指数係数，正弦関数の方向（角度）とを推定する（ステップＳ４）。
【００３２】
具体的には、速度ベクトル推定部１３０は、読み出した連続する２枚の画像を同じ数のサブブロックにそれぞれ分割して、同じ場所に位置するサブブロックの濃淡値を用いて、サブブロックごとに上述の速度ベクトル等を最急降下法における最小化計算を行うことで推定し、更に、この２枚の画像を先のサブブロック数とは異なる数のサブブロックに分割して、同様の方法で速度ベクトル等を推定することを繰り返し行う。
【００３３】
例えば、最初に、連続する２枚の画像を３×３の計９個のサブブロックにそれぞれ分割して、サブブロックごとに速度ベクトル等を推定する。次に、その連続する２枚の画像を４×４の計１６個のサブブロックにそれぞれ分割して、同様に速度ベクトル等を推定する。そして、次は、５×５の計２５個の画像、６×６の計３６個の画像、（以降、省略）、に対して、繰り返し速度ベクトル等を推定する。なお、画像の分割方法については、上記に限られるものではなく、例えば、３×５や５×３であっても、得られる効果に影響を与えるものではない。
【００３４】
エネルギー分布導出部１４０は、ステップＳ４で推定された速度ベクトルに基づいて、移動対象のエネルギー分布を求める（ステップＳ５）。なお、このエネルギー分布を求める方法については後述する。
【００３５】
判定部１５０は、ステップＳ５で求められたエネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定する（ステップＳ６）。
【００３６】
なお、本実施の形態で用いる所定のエネルギー分布とは、後述する風の統計分布の一つであるＫｏｌｍｏｇｏｒｏｖのエネルギー分布である。また、類似性の度合いを判定する方法は、例えば、相互相関関数を利用する。
【００３７】
最後に、表示部１６０は、類似度が所定の水準に到達した場合に、その水準に到達したエネルギー分布を有するサブブロック数に分割された画像の動きベクトル（速度ベクトル）を矢印記号として画面に表示する（ステップＳ７）。
【００３８】
〔目的関数の導出方法について〕
次に、ステップＳ３で説明した目的関数の具体的な導出方法について、その理由を踏まえながら説明する。
【００３９】
一般的に、天候シーンにおける連続する２枚の時系列画像間の輝度変動は非常に複雑である。図２（ａ）で示す霧シーンでは、平均輝度が高く、時間に対する輝度変動は緩やかである。また、奥行き方向への視認性が低く、コントラストが局所的に低いことも特徴である。従い、輝度の拡散現象や波状の濃淡値変化が顕著なので、輝度変動の要因として、拡散現象を示す異方拡散モデルと、波動を示す波モデルを考慮する必要がある。
【００４０】
また、図２（ｂ）で示す降雪シーンや積雪シーンでは、雪が積もった道路や雪粒からの光の乱反射を伴うので、輝度の指数関数モデルを考慮する必要がある。なお、晴天シーンの場合であっても、乾いた道路からの輝度の乱反射が存在するのは言うまでも無い。
【００４１】
従って、気象物理に関する輝度変動モデルとして、異方拡散モデル，波モデル，指数関数モデルを考慮した目的関数を導出する。
【００４２】
最初に、異方拡散モデルについて説明する。異方拡散モデルは、時間の変化に対する輝度の拡散現象を示すものであって、式（１）で表現することができる。これは、空間中において様々な方向に気流の動きが存在し、例えば、霧の濃度は風の影響を強く受けることから、拡散の等方性を仮定できないので、輝度の拡散現象としてモデル化するものである。
【数１】
2008257382.tif 000003
【００４３】
なお、Ｉは２次元の画像輝度を示し、Ｉｘｘ，Ｉｘｙ，Ｉｙｙはそれぞれ水平方向，垂直方向，斜め方向における空間の２次微分である。また、λ１，λ２，λ３はそれぞれ水平方向，垂直方向，斜め方向の拡散係数である。そして、左辺は、輝度の時間変化を表している。
【００４４】
次に、指数関数モデルについて説明する。指数関数モデルは、時間の変化に対する輝度の乱反射を示すものであって、式（２）で表現することができる。
【数２】
2008257382.tif 000004
【００４５】
なお、κは指数係数である。また、δｔはサンプリング時間である。
【００４６】
続いて、波モデルについて説明する。波モデルは、時間の変化に対する輝度の波動を示すものであって、式（３）に示すように、三角関数の時間変化として近似することができる。なお、低周波数と高周波数の２つの成分のみを考慮し、波の方向（角度）θは、べき乗で定義するものとする。また、右辺のＩ，Ｉ２は振幅に対応するものである。
【数３】
2008257382.tif 000005
【００４７】
ここで、撮影された映像に含まれる車や電車などの剛体性を備えた移動対象の動きは、霧や雪の動きよりも、明らかに平行成分を多く含み、且つ、一定以上の面積を有している。従い、上記モデル群により導出される目的関数に対して、更に、剛体の大きさと動きの平行移動性に関する拘束条件としての拘束モデルを与える。
【００４８】
剛体の大きさとは、画像の位置（ｉ，ｊ）と、その近傍の位置（ｉ＋１，ｊ＋１）等との連結数で表現することができる。また、例えば近傍の２本の速度ベクトルａ＝（ａ１，ａ２）と、ｂ＝（ｂ１，ｂ２）とが平行である条件は、式（４）で表現することができる。
【数４】
2008257382.tif 000006
【００４９】
従い、位置（ｉ，ｊ）に対する上下左右，斜上斜下の８点近傍連結の拘束条件ｅ１は、式（５）で表現することができる。
【数５】
2008257382.tif 000007
【００５０】
なお、８点近傍連結以外にも、上下左右の４点近傍連結や、左右の２点近傍連結などの拘束条件を利用することも可能である。
【００５１】
以上説明した式（１）〜式（３）に基づいて、（ｕ，ｖ）を移動対象の速度ベクトルとする輝度変動方程式ｅ０を導き、この輝度変動方程式ｅ０と、式（５）で示す拘束条件ｅ１とをロバスト統計学に基づくロバスト関数に代入した式（６）に示す目的関数を導出する。
【数６】
2008257382.tif 000008
【００５２】
なお、γは拘束条件ｅ１に対する強さの制御を意味しており、本実施の形態では１．０とする。また、ロバスト関数には、ローレンツ関数ρを用いている。
【００５３】
この目的関数から、オプティカルフロー成分としての速度ベクトル（ｕ，ｖ）と、気象物理に関する未知数としての異方拡散係数λ１，λ２，λ３，指数係数κ，正弦関数の方向（角度）θとを計算する。この目的関数を計算する際には、前述したように、式（７）で示す最急降下法を用いて最小化計算を行う。
【数７】
2008257382.tif 000009
【００５４】
なお、ｐは反復回数を示す。
【００５５】
式（７）で示す非線形計算における反復過程では、異方拡散係数と指数係数とは負の値として不自然に算出される可能性がある。そのため、反復過程において、式（８）に示すように、正の値のみとする制約条件を更に与える。
【数８】
2008257382.tif 000010
【００５６】
上述したロバスト推定法を適用することで、ノイズや不連続成分、オクルージョンなどの輝度変動を生じさせる他の要因を外れ値とみなすので、一定水準の精度を有する速度ベクトル等を推定することができる。
【００５７】
〔移動対象のエネルギー分布を求める方法〕
霧シーン及び降雪シーンでは、風の影響により霧や雪の舞いが発生する。故に、以下の風モデルを取り入れることで、オプティカルフローの推定精度を更に向上することができる。
【００５８】
ここで、風モデルを取り入れるため、目的関数から推定された速度ベクトルを用いて、移動対象のエネルギー分布を算出する。移動対象のエネルギーとは、霧や雪が風の影響を受けてその運動エネルギーが決定されると仮定するものであり、１つの粒子が質量ｍ，速度ｕを持っている場合には、式（９）で表現することができる。
【数９】
2008257382.tif 000011
【００５９】
ここで、ｍは霧や雪といった微粒子なので、本実施の形態では０．００１とする。これにより、各速度における画素数を粒子数とみなして、それぞれの速度で積分した結果をエネルギーとして計算する。
【００６０】
〔判定方法について〕
風の統計分布として既に知られたＫｏｌｍｏｇｏｒｏｖのエネルギー分布を用いる。この分布によれば、風の変動（速度）とエネルギーとの関係を両対数表示した場合に、エネルギーは、式（１０）に示すように、波数ｋについて−２．０乗で近似することが統計上確認されている。ただし、この近似は、低周波数帯域、即ち、低速度領域においてのみに得られる特性である。本実施の形態では、推定された天候のエネルギー分布が、このエネルギー分布にどれだけ近くなるかについて評価を行う。
【数１０】
2008257382.tif 000012
【００６１】
〔推定結果について〕
最初に、移動対象の動きの推定結果について説明する。図３は、図２で示す２種類の天候の画像を従来法で推定した速度ベクトルを矢印で表示した図である。図４は、図２で示す２種類の天候の画像を本実施の形態で推定した速度ベクトルを矢印で表示した図である。なお、図３及び図４は、図２で示す○で囲まれた領域のみを拡大して表示するものである（以降、全ての図で同様とする）。また、本実施の形態における従来法とは、ＨＳ（Ｈｏｒｎ＆Ｓｃｈｕｎｃｋ）法、又は、ＬＫ（Ｌｕｃｕｓ＆Ｋａｎａｄｅ）法を用いる方法である（非特許文献５参照）。
【００６２】
従来法の場合、移動対象である走行車両が存在する領域では、進行方向に対してかなり乱れた動きベクトルが検出されており、その走行車両の移動方向を正確に把握することができない。しかしながら、本実施の形態で推定された全ての動きベクトルは、走行車両の進行方向に対して略平行となる方向で表示されており、悪天候の場合であっても、霧や雪の動きの影響を受けることなく、移動対象の動きを従来よりも正確に検出可能であることを確認することができる。
【００６３】
次に、移動対象の移動方向（角度）の推定結果について説明する。図５は、降雪シーンの画像を本実施の形態で推定した方向（角度）を表示した図である。図５（ａ）は、上下左右の４点近傍の速度ベクトルが互いになす角度の平均を計算し、ＳＩＮ関数で評価した結果の３次元表示である。上方向を示す縦軸は角度の大きさを示しており、その値が大きいほど非方向性、即ち、移動方向にバラツキがあることを意味している。走行車両が存在する領域は、白抜きで表現されており、上方向の大きさは略ゼロなので、平行に移動していることを把握することができる。なお、図５（ｂ）は、図５（ａ）の３次元表示を２次元化したものである。
【００６４】
一方、図６は、降雪シーンの画像を従来法で推定した方向（角度）を表示した図である。図６（ａ）はＨＳ法で推定し、図６（ｂ）はＬＫ法で推定した結果である。従来法の場合、図５（ａ）の白抜きに対応する走行車両が存在する領域には、平行なベクトルが存在しないことが確認できる。即ち、従来法では、車と雪との違いが分からないが、本実施の形態では、その差異を明確に把握することが可能である。これは、従来法において、動きの平行性に関する拘束条件を考慮していないためであり、上記結果により、本実施の形態で用いた平行移動性の拘束条件の有効性を確認することができる。
【００６５】
続いて、拘束条件に対する評価結果について説明する。図７は、降雪シーンの画像を本実施の形態で推定した速度ベクトルにおいて、４点近傍の速度ベクトルが互いになす角度の平均値に対する画素の生起確率を表した図である。また、図７（ｂ）は、拘束条件の近傍連結数を、２，６，８と変えた場合を評価したものである。
【００６６】
図７（ａ）によれば、本実施の形態における推定結果は、従来法よりも平行性が高いことが明確に把握可能であり、図７（ｂ）によれば、連結数を増やすことで、走行車両の領域をより反映した結果となることが確認できる。
【００６７】
次に、異方拡散係数及び指数係数の評価結果について説明する。図８は、降雪シーンの画像を本実施の形態で推定した平均化拡散係数分布を表示した図である。また、図９は、降雪シーンの画像を本実施の形態で推定した平均化指数係数分布を表示した図である。図８及び図９によれば、局所的に輝度変動が著しい走行車両の領域において、拡散係数及び指数係数が相対的に高くなっていることが確認することができる。
【００６８】
続いて、エネルギー分布の評価結果について説明する。図１０は、本実施の形態で推定した速度に対するエネルギーの生起確率を示す図である。図１０（ａ）は、霧シーンの画像を本実施の形態で推定した速度に基づき、式（９）を用いてエネルギーを計算したエネルギーの生起確率を示す図であり、図１０（ｂ）は、降雪シーンの場合の分布図である。なお、図１０には、−２．０乗で近似されたＫｏｌｍｏｇｏｒｏｖのエネルギー分布（統計モデル）についても明示している。
【００６９】
なお、図１０に示す推定結果は、サブブロック数を３×３の計９個から２０×２０の計４００個までの範囲で可変させ、それぞれの画像に対して速度ベクトルを推定し、類似度が最も高い１０×１０の計１００個のサブブロック数を用いて推定した結果を記載している。
【００７０】
本実施の形態における推定結果のエネルギーは、両シーンの場合共に、低い速度領域（１．Ｅ−０３〜１．Ｅ−０１）からべき乗を計算すると、約−１．９乗で近似されるので、Ｋｏｌｍｏｇｏｒｏｖのエネルギー分布との類似性が高いことが確認できる。なお、霧シーンと降雪シーンとに基づいて得られたこれらのエネルギー分布が統計モデルと類似していることから、推定された動き成分には、霧と降雪に対して風の変動成分が含まれていることを示唆している。
【００７１】
一方、ＬＫ法の場合、グラフが全体的に高い速度側に分布しているので、風モデルとは異なるものと判断することができる。また、ＨＳ法の場合、霧シーンでは風モデルに近似しているが、降雪シーンではやや高い速度の領域に分布しており、天候の違いによっては、正確に動きを検出できないと判断することができる。本実施の形態で得られた推定結果と従来法とのずれは、走行車両を精度よく検出できないだけでなく、周りの霧や雪の動きについても推定誤差が大きいことを推察可能とするものである。
【００７２】
最後に、本実施の形態で説明した動き検出装置は、天候を霧や雪の場合とするだけではなく、雨や晴天の場合であっても適用可能であり、得られる効果に差異を奏するものではない。また、適用範囲については、流体力学やコンピュータビジョン分野だけではなく、人流や交通流などの一般的な監視や、災害監視などの分野にも適用可能である。
【００７３】
本実施の形態によれば、輝度の拡散現象を示す異方拡散関数と、輝度の乱反射を示す指数関数と、輝度の波動を示す正弦関数とに基づいて、移動対象の速度ベクトルを変数とする輝度変動方程式を導き、この輝度変動方程式と移動対象の平行移動性に基づく拘束条件式とをロバスト統計学に基づくロバスト関数に代入した目的関数を用いて、連続する２枚の画像の濃淡値から移動対象の速度ベクトルを推定するので、悪天候の場合であっても、移動対象の動きを安定かつ正確に検出することができる。
【００７４】
本実施の形態によれば、２枚の画像を同じ数のサブブロックにそれぞれ分割して、このサブブロックごとに速度ベクトルを推定し、更に、この２枚の画像をこのサブブロック数とは異なる数のサブブロックに分割して速度ベクトルを推定することを繰り返し行うものであって、推定された速度ベクトルに基づいて、移動対象のエネルギー分布を求め、このエネルギー分布と、所定のエネルギー分布との類似度をサブブロック数の小さい画像のエネルギー分布から順番に判定し、類似度が所定の水準に到達した場合に、このエネルギー分布を有するサブブロック数に分割された画像の速度ベクトルを表示するので、より妥当性のある移動対象の動きを検出することができる。なお、一般の画像処理では、サブブロック数は経験的に決定されるが、本実施の形態では、動き検出装置１０により、所定のエネルギー分布に近似したサブブロック数の画像を決定することも可能となる。
【００７５】
本実施の形態によれば、速度ベクトル推定部１３０が、目的関数を演算する際に用いるロバスト関数として、ローレンツ関数を用いるので、目的関数の計算速度を向上することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施の形態に係る動き検出装置を示した構成図である。
【図２】霧のシーンと降雪シーンとの画像を示す図である。
【図３】図２で示す２種類の天候の画像を従来法で推定した速度ベクトルを矢印で表示した図である。
【図４】図２で示す２種類の天候の画像を本実施の形態で推定した速度ベクトルを矢印で表示した図である。
【図５】降雪シーンの画像を本実施の形態で推定した方向（角度）を表示した図である。
【図６】降雪シーンの画像を従来法で推定した方向（角度）を表示した図である。
【図７】降雪シーンの画像を本実施の形態で推定した速度ベクトルにおいて、４点近傍の速度ベクトルが互いになす角度の平均値に対する画素の生起確率を表した図である。
【図８】降雪シーンの画像を本実施の形態で推定した平均化拡散係数分布を表示した図である。
【図９】降雪シーンの画像を本実施の形態で推定した平均化指数係数分布を表示した図である。
【図１０】本実施の形態で推定した速度に対するエネルギーの生起確率を示す図である。
【符号の説明】
【００７７】
１０…動きベクトル検出装置
１００…画像入力部
１１０…画像蓄積部
１２０…目的関数導出部
１３０…速度ベクトル推定部
１４０…エネルギー分布導出部
１５０…判定部
１６０…表示部
Ｓ１〜Ｓ７…ステップ
【図１】
2008257382.tif 000013
【図７】
2008257382.tif 000014
【図１０】
2008257382.tif 000015
【図２】
2008257382.tif 000016
【図３】
2008257382.tif 000017
【図４】
2008257382.tif 000018
【図５】
2008257382.tif 000019
【図６】
2008257382.tif 000020
【図８】
2008257382.tif 000021
【図９】
2008257382.tif 000022