(57)【特許請求の範囲】
【請求項１】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、
前記撮像画像の注目点における輝度勾配を演算する輝度勾配演算手段と、
前記輝度勾配から時間勾配を演算する時間勾配演算手段と、
連立方程式を解く方程式演算手段とを有する
画像解析処理手段を備え、
前記連立方程式は、
前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する１階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを変数とし、前記撮像画像の画素の輝度の空間勾配及びその時間微分を係数とするだけでなく、さらに、
前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも変数とし、前記輝度及びその空間勾配の時間に関して２階微分した値をも係数とするものであり、
前記画像解析処理手段が有する方程式演算手段が、前記連立方程式を解くことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する物体運動推定装置。
【請求項２】
前記撮像画像は、二次元の画像であり、少なくとも３画素×３画素の大きさの画像であって、撮像時刻が異なる３枚の画像であり、撮像画像記憶手段に記憶されており、
前記輝度勾配演算手段は、前記撮像画像の注目点Ｐ（ｘ0，ｙ0）における輝度Ｉの輝度勾配Ｉx（ｘ0，ｙ0，ｔ）、Ｉy（ｘ0，ｙ0，ｔ）、Ｉxx（ｘ0，ｙ0，ｔ）、Ｉxy（ｘ0，ｙ0，ｔ）及びＩyy（ｘ0，ｙ0，ｔ）を演算して、式(eq1)に示される観測量ｚ（ｔ）を求めるものであり、
前記時間勾配演算手段は、前記輝度Ｉ及び前記輝度勾配Ｉx、Ｉy、Ｉxx、Ｉxy及びＩyyから時間勾配Ｉt、Ｉtx、Ｉty、Ｉtxx、Ｉtxy、Ｉtyy、Ｉtt、Ｉttx、Ｉtty、Ｉttxx、Ｉttxy及びＩttyyを演算するものであり、
前記方程式演算手段は、線形方程式(eq2)を解くことにより、前記オプティカルフロー［ｕ  ｖ］Tを推定すると同時に、その空間勾配［ｕx  ｖx  ｕy  ｖy］Tも推定するものである、請求項１記載の物体運動推定装置。
【数１】
0005504426.tif 000016
【請求項３】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、
推定モデルに対して、状態変数の逐次推定を行う状態推定処理手段
を有する画像解析処理手段を備え、
前記推定モデルは、
前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する１階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを状態変数に含むだけでなく、
前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも状態変数に含み、
さらに、前記撮像画像上の注目点の空間近傍の輝度を観測量とする観測方程式を含むものであり、
前記状態推定処理手段が、前記状態変数の逐次推定を行うことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する物体運動推定装置。
【請求項４】
前記観測方程式は、システム雑音と観測雑音という雑音を加味したものであり、
前記状態変数の逐次推定は、推定値の共分散を近似するカルマンフィルタを用いて前記状態変数を逐次推定するものである、
請求項３に記載の物体運動推定装置。
【請求項５】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定方法において、
輝度勾配演算手段が、前記撮像画像の注目点における輝度勾配を演算するステップと、
時間勾配演算手段が、前記輝度勾配から時間勾配を演算するステップと、
方程式演算手段が、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する１階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを変数とし、前記撮像画像の画素の輝度の空間勾配及びその時間微分を係数とするだけでなく、さらに、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも変数とし、前記輝度及びその空間勾配の時間に関して２階微分した値をも係数とする連立方程式を解くステップ
を含むことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する物体運動推定方法。
【請求項６】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定方法において、
状態推定処理手段が、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する１階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを状態変数に含むだけでなく、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも状態変数に含み、さらに、前記撮像画像上の注目点の空間近傍の輝度を観測量とする観測方程式を含む推定モデルに対して、前記状態変数の逐次推定を行うステップ
を含むことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する物体運動推定方法。
【請求項７】
コンピュータを、請求項１から４のいずれかの物体運動推定装置として動作させるためのプログラム。
【請求項８】
請求項７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体運動推定装置、物体運動推定方法、プログラム及び記録媒体に関し、特に、撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置等に関する。
【背景技術】
【０００２】
オプティカルフローは、観測者と物体との相対運動によって生じる画像上の見かけの速度分布である。オプティカルフローは、通常、画像上の各点での見かけの速度ベクトルとして表現される。【０００３】
従来の勾配法では、動画像処理において、物体の画像の輝度が移動後も保存されることを仮定し、その保存則を表現したオプティカルフロー方程式と呼ばれる式(1)の偏微分方程式をもとにオプティカルフローを推定している（非特許文献１参照）。ただし、Ｉ(x,y,t)は輝度、（ｘ，ｙ）は画像上の座標、ｔは時刻、［ｕ  ｖ］Tはオプティカルフローを表す。
【０００４】
式(1)だけでは２変数ｕ、ｖを決定する方程式としては拘束条件が不足する。そこで、注目点の近傍でオプティカルフローがすべて等しいと仮定することにより、式(2)というオプティカルフローに関する線形方程式が得られる（非特許文献５参照）。ただし、添字はＩtx=（∂2／∂t∂x）Ｉのように偏微分を表す。この線形方程式がオプティカルフローの本質的な推定原理を与えている。ここに現れる輝度のヘッセ行列(3)は、画像中の物体の角と密接に関連した量であり、線形方程式の解きやすさと関連した判別式det(H)という量は推定されたオプティカルフローの信頼度としても利用されている。
【０００５】
【数１】
0005504426.tif 000002
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】B．K．P．Horn、外１名著，“Determining  optical  flow.”Artificial  Intelligence，17:185-203，1981.
【非特許文献２】S．J．Julier、外１名著，“Unscented  filtering  and  nonlinear  estimation.”Proceedings  of  IEEE，92(3):401-422，2004.
【非特許文献３】A．J．Krener、外１名著.“Nonlinear  observers  with  linearizable  error  dynamics.”SIAM  Journal  of  control  and  optimization，23(2):197-216，1985.
【非特許文献４】K．Lucas、外１名著，“An  interactive  image  registration  techniques  with  an  application  to  stereo  vision.”In  Proceedings  of  7th  IJCAL，pages  674-679，1981.
【非特許文献５】A．Verri、外２名著，“Differential  techniques  for  optical  flow.”Journal  of  optical  Society  of  America  A，7(5):912-922，1990.
【非特許文献６】Y．Wu、外２名著，“Unscented  Kalman  filtering  for  additive  noise  case：Augmented  versus  nonaugmented.”IEEE  Signal  Processing  Letters，12(5):357-360，2005.
【非特許文献７】松永、外２名著.“カルマンフィルタを用いたオプティカルフローの抽出に関する研究. ”電子情報通信学会技術研究報告．PRMU，パターン認識・メディア理解，97(501):15-20，1998.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
オプティカルフローの研究の方向性としては、空間的広がりを利用して空間差分による雑音の影響を低減する研究（Lucasら（非特許文献４参照）など）、ヘッセ行列の正則性が失われてオプティカルフローの推定の信頼性が劣化する画像上の領域に対して、オプティカルフローの滑らかさなどの新たな拘束条件を要請し信頼性の高い部分のオプティカルフローを用いて補間する大域法（非特許文献１など参照）などが挙げられる。【０００８】
しかしながら、多くの改善が提案されているにもかかわらず、勾配法の基本原理はHornらの提案（非特許文献１参照）から25年間以上不変のままである。【０００９】
従来の勾配法の問題点としては、例えば、従来法では、オプティカルフローの並進性（つまり、空間勾配が０）を仮定していることがある。オプティカルフローの並進性の仮定は、本来未知であるオプティカルフローに対する仮定であり、可能な限り緩めることが重要である。【００１０】
ゆえに、本発明は、従来の勾配法における問題点を克服し、撮像画像における画像解析処理によるオプティカルフローの推定に適した物体動作推定装置等を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１に係る発明は、撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、前記撮像画像の注目点における輝度勾配を演算する輝度勾配演算手段と、前記輝度勾配から時間勾配を演算する時間勾配演算手段と、連立方程式を解く方程式演算手段とを有する画像解析処理手段を備え、前記連立方程式は、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する１階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを変数とし、前記撮像画像の画素の輝度の空間勾配及びその時間微分を係数とするだけでなく、さらに、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも変数とし、前記輝度及びその空間勾配の時間に関して２階微分した値をも係数とするものであり、前記画像解析処理手段が有する方程式演算手段が、前記連立方程式を解くことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定するものである。
【００１２】
請求項２に係る発明は、請求項１記載の物体運動推定装置であって、前記撮像画像は、二次元の画像であり、少なくとも３画素×３画素の大きさの画像であって、撮像時刻が異なる３枚の画像であり、撮像画像記憶手段に記憶されており、前記輝度勾配演算手段は、前記撮像画像の注目点Ｐ（ｘ0，ｙ0）における輝度Ｉの輝度勾配Ｉx（ｘ0，ｙ0，ｔ）、Ｉy（ｘ0，ｙ0，ｔ）、Ｉxx（ｘ0，ｙ0，ｔ）、Ｉxy（ｘ0，ｙ0，ｔ）及びＩyy（ｘ0，ｙ0，ｔ）を演算して、式(eq1)に示される観測量ｚ（ｔ）を求めるものであり、前記時間勾配演算手段は、前記輝度Ｉ及び前記輝度勾配Ｉx、Ｉy、Ｉxx、Ｉxy及びＩyyから時間勾配Ｉt、Ｉtx、Ｉty、Ｉtxx、Ｉtxy、Ｉtyy、Ｉtt、Ｉttx、Ｉtty、Ｉttxx、Ｉttxy及びＩttyyを演算するものであり、前記方程式演算手段は、線形方程式(eq2)を解くことにより、前記オプティカルフロー［ｕ  ｖ］Tを推定すると同時に、その空間勾配［ｕx  ｖx  ｕy  ｖy］Tも推定するものである。
【００１３】
請求項３に係る発明は、撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、推定モデルに対して、状態変数の逐次推定を行う状態推定処理手段を有する画像解析処理手段を備え、前記推定モデルは、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する１階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを状態変数に含むだけでなく、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも状態変数に含み、さらに、前記撮像画像上の注目点の空間近傍の輝度を観測量とする観測方程式を含むものであり、前記状態推定処理手段が、前記状態変数の逐次推定を行うことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定するものである。
【００１４】
請求項４に係る発明は、請求項３に記載の物体運動推定装置であって、前記観測方程式は、システム雑音と観測雑音という雑音を加味したものであり、前記状態変数の逐次推定は、推定値の共分散を近似するカルマンフィルタを用いて前記状態変数を逐次推定するものである。
【００１５】
請求項５に係る発明は、撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定方法において、輝度勾配演算手段が、前記撮像画像の注目点における輝度勾配を演算するステップと、時間勾配演算手段が、前記輝度勾配から時間勾配を演算するステップと、方程式演算手段が、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する１階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを変数とし、前記撮像画像の画素の輝度の空間勾配及びその時間微分を係数とするだけでなく、さらに、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも変数とし、前記輝度及びその空間勾配の時間に関して２階微分した値をも係数とする連立方程式を解くステップを含むことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する。
【００１６】
【請求項６】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定方法において、状態推定処理手段が、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する１階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを状態変数に含むだけでなく、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも状態変数に含み、さらに、前記撮像画像上の注目点の空間近傍の輝度を観測量とする観測方程式を含む推定モデルに対して、前記状態変数の逐次推定を行うステップを含むことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する。
【００１７】
請求項７に係る発明は、コンピュータを、請求項１から４のいずれかの物体運動推定装置として動作させるためのプログラムである。
【００１８】
請求項８に係る発明は、請求項７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。【００１９】
なお、請求項２において、線形方程式（ｅｑ２）は過制約の線形方程式である。線形方程式（ｅｑ２）の解は、例えば、最小二乗法などの推定法によって求める。【００２０】
【数１】
0005504426.tif 000003
【発明の効果】
【００２１】
本願の各請求項に係る発明（以下、「本願発明」という。）は、データとして取得された撮像画像に関わる物理的性質を利用した処理を具体的に行うものであり、オプティカルフローの並進性の仮定を必要とせず、また、画像輝度のヘッセ行列の正則性を必ずしも要請せずに、オプティカルフローの推定が可能となる。従来にも、オプティカルフローが並進的でない場合にも、例えば単純拡大や回転など、その運動に関する事前情報が分かっている場合には、オプティカルフローの推定が可能であることは示されている（非特許文献５参照）。しかし、撮像画像の各点の輝度以外に、オプティカルフローに関する事前情報が必要である点には変わりがない。本願発明によれば、このような事前情報を必要とせず、オプティカルフローの推定が可能である。【００２２】
さらに、本願発明によれば、オプティカルフローの推定と同時に、その空間勾配をも推定することが可能となる。オプティカルフローの空間勾配はベクトル場の回転や発散の情報を含み、三次元空間における物体の運動復元を行う上でとても重要な量である。本願発明は、空間勾配という重要な量について、事前に仮定を必要とせず、かつ、オプティカルフローと同時に推定可能とするものである。【００２３】
このように、従来の勾配法では、並進的な動き（つまり、カメラ光軸に垂直な平面上を回転もせずに等速に動くこと）を仮定していた。そのため、光軸に沿った動きや回転を含む運動を計測する際は原理的に精度が劣化することとなる。これに対して、本願発明は、同時に空間勾配をも推定（補正）することができ、原理的に精度が向上する。このように、画像の回転や拡大が直接検出でき、画像の回転や拡大のオプティカルフローへの影響が補正されるので、回転や拡大がある場合のオプティカルフローの精度が向上する。さらに、回転や拡大の影響を用いることで、オプティカルフローが計算可能な画像が増えることとなる。【００２４】
また、従来の勾配法の問題点として、雑音対策に重きを置くあまり、推定原理の本質が見えにくくなっていることがある。例えば、不足する方程式の数を補うために空間的な広がりを利用する方法もあるが、これは、考えている領域内でオプティカルフローが均一であるという仮定を置く。しかし、この仮定は十分小さな領域を考える場合に成り立つが、領域を小さくすると式(1)の方程式の独立性が失われる。領域の大きさによる仮定の成立性と方程式の独立性が相反する。時空間で離散化されたデータを前提とする方法であり、本質的な推定可能性を考えるには不向きである。【００２５】
本願発明によれば、あくまで注目点の近傍だけの情報、言い換えるならば注目点の輝度及びその時空間勾配の情報のみからオプティカルフローを推定することが可能となる。【００２６】
さらに、従来の勾配法には、実装上の問題点がある。従来の勾配法では、輝度情報の時空間微分の陽な計算が必要であり、画像情報からえるためには差分演算が不可避であった。この差分演算は外乱に弱く、オプティカルフローの推定の信頼性に大きく影響する。また、これらの差分情報から線形連立方程式を解くためにヘッセ行列の正則性などが要請される。ここでも逆行列計算による推定の劣化が問題となる。【００２７】
本願の請求項４及び５に係る発明によれば、時空間微分を用いず、かつ、陽な逆行列計算を用いることなく推定を行うことが可能となる。このように、例えばカルマンフィルタを用いる等による雑音対策により、逆行列の陽な計算を回避することができ、結果としてオプティカルフローの計算精度が向上することとなる。
【図面の簡単な説明】
【００２８】
【図１】本願発明の実施例である物体運動推定装置１の概略ブロック図である。
【図２】図１の物体運動推定装置１による画像処理の一例を示すフロー図である。
【図３】実施例２において、瞬時推定の結果を示す図である。
【図４】実施例２において、カルマンフィルタを用いた推定の結果を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本願発明の実施例について説明する。ただし、本願発明は、記載した実施例に限定されるものではない。
【実施例１】
【００３０】
図１は、本願発明の実施例である物体運動推定装置１の概略ブロック図である。物体運動推定装置１は、例えばドライブレコーダである。【００３１】
物体運動推定装置１は、画像を撮像する撮像部３と、撮像部３により撮像された撮像画像を記憶する撮像画像記憶部５と、撮像画像上の各点について、時間又は／及び輝度の量子化を行い計測画像とする量子化部７と、計測画像を記憶する計測画像記憶部９と、計測画像に平滑化を行い平滑化画像とする平滑化部１１と、平滑化画像を記憶する平滑化画像記憶部１３と、量子化画像に基づいてオプティカルフローを推定する画像解析処理部１５と、推定されたオプティカルフローを記憶するオプティカルフロー記憶部１７を備える。【００３２】
撮像部３は、例えば車載カメラである。車載カメラは、基本的に進行方向に向けられるので光軸に沿った動きが避けられない。また、ドライブレコーダのような広角画像では、画像の歪みによる拡大が避けられない。そのため、撮像画像には、大きな誤差が含まれることとなる。【００３３】
量子化部７は、例えば、整数の時刻ｔで、撮像画像の（ｘ，ｙ）のｘとｙが整数の点について、小数点以下を切り捨てて量子化を行い、これを計測画像とするものである。量子化部７の処理により、量子化誤差が加わる。【００３４】
平滑化部１１は、計測画像の各時刻において、例えばガウスフィルタを用いて平滑化を行い、平滑化画像とする。【００３５】
画像解析処理部１３は、平滑化画像の輝度情報を用いてオプティカルフローの推定を行う。撮像画像の注目点における輝度勾配を演算する輝度勾配演算部２１と、輝度勾配から時間勾配を演算する時間勾配演算部２３と、時間勾配を係数とし、オプティカルフロー及びその空間勾配を変数とする連立方程式を解く方程式演算部２５と、撮像画像の注目点の空間近傍の輝度情報を観測量としてフィルタを用いてオプティカルフロー及びその空間勾配を逐次推定する状態推定処理部２７を有する。以下では、画像解析処理部１３の動作を中心に、具体的に説明する。【００３６】
まず、オプティカルフロー方程式の一般化について説明する。ここで、時刻ｔにおける画像上の位置(x,y)における輝度をＩ(x,y,t)とし、Ｉ(x,y,t)は必要とされる回数だけ微分可能であると仮定する。一方、オプティカルフローを［ｕ(x,y,t)  ｖ(x,y,t)］Tで表し、こちらも必要とされる回数だけ微分可能であると仮定する。なお、本実施例では、偏微分をＩt(=∂I／∂t)のように添字にて表すものとする。【００３７】
輝度不変の拘束式(1)は、式(4)のように、輝度Ｉ(x,y,t)の時空間における［ｕ  ｖ  １］T方向への勾配が０であると解釈することもできる。【００３８】
時空間のある点Ｐ(x0,y0,t0)において、式(4)が成立しているとする。さらに、点Ｐの近傍点(x0+Δx,y0+Δy,t0+Δt)においてもオプティカルフローに沿った移動後も輝度が変化しないという条件は、近傍点における方向微分が０という条件として表される。式(5)は、近傍点における輝度、オプティカルフロー及びその空間微分を、微小量Δx，Δy，Δtで近似した条件である。ここで微小量Δx，Δy，Δtの２次の項を無視すると、任意の近傍で式(5)が成立するためには微小量Δx，Δy，Δtの１次の項の係数がそれぞれ０でなければならない。これより、近傍における各点でオプティカルフローに沿った移動後の輝度不変の条件は、式(6a)〜(6c)の３式が成立することとなる。【００３９】
式(6)の一般化されたオプティカルフロー恒等式は、画像上の注目点の近傍において輝度不変であるための条件式をテーラー展開し、その１次の項までで打ち切った条件である。そのように解釈すると、従来の輝度不変の拘束式(4)は、テーラー展開の０次の項に相当することが分かる。また、式(6)の条件は従来のオプティカルフロー方程式(4)をx，y，tについて偏微分することによっても導出ができ、テーラー展開のより高次の項に対応する輝度不変条件も同様に容易に導出することができる。式(7a)〜(7f)は、本実施例で用いる２次の項に対応する条件である。【００４０】
【数３】
0005504426.tif 000004
【００４１】
続いて、オプティカルフローの推定モデルについて説明する。本実施例では、オプティカルフロー方程式の拘束条件を一階非線形連立微分方程式として記述し、動的システムとして扱う。そして、動的システムの状態の可観測性の概念を使って、オプティカルフロー及びその空間勾配を同時に推定する推定原理及び推定可能条件を明らかにする。【００４２】
動的システムとして扱う場合、テーラー展開の次数で制約方程式を選択するのではなく、推定に用いる空間勾配の次数、推定するオプティカルフローの時空間勾配によってシステムを記述するための制約式を選択すべきである。そこで、式(8)の輝度の２次までの空間勾配ｉを用いて、式(9)のオプティカルフローとその空間勾配ｍを推定する。【００４３】
推定に用いない輝度の３次以上の空間勾配と、推定を行わないオプティカルフローの２次以上の空間勾配は、０と仮定する。さらに、オプティカルフローは時不変であると仮定する。すなわち、ｕt＝０，ｖt＝０とする。この仮定は、オプティカルフローの空間勾配も時不変であることを意味する。【００４４】
これらの仮定のもと、画像上のある点Ｐ(x0,y0)における輝度、オプティカルフロー及びその空間勾配を用いて、状態ｑ(t)を式(10)と選ぶ。そして、これら変数の時間微分を記述する拘束式として式(4)，(6a)，(6b)，(7a)，(7b)，(7c)を選ぶことで、オプティカルフローの推定モデルが式(11a)〜(11d)のように得られる。ただし、Ｅm×n，Ｏm×nは、それぞれｍ×ｎの単位行列，零行列を表す。なお、関数の引数ｘ0，ｙ0，ｔは適宜省略する。【００４５】
【数４】
0005504426.tif 000005
【００４６】
システムの可観測性とは、有限時間区間の出力の観測によって状態を一意に決定できるシステムの性質である。具体的には、式(12)の非線形微分方程式で表される動的システムを考える。ただし、状態ｑ(t)∈Ｒn，出力z(t)∈Ｒmである。このとき、非特許文献３を参照して、可観測性について定義し、補題１が成立する。【００４７】
定義：システム(12)が与えられたとする。任意の初期時刻ｔ0、初期状態ｑ0＝ｑ(t0)に対して有限の時刻ｔ1が存在し、観測出力ｚ(t)（t0≦t≦t1）と初期状態がｑ0の近傍にあるという知識から初期状態ｑ(t0)が一意に決定できるとき、システム(12)は状態ｑ0において可観測であるという。【００４８】
補題１：以下の命題(i)、(ii)及び(iii)は等価である。
(i)  与えられたシステム(12)は状態ｑ0において可観測である。
(ii)  ｑ(t)＝ｑ0において（実ベクトルの意味で）、式(13)である。
(iii)  ｑ(t)＝ｑ0において、式(14)である。
ただし、Lie微分は式(15)と、Lie微分の微分形式は式(16)と与えられる。
具体的な状態ｑは、式(17)の非線形連立代数方程式をｑについて解くことによって決定することができる。【００４９】
【数５】
0005504426.tif 000006
【００５０】
式(11)で定義される推定モデルの場合は、出力ｚ(t)から式(10)の状態ｑ(t)が一意に決定できることである。ここで、ｑ(t)はオプティカルフロー［ｕ  ｖ］Tを含むので、可観測であればオプティカルフローが一意に決定できることを意味する。オプティカルフローの推定モデル(11)の非線形動的システムとしての可観測性は、Lie微分を用いて調べることができる。式(11d)よりLie微分の微分形式dhは式(18)である。微分形式dhが上記の構造を持つので、可観測性を調べるためには微分形式dLkfh（k=1，...，11)の第7〜12列の列フルランク性を調べればよい。以下では、行列Ａの第7列以降に対応する部分行列を（Ａ）2で表す。【００５１】
ここで、式(11)のシステムに対する式(16)を計算すると、式(19)となる。ただし、Ｎ、Ｊ、Ｊtは、それぞれ、式(20)、(21)、(22)である。これを用いて実際に微分形式のランクを計算すると、式(23)であるものの式(24)となり、一般の状態ｑ(t)においてシステムは可観測となり、オプティカルフローとその空間勾配ｍが同時に推定可能である。【００５２】
ただし、特別な状態（例えばｑ(t)＝Ｏ12×1）における可観測性は必ずしも保証されないので、以下、可観測性が成立するために輝度、オプティカルフローが満たすべき条件について考察を与える。式(19)の右辺一つ目の行列が常に正則であることより、式(25)が成り立ち、［ＪT  ＪtT］Tが列フルランクとなるために状態ｑ(t)が満たすべき条件を明らかにすればよい。【００５３】
定理１：式(24)が満たされ式(11)のシステムが可観測となるための十分条件は、以下の(i)、(ii)の２つの条件のいずれかが成立することである。
(i)  輝度のヘッセ行列Ｈが式(26)を満たし、さらに式(27a)、(27b)、(27c)のいずれかの付帯条件を満たすこと（ただし、αは任意の定数）。
(ii)  輝度の１次の空間勾配とその時間微分が式(28)を満たすこと。
なお, 定理１の(i)の３つの付帯条件が満たされない場合でも、オプティカルフロー［ｕ  ｖ］Tの推定は可能である。【００５４】
定理１(i)の式(26)の条件は、画像の輝度のみから推定可能性が決まる条件で、従来から知られている輝度のヘッセ行列の正則性と等価である。一方、(ii)の式(28)の条件は、画像の輝度勾配の時間変化によって推定可能性が決まるものであり、これまで知られていない新しい条件である。この条件(28)が十分条件として加わることによって、従来法よりも推定可能条件が緩和され、推定可能な状況、つまり輝度とオプティカルフローの組み合わせが増える。【００５５】
さらに、この式(28)の条件の特筆すべき点として、輝度のヘッセ行列Ｈが零行列であったとしても推定可能な場合がある。すなわち、式(29)は、式(28)の行列を具体的に書き下したものである。この行列は、Ｈ＝Ｏであったとしても、式(30)の場合を除いて一般にランクは２となり、オプティカルフローの推定が行える。式(30)は単純な拡大縮小の場合のオプティカルフロー（特に、並進はα＝０）を表しているので、単純拡大縮小以外の場合は、式(28)の条件によってもオプティカルフローが推定できることを示している。実際、後に数値実験により示すように、画像全体でＨ＝Ｏであるような画像でも、ある点を中心として一定角速度で回転するような場合には、この推定モデルを用いるとオプティカルフローの推定が可能である。この事実は、従来の推定法（非特許文献５参照）ではＨ≠Ｏであってもdet（H）＝０となるだけで推定ができなくなるのとは大きく異なり、この推定モデルの頑健性を示しているといえる。【００５６】
【数６】
0005504426.tif 000007
【００５７】
【数７】
0005504426.tif 000008
【００５８】
さらに、輝度の時空間勾配からオプティカルフローとその空間勾配を求める具体的な計算式を示す。微分形式が列フルランクになるために必要な微分が２回であったことから、瞬時的に推定を行うためには、観測量ｚ(t)の時間に関する２階微分までの情報が必要となる。自明に決定できるｚ(t)を除き、（ｄ／ｄｔ）z(t)，（ｄ2／ｄｔ2）z(t)について式(17)を具体的に書き下すと式(31)となる。なお、式(31)は、請求項の(eq2)に対応する。ここで、式(21)，(22)で定義される行列Ｊ，Ｊtの要素はすべて輝度の時空間勾配であり、観測量ｚ(t)から求めることが可能である。したがって、式(31)の方程式は、推定すべき変数に関して線形方程式となっている。この過制約の線形方程式を、例えば最小二乗法などによって解くことによって、オプティカルフローだけでなく、その空間勾配の瞬時推定も可能である。【００５９】
また、実装の際に必要とされる画像データは、輝度の２次の空間勾配を計算する必要があるので、各時刻において３画素×３画素以上必要である。さらに、輝度の空間勾配の時間に関する２次微分まで必要であるので、時系列方向に３枚以上の画像が必要である。つまり、式(25)に従ってオプティカルフローとその空間勾配を推定するために必要とされる画像サイズは、少なくとも３画素(ｘ方向)×３画素(ｙ方向)×３(ｔ方向)である。【００６０】
図２を参照して、実際の計算手法の一例を説明する。時刻ｔ、座標（ｘ，ｙ）における輝度をＩ(x,y,t)とし、時刻ｔ0における注目点（ｘ0，ｙ0）におけるオプティカルフロー［ｕ  ｖ］Tとその空間勾配を求める。【００６１】
まず、撮像部３が、３画素以上×３画素以上の画像を、時間を異にして３枚以上撮影して撮像画像とし（ステップＳＴ１）、量子化部７が撮像画像上の各点について、時間又は／及び輝度の量子化を行って計測画像とし（ステップＳＴ２）、平滑化部１１が計測画像に平滑化を行い平滑化画像とする（ステップＳＴ３）。ここで、具体的に説明するために、用いるデータは、I(x,y,t)のうち、ｘがｘ0−１、ｘ0、ｘ0＋１、ｙがｙ0−１、ｙ0、ｙ0＋１、ｔがｔ0−２、ｔ0−１、ｔ0を組み合わせた２７画素の輝度であるとする。【００６２】
まず、輝度勾配演算部２１は、輝度勾配を求める（ステップＳＴ４）。計算で求めたデータは、輝度自体も得られたデータから一番確からしい値に修正するため、観測データと区別するためＧと表す。これが、式(32)である。なお、式(32a)、(32b)、(32c)、(32d)、(32e)、(32f)についてはｔ＝ｔ0−２、ｔ0−１、ｔ0である。【００６３】
次に、時間勾配演算部２３は、このデータから時間勾配を求める（ステップＳＴ５）。これが、式(33)である。なお、式(33a)、(33b)、(33c)、(33g)、(33h)、(33i)についてはｔ＝ｔ0−１、ｔ0である。そして、方程式演算部２５は、オプティカルフローとその空間勾配を式（34）の連立方程式を解くことにより求める（ステップＳＴ６）。画像処理装置１３は、求めたオプティカルフロー及びその空間勾配を、オプティカルフロー記憶部１５に保存する（ステップＳＴ７）。【００６４】
【数８】
0005504426.tif 000009
【００６５】
【数９】
0005504426.tif 000010
【００６６】
なお、代表的な仮定としては、時不変性の仮定以外に、並進性の仮定（すなわち、式(35)が成立するとの仮定）がある。提案したものは、時不変性は仮定し、並進性は仮定しないものである。そこで、これらの各仮定をした場合としない場合の組み合わせについて、提案のものと比較する。【００６７】
まず、時不変性の仮定だけでなく、並進性も仮定した場合に対して提案したものと比較した場合、提案したものは、定理１において説明したように、推定可能条件が緩和され、推定可能な状況、つまり輝度とオプティカルフローの組み合わせが増える。【００６８】
次に、時不変性の仮定をせず、並進性の仮定をした場合について検討する。この推定モデルは、比較的時間変動の大きなオプティカルフローの推定に適したものといえる。【００６９】
画像上のある点Ｐ(x0,y0)における輝度、オプティカルフロー及びその空間勾配を用いて、状態ｑ(t)を式(36)として、オプティカルフローの推定モデルを式(37)のようにおく。オプティカルフローの推定モデル(36)の非線形システムとしての可観測性を調べると、推定モデル(37)が可観測となるための必要十分条件は式(38)となる。また、微分形式が列フルランクになるために必要な微分が２回であったことから、瞬時的に推定を行うためには、観測量ｚ(t)の時間に関する２階微分までの情報が必要である。これまでの推定モデルと同様に推定するための代数方程式を求めると式(39)となる。この（過制約の）線形方程式を解くことによって（誤差や雑音の影響を無視すれば）瞬時推定を行うことが可能である。オプティカルフロー［ｕ  ｖ］Tだけであれば、上式の第１〜３行目の線形方程式を解くことでも推定が行えるが、第４行目の制約式によって［ｕt  ｖt］Tの情報を［ｕ  ｖ］Tの推定に反映させることができる。一方、この推定モデルの可観測性条件(38)は、従来の可観測性条件よりも厳しい条件である。これは時不変性の仮定を設けなかったことの代償である。さらに、一般に推定モデルの状態数の増加は推定精度の劣化、計算時間の増加に結びつくので、この推定モデルが従来の推定モデルより有効であるかどうかについては注意が必要である。【００７０】
なお、時不変性の仮定と並進性の仮定のいずれか一方のみを仮定した発明は、次のように特定される。すなわち、物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、前記物体が撮像された少なくとも３枚の撮像画像に対し、時間に関して２階微分した情報を用いてオプティカルフローという情報を画像解析処理して推定する画像解析処理手段を備えた、物体運動装置、である。なお、時不変性と並進性を共に仮定したものは１階微分した情報を用い、時不変性と並進性を共に仮定しないものは３階微分した情報を用いる。【００７１】
次に、時不変性も並進性も仮定しない、最も一般的な推定モデルでは、オプティカルフローが時不変かつ単純拡大・縮小という基本的な状況で推定モデルが輝度Ｉによらず不可観測になる。他の推定モデルでは、輝度に対して可観測であるための制約が課されていた。これに対して、この推定モデルは、輝度に関わらずオプティカルフローの時空間勾配に対して条件が課される点で大きく異なる。実質的にこの推定モデルでは、オプティカルフローの推定ができないことを意味している。【００７２】
このように、時不変性を仮定しない推定モデルは、時不変性を仮定しないモデルに比べ可観測となるための条件が厳しく、実画像への適用には注意が必要である。【００７３】
【数１０】
0005504426.tif 000011
【００７４】
続いて、カルマンフィルタによる推定について説明する。瞬時推定では、輝度の時空間微分の陽な計算が必要であり、画像情報からこれらの情報を得るためには差分演算が不可避であった。この差分演算は外乱に弱く、オプティカルフローの推定の信頼性に大きく影響する。【００７５】
一方、カルマンフィルタは、雑音が加わる動的システムの出力の時系列データから逐次的にシステムの状態を推定する。カルマンフィルタによる推定は、時間解像度は犠牲にするものの、時間微分の陽な計算は不要となり、式(31)の線形方程式を解く際の逆行列計算も不要となり、外乱に強く精度の高い推定が可能となる。【００７６】
オプティカルフローの推定にカルマンフィルタを用い推定精度の向上を試みることは既に行われている（非特許文献７など参照）。しかし、これらの手法は、あくまでも瞬時的な方法に基づいて求まったオプティカルフローの推定値に、時間方向の滑らかさを要請するためにカルマンフィルタを用いているだけであり、式(31)の線形方程式を解くという意味で本質的には瞬時的な推定方法となんら変わらない。【００７７】
そこで、提案した推定モデル(11)にカルマンフィルタを適用し、オプティカルフローを推定する方法について説明する。【００７８】
まず、空間勾配を用いない推定モデルについて説明する。カルマンフィルタの特徴は、時間微分を用いる必要がないことである。一方、提案した推定モデルの観測量は、輝度の空間微分を含んでいる。そのため、これらの推定モデルをそのまま用いては、空間微分の計算は不可欠である。【００７９】
そこで、推定モデルの観測方程式を修正し、カルマンフィルタによる逐次推定において空間微分の計算を不要となる推定モデルを提案する。具体的には、観測量として注目点Ｐ(x0,y0)の空間勾配の代わりに、注目点Ｐ(x0,y0)の空間近傍の輝度Ｉを用いることを考え、新たな観測量〜ｚ(t)として、式(40)という、注目点Ｐ(x0,y0)の３×３近傍の輝度を考える。【００８０】
近傍点の輝度Ｉ(x0+Δx,y0+Δy)（Δx,Δy＞0）は式(41)と近似できるので、〜ｚ(t)は式(42)のように近似できる。ただし、ｎは状態ｑの次数（又は要素数）である。ここで、式(42b)の行列〜Ｈのランクが常に６であり、式(43)によって〜ｚ(t)からｚ(t)が復元できる。このことから、システムの可観測性が維持されることが示せる。このことより、空間勾配の代わりに近傍点の輝度情報を観測量とすることでカルマンフィルタが構成できる。【００８１】
なお、ここでは簡単のため３×３近傍を考えたが、一般のｋ×ｌ近傍（ただし、３×３以上）や矩形以外の近傍に対しても式(42b)の〜Ｈは簡単に計算でき、そのランクが６であればカルマンフィルタが構成できる。【００８２】
【数１１】
0005504426.tif 000012
【００８３】
次に、図１の画像解析処理部１３の状態推定処理部２７による、カルマンフィルタを用いた推定処理について説明する。雑音を付加した式(44)のモデルを考える。ただし、ｆ(q)，〜Ｈは式(11c)，(42b)で与えられ、システム雑音ｕ(t)，観測雑音ｗ(t)は、それぞれ共分散行列がＱ，Ｒのガウス雑音と仮定する。この枠組みにおいて、カルマンフィルタによる逐次推定を行えばオプティカルフローの推定が行える。【００８４】
オプティカルフローの推定モデルは非線形システムであり、その非線形性も強い。そこで、非線形性を線形近似する拡張カルマンフィルタではなく、推定値の共分散を近似する無香料カルマンフィルタ（unscented  Kalman  filter）（非特許文献２参照）を用いて状態推定を行い、オプティカルフローを推定することを提案する。無香料カルマンフィルタの特徴として、システム外乱を状態に含めて推定を行うことにより、推定精度を向上させることができること（非特許文献６参照）、時間方向の離散化において、ルンゲ・クッタ法などの高次の積分公式を用いることが可能で、これによっても推定精度を向上させることができることが挙げられる。これらは推定に必要な計算時間とのトレードオフになるが、システム外乱を状態に含めたモデルを採用し、数値積分公式は非線形性を考慮して２次以上の積分公式を用いるべきである。【００８５】
【数１２】
0005504426.tif 000013
【００８６】
以上をまとめると、本実施例では、輝度不変の仮定と局所的な輝度情報からのみによるオプティカルフロー推定可能性を動的システムの可観測性の立場から示した。オプティカルフローに対する並進性の仮定を緩めるために、輝度不変の拘束式の拡張を行った。導出した拘束式は、画像上の注目点の近傍において輝度不変であるための条件式をテーラー展開し、その各項の係数が０となるための条件である。そのように解釈すると、従来の輝度不変の拘束式はテーラー展開の０次の項に相当することが分かる。【００８７】
さらに、本実施例では、オプティカルフローに対する並進性の仮定を緩めるだけでなく、オプティカルフローとその空間勾配を同時に推定するという立場から、動的システムとしての推定モデルを提案した。そして、動的システムの可観測性の立場から、推定可能性に対して考察を行い、輝度のヘッセ行列が零行列であってもオプティカルフローとその空間勾配の推定が行える場合があることを示した。【００８８】
また、ヘッセ行列などの逆行列計算や、時空間勾配の陽な計算を排除するために、推定モデルの出力方程式を修正し、カルマンフィルタを用いた数値的に安定な推定法を提案した。【００８９】
なお、カルマンフィルタは一例であり、他の逐次推定手法を用いてもよい。【００９０】
また、例えば、テーラー展開のより高次の項まで用いた条件式に基づく推定モデルを導出したり、オプティカルフローの時変性へ対応したりするようにしてもよい。
【実施例２】
【００９１】
本実施例では、具体的な例を通して、提案した推定モデルの有効性を示す。【００９２】
元画像の輝度Ｉ(x,y,t)を式(45)のように与える。この元画像は、輝度の空間勾配が平坦な（ヘッセ行列が零行列の）画像を、点(0,0)を中心に一定角速度ω（≠０）で回転させたものである。この元画像の座標(x,y)におけるオプティカルフロー及びその空間勾配は、時不変性の仮定の元では一意に決まり、式(46)である。一方、輝度の時空間勾配は式(47)であり、輝度のヘッセ行列が零行列となるので、従来の局所推定法ではオプティカルフローの推定は行えない。【００９３】
【数１３】
0005504426.tif 000014
【００９４】
次に、理論計算について説明する。ここでは、式(45)の元画像の輝度及びその空間勾配から、オプティカルフローが理論的に計算可能かどうかを検討する。【００９５】
まず、Hornら（1981）の大域法を適用する。Hornら（1981）では、ある領域Ｄについて式(48)を最小化する。ただし、γ＞０は平滑化の強さを調整するパラメータである。領域Ｄ＝{(x,y)|-a≦x≦a，-b≦y≦b}（a,b＞0），時刻は一般性を失わずｔ＝０を考える。式(47a)、(47b)より、ｔ＝０で上記の評価関数は式(49)となり、ｕ，γの選び方に関わらずｖx＝ｖy＝０、つまり、ｖ＝const.が解となる。このことは、ｖ（x,y,0）が一意に決定できないこと、決定したとしても真値(46)とは異なることを意味する。また、ｕ(x,y,0)についても、領域Ｄが仮定のように矩形の場合はｕx＝０となるようなｕのうち式(50)を最小化するものを選べばよい。変分法を用いて解くと式(51)が最小解となる。このｕ(x,y,0)は滑らかさの重みγがγ→０で真値に一致するものの、γ＞０である限りはやはり真値とは一致しない。以上より、この数値例ではHornら（1981）の大域法を用いてもオプティカルフローが一意に定められないこと、定められたとしても真値とは一致しないことがわかる。【００９６】
一方、提案した推定モデルの瞬時推定式(31)は、式(47c)に注意すると式(52)となる。ここで、両辺とも０となる自明な方程式は除くとともに、方程式の順番を入れ替えている。上式は３組の２次元線形連立代数方程式となり、式(47a)，(47b)を代入することで式(53)の３つの式と等価になる。いずれの式もｔによらず常に一意に解が定まり、式(46)の理論値と一致する。この事実は、大域法に対する提案した推定モデルの優位性を示している。【００９７】
次に、数値計算について説明する。ここでは、式(45)の元画像のパラメータをβ＝0.2、ω＝π／100、Ｉ0＝128とし、時空間及び輝度の量子化を行った計測画像に対して提案手法を適用し、その有効性を示す。【００９８】
具体的には、図１の量子化部７が、式(45)で与えられる元画像を撮像画像として、ｔが整数の時刻において(x,y)が整数の点で小数点以下を切り捨てて量子化を行い、これを計測画像とする。そして、図１の平滑化部１１が、計測画像の各時刻において、σ＝３のガウスフィルタを用いて平滑化を行う。画像解析処理部１５は、この平滑化画像の輝度情報を用いてオプティカルフローの推定を行う。【００９９】
まず、提案した推定モデルを用いて瞬時推定を行った結果を示す。図３は、座標(60,80)におけるオプティカルフロー［ｕ  ｖ］Tの推定値を400フレーム（２回転）分示している。量子化誤差の影響で推定値に大きな誤差が加わっており、推定がうまくできているとは言い難い。これは元画像が非常に特徴の少ない画像であるため、量子化誤差程度でも逆行列計算に大きく影響するためと考えられる。【０１００】
次に、量子化誤差に対応するため、カルマンフィルタを用いて推定を行った結果を示す。推定は提案した推定モデルである式(11)に、式(42)による出力方程式の修正を施したモデルを用いる。このモデルに対して雑音が印可された式(44)を考え、無香料カルマンフィルタを用いて推定を行う。ただし、式(44)における雑音の共分散行列はそれぞれ式(54)、式(55)とし、カルマンフィルタで用いる状態の推定値の初期値はすべて０としている。また、オプティカルフローのモデルの数値積分は古典的ルンゲ・クッタの４次の公式を用い、かつ無香料カルマンフィルタのモデルとしては、状態にシステム雑音を含め拡張した推定モデル（非特許文献６参照）で実験を行った。【０１０１】
図４は、座標(60, 80)におけるオプティカルフロー［ｕ  ｖ］Tとその空間勾配ｕx、ｕy、ｖx、ｖyの推定値を400フレーム（２回転）分示している。初期値が大きくずれているため収束まで時間がかかっているものの、精度良く推定できていることが分かる。また、オプティカルフローの空間勾配も同時に推定できていることが確認できる。これより、提案した推定モデル及びカルマンフィルタを用いた推定法の有効性を示すことができた。【０１０２】
【数１４】
0005504426.tif 000015
【産業上の利用可能性】
【０１０３】
オプティカルフローは、画像による物体の運動計測に用いることができる汎用性の高い技術である。具体的には、例えば、自動車の車載カメラによる移動体の運動計測がある。車載カメラは、基本的に進行方向に向けられるので光軸に沿った動きが避けられない。また、ドライブレコーダのような広角画像では、画像の歪みによる拡大が避けられない。本願発明によれば、このような場合にも高精度でオプティカルフローが計算できる。さらに、移動体の一般的な検出も可能であり、例えば、車載カメラによる飛び出しや追い越し車両の警告、建物における侵入者検出、運動するカメラの座標補正なども可能である。【０１０４】
また、既に組みあがってしまった回転機械の回転速度を、回転軸に何かを設置することなく測定することもできる。従来の角速度センサは回転軸に取り付けるものが主流である。本願発明によれば、必ずしも回転中心を含まない回転体の時系列画像から回転角速度及び回転の中心までの距離を計測することが可能になる。【０１０５】
さらに、同様に物体の運動の並進性が仮定できない、流体計測（特に渦、乱流）などにも有用である。
【符号の説明】
【０１０６】
１  物体運動推定装置、１３  画像解析処理部、２１  輝度勾配演算部、２３  時間勾配演算部、２５  方程式演算部、２７  状態推定処理部
【図１】
0005504426.tif 000017
【図２】
0005504426.tif 000018
【図３】
0005504426.tif 000019
【図４】
0005504426.tif 000020