(57)【特許請求の範囲】
【請求項１】
カメラにより撮影された映像に基づいて、該カメラに接近する移動体のオプティカルフローを求める移動体監視装置において、
前記映像を構成する時系列的に連続する複数の画像に基づいて前記移動体を含む画像部分を検出する移動体検出手段と、
任意の画像における前記画像部分をテンプレートとして、該任意の画像に時系列的に後続した画像を探索範囲としたテンプレートマッチングにより、前記移動体のオプティカルフローを求める相関法演算手段とを備え、
前記相関法演算手段は、前記テンプレートとしての前記画像部分のうち、該画像部分の平均明度との差が所定の閾値よりも大きい局所部分と、前記探索範囲としての前記後続画像の全体とについて、それぞれサブピクセル化処理する補間処理手段を有し、前記テンプレートマッチングは、前記サブピクセル化により得られた画素間隔で行うことを特徴とする移動体監視装置。
【請求項２】
前記補間処理手段は、一次補間処理または三次補間処理により、前記サブピクセル化処理することを特徴とする請求項１に記載の移動体監視装置。
【請求項３】
前記補間処理手段は、一次補間処理法と三次補間処理法とを択一的に切り替えて、前記サブピクセル化処理することを特徴とする請求項１に記載の移動体監視装置。
【請求項４】
前記相関法演算手段は、
前記テンプレートによる、前記後続する画像に対する探索範囲を、前記任意の画像における前記画像部分の配置位置に応じて設定するものであることを特徴とする請求項１から３のうちいずれか１項に記載の移動体監視装置。
【請求項５】
前記カメラが、該カメラが取り付けられた被接近体の前右方の像を撮影するように設置されている状態において、
前記任意の画像における縦方向の中央よりも上側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記上側を向いた方向であり、前記中央よりも下側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記下側を向いた方向であり、
前記テンプレートマッチングの前記探索方向の左右方向に沿った成分は、左に向いた方向であることを特徴とする請求項４に記載の移動体監視装置。
【請求項６】
前記カメラが、該カメラが取り付けられた被接近体の前左方の像を撮影するように設置されている状態において、
前記任意の画像における縦方向の中央よりも上側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記上側を向いた方向であり、前記中央よりも下側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記下側を向いた方向であり、
前記テンプレートマッチングの前記探索方向の左右方向に沿った成分は、右に向いた方向であることを特徴とする請求項４に記載の移動体監視装置。
【請求項７】
前記オプティカルフローに対して、予測の分散値と実測の分散値とを用いた所定の予測フィルタ処理により前記オプティカルフローの補正を行う予測フィルタを備えたことを特徴とする請求項１から６のうちいずれか１項に記載の移動体監視装置。
【請求項８】
前記移動体が、走行する車両であることを特徴とする請求項１から７うちいずれか１項に記載の移動体監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体監視装置に関し、詳細には、カメラから得られた映像に基づいたオプティカルフローの検出の改良に関する。
【背景技術】
【０００２】
近年、カメラにより撮像された映像に基づいて、このカメラに接近する移動体のオプティカルフローを求める移動体監視装置が提案されている。
【０００３】
ここで、オプティカルフローとは、移動体解析手法の一つであり、カメラに対する移動体の相対的な動きによって生じる画像状の各点の速度場を意味し、画像の輝度情報あるいは濃度情報（画像信号）に基づいて画像中の各部分の動きを解析し、この動きを速度ベクトルによって表現することで、移動体の運動を表し、相関法（テンプレートマッチング（ブロックマッチング）法）と勾配法とがある。
【０００４】
相関法は、特徴的なテクスチャが存在する等の移動体のオプティカルフローの検出に好適であり、映像を構成する時系列的に連続する複数の画像のうち任意の画像（第Ｎフレーム）における移動体を含む画像部分（第Ｎフレームの画像の一部分）をテンプレートとし、この任意の画像（第Ｎフレーム）に時系列的に後続した画像（第（Ｎ＋１）フレーム）を探索範囲としたテンプレートマッチングにより、テンプレートと同一または類似の画像部分（第（Ｎ＋１）フレームの画像の一部分）を、後続した画像（第（Ｎ＋１）フレーム）から検出し、両画像間（第Ｎフレームの画像と第（Ｎ＋１）フレーム）で対応する画像部分同士（第Ｎフレームの画像の一部分と第（Ｎ＋１）フレームの画像の一部分）の、空間的な位置関係（第Ｎフレームにおける位置（Ｘｎ，Ｙｎ）→第（Ｎ＋１）フレームにおける位置（Ｘ（ｎ＋１），Ｙ（ｎ＋１）））に基づいて、当該画像部分の速度ベクトルを求める手法である。
【０００５】
一方、勾配法は、外表面が比較的滑らかで、かつ外表面の彩度変化が少ない移動体のオプティカルフローの検出に好適であり、画像部分の局所の濃度パターンは運動（移動）後も不変に保たれるという仮定の下に、任意の画像（第Ｎフレーム）中の画像部分（第Ｎフレームの画像の一部分）の濃度パターンを空間的に線形近似して、濃度勾配を有する平面（空間的な濃度勾配平面）として把握し、この濃度勾配平面上の任意の画素（Ｘｐｎ，Ｙｑｎ）に注目して、当該注目画素（Ｘｐｎ，Ｙｑｎ）の濃度値（画像信号値）Ｓｐｑｎを求め、この画像（第Ｎフレーム）に時系列的に後続する画像（第（Ｎ＋１）フレーム）の対応画像部分（第（Ｎ＋１）フレームの画像の一部分）において、当該注目画素（Ｘｐｎ，Ｙｑｎ）と空間的に対応する画素（対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１）））の濃度値Ｓｐｑ（ｎ＋１）を求め、上記任意の画像（第Ｎフレーム）における上記濃度勾配平面上において、対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１））の濃度値Ｓｐｑ（ｎ＋１）と同一の濃度値Ｓｐ′ｑ′ｎの画素の位置（Ｘｐ′ｎ，Ｙｑ′ｎ）を求め、この任意の画像（第Ｎフレーム）における画素（Ｘｐ′ｎ，Ｙｑ′ｎ）が、後続する画像（第（Ｎ＋１）フレーム）における同一濃度値（Ｓｐ′ｑ′ｎ＝Ｓｐｑ（ｎ＋１））の対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１））に一致するように、任意の画像（第Ｎフレーム）の濃度勾配平面を、後続する画像（第（Ｎ＋１）フレーム）の濃度勾配平面に向けて変位させる向き、および大きさにより、当該画像部分の速度ベクトルを求める手法である。
【０００６】
なお、上述した濃度勾配平面の変位方向や大きさは、上述した一画素の濃度値の一致のみに基づいて一通りに特定することはできないため、実際には、この他に所定の拘束条件を設けて、速度ベクトルを一意に特定する（特許文献１，２）。
【０００７】
また、これら特許文献１，２には、演算の高速化や、検出精度の高精度化を目的として、階層化処理や相関値の内挿処理など、各種の提案もなされている。
【特許文献１】特開２００５−２０９１５５号公報
【特許文献２】特開２００４−５６７６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、相関法は、テンプレートマッチングによって相関の高い画像部分を探索する処理であるから、精密なマッチングを得るためには、テンプレートを用いた探索を、空間的により細かい間隔で行うのが効果的である。
【０００９】
その場合、テンプレートとしての画像部分と探索対象の画像全体をそれぞれ補間処理してサブピクセル化し、マッチングの画素間隔を狭くすればよい。
【００１０】
しかし、画像部分の全体をサブピクセル化したのでは、補間演算処理に要する時間が長く掛かり過ぎ、移動体のオプティカルフローを略リアルタイムに（タイムラグ少なく）求めるのが困難になる。
【００１１】
なお、このことは移動体が自動車に限定された問題ではなく、鋼材やその他の物体等においても同様である。すなわち、例えばクレーンやコンベアで搬送されている鋼板や木板等を移動体として検出し、そのオプティカルフローを相関法によって求める場合には、同様に生じうる問題である。
【００１２】
本発明は上記事情に鑑みなされたものであって、演算処理に要する時間の延長を抑制しつつ、精密なマッチングを行うことができる移動体監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る移動体監視装置は、相関法により移動体のオプティカルフローを求めるに際して、探索範囲としての後続画像の全体をサブピクセル化するとともに、テンプレートに用いる画像部分のうちの一部（局所部分）だけをサブピクセル化することで演算処理に要する時間の延長を抑制しつつ、探索の画素間隔を細かくすることで精密なマッチングを行うものである。
【００１４】
すなわち、本発明に係る移動体監視装置は、カメラにより撮影された映像に基づいて、該カメラに接近する移動体のオプティカルフローを求める移動体監視装置において、前記映像を構成する時系列的に連続する複数の画像に基づいて前記移動体を含む画像部分を検出する移動体検出手段と、任意の画像における前記画像部分をテンプレートとして、該任意の画像に時系列的に後続した画像を探索範囲としたテンプレートマッチングにより、前記移動体のオプティカルフローを求める相関法演算手段とを備え、前記相関法演算手段は、前記テンプレートとしての前記画像部分のうち、該画像部分の平均明度との差が所定の閾値よりも大きい局所部分と、前記探索範囲としての前記後続画像の全体とについて、それぞれサブピクセル化処理する補間処理手段を有し、前記テンプレートマッチングは、前記サブピクセル化により得られた画素間隔で行うことを特徴とする。
【００１５】
ここで、移動体検出手段による、自動車等の移動体を含む画像部分（テンプレート用のブロック）の検出は、例えば、映像を構成する時系列的に連続する２つの画像に関し、空間的に対応する（同一位置の）画素間で信号値の差分を演算することにより、実現することができる。
【００１６】
すなわち、移動体以外の画像部分（静止している物体についての画像部分）は、２つの画像間で、その信号値が略等しい。したがって、その差分は、略ゼロになる。一方、移動体の画像部分は、特にその輪郭に近い部分に関して、２つの画像間で、その信号値差が大きい。
【００１７】
したがって、差分が所定値を超えた範囲が、移動体の画像部分であると判定することができ、移動体の画像部分を検出することができる。
【００１８】
移動体を含む画像部分は、移動体の全体を含むような大きな領域の画像部分を意味するものではなく、画像全体と比較して小さなブロック領域を意味する。例えば、画像全体の大きさに対して、その縦方向については１／３０程度画素数、横方向については１／４０程度の画素数からなる、例えば縦と横の画素数が同一のブロックなどである。
【００１９】
移動体検出手段は、画像全体の中の、互いに異なる複数の位置から、そのような画像部分を検出するが、例えばマトリックス状に配置されている。ただし、各画像部分は必ず移動体を含むため、移動体が全く含まれないような、移動体から遠く離れた画像部分は、移動体検出手段による検出対象とはならない。
【００２０】
相関法演算手段は、相関法によりオプティカルフローを求める演算処理を行い、具体的には、映像を構成する時系列的に連続する複数の画像のうち任意の画像（第Ｎフレームの画像）における移動体を含む画像部分（第Ｎフレームの画像の一部分）をテンプレートとし、この任意の画像（第Ｎフレームの画像）に時系列的に後続した画像（第（Ｎ＋１）フレームの画像）を探索範囲としたテンプレートマッチングにより、テンプレートと同一または類似である相関の高い画像部分（第（Ｎ＋１）フレームの画像の一部分）を、後続した画像（第（Ｎ＋１）フレームの画像）から検出し、両画像（第Ｎフレームの画像と第（Ｎ＋１）フレームの画像）間で対応する画像部分同士（第Ｎフレームの画像の一部分と第（Ｎ＋１）フレームの画像の一部分）の、空間的な位置関係（第Ｎフレームの画像の一部分（ブロック）における位置（Ｘｎ，Ｙｎ）→第（Ｎ＋１）フレームの画像の一部分における位置（Ｘ（ｎ＋１），Ｙ（ｎ＋１）））に基づいて、当該画像部分のオプティカルフロー（速度ベクトル）を求める。
【００２１】
なお、オプティカルフローを相関法によって求める場合、特徴的なテクスチャが存在する移動体の画像部分を対象とするのが好ましく、画像部分の分散値を予め算出するなどして、テクスチャの有無を判定するようにしてもよい。
【００２２】
補間処理手段によるサブピクセル化すなわち画素の内挿処理は、バイリニア（一次補間処理）法によるものや、バイキュービック（三次補間処理）法によるものが好ましい。
【００２３】
一方、ニアレストネイバー（最近傍点補間処理）法によるものでは、サブピクセル化により得られた画素間隔でテンプレートマッチングを行う効果が少ないため、好ましい適用ではない。
【発明の効果】
【００２４】
本発明に係る移動体監視装置によれば、移動体検出手段が、映像を構成する時系列的に連続する複数の画像に基づいて移動体を含む画像部分を検出する。
【００２５】
そして、相関法演算手段が、移動体検出手段が検出した移動体を含む画像部分をテンプレートとして、相関法により、移動体のオプティカルフローを求めるが、相関法演算手段に備えられた補間処理手段が、テンプレートとしての画像部分のうち、この画像部分の平均明度との差が所定の閾値よりも大きい局所部分と、探索範囲としての後続画像の全体とを、補間処理によって新たな画素を内挿することでサブピクセル化し、相関法演算手段が、このサブピクセル化により得られた画素間隔でテンプレートマッチングを行うことにより、サブピクセル化する以前の画素の間隔でテンプレートマッチングを行う場合に比べて、空間的により細かくマッチング処理を行うことができ、サブピクセル化しない場合に比べて、精度のよいマッチング結果を得ることができる。
【００２６】
しかも、テンプレートとしての画像部分の全体をサブピクセル化するのではなく、当該画像部分のうち当該画像部分全体の平均明度との差が所定の閾値よりも大きい局所部分だけをサブピクセル化しているため、テンプレートマッチングの回数は、画像部分全体をサブピクセル化した場合と同じであるが、サブピクセル化による内挿画素の数は、画像部分全体をサブピクセル化した場合に比べて大幅に減らすことができるため、内挿される画素の値を算出するのに要する演算時間を大幅に減らすことができる。
【００２７】
また、個々の画像部分のテンプレートマッチングにおいては、マッチングを行う画素数も、画像部分全体をサブピクセル化した場合に比べて大幅に少なくすることができるため、この点からも、演算処理時間を短縮することができる。
【００２８】
なお、以上の効果は、演算処理に要する時間が比較的長いバイキュービック法を適用した場合に特に顕著である。
【発明を実施するための最良の形態】
【００２９】
以下、本発明に係る移動体監視装置の最良の実施形態について、図面を参照して説明する。
【００３０】
図１は、本発明の一実施形態に係る移動体監視装置１００を示すブロック図、図２は図１に示した移動体監視装置１００を搭載した自車両９０に、他車両２００（移動体）が右方向から接近している状態を、上方からの平面視として表す模式図である。
【００３１】
図示の移動体監視装置１００は、自車両９０に取り付けられているカメラ８０によって撮影された映像に基づいて、このカメラ８０に接近する、すなわち自車両９０に右方から接近する他車両２００のオプティカルフローＯＦを求める移動体監視装置であり、映像を構成する時系列的に連続する複数の画像Ｐ（ｎ−１），Ｐ（ｎ），Ｐ（ｎ＋１），…に基づいて、接近する他車両２００を含む画像部分であるブロックＢijを複数検出する移動体検出手段１０と、移動体検出手段１０によって検出された各ブロックＢijを構成する縦４画素×横４画素（＝１６画素）の画素値（明度や濃度等の信号値）の分散値（特徴量）をそれぞれ求める移動体特徴量算出手段２０と、任意の画像（第（Ｎ）フレームの画像）Ｐ（ｎ）における各ブロックＢijをテンプレートＴとして、この任意の画像Ｐ（ｎ）に時系列的に後続した画像（第（Ｎ＋１）フレームの画像）Ｐ（ｎ＋１）を探索範囲としたテンプレートマッチングにより、他車両２００のブロックＢijについてのオプティカルフローＯＦを求める相関法演算手段４０と、任意の画像Ｐ（ｎ）におけるブロックＢijと空間的に位置関係が対応する、この任意の画像Ｐ（ｎ）よりも時系列的に後続する画像Ｐ（ｎ＋１）における対応画像部分Ｃijにおける局所の画像信号の変動に基づいて、接近する他車両２００のブロックＢijについてのオプティカルフローＯＦを求める勾配法演算手段５０と、移動体特徴量算出手段３０によって求められた分散値に基づいて、相関法演算手段４０によりオプティカルフローＯＦを求める処理と勾配法演算手段５０によりオプティカルフローＯＦを求める処理とを択一的に切り替える演算切替手段３０と、求められたオプティカルフローＯＦに対して、予測の分散値と実測の分散値とを用いた所定の予測フィルタ処理によりオプティカルフローＯＦの補正を行い、この補正後のオプティカルフローＯＦを自車両９０の車室内に取り付けられているモニタ８５に出力する予測フィルタ７０とを備えた構成である。
【００３２】
ここで、カメラ８０およびモニタ８５は、移動体監視装置１００の使用目的とは異なる目的のために自車両９０に予め取り付けられているもの（兼用するもの）であってもよいし、移動体監視装置１００の使用目的のための専用品であってもよい。本実施形態の移動体監視装置１００においては、カメラ８０およびモニタ８５は、移動体監視装置１００の構成要素ではないもの（兼用品）として説明しているが、カメラ８０やモニタ８５が移動体監視装置１００の専用品のときは、移動体監視装置１００の構成要素とすることができる。
【００３３】
また、カメラ８０は、図２に示すように、自車両９０の、主として右方向を視野とするように、例えば前側右端部に固定されて、自車両９０と一体的に移動する。
【００３４】
そして、カメラ８０は、このカメラ８０の視野に入った映像を、時系列的に所定の時間間隔ごとに撮影された第（１）フレームの静止画像、…、第（Ｎ−１）フレームの静止画像Ｐ（ｎ−１）、第（Ｎ）フレームの静止画像Ｐ（ｎ）、第（Ｎ＋１）フレームの静止画像Ｐ（ｎ＋１）、…として、移動体監視装置１００の移動体検出手段１０に順次入力する。
【００３５】
ここで、図３（ａ），（ｂ）、図４は、時系列的に相前後する第（Ｎ−１）フレームの静止画像Ｐ（ｎ−１）、第（Ｎ）フレームの静止画像Ｐ（ｎ）、第（Ｎ＋１）フレームの静止画像Ｐ（ｎ＋１）であり、第（Ｎ−１）フレームの静止画像Ｐ（ｎ−１）の次に、第（Ｎ）フレームの静止画像Ｐ（ｎ）が入力され、第（Ｎ）フレームの静止画像Ｐ（ｎ）の次に、、第（Ｎ＋１）フレームの静止画像Ｐ（ｎ＋１）が入力される。
【００３６】
なお、自車両９０は、交差点等の手前で一時停止状態にあるものとする。したがって、各画像Ｐ（ｎ−１）、Ｐ（ｎ）、Ｐ（ｎ＋１）において、カメラ８０に対する相対的な動きのない交通標識３００や、図示しない路面自体（または、路面に描かれた文字・記号・模様）などは、各画像Ｐ（ｎ−１）、Ｐ（ｎ）、Ｐ（ｎ＋１）間で差異無く同一の位置に現れている。
【００３７】
一方、図２に示す矢印方向に進行して、自車両２００に接近しつつある他車両２００は、カメラ８０に対して相対的な動きがあるため、各画像Ｐ（ｎ−１）、Ｐ（ｎ）、Ｐ（ｎ＋１）間で現れる位置に差異が生じる。
【００３８】
そこで、移動体検出手段１０は、映像を構成する時系列的に相前後する２つの画像Ｐ（ｎ−１）、Ｐ（ｎ）間で、空間的に対応する（同一位置の）画素間で信号値の差分を演算することにより、標識３００と同様の静止している物体と、他車両２００と同様の移動体とを、明確に峻別することができる。
【００３９】
すなわち、移動体以外の画像部分（静止している物体についての画像部分）は、２つの画像Ｐ（ｎ−１）、Ｐ（ｎ）間で動きがないため、その信号値が略等しい。したがって、その差分は、略ゼロになる。一方、移動体の画像部分は、特にその輪郭に近い部分に関して、２つの画像Ｐ（ｎ−１）、Ｐ（ｎ）間で、その信号値差が大きい。
【００４０】
したがって、差分が所定値を超えた画像領域が、移動体の画像部分であると判定することにより、移動体の画像部分を的確に検出（抽出）することが可能となる。
【００４１】
図５は、２つの画像Ｐ（ｎ）、Ｐ（ｎ＋１）の差分ΔＰ（ｎ）＝Ｐ（ｎ＋１）−Ｐ（ｎ）を明暗反転した模式図であり、二点鎖線で示す標識３００等の静止している物体は消去され、移動体の画像部分、すなわち他車両２００のみを浮き上がらせる。
【００４２】
なお、明暗反転させているのは、差分画像の明暗イメージを図３，４と共通化して理解を容易にするために過ぎず、移動体検出手段１０による移動体の検出処理そのものには影響はなく、反転処理を施さない状態でも検出することができる。
【００４３】
また、差分画像ΔＰ（ｎ）を生成するために用いた各画像Ｐ（ｎ）、Ｐ（ｎ＋１）は、後の処理のために、一時的にメモリ等に記憶しておく。
【００４４】
移動体検出手段１０は、さらに、図６に示す縦４画素×横４画素からなるブロックＢijを、差分の画像（図５）の全域に等間隔でマトリックス状に分布するように複数（例えば、i＝１，２，…，９、j＝１，２，…，９とした８１個）設定する（図７）。
【００４５】
ここで、すべてのブロックＢijのうち、ブロックＢijを構成する１６画素のうち画素値が所定の値以上の画素を含むブロックＢij（図７においては、Ｂ55，Ｂ65，Ｂ75，Ｂ85，Ｂ46，Ｂ56，Ｂ76，Ｂ86，Ｂ96，Ｂ47，Ｂ57，Ｂ67，Ｂ77，Ｂ87，Ｂ97）だけを注目ブロックとして検出する。
【００４６】
この注目ブロックＢijの検出は、移動体である他車両２００が存在するブロックＢijだけを選択する処理となり、以後は、この選択されたブロックＢijだけを処理の対象とし、残りのブロックＢijについては、処理の対象としない。
【００４７】
そして、これらの検出されたブロックＢijを、メモリに記憶されていた元の画像Ｐ（ｎ）の対応位置に設定する（図８）。
【００４８】
移動体特徴量算出手段２０は、移動体検出手段１０によって検出された各ブロックＢijを構成する縦４画素×横４画素（＝１６画素）の画素値の分散値をそれぞれ求め、各ブロックＢij内のテクスチャの有無を評価する。
【００４９】
すなわち、分散値が所定値よりも大きいときは、ブロックＢij内の明度変動が大きく、テクスチャが存在すると判定することができ、分散値が所定値よりも小さいときは、ブロックＢij内の明度変動がなだらかであり、テクスチャが存在しないと判定することができる。
【００５０】
このようにして、移動体特徴量算出手段３０は各ブロックＢijごとに分散値を求め、演算切替手段３０は、所定値より大きい分散値のブロックＢijについては相関法演算手段４０によりオプティカルフローＯＦを求める処理を適用し、所定値より小さい分散値のブロックＢijについては勾配法演算手段５０によりオプティカルフローＯＦを求める処理を適用するように、処理を切り替える。
【００５１】
相関法演算手段４０は、相関法によりオプティカルフローＯＦを求める演算処理を行うが、具体的には、第（Ｎ）フレームの画像Ｐ（ｎ）における各ブロックＢijをそれぞれテンプレートＴとし、各テンプレートＴごとに、時系列的に後続した第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）を探索範囲としたテンプレートマッチングにより、テンプレートと相関の高い画像部分（第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の一部分）をそれぞれ検出し、両画像（第Ｎフレームの画像Ｐ（ｎ）と第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１））間で対応する画像部分同士（第Ｎフレームの画像Ｐ（ｎ）のブロックＢijと第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の一部分）の、空間的な位置関係（第Ｎフレームの画像Ｐ（ｎ）のブロックＢijにおける位置（Ｘｎ，Ｙｎ）→第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の一部分における位置（Ｘ（ｎ＋１），Ｙ（ｎ＋１）））に基づいて、ブロックＢijのオプティカルフロー（速度ベクトル）を求める。
【００５２】
一方、勾配法演算手段５０は、勾配法によりオプティカルフローＯＦを求める３つの代表的な演算処理（空間的大域最適化法（ＳＧＯ；オプティカルフローＯＦが滑らかに変化すると仮定した手法）、空間的局所最適化法（ＳＬＯ；複数ブロックＢij間でオプティカルフローＯＦが同一と仮定した手法）、時間的局所最適化法（ＴＬＯ；オプティカルフローＯＦ検出点のオプティカルフローＯＦが時間変化しないと仮定した手法））のうち、時間的局所最適化法によってオプティカルフローＯＦを求める演算処理を行うが、具体的には、ブロックＢijの明度パターンが移動後も不変に保たれるという仮定の下に、第Ｎフレームの画像Ｐ（ｎ）中のブロックＢijの明度パターンを空間的に線形近似して、明度勾配を有する平面（空間的な明度勾配平面）として把握し、この明度勾配平面上の任意の画素（Ｘｐｎ，Ｙｑｎ）に注目して、当該注目画素（Ｘｐｎ，Ｙｑｎ）の明度値Ｓｐｑｎを求め、この第Ｎフレームの画像Ｐ（ｎ）に時系列的に後続する第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の対応ブロックＣijにおいて、当該注目画素（Ｘｐｎ，Ｙｑｎ）と空間的に対応する画素（対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１）））の明度値Ｓｐｑ（ｎ＋１）を求め、第Ｎフレームの画像Ｐ（ｎ）における明度勾配平面上において、対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１））の明度値Ｓｐｑ（ｎ＋１）と同一の明度値Ｓｐ′ｑ′ｎの画素の位置（Ｘｐ′ｎ，Ｙｑ′ｎ）を求め、この第Ｎフレームの画像Ｐ（ｎ）における画素（Ｘｐ′ｎ，Ｙｑ′ｎ）が、後続する第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）における同一明度値（Ｓｐ′ｑ′ｎ＝Ｓｐｑ（ｎ＋１））の対応注目画素（Ｘｐ（ｎ＋１），Ｙｑ（ｎ＋１））に一致するように、第Ｎフレームの画像Ｐ（ｎ）のブロックＢijの明度勾配平面を、第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の明度勾配平面に向けて変位させる向き、および大きさにより、ブロックＢijのオプティカルフローＯＦを求める。
【００５３】
また、相関法演算手段４０は、テンプレートＴとしてのブロックＢijのうち、このブロックＢijの平均明度との差が所定の閾値よりも大きい局所部分と、探索範囲としての第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）の全体とについて、それぞれサブピクセル化処理する補間処理手段４１を備えており、相関法演算手段４０によるテンプレートマッチングは、このサブピクセル化処理により得られた画素間隔で行う。
【００５４】
補間処理手段４１によるサブピクセル化処理、すなわち画素の内挿処理は、バイリニア（一次補間処理）法によるものや、バイキュービック（三次補間処理）法によるものが好ましい。ニアレストネイバー（最近傍点補間処理）法によるものでは、サブピクセル化により得られた画素間隔でテンプレートマッチングを行う効果が少ないからである。
【００５５】
図８の検出されたブロックＢijのうち、分散値が所定値よりも大きいブロックＢ46を例に採ると、サブピクセル化処理前は、図９（ａ）に示すように、縦４画素×横４画素のブロックであり、左上の画素ｂ11が、隣接する画素ｂ21，ｂ12に比べて明度が高く、かつその明度変化が急峻で、ブロックＢijの平均明度との差が所定の閾値よりも大きくなっている。
【００５６】
このとき、補間処理手段４１は、この明度変化が急峻となる画素ｂ11を含む局所領域（画素ｂ11，ｂ21，ｂ12，ｂ22）の画素間隔が１／２倍となるように、この局所領域だけを図９（ｂ）に示すようにサブピクセル化処理する。
【００５７】
サブピクセル化は、例えば一次補間処理法を適用し、元の１つの画素ｂ11が、新たな４つの画素ｂ11（１），ｂ11（２），ｂ11（３），ｂ11（４）に分割されたことになる。他の画素ｂ21，ｂ12，ｂ22についても同様にそれぞれ４つの画素に分割されて、この局所領域だけ、空間的な画素間隔が１／２倍となる。
【００５８】
残りの１２個の画素ｂ31，ｂ41，ｂ32，ｂ42，ｂ13，ｂ23，ｂ33，ｂ43，ｂ14，ｂ24，ｂ34，ｂ44についてはサブピクセル化しない。
【００５９】
したがって、図９（ｃ）に示すように、ブロックＢ46内の全画素ｂ11，…，ｂ44をサブピクセル化する場合に比べて、補間処理に要する演算時間を短縮することが可能である。
【００６０】
一方、図１０に示すように、探索範囲としての第（Ｎ＋１）フレームの画像Ｐ（ｎ＋１）については、画像Ｐ（ｎ＋１）の全体を、その画素間隔が１／２倍となるようにサブピクセル化処理する。
【００６１】
この結果、相関法演算手段４０は、探索範囲を画像Ｐ（ｎ＋１）の全体とし、ブロックＢ46をテンプレートＴとするテンプレートマッチングのマッチング間隔を、サブピクセル化する前のマッチング間隔よりも、空間的に細かく行うことができる。
【００６２】
ここで、テンプレートＴには、サブピクセル化されていない画素もあるため、これらサブピクセル化されていない画素と、全画素がサブピクセル化された画像Ｐ（ｎ＋１）の画素とのマッチングは、図１１に示すように、例えばテンプレートＴのサブピクセル化されていない大きな画素ｂ31に対応する大きさの画像Ｐ（ｎ＋１）の領域（サブピクセル化される前の画素ｃ31）を、単一のサブピクセル化された画素ｃ31（１）で代表させて、マッチングを行うようにすればよい。
【００６３】
同様に、テンプレートＴの画素ｂ41，ｂ13，ｂ14は、画像Ｐ（ｎ＋１）の画素ｃ41（１），ｃ13（１），ｃ14（１）と、それぞれマッチングを行えばよく、テンプレートＴの他の大きな画素についても、同様に行えばよい。
【００６４】
なお、補間処理手段４１の演算処理能力に応じて、一次補間処理法と三次補間処理法とを択一的に切り替えることによりサブピクセル化処理するようにしてもよい。
【００６５】
三次補間処理法は、滑らかな内挿が可能であり、肉眼視によっても自然な印象を与える点で、一次補間処理法よりも好ましいが、一方で、三次補間処理法は、三次の多項式を、連続性の条件に基づいて解法する演算処理を行う必要があるため、一次補間処理法とは比べものにならないほどの演算処理時間を要する。
【００６６】
したがって、特に接近車両である他車両２００を検出しようとする場合には、略リアルタイムでの演算能力が要求される。
【００６７】
よって、補間処理手段４１が、略リアルタイムで三次補間処理法の演算能力を満たしている状況下では、三次補間処理法によるサブピクセル化を行い、略リアルタイムで三次補間処理法の演算能力を満たしていないが一次補間処理法の演算能力を満たしている状況下では、一次補間処理法によるサブピクセル化を行うように、一次補間処理法と三次補間処理法とを切り替えて適用することで、演算処理時間の短縮と補間精度の高さとを、状況に応じて的確に切り替えることができる。
【００６８】
また、相関法演算手段４０は、テンプレートＴによる、後続する画像Ｐ（ｎ＋１）に対する探索範囲を、画像Ｐ（ｎ）におけるブロックＢijの配置位置に応じて設定する。
【００６９】
つまり、本実施形態の移動体監視装置１００は、全ての移動体を検出することを目的とするものではなく、カメラ８０（カメラ８０が固定された自車両９０（被接近体））に接近してくる他車両２００のオプティカルフローＯＦを求めることを主たる使用目的としているたため、現実の空間上で他車両２００がカメラ８０に接近する方向と、そのカメラ８０によって撮影された画像Ｐ（ｎ）上における他車両２００の移動方向とは対応しており、その移動方向は、所定の範囲に限定される。
【００７０】
例えば、本実施形態のように、カメラ８０が、このカメラ８０の取り付けられている自車両９０の前右方の映像を撮影するように設置されている状態においては、カメラ８０に接近する他車両２００は、このカメラ８０で撮影された画像Ｐ（ｎ）では、図１２に示すように、左右方向については、この略右Ｒから左Ｌに向かって変位する。したがって、左右方向については、テンプレートＴによる次画像Ｐ（ｎ＋１）に対するマッチングの探索範囲を、左Ｌ方向の範囲に限定することができる。
【００７１】
さらに、画像Ｐ（ｎ）全体の上下方向の中央部Ｃより上側Ｕの領域ＲＵに存在するブロックＢij（例えば、ブロックＢ55）内の他車両２００の部分は、カメラ８０への接近により、上下方向の上側Ｕ方向に拡大されて写るため、上下方向については、上Ｕに向かって変位する。したがって、探索範囲を、このブロックＢijの存在する位置よりも左方Ｌかつ上方Ｕの領域に限定することができる。
【００７２】
これとは反対に、上下方向の中央部Ｃより下側Ｄの領域ＲＤに存在するブロックＢij（例えば、ブロックＢ47）内の他車両２００の部分は、カメラ８０への接近により、上下方向の下側Ｄ方向に拡大されて写るため、上下方向については、下Ｄに向かって変位する。したがって、探索範囲を、このブロックＢijの存在する位置よりも左方Ｌかつ下方Ｄの領域に限定することができる。
【００７３】
このように、テンプレートマッチングの探索範囲の限定により、探索時間を短縮することができる。
【００７４】
なお、カメラ８０が、このカメラ８０の取り付けられている自車両９０の前左方Ｌの映像を撮影するように設置されている状態（例えば、右側通行の国向けの場合や、左右両方の接近車両を監視する目的の移動体監視装置の場合など）において、左方Ｌからカメラ８０に接近する他車両２００のブロックＢijのうち、画像Ｐ（ｎ）全体の上下方向の中央部Ｃより上側Ｕの領域ＲＵに存在するブロックＢij内の他車両２００の部分は、左右方向について右方Ｒに、上下方向については上方Ｕに変位するため、このブロックＢijをテンプレートＴとしたとき、時系列的に後続する画像Ｐ（ｎ＋１）における探索範囲は、このブロックＢijの存在する位置よりも右Ｒ方向かつ上方Ｕの領域に限定することができる。
【００７５】
反対に、画像Ｐ（ｎ）全体の上下方向の中央部Ｃより下側Ｄの領域ＲＤに存在するブロックＢij内の他車両２００の部分は、左右方向について右方Ｒに、上下方向については下方Ｄに変位するため、このブロックＢijをテンプレートＴとしたとき、時系列的に後続する画像Ｐ（ｎ＋１）における探索範囲は、このブロックＢijの存在する位置よりも右Ｒ方向かつ下方Ｄの領域に限定することができる。
【００７６】
予測フィルタ７０による処理としては、例えばカルマンフィルタ処理などを適用することができるが、カルマンフィルタ処理に限定されるものではなく、他の適切な予測フィルタ処理を適用することもできる。
【００７７】
カメラ８０により撮影された映像は、通常、フレーム間の時間間隔が、３３[ｍｓｅｃ]程度であり、数フレームに要する期間中は、接近する他車両２００（近接移動体）の動きを略一定にする仮定が成立しやすい状況にある。
【００７８】
このように、近接移動体の動きを略一定とする仮定の下では、現在以前のオプティカルフローＯＦに基づいて現在のオプティカルフローＯＦを予測することが可能である。
【００７９】
この場合、予測フィルタ処理により補正を行うことで、処理結果を高精度化することができる。
【００８０】
例えばカルマンフィルタ処理を適用した予測フィルタ７０は、予測の分散値と実測の分散値との両値を用いて平均処理を行うため、これらの値を予め定めておく必要がある。
【００８１】
実測の分散値は、実験により予め定めることができるが、この実測の分散値は、相関法演算手段４０によるものと勾配法演算手段５０によるものとで実験値が異なるため、それぞれに対応した値を準備し、相関法と勾配法との処理の切替えに応じて、相関法用の実測の分散値と勾配法用の実測の分散値とを動的に切り替えることで、最適化を図ることができる。
【００８２】
一方、予測の分散値は、その効果として時間変化の最大値を与えることになる。具体的には、接近する他車両２００を初めて検出した時点から、正しいオプティカルフローＯＦの値を得るまでの間に、所要とするフレーム数を決めることになる。
【００８３】
この分散値が、上記実験値に比べて大きいほど、早く収束させることができるが、オプティカルフローＯＦの値が振れ易くなる。これとは反対に、予測の分散値と実測の分散値との差がゼロに近いほど、オプティカルフローＯＦの値は安定し易いが、収束させるのに要する時間が長くかかる。
【００８４】
したがって、この値は、この実験的に得られた分散値に対する比率を調整して、移動体監視装置１００のシステムの要件に適合させるように定めることが必要である。この場合、移動体監視装置１００のシステムの許容遅延時間等を目安にすることができる。
【００８５】
以上のように構成された本実施形態の移動体監視装置１００の作用を、図１３および図１４を参照して説明する。
【００８６】
まず、移動体検出手段１０が、自車両９０に取り付けられているカメラ８０によって撮影された映像を構成する時系列的に連続する複数の画像Ｐ（ｎ），Ｐ（ｎ＋１），…を順次メモリに記憶し（図１３における＃１）、時系列的に相前後する２つの画像Ｐ（ｎ），Ｐ（ｎ＋１）に基づいて、両画像Ｐ（ｎ），Ｐ（ｎ＋１）の差分画像ΔＰ（ｎ）を求め、この差分画像ΔＰ（ｎ）に基づいて移動体である他車両２００を検出する（＃２、図５）。このとき、元の画像Ｐ（ｎ），Ｐ（ｎ＋１）はメモリに一時記憶させる（＃３）。
【００８７】
移動体検出手段１０は、この差分画像ΔＰ（ｎ）にブロックＢijを設定し（＃４、図７）、差分画像ΔＰ（ｎ）に基づいて、他車両２００に対応するブロックＢijだけ選択する（＃５、図８）。
【００８８】
次いで、移動体特徴量算出手段２０が、選択された各ブロックＢijの分散値を算出する（＃６）。そして、演算切替手段３０が、そのブロックＢijの分散値が所定値以上のときはそのブロックＢijについてのオプティカルフローＯＦを求める処理を相関法演算手段４０による処理に切り替え（＃７、＃８）、そのブロックＢijの分散値が所定値以下のときはそのブロックＢijについてのオプティカルフローＯＦを求める処理を勾配法演算手段５０による処理に切り替える（＃７、＃９）。
【００８９】
相関法演算手段４０による処理に切り替えられたときは（＃８）、探索範囲の対象である次画像Ｐ（ｎ＋１）に対して、前述した限定方向（図１２）に探索領域を設定し（図１４における＃２１）、画像Ｐ（ｎ）からブロックＢijをテンプレートＴとして切り出す（＃２２）。
【００９０】
次いで、相関法演算手段４０の補間処理手段４１が、テンプレートＴを局所サブピクセル化するとともに、次画像Ｐ（ｎ＋１）の全体をサブピクセル化し（図９（ｂ）、＃２３）、相関法演算手段４０が、このサブピクセル化されたテンプレートＴを用いて、探索領域が限定された次画像Ｐ（ｎ＋１）に対してテンプレートマッチングを行って（図１０、図１１）、このブロックＢijについてのオプティカルフローＯＦを求める（＃２４）。
【００９１】
一方、勾配法演算手段５０による処理に切り替えられたときは（＃９）、勾配法演算手段５０が、勾配法の時間的局所最適化法（ＴＬＯ）によって、このブロックＢijについてのオプティカルフローＯＦを求める（＃９）。
【００９２】
次いで、相関法または勾配法によって求められたブロックＢijのオプティカルフローＯＦに対して、予測フィルタ７０がカルマンフィルタ処理により補正し（＃１０）、この補正により得られた補正後のオプティカルフローＯＦが出力される（＃１２）。同時に、この出力された補正後のオプティカルフローＯＦは、所定のメモリに記録される（＃１１）。この記録された補正後のオプティカルフローＯＦは、予測フィルタ７０による次回以後のカルマンフィルタ処理の補正に用いられる。
【００９３】
オプティカルフローＯＦが出力された後、他のブロックＢijについても、上述した作用と同様の処理（＃５〜＃１２）を繰り返し（＃１３）、選択された全てのブロックＢijについて、補正後のオプティカルフローＯＦが得られると（＃１３）、時系列的に相前後する２つの画像Ｐ（ｎ），Ｐ（ｎ＋１）間での処理を終了する。
【００９４】
以上、詳細に説明したように、本実施形態の移動体監視装置１００によれば、移動体検出手段１０が、映像を構成する時系列的に連続する複数の画像Ｐ（ｎ）に基づいて、自車両９０に接近してくる他車両２００を含むブロックＢijを検出し、移動体特徴量算出手段２０が算出したブロックＢijの分散値に応じて、演算切替手段３０が、相関法演算手段４０によりオプティカルフローＯＦを求める処理と勾配法演算手段５０によりオプティカルフローＯＦを求める処理とを択一的に切り替えるため、他車両２００の外表面の特徴に適した処理方法によってオプティカルフローＯＦを求めることができる。
【００９５】
また、本実施形態の移動体監視装置１００によれば、移動体特徴量算出手段２０が、ブロックＢijの明度値の分散値を、当該ブロックＢijの特徴量として求め、この分散値が、所定の値よりも大きいときは相関法演算手段４０による処理を選択し、所定の値よりも小さいときは勾配法演算手段５０による処理を選択するように、これら相関法演算手段４０と勾配法演算手段５０とを択一的に切り替えるため、移動体のブロックＢijが、本実施形態の移動体監視装置１００が監視対象とする自動車（他車両２００）の輪郭部分以外のブロックＢijのように、外表面が比較的滑らかで、かつ外表面の彩度変化が少ないもの（特徴的なテクスチャが存在しないもの）では、そのブロックＢijについての分散値は小さい値となるため、演算切替手段３０は、勾配法演算手段５０によりオプティカルフローＯＦを求める処理を選択するが、このようなブロックＢijは、明度パターンを空間的に線形近似し、濃度勾配を有する平面と仮定することができる勾配法によって、適切にオプティカルフローＯＦを求めることができる。
【００９６】
一方、自動車（他車両２００）の輪郭部分のブロックＢijのように、特徴的なテクスチャが存在するものについては、移動体特徴量算出手段２０により求められた分散値は大きい値となるため、演算切替手段３０は、相関法演算手段４０によりオプティカルフローＯＦを求める処理を選択するが、特徴的なテクスチャが存在する等の移動体の画像部分をテンプレートマッチングで適切に検出することができる相関法によって、適切にオプティカルフローＯＦを求めることができる。
【００９７】
また、相関法演算手段４０は、局所的にサブピクセル化処理する補間処理手段４１を備え、テンプレートマッチングは、サブピクセル化により得られた画素間隔で行うため、補間処理手段４１が、テンプレートＴとしてのブロックＢijのうち、このブロックＢijの平均明度との差が所定の閾値よりも大きい局所部分と、探索範囲としての後続画像Ｐ（ｎ＋１）の全体とを、補間処理によって新たな画素を内挿することでサブピクセル化し、相関法演算手段４０が、このサブピクセル化により得られた画素間隔でテンプレートマッチングを行うことにより、サブピクセル化する以前の画素の間隔でテンプレートマッチングを行う場合に比べて、空間的により細かくマッチング処理を行うことができ、サブピクセル化しない場合に比べて、精度のよいマッチング結果を得ることができる。
【００９８】
しかも、テンプレートＴとしてのブロックＢijの全体をサブピクセル化するのではなく、局所部分だけをサブピクセル化しているため、テンプレートマッチングの回数は、画像部分全体をサブピクセル化した場合と同じであるが、サブピクセル化による内挿画素の数は、ブロックＢij全体をサブピクセル化した場合に比べて大幅に減らすことができるため、内挿される画素の値を算出するのに要する演算時間を大幅に減らすことができる。
【００９９】
この効果は、演算処理に要する時間が比較的長いバイキュービック法を適用した場合に特に顕著である。
【０１００】
また、個々のテンプレートマッチングにおいては、マッチングを行う画素数も、ブロックＢij全体をサブピクセル化した場合に比べて大幅に少なくすることができるため、この点からも、演算処理時間を短縮することができる。
【０１０１】
さらに、本実施形態の移動体監視装置１００は、テンプレートマッチングの探索範囲の限定により、相関法演算手段４０によるテンプレートマッチングの探索時間を短縮することができ、相関法によるオプティカルフローＯＦの算出時間を短縮することができる。
【０１０２】
なお、本実施形態の移動体監視装置１００は、移動体として接近する他車両２００を適用した例であるが、本発明にかかる移動体検出装置は、移動体が自動車に限定されるものではなく、例えばクレーンやコンベアで搬送されている鋼板や木板等を移動体として検出し、そのオプティカルフローを求める場合にも、適用することができる。
【０１０３】
本実施形態の移動体監視装置１００は、相関法演算手段４０と勾配法演算手段５０とを選択的に切り替えるものであるが、本発明に係る移動体監視装置は、この形態に限定されるものではなく、ブロックＢijを局所的にサブピクセル化する補間処理手段４１を有する相関法演算手段４０を少なくとも備える移動体監視装置であればよく、勾配法演算手段５０や演算切替手段３０、予測フィルタ７０を備えないものであってもよい。
【０１０４】
また、相関法演算手段４０が、探索範囲を限定する処理（図１２）を行わないものであってもよい。
【図面の簡単な説明】
【０１０５】
【図１】本発明の一実施形態に係る移動体監視装置を示すブロック図である。
【図２】図１に示した移動体監視装置を搭載した自車両に、他車両が右方向から接近している状態を、上方からの平面視として表す模式図である。
【図３】（ａ）は時系列的に先行する第（Ｎ−１）フレームの静止画像Ｐ（ｎ−１）、（ｂ）は静止画像Ｐ（ｎ−１）に後続する第（Ｎ）フレームの静止画像Ｐ（ｎ）、をそれぞれ表す図である。
【図４】静止画像Ｐ（ｎ）に後続する第（Ｎ＋１）フレームの静止画像Ｐ（ｎ＋１）を表す図である。
【図５】２つの画像Ｐ（ｎ）、Ｐ（ｎ＋１）の差分ΔＰ（ｎ）＝Ｐ（ｎ＋１）−Ｐ（ｎ）を明暗反転した模式図である。図である。
【図６】画像の全域に等間隔でマトリックス状に分布する縦４画素×横４画素からなる複数のブロックＢijを示す図である。
【図７】図５に示した差分の画像の全域に、図６に示した複数のブロックＢijを設定した状態を示す図である。
【図８】他車両が存在するブロックＢijだけを選択した状態を示す図である。
【図９】（ａ）は元のブロックＢijの画素配列を示す図、（ｂ）は局所的にサブピクセル化したブロックＢijの画素配列を示す図、（ｃ）はの全体をサブピクセル化したブロックＢijの画素配列を示す図、をそれぞれ示す模式図である。
【図１０】局所サブピクセル化されたブロックＢijをテンプレートＴとして次画像Ｐ（ｎ＋１）をテンプレートマッチング処理する様子を示す模式図である。
【図１１】サブピクセル化されていない画素と全体がサブピクセル化された次画像Ｐ（ｎ＋１）とのマッチング処理を説明する図である。
【図１２】テンプレートマッチング処理の探索範囲の限定を説明する図である。
【図１３】図１に示した移動体監視装置による作用の処理手順を説明するフローチャートである。
【図１４】相関法演算手段による相関法によるオプティカルフローを求める処理手順を説明するフローチャートである。
【符号の説明】
【０１０６】
１０    移動体検出手段
２０    移動体特徴量算出手段
３０    演算切替手段
４０    相関法演算手段
４１    補間処理手段
５０    勾配法演算手段
７０    予測フィルタ
８０    カメラ
８５    モニタ
１００  移動体監視装置
【図１】
0004675808.tif 000002
【図２】
0004675808.tif 000003
【図３】
0004675808.tif 000004
【図４】
0004675808.tif 000005
【図５】
0004675808.tif 000006
【図６】
0004675808.tif 000007
【図７】
0004675808.tif 000008
【図８】
0004675808.tif 000009
【図９】
0004675808.tif 000010
【図１０】
0004675808.tif 000011
【図１１】
0004675808.tif 000012
【図１２】
0004675808.tif 000013
【図１３】
0004675808.tif 000014
【図１４】
0004675808.tif 000015