【手続補正書】
【提出日】平成16年1月6日(2004.1.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の名称】画像認識装置
【特許請求の範囲】
【請求項１】撮影時間に時間差のある第１画像と第２画像との画像データを比較し、その差から物体の移動状態を検出するオプティカルフロー手段を備えた画像認識装置において、
前記オプティカルフロー手段が、
前記第１画像の比較を行う画像領域を制限する領域制限手段と、
前記領域制限手段により制限された前記第１画像の領域を複数の小領域に分割する分割手段と、
前記小領域を前記第２画像の各部と比較し、該小領域と実質的に一致する前記第２画像の領域を検出する画像移動状態検出手段とを備えていることを特徴とする画像認識装置。
【請求項２】撮影位置の異なる第１画像と第２画像との画像データを比較し、その差から物体の距離を検出するステレオ測距手段を備えた画像認識装置に
おいて、  前記ステレオ測距手段が、
前記第１画像の比較を行う画像領域を制限する領域制限手段と、
該領域制限手段により制限された前記第１画像の領域を複数の小領域に分割する分割手段と、
該小領域を前記第２画像の各部と比較し、該小領域と実質的に一致する前記第２画像の領域を検出する画像移動状態検出手段とを備えていることを特徴とする画像認識装置。
【請求項３】前記画像移動状態検出手段が比較する前記第２画像の範囲を限定する比較範囲限定手段を備えていることを特徴とする請求項２記載の画像認識装置。
【請求項４】前記比較範囲限定手段が、画像を撮影するカメラの設置状態に応じて前記第２画像の比較範囲を変化させるものであることを特徴とする請求項３記載の画像認識装置。
【請求項５】前記第１画像と前記第２画像は地面からの高さが同じ位置に設置されたカメラから撮影された画像であって、
前記比較範囲限定手段が、前記第２画像における前記小領域に対応する領域の水平方向に延びる領域を比較範囲とするものであることを特徴とする請求項３記載の画像認識装置。
【請求項６】撮影時間に時間差のある第１画像と第２画像との画像データを比較し、その差から物体の移動状態を検出するオプティカルフロー手段と、
撮影位置の異なる第３画像と第４画像との画像データを比較し、その差から物体の距離を検出するステレオ測距手段とを備えた画像認識装置であって、
前記オプティカルフロー手段と前記ステレオ測距手段との検出結果から、移動物体の状態を検出する移動物体状態検出手段を備えていることを特徴とする画像認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、自動車等の移動体に搭載され、カメラで取り込んだ画像を処理することにより移動体周囲の状況を把握し、移動体の自動運転等に利用することのできる画像認識装置に関する。
【０００２】
【従来の技術】
自動車の運転を楽にすると共に、安全性向上のために自動運転の技術の開発が進められているが、この自動運転を実現するためには、自動車の周囲の状況を把握する必要がある。その自動車の周囲の状況を把握する技術の１つとして、カメラにより自動車周囲の画像を取り込み、マイクロコンピュータ（マイコン）を用いて画像情報を処理する技術がある。その画像処理技術の代表的なものとして、オプティカルフローと言われる技術と、ステレオ測距と言われる技術がある。
【０００３】
オプティカルフローは、「時間的に連続した画像において、ある時点における入力画像中の小領域が、次の時点における入力画像中に存在する位置を求めることにより、小領域の移動方向と移動量を求める技術」であり、この技術により自動車周囲の他の自動車の移動状態や人、自転車等の物体の移動状態を把握することが可能になる。
【０００４】
またステレオ測距は、「ある視点における画像の小領域が、別の視点における入力画像中に存在する位置を求めることにより、三角測量の原理を用いて撮像位置から小領域までの距離を求める技術」であり、この技術により自動車から自動車周囲の他の自動車、人や建築物等の距離を把握することが可能となる。
【０００５】
【発明が解決しようとする課題】
しかし、オプティカルフローを自動車の周囲状況の把握のために用いた場合、１）影の移動や光の反射率の違い等による誤検出、２）カメラ（自動車）の移動に伴う背景の移動による誤検出（背景を自動車周囲の物体として誤検出）、３）光軸方向の動きに対する検出性能の低さ、４）マイコンの演算負荷が高い、等の課題がある。
【０００６】
また、ステレオ測距を自動車の周囲状況の把握のために用いた場合、１）カメラの配置により測距できない死角が生じる、２）背景と検出対象物の区別が困難、３）対象物の見えかたや光の反射率の違いにより測距結果にバラツキが生じる、４）マイコンの演算負荷が高い、等の課題がある。
【０００７】
本発明は上記課題に鑑み成されたものであって、誤検出等の少ない、検出能力の高い、自動車等の周囲の状況を把握するための画像処理装置を提供することを目的としている。
【０００８】
【課題を解決するための手段及びその効果】
上記目的を達成するため、本発明に係る画像処理装置（１）は、撮影時間に時間差のある第１画像と第２画像との画像データを比較し、その差から物体の移動状態を検出するオプティカルフロー手段を備えた画像認識装置において、前記オプティカルフロー手段が、前記第１画像の比較を行う画像領域を制限する領域制限手段と、前記領域制限手段により制限された前記第１画像の領域を複数の小領域に分割する手段と、前記小領域を前記第２画像の各部と比較し、該小領域と実質的に一致する前記第２画像の領域を検出する画像移動状態検出手段とを備えていることを特徴としている。
【０００９】
上記画像処理装置（１）によれば、前記領域制限手段、前記分割手段、及び前記画像移動状態検出手段の相互作用によりオプティカルフロー処理のための演算量が削減され、処理速度が速くなる。このためよりリアルタイムで各種制御を行え、また比較的処理速度の遅いマイコンを用いても実用化できるので低価格で画像処理装置を実現することができる。
【００１０】
また、本発明に係る画像処理装置（２）は、撮影位置の異なる第１画像と第２画像との画像データを比較し、その差から物体の距離を検出するステレオ測距手段を備えた画像認識装置において、前記ステレオ測距手段が、前記第１画像の比較を行う画像領域を制限する領域制限手段と、該領域制限手段により制限された前記第１画像の領域を複数の小領域に分割する分割手段と、該小領域を前記第２画像の各部と比較し、該小領域と実質的に一致する前記第２画像の領域を検出する画像移動状態検出手段とを備えていることを特徴としている。
【００１１】
上記画像処理装置（２）によれば、前記領域制限手段、前記分割手段、及び前記画像移動状態検出手段の相互作用によりステレオ測距処理のための演算量が削減され、処理速度が速くなる。このためよりリアルタイムで各種制御を行え、また比較的処理速度の遅いマイコンを用いても実用化できるので低価格で画像処理装置を実現することができる。
【００１２】
また、本発明に係る画像処理装置（３）は、上記画像処理装置（２）において、前記画像移動状態検出手段が比較する前記第２画像の範囲を限定する比較範囲限定手段を備えていることを特徴としている。
【００１３】
上記画像処理装置（３）によれば、ステレオ測距処理のための演算量がさらに削減される。
【００１４】
また、本発明に係る画像処理装置（４）は、上記画像処理装置（３）において、前記比較範囲限定手段が、画像を撮影するカメラの設置状態に応じて前記第２画像の比較範囲を変化させるものであることを特徴としている。
【００１５】
上記画像処理装置（４）によれば、必要な領域に対しての処理のみを行うので、演算処理を削減でき、またデータの品質を低下させることもない。
【００１６】
また、本発明に係る画像処理装置（５）は、上記画像処理装置（３）において、前記第１画像と前記第２画像は地面からの高さが同じ位置に設置されたカメラから撮影された画像であって、前記比較範囲限定手段が、前記第２画像における前記小領域に対応する領域の水平方向に延びる領域を比較範囲とするものであることを特徴としている。
【００１７】
上記画像処理装置（５）によれば、原理的に一致画像が存在する限られた領域に対しての処理のみを行うので、演算処理を削減でき、またデータの品質を低下させることもない。
【００１８】
また、本発明に係る画像処理装置（６）は、撮影時間に時間差のある第１画像と第２画像との画像データを比較し、その差から物体の移動状態を検出するオプティカルフロー手段と、撮影位置の異なる第３画像と第４画像との画像データを比較し、その差から物体の距離を検出するステレオ測距手段とを備えた画像認識装置であって、前記オプティカルフロー手段と前記ステレオ測距手段との検出結果から、移動物体の状態を検出する移動物体状態検出手段を備えていることを特徴としている。
【００１９】
上記画像処理装置（６）によれば、オプティカルフロー処理とステレオ測距処理とを相互に補完しながら処理を行うので、より適切なデータを取得でき、また相互補完により総演算量の削減も図ることができる。
【００２０】
【発明の実施の形態】
以下、本発明に係る画像認識装置の実施の形態を図面に基づいて説明する。図１は本発明の実施の形態に係る画像認識装置を用いた車両制御システムを示すブロック構成図である。
【００２１】
カメラＬ１、カメラＲ２は自動車の前方の画像を取り込むように車体に設置されたカメラで、カメラＬ１は車両左側、カメラＲ２は車両右側に互いに距離（カメラ間隔ｂ）をおいて設置されている。画像メモリ３、４は、それぞれカメラＬ１、カメラＲ２の取り込んだ画像を記憶するメモリで、ＲＡＭにより構成されている。そして、画像メモリ３、４における画像の記憶タイミング等の制御はマイクロコンピュータ（マイコン）５により制御されている。マイコン５は画像メモリ３、４に記憶された画像データの処理、車両の状態を検出する各センサからの信号の処理、スロットルバルブの制御等の車両の動作制御を行うもので、マイコン５の動作プログラムが記憶されたＲＯＭや演算処理に用いるＲＡＭ等からなるメモリ６が接続されている。
【００２２】
ステアリングセンサ７はハンドル（ステアリング）の回転角を検出するもので、ステアリング軸と連動して回転し抵抗値が変化するポテンショメータ（回転式ボリウム）や光学式の角検出センサ等から構成されている。車速センサ８は車両の走行速度を検出するもので、車輪の回転に同期した信号を出力するセンサ、例えば車軸に同期して回転する磁石とこの磁石に近接して設けられて磁石の位置により接断動作するリードスイッチからなるセンサ等により構成されている。ピッチングセンサ９は、車両のピッチング動作（前後方向の揺動）を検出するもので、前後車輪に設けられたサスペンションの動作状況（サスペンションコイル長の差や変化）の検出（スライド式ボリウム、光学式距離計や圧電素子を用いた歪センサ等により検出）等により車両のピッチングを検出する。ヨーレートセンサ１０は車両のヨー方向の動きを検出するセンサで、質量体と歪センサ等からなる加速度センサにより構成されている。そして、これらステアリングセンサ７、車速センサ８、ピッチングセンサ９、ヨーレートセンサ１０の出力信号は、入力インターフェイス１１を介して、マイコン５に与えられるようになっている。
【００２３】
ブレーキアクチュエータ１２は、車両のブレーキを制御するもので油圧駆動装置等により構成されている。そして、マイコン５からの信号によりブレーキアクチュエータ１２における油圧系のバルブ等が制御され、車両の制動力が制御されるようになっている。スロットルアクチュエータ１３は、車両のスロットルバルブを駆動しエンジンの吸入空気量を変化させるもので、ステッピングモータ等を含んで構成されている。変速機アクチュエータ１４は車両の変速機の変速比を変えるもので、油圧駆動装置等により構成されている。そして、マイコン５からの信号により変速機アクチュエータ１４における油圧系のバルブ等が制御され、車両の変速機の変速比が制御されるようになっている。警報器１５は動作異常等、画像認識不能等を報知するもので、ブザー、警告ランプ等により構成されている。そして、これら、ブレーキアクチュエータ１２、スロットルアクチュエータ１３、変速機アクチュエータ１４、警報器１５は出力インターフェイス１６を介して、マイコン５に接続されており、マイコン５によりその動作が制御されるように構成されている。
【００２４】
つまり、図１に示した車両制御システムによれば、カメラＬ１、カメラＲ２から取り込まれた画像により認識された車両周囲の状況（前方車両の状況）や入力インターフェイス１１を介して入力された各種センサからの信号に応じて、スロットルバルブやブレーキを制御して、自動運転や運転補助をなすように動作する。
【００２５】
次に本実施の形態における画像認識技術のオプティカルフローについて説明する。図２はオプティカルフローの動作概要を説明するための説明図、図３、４はマイコン５の行うオプティカルフロー計算処理を示すフローチャートである。
【００２６】
本実施の形態によるオプティカルフローの算出は、先ず時刻ｔにおける画像全体を画素数がｍ×ｎの小領域に分割し、そしてオプティカルフローを計算する範囲〔（ａ，ｂ）〜（Ａ，Ｂ）〕を決定する。そして、各領域について時刻ｔ＋１（時刻ｔの次の画像取り込み時刻）の画像における同一画像と推測される画像の位置を検出し（時刻ｔの画像と時刻ｔ＋１の画像の対応する各画素の明度差の総和が最小となる画像の位置を検出する）、それら画像の位置の差を算出してオプティカルフロー値とする。尚、本実施の形態においては、時刻ｔ＋１の画像における同一画像の検出処理範囲（画素の明度を比較する画像領域）を、検出対象となる移動物体の各方向における考え得る速度範囲から定まる画像の移動可能範囲により決定して演算量を削減し、処理の高速化およびマイコン５の負担の減少を図っている。そして、このような処理を、決定した全計算範囲の小領域について行い、各小領域におけるオプティカルフロー値を求める。尚、使用する画像はカメラＬ１、カメラＲ２のどちらの画像を用いてもよい。
【００２７】
次にマイコン５の行う処理について説明する。ステップＯＦ１では、オプティカルフローの算出単位である小領域の大きさ（画素数  縦ｍ，横ｎ）を決定し、ステップＯＦ２に移る。ステップＯＦ２では、画像（時刻ｔの画像）を小領域に分割し（ｗ行ｈ列に分割）、ステップＯＦ３に移る。ステップＯＦ３ではオプティカルフローの計算範囲を決定し（ｗ行ｈ列に分割した部分の、ａ〜Ａ行，ｂ〜Ｂ列部分）、ステップＯＦ４に移る。ステップＯＦ４では、変数ｉ，ｊにａ，ｂを設定し、ステップＯＦ５に移る。
【００２８】
ステップＯＦ５では、時刻ｔの画像（以後ｔ画像、同様のｔ＋１画像と称する）におけるｉ行ｊ列の小領域の画像データを読み込み、ステップＯＦ６では、比較するｔ＋１画像の基準位置を設定し、ステップＯＦ７に移る。基準位置は、Ｘ座標が  ｍ×（ｉ−１）−ｖ  で、Ｙ座標が  ｎ×（ｊ−１）−ｕ  で、ｕ、ｖは検出対象となる移動物体の各方向における考え得る速度範囲から定まる画像の移動可能範囲により決定される。ステップＯＦ７では、変数α、βを０に設定し、また変数ｍｉｎを値ＭＡＸ（ｔ画像とｔ＋１画像の各画素の明度差の総和における理論的最大値）に設定し、ステップＯＦ８に移る。
【００２９】
ステップＯＦ８では、基準位置からα画素下、ベータ画素右の点を原点とする小領域の画像データを読込み、ステップＯＦ９に移る。ステップＯＦ９では、各画像における小領域の各点（ｐ，ｑ）の明度〔ｔ画像：ｆt(p,q)，ｔ＋１画像：ｆt-1(p,q)〕の差を算出し、そしてその差の総和（総和差Ｓ）を演算してステップＯＦ１０に移る。つまり、本処理では明度差の総和が最小の領域を同一画像がある領域と判断して、画像の移動量、つまりオプティカルフローを検出する。ステップＯＦ１０では、総和差Ｓがこれまでの総和差Ｓの最小値ｍｉｎより小さいかどうか判断し、小さければステップＯＦ１１に移り、小さくなければステップＯＦ１２に移る。ステップＯＦ１１では、変数ｍｉｎを総和差Ｓに設定し、変数Ｘ、Ｙを各々α、βに設定し、ステップＯＦ１２に移る。つまり、比較した中で最小の総和差Ｓが検出されれば、その位置を示すα、βを記憶し、またその総和差Ｓを新たな比較基準としてｍｉｎに設定する。
【００３０】
ステップＯＦ１２では、αに１を加算してステップＯＦ１３に移る。つまり、次に比較する画像の原点を右に１画素移動させるための処理をおこなう。ステップＯＦ１３では、αが計算範囲の画像領域外に対応する値（ｕ、Ｕは検出対象となる移動物体の各方向における考えうる速度範囲から定まる画像の移動可能範囲により決定される値で、Ｕは右側に移動可能な最大画素数で、ｕは左側に移動可能な最大画素数）に達したかどうか判断し、達していればステップＯＦ１４に移り、達していなければステップＯＦ８に戻る。ステップＯＦ１４では、αを０とすると共にβに１を加算してステップＯＦ１５に移る。つまり、次に比較する画像の原点を下に１画素移動させるとともに、水平方向については元の位置に戻すための処理をおこなう。ステップＯＦ１５では、βが計算範囲の画像領域外に対応する値（ｖ、Ｖは検出対象となる移動物体の各方向における考えうる速度範囲から定まる画像の移動可能範囲により決定される値で、Ｖは下側に移動可能な最大画素数で、ｖは上側に移動可能な最大画素数）に達したかどうか判断し、達していればステップＯＦ１６に移り、達していなければステップＯＦ８に戻る。つまり、これらの処理により所定範囲におけるｔ画像とｔ＋１画像の明度比較が行われることになる。ステップＯＦ１６では、当該小領域のオプティカルフロー値Ｆとして、Ｘ方向値をＸ−ｕ、Ｙ方向値をＹ−ｖとして記憶し、ステップＯＦ１７に移る（ｔ画像の比較小領域の原点位置から右方向にｕ、上方向にｖずれた位置を０として、ｔ＋１画像における総和差Ｓが最小となる小領域の原点位置の座標が（Ｘ，Ｙ）となるので、移動量（オプティカルフロー値）としては、（Ｘ−ｕ，Ｙ−ｖ）となる）。
【００３１】
ステップＯＦ１７では、ｉに１を加算してステップＯＦ１８に移る。つまり、次に比較する画像の小領域を右に１移動させるための処理をおこなう。ステップＯＦ１８では、ｉがオプティカルフローを計算する範囲の最大値Ａに達したかどうか判断し、達していればステップＯＦ１９に移り、達していなければステップＯＦ５戻る。ステップＯＦ１９では、ｉをａ（オプティカルフローを計算する範囲の最小値）にすると共に、ｊに１を加算してステップＯＦ２０に移る。つまり、次に比較する画像の小領域を下に１移動させるとともに水平方向については元の位置に戻すための処理をおこなう。ステップＯＦ２０では、ｊがオプティカルフローを計算する範囲の最大値Ｂに達したかどうか判断し、達していれば処理を終え、達していなければステップＯＦ５に戻る。
【００３２】
上記処理により、ｔ画像の各小領域と同一の画像がｔ＋１画像のどの位置に存在するかにより、各小領域のオプティカルフローを演算算出することができる。
【００３３】
次に本実施の形態における画像認識技術のステレオ測距について説明する。図５はステレオ測距の動作概要を説明するための説明図、図６、７はマイコン５の行うステレオ測距計算処理を示すフローチャートである。
【００３４】
本実施の形態に係るステレオ測距は、先ず右カメラＲ２から取り込んだ右画像全体を画素数がｍ×ｎの小領域に分割し、そしてステレオ測距計算を行う範囲〔（ａ，ｂ）〜（Ａ，Ｂ）〕を決定する。そして、各領域について左画像（同時刻に左カメラＬ１が取り込んだ画像）における同一画像と推測される画像の位置を検出し（右画像と左画像の対応する各画素の明度差の総和が最小となる左画像の位置を検出する）、それら画像の位置差を算出して、左右カメラの取付位置との関係から検出対象（当該画像の物体）までの距離を演算する。そして、左画像における同一画像の検出処理範囲（画素の明度を比較する画像領域）を、各カメラの設置状態により定まる同一画像が理論的に存在する可能性のある領域とし、また右画像の比較対象画像の位置に対して左画像の水平（左右）方向の画像（比較対象画像と高さは同じ）だけを検出処理範囲として、演算量を削減し、処理の高速化およびマイコン５の負担の減少を図っている。そして、このような処理を、決定した全計算範囲の小領域について行い、各小領域におけるステレオ測距を行う。
【００３５】
次にマイコン５の行う処理について説明する。ステップＳＴ１では、ステレオ測距の算出単位である小領域の大きさ（画素数  縦ｍ，横ｎ）を決定し、ステップＳＴ２に移る。ステップＳＴ２では、右画像を小領域に分割し（ｗ行ｈ列に分割）、ステップＳＴ３に移る。ステップＳＴ３ではステレオ測距の計算範囲を決定し（ｗ行ｈ列に分割した部分の、ａ〜Ａ行，ｂ〜Ｂ列部分）、ステップＳＴ４に移る。ステップＳＴ４では、変数ｉ、ｊをａ、ｂに設定し、ステップＳＴ５に移る。
【００３６】
ステップＳＴ５では、右画像におけるｉ行ｊ列の小領域の画像データを読み込み、ステップＳＴ６に移る。ステップＳＴ６では、比較する左画像の基準位置を設定し、ステップＯＦ７に移る。基準位置は、Ｘ座標が  ｍ×（ｉ−１）＋１で、Ｙ座標が  ｎ×（ｊ−１）＋１  であり、左画像ではそのカメラの設置位置関係により、同一物体は右画像より右側にあることから、基準位置を右画像の対象物体の画像位置と同一位置とし、そこから右方向に同一画像を検出する処理を行う。ステップＳＴ７では、変数ｋを０に設定し、また変数ｍｉｎを値ＭＡＸ（右画像と左画像の各画素の明度差の総和における理論的最大値）に設定し、ステップＳＴ８に移る。
【００３７】
ステップＳＴ８では、左画像における基準位置からｋ画素右の点を原点とする小領域の画像データを読込み、ステップＳＴ９に移る。ステップＳＴ９では、各画像における小領域の各点（ｐ，ｑ）の明度〔左画像：ｆl(p,q)，右画像：ｆr(p,q)〕の差を算出し、そしてその差の総和（総和差Ｓ）を演算してステップＳＴ１０に移る。つまり、本処理では明度差の総和が最小の領域を同一画像がある領域と判断して、画像の移動量、つまりステレオ測距のパラメータを検出する。ステップＳＴ１０では、総和差Ｓがこれまでの総和差Ｓの最小値ｍｉｎより小さいかどうか判断し、小さければステップＳＴ１１に移り、小さくなければステップＳＴ１２に移る。ステップＳＴ１１では、変数ｍｉｎを総和差Ｓに設定し、変数ｄをｋに設定し、ステップＳＴ１２に移る。つまり、比較した中で最小の総和差Ｓが検出されれば、その位置を示すｋを記憶し、またその総和差Ｓを新たな比較基準としてｍｉｎに設定する。
【００３８】
ステップＳＴ１２では、ｋに１を加算してステップＳＴ１３に移る。つまり、次に比較する画像の原点を右に１画素移動させるための処理をおこなう。ステップＳＴ１３では、ｋが計算範囲の画像領域外に対応する値（Ｋｍａｘ：検出対象となる移動物体の検出距離範囲から定まる左右画像の同一画像の画像位置差）に達したかどうか判断し、達していればステップＳＴ１４に移り、達していなければステップＳＴ８戻る。ステップＳＴ１４では、対象物（当該小領域の画像に対応する物体）までの距離Ｄを
Ｄ＝ｂ・ｆ／（ｄ／ｕ）
ｂ：左右カメラ間距離
ｆ：カメラの焦点距離
ｕ：カメラの画素の横サイズ
に基づき演算する。
【００３９】
ステップＳＴ１５では、ｉに１を加算してステップＳＴ１６に移る。つまり、次に比較する画像の小領域を右に１移動させるための処理をおこなう。ステップＳＴ１６では、ｉがステレオ測距の計算をする範囲の最大値Ａに達したかどうか判断し、達していればステップＳＴ１７に移り、達していなければステップＳＴ５に戻る。ステップＳＴ１７では、ｉをａ（ステレオ測距の計算をする範囲の最小値）にすると共に、ｊに１を算してステップＳＴ１８に移る。つまり、次に比較する画像の小領域を下に１移動させるとともに水平方向については元の位置に戻すための処理をおこなう。ステップＳＴ１８では、ｊがステレオ測距の計算をする範囲の最大値Ｂに達したかどうか判断し、達していれば処理を終え、達していなければステップＯＦ５に戻る。
【００４０】
上記処理により処理により、右画像の各小領域と同一の画像が左画像のどの位置に存在するかにより、各小領域のステレオ測距を行うことができる。
【００４１】
次にオプティカルフロー、ステレオ測距のデータを用いた立体移動物と背景との識別処理について説明する。図８はマイコン５の行う立体移動物の識別処理を示すフローチャートである。
【００４２】
ステップＢＫ１、ステップＢＫ２ではそれぞれ前述の処理により、ステレオ測距計算、オプティカルフロー計算を行いステップＢＫ３に移る（計算値はメモリ６に記憶される）。ステップＢＫ３では、車両に設けられた各種センサから、各種車両状況データ、車速、ヨーレート、ピッチング等を取り込み、ステップＢＫ４に移る。ステップＢＫ４では処理用のカウンタｉを０に初期化し、ステップＢＫ５に移る。ステップＢＫ５では、画像のｉ番目の小領域（ｉ領域）について、その小領域の画像の物体が静止物である場合のオプティカルフローを、小領域の位置、車速等の車両状態、ステレオ測距で得られた該当物体までの距離等のデータにより理論的に計算で求め（理論オプティカルフロー）、ステップＢＫ６に移る。
【００４３】
ステップＢＫ６では、ｉ領域における画像データにより得られたオプティカルフロー（計測オプティカルフロー）をメモリ６から読込み、ステップＢＫ７に移る。ステップＢＫ７では、理論オプティカルフローと、計測オプティカルフローとを比較し、一致していればステップＢＫ８に移り、一致していなければステップＢＫ９に移る。尚、理論オプティカルフローと計測オプティカルフローの一致条件は、例えばオプティカルフロー（ベクトル）の絶対値（大きさ）と方向（角度）の差が、共に所定割合未満および所定差未満（測定オプティカルフローにおける絶対値の９０〜１１０％の範囲に理論オプティカルフローの絶対値が入り、かつ測定オプティカルフローにおける方向の＋−５度の範囲に理論オプティカルフローの方向が入れば一致の判定）のように設定し、ある程度の幅を持たせる。
【００４４】
ステップＢＫ８では、測定オプティカルフローが静止物の理論オプティカルフローと一致しているため、ｉ領域の画像は静止物（背景）として判断し、その結果を車両の制御等に用いるためにメモリ６に記憶し、ステップＢＫ１０に移る。またステップＢＫ９では、ステップＢＫ８とは逆に、ｉ領域の画像は立体移動物として判断し、その結果を車両の制御等に用いるためにメモリ６に記憶し、ステップＢＫ１０に移る。ステップＢＫ１０では、次の小領域に対する処理を行うために、カウンタｉに１を加算して、ステップＢＫ１１に移る。ステップＢＫ１１では、カウンタｉの値から、処理すべき全小領域について処理を終えたかどうか判断し、処理を終えていれば本処理を終え、処理を終えていなければステップＢＫ５に戻り、次の小領域に対する処理を行う。
【００４５】
次に理論オプティカルフローの算出方法について説明する。図９は理論オプティカルフローを算出する方法を示す説明図である。図 9（Ａ）に示したように、ＸＺ平面を道路面、自動車の進行方向をＺ軸方向とすると、点Ｐ０（Ｘ０，Ｙ０，Ｚ０）、Ｐ（Ｘ，Ｙ，Ｚ）の像は、各々カメラのイメージプレーン（カメラで捕らえた画像が形成される画像平面（画素面））のｐ（ｘ０，ｙ０），ｐ（ｘ，ｙ）に形成される。ここで、自動車が直線走行している場合における、イメージプレーンのｘ軸方向に関する画像の動きについて説明する。  図９（Ｂ）に示したように、自動車がＺ軸方向に速度Ｖ（ここでは、説明を分かりやすくするためオプティカルフローの計算周期に進む距離を速度Ｖとする）で直進すると、自動車から見る静止立体物Ａは、Ｚ軸方向に自動車に距離Ｙだけ近づいたことになる。この時、カメラの光学系の焦点距離をｆ、移動後の立体物ＡまでのＺ軸方向の距離をＺ、光軸（Ｚ軸）と静止物体までのＸ方向の距離をＸ、イメージプレーン上における立体物Ａの画像のｘ軸方向の位置を移動前ｘそして移動量をｕとすると、各点の座標および光学系（レンズ）の焦点により形成される三角形の相似関係により、次の関係が成り立つ。
【００４６】
・移動前：  （Ｚ＋Ｖ）／ｆ  ＝  Ｘ／ｘ
・移動後：  Ｚ／ｆ  ＝  Ｘ／（ｘ＋ｕ）
これらの式から、次の関係が成立する。
【００４７】
ｕ  ＝  ｘ・Ｖ／Ｚ
同様に、イメージプレーン上における立体物Ａの画像のｙ軸方向の位置を移動前ｙそして移動量をｖとすると、次の関係が成立する。
【００４８】
ｖ  ＝  ｙ・Ｖ／Ｚ
つまり、自動車が直進している場合の静止物の理論オプティカルフロー（ｕ，ｖ）は、画像データ（物体の位置）、車速センサにより計測される車速Ｖおよびステレオ測距により計測されるＺ軸方向の立体物までの距離Ｚに基づき、上記計算式により求めることができる。
【００４９】
次にカーブ走行中における理論オプティカルフローの算出方法について説明する。図１０はカーブ走行中における理論オプティカルフローを算出する方法を示す説明図である。図１０に示したように、自動車がカーブを速度Ｖ（ここでは、説明を分かりやすくするためオプティカルフローの計算周期に進む距離を速度Ｖとする）で走行すると、カーブの曲率半径Ｒは一般的に距離Ｖに対して大きいので（計算周期は短く、距離Ｖの値は曲率半径Ｒに比べて非常に小さい）、自動車から見る静止立体物Ａは、カーブの曲線（円弧）の接線方向に距離Ｖ移動したと近似できる（方向は自動車の進行方向と逆）。この時、カメラの光学系の焦点距離をｆ、移動後の立体物Ａまでの各Ｚ軸方向（進行方向が変化しているので、移動前はＺｔ０軸、移動後はＺｔ１軸）の距離をＺ１，Ｚ、各光軸（Ｚ軸）と静止物体までのＸ方向の距離をＸ１，Ｘ、イメージプレーン上における立体物Ａの画像のｘ軸方向の位置を移動前ｘそして移動量をｕ、自動車の進行角変化をθとすると、各点の座標および光学系（レンズ）の焦点により形成される三角形の相似関係により、次の関係が成り立つ。
【００５０】
・移動前：  （Ｚ１＋Ｖ・ｃｏｓθ）／ｆ  ＝  Ｘ／ｘ
Ｚ１  ＝  Ｚ／ｃｏｓθ＋（Ｘ＋Ｖ・ｓｉｎθ）・ｔａｎθ
・移動後：  Ｚ／ｆ  ＝  Ｘ１／（ｘ＋ｕ）
Ｘ１  ＝  Ｚ・ｔａｎθ＋（Ｘ＋Ｖ・ｓｉｎθ）／ｃｏｓθ
これらの式を、ｕおよびＸについて解くと、次のようになる。
【００５１】
u = (f・Z ・ sinθ + f・X + f ・ V ・ sinθ）/( Z ・ cosθ)-x
X= x・(Z+V ・ sinθ ・ sinθ + V ・ cosθ ・ cosθ)/(f ・ cosθ-x ・ sinθ)
この式で求まるＸを上記オプティカルフローｕを求める式に代入することにより
、理論オプティカルフローｕが求まる。
【００５２】
また、ｙ方向については、進行方向の変化に伴うＹの変化がないので、次の関
係が設立する。
【００５３】
・移動前：  （Ｚ１＋Ｖ・ｃｏｓθ）／ｆ  ＝  Ｙ／ｙ
Ｚ１  ＝  Ｚ／ｃｏｓθ＋（Ｘ＋Ｖ・ｓｉｎθ）・ｔａｎθ
・移動後：  Ｚ／ｆ  ＝  Ｙ／（ｙ＋ｖ）
そして同様にこれらの式から、理論オプテカルフローｖが求まる。
【００５４】
つまり、自動車がカーブを走行している場合の静止物の理論オプティカルフロー（ｕ，ｖ）は、画像データ（物体の位置）、車速センサにより計測される車速Ｖおよびステレオ測距により計測されるＺ軸方向の立体物までの距離Ｚ、およびヨーレートセンサやステアリングセンサにより検出される進行方向変化角θに基づき、上記計算式により求めることができる。
【００５５】
次に自動車にピッチング動作が発生している状態における理論オプティカルフローの算出方法について説明する。図１１はピッチング発生中における理論オプティカルフローを算出する方法を示す説明図である。
【００５６】
図１１に示したように、自動車にピッチングが発生している場合には、画像のｘ軸方向の位置については基本的に影響が無く、直線走行中と同様の計算によりオプティカルフローｕが求まる。一方、画像のｙ軸方向の位置については影響がある。カメラの光学系の焦点距離をｆ、移動後の立体物Ａまでの各Ｚ軸方向（進行方向が変化しているので、移動前はＺｔ０軸、移動後はＺｔ軸）の距離をＺ１，Ｚ、各光軸（Ｚ軸）と静止物体までのＹ方向の距離をＹ１，Ｙ、イメージプレーン上における立体物Ａの画像のｙ軸方向の位置を移動前ｙそして移動量をｖ、ピッチング角をθとすると、各点の座標および光学系（レンズ）の焦点により形成される三角形の相似関係により、次の関係が成り立つ。
【００５７】
・移動前：  （Ｚ１＋Ｖ）／ｆ  ＝  Ｙ／ｙ
Ｚ１  ＝  Ｚ／ｃｏｓθ＋Ｙ・ｔａｎθ
・移動後：  Ｚ／ｆ  ＝  Ｙ１／（ｙ＋ｖ）
Ｙ１  ＝  Ｚ・ｔａｎθ＋Ｙ／ｃｏｓθ
これらの式を、ｖおよびＹについて解くと、次のようになる。
【００５８】
ｖ＝（ｆ・Ｚ・ｓｉｎθ＋ｆ・Ｙ）／Ｚ・ｃｏｓθ  −  ｙ
Ｙ＝ｙ・（Ｚ＋Ｖ・ｃｏｓθ）／（ｆ・ｃｏｓθ−ｙ・ｓｉｎθ）
この式で求まるＹを上記オプティカルフローｖを求める式に代入することにより
、理論オプティカルフローｖが求まる。
【００５９】
つまり、自動車にピッチングが発生している場合の静止物の理論オプティカルフロー（ｕ，ｖ）は、画像データ（物体の位置）、車速センサにより計測される車速Ｖおよびステレオ測距により計測されるＺ軸方向の立体物までの距離Ｚ、およびピッチングセンサにより検出されるピッチング角θに基づき、上記計算式により求めることができる。
【００６０】
そして、これら、直進走行中、カーブ走行中またピッチング発生中における理論オプティカルフローの算出方法を組み合わせることにより、各種走行中における理論オプティカルフロー（ｕ，ｖ）を算出することができる。
【００６１】
次に自動車のピッチング角をピッチングセンサを用いずに、画像認識用のカメラを用いて検出する方法について説明する。図１２は、ピッチング角検出方法を示す原理図、図１３はマイコンが行うピッチング角検出処理を示すフローチャートである。
【００６２】
画像認識用のカメラを用いたピッチング角検出方法は、路面に描かれた図形、例えば車線を区別する白線の所定部分までの距離を、前述のステレオ測距および単一カメラ測距により測定する。尚、単一カメラ測距は、カメラの取付状態と道路上の物体（道路上の所定点）の画像の位置とから、その物体までの距離を測定する方法で、地面を底辺とし、地面からカメラの設置位置までの距離を高さ、そして画像中の物体の位置およびカメラの光軸（カメラの取付角によって決まる）から求まる前記高さとカメラおよび物体とを結んだ線がなす角度によって決まる三角形から、自動車と物体との距離を求めるものである。そして、これらステレオ測距および単一カメラ測距により算出された距離Ｄ０，Ｄ１は、ピッチング角度が０の時は同じ値となるが、ピッチングが発生するとステレオ測距は変化しないが、単一カメラ測距ではカメラの地面に対する角度が算出値に影響するので変化する。その変化の状態は、図１２に示すようにピッチング角がθの時、距離がＤ０からＤ１となる。そして、この距離Ｄ０はステレオ測距での検出値であり、また距離Ｄ１は単一カメラ測距での検出値である。従って、ピッチング角は、ステレオ測距での検出値Ｄ０および単一カメラ測距での検出値Ｄ１から、次式で算出することができる。
【００６３】
θ  ＝  ｔａｎ-1（Ｈｃ／Ｄ０）  −  ｔａｎ-1（Ｈｃ／Ｄ１）
次にマイコン５の行う処理について図１３を用いて説明する。ステップＳ１では、カメラＬ１、Ｒ２により撮影された画像を入力し、ステップＳ２に移る。ステップＳ２では、画像データにおける色および形状データ等に基づき車線間の白線認識を行い、ステップＳ３に移る。ステップＳ３では認識した白線の最も遠い部分（白線の先端部）を測距を行う部分として選択し、ステップＳ４に移る。ステップＳ４では、選択した白線先端部のステレオ測距処理を行って距離Ｄ０を算出し、ステップＳ５に移る。ステップＳ５では、選択した白線先端部の単一カメラ測距処理を行って距離Ｄ１を算出し、ステップＳ６に移る。ステップＳ６では、算出した距離Ｄ０，Ｄ１そして単一カメラ測距に用いた画像を撮影したカメラの地面からの高さＨｃを用いてピッチング角度θを算出し、処理を終える。
【００６４】
以上のような処理により、ピッチング角検出用の特別なセンサを用いることなく、画像認識用の構成を用いてピッチング角を検出することができる。
【００６５】
次に、ステレオ測距における死角の部分、つまり左右のカメラの取付位置の違いにより生じる片方のカメラではその画像が撮影されない物体に関する処理について説明する。図１４は、マイコン５が行うこの死角処理を示すフローチャートである。
【００６６】
ステップＳ１１では、カメラＬ１、Ｒ２により撮影された画像を入力し、ステップＳ２に移る。ステップＳ１２では、死角でない部分についてステレオ測距処理を行い、ステップＳ１３に移る。ステップＳ１３では、左右のカメラにより撮影された画像に基づきオプティカルフロー処理を行い、ステップＳ１４に移る。ステップＳ１４では、ステレオ測距結果、オプティカルフロー結果および車速等から求まる理論オプティカルフロー等に基づき、背景処理（空等の検出でオプティカルフローが０である部分から検出できる）、静止物検出、移動物検出等を行い、ステップＳ１５に移る。ステップＳ１５では、ステレオ測距における死角があるかどうか判断し、死角があればステップＳ１６に移り、死角がなければ処理を終える。この死角の判断は、オプティカルフロー処理を行った結果、オプティカルフローが０でない部分において、ステレオ測距ができなかった部分（死角）があるかどうかにより判断する。ステップＳ１６では、ステレオ測距における死角部分について単一カメラ測距による測距を行い、その検出値を用いて静止物検出、移動物検出等を行い、処理を終える。
【００６７】
以上のような処理により、ステレオ測距における死角部分でも、測距が可能となり静止物検出、移動物検出等が可能となる。
【００６８】
次に、オプティカルフローおよびステレオ測距の算出方法の一例について説明する。図１５はオプティカルフローおよびステレオ測距の算出方法の一例を示すフローチャートであり、必要な画像データ等の入力処理等は省略し、オプティカルフローおよびステレオ測距の処理部分のみを示している。
【００６９】
ステップＳ２１では、オプティカルフローの計算を行い、ステップＳ２２に移る。ステップＳ２２では、オプティカルフローの計算結果から車速データ等を用いた背景処理等を行って、画像中の移動物体を検出し（α個あったとする）、ステップＳ２３に移る。この移動物体の検出処理においては、移動物体の個数および大きさ（画像上の領域）等を記憶する。ステップＳ２３ではカウンタｒを１とし、ステップＳ２４に移る。
【００７０】
ステップＳ２４では、ステレオ測距計算を行い、その結果を記憶し、ステップＳ２５に移る。このステレオ測距処理においては次のように処理を行う。
【００７１】
１）ステレオ測距を行う際の、左右画像の比較を行う画像領域を、全領域でなくステップＳ２２で求めた移動物体の存在する画像領域に限定し、比較処理を行う。
【００７２】
この処理条件により、比較処理演算量が減少し、マイコン５の負荷が低減され、処理の高速化等が可能となる。
【００７３】
２）ステレオ測距を行う際の、左右画像の比較を行う画像領域の大きさを、ステップＳ２２で求めた移動物体の画像の大きさの画像領域とし、比較処理を行う。  この処理条件により、同一物体の検出精度が高くなり、性能の向上が図れ、また比較処理の演算量の低減も図れる。
【００７４】
３）ステレオ測距の算出を行う画像を、オプティカルフローを算出するのに用いた画像の内の新しい方の画像（移動後の画像）とする。
【００７５】
この処理条件により、より新しい時点での、つまり時間遅れの少ないステレオ測距データが得られることになる。
【００７６】
ステップＳ２５では、カウンタｒに１を加算し、ステップＳ２６に移る。ステップＳ２６では、カウンタｒが移動物体の個数αを超えたか否か、つまり全移動物体について処理を終えたかどうか判断し、αを超えていれば処理を終え、αを超えていなければステップＳ２４に戻り、各ステップの処理を繰り返す。
【００７７】
このような処理により、オプティカルフローの結果に応じてステレオ測距の処理方法を変更し、処理効率および処理精度を向上させることができる。
【００７８】
次に道路上における立体物と非立体物の判定処理について説明する。図１６はマイコン５の行う立体物判定処理を示すフローチャートであり、図１７は物体の高さの検出方法を示す原理図である。
【００７９】
ステップＳ３１では物体の高さＨ０を算出し、ステップＳ３２に移る。物体の高さＨ０の算出方法は、図１７に示したような方法で行う。物体までの距離をＤ、レンズと画像検出用の画素間の距離をｆ、カメラ設置高さ（地面からの）をＨｃ、画像における物体上端位置とカメラと同じ高さの物体の画像位置（画像形成面の指定位置となる）との間の距離をδとすると、相似関係により次の式が成り立つ。
【００８０】
Ｈ０  ＝  Ｈｃ  −  Ｄ・δ／ｆ
そして、物体までの距離Ｄはステレオ測距等により検出され、距離δは画像処理により検出され、またカメラ設置高さＨｃ、距離ｆは装置特有の所定値であるので、これらの値を上記式に代入することにより、物体の高さＨ０が算出される。
【００８１】
ステップＳ３２では、算出された物体の高さが所定値、例えば２０ｃｍを超えたかどうか判断し、超えていればステップＳ３３に移り、超えていなければステップＳ３４に移る。ステップＳ３３では立体物であると判断して、その結果を記憶し、処理を終える。またステップＳ３４では非立体物であると判断して、その結果を記憶し、処理を終える。
【００８２】
このような処理により、物体が立体物か、非立体物かを判断できるので、例えば正面に立体物があると判断されれば警報を発する、ブレーキをかける等の自動車の制御を適切に行うことが可能となる。
【００８３】
次にステレオ測距・オプティカルフロー処理の別の処理例について説明する。本処理では、ステレオ測距を用いた立体物検出結果に応じて、オプティカルフロー処理条件を変更する。図１８は、マイコン５の行う本ステレオ測距・オプティカルフロー処理を示すフローチャートである。
【００８４】
ステップＳ４１では，図１６に示した前述の方法によりステレオ測距結果を用いて立体物判定を行い、その判定結果を記憶してステップＳ４２に移る。尚、この判定結果の記憶は、立体物の大きさ（立体物の画像の領域）、個数等を記憶する。ステップＳ４２ではカウンタｒを１とし、ステップＳ４３に移る。
【００８５】
ステップＳ４３では、オプティカルフロー計算を行い、その結果を記憶し、ステップＳ４４に移る。このステレオ測距処理においては次のように処理を行う。
【００８６】
１）オプティカルフローを算出する際の、画像の比較を行う画像領域を、全領域でなくステップＳ４１で求めた立体物の存在する画像領域に限定し、比較処理を行う。
【００８７】
この処理条件により、比較処理演算量が減少し、マイコン５の負荷が低減され、処理の高速化等が可能となる。
【００８８】
２）オプティカルフローを算出する際の、画像の比較を行う画像領域の大きさを、ステップＳ４１で求めた立体物の画像の大きさに応じた画像領域とし、比較処理を行う。この処理条件により、同一物体の検出精度が高くなり、性能の向上が図れ、また比較処理の演算量の低減も図れる。
【００８９】
ステップＳ４４では、カウンタｒに１を加算し、ステップＳ４５に移る。ステップＳ４５では、カウンタｒが立体物の個数αを超えたか否か、つまり全立体物について処理を終えたかどうか判断し、αを超えていれば処理を終え、αを超えていなければステップＳ４３に戻り、各ステップの処理を繰り返す。
【００９０】
このような処理により、ステレオ測距に基づく立体物検出結果に応じてオプティカルフローの処理方法を変更し、無駄な非立体物に対するオプティカルフローの計算の削除等を行え、処理効率および処理精度を向上させることができる。
【００９１】
次にマイコン５の演算負荷をより低下させるための画像処理方法について説明する。図１９は、マイコン５の行う画像処理における画像処理領域決定処理の一例を示すフローチャートである。
【００９２】
ステップＳ５１では、画像における今後自動車が進行する領域であろう進行領域を検出し、ステップＳ５２に移る。この進行領域は、自動車の進行方向（ステアリングセンサ等により検出）と自動車の幅により定まる領域（画像上の領域）、あるいは道路上の車線区分用の白線を認識し、その白線に基づく車線の領域（画像上の領域）を算出することにより、検出される。
【００９３】
ステップＳ５２では、進行領域に侵入してくる移動体である侵入移動体の検出を行い、ステップＳ５３に移る。この侵入移動体の検出は、オプティカルフローを算出し、このオプティカルフローからステップＳ５１で検出した進行領域方向に向かって移動している移動体の存在する領域（画像上の領域）を算出することにより、検出される。
【００９４】
ステップＳ５３では、ステレオ測距を行うステレオ測距領域を、ステップＳ５１で求めた進行領域とステップＳ５２で求めた侵入移動体の存在する領域として、ステップＳ５４に移る。ステップＳ５４では、オプティカルフロー処理を行うオプティカルフロー領域を、ステップＳ５１で求めた進行領域以外の領域として処理を終える。
【００９５】
以上のような処理により、ステレオ測距の必要性が非常に低い進行領域以外の領域のステレオ測距処理を省けるので、マイコン５の演算負荷が低下し、処理の高速化等が図れる。また、進行領域以外の領域であっても、ステレオ測距の必要性の高い進行領域への侵入が予想される移動体に対してはステレオ測距が行われるので、必要な画像データの入手が遅れるといったことを防ぐことができる。
【００９６】
次にマイコン５の演算処理に用いられるメモリの容量を低下させるための画像処理方法について説明する。図２０および図２１は、マイコン５の行うオプティカルフロー処理におけるメモリの使用方法を示す説明図、およびマイコン５の行う処理を示すフローチャートである。
【００９７】
画像処理（比較用）のメモリには、左側カメラが撮影した画像用の左画像用メモリ、過去の画像データを記憶するための比較画像メモリ、右側カメラが撮影した画像用の右画像用のメモリがあり、左画像用メモリおよび右画像用のメモリは全画面データ記憶分の容量があり、また比較画像メモリは半分の画面データが記憶できる容量がある。図２０に示したように、各時刻（ｔ＋ｎ：ｎ＝０，１，・・）ではその時刻に各カメラで撮影された画像データが対応する画像メモリに記憶される。時刻ｔの右画像データの右半分が比較画像メモリに記憶される。そして、この比較画像メモリに記憶された時刻ｔの右画像データの右半分が、時刻ｔ＋１で右側カメラで撮影された右画像メモリの右半分の画像データと比較され、
オプティカルフローが算出される。
【００９８】
次に、時刻ｔ＋１の左画像データの左半分が比較画像メモリに記憶される。そして、この比較画像メモリに記憶された時刻ｔ＋１の左画像データの左半分が、時刻ｔ＋２で左側カメラで撮影された左画像メモリの左半分の画像データと比較され、オプティカルフローが算出される。
【００９９】
そして、再び時刻ｔ＋２の右画像データの右半分が比較画像メモリに記憶され、以後このような処理が交互に繰り返される。つまり、画像の左右半分に対して交互にオプティカルフロー処理が行われるので、比較用のメモリが全画面を処理するのに対して半分で済み、また画面の左右半分について交互に処理が行われるのであまり時間遅れがなく処理が行われる。
【０１００】
次にこのような処理を行うための、マイコン５の処理について図２１を用いて説明する。ステップＳ６１ではカウンタＣＮＴに１を加算してステップＳ６２に移る。ステップＳ６２ではカウンタＣＮＴが偶数かどうか判断し、偶数であればステップＳ６３に移り、偶数でなければステップＳ６５に移る。ステップＳ６３では左画像（左側カメラの撮影した画像）の左半分のデータと比較画像メモリの画像データとを用いてオプティカルフロー処理を行い、左画像の左半分のオプティカルフローを求め、ステップＳ６４に移る。ステップＳ６４では、右画像（右側カメラの撮影した画像）の右半分のデータを比較画像メモリに記憶し、本処理を終える。
【０１０１】
ステップＳ６５では右画像の右半分のデータと比較画像メモリの画像データとを用いてオプティカルフロー処理を行い、右画像の右半分のオプティカルフローを求め、ステップＳ６６に移る。ステップＳ６６では、左画像の左半分のデータを比較画像メモリに記憶し、本処理を終える。
【０１０２】
このような処理により、図２０で示したようなメモリの使用方法により、オプティカルフロー処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る自動車制御装置の構成を示した構成図である。
【図２】オプティカルフローの動作概要を示す説明図である。
【図３】オプティカルフロー計算処理を示すフローチャートである。
【図４】オプティカルフロー計算処理を示すフローチャートである。
【図５】ステレオ測距の動作概要を示す説明図である。
【図６】ステレオ測距計算処理を示すフローチャートである。
【図７】ステレオ測距計算処理を示すフローチャートである。
【図８】立体移動物識別処理を示すフローチャートである。
【図９】（Ａ）（Ｂ）は理論オプティカルフロー算出方法を示す説明図である。
【図１０】理論オプティカルフロー算出方法を示す説明図である。
【図１１】理論オプティカルフロー算出方法を示す説明図である。
【図１２】ピッチング角検出方法の原理を示す説明図である。
【図１３】ピッチング角検出処理を示すフローチャートである。
【図１４】死角処理を示すフローチャートである。
【図１５】オプティカルフローおよびステレオ測距の算出方法の一例を示すフローチャー
トである。
【図１６】立体物判定処理を示すフローチャートである。
【図１７】立体物判定方法の原理を示す説明図である。
【図１８】オプティカルフローおよびステレオ測距の算出方法の一例を示すフローチャー
トである。
【図１９】画像処理領域決定処理の一例を示すフローチャートである。
【図２０】オプティカルフロー処理におけるメモリ使用方法を示す説明図である。
【図２１】オプティカルフロー処理におけるメモリ使用方法を示すフローチャートである。
【符号の説明】
１，２・・・フロントガラス
３，４・・・画像メモリ
５・・・マイクロコンピュータ
６・・・メモリ
７・・・ステアリングセンサ
８・・・車速センサ
９・・・ピッチングセンサ
１０・・・ヨーレートセンサ