(57)【特許請求の範囲】
【請求項１】
画像情報を有する光をとらえる光学部と前記光学部を通じて結像された像を撮像する撮像手段からなる２つのカメラを有し、
前記２つのカメラは、車両の正面方向にある無限遠点が２つの前記撮像手段からそれぞれ得られる各画面中の中心となるように設置され、
前記各画面中の同一物体画像の対応を採る対応処理手段と、
対応の採れた同一物体までの距離を三角測量の原理に基づき演算する位置演算手段とを備え、
前記対応処理手段は、前記光学部と前記撮像手段とを用いて予め準備された補正データを使用して取得画面の光学的な歪みを補正する歪み補正手段を有し、
前記対応処理手段が、歪みが補正された左右の取得画面内の同一形状を有するウィンドウをエピポーラーラインに沿って移動させて、両ウィンドウ内の画像の一致度を検出することで同一物体画像の対応を採る際に、一方の画面内でウィンドウを所定距離移動させるとともに、前記一方の画面内のウィンドウの位置を基準とする所定範囲内で他方の画面内のウィンドウを移動させて一致度検出を行い、
前記所定範囲は、前記撮像手段の水平画角、水平方向の画素数、物体の最短検出距離及び前記２つの撮像手段の基線長に応じて定められる範囲であることを特徴とする車両用環境認識装置。
【請求項２】
前記アドレス補正テーブルには、補正前のアドレスに対応してアドレス補正データが符号付のビットデータとして格納されており、前記一致度の検出時にはパイプライン方式処理と並列処理の少なくとも一方の処理を用いて演算が行われることを特徴とする請求項１記載の車両用環境認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ステレオ視を利用した車両用環境認識装置に関し、一層詳細には、例えば、自動車等の車両に搭載され、当該自動車の位置を基準として、風景や先行車等を含む情景に係る周囲環境を認識する車両用環境認識装置に関する。
【０００２】
【従来の技術】
従来から、周囲環境を認識しようとする場合、ステレオ視を利用したステレオカメラにより得られる２枚の画像（ステレオ画像ともいう。）から三角測量の原理に基づき対象物（単に、物体ともいう。）までの距離を求め、対象物の位置を認識する、いわゆるステレオ法が採用されている。
【０００３】
このステレオ法においては、前記距離を求める際に、レンズを通じて撮像した２枚の画像上において同一物体の対応が採れることが前提条件となる。
【０００４】
撮像した２枚の画像上において同一物体の対応を採る技術として、画像中の領域に着目する方法がある。
【０００５】
この方法は、まず、一方の画像上に適当なサイズのウィンドウを設定し、他方の画像においてこのウィンドウに対応する領域を求めるために、他方の画像に前記ウィンドウと同一サイズの領域を設定する。
【０００６】
次に、両画像上の各ウィンドウ内の画像（単に、ウィンドウ画像ともいう。）を構成する対応する各画素（詳しく説明すると、マトリクス位置が対応する各画素）についての画素データ値を引き算して差を得、さらに差の絶対値を得る。
【０００７】
そして、各画素についての差の絶対値の前記ウィンドウ内の和、いわゆる総和を求める。
【０００８】
このようにウィンドウ内の各画素データ値の差の絶対値の総和を求める計算を他方の画像上のウィンドウの位置を変えて順次行い、前記総和が最小になる他方の画像のウィンドウを、前記一方の画像のウィンドウに対応する領域であると決定する方法である。
【０００９】
この発明においても、基本的には、この画像中の領域に着目する方法を採用している。
【００１０】
【発明が解決しようとする課題】
ところで、車両に搭載されたステレオカメラ、例えば基線上に一定間隔離されて配置された２台のビデオカメラにより撮像する際には、画像情報を有する光が、フロントガラスおよびビデオカメラを構成するレンズを含む光学系を通じてＣＣＤエリアセンサ等の撮像素子に導入され、この撮像素子により光電変換が行われて電気的信号、すなわちビデオ信号として出力される。このビデオ信号が画素に対応して分割され、デジタル信号である画像データに変換されて、フレームメモリ等の画像メモリに格納される。
【００１１】
しかしながら、フロントガラス、レンズ等には歪みがあり、特に大きい歪みを有するレンズでは、いわゆる糸巻き（ピンクッション的）歪みやたる（バレル的）形歪み等の収差が存在するが、この収差を上記従来の技術においては考慮していない。
【００１２】
したがって、通常、レンズの中心を通る水平線を考えた場合、この撮像は、直線となり、上記対応処理により画像の対応が採れるが、レンズの周辺部分の画像については、水平線が湾曲した曲線となるために、直線と仮定して対応を採ることができないという問題があった。
【００１３】
なお、この出願に関連する技術として、例えば、特開平６−２８２７９３号公報に開示された技術を挙げることができるが、この公報には、単に、レンズの周囲で口径食により明るさが減ずるのを補正するための補正値を予め準備しておく内容が記載されているだけであり、レンズの歪みについての動機付けとなる技術は何も開示されていない。
【００１４】
この発明はこのような課題を考慮してなされたものであり、レンズの歪み等、光学系の歪みに基づく画像の歪みを原因として同一物体の対応の採れない状態を回避することを可能とする車両用環境認識装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
この発明は、例えば、図１および図８に示すように、
画像情報を有する光をとらえる光学部１１Ｒ、１１Ｌ、及び前記各光学部を通じて得た光をそれぞれ電気信号に変換する撮像手段１３Ｒ、１３Ｌとからなる２つのカメラ１Ｒ、１Ｌを有し、前記２つのカメラは、車両の正面方向にある無限遠点が前記２つの撮像手段からそれぞれ得られる各画面中の中心となるように設置され、
各画像中の同一物体画像の対応を採る対応処理手段６と、
対応の採れた同一物体までの距離を三角測量の原理に基づき演算する位置演算手段７とを備え、
対応処理手段は、光学部１１Ｒ、１１Ｌと撮像手段１３Ｒ、１３Ｌとを用いて予め準備された補正データを使用して取得画面の光学的な歪みを補正する歪み補正手段６２を有し、
対応処理手段が、歪みが補正された左右の取得画面内の同一形状を有するウィンドウをエピポーラーラインＥＰに沿って移動させて、両ウィンドウ内の画像の一致度を検出することで同一物体画像の対応を採る際に、一方の画面内でウィンドウを所定距離移動させるとともに、前記一方の画面内のウィンドウの位置を基準とする所定範囲内で他方の画面内のウィンドウを移動させて一致度検出を行い、
前記所定範囲は、前記撮像手段の水平画角、水平方向の画素数、物体の最短検出距離及び前記２つの撮像手段の基線長に応じて定められる範囲であることを特徴とする。
【００１６】
この発明によれば、対応処理手段が、２つの撮像手段から得られる各画像信号中の同一物体画像の対応を採る際に、歪み補正手段により光学部の歪みを原因とする撮像の歪みを補正した後に、対応を採るようにしているので、レンズの歪み等、光学系の歪みに基づく画像の歪みを原因とする同一物体の対応の採れない状態を回避することができる。
【００１７】
また、この発明によれば、前記歪み補正手段は、前記画像メモリからの画素読み出しアドレスを補正するアドレス補正テーブルを前記補正データとして有し、画素単位で画像メモリに格納された画像データを読み出して同一物体画像の対応を採る際に、左右画像内の一方で、ウィンドウをエピポーラーラインに沿って所定距離（例えば、６４０画素）移動させるとともに、他方の画像内でウィンドウを前記撮像手段の水平画角（θ）、水平方向の画素数（Ｎ）、物体の最短検出距離（Ｚｄ）及び前記２つの撮像手段の基線長（Ｄ）に応じて定められる所定範囲内で移動させて同一物体画像の対応を採るようにしているので、簡単な構成で、レンズの歪み等、光学系の歪みに基づく画像の歪みを原因とする対応の採れない状態を回避することができる。
【００１８】
この場合、アドレス補正テーブルには、補正前のアドレスに対応してアドレス補正データを符号付のビットデータとして格納されており、前記一致度の検出時にはパイプライン方式処理と並列処理の少なくとも一方の処理を用いて演算が行われる。このようにすれば、光学部毎に、対応するアドレス補正テーブルを持つ構成とすることが可能となり、結果として、撮像手段の光学部歪み特性に応じたアドレス補正テーブルを当該撮像手段に付設することができる。また、演算時間を低減することができる。
【００１９】
【発明の実施の形態】
以下、この発明の一実施の形態について、図面を参照して説明する。
【００２０】
図１はこの発明の一実施の形態の構成を示すブロック図である。
【００２１】
図１において、ステレオカメラ１が、右側のビデオカメラ（以下、単にカメラまたは右カメラともいう。）１Ｒと、左側のビデオカメラ（同様に、カメラまたは左カメラともいう。）１Ｌとにより構成されている。左右のカメラ１Ｒ、１Ｌは、図２に示すように、自動車（車両ともいう。）Ｍのダッシュボード上に予め定めた所定の間隔、いわゆる基線長Ｄを隔てて設置してある。また、カメラ１Ｒ、１Ｌはダッシュボード上に水平面に対して平行に、かつ車両Ｍの正面方向にある無限遠点が画像の中心となるように設置してある。さらに、カメラ１Ｒ、１Ｌはダッシュボード上に設置してあるために、カメラ１Ｒ、１Ｌを一体として連結することができ、上述の基線長Ｄを維持できる。
【００２２】
また、カメラ１Ｒ、１Ｌは、車両Ｍのワイパーのワイパー拭き取り範囲内に配置し、かつワイパーが左右にあって同方向に回動する場合には、左右のワイパーブレードの始点から同一位置になるように配置することで、ワイパーブレードによる遮光位置の変化が左右のカメラ１Ｒ、１Ｌで同一となり、認識対象物体（物体、対象物、対象物体、または、単に、対象ともいう。）の撮像に対してワイパーブレードの撮像の影響を少なくすることができる。左右のカメラ１Ｒ、１Ｌの光軸１５Ｒ、１５Ｌ（図１参照）は、同一水平面上において平行になるように設定されている。
【００２３】
図１から分かるように、右と左のカメラ１Ｒ、１Ｌには、光軸１５Ｒ、１５Ｌに略直交する方向に、画像情報を有する光ＩＬをとらえる同一の焦点距離Ｆを有する対物レンズ１１Ｒ、１１Ｌと、減光フィルタとしてのＮＤフィルタ組立体１２Ｒ、１２Ｌと、対物レンズ１１Ｒ、１１Ｌによって結像された像を撮像するエリアセンサ型のＣＣＤイメージセンサ（撮像素子部）１３Ｒ、１３Ｌとが配設されている。この場合、それぞれの光学系（光学部ともいう。）とも、例えば、右側の光学系で説明すれば、対物レンズ１１Ｒ、ＮＤフィルタ組立体１２Ｒを構成する１つのＮＤフィルタ（後述する。）または素通しの状態およびＣＣＤイメージセンサ１３Ｒは、いわゆる共軸光学系を構成する。
【００２４】
カメラ１Ｒ、１Ｌには、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの読み出しタイミング、電子シャッタ時間等の各種タイミングを制御したり、ＣＣＤイメージセンサ１３Ｒ、１３Ｌを構成する撮像素子群を走査して得られる光電変換信号である撮像信号を、いわゆる映像信号に変換するための信号処理回路１４Ｒ、１４Ｌが配設されている。
【００２５】
左右のカメラ１Ｒ、１Ｌの出力信号、言い換えれば、信号処理回路１４Ｒ、１４Ｌの出力信号である映像信号は、増幅利得等を調整するＣＣＵ２Ｒ、２Ｌを通じて、例えば、８ビット分解能のＡＤ変換器３Ｒ、３Ｌに供給される。なお、実際上、ＣＣＵ２Ｒ、２Ｌから信号処理回路１４Ｒ、１４Ｌに対して前記電子シャッタ時間を可変する制御信号が送出される。
【００２６】
ＡＤ変換器３Ｒ、３Ｌによりアナログ信号である映像信号がデジタル信号に変換され、水平方向の画素数７６８列、垂直方向の画素数２４０行の画素の信号の集合としての画像信号（以下、必要に応じて、画素データの集合としての画像データともいい、実際上は濃度を基準とする画像信号ではなく輝度を基準とする映像信号データであるので、映像信号データともいう。）としてフレームバッファ等の画像メモリ４Ｒ、４Ｌに格納される。画像メモリ４Ｒ、４Ｌには、それぞれ、Ｎフレーム（Ｎコマ）分、言い換えれば、ラスタディスプレイ上の画面Ｎ枚分に相当する画面イメージが保持される。一実施の形態においてはＮの値として、Ｎ＝２〜６までの値が当てはめられる。２枚以上を保持できるようにしたために、画像の取り込みと対応処理とを並行して行うことが可能である。
【００２７】
画像メモリ（画像を構成する画素を問題とする場合には、画素メモリともいう。）４Ｒ、４Ｌは、この実施の形態においては、上記水平方向の画素数×垂直方向の画素数と等しい値の１フレーム分の画素メモリを有するものと考える。各画素メモリ４Ｒ、４Ｌは８ビットのデータを格納することができる。なお、各画素メモリ４Ｒ、４Ｌに格納されるデータは、上述したように、映像信号の変換データであるので輝度データである。
【００２８】
画像メモリ４Ｒ、４Ｌに格納される画像は、上述したように１枚の画面イメージ分の画像であるので、これを明確にするときには、必要に応じて、全体画像ともいう。
【００２９】
右側用の画像メモリ４Ｒの所定領域の画像データに対して、左側の画像メモリ４Ｌの同じ大きさの領域の画像データを位置（実際には、アドレス）を変えて順次比較して所定演算を行い、物体の対応領域を求める対応処理装置６が、画像メモリ４Ｒ、４Ｌに接続されている。
【００３０】
左右の画像メモリ４Ｒ、４Ｌ中の対象の対応領域（対応アドレス位置）に応じ三角測量法（両眼立体視）に基づいて、対象の相対位置を演算する位置演算装置７が対応処理装置６に接続されている。
【００３１】
対応処理装置６および位置演算装置７における対応処理・位置演算に先立ち、入力側が画像メモリ４Ｒに接続される露光量調整装置８の制御により、ＣＣＤイメージセンサ１３Ｒ、１３Ｌに入射される画像情報を有する光ＩＬの露光量が適正化される。
【００３２】
露光量調整装置８は、画像メモリ４Ｒの所定領域の画像データに基づいて、後述するルックアップテーブル等を参照して露光量を決定し、ＣＣＵ２Ｒ、２Ｌの増幅利得と、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの電子シャッタ時間｛通常の場合、シャッタ速度と称されるが、単位は時間（具体的には、電荷蓄積時間）であるので、この実施の形態においては電子シャッタ時間という。なお、必要に応じて電子シャッタ速度ともいう。｝と、ＮＤフィルタ組立体１２Ｒ、１２Ｌのうちの所望のフィルタとを、それぞれ、同じ値、同じものに同時に決定する。
【００３３】
ＮＤフィルタ組立体１２Ｒ、１２Ｌのうち、所望のＮＤフィルタが、駆動回路５Ｒ、５Ｌを通じて切り換え選定されるが、この切り換えには、ＮＤフィルタを使用しない場合、いわゆる素通し（必要に応じて、素通しのＮＤフィルタとして考える。）の場合も含まれる。
【００３４】
次に、上記実施の形態の動作および必要に応じてさらに詳細な構成について説明する。
【００３５】
図３は、三角測量の原理説明に供される、対象物体Ｓを含む情景を左右のカメラ１Ｒ、１Ｌにより撮像している状態の平面視的図を示している。対象物体Ｓの相対位置をＲＰで表すとき、相対位置ＲＰは、既知の焦点距離ＦからのＺ軸方向（奥行き方向）の距離Ｚｄと右カメラ１ＲのＸ軸方向（水平方向）中心位置からの水平方向のずれ距離ＤＲとによって表される。すなわち、相対位置ＲＰがＲＰ＝ＲＰ（Ｚｄ、ＤＲ）で定義されるものとする。もちろん、相対位置ＲＰは、既知の焦点距離Ｆからの距離Ｚｄと左カメラ１ＬのＸ軸（水平方向）中心位置からの水平方向のずれ距離ＤＬとによって表すこともできる。すなわち、相対位置ＲＰをＲＰ＝ＲＰ（Ｚｄ、ＤＬ）と表すことができる。
【００３６】
図４Ａは、右側のカメラ１Ｒによって撮像された対象物体Ｓを含む画像（右画像または右側画像ともいう。）ＩＲを示し、図４Ｂは、左側のカメラ１Ｌによって撮像された同一対象物体Ｓを含む画像（左画像または左側画像ともいう。）ＩＬを示している。これら画像ＩＲと画像ＩＬとがそれぞれ画像メモリ４Ｒおよび画像メモリ４Ｌに格納されていると考える。右側画像ＩＲ中の対象物体画像ＳＲと左側画像ＩＬ中の対象物体画像ＳＬとは、画像ＩＲ、ＩＬのＸ軸方向の中心線３５、３６に対してそれぞれ視差ｄＲと視差ｄＬとを有している。対象物体画像ＳＲと対象物体画像ＳＬとは、エピポーラーライン（視線像）ＥＰ上に存在する。対象物体Ｓが無限遠点に存在するとき、対象物体画像ＳＲと対象物体画像ＳＬとは、中心線３５、３６上の同一位置に撮像され、視差ｄＲ、ｄＬは、ｄＲ＝ｄＬ＝０になる。
【００３７】
なお、ＣＣＤエリアセンサ１３Ｒ、１３Ｌ上における図３に示す視差ｄＲ、ｄＬとは、画像ＩＲ、ＩＬ上の図４Ａ、図４Ｂに示す視差ｄＲ、ｄＬとは極性が異なるが、ＣＣＤエリアセンサ１３Ｒ、１３Ｌからの読み出し方向を変えることで同一極性とすることができる。光学部に配設するレンズの枚数を適当に設定することによりＣＣＤエリアセンサ１３Ｒ、１３Ｌ上における視差ｄＲ、ｄＬと画像ＩＲ、ＩＬ上の視差ｄＲ、ｄＬの極性とを合わせることもできる。
【００３８】
図３から、次の（１）式〜（３）式が成り立つことが分かる。
【００３９】
ＤＲ：Ｚｄ＝ｄＲ：Ｆ                        …（１）
ＤＬ：Ｚｄ＝ｄＬ：Ｆ                        …（２）
Ｄ＝ＤＲ＋ＤＬ                              …（３）
これら（１）式〜（３）式から距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとをそれぞれ（４）式〜（６）式で求めることができる。
【００４０】
Ｚｄ＝Ｆ×Ｄ／（ＤＲ＋ＤＬ）                …（４）
ＤＲ＝ｄＲ×Ｄ／（ｄＬ＋ｄＲ）              …（５）
ＤＬ＝ｄＬ×Ｄ／（ｄＬ＋ｄＲ）              …（６）
これら位置情報である距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとをクラスタリングして、対象物体Ｓについての識別符号としての、いわゆるアイディ（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を付けることで、車両追従装置等への応用を図ることができる。
【００４１】
なお、実際上の問題として、ＣＣＤイメージセンサ１３Ｒ、１３Ｌの実効１画素の物理的な大きさの測定や焦点距離Ｆの測定は困難であるため、比較的正確に測定可能な画角を利用して距離Ｚｄ、ずれ距離ＤＲ、ＤＬを求める。
【００４２】
すなわち、例えば、カメラ１Ｒ、１Ｌの水平画角をθ、カメラ１Ｒ、１Ｌの水平方向の実効画素数（画像メモリ４Ｒ、４Ｌの水平画素数に等しい画素数）をＮ、視差ｄＲ、ｄＬに対応する画像メモリ４Ｒ、４Ｌ上の画素数をＮＲ、ＮＬとすると、次に示す（７）式〜（９）式から距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとをそれぞれ求めることができる。
【００４３】
Ｚｄ＝Ｎ×Ｄ／｛２（ＮＬ＋ＮＲ）ｔａｎ（θ／２）｝    …（７）
ＤＲ＝ＮＲ・Ｄ／（ＮＬ＋ＮＲ）                        …（８）
ＤＬ＝ＮＬ・Ｄ／（ＮＬ＋ＮＲ）                        …（９）
ここで、水平画角θは測定可能な値であり、水平方向の実効画素数Ｎ（この実施の形態では、上述したようにＮ＝７６８）は予め定められており、視差ｄＲ、ｄＬに対応する画素数ＮＲおよびＮＬも取り込んだ画像から分かる値である。
【００４４】
次に、上述の画像の取り込みからＩＤを付けるまでの過程をフローチャートを利用して全体的に説明すれば、図５に示すようになる。
【００４５】
すなわち、ＡＤ変換器３Ｒ、３Ｌから出力される映像信号データがそれぞれ画像メモリ４Ｒ、４Ｌに取り込まれて格納される（ステップＳ１）。
【００４６】
ステップＳ１に続いて、画像メモリ４Ｒに記憶されたある領域の画像に対応する画像を画像メモリ４Ｌから求め、いわゆる画像の左右の対応を取る（ステップＳ２）。
【００４７】
対応を取った後、カメラ１Ｒ、１Ｌにおける視差ｄＲ、ｄＬを求め、位置情報に変換する（ステップＳ３）。
【００４８】
その位置情報をクラスタリングし（ステップＳ４）、ＩＤを付ける（ステップＳ５）。
【００４９】
位置演算装置７の出力である、ＩＤの付けられた出力は、本発明の要部ではないので、詳しく説明しないが、図示していない、例えば、道路・障害物認識装置等に送出されて自動運転システムを構成することができる。この自動運転システムでは、運転者に対する警告、自動車（ステレオカメラ１を積んだ自車）Ｍの衝突回避、前走車の自動追従等の動作を行うことができる。
【００５０】
この実施の形態において、上述の左右の画像の対応を取るステップＳ２では、いわゆる特徴に着目した方法ではなく、基本的には、従来技術の項で説明した画像中の領域に着目する方法を採用している。
【００５１】
すなわち、エッジ、線分、特殊な形など何らかの特徴を抽出し、それらの特徴が一致する部分が対応の取れた部分であるとする特徴に着目する方法は、取り扱う情報量が低下するので採用せず、一方の画像、この実施の形態では、右画像ＩＲから対象物体画像ＳＲを囲む小領域、いわゆるウィンドウを切り出し、この小領域に似た小領域を他方の左画像ＩＬから探すことにより対応を決定する方法を採用している。
【００５２】
この実施の形態において採用した画像中の領域に着目する方法では、２枚の画像ＩＬ、ＩＲ上において同一対象物体Ｓの対応を採る技術として、一方の画像上に適当なサイズのウィンドウを設定し、他方の画像においてこのウィンドウに対応する領域を求めるために、他方の画像に前記ウィンドウと同一サイズの領域を設定する。
【００５３】
次に、両画像上の各ウィンドウ内の画像（単に、ウィンドウ画像ともいう。）を構成する対応する各画素（詳しく説明すると、ウィンドウ画像中のマトリクス位置が対応する各画素）についての画素データ値、すなわち、輝度値を引き算して差を得、さらに輝度差の絶対値を得る。
【００５４】
そして、各対応する画素についての輝度差の絶対値の前記ウィンドウ内の和、いわゆる総和を求める。
【００５５】
この総和を左右画像の一致度（対応度ともいう。）Ｈと定義する。このとき、右画像ＩＲと左画像ＩＬのウィンドウ内の対応座標点（ｘ，ｙ）の輝度（画素データ値）をそれぞれＩＲ（ｘ，ｙ）、ＩＬ（ｘ，ｙ）とし、ウィンドウの横幅をｎ画素（ｎは画素数）、縦幅をｍ画素（ｍも画素数）とするとき、ずらし量をｄｘ（後述する）とすれば、一致度Ｈは、次の（１０）式により求めることができる。
【００５６】
Ｈ（ｘ，ｙ）＝Σ（ｊ＝１→ｍ）Σ（ｉ＝１→ｎ）｜Ｉｄ｜    …（１０）
ここで、
｜Ｉｄ｜＝｜ＩＲ（ｘ＋ｉ，ｙ＋ｊ）−ＩＬ（ｘ＋ｉ＋ｄｘ，ｙ＋ｊ）｜
である。記号Σ（ｉ＝１→ｎ）は、｜Ｉｄ｜についてのｉ＝１からｉ＝ｎまでの総和を表し、記号Σ（ｊ＝１→ｍ）は、Σ（ｉ＝１→ｎ）｜Ｉｄ｜の結果についてのｊ＝１からｊ＝ｍまでの総和を表すものとする。
【００５７】
この（１０）式から、一致度Ｈが小さいほど、言い換えれば、輝度差の絶対値の総和が小さいほど、左右のウィンドウ画像が良く一致していることが分かる。
【００５８】
この場合、分割しようとするウィンドウ、すなわち小領域の大きさが大きすぎると、その領域内に相対距離Ｚｄの異なる他の物体が同時に存在する可能性が大きくなって、誤対応の発生する可能性が高くなる。一方、小領域の大きさが小さすぎると、誤った位置で対応してしまう誤対応、あるいは、ノイズを原因とする誤対応が増加してしまうという問題がある。本発明者等は、種々の実験結果から、最も誤対応が少なくなる小領域の大きさは、横方向の画素数ｎがｎ＝７〜９程度、縦方向の画素数ｍがｍ＝１２〜１５程度の大きさであることをつきとめた。
【００５９】
図６と図７は、対応処理装置６において一致度Ｈを求める対応計算を行う際の領域の動かし方の概念を示している。
【００６０】
図６に示すように、対応を取る元となる右画像ＩＲ上の所定領域（小領域または原領域ともいう。）３１は、Ｘ軸方向左端位置から右へ１画素ずつ６４０画素分移動していき、対応を取られる左画像ＩＬの所定領域（小領域または検索領域ともいう。）３２は、右画像ＩＲの原領域３１の左端位置に対応する位置（以下、原領域３１の水平方向の変移位置という。）から対応計算を行い、ずらし量ｄｘを右方向にエピポーラーラインＥＰ上を０〜最大１２７画素分だけ１画素ずつ移動させて対応計算を行うようにしている。最大１２７画素のずれが有効な一致度Ｈの計算は、合計で（６４０−ｎ）×１２８回行われる。
【００６１】
なお、１２８画素分に限定する理由は、出力結果を利用する側の要求から水平画角θがθ＝４０°、最短の距離ＺｄがＺｄ＝５ｍ、使用できるステレオカメラ１（カメラ１Ｒとカメラ１Ｌ）の水平方向の画素数ＮがＮ＝７６８、設置できる基線長ＤがＤ＝０．５ｍから、下記の（１１）式に当てはめると、ＮＬ＋ＮＲ＝１０５画素となり、ハードウエアにおいて都合のよい２の累乗でこれに近い値の２7＝１２８を選んだからである。
【００６２】
ＮＬ＋ＮＲ＝（Ｎ×Ｄ）／｛Ｚｄ×２×ｔａｎ（θ／２）｝
＝（７６８×０．５）／（５×２×ｔａｎ２０°）  …（１１）このことは、右画像ＩＲ中、Ｘ＝０（左端）の位置に撮像された対象が、かならず、左画像ＩＬのずらし量ｄｘがｄｘ＝０〜１２７に対応する０番目の画素位置から１２７番目の画素位置内に撮像されていることを意味する。したがって、Ｘ座標値（変移位置ともいう。）ＸがＸ＝０を基準とする原領域３１内の撮像対象は、左画像ＩＬのＸ座標値ＸがＸ＝０を基準として、ずらし量ｄｘがｄｘ＝０〜１２７の範囲に撮像されていることを意味する。同様にして右画像ＩＲのＸ座標値ＸがＸ＝６４０−ｎを基準とする原領域３１内の撮像対象は、左画像ＩＬのＸ座標値ＸがＸ＝６４０−ｎを基準として、ずらし量ｄｘがｄｘ＝０〜１２７の範囲に撮像されていることになる。
【００６３】
このとき、検索領域３２の最右端の画素がＸ座標値ＸがＸ＝６４０＋ｎ＋１２７＝７６７（７６８番目）の最右端の画素になるので、それ以上、右画像ＩＲの原領域３１を右方向にずらすことは、一般に、無意味である。右画像ＩＲ中、Ｘ座標値ＸがＸ＝６４０−ｎより右側の撮像対象は、左画像ＩＬに撮像されないからである。しかし、遠方の画像については対応がとれるため、有意なこともあるので、本発明においては、対応すべき画像のない部分の画素については８ビットの最大値２５５があるものとして一応計算を行っている。メモリや計算時間を節約するためにはＸ座標値ＸをＸ＝６４０−ｎまでで打ち切ることが有効である。
【００６４】
そこで、図７のフローチャートに示すように、まず、右画像ＩＲ中のＸ座標値ＸがＸ＝０を変移位置とする原領域３１を取り出し（ステップＳ１１）、左画像ＩＬの検索領域３２のずらし量ｄｘをｄｘ＝０に設定する（ステップＳ１２）。
【００６５】
次に、ずらし量ｄｘがｄｘ＝１２７を超える値であるかどうか、すなわちｄｘ＝１２８であるかどうかを判定する（ステップＳ１３）。
【００６６】
この判定が否定的であるときには、対応度Ｈの計算をするために、左画像ＩＬの検索領域（小領域）３２分の画素データを取り出す（ステップＳ１４）。
【００６７】
次いで、小領域３１と小領域３２の各画素の差の絶対値の総和、すなわち、（１０）式に示す一致度Ｈを求め記憶する（ステップＳ１５）。
【００６８】
次に、ずらし量ｄｘをｄｘ→ｄｘ＋１（この場合、ｄｘ＝１）として１画素分増加する（ステップＳ１６）。
【００６９】
このとき、ステップＳ１３の判定は成立しないので、次に、ずらし量ｄｘがｄｘ＝１を基準に検索領域３２を取り出し（再び、ステップＳ１４）、このずらし量ｄｘがｄｘ＝１を基準の検索領域３２とＸ座標値（変移位置ともいう。）ＸがＸ＝０の原領域３１とで一致度Ｈを計算して記憶する（再び、ステップＳ１５）。
【００７０】
同様にして、ずらし量ｄｘがｄｘ＝１２８になるまで（ステップＳ１３の判定が成立するまで）Ｘ座標値ＸがＸ＝０の原領域３１についての一致度Ｈを計算する。
【００７１】
ステップＳ１３の判定が肯定的であるとき、すなわち、Ｘ座標値ＸがＸ＝０の原領域３１について計算した一致度Ｈのうち、負のピーク値である最小値Ｈｍｉｎとその近傍の値を求め、記憶しておく（ステップＳ１７）。
【００７２】
次に、繁雑になるので、図７のフローチャート中には記載しないが、右画像ＩＲ中の変移位置ＸがＸ＝１〜７６７（または６４０−ｎ）まで、上述のステップＳ１１〜Ｓ１７を繰り返し、各変移位置Ｘにおける右画像ＩＲの原領域３１に最も対応する左画像ＩＬの検索領域３２を検出する。
【００７３】
図８は、図６の動作説明図、図７のフローチャートに基づいて、一致度Ｈの計算等を行う対応処理装置６の詳細な構成を示すブロック図である。
【００７４】
図８中、スキャン座標生成部６１において、対応処理を行おうとする右画像ＩＲに対する原領域３１と左画像ＩＬに対する検索領域３２の座標（上述の図６に示す変移位置Ｘとずらし量ｄｘおよびエピポーラーラインＥＰのＹ座標値）が生成される。
【００７５】
このスキャン座標生成部６１で生成された座標（Ｘ，Ｙ）に基づいて、画像メモリ４Ｒ、４Ｌから読み出す小領域のアドレスデータが画像メモリアドレス生成部６４により生成されるが、この実施の形態においては、スキャン座標生成部６１で生成された座標（Ｘ，Ｙ）に基づいて、レンズ１１Ｒ、１１Ｌを含む光学部の歪みを原因とする撮像の歪みを補正する補正座標テーブル（歪み補正手段、アドレス補正テーブルの一部として機能する。）６２からアドレス補正座標（Δｘ，Δｙ）が読み出され、画像メモリアドレス生成部６４に供給される。
【００７６】
したがって、画像メモリアドレス生成部６４には、加算器６９で加算された補正後の座標（Ｘ＋Δｘ，Ｙ＋Δｙ）が供給される。この補正後の座標（Ｘ＋Δｘ，Ｙ＋Δｙ）に基づいて、画像メモリ４Ｒ、４Ｌに対する読み出しアドレスデータが画像メモリアドレス生成部６４で生成され、それぞれ、画像メモリ４Ｒ、４Ｌに供給される。
【００７７】
画像メモリ４Ｒ、４Ｌから読み出された画像データに基づく一致度Ｈの計算、いわゆる相関演算が相関演算部６５で行われ、相関演算結果が相関メモリ６７に記憶される。また、ずらし量ｄｘに対応して相関演算結果のピーク値、すなわち一致度Ｈの最小値Ｈｍｉｎ等がピーク値検出部６６により検出され、検出されたピーク値がピーク値メモリ６８に記憶される。
【００７８】
上記補正座標テーブル６２に格納されるアドレス補正座標（Δｘ，Δｙ）は、右側の光学系に係るビデオカメラ１Ｒ用と左側の光学系に係るビデオカメラ１Ｌ用とで、それぞれの光学系に対応した別々の内容の補正座標とすることもできる。
【００７９】
アドレス補正座標（Δｘ，Δｙ）は、光軸に垂直な平面状の物体が、光軸に垂直な撮像面、ここでは、ＣＣＤエリアセンサ１３Ｒ、１３Ｌの撮像面に相似に結像されない収差、すなわち光学系の歪みを補正のためのデータである。
【００８０】
例えば、光軸に垂直な平面状の物体としての被写体を、図９例に示すような長方形（正方形でもよい。）が格子状に配列された長方形格子７３とした場合に、ビデオカメラ１で撮像された画像が図１０に示す、たる形に中央が膨らんだ画像７４になるものとする。
【００８１】
そこで、図１１に示すように２つの画像を合わせて考慮すれば、スキャン座標生成部６１で生成された座標（Ｘ，Ｙ）に対応して、補正座標テーブル６２から読み出されたアドレス補正座標（Δｘ，Δｙ）を加算した補正後の座標（Ｘ＋Δｘ，Ｙ＋Δｙ）に基づく読み出しアドレスデータで画像メモリ４Ｒ、４Ｌから読み出すようにすれば、画像を正確な位置座標で読み出すことができるということが理解される。
【００８２】
アドレス補正座標（Δｘ，Δｙ）は電球を空間的に位置がわかっている点に置き、それが画像上の何処に写っているかを探し、歪みがない場合の位置とのずれをアドレス補正座標（Δｘ，Δｙ）としてテーブルに書き込む。この場合、すべての点について行うと処理時間がかかるため粗な点について補正データを求め、間の点については多項式により近似した値を利用する。
【００８３】
この実施の形態において、補正量であるアドレス補正座標（Δｘ，Δｙ）は、符号付の４ビットを使用し、Ｘ座標、Ｙ座標共に、値が−８〜７までの画素数の補正が可能となっており、レンズ１１Ｒ、１１Ｌ等の歪みの程度としては、垂直方向で約６％（７．５÷１２０×１００）程度まで許容している。
【００８４】
この場合、アドレス補正座標（Δｘ，Δｙ）は、計算により求めているのではなく、実測値から求めているので、レンズの規則的な歪みの補正にとどまらず、フロントガラス等に存在する歪みのような不規則な歪みをも合わせて補正することができるという利点が得られる。
【００８５】
このように補正座標テーブル６２を設けることの理由および利点を課題と比較してまとめて再度説明すると、左右の画像を対応させる場合において、図９および図１０を参照して説明したように、レンズ１１Ｒ、１１Ｌには収差があるため、中心（レンズ１１Ｒ、１１Ｌの中心であると同時に画像ＩＲ、ＩＬの中心）を通る縦および横のそれぞれの直線は直線として撮像されるが、中心を通らない直線は、たる形歪み的あるいは糸巻き歪み的な曲線として撮像される。このため、対応する領域３１、３２が左右のビデオカメラ１Ｒ、１Ｌでは上下方向に移動してしまい、エピポーラーラインＥＰを基準とした同じ高さで探したのでは対応が採れないことになる。
【００８６】
そこで、中心から離れた領域について対応を採る場合には、この歪みを補正してから対応を採る必要がある。
【００８７】
この実施の形態において、スキャン座標生成部６１で歪みがないと仮定した場合の理想的な状態での対応をとるべき領域３１、３２の座標（Ｘ，Ｙ）が生成される。そして、この個々の座標値（Ｘ，Ｙ）に対して予めルックアップテーブルとしての補正座標テーブル６２に記憶されている補正値である補正座標（Δｘ，Δｙ）を読み出し、これらを加算器６９により合成して画像メモリアドレス生成部６４に供給することで、正確な、いわゆる真の座標に対応するメモリアドレスが画像メモリアドレス生成部６４で生成される。
【００８８】
この補正後のメモリアドレスにより画像メモリ４Ｒ、４Ｌから画像データを読み出して相関演算部６５に供給することにより、レンズ１１Ｒ、１１Ｌに歪みが多少存在しても相関演算部６５で対応が採れることになる。
【００８９】
次に、図１２は、図６、図７を参照して説明した一致度Ｈを求めるための相関演算部６５の詳細な構成を示している。
【００９０】
この相関演算部６５は、基本的には、第１〜第４の演算ブロック８１、８２、８３、８４を有する、いわゆるパイプライン方式的処理である並列処理方式を採用している。
【００９１】
理解の容易化のために、まず、パイプライン方式的処理を考慮しないで、具体的には、ＦＩＦＯメモリ６５ｉが存在しないものとして、第１演算ブロック８１のみで、図６、図７を参照して説明した一致度Ｈを求めるための動作について説明する。そして、上述のように、誤対応が最も少なくなるそれぞれの小領域（原領域３１と検索領域３２）の大きさとしては、横方向の画素数ｎがｎ＝７〜９画素程度、縦方向の画素数ｍがｍ＝１２〜１５画素程度であるが、ここでは、理解を容易にするために、ｎ＝４、ｍ＝５として説明する。
【００９２】
図１３は、このような前提のもとでの、エピポーラーラインＥＰ上に乗る仮想的な右画像データＩｒｄの例を示している。原領域３１の対象となる全画素データ数は、ｍ×６４０＝５×６４０箇であるものとする。
【００９３】
図１４は、同様に、エピポーラーラインＥＰ上に乗る仮想的な左画像データＩｌｄの例を示している。検索領域３２の対象となる全画素データ数は、ｍ×７６８＝５×７６８箇であるものとする。
【００９４】
図１２において、画像メモリ４Ｒから端子８５を通じて原領域３１の右画像データＩｒｄが減算器６５ａの被減算入力端子に供給され、画像メモリ４Ｌから端子８６を通じて検索領域３２の左画像データＩｌｄが減算器６５ａの減算入力端子に供給される。
【００９５】
まず、一般的に説明すると、減算器６５ａでは、縦方向の左右の画素データの差を取り、その差の絶対値が絶対値演算器６５ｂで取られる。加算器６５ｃは、縦方向の左右の画素データの差の絶対値の和を取るとともに、ラッチ６５ｄにラッチされている前列の縦方向の左右の画素データの差の絶対値の和を加算する。
【００９６】
ＦＩＦＯメモリ６５ｅには、横方向の画素数ｎに対応するｎ段分、この実施の形態では、当該列の分を除いて左側（前側）に４（＝ｎ）列分の縦方向の左右の画素データの差の絶対値の和が保持される。すなわち、この実施の形態において、ＦＩＦＯメモリ６５ｅは、最初（入力側）のメモリ６５ｅ１〜最後（出力側）のメモリ６５ｅ４までの４段ある。
【００９７】
具体的に説明すると、１回目の演算（１列１行目）で加算器６５ｃの出力側には、１列１行目の左右の画素データの差の絶対値｜Ａ１−ａ１｜が現れ、かつ、この値｜Ａ１−ａ１｜がラッチ６５ｄに保持される。
【００９８】
２回目の演算（１列２行目）で１列２行目の左右の画素データの差の絶対値｜Ａ２−ａ２｜とラッチ６５ｄに保持されているデータ｜Ａ１−ａ１｜との和、すなわち、｜Ａ２−ａ２｜＋｜Ａ１−ａ１｜が加算器６５ｃの出力側に現れる。
したがって、５回目の演算後には、次の（１３）式に示す１列目の左右の画素データの差の絶対値の和（データ）Σ▲１▼（以下、２列目以降を順次、Σ▲２▼、Σ▲３▼、Σ▲４▼、…Σ６４１とする。）が加算器６５ｃの出力側に現れ、この和Σ▲１▼は、ラッチ６５ｄに保持される。また、このデータΣ▲１▼は、ＦＩＦＯメモリ６５ｅの最初のメモリ６５ｅ１に格納される。
【００９９】
Σ▲１▼＝｜Ａ１−ａ１｜＋｜Ａ２−ａ２｜＋｜Ａ３−ａ３｜＋｜Ａ４−ａ４｜＋｜Ａ５−ａ５｜                  …（１３）
この１列目の左右の画素データの差の絶対値の和Σ▲１▼が、最初のメモリ６５ｅ１に格納された後、ラッチ６５ｄは、端子８９から供給される制御信号によりリセットされる。
【０１００】
このようにして、ずらし量ｄｘの値がｄｘ＝０での小領域３１、３２間での全ての１回目の計算が終了する４列（４＝ｎ）５行（５＝ｍ）目の演算終了後のラッチ６５ｄに格納されるデータ値とＦＩＦＯメモリ６５ｅに格納されるデータ値とラッチ６５ｈに格納されるデータ値等を図１５に模式的に示す。
【０１０１】
図１５において、ずらし量ｄｘの値がｄｘ＝０の場合における次の（１４）式に示す最初に求められる一致度Ｈ０が加算器６５ｇの出力側に現れている点に留意する。
【０１０２】
Ｈ０＝Σ▲１▼＋Σ▲２▼＋Σ▲３▼＋Σ▲４▼                          …（１４）
次に、５列５行目の演算終了後の図１５に対応する図を図１６に示す。図１６から分かるように、ずらし量ｄｘの値がｄｘ＝０の場合の検索領域３２に対する一致度Ｈ０が出力端子９０に現れる。
【０１０３】
この場合、加算器６５ｆの出力側には、５列目のデータΣ▲５▼と１列目のデータΣ▲１▼との差Σ▲５▼−Σ▲１▼が現れるので、加算器６５ｇの出力側には、ずらし量ｄｘの値がｄｘ＝１の場合の検索領域３２に対する次の（１５）式に示す一致度Ｈ１が現れることになる。
【０１０４】
Ｈ１＝Σ▲２▼＋Σ▲３▼＋Σ▲４▼＋Σ▲５▼                          …（１５）
ここで、実際の１５×１５の小領域を水平方向にＸ＝０〜６３９まで移動し、ずらし量ｄｘをｄｘ＝１２８までの各一致度Ｈを求める際に、この実施の形態では、原領域３１の左画像ＩＬ上で１画素分右にずらした位置での対応度Ｈを求めるとき、左端の縦方向の和（上例ではΣ▲１▼）を減じて右に加わる新たな列の縦方向の和（上例ではΣ▲５▼）を加えるようにしているので、演算回数を１５×６４０×１２８＝１，２２８，８００回にすることができる。すなわち、小領域の横方向の幅（画素数）は計算時間に無関係になる。
【０１０５】
もし、上例のように演算しなくて、１５×１５の小領域を移動させこの小領域毎に各領域を構成する画素データの差を取って、一致度Ｈを、水平方向ＸをＸがＸ＝０〜６３９まで、ずらし量ｄｘを１２８まで計算することにすると、演算回数は１５×１５×６４０×１２８＝１８，４３２，０００回となり、最も演算時間のかかる絶対値演算器６５ｂの１回の演算時間を１００ｎｓで実行した場合でも、総演算時間が１８４３ｍｓかかることになる。これに対して上例では、総演算時間が１２３ｍｓであり、約１／１５に低減することができる。
【０１０６】
しかし、この総演算時間１２３ｍｓは、ＮＴＳＣ方式のフレームレートである３３ｍｓより大きいので、フレームレート毎に、言い換えれば、１画面毎に一致度Ｈを計算する場合には、総演算時間１２３ｍｓを約１／４以下の時間にする必要がある。
【０１０７】
そこで、この実施の形態では、図１２に示したように、第１演算ブロック８１と同一構成の第２〜第４演算ブロック８２、８３、８４を設け、縦方向の画素数ｍと同数のＦＩＦＯメモリ６５ｉを直列に接続している。
この場合、簡単のために、図１３、図１４と同じ画像データを利用してパイプライン方式的処理動作を説明すれば、最初に、第１と第２の演算ブロック８１、８２を構成するＦＩＦＯメモリ６５ｅを通じて、第３演算ブロック８３を構成するＦＩＦＯメモリ６５ｉに１列目の画素データａ１〜ａ５までを転送する。したがって、この転送時点で、第２演算ブロック８２を構成するＦＩＦＯメモリ６５ｉには２列目の画素データｂ１〜ｂ５が転送され、第１演算ブロック８１を構成するＦＩＦＯメモリ６５ｉには３列目の画素データｃ１〜ｃ５が転送される。
【０１０８】
次に、次の４列目の画素データｄ１〜ｄ５を第１演算ブロック８１のＦＩＦＯメモリ６５ｉに順次転送したとき、第４演算ブロック８４では右１列目の画素データＡ１〜Ａ５と左１列目の画素データａ１〜ａ５に関連する上述の演算が行われ、第３演算ブロック８３では右１列目の画素データＡ１〜Ａ５と左２列目の画素データｂ１〜ｂ５に関連する上述の演算が行われ、第２演算ブロック８２では右１列目の画素データＡ１〜Ａ５と左３列目の画素データｃ１〜ｃ５に関連する上述の演算が行われ、第１演算ブロック８１では右１列目の画素データＡ１〜Ａ５と左４列目の画素データｄ１〜ｄ５に関連する上述の演算が行われる。
【０１０９】
次いで、右２列目の画素データＢ１〜Ｂ５の転送に同期して次の左５列目の画素データｅ１〜ｅ５を第１演算ブロック８１のＦＩＦＯメモリ６５ｉに順次転送したとき、第４演算ブロック８４では右２列目の画素データＢ１〜Ｂ５と左２列目の画素データｂ１〜ｂ５に関連する演算が行われ、第３演算ブロック８３では右２列目の画素データＢ１〜Ｂ５と左３列目の画素データｃ１〜ｃ５に関連する演算が行われ、第２演算ブロック８２では右２列目の画素データＢ１〜Ｂ５と左４列目の画素データｄ１〜ｄ５に関連する演算が行われ、第１演算ブロック８１では右２列目の画素データＢ１〜Ｂ５と左５列目の画素データｅ１〜ｅ５に関連する上述の演算が行われる。
【０１１０】
このようにして、次に、右３列目の画素データＣ１〜Ｃ５の転送に同期して次の左６列目の画素データｆ１〜ｆ５を順次同期して転送するようにすれば、第４演算ブロック８４では、ずらし量ｄｘがｄｘ＝０、ｄｘ＝４、……についての一致度Ｈを計算でき、同様に、第３演算ブロック８３では、ずらし量ｄｘがｄｘ＝１、ｄｘ＝５、……についての一致度Ｈを計算でき、第２演算ブロック８２では、ずらし量ｄｘがｄｘ＝２、ｄｘ＝６、……についての一致度Ｈを計算でき、第１演算ブロック８１では、ずらし量ｄｘがｄｘ＝３、ｄｘ＝７、……についての一致度Ｈを同時に計算することできる。
【０１１１】
このように、パイプライン方式的処理の４並列にすれば、演算時間を約１／４に低減することができる。なお、上述の説明から理解できるように、第４演算ブロック８４中のＦＩＦＯメモリ６５ｉは不要である。
【０１１２】
この場合、図１２例の４並列による動作によれば、１フレームレートで１フレームの画像についての６４０点の距離情報が求まり、左画像ＩＬの横７６８画素×縦１５画素の帯領域の処理が完了するが、これは１画像領域が７６８×２４０画素であることを考えると、全画像領域の１／１６になる。
【０１１３】
なお、左右のカメラ１Ｒ、１Ｌの上下方向の取付位置がずれた場合等を想定した場合には、当初のエピポーラーラインＥＰ上に対応する対象物画像が存在しなくなる場合も考えられる。この場合、図示はしないが、例えば、図９の対応処理装置６の構成を４並列にし、画像の縦方向の処理を４並列にすることにより、横７６８画素、縦１５画素の帯領域４つをフレームレート内で処理することが可能となる。この場合に、領域が重ならないようにすることで、最大１２７画素のずれまで検出できる距離情報を１フレームレート内で（６４０−ｎ）×４点出力できる。
【０１１４】
図１２例の相関演算部６５の処理により、１本のエピポーラーラインＥＰ上における右画像ＩＲ中の６４０個の原領域３１のそれぞれに対して、ずらし量ｄｘがｄｘ＝０〜１２７の検索領域３２についての１２８個の一致度Ｈが演算され、この演算結果の一致度Ｈが、相関メモリ６７に格納される。
【０１１５】
また、１個の原領域３１、すなわち、各変移位置Ｘに対する１２８個の検索領域３２のうち、一致度Ｈが最小値となる値（ピーク値ともいう。）をピーク値検出部６６で検出し、検出したピーク値（最小値）Ｈｍｉｎを、そのときの変移位置Ｘとずらし量ｄｘに対応させてピーク値メモリ６８に記憶する。ピーク値メモリ６８は、一致度Ｈのピーク値（最小値）記憶テーブルとして機能する。
【０１１６】
変移位置Ｘとずらし量ｄｘをアドレスとして一致度Ｈが記憶されている相関メモリ６７と、その最小値としてのピーク値Ｈｍｉｎが記憶されているピーク値メモリ６８が位置演算装置７に接続されている。
【０１１７】
位置演算装置７は、一致度Ｈとそのピーク値Ｈｍｉｎとを参照し、図１７に示すフローチャートに基づいて、対象物体Ｓの３次元空間での位置Ｐを求める。
【０１１８】
変移位置Ｘが所定の変移位置であるＸ＝Ｘｐの原領域３１についての位置Ｐの算出方法について説明する。
【０１１９】
まず、所定の変移位置Ｘｐの原領域３１についての一致度Ｈのピーク値Ｈｍｉｎと、そのときのずらし量ｄｘ（このずらし量ｄｘをずらし量ｄｘｍｉｎと呼ぶ）をピーク値メモリ６８から取り込む（ステップＳ２１）。
【０１２０】
次に、このずらし量ｄｘｍｉｎの近傍の左右各２個の一致度Ｈ、すなわち、ずらし量ｄｘがずらし量ｄｘｍｉｎより３つ少ないずれ量ｄｘｍｉｎ−２および３つ多いずれ量ｄｘｍｉｎ＋２の各位置における一致度Ｈｍｉｎ−２、Ｈｍｉｎ＋２を取り込む（ステップＳ２２）。
【０１２１】
次に、次の（１６）式に基づいて谷の深さ（ピーク深さともいう。）Ｑを求める（ステップＳ２３）。
【０１２２】
Ｑ＝ｍｉｎ｛Ｈｍｉｎ−２／Ｈｍｉｎ，Ｈｍｉｎ＋２／Ｈｍｉｎ｝  …（１６）
この（１６）式は、ピーク値Ｈｍｉｎに対する、これから２つ隣の一致度Ｈｍｉｎ−２、Ｈｍｉｎ＋２の大きさの各比のうち、最小値を取ることを意味する。
【０１２３】
そして、この谷の深さＱが所定の閾値ＴＨ以上の値であるかどうか（Ｑ≧ＴＨ）を判定し（ステップＳ２４）、所定の閾値ＴＨ以上の値である場合には、ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍｉｎの検索領域３２が所定の変移位置Ｘｐの原領域３１に対応する領域であると同定して次のステップＳ２５に進む。
【０１２４】
一方、ステップＳ２４の結果が否定的である場合には、ピーク値Ｈｍｉｎであり、ずらし量ｄｘｍｉｎの検索領域３２が所定の変移位置Ｘｐの原領域３１に対応する領域ではないと判断して、次の変移位置Ｘｐ＋１の原領域３１に対する対応する検索領域３２を求める処理が全て終了したかどうかを判定し（ステップＳ２８）、全ての変移位置Ｘに対応する処理が終了していない場合には、そのステップＳ２１〜Ｓ２４の処理を繰り返す。
【０１２５】
この実施の形態において、一致度Ｈのピーク値Ｈｍｉｎを変移位置Ｘｐの原領域３１に対応する検索領域３２であると直ちに同定しないで、その近傍を見て（ステップＳ２２）、その谷の深さＱを計算し（ステップＳ２３）、その谷の深さＱが所定の閾値ＴＨ以上の場合にのみ、一致度Ｈのピーク値Ｈｍｉｎが得られるずらし量ｄｘｍｉｎの検索領域３２が、変移位置Ｘｐの原領域３１に対応する検索領域３２であると同定する理由は、雑音の混入または画像ＩＲ、ＩＬの被写体の画像濃度が一様である場合等に、一致度Ｈのピーク値Ｈｍｉｎが得られ、ずらし量ｄｘｍｉｎの検索領域３２が、変移位置Ｘｐの原領域３１に必ずしも対応するとは限らないからである。
【０１２６】
すなわち、ずらし量ｄｘｍｉｎの位置の近傍領域を考慮して、谷の深さＱが、所定の閾値ＴＨより小さいものは、対応がよく取れていないと判断し、その一致度Ｈのピーク値Ｈｍｉｎは利用しないこととした。なお、所定の閾値ＴＨは、この実施の形態においては、ＴＨ＝１．２とした。
【０１２７】
ステップＳ２４の判断が肯定的であるとき、ずらし量ｄｘの真の値（真のピーク位置という）ｄｓを次に示す補間処理により求める（ステップＳ２５）。すなわち、図１８に示すように、最小位置座標を（ｄｘｍｉｎ，Ｈｍｉｎ）とし、その前後の位置座標をそれぞれ（ｄｘｍｉｎ−１，Ｈｍｉｎ−１）、（ｄｘｍｉｎ＋１，Ｈｍｉｎ＋１）とするとき、前後の一致度Ｈｍｉｎ−１、Ｈｍｉｎ＋１の大きさを比較して、それぞれ次の（１７）式〜（１９）式で示す値に推定する。
【０１２８】
Ｈｍｉｎ−１＜Ｈｍｉｎ＋１の場合、
ｄｓ＝ｄｘｍｉｎ−｛（Ｈｍｉｎ−１−Ｈｍｉｎ＋１）／（２・（Ｈｍｉｎ−Ｈｍｉｎ＋１））｝…（１７）
Ｈｍｉｎ−１＝Ｈｍｉｎ＋１の場合、
ｄｓ＝ｄｘｍｉｎ                                        …（１８）
Ｈｍｉｎ−１＞Ｈｍｉｎ＋１の場合、
ｄｓ＝ｄｘｍｉｎ＋｛（Ｈｍｉｎ＋１−Ｈｍｉｎ−１）／（２・（Ｈｍｉｎ−Ｈｍｉｎ−１））｝…（１９）
この（１７）式〜（１９）式の補間式を用いて真のピーク位置ｄｓを求めた場合には、補間しない場合に比較して、位置精度が３倍向上することを実験的に確認することができた。
【０１２９】
結局、ステップＳ２５の補間処理終了後に、変移位置Ｘｐの原領域３１に最も対応する検索領域３２の真のピーク位置ｄｓが求まることになる。
【０１３０】
このようにして求められた変移位置Ｘｐと真のピーク位置ｄｓは、それぞれ、図５に示す右画像ＩＲ上の対象物体画像ＳＲの視差ｄＲと左画像ＩＬ上の対象物体画像ＳＬの視差ｄＬに対応する。
【０１３１】
しかし、実際上、上述したように、フロントガラスやカメラ１Ｒ、１Ｌの対物レンズ１１Ｒ、１１Ｌの光学特性によって、左右の画像ＩＲ、ＩＬには、例えば、ピンクッション的歪み、あるいはバレル的歪みが存在するので、これらによる歪み補正を行った視差ｄＲと視差ｄＬとを求める（ステップＳ２６）。
【０１３２】
そこで、これら歪み補正を行った視差ｄＲと視差ｄＬを測定値として、上述の（４）式〜（６）式から対象物体Ｓまでの奥行き方向の距離Ｚｄと、その距離Ｚｄからの左右の偏差にかかるずれ距離ＤＲとずれ距離ＤＬとの３次元位置情報を求めることができる（ステップＳ２７）。
【０１３３】
ステップＳ２８では、エピポーラーラインＥＰ上の全ての変移位置Ｘでの原領域３１に対応する検索領域３２中の真のピーク位置ｄｓを求める演算が終了したかどうか、すなわち、変移位置ＸがＸ＝７６７であるかどうかを確認して処理を終了する。
【０１３４】
位置演算装置７で作成された、これら３次元位置情報である距離Ｚｄとずれ距離ＤＲとずれ距離ＤＬとはクラスタリングされ、対象物体Ｓについての識別符号としての、いわゆるアイディ（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）が付けられて、出力端子９０を通じて、次の処理過程である、図示しない道路・障害物認識装置等に接続される。
【０１３５】
道路・障害物認識装置等は、自動運転システムを構成し、運転者に対する警告、車体の自動衝突回避、前走車への自動追従走行などの動作を行うことができる装置である。この場合、例えば、自動追従走行を行うシステムとして、本出願人の出願による「物体検出装置およびその方法」（特願平７−２４９７４７号）を挙げることができる。
【０１３６】
なお、この発明は上述の実施の形態に限らず、この発明の要旨を逸脱することなく種々の構成を採り得ることはもちろんである。
【０１３７】
【発明の効果】
以上説明したように、この発明によれば、２つのカメラは、車両の正面方向にある無限遠点が前記２つの撮像手段からそれぞれ得られる各画面中の中心となるように設置されており、対応処理手段が、２つの撮像手段から得られる各画像中の同一物体画像の対応を採る際に、歪み補正手段により光学部の歪みを原因とする撮像の歪みを補正した後に対応を採るようにしているので、レンズの歪み等、光学系の歪みに基づく画像の歪みを原因とする同一物体の対応の採れない状態を回避することができるという効果が達成される。
【図面の簡単な説明】
【図１】この発明の一実施の形態の構成を示すブロック図である。
【図２】ステレオカメラの据えつけ位置の説明に供される概略斜視図である。
【図３】三角測量の原理で距離を求める際の説明に供される平面視的図である。
【図４】対象物体にかかる左右画像上での視差の説明に供される線図であって、Ａは、左側画像、Ｂは、右側画像をそれぞれ表す図である。
【図５】図１例の装置の全体的な動作説明に供されるフローチャートである。
【図６】左右の小領域の対応処理の仕方の説明に供される図である。
【図７】図６例の説明に供されるフローチャートである。
【図８】対応処理装置の詳細な構成を含む装置の構成を示すブロック図である。
【図９】被写体としての長方形格子を示す図である。
【図１０】レンズの収差による歪みを含んで撮像された画像を示す図である。
【図１１】図９の図形と図１０の図形とを重ね合わせた補正座標の説明に供される図である。
【図１２】相関演算部の詳細な構成を示す回路ブロック図である。
【図１３】エピポーラーライン上の左画像データの一部を模式的に表す線図である。
【図１４】エピポーラーライン上の右画像データの一部を模式的に表す線図である。
【図１５】図１２例中、第１演算ブロックの動作説明に供されるブロック図である。
【図１６】図１２例中、第１演算ブロックの動作説明に供される他のブロック図である。
【図１７】位置演算装置の動作説明に供されるフローチャートである。
【図１８】補間演算の説明に供される線図である。
【符号の説明】
１…ステレオカメラ                １Ｒ、１Ｌ…ビデオカメラ
２Ｒ、２Ｌ…ＣＣＵ                ４Ｒ、４Ｌ…画像メモリ
５Ｒ、５Ｌ…駆動回路              ６…対応処理装置
７…位置演算装置                  ８…露光量調整装置
１１Ｒ、１１Ｌ…対物レンズ        １３Ｒ、１３Ｌ…ＣＣＤイメージセンサ
１５Ｒ、１５Ｌ…光軸              ６２…補正座標テーブル
７３…長方形格子                  ７４…たる形に中央が膨らんだ画像
【図１】
0003599255.tif 000002
【図２】
0003599255.tif 000003
【図３】
0003599255.tif 000004
【図４】
0003599255.tif 000005
【図５】
0003599255.tif 000006
【図６】
0003599255.tif 000007
【図７】
0003599255.tif 000008
【図８】
0003599255.tif 000009
【図９】
0003599255.tif 000010
【図１０】
0003599255.tif 000011
【図１１】
0003599255.tif 000012
【図１２】
0003599255.tif 000013
【図１３】
0003599255.tif 000014
【図１４】
0003599255.tif 000015
【図１５】
0003599255.tif 000016
【図１６】
0003599255.tif 000017
【図１７】
0003599255.tif 000018
【図１８】
0003599255.tif 000019