(57)【要約】【課題】距離演算の処理の負荷を軽減し高速に距離情報を出力すること。【解決手段】画像処理装置１は、移動体に搭載され、所定の撮像視野に対応する画像信号群を生成する撮像部１０と、移動体の移動情報を取得する探知部６０と、探知部６０が取得した移動情報に適合するウインドウを選択し、この選択したウインドウに切り換える処理を行うウインドウ切換部３１と、ウインドウ切換部３１が切り換えたウインドウが規定する画像処理範囲に対応する画像信号群を処理して撮像視野内に位置する物体までの距離を演算する演算部２１とを備える。【選択図】        図１
2006322797.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載され、所定の撮像視野を有し、該撮像視野に対応する画像信号群を生成する撮像手段と、
前記画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する演算手段と、
前記演算手段における複数の画像処理範囲の中から前記移動体の移動情報に対応した画像処理範囲を選択し、前記演算手段における画像処理範囲を該選択した画像処理範囲に切り換える切換処理手段と、
を備え、
前記演算手段は、前記切換処理手段が切り換えた画像処理範囲に対応する前記画像信号群に基づいて前記物体までの距離を演算することを特徴とする画像処理装置。
【請求項２】
前記移動情報を取得し、取得した該移動情報を前記切換処理手段に出力する移動情報取得手段を備え、
前記切換処理手段は、前記移動情報取得手段から出力された前記移動情報をもとに、前記複数の画像処理範囲の中から該移動情報に対応した前記画像処理範囲を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記移動情報は、前記移動体の移動速度、前記移動体の移動加速度、前記移動体の移動方向、前記移動体の移動方位および／または前記移動体の位置情報であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、
前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、該検出した画像信号における前記任意の画像信号からの移動量に基づいて前記物体までの距離を演算することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記撮像手段は、
一対の撮像光学系と、
前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、
を備えたことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記撮像手段は、
一対の導光光学系と、
各導光光学系に対する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
を備えたことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項７】
前記移動体は、車両であることを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
移動体に搭載された撮像手段によって撮像された画像を処理する画像処理方法において、
複数の画像処理範囲の中から前記移動体の移動情報に対応する画像処理範囲を選択し、処理画像に対する画像処理範囲を該選択した画像処理範囲に切り換える切換処理ステップと、
所定の撮像視野に対応する画像信号群を生成する撮像ステップと、
前記切換処理ステップにおいて切り換えられた前記画像処理範囲に対応する前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
移動体に搭載された撮像手段によって撮像された画像を処理する画像処理プログラムにおいて、
複数の画像処理範囲の中から前記移動体の移動情報に対応する画像処理範囲を選択し、処理画像に対する画像処理範囲を該選択した画像処理範囲に切り換える切換処理手順と、
所定の撮像視野に対応する画像信号群を生成する撮像手順と、
前記切換処理手順において切り換えられた前記画像処理範囲に対応する前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、
を含むことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関し、特に車載用として好適な画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、自動車等の車両に搭載され、自車両の前方を走行する先行車両を撮像した画像を処理し、自車両から先行車両までの距離を検出する車間距離検出装置が知られている（たとえば、特許文献１参照）。この車間距離検出装置は、画像上で先行車両を捕捉するために、画像内の所定位置に複数の測距用ウインドウを設定し、この設定した各測距用ウインドウ内で画像を処理して任意の対象物までの距離を演算し、演算した結果と測距用ウインドウの位置情報とをもとに先行車両の撮像位置を認識している。
【０００３】
【特許文献１】特許第２６３５２４６号公報
【特許文献２】特開平８−１７１１５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述した従来の車間距離検出装置では、撮像位置が不明な先行車両を捕捉するため、測距用ウインドウは画像のほぼ全域をカバーするように設定する必要があった。この結果、画像のほぼ全域を処理して距離演算を行うので、演算処理の負荷が大きく、処理時間がかかるという問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、撮像した画像を処理し、先行車両等の所定の物体までの距離を演算する場合に、演算処理の負荷を軽減し、高速に距離情報を出力することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の請求項１にかかる画像処理装置は、移動体に搭載され、所定の撮像視野を有し、該撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群を処理して前記撮像視野内に位置する物体までの距離を演算する演算手段と、複数の画像処理範囲の中から前記移動体の移動情報に対応する画像処理範囲を選択し、前記演算手段における画像処理範囲を該選択した画像処理範囲に切り換える切換処理手段と、を備え、前記演算手段は、前記切換処理手段が切り換えた前記画像処理範囲に対応する画像信号群に基づいて前記物体までの距離を演算することを特徴とする。
【０００７】
また、本発明の請求項２にかかる画像処理装置は、上記の発明において、前記移動情報を取得し、取得した該移動情報を前記切換処理手段に出力する移動情報取得手段を備え、前記切換処理手段は、前記移動情報取得手段から出力された前記移動情報をもとに、前記複数の画像処理範囲の中から該移動情報に対応した前記画像処理範囲を選択することを特徴とする。
【０００８】
また、本発明の請求項３にかかる画像処理装置は、上記の発明において、前記移動情報は、前記移動体の移動速度、前記移動体の移動加速度、前記移動体の移動方向、前記移動体の移動方位および／または前記移動体の位置情報であることを特徴とする。
【０００９】
また、本発明の請求項４にかかる画像処理装置は、上記の発明において、前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、該検出した画像信号における前記任意の画像信号からの移動量に基づいて前記物体までの距離を演算することを特徴とする。なお、ここで述べた移動量は、一般的に言われる視差量を示す。
【００１０】
また、本発明の請求項５にかかる画像処理装置は、上記の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。
【００１１】
また、本発明の請求項６にかかる画像処理装置は、上記の発明において、前記撮像手段は、一対の導光光学系と、各導光光学系に対する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えたことを特徴とする。
【００１２】
また、本発明の請求項７にかかる画像処理装置は、上記の発明において、前記移動体は、車両であることを特徴とする。
【００１３】
また、本発明の請求項８にかかる画像処理方法は、移動体に搭載され、所定の撮像視野を有する撮像手段によって生成された、該撮像視野に対応する画像信号群を処理する画像処理方法であって、  複数の画像処理範囲の中から前記移動体の移動情報に対応する画像処理範囲を選択し、前記画像信号群に対する画像処理範囲を該選択した画像処理範囲に切り換える切換処理ステップと、前記切換処理ステップにおいて切り換えられた前記画像処理範囲に対応する画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、を含むことを特徴とする。
【００１４】
また、本発明の請求項９にかかる画像処理プログラムは、移動体に搭載され、所定の撮像視野を有する撮像手段によって生成された、該撮像視野に対応する画像信号群を処理する画像処理プログラムであって、複数の画像処理範囲の中から前記移動体の移動情報に対応する画像処理範囲を選択し、前記画像信号群に対する画像処理範囲を該選択した画像処理範囲に切り換える切換処理手順と、前記切換処理手順において切り換えられた前記画像処理範囲に対応する画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明の画像処理装置、画像処理方法および画像処理プログラムによれば、撮像した画像を処理し、先行車両等の所定の物体までの距離を演算する場合に、演算処理の負荷を軽減し、高速に距離情報を出力することができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムの好適な実施の形態を詳細に説明する。
【００１７】
（実施の形態１）
図１は、本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、所定の撮像視野を有し、撮像視野に対応する画像を撮像し画像信号群を生成する撮像部１０と、撮像部１０が生成した画像信号群を解析し処理する画像処理部２０と、画像処理装置１の全体の処理および動作を制御する制御部３０と、距離情報を含む各種情報を出力する出力部４０と、距離情報を含む各種情報を記憶する記憶部５０と、画像処理装置１が搭載される四輪自動車等の移動体である自車両の移動情報を探知する探知部６０とを備える。撮像部１０、画像処理部２０、出力部４０、記憶部５０および探知部６０は、制御部３０に電気的に接続される。なお、この接続の形態は、有線に限らず無線も含む。
【００１８】
撮像部１０は、ステレオカメラであり、左右に並んで配置された右カメラ１１ａと、左カメラ１１ｂとを備える。右カメラ１１ａは、レンズ１２ａと、撮像素子１３ａと、アナログ／デジタル（Ａ／Ｄ）変換部１４ａと、フレームメモリ１５ａとを備える。レンズ１２ａは、所定の撮像視野内に位置する任意の物体からの光を撮像素子１３ａ上に集光する。撮像素子１３ａは、ＣＣＤあるいはＣＭＯＳ等の撮像素子であり、レンズ１２ａが集光した物体からの光を光信号として検知し、アナログ信号である電気信号に変換し、出力する。Ａ／Ｄ変換部１４ａは、撮像素子１３ａが出力したアナログ信号をデジタル信号に変換し、出力する。フレームメモリ１５ａは、Ａ／Ｄ変換部１４ａが出力したデジタル信号を記憶し、１枚の撮像画像に対応するデジタル信号群を、撮像視野に対応した画像信号群である画像情報として随時出力する。一方、左カメラ１１ｂは、右カメラ１１ａと同様の構成であり、レンズ１２ｂと、撮像素子１３ｂと、Ａ／Ｄ変換部１４ｂと、フレームメモリ１５ｂとを備える。左カメラ１１ｂの各構成部位は、右カメラ１１ａの対応する各構成部位と同様の機能を備える。
【００１９】
撮像部１０が備える一対の撮像光学系としてのレンズ１２ａ，１２ｂは、光軸を平行にし、距離Ｌだけ離れて位置する。撮像素子１３ａ，１３ｂは、それぞれレンズ１２ａ，１２ｂから光軸上で距離ｆだけ離れて位置する。右カメラ１１ａおよび左カメラ１１ｂは、同一の物体を互いに異なる位置から異なる光路を介して撮像する。なお、レンズ１２ａ，１２ｂは、通常は複数のレンズを組み合わせて構成され、たとえばディストーション等のレンズの収差を良好に補正した状態にある。
【００２０】
画像処理部２０は、撮像部１０から取得した画像信号群を処理し、撮像した物体までの距離を演算する演算部２１を備える。演算部２１は、右カメラ１１ａが出力する右画像信号群の中から、左カメラ１１ｂが出力する左画像信号群の中の任意の左画像信号と整合する右画像信号を検出し、この検出した右画像信号の、対応する左画像信号からの距離である移動量に基づいて、撮像視野内に位置する物体までの距離を演算する。換言すると、演算部２１は、右カメラ１１ａが生成した右画像信号群と、左カメラ１１ｂが生成した左画像信号群とを、それぞれの撮像光学系の光軸の位置を基準に重ね合わせ、左画像信号群の中の任意の左画像信号と、これに最も整合する右画像信号群の中の右画像信号とを検出し、対応する左画像信号から右画像信号までの撮像素子上での距離である移動量Ｉを求め、三角測量の原理に基づく以下の（１）式を利用し、たとえば図１における撮像部１０から車両Ｃまでの距離Ｒを演算する。なお、移動量Ｉは、撮像素子の画素数と画素ピッチとをもとに求めるとよい。なお、ここでは簡単のため、平行ステレオで説明したが、光軸が角度を持って交差したり、焦点距離がおのおの違う、撮像素子とレンズの位置関係が異なる等をキャリブレーションし、レクティフィケーションにより補正し、演算処理による平行ステレオを実現しても良い。
Ｒ＝ｆ・Ｌ／Ｉ                                      ・・・（１）
【００２１】
演算部２１は、画像処理範囲内の任意の画像信号に対応する物体までの距離を演算する。画像処理部２０は、演算部２１が演算した物体までの距離と画像内の物体の位置とを対応させ距離情報を作成し、制御部３０に出力する。なお、ここで距離演算の対象となる物体は、有体物である物体に限らず、撮像した任意の被写体であって、路面や空等の背景も含まれる。
【００２２】
制御部３０は、記憶部５０が記憶する処理プログラムを実行するＣＰＵを備え、撮像部１０、画像処理部２０、出力部４０、記憶部５０および探知部６０が行う各種処理および動作を制御する。特に、この実施の形態１にかかる制御部３０は、ウインドウ切換部３１を備える。ウインドウ切換部３１は、探知部６０から移動情報を取得し、この移動情報に適合するウインドウをウインドウ情報５１が記憶する複数のウインドウ情報の中から選択し、演算部２１で設定するウインドウをこの選択したウインドウに切り換える指示情報を、ウインドウ情報とともに画像処理部２０に出力する。なお、ウインドウ情報とは、ウインドウの大きさや形状等に関する情報である。
【００２３】
出力部４０は、距離情報を含む各種情報を出力する。たとえば、出力部４０は、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ等の表示装置を備え、撮像部１０が撮像した画像等、各種の表示可能な情報を距離情報とともに表示する。さらに、スピーカー等の音声出力装置を備え、距離情報や距離情報に基づく警告等、各種音声情報を出力するように構成してもよい。
【００２４】
記憶部５０は、所定のＯＳを起動するプログラムや画像処理プログラム等の各種情報が予め記憶されたＲＯＭと、各処理の演算パラメータや各構成部位に入出力される各種情報等を記憶するＲＡＭとを備える。さらに、記憶部５０は、ウインドウ切換部３１が選択する複数のウインドウ情報を格納したウインドウ情報５１、探知部６０が探知した探知情報５２、撮像部１０が撮像した画像情報５３および演算部２１が演算し作成した距離情報５４を記憶する。
【００２５】
探知部６０は、自車両の移動情報を各種センサで検出する。特に、この実施の形態１にかかる探知部６０は、自車両の移動速度を検出する速度センサ６１を備える。速度センサ６１は、自動車等が通常備える速度計である。探知部６０は、速度センサ６１が検出する速度情報を自車両の移動情報として制御部３０に出力する。なお、速度センサ６１は、自車両から走行する路面を観測し速度を演算するセンサ、加速度を検出し速度を演算するセンサ等であってもよい。
【００２６】
つぎに、画像処理装置１が実行する処理について、図２のフローチャートにしたがって説明する。図２は、画像処理装置１が、撮像した画像に対応する距離情報を出力するまでの処理手順を示すフローチャートである。
【００２７】
図２に示すように、速度センサ６１が、自車両の移動速度を検出し、検出した速度を探知情報として制御部３０に出力する速度探知処理を行い（ステップＳ１０２）、ウインドウ切換部３１が、探知部６０から取得した探知情報に適合するウインドウをウインドウ情報５１の中から選択し、選択したウインドウへの切り換えを画像処理部２０に指示するウインドウ切換処理を行う（ステップＳ１０４）。このステップＳ１０４で、ウインドウ切換部３１は、選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力する。つぎに、撮像部１０が、所定の視野を撮像し、生成した画像信号群を画像情報として画像処理部２０に出力する撮像処理を行い（ステップＳ１０６）、演算部２１が、ウインドウ切換部３１から指示されたウインドウに対応する画像信号群をもとに物体までの距離を演算し、演算した距離と画像上の物体の位置とを対応させた距離情報を作成し、制御部３０に出力する距離演算処理を行う（ステップＳ１０８）。制御部３０は、この距離情報およびこの距離情報に基づく所定の処理情報を出力部４０に出力し（ステップＳ１１０）、一連の処理を終了する。なお、制御部３０は、各処理ステップで生成された情報である探知情報５２、画像情報５３および距離情報５４を記憶部５０に随時記憶する。
【００２８】
上述した一連の処理は、たとえば、自車両の搭乗者等から所定の処理終了あるいは中断の指示がない限り、継続して繰り返す。また、上述した一連の処理は、逐次実行するものとして説明したが、処理機構が独立している処理を並行して実行し、処理サイクルを高速化することが好ましい。さらに、探知情報５２が記憶する時系列の速度情報をもとに以降の速度状態を予測し、速度探知処理を適宜スキップして処理サイクルの高速化をはかってもよい。なお、ステップＳ１０６の撮像処理は、ステップＳ１０２またはステップＳ１０４の直前で行うようにしてもよい。
【００２９】
つぎに、図２に示したステップＳ１０４のウインドウ切換処理について説明する。図３は、ウインドウ切換処理の処理手順を示すフローチャートである。図３に示すように、ウインドウ切換部３１は、探知部６０から探知情報を取得し（ステップＳ１２２）、自車両の速度が低速か、または高速かを判断し（ステップＳ１２４）、低速であると判断した場合（ステップＳ１２４：低速）、ウインドウ情報５１から低速用ウインドウを選択し（ステップＳ１２６）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ１２８）、ステップＳ１０４にリターンする。一方、高速であると判断した場合（ステップＳ１２４：高速）、ウインドウ切換部３１は、ウインドウ情報５１から高速用ウインドウを選択し（ステップＳ１３０）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ１３２）、ステップＳ１０４にリターンする。
【００３０】
なお、図３に示すフローチャートでは、自車両の速度をもとに低速用ウインドウまたは高速用ウインドウの２種類のウインドウを選択するようにしたが、さらに多くの速度状態を判断し、種々の大きさのウインドウを選択できるようにしてもよく、実質的に任意の速度に対して異なる大きさのウインドウを選択できるようにしてもよい。
【００３１】
つぎに、ウインドウ切換部３１が選択するウインドウの一例について説明する。図４は、低速用ウインドウの一例を示す図である。図４に示す低速用ウインドウ５１ａは、撮像部１０の撮像視野に対応する撮像範囲１７の略全域に対応する。この低速用ウインドウ１５ａは、撮像視野内で自車両から近距離ないし遠距離の範囲に位置する物体を画像上で捕捉する。一方、図５は、高速用ウインドウの一例を示す図である。図５に示す高速用ウインドウ５１ｂは、低速用ウインドウ５１ａに比して小さく、撮像範囲１７の中央部の部分領域に対応する。この高速用ウインドウ５１ｂは、撮像視野内で自車両から遠距離に位置する物体を画像上で選択的に捕捉することができ、この結果、高速走行時に重要な遠方の画像情報を抽出することができる。
【００３２】
図６は、画像１８ａに低速用ウインドウ５１ａを重ね合わせた図である。低速用ウインドウ５１ａは、図６に示すように、自車両から近い位置を走行する車両Ｃ１を背景とともに捕捉し、距離演算の対象とする。一方、図７は、画像１８ｂに高速用ウインドウ５１ｂを重ね合わせた図である。高速用ウインドウ５１ｂは、図７に示すように、自車両から遠い位置を走行する車両Ｃ２を背景とともに捕捉し、距離演算の対象とする。なお、画像１８ａ，１８ｂは、撮像部１０の右カメラ１１ａまたは左カメラ１１ｂの一方が撮像した画像である。
【００３３】
つぎに、演算部２１が演算し、作成する距離情報の一例について説明する。図８は、図６に示した画像１８ａおよび低速用ウインドウ５１ａをもとに、演算部２１が作成した距離情報５４ａを示す図である。距離情報５４ａでは、演算結果２１ａが、低速用ウインドウ５１ａ内の距離演算の結果を表す。演算結果２１ａは、図８に示すように、演算部２１が、低速用ウインドウ５１ａ内を所定のマトリクス状の小領域に分割し、この分割した小領域ごとに対応する物体までの平均距離を演算した結果を数値で表す。この演算結果２１ａでは、領域Ｅｓａに含まれる結果が画像１８ａの背景である空に対応する距離を表し、領域Ｅｃ１に含まれる結果が車両Ｃ１に対応する距離を表し、これら以外の結果が路面に対応する距離を表している。一方、図９は、図７に示す画像１８ｂおよび高速用ウインドウ５１ｂをもとに、演算部２１が作成した距離情報５４ｂを示す図である。距離情報５４ｂでは、演算結果２１ｂが、高速用ウインドウ５１ｂ内の距離演算の結果を表す。演算結果２１ｂは、演算結果２１ａと同様に、小領域ごとに演算した物体までの平均距離を数値で表す。この演算結果２１ｂでは、領域Ｅｓｂに含まれる結果が空に対応し、領域Ｅｃ２に含まれる結果が車両Ｃ２に対応し、これら以外の結果が路面に対応する。なお、演算結果２１ａ、２１ｂで示される数値は、所定の単位系で距離を表した数値であって、たとえばメートル単位で表した数値である。
【００３４】
以上説明したこの実施の形態１にかかる画像処理装置１は、自車両の移動速度をもとに画像処理範囲を選択し、選択した画像処理範囲に対応する画像信号群に基づいて距離演算を行うため、画像信号群のすべての画像信号に対して距離演算を行う従来の画像処理装置と比べ、距離演算の処理の負荷を軽減し、距離演算に要する時間を短縮することができる。この結果、画像処理装置１は、画像を取得してから距離情報を出力するまでに要する処理時間を短縮し、高速に距離情報を出力することができる。
【００３５】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、速度センサ６１が検出した速度をもとに、ウインドウ切換部３１がウインドウを選択するようにしていたが、この実施の形態２では、自車両の移動方向を検出し、ウインドウを選択するようにしている。
【００３６】
図１０は、本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。図１０に示す画像処理装置２０１は、上述した実施の形態１にかかる画像処理装置１の探知部６０に代えて探知部２６０を備え、探知部２６０は、操舵角センサ２６１を備える。また、画像処理装置２０１は、制御部３０に代えて制御部２３０を備え、制御部２３０は、ウインドウ切換部２３１を備える。さらに、画像処理装置２０１は、記憶部５０に代えて記憶部２５０を備え、記憶部２５０は、ウインドウ切換部２３１が選択する複数のウインドウ情報を格納したウインドウ情報２５１と、探知部２６０が探知した探知情報２５２とを記憶するとともに、記憶部５０と同様に画像情報５３および距離情報５４を記憶する。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。
【００３７】
操舵角センサ２６１は、移動方向として前輪の左右の回転角である操舵角を検出するセンサであって、たとえば、ハンドルの回転角と回転方向とをもとに操舵角を検出するセンサである。探知部２６０は、操舵角センサ２６１が検出した操舵角を自車両の移動情報として制御部２３０に出力する。なお、操舵角センサ２６１は、ジャイロスコープを利用して移動方向を検知するセンサ、方向指示器の点滅状態によって移動方向を検知するセンサ等でもよい。
【００３８】
つぎに、画像処理装置２０１が実行する処理について説明する。図１１は、画像処理装置２０１が、撮像した画像に対応する距離情報を出力するまでの処理手順を示すフローチャートである。
【００３９】
図１１に示すように、操舵角センサ２６１が、自車両の操舵角を検出し、検出した操舵角を探知情報として制御部２３０に出力する操舵角探知処理を行い（ステップＳ２０２）、ウインドウ切換部２３１が、探知部２６０から取得した探知情報に適合するウインドウをウインドウ情報２５１の中から選択し、選択したウインドウへの切り換えを画像処理部２０に指示するウインドウ切換処理を行う（ステップＳ２０４）。ここで、ウインドウ切換部２３１は、選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力する。その後、画像処理装置２０１は、図１１に示すように、撮像処理（ステップＳ２０６）、距離演算処理（ステップＳ２０８）および距離情報出力（ステップＳ２１０）を、それぞれ図２に示したステップＳ１０６、ステップＳ１０８およびステップＳ１１０と同様に実行する。ただし、ステップＳ２０８の距離演算処理で使用するウインドウが自車両の操舵角に対応するウインドウである点と、操舵角センサ２６１が検出した操舵角を探知情報２５２として記憶する点において、画像処理装置２０１の処理は画像処理装置１の処理と異なる。
【００４０】
なお、画像処理装置２０１でも画像処理装置１と同様に、処理機構が独立している処理を並行して実行し、処理サイクルを高速化することが好ましい。さらに、探知情報２５２が記憶する時系列の操舵角情報をもとに以降の操舵角の状態を予測し、操舵角探知処理を適宜スキップして処理サイクルの高速化をはかってもよい。なお、ステップＳ２０６の撮像処理は、ステップＳ２０２またはステップＳ２０４の直前で行うようにしてもよい。
【００４１】
つぎに、図１１に示したステップＳ２０４のウインドウ切換処理について説明する。図１２は、ウインドウ切換処理の処理手順を示すフローチャートである。図１２に示すように、ウインドウ切換部２３１は、探知部２６０から探知情報を取得し（ステップＳ２２２）、自車両の進行方向が右方向か、左方向か、または直進方向かを判断し（ステップＳ２２４）、右方向と判断した場合（ステップＳ２２４：右）、ウインドウ情報２５１から右用ウインドウを選択し（ステップＳ２２６）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ２２８）、ステップＳ２０４にリターンする。一方、ウインドウ切換部２３１は、左方向と判断した場合（ステップＳ２２４：左）、左用ウインドウを選択し（ステップＳ２３０）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ２３２）、ステップＳ２０４にリターンする。他方、ウインドウ切換部２３１は、直進方向と判断した場合（ステップＳ２２４：直進）、直進用ウインドウを選択し（ステップＳ２３４）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ２３６）、ステップＳ２０４にリターンする。
【００４２】
なお、図１２に示すフローチャートでは、自車両の操舵角をもとに右用ウインドウ、左用ウインドウあるいは直進用ウインドウの３種類のウインドウを選択するようにしたが、さらに多くの操舵角状態を判断し、種々の位置および大きさのウインドウを選択できるようにしてもよく、実質的に任意の操舵角に対して異なるウインドウを選択できるようにしてもよい。
【００４３】
つぎに、ウインドウ切換部２３１が選択するウインドウの一例について説明する。図１３は、右用ウインドウの一例を示す図である。図１３に示す右用ウインドウ２５１ａは、
撮像範囲１７の右半分の略全域に対応する。この右用ウインドウ２５１ａは、撮像視野内の右側に位置する物体を画像上で選択的に捕捉することができ、この結果、右方向に進路変更する際に重要な右前方の画像情報を抽出することができる。一方、図１４は、左用ウインドウの一例を示す図である。図１４に示す左用ウインドウ２５１ｂは、撮像範囲１７の左半分の略全域に対応する。この左用ウインドウ２５１ｂは、撮像視野内の左側に位置する物体を画像上で選択的に捕捉し、左前方の画像情報を抽出することができる。他方、図１５は、直進用ウインドウの一例を示す図である。図１５に示す直進用ウインドウ２５１ｃは、撮像範囲１７の略全域に対応する。この直進用ウインドウ２５１ｃは、撮像視野内の略全域に位置する物体を画像上で捕捉する。
【００４４】
以上説明したこの実施の形態２にかかる画像処理装置２０１は、自車両の操舵角をもとに画像処理範囲を選択し、選択した画像処理範囲に対応する画像信号群に基づいて距離演算を行うため、画像信号群のすべての画像信号に対して距離演算を行う従来の画像処理装置と比べ、距離演算の処理の負荷を軽減し、距離演算に要する時間を短縮することができる。この結果、画像処理装置２０１は、画像を取得してから距離情報を出力するまでに要する処理時間を短縮し、高速に距離情報を出力することができる。
【００４５】
（実施の形態３）
つぎに、本発明の実施の形態３について説明する。上述した実施の形態１、２では、探知部が検出した速度あるいは操舵角をもとに、ウインドウ切換部がウインドウを選択するようにしていたが、この実施の形態３では、自車両の位置を検知し、検知した位置をもとに地図情報を参照し、参照した地図情報をもとにウインドウを選択するようにしている。
【００４６】
図１６は、本発明の実施の形態３にかかる画像処理装置の構成を示すブロック図である。図１６に示す画像処理装置３０１は、上述した実施の形態１にかかる画像処理装置１の探知部６０に代えて外部通信部３７０を備える。また、画像処理装置３０１は、制御部３０に代えて制御部３３０を備え、制御部３３０は、ウインドウ切換部３３１を備える。さらに、画像処理装置３０１は、記憶部５０に代えて記憶部３５０を備え、記憶部３５０は、ウインドウ切換部３３１が選択する複数のウインドウ情報を格納したウインドウ情報３５１と、外部通信部３７０が受信した位置情報３５２と、位置情報３５２をもとにウインドウ切換部３３１が参照する地図情報３５３とを記憶するとともに、記憶部５０と同様に画像情報５３および距離情報５４を記憶する。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。
【００４７】
外部通信部３７０は、自車両の位置を検知する手段であって、たとえば、ＧＰＳ（Global Positioning System）を利用した通信手段である。外部通信部３７０は、検知した位置を自車両の移動情報として制御部３３０に出力する。なお、外部通信部３７０は、自車両の位置を検知するとともに、検知した位置付近の地図情報を取得するようにしてもよい。また、外部通信部３７０は、通信手段に代えて、ジャイロスコープや速度計を応用した位置を検知するセンサ等にしてもよい。
【００４８】
つぎに、画像処理装置３０１が実行する処理について説明する。図１７は、画像処理装置３０１が、撮像した画像に対応する距離情報を出力するまでの処理手順を示すフローチャートである。
【００４９】
図１７に示すように、外部通信部３７０が、自車両の位置情報を受信し、受信した位置情報を移動情報として制御部３３０に出力する位置情報受信を行い（ステップＳ３０２）、ウインドウ切換部３３１が、外部通信部３７０から取得した位置情報をもとに地図情報３５３を参照し、参照した地図情報に適合するウインドウをウインドウ情報３５１の中から選択し、選択したウインドウへの切り換えを画像処理部２０に指示するウインドウ切換処理を行う（ステップＳ３０４）。ここで、ウインドウ切換部３３１は、選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力する。その後、画像処理装置３０１は、図１７に示すように、撮像処理（ステップＳ３０６）、距離演算処理（ステップＳ３０８）および距離情報出力（ステップＳ３１０）を、それぞれ図２に示したステップＳ１０６、ステップＳ１０８およびステップＳ１１０と同様に実行する。ただし、ステップＳ３０８の距離演算処理で使用するウインドウが位置情報および地図情報に対応するウインドウである点と、外部通信部３７０が検知した位置を位置情報３５２として記憶する点において、画像処理装置３０１の処理は画像処理装置１の処理と異なる。
【００５０】
なお、画像処理装置３０１でも画像処理装置１と同様に、処理機構が独立している処理を並行して実行し、処理サイクルを高速化することが好ましい。さらに、位置情報３５２が記憶する時系列の位置情報等をもとに以降の位置を予測し、ステップＳ３０２の位置情報受信を適宜スキップして処理サイクルの高速化をはかってもよい。なお、ステップＳ３０６の撮像処理は、ステップＳ３０２またはステップＳ３０４の直前で行うようにしてもよい。
【００５１】
つぎに、図１７に示したステップＳ３０４のウインドウ切換処理の一例について説明する。図１８は、ウインドウ切換処理の処理手順の一例を示すフローチャートである。図１８に示すように、ウインドウ切換部３３１は、外部通信部３７０から位置情報を取得し（ステップＳ３２２）、取得した位置情報をもとに地図情報３５３を参照し（ステップＳ３２４）、自車両が自動車専用道路を走行しているか否かを判断する（ステップＳ３２６）。ウインドウ切換部３３１は、自車両が自動車専用道路を走行していると判断した場合（ステップＳ３２６：Ｙｅｓ）、ウインドウ情報３５１から専用道路用ウインドウを選択し（ステップＳ３２８）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ３３０）、ステップＳ３０４にリターンする。一方、ウインドウ切換部３３１は、自車両が自動車専用道路を走行していないと判断した場合（ステップＳ３２６：Ｎｏ）、標準ウインドウを選択し（ステップＳ３３２）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ３３４）、ステップＳ３０４にリターンする。
【００５２】
ここで、ウインドウ切換部３３１が選択するウインドウの一例について説明する。図１９は、専用道路用ウインドウの一例を示す図である。図１９に示す専用道路用ウインドウ３５１ａは、撮像範囲１７の中央部に設けた複数の小ウインドウで構成されるウインドウである。この専用道路用ウインドウ３５１ａは、撮像視野内の中央部に位置する物体を画像上で選択的に捕捉することができ、さらに、この捕捉した範囲の画像情報から所定の割合で画像情報を抽出することができる。この結果、この専用道路用ウインドウ３５１ａは、自動車専用道路上を走行する際に重要な道路上の画像情報を、適当な画像分解能で抽出することができる。一方、図２０は、標準ウインドウの一例を示す図である。図２０に示す標準ウインドウ３５１ｂは、撮像範囲１７の略全域に対応する。この標準ウインドウ３５１ｂは、道路上に限らず撮像視野内の略全域に位置する物体を画像上で捕捉する。
【００５３】
なお、専用道路用ウインドウのパターンは、様々に設定することができる。たとえば、図１９に示す専用道路用ウインドウ３５１ａのスリットパターンを一層細く多数のスリットを含むスリットパターンとしてもよく、あるいは四角形の微小なウインドウをランダムに複数配置したドットパターンとしてもよく、これら以外にも種々のパターンが適用可能である。なお、ドットパターンのドットの形状は、四角形に限らず任意の多角形または円形もしくは楕円形にしてもよい。
【００５４】
つぎに、図１７に示したステップＳ３０４のウインドウ切換処理の別の一例について説明する。図２１は、走行する道路の路面勾配の傾向をもとにウインドウを選択する処理を含んだウインドウ切換処理の処理手順を示すフローチャートである。図２１に示すように、ウインドウ切換部３３１は、外部通信部３７０からの位置情報を取得し（ステップＳ３４２）、取得した位置情報をもとに地図情報３５３を参照し（ステップＳ３４４）、自車両が走行する路面が凹曲面か、凸曲面か、あるいは平坦面かを判断する（ステップＳ３４６）。ウインドウ切換部３３１は、自車両が走行する路面が凹曲面と判断した場合（ステップＳ３４６：凹曲面）、ウインドウ情報３５１から凹曲面用ウインドウを選択し（ステップＳ３４８）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ３５０）、ステップＳ３０４にリターンする。一方、ウインドウ切換部３３１は、路面が凸曲面と判断した場合（ステップＳ３４６：凸曲面）、凸曲面用ウインドウを選択し（ステップＳ３５２）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ３５４）、ステップＳ３０４にリターンする。他方、ウインドウ切換部３３１は、路面が平坦面と判断した場合（ステップＳ３４６：平坦面）、標準ウインドウを選択し（ステップＳ３５６）、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力し（ステップＳ３５８）、ステップＳ３０４にリターンする。
【００５５】
なお、路面が凹曲面であるとは、路面勾配が仰角方向に増加する傾向であることを意味し、たとえば、平坦路面から上り坂にかわる路面、下り坂から平坦路面にかわる路面が適合する。一方、路面が凸曲面とは、路面勾配が俯角方向に増加する傾向にあることを意味し、たとえば、平坦路面から下り坂にかわる路面、上り坂から平坦路面にかわる路面が適合する。
【００５６】
ここで、路面勾配の傾向をもとにウインドウ切換部３３１が選択するウインドウの一例について説明する。図２２は、凹曲面用ウインドウの一例を示す図である。図２２に示す凹曲面用ウインドウ３５１ｃは、撮像範囲１７の上半分の略全域に対応する。この凹曲面用ウインドウ３５１ｃは、撮像視野内の上側に位置する物体を画像上で選択的に捕捉することができ、この結果、凹曲面である路面を進行する際に重要な前方上側の画像情報を抽出することができる。一方、図２２は、凸曲面用ウインドウの一例を示す図である。図２３に示す凸曲面用ウインドウ３５１ｄは、撮像範囲１７の下半分の略全域に対応する。この凸曲面用ウインドウ３５１ｄは、撮像視野内の下側に位置する物体を画像上で選択的に捕捉し、前方下側の画像情報を抽出することができる。なお、平坦面である場合に選択する標準ウインドウは、図２０に示す標準ウインドウ３５１ｂと同一である。
【００５７】
ところで、図１８および図２１に示すフローチャートでは、地図情報として自車両が走行する道路の種別あるいは路面勾配の傾向をもとにウインドウを選択するようにしたが、たとえば、走行する道路もしくは車線の幅の大小、現在位置がトンネル内か否か、現在位置が市街地か否か等、様々な地図情報をもとに各種のウインドウを選択するようにしてもよい。
【００５８】
以上説明したこの実施の形態３にかかる画像処理装置３０１は、自車両の位置情報と、この位置情報をもとに参照した地図情報とをもとに画像処理範囲を選択し、この選択した画像処理範囲に対応する画像信号群に基づいて距離演算を行うため、画像信号群のすべての画像信号に対して距離演算を行う従来の画像処理装置と比べ、距離演算の処理の負荷を軽減し、距離演算に要する時間を短縮することができる。この結果、画像処理装置３０１は、画像を取得してから距離情報を出力するまでに要する処理時間を短縮し、高速に距離情報を出力することができる。
【００５９】
（実施の形態４）
つぎに、本発明の実施の形態４について説明する。この実施の形態４にかかる画像処理装置は、上述した実施の形態１〜３にかかる画像処理装置１，２０１，３０１がそれぞれ備えた速度センサ６１、操舵角センサ２６１および外部通信部３７０をすべて備え、自車両の移動情報を多角的に検知し、検知した移動情報に適合するウインドウを選択するようにしている。
【００６０】
図２４は、本発明の実施の形態４にかかる画像処理装置の構成を示すブロック図である。図２４に示す画像処理装置４０１は、上述した実施の形態３にかかる画像処理装置３０１においてさらに探知部４６０を備え、探知部４６０は、速度センサ６１および操舵角センサ２６１を備える。また、画像処理装置４０１は、制御部３３０に代えて制御部４３０を備え、制御部４３０は、ウインドウ切換部４３１を備える。さらに、画像処理装置４０１は、記憶部３５０に代えて記憶部４５０を備え、記憶部４５０は、ウインドウ切換部４３１が選択する複数のウインドウ情報を格納したウインドウ情報４５１と、探知部４６０が探知した探知情報４５２とを記憶するとともに、記憶部３５０と同様に画像情報５３、距離情報５４、位置情報３５２および地図情報３５３を記憶する。その他の構成は実施の形態３と同じであり、同一構成部分には同一符号を付している。
【００６１】
画像処理装置４０１では、ウインドウ切換部４３１が、速度センサ６１が検出した速度と、操舵角センサ２６１が検出した操舵角と、外部通信部３７０が受信した位置情報に基づく地図情報とを、個別あるいは総合的に判断し、この判断結果に適合するウインドウをウインドウ情報４５１から選択し、この選択したウインドウに切り換える指示情報をウインドウ情報とともに画像処理部２０に出力する。その後、演算部２１が、上述した実施の形態１〜３と同様に、選択したウインドウに対応する画像信号群に基づいて物体までの距離演算を行い、距離情報を作成し、出力する。なお、ウインドウ切換部４３１は、探知部４６０もしくは外部通信部３７０から取得する各種移動情報の可能な１以上の組み合わせをモードとして認識し、自車両の搭乗者等が指定したモードについて自車両の状態を判断するようにしてもよい。また、ウインドウ切換部４３１は、探知情報４５２および位置情報３５２が記憶する時系列の移動情報をもとに以降の自車両の状態を予測してもよい。
【００６２】
以上説明したこの実施の形態４にかかる画像処理装置４０１は、自車両の種々の移動情報を個別あるいは総合的に判断した結果をもとに画像処理範囲を選択し、この選択した画像処理範囲に対応する画像信号群に基づいて距離演算を行うため、画像信号群のすべての画像信号に対して距離演算を行う従来の画像処理装置と比べ、距離演算の処理の負荷を軽減し、距離演算に要する時間を短縮することができる。この結果、画像処理装置４０１は、画像を取得してから距離情報を出力するまでに要する処理時間を短縮し、高速に距離情報を出力することができる。
【００６３】
（実施の形態５）
つぎに、本発明の実施の形態５について説明する。上述した実施の形態１〜４では、撮像部１０からの画像信号群を処理して撮像した物体までの距離を検出するようにしていたが、この実施の形態５では、撮像視野内に位置する物体までの距離をレーダで検出するようにしている。
【００６４】
図２５は、本発明の実施の形態５にかかる画像処理装置の構成を示すブロック図である。図２５に示す画像処理装置５０１は、上述した実施の形態４にかかる画像処理装置４０１にさらにレーダ５８０を備え、また、制御部４３０に代えて、さらにレーダ５８０を制御する機能を有した制御部５３０を備える。その他の構成は実施の形態４と同じであり、同一構成部分には同一符号を付している。
【００６５】
レーダ５８０は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信し、発信状態および受信状態をもとに、レーダ５８０から発信波を反射した物体までの距離と、その物体が位置する方向とを検出する。レーダ５８０は、発信波の発信角度、反射波の入射角度、反射波の受信強度、発信波を発信してから反射波を受信するまでの時間、受信波および反射波における周波数変化をもとに、発信波を反射した物体までの距離および方向を検出する。レーダ５８０は、撮像部１０の撮像視野内に位置する物体までの距離を、その物体が位置する方向とともに制御部５３０に出力する。レーダ５８０は、送信波として、たとえば、レーザ光、赤外光、ミリ波、マイクロ波、超音波などを送信する。
【００６６】
この実施の形態５にかかる画像処理装置５０１では、撮像部１０からの画像情報を処理して距離を演算する代わりにレーダ５８０により距離を検出するため、一層高速かつ高精度に距離情報を取得できる。
【００６７】
なお、画像処理装置５０１では、撮像部１０によって撮像された画像信号群における位置関係とレーダ５８０の検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、画像処理装置５０１は、形状が既知の物体に対して、撮像部１０による撮像処理およびレーダ５８０による検出処理を行い、撮像部１０およびレーダ５８０のそれぞれによって処理した既知の物体の位置を求める。その後、画像処理装置５０１は、最小２乗法などを用いて、撮像部１０およびレーダ５８０のそれぞれによって処理した既知の物体の位置の関係を求め、撮像部１０によって撮像された画像信号群における位置関係とレーダ５８０の検出範囲における位置関係とを整合する。
【００６８】
また、画像処理装置５０１では、撮像部１０の撮像原点とレーダ５８０の検出原点とがずれている場合があっても、撮像点および検出点から画像処理装置５０１までの距離が十分に離れた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部１０によって撮像された画像信号群における位置関係とレーダ５８０の検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。
【００６９】
なお、画像処理装置５０１では、撮像部１０によって撮像された画像信号群の各画像信号が位置する画素行に、レーダ５８０の各レーダ検出点が所定間隔で位置するように設定するとよい。また、このように各レーダ検出点が設定されない場合、各画像信号の近傍に位置する複数のレーダ検出点をもとに、一次補間法などを用いて各画像信号と同一画素行にレーダ検出点の補間点を求め、この補間点を用いて検出処理を行うようにすればよい。
【００７０】
（実施の形態６）
つぎに、本発明の実施の形態６について説明する。上述した実施の形態１〜５では、右カメラ１１ａおよび左カメラ１１ｂの２台のカメラによってステレオ画像を撮像していたが、この実施の形態６では、一対の導光光学系と、各導光光学系に対応する撮像領域を有し、各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子によってステレオ画像を撮像するようにしている。
【００７１】
図２６は、本発明の実施の形態６にかかる画像処理装置の一部構成を示すブロック図である。図２６に示す撮像部１１０は、上述した実施の形態１〜５にかかる画像処理装置における撮像部１０に代わり、この実施の形態６にかかる画像処理装置が備える撮像部である。図２６に示す以外の画像処理装置の構成は、上述した実施の形態１〜５のいずれかと同じである。
【００７２】
撮像部１１０は、撮像部１０の右カメラ１１ａあるいは左カメラ１１ｂと同様の構成および機能を有した撮像装置としてのカメラ１１１を備える。カメラ１１１は、レンズ１１２と、撮像素子１１３と、Ａ／Ｄ変換部１１４と、フレームメモリ１１５とを備える。さらに、撮像部１１０は、カメラ１１１の前方に、ミラー１１９ａ〜１１９ｄによって構成された一対の導光光学系としてのステレオアダプタ１１９を備える。ステレオアダプタ１１９は、図２６に示すように、ミラー１１９ａ，１１９ｂを組として反射面を略平行に対向して備え、ミラー１１９ｃ，１１９ｄを別の組として反射面を略平行に対向して備える。ステレオアダプタ１１９は、この２組の一対のミラー系を、レンズ１１２の光軸を基準に左右対称に隣接して備える。
【００７３】
撮像部１１０は、撮像視野内に位置する物体からの光をステレオアダプタ１１９の左右２組のミラー系で受光し、撮像光学系としてのレンズ１１２で集光し、撮像素子１１３で撮像する。このとき、図２７に示すように、撮像素子１１３は、ミラー１１９ａ，１１９ｂによる右の組のミラー系を介した右画像１１６ａと、ミラー１１９ｃ，１１９ｄによる左の組のミラー系を介した左画像１１６ｂとを、左右にずらした全く重ならない撮像領域で撮像する。なお、このようなステレオアダプタを用いた技術は、たとえば、特許文献２に開示されている。
【００７４】
この実施の形態６にかかる撮像部１１０では、ステレオアダプタを備えた１台のカメラでステレオ画像を撮像するため、２台のカメラでステレオ画像を撮像する場合に比べ、撮像部を簡易化してコンパクトにできるとともに、機械的強度を増強し、左右の画像を相対的に常に安定した状態で撮像することができる。さらに、左右の画像を、共通のレンズおよび撮像素子を使用して撮像するため、固体差に起因するばらつきを抑え、キャリブレーションの手間や、位置合わせ等の組み立ての煩雑さを軽減できる。
【００７５】
なお、ステレオアダプタの構成として、図２６では、平面鏡を略平行に対向して組み合わせた例を示したが、さらにレンズ群を組み合わせて構成してもよく、また、凸面鏡や凹面鏡等、曲率を有した反射鏡を組み合わせて構成してもよく、反射鏡の代わりにプリズムで反射面を構成してもよい。
【００７６】
また、図２７に示すように、この実施の形態６では、左右の画像を全く重ならないように撮像したが、左右の画像の一部ないし全部が重なるようにし、たとえば、受光部に設けたシャッター等により左右で受光する光を順次切り換えて撮像し、わずかな時間差をもって撮像した左右の画像をステレオ画像として画像処理に供してもよい。
【００７７】
さらに、この実施の形態６では、左右の画像を左右に位置をずらして撮像する構成としたが、たとえば、ステレオアダプタの平面鏡を略直行に組み合わせて構成し、左右の画像を上下に位置をずらして撮像するようにしてもよい。
【００７８】
ところで、以上の実施の形態１〜６では、自車両の移動情報として移動速度、移動方向もしくは位置情報を検知し、ウインドウを選択するようにしたが、移動加速度、移動方位等を検出し、ウインドウを選択するようにしてもよい。また、自車両の運転者の顔の向きや視線を検知し、ウインドウを選択するようにしてもよい。
【００７９】
さらに、実施の形態１〜５における撮像部１０、あるいは実施の形態６における撮像部１１０の構成について、一対のカメラあるいはステレオアダプタの受光部が、左右に並んで配置されるとして説明したが、上下に並んで配置される構成としてもよく、また、斜め方向に並んで配置される構成としてもよい。
【００８０】
また、撮像部のステレオカメラとして、いわゆる３眼ステレオカメラ、あるいは４眼ステレオカメラを構成してもよい。３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等を参照）。特に、複数のカメラを２方向の基線長を持つように配置すると、より複雑なシーンで３次元再構成が可能になることが知られている。また、１つの基線長方向にカメラを複数台配置すると、いわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度なステレオ計測が可能となる。
【００８１】
一方、撮像部のカメラとして、複眼であるステレオカメラの代わりに単眼のカメラを用いてもよい。その場合には、演算部２１において、たとえば、シェイプフロムフォーカス（shape from focus）法、シェイプフロムデフォーカス（shape from defocus）法、シェイプフロムモーション（shape from motion）法、シェイプフロムシェーディング（shape from shading）法等の３次元再構成技術を適用することにより、撮像視野内にある物体までの距離を演算することができる。ここで、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なボケ量を求め、ボケ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。
【００８２】
また、上述の実施の形態１〜６では、自動車等の車両に搭載される画像処理装置について説明したが、他の移動体に搭載して適用することもできる。さらに、画像処理装置全体が移動体に搭載されなくてもよく、たとえば、撮像部および出力部が移動体に搭載され、その他の構成部位が移動体の外に構成され、これらの間を無線通信で接続してもよい。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図２】図１に示す画像処理装置において距離情報を出力するまでの処理手順を示すフローチャートである。
【図３】図２に示すウインドウ切換処理の処理手順を示すフローチャートである。
【図４】図３のウインドウ切換処理で選択される低速用ウインドウの一例を示す図である。
【図５】図３のウインドウ切換処理で選択される高速用ウインドウの一例を示す図である。
【図６】撮像した画像に低速用ウインドウを重ね合わせた状態を示す図である。
【図７】撮像した画像に高速用ウインドウを重ね合わせた状態を示す図である。
【図８】演算部が作成する距離情報の一例を示す図である。
【図９】演算部が作成する距離情報の一例を示す図である。
【図１０】本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。
【図１１】図１０に示す画像処理装置において距離情報を出力するまでの処理手順を示すフローチャートである。
【図１２】図１１に示すウインドウ切換処理の処理手順を示すフローチャートである。
【図１３】図１２のウインドウ切換処理で選択される右用ウインドウの一例を示す図である。
【図１４】図１２のウインドウ切換処理で選択される左用ウインドウの一例を示す図である。
【図１５】図１２のウインドウ切換処理で選択される直進用ウインドウの一例を示す図である。
【図１６】本発明の実施の形態３にかかる画像処理装置の構成を示すブロック図である。
【図１７】図１６に示す画像処理装置において距離情報を出力するまでの処理手順を示すフローチャートである。
【図１８】図１７に示すウインドウ切換処理において走行する道路種別をもとにウインドウを選択する処理を含む処理手順を示すフローチャートである。
【図１９】図１８のウインドウ切換処理で選択される専用道路用ウインドウの一例を示す図である。
【図２０】図１８のウインドウ切換処理で選択される標準ウインドウの一例を示す図である。
【図２１】図１７に示すウインドウ切換処理において走行する道路勾配の傾向をもとにウインドウを選択する処理を含む処理手順を示すフローチャートである。
【図２２】図２１のウインドウ切換処理で選択される凹曲面用ウインドウの一例を示す図である。
【図２３】図２１のウインドウ切換処理で選択される凸曲面用ウインドウの一例を示す図である。
【図２４】本発明の実施の形態４にかかる画像処理装置の構成を示すブロック図である。
【図２５】本発明の実施の形態５にかかる画像処理装置の構成を示すブロック図である。
【図２６】本発明の実施の形態６にかかる画像処理装置の一部構成を示すブロック図である。
【図２７】図２６に示す撮像部が撮像する画像の一例を示す図である。
【符号の説明】
【００８４】
１    画像処理装置
１０    撮像部
１１ａ    右カメラ
１１ｂ    左カメラ
１２ａ，１２ｂ    レンズ
１３ａ，１３ｂ    撮像素子
１４ａ，１４ｂ    Ａ／Ｄ変換部
１５ａ，１５ｂ    フレームメモリ
１７    撮像範囲
１８ａ，１８ｂ    画像
２０    画像処理部
２１    演算部
３０    制御部
３１    ウインドウ切換部
４０    出力部
５０    記憶部
５１ａ    低速用ウインドウ
５１ｂ    高速用ウインドウ
５４ａ，５４ｂ    距離情報
６０    探知部
６１    速度センサ
１１０    撮像部
１１１    カメラ
１１２    レンズ
１１３    撮像素子
１１４    Ａ／Ｄ変換部
１１５    フレームメモリ
１１６    画像
１１９    ステレオアダプタ
１１９ａ，１１９ｂ，１１９ｃ，１１９ｄ    ミラー
２５１ａ    右用ウインドウ
２５１ｂ    左用ウインドウ
２５１ｃ    直進用ウインドウ
２６０    探知部
２６１    操舵角センサ
３５１ａ    専用道路用ウインドウ
３５１ｂ    標準ウインドウ
３５１ｃ    凹曲面用ウインドウ
３５１ｄ    凸曲面用ウインドウ
３７０    外部通信部
５８０    レーダ
Ｃ，Ｃ１，Ｃ２    車両
【図１】
2006322797.tif 000003
【図２】
2006322797.tif 000004
【図３】
2006322797.tif 000005
【図４】
2006322797.tif 000006
【図５】
2006322797.tif 000007
【図６】
2006322797.tif 000008
【図７】
2006322797.tif 000009
【図８】
2006322797.tif 000010
【図９】
2006322797.tif 000011
【図１０】
2006322797.tif 000012
【図１１】
2006322797.tif 000013
【図１２】
2006322797.tif 000014
【図１３】
2006322797.tif 000015
【図１４】
2006322797.tif 000016
【図１５】
2006322797.tif 000017
【図１６】
2006322797.tif 000018
【図１７】
2006322797.tif 000019
【図１８】
2006322797.tif 000020
【図１９】
2006322797.tif 000021
【図２０】
2006322797.tif 000022
【図２１】
2006322797.tif 000023
【図２２】
2006322797.tif 000024
【図２３】
2006322797.tif 000025
【図２４】
2006322797.tif 000026
【図２５】
2006322797.tif 000027
【図２６】
2006322797.tif 000028
【図２７】
2006322797.tif 000029