(57)【特許請求の範囲】
【請求項１】
複数の撮像手段と、撮像した画像を補正する画像補正部と、左右の画素のずれ量である視差を算出する視差算出部と、撮像した画像と算出した視差の両方あるいはいずれかを用いて画像認識処理を行う画像認識部とを有するステレオカメラ装置であって、
処理する画像領域と画像の縮小率を、前記ステレオカメラ装置を搭載する車両の走行環境に応じて異なるように決定する処理領域決定部を備え、
前記処理領域決定部は、前記車両の走行環境として、ハンドル角及び車速から自車の旋回半径を求め、求められた前記旋回半径に基づいて処理する画像領域を決定し、前記車両の走行環境として、車速に応じて、縮小率を決定し、
前記処理領域決定部により決定された画像領域と縮小率とからなる処理領域を用いて、前記画像補正部は画像を補正し、前記視差算出部は視差を算出し、前記画像認識部は画像認識処理を行うことを特徴とするステレオカメラ装置。
【請求項２】
請求項１記載のステレオカメラ装置において、
前記処理領域決定部が決定した処理領域の画素のデータのみを、前記撮像手段から前記画像補整部に転送することを特徴とするステレオカメラ装置。
【請求項３】
請求項１記載のステレオカメラ装置において、
前記処理領域決定部は、前記複数の撮像手段について、撮像手段毎に異なった処理領域を決定することを特徴とするステレオカメラ装置。
【請求項４】
請求項１記載のステレオカメラ装置において、
前記処理領域決定部は、前記画像認識部の画像認識結果に基づいて処理領域を決定することを特徴とするステレオカメラ装置。
【請求項５】
請求項１記載のステレオカメラ装置において、
前記複数の撮像手段は、車両の右側に位置する右カメラと、車両の左側に位置する左カメラとからなり、
前記処理領域決定部は、前記右カメラのウィンドウ位置よりも、前記左カメラのウィンドウ位置を右にずらすことを特徴とするステレオカメラ装置。
【請求項６】
請求項１記載のステレオカメラ装置において、
前記処理領域決定部は、複数の画像領域を設定することを特徴とするステレオカメラ装置。
【請求項７】
請求項６記載のステレオカメラ装置において、
前記処理領域決定部は、前記複数の画像領域に対して、異なった縮小率を設定することを特徴とするステレオカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラ装置に係り、特に、高解像度の撮像素子を用いるに好適なステレオカメラ装置に関する。
【背景技術】
【０００２】
近年、ステレオカメラを用いて歩行者や車両などの障害物を検出する障害物検出装置が実用化されている。この装置は、同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を、テンプレートマッチングにより算出する。このとき、算出した視差をもとに対象物の実空間上の位置を、周知の変換式により算出できる。
【０００３】
このステレオカメラは、２台の撮像手段により写し出した一対の画像を用いて、対象物の距離を算出し、対象物の認識を行なうステレオカメラ装置が、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用され始めている。
【０００４】
監視システムや車載システムで利用されるステレオ画像処理は、位置間隔をあけて撮像された一対の撮像画像に対して三角測量技術を適用して距離を求めるというものであり、このステレオ画像処理装置は、一対の撮像手段と、これらの撮像手段が出力する一対の撮像画像に対して三角測量処理を適用するステレオ画像処理ＬＳＩと、を備えているのが一般的である。このステレオ画像処理ＬＳＩ は、一対の画像に含まれる画素情報を重ね合わせて２つの画像の一致した位置のずれ量（視差）を求めるという処理を行なうことによって、三角測量処理を実現する。そのため、一対の画像間には視差以外のずれが存在しないことが理想的であり、各々の撮像手段ごとに、光学特性や信号特性のずれがないよう調整するか、カメラ間の位置関係などを求めておく必要がある。
【０００５】
車載環境においては、たとえば前方車両や人間、障害物などの検知を行ない、事前に安全に対処する、といったアプリケーション要求があるために、遠距離対象物の距離計測、認識を実現する必要がある。
【０００６】
三角測量処理により算出される計測距離Ｚは、視差δ、焦点距離ｆ、基線長ｂから、
Ｚ＝ｂ・ｆ／δ
として算出される。ここで、距離を求めるとき、遠ければ遠いほど視差δは小さくなる。そのため、遠くの物体ほど視差を１画素分誤って算出した際の影響が大きく精度が低下する。つまり遠くの精度を上げるためには、高解像度の撮像素子を用いることで求める視差の分解能を上げることが重要である。
【０００７】
しかし、高解像度の撮像素子を用いると、画像処理の負荷が増大する。画像処理の負荷を抑制する方法として、カメラから記憶手段に取り込まれた画像データのうち、所定の領域のみを処理するものが知られている（例えば、特許文献１参照）。
【０００８】
【特許文献１】特許第３０１８９２０号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１記載のものは、画像領域（以下、ウィンドウ）を固定サイズとして処理領域を決めているため、常に撮像画像のうち一定の割合の領域のみしか処理することができない。障害物の検出に当たっては、高速走行時は遠方の障害物の検出が重要であり、また、低速走行時は近距離の障害物の検出が必要であるが、このような速度などの走行環境によらず一定のウィンドウを用いた場合には、処理領域に対象となる障害物が含まれず、障害物を検出できない場合がある。
【００１０】
本発明の目的は、走行環境に応じた障害物の検出可能であるとともに、画像処理の負荷も抑制できるステレオカメラ装置を提供することにある。
【課題を解決するための手段】
【００１１】
（１）上記目的を達成するために、本発明は、複数の撮像手段と、撮像した画像を補正する画像補正部と、左右の画素のずれ量である視差を算出する視差算出部と、撮像した画像と算出した視差の両方あるいはいずれかを用いて画像認識処理を行う画像認識部とを有するステレオカメラ装置であって、処理する画像領域と縮小率を、前記ステレオカメラ装置を搭載する車両の走行環境に応じて異なるように決定する処理領域決定部を備え、前記処理領域決定部は、前記車両の走行環境として、ハンドル角及び車速から自車の旋回半径を求め、求められた前記旋回半径に基づいて処理する画像領域を決定し、前記車両の走行環境として、車速に応じて、縮小率を決定し、前記処理領域決定部により決定された画像領域と縮小率を用いて、前記画像補正部は画像を補正し、前記視差算出部は視差を算出し、前記画像認識部は画像認識処理を行うようにしたものである。 
かかる構成により、走行環境に応じた障害物の検出可能であるとともに、画像処理の負荷も抑制できるものとなる。
【００１３】
（２）上記（１）において、好ましくは、前記処理領域決定部が決定した処理領域の画素のデータのみを、前記撮像手段から前記画像補整部に転送するようにしたものである。
【００１４】
（３）上記（１）において、好ましくは、前記処理領域決定部は、前記複数の撮像手段について、撮像手段毎に異なった処理領域を決定するようにしたものである。
【００１５】
（４）上記（１）において、好ましくは、前記処理領域決定部は、前記画像認識部の画像認識結果に基づいて処理領域を決定するようにしたものである。
【００１６】
（５）上記（１）において、好ましくは、前記複数の撮像手段は、車両の右側に位置する右カメラと、車両の左側に位置する左カメラとからなり、前記処理領域決定部は、前記右カメラのウィンドウ位置よりも、前記左カメラのウィンドウ位置を右にずらすようにしたものである。
【００１７】
（６）上記（１）において、好ましくは、前記処理領域決定部は、複数の画像領域を設定するようにしたものである。
【００１８】
（７）上記（６）において、好ましくは、前記処理領域決定部は、前記複数の画像領域に対して、異なった縮小率を設定するようにしたものである。
【発明の効果】
【００１９】
本発明によれば、走行環境に応じた障害物の検出が可能であるとともに、画像処理の負荷も抑制できるものとなる。
【発明を実施するための最良の形態】
【００２０】
以下、図１〜図１０を用いて、本発明の一実施形態によるステレオカメラ装置の構成及び動作について説明する。  
最初に、図１を用いて、本実施形態によるステレオカメラ装置を用いる車載システムの構成について説明する。  
図１は、本発明の一実施形態によるステレオカメラ装置を用いる車載システムの構成を示すシステムブロック図である。
【００２１】
本実施形態の車載システムは、車載カメラユニット１と、コントロールユニット２とから構成される。車載カメラユニット１が本実施形態のステレオカメラ装置である。車載カメラユニット１は、車載カメラ（撮像手段）４ａ，４ｂにより、車載カメラユニット１を搭載した車両（自車両）の周囲の環境を認識する。車載カメラ（撮像手段）４ａ，４ｂは、例えば、数百万画素の高解像度のＣＣＤ素子である。なお、従来のステレオカメラでは、３０万画素程度の低解像度の撮像素子を用いている。このとき、車載カメラは３つ以上備えていてもよいものである。
【００２２】
コントロールユニット２は、車載カメラユニット１によって認識された周囲環境から、障害物を検出し、乗員に危険を報知したり、危険を回避するように車両を制御する。
【００２３】
車載カメラユニット１は、自車両前方の画像を撮像し水平方向に平行に並べて取付けられている車載カメラ４ａおよび４ｂと、これらの車載カメラの画像を処理するための画像処理ＬＳＩ５と、ＣＰＵ６と、画像処理ＬＳＩ用のＲＡＭ８と、ＣＰＵ用のＲＡＭ９と、プログラムＲＯＭ１０と、データＲＯＭ７から構成されている。
【００２４】
また、コントロールユニット２は、ＣＰＵ１２と、ＲＡＭ１１と、プログラムＲＯＭ１４と、データＲＯＭ１３とが、バスを介して接続された構成である。ＣＰＵ６がプログラムＲＯＭ４に格納された各種制御プログラムを実行することで、システム全体の動作を制御するようになっている。
【００２５】
車載カメラユニット１には、プログラムＲＯＭ１０に障害物を検知する障害物検知プログラムが格納されており、ＣＰＵ６がこれらのプログラムを実行することで、障害物検知機能が実現される。
【００２６】
さらに、車載システムでは、車載カメラユニット１とコントロールユニット２が接続されており、さらに車室内に設置されて各種画像および各種情報を表示するためのディスプレイ１５が接続されている。コントロールユニット２には、自車が障害物に衝突する危険性がある際に警告音声を発生するスピーカー１９と、車速センサ１７と、ハンドル角センサ１６と、車両が後退時にＯＮとなるリバーススイッチ１８と、エンジンを始動する際にＯＮとなるイグニッションスイッチ２０と、障害物検知起動スイッチ２１が接続されている。コントロールユニット２は、ディスプレイ１５の表示制御をはじめとして、当該車載システム全体の動作を制御する。
【００２７】
車載カメラユニット１は、例えば自車室内のルームミラー部に取付けられて、自車両前方の様子を所定の俯角、取付け位置で撮像するようになっている。車載カメラ４ａおよび車載カメラ４ｂにより撮像された自車両前方の画像（ステレオ画像）は、車載カメラユニット１内部の画像処理ＬＳＩ５やＣＰＵ６などに供給され、画像認識される。
【００２８】
コントロールユニット２は、車載カメラユニット１によって認識された障害物の位置や相対速度などの情報に基づいて、自車が障害物に衝突する危険性があると判断した場合には、ディスプレイ１５とスピーカー１９、またはディスプレイ１５あるいはスピーカー１９のいずれかにより運転者に報知する。あるいは衝突しないようにしたり、衝突の衝撃を和らげるように、ブレーキ操作や、ステアリング操作を行って、車両をコントロールするようにしてもよいものである。
【００２９】
ディスプレイ１５は、例えばＬＣＤ（Liquid Crystal Display）等の表示機器よりなる。ディスプレイ１５は、コントロールユニット２によって表示制御され、例えば図示しないナビゲーションによる走行経路案内の画像や、車載カメラユニット１の画像等の各種画像を表示する。また、このディスプレイ１５には、コントロールユニット２が障害物を検出したときに、コントロールユニット２による制御のもとで、障害物が存在する旨を報知するメッセージを表示する。
【００３０】
障害物検知起動スイッチ２１は、運転者がＯＮ／ＯＦＦ可能なスイッチである。障害物検知起動スイッチ２１がＯＮされると、コントロールユニット２の制御の基、車載カメラユニット１は、障害物の検出を開始する。運転者は、例えば、長距離走行をする場合など障害津物を認識する注意力が低下する恐れがある場合や、夜間走行をする場合など障害物を認識しにくい場合等において、障害物検知起動スイッチ２１をＯＮすることができる。なお、障害物検知起動スイッチ２１を設けずに、車載カメラユニット１が、常に、障害物の検出制御を実行するようにしてもよいものである。
【００３１】
次に、図２〜図４を用いて、本実施形態によるステレオカメラ装置の動作について説明する。  
図２は、本発明の一実施形態によるステレオカメラ装置の構成を示す機能ブロック図である。図３は、本発明の一実施形態によるステレオカメラ装置の処理領域決定部にて用いるウィンドウの説明図である。図４は、本発明の一実施形態によるステレオカメラ装置の処理領域決定部が決定した縮小率に基づく、縮小処理の一例の説明図である。
【００３２】
車載カメラユニット１の画像処理ＬＳＩ５及びＣＰＵ６は、機能的には、処理領域決定部３０と、画像補正部３１と、視差算出部３２と、画像認識部３３とから構成される。
【００３３】
処理領域決定部３０は、車速センサ１７からの車速情報や、ハンドル角センサ１６からのハンドル角度情報や、リバーススイッチ１８のＯＮ／ＯＦＦ情報に基づき、カメラ４ａ，４ｂから取り込む画素の領域（処理領域）を選択する。
【００３４】
このとき、処理領域決定部３０で決定する処理領域の情報として、図３に示すように、左右独立にそれぞれウィンドウを設定でき、そのウィンドウは右画像のウィンドウ開始位置（ｓｘＲ、ｓｙＲ）とウィンドウサイズ（ｈＲ、ｗＲ）および左画像のウィンドウ開始位置（ｓｘＬ、ｓｙＬ）とウィンドウサイズ（ｈＬ、ｗＬ）により指定する。
【００３５】
また、処理領域決定部３０は、画素を縮小する比率である縮小率についても左右独立に設定できる。縮小処理は、図４に示す例のように、縮小率１／２の場合は１画素置きに画素を転送する。縮小率１の場合は、縮小せず全画素を、１／３の場合は２画素置きに画素を転送することになる。縮小率は、１／ｎと任意に設定可能である。
【００３６】
画像補正部３１は、処理領域決定部３０が決定した処理領域に基づいて車載カメラ４ａ，４ｂから取り込んだ画像を、予めキャリブレーションを行い作成したルックアップテーブルを用いてレンズ歪み、カメラの取付け位置、取付け角度の誤差などの各種誤差を補正する。
【００３７】
視差算出部３２は、画像補正部３１が出力した画像を用いて、左右いずれかの画像を基準とし、他方の画像上の対応点をテンプレートマッチングにより探索することで視差を求め、基準の画像の各画素に対応した視差マップを作成する。
【００３８】
画像認識部３３は、画像補正部３１の出力した画像と視差算出部３２が出力した視差マップの両方あるいはいずれかを用いて、画像を認識する。このとき、対象物までの距離も算出する。
【００３９】
以上のように構成される車載カメラユニット１は、上述したように、ＣＰＵ６がプログラムを実行することで、視差を求め、さらに障害物を認識するまでのステレオ画像処理を車載カメラユニット１内で行うことができる。そして、認識結果をコントロールユニット２に送信し、コントロールユニット２の制御のもとで衝突の危険があると判断した場合は、衝突を軽減、回避するための制御を行うか、あるいは警報音を発生させて、車両の乗員に報知するようにしている。
【００４０】
次に、図５〜図９を用いて、本実施形態によるステレオカメラ装置の動作について説明する。  
図５〜図９は、本発明の一実施形態によるステレオカメラ装置の動作を示すフローチャートである。
【００４１】
ここで、車載カメラユニット１における、画像認識までの一連の処理の流れをフローチャートを参照しながら説明する。
【００４２】
図４に示す一連の処理は、イグニッションスイッチ２０がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。自車両が走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像かその他の映像であるかに拘わらず実施される。
【００４３】
まず、イグニッションスイッチ２０がオンとなると、画像処理ＬＳＩ５の初期化処理などを実行する（ステップ１０１）。この初期化処理の中で処理領域初期化フラグについても、初期値としてＯＮに設定する。
【００４４】
次に、障害物検知起動スイッチ２１がＯＮか否かを判定する（ステップ１０２）。
【００４５】
障害物検知起動スイッチ２１がＯＮとなったときは、処理領域初期化フラグがＯＮか否かを判定し（ステップ１０３）、処理領域初期化フラグがＯＮの場合は処理領域を初期化する（ステップ１０９）。このとき、ウィンドウは撮像画像全域を含むように設定する。そして、初期化フラグをＯＦＦに設定する（ステップ１１０）。
【００４６】
そして、車載カメラ４ａと車載カメラ４ｂは自車前方の画像が撮像し、設定された処理領域に基づき、該当画素を車載カメラユニット１の画像処理ＬＳＩに転送する（ステップ１０４：画像転送処理）。
【００４７】
そして、画像処理ＬＳＩが画像の輝度値を補正するとともに、左右の画像の歪みなどをそれぞれ補正する（ステップ１０５：画像補正処理）。なお、画像補正処理は、図２にて説明した画像補正部３１にて実行され、その詳細については、図６を用いて後述する。
【００４８】
その後、画像処理ＬＳＩにより左右の画像のうち片方を基準の画像（基準画像）とし、他方を比較用の画像（比較画像）として、基準画像の各画素に対応する比較画像の画素を探索し、各画素の視差を求め視差マップを生成する（ステップ１０６：視差算出処理）。なお、視差算出処理は、図２にて説明した視差算出部３２にて実行され、その詳細については、図７を用いて後述する。
【００４９】
以上により求まった視差マップと基準画像を用いて障害物検知処理を行う（ステップ１０７：画像認識処理）。なお、画像認識処理は、図２にて説明した画像認識部３３にて実行され、その詳細については、図８を用いて後述する。
【００５０】
さらに、、車速とハンドル角の情報を基に次の処理領域を決定し設定する（ステップ１０８：処理領域決定処理）。なお、処理領域決定処理は、図２にて説明した処理領域決定部３０にて実行され、その詳細については、図９を用いて後述する。
【００５１】
以下、図６〜図９を用いて、ステップ１０５からステップ１０８の個々の処理について説明する。
【００５２】
図６に示すように、画像補正部３１は、補正対象の画素位置と、処理領域のウィンドウ位置およびサイズと、縮小率とから、撮像素子上での画素位置を算出し、補正データテーブルから補正データを取得する（ステップ２０１）。この際、補正データテーブルは予めキャリブレーション処理により求めデータＲＯＭ７に格納されており、図５のステップ１０１の初期化処理でＲＡＭ８上にロードされている。
【００５３】
次に、取得した補正データから補正後の画素位置を求め（ステップ２０２）、全画素を補正したか否かを判定し（ステップ２０３）、全画素を補正するまで処理を繰り返す。
【００５４】
次に、図７に示すように、視差算出部３２は、基準画像の視差算出対象画素とその近傍画素の輝度値を取得し（ステップ３０１）、その輝度値と比較画像の輝度値を比較する処理を水平方向に走査して行う（ステップ３０２）。このとき、車載カメラ４ａ、４ｂは水平方向に並べて平行に取付けられており、画像補正部で歪みや取付け誤差を補正しているため水平方向のみの走査で良い。そして、類似度が最大となった位置を視差として求める（ステップ３０３）。
【００５５】
次に、処理領域のウィンドウ位置と縮小率から視差を補正し（ステップ３０４）、基準画像の視差算出対象の画素をシフトする（ステップ３０５）。
【００５６】
最後に基準画像の全画素に対して視差を算出ずみか判定し（ステップ３０６）、算出済みでない場合は処理を繰り返す。
【００５７】
次に、図８に示すように、画像認識部３３は、視差マップおよび基準画像、あるいは視差マップと基準画像のいずれかを用いて対象物を検出する（ステップ４０１）。このとき、基準画像の画素位置から視差を用いて３次元位置を算出するためには撮像素子上での画素位置が必要であるため、処理領域のウィンドウ位置とサイズ、および縮小率を用いて処理する。
【００５８】
次に、検出した対象物の３次元位置を求め（ステップ４０２）、今回検出した対象物と前回検出した対象物を対応付ける（ステップ４０３）。そして対応付け結果と３次元位置とから相対速度を算出する（ステップ４０４）。
【００５９】
次に、図９に示すように、処理領域決定部３０では、まずリバーススイッチがＯＮか否かを判定し（ステップ５０１）、ＯＮの場合は処理領域初期化フラグをＯＮに設定して（ステップ５０３）、処理を抜ける。
【００６０】
次に、ハンドル角が閾値以上か判定する（ステップ５０２）。閾値以上であった場合は、処理領域初期化フラグにＯＮを設定（ステップ５０３）して、処理を抜ける。
【００６１】
ステップ５０２で閾値以下であった場合は、自車の車速がＶkm/h以上か判定し（ステップ５０４）、Ｖｋｍ／ｈ以下である場合は縮小率を１／ｎに設定し（ステップ５０５）、Ｖｋｍ／ｈ以下のときに用いる様に予め定められている画像縦方向のウィンドウ開始位置とウィンドウサイズを設定する（ステップ５０６）。その後、ハンドル角から画像横方向のウィンドウ開始位置をハンドル角に対して予め定義されている画像横方向のウィンドウ開始位置（ｓｘＲおよびｓｘＬ）を設定する（ステップ５０７）。
【００６２】
また、ステップ５０４で車速がＶｋｍ／ｈ以上であると判定された場合は、縮小率を１に設定し（ステップ５０８）、予めＶｋｍ／ｈ以上のときに用いる様に定められている画像縦方向のウィンドウ開始位置（ｓｙＲおよびｓｙＬ）とウィンドウサイズ（ｈＲ、ｗＲ、ｈＬ、ｗＬ）を設定する（ステップ５０９）。
【００６３】
その後、ハンドル角から画像横方向のウィンドウ開始位置をハンドル角に対して予め定義されている画像横方向のウィンドウ開始位置（ｓｘＲおよびｓｘＬ）を設定する（ステップ５１０）。
【００６４】
ここで、図１０を用いて、本実施形態によるステレオカメラ装置の処理領域決定部３０により設定されるウィンドウの例について説明する。  
図１０は、本発明の一実施形態によるステレオカメラ装置の処理領域決定部３０により設定されるウィンドウの例の説明図である。
【００６５】
図１０（Ａ）は、高速時（Ｖｋｍ／ｈ以上）の右画像の処理領域を示している。ウィンドウは、ウィンドウ開始位置（ｓｘＲ１、ｓｙＲ１）とウィンドウサイズ（ｈＲ１、ｗＲ１）により指定される。
【００６６】
図１０（Ｂ）は、低速時（Ｖｋｍ／ｈ以下）の右画像の処理領域を示している。ウィンドウは、ウィンドウ開始位置（ｓｘＲ２、ｓｙＲ２）とウィンドウサイズ（ｈＲ２、ｗＲ２）により指定される。
【００６７】
すなわち、図１０（Ａ）に示すように、高速時は、画面の中央付近の領域のみが処理領域として決定される。一方、低速時には、図１０（Ｂ）に示すように、画面の全域が処理領域として決定される。また、図１０（Ｂ）は、後退時や、右左折時の処理領域でもある。
【００６８】
高速時におけるウィンドウの領域は、低速時の全域に対して、１０〜２０％程度の領域としている。例えば、撮像素子の画素数が５００万画素の場合、ｘ方向の画素数は２５６０画素であり、ｙ方向の画素は１９２０画素である。そして、高速時のウィンドウの領域は、低速時の全域に対して、例えば、１／９（１１％）とする。
【００６９】
図１０（Ｂ）に示す低速時の処理領域は、ウィンドウ開始位置（ｓｘＲ２＝０、ｓｙＲ２＝０）とウィンドウサイズ（ｈＲ２＝１９２０、ｗＲ２＝２５６０）とすると、図１０（Ａ）に示す高速時の処理領域は、ウィンドウ開始位置（ｓｘＲ２＝８５３、ｓｙＲ２＝６４０）とウィンドウサイズ（ｈＲ２＝８５３、ｗＲ２＝６４０）とする。高速時のウィンドウ内の画素数は、８５３画素×６４０画素で、約５５万画素となる。一方、低速時のウィンドウ内の画素数は、５００万画素であるので、このままでは、転送し、また、画像処理するデータ量が多すぎるので、縮小する比率（１／ｎ）を、（１／３）とする。図４で説明した例では、縮小率は（１／２）であるが、（１／３）とすると、２画素置きに画素を転送するので、転送される画素数は、８５３画素×６４０画素で、約５５万画素となる。すなわち、高速時と低速時において、転送し、また処理する画素数は等しくできる。約５５万画素のデータとなると、従来の３０万画素の撮像素子の場合の約２倍であり、画像処理ＬＳＩ等においても十分に処理可能なデータ量である。しかも、高速時は、画面の中央部のみを選択して、例えば、高速で走行する前方車両の像を高解像度で得られ、視差の分解能を上げることができる。一方、低速時は、前方の走行車両の他に、左右にある標識や歩行者，自転車等を認識する必要があり、これらは、ウィンドウの領域を広げることが検出漏れを防止できる。このとき、標識や歩行者，自転車等は大きいサイズであるため、画素データを縮小しても認識可能である。
【００７０】
なお、高速時は、ハンドル角が閾値以下（要するに、右左折ほど大きなハンドル角でなく、例えば、直進時やレーン変更等）の場合、ステップ５０７の説明のように、ハンドル角に応じて、ウィンドウの開始位置を変えることができる。これは、ハンドル角が０度近傍の時は、車両が直進しているため、ウィンドウ開始位置（ｓｘＲ２＝８５３、ｓｙＲ２＝６４０）とウィンドウサイズ（ｈＲ２＝８５３、ｗＲ２＝６４０）としていたのに対して、例えば、ハンドル角が右１０度付近の場合には、ウィンドウ開始位置（ｓｘＲ２＝９５３、ｓｙＲ２＝６４０）とし、ハンドル角が右２０度付近の場合には、ウィンドウ開始位置（ｓｘＲ２＝１０５３、ｓｙＲ２＝６４０）とするように、ハンドル角に応じて、ウィンドウ開始位置を右寄りに設定することで、例えば、並行して走る右レーンの車両を対象物として認識することができる。
【００７１】
また、ステップ５０７およびステップ５１０において、右画像のウィンドウ位置に対して左画像のウィンドウ位置を画面右側に配置しておいても良い。これは、視差の探索範囲が１００画素の場合は１００画素までの視差しか求まらないが、左画像のウィンドウをｄ画素分だけ右側に配置することで、１００＋ｄ画素までの視差を求めることができるためである。所定の距離ｘメートル以内のみの距離を求めれば良い場合は、距離ｘメートルの物体の視差分だけ左のウィンドウを右にずらせば良い。これにより、より近くの物体からｘメートル先の物体までの距離を求めることができるようになる。
【００７２】
また、ハンドル角センサ１６の変わりに、自車の回転速度を検出するヨーレートセンサを用いて処理領域を決定しても同様の効果が得られる。
【００７３】
また、ハンドル角センサ１６と車速センサ１７から得られる、ハンドル角と車速とから自車の旋回半径を求め、旋回半径に基づき処理領域決定部を決定しても良い。旋回半径ｒｓは、ハンドル角センサからの出力をδ、車速をＶとすると、以下の式で求めることができる。
【００７４】
ｒｓ＝（１＋Ａ・Ｖ２）×ｌ／δ
δ＝α×δｈ
ただし、Ａはスタビリティファクター、ｌはホイールベース、αはステアリングギア比、δｈはホイールの切れ角であり、Ａ、ｌ、α、δｈは車両固有の値である。
【００７５】
そして、旋回半径が大きい場合には、画面の中央付近にウィンドウを設定すると共に、右旋回半径が小さい場合には、画面の中央より右よりのエリアにウィンドウを設定することで、カーブや交差点の走行時に、ハンドルを切っている方向の対象物を認識可能となる。
【００７６】
また、カーナビゲーションシステムなどの時刻情報を提供する装置を具備し、時刻情報に基づいて処理領域を決定することもできる。夜間は照度不足などが原因で遠方の物体を安定して撮像することは難しいため、近距離を対象に広範囲に処理する。
【００７７】
また、カーナビゲーションシステムと地図データベースとを具備し、カーナビゲーションから得られる自車位置と、地図データベースから得られる地図データとから走行中の道路形状や、高速道路か一般道かなどの道路種別を判定し、道路形状や道路種別などに基づいて処理領域を決定することもできる。これによりカーブ走行中などには、カーブの曲がっている方向を処理領域とすることで、効率的に処理領域を決定できる。また、高速道路走行中は遠距離用の処理領域を、一般道を走行中は近距離用の処理領域を設定することができる。
【００７８】
また、車載カメラとは別体のコントロールユニット２が車載カメラ４ａ、４ｂから画像を取り込んで処理領域決定の処理や画像認識処理を行い、処理領域を車載カメラ４ａ、４ｂに設定する構成でも良い。
【００７９】
以上説明したように、本実施形態では、車載カメラ４ａおよび車載カメラ４ｂで撮像した画像を処理領域決定部で設定した処理領域のみ転送することで、転送処理を高速化することができる。
【００８０】
また、このとき、画像補正部、視差算出部、画像認識部が処理領域の情報を用いて処理することで、ウィンドウ設定による画像の切り出し処理と画素の縮小処理により本来の画素位置を算出することができるため、正確な視差や３次元位置などを求めることができる。
【００８１】
したがって、高解像度の撮像素子を用いた場合でも、画像データの転送、処理負荷を軽減することができ、リアルタイムでステレオ処理、画像認識処理を行うことができる。また、転送する画像データの範囲を画像認識結果などに基づいて決定することで、遠距離や近距離でも効率良く対象物を検出することができる。
【００８２】
また、車速、ハンドル角およびリバーススイッチによって転送される画像が変化しているか否かを、ＲＡＭ９内の画像データを確認することでシステムの処理領域決定部が正常に動作しているかを確認することができる。
【００８３】
ステップ５０１でリバーススイッチ１９がＯＮのときは処理領域初期化フラグをＯＮとすることで、車両後退時は広範囲の画像を処理することができる。車両後退時は近くのみを検出対象とし、広範囲の障害物を検出する必要があるため本処理は有効である。
【００８４】
車両が左折、右折した際は先行車両などの障害物が処理領域に入らない可能性が高く、また画像中の遠方の障害物との衝突の危険性がないため、近くの障害物を対象としステップ５０２でハンドル角に基づき左折、右折を検知し処理領域を初期化する。
【００８５】
また、自車の車速が遅い場合は、遠方障害物との衝突の危険性が低いため近くの障害物を広範囲に検知できる処理領域に設定し、逆に車速が早い場合は、所定の領域を高解像度で処理することで遠方の障害物を検知可能とする。このために、ステップ５０４により速度を判定し、処理領域を切り替えることが有効である。
【００８６】
次に、図１１〜図１８を用いて、本発明の他の実施形態によるステレオカメラ装置の構成及び動作について説明する。本実施形態によるステレオカメラ装置を用いる車載システムの構成は、図１に示したものと同様である。  
ここで、図１１〜図１４を用いて、本実施形態によるステレオカメラ装置の動作について説明する。  
図１１は、本発明の他の実施形態によるステレオカメラ装置の構成を示す機能ブロック図である。なお、図１と同一符号は、同一部分を示している。図１２は、本発明の他の実施形態によるステレオカメラ装置の処理領域決定部にて用いるウィンドウの説明図である。図１３は、本発明の他の実施形態によるステレオカメラ装置の処理領域決定部における縮小処理の説明図である。図１４は、本発明の他の実施形態によるステレオカメラ装置の処理領域決定部にて用いるウィンドウの他の例の説明図である。
【００８７】
本実施形態では、車載カメラユニット１Ａの画像処理ＬＳＩ５及びＣＰＵ６は、機能的には、図１１に示すように、処理領域決定部３０Ａと、画像補正部３１と、視差算出部３２と、画像認識部３３Ａとから構成される。処理領域決定部３０Ａは、画像認識部３３Ａの処理結果を用いて、処理領域を決定する。
【００８８】
処理領域決定部３０Ａは、車速やハンドル角度やリバーススイッチのＯＮ／ＯＦＦの情報および現時刻ｔの画像認識結果に基づき、次の処理タイミング時刻ｔにおけるカメラから取り込む画素を選択する。このとき図１２のように複数のウィンドウを指定することができる。また、それぞれのウィンドウに対して縮小率を設定できるようになっている。ここで、図１２のようにウィンドウを設定し、ウィンドウＲ２、ウィンドウＲ３の縮小率をウィンドウＲ１の１／２に設定すると、図１３のように画像メモリに画像が格納される。また、図１４のように、左右非対称のウィンドウＲ２，Ｌ２を設定することもできる。ウィンドウＲ２，Ｌ２は、左右非対称であるため、ウィンドウR1以外の領域の視差の検出はできないものの、路肩にある標識の種類の認識等に用いることができる。
【００８９】
また、図１１の画像補正部３１は、処理領域決定部が決定した処理領域に基づいて車載カメラから取り込んだ画像を、予めキャリブレーションを行い作成したルックアップテーブルを用いて補正する。
【００９０】
視差算出部３２は、画像補正部が出力した画像を用いて左右いずれかの画像を基準とし、他方の画像上の対応点をテンプレートマッチングにより探索することで視差を求め、基準の画像の各画素に対応した視差マップを作成する。
【００９１】
画像認識部３３Ａは、画像補正部の出力した画像と視差算出部が出力した視差マップの両方あるいはいずれかを用いて、対象物を認識する。
【００９２】
以上のように構成される車載カメラユニット１Ａは、上述したように、ＣＰＵ６がプログラムを実行することで、視差を求め、さらに障害物を認識するまでのステレオ画像処理を車載カメラユニット１内で行うことができる。そして、認識結果をコントロールユニット２に送信し、コントロールユニット２の制御のもとで衝突の危険があると判断した場合は、衝突を軽減、回避するための制御を行うか、あるいは警報音を発生させて、車両の乗員に報知するようにしている。
【００９３】
次に、図１５〜図１８を用いて、本実施形態によるステレオカメラ装置の動作について説明する。  
図１５及び図１６は、本発明の他の実施形態によるステレオカメラ装置の動作を示すフローチャートである。図１７及び図１８は、本発明の他の実施形態によるステレオカメラ装置で設定されるウィンドウの説明図である。
【００９４】
ここで、車載カメラユニット１における、画像認識までの一連の処理の流れをフローチャートを参照しながら説明する。
【００９５】
図４に示す一連の処理は、イグニッションスイッチ２０がオンとなったときにスタートし、イグニッションスイッチ２０がオフとなるまで繰り返し行われる。自車両が走行中であるか停止中であるか、また、ディスプレイ１５に表示されている画像がナビゲーションシステムの走行経路案内画像かその他の映像であるかに拘わらず実施される。
【００９６】
以下では、図４のステップ１０７からステップ１０８の個々の処理について、図１５および図１６に示すフローチャートを用いて説明する。
【００９７】
図１５に示すように、画像認識部３３Ａは、視差マップおよび基準画像、あるいは視差マップと基準画像のいずれかを用いて障害物を検出する（ステップ４０１ａ）。このとき、処理領域のウィンドウ位置とサイズ、および縮小率を用いて処理する。図１２、図１４の例では基準画像を右画像とすると、ウィンドウＲ１では視差を用いて処理し、ウィンドウＲ２およびウィンドウＲ３については画像の輝度値のみを用いて処理する。
【００９８】
次に、検出した障害物の３次元位置を求め（ステップ４０２）、今回検出した立体物と前回検出した立体物を対応付ける（ステップ４０３）。そして対応付け結果と３次元位置とから相対速度を算出する（ステップ４０４）。
【００９９】
その後、ウィンドウＲ２とウィンドウＲ３内の画像に対して濃淡パターンを用いて標識検知処理（ステップ４０５）および割込み車両検知処理（ステップ４０６）を行う。
【０１００】
次に、図１６に示すように、処理領域決定部３０Ａは、まずリバーススイッチがＯＮか否かを判定し（ステップ５０１）、ＯＮの場合は処理領域初期化フラグをＯＮに設定して（ステップ５０３）、処理を抜ける。
【０１０１】
次に、ハンドル角が閾値以上か判定する（ステップ５０２）。閾値以上であった場合は、処理領域初期化フラグにＯＮを設定（ステップ５０３）して処理を抜ける。
【０１０２】
ステップ５０１で閾値以下であった場合は、自車の車速がＶkm/h以上か判定し（ステップ５０４）、Ｖｋｍ／ｈ以下である場合は、縮小率を図１７（Ａ）に示すｍｏｄｅ１に設定し（ステップ６０１）、ウィンドウ開始位置（縦）とウィンドウサイズについてもｍｏｄｅ１に設定する（ステップ６０２）。その後、ウィンドウ開始位置（横）をｍｏｄｅ１に設定する（ステップ５０７）。図１７は右画像のウィンドウ１の設定値であるが、全ウィンドウに対して図１７のようなテーブルによりｍｏｄｅを切り替えて処理領域を設定する。
【０１０３】
また、ステップ５０４で車速がＶｋｍ／ｈ以上であると判定された場合は、画像認識部で障害物を認識しているか否かを判定し（ステップ６０４）、障害物ありの場合は認識結果から先行車両などの前方障害物を選出する（ステップ６０５）。そして選出した障害物と自車との距離がＺメートル以下か判定し（ステップ６０６）、Ｚメートル以下の場合はステップ６０１に、Ｚメートル以上の場合はさらに割込み車の有無を判定する（ステップ６０７）。そして割込み車ありの場合はステップ６０１に、割込み車なしの場合は縮小率をｍｏｄｅ２に設定し（ステップ６０８）、ウィンドウ開始位置（縦）およびウィンドウサイズについてもｍｏｄｅ２に設定する（ステップ６０９）。さらに画像認識処理で検出した前方障害物の画像座標系の横軸であるｘ座標から、ウィンドウ開始位置（横）を図１７のｍｏｄｅ２ように予め定義されている値に設定し、ウィンドウサイズについてもｍｏｄｅ２に設定する（ステップ６１０）。
【０１０４】
図１８は、ｍｏｄｅ１およびｍｏｄｅ２のウィンドウ設定例を示している。この例では、速度が速く、前方障害物までの距離が大きい、かつ割り込み車両が存在しない場合は画像中心付近を高解像度のまま転送し、画像の周辺を縮小して転送する。速度が遅い、または、前方障害物が近い、または割り込み車両が存在する場合は、一つのウィンドウを画像全体を含むように設定し、画像全体の解像度を下げて転送する。この際、残り二つのウィンドウサイズは０とする。
【０１０５】
以上説明したように、本実施形態では、車載カメラ４ａおよび車載カメラ４ｂで撮像した画像を処理領域決定部で設定した処理領域のみ転送することで、処理を高速化することができる。
【０１０６】
このとき画像補正部、視差算出部、画像認識部が処理領域の情報を用いて処理することで、ウィンドウ設定による画像の切り出し処理と画素の縮小処理により本来の画素位置を算出することができるため正確に視差や３次元位置などを求めることができる。また、処理領域決定部が画像認識結果に基づき処理領域を決定することで前方障害物を追従することができる。
【０１０７】
したがって、高解像度の撮像素子を用いた場合でも、画像データの転送、処理負荷を軽減することができ、リアルタイムでステレオ処理、画像認識処理を行うことができる。また、転送する画像データの範囲を画像認識結果などに基づいて決定することで、遠距離や近距離でも効率良く対象物を検出することができる。
【０１０８】
さらに、本発明によるステレオカメラ装置を用いる車載システムは、テスト用の画像を入力し、速度とハンドル角とリバーススイッチと入力画像との組合せで転送される画像が変化しているか否かを確認することでシステムの処理領域決定部が正常に動作しているかを確認することができる。
【０１０９】
また、画像認識部の結果を処理領域決定部にフィードバックし、次の画像認識部が処理する領域を決定することで、検出したい障害物を含む処理領域を高精度に設定することができる。
【０１１０】
ステップ５０１でリバーススイッチ１９がＯＮのときは処理領域初期化フラグをＯＮとすることで、車両後退時は広範囲の画像を処理することができる。車両後退時は近くのみを検出対象とし、広範囲の障害物を検出する必要があるため本処理は有効である。
【０１１１】
車両が左折、右折した際は先行車両などの障害物が処理領域に入らない可能性が高く、また画像中の遠方の障害物との衝突の危険性がないため、近くの障害物を対象としステップ５０２でハンドル角に基づき左折、右折を検知し処理領域を初期化する。
【０１１２】
また、後退時は、進行方向が大きく変わり、画像処理結果に基づいた処理領域を一度リセットする効果がある。
【０１１３】
また、自車の車速が遅い場合は、遠方障害物との衝突の危険性が低いため近くの障害物を広範囲に検知できる処理領域に設定し、逆に車速が早い場合は、所定の領域を高解像度で処理することで遠方の障害物を検知可能とする。このために、ステップ５０４により速度を判定し、処理領域を切り替えることが有効である。
【０１１４】
さらに、本発明の他の実施形態では、複数の処理領域を設定でき画像中央付近を高解像度、画像の周囲を低解像度としている。車載カメラから得られる画像は画像中央に遠方の物体が撮像され、近距離の標識などは画像の両端に撮像されるため、画像中央付近を高解像度、画像の周囲を低解像度とすることは有効であり、これにより遠方の先行車両などの障害物を検知しつつ、近距離の標識や割り込み車両を検知することもできる。
【図面の簡単な説明】
【０１１５】
【図１】本発明の一実施形態によるステレオカメラ装置を用いる車載システムの構成を示すシステムブロック図である。
【図２】本発明の一実施形態によるステレオカメラ装置の構成を示す機能ブロック図である。
【図３】本発明の一実施形態によるステレオカメラ装置の処理領域決定部にて用いるウィンドウの説明図である。
【図４】本発明の一実施形態によるステレオカメラ装置の処理領域決定部が決定した縮小率に基づく、画像の縮小処理の一例の説明図である。
【図５】本発明の一実施形態によるステレオカメラ装置の動作を示すフローチャートである。
【図６】本発明の一実施形態によるステレオカメラ装置の動作を示すフローチャートである。
【図７】本発明の一実施形態によるステレオカメラ装置の動作を示すフローチャートである。
【図８】本発明の一実施形態によるステレオカメラ装置の動作を示すフローチャートである。
【図９】本発明の一実施形態によるステレオカメラ装置の動作を示すフローチャートである。
【図１０】本発明の一実施形態によるステレオカメラ装置の処理領域決定部３０により設定されるウィンドウの例の説明図である。
【図１１】本発明の他の実施形態によるステレオカメラ装置の構成を示す機能ブロック図である。
【図１２】本発明の他の実施形態によるステレオカメラ装置の処理領域決定部にて用いるウィンドウの説明図である。
【図１３】本発明の他の実施形態によるステレオカメラ装置の処理領域決定部における画像の縮小の説明図である。
【図１４】本発明の他の実施形態によるステレオカメラ装置の処理領域決定部にて用いるウィンドウの他の例の説明図である。
【図１５】本発明の他の実施形態によるステレオカメラ装置の動作を示すフローチャートである。
【図１６】本発明の他の実施形態によるステレオカメラ装置の動作を示すフローチャートである。
【図１７】本発明の他の実施形態によるステレオカメラ装置で設定されるウィンドウの説明図である。
【図１８】本発明の他の実施形態によるステレオカメラ装置で設定されるウィンドウの説明図である。
【符号の説明】
【０１１６】
１…車載カメラユニット
２…コントロールユニット
４ａ，４ｂ…車載カメラ
５…画像処理ＬＳＩ
６，１２…ＣＰＵ
７，１３…データＲＯＭ
８，９，１１…ＲＡＭ
１０，１４…プログラムＲＯＭ
１５…ディスプレイ
１６…ハンドル角センサ
１７…車速センサ
１８…リバーススイッチ
１９…スピーカー
３０…処理領域決定部
３１…画像補正部
３２…視差算出部
３３…画像認識部
【図１】
0005172314.tif 000002
【図２】
0005172314.tif 000003
【図３】
0005172314.tif 000004
【図４】
0005172314.tif 000005
【図５】
0005172314.tif 000006
【図６】
0005172314.tif 000007
【図７】
0005172314.tif 000008
【図８】
0005172314.tif 000009
【図９】
0005172314.tif 000010
【図１０】
0005172314.tif 000011
【図１１】
0005172314.tif 000012
【図１２】
0005172314.tif 000013
【図１３】
0005172314.tif 000014
【図１４】
0005172314.tif 000015
【図１５】
0005172314.tif 000016
【図１６】
0005172314.tif 000017
【図１７】
0005172314.tif 000018
【図１８】
0005172314.tif 000019