(57)【要約】      （修正有）【課題】ローリングシャッタのCMOSセンサを用いたステレオカメラを用いて、衝突する可能性のある先行車の検知性能を向上させる。【解決手段】車両前方を撮像する複数の撮像部と、前記撮像部で得られた複数の画像の視差情報を用いて他車両を検出する画像解析部と、を有する車載画像処理カメラであって、前記撮像部は、撮像面のライン毎に露光タイミングが異なり前記他車両の下端から上端方向に順次露光する撮像素子を備える。【選択図】図２
2013200603.tif 000002
【特許請求の範囲】
【請求項１】
車両前方を撮像する複数の撮像部と、
前記撮像部で得られた複数の画像の視差情報を用いて他車両を検出する画像処理部と、を有し、
前記撮像部は、撮像面のライン毎に露光タイミングが異なり前記他車両の下端から上端方向に順次露光する撮像素子を備えたことを特徴とする車載用画像処理装置。
【請求項２】
請求項１に記載された車載用画像処理装置であって、
前記撮像素子は、CMOSセンサである車載用画像処理装置。
【請求項３】
請求項２に記載された車載用画像処理装置であって、
前記CMOSセンサは、上下を反転させて設置されたものである車載用画像処理装置。
【請求項４】
請求項２に記載された車載用画像処理装置であって、
前記CMOSセンサは、上下を合わせて設置され、露光の順序を電子的に上下逆転させたものである車載用画像処理装置。
【請求項５】
車両前方の複数の撮像を取得する第一のステップと、
前記第一のステップで取得された複数の画像の視差情報を用いて他車両を検出する画像処理をする第二のステップと、を有し、
前記第一のステップは、撮像面のライン毎に異なる露光タイミングで前記他車両の下端から上端方向に順次露光することを特徴とする車載用画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲の映像を取得して障害物等を検出する車載用画像処理装置及び方法に関する。
【背景技術】
【０００２】
自動車の予防安全技術として、車載カメラによって車両前方の障害物を検出する車載画像処理の研究開発が行われている。特に、特許文献１に示されているようなカメラを二つ用いるステレオカメラは、障害物までの距離を検出できるので、一般的な単眼カメラに比べて高性能なシステムを構築できるので、さまざまなアプリケーションを実現できる。
【０００３】
ステレオカメラは、カメラを二つ用いるため、製品化を考慮すると撮像素子の選定が重要となる。CMOSセンサは、CCDと比べて部品点数が少なく、消費電力が少ないというメリットがあるため、近年普及してきており、低コストなものが多い。ところが、CCDとCMOSセンサは一般に露光方式が大きく異なる。
【０００４】
CCDはグローバルシャッタと呼ばれる全画素同時露光一括読み出し方式なので、全画面同時露光が可能であるのに対し、CMOSセンサは一般にローリングシャッタと呼ばれるライン露光順次読み出し方式をとっており、全画面分を一度に露光できない。通常、画面の上からラインごとに順次露光される。そのため、ローリングシャッタでは、カメラと被写体の位置関係が変わる状態、つまりカメラか被写体かのどちらかでも動いていると撮像時間のずれによって形状歪が生じる。
【０００５】
車載用途では、自車が動いていたり、被写体となる先行車等も動いていたり、と動いている状態での動作が基本となるため、この形状歪の問題は避けて通れない。この形状歪はステレオカメラでは視差のずれにもつながり、検知性能の低下や測距性能の低下を招く。そのため、ステレオカメラで十分な性能を出すためにはグローバルシャッタのCCDやグローバルシャッタタイプの特殊なCMOSセンサを用いることが望ましい。
【０００６】
しかしながら、前述した低コスト化や低消費電力化のメリットを考えると、ローリングシャッタのCMOSセンサで性能を出すことが求められている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１−２６９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、低コスト化や低消費電力化のメリットがあるローリングシャッタ方式のCMOSセンサを用いて、衝突する可能性のある先行車の検知性能を向上し、より廉価で安定した検知をすることである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明の車載用画像処理装置は、車両前方を撮像する複数の撮像部と、前記撮像部で得られた複数の画像の視差情報を用いて他車両を検出する画像処理部と、を備えて、前記撮像部は、撮像面のライン毎に露光タイミングが異なり前記他車両の下端から上端方向に順次露光する撮像素子を備えた構成とする。
【発明の効果】
【００１０】
本発明によれば、低コスト化や低消費電力化のメリットがあるローリングシャッタ方式のCMOSセンサを用いて、衝突する可能性のある先行車の検知性能を向上し、より廉価で安定した検知ができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る実施例である、FCW（前方衝突警告）及び／又はACC（車間距離制御システム）を実現するための車載用制御装置を構成するブロックを示す。
【図２】本実施例に係わるカメラおよび画像解析ユニットの構成図を示す。
【図３】カラー素子の色再生方式を説明する図を示す。
【図４】ステレオカメラによる測距を説明する図を示す。
【図５】車両前方の先行車を撮像した画像を示す。
【図６】従来例で先行車が接近してきたときにローリングシャッタ方式でどう写るかのイメージ図を示す。
【図７】本実施例で先行車が接近してきたときにローリングシャッタ方式でどう写るかのイメージ図を示す。
【図８】先行車の通常の形状の図を示す。
【発明を実施するための形態】
【００１２】
図１は、本発明に関わる実施例である、FCW（前方衝突警告）及び／又はACC（車間距離制御システム）を実現するための全体の構成の概略を示す。撮像部であるカメラ101は、車両の前方の視界を捕らえることができるように、自車107に設置される。カメラ101で撮像された車両前方画像は、画像処理部である画像解析ユニット102に入力され、入力された車両前方画像から、画像解析ユニット102は、先行車までの距離や相対速度を計算する。計算された情報は、制御ユニット103に送られる。
【００１３】
制御ユニット103は、先行車までの距離や相対速度から衝突の危険度を判定し、スピーカ104から警告音を出すこと、ブレーキ106で減速すること等の指令を出す。また、ドライバーがACC機能を有効にしている場合、アクセル105を制御して先行車に一定の車間距離を保ちながら追従し、先行車がいない場合には設定車速まで加速する等の制御を行う。さらに、先行車との距離が近くなった場合には、アクセル105を緩め、ブレーキ106で減速する等の制御も行う。
【００１４】
次に、カメラで先行車を検出する方法について説明する。図２は、図１のカメラ101（一対の左右カメラ101a,b）と画像解析ユニット102の内部構成を示す。左右カメラ101a,bの撮像素子であるCMOS（Complementary Metal Oxide Semiconductor）201は、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子である。ここで、CMOS201がカラー素子の場合、RAW画像をDSP 202に転送して、後述する変換式で濃淡画像に変換し、モノクロ素子の場合には、そのまま濃淡画像を画像解析ユニット102の画像入力I/F 205に送信する。
【００１５】
画像信号は連続的に送信されるが、その先頭には同期信号が含まれており、画像入力I/F 205で必要なタイミングの画像のみを取り込むことができる。画像入力I/F 205で取り込まれた画像は、メモリ206に書き込まれ、画像処理ユニット204によって視差計算処理や解析が行われる。この処理の詳細は後述する。一連の処理はFlash ROMに書き込まれたプログラム 207に従って行われる。CPU 203は、画像入力I/F 205において画像を取り込み、画像処理ユニット204において画像処理を行うための制御および必要な計算を行う。
【００１６】
CMOS 201は、露光制御を行うための露光制御ユニットおよび露光時間を設定するレジスタを内蔵し、レジスタに設定された露光時間で撮像する。レジスタは、CPU 203から書き換え可能であり、書き換えられた露光時間は、次フレームまたは次フィールド以降の撮像時に反映される。露光時間は、電子制御可能であり、CMOS 201に当たる光の量を制限する。露光時間制御は、前記のような電子シャッター方式によって実現されるが、メカニカルシャッターを開閉させる方式を用いても同様に実現可能である。また、絞りを調整することにより、露光量を変化させてもよい。また、インターレースのように１ラインおきに操作する場合には、奇数ラインと偶数ラインで露光量を変化させてもよい。
【００１７】
ここで、DSP 202で行う濃淡画像変換の仕組みを説明する。カラー素子の場合、各画素は赤(R)、緑(G)、青(B)のいずれか1色の強度（濃度）しか測定できないため、測定した色以外の色は、周囲の色を参照して推定する。例えば、図３（a）の中央のG22の画素のRGBは、それぞれ次式(1)により求められる。
2013200603.tif 000003
【００１８】
同様に、図３（b）の中央のR22の画素のRGBは、それぞれ次式(2)により求められる。
2013200603.tif 000004
【００１９】
その他の画素も同様にして求められる。このように求めていくと、すべての画素でRGBの3原色を計算することができ、カラー画像を得ることができる。そこから、全画素での明度Y を、次式(3) により求めてY画像を作成し、それを濃淡画像とする。
2013200603.tif 000005
【００２０】
次に視差計算について、図４を用いて説明する。カメラから先行車402までの距離をZ、左右の光軸間の距離である基線長をB、焦点距離をf、CMOS上の視差をdとすると、距離Zは、三角形の相似比から、次式(4) によりで求めることができる。
2013200603.tif 000006
図４のように、距離Zは、正確にはレンズ401の主点からの距離となる。
【００２１】
次に、図５、図６を参照して、FCWやACCを実現する際に、ステレオカメラの撮像素子がローリングシャッタである場合に起こる問題点を説明する。図５は、先行車501が写っている映像である。この状態で、自車107が先行車501に近づいて衝突しそうになった場合について考える。
【００２２】
ローリングシャッタの場合、画面上のラインから順次露光して行き、最後に画面下が露光されるので、露光時間のずれが発生するが、このとき先行車501が徐々に近づいてきているため、車両上部に比べて車両下部の方がより近づいた状態で撮像される。すなわち、図６に示すように先行車501は、前のめりになった変形が起こったように測距されてしまう。ステレオカメラで車両検知を行う場合、車両背面の視差が一様でばらついていないことが検知の安定化につながるが、図６に示すような状態であると、車両上端と車両下端で視差が異なり、計算される距離も異なってくるため、検知の安定性が低下する。
【００２３】
そこで、本発明では、撮像素子となるCMOS 201の上下を物理的に反転させて取り付ける。上下反転した映像は、画像処理ユニット204で反転させて直す。このようにすると、車両下端よりも車両上端のほうが時間的に後に撮像されるため、車両上端の方が自車に近づいて、図７のように変形の仕方が逆になる。殆どの車両は、その背面が図８に示すように車両上端よりも車両下端の方がバンパーの分出っ張っていて、垂直よりもやや前方向に倒れている。そのため、図７に示すように変形をさせたほうが、図６に示すように変形させた場合よりも、車両背面は垂直に近づくので、検知が安定する。
【００２４】
一方、先行車が離間していく場合、図６に示すような変形となるために、検知が安定しにくくなる。しかし、FCWおよびACCのいずれの場合でも、接近時に危険がより大きくなるので、接近時の検知を安定させることが重要である。そのため、通常通り取り付けるよりも、上下反転させて取り付けた時のメリットの方が大きいといえる。
【００２５】
以上の実施例では、CMOS 201の上下を物理的に反転させた例を示したが、露光の順序を上下逆転させればよいので、CMOS 201の上下を物理的に反転させることなく、露光の順序を電子的に上下逆転させるように設定した素子を用いるようにしてもよい。
【符号の説明】
【００２６】
101・・・カメラ、102・・・画像解析ユニット、103・・・制御ユニット、104・・・スピーカ、105・・・アクセル、106・・・ブレーキ、107・・・自車、201a,ｂ・・・CMOS、202a,b・・・DSP、203・・・CPU、204・・・画像処理ユニット、205・・・画像入力I/F、206・・・メモリ、207・・・（Flash ROM上の）プログラム、208・・・CAN I/F、401・・・レンズ、402・・・測距対象（先行車）、501・・・先行車
【図１】
2013200603.tif 000007
【図２】
2013200603.tif 000008
【図３】
2013200603.tif 000009
【図４】
2013200603.tif 000010
【図５】
2013200603.tif 000011
【図６】
2013200603.tif 000012
【図７】
2013200603.tif 000013
【図８】
2013200603.tif 000014