(57)【特許請求の範囲】
【請求項１】
自車両前方の走行環境を撮像する車載カメラと、
前記車載カメラで撮像した画像に基づいて画像認識エリア内の距離画像を生成する画像認識処理手段と、
前記車載カメラで撮像した画像と前記画像認識処理手段で生成した距離画像とに基づいて前記画像認識エリア内の対象物と該対象物までの距離を認識する対象物認識処理手段と
を有する画像処理装置において、
前記対象物認識処理手段で認識する前記画像認識エリアを切換える画像モード切換手段を有し、
前記画像モード切換手段は、歩行者の衝突を検知して歩行者保護機構へ作動指示信号が出力されたか否かを調べ、該作動指示信号の出力が検知された場合、通常の有効画像エリア全体を前記画像認識エリアとして設定する通常モードから前記歩行者保護機構が映り込まない画像エリアを前記画像認識エリアとして設定するエリア制限モードに切換える
ことを特徴とする画像処理装置。
【請求項２】
前記エリア制限モードでは、前記有効画像エリアに映り込む前記歩行者保護機構を、該歩行者保護機構の色で識別し、該歩行者保護機構の色が映り込んでいない境界を検出し、該境界から遠方を撮像した垂直方向の画像エリアを前記画像認識エリアとして設定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記エリア制限モードでは、前記有効画像エリアの水平方向の有効距離画素数を垂直方向へ行毎に求め、該有効距離画素数が予め設定した使用不可エリア判定画素数よりも多くなる行を境界とし、該境界から遠方を撮像した垂直方向の画像エリアを前記画像認識エリアとして設定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記歩行者保護機構が前記有効画像エリアに映り込むエリアを使用不可エリアとして予め設定し、
前記エリア制限モードでは、前記使用不可エリアの境界から遠方を撮像した垂直方向の画像エリアを前記画像認識エリアとして設定する
ことを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行者保護機構が作動した際にもカメラ画像に基づく運転支援制御を停止させることなく継続できるようにした画像処理装置に関する。
【背景技術】
【０００２】
所定の速度以上で走行している車両のフロントバンパに歩行者が衝突すると、このフロントパンパに足払いされて、上体がフロントフード（ボンネット）上に倒れ、頭部がフロントウインドシールドガラス（以下、「フロントガラス」と称する）やフロントピラー（Ａピラー）等に二次衝突する。
【０００３】
このような二次衝突を回避する策として、歩行者の衝突を検出した場合、エンジンルームに設けたエアバッグをフロントガラスやフロントピラー（Ａピラー）へ向けて膨張展開させ、これら剛性部を覆うことで、歩行者の頭部が剛性部に直接衝突することを回避する歩行者保護用エアバグが知られている。又、走行中の車両に歩行者が衝突する際に、フロントフードを跳ね上げ、このフロントフードをクッション材として機能させることで二次衝突を回避する技術も知られている。
【０００４】
ところで、歩行者保護用エアバッグやフロントフードの跳ね上げ等の歩行者保護機構が作動すると、前方を認識する車載カメラを搭載している車両では、この歩行者保護機構の作動により歩行者保護用エアバッグやフロントフードの一部が画角内に入り込んでしまう。このエアバッグやフロントフードの一部が、極近距離にある障害物と誤認識された場合、自動緊急ブレーキ（ＡＥＢ）等の運転支援制御が誤作動してしまう可能性がある。そのため、歩行者保護機構が作動した場合は、車載カメラで撮像した画像に基づく運転支援制御を自動的に停止させるようにしている。
【０００５】
しかし、運転支援制御を停止させると、運転者が歩行者との衝突を回避しようとして誤った運転操作（ハンドル操作、アクセル操作等）を行うことにより生じる、車両の二次衝突（電柱への衝突、路肩への乗り上げ等）を防止することができなくなる不都合がある。そのため、例えば、特許文献１（特開２００４−２８４４４０号公報）には、エアバッグやフロントフードがフロントガラスの前方に立ちはだかり視野を遮られても、ルームミラー前方に設置したカメラで撮像した画像にて視界を確保することで、適切に対応できるようにした技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２８４４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上述した文献に開示されている技術では、エアバッグやフロントフードがフロントガラスの前方に立ちはだかっても、これがカメラの画角に入り込まないようにカメラとエアバッグやフロントフードとの位置関係を調整しなければならなくなる。
【０００８】
その結果、カメラの視野角（画角）を制限することで調整した場合は、通常時の運転支援制御に支障を来し、又、エアバッグの膨張展開やフロントフードの跳ね上げを制限することで調整した場合は、衝突時における歩行者の二次衝突の回避が制約を受けてしまう不都合がある。
【０００９】
本発明は、上記事情に鑑み、歩行者保護機構の動作を制限することなく、車載カメラで撮像した画像に基づく運転支援制御を継続させることができ、衝突時の歩行者を有効に保護することができるばかりでなく、車両の二次衝突を未然に防止することのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、自車両前方の走行環境を撮像する車載カメラと、前記車載カメラで撮像した画像に基づいて画像認識エリア内の距離画像を生成する画像認識処理手段と、前記車載カメラで撮像した画像と前記画像認識処理手段で生成した距離画像とに基づいて前記画像認識エリア内の対象物と該対象物までの距離を認識する対象物認識処理手段とを有する画像処理装置において、前記対象物認識処理手段で認識する前記画像認識エリアを切換える画像モード切換手段を有し、前記画像モード切換手段は、歩行者の衝突を検知して歩行者保護機構へ作動指示信号が出力されたか否かを調べ、該作動指示信号の出力が検知された場合、通常の有効画像エリア全体を前記画像認識エリアとして設定する通常モードから前記歩行者保護機構が映り込まない画像エリアを前記画像認識エリアとして設定するエリア制限モードに切換える。
【発明の効果】
【００１１】
本発明によれば、画像モード切換手段は、歩行者の衝突を検知して歩行者保護機構への作動指示信号の出力が検知された場合、歩行者保護機構が映り込まない画像エリアを画像認識エリアとして設定するようにしたので、対象物認識処理では、この画像認識エリア内で対象物と、この対象物までの距離を認識することができる。その結果、歩行者保護機構の動作を制限することなく、車載カメラで撮像した画像に基づく運転支援制御を継続させることが可能となり、衝突時の歩行者を有効に保護することができるばかりでなく、車両の二次衝突をも未然に防止することができる。
【図面の簡単な説明】
【００１２】
【図１】歩行者保護用エアバッグが膨張展開した状態の車体前部の斜視図
【図２】歩行者処理装置及び画像処理装置の要部構成図
【図３】画像モード切換処理ルーチンを示すフローチャート
【図４】エリア制限モードルーチンを示すフローチャート
【図５】他の態様によるエリア制限モードを示すフローチャート
【図６】車載カメラで撮像した撮像画像の説明図
【図７】（ａ）は有効画像エリアの実画像を示す説明図、（ｂ）は有効画像エリアの距離画像を示す説明図、（ｃ）は（ｂ）に示す距離画像の行毎の有効距離画素数を示す説明図
【発明を実施するための形態】
【００１３】
以下、図面に基づいて本発明の一実施形態を説明する。図１に示す車両１の車体前部２にエンジンルーム（図示せず）が設けられ、このエンジンルームの前部にフロントバンパ３が配設され、又、上部がフロントフード４にて開閉自在に覆われている。
【００１４】
一方、車両１のフロントガラス６の上部内側には車載カメラ５が配設されている。この車載カメラ５は自車両１前方の走行環境を撮像するもので、メインカメラ５ａとサブカメラ５ｂとを有するカラーカメラであり、各カメラ５ａ，５ｂが車幅方向中央を挟んで左右等間隔の位置に配設されている。メインカメラ５ａは、ステレオ処理を行う際に必要な基準画像（右画像）を撮影し、サブカメラ５ｂは、この処理における比較画像（左画像）を撮影する。
【００１５】
又、フロントフード４内面に、歩行者保護機構としてのエアバッグモジュール７が配設されている。このエアバッグモジュール７は、歩行者保護用エアバッグ（以下、単に「エアバッグ」と称する）７ａと、このエアバッグ７ａを展開させるインフレータ７ｂ（図２参照）とを備えている。このフロントフード４は前開き方式であり、フロントフード４の後部車幅方向両側に設けられたフードヒンジ（図示せず）を支点に開閉される。一方、エアバッグ７ａが膨張展開する際には、フードヒンジに設けたフードアクチュエータ９がフロントフード４の後部をポップアップさせ、その隙間から、図１に示すようにエアバッグ７ａを膨張展開させる。
【００１６】
このエアバッグ７ａの膨張展開によりフロントガラス６の下部、左右のフロントピラー（Ａピラー）８、及び、図示しないフロントカウルやフロントワイパ等の剛性部が覆われる。更に、膨張展開した際のエアバッグ７ａは中央部にＵ字状の逃げ部７ｃが形成され、この逃げ部７ｃの下部が、エアバッグ７ａの上辺部７ｄとなる。運転者及び車載カメラ５は、この逃げ部７ｃによって視野が確保される。
【００１７】
図２示すように、エアバッグモジュール７に設けられたインフレータ７ｂ、及びフードアクチュエータ９は、歩行者保護装置を構成する歩行者保護用エアバッグユニット１１からの指令信号に基づいて動作される。又、車載カメラ５は、両カメラ５ａ，５ｂが互いに同期している状態において、出力されるＲ，Ｇ，Ｂの各アナログ画像が、Ａ／Ｄコンバータ１０によって所定階調のデジタル画像に変換されて画像認識ユニット２１へ出力される。この歩行者保護用エアバッグユニット１１と画像処理装置を構成する画像認識ユニット２１とは、マイクロコンピュータを主体に構成され、周知のＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＲＯＭにはＣＰＵが実行する各種プログラムや固定データ等が記憶されている。
【００１８】
歩行者保護用エアバッグユニット１１は、ＣＰＵで処理されるエアバッグ作動機能として、歩行者衝突判定手段としての歩行者衝突判定部１２、作動指示手段としてのエアバッグ作動指示部１３を備えている。歩行者衝突判定部１２は、車速センサ１４で検出した車速と、衝突検知手段としての衝突検知センサ１５で検知した圧力変化とに基づいて、歩行者の衝突を判定する。衝突検知センサ１５は、例えば圧力センサであり、車幅方向左右に延在するフロントバンパ３内に、このフロントバンパ３に沿って配設した長尺状の圧力チューブや圧力チャンバに連通されており、圧力チューブや圧力チャンバが衝突により押し潰された際の衝突圧力の変化を検知する。
【００１９】
そして、歩行者衝突判定部１２は、車速が歩行者衝突判定車速以上で、且つ衝突検知センサ１５で検出した衝突圧力が、予め設定した歩行者の衝突を検知する圧力範囲（フロントバンパ３に軽微な凹みが形成される程度の軽衝突）の場合、歩行者衝突と判定する。エアバッグ作動指示部１３は、歩行者衝突判定部１２が歩行者衝突と判定した場合、フードアクチュエータ９に駆動信号を出力すると共に、エアバッグモジュール７に対してインフレータ７ｂの作動指示信号を出力する。
【００２０】
すると、フードアクチュエータ９がフロントフード４の後部をポップアップさせて開口させ、又、エアバッグモジュール７がインフレータ７ｂを作動させてエアバッグ７ａにガスを注入する。その結果、フードアクチュエータ９によって開口されたフロントフード４の後部からエアバッグ７ａがフロントガラス６の方向へ左右に拡開しながら膨張展開して、図１に示すように左右のフロントピラー（Ａピラー）８、及び、図示しないフロントカウルやフロントワイパ等の剛性部を覆い、これらの剛性部に頭部が直接衝突することが防止される。
【００２１】
一方、画像認識ユニット２１は、ＣＰＵで処理される画像認識処理機能として、画像認識処理手段としての画像認識処理部２２、カメラ制御部２３、画像モード切換手段としての画像モード切換部２４、対象物認識処理手段としての対象物認識処理部２５を備えている。画像認識処理部２２は、車載カメラ５で撮影した画像データに基づき、自車両前方の対象物を認識する。この対象物は、先行車、道路標識、信号灯、対向車、歩行者等の立体物、及び走行路上に描画された白線、文字等であり、これら各対象物を認識すると共に、これらと自車両１との距離を、メインカメラ５ａとサブカメラ５ｂとの視差から求めて距離画像を生成する。
【００２２】
すなわち、画像認識処理部２２は、図６に示すように、車載カメラ５で撮影した実画像エリアＩｍの一部を有効画像エリアＩｅとして取り込む。そして、図７（ａ）に示すように各カメラ５ａ，５ｂで取り込んだ有効画像エリアＩｅの画像に基づき、同図（ｂ）に示すような、距離情報を備えた距離画素の分布画像からなる距離画像を生成する。尚、有効画像エリアＩｅの垂直方向は、下側が近方、上側が遠方を撮像した画像となっている。
【００２３】
カメラ制御部２３は、画像認識処理部２２で処理した画像データの平均輝度値を読込み、次フレームの撮影において最適な明るさとなる露光時間（シャッタスピード）を設定し、この露光時間に基づき各カメラ５ａ，５ｂの露出制御を行う。
【００２４】
画像モード切換部２４は、エアバッグ作動指示部１３から作動指示信号が出力されているか否かに応じて、画像認識エリアを、有効画像エリアＩｅの全てに設定する通常モードと、有効画像エリアＩｅを制限するエリア制限モードとに切換える。このエリア制限モードでは、図７（ａ）に示すように、有効画像エリアＩｅにエアバッグ７ａの画像が映り込んだ場合、前方画像との境界を検出し、この境界よりも近方を撮像した垂直方向の画像エリアを使用不可エリアＡ１としてマスクする。その結果、境界よりも遠方を撮像した垂直方向の画像エリアが使用可能エリアＡ２となり、この使用可能エリアＡ２を画像認識エリアとして設定する。
【００２５】
対象物認識処理部２５は、画像モード切換部２４で設定した画像認識エリアの距離画像（図７(b)参照）に対して周知のグルーピング処理を行い、予め記憶していた３次元的な枠（ウインドウ）と比較することで、自車両１前方の先行車、歩行者、走行車線等の対象物、及び、当該対象物までの距離を認識し、これらを対象物情報としてＲＡＭ等の記憶手段に一時記憶させる。尚、対象物と自車両１との間の距離の求め方については周知であるため説明を省略する。
【００２６】
そして、対象物認識処理部２５で認識し、記憶手段に一時記憶されている対象物情報に基づき、自動操舵制御、自動追従制御、自動ブレーキ制御等の各種運転支援制御を実行して、運転者の運転操作を支援する。
【００２７】
次に、上述した画像モード切換部２４で実行する画像モード切換処理について、図３に示す画像モード切換処理ルーチンに従って、より詳細に説明する。
【００２８】
すなわち、このルーチンでは、先ず、ステップＳ１で、歩行者保護用エアバッグユニット１１のエアバッグ作動指示部１３からエアバッグモジュール７に対して出力された作動指示信号を受信したか否かを調べ、作動指示信号を受信していない場合、ステップＳ２へ進み、通常モード処理を実行してルーチンを抜ける。一方、作動指示信号を受信した場合、ステップＳ３へ進み、エリア制限モード処理を実行してルーチンを抜ける。尚、ステップＳ２で実行する通常モード処理では、図６に示す有効画像エリアＩｅ全体を画像認識エリアに設定する。
【００２９】
上述したステップＳ３のエリア制限モード処理は、図４に示すエリア制限モードサブルーチンに従って実行される。このサブルーチンでは、先ず、ステップＳ１１で、使用可能エリアＡ２（図７参照）を、使用不可エリアＡ１と使用可能エリアＡ２との境界を検出して設定する。使用不可エリアＡ１と使用可能エリアＡ２との境界を検出する態様としては、
（１）エアバッグ７ａの色による検出
（２）距離画像の有効距離画素数による検出
等がある。
（１）エアバッグ７ａの色による検出
この態様では、ＲＯＭ等の記憶手段に予めエアバッグ７ａの色（例えば、２５６階調の輝度値（Ｒ，Ｇ，Ｂ）の組み合わせから設定する）を記憶させておき、メインカメラ５ａで撮像した有効画像エリアＩｅの実画像から、図７（ａ）に示すように、エアバッグ７ａに対応する輝度値の領域を検出する。そして、検出した輝度値の上辺部７ｄを検索し、これをエアバッグ７ａと自車両１前方の走行環境との境界とし、この境界よりも近方を撮像した垂直方向の画像エリアを使用不可エリアＡ１としてマスクする。その結果、この境界よりも遠方を撮像した垂直方向の画像エリアが使用可能エリアＡ２となる。
【００３０】
そして、ステップＳ１２へ進み、この使用可能エリアＡ２を画像認識エリアに設定してルーチンを抜ける。
【００３１】
尚、歩行者保護機構がフロントフード４の後部を跳ね上げて歩行者を保護するポップアップフード方式である場合、フロントフード４の後端エッジの色を記憶させておき、実画像から輝度値に対応する領域を検出して、その上辺を境界として設定する。
【００３２】
この態様によれば、エアバッグ７ａの映り込みによる使用不可エリアＡ１との境界を、実画像と距離画像とから求めるようにしたので、最大限の使用可能エリアＡ２を確保することができる。
（２）距離画像の有効距離画素数による検出
有効画像エリアＩｅにエアバッグ７ａが映し出された場合、エアバッグ７ａの縫い目や皺が有効距離画素として誤検出されるため、有効距離画素数（実際に距離算出に供することのできる画素の数）は極端に少なくなる。従って、有効距離画素数を行(水平方向)毎に求め、隣接する行の有効距離画素数を、図７（ｂ）の垂直方向へｊ１行からｊ１６行へ比較し、極端に増加する行（図７(c)では、ｊ７）を、エアバッグ７ａと自車両１前方の走行環境との境界として識別し、この境界よりも近方を撮像した垂直方向の画像エリアを使用不可エリアＡ１としてマスクする。その結果、境界よりも遠方を撮像した垂直方向の画像エリアが使用可能エリアＡ２となる。
【００３３】
或いは、水平方向の有効距離画素数と予め設定した使用不可エリア判定画素数とを、図７（ｂ）のｊ１行からｊ１６行の垂直方向へ行毎に比較し、有効距離画素数≧使用不可判定値から有効距離画素数＜使用不可判定値に切り替わる位置を境界（図７(c)では、ｊ６，ｊ７の間）として識別し、この境界よりも近方を撮像した垂直方向の画像エリアを使用不可エリアＡ１としてマスクし、遠方を撮像した垂直方向の画像エリアを使用可能エリアＡ２とする。
【００３４】
尚、歩行者保護機構がポップアップフード方式の場合、フロントフード４の内面の凹凸が有効距離画素として誤検出されるが、この有効距離画素数は極端に少なく、従って、上述と同様、この有効距離画素数に基づいて境界を識別する。
【００３５】
又、図５にエリア制限モードサブルーチンの別態様を示す。上述したサブルーチンでは、実画像、或いは距離画像から、エアバッグ７ａと前方の走行環境との境界を識別したが、本実施形態では、マスクすべき使用不可エリアＡ１、及び使用可能エリアＡ２を予め設定し、これに基づいて画像認識エリアを一義的に設定するようにしたものである。
【００３６】
このサブルーチンでは、先ず、ステップＳ２１で、予め記憶されている使用不可エリアＡ１と使用可能エリアＡ２とを読込む。この両エリアＡ１，Ａ２は、実験やシミュレーションによって求められ、ＲＯＭ等の記憶手段に固定データとして記憶されている。すなわち、先ず、実験やシミュレーションによって、エアバッグ７ａを膨張展開させた際の、有効画像エリアＩｅの映り込みからエアバッグ７ａの上辺部７ｄの境界を検出する。そして、この境界よりも近方を撮像した垂直方向の画像エリアを使用不可エリアＡ１として設定し、この境界よりも遠方を撮像した垂直方向の画像エリアを使用可能エリアＡ２として設定する。
【００３７】
その後、ステップＳ２２へ進み、有効画像エリアＩｅの使用不可エリアＡ１に対応する画像エリアをマスクし、一方、使用可能エリアＡ２に対応する画像エリアを画像認識エリアとして設定してルーチンを抜ける。
【００３８】
この態様によれば、使用可能エリアＡ２が瞬時に設定されるため、エアバッグ７ａの膨張展開に対して素早い対応が可能となる。
【００３９】
このように、本実施形態によれば、歩行者保護用エアバッグ７ａが膨張展開して、車載カメラ５の画角に映り込んでも、エアバッグ７ａの映り込んだ画像エリアを使用不可エリアＡ１としてマスクし、その垂直方向の画像エリアを使用可能エリアＡ２とし、この使用可能エリアＡ２を画像認識エリアとして設定するようにしたので、歩行者保護機構の動作を制限することなく、カメラで撮像した画像に基づく運転支援制御を継続させることができる。その結果、衝突時における歩行者を二次衝突から有効に保護することができるばかりでなく、車両の二次衝突をも未然に防止することができる。
【００４０】
尚、本発明は、上述した実施形態に限るものではなく、例えば、歩行者保護機構がフロントフード４の後部を跳ね上げてクッション材として機能させる方式にも本発明を適用することができる。この場合、画像に映り込んだフロントフード４の後端部が、使用不可エリアＡ１と使用可能エリアＡ２との境界になる。
【符号の説明】
【００４１】
１…車両、
２…車体前部、
３…フロントバンパ、
４…フロントフード、
５…車載カメラ、
５ａ…メインカメラ、
５ｂ…サブカメラ、
６…フロントガラス、
７…エアバッグモジュール、
７ａ…エアバッグ、
７ｂ…インフレータ、
７ｃ…逃げ部、
７ｄ…上辺部、
９…フードアクチュエータ、
１０…Ａ／Ｄコンバータ、
１１…歩行者保護用エアバッグユニット、
１２…歩行者衝突判定部、
１３…エアバッグ作動指示部、
１４…車速センサ、
１５…衝突検知センサ、
２１…画像認識ユニット、
２２…画像認識処理部、
２３…カメラ制御部、
２４…画像モード切換部、
２５…対象物認識処理部、
Ａ１…使用不可エリア、
Ａ２…使用可能エリア、
Ｉｅ…有効画像エリア、
Ｉｍ…実画像エリア
【図１】
0006318183.tif 000002
【図２】
0006318183.tif 000003
【図３】
0006318183.tif 000004
【図４】
0006318183.tif 000005
【図５】
0006318183.tif 000006
【図６】
0006318183.tif 000007
【図７】
0006318183.tif 000008