(57)【要約】【課題】車両近傍の物体検出を精度よく行うことができる運転支援装置を提供することを目的とする。【解決手段】本発明の運転支援装置は、車両周囲を撮像する撮像カメラ１０と、車両周囲に照射光を発するＬＥＤ２３と、反射光を取得する第２の撮像素子２１と、反射光に基づいて距離画像を算出する第２の信号処理部２２と、距離画像から物体を検出する物体検出処理部３６とを備える。そして、第２の信号処理部２２が算出した距離画像のうち物体検出処理部３６が検出した物体を示す画像を撮像カメラ１０が撮像した撮像画像に合成する合成手段３７と、この合成手段３７が合成した合成画像を表示する表示装置４０を備えたことを特徴とする。【選択図】図１
2013073312.tif 000002
【特許請求の範囲】
【請求項１】
車両周囲を撮像する撮像手段と、
車両周囲に照射光を発する照射手段と、
この照射手段が発した照射光の反射光を取得する撮像素子と、
この撮像素子が取得した反射光に基づいて車両周囲の被照射体の距離を示す距離画像を算出する距離画像算出手段と、
前記距離画像算出手段が算出した距離画像に基づいて物体を検出する物体検出手段と、
前記距離画像算出手段が算出した距離画像のうち前記物体検出手段が検出した物体を示す画像を前記撮像手段が撮像した撮像画像に合成する合成手段と、
この合成手段が合成した合成画像を表示する表示手段とを備えたことを特徴とする運転支援装置。
【請求項２】
前記合成手段は、前記距離画像算出手段が算出した距離画像のうち前記物体検出手段が検出した物体を示す画像を補正して前記撮像手段が撮像した撮像画像に合成することを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記合成手段は、前記距離画像算出手段が算出した距離画像のうち前記物体検出手段が検出した物体を示す画像の輪郭を拡大補正した輪郭画像を前記撮像手段が撮像した撮像画像に合成することを特徴とする請求項２に記載の運転支援装置。
【請求項４】
前記合成手段は、前記距離画像算出手段が算出した距離画像のうち前記物体検出手段が検出した物体を示す画像を囲む枠状の画像に補正して前記撮像手段が撮像した撮像画像に合成することを特徴とする請求項２に記載の運転支援装置。
【請求項５】
前記合成手段は、前記枠状の画像と前記撮像手段が撮像した撮像画像とをアルファブレンドによって合成することを特徴とする請求項４に記載の運転支援装置。
【請求項６】
前記距離画像算出手段は、前記撮像素子および照射手段と配線接続され、少なくとも一方の配線長の差分に応じた遅延を補正して前記距離画像を算出することを特徴とする請求項１に記載の運転支援装置。
【請求項７】
前記撮像素子と前記距離画像算出手段とは一体の距離画像センサカメラとして構成されたことを特徴とする請求項１に記載の運転支援装置。
【請求項８】
前記距離画像算出手段と前記物体検出手段と前記合成手段とは一体の制御装置として構成されたことを特徴とする請求項１に記載の運転支援装置。
【請求項９】
前記照射手段は前記撮像素子の異常をテストするテスト用の照射光を発し、
前記距離画像算出手段は、前記撮像素子から取得したこのテスト用の照射光の反射光の信号強度と遅延時間との関係から前記撮像素子の異常を判定することを特徴とする請求項１に記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ画像と距離画像センサの検出結果を用いて車両近傍の物体を認識可能な表示画像に処理する運転支援装置に関する。
【背景技術】
【０００２】
近年、車両周辺の物体を運転者に認識させるため、センサで物体を検出してカメラ画像にその検出結果を表示する運転支援装置が知られている。例えば、従来の運転支援装置では、リアカメラの撮像画像にセンサで検出した物体の検出情報を重畳した画像をディスプレイに表示する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の運転支援装置では、物体検出精度はセンサの分解能に依存する。このため、物体検出精度が要求される車両近傍では検出誤差が生じやすい。また、カメラ画像のパターンマッチングを用いた画像認識による物体検出も考えられるが、パターンが背景に描かれている場合など、画像認識によっても検出誤差が生じる。
【０００５】
本発明は、車両近傍の物体とこの物体までの距離を精度よく検出することができる運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の運転支援装置は、車両周囲を撮像する撮像手段と、車両周囲に照射光を発する照射手段と、この照射手段が発した照射光の反射光を取得する撮像素子と、この撮像素子が取得した反射光に基づいて車両周囲の被照射体の距離を示す距離画像を算出する距離画像算出手段と、距離画像算出手段が算出した距離画像に基づいて物体を検出する物体検出手段と、距離画像算出手段が算出した距離画像のうち物体検出手段が検出した物体を示す画像を撮像手段が撮像した撮像画像に合成する合成手段と、この合成手段が合成した合成画像を表示する表示手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、車両近傍の物体とこの物体までの距離を精度よく検出することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態に係る運転支援装置の構成を示すブロック図
【図２】同図１の要部である距離画像センサカメラとＬＥＤによる距離画像の取得をイメージで説明する図
【図３】同図１の要部である距離画像センサカメラとＬＥＤの位置関係に応じた被照射体までの距離の算出をイメージで説明する図
【図４】同図３の被照射体までの距離と被照射体の位置関係との関係をイメージで説明する図
【図５】同図１の距離画像センサカメラとＬＥＤの別な構成を説明する図
【図６】同図１の要部である表示装置への合成画像の表示をイメージで説明する図
【図７】同図１の第２の撮像素子が受光した信号強度と遅延時間との理想的関係をグラフ状のイメージで説明する図
【発明を実施するための形態】
【０００９】
以下、本発明の一実施の形態に係る運転支援装置について図面を参照しながら説明する。
【００１０】
図１は本実施の形態に係る運転支援装置１の構成を示すブロック図である。
【００１１】
図１に示すように、運転支援装置１は、車両に搭載されるものである。また、運転支援装置１は、撮像カメラ１０、距離画像センサカメラ２０、ＬＥＤ２３、画像処理装置３０、および、表示装置４０を備える。なお、撮像カメラ１０、距離画像センサカメラ２０、ＬＥＤ２３、表示装置４０、については、車両に予め備えられたものを利用してもよく、また、運転支援装置１が備えてもよい。
【００１２】
撮像カメラ１０は、車体に設置され、車両周辺の画像を撮像する。望ましくは、車体後部に設置されて、車両の後部周辺の画像を撮影する。撮像カメラ１０は、第１の撮像素子１１とこの第１の撮像素子１１に接続する第１の信号処理部１２とを有する。第１の撮像素子１１は外部から取得した光信号を光電変換して画像信号を生成し、この画像信号を第１の信号処理部１２に出力する。第１の信号処理部１２は、この取得したアナログの画像信号をＡ／Ｄ変換し、デジタルの画像データとして画像処理装置３０に出力する。
【００１３】
距離画像センサカメラ２０は、撮像カメラ１０周辺の車体に設置される。ＬＥＤ２３は距離画像センサカメラ２０近傍の車体に設置される。ＬＥＤ２３は、距離画像センサカメラ２０からの命令に基づいて車外に赤外光を出力する。距離画像センサカメラ２０は、第２の撮像素子２１と第２の信号処理部２２とを有する。第２の撮像素子２１は、複数の画素で構成されている。ＬＥＤ２３の照射光は車外の被照射体によって反射され、第２の撮像素子２１はこの反射光を画素ごとに取得する。第２の撮像素子２１は外部から取得した反射光を光電変換して電荷強度に応じた画像信号を生成し、この画像信号を第２の信号処理部２２に出力する。第２の信号処理部２２は、この取得した画像信号をデジタルの画像データとして画像処理装置３０に出力する。
【００１４】
画像処理装置３０は、例えばＥＣＵ（Ｅｌｅｃｔｒｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）で構成され、車室内に設置される。画像処理装置３０は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）３１と、ＣＰＵ３２と、メモリ３３とを有する。ＬＳＩ３１は、撮像カメラ１０、距離画像センサカメラ２０、ＣＰＵ３２と、メモリ３３、表示装置４０と接続する。
【００１５】
ＬＳＩ３１は、撮像カメラ１０から取得した撮像画像と、距離画像センサカメラ２０から取得した距離画像のうち物体として認識した部分とを合成し、合成画像を表示装置４０に出力する。また、ＬＳＩ３１は、メモリ３３に記憶されたパターンを読み出して、距離画像センサカメラ２０から取得した距離画像における物体をパターンマッチングによって検出する。
【００１６】
ＣＰＵ３２は、ＣＡＮを介して車内の外部機器と接続する。ＣＰＵ３２は、外部機器からの入力信号に応じてＬＳＩ３１の駆動を制御する。外部機器は例えば車速センサやパーキングブレーキである。ＣＰＵ３２は、例えばパーキングブレーキからリバース信号を受信すると、ＬＳＩ３１を駆動する。そして、ＬＳＩ３１は、車両後部に設置された撮像カメラ１０から撮像画像を、距離画像センサカメラ２０から距離画像を取得して合成画像を作成する。
【００１７】
ＬＳＩ３１は、第１のバッファ３４、第２のバッファ３５、物体検出処理部３６、合成手段３７とを有する。第１のバッファ３４、第２のバッファ３５はそれぞれ撮像カメラ１０の第１の信号処理部１２、距離画像センサカメラ２０の第２の信号処理部２２に接続する。第１のバッファ３４、第２のバッファ３５には、それぞれ第１の信号処理部１２、第２の信号処理部２２から撮像画像、距離画像が入力される。第１のバッファ３４、第２のバッファ３５はそれぞれ入力された撮像画像、距離画像の波形を調整する。物体検出処理部３６は、第２のバッファ３５で処理された距離画像からパターンマッチング等周知の技術によって物体を抽出する。合成手段３７は、第１のバッファ３４から入力された撮像画像と、物体検出処理部３６から入力されたパターンマッチング処理後の距離画像とを合成して、合成画像を表示装置４０に出力する。
【００１８】
表示装置４０は、合成手段３７から入力された合成画像を表示する。表示装置４０は、車両の利用者が目視可能な位置に設置され、例えば、車両に備えられたシフトレバーがリバースの位置にあるときに画像を表示する。表示装置４０として、例えば車両に搭載されているカーナビゲーション装置が備えるディスプレイ画面を利用することができる。
【００１９】
次に、距離画像センサカメラ２０とＬＥＤ２３による距離画像の取得について説明する。本実施形態における距離画像の取得には、周知のＴｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ（ＴＯＦ）法が用いられる。図２は、距離画像センサカメラとＬＥＤによる距離画像の取得をイメージで説明する図である。図２に示すように、ＬＥＤ２３は、照射光を外部に出力する。この照射光が被照射体２４に反射し、車両側に反射光が返ってくる。距離画像センサカメラ２０の第２の撮像素子２１は、画素ごとにこの反射光を受光する。第２の信号処理部２２は、このＬＥＤ２３から照射された照射光が反射して第２の撮像素子２１が受光するまでの到達時間に基づいて被照射体２４と自車両との距離を算出する。
【００２０】
すなわち、第２の信号処理部２２は、到達時間から内部処理時間を減算した値を遅延時間ｔとして設定し、この遅延時間ｔに光速を積算することにより、光の往復の距離を算出することが出来る。この距離の半分が、被照射体までの距離となる。なお、ここでいう内部処理時間は、第２の信号処理部２２とＬＥＤ２３との配線長Ｌによって生じる遅延を意味する。そして、第２の信号処理部２２は、遅延時間ｔに応じた被照射体２４との距離が画像で示された距離画像２５を第２のバッファ３５に対して出力する。
【００２１】
ここで、距離画像センサカメラ２０とＬＥＤ２３との水平方向の距離を離して車体に設置するとこの遅延時間ｔに追加の遅延時間が生じる。図３は、距離画像センサカメラとＬＥＤの位置関係に応じた被照射体までの距離の算出をイメージで説明する図である。図３では、被照射体２４が距離画像センサカメラ２０の光軸上に存在する場合を考える。このとき、距離画像センサカメラ２０からＬＥＤ２３までの水平方向の距離ａ０、ＬＥＤ２３から被照射体２４までの距離ｂ０、被照射体２４から距離画像センサカメラ２０までの距離ｃ０で表されている。このとき、各距離の関係は、ａ０２＋ｂ０２＝ｃ０２で表される。遅延時間ｔ０＝（ｃ０＋ｂ０）／光速ｃである。これらの２式から、被照射体２４と距離画像センサカメラ２０との距離はｂ０＝（ｃ２ｔ０２−ａ０２）／２ｃｔ０で表される。距離画像センサカメラ２０からＬＥＤ２３までの水平方向の距離ａ０は距離画像センサカメラ２０とＬＥＤ２３の設置位置に応じて予め設定される。このため、距離画像センサカメラ２０とＬＥＤ２３の設置位置による追加の遅延時間を考慮して被照射体２４との距離を補正した距離画像を取得することができる。
【００２２】
また、被照射体２４が距離画像センサカメラ２０の光軸上に存在しない場合を考える。図４は、距離画像センサカメラとＬＥＤの位置関係に応じた被照射体までの距離の算出をイメージで説明する図である。図４では、距離画像センサカメラ２０からＬＥＤ２３まで
の距離ａ１、ＬＥＤ２３から被照射体２４までの距離ｃ１、被照射体２４から距離画像センサカメラ２０までの距離ｅ１、距離画像センサカメラ２０の光軸方向に直線を引くとともに被照射体２４の水平方向に直線を引いたとき、両直線の交点から距離画像センサカメラ２０までの距離ｂ１、両直線の交点から被照射体２４までの距離ｄ１で表されている。このとき、遅延時間ｔ１＝（ｃ１＋ｅ１）／光速ｃである。また、図４からｂ１２＋ｄ１２＝ｅ１２、（ａ１＋ｄ１）２＋ｂ１２＝ｃ１２であるため、両式の関係から、ｃ１２＝（ａ１＋ｄ１）２＋（ｅ１２−ｄ１２）が算出される。この算出式に遅延時間ｔ１＝（ｃ１＋ｅ１）／光速ｃの式を代入すると、（ｃｔ１−ｅ１）２＝（ａ１＋ｄ１）２＋（ｅ１２−ｄ１２）で表される。この式を解いて、ｅ１＝｛ｃ２ｔ１２−（ａ１＋ｄ１）２＋ｄ１２｝／２ｃｔ１で表される。ここで、ａ１の値は図３において説明したように固定値である。ここで、第２の信号処理部２２は、図示しないメモリを内部に有し、ｄ１の値と遅延時間ｔ１との関係を示したテーブルを予め格納している。第２の信号処理部２２は、このテーブルを読み出して、被照射体２４との距離ｅを算出する。なお、距離画像センサカメラ２０の第２の撮像素子２１の各画素毎にｄ１の値は異なる値になるため、図示しないメモリ内には第２の撮像素子２１の各画素毎にｄ１の値と遅延時間ｔ１との関係を示したテーブルが格納されている。なお、被照射体２４が距離画像センサカメラ２０とＬＥＤ２３との間に位置するときは、ｄ１の値を負値として計算すれば、同様の算出式によって被照射体２４との距離ｅを算出することができる。したがって、ｄ１の値と遅延時間ｔ１との関係を示したテーブルにおいては、ｄ１の値は正負両方について遅延時間ｔ１と対応付けられたテーブルとして第２の信号処理部２２のメモリ内に格納されている。
【００２３】
なお、本実施形態では、距離画像センサカメラ２０内に第２の撮像素子２１と第２の信号処理部２２を設けたが、別な構成にしてもよい。図５は、図１の距離画像センサカメラとＬＥＤの別な構成を説明する図である。図１と図５とは、信号処理部の配置のみが異なる。すなわち、図１では距離画像センサカメラ２０内に第２の信号処理部２２が配置されているが、図５では画像処理装置３０内に第２の信号処理部２２が設けられている。特に、第２の信号処理部２２、物体検出処理部３６、合成手段３７はＬＳＩ３１内に一体に構成されることが望ましい。このとき、車外に設置される距離画像センサカメラ２０と車室内に設置される画像処理装置３０とは、設置位置が大きく異なるため、第２の撮像素子２１と第２の信号処理部２２との間の配線長Ｌ２による遅延を無視できなくなる。したがって、第２の信号処理部２２は、この配線長Ｌ２による遅延時間ｔ２＝Ｌ２／ｃを遅延時間ｔ１から減算する補正を行ったうえで距離画像を作成する。
【００２４】
物体検出処理部３６は、メモリ３３から読み出したパターン情報を用いて周知のパターンマッチングを行い、人物などの物体を検出する。そして、物体検出処理部３６は、第２のバッファ３５から取得した距離画像のうち、検出した物体の位置における距離画像を抽出して合成手段３７に出力する。
【００２５】
合成手段３７は、第１のバッファ３４から取得した車両周囲の撮像画像のうち、物体検出処理部３６が検出した物体の位置に対応した距離画像を重畳する。この際、合成手段３７は、物体検出処理部３６から取得した距離画像の輪郭を拡大した輪郭画像を撮像画像上に重畳する。ここで、輪郭画像とは、物体検出処理部３６から取得した距離画像の輪郭を拡大し、かつ、この拡大画像からもとの距離画像を除く補正処理を行った画像をいう。これによって、物体の輪郭上にのみ距離画像が重畳されるため、撮像画像上の物体が距離画像によって隠されることなく、車両から物体までの距離関係を正確に把握することができる。図６は、表示装置への合成画像の表示をイメージで説明する図である。表示装置４０に表示された表示画像４１では、被照射体である人物４４ａ〜ｄの輪郭に、合成手段３７が補正した輪郭画像４６ａ〜ｄがそれぞれ重畳されている。車両の利用者は、表示画像４１におけるこれら輪郭画像４６ａ〜ｄの色の状態に基づいて、人物４４ａ〜ｄが車両からどの程度の距離にいるかを把握することができる。
【００２６】
なお、本実施形態では、合成手段３７は、距離画像の輪郭を拡大してもとの距離画像を除いた輪郭画像を作成したが、もとの距離画像を除かない画像を作成してもよい。ただし、この場合、物体が距離画像の重畳によって隠されないよう、合成手段３７は、撮像画像と拡大画像とをアルファブレンドして合成する。また、合成手段３７は、距離画像の輪郭を拡大したが、輪郭を囲む枠状の画像を作成して重畳するようにしてもよい。
【００２７】
なお、現実には物体が動くことを考慮すると、重畳画像の追従が間に合わずに、重畳画像が物体に被さることが考えられる。このため、枠状の画像や輪郭画像を撮像画像に重畳するに際しても、合成手段３７は、アルファブレンド処理を行った上で重畳することが望ましい。
【００２８】
以上のように、本実施の形態によれば、合成手段３７が、撮像カメラ１０が撮像した撮像画像上に、第２の信号処理部２２が算出した距離画像のうち物体検出処理部３６が検出した物体を示す距離画像を合成し、表示装置４０がこの合成画像を表示するため、車両の利用者は、撮像画像上における物体の視認性を維持したまま車両近傍の物体とこの物体までの距離を精度よく確認することができる。
【００２９】
また、本実施形態の第２の信号処理部２２は、第２の撮像素子２１の異常をテストするテスト機能を有していてもよい。例えば外部機器からの入力に応じて、ＣＰＵ３２は、第２の信号処理部２２にテスト機能を実行させる。第２の信号処理部２２の命令によって、ＬＥＤ２３はテスト用の照射光を発する。このテスト用の照射光が、予め所定位置に配置されたテスト用の被照射体に反射して第２の撮像素子２１はこの反射光を受光する。第２の信号処理部２２は、図示しない内部メモリに、各画素ごとに反射光の信号強度と遅延時間の理想的関係を示したテーブルを有する。図７は、第２の撮像素子が受光した反射光の信号強度と遅延時間との理想的な関係をグラフ状のイメージで説明する図である。図７の点線状の曲線が理想的な関係を示す。第２の信号処理部２２は、第２の撮像素子２１が実際に取得した反射光の信号強度と遅延時間との関係がこのグラフの点線上の曲線から所定の範囲内にあるか否かに応じて、第２の撮像素子２１が正常か異常かを判定する。すなわち、第２の信号処理部２２は、第２の撮像素子２１が実際に取得した反射光の信号強度と遅延時間との関係がこのグラフの点線上の曲線から所定以上外れた場合に第２の撮像素子２１が異常と判定する。特に、図７に示すグラフ状の結果を表示装置４０に表示することが望ましい。これによって、第２の撮像素子２１の状態を車両の利用者は容易に確認することができる。
【００３０】
なお、本実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。
【００３１】
また、本実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。本実施の形態のＬＳＩ３１においての各機能ブロックも個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。また、ＣＰＵ３２やメモリ３３を含んで１チップ化してもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００３２】
また、本実施の形態では、照射手段としてＬＥＤ２３を用いたが、別な光源であっても良い。ただし、指向性の強いレーザや反応速度の遅いランプは望ましくない。
【００３３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサ
で実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ
Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００３４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【００３５】
本発明は、撮像カメラと距離画像センサカメラによって車両周囲の物体の距離を把握する運転支援装置等に好適である。
【符号の説明】
【００３６】
１    運転支援装置
１０  撮像カメラ
１１  第１の撮像素子
１２  第１の信号処理部
２０  距離画像センサカメラ
２１  第２の撮像素子
２２  第２の信号処理部
２３  ＬＥＤ
２４  被照射体
３０  画像処理装置
３１  ＬＳＩ
３２  ＣＰＵ
３３  メモリ
３４  第１のバッファ
３５  第２のバッファ
３６  物体検出処理部
３７  合成手段
４０  表示装置
【図１】
2013073312.tif 000003
【図２】
2013073312.tif 000004
【図３】
2013073312.tif 000005
【図４】
2013073312.tif 000006
【図５】
2013073312.tif 000007
【図６】
2013073312.tif 000008
【図７】
2013073312.tif 000009