(57)【要約】      （修正有）【課題】撮像手段が撮像した画像から所定領域を認識する画像処理装置を提供する。【解決手段】撮像部（ステレオカメラ９９）により撮像した画像から画像領域を検出する画像処理装置１００であって、撮像部の撮像方向に向かって照射された電磁波の反射波から得られる電磁波の反射位置までの距離情報を取得する距離情報取得手段２８（レーザーレーダー測矩部）と、撮像部により撮像された画像から、距離情報により設定される設定値を用いて、所定の画像領域を検出する路面検出処理手段２５と、を有する。【選択図】図５
2015143979.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により撮像した画像から画像領域を検出する画像処理装置であって、
前記撮像部の撮像方向に向かって照射された電磁波の反射波から得られる前記電磁波の反射位置までの距離情報を取得する距離情報取得手段と、
前記撮像部により撮像された画像から、前記距離情報により設定される設定値を用いて、所定の画像領域を検出する画像領域検出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像領域検出手段は、照射方向の仰角を変えながら照射された前記電磁波の反射波から得られた前記距離情報により設定される前記設定値を用いて前記所定の画像領域を検出する、ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像領域検出手段は、前記仰角が最も大きい前記電磁波の反射波から得られた前記距離情報により前記所定の画像領域の傾斜を推定し、該傾斜により設定される前記設定値を用いて前記所定の画像領域を検出する、
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像領域検出手段は、画素毎又は画素ブロック毎に視差情報を有する視差画像の水平方向の１ラインずつ、視差値のヒストグラムを作成し、
視差画像の高さに対しヒストグラムがピークとなる視差値を打点した散布図から、前記設定値の数の直線を検出することで前記所定の画像領域を検出する、
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画像領域検出手段は、推定した前記傾斜が大きいほど大きな前記設定値を設定し、前記設定値の数の直線を検出する、ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記画像領域検出手段は、ヒストグラムがピークとなる視差値を有する前記視差画像の画素が含まれる領域を前記所定の画像領域に決定し、
検出した前記直線の視差画像の高さ方向の範囲ごとに、前記所定の画像領域の外縁を直線で近似する、ことを特徴とする請求項４又は５記載の画像処理装置。
【請求項７】
前記画像領域検出手段は、検出した前記直線のパラメータと所定値とに有意差がある場合、前記所定の画像領域の前記傾斜を推定し、該傾斜に応じて設定した前記設定値を用いて前記所定の画像領域を検出する、
ことを特徴とする請求項４〜６いずれか1項記載の画像処理装置。
【請求項８】
前記画像から検出対象が撮像されている検出対象候補領域を検出する検出対象候補領域検出手段と、
前記所定の画像領域に対する前記検出対象候補領域の配置に応じて前記検出対象候補領域を検出対象が撮像されている検出対象領域として検出する検出対象領域検出手段と、
を有することを特徴とする請求項１〜７いずれか1項記載の画像処理装置。
【請求項９】
前記検出対象領域検出手段は、前記所定の画像領域に対し前記検出対象候補領域が一部でも重複してる場合に、前記検出対象候補領域を前記検出対象領域として検出する、
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記所定の画像領域は、路面が撮像されている領域である、
ことを特徴とする請求項１〜８いずれか１項記載の画像処理装置。
【請求項１１】
撮像部により撮像した画像から画像領域を検出する画像処理方法であって、
距離情報取得手段が、前記撮像部の撮像方向に向かって照射された電磁波の反射波から得られる前記電磁波の反射位置までの距離情報を取得するステップと、
画像領域検出手段が、前記撮像部により撮像された画像から、前記距離情報により設定される設定値を用いて、所定の画像領域を検出するステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
撮像部により撮像した画像から画像領域を検出する情報処理装置に、
前記撮像部の撮像方向に向かって照射された電磁波の反射波から得られる前記電磁波の反射位置までの距離情報を取得する距離情報取得ステップと、
前記撮像部により撮像された画像から、前記距離情報により設定される設定値を用いて、所定の画像領域を検出する画像領域検出ステップと、
を実行させるプログラム。
【請求項１３】
撮像部により撮像した画像から画像領域を検出し、画像領域を用いて検出対象物を検出する画像処理システムであって、
撮像部と、
電磁波を照射する電磁波照射部と、
前記撮像部の撮像方向に向かって照射された電磁波の反射波から得られる前記電磁波の反射位置までの距離情報を取得する距離情報取得手段と、
前記撮像部により撮像された画像から、前記距離情報により設定される設定値を用いて、所定の画像領域を検出する画像領域検出手段と、
前記画像から検出対象が撮像されている検出対象候補領域を検出する検出対象候補領域検出手段と、
前記所定の画像領域に対する前記検出対象候補領域の配置に応じて前記検出対象候補領域を検出対象が撮像されている検出対象領域として検出する検出対象領域検出手段と、
を有することを特徴とする画像処理システム。
【請求項１４】
当該画像処理システムは移動体に搭載されており、
前記検出対象領域の前記距離情報を用いて前記移動体の運転者の運転支援を行う運転支援手段、を有することを特徴とする請求項１３記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
距離情報を取得可能な撮像装置が撮像した画像から所定の画像領域を検出する画像処理装置に関する。
【背景技術】
【０００２】
車載されたカメラが撮像した画像の解析結果を利用した各種の運転支援が知られている。例えば、画像処理装置が画像から前方の車両や歩行者などの物体を認識し、自車両が物体に対し異常接近するおそれがあることを車載装置がドライバーに警告したり、ブレーキを制御して被害を軽減したりすることが可能である。また、例えば、車道に飛び出してくる歩行者を認識して、ドライバーに注意喚起することもできる。
【０００３】
このような画像解析には、高精度な物体の認識技術が必要である。そこで、カメラ以外のセンサを利用して対象物の認識を補助することが考えられる（例えば、特許文献１、２参照。）。特許文献１には、ステレオカメラとスキャニングレーザレーダそれぞれで対象物を認識し、周囲状況に応じて、認識結果に対し各測距手段毎の信頼性に応じた重み付けを行ない対象物が存在すると判断する障害物認識装置が開示されている。
【０００４】
また、特許文献２には、距離画像データを複数の区分に分割し、レーザーレーダで測定した所定位置の距離で、距離画像データの立体物までの距離を補正する監視システム方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、物体を精度よく認識するためには、画像の所定領域を認識することが有効である場合がある。例えば、路面領域を特定できれば、画像処理装置は、路面に対する物体の相対位置を利用して物体の認識精度を向上させることができる。
【０００６】
しかしながら、画像解析のみでは、路面の検出が困難な場合があるという問題があった。例えば、路面が傾斜している場合、検出された路面領域が不正確になる場合がある。特許文献１，２ではレーザーレーダーを用いているが、レーザーレーダーの測距結果を利用して路面領域を検出することは行われていない。
【０００７】
本発明は、上記課題に鑑み、撮像手段が撮像した画像から所定領域を認識する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮像部により撮像した画像から画像領域を検出する画像処理装置であって、前記撮像部の撮像方向に向かって照射された電磁波の反射波から得られる前記電磁波の反射位置までの距離情報を取得する距離情報取得手段と、前記撮像部により撮像された画像から、前記距離情報により設定される設定値を用いて、所定の画像領域を検出する画像領域検出手段と、を有することを特徴とする。
【発明の効果】
【０００９】
撮像手段が撮像した画像から所定領域を認識する画像処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の路面領域の検出方法について概略を説明する図の一例である。
【図２】従来の路面領域の検出方法による不都合について説明する図の一例である。
【図３】傾斜が降坂路になっている場合について説明する図の一例である。
【図４】本実施形態の画像処理装置による路面領域の検出の概略を模式的に説明する図の一例である。
【図５】画像処理システムの機能ブロック図の一例である。
【図６】ステレオカメラのハードウェア構成図の一例である。
【図７】ステレオカメラが撮像したステレオ画像の一例を示す図の一例である。
【図８】ステレオカメラの構成と視差について説明する図の一例である。
【図９】画像処理装置のハードウェアブロック図の一例である。
【図１０】レーザーレーダー測距部の概略構成図の一例である。
【図１１】ポリゴンミラーを用いた光スキャナの一例を示す図である。
【図１２】Haar-like特徴量の一例を示す図である。
【図１３】物体認識部が有する物体識別器を模式的に説明する図の一例である。
【図１４】ブロックの検出と物体の認識を模式的に説明する図の一例である。
【図１５】画像における物体候補領域の認識結果の一例を示す図である。
【図１６】路面領域の検出について説明する図の一例である。
【図１７】ヒストグラムのピークから求められた直線を示す図の一例である。
【図１８】傾斜のある道路を走行中の路面領域の検出について説明する図の一例である。
【図１９】レーザーレーダー測距部による傾斜の検出を説明する図の一例である。
【図２０】傾斜角と近似曲線の数を対応づけたテーブルの一例である。
【図２１】傾斜がある場合の路面領域の検出について説明する図の一例である。
【図２２】レーザーレーダー測距部による傾斜の検出を説明する図の一例である。
【図２３】傾斜がある場合の路面領域の検出について説明する図の一例である。
【図２４】画像処理装置の物体認識手順を示すフローチャート図の一例である。
【発明を実施するための形態】
【００１１】
〔路面領域の検出と生じる不都合について〕
まず、図１を用いて本実施形態の路面領域の検出方法について概略を説明する。図１（ａ）は車両が走行している路面の勾配を示す図の一例である。車両は左方向に平坦な道路を走行している。
【００１２】
図１（ｂ）は、車載されたカメラが撮像した画像を模式的に説明する図の一例である。カメラは車両に固定されているので（例えば、路面に水平な方向に光軸を向けて固定されている）、路面領域１０１の消失点は画像の上下方向のある決まった高さになる。画像処理装置は、画像の水平方向１ライン分の路面の視差値はほぼ一定になることを利用して路面領域１０１を決定する（詳しくは後述する）。なお、カメラの光軸は特許請求の範囲の撮像方向の一例である。
【００１３】
図１（ｃ）は、路面領域１０１に対する物体候補領域１０３の配置を模式的に説明する図の一例である。画像処理装置は、後述するように画像に対し物体認識処理を施して、Ａ〜Ｃの物体候補領域１０３を認識する。車両のドライバー（運転者）が注意すべき物体は路面上の物体であると考えられる。そこで、画像処理装置は、路面領域１０１と少なくとも一部が重複する物体候補領域１０３には物体が撮像されていると判断して、路面領域と一部が重複する物体候補領域１０３を物体領域として検出する。そして、車両は物体領域に基づいて注意喚起などの運転支援を行う。
【００１４】
次に、図２を用いて従来の路面領域の検出方法による不都合について説明する。図２（ａ）は車両が走行している路面の勾配を示す図の一例である。車両は左方向に登坂路を走行している。
【００１５】
図２（ｂ）は、車載されたカメラが撮像した画像を模式的に説明する図の一例である。車両が登坂路を走行している場合、路面領域１０１の消失点は、平坦な道路１０５を走行している場合よりも画像の上方向に移動する。しかし、画像処理装置は登坂路を走行していることを検知していないので、平坦な道路を走行している場合と同様に路面領域１０１を検出する。このため、実際の道路１０５とは異なった領域を路面領域１０１として検出する。
【００１６】
図２（ｃ）は、路面領域１０１に対する物体候補領域１０３の配置を模式的に説明する図の一例である。物体候補領域Ａ，Ｂは画像処理装置が検出した路面領域１０１上に存在する。しかし、路面領域１０１と実際の道路１０５とが異なっているため、物体候補領域Ｃは、実際の道路１０５上であるが路面領域１０１と重複していない。この場合、画像処理装置は、物体候補領域Ｃには、車両のドライバーが注意すべき物体が撮像されていない（例えば、ビルなど）と判断する。このため、車両は物体候補領域Ｃの物体に基づいて注意喚起などの運転支援を行うことができない状況が生じてしまう。
【００１７】
逆に、物体候補領域Ｄは、実際の道路１０５上には存在していないにも関わらず、画像処理装置が検出した路面領域１０１と重複しているため、路面領域１０１を走行していると判断されてしまう。このため、車両は、物体候補領域Ｄの物体に基づいて注意喚起などを行う不要な運転支援を行うおそれが生じてしまう。
【００１８】
続いて、図３に基づき傾斜が降坂路になっている場合について説明する。降坂路の場合も同様の状況が生じうる。図３（ａ）に示すように、車両は左方向に降坂路を走行している。しかし、画像処理装置は降坂路を走行していることを検知していないので、図３（ｂ）に示すように、平坦な道路を走行している場合と同様に路面領域１０１を検出する。このため、実際の道路１０５とは異なった領域を路面領域１０１として検出する。
【００１９】
図３（ｃ）は、路面領域１０１に対する物体候補領域１０３の配置を模式的に説明する図の一例である。物体候補領域Ａ，Ｂは画像処理装置が検出した路面領域１０１上に存在する。しかし、物体候補領域Ｃは、実際の道路１０５には存在しないが、路面領域１０１と重複しているため、車両は物体候補領域Ｃの物体に基づいて注意喚起などの運転支援を行ってしまう状況が生じてしまう。なお、図２の登坂路の場合と同様に、運転支援すべき物体候補領域に対し運転支援されないという状況も生じうる。
【００２０】
なお、図２、３では、道路１０５の形状と路面領域１０１の形状はそれほど大きく違っていないが、検出された直線次第では消失点も大きく変動するので、路面領域１０１の形状が道路１０５から大きくずれるおそれがある。
【００２１】
本実施形態の画像処理装置１００はこのような不都合に対し、路面に傾斜がある場合でも路面領域１０１を精度よく検出することを可能にする。
【００２２】
〔本実施形態の画像処理装置による路面領域の検出の概略〕
図４は、本実施形態の画像処理装置による路面領域１０１の検出の概略を模式的に説明する図の一例である。図４（ａ）に示すように、車両は左方向に登坂路を走行している。
【００２３】
画像処理装置は、画像処理結果（又はレーザーレーダーの測距結果）から坂路を走行していることを検出すると、図４（ｂ）の右図に示すように、路面領域の検出のための直線検出を視差値の領域毎に複数回行う（視差画像のｙ座標毎の視差値のヒストグラムのピークから直線１０４を検出する処理）。図では３本の直線１０４が検出されている。本実施形態では、この直線１０４の数を、レーザーレーダーの測距結果から得られた路面の傾斜に応じて決定することが特徴の１つになっている。
【００２４】
複数の直線１０４で近似することで近似精度が向上するので、図４（ｂ）の左図の視差画像のｙ座標方向の路面の範囲を精度よく特定できる。例えば、視差画像の消失点と右図の直線のｙ切片が一致しやすくなり、複数の直線１０２で路面領域１０１の外縁を決定できる。したがって、視差画像の路面領域１０１の形状を実際の道路１０５に近づけることができる。
【００２５】
図４（ｃ）は、路面領域１０１に対する物体候補領域の配置を模式的に説明する図の一例である。物体候補領域Ｃは、画像処理装置が検出した路面領域１０１と重複するので、車両は物体候補領域Ｃの物体に基づいて注意喚起などの運転支援を行うことができる。また、物体候補領域Ｄは、画像処理装置が検出した路面領域１０１と重複しないので、車両は物体候補領域Ｄの物体に基づいて運転支援することを抑制できる。
【００２６】
このように、カメラが撮像した距離画像とレーザーレーダーを組み合わせ、平坦な道路では１本の直線で検出していた路面領域を複数の直線で近似することで、高い精度で路面領域１０１を検出でき、この結果、高い精度で物体を認識することができる。
【００２７】
〔構成例〕
以下、本発明を実施するための形態について図面を参照しながら説明する。
本実施形態において路面領域とは、車両が走行可能な程度に凹凸が少ない領域をいう。典型的な例としては、一般道、高速道（自動車専用道路）、私道、農道、林道、公園道路・園路、里道などである。また、道路と呼ばれていなくても、車両が走行可能な領域であれば路面領域に含まれる。路面領域は特許請求の範囲の画像領域の一例である。
【００２８】
また、本実施形態で用いる物体とは、運転支援を行うために検出される車両などの検出対象物を言うが、物体の検出過程では運転支援を行う対象物以外も物体として検出され得る。また、画像処理装置は、いわゆる全ての物体を検出するのではなく、運転支援を行うために適切な物体を検出するものである。したがって、物体とは検出対象又は検出対象物を意味している。
【００２９】
図５は、画像処理システム２００の機能ブロック図の一例である。画像処理システム２００は画像処理装置１００、ステレオカメラ９９、レーザーレーダー測距部２８、及び、ＥＣＵ（Electronic Control Unit：電子制御ユニット）９８を有している。画像処理装置１００は、ステレオ画像入力部２１、輝度画像入力部２２、視差画像計算部２３、物体候補領域認識部２４、路面検出処理部２５、物体認識処理部２６、及び、物体認識結果出力部２７を有している。
【００３０】
ステレオカメラ９９は、同期されたステレオ画像（同時刻に撮像された左画像と右画像）を撮像してステレオ画像入力部２１に出力する。ステレオカメラ９９は特許請求の範囲の撮像部の一例である。ステレオカメラ９９については後述する。なお、本実施形態では、ステレオカメラ９９により距離画像を撮像するが、画素の一部を距離検出に用いる単眼のTOFカメラ、カメラが動いているという前提で複数のフレームを比較して視差を算出する単眼カメラなどでもよい。単眼カメラでは基線長を合わせるキャリブレーションなどが不要になるのでコストを抑制できる。
【００３１】
ステレオ画像入力部２１は、ステレオ画像を輝度画像入力部２２と視差画像計算部２３に出力する。輝度画像入力部２２はステレオ画像の左画像又は右画像を輝度画像として物体候補領域認識部２４に出力する。画像は画像処理装置１００のメモリ領域に記憶される。左画像又は右画像のどちらを入力するかは予め定められている。コントラストなどの画質を評価して動的に切り替えてもよい。
【００３２】
視差画像計算部２３は、ステレオ画像入力部２１から入力されたステレオ画像を用いて左右の画像における結像位置の差（すなわち視差）を計算する。視差は画素毎又は画素ブロック毎に算出され、画素又は画素ブロックに視差情報が対応づけられた視差画像が得られる。視差を求めるためにはステレオ画像に重複領域が必要なため、視差画像は厳密にはステレオ画像の重複部分となる。
【００３３】
また、画像処理装置１００は、視差により画素又は画素ブロックごとに撮像されている対象までの距離を算出できる。画素又は画素ブロック毎に距離情報が対応づけられた画像を距離画像と称する。
【００３４】
なお、輝度画像と視差画像は同期している。すなわち、ステレオ画像の一方が輝度画像となるので、輝度画像と視差画像は同じ時刻に撮像されたものである。
【００３５】
物体候補領域認識部２４は視差画像計算部２３が出力した視差画像又は輝度画像入力部２２が出力した輝度画像を用いて、物体候補領域１０３を認識する。物体候補領域１０３は特許請求の範囲の検出対象候補領域の一例である。
【００３６】
レーザーレーダー測距部２８は、例えばパルス状のレーザー光を照射し、物体に当った反射光を受光する。レーザー光が当たった物体又は物体においてレーザー光が当たった位置が特許請求の範囲の反射位置である。レーザーレーダー測距部２８は特許請求の範囲の電磁波照射部の一例である。
【００３７】
反射光は特許請求の範囲の反射波の一例である。レーザー光の発射から受光までの時間を計測することで、物体までの距離を計測する。また、レーザー光を照射した方向と距離から横位置を算出できる。
【００３８】
路面検出処理部２５は、少なくとも視差画像を用いて路面領域１０１を検出する。また、路面検出処理部２５は、レーザーレーダー測距部２８から入力された物体情報（距離、方位（横位置・傾斜）、相対速度）に基づき道路の勾配を推定し、路面領域１０１の検出ための設定値を変更する。設定値は、路面領域を決定するための直線の数であり、平坦な道路では「１」、傾斜のある道路では「２」以上となる。
【００３９】
測距情報取得部２９は、レーザーレーダー測距部２８が検出した物体情報を取得して、路面検出処理部２５に出力する。
【００４０】
物体認識処理部２６は路面検出処理部２５が検出した路面領域１０１に対する、物体候補領域認識部２４が認識した物体候補領域１０３の相対的な位置に基づき、物体候補領域１０３から物体領域を検出する。物体領域は、特許請求の範囲の検出対象領域の一例である。
【００４１】
そして、物体認識結果出力部２７は物体認識処理部２６が認識した物体領域について、物体情報を出力する。物体情報は、距離、方位（横位置）、相対速度、などである。
【００４２】
ＥＣＵ９８は、画像処理装置１００（又はレーザーレーダ測距部２８）が出力する物体情報を用いて各種の運転支援を行う。運転支援は車両によって様々であるが、例えば、物体の横位置が自車両の車幅と重なる場合、ＴＴＣ(Time To Collision)に応じて警報、制動、などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリングを操舵する。
【００４３】
また、ＥＣＵ９８は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、画像処理装置１００が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御を行うことができる。
【００４４】
また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警報することで被害を軽減する。
【００４５】
なお、図４の構成は一例にすぎず、ステレオカメラ９９が画像処理装置１００の機能を有していてもよい。また、レーザーレーダー測距部２８が画像処理装置１００に含まれていてもよい。ステレオカメラ９９、画像処理装置１００、及び、レーザーレーダー測距部２８が一体に構成されていてもよい。
【００４６】
＜ステレオカメラ、視差画像について＞
図６は、ステレオカメラ９９のハードウェア構成図の一例である。被写体光は、まずステレオカメラ９９の左右の撮像光学系１（レンズ）と２を通過してＣＭＯＳ（Complementary Metal Oxide Semiconductor）３と４に結象する。ステレオカメラ９９は、ＣＰＵ（Central Processing Unit）１１によって、全体の動作が制御される。なお、ステレオカメラはカラー撮像が可能であってもよい。この場合、ＲＧＢのいずれかの画像が用いられるか又は輝度画像に変換されてから、路面検出や物体認識が行われる。また、ステレオカメラは偏光フィルタを介して撮像してもよい。偏光フィルタを介することで、肉眼では目視が困難な映像が得られ、路面検出や物体認識の精度が向上する。
【００４７】
ＣＭＯＳ３とＣＭＯＳ４は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。撮像素子としてＣＣＤを採用してもよい。ＣＭＯＳではＣＭＯＳ３とＣＭＯＳ４から出力された画像データは、ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路５、ＣＤＳ６によりノイズ成分を除去され、Ａ／Ｄ変換器7、8によりデジタル値に変換された後、画像処理回路９、１０に対して出力される。
【００４８】
ＣＭＯＳ３、４、ＣＤＳ回路５，６、及び、Ａ／Ｄ変換器７，８は、ＣＰＵ１１により制御されるタイミング信号発生器１８により動作するタイミングが制御されている。
【００４９】
画像処理回路９、１０は、画像データを一時格納するＳＤＲＡＭ（SynchronousＤＲＡＭ）１２を用いて、ＲＧＢ→ＹＣｒＣｂ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。
【００５０】
また、画像処理が施されたＳＤＲＡＭに記憶されている画像データは、画像圧縮伸張回路１３により圧縮され、メモリカード１４に記録される。画像圧縮伸張回路１３は、画像処理回路９、１０から出力される画像情報を圧縮してメモリカードに出力すると共に、メモリカード１４から読み出した画像情報を伸張して画像処理回路９、１０に出力する回路である。
【００５１】
画像処理回路９，１０、画像圧縮伸張回路１３、及び、メモリカード１４も、ＣＰＵ１１によって制御されている。
【００５２】
ステレオカメラ９９は、プログラムなどを格納した読み出し専用メモリであるＲＯＭ（Read Only Memory）１６を有し、ＣＰＵ１１はプログラムに従って各種演算処理を行う。また、ＣＰＵ１１が、各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Random Access Memory）１７などを有している。主要なブロックは、バスライン１９によって相互接続されている。
【００５３】
ステレオカメラ９９が撮像したステレオ画像は画像処理装置１００のステレオ画像入力部２１に出力される。
【００５４】
図７は、ステレオカメラ９９が撮像したステレオ画像の一例を示す。このステレオ画像は同時に撮像されたものでありほぼ同じ画像であるが、視差が生じている。視差画像計算部２３はステレオ画像入力部２１から入力されたステレオ画像を用いて、撮像対象の左右の画像における位置の差（視差を計算する）。
【００５５】
図８は、ステレオカメラ９９の構成と視差について説明する図の一例である。被写体Ｓ上の点Ｏの像は、左右のレンズを通過して焦点距離ｆにある画像素子に結象する。レンズから被写体Ｓまでの距離をＺ、左右のレンズの中心間の距離（基線長）をＤとする。また、左右の画像における結像位置がレンズの中心からそれぞれΔ１とΔ２であるとする。したがって、点Ｏの視差はΔ＝Δ１＋Δ２である。
【００５６】
このような視差は、左右の画像の同じ部分をブロックマッチングすることで算出される。すなわち、左画像又は右画像のどちらかを基準画像とする。例えば、左画像を基準画像にした場合、着目画素を中心とするブロックに左の画像を分割し、同じ位置の右の画像のブロックとの画素毎の輝度値の差の合計を算出する。右の画像でブロックを水平方向に１画素ずつずらしながら、画素毎の輝度値の差の合計の算出を繰り返し行う。左右の画像のブロック同士の輝度値の差の合計が一番少ない時の、ブロックの移動量が視差に相当する。例えば、左画像の（ｘ、ｙ）を中心とするブロックと、右画像の（ｘ＋Δ、ｙ）を中心とするブロックの輝度値の差の合計が最小だった場合、視差はΔである。
【００５７】
ブロックのサイズは任意であるが、画像サイズが１２８０×９６０画素の場合、ブロックのサイズは例えば５×５サイズとする。なお、ブロックサイズの最適値は実験的に調整、設定される。
【００５８】
また、視差をΔとした場合、距離Ｚは以下のように表される。
Ｚ = Ｄ・ｆ／Δ
得られた視差画像と輝度画像は、次述の画像処理装置１００のＲＡＭ１１２などに記憶される。輝度画像から物体認識処理が行われ、視差画像から物体までの距離が算出されるため、視差画像と同時刻に撮像された輝度画像がセットにしてＲＡＭ１１２などに記憶される。
【００５９】
＜画像処理装置のハードウェア構成図＞
図９は、画像処理装置のハードウェアブロック図の一例を示す。画像処理装置１００は、情報処理装置を用いて実現できる。情報処理装置としては、例えば車載されるマイコンが挙げられる。また、ステレオカメラ９９が路面領域１０１の検出や物体認識まで行う場合は、図９のような独立したハードウェアは不要となる。
【００６０】
画像処理装置１００は、ＣＰＵ１１１、ＲＡＭ１１２、フラッシュＲＯＭ１１３、Ｉ／Ｏ１１４、及び、ネットワークＩ／Ｆ１１５を有する。ＣＰＵ１１１は、フラッシュＲＯＭ１１３に記憶されたプログラム１２０を実行して画像処理装置１００の全体の動作を制御する。フラッシュＲＯＭ１１３に記憶されているプログラム１２０は、路面領域１０１の検出や物体認識するためのプログラムである。プログラム１２０は、メモリカード１１６に記憶された状態で配布されてもよいし、不図示のサーバから携帯電話網や無線ＬＡＮ網などの通信網を経由してダウンロードされることで配布されてもよい。
【００６１】
ＲＡＭ１１２は、ＣＰＵ１１１がプログラムを実行する際のワークエリア（プログラムやデータが一時的に記憶される）として使用される。Ｉ／Ｏ１１４は、Ｉ２ＣやＵＡＲＴなどの入出力インタフェースである。ネットワークＩ／Ｆ１１５はＣＡＮ、イーサネット（登録商標）、Ｆｌｅｘｒａｙ、ＭＯＳＴなどの車載ネットワーク上で通信するための通信装置である。画像処理装置１００はステレオカメラ９９からネットワークＩ／Ｆ１１５を介してステレオ画像を取得する。また、ネットワークＩ／Ｆ１１５を介してレーザーレーダー測距部２８から物体情報（距離、方位（横位置・傾斜）、相対速度）などを取得する。また、ネットワークＩ／Ｆ１１５を介してＥＣＵ９８に物体情報を出力する。
【００６２】
＜レーザーレーダー測距部＞
図１０は、レーザーレーダー測距部２８の概略構成図の一例である。レーザーレーダー測距部２８は、上下方向、及び、左右方向に照射方向を変えながらレーザー光を照射して、物体で反射したレーザー光を受信することで物体までの距離と方位（横位置・傾斜）、相対速度を検出する。なお、本実施形態では、レーザーレーダー測距部２８は路面の傾斜を検出するために用いられるため、左右方向にレーザー光を走査できなくてもよい。また、物体は、主に移動体を言うが、地上に固定された立体物（ガードレール、標識）や路面もレーザー光を反射するので、レーザー光を反射した物には移動体以外の物が含まれる場合がある。
【００６３】
レーザーレーダー測距部２８では、送光部９１０、受光部９２０、制御部となるＥＣＵ９３０等を有している。送光部９１０及び受光部９２０は、自動車等の車両の前方に存在している物体を検出することができるように、車両の前方に設置されている。後方や後側方の車両を検出するために、後方や後側方に設置してもよい。
【００６４】
送光部９１０は、パルス状のレーザー光を出射する半導体レーザダイオード（ＬＤ：laser diode）９１１、光スキャナ９１２、ＬＤ９１１からの光を光スキャナ９１２に導くための入力光学系９１３、光スキャナ９１２を通過したレーザー光について、路面に対するレーザー光の傾斜角等を制御するための出力光学系９１４等を備えている。
【００６５】
ＬＤ９１１は、ＬＤ駆動回路９１５を介してＥＣＵ９３０に接続されており、ＥＣＵ９３０からのＬＤ駆動信号により定期的に又は連続してレーザ光を出射する。このＬＤ駆動信号は時間計測回路９４３に入力される。なお、レーザー光は、主に半導体レーザが用いられるが、固体レーザー、ガスレーザー、色素レーザなど発光原理はどのようなものでもよい。また、レーザー光は指向性、収束性の良好な電磁波の一種である。
【００６６】
光スキャナ９１２は、光スキャナ駆動回路９１６を介しＥＣＵ９３０と接続されており、所定の固定周波数でＬＤ９１１から出射されたレーザー光を水平方向に繰り返し走査する。 
光スキャナ９１２におけるレーザー光の走査角は走査角モニタ９１７によって検出され、ＥＣＵ９３０側に出力され、光スキャナ駆動信号にフィードバックすることにより走査角度（方位・傾斜）及び走査周波数を制御する。
【００６７】
受光部９２０は、受光レンズ９２１及び受光素子９２２等を有しており、車両前方の物体から反射されたレーザー光は受光レンズ９２１及び不図示のミラー素子等を介し受光素子９２２に入射する。
【００６８】
受光素子９２２は、フォトダイオード等により形成されており、反射光における光強度に対応する電圧値の電気信号を出力する。 受光素子９２２より出力された電気信号は、増幅器９４１において増幅され、コンパレータ９４２に出力される。
【００６９】
コンパレータ９４２では増幅器９４１からの出力電圧の値を基準電圧Ｖ０と比較し、出力電圧の値がＶ０よりも大きくなったときに、所定の受光信号を時間計測回路９４３に出力する。
【００７０】
時間計測回路９４３は、ＥＣＵ９３０からＬＤ駆動回路９１５へ出力されるＬＤ駆動信号が出力されてから受光信号が発生するまでの時間、即ち、レーザー光を出射した時刻と、反射光を受光した時刻の時間差を計測時間データとして、ＥＣＵ９３０に出力する。この計測時間データに基づいて、ＥＣＵ９３０において、物体までの距離を算出することができる。
このような構成の走査型のレーザーレーダー測距部２８において、送光部９１０に用いられる光スキャナ９１２として、ポリゴンミラーやガルバノミラー、ＤＭＤ（Digital Mirror Device）等を用いたものがある。
【００７１】
図１１は、ポリゴンミラーを用いた光スキャナ９１２の一例を示す。ポリゴンミラー９５１のミラー面９５１ａには、入力光学系９１３を介しミラー９５２で反射されたレーザー光が照射される。
【００７２】
ポリゴンミラー９５１は回転軸９５１ｂを中心に回転している。ミラー面９５１ａに照射された光は反射されるため、水平方向において広範囲にレーザー光を出射させ走査することができる。これにより、広範囲な領域において距離測定が可能となる。
【００７３】
また、本実施形態では、垂直方向においてもレーザー光を走査することができる。このような２次元スキャンを実現するための手段としては、走査方向が９０°異なるミラー等の走査デバイスを直列に接続し、水平方向にレーザー光を走査した直後に垂直方向のレーザー走査を行なう構造がある。
【００７４】
また、垂直方向に複数のポリゴンミラーを積層し、上下方向に複数のレーザー光を水平に走査してもよい。より簡便に複数ライン走査を達成するために、回転ポリゴンミラーの光軸に対して反射面に倒れ角を設け、複数の反射面に対して互いに倒れ角が異なるように形成した構造のものがある。
【００７５】
また、レーザー光を走査させずに、複数もしくは１つの固定レーザー光を用いる構成としてもよい。
【００７６】
＜物体候補領域の認識＞
物体候補領域認識部２４は輝度画像入力部２２から入力された輝度画像を用いて（又は視差画像を用いてもよい）、車、歩行者などが含まれる物体候補領域１０３を認識する。物体認識には、Haar-like特徴量を用いる方法やＨＯＧ（Histograms of Oriented Gradients）特徴量を用いた方法が知られている。本実施形態ではどちらを使用してもよく、また、組み合わせて使用してもよい。以下、順番に説明する。
【００７７】
物体候補領域認識部２４は、事前に物体の学習データを用いて、認識用辞書を作成する。例えば、Haar-like特徴量を用いて認識する場合、車両又は歩行者の認識に適したHaar-like特徴量の重み付けを学習する。
【００７８】
図１２はHaar-like特徴量の一例を示す図である。学習の前にこのような白黒の画素の組み合わせ（車や歩行者の認識に適切と思われるもの）をいくつかリストアップしておく。また、予め、車や歩行者が撮像されている種々のサイズの画像データ（以下、正教師データという）を用意しておく。また、同じサイズの車や歩行者が撮像されていない画像データ（以下、負教師データという）を用意しておく。
【００７９】
物体候補領域認識部２４は、正教師データとHaar-like特徴量を重ね合わせ、白い領域内の画素値を足し算し、黒い領域内の画素値を足し算し、両者の差を算出する。差が大きいほどHaar-like特徴量との一致性がよいと判断する。したがって、正教師データとの差は大きいほど好ましく、負教師データとの差は小さいほど好ましい。物体候補領域認識部２４は、歩行者や車の認識に適したHaar-like特徴量には大きな重みづけをして、そうでないHaar-like特徴量には小さな重みづけを行うことで重みづけを学習する。
【００８０】
例えば、各Haar-like特徴量の重み付けをαt（ｔはHaar-like特徴量の番号）とする場合、以下のようにしてαtを決定する。
i) まず、正教師データと負教師データに均等な重みを割り当てる。
ii) 全ての教師データと１番目のHaar-like特徴量の一致度（合計輝度値の差）を算出し、閾値と比較して正解率を算出する。
iii) 正解率を用いて重み付けα１を算出する。
iv) １番目のHaar-like特徴量で正解となった教師データの重みづけを減らし、不正解となった教師データの重みづけを増やす。これにより、２番目以降のHaar-like特徴量では、１番目のHaar-like特徴量では認識しにくい教師データを認識できる傾向が得られる。
v) 以降は順番に重み付けα２、α３…、αTを算出していく。
【００８１】
このような学習方法をBoostingと称するが、学習にはＳＶＭ（サポートベクターマシン）などを用いてもよい。
【００８２】
【数１】
2015143979.tif 000003
式（１）においてαtはHaar-like特徴量の重みづけを、ｈt(x)はHaar-like特徴量を、Ｔは各階層におけるHaar-like特徴量の数をそれぞれ意味する。したがって、式（１）はブロックに対し１つの階層の全てのHaar-like特徴量による一致度を算出した値の合計を意味している。車や歩行者が含まれる画像では一致度が大きいほど確度が高いので、式（１）の算出結果が閾値以上の場合、車や歩行者であると判断される。
【００８３】
図１３は、物体候補領域認識部２４が有する物体識別器を模式的に説明する図の一例である。この物体識別器は、複数の識別器が階層毎に直列に接続されることで構成されている。各階層には、学習により得られた1つ以上のHaar-like特徴量の特徴セットが設定されている。
【００８４】
階層は１〜ｎまであり、階層１で車両又は歩行者であると判断されたブロックがブロック２に出力され、階層２で車両又は歩行者であると判断されたブロックがブロック３に出力される。最終的に階層ｎで車両又は歩行者であると判断されたブロックには車両や歩行者が含まれていると判断され、物体候補領域１０３となる。
【００８５】
各階層は式（１）に示す評価関数を持っている。そして、評価関数の出力値が予め設定した閾値より小さい場合、物体でないと判断してそのブロックの評価を中止する。
【００８６】
本実施形態では、初期の階層ほど画像から取り出されるブロックのサイズが大きくなっている。この理由として、本実施形態では、ブロックのサイズの正規化を行うので（又はHaar-like特徴量のサイズを正規化してもよい）、大きいブロックと小さいブロックの処理時間は同じである。１つの画像では大きいブロックとして検出されるブロックの数は少なく、小さいサイズのブロックとして検出されるブロックの数は多い。よって、大きいサイズのブロックから選択すると、ブロックに物体が含まれていないと認識されることで、そのブロックの以下の階層における認識が不要になり、物体の認識に要する時間（１つの画像を処理する時間）を短縮できる。
【００８７】
図１４は、ブロックの検出と物体の認識を模式的に説明する図の一例である。物体候補領域認識部２４は、図１４に示すように、画像から矩形のブロック１を切り出す。矩形の左上の座標（Xs,Ys）と右下の座標矩形（Xe,Ye）によりブロックの画像内での位置とサイズが定まる。ブロック１は、まず、階層１の評価関数により歩行者や車両かが含まれるか否かが判断される。
【００８８】
手前側の階層で物体があると判定されたブロックは次の階層に出力され、より小さいブロックが検出されて同様の判断が行われる。最後の階層ｎで物体でないと判断されないブロックは物体候補領域１０３と判断される。
【００８９】
続いて、ＨＯＧ特徴量に基づく認識について説明する。ＨＯＧ特徴量は、画像のブロック毎の輝度勾配ヒストグラムである。画像の一部のブロックを所定画素数のセルに分割し、セル内のエッジを検出してエッジの勾配を例えば９方向のいずれかに分類する。ブロック毎に輝度勾配のヒストグラムを作成して正規化する。正規化された輝度勾配ヒストグラムがＨＯＧ特徴量となる。
【００９０】
物体候補領域認識部２４は、Haar-like特徴量と同様に、用意された正教師データと負教師データからＨＯＧ特徴量を算出する。ＨＯＧ特徴量の識別器は車両又は歩行者の画像から作成された輝度勾配ヒストグラムである。ヒストグラム同士の類似度はユークリッド距離やBhattacharyya距離で算出される。正教師データでは類似度が閾値以上であれば正解と判断され、負教師データでは類似度が閾値未満であれば正解と判断される。
【００９１】
したがって、Haar-Like特徴量と同様に、識別器に重み付けαtを設定し、Boostingにより教師データを学習して重みづけを決定することができる。
【００９２】
図１５（ａ）は画像における物体候補領域１０３の認識結果の一例を、図１５（ｂ）は画像における各物体候補領域Ａ〜Ｆの位置をそれぞれ示す。物体候補領域Ａ、Ｃ，Ｅ及びＤには車両が撮像されていることが分かる。一方、物体候補領域Ｂ，Ｆには物体が撮像されておらず、現状では誤認識されている。しかしながら、後述するように、物体認識処理部２６が路面領域１０１との相対位置を考慮することで物体候補領域Ｂ，Ｆを排除できる。
【００９３】
〔路面領域の検出〕
図１６は、路面領域１０１の検出について説明する図の一例である。ここでは説明のため、道路は平坦であるとして説明する。図１６（ａ）は視差画像における路面領域１０１を模式的に示し、図１６（ｂ）は視差ヒストグラムを示している。
【００９４】
視差ヒストグラムは、視差画像の水平１ラインの視差値Δのヒストグラムである。路面領域１０１は平坦なので水平方向１ラインの視差値Δはほぼ一定である。したがって、路面領域１０１が存在する場合、水平方向１イランの視差値Δのヒストグラムはこの一定の視差値Δに集中するため、該視差値Δでピークになる。
【００９５】
図１６（ｂ）では、視差画像の水平方向１ラインの視差値のヒストグラムが、ｙ座標（画像の上下方向）に対して打点（プロット）されている。視差値Δは遠方に行くほど（ｙ座標が小さくなる方向）徐々に小さくなっていく。また、水平方向の路面領域１０１の長さも徐々に短くなる。したがって、図１６（ｂ）に示すように、ヒストグラムのピークは、遠方ほど徐々に小さくなりながら徐々に左上方向に移動する。
【００９６】
そして、視差画像のｙ座標に対しヒストグラムがピークとなる視差をプロットした散布図において、ピークとピークを結ぶ線は、直線になる。これは、平坦な道路ではｙ座標と視差値Δに比例関係があるためである。したがって、この直線を検知することで、路面領域１０１を検知できる。
【００９７】
図１７（ａ）は、ヒストグラムのピークから求められた道路勾配曲線１０７を示す図の一例である。道路が平坦な場合、道路勾配曲線１０７は直線になる。点の集まりから直線を作成する方法としてはＨｏｕｇｈ変換が知られている。または、最上二乗法で直線近似し、相関係数が直線に十分に近い値（例えば、１．０を最大とする場合に０．９以上）を示す場合に直線が検出されたと判定してもよい。
【００９８】
直線が検出され路面領域１０１が検出された場合、路面検出処理部２５は、ヒストグラムがピークとなる視差値の画素を、視差画像上で特定する。すなわち、ヒストグラムのピークの視差値と視差画像の視差値とを対応づける（マッピング）。
【００９９】
図１７（ｂ）はマッピングを説明する図の一例である。同じｙ座標において、ヒストグラム図の直線上のピークの視差値と、同じ視差値の視差画像上の画素を特定する。これにより、ピークの視差値と対応づけられた視差画像の画素領域が路面領域１０１である。
【０１００】
なお、路面領域１０１の視差は厳密には一定ではないので、路面領域１０１の全てを特定できるとは限らない。このため、路面検出処理部２５は点と点の間に補間処理を施し路面領域１０１を作成する。すなわち、任意のｙ座標においてマッピングされた最も左端と最も右端の間の水平線は路面領域であると推定されるので、水平方向に補間処理を行う。また、各ｙ座標において路面領域の最左の点を直線近似し、最右の点を直線近似してもよい。これにより、外縁が直線形状となる路面領域１０１を決定できる。
【０１０１】
＜傾斜がある場合＞
続いて、図１８を用いて、傾斜のある道路を走行中の路面領域１０１の検出について説明する。図１８（ａ）に示すような勾配変化の大きい路面の場合、図１８（ｂ）に示すようにヒストグラムのピークを結ぶ線は直線に乗らない。これは、ｙ座標が小さくなっても（遠方の路面に着目しても）路面が傾斜していることにより、路面が接近して見えるため、ピークの位置が視差値Δの大きい方にシフトするためである。
【０１０２】
このようなピーク位置は、複数の直線で直線近似すれば、運転支援上は大きな不都合がない程度に路面領域１０１を検出できる。しかし、適切な直線の数を設定することは困難である。これは、直線の数が少ないと、曲線の近似精度が不十分になり、誤差が大きくなるためである。また、近似曲線の数が多くなると、１つの直線の長さが短くなるとともに、直線近似の精度は低くなる。つまり、短い直線をＨｏｕｇｈ変換で検出する場合、直線検出の精度は低くなる。
【０１０３】
そこで、本実施形態の画像処理装置１００は、レーザーレーダー測距部２８が検出した傾斜に応じて直線の数を決定する。
【０１０４】
図１９（ａ）は、レーザーレーダー測距部２８による傾斜の検出を説明する図の一例である。図では上下方向にレーザー光が走査されている。走査によりＡ，Ｂ、Ｃの方向に照射されたレーザー光は路面で反射して受光部９２０で受光される。レーザー光が路面をとらえていることは、レーザー光の到達位置が物体候補領域１０３でないことから判断する。すなわち、図のようにＡ、Ｂ、Ｃの３つの方向からレーザー光が反射した場合、それぞれの方向と距離に物体候補領域１０３が存在するか否かに基づき、路面かどうか判断される。
【０１０５】
そして、路面からのレーザー光が受光された場合、路面検出処理部２５は最も遠方（仰角が高い方向）からの反射光に基づき、傾斜を判断する。これにより、遠方までの道路領域を検出できる。傾斜角は、図１９（ｂ）に示すように反射方向θである。
【０１０６】
なお、路面上のＡ、Ｂ、Ｃの点の高さと距離が得られているので、例えばＣ点とＯ点の間の高さの差に応じて傾斜を判断してもよい。高さｈはＬ・sinθで算出でき、Ｃ点とＯ点の水平方向の距離ＭはＬ・cosθで算出できる。したがって、方位（傾斜）のみから、又は、距離と方位（傾斜）から、傾斜を求めることができる。
【０１０７】
路面検出処理部２５は、傾斜が大きいほど近似直線の数を増やす。傾斜が小さいほど近似直線の数を少なくする。傾斜が大きいと、図１８（ｂ）の道路勾配曲線１０７に示すように、曲率が大きくなり直線近似するために多くの直線で近似した方が近似がよくなるためである。
【０１０８】
図２０は、傾斜角と近似曲線の数を対応づけたテーブルの一例である。このテーブルは、画像処理装置１００のフラッシュＲＯＭ１１３やＲＡＭ１１２などに記憶されている。また、ネットワークを介してアクセス可能なサーバなどに記憶されていてもよい。
【０１０９】
なお、傾斜角〔％〕とは、１００×（高さの変化／走行距離）である。また、傾斜角〔％〕は絶対値であり、登坂路と降坂路に対応している。傾斜が０〔％〕では、近似曲線の数は１本であり、傾斜角が大きくなるほど近似曲線の数が増大している。路面検出処理部２５は、レーザーレーダー測距部２８から取得した方位（傾斜）、又は、距離と方位（傾斜）に基づき傾斜角〔％〕を算出し、テーブルを参照して近似曲線の数を決定する。
【０１１０】
図２１は、傾斜がある場合の路面領域１０１の検出について説明する図の一例である。後述するようにして傾斜があることを検出すると、路面検出処理部２５は、レーザーレーダー測距部２８から方位（傾斜）、又は、距離と方位（傾斜）を取得する。そしてテーブルから近似曲線の数を決定する。ここでは３本に決定されたものとする。
【０１１１】
路面検出処理部２５はピークがある最大の視差値Δmaxと、ピークがある最小の視差値Δ０との間を長さａに３等分する。そして、これら視差値（Δ０〜Δmax）で特定される点Ｐ、Ｘ，Ｙ，Ｚ間から直線を検出する。すなわち、ＰからＸ、ＸからＹ、ＹからＺにあるヒストグラムのピークにそれぞれＨｏｕｇｈ変換を施す。このように近似直線の数を決定することで、多すぎず少なすぎない直線で道路勾配曲線１０７を直線近似することができる。
【０１１２】
路面検出処理部２５は、平坦な路面と同様に、ヒストグラムのピークの視差値に対応する視差画像の画素を特定することで路面領域１０１を検出する。また、路面領域１０１の左右の外縁から直線で特定するため、路面検出処理部２５は、路面領域の左右の外縁を道路勾配曲線１０７と同じ数の直線で近似する。すなわち、Ｐに対応するＰ´とＸに対応するＸ´、Ｘ´とＹに対応するＹ´、Ｙ´とＺに対応するＺ´の間をそれぞれ直線で近似する。なお、Ｐ´、Ｘ´、Ｙ´、Ｚ´は、ピークの視差値と同じ視差値を有する画素の右端の点である。左側の外縁についても同様に直線で近似する。Ｐ´´、Ｘ´´、Ｙ´´、Ｚ´´は、ピークの視差値と同じ視差値を有する画素の左端の点である。これらにより、勾配があっても、路面領域１０１を精度よく決定できる。Ｐ´とＸ´のｙ方向の範囲、Ｘ´とＹ´のｙ方向の範囲、Ｙ´とＺ´のｙ方向の範囲、はそれぞれ特許請求の範囲の「範囲」の一例である。
【０１１３】
続いて、降坂路の場合について説明する。図２２（ａ）は、レーザーレーダー測距部２８による傾斜の検出を説明する図の一例である。上下方向へのレーザー光の走査によりＡ，Ｂ、Ｃの方向に照射されたレーザー光は路面で反射して受光部９２０で受光される。路面からのレーザー光が受光された場合、路面検出処理部２５は最も仰角が水平に近い方向（最も遠方）からの反射光に基づき、傾斜を判断する。傾斜角は、図２２（ｂ）に示すように反射方向θである。なお、登坂路の場合と同様に、路面上のＡ、Ｂ、Ｃの点の高さと距離が得られているので、例えばＣ点とＯ点の間の高さの差に応じて傾斜を判断してもよい。
【０１１４】
図２３は、傾斜がある場合の路面領域１０１の検出について説明する図の一例である。降坂路の場合も同様に、ヒストグラムのピークを結ぶ線は直線に乗らない。これは、ｙ座標が小さくなると路面が傾斜していることにより、路面が遠方に見えるため、ピークの位置が視差値Δの小さい方にシフトするためである。
【０１１５】
路面検出処理部２５は、テーブルから近似曲線の数を決定する。以降の処理は登坂路の場合と同様である。
【０１１６】
＜傾斜のある路面の検出について＞
路面に傾斜あるか否かの判定について説明する。路面検出処理部２５は、傾斜のない道路を走行中は１本の直線により道路勾配曲線１０７を作成するので、傾斜の有無を判断して直線の数を増大させるか否かを判断する。この判断方法には、Ｈｏｕｇｈ変換により検出された直線を利用する方法と、レーザーレーダー測距部２８が検出する方位（傾斜）を利用する方法がある。
【０１１７】
図１８（ｂ）に示したピークを結ぶ曲線からも、Ｈｏｕｇｈ変換により直線が検出される可能性がある。傾斜があることを路面領域１０１を検出する前に検知するため、路面検出処理部２５は道路勾配曲線１０７の傾きを監視する。道路が平坦な場合、消失点のｙ座標が一定であるので、道路勾配曲線１０７の傾きはある既定値になる。これに対し、登降坂路の場合は、消失点が高くなる（ｙ座標が小さくなる）。降坂路の場合は、消失点が低くなる（ｙ座標が大きくなる）。また、消失点が上下すれば、道路勾配曲線１０７の傾きも変化する。
【０１１８】
したがって、路面検出処理部２５は、道路勾配曲線１０７の消失点（視差値がゼロの時のｙ座標）が、平坦な場合の消失点よりも有意に高い場合、登坂路があると判断する。また、道路勾配曲線１０７の消失点が、平坦な場合の消失点よりも有意に低い場合、降坂路があると判断する。
【０１１９】
同様に、道路勾配曲線１０７の傾きが、平坦な場合の傾きよりも有意に左上がりの場合、登坂路があると判断する。道路勾配曲線１０７の傾きが、平坦な場合の傾きよりも有意に左下がりの場合（有意差がある場合）、降坂路があると判断する。消失点、直線の傾きは特許請求の範囲のパラメータの一例である。
【０１２０】
直線の検出は従来から行われているので、道路勾配曲線１０７から判断することは負荷の増大を最小限に抑制できる。
【０１２１】
レーザーレーダー測距部２８が検出する方位（傾斜）を利用する場合、水平以外の方位から物体が検出され、その方向に物体候補領域１０３がない場合、道路に傾斜があると判断する。
【０１２２】
この場合、道路勾配曲線１０７の再度の算出が不要なので、道路勾配曲線１０７の算出負荷が増大することがない。ただし、常に、レーザーレーダー測距部２８が検出する方位（傾斜）に基づき傾斜の有無を判断する必要がある。
【０１２３】
〔動作手順〕
図２４は、本実施形態の画像処理装置１００の物体認識手順を示すフローチャート図の一例である。
【０１２４】
ステレオカメラ９９は周期的にステレオ画像を撮像するので、ステレオ画像入力部２１はステレオ画像を輝度画像入力部２２と視差画像計算部２３に出力する（Ｓ１０）。
【０１２５】
これにより、輝度画像入力部２２は左右いずれかの輝度画像を物体候補領域認識部２４に出力する（Ｓ４０）。
【０１２６】
また、視差画像計算部２３は視差を計算する（Ｓ２０）。
【０１２７】
物体候補領域認識部２４は、輝度画像又は視差画像から物体候補領域１０３を認識する（Ｓ３０）。
【０１２８】
路面検出処理部２５は、路面領域１０１を検出する（Ｓ５０）。ここで、路面検出処理部２５は道路に傾斜があることを検出すると、測距情報取得部２９はレーザーレーダー測距部２８から物体情報を取得する（Ｓ６０）。これにより、道路勾配曲線１０７と路面領域１０１を複数の直線で近似し、路面領域１０１を精度よく検出することができる。
【０１２９】
次に、物体認識処理部２６は、物体認識処理を行う（Ｓ７０）。すなわち、路面領域１０１と一部でも重複している物体候補領域１０３を物体領域として検出する。
【０１３０】
物体認識結果処理部は物体認識結果をＥＣＵ９８に出力する（Ｓ８０）。
【０１３１】
以上説明したように、本実施形態の画像処理装置１００は、カメラが撮像した距離画像とレーザーレーダーを組み合わせることで、高い精度で路面領域１０１を検出でき、高い精度で物体を認識することができる。 
また、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１３２】
例えば、ステレオカメラ９９は車両前方を撮像可能なように搭載されるが、前方だけでなく後方、後側方などを撮像可能なように搭載されてもよい。
【０１３３】
また、本実施形態では車両や歩行者のみの認識を説明したが、自転車やバイクなども認識することができる。
【０１３４】
また、画像処理装置が搭載される車両としては四輪の自動車の他、三輪車や車輪数が４つより多い大型のトラックなどでもよい。また、いわゆるオートバイと呼ばれる自動二輪車に搭載されてもよい。
【符号の説明】
【０１３５】
２１    ステレオ画像入力部
２２    輝度画像入力部
２３    視差画像計算部
２４    物体候補領域認識部
２５    路面検出処理部
２６    物体認識処理部
２７    物体認識結果出力部
２８    レーザーレーダー測距部
９８    ＥＣＵ
９９    ステレオカメラ
１００  画像処理装置
１０１  路面領域
１０２  直線
１０３  物体候補領域
１０５  道路
２００  画像処理システム
【先行技術文献】
【特許文献】
【０１３６】
【特許文献１】特開２０００‐３２９８５２号公報
【特許文献２】特開２００４‐２８７２７号公報
【図１】
2015143979.tif 000004
【図２】
2015143979.tif 000005
【図３】
2015143979.tif 000006
【図４】
2015143979.tif 000007
【図５】
2015143979.tif 000008
【図６】
2015143979.tif 000009
【図８】
2015143979.tif 000010
【図９】
2015143979.tif 000011
【図１０】
2015143979.tif 000012
【図１１】
2015143979.tif 000013
【図１２】
2015143979.tif 000014
【図１３】
2015143979.tif 000015
【図１４】
2015143979.tif 000016
【図１６】
2015143979.tif 000017
【図１７】
2015143979.tif 000018
【図１８】
2015143979.tif 000019
【図１９】
2015143979.tif 000020
【図２０】
2015143979.tif 000021
【図２１】
2015143979.tif 000022
【図２２】
2015143979.tif 000023
【図２３】
2015143979.tif 000024
【図２４】
2015143979.tif 000025
【図７】
2015143979.tif 000026
【図１５】
2015143979.tif 000027