(57)【要約】【課題】誤認識の発生を抑制できる。【解決手段】視差画像演算部２０３によって計算された視差値を画素値とした視差画像又は輝度画像に基づいて路面領域検出部２０４は路面領域を検出する。認識重み設定部２０５は、認識対象物の画像が存在する可能性の度合いが高い路面領域に高い認識重みを設定する。そして、認識対象物認識部２０６は認識重みが設定された路面領域内にある認識候補領域の認識対象物の画像に対し認識処理を行い、その認識処理の結果と路面領域に設定されている認識重みとに基づいて最終的な認識結果を出力する。【選択図】図４
2014211855.tif 000002
【特許請求の範囲】
【請求項１】
前方を撮像手段により撮像した撮像画像に基づいて前方に存在する認識対象物を認識する対象物認識装置において、
前記撮像画像から複数の認識領域を検出する認識領域検出手段と、
該認識領域検出手段によって検出された前記認識領域に対して、認識対象物の画像が存在している可能性の度合いを示す認識重みを設定する認識重み設定手段と、
該認識重み設定手段によって前記認識領域に対して設定された認識重みに基づいて、前記認識領域における認識対象物の認識を行う認識対象物認識手段と
を有することを特徴とする対象物認識装置。
【請求項２】
請求項１記載の対象物認識装置において、
前記撮像手段に、ステレオ画像を取得するステレオ撮像手段を用い、前記ステレオ画像の左右両方の撮像画像に基づいて撮像画像の視差値を計算する視差値計算手段を有し、
前記認識領域検出手段は、前記視差値計算手段によって計算された視差値を画素値とした視差画像又は輝度画像に基づいて複数の認識領域を検出することを特徴とする対象物認識装置。
【請求項３】
請求項１又は２に記載の対象物認識装置において、
前記認識領域検出手段は、前記視差値計算手段によって計算された前記撮像画像の視差値を用い、前記撮像画像の各高さにおける頻度値分布に基づいて、前記認識領域を検出することを特徴とする対象物認識装置。
【請求項４】
請求項１〜３のいずれかに記載の対象物認識装置において、
前記認識重み設定手段は、前記認識領域検出手段によって検出された前記認識領域のうちの路面に相当する路面領域を重点認識領域として最も重い認識重みを設定することを特徴とする対象物認識装置。
【請求項５】
請求項１〜３のいずれかに記載の対象物認識装置において、
前記認識重み設定手段は、前記認識領域検出手段によって検出された前記認識領域のうちの路面に相当する路面領域の片側又は両側にある歩道領域又は両側帯領域を重点認識領域として最も重い認識重みを設定することを特徴とする対象物認識装置。
【請求項６】
請求項１〜３のいずれかに記載の対象物認識装置において、
前記認識重み設定手段は、前記認識領域検出手段によって検出された前記認識領域のうちの路面に相当する路面領域上であって、かつ、前方の所定の距離における範囲を重点認識領域として最も重い認識重みを設定することを特徴とする対象物認識装置。
【請求項７】
前方を撮像手段によって撮像した撮像画像に基づいて前方に存在する認識対象物を認識する対象物認識方法において、
前記撮像画像から複数の認識領域を検出する認識領域検出工程と、
該認識領域検出工程において検出された前記認識領域に対して、認識対象物の画像が存在している可能性の度合いを示す認識重みを設定する認識重み設定工程と、
該認識重み設定工程において前記認識領域に対して設定された認識重みに基づいて、前記認識領域における認識対象物の認識を行う認識対象物認識工程と
を有することを特徴とする対象物認識方法。
【請求項８】
請求項７記載の対象物認識方法において、
前記撮像手段に、ステレオ画像を取得するステレオ撮像手段を用い、前記ステレオ画像の左右両方の撮像画像に基づいて撮像画像の視差値を計算する視差値計算工程を有し、
前記認識領域検出工程では、前記視差値計算工程において計算された視差値を画素値とした視差画像又は輝度画像に基づいて複数の認識領域を検出することを特徴とする対象物認識方法。
【請求項９】
前方を撮像手段によって撮像した撮像画像に基づいて前方に存在する認識対象物を認識する工程をコンピュータによって実行させるための対象物認識用プログラムにおいて、
前記撮像画像から複数の認識領域を検出する認識領域検出工程と、
該認識領域検出工程において検出された前記認識領域に対して、認識対象物の画像が存在している可能性の度合いを示す認識重みを設定する認識重み設定工程と、
該認識重み設定工程において前記認識領域に対して設定された認識重みに基づいて、前記認識領域における認識対象物の認識を行う認識対象物認識工程と
を前記コンピュータに実行させることを特徴とする対象物認識用プログラム。
【請求項１０】
請求項９記載の対象物認識用プログラムにおいて、
前記撮像手段に、ステレオ画像を取得するステレオ撮像手段を用い、前記ステレオ画像の左右両方の撮像画像に基づいて撮像画像の視差値を計算する視差値計算工程を前記コンピュータに実行させ、
前記認識領域検出工程では、前記視差値計算工程において計算された視差値を画素値とした視差画像又は輝度画像に基づいて複数の認識領域を検出することを特徴とする対象物認識用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前方を撮像手段によって撮像し、その撮像画像に基づいて前方に存在する認識対象物を認識する対象物認識装置、対象物認識方法及び対象物認識用プログラムに関するものである。
【背景技術】
【０００２】
従来、前方を撮影した撮像画像に基づいて対象物を認識する対象物認識装置は、例えば、車両の運転者の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムなどに利用されている。この運転者支援システムは、自車両が障害物等に衝突することを回避したり、衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自両車が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。
【０００３】
特許文献１には、自車両の前方を撮像手段により撮像して得た画像から認識対象物を認識することで、自車両の運転者の運転負荷を軽減させる運転支援装置が開示されている。この特許文献１の運転支援装置では、撮像手段によって自車両の前方の景観を撮像し、撮像画像に映されている物体の画像を撮像画像から対象物の色及び空間周波数によって検出する。そして、検出した空間周波数を積算して空間周波数分布を作成することで空間周波数の特徴を検出する。そして、検出した物体の色と空間周波数の特徴と、予め記憶している認識対象物毎の色及び空間周波数の特徴とを比較する認識処理を行い、認識対象物を認識する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記運転支援システムの機能を適切に実現するためには、自車両走行に対する障害物を精度よく認識することが重要である。しかしながら、上記特許文献１の運転支援装置では、撮影画像に、狙いの認識対象物の画像に類似している物体の画像が含まれていることがある。そして、その物体の画像に対しても予め記憶している認識対象物毎の色及び空間周波数の特徴とを比較する認識処理を行うので、認識対象物の画像に類似している物体の画像を認識対象物の画像であると誤認識してしまう虞がある。この結果、上記運転支援システムの機能を適切に実現することが難しくなる虞がある。
【０００５】
本発明は以上の問題点に鑑みなされたものであり、その目的は、障害物になる認識対象物の誤認識の発生を抑制できる、対象物認識装置、対象物認識方法及び対象物認識用プログムを提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１の発明は、前方を撮像手段により撮像した撮像画像に基づいて前方に存在する認識対象物を認識する対象物認識装置において、前記撮像画像から複数の認識領域を検出する認識領域検出手段と、該認識領域検出手段によって検出された前記認識領域に対して、認識対象物の画像が存在している可能性の度合いを示す認識重みを設定する認識重み設定手段と、該認識重み設定手段によって前記認識領域に対して設定された認識重みに基づいて、前記認識領域における認識対象物の認識を行う認識対象物認識手段とを有することに特徴がある。
【発明の効果】
【０００７】
本発明では、認識対象物の画像が存在している可能性の度合いを示す認識重みに基づいて、認識対象物の画像に類似した物体の画像が存在する画像領域に対し認識対象物の認識処理が行われたとき、物体の画像は認識対象物の画像であると一旦は認識される。しかし、例えば認識対象物の画像が存在している可能性の度合いが低い認識重みが設定された画像領域内にある画像は、認識対象物の画像ではない可能性がある。この場合は、誤認識の発生を抑制することに鑑み、当該物体の画像は認識対象物の画像ではないという認識結果を出力する。これにより、認識対象物の画像に類似した物体の画像を認識対象物の画像であると認識してしまうような誤認識の発生を抑制することができる。
よって、障害物になる認識対象物の誤認識の発生を抑制できる、という特有な効果が得られる。
【図面の簡単な説明】
【０００８】
【図１】車載機器制御システムの概略構成を示す模式図である。
【図２】同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。
【図３】同撮像ユニットの撮像部における画像センサを光透過方向に対して直交する方向から見たときの模式拡大図である。
【図４】図２における処理ハードウェア部及び画像解析ユニットによって実現される本実施形態の対象物認識装置の構成を示すブロック図である。
【図５】対象物認識処理を示すフローチャートである。
【図６】（ａ）は左のカメラレンズとセンサからステレオ画像、（ｂ）は右のカメラレンズとセンサからステレオ画像を示す図である。
【図７】測距演算の原理を説明する図である。
【図８】画像の範囲内の矩形の認識候補領域示す図である。
【図９】画像の範囲内の矩形の認識候補領域と路面領域を示す図である。
【図１０】認識重み設定テーブルを示す図である。
【図１１】認識重み設定テーブルを示す図である。
【図１２】画像の範囲内の矩形のブロックを示す図である。
【図１３】矩形ブロック領域内の特徴パターンの例を示す図である。
【図１４】階層を持つ対象物識別器の構成を示す図である。
【図１５】画像の範囲内の矩形の認識候補領域、路面領域及び重量認識領域の一例を示す図である。
【図１６】画像の範囲内の矩形の認識候補領域、路面領域及び重量認識領域の他の例を示す図である。
【図１７】ステレオカメラのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明に係る対象物認識装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。なお、本発明に係る対象物認識装置は、車載機器制御システムに限らず、例えば撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。
【００１０】
図１は車載機器制御システムの概略構成を示す模式図である。
図１に示す車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０３のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線等の車線境界線等を検出したりする。他車両の検出では、視差画像に基づいて路面上の対象物を車両として検出する。
【００１１】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０４にも送られる。車両走行制御ユニット１０４は、画像解析ユニット１０２が検出した歩行者や走行車両等の認識対象物の検出結果に基づいて、自車両１００が障害物に衝突しそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００１２】
図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、撮像素子が２次元配置された画像センサ１１２Ａ，１１２Ｂと、画像センサ１１２Ａ，１１２Ｂが設けられたセンサ基板１１３Ａ，１１３Ｂと、センサ基板１１３Ａ，１１３Ｂから出力されるアナログ電気信号（画像センサ１１２Ａ，１１２Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１４Ａ，１１４Ｂとから構成されている。撮像ユニット１０１からは、輝度画像データが出力される。
【００１３】
また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１を備えている。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。
【００１４】
一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するメモリ１３０と、認識対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された輝度画像データ及び視差画像データを用いて本実施形態に係る認識対象物の認識処理を実行する。
【００１５】
図３は、画像センサ１１２Ａ，１１２Ｂとを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ１１２Ａ，１１２Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオード１１２ａを用いている。フォトダイオード１１２ａは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオード１１２ａの集光効率を上げるために、各フォトダイオード１１２ａの入射側にはマイクロレンズ１１２ｂが設けられている。この画像センサ１１２Ａ，１１２Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１３Ａ，１１３Ｂが形成されている。
【００１６】
次に、本発明の特徴部分である、対象物認識処理について説明する。
図４は、図２における処理ハードウェア部１２０及び画像解析ユニット１０２によって実現される本実施形態の対象物認識装置の構成を示すブロック図である。同図において、本実施形態の対象物認識装置２００は、ステレオ画像入力部２０１、輝度画像入力部２０２、視差画像演算部２０３、路面領域検出部２０４、認識重み設定部２０５、認識対象物認識部２０６、認識用辞書２０７、認識結果出力部２０８及び認識候補領域設定部２０９を含んで構成されている。そして、ステレオ画像入力部２０１には、撮像レンズ及び画像センサを有する撮像部を、左右それぞれ備えるステレオカメラ（不図示）からステレオ画像が入力される。輝度画像入力部２０２には、ステレオ画像の左画像又は右画像である輝度画像がステレオ画像入力部２０１から入力される。入力されたステレオ画像や輝度画像はステレオカメラのメモリ１３０に保存される。認識候補領域設定部２０９は、輝度画像入力部２０２から入力された輝度画像に基づいて検出した物体を含む認識候補領域を設定する。視差画像演算部２０３は、ステレオ画像入力部２０１に入力されたステレオ画像を用いて撮影対象が左右画像での結像位置の差である視差値を計算し、その視差値を画素値とした視差画像を算出する。路面領域検出部２０４は、視差画像演算部２０３で計算された視差画像を用いて、撮影画像から路面領域を検出する。認識重み設定部２０５は、路面領域検出部２０４で検出した路面領域、路面領域に基づいて検出する歩道領域、両側帯領域や背景領域などの領域に認識重みをそれぞれ設定する。例えば認識対象物が車両である場合、路面領域は認識重みを１、両側帯領域には認識重みを０と設定する。認識対象物認識部２０６は、認識候補領域設定部２０９で設定された認識候補領域から、認識重み設定部２０５によって認識重みが設定された画像領域の認識候補領域に対し認識対象物の認識処理を行う。認識用辞書２０７は、ＳＶＭ（Support Vector Machine）などの機械学習方法で、事前に対象物認識の画像サンプル学習データを用いて作成される。この認識用辞書２０７は認識対象物毎に別々に作成される。認識結果出力部２０８は認識結果を出力する。
【００１７】
次に、本実施形態の対象物認識装置の動作について当該動作フローを示す図５に従って説明する。
図４のステレオ画像入力部２０１に、ステレオ画像が入力される（ステップＳ１０１）。具体的にはステレオカメラ（不図示）からステレオ画像を入力する。図６はステレオ画像の例を示す。ステレオ画像においての同じ被写体が左右の画像センサで異なる結像位置に結像されている。そして、図４の輝度画像入力部２０２によってステレオ画像のうち、左画像もしくは右画像のいずれかの輝度画像を入力する（ステップＳ１０２）。入力されたステレオ画像や輝度画像はステレオカメラのメモリ１３０に保存される。認識候補領域設定部２０９は、輝度画像に基づいて対象物が存在する場所に認識候補領域を設定する（ステップＳ１０３）。視差画像演算部２０３は、ステレオ画像入力部２０１に入力されたステレオ画像を用いて、対象画像における左右画像の各結像位置の差である視差値を計算する（ステップＳ１０４）。具体的には、左右の撮像レンズによって結像されたステレオ画像の同じ部分について、ブロックマッチング法によって視差値を画素値とした視差画像を計算する。ブロックマッチング法とは、左右画像をブロックで分割し、左右画像でのブロックの類似度が一番大きいとき、ブロックがマッチングした部分から視差値を求める方法である。例えば、１２８０×９６０画素の画像に対して５×５サイズのブロックで分割する。そして、各ブロックを用いて視差値を求める。ブロックサイズの最適値は実験で調整して設定する。図７に示す例において、被写体上にあるＯ点に対する左右画像での結像位置は、結像中心からの距離はΔ１とΔ２である。このため、その視差値Δは、Δ＝Δ１＋Δ２として計算される。よって、視差画像は画素位置での視差値を持つ画像である。
【００１８】
図４の路面領域検出部２０４では、視差画像演算部２０３で得られた視差画像を用いて図９（ｂ）に示す横ライン視差ヒストグラムを作成する（ステップＳ１０５）。この横ライン視差ヒストグラムは図９（ａ）での視差画像の横１ラインにおける視差画像に含まれている視差値を積算したヒストグラムを表示したものである。つまり、図９（ｂ）は視差値Δでの頻度値分布Ｈ（Δ、ｙ）を示している。図９（ｂ）の横軸は視差値Δで、縦軸は視差画像の高さｙである。横ライン視差ヒストグラムの各画素の値は、視差画像の高さｙの１ラインの視差値のヒストグラム値Ｈ（Δ、ｙ）である。路面領域が存在する場合、路面の横１ライン高さｙにおける直線の横ライン視差ヒストグラムでは、全ての視差画素が同じ視差値Δｙに値が集中するので高い値になる。路面領域では、各視差画像の横ラインが図９（ｂ）の横ライン視差ヒストグラム上で一定となり、視差値は少しずつ変わるので、横ライン視差ヒストグラム上では直線になる。横ライン視差ヒストグラム上の直線状に並んだ画素を検知した後、図９（ｂ）における直線状に並んだ画素を図９（ａ）の視差画像にマッピングする。つまり、横ライン視差ヒストグラムの直線状に並んだ画素を視差画像上の路面上の画素に対応付けすることで、路面領域３０１の境界線を特定することができる。路面上の点がわかると、点と点の間に補間処理を施して、図９（ｃ）のような路面領域３０２を検出できる。詳細には、路面領域検出部２０４は、視差画像演算部２０３から各横方向の視差分布情報を取得し、その情報から特定される横ライン視差ヒストグラム上の画素分布を既存技術の最小二乗法やハフ（Ｈｏｕｇｈ）変換法により直線近似する。これにより得られる図９（ｂ）のような近似直線は、視差画像の下部に対応する横ライン視差ヒストグラムにおいて、画像上方へ向かうほど視差値が小さくなるような傾きをもった直線となる。この近似直線上又はその近傍に分布する画素は、視差画像上の各横ラインにおいてほぼ同一距離に存在して占有率が高く、かつ画像上方へ向かうほど距離が連続的に遠くなる対象を映し出した画素である。すなわち、横ライン視差ヒストグラムにおける近似直線上又はその近傍に分布する画素は、路面領域３０１の境界線を表している。結果的に、横ライン視差ヒストグラムにおける近似直線上又はその近傍に分布する画素を特定することで、路面領域３０２を検出できることとなる。なお、路面領域の検出は、上記方法の方が高精度ではあるが、輝度画像から路肩、白線の認識を行い、路肩の連続した領域や白線が存在する領域を特定することによって路面領域を検出してもよい。
【００１９】
ステレオ画像入力部２０１では自車両の前方を撮像するため、その視差画像の内容は、図９（ａ）に示すように、画像下部において路面領域の占有率が最も高く、また画像上方へ向かうほど路面領域の視差値は小さくなる。また、同じ横ライン内において、路面領域を構成する画素はほぼ同じ視差値を持つことになる。したがって、視差画像演算部２０３から出力される各横ラインの視差分布情報から特定される、上述した横ライン視差分布上の近似直線上又はその近傍に分布する画素は、路面領域を構成する画素が持つ特徴に合致する。よって、図９（ｂ）に示す近似直線上又はその近傍に分布する画素は、高い精度で、路面領域を構成する画素であると推定することができる。
【００２０】
このように、本実施形態の路面領域検出部２０４は、路面を映し出す画を特定し、特定した画素によって占められる画像領域を路面領域として検出する。そして、路面領域が検出されると、路面領域を元に例えば歩道領域、両側帯領域や背景領域などのその他の画面領域を検出する（ステップＳ１０６）。認識重み設定部２０５は認識対象物ごとに路面領域、路面領域を元に例えば歩道領域、両側帯領域や背景領域などのその他の画面領域に認識重みを設定する（ステップＳ１０７）。本実施形態では、図１０に示すように、路面上の車両や歩行者などの認識対象物の画像を認識する場合、路面領域の認識重みを１にして、それ以外画面領域の認識重みを０に設定する。認識重みの値は０、１ではなく、図１１に示すように小数で設定してもよい。認識重みの大きさによって認識のパラメータを調整してもよい。認識重みの値が０でなければ、認識対象物認識部２０６は認識重みに基づいて、認識用辞書２０７を用いて、認識候補領域の認識対象物を認識する（ステップＳ１０８：ＹＥＳ、ステップＳ１０９）。そして、認識結果出力部２０８は、認識処理結果を出力する（ステップＳ１１０）。
【００２１】
次に、本実施形態の認識対象物の認識処理と認識重みについて説明する。
はじめに、認識対象物の認識を行うために、図１２に示すように、撮像画像において対象物の画像に合わせて矩形ブロックを設定する。矩形の左上の座標（Ｘｓ,Ｙｓ）と右下の座標（Ｘｅ,Ｙｅ）とによって、矩形ブロックの撮像画像での位置及び矩形ブロックの大きさが定まる。そして、サイズの大きい矩形ブロック１を用いて撮像画面を走査して矩形ブロック１の大きさと対象物の画像の大きさとがほぼ合う対象物の画像を抽出し、その抽出した各対象物の画像に矩形ブロック１をそれぞれ設定する。その設定が終わったら次に小さい矩形ブロック２を用いて撮像画面を走査して矩形ブロック２の大きさと対象物の画像の大きさとがほぼ合う対象物の画像を抽出し、その抽出した各対象物の画像に矩形ブロック２をそれぞれ設定する。このようにして、対象物の画像に合わせて矩形ブロックが設定される。この矩形ブロックは認識候補領域に相当するものである。
【００２２】
そして、認識用辞書を用いて、対象物識別器による対象物の認識を行う。
ここで、狙いの認識対象物を認識するための認識用辞書について説明する。図１３に示すように、矩形ブロック４００内にある、白色の画素のみで構成されている矩形領域４０１と、図中斜線で示した黒色の画素のみで構成されている矩形領域４０２に基づいて、評価対象の矩形ブロック内の特徴量を計算する。矩形ブロック４００内にある矩形領域４０１の白画素値と矩形領域４０２の黒画素値との、評価対象の矩形ブロック内の画素との差分を求め、その絶対値の合計値を矩形ブロック領域内の特徴量ｈ（ｘ）とする。また、図１３に示す、Ａ、Ｂ、Ｃ、Ｄの４つの特徴パターンは、ほぼあらゆる物体の特徴に相当するパターンである。Ａの特徴パターンは、矩形領域４０１と矩形領域４０２とが左右に隣り合って位置し、かつ、矩形ブロック４００の中心からみて左上に位置している。Ｂの特徴パターンは、矩形領域４０１と矩形領域４０２とが上下に隣り合って位置し、かつ、矩形ブロック４００の中心からみて右上に位置している。Ｃの特徴パターンは、矩形領域４０２が２つの矩形領域４０１で隣り合って挟持されて位置し、かつ、矩形ブロック４００の中心からみて上側に位置している。そして、Ｄの特徴パターンは、２つの矩形領域４０１と２つの矩形領域４０２がそれぞれ対角に位置し、かつ、矩形ブロック４００の中心からみて左側に位置している。そして、下記の式（１）に示すような評価関数により、各認識候補領域における重付け評価値ｆ（ｘ）を計算する。矩形ブロックｔ（＝１〜Ｔ（Ｔは評価に用いるパターンの数））内の特徴量ｈｔ（ｘ）を計算して、矩形ブロック毎に付された重み係数αｔを乗算して特徴量の重付け評価値ｆ（ｘ）を計算する。ここで、特徴量ｈｔ（ｘ）と重み係数αｔは、認識対象物の画像に対して、学習データを集め、その学習データによって学習させて求める。上述の特徴パターンＡ〜Ｄに対して重付け評価値を計算して、計算した重付け評価値に基づいて特徴パターンと重み係数の組を認識用辞書に記憶しておく。
【００２３】
【数１】
2014211855.tif 000003
【００２４】
そして、対象物識別器は、図１４に示すように、複数の階層５００−１〜ｎ（ｎは正の整数）を含んで構成されている。各階層５００−１〜ｎでは上記式（１）に示す評価関数の重付け評価値による評価を行う。各階層では、対象物毎に固有の１又は複数の特徴パターン及びこれに対応する重み係数を用いて、式（１）による評価を行う。通常は、階層５００−１から階層５００−ｎにいくにしたがって、用いるパターン数を徐々に多くする。これによって、認識速度を速くすることができる。例えば階層５００−１に入力された矩形ブロックｔの評価関数の重付け評価値が階層５００−１に予め設定された閾値より小さい矩形ブロックであった場合は、その矩形ブロックには狙い認識対象物の画像はないと判断される。そして、その矩形ブロックでの評価を行わず非対象ブロック５０１−１として処理される。階層５００−２〜ｎ（ｎは正の整数）でも同様な判断がそれぞれ行われる。最後の階層５００−ｎで狙いの認識対象物の画像でないと判断されなかった矩形ブロックが、狙いの認識対象物の画像が存在する矩形ブロックであると判断される。
【００２５】
特徴量の重付け評価値ｆ（ｘ）には、さらに認識重みが乗算される。これにより、例えば路面領域の認識重みを１に設定し、その他領域の認識重みを０に設定した場合、つまり路面領域以外の領域の重み係数は全て０のとき、本実施形態では路面領域での認識処理は行われ、路面領域以外の領域での認識処理は行われない。もしくは、認識重みに相当する重み係数を小数で設定し、各領域に対して異なる重み係数が設定してもよい。この場合、小さい重み係数が設定された領域及び当該領域に設定された重み係数より大きい重み係数が設定された領域に狙いの認識対象物の画像がそれぞれ存在していても、小さい重み係数が設定された領域における重付け評価値は低い値になり、認識対象物の画像ではないと判断される。これにより、認識重みが低い値に設定された領域における認識対象物の認識結果は低くなり、認識対象物の画像に類似している対象物の画像を認識対象の画像から排除でき、誤認識の発生を低減できる。
【００２６】
次に、撮像画面から設定された認識候補領域の具体例を図１５に示す。図１５において太線の枠で囲まれた矩形ブロックは認識候補領域である。図１５におけるＡ、Ｃ、Ｅの認識候補領域の認識重みは１に設定された路面領域６０１に存在しているので認識処理を行う。図１５におけるＢ、Ｄ、Ｆの認識候補領域の認識重みは０に設定された領域６０２に存在しているので認識処理を行わない。このように認識対象物が存在しない認識候補領域に対しては認識処理を行わない。認識対象物の画像に類似した対象物の画像が存在する可能性のある認識候補領域を認識対象から排除できる。よって、全ての認識候補領域に対して認識処理を行う場合に比べて、誤認識を低減できると共に、処理時間を短くできる。
【００２７】
次に、本実施形態に係る対象物認識装置の変形例１について説明する。図１５に示すように、路面領域６０１が検出されると、図４の認識重み設定部２０５は認識対象物ごとに各領域に対して認識重みを設定する。例えば、歩行者の画像を認識する目的で、路面領域６０１を元に歩道領域や両側帯領域の路面両側領域６０３を検出し、検出された重点認識領域とみなして、歩道領域や両側帯領域に認識重み１を設定する。これにより、歩行者の走行車線への飛び出しを運転手に警報することができる。よって、目的に応じて認識対象物ごとに認識重みを領域の重要度に応じて設定することで、より目的に合致した精度の高い認識処理を行うことができる。
【００２８】
次に、本実施形態に係る対象物認識装置の変形例２について説明する。図１６に示すように、路面領域６０１が検出されると、図４の認識重み設定部２０５は認識対象物の画像ごとに各領域に対して認識重みを設定する。例えば、運転手の前方における範囲内は車両や歩行者と衝突し易い領域であるので、重点に認識を行う。そのために、図１６に示すように、所定の距離における範囲を認識領域６０４として認識重みを１に設定し、あまりに車両に近い認識領域６０４や車両から遠い認識領域６０６よりも認識重みを高くする。これにより、車両や歩行者と衝突しやすい運転手の前方の領域について、より精度の高い認識処理を行うことができる。
【００２９】
上述した認識対象物を認識する車載ステレオカメラ撮像装置の一例であるステレオカメラのハードウェア構成について説明する。図１７はステレオカメラのハードウェア構成を示すブロック図である。図１７に示すように、被写体光は、図４の画像レンズ１１１Ａ，１１１Ｂに相当するステレオカメラの左右の撮影レンズ７０１，７０２を通して、図４の画像センサ１１２Ａ，１１２Ｂに相当するＣＭＯＳ（Complementary Metal Oxide Semiconductor）７０３、７０４に入射される。ＣＭＯＳ７０３とＣＭＯＳ７０４は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。そして、図４の信号処理部１１４Ａ，１１４Ｂは、ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路７０５、７０６、Ａ／Ｄ変換器７０７、７０８、画像処理回路７０９、７１０をそれぞれ含んで構成されている。図４の処理ハードウェア部１２０及びＭＰＵ１４０は、ＣＰＵ（Central Processing Unit）７１１、ＳＤＲＡＭ（SynchronousＤＲＡＭ）７１２、圧縮伸張回路７１３、ＲＯＭ（Read Only Memory）７１６、ＲＡＭ（Random Access Memory）７１７及びタイミング信号発生器７１８を含んで構成されている。ＣＭＯＳ７０３とＣＭＯＳ７０４から出力されたアナログの画像データは、ＣＤＳ回路７０５、７０６によりノイズ成分を除去され、Ａ／Ｄ変換器７０７、７０８によりデジタル値に変換された後、画像処理回路７０９、７１０に対して出力される。画像処理回路７０９、７１０は、画像データを一時格納するＳＤＲＡＭ７１２を用いて、YCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。
【００３０】
また、信号処理、画像処理が施された画像情報は、圧縮伸張回路７１３を介して、メモリカード７１４に記録される。圧縮伸張回路７１３は、画像処理回路７０９、７１０から出力される画像情報を圧縮してメモリカード７１４に出力すると共に、メモリカード７１４から読み出した画像情報を伸張して画像処理回路７０９、７１０に出力する回路である。また、ＣＭＯＳ７０３，７０４、ＣＤＳ回路７０５，７０６及びＡ／Ｄ変換器７０７，７０８は、タイミング信号を発生するタイミング信号発生器７１８を介してＣＰＵ７１１によって、タイミングが制御されている。更に、画像処理回路７０９、７１０、圧縮伸張回路７１３、メモリカード７１４も、ＣＰＵ７１１によって制御されている。撮像装置において、ＣＰＵ７１１は対象物認識用プログラムに従って各種演算処理を行う。画像処理プログラムなどを格納した読み出し専用メモリであるＲＯＭ７１６および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ７１７などを内蔵している。これらがバスライン７１９によって相互接続されている。車載ステレオカメラで実行される視差計算、輝度画像による認識候補領域検知、視差画像により、認識候補領域の誤認識を排除する対象物認識を行う処理機能を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ（プロセッサ）７１１が、ＲＯＭ７１６から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、対象物認識結果を出力する。
【００３１】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様１）
前方を撮像手段によって撮像した撮像画像に基づいて前方に存在する認識対象物を認識する対象物認識装置において、撮像画像から複数の認識領域を検出する認識領域検出手段と、該認識領域検出手段によって検出された認識領域に対して、認識対象物の画像が存在している可能性の度合いを示す認識重みを設定する認識重み設定手段と、該認識重み設定手段によって認識領域に対して設定された認識重みに基づいて、認識領域における認識対象物の認識を行う認識対象物認識手段とを有する。これによれば、上記実施形態について説明したように、認識対象物の画像が存在している可能性の度合いを示す認識重みに基づいて、認識対象物の画像に類似した物体の画像が存在する画像領域に対し認識対象物の認識処理が行われたとき、物体の画像は認識対象物の画像であると一旦は認識される。しかし、例えば認識対象物の画像が存在している可能性の度合いが低い認識重みが設定された画像領域内にある画像は、認識対象物の画像ではない可能性がある。この場合は、誤認識の発生を抑制することに鑑み、当該物体の画像は認識対象物の画像ではないという認識結果を出力する。これにより、認識対象物の画像に類似した物体の画像を認識対象物の画像であると認識してしまうような誤認識の発生を抑制することができる。
（態様２）
（態様１）において、撮像手段に、ステレオ画像を取得するステレオ撮像手段を用い、ステレオ画像の左右両方の撮像画像に基づいて撮像画像の視差値を計算する視差値計算手段とを有し、認識領域検出手段は、視差値計算手段によって計算された視差値を画素値とした視差画像又は輝度画像に基づいて複数の認識領域を検出する。これによれば、上記実施形態について説明したように、視差画像演算手段によってステレオ画像の左右両方の画像に基づいて撮像画像の視差値を計算する。路面領域検出手段では、視差値計算手段によって計算された視差値を含む視差画像又は輝度画像に基づいて画面領域を検出する。例えば、視差値計算手段によって計算した撮像画面の視差を画面の横方向に積算した横ライン視差ヒストグラムで表す視差分布情報を取得する。その視差分布情報から特定される横ライン視差ヒストグラム上の画素分布を既存技術の最小二乗法やハフ（Ｈｏｕｇｈ）変換法により直線近似する処理を行う。これにより得られる近似直線は、視差画像の下部に対応する横ライン視差分布の下部において、画像上方へ向かうほど視差値が小さくなるような傾きをもった直線となる。すなわち、この近似直線上に又はその近傍に分布する画素は、視差画像上の横ラインにおいてほぼ同一距離に存在して最も占有率が高く、かつ、画像上方へ向かうほど距離が連続的に遠くなる対象を映し出した画素であると言える。したがって、視差値計算手段から出力される横ラインの視差分布情報から特定される、上述した横ライン視差分布上の近似直線上に又はその近傍に分布する画素は、路面領域を構成する画素が持つ特徴に合致する。よって、近似直線上に又はその近傍に分布する画素は、高い精度で、路面領域を構成する画素であると推定できる。そして、路面領域の片側又は両側に分布する画素は、ガードレールや縁石などの両側帯領域又は歩道領域を構成する画素が持つ特徴に合致することから両側帯領域又は歩道領域を構成する画素であると推定される。両側帯領域又は歩道領域に隣接して分布する画素は、住宅やビルが立ち並ぶ市街地などの背景領域を構成する画素が持つ特徴に合致することから背景領域を構成する画素であると推定される。そして、認識領域検出手段によって、視差値計算手段によって計算された視差値を含む視差画像又は輝度画像に基づいて複数の認識領域を検出する。これにより、認識対象物に類似している物体の画像を認識対象物の画像と認識してしまうような誤認識の発生は減る。
（態様３）
（態様１）又は（態様２）において、認識領域検出手段は、視差値計算手段によって計算された撮像画像の視差値を用い、撮像画像の各高さにおける頻度値分布に基づいて、認識領域を検出する。これによれば、上記実施形態について説明したように、認識対象物に類似している物体の画像を高い精度で検出することができる。
（態様４）
（態様１）〜（態様３）のいずれかにおいて、認識重み設定手段は、認識領域検出手段によって検出された認識領域のうちの路面に相当する路面領域を重点認識領域として最も重い認識重みを設定する。これによれば、上記実施形態の変形例１について説明したように、認識対象物認識部２０６によって、路面領域の認識候補領域の認識対象物である車両や歩行者の画像に対して認識処理を行うだけでよい。この結果、誤認識の発生を抑制できる。
（態様５）
（態様１）〜（態様３）のいずれかにおいて、認識重み設定手段は、認識領域検出手段によって検出された認識領域のうちの路面に相当する路面領域の片側又は両側にある歩道領域又は両側帯領域を重点認識領域として最も重い認識重みを設定する。これによれば、上記実施形態の変形例１について説明したように、認識対象物認識部２０６によって、歩道領域又は両側帯領域の認識候補領域の認識対象物である歩行者の画像に対して認識処理を行うだけでよい。この場合歩行者の路上へ飛び出しを運転手に警報することができる。
（態様６）
（態様１）〜（態様３）のいずれかにおいて、認識重み設定手段は、認識領域検出手段によって検出された認識領域のうちの路面に相当する路面領域上であって、かつ、前方の所定の距離における範囲を重点認識領域として最も重い認識重みを設定する。これによれば、上記実施形態の変形例２について説明したように、認識対象物認識部１０６は、衝突し易い領域の認識候補領域の認識対象物である車両や歩行者の画像に対して認識処理を行うだけでよい。この結果、誤認識の発生を抑制できる。
（態様７）
前方を撮像手段によって撮像した撮像画像に基づいて前方に存在する認識対象物を認識する対象物認識方法において、撮像画像から複数の認識領域を検出する認識領域検出工程と、該認識領域検出工程において検出された認識領域に対して、認識対象物の画像が存在している可能性の度合いを示す認識重みを設定する認識重み設定工程と、該認識重み設定工程において認識領域に対して設定された認識重みに基づいて、認識領域における認識対象物の認識を行う認識対象物認識工程とを有する。これによれば、上記実施形態について説明したように、誤認識の発生を抑制できる。
（態様８）
（態様７）において、撮像手段に、ステレオ画像を取得するステレオ撮像手段を用い、ステレオ画像の左右両方の撮像画像に基づいて撮像画像の視差値を計算する視差値計算工程を有し、認識領域検出工程では、視差値計算工程において計算された視差値を画素値とした視差画像又は輝度画像に基づいて複数の認識領域を検出する。これによれば、上記実施形態について説明したように、認識対象物に類似している物体の画像を認識対象物の画像と認識してしまうような誤認識の発生は減る。
（態様９）
前方を撮像手段によって撮像した撮像画像に基づいて前方に存在する認識対象物を認識する工程をコンピュータによって実行させるための対象物認識用プログラムにおいて、撮像画像から複数の認識領域を検出する認識領域検出工程と、該認識領域検出工程において検出された認識領域に対して、認識対象物の画像が存在している可能性の度合いを示す認識重みを設定する認識重み設定工程と、該認識重み設定工程において認識領域に対して設定された認識重みに基づいて、認識領域における認識対象物の認識を行う認識対象物認識工程とをコンピュータに実行させる。これによれば、上記実施形態について説明したように、誤認識の発生を抑制できる。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
（態様１０）
（態様９）において、撮像手段に、ステレオ画像を取得するステレオ撮像手段を用い、ステレオ画像の左右両方の撮像画像に基づいて撮像画像の視差値を計算する視差値計算工程をコンピュータに実行させ、認識領域検出工程では、視差値計算工程において計算された視差値を画素値とした視差画像又は輝度画像に基づいて複数の認識領域を検出する。これによれば、上記実施形態について説明したように、認識対象物に類似している物体の画像を認識対象物の画像と認識してしまうような誤認識の発生は減る。
【符号の説明】
【００３２】
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０３  フロントガラス
１０４  車両走行制御ユニット
２００  対象物認識装置
２０１  ステレオ画像入力部
２０２  輝度画像入力部
２０３  視差画像演算部
２０４  路面領域検出部
２０５  認識重み設定部
２０６  認識対象物認識部
２０７  認識用辞書
２０８  認識結果出力部
２０９  認識候補領域設定部
【先行技術文献】
【特許文献】
【００３３】
【特許文献１】特許第４６７０８０５号公報
【図１】
2014211855.tif 000004
【図２】
2014211855.tif 000005
【図３】
2014211855.tif 000006
【図４】
2014211855.tif 000007
【図５】
2014211855.tif 000008
【図７】
2014211855.tif 000009
【図９】
2014211855.tif 000010
【図１０】
2014211855.tif 000011
【図１１】
2014211855.tif 000012
【図１２】
2014211855.tif 000013
【図１３】
2014211855.tif 000014
【図１４】
2014211855.tif 000015
【図１５】
2014211855.tif 000016
【図１６】
2014211855.tif 000017
【図１７】
2014211855.tif 000018
【図６】
2014211855.tif 000019
【図８】
2014211855.tif 000020