(57)【要約】【課題】車載カメラの画像から高精度に物体が存在する可能性がある領域を検出すること。【解決手段】基準パターンデータベース１５は、画像の背景ごとに異なる（空用、道路用、道路外用などの）複数の基準パターンを記憶する。背景領域分割部１２は、消失点や車線認識を用いて入力画像の背景を分割する。基準パターン選択部１４は、判定領域を背景領域のいずれから切り出したかによって、歩行者候補領域検出部１９が使用する基準パターンを選択する。【選択図】        図１
2007328630.tif 000002
【特許請求の範囲】
【請求項１】
カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、
前記入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、
現在カメラが撮影した入力画像を背景について、道路の領域と道路外の領域ごとに分割する背景領域分割手段と、
現在カメラが撮影した入力画像から被判定領域を切り出す被判定領域切出手段と、
前記被判定領域が道路の領域、道路外の領域のいずれの背景領域から切り出されたかによって、前記複数の基準パターンのうち、当該背景領域に応じた基準パターンを選択する基準パターン選択手段と、
前記選択された基準パターンと前記被判定領域とを比較することで、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、
を備えたことを特徴とする物体候補領域検出装置。
【請求項２】
前記背景領域分割手段は、前記入力画像の消失点から上を道路外領域として分割することを特徴とする請求項１に記載の物体候補領域検出装置。
【請求項３】
前記背景領域分割手段は、前記入力画像に対する車線認識結果を用いて道路内領域と道路外領域とを分割することを特徴とする請求項１または２に記載の物体候補領域検出装置。
【請求項４】
カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、
前記入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、
現在カメラが撮影した入力画像から被判定領域を切り出す被判定領域切出手段と、
前記被判定領域と前記複数の基準パターンのそれぞれとを比較し、当該複数の比較結果を総合することで、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、
を備えたことを特徴とする物体候補領域検出装置。
【請求項５】
前記検出手段は、前記被判定領域と前記複数の基準パターンとの差異を数値化し、得られた複数の数値の平均値が閾値以上である場合に当該被判定領域を前記物体候補領域として出力することを特徴とする請求項４に記載の物体候補領域検出装置。
【請求項６】
カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出方法であって、
前記入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶する基準パターン記憶工程と、
前記入力画像から切り出した被判定領域と、前記複数の基準パターンとの比較によって前記物体候補領域を検出する検出工程と、
を含んだことを特徴とする物体候補領域検出方法。
【請求項７】
車載カメラが撮影した入力画像から歩行者を認識する歩行者認識装置であって、
前記入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、
前記入力画像から切り出した被判定領域と、前記複数の基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、
当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、
を備えたことを特徴とする歩行者認識装置。
【請求項８】
画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを予め学習し、記憶する基準パターン記憶手段と、
車載カメラが撮影した入力画像から切り出した被判定領域と、前記複数の基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、
当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、
前記歩行者判別手段によって歩行者が認識された場合に、歩行者の存在について報知する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御手段と、
を備えたことを特徴とする車両制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置、物体候補領域検出方法、および、かかる物体候補領域検出を用いた歩行者認識装置、車両制御装置に関する。
【背景技術】
【０００２】
従来、カメラが撮影した画像に対する画像認識によって、歩行者などを検出する技術が考案されている。例えば、特許文献１は、特定の場所に固定した定点カメラが撮影した画像から、歩行者や車両を認識する技術を開示している。
【０００３】
また、かかる画像認識の具体的な手法としては、例えば予め背景パターンを学習し、入力画像と背景パターンとの差異を顕著性として算出する顕著性算出手法（顕著性アルゴリズム）が適用することも可能である。
【０００４】
【特許文献１】特開２００２−１９００１２号公報
【特許文献２】特開２００１−２３６５０８号公報
【特許文献３】特開２００４−１７８２４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで近年、車両にカメラなどを搭載し、車載カメラからの映像によって歩行者などを認識することで運転を支援し、事故を防止する技術の実現が重要な課題となっている。
【０００６】
しかしながら車載カメラなど移動体から撮影した画像では、その移動によって背景画像が常に変化する。そのため、上述した顕著性算出手法を使用しても、背景パターンの設定のために学習する必要のある事象が大きくなり、検出精度が低下するという問題点があった。
【０００７】
また、特許文献３のように入力画像を複数の領域に分割し、それぞれで比較する技術も存在するが、車載用の場合、単純に分割しても背景はそれぞれの領域で様々な変化をするため、効率よく検出できない。
【０００８】
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、車載カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置、物体候補領域検出方法、および、高精度に歩行者を認識する歩行者認識装置、歩行者認識を用いる車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る物体候補領域検出装置は、カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、前記入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、現在カメラが撮影した入力画像を背景について、道路の領域と道路外の領域ごとに分割する背景領域分割手段と、現在カメラが撮影した入力画像から被判定領域を切り出す被判定領域切出手段と、前記被判定領域が道路の領域、道路外の領域のいずれの背景領域から切り出されたかによって、前記複数の基準パターンのうち、当該背景領域に応じた基準パターンを選択する基準パターン選択手段と、前記選択された基準パターンと前記被判定領域とを比較することで、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、を備えたことを特徴とする。
【００１０】
この請求項１の発明によれば物体候補領域検出装置は、入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶し、入力画像を背景について、道路の領域と道路外の領域ごとに分割して被判定領域がいずれの背景領域から切り出されたかによって基準パターンを選択し、被判定領域と選択された基準パターンとの比較によって物体候補領域を検出する。道路内と道路外では、特に背景の変わり方に特性がある（道路内であれば歩行者、車、横断歩道がよく現れるなど）。よって、これらで切り分けし、基準バターンを絞り込めば効率よく検出できる。
【００１１】
また、請求項２の発明に係る物体候補領域検出装置は、請求項１に記載の発明において、前記背景領域分割手段は、前記入力画像の消失点から上を道路外領域として分割することを特徴とする。
【００１２】
この請求項２の発明によれば物体候補領域検出装置は、入力画像の消失点から上を道路外領域として分割し、被判定領域が道路外領域から切り出された場合には道路外用の基準パターンとの比較によって物体候補領域を検出する。
【００１３】
また、請求項３の発明に係る物体候補領域検出装置は、請求項１または２に記載の発明において、前記背景領域分割手段は、前記入力画像に対する車線認識結果を用いて道路内領域と道路外領域とを分割することを特徴とする。
【００１４】
この請求項３の発明によれば物体候補領域検出装置は、車線認識結果を用いて道路内領域と道路外領域とを分割し、被判定領域が道路内外のいずれから切り出されたかによって使用する基準パターンを選択する。
【００１５】
また、請求項４の発明に係る物体候補領域検出装置は、カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、前記入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、現在カメラが撮影した入力画像から被判定領域を切り出す被判定領域切出手段と、前記被判定領域と前記複数の基準パターンのそれぞれとを比較し、当該複数の比較結果を総合することで、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、を備えたことを特徴とする。
【００１６】
この請求項４の発明によれば物体候補領域検出装置は、入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶し、入力画像から切り出した被判定領域と複数の基準パターンのそれぞれとを比較して得られた複数の比較結果を総合して物体候補領域を検出する。
【００１７】
また、請求項５の発明に係る物体候補領域検出装置は、請求項４に記載の発明において、前記検出手段は、前記被判定領域と前記複数の基準パターンとの差異を数値化し、得られた複数の数値の平均値が閾値以上である場合に当該被判定領域を前記物体候補領域として出力することを特徴とする。
【００１８】
この請求項５の発明によれば物体候補領域検出装置は、被判定領域と複数の基準パターンとの差異を数値化し、得られた複数の数値の平均値が閾値以上である場合に当該被判定領域を物体候補領域として出力する。
【００１９】
また、請求項６の発明に係る物体候補領域検出方法は、カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出方法であって、前記入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶する基準パターン記憶工程と、前記入力画像から切り出した被判定領域と、前記複数の基準パターンとの比較によって前記物体候補領域を検出する検出工程と、を含んだことを特徴とする。
【００２０】
この請求項６の発明によれば物体候補領域検出方法は、入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶し、入力画像から切り出した被判定領域と複数の基準パターンとの比較によって物体候補領域を検出する。
【００２１】
また、請求項７の発明に係る歩行者認識装置は、車載カメラが撮影した入力画像から歩行者を認識する歩行者認識装置であって、前記入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、前記入力画像から切り出した被判定領域と、前記複数の基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、を備えたことを特徴とする。
【００２２】
この請求項７の発明によれば歩行者認識装置は、被判定領域と背景ごとに異なる複数の基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、歩行者候補領域に対するパターンマッチングやニューロ判定によって当該歩行者候補領域が歩行者であるか否かを判別する。
【００２３】
また、請求項８の発明に係る車両制御装置は、画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを予め学習し、記憶する基準パターン記憶手段と、車載カメラが撮影した入力画像から切り出した被判定領域と、前記複数の基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、前記歩行者判別手段によって歩行者が認識された場合に、歩行者の存在について報知する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御手段と、を備えたことを特徴とする。
【００２４】
この請求項８の発明によれば車両制御装置は、被判定領域と背景ごとに異なる複数の基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、当該歩行者候補領域が歩行者である場合には、その存在を運転者に報知する報知制御や車両の動作制御を実行する。
【発明の効果】
【００２５】
請求項１の発明によれば物体候補領域検出装置は、入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶し、入力画像を背景について、道路の領域と道路外の領域ごとに分割して被判定領域がいずれの背景領域から切り出されたかによって基準パターンを選択し、被判定領域と選択された基準パターンとの比較によって物体候補領域を検出するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。
【００２６】
また、請求項２の発明によれば物体候補領域検出装置は、入力画像の消失点から上を道路外領域として分割し、被判定領域が道路外領域から切り出された場合には道路外用の基準パターンとの比較によって物体候補領域を検出するので、簡易に道路外に対応する領域を分割し、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。
【００２７】
また、請求項３の発明によれば物体候補領域検出装置は、車線認識結果を用いて道路内領域と道路外領域とを分割し、被判定領域が道路内外のいずれから切り出されたかによって使用する基準パターンを選択するので、道路内外の認識によってカメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。
【００２８】
また、請求項４の発明によれば物体候補領域検出装置は、入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶し、入力画像から切り出した被判定領域と複数の基準パターンのそれぞれとを比較して得られた複数の比較結果を総合して物体候補領域を検出するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。
【００２９】
また、請求項５の発明によれば物体候補領域検出装置は、被判定領域と複数の基準パターンとの差異を数値化し、得られた複数の数値の平均値が閾値以上である場合に当該被判定領域を物体候補領域として出力するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。
【００３０】
また、請求項６の発明によれば物体候補領域検出方法は、入力画像の背景について、道路の領域と道路外の領域ごとに異なる複数の基準パターンを記憶し、入力画像から切り出した被判定領域と複数の基準パターンとの比較によって物体候補領域を検出するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出方法を得ることができるという効果を奏する。
【００３１】
また、請求項７の発明によれば歩行者認識装置は、被判定領域と背景ごとに異なる複数の基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、歩行者候補領域に対するパターンマッチングやニューロ判定によって当該歩行者候補領域が歩行者であるか否かを判別するので、車載カメラの画像から高精度に歩行者を認識する歩行者認識装置を得ることができるという効果を奏する。
【００３２】
また、請求項８の発明によれば車両制御装置は、被判定領域と背景ごとに異なる複数の基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、当該歩行者候補領域が歩行者である場合には、その存在を運転者に報知する報知制御や車両の動作制御を実行するので、歩行者を高精度に認識してその安全を確保する車両制御装置を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００３３】
以下に添付図面を参照して、この発明に係る物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置の好適な実施例について詳細に説明する。
【実施例１】
【００３４】
図１は、本発明の実施例１である車載用の画像認識装置１０の概要構成を示す概要構成図である。車両は以下の構成を有している。同図に示すように、画像認識装置１０は、ナビゲーション装置３０、カメラ３１、およびプリクラッシュＥＣＵ４０と接続している。
【００３５】
ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、予め記憶した地図データ３０ａとを利用して走行経路の設定および誘導を行なう車載装置である。また、ナビゲーション装置３０は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、道路に関する情報などを提供する。
【００３６】
カメラ３１は、自車両周辺を撮影し、撮影結果を画像認識装置１０に入力する。プリクラッシュＥＣＵ４０は、画像認識部１０が自車両の衝突を予測した場合に、ディスプレイ４３やスピーカ４４による乗員への通知、ブレーキ４１、エンジン制御装置（ＥＦＩ）４２による車両の動作制御を実行する電子制御装置であり、車両制御装置として機能する。
【００３７】
画像認識装置１０は、その内部に前処理部１１、背景領域分割部１２、基準パターン選択部１４、基準パターンデータベース１５、車両認識部１６、白線認識部１７、歩行者認識部１８、歩行者候補領域検出部１９および衝突判定部２０を有する。ここで、背景領域分割部１２、基準パターン選択部１４、基準パターンデータベース１５、車両認識部１６、白線認識部１７、歩行者認識部１８、歩行者候補領域検出部１９および衝突判定部２０は、例えば単一のマイコン１０ａ（ＣＰＵ、ＲＯＭ、ＲＡＭの組み合わせからなる演算処理ユニット）などによって実現することが好適である。
【００３８】
前処理部１１は、カメラ３１が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、背景領域分割部１２、車両認識部１６、白線認識部１７および歩行者候補領域検出部１９に出力する。
【００３９】
車両認識部１６は、前処理部１１が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部２０に出力する。また、白線認識部１８も同様に、前処理部１１が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部２０に出力する。
【００４０】
一方、歩行者候補領域検出部１９は、顕著性アルゴリズムを用いて、前処理部１１が出力した画像から歩行者が存在する可能性のある領域を検出し、検出結果を歩行者認識部１８に出力する。その後、歩行者認識部１８が歩行者候補領域に対してパターンマッチングやニューラルネットワークによるニューロ判定処理を施して歩行者を認識し、衝突判定部２０に出力する。そして、歩行者を認識した場合には歩行者までの距離を画像処理などで算出し、歩行者情報としてその距離も衝突判定部２０に出力する。
【００４１】
衝突判定部２０は、車両認識部１６、白線認識部１７、歩行者認識部１８による認識結果およびナビゲーション装置３０が出力する位置情報を用いて、歩行者や他車両と自車両との衝突を予測し、予測結果をプリクラッシュＥＣＵ４０に出力する。一方、プリクラッシュＥＣＵ４０は予測結果（歩行者が前方に存在し、距離が数ｍに近づいているなど）に基づき、衝突の可能性があれば運転者にディスプレイ４３やスピーカ４４などにより報知制御を行なうと共に、衝突の危険度によっては車両の走行制御（ブレーキ制御、アクセル制御など）を行なう。
【００４２】
ここで、車両や白線など形状のバリエーションの少ないものを認識する場合には、前処理部１１が出力した画像に対して直接パターンマッチングを行なうが、歩行者のように形状の変化が激しい物体を認識する場合には、顕著性アルゴリズムによって予め候補領域を検出することによって検出精度の向上と処理負荷の軽減を図る。
【００４３】
顕著性アルゴリズムによる候補領域の検出について図２を参照して説明する。同図に示すように、顕著性アルゴリズムは、まず学習プロセスによって基準パターンを作成し、歩行者候補領域検出プロセスでは入力画像と基準パターンとの比較によって顕著性を算出する。
【００４４】
学習プロセスでは、本装置を使用する前に予め複数の学習用の画像を入力し、学習用画像から学習領域を切り出す。この学習領域は、画像内における歩行者のサイズに合わせ、例えば２０×２０ピクセルのサイズで切り出す。学習用の画像は、歩行者などターゲットを含まない道路などの背景画像である。
【００４５】
この切り出した学習領域をＮ次元（Ｎは画素数であり、２０×２０ピクセルであれば４００次元）のベクトルとして扱い、全ての学習領域についてＮ次元の主成分分析を行なって、特徴ベクトル（Ｎ次元ベクトルの主成分）を算出する。この特徴ベクトルの算出を全ての学習画像に対して実行し、共通するベクトル成分を基準パターンとする。
【００４６】
歩行者候補領域検出プロセスでは、カメラが撮影した入力画像から学習領域のサイズと同一サイズの判定領域を切り出す。そして、この切り出した判定領域をＮ次元ベクトルとし、基準パターンで展開する（内積をとる）。
【００４７】
この展開によって、判定領域のうち基準パターンと類似のベクトル成分が得られるので、展開して得られたベクトルと判定領域のベクトルとの残差を顕著性（基準パターンからの乖離度を示す値）として算出し、顕著性の高い領域のみを歩行者候補領域として残した結果画像を出力する。
【００４８】
ところが、入力する学習用画像によっては適切な基準パターンが得られず、候補領域の検出精度が低下することがある。例えば、学習用画像として多様な画像を使用すると、各学習用画像が異なる主成分を有するために、そこから得られる基準パターンは多くの方向を有することとなり、歩行者との残差を得ることが困難になる。すなわち、歩行者の特徴が背景に埋もれてしまい、顕著性なしと判断される。
【００４９】
また、顕著性が少ないところまで閾値を下げ、少しでも顕著性があれば歩行者候補として検出するようにすると、歩行者以外でも顕著性有りとして検出してしまい、逆に検出精度が低くなる。例えば、図３に示すように、入力画像から樹木と建物以外の物体を検知すべく、樹木と建物を学習用画像として入力すると、樹木の特徴と建物の特徴が混合した基準パターンが作成される。
【００５０】
その結果、樹木の画像を判定した場合も建物の画像を判定した場合も、基準パターンと異なる、すなわち「顕著性あり」と判定される可能性がある。
【００５１】
このように、学習プロセスにおいて入力する事象が大きい（学習用画像間の共通性が低く、多岐にわたる）場合には、適切な基準パターンが得られず、顕著性の検出精度が低くなり、歩行者の検出漏れが発生したり、多数の領域が「顕著性のある歩行者候補領域」として出力されることなる。その結果、歩行者認識部１８での処理負荷上昇と認識精度低下が引き起こされる。
【００５２】
そこで、画像認識装置１０は、入力画像内の背景ごとに基準パターンを使い分けることで、歩行者候補領域の検出精度を向上している。
【００５３】
具体的には図４に示すように、まず学習プロセスにおいて学習用画像を背景ごとに「空の背景画像」、「道路内の背景画像」、「道路外の背景画像」に分類する。そして、「空の背景画像」から「空用基準パターン」、「道路内の背景画像」から「道路内用基準パターン」、「道路外の背景画像」から「道路外用基準パターン」のように、背景に対応した基準パターンを作成する。
【００５４】
つぎに、歩行者候補領域検出プロセスでは、前処理部１１によって処理された画像を背景領域分割部１２が背景ごとに、例えば空、道路内、道路外の３つの背景領域に分割する。そして、基準パターン選択部１４は、判定領域がいずれの背景領域から切り出されたかによって歩行者候補領域検出部１９が使用する基準パターンを選択する。
【００５５】
このように、背景領域ごとに異なる基準パターンを用いることで、各基準パターンについて学習プロセスで入力する事象を縮小し、候補領域の検出精度を向上することができる。すなわち、所定の背景領域（例えば道路）から切り出した被判定領域の顕著性判断には、その背景領域に対応する（例えば道路用の）基準パターンを用いることで、歩行者画像の特徴が背景に埋もれることが無くなり、「顕著性なし」と判断することを防止できる。そのため、検出の閾値を下げる必要が無く、高精度に歩行者候補領域を検出できる。
【００５６】
つづいて、背景領域分割部１２による背景領域の分割について、その具体例を説明する。背景領域分割部１２は、その内部に消失点認識部１２ａおよび車線認識部１２ｂを有する。
【００５７】
消失点認識部１２ａは、オプティカルフローなどを用いて、画面内における消失点を認識する処理を行なう。そして、背景領域分割部１２は、図５に示すように消失点よりも上の領域を空として分割する。
【００５８】
車線認識部１２ｂは、白線認識部１７の認識結果を用いて画像内における車線を認識する処理を行なう。そして、背景領域分割部１２は、図５に示すように車線の内側の領域を道路内として分割し、車線の外側を道路外とする。
【００５９】
つぎに、マイコン１０ａによる歩行者認識の処理動作について図６のフローチャートを参照して説明する。なお、この処理フローは、ＩＧオンによりマイコン１０ａに電源が供給されてスタートし、画像処理装置１０が画像認識を実行中である場合に、画像フレームの処理ごと（例えば数ｍｓｅｃごと）に繰り返し実行される処理である。また、マイコン１０ａは白線認識や車両認識も行うが、本処理フローでは説明を省略している。
【００６０】
まず、歩行者候補領域検出部１９内部の被判定領域切出部１９ａは前処理部１１による処理が施された画像を取得し、取得した画像から判定領域を切り出す（ステップＳ１０１）。また、消失点認識部１２ａは前処理部１１による処理が施された画像に対してオプティカルフローを用いて消失点を認識する（ステップＳ１０２）。
【００６１】
そして、判定領域が消失点より上側から切り出されているならば（ステップＳ１０３，Ｙｅｓ）、基準パターン選択部１４は空用基準パターンを選択する（ステップＳ１０７）。
【００６２】
一方、判定領域が消失点以下から切り出されているならば（ステップＳ１０３，Ｎｏ）、車線認識部１２ｂが白線認識部１７の認識結果を用いて車線を認識する（ステップＳ１０４）。
【００６３】
そして、判定領域が車線の中、すなわち道路内から切り出されているならば（ステップＳ１０５，Ｙｅｓ）、基準パターン選択部１４は道路内用基準パターンを選択し（ステップＳ１０８）、判定領域が車線の外、すなわち道路外から切り出されているならば（ステップＳ１０５，Ｎｏ）、基準パターン選択部１４は道路外用基準パターンを選択する（ステップＳ１０６）。
【００６４】
基準パターンの選択（ステップＳ１０６，Ｓ１０７，Ｓ１０８）の後、歩行者候補領域選択部１９は、選択された基準パターンと切り出された被判定領域とを比較し（ステップＳ１０９）、顕著性があるか否かを判定する（ステップＳ１１０）。
【００６５】
その結果、顕著性が無ければ（ステップＳ１１０，Ｎｏ）そのまま処理を終了し、顕著性があるならば（ステップＳ１１０，Ｙｅｓ）、歩行者認識部１８がパターンマッチングやニューロ判定処理によって歩行者であるか否かを判定し（ステップＳ１１１）、歩行者であるならば（ステップＳ１１１，Ｙｅｓ）歩行者情報と歩行者までの距離を衝突判定部２０に出力して（ステップＳ１１２）、処理を終了する。
【００６６】
つぎに、プリクラッシュＥＣＵ４０の処理動作について図７のフローチャートを参照して説明する。なお、この処理フローは、ＩＧオンなどにより電源が供給されてスタートし、繰り返し実行される処理である。
【００６７】
まず、プリクラッシュＥＣＵ４０は、画像認識装置１０から画像認識の結果を示すデータを受信する（ステップＳ２０１）。そして、歩行者などと衝突の危険性が高い場合には（ステップＳ２０２，Ｙｅｓ）、スピーカ４４によるブザーなどの警告音出力やディスプレイ４３による表示出力によって運転者に報知し（ステップＳ２０３）、ブレーキ４１やＥＦＩ４２による車両制御を実行して（ステップＳ２０４）、処理を終了する。
【００６８】
上述してきたように、本実施例１にかかる画像認識装置１０は、背景ごとに異なる基準パターンを作成するとともに、入力画像を背景領域に分割し、被判定領域をいずれの背景領域から切り出したかによって基準パターンを選択することで、顕著性アルゴリズムによる歩行者候補領域の検出精度を向上している。
【実施例２】
【００６９】
上述した実施例１では、被判定領域を切り出した背景領域に対応して基準パターンを選択する構成について説明を行なったが、本実施例２では、各被判定領域に対して背景ごとに異なる複数の基準パターンとの比較を行なう構成について説明する。
【００７０】
図８は、本発明の実施例２である車載用の画像認識装置５０の概要構成を示す概要構成図である。同図に示すように、画像認識装置５０は、ナビゲーション装置３０、カメラ３１、プリクラッシュＥＣＵ４０と接続し、その内部に前処理部１１、基準パターンデータベース１５、車両認識部１６、白線認識部１７、歩行者認識部１８、歩行者候補領域検出部５２および衝突判定部２０を有する。
【００７１】
歩行者候補領域検出部５２は、その内部に基準パターンの数に対応した複数の顕著性算出部と平均処理部５２ａ、被判定領域切出部５２ｂを有する。そして、前処理部１１が出力した画像から被判定領域切出部５２ｂが被判定領域を切り出し、切り出された被判定領域に対して全ての基準パターンで顕著性算出を行ない、各算出結果を平均して出力する。
【００７２】
すなわち、被判定領域切出部５２ｂが一つの被判定領域を切り出すと、その被判定領域がどこから切り出されたかに関わらず、空用、道路内用、道路外用などの全ての基準パターンについてそれぞれ顕著性を算出し、算出結果の値を平均する。
【００７３】
そのため、空用、道路内用、道路外用の基準パターンの全てに対して顕著性の値が大きかった被判定領域は、空用、道路内用、道路外用の基準パターンのいずれかに対して顕著性の値が小さかった被判定領域に比して算出結果の値が大きくなる。この値の大きい被判定領域が歩行者候補領域として歩行者認識部に出力される。
【００７４】
そのため、各基準パターンについて学習プロセスで入力する事象を縮小しつつ、総合的な判断を行なうことができる。
【００７５】
その他の構成および動作については、実施例１に示した画像認識装置１０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。
【００７６】
上述してきたように、本実施例２にかかる画像認識装置１０は、背景ごとに異なる基準パターンを使用し、各基準パターンでの算出結果の平均を取ることで、簡易な構成で顕著性アルゴリズムによる歩行者候補領域の検出精度を向上している。
【００７７】
なお、本実施例２においては、複数の基準パターンでの算出結果を平均する場合について説明を行なったが、例えば重み付けをする、最大値を採用するなど複数の算出結果に対する演算方法は適宜変更して実施することができる。
【００７８】
また、本発明は、実施例１および実施例２に示した構成に限定されること無く、任意構成によって実施することができるものである。たとえば、実施例１に示した構成と、実施例２に示した構成とを組み合わせ、複数の背景領域にまたがって切り出された被判定領域に対してはそれぞれの背景に対応する基準パターンでの算出結果の平均を取る構成によって本発明を実施しても良い。
【００７９】
なお、実施例１および実施例２では、車載カメラが撮影した画像から特定の物体、すなわち歩行者を認識する場合を例に説明を行なったが、例えば移動（回転）可能な交通監視用のカメラが撮影した画像に対しても適用可能である。また、本実施例では顕著性算出を適用したが、これに限らず背景画像を基準パターンとして記憶し、現在画像との差分により、候補画を抽出する背景差分法を適用しても良い。
【産業上の利用可能性】
【００８０】
以上のように、本発明にかかる物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置は、車両における画像認識に有用であり、特に歩行者候補領域の検出精度向上に適している。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施例１にかかる画像認識装置の概要構成を示す概要構成図である。
【図２】顕著性アルゴリズムによる候補領域の検出について説明する説明図である。
【図３】候補領域の検出精度低下について説明する説明図である。
【図４】画像の背景に基づく歩行者候補領域検出を説明する説明図である。
【図５】入力画像における背景領域の分割について説明する説明図である。
【図６】歩行者認識の処理動作について説明するフローチャートである。
【図７】図１に示したプリクラッシュＥＣＵの処理動作について説明するフローチャートである。
【図８】本発明の実施例２にかかる画像認識装置の概要構成を示す概要構成図である。
【符号の説明】
【００８２】
１０    画像認識装置
１０ａ  マイコン
１１    前処理部
１２    背景領域分割部
１２ａ  消失点認識部
１２ｂ  車線認識部
１４    基準パターン選択部
１５    基準パターンデータベース
１６    車両認識部
１７    白線認識部
１８    歩行者認識部
１９，５２  歩行者候補領域検出部
１９ａ，５２ａ  被判定領域切出部
２０    衝突判定部
３０    ナビゲーション装置
３０ａ  地図データ
３１    カメラ
【図１】
2007328630.tif 000003
【図２】
2007328630.tif 000004
【図３】
2007328630.tif 000005
【図４】
2007328630.tif 000006
【図５】
2007328630.tif 000007
【図６】
2007328630.tif 000008
【図７】
2007328630.tif 000009
【図８】
2007328630.tif 000010