(57)【要約】【課題】対象物の種類にかかわらず学習・識別精度を向上可能な車両周辺監視装置を提供する。【解決手段】対象物識別部４４は、画像特徴量としての特徴データ群を入力とし対象物（横断歩行者７０、７２）の存否情報を出力とする、機械学習を用いて生成された識別器５０である。識別器５０は、機械学習に供される各学習サンプル画像７４、７６を構成する複数のサブ領域８２のうち、対象物の種類に応じて選択した少なくとも１つのサブ領域８２（非マスク領域１０２、１０８）の画像から、特徴データ群を作成し入力する。【選択図】図７
2014106685.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、前記車両の走行中に撮像することで前記車両の周辺における撮像画像を取得する撮像手段と、
前記撮像手段により取得された前記撮像画像の中から識別対象領域を抽出する識別対象領域抽出手段と、
前記識別対象領域抽出手段により抽出された前記識別対象領域における画像特徴量から、前記識別対象領域内に対象物が存在するか否かを前記対象物の種類毎に識別する対象物識別手段と
を備え、
前記対象物識別手段は、前記画像特徴量としての特徴データ群を入力とし前記対象物の存否情報を出力とする、機械学習を用いて生成された識別器であり、
前記識別器は、前記機械学習に供される各学習サンプル画像を構成する複数のサブ領域のうち、前記対象物の種類に応じて選択した少なくとも１つの前記サブ領域の画像から、前記特徴データ群を作成し入力する
ことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記対象物識別手段は、前記識別対象領域内に前記対象物が存在するか否かを該対象物の移動方向毎に識別することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は２に記載の装置において、
前記識別対象領域抽出手段は、前記撮像手段から前記対象物までの距離に比例するサイズの前記識別対象領域を抽出することを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜３のいずれか１項に記載の装置において、
前記画像特徴量には、空間上での輝度勾配方向ヒストグラムが含まれることを特徴とする車両周辺監視装置。
【請求項５】
請求項１〜３のいずれか１項に記載の装置において、
前記画像特徴量には、時空間上での輝度勾配方向ヒストグラムが含まれることを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載された撮像手段から取得した撮像画像に基づいて、車両の周辺に存在する対象物を検知する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、カメラ等の撮像手段を用いて撮像し、得られた撮像画像を基に物体を検知等する方法が種々提案されている。例えば、画像の局所領域での輝度の強度及び勾配に関する特徴量（いわゆるＨＯＧ特徴量）を用いて、撮像画像に映りこんだ歩行者を検知等する手法が記載されている（非特許文献１参照）。
【０００３】
そして、上記の撮像手段と、撮像画像を基に物体を識別可能な識別器とを車両に併せて搭載することで、その車両外に存在する物体を検知し、あるいは物体と自車両との相対的な位置関係等を監視する車両周辺監視装置が構築される。この装置を導入することにより、車両の乗員（特に運転者）の支援になる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】“Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ  ｆｏｒ  Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ”、ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、Ｖｏｌ．１、ｐｐ．８８６−８９３（２００５）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記した識別器は、種々の機械学習をさせることで、歩行者（人体）のみならず、動物、人工構造物等を識別可能である。ところが、これらの対象物を少なくとも含む、識別対象の画像領域（以下、識別対象領域）を抽出する場合、対象物の種類によって識別精度が異なる場合があった。これは、対象物の種類に応じて投影像の形状が異なるので、背景部の画像情報を取り込む割合が変化するためと考えられる。換言すれば、背景部の画像情報は、学習処理又は識別処理の際に、対象物の学習・識別精度を低下させる外乱因子（ノイズ情報）として作用する。
【０００６】
特に、この種の車両周辺監視装置では車両の走行中に逐次撮像するため、カメラから得た撮像画像のシーン（背景・天候等）は時々刻々と変化し得る。また、車両が路面上を走行した場合に取得される識別対象（歩行者等）の画像には、横断歩道、ガードレール等の路面パターンが含まれることが多い。このため、識別器に機械学習をさせる結果、この路面パターンが歩行者であるとして誤って学習する可能性が高くなる。すなわち、背景部における画像特徴を予測することは困難であり、外乱因子としての影響を無視できないという問題があった。
【０００７】
本発明は上記した問題を解決するためになされたもので、対象物の種類にかかわらず学習・識別精度を向上可能な車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る車両周辺監視装置は、車両に搭載され、前記車両の走行中に撮像することで前記車両の周辺における撮像画像を取得する撮像手段と、前記撮像手段により取得された前記撮像画像の中から識別対象領域を抽出する識別対象領域抽出手段と、前記識別対象領域抽出手段により抽出された前記識別対象領域における画像特徴量から、前記識別対象領域内に対象物が存在するか否かを前記対象物の種類毎に識別する対象物識別手段とを備え、前記対象物識別手段は、前記画像特徴量としての特徴データ群を入力とし前記対象物の存否情報を出力とする、機械学習を用いて生成された識別器であり、前記識別器は、前記機械学習に供される各学習サンプル画像を構成する複数のサブ領域のうち、前記対象物の種類に応じて選択した少なくとも１つの前記サブ領域の画像から、前記特徴データ群を作成し入力することを特徴とする。
【０００９】
このように、対象物識別手段としての識別器は、機械学習に供される各学習サンプル画像を構成する複数のサブ領域のうち、対象物の種類に応じて選択した少なくとも１つのサブ領域の画像から、前記特徴データ群を作成し入力するようにしたので、前記対象物の投影像の形状に適したサブ領域の画像情報を、学習処理に対して選択的に採用可能であり、対象物の種類にかかわらず学習精度を向上させることができる。そして、残余のサブ領域を学習処理から除外することで、識別処理の際に外乱因子として作用する、対象物の投影像以外の画像情報に対する過学習を防止可能であり、前記対象物の識別精度を向上させることができる。なお、車載された撮像手段から得た撮像画像のシーンは時々刻々と変化するため、特に効果的である。
【００１０】
また、前記対象物識別手段は、前記識別対象領域内に前記対象物が存在するか否かを該対象物の移動方向毎に識別することが好ましい。移動方向に応じて撮像画像上での像形状が変化する傾向を踏まえ、移動方向毎に識別することで対象物の学習・識別精度が一層向上する。
【００１１】
さらに、前記識別対象領域抽出手段は、前記撮像手段から前記対象物までの距離に比例するサイズの前記識別対象領域を抽出することが好ましい。これにより、対象物と識別対象領域との間の相対的大小関係が距離によらず一定になり、外乱因子（対象物の投影像以外の画像情報）の影響を一律に抑えることで対象物の学習・識別精度が一層向上する。
【００１２】
さらに、前記画像特徴量には、空間上での輝度勾配方向ヒストグラムが含まれることが好ましい。撮像の露光量に起因する輝度勾配方向の変動は小さいので、対象物の特徴を的確に捉えることが可能であり、環境光の強度が時々刻々と変化する屋外環境であっても安定した識別精度が得られる。
【００１３】
さらに、前記画像特徴量には、時空間上での輝度勾配方向ヒストグラムが含まれることが好ましい。空間上のみならず、時間上の輝度勾配方向も併せて考慮することで、時系列で取得された複数の撮像画像にわたる対象物の検知・追跡が容易になる。
【発明の効果】
【００１４】
本発明に係る車両周辺監視装置によれば、対象物識別手段としての識別器は、機械学習に供される各学習サンプル画像を構成する複数のサブ領域のうち、対象物の種類に応じて選択した少なくとも１つのサブ領域の画像から、前記特徴データ群を作成し入力するようにしたので、前記対象物の投影像の形状に適したサブ領域の画像情報を、学習処理に対して選択的に採用可能であり、対象物の種類にかかわらず学習精度を向上させることができる。そして、残余のサブ領域を学習処理から除外することで、識別処理の際に外乱因子として作用する、対象物の投影像以外の画像情報に対する過学習を防止可能であり、前記対象物の識別精度を向上させることができる。なお、車載された撮像手段から得た撮像画像のシーンは時々刻々と変化するため、特に効果的である。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示す車両周辺監視装置が搭載された車両の概略斜視図である。
【図３】図３Ａ及び図３Ｂは、カメラを用いた撮像により取得された撮像画像の一例を示す画像図である。
【図４】図１に示す識別器による学習処理の説明に供されるフローチャートである。
【図５】横断歩行者を含む学習サンプル画像の一例を示す画像図である。
【図６】各サブ領域の定義方法に関する概略説明図である。
【図７】図１に示す識別器の詳細ブロック図である。
【図８】図８Ａは、横断歩行者を含む多数の学習サンプル画像から得た、典型輪郭画像を表す模式図である。図８Ｂは、横断歩行者を含む各学習サンプル画像に共通する、非マスク領域及びマスク領域を示す概略説明図である。
【図９】図９Ａは、対面歩行者を含む多数の学習サンプル画像から得た、典型輪郭画像を表す模式図である。図９Ｂは、対面歩行者を含む各学習サンプル画像に共通する、非マスク領域及びマスク領域を示す概略説明図である。
【図１０】図１に示すＥＣＵの動作説明に供されるフローチャートである。
【図１１】車両、カメラ及び人体の位置関係を表す概略説明図である。
【図１２】識別対象領域の決定方法に関する概略説明図である。
【図１３】図１に示す対象物識別部の詳細ブロック図である。
【図１４】図１４Ａ〜図１４Ｃは、ＨＯＧ特徴量の算出方法に関する概略説明図である。
【図１５】図１５Ａは、ＨＯＧ特徴量の算出方法に関する概略説明図である。図１５Ｂは、ＳＴＨＯＧ特徴量の算出方法に関する概略説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明に係る車両周辺監視装置について好適な実施形態を挙げ、添付の図面を参照しながら説明する。
【００１７】
図１は、本実施形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両１２の概略斜視図である。
【００１８】
図１及び図２に示すように、車両周辺監視装置１０は、複数のカラーチャンネルからなるカラー画像（以下、撮像画像Ｉｍという）を撮像するカラーカメラ（以下、単に「カメラ１４」という）と、車両１２の車速Ｖｓを検出する車速センサ１６と、車両１２のヨーレートＹｒを検出するヨーレートセンサ１８と、運転者によるブレーキペダルの操作量Ｂｒを検出するブレーキセンサ２０と、この車両周辺監視装置１０を制御する電子制御装置（以下、「ＥＣＵ２２」という）と、音声で警報等を発するためのスピーカ２４と、カメラ１４から出力された撮像画像等を表示する表示装置２６と、を備える。
【００１９】
カメラ１４は、主に可視光領域の波長を有する光を利用するカメラであり、車両１２の周辺を撮像する撮像手段として機能する。カメラ１４は、被写体の表面を反射する光量が多いほど、その出力信号レベルが高くなり、画像の輝度（例えば、ＲＧＢ値）が増加する特性を有する。図２に示すように、カメラ１４は、車両１２の前部バンパー部の略中心部に固定的に配置（搭載）されている。
【００２０】
なお、車両１２の周囲を撮像する撮像手段は、上記した構成例（いわゆる単眼カメラ）に限られることなく、例えば複眼カメラ（ステレオカメラ）であってもよい。また、カラーカメラに代替して赤外線カメラを用いてもよく、或いは両方を併せ備えてもよい。さらに、単眼カメラの場合、別の測距手段（レーダ装置）を併せて備えてもよい。
【００２１】
図１に戻って、スピーカ２４は、ＥＣＵ２２からの指令に応じて、警報音等の出力を行う。スピーカ２４は、車両１２の図示しないダッシュボードに設けられる。あるいは、スピーカ２４に代替して、他の装置（例えば、オーディオ装置又はナビゲーション装置）が備える音声出力機能を用いてもよい。
【００２２】
表示装置２６（図１及び図２参照）は、車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に配されたＨＵＤ（ヘッドアップディスプレイ）である。表示装置２６として、ＨＵＤに限らず、車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（ＭＩＤ；マルチインフォメーションディスプレイ）を利用することができる。
【００２３】
ＥＣＵ２２は、入出力部２８、演算部３０、表示制御部３２、及び記憶部３４を基本的に備える。
【００２４】
カメラ１４、車速センサ１６、ヨーレートセンサ１８及びブレーキセンサ２０からの各信号は、入出力部２８を介してＥＣＵ２２側に入力される。また、ＥＣＵ２２からの各信号は、入出力部２８を介してスピーカ２４及び表示装置２６側に出力される。入出力部２８は、入力されたアナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路を備える。
【００２５】
演算部３０は、カメラ１４、車速センサ１６、ヨーレートセンサ１８及びブレーキセンサ２０からの各信号に基づく演算を実行し、演算結果に基づきスピーカ２４及び表示装置２６に対する信号を生成する。演算部３０は、距離推定部４０、識別対象領域決定部４２（識別対象領域抽出手段）、対象物識別部４４（対象物識別手段）、及び対象物検知部４６として機能する。ここで、対象物識別部４４は、画像特徴量としての特徴データ群を入力とし対象物の存否情報を出力とする、機械学習を用いて生成された識別器５０で構成される。
【００２６】
演算部３０における各部の機能は、記憶部３４に記憶されているプログラムを読み出して実行することにより実現される。或いは、前記プログラムは、図示しない無線通信装置（携帯電話機、スマートフォン等）を介して外部から供給されてもよい。
【００２７】
表示制御部３２は、表示装置２６を駆動制御する制御回路である。表示制御部３２が、入出力部２８を介して、表示制御に供される信号を表示装置２６に出力することで、表示装置２６が駆動する。これにより、表示装置２６は各種画像（撮像画像Ｉｍ、マーク等）を表示することができる。
【００２８】
記憶部３４は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するＲＡＭ（Random Access Memory）、及び実行プログラム、テーブル又はマップ等を記憶するＲＯＭ（Read Only Memory）等で構成される。
【００２９】
本実施形態に係る車両周辺監視装置１０は、基本的には、以上のように構成される。この車両周辺監視装置１０の動作の概要について以下説明する。
【００３０】
ＥＣＵ２２は、所定のフレームクロック間隔・周期（例えば、１秒あたり３０フレーム）毎に、カメラ１４から出力されるアナログの映像信号をデジタル信号に変換し、記憶部３４に一時的に取り込む。
【００３１】
図３Ａに示すように、撮像時点Ｔ＝Ｔ１において、第１フレームの撮像画像Ｉｍが得られたとする。本図例では、撮像画像Ｉｍにおいて、車両１２が走行する道路領域（以下、単に「道路６０」という）、道路６０に沿って略等間隔に設置された複数の電柱領域（以下、単に「電柱６２」という）、道路６０上の横断歩行者領域（以下、単に「横断歩行者６４」という）がそれぞれ存在する。
【００３２】
図３Ｂに示すように、撮像時点Ｔ＝Ｔ２（＞Ｔ１）において、第２フレームの撮像画像Ｉｍが得られたとする。本図の撮像画像Ｉｍにおいて、図３Ａに示す撮像画像Ｉｍの場合と同様に、道路６０、複数の電柱６２、及び横断歩行者６４がそれぞれ存在する。ところが、フレーム間隔時間が経過するにつれて、カメラ１４及び各対象物の間の相対的位置関係が時々刻々と変化する。これにより、第１及び第２フレーム（撮像画像Ｉｍ）が同一の画角範囲であっても、各対象物は、それぞれ異なる形態（形状、大きさ又は色彩）で画像化される。
【００３３】
そして、ＥＣＵ２２は、記憶部３４から読み出した撮像画像Ｉｍ（車両１２の前方画像）に対して各種演算処理を施す。ＥＣＵ２２（特に演算部３０）は、撮像画像Ｉｍに対する処理結果、必要に応じて車両１２の走行状態を示す各信号（車速Ｖｓ、ヨーレートＹｒ及び操作量Ｂｒ）を総合的に考慮し、車両１２の前方に存在する人体、動物等を、監視対象となる物体（以下、「監視対象物」あるいは単に「対象物」という。）として検出する。
【００３４】
車両１２が監視対象物に接触する可能性が高いと演算部３０により判断された場合、ＥＣＵ２２は、運転者の注意を喚起するために車両周辺監視装置１０の各出力部を制御する。ＥＣＵ２２は、例えば、スピーカ２４を介して警報音（例えば、ピッ、ピッ、…と鳴る音）を出力させるともに、表示装置２６上に可視化された撮像画像Ｉｍのうちその監視対象物の部位を強調表示させる。
【００３５】
続いて、図１に示す識別器５０による学習処理について、図４のフローチャートを参照しながら詳細に説明する。機械学習の手法として、教師あり学習、教師なし学習、強化学習のうちのいずれのアルゴリズムを採用してもよい。本実施形態では、事前に与えられたデータセットに基づいて学習を行う「教師あり学習」について具体例を挙げて説明する。
【００３６】
ステップＳ１１において、機械学習に供される学習データが収集される。ここで、学習データは、対象物を含む（又は含まない）学習サンプル画像と、この対象物の種類（「対象物無し」の属性を含む）とのデータセットである。対象物の種類として、例えば、人体、各種動物（具体的には、鹿、馬、羊、犬、猫等の哺乳動物、鳥類等）、人工構造物（具体的には、車両、標識、電柱、ガードレール、壁等）等が挙げられる。
【００３７】
図５は、横断歩行者７０、７２を含む学習サンプル画像７４、７６の一例を示す画像図である。学習サンプル画像７４の略中央には、左側から右側に向かって横断歩行する人体の投影像（以下、横断歩行者７０）が映し出されている。また、別の学習サンプル画像７６の略中央には、右手前側から左奥側に向かって横断歩行する人体の投影像（以下、横断歩行者７２）が映し出されている。本図例の学習サンプル画像７４、７６はいずれも、対象物が含まれる正解画像に相当する。収集される各学習サンプル画像には、対象物が含まれない不正解画像が含まれてもよい。また、識別器５０（図１参照）側に入力されるデータ形式を統一するため、各学習サンプル画像７４、７６は、それらの形状が互いに一致又は相似する画像領域８０を有することが好ましい。
【００３８】
ステップＳ１２において、各学習サンプル画像７４、７６の画像領域８０を分割することで、複数のサブ領域８２がそれぞれ定義される。図６例では、矩形状の画像領域８０は、そのサイズにかかわらず、行数が８つ、列数が６つとして、格子状に均等分割されている。すなわち、画像領域８０内において、同一の形状を有する、４８個のサブ領域８２がそれぞれ定義される。
【００３９】
ステップＳ１３において、識別器５０の学習アーキテクチャが構築される。学習アーキテクチャの例として、ブースティング法、ＳＶＭ（Support Vector machine）、ニューラルネットワーク、ＥＭ（Expectation Maximization）アルゴリズム等が挙げられる。本実施形態では、ブースティング法の一種であるＡｄａＢｏｏｓｔを適用する。
【００４０】
図７に示すように、識別器５０は、Ｎ個（Ｎは２以上の自然数）の特徴データ生成器９０と、Ｎ個の弱学習器９２と、重み付け更新器９３と、重み付け演算器９４と、サンプル荷重更新器９５とから構成される。
【００４１】
なお、本図において、説明の便宜のため、各特徴データ生成器９０に対して上から順に、第１データ生成器、第２データ生成器、第３データ生成器、‥、第Ｎデータ生成器と表記している。同様に、各弱学習器９２に対して上から順に、第１弱学習器、第２弱学習器、第３弱学習器、‥、第Ｎ弱学習器と表記している。
【００４２】
本図に示すように、１つの特徴データ生成器９０（例えば、第１データ生成器）及び１つの弱学習器９２（例えば、第１弱学習器）が択一的に接続されることで、Ｎ個のサブシステムが構築されている。そして、重み付け更新器９３の入力側にはＮ個のサブシステムの出力側（各弱学習器９２）がそれぞれ接続され、その出力側には、重み付け演算器９４及びサンプル荷重更新器９５が直列に接続されている。なお、機械学習の際における、識別器５０の詳細な動作については後述する。
【００４３】
ステップＳ１４において、対象物の種類毎に、サブ領域８２のマスク条件が決定される。ここで、マスク条件とは、１つの学習サンプル画像７４からＮ個の特徴データ（以下、特徴データ群という）を生成する際に、各サブ領域８２内の画像を採用するか否かについての選択条件を意味する。
【００４４】
例えば、車両１２にカメラ１４を搭載して実際に得た撮像画像Ｉｍを、学習サンプル画像７４、７６（正解画像）として用いる場合、対象物の背後に種々の構造物が映り込むことがある。図５例に示す学習サンプル画像７４において、横断歩行者７０を除いた背景部７８には、別の３名の人体、路面、建物の壁等が映し出されている。
【００４５】
機械学習の際、横断歩行者７０のみならず、背景部７８も含めて特徴データ群を作成すると、学習サンプル画像７４等を蓄積するデータベースの傾向によって背景部７８に関する過学習が起こることがある。この場合、背景部７８の画像情報は、対象物としての横断歩行者７０の学習・識別精度を低下させる外乱因子（ノイズ情報）として作用する。そこで、４８個すべてのサブ領域８２のうち、識別処理に適したサブ領域８２のみを選択し、作成された特徴データ群を用いて学習させることが効果的である。
【００４６】
図８Ａは、横断歩行者７０、７２を含む多数の学習サンプル画像７４、７６から得た、典型輪郭画像１００を表す模式図である。具体的には、図示しない画像処理装置を用いて、各学習サンプル画像７４等に対して公知のエッジ抽出処理を施すことで、各オブジェクトの輪郭が抽出された輪郭抽出画像（図示しない。）をそれぞれ作成する。ここで、各輪郭抽出画像は、オブジェクトの輪郭が抽出された部位を白色で表現するとともに、輪郭が抽出されなかった部位を黒色で表現する。
【００４７】
そして、図示しない画像処理装置を用いて、各輪郭抽出画像に対して種々の統計処理（例えば、平均化処理）を施すことで、各学習サンプル画像７４に典型的な輪郭画像（典型輪郭画像１００）を得る。ここで、典型輪郭画像１００は、各輪郭抽出画像と同様に、オブジェクトの輪郭が抽出された部位を白色で表現するとともに、輪郭が抽出されなかった部位を黒色で表現する。すなわち、典型輪郭画像１００は、多数の学習サンプル画像７４等に共通して含まれる対象物（横断歩行者７０、７２）の輪郭を表す画像に相当する。
【００４８】
例えば、輪郭特徴量が所定の閾値を超えたサブ領域８２を演算対象として採用し、輪郭特徴量が所定の閾値を下回ったサブ領域８２を演算対象から除外する。その結果、図８Ｂに示すように、画像領域８０内にそれぞれ定義された４８個のサブ領域８２のうち、２０個のサブ領域８２（典型輪郭画像１００の部分画像を示した領域）の集合が非マスク領域１０２として決定されたとする。また、４８個のサブ領域８２のうち、残余の２８個のサブ領域８２（白く塗り潰した領域）の集合がマスク領域１０４として決定される。
【００４９】
図９Ａは、対面歩行者を含む多数の学習サンプル画像から得た、典型輪郭画像１０６を表す模式図である。典型輪郭画像１０６の作成方法については、図８Ａの典型輪郭画像１００と同様であるので、その説明を省略する。
【００５０】
図９Ｂは、対面歩行者を含む各学習サンプル画像に共通する、非マスク領域１０８及びマスク領域１１０を示す概略説明図である。マスク領域１１０の決定方法については、図８Ｂのマスク領域１０４と同様であるので、その説明を省略する。
【００５１】
図８Ｂ及び図９Ｂから理解されるように、対象物は同一（歩行者）であるにもかかわらず、マスク領域１０４、１１０が異なっている。より詳細には、マスク領域１０４、１１０は、ハッチングを付した４つのサブ領域８２（図９Ｂ参照）がマスク対象であるか否かで異なる。これは、歩行動作（手足を振る動き）に起因する像形状の変化の度合いが、歩行者の移動方向によって異なるためである。このように、移動方向に応じて画像上での像形状が変化する傾向を踏まえ、対象物の移動方向毎に学習させてもよい。移動方向としては、画像面に対して横断方向（より詳しくは右方向、左方向）、対面方向（より詳しくは手前方向、奥方向）、斜め方向のいずれであってもよい。
【００５２】
ステップＳ１５において、ステップＳ１１で収集した多数の学習データを、識別器５０に対して遂次入力することで機械学習をさせる。以下、図７を参照しながら詳細に説明する。
【００５３】
先ず、識別器５０は、収集された各学習データのうち、横断歩行者７０を含む学習サンプル画像７４を特徴データ生成器９０側にそれぞれ入力する。そして、各特徴データ生成器９０は、ステップＳ１４で決定されたマスク条件に従って、学習サンプル画像７４に対し特定の演算処理を施すことで各特徴データ（総称して、特徴データ群）を作成する。マスク処理の具体的方法として、マスク領域１０４（図８Ｂ参照）に属する全画素の値を使用せずに演算してもよいし、上記した全画素の値を所定値（例えば０）に置き換えた後に演算することで、特徴データを実質的に無効にしてもよい。
【００５４】
そして、各弱学習器９２（第ｉ弱学習器；１≦ｉ≦Ｎ）は、特徴データ生成器９０（第ｉデータ生成器）から取得した各特徴データ（第ｉ特徴データ）に対して所定の演算を施すことで各出力結果（第ｉ出力結果）を得る。そして、重み付け更新器９３は、各弱学習器９２から取得した第１〜第Ｎ出力結果をそれぞれ入力するとともに、収集された１つの学習データのうちの対象物の存否情報である対象物情報９６を入力する。ここで、対象物情報９６は、学習サンプル画像７４の中に横断歩行者７０が含まれる旨を示す。
【００５５】
その後、重み付け更新器９３は、対象物情報９６に応じた出力値との誤差量が最小となる出力結果を得た弱学習器９２を１つ選択し、その重み付け係数αが大きくなるように更新量Δαを決定する。そして、重み付け演算器９４は、重み付け更新器９３から供給された更新量Δαを加算することで重み付け係数αを更新する。これと併せて、サンプル荷重更新器９５は、更新された重み付け係数α等に基づいて、学習サンプル画像７４等に予め付与された荷重（以下、サンプル荷重９７という）を更新する。
【００５６】
このように、学習データの入力、重み付け係数αの更新、及びサンプル荷重９７の更新を順次繰り返し、収束条件を満たすまで識別器５０に機械学習をさせる（ステップＳ１５）。
【００５７】
以上のようにして、機械学習された識別器５０を車両周辺監視装置１０（図１参照）内に実装することで、撮像画像Ｉｍの識別対象領域内に少なくとも１種類の対象物が存在するか否かを識別可能な対象物識別部４４が構築される。
【００５８】
続いて、車両周辺監視装置１０の詳細な動作について、図１０のフローチャートを参照しながら説明する。なお、本処理の流れは、車両１２が走行中である場合、撮像のフレーム毎に実行される。
【００５９】
ステップＳ２１において、ＥＣＵ２２は、フレーム毎に、カメラ１４により撮像された車両１２の前方（所定画角範囲）の出力信号である撮像画像Ｉｍを取得する。例えば、図３Ａに示すように、撮像時点Ｔ＝Ｔ１においてフレーム単位の撮像画像Ｉｍが得られたとする。そして、ＥＣＵ２２は、取得した撮像画像Ｉｍを記憶部３４に一時的に記憶させる。例えば、カメラ１４としてＲＧＢカメラを用いる場合、得られた撮像画像Ｉｍは、３つのカラーチャンネルからなる多階調画像である。
【００６０】
ステップＳ２２において、距離推定部４０は、ステップＳ２１で取得された撮像画像Ｉｍを用いて車両１２の仰俯角を算出することで、車両１２からの距離Ｄｉｓをそれぞれ推定する。
【００６１】
図１１は、車両１２、カメラ１４及び人体Ｍの位置関係を表す概略説明図である。ここで、カメラ１４を搭載した車両１２、及び、対象物としての人体Ｍが、平坦な路面Ｓ上に存在する場合を想定する。また、人体Ｍと路面Ｓとの接触点をＰｃとし、カメラ１４の光軸をＬ１とし、カメラ１４の光学中心Ｃと接触点Ｐｃとを結ぶ直線をＬ２とする。
【００６２】
例えば、カメラ１４の光軸Ｌ１が路面Ｓに対してなす角（仰俯角）がβであり、直線Ｌ２が直線Ｌ１に対してなす角がγであり、路面Ｓに対するカメラ１４の高さがＨｃであったとする。この場合、距離Ｄｉｓは、幾何学的な考察から、角度β、γ、及び高さＨｃを用いて、次の（１）式で算出される。
Ｄｉｓ＝Ｈｃ／ｔａｎ（β＋γ）      ‥（１）
【００６３】
このようにして、距離推定部４０は、撮像画像Ｉｍ上における路面Ｓ（図３Ａの道路６０）の各位置に対応する距離Ｄｉｓをそれぞれ推定できる。あるいは、距離推定部４０は、車両１２の運動に伴う、路面Ｓとカメラ１４との間の姿勢変化を考慮し、ＳｆＭ（Structure from Motion）等の公知の手法を用いて距離Ｄｉｓを推定してもよい。なお、車両周辺監視装置１０が測距センサを備える場合、これを利用して距離Ｄｉｓを計測してもよい。
【００６４】
ステップＳ２３において、識別対象領域決定部４２は、識別対象の画像領域である識別対象領域１２２のサイズ等を決定する。本実施形態では、識別対象領域決定部４２は、ステップＳ２２で推定された距離Ｄｉｓ、及び／又は、車速センサ１６から取得した車速Ｖｓに応じて、識別対象領域１２２のサイズ等を決定する。この具体例について図１２を参照しながら説明する。
【００６５】
図１２に示すように、路面Ｓ（道路６０）と人体Ｍ（横断歩行者６４）との接触点Ｐｃ（図１１参照）に対応する、撮像画像Ｉｍ上の位置を基準位置１２０とする。そして、横断歩行者６４をすべて含むように、矩形状の識別対象領域１２２が設定される。
【００６６】
識別対象領域決定部４２は、カメラ１４（図１１の光学中心Ｃ）から対象物までの距離Ｄｉｓに比例するように識別対象領域１２２のサイズを決定する。路面Ｓ（道路６０）上の基準位置１２４に、破線で図示した横断歩行者６４ｆが存在すると仮定した場合、識別対象領域１２２に相似する識別対象領域１２６が設定される。これにより、横断歩行者６４（６４ｆ）と識別対象領域１２２（１２６）との間の相対的大小関係が距離Ｄｉｓによらず一定になり、外乱因子（対象物の投影像以外の画像情報）の影響を一律に抑えることで対象物の学習・識別精度が一層向上する。
【００６７】
そして、識別対象領域決定部４２は、後述するラスタスキャンの対象範囲である指定領域１２８を併せて決定する。例えば、通常の動作範囲内において対象物が確実に検知される距離であるＤｉｓ１を下限値として決定し、通常の動作範囲内において対象物に即時に衝突するおそれがない距離であるＤｉｓ２を上限値として決定してもよい。このように、撮像画像Ｉｍのうちの一部の領域におけるスキャンを省略することで、識別処理の演算量及び演算時間を低減できるのみならず、指定領域１２８以外の領域において生じ得る誤検出自体を無くすることができる。
【００６８】
なお、識別対象領域決定部４２は、対象物の種類に応じて、識別対象領域１２２の形状を適宜変更してもよい。この場合、本実施形態の場合と同様に、距離Ｄｉｓに比例したサイズに決定してもよい。
【００６９】
また、識別対象領域決定部４２は、同一の距離Ｄｉｓであっても、対象物の身長に応じて識別対象領域１２２のサイズを変更してもよい。これにより、対象物の身長別に適切なサイズを設定可能であり、外乱因子の影響を一律に抑えることで対象物の学習・識別精度がさらに一層向上する。
【００７０】
ステップＳ２４において、演算部３０は、ステップＳ２３で決定された指定領域１２８内で、撮像画像Ｉｍのラスタスキャンを開始する。ここで、ラスタスキャンとは、基準位置１２０（撮像画像Ｉｍ内の画素）を所定の方向に移動させながら、対象物の有無を遂次識別する手法をいう。以下、識別対象領域決定部４２は、現在スキャン中の基準位置１２０、及び、基準位置１２０から特定される識別対象領域１２２の位置・サイズを遂次決定する。
【００７１】
ステップＳ２５において、対象物識別部４４は、決定された識別対象領域１２２内に、少なくとも１種類の対象物が存在するか否かを識別する。
【００７２】
図１３に示すように、対象物識別部４４は、機械学習を用いて生成された識別器５０（図７参照）である。重み付け演算器９４には、機械学習（図４のステップＳ１５）により得た、適切な重み付け係数αｆが予め設定されている。
【００７３】
対象物識別部４４は、識別対象領域１２２を含む画像領域８０を有する評価画像１３０を、各特徴データ生成器９０側に入力する。ここで、対象物識別部４４による識別精度を高めるため、識別対象領域１２２の画像に対して正規化処理（階調処理・拡縮処理）、位置合わせ処理等の必要な画像処理を適宜施してもよい。そして、対象物識別部４４は、各特徴データ生成器９０、各弱学習器９２、重み付け演算器９４、及び、重み付け演算器９４から取得した重み付け出力結果に対して階段関数を作用させる統合学習器９８を介して、評価画像１３０を順次処理し、識別対象領域１２２内に横断歩行者６４が存在する旨の識別結果を出力する。この場合、対象物識別部４４は、Ｎ個の弱識別器（弱学習器９２）を組み合わせることで高い識別性能を備えた強識別器として機能する。
【００７４】
各特徴データ生成器９０は、学習処理の場合（図７参照）と同一の演算方法を用いて、各サブ領域８２における画像特徴量（すなわち、上述の特徴データ群）をそれぞれ算出する。
【００７５】
ところで、画像特徴量の算出方法は、公知の方法を種々用いることができる。以下、画像の局所領域での輝度の強度及び勾配の特徴を示すＨＯＧ（Histograms of Oriented Gradient；輝度勾配方向ヒストグラム）特徴量について説明する。
【００７６】
図１４Ａに示すように、画像領域８０の中から、ヒストグラムの作成単位であるブロックが１つ選択されたとする。技術の理解を容易にするため、以下、各ブロックをそれぞれのサブ領域８２に対応させて定義する。例えば、ブロックとしてのサブ領域８２は、縦に６画素、横に６画素、合計３６個の画素８４で構成されたとする。
【００７７】
図１４Ｂに示すように、ブロックを構成する画素８４毎に、輝度の二次元勾配（Ｉｘ，Ｉｙ）が算出される。この場合、勾配強度Ｉ及び空間輝度勾配角θは、次の（２）式及び（３）式に従って算出される。
Ｉ＝（Ｉｘ２＋Ｉｙ２）１／２      ‥（２）
θ＝ｔａｎ−１（Ｉｙ／Ｉｘ）      ‥（３）
【００７８】
第１行目の各格子内に表記された矢印は、平面的な輝度勾配の方向を図示する。実際には、勾配強度Ｉ及び空間輝度勾配角θが、すべての画素８４に対して算出されるが、第２行目以降における矢印の図示を省略する。
【００７９】
図１４Ｃに示すように、１つのブロックにつき、空間輝度勾配角θに対するヒストグラムが作成される。ヒストグラムの横軸は空間輝度勾配角θ（本図例では、８つの区分）であり、ヒストグラムの縦軸は勾配強度Ｉである。この場合、（２）式に示す勾配強度Ｉに基づいてブロック毎のヒストグラムが作成される。
【００８０】
図１５Ａに示すように、ブロック毎のヒストグラム（図１４Ｃ例では空間輝度勾配角θ）を予め定めた順番、例えば昇順に連結することで、評価画像１３０のＨＯＧ特徴量が得られる。
【００８１】
このように、画像特徴量には、空間上での輝度勾配方向ヒストグラム（ＨＯＧ特徴量）が含まれてもよい。撮像の露光量に起因する輝度勾配方向（θ）の変動は小さいので、対象物の特徴を的確に捉えることが可能であり、環境光の強度が時々刻々と変化する屋外環境であっても安定した識別精度が得られる。
【００８２】
また、画像特徴量として、ＨＯＧ特徴量の定義を拡張させたＳＴＨＯＧ（Spatio-Temporal Histograms of Oriented Gradient）特徴量を用いてもよい。この場合、時系列で取得された複数の撮像画像Ｉｍを用いて、図１４Ｂの場合と同様に、ブロックを構成する画素８４毎に、輝度の三次元的勾配（Ｉｘ，Ｉｙ，Ｉｔ）が算出される。ここで、勾配強度Ｉ及び時間輝度勾配角φは、次の（４）式及び（５）式に従って算出される。
Ｉ＝（Ｉｘ２＋Ｉｙ２＋Ｉｔ２）１／２      ‥（４）
φ＝ｔａｎ−１｛Ｉｔ／（Ｉｘ２＋Ｉｙ２）１／２｝      ‥（５）
【００８３】
図１５Ｂに示すように、ＨＯＧ特徴量に対し、時間輝度勾配角φのヒストグラムをさらに連結することで、時空間上での輝度勾配ヒストグラムであるＳＴＨＯＧ特徴量が得られる。このように、空間上の輝度勾配方向（θ）のみならず、時間上の輝度勾配方向（φ）も併せて考慮することで、時系列で取得された複数の撮像画像Ｉｍにわたる対象物の検知・追跡が容易になる。
【００８４】
なお、ＳＴＨＯＧ特徴量の場合もＨＯＧ特徴量と同様に、（２）式に示す勾配強度Ｉに基づいてブロック毎のヒストグラムが作成される。
【００８５】
このようにして、対象物識別部４４は、決定された識別対象領域１２２内に、少なくとも１種類の対象物が存在するか否かを識別する（ステップＳ２５）。これにより、人体Ｍを含む対象物の種類のみならず、横断方向・対面方向を含む移動方向も併せて識別される。
【００８６】
ステップＳ２６において、識別対象領域決定部４２は、指定領域１２８内のスキャンがすべて完了したか否かを判別する。未完了であると判別された場合（ステップＳ２６：ＮＯ）、次のステップ（Ｓ２７）に進む。
【００８７】
ステップＳ２７において、識別対象領域決定部４２は、識別対象領域１２２の位置又はサイズを変更する。具体的には、識別対象領域決定部４２は、スキャン対象であった基準位置１２０を所定方向（例えば、右方向）に所定量（例えば、１画素分）だけ移動する。また、距離Ｄｉｓが変化する場合、識別対象領域１２２のサイズも併せて変更する。さらに、対象物の種類によって体長又は体幅の典型値が異なることを考慮して、識別対象領域決定部４２は、対象物の種類に応じて識別対象領域１２２のサイズを変更してもよい。
【００８８】
その後、ステップＳ２５に戻って、演算部３０は、指定領域１２８内のスキャンがすべて完了するまでステップＳ２５〜Ｓ２７を順次繰り返す。完了したと判別された場合（ステップＳ２６：ＹＥＳ）、演算部３０は、撮像画像Ｉｍのラスタスキャンを終了する（ステップＳ２８）。
【００８９】
ステップＳ２９において、対象物検知部４６は、撮像画像Ｉｍ内に存在する対象物を検知する。フレーム単体での識別結果を用いてもよいし、複数のフレームでの識別結果を併せて考慮することで、同一の対象物についての動きベクトルを算出できる。
【００９０】
ステップＳ３０において、ＥＣＵ２２は、次回の演算処理に必要なデータを記憶部３４に記憶させる。例えば、ステップＳ２２で作成された距離Ｄｉｓ、ステップＳ２５で得られた対象物（図３Ａ等の横断歩行者６４）の属性、基準位置１２０等が挙げられる。
【００９１】
この動作を遂次実行することで、車両周辺監視装置１０は、所定の時間間隔で、車両１２の前方に存在する対象物（例えば、図１１の人体Ｍ）を監視することができる。
【００９２】
以上のように、本発明に係る車両周辺監視装置１０は、車両１２に搭載され、車両１２の走行中に撮像することで車両１２の周辺における撮像画像Ｉｍを取得するカメラ１４と、取得された撮像画像Ｉｍの中から識別対象領域１２２、１２６を抽出する識別対象領域決定部４２と、抽出された識別対象領域１２２、１２６における画像特徴量から、識別対象領域１２２、１２６内に対象物（例えば、横断歩行者６４）が存在するか否かを対象物の種類毎に識別する対象物識別部４４とを備える。対象物識別部４４は、画像特徴量としての特徴データ群を入力とし対象物の存否情報を出力とする、機械学習を用いて生成された識別器５０である。
【００９３】
そして、対象物識別手段としての識別器５０は、機械学習に供される各学習サンプル画像７４、７６を構成する複数のサブ領域８２のうち、対象物の種類に応じて選択した少なくとも１つのサブ領域８２（非マスク領域１０２、１０８）の画像から、前記特徴データ群を作成し入力するようにしたので、対象物の投影像の形状に適したサブ領域８２の画像情報を、学習処理に対して選択的に採用可能であり、対象物の種類にかかわらず学習精度を向上させることができる。そして、残余のサブ領域８２（マスク領域１０４、１１０）を学習処理から除外することで、識別処理の際に外乱因子として作用する、対象物の投影像以外の画像情報に対する過学習を防止可能であり、対象物の識別精度を向上させることができる。なお、車載されたカメラ１４から得た撮像画像Ｉｍのシーン（背景、天候、路面パターン等）は時々刻々と変化するため、特に効果的である。
【００９４】
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
【００９５】
本実施形態では、単眼カメラ（カメラ１４）により得られた撮像画像Ｉｍに対して上記した識別処理を実行しているが、複眼カメラ（ステレオカメラ）でも同様の作用効果が得られることは言うまでもない。
【００９６】
また、本実施形態では、対象物識別部４４（識別器５０）による学習処理及び識別処理を分離して実行しているが、両者の処理を並列的に実行可能に設けてもよい。
【符号の説明】
【００９７】
１０…車両周辺監視装置                    １２…車両
１４…カメラ                              ２２…ＥＣＵ
３０…演算部                              ３４…記憶部
４０…距離推定部                          ４２…識別対象領域決定部
４４…対象物識別部                        ４６…対象物検知部
５０…識別器                              ６４、７０、７２…横断歩行者
７４、７６…学習サンプル画像              ７８…背景部
８０…画像領域                            ８２…サブ領域
９０…特徴データ生成器                    ９２…弱学習器
９４…重み付け演算器                      ９６…対象物情報
９８…統合学習器                          １００、１０６…典型輪郭画像
１０２、１０８…非マスク領域              １０４、１１０…マスク領域
１２０、１２４…基準位置                  １２２、１２６…識別対象領域
１２８…指定領域                          １３０…評価画像
【図１】
2014106685.tif 000003
【図２】
2014106685.tif 000004
【図３】
2014106685.tif 000005
【図４】
2014106685.tif 000006
【図５】
2014106685.tif 000007
【図６】
2014106685.tif 000008
【図７】
2014106685.tif 000009
【図８】
2014106685.tif 000010
【図９】
2014106685.tif 000011
【図１０】
2014106685.tif 000012
【図１１】
2014106685.tif 000013
【図１２】
2014106685.tif 000014
【図１３】
2014106685.tif 000015
【図１４】
2014106685.tif 000016
【図１５】
2014106685.tif 000017