(57)【要約】【課題】遮蔽物により検出対象物の輪郭形状が損なわれている場合でも、精度良く対象物を検出する。【解決手段】撮像装置１２で撮像されコンピュータ１６へ入力された撮像画像からウインドウ画像を抽出し、抽出されたウインドウ画像に識別モデルの部分特徴の各々に対応した部分領域を設定し、部分領域の各々に高輝度領域が含まれるか否かを判定し、高輝度領域が含まれない場合には、部分領域から抽出した特徴量に応じて高スコアまたは低スコアを付与し、高輝度領域が含まれる場合には、スコアとして０または高スコアと低スコアとの平均値を付与し、部分領域の各々のスコアを合計した合計スコアに基づいて、ウインドウ画像が検出対象の歩行者を示す画像であるか否かを識別する。【選択図】図１
2011165170.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像からウインドウ画像を抽出する抽出手段と、
前記抽出手段により抽出されたウインドウ画像内の領域であって、対象物を含む画像の複数の部分について該複数の部分各々の特徴を表す複数の部分特徴を有する識別モデルの部分特徴の各々の位置及び大きさに対応する領域に、前記識別モデルの部分特徴に対応する部分領域を設定する設定手段と、
前記設定手段により設定された前記部分領域の各々に、遮蔽物が含まれるか否かを判定する判定手段と、
前記判定手段により前記遮蔽物が含まれると判定された部分領域以外の部分領域の各々から特徴量を抽出し、特徴量を抽出した部分領域に、抽出した特徴量に基づいて定めた対象物らしさを示すスコアを付与するスコア付与手段と、
前記スコア付与手段により付与された部分領域毎のスコアを合計した合計スコアに基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段と、
を含む対象物検出装置。
【請求項２】
前記スコア付与手段は、前記判定手段により前記遮蔽物が含まれると判定された部分領域に、識別に影響を与えないスコアを付与する請求項１記載の対象物検出装置。
【請求項３】
前記スコア付与手段は、前記部分領域から抽出した特徴量が対象物らしさを示す度合いが高い場合に、高スコアを付与し、対象物らしさを示す度合いが低い場合に、低スコアを付与すると共に、前記識別に影響を与えないスコアとして、０または前記高スコアと前記低スコアとの平均値を付与する請求項２記載の対象物検出装置。
【請求項４】
前記スコア付与手段は、前記部分領域から抽出した特徴量が対象物らしさを示す度合いが高い場合に、高スコアを付与し、対象物らしさを示す度合いが低い場合に、低スコアを付与すると共に、前記識別に影響を与えないスコアとして、前記高スコアまたは前記低スコアのいずれかを付与する請求項２記載の対象物検出装置。
【請求項５】
前記識別モデルには、部分特徴の各々に対する対象物らしさを示す重み係数が記述され、
前記スコア付与手段は、前記部分領域から抽出された特徴量と、該抽出された特徴量に対応する前記識別モデルに記述された重み係数との積を、該部分領域のスコアとして付与する
請求項１または請求項２記載の対象物検出装置。
【請求項６】
前記判定手段は、前記部分領域に高輝度領域が含まれる場合に、前記部分領域に遮蔽物が含まれると判定する請求項１〜請求項５のいずれか１項記載の対象物検出装置。
【請求項７】
前記特徴量を、前記部分領域を２以上に分割した領域毎の画素値を用いた値とし、
前記判定手段は、前記部分領域内の遮蔽物を示す部分の面積が所定値以下で、かつ前記部分領域内における前記遮蔽物の配置が、前記分割した領域に対して偏りがない場合に、前記部分領域に遮蔽物が含まれないと判定する
請求項１〜請求項６のいずれか１項記載の対象物検出装置。
【請求項８】
前記識別モデルを記憶した記憶手段を含む請求項１〜請求項７のいずれか１項記載の対象物検出装置。
【請求項９】
コンピュータを、
入力された画像からウインドウ画像を抽出する抽出手段、
前記抽出手段により抽出されたウインドウ画像内の領域であって、対象物を含む画像の複数の部分について該複数の部分各々の特徴を表す複数の部分特徴を有する識別モデルの部分特徴の各々の位置及び大きさに対応する領域に、前記識別モデルの部分特徴に対応する部分領域を設定する設定手段、
前記設定手段により設定された前記部分領域の各々に、遮蔽物が含まれるか否かを判定する判定手段、
前記判定手段により前記遮蔽物が含まれると判定された部分領域以外の部分領域の各々から特徴量を抽出し、特徴量を抽出した部分領域に、抽出した特徴量に基づいて定めた対象物らしさを示すスコアを付与するスコア付与手段、及び
前記スコア付与手段により付与された部分領域毎のスコアを合計した合計スコアに基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段
として機能させるための対象物検出プログラム。
【請求項１０】
コンピュータを、請求項１〜請求項８のいずれか１項記載の対象物検出装置を構成する各手段として機能させるための対象物検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物検出装置及びプログラムに係り、特に、撮像した画像から対象物を検出するための対象物検出装置及びプログラムに関する。
【背景技術】
【０００２】
近年、車載カメラで撮像した車両周辺の映像を画像処理し、歩行者などの対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。
【０００３】
対象物を検出する方法として、予め対象物パターンを学習させた識別モデルを生成しておき、入力された画像が識別モデルに登録されたデータに近いか否かを判断することで対象物を検出する方法が一般的である。このような対象物の検出の際に、入力された画像に高輝度領域等の遮蔽物が存在し、この遮蔽物により対象物が遮蔽されて、対象物の輪郭形状が損なわれてしまう場合がある。
【０００４】
そこで、入力画像の画素毎の輝度値のばらつきの度合いを示す数値であって、輝度値の正規化に用いられた場合に入力画像の背景と対象物とのコントラストが低下しないような数値を算出し、この数値を用いて輝度値を正規化したうえで、入力画像から対象物を検出する対象物検出装置が提案されている（例えば、特許文献１参照）。
【０００５】
また、画像から歩行者候補領域を抽出し、歩行者候補領域の画像の中に閾値以上の輝度値の画素が存在する場合には、その歩行者候補領域を歩行者の候補から除外する画像処理装置が提案されている（例えば、特許文献２参照）。
【０００６】
また、入力画像からウインドウ画像を抽出し、ウインドウ画像の輝度値が閾値を超えないように補正し、補正されたウインドウ画像と学習モデルとに基づいて、対象物を検出する対象物検出装置が提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１６５４９６号公報
【特許文献２】特開２００８−６５４６３号公報
【特許文献３】特開２００７−２７２４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の対象物検出装置では、高輝度領域の影響を低減させるための画像の正規化に多くの処理時間を要し、また、手法の変更に伴う学習モデルの再学習が必要である、という問題がある。
【０００９】
また、特許文献２の画像処理装置では、高輝度領域を含む歩行者候補領域がすべて候補から除外されてしまうため、高輝度領域により一部輪郭形状が遮蔽された対象物も候補から除外されてしまい、対象物の未検出率が上昇してしまう、という問題がある。
【００１０】
また、特許文献３の対象物検出装置では、高輝度領域の周辺画素の輝度値などを用いて補正を行っているが、補正によって遮蔽部分に疑似の輪郭が発生し、適切に対象物を検出することができない場合がある、という問題がある。
【００１１】
本発明は、上述した問題を解決するために成されたものであり、遮蔽物により検出対象物の輪郭形状が損なわれている場合でも、精度良く対象物を検出することができる対象物検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明の対象物検出装置は、入力された画像からウインドウ画像を抽出する抽出手段と、前記抽出手段により抽出されたウインドウ画像内の領域であって、対象物を含む画像の複数の部分について該複数の部分各々の特徴を表す複数の部分特徴を有する識別モデルの部分特徴の各々の位置及び大きさに対応する領域に、前記識別モデルの部分特徴に対応する部分領域を設定する設定手段と、前記設定手段により設定された前記部分領域の各々に、遮蔽物が含まれるか否かを判定する判定手段と、前記判定手段により前記遮蔽物が含まれると判定された部分領域以外の部分領域の各々から特徴量を抽出し、特徴量を抽出した部分領域に、抽出した特徴量に基づいて定めた対象物らしさを示すスコアを付与するスコア付与手段と、前記スコア付与手段により付与された部分領域毎のスコアを合計した合計スコアに基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。
【００１３】
本発明の対象物検出装置によれば、抽出手段が、入力された画像からウインドウ画像を抽出し、設定手段が、抽出手段により抽出されたウインドウ画像内の領域であって、対象物を含む画像の複数の部分について該複数の部分各々の特徴を表す複数の部分特徴を有する識別モデルの部分特徴の各々の位置及び大きさに対応する領域に、識別モデルの部分特徴に対応する部分領域を設定し、判定手段が、設定手段により設定された部分領域の各々に、遮蔽物が含まれるか否かを判定する。遮蔽物としては、例えば、画像上に高輝度領域として表れる外光等や、ガードレール等がある。このような遮蔽物の存在により、対象物が遮蔽されて、対象物の外形形状が損なわれてしまう場合がある。
【００１４】
そして、スコア付与手段が、判定手段により遮蔽物が含まれると判定された部分領域以外の部分領域の各々から特徴量を抽出し、特徴量を抽出した部分領域に、抽出した特徴量に基づいて定めた対象物らしさを示すスコアを付与し、識別手段が、スコア付与手段により付与された部分領域毎のスコアを合計した合計スコアに基づいて、ウインドウ画像が対象物を表す画像か否かを識別する。
【００１５】
このように、ウインドウ画像内の遮蔽物が含まれていない部分領域に対してスコアが付与されるため、遮蔽物が含まれている部分領域に対して、対象物であるにもかかわらず低いスコアが付与されたり、対象物でないにもかかわらず高いスコアが付与されたりすることを防止することができ、遮蔽物により対象物の輪郭形状が損なわれている場合でも、精度良く対象物を検出することができる。
【００１６】
また、前記スコア付与手段は、前記判定手段により前記遮蔽物が含まれると判定された部分領域に、識別に影響を与えないスコアを付与するようにすることができる。例えば、前記スコア付与手段は、前記部分領域から抽出した特徴量が対象物らしさを示す度合いが高い場合に、高スコアを付与し、対象物らしさを示す度合いが低い場合に、低スコアを付与すると共に、前記識別に影響を与えないスコアとして、０または前記高スコアと前記低スコアとの平均値を付与するようにすることができる。
【００１７】
また、前記スコア付与手段は、前記部分領域から抽出した特徴量が対象物らしさを示す度合いが高い場合に、高スコアを付与し、対象物らしさを示す度合いが低い場合に、低スコアを付与すると共に、前記識別に影響を与えないスコアとして、前記高スコアまたは前記低スコアのいずれかを付与するようにしてもよい。対象物であるにもかかわらず対象物として検出されない未検出の防止を重視する場合には、高スコアを付与し、対象物でないにもかかわらず対象物として検出されてしまう誤検出の防止を重視する場合には、低スコアを付与するなど、目的に応じて識別に影響を与えないスコア付与することができる。
【００１８】
また、前記識別モデルには、部分特徴の各々に対する対象物らしさを示す重み係数が記述され、前記スコア付与手段は、前記部分領域から抽出された特徴量と、該抽出された特徴量に対応する前記識別モデルに記述された重み係数との積を、該部分領域のスコアとして付与することができる。
【００１９】
また、前記判定手段は、前記部分領域に高輝度領域が含まれる場合に、前記部分領域に遮蔽物が含まれると判定するようにすることができる。
【００２０】
また、前記特徴量を、前記部分領域を２以上に分割した領域毎の画素値を用いた値とし、前記判定手段は、前記部分領域内の遮蔽物を示す部分の面積が所定値以下で、かつ前記部分領域内における前記遮蔽物の配置が、前記分割した領域に対して偏りがない場合に、前記部分領域に遮蔽物が含まれないと判定するようにすることができる。例えば、２以上に分割した領域毎の画素値の和の差を特徴量とするような場合には、遮蔽物を示す部分の面積が所定値以下であっても、その配置が偏っている場合には、特徴量への影響が大きい。一方、部分領域内における遮蔽物の配置に偏りがない場合には、特徴量への影響が小さいため、遮蔽物が含まれないと判定しても、識別精度を低下させない。
【００２１】
また、本発明の対象物検出装置は、前記識別モデルを記憶した記憶手段を含むように構成することができる。
【００２２】
また、本発明の対象物検出プログラムは、コンピュータを、入力された画像からウインドウ画像を抽出する抽出手段、前記抽出手段により抽出されたウインドウ画像内の領域であって、対象物を含む画像の複数の部分について該複数の部分各々の特徴を表す複数の部分特徴を有する識別モデルの部分特徴の各々の位置及び大きさに対応する領域に、前記識別モデルの部分特徴に対応する部分領域を設定する設定手段、前記設定手段により設定された前記部分領域の各々に、遮蔽物が含まれるか否かを判定する判定手段、前記判定手段により前記遮蔽物が含まれると判定された部分領域以外の部分領域の各々から特徴量を抽出し、特徴量を抽出した部分領域に、抽出した特徴量に基づいて定めた対象物らしさを示すスコアを付与するスコア付与手段、及び前記スコア付与手段により付与された部分領域毎のスコアを合計した合計スコアに基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。
【００２３】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２４】
以上説明したように、本発明によれば、ウインドウ画像内の遮蔽物が含まれていない部分領域に対してスコアが付与されるため、遮蔽物が含まれている部分領域に対して不適切なスコアが付与されることを防止することができ、遮蔽物により検出対象物の輪郭形状が損なわれている場合でも、精度良く対象物を検出することができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】第１の実施の形態に係る対象物検出装置の構成を示すブロック図である。
【図２】識別モデルの一例を示す図である。
【図３】識別モデルの部分特徴毎のスコアを説明するための図である。
【図４】外光によりウインドウ画像に高輝度領域が存在する場合のスコアへの影響を説明するための図である。
【図５】高スコアと低スコアとの平均値を用いる場合の合計スコアへの影響を説明するための図である。
【図６】（ａ）部分領域内での高輝度領域の配置に偏りがない場合を示す図、及び（ｂ）偏りがある場合を示す図である。
【図７】第１の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。
【図８】第２の実施の形態に係る対象物検出装置の構成を示すブロック図である。
【図９】第２の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。
【図１０】第３の実施の形態に係る対象物検出装置の構成を示すブロック図である。
【図１１】ＨＯＧを用いた部分特徴を説明するための図である。
【図１２】第３の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を検出する対象物検出装置に本発明を適用した場合について説明する。
【００２７】
図１に示すように、第１の実施の形態に係る対象物検出装置１０は、識別対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて歩行者を検出する対象物検出処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８と、を備えている。
【００２８】
撮像装置１２は、識別対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２９】
コンピュータ１６は、対象物検出装置１０全体の制御を司るＣＰＵ、後述する対象物検出処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００３０】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で撮像されコンピュータ１６へ入力された撮像画像から所定領域のウインドウ画像を抽出するウインドウ画像抽出部２０と、ウインドウ画像抽出部２０により抽出されたウインドウ画像と識別モデルとを比較することにより、撮像画像から歩行者を検出する検出部２２と、識別モデルが記憶された識別モデル記憶部２４と、を含んだ構成で表すことができる。
【００３１】
検出部２２は、さらに、ウインドウ画像に識別モデルの部分特徴の各々に対応した部分領域を設定する部分領域設定部２６と、部分領域の各々に高輝度領域が含まれるか否かを判定する高輝度領域判定部２８と、高輝度領域判定部の判定結果を踏まえて部分領域毎にスコアを付与するスコア付与部３０と、部分特徴の各々に対応する部分領域毎のスコアを合計した合計スコアに基づいて、ウインドウ画像が検出対象の歩行者を表す画像であるか否かを識別する対象物識別部３２と、を含んだ構成で表すことができる。
【００３２】
ウインドウ画像抽出部２０は、撮像画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら画像を切り取る。ここでは、切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは様々なサイズの歩行者を検出するために複数種設定されており、ウインドウ画像抽出部２０は、設定されている全てのウインドウサイズの探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部２０は、抽出したウインドウ画像を予め設定された画素数の画像（例えば、横１６×縦３２画素の画像）に変換する。
【００３３】
識別モデル記憶部２４には、予め学習により生成され、検出部２２で対象物を検出する際に参照される識別モデルが記憶されている。なお、ここでは、識別モデル記憶部２４をコンピュータ１６に設ける場合について説明するが、他の外部装置の記憶手段に識別モデルを記憶しておき、ネットワークや通信手段を介して他の外部装置に接続して、他の外部装置の記憶手段に記憶された識別モデルを読み込むような構成としてもよい。
【００３４】
ここで、識別モデル記憶部２４に記憶される識別モデルについて説明すると共に、本実施の形態の原理について説明する。
【００３５】
本実施の形態の識別モデルは、予め歩行者が撮影された対象物の学習用画像、及び歩行者以外が撮影された非対象物の学習用画像を所定枚数（例えば、各１０００枚）用意し、これらの学習用画像をブースティング処理により学習して生成する。例えば、図２に示すように、ＶＪ（Ｖｉｏｌａ  ＆  Ｊｏｈｎｓ）法を用いて学習された識別モデルは、複数の部分特徴（部分特徴１〜ｎ）を有しており、各部分特徴は、矩形特徴とその特徴量に対する閾値、その特徴毎に付与されるスコアが１つの組みとして定められている。閾値及びスコアは学習により算出される。スコアには、矩形特徴から抽出される特徴量が閾値を超えた場合に付与される高スコア、及び特徴量が閾値以下の場合に付与される低スコアの２種類がある。また、識別モデルには、対象物を識別するための全体閾値が定められており、部分特徴毎に付与されたスコアを合計した合計スコアが全体閾値を超えたか否かにより、対象物か否かの識別を行う。
【００３６】
このような識別モデルにおいて、ｉ番目の特徴量の閾値をθｉ、ウインドウ画像ｘから得られたｉ番目の特徴量をｆｉ（ｘ）、ｆｉ（ｘ）が閾値θｉを超える場合に付与される高スコアをａｐｉ、ｆｉ（ｘ）が閾値θｉ以下の場合に付与される低スコアをａｎｉ、及び識別モデル全体の閾値をΘとすると、通常のブースティング処理では、下記（１）式のＨ（ｘ）の値によって、ウインドウ画像ｘが歩行者を表す画像か否かを識別する。なお、Ｈ（ｘ）が１のとき、ウインドウ画像ｘは歩行者を示す画像であり、Ｈ（ｘ）が０のとき、ウインドウ画像ｘは非歩行者を示す画像である。（１）式が示すように、スコアｈｉ（ｘ）として大きな値が付与されることにより、ウインドウ画像ｘが歩行者である可能性が高くなる。
【００３７】
【数１】
2011165170.tif 000003
【００３８】
例えば、ＶＪ法で利用される矩形特徴は、図２に示すように、左半分を白色領域及び右半分を黒色領域とする矩形特徴の白色領域内に含まれる画素値の和と黒色領域内に含まれる画素値の和との差である。図３に示すように、歩行者の輪郭形状に一致する矩形特徴は特徴量が大きくなるため、閾値を超えて高スコアが付与される。一方、同一の矩形特徴の場合でも、非歩行者の輪郭パターンには一致しないため、特徴量が小さくなり、閾値以下となって低スコアが付与される。
【００３９】
一方、図４に示すように、外光の影響を受けた部分では、本来部分特徴に一致して高スコアが付与されるはずであるのに、外光により歩行者の輪郭形状が失われており、低スコアが付与されてしまう。この低スコアが合計スコアにも影響を与え、誤検出または未検出を生じてしまう。
【００４０】
そこで、本実施の形態では、部分領域に高輝度領域が含まれる場合には、その部分領域に対して付与されるスコアが、合計スコアに基づいて対象物か否かを識別する際に影響しないようにスコアを付与する。具体的には、（２）式に変えて、下記（３）式に示すように、高輝度領域が存在する場合には、スコアｈｉ（ｘ）を０にしたり、下記（４）式に示すように、高スコアａｐｉと低スコアａｎｉとの平均値としたりする。
【００４１】
【数２】
2011165170.tif 000004
【００４２】
スコアｈｉ（ｘ）を０にすることは、（１）式におけるスコアｈｉ（ｘ）の合計を変化させないので、この部分領域から抽出された特徴からは、歩行者とも非歩行者とも判定しないということを表している。また、高スコアａｐｉと低スコアａｎｉとの平均値にすることは、図５に示すように、高輝度領域が存在しない場合に考えられるスコアの合計値（特徴量が閾値を超える場合及び閾値以下の場合の合計スコア）の中間に合計スコアを調整することで、歩行者または非歩行者のどちらか一方に有利にならないように調整していることを表している。すなわち、いずれの場合も、高輝度領域が含まれる部分領域の特徴量に基づいて付与されるスコアは、識別に影響を与えない。
【００４３】
また、部分領域に高輝度領域が含まれる場合に、高スコアａｐｉまたは低スコアａｎｉのいずれか一方を付与するようにしてもよい。いずれか一方の選択は、対象物である歩行者を検出する際の未検出率を重視するか、誤検出率を重視するかにより定めることができる。
【００４４】
部分領域設定部２６は、識別モデルの部分特徴毎に定められた矩形特徴の配置及びサイズに基づいて、ウインドウ画像に部分領域を設定する。例えば、図２に示す部分特徴１に対応する部分領域を設定するには、ウインドウ画像の左端を基準として、横位置ｘ１及び縦位置ｙ１の位置を左上端とする横ｗ１×縦ｈ１のサイズの部分領域を設定する。
【００４５】
高輝度領域判定部２８は、設定された部分領域内の画素値に基づいて、部分領域内に高輝度領域が含まれるか否かを判定する。高輝度領域の有無の判定は、例えば、部分領域の画素値の平均値が予め定めた高輝度閾値以上か否かで判定したり、部分領域内の画素数に対する所定値以上の画素値の画素数の割合に基づいて判定したりすることができる。
【００４６】
また、ＶＪ法の矩形特徴を用いた場合には、高輝度領域の面積が所定値以下の場合であっても、その配置により特徴量に大きく影響する。例えば、図６に示すように、同じ大きさの高輝度領域が存在する場合でも、（ａ）の場合には、高輝度領域の配置が白色領域と黒色領域とに均等にまたがっているため、得られる特徴量への影響は少ない。一方、（ｂ）の場合のように、高輝度領域の配置が白色領域または黒色領域の一方に偏っている場合には、得られる特徴量への影響が大きい。そこで、高輝度領域の面積が所定値以下の場合に、その高輝度領域の配置に偏りがないか否かも判定する。この判定は、例えば、高輝度領域の重心の位置を利用したり、白色領域及び黒色領域の各々に含まれる高輝度領域の面積比により判定したりすることができる。
【００４７】
スコア付与部３０は、部分領域に高輝度領域が含まれない場合（含まれる高輝度領域が所定値以下の面積であって、配置に偏りのない場合を含む。）には、設定された部分領域の特徴量を抽出して、抽出した特徴量を識別モデルの部分特徴に定められた閾値と比較して、高スコアまたは低スコアを付与する。一方、部分領域に高輝度領域が含まれる場合には、識別に影響を与えないスコアとして、０または高スコアと低スコアとの平均値を付与する。すなわち、（３）式、または（４）式に従って、部分領域毎にスコアを付与する。
【００４８】
対象物識別部３２は、（１）式に従って、ウインドウ画像が歩行者か否かを識別し、識別結果を撮像画像に重畳して表示するよう、表示装置１８を制御する。
【００４９】
次に、図７を参照して、第１の実施の形態の対象物検出装置１０のコンピュータ１６で実行される対象物検出処理ルーチンについて説明する。
【００５０】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像に対して例えば１６×３２画素の探索ウインドウを撮像画像の所定領域（例えば、左上角の領域）に設定し、設定した探索ウインドウを用いて、撮像画像から１６×３２画素のウインドウ画像ｘを抽出する。
【００５１】
次に、ステップ１０４で、変数Ｋに１を、及び合計スコアＨ（ｘ）に０をセットする。変数Ｋは、識別モデルの部分特徴の各々に付与された通し番号に対応しており、Ｋ＝１，２，・・・ｎ（ｎは部分特徴の総数）である。合計スコアＨ（ｘ）は、本ステップで初期値０にセットされ、部分領域毎に付与されるスコアｈＫ（ｘ）が順次加算されていく。
【００５２】
次に、ステップ１０６で、識別モデルのＫ番目の部分特徴として定められた矩形特徴の配置及びサイズに基づいて、上記ステップ１０２で抽出されたウインドウ画像ｘに部分領域Ｋを設定する。例えば、図２に示す識別モデルの場合、部分特徴１に対応する部分領域として、ウインドウ画像の左上端を基準として、横位置ｘ１及び縦位置ｙ１の位置を左端とする横ｗ１×縦ｈ１のサイズの部分領域１を設定する。
【００５３】
次に、ステップ１０８で、部分領域Ｋに高輝度領域候補が含まれるか否かを判定する。例えば、部分領域Ｋに含まれる画素の画素値の平均値が予め定めた高輝度閾値以上か否か、または部分領域Ｋ内の画素数に対する所定値以上の画素値の画素数の割合等に基づいて判定する。高輝度領域候補が含まれる場合には、ステップ１１０へ移行し、高輝度領域候補が含まれない場合には、部分領域Ｋには高輝度領域は含まれていないと判定されて、ステップ１１４へ移行する。
【００５４】
ステップ１１０では、上記ステップ１０８で部分領域Ｋに含まれると判定された高輝度領域候補の面積が所定値以下か否かを判定する。所定値より大きい場合には、その高輝度領域候補を最終的に高輝度領域と判定し、部分領域Ｋに高輝度領域が含まれると判定して、ステップ１１６へ移行する。一方、高輝度領域候補の面積が所定値以下の場合には、ステップ１１２へ移行して、高輝度領域候補の配置に偏りがないか否かを判定する。図６（ａ）に示すように高輝度領域候補の配置に偏りがない場合には、部分領域Ｋには高輝度領域は含まれていないと判定されて、ステップ１１４へ移行する。同図（ｂ）に示すように高輝度領域候補の配置に偏りがある場合には、その高輝度領域候補を最終的に高輝度領域と判定し、部分領域Ｋに高輝度領域が含まれると判定して、ステップ１１６へ移行する。
【００５５】
ステップ１１４では、部分領域Ｋから矩形特徴に応じた特徴量ｆＫ（ｘ）を抽出し、抽出した特徴量ｆＫ（ｘ）を識別モデルの部分特徴Ｋに定められた閾値θＫと比較して、特徴量ｆＫ（ｘ）が閾値θＫを超えている場合には、スコアｈＫ（ｘ）として高スコアａｐＫを付与し、特徴量ｆＫ（ｘ）が閾値θＫ以下の場合には、低スコアａｎＫを付与して、ステップ１１８へ移行する。
【００５６】
一方、ステップ１１６では、（３）式、または（４）式に従って、部分領域ＫのスコアｈＫ（ｘ）が合計スコアＨ（ｘ）に影響を与えないように、スコアｈＫ（ｘ）として、０または高スコアａｐＫと低スコアａｎＫとの平均値を付与して、ステップ１１８へ移行する。
【００５７】
ステップ１１８では、ここまでの合計スコアＨ（ｘ）に上記ステップ１１４またはステップ１１６で付与された部分領域ＫのスコアｈＫ（ｘ）を加算して、Ｋ番目までの合計スコアＨ（ｘ）を算出する。次に、ステップ１２０で、変数Ｋがｎとなったか否かを判定することにより、識別モデルの全ての部分特徴について処理を終了したか否かを判定する。まだ未処理の部分特徴が存在する場合には、ステップ１２２へ移行して、変数Ｋを１インクリメントして、ステップ１０６へ戻り、次の部分特徴について、ステップ１０６〜１１８の処理を繰り返す。
【００５８】
全ての部分特徴について処理が終了すると、上記ステップ１２０で肯定判定されて、ステップ１２４へ移行し、合計スコアＨ（ｘ）が全体閾値Θを超えたか否かを判定する。Ｈ（ｘ）＞Θの場合には、ウインドウ画像ｘは歩行者であると識別されて、ステップ１２６へ移行し、探索ウインドウの位置及び大きさ等の情報をリストとしてＲＡＭに保存して、次のステップ１２８へ移行する。一方、Ｈ（ｘ）≦Θの場合には、ウインドウ画像ｘは非歩行者であると判定されて、そのままステップ１２８へ移行する。
【００５９】
ステップ１２８では、上記ステップ１００で取得された撮像画像の全体について探索ウインドウをスキャンして探索が終了したか否かを判断する。終了していない場合は、ステップ１０２へ戻り、探索ウインドウの位置を予め定められた探索ステップだけ移動させた位置からウインドウ画像を抽出し、ステップ１０２〜ステップ１２６の処理を繰り返す。また、現サイズの探索ウインドウでの画像全体の探索が終了した場合には、同様にステップ１０２へ戻り、探索ウインドウのサイズを変更して、ステップ１０２〜ステップ１２６の処理を繰り返す。撮像画像全体について、全てのサイズの探索ウインドウでの探索が終了した場合には、ステップ１３０へ移行する。
【００６０】
ステップ１３０では、検出結果の出力として、上記ステップ１２６でリストに保存された情報に基づいて、撮像画像に対して、検出された歩行者がウインドウで囲まれて表示されるように表示装置１８を制御して、処理を終了する。
【００６１】
以上説明したように、第１の実施の形態の対象物検出装置１０によれば、識別モデルの部分特徴に対応するウインドウ画像の部分領域に高輝度領域が含まれている場合には、その部分領域に対して、合計スコアに影響を与えないようスコアが付与されるため、外光等の影響による高輝度領域によって対象物の輪郭形状が損なわれているような場合であっても、精度良く対象物を検出することができる。また、手法の変更による識別モデルの再学習の必要もない。
【００６２】
なお、第１の実施の形態では、高輝度領域の大きさ及び配置も加味して、部分領域が高輝度領域を含むか否かを判定する場合について説明したが、これに限定されるものではない。設定された部分領域からどのように特徴量を抽出するか等を考慮して、必要に応じた処理を行えばよく、例えば、上記ステップ１０８で肯定判定される場合には、ステップ１１６へ移行し、否定判定される場合には、ステップ１１４へ移行するようにしてもよい。
【００６３】
次に、第２の実施の形態について説明する。第２の実施の形態では、外光等の影響による高輝度領域以外の遮蔽物により対象物である歩行者の輪郭形状が損なわれている場合に対応する点が、第１の実施の形態とは異なる。なお、第１の実施の形態の対象物検出装置１０と同一の構成については、同一の符号を付して説明を省略する。
【００６４】
図８に示すように、第２の実施の形態の対象物検出装置２１０は、撮像装置１２と、コンピュータ２１６と、表示装置１８と、を備えている。コンピュータ２１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図８に示すように、撮像装置１２で撮像されコンピュータ１６へ入力された撮像画像から所定の遮蔽物の有無を識別する遮蔽物識別部３４と、ウインドウ画像抽出部２０と、撮像画像から歩行者を検出する検出部２２２と、識別モデル記憶部２４と、を含んだ構成で表すことができる。
【００６５】
検出部２２２は、さらに、部分領域設定部２６と、部分領域の各々に遮蔽物が含まれるか否かを判定する遮蔽物判定部２２８と、遮蔽物判定部２２８の判定結果を踏まえて部分領域毎にスコアを付与するスコア付与部２３０と、対象物識別部３２と、を含んだ構成で表すことができる。
【００６６】
遮蔽物識別部３４は、撮像装置１２で撮像された撮像画像に存在するガードレール等の遮蔽物を示す画像を識別する。例えば、撮像画像に対してエッジ抽出処理を施し、所定方向に伸び、かつ画像上の所定の位置に存在する直線エッジをガードレールとして識別するようにすることができる。また、これに限らず、パターンマッチング等の従来手法を用いて、対象物を検出する際に遮蔽物となり得る物体を識別してもよい。
【００６７】
遮蔽物判定部２２８は、部分領域設定部２６でウインドウ画像に設定された部分領域に、遮蔽物識別部３４で識別された遮蔽物が含まれるか否かを判定する。例えば、部分領域内の画素数に対する遮蔽物と識別された部分の画素数の割合に基づいて判定することができる。また、第１の実施の形態の高輝度領域判定部２８と同様に、遮蔽物領域の配置も加味するようにしてもよい。
【００６８】
スコア付与部２３０は、部分領域に遮蔽物が含まれていない場合には、設定された部分領域から特徴量を抽出して、抽出された特徴量を識別モデルの部分特徴に定められた閾値と比較して、高スコアまたは低スコアを付与する。一方、部分領域に遮蔽物が含まれている場合には、識別に影響を与えないスコアとして、０または高スコアと低スコアとの平均値を付与する。すなわち、（３）式、または（４）式に従って、部分領域毎にスコアを付与する。
【００６９】
次に、図９を参照して、第２の実施の形態の対象物検出装置２１０のコンピュータ２１６で実行される対象物検出処理ルーチンについて説明する。なお、第１の実施の形態と同一の処理については、同一の符号を付して説明を省略する。
【００７０】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ２４０で、撮像画像に存在するガードレール等の遮蔽物を識別する。識別された遮蔽物の情報は、所定の記憶領域に一旦記憶しておく。
【００７１】
次に、ステップ１０２〜１０６を経て、ステップ２４２で、部分領域Ｋに遮蔽物が存在するか否かを、上記ステップ２４０で識別された遮蔽物の情報を参照して判定する。部分領域Ｋに遮蔽物が存在しない場合には、ステップ１１４へ移行して、部分領域Ｋから抽出される特徴量に基づくスコアを付与する。一方、部分領域Ｋに遮蔽物が存在する場合には、ステップ１１６へ移行して、識別に影響を与えないスコアを付与する。
【００７２】
以上説明したように、第２の実施の形態の対象物検出装置２１０によれば、識別モデルの部分特徴に対応するウインドウ画像の部分領域に遮蔽物が含まれている場合には、その部分領域に対して、合計スコアに影響を与えないようなスコアが付与されるため、ガードレール等の遮蔽物によって対象物の輪郭形状が損なわれているような場合であっても、精度良く対象物を検出することができる。また、手法の変更による識別モデルの再学習の必要もない。
【００７３】
なお、上記第１及び第２の実施の形態では、識別に影響を与えないスコアとして、０または高スコアと低スコアとの平均値を付与する場合について説明したが、誤検出を重視するかまたは未検出を重視するかなどに応じて、高スコアまたは低スコアの一方を付与するようにしてもよい。
【００７４】
次に、第３の実施の形態について説明する。第１の実施の形態では、検出方法としてブースティング処理を用いる場合について説明したが、第３の実施の形態では、線形ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を適用した場合について説明する。なお、第１の実施の形態の対象物検出装置１０と同一の構成については、同一の符号を付して説明を省略する。
【００７５】
図１０に示すように、第３の実施の形態の対象物検出装置３１０は、撮像装置１２と、コンピュータ３１６と、表示装置１８と、を備えている。コンピュータ３１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１０に示すように、ウインドウ画像抽出部２０と、撮像画像から歩行者を検出する検出部３２２と、識別モデル記憶部３２４と、を含んだ構成で表すことができる。
【００７６】
検出部３２２は、さらに、ウインドウ画像に識別モデルに対応したブロックを設定するブロック設定部３２６と、高輝度領域判定部２８と、高輝度領域判定部２８の判定結果を踏まえて、ブロック毎にスコアを付与するスコア付与部３３０と、合計スコアを演算して、ウインドウ画像が対象物を示す画像か否かを識別する対象物識別部３３２と、を含んだ構成で表すことができる。
【００７７】
識別モデル記憶部３２４には、予め学習により生成され、検出部３２２で対象物を検出する際に参照される識別モデルが記憶されている。
【００７８】
ここで、識別モデル記憶部３２４に記憶される識別モデルについて説明すると共に、第３の実施の形態の原理について説明する。第３の実施の形態では、複数の部分特徴として、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）を用いる。
【００７９】
まず、予め歩行者が撮影された対象物の学習用画像をＳＶＭによって学習を行う。図１１に示すように、ＨＯＧは、ブロックと呼ばれる領域内のエッジ勾配ヒストグラムを特徴量とする。各ブロックは、例えば、４×４画素からなるセルを２×２で配列して構成されており、各セルのエッジ勾配ヒストグラムを結合して特徴量が生成され、全てのブロックの特徴量を１次元に並べたものを、画像全体の特徴量とする。
【００８０】
ＳＶＭの学習では、ヒストグラムの各ビンに対する重みが設定される。通常では、下記（５）式に示すように、検出時にブロック毎のヒストグラムの各ビンと対応する重みベクトルｗの積をウインドウ画像ｘ全体で累積したスコアｇ（ｘ）を演算し、（６）式に示すように、スコアｇ（ｘ）が閾値ｔｈｒｅｓｈを超えていれば、ウインドウ画像ｘが歩行者であると識別され（Ｈ（ｘ）＝１）、スコアが閾値ｔｈｒｅｓｈ以下であれば、ウインドウ画像ｘが非歩行者であると識別される（Ｈ（ｘ）＝−１）。なお、ｂはバイアス項である。
【００８１】
【数３】
2011165170.tif 000005
【００８２】
ＨＯＧは非負の特徴ベクトルであるので、学習された重みが大きければ、対応するヒストグラムのビンは歩行者らしいことを示しており、小さいほど非歩行者らしいことを示している。特に、歩行者の輪郭部分（頭、肩、足腰）に重い重みが設定される傾向がある。
【００８３】
上記（５）式を、本実施の形態に適用するために、下記（７）式に示すように変更する。
【００８４】
【数４】
2011165170.tif 000006
【００８５】
ここで、ｆｉ（ｘ）は、ウインドウ画像ｘのｉ番目のブロックから演算された特徴量、ｗｉは、ｉ番目のブロックの特徴量に対応する重みベクトルであり、このｗｉが識別モデルに記述される。このように、各ブロックの特徴量と重みベクトルとの積の和で、全体スコアを演算することにより、ブロック毎に遮蔽物が存在するか否かを判定した上で、遮蔽物が存在するブロックについては、全体スコアに影響を与えないスコアを付与することができる。
【００８６】
ブロック設定部３２６は、ウインドウ画像抽出部２０で抽出されたウインドウ画像に対して、識別モデル記憶部３２４に記憶された識別モデルに対応するブロックを設定する。この各ブロックが部分領域に相当する。
【００８７】
高輝度領域判定部２８は、各ブロックが高輝度領域を含むか否かを判定する。また、第１の実施と同様に、高輝度領域の配置も加味するようにしてもよい。
【００８８】
スコア付与部３３０は、ブロックに高輝度領域が含まれていない場合には、ブロックを構成する各セルのエッジ勾配ヒストグラムを生成して結合することにより、ブロックの特徴量を演算し、下記（８）式に従って、ブロック毎にスコアを付与する。
【００８９】
【数５】
2011165170.tif 000007
【００９０】
対象物識別部３３２は、（７）式によりウインドウ画像ｘ全体の合計スコアｇ（ｘ）を演算し、（６）式に従って、ウインドウ画像ｘが歩行者か否かを識別する。
【００９１】
次に、図１２を参照して、第３の実施の形態の対象物検出装置３１０のコンピュータ３１６で実行される対象物検出処理ルーチンについて説明する。なお、第１の実施の形態と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００９２】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、ウインドウ画像ｘを抽出する。
【００９３】
次に、ステップ３００で、変数ｉに１をセットする。次に、ステップ３０２で、上記ステップ１０２で抽出されたウインドウ画像ｘに対して、識別モデル記憶部３２４に記憶された識別モデルに対応するブロック１〜ｎを設定する。例えば、図１１に示す識別モデルの場合、ウインドウ画像ｘを横４×縦７の２８ブロックに分割し、左上のブロックから順にブロック１、ブロック２・・・ブロックｎとする。
【００９４】
次に、ステップ３０４で、ブロックｉに高輝度領域が含まれるか否かを判定し、高輝度領域が含まれる場合には、ステップ３０８へ移行し、ブロックｉに、識別に影響を与えないスコアとして、０を付与する。一方、ブロックｉに高輝度領域が含まれない場合には、ステップ３０６へ移行し、ブロックｉを構成する各セルのエッジ勾配ヒストグラムを生成して結合することにより、ブロックｉの特徴量ｆｉ（ｘ）を演算し、（８）式に従って、識別モデルに記述されているブロックｉの特徴量に対応する重みベクトルｗｉを乗算したスコアを演算して、ブロックｉに付与する。
【００９５】
次に、ステップ３１０で、変数ｉがｎとなったか否かを判定することにより、ウインドウ画像ｘに設定した全てのブロックについて処理を終了したか否かを判定する。まだ未処理のブロックが存在する場合には、ステップ３１２へ移行して、変数ｉを１インクリメントして、ステップ３０４へ戻り、次のブロックについて、ステップ３０４〜３１０の処理を繰り返す。
【００９６】
全てのブロックについて処理が終了すると、上記ステップ３１０で肯定判定されて、ステップ３１４へ移行し、（７）式によりウインドウ画像ｘ全体の合計スコアｇ（ｘ）を演算する。次に、ステップ３１６で、合計スコアｇ（ｘ）が閾値ｔｈｒｅｓｈを超えたか否かを判定する。ｇ（ｘ）＞ｔｈｒｅｓｈの場合には、ウインドウ画像ｘは歩行者であると識別され、ｇ（ｘ）≦ｔｈｒｅｓｈの場合には、ウインドウ画像ｘは非歩行者であると識別される。以降、第１の実施の形態と同様に処理する。
【００９７】
なお、第３の実施の形態において、（７）式におけるバイアス項を各ブロックに配分した下記（９）式を用いて合計スコアｇ（ｘ）を演算してもよい。ｂｉは、ウインドウ画像に含まれるブロック数で除した値でもよいし、ポジティブサンプル及びネガティブサンプルから統計的に求めてもよい。この場合、各ブロックに付与されるスコアは、下記（１０）となる。
【００９８】
【数６】
2011165170.tif 000008
【００９９】
また、第３の実施の形態では、識別に影響を与えないスコアとして０を付与する場合について説明したが、誤検出を重視するかまたは未検出を重視するかなどに応じて、適切な値を付与するようにしてもよい。
【符号の説明】
【０１００】
１０、２１０、３１０ 対象物検出装置
１２ 撮像装置
１６、２１６、３１６ コンピュータ
１８ 表示装置
２０ ウインドウ画像抽出部
２２、２２２、３２２ 検出部
２４、３２４ 識別モデル記憶部
２６ 部分領域設定部
２８ 高輝度領域判定部
３０、２３０、３３０ スコア付与部
３２ 対象物識別部
３４ 遮蔽物識別部
２２８ 遮蔽物判定部
３２６ ブロック設定部
【図１】
2011165170.tif 000009
【図２】
2011165170.tif 000010
【図３】
2011165170.tif 000011
【図４】
2011165170.tif 000012
【図５】
2011165170.tif 000013
【図６】
2011165170.tif 000014
【図７】
2011165170.tif 000015
【図８】
2011165170.tif 000016
【図９】
2011165170.tif 000017
【図１０】
2011165170.tif 000018
【図１２】
2011165170.tif 000019
【図１１】
2011165170.tif 000020