(57)【要約】【課題】対象物が静止していても、精度良く対象物を検出することができるようにする。【解決手段】ウインドウ画像抽出部２０によって、撮像装置１２によって撮像した撮像画像からウインドウ画像を抽出する。スコア算出部２２によって、歩行者の向きの分類毎の識別モデルと、ウインドウ画像とに基づいて、向きの分類毎に、歩行者らしさを示すスコアを算出する。歩行者識別部２６によって、算出された向きの分類毎のスコアの分布に基づいて、ウインドウ画像が歩行者画像か否かを識別する。【選択図】図１
2012221162.tif 000002
【特許請求の範囲】
【請求項１】
自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する抽出手段と、
対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出するスコア算出手段と、
前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、
を含む対象物検出装置。
【請求項２】
前記識別手段は、前記スコア算出手段によって算出された前記属性に関する分類毎のスコアの分布に基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する請求項１記載の対象物検出装置。
【請求項３】
自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する抽出手段と、
前記抽出手段によって抽出されたウインドウ画像と一部重複するように前記ウインドウ画像の領域をずらした複数の周辺画像の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記周辺画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出するスコア算出手段と、
前記スコア算出手段によって算出された前記複数の周辺画像の各々に対する前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、または前記属性の分類毎の累積スコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、
を含む対象物検出装置。
【請求項４】
前記識別手段は、前記スコア算出手段によって算出された前記複数の周辺画像の各々に対する前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類の分布、または前記属性の分類毎の累積スコアの分布に基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する請求項３記載の対象物検出装置。
【請求項５】
自装置の周辺を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する抽出手段と、
前記撮像画像の時系列の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記複数のウインドウ画像とに基づいて、前記属性に関する分類毎に、各ウインドウ画像に対する前記対象物らしさを示すスコアを算出するスコア算出手段と、
前記撮像画像の時系列の各々について、前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記複数のウインドウ画像の各々が、対象物を表わす候補画像であるか否かを判定する候補画像判定手段と、
前記撮像画像の時系列において、前記候補画像であると判定された前記ウインドウ画像を追跡する追跡手段と、
前記撮像画像の時系列において追跡された前記ウインドウ画像の時系列に対して算出された前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、前記属性の分類毎の累積スコア、又は前記スコアが最大値となる属性の分類の変化に基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段と、
を含む対象物検出装置。
【請求項６】
前記識別手段は、前記撮像画像の時系列において追跡された前記ウインドウ画像の時系列に対して算出された前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類の分布、前記属性の分類毎の累積スコアの分布、又は前記スコアが最大値となる属性の分類の変化に基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する請求項５記載の対象物検出装置。
【請求項７】
前記対象物を、歩行者又は二輪車とした請求項１〜請求項６の何れか１項記載の対象物検出装置。
【請求項８】
前記対象物が歩行者である場合、前記属性を、歩行者の向き、年齢、又は性別とした請求項７記載の対象物検出装置。
【請求項９】
前記識別モデルを、対象物の属性に関する分類毎に予め学習したものとした請求項１〜請求項８の何れか１項記載の対象物検出装置。
【請求項１０】
コンピュータを、
自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する抽出手段、
対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出するスコア算出手段、及び
前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段
として機能させるためのプログラム。
【請求項１１】
コンピュータを、
自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する抽出手段、
前記抽出手段によって抽出されたウインドウ画像と一部重複するように前記ウインドウ画像の領域をずらした複数の周辺画像の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記周辺画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出するスコア算出手段、及び
前記スコア算出手段によって算出された前記複数の周辺画像の各々に対する前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、または前記属性の分類毎の累積スコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段
として機能させるためのプログラム。
【請求項１２】
コンピュータを、
自装置の周辺を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する抽出手段、
前記撮像画像の時系列の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記複数のウインドウ画像とに基づいて、前記属性に関する分類毎に、各ウインドウ画像に対する前記対象物らしさを示すスコアを算出するスコア算出手段、
前記撮像画像の時系列の各々について、前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記複数のウインドウ画像の各々が、対象物を表わす候補画像であるか否かを判定する候補画像判定手段、
前記撮像画像の時系列において、前記候補画像であると判定された前記ウインドウ画像を追跡する追跡手段、及び
前記撮像画像の時系列において追跡された前記ウインドウ画像の時系列に対して算出された前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、前記属性の分類毎の累積スコア、又は前記スコアが最大値となる属性の分類の変化に基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物検出装置及びプログラムに係り、特に、撮像した画像から対象物を検出するための対象物検出装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、可視画像を撮像する可視カメラを用い、夜間の走行においても、歩行者のような所定の対象物を検出する車両の周辺監視装置が知られている（特許文献１）。この車両の周辺監視装置では、夜間ライトに照らされた左右の足の輝度値の時間的な変化を検出して歩行者か非歩行者かどうかを判定している。
【０００３】
また、通常の可視画像から精度高く障害物を識別し、しかも画像処理の負荷を軽減する障害物検出装置が知られている（特許文献２）。この障害物検出装置では、歩行者の時系列的な動きパターンを学習している。
【０００４】
また、車両周辺の画像から該車両との接触を回避すべき対象となる歩行者等の対象物を迅速に判定して、運転者への情報提示や車両挙動の制御を行うことができる車両周辺監視装置が知られている（特許文献３）。この車両周辺監視装置では、非対称性や体の傾き具合、相対位置の変化を用いて姿勢を推定している。
【０００５】
また、車載の比較的安価な撮像手段で撮像された画像中からオブジェクトの特定の属性を的確に抽出し識別することが可能な画像処理装置が知られている（特許文献４）。この画像処理装置では、自己組織化マップにより歩行者の属性を判定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２０５０８７号公報
【特許文献２】特開２００４−１４５６６０号公報
【特許文献３】特開２００７−２９３４８７号公報
【特許文献４】特開２００７−３２３１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献１に記載の技術は、夜間に限定された手法であり、前後方向に進む歩行者のみが検出対象となっている、という問題がある。また、動きに着目しており、静止した歩行者と非歩行者とを識別することができない、という問題がある。
【０００８】
また、上記の特許文献２に記載の技術では、動きに着目しており、静止した歩行者と非歩行者とを識別することができない、という問題がある。
【０００９】
また、上記の特許文献３に記載の技術で用いる特徴量は、動いている歩行者に顕著に表れるものであり、静止している歩行者に対しては適用できない。また、衝突の危険性が高い歩行者かどうかの判定に姿勢を利用しており、誤検出除去のための方法に適用することができない、という問題がある。
【００１０】
また、上記の特許文献４に記載の技術では、属性を判定するのみで、歩行者か非歩行者かを判定していない、という問題がある。
【００１１】
本発明は、上述した問題を解決するために成されたものであり、対象物が静止していても、精度良く対象物を検出することができる対象物検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために第１の発明の対象物検出装置は、自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する抽出手段と、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出するスコア算出手段と、前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。
【００１３】
第２の発明のプログラムは、コンピュータを、自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する抽出手段、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出するスコア算出手段、及び前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。
【００１４】
第１の発明及び第２の発明によれば、抽出手段によって、自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する。スコア算出手段によって、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記ウインドウ画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出する。
【００１５】
そして、識別手段によって、前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する。
【００１６】
このように、対象物の属性に関する分類毎の識別モデルに基づいて、属性に関する分類毎にスコアを算出し、属性に関する分類毎のスコアに基づいて、ウインドウ画像が対象物を表す画像か否かを識別することにより、対象物が静止していても、精度良く対象物を検出することができる。
【００１７】
第３の発明の対象物検出装置は、自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する抽出手段と、前記抽出手段によって抽出されたウインドウ画像と一部重複するように前記ウインドウ画像の領域をずらした複数の周辺画像の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記周辺画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出するスコア算出手段と、前記スコア算出手段によって算出された前記複数の周辺画像の各々に対する前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、または前記属性の分類毎の累積スコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。
【００１８】
第４の発明のプログラムは、コンピュータを、自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する抽出手段、前記抽出手段によって抽出されたウインドウ画像と一部重複するように前記ウインドウ画像の領域をずらした複数の周辺画像の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記周辺画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出するスコア算出手段、及び前記スコア算出手段によって算出された前記複数の周辺画像の各々に対する前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、または前記属性の分類毎の累積スコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。
【００１９】
第３の発明及び第４の発明によれば、抽出手段によって、自装置の周辺を撮像した撮像画像からウインドウ画像を抽出する。スコア算出手段によって、前記抽出手段によって抽出されたウインドウ画像と一部重複するように前記ウインドウ画像の領域をずらした複数の周辺画像の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記周辺画像とに基づいて、前記属性に関する分類毎に、前記対象物らしさを示すスコアを算出する。
【００２０】
そして、識別手段によって、前記スコア算出手段によって算出された前記複数の周辺画像の各々に対する前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、または前記属性の分類毎の累積スコアに基づいて、前記ウインドウ画像が前記対象物を表す画像か否かを識別する。
【００２１】
このように、ウインドウ画像をずらした複数の周辺画像の各々について、対象物の属性に関する分類毎の識別モデルに基づいて、属性に関する分類毎にスコアを算出し、複数の周辺画像の各々に対する属性に関する分類毎のスコアに基づいて、ウインドウ画像が対象物を表す画像か否かを識別することにより、対象物が静止していても、精度良く対象物を検出することができる。
【００２２】
第５の発明の対象物識別装置は、自装置の周辺を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する抽出手段と、前記撮像画像の時系列の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記複数のウインドウ画像とに基づいて、前記属性に関する分類毎に、各ウインドウ画像に対する前記対象物らしさを示すスコアを算出するスコア算出手段と、前記撮像画像の時系列の各々について、前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記複数のウインドウ画像の各々が、対象物を表わす候補画像であるか否かを判定する候補画像判定手段と、前記撮像画像の時系列において、前記候補画像であると判定された前記ウインドウ画像を追跡する追跡手段と、前記撮像画像の時系列において追跡された前記ウインドウ画像の時系列に対して算出された前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、前記属性の分類毎の累積スコア、又は前記スコアが最大値となる属性の分類の変化に基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段と、を含んで構成されている。
【００２３】
第６の発明のプログラムは、コンピュータを、自装置の周辺を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する抽出手段、前記撮像画像の時系列の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記複数のウインドウ画像とに基づいて、前記属性に関する分類毎に、各ウインドウ画像に対する前記対象物らしさを示すスコアを算出するスコア算出手段、前記撮像画像の時系列の各々について、前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記複数のウインドウ画像の各々が、対象物を表わす候補画像であるか否かを判定する候補画像判定手段、前記撮像画像の時系列において、前記候補画像であると判定された前記ウインドウ画像を追跡する追跡手段、及び前記撮像画像の時系列において追跡された前記ウインドウ画像の時系列に対して算出された前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、前記属性の分類毎の累積スコア、又は前記スコアが最大値となる属性の分類の変化に基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する識別手段として機能させるためのプログラムである。
【００２４】
第５の発明及び第６の発明によれば、抽出手段によって、自装置の周辺を撮像した撮像画像の時系列の各々から複数のウインドウ画像を抽出する。スコア算出手段によって、前記撮像画像の時系列の各々について、対象物の属性に関する分類毎に前記対象物を識別するための識別モデルと、前記抽出手段によって抽出された前記複数のウインドウ画像とに基づいて、前記属性に関する分類毎に、各ウインドウ画像に対する前記対象物らしさを示すスコアを算出する。
【００２５】
そして、候補画像判定手段によって、前記撮像画像の時系列の各々について、前記スコア算出手段によって算出された前記属性に関する分類毎のスコアに基づいて、前記複数のウインドウ画像の各々が、対象物を表わす候補画像であるか否かを判定する。追跡手段によって、前記撮像画像の時系列において、前記候補画像であると判定された前記ウインドウ画像を追跡する。
【００２６】
そして、識別手段によって、前記撮像画像の時系列において追跡された前記ウインドウ画像の時系列に対して算出された前記属性に関する分類毎のスコアから得られる、前記スコアが所定条件を満たす属性の分類、前記属性の分類毎の累積スコア、又は前記スコアが最大値となる属性の分類の変化に基づいて、前記ウインドウ画像が対象物を表す画像か否かを識別する。
【００２７】
このように、撮影画像の時系列において追跡されたウインドウ画像の時系列について、対象物の属性に関する分類毎の識別モデルに基づいて、属性に関する分類毎にスコアを算出し、追跡されたウインドウ画像の時系列の各々に対する属性に関する分類毎のスコアに基づいて、ウインドウ画像が対象物を表す画像か否かを識別することにより、対象物が静止していても、精度良く対象物を検出することができる。
【００２８】
また、上記の対象物を、歩行者又は二輪車とすることができる。
【００２９】
また、対象物が歩行者である場合、上記の属性を、歩行者の向き、年齢、又は性別とすることができる。
【００３０】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００３１】
以上説明したように、本発明によれば、対象物の属性に関する分類毎の識別モデルに基づいて、属性に関する分類毎にスコアを算出し、属性に関する分類毎のスコアに基づいて、ウインドウ画像が対象物を表す画像か否かを識別することにより、対象物が静止していても、精度良く対象物を検出することができる、という効果が得られる。
【図面の簡単な説明】
【００３２】
【図１】第１の実施の形態に係る対象物検出装置の構成を示すブロック図である。
【図２】各向きの歩行者を表わす画像を示す図である。
【図３】歩行者の向きを求める方法を説明するための図である。
【図４】非歩行者を表わす画像を示す図である。
【図５】歩行者画像及び非歩行者画像の各々で算出される向きの分類毎のスコアの例を説明するための図である。
【図６】第１の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。
【図７】第２の実施の形態に係る対象物検出装置の構成を示すブロック図である。
【図８】周辺部分画像を説明するための図である。
【図９】歩行者画像及び非歩行者画像の各々で算出される向きの分類毎のスコアの例を説明するための図である。
【図１０】（ａ）歩行者周辺から抽出された周辺部分画像から得られた最大スコアを持つ向きの分類の頻度を示したヒストグラムを示す図、及び（ｂ）非歩行者周辺から抽出された周辺部分画像から得られた最大スコアを持つ向きの分類の頻度を示したヒストグラムを示す図である。
【図１１】第２の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。
【図１２】第２の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。
【図１３】第３の実施の形態に係る対象物検出装置の構成を示すブロック図である。
【図１４】歩行者画像の時系列及び非歩行者画像の時系列における、最大スコアとなる向きの分類の変化を説明するための図である。
【図１５】向きの変化のパターンに応じて重みの例を示す図である。
【図１６】第３の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。
【図１７】第３の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、対象物として歩行者を検出する対象物検出装置に本発明を適用した場合について説明する。
【００３４】
図１に示すように、第１の実施の形態に係る対象物検出装置１０は、自車両の前方における識別対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて歩行者を検出する対象物検出処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８と、を備えている。
【００３５】
撮像装置１２は、自車両の前方における識別対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、用いる画像はカラーでもモノクロでも良いし、可視光画像でも近赤画像でもよい。
【００３６】
コンピュータ１６は、対象物検出装置１０全体の制御を司るＣＰＵ、後述する対象物検出処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００３７】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で撮像されコンピュータ１６へ入力された撮像画像を取得する画像取得部１９と、取得した撮像画像から所定領域のウインドウ画像を抽出するウインドウ画像抽出部２０と、ウインドウ画像抽出部２０により抽出されたウインドウ画像について画像特徴量を抽出する特徴量抽出部２１と、ウインドウ画像について抽出された画像特徴量と識別モデルとを比較して、歩行者らしさを示すスコアを算出するスコア算出部２２と、識別モデルが記憶された識別モデル記憶部２４と、ウインドウ画像が検出対象の歩行者を表す画像であるか否かを識別する歩行者識別部２６と、を含んだ構成で表すことができる。
【００３８】
ウインドウ画像抽出部２０は、撮像画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら画像を切り取る。ここでは、切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは様々なサイズの歩行者を検出するために複数種設定されており、ウインドウ画像抽出部２０は、設定されている全てのウインドウサイズの探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部２０は、抽出したウインドウ画像を予め設定された画素数の画像に変換する。
【００３９】
特徴量抽出部２１は、各ウインドウ画像について画像特徴量を抽出する。画像特徴量として、Haar-Like Feature、HOG(Histograms of Oriented Gradients)、FIND(Feature Interaction Descriptor)などが利用できる。なお、FINDについては、非特許文献（Hui CAO, Koichiro YAMAGUCHI, Mitsuhiko OHTA, Takashi NAITO and Yoshiki NINOMIYA:" Feature Interaction Descriptor for Pedestrian Detection", IEICE TRANSACTIONS on Information and Systems, Volume E93-D No.9, pp.2651-2655, 2010）に記載されているものを利用すればよいため、詳細な説明を省略する。
【００４０】
識別モデル記憶部２４には、予め学習により生成され、かつ、スコア算出部２２でスコアを算出する際に参照される識別モデルが記憶されている。なお、ここでは、識別モデル記憶部２４をコンピュータ１６に設ける場合について説明するが、他の外部装置の記憶手段に識別モデルを記憶しておき、ネットワークや通信手段を介して他の外部装置に接続して、他の外部装置の記憶手段に記憶された識別モデルを読み込むような構成としてもよい。
【００４１】
ここで、識別モデル記憶部２４に記憶される識別モデルについて説明する。
【００４２】
まず、歩行者検出においては、向きなどの属性の分類ごとに学習したモデルを用いて検出性能を向上させることが行われている。これは図２に示すように、向きによって歩行者の姿勢に差があるため、向きの分類ごとの識別モデルによって安定に歩行者を検出するためである。一方で、植物や路面など非歩行者を歩行者と誤って検出してしまう場合がある。そのため、このような誤検出を削減できればより安定な歩行者検出が期待できる。以下、説明のために属性を向きとして記述する。
【００４３】
向きの分類別の識別モデルを用いない手法は、歩行者の位置や大きさを検出することしかできない。このような場合に向きを検出するためには動き情報を利用するが、静止した歩行者には対応することができない、という問題点がある。向きの分類別の識別モデルを用いる場合には、見え方（パターン情報）を利用するため、静止歩行者の向きを検出することが可能である。向きの分類別の識別モデルを用いて歩行者の向きを求める方法を図３に示す。
【００４４】
識別モデルごとにその属性の分類に属する歩行者が存在するかどうかの確信度を示すスコアを計算し、スコアが最大値となる向きの分類をその歩行者の向きとするものである。
【００４５】
そこで、本実施の形態では、識別モデル記憶部２４は、歩行者の向きの分類（例えば、前後向き、左向き、右向き）毎に学習した向き別識別モデルをそれぞれ記憶している。
【００４６】
向き別識別モデルの学習処理では、歩行者の向きの分類毎に、予め歩行者が撮影された対象物の学習用画像、及び歩行者以外が撮影された非対象物の学習用画像を所定枚数用意し、対象物の学習用画像を、歩行者の向きの分類毎に分類し、歩行者の向きの分類毎に、当該向きの分類に分類された対象物の学習用画像と、非対象物の学習用画像とを用いて、各学習用画像の画像特徴量と教師ラベルとに従って学習を行い、当該向きの分類に対する識別モデルを生成する。
【００４７】
また、スコア算出部２２が、各ウインドウ画像について、抽出された画像特徴量と向きの分類毎の識別モデルとに基づいて、向きの分類毎に、識別器によってスコアを算出する。識別器としてBoostingや、SVMなどが利用できる。また、非特許文献（HT Lin, CJ Lin and RC Weng:" A note on Platt's probabilistic outputs for support vector machines", Machine Learning, Springer, 2007）に記載されている手法を用いて、識別器から出力されるスコアを確率値に変換した値をスコアとするようにしてもよい。
【００４８】
次に、本実施の形態の原理について説明する。
【００４９】
例えば図４のような非歩行者画像では、上半身の形状は比較的歩行者と一致するものの、下半身はエッジが無く歩行者の形状とは大きく異なるものとなっている。歩行者の上半身（特に肩、胴体）の輪郭形状は向きによる違いが脚部ほど大きくなく、どの向きの歩行者モデルに対しても、それなりにマッチしてしまう傾向がある。このような場合には、どの向きに対してもほぼ同等のスコアが算出されるため、属性間にスコア差が出にくいという現象が生じる。一方で歩行者画像に対しては、図５に示すように、向きの分類ごとにスコアに大きな差が出る。歩行者画像に対して向きの分類毎の識別モデルを適用して、スコアを計算すると、正しい向きの分類に対しては高い値を示し、その他の向きの分類に対しては低い値を示す。そこで、１つの向きの分類だけが高いスコアを持つかどうかを判定するために、向きの各分類におけるスコアの関係を評価することで歩行者と非歩行者の識別が可能となる。
【００５０】
本実施の形態では、歩行者識別部２６によって、以下に説明するように、各ウインドウ画像について、向きの分類毎に算出されたスコア（Ｎ個のスコアとする）から、歩行者識別処理を行う。
【００５１】
まず、スコアの大きさにより、非歩行者のウインドウ画像を取り除く。具体的には、すべてのスコアがあらかじめ設定された閾値より低い場合には非歩行者と判定し、少なくとも１つ以上のスコアが大きい場合には歩行者とする。このとき設定される閾値は、すべての向きの分類に対して同一でもよいし、向きの分類毎に異なる値を設定することもできる。
【００５２】
また、上記の閾値処理に加えて、各向きの分類におけるスコアの分布に基づいて、歩行者識別処理を行う。
【００５３】
例えば、各向きの分類におけるスコアの分布から、最大スコアと最小スコアの差を算出し、得られた値が、閾値未満であれば、ウインドウ画像が、非歩行者画像であると識別し、閾値以上であれば、歩行者画像であると識別する。
【００５４】
なお、各向きの分類におけるスコアの分布から、全スコア間の差や、スコアの分散値を算出し、同様に閾値判定を行って、歩行者画像であるか識別してもよい。
【００５５】
また、歩行者識別部２６は、識別結果を撮像画像に重畳して表示するよう、表示装置１８を制御する。
【００５６】
次に、図６を参照して、第１の実施の形態の対象物検出装置１０のコンピュータ１６で実行される対象物検出処理ルーチンについて説明する。
【００５７】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像に対して探索ウインドウを撮像画像に設定し、設定した探索ウインドウを用いて、撮像画像からウインドウ画像ｘを抽出する。
【００５８】
次に、ステップ１０４で、上記ステップ１０２で抽出されたウインドウ画像ｘから画像特徴量を抽出する。ステップ１０６では、識別モデルを識別する変数Ｋを初期値である１に設定し、ステップ１０８において、Ｋ番目の向き別識別モデルと、上記ステップ１０４で抽出された画像特徴量とに基づいて、スコアを算出する。そして、ステップ１１０では、変数Ｋを１インクリメントして、ステップ１１２において、変数Ｎが、識別モデルの個数を示す定数Ｎ以下であるか否かを判定する。変数Ｋが定数Ｎ以下である場合には、上記ステップ１０８へ戻るが、一方、変数Ｋが定数Ｎより大きい場合には、全ての向き別識別モデルについてスコアを算出したと判断し、ステップ１１４へ移行する。
【００５９】
ステップ１１４では、上記ステップ１０８で算出した向きの分類毎のスコアに基づいて、ウインドウ画像ｘが歩行者画像であるか否かを識別する。
【００６０】
次のステップ１１６では、上記ステップ１１４で歩行者画像であると識別されたか否かを判定し、歩行者画像でないと識別された場合には、後述するステップ１２０へ移行するが、一方、歩行者画像であると識別された場合には、ステップ１１８において、ウインドウ画像ｘを歩行者領域として記録して、ステップ１２０へ移行する。
【００６１】
ステップ１２０では、上記ステップ１００で取得された撮像画像の全体について探索ウインドウをスキャンして探索が終了したか否かを判断する。終了していない場合は、ステップ１０２へ戻り、探索ウインドウの位置を予め定められた探索ステップだけ移動させた位置からウインドウ画像を抽出し、ステップ１０２〜ステップ１１８の処理を繰り返す。また、現サイズの探索ウインドウでの画像全体の探索が終了した場合には、同様にステップ１０２へ戻り、探索ウインドウのサイズを変更して、ステップ１０２〜ステップ１１８の処理を繰り返す。撮像画像全体について、全てのサイズの探索ウインドウでの探索が終了した場合には、ステップ１２２へ移行する。
【００６２】
ステップ１２２では、検出結果の出力として、上記ステップ１１８で記録された歩行者領域に基づいて、撮像画像に対して、検出された歩行者がウインドウで囲まれて表示されるように表示装置１８を制御して、処理を終了する。
【００６３】
以上説明したように、第１の実施の形態の対象物検出装置１０によれば、歩行者の向きに関する分類毎の識別モデルに基づいて、向きの分類毎にスコアを算出し、向きの分類毎のスコアの分布に基づいて、ウインドウ画像が歩行者を表す画像か否かを識別することにより、歩行者が静止していても、精度良く歩行者を検出することができる。
【００６４】
また、各向きの分類のスコアの分布を評価することで、歩行者と非歩行者との識別が可能となり、歩行者検出において生じる植物などの誤検出を除去することができる。
【００６５】
また、歩行者のパターン情報から各向きの分類に対するスコアを算出するため、静止歩行者であっても、精度よく検出することができる。
【００６６】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００６７】
第２の実施の形態では、ウインドウ画像について、周辺に領域をずらした複数の周辺部分画像について算出されるスコアに基づいて、歩行者画像であるか否かを識別している点が、第１の実施の形態とは異なる。
【００６８】
図７に示すように、第２の実施の形態の対象物検出装置２１０は、撮像装置１２と、コンピュータ２１６と、表示装置１８と、を備えている。コンピュータ２１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図７に示すように、画像取得部１９、ウインドウ画像抽出部２０と、ウインドウ画像について後述する周辺部分画像を複数抽出する周辺部分画像抽出部２２０と、各ウインドウ画像及び各ウインドウ画像の複数の周辺部分画像について画像特徴量を抽出する特徴量抽出部２２１と、各ウインドウ画像及び各ウインドウ画像の複数の周辺部分画像についてスコアを算出するスコア算出部２２２と、識別モデル記憶部２４と、ウインドウ画像が検出対象の歩行者を表す画像であるか否かを識別する歩行者識別部２２６と、を含んだ構成で表すことができる。
【００６９】
周辺部分画像抽出部２２０は、図８に示すように、ウインドウ画像について、当該ウインドウ画像と一部重複するようにウインドウ画像の領域をずらした複数の領域から、複数の周辺部分画像を抽出する。
【００７０】
特徴量抽出部２２１は、各ウインドウ画像について、当該ウインドウ画像の画像特徴量を抽出すると共に、当該ウインドウ画像に対する複数の周辺部分画像の各々の画像特徴量を抽出する。
【００７１】
スコア算出部２２２は、各ウインドウ画像について、抽出された画像特徴量と向きの分類毎の識別モデルとに基づいて、向きの分類毎に、識別器によってスコアを算出すると共に、各ウインドウ画像の各周辺部分画像について、抽出された画像特徴量と向きの分類毎の識別モデルとに基づいて、向きの分類毎に、同様に、スコアを算出する。
【００７２】
次に、本実施の形態における原理について説明する。
【００７３】
図９に示すように、切り出し画像の位置やサイズのわずかな変化による画像の違いは、各向きの分類に対するスコアに影響を与えている。上記の第１の実施の形態で述べたように、非歩行者画像では各向きの分類に対するスコアが非常に類似した値を示すことがある。このような場合には、切り出し画像の位置やサイズによる画像の違いによるスコアの少しの変化分によって、各向きの分類に対するスコアの大小関係を逆転させてしまうことがある。そのため、周辺部分画像間で最大スコアとなる属性の分類に変化が生じる。一方、歩行者画像では図９に示すように、ずれによるスコアの変動はあるものの、正しい向きとそれ以外とではスコアに大きな差があるため、最大スコアとなる属性の分類の変化は生じない。
【００７４】
そこで、本実施の形態では、歩行者識別部２２６によって、以下に説明するように、各ウインドウ画像について、当該ウインドウ画像及び複数の周辺部分画像に対して向きの分類毎に算出されたスコア（Ｎ個のスコアとする）から、歩行者識別処理を行う。
【００７５】
まず、注目しているウインドウ画像のスコアの大きさによって非歩行者のウインドウ画像を取り除く。具体的には、すべてのスコアがあらかじめ設定された閾値より低い場合には非歩行者と判定し、少なくとも１つ以上のスコアが大きい場合には歩行者とする。このとき設定される閾値は、すべての属性に対して同一でもよいし、向きの分類毎に異なる値を設定することもできる。
【００７６】
また、上記閾値処理に加えて、当該ウインドウ画像について、周辺部分画像のスコアを用いて歩行者識別処理を行う。
【００７７】
図１０（ａ）、（ｂ）は、歩行者周辺から抽出された周辺部分画像から得られた最大スコアを持つ向きの分類の頻度を示したヒストグラムである。上記図１０（ａ）のように歩行者周辺の周辺部分画像から得られるヒストグラムは正しい方向の分類に高いピークを示す。一方、図１０（ｂ）に示す非歩行者周辺の周辺部分画像から得られるヒストグラムでは、ばらけた分布となる。このように、注目ウインドウ画像に対する複数の周辺部分画像における、最大スコアが得られる向きの分類の分布を用いて、歩行者と非歩行者の識別が可能となる。
【００７８】
例えば、注目ウインドウ画像についての最大スコアが得られる向きの分類の頻度分布から、最大スコアと最小スコアの差を算出し、得られた値が、閾値未満であれば、ウインドウ画像が、非歩行者画像であると識別し、閾値以上であれば、歩行者画像であると識別する。なお、最大スコアが得られる向きの分類の頻度分布が、スコアが所定条件を満たす属性の分類の分布の一例である。
【００７９】
このとき作成するヒストグラムは、各周辺部分画像について、スコアが最大値となる向きの分類をカウントしたものでもよいし、各スコアを重み付けしてカウントしたヒストグラムを用いてもよい。ヒストグラムの評価には、エントロピー値が利用できる。
【００８０】
次に、図１１、図１２を参照して、第２の実施の形態の対象物検出装置２１０のコンピュータ２１６で実行される対象物検出処理ルーチンについて説明する。なお、第１の実施の形態と同一の処理については、同一の符号を付して説明を省略する。
【００８１】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像に対して探索ウインドウを撮像画像に設定し、設定した探索ウインドウを用いて、撮像画像からウインドウ画像ｘを抽出する。ステップ１０４で、上記ステップ１０２で抽出されたウインドウ画像ｘから画像特徴量を抽出する。
【００８２】
ステップ１０６では、識別モデルを識別する変数Ｋを初期値である１に設定し、ステップ１０８において、Ｋ番目の向き別識別モデルと、上記ステップ１０４で抽出された画像特徴量とに基づいて、スコアを算出する。そして、ステップ１１０では、変数Ｋを１インクリメントして、ステップ１１２において、変数Ｎが、識別モデルの個数を示す定数Ｎ以下であるか否かを判定する。変数Ｋが定数Ｎ以下である場合には、上記ステップ１０８へ戻るが、一方、変数Ｋが定数Ｎより大きい場合には、全ての向き別識別モデルについてスコアを算出したと判断し、ステップ２５０へ移行する。
【００８３】
次に、ステップ２５０で、上記ステップ１０２で抽出されたウインドウ画像ｘに対して、複数の周辺部分画像を抽出する。ステップ２５２では、周辺部分画像を識別する変数Ｓを初期値である１に設定し、ステップ２５４で、上記ステップ２５０で抽出されたＳ番目の周辺部分画像から画像特徴量を抽出する。ステップ１０６では、識別モデルを識別する変数Ｋを初期値である１に設定し、ステップ２５５において、Ｋ番目の向き別識別モデルと、上記ステップ２５４でＳ番目の周辺部分画像について抽出された画像特徴量とに基づいて、スコアを算出する。そして、ステップ１１０では、変数Ｋを１インクリメントして、ステップ１１２において、変数Ｎが、識別モデルの個数を示す定数Ｎ以下であるか否かを判定する。変数Ｋが定数Ｎ以下である場合には、上記ステップ２５５へ戻るが、一方、変数Ｋが定数Ｎより大きい場合には、全ての向き別識別モデルについてスコアを算出したと判断し、ステップ２５６へ移行する。
【００８４】
ステップ２５６では、変数Ｓを１インクリメントして、ステップ２５８において、変数Ｓが、周辺部分画像の個数を示す定数Ｍ以下であるか否かを判定する。変数Ｓが定数Ｍ以下である場合には、上記ステップ２５４へ戻るが、一方、変数Ｓが定数Ｍより大きい場合には、全ての周辺部分画像についてスコアを算出したと判断し、ステップ２６０へ移行する。
【００８５】
ステップ２６０では、上記ステップ１０８でウインドウ画像ｘについて算出した向きの分類毎のスコアと、上記ステップ２５５で各周辺部分画像について算出した向きの分類毎のスコアとに基づいて、ウインドウ画像ｘが歩行者画像であるか否かを識別する。
【００８６】
次のステップ１１６では、上記ステップ２６０で歩行者画像であると識別されたか否かを判定し、歩行者画像でないと識別された場合には、ステップ１２０へ移行するが、一方、歩行者画像であると識別された場合には、ステップ１１８において、ウインドウ画像ｘを歩行者領域として記録して、ステップ１２０へ移行する。
【００８７】
ステップ１２０では、上記ステップ１００で取得された撮像画像の全体について探索ウインドウをスキャンして探索が終了したか否かを判断する。終了していない場合は、ステップ１０２へ戻り、一方、撮像画像全体について、全てのサイズの探索ウインドウでの探索が終了した場合には、ステップ１２２へ移行する。
【００８８】
ステップ１２２では、検出結果の出力として、上記ステップ１１８で記録された歩行者領域に基づいて、撮像画像に対して、検出された歩行者がウインドウで囲まれて表示されるように表示装置１８を制御して、処理を終了する。
【００８９】
以上説明したように、第２の実施の形態の対象物検出装置２１０によれば、ウインドウ画像をずらした複数の周辺部分画像の各々について、歩行者の向きに関する分類毎の識別モデルに基づいて、向きの分類毎にスコアを算出し、複数の周辺部分画像の各々に対する向きの分類毎のスコアに基づいて、ウインドウ画像が歩行者を表す画像か否かを識別することにより、歩行者が静止していても、精度良く歩行者を検出することができる。
【００９０】
なお、上記の実施の形態では、複数の周辺部分画像について得られる、最大スコアとなる向きの分類の頻度分布に基づいて、歩行者画像であるか否かを識別する場合を例に説明したが、これに限定されるものではない。例えば、複数の周辺部分画像について得られる、各向きの分類における累積スコアの分布から、最大スコアと最小スコアの差、全スコア間の差、又はスコアの分散値を算出し、算出された値について閾値判定を行って、歩行者画像であるか識別してもよい。
【００９１】
次に、第３の実施の形態について説明する。なお、第１の実施の形態の対象物検出装置１０と同一の構成については、同一の符号を付して説明を省略する。
【００９２】
第３の実施の形態では、連続して撮像された撮像画像において歩行者候補領域を追跡し、追跡された歩行者候補領域について算出されたスコアに基づいて、歩行者画像であるか識別している点が、第１の実施の形態と異なっている。
【００９３】
図１３に示すように、第３の実施の形態の対象物検出装置３１０は、撮像装置１２と、コンピュータ３１６と、表示装置１８と、を備えている。コンピュータ３１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１３に示すように、連続して撮像された撮像画像の時系列を取得する画像取得部３１９と、ウインドウ画像抽出部２０と、特徴量抽出部２１、スコア算出部２２、識別モデル記憶部２４、撮像画像の時系列の各々について、ウインドウ画像が歩行者候補領域であるか否かを判定する歩行者候補判定部３２４と、各歩行者候補領域について追跡処理を行う追跡処理部３２６と、追跡できた歩行者候補領域であるウインドウ画像が歩行者画像であるか否かを識別する歩行者識別部３２８と、を含んだ構成で表すことができる。
【００９４】
ウインドウ画像抽出部２０は、撮像画像の時系列の各々から、所定領域のウインドウ画像を抽出する。特徴量抽出部２１は、撮像画像の時系列の各々から抽出されたウインドウ画像について、画像特徴量を各々抽出する。スコア算出部２２は、撮像画像の時系列の各々に対する各ウインドウ画像について、抽出された画像特徴量と向き別識別モデルとを比較して、歩行者らしさを示すスコアを算出する。
【００９５】
歩行者候補判定部３２４は、撮像画像の時系列の各々について、上記の第１の実施の形態で説明した歩行者識別部２６と同様に、各ウインドウ画像について、閾値処理を行って、非歩行者画像を取り除くとともに、向きの分類毎に算出されたスコアの分布に基づいて、歩行者識別処理を行い、歩行者画像であると識別されたウインドウ画像を、歩行者候補領域とする。
【００９６】
次に、本実施の形態における原理について説明する。
【００９７】
上記の第２の実施の形態で説明したように、位置やサイズのわずかな変化による画像の違いは、各向きの分類に対するスコアに影響を与える。車載カメラによって撮像される画像では、自車両の運動によって、同じ対象物に対してもサイズや見る角度が徐々に変化する。このため、図１４に示すように、上記の第２の実施の形態と同様に、歩行者画像では、時系列間で、最大スコアとなる属性の分類の変化は生じない。一方、非歩行者画像では、時系列間の画像の違いによる各向きの分類に対するスコアの大小関係の逆転が発生しやすく、時系列の画像間で、最大スコアとなる属性の分類に変化が生じる。
【００９８】
そこで、本実施の形態では、追跡処理部３２６によって、歩行者候補判定部３２４によって歩行者候補領域であると判定されたウインドウ画像に対して追跡処理を行う。追跡処理部３２６では、現時刻ｔで歩行者候補領域と判定されたウインドウ画像の領域と、時刻ｔ−１まで追跡した歩行者追跡モデルの対応付けを行う。歩行者追跡モデルの更新にはαβトラッカを利用することができる。歩行者追跡モデルには、追跡された各時刻の歩行者候補領域について算出された向きの分類毎のスコアが記録されている。現時刻ｔで歩行者候補領域と判定されたウインドウ領域と対応する歩行者追跡モデルが見つからない場合は、新たな歩行者追跡モデルを生成する。時刻ｔ−１まで追跡した歩行者追跡モデルで、現時刻ｔにおいて対応する、歩行者候補領域と判定されたウインドウ画像が見つからない場合は、歩行者追跡モデルの現時刻ｔの各向きの分類のスコアをＮＵＬＬにする。
【００９９】
なお、この追跡処理では、各時刻の向きの分類毎のスコアの最大スコアを用いて、特許文献（特開２００５−３１１６９１号公報）に記載の手法により歩行者かどうかを判定する処理を行ってもよい。
【０１００】
歩行者識別部３２８は、追跡処理部３２６によって追跡された歩行者追跡モデルを用いて、歩行者追跡モデルの各々について、各時刻で向きの分類毎に算出されたスコアから、歩行者識別処理を行う。
【０１０１】
例えば、歩行者追跡モデルに基づいて、最大スコアとなる向きの分類の変化度合いを評価し、変化度合いが、閾値以上であれば、当該歩行者追跡モデルに対応するウインドウ画像が、非歩行者画像であると識別し、閾値未満であれば、歩行者画像であると識別する。
【０１０２】
向きの変化度合を評価する方法として、各時刻で向きの分類毎に算出されたスコアに基づいて、最大スコアとなる向きの分類の変化回数をカウントすればよい。また、図１５に示すように変化のパターンによって重みを付けて変化回数をカウントするようにしてもよい。
【０１０３】
次に、図１６、図１７を参照して、第３の実施の形態の対象物検出装置３１０のコンピュータ３１６で実行される対象物検出処理ルーチンについて説明する。なお、第１の実施の形態と同一の処理については、同一の符号を付して詳細な説明を省略する。
【０１０４】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、撮像画像に対して探索ウインドウを撮像画像に設定し、設定した探索ウインドウを用いて、撮像画像からウインドウ画像ｘを抽出する。
【０１０５】
次に、ステップ１０４で、上記ステップ１０２で抽出されたウインドウ画像ｘから画像特徴量を抽出する。ステップ１０６では、識別モデルを識別する変数Ｋを初期値である１に設定し、ステップ１０８において、Ｋ番目の向き別識別モデルと、上記ステップ１０４で抽出された画像特徴量とに基づいて、スコアを算出する。そして、ステップ１１０では、変数Ｋを１インクリメントして、ステップ１１２において、変数Ｎが、向き別識別モデルの個数を示す定数Ｎ以下であるか否かを判定する。変数Ｋが定数Ｎ以下である場合には、上記ステップ１０８へ戻るが、一方、変数Ｋが定数Ｎより大きい場合には、全ての向き別識別モデルについてスコアを算出したと判断し、ステップ１１４へ移行する。
【０１０６】
ステップ１１４では、上記ステップ１０８で算出した向きの分類毎のスコアに基づいて、ウインドウ画像ｘが歩行者画像であるか否かを識別する。
【０１０７】
次のステップ１１６では、上記ステップ１１４で歩行者画像であると識別されたか否かを判定し、歩行者画像でないと識別された場合には、後述するステップ１２０へ移行するが、一方、歩行者画像であると識別された場合には、ステップ３５０において、ウインドウ画像ｘを歩行者候補領域として記録して、ステップ１２０へ移行する。
【０１０８】
ステップ１２０では、上記ステップ１００で取得された撮像画像の全体について探索ウインドウをスキャンして探索が終了したか否かを判断する。終了していない場合は、ステップ１０２へ戻り、探索ウインドウの位置を予め定められた探索ステップだけ移動させた位置からウインドウ画像を抽出し、ステップ１０２〜ステップ１１６、３５０の処理を繰り返す。また、現サイズの探索ウインドウでの画像全体の探索が終了した場合には、同様にステップ１０２へ戻り、探索ウインドウのサイズを変更して、ステップ１０２〜ステップ１１６、３５０の処理を繰り返す。撮像画像全体について、全てのサイズの探索ウインドウでの探索が終了した場合には、ステップ３５２へ移行する。
【０１０９】
ステップ３５２では、上記ステップ３５０で記録された歩行者候補領域から、１つの歩行者候補領域を選択する。そして、ステップ３５４において、上記ステップ３５２で選択された歩行者候補領域について、１時刻前までの追跡処理により得られた歩行者追跡モデルを用いて、追跡処理を行う。
【０１１０】
次のステップ３５６では、上記ステップ３５２で選択された歩行者候補領域について、１時刻前までの歩行者追跡モデルから追跡できたか否かを判定し、追跡できなかった場合には、新たに歩行者追跡モデルを作成し、後述するステップ３６４へ移行する。
【０１１１】
一方、１時刻前までの歩行者追跡モデルから追跡できた場合には、ステップ３５８において、歩行者追跡モデルに基づいて、追跡された各時刻の歩行者候補領域であるウインドウ画像について、上記ステップ１０８で算出された向きの分類毎のスコアの時系列データに基づいて、当該ウインドウ画像が歩行者画像であるか否かを識別する。
【０１１２】
次のステップ３６０では、上記ステップ３５８で歩行者画像であると識別されたか否かを判定し、歩行者画像でないと識別された場合には、後述するステップ３６４へ移行するが、一方、歩行者画像であると識別された場合には、ステップ３６２において、現時刻における当該ウインドウ画像を歩行者領域として記録して、ステップ３６２へ移行する。
【０１１３】
ステップ３６２では、全ての歩行者候補領域について、上記ステップ３５２〜ステップ３６２の処理が終了したか否かを判定し、終了していない場合には、上記ステップ３５２へ戻り、まだ選択されていない歩行者候補領域を選択して、上記ステップ３５４〜ステップ３６２の処理を繰り返す。一方、全ての歩行者候補領域について、上記ステップ３５２〜ステップ３６２の処理が終了した場合には、ステップ１２２へ移行し、検出結果の出力として、上記ステップ３６２で記録された歩行者領域に基づいて、現時刻の撮像画像に対して、検出された歩行者がウインドウで囲まれて表示されるように表示装置１８を制御して、上記ステップ１００へ戻り、撮像装置１２で次の時刻に撮像された撮像画像を取得し、上述した処理を実行する。
【０１１４】
上記のように、対象物検出処理ルーチンでは、撮像装置１２によって撮像される撮像画像の時系列の各々について、上述した処理が繰り返し実行される。
【０１１５】
以上説明したように、第３の実施の形態に係る対象物検出装置３１０によれば、撮影画像の時系列において追跡されたウインドウ画像の時系列について、歩行者の向きに関する分類毎の識別モデルに基づいて、向きの分類毎にスコアを算出し、追跡されたウインドウ画像の時系列の各々に対する向きの分類毎のスコアに基づいて、ウインドウ画像が歩行者を表す画像か否かを識別することにより、歩行者が静止していても、精度良く歩行者を検出することができる。
【０１１６】
また、時系列的な向きの変化状態を評価することで、歩行者と非歩行者の識別が可能となり誤検出を除去することができる。
【０１１７】
なお、上記の実施の形態では、追跡された歩行者候補領域（ウインドウ画像）について得られる、最大スコアとなる向きの分類の変化の回数に基づいて、当該ウインドウ画像が歩行者画像であるか否かを識別する場合を例に説明したが、これに限定されるものではない。例えば、各向きの分類に対するスコアの関係を時系列的に判定するようにしてもよい。各時刻における向きの分類毎の最大スコアと最小スコアの差、すべての向き別スコア間の差、あるいは分散値を時系列で累積し、その累積値があらかじめ設定した閾値以下であれば、当該歩行者追跡モデルに対応するウインドウ画像が、非歩行者画像であると識別するようにしてもよい。
【０１１８】
また、追跡された歩行者候補領域（ウインドウ画像）について得られる、最大スコアとなる向きの分類の頻度分布に基づいて、上記の第２の実施の形態と同様に、ウインドウ画像が、歩行者画像であるか否かを識別するようにしてもよい。
【０１１９】
また、追跡された歩行者候補領域（ウインドウ画像）について得られる、各向きの分類における累積スコアの分布から、最大スコアと最小スコアの差、全スコア間の差、またはスコアの分散値を算出し、算出された値について閾値判定を行って、歩行者画像であるか識別してもよい。また、時系列でスコアを加算する場合に、現時刻から遠ざかるごとに重みを小さくして加算し、合計値があらかじめ設定した閾値以下であれば非歩行者画像と判定するようにしてもよい。
【０１２０】
また、現時刻の歩行者候補領域を検出してから、１時刻前までの追跡結果からの追跡処理を行う場合を例に説明したが、これに限定されるものではなく、１時刻前までの追跡結果から、対応する領域を検索し、検索結果に基づいて、現時刻の歩行者候補領域を検出してもよい。
【０１２１】
また、上記の第３の実施の形態において、上記の第２の実施の形態で説明した複数の周辺部分画像を用いた技術を適用してもよい。
【０１２２】
また、上記の第１の実施の形態〜第３の実施の形態では、歩行者の属性として、向きを用いた場合を例に説明したが、これに限定されるものではなく、大人や子供、老人といった分類を有する年齢に関するものや、男女などの分類を有する性別に関するものを、属性として用いてもよい。この場合には、年齢別識別モデルや、性別毎の識別モデルを予め学習して用意しておけばよい。また、歩行者の属性の分類を、向き＋開脚度合い（例えば、大／中／小／なし）のように細分化するようにしてもよい。
【０１２３】
また、上記の第１の実施の形態〜第３の実施の形態において、スコアの閾値処理により、非歩行者のウインドウ画像を取り除く処理を行う場合を例に説明したが、スコアの閾値処理により非歩行者のウインドウ画像を取り除く処理を省略してもよい。
【０１２４】
また、検出対象物を歩行者とした場合を例に説明したが、これに限定されるものではなく、例えば、自転車などの二輪車を検出対象物としてもよい。
【符号の説明】
【０１２５】
１０、２１０、３１０ 対象物検出装置
１２   撮像装置
１６、２１６、３１６ コンピュータ
２０   ウインドウ画像抽出部
２１、２２１  特徴量抽出部
２２、２２２  スコア算出部
２４   識別モデル記憶部
２６、２２６、３２８ 歩行者識別部
２２０ 周辺部分画像抽出部
３２４ 歩行者候補判定部
３２６ 追跡処理部
【図１】
2012221162.tif 000003
【図３】
2012221162.tif 000004
【図６】
2012221162.tif 000005
【図７】
2012221162.tif 000006
【図８】
2012221162.tif 000007
【図１１】
2012221162.tif 000008
【図１２】
2012221162.tif 000009
【図１３】
2012221162.tif 000010
【図１５】
2012221162.tif 000011
【図１６】
2012221162.tif 000012
【図１７】
2012221162.tif 000013
【図２】
2012221162.tif 000014
【図４】
2012221162.tif 000015
【図５】
2012221162.tif 000016
【図９】
2012221162.tif 000017
【図１０】
2012221162.tif 000018
【図１４】
2012221162.tif 000019