(57)【要約】【課題】処理速度を高速化するとともに、対象物の検出精度を向上させる。【解決手段】対象物検出装置は、入力画像（３１）に基づいて、所定数の輝度勾配方向と勾配強度とを含む複数のチャネルそれぞれについて、所定スケールの積分画像を生成する。また、生成された所定スケールの積分画像に基づいて、検索窓（４０）に対応する矩形領域（５１，６１）単位で、各輝度勾配方向についての勾配特徴量と、勾配強度についての強度特徴量とを算出する。対象物検出装置は、輝度勾配方向の識別用特徴量として、所定スケールの勾配積分画像に基づき算出された勾配特徴量を、同一の矩形領域における、所定スケールの強度積分画像に基づき算出された強度特徴量で除算した正規化勾配特徴量を用いることで、対象物の有無を識別する。【選択図】図５
2015056004.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から対象物を検出するための対象物検出装置であって、
所定数の輝度勾配方向と勾配強度とを含む複数のチャネルそれぞれについて、前記入力画像に基づき、所定スケールの勾配積分画像および強度積分画像を生成するための生成手段と、
前記生成手段により生成された、前記所定スケールの勾配積分画像および強度積分画像に基づいて、検索窓に対応する矩形領域単位で、各前記輝度勾配方向についての勾配特徴量と、前記勾配強度についての強度特徴量とを算出する算出手段と、
前記算出手段により算出された前記勾配特徴量および前記強度特徴量に基づいて、前記矩形領域内における前記対象物の有無を識別する識別手段とを備え、
前記識別手段は、前記所定スケールの勾配積分画像に基づき算出された前記勾配特徴量を、同一の前記矩形領域における、前記所定スケールの強度積分画像に基づき算出された前記強度特徴量で除算した正規化勾配特徴量を含む特徴量を用いて、前記対象物の有無を識別する、対象物検出装置。
【請求項２】
前記生成手段は、前記勾配強度のチャネルについては、前記入力画像に基づいて、前記所定スケールとはスケールが異なる縮小強度積分画像をさらに生成し、
前記算出手段は、前記勾配強度のチャネルについては、前記縮小強度積分画像に基づく強度特徴量をさらに算出し、
前記識別手段は、判別対象のチャネルが前記勾配強度の場合に、同一の前記矩形領域における、複数スケール分の前記強度特徴量に基づいて、前記対象物の有無を識別する、請求項１に記載の対象物検出装置。
【請求項３】
前記識別手段は、判別対象のチャネルが前記輝度勾配方向に該当する場合に、前記勾配特徴量を前記所定スケールの強度特徴量で除算する正規化手段を含む、請求項２に記載の対象物検出装置。
【請求項４】
前記複数のチャネルは、色情報をさらに含み、
前記生成手段は、前記色情報のチャネルについて、前記入力画像に基づき、前記所定スケールを含む複数スケールの色積分画像を生成し、
前記算出手段は、前記色情報のチャネルについては、生成された複数スケールの色積分画像それぞれに基づいて、前記矩形領域単位で色特徴量を算出し、
前記識別手段は、判別対象のチャネルが前記色情報の場合に、同一の前記矩形領域における複数スケール分の前記色特徴量に基づいて、前記対象物の有無を識別する、請求項２または３に記載の対象物検出装置。
【請求項５】
前記複数のチャネルは、色情報をさらに含み、
前記算出手段は、前記色情報のチャネルについて、前記矩形領域単位で、前記入力画像に基づき、前記所定スケールの色積分画像に基づいて色特徴量を算出し、
前記識別手段は、前記色特徴量を、対象の前記矩形領域における色の合計を示す演算値で除算した正規化色特徴量を用いて、前記対象物の有無を識別する、請求項２または３に記載の対象物検出装置。
【請求項６】
前記演算値は、前記矩形領域内の画素値である、請求項５に記載の対象物検出装置。
【請求項７】
前記識別手段による前記矩形領域ごとの識別結果に基づいて、前記入力画像中の前記対象物の位置を判定する判定手段と、
前記判定手段による判定結果を出力する出力手段とをさらに備える、請求項１〜６のいずれかに記載の対象物検出装置。
【請求項８】
入力画像から対象物を検出するための対象物検出方法であって、
所定数の輝度勾配方向と勾配強度とを含む複数のチャネルそれぞれについて、前記入力画像に基づき、所定スケールの勾配積分画像および強度積分画像を生成するステップと、
生成された、前記所定スケールの勾配積分画像および強度積分画像に基づいて、検索窓に対応する矩形領域単位で、各前記輝度勾配方向についての勾配特徴量と、前記勾配強度についての強度特徴量とを算出するステップと、
算出された前記勾配特徴量および前記強度特徴量に基づいて、前記矩形領域内における前記対象物の有無を識別するステップとを備え、
前記識別するステップは、前記所定スケールの勾配積分画像に基づき算出された前記勾配特徴量を、同一の前記矩形領域における、前記所定スケールの強度積分画像に基づき算出された前記強度特徴量で除算した正規化勾配特徴量を含む特徴量を用いて、前記対象物の有無を識別するステップを含む、対象物検出方法。
【請求項９】
請求項８に記載の対象物検出方法に含まれる各ステップをコンピュータに実行させる、対象物検出プログラム。
【請求項１０】
入力画像から対象物を検出するための識別用特徴量の導出方法であって、
前記入力画像に基づいて、所定の特性情報を示す複数のチャネルそれぞれの積分画像を生成するステップと、
生成された前記積分画像に基づいて、検索窓に対応する矩形領域ごとに、各チャネルの矩形特徴量を算出するステップと、
算出された前記矩形特徴量を、同一の前記矩形領域における前記所定の特性情報の総和を示す演算値で除算することによって、前記識別用特徴量を算出するステップとを備える、特徴量導出方法。
【請求項１１】
請求項１０に記載の特徴量導出方法に含まれる各ステップをコンピュータに実行させる、特徴量導出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物検出装置、方法およびプログラム、ならびに、特徴量導出方法およびプログラムに関し、特に、輝度勾配を用いて、入力画像から歩行者などの対象物を検出するための対象物検出装置、方法およびプログラム、ならびに、入力画像から対象物を検出するための識別用特徴量を導出するための特徴量導出方法およびプログラムに関する。
【背景技術】
【０００２】
画像処理技術に基づいた歩行者検出には様々な手法がある。現在、世界最高レベルの検出精度を示す手法の１つに、「インテグラル・チャネル・フィーチャーズ（Integral Channel Features）」という手法がある（非特許文献１）。この手法においては、入力画像から輝度勾配の方向、強度、色情報といった様々な特徴を積分画像として生成する。そして、これらの積分画像を用いて計算される矩形特徴をノードとする木構造弱識別器を構成し、この弱識別器をブースティングによって学習して強識別器を構築している。
【０００３】
上記手法では、任意の大きさの歩行者に対応するために、チャネル（特徴）ごとに、複数の異なるスケールの積分画像を生成している。このように、任意の大きさの対象物を検出するためには、たとえば特開２００８−２７２７５号公報（特許文献１）にも示されるように、リサイズ画像に対する処理が必要となることは周知である。
【０００４】
インテグラル・チャネル・フィーチャーズの演算を高速化する手法の１つに「ＦＰＤＷ（The Fastest Pedestrian Detector in the West）」という手法がある（非特許文献２）。この手法においては、インテグラル・チャネル・フィーチャーズよりも疎なスケール間隔で複数スケールの積分画像を生成している。そして、生成された積分画像に対し実験的に得られた固定定数を乗ずることによって、所定スケールの積分画像の矩形特徴量を近似的に算出（推定）している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２７２７５号公報
【非特許文献】
【０００６】
【非特許文献１】Piotr Dollar、他３名、“Integral Channel Features”、［online］、２００９年、［２０１３年７月３日検索］、インターネット＜ HYPERLINK "http://www.loni.ucla.edu/~ztu/publication/dollarBMVC09ChnFtrs#0.pdf" http://www.loni.ucla.edu/~ztu/publication/dollarBMVC09ChnFtrs#0.pdf＞
【非特許文献２】Piotr Dollar、他２名、“ＦＰＤＷ（The Fastest Pedestrian Detector in the West）”、［online］、２０１０年、［２０１３年７月３日検索］、インターネット＜http://vision.ucsd.edu/sites/default/files/FPDW#0.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
インテグラル・チャネル・フィーチャーズ（以下「ＩＣＦ」と略す）では、多くのスケールの積分画像を生成する必要があるため、リアルタイムでの歩行者検出は困難である。また、ＦＰＤＷでは、ある程度のスケール非依存性を実現しているものの、検出精度を維持するために、矩形特徴量の推定に用いられる固定定数は事前の実験により求められている。
【０００８】
本発明の目的は、処理速度を高速化するとともに、検出精度を向上させることのできる対象物検出装置、方法およびプログラム、ならびに、特徴量導出方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００９】
この発明のある局面に従う対象物検出装置は、入力画像から対象物を検出するための対象物検出装置であって、所定数の輝度勾配方向と勾配強度とを含む複数のチャネルそれぞれについて、入力画像に基づき、所定スケールの勾配積分画像および強度積分画像を生成するための生成手段と、生成手段により生成された所定スケールの勾配積分画像および強度積分画像に基づいて、検索窓に対応する矩形領域単位で、各輝度勾配方向についての勾配特徴量と、勾配強度についての強度特徴量とを算出する算出手段と、算出手段により算出された勾配特徴量および強度特徴量に基づいて、矩形領域内における対象物の有無を識別する識別手段とを備える。識別手段は、所定スケールの勾配積分画像に基づき算出された勾配特徴量を、同一の矩形領域における、所定スケールの強度積分画像に基づき算出された強度特徴量で除算した正規化勾配特徴量を含む特徴量を用いて、対象物の有無を識別する。
【００１０】
好ましくは、生成手段は、勾配強度のチャネルについては、入力画像に基づいて、所定スケールとはスケールが異なる縮小強度積分画像をさらに生成し、算出手段は、勾配強度のチャネルについては、縮小強度積分画像に基づく強度特徴量をさらに算出する。識別手段は、判別対象のチャネルが勾配強度の場合に、同一の矩形領域における、複数スケール分の強度特徴量に基づいて、対象物の有無を識別する。
【００１１】
好ましくは、識別手段は、判別対象のチャネルが輝度勾配方向に該当する場合に、勾配特徴量を所定スケールの強度特徴量で除算する正規化手段を含む。
【００１２】
好ましくは、複数のチャネルは、色情報をさらに含み、生成手段は、色情報のチャネルについて、入力画像に基づき、所定スケールを含む複数スケールの色積分画像を生成し、算出手段は、色情報のチャネルについては、生成された複数スケールの色積分画像それぞれに基づいて、矩形領域単位で色特徴量を算出する。識別手段は、判別対象のチャネルが色情報の場合に、同一の矩形領域における複数スケール分の色特徴量に基づいて、対象物の有無を識別する。
【００１３】
または、複数のチャネルは、色情報をさらに含み、算出手段は、色情報のチャネルについて、矩形領域単位で、入力画像に基づき、所定スケールの色積分画像に基づいて色特徴量を算出し、識別手段は、色特徴量を、対象の矩形領域における色の合計を示す演算値で除算した正規化色特徴量を用いて、対象物の有無を識別することも望ましい。
【００１４】
上記演算値は、矩形領域内の画素値であってもよい。
【００１５】
好ましくは、識別手段による矩形領域ごとの識別結果に基づいて、入力画像中の対象物の位置を判定する判定手段と、判定手段による判定結果を出力する出力手段とをさらに備える。
【００１６】
この発明の他の局面に従う対象物検出方法は、入力画像から対象物を検出するための対象物検出方法であって、所定数の輝度勾配方向と勾配強度とを含む複数のチャネルそれぞれについて、入力画像に基づき、所定スケールの勾配積分画像および強度積分画像を生成するステップと、生成された、所定スケールの勾配積分画像および強度積分画像に基づいて、検索窓に対応する矩形領域単位で、各輝度勾配方向についての勾配特徴量と、勾配強度についての強度特徴量とを算出するステップと、算出された勾配特徴量および強度特徴量に基づいて、矩形領域内における対象物の有無を識別するステップとを備える。識別するステップは、所定スケールの勾配積分画像に基づき算出された勾配特徴量を、同一の矩形領域における、所定スケールの強度積分画像に基づき算出された強度特徴量で除算した正規化勾配特徴量を含む特徴量を用いて、対象物の有無を識別するステップを含む。
【００１７】
この発明のさらに他の局面に従う対象物検出プログラムは、上記記載の対象物検出方法に含まれる各ステップをコンピュータに実行させる。
【００１８】
この発明のさらに他の局面に従う特徴量導出方法は、入力画像から対象物を検出するための識別用特徴量の導出方法であって、入力画像に基づいて、所定の特性情報を示す複数のチャネルそれぞれの積分画像を生成するステップと、生成された積分画像に基づいて、検索窓に対応する矩形領域ごとに、各チャネルの矩形特徴量を算出するステップと、算出された矩形特徴量を、同一の矩形領域における所定の特性情報の総和を示す演算値で除算することによって、識別用特徴量を算出するステップとを備える。
【００１９】
この発明のさらに他の局面に従う特徴量導出プログラムは、上記記載の特徴量導出方法に含まれる各ステップをコンピュータに実行させる。
【発明の効果】
【００２０】
本発明によれば、スケールに依存しない正規化勾配特徴量によって対象物の有無が識別される。したがって、処理速度を高速化することができる。また、対象物の検出精度を向上させることもできる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態に係る対象物検出装置のハードウェア構成例を示すブロック図である。
【図２】本発明の実施の形態に係る対象物検出装置の機能構成を示す機能ブロック図である。
【図３】色情報および勾配強度の識別用特徴量の算出方法を概念的に示す概念図である。
【図４】輝度勾配の識別用特徴量の算出方法を概念的に示す概念図である。
【図５】本発明の実施の形態に係る識別処理を概念的に示す図である。
【図６】本発明の実施の形態に係る対象物検出処理を示すフローチャートである。
【図７】本発明の実施の形態における識別処理を示すフローチャートである。
【図８】ＩＮＲＩＡデータセットを用いて評価を行った場合の歩行者検出精度を示すグラフである。
【発明を実施するための形態】
【００２２】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。
【００２３】
本実施の形態に係る対象物検出装置は、入力画像から、対象物としてたとえば歩行者を検出する。本実施の形態に係る対象物検出装置は、上述のＩＣＦと同様に、入力画像から、歩行者の検出に有効な特性情報として、色情報、輝度勾配、および、輝度勾配強度を抽出している。色情報は、たとえばＬＵＶ表色系に基づいた３つのチャネルに分類される。輝度勾配としては、たとえば、１８０°を６分割した０°、３０°、６０°、９０°、１２０°および１８０°の６つのチャネルに分類される。輝度勾配強度は１チャネルのみである。対象物検出装置は、チャネルごとの積分画像を生成し、積分画像から矩形特徴を抽出して、ブースティングに基づき構築された強識別器のスコアを弱識別器のスコアから計算する。
【００２４】
なお、弱識別器は、たとえばソフトカスケード接続されている。ソフトカスケードを用いて画像から対象物を検出する方法は、米国特許第７，６３４，１４２号公報に記載されており、ソフトカスケードを用いて画像の識別処理を高速化する方法は、米国特許公開第２００９／００１８９８０号公報に記載されている。また、ソフトカスケードを構築する方法も公知である。
【００２５】
ここで、ＩＣＦおよびＦＰＤＷでは、チャネルごとに、同じ大きさの検出窓に対し複数スケールの積分画像を生成している。これに対し、本実施の形態では、輝度勾配に相当する積分画像から矩形特徴を演算する際に適切な補正を行うことによって、スケールに依存しない特徴量を構築している。以下に、スケールに依存しない識別用特徴量を導出し、このような識別用特徴量を用いて対象物を検出する対象物検出装置の構成および動作について、詳細に説明する。
【００２６】
＜構成について＞
（ハードウェア構成）
図１は、本発明の実施の形態に係る対象物検出装置１のハードウェア構成例を示すブロック図である。図１に示されるように、対象物検出装置１は、たとえばＰＣ（Personal Computer）などの汎用コンピュータによって実現可能である。
【００２７】
対象物検出装置１は、各種演算処理を行うためのＣＰＵ（Central Processing Unit）１１と、各種データおよびプログラムを格納するＲＯＭ（Read Only Memory）１２と、作業データ等を記憶するＲＡＭ（Random Access Memory）１３と、不揮発性の記憶装置であるハードディスク１４と、キーボードなどを含む操作部１５と、各種情報を表示するための表示部１６と、記録媒体１７ａからのデータやプログラムを読み出しおよび書き込み可能なドライブ装置１７と、ネットワーク通信するための通信Ｉ／Ｆ（インターフェイス）１８と、画像（静止画および動画を含む）を入力する画像入力部１９とを備える。画像入力部１９は、画像を撮影するカメラにより実現される。記録媒体１７ａは、たとえば、ＣＤ−ＲＯＭ（Compact Disc-ROM）や、メモリカードなどであってよい。
【００２８】
なお、対象物検出装置１は、画像入力部１９を備えていなくてもよい。その場合、たとえば通信Ｉ／Ｆ１８から得られた画像データや、記録媒体１７ａから読み出された画像データに対して、対象物検出処理が実行されてよい。本実施の形態では、このように外部から得られる画像も「入力画像」であるものとする。
【００２９】
（機能構成）
図２は、本発明の実施の形態に係る対象物検出装置１の機能構成を示す機能ブロック図である。図２を参照して、対象物検出装置１は、その機能構成として、画像記憶部１１０と、変換部１２０と、生成部１３０と、設定部１４０と、算出部１５０と、識別部１６０と、判定部１７０と、出力部１８０とを含む。
【００３０】
画像記憶部１１０は、入力画像を記憶する。入力画像は、たとえば画像入力部１９より入力された画像である。画像記憶部１１０は、たとえば、ＲＡＭ１３あるいはハードディスク１４によって実現される。
【００３１】
変換部１２０は、画像記憶部１１０に記憶された入力画像から、複数のチャネルそれぞれについて、所定スケールの複数の変換画像を生成する。複数のチャネルは、上述のように、３つの色情報と６つの輝度勾配方向と１つの勾配強度とを含む。したがって、変換部１２０は、色情報抽出部１２２と、輝度勾配抽出部１２４と、勾配強度抽出部１２６とを含む。色情報抽出部１２２は、入力画像から色情報を抽出して、入力画像をＬＵＶ画像に変換する。輝度勾配抽出部１２４は、入力画像から輝度勾配を抽出して、入力画像をそれぞれの方向の勾配画像に変換する。勾配強度抽出部１２６は、入力画像から勾配強度を抽出し、入力画像を勾配強度画像に変換する。勾配強度は、輝度勾配方向の総計を示す。
【００３２】
生成部１３０は、変換部１２０によって生成された各変換画像に基づいて、チャネルごとに積分画像を生成する。積分画像は、矩形領域の４角の画素値を加減算することで特徴量が導出されるように、変換画像の各画素値を演算した結果を、その変換画像の画素の配列に従って配置した周知のデータである。生成部１３０は、色情報および勾配強度のチャネルについては、上述のＦＰＤＷに従い複数スケールの積分画像を生成する。輝度勾配のチャネルについては、入力画像に基づき、所定スケールの積分画像のみを生成する。「所定スケール」は、入力画像と同一のスケールであることが望ましい。なお、本実施の形態では、全画面に対して積分画像が生成されるが、積分画像は部分的に生成されてもよい。
【００３３】
設定部１４０は、入力画像に対し、検索窓を設定する。検索窓による探索順は、予め定められている。
【００３４】
算出部１５０は、設定部１４０により設定された検索窓に対応する矩形領域単位で、各チャネルの特徴量（矩形特徴量）を算出する。算出部１５０は、チャネルごとに、生成部１３０により生成された１以上の積分画像に基づいて矩形特徴量を算出する。算出部１５０による矩形特徴量の具体的な算出方法については後述する。
【００３５】
識別部１６０は、算出部１５０により算出されたチャネルごとの矩形特徴量に基づいて、検索窓内における対象物の有無を識別する。本実施の形態において、識別部１６０は、正規化部１６２と、判別処理部１６４とを含む。正規化部１６２は、算出部１５０で算出された輝度勾配の矩形特徴量、すなわち勾配特徴量を正規化する。つまり、正規化部１６２によって、輝度勾配についての識別用特徴量として、正規化勾配特徴量が導出される。正規化部１６２による具体的な正規化方法についても後述する。
【００３６】
判別処理部１６４は、各チャネルの矩形特徴量に基づく判別処理を行う。判別処理は、弱識別器の各ノードにおいて行われる処理であり、予め学習によって設定された閾値に基づいて行われる。判別処理部１６４は、輝度勾配のチャネルについては、上記正規化勾配特徴量を用いて判別処理を行い、それ以外のチャネルについては、算出部１５０で算出された矩形特徴量に基づいて判別処理を行う。
【００３７】
判定部１７０は、識別部１６０による検索窓ごとの識別結果に基づいて、入力画像中の歩行者の位置を判定する。判定部１７０は、歩行者の位置を特定する情報を出力部１８０に出力する。
【００３８】
出力部１８０は、判定部１７０による判定結果を出力する。出力部１８０は、たとえば、表示部１６によって実現される。その場合、歩行者が存在すると判定（識別）された検索窓が、表示部１６において矩形枠にて示される。なお、出力部１８０は、たとえば通信Ｉ／Ｆ１８により実現されてもよい。この場合、判定結果は、ネットワークを介して接続された外部装置に送信されてもよい。
【００３９】
なお、図２に示した画像記憶部１１０および出力部１８０以外の機能ブロックは、図１に示したＣＰＵ１１が、たとえばハードディスク１４に格納されたソフトウェアを実行することで実現されてもよいし、これらのうち少なくとも１つは、ハードウェアにより実現されてもよい。
【００４０】
ここで、本実施の形態では、識別部１６０による識別処理に用いられる特徴量の算出（導出）方法が、輝度勾配の場合とそれ以外とで異なっている。このことについて、図３および図４を参照して具体的に説明する。
【００４１】
図３は、色情報および勾配強度の識別用特徴量の算出方法を概念的に示す概念図である。
【００４２】
図３を参照して、画像３１は入力画像である。画像３２〜３６，…は、上述のＩＣＦに従った場合に細かいスケール間隔で生成される縮小画像を概念的に表したものである。本実施の形態では、上述のＦＰＤＷに従い、疎なスケール間隔で縮小画像３６，…を生成する。つまり、本実施の形態では縮小画像３２〜３５は生成されない。生成部１３０は、入力画像３１から色情報（３チャネル）および勾配強度情報（１チャネル）を抽出し、チャネルごとに「積分画像１」を生成する。縮小画像３６についても同様に、色情報および勾配強度のチャネルごとに「積分画像６」を生成する。なお、ＩＣＦでは、各スケールに対応する積分画像１〜６の全てが生成される。
【００４３】
各画像３１，３６に対し、同じ位置および大きさの検索窓４０が設定されている。積分画像１，６それぞれの矩形領域５１，５２は、検索窓４０に対応しているものとする。その場合、算出部１５０は、たとえば勾配強度の積分画像１（入力画像と同スケールの強度積分画像）の矩形領域５１から、１つ目の強度特徴量を算出する。つまり、矩形領域５１の合計（積分値）が１つ目の強度特徴量として算出される。同様に、勾配強度の積分画像６（入力画像とはスケールが異なる強度積分画像）の矩形領域５２から、２つ目の強度特徴量を算出する。つまり、矩形領域５２の合計（積分値）が２つ目の強度特徴量として算出される。算出部１５０は、これら２つの強度特徴量から乗数を推定し、積分画像１から「積分画像３」を処理する。積分画像３は、積分画像１のスケールと積分画像６のスケールとの間のスケール（以下「中間スケール」という）の積分画像である。つまり、実験的に得られた固定乗数を１つ目の強度特徴量にかけることで、実際には生成されていない積分画像３の強度特徴量（３つ目の強度特徴量）を近似的に算出する。色情報の各チャネルも同様に複数スケール分の色特徴量が算出される。色情報および勾配強度のチャネルでは、上記のように算出される複数スケール分の矩形特徴量が、識別用特徴量となる。このように、実際には生成されていない積分画像３の矩形特徴量を推定することで、積分画像の生成枚数をＩＣＦよりも減らすことができる。
【００４４】
図４は、輝度勾配の識別用特徴量の算出方法を概念的に示す概念図である。
【００４５】
図４を参照して、画像３１は入力画像である。輝度勾配については、縮小画像３２〜３６，…のいずれも生成されない。輝度勾配については、入力画像３１のみから、角度に応じた積分画像が生成されている。この、入力画像と同スケールの勾配積分画像の矩形領域６１は、図３と同じ検索窓４０に対応しているものとする。この場合、算出部１５０によって、勾配積分画像の矩形領域６１の合計（積分値）が、勾配特徴量として算出される。本実施の形態では、この勾配矩形特徴量が、入力画像と同スケールの強度積分画像（図３の積分画像１に相当）より算出される同じ位置および大きさの矩形領域５１の合計（積分値）により除算される。これにより、輝度勾配の識別用特徴量として、正規化勾配特徴量が得られる。
【００４６】
矩形領域５１の強度特徴量は、検索窓４０の輝度勾配の総和を示している。したがって、ある勾配方向の正規化勾配特徴量は、矩形領域６１内における、その勾配方向の構成割合を示すことになる。構成割合は、矩形領域すなわち検索窓の大きさに依存しない。そのため、輝度勾配のチャネルについては、複数スケールの縮小画像を生成して複数の矩形特徴量を算出しなくても、スケールに依存しない識別用特徴量を得ることができる。
【００４７】
図５は、本発明の実施の形態に係る識別処理を概念的に示す図である。
【００４８】
図５を参照して、木構造の弱識別器７０Ａ，７０Ｂ，…，７０Ｎにおいて、輝度勾配のチャネルのノードがハッチングにて示されている。たとえば、木構造弱識別器７０Ｎでは、ノードＮ１〜Ｎ７のうち、Ｎ３，Ｎ７が輝度勾配のチャネルであり、他のノードＮ１，Ｎ２，Ｎ４〜Ｎ６が、色情報および勾配強度のいずれかのチャネルである。
【００４９】
＜動作について＞
図６は、本発明の実施の形態に係る対象物検出処理を示すフローチャートである。図６に示す対象物検出処理は、ＣＰＵ１１が、たとえばハードディスク１４に予め格納されたプログラムを読み出して実行することによって実現される。
【００５０】
図２および図６を参照して、はじめに、変換部１２０に含まれるそれぞれの抽出部１２２，１２４，１２６は、画像記憶部１１０に記憶された入力画像から、色情報、輝度勾配および勾配強度を抽出する（ステップＳ２）。これにより、入力画像から、ＬＵＶ画像（３チャネル）、６方向の輝度勾配画像（６チャネル）、および勾配強度（１チャネル）の画像が生成される。次に、生成部１３０は、チャネルごとに、入力画像と同一スケールの積分画像を生成する（ステップＳ４）。また、生成部１３０は、色および勾配強度のチャネルについては、たとえば上述のＦＰＤＷに従うスケール間隔で、複数の縮小積分画像をさらに生成する（ステップＳ６）。生成された積分画像は、たとえばＲＡＭ１３に一時記憶される。
【００５１】
次に、設定部１４０が検索窓を設定すると、算出部１５０は、検索窓内の矩形特徴量を抽出する（ステップＳ８）。算出部１５０は、輝度勾配の各チャネルについては、ステップＳ４で生成された１つの積分画像から勾配特徴量を算出する。色情報の各チャネルについては、ステップＳ４で生成された積分画像、および、ステップＳ６で生成された少なくとも１つの縮小積分画像から、複数スケール分の色特徴量を算出する。また、算出されたこれらの色特徴量から、中間スケールの色特徴量を近似的に算出（推定）する。勾配強度のチャネルも、色情報の場合と同様に、複数スケール分の強度特徴量を算出および推定する。
【００５２】
矩形特徴量が抽出されると、識別部１６０による識別処理が実行される（ステップＳ１０）。識別処理については、図７にサブルーチンを挙げて説明する。なお、ここでの識別処理は、図５の各弱識別器７０Ａ〜７０Ｎが行う処理に相当する。
【００５３】
図７は、本発明の実施の形態における識別処理を示すフローチャートである。
【００５４】
図７を参照して、識別部１６０は、判別対象チャネルの種類が輝度勾配であるか否かを判定する（ステップＳ１０２）。判別対象チャネルが輝度勾配である場合、ステップＳ１０４へ進み、それ以外の場合、ステップＳ１０８へ進む。
【００５５】
ステップＳ１０４において、正規化部１６２は、ステップＳ８で入力画像と同スケールの勾配積分画像から算出された勾配特徴量を、同一の矩形領域の同スケールに対応する強度特徴量で除算し、正規化特徴量を得る。判別処理部１６４は、この正規化特徴量により判別処理を実行する（ステップＳ１０６）。なお、判別処理は、図５に示したノードＮ１〜Ｎ７において行われる処理である。
【００５６】
ステップ１０８では、判別処理部１６４が、ＦＰＤＷ手法に基づき、複数スケールの積分画像それぞれの特徴量を用いて、判別処理を実行する。
【００５７】
判別処理部１６４による全階層の判別処理が終了するまで（ステップＳ１１０にてＮＯ）、上記処理が繰返される。全階層の判別処理が終了すると（ステップＳ１１０にてＹＥＳ）、識別部１６０は、検索窓（矩形領域）内に、歩行者が存在するか否かを識別する（ステップＳ１１２）。全ノード（弱識別器）の識別処理が終了していない場合（ステップＳ１１４にてＮＯ）、ステップＳ１０２に戻り、上記処理が繰り返される。全ノードの識別処理が終了した場合に（ステップＳ１１４にてＹＥＳ）、所定の計算式を用いてスコアを計算する（ステップＳ１１６）。スコアが計算されると、処理はメインルーチンに戻される。弱識別器を表わすノードは、上述のようにソフトカスケード接続されており、その接続順序に従ってステップＳ１０２〜Ｓ１１２に示される弱識別処理が行われる。
【００５８】
再び図３を参照して、設定された検索窓に対する識別処理が終わると、全領域網羅したか否かが判断される（ステップＳ１２）。つまり、全ての検索窓に対する識別処理が終わったか否かが判断される。まだの場合は（ステップＳ１２にてＮＯ）、設定部１４０により検索窓が移動され（ステップＳ１４）、上述の特徴量抽出処理（ステップＳ８）および識別処理（ステップＳ１０）が繰返される。
【００５９】
全ての検索窓に対する識別処理が終わった場合（ステップＳ１２にてＹＥＳ）、判定部１７０は、識別処理の結果に基づいて、入力画像中における歩行者の有無を判定する（ステップＳ１６）。歩行者が存在すると判定した場合は、その位置（検索窓の位置）を特定し、出力部１８０に与える。これにより、判定部１７０による判定結果が、出力部１８０により出力される（ステップＳ１８）。
【００６０】
以上で、対象物検出処理は終了される。
【００６１】
上述のように、本実施の形態では、勾配特徴量が、単純な固定定数ではなく、物理的に関連のある数値によって補正（正規化）される。したがって、本実施の形態に係る対象物検出装置１によれば、事前の実験を行うことなく任意の入力に対応可能である。また、輝度勾配については１つの積分画像を生成するだけでよいため、ＦＰＤＷと同等またはそれ以上の高速化を実現することができる。また、勾配特徴量の正規化に用いられる除数は、歩行者検出の１つのチャネルの特徴量である。そのため、正規化処理の負荷を抑えることもできる。
【００６２】
図８は、ＩＮＲＩＡデータセットを用いて評価を行った場合の歩行者検出精度を示すグラフである。図８には、横軸に誤検出率（False Positive Per Image）、縦軸に検出ミス率をとったグラフが示されている。当該グラフにおいて、グラフ線Ｌ１が本実施の形態に従って歩行者検出を行った場合の誤検出率を示している。グラフ線Ｌ２は、ＦＰＤＷ手法の誤検出率を示している。グラフ線Ｌ３は、ＩＣＦ手法の誤検出率を示している。なお、グラフ線Ｌ２，Ｌ３は、２０１２年のＩＮＲＩＡデータセットによる評価を引用している。
【００６３】
図８に示されるように、誤検出率を評価指標として歩行者検出の精度評価を行った場合に、本実施の形態に従った歩行者検出手法は、どの誤検出率においても従来手法を上回る世界最高の検出精度を達成している。たとえば誤検出率が「１０-1」、すなわち、入力画像１０枚に対して全画面探索を行った場合に１つの誤検出を発生する検出閾値の場合に、およそ８５％の検出精度を達成している。したがって、本実施の形態の対象物検出装置によれば、市場からの要求が強い車載用途の実用にも耐え得る高い検出精度を実現している。特に近年は、多くの自動車に歩行者検出システムの搭載を目指す流れになっており、経済的効果は高い。また、車載用途のみならず、監視用途やヒューマンマシンインターフェースへの適用も容易であり、このような市場においても採用される可能性は高いと期待できる。
【００６４】
なお、本実施の形態では、識別部１６０の識別処理において、判別対象のチャネルが輝度勾配の場合に正規化処理を行うこととしたが、識別処理に移行する前に事前に正規化処理を行ってもよい。つまり、図４のステップＳ１０４で行なわれる正規化のための演算処理は、図４のステップＳ８（矩形特徴量の算出）と、ステップＳ１０（識別処理）との間に行われてもよい。
【００６５】
また、本実施の形態では、輝度勾配のチャネルについてのみ、スケールフリーな識別用特徴量を導出することとしたが、色情報の矩形特徴量も同様に、各色が矩形領域内に占める割合を算出し、この値をスケールフリーな識別用特徴量としてもよい。この場合、色特徴量を、同一矩形領域内の色の合計、たとえば矩形領域内の画素値で除算して得られる正規化色特徴量を、識別用特徴量とすることができる。
【００６６】
または、色情報は、歩行者検出のための補助的な情報であり、２〜３％しか歩行者検出に貢献しないことが分かっている。したがって、歩行者検出のチャネルに、色情報を含めないこととしてもよい。その場合、歩行者検出処理のさらなる高速化が期待できる。
【００６７】
なお、本実施の形態では、輝度勾配のチャネルについては、１つの入力画像に対して、入力画像と同一スケールの１つの積分画像が生成されることとしたが、必ずしも同一スケールでなくてもよい。その場合、勾配積分画像より算出される勾配特徴量が、勾配積分画像と同じスケール（つまり所定スケール）の強度積分画像より算出される強度特徴量により正規化されればよい。
【００６８】
また、歩行者検出に有効な特性情報が色、輝度勾配および勾配強度の他にあった場合、その特性情報についても、輝度勾配と同様の概念に基づき補正することとしてもよい。具体的には、あるチャネルの積分画像より算出される矩形特徴量を、その矩形領域内においてそのチャネルの占める割合を示す正規化特徴量に補正することとしてもよい。つまり、算出部により算出される矩形特徴量を、同一の矩形領域における所定の特性情報の総和を示す演算値で除算することで、識別用特徴量を導出してもよい。その意味において、本実施の形態によれば、歩行者検出のための識別用特徴量の導出方法を提供することもできる。
【００６９】
また、本実施の形態では、対象物を歩行者としたが、輝度勾配を用いる検出装置であれば、車両など他の物体であってもよい。
【００７０】
なお、本実施の形態の対象物検出装置により実行される対象物検出方法および識別用特徴量の導出方法を、プログラムとして提供することもできる。このようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-ROM）などの光学媒体や、メモリカードなどのコンピュータ読取り可能な一時的でない（non-transitory）記録媒体にて記録させて提供することができる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００７１】
なお、本発明にかかるプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
【００７２】
また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。
【００７３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７４】
１  対象物検出装置、１１  ＣＰＵ、１４  ハードディスク、１５  操作部、１６  表示部、１７  ドライブ装置、１７ａ  記録媒体、１８  通信Ｉ／Ｆ、１９  画像入力部、１１０  画像記憶部、１２０  変換部、１２２  色情報抽出部、１２４  輝度勾配抽出部、１２６  勾配強度抽出部、１３０  生成部、１４０  設定部、１５０  算出部、１６０  識別部、１６２  正規化部、１６４  判別処理部、１７０  判定部、１８０  出力部。
【図１】
2015056004.tif 000003
【図２】
2015056004.tif 000004
【図３】
2015056004.tif 000005
【図４】
2015056004.tif 000006
【図５】
2015056004.tif 000007
【図６】
2015056004.tif 000008
【図７】
2015056004.tif 000009
【図８】
2015056004.tif 000010