(57)【要約】【課題】精度良く対象物を検出する。【解決手段】ウインドウ画像抽出部２２によって、入力された画像からウインドウ画像を抽出する。部分領域特徴量算出部２８によって、前記ウインドウ画像抽出部２２により抽出されたウインドウ画像内の複数の部分領域であって、前記部分領域の大きさ及び形状が異なるように各部分領域毎に大きさ及び形状が予め定められた前記複数の部分領域から部分領域特徴量を抽出する。そして、画像特徴量抽出部３２によって、前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分を、前記抽出された前記部分領域特徴量から抽出する。そして、対象物識別部３８によって、前記画像特徴量抽出部３２によって抽出された前記複数の部分領域の各々の主成分及び予め学習された識別モデルに基づいて、前記ウインドウ画像が対象物を表す画像であるか否かを識別する。【選択図】図１
2014016710.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、
前記ウインドウ画像抽出手段により抽出されたウインドウ画像内の複数の部分領域であって、前記部分領域の大きさ及び形状が異なるように各部分領域毎に大きさ及び形状が予め定められた前記複数の部分領域から部分領域特徴量を抽出する部分領域特徴量抽出手段と、
前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分を、前記抽出された前記部分領域特徴量から抽出する画像特徴量抽出手段と、
前記画像特徴量抽出手段によって抽出された前記複数の部分領域の各々の主成分及び予め学習された識別モデルに基づいて、前記ウインドウ画像が対象物を表す画像であるか否かを識別する識別手段と、
を含む対象物検出装置。
【請求項２】
識別に用いる、前記主成分のうちの上位成分の数を部分領域毎に予め決定し、
前記識別手段は、前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分であって、前記部分領域について決定した数の上位成分を、前記抽出された前記部分領域特徴量から抽出する請求項１記載の対象物検出装置。
【請求項３】
前記部分領域特徴量抽出手段は、前記部分領域の各画素について勾配方向及び勾配強度を算出し、前記部分領域について、各画素の勾配方向及び勾配強度に基づいて、異なる勾配方向の各々に対して勾配強度を投票した値を要素とする勾配方向ヒストグラムを、前記部分領域特徴量として抽出する請求項１又は２記載の対象物検出装置。
【請求項４】
前記ウインドウ画像は、前記部分領域よりも小さい最小領域に分割され、
前記部分領域の各々は、少なくとも１つの前記最小領域を一体化して構成され、前記複数の部分領域は、前記最小領域の個数が異なる請求項１〜請求項３の何れか１項記載の対象物検出装置。
【請求項５】
前記部分領域特徴量抽出手段は、前記複数の部分領域の各々から部分領域特徴量を抽出すると共に、前記ウインドウ画像の全体領域から全体領域特徴量を抽出し、
前記画像特徴量抽出手段は、前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分を前記抽出された前記部分領域特徴量から抽出すると共に、前記全体領域について、前記全体領域の全体領域特徴量に対して予め行った主成分分析の結果に基づく主成分を前記抽出された前記全体領域特徴量から抽出し、
前記識別手段は、前記画像特徴量抽出手段によって抽出された前記複数の部分領域の各々の主成分及び前記全体領域の主成分並びに予め学習された識別モデルに基づいて、前記ウインドウ画像が対象物を表す画像であるか否かを識別する請求項１〜請求項４の何れか１項記載の対象物検出装置。
【請求項６】
コンピュータを、
入力された画像からウインドウ画像を抽出するウインドウ画像抽出手段、
前記ウインドウ画像抽出手段により抽出されたウインドウ画像内の複数の部分領域であって、前記部分領域の大きさ及び形状が異なるように各部分領域毎に大きさ及び形状が予め定められた前記複数の部分領域から部分領域特徴量を抽出する部分領域特徴量抽出手段、
前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分を、前記抽出された前記部分領域特徴量から抽出する画像特徴量抽出手段、及び
前記画像特徴量抽出手段によって抽出された前記複数の部分領域の各々の主成分及び予め学習された識別モデルに基づいて、前記ウインドウ画像が対象物を表す画像であるか否かを識別する識別手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物検出装置及びプログラムに係り、特に、撮像した画像から対象物を検出するための対象物検出装置及びプログラムに関する。
【背景技術】
【０００２】
近年、車載カメラで撮像した車両周辺の映像を画像処理し、歩行者などの対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。
【０００３】
対象物を検出する方法の一つとして、入力画像を格子状の部分領域に分割し、各部分領域の特徴量について部分領域毎に主成分分析を行い、対象物を含む画像であるか否かを識別する画像認識システムが提案されている（例えば、特許文献１)。
【０００４】
また、対象物を検出するための特徴量について、画像内の格子状に分割された部分特徴と全体特徴の少なくとも１つを用いて、対象物を検出するカテゴリー識別装置が提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３２３６２２号公報
【特許文献２】特開２００８−２３４６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１及び特許文献２に記載の技術は、部分領域が一律に格子状に分割されているため、対象物の特徴が、格子状の部分領域でなく様々な領域範囲に表れている場合に対象物特有の特徴量を抽出することが出来ない、という問題がある。
【０００７】
本発明は、上述した問題を解決するために成されたものであり、精度良く対象物を検出することができる対象物検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の対象物検出装置は、入力された画像からウインドウ画像を抽出するウインドウ画像抽出手段と、前記ウインドウ画像抽出手段により抽出されたウインドウ画像内の複数の部分領域であって、前記部分領域の大きさ及び形状が異なるように各部分領域毎に大きさ及び形状が予め定められた前記複数の部分領域から部分領域特徴量を抽出する部分領域特徴量抽出手段と、前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分を、前記抽出された前記部分領域特徴量から抽出する画像特徴量抽出手段と、前記画像特徴量抽出手段によって抽出された前記複数の部分領域の各々の主成分及び予め学習された識別モデルに基づいて、前記ウインドウ画像が対象物を表す画像であるか否かを識別する識別手段と、を含んで構成されている。
【０００９】
本発明のプログラムは、コンピュータを、入力された画像からウインドウ画像を抽出するウインドウ画像抽出手段、前記ウインドウ画像抽出手段により抽出されたウインドウ画像内の複数の部分領域であって、前記部分領域の大きさ及び形状が異なるように各部分領域毎に大きさ及び形状が予め定められた前記複数の部分領域から部分領域特徴量を抽出する部分領域特徴量抽出手段、前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分を、前記抽出された前記部分領域特徴量から抽出する画像特徴量抽出手段、及び前記画像特徴量抽出手段によって抽出された前記複数の部分領域の各々の主成分及び予め学習された識別モデルに基づいて、前記ウインドウ画像が対象物を表す画像であるか否かを識別する識別手段、として機能させるためのプログラムである。
【００１０】
本発明によれば、ウインドウ画像抽出手段によって、入力された画像からウインドウ画像を抽出する。部分領域特徴量抽出手段によって、前記ウインドウ画像抽出手段により抽出されたウインドウ画像内の複数の部分領域であって、前記部分領域の大きさ及び形状が異なるように各部分領域毎に大きさ及び形状が予め定められた前記複数の部分領域から部分領域特徴量を抽出する。
【００１１】
そして、画像特徴量抽出手段によって、前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分を、前記抽出された前記部分領域特徴量から抽出する。
【００１２】
そして、識別手段によって、前記画像特徴量抽出手段によって抽出された前記複数の部分領域の各々の主成分及び予め学習された識別モデルに基づいて、前記ウインドウ画像が対象物を表す画像であるか否かを識別する。
【００１３】
このように、部分領域毎に大きさ及び形状が予め定められた複数の部分領域を設定し、予め行った主成分分析結果に基づく主成分に基づいて、ウインドウ画像の特徴量を抽出することにより、精度良く対象物を検出することができる。
【００１４】
本発明は、識別に用いる前記主成分のうちの上位成分の数を部分領域毎に予め決定し、かつ本発明に係る識別手段は、前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分であって、前記部分領域について決定した数の上位成分を、前記抽出された前記部分領域特徴量から抽出するようにすることができる。
【００１５】
本発明に係る部分領域特徴量抽出手段は、前記部分領域の各画素について勾配方向及び勾配強度を算出し、前記部分領域について、各画素の勾配方向及び勾配強度に基づいて、異なる勾配方向の各々に対して勾配強度を投票した値を要素とする勾配方向ヒストグラムを、前記部分領域特徴量として抽出するようにすることができる。
【００１６】
本発明に係るウインドウ画像は、前記部分領域よりも小さい最小領域に分割され、前記部分領域の各々は、少なくとも１つの前記最小領域を一体化して構成され、前記複数の部分領域は、前記最小領域の個数が異なるようにすることができる。
【００１７】
本発明に係る部分領域特徴量抽出手段は、前記複数の部分領域の各々から部分領域特徴量を抽出すると共に、前記ウインドウ画像の全体領域から全体領域特徴量を抽出し、前記画像特徴量抽出手段は、前記複数の部分領域の各々について、前記部分領域の部分領域特徴量に対して予め行った主成分分析の結果に基づく主成分を前記抽出された前記部分領域特徴量から抽出すると共に、前記全体領域について、前記全体領域の全体領域特徴量に対して予め行った主成分分析の結果に基づく主成分を前記抽出された前記全体領域特徴量から抽出し、前記識別手段は、前記画像特徴量抽出手段によって抽出された前記複数の部分領域の各々の主成分及び前記全体領域の主成分並びに予め学習された識別モデルに基づいて、前記ウインドウ画像が対象物を表す画像であるか否かを識別するようにすることができる。
【００１８】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００１９】
以上説明したように、本発明によれば、部分領域毎に大きさ及び形状が予め定められた複数の部分領域を設定し、予め行った主成分分析結果に基づく主成分に基づいて、ウインドウ画像の特徴量を抽出することにより、精度良く対象物を検出することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態に係る歩行者検出装置の構成を示すブロック図である。
【図２】部分領域を構成するブロック及び部分領域毎の主成分数について説明するための図である。
【図３】最小領域からＨＯＧ特徴量を抽出する方法を説明するための図である。
【図４】部分領域毎に抽出された主成分を結合して画像全体の特徴量とすることを説明するための図である。
【図５】本発明の実施の形態に係る主成分解析部を示すブロック図である。
【図６】学習用歩行者画像から部分領域に対応する特徴量に主成分分析を行う方法を説明するための図である。
【図７】本発明の実施の形態に係る歩行者検出装置内の特徴量最適化部を示すブロック図である。
【図８】本発明の実施の形態の歩行者検出装置における歩行者検出特徴量最適化処理ルーチンの内容を示すフローチャートである。
【図９】本発明の実施の形態の歩行者検出装置における歩行者検出処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、歩行者を検出する歩行者検出装置に本発明を適用した場合について説明する。
【００２２】
＜歩行者識別部＞
図１に示すように、本発明の形態に係る歩行者検出装置１０は、自車両の前方における識別対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて歩行者を検出する歩行者検出処理ルーチン及び歩行者を検出するための特徴量を最適化する歩行者検出最適化処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８と、を備えている。
【００２３】
撮像装置１２は、自車両の前方における識別対象領域を含む範囲を連続して撮像し、複数の画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、用いる画像はカラーでもモノクロでも良いし、可視光画像でも近赤画像でもよい。
【００２４】
コンピュータ１６は、歩行者検出装置１０全体の制御を司るＣＰＵ、後述する歩行者検出処理ルーチン及び歩行者検出特徴量最適化処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００２５】
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で連続して撮像されコンピュータ１６へ入力された複数の撮像画像を取得する画像取得部２０と、取得した撮像画像から所定領域のウインドウ画像を抽出するウインドウ画像抽出部２２と、ウインドウ画像内の最小領域から特徴量を抽出する最小領域特徴量抽出部２４と、ウインドウ画像について部分領域を設定する部分領域設定部２６と、部分領域特徴量を算出する部分領域特徴量算出部２８と、全体領域特徴量を算出する全体領域特徴量算出部３０と、ウインドウ画像についての画像特徴量を抽出する画像特徴量抽出部３２と、後述する最適化された部分領域及び部分領域毎に決定された主成分数の主成分分析結果を記憶する最適化結果記憶部３４と、学習された識別モデルを記憶する識別モデル記憶部３６と、ウインドウ画像について抽出された画像特徴量と識別モデルに基づいて、ウインドウ画像が検出対象の歩行者を表す画像であるか否かを識別する対象物識別部３８と、を含んだ構成で表すことができる。
【００２６】
ウインドウ画像抽出部２２は、撮像画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら画像を切り取る。ここでは、切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは様々なサイズの歩行者を検出するために複数種設定されており、ウインドウ画像抽出部２２は、設定されている全てのウインドウサイズの探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部２２は、抽出したウインドウ画像を予め設定された画素数の画像に変換する。
【００２７】
最小領域特徴量抽出部２４は、ウインドウ画像内の最小領域から特徴量を抽出する。例えば図２に示すように、ウインドウ画像を格子状に分割して複数のブロックとした場合には、１つのブロックを最小領域とし、当該最小領域から特徴量を抽出する。
【００２８】
ここでは、図３に示すように、最小領域特徴量としてＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）を用いた場合を説明する。
【００２９】
最小領域特徴量抽出部２４は、最小領域であるブロック内のセルの各々について、図３に示すように、各画素の勾配強度及び勾配方向を算出する。
【００３０】
勾配強度ｍは、下記（１）式に従って算出される。
【００３１】
【数１】
2014016710.tif 000003
【００３２】
ただし、ｍ（ｘ,ｙ）は画像座標（ｘ,ｙ）での勾配強度を表わし、Ｉ（ｘ，ｙ）は、画像座標（ｘ,ｙ）の輝度値を表わす。
【００３３】
勾配方向θは、以下の（２）式に従って算出される。
【００３４】
【数２】
2014016710.tif 000004
【００３５】
ただし、θ（ｘ,ｙ）は、画素座標（ｘ,ｙ）での勾配の方向を表わす。
【００３６】
最小領域特徴量抽出部２４は、セル内の各画素の勾配強度及び勾配方向に基づいて、図３に示すように、当該セルに対する各勾配方向のヒストグラム（以下、勾配ヒストグラムと称する。）を算出する。具体的には、勾配方向は０〜３６０度の範囲をＮ度ずつに分割する。例えば、０〜３６０度の範囲で４５度ずつに分割して、８方向のヒストグラムを算出する。なお、ヒストグラムの投票時には、各画素の持つ勾配方向に対応したヒストグラム方向に、当該画素が持つ勾配強度で投票することによって、勾配ヒストグラムを算出する。
【００３７】
そして、ブロック内の各セルのエッジ勾配ヒストグラムを結合してブロックの特徴量が生成される。例えば、図３に示すように、ブロックが４ｘ４画素からなるセルを２ｘ２で配列して構成されている場合には、各セルのエッジ勾配ヒストグラムを算出した後に、それらを結合したものがブロックの特徴量となる。部分領域が１つのブロックで構成されている場合には、当該ブロックの特徴量が部分領域の特徴量となる。また、部分領域が複数のブロックで構成される場合には、各ブロックの特徴量を結合したものが部分領域の特徴量となる。なお、１つのセルを最小領域とすることも可能である。
【００３８】
部分領域設定部２６は、ウインドウ画像に対して複数の部分領域を設定する。例えば図２に示すように、最小領域であるブロックを組み合わせて部分領域とする。各ブロックは、例えば、４×４画素からなるセルを２×２で配列して構成することができる。部分領域については、図２に示すように、例えば最大４個のブロックを縦横に関わらず一体化して、部分領域とすることができる。また、部分領域が重複しても問題はない。ただし、ウインドウ画像全体を網羅するように複数の部分領域を設定するのが望ましい。例えば、ウインドウ画像が、縦７個、横４個の最小部分領域の場合、最大４個のブロックを縦横にかかわらず一体化して部分領域とする。この場合、ブロックの縦横の数が１×２、２×１、１×３、３×１、１×４、４×１、２×２のいずれかである長方形の領域を、部分領域とする。
【００３９】
なお、歩行者識別部における上述の部分領域設定では、後述する特徴量最適化部２００の最適化結果記憶部３４から、最適化された部分領域設定を読み込んで、各部分領域の大きさ及び形状が異なるように最適化された複数の部分領域の組み合わせを設定する。ここで、各部分領域の大きさ及び形状が異なるとは、全ての部分領域において大きさ及び形状が異なる必要はなく、大きさ及び形状が同一の部分領域が存在してもよい。
【００４０】
部分領域特徴量算出部２８は、部分領域設定部２６で設定された部分領域毎に、当該部分領域に含まれる最小領域について最小領域特徴量抽出部２４で抽出された最小領域特徴量を結合し、部分領域特徴量として算出する。
【００４１】
全体領域特徴量算出部３０は、全体特徴量は、最小領域特徴量抽出部２４で抽出された最小領域特徴量を全体領域（ウインドウ画像全体）で結合し、全体領域特徴量として算出する。
【００４２】
画像特徴量抽出部３２は、部分領域特徴量算出部２８で抽出された部分領域特徴量から、部分領域毎の主成分分析結果及び部分領域毎に最適化された主成分数に基づいて、部分領域毎に、最適化された主成分数の主成分を抽出する。また、併せて全体領域特徴量算出部３０で抽出された全体領域特徴量から、全体領域の主成分分析結果及び全体領域について最適化された主成分数に基づいて、最適化された主成分数の主成分を抽出する。そして、抽出された全ての主成分を結合し、画像特徴量として抽出する。
【００４３】
例えば、図４に示すように部分領域毎に抽出された主成分を結合する。図４（ａ）に示すブロックの縦横の数が３×１で構成される部分領域については、抽出する主成分数が３であるため、部分領域から抽出される主成分数は３となる。そして、図４（ｂ）に示すブロックの縦横の数が２×１で構成される部分領域については、抽出する主成分数が８であるため、部分領域から抽出される主成分数は８となる。同様に、図４（ｃ）に示すブロックの縦横の数が２×２で構成される部分領域については、抽出する主成分数が１０であるため部分領域から抽出される主成分数は１０となり、図４（ｄ）に示すブロックの縦横の数が１×４で構成される部分領域については、抽出する主成分数が１５であるため部分領域から抽出される主成分数は１５となる。また、併せて全体領域の主成分も抽出する。
そして、全体領域及び部分領域毎に抽出された主成分を結合して、ウインドウ画像全体の特徴量とする。
【００４４】
識別モデル記憶部３６は、後述する特徴量最適化部２００を構成する識別モデル記憶部３６と同一であり、学習された識別モデルが記憶されている。
【００４５】
対象物識別部３８は、識別モデル記憶部３６に記憶されている識別モデルと、画像特徴量抽出部３２によって抽出された画像特徴量に基づいて、ウインドウ画像が対象物である歩行者を表す画像であるか否かを識別する。また、対象物識別部３８は、識別結果を撮像画像に重畳して表示するよう、表示装置１８を制御する。
【００４６】
＜主成分分析解析部＞
ここで、図５を示して、全体領域及び部分領域毎に用いられる主成分を分析する方法について説明する。
【００４７】
図５に示すように、主成分分析解析部１００は、予め歩行者が撮影された対象物の学習用画像（以下、単に学習用歩行者画像という。）が記憶された学習用歩行者画像記憶部１０２と、図１に示す最小領域特徴量抽出部２４と同等の機能を有する主成分分析用最小領域特徴量抽出部１０４と、学習用歩行者画像に対して部分領域を設定する主成分分析用部分領域設定部１０６と、図１に示す部分領域特徴量算出部２８と同等の機能を有する主成分分析用部分領域特徴量算出部１０８と、図１に示す全体領域特徴量算出部３０と同等の機能を有する主成分分析用全体領域特徴量算出部１１０と、主成分分析用部分領域特徴量算出部１０８で算出された部分領域特徴量に対して主成分分析を行うと共に、主成分分析用全体領域特徴量算出部１１０で算出された全体領域特徴量に対して主成分分析を行う主成分分析部１１２と、主成分分析の結果を記憶する主成分分析結果記憶部２１４と、を含んだ構成で表すことができる。
【００４８】
学習用歩行者画像記憶部１０２は、学習用歩行者画像のみが所定枚数記憶されている。なお、記憶されている学習用歩行者画像の画像サイズは、ウインドウ画像と同じサイズに変換されている。
【００４９】
主成分分析用最小領域特徴量抽出部１０４は、図１に示す最小領域特徴量抽出部２４と同等の機能を有し、最小領域からＨＯＧ特徴量を抽出する。
【００５０】
主成分分析用部分領域設定部１０６は、学習用歩行者画像に対して、予め定められた、設定可能な部分領域の各々を設定する。
【００５１】
主成分分析用部分領域特徴量算出部１０８は、図１に示す部分領域特徴量算出部２８と同等の機能を有し、主成分分析用最小領域特徴量抽出部１０４で抽出された最小領域特徴量を、主成分分析用部分領域設定部１０６で設定された部分領域毎に結合し、部分領域特徴量として算出する。
【００５２】
主成分分析用全体領域特徴量算出部１１０は、図１に示す全体領域特徴量算出部３０と同等の機能を有し、主成分分析用最小領域特徴量抽出部１０４で抽出された最小領域特徴量を全体領域（ウインドウ画像全体）で結合し、全体領域特徴量として算出する。
【００５３】
主成分分析部１１２は、部分領域毎に、複数の学習用歩行者画像について主成分分析用部分領域特徴量算出部１０８で算出された当該部分領域の部分領域特徴量に対して主成分分析を行うと共に、複数の学習用歩行者画像について主成分分析用全体領域特徴量算出部１１０で算出された全体領域特徴量に対して主成分分析を行う。ここで主成分分析は、学習用歩行者画像についてのみ行う。具体的には、図６に示すように、全ての学習用歩行者画像について、対応する部分領域のＨＯＧ特徴量について主成分分析を行う。例えば、学習用歩行者画像１〜Ｎについて、学習用歩行者画像中のｉ番目の部分領域特徴量の主成分分析を行う。これを設定可能な全ての部分領域について行う。また、全体領域については、全体領域特徴量に対して主成分分析を行う。
【００５４】
主成分分析結果記憶部２１４は、主成分分析部１１２で得られた全体領域及び設定可能な部分領域に対応する主成分分析結果を全て記憶する。
【００５５】
＜特徴量最適化部＞
次に、図７を示して、全体領域及び部分領域毎に用いる主成分数、並びに部分領域の組み合わせパターンを最適化する方法について説明する。
【００５６】
特徴量最適化部２００は、学習用画像が所定枚数記憶されている学習用画像記憶部２０２と、ウインドウ画像内の最小領域から特徴量を抽出する最適化用最小領域特徴量抽出部２０４と、学習用画像について部分領域を設定する最適化用部分領域設定部２０６と、最適化用部分領域設定部２０６により設定された部分領域毎に、最適化用最小領域特徴量抽出部２０４で抽出された最小領域特徴量を結合して、部分領域特徴量として算出する最適化用部分領域特徴量算出部２０８と、最適化用最小領域特徴量抽出部２０４で抽出された最小領域特徴量を全体領域で結合して、全体領域特徴量として算出する最適化用全体領域特徴量算出部２１０と、主成分数を全体領域及び部分領域毎に設定する主成分数設定部２１１と、最適化用部分領域特徴量算出部２０８により抽出された部分領域特徴量、最適化用全体領域特徴量算出部２１０により抽出された全体領域特徴量、主成分数設定部２１１によって設定された主成分数及び主成分分析結果記憶部２１４に記憶されている主成分分析結果に基づいて画像特徴量を抽出する最適化用画像特徴量抽出部２１２と、後述する部分領域毎に行われる主成分分析の結果を記憶する主成分分析結果記憶部２１４と、最適化用画像特徴量抽出部２１２で抽出された画像特徴量に基づいて、テスト用画像を識別するための識別モデルを学習する識別モデル学習部２１６と、特徴量抽出部２２０で抽出されたテスト用画像の特徴量に基づいてテスト用画像記憶部２２２に記憶されているテスト用画像を識別する最適化用対象物識別部２１８と、最適化用部分領域設定部２０６、最適化用部分領域特徴量算出部２０８、最適化用全体領域特徴量算出部２１０、主成分数設定部２１１及び最適化用画像特徴量抽出部２１２を合わせた機能と同等の機能を有する特徴量抽出部２２０と、テスト用画像が所定枚数記憶されているテスト用画像記憶部２２２と、識別モデル学習部２１６で学習された識別モデルと、予めテスト用画像に付与されている検出対象の歩行者を表す画像であるか否かを示すラベルに基づいて、テスト用画像が正しく識別されたか否かの識別結果を判定すると共に、正解率を算出する識別結果判定部２２４と、識別結果判定部２２４の結果に基づいて部分領域を変更する部分領域変更部２２６と、識別結果判定部２２４の結果に基づいて主成分数を変更する主成分数変更部２２８と、識別結果判定部２２４の結果に基づいて、最も正解率が高かった部分領域及び部分領域毎に決定された主成分数の主成分分析結果を記憶する最適化結果記憶部３４と、学習された識別モデルを記憶する識別モデル記憶部３６と、を含んだ構成で表すことができる。
【００５７】
学習用画像記憶部２０２には、学習用歩行者画像、及び歩行者以外が撮影された非対象物の学習用画像（以下、単に学習用非歩行者画像という。）が所定枚数（例えば、各１０００枚）記憶されている（以下、学習用歩行者画像及び学習用非歩行者画像を合わせて単に学習用画像という。）。また、全体領域及び部分領域毎に用いる主成分数、並びに部分領域の組み合わせパターンは、検出したい対象物、状況やその画像の質（解像度、ぼけ方など）に依存するので、そのような検出したい学習用画像を大量に用意する。なお、記憶されている学習用画像の画像サイズは、ウインドウ画像と同じサイズである。
【００５８】
最適化用最小領域特徴量抽出部２０４は、図１に示す最小領域特徴量抽出部２４と同等の機能を有し、学習用画像内の各最小領域から特徴量を抽出する。
【００５９】
最適化用部分領域設定部２０６は、図１に示す部分領域設定部２６と同等の機能を有し、学習用画像に対して複数の部分領域を設定する。
【００６０】
最適化用部分領域特徴量算出部２０８は、図１に示す部分領域特徴量算出部２８と同等の機能を有し、最適化用部分領域設定部２０６で設定された部分領域毎に、最小領域特徴量抽出部２４で抽出された最小領域特徴量を結合し、部分領域特徴量として算出する。
【００６１】
最適化用全体領域特徴量算出部２１０は、図１に示す全体領域特徴量算出部３０と同等の機能を有し、最小領域特徴量抽出部２４で抽出された最小領域特徴量を全体領域で結合し、全体領域特徴量として算出する。
【００６２】
主成分数設定部２１１は、全体領域及び部分領域毎に用いる主成分数を設定する。
【００６３】
最適化用画像特徴量抽出部２１２は、図１に示す画像特徴量抽出部３２と同等の機能を有し、最適化用部分領域特徴量算出部２０８で算出された部分領域毎の部分領域特徴量、最適化用全体領域特徴量算出部２１０で算出された全体領域特徴量、主成分分析結果記憶部２１４に記憶されている全体領域及び部分領域毎の主成分分析結果、及び主成分数設定部２１１によって設定された全体領域及び部分領域毎の主成分数に基づいて、全体領域及び部分領域毎の主成分数の主成分を抽出し、学習用画像全体の特徴量を算出する。
【００６４】
主成分分析結果記憶部２１４は、主成分分析解析部１００で解析された、全体領域及び設定可能な全ての部分領域に対応する特徴量についての主成分分析結果が記憶されている。
【００６５】
したがって、図７に示す最適化用画像特徴量抽出部２１２は、主成分分析結果記憶部２１４に記憶されている全体領域及び設定可能な全ての部分領域に対応する主成分分析結果から、主成分数設定部２１１によって設定された主成分数の主成分分析結果を用いて、学習用画像の特徴量を抽出する。
【００６６】
識別モデル学習部２１６は、最適化用画像特徴量抽出部２１２により抽出された画像特徴量に基づいて、識別モデルを学習する。ここでは、識別モデルとしてＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を適用した場合について説明する。
【００６７】
最適化用対象物識別部２１８は、テスト用画像記憶部２２２に記憶されているテスト用画像から、特徴量抽出部２２０によって抽出されたテスト用画像の特徴量と、識別モデル学習部２１６によって学習された識別モデルに基づいて、テスト用画像が歩行者を表す画像であるか否かを識別する。
【００６８】
特徴量抽出部２２０は、最適化用最小領域特徴量抽出部２０４、最適化用部分領域設定部２０６、最適化用部分領域特徴量算出部２０８、最適化用全体領域特徴量算出部２１０、主成分数設定部２１１及び最適化用画像特徴量抽出部２１２を合わせた機能を有しており、テスト用画像から画像特徴量を抽出する。
【００６９】
テスト用画像記憶部２２２は、予め歩行者が撮影された対象物のテスト用画像、及び歩行者以外が撮影された非対象物のテスト用画像が所定枚数（例えば、各１０００枚）記憶されている。
【００７０】
識別結果判定部２２４は、最適化用対象物識別部２１８により識別された予め歩行者が写っていたか否かのラベルに基づいて、最適化用対象物識別部２１８で識別された画像の識別結果が、正しかったか否かの結果を集計し、正解率を算出する。
【００７１】
部分領域変更部２２６は、複数の部分領域の組み合わせパターンを変更する。部分領域変更部２２６は、全てのパターンについて終了するまで、複数の部分領域の組み合わせパターンを変更する。
【００７２】
主成分数変更部２２８は、全体領域及び部分領域の組み合わせパターンに対して、全体領域及び部分領域毎の主成分数の組み合わせパターンを変更する。主成分数変更部２２８は、全てのパターンについて終了するまで、主成分数の組み合わせパターンを変更する。例えば、全体領域及び部分領域毎に用いる主成分の数を、全ての可能な個数の間で変えていって、主成分数の組み合わせパターンを変更する。ここで全ての可能な個数の間とは、すなわち０から取りうる最大成分数の間である。
【００７３】
なお、上記では部分領域と全体領域の主成分数の最適化処理は合わせて行っているが、別々に行っても良い。
【００７４】
最適化結果記憶部３４は、上記の識別結果判定部２２４で算出される正解率が最も良くなる部分領域の組み合わせパターンと全体領域及び部分領域毎の主成分数の組み合わせパターンを記憶する。識別モデル記憶部３６は、設定された部分領域の組み合わせパターン並びに全体領域及び部分領域毎の主成分数の組み合わせパターンに対応させて、それぞれ記憶する。
【００７５】
このように、画像内の全体領域及び部分領域毎に用いる主成分数、並びに部分領域の組み合わせパターンを最適化することで、対象物の形状や部分などが考慮された全体領域及び部分領域毎に用いる主成分数、並びに部分領域の組み合わせパターンが生成されることにより、精度良く対象物を検出できる。
【００７６】
なお、上記では、学習用画像記憶部２０２、識別モデル記憶部３６、テスト用画像記憶部２２２、最適化結果記憶部３４、学習用歩行者画像記憶部１０２、及び主成分分析結果記憶部２１４をコンピュータ１６に設ける場合について説明したが、他の外部装置の記憶手段に識別モデルを記憶しておき、ネットワークや通信手段を介して他の外部装置に接続して、他の外部装置の記憶手段に記憶された識別モデルを読み込むような構成としてもよい。
【００７７】
次に、図８を参照して、本発明の実施の形態の歩行者検出装置１０のコンピュータ１６で実行される歩行者検出特徴量最適化処理ルーチンについて説明する。
【００７８】
ステップＳ１００で、学習用画像記憶部２０２に記憶されている全ての学習用画像を読み込む。そして、ステップＳ１０１で、テスト用画像記憶部２２２に記憶されている全てのテスト用画像を読み込む。なお、学習用画像及びテスト用画像はウインドウ画像と同サイズである。
【００７９】
次にステップＳ１０２で、全学習用画像について、学習用画像内の最小領域である各ブロックから特徴量を抽出する。
【００８０】
そして、ステップＳ１０４で、全学習用画像について、上記ステップＳ１０２で抽出した最小領域特徴量を、ウインドウ画像全体で結合し、全体領域特徴量として算出する。
【００８１】
次にステップＳ１０６で、全学習用画像について、学習用画像に複数の部分領域を設定する。
【００８２】
そして、ステップＳ１０８で、全学習用画像について、上記ステップＳ１０６で設定された学習用画像の部分領域毎に、上記ステップＳ１０２で抽出された最小領域特徴量を結合し、部分領域特徴量として算出する。
【００８３】
ステップＳ１１０で、全学習用画像について、全体領域及び各部分領域毎に用いる上位ｎｉ個の主成分数を設定する。ここで、ｉはｉ番目の領域を示す添字である。
【００８４】
ステップＳ１１２で、全学習用画像について、全体領域及び各部分領域に対応する主成分分析結果を用いて、全体領域及び各部分領域の上位ｎｉ個の主成分を領域毎に抽出し、領域毎の上位ｎｉ個の主成分を結合し学習用画像全体の画像特徴量を抽出する。  
【００８５】
次にステップＳ１１４で、上記ステップＳ１１２で抽出された全学習用画像の画像特徴量、及び各学習用画像が歩行者画像であるか否かを用いて、識別モデルを学習し、学習が終了した場合には、識別モデルを識別モデル記憶部３６へ記憶する。識別モデルは、設定された部分領域の組み合わせパターン並びに全体領域及び部分領域毎の主成分数の組み合わせパターンに対応させて、それぞれ記憶する。
【００８６】
ステップＳ１１６で、全テスト用画像について、テスト用画像の最小領域である各ブロックから特徴量を抽出する。
【００８７】
ステップＳ１１８で、全テスト用画像について、テスト用画像に複数の部分領域を設定する。この部分領域は、上記ステップＳ１０２で学習用画像に設定した部分領域と同一である。
【００８８】
ステップＳ１２０で、全テスト用画像について、上記ステップＳ１１８で設定されたテスト用画像の部分領域毎に上記ステップＳ１１６で抽出された最小領域特徴量を結合し、部分領域特徴量として算出する。
【００８９】
次にステップＳ１２２で、全テスト用画像について、上記ステップＳ１１６で抽出された最小領域特徴量を全体領域で結合し、全体領域特徴量として算出する。
【００９０】
次にステップＳ１２４で、全テスト用画像について、全体領域及び各部分領域に対応する主成分分析結果を用いて、全体領域及び各部分領域の上位ｎｉ個の主成分を全体領域特徴量及び部分領域特徴量から領域毎に抽出し、テスト用画像全体の画像特徴量を抽出する。ここで用いる全体領域及び各部分領域の主成分数ｎｉは、上記ステップＳ１０８で用いた領域毎の上位ｎｉ個と同一である。
【００９１】
次にステップＳ１２６で、全テスト用画像について、上記ステップＳ１１６で抽出された画像特徴量と、識別モデルを用いて、テスト用画像を識別する。
【００９２】
次にステップＳ１２８で、全テスト用画像についての識別結果と歩行者画像であるか否かの情報とに基づいて、正解率を算出し、部分領域の組み合わせパターン及び全体領域及び部分領域毎に対応する主成分数の組み合わせパターンと共に記憶領域（図示省略）に記録する。
【００９３】
ステップＳ１３０で、現在の部分領域の組み合わせパターンにおいて、全体領域及び部分領域毎の主成分数の組み合わせパターンの全てについて、上記ステップＳ１１０〜１２８の処理が終了したか否かを判定し、終了していない場合には上記ステップＳ１１０へ戻り、全体領域及び各部分領域に用いる主成分数の組み合わせパターンを変更し設定する。終了している場合には、ステップＳ１３２へ移行する。
【００９４】
ステップＳ１３２は、部分領域の組み合わせパターンの全てについて上記ステップＳ１０６〜ステップＳ１３０が終了したか否かを判定し、終了していない場合にはステップＳ１０６へ戻り、部分領域の組み合わせパターンを変更し設定する。終了している場合には、ステップＳ１３４へ移行し、上記ステップＳ１２８で記憶されている正解率に基づいて、最も正解率が良かった部分領域の組み合わせパターン及び領域毎の主成分数の組み合わせパターンを最適化結果記憶部３４へ記録する。また、対応する識別モデルを識別モデル記憶部３６へ記憶する。
【００９５】
次に、図９を参照して、本発明の実施の形態の歩行者検出装置１０のコンピュータ１６で実行される歩行者検出処理ルーチンについて説明する。
【００９６】
ステップＳ２００で、撮像装置１２で撮像された撮像画像を取得し、次にステップＳ２０２で、最適化処理ルーチンで最適化された部分領域の組み合わせパターン、全体領域及び部分領域毎に対応する主成分分析結果、及び各領域に対応する上位ｎｉ個の組み合わせパターンを読み込む。そしてステップＳ２０４で、識別モデル記憶部３６から最適化処理ルーチンで学習された識別モデルを読み込む。
【００９７】
次にステップＳ２０６で、撮像画像に対して探索ウインドウを撮像画像に設定し、設定した探索ウインドウを用いて、撮像画像からウインドウ画像を抽出する。
【００９８】
次に、ステップＳ２０８で、ウインドウ画像内の最小領域である各ブロックから特徴量を抽出する。
【００９９】
次にステップＳ２１０で、上記ステップＳ２０２で読み込まれた最適化された部分領域設定に基づいて、ウインドウ画像に部分領域を設定する。
【０１００】
ステップＳ２１２で、上記ステップＳ２１０で設定されたウインドウ画像の部分領域毎に、上記ステップＳ２０８で抽出した最小領域特徴量を結合し、部分領域特徴量として算出する。
【０１０１】
ステップＳ２１４で、上記ステップＳ２０８で抽出した最小領域特徴量を全体領域で結合し、全体領域特徴量として算出する。
【０１０２】
次に、ステップＳ２１６で、上記ステップＳ２１２で抽出された部分領域特徴量、上記ステップＳ２１４で抽出された全体領域特徴量、及び全体領域及び部分領域毎に対応する主成分分析結果を用いて、全体領域及び部分領域毎の上位ｎｉ個の主成分を領域毎に抽出し、画像全体の画像特徴量を抽出する。
【０１０３】
そして、ステップＳ２１８で、上記ステップＳ２１６で抽出された画像特徴量と、上記ステップＳ２０４で読み込まれた識別モデルに基づいて、ウインドウ画像が歩行者を表す画像であるか否かを識別する。
【０１０４】
ステップＳ２２０は、上記ステップＳ２１８での識別結果に基づき、ウインドウ画像が歩行者を表す画像であるか否かを判定し、歩行者を表す画像である場合には、ステップＳ２２２へ移行し、歩行者領域を記録する。歩行者を表す画像でない場合には、ステップＳ２２４へ移行する。
【０１０５】
そして、ステップＳ２２４では、画像全体についてウインドウ画像の探索が終了したか否かを判断し、終了していない場合には、ステップＳ２０６へ移行し、次のウインドウ画像を抽出する。終了している場合には、ステップＳ２２６へ移行し、識別結果を撮像画像に重畳して表示するよう、表示装置１８に結果を出力する。
【０１０６】
以上説明したように、本発明の実施の形態に係る歩行者検出装置は、部分領域毎に大きさ及び形状が最適化された複数の部分領域を設定し、予め行った主成分分析結果に基づく主成分に対する最適化された主成分数に基づいて、ウインドウ画像の特徴量を抽出することにより、歩行者の形状や部分の重要度などを考慮した遮蔽にロバストな識別が可能となるため、遮蔽物により歩行者の輪郭形状が一部損なわれている場合でも、精度良く歩行者を検出することができる。
【０１０７】
なお、上記の実施の形態において、最小領域特徴量としてＨＯＧ特徴量を用いる場合を例に説明したが、ＬＰＢ法（ＬＢＰ−Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）等、他の手法を用いてもよい。また、識別モデルとしてＳＶＭを用いる場合を例に説明したが、例えば、ブースティング及びニューラルネットワーク等、他の手法を用いてもよい。
【０１０８】
なお、上記の実施の形態において、同等の機能を有するものは、それぞれの部分で共用してもよい。例えば、部分領域設定部２６と、最適化用部分領域設定部２０６については、別々のブロックとして記載したが、同等の機能を有しているため、１つの部分領域設定部を用意し、それぞれの部分で共用してもよい。
【０１０９】
また、上記の実施の形態においては、部分領域特徴量及び全体領域特徴量を算出し識別を行う場合を例に説明したが、部分領域特徴量のみを算出し、識別を行うようにしてもよい。
【０１１０】
また、歩行者検出装置の遮蔽ロバスト性を定量的に評価するために、特徴量最適化部２００において、歩行者画像などに人工的に遮蔽物を付加してテストを行うことにより、領域及び領域に対応する主成分数を最適化するようにすることもできる。ここで、学習用画像に関しては、遮蔽物を付加する場合、付加しない場合、及びこの両方とも用いる場合とで、性能を比較し、最も性能がよくなる条件を採用し、領域及び領域に対応する主成分数を最適化するようにすることができる。
【０１１１】
このように、歩行者画像などに人工的に遮蔽物を付加して、全体領域及び部分領域毎に用いる主成分数、並びに部分領域の組み合わせパターンを最適化することで、歩行者の輪郭形状が一部損なわれている場合でも、精度良く歩行者を検出できる。
【符号の説明】
【０１１２】
１０   歩行者検出装置
２２   ウインドウ画像抽出部
２４   最小領域特徴量抽出部
２６   部分領域設定部
２８   部分領域特徴量算出部
３０   全体領域特徴量算出部
３２   画像特徴量抽出部
３８   対象物識別部
【図１】
2014016710.tif 000005
【図２】
2014016710.tif 000006
【図３】
2014016710.tif 000007
【図４】
2014016710.tif 000008
【図５】
2014016710.tif 000009
【図６】
2014016710.tif 000010
【図７】
2014016710.tif 000011
【図８】
2014016710.tif 000012
【図９】
2014016710.tif 000013