(57)【要約】  識別器生成装置１０は、検出対象について互いに異なるサイズ毎のパターンにより構成される少なくとも２つのパターン群を用いて、各パターン群を構成するパターンの特徴量を抽出する特徴量抽出部１３と、各パターン群を構成するパターンの特徴量に基づいて、各パターン群に対応するサイズの検出対象を画像において検出するための識別器を生成する識別器生成部１４とを備えて構成される。
2013186906.tif 000002
【特許請求の範囲】
【請求項１】
検出対象について互いに異なるサイズ毎のパターンにより構成される少なくとも２つのパターン群を用いて、各パターン群を構成する前記パターンの特徴量を抽出する抽出部と、
前記各パターン群を構成する前記パターンの前記特徴量に基づいて、前記各パターン群に対応するサイズの前記検出対象を画像において検出するための識別器を生成する生成部と、
を備える識別器生成装置。
【請求項２】
前記生成部により生成された前記識別器に基づいて、前記各パターン群に対応するサイズと異なるサイズのパターン群のための識別器を生成する第２生成部をさらに備える、請求項１に記載の識別器生成装置。
【請求項３】
前記第２生成部は、複数の前記各パターン群に対応するサイズの中間サイズのパターン群のための識別器を生成する、請求項２に記載の識別器生成装置。
【請求項４】
前記第２生成部は、前記生成部により生成された前記識別器による前記検出対象の識別基準を修正して識別器を生成する、請求項２または３に記載の識別器生成装置。
【請求項５】
前記第２生成部は、前記検出対象のサイズに基づいて、前記生成部により生成された前記識別器による前記特徴量の判定閾値を修正する、請求項４に記載の識別器生成装置。
【請求項６】
複数の前記各パターン群に対応するサイズが指数倍の関係にある、請求項１〜５のいずれか一項に記載の識別器生成装置。
【請求項７】
前記識別器は、弱識別器を多段に連結した強識別器として構成される、請求項１〜６のいずれか一項に記載の識別器生成装置。
【請求項８】
前記弱識別器は、前記パターンにおける任意の大きさの領域の前記特徴量の合計値を判定するように構成される、請求項７に記載の識別器生成装置。
【請求項９】
前記弱識別器は、前記パターンにおける任意の大きさの領域の前記特徴量の合計値と、前記パターンにおける任意の大きさの他の領域の前記特徴量の合計値との演算結果を判定するように構成される、請求項７に記載の識別器生成装置。
【請求項１０】
前記弱識別器は、前記判定をツリー状に組み合わせて構成される、請求項８または９に記載の識別器生成装置。
【請求項１１】
前記パターンは、前記検出対象のパターンと、前記検出対象のパターンに近接または隣接する検出対象外のパターンとからなり、
前記検出対象のパターンにより構成されるパターン群と前記検出対象外のパターンにより構成されるパターン群に基づいて、前記検出対象の検出に用いる識別器を生成する、請求項１〜１０のいずれか一項に記載の識別器生成装置。
【請求項１２】
前記検出対象のパターンが歩行者パターンである場合、前記検出対象外のパターンが路面パターンである、請求項１１に記載の識別器生成装置。
【請求項１３】
前記検出対象のパターンと前記検出対象外のパターンは、同一の画像から収集されたパターンである、請求項１２に記載の識別器生成装置。
【請求項１４】
請求項１〜１３のいずれか一項に記載の前記識別器生成装置の前記生成部により生成された前記各パターン群のための識別器を用いて、前記各パターン群に対応するサイズの前記検出対象を画像から検出する検出部を備える、パターン検出装置。
【請求項１５】
前記検出部は、前記生成部により生成された前記識別器に基づいて生成された識別器を用いて、前記各パターン群に対応するサイズと異なるサイズの前記検出対象を検出する、請求項１４に記載のパターン検出装置。
【請求項１６】
前記検出部は、複数の前記各パターン群に対応するサイズの中間サイズの前記検出対象を検出する、請求項１５に記載のパターン検出装置。
【請求項１７】
複数の撮像装置により求められる視差を用いて、前記画像において検出される領域との距離を測定し、
測定した前記距離に応じて前記検出対象を検出する範囲を制御する、請求項１４〜１６のいずれか一項に記載のパターン検出装置。
【請求項１８】
前記検出対象が歩行者である、請求項１４〜１７のいずれか一項に記載のパターン検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、識別器生成装置およびパターン検出装置に関する。
【背景技術】
【０００２】
従来、パターン認識により画像に含まれる検出対象を検出するパターン検出装置が知られている。パターン検出装置は、識別器生成装置（パターン学習装置）により生成された識別器を備えている。【０００３】
ところで、パターン検出処理には、画像に含まれる様々なサイズの検出対象、例えば遠方の検出対象と近傍の検出対象を検出することが求められる場合がある。このような場合、典型的な検出処理では、基準サイズの検出対象を検出可能な単一の識別器を複数のサイズの画像に適用して複数のサイズの検出対象が検出されていた。この処理では、検出対象のサイズに合わせて画像を拡縮し、拡縮画像に基準サイズの識別器を適用することにより検出対象が検出される。【０００４】
一方、例えば下記非特許文献１には、前述した検出処理を改良した検出処理が開示されている。この処理でも、単一の識別器を複数のサイズの画像に適用して複数のサイズの検出対象が検出される。しかし、この処理では、一部のサイズの検出対象については、検出対象のサイズに合わせて画像を拡縮し、拡縮画像に基準サイズの識別器を適用することにより検出する一方、残りのサイズの検出対象については、前述した拡縮画像を修正した上で基準サイズの識別器を用いて検出される。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Piotr  Dollar,  Serge  Belongie,  and  Pietro  Perona.  The  Fastest  Pedestrian  Detector  in  the  West.  Proceedings  of  the  British  Machine  Vision  Conference,  pages  68.1-68.11.  BMVA  Press,  September  2010.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述した典型的な検出処理では、画像の拡縮と拡縮画像の特徴量の算定に多くの時間を要するので、検出処理を高速化できない。また、改良した検出処理でも、典型的な検出処理と比べて画像の拡縮と拡縮画像の特徴量の算定に要する時間が短縮されるが、検出処理を十分には高速化できない。【０００７】
そこで、本発明は、パターン検出処理を高速化するための識別器生成装置およびパターン検出装置を提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明の実施形態に係る識別器生成装置は、検出対象について互いに異なるサイズ毎のパターンにより構成される少なくとも２つのパターン群を用いて、各パターン群を構成するパターンの特徴量を抽出する抽出部と、各パターン群を構成するパターンの特徴量に基づいて、各パターン群に対応するサイズの検出対象を画像において検出するための識別器を生成する生成部とを備えて構成される。ここで、複数の各パターン群に対応するサイズは、指数倍の関係にあってもよい。【０００９】
これにより、互いに異なるサイズの検出対象を画像から検出するための少なくとも２つの識別器が生成されるので、互いに異なるサイズの検出対象の検出に際して画像の拡縮が不要となる。よって、パターン検出処理を高速化するための識別器を生成できる。【００１０】
識別器生成装置は、生成部により生成された識別器に基づいて、各パターン群に対応するサイズと異なるサイズ、特に複数の各パターン群に対応するサイズの中間サイズのパターン群のための識別器を生成する第２生成部をさらに備えてもよい。これにより、各パターン群に対応するサイズと異なるサイズのパターン群のための識別器を容易に生成できるので、識別器生成処理を高速化できる。【００１１】
第２生成部は、生成部により生成された識別器による検出対象の識別基準を修正し、特に、検出対象のサイズに基づいて、生成部により生成された識別器による特徴量の判定閾値を修正して識別器を生成してもよい。これにより、生成部により生成された識別器に基づいて識別器を容易に生成できる。【００１２】
識別器は、弱識別器を多段に連結した強識別器として構成されてもよい。そして、弱識別器は、パターンにおける任意の大きさの領域の特徴量の合計値を判定するように構成されてもよい。また、弱識別器は、パターンにおける任意の大きさの領域の特徴量の合計値と、パターンにおける任意の大きさの他の領域の特徴量の合計値との演算結果を判定するように構成されてもよい。これにより、識別能力および識別速度を向上できる。【００１３】
弱識別器は、判定をツリー状に組み合わせて構成されてもよい。これにより、互いに関連する特徴量の判定をツリー状に組み合わせて識別精度を向上できる。【００１４】
パターンは、検出対象のパターンと、検出対象のパターンに近接または隣接する検出対象外のパターンとからなり、検出対象のパターンにより構成されるパターン群と検出対象外のパターンにより構成されるパターン群に基づいて、検出対象の検出に用いる識別器を生成してもよい。ここで、検出対象のパターンが歩行者パターンである場合、検出対象外のパターンが路面パターンであることが好ましい。また、検出対象のパターンと検出対象外のパターンは、同一の画像から収集されたパターンであることが好ましい。これにより、検出対象外のパターンとの関連性を考慮して識別精度を向上できる。【００１５】
本発明の実施形態に係るパターン検出装置は、前述した識別器生成装置の生成部により生成された各パターン群のための識別器を用いて、各パターン群に対応するサイズの検出対象を画像から検出する検出部を備えて構成される。ここで、検出対象は、例えば歩行者である。【００１６】
これにより、互いに異なるサイズの検出対象を画像から検出するために複数の識別器が用いられるので、画像の拡縮が不要となり、パターン検出処理を高速化できる。【００１７】
検出部は、生成部により生成された識別器に基づいて生成された識別器を用いて、各パターン群に対応するサイズと異なるサイズ、特に複数の各パターン群に対応するサイズの中間サイズの検出対象を検出してもよい。これにより、識別器生成に際して、各パターン群に対応するサイズと異なるサイズのパターン群のための識別器を容易に生成できるので、識別器生成処理を高速化できる。【００１８】
パターン検出装置は、複数の撮像装置により求められる視差を用いて、画像において検出される領域との距離を測定し、測定した距離に応じて検出対象を検出する範囲を制御してもよい。これにより、検出対象のサイズと距離の関係を考慮してパターン検出処理を高速化できる。
【発明の効果】
【００１９】
本発明によれば、パターン検出処理を高速化するための識別器生成装置およびパターン検出装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係るパターン検出処理の原理を示す模式図である。
【図２】識別器生成装置の構成を示すブロック図である。
【図３】識別器生成装置の動作を示すフローチャートである。
【図４】パターン検出装置における識別器の構成例を示す図である。
【図５】特徴量の一例を示す図である。
【図６】主識別器と副識別器の生成を示す図である。
【図７】弱識別器を多段に連結してなる識別器を示す図である。
【図８】ツリー構造を有する弱識別器を多段に連結してなる識別器を示す図である。
【図９】複数パターンの組合せを考慮した識別器を示す図である。
【図１０】パターン検出装置の構成を示すブロック図である。
【図１１】パターン検出装置の動作を示すフローチャートである。
【図１２】パターン検出に用いる特徴量分布を示す図である。
【図１３】パターン検出処理の一例を示す図である。
【図１４】従来技術に係るパターン検出処理の原理を示す模式図である。
【発明を実施するための形態】
【００２１】
以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２２】
まず、図１４および図１を参照して、従来技術との比較を通じて本発明の実施形態に係るパターン検出処理の原理について説明する。以下では、画像Ｉに含まれる様々なサイズの検出対象、特に歩行者を検出する場合を例として説明する。
【００２３】
図１４（ａ）は、典型的な従来のパターン検出処理の原理を示す模式図である。この処理では、基準サイズの歩行者を検出可能な単一の識別器Ｃを複数（Ｎ通り）のサイズの画像Ｉに適用して複数（Ｎ通り）のサイズの歩行者が検出される。
【００２４】
基準サイズの歩行者は、基準サイズの識別器Ｃを画像Ｉに適用することにより検出される。基準サイズ以外の歩行者は、歩行者のサイズに合わせて画像Ｉを拡縮し、拡縮画像Iに基準サイズの識別器Ｃを適用することにより検出される。例えば、基準サイズの２倍サイズの歩行者は、画像Iを１／２に縮小した１／２縮小画像Ｉに識別器Ｃを適用することにより検出される。
【００２５】
この処理では、複数のサイズの歩行者を検出するために、複数のサイズの歩行者に対応する複数の画像Ｉが準備されて各画像Ｉの特徴量が算定される。よって、パターン検出に際して画像Ｉの拡縮と拡縮画像Ｉの特徴量の算定に多くの時間を要してしまう。
【００２６】
図１４（ｂ）は、図１４（ａ）の処理を改良した従来のパターン検出処理の原理を示す模式図である。この処理も、基準サイズの歩行者を検出可能な単一の識別器Ｃを複数（Ｎ通り）のサイズの画像Ｉに適用して複数（Ｎ通り）のサイズの歩行者が検出される。
【００２７】
複数のサイズのうち一部のサイズの歩行者は、画像Ｉおよび拡縮画像Ｉに基準サイズの識別器Ｃを適用することにより検出される。一方、残りのサイズの歩行者は、前述した画像Ｉおよび拡縮画像Ｉを修正した上で基準サイズの識別器Ｃを適用することにより検出される。例えば、基準サイズの２．１８倍のサイズの歩行者は、１／２縮小画像Ｉを修正した上で識別器Ｃを適用することにより検出される。
【００２８】
この処理では、複数のサイズの歩行者を検出するために、一部のサイズの歩行者に対応する画像Ｉが準備されて各画像Ｉの特徴量が算定される。よって、前述した処理と比べて、画像Ｉの拡縮と拡縮画像Ｉの特徴量の算定に要する時間を短縮できる。しかし、この処理でも、一部の画像Ｉを準備して各画像Ｉの特徴量を算定するために、パターン検出に際して少なくない時間を要してしまう。
【００２９】
一方、図１（ａ）は、本発明の実施形態に係るパターン検出処理の原理を示す模式図である。この処理では、複数（Ｎ通り）のサイズの歩行者を検出可能な複数（Ｎ通り）の識別器Ｃを生成して単一の画像Ｉに適用することにより複数のサイズの歩行者が検出される。なお、サイズｘ（ｘ：任意数）の歩行者を検出可能な識別器Ｃは、サイズｘとともにサイズｘから一定の許容範囲内のサイズの歩行者も検出できる。
【００３０】
複数の識別器Ｃは、歩行者の複数のサイズに対応するように特徴量に基づいて生成される。なお、以下では、特徴量に基づいて生成される識別器Ｃを主識別器と称する。つまり、基準サイズのｘ倍（ｘ：任意数）サイズの歩行者は、基準サイズのｘ倍サイズの歩行者に対応する主識別器を用いて検出される。なお、以下では、基準サイズのｘ倍サイズの歩行者に対応する識別器Ｃをｘ倍サイズの識別器Ｃと称する。例えば、基準サイズの２．１８倍サイズの歩行者は、２.１８倍サイズの識別器Ｃを画像Ｉに適用することにより検出される。
【００３１】
この処理では、従来の処理のように複数の画像Ｉに単一の識別器Ｃを適用する代わりに単一の画像Ｉに複数の識別器Ｃを適用するので、パターン検出に際して画像Ｉの拡縮と拡縮画像Ｉの特徴量の算定に時間を要しない。これにより、パターン検出処理を高速化できる。なお、この処理では、従来の処理と比べて同等以上の検出精度を確保できることが確認されている。
【００３２】
さらに、図１（ｂ）は、図１（ａ）の処理を改良した本発明の実施形態に係るパターン検出処理の原理を示す模式図である。この処理では、複数（Ｎ通り）のサイズのうち一部（Ｎ´通り；Ｎ´＜Ｎ）のサイズの歩行者を検出可能な一部（Ｎ´通り）の識別器Ｃ（主識別器）を生成して単一の画像Ｉに適用することにより残り（Ｎ−Ｎ´通り）のサイズを含む複数のサイズの歩行者が検出される。
【００３３】
複数の識別器の一部を構成する識別器Ｃ（主識別器）は、歩行者の一部のサイズに対応して特徴量に基づいて生成される。そして、残りの識別器Ｃは、歩行者の残りのサイズに対応して主識別器に基づいて生成される。なお、以下では、主識別器に基づいて生成される識別器Ｃを副識別器と称する。例えば、基準サイズの２．１８倍サイズの歩行者は、２倍サイズの主識別器に基づいて生成した２．１８倍サイズの副識別器を画像Ｉに適用することにより検出される。
【００３４】
この処理でも、図１（ａ）の処理と同様に、単一の画像Ｉに複数の識別器Ｃを適用するので、パターン検出に際して画像Ｉの拡縮と拡縮画像Ｉの特徴量の算定に時間を要しない。これにより、パターン検出処理を高速化できる。なお、この処理でも、従来の処理と比べて同等以上の検出精度を確保できることが確認されている。
【００３５】
また、複数の識別器の一部を構成する主識別器を特徴量に基づいて生成し、残りを構成する副識別器を主識別器に基づいて生成するので、複数の主識別器を特徴量に基づいて生成する図１（ａ）の処理と比べて、識別器生成に際して識別器の生成に要する時間を短縮できる。図１（ａ）の処理では、識別器生成処理に少なくない時間を有するので、図１（ｂ）の処理により識別器生成処理を高速化するための識別器生成装置を提供することは非常に有意義である。
【００３６】
つぎに、図２を参照して本発明の実施形態に係る識別器生成装置１０の構成について説明する。図２は、本発明の実施形態に係る識別器生成装置１０の構成を示すブロック図である。
【００３７】
識別器生成装置１０は、パターン検出装置２０を構成する複数の識別器（classifier）を生成する。ここで、パターン検出装置２０は、画像に含まれる様々なサイズの検出対象（object）を検出する装置である。なお、識別器とは、画像中における検出対象候補を検出対象として識別または判別するものであり、プログラム等により実現される。
【００３８】
図２に示すように、識別器生成装置１０は、パターン入力部１１、サイズ設定部１２、特徴量抽出部（抽出部）１３、識別器生成部（生成部）１４、識別器推定部（第２生成部）１５および識別器記憶部１６を備えている。
【００３９】
識別器生成装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを主体とするコンピュータであり、プログラムにより動作する。なお、パターン入力部１１、サイズ設定部１２、特徴量抽出部１３、識別器生成部１４、識別器推定部１５および識別器記憶部１６は、２つ以上のコンピュータにより構成されてもよい。
【００４０】
パターン入力部１１は、検出対象について複数のパターンにより構成されるパターン群を入力する。パターン入力部１１は、識別器生成に用いるために、検出対象についての正パターン群と、検出対象以外の対象についての負パターン群を入力する。正パターン群は、様々な歩行者、つまり様々な体型、姿勢、向きの歩行者を表す画像により構成され、負パターン群は、歩行者を含まない画像により構成される。入力されたパターン群は、不図示の記憶装置に格納されて特徴量抽出部１３から読み出される。
【００４１】
サイズ設定部１２は、パターン検出装置２０を構成する複数の識別器のサイズを設定する。識別器のサイズは、検出対象となる歩行者の複数のサイズに対応している。なお、以下では、識別器生成処理の基準となるサイズを基準サイズ（例えば、縦１２８画素×横６４画素）と称する。
【００４２】
サイズ設定部１２は、パターン検出装置２０が主識別器のみにより構成される場合（図１（ａ）の場合）、複数の主識別器のサイズ（主サイズ）を設定する。一方、サイズ設定部１２は、パターン検出装置２０が主識別器と副識別器を組み合わせて構成される場合（図１（ｂ）の場合）、複数の識別器の一部を構成する主識別器のサイズ（主サイズ）と残りを構成する副識別器のサイズ（副サイズ）を設定する。
【００４３】
特徴量抽出部１３は、検出対象について互いに異なるサイズ毎のパターンにより構成される少なくとも２つのパターン群を用いて、各パターン群を構成するパターンの特徴量を抽出する。特徴量抽出部１３は、主識別器の生成に用いるパターンの特徴量を抽出する。
【００４４】
主識別器を生成するために、主サイズのパターン群を構成するパターンの特徴量が抽出される。なお、主サイズのパターン群は、パターン入力部１１に入力されたパターン群のサイズを主サイズに拡縮して生成されてもよく、予め主サイズのパターン群として入力されてもよい。特徴量は、正パターン群と負パターン群それぞれのパターンについて抽出される。
【００４５】
例えば、基準サイズの識別器を生成するために、基準サイズのパターン群を構成するパターンの特徴量が抽出される。同様に、基準サイズの２倍サイズの識別器を生成するために、基準サイズの２倍サイズのパターン群を構成するパターンの特徴量が抽出される。抽出された特徴量は、不図示の記憶装置に格納されて識別器生成部１４から読み出される。
【００４６】
特徴量は、パターン（画像）の特徴を表す量であり、特徴領域、特徴指標および特徴指標値により特定される。特徴領域とは、パターンに含まれる特徴を表す領域であり、例えば任意の大きさの矩形領域として定義される。特徴指標とは、特徴の種類を表す指標であり、例えば、各方向の輝度勾配（quantized orientation）、輝度勾配の大きさ（gradient
magnitude）、ＬＵＶ色値等の指標である。特徴指標値とは、特徴領域における特徴指標の演算値（特徴量の値）である。特徴量としては、例えばIntegral  Channel  Feature、Haar-like  feature等が用いられる。
【００４７】
識別器生成部１４は、各パターン群を構成するパターンの特徴量に基づいて、各パターン群に対応するサイズの検出対象を画像において検出するための識別器を生成する。識別器生成部１４は、特徴量の抽出結果を学習アルゴリズムに適用して主識別器を生成する。
【００４８】
学習アルゴリズムには、正パターン群および負パターン群それぞれのパターンの特徴量が適用される。学習アルゴリズムとしては、例えばAdaBoost等が用いられる。主識別器は、特徴領域、特徴指標および判定閾値により定義される識別基準を備えている。判定閾値とは、特徴指標値との比較を通じてパターン識別の判定に用いる閾値である。主識別器の生成結果は、識別器記憶部１６に供給され、副識別器を推定する場合には識別器推定部１５にも供給される。
【００４９】
識別器推定部１５は、識別器生成部１４により生成された識別器に基づいて、各パターン群に対応するサイズと異なるサイズ、特に複数の各パターン群に対応するサイズの中間サイズのパターン群のための識別器を生成（推定）する。各パターン群に対応するサイズとは、主識別器のサイズである。
【００５０】
識別器推定部１５は、主識別器に基づいて副識別器を推定する。副識別器は、主識別器による検出対象の判定基準を修正して、具体的には、検出対象のサイズに基づいて主識別器による特徴量の判定閾値を修正して生成される。副識別器は、副識別器のサイズに近いサイズの主識別器から生成される。副識別器の生成結果は、識別器記憶部１６に供給される。
【００５１】
識別器記憶部１６は、パターン検出装置２０を構成する複数の識別器を記憶する。識別器記憶部１６には、複数の主識別器、または複数の識別器の一部を構成する主識別器と残りを構成する副識別器が記憶される。記憶された識別器は、パターン検出に際して識別器記憶部１６から読み出して使用される。
【００５２】
つぎに、図３から図９を参照して本発明の実施形態に係る識別器生成装置１０の動作について説明する。
【００５３】
図３は、識別器生成装置１０の動作を示すフローチャートである。パターン入力部１１は、識別器生成に用いるパターン群を入力する（ステップＳ１１）。パターン入力部１１には、基準サイズのパターンにより構成されるパターン群が入力されてもよく、サイズ一定または不定のパターンにより構成されるパターン群が入力されてもよい。
【００５４】
サイズ設定部１２は、パターン検出装置２０を構成する識別器のサイズを設定する（Ｓ１２）。図４は、パターン検出装置２０における識別器Ｃの構成例を示す図である。
【００５５】
図４（ａ）に示すように、パターン検出装置２０を主識別器Ｃｍのみにより構成する場合、主識別器Ｃｍのサイズ（主サイズ）は、例えば、基準サイズの１倍〜４倍の範囲で段階的にＮ＝１７通りのサイズとして設定される。主サイズは、例えば、基準サイズの１倍、２倍、４倍のサイズを有する。主サイズは、さらに、１倍から２倍の間を等比級数的に８区分したサイズ（１．０９、１．１９、１．３０、１．４１、１．５４、１．６８、１．８３倍）、２倍から４倍の間を等比級数的に８区分したサイズ（２．１８、２．３８、２．５９、２．８３、３．０８、３．３６、３．６７倍）として設定される。つまり、基準サイズから基準サイズの４倍のサイズまで、基準サイズを段階的に２の８乗根倍したサイズとして設定される。
【００５６】
一方、図４（ｂ）に示すように、パターン検出装置２０を主識別器Ｃｍと副識別器Ｃｓを組み合わせて構成する場合、主識別器Ｃｍのサイズ（主サイズ）は、例えば、基準サイズの１倍、２倍、４倍と指数倍の関係を有するＮ´＝３通りのサイズとして設定される。また、副識別器Ｃｓのサイズ（副サイズ）は、図４（ａ）の場合と同様に各主サイズの間を等比級数的に８区分したＮ−Ｎ´＝１４通りの中間サイズとして設定される。
【００５７】
図３の説明に戻って、識別器のサイズが設定されると、まず、Ｓ１３およびＳ１４の処理により主識別器が生成される。特徴量抽出部１３は、パターンの特徴量を抽出する（Ｓ１３）。識別器生成部１４は、パターンの特徴量に基づいて主識別器を生成する（Ｓ１４）。主識別器は、特徴量の抽出結果を学習アルゴリズムに適用して生成される。
【００５８】
特徴量は、学習アルゴリズムによる学習結果に基づいて設定される。特徴領域は、パターンに含まれる様々な形状や大きさの例えば矩形の領域として設定される。特徴領域は、例えば歩行者の部位を含む領域として設定され、特徴指標値は、特徴領域における指標値（画素値）の合計値として求められる。
【００５９】
または、特徴領域は、パターンに含まれる例えば様々な形状や大きさの矩形の複数の小領域として設定される。なお、特徴領域を構成する複数の小領域は、互い異なる形状や大きさの領域として設定されてもよく、互いに離間した領域として設定されてもよい。
【００６０】
図５は、このような特徴量の一例を示す図である。図５に示す例では、特徴量ｆ１の特徴領域が小領域Ａ１１、Ａ１２として設定されている。例えば、小領域Ａ１１は、歩行者の部位を含む領域として設定され、小領域Ａ１２は、歩行者の背景を含む領域として設定されている。なお、このような設定基準は一例にすぎず、各小領域Ａ１１、Ａ１２は学習結果に基づいて設定される。この場合、特徴指標値は、各小領域Ａ１１、Ａ１２における指標値（画素値）の合計値同士の差分または他の演算結果として求められる。
【００６１】
図６は、主識別器と副識別器の生成を示す図である。図６（ａ）に示すように、主識別器Ｃｍは、特徴領域、特徴指標および判定閾値τにより定義される識別基準Ｄを備えている。図６（ａ）に示す例では、識別基準Ｄとして、特徴領域（パターンに含まれる特徴を表す領域）とともに特徴指標（Ｌ色値）および判定閾値τが定義されている。主識別器Ｃｍは、パターン検出に用いる画像、つまり後述する検出窓Ｗｄ１、Ｗｄ２（図１３参照）内の特徴量を入力とし、判定閾値τによる特徴指標値の判定結果（肯定または否定）を出力としている。
【００６２】
以下、図７から図９は、識別器Ｃの構成例、つまり図６に示す基本単位の組合せ例を示している。図７は、弱識別器Ｃｗを多段に連結してなる識別器Ｃを示す図である。
【００６３】
図７に示す構成例では、識別器（強識別器）は、互いに異なる識別基準Ｄ１〜Ｄｎを有するｎ個の弱識別器Ｃｗを連結してなる、いわゆるカスケードを構成している。各識別基準Ｄは、特徴領域、特徴指標および判定閾値により定義されている。
【００６４】
識別器Ｃを用いたパターン検出は、弱識別器Ｃｗの識別基準Ｄ１〜Ｄｎを順次に画像（検出窓内の画像）に適用することにより行われる。そして、例えば、識別基準Ｄ１を満たすが識別基準Ｄｉ（１＜ｉ＜ｎ）を満たさない場合には識別を打ち切り否定応答（歩行者以外）が生成され、識別基準Ｄ１〜Ｄｎを全て満たす場合に肯定応答（歩行者）が生成される。この場合、検出対象となる検出対象に顕著な特徴量を識別する弱識別器Ｃｗを上流側（図７の左側）に配置することにより、識別の打ち切りにより識別速度を向上できる。なお、識別器Ｃの応答は、識別基準Ｄ１〜Ｄｎの判定結果を重み付け加算して生成されてもよい。
【００６５】
図８は、ツリー構造を有する弱識別器Ｃｗを多段に連結してなる識別器Ｃを示す図である。図８に示す構成例では、識別器Ｃ（強識別器）は、互いに異なる識別基準Ｄ１〜Ｄｎを有するｎ個の弱識別器Ｃｗを連結してなる。そして、例えば弱識別器Ｃｗの識別基準Ｄ１は、下位の識別基準Ｄ１１´〜Ｄ１３´をツリー状に組み合わせて定義されている。下位の識別基準Ｄ１１´〜Ｄ１３´は、特徴量ｆ１〜ｆ３のそれぞれを識別する基準である。なお、下位の識別基準Ｄ´のツリー構造は、図８に示す例に限定されるものではない。
【００６６】
識別器Ｃを用いたパターン検出は、弱識別器Ｃｗの識別基準Ｄ１〜Ｄｎを順次に画像（検出窓内の画像）に適用することにより行われる。ここで、識別基準Ｄの判定結果は、下位の識別基準Ｄ´の判定結果に基づいて生成される。例えば、識別基準Ｄ１の判定結果は、識別基準Ｄ１１´を満たし、かつ識別基準Ｄ１２´を満たす場合に肯定となり、識別基準Ｄ１１´を満たさず、かつ識別基準Ｄ１３´を満たさない場合に否定となる。これにより、下位の識別基準Ｄ´を用いて、互いに関連する特徴量（例えば歩行者の右足の特徴量と左足の特徴量）を組み合わせて識別精度を向上できる。
【００６７】
図９は、複数パターンの組合せを用いた識別器Ｃを示す図である。図９に示す構成例では、複数のパターンは、検出対象となる第１パターンＰ１（例えば歩行者パターン）と、第１パターンＰ１に近接または隣接する領域を表す第２パターンＰ２（例えば路面パターン）とからなる。なお、識別器生成に際して、第１パターンＰ１と第２パターンＰ２は、同一の画像から収集されることが望ましい。
【００６８】
識別器Ｃ（強識別器）は、図７と同様に、それぞれがツリー構造を有するｎ個の弱識別器Ｃｗを多段に連結してなる。ここで、例えば、識別基準Ｄｐ１の下位の識別基準Ｄｐ１１´〜Ｄｐ１３´は、第１パターンＰ１の特徴量ｆ１１〜ｆ１３を識別する基準であり、識別基準Ｄｎ２の下位の識別基準Ｄｎ２１´〜Ｄｎ２３´は、第２パターンＰ２の特徴量ｆ２１〜ｆ２３を識別する基準である。これにより、第２パターンＰ２との関連性（例えば歩行者パターンと歩行者の影のパターン）を考慮して識別精度を向上できる。
【００６９】
図３の説明に戻って、主識別器が生成されると、識別器記憶部１６は、生成された主識別器を記憶する（Ｓ１５）。
【００７０】
つぎに、副識別器の生成が必要である場合（Ｓ１６でＹｅｓの場合）に、Ｓ１７の処理により副識別器が生成される。識別器推定部１５は、主識別器に基づいて副識別器を生成する（Ｓ１７）。なお、副識別器の生成が必要でない場合（Ｓ１６でＮｏの場合）には処理が終了する。
【００７１】
再び図６を参照すると、図６（ｂ）に示すように、副識別器Ｃｓは、主識別器Ｃｍの識別基準Ｄを修正して生成される。つまり、識別基準Ｄの特徴領域は、主識別器Ｃｍと副識別器Ｃｓのサイズ比率ｓに応じて拡縮される。また、判定閾値τは、例えば、パラメータをａ、ｂとして、ｒ（ｓ）＝ａ・ｓｂとして算定される係数ｒを乗じて判定閾値τ´に修正される。ここで、パラメータａ、ｂは、サイズ比率ｓが１を上回るか否かにより異なり、また特徴指標の種類に応じても異なる。
【００７２】
ここで、本実施形態では、主識別器のサイズの０．５〜２倍程度のサイズの副識別器を適切に生成できることが確認されている。例えば、２．１８倍サイズの副識別器は、標準サイズの２倍サイズまたは４倍サイズの識別器のうち少なくとも一方から生成される。なお、特徴量の種類に応じては、理論上、主識別器のサイズの０．５倍未満のサイズまたは２倍を超えるサイズの副識別器も適切に生成できる。
【００７３】
よって、主識別器の主サイズを指数倍、特に０．５、１、２、４、８倍…等、２の指数倍とすることにより主サイズに近いサイズ、特に２つの主サイズの間のサイズの副識別器を適切に生成できることになる。例えば、図４（ｂ）に示すようにパターン検出装置２０を構成する場合、基準サイズの１倍、２倍、４倍サイズの主識別器Ｃｍを用いて、基準サイズの０．５〜８倍程度のサイズの副識別器Ｃｓを適切に生成できる。
【００７４】
図３の説明に戻って、副識別器が生成されると、識別器記憶部１６は、生成された副識別器を記憶する（Ｓ１８）。
【００７５】
以上の識別器生成処理によって、例えば、図４（ａ）に示すように識別器Ｃを構成する場合、主サイズのパターン群を構成するパターンの特徴量が抽出され、特徴量の抽出結果に基づいて各サイズに対応する複数（Ｎ＝１７通り）の主識別器Ｃｍが生成される。
【００７６】
一方、図４（ｂ）に示すように識別器Ｃを構成する場合、主サイズのパターン群を構成するパターンの特徴量が抽出され、特徴量の抽出結果に基づいて主サイズに対応する（Ｎ´＝３通り；＜Ｎ通り）の主識別器Ｃｍが生成される。また、副サイズのそれぞれに隣接する主サイズの主識別器Ｃｍに基づいて副サイズに対応する（Ｎ−Ｎ´＝１４通り）の副識別器Ｃｓが生成される。
【００７７】
以上説明したように、本発明の実施形態に係る識別器生成装置１０によれば、互いに異なるサイズの検出対象を画像から検出するための少なくとも２つの識別器が生成されるので、互いに異なるサイズの検出対象の検出に際して画像の拡縮が不要となる。よって、パターン検出処理を高速化するための識別器を生成できる。
【００７８】
また、各パターン群に対応するサイズと異なるサイズ、特に複数の各パターン群に対応するサイズの中間サイズのパターン群のための識別器を各パターン群に対応するサイズの識別器に基づいて生成することにより、これらのサイズに対応する識別器を容易に生成できる。よって、識別器生成処理を高速化できる。
【００７９】
また、弱識別器を多段に連結して識別器を構成することにより、識別精度を向上できる。また、パターンにおける任意の大きさの領域の特徴量合計値、または２つの領域の特徴量合計値同士を演算した結果を判定するように弱識別器を構成することにより、識別速度を向上できる。
【００８０】
また、判定をツリー状に組み合わせて弱識別器を構成することにより、互いに関連する特徴量の判定をツリー状に組み合わせて識別精度を向上できる。
【００８１】
また、検出対象のパターンとこのパターンに近接または隣接する検出対象外のパターンに基づいて検出対象のパターンを識別するように識別器を構成することにより、検出対象外のパターンとの関連性を考慮して識別精度を向上できる。
【００８２】
つぎに、図１０を参照して本発明の実施形態に係るパターン検出装置２０の構成について説明する。
【００８３】
パターン検出装置２０は、画像に含まれる様々なサイズの検出対象を検出する装置である。パターン検出装置２０は、例えば、カメラ等の画像入力装置を備える車両、ロボット等に搭載される。
【００８４】
図１０は、パターン検出装置２０の構成を示すブロック図である。図１０に示すように、パターン検出装置２０は、識別器記憶部２１、画像入力部２２、特徴量算定部２３、サイズ設定部２４およびパターン検出部(検出部)２５を備えている。
【００８５】
パターン検出装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを主体とするコンピュータであり、プログラムにより動作する。なお、識別器記憶部２１、画像入力部２２、特徴量算定部２３、サイズ設定部２４およびパターン検出部２５は、２つ以上のコンピュータにより構成されてもよい。
【００８６】
識別器記憶部２１は、パターン検出装置２０を構成する複数の識別器を記憶している。識別器記憶部２１には、複数の主識別器、または複数の識別器の一部を構成する主識別器と残りを構成する副識別器が記憶されている。複数の識別器は、図２の識別器生成装置１０により準備されて記憶されている。
【００８７】
画像入力部２２は、パターン検出の対象となる画像を入力する。例えば、画像は、歩行者が存在しうる路上等、パターン検出の対象となる場所を撮影した画像である。入力された画像は、特徴量算定部２３に供給される。
【００８８】
特徴量算定部２３は、パターン検出に用いる画像の特徴量を算定する。画像の特徴量は、例えば、各方向の輝度勾配、輝度勾配の大きさ、ＬＵＶ色値等の指標値の分布（特徴量分布）として求められる。特徴量の算定結果は、不図示の記憶装置に格納されてパターン検出部２５から読み出される。
【００８９】
サイズ設定部２４は、パターン検出に用いる識別器のサイズを設定する。識別器のサイズは、例えば、昇順、降順、主サイズ優先、副サイズ優先等の順序で設定される。
【００９０】
パターン検出部２５は、識別器生成装置２０の識別器生成部１４により生成された各パターン群のための識別器を用いて、各パターン群に対応するサイズの検出対象を画像から検出する。パターン検出部２５は、識別器生成部１４により生成された各パターン群のための識別器に基づいて生成された識別器を用いて、各パターン群に対応するサイズと異なるサイズ、特に複数の各パターン群に対応するサイズの中間サイズの検出対象を検出する。
【００９１】
パターン検出部２５は、様々なサイズの識別器を画像に適用してパターン認識により検出対象を検出する。パターン検出部２５は、設定されたサイズの識別器を識別器記憶部２１から読み出して画像に適用する。そして、画像に対する識別器の応答（パターン認識の結果）が肯定である場合に歩行者が検出される。
【００９２】
つぎに、図１１から図１３を参照して本発明の実施形態に係るパターン検出装置２０の動作について説明する。
【００９３】
図１１は、パターン検出装置２０の動作を示すフローチャートである。図１１に示すように、画像入力部２２は、パターン検出の対象となる画像を入力する（ステップＳ２１）。
【００９４】
特徴量算定部２３は、パターン検出に用いる画像の特徴量を算定する（Ｓ２２）。ここで、パターン検出に用いる画像から特徴指標の分布を表す図１２に示すような特徴量分布Ｄｆを生成することが好ましい。
【００９５】
図１２は、パターン検出に用いる特徴量分布Ｄｆを示す図である。図１２に示す特徴量分布Ｄｆでは、図１２（ａ）に示すように、画像中の任意点ｐの値が点ｐの左上領域に含まれる画素値の合計値（積分値）を表している。図１２（ｂ）に示すような領域Ａ、Ｂ、Ｃ、Ｄを想定すると、画像の領域Ｄに含まれる画素の合計値は、領域Ａ〜Ｄを参照して次のように算定される。
【００９６】
つまり、特徴量分布Ｄｆにおける領域Ａの右下の画素値１は、画像における領域Ａの画素の合計値を表している。同様に、領域Ｂの右下の画素値２が領域Ａ＋Ｂの画素の合計値、領域Ｃの右下の画素値３が領域Ａ＋Ｃの画素の合計値、領域Ｄの右下の画素値４が領域Ａ＋Ｂ＋Ｃ＋Ｄの画素の合計値をそれぞれ表している。よって、画像の領域Ｄに含まれる画素の合計値は、４＋１−（２＋３）として容易に算定される。
【００９７】
図１１の説明に戻って、特徴量が算定されると、サイズ設定部２４は、パターン検出に用いる識別器のサイズを設定する（Ｓ２３）。サイズ設定部２４は、例えば、基準サイズから基準サイズの４倍のサイズまで、基準サイズを段階的に２の８乗根倍した複数（Ｎ＝１７）のサイズを設定する。
【００９８】
パターン検出部２５は、様々なサイズの識別器を画像に適用してパターン認識により検出対象を検出する（Ｓ２４）。パターン検出は、画像上で識別器のサイズに対応する検出窓を縦横にシフトさせ、検出窓の領域に検出対象の識別基準を適用することにより行われる。パターン検出は、例えば、あるサイズの識別器を画像内の全領域に適用した後に次のサイズの識別器を適用してもよく、識別器のサイズを変更しながら画像内の全領域に適用してもよい。
【００９９】
ここで、識別基準の適用に際しては、特徴領域または特徴領域に含まれる各小領域（図５参照）を図１２（ｂ）の領域Ｄとみなすことにより、特徴領域または各小領域における指標値の合計値を特徴量分布から容易に求めることができる。
【０１００】
以上のパターン検出処理によって、基準サイズが設定され、図１３（ａ）に示すように、基準サイズの検出窓Ｗｄが画像Ｉ上で縦横にシフトされて画像Ｉ内の全領域に適用される。図１３（ａ）に示す例では、基準サイズの識別器を用いて遠方の歩行者Ｐｄ１が検出されている。
【０１０１】
つぎに、基準サイズの１．０９倍のサイズが設定され、基準サイズの１．０９倍の検出窓が画像Ｉ上で縦横にシフトされて画像Ｉ内の全領域に適用され、以下同様に、基準サイズの１．１９倍、１．３０倍、…４倍の識別器が適用される。図１３（ｂ）に示す例では、基準サイズの１．５４倍の識別器を用いて近傍の歩行者Ｐｄ２が検出されている。これにより、基準サイズの１倍から４倍の範囲でＮ＝１７通りのサイズ（各サイズから一定の許容範囲のサイズも含む）の歩行者が画像Ｉ上で検出可能となる。
【０１０２】
なお、パターン検出装置２０は、画像上の全範囲に代えて、特定の範囲にのみパターン検出を適用するように構成されてもよい。このために、画像において検出される領域との距離を測定し、測定した距離に応じて検出対象を検出する範囲を制御してもよい。測距には、例えば、複数のカメラにより求められる視差が用いられる。そして、測距結果に基づいて、検出される領域毎に識別器のサイズを制御してもよく、検出を省略してもよい。
【０１０３】
以上説明したように、本発明の実施形態に係るパターン検出装置２０によれば、互いに異なるサイズの検出対象を画像から検出するために複数の識別器が用いられるので、画像の拡縮が不要となり、パターン検出処理を高速化できる。
【０１０４】
また、各パターン群に対応するサイズと異なるサイズ、特に複数の各パターン群に対応するサイズの中間サイズのパターン群のための識別器を容易に生成できるので、識別器生成処理を高速化できる。
【０１０５】
また、画像において検出される領域との距離に応じて検出対象を検出する範囲を制御することにより、検出対象のサイズと距離の関係を考慮してパターン検出処理を高速化できる。
【０１０６】
なお、前述した実施形態は、本発明の実施形態に係る識別器生成装置およびパターン検出装置の最良な実施形態を説明したものであり、本発明の実施形態に係る識別器生成装置およびパターン検出装置は、本実施形態に記載したものに限定されるものではない。本発明の実施形態に係る識別器生成装置およびパターン検出装置は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る識別器生成装置およびパターン検出装置を変形し、または他のものに適用したものであってもよい。
【０１０７】
例えば、上記説明では、本発明の原理を用いて、通常の画像から歩行者を検出する場合について説明したが、これらの画像から歩行者以外の検出対象を検出してもよく、赤外線画像や距離画像等の他の画像から歩行者または歩行者以外の検出対象を検出してもよい。
【符号の説明】
【０１０８】
１０…識別器生成装置、１１…パターン入力部、１２…サイズ設定部、１３…特徴量抽出部、１４…識別器生成部、１５…識別器推定部、１６…識別器記憶部、２０…パターン検出装置、２１…識別器記憶部、２２…画像入力部、２３…特徴量算定部、２４…サイズ設定部、２５…パターン検出部、Ｃ…識別器、Ｃｍ…主識別器、Ｃｓ…副識別器、Ｃｗ…弱識別器、Ｉ…画像。
【図１】
2013186906.tif 000003
【図２】
2013186906.tif 000004
【図３】
2013186906.tif 000005
【図４】
2013186906.tif 000006
【図５】
2013186906.tif 000007
【図６】
2013186906.tif 000008
【図７】
2013186906.tif 000009
【図８】
2013186906.tif 000010
【図９】
2013186906.tif 000011
【図１０】
2013186906.tif 000012
【図１１】
2013186906.tif 000013
【図１２】
2013186906.tif 000014
【図１３】
2013186906.tif 000015
【図１４】
2013186906.tif 000016
【手続補正書】
【提出日】平成26年12月11日(2014.12.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検出対象について互いに異なるサイズ毎のパターンにより構成される少なくとも２つのパターン群を用いて、各パターン群を構成する前記パターンの特徴量を抽出する抽出部と、
前記各パターン群を構成する前記パターンの前記特徴量に基づいて、前記各パターン群に対応するサイズの前記検出対象を画像において検出するための識別器を生成する生成部と、
前記生成部により生成された前記識別器に基づいて、前記各パターン群に対応するサイズと異なるサイズのパターン群のための識別器を生成する第２生成部と、
を備える識別器生成装置。
【請求項２】
前記第２生成部は、複数の前記各パターン群に対応するサイズの中間サイズのパターン群のための識別器を生成する、請求項１に記載の識別器生成装置。
【請求項３】
前記第２生成部は、前記生成部により生成された前記識別器による前記検出対象の識別基準を修正して識別器を生成する、請求項１に記載の識別器生成装置。
【請求項４】
前記第２生成部は、前記検出対象のサイズに基づいて、前記生成部により生成された前記識別器による前記特徴量の判定閾値を修正する、請求項３に記載の識別器生成装置。
【請求項５】
複数の前記各パターン群に対応するサイズが指数倍の関係にある、
請求項１〜４のいずれか一項に記載の識別器生成装置。
【請求項６】
前記識別器は、弱識別器を多段に連結した強識別器として構成される、請求項１〜５のいずれか一項に記載の識別器生成装置。
【請求項７】
前記弱識別器は、前記パターンにおける任意の大きさの領域の前記特徴量の合計値を判定するように構成される、請求項６に記載の識別器生成装置。
【請求項８】
前記弱識別器は、前記パターンにおける任意の大きさの領域の前記特徴量の合計値と、前記パターンにおける任意の大きさの他の領域の前記特徴量の合計値との演算結果を判定するように構成される、請求項６に記載の識別器生成装置。
【請求項９】
前記弱識別器は、前記判定をツリー状に組み合わせて構成される、請求項７又は８に記載の識別器生成装置。
【請求項１０】
前記パターンは、前記検出対象のパターンと、前記検出対象のパターンに近接または隣接する検出対象外のパターンとからなり、
前記検出対象のパターンにより構成されるパターン群と前記検出対象外のパターンにより構成されるパターン群に基づいて、前記検出対象の検出に用いる識別器を生成する、請求項１〜９のいずれか一項に記載の識別器生成装置。
【請求項１１】
前記検出対象のパターンが歩行者パターンである場合、前記検出対象外のパターンが路面パターンである、請求項１０に記載の識別器生成装置。
【請求項１２】
前記検出対象のパターンと前記検出対象外のパターンは、同一の画像から収集されたパターンである、請求項１１に記載の識別器生成装置。
【請求項１３】
請求項１〜１２のいずれか一項に記載の前記識別器生成装置の前記生成部により生成された前記各パターン群のための識別器を用いて、前記各パターン群に対応するサイズの前記検出対象を画像から検出する検出部を備え、
前記検出部は、前記生成部により生成された前記識別器に基づいて生成された識別器を用いて、前記各パターン群に対応するサイズと異なるサイズの前記検出対象を検出する、パターン検出装置。
【請求項１４】
前記検出部は、複数の前記各パターン群に対応するサイズの中間サイズの前記検出対象を検出する、請求項１３に記載のパターン検出装置。
【請求項１５】
複数の撮像装置により求められる視差を用いて、前記画像において検出される領域との距離を測定し、
測定した前記距離に応じて前記検出対象を検出する範囲を制御する、請求項１３又は１４に記載のパターン検出装置。
【請求項１６】
前記検出対象が歩行者である、請求項１３〜１５のいずれか一項に記載のパターン検出装置。
【国際調査報告】
2013186906.tif 000017
2013186906.tif 000018
2013186906.tif 000019
2013186906.tif 000020