(57)【要約】【課題】認識性能をより向上させながら、計算量をより抑制することを可能にする物体認識装置を提供する。【解決手段】物体認識モデルを判定パターンの細分化の度合いに応じて複数の組に分けるとともに、細分化の度合いが低い組ほど、画像抽出部１５で抽出する所定の領域の画像の抽出位置を決めるパラメータを少なくとも含む照合パラメータを粗い値に決定し、画像抽出部１５、照合部１６、判定部１７での一連の処理を細分化の度合いがより低い組から順番に行っていくとともに、細分化の度合いがより高い組については、細分化の度合いがより低い組において対象物である旨の判定が行われた候補画像に対応する領域に絞って、画像抽出部１５、照合部１６、判定部１７での一連の処理を行う。【選択図】図５
2010257252.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で得られた画像を取得する画像取得手段と、
前記画像取得手段で取得した画像から、所定の領域の画像を順次抽出する画像抽出手段と、
認識対象とする物体である対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築された複数種類のパターンの集合を格納しているパターン格納部と、
前記画像抽出手段で順次抽出する所定の領域の画像と前記パターン格納部に格納されている前記複数種類のパターンの集合中のパターンとを順次照合していくことによって、前記対象物らしさを示す評価値を順次算出していくとともに、これらの評価値をもとに前記対象物であるか否かの判定を行う照合判定手段と、を備え、
前記照合判定手段での判定結果に基づいて前記対象物の認識を行う画像認識装置であって、
前記複数種類のパターンの集合を、前記対象物の全体についてのパターンから前記対象物の構成要素についてのパターンにかけての細分化の度合いに応じて複数の組に分ける組分け手段と、
前記細分化の度合いが低い組ほど、前記画像抽出手段で抽出する所定の領域の画像の抽出位置を決めるパラメータを少なくとも含む照合パラメータを、粗い値に決定する照合パラメータ決定手段を備え、
前記画像抽出手段および前記照合判定手段での一連の処理を前記細分化の度合いがより低い組から順番に行っていくとともに、前記細分化の度合いがより高い組については、前記細分化の度合いがより低い組において前記対象物である旨の判定が行われた前記所定の領域の画像に対応する領域に絞って、前記画像抽出手段および前記照合判定手段での一連の処理を行うことを特徴とする画像認識装置。
【請求項２】
前記抽出位置は、前記画像取得手段で取得した画像中の縦方向および横方向に前記画像抽出手段で抽出を行う場所をそれぞれずらしていく幅であることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記照合パラメータは、前記画像抽出手段で画像を抽出する際の抽出領域の大きさを決めるパラメータも含むことを特徴とする請求項１または２に記載の画像認識装置。
【請求項４】
必要となるパターンの照合回数をもとに、前記照合に必要となる計算量を推定し、この推定の結果に従って、前記組分け手段で各組に振り分けるパターン数の補正を行う補正手段をさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の画像認識装置。
【請求項５】
照合パラメータ決定手段は、前記複数種類のパターンの集合中の各パターン個別の大きさに応じて前記照合パラメータを決定することによって、前記細分化の度合いが低い組ほど、前記照合パラメータを粗い値に決定することを特徴とする請求項１〜４のいずれか１項に記載の画像認識装置。
【請求項６】
前記パターンは、互いに隣接する複数個の矩形を含む矩形特徴であって、
前記複数種類のパターンの集合中の各パターン個別の大きさは、前記複数個の矩形全体の横幅、前記矩形特徴中の矩形１つについての縦幅、および前記矩形特徴中の矩形１つについての横幅であることを特徴とする請求項５に記載の画像認識装置。
【請求項７】
照合パラメータ決定手段は、前記組ごとの平均的な大きさに応じて前記照合パラメータを決定することによって、前記細分化の度合いが低い組ほど、前記照合パラメータを粗い値に決定することを特徴とする請求項１〜４のいずれか１項に記載の画像認識装置。
【請求項８】
前記パターンは、互いに隣接する複数個の矩形を含む矩形特徴であって、
前記平均的な大きさは、前記組中の各矩形特徴について矩形特徴自体の面積に対しての前記複数個の矩形の占有面積の平均をとることによって得られる平均面積であることを特徴とする請求項７に記載の画像認識装置。
【請求項９】
照合パラメータ決定手段は、前記組ごとの代表的なパターンの大きさに応じて前記照合パラメータを決定することによって、前記細分化の度合いが低い組ほど、前記照合パラメータを粗い値に決定することを特徴とする請求項１〜４のいずれか１項に記載の画像認識装置。
【請求項１０】
前記代表的なパターンの大きさは、前記組中の各パターンの大きさの最大値、最小値、最頻値、および中央値のうちのいずれかであることを特徴とする請求項９に記載の画像認識装置。
【請求項１１】
前記集合は、対象物の種別ごとに複数種類設けられていることを特徴とする請求項１〜１０のいずれか１項に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の物体の認識に用いられる画像認識装置に関するものである。
【背景技術】
【０００２】
従来から、矩形で表した局所特徴パターンとの照合を行うことによって画像中の物体を認識する技術が知られている。例えば、特許文献１には、矩形フィルタにて顔の各パーツの位置を検出し、顔認識や視線を推定する技術が開示されている。また、非特許文献１では、矩形で表した局所特徴パターンの組み合わせで構成した顔モデルとインテグラルイメージとを用いて高速に顔を認識する技術が提案されている。さらに、非特許文献２では、様々な位置、大きさ、形状で画像内に存在する歩行者を、矩形で表した局所特徴パターンの組み合わせで構成した歩行者モデルを用いて認識する技術が提案されている。また、非特許文献３では、矩形で表した局所特徴パターンを用いた顔検出器と識別スコア（評価値、顔らしさ）の最大化による追跡手法とを組み合わせて画像中の顔を追跡する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１０２９０２号公報
【非特許文献】
【０００４】
【非特許文献１】Paul Viola、Michael J.Jones、“Rapid Object Detection Using a Boosted Cascade of Simple Features”、IEEE Computer Vision and Pattern Recognition、Vol 1、pp.511-518、2001.12
【非特許文献２】Paul Viola、Michael J. Jones、Daniel Snow、“Detecting Pedestrians Using Patterns of Motion and Appearance”、In iccv03 (Nice, France, 2003)、pp. 734-741.
【非特許文献３】日高章理、栗田多喜夫、“矩形特徴を用いた顔検出器から得られる識別スコアの最大化による顔追跡手法の研究”、筑波大学大学院修士論文、２００６年２月
【非特許文献４】Michael J.Jones、Paul Viola、“Face Recognition Using Boosted Local Features”、Mitsubishi Electric Research Lab,Technical Report、TR2003−025、2003.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１および非特許文献１〜３に示されているような、矩形で表した局所特徴パターンとの照合を行うことによって画像中の物体を認識する技術において認識性能を向上させるには、様々な位置、大きさ、形状で画像内に存在する対象物体に対し、照合の位置や照合を行う領域の大きさを変えながら照合を行う際の照合誤差と、照合回数に比例して増大する誤認識とを低減させることが必要となる。
【０００６】
ここで、照合誤差を低減させるには、画像中の全位置について、照合を行う領域の大きさを多段階に変化させながら網羅的に、矩形で表した局所特徴パターンとの照合を行うことが考えられる。また、誤認識を低減させるには、新たなモデルや除去フィルタ等を追加することが考えられる。しかしながら、いずれの方法においても計算量の増大の問題が生じてしまう。
【０００７】
従って、従来の技術では、認識性能の向上と計算量の抑制とを両立することができないという問題を有していた。
【０００８】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、認識性能をより向上させながら、計算量をより抑制することを可能にする画像認識装置を提供することにある。
【課題を解決するための手段】
【０００９】
請求項１の画像認識装置は、上記課題を解決するために、撮像手段で得られた画像を取得する画像取得手段と、前記画像取得手段で取得した画像から、所定の領域の画像を順次抽出する画像抽出手段と、認識対象とする物体である対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築された複数種類のパターンの集合を格納しているパターン格納部と、前記画像抽出手段で順次抽出する所定の領域の画像と前記パターン格納部に格納されている前記複数種類のパターンの集合中のパターンとを順次照合していくことによって、前記対象物らしさを示す評価値を順次算出していくとともに、これらの評価値をもとに前記対象物であるか否かの判定を行う照合判定手段と、を備え、前記照合判定手段での判定結果に基づいて前記対象物の認識を行う画像認識装置であって、前記複数種類のパターンの集合を、前記対象物の全体についてのパターンから前記対象物の構成要素についてのパターンにかけての細分化の度合いに応じて複数の組に分ける組分け手段と、前記細分化の度合いが低い組ほど、前記画像抽出手段で抽出する所定の領域の画像の抽出位置を決めるパラメータを少なくとも含む照合パラメータを、粗い値に決定する照合パラメータ決定手段を備え、前記画像抽出手段および前記照合判定手段での一連の処理を前記細分化の度合いがより低い組から順番に行っていくとともに、前記細分化の度合いがより高い組については、前記細分化の度合いがより低い組において前記対象物である旨の判定が行われた前記所定の領域の画像に対応する領域に絞って、前記画像抽出手段および前記照合判定手段での一連の処理を行うことを特徴としている。
【００１０】
これによれば、照合に用いるパターンの集合をパターンの細分化の度合いに応じて複数の組に分け、細分化の度合いがより低い組から細分化の度合いがより高い組へと順番に、対象物である確率が高い画像上の領域を絞り込むので、照合の位置や照合を行う領域の大きさを変えながら照合を行う際の照合誤差をより低減させることが可能になる。また、照合誤差をより低減させることが可能となることから、正確な対象物の位置や大きさを決定した上で対象物であるか否かの判定を厳密に行わせることが可能になるので、対象物の誤認識もより低減させることが可能になる。
【００１１】
さらに、細分化の度合いがより高い組については、細分化の度合いがより低い組ほど所定の領域の画像の抽出位置を決めるパラメータを粗い値に決定するとともに、細分化の度合いがより低い組において対象物である旨の判定が行われた所定の領域の画像に対応する画像上の領域に絞って、画像抽出手段および照合判定手段での一連の処理を行うので、画像中の広範囲にわたって粗く照合を行って対象物である確率が高い画像上の領域を大まかに絞り込んだ後に、絞り込んだ領域についてより細かな照合を行って対象物の認識を行うことが可能になる。従って、画像中の全位置について、照合を行う領域の大きさを多段階に変化させながら網羅的に照合を行うような構成に比べ、冗長な照合を抑えて、計算量の増加をより低減させることが可能になる。
【００１２】
その結果、認識性能をより向上させながら、計算量をより抑制することを可能にする画像認識装置を提供することが可能になる。
【００１３】
また、請求項２の画像認識装置では、前記抽出位置は、前記画像取得手段で取得した画像中の縦方向および横方向に前記画像抽出手段で抽出を行う場所をそれぞれずらしていく幅であることを特徴としている。
【００１４】
この請求項２のように、画像取得手段で取得した画像中の縦方向および横方向に画像抽出手段で抽出を行う場所をそれぞれずらしていく幅を、抽出位置として扱う態様としてもよい。
【００１５】
また、請求項３の画像認識装置では、前記照合パラメータは、前記画像抽出手段で画像を抽出する際の抽出領域の大きさを決めるパラメータも含むことを特徴としている。
【００１６】
これによれば、抽出位置を決めるパラメータだけでなく抽出領域の大きさを決めるパラメータについても粗く決定することによって画像中の広範囲にわたって粗く照合を行って対象物である確率が高い画像上の領域を大まかに絞り込んだ後に、絞り込んだ領域についてより細かな照合を行って対象物の認識を行うことが可能になる。
【００１７】
また、請求項４の画像認識装置では、必要となるパターンの照合回数をもとに、前記照合に必要となる計算量を推定し、この推定の結果に従って、前記組分け手段で各組に振り分けるパターン数の補正を行う補正手段をさらに備えることを特徴としている。
【００１８】
これによれば、照合に必要となる計算量をより抑えるように複数種類のパターンの集合中の各組に振り分けるパターン数の補正を行うことによって、計算量をさらに抑制することが可能になる。例えば、認識性能の向上と計算量の抑制とのバランスが良好となる計算量となるように複数種類のパターンの集合中の各組に振り分けるパターン数の補正を行うことによって、認識性能の向上と計算量の抑制との両立をさらに効果的に行うことも可能になる。
【００１９】
ここで、照合パラメータ決定手段での照合パラメータの決定の態様としては、例えば、請求項５〜１０の態様がある。
【００２０】
請求項５の画像認識装置では、照合パラメータ決定手段は、前記複数種類のパターンの集合中の各パターン個別の大きさに応じて前記照合パラメータを決定することによって、前記細分化の度合いが低い組ほど、前記照合パラメータを粗い値に決定することを特徴としている。
【００２１】
この請求項５のように、照合パラメータ決定手段は、複数種類のパターンの集合中の各パターン個別の大きさに応じて照合パラメータを決定することによって、細分化の度合いが低い組ほど、照合パラメータを粗い値に決定する態様としてもよい。例えば、パターンの大きさが大きいものほど照合パラメータを粗い値に決定し、パターンの大きさが小さいものほど照合パラメータを細かい値に決定することによって、細分化の度合いが低い組ほど、照合パラメータを粗い値に決定することができる。
【００２２】
また、請求項６の画像認識装置では、前記パターンは、互いに隣接する複数個の矩形を含む矩形特徴であって、前記複数種類のパターンの集合中の各パターン個別の大きさは、前記複数個の矩形全体の横幅、前記矩形特徴中の矩形１つについての縦幅、および前記矩形特徴中の矩形１つについての横幅であることを特徴としている。
【００２３】
請求項５の構成において、この請求項６のように、パターンは、互いに隣接する複数個の矩形を含む矩形特徴であって、複数種類のパターンの集合中の各パターン個別の大きさは、複数個の矩形全体の横幅、矩形特徴中の矩形１つについての縦幅、および矩形特徴中の矩形１つについての横幅である態様としてもよい。
【００２４】
また、請求項７の画像認識装置では、照合パラメータ決定手段は、前記組ごとの平均的な大きさに応じて前記照合パラメータを決定することによって、前記細分化の度合いが低い組ほど、前記照合パラメータを粗い値に決定することを特徴としている。
【００２５】
この請求項７のように、照合パラメータ決定手段は、複数種類のパターンの集合中の組ごとの平均的な大きさに応じて照合パラメータを決定することによって、細分化の度合いが低い組ほど、照合パラメータを粗い値に決定する態様としてもよい。例えば、平均的な大きさが大きい組ほど照合パラメータを粗い値に決定し、平均的な大きさが小さい組ほど照合パラメータを細かい値に決定することによって、細分化の度合いが低い組ほど、照合パラメータを粗い値に決定することができる。
【００２６】
また、請求項８の画像認識装置では、前記パターンは、互いに隣接する複数個の矩形を含む矩形特徴であって、前記平均的な大きさは、前記組中の各矩形特徴について矩形特徴自体の面積に対しての前記複数個の矩形の占有面積の平均をとることによって得られる平均面積であることを特徴としている。
【００２７】
請求項７の構成において、この請求項８のように、各矩形特徴について矩形特徴自体の面積に対しての複数個の矩形の占有面積の平均をとることによって得られる平均面積を、平均的な大きさとして扱う態様としてもよい。
【００２８】
また、請求項９の画像認識装置では、照合パラメータ決定手段は、前記組ごとの代表的なパターンの大きさに応じて前記照合パラメータを決定することによって、前記細分化の度合いが低い組ほど、前記照合パラメータを粗い値に決定することを特徴としている。
【００２９】
この請求項９のように、照合パラメータ決定手段は、複数種類のパターンの集合中の組ごとの代表的なパターンの大きさに応じて照合パラメータを決定することによって、細分化の度合いが低い組ほど、照合パラメータを粗い値に決定する態様としてもよい。
【００３０】
また、請求項１０の画像認識装置では、前記代表的なパターンの大きさは、前記組中の各パターンの大きさの最大値、最小値、最頻値、および中央値のうちのいずれかであることを特徴としている。
【００３１】
請求項９の構成において、この請求項１０のように、組中の各パターンの大きさの最大値、最小値、最頻値、および中央値のうちのいずれかを、代表的なパターンの大きさとして扱う態様としてもよい。
【００３２】
また、請求項１１の画像認識装置では、前記集合は、対象物の種別ごとに複数種類設けられていることを特徴としている。
【００３３】
これによれば、１枚の画像中の種別の異なる各対象物について、認識性能をより向上させながら計算量をより抑制した照合による対象物の認識をそれぞれ行うことが可能になる。例えば、１枚の画像中の人や車について、認識性能をより向上させながら計算量をより抑制した照合による認識をそれぞれ行うことが可能になる。
【図面の簡単な説明】
【００３４】
【図１】画像認識装置１の概略的な構成を示すブロック図である。
【図２】矩形特徴のパターンの一例を示す図である。
【図３】歩行者認識モデルの概念を示す模式図である。
【図４】照合パラメータを説明する模式図である。
【図５】画像認識装置１での動作フローの一例を示すフローチャートである。
【図６】（ａ）は細分化レベル「低」の組についての切り出し実行範囲および照合パラメータを模式的に示す図であり、（ｂ）は細分化レベル「低」の組についての照合およびその結果の一例を説明する図であり、（ｃ）は、候補画像となった領域の一例を模式的に示す図である。
【図７】（ａ）は細分化レベル「中」の組についての切り出し実行範囲および照合パラメータを模式的に示す図であり、（ｂ）は細分化レベル「中」の組についての照合およびその結果の一例を説明する図であり、（ｃ）は、候補画像となった領域の一例を模式的に示す図である。
【図８】（ａ）は細分化レベル「高」の組についての切り出し実行範囲および照合パラメータを模式的に示す図であり、（ｂ）は細分化レベル「高」の組についての照合およびその結果の一例を説明する図であり、（ｃ）は、対象物である旨の判定が行われた領域の一例を模式的に示す図である。
【図９】画像認識装置１ａの概略的な構成を示すブロック図である。
【図１０】（ａ）は判定パターンの群ごとの判定パターン中の局所領域の占有面積の平均値を示す図であって、（ｂ）は各組に振り分ける判定パターンの群の数のあらゆる組み合わせに対しての、照合に必要となる計算量の推定結果を示す図である。
【図１１】（ａ）および（ｂ）は、判定パターン個別の大きさに応じた照合パラメータの一例を説明する図である。
【発明を実施するための形態】
【００３５】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された画像認識装置１の概略的な構成を示すブロック図である。図１に示す画像認識装置１は、車両に搭載されるものであり、画像取得部１１、登録辞書部１２、組分け部１３、画像抽出位置決定部１４、画像抽出部１５、照合部１６、および判定部１７を備えている。なお、本実施形態では、画像認識装置１で認識対象とする物体を歩行者（つまり、人）とした場合の例を挙げて以降の説明を行う。
【００３６】
画像取得部１１は、撮像手段としての撮像装置で得られた画像（以下、撮像画像と呼ぶ）を取得する。よって、画像取得部１１は、請求項の画像取得手段として機能する。なお、撮像装置は、光学情報をデータ列化することによって画像化するカメラであるものとする。また、画像取得部１１においては、後述する照合部１６での照合の処理を高速化するために、撮像画像についてのインテグラルイメージも作成するものとする。なお、このインテグラルイメージについては周知の方法で作成されるものとし、本実施形態では、照合部１６での処理時にこのインテグラルイメージを参照することによって処理を高速化するものとする。
【００３７】
登録辞書部１２は、対象物の複数の画像例をもとにこの対象物の特徴を学習して予め構築された複数種類の判定パターンとこの複数種類の判定パターンに対応する判定閾値とを少なくとも対応付けて格納している。よって、判定パターンは、請求項のパターンに相当する。また、登録辞書部１２には、複数種類の判定パターンの集合が格納されることにもなるので、登録辞書部１２は、請求項のパターン格納部として機能する。
【００３８】
なお、例えば、非特許文献４に開示されている物体検出方法のアルゴリズムにおける矩形特徴とその閾値とを、本実施形態の判定パターンおよび判定閾値として用いることが可能である。なお、非特許文献４に開示されている物体検出手法のアルゴリズムとは、画像中の一定の矩形領域から、矩形特徴（Rectangle Filter）を用いて特徴量を抽出し、判別関数を用いてその特徴量を評価することにより、その矩形領域が対象物を表しているものであるか否かを評価するものである。また、矩形特徴とは、図２に示すような白矩形および黒矩形からなる局所領域に含まれる画素の輝度の総和の組み合わせで表されるものであって、矩形特徴の強度は図中の白矩形に含まれる画素の輝度値の平均と図中の黒矩形に含まれる画素の輝度の平均の差として表される。つまり、図中の白矩形の平均輝度から図中の黒矩形の平均輝度を引いた値が矩形特徴の強度となる。なお、矩形特徴としては、互いに隣接する複数個の矩形から構成される様々なものを用いることができ、図２に示したものの他にも、白矩形と黒矩形とからなるパターンが異なるものや大きさ、位置、角度などが異なるものを複数用いることが可能である。また、矩形特徴の閾値とは、矩形特徴ごとに設定される値であって、上述の学習において対象物の判別エラーを最小にする値として求められたものである。以降では、非特許文献４に開示されている物体検出方法のアルゴリズムにおける矩形特徴とその閾値とを、本実施形態の判定パターンおよび判定閾値として用いるものとして説明を続ける。
【００３９】
また、登録辞書部１２は、前述の複数種類の判定パターンとこの複数種類の判定パターンの判定閾値とに加え、この複数種類の判定パターンに対応する所定の正解得点および所定の不正解得点を対応付けて格納している。なお、所定の正解得点および所定の不正解得点とは、上述の学習によって判定パターンに対して設定されている「重み」であって、特許文献１に開示されている「閾値に応じた重み」と同様のものである。つまり、登録辞書部１２には、判定パターンとこの判定パターンに対応する判定閾値とこの判定パターンに対応する正解得点および不正解得点とが判定パターンの種類の数だけ対応付けられて格納されている。
【００４０】
組分け部１３は、登録辞書部１２に格納されている前述の複数種類の判定パターンの集合を、対象物の全体についての判定パターンから対象物の構成要素についての判定パターンにかけての細分化の度合いに応じて複数の組に分け、組ごとに分けられた判定パターンの集合からなる物体認識モデル（本例では、歩行者認識モデル）を得る。よって、組分け部１３は、請求項の組分け手段として機能する。
【００４１】
ここで、本実施形態の物体認識モデルについて、図３を用いて説明を行う。図３は、歩行者認識モデルの概念を示す模式図である。なお、本実施形態では、一例として、細分化の度合いを、細分化レベル「低」、細分化レベル「中」、細分化レベル「高」の３段階とするものとして以降の説明を行う。
【００４２】
図３に示すような、歩行者の全身、左腕領域、右腕領域といった、歩行者の全身や半身などの細分化の度合いが低い判定パターンからなる集合を細分化レベル「低」の組とする。また、図３に示すような、歩行者の頭部といった、歩行者の頭や腕や脚などのような細分化の度合いが中程度の判定パターンからなる集合を細分化レベル「中」の組とする。そして、図３に示すような、歩行者の左足や右足といった、歩行者の手や足や膝などのような細分化の度合いが高い判定パターンからなる集合を細分化レベル「高」の組とする。なお、物体認識モデル中の各判定パターンは、登録辞書部１２中の各判定パターンに対応する判定閾値、正解得点、および不正解得点とＩＤ等の識別子によって紐付けされているものとする。
【００４３】
なお、登録辞書部１２に格納されている複数種類の判定パターンの集合は、判定パターンが複数個ずつまとまった群からなる構成であってもよい。この場合には、組分け部１３によって、複数種類の群が細分化の度合いに応じて複数の組に分けられることになる。
【００４４】
また、ここで、細分化の度合い応じた組分けの詳細について説明を行う。本実施形態の例では、判定パターン（矩形特徴）中の局所領域（複数の矩形全体）の占有面積を求め、この占有面積が１０％以上であった場合には細分化レベル「低」の組に振り分け、この占有面積が６％以上、且つ、１０％未満であった場合には細分化レベル「中」の組に振り分け、この占有面積が６％未満であった場合には細分化レベル「高」の組に振り分ける。なお、判定パターンが複数個ずつまとまった群からなる構成であった場合には、各々の群ごとに判定パターン中の局所領域の占有面積の平均値を求め、この占有面積の平均値に応じて上述したように細分化レベル「低」、細分化レベル「中」、細分化レベル「高」の３つの組にそれぞれ振り分けるものとする。
【００４５】
画像抽出位置決定部１４は、後述する画像抽出部１５によって撮像画像から所定の領域の画像の切り出しを実行する範囲（以下、切り出し実行範囲と呼ぶ）を決定し、この切り出し実行範囲の情報を画像抽出部１５に送る。具体的には、画像抽出位置決定部１４は、組分け部１３での組分けの結果をもとに、細分化の度合いごとに切り出し実行範囲を決定する。なお、切り出し実行範囲の決定の処理の詳細については後述する。
【００４６】
また、画像抽出位置決定部１４は、照合パラメータを決定し、この照合パラメータを画像抽出部１５に送る。なお、照合パラメータとは、画像抽出部１５によって撮像画像から切り出して抽出する所定の領域の画像の抽出位置を決めるパラメータと抽出領域の大きさを決めるパラメータとを含む。よって、画像抽出位置決定部１４は、抽出位置を決めるパラメータと抽出領域の大きさを決めるパラメータとを決定し、これらのパラメータを画像抽出部１５に送ることになる。具体的には、画像抽出位置決定部１４は、組分け部１３での組分けの結果をもとに、細分化の度合いが低い組ほど、照合パラメータを粗い値に決定する。よって、画像抽出位置決定部１４は、請求項の照合パラメータ決定手段として機能する。
【００４７】
ここで、照合パラメータについて図４を用いて説明を行う。図４は、照合パラメータを説明する模式図である。照合パラメータは、前述の抽出位置を決めるパラメータとして、図４に示すように、画像抽出部１５によって抽出を行う場所を撮像画像中の横方向（つまり、撮像画像中のｘｙ軸方向のうちｘ軸方向）にずらしていく幅Δx、および画像抽出部１５によって抽出を行う場所を撮像画像中の縦方向（つまり、撮像画像中のｘｙ軸方向のうちｙ軸方向）にずらしていく幅Δｙを含み、前述の抽出領域の大きさを決めるパラメータとして、抽出領域の大きさを変化させる際の変化量Δscaleを含む。なお、組分け部１３での組分けの結果ごとの照合パラメータの決定については、予め細分化レベル「低」、細分化レベル「中」、細分化レベル「高」の組ごとの平均的な大きさに応じて、細分化の度合いが低い組ほど粗い値となるように決定する。なお、ここで言うところの平均的な大きさとは、個々の組中の各判定パターン（矩形特徴）について矩形特徴自体の面積に対しての局所領域（複数個の矩形全体）の占有面積の平均をとることによって得られる平均面積を表している。なお、切り出し実施範囲を照合パラメータに含む構成としても構わない。
【００４８】
画像抽出部１５は、撮像画像から所定の領域の画像を切り出して抽出する。よって、画像抽出部１５は、請求項の画像抽出手段として機能する。具体的には、画像抽出位置決定部１４で決定された切り出し実行範囲および照合パラメータに基づき、細分化の度合いに応じた撮像画像中の範囲内において、画像の切り出しを行う領域の大きさを細分化の度合いに応じた変化量で順次変化させるとともに、画像の切り出しを行う位置を細分化の度合いに応じた幅で縦または横に順次ずらしていくことによって所定の領域の画像を順次切り出して抽出する。なお、画像抽出部１５によって撮像画像から切り出して抽出された画像を以降では、抽出画像と呼ぶ。
【００４９】
照合部１６は、画像抽出部１５で得られた抽出画像と物体認識モデル中の判定パターンとを照合することによって、抽出画像と判定パターンとのパターン類似度（つまり、対象物らしさ）を示す評価値を算出する。本実施形態の例では、照合部１６は、歩行者認識モデル中の判定パターンが表現する抽出画像中の部分領域の輝度明暗の差分値（つまり、前述の矩形特徴の強度）を算出する。そして、照合部１６は、算出した差分値が、この判定パターンに紐付けられている判定閾値以上の場合は、対象物である可能性が高いものとして、この判定パターンに紐付けられている正解得点を評価値として算出する。また、算出した差分値が、この判定パターンに紐付けられている判定閾値未満の場合は、対象物である可能性が高くないものとして、この判定パターンに紐付けられている不正解得点を評価値として算出する。
【００５０】
また、照合部１６は、抽出画像と判定パターンとの照合を行う際に、抽出画像と判定パターンとの大きさを合わせて照合を行うものとする。なお、抽出画像と判定パターンとの大きさを合わせる場合には、抽出画像の大きさを変化させて判定パターンの大きさに合わせる構成であってもよいし、判定パターンの大きさを変化させて抽出画像の大きさに合わせる構成であってもよい。ただし、抽出画像の大きさを変化させて判定パターンの大きさに合わせる構成とした場合には、前述のインテグラルイメージを再度作成しなければならなくなるため、判定パターンの大きさを変化させて抽出画像の大きさに合わせる構成がより好ましい。
【００５１】
さらに、照合部１６は、画像抽出部１５で抽出した抽出画像に対して、物体認識モデル中のそのとき選択されている組（本実施形態の例では、歩行者認識モデル中の細分化レベル「低」、細分化レベル「中」、細分化レベル「高」のいずれかの組）に含まれる判定パターンのすべてについて、判定パターンごとに前述の評価値の算出を順次行う。
【００５２】
判定部１７は、照合部１６で順次算出した評価値をもとに、対象物の適否の判定を行う。例えば、判定部１７は、照合部１６で順次算出した評価値の総和を求め、この総和が所定の閾値以上か否かを判定することによって、対象物の適否の判定を行う。具体的には、所定の閾値以上であると判定した場合には、対象とした抽出画像を、対象物を含む候補画像とし、当該抽出画像について、（対象とした抽出画像に含まれている物体が）対象物である旨の判定を行う。また、所定の閾値未満であると判定した場合には、対象とした抽出画像を、対象物を含まない非候補画像とし、当該抽出画像について、対象物でない旨の判定を行う。よって、照合部１６および判定部１７は、請求項の照合判定部として機能する。なお、ここで言うところの所定の閾値とは、例えば予め学習によって物体認識モデル中の各組ごとに設定される値であって、抽出画像中の対象物の存否の判定のエラーを最小化させるように設定される値である。
【００５３】
また、画像抽出位置決定部１４、画像抽出部１５、照合部１６、判定部１７の順に行われる前述の一連の処理は、細分化の度合いがより低い組から順番に行っていくとともに、細分化の度合いがより高い組については、細分化の度合いがより低い組において判定部１７で対象物である旨の判定が行われた抽出画像に対応する領域に絞って行っていくものとする。そして、組分けされたもののうち細分化の度合いが最も高い組において判定部１７で対象物である旨の判定が行われた場合に、対象物である旨の判定が行われた抽出画像に含まれる照合の対象となった物体を対象物として決定し、決定した結果を表示装置に出力して表示させる。
【００５４】
なお、本実施形態では、画像抽出位置決定部１４、画像抽出部１５、照合部１６、判定部１７の順に一連の処理が繰り返される構成を示したが、必ずしもこれに限らない。例えば、画像抽出位置決定部１４での切り出し実行範囲および照合パラメータの決定については、物体認識モデル中の各組ごとに予め決定しておくことによって、画像抽出位置決定部１４での処理については、物体認識モデル中の各組ごとに繰り返しては処理を行わない構成としてもよい。
【００５５】
次に、図５を用いて、画像認識装置１での動作フローの一例についての説明を行う。図２は、画像認識装置１での動作フローの一例を示すフローチャートである。なお、本フローは、自車両のイグニッションスイッチがオンされたときに開始される。また、本フローでは、組分け部１３によって既に組ごとに分けられた歩行者認識モデルが得られているものとする。
【００５６】
まず、ステップＳ１では、画像取得部１１が撮像画像を取得し、この撮像画像のデータを画像抽出部１５に送ってステップＳ２に移る。
【００５７】
ステップＳ２では、第1画像抽出位置決定処理を行って、ステップＳ３に移る。第1画像抽出位置決定処理では、歩行者認識モデル中の細分化レベル「低」の組について、画像抽出位置決定部１４が切り出し実行範囲および照合パラメータを決定する。例えば、切り出し実行範囲は撮像画像の全体とし、照合パラメータは、細分化レベル「中」について決定される照合パラメータよりも粗い値に決定される。
【００５８】
ステップＳ３では、第１画像抽出処理を行って、ステップＳ４に移る。第１画像抽出処理では、ステップＳ２で決定された切り出し実行範囲および照合パラメータに従って、画像抽出部１５が撮像画像中の所定の領域の画像を切り出して抽出し、抽出画像のデータを照合部１６に送る。
【００５９】
ステップＳ４では、第１照合処理を行って、ステップＳ５に移る。第１照合処理では、画像抽出部１５から送られてきた抽出画像のデータをもとに、細分化レベル「低」に含まれる判定パターンのすべてについて、判定パターンごとに照合部１７が評価値の算出を行う。
【００６０】
ステップＳ５では、第１判定処理を行って、ステップＳ６に移る。第１判定処理では、照合部１６で順次算出した評価値の総和が所定の閾値以上か否かを判定部１７が判定し、所定の閾値以上であると判定した場合には、対象とした抽出画像を候補画像とする。また、所定の閾値未満であると判定した場合には、対象とした抽出画像を非候補画像とする。
【００６１】
ステップＳ６では、画像抽出部１５で順次抽出されるべき抽出画像の全てについて第１照合処理および第１判定処理が終了していた場合（ステップＳ６でＹｅｓ）には、ステップＳ７に移る。また、画像抽出部１５で順次抽出されるべき抽出画像の全てについては第１照合処理および第１判定処理が終了していなかった場合（ステップＳ６でＮｏ）には、ステップＳ３に戻ってフローを繰り返す。なお、画像抽出部１５で順次抽出されるべき抽出画像の数は、画像抽出位置決定部１４で決定された切り出し実行範囲および照合パラメータによって決まる。
【００６２】
また、本フローでは、抽出位置をΔｘまたはΔｙずらすか、もしくは抽出領域の大きさをΔscale変化させた１枚の抽出画像をステップ３において得るたびにステップＳ４に移る。そして、ステップＳ６を通してステップ３に処理が戻ってきた場合には、当該抽出画像を抽出した領域から抽出位置をΔｘまたはΔｙずらすか、もしくは抽出領域の大きさをΔscale変化させた領域の画像を新たな抽出画像として得て、ステップＳ４に移り、フローを繰り返すことによって順次抽出を行い、撮像画像の全範囲を網羅する。
【００６３】
ステップＳ７では、第２画像抽出位置決定処理を行って、ステップＳ８に移る。第２画像抽出位置決定処理では、歩行者認識モデル中の細分化レベル「中」の組について、画像抽出位置決定部１４が切り出し実行範囲および照合パラメータを決定する。例えば、切り出し実行範囲は、ステップＳ５において候補画像とされた画像の撮像画像中の領域を中心とした周辺の範囲までとし、照合パラメータは、細分化レベル「高」について決定される照合パラメータよりも粗い値であって、細分化レベル「低」について決定される照合パラメータよりも細かい値に決定される。なお、ここで言うところの周辺の範囲とは、任意に設定可能な範囲であって、例えば、候補画像とされた画像の領域を撮像画像中の縦方向および横方向に数ピクセル程度ずれた範囲までとすればよい。
【００６４】
ステップＳ８では、第２画像抽出処理を行って、ステップＳ９に移る。第２画像抽出処理では、ステップＳ７で決定された切り出し実行範囲および照合パラメータに従って、画像抽出部１５が撮像画像中の所定の領域の画像を切り出して抽出し、抽出画像のデータを照合部１６に送る。
【００６５】
ステップＳ９では、第２照合処理を行って、ステップＳ１０に移る。第２照合処理では、画像抽出部１５から送られてきた抽出画像のデータをもとに、細分化レベル「中」に含まれる判定パターンのすべてについて、判定パターンごとに照合部１７が評価値の算出を行う。
【００６６】
ステップＳ１０では、第２判定処理を行って、ステップＳ６に移る。第２判定処理では、照合部１６で順次算出した評価値の総和が所定の閾値以上か否かを判定部１７が判定し、所定の閾値以上であると判定した場合には、対象とした抽出画像を候補画像とする。また、所定の閾値未満であると判定した場合には、対象とした抽出画像を非候補画像とする。
【００６７】
ステップＳ１１では、画像抽出部１５で順次抽出されるべき抽出画像の全てについて第２照合処理および第２判定処理が終了していた場合（ステップＳ１１でＹｅｓ）には、ステップＳ１２に移る。また、画像抽出部１５で順次抽出されるべき抽出画像の全てについては第２照合処理および第２判定処理が終了していなかった場合（ステップＳ１１でＮｏ）には、ステップＳ８に戻ってフローを繰り返す。
【００６８】
また、本フローでは、抽出位置をΔｘまたはΔｙずらすか、もしくは抽出領域の大きさをΔscale変化させた１枚の抽出画像をステップＳ８において得るたびにステップＳ９に移る。そして、ステップＳ１１を通してステップ８に処理が戻ってきた場合には、当該抽出画像を抽出した領域から抽出位置をΔｘまたはΔｙずらすか、もしくは抽出領域の大きさをΔscale変化させた領域の画像を新たな抽出画像として得て、ステップＳ９に移り、フローを繰り返すことによって順次抽出を行い、ステップＳ５において候補画像とされた画像の領域を中心とした周辺の範囲を網羅する。なお、ステップＳ５において候補画像とされた画像の領域が複数存在した場合には、その複数の領域のすべてについてステップＳ８〜ステップＳ１１の処理が繰り返される。
【００６９】
ステップＳ１２では、第３画像抽出位置決定処理を行って、ステップＳ１４に移る。第３画像抽出位置決定処理では、歩行者認識モデル中の細分化レベル「高」の組について、画像抽出位置決定部１４が切り出し実行範囲および照合パラメータを決定する。例えば、切り出し実行範囲は、撮像画像中のステップＳ１０において候補画像とされた画像の領域の範囲までとし、照合パラメータは、細分化レベル「中」について決定される照合パラメータよりも細かい値に決定される。
【００７０】
ステップＳ１３では、第３画像抽出処理を行って、ステップＳ１４に移る。第３画像抽出処理では、ステップＳ１２で決定された切り出し実行範囲および照合パラメータに従って、画像抽出部１５が撮像画像中の所定の領域の画像を切り出して抽出し、抽出画像のデータを照合部１６に送る。
【００７１】
ステップＳ１４では、第３照合処理を行って、ステップＳ１５に移る。第３照合処理では、画像抽出部１５から送られてきた抽出画像のデータをもとに、細分化レベル「高」に含まれる判定パターンのすべてについて、判定パターンごとに照合部１７が評価値の算出を行う。
【００７２】
ステップＳ１５では、第３判定処理を行って、ステップＳ１６に移る。第３判定処理では、照合部１６で順次算出した評価値の総和が所定の閾値以上か否かを判定部１７が判定し、所定の閾値以上であると判定した場合には、対象とした抽出画像について、（対象とした抽出画像に含まれている物体が）対象物である旨の判定を行う。また、所定の閾値未満であると判定した場合には、対象とした抽出画像について、対象物でない旨の判定を行う。
【００７３】
ステップＳ１６では、画像抽出部１５で抽出される抽出画像の全てについて第３照合処理および第３判定処理が終了していた場合（ステップＳ１６でＹｅｓ）には、ステップＳ１７に移る。また、画像抽出部１５で抽出される抽出画像の全てについては第２照合処理および第２判定処理が終了していなかった場合（ステップＳ１６でＮｏ）には、ステップＳ１３に戻ってフローを繰り返す。
【００７４】
また、本フローでは、抽出位置も抽出領域の大きさも、ステップＳ１０において候補画像とされた画像の領域に固定し、変化させない。つまり、ステップＳ１２において、照合パラメータであるΔｘ、Δｙ、Δscaleのすべての値として、最も細かい値である０が決定される。よって、本フローでは、ステップＳ１０において候補画像とされた画像の領域と一致する領域の抽出画像のみについて照合が行われることになる。
【００７５】
ステップＳ１７では、ステップＳ１５において対象物である旨の判定が行われた抽出画像が存在した場合には、対象物あり（ステップＳ１７でＹｅｓ）として、対象物である旨の判定が行われた抽出画像に含まれる照合の対象となった物体を対象物として決定し、ステップＳ１８に移る。また、ステップＳ１５において対象物である旨の判定が行われた抽出画像が存在しなかった場合には、対象物なし（ステップＳ１７でＮｏ）として、ステップＳ１９に移る。
【００７６】
ステップＳ１８では、対象物である旨の判定が行われた抽出画像に含まれる照合の対象となった物体を対象物として決定し、決定した結果を表示装置に出力して表示（つまり、結果表示）させて、ステップＳ１９に移る。
【００７７】
ステップＳ１９では、自車両のイグニッションスイッチがオフ（つまり、イグニッションオフ）になった場合（ステップＳ１９でＹｅｓ）には、フローを終了する。また、イグニッションオフになっていない場合（ステップＳ１９でＮｏ）には、ステップＳ１に戻ってフローを繰り返す。
【００７８】
ここで、図６（ａ）〜図８（ｃ）を用いて、細分化レベル「低」、細分化レベル「中」、細分化レベル「高」のそれぞれに応じた画像抽出部１５、照合部１６、判定部１７での一連の処理について簡単に説明を行う。図６（ａ）は細分化レベル「低」の組についての切り出し実行範囲および照合パラメータを模式的に示す図であり、図６（ｂ）は細分化レベル「低」の組についての照合およびその結果の一例を説明する図であり、図６（ｃ）は、候補画像となった領域の一例を模式的に示す図である。また、図７（ａ）は細分化レベル「中」の組についての切り出し実行範囲および照合パラメータを模式的に示す図であり、図７（ｂ）は細分化レベル「中」の組についての照合およびその結果の一例を説明する図であり、図７（ｃ）は、候補画像となった領域の一例を模式的に示す図である。そして、図８（ａ）は細分化レベル「高」の組についての切り出し実行範囲および照合パラメータを模式的に示す図であり、図８（ｂ）は細分化レベル「高」の組についての照合およびその結果の一例を説明する図であり、図８（ｃ）は、対象物である旨の判定が行われた領域の一例を模式的に示す図である。
【００７９】
まず、細分化レベル「低」の組については、図６（ａ）に示すように、切り出し実行範囲を撮像画像の全体とすることによって、全組中で最も広い範囲を網羅するとともに、照合パラメータを全組中で最も粗い値に決定することによって、撮像画像の全体にわたって大まかに照合を行う。そして、図６（ｂ）に示すように、細分化レベル「低」の組に含まれる判定パターンによって照合を行って、誤認識を大まかに除去することによって、図６（ｃ）に示すように、対象物が存在する可能性の高い領域を大まかに絞り込む。なお、図６（ｂ）では、判定パターンとして全身についての判定パターンを例に挙げている。また、図６（ｂ）中の丸印は、その抽出画像について、対象物である可能性が高いものとして正解得点が算出されたことを示しており、バツ印は、その抽出画像について、対象物である可能性が高くないものとして不正解得点が算出されたことを示している。
【００８０】
続いて、細分化レベル「中」の組については、図７（ａ）に示すように、細分化レベル「低」の組についての処理において候補画像とされた画像の撮像画像中の領域を中心とした周辺の範囲を切り出し実行範囲とすることによって、細分化レベル「低」の組よりも絞った範囲に限定するとともに、照合パラメータを細分化レベル「高」について決定される照合パラメータよりも粗い値であって、細分化レベル「低」について決定される照合パラメータよりも細かい値に決定することによって、細分化レベル「低」の組よりも絞られた範囲でより詳細に照合を行う。そして、図７（ｂ）に示すように、細分化レベル「中」の組に含まれる判定パターンによって照合を行って、誤認識をより厳密に除去することによって、図７（ｃ）に示すように、対象物が存在する可能性の高い領域の位置や大きさまでを決定する。なお、図７（ｂ）では、判定パターンとして頭部についての判定パターンを例に挙げている。また、図７（ｂ）中の丸印は、その抽出画像について、対象物である可能性が高いものとして正解得点が算出されたことを示しており、バツ印は、その抽出画像について、対象物である可能性が高くないものとして不正解得点が算出されたことを示している。
【００８１】
そして、細分化レベル「高」の組については、図８（ａ）に示すように、細分化レベル「中」の組についての処理において候補画像とされた画像の撮像画像中の領域を切り出し実行範囲とすることによって、細分化レベル「中」の組よりもさらに絞った範囲に限定するとともに、照合パラメータを全組中で最も細かい値（本例ではΔｘ、Δｙ、Δscaleのすべての値を０）に決定することによって、位置や大きさまでが決定された範囲でさらに詳細に照合を行う。そして、図８（ｂ）に示すように、細分化レベル「高」の組に含まれる判定パターンによって照合を行って、誤認識をさらに厳密に除去することによって、図８（ｃ）に示すように、対象物の適否を厳密に決定する。なお、図８（ｂ）では、判定パターンとして左足および右足についての判定パターンを例に挙げている。また、図８（ｂ）中の丸印は、その抽出画像について、対象物である可能性が高いものとして正解得点が算出されたことを示しており、バツ印は、その抽出画像について、対象物である可能性が高くないものとして不正解得点が算出されたことを示している。
【００８２】
以上の構成によれば、細分化の度合いがより低い組から細分化の度合いがより高い組へと順番に、対象物である確率が高い画像上の領域を絞り込むので、照合の位置や照合を行う領域の大きさを変えながら照合を行う際の照合誤差をより低減させることができる。また、照合誤差をより低減させることができることから、正確な対象物の位置や大きさを決定した上で対象物であるか否かの判定を厳密に行わせることができるので、対象物の誤認識もより低減させることができる。
【００８３】
さらに、細分化の度合いがより高い組については、細分化の度合いがより低い組ほど画像の抽出位置を決めるパラメータおよび画像の抽出領域の大きさを決めるパラメータを粗い値に決定するとともに、細分化の度合いがより低い組において対象物である旨の判定が行われた候補画像に対応する画像上の領域に絞って、画像抽出部１５、照合部１６、判定部１７での一連の処理を行うので、画像中の広範囲にわたって粗く照合を行って対象物である確率が高い画像上の領域を大まかに絞り込んだ後に、絞り込んだ領域についてより細かな照合を行って対象物の認識を行うことができる。従って、画像中の全位置について、照合を行う領域の大きさを多段階に変化させながら網羅的に照合を行うような構成に比べ、冗長な照合を抑えて、計算量の増加をより低減させることが可能になる。
【００８４】
その結果、認識性能をより向上させながら、計算量をより抑制することを可能にする画像認識装置を提供することができる。また、計算量の増加をより低減させることが可能になるので、対象物の認識をより高速で行うことが可能になる。
【００８５】
なお、必要となる判定パターンの照合回数をもとに、照合に必要となる計算量を推定し、この推定の結果に従って、組分け部１３で各組に振り分ける判定パターン数の補正を行う構成としてもよい。以下では、図９を用いて、この構成について説明を行う。図９は、画像認識装置１ａの概略的な構成を示すブロック図である。なお、説明の便宜上、前述の実施形態の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、本実施形態では、判定パターンが複数個ずつまとまった群から物体認識モデルがなる場合を例に挙げて説明を行うものとする。
【００８６】
画像認識装置１ａは、画像取得部１１、登録辞書部１２、組分け部１３、画像抽出位置決定部１４、画像抽出部１５、照合部１６、判定部１７、および補正部１８を備えており、補正部１８を備えている点を除けば、画像認識装置１と同様の構成である。
【００８７】
補正部１８は、必要となる判定パターンの照合回数をもとに、照合に必要となる計算量を推定し、この推定の結果に従って、組分け部１３で各組に振り分ける判定パターンの群の数の補正を行う。よって、補正部１８は、請求項の補正手段として機能する。詳しくは、補正部１８は、組分け部１３から得られる物体認識モデル中の判定パターンの群の情報（群の数や群の並び順や群に含まれる判定パターンの数等の情報）と画像抽出位置決定部１４で決定される切り出し実行範囲および照合パラメータとをもとに、各組に振り分ける判定パターンの群の数のあらゆる組み合わせに対して、必要となる判定パターンの照合回数をもとに、照合に必要となる計算量を推定する。そして、この推定の結果をもとに、照合に必要となる計算量が許容計算量に収まるような、各組に振り分ける判定パターンの群の数の組み合わせを判断し、各組に振り分ける判定パターンの群の数をこの組み合わせに従った数に補正する。なお、ここで言うところの許容計算量とは、認識性能の向上と計算量の抑制とのバランスが良好となる計算量であって、予め設定されるものである。
【００８８】
ここで、図１０（ａ）および図１０（ｂ）を用いて、照合に必要となる計算量の推定についてさらに詳しく説明を行う。図１０（ａ）は、判定パターンの群ごとの判定パターン中の局所領域の占有面積の平均値を示す図である。なお、図１０（ａ）の横軸は、従来と同様の機械学習の結果によって大まかに判定パターンの細分化の度合いに応じて並べた歩行者認識モデル中の判定パターンの群の各番号を表しており、図１０（ａ）の縦軸は、判定パターンの群ごとの判定パターン中の局所領域の占有面積の平均値（つまり、平均面積）を表している。図１０（ａ）では、０番の判定パターンの群が全身等の細分化の度合いが低い判定パターンからなる群であり、１８番の判定パターンの群が手、足、肩等の細分化の度合いが高い判定パターンからなる群であるように、番号が大きくなるにつれて細分化の度合いが高くなるように大まかに並んでいる。なお、本例では、補正部１８で補正を行わない場合には、判定パターン中の局所領域の占有面積に応じた組分けによって、細分化レベル「低」の組に判定パターンの群が１個（０番）、細分化レベル「中」の組に判定パターンの群が７個（１番〜７番）、細分化レベル「高」の組に判定パターンの群が１０個（８番〜１８番）振り分けられる組み合わせ（以下、組み合わせＡと呼ぶ）となるものとする。
【００８９】
また、図１０（ｂ）は、各組に振り分ける判定パターンの群の数のあらゆる組み合わせに対しての、照合に必要となる計算量（つまり、計算時間）の推定結果を示す図である。なお、図１０（ｂ）の縦軸は、最も推定される計算量が少ない組み合わせにおける処理時間（つまり、最速の処理時間）を１とした場合の比率を表しており、図１０（ｂ）の横軸は、０番の判定パターンの群から何個の判定パターンの群を細分化レベル「低」の組に振り分けるのかを表している。また、図１０（ｂ）中の縦軸方向に並んだ複数の折れ線グラフは、下から何番目かによって、何個の判定パターンの群を細分化レベル「中」の組に振り分けるのかを表している。そして、図（ｂ）中の斜線で示した範囲は、許容計算量の範囲を表している。また、図１０（ｂ）で示した例では、細分化レベル「低」の照合パラメータを、Δｘ＝４ピクセル、Δｙ＝２ピクセル、Δscale＝０．８とし、細分化レベル「中」の照合パラメータを、Δｘ＝１ピクセル、Δｙ＝１ピクセル、Δscale＝０．９とし、細分化レベル「高」の照合パラメータを、Δｘ＝０ピクセル、Δｙ＝０ピクセル、Δscale＝０．０として推定を行ったものとする。なお、例えばΔscale＝０．８とは、抽出領域の大きさを変化させる際に８０％ずつ変化させることを示している。
【００９０】
補正部１８では、図１０（ｂ）に示したように、各組に振り分ける判定パターンの群の数のあらゆる組み合わせに対しての、照合に必要となる計算量の推定結果のうち、許容計算量の範囲に含まれる推定結果に対応した組み合わせとなるように組分け部１３で各組に振り分ける判定パターン群の数の補正を行う。一例として、補正部１８では、細分化レベル「低」の組に判定パターンの群が４個（０番〜３番）、細分化レベル「中」の組に判定パターンの群が４個（４番〜７番）、細分化レベル「高」の組に判定パターンの群が１０個（８番〜１８番）振り分けられる組み合わせ（以下、組み合わせＢと呼ぶ）となるように組分け部１３で各組に振り分ける判定パターン群の数の補正を行う。この組み合わせＢの場合には、図１０（ｂ）の図から、横軸の「４」の目盛りの下から４番目の折れ線グラフ上の点が処理時間比となるので、処理時間比は約２となり、許容計算量の範囲に含まれる。また、補正部１８で補正を行わないとした組み合わせＡの場合には、図１０（ｂ）の図から、横軸の「１」の目盛りの下から７番目の折れ線グラフ上の点が処理時間比となるので、処理時間比は約６となり、許容計算量の範囲に含まれない。
【００９１】
このように、補正部１８で補正を行わないとした組み合わせＡの場合に比べ、補正部１８で補正を行うものとした組み合わせＢの場合の方が、処理時間が３倍速くなる。つまり、以上の構成によれば、照合に必要となる計算量をより抑えるように物体認識モデル中の各組に振り分ける判定パターンの群の数（つまり、判定パターンの数）の補正を行うことによって、計算量をさらに抑制することが可能になる。また、補正部１８で補正を行うものとした組み合わせＢの場合では、推定結果が許容計算量の範囲に含まれるので、認識性能の向上と計算量の抑制との両立をさらに効果的に行うことができる。
【００９２】
なお、前述の実施形態では、従来と同様の機械学習の結果をそのまま用いる例を示したが、必ずしもこれに限らない。例えば、各々の大きさに応じて物体認識モデル中での判定パターンの並び順を大きいものから小さいものの順に並ぶように再編成した結果を用いる構成であってもよいし、機械学習の結果が予め各々の大きさに応じて物体認識モデル中での判定パターンの並び順を大きいものから小さいものの順に並ぶようにする構成としてもよい。
【００９３】
また、前述の実施形態では、画像抽出位置決定部１４が、物体認識モデル中の各組ごとの平均的な大きさに応じて、細分化の度合いが低い組ほど粗い値となるように照合パラメータを決定する構成を示したが、必ずしもこれに限らない。例えば、画像抽出位置決定部１４が、物体認識モデル中の各判定パターン個別の大きさに応じて照合パラメータを決定することによって、細分化の度合いが低い組ほど粗い値となるように照合パラメータを決定する構成としてもよい。
【００９４】
ここで、図１１（ａ）および図１１（ｂ）を用いて、各判定パターン個別の大きさに応じた照合パラメータの決定について説明を行う。図１１（ａ）および図１１（ｂ）は、判定パターン個別の大きさに応じた照合パラメータの一例を説明する図である。なお、ここでは、判定パターン（矩形特徴）中の複数個の矩形全体の横幅、矩形特徴中の矩形１つの縦幅、および矩形特徴中の矩形１つの横幅を判定パターンの大きさとして扱う場合を例に挙げて説明を行う。
【００９５】
図１１（ａ）および図１１（ｂ）に示すように、照合パラメータのうちのΔｘは、矩形特徴中の黒矩形１つの横幅と同じ値に決定する。また、照合パラメータのうちのΔｙは、矩形特徴中の黒矩形１つの縦幅の半分と同じ値に決定する。そして、照合パラメータのうちのΔscaleは、矩形特徴中の複数個の矩形全体の横幅をΔｘで除算した値に決定する。なお、各判定パターン個別の大きさに応じて照合パラメータを決定した場合であっても、物体認識モデル中の各組は判定パターン中の局所領域の占有面積に応じて組分けされているので、結果として、細分化の度合いが低い組ほど粗い値となるように照合パラメータが決定されることになる。
【００９６】
また、前述の実施形態では、判定パターン中の局所領域の占有面積に応じて組分け部１３が組分けを行う構成を示したが、組分けを上述したような各判定パターン個別の大きさに応じて行う構成としてもよい。
【００９７】
さらに、例えば、画像抽出位置決定部１４が、物体認識モデル中の各組ごとの代表的な判定パターンの大きさに応じて照合パラメータを決定することによって、細分化の度合いが低い組ほど粗い値となるように照合パラメータを決定する構成としてもよい。なお、ここで言うところの代表的なパターンの大きさとは、組中の各判定パターンの大きさの最大値、最小値、最頻値、および中央値等の各組を代表する統計値を表している。
【００９８】
なお、前述の実施形態では、抽出領域の大きさを決めるパラメータを照合パラメータに含み、細分化の度合いに応じて抽出領域の大きさが決定される構成を示したが、必ずしもこれに限らない。例えば、抽出領域の大きさを決めるパラメータを照合パラメータに含まず、抽出領域の大きさが細分化の度合いに関わらず決定される構成としてもよい。なお、この場合には、抽出領域の大きさは、認識したい対象物の距離に応じた大きさに決定する。具体的には、近傍にあると推定される対象物ほど大きく切り出し、遠方にあると推定される対象物ほど小さく切り出す。対象物までの距離については、例えば図示しない距離センサなどで検出してもよい。
【００９９】
また、前述の実施形態では、照合部１６で順次算出した評価値の総和を求め、この総和が所定の閾値以上か否かを判定することによって、判定部１７で対象物の適否の判定を行う構成を示したが、必ずしもこれに限らない。例えば、照合部１６は、歩行者認識モデル中の判定パターンが表現する抽出画像中の部分領域の輝度明暗の差分値を算出し、判定部１７は、照合部１６で算出した差分値が歩行者認識モデルの判定パターンに紐付けられている判定閾値以上であるか否かに応じて、対象物の適否の判定を行う構成としてもよい。この場合には、対象物である旨の判定が判定パターンの１つについてでも行われたときには、対象とした抽出画像について、対象物である旨の判定を行う構成であってもよいし、対象物である旨の判定が一定数以上の判定パターンについて行われたときに、対象とした抽出画像について、対象物である旨の判定を行う構成であってもよい。
【０１００】
なお、前述の実施形態では、細分化の度合いに応じて物体認識モデルを細分化レベル「低」、細分化レベル「中」、細分化レベル「高」の３つの組に組分けする構成を示したが、必ずしもこれに限らない。例えば、細分化の度合いに応じて物体認識モデルを２つの組に組分けする構成としてもよいし、４つ以上の組に組分けする構成としてもよい。
【０１０１】
また、前述の実施形態では、対象物を人とする構成を示したが、必ずしもこれに限らない。例えば、対象を人以外のもの（例えば車両や犬など）とする構成であってもよく、この場合、例えば、判定パターン、判定閾値、正解得点、不正解得点を対象物の種類分だけ登録辞書部１２に格納し、対象物の種類分だけ物体認識モデルを有する構成としてもよい。これによれば、１枚の撮像画像中の種別の異なる各対象物について、認識性能をより向上させながら計算量をより抑制した照合による対象物の認識をそれぞれ行うことが可能になる。例えば、１枚の撮像画像中の人や車について、認識性能をより向上させながら計算量をより抑制した照合による認識をそれぞれ行うことが可能になる。
【０１０２】
さらに、前述の実施形態では、光学情報をデータ列化して画像化するカメラを撮像装置として用いる構成を示したが、必ずしもこれに限らない。例えば、距離情報をデータ列化して画像化する距離センサ（例えばレーダなど）のアレイ構成等を撮像装置として用いる構成であってもよい。
【０１０３】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０１０４】
１  画像認識装置、１１  画像取得部（画像取得手段）、１２  登録辞書部（パターン格納部）、１３  組分け部（組分け手段）、１４  画像抽出位置決定部（照合パラメータ決定手段）、１５  画像抽出部（画像抽出手段）、１６  照合部（照合判定手段）、１７  判定部（照合判定手段）、１８  補正部（補正手段）
【図１】
2010257252.tif 000003
【図２】
2010257252.tif 000004
【図３】
2010257252.tif 000005
【図４】
2010257252.tif 000006
【図５】
2010257252.tif 000007
【図６】
2010257252.tif 000008
【図７】
2010257252.tif 000009
【図８】
2010257252.tif 000010
【図９】
2010257252.tif 000011
【図１０】
2010257252.tif 000012
【図１１】
2010257252.tif 000013