(57)【要約】【課題】画像データから高次局所自己相関特徴の演算を行い、その演算結果の特徴量に基づいて画像認識を行う場合に、適切なマスクパターンを生成し選択して組み合わせることにより少ない計算コストで高い識別率が得られる画像認識装置を構成する。【解決手段】高次局所自己相関特徴を抽出する第１マスクパターンの解像度を変更した第２マスクパターンを生成し、識別対象画像データから第２マスクパターンに基づいて高次局所自己相関特徴を抽出する。第２マスクパターンによる複数の高次局所自己相関特徴抽出手段をアダブースト処理の弱識別器として当該弱識別器を組み合わせたアダブースト処理を行い、統合した識別器を構成し、識別対象データに対する画像認識装置を構成する。【選択図】図１
2008140230.tif 000002
【特許請求の範囲】
【請求項１】
マスクパターン格納手段に高次局所自己相関特徴を抽出するための第１マスクパターンを格納するステップと、
前記第１マスクパターンの解像度を変更した第２マスクパターンを生成するステップと、
識別対象画像データから前記第２マスクパターンに基づいて高次局所自己相関特徴を抽出するステップと、
前記第２マスクパターンによる複数の高次局所自己相関特徴抽出手段をアダブースト処理の弱識別器として当該弱識別器を組み合わせたアダブースト処理を行い、統合した識別器を構成するステップと、
前記ステップにより構成された統合した識別器に基づいて識別対象データに対する画像認識装置を構成するステップと、
を備えることを特徴とする画像認識装置の構成方法。
【請求項２】
請求項１に記載の画像認識装置の構成方法により構成される画像認識装置であって、
解像度の異なる複数の高次局所自己相関特徴を抽出するマスクパターンを格納するマスクパターン格納手段と、
識別対象データから前記マスクパターンに基づいて高次局所自己相関特徴を抽出する複数の高次局所自己相関特徴抽出手段と、
前記複数の高次局所自己相関特徴抽出手段からの出力データを統合した識別器に基づいて統合する統合手段と
を備えることを特徴とする画像認識装置。
【請求項３】
高次局所自己相関特徴を抽出するための第１マスクパターンを格納するマスクパターン格納手段と、
前記第１マスクパターンの解像度を変更した第２マスクパターンを生成するマスクパターン多解像度化処理手段と、
識別対象画像データから前記第２マスクパターンに基づいて高次局所自己相関特徴を抽出する複数の高次局所自己相関特徴抽出手段と、
前記第２マスクパターンによる複数の高次局所自己相関特徴抽出手段をアダブースト処理の弱識別器として当該弱識別器を組み合わせたアダブースト処理を行い、識別器を構成するブースティング処理手段と、
前記ブースティング処理手段により構成された統合した識別器に基づいて識別対象データに対する画像認識装置を構成する画像認識装置構成手段と
を備えることを特徴とする画像認識装置の構成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから高次局所自己相関特徴の演算を行い、その演算結果の特徴量に基づいて画像認識を行う場合に、適切なマスクパターンを生成し選択して組み合わせることにより少ない計算コストで高い識別率が得られる画像認識装置を構成する方法および画像認識装置に関するものである。
【背景技術】
【０００２】
非特許文献１に見られるように、画像認識問題において有効かつ基本的な画像特徴である高次局所自己相関特徴（ＨＬＡＣ：Ｈｉｇｈｅｒ  ｏｒｄｅｒ  Ｌｏｃａｌ  ＡｕｔｏＣｏｒｒｅｌａｔｉｏｎ）が提案されており、ＨＬＡＣを用いた認識が様々な分野で試みられている。ＨＬＡＣでは、（１）式によって対象画像から計算される高々２次までの自己相関関数を特徴量として、認識処理を行う。
【数１】
2008140230.tif 000003
ここでｒは画像内の参照点、Ｉ（ｒ）は参照点ｒにおける画像の輝度値、ａ１，…，ａＮ（Ｎ＝０，１，２）は参照点のムーア近傍における重複を許された高々２つの近傍点を表す。近傍点の取り方（マスクパターン）は、マスクを平行移動させて同値になるものを除外することで、図２に示されるように、３５通りに制限される。
【０００３】
また、特許文献１および特許文献２には、本発明者等が提案した２次元画像に対する高次局所自己相関特徴（ＨＬＡＣデータ）を用いた学習適応型画像認識・計測方法の技術が開示されている。
【０００４】
立体高次局所自己相関特徴とは、２次元画像を時系列に並べたボクセルデータ（３次元データ）に対して、その中の各点において局所的な自己相関特徴を計算し、この局所特徴をボクセルデータ全体にわたって積分することにより得られる統計的特徴量であり、動作特徴であるといえる。
【非特許文献１】N. Otsu and T. Kurita,“A new scheme forpractical, flexible and intelligent vision systems,” Proc. IAPR Workshop on computer Vision,pp.431-435, 1988.
【非特許文献２】P. Viola and M.Jones, “Robust real time objectdetection,” In IEEE ICCVWorkshopon Statistical and Computational Theories of Vision, July 2001.
【非特許文献３】Y. Freund andR. Schapire, “A decisiontheoretic generalization of on-line learning and an application to boosting.” Journal of Computer and System Sciences,1997.
【特許文献１】特許第２９８２８１４号公報
【特許文献２】特許第２８３４１５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１および特許文献２において提案されている高次局所自己相関特徴を利用した適応的画像認識・計測手法においては、高次局所自己相関特徴（ＨＬＡＣデータ）の計算を、画像中のすべての場所で局所領域の画素の輝度値の積を計算し、それらを均一な重みで足し合わせるようにして行う。
【０００６】
しかし、認識対象によっては画像中の場所毎に適切に特徴を選択した方が良い場合があり、例えば、顔の認識では、眼や口等の領域の情報は頬や額の領域の情報よりも重要である。また、特徴を計算する画像の解像度も場所によって適切に設定した方が良いと考えられる。
【０００７】
本発明の目的は、画像データから高次局所自己相関特徴の演算を行い、その演算結果の特徴量に基づいて画像認識を行う場合に、適切なマスクパターンを生成し選択して組み合わせることにより少ない計算コストで高い識別率が得られる画像認識装置を構成する方法および画像認識装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記のような目的を達成するため、本発明は、第１態様として、本発明による画像認識装置の構成方法が、マスクパターン格納手段に高次局所自己相関特徴を抽出するための第１マスクパターンを格納するステップと、前記第１マスクパターンの解像度を変更した第２マスクパターンを生成するステップと、識別対象画像データから前記第２マスクパターンに基づいて高次局所自己相関特徴を抽出するステップと、前記第２マスクパターンによる複数の高次局所自己相関特徴抽出手段をアダブースト処理の弱識別器として当該弱識別器を組み合わせたアダブースト処理を行い、統合した識別器を構成するステップと、前記ステップにより構成された統合した識別器に基づいて識別対象データに対する画像認識装置を構成するステップとを備えるものとなっている。
【０００９】
また、本発明による画像認識装置の構成方法により構成される画像認識装置は、解像度の異なる複数の高次局所自己相関特徴を抽出するマスクパターンを格納するマスクパターン格納手段（１１，１２）と、識別対象データから前記マスクパターンに基づいて高次局所自己相関特徴を抽出する複数の高次局所自己相関特徴抽出手段（１３）と、前記複数の高次局所自己相関特徴抽出手段からの出力データを統合した識別器に基づいて統合する統合手段（１４）とを備えるように構成される。
【００１０】
また、本発明は、第２の態様として、本発明による画像認識装置の構成装置が、高次局所自己相関特徴を抽出するための第１マスクパターンを格納するマスクパターン格納手段（１１）と、前記第１マスクパターンの解像度を変更した第２マスクパターンを生成するマスクパターン多解像度化処理手段（１２）と、識別対象画像データから前記第２マスクパターンに基づいて高次局所自己相関特徴を抽出する複数の高次局所自己相関特徴抽出手段（１３）と、前記第２マスクパターンによる複数の高次局所自己相関特徴抽出手段をアダブースト処理の弱識別器として当該弱識別器を組み合わせたアダブースト処理を行い、識別器を構成するブースティング処理手段（１４）と、前記ブースティング処理手段により構成された統合した識別器に基づいて識別対象データに対する画像認識装置を構成する画像認識装置構成手段（１５）とを備えるように構成される。
【発明の効果】
【００１１】
本発明により構成される画像認識装置は、基本的には、ＨＬＡＣ特徴を計算して、その特徴量から画像認識を行うが、その場合に、画像データから輝度値の積を様々な解像度で計算され、それらが統合されて識別器が構成されたものとなっている。この場合に、複数の解像度の異なるマスクパターンが用いられることにより、本発明により構成される画像認識装置においては、部分領域から様々な解像度のマスクパターンでＨＬＡＣ特徴が計算され、それらが統合されて識別器が構成されるものとなる。様々な解像度のマスクパターンによるＨＬＡＣ特徴の選択・統合には、ブースティング処理を用いており、識別率を向上するものとなっている。
【００１２】
本発明によれば、高次局所自己相関特徴を利用した画像認識装置を構成する場合において、高次局所自己相関マスク特徴の選択および統合によって、識別率が向上するように検出対象の特徴量が抽出される画像認識装置が構成される。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施する形態について、図面を参照して説明する。図１は、本発明に係る画像認識装置の構成装置のシステム構成を示すブロック図である。図１において、１０は学習データとなる画像データであり、または認識対象となる画像データである。１１はＨＬＡＣマスクパターン格納部、１２はＨＬＡＣマスクパターンを多解像度化する多解像度化処理部、１３はＨＬＡＣ処理を行う複数のＨＬＡＣ処理部、１４はアダブースト（Ａｄａｂｏｏｓｔ）処理部、１５は画像認識装置構成部、１６は学習結果データである。
【００１４】
ＨＬＡＣマスクパターン格納部１１には、図２に示すような既知の予め作成された基準となる高次局所自己相関特徴（ＨＬＡＣ）を抽出するための第１マスクパターンが格納されている。多解像度化処理部１２が、第１マスクパターンの解像度を変更し、多様な解像度の第２マスクパターンを生成する。ここで生成された解像度の異なる第２マスクパターンを用いてＨＬＡＣ処理部１３が、画像データ１０から第２マスクパターンに基づいて高次局所自己相関特徴（ＨＬＡＣデータ）を抽出するＨＬＡＣ処理を行う。ＨＬＡＣ処理部１３としては、解像度の異なる第２マスクパターンを用いてそれぞれにＨＬＡＣ処理を行うための複数のＨＬＡＣ処理部１３が設けられているが、１つのＨＬＡＣ処理部により、順次にＨＬＡＣ処理を行い、一時記憶して、その結果が用いられる構成とされても良い。
【００１５】
複数のＨＬＡＣ処理部１３によって、識別対象の画像データ１０から第２マスクパターンに基づいて高次局所自己相関特徴（ＨＬＡＣデータ）を抽出されると、ＨＬＡＣデータは、アダブースト処理部１４に入力されて、ブースティング処理を行い、ＨＬＡＣデータが選択および統合される。この結果として学習結果データが１６が出力される。このブースティング処理の中で、ＨＬＡＣデータの選択および統合が様々に変更される。すなわち、第２マスクパターンによる複数のＨＬＡＣ処理部１３をアダブースト処理の弱識別器として、弱識別器を組み合わせるアダブースト処理を行い、識別器を構成する処理を行う。このようにして構成された識別器に基づいて、画像認識装置構成部１５が、画像データを認識する画像認識装置を構成する。
【００１６】
構成された画像認識装置により、画像データ１０を認識する。すなわち、ブースティング処理により構成された統合した識別器に基づいて識別対象の画像データ１０に対する画像認識装置が構成される。識別率が高められるように、ＨＬＡＣデータの選択および統合を行い、画像処理装置が構成される。
【００１７】
本発明では、従来と同様に、ＨＬＡＣ特徴を得るためのマスクパターンに対して、マスクパターンを多解像度としたマスクパターンを生成し、そのマスクパターンによりＨＬＡＣ特徴を計算する。と共に、さらに積分範囲を任意に可変とした特徴（以下、この特徴をＨＬＡＣマスク特徴という）を得る。このようにして、ＨＬＡＣマスク特徴により画像認識装置を構成している。これにより、マスクの多解像度化によって従来のＨＬＡＣよりも高い識別性能を得られる画像認識装置が構成できる。また、ブースティング処理により適切なマスクパターンが選択され、それらのマスクパターンにより得られる特徴量の統合により、よりも高い識別性能を得られる画像認識装置が構成できる。
【００１８】
次に、具体例について説明する。ＨＬＡＣは、画像中のすべての場所で局所的な輝度値の積（マスク値）を計算し、それらを均一な重みで足し合わせて特徴量を計算するが、認識対象によっては画像中で特徴量を取る場所を適切に選択した方が良い場合がある。一例として、顔の認識では、眼および口などの特徴的なパーツがある領域の情報は、頬または額などの平坦な領域の情報と比べて、しばしば、より重要である。さらに、特徴を計算する画像の解像度も、注目する場所ごとに適切に設定した方が良い。
【００１９】
そこで、本発明による画像認識装置の構成方法では、ＨＬＡＣが基本として用いるマスクパターンを多解像度化したマスクパターンとし、さらにマスク値の積分範囲を画像内の任意の部分領域に変更する。このようにして高次局所自己相関マスク特徴（ＨＬＡＣマスク特徴）からのＨＬＡＣデータを抽出する。多解像度のマスクでは、図３のように拡大された単位領域内の平均輝度値を元にしてマスク値の計算が行われる。矩形領域内の平均輝度値は、積分画像法（非特許文献２）により高速に計算することができる。
【００２０】
図３は、マスクパターンの多解像度化処理を説明する図である。図３において、ｍ１は原解像度のマスクを表す。ｍ２，ｍ３はそれぞれ解像度を１／２，１／３にしたマスクである。ｍ１では各被参照点（黒丸）の輝度値の積がマスク値となるが、ｍｋ（ｋ＝２，３，・・・）では各被参照領域（黒丸）ごとに平均輝度値を計算し、それらの積をマスク値とする。
【００２１】
図４は、２４×２４ピクセルの画像中におけるＨＬＡＣマスク特徴の例を説明する図である。図中の３つの太枠がそれぞれ一つの特徴を表す。ＨＬＡＣマスク特徴はマスクの解像度およびマスク値の積分領域というパラメータを持つが、図４では太枠で囲われた範囲が特徴の積分領域を示し、太枠内のマスクパターンの大きさがマスクの解像度を表している。ＨＬＡＣマスク特徴において、マスクの解像度を原解像度、および積分範囲を画像全体に限定すると、通常のＨＬＡＣの特徴抽出法と等価になる。
【００２２】
図４に示すように、ＨＬＡＣマスク特徴は、従来のＨＬＡＣに加えて「マスクの解像度」および「マスク値の積分範囲」という新たな二つのパラメータを持つ。マスク解像度を原解像度のみ、積分範囲を全画像として設定した場合、ＨＬＡＣマスク特徴は従来のＨＬＡＣと等価な特徴抽出法になる。したがって、ＨＬＡＣマスク特徴は、従来のＨＬＡＣを包含する拡張版となっている。
【００２３】
ＨＬＡＣマスク特徴は、局所特徴の一種である。対象の特徴的な部分（顔認識でいうならば、眼・口など）に注目するマスクは、それ以外のマスクよりも認識の際により重要となる。よって、このように認識に向いた場所にあるマスクを適切に選択する学習法が必要である。また、複数の場所の情報を統合して用いれば、単独の場所のみに注目するよりも正確な認識を行うことができるようになる。このため、ブースティング処理によって、これらＨＬＡＣマスク特徴の選択および統合を行う。このブースティング処理は、例えば、例えば、非特許文献３により公知のＡｄａｂｏｏｓｔ法の変種を用いる。
【００２４】
このＡｄａｂｏｏｓｔ法は、ベースとなる識別器（弱識別器）を複数個訓練し、それらを線形結合させてより強力な識別器を構成する学習法である。ここでは（２）式に基づいて単独のＨＬＡＣマスク特徴から２クラスの識別器を作り、それをＡｄａｂｏｏｓｔにおける弱識別器とする。この弱識別器の複数個を組み合わせる。
【００２５】
【数２】
2008140230.tif 000004
（２）式において、Ｉは入力画像であり、ｆ（Ｉ）はＩにおけるＨＬＡＣマスク特徴の特徴量（指定領域におけるマスク値の積分値）、ｐ∈｛１，−１｝およびθ∈Ｒは学習で決定されるパラメータである。
【００２６】
通常のＡｄａｂｏｏｓｔ法では、一つの識別器のパラメータを適応的に変化させることにより、複数の弱識別器が作られる。ここで、ＨＬＡＣマスク特徴のバリエーション（マスクパターン、解像度、積分領域）を識別器のパラメータの一つとみなすと、通常のＡｄａｂｏｏｓｔ法の枠組みでＨＬＡＣマスク特徴の選択を行うことができるようになる。また、Ａｄａｂｏｏｓｔ法では、既に選ばれた弱識別器の弱点をうまく補完するような識別器が逐次に新たに選ばれていくため、効率的に複数のＨＬＡＣマスク特徴を統合することができる。アダブースト処理のアルゴリズムは、図５に示されるとおりである。
【００２７】
次に、実験した結果をついて説明する。この実験では、顔／非顔の識別問題によってＨＬＡＣマスク特徴の識別性能を評価した。実験用サンプルとして、２４×２４ピクセルの顔画像７２５枚と非顔画像２２００枚の画像プールを用意し、その中の顔３００枚＋非顔１０００枚を訓練セット、顔４２５枚＋非顔１２００枚を評価セットとした。訓練／評価セットは全画像プールの中からランダムに選ばれる。ここで識別率は、いずれも異なる３通りの訓練／評価セットにおける識別率の平均値である。
【００２８】
ＨＬＡＣマスク特徴では、マスク値の積分範囲が広いときに、Ａｄａｂｏｏｓｔ法の学習にかかる計算コストが膨大なものになってしまう。そのため、最初に適切な積分領域のサイズを決めるための予備実験を行った。その結果、積分領域が最小のもの、すなわち、積分を行わずに単独のマスク値自体を特徴量とするものが優れた識別率を有することがわかった。これを踏まえ、以下では積分領域を最小に固定して特徴候補を絞りこんだ上で特徴選択を行った。
【００２９】
表１は単解像度マスクと多解像度マスクの比較評価実験の結果である。
【表１】
2008140230.tif 000005
表１に示すように、左から順に、マスク解像度が１，１／２，１／３，…，１／８のものそれぞれのみを用いてＡｄａｂｏｏｓｔを行った場合と、８段階の解像度全てを用いてＡｄａｂｏｏｓｔを行った結果を示している。いずれも使用マスク数は１０００個以下である。この結果、マスク解像度Ｒ＝１，１／２，１／３，…，１／８のものそれぞれのみを用いて、Ａｄａｂｏｏｓｔを行った結果、従来のＨＬＡＣにおけるＲ＝１の場合と比べて、Ｒ＝１／２，１／３などの場合でも同程度の識別性能を得られることがわかった。全８段階の解像度のマスク全てを用いてＡｄａｂｏｏｓｔを行ったところ、いずれの解像度のマスクを単独で用いるよりも高い識別率が得られた。
【００３０】
図６には、ＨＬＡＣマスク特徴と通常のＨＬＡＣの比較評価実験結果を示している。通常のＨＬＡＣでは２４×２４ピクセルの画像における特徴量の計算に１６９４０個のマスク値を用いるが、提案手法ではこのうち高々６００個程度のマスク値のみを用いて、より高い識別性能を得られることがわかった。
【００３１】
図６において、横軸はブースティングの反復回数で、提案手法の識別器が用いるマスクの数を表す。縦軸はテストセットに対する平均識別率。実線が提案手法の識別率である。破線は通常の３５次元のＨＬＡＣから構成した線形サポートベクターマシン（ＳＶＭ）のテストセットに対する平均識別率。線形ＳＶＭのコストパラメータＣはＣ＝２−５，２−４，…，２１４，２１５の中で最もテストセットへの識別率が高くなる値を選んだ。通常のＨＬＡＣでは特徴ベクトルの計算に１６９４０個のマスクが用いられ、平均識別率は約９６．６％であった。対する提案手法では、３２８個のマスクを用いて同等の平均識別率を達成し、その後６０１個の時点で最高となる約９７．５％を達成している。
【００３２】
本発明においては、従来のＨＬＡＣに対してマスクを多解像度とし、積分範囲を任意に可変としたＨＬＡＣマスク特徴を用いており、また、変種のＡｄａｂｏｏｓｔによる特徴の選択および統合がなされる。実験からは、マスクの多解像度化によって識別性能が大きく向上することが示された。また、特に、積分領域が最小の場合（積分を行わないとき）に、Ａｄａｂｏｏｓｔ法によって特徴の選択的統合を行うことで、従来のＨＬＡＣよりも大幅に少ないマスク数で同等以上の識別性能を得られることがわかった。
【図面の簡単な説明】
【００３３】
【図１】本発明に係る画像認識装置の構成装置のシステム構成を示すブロック図である。
【図２】ＨＬＡＣのマスクパターンを示す図である。
【図３】マスクパターンの多解像度化処理を説明する図である。
【図４】２４×２４ピクセルの画像中におけるＨＬＡＣマスク特徴の例を説明する図である。
【図５】変種のアダブーストのアルゴリズムを示す図である。
【図６】ＨＬＡＣマスク特徴と通常のＨＬＡＣの比較評価実験結果を示す図である。
【符号の説明】
【００３４】
１０  画像データ
１１  ＨＬＡＣマスクパターン格納部
１２  多解像度化処理部
１３  ＨＬＡＣ処理部
１４  アダブースト処理部
１５  画像認識装置構成部
１６  学習結果データ
【図１】
2008140230.tif 000006
【図２】
2008140230.tif 000007
【図３】
2008140230.tif 000008
【図４】
2008140230.tif 000009
【図５】
2008140230.tif 000010
【図６】
2008140230.tif 000011