(57)【要約】【課題】対象画像中に存在する任意の領域を特定の認識対象として検出するにあたり、認識対象が如何なるものであっても、少ない処理コストで効率的に検出できるパターン認識装置を提供する。【解決手段】特徴検出手段１０１〜１０４は、入力信号に含まれる所定パターンを構成する複数の特徴を階層的に検出する。基準データ保持手段１２２〜１２４は、複数の特徴に対応した複数の基準データを保持する。データ設定手段１１１〜１１４は、対象特徴の検出に使用するデータを、基準データ保持手段１２２〜１２４に保持されている基準データ、及び対象特徴の前段の特徴の検出結果に基づいて設定する。【選択図】  図１
2004199200.tif 000002
【特許請求の範囲】
【請求項１】
入力信号に含まれる所定パターンを検出するパターン認識装置であって、
上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段と、
上記特徴検出手段で対象特徴の検出に使用するデータを、上記基準データ保持手段に保持されている基準データ、及び上記特徴検出手段で得られた対象特徴の前段の特徴の検出結果に基づいて設定するデータ設定手段とを備えることを特徴とするパターン認識装置。
【請求項２】
上記データ設定手段は、上記入力信号の空間的位置毎に、上記データ設定を行うことを特徴とする請求項１記載のパターン認識装置。
【請求項３】
上記基準データ保持手段は、上記所定パターンの典型的なパターンを構成する複数の特徴を検出するための基準データを保持し、
上記データ設定手段は、上記特徴検出手段で得られた複数の特徴の位置関係に基づいて、上記基準データ保持手段に保持された基準データを変換し、
上記特徴検出手段は、上記データ設定手段による変換後の基準データと、上記入力信号との相関に基づいて、上記入力信号に含まれる所定パターンの有無を確認することを特徴とする請求項１記載のパターン認識装置。
【請求項４】
入力信号に含まれる所定パターンを検出するパターン認識装置であって、
上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段とを備え、
上記特徴検出手段は、上記入力信号の所定の位置で高次の特徴を検出する際に、当該特徴検出に使用する前階層の検出結果からの入力範囲としての局所領域の大きさを、当該前階層の複数の特徴の検出結果に基づき設定することを特徴とするパターン認識装置。
【請求項５】
上記特徴検出手段は、上記入力信号の空間的位置毎に、上記局所領域の大きさの設定を行うことを特徴とする請求項４記載のパターン認識装置。
【請求項６】
上記基準データ保持手段は、上記所定パターンの典型的なパターンを構成する複数の特徴を検出するための基準データを保持し、
上記特徴検出手段は、検出した複数の特徴の位置関係に基づき上記入力信号を変換し、当該変換後の入力信号と、上記基準データ保持手段に保持された基準データとの相関に基づいて、上記入力信号中の所定パターンの有無を確認することを特徴とする請求項４記載のパターン認識装置。
【請求項７】
入力信号に含まれる所定パターンを検出するパターン認識装置であって、
上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
上記特徴検出手段で検出された検出結果を保持する保持手段と、
上記保持手段に保持された検出結果に基づきパラメータを求めるパラメータ取得手段とを備え、
上記パラメータ取得手段は、得られたパラメータに基づき上記保持手段から読み出す検出結果を変更し、上記特徴検出手段は当該検出結果に基づき特徴検出を行うことを特徴とするパターン認識装置。
【請求項８】
上記入力信号は、画像信号を含み、
上記所定パターンは、上記画像中に含まれる顔パターンを含み、
上記複数の特徴は、上記顔パターンの眼及び口の特徴を含むことを特徴とする請求項１〜７の何れかに記載のパターン認識装置。
【請求項９】
被写体を撮像して取得した画像に含まれる所定パターンを検出するパターン認識機能を有する撮像装置であって、
上記パターン認識機能は、請求項１〜８の何れかに記載のパターン認識装置の機能を含むことを特徴とする撮像装置。
【請求項１０】
複数の機器が互いに通信可能に接続されてなる情報処理システムであって、
上記複数の機器のうち少なくとも１つの機器は、請求項１〜８の何れかに記載のパターン認識装置の機能、又は請求項９記載の撮像装置の機能を有することを特徴とする情報処理システム。
【請求項１１】
入力信号中に含まれる所定パターンを検出するためのパターン認識方法であって、
上記所定パターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、
上記特徴検出ステップで複数特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップと、
上記特徴検出ステップで特徴検出するために使用するデータを、上記基準データ保持ステップにより保持された基準データに基づき設定するデータ設定ステップとを含み、
上記データ設定ステップは、上記特徴検出ステップで特徴を検出するためのデータを設定する際に、上記基準データ保持ステップにより保持された基準データに基づいて、上記特徴検出ステップにより得られた検出対象特徴の前段特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とするパターン認識方法。
【請求項１２】
入力信号中に含まれる所定パターンを検出するためのパターン認識方法であって、
上記所定のパターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、
上記特徴検出ステップで複数の特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップとを含み、
上記特徴検出ステップは、上記入力信号の所定の位置で、より高次の特徴を検出する際に、検出に使用する前段の階層の検出結果からの入力範囲としての局所領域の大きさを、前段の階層の複数の特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とするパターン認識方法。
【請求項１３】
入力画像中に含まれる顔パターンを検出するためのパターン認識方法であって、
顔を構成する複数の特徴を階層的に検出する特徴検出ステップと、
上記特徴検出ステップで複数の特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップと、
上記基準データ保持ステップにより典型的な顔パターンを検出するための基準顔データを保持し、上記特徴検出ステップにより検出した眼と口の位置関係に基づき当該基準顔データを変換し、当該変換後の基準顔データと上記入力画像との相関に基づいて、上記入力画像中の顔パターンの有無を確認する確認ステップとを含むことを特徴とするパターン認識方法。
【請求項１４】
対象信号の中に含まれる所定パターンを検出するためのパターン認識方法であって、
上記所定パターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、
上記特徴検出ステップにおいて特徴検出するために使用するデータを、複数の特徴をそれぞれ検出するための基準データを基にして設定するデータ設定ステップとを含み、
上記データ設定ステップは、特徴検出するためのデータを設定する際に、上記基準データに基づいて、前段の特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とするパターン認識方法。
【請求項１５】
上記データ設定ステップは、特徴を検出するためのデータの設定を、上記入力信号の空間的位置毎に実行するステップを含むことを特徴とする請求項１４記載のパターン認識法。
【請求項１６】
上記データ設定ステップは、上記特徴検出ステップにより得られた複数の特徴の位置関係に基づいて、検出をする所定パターンの典型的なパターンを検出するための基準データを変換するステップを含み、
上記特徴検出ステップは、上記データ設定ステップによる変換後の基準データと上記入力信号との相関に基づいて、上記入力信号中の所定パターンの有無を確認するステップを含むことを特徴とする請求項１４記載のパターン認識方法。
【請求項１７】
入力信号中に含まれる所定パターンを検出するためのパターン認識方法であって、
上記所定パターンを構成する複数の特徴を階層的に検出するにあたり、上記入力信号の所定の位置で、より高次の特徴を検出する際に、検出に使用する前段の階層の検出結果からの入力範囲としての局所領域の大きさを、前段の階層の複数の特徴の検出結果から求めたパラメータを用いて設定する特徴検出ステップを含むことを特徴とするパターン認識方法。
【請求項１８】
上記特徴検出ステップは、上記局所領域の大きさの設定を、上記入力信号の空間的位置毎に実行するステップを含むことを特徴とする請求項１７記載のパターン認識方法。
【請求項１９】
上記特徴検出ステップは、検出した複数の特徴の位置関係に基づいて上記入力信号を変換し、当該変換後の入力信号と、検出をする所定パターンの典型的なパターンを検出するための基準データとの相関に基づいて、上記入力信号中の所定パターンの有無を確認するステップを含むことを特徴とする請求項１７記載のパターン認識方法。
【請求項２０】
入力画像中に含まれる顔パターンを、所定の基準顔データを用いて検出するためのパターン認識方法であって、
顔を構成する複数の特徴を階層的に検出する特徴検出ステップと、
上記特徴検出ステップにより得られた眼と口の位置関係に基づいて上記基準顔データを変換し、当該変換後の基準顔データと上記入力画像との相関に基づいて、上記入力画像中の顔パターンの有無を確認する確認ステップとを含むことを特徴とするパターン認識方法。
【請求項２１】
コンピュータを所定の手段として機能させるためのプログラムであって、
上記所定の手段は、
入力信号に含まれる所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段と、
上記特徴検出手段で対象特徴の検出に使用するデータを、上記基準データ保持手段に保持されている基準データ、及び上記特徴検出手段で得られた対象特徴の前段の特徴の検出結果に基づいて設定するデータ設定手段とを備えることを特徴とするプログラム。
【請求項２２】
コンピュータを所定の手段として機能させるためのプログラムであって、
上記所定の手段は、
入力信号に含まれる所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段とを備え、
上記特徴検出手段は、上記入力信号の所定の位置で高次の特徴を検出する際に、当該特徴検出に使用する前階層の検出結果からの入力範囲としての局所領域の大きさを、当該前階層の複数の特徴の検出結果に基づき設定することを特徴とするプログラム。
【請求項２３】
コンピュータを所定の手段として機能させるためのプログラムであって、
上記所定の手段は、
上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、
上記特徴検出手段で検出された結果を保持する保持手段と、
上記保持手段に保持された検出結果に基づきパラメータを求めるパラメータ取得手段とを備え、
上記パラメータ取得手段は、得られたパラメータに基づき上記保持手段から読み出す検出結果を変更し、上記特徴検出手段は当該検出結果に基づき特徴検出を行うことを特徴とするプログラム。
【請求項２４】
請求項２１〜２３の何れかに記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、対象画像に対して階層的な演算処理を施すことで、対象画像でのパターン認識や特定被写体の検出等を行なう装置或いはシステムに用いられる、パターン認識装置、撮像装置、情報処理システム、パターン認識方法、それを実施するためのプログラムを記録したコンピュータ読み取り可能な記録媒体、及び当該プログラムに関するものである。
【０００２】
【従来の技術】
従来より例えば、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムを、コンピュータソフトウェア或いは専用並列画像処理プロセッサを用いたハードウェアにより実行することで、認識対象及び背景を含む画像から、認識対象を検出する技術が知られている。
【０００３】
特に、対象画像中に存在する顔領域を特定の認識対象として検出するための構成としては、例えば、特許２７６７８１４号、特開平９−２５１５３４号、特開平９−４４６７６号、特許２９７３６７６号、及び特開平１１−２８３０３６号等に開示されているものがある。
【０００４】
具体的には、まず、特開平９−２５１５３４号等に記載された構成は、入力画像（対象画像）に対して、標準顔と呼ばれるテンプレートを使用し、対象画像中の顔領域を探索し、その後、当該顔領域から、眼や、鼻孔、或いは口等の特徴点候補に対して部分テンプレートを使用することで、対象画像中の人物を認証するものである。
【０００５】
特許２７６７８１４号等に記載された構成は、顔画像から眼と口候補群を求め、これらを組み合わせた顔候補群と、予め記録してある顔構造とを照合することで、顔画像中の眼と口に対応する領域を発見するものである。
【０００６】
特開平９−４４６７６号等に記載された構成は、対象画像から、眼、鼻、及び口候補をそれぞれ複数求め、これらの候補と、予め用意されている特徴点との間の位置関係から、対象画像中の顔領域を検出するものである。
【０００７】
特許２９７３６７６号等に記載された構成は、顔の各部品の形状データと、入力画像との一致度を調べる際に、形状データを変更させるようになされており、また、各顔部品の探索領域を、以前に求めた部品の位置関係に基づき決定するものである。
【０００８】
特開平１１−２８３０３６号等に記載された構成は、複数の判定要素取得領域を設定した領域モデルを入力画像（対象画像）中で移動させ、各点で、それら判定要素取得領域内で、判定要素の有無を判定することで、対象画像における顔領域を認識するものである。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述したような従来の画像認識（パターン認識）のための構成は、以下のような問題があった。
【００１０】
まず、特開平９−２５１５３４号等に記載された従来の構成では、対象画像に最初に標準顔と呼ばれるテンプレートを使用して、顔全体のマッチングを行うことで対象画像中の顔領域を探索するため、様々なサイズの顔や、顔の向きの変化に対応することが難しい。また、これに対応するためには、顔のサイズや顔の向きに対応した複数の標準顔を用意して、それぞれを使用して検出する必要があるため、顔全体のテンプレートのサイズが大きくなり、これに伴って、処理コストも大きくなる。
【００１１】
特許２７６７８１４号等に記載された従来の構成では、顔画像から求めた眼と口候補群を組み合わせた顔候補群と、予め記録してある顔構造とを照合することで、顔画像中の眼と口に対応する領域を発見するが、例えば、対象画像から似顔絵を作成するという用途である場合、対象画像中の顔の数は通常１つ若しくは少数であり、その顔の大きさもある程度大きなサイズであり、対象画像中の大部分の領域は顔であり背景は少ないと考えられる。このような対象画像であれば、全ての眼及び口の候補群から、顔候補を作成しても顔候補の数は限定される。しかしながら、対象画像が、例えば、一般的なカメラやビデオで撮影して得られた画像である場合、対象画像中の顔のサイズが小さくなり、その分背景が多くなる場合等が考えられ、このような場合には、背景中で眼候補や口候補が多数誤検出され、このため、全ての眼と口候補群から顔候補を作成すると膨大な数になってしまい、顔構造との照合の処理コストが増大することになる。
【００１２】
特開平９−４４６７６号等に記載された従来の構成は、対象画像から、眼、鼻、及び口候補をそれぞれ複数求め、これらの候補と、予め用意されている特徴点との間の位置関係から、対象画像中の顔領域を検出するが、この構成においても、特許２７６７８１４号等に記載された構成と同様に、背景に眼、鼻、及び口の候補が多数存在した場合、これらの位置関係を照合するための処理コストが膨大になる。
【００１３】
特許２９７３６７６号等に記載された従来の構成では、顔の各部品の形状データ（虹彩、口、鼻等の形状データ）を保持しておき、先ず、２つの虹彩を求め、続いて口及び鼻等を求める際に、虹彩の位置に基づいて、口及び鼻等の顔部品の探索領域を限定している。すなわち、当該構成のアルゴリズムでは、虹彩（眼）、口、及び鼻等の顔を構成する顔部品を並列的に検出するのではなく、虹彩（眼）を最初に検出し、この検出結果を使用して、順に口及び鼻等の顔部品を検出している。したがって、当該構成は、対象画像中に顔が１つしか存在せず、且つ虹彩が正確に求まった場合を想定したものであるため、検出された虹彩が誤検出であった場合、口や鼻等の他の特徴の探索領域を正しく設定できない。
【００１４】
特開平１１−２８３０３６号等に記載された従来の構成では、複数の判定要素取得領域を設定した領域モデルを入力画像（対象画像）中で移動させ、各点で、それら判定要素取得領域内で、判定要素の有無を判定することで、対象画像における顔領域を認識するが、多種の顔のサイズに対応させるためには、サイズの異なった領域モデルを用意する必要があり、実際に該当するサイズの顔が存在しない場合、無駄な処理を多数実行することになり非効率的である。
【００１５】
そこで、本発明は、上記の欠点を除去するために成されたもので、対象画像中に存在する任意の領域を特定の認識対象として検出するにあたり、認識対象が如何なるものであっても、少ない処理コストで効率的に検出できる、パターン認識装置、撮像装置、情報処理システム、パターン認識方法、それを実施するためのプログラムを記録したコンピュータ読み取り可能な記録媒体、及び当該プログラムを提供することを目的とする。
【００１６】
具体的には例えば、対象画像中にサイズの異なる複数の認識対象が存在する場合であっても、全ての認識対象を、少ない処理コストで抽出することを実現する。また、認識対象のパターンではないにも関わらず認識対象のパターンとして誤って検出してしまう誤検出を防ぐことを実現する。
【００１７】
【課題を解決するための手段】
斯かる目的下において、本発明に係る、入力信号に含まれる所定パターンを検出するパターン認識装置は、上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段と、上記特徴検出手段で対象特徴の検出に使用するデータを、上記基準データ保持手段に保持されている基準データ、及び上記特徴検出手段で得られた対象特徴の前段の特徴の検出結果に基づいて設定するデータ設定手段とを備えることを特徴とする。
【００１８】
また、本発明に係る、入力信号に含まれる所定パターンを検出するパターン認識装置は、上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段とを備え、上記特徴検出手段は、上記入力信号の所定の位置で高次の特徴を検出する際に、当該特徴検出に使用する前階層の検出結果からの入力範囲としての局所領域の大きさを、当該前階層の複数の特徴の検出結果に基づき設定することを特徴とする。
【００１９】
また、本発明に係る、入力信号に含まれる所定パターンを検出するパターン認識装置は、上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記特徴検出手段で検出された結果を保持する保持手段と、上記保持手段に保持された検出結果に基づきパラメータを求めるパラメータ取得手段とを備え、上記パラメータ取得手段は得られたパラメータに基づき上記保持手段から読み出す検出結果を変更し、上記特徴検出手段は当該検出結果に基づき特徴検出を行うことを特徴とする。
【００２０】
また、本発明に係る、入力信号中に含まれる所定パターンを検出するためのパターン認識方法は、上記所定パターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップで複数特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップと、上記特徴検出ステップで特徴検出するために使用するデータを、上記基準データ保持ステップにより保持された基準データに基づき設定するデータ設定ステップとを含み、上記データ設定ステップは、上記特徴検出ステップで特徴を検出するためのデータを設定する際に、上記基準データ保持ステップにより保持された基準データに基づいて、上記特徴検出ステップにより得られた検出対象特徴の前段特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とする。
【００２１】
また、本発明に係る、入力信号中に含まれる所定パターンを検出するためのパターン認識方法は、上記所定のパターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップで複数の特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップとを含み、上記特徴検出ステップは、上記入力信号の所定の位置で、より高次の特徴を検出する際に、検出に使用する前段の階層の検出結果からの入力範囲としての局所領域の大きさを、前段の階層の複数の特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とする。
【００２２】
また、本発明に係る、入力画像中に含まれる顔パターンを検出するためのパターン認識方法は、顔を構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップで複数の特徴をそれぞれ検出するための基準データを複数保持する基準データ保持ステップと、上記基準データ保持ステップにより典型的な顔パターンを検出するための基準顔データを保持し、上記特徴検出ステップにより検出した眼と口の位置関係に基づき当該基準顔データを変換し、当該変換後の基準顔データと上記入力画像との相関に基づいて、上記入力画像中の顔パターンの有無を確認する確認ステップとを含むことを特徴とする。
【００２３】
また、本発明に係る、対象信号の中に含まれる所定パターンを検出するためのパターン認識方法は、上記所定パターンを構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップにおいて特徴検出するために使用するデータを、複数の特徴をそれぞれ検出するための基準データを基にして設定するデータ設定ステップとを含み、上記データ設定ステップは、特徴検出するためのデータを設定する際に、上記基準データに基づいて、前段の特徴の検出結果から求めたパラメータを用いて設定するステップを含むことを特徴とする。
【００２４】
また、本発明に係る、入力信号中に含まれる所定パターンを検出するためのパターン認識方法は、上記所定パターンを構成する複数の特徴を階層的に検出するにあたり、上記入力信号の所定の位置で、より高次の特徴を検出する際に、検出に使用する前段の階層の検出結果からの入力範囲としての局所領域の大きさを、前段の階層の複数の特徴の検出結果から求めたパラメータを用いて設定する特徴検出ステップを含むことを特徴とする。
【００２５】
また、本発明に係る、入力画像中に含まれる顔パターンを、所定の基準顔データを用いて検出するためのパターン認識方法は、顔を構成する複数の特徴を階層的に検出する特徴検出ステップと、上記特徴検出ステップにより得られた眼と口の位置関係に基づいて上記基準顔データを変換し、当該変換後の基準顔データと上記入力画像との相関に基づいて、上記入力画像中の顔パターンの有無を確認する確認ステップとを含むことを特徴とする。
【００２６】
また、本発明に係る、コンピュータを所定の手段として機能させるためのプログラムは、上記所定の手段が、入力信号に含まれる所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段と、上記特徴検出手段で対象特徴の検出に使用するデータを、上記基準データ保持手段に保持されている基準データ、及び上記特徴検出手段で得られた対象特徴の前段の特徴の検出結果に基づいて設定するデータ設定手段とを備えることを特徴とする。
【００２７】
また、本発明に係る、コンピュータを所定の手段として機能させるためのプログラムは、上記所定の手段が、入力信号に含まれる所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記複数の特徴に対応した複数の基準データを保持する基準データ保持手段とを備え、上記特徴検出手段が、上記入力信号の所定の位置で高次の特徴を検出する際に、当該特徴検出に使用する前階層の検出結果からの入力範囲としての局所領域の大きさを、当該前階層の複数の特徴の検出結果に基づき設定することを特徴とする。
【００２８】
また、本発明に係る、コンピュータを所定の手段として機能させるためのプログラムは、上記所定の手段が、上記所定パターンの複数の特徴を階層的に検出する特徴検出手段と、上記特徴検出手段で検出された結果を保持する保持手段と、上記保持手段に保持された検出結果に基づきパラメータを求めるパラメータ取得手段とを備え、上記パラメータ取得手段は得られたパラメータに基づき上記保持手段から読み出す検出結果を変更し、上記特徴検出手段は当該検出結果に基づき特徴検出を行うことを特徴とする。
【００２９】
また、本発明は、請求項２１〜２３の何れかに記載のプログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３１】
[第１の実施の形態]
本発明は、例えば、図１に示すようなパターン認識装置１００に適用される。
本実施の形態のパターン認識装置１００は、撮像装置等に適用可能であり、対象画像中に存際する全ての認識対象（パターン）を検出するにあたり、対象画像から認識対象を構成する複数の特徴を階層的に検出するための基準データを複数保持し、当該基準データの基づき、前段の特徴の検出結果から求めたパラメータを用いて、対象とする特徴検出のためのデータを設定する構成により、対象画像中にサイズの異なる複数の認識対象が存在する場合であっても、全ての認識対象を少ない処理コストで効率的に検出するようになされている。
以下、本実施の形態のパターン認識装置１００の構成及び動作について説明する。
【００３２】
＜パターン認識装置１００の構成＞
パターン認識装置１００は、上記図１に示すように、信号入力部１３０、１次特徴検出部１０１、１次特徴検出フィルタ設定部１１１、２次特徴検出部１０２、２次特徴検出モデル設定部１１２、２次特徴基準モデル保持部１２２、３次特徴検出部１０３、３次特徴検出モデル設定部１１３、３次特徴基準モデル保持部１２３、４次特徴検出部１０４、４次特徴検出モデル設定部１１４、４次特徴基準モデル保持部１２４、パターン確認部１０５、確認パターン設定部１１５、及び基準確認パターン保持部１２５を備えている。
【００３３】
信号入力部１３０は、画像信号や音声信号等の処理対象となる信号（ここでは、対象画像の信号）を入力する。
【００３４】
１次特徴検出部１０１は、信号入力部１３０から入力された信号に対して、１次の特徴を検出するための処理を施し、この処理結果（１次特徴検出結果）を２次特徴検出部１０２に供給すると共に、当該１次特徴検出結果及びそのパラメータを２次特徴検出モデル設定部１１２に供給する。
【００３５】
このとき、１次特徴検出フィルタ設定部１１１は、１次特徴検出部１０１で１次特徴を検出するためのフィルタ特性又はパラメータを設定する。
【００３６】
２次特徴検出部１０２は、１次特徴検出部１０１からの１次特徴検出結果に対して、２次特徴検出モデル設定部１１２により設定された検出モデルを用いて、２次の特徴を検出する処理を施し、この処理結果（２次特徴検出結果）を３次特徴検出部１０３に供給すると共に、当該２次特徴検出結果及びそのパラメータを３次特徴検出モデル設定部１１３に供給する。
【００３７】
このとき、２次特徴検出モデル設定部１１２は、２次特徴検出部１０２で２次特徴を検出する際に使用する、１次特徴それぞれの位置関係を示すモデルを、２次特徴基準モデル保持部１２２に保持された基準モデル、１次特徴検出部１０１からの１次特徴検出結果、及びそのパラメータを用いて設定する。
２次特徴基準モデル保持部１２２は、２次特徴検出モデル設定部１１２で設定する検出モデルの基準モデルを保持する。
【００３８】
３次特徴検出部１０３は、２次特徴検出部１０２からの２次特徴検出結果に対して、３次特徴検出モデル設定部１１３により設定された検出モデルを用いて、３次の特徴を検出する処理を施し、この処理結果（３次特徴検出結果）を４次特徴検出部１０４に供給すると共に、当該３次特徴検出結果及びそのパラメータを４次特徴検出モデル設定部１１４に供給する。
【００３９】
このとき、３次特徴検出モデル設定部１１３は、３次特徴検出部１０３で３次特徴を検出する際に使用する、２次特徴それぞれの位置関係を示すモデルを、３次特徴基準モデル保持部１２３に保持された基準モデル、及び２次特徴検出部１０２からの２次特徴検出結果及びそのパラメータとを用いて設定する。
３次特徴基準モデル保持部１２３は、３次特徴検出モデル設定部１１３で設定する検出モデルの基準モデルを保持する。
【００４０】
４次特徴検出部１０４は、３次特徴検出部１０３からの３次特徴検出結果に対して、４次特徴検出モデル設定部１１４により設定された検出モデルを用いて、４次の特徴を検出する処理を施し、この処理結果（４次特徴検出結果）をパターン確認部１０５に供給すると共に、当該４次特徴検出結果及びそのパラメータを確認パターン設定部１１５に供給する。
【００４１】
このとき、４次特徴検出モデル設定部１１４は、４次特徴検出部１０４で４次特徴を検出する際に使用する、３次特徴それぞれの位置関係を示すモデルを、４次特徴基準モデル保持部１２４に保持された基準モデル、及び３次特徴検出部１０３からの３次特徴検出結果及びそのパラメータとを用いて設定する。
４次特徴基準モデル保持部１２４は、４次特徴検出モデル設定部１１４で設定する検出モデルの基準モデルを保持する。
【００４２】
パターン確認部１０５は、信号入力部１３０により入力された信号中に、確認パターン設定部１１５で設定された確認パターンが存在するか否かを確認する。
確認パターン設定部１１５は、基準確認パターン保持部１２５に保持された基準パターン、４次特徴検出部１０４からの４次特徴検出結果、及びそのパラメータを使用して、パターン確認部１０５で使用する確認パターンを設定する。
基準確認パターン保持部１２５は、確認パターン設定部１１５で設定する確認パターンの基準パターンを保持する。
【００４３】
＜パターン認識装置１００の動作＞
図２は、パターン認識装置１００の動作をフローチャートにより示したものである。
【００４４】
尚、ここではパターン認識処理の一例として、信号入力１３０からは画像信号が入力され、その画像中の顔領域を検出するものとする。
【００４５】
ステップ２０１：
信号入力部１３０は、処理対象信号として画像信号を入力する。
【００４６】
ステップＳ２０２：
１次特徴検出部１０１は、例えば、１次特徴検出フィルタ設定部１１１により設定されたフィルタを用いて、信号入力部１３０により入力された画像信号から構成される画像（対象画像）の各位置で1次特徴を検出する。
【００４７】
具体的には例えば、図３（ａ）に示すように、１次特徴検出部１０１は、対象画像において、縦特徴大（１−１−１）、横特徴大（１−２−１）、右上がり斜め特徴大（１−３−１）、右下がり斜め特徴大（１−４−１）、縦特徴小（１−１−２）、横特徴小（１−２−２）、右上がり斜め特徴小（１−３−２）、及び右下がり斜め特徴小（１−４−２）等の異なる方向及び異なるサイズの特徴を検出し、この検出結果（１次特徴検出結果）を、各特徴毎に対象画像と同等の大きさの検出結果画像という形で出力する。
この結果、ここでは８種類の１次特徴の検出結果画像が得られることになる。これにより、各特徴の検出結果画像の各位置の値を参照することで、対象画像の該当する位置に各特徴が存在するか否かを判断できる。
【００４８】
尚、１次特徴検出部１０１で使用するフィルタは、最初から複数用意するようにしてもよいし、或いは、方向やサイズをパラメータとして、1次特徴検出フィルタ設定部１１１で作成するようにしてもよい。
また、上記図３（ｂ）〜（ｄ）に示すように、後述する処理で検出する２次特徴は、右空きＶ字特徴（２−１）、左空きＶ字特徴（２−２）、水平平行線特徴（２−３）、及び垂直平行線特徴（２−４）であり、３次特徴は、眼特徴（３−１）及び口特徴（３−２）であり、４次特徴は、顔特徴（４−１）であるものとする。
【００４９】
ステップＳ２０３：
２次特徴検出モデル設定部１１２は、２次特徴検出部１０２で２次特徴を検出するためのモデルを設定する。
【００５０】
具体的には例えば、まず、上記図３（ｂ）に示す右空きＶ字特徴（２−１）を検出するための検出モデルの設定を一例として挙げて考えるものとする。
右空きＶ字特徴（２−１）は、例えば、図４（Ａ）に示すように、１次特徴である右上がり斜め特徴が上部に、右下がり斜め特徴が下部に存在している。すなわち、右空きＶ字特徴を検出するためには、ステップＳ２０２で求めた１次特徴検出の結果を利用して、上部に右上がり斜め特徴が存在し、下部に右下がり斜め特徴が存在する位置を求めればよく、その位置に、右空きＶ字特徴（２−１）が存在することになる。
このように、複数種類の１次特徴を組み合わせて、２次特徴を検出することができる。
【００５１】
しかしながら、対象画像中に存在する顔のサイズは固定サイズではなく、また、個人によって眼や口の大きさが異なり、さらに、眼や口は開閉動作をするため、
右空きＶ字の大きさも変化する。
【００５２】
そこで、本実施の形態では、上記図４（Ｂ）に示すような、右空きＶ字検出基準モデル４００を用いる。
右空きＶ字検出基準モデル４００において、４０３は右上がり斜め領域、４０４は右下がり斜め領域である。右上がり斜め領域４０３に対して、ステップＳ２０２で求めた１次特徴のうち、右上がり斜め特徴大、若しくは右上がり斜め特徴小のみが存在し、また、右下がり斜め領域４０４に対して、右下がり斜め特徴大、若しくは右下がり斜め特徴小のみが存在する場合に、その位置に右空きＶ次特徴（２−１）が存在するとする。このような構成することで、右空きＶ字について、ある程度の大きさや形状の変化に対して、頑健な処理を施すことができる。
【００５３】
しかしながら、例えば、図５（Ａ）及び（Ｂ）に示すように、大きさがかなり異なる右空きＶ字特徴の検出のためには、同じＶ字検出基準モデル４００を使用しても検出が困難である。
【００５４】
もちろん、上記図５（Ａ）及び（Ｂ）に示すような、大きさがかなり異なる右空きＶ字特徴を同一のＶ字基準モデル４００を用いて検出するために、例えば、図４（Ｂ）に示す右空きＶ字検出基準モデル４００を非常に大きく設定し、その結果右上がり斜め領域４０３や右下がり斜め領域４０４を非常に広く取るようにすれば、大小のサイズの異なる右空きＶ字特徴の検出は可能である。
【００５５】
しかしながら、各１次特徴の探索範囲が大きくなるため、例えば、右上がり斜め特徴のサイズは大であり、右下がり斜め特徴のサイズは小であり、さらに、それらの位置も大きくずれている、などという誤検出が起こりやすい。
【００５６】
すなわち、右空きＶ字特徴であれば、右上がり斜め特徴も、右下がり斜め特徴も、それぞれ右空きＶ字特徴の１構成要素であり、これらの大きさは略同じであり、且つこれらは近傍に存在しており、右空きＶ字特徴のサイズが大きければ、右上がり斜め特徴のサイズも、右下がり斜め特徴のサイズも、大きくなる。
【００５７】
したがって、２次特徴を検出するための基準モデルのサイズは、ステップＳ２０２で検出された1次特徴のサイズに合わせて適したものにする。
【００５８】
また、１次特徴である、右上がり斜め特徴や右下がり斜め特徴に関しても、常に同じフィルタサイズでの検出は困難である。
【００５９】
そこで、上記図５（Ａ）に示すように、対象画像における顔のサイズが小さい場合、１次特徴を小さいサイズのフィルタで検出し、同図５（Ｂ）に示すように、対象画像における顔のサイズが大きい場合、１次特徴を大きいサイズのフィルタで検出し、上述したように２次特徴である右空きＶ字特徴を検出するモデルのサイズをも、１次特徴を検出したフィルタのサイズに依存して変更する。
【００６０】
上述のように、本ステップＳ２０３では、１次特徴を検出したフィルタのサイズをパラメータとして、各２次特徴の検出のためのモデルを拡大或いは縮小して、各２次特徴を検出するための２次特徴の検出のためのモデルを設定する。
【００６１】
上記図５（Ｃ）は、顔サイズが小さい場合の右空きＶ字検出用のモデルを示し、同図（Ｄ）は、顔サイズが大きい場合の右空きＶ字検出用のモデルを示したものである。
これらのモデルは、上記図４（Ｂ）に示した右空きＶ次検出基準モデル４００を、それぞれ異なる倍率でサイズ変更したものである。
【００６２】
もちろん、１次特徴を検出するために複数のサイズのフィルタを用意し、該当するサイズに合わせて複数の処理チャネルを用意し、それぞれのサイズの２次特徴、さらに３次特徴、…を、それぞれの処理チャネルで検出する方法は有効である。
ただし、対象画像中の顔のサイズの変動が大きい場合、各顔サイズに合わせた処理チャネルを用意すると、処理チャネルの数が多くなる。すなわち、処理コスト量が多くなる。
【００６３】
そこで、本実施の形態では、２次特徴検出以降の特徴検出においては、検出モデルのサイズを、前段の階層の検出結果に応じて変更することで、上記の問題を解決している。
【００６４】
尚、上記図４（Ｂ）に示したような、右空きＶ字検出基準モデル４００、右上がり斜め領域４０３、及び右下がり斜め領域４０４は、予め検出すべき特徴に合わせて設定され、２次特徴基準モデル保持部１２２に保持されているものとする。
【００６５】
また、上記図３に示したような各特徴はそれぞれ、前ステップ処理で検出された特徴の組み合わせで検出が可能である。
例えば、２次特徴に関しては、左空きＶ字特徴は右下がり斜め特徴及び右上がり斜め特徴から検出可能であり、水平平行線特徴は横特徴から検出可能であり、垂直平行線特徴は縦特徴から検出可能である。また、３次特徴に関しては、眼特徴は右空きＶ字特徴、左空きＶ字特徴、水平平行線特徴、及び垂直平行線特徴から検出可能であり、口特徴は右空きＶ字特徴、左空きＶ字特徴、及び水平平行線特徴から検出可能であり、４次特徴に関しては、顔特徴は眼特徴と口特徴から検出可能である。
【００６６】
ステップＳ２０４：
２次特徴検出部１０２は、ステップＳ２０３で設定された２次特徴検出モデルを用いて、対象画像の２次特徴を検出する。
【００６７】
具体的には例えば、まず、２次特徴の検出は、２次特徴を構成する各１次特徴の値を用いて行うが、例えば、各１次特徴の値が、任意のしきい値以上であるか否かで判断する。
【００６８】
例えば、右空きＶ字検出モデルを用いて、所定の位置の２次特徴の右空きＶ字特徴を検出する場合で、右上がり斜め領域中に存在する各右上がり斜め特徴の値の最大値がしきい値より高く、且つ右下がり斜め領域中に存在する各右下がり斜め特徴の値の最大値がしきい値より高い場合、その位置に右空きＶ字特徴が存在するものとする。そして、その位置の値を、それら最大値の平均とする。逆に、各１次特徴の値がしきい値より低い場合、その位置には２次特徴が存在しないとして、その位置の値を“０”とする。
【００６９】
上述のようにして求めた２次特徴検出結果は、各２次特徴毎に、対象画像と同等の大きさの検出結果画像という形で出力される。
すなわち、上記図３（ｂ）に示すような２次特徴であれば、４種類の２次特徴検出結果の画像が得られることになる。これらの検出結果画像の各位置の値を参照することで、対象画像の該当する位置に各２次特徴が存在するか否かを判断できる。
【００７０】
ところで、本ステップＳ２０４の処理では、２次特徴検出モデルの各領域で１次特徴を検出するのではない、ということに注意する必要がある。
【００７１】
すなわち、例えば、２次特徴の１つである右空きＶ字特徴の検出では、右上がり斜め領域と右下がり斜め領域でそれぞれ、１次特徴である右上がり斜め特徴と右下がり斜め特徴を検出するのではない。これらの１次特徴の検出はステップＳ２０２で終了しており、したがって、本ステップＳ２０４では、これら領域に各１次特徴が存在するか否かを、しきい値を使用して判断している。そして、この結果、複数の１次特徴が、それぞれの領域に存在すると判断した場合に、その位置に２次特徴が存在するとする処理を実行する。このような特徴検出の処理方法は、次の３次特徴及び４次特徴に関しても同様である。
【００７２】
また、本ステップＳ２０４の処理では、次の３次特徴検出モデルを設定するために使用するパラメータを求める。
例えば、図６に示すように、右空きＶ字特徴の検出と同時に、右上がり斜め特徴の最大値を示した点と、右下がり斜め特徴の最大値を示した点との距離をパラメータとして求めておく。そして、このパラメータを、各２次特徴検出結果と共に出力する。
【００７３】
ステップＳ２０５：
３次特徴検出モデル設定部１１３は、３次特徴検出部１０３で３次特徴を検出する際に使用する、２次特徴それぞれの位置関係を示すモデルを、３次特徴基準モデル保持部１２３に保持された基準モデル、及び２次特徴検出部１０２からの２次特徴検出結果及びそのパラメータとを用いて設定する。
【００７４】
具体的には例えば、ここでは説明の簡単のため、上記図３（ｃ）に示すような眼特徴（３−１）を検出するための検出モデルの設定を考える。
図７は、眼を検出するための眼検出基準モデル７００の一例を示したものである。眼検出基準モデル７００では、２次特徴量である、右空きＶ字特徴（上記図３（ｂ）の（２−１）参照）の存在する右空きＶ字領域７０１が左側に、左空きＶ字特徴（上記図３（ｂ）の（２−２）参照）の存在する左空きＶ字領域７０２が右側に、そして水平平行線特徴（上記図３（ｂ）の（２−３）参照）の存在する水平平行線領域７０３及び垂直平行線特徴（上記図３（ｂ）の（２−４）参照）の存在する垂直平行線領域７０４が、これらＶ字特徴の中間に存在している。
【００７５】
本ステップＳ２０５においても、ステップＳ２０３と同様に、サイズ変動に対応するために、この基準モデルを拡大或いは縮小して３次特徴を検出するのに適した３次特徴検出モデルを設定する。当該基準モデルの拡大或いは縮小に使用するのが、ステップＳ２０４で求めたパラメータである。
【００７６】
例えば、右空きＶ字エッジを検出する際に求めた右上がり斜め特徴と右下がり斜め特徴の最大値を示す位置間の距離は、眼の大きさに依存する。そこで、この距離をパラメータとして、眼の基準モデルを基に眼特徴検出モデルを設定する。
【００７７】
上述のようにして、各３次特徴に対して、各基準モデルを基に、２次特徴のパラメータを用いて各位置に応じた検出モデルを設定する。
すなわち、例えば、図８（Ａ）に示すように、サイズが異なる（すなわち、眼のサイズが異なる）顔が対象画像中に存在する場合、上述したように２次特徴である右空きＶ字特徴の大きさをパラメータとして、同図（Ｂ）に示すように、各位置に適した眼特徴検出モデルを設定する。
【００７８】
上記図８（Ｂ）では、眼特徴検出モデル８０１は、その位置の２次特徴のパラメータ値から求めた大きさとなり、また、眼特徴検出モデル８０２の位置の２次特徴のパラメータ値から求めた大きさになることを概念的に示している。
【００７９】
ステップＳ２０６：
３次特徴検出部１０３は、ステップＳ２０５で設定された３次特徴検出モデルを用いて３次特徴を検出する。
ここでの各３次特徴の検出方法は、ステップＳ２０４と同様の方法であるため、その詳細な説明は省略する。また、パラメータに関しては、例えば、眼の検出でる場合、最大値を示した右空きＶ字特徴と左空きＶ字特徴間の距離（眼の横幅に対応した距離）を求め、これをパラメータとする。
【００８０】
ステップＳ２０７：
４次特徴検出モデル設定部１１４は、４次特徴検出部１０４で４次特徴を検出する際に使用する、３次特徴それぞれの位置関係を示すモデルを、４次特徴基準モデル保持部１２４に保持された基準モデル、及び３次特徴検出部１０３からの３次特徴検出結果及びそのパラメータとを用いて設定する。
【００８１】
具体的には例えば、顔特徴の検出の場合、顔のサイズと眼の横幅には一般的に関連があるため、上記図３（ｄ）に示すような顔特徴（４−１）の基準モデルに対して、ステップＳ２０６で得られた、眼の横幅を示すパラメータを用いて、当該顔の基準モデルを基に、顔特徴検出モデルを設定する。
【００８２】
ステップＳ２０８：
４次特徴検出部１０４は、ステップＳ２０７で設定された４次特徴検出モデルを用いて、４次特徴を検出する。
ここでの検出方法は、ステップＳ２０４及びＳ２０６と同様の方法であるため、その詳細な説明は省略する。また、パラメータに関しては、例えば、顔特徴の検出の場合、両眼と口の位置をパラメータとする。このパラメータは、次のステップＳ２０９で使用される。
【００８３】
ステップＳ２０９：
確認パターン設定部１１５は、基準確認パターン保持部１２５に保持された基準パターン、４次特徴検出部１０４からの４次特徴検出結果、及びそのパラメータを使用して、パターン確認部１０５で使用する確認パターンを設定する。
【００８４】
具体的には、まず、ステップＳ２０１〜ステップＳ２０８の処理で４次特徴検出を行うが、対象画像中の背景において、４次特徴を構成する複数の３次特徴に似た領域が存在し、かつそれらの位置関係も似ている場合、４次特徴検出で誤検出を行う可能性がある。
【００８５】
例えば、顔の検出の場合、対象画像中の背景において、それぞれ両眼及び口と似た領域が存在し、また、これらの位置関係も似ている場合、顔特徴の検出で誤検出をする可能性がある。
【００８６】
そこで、検出すべきパターンの一般的な基準パターンを用意し、このパターンの大きさや形状を、ステップＳ２０８で求めたパラメータを基に修正することで、確認パターンを求め、この確認パターンを用いて、最終的に検出すべきパターンが対象画像中に存在するか否かを判断する。
【００８７】
ここでは一例として、顔を検出パターンとしているため、顔の一般的な基準パターンを用意し、この基準パターンを修正することで、顔確認パターンを求め、この顔確認パターンを使用して、顔パターンが対象画像中に存在するかを判断する。
【００８８】
このため、本ステップＳ２０９では、先ず、基準パターンを基に、ステップＳ２０８で求めたパラメータを用いて、確認パターンを設定する。すなわち、顔パターンの設定においては、顔の基準パターンを基に、ステップＳ２０６で求めた両眼と口の位置を示すパラメータを用いて、顔確認パターンを設定する。
【００８９】
図９（Ａ）及び（Ｂ）は、確認パターンの一例を示したものである。
上記図９（Ａ）は、顔基準パターンを示したものであり、この顔基準パターンは、例えば、複数の顔を用意し、これらの大きさを正規化した後で輝度値の平均を取ったものである。
上記図９（Ａ）の顔基準パターンに対して、ステップＳ２０８で求められたパラメータ、すなわち両眼の位置及び口の位置を使用して、同図（Ｂ）に示すように、サイズや回転の変換を行なう。具体的には例えば、両眼間の距離や、両眼間の中点と口の距離を用いて、サイズの変換を行ない、また、両眼間の傾きを用いて、回転変換を行なうことで、顔確認パターンを設定する。
【００９０】
尚、確認パターンの設定方法としては、上述した方法に限られることはなく、例えば、サイズや回転量が異なった複数の基準パターンを用意しておき、これらの基準パターンの中から１つを、ステップＳ２０６のパラメータを用いて選択するようにしてもよい。或いは、パラメータを使用して、上記複数の基準パターンをモーフィングの技術等により合成して設定するようにしてもよい。
【００９１】
ステップＳ２１０：
パターン確認部１０５は、ステップＳ２０９で設定された確認パターンを用いて、対象画像から検出パターンを求める。
【００９２】
具体的には例えば、対象画像において、ステップＳ２０８で４次特徴が検出された位置で、ステップＳ２０９で求めた確認パターンと、対象画像中の該当する位置の部分領域との相関を求め、その値が任意のしきい値を越えた場合に、その位置に検出パターンが存在するものとする。
【００９３】
上記説明したように、本実施の形態では、各特徴を検出するための基準モデルを用意し、前段の特徴の検出結果から求めたパラメータを用いて、基準モデルを基に検出モデルを設定するように構成したので、各特徴の検出精度が向上し、最終的に検出するパターンの検出精度が向上する、という効果が得られる。また、最後の確認処理として、平均パターンとの相関を見る際に、それまでに求めた各特徴の位置に応じて、その平均パターンに対して、回転やサイズの変更等の変形を行なうことで、確認精度が向上する、という効果が得られる。
【００９４】
＜パターン認識装置１００の撮像装置１０００＞
ここでは、上記図１に示したパターン認識（検出）装置１００の機能を、例えば、図１０に示すような撮像装置１０００に搭載させることで、特定被写体へのフォーカシングや、特定被写体の色補正、或いは露出制御を行う場合について説明する。
【００９５】
まず、撮像装置１０００は、上記図１０に示すように、撮影レンズ及びズーム撮影用駆動制御機構を含む結像光学系１００２、ＣＣＤ（又はＣＭＯＳ）イメージセンサー１００３、撮像パラメータの計測部１００４、映像信号処理回路１００５、記憶部１００６、撮像動作の制御や撮像条件の制御等の制御用信号を発生する制御信号発生部１００７、ＥＶＦ等のファインダーを兼ねた表示ディスプレイ１００８、ストロボ発光部１００９、及び記録媒体１０１０等を含むと共に、更に、上記図１に示したパターン認識装置１００の機能を有する被写体検出（認識）部１０１１を含む構成としている。
【００９６】
上述のような撮像装置１０００では、特に、被写体検出（認識）部１０１１は、例えば、撮影して得られた映像中から、人物の顔画像を検出(存在位置、サイズの検出)する。
【００９７】
同制御信号発生部１００７は、被写体検出（認識）部１０１１での検出結果（人物の位置及びサイズ情報）を受け取ると、撮像パラメータ計測部１００４の出力に基づき、当該人物に対するピント制御、露出条件制御、及びホワイトバランス制御等を最適に行うための制御信号を発生する。
【００９８】
上述のように、上記図１のパターン検出(認識)装置１００の機能を、撮像装置１０００に用いることで、撮影して得られた映像中の人物検出と、これに基づく撮影の最適制御を行うことができる。
【００９９】
尚、上記図１０の撮影装置１０００では、上記図１のパターン検出装置１００の機能を被写体検出（認識）部１０１１として備える構成としたが、これに限られることはなく、例えば、パターン検出装置１００のアルゴリズムをプログラムとして撮影装置１０００に実装させ、この撮影装置１０００に搭載したＣＰＵ（不図示）で当該プログラムを実行するように構成してもよい。このような構成は、以下に説明する第２の実施の形態及び第３の実施の形態でも同様に実施可能である。
【０１００】
また、本実施の形態では、対象画像から検出すべきパターンの特徴を４階層に分けて、１次特徴〜４次特徴を順に検出し、最後に検出すべきパターンを確認するように構成したが、この４階層に限られることはなく、３階層や５階層等の任意の階層を適用可能である。これは、以下に説明する第２の実施の形態及び第３の実施の形態でも同様に実施可能である。
【０１０１】
また、本実施の形態では一例として、顔パターンを検出パターンとして、対象画像から顔領域を求めるものとしたが、本発明は、顔検出のみに限定されるわけではない。
例えば、図１１（Ａ）に示すような“２４”という数字列を対象画像中から検出することも可能である。
【０１０２】
上記の数字列検出の場合、上記図１１（Ｂ）に示すように、“２”は、横方向線分と右斜め下方向線分からなる２次特徴（上部特徴）と、縦方向線分と右斜め上方向線分からなる２次特徴（中間部特徴）と、右斜め上方向線分と横方向線分からなる２次特徴（下部特徴）とから構成され、さらに、これらの２次特徴は、上記図３（ａ）に示したような１次特徴から構成されている。
【０１０３】
したがって、先ず、対象画像から１次特徴を検出し、当該１次特徴の検出結果から２次特徴を検出し、そして、当該２次特徴検出結果を用いて、３次特徴としての“２”を検出する。これと同様に“４”に関しても、２次特徴検出結果から３次特徴として検出する。
次に、“２”と“４”の３次特徴検出結果から、４次特徴として“２４”を求める。
そして、３次特徴として検出した“２”と“４”の位置関係をパラメータとして、“２４”を示す数字列の基準パターンを基に、当該パラメータを用いて“２４”の確認パターンを設定し、最終的に“２４”を示す数字列を検出する。
【０１０４】
[第２の実施の形態]
本発明は、例えば、図１２に示すような情報処理装置１２００に適用される。
本実施の形態の情報処理装置１２００は、特に、上記図１に示したパターン認識装置１００の機能を有するものである。
【０１０５】
＜情報処理装置１２００の構成＞
情報処理装置１２００は、上記図１２に示すように、制御部１２７０、演算部１２１０、重み設定部１２２０、基準重み保持部１２３０、パラメータ検出部１２４０、入力信号メモリ１２５０、入力信号メモリ制御部１２５１、中間結果メモリ１２６０、及び中間結果メモリ制御部１２６１を含む構成としている。
【０１０６】
上述のような情報処理装置１２００において、まず、制御部１２７０は、情報処理装置１２００全体の動作制御を司る。
特に、制御部１２７０は、演算部１２１０、重み設定部１２２０、基準重み保持部１２３０、パラメータ検出部１２４０、入力信号メモリ制御部１２５１、及び中間結果メモリ制御部１２６１を制御することで、パターン認識動作を実施する。
【０１０７】
演算部１２１０は、入力信号メモリ１２５０又は中間結果メモリ１２６０からのデータと、重み設定部１２２０からの重みデータとを用いて、これらの積和演算及びロジスティック関数等による非線形演算を行ない、その結果を中間結果メモリ１２６０に保持する。
【０１０８】
重み設定部１２２０は、基準重み保持部１２３０からの基準重みデータを基に、パラメータ検出部１２４０からのパラメータを用いて、重みデータを設定し、その重みデータを演算部１２１０に供給する。
【０１０９】
基準重み保持部１２３０は、入力信号中の各特徴を検出するための基準となる基準重みデータを、各特徴それぞれに対して保持しており、その基準重みデータを重み設定部１２２０に供給する。
【０１１０】
パラメータ検出部１２４０は、重み設定部１２２０で重みデータを設定する際に使用するパラメータを、中間結果メモリ１２６０のデータを用いて検出し、当該パラメータを重み設定部１２２０に供給する。
【０１１１】
入力信号メモリ１２５０は、画像信号や音声信号等の処理対象となる入力信号を保持する。
入力信号メモリ制御部１２５１は、入力信号を入力信号メモリ１２５０に保持する際、また、入力信号メモリ１２５０に保持されている入力信号を演算部１２１０に供給する際に、入力信号メモリ１２５０を制御する。
【０１１２】
中間結果メモリ１２６０は、演算処理部１２１０で得られた演算結果を保持する。
中間結果メモリ制御部１２６１は、演算部１２１０からの演算結果を中間結果メモリ１２６０に保持する際、また、中間結果メモリに保持されている中間結果を演算部１２１０やパラメータ検出部１２４０に供給する際に、中間結果メモリ１２６０を制御する。
【０１１３】
＜情報処理装置１２００の動作＞
ここでは情報処理装置１２００の動作の一例として、並列階層処理により画像認識を行う神経回路網を形成した場合の動作について説明する。すなわち、第1の実施の形態と同様に、処理対象となる入力信号を画像信号とする。
【０１１４】
まず、図１３を参照して、神経回路網の処理内容を詳細に説明する。
神経回路網は、入力信号中の局所領域において、対象又は幾何学的特徴等の認識(検出)に関与する情報を階層的に扱うものであり、その基本構造は、所謂Convolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, "ConvolutionalNetworks for Images Speech, and Time Series" in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)である。最終層（最上位層）からの出力は、認識結果としての認識された対象のカテゴリ、及びその入力データ上の位置情報である。
【０１１５】
上記図１３において、データ入力層１３０１は、ＣＭＯＳセンサ或いはＣＣＤ素子等の光電変換素子からの局所領域データを入力する層である。
【０１１６】
最初の特徴検出層１３０２(１,０)は、データ入力層１３０１から入力された画像パターンの局所的な低次の特徴（特定方向成分や特定空間周波数成分等の幾何学的特徴の他、色成分特徴等を含む特徴でもよい）を全画面の各位置を中心として、局所領域(或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域)において、同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数のみ検出する。
【０１１７】
特徴統合層１３０３(２,０)は、所定の受容野構造(以下、「受容野」とは、直前の層の出力素子との結合範囲を意味し、「受容野構造」とは、その結合荷重の分布を意味する)を有し、特徴検出層１３０２(１,０)からの同一受容野内にある複数のニューロン素子出力の統合（局所平均化や最大出力検出等によるサブサンプリング等の演算による統合）を行う。
【０１１８】
上記の統合処理は、特徴検出層１３０２（１，０）からの出力を空間的にぼかすことで、位置ずれや変形等を許容する役割を有する。また、特徴統合層内のニューロンの各受容野は、同一層内のニューロン間で共通の構造を有している。
【０１１９】
尚、一般的に特徴検出層内のニューロンの各受容野も同一層内のニューロン間で共通の構造を有しているが、その受容野構造をサイズに関して、前段のニューロンの出力結果（検出結果）に応じて変更するというのが、本実施の形態の主旨である。
【０１２０】
後続の層である各特徴検出層１３０２（（１,１）、(１,２)、…、(１,M)）及び各特徴統合層１３０３（(２,１)、(２,２)、…、(２,M)）は、上述した各層と同様に、前者（(１,１)、…）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行ない、後者（(２,１)、…）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行なう。
【０１２１】
但し、前者の特徴検出層は、同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化等を行なうものである。
【０１２２】
図１４は、情報処理装置１２００の動作の具体例として、第１の実施の形態と同様に、対象画像から顔パターンを認識する場合の動作を、フローチャートにより示したものである。
【０１２３】
ステップＳ１４０１：
入力信号メモリ制御部１２５１は、制御部１２７０により入力された信号（ここでは画像信号）を入力信号メモリ１２５０に入力する。
本ステップＳ１４０１が、上記図１３に示したデータ入力層１３０１に対応する。
【０１２４】
ステップＳ１４０２：
重み設定部１２２０は、例えば、基準重み保持部１２３０に保持されている、上記図３（ａ）に示したような１次特徴の検出重みデータ（各方向や各サイズのエッジ抽出を行なうための重みデータ）を演算部１２１０に対して設定する。
【０１２５】
尚、サイズや方向をパラメータとしては、１次特徴検出重みデータを重み設定部１２２０で生成するようにしてもよい。
また、次の２次特徴、３次特徴、及び４次特徴に関しても、例えば、第１の実施の形態で述べた特徴と同様のものを使用することが可能である。
【０１２６】
ステップＳ１４０３：
演算部１２１０は、１次特徴を検出する。
すなわち、本ステップＳ１４０３での１次特徴検出は、上記図１３に示した特徴検出層１３０２(１,０)の処理に対応し、演算部１２１０は、それぞれの特徴ｆの検出モジュール１３０４に相当する処理を実行する。
【０１２７】
具体的には、ステップＳ１４０２で設定された各１次特徴検出重みデータは、各特徴ｆを検出する受容野１３０５の構造に相当し、演算部１２１０は、入力画像メモリ１２５０から画像信号を取得し、当該画像信号の各位置の局所領域（受容野１３０５に対応する領域）と、各１次特徴検出重みデータとの積和演算を実行する。
【０１２８】
ここで、演算処理部１２１０で実行される特徴検出層ニューロンの入出力特性の一例を、下記の式（１）で示す。すなわち、第Ｌ段目の第ｋ番目の特徴を検出する細胞面の位置ｎにあるニューロンの出力ｕSL（ｎ，ｋ）は、
【０１２９】
【数１】
2004199200.tif 000003
【０１３０】
なる式（１）で表される。
【０１３１】
上記式（１）において、ｕCL（ｎ，κ）は、第Ｌ段目の特徴統合層の第κ番目の細胞面の位置ｎにあるニューロンの出力を示す。ＫCLは、第Ｌ段目の特徴統合層の種類の数を示す。ｗＬ（ｖ，κ，ｋ）は、第Ｌ段目の特徴検出細胞層の第ｋ番目の細胞面の位置ｎにあるニューロンの、第Ｌ−１段目の特徴統合層の第κ番目の細胞面の位置ｎ＋にあるニューロンからの入力結合である。また、ＷLは、検出細胞の受容野であり、その大きさは有限である。
【０１３２】
本ステップＳ１４０３の処理は、１次特徴検出であるため、Ｌは“１”であり、したがって、ｕCL-1は、データ入力層に相当するため、前段の特徴数は１種類となる。そして、検出する特徴が８種類であるため、８種類の結果が得られることになる。
【０１３３】
また、上記式（１）において、ｆ（）は、積和演算の結果に対しての非線形処理を示す。例えば、この非線形処理には、
【０１３４】
【数２】
2004199200.tif 000004
【０１３５】
なる式（２）で表されるロジスティック関数を使用する。
【０１３６】
上記非線形処理された結果は、中間結果メモリ１２６０に保持される。ここでは、上述したように８種類の特徴を検出しているため、これら全ての特徴の検出結果が、中間結果メモリ１２６０に保持されることになる。
【０１３７】
ステップＳ１４０４：
重み設定部１２２０は、基準重み保持手段１２３０に保持されている１次特徴統合重みデータを演算部１２１０に対して設定する。
ここでの１次特徴統合重みデータは、ステップＳ１４０３で検出された１次特徴の局所的な平均化や最大値の検出等の処理を行なうための重みデータである。
【０１３８】
ステップＳ１４０５：
演算部１２１０は、中間結果メモリ１２６０に保持されている各１次特徴の検出結果と、ステップＳ１４０４で設定された各１次特徴統合重みデータとの積和演算を行なう処理（各１次特徴の検出結果の統合処理）を実行する。
【０１３９】
本ステップＳ１４０５における処理は、上記図１３に示した特徴統合層１３０３(２，０)の処理に対応し、各特徴ｆの統合モジュールに相当する処理である。具体的には、特徴検出層１３０２(１，０)からの同一受容野内に存在する複数のニューロン素子出力の統合（局所平均化、最大出力検出等によるサブサンプリングなどの演算）に相当する。
【０１４０】
すなわち、演算部１２１０は、各１次特徴の検出結果毎に、局所領域で平均化や最大値検出等の処理を実行する。例えば、演算部１２１０は、
【０１４１】
【数３】
2004199200.tif 000005
【０１４２】
なる式（３）で示される、局所領域での平均化を実行する。
【０１４３】
上記式（３）において、ｄL（ｖ）は、第Ｌ段目の特徴検出層のニューロンから、第Ｌ段目の特徴統合細胞層の細胞面に存在するニューロンへの入力結合であり、｜ｖ｜に関して単純に減少する関数である。また、ＤLは、統合細胞の受容野を示し、その大きさは有限である。
【０１４４】
演算部１２１０は、上記式（３）による積和演算の結果を中間結果メモリ１２６０に保持する。
このとき、演算部１２１０は、上記積和演算の結果に対して、さらに非線形処理を施し、この結果を中間結果メモリ１２６０に保持するようにしてもよい。
【０１４５】
本ステップＳ１４０５までの処理で、中間結果メモリ１２６０は、１次特徴検出結果を各特徴毎に局所領域で統合した、各サイズ及び各方向の１次特徴の統合結果を保持していることになる。
【０１４６】
ステップＳ１４０６：
重み設定部１２２０は、２次特徴検出重みデータを設定する。
ここでの２次特徴検出重みデータは、上述したように、第１の実施の形態で用いた上記図３（ｂ）に示した各２次特徴を検出するための重みデータである。
【０１４７】
第１の実施の形態においても説明したように、２次特徴以降の各特徴の大きさはそれ以前に求めた特徴の大きさと相関がある。このため、重み設定部１２２０は、２次特徴以降の各特徴を検出する際に、前段の階層で検出された特徴の大きさに依存して、特徴検出重みデータを設定する。
【０１４８】
具体的には、先ず、重み設定部１２２０は、予め設定された、パラメータ検出部１２４０により各１次特徴を検出した１次特徴検出重みデータが示す受容野サイズを、パラメータとして設定する。
そして、重み設定部１２２０は、基準重み保持部１２３０に保持されている基準２次特徴検出重みデータを、上記受容野サイズに関して、先にパラメータ検出部１２４０により設定したパラメータを用いて修正し、この結果を２次特徴検出重みデータとする。
【０１４９】
すなわち、例えば、基準２次特徴検出重みデータが、上記図３（ａ）に示したような１次特徴のサイズが大きい方（受容野サイズが大きい方）に対して設定されているものとすると、重み設定部１２２０は、受容野サイズが小さい重み係数で検出した１次特徴検出結果に対して、２次特徴を検出する際に、例えば、図１５に示すように、２次特徴検出重みデータの受容野サイズを小さくする。
【０１５０】
ステップＳ１４０７：
演算部１２１０は、２次特徴の検出を行なう。これは、上記図１３に示した特徴検出層１３０２(１，１)の処理に対応する。
【０１５１】
本ステップＳ１４０７での処理自体は、ステップＳ１４０３における１次特徴検出処理と同様である。
例えば、演算部１２１０は、上記式（１）を用いた積和演算、及びその結果に対する非線形演算の処理を実行する。ただし、演算部１２１０は、ステップＳ１４０６で設定された２次特徴検出重みデータ、及び中間結果メモリ１２６０に保持されている１次特徴の統合結果を、積和演算に使用し、当該演算結果に対して非線形演算を行ない、当該演算結果（２次特徴検出結果）を中間結果メモリ１２６０に保持する。
【０１５２】
ステップＳ１４０８：
重み設定部１２２０は、基準重み保持部１２３０に保持されている２次特徴統合重みデータを演算部１２１０に対して設定する。
ここでの２次特徴統合重みデータは、ステップＳ１４０７で検出した２次特徴結果の局所的な平均化や最大値の検出等の処理を実行するための重みデータである。
【０１５３】
ステップＳ１４０９：
演算部１２１０は、各２次特徴の検出結果を統合する。これは、上記図１３に示した特徴統合層１３０３(２，１)の処理に対応する。
【０１５４】
具体的には、演算部１２１０は、中間結果メモリ１２６０に保持されている各２次特徴の検出結果と、ステップＳ１４０８で設定された各２次特徴統合重みデータとの積和演算を、例えば、上記式(３)に従って実行し、当該積和演算の結果を中間結果メモリ１２６０に保持する。このとき、演算部１２１０は、上記積和演算の結果に対して、さらに非線形処理を施し、当該処理結果を中間結果メモリ１２６０に保持するようにしてもよい。
【０１５５】
ステップＳ１４１０：
重み設定部１２２０は、３次特徴検出重みデータを演算部１２１０に対して設定する。
ここでの３次特徴検出重みデータは、上述したように、第１の実施の形態における上記図３（ｃ）で示した各３次特徴を検出するための重みデータである。
【０１５６】
具体的には、先ず、重み設定部１２２０は、パラメータ検出部１２４０で、中間結果メモリ１２６０に保持されている各１次特徴検出結果及び各２次特徴検出結果から、２次特徴の大きさに基づいた値をパラメータとして設定する。このパラメータとしては、例えば、第１の実施の形態で説明したように、右空きＶ字特徴の場合、右上がり斜め特徴と右下がり斜め特徴間の垂直距離を使用することができる。
そして、重み設定部１２２０は、基準重み保持部１２３０に保持されている基準３次特徴検出重みデータを、その受容野サイズに関して、パラメータ検出部１２４０で求めたパラメータを用いて修正し、この結果を３次特徴検出重みデータとする。
【０１５７】
ステップＳ１４１１：
演算部１２１０は、３次特徴検出を行なう。これは、上記図１３に示した特徴検出層１３０２(１，２)の処理に対応する。
【０１５８】
具体的には、演算部１２１０は、ステップＳ１４１０で設定された３次特徴検出重みデータと、中間結果メモリ１２６０に保持されている２次特徴の統合結果との積和演算、及びその結果に対する非線形演算を実行し、当該演算結果（３次特徴検出結果）を中間結果メモリ１２６０に保持する。
【０１５９】
ステップＳ１４１２：
重み設定部１２２０は、基準重み保持部１２３０に保持されている３次特徴統合重みデータを演算部１２１０に対して設定される。
ここでの３次特徴統合重みデータは、ステップＳ１４１１で検出した３次特徴結果の局所的な平均化や最大値検出等の処理を行なうための重みデータである。
【０１６０】
ステップＳ１４１３：
演算部１２１０は、各３次特徴の検出結果を統合する。これは、上記図１３に示した特徴統合層１３０３(２，２)の処理に対応する。
【０１６１】
具体的には、演算部１２１０は、中間結果メモリ１２６０に保持されている各３次特徴の検出結果と、ステップＳ１４１２で設定された各３次特徴統合重みデータとの積和演算を実行し、当該積和演算の結果を中間結果メモリ１２６０に保持する。このとき、演算部１２１０は、当該積和演算の結果に対して、さらに非線形処理を行い、当該処理結果を中間結果メモリ１２６０に保持するようにしてもよい。
【０１６２】
ステップＳ１４１４：
重み設定部１２２０は、４次特徴検出重みデータを演算部１２１０に対して設定する。
ここでの４次特徴検出重みデータは、上述したように、第１の実施の形態で使用した上記図３（ｄ）に示した各４次特徴を検出するための重みデータである。
【０１６３】
具体的には、先ず、重み設定部１２２０は、パラメータ検出部１２４０で、中間結果メモリ１２６０に保持されている各２次特徴検出結果及び各３次特徴検出結果から、３次特徴の大きさに基づいた値をパラメータとして設定する。このパラメータとしては、例えば、第１の実施の形態で説明したように、眼特徴の場合、右空きＶ字特徴と左空きＶ字特徴間の水平距離を使用することができる。
そして、重み設定部１２２０は、基準重み保持部１２３０に保持されている基準４次特徴検出重みデータを、その受容野サイズに関して、パラメータ検出部１２４０で求めたパラメータを用いて修正し、この結果を４次特徴検出重みデータとする。
【０１６４】
ステップＳ１４１５：
演算部１２１０は、４次特徴検出を行なう。これは、上記図１３に示した特徴検出層１３０２(１，３)の処理に対応する。
【０１６５】
具体的には、演算部１２１０は、ステップＳ１４１４で設定された４次特徴検出重みデータと中間結果メモリ１２６０に保持されている３次特徴の統合結果との積和演算、及びその結果に対する非線形演算を実行し、当該演算結果（４次特徴検出結果）を中間結果メモリ１２６０に保持する。
【０１６６】
ステップＳ１４１６：
重み設定部１２２０は、基準重み保持手段１２３０に保持されている４次特徴統合重みデータを演算部１２１０に対して設定する。
ここでの４次特徴統合重みデータは、ステップＳ１４１５で検出した４次特徴結果の局所的な平均化や最大値の検出等の処理を行なうための重みデータである。
【０１６７】
ステップＳ１４１７：
演算部１２１０は、４次特徴の検出結果を統合する。これは、上記図１３に示した特徴統合層１３０３(２，３)の処理に対応する。
【０１６８】
具体的には、演算部１２１０は、中間結果メモリ１２６０に保持されている４次特徴の検出結果と、ステップＳ１４１６で設定された４次特徴統合重みデータとの積和演算を実行し、当該積和演算の結果を中間結果メモリ１２６０に保持する。このとき、演算部１２１０は、当該積和演算の結果に対して、さらに非線形処理を行い、当該処理結果を中間結果メモリ１２６０に保持するようにしてもよい。
【０１６９】
ステップＳ１４１８：
演算部１２１０は、パターン確認重みデータを設定する。
【０１７０】
具体的には、まず、上述したステップＳ１４１７までの処理により、４次特徴が検出されるが、第１の実施の形態で説明したように、対象画像（入力画像）中の背景に４次特徴を構成する複数の３次特徴に似た領域があり、また、これらの位置関係をも似ている場合、４次特徴の検出で誤検出する可能性がある。すなわち、例えば、顔の検出の場合、入力画像中の背景に、それぞれ両眼及び口と似た領域が存在し、また、その位置関係をも似ている場合、顔特徴の検出で誤検出する可能性がある。
【０１７１】
このため、本実施の形態では、検出すべきパターンにおいて典型的なタイプ（サイズや向き等）を検出するための基準パターン確認重みデータを用意し、当該重みデータを修正し、当該修正後のパターン確認重みデータを設定し、当該設定パターン確認重みデータを用いて、最終的に検出すべきパターンが入力画像中に存在するか否かを判断する。
【０１７２】
ここで一例として、顔を検出パターンとしているので、典型的な顔を検出する基準顔パターン確認重みデータを用意し、これを修正し、当該修正後の顔パターン確認重みデータを設定し、当該設定顔パターン確認重みデータを使用して、顔パターンが入力画像中に存在するかを判断する。
【０１７３】
したがって、本ステップＳ１４１８では、先ず、演算部１２１０は、パラメータ検出部１２４０で、中間結果メモリ１２６０に保持されている各３次特徴検出結果及び４次特徴検出結果から、検出した４次特徴の各位置において、３次特徴検出結果に基づいた値をパラメータとして設定する。このパラメータとしては、例えば、第１の実施の形態で説明したように、顔特徴である場合、眼特徴と口特徴の位置を使用することができる。
そして、演算部１２１０は、基準重み保持部１２３０に保持されている基準パターン確認重みデータを、その受容野サイズ及び回転に関して、パラメータ検出部１２４０で求めたパラメータを用いて修正し、当該修正結果をパターン確認重みデータとする。
【０１７４】
ステップＳ１４１９：
演算部１２１０は、検出パターンの確認を行なう。
具体的には、演算部１２１０は、ステップＳ１４１８で設定された確認パターン重みデータと、入力信号メモリ１２５０に保持されている入力信号との積和演算、及びその結果に対する非線形演算を実行し、当該演算結果を中間結果メモリ１２６０に保持する。この中間結果メモリ１２６０に保持された結果が、検出すべきパターンの検出最終結果となる。
【０１７５】
上記説明したように、本実施の形態では、各特徴を検出するための基準重みデータを用意し、前段の検出結果から求めたパラ―メータを用いて、当該基準重みデータを基に、検出重みデータを設定するように構成したので、各特徴の検出精度が向上し、最終的に検出するパターンの検出精度が向上するという効果がある。
【０１７６】
また、演算部１２１０では、検出重みデータ又は統合重みデータと、中間結果メモリ１２６０又は入力信号メモリ１２５０からのデータとの積和演算及びその結果の非線形変換を行い、当該積和演算に使用する重みデータを、毎回設定するように構成したので、同じ演算部１２１０を繰り返し使用できるという効果がある。さらに、入力信号と中間結果の両方を保持する構成としているので、最後の確認処理をも容易に行えるという効果がある。
【０１７７】
尚、本実施の形態では、その一例として、統合処理に使用する統合重みデータに対して、検出結果に応じた設定を行なっていないが、例えば、検出重みデータ同様に、受容野サイズの設定を行なうことも可能である。また、上記図１４に示したステップＳ１４１６及びＳ１４１７の４次特徴に対する統合処理は、省略することも可能である。
【０１７８】
[第３の実施の形態]
本発明は、例えば、図１６に示すような情報処理装置１６００に適用される。本実施の形態の情報処理装置１６００は、特に、上記図１に示したパターン認識装置１００の機能を有するものである。
【０１７９】
具体的には、まず、情報処理装置１６００は、上記図１６に示すように、制御部１６７０、演算部１６１０、基準重み保持部１６３０、パラメータ検出部１６４０、入力信号メモリ１６５０、入力信号メモリ制御部１６５１、中間結果メモリ１６６０、及び中間結果メモリ制御部１６６１を含む構成としている。
【０１８０】
ここで、本実施の形態における情報処理装置１６００は、基本的には第２の実施の形態における情報処理装置１２００（上記図１２参照）と同様の機能を有するものであるが、これと異なる点は、重み設定部１２２０に相当する機能を持たず、パラメータ検出部１６４０で求めたパラメータを中間結果メモリ制御部１６６１及び演算部１６１０に供給するように構成したことにある。
【０１８１】
すなわち、第２の実施の形態では、前段の処理結果からパラメータを求め、そのパラメータから特徴を検出するための重みデータを設定するように構成したが、本実施の形態では、重みデータとして、基準重み保持手段１６３０に保持されている基準重みデータをそのまま使用し、替わりに受容野に相当する、中間結果メモリ１６６０に保持されている前段の検出結果を、補間等を用いてサイズ変更するように構成する。
【０１８２】
このため、例えば、３次特徴である眼特徴を検出する場合、情報処理装置１６００は、図１７に示すように、入力画像１７００に対する通常の受容野に対して、サイズ変更することで、サイズ変更後局所画像１７１０を生成し、この変更後局所画像１７１０と、基準重み保持手段１６３０に保持されている基準重みデータとの積和演算を実行する。
【０１８３】
尚、３次特徴を求める場合、中間結果メモリ１６６０に保持されている２次特徴検出結果を使用するが、上記図１７では、説明の簡単のため、入力画像１７００の局所画像のサイズ変更を示している。実際には、２次特徴検出結果画像の局所領域をサイズ変更して使用する。
【０１８４】
以上説明したように、本実施の形態では、前段の検出結果から求めたパラ―メータを用いて、特徴を検出する際に使用する前段の検出結果のサイズを変更して再設定するように構成したので、各特徴の検出精度が向上し、最終的に検出するパターンの検出精度が向上する、という効果を得られる。また、検出結果のサイズを変更は、メモリから読み出す領域の変更と補間処理で良いため、容易に実現できる、という効果をも得られる。
【０１８５】
尚、第２及び第３の実施の形態における情報処理装置１２００，１６００の機能を、例えば、第１の実施の形態と同様に、撮像装置に搭載させることも可能である。
【０１８６】
また、本発明の目的は、第１〜第３の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラムコード自体が第１〜第３の実施の形態の機能を実現することとなり、そのプログラムコードを記録した記録媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記録媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第３の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１８７】
図１８は、上記コンピュータの機能１８００を示したものである。
コンピュータ機能１８００は、上記図１８に示すように、ＣＰＵ１８０１と、ＲＯＭ１８０２と、ＲＡＭ１８０３と、キーボード（ＫＢ）１８０９のキーボードコントローラ（ＫＢＣ）１８０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）１８１０のＣＲＴコントローラ（ＣＲＴＣ）１８０６と、ハードディスク（ＨＤ）１８１１及びフレキシブルディスク（ＦＤ）１８１２のディスクコントローラ（ＤＫＣ）１８０７と、ネットワーク１８２０との接続のためのネットワークインターフェースコントローラ（ＮＩＣ）１８０８とが、システムバス１８０４を介して互いに通信可能に接続された構成としている。
【０１８８】
ＣＰＵ１８０１は、ＲＯＭ１８０２或いはＨＤ１８１１に記録されたソフトウェア、或いはＦＤ１８１２より供給されるソフトウェアを実行することで、システムバス１８０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ１８０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ１８０２、或いはＨＤ１８１１、或いはＦＤ１８１２から読み出して実行することで、第１〜第３の実施の形態での動作を実現するための制御を行う。
【０１８９】
ＲＡＭ１８０３は、ＣＰＵ１８０１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ１８０５は、ＫＢ１８０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ１８０６は、ＣＲＴ１８１０の表示を制御する。
ＤＫＣ１８０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における所定の処理プログラム等を記録するＨＤ１８１１及びＦＤ１８１２とのアクセスを制御する。
ＮＩＣ１８０８は、ネットワーク１８２０上の装置或いはシステムと双方向にデータをやりとりする。
【０１９０】
【発明の効果】
以上説明したように本発明では、入力信号（画像信号等）に含まれる所定パターン（顔パターン等）を構成する複数の特徴（眼や口等）を階層的に検出するにあたり、対象特徴の検出に使用するデータを、対象特徴に対応した基準データ（基準顔データ等）、及び対象特徴の前段の特徴の検出結果に基づいて設定するように構成した。
【０１９１】
これにより、例えば、同一階層の各特徴の検出処理を独立に行い、次の階層の特徴を検出する際に、その前段の階層の複数の特徴の検出結果から求めたパラメータを用いて、各特徴を検出する際に使用するモデル又は重み等のデータを、適応的に設定できるため、或いは、特徴検出の際に使用する前段の検出結果から求めたパラメータを用いて適応的に再設定できるため、各特徴の検出精度を向上させることができ、入力信号中に、サイズが異なる複数の認識対象が存在する場合であっても、全ての認識対象を、少ない処理コストで検出することができる。
【０１９２】
また、例えば、最後の確認処理として、確認パターンとの相関を求める際に、これまでに求めた各特徴の位置に応じて、当該確認パターンに対して回転やサイズ変更等の変形（変換）を行なうように構成した場合、確認精度を向上させることができる。
【０１９３】
また、上記の機能を、例えば、撮像装置に適用するように構成した場合、画像中の顔等の特定領域の色補正や、フォーカスの設定等を容易に行える。
【０１９４】
よって、本発明によれば、対象信号中に存在する任意の領域を特定の認識対象として検出するにあたり、認識対象が如何なるものであっても、少ない処理コストで効率的に検出できる。
特に、例えば、対象画像中にサイズの異なる複数の認識対象が存在する場合であっても、全ての認識対象を、少ない処理コストで抽出することができ、また、認識対象のパターンではないにも関わらず認識対象のパターンとして誤って検出してしまう誤検出を防ぐことができる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用したパターン認識（検出）装置の構成を示すブロック図である。
【図２】上記パターン認識（検出）装置の動作を説明するためのフローチャートである。
【図３】上記パターン認識（検出）装置において、顔領域を検出する際の特徴の一例を説明するための図である。
【図４】上記顔領域検出の際に用いる検出基準データの一例を説明するための図である。
【図５】上記顔領域検出の対象画像の一例を説明するための図である。
【図６】上記顔領域検出の際に用いるパラメータの一例を説明するための図である。
【図７】上記顔領域の眼領域を検出する際の特徴の検出基準モデルの一例を説明するための図である。
【図８】上記眼領域検出の対象画像において、位置による眼特徴の検出モデルの違いを説明するための図である。
【図９】上記顔領域検出の確認パターンの設定を説明するための図である。
【図１０】上記パターン認識（検出）装置の機能付き撮像装置の構成を示すブロック図である。
【図１１】上記パターン認識（検出）装置の機能による文字列の検出を説明するための図である。
【図１２】第２の実施の形態において、本発明を適用した情報処理装置の構成を示すブロック図である。
【図１３】上記情報処理装置において、Convolutionalニューラルネットワーク構造を説明するための図である。
【図１４】上記情報処理装置の動作を説明するためのフローチャートである。
【図１５】上記情報処理装置において、特徴検出重みデータを模式的に説明するための図である。
【図１６】第３の実施の形態において、本発明を適用した情報処理装置の構成を示すブロック図である。
【図１７】上記情報処理装置の機能を模式的に説明するための図である。
【図１８】第１〜第３の実施の形態における装置の機能をコンピュータに実現させるためのプログラムをコンピュータ読み取り可能な記録媒体から読み出して実行する当該コンピュータの構成を示すブロック図である。
【符号の説明】
１００  パターン認識（検出）装置
１０１  １次特徴検出部
１０２  ２次特徴検出部
１０３  ３次特徴検出部
１０４  ４次特徴検出部
１０５  パターン確認部
１１１  １次特徴検出フィルタ設定部
１１２  ２次特徴検出モデル設定部
１１３  ３次特徴検出モデル設定部
１１４  ４次特徴検出モデル設定部
１１５  確認パターン設定部
１２２  ２次特徴基準モデル保持部
１２３  ３次特徴基準モデル保持部
１２４  ４次特徴基準モデル保持部
１２５  基準確認パターン保持部
１３０  信号入力部
【図１】
2004199200.tif 000006
【図２】
2004199200.tif 000007
【図３】
2004199200.tif 000008
【図４】
2004199200.tif 000009
【図５】
2004199200.tif 000010
【図６】
2004199200.tif 000011
【図７】
2004199200.tif 000012
【図８】
2004199200.tif 000013
【図９】
2004199200.tif 000014
【図１０】
2004199200.tif 000015
【図１１】
2004199200.tif 000016
【図１２】
2004199200.tif 000017
【図１３】
2004199200.tif 000018
【図１４】
2004199200.tif 000019
【図１５】
2004199200.tif 000020
【図１６】
2004199200.tif 000021
【図１７】
2004199200.tif 000022
【図１８】
2004199200.tif 000023