(57)【要約】【課題】事前に想定される傾き、及び回転、個人別の差異などの影響があった場合にも、計算コスト、実行時間を増大させずに、入力信号パターンから教師用信号パターン列に類似する信号パターン部を検出することが可能な信号パターン検出装置を提供する。【解決手段】各教師用信号パターン列毎に、変動パターン部、および、不変パターン部を検出する特徴検出部と、前記特徴検出部で検出された変動パターン部、および、不変パターン部に従い、前記教師用信号パターン列に重み付けを行い、新たな教師用信号パターン列を生成する教師信号生成部と、前記教師信号生成部で生成された教師用信号パターン列を用いて、入力信号パターンの類似度を計算し、類似度の高いものから検出結果として出力する入力信号解析部とを備える。【選択図】        図１
2004362410.tif 000002
【特許請求の範囲】
【請求項１】
入力信号パターンから予め設定された複数の教師用信号パターン列に類似する信号パターン部分を検出する信号パターン検出方法であって、
各教師用信号パターン列毎に変動パターン部、および、不変パターン部を検出するステップ１と、
前記ステップ１で検出された変動パターン部、および、不変パターン部に従い、教師用信号パターン列に重み付けを行い、新たな教師用信号パターン列を生成するステップ２と、
前記ステップ２で生成された新たな教師用信号パターン列を用いて、入力信号パターンの類似度を計算し、類似度の高いものから検出結果として出力するステップ３とを備えることを特徴とする信号パターン検出方法。
【請求項２】
前記ステップ１において、各教師用信号パターン列をベクトルとした主成分分析を用いて、変動パターン部、および、不変パターン部を検出することを特徴とする請求項１に記載の信号パターン検出方法。
【請求項３】
前記ステップ１において、前記教師用信号パターン列に対して周波数変換を行った後に、変動パターン部、および、不変パターン部を検出することを特徴とする請求項１または請求項２に記載の信号パターン検出方法。
【請求項４】
前記周波数変換は、ウェーブレット変換であることを特徴とする請求項３に記載の信号パターン検出方法。
【請求項５】
前記ステップ１の前に、予め設定された複数のカテゴリ毎に複数の教師用信号を分類し、前記各カテゴリ毎に前記教師用信号用パターン列を生成するステップを備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載の信号パターン検出方法。
【請求項６】
入力信号パターンから予め設定された複数の教師用信号パターン列に類似する信号パターン部分を検出する信号パターン検出装置であって、
前記各教師用信号パターン列毎に、変動パターン部、および、不変パターン部を検出する特徴検出部と、
前記特徴検出部で検出された変動パターン部、および、不変パターン部に従い、前記教師用信号パターン列に重み付けを行い、新たな教師用信号パターン列を生成する教師信号生成部と、
前記教師信号生成部で生成された新たな教師用信号パターン列を用いて、入力信号パターンの類似度を計算し、類似度の高いものから検出結果として出力する入力信号解析部とを備えることを特徴とする信号パターン検出装置。
【請求項７】
前記特徴検出部は、各教師用信号パターン列をベクトルとした主成分分析を用いて、変動パターン部、不変パターン部を検出することを特徴とする請求項６に記載の信号パターン検出装置。
【請求項８】
前記特徴検出部は、前記教師用信号パターン列に対して周波数変換を行った後に、変動パターン部、および、不変パターン部を検出することを特徴とする請求項６または請求項７に記載の信号パターン検出装置。
【請求項９】
前記周波数変換は、ウェーブレット変換であることを特徴とする請求項８に記載の信号パターン検出装置。
【請求項１０】
予め設定された複数のカテゴリ毎に複数の教師用信号を分類し、各カテゴリ毎に前記教師用信号パターン列を生成する教師信号生成部を備えることを特徴とする請求項６ないし請求項９のいずれか１項に記載の信号パターン検出装置。
【請求項１１】
請求項１ないし請求項５のいずれか１項に記載の信号パターン検出方法をコンピュータに実行させるための信号パターン検出プログラム。
【請求項１２】
請求項１１に記載された信号パターン検出プログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、信号パターン検出方法、信号パターン検出装置、信号パターン検出プログラム、および記録媒体に係り、特に、入力信号パターン列に対し、教師用信号パターン列に類似する信号パターン部分を選択する信号パターン検出方法に関する。
【０００２】
【従来の技術】
信号パターン検出の一例として、画像からの顔の検出が知られている。従来、画像から顔を検出するには、ウェーブレット変換を行った後、その係数情報であるウェーブレットジェットと呼ばれる特徴空間で類似度を検索する場合が多い。
例えば、下記特許文献１によれば、ジェット類似度により、右の瞳と、左の瞳、鼻などの特徴部分を検出する。
また、下記特許文献２によれば、ウェーブレット係数を抽出し、顔の向きごとに算出した平均特徴ベクトル、および顔の向きを記憶した学習データと、認識対象画像データの対応する目や鼻などの指定した顔の特定位置から抽出した特徴データを使用して、認識対象の顔の向きを認識する。
いずれの方法を利用した場合も、適正な方向、周波数のウェーブレット変換を用いれば顔の部位（目、口、鼻等）の位置を安定して捕らえる事が可能であるという特徴がある。
なお、本願発明に関連する先行技術文献としては以下のものがある。
【０００３】
【特許文献１】
特表２００２−５１１６２０号公報（人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉）
【特許文献２】
特開平４−０００５０８号公報（画像認識装置および記録媒体）
【０００４】
【発明が解決しようとする課題】
前述したウェーブレットジェットと呼ばれる特徴空間で顔画像の類似度を検索する場合、複数の周波数、方向のマザーウェーブレットを生成し、そのすべての変換係数を比較して類似度を計算する必要がある。
顔の各部位にあわせて最適な周波数、方向のマザーウェーブレットが選択された場合は、高精度な検出が可能であるが、想定される傾き及び回転、個人別の差異などの影響があった場合すべての周波数、角度のウェーブレット変換を行うことは、計算コスト、実行時間が爆発的に増大するという問題がある。
また、計算コストを削減するため、周波数、方向を限定する方法をとった場合、検出性能が劣化する問題がある。
【０００５】
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、事前に想定される傾き、及び回転、個人別の差異などの影響があった場合にも、計算コスト、実行時間を増大させずに、入力信号パターンから、教師用信号パターン列に類似する信号パターン部を検出することが可能で、かつ、高精度な位置検出精度を確保して信号パターン部を検出することが可能な信号パターン検出方法、並びに信号パターン検出装置を提供することにある。
また、本発明の他の目的は、前述の信号パターン検出方法をコンピュータに実行させるための信号パターン検出プログラムを提供することにある。
また、本発明の他の目的は、前述の信号パターン検出プログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００６】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の目的を達成するために、本発明では、特徴検出部において、各教師用信号パターン列毎に、変動パターン部、および、不変パターン部を検出し、教師信号生成部において、前記特徴検出部で検出された変動パターン部、および、不変パターン部に従い、前記教師用信号パターン列に重み付けを行い、新たな教師用信号パターン列を生成し、入力信号解析部において、前記教師信号生成部で生成された新たな教師用信号パターン列を用いて、入力信号パターンの類似度を計算し、類似度の高いものから検出結果として出力する入力信号パターンから予め設定された教師用信号パターン列に類似する信号パターン部分を検出する。
また、本発明では、教師信号生成部において、予め設定された複数のカテゴリ毎に複数の教師用信号を分類し、各カテゴリ毎に前記教師用信号パターン列を生成する。
【０００７】
前述の手段によれば、事前に想定される照明変動や傾き及び回転などの影響があった場合にも、信号中の不変パターン部に対して重み付けされた新たな教師用信号パターン列を用いて、入力信号パターンから、教師用信号パターン列に類似する信号パターン部を検出することが可能となり、かつ、高精度な位置検出精度を確保して信号パターン部を検出することが可能となる。
また、予め設定された複数のカテゴリ毎に複数の教師用信号を分類し、各カテゴリ毎に前記教師用信号パターン列を生成することにより、入力信号パターンの傾き、回転、個人別差異毎に教師用信号パターン列を生成可能であり、複数回のウェーブレット変換を必要としないため、計算コスト、実行時間の増大を招かず、想定される変動毎に高精度な位置検出精度を確保して信号パターン部を検出することが可能となる。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
以下、本発明の実施の形態を、「画像から顔を検出する顔検出力システム」を例に挙げて説明する。
図１は、本発明の実施の形態の信号パターン検出装置の概略構成を示すブロック図である。
同図において、１０は学習用パターン入力部、１１は学習用パターン記憶部、１２は特徴検出部、１３は教師信号生成部、１４は教師信号記憶部、１５は入力信号解析部である。
学習用パターン入力部１０では、デジタルカメラ、スキャナ、ＴＶカメラ等からの画像データ中の顔画像を入力とし、左目、右目、鼻、口等の各顔部位を部分画像として切り出し出力する。切り出しに際しては、市販の画像処理ソフトウェア等を用いてもよい。
【０００９】
学習用パターン入力部１０で切り出された各顔部位の部分画像は、カテゴリ毎に分類され、学習用パターン記憶部１１に送信される。
本実施の形態では、図２に示すように、目のカテゴリをカテゴリＡ、鼻のカテゴリをカテゴリＢ、口のカテゴリをカテゴリＣとする。
学習用パターン記憶部１１では、学習用パターン入力部１０から入力された部分画像をカテゴリ別に記憶メディアに記憶する。
特徴検出部１２では、学習用パターン記憶部１１に記憶された部分画像毎に特徴量を検出し教師信号生成部１３へ送信する。
教師信号生成部１３では、特徴検出部１２より送信された特徴データより検出のためのパターンとなる教師信号を生成し、教師信号記憶部１４へ送信する。
教師信号記憶部１４では、教師信号生成部１３より受信した教師信号を記憶メディアヘ記憶する。
入力信号解析部１５では、教師信号記憶部１４に記憶された教師信号と入力信号を比較し、その結果を出力する。
【００１０】
特徴検出部１２は、学習用パターン記憶部１１に記録された部分画像をロードし、図３に示すフローチャートに従い処理を行う。
図３は、特徴検出部１２の処理手順を示すフローチャートである。以下、図３を用いて、特徴検出部１２の処理手順を説明する。
・ステップ１０１
未処理のカテゴリを選択し、処理対象部分画像を決定する。
・ステップ１０２
ステップ１０１で決定した画像を、予め設定された周波数、方向にてウェーブレット変換を行う。
変換された値は、ｗｎｉ（ｘ，ｙ，ｄｌ，ωｍ）として格納する。ここで、ｎはカテゴリ番号、ｉは画像番号、ｘ，ｙは、マザーウェーブレットの中心座標、ｄｌはマザーウェーブレットの方向、ｄｍはマザーウェーブレットの周波数である。
・ステップ１０３
ウェーブレット変換された各画像の変換値を説明変数として主成分分析を行い、固有値、固有ベクトルを計算する。
例えば、ｎｏ×ｎｏの解像度を持つ画像であった場合は、ｐ＝ｎｏ２次元のベクトルとなり、教師信号として入力された画像枚数がサンプル数となる。
ここで、最大画像枚数をＩとすると、任意のｗｎｉ（ｘ，ｙ，ｄｌ，ωｍ）（ｌ，ｍは、それぞれ方向ラベル、および周波数ラベル）に対して、｛ｗｎｉ｜０≦ｉ≦Ｉ｝をサンプルとして、下記（１）に示す分散共分散行列を求める。
【００１１】
【数１】
2004362410.tif 000003
2004362410.tif 000004
なお、分散共分散行列Ｓの成分ｓｋｌ（１≦ｋ≦ｐ、１≦ｌ≦ｐ）は、下記（２）で求められる。
【００１２】
【数２】
2004362410.tif 000005
2004362410.tif 000006
続いて、下記（３）に示す行列式により、固有値λを求める。
【００１３】
【数３】
2004362410.tif 000007
2004362410.tif 000008
ここで、固有値λは、正の実数となり、下記（４）式のようにソートするものとする。
【数４】
λ１≧λ２≧…λｋ≧…≧λｐ≧０  ・・・・・・・・・・・・・  （４）
続いて、固有値λｋ（１≦ｋ≦ｐ）に対する固有ベクトルａｋ（ｘ，ｙ，ｄｌ，ωｍ）＝（ａｉ１，ａｉ２，…，ａｉｐ）を、下記（５）式により求める。
【００１４】
【数５】
2004362410.tif 000009
2004362410.tif 000010
以上の処理を全ての（ｄｌ、ｗｍ）について行う。
【００１５】
・ステップ１０４
ステップ１０３で得られた固有ベクトルａｋから、以下の２つの条件を同時に満たすものを選択することにより、回転や個人差等の変動要因に対応する固有ベクトルを除去し、不変要素ベクトルを抽出する。
条件１：固有値の絶対値が相対的に小さい。
条件２：固有ベクトルの絶対値が相対的に大きい。
具体的な計算方法としては、例えば、以下のような判定式を用いる。
各固有ベクトルに対応するλｋに対するｗｎｉ（ｘ，ｙ，ｄ，ω）の平均値を下記（６）式として、下記（７）式により不変要素ベクトルｖｎｉ（ｘ，ｙ，ｄ，ω）を選択する。
【００１６】
【数６】
2004362410.tif 000011
2004362410.tif 000012
【数７】
2004362410.tif 000013
2004362410.tif 000014
但し、ｓｈは任意の閾値、｜ａｋ｜はベクトルａｋの絶対値、Ａ，Ｂは任意の定数である。
・ステップ１０５
全カテゴリの処理が終了したか否かを判断し、ステップ１０５でＮｏの場合は、ステップ１０１ないしステップ１０５の処理を繰り返す。ステップ１０５でＹｅｓの場合は、ステップ１０６に進む。
・ステップ１０６
選択されたベクトル情報を教師信号生成部１３に送信する。
ここで、使用するマザーウェーブレットはガボールウェーブレットとするが、そのほかのウェーブレット関数を用いてもよい。
また、ガボールウェーブレットは、下記（８）式により定義されるものとする。なお、下記（８）式中のσは、ガボール関数の窓幅を定義する定数である。
【００１７】
【数８】
2004362410.tif 000015
2004362410.tif 000016
【００１８】
教師信号生成部１３は、学習用パターン記憶部１１に記録された部分画像をロードし、図４に示すフローチャートに従い処理を行う。
図４は、教師信号生成部１３の処理手順を示すフローチャートである。以下、図４を用いて、教師信号生成部１３の処理手順を説明する。
・ステップ１１１
未処理のカテゴリを選択する。
・ステップ１１２
ステップ１１１で選択したカテゴリに対応したベクトル情報を、特徴検出部１２より受信する。
・ステップ１１３
ベクトル情報を、下記（９）式により重み係数ｈｎｉに変換する。
【数９】
ｈｎｉ＝Ｃｖｎｉ  ・・・・・・・・・・・・・・・・・・・・・・  （９）
ここで、Ｃは、任意の定数である。
・ステップ１１４
ステップ１１３で設定された重み係数に従い、下記（１０）式によりウェーブレット関数Ｇｎを生成する。
【数１０】
2004362410.tif 000017
・ステップ１１５
全カテゴリの処理が処理が終了したか否かを判断し、ステップ１１５でＮｏの場合は、ステップ１１１ないしステップ１１５の処理を繰り返す。ステップ１１５でＹｅｓの場合は、ステップ１１６に進む。
・ステップ１１６
生成したウェーブレット関数Ｇｎを、教師信号として教師信号記憶部１４へ保存する。
【００１９】
入力信号解析部１５は、解析対象となる入力信号を受信し、図５に示すフローチャートに従い処理を行う。
図５は、入力信号解析部１５の処理手順を示すフローチャートである。以下、図５を用いて、入力信号解析部１５の処理手順を説明する。
・ステップ１２１
入力信号を受信する。
・ステップ１２２
未処理のカテゴリを決定する。
・ステップ１２３
ステップ１２２で設定したカテゴリの教師信号Ｇｎを、教師信号記憶部１４よりロードする。
・ステップ１２４
入力信号列Ｉ（ｘ，ｙ）に対して、教師信号Ｇｎにてウェーブレット変換を行う。
・ステップ１２５
予め設定した閾値ｓｈ以上の値をとった座標値（ｘ，ｙ）を、そのカテゴリの検出座標として保存する（ステップ１２５）。
・ステップ１２６
全カテゴリの処理が終了したか否かを判断し、ステップ１２６でＮｏの場合は、ステップ１２１ないしステップ１２６の処理を繰り返す。ステップ１２６でＹｅｓの場合は、ステップ１２７に進む。
・ステップ１２７
各カテゴリのピーク座標値の組み合わせを生成し、以下の条件を満たした組み合わせを顔座標として出力する。
【００２０】
具体的には以下の通りである。
前記特徴検出部１２にて、予め設定されたカテゴリを右目カテゴリ、左目カテゴリ、鼻カテゴリ、口カテゴリとし、各々のカテゴリにて検出されたピーク値の座標集合を右目カテゴリ｛Ｅｒｎ｜０≦ｎ≦Ｎ｝、左目カテゴリ｛Ｅｌｎ｜０≦ｎ≦Ｎ｝、鼻カテゴリ｛Ｎｎ｜０≦ｎ≦Ｎ｝、口カテゴリ｛Ｍｎ｜０≦ｎ≦Ｎ｝とする（Ｎは最大候補数）。
ここで、全てのカテゴリの組み合わせを、下記（１１）〜（１５）式より検証し、Ｃｏを最小とする組み合わせを求め、それを顔検出位置として出力する。
【数１１】
2004362410.tif 000018
ここで、Ａ１，Ａ２，Ａ３は、任意の定数とする。
【００２１】
なお、前述の実施の形態では、顔候補を入力画像中、１個と限定したが、Ｃｏの低い順に複数候補挙げれば複数の顔検出も可能である。
以上説明したように、本実施の形態の信号パターン検出方法によれば、信号中の不変パターン部に対して重み付けされた新たな教師信号パターン列を用いて教師用信号パターン列に類似する入力信号パターンを検出することが可能であり、かつ、高精度な位置検出精度を確保して入力信号パターンを検出することが可能となる。
なお、前述の実施の形態では、カテゴリとして、右目カテゴリ、左目カテゴリ、鼻カテゴリ、口カテゴリとしたが、さらに、回転角度、照明明度、傾き角度毎のカテゴリを追加すれば、入力信号パターンの照明変動、傾き、回転毎に教師信号パターン列を生成可能であり、想定される変動毎に高精度な位置検出精度を確保して入力信号パターンを検出することが可能となる。
なお、前述の説明において、信号パターン検出装置はコンピュータに実行させることも可能であり、その場合に、前述の信号パターン検出方法は、コンピュータ内のハードディスクなどに格納される信号パターン検出プログラムを、コンピュータが実行することにより行われる。この信号パターン検出プログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００２２】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、事前に想定される傾き、及び回転、個人別の差異などの影響があった場合にも、計算コスト、実行時間を増大させずに、入力信号パターンから、教師用信号パターン列に類似する信号パターン部を検出することが可能となり、かつ、高精度な位置検出精度を確保して信号パターン部を検出することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の信号パターン検出装置の概略構成を示すブロック図である。
【図２】図１に示す学習用パターン入力部における画像切り出し、および保存カテゴリを説明するための図である。
【図３】図１に示す特徴検出部の処理手順を示すフローチャートである。
【図４】図１に示す教師信号生成部の処理手順を示すフローチャートである。
【図５】図１に示す入力信号解析部の処理手順を示すフローチャートである。
【符号の説明】
１０…学習用パターン入力部、１１…学習用パターン記憶部、１２…特徴検出部、１３…教師信号生成部、１４…教師信号記憶部、１５…入力信号解析部。
【図１】
2004362410.tif 000019
【図２】
2004362410.tif 000020
【図３】
2004362410.tif 000021
【図４】
2004362410.tif 000022
【図５】
2004362410.tif 000023