(57)【要約】【課題】パターンマッチング処理によって処理対象画像中の特徴部分を認識する演算負荷を軽減し短時間に特徴部分を認識する。【解決手段】第１倍率の処理対象画像１０２ａに対して所定ウインドウ１０３と所定パターン１０１ａ，…とを用いたパターンマッチング処理を本認識処理として行うとき、予備検査用ウインドウ（１０３を拡大／縮小したウインドウ）２０３で切り出した部分画像と予備検査用パターン２０１ａ（１０１ａを拡大／縮小し且つデータ量を削減したパターン）とのパターンマッチング処理を予備認識処理として行い、第２倍率の処理対象画像１０２ｂに対して所定ウインドウ１０３と所定パターン１０１ａ，…とを用いたパターンマッチング処理を本認識処理として行うときに予備検査結果に基づき無駄（領域２０５以外）となるパターンマッチング処理をスキップする。【選択図】図３
2007293475.tif 000002
【特許請求の範囲】
【請求項１】
異なる倍率でスケーリングした複数の処理対象画像の夫々をスキャンしながら所定ウインドウで部分画像を切り出し、所定パターンと該部分画像とのパターンマッチング処理を行う画像認識方法において、
第１倍率に対する第２倍率のスケーリング率の逆数倍した大きさの前記所定ウインドウを予備検査用ウインドウにすると共に該逆数倍した大きさ且つデータ量削減を行った前記所定パターンを予備検査用パターンとし、
前記第１倍率の前記処理対象画像に対して前記所定ウインドウと前記所定パターンとを用いたパターンマッチング処理を本認識処理として行うとき、
該第１倍率の前記処理対象画像から前記予備検査用ウインドウで切り出した部分画像と前記予備検査用パターンとのパターンマッチング処理を予備認識処理として行い両者間の相関性が所定値以上となるウインドウ切出位置を予備検査結果として求め、
前記第２倍率の前記処理対象画像に対して前記所定ウインドウと前記所定パターンとを用いたパターンマッチング処理を本認識処理として行うときに前記予備検査結果に基づき前記相関性が所定値以上にならないウインドウ切出位置におけるパターンマッチング処理をスキップすることを特徴とする画像認識方法。
【請求項２】
前記本認識処理と前記予備認識処理を並列に行うことを特徴とする請求項１に記載の画像認識方法。
【請求項３】
前記第２倍率が、前記第１倍率に対する１レベル拡大した倍率と１レベル縮小した倍率の２つであり、該２つの第２倍率に対する夫々の前記予備認識処理と前記本認識処理の３つの処理を並列に行うことを特徴とする請求項２に記載の画像認識方法。
【請求項４】
異なる倍率でスケーリングした複数の処理対象画像の夫々をスキャンしながら所定ウインドウで部分画像を切り出し、所定パターンと該部分画像とのパターンマッチング処理を行う画像認識装置において、
第１倍率に対する第２倍率のスケーリング率の逆数倍した大きさの前記所定ウインドウを予備検査用ウインドウにすると共に該逆数倍した大きさ且つデータ量削減を行った前記所定パターンを予備検査用パターンとする手段と、
前記第１倍率の前記処理対象画像に対して前記所定ウインドウと前記所定パターンとを用いたパターンマッチング処理を本認識処理として行う手段と、
該第１倍率の前記処理対象画像から前記予備検査用ウインドウで切り出した部分画像と前記予備検査用パターンとのパターンマッチング処理を予備認識処理として行い両者間の相関性が所定値以上となるウインドウ切出位置を予備検査結果として求める手段と、
前記第２倍率の前記処理対象画像に対して前記所定ウインドウと前記所定パターンとを用いたパターンマッチング処理を本認識処理として行うときに前記予備検査結果に基づき前記相関性が所定値以上にならないウインドウ切出位置におけるパターンマッチング処理をスキップする手段と
を備えることを特徴とする画像認識装置。
【請求項５】
前記本認識処理と前記予備認識処理を並列に行うことを特徴とする請求項４に記載の画像認識装置。
【請求項６】
前記第２倍率が、前記第１倍率に対する１レベル拡大した倍率と１レベル縮小した倍率の２つであり、該２つの第２倍率に対する夫々の前記予備認識処理と前記本認識処理の３つの処理を並列に行うことを特徴とする請求項５に記載の画像認識装置。
【請求項７】
被写体からの入射光を取り込む光学系と、該光学系の結像面に置かれた固体撮像素子と、該固体撮像素子から出力される前記被写体画像のスルー画像データに対して前記パターンマッチング処理を行う請求項４乃至請求項６のいずれかに記載の画像認識装置とを備えることを特徴とする撮像装置。
【請求項８】
前記所定パターンが顔パターンであることを特徴とする請求項７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の顔等の特徴部分をパターンマッチングにより認識する画像認識方法及びその装置並びにこの画像認識装置を搭載した撮像装置に関する。
【背景技術】
【０００２】
例えば、デジタルカメラ等の撮像装置で被写体を撮影する場合、レリーズボタンが押され静止画像の撮影が行われる前に、動画状態で固体撮像素子から出力されるスルー画像を取り込み、その中に「顔」が存在するか否かを検出し、「顔」が検出されたとき、この「顔」を主要被写体であると判断して「顔」に焦点を自動的に合わせるものがある（例えば、特許文献１参照）。
【０００３】
この様に、画像中に認識対象とする特徴部分が存在するか否かを検出するには、特許文献２，３記載の様なパターンマッチング処理を行うのが好適である。このパターンマッチング処理では、図６に示す様に、「顔」の平均的なパターンを例えば３２画素×３２画素のテンプレート１０１として予め用意しておき、処理対象画像１０２から３２画素×３２画素の部分画像を切出ウインドウ１０３によって切り出し、切り出された部分画像１０４とテンプレート１０１とを１画素１画素比較して両者の相関性を求める。
【０００４】
そして、切出ウインドウ１０３を縦方向（垂直方向）や横方向（水平方向）に１画素づつスキャン（走査）しながら上記の相関性を算出する処理を繰り返し、相関性が所定閾値以上となる部分画像を切り出した位置に「顔」が存在すると判断する。
【０００５】
更に、処理対象画像中の「顔」の大きさがテンプレートの大きさと異なる場合もあるため、図７に示す様に、処理対象画像１０２を例えば０．７９倍，０．６３倍など所定数倍する毎に上記処理を繰り返す。あるいは、テンプレートの方の大きさを所定数倍する毎に上記処理を繰り返す。
【０００６】
更に、抽出する特徴部分が「顔」の場合、正面から見た顔パターン１０１ａ、右側から見た顔パターン１０１ｂ、左側から見た顔パターン１０１ｃ、大人の顔パターン、乳児の顔パターン等、複数種類のテンプレートが用意されるのが普通であるため、上記処理を全てのテンプレートで繰り返す。
【０００７】
【特許文献１】特開２００６−０３３４４０号公報
【特許文献２】特開２００４―３３４８３６号公報
【特許文献３】特開２００３―２７１９３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
処理対象画像中に特徴的部分が含まれているか否かをパターンマッチング処理で検出する場合、上述したように１画素１画素を比較する処理を膨大な数だけ繰り返す必要があり、演算負荷が高い。また、デジタルカメラ等に顔認識装置として搭載する場合、極めて短時間に画像認識処理を行わなければならないため、高性能な演算処理装置を搭載する必要が生じ、デジタルカメラ等のコストを増大させてしまうという問題がある。
【０００９】
本発明の目的は、パターンマッチング処理によって処理対象画像中の特徴部分を認識する演算負荷を軽減し短時間に特徴部分を認識することが可能なパターンマッチングを用いた画像認識方法及びその装置並びに撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の画像認識方法及びその装置は、異なる倍率でスケーリングした複数の処理対象画像の夫々をスキャンしながら所定ウインドウで部分画像を切り出し、所定パターンと該部分画像とのパターンマッチング処理を行う画像認識において、
第１倍率に対する第２倍率のスケーリング率の逆数倍した大きさの前記所定ウインドウを予備検査用ウインドウにすると共に該逆数倍した大きさ且つデータ量削減を行った前記所定パターンを予備検査用パターンとし、
前記第１倍率の前記処理対象画像に対して前記所定ウインドウと前記所定パターンとを用いたパターンマッチング処理を本認識処理として行い、
該第１倍率の前記処理対象画像から前記予備検査用ウインドウで切り出した部分画像と前記予備検査用パターンとのパターンマッチング処理を予備認識処理として行い両者間の相関性が所定値以上となるウインドウ切出位置を予備検査結果として求め、
前記第２倍率の前記処理対象画像に対して前記所定ウインドウと前記所定パターンとを用いたパターンマッチング処理を本認識処理として行うときに前記予備検査結果に基づき前記相関性が所定値以上にならないウインドウ切出位置におけるパターンマッチング処理をスキップすることを特徴とする。
【００１１】
本発明の画像認識方法及びその装置は、前記本認識処理と前記予備認識処理を並列に行うことを特徴とする。
【００１２】
本発明の画像認識方法及びその装置は、前記第２倍率が、前記第１倍率に対する１レベル拡大した倍率と１レベル縮小した倍率の２つであり、該２つの第２倍率に対する夫々の前記予備認識処理と前記本認識処理の３つの処理を並列に行うことを特徴とする。
【００１３】
本発明の撮像装置は、被写体からの入射光を取り込む光学系と、該光学系の結像面に置かれた固体撮像素子と、該固体撮像素子から出力される前記被写体画像のスルー画像データに対して前記パターンマッチング処理を行う上記のいずれかに記載の画像認識装置とを備えることを特徴とする。
【００１４】
本発明の撮像装置は、前記所定パターンが顔パターンであることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、予備認識処理結果を利用し、本認識処理の処理範囲を制限して無駄なパターンマッチング処理をスキップするため、演算負荷が軽減され、演算時間の短縮を図ることが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１７】
図１は、本発明の一実施形態に係るデジタルカメラのブロック構成図である。このデジタルカメラは、撮像部１と、撮像部１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２と、アナログ信号処理部２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）３と、後述のシステム制御部（ＣＰＵ）９からの指示によってＡ／Ｄ３，アナログ信号処理部２，撮像部１の駆動制御を行う駆動部４と、ＣＰＵ９からの指示によって発光するフラッシュ５とを備える。
【００１８】
撮像部１は、被写界からの光を集光する光学レンズ系１ａと、該光学レンズ系１ａを通った光を絞る絞り１ｂと、光学レンズ系１ａによって集光され絞り１ｂによって絞られた光を受光し撮像画像データ（アナログ画像データ）を出力する固体撮像素子１ｃとを備える。
【００１９】
本実施形態のデジタルカメラは更に、Ａ／Ｄ３から出力されるデジタル画像データを取り込みガンマ変換処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理その他の処理を行うデジタル信号処理部６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）９と、フレームメモリ等の内部メモリ１０と、ＪＰＥＧ画像データ等を格納する記録メディア１２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部１１と、これらを相互に接続するバス２０とを備え、また、システム制御部９には、ユーザからの指示入力を行う操作部１３が接続されている。
【００２０】
図１に示すデジタルカメラの構成は、一般的なデジタルカメラの構成であり、演算処理装置であるＣＰＵ９は、画像認識処理プログラムを実行することで、単独で或いは配下のデジタル信号処理部６等を使い、スルー画像中の特徴部分（この例では「顔」部分）を認識する。そして、認識結果に基づいて駆動部４を制御し、撮像部１の光学系１ａを調整して「顔」部分にレンズ焦点を自動的に合わせる処理を行う。あるいは、「顔」画像から肌色を検出し、肌色が最も綺麗に映るようにホワイトバランス補正等をデジタル信号処理部６に行わせる。
【００２１】
図２は、演算処理装置（ＣＰＵ）９が画像認識処理プログラムを実行するとき構成される機能処理図である。演算処理装置９は、取り込み制御処理部９ａにより、フレームメモリ１０内のスルー画像データを取り込む。そして、スケーラ９ｂにより、スルー画像データを、図７で説明したように、所定数倍する。
【００２２】
そして次に、前処理部９ｃが処理対象画像データを前処理する。この場合の前処理とは、処理対象画像データをパターンマッチングし易い画像データに変換する処理である。例えば、１画面内で輝度差が大きすぎるとパターンマッチング処理が難しくなるため輝度を全体的に均一にする処理とか、撮像画像中のエッジ（輪郭）部分を強調する処理等である。
【００２３】
前処理部９ｃで処理された画像データは、顔認識処理部９ｄに取り込まれ、顔画像がパターンマッチング処理によって認識される。そして、保存処理部９ｅによって認識結果がＣＰＵ９の内蔵メモリに保存されると共に認識結果に基づく制御信号が駆動部４に出力される。また、認識処理の結果によって、コントロール処理部９ｆが取り込み制御処理部９ａとスケーラ９ｂを制御する。
【００２４】
顔認識処理部９ｄは、テンプレート格納メモリ２１と、本認識処理部２２と、テンプレート拡大縮小処理部２３と、予備認識処理部２４と、予備認識処理部２４の処理結果（予備検査結果）を内蔵メモリに保存する保存処理部２５とを備える。
【００２５】
本認識処理部２２は、前処理部９ｃから入力してくる図３（ａ）に示す処理対象画像データ１０２ａから切出ウインドウ１０３を用いて例えば３２画素×３２画素の部分画像データを切り出す。そして、部分画像データとテンプレート１０１ａとを１画素づつ比較して画素データ間の差分を求め、差分の絶対値のウインドウ内総画素についての積算値を求める。この積算値が大きいほど、部分画像データとテンプレートとの差違（不一致量）が大きいことを意味し、積算値が小さいほど両者間の相関性が高いことを意味する。
【００２６】
そして、切出ウインドウ１０３を処理対象画像上で１画素づつスキャンし、相関性を求める演算処理を繰り返す。テンプレート１０１ａを用いたスキャンが終了した後は、テンプレートを交換して同様の処理を繰り返し、用意された全てのテンプレートによるパターンマッチング処理を繰り返し、相関性が所定閾値以上の部分画像データが切り出された切出ウインドウの座標位置を求める。
【００２７】
予備認識処理部２４は、本認識処理部２２が行うパターンマッチング処理と並行して予備認識処理を行う。この予備認識処理では、本認識処理部２２が取り込んだと同じ処理対象画像１０２ａを取り込み、４０画素×４０画素の切出ウインドウ（予備検査用ウインドウ）２０３を用いて部分画像データを切り出す。
【００２８】
そして、３２画素×３２画素のテンプレート１０１ａを拡大縮小処理部２３で８画素×８画素のテンプレートに一旦縮小してデータ量を削減し、これを４０画素×４０画素のテンプレート（予備検査用パターン）２０１ａに拡大する。例えばテンプレート１０１ａで連続線になっていた部分は、テンプレート２０１ａでは、飛び飛びの不連続点のデータとなる。
【００２９】
予備認識処理部２４は、テンプレート２０１ａと切出ウインドウ２０３で切り出した部分画像データとのパターンマッチング処理を行って両者間の相関性を求めると共に、切出ウインドウ２０３をスキャンしてパターンマッチング処理を繰り返す。このパターンマッチング処理は、テンプレート２０１ａが疎らなデータのため、テンプレート２０１ａのデータが存在する画素についてのみ行い相関性を求めることになる。そして、相関性が所定値以上（不一致量が所定値以下）となる切出ウインドウ２０３の座標位置を予備検査結果として内蔵メモリ２５に保存する。
【００３０】
本認識処理部２４は、処理対象画像１０２ａ（×１．０倍の画像）の処理が終了した後は、次に、処理対象画像１０２ａを０．７９倍した図３（ｂ）に示す画像データ１０２ｂを生成し、この処理対象画像データ１０２ｂから切出ウインドウ１０３を用いて３２画素×３２画素の部分画像データを切り出す。そして、この部分画像データと、各テンプレート１０１ａ，１０１ｂ，…とのパターンマッチング処理を行うことになる。
【００３１】
この処理対象画像データ１０２ｂ上での３２画素×３２画素の大きさは、元画像データ１０２ａ（図３）上では、４０．５画素×４０．５画素の大きさに相当する。即ち、切出ウインドウ２０３と略同じ大きさとなり、予備認識処理部２４が行った予備認識結果が利用可能となる。
【００３２】
そこで、予備認識処理の結果、例えば正面顔の顔パターンテンプレート１０１ａの拡大テンプレート２０１ａと相関性が所定値以上ある部分画像が画像データ１０２ａ上に無かった場合には、テンプレート１０１ａを用いた画像データ１０２ｂのマッチング処理をスキップする。
【００３３】
また、右側顔パターンテンプレート１０１ｂの拡大テンプレートと相関性が所定値以上ある部分画像が部分領域２０５内にあると予備認識された場合には、部分領域２０５内だけをテンプレート１０１ｂを用いてパターンマッチング処理し、その他の領域におけるパターンマッチング処理をスキップする。
【００３４】
この様に、本実施形態では、例えば図４に示す様に、１．０倍，０．７９倍，０．６３倍，０．５０倍，０．４０倍の５つの倍率の画像データをパターンマッチング処理の対象とする場合、１．０倍の画像データに対して本認識処理と並行して１．０倍の画像データと拡大テンプレートとを用いて０．７９倍の画像データに対する予備認識処理を行う。
【００３５】
そして、０．７９倍の画像データに対する本認識処理を実行するこの予備認識処理結果を利用し、これと並行して０．７９倍の画像データと拡大テンプレートとを用いて０．６３倍の画像データに対する予備認識処理を行う。以下、０．５０倍，０．４０倍の画像データでも同様とする。
【００３６】
本認識処理では、図３（ｂ）で説明して様に、認識処理対象画像１０２ｂの認識範囲を予備認識結果を用いて部分領域２０５に制限したが、予備認識処理では、前の本認識処理や予備認識処理の結果を利用せずに、画像データ１０２の全データを利用して行う。
【００３７】
図５（ａ）（ｂ）は、本認識処理及び予備認識処理を行う順序の別例を夫々示す図である。図４では、処理対象画像の縮小倍率が大きくなる順に認識処理を実行したが、図５（ａ）では、最初に０．７９倍の画像データに対して本認識処理を行うと共に１．０倍の画像データと０．６３倍の画像データに対する予備認識処理の計３つの処理を並行して行い、次に、１．０倍の画像データに対する本認識処理だけを実行する。勿論、その前に行った予備認識処理で１．０倍の画像データに顔画像が無いと判断された場合にはこの本認識処理はスキップされる。
【００３８】
次に、０．５０倍の画像データに対する本認識処理（この場合、予備認識処理はされていないため、全範囲でのパターンマッチング処理となる。）と０．４０倍の画像データに対する予備認識処理を行い、次に、０．６３倍の画像データの本認識処理を予備認識結果を利用して行い、最後に、０．４０倍の画像データの本認識処理を予備認識結果を利用して行う。
【００３９】
図５（ａ）では、１．０倍の画像データに対する認識処理の後、０．５０倍の画像データの認識処理に進んだが、図５（ｂ）に示す様に、０．６３倍の画像データの認識処理に進み、その後に０．４０倍，０．５０倍と進んでも良い。どの様な順に行うかは、並行処理の演算負荷や演算時間などを勘案して決めれば良い。
【００４０】
以上述べた様に、本認識処理と並行して次回以後に行う本認識処理に対する予備認識処理を行い、この予備認識処理結果を利用して本認識処理の処理範囲を制限し顔画像が無いと判断される蓋然性の高い部分における本認識処理をスキップするため、顔画像の検出処理を高速且つ少ない演算負荷で行うことが可能となり、この画像認識装置を搭載する撮像装置の製造コストを低減することが可能となる。
【００４１】
尚、上述した「背景技術」や「実施形態」では、デジタルカメラに搭載する顔画像認識処理として説明したが、本発明は顔画像に限定されるものではなく任意の特徴的画像部分が処理対象画像中に含まれているか否かの認識処理一般に適用できることはいうまでもない。
【産業上の利用可能性】
【００４２】
本発明に係る画像認識方法及びその装置は、少ない演算負荷で高速に特徴部分が処理対象画像中に含まれるか否かを検出できるため、デジタルカメラ等に適用すると有用である。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態に係るデジタルカメラのブロック構成図である。
【図２】図１に示すＣＰＵが顔画像認識処理プログラムを実行するときに構成される機能処理図である。
【図３】図１に示すＣＰＵが行う予備認識処理（ａ）及び本認識処理（ｂ）の説明図である。
【図４】図１に示すＣＰＵが行う認識処理の順序の一例を示す図である。
【図５】図１に示すＣＰＵが行う認識処理の別の順序を示す図である。
【図６】パターンマッチング処理の説明図である。
【図７】パターンマッチング処理で顔画像の検出を行う説明図である。
【符号の説明】
【００４４】
６  デジタル信号処理部
９  システム制御部（ＣＰＵ）
９ｄ  顔認識処理部
１０  フレームメモリ
２１  テンプレート格納部
２２  本認識処理部
２３  テンプレート拡大縮小処理部
２４  予備認識処理部
２５  予備認識結果保存処理部
１０１，１０１ａ，１０１ｂ，…テンプレート（所定パターン）
１０２，１０２ａ，１０２ｂ  処理対象画像データ
１０３  切出ウインドウ（所定ウインドウ）
２０１ａ  拡大テンプレート（予備検査用パターン）
２０３  拡大切出ウインドウ（予備検査用ウインドウ）
２０５  部分領域（本認識処理の対象範囲）
【図１】
2007293475.tif 000003
【図２】
2007293475.tif 000004
【図３】
2007293475.tif 000005
【図４】
2007293475.tif 000006
【図５】
2007293475.tif 000007
【図６】
2007293475.tif 000008
【図７】
2007293475.tif 000009