(57)【要約】【課題】本発明は、光学系で撮影した画像から特定パターンをより確実に検出することのできるパターン検出方法、パターン検出プログラム、パターン検出装置、及び撮像装置を提供することを目的とする。【解決手段】本発明のパターン検出方法は、光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手順（Ｓ１２）と、前記抑制後の前記画像から特定パターンを検出するパターン検出手順（Ｓ１３）とを含むことを特徴とする。このように、パターン検出に先立ち被処理画像の倍率歪みを抑制しておけば、特定パターンを、その歪みに依らず漏れなく検出することができる。【選択図】      図１
2008015979.tif 000002
【特許請求の範囲】
【請求項１】
光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手順と、
前記抑制後の前記画像から特定パターンを検出するパターン検出手順と
を含むことを特徴とするパターン検出方法。
【請求項２】
請求項１に記載のパターン検出方法において、
前記パターン検出手順では、
前記抑制後の前記画像の像傾斜量分布に応じて、前記画像の各位置における前記特定パターンの有無を判別する
ことを特徴とするパターン検出方法。
【請求項３】
請求項１又は請求項２に記載のパターン検出方法において、
前記パターン検出手順では、
前記抑制後の前記画像の像倍率分布に応じて、前記画像の各位置における前記特定パターンの有無を判別する
ことを特徴とするパターン検出方法。
【請求項４】
請求項１〜請求項３の何れか一項に記載のパターン検出方法をコンピュータに実行させることを特徴とするパターン検出プログラム。
【請求項５】
光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手段と、
前記抑制後の前記画像から特定パターンを検出するパターン検出手段と
を備えることを特徴とするパターン検出装置。
【請求項６】
請求項５に記載のパターン検出装置において、
前記パターン検出手段は、
前記抑制後の前記画像の像傾斜量分布に応じて、前記画像の各位置における前記特定パターンの有無を判別する
ことを特徴とするパターン検出装置。
【請求項７】
請求項５又は請求項６に記載のパターン検出装置において、
前記パターン検出手段は、
前記抑制後の前記画像の像倍率分布に応じて、前記画像の各位置における前記特定パターンの有無を判別する
ことを特徴とするパターン検出装置。
【請求項８】
被写体を撮像して画像を取得する撮像素子と、
前記撮像素子が取得した画像に対しパターン検出処理を施す請求項５〜請求項７の何れか一項に記載のパターン検出装置と
を備えたことを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記パターン検出装置の前記抑制手段は光学系で構成される
ことを特徴とする撮像装置。
【請求項１０】
請求項８に記載の撮像装置において、
前記パターン検出装置の前記抑制手段は回路で構成される
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学系で撮影した画像に関するパターン検出方法、パターン検出プログラム、パターン検出装置に関する。また、本発明は、パターン検出機能を搭載した撮像装置に関する。
【背景技術】
【０００２】
ディジタルカメラで撮影した画像から顔を検出し、その顔部分に対してのみ色補正や階調補正を施す技術（逆光補正、肌色補正など）が知られている。
現在、画像処理ソフトウエアで一般的な顔検出方法は、入力画像の各位置にウィンドウを配置し、各ウィンドウによって切り出される各部分領域が顔であるか否かそれぞれ判別するものである（非特許文献１等を参照）。その判別には、テンプレートマッチング、ＳＶＭ（Support Vector Machine）、ニューラルネットワーク、ＡｄａＢｏｏｓｔなど各種の判別方法が適用可能である。
【非特許文献１】Rowley, Baluja, Kanade, "Rotation Invariant Neural Network-Based Face Detection",  Computer Vision and Pattern Recognition, IEEE Computer Society International, P38-44, 1998
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ディジタルカメラで撮影した画像、特に広角レンズで撮影された画像では、画像周辺部の被写体像に或る種の歪みが生じているため、顔検出機能が正常に働かない可能性がある。
そこで本発明は、光学系で撮影した画像から特定パターンをより確実に検出することのできるパターン検出方法、パターン検出プログラム、パターン検出装置、及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明のパターン検出方法は、光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手順と、前記抑制後の前記画像から特定パターンを検出するパターン検出手順とを含むことを特徴とする。
なお、前記パターン検出手順では、前記抑制後の前記画像の像傾斜量分布に応じて、前記画像の各位置における前記特定パターンの有無を判別してもよい。
【０００５】
また、前記パターン検出手順では、前記抑制後の前記画像の像倍率分布に応じて、前記画像の各位置における前記特定パターンの有無を判別してもよい。
また、本発明のパターン検出プログラムは、本発明の何れかのパターン検出方法をコンピュータに実行させることを特徴とする。
また、本発明のパターン検出装置は、光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手段と、前記抑制後の前記画像から特定パターンを検出するパターン検出手段とを備えることを特徴とする。
【０００６】
なお、前記パターン検出手段は、前記抑制後の前記画像の像傾斜量分布に応じて、前記画像の各位置における前記特定パターンの有無を判別してもよい。
また、前記パターン検出手段は、前記抑制後の前記画像の像倍率分布に応じて、前記画像の各位置における前記特定パターンの有無を判別してもよい。
また、本発明の撮像装置は、被写体を撮像して画像を取得する撮像素子と、前記撮像素子が取得した画像に対しパターン検出処理を施す本発明の何れかのパターン検出装置とを備えたことを特徴とする。
【０００７】
なお、前記パターン検出装置の前記抑制手段は光学系で構成されてもよい。
また、前記パターン検出装置の前記抑制手段は回路で構成されてもよい。
【発明の効果】
【０００８】
本発明によれば、光学系で撮影した画像から特定パターンをより確実に検出することのできるパターン検出方法、パターン検出プログラム、パターン検出装置、及び撮像装置が実現する。
【発明を実施するための最良の形態】
【０００９】
［第１実施形態］
第１実施形態を説明する。本実施形態は、顔検出機能を搭載したディジタルカメラの実施形態である。
先ず、ディジタルカメラの構成を説明する。
図１は、ディジタルカメラの構成図である。図１に示すとおり、ディジタルカメラには、撮影レンズ１１、撮像素子１２、Ａ／Ｄ変換器１３、フレームメモリ１４、顔検出部１５、表示部１６、操作釦１７、記録部１９、ＣＰＵ１８などが備えられる。撮影レンズ１１は、歪曲収差の小さい一般的な広角撮影レンズ（被写体角度θと像高ｈとの関係はｈ∝ｔａｎθ）である。顔検出部１５は、顔検出用の画像処理回路である。ＣＰＵ１８は、その他の画像処理を実行する機能と、ディジタルカメラの各部を制御する機能とを備えた画像処理・制御回路である。
【００１０】
ＣＰＵ１８は、操作釦１７の操作内容からユーザの撮影指示を認識すると、ディジタルカメラの各部を駆動して撮影を行う。撮影時、撮影レンズ１１が捉えた被写界光束は、撮像素子１２上に像を形成する。撮像素子１２は、その像を撮像して画像データを生成する。その画像データは、Ａ／Ｄ変換器１３を介してフレームメモリ１４へ格納され、その後、所定のファイル形式に変換されてから記録部１９へ書き込まれる。
【００１１】
また、ＣＰＵ１８は、操作釦１７の操作内容からユーザの補正指示を認識すると、記憶部１９から画像データを読み出し、その画像データへ画像処理を施す。
ユーザの補正指示の中には、「逆光補正」や「肌色補正」など、顔検出を要する補正指示も含まれる。これらの補正指示を認識した場合、ＣＰＵ１８は、記憶部１９から読み出した被処理画像の画像データと、顔検出の実行指示とを顔検出部１５へ与える。その後、顔検出部１５が顔検出処理を実行して検出結果を出力すると、ＣＰＵ１８はその検出結果を利用して被処理画像の画像データへ補正処理を施す。逆光補正や肌色補正などの補正処理は周知なので、説明を省略する。
【００１２】
図２は、顔検出部１５の動作フローチャートであり、図３は、顔検出部１５による処理の概念を説明する図である。
（ステップＳ１１）
顔検出部１５は、被処理画像の画像データを入力する。図３（ａ）に示すように、被処理画像上の各位置（特に画像周辺部）では、像倍率の光軸中心周りの成分（周方向成分ａ）と、光軸中心から画像周辺へ向かう成分（径方向成分ｂ）とが一致していない。この不一致（以下、「倍率歪み」という。）は、撮影レンズ１１が無収差であったとしても発生する。
【００１３】
（ステップＳ１２ａ）
顔検出部１５は、被処理画像（図３（ａ））に対し、倍率歪みを無くすような幾何変換処理を施す。この幾何変換処理は、被処理画像を立体射影方式の撮影レンズで撮影されたのと同じ画像へと幾何変換するものである。
すなわち、顔検出部１５は、被処理画像（図３（ａ））上の各座標（ｘ，ｙ）を、撮影レンズ１１に固有の幾何変換特性の逆特性で座標変換してから、被写体角度θと像高ｈとの関係がｈ（θ）∝ｔａｎ（θ／２）である立体射影方式の幾何変換特性で座標（ｘ2，ｙ2）へ座標変換し、変換後の各座標（ｘ2，ｙ2）からなる画像に対し、画素補間処理を施す。このうち、座標変換に関する演算を数式で示すと、以下の通りである。
・被処理画像上の座標（ｘ，ｙ）を、次式（１）により像高ｈで表す。但し、式（１）中の（ｃx，ｃy）は、被処理画像上の光軸中心の座標である。
【００１４】
【数１】
2008015979.tif 000003
・像高ｈに対応する被写体角度θを、次式（２）で求める。但し、式（２）中のｄmaxは、被処理画像上の最大像高を長さに換算したものであり、ｆは、撮影時における撮影レンズ１１の焦点距離であり、ｈmaxは、被処理画像上の最大像高を画素数に換算したものである。このうち、ｄmax，ｈmaxの値は、顔検出部１５が予め記憶する。一方、ｆの値については、撮影時にＣＰＵ１８が認識し、前述した実行指示と共に顔検出部１５へと与えたものである。
【００１５】
【数２】
2008015979.tif 000004
・被写体角度θを次式（３）により像高ｈ2へ変換する。
【００１６】
【数３】
2008015979.tif 000005
・像高ｈ2に対応する座標（ｘ2，ｙ2）を次式（４）で求める。
【００１７】
【数４】
2008015979.tif 000006
図３（ｂ）は、以上の幾何変換処理後の画像の概念である。この画像（図３（ｂ））上では、各位置の倍率歪みが抑えられているので、画像上の各位置に存在する全ての顔の歪みが無くなっている。
【００１８】
（ステップＳ１３ａ）
顔検出部１５は、幾何変換処理後の画像へ肌色検出処理を施し、その画像から、顔の存在している可能性の無い領域を除外する。これによって、顔候補領域が抽出されたことになる。
（ステップＳ１３ｂ）
顔検出部１５は、抽出された顔候補領域（以下、単に「画像」という。）上の各位置に、所定画素サイズのウィンドウＷ（例えば１９画素×１９画素の矩形ウィンドウ）を配置し、そのウィンドウＷによって切り出される各部分領域のパターンを認識する。
【００１９】
さらに、顔検出部１５は、そのパターンが人間の顔であるか否か判別し、人間の顔であったならば、その部分領域を顔の存在領域とみなす（図３（ｃ）参照）。
この判別には、例えば、多数の顔学習サンプルを用いて予め学習した判別器が用いられる。因みに、本実施形態の判別では顔の歪みを考慮する必要が無いので、多数の顔学習サンプルは、何れも歪みの無い通常の顔学習サンプルで構わない。
【００２０】
（ステップＳ１２ｂ）
顔検出部１５は、検出した顔の存在領域を、ステップＳ１２ａの幾何変換処理の逆特性で幾何変換する（図３（ｄ）参照）。
（ステップＳ１４）
顔検出部１５は、変換後の存在領域を検出結果として出力する（ステップＳ１４の説明終了）。
【００２１】
以上、本実施形態の顔検出部１５は、顔検出処理（ステップＳ１３ｂ）に先立ち、被処理画像の倍率歪みを抑制するので（ステップＳ１２ａ）、画像上の各位置に存在する全ての顔からは歪みが無くなる。したがって、顔検出処理（ステップＳ１３ｂ）では、顔の歪みを何ら考慮していないにも拘わらず、顔の存在領域を確実に検出することができる（図３（ｄ）参照）。
【００２２】
なお、上述した幾何変換処理後の画像（図３（ｂ））では、倍率歪みが抑えられている反面、画像の一部（画像周辺部）に像倍率の変化及び像傾斜が発生している。このため、幾何変換処理後の画像（図３（ｂ））には、処理前と比較してサイズの変化した顔や、処理前と比較して傾斜した顔が含まれている可能性がある。
このため、上述した顔検出処理（ステップＳ１３ｂ）には、サイズ及び角度対応型の顔検出方法を採用するとよい。サイズ及び角度対応型の顔検出方法は、顔の存在領域を顔のサイズ及び配置角度に依らずに検出できる顔検出方法である。
【００２３】
例えば、ステップＳ１３において、顔検出部１５は、前述した判別を、図４に示すとおり、部分領域の領域サイズと、パターンの認識角度（矢印）とをそれぞれ変化させながら繰り返し行う。因みに、部分領域の領域サイズを変化させるには、ウィンドウの画素サイズを固定したまま、画像全体の画素サイズを様々な縮小倍率で縮小すればよい。このように、部分領域の領域サイズとパターンの認識角度との組み合わせを様々に変化させれば、顔の存在領域を、その顔のサイズや配置角度に依らず漏れなく検出することができる。このようなサイズ及び角度対応型の顔検出方法は、非特許文献１にも詳しく記載されている。
【００２４】
［第２実施形態］
第２実施形態を説明する。本実施形態も、顔検出機能を搭載したディジタルカメラの実施形態である。ここでは、第１実施形態との相違点のみ説明する。相違点は、顔検出部１５の動作内容にある。
図５は、本実施形態の顔検出部１５の動作フローチャートである。図５に示すとおり、本実施形態の顔検出部１５は、前述したステップＳ１３ｂに代えてステップＳ１３ｂ’を実行する。以下、ステップＳ１３ｂ’を説明する。
【００２５】
（ステップＳ１３ｂ’）
幾何変換処理後の画像（図３（ｂ））では、前述したとおり像傾斜が発生しているので、顔検出部１５は、画像内の像傾斜量分布を認識する。画像内の各位置の像傾斜量Δは、その位置に対応する被写体角度θ及び周方向角度φの関数として、Δ（θ，φ）で表される。
【００２６】
顔検出部１５は、その像傾斜量Δ（θ，φ）により、画像内を複数の領域に分類する。ここでは、像傾斜量Δが−３０°〜＋３０°である領域（０°領域）と、傾斜量Δが＋３０°〜＋９０°である領域（６０°領域）と、傾斜量Δが−３０°〜−９０°である領域（−６０°領域）とに分類する。
続いて、顔検出部１５は、第１実施形態のステップＳ１３ｂと同様、画像上の各位置に顔が存在しているか否かの判別を行うが、画像上の領域毎に異なる判別器を使い分ける。
【００２７】
例えば、０°領域に関する判別では、傾斜していない顔学習サンプルで予め学習した判別器を使用し、＋６０°領域に関する判別では、＋６０°だけ傾斜した顔学習サンプルで予め学習した判別器を使用し、−６０°領域に関する判別では、−６０°だけ傾斜した顔学習サンプルで予め学習した判別器を使用する。このような使い分けによると、画像内の領域毎に異なる角度の顔検出が行われることになる（ステップＳ１３ｂ’の説明終了）。
【００２８】
以上、本実施形態の顔検出部１５は、幾何変換処理後の画像の像傾斜量分布に応じて、画像内の領域毎に異なる角度の顔検出を行うので、画像上の有る位置に存在する顔が、幾何変換処理（ステップＳ１２ａ）によって仮に傾斜したとしても、顔検出部１５はその顔を漏れなく検出することができる。
［第３実施形態］
第３実施形態を説明する。本実施形態も、顔検出機能を搭載したディジタルカメラの実施形態である。ここでは、第１実施形態との相違点のみ説明する。相違点は、顔検出部１５の動作内容にある。
【００２９】
図６は、本実施形態の顔検出部１５の動作フローチャートである。図６に示すとおり、本実施形態の顔検出部１５は、前述したステップＳ１３ｂに代えてステップＳ１３ｂ”を実行する。以下、ステップＳ１３ｂ”を説明する。
（ステップＳ１３ｂ”）
幾何変換処理後の画像（図３（ｂ））では、前述したとおり像倍率の変化が発生しているので、顔検出部１５は、画像内の像倍率分布を認識する。光軸中心の像倍率を基準とした各位置の像倍率比κは、その位置に対応する被写体角度θの関数として、式（５）で表される。
【００３０】
【数５】
2008015979.tif 000007
顔検出部１５は、その像倍率比κ（θ，φ）により、画像内を複数の領域に分類する。ここでは、像倍率比κが１〜１．２５である領域（１倍領域）と、像倍率比κが１．２５〜１．７５である領域（１．５倍領域）と、像倍率比κが１．７５〜２である領域（２倍領域）とに分類する。
【００３１】
続いて、顔検出部１５は、第１実施形態のステップＳ１３ｂと同様、画像上の各位置に顔が存在しているか否かの判別を行うが、画像上の領域毎に判別器を使い分ける。
例えば、１倍領域に関する判別では、標準サイズの顔学習サンプルで予め学習した判別器を使用し、１．５倍領域に関する判別では、その１．５倍サイズの顔学習サンプルで予め学習した判別器を使用し、２倍領域に関する判別では、その２倍サイズの顔学習サンプルで予め学習した判別器を使用する。このような使い分けによると、画像内の領域毎に異なるサイズの顔検出が行われることになる（ステップＳ１３ｂ”の説明終了）。
【００３２】
以上、本実施形態の顔検出部１５は、幾何変換処理後の画像の像倍率分布に応じて、画像内の領域毎に異なるサイズの顔検出を行うので、画像上の有る位置に存在する顔のサイズが、幾何変換処理（ステップＳ１２ａ）によって仮に変化したとしても、顔検出部１５はその顔を漏れなく検出することができる。
［その他］
なお、上述した第３実施形態は、第１実施形態の変形例であったが、第２実施形態を同様に変形してもよい。
【００３３】
また、上述した第２実施形態では、画像内の領域毎に異なる角度の顔検出を行ったが、画像内の位置毎に異なる角度の顔検出を行ってもよい。
また、上述した第３実施形態では、画像内の領域毎に異なるサイズの顔検出を行ったが、画像内の位置毎に異なるサイズの顔検出を行ってもよい。
また、上述した各実施形態では、撮影レンズ１１の歪曲収差が小さいので幾何変換処理に式（２）を用いたが、撮影レンズ１１の歪曲収差を無視できないときには、式（２）の代わりに、その歪曲収差を反映させた式を用いればよい。
【００３４】
また、上述した各実施形態のディジタルカメラは、顔検出の結果を逆光補正又は肌色補正に利用したが、オートフォーカスに利用してもよい。但し、オートフォーカスに利用する場合、被処理画像は、撮影後に記憶部１９に格納された画像（撮影画像）ではなく、撮影前に撮像素子１２が連続的に取得する粗い画像（スルー画像）となる。
また、上述した各実施形態の判別には、テンプレートマッチング、ＳＶＭ（Support Vector Machine）、ニューラルネットワーク、ＡｄａＢｏｏｓｔなど、公知の各方法が適用可能である。
【００３５】
また、上述した各実施形態では、顔検出処理（図２等参照）を顔検出に専用の顔検出部１５に実行させたが、他の処理に兼用される画像処理回路又はＣＰＵ１８に実行させてもよい。
また、上述した各実施形態では、顔検出処理の全てをディジタルカメラが実行したが、顔検出処理の一部又は全部をコンピュータに実行させてもよい。その場合、顔検出処理の一部又は全部をコンピュータに実行させる顔検出プログラムを用意し、それをインターネットや記憶媒体（ＣＤ−ＲＯＭ等）を介してコンピュータへインストールすればよい。
【００３６】
また、上述した各実施形態では、人間の顔を検出対象とするパターン検出処理を説明したが、人間の顔以外のものを検出対象とするパターン検出にも本発明は適用可能である。
また、上述した各実施形態では、歪曲収差の小さい一般的な撮影レンズ（被写体角度θと像高ｈとの関係がｈ∝ｔａｎθ）が使用されたが、立体射影方式の撮影レンズ（被写体角度θと像高ｈとの関係がｈ∝ｔａｎ（θ／２））を使用してもよい。その場合、上述した幾何変換処理（ステップＳ１２ａ）の役割を撮影レンズが担うので、幾何変換処理（ステップ１２ａ）及び逆変換処理（ステップＳ１２ｂ）を画像処理回路（顔検出部１５）が実行する必要は無い。
【００３７】
また、上述した各実施形態では、ディジタルカメラを説明したが、顔認証システム、監視カメラシステムなど、撮影レンズを備えた他の機器にも本発明は適用可能である。
また、上述した各実施形態では、撮影レンズを備えた機器（ディジタルカメラ、顔認証システム、監視カメラシステムなど）を説明したが、光学系で撮影した画像と、その光学系の固有情報とを取り込むことができる他の機器、例えば、スキャナ、プリンタ、画像ストレージャなどにも本発明は適用可能である。
【図面の簡単な説明】
【００３８】
【図１】ディジタルカメラの構成図である。
【図２】第１実施形態の顔検出部１５の動作フローチャートである。
【図３】顔検出部１５による処理の概念を説明する図である。
【図４】サイズ及び角度対応型の顔検出方法を説明する図である。
【図５】第２実施形態の顔検出部１５の動作フローチャートである。
【図６】第３実施形態の顔検出部１５の動作フローチャートである。
【符号の説明】
【００３９】
１１…撮影レンズ，１２…撮像素子，１３…Ａ／Ｄ変換器，１４…フレームメモリ，１５…顔検出部，１６…表示部，１７…操作釦１７，１９…記録部，１８…ＣＰＵ
【図１】
2008015979.tif 000008
【図２】
2008015979.tif 000009
【図３】
2008015979.tif 000010
【図４】
2008015979.tif 000011
【図５】
2008015979.tif 000012
【図６】
2008015979.tif 000013