(57)【要約】【課題】より簡単な処理で画像データの色補正を良好に行なうことができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】候補領域検出部１１でパターンマッチングにより画像データから検出した顔画像の候補領域から、色相彩度抽出部１２により色相データ及び彩度データを抽出し、その抽出した色相データ及び彩度データを顔画像判定部１３で予め定められた基準データと比較することにより、前記候補領域に一定基準を満たす顔画像が含まれるか否かを判定する。これにより、より簡単な処理で色補正に適した候補領域を正確に検出し、その候補領域のデータに基づいて画像データの色補正を良好に行なうことができる。【選択図】図１
2011008716.tif 000002
【特許請求の範囲】
【請求項１】
パターンマッチングにより画像データから顔画像の候補領域を検出する候補領域検出手段と、
検出した前記候補領域から色相データ及び彩度データを抽出する色相彩度抽出手段と、
抽出した色相データ及び彩度データを予め定められた基準データと比較することにより、前記候補領域に一定基準を満たす顔画像が含まれるか否かを判定する顔画像判定手段と、
前記一定基準を満たす顔画像が含まれると判定された前記候補領域のデータに基づいて、前記画像データの色補正を行なう色補正手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記基準データは、前記一定基準を満たす複数の顔画像から抽出した色相データ及び彩度データを色相彩度平面にプロットすることにより得られる回帰直線のデータであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
パターンマッチングにより画像データから顔画像の候補領域を検出する候補領域検出ステップと、
検出した前記候補領域から色相データ及び彩度データを抽出する色相彩度抽出ステップと、
抽出した色相データ及び彩度データを予め定められた基準データと比較することにより、前記候補領域に一定基準を満たす顔画像が含まれるか否かを判定する顔画像判定ステップと、
前記一定基準を満たす顔画像が含まれると判定された前記候補領域のデータに基づいて、前記画像データの色補正を行なう色補正ステップとを備えたことを特徴とする画像処理方法。
【請求項４】
パターンマッチングにより画像データから顔画像の候補領域を検出する候補領域検出手段と、
検出した前記候補領域から色相データ及び彩度データを抽出する色相彩度抽出手段と、
抽出した色相データ及び彩度データを予め定められた基準データと比較することにより、前記候補領域に一定基準を満たす顔画像が含まれるか否かを判定する顔画像判定手段と、
前記一定基準を満たす顔画像が含まれると判定された前記候補領域のデータに基づいて、前記画像データの色補正を行なう色補正手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの色補正を行なうための画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
撮影装置を用いた撮影により得られる撮影画像データなどの画像データに対して、色補正などの画像補正を行う技術の一例として、画像データから顔画像を検出し、その検出された顔画像のデータに基づいて前記画像データの色補正を行なう技術が知られている（例えば、特許文献１参照）。このような技術では、比較的多くの画像データに含まれ、かつ、視線が集まりやすい顔画像を基準として画像データが補正される。そのため、正確に顔画像を検出することができれば、予め定められた補正データを用いて補正を行なう場合と比較して、各画像データに適した補正を行なうことができる。
【０００３】
画像データから顔画像を検出する方法としては、パターンマッチングによる方法が知られている（例えば、特許文献２参照）。このパターンマッチングによる方法では、人間の顔パターンがメモリに予め複数記憶され、これらの顔パターンのいずれかに一致する顔パターンを有する領域が顔画像の候補領域として検出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−７９０２２号公報
【特許文献２】特開２００７−２４９５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術のように、単にパターンマッチングによって顔画像を検出する場合には、人間の顔画像とは異なる領域を候補領域として誤検出してしまう場合がある。このような場合、人間の顔とは全く異なる色相及び彩度からなる候補領域のデータに基づいて補正が行なわれることにより、補正後の画像データが意図していない色の画像データとなってしまうおそれがある。また、パターンマッチングによる顔画像の検出では、人間の通常の顔画像だけでなく、例えば顔面に特殊ペイントを施したような顔画像も検出される場合があり、このような顔画像の候補領域のデータに基づいて色補正を行った場合にも、補正後の画像データが意図していない色の画像データとなってしまう。すなわち、パターンマッチングによる顔画像の検出では、色補正に適していない領域を候補領域として検出してしまうおそれがある。
【０００６】
ただし、前記特殊ペイントを施したような顔画像は、色補正に用いるには適していないが、このような顔画像に対して、いわゆる赤目補正や逆光補正などの他の画像補正を行う場合もあるため、それらの画像補正においてはパターンマッチングも有用である。そこで、本願発明者は、特に色補正を含む多様な画像処理を行う場合には、パターンマッチングにより顔画像の候補領域を検出し、そのパターンマッチングにより検出された候補領域をある画像補正では使用する一方、色補正においては、そのパターンマッチングにより検出された候補領域のうち色補正に適した候補領域のみを使用することが効率的であると考えた。しかし、パターンマッチングに加えて、色補正に適した候補領域を検出する処理をさらに行う場合には、処理に要する時間が長くなるため、色補正に適した候補領域を検出する処理はできるだけ簡単な処理であることが好ましい。
【０００７】
本発明は、上記実情に鑑みてなされたものであり、より簡単な処理で画像データの色補正を良好に行なうことができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置としては、パターンマッチングにより画像データから顔画像の候補領域を検出する候補領域検出手段と、検出した前記候補領域から色相データ及び彩度データを抽出する色相彩度抽出手段と、抽出した色相データ及び彩度データを予め定められた基準データと比較することにより、前記候補領域に一定基準を満たす顔画像が含まれるか否かを判定する顔画像判定手段と、前記一定基準を満たす顔画像が含まれると判定された前記候補領域のデータに基づいて、前記画像データの色補正を行なう色補正手段とを備えた構成が挙げられる。
【０００９】
このような構成によれば、パターンマッチングにより検出した顔画像の候補領域から色相データ及び彩度データを抽出し、その抽出した色相データ及び彩度データを予め定められた基準データと比較することにより、前記候補領域に一定基準を満たす顔画像が含まれるか否かを判定することができる。これにより、より簡単な処理で色補正に適した候補領域を正確に検出し、その候補領域のデータに基づいて画像データの色補正を良好に行なうことができる。
【００１０】
本発明において、前記基準データは、前記一定基準を満たす複数の顔画像から抽出した色相データ及び彩度データを色相彩度平面にプロットすることにより得られる回帰直線のデータであることが好ましい。
【００１１】
このような構成によれば、パターンマッチングにより検出した顔画像の候補領域から抽出される色相データ及び彩度データと、基準データとして予め用意した回帰直線のデータとを比較するといった簡単な処理を用いて、画像データの色補正を良好に行なうことができる。特に、一定基準を満たす複数の顔画像から抽出した色相データ及び彩度データを色相彩度平面にプロットすることにより得られるデータが、複雑な曲線などではなく直線のデータであるため、例えば得られた回帰直線のデータに対する空間距離を求めるなどの簡単な処理により、色補正に適した候補領域を正確に検出することができる。
【００１２】
本発明に係る画像処理方法としては、パターンマッチングにより画像データから顔画像の候補領域を検出する候補領域検出ステップと、検出した前記候補領域から色相データ及び彩度データを抽出する色相彩度抽出ステップと、抽出した色相データ及び彩度データを予め定められた基準データと比較することにより、前記候補領域に一定基準を満たす顔画像が含まれるか否かを判定する顔画像判定ステップと、前記一定基準を満たす顔画像が含まれると判定された前記候補領域のデータに基づいて、前記画像データの色補正を行なう色補正ステップとを備えた構成が挙げられる。
【００１３】
本発明に係る画像処理プログラムとしては、パターンマッチングにより画像データから顔画像の候補領域を検出する候補領域検出手段と、検出した前記候補領域から色相データ及び彩度データを抽出する色相彩度抽出手段と、抽出した色相データ及び彩度データを予め定められた基準データと比較することにより、前記候補領域に一定基準を満たす顔画像が含まれるか否かを判定する顔画像判定手段と、前記一定基準を満たす顔画像が含まれると判定された前記候補領域のデータに基づいて、前記画像データの色補正を行なう色補正手段としてコンピュータを機能させる構成が挙げられる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る画像処理装置の一例を示したブロック図である。
【図２】候補領域検出部により顔画像の候補領域が検出される場合の一例を示した図である。
【図３】候補領域検出部により顔画像の候補領域が検出される場合の他の例を示した図である。
【図４】基準データについて説明するための図である。
【図５】制御部における各画像データに対する処理の一例を示したフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、本発明の一実施形態に係る画像処理装置の一例を示したブロック図である。この画像処理装置は、ＣＰＵ(Central Processing Unit)からなる制御部１や、ＲＯＭ(read-only memory)又はＲＡＭ(random access memory)などのメモリからなる画像データ記憶部２、顔パターン記憶部３及び基準データ記憶部４などが備えられている。
【００１６】
制御部１は、コンピュータプログラムを実行することにより、候補領域検出部１１、色相彩度抽出部１２、顔画像判定部１３及び色補正部１４などの各種機能ブロックとして機能する。
【００１７】
画像データ記憶部２は、例えばＲＡＭからなり、デジタルカメラなどの撮影装置を用いた撮影により得られる画像データ（撮影画像データ）が外部から入力されて記憶される。この画像データ記憶部２には、撮影画像データに限らず、他の各種画像データを記憶することができる。顔パターン記憶部３は、例えばＲＯＭからなり、パターンマッチングにより画像データから顔画像の候補領域を検出する際に用いる人間の顔パターンが複数記憶されている。基準データ記憶部４は、例えばＲＯＭからなり、パターンマッチングにより検出された候補領域に実際に顔画像が含まれるか否かを判定する際に用いる基準データが記憶されている。
【００１８】
候補領域検出部１１は、画像データ記憶部２に記憶されている画像データに対して、顔パターン記憶部３に記憶されている複数の顔パターンをそれぞれ照らし合わせることにより、いわゆるパターンマッチングを用いて、これらの顔パターンのいずれかに一致する顔パターンを有する領域を顔画像の候補領域として検出する候補領域検出手段である。この候補領域検出部１１により検出される候補領域には、必ずしも人間の顔画像が含まれるとは限らず、例えばキャラクターの顔画像や洋服に偶然発生した皺などの人間の顔画像とは異なる領域を候補領域として誤検出する場合もある。
【００１９】
図２は、候補領域検出部１１により顔画像の候補領域が検出される場合の一例を示した図である。この例では、被写体となる人間が撮影装置側（正面側）を向いているため、その人間の顔画像を含む領域が候補領域１１１として検出されており、さらに、その人間が着用している洋服に付されたキャラクターの顔画像を含む領域が候補領域１１２として誤検出されることにより、２つの候補領域１１１，１１２が検出されている。
【００２０】
図３は、候補領域検出部１１により顔画像の候補領域が検出される場合の他の例を示した図である。この例では、被写体となる人間が撮影装置とは反対側（背面側）を向いているため、その人間の顔画像の候補領域は検出されず、その人間が着用しているリュックサックに付されたキャラクターの顔画像を含む領域が候補領域１１３として誤検出されている。このように、顔画像の候補領域が検出された場合であっても、人間の顔画像の候補領域が含まれない場合もある。
【００２１】
再び図１を参照すると、色相彩度抽出部１２は、候補領域検出部１１で検出した候補領域から色相データ及び彩度データを抽出する色相彩度抽出手段である。具体的には、赤色データ（Ｒ）、緑色データ（Ｇ）及び青色データ（Ｂ）からなる候補領域の色データを、輝度データ（Ｙ）、色相データ（Ｃｂ）、彩度データ（Ｃｒ）に変換することにより、当該候補領域から色相データ及び彩度データを抽出することができる。
【００２２】
顔画像判定部１３は、候補領域検出部１１により検出された候補領域に一定基準を満たす顔画像が含まれるか否かを判定する顔画像判定手段であり、候補領域から抽出した色相データ及び彩度データを基準データ記憶部４に記憶されている基準データと比較することにより判定を行う。前記一定基準とは、単に人間の顔画像であるという基準よりも高い基準であり、例えば顔面に特殊ペイントを施したような顔画像は、たとえ人間の顔画像であっても前記一定基準を満たす顔画像には含まれない場合がある。
【００２３】
図４は、基準データについて説明するための図である。この図には色相彩度平面が示されており、原点からの距離が彩度データ、原点を中心とする角度が色相データをそれぞれ示している。基準データは、予め定められたデータであり、前記一定基準を満たす複数の顔画像から抽出した色相データ及び彩度データを、図４に示すように色相彩度平面にプロットすることにより得られる回帰直線Ｌのデータからなる。人種、性別、年齢などの偏りがないように広範囲の顔画像を多数用いて色相データ及び彩度データを色相彩度平面にプロットすることにより得られるデータは、複雑な曲線などではなく、図４に示す回帰直線Ｌのような直線のデータとなる。図４の例では、回帰直線Ｌのデータを得るために用いた顔画像の特性のばらつきに起因して、原点を通らない回帰直線Ｌとなっているが、原点を通る回帰直線Ｌのデータを基準データとして用いることがより好ましい。
【００２４】
顔画像判定部１３による判定は、図４に示すような回帰直線Ｌを用いて、例えば候補領域から抽出された色相データ及び彩度データから算出される平均色相値及び平均彩度値の回帰直線Ｌに対する空間距離を求めることにより行われる。ここで、図２の候補領域１１２や図３の候補領域１１３のように、人間の顔画像を含まない領域から色相彩度抽出部１２により抽出された色相データ及び彩度データから算出される平均色相値及び平均彩度値は、図４に示す点Ｐ１や点Ｐ２のように、回帰直線Ｌからある程度距離が離れている。したがって、候補領域検出部１１により検出した候補領域から抽出される色相データ及び彩度データに基づいて色相彩度平面にプロットされる点と、その色相彩度平面上の回帰直線Ｌとの距離Ｄ１，Ｄ２を算出し、算出された距離が所定の閾値Ｔ以上であれば、その候補領域には一定基準を満たす顔画像が含まれないと判定することができる。
【００２５】
顔画像判定部１３では、前記のような処理が行われることにより、例えば図２の候補領域１１１のように実際に人間の通常の顔画像を含む領域については、一定基準を満たす顔画像が含まれると判定され、図２の候補領域１１２や図３の候補領域１１３のように実際には人間の顔画像を含まない領域については、一定基準を満たす顔画像が含まれないと判定される。このような処理により検出される前記一定基準を満たす顔画像を含む候補領域には、例えばキャラクターの顔画像や洋服に偶然発生した皺などの人間の顔画像とは異なる領域や、顔面に特殊ペイントを施したような顔画像の領域は含まれず、色補正に適した候補領域のみが検出される。ただし、顔画像判定部１３は、前記のように閾値を用いて処理を行うようなものに限らず、他の態様で候補領域に一定基準を満たす顔画像が含まれるか否かを判定するものであってもよい。
【００２６】
再び図１を参照すると、色補正部１４は、画像データの色補正を行なう色補正手段であり、第１補正部１４１と第２補正部１４２とを含む。ただし、本実施形態のように色補正部１４が第１補正部１４１及び第２補正部１４２を含むような構成に限らず、色補正部１４が少なくとも第２補正部１４２と同様の機能を有するものであれば、第１補正部１４１を含まない構成であってもよいし、他の補正部を含むような構成であってもよい。
【００２７】
第１補正部１４１は、顔画像判定部１３による判定結果に関わらず、画像データ記憶部２に記憶されている画像データに対して色補正を行なう。したがって、図２のように一定基準を満たす顔画像が含まれると判定された候補領域１１１を含む画像データだけでなく、図３のように一定基準を満たす顔画像が含まれると判定された候補領域を含まない画像データに対しても、第１補正部１４１による色補正が行なわれる。この第１補正部１４１は、例えば画像データ全体における色相データ及び彩度データの分布状態に基づいて色補正を行なう。
【００２８】
第２補正部１４２は、顔画像判定部１３により前記一定基準を満たす顔画像が含まれると判定された候補領域のデータに基づいて、画像データの色補正を行なう。したがって、図２のように一定基準を満たす顔画像が含まれると判定された候補領域１１１を含む画像データに対しては、第２補正部１４２による色補正が行なわれるが、図３のように一定基準を満たす顔画像が含まれると判定された候補領域を含まない画像データに対しては、第２補正部１４２による色補正は行なわれない。
【００２９】
第２補正部１４２は、第１補正部１４１とは異なる処理で色補正を行なうものであり、第１補正部１４１は画像データ全体のデータを用いて色補正を行なうのに対し、第２補正部１４２は画像データの中でも一定基準を満たす顔画像が含まれると判定された候補領域のデータを用いて色補正を行なうようになっている。具体的には、第２補正部１４２は、例えば一定基準を満たす顔画像が含まれると判定された候補領域における顔領域（顔の輪郭内の領域）について、その顔領域に含まれる画素の平均画素値を顔平均画素値として算出し、その算出された顔平均画素値と予め定められた基準顔画素値とに基づいて色補正を行なう。これらの第１補正部１４１及び第２補正部１４２による処理は、例えば特開２００８−７９０２２号公報などに開示されているように周知技術であるため、ここでは詳細な説明を省略する。
【００３０】
図５は、制御部１における各画像データに対する処理の一例を示したフローチャートである。この図５に示すように、各画像データに対する色補正を行なう際には、まず候補領域検出部１１により、パターンマッチングを用いて各画像データから顔画像の候補領域が検出される（ステップＳ１０１：候補領域検出ステップ）。その結果、顔画像の候補領域が検出されなかった画像データについては（ステップＳ１０２でＮｏ）、第１補正部１４１による色補正（第１補正）のみが行われ（ステップＳ１０７）、第２補正部１４２による色補正（第２補正）は行われない。
【００３１】
一方、顔画像の候補領域が検出された画像データについては（ステップＳ１０２でＹｅｓ）、色相彩度抽出部１２により色相データ及び彩度データが抽出される（ステップＳ１０３：色相彩度抽出ステップ）。そして、顔画像判定部１３により、候補領域から抽出された色相データ及び彩度データが基準データ記憶部４に記憶されている基準データと比較され、その候補領域に一定基準を満たす顔画像（補正用顔画像）が含まれるか否かが判定される（ステップＳ１０４：顔画像判定ステップ）。
【００３２】
顔画像判定部１３による判定の結果、候補領域に一定基準を満たす顔画像が含まれると判定されなかった場合には（ステップＳ１０５でＮｏ）、その画像データに対して第１補正部１４１による色補正のみが行われ（ステップＳ１０７）、第２補正部１４２による色補正は行われない。このような処理が行われる画像データの例としては、図３のように人間の通常の顔画像は含まれず、実際には人間の顔画像を含まない候補領域１１３のみが検出される画像データを挙げることができる。
【００３３】
これに対して、顔画像判定部１３による判定の結果、候補領域に一定基準を満たす顔画像が含まれると判定された場合には（ステップＳ１０５でＹｅｓ）、その画像データに対して第１補正部１４１による色補正と第２補正部１４２による色補正の両方が行われる（ステップＳ１０６：画像補正ステップ）。このような処理が行われる画像データの例としては、図２のように人間の通常の顔画像を含む候補領域１１１が少なくとも１つ検出される画像データを挙げることができる。
【００３４】
図２の例では、一定基準を満たす顔画像が含まれると判定される候補領域１１１が１つだけの場合が示されており、この場合には、当該１つの候補領域１１１のデータを用いて第２補正部１４２による色補正が行なわれる。仮に、一定基準を満たす顔画像が含まれると判定される候補領域が１つの画像データに複数ある場合には、それらの全ての候補領域のデータを用いて第２補正部１４２による色補正が行なわれるような構成であってもよいし、特定の候補領域のデータのみを用いて第２補正部１４２による色補正が行なわれるような構成であってもよい。前記特定の候補領域としては、例えば複数の候補領域のうち最も顔領域が大きい候補領域、最もピントが合っている候補領域、画像データにおける最も中央寄りに位置している候補領域などを挙げることができる。
【００３５】
本実施形態では、パターンマッチングにより検出した顔画像の候補領域から色相データ及び彩度データを抽出し、その抽出した色相データ及び彩度データを予め定められた基準データと比較することにより、前記候補領域に一定基準を満たす顔画像が含まれるか否かを判定することができる。これにより、より簡単な処理で色補正に適した候補領域を正確に検出し、その候補領域のデータに基づいて画像データの色補正を良好に行なうことができる。
【００３６】
また、本実施形態では、パターンマッチングにより検出した顔画像の候補領域から抽出される色相データ及び彩度データと、基準データとして予め用意した回帰直線Ｌのデータとを比較するといった簡単な処理を用いて、画像データの色補正を良好に行なうことができる。特に、一定基準を満たす複数の顔画像から抽出した色相データ及び彩度データを色相彩度平面にプロットすることにより得られるデータが、複雑な曲線などではなく直線のデータであるため、得られた回帰直線Ｌのデータに対する空間距離を求めるという簡単な処理により、色補正に適した候補領域を正確に検出することができる。
【００３７】
本実施形態に係る画像処理装置は、例えば撮影画像データなどの画像データが入力されるコンピュータに組み込むこともできるし、撮影画像データを生成するデジタルカメラなどの撮影装置に組み込むこともできる。
【符号の説明】
【００３８】
１      制御部
２      画像データ記憶部
３      顔パターン記憶部
４      基準データ記憶部
１１    候補領域検出部
１２    色相彩度抽出部
１３    顔画像判定部
１４    色補正部
１４１  第１補正部
１４２  第２補正部
１１１〜１１３  候補領域
Ｌ      回帰直線
【図１】
2011008716.tif 000003
【図２】
2011008716.tif 000004
【図３】
2011008716.tif 000005
【図４】
2011008716.tif 000006
【図５】
2011008716.tif 000007