(57)【要約】【課題】好ましい色補正が行える画像処理装置を提供する。【解決手段】撮影部からのカラー画像が第１係数決定部１１に送られる。第１係数決定部１１は、カラー画像から特定対象物として人の顔を特定してから、その人の顔の領域内から特定色として肌色となる部分を抽出する。この抽出した肌色と、各種光源下及び色温度の光源下で再現される肌色の位置とを比較して色差が最も小さい光源の種類または色温度をカラー画像の光源として特定する。この特定した光源に応じた各係数を求め、ホワイトバランス調整回路１５，リニアマトリクス回路１６、色差マトリクス回路１９に設定する。【選択図】        図１
2007036462.tif 000002
【特許請求の範囲】
【請求項１】
入力されるカラー画像から予め決められた特定対象物の領域を検出する対象領域検出手段と、前記特定対象物の領域が検出された場合に、検出された特定対象物の領域中から前記特定対象物に応じた特定色と推測される部分を特定色領域として抽出する色領域抽出手段と、抽出された特定色領域の色に基づいて、カラー画像の光源の種類または色温度を特定する光源特定手段と、特定した光源の種類または色温度に応じて色補正を行なう色補正手段とを備えたことを特徴とする画像処理装置。
【請求項２】
入力されるカラー画像から予め決められた特定対象物の領域を検出する対象領域検出手段と、前記特定対象物の領域が検出された場合に、検出された特定対象物の領域中から前記特定対象物に応じた特定色と推測される部分を特定色領域として抽出する色領域抽出手段と、抽出された特定色領域の色が色再現目標の色に近づくように色補正用の係数を求める係数算出手段と、決定された色補正用の係数を用いて色補正を行なう色補正手段とを備えたことを特徴とする画像処理装置。
【請求項３】
前記係数算出手段は、抽出した特定色領域の色と色再現目標の色との色差を最小とする色補正用の係数を求めることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記対象領域検出手段は、人の顔を前記特定対象物として検出することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記色領域抽出手段は、肌色を前記特定色として特定色領域を抽出することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記色領域抽出手段は、特定対象物の領域の外側の画素値よりも大きな閾値以上の画素の集合部分を特定色領域として抽出することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項７】
前記色領域抽出手段は、検出すべき特定対象物について予め決められた特定対象物の１個以上の特徴部分を抽出し、抽出した特徴部分の位置に基づいて特定色領域として抽出することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項８】
前記光源特定手段は、所定の色度図上または色空間上における各光源の種類及び色温度によって特定色が再現される色の各位置のうち抽出された特定色領域の色に対応する位置に最も近い位置の光源の種類または色温度を入力される画像の光源の種類または色温度として特定することを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記所定の色度図または色空間は、赤色と緑色の比と青色と緑色の比をそれぞれ軸とする色度図，ＵＣＳ色度図，均等色空間のいずれかであることを特徴とする請求項６記載の画像処理装置。
【請求項１０】
前記色補正手段は、ホワイトバランスを調整するホワイトバランス調整手段，ＲＧＢ信号に対してマトリクス演算を行なって色補正を行なう補正手段，色差信号に対してマトリクス演算を行って色補正を行なう補正手段少なくともいずれかを含むことを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、さらに詳しくは色補正を行なう画像処理装置に関するものである。
【背景技術】
【０００２】
例えばデジタルカメラ等の撮影装置では、被写体の色を適切に再現するための色補正機能を有しており、色補正機能の１つとしては、カラーバランスを正確にするためのホワイトバランス調整機能がある。また、所定の表色系において色再現を可能にするための色補正機能もある。
【０００３】
例えばホワイトバランス調整機能は、光源の種類や光源の色温度の違い等によって生じるカラーバランスの崩れを補正するものであり、白あるいはグレーの被写体を撮影した際の赤色，緑色，青色の各信号レベルが同じになるように調整する。ホワイトバランス調整機能としては、色温度の変化等に追随して自動調整するオートホワイトバランス、撮影に利用する光源の下で白色や灰色の紙等の被写体を撮影した状態にして調整を指示することで調整されるリセットホワイトバラン、予め用意された光源の種類、例えば「昼光」，「白熱灯」，「蛍光灯」等を操作者が選択することにより、その選択された光源に応じて調整を行なうプリセットホワイトバランスが知られている。
【０００４】
上記各種ホワイトバランスの手法のうちオートホワイトバランスでは、撮影中の画像から無彩色領域を推測し、その領域の色情報から光源の種類や色温度を特定したり、画像全体の色の平均が無彩色となるものとして光源の種類や色温度を特定するなどして、適切なカラーバランスとなるようにしており、撮影者が特別な操作をしなくてもよいので便利である。
【０００５】
一方、ソフトフォーカスの画像処理を行なうモードを選択した場合に、撮影した画像の中から肌色領域を識別してその肌色領域が所定の肌色となるように自動的にホワイトバランスを調整するデジタルカメラが特許文献１によって知られている。また、画像内の特定色相にのみに色補正する技術が特許文献２によって知られている。
【０００６】
【特許文献１】特開２００１−３１１８６７号公報
【特許文献２】特開２００１−９２９５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上記のように、無彩色領域を推測したり、肌色領域を識別したりして、その領域に基づいてホワイトバランスを調整する場合では、画像中に無彩色領域，肌色領域がない場合には正しくホワイトバランスを調整することができない。また、ホワイトバランスが調整されていない下で撮影された画像からでは、無彩色領域や肌色領域を特定できない場合があり、そのような場合にもホワイトバランスを正しく調整することができないという問題がある。このような問題は、ホワイトバランスに限らず各種の色補正する場合にも同様である。
【０００８】
本発明は上記問題を解消するためになされたもので、好ましい色補正が行える画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、入力されるカラー画像から予め決められた特定対象物の領域を検出する対象領域検出手段と、前記特定対象物の領域が検出された場合に、検出された特定対象物の領域中から前記特定対象物に応じた特定色と推測される部分を特定色領域として抽出する色領域抽出手段と、抽出された特定色領域の色に基づいて、カラー画像の光源の種類または色温度を特定する光源特定手段と、特定した光源の種類または色温度に応じて色補正を行なう色補正手段とを備えたものである。
【００１０】
また、入力されるカラー画像から予め決められた特定対象物の領域を検出する対象領域検出手段と、前記特定対象物の領域が検出された場合に、検出された特定対象物の領域中から前記特定対象物に応じた特定色と推測される部分を特定色領域として抽出する色領域抽出手段と、抽出された特定色領域の色が色再現目標の色に近づくように色補正用の係数を求める係数算出手段と、決定された色補正用の係数を用いて色補正を行なう色補正手段とを備えるようにするのもよく、この場合に係数算出手段を、抽出した特定色領域の色と色再現目標の色との色差を最小となる色補正用の係数を求めるようにするのが好ましい。
【００１１】
特定対象物としては、人の顔を採用することがで、このときに特定色を肌色とするのがよい。また、特定対象物の領域の外側の画素値よりも大きな閾値以上の画素の集合部分を特定色領域として抽出するのが簡便であり、検出すべき特定対象物について予め決められた特定対象物の１個以上の特徴部分を抽出し、抽出した特徴部分の位置に基づいて特定色領域として抽出するのも、特定色領域の抽出精度を高くすることができるので、好ましい。
【００１２】
光源を特定する際には、所定の色度図上または色空間上における各光源の種類及び色温度によって特定色が再現される色の各位置のうち抽出された特定色領域の色に対応する位置に最も近い位置の光源の種類または色温度を入力される画像の光源の種類または色温度として特定するのがよい。所定の色度図または色空間としては、赤色と緑色の比と青色と緑色の比をそれぞれ軸とする色度図，ＵＣＳ色度図，均等色空間のいずれかを採用するのが好ましい。
【００１３】
色補正としては、ホワイトバランスを調整するホワイトバランス調整手段，ＲＧＢ信号に対してマトリクス演算を行なって色補正を行なう補正手段，色差信号に対してマトリクス演算を行って色補正を行なう補正手段に利用可能である。
【発明の効果】
【００１４】
本発明によれば、特定対象物の領域を検出し、その特定対象物の領域から特定色と推測される特定色領域を抽出しているので、特定色の部分を精度良く抽出し、その部分の色から光源の種類または色温度を特定して色補正行なう、あるいは抽出された部分の色が色再現目標の色に近づくように求めた色補正用の係数を用いて色補正を行なうから適切な色再現性を得ることができる。
【発明を実施するための最良の形態】
【００１５】
図１に本発明を実施したデジタルカメラの構成を示す。デジタルカメラ２は、図示しないレリーズボタンの操作に応答して、イメージセンサで撮影した被写体像を記憶媒体に記録するように構成されている。画像入力手段としての撮影部３は、撮影レンズ４，イメージセンサ５，アンプ６，Ａ／Ｄ変換器７から構成してある。撮影レンズ４は、ピント調節機構（図示省略）により被写体にピントが合致するように調整される。撮影レンズ４の背後にイメージセンサ５を配してある。
【００１６】
イメージセンサ５は、入射する光をその光量に応じた電荷に変換して蓄積する多数の画素を受光面にマトリクス状に配列してあり、撮影レンズ４によって受光面に結像される光学的な画像を電気的な画像信号に変換して出力する。イメージセンサ５は、カラー画像を撮影するためのものであって、その各画素には、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの微小なカラーフィルタが設けられており、これら画素で蓄積される電荷が順次に転送されることで電気的な画像信号に変換されて出力される。イメージセンサ５としては、ＣＣＤイメージセンサやＭＯＳ型等の各種のものを利用できる。
【００１７】
アンプ６は、画像信号を適当なゲインで増幅する。Ａ／Ｄ変換器７は、アンプ６によって増幅された画像信号を電荷の転送に同期してサンプリングすることによって、その信号レベルに応じた画像データを出力する。この画像データへの変換により、赤色のカラーフィルタを有する画素からは赤色画像データが、緑色のカラーフィルタを有する画素からは緑色画像データが、青色のカラーフィルタを有する画素からは青色画像データが生成される。この画像データはいわゆるＣＣＤ−ＲＡＷデータと呼ばれるものである。
【００１８】
撮影部３からの画像データは、画像処理ユニット８に送られる。画像処理ユニット８は、撮影部３で撮影された撮影画像（入力画像）のホワイトバランスの調整及び色補正を行なうものであり、データ処理部１０，第１係数決定部１１，第２係数決定部１２，制御部１３からなる。
【００１９】
データ処理部１０は、ホワイトバランス調整回路１５，リニアマトリクス回路１６，γ変換回路１７，ＲＧＢ補間／ＹＣ変換回路（以下、補間／変換回路という）１８，色差マトリクス回路１９から構成される。
【００２０】
ホワイトバランス調整回路１５は、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。このホワイトバランス調整回路１５によるホワイトバランスの調整は、調整前の赤色，緑色，青色の画像データをＲ0，Ｇ0，Ｂ0、調整後の赤色，緑色，青色の画像データをＲ1，Ｇ1，Ｂ1としたときに、次の式（１）〜（３）によって行なわれる。式中のホワイトバランス係数α，β，γは、第１係数決定部１１または第２係数決定部１２によって、光源の種類または色温度に応じた値が設定される。なお、この例では、３色の各画像データにホワイトバランス係数をそれぞれ乗じているが、１色を基準にして他の２色を増減するように、例えば緑色を基準にして２色（赤色と青色）の画像データに係数を乗じるように構成することもできる。
Ｒ1＝α・Ｒ0・・・（１）
Ｇ1＝β・Ｇ0・・・（２）
Ｂ1＝γ・Ｂ0・・・（３）
【００２１】
ホワイトバランス調整回路１５からの各色の画像データは、リニアマトリクス回路１６に送られる。このリニアマトリクス回路１６は、入力される各色の画像データにマトリクス演算を行なうことで、イメージセンサ４のカラーフィルタの分光特性等に応じた色補正を撮影画像に行なう。リニアマトリクス回路１６は、１画素についての補正前の赤色，緑色，青色の画像データをＲ1，Ｇ1，Ｂ1、補正後の赤色，緑色，青色の画像データをＲ2，Ｇ2，Ｂ2としたときに、次の式（４）〜（６）で示される演算処理を行なう。式中のリニアマトリクス係数ａij（ｉ，ｊ＝１，２，３）は、第１係数決定部１１または第２係数決定部１２によって、光源の種類または色温度に応じた値のものが設定される。
Ｒ2＝ａ11・Ｒ1＋ａ12・Ｇ1＋ａ13・Ｂ1・・・（４）
Ｇ2＝ａ21・Ｒ1＋ａ22・Ｇ1＋ａ23・Ｂ1・・・（５）
Ｂ2＝ａ31・Ｒ1＋ａ32・Ｇ1＋ａ33・Ｂ1・・・（６）
【００２２】
なお、リニアマトリクス回路１６に入力される画像データは、１画素について１色であるので、マトリクス演算の前処理として、後述する補間／変換回路１８と同様なＲＧＢ補間処理、あるいはより簡易なＲＧＢ補間処理で１画素について３色の画像データを取得している。
【００２３】
γ変換回路１７には、リニアマトリクス回路１６からの画像データが入力される。このγ変換回路１７は、入力される画像データに対して階調変換処理を行なうことによって、ディスプレイ等の再生系の階調特性に応じた階調に撮影画像を補正する。
【００２４】
補間／変換回路１８は、各画素のそれぞれについて、欠落している２色の色情報を補間して３色の画像データとするＲＧＢ補間処理と、赤色，緑色，青色を表す画像データを輝度（Ｙ）及び各色差（Ｃｒ，Ｃｂ）で表す画像データに変換する。補間／変換回路１８からの輝度及び各色差の画像データは、色差マトリクス回路１９に送られる。
【００２５】
色差マトリクス回路１９は、輝度及び各色差で色再現を行なうＹＣ系において適切な色再現となるように色補正を行なう。この色差マトリクス回路１９は、輝度，各色差の補正前の画像データをＹ2，Ｃｒ2，Ｃｂ2、補正後の画像データをＹ3，Ｃｒ3，Ｃｂ3としたときに、次の式（７）〜（９）に示す演算処理を行なう。式中の色差マトリクス係数ｃij（ｉ，ｊ＝１，２，３）は、第１係数決定部１１または第２係数決定部１２によって、光源の種類または色温度に応じた値のものが設定される。色差マトリクス回路１９からの画像データは、出力系に送られる。
Ｙ3＝Ｙ2                    ・・・（７）
Ｃｒ3＝Ｃ11・Ｃｒ2＋Ｃ12・Ｃｂ2・・・（８）
Ｃｂ3＝Ｃ21・Ｃｒ2＋Ｃ22・Ｃｂ2・・・（９）
【００２６】
出力系は、ＲＧＢ変換部２１とメモリ部２２とから構成してあり、ＲＧＢ変換部２１で輝度，各色差の画像データを再び赤色，緑色，青色の画像データに変換した後に、メモリ部２２でデータ圧縮等の処理を行なってから記憶媒体、例えばデジタルカメラに装着されたメモリカードに書き込む。なお、出力形態としては種々のものを採用することができ、メモリカード等に記憶する他、例えばディスプレイ等に表示したり、記録紙にプリントしたりしてもよい。
【００２７】
第１係数決定部１１は、詳細を後述するように、撮影画像に基づいて光源の種類あるいは色温度を特定し、その特定した光源の種類あるいは色温度に応じた適切なホワイトバランス係数α，β，γ、リニアマトリクス係数ａij、色差マトリクス係数Ｃijを算出して、ホワイトバランス調整回路１５，リニアマトリクス回路１６，色差マトリクス回路１９に設定する。
【００２８】
第２係数決定部１２は、ホワイトバランス係数α，β，γ、リニアマトリクス係数ａij，色差マトリクス係数Ｃijを対応する各回路１５，１６，１９に設定するが、第２係数決定部１２は、撮影画像に基づいて従来の方式を用いて設定すべき各係数を算出する。従来の手法としては、例えば画像全体の色の平均が無彩色となるように各係数を算出する方式を用いたり、無彩色領域を推測してその部分の画像データから光源の種類や色温度を特定したりする方式等の公知の各種方式を採用することができる。また、第２係数決定部１２に外部からの操作で光源の種類や色温度を指定し、それに基づいた各係数を設定するように構成してもよい。
【００２９】
制御部１３は、上記各回路１５，１６，１９への各係数の設定を制御する。この制御部１３の制御により、後述のように第１係数決定回路１１が所定の手順での係数決定を行うことができたときに、この第１係数決定部１１によって決定された各係数の設定を行い、それ以外のときには第２係数決定部１２によって決定された各係数の設定を行う。
【００３０】
第１係数決定部１１は、例えば演算を行なうＣＰＵ，係数決定のためのプログラムや後述する各種光源下で肌色が再現される色の情報を記憶したＲＯＭ，ワークメモリとして利用されるＲＡＭ等から構成されており、撮影部２からの画像データに基づいて各係数を算出する。なお、図１には、第１係数決定部１１を機能ブロックで示してある。
【００３１】
対象領域検出手段２４は、特定対象物の領域を撮影画像中から検出する特定対象物検出処理を行なう。この例では、人の顔を特定対象物としており、図２に模式的に示すように、入力される画像３０から特定対象物（人の顔）の領域３１を検出する。この対象領域検出手段２４による特定対象物の領域の検出は、例えば画像中の赤色画像データを参照して濃度変化や形状等を調べて判断することで行なわれる。
【００３２】
また、対象領域検出手段２４は、人の顔を検出できたか否かの結果を制御部１３に送り、この結果に基づいて制御部１３が第１係数決定部１１または第２係数決定部１２のいずれからの各係数を設定するか否かを制御する。なお、特定対象物の検出が可能であったか否かに代えて、後述する特定色領域が抽出できたか否か、光源の種類あるいは色温度が適切に特定できたか否かなどを判断して、その結果に基づいて制御を行なってもよい。
【００３３】
色領域抽出手段２５は、対象領域検出手段２４で検出された特定対象物の領域中から、特定対象物に特有な特定色であると推測される部分を特定色領域として抽出する色領域抽出処理を行なう。この例では、人の顔を特定対象物としていることに対応して肌色を特定色として予め決めてあり、色領域抽出手段２５は、特定対象物の領域から肌色となると推測される部分を特定色領域として抽出する。
【００３４】
また、特定色領域の抽出では、特定対象物の領域の外側の画素値よりも大きな閾値以上の画素の集合部分を特定色領域として抽出する。画素値としては、赤色，緑色，青色のいずれかの信号レベルであってもよく、赤色，緑色，青色の信号レベルから算出することができる輝度であってもよい。また、特定対象物の領域の外側の画素値としては、その領域の外側の各画素値の平均値、すなわち平均輝度または赤色，緑色，青色のいずれかの信号レベルの平均値を用いるのがよい。この例では、色領域抽出手段２５は、図２に示すように、特定対象物（人の顔）の領域３１の周囲に設定した適当なサイズの外領域３２の平均輝度を求め、その平均輝度よりも大きな閾値以上となる特定対象物の領域３１の部分を特定色領域として抽出する。
【００３５】
なお、この例においては特定対象物を人の顔とし、それに応じて特定色を肌色としているが、特定対象物と特定色の組み合せとしては、例えば草木と緑色，空と青色あるいは雲と白色等のように、あまり大きな色の差がない特有な色を持つも対象物と色の組み合わせであればよく、種々の特定対象物と特定色とを採用することができる。
【００３６】
光源特定手段２６は、入力されるカラー画像の光源の種類または色温度を特定する光源特定処理を行なう。光源特定処理には、抽出された特定色領域の代表色を求める代表色算出処理、所定の色空間または色度図上にける代表色と各種の光源下及び色温度の光源下で再現される特定色の色（以下、再現色という）との各色差（距離）を比較し、その比較結果に基づいて光源の種類または色温度を特定する比較特定処理とが含まれる。
【００３７】
この例では、代表色算出処理及び比較特定処理には、図３に示すように、赤色と緑色の比（Ｒ／Ｇ）と青色と緑色の比（Ｂ／Ｇ）をそれぞれ軸とする色度図（以下、Ｒ／Ｇ−Ｂ／Ｇ色度図という）を用いている。また、光源の種類としては昼光色蛍光灯、昼白色蛍光灯，白色蛍光灯を、色温度としては２５００Ｋ〜９４００Ｋの間で特定するようしてあり、特定色である肌色の各光源下、及び各色温度の光源下での再現色をそれぞれＲ／Ｇ−Ｂ／Ｇ色度図上の再現色座標としてＲＯＭに記憶してある。図３では、Ｒ／Ｇ−Ｂ／Ｇ色度図上における、各色温度の光源下での再現色の位置を符号Ｓ１〜Ｓ３で、また各色温度の光源下での再現色の位置を符号ＳＬで示す曲線で示してある。なお、再現色座標は、実験値や理論値として求めている。
【００３８】
代表色算出処理では、特定色領域の各画像データを用いて、特定色領域の各画素の色をＲ／Ｇ−Ｂ／Ｇ色度図上の座標にそれぞれ変換し、それら各座標の重心の座標を求める。このようにして、特定色領域中の各画素の色を代表する代表色をその座標として求める。
【００３９】
比較特定処理では、代表色算出処理で求めた代表色の座標を基点とした各再現色座標への各距離をそれぞれ求め、それら距離を比較し、この比較で最も距離が最も短くなる再現色座標に対応する光源の種類を撮影画像の光源の種類として特定する。
【００４０】
光源の種類または色温度を特定する際には、上記のＲ／Ｇ−Ｂ／Ｇ色度図の他の色度図あるいは色空間を用いることができるが、光源の種類，色温度を精度よく特定する点からは、色度図上または色空間上における任意の方向に対して、等しい距離が等しい色差となるようなＵＣＳ色度図や均等色空間を用いるのが好ましい。
【００４１】
また、第１係数決定部１１には、１画素について１色の画像データが入力されるから、例えば補間／変換回路１８と同様なＲＧＢ補間処理、あるいはより簡易なＲＧＢ補間処理によって１画素について３色の画像データを取得してから、画素の色をＲ／Ｇ−Ｂ／Ｇ色度図上の座標にそれぞれ変換して、代表色の座標を求める。代表色の座標を求める手法は、これに限らず、例えば赤色，緑色，青色の各画素がそれぞれ１個以上含まれる複数の小領域に特定色領域を分割し、小領域の各画素の３色の各画像データを用いてその小領域についての色の色空間上の座標を算出して、各小領域の座標から代表色の座標を求めてもよい。また、特定色領域内の各赤色画像データの平均値、緑色画像データの平均値，青色画像データの平均値をそれぞれ求め、その平均値から色空間上の代表色の座標を求めてもよい。
【００４２】
ＷＢ係数算出手段２７は、光源検出手段２６によって特定された光源の種類または色温度に対して適切となるホワイトバランス係数α，β，γを算出する。また、マトリクス係数算出手段２８は、特定された光源の種類または色温度に対して適切となるリニアマトリクス補正係数ａijと、色差マトリクス係数ｃijとを算出する。
【００４３】
なお、各色温度について、適当な個数のいくつかの色温度について再現色座標を用意しておき、２点の各再現色座標の間を線形補間するなどして、距離、色温度を算出，特定するようにしてもよい。また、光源の種類また色温度毎の各係数を予め用意しておき、光源の種類また色温度に応じて、対応する係数を取り出すようにしてもよいが、各係数を記憶に必要なデータ容量を考慮すると、適当な個数のいくつかの色温度についてホワイトバランス係数，リニアマトリクス補正係数、色差マトリクス係数を用意しておき、２点の各再現色座標の間の各係数を線形補間によって求めるようにすることが好ましい。
【００４４】
次に上記構成の作用について説明する。デジタルカメラを起動すると、イメージセンサ５によるカラー画像の撮影が行なわれ、被写体像が画像信号に変換されて出力される。画像信号は、アンプ６，Ａ／Ｄ変換器７を介して画像データに変換されてから、ホワイトバランス調整回路１５，第１，第２係数決定部１１，１２にそれぞれ送られる。
【００４５】
上記のように画像データが入力されると第１係数決定部１１は、画像データを用いて特定対象物検出処理を行ない、画像データのうちの赤色画像データに基づいて人の顔を特定対象物として、撮影画像中から特定対象物の領域を検出する。そして、特定対象物の領域が検出されると、引き続き特定対象物の領域から特定色領域として抽出する色領域抽出処理を行なう。この色領域抽出処理により、撮影画像中の人の顔の領域中に含まれる肌色であると推測される部分が特定色領域として抽出される。このように濃度変化や形状等から人の顔の領域を特定し、その領域から肌色となるであろう部分を抽出しているので特定色、すなわち肌色の部分を精度良く抽出可能である。
【００４６】
次に、上記のように抽出した特定色領域内の各画素の画像データを用いて代表色算出処理が行なわれる。すなわち、特定色領域内の各画素の色は、Ｒ／Ｇ−Ｂ／Ｇ色度図上における座標に変換された後に、各座標の重心が求められ、その座標が特定色領域の代表色の座標とされる。次に比較特定処理が行なわれ、求めた代表色の座標と予め求めてＲＯＭに保持している各再現色座標との距離をそれぞれ算出し、それら距離を比較する。そして、この比較で距離が最も短い再現色座標に対応する光源の種類または色温度が撮影画像の光源の種類または色温度として特定される。
【００４７】
上記のようにして光源の種類または色温度を特定すると、第１係数決定部１１は、特定された光源の種類または色温度に対して適切となるホワイトバランス係数α，β，γと、リニアマトリクス係数ａijと、色差マトリクス係数ｃijとを算出する。
【００４８】
そして、この場合には特定対象物の領域が検出されているので、制御部１３による制御によって、上記のようにして算出されたホワイトバランス係数α，β，γがホワイトバランス調整回路１５に、またリニアマトリクス係数ａijがリニアマトリクス回路１６に、さらに色差マトリクス係数ｃijが色差マトリクス回路１９にそれぞれ設定される。なお、この場合には、第２係数決定部１２による係数の設定は行なわれない。
【００４９】
以上のようにして決定された各係数が設定されると、それ以降撮影部３からの撮影画像は、その設定されたホワイトバランス係数α，β、γを用いてホワイトバランス調整回路１５でホワイトバランスの調整が行なわれ、またリニアマトリクス係数ａijを用いたリニアマトリクス回路１６による演算処理、及び色差マトリクス係数ｃijを用いた色差マトリクス回路１９による演算処理で色補正が行なわれる。最適な色再現性が得られる。
【００５０】
例えば、上記のような各係数を決定する処理がレリーズボタンを半押しとすることに応答して行なわれ、レリーズボタンを全押しにすると、その決定された各係数ホワイトバランスの調整、各色補正が施された画像がメモリカードに書き込まれる。これにより、最適な色再現性を有するカラー画像を得ることができる。
【００５１】
一方、第１係数決定部１１によって、入力された撮影画像から特定対象物の領域が検出されなかった場合には、第２係数決定部１２による公知の手法で画像データから光源の種類あるいは色温度が特定され、それに基づいて決定されたホワイトバランス係数α，β，γ、リニアマトリクス係数ａij、色差マトリクス係数ｃijが各回路１５，１６，１９にそれぞれ設定され、それら係数を用いたホワイトバランスの調整，色補正が行なわれる。これにより、人の顔を撮影していない場合でも、ある程度適切な色再現性を得ることができる。
【００５２】
上記実施形態では、検出された特定対象物としての人の顔の領域の周囲に適当なサイズの外領域を設定し、その外領域の平均輝度を参考に肌色となる特定色領域を抽出しているが、抽出の手法はこれに限るものではなく、特定対象物の１個以上の形状や色，色の変化等に特徴を有する特徴部分を抽出し、その抽出した特徴部分の位置に基づいて特定色領域を抽出してもよい。例えば、図４に示すように、特定対象領域として検出された顔の領域３１内から、特徴部分として目，鼻，口等の顔の構成部を検出し、それらの位置関係から頬の部分を特定し、その頬の部分を特定色領域３５として抽出するようにししてもよい。このようにすることによって、肌色の領域をより精度よく抽出することができる。
【００５３】
図５に本発明をプリンタに適用した例を示す。なお、上記実施形態と実質的に同じ機能の部材に同一の符号を付してその説明を省略する。プリンタ４０には、画像入力部４１からプリントすべき画像の各画素について赤色，緑色，青色の画像データが入力される。この画像入力部４１は、デジタルカメラやコンピュータやメモリカードリーダなどで構成される。
【００５４】
プリンタ４０は、画像処理ユニット４２，出力系を備えている。画像処理ユニット４２は、大別して、画像メモリ４３，データ処理部４４，第１，第２係数決定部４５，４６，制御部１３からなる。画像入力部４１からの赤色，緑色，青色の画像データは、画像メモリ４３，第１，第２係数決定部４５，４６に送られる。
【００５５】
画像メモリ４３は、データ処理部４４にいずれかの係数決定部から色差マトリクス係数ｃijが設定されるまでの間、画像入力部４１からの赤色，緑色，青色の画像データを一時的に保持する。色差マトリクス係数ｃijの設定後、画像メモリ４３から読み出された画像データがデータ処理部４４のＹＣ変換回路４７に送られる。
【００５６】
ＹＣ変換回路４７は、赤色，緑色，青色の画像データを輝度（Ｙ）及び各色差（Ｃｒ，Ｃｂ）の画像データに変換する。ＹＣ変換回路４７からの画像データは、色差マトリクス回路１９によって、前述の式（７）〜（９）を用いて色補正された後に出力系に送られる。
【００５７】
出力系はＲＧＢ変換回路２１とプリント部４８とからなり、色差マトリクス回路１９からの画像データは、ＲＧＢ変換回路２１によって赤色，緑色，青色の画像データに変換された後にプリント部４８に送られ、プリント部４８がその入力される画像データに基づいて記録紙にカラー画像を記録する。
【００５８】
第１係数決定部４５は、対象領域検出手段２４，色領域検出手段２５によって入力画像中から特定対象物の領域の検出，特定色と推測される部分である特定色領域の抽出が行なわれる。この例においても、上記実施形態と同様に人の顔を特定対象物とし、肌色を特定色としてある。
【００５９】
目標値入力手段４９は、目標値を色差マトリクス係数算出手段４９に与える。目標値は、抽出した特定色領域の色を色補正して再現する際の目標となる色（色再現目標の色）を示すものであり、この例では予め決められた特定色すなわち肌色を均等色空間（ＣＩＥＬ*ａ*ｂ*）の座標（Ｌ１*，ａ１*，ｂ１*）で示したものとなっている。目標値入力手段４９としては、予め決めた目標値を与えることができるものであれば、どのような構成でもよく、この例では座標（Ｌ１*，ａ１*，ｂ１*）を予め書き込んだＲＯＭで構成してあり、その座標が色差マトリクス係数を決定する際に目標値として読み出される。なお、目標値入力手段４９を種々の色再現目標の色を記録したメモリと、そのうちの１つの色再現目標の色を選択する選択手段で構成し、複数の色再現目標の色に対応できるようにしてもよい。
【００６０】
色差マトリクス係数算出手段５０は、目標値に示される色と特定色領域の色との色差を近づける色差マトリクス係数ｃijを算出する係数決定処理を行う。この例では色差を近づけて最小にする色差マトリクス係数ｃijを算出する。具体的には、係数決定処理では次式に示される色差ΔＥを最小にする色差マトリクス係数ｃijを滑降シンプレックス法などの多変数関数最小値求解アルゴリズムを用いて求める。
ΔＥ＝（（Ｌ１*−Ｌ２*）2＋（ａ１−ａ２）2＋（ｂ１−ｂ２）2）1/2
【００６１】
上記式中の「Ｌ１*，ａ１*，ｂ１*」は、上述のように、抽出した特定色領域の色を色補正して再現する際の目標となる色を示す均等色空間上の座標である。また、「Ｌ２*，ａ２*，ｂ２*」は、特定色領域中の代表色をＹＣ変換した後、色差マトリクス回路１９と同等の色補正した後の色を色差マトリクス係数ｃijを含む関数として表した均等色空間の座標である。色差マトリクス係数算出手段４９によってΔＥを最小とするように決定された色差マトリクス係数ｃijは、色差マトリクス回路１９に設定される。
【００６２】
第２係数決定部４６は、入力画像に基づいて従来の方式を用いて設定すべき色差マトリクス補正係数ｃijを算出する。
【００６３】
このように構成することにより、プリンタ４０は、画像入力部４１から入力される入力画像中に人の顔が含まれている場合には、その人の顔から肌色となる部分を抽出し、その抽出した部分の色が目標値に示される肌色となるように色差マトリクス係数ｃijが決められる。そして、色差マトリクス係数ｃijを用いて色補正された画像データで記録紙にカラー画像が記録される。
【００６４】
上記各実施形態では、デジタルカメラ，プリンタを例にして説明したが、本発明は、動画撮影を行うビデオカメラ，モニタなどの各種再生装置にも利用できる。
【図面の簡単な説明】
【００６５】
【図１】本発明を実施したデジタルカメラの構成を示すブロック図である。
【図２】特定対象物の領域と外領域とを示す説明図である。
【図３】赤色と緑色の比と青色と緑色の比をそれぞれ軸とする色度図と各種光源及び色温度によって再現される肌色の位置を示すグラフである。
【図４】目，鼻，口の位置から肌色の部分を特定色領域として抽出する例を示すものである。
【図５】色差を最小にするように色差マトリクス係数を決定する例の構成を示すプリンタのブロック図である。
【符号の説明】
【００６６】
８，４２  画像処理ユニット
１０，４４  データ処理部
１５  ホワイトバランス調整回路
１６  リニアマトリクス回路
１９  色差マトリクス回路
２４  対象領域検出手段
２５  色領域抽出手段
２６  光源特定手段
２７，２８  係数算出手段
５０  色差マトリクス係数算出手段
【図１】
2007036462.tif 000003
【図２】
2007036462.tif 000004
【図３】
2007036462.tif 000005
【図４】
2007036462.tif 000006
【図５】
2007036462.tif 000007