(57)【要約】【課題】  カラー画像はホワイトバランスが取れた画像となり、単彩色画像が元の色が損なわれないようにする。【解決手段】  画像に対してホワイトバランス補正処理を行う画像処理装置において、入力された画像が単彩色画像であるか否かを判別し、単彩色画像であると判別された画像に対してホワイトバランス補正処理を施さないようにする。【選択図】          図８
2005236651.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像を表すカラー画像データを含む画像データに対してホワイトバランス処理を行う画像処理方法において、
前記画像データが単彩色画像を表す単彩色画像データであるか否かを判別し、
前記単彩色画像データであると判別された前記画像データの前記ホワイトバランス処理を、前記カラー画像データに対する前記ホワイトバランス処理より抑制することを特徴とする画像処理方法。
【請求項２】
カラー画像を表すカラー画像データを含む画像データを入力する画像入力手段と、
該入力手段により得られた前記画像データに対してホワイトバランス処理を行うホワイトバランス処理手段とを備えてなる画像処理装置であって、
前記ホワイトバランス処理手段が、前記画像データが、単彩色画像を表す単彩色画像データであるか否かを判別する判別手段と、
該判別手段により前記単彩色画像データであると判別された前記画像データに対する前記ホワイトバランス処理を、前記カラー画像データに対する前記ホワイトバランス処理より抑制するホワイトバランス処理制御手段とを備えたことを特徴とする画像処理装置。
【請求項３】
カラー画像を表すカラー画像データを含む画像データに対するホワイトバランス処理をコンピュータに行わせるプログラムであって、
前記ホワイトバランス処理が、単彩色画像を表す単彩色画像データであるか否かを判別する処理と、
前記単彩色画像データであると判別された前記画像データに対する前記ホワイトバランス処理を、前記カラー画像データに対する前記ホワイトバランス処理より抑制する処理とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はホワイトバランス補正を行う画像処理方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナーなどの読取装置で光電的に読み取って得たデジタル画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得た画像などに対して、種々の画像処理を施してプリントすることが行われている。これらの画像処理の一つとして、カラーの画像の場合において、撮影光源の色味がプリントに反映されることに起因するプリントの画質劣化を避けるためのホワイトバランス補正処理が挙げられる。
【０００３】
また、写真フィルムに記録されたカラーの写真画像を読み取って得たデジタル画像やＤＳＣにより得られたカラー画像は、プリントすることに限らず、モニタに表示されるなど、様々な形態で利用されている。モニタに表示する場合においても、撮影光源の色味の影響を取り除いて、ホワイトバランスの取れた美しい画像にする必要がある。
【０００４】
従来、ホワイトバランス補正の代表的な手法として、「世の中の色をすべて平均すればグレーとなる」というエバンスの原理（仮説）に基づいたＬＡＴＤ（Ｌａｒｇｅ  Ａｒｅａ  Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｄｅｎｓｉｔｙ、大面積平均透過濃度）方式の補正方法が用いられている。この補正方法は、補正した後の画像の平均色がグレーとなるように補正を行うものである。
【０００５】
しかし、ＬＡＴＤ方式のホワイトバランス補正方法は、画像にかかった色味が撮影光源に起因するものか、被写体に起因するものかの区別ができないため、原因が撮影光源の場合にはうまくいくが、原因が被写体の場合には、補正後の画像は却って画質悪化してしまうという問題がある。例えば、赤い服を着た女性を撮影して得た画像の場合、ＬＡＴＤ方式でホワイトバランスを施すと、画像全体をグレーにしようとするために、赤い服が濁り、女性の顔色が悪くなってしまう。
【０００６】
また、近年のほとんどのＤＳＣには、撮影して得た画像に対してホワイトバランス補正を自動的に行うＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）機能が搭載されており、ＤＳＣから出力された画像がこのＡＷＢ機能によってホワイトバランス補正されたものとなる。ＤＳＣ内部のＡＷＢ機能によるホワイトバランス補正処理は、撮影直後の全画素の画像信号のＲ、Ｇ、Ｂを一様に定数倍にするように動作する簡単なものであり、うまく機能する場合とうまく機能しない場合があり、全ての画像をホワイトバランスの取れた画像にすることができないため、ＡＷＢ機能がうまく動作しなかった場合の影響を取り除く必要がある。
【０００７】
上述した問題を解決するために、特許文献１には、処理対象の画像に対して、光源の色温度を求めるのに適した所定の色（例えばグレーまたは肌色）となる画素を検出し、これらの画素の色温度から撮影光源の色温度を求め、求めた撮影光源の色温度に基づいてホワイトバランス補正を行う方法が提案されている。この方法は、画像中の真のグレーおよび／または肌色の画素を検出して撮影光源の色温度を求めてホワイトバランス補正を行っているので、ＬＡＴＤ方式に基づいたホワイトバランス補正方法より適切なホワイトバランス補正効果を得ることができると共に、ＤＳＣのＡＷＢ機能のばらつきにも影響されない。
【０００８】
なお、カラーネガフィルムを読み取って得た画像の場合でも、ＤＳＣにより取得して得た画像の場合でも、この方法を適用することができる。
【特許文献１】特開２００２−１５２７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、画像の中ではカラー画像以外に、無彩色の白黒画像や、単一の有彩色により形成された単彩色画像などがある。処理対象となる画像に対して、上述したホワイトバランス補正の方法を用いてホワイトバランス処理を行うと、カラー画像の場合は、処理後の画像がホワイトバランスの取れた美しい画像になり得るが、カラー画像以外の画像の場合、例えば、単彩色画像の場合に対して同じようにホワイトバランス処理を施すと、処理後の画像が、グレーっぽくなり、画像の元々の色味が損なわれてしまうという問題がある。
【００１０】
本発明は、上記事情に鑑み、カラー画像がホワイトバランスの取れた美しい画像になると共に、単彩色画像が元の色味が損なわれないようにすることができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明の画像処理方法は、カラー画像を表すカラー画像データを含む画像データに対してホワイトバランス処理を行う画像処理方法において、
前記画像データが単彩色画像を表す単彩色画像データであるか否かを判別し、
前記単彩色画像データであると判別された前記画像データの前記ホワイトバランス処理を、前記カラー画像データに対する前記ホワイトバランス処理より抑制することを特徴とするものである。
【００１２】
本発明の画像処理装置は、カラー画像を表すカラー画像データを含む画像データを入力する画像入力手段と、
該入力手段により得られた前記画像データに対してホワイトバランス処理を行うホワイトバランス処理手段とを備えてなる画像処理装置であって、
前記ホワイトバランス処理手段が、前記画像データが、単彩色画像を表す単彩色画像データであるか否かを判別する判別手段と、
該判別手段により前記単彩色画像データであると判別された前記画像データに対する前記ホワイトバランス処理を、前記カラー画像データに対する前記ホワイトバランス処理より抑制するホワイトバランス処理制御手段とを備えたことを特徴とするものである。
【００１３】
ここで、本発明における「単彩色画像」とは、セピア画像のような１つの有彩色により形成された画像、すなわち各画素の色相が略同じである画像のことを意味し、無彩色しかない白黒画像を除いたモノトーン画像のことである。
【００１４】
また、単彩色画像データに対するホワイトバランス処理を、カラー画像に対するホワイトバランス処理より抑制することとは、単彩色画像データに対するホワイトバランス処理の程度を、カラー画像に対するホワイトバランス処理の程度より弱くすることを意味し、カラー画像データに対して通常のホワイトバランス処理を施し、単彩色画像に対してはホワイトバランス処理を施さないことを含むものである。
【００１５】
また、カラー画像データに対するホワイトバランス処理は、前述した種々のホワイトバランス処理の方法を用いることができ、特許文献１記載の方法を用いることが好ましい。
【００１６】
本発明のプログラムは、本発明の画像処理方法をコンピュータに実行させるものである。
【発明の効果】
【００１７】
本発明の画像処理方法および装置並びにそのためのプログラムによれば、処理対象となる画像データが１つの有彩色により形成された単彩色画像データであるか否かを判別し、単彩色画像データに判別された画像データに対して、そのホワイトバランス処理を、カラー画像データに対するホワイトバランス処理より抑制するようにしているので、カラー画像をホワイトバランスの取れた美しい画像にすることができると共に、単彩色画像は元の色味が損なわれずにすることができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明の実施形態について説明する。
【００１９】
図１は、本発明の画像処理方法および装置並びにそのためのプログラムの実施形態となる画像処理装置の構成を示すブロック図である。なお、本実施形態の画像処理装置は、入力された画像に対してホワイトバランス補正を行うものであり、補助記憶装置に読み込まれたホワイトバランス補正プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このホワイトバランス補正プログラムは、ＣＤＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２０】
また、画像データは画像を表すものであるため、以下、特に画像と画像データの区別をせずに説明を行う。
【００２１】
図１に示すように、本実施形態の画像処理装置は、画像データＳ０を入力する画像入力手段１と、白黒画像判別手段２と、単彩色画像判別手段３と、ホワイトバランス補正処理を実行する補正実行手段１００と、画像出力手段５と、白黒画像判別手段２、単彩色画像判別手段３、補正実行手段１００、および画像出力手段５の動作を制御する制御手段４とを有してなるものであり、白黒画像判別手段２は、画像Ｓ０が白黒画像である否かを判別するものであり、単彩色画像判別手段３は画像Ｓ０が単彩色画像であるか否かを判別するものであり、補正実行手段１００は、制御手段４の制御に従って、カラー画像（白黒画像と単彩色画像以外の画像）に対してホワイトバランス補正を施すものであり、画像出力手段５は、制御手段４の制御に従って、白黒画像である画像Ｓ０、または単彩色画像である画像Ｓ０、または補正実行手段１００によりカラー画像である画像Ｓ０に対してホワイトバランス補正処理を施して得た処理済み画像Ｓ４を出力するものである。以下、図示実施形態の各構成の詳細について説明する。
【００２２】
画像入力手段１は、本実施形態の画像処理装置に画像データを取り入れるものであり、画像データを記録したＣＤＲＯＭや、メモリカードから画像データを読み取る装置や、紙などの印刷媒体に印刷された原稿を光電的に読み取って画像データを得るスキャナーなどの読取装置や、ネットワークを介して送信されてきた画像データを受信する受信装置などである。
【００２３】
制御手段４は、下記のように白黒画像判別手段２、単彩色画像判別手段３、補正実行手段１００、および画像出力手段５を制御する。
【００２４】
制御手段４は、画像入力手段１により入力された画像データＳ０に対して、まず、白黒画像判別手段２にこの画像Ｓ０が白黒画像であるか否かを判別させる。白黒画像判別手段２により、画像Ｓ０が白黒画像であると判別されると、制御手段４は、出力手段５に画像データＳ０をそのまま出力させる。一方、白黒判別手段２により、画像Ｓ０が白黒画像ではないと判別されると、制御手段４は、単彩色画像判別手段３に画像Ｓ０が単彩色画像であるか否かを判別させる。単彩色画像判別手段３により、画像Ｓ０が単彩色画像であると判別されると、制御手段４は、出力手段５に画像データＳ０をそのまま出力させる。
【００２５】
また、単彩色画像判別手段３により、画像Ｓ０が単彩色画像ではないと判別されると、制御手段４は、補正実行手段１００に画像Ｓ０のホワイトバランス補正処理を行わせて補正済み画像データＳ４を得ると共に、画像出力手段５に補正済み画像データＳ４を出力させる。
【００２６】
白黒画像判別手段２は、下記のように画像Ｓ０が白黒画像であるか否かを判別する。
【００２７】
撮影日時を示す日付文字が通常画像の辺縁部に位置することを利用し、白黒画像判別手段２は、日付文字が判別結果に与える影響を避けるために、画像Ｓ０の中央部分のデータＳ０１を抽出して、抽出された中央部分のデータＳ０１を用いて白黒画像か否かの判別を行う。本実施形態の画像処理装置において、白黒画像判別手段２は、画像Ｓ０の中央部分のデータＳ０１の画素毎に、そのＲ値、Ｇ値、Ｂ値がＲ＝Ｇ＝Ｂの関係を満たすか否かを確認し、Ｒ値、Ｇ値、Ｂ値がＲ＝Ｇ＝Ｂの関係を満たす画素の数が、中央部分のデータＳ０１の画素の数の所定の割合（例えば９５％）以上である場合には、画像Ｓ０が白黒画像であると判別する。一方、画像Ｓ０の中央部分において、Ｒ値、Ｇ値、Ｂ値がＲ＝Ｇ＝Ｂの関係を満たす画素の数が、中央部分のデータＳ０１の画素の数の前述した所定の割合より少ない場合には、画像Ｓ０が白黒画像ではないと判別する。
【００２８】
単彩色画像判別手段３は、白黒画像判別手段２により白黒画像ではないと判別された画像Ｓ０が、単彩色画像であるか否かを判別するものである。具体的には、日付文字の影響を避けるために、白黒画像判別手段２により抽出された画像Ｓ０の中央部分のデータＳ０１を用いて、画像Ｓ０が単彩色画像であるか否かを判別する。図２は、単彩色画像判別手段３の構成を示すブロック図である。
【００２９】
図示のように、単彩色画像判別手段３は、（Ｒ，Ｇ，Ｂ）データである画像データＳ０１（画像Ｓ０の中央部分のデータ）を色度（ｒ，ｂ）データＤ１に変換する色度変換手段３ａと、色度データＤ１から無効な画素を取り除いて、色度データＤ２を得る無効画素排除手段３ｂと、色度データＤ２に対して線形近似処理を行って近似直線を得る近似手段３ｃと、色度データＤ２、および近似手段３ｃにより得られた近似直線を用いて近似度ｋを算出する近似度算出手段３ｄと、近似度ｋが所定の閾値（ここでは９０％）以上の場合には画像Ｓ０が単彩色画像であると判別する一方、近似度ｋが前述閾値より小さい場合には画像Ｓ０が単彩色画像ではない、すなわちカラー画像であると判別する判別実行手段３ｅとからなる。
【００３０】
色度変換手段３ａは、下記の式（１）に従って、（Ｒ，Ｇ，Ｂ）データである画像データＳ０１（画像Ｓ０の中央部分のデータ）を色度（ｒ，ｂ）データＤ１に変換する。
【００３１】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）                              
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）                              （１）
無効画素排除手段３ｂは、色度データＤ１の各画素の（ｒ，ｂ）を（ｒ，ｂ）座標にプロットし、ｒ軸、ｂ軸上に位置する画素、およびｒ軸、ｂ軸に近い（例えばｒ軸またはｂ軸との距離が所定の閾値以下）の画素を無効な画素として除去する。
【００３２】
近似手段３ｃは、無効画素排除手段３ｂにより、色度データＤ１から無効な画素を除去して得た色度データＤ２に対して線形近似処理を行って、色度データＤ２の近似直線を得る。
【００３３】
図３は、単彩色画像の１種であるセピア画像の２つの例に対して求められた近似直線を夫々示している。図３（ａ）の例では、近似直線はｂ＝−０．６９９５ｒ＋０．５６０８であり、図３（ｂ）の例では、近似直線はｂ＝−０．６２６６ｒ＋０．４９８２である。
【００３４】
近似度算出手段３ｄは、色データＤ２（ｒ，ｂ）が、近似手段３ｃにより色データＤ２に対して行った近似処理により得られた近似直線への近似度ｋを求めるものであり、具体的には、画素のｒ値に対応する近似直線上のｂ値と、該画素のｂ値との差の２乗を色度データＤ２の各画素に対して求めた上で総和を算出し、１から、この総和を画素数で平均演算して得た平均値を引いて近似度ｋを求める。
【００３５】
図３（ａ）の例では、このように算出された近似度ｋは０．９９９２となり、図３（ｂ）の例では、近似度ｋは０．９９１６となる。
【００３６】
判別実行手段３ｅは、近似度ｋに基づいて、ｋが所定の閾値（ここでは９０％）以上である場合、対応する画像Ｓ０が単彩色画像であると判別する一方、ｋが所定の閾値より小さい場合、対応する画像Ｓ０が単彩色画像ではないと判別する。
【００３７】
補正実行手段１００は、制御手段４の制御に従って、白黒画像判別手段２により白黒画像ではないと判別され、かつ単彩色画像判別手段３により単彩色画像でもないと判別された画像、すなわちカラー画像に対してホワイトバランス補正処理を行う。図４はその構成を示すものである。ここでも、本実施形態の画像処理装置における補正実行手段１００は、白黒画像判別手段２および単独彩色画像判別手段３と同じように、日付文字の影響を避けるために、画像入力手段１により取得した画像の中央部分のデータＳ０１（Ｒ０，Ｇ０，Ｂ０）を用いる。
【００３８】
図４に示すように、補正実行手段１００は、画像データＳ０１から有効な画素を抽出するための第１の有効画素抽出手段１０ａおよび第２の有効画素抽出手段１０ｂと、有効画素抽出手段１０ａおよび１０ｂにより抽出された有効な画素の画像信号Ｓ１ａとｓ１ｂに対して所定の係数を乗算して各係数に対応する画像信号の集合となる画像信号群Ｓ２ａおよびＳ２ｂを得る乗算手段１５と、乗算手段１５により得られた画像信号群Ｓ２ａを用いて各係数に対応するグレー候補画素群Ｓ３ａを検出するグレー候補画素群検出手段２０ａと、乗算手段１５により得られた画像信号群Ｓ２ａおよびＳ２ｂを用いて各係数に対応する肌色候補画素群Ｓ３ｂを検出する肌色候補画素群検出手段２０ｂと、各々のグレー候補画素群Ｓ３ａの夫々の画素数Ｍａおよび各々の肌色候補画素群Ｓ３ｂの夫々の画素数Ｍｂを求める画素数算出手段３０ａと、各々のグレー候補画素群Ｓ３ａの夫々の平均色温度Ｔａおよび各々の肌色候補画素群Ｓ３ｂの夫々の平均色温度Ｔｂを求める平均色温度算出手段３０ｂと、グレー候補画素群の画素数と肌色候補画素群の画素数との和が最も大きい、かつグレー候補画素群の平均色温度と肌色候補画素群の平均色温度との差が最も小さい係数を最適係数αとして取得する最適係数取得手段４０と、最適係数取得手段４０により取得された最適係数αに対応するグレー候補画素群Ｓ３ａと肌色候補画素群Ｓ３ｂに含まれる各々の画素の色温度から撮影光源の色温度Ｔを求める光源色温度取得手段５０と、最適係数取得手段４０により求められた最適係数αおよび光源色温度取得手段５０により取得された撮影光源の色温度を用いてカラー画像Ｓ０の全ての画素の画像信号に対して補正を行って補正済み画像Ｓ４（Ｒ４，Ｇ４，Ｂ４）を得る補正手段６０とを有してなる。
【００３９】
第１の有効画素抽出手段１０ａは、まず、画像Ｓ０１中の下記のような画素を無効な画素として除去する。
【００４０】
１．   カラー画像中の高彩度画素
ここでは、Ｒ＝Ｇ＝Ｂのグレー軸からの距離が所定の閾値以上の画素を高彩度画素とする。なお、閾値は、各色相に対して同じ閾値を用いてもよく、色相によって閾値を変えるようにしてもよい。
【００４１】
２．    ハイエスト画素
ここでは、画像Ｓ０１中のハイライトの所定のパーセンテージ（例えば５％        ）までの画素をハイエスト画素とする
第１の有効画素抽出手段１０ａが、上記無効な画素を除去して得た残りの画素に、画像Ｓ０１中の輝度の高い領域にある画素、すなわち、輝度値が所定の閾値以上の画素を加えて、有効画素Ｓ１ａ（Ｒ１ａ，Ｇ１ａ，Ｂ１ａ）を得る。
【００４２】
第２の有効画素抽出手段１０ｂが、顔抽出手段であり、画像Ｓ０１中の顔部分を抽出し、抽出した顔部分の画素を有効画素Ｓ１ｂ（Ｒ１ｂ，Ｇ１ｂ，Ｇ１ｂ）として第１の抽出手段１０ａにより抽出された有効画素Ｓ１ａに加える。
【００４３】
乗算手段１５は、有効画素Ｓ１ａとＳ１ｂの画像信号に対して下記の式（２）のように所定の係数α０（α１，α２）を乗算して各係数α０に対応する画像信号の集合となる画像信号群Ｓ２ａおよびＳ２ｂを得て、画像信号群Ｓ２ａをグレー候補画素群検出手段２０ａに出力すると共に、画像信号群Ｓ２ａおよびＳ２ｂを肌色候補画素群検出手段２０ｂに出力する。なお、乗算をＲ、Ｇ、Ｂの３信号に対して行う必要がなく、いずれか２つの信号、ここではＲ、Ｇに対して行えれば十分である。
【００４４】
Ｒ２ａ＝α１Ｒ１ａ
Ｇ２ａ＝α２Ｇ１ａ                                        （２）
Ｒ２ｂ＝α１Ｒ１ｂ
Ｇ２ｂ＝α２Ｇ１ｂ
グレー候補画素群検出手段２０ａと肌色候補画素群検出手段２０ｂは、夫々画像信号群Ｓ２ａと、Ｓ２ａおよびＳ２ｂとを用いて各係数に対応するグレー候補画素群と肌色候補画素群とを夫々検出するものである。以下図５を参照して、グレー候補画素群検出手段２０ａと肌色候補画素群検出手段２０ｂの動作を具体的に説明する。なお、ここでは、画像データＳ０がデジタルスチールカメラ（ＤＳＣ）により取得された場合を例にする。
【００４５】
図５において、Ｇｙはグレーの黒体軌跡曲線である。黒体軌跡とは、色温度をＴ、色温度Ｔの黒体放射エネルギ分布をＰ（λ）、被写体の分光反射率分布をρ（λ）、ＤＳＣのＣＣＤセンサの分光感度分布をＳｉ（λ）（ｉ＝Ｒ、Ｇ、Ｂ）としたとき、次の式（３）で計算されたＥｉを式（１）により色度座標（ｒ，ｂ）に変換して色度図にプロットしたとき、色温度Ｔを動かしたときの軌跡である。黒体軌跡は、ＣＣＤセンサの分光分布および被写体の色ごとに存在し、グレーの黒体軌跡は、被写体をグレーとしたときの被写体の分光反射率ρ（λ）１として得られる。なお、ＣＣＤセンサの分光感度分布Ｓｉ（λ）は、画像Ｓ０を撮影したＤＳＣのＣＣＤセンサ固有のものを用いることが好ましいが、図６に示すようなＢＴ７０９準拠の理想分光感度分布を用いてもよい。
【００４６】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）                              （１）
Ｅｉ＝∫Ｐ（λ）ρ（λ）Ｓｉ（λ）ｄλ              （３）
また、肌色の黒体軌跡曲線は、グレーの黒体軌跡曲線Ｇｙと同じ方法で、肌色に対して得たものであり、ここで図示を省略する。
【００４７】
グレー候補画素群検出手段２０ａは、乗算手段１５により得られた画像信号群Ｓ２ａに対して、まず、式（１）に従って、（Ｒ、Ｇ、Ｂ）信号を色度座標（ｒ，ｂ）に変換すると共に、図５に示す色度図にプロットする。そして次に、グレー候補画素群検出手段２０ａは、画像信号群Ｓ２ａの各信号をグレーの黒体軌跡曲線Ｇｙと比較して、グレーの黒体軌跡曲線Ｇｙの近傍の信号を有する画素（ここでは、黒体軌跡曲線Ｇｙ上の点と比較して、色度座標ｒの差が０．０３以下の信号の画素）をグレー候補画素として検出する。このように、グレー候補画素群検出手段２０ａは、各係数α０に対してグレー候補画素を検出し、各々の係数α０に対応するグレー候補画素群Ｓ３ａを検出する。
【００４８】
肌色候補画素群検出手段２０ｂは、画像信号Ｓ２ａ、Ｓ２ｂを用いて各係数α０に対応する肌色候補画素群Ｓ３ｂを検出するものであり、黒体軌跡曲線として、グレーの黒体軌跡曲線Ｇｙの代わりに肌色の黒体軌跡曲線を用いる点を除けば、グレー候補画素群検出手段２０ａと略同様に動作するので、ここでその詳細な説明を省略する。
【００４９】
こうして、グレー候補画素群検出手段２０ａと肌色候補画素群検出手段２０ｂにより、各々の係数α０（α１，α２）に対応するグレー候補画素群Ｓ３ａとＳ３ｂが夫々検出される。
【００５０】
画素数算出手段３０ａは、各グレー候補画素群Ｓ３ａの画素数Ｍａおよび各肌色候補画素群Ｓ３ｂの画素数Ｍｂを算出するものであり、平均色温度算出手段３０ｂは、各グレー候補画素群Ｓ３ａの平均色温度Ｔａおよび各肌色候補画素群Ｓ３ｂの平均色温度Ｔｂを算出するものである。まず、画素数算出手段３０ａの動作を説明する。
【００５１】
画素数算出手段３０ａは、グレー候補画素群Ｓ３ａの各画素のカウント数に対して、図５に示すグレーの黒体軌跡曲線Ｇｙに近い画素ほど、そのカウント数の重みが高くなる重み付け係数で重み付け加算して得た和を当該グレー候補画素群Ｓ３ａの画素数Ｍａとする。図７は、本実施形態における画素数算出手段３０ａが用いた重み付け係数（図示実線）を示している。図示のように、同じグレー候補画素群に含まれる画素でも、グレーの黒体軌跡曲線Ｇｙ上の画素（黒体軌跡曲線Ｇｙとの距離がゼロである）の場合、そのカウント数に対する重み付け係数が１であり、すなわち、１つの画素が画素群の画素数に対して１を貢献する一方、グレーの黒体軌跡曲線Ｇｙとの距離が０．０２である画素の場合、そのカウント数に対する重み付け係数が０．０５であり、すなわち、１つの画素が画素群の画素数に０．０５しか貢献しない。
【００５２】
同様に、画素数算出手段３０ａは、肌色候補画素群Ｓ３ｂの各画素のカウント数に対して、図示しない肌色の黒体軌跡曲線に近い画素ほど、そのカウント数の重みが高くなる重み付け係数で重み付け加算して得た和を当該肌色候補画素群Ｓ３ｂの画素数Ｍｂとする。ここで、画素数算出手段３０ａは、グレー候補画素群Ｓ３ａの画素数を算出する際と同じように、図７に示す重み付け係数を用いて肌色候補画素群Ｓ３ｂの画素数Ｍｂを算出する。
【００５３】
平均色温度算出手段３０ｂは、グレー候補画素群Ｓ３ａの各画素（例えば図５に示すＡ部分）に対して、グレーの黒体軌跡曲線Ｇｙに近い画素ほど、その色温度の重みが高くなるように各々のグレー候補画素の色温度を重み付け平均演算して得た値を当該グレー候補画素群Ｓ３ａの平均色温度Ｔａとすると共に、肌色候補画素群Ｓ３ｂの各画素に対して、肌色の黒体軌跡曲線に近い画素ほど、その色温度の重みが高くなるように各々の肌色候補画素の色温度を重み付け平均演算して得た値を当該肌色候補画素群Ｓ３ｂの平均色温度Ｔｂとする。なお、ここで、例として、平均色温度算出手段３０ｂは、色温度の重み付け係数として、画素数算出手段３０ａが用いた、図７に示す重み付け係数を用いて各候補画素群の平均色温度ＴａおよびＴｂを算出する。
【００５４】
画素数算出手段３０ａにより算出された各グレー候補画素群Ｓ３ａの画素数Ｍａおよび肌色候補画素群Ｓ３ｂの画素数Ｍｂと、平均色温度算出手段３０ｂにより算出された各グレー候補画素群Ｓ３ａの平均色温度Ｔａおよび肌色候補画素群Ｓ３ｂの平均色温度Ｔｂとは、最適係数取得手段４０に出力される。最適係数取得手段４０は、「グレー候補画素群と肌色候補画素群との画素数の和が最も大きい」、かつ「グレー候補画素群の平均色温度と肌色画素群の平均色温度との差が最も小さい」ことを目的関数として係数α０の最適化をして最適係数α（α１，α２）を得て、補正手段６０および光源色温度取得手段５０に出力する。ここで、最適係数αは、図５に示すベクトルαに相当する。
【００５５】
光源色温度取得手段５０は、最適係数α（α１，α２）に対応するグレー候補画素群および肌色候補画素群の各々の画素の色温度から撮影光源の色温度を推定するものであり、ここでは、最適係数αに対応するグレー候補画素群の平均色温度Ｔ１ａと最適係数αに対応する肌色候補画素群の平均色温度Ｔ１ｂとをさらに平均して得た値を撮影光源の色温度Ｔを求めるものである。なお、最適係数αに対応するグレー候補画素群（グレー画素群）および最適係数αに対応する肌色候補画素群（肌色画素群）の夫々の平均色温度Ｔ１ａ、Ｔ１ｂを新たに求めてもよいが、ここでは、光源色温度取得手段は、平均色温度算出手段３０ｂにより算出された平均色温度から、最適係数αに対応する候補画素群の平均色温度Ｔ１ａ、Ｔ１ｂを取得して、それらの平均値を光源の色温度Ｔとして算出する。なお、Ｔ１ａとＴ１ｂを平均する際に、下記の式（５）のように単純平均して得た値を撮影光源の色温度Ｔとしてもよいし、グレーの色を重視する場合はＴ１ａを光源の色温度Ｔとしてもよい。さらに、グレーと肌色を夫々重視する程度に応じて、Ｔ１ａとＴ１ｂとを重み付け平均演算して得た値を光源の色温度Ｔとしてもよい。
【００５６】
Ｔ＝（Ｔ１ａ＋Ｔ１ｂ）／２                    （４）
但し、Ｔ：撮影光源の色温度
Ｔ１ａ：グレー画素の平均色温度
Ｔ１ｂ：肌色画素の平均色温度
補正手段６０は、まず、光源色温度取得手段５０により取得された色温度Ｔを基準白色（例えば５５００Ｋ）へ変換する変換、すなわち、図５に示すベクトルβ（β１、β２）を求める。
【００５７】
最適係数、すなわち図５に示すベクトルα（α１，α２）およびベクトルβ（β１，β２）を用いて、下記の式（５）に従って、画像Ｓ０（Ｒ０，Ｇ０，Ｂ０）に対して補正処理を施して補正済み画像Ｓ４（Ｒ４，Ｇ４，Ｂ４）を得ることができる。
【００５８】
Ｒ４＝α１β１Ｒ０
Ｇ４＝α２Ｇ０                                      （５）
Ｂ４＝β２Ｂ０                                    
但し，
Ｒ４，Ｇ４，Ｂ４：補正済み画像Ｓ４の画素値
Ｒ０，Ｇ０，Ｂ０：カラー画像Ｓ０の画素値
（α１，α２）：  最適係数α
また、式（５）に示す変換は、カラーバランスだけではなく、明るさの変化を含むので、Ｇ信号を不変として表現すれば、次の式（６）になる。
【００５９】
Ｒ４＝（α１β１／α２）Ｒ０
Ｇ４＝Ｇ０                                        （６）
Ｂ４＝（β２／α２）Ｂ０
但し，
Ｒ４，Ｇ４，Ｂ４：補正済み画像Ｓ４の画素値
Ｒ０，Ｇ０，Ｂ０：カラー画像Ｓ０の画素値
（α１，α２）：最適係数α
補正手段６０は、カラー画像Ｓ０の全ての画素の画像信号に対して式（６）に示す変換を行い、補正済み画像Ｓ４を得る。
【００６０】
なお、画像出力手段５は、制御手段４の制御に従って、白黒画像Ｓ０および単彩色画像Ｓ０をそのまま出力か、補正実行手段１００によりカラー画像Ｓ０に対してホワイトバランス補正を施して得た補正済み画像Ｓ４を出力する。
【００６１】
図８は、図１に示す実施形態の画像処理装置の動作を示すフローチャートである。また、図示各ステップは制御手段４の制御に従って行われる。
【００６２】
図示のように、画像Ｓ０は画像入力手段１により画像処理装置に入力される（Ｓ１０）。この画像Ｓ０はまず、白黒画像判別手段２により白黒画像であるか否かを判別される（Ｓ１５）。白黒画像であると判別された画像Ｓ０がホワイトバランス補正処理を行われずにそのまま画像出力手段５により出力される（Ｓ１５：Ｙｅｓ、Ｓ３０）一方、白黒画像ではないと判別された画像Ｓ０がさらに単彩色画像判別手段３による単彩色画像であるか否かを判別される（Ｓ１５：Ｎｏ、Ｓ２０）。単彩色画像であると判別された画像Ｓ０がホワイトバランス補正処理を行われずにそのまま画像出力手段５により出力される（Ｓ２０：Ｙｅｓ、Ｓ３０）一方、単彩色画像ではないと判別された画像Ｓ０が補正実行手段１００によりホワイトバランス補正処理を施されて補正済み画像Ｓ４となり、この補正済み画像Ｓ４は画像出力手段５により出力される（Ｓ２０：Ｎｏ、Ｓ３０）。
【００６３】
このように、本実施形態の画像処理装置によれば、カラー画像に対してホワイトバランス補正処理を施すと共に、１つの有彩色により形成された単彩色画像に対してはホワイトバランス補正処理を施さないようにすることによって、補正済みのカラー画像がホワイトバランスの取れた美しい画像となり、単彩色画像が元の色味が損なわれないようにすることができる。
【００６４】
以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
【００６５】
例えば、図１に示す実施形態の画像処理装置において、カラー画像に対してホワイトバランス補正処理を施す一方、単彩色画像に対してはホワイトバランス補正処理をまったく施さないようにしているが、単彩色画像に対して、カラー画像に対するホワイトバランス補正処理より弱いホワイトバランス処理を施すようにしてもよい。例えば、図１に示す実施形態の画像処理装置において、補正実行手段１００によりカラー画像である画像Ｓ０に対して施すホワイトバランス補正処理と同じように、単彩色画像である画像Ｓ０に対しても係数α１、α２、β１、β２を求め、下記の式（７）に従って単彩色画像である画像Ｓ０（Ｒ０，Ｇ０，Ｂ０）に対してホワイトバランス補正処理を行うようにしてもよい。
【００６６】
Ｒ’＝[１＋（α１β１／α２−１）×ｑ]×Ｒ０
Ｇ’＝Ｇ０                                        （７）
Ｂ’＝[１＋（β２／α２−１）×ｑ]×Ｂ０
但し，
Ｒ’，Ｇ’，Ｂ’：単彩色画像の補正済み画像の画素値
Ｒ０，Ｇ０，Ｂ０：単彩色画像である画像Ｓ０の画素値
（α１，α２）：最適係数α
ｑ：  ０＜ｑ＜１（ここでは、例として５０％とする）
すなわち、図１に示す画像処理装置は、単彩色画像に対しては、全くホワイトバランス補正処理を施さない（上記式（７）において、係数ｑに対して０となる値を与えたと同じ意味である）一方、カラー画像に対しては、補正実行手段１００により上記式（７）において係数ｑに対して１となる値を与えて補正を行うが、単彩色画像に対して、係数ｑに対して０と１との間の値を与えてホワイトバランス補正処理を施すようにしてもよい。
【００６７】
さらに、単彩色画像に対するホワイトバランス補正処理の程度（式（７）の場合は、係数ｑの大小）も、一定にすることに限らず、例えば、画像Ｓ０が単彩色画像である程度の大小に応じてそのホワイトバランス処理の程度の強弱を調整するようにしてもよい。図１に示す画像処理装置において、単彩色画像判別手段３は、近似度ｋが９０％以上の画像を単彩色画像として判別し、近似度ｋが９０％より小さい画像をカラー画像として判別するようにしているが、例えば、近似度ｋが所定の閾値（例えば８０％）より小さい画像をカラー画像として通常のホワイトバランス補正処理を施す一方、近似度ｋが前述閾値以上の画像に対しては、近似度ｋが大きい画像ほど係数ｑを小さく設定する（すなわち、近似度ｋが大きい画像ほどそのホワイトバランス補正処理の程度を弱める。例えば（１−ｋ）の値を係数ｑとして設定する）ようにして式（７）を用いてホワイトバランス補正処理を施すようにしてもよい。
【００６８】
また、本発明において、単彩色画像であるか否かを判別する方法も、図１に示す実施形態の画像処理装置に用いられた方法に限られることがなく、処理対象となる画像が、１つの有彩色により形成された単彩色画像であるか否かを判別することができれば、いかなる方法を用いてもよい。例えば、処理対象となる画像が、カラー画像以外に、単彩色画像の１種であるセピア画像に限定された場合、画像データを色度データ（ｒ，ｂ）に変換し、セピア画像としてあり得ない色度値（ｒ，ｂ）を有する画素が存在する場合、対応する画像はセピア画像ではないと判別するようにすることができる。例えば、セピア画像は通常赤味がかかったものであり、図３に示す色度座標（ｒ，ｂ）においては、白（その（ｒ，ｂ）値が（０．３，０．３）である）より左上の画素がないはずであるので、ｒ値が０．３より小さく、かつｂ値が０．３より大きい画素がある画像は、セピア画像ではないと判別することができる。また、このようなセピア画像の場合、高濃度の画素は（ｒ，ｂ）空間においてｒ軸上またはｒ軸状近傍に位置する一方、他の画素は（ｒ，ｂ）空間において近似的に線形分布するので、このような分布の特徴を有する画像をセピア画像として判別するようにしてもよい。
【００６９】
また、図１に示す実施形態の画像処理装置において、単彩色画像判別手段３は、（ｒ，ｂ）の２次元空間において、画像の各々の画素の（ｒ，ｂ）値の分布の線形の程度（直線への近似度）に基づいて画像が単彩色画像か否かの判別を行っているが、例えば、（Ｒ，Ｇ，Ｂ）や、（Ｌ，ａ＊，ｂ＊）などの３次元空間において判別を行うようにしてもよい。単彩色画像の場合は、その各々の画素が前述の３次元において１つの平面に分布するはずであるので、画像の各々の画素の（Ｒ，Ｇ，Ｂ）値または（Ｌ，ａ＊，ｂ＊）値の分布が１つの平面への近似度に基づいて単彩色画像であるか否かの判別ができる。
【００７０】
また、ホワイトバランス補正処理の方法も、図１に示す実施形態の画像処理装置における補正実行手段１００により採用された方法に限らず、従来公知の種々のホワイトバランス補正の技術を適用することができる。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施形態となる画像処理装置の構成を示すブロック図
【図２】図１に示す画像処理装置における単彩色画像判別手段３の構成を示すブロック図
【図３】単彩色画像の近似直線および近似度の例を示す図
【図４】図１に示す画像処理装置の補正実行手段１００の構成を示すブロック図
【図５】図４に示す補正実行手段１００の動作を説明するための色度図
【図６】ＢＴ７０９準拠のＣＣＤセンサの理想分光感度分布を示す図
【図７】図４に示す補正実行手段１００における画素数算出手段３０ａおよび平均色温度算出手段３０ｂの動作を説明するための図
【図８】図１に示す実施形態の画像処理装置の動作を示すフローチャート
【符号の説明】
【００７２】
１    画像入力手段
２    白黒画像判別手段
３    単彩色画像判別手段
３ａ    色度変換手段
３ｂ    無効画素排除手段
３ｃ    近似手段
３ｄ    近似度算出手段
３ｅ    判別実行手段
４    制御手段
５    画像出力手段
１０ａ    第１の有効画素抽出手段
１０ｂ    第２の有効画素抽出手段
１５    乗算手段
２０ａ    グレー候補画素群検出手段
２０ｂ    肌色候補画素群検出手段
３０ａ，３０’ａ    画素数算出手段
３０ｂ    平均色温度算出手段
４０    最適係数取得手段
５０    光源色温度取得手段
６０    補正手段
１００    補正実行手段
【図１】
2005236651.tif 000003
【図２】
2005236651.tif 000004
【図３】
2005236651.tif 000005
【図４】
2005236651.tif 000006
【図５】
2005236651.tif 000007
【図６】
2005236651.tif 000008
【図７】
2005236651.tif 000009
【図８】
2005236651.tif 000010