(57)【要約】【課題】記録済の画像に対しても適切なホワイトバランス調整を行うことができるホワイトバランス調整方法及びホワイトバランス調整プログラムを提供する。【解決手段】ネットワーク２を保管した画像ファイルの取得要求を介して受信したとき、画像転送サービスサーバ１は、保管している画像ファイルに含まれる画像データに所定の画像補正処理を施した後の画像ファイルを、取得要求があった端末に対して転送する。その際、補正処理部１２によって、ホワイトバランス調整を含む画質補正処理を施す。ホワイトバランス調整は、リニアＲＧＢ信号で表される画面を複数のエリアに分割し、各エリア毎の色情報に基づいて、複数種の光源に対応する色分布領域に含まれる前記エリアの個数を求め、求めたエリアの個数それぞれの光源らしさを表す評価値を求め、さらに、前記評価値と前記色分布領域の前記色情報の平均値とからホワイトバランスゲインを求めるものである。【選択図】図１
2004007181.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データに対するホワイトバランス調整処理を行うホワイトバランス調整方法であって、
前記入力画像データに基づいてリニアＲＧＢ信号を求めるステップと、
前記リニアＲＧＢ信号で表される画面を複数のエリアに分割し、各エリア毎の色情報を取得するステップと、
前記取得した各エリア毎の色情報に基づいて、複数種の光源に対応する色分布領域に含まれる前記エリアの個数を求めるステップと、
前記エリアの個数に基づき、前記色分布領域に前記エリアの色情報が分布する頻度を変数とするメンバーシップ関数を参照して、それぞれの光源らしさを表す評価値を求めるステップと、
前記評価値と前記色分布領域の前記色情報の平均値とからホワイトバランスゲインを求めるステップとを含むホワイトバランス調整方法。
【請求項２】
請求項１記載のホワイトバランス調整方法であって、
前記色情報は、前記エリア毎のリニアＲＧＢ信号の平均値Ｒ、Ｇ、Ｂの比Ｒ／Ｇ、及びＢ／Ｇであり、
前記色分布領域は、前記比Ｒ／Ｇの範囲と前記比Ｂ／Ｇの範囲とによって特定される領域であるホワイトバランス調整方法。
【請求項３】
請求項１又は２記載のホワイトバランス調整方法における各ステップをコンピュータに実行させるためのホワイトバランス調整プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像データに対するホワイトバランス調整処理を行うホワイトバランス調整方法及びホワイトバランス調整プログラムに関する。
【０００２】
【従来の技術】
画像データの保管を行うアルバムサービス、携帯電話用の画像変換サービス等においては、サービスを行うサーバに入力された画像に対して、明るさ、色再現、シャープネス、ノイズ感等の観点から、より好ましい画質の画像に自動補正するサービスが提供されている。
【０００３】
ホワイトバランス調整は、画質の自動補正処理の中で重要な補正処理であるが、一般に、撮像装置内で被写体の輝度値と撮像信号（輝度リニア信号）から得られる色情報を用いて行われる（例えば、特開２０００−２２４６０８公報参照）。しかし、撮像後記録した画像の場合、被写体の輝度値を得るのは一般に困難であるため、上記方法によりオートホワイトバランス調整はできない。
【０００４】
撮像後に記録されてしまった画像を対象にしたオートホワイトバランス調整を行うものとして、特開平２−２９８１９４号公報、特開平４−３２３９９４号公報に記載されたものがある。前者は、色差信号の積分値を基準にオートホワイトバランス調整量を求めるものであり、後者は、低彩度色情報のみからオートホワイトバランス調整を行うものである。高彩度被写体の場合の誤動作や、元々ホワイトバランスがとれていない画像に対して無彩色を定義することの困難性により、必ずしも適切なオートホワイトバランス調整ができない。
【０００５】
【発明が解決しようとする課題】
本発明は、上記事情に鑑みなされたもので、記録済の画像に対しても適切なホワイトバランス調整を行うことができるホワイトバランス調整方法及びホワイトバランス調整プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明のホワイトバランス調整方法は、入力画像データに対するホワイトバランス調整処理を行う方法であって、前記入力画像データに基づいてリニアＲＧＢ信号を求めるステップと、前記リニアＲＧＢ信号で表される画面を複数のエリアに分割し、各エリアごとの色情報を取得するステップと、前記取得した各エリアごとの色情報に基づいて、複数種の光源に対応する色分布領域に含まれる前記エリアの個数を求めるステップと、前記エリアの個数に基づき、前記色分布領域に前記エリアの色情報が分布する頻度を変数とするメンバーシップ関数を参照して、それぞれの光源らしさを表す評価値を求めるステップと、前記評価値と前記色分布領域の前記色情報の平均値とからホワイトバランスゲインを求めるステップとを含むものである。
【０００７】
上記入力画像データに基づいてリニアＲＧＢ信号求めるステップは、上記入力画像データがＹＣ信号等のＲＧＢ信号以外の信号である場合には、入力画像データからガンマ変換されたＲＧＢ信号を求め、さらにリニアＲＧＢ信号に変換する処理を含むものである。また、前記色分布領域の前記色情報の平均値は、光源毎に予め求めておく。
【０００８】
本発明のホワイトバランス調整方法における前記色情報は、前記エリア毎のリニアＲＧＢ信号の平均値Ｒ、Ｇ、Ｂの比Ｒ／Ｇ、及びＢ／Ｇであり、前記色分布領域は、前記比Ｒ／Ｇの範囲と前記比Ｂ／Ｇの範囲とによって特定される領域である。
【０００９】
本発明のホワイトバランス調整プログラムは、上記したホワイトバランス調整方法における各ステップをコンピュータに実行させるためのプログラムである。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。図１は、本発明のホワイトバランス調整方法が適用される画像転送システムの一例の概略構成を示す図である。図１のシステムは、ネットワーク２に接続された画像転送サービスサーバ１を含んで構成され、ネットワーク２に接続されるカメラ付き携帯電話３１、パーソナルコンピュータ３２、携帯電話３３等の端末間の画像の転送サービスを行うものである。端末は、図示したものに限らず、ネットワークを介してサーバ１にアクセスできるものであればどのようなものでもよい。
【００１１】
画像転送サービスサーバ１は、ネットワーク２を介して画像の転送要求があったとき、受信した転送すべき画像ファイルを保管する。そして、転送要求があった画像ファイルを保管している旨のメールを転送先に送る。その際、保管している画像ファイルを特定する情報として、それぞれの画像ファイルに対応するＵＲＬを添付する。
【００１２】
そして、メールを送信した転送先から、ネットワーク２を保管した画像ファイルの取得要求を介して受信したとき、画像転送サービスサーバ１は、保管している画像ファイルに含まれる画像データに所定の画像補正処理を施した後の画像ファイルを、取得要求があった端末に対して転送する。
【００１３】
画像転送サービスサーバ１は、転送サービス処理部１１、補正処理部１２、画像保管部１３を含んで構成される。転送サービス処理部１１は、画像転送サービス全体の処理を制御するものであり、補正処理部１２は、転送要求があった画像ファイルに含まれる画像データに対して補正処理を施すものである。これらの処理は、必要なプログラムをインストールすることによって実現する。画像保管部１３は、転送された画像ファイルを含む各種情報を保管する。
【００１４】
補正処理部１２が行う画像補正処理には、ホワイトバランス、明るさ、階調、シャープネス、ノイズ除去等の画質補正処理と、画像出力手段の出力能力、例えば表示装置の大きさに対応したした大きさの画像に変換するリサイズ処理が含まれる。一般には、リサイズ処理を施した後、画質補正処理が施される。また、ネットワークを介して転送されるデータが圧縮画像データを含む場合、補正処理部１２は、圧縮処理及び解凍処理も行う。
【００１５】
次に、図２及び図３を参照して、画像転送サービスサーバ１の概略動作フローを説明する。図２は、画像転送要求を受信した場合の動作フローであり，図３は、転送要求があった画像ファイルを保管している旨のメールを受信した転送先からの画像データ取得要求を受信した場合の動作フローである。
【００１６】
ネットワーク２に接続された端末、例えばカメラ付き携帯電話３１から、カメラで撮影した撮影画像データの転送要求を受信すると、転送要求に添付された添付画像ファイルを、画像保管部１３に保管する（ステップ２０１）。転送要求には、転送した画像データが含まれる画像ファイルが添付されるとともに、転送先の電子メールアドレス（複数あってもよい。）が所定のメッセージとともに含まれる。また、画像ファイルは、ＪＰＥＧ等の圧縮画像ファイルであるとする。保管された画像ファイルは、所定のＵＲＬと対応付けられ、画像保管ＵＲＬとして転送先にメール送信される（ステップ２０２）。
【００１７】
転送要求があった画像ファイルを保管している旨のメールを受け取った利用者から、画像取得要求を受信すると、要求のＵＲＬを取得し（ステップ３０１）、取得要求がされた端末の機種情報を取得する（ステップ３０２）。次いで、画像保管部１３からＵＲＬに基づいて保管された画像ファイルを検索し、画像ファイルに含まれる画像データの解凍処理を行う（ステップ３０３）。
【００１８】
ステップ３０４では、画像のリサイズ処理が必要かどうかを判断する。ここでの判断は、要求端末の機種情報から表示部の大きさを取得し、リサイズの必要性の有無及び画素数変更処理用のパラメータを求める。端末の機種に対応した表示部の大きさ（画素数）は、予め所定のメモリ（図示せず）に記憶しておく。リサイズが必要な場合は、ステップ３０５で画素数の変更処理を行う。
【００１９】
次いで、ステップ３０６で画質補正処理を行い、ステップ３０７で圧縮処理を行い、補正処理された補正画像を含む補正済圧縮画像ファイルを、要求端末に送信する（ステップ３０８）。
【００２０】
次に、補正処理部１２が行うホワイトバランス調整処理について、図４の概略フローを用いて説明する。ステップ４０１では、入力された画像データ、すなわち、画像保管部１３から検索された画像ファイルの画像データからリニアＲＧＢ信号を演算する。リニアＲＧＢ信号の演算は、例えば、ＩＴＵ−Ｒ　ＢＴ７０９規格の光電変換特性の逆特性を使用して行う。今、Ｒの画像信号をリニアＲに変換する場合、変換前のＲ２５６階調画像信号値をｒとすると、変換後のリニアＲ値ＲＬは、（１）式で求めることができる。
【００２１】
【数１】
2004007181.tif 000003
【００２２】
（１）式におけるＲｓは、０≦Ｒｓ≦１の値であるが、必要に応じて１００又は２５５を乗算し、０≦Ｒｓ≦１００、又は０≦Ｒｓ≦２５５で定義してもよい。また、Ｇ、Ｂの画像信号についても同様の式で変換する。
【００２３】
なお、入力される画像データがＹ−Ｃ信号等のＲＧＢ信号以外の画像データである場合には、上記演算に先立ちＲＧＢ信号への変換処理を行う。
【００２４】
次いで、ステップ４０２では、リニアＲＧＢ信号で表される画面を複数のエリアに分割し、各エリア毎の色情報を取得する。例えば、図５に示すように画面の縦画素数をＶ、横画素数Ｈの画面を２５のエリアに分割する場合、分割エリアは、縦画素数Ｖ／５、横画素数Ｈ／５の大きさとなる。また、各エリアの色情報としては、エリア毎のリニアＲＧＢ信号の平均値Ｒ、Ｇ、Ｂの比Ｒ／Ｇ、及びＢ／Ｇを利用する。
【００２５】
ステップ４０３では、各エリアの色情報に基づいて、複数種の光源に対応する色分布領域に含まれるエリアの個数を求める。それぞれの光源に対応する色分布領域は、図示しない記憶部に予め記憶させておく。色情報として比Ｒ／Ｇ、及びＢ／Ｇを利用する場合、例えば図６に示すようなものとなる。図６において、ＳＫＹは青空、ＣＬＤ１及びＣＬＤ２は日陰、ＦＬ１、ＦＬ２は蛍光灯、ＴＡＮ１〜ＴＡＮ３はタングステン電球の色分布領域を示し、それぞれＲ／ＧとＢ／Ｇが所定範囲となる矩形領域で設定されている。また、ホワイトバランス調整を行わない無補正エリアも同様に設定しておく。
【００２６】
ステップ４０４では、各光源毎の色分布領域に含まれる分割エリアの個数に基づき、それぞれの光源らしさを表す評価値Ｈｉを求める。光源らしさの評価値Ｈｉは、それぞれの色分布領域に分割エリアの色情報が分布する頻度を変数とするメンバーシップ関数Ｆｃを参照して求める。
【００２７】
図７にメンバーシップ関数Ｆｃの一例を示す。図７（ａ）は、日陰ＣＬＤ１及びＣＬＤ２のメンバーシップ関数であり、図（ｂ）は、蛍光灯ＦＬ１、ＦＬ２、タングステン電球ＴＡＮ１〜ＴＡＮ３、無補正のメンバーシップ関数であり、図（ｃ）は、青空ＳＫＹのメンバーシップ関数である。このメンバーシップ関数も図示しない記憶部に予め記憶させておく。
【００２８】
メンバーシップ関数を参照して得られる光源らしさの評価値Ｈｉは、例えば、Ｈ１＝Ｆｃ（ＣＬＤ１）×Ｆｃ（ＳＫＹ）、Ｈ２＝Ｆｃ（ＣＬＤ２）×Ｆｃ（ＳＫＹ）、Ｈ３＝Ｆｃ（ＦＬ１）、Ｈ４＝Ｆｃ（ＦＬ２）、Ｈ５＝Ｆｃ（ＴＡＮ１）、Ｈ６＝Ｆｃ（ＴＡＮ２）、Ｈ７＝Ｆｃ（ＴＡＮ３）、Ｈ８＝Ｆｃ（無補正）で表される。
【００２９】
評価値Ｈｉを求めた後、ステップ４０５でホワイトバランスゲインを求める。ホワイトバランスゲインは、評価値Ｈｉと各色分布領域の色情報の平均値とから求める。色情報としてＲ／Ｇ及びＢ／Ｇを利用する場合、各色分布領域におけるＲ／Ｇ、Ｂ／Ｇの平均値Ｘｉ、Ｙｉは、図８に示すような色分布領域における平均値として定義される。これらのＸｉ、Ｙｉの値は、予め求められ、図示しない記憶部に記憶される。
【００３０】
Ｒ信号のホワイトバランスゲインＲｇ、Ｂ信号のホワイトバランスゲインＢｇは、式（２）によって求められる。
【００３１】
【数２】
2004007181.tif 000004
【００３２】
ただし、評価値Ｈｉが全て所定値以下の場合は、ホワイトバランスゲインＲｇ、Ｂｇをともに１．０とする。すなわち、ホワイトバランス調整を行わない。また、式（２）で求められたホワイトバランスゲインＲｇ、Ｂｇが所定の範囲内のときもホワイトバランスゲインを１．０とする。
【００３３】
システムによって、カラーフェリアを考慮して弱めのホワイトバランス調整を行う場合、ホワイトバランスゲインをＲｇ＝Ｒｇ×Ｌ、Ｂｇ＝Ｂｇ×Ｌ（Ｌは、１未満の正の実数）としてもよい。
【００３４】
次いで、ステップ４０６では、ステップ４０５で求められたホワイトバランスゲインでリニアＲＧＢ信号を補正する。そして、補正されたリニアＲＧＢ信号にγ変換処理を施し、ノンリニアなＲＧＢ信号とする（ステップ４０７）。γ変換は、ＩＴＵ−Ｒ　ＢＴ７０９規格の光電変換特性を使用して行う。今、リニアＲの画像信号をノンリニアＲに変換する場合、リニアＲ値をＲＬとすると、Ｒの２５６階調画像信号値ｒは、式（３）で求められる。
【００３５】
【数３】
2004007181.tif 000005
【００３６】
この特性は、式（１）と逆特性である。なお、ＲＬを０≦ＲＬ≦１００、又は０≦ＲＬ≦２５５で定義している場合は、（３）式のＲＬをＲＬ／１００、又はＲＬ／２５５に置き換える。また、Ｇ、Ｂの画像信号についても同様の式で変換する。
【００３７】
ここで求められたホワイトバランスゲインＲｇ、Ｂｇがある範囲を超えた場合は、ハイライト部分の色付きを防止するため、γ変換後の画像データに対して、補正されたノンリニアＲＧＢ信号に対して、ハイライト部分階調を圧縮する形状のＬＵＴ変換を行う。
【００３８】
以上、画像転送システムに適用した例について説明したが、デジタル画像データに基づいてプリントを行うプリンタシステムに適用することも可能である。その場合、入力画像データからリニアＲＧＢ信号を求め、上記した方法と同様のホワイトバランス調整処理を施し、さらにＬＵＴ変換、ＲＧＢ→ＹＭＣ変換を経てプリントエンジンに出力する。
【００３９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、記録済の画像に対しても適切なホワイトバランス調整を行うことができる。
【図面の簡単な説明】
【図１】本発明のホワイトバランス調整方法が適用される画像配信システムの一例の概略構成を示す図
【図２】画像転送サービスサーバの画像転送要求受信時の概略動作フローを示す図
【図３】画像転送サービスサーバの画像取得要求受信時の概略動作フローを示す図
【図４】ホワイトバランス調整処理の概略フローを示す図
【図５】画面のエリア分割の一例を示す図
【図６】光源毎の色分布領域の一例を示す図
【図７】光源らしさの評価値を求めるためのメンバーシップ関数の一例を示す図
【図８】色分布領域の色信号の平均値の定義例を示す図
【符号の説明】
１・・・画像転送サービスサーバ
２・・・ネットワーク
１１・・・転送サービス処理部
１２・・・補正処理部
１３・・・画像保管部
３１・・・カメラ付き携帯電話
３２・・・パーソナルコンピュータ
３３・・・携帯電話
【図１】
2004007181.tif 000006
【図２】
2004007181.tif 000007
【図３】
2004007181.tif 000008
【図４】
2004007181.tif 000009
【図５】
2004007181.tif 000010
【図６】
2004007181.tif 000011
【図７】
2004007181.tif 000012
【図８】
2004007181.tif 000013