(57)【要約】【課題】正確にホワイトバランスを自動調整することができる映像装置を提供する。【解決手段】イメージセンサでセンシングされた入力映像データを、色度成分を有する色空間のデータに変換する色空間変換部１００と、多数の光源及び所定のカラーチェッカを用いて検出されるそれぞれの光源のグレイ領域に基づき入力映像データのグレイ領域を抽出するグレイ領域抽出部２００と、入力映像データの色域内平均値及び中心値を用いて初期光源情報を抽出し、グレイ成分と色度成分との間に輝度差が存在することを用いて、抽出されたグレイ領域に流入された色度成分が排除されるように初期光源情報を調整する検出部３００と、調整された光源情報に基づき入力映像データのスケーリングに適用されるゲインを計算し、計算されたゲインを入力映像データに適用してホワイトバランスを調整するゲイン制御部６００を有する。【選択図】図１
2006229990.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサでセンシングされた入力映像データを、色度成分を有する色空間のデータに変換する色空間変換部と、
多数の光源及び所定のカラーチェッカを用いて検出されるそれぞれの光源のグレイ領域に基づき前記入力映像データのグレイ領域を抽出するグレイ領域抽出部と、
前記入力映像データの色域内平均値及び中心値を用いて初期光源情報を抽出し、グレイ成分と色度成分との間に輝度差が存在することを用いて前記抽出されたグレイ領域に流入された色度成分が排除されるように前記初期光源情報を調整する検出部と、
前記調整された光源情報に基づき前記入力映像データのスケーリングに適用されるゲインを計算し、計算されたゲインを前記入力映像データに適用してホワイトバランスを調整するゲイン制御部と、
を含むことを特徴とするホワイトバランスを自動調整する映像装置。
【請求項２】
前記ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する信号処理部をさらに備えることを特徴とする請求項１に記載のホワイトバランスを自動調整する映像装置。
【請求項３】
前記色空間は、
輝度(Ｙ)軸、Ｒ／（Ｒ＋Ｇ＋Ｂ）軸、Ｂ／（Ｒ＋Ｇ＋Ｂ）軸よりなる色空間、または、輝度(Ｙ)軸、Ｒ／Ｇ軸、Ｂ／Ｇ軸よりなる色空間であることを特徴とする請求項１または請求項２に記載のホワイトバランスを自動調整する映像装置。
【請求項４】
前記グレイ領域抽出部は、
前記多数の光源を用いて獲得されるグレイパッチのデータの平均値を用いて各光源のホワイトポイントを検出した後、各光源のホワイトポイントを中心にした所定範囲を各光源のグレイ領域として検出して各光源のグレイ領域をすべて含む領域を、前記入力映像データのグレイ領域として抽出することを特徴とする請求項１ないし請求項３のいずれか一項に記載のホワイトバランスを自動調整する映像装置。
【請求項５】
前記検出部は、
前記入力映像の色域内平均値及び中心値を用いて前記色域内平均値が反映された加重平均値を計算した後、前記加重平均値に基づき前記初期光源情報を抽出する光源情報抽出部と、
前記グレイ成分と前記色度成分との間に輝度差が存在することを用いて前記グレイ領域を低輝度の第１領域と高輝度の第２領域とに分割した後、前記第１領域の平均値及び前記第２領域の平均値に基づき前記初期光源情報を調整する調整部と、
を含むことを特徴とする請求項１ないし請求項４のいずれか一項に記載のホワイトバランスを自動調整する映像装置。
【請求項６】
前記光源情報抽出部は、
前記加重平均値を、各光源のホワイトポイントを連結した中心軸に垂直マッピングした後、各光源別加重平均値を各光源のホワイトポイントにマッピングしたときに、誤差を最小化できる動きに基づき前記マッピングされた中心軸上の加重平均値を補正して前記初期光源情報として抽出することを特徴とする請求項５に記載のホワイトバランスを自動調整する映像装置。
【請求項７】
前記加重平均値は次の式（１）により計算されることを特徴とする請求項５に記載のホワイトバランスを自動調整する映像装置。
【数１】
2006229990.tif 000017
ここで、ｒweightedは前記加重平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂweightedは前記加重平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値であり、αとβとはそれぞれ任意の定数であり、ｒaveは前記色域内平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂaveは前記色域内平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値を示し、ｒgmは前記色域の中心値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂgmは前記色域の中心値のＢ／（Ｒ＋Ｇ＋Ｂ）値を示す。
【請求項８】
前記調整部は、
前記グレイ領域での最大値と最小値の平均値及び前記グレイ領域の平均値を用いて決定されたスレショルド輝度値を基準に、前記グレイ領域を、前記第１領域と前記第２領域とに分割した後、前記第１領域の平均値と前記第２領域の平均値とを用いて前記初期光源情報を調整することを特徴とする請求項５に記載のホワイトバランスを自動調整する映像装置。
【請求項９】
前記スレショルド輝度値は次の式（２）により計算されることを特徴とする請求項８に記載のホワイトバランスを自動調整する映像装置。
【数２】
2006229990.tif 000018
ここで、Ｙthresholdは前記スレショルド輝度値、Ｙregionは前記第１領域の平均値と前記第２領域の平均値との平均値であり、Ｙaveは前記グレイ領域の平均値であり、αとβとはそれぞれ任意の定数を示す。
【請求項１０】
前記調整部は、
前記第１領域の平均値及び前記第２領域の平均値のうち、前記初期光源情報と最短距離を有する平均値を、調整された光源情報として検出することを特徴とする請求項８に記載のホワイトバランスを自動調整する映像装置。
【請求項１１】
前記調整された光源情報は次の式（３）により計算されることを特徴とする請求項１０に記載のホワイトバランスを自動調整する映像装置。
【数３】
2006229990.tif 000019
ここで、ｒwhtとｂwhtとはそれぞれ前記調整された光源情報のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒdownとｂdownとはそれぞれ前記第１領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒupとｂupとはそれぞれ前記第２領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値を示し、Distdownは前記初期光源情報と前記第１領域の平均値との距離を示し、Distupは前記初期光源情報と前記第２領域の平均値との距離を示す。
【請求項１２】
前記ゲインは次の式（４）により計算されることを特徴とする請求項１または請求項２に記載のホワイトバランスを自動調整する映像装置。
【数４】
2006229990.tif 000020
ここで、ＲgainとＢgainとはそれぞれレッド(Ｒ)に適用されるゲイン値、ブルー(Ｂ)に適用されるゲイン値であり、ｆscalingは前記入力映像をスケーリングするスケールファクタ(scaling factor)であり、ｒwhtとｂwhtとはそれぞれ前記調整された光源情報のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｇwhtは光源情報のＧ値である。
【請求項１３】
前記ゲイン制御部は、
前記スケールファクタの逆数と、前記計算に用いられるレッド(Ｒ)のゲイン値とを前記入力映像のレッド(Ｒ)に乗算すると共に、前記スケールファクタの逆数と、前記計算に用いられるブルー(Ｂ)のゲイン値とを前記入力映像のブルー(Ｂ)に乗算することにより、前記入力映像のホワイトバランスを調整することを特徴とする請求項１２に記載のホワイトバランスを自動調整する映像装置。
【請求項１４】
イメージセンサでセンシングされた入力映像データを、色度成分を有する色空間のデータに変換する段階と、
多数の光源及び所定のカラーチェッカを用いて検出されるそれぞれの光源のグレイ領域に基づき前記入力映像データのグレイ領域を抽出する段階と、
前記入力映像データの色域内平均値及び中心値を用いて初期光源情報を抽出し、グレイ成分と色度成分との間に輝度差が存在することを用いて前記抽出されたグレイ領域に流入された色度成分が排除されるように前記初期光源情報を調整して最終光源情報を抽出する段階と、
前記最終光源情報に基づき前記入力映像データのスケーリングに適用されるゲインを計算し、計算されたゲインを前記入力映像データに適用してホワイトバランスを調整する段階と、
前記ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する段階と、
を含むことを特徴とする映像装置のホワイトバランスを自動調整する方法。
【請求項１５】
前記ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する段階をさらに含むことを特徴とする請求項１４に記載の映像装置のホワイトバランスを自動調整する方法。
【請求項１６】
前記色空間は、
輝度(Ｙ)軸、Ｒ／（Ｒ＋Ｇ＋Ｂ）軸、Ｂ／（Ｒ＋Ｇ＋Ｂ）軸よりなる色空間、または、輝度(Ｙ)軸、Ｒ／Ｇ軸、Ｂ／Ｇ軸よりなる色空間であることを特徴とする請求項１４または請求項１５に記載の映像装置のホワイトバランスを自動調整する方法。
【請求項１７】
前記グレイ領域を抽出する段階は、
前記多数の光源を用いて獲得されるグレイパッチのデータの平均値を用いて各光源のホワイトポイントを検出する段階と、
各光源のホワイトポイントを中心にした所定範囲を各光源のグレイ領域として検出して各光源のグレイ領域をすべて含む領域を、前記入力映像データのグレイ領域として抽出する段階と、
を含むことを特徴とする請求項１４ないし請求項１６のいずれか一項に記載の映像装置のホワイトバランスを自動調整する方法。
【請求項１８】
前記最終光源情報を抽出する段階は、
前記入力映像の色域内平均値及び中心値を用いて前記色域内平均値が反映された加重平均値を計算した後、前記加重平均値に基づき前記初期光源情報を抽出する段階と、
前記グレイ成分と前記色度成分との間に輝度差が存在することを用いて前記グレイ領域を低輝度の第１領域と高輝度の第２領域とに分割した後、前記第１領域の平均値及び前記第２領域の平均値に基づき前記初期光源情報を調整する段階と、
を含むことを特徴とする請求項１４ないし請求項１７のいずれか一項に記載の映像装置のホワイトバランスを自動調整する方法。
【請求項１９】
前記初期光源情報を抽出する段階は、
前記加重平均値を、各光源のホワイトポイントを連結した中心軸に垂直マッピングした後、各光源別加重平均値を各光源のホワイトポイントにマッピングしたときに、誤差を最小化できる動きに基づき前記マッピングされた中心軸上の加重平均値を補正して前記初期光源情報として抽出することを特徴とする請求項１８に記載の映像装置のホワイトバランスを自動調整する方法。
【請求項２０】
前記加重平均値は次の式（１）により計算されることを特徴とする請求項１８に記載の映像装置のホワイトバランスを自動調整する方法。
【数５】
2006229990.tif 000021
ここで、ｒweightedは前記加重平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂweightedは前記加重平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値であり、αとβとはそれぞれ任意の定数であり、ｒaveは前記色域内平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂaveは前記色域内平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値を示し、ｒgmは前記色域の中心値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂgmは前記色域の中心値のＢ／（Ｒ＋Ｇ＋Ｂ）値を示す。
【請求項２１】
前記初期光源情報を調整する段階は、
前記グレイ領域での最大値と最小値の平均値及び前記グレイ領域の平均値を用いて決定されたスレショルド輝度値を基準に、前記グレイ領域を、前記第１領域と前記第２領域とに分割した後、前記第１領域の平均値と前記第２領域の平均値とを用いて前記初期光源情報を調整することを特徴とする請求項１８に記載の映像装置のホワイトバランスを自動調整する方法。
【請求項２２】
前記スレショルド輝度値は次の式（２）により計算されることを特徴とする請求項２１に記載の映像装置のホワイトバランスを自動調整する方法。
【数６】
2006229990.tif 000022
ここで、Ｙthresholdは前記スレショルド輝度値、Ｙregionは前記第１領域の平均値と前記第２領域の平均値との平均値であり、Ｙaveは前記グレイ領域の平均値であり、αとβとはそれぞれ任意の定数を示す。
【請求項２３】
前記初期光源情報を調整する段階は、
前記第１領域の平均値及び前記第２領域の平均値のうち、前記初期光源情報と最短距離を有する平均値を、調整された光源情報として検出することを特徴とする請求項２１に記載の映像装置のホワイトバランスを自動調整する方法。
【請求項２４】
前記調整された光源情報は次の式（３）により計算されることを特徴とする請求項２３に記載の映像装置のホワイトバランスを自動調整する方法。
【数７】
2006229990.tif 000023
ここで、ｒwhtとｂwhtとはそれぞれ前記調整された光源情報のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒdownとｂdownとはそれぞれ前記第１領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒupとｂupとはそれぞれ前記第２領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値を示し、Distdownは前記初期光源情報と前記第１領域の平均値との距離を示し、Distupは前記初期光源情報と前記第２領域の平均値との距離を示す。
【請求項２５】
前記ゲインは次の（４）により計算されることを特徴とする請求項１４または請求項１５に記載の映像装置のホワイトバランスを自動調整する方法。
【数８】
2006229990.tif 000024
ここで、ＲgainとＢgainとはそれぞれレッド(Ｒ)に適用されるゲイン値、ブルー(Ｂ)に適用されるゲイン値であり、ｆscalingは前記入力映像をスケーリングするスケールファクタ(scaling factor)であり、ｒwhtとｂwhtとはそれぞれ前記調整された光源情報のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｇwhtは光源情報のＧ値である。
【請求項２６】
前記ホワイトバランスを調整する段階は、
前記スケールファクタの逆数と、前記計算に用いられるレッド(Ｒ)のゲイン値とを前記入力映像のレッド(Ｒ)に乗算すると共に、前記スケールファクタの逆数と、前記計算に用いられるブルー(Ｂ)のゲイン値とを前記入力映像のブルー(Ｂ)に乗算することにより、前記入力映像のホワイトバランスを調整することを特徴とする請求項２５に記載の映像装置のホワイトバランスを自動調整する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色度色空間(chromatic color space)で抽出した映像装置のグレイ領域に流入される色度成分を最小化して正確な光源を検出した後、検出した光源情報を用いてホワイトバランスを自動で調整できるホワイトバランスを自動調整する映像装置及びそのホワイトバランス調整方法に関する。
【背景技術】
【０００２】
ホワイトバランス調整とは、入力された映像データにおいて、光源による物体色の変化が最大のホワイトを検出して、検出したホワイトのＲＧＢ構成比で色温度を判断した後、検出したホワイトを基準に色温度によるＲ(Red：レッド)とＢ(Blue：ブルー)を補正することによって全体色感をシフト(shift)させて色バランスを取る色補正機能を指す。
【０００３】
一般に、ディジタルスチルカメラ、ディジタルビデオカメラなどのような映像装置を使って同一な被写体を撮像する場合、室内の白色ランプ、蛍光照明灯、あるいは、太陽光下など様々な光源の条件によって、撮像された色の見かけは違ってくる。人間の目はそれぞれの光源に順応してホワイトをホワイトとして感じられるカラー恒常性(color constancy)を有する。一方、映像装置は、色温度(color temperature)が異なる光源に含まれたＲＧＢ成分を反映する。例えば、光源の色温度が高い場合は青色が含まれたホワイトを再現し、色温度が低い場合は赤色が含まれたホワイトを再現するようになる。
【０００４】
従って、光源により色温度が変わる場合に、ホワイトが白く見えるようにするために、ホワイトバランス調整が必要である。例えば、青色が含まれたホワイトに対してはＲのゲインを増加させ、かつ、Ｂのゲインを減少させるように調整する必要がり、また、赤色が含まれたホワイトに対してはＢのゲインを増加させ、かつ、Ｒのゲインを減少させるように調整する必要がある。
【０００５】
このようにホワイトバランスを正確に調整するためには、基準になるホワイトを正確に検出すべきである。このために、「撮像した画面に含まれる色成分全体を積分すればゼロ、すなわち無彩色に近い」というグレイワールド仮定(gray world assumption)に基づきホワイトバランスを調整することができる。特に、グレイワールド仮定下におけるホワイトバランス調整は、入力映像が多様な色を含んで色の分布が広い場合に効果的にホワイトを検出できる。グレイワールド仮定下でホワイトバランスを調整する場合、入力映像に支配的な色（カラー）が存在する場合や、抽出されるグレイ領域に色度成分が流入される場合にも正確な光源情報を獲得してホワイトバランスを正確に行なう必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、前記した従来の技術の問題点を解決するために案出されたもので、その目的は、色度色空間で抽出したグレイ領域に流入される色度成分を最小化し、入力映像に存在する支配的なカラーを排除して検出した光源情報を用いて正確にホワイトバランスを調整できるホワイトバランスを自動調整する映像装置及びそのホワイトバランス調整方法を提供するところにある。
【課題を解決するための手段】
【０００７】
前記した目的を達成するために、本発明に係るホワイトバランスを自動調整する映像装置は、イメージセンサでセンシングされた入力映像データを、色度成分を有する色空間のデータに変換する色空間変換部、多数の光源及び所定のカラーチェッカを用いて検出されるそれぞれの光源のグレイ領域に基づき前記入力映像データのグレイ領域を抽出するグレイ領域抽出部、入力映像データの色域内平均値及び中心値を用いて初期光源情報を抽出し、グレイ成分(gray component)と色度成分(chromatic component)との間に輝度差が存在することを用いて抽出されたグレイ領域に流入された色度成分が排除されるように初期光源情報を調整する検出部、および前記調整された光源情報に基づき前記入力映像データのスケーリングに適用されるゲインを計算し、計算されたゲインを前記入力映像データに適用してホワイトバランスを調整するゲイン制御部を含む。
【０００８】
ここで、前記ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する信号処理部をさらに備えることが好ましい。
【０００９】
この際、色空間は、輝度(Ｙ)軸、Ｒ／（Ｒ＋Ｇ＋Ｂ）軸、Ｂ／（Ｒ＋Ｇ＋Ｂ）軸よりなる色空間、または、輝度(Ｙ)軸、Ｒ／Ｇ軸、Ｂ／Ｇ軸よりなる色空間であることが好ましい。
【００１０】
望ましくは、グレイ領域抽出部は、多数の光源を用いて獲得されるグレイパッチのデータの平均値を用いて各光源のホワイトポイントを検出した後、各光源のホワイトポイントを中心にした所定範囲を各光源のグレイ領域として検出して、各光源のグレイ領域をすべて含む領域を、前記入力映像データのグレイ領域として抽出する。
【００１１】
また、望ましくは、検出部が、入力映像の色域内平均値及び中心値を用いて前記色域内平均値が反映された加重平均値を計算した後、加重平均値に基づき初期光源情報を抽出する光源情報抽出部、およびグレイ成分と色度成分との間に輝度差が存在することを用いてグレイ領域を低輝度の第１領域と高輝度の第２領域とに分割した後、第１領域の平均値及び第２領域の平均値に基づき初期光源情報を調整する調整部を含む。
【００１２】
また、望ましくは、光源情報抽出部が、加重平均値を、各光源のホワイトポイントを連結した中心軸に垂直マッピングした後、各光源別加重平均値を各光源のホワイトポイントにマッピングしたときに、誤差を最小化できる動きに基づき前記マッピングされた中心軸上の加重平均値を補正して初期光源情報として抽出する。
【００１３】
また、加重平均値は次の式（１）により計算されることが好ましい。
【数９】
2006229990.tif 000003
ここで、ｒweightedは加重平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂweightedは加重平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値であり、αとβとはそれぞれ任意の定数であり、ｒaveは色域内平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂaveは色域内平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値を示し、ｒgmは前記色域の中心値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂgmは前記色域の中心値のＢ／（Ｒ＋Ｇ＋Ｂ）値を示す。
【００１４】
また、望ましくは、調整部が、グレイ領域での最大値と最小値の平均値及びグレイ領域の平均値を用いて決定されたスレショルド輝度値を基準に、グレイ領域を、第１領域と第２領域とに分割した後、第１領域の平均値と第２領域の平均値とを用いて初期光源情報を調整する。
【００１５】
この際、スレショルド輝度値は次の式（２）により計算されることが好ましい。
【数１０】
2006229990.tif 000004
ここで、Ｙthresholdはスレショルド輝度値、Ｙregionは第１領域の平均値と第２領域の平均値との平均値であり、Ｙaveはグレイ領域の平均値であり、αとβとはそれぞれ任意の定数を示す。
【００１６】
また、望ましくは、調整部が、第１領域の平均値及び第２領域の平均値のうち、初期光源情報と最短距離を有する平均値を、調整された光源情報として検出する。
【００１７】
この際、調整された光源情報は次の式（３）により計算されることが好ましい。
【数１１】
2006229990.tif 000005
ここで、ｒwhtとｂwhtとはそれぞれ調整された光源情報のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒdownとｂdownとはそれぞれ第１領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒupとｂupとはそれぞれ第２領域の色域平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値を示し、Distdownは初期光源情報と第１領域の平均値との距離を示し、Distupは初期光源情報と第２領域の平均値との距離を示す。
【００１８】
そして、ゲインは次の式（４）により計算されることが好ましい。
【数１２】
2006229990.tif 000006
ここで、ＲgainとＢgainとはそれぞれレッド(Ｒ)に適用されるゲイン値、ブルー(Ｂ)に適用されるゲイン値であり、ｆscalingは入力映像をスケーリングするスケールファクタ(scaling factor)であり、ｒwhtとｂwhtとはそれぞれ調整された光源情報のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｇwhtは光源情報のＧ値である。
【００１９】
また、望ましくは、ゲイン制御部が、計算されるスケールファクタの逆数と、計算に用いられるレッド(Ｒ)のゲイン値とを入力映像のレッド(Ｒ)に乗算すると共に、スケールファクタの逆数と、計算に用いられるブルー(Ｂ)のゲイン値とを入力映像のブルー(Ｂ)に乗算することにより、入力映像のホワイトバランスを調整する。
【００２０】
また、前記した目的を達成するために、本発明に係る映像装置のホワイトバランスを自動調整する方法は、イメージセンサでセンシングされた入力映像データを、色度成分を有する色空間のデータに変換する段階、多数の光源及び所定のカラーチェッカを用いて検出されるそれぞれの光源のグレイ領域に基づき入力映像データのグレイ領域を抽出する段階、入力映像データの色域内平均値及び中心値を用いて光源情報を抽出し、グレイ成分と色度成分との間に輝度差が存在することを用いて、抽出されたグレイ領域に流入された色度成分が排除されるように初期光源情報を調整して最終光源情報を抽出する段階、および最終光源情報に基づき入力映像データのスケーリングに適用されるゲインを計算し、計算されたゲインを入力映像データに適用してホワイトバランスを調整する段階を含む。
【００２１】
ここで、ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する段階をさらに含むことが好ましい。
【００２２】
この際、記色空間は、輝度(Ｙ)軸、Ｒ／（Ｒ＋Ｇ＋Ｂ）軸、Ｂ／（Ｒ＋Ｇ＋Ｂ）軸よりなる色空間、または、輝度(Ｙ)軸、Ｒ／Ｇ軸、Ｂ／Ｇ軸よりなる色空間であることが好ましい。
【００２３】
望ましくは、グレイ領域を抽出する段階は、多数の光源を用いて獲得されるグレイパッチのデータの平均値を用いて各光源のホワイトポイントを検出する段階、および各光源のホワイトポイントを中心にした所定範囲を各光源のグレイ領域として検出して各光源のグレイ領域をすべて含む領域を、入力映像データのグレイ領域として抽出する段階を含む。
【００２４】
また、望ましくは、最終光源情報を抽出する段階が、入力映像の色域内平均値及び中心値を用いて、色域内平均値が反映された加重平均値を計算した後、加重平均値に基づき初期光源情報を抽出する段階、およびグレイ成分と色度成分との間に輝度差が存在することを用いてグレイ領域を低輝度の第１領域と高輝度の第２領域とに分割した後、第１領域の平均値及び第２領域の平均値に基づき初期光源情報を調整する段階を含む。
【００２５】
また、望ましくは、初期光源情報を抽出する段階が、加重平均値を、各光源のホワイトポイントを連結した中心軸に垂直マッピングした後、各光源別加重平均値を各光源のホワイトポイントにマッピングしたときに、誤差を最小化できる動きに基づきマッピングされた中心軸上の加重平均値を補正して初期光源情報として抽出する。
【００２６】
この際、加重平均値は次の式（１）により計算されることが好ましい。
【数１３】
2006229990.tif 000007
ここで、ｒweightedは加重平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂweightedは加重平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値であり、αとβとはそれぞれ任意の定数であり、ｒaveは色域内平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂaveは色域内平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値を示し、ｒgmは前記色域の中心値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂgmは前記色域の中心値のＢ／（Ｒ＋Ｇ＋Ｂ）値を示す。
【００２７】
また、望ましくは、初期光源情報を調整する段階が、グレイ領域での最大値と最小値の平均値及びグレイ領域の平均値を用いて決定されたスレショルド輝度値を基準に、グレイ領域を、第１領域と第２領域とに分割した後、第１領域の平均値と第２領域の平均値とを用いて初期光源情報を調整する。
【００２８】
この際、スレショルド輝度値は次の式（２）により計算されることが好ましい。
【数１４】
2006229990.tif 000008
ここで、Ｙthresholdはスレショルド輝度値、Ｙregionは第１領域の平均値と第２領域の平均値との平均値であり、Ｙaveはグレイ領域の平均値であり、αとβとはそれぞれ任意の定数を示す。
【００２９】
また、望ましくは、初期光源情報を調整する段階が、第１領域の平均値及び第２領域の平均値のうち、初期光源情報と最短距離を有する平均値を、調整された光源情報として検出する。
【００３０】
この際、調整された光源情報は次の式（３）により計算されることが好ましい。
【数１５】
2006229990.tif 000009
ここで、ｒwhtとｂwhtとはそれぞれ調整された光源情報のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒdownとｂdownとはそれぞれ第１領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒupとｂupとはそれぞれ第２領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値を示し、Distdownは初期光源情報と第１領域の平均値との距離を示し、Distupは初期光源情報と第２領域の平均値との距離を示す。
【００３１】
この際、ゲインは次の（４）により計算されることが好ましい。
【数１６】
2006229990.tif 000010
ここで、ＲgainとＢgainとはそれぞれレッド(Ｒ)に適用されるゲイン値、ブルー(Ｂ)に適用されるゲイン値であり、ｆscalingは入力映像をスケーリングするスケールファクタ(scaling factor)であり、ｒwhtとｂwhtとはそれぞれ調整された光源情報のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｇwhtは光源情報のＧ値である。
【００３２】
また、望ましくは、ホワイトバランスを調整する段階が、スケールファクタの逆数と、計算に用いられるレッド(Ｒ)のゲイン値とを入力映像のレッド(Ｒ)に乗算すると共に、スケールファクタの逆数と、計算に用いられるブルー(Ｂ)のゲイン値とを入力映像のブルー(Ｂ)に乗算することにより、入力映像のホワイトバランスを調整する。
【発明の効果】
【００３３】
以上述べたように、本発明によれば、グレイ領域に流入される色度成分の影響が最小化した光源情報を検出してホワイトバランスを調整することによってホワイトバランシングの正確度を高められる。そして、光源情報を検出するために使用されるグレイ領域検出時の色域中心値に基づき色域平均値を計算することによって、色域内で支配的な色の存在によって光源情報が不正確なものとして検出されることを防止できる。
【発明を実施するための最良の形態】
【００３４】
以下、添付した図面に基づき本発明の好適な実施形態を詳述する。
図１は本発明の映像装置の一実施形態に係るホワイトバランス調整装置のブロック図である。
【００３５】
図１に示すように、本実施形態に係る映像装置のホワイトバランス調整装置は、色空間変換部１００、グレイ領域抽出部(gray region detection unit)２００、検出部３００、ゲイン制御部６００を備える。ここで、検出部３００は、光源情報抽出部４００及び調整部５００を含む。
【００３６】
色空間変換部１００は、入力映像データを色度色空間のデータに変換する。実際のカラー成分（色成分）のうち光源変化の影響を多く反映するカラー（色）はグレイカラー（灰色）なので、グレイ領域を検出することが容易な色度色空間に入力映像データを変換する。すなわち、イメージセンサの出力値であるＣＣＤ出力ＲＧＢ値（ＣＣＤデータ）のホワイトバランスを調整するために、ＣＣＤ出力ＲＧＢ値をグレイ検出が容易な色度色空間のデータに変換する。
【００３７】
この際、色度色空間は、例えば、輝度軸、Ｒ／（Ｒ＋Ｇ＋Ｂ）軸、Ｂ／（Ｒ＋Ｇ＋Ｂ）軸よりなる色空間や、輝度軸、Ｒ／Ｇ軸、Ｂ／Ｇ軸よりなる色空間などである。これは、光源によりカラーキャスト(color cast)が発生する場合は、グレイカラーのＲＧＢ構成の成分間の比(ratio)が変わるので、ＣＣＤ出力ＲＧＢ値のＲＧＢ構成の成分間の比を座標軸として使用する色度色空間に入力映像データを変換するためである。
【００３８】
グレイ領域抽出部２００は、多数の光源を用いて獲得されるグレイパッチのデータに基づきグレイ領域範囲を抽出する。この際、多数の光源は、例えば、標準光源Ｄ６５、標準光源Ｄ５０、標準光源ＣＷＦ、標準光源Ａなどである。また、光源の数を増やすことによってグレイ領域抽出に対する正確度を高めることができる。
【００３９】
グレイ領域抽出部２００は、多数の光源に対するマクベスカラーチェッカ(Macbeth Color Checker)のグレイパッチのデータ(gray patch data)を獲得し、獲得したグレイパッチのデータの平均値を各光源のホワイトとして決定する。そして、各光源に対する分布特性を用いて各光源のホワイトポイントを中心に所定領域を各光源のグレイ領域と決定し、決定された各光源のグレイ領域をすべて含む領域を、入力映像のグレイ領域として抽出する。
【００４０】
光源情報抽出部４００は、入力映像の色域内の中心値と平均値とを用いて初期光源情報を抽出する。色域内の中心値と平均値とを計算し、平均値と中心値との差が大きい場合は、計算された平均値に加重値を付加した加重平均値を計算して、初期光源情報を抽出するために用いる。光源情報抽出部４００は、グレイ領域抽出部２００で決定された各光源のホワイトポイントを連結した中心軸である光軌跡(light locus)上に、計算された加重平均値を垂直マッピングし、垂直マッピングされた光軌跡上で最終的に初期光源情報を抽出する。
【００４１】
調整部５００は、グレイ領域抽出部２００で抽出されたグレイ領域に流入された色度成分が排除されるように初期光源情報を調整して最終光源情報を抽出する。この際、最終光源情報の抽出は、グレイ成分と色度成分との間には輝度差が存在することを用いて行う。すなわち、調整部５００は、スレショルド輝度値を基準にグレイ領域を分割した後、分割したグレイ領域におけるそれぞれの平均値を用いて最終ホワイトポイント(white point)を決定する。そして、調整部５００は、分割されたグレイ領域中で色度成分が含まれていない領域に該当する領域における平均値を調整された光源情報として抽出する。
【００４２】
さらに、調整部５００は、正確な光源情報を抽出するためにグレイ領域を細かく分割することができる。また、単一背景色を有する映像が入力された場合は、分割されたグレイ領域である細分グレイ領域を再び分割してハイライト領域を検出した後、ハイライト領域の平均値が光源情報調整時に反映されるようにして正確な光源情報を抽出することができる。
【００４３】
ゲイン制御部６００は、調整部５００で決定された最終光源情報を用いて、入力映像データを調整するゲインを計算した後、計算されたゲインをそれぞれの入力映像データに適用してホワイトバランスを調整する。なお、本実施形態に係る映像装置は、ホワイトバランス調整装置の後段（ゲイン制御部６００の後段）に、さらに、ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する信号処理部を備えることが好ましい。この場合には、この信号処理部は、ＣＲＴや液晶表示パネル等の表示部に表示可能な画像表示データを生成するための信号処理を行う。
【００４４】
図２Ａ及び図２Ｂは、図１に示した色空間変換部１００の動作を説明するための図である。図２Ａは、輝度が一定なＲ／Ｇ、Ｂ／Ｇ平面（横軸がＲ／Ｇを示すと共に縦軸がＢ／Ｇを示す平面）の色度色空間において、カラー成分のＲ、Ｇ、Ｂ成分を均一に増加させる場合の映像データの分布を示した図である。そして、図２Ｂは、輝度が一定なＲ／（Ｒ＋Ｇ＋Ｂ）、Ｂ／（Ｒ＋Ｇ＋Ｂ）平面（横軸がＲ／（Ｒ＋Ｇ＋Ｂ）を示すと共に縦軸がＢ／（Ｒ＋Ｇ＋Ｂ）を示す平面）の色度色空間において、カラー成分のＲ、Ｇ、Ｂ成分を均一に増加させる場合の映像データの分布を示した図である。
【００４５】
一般に、映像装置はＣＣＤ(Charge Coupled Device)データの全体を使用せず、ＣＣＤデータを一定間隔でサンプリングした後、サンプリングされたデータについて定められたウィンドウ内のＣＣＤデータの平均値に基づくパッチングデータ(patching data)を用いる。グレイ領域の平均値はホワイトポイントとして見られるので、映像装置は、このようなパッチングデータを用いて、光源情報すなわちホワイトポイントを抽出するために、まずグレイ領域を抽出する。
【００４６】
そして、光源により色かぶり（カラーキャスト：color cast)が発生する場合は、グレイカラーのＲＧＢ構成成分間の比が変わるので、図２Ａに示したようなＲ／Ｇ、Ｂ／Ｇ平面の色度色空間を使用することができる。
【００４７】
一方、各カラー成分に対してＲ、Ｇ、Ｂ成分を均一に増加させる場合、図２Ｂに示した色度色空間における映像データの分布は、図２Ａに示した色度色空間における映像データの分布に比べて相対的に均一(uniform)に分布しているので、図２Ｂに示した色度色空間は、グレイ領域抽出の正確度を高めることができる。従って、以下では、図２Ｂに示したように、輝度が一定のＲ／（Ｒ＋Ｇ＋Ｂ）、Ｂ／（Ｒ＋Ｇ＋Ｂ）平面の色度色空間を用いて光源に対する情報を抽出するものとする。
【００４８】
図３Ａないし図３Ｃは、図１のグレイ領域抽出部２００の動作を説明するための図である。図３Ａは、一般的な４つの光源の色域を示した図であり、図３Ｂは４つの光源のグレイ領域を示した図である。そして、図３Ｃは、検出される映像装置のグレイ領域に色度成分(chromatic component)が流入されることを説明するための図である。ここで、Ｇｒは映像装置のグレイ領域を示す。
【００４９】
図３Ａを参照すれば、それぞれの光源の色域はそれぞれの光源を使用して獲得されるカラーチェッカ(color checker)に対する映像データに基づき検出されうる。この際、４つの光源（Ｄ６５，Ｄ５０，ＣＷＦ，Ａ）は、「D65」、「D50」、「CWF」、そして「A」で示される。さらに、この４つの光源以外の他の光源を追加して入力映像の色域を抽出することもできる。
【００５０】
図３Ｂを参照すれば、図３Ａに示したように、４つの光源により検出された色域中でカラーチェッカのグレイパッチデータを用いて各光源に対するグレイ領域を検出することができる。各光源によって検出されるカラーチェッカのグレイパッチデータの平均値がホワイトポイントに該当する。従って、各光源のホワイトポイントを検出した後、グレイパッチ分布範囲(variance range)を、各光源のホワイトポイントを中心にして形成する。そして、４つの光源に対するグレイ分布範囲をすべて含むように、４本の直線を介して入力映像のグレイ領域をモデリングすることができる。
【００５１】
図３Ｃを参照すれば、図３Ａ及び図３Ｂに示したようなカラーチェッカの色域情報と４つの光源とを用いて設定された入力映像データのグレイ領域には、光源の変化による色度成分が流入されうる。すなわち、図３Ｂに示したように相異なる光源により入力映像データのグレイ領域が抽出されることによって、実際に入力映像に使われた光源のグレイ領域の分布範囲より広いグレイ領域が抽出され、シアン(cyan)のような色度成分がグレイ領域に流入されうる。図３Ｃに示すように、イエロー（Ｙ）及びシアン（Ｃ）系の色度成分は、ブルー（Ｂ）、レッド（Ｒ）、マゼンタ（Ｍ：magenta)、及びグリーン（Ｇ）系の色度成分に比べて相対的に大量にグレイ領域（Ｇｒ）に流入された。従って、色度成分が、グレイ領域（Ｇｒ）に流入されることを排除するために、抽出される光源情報を調整する必要がある。
【００５２】
図４は、図１の検出部３００のブロック図である。
図４を参照すれば、検出部３００は、光源情報抽出部４００と調整部５００とを備え、光源情報抽出部４００は、色域中心計算部(gamut center calculation unit)４１０、色域平均計算部４２０、及び加重平均値抽出部４３０を含む。
【００５３】
色域中心計算部４１０は、グレイ領域抽出部２００で計算された各光源のホワイトポイントを連結した中心軸である光軌跡をモデリングした後、モデリングした中心軸の延長線と、Ｒ／（Ｒ＋Ｇ＋Ｂ）軸、Ｂ／（Ｒ＋Ｇ＋Ｂ）軸とのそれぞれの交点を用いて検出された色域の２つの最外郭点に基づき色域中心値を計算する。
【００５４】
色域平均計算部４２０は、入力映像の色域で色域内平均値を計算する。
加重平均値抽出部４３０は、色域中心計算部４１０で計算された色域中心値と、色域平均計算部４２０で計算された色域内平均値とを用いて加重平均値を計算する。ここで、加重平均値は、計算された色域内平均値と色域中心値との差に基づき、色域内平均値に加重値を付与して計算された平均値である。
【００５５】
調整部５００は、光源情報抽出部４００で抽出された初期光源情報に相異なる光源を用いてグレイ領域を検出することによって、グレイ領域に流入される色度成分を排除し最終的な光源情報（最終光源情報）を決定する。
【００５６】
図５Ａないし図５Ｃは、図１の光源情報抽出部４００の動作を説明するための図である。図５Ａは色域中心計算部４１０の動作を説明するための図であり、図５Ｂは加重平均値抽出部４３０の動作を説明するための図である。そして、図５Ｃは加重平均値抽出部４３０で計算された加重平均値を用いて決定される初期光源情報を獲得する動作を説明するための図である。
【００５７】
図５Ａを参照すれば、色域中心計算部４１０は、色域中心を求めるために、まず入力映像の色域の２つの最外郭点を抽出する。そして、２つの最外郭点の平均値を計算することにより色域中心を求める。
【００５８】
詳しくは、色域中心計算部４１０は、色度色空間においてグレイ領域抽出部２００で計算された各光源のホワイトポイントを連結した中心軸を検出した後、中心軸の延長線と、Ｒ／（Ｒ＋Ｇ＋Ｂ）軸、Ｂ／（Ｒ＋Ｇ＋Ｂ）軸とのそれぞれの交点であるX0点とY0点とを検出する。X0点から中心軸との最小距離である点と、Y0点から中心軸との最小距離である点が、入力映像の色域の２つの最外郭点になる。すなわち、X0点からの中心軸との最小距離であるX1点と、Y0点から中心軸との最小距離であるY1点とがそれぞれ最外郭点になる。従って、色域中心値は、X1点とY1点の中間値であるgmになる。
【００５９】
図５Ｂを参照すれば、色域平均計算部４２０で計算された平均値と、色域中心計算部４１０で計算された色域の中心値とが相異なる場合は、色域内に支配的な色（カラー）が存在して「平均カラーが灰色になる」とのグレイワールド仮定に違反する場合がある。従って、計算された色域平均値が正確なホワイト情報を示さない可能性があるため、加重平均値抽出部４３０は、ホワイト情報計算時の色域中心値を反映した加重平均値を決定する。加重平均値は次の式（１）によって求められる。
【００６０】
【数１７】
2006229990.tif 000011
ここで、ｒweightedは加重平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂweightedは加重平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値であり、αとβとはそれぞれ任意の定数である。そして、ｒaveは色域内平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂaveは色域内平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒgmは色域中心値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂgmは色域中心値のＢ／（Ｒ＋Ｇ＋Ｂ）値を示す。
【００６１】
式（１）に示したように、加重平均値抽出部４３０は、加重平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値とＢ／（Ｒ＋Ｇ＋Ｂ）値を求めるときに、色域平均計算部４２０で計算された色域内平均値に、色域中心計算部４１０で計算された色域中心値を反映する。すなわち、加重平均値抽出部４３０は、色域内平均値が色域中心と差のある場合に、色域内平均値が色域中心値方向に移動されるように色域内平均値及び色域中心値に加重値を付与して、色域の支配的なカラーにより色域内平均値が一定方向に偏ることを防止することによって、正確な初期光源情報を抽出できるようにする。
【００６２】
例えば、図５Ｂのように色域内で支配的な色がイエローの場合には、色域平均計算部４２０で計算された色域内平均値は、グレイではなくイエローに、より近接した値を有するようになるため、計算された色域内平均値に色域中心値（gm）を反映させて色域内平均値を色域中心値の方向に移動させた加重平均値を抽出する。従って、色域内に均一に相異なるカラーが存在するのではなく、色域内に支配的なカラーが存在する場合に、その支配的なカラーのために不正確な初期光源情報が抽出されることを防止することができる。
【００６３】
図５Ｃを参照すれば、ａ点は加重平均値抽出部４３０で抽出された色域の加重平均を示し、ｂ点は色域の加重平均が各光源のホワイトポイントを連結した中心軸である光軌跡上にマッピングされた点を示し、ｃ点はマッピングされたｂ点を基準に調整（補正）された光源を示す。
【００６４】
初期光源情報の抽出は、以下の通りである。まず、加重平均値(ａ)を、各光源のホワイトポイントを連結した中心軸である光軌跡上に垂直にマッピングする。すなわち、加重平均値(ａ)を含む光軌跡に垂直である直線と、光軌跡との交点をマッピングポイントとして決定する。そして、各光源別加重平均値を光軌跡上の原光源(original illuminant)のホワイトポイントでマッピングする場合にエラーを最小化できるように、光軌跡にマッピングされた加重平均値を補正して式（５）に示す初期光源情報を抽出する。
【００６５】
【数１８】
2006229990.tif 000012
ここで、ｒinitial及びｂinitialは初期光源情報値、ｒweightedは加重平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、ｂweightedは加重平均値のＢ／（Ｒ＋Ｇ＋Ｂ）値である。そして、ｌ、ｍ、ｎ及びｌ’、ｍ’、ｎ’はそれぞれ任意の定数である。この際、光軌跡上にマッピングされた加重平均値を補正するために式（５）を適用するためには、光軌跡上にマッピングされた加重平均値近傍に位置する光源のホワイトポイント間の距離が所定値以下のときに適用することができる。
【００６６】
図６Ａ及び図６Ｂは、調整部５００の動作を説明するための図である。
図６Ａは、調整部５００が輝度によって初期光源情報を調整することを説明するための図である。そして、図６Ｂは、調整部５００が輝度を基準に分割された領域の平均値を用いて最終光源情報を抽出する動作を説明するための図である。
【００６７】
図６Ａを参照すれば、横軸（Ｃ）は色度(chromaticity)成分を示し、縦軸（Ｙ）は輝度(luminance)成分を示す。調整部５００は、グレイ領域内に流入された色度成分を除去した光源情報を抽出するため、輝度成分を基準にグレイ領域を分割した後、分割された領域別の色域平均値を用いて光源情報抽出部４００で抽出された初期光源情報を調整する。
【００６８】
この際、初期光源情報を輝度成分を基準に調整すると、図６Ａに示したように映像データの色度値が大きくなるほど、より色域境界の近くに位置するようになる。一方、映像データのグレイ値が大きくなるほど輝度軸(Ｙ)に近づくようになる。従って、このようなグレイ成分と色度成分との間では輝度値の差が発生するようになるため、輝度を基準にして、色度成分が含まれた領域と色度成分が含まない領域とにグレイ領域を分割して、色度成分が流入されたグレイ領域を用いて、抽出された初期光源情報を調整する。
【００６９】
例えば、図６Ａに示すように、Color2はColor1に比べて色度値が大きく、色域境界に対してより近い位置にある。すなわち、Color1はColor2に比べてグレイ値がより大きく、かつ、相対的に輝度軸の近くに位置する。この際、Color1とColor2との間には輝度差が発生し、発生される輝度差はｌ2−ｌ1になる。
【００７０】
図６Ｂを参照すれば、図６Ａを参照して前述したようにグレイ成分と色度成分との間には輝度値の差が発生するため、輝度値を基準にしてグレイ領域を、輝度値が小さい第１領域と輝度値が大きい第２領域とに分割する。ここで、横軸はＲ／（Ｒ＋Ｇ＋Ｂ）であり、縦軸は輝度Ｙである。図６ＢではＲ／（Ｒ＋Ｇ＋Ｂ）値に対する輝度を基準にグレイ領域を分割したことを示したが、Ｂ／（Ｒ＋Ｇ＋Ｂ）値に対する輝度を基準にグレイ領域を分割して調整された光源情報のＲ／（Ｒ＋Ｇ＋Ｂ）値とＢ／（Ｒ＋Ｇ＋Ｂ）値を求めることもできる。
【００７１】
この際、第１領域と第２領域とに分割する基準になるスレショルド輝度値は次の式（２）によって求められる。
【００７２】
【数１９】
2006229990.tif 000013
ここで、Ｙthresholdはグレイ領域分割の基準になるスレショルド輝度値、Ｙregionは分割されたグレイ領域におけるそれぞれの平均値の平均値であり、Ｙaveはグレイ領域の平均値である。そして、αとβとはそれぞれ任意の定数である。
【００７３】
式（２）に示したようにグレイ領域分割の基準になる輝度値は、分割されたグレイ領域における最大輝度値と最小輝度値の平均値の平均値(Ｙregion)と、グレイ領域全体の色域平均値(Ｙave)とにより求められる。
【００７４】
計算されたスレショルド輝度値Ｙthresholdを基準にして、輝度値が低い第１領域と、輝度値が高い第２領域とに分割することができる。そして、調整された光源情報は、第１領域の色域平均値であるホワイトポイントＷＰ＿downと、第２領域の色域平均値であるホワイトポイントＷＰ＿upとの平均値を用いて求められる。すなわち、調整部５００で調整された光源情報は次の式（３）によって求められる。
【００７５】
【数２０】
2006229990.tif 000014
ここで、ｒwhtとｂwhtとはそれぞれ調整された光源情報であるホワイトポイント値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値である。そして、ｒdownとｂdownとはそれぞれ第１領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒupとｂupとはそれぞれ第２領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値である。この際、DistupとDistdownとはそれぞれ初期光源情報として検出された点、すなわち図５Ｃにおけるｃ点と、第２領域の平均値との距離、および第１領域の平均値との距離をそれぞれ示す。また、初期光源情報値と第２領域の平均値との距離、および第１領域の平均値との距離は、それぞれ、次の式（６）によって表せる。
【００７６】
【数２１】
2006229990.tif 000015
ここで、DistupとDistdownとは、初期光源情報値と第２領域の平均値との距離、および第１領域の平均値との距離をそれぞれ示し、ｒinitialとｂinitialは光源情報抽出部４００で抽出された初期光源情報値である（前記した式（５）参照）。そして、ｒdownとｂdownとはそれぞれ第１領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｒupとｂupとはそれぞれ第２領域の平均値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値である。
【００７７】
調整された光源情報は、式（６）に示した第１領域の平均値と、第２領域の平均値と、のうち初期光源情報値との間の距離が最短となる平均値になる。
調整部５００は、計算された輝度スレショルド値を用いて、輝度値が高い第２領域と、輝度値が低い第１領域とに分割して、色度成分が流入された領域と色度成分が流入されない領域とにグレイ領域を分割した後、初期光源が含まれた領域のホワイトポイントを、調整された光源情報として決定する。従って、色度成分が流入されないグレイ領域におけるホワイトポイントを最終光源情報と決定することによって、グレイ領域に流入された色度成分で決定される初期光源情報から色度成分を排除した光源情報を抽出することができる。
【００７８】
一方、入力映像が単一背景色を有する映像の場合は、高輝度領域である第２領域にハイライト領域が含まれるので、調整部５００は、ハイライト領域の輝度値が反映して光源情報を調整して正確な光源情報を抽出できるようにする。
また、色度成分が含まれていない「分割されたグレイ領域」、すなわち初期光源情報と、分割された領域のホワイトポイントとが最小値を有する「分割されたグレイ領域」が、高輝度領域の場合は、調整部５００は、その「分割されたグレイ領域」が、ハイライト領域を含むことと判断することができる。
【００７９】
従って、調整部５００は、スレショルド輝度値により分割されたグレイ領域のうち高輝度領域である第２領域を、再び分割してハイライト領域を含む領域と含まない領域とに分割するようにしてもよい。ここで、ハイライト領域を含む領域は第２領域の輝度の上位２０％に該当する領域にすることができる。
【００８０】
この際、調整部５００は、ハイライト領域が入力映像自体により発生したか否かを先に判断して、ハイライト領域のホワイトポイントが、調整される光源情報に反映されるようにしてもよい。ハイライト領域が入力映像自体により発生したか否かは、例えば、ハイライト領域の平均輝度値が全体グレイ領域の平均輝度値に３．５をかけた（乗算した）輝度値より小さいか否かで判断する。
【００８１】
調整部５００は、ハイライト領域の平均輝度値が全体グレイ領域の平均輝度値に３．５をかけた輝度値より小さい場合は、ハイライト領域の平均値を、調整された光源情報にする。一方、ハイライト領域の平均輝度値が全体グレイ領域の平均輝度値に３．５をかけた輝度値より大きい場合は、第２領域の平均値を、調整された光源情報とする。
【００８２】
図７は、本発明の一実施形態による映像装置のホワイトバランス調整方法を説明するための流れ図である。
【００８３】
図７を参照すれば、まず、入力される映像データを、色度成分を有する色空間のデータに変換する(Ｓ９０１)。ここで、色空間としては、光源情報を抽出してホワイトバランスを調整するために、映像データを色度成分(chromatic component)と非色度成分(achromatic component)とに区分するような色空間を用いることができる。また、変換先の色空間では、光源によりカラーキャストが発生する場合、グレイカラーのＲＧＢ成分比が相違することになる性質を用いられるものとする。
【００８４】
このような色空間としては、輝度が一定のＲ／Ｇ軸とＢ／Ｇ軸よりなる平面や、輝度が一定のＲ／（Ｒ＋Ｇ＋Ｂ）軸とＢ／（Ｒ＋Ｇ＋Ｂ）軸よりなる平面を用いることができる。以下、入力映像データを、輝度が一定のＲ／（Ｒ＋Ｇ＋Ｂ）軸とＢ／（Ｒ＋Ｇ＋Ｂ）軸よりなる平面上に変換して抽出された光源情報を用いてホワイトバランスを調整する動作を説明する。
【００８５】
ここで、映像データは、イメージセンサでセンシングされたデータを一定間隔でサンプリングして獲得されたもので、サンプリングされたデータに対して定まったウィンドウ内データの平均値に基づくパッチングデータ(patching data)を用いることができる。
【００８６】
Ｓ９０１に続いて、変換された色空間で多数の光源とカラーチェッカ(color checker)を用いて映像装置のグレイ領域を抽出する(Ｓ９０３)。ここで、多数の光源は一般的に撮像装置で光源になるＤ６５、Ｄ５０、ＣＷＦ、Ａ光源を用いることができる。カラーチェッカはマクベスカラーチェッカ(Macbeth color checker)を用いることができる。
【００８７】
また、このグレイ領域抽出では、各光源を用いてマクベスカラーチェッカから獲得される映像データに基づき各光源のグレイ領域を抽出した後、抽出されたグレイ領域をすべて含む映像装置のグレイ領域を抽出する。詳しくはマクベスカラーチェッカのグレイパッチデータの平均値に基づき各光源のグレイ領域を抽出した後、抽出された各光源のグレイ領域をすべて含むように４本の直線を形成して映像装置のグレイ領域を抽出することができる。この際、光源の数を増やし、各光源のグレイ領域を含むように設定される４本の直線を用いる代りに、ルックアップテーブル等を用いた非線形的な方法を用いることによって映像装置のグレイ領域抽出の正確度を高めることもできる。
【００８８】
Ｓ９０３に続いて、入力映像の色域中心及び色域平均を用いて初期光源情報を抽出する(Ｓ９０５)。入力映像に支配的な色（カラー）が存在している場合に、「入力映像の平均はグレイ」とのグレイワールド仮定(gray world assumption)に違反されることを防止するために、入力映像の色域中心値が反映されるように計算する。入力映像に支配的なカラーが存在する場合は、入力映像の色域の平均値と入力映像の色域の中心値との差が大きいので、計算された色域内平均値及び色域の中心値に加重値を付与して加重平均値を計算する。
【００８９】
そして、計算された加重平均値を、Ｓ９０３段階で抽出されたグレイ領域において各光源のホワイトポイントを連結した中心軸に垂直マッピングする。すなわち、中心軸と垂直な直線のうち加重平均値を含む直線が中心軸と出会う点に加重平均値をマッピングする。そして、各光源別加重平均値を光軌跡上の原光源(original illuminant)のホワイトポイントにマッピングする場合にエラーを最小化できるように、光軌跡にマッピングされた加重平均値を補正して初期光源情報を抽出する。
【００９０】
次いで、色度成分が流入されたグレイ領域を用いて、抽出される初期光源情報を調整する(Ｓ９０７)。ここで、入力映像のグレイ領域は、多数の光源のグレイ領域を用いて抽出されるため、そのままでは、実際利用された光源のグレイ領域と違って、色度成分が流入された領域をグレイ領域として使って光源情報を抽出するようになる場合がある。従って、色度成分が流入されたグレイ領域を用いて抽出された初期光源情報を調整する必要がある。
【００９１】
初期光源情報を調整するために、グレイ成分と色度成分との間には輝度差があることが用いられる。図６Ａを参照して前記したように、色度軸（Ｃ）と輝度軸（Ｙ）よりなる平面上でグレイ成分と色度成分の輝度を比較してみると、色度と輝度が比例する領域ではグレイ成分が色度成分より輝度値が低く、色度と輝度が反比例する領域ではグレイ成分が色度成分より輝度値が大きい。
【００９２】
従って、グレイ成分と色度成分間には輝度差が存在するようになるため、スレショルド輝度値を基準にグレイ領域を分割した後、分割された領域の平均値のうち初期光源情報と近接した位置（最短距離）に存する平均値を調整された光源情報と決定する。スレショルド輝度値を基準にして、色度成分が含まれたグレイ領域と、色度成分が含まれていないグレイ領域とに分割した後、初期光源情報と近接した分割領域の平均値を光源情報と決定して、色度成分が含まれていないグレイ領域における平均値を、調整された光源情報として抽出する。従って、グレイ領域に流入される色度成分を排除した光源情報を抽出できるようになる。
【００９３】
一方、単一背景色を有する入力映像が入力される場合は、１つのスレショルド輝度値によりグレイ領域を２つの領域に分割することではなく、高輝度領域を再び分割してハイライト領域に該当する輝度平均値が反映されるように初期光源情報を調整することができる。
【００９４】
次いで、調整された光源情報を用いて、入力映像に適用されるゲインを計算する(Ｓ９０９)。光源による色温度変化を排除するために、抽出された光源情報を用いて光源による色温度変化を排除するために、各入力映像のＲＧＢデータをスケーリングする。入力映像のＲＧＢデータのスケールに用いられるゲインは次の式（４）によって求められる。
【００９５】
【数２２】
2006229990.tif 000016
ここで、ＲgainとＢgainとはそれぞれレッド(Ｒ)に適用されるゲイン値、ブルー(Ｂ)に適用されるゲイン値である。そして、ｆscalingは、入力映像をスケーリングするスケールファクタ(scaling factor)であり、ｒwhtとｂwhtとはそれぞれ調整された光源情報であるホワイトポイント値のＲ／（Ｒ＋Ｇ＋Ｂ）値、Ｂ／（Ｒ＋Ｇ＋Ｂ）値であり、ｇwhtは光源情報のＧ値である。
【００９６】
次いで、計算されたゲインを適用して映像データを調整する(Ｓ９１１)。式（４）を用いて計算されたＲgainとＢgainとをそれぞれＲとＢにかけて（乗算して）ホワイトバランスを調整することができる。すなわち、Ｒ’=Ｒ×Ｒgain／ｆscaling、Ｇ’=Ｇ、Ｂ’=Ｂ×Ｂgain／ｆscalingで各入力映像のホワイトバランスを調整することができる。なお、本実施形態に係る映像装置は、計算されたゲインを適用して映像データを調整した(Ｓ９１１)後に、さらに、ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する段階をさらに実行することが好ましい。この場合には、この信号処理する段階では、ＣＲＴや液晶表示パネル等の表示部に表示可能な画像表示データを生成するための信号処理を行う。
【００９７】
図８Ａ及び図８Ｂは、パッチに対するヒストグラムを示した図である。図８Ａは従来のホワイトバランス調整方法が適用されたパッチに対するヒストグラムを示した図であり、図８Ｂは本発明に係るホワイトバランス調整方法が適用されたパッチに対するヒストグラムを示した図である。
【００９８】
図８Ａ及び図８Ｂを参照すれば、従来のホワイトバランス調整方法が適用されたマクベスカラーチェッカに対する結果映像のグレイパッチに対するヒストグラム分布は、ホワイトバランス調整が正確にはなされない。すなわち、図８Ａに示したようにＲＧＢ成分間ヒストグラムの分布がずれている。一方、図８Ｂに示したように本発明に係るホワイトバランス調整方法が適用された映像はＲＧＢ成分間バランスが取れている。この違いは、例えば、例えば、D50のときに顕著である。
【００９９】
以上では本発明の望ましい実施形態について示しかつ説明したが、本発明は、前記した特定の実施例に限らず、特許請求の範囲で請求する本発明の要旨を逸脱せず当該発明の属する技術の分野における通常の知識を有する者ならば誰でも多様な変形実施が可能なことは勿論、そのような変形は特許請求の範囲の記載の範囲内にある。
【図面の簡単な説明】
【０１００】
【図１】本発明の映像装置の一実施形態に係るホワイトバランス調整装置のブロック図である。
【図２Ａ】図１に示した色空間変換部の動作を説明するための図である。
【図２Ｂ】図１に示した色空間変換部の動作を説明するための図である。
【図３Ａ】図１に示したグレイ領域抽出部の動作を説明するための図である。
【図３Ｂ】図１に示したグレイ領域抽出部の動作を説明するための図である。
【図３Ｃ】図１に示したグレイ領域抽出部の動作を説明するための図である。
【図４】図１に示した検出部のブロック図である。
【図５Ａ】図１に示した光源情報抽出部の動作を説明するための図である。
【図５Ｂ】図１に示した光源情報抽出部の動作を説明するための図である。
【図５Ｃ】図１に示した光源情報抽出部の動作を説明するための図である。
【図６Ａ】図１に示した調整部の動作を説明するための図である。
【図６Ｂ】図１に示した調整部の動作を説明するための図である。
【図７】本発明の映像装置の一実施形態に係る映像装置のホワイトバランス調整方法を説明するためのフローチャートである。
【図８Ａ】従来の方法でホワイトバランスを調整した後のグレイパッチに対するヒストグラムを示した図である。
【図８Ｂ】本発明に係る方法でホワイトバランスを調整した後のグレイパッチに対するヒストグラムを示した図である。
【符号の説明】
【０１０１】
１００  色空間変換部
２００  グレイ領域抽出部
３００  検出部
４００  光源情報抽出部
４１０  色域中心計算部
４２０  色域平均計算部
４３０  加重平均値抽出部
５００  調整部
６００  ゲイン制御部
【図１】
2006229990.tif 000025
【図２Ａ】
2006229990.tif 000026
【図２Ｂ】
2006229990.tif 000027
【図３Ａ】
2006229990.tif 000028
【図３Ｂ】
2006229990.tif 000029
【図３Ｃ】
2006229990.tif 000030
【図４】
2006229990.tif 000031
【図５Ａ】
2006229990.tif 000032
【図５Ｂ】
2006229990.tif 000033
【図５Ｃ】
2006229990.tif 000034
【図６Ａ】
2006229990.tif 000035
【図６Ｂ】
2006229990.tif 000036
【図７】
2006229990.tif 000037
【図８Ａ】
2006229990.tif 000038
【図８Ｂ】
2006229990.tif 000039