(57)【要約】【課題】撮影画面に対して、簡素な構成で精度良く、且つ撮影シーンの変化にも適切に追従してホワイトバランス調整を行うことができるホワイトバランス調整装置を提供する。【解決手段】撮像領域において、時間の経過に応じて評価枠の位置を順次移動させ、移動した評価枠内の撮像領域を評価領域として設定する評価領域移動手段６、評価領域毎に無彩色評価値を生成する無彩色評価値生成手段７、無彩色評価値を所定の判定値と比較して評価領域内の画像が無彩色であるか否かを判定する無彩色判定手段８、無彩色と判定された評価領域の色情報に基づいて照明光源の種類を推定する光源推定手段１０ｂ、推定された光源の種類に応じてホワイトバランス補正のパラメータを算出する色再現係数算出手段１０ｃ、等を備え、算出されたホワイトバランスのパラメータに基づいて、撮像領域の色情報にホワイトバランス調整を施す。【選択図】図１
2010177917.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の撮像領域に所定サイズの評価枠を設定し、該評価枠内の色情報に基づいて前記撮像領域のホワイトバランス調整を行うホワイトバランス調整装置であって、
前記撮像領域において、時間の経過に応じて前記評価枠の位置を順次移動させ、移動した評価枠内の撮像領域を評価領域として設定する評価領域移動手段と、
前記評価領域移動手段によって設定された前記評価領域毎に、該評価領域内の画像が無彩色に近いか否かを表す無彩色評価値を生成する無彩色評価値生成手段と、
前記無彩色評価値を所定の判定値と比較し、該評価領域内の画像が無彩色であるか否かを判定する無彩色判定手段と、
前記無彩色と判定された前記評価領域の色情報に基づいて前記撮像領域の照明光源の種類を推定する光源推定手段と、
前記光源推定手段によって推定された光源の種類に応じてホワイトバランス補正のパラメータを算出するホワイトバランスパラメータ算出手段と、
を備え、
前記ホワイトバランスパラメータ算出手段によって算出されたパラメータに基づいて、前記撮像領域の色情報にホワイトバランス調整を施す、
ことを特徴とするホワイトバランス調整装置。
【請求項２】
前記光源推定手段が、前記無彩色判定手段によって無彩色と判定された評価領域が複数の際には、前記複数の領域の色情報に基づいて前記照明光源の推定を行う、
ことを特徴とする請求項１に記載のホワイトバランス調整装置。
【請求項３】
前記光源推定手段が、前記無彩色判定手段によって無彩色と判定された複数の評価領域の中で最も無彩色に近い評価領域の色情報に基づいて前記照明光源の種類の推定を行う、
ことを特徴とする請求項１に記載のホワイトバランス調整装置。
【請求項４】
前記評価領域移動手段が、前記評価枠の移動を、乱数を使用した擬似ランダムに移動する設定、前記評価枠の分散率を均等に割り付ける設定、任意の点から所定の方向にシーケンシャルに移動する設定、任意の点から螺旋状に移動する設定の内の何れかを用いて前記評価枠の移動先の座標を設定する、
ことを特徴とする請求項１に記載のホワイトバランス調整装置。
【請求項５】
前記撮像領域の略全域に対応する前記無彩色評価値を得る第２の無彩色評価値生成手段と、
前記第２の無彩色評価値生成手段によって得られた前記無彩色評価値に基づいて、前記評価枠の移動量とサイズを設定する評価枠スケール設定手段とを備えている、
ことを特徴とする請求項１乃至請求項４の何れか記載のホワイトバランス調整装置。
【請求項６】
処理対象の撮像領域に所定サイズの評価枠を設定し、該評価枠内の色情報に基づいて前記撮像領域のホワイトバランス調整を行うホワイトバランス調整方法であって、
前記撮像領域において、時間の経過に応じて前記評価枠の位置を順次移動させ、移動した評価枠内の撮像領域を評価領域として設定する評価領域移動ステップと、
前記評価領域移動手段によって設定された前記評価領域毎に、該評価領域内の画像が無彩色に近いか否かを表す無彩色評価値を生成する無彩色評価値生成ステップと、
前記無彩色評価値を所定の判定値と比較し、該評価領域内の画像が無彩色であるか否かを判定する無彩色判定ステップと、
前記無彩色と判定された前記評価領域の色情報に基づいて前記撮像領域の照明光源の種類を推定する光源推定ステップと、
前記光源推定手段によって推定された光源の種類に応じてホワイトバランス補正のパラメータを算出するホワイトバランスパラメータ算出ステップと、
を用い、
前記ホワイトバランスパラメータ算出ステップによって算出されたパラメータに基づいて、前記撮像領域の色情報にホワイトバランス調整を施す、
ことを特徴とするホワイトバランス調整方法。
【請求項７】
処理対象の撮像領域に所定サイズの評価枠を設定し、該評価枠内の色情報に基づいて前記撮像領域のホワイトバランス調整を行うホワイトバランス調整プログラムであって、
前記撮像領域において、時間の経過に応じて前記評価枠の位置を順次移動させ、移動した評価枠内の撮像領域を評価領域として設定する評価領域移動ステップと、
前記評価領域移動手段によって設定された前記評価領域毎に、該評価領域内の画像が無彩色に近いか否かを表す無彩色評価値を生成する無彩色評価値生成ステップと、
前記無彩色評価値を所定の判定値と比較し、該評価領域内の画像が無彩色であるか否かを判定する無彩色判定ステップと、
前記無彩色と判定された前記評価領域の色情報に基づいて前記撮像領域の照明光源の種類を推定する光源推定ステップと、
前記光源推定手段によって推定された光源の種類に応じてホワイトバランス補正のパラメータを算出するホワイトバランスパラメータ算出ステップと、
前記ホワイトバランスパラメータ算出ステップによって算出されたパラメータに基づいて、前記撮像領域の色情報にホワイトバランス調整を施すホワイトバランス調整ステップと、
をコンピュータに実行させることを特徴とするホワイトバランス調整プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像データのホワイトバランス調整を行うホワイトバランス調整装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像装置において、固体撮像素子（例えば、ＣＣＤ：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  ＤｅｖｉｃｅやＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから得られた撮像画像に対して、適切なホワイトバランス制御を行う技術が知られている。
【０００３】
例えば、撮像装置において、ＣＣＤセンサが、２次元に配置された複数の光電変換素子によって構成され、各光電変換素子の表面には、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の何れかの色フィルタが設けられ、各色フィルタを透過した入射光に対応する電気信号を生成して出力する。そして、ＣＣＤの後段に設けられたカラー画像再現部において、ＣＣＤから出力された電気信号を用いてカラー画像を生成する。
【０００４】
そして、撮影の際に、撮像領域を介して太陽光や照明光などの反射光が写るため、撮影された画像には光源が持つ色温度の影響を受け、光源が持つ色温度が高いと本来の白色に青みが生じ、色温度が低いと赤みが生じる。そこで、どのような光源下でも適切な白色を再現するために、ホワイトバランス調整を行う技術が知られている。
【０００５】
例えば、デジタルカメラでは、撮影信号にもとづいて生成される色信号から無彩色に近い撮像領域を抽出し、抽出した撮像領域の色情報に基づく演算処理によってホワイトバランス調整のアンプのゲインを光源の色温度に適合させ、ホワイトバランス制御が行われる。
【０００６】
そして、この際、有彩色の領域が多い画面では、正確な光源推定が困難であるので、予め画面を複数の領域に分割し、分割された領域毎に判定して、無彩色に近い領域を抽出する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２７７８９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１のように、無彩色領域を抽出するために予め画面を複数の少量域に分割して小領域毎に無彩色に近いか否かを判定する技術によれば、無彩色領域の抽出精度や処理負荷が評価枠の大きさに依存する。その結果、高精度を得るためには、無彩色抽出の演算回路が大規模になったり処理時間が必要以上に増加したりして、利便性を損なう虞があった。また、小領域のサイズを一定にすると、抽出精度が必ずしも撮影シーンに適合せず、撮影シーンの変化によって、抽出精度が必要以上に高くなったり低くなったりする虞もあった。
【０００９】
そこで、本発明は、撮影画面に対して、簡素な構成で精度良くホワイトバランス調整を行うことができ、且つ、撮影シーンの変化にも適切に追従してホワイトバランス調整を行うことができるホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的を達成するためになされた請求項１に記載の発明は、処理対象の撮像領域に所定サイズの評価枠を設定し、該評価枠内の色情報に基づいて前記撮像領域のホワイトバランス調整を行うホワイトバランス調整装置であって、前記撮像領域において、時間の経過に応じて前記評価枠の位置を順次移動させ、移動した評価枠内の撮像領域を評価領域として設定する評価領域移動手段と、前記評価領域移動手段によって設定された前記評価領域毎に、該評価領域内の画像が無彩色に近いか否かを表す無彩色評価値を生成する無彩色評価値生成手段と、前記無彩色評価値を所定の判定値と比較し、該評価領域内の画像が無彩色であるか否かを判定する無彩色判定手段と、前記無彩色と判定された前記評価領域の色情報に基づいて前記撮像領域の照明光源の種類を推定する光源推定手段と、前記光源推定手段によって推定された光源の種類に応じてホワイトバランス補正のパラメータを算出するホワイトバランスパラメータ算出手段と、を備え、前記ホワイトバランスパラメータ算出手段によって算出されたパラメータに基づいて、前記撮像領域の色情報にホワイトバランス調整を施すことを特徴とする。
【００１１】
請求項１に記載のホワイトバランス調整装置によれば、時間の経過に応じて評価枠の位置を順次移動させて無彩色の評価領域を生成し、次いで、無彩色と判定された評価領域の色情報に基づいて撮像領域の照明光源の種類を推定し、次いで、推定された光源の種類に応じてホワイトバランス補正のパラメータを算出して撮像領域の色情報にホワイトバランス調整を施すことにより、撮像領域に対して、簡素な構成で精度良くホワイトバランス調整を行うことができ、且つ、撮影シーンの変化にも適切に追従してホワイトバランス調整を行うことができる。
【００１２】
また、請求項１に記載のホワイトバランス調整装置は、請求項２に記載の発明のように、前記光源推定手段が、前記無彩色判定手段によって無彩色と判定された評価領域が複数の際には、前記複数の領域の色情報に基づいて前記照明光源の種類の推定を行うことにより、精度良くホワイトバランス調整を行うことができる。
【００１３】
また、請求項１に記載のホワイトバランス調整装置は、請求項３に記載の発明のように、前記光源推定手段が、前記無彩色判定手段によって無彩色と判定された複数の評価領域の中で最も無彩色に近い評価領域の色情報に基づいて前記光源の種類の推定を行うことにより、光源種類の推定の際の演算処理の負荷を低減でき、生産性を向上できる。
【００１４】
次に、請求項４に記載の発明は、請求項１に記載のホワイトバランス調整装置において、前記評価領域移動手段が、乱数を使用した擬似ランダムとなる設定、前記評価枠の分散率を均等に割り付ける設定、任意の点から所定の方向にシーケンシャルに移動する設定、任意の点から螺旋状に移動する設定の内の何れかを用いて前記評価枠の移動座標を設定することを特徴とする。
【００１５】
請求項４に記載のホワイトバランス調整装置によれば、評価領域の移動手段が、乱数を使用した擬似ランダムとなる設定、評価枠の分散率を均等に割り付ける設定、任意の点から所定の方向にシーケンシャルに移動する設定、任意の点から螺旋状に移動する設定の内の何れかを用いて評価枠の移動先の座標を設定することにより、撮影シーンの状況に適応した評価領域の移動を設定できる。つまり、撮影画面において、無彩色領域の位置がランダムに発現する際には擬似ランダムによる設定とし、無彩色領域が画面一様に分散して発現する際には評価枠の分散率を均等に割り付ける設定又はシーケンシャルに移動する設定とし、無彩色領域の位置が例えば画面中央部や画面上部など特定の領域に多く発現する際にはその領域の中心を任意の点とする螺旋状に移動する設定を選択することが好ましい。また、評価枠を螺旋状に移動させる際、中心の任意の点から移動するに従って移動量を徐々に大きくするように設定することが好ましい。これにより、無彩色領域の中央に重み付けした無彩色評価値を得ることができる。
【００１６】
次に、請求項５に記載の発明は、請求項１乃至請求項４の何れか記載のホワイトバランス調整装置において、前記撮像領域の略全域に対応する前記無彩色評価値を得る第２の無彩色評価値生成手段と、前記第２の無彩色評価値生成手段によって得られた前記無彩色評価値に基づいて、前記評価枠の移動量とサイズを設定する評価枠スケール設定手段とを備えていることを特徴とする。
【００１７】
請求項５に記載のホワイトバランス調整装置によれば、撮像領域の略全域に対応する無彩色評価値に基づいて評価枠の移動量とサイズを設定する評価枠スケール設定手段とを備えていることにより、撮像領域の略全域における無彩色度合いに応じて、効率よく評価枠の移動量とサイズを設定できる。つまり、撮像領域の略全域に無彩色が多く含まれる際には、評価枠の移動量（所謂、移動毎のピッチである）を大きくすると共にサイズを大きくし、一方、無彩色が少ない際には、評価枠の移動量を小さくすると共にサイズを小さくするとよい。
【００１８】
次に、請求項６に記載の発明は、処理対象の撮像領域に所定サイズの評価枠を設定し、該評価枠内の色情報に基づいて前記撮像領域のホワイトバランス調整を行うホワイトバランス調整方法であって、前記撮像領域において、時間の経過に応じて前記評価枠の位置を順次移動させ、移動した評価枠内の撮像領域を評価領域として設定する評価領域移動ステップと、前記評価領域移動手段によって設定された前記評価領域毎に、該評価領域内の画像が無彩色に近いか否かを表す無彩色評価値を生成する無彩色評価値生成ステップと、前記無彩色評価値を所定の判定値と比較し、該評価領域内の画像が無彩色であるか否かを判定する無彩色判定ステップと、前記無彩色と判定された前記評価領域の色情報に基づいて撮像領域の照明光源の種類を推定する光源推定ステップと、前記光源推定手段によって推定された光源の種類に応じてホワイトバランス補正のパラメータを算出するホワイトバランスパラメータ算出ステップとを用い、前記ホワイトバランスパラメータ算出ステップによって算出されたパラメータに基づいて、前記撮像領域の色情報にホワイトバランス調整を施すことを特徴とする。
【００１９】
請求項６に記載のホワイトバランス調整方法によれば、時間の経過に応じて評価枠の位置を順次移動させて無彩色の評価領域を生成して無彩色と判定された評価領域の色情報に基づいて撮像領域の照明光源の種類を推定し、次いで、推定された光源の種類に応じてホワイトバランス補正のパラメータを算出して撮像領域の色情報にホワイトバランス調整を施すことにより、請求項１に記載の発明と同様に、撮影画面に対して、簡素な構成で精度良くホワイトバランス調整を行うことができ、且つ、撮影シーンの変化にも適切に追従してホワイトバランス調整を行うことができる。
【００２０】
次に、請求項７に記載の発明は、処理対象の撮像領域に所定サイズの評価枠を設定し、該評価枠内の色情報に基づいて前記撮像領域のホワイトバランス調整を行うホワイトバランス調整プログラムであって、前記撮像領域において、時間の経過に応じて前記評価枠の位置を順次移動させ、移動した評価枠内の撮像領域を評価領域として設定する評価領域移動ステップと、前記評価領域移動手段によって設定された前記評価領域毎に、該評価領域内の画像が無彩色に近いか否かを表す無彩色評価値を生成する無彩色評価値生成ステップと、前記無彩色評価値を所定の判定値と比較し、該評価領域内の画像が無彩色であるか否かを判定する無彩色判定ステップと、前記無彩色と判定された前記評価領域の色情報に基づいて撮像領域の照明光源の種類を推定する光源推定ステップと、前記光源推定手段によって推定された光源の種類に応じてホワイトバランス補正のパラメータを算出するホワイトバランスパラメータ算出ステップと、前記ホワイトバランスパラメータ算出ステップによって算出されたパラメータに基づいて、前記撮像領域の色情報にホワイトバランス調整を施すホワイトバランス調整ステップと、をコンピュータに実行させることを特徴とする。
【００２１】
請求項７に記載のホワイトバランス調整プログラムによれば、時間の経過に応じて評価枠の位置を順次移動させて無彩色の評価領域を生成して無彩色と判定された評価領域の色情報に基づいて撮像領域の照明光源の種類を推定し、次いで、推定された光源の種類に応じてホワイトバランス補正のパラメータを算出して撮像領域の色情報にホワイトバランス調整を施すことにより、請求項１に記載の発明と同様に、撮影画面に対して、簡素な構成で精度良くホワイトバランス調整を行うことができ、且つ、撮影シーンの変化にも適切に追従してホワイトバランス調整を行うことができる。
【発明の効果】
【００２２】
本発明のホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラムは、時間の経過に応じて評価枠の位置を順次移動させて無彩色の評価領域を生成して無彩色と判定された評価領域の色情報に基づいて撮像領域の照明光源の種類を推定し、次いで、推定された光源の種類に応じてホワイトバランス補正のパラメータを算出して撮像領域の色情報にホワイトバランス調整を施すことにより、請求項１に記載の発明と同様に、撮影画面に対して、簡素な構成で精度良くホワイトバランス調整を行うことができ、且つ、撮影シーンの変化にも適切に追従してホワイトバランス調整を行うことができる。
【００２３】
また、本発明のホワイトバランス調整装置は、光源推定手段が、無彩色判定手段によって無彩色と判定された評価領域が複数の際には、前記複数の領域の色情報に基づいて前記光源推定を行ことにより精度良くホワイトバランス調整を行うことができ、また、無彩色と判定された複数の評価領域の中で最も無彩色に近い評価領域の色情報に基づいて光源推定を行うことにより光源種類の推定の際の演算処理の負荷を低減でき、簡素な構成で生産性を向上できる。
【００２４】
また、本発明のホワイトバランス調整装置は、評価領域移動手段が、乱数を使用した擬似ランダムとなる設定、前記評価枠の分散率を均等に割り付ける設定、任意の点から所定の方向にシーケンシャルに移動する設定、任意の点から螺旋状に移動する設定、の内の何れかを用いて前記評価枠の移動先の座標を設定することにより、撮影シーンに適応した評価領域の移動を設定できる。
【００２５】
また、本発明のホワイトバランス調整装置は、撮像領域の略全域に対応する無彩色評価値に基づいて評価枠の移動量とサイズを設定する評価枠スケール設定手段とを備えていることにより、撮像領域の略全域における無彩色度に応じて、効率よく評価枠の移動量とサイズを設定できる。
【図面の簡単な説明】
【００２６】
【図１】図１は、本実施形態のホワイトバランス調整装置の構成を表したブロック図である。
【図２】図２は、同実施形態の評価枠の移動モードを説明する図である。
【図３】図３は、同実施形態のホワイトバランス調整方法及びホワイトバランス調整プログラムの処理手順を表したブロック図である。
【図４】図４は、同実施形態の撮像装置から出力されたベイヤー配列の画素配置図である。
【図５】図５は、同実施形態の無彩色領域抽出の説明図である。
【図６】図６は、同実施形態における、（ａ）が基準光源格納手段１０ｅに格納されている情報をｘｙ色度座標上に表したグラフ、（ｂ）がブロック積算手段１０ａの評価領域分割の説明図、（ｃ）が色補正部１４の色再現処理の説明図である。
【図７】図７は、同実施形態の色再現係数算出手段１０ｃにおける、ｘｙ色度座標からホワイトバランス係数と色再現係数とを算出する説明図である。
【発明を実施するための形態】
【００２７】
次に、本発明のホワイトバランス調整装置及びホワイトバランス調整方法及びホワイトバランス調整プログラムの一実施例が適用それた画像処理装置を、図面に基づいて説明する。
【００２８】
図１に表したように、画像処理装置１００は、撮像装置１で撮影された画像データを、前処理部２を介して取得してホワイトバランス調整を行うともに、画素毎の色再現を行う。
【００２９】
撮像装置１は、複数の光電変換素子が行及び列方向に格子状に配列されて受光量に応じたアナログ電気信号を出力するＣＣＤ１ａと、ＣＣＤ１ａから出力されたアナログ電気信号をデジタル信号に量子化して出力する（以下、この出力値を画素値ともいう）ＡＤ変換器１ｂとを備えている。なお、撮像装置１は、ＣＣＤ１ａ及びＡＤ変換器１ｂに代えて、ＣＭＯＳセンサで構成してもよい。
【００３０】
ＣＣＤ１ａは、図４に表したように、受光面に光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３色のＢａｙｅｒ配列からなるカラーフィルタが設けられており、各色のフィルタ部を通過した光量を電気信号に変換して出力する。図４において、Ｒ画素の横方向に位置するＧの画素をＧｒ、Ｂの横方向に位置するＧの画素をＧｂと表している。
【００３１】
前処理部（ＩＦＰ：Ｉｍａｇｅ  Ｆｒｏｎｔ  Ｐｒｏｓｅｓｓｏｒ）２は、撮像装置１から出力されたデジタル画像信号の夫々につき、暗電流分のオフセットをおこなう。詳しくは、光量をＣＣＤ１ａに入射させないタイミングで、Ａ／Ｄ変換器１ｂから出力するデジタル画像信号を取得し、この取得したデジタル画像信号を暗電流のオフセット値としている。
【００３２】
また、前処理部２は、全画素範囲における撮像素子１８の有効画素範囲を設定する。詳しくは、全画素領域おいて出力される画像の明暗や歪みの度合いを検出し、許容範囲の領域を有効画素範囲としている。また、この際、有効画素範囲は、表示装置（モニターやテレビジョン受像機）の画面に対応する矩形状にしている。
【００３３】
次に、画像処理装置１００は、画素信号に基づいて、撮像領域における無彩色領域部を選択する無彩色領域選択手段３、無彩色領域選択手段３を介して取得した無彩色領域の色情報に基づいて画素信号のホワイトバランス補正のパラメータ及びカラー色の色再現係数を生成する色再現係数設定手段１０、色再現係数設定手段で生成されたホワイトバランス補正のパラメータに基づいて画素信号のホワイトバランス補正を行うホワイトバランス処理部１１、画像データを所定の色合いに合わせる色再現処理部１２、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｓｅｓｓｉｎｇ  Ｕｎｉｔ）１７、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１８、バッフア（Ｂｕｆｆｅｒ）１９等によって構成され、ＣＰＵ１７がＲＯＭ１８に格納されたプログラムに従って当該画像処理装置を制御する。
【００３４】
無彩色領域選択手段３は、撮像領域の略全域の色情報に基づいて無彩色に近いか否か表す無彩評価値を生成する全撮像領域評価値生成手段４、全撮像領域評価値生成手段４で生成された評価値に基づいて評価枠の移動量とサイズを設定する評価枠スケール生成手段５、評価枠スケール生成手段５で設定された評価枠の移動量とサイズに基づいて評価枠の位置を順次移動させて評価枠内の撮像領域を評価領域として設定する評価領域移動手段６、評価領域移動手段６によって設定された評価領域毎に評価領域内の画像が無彩色に近いか否かを表す無彩色評価値を生成する評価領域評価値生成手段７、評価領域評価値生成手段７で生成された無彩色評価値を所定の判定値と比較して評価領域の画像が無彩色であるか否かを判定する無彩色判定手段８、無彩色判定手段８の判定結果に基づいてホワイトバランスの調整値及びカラー色の色再現係数を生成するための評価領域を設定する色再現演算領域設定手段９等によって構成されている。
【００３５】
なお、本発明の評価領域移動手段が評価領域移動手段６によってその機能が発現され、本発明の無彩色評価値生成手段が評価領域評価値生成手段７によってその機能が発現され、本発明の無彩色判定手段が無彩色判定手段８によってその機能が発現される。
【００３６】
詳しくは、全撮像領域評価値生成手段４は、図５に表したように色信号の差Ｒ−Ｇ及びＢ−Ｇに基づいて、画面全体が無彩色に近いか否かの評価値を生成する。ここで適用される画面全体とは、前処理部２で設定された有効画素範囲である。
【００３７】
予め、図５（ａ）に表したように、Ｒ−Ｇ及びＢ−Ｇを直交軸とする色空間座標において、無彩色の許容領域が設定されている。そして、全撮像領域評価値生成手段４は、図５（ｂ）に表したベイヤー画像の各色信号を走査して評価値を生成する。
【００３８】
次に、図５（ｃ）に表したように、全撮像領域評価値生成手段４は、閾値（ＲＧｍｉｎ、ＲＧｍａｘ、ＢＧｍｉｎ、ＢＧｍａｘ）を用いて、Ｇｒ、Ｒ、Ｂ、Ｇｂの４画素毎に無彩色の許容範囲に有るか否かを判定して、画素毎の判定結果を全撮像領域で積算し、その積算結果に基づいて無彩色評価値を生成する。図５（ｃ）において、ＧがＧｒの画素値とＧｂの画素値の平均値、Ｒ／ＧがＲの画素値とＧの画素値の差、Ｂ／ＧがＢの画素値とＧの画素値の差である。ＲＧｍｉｎがＲ／Ｇの閾値の下限値、ＲＧｍａｘがＲ／Ｇの閾値の上限値、ＢＧｍｉｎがＢ／Ｇの閾値の下限値、ＢＧｍａｘがＢ／Ｇの閾値の上限値である。
【００３９】
そして、図５（ｃ）において、Ｒ／Ｇ及びＢ／Ｇの両者が閾値を満足する際に、Ｇｒ、Ｒ、Ｂ、Ｇｂの４画素からなる色信号が無彩色と判定されて、全画面において無彩色と判定された色信号の数が積算され、その積算値を評価値とする。なお、本発明の第２の無彩色評価値生成手段は、全撮像領域評価値生成手段４によってその機能が発現される。
【００４０】
そして、評価枠スケール生成手段５は、全撮像領域評価値生成手段４で生成された積算値（評価値）に対応付けて、評価枠の移動量とサイズを設定する。この際、評価枠の移動量とサイズが積算値に対応付けられて予めバッファ１９に格納されている。
【００４１】
評価領域移動手段６は、評価枠を時間の経過に応じて、撮像領域における所定の座標に順次移動させる。この際、図２に表したように、評価枠の移動モードが予め複数設定されてバッファ１９に格納されており、評価領域移動手段６が、オペレータの指令信号に基づいて、何れかの移動モードを設定する。
【００４２】
図２において、（ａ）が乱数を使用した擬似ランダムに移動する設定、（ｂ）が評価枠の分散率を均等に割り付ける設定及び任意の点から所定の方向にシーケンシャルに移動する設定、（ｃ）が任意の点から螺旋状に移動する設定である。
【００４３】
これにより、オペレータが、撮影シーンの状況に適応した評価領域の移動モードを設定できる。つまり、撮影画面において、無彩色領域の位置がランダムに発現する際には擬似ランダムによる設定（ａ）とし、無彩色領域が画面一様に分散して発現する際には評価枠の分散率を均等に割り付ける設定又はシーケンシャルに移動する設定（ｂ）とし、無彩色領域の位置が例えば画面中央部や画面上部など区分できる領域に発現する際にはその領域の中心を任意の点とする螺旋状に移動する設定（ｃ）を選択すればよい。また、評価枠を螺旋状に移動させる際、中心の任意の点から移動するに従って移動ピッチを徐々に大きくするように設定することが好ましい。
【００４４】
評価領域評価値生成手段７は、評価領域移動手段６によって設定された各評価領域において、評価領域内の画像が無彩色に近いか否かを表す無彩色評価値を生成する。詳しくは、図５（ｃ）に表したように、許容領域内に存在する閾値（ＲＧｍｉｎ、ＲＧｍａｘ、ＢＧｍｉｎ、ＢＧｍａｘを用いて、Ｇｒ、Ｒ、Ｂ、Ｇｂの４画素毎に無彩色の許容範囲に有るか否かを判定して、画素毎の判定結果を全撮像領域で積算し、その積算結果に基づいて無彩色評価値を生成する。
【００４５】
そして、図５（ｃ）において、Ｒ／Ｇ及びＢ／Ｇの両者が閾値を満足する際に、Ｇｒ、Ｒ、Ｂ、Ｇｂの４画素からなる色信号が無彩色と判定されて、評価領域において無彩色と判定された色信号の数が積算され、その積算値を評価値とする。なお、本発明の無彩色評価値生成手段は、評価領域評価値生成手段７によってその機能が発現される。
【００４６】
無彩色判定手段８は、評価領域評価値生成手段７で生成された積算値（無彩色評価値）を所定の判定値と比較して評価領域の画像が無彩色であるか否かを更に判定する。所定の判定値は、予め定められてバッファ１９に格納されている。
【００４７】
色再現演算領域設定手段９は、無彩色判定手段８の判定結果において無彩色と判定された複数の評価領域を評価枠の座標位置に対応付けて取得し、後述の色再現係数算出の際の領域として設定する。
【００４８】
次に、色再現係数設定手段１０は、ブロック積算手段１０ａ、光源推定手段１０ｂ、色再現係数算出手段１０ｃ、基準光源選択手段１０ｄ、基準光源データ格納手段１０ｅ等によって構成されている。
【００４９】
ブロック積算手段１０ａは、色再現演算領域設定手段９から供給された評価領域を、図６（ｂ）に表したようにＭ×Ｎの複数のエリアに分割し、ＲＧＢ色毎に累積加算を行ってΣＲ、ΣＧ、ΣＢを求め、光源推定手段１０ｂに送る。
【００５０】
光源推定手段１０ｂは、ブロック演算手段１０ａから入力されたΣＲ、ΣＧ、ΣＢをブロック毎に、三行三列からなるＸＹＺ変換マトリクス演算によりＸＹＺ信号に変換し、得られたＸＹＺ信号を、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）の式に代入してｘｙ色度座標を求め、ＲＧＢ色信号を二次元空間にｘｙ色度座標として変換する。
【００５１】
この際、ＸＹＺ変換マトリクス演算に用いる３行３列のマトリクス係数は、基準光源下での無彩色の撮像領域を撮像したときの撮像装置１から供給されるＲＧＢ色信号の値と、無彩色の撮像領域について色彩色度計などの計測機を用いて実測した色度座標に対応付けられるように、予めバッファ１９に格納されている。ＲＧＢ色信号の値とｘｙ色度座標との対応行けは、例えば太陽光、白色蛍光灯、白熱電球等の複数の光源データを元に対応的選択手法を用いて算出する。
【００５２】
また、光源推定手段１０ｂは、算出されたｘｙ色度座標を、所定の光源マップに対応付けてｘｙ色度座標が図６（ａ）に表した光源選択エリア内であるか否かを判定し、光源選択エリア内である際には、そのｘｙ色度座標を累積加算して平均値を算出し、基準光源選択手段１０ｄ及び色再現係数算出手段１０ｃに出力する。なお、本発明の光源推定手段は、光源推定手段１０ｂによってその機能が発現される。
【００５３】
基準光源選択手段１０ｄは、基準光源演算用の係数が予め設定されて格納されている基準光源データ格納手段１０ｅを参照して、光源推定座標の補間計算に用いる３点の補間基準座標を求める。
【００５４】
基準光源データ格納手段１０ｅには、図６（ａ）に表したように、複数の基準光源に対応させたｘｙ色度座標、ホワイトバランスゲイン係数Ｋｒ、Ｋｇ、Ｋｂ、３行３列からなる色再現マトリクスが予め作成され、複数格納されている。図６（ａ）中の×印の座標は、基準光源の色度座標を表している。
【００５５】
また、基準光源データ格納手段１０ｅに格納されている複数のホワイトバランスゲインＫｒ、Ｋｇ、Ｋｂ、３行３列からなる色再現マトリクス等は、撮像装置１を用いて複数の基準光源下で撮影した実写データをもとに調整された値である。
【００５６】
図７（ａ）は、基準光源選択手段１０ｄにおける光源推定の補間算出の方法を模式的に表している。図７（ａ）に表したように、補間の際の基準座標を基点とする複数の三角形ａ〜ｋが光源選択エリアとしてメッシュ状に形成されている。
【００５７】
そして、基準光源選択手段１０ｄは、光源推定手段１０ｂで生成された光源推定座標であるｘｙ座標が三角形ａ〜ｋの何れに存在するか否かを判定し、その判定された三角形の基点となる３つの補間基準座標を色再現係数算出手段１０ｃに出力する。
【００５８】
色再現係数算出手段１０ｃは、補間基準座標毎に設定されたホワイトバランスゲイン係数及び色再現マトリクス係数と、補間座標に対する光源推定座標とを関連つけて、光源推定座標に対応するホワイトバランスゲイン係数と色再現マトリクス係数（図６（ｃ））を設定し、ホワイトバランス処理部１１及び色補正部１４に出力する。
【００５９】
図７（ｂ）は、色再現係数算出手段１０ｃにおいて、基準光源選択手段１０ｄから入力された３点の補間基準座標のデータから、光源推定座標のホワイトバランス係数と色再現マトリクス係数とを算出する説明図である。
【００６０】
図７（ｂ）において、Ｐ、Ａ、Ｂを頂点とする三角形が光源選択エリアであって、Ｐ、Ａ、Ｂが基準光源選択手段１０ｄで選択された３点の基準補間座標のデータを表している。
【００６１】
そして、光源推定座標Ｔに対応する三点の補間基準座標（Ｐ、Ａ、Ｂ）のデータの混合率を算出する。光源推定座標Ｔ１に対するＰ点の補間データの混合率を算出する場合は、まず、Ｐ点からＴ１を通る直線を引き、Ｐ点の対辺であるＡ−Ｂ間の直線の交点をｐとする。そして、Ｐ−ｐ間の長さに対するＴ−ｐ間の長さの比率を求めることにより、Ｔにおける基準光源データの混合率、ｒａｔｅＰ、ｒａｔｅＡ、ｒａｔｅＢが、それぞれ２０％、５０％、３０％と言った具合に算出される。つまり、補間基準座標（Ｐ，Ａ，Ｂ）の対辺の平行線上が同一の混合率となる。
【００６２】
ｒａｔｅＰ＋ｒａｔｅＡ＋ｒａｔｅＢ＝１００％であるので、実際の計算に際しては、２点の混合率を求めればよい。
【００６３】
そして、色再現係数算出手段１０ｃは、光源推定座標Ｔのホワイトバランスゲイン係数及び色再現マトリクス係数を、算出された基準光源データの混合率を用いて算出する。つまり、Ｐ、Ａ、Ｂの夫々に予め設定されているホワイトバランス係数及び色再現マトリクス係数を用いて、光源推定座標Ｔのホワイトバランス係数（所謂、本発明のホワイトバランス補正のパラメータである）及び色再現マトリクス係数を補間算出する。
【００６４】
なお、本実施例では、補間算出に用いる補間基準座標として３点を用い、これらの３点で構成される三角形を光源選択エリアとして用いたが、３点に限らず、例えば４点で構成される四角形、５点で構成される五角形など、補間基準座標の数は、限定されない。また、補間算出の際に、基準光源推定座標の位置情報に基づいて補間データ混合率を算出し、この混合率に基づいて、ホワイトバランスゲイン係数、色再現マトリクス係数を算出しているが、補間の仕方はこれに限定されるものでない。
【００６５】
色再現係数算出手段１０ｃから、ホワイトバランスゲイン係数がホワイトバランス処理部１１に入力され、三行三列の色再現マトリックス係数が色補正部１４に入力される。
【００６６】
次に、ホワイトバランス処理部１１は、前処理部２を介して撮像装置１から入力されたＲＧＢデジタル画像信号のレベルを、ホワイトバランスゲイン係数を用いて調整し、白い色が白く視られるように、デジタル画像信号を補正する。つまり、ホワイトバランス処理部１１は、光源の種類に係らず、無彩色の撮像領域を撮像した際に、Ｒ＝Ｇ＝Ｂになるように、ＲＧＢの信号レベルを補正する。
【００６７】
次に、色再現処理部１２は、色補間部１３と、色補正部１４と、γ変換部１５と、ＹＵＶ変換部１６とによって構成されている。
【００６８】
上述したように、撮像装置１が画素に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３色のＢａｙｅｒ配列からなるカラーフィルタを備え、各画素から出力する信号が各色のフィルタを通過した１色分の情報しかもたないので、色補間部１３において、各画素の信号を補間演算することによって、１画素ごとのＲＧＢ３色の成分を決定し、画像データを生成する（デモザイク処理ともいう）。
【００６９】
色補正部１４は、色再現係数算出手段１０ｃで算出された色再現マトリクス係数を用いてホワイトバランス処理部１１及び色補間部１３を介して入力されたＲＧＢデジタル画像信号を所定の信号レベルに補正する。詳しくは、図６（ｃ）に表した行列式の演算を行い、ＲＧＢのデジタル画像信号をＲ´、Ｇ´、Ｂ´の画像信号に変換してカラー画像を補正する。
【００７０】
次に、γ変換部１５は、撮像装置１から出力されたデジタル画像信号が所定の階調（例えば、２８＝２５６階調である。）をもたないデータであるので、色補正部１４を介して入力されたデジタル画像信号の階調変換を行う。
【００７１】
この際、画像データについて予め定めた適正露出量を基準とし、階調変換のテーブルが、バッファ１９に記憶されている。
【００７２】
さらに、γ変換部１５は、階調変換されたデジタル画像信号を、画像データが表示される表示器の色表示特性に対応付けてγ変換を行う。
【００７３】
ＹＵＶ変換部１６は、γ変換部１５から出力された画像信号を、標準的なカラー画像の色空間に変換し、カラー画像の画素毎のＹＵＶのカラー情報を生成する（Ｙは輝度情報、Ｕ、Ｖは色情報である。
【００７４】
次に、図３を用いて、第１の実施形態におけるホワイトバランス調整方法及びホワイトバランス調整プログラムの手順を説明する。この手順は、ＣＰＵ１７がＲＯＭ１８に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図３におけるＳは、ステップを表している。
【００７５】
先ず、この手順は、図３に表したように、オペレータによって画像処理装置１００に起動信号が入力された際にスタートする。
【００７６】
次いで、Ｓ１１０において、画像データを読み込み、その後、Ｓ１２０に移る。
【００７７】
次いで、Ｓ１２０において、前処理部２を用いて画像データのＯＢ補正及び有効画素範囲を設定し、その後、Ｓ１３０に移る。
【００７８】
次いで、Ｓ１３０において、全撮像領域評価値生成手段４を用いて撮像領域の略全域（有効画素範囲）に対応する無彩色評価値を生成し、その後、Ｓ１４０に移る。
【００７９】
次いで、Ｓ１４０において、評価枠スケール生成手段６を用いて評価枠の移動量とサイズを設定し、その後、Ｓ１５０に移る。
【００８０】
次いで、Ｓ１５０において、オペレータの指令信号に基づいて評価枠の移動経路を表す移動モードを設定し、その後、Ｓ１６０に移る。
【００８１】
次いで、Ｓ１６０において、評価領域移動手段６を用いて、Ｓ１５０で設定された移動モードに基づいて評価枠を所定の座標まで移動させ、その後、Ｓ１７０に移る。
【００８２】
次いで、Ｓ１７０において、評価領域評価値生成手段７を用いて評価枠内の撮像領域が無彩色に近いか否かを表す無彩色評価値を生成し、その後、無彩色判定手段８を用いて無彩色評価値を所定の判定値と比較し、評価領域内の画像が無彩色であるか否かを判定する。そして、Ｓ１７０において無彩色である（Ｙｅｓ）と判定された際にはＳ１８０に移り、無彩色でない（Ｎｏ）と判定された際にはＳ１９０に移る。
【００８３】
次いで、Ｓ１８０において、色再現係数演算領域設定手段９を用いて、Ｓ１７０で無彩色であると判定された評価領域を色再現係数演算の領域として設定し、その後、Ｓ１９０に移る。
【００８４】
次いで、ステップ１９０において、評価枠の次に移動すべき座標があるか否かを判定し、移動座標がある（Ｙｅｓ）と判定された際にはＳ１６０〜Ｓ１９０を繰り返し、移動すべき座標が無い（Ｎｏ）と判定された際にはＳ２００に移る。
【００８５】
次いで、Ｓ２００において、ブロック積算手段１０ａ、光源推定手段１０ｂ、基準光源選択手段、基準光源選択手段１０ｄを用いて、無彩色と判定された評価領域の色情報に基づき照明光源の種類（色温度）の推定を行い、その後、Ｓ２１０に移る。
【００８６】
次いで、Ｓ２１０において、色再現係数算出手段１０ｃを用いて、推定された照明光源に対応付けてホワイトバランスゲイン係数及び色再現マトリックス係数を算出し、その後、Ｓ２２０に移る。
【００８７】
次いで、Ｓ２２０において、ホワイトバランス処理部１１を用いて、撮像領域全域にわたって色情報にホワイトバランス調整を施し、その後、Ｓ２３０に移る。
【００８８】
次いで、Ｓ２３０において、色補間部１３を用いて、各画素の信号を補間演算することによって、１画素ごとのＲＧＢ３色の成分を決定し、その後、Ｓ２４０に移る。
【００８９】
次いで、Ｓ２４０において、色補正部１４を用いて、ＲＧＢデジタル画像信号を所定の信号レベルに補正して補正し、その後、Ｓ２５０に移る。
【００９０】
次いで、Ｓ２５０において、γ変換部１５を用いてデジタル画像信号の階調変換を行い、ＹＵＶ変換部１６を用いて、γ変換されたデジタル画像信号を標準的なカラー画像の色空間に変換し、カラー画像の画素毎のＹＵＶのカラー情報を生成し、本処理手順を終了する。
【００９１】
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。本実施例では、光源推定手段が評価領域の中で無彩色と判定された全ての評価領域を用いて光源の種類の推定を行ったが、これらの評価領域の中で最も無彩色に近い評価領域のみを用いて光源の種類の推定を行ってもよい。
【産業上の利用可能性】
【００９２】
本発明に係るホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラムは、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）に搭載されたデジタルカメラ、監視用カメラなど、ＣＣＤやその他のイメージセンサを用いて撮像領域を撮像する撮像装置に利用できる。
【符号の説明】
【００９３】
１…撮像装置、１ａ…撮像素子（ＣＣＤ）、１ｂ…ＡＤ変換器、２…前処理部（ＩＦＰ）、３…無彩色領域選択手段、４…全撮像領域評価値生成手段、５…評価枠スケール生成手段、６…評価領域移動手段、７…評価領域評価値生成手段、８…無彩色判定手段、９…色再現演算領域設定手段、１０…色再現係数設定手段、１０ａ…ブロック積算手段、１０ｂ…光源推定手段、１０ｃ…色再現係数算出手段、１０ｄ…基準光源選択手段、１０ｅ…基準光源データ格納手段、１１…ホワイトバランス処理部、１２…カラー画像データ生成部、１３…色補間部、１４…色補正部、１５…γ変換部、１６…ＹＵＶ変換部、１７…ＣＰＵ、１８…ＲＯＭ、１９…バッファ、１００…画像処理装置。
【図１】
2010177917.tif 000003
【図２】
2010177917.tif 000004
【図３】
2010177917.tif 000005
【図４】
2010177917.tif 000006
【図５】
2010177917.tif 000007
【図６】
2010177917.tif 000008
【図７】
2010177917.tif 000009