(57)【要約】【課題】白色画素の抽出精度を向上させ、色ずれを軽減する。また、安定した画像を出力する。【解決手段】中輝度領域に色差の大きい被写体が多く撮影画像に含まれる撮影環境では、高輝度領域で白色画素を検出した場合と、広い輝度領域で白色画素を検出した場合とで抽出したＲＧＢ積分値の情報の差が大きくなる。このような撮影環境では高輝度領域で白色画素を検出した場合の情報を用いる。色差の小さい被写体が多く撮影画像に含まれる撮影環境では、高輝度領域で白色画素を検出した場合と、広い輝度領域で白色画素を検出した場合とで抽出したＲＧＢ積分値の情報の差が小さくなる。このような撮影環境では広い輝度領域で白色画素を検出した場合の情報を用いる。【選択図】図１
2015012539.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像情報に対して画質調整を行う画質調整装置であって、
所定の白色画素検出領域を設定する静的白色画素検出領域設定手段と、
前記静的白色画素検出領域設定手段の白色画素検出量より少ない所定の範囲量の白色画素が検出できるまで、白色画素検出領域を調整する動的白色画素検出領域設定手段と、
前記静的白色画素検出領域設定手段と前記動的白色画素検出領域設定手段のそれぞれで設定された白色画素検出領域から、ＲＧＢ積分値を抽出するＲＧＢ積分値抽出手段と、
前記ＲＧＢ積分値抽出手段からＲ／ＧとＢ／Ｇを計算し、Ｒ／ＧとＢ／Ｇを軸とする二軸座標上の点を決定する座標算出手段と、
前記静的白色画素検出領域設定手段と前記動的白色画素検出領域設定手段に基づいて、前記座標算出手段で算出した二点間の距離を算出する二点間距離算出手段と、
前記静的白色画素検出領域設定手段と前記動的白色画素検出領域設定手段による前記座標算出手段で算出した二点に基づいて、二点を結ぶ線分上の一点を前記二点間距離算出手段で算出した距離に応じて算出する仮座標算出手段と、
前記仮座標算出手段で算出した点と黒体輻射曲線との距離を算出する対黒体輻射第一距離算出手段と、前記対黒体輻射第一距離算出手段で算出した距離に応じて、前記仮座標算出手段で算出した点から黒体輻射曲線へ下ろした垂線上の一点を求める本座標算出手段と、
前記本座標算出手段で算出した点のＲ／ＧとＢ／ＧのＲＧＢ比から画質調整する画質調整手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記仮座標算出手段は、前記二点間距離算出手段で算出した距離が第一の所定の距離以下であれば、前記静的白色画素検出領域設定手段に基づいて前記座標算出手段から算出した二軸座標上の点のみを使用し、前記二点間距離算出手段で算出した距離が第二の所定の距離以上であれば、前記動的白色画素検出領域設定手段に基づいて前記座標算出手段から算出した二軸座標上の点のみを使用し、前記二点間距離算出手段で算出した距離が第一の所定の距離と第二の所定の距離の間であれば、その距離が第一の所定の距離に近いほど前記静的白色画素検出領域設定手段に基づいて前記座標算出手段から算出した二軸座標上の点に近い点を、算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記静的白色画素検出領域設定手段と前記動的白色画素検出領域設定手段による前記座標算出手段で算出した点と黒体輻射曲線との距離を算出する対黒体輻射第二距離算出手段と、
前記静的白色画素検出領域設定手段と前記動的白色画素検出領域設定手段に基づく対黒体輻射第二距離算出手段で算出した二つの距離を比較する第二距離比較手段と、
を備え、
前記仮座標算出手段で点を算出する際に、前記第二距離比較手段で算出した前記静的白色画素検出領域設定手段と前記動的白色画素検出領域設定手段に基づく二つの距離のうち短い側の点の比重を大きくすることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画質調整手段は、前記対黒体輻射第一距離算出手段で算出した距離が所定の距離以下に限り、画質調整を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記仮座標算出手段で算出した点がＲ／ＧとＢ／Ｇの所定の二軸座標上の領域に位置するかによって、画質調整を行うかの判断のために比較する距離が異なることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
入力された画像情報に対して画質調整を行う画質調整方法であって、
所定の白色画素検出領域を設定する静的白色画素検出領域設定工程と、
前記静的白色画素検出領域設定工程の白色画素検出量より少ない所定の範囲量の白色画素が検出できるまで、白色画素検出領域を調整する動的白色画素検出領域設定工程と、
前記静的白色画素検出領域設定工程と前記動的白色画素検出領域設定工程のそれぞれで設定された白色画素検出領域から、ＲＧＢ積分値を抽出するＲＧＢ積分値抽出工程と、
前記ＲＧＢ積分値抽出工程からＲ／ＧとＢ／Ｇを計算し、Ｒ／ＧとＢ／Ｇを軸とする二軸座標上の点を決定する座標算出工程と、
前記静的白色画素検出領域設定工程と前記動的白色画素検出領域設定工程に基づいて、前記座標算出工程で算出した二点間の距離を算出する二点間距離算出工程と、
前記静的白色画素検出領域設定工程と前記動的白色画素検出領域設定工程による前記座標算出工程で算出した二点に基づいて、二点を結ぶ線分上の一点を前記二点間距離算出工程で算出した距離に応じて算出する仮座標算出工程と、
前記仮座標算出工程で算出した点と黒体輻射曲線との距離を算出する対黒体輻射第一距離算出工程と、
前記対黒体輻射第一距離算出工程で算出した距離に応じて、前記仮座標算出工程で算出した点から黒体輻射曲線へ下ろした垂線上の一点を求める本座標算出工程と、
前記本座標算出工程で算出した点のＲ／ＧとＢ／ＧのＲＧＢ比から画質調整する画質調整工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関する。本発明の実施形態は、簡易なハードウェアで構成されるホワイトバランス調整装置や撮像装置とすることができる。
【背景技術】
【０００２】
デジタルカメラやウェブカメラの多くは、撮影環境によって撮影画像を自動調整するホワイトバランスの機能を備えている。日光、蛍光灯、白熱灯等の様々な色温度の光源の下では、元々白い被写体が白色ではないように見えるが、それを白く見せるように補正するのがホワイトバランスの役割である。ホワイトバランスは入力画像情報から白色画素を抽出し、その画素のＲＧＢ比が１：１：１になるように補正することで実現できる。
【０００３】
具体例として、入力画像情報の輝度や色差から白色画素を抽出し、その画素のＲＧＢ信号の積分値からＲ／ＧとＢ／Ｇを軸とする二軸座標上にプロットする方法が挙げられる。プロットした情報に対し、前記二軸座標上にあらかじめプロットしておいた黒体輻射が描く曲線と比較することで、白色画素の色温度を判定し、判定した色温度に対して白色画素のＲＧＢ比が１：１：１になるように補正する。
【０００４】
ところで、ホワイトバランスの精度を向上するためには入力画像を複数の領域に分割する方法が主流であるが、例えば１６ｘ１６の領域分割では２５６個の領域の情報を保持する必要があり、ハードウェア構成が複雑化する。
【０００５】
領域分割をもたない簡易なハードウェア構成によるホワイトバランスの一つに、特許文献１がある。特許文献１では、中輝度領域に色差の大きい被写体が多く撮影画像に含まれる撮影環境で、白色画素の検出領域を高輝度領域へ調整することによって、白色画素の抽出精度を向上させ、色ずれを軽減することを特徴としている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では白色画素の検出領域を狭めることによって、白色画素検出領域から得られる情報量も減少する。入力情報量が減少することで、撮影画像が僅かに変化した時の入力情報の変化量が大きくなり、ホワイトバランスで調整された出力画像の変化量も大きくなる。例えば、同じ環境でカメラを僅かに動かすことで画像が大きく変化すると、ユーザは不安定感や違和感のマイナスの印象を受けやすい。
【０００７】
また、白色画素の検出精度が落ちる場合にも、入力情報量が少ない場合の出力画像のＲＧＢ比は、理想的なＲＧＢ比に対する差分が大きく色ずれが大きくなる。
本願は、以上に述べたような従来技術の問題点を、簡易なハードウェア構成で改善するホワイトバランスの調整装置を提供する。
【０００８】
本発明は、白色画素の抽出精度を向上させ、色ずれを軽減するとともに、安定した画像を出力することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明の一側面は、入力された画像情報に対して画質調整を行う画質調整装置であって、所定の白色画素検出領域を設定する静的白色画素検出領域設定手段と、前記静的白色画素検出領域設定手段の白色画素検出量より少ない所定の範囲量の白色画素が検出できるまで、白色画素検出領域を調整する動的白色画素検出領域設定手段と、前記静的白色画素検出領域設定手段と前記動的白色画素検出領域設定手段のそれぞれで設定された白色画素検出領域から、ＲＧＢ積分値を抽出するＲＧＢ積分値抽出手段と、前記ＲＧＢ積分値抽出手段からＲ／ＧとＢ／Ｇを計算し、Ｒ／ＧとＢ／Ｇを軸とする二軸座標上の点を決定する座標算出手段と、前記静的白色画素検出領域設定手段と前記動的白色画素検出領域設定手段に基づいて、前記座標算出手段で算出した二点間の距離を算出する二点間距離算出手段と、前記静的白色画素検出領域設定手段と前記動的白色画素検出領域設定手段による前記座標算出手段で算出した二点に基づいて、二点を結ぶ線分上の一点を前記二点間距離算出手段で算出した距離に応じて算出する仮座標算出手段と、前記仮座標算出手段で算出した点と黒体輻射曲線との距離を算出する対黒体輻射第一距離算出手段と、前記対黒体輻射第一距離算出手段で算出した距離に応じて、前記仮座標算出手段で算出した点から黒体輻射曲線へ下ろした垂線上の一点を求める本座標算出手段と、前記本座標算出手段で算出した点のＲ／ＧとＢ／ＧのＲＧＢ比から画質調整する画質調整手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、白色画素の抽出精度を向上させ、色ずれを軽減するとともに、安定した画像を出力することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本実施形態における白色の検出領域を説明するための図（その１）である。
【図３】本実施形態における白色の検出領域を説明するための図（その２）である。
【図４】本実施形態における白色検出領域の調整を説明するための図である。
【図５】本実施形態における二軸座標上の補正処理を説明するための図である。
【図６】本実施形態のＰ３に関するパラメータａ１を説明するための図である。
【図７】本実施形態のＰ５に関するパラメータａ２を説明するための図である。
【図８】本実施形態のホワイトバランス調整の流れを示すフローチャート図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について説明する。
図１は、本実施の形態にかかる撮像装置及びホワイトバランス調整装置の構成を示すブロック図である。図１に示す撮像装置は、画像取得装置１、ホワイトバランス調整装置２、画像出力装置３を備えている。この撮像装置は、所定フレーム数／秒で動画撮影を行うことが可能である。画像取得装置１、ホワイトバランス調整装置２、画像出力装置３は、各フレーム毎に後述する処理を行う。
【００１３】
画像取得装置１は、レンズ、絞り、シャッター、撮像素子、Ａ／Ｄコンバータ等を有する。レンズは、駆動されることにより焦点位置の調節を行って撮像素子の撮像面上に被写体像を結像させる。絞り及びシャッターは、撮像素子の露光量の調整を行う。撮像素子は、例えばＣＣＤセンサやＣＭＯＳセンサにより構成され、撮像面上に結像した被写体像に対応するアナログ信号を出力する。Ａ／Ｄコンバータは、撮像素子から入力されたアナログ信号をデジタルデータ（Ｒ、Ｇ、Ｂデータ）に変換してホワイトバランス調整装置２に出力する。
【００１４】
ホワイトバランス調整装置２は、画像取得装置１から入力されたデジタルデータに対して色差演算処理、ホワイトバランス調整等の処理を行った後、これらの処理を行った画像データを画像出力装置３に出力する。画像出力装置３は、ホワイトバランス調整装置２から入力されたホワイトバランス調整済の画像データを表示し、及び／または、記憶媒体への書き込み等を行う。
【００１５】
次に、ホワイトバランス調整装置２の構成について詳しく説明する。ホワイトバランス調整装置２は、色差演算回路４、白色検出回路５、及び、コントローラ６を有する。色差演算回路４は、画像取得装置１から入力されたＲ、Ｇ、Ｂデータを輝度データＹと色差データＵ、Ｖに変換して白色検出回路５に出力する。
Ｒ、Ｇ、Ｂデータの輝度データＹ及び色差データＵ、Ｖへの変換は下式（１）、（２）、（３）に基づいて行われる。
Ｙ＝Ｇ／２＋Ｒ／４＋Ｂ／４・・・（１）
Ｕ＝Ｂ／２−Ｇ／２＋１２８・・・（２）
Ｖ＝Ｒ／２−Ｇ／２＋１２８・・・（３）
【００１６】
コントローラ６は、白色検出パラメータを設定して、白色検出回路５に出力する。白色検出パラメータは、Ｙｍｉｎ（Ｙの下限値）、Ｙｍａｘ（Ｙの上限値）、Ｕｍｉｎ（Ｕの下限値）、Ｕｍａｘ（Ｕの上限値）、Ｖｍｉｎ（Ｖの下限値）、Ｖｍａｘ（Ｖの上限値）、Ｕ＋Ｖｍｉｎ（Ｕ＋Ｖの下限値）、Ｕ＋Ｖｍａｘ（Ｕ＋Ｖの上限値）、Ｖ−Ｕｍｉｎ（Ｖ−Ｕの下限値）、Ｖ−Ｕｍａｘ（Ｖ−Ｕの上限値）の１０種類のパラメータで構成される。
【００１７】
白色検出回路５は、コントローラ６によって設定された白色検出パラメータの値にしたがって、下式（４）〜（８）の５条件を全て満たす画素を画像全体から検出し、検出した全画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを算出してコントローラ６に出力する。
Ｙｍｉｎ≦Ｙ≦Ｙｍａｘ・・・（４）
Ｕｍｉｎ≦Ｕ≦Ｕｍａｘ・・・（５）
Ｖｍｉｎ≦Ｖ≦Ｖｍａｘ・・・（６）
Ｕ＋Ｖｍｉｎ≦（Ｕ＋Ｖ）／２≦Ｕ＋Ｖｍａｘ・・・（７）
Ｖ−Ｕｍｉｎ≦（Ｖ−Ｕ）／２≦Ｖ−Ｕｍａｘ・・・（８）
【００１８】
図２は、白色検出回路５における白色の検出領域を説明するための図である。図２は、色差データＵ、ＶのＵＶ平面により示されている。白色の検出領域は、白色検出パラメータのうちのＹｍｉｎ（Ｙの下限値）、Ｙｍａｘ（Ｙの上限値）を除く、Ｕｍｉｎ（Ｕの下限値）、Ｕｍａｘ（Ｕの上限値）、Ｖｍｉｎ（Ｖの下限値）、Ｖｍａｘ（Ｖの上限値）、Ｕ＋Ｖｍｉｎ（Ｕ＋Ｖの下限値）、Ｕ＋Ｖｍａｘ（Ｕ＋Ｖの上限値）、Ｖ−Ｕｍｉｎ（Ｖ−Ｕの下限値）、Ｖ−Ｕｍａｘ（Ｖ−Ｕの上限値）を示すラインで囲まれた領域（点描で示す領域）である。
【００１９】
図３は、図２同様、白色検出回路５における白色の検出領域を説明するための図である。図３は、図２で説明した色差データＵ、ＶのＵＶ平面に輝度Ｙの軸が追加されたＹＵＶ空間により示されている。白色の検出領域（点描で示す領域）は、輝度ＹがＹｍｉｎ（Ｙの下限値）とＹｍａｘ（Ｙの上限値）との間の領域に設定されている。
【００２０】
白色検出回路５は、全画素のうち上記白色検出領域に含まれる画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを演算し、コントローラ６に出力する。コントローラ６は、制御プログラムが格納されたＲＯＭと、ＲＯＭに格納された制御プログラムを実行するマイクロプロセッサとを有する。
【００２１】
コントローラ６は、白色検出回路５で演算された色積算値ΣＲ，ΣＧ，ΣＢに基づいて、（１）白色検出回路５での白色検出処理に用いられる白色検出パラメータの値、（２）Ｒ／ＧとＢ／Ｇの二軸座標上での補正結果、（３）ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを算出する。
【００２２】
また、コントローラ６は、画像取得装置１から出力されたデジタルデータに対して、上記ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを乗算することでホワイトバランスの調整を行う。
【００２３】
次に、コントローラ６による（１）白色検出パラメータの算出、（２）Ｒ／ＧとＢ／Ｇの二軸座標上での補正、（３）ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂの算出の方法について説明する。
【００２４】
先ず（１）白色検出パラメータの算出方法について説明する。白色検出パラメータは、前述したように１０種類の白色検出パラメータにより規定されるが、コントローラ６ではこの１０種類の白色検出パラメータを複数組有する。
【００２５】
ここでは１０種類の白色検出パラメータを２組（Ｇ１、Ｇ２）を有し、その２組のパラメータが１種類だけ異なる実施例を説明する。
【００２６】
Ｇ１（１組目の設定グループ）は１０種類の変動しない白色検出パラメータを持つ。このうちＹｍｉｎ（Ｙの下限値）、Ｙｍａｘ（Ｙの上限値）の２種類のパラメータは、低輝度から高輝度を網羅する広い領域で設定され、またＹｍｉｎ（Ｙの下限値）、Ｙｍａｘ（Ｙの上限値）を除く、図２を参照して前述したＵＶ平面の８種類のパラメータは、ホワイトバランス調整を行う色温度の範囲において、黒体輻射により白色の被写体の色温度が変化する曲線の軌跡を全て含むことを条件として可能な限り狭い領域に設定される。
【００２７】
これに対しＧ２（２組目の設定グループ）は、Ｙｍｉｎ（Ｙの下限値）以外の９種類のパラメータはＧ１（１組目の設定グループ）と同等に設定されるが、Ｙｍｉｎ（Ｙの下限値）については、白色検出領域が可能な限り狭い領域となるように調整される。
【００２８】
図４は、Ｇ２（２組目の設定グループ）の輝度Ｙの変動による白色検出領域の調整を説明するための図である。図４（ａ）は、前述したように可能な限り狭い領域に調整された白色検出領域を示しており、白色検出領域は中輝度よりも高輝度側に設定されている。図４（ｂ）は、白色検出領域が低輝度側に拡張された状態を示す。
【００２９】
コントローラ６は、例えば図４（ａ）に示す白色検出領域において、白色検出回路５により白色と検出された画素の数がホワイトバランス調整を行うために必要な最低画素数Ｎ１を超えていない場合は、画素数Ｎ１を超えるまで、白色検出パラメータのＹｍｉｎ（Ｙの下限値）を低輝度方向に所定の微少量ずつシフトさせる（Ｙｍｉｎ（Ｙの下限値）を所定の微少量ずつ小さくする）。すなわち白色検出領域を例えば図４（ｂ）に示すように低輝度領域側に拡張する。
【００３０】
また、コントローラ６は、白色検出回路５により白色と検出された画素の数がホワイトバランス調整を行うために充分な画素数Ｎ２（Ｎ１＜Ｎ２）を超えている場合は、画素数Ｎ２を超えなくなるまで、当該Ｙｍｉｎ（Ｙの下限値）を高輝度方向に所定の微少量ずつシフトさせる（Ｙｍｉｎ（Ｙの下限値）を所定の微少量ずつ大きくする）。コントローラ６は、白色検出パラメータのＹｍｉｎ（Ｙの下限値）をシフトしている間はホワイトバランス調整を行わない。
【００３１】
白色検出領域のパラメータの一連の動作として、先ずＧ１（１組目の設定グループ）を白色検出回路５に設定して露光した後、Ｇ２（２組目の設定グループ）を白色検出回路５に設定して露光する。Ｇ２（２組目の設定グループ）では前述したように何度かＹｍｉｎ（Ｙの下限値）を変更して露光する動作を複数回続けて行う場合があり、Ｙｍｉｎ（Ｙの下限値）の変更が不要になった時点で、（２）Ｒ／ＧとＢ／Ｇの二軸座標上での補正処理へ移行する。
【００３２】
次に、（２）Ｒ／ＧとＢ／Ｇの二軸座標上での補正処理について説明する。一般に黒体輻射の曲線は、入力画像を複数の領域に分割した際にどの領域に着目するのが最適かを選択するために利用されるが、ここでは前述のＧ１とＧ２のような異なる複数の白色検出パラメータから得られたＲ、Ｇ、Ｂデータを用いて利用する。補正結果として座標上の一点を決定し、その一点の座標を逆算することで、ホワイトバランス調整用のゲインを算出するための色積算値ΣＲ，ΣＧ，ΣＢを算出することができる。
【００３３】
具体例を図５、図６、図７を用いて説明する。図５は、Ｒ／ＧとＢ／Ｇの二軸座標上の補正処理を説明するための図である。図５（ａ）は、この二軸座標上の補正前の点であるＰ１とＰ２と、補正結果となるＰ５を示している。図５（ｂ）は、Ｐ５の算出処理を説明するためにＰ１、Ｐ２、Ｐ５を含む二軸座標上の一部を拡大した図である。
【００３４】
Ｐ１とＰ２は、Ｇ１（１組目の設定グループ）とＧ２（２組目の設定グループ）にそれぞれ基づいて、白色検出回路５で演算された色積算値ΣＲ，ΣＧ，ΣＢからＲ／ＧとＢ／Ｇを算出し、プロットされた点である。Ｐ３はＰ１とＰ２を結ぶ線分上の点、Ｐ４はＰ３から黒体輻射の曲線に下ろした垂線と黒体輻射の曲線との交点である。Ｐ５はＰ３とＰ４を結ぶ線分上の点であり、また、Ｐ５の座標から算出されるΣＲ，ΣＧ，ΣＢは、白色検出回路５の演算された色積算値ΣＲ，ΣＧ，ΣＢに対する補正値でもある。また、Ｄ１とＤ２とＤ３は、それぞれＰ１とＰ２とＰ３から黒体輻射の曲線に下ろした垂線の距離、Ｄ４はＰ１とＰ２の二点間の距離である。
【００３５】
先ず、前述のパラメータＰ１、Ｐ２、Ｄ１、Ｄ２、Ｄ４からＰ３を算出する過程を説明する。Ｐ３に関するパラメータＤ５は、Ｄ１とＤ２とＤ４から算出される。Ｄ５は下式（９）で算出される。
Ｄ５＝Ｄ４−（Ｄ１−Ｄ２）・・・（９）
【００３６】
図６はＰ３に関するパラメータａ１を説明するための図である。横軸は前述したＤ５を、縦軸は百分率ａ１をそれぞれ示しており、Ｄ５に対する二つの基準距離Ｄ５−Ｔｈ１、Ｄ５−Ｔｈ２（Ｄ５−Ｔｈ１＜Ｄ５−Ｔｈ２）を設定する。Ｄ５がＤ５−Ｔｈ１以下の場合はａ１＝０、Ｄ５がＤ５−Ｔｈ２より大きい場合はａ１＝１００となる。Ｄ５がＤ５−Ｔｈ１より大きくＤ５−Ｔｈ２以下の場合、ａ１はＡとＢの間の比例直線の一次関数から算出される。
【００３７】
ａ１に基づき、Ｐ３は下式（１０）で算出される。
Ｐ３＝（（１００−ａ１）＊Ｐ１＋ａ１＊Ｐ２）／１００・・・（１０）
【００３８】
ここで、前述したＰ３から黒体輻射の曲線に下ろした垂線の距離Ｄ３が長ければ長いほど、白色検出回路５により白色と検出された画素の色差が大きい可能性が高いと判断する。このような白色検出の精度が悪い状態でホワイトバランス調整を行うと色ずれが大きくなる可能性が高いため、Ｄ３が所定の距離Ｄ３−Ｔｈ以下である場合に限りホワイトバランス調整を行う。
【００３９】
またＰ３は撮像素子の特性によっては座標上のある方向へ一様にずれる場合があるが、Ｐ３が属する二軸座標上の領域毎にＤ３−Ｔｈを調整することで撮像素子の特性に依存せずに色ずれを軽減することができる。
【００４０】
例えばクールホワイトのようなＲＧＢデータのＧデータが強い光源の下では、白色検出の精度が高いにもかかわらず、撮像素子の特性によってＰ３が黒体輻射の曲線から二軸座標上の原点側にずれてプロットされる場合がある。このような状況に対しては、二軸座標上の黒体輻射に対して原点側の領域にＰ３が属する場合はＤ３−Ｔｈ１を、原点側の領域に属さない場合はＤ３−Ｔｈ２を、Ｄ３−Ｔｈに設定することで色ずれを軽減することができる。
【００４１】
次に、Ｐ３からＰ５を算出する。図７はＰ５に関するパラメータａ２を説明するための図である。横軸はＤ３を、縦軸は百分率ａ２をそれぞれ示しており、Ｄ３に対する基準距離Ｄ３−Ｔｈ１を設定する。Ｄ３がＤ３−Ｔｈ１より大きい場合はａ２＝１００となり、Ｄ３がＤ３−Ｔｈ１以下の場合、ａ２はＣとＤの間の比例直線の一次関数から算出される。
【００４２】
ａ２に基づき、Ｐ５は下式（１１）で算出される。
Ｐ５＝（ａ２＊Ｐ３＋（１００−ａ２）＊Ｐ４）／１００・・・（１１）
【００４３】
Ｐ５からΣＲ，ΣＧ，ΣＢを逆算することによって、白色検出回路５から入力された積算値ΣＲ，ΣＧ，ΣＢを黒体輻射の曲線を利用して補正した値を得ることができる。
【００４４】
次に、（３）ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂの算出方法について説明する。
【００４５】
コントローラ６は、前述のＰ５の座標から逆算した色積算値データΣＲ，ΣＧ，ΣＢに基づいて、ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを下式（９）、（１０）、（１１）に従って算出する。
Ｇｒ＝ΣＲ＋ΣＧ＋ΣＢ／ΣＲ／３・・・（９）
Ｇｇ＝ΣＲ＋ΣＧ＋ΣＢ／ΣＧ／３・・・（１０）
Ｇｂ＝ΣＲ＋ΣＧ＋ΣＢ／ΣＢ／３・・・（１１）
【００４６】
コントローラ６は、ＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを画像取得装置１から出力されたデジタルデータに乗算することで、ΣＲ＝ΣＧ＝ΣＢ、すなわち白色検出回路５で検出された領域の画像データを白色とするホワイトバランス調整を行う。
【００４７】
次に、本実施形態のホワイトバランス調整装置２によるホワイトバランス調整について、図８のフローチャートに従って説明する。
【００４８】
カメラが電源ＯＮされて起動されると、コントローラ６はＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを基準値に初期化する（ステップＳ１）。この基準値は、例えば、室内環境に対して適した値である。
【００４９】
次に、コントローラ６は、白色検出回路５に対する白色検出パラメータＹｍｉｎ（Ｙの下限値）、Ｙｍａｘ（Ｙの上限値）を除いたＵｍｉｎ（Ｕの下限値）、Ｕｍａｘ（Ｕの上限値）、Ｖｍｉｎ（Ｖの下限値）、Ｖｍａｘ（Ｖの上限値）、Ｕ＋Ｖｍｉｎ（Ｕ＋Ｖの下限値）、Ｕ＋Ｖｍａｘ（Ｕ＋Ｖの上限値）、Ｖ−Ｕｍｉｎ（Ｖ−Ｕの下限値）、Ｖ−Ｕｍａｘ（Ｖ−Ｕの上限値）に、前述したＧ１（１組目の設定グループ）のパラメータで初期化する（ステップＳ２）。
【００５０】
また、その時の白色検出パラメータに設定されているのがＧ１（１組目の設定グループ）とＧ２（２組目の設定グループ）のどちらであるかを判定するための設定グループ状態値Ｇ−ｓｔに、Ｇ１（１組目の設定グループ）の場合はＧ−ｓｔ１を、Ｇ２（２組目の設定グループ）の場合はＧ−ｓｔ２を設定する（ステップＳ３）。
【００５１】
この後、画像取得装置１による露光制御が行われると、ホワイトバランス調整装置２の色差演算回路４は、画像取得装置１から入力されたＲ、Ｇ、Ｂデータを輝度データＹと色差データＵ、Ｖに変換し、白色検出回路５は色差演算回路４からの色差データＵ、Ｖに対して白色検出処理を行って色積算値ΣＲ，ΣＧ，ΣＢを算出し、コントローラ６に出力する（ステップＳ４）。このステップＳ４からステップＳ２１の処理は所定周期で繰り返し実行される。
【００５２】
ここで、設定グループ状態値Ｇ−ｓｔがＧ−ｓｔ２であるか否かを判定する（ステップＳ５）。設定グループ状態値Ｇ−ｓｔがＧ−ｓｔ１である場合は、ステップＳ６へ移行する。一方、設定グループ状態値Ｇ−ｓｔがＧ−ｓｔ２である場合は、ステップＳ９へ移行する。
【００５３】
ステップＳ６では、直前のステップＳ４でコントローラ６に出力された色積算値ΣＲ，ΣＧ，ΣＢから、Ｐ１を示すＲ／ＧとＢ／Ｇを算出し、二軸座標上での黒体輻射の曲線までの距離Ｄ１を算出する。
【００５４】
ステップＳ７では、白色検出回路５に対する白色検出パラメータに、Ｇ２（２組目の設定グループ）のパラメータを設定する。ここでＹｍｉｎ（Ｙの下限値）に関して、これまでにＧ２（２組目の設定グループ）のパラメータでの露光制御が行われていなければ、図４（ａ）に示すような中輝度よりも高輝度側の白色検出領域になる値を設定し、もし一度でもＧ２（２組目の設定グループ）のパラメータでの露光制御が行われ、画素の数の判断に基づくＹｍｉｎ（Ｙの下限値）の変更が行われているのであれば、変更後の最新の値を設定する。
【００５５】
ステップＳ８では、設定グループ状態値にＧ２を設定し、その後、ステップＳ４に戻る。ステップＳ４では、前述のように、次の露光処理が行われ、各色についての積分値演算が行われる。以後のステップにおいて、ステップＳ４に戻ったときも同様である。
【００５６】
ステップＳ９では、コントローラ６は白色検出回路５から入力される白色と検出された画素の数をカウントし、カウントした数がホワイトバランス調整に最低限必要な画素数Ｎ１以上であるか否かを判定する。白色と検出された画素の数がホワイトバランス調整に最低限必要な画素数Ｎ１以上である場合には、ステップＳ１０に移行する。一方、白色と検出された画素の数がホワイトバランス調整に最低限必要な画素数Ｎ１以上でない場合は、ステップＳ２０に移行する。
【００５７】
ステップＳ２０では、コントローラ６は低輝度方向に所定の微少な幅シフトさせた新たなＹｍｉｎ（Ｙの下限値）を算出及び設定し、その後、ステップＳ４に戻る。なお、設定されたＹｍｉｎ（Ｙの下限値）は、本フローチャートの次周期以後におけるステップＳ２０又はステップＳ２１で新たに設定されるまで、保持される。
【００５８】
ステップＳ１０では、コントローラ６は白色検出回路５から入力される白色と検出された画素の数がホワイトバランス調整に充分差し支えない画素数Ｎ２（Ｎ２＞Ｎ１）以下であるか否かを判定する。白色と検出された画素の数がホワイトバランス調整に充分差し支えない画素数Ｎ２以下である場合にはステップＳ１１に移行する。一方、白色と検出された画素の数がホワイトバランス調整に充分差し支えない画素数Ｎ２以下でない場合には、ステップＳ２１に移行する。
【００５９】
ステップＳ２１では、コントローラ６は高輝度方向に所定の微少な幅シフトさせた新たなＹｍｉｎ（Ｙの下限値）を算出及び設定し、その後、ステップＳ４に戻る。なお、設定されたＹｍｉｎ（Ｙの下限値）は、本フローチャートの次周期以後におけるステップＳ２０またはステップＳ２１で新たに設定されるまで、保持される。
【００６０】
ステップＳ１１では、直前のステップＳ４でコントローラ６に出力された色積算値ΣＲ，ΣＧ，ΣＢから、Ｐ２を示すＲ／ＧとＢ／Ｇを算出し、二軸座標上での黒体輻射の曲線までの距離Ｄ２を算出する。
【００６１】
ステップＳ１２では、白色検出回路５に対する白色検出パラメータに、Ｇ１（１組目の設定グループ）のパラメータを設定する。ステップＳ１３では、設定グループ状態値にＧ１を設定する。
【００６２】
ステップＳ１４では、ステップＳ６とステップＳ１１で算出したＰ１とＰ２からＤ４を算出し、Ｄ１とＤ２と共に前述した式（９）と式（１０）を用いてＰ３を算出する。
【００６３】
ここで、ステップＳ１４で算出したＰ３が、Ｒ／ＧとＢ／Ｇの二軸座標上における黒体輻射の曲線に対して原点側に位置する場合はＤ３−Ｔｈ１を、原点側に位置しない場合はＤ３−Ｔｈ２を、ホワイトバランス調整を行うか否かの判定基準となる距離Ｄ３−Ｔｈに設定する（ステップＳ１５）。
【００６４】
ステップＳ１６では、その時のＧ１（１組目の設定グループ）とＧ２（２組目の設定グループ）に基づく白色検出回路５からの入力データでホワイトバランス調整を行うか否かを判定するために、Ｄ３とＤ３−Ｔｈを比較する。Ｄ３がＤ３−Ｔｈ以下の場合は、ホワイトバランス調整を行うためにステップＳ１７へ移行する。一方、Ｄ３がＤ３−Ｔｈより大きい場合は、ここでのホワイトバランス調整は行わず、ステップＳ４に戻る。
【００６５】
ステップＳ１７では、コントローラ６はステップＳ１４で算出したＰ３からＰ４を算出し、前述した式（１１）を用いてＰ５を算出する。
【００６６】
ステップＳ１８では、コントローラ６は、ステップＳ１７で算出したＰ５の座標から逆算した色積算値データΣＲ，ΣＧ，ΣＢに基づいて、ＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを算出する。
【００６７】
ステップＳ１９では、コントローラ６は画像取得装置１から出力されたデジタルデータに対して、ＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂの設定値を乗算することにより、ホワイトバランス調整を行う。
【００６８】
また、上記実施の形態では、（１）白色検出パラメータの算出方法について、２組の設定グループの間の差異はＹｍｉｎ（Ｙの下限値）だけ例を示したが、これに限られるものではなく、当然他のパラメータに差異があってもよい。例えば、Ｇ２（２組目の設定グループ）における、Ｙｍｉｎ（Ｙの下限値）とＹｍａｘ（Ｙの上限値）を除くＵＶ平面の８種類のパラメータによって、Ｇ１（１組目の設定グループ）の白色検出領域より広い領域を設定すると、より高輝度領域の画素を検出しやすくすることで低輝度領域から中輝度領域の色差の大きい画素の影響を受けにくくなる。
【００６９】
上記実施形態の作用効果について述べる。中輝度領域に色差の大きい被写体が多く撮影画像に含まれる撮影環境では、高輝度領域で白色画素を検出した場合と、広い輝度領域で白色画素を検出した場合とで抽出したＲＧＢ積分値の情報の差が大きくなり、このような撮影環境では高輝度領域で白色画素を検出した場合の情報を用いることによって、白色画素の抽出精度を向上させ、色ずれを軽減することができる。
【００７０】
また、色差の小さい被写体が多く撮影画像に含まれる撮影環境では、高輝度領域で白色画素を検出した場合と、広い輝度領域で白色画素を検出した場合とで抽出したＲＧＢ積分値の情報の差が小さくなり、このような撮影環境では広い輝度領域で白色画素を検出した場合の情報を用いることによって、安定した画像を出力することができる。
【００７１】
また、高輝度領域で白色画素を検出した場合と、広い輝度領域で白色画素を検出した場合とで抽出したＲＧＢ積分値の情報の範囲内になるように算出した情報を用いることによって、色ずれの軽減と安定効果のどちらか一方の効果のみが作用する機会を減らすことができる。
【００７２】
また、抽出した白色画素を黒体輻射曲線と比較することによって、上述した二つの白色画素検出領域の判定精度を向上することで色ずれを軽減することができる。
【００７３】
また、抽出した白色画素から得られるＲＧＢ積分値をＲ／ＧとＢ／Ｇの二軸座標上にプロットした時、黒体輻射が描く曲線に近いほど画像情報の色差が小さいため、白色画素検出の検出精度を上げることで色ずれを軽減することができる。
【００７４】
また、抽出した白色画素から得られるＲＧＢ積分値をＲ／ＧとＢ／Ｇの二軸座標上にプロットした時、撮像素子の特性によっては座標上のある方向へ一様にずれる場合があるため、黒体輻射の曲線に対する距離に対する判定距離を最適化することで、撮像素子の特性に依存せずに色ずれを軽減することができる。
【符号の説明】
【００７５】
１    画像取得装置
２    ホワイトバランス調整装置
３    画像出力装置
４    色差演算回路
５    白色検出回路
６    コントローラ
【先行技術文献】
【特許文献】
【００７６】
【特許文献１】特開２０１２−６０５９４号公報
【図１】
2015012539.tif 000003
【図２】
2015012539.tif 000004
【図３】
2015012539.tif 000005
【図４】
2015012539.tif 000006
【図５】
2015012539.tif 000007
【図６】
2015012539.tif 000008
【図７】
2015012539.tif 000009
【図８】
2015012539.tif 000010