(57)【要約】      （修正有）【課題】画像に対して適切なホワイトバランス調整を行う。【解決手段】撮像装置１０は、被写界における照明色の情報を取得する取得部と、特定の色空間上において設定される複数のグループに照明色が属する確度を、複数のグループ毎に算出する確度算出部４７と、撮影により得られた画像と複数のグループ毎に算出された確度とに基づいて、画像に対するホワイトバランス調整の調整値を求める調整値算出部４９と、を備える。【選択図】図１
2015106791.tif 000002
【特許請求の範囲】
【請求項１】
被写界における照明色の情報を取得する取得部と、
特定の色空間上において設定される複数のグループに前記照明色が属する確度を、前記複数のグループ毎に算出する確度算出部と、
撮影により得られた画像と前記複数のグループ毎に算出された前記確度とに基づいて、前記画像に対するホワイトバランス調整の調整値を求める調整値算出部と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記確度算出部は、前記複数のグループを代表する色温度と前記照明色の色温度との距離を用いて、前記複数のグループ毎の前記確度を求めることを特徴とする撮像装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記確度算出部は、前記照明色が前記複数のグループのいずれかに含まれるか否かを判定した結果に基づいて、前記複数のグループ毎の前記確度を求めることを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記複数のグループ毎に算出した前記確度に基づいて、前記複数のグループのそれぞれに対する第１重み値を求める重み値算出部を備え、
前記調整値算出部は、前記画像を分割した複数の小領域の色度を前記特定の色空間上に写像した後、前記複数のグループのそれぞれに含まれる小領域の度数と、前記複数のグループのそれぞれに対して求めた前記第１重み値とから、写像された小領域の重心位置を求めることを特徴とする撮像装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記複数のグループは、複数の異なる照明光を個別に照明したときに無彩色が検出される複数の範囲をグループ化したものであり、
前記重み値算出部は、前記各グループ毎に求めた前記第１重み値を用いて、前記複数の範囲のそれぞれに対する第２重み値を求め、
前記調整値算出部は、前記複数の範囲のそれぞれに含まれる前記小領域の度数と、前記複数の範囲のそれぞれに対して求めた前記第２重み値とを用いて、前記重心位置を求めることを特徴とする撮像装置。
【請求項６】
請求項４又は請求項５に記載の画像処理装置において、
前記調整値算出部は、求めた前記重心位置に相当する色度が前記照明色の色度となるように前記調整値を求めることを特徴とする撮像装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の撮像装置において、
前記取得部は、撮影シーンの特徴量ベクトルと、教師有り学習による判別基準とを用いて、前記照明色の情報を取得することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記被写界の明るさを測光する測光部と、
前記測光部による測光結果から、前記撮影シーンの特徴量ベクトルを取得する特徴量抽出部とを、さらに備えたことを特徴とする撮像装置。
【請求項９】
請求項７又は請求項８に記載の撮像装置において、
前記撮影シーンの特徴量ベクトルは、被写体輝度、明度又は色彩に対する統計量のいずれかからなることを特徴とする撮像装置。
【請求項１０】
請求項１から請求項９のいずれか１項に記載の撮像装置において、
前記調整値算出部により求めた調整値を用いて、前記画像に対するホワイトバランス処理を行う画像処理部を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
画像に対してホワイトバランス調整を行う際の調整値を算出するにあたり、その画像の撮影時に使用された証明の種類を判定する方法が種々提案されている。この方法として、例えば撮影時の特徴量と教師有り学習で求められた判別基準とに基づき、撮影シーンにおける照明色が予め様々なシーンにおける照明色によりグループ化した複数のグループのいずれかに属するかを判別する方法が挙げられる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４４２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した方法では、撮影シーンが複数のグループのそれぞれに属しているか否かの確からしさを示す確度を用いた判定をしている。したがって、これら判定のいずれかが正しい判定を行っていたとしても他の判定の確度が正確に得られていない場合には、求めた調整値が適切ではない値となる。その結果、画像に対するホワイトバランス処理が適切に実行されず、色の偏り（カラーフェリア）が生じた画像が得られてしまう。
【０００５】
本発明は、画像に対して適切なホワイトバランス調整を行うことができるようにした画像処理装置、撮像装置及び画像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の撮像装置は、被写界における照明色の情報を取得する取得部と、特定の色空間上において設定される複数のグループに前記照明色が属する確度を、前記複数のグループ毎に算出する確度算出部と、撮影により得られた画像と前記複数のグループ毎に算出された前記確度とに基づいて、前記画像に対するホワイトバランス調整の調整値を求める調整値算出部と、を備えたことを特徴とする。
【０００７】
また、前記確度算出部は、前記複数のグループを代表する色温度と前記照明色の色温度との距離を用いて、前記複数のグループ毎の前記確度を求めることを特徴とする。
【０００８】
また、前記確度算出部は、前記照明色が前記複数のグループのいずれかに含まれるか否かを判定した結果に基づいて、前記複数のグループ毎の前記確度を求めることを特徴とする。
【０００９】
また、前記複数のグループ毎に算出した前記確度に基づいて、前記複数のグループのそれぞれに対する第１重み値を求める重み値算出部を備え、前記調整値算出部は、前記画像を分割した複数の小領域の色度を前記特定の色空間上に写像した後、前記複数のグループのそれぞれに含まれる小領域の度数と、前記複数のグループのそれぞれに対して求めた前記第１重み値とから、写像された小領域の重心位置を求めることを特徴とする。
【００１０】
この場合、前記複数のグループは、複数の異なる照明光を個別に照明したときに無彩色が検出される複数の範囲をグループ化したものであり、前記重み値算出部は、前記各グループ毎に求めた前記第１重み値を用いて、前記複数の範囲のそれぞれに対する第２重み値を求め、前記調整値算出部は、前記複数の範囲のそれぞれに含まれる前記小領域の度数と、前記複数の範囲のそれぞれに対して求めた前記第２重み値とを用いて、前記重心位置を求めることが好ましい。
【００１１】
また、前記調整値算出部は、求めた前記重心位置に相当する色度が前記照明色の色度となるように前記調整値を求めることを特徴とする。
【００１２】
また、前記取得部は、撮影シーンの特徴量ベクトルと、教師有り学習による判別基準とを用いて、前記照明色の情報を取得することを特徴とする。
【００１３】
この場合、前記被写界の明るさを測光する測光部と、前記測光部による測光結果から、前記撮影シーンの特徴量ベクトルを取得する特徴量抽出部とを、さらに備えたことが好ましい。
【００１４】
また、前記撮影シーンの特徴量ベクトルは、被写体輝度、明度又は色彩に対する統計量のいずれかからなることを特徴とする。
【００１５】
また、前記調整値算出部により求めた調整値を用いて、前記画像に対するホワイトバランス処理を行う画像処理部を備えたことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像に対して適切なホワイトバランス調整を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】撮像装置の構成を示す機能ブロック図である。
【図２】無彩色検出範囲を示す図である。
【図３】照明色の推定値Ｋと、グループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５の代表色の距離の関係を示す図である。
【図４】撮影時における処理の流れを示す図である。
【図５】照明色の推定値Ｋと、グループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５の代表色の範囲との関係を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について説明する。図１は、本実施形態の撮像装置の一例を示す機能ブロック図である。なお、撮像装置としては、デジタルカメラの他、例えばカメラ機能を備えた携帯電話機やタブレットＰＣなどの携帯型端末機器が挙げられる。
【００１９】
図１に示すように、撮像装置１０は、撮像光学系１５、撮像素子１６、レンズ駆動部１７、撮像素子駆動部１８、Ａ／Ｄ変換器１９、バッファメモリ２０、画像処理回路２１、圧縮伸長回路２２、表示制御回路２３、表示装置２４、接続Ｉ／Ｆ２５、ＣＰＵ３０、ワークメモリ３１、内蔵メモリ３２、操作部材３３及び測光部３４から構成される。ここで、Ａ／Ｄ変換器１９、バッファメモリ２０、画像処理回路２１、圧縮伸長回路２２、表示制御回路２３、接続Ｉ／Ｆ２５、ＣＰＵ３０、ワークメモリ３１及び内蔵メモリ３２は、バス３５を介して電気的に接続される。
【００２０】
撮像光学系１５は、複数のレンズから構成される。この撮像光学系１５を構成する複数のレンズは、ズーム動作時や焦点調節時に、レンズ駆動部１７により光軸（Ｌ）方向に移動する。
【００２１】
撮像素子１６は、例えばＣＭＯＳイメージセンサが用いられる。このＣＭＯＳイメージセンサは、例えば赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色のカラーフィルタを市松状に配置したベイヤー配列のカラーフィルタアレイを備えた単板式カラーセンサが用いられる。この撮像素子１６は、静止画像の単写撮像とともに、静止画像の連続撮像（連写）、及び動画像の撮像が可能な撮像素子である。この撮像素子１６は、被写体の測光データに基づいて、ＣＰＵ３０の制御のもとで、撮像素子駆動部１８によって駆動される。撮像素子１６により読み出された画像信号は、Ａ／Ｄ変換器１９に入力される。
【００２２】
Ａ／Ｄ変換器１９は、撮像素子１６から読み出されたアナログの画像信号に対してＡ／Ｄ変換処理を施し、デジタルの画像信号に変換する。デジタルの画像信号（画像データ）は、バッファメモリ２０に書き込まれる。
【００２３】
バッファメモリ２０は、Ａ／Ｄ変換器１９から出力された画像データを一時記憶する他、画像処理回路２１にて画像処理が施された画像データや、記憶媒体３７から読み出された画像データ（符号化データ）を一時記憶する。
【００２４】
画像処理回路２１は、入力された画像データに対して、色補間処理、ホワイトバランス（ＷＢ）処理、マトリックス変換処理、γ変換処理、色相・彩度補正処理などの画像処理を施す。また、この他に、画像処理回路２１は、生成された画像データに対して解像度（画素数）変換処理を施す。
【００２５】
圧縮伸長回路２２は、画像データに対して圧縮処理を施す。そして、圧縮伸長回路２２は、圧縮処理を行った画像データ（符号化データ）を、記憶媒体３７に記憶する。また、圧縮伸長回路２２は、記憶媒体３７に記憶された画像データが読み出されたときに、読み出された画像データに対して復号化処理を施す。そして、圧縮伸長回路２２は、復号化処理が施された画像データを画像処理回路２１および表示制御回路２３を介して、表示装置２４に供給する。
【００２６】
表示制御回路２３は、画像処理回路２１からの画像データに所定の信号処理を施し、表示装置２４に出力する。表示制御回路２３は、必要に応じて、画像処理回路２１からの画像データに、撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、表示装置２４には、被写体画像にオーバーレイ画像が重畳されて表示される。ここで、表示装置２４は、ＬＣＤパネルや有機ＥＬパネルなどが挙げられる。
【００２７】
接続Ｉ／Ｆ２５は、不揮発性メモリを用いたメモリカードからなる記憶媒体３７と電気的に接続される。ここで、記憶媒体３７としては、上述したメモリカードの他に、光学ディスクや磁気ディスクなどが挙げられる。この記憶媒体３７は、撮像装置１０に着脱可能であってもよいし、撮像装置１０に内蔵されるものであってもよい。
【００２８】
ＣＰＵ３０は、操作部材３３の一部を構成するレリーズボタンの操作に基づいて、撮像画面上に設定された領域（ＡＦエリア）の画像信号を抽出し、該領域のコントラスト値（もしくは、該領域の高空間周波数成分量）を算出し、算出結果をもとに、撮像素子１６の撮像面上における被写体像のフォーカス状態を調整する、いわゆるコントラストＡＦ動作を行う。
【００２９】
また、ＣＰＵ３０は、レンズ駆動部１７を介して、撮像光学系１５の各レンズの位置を移動させ、順次得られる画像信号を画像内の被写体毎に解析し、領域内のコントラスト値が最大となった際のレンズ位置をもとに、被写体毎の撮影距離情報を取得する。
【００３０】
なお、自動合焦動作として、コントラストＡＦ動作を例に挙げているが、これに限定される必要はなく、周知の瞳分割方式の位相差ＡＦ動作を用いることも可能である。この場合にも、自動合焦点動作によって、各領域の撮影距離情報を得ることができる。
【００３１】
ＣＰＵ３０は、操作部材３３の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動部１７を介して撮像光学系１５を駆動し、撮像素子１６の撮像面上に結像される被写体像を拡大、又は縮小する、光学的なズーム動作を実行する。さらに、ＣＰＵ３０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、撮像素子１６により得られる画像信号、又は記憶媒体３７に記憶される画像信号を、画像処理回路２１による解像度（画素数）変換処理によって拡大または縮小する電気的なズーム動作を制御する。
【００３２】
ワークメモリ３１は、ＣＰＵ３０にて実行される各種プログラムの演算子や、設定される撮影条件などの情報が記憶される。内蔵メモリ３２は、ＣＰＵ３０にて実行される各種プログラムが記憶される。
【００３３】
測光部３４は、ＣＭＯＳイメージセンサなどの撮像素子４１と、Ａ／Ｄ変換器４２とから構成される。撮像素子４１は、撮像素子１６と同様に、ベイヤー配列のカラーフィルタアレイを備えた単板式カラーセンサから構成される。この撮像素子４１は、撮像素子１６と同一の撮像範囲を取得する。なお、Ａ／Ｄ変換器４２は、撮像素子４１から出力されたデジタルの画像信号をアナログの画像信号に変換し、ＣＰＵ３０に出力する。
【００３４】
なお、本実施形態では、撮像素子１６の他に測光部３４を設けているが、測光部３４の機能を省略することも可能である。この場合、撮像素子１６から出力される画像信号を、後述する特徴量ベクトルを求める際に用いればよい。
【００３５】
上述したＣＰＵ３０は、画像処理回路２１にて実行されるホワイトバランス処理にて用いる調整値を算出する機能を備えている。この機能を実行するために、ＣＰＵ３０は、特徴量抽出部４５、照明色特定部４６、確度算出部４７、重み値算出部４８及び調整値算出部４９を備えている。
【００３６】
特徴量抽出部４５は、測光部３４から出力される画像信号を用いて、特徴量ベクトルを抽出する。なお、特徴量ベクトルとしては、被写体輝度、明度及び色度の平均値、標準偏差、歪度、尖度、最大値及び最小値などの統計量が挙げられる。また、この他に、総エッジ量や撮影光学系における焦点距離や被写体距離を含めることも可能である。
【００３７】
照明色特定部４６は、特徴量抽出部４５によって抽出された特徴量ベクトルを用いて、撮影シーンにおける照明色の推定色温度（推定値）Ｋを特定する。この照明色の推定値Ｋを求める方法としては、重回帰、回帰木、ニューラルネットワーク、サポートベクタマシン（ＳＶＭ）、ブースティング回帰、ベイジアンネットワークなどに挙げられる回帰モデルを用いる方法が挙げられる。
【００３８】
なお、回帰モデルとして重回帰を用いた場合には、照明色の推定値Ｋは、以下の（１）式を用いて求めることが可能である。
【００３９】
【数１】
2015106791.tif 000003
【００４０】
なお、ｎは特徴量ベクトルの数、Ｂｎ及びＣは係数である。これら係数Ｂｎ及び係数Ｃは、多数の撮影シーンにおける学習サンプルから得られる特徴量ｘ１〜ｘ１８と、撮影シーンにおける照明色の色温度とを用いた教師有り学習の手法を用いて求められる値である。
【００４１】
また、特徴量ベクトルとして、例えばｘ１は被写体輝度の平均値、ｘ２は被写体輝度の標準偏差、ｘ３は被写体輝度の歪度、ｘ４は被写体輝度の尖度、ｘ５は被写体輝度の最大値、ｘ６は被写体輝度の最小値である。また、ｘ７は明度の平均値、ｘ８は明度の標準偏差、ｘ９は明度の歪度、ｘ１０は明度の尖度、ｘ１１は明度の最大値、ｘ１２は明度の最小値である。さらに、ｘ１３は色度の平均値、ｘ１４は色度の標準偏差、ｘ１５は色度の歪度、ｘ１６は色度の尖度、ｘ１７は色度の最大値、ｘ１８は色度の最小値である。
【００４２】
確度算出部４７は、照明色の推定値Ｋが、予め設定される特定のグループに属しているかを示す確度を求める。ここで、特定のグループは、様々な撮影シーンを照明色によってグループ分けして生成されるグループである。以下、特定のグループとして、グループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５の５つのグループとした場合について説明する。なお、特定のグループを５つのグループに限定する必要はなく、６以上のグループから構成することも可能である。
【００４３】
図２は、各種の無彩色検出範囲を表す図である。これら無彩色検出範囲は黒体放射軌跡の近傍に分布した無彩色検出範囲ＣＬ，ＣＳＳＬ，ＣＨＧ，ＣＦＬ，ＣＳ，ＣＣＬ，ＣＳＨからなる。ここで、各無彩色検出範囲は、以下の範囲から設定される。
【００４４】
無彩色検出範囲ＣＬ：電球の色度範囲（電球で照らされた無彩色物体の色度範囲）
無彩色検出範囲ＣＳＳＬ：夕日の色度範囲（夕日で照らされた無彩色物体の色度範囲）
無彩色検出範囲ＣＨＧ：水銀灯の色度範囲（水銀灯で照らされた無彩色物体の色度範囲）
無彩色検出範囲ＣＦＬ：蛍光灯の色度範囲（蛍光灯で照らされた無彩色物体の色度範囲）
無彩色検出範囲ＣＳ：晴天の色度範囲（晴天下に存在する無彩色物体の色度範囲）
無彩色検出範囲ＣＣＬ：曇天の色度範囲（曇天下に存在する無彩色物体の色度範囲）
無彩色検出範囲ＣＳＨ：日陰の色度範囲（日陰で照らされた無彩色物体の色度範囲）
【００４５】
本実施形態では、７つの無彩色検出範囲ＣＬ，ＣＳＳＬ，ＣＨＧ，ＣＦＬ，ＣＳ，ＣＣＬ，ＣＳＨを例に挙げているが、これに限定される必要はなく、８種類以上の無彩色検出範囲としてもよい。
【００４６】
また、特定グループとして設定されるグループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５は、以下に示す範囲から構成される。
【００４７】
グループＧ１：照明色が無彩色検出範囲ＣＬ，ＣＳＳＬのいずれかに属するグループ
グループＧ２：照明色が無彩色検出範囲ＣＨＧに属するグループ
グループＧ３：照明色が無彩色検出範囲ＣＦＬに属するグループ
グループＧ４：照明色が無彩色検出範囲ＣＳに属するグループ
グループＧ５：照明色が無彩色検出範囲ＣＣＬ，ＣＳＨのいずれかに属するグループ
【００４８】
図３は、照明色の推定値Ｋと、上述したグループの代表色における色温度を表している。なお、矢印に示す位置が、照明色の推定値Ｋである。確度算出部４７は、例えば（２）式を用いて、照明色の推定値Ｋが特定のグループに属する確度を求める。
【００４９】
確度ＤＲｍ＝１．０−Ｄ推定値／Ｄ最大値・・・（２）
【００５０】
ここで、ｍ＝１，２，３，４，５である。また、Ｄ推定値は、照明色の推定値Ｋとグループの代表色の色温度との距離を示す。また、Ｄ最大値は、照明色の推定値Ｋとグループに含まれる色度に応じた色温度との距離が取り得る最大値を示す。つまり、グループＧ１であれば、Ｄ推定値は照明色の推定値ＫとグループＧ１の代表色の色温度との距離Ｄ１であり、Ｄ最大値は照明色の推定値ＫとグループＧ１に含まれる色度に応じた色温度との距離が取り得る最大値である。なお、これら距離としては、例えばマンハッタン距離、ユーグリッド距離、マハラノビス距離などが挙げられる。（２）式により求められる確度ＤＲｍは、照明色の推定値Ｋがグループに近ければ近いほど高い値となる。
【００５１】
重み値算出部４８は、グループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５のそれぞれに対して求めた確度ＤＲ１，ＤＲ２，ＤＲ３，ＤＲ４，ＤＲ５を用いて、これらグループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５に対するウェイト値（重み値）ＷＧ１，ＷＧ２，ＷＧ３，ＷＧ４，ＷＧ５を設定する。なお、重み値算出部４８は、（２）式により求まる確度ＤＲｍが高いほどウェイト値を高く、確度ＤＲｍが低いほどウェイト値を低く、各グループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５に対するウェイト値ＷＧ１，ＷＧ２，ＷＧ３，ＷＧ４，ＷＧ５を設定する。
【００５２】
重み値算出部４８は、グループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５に対するウェイト値ＷＧ１，ＷＧ２，ＷＧ３，ＷＧ４，ＷＧ５を設定した後、無彩色検出範囲ＣＬ，ＣＳＳＬ，ＣＨＧ，ＣＦＬ，ＣＳ，ＣＣＬ，ＣＳＨに対するウェイト値ＷＬ，ＣＳＳＬ，ＣＨＧ，ＣＦＬ，ＣＳ，ＣＣＬ，ＣＳＨをそれぞれ求める。重み値算出部４８は、無彩色検出範囲ＣＬのウェイト値ＷＬを以下の（３）式を用いて求める。
【００５３】
ＷＬ＝Ａ（ＣＬ，Ｇ１）×ＷＧ１＋Ａ（ＣＬ，Ｇ２）×ＷＧ２＋Ａ（ＣＬ，Ｇ３）×ＷＧ３＋Ａ（ＣＬ，Ｇ４）×Ｗ４＋Ａ（ＣＬ，Ｇ５）×ＷＧ５＋ｏｆｆ（ＣＬ）・・・（３）
【００５４】
ここで、係数Ａ（ＣＬ，Ｇｚ）は、無彩色検出範囲ＣＬとグループＧｚ（ｚ＝１，２，３，４，５）の類似度により決定される値である。また、ｏｆｆ（ＣＬ）は、予め設定されるオフセット量である。
【００５５】
重み値算出部４８は、無彩色検出範囲ＣＳＳＬのウェイト値ＷＳＳＬを以下の（４）式を用いて求める。
【００５６】
ＷＳＳＬ＝Ａ（ＣＳＳＬ，Ｇ１）×ＷＧ１＋Ａ（ＣＳＳＬ，Ｇ２）×ＷＧ２＋Ａ（ＣＳＳＬ，Ｇ３）×ＷＧ３＋Ａ（ＣＳＳＬ，Ｇ４）×Ｗ４＋Ａ（ＣＳＳＬ，Ｇ５）×ＷＧ５＋ｏｆｆ（ＣＳＳＬ）・・・（４）
【００５７】
ここで、係数Ａ（ＣＳＳＬ，Ｇｚ）は、無彩色検出範囲ＣＳＳＬとグループＧｚ（ｚ＝１，２，３，４，５）の類似度により決定される値である。また、ｏｆｆ（ＣＳＳＬ）は、予め設定されるオフセット量である。
【００５８】
重み値算出部４８は、無彩色検出範囲ＣＨＧのウェイト値ＷＨＧを以下の（５）式を用いて求める。
【００５９】
ＷＨＧ＝Ａ（ＣＨＧ，Ｇ１）×ＷＧ１＋Ａ（ＣＨＧ，Ｇ２）×ＷＧ２＋Ａ（ＣＨＧ，Ｇ３）×ＷＧ３＋Ａ（ＣＨＧ，Ｇ４）×Ｗ４＋Ａ（ＣＨＧ，Ｇ５）×ＷＧ５＋ｏｆｆ（ＣＨＧ）・・・（５）
【００６０】
ここで、係数Ａ（ＣＨＧ，Ｇｚ）は、無彩色検出範囲ＣＨＧとグループＧｚ（ｚ＝１，２，３，４，５）の類似度により決定される値である。また、ｏｆｆ（ＣＨＧ）は、予め設定されるオフセット量である。
【００６１】
重み値算出部４８は、無彩色検出範囲ＣＦＬのウェイト値ＷＦＬを以下の（６）式を用いて求める。
【００６２】
ＷＦＬ＝Ａ（ＣＦＬ，Ｇ１）×ＷＧ１＋Ａ（ＣＦＬ，Ｇ２）×ＷＧ２＋Ａ（ＣＦＬ，Ｇ３）×ＷＧ３＋Ａ（ＣＦＬ，Ｇ４）×Ｗ４＋Ａ（ＣＦＬ，Ｇ５）×ＷＧ５＋ｏｆｆ（ＣＦＬ）・・・（６）
【００６３】
ここで、係数Ａ（ＣＦＬ，Ｇｚ）は、無彩色検出範囲ＣＦＬとグループＧｚ（ｚ＝１，２，３，４，５）の類似度により決定される値である。また、ｏｆｆ（ＣＦＬ）は、予め設定されるオフセット量である。
【００６４】
重み値算出部４８は、無彩色検出範囲ＣＳのウェイト値ＷＳを以下の（７）式を用いて求める。
【００６５】
ＷＳ＝Ａ（ＣＳ，Ｇ１）×ＷＧ１＋Ａ（ＣＳ，Ｇ２）×ＷＧ２＋Ａ（ＣＳ，Ｇ３）×ＷＧ３＋Ａ（ＣＳ，Ｇ４）×Ｗ４＋Ａ（ＣＳ，Ｇ５）×ＷＧ５＋ｏｆｆ（ＣＳ）・・・（７）
【００６６】
ここで、係数Ａ（ＣＳ，Ｇｚ）は、無彩色検出範囲ＣＳとグループＧｚ（ｚ＝１，２，３，４，５）の類似度により決定される値である。また、ｏｆｆ（ＣＳ）は、予め設定されるオフセット量である。
【００６７】
重み値算出部４８は、無彩色検出範囲ＣＣＬのウェイト値ＷＣＬを以下の（８）式を用いて求める。
【００６８】
ＷＣＬ＝Ａ（ＣＣＬ，Ｇ１）×ＷＧ１＋Ａ（ＣＣＬ，Ｇ２）×ＷＧ２＋Ａ（ＣＣＬ，Ｇ３）×ＷＧ３＋Ａ（ＣＣＬ，Ｇ４）×Ｗ４＋Ａ（ＣＣＬ，Ｇ５）×ＷＧ５＋ｏｆｆ（ＣＣＬ）・・・（８）
【００６９】
ここで、係数Ａ（ＣＣＬ，Ｇｚ）は、無彩色検出範囲ＣＣＬとグループＧｚ（ｚ＝１，２，３，４，５）の類似度により決定される値である。また、ｏｆｆ（ＣＣＬ）は、予め設定されるオフセット量である。
【００７０】
重み値算出部４８は、無彩色検出範囲ＣＳＨのウェイト値ＷＳＨを以下の（９）式を用いて求める。
【００７１】
ＷＳＨ＝Ａ（ＣＳＨ，Ｇ１）×ＷＧ１＋Ａ（ＣＳＨ，Ｇ２）×ＷＧ２＋Ａ（ＣＳＨ，Ｇ３）×ＷＧ３＋Ａ（ＣＳＨ，Ｇ４）×Ｗ４＋Ａ（ＣＳＨ，Ｇ５）×ＷＧ５＋ｏｆｆ（ＣＳＨ）・・・（９）
【００７２】
ここで、係数Ａ（ＣＳ，Ｇｚ）は、無彩色検出範囲ＣＳＨとグループＧｚ（ｚ＝１，２，３，４，５）の類似度により決定される値である。また、ｏｆｆ（ＣＳＨ）は、予め設定されるオフセット量である。
【００７３】
調整値算出部４９は、操作部材３３の一部であるレリーズボタンが全押し操作されたときに実行される撮像処理により得られた画像（以下、本画像）を複数の小領域に分割し、分割した小領域の平均色度を小領域毎に算出する。そして、調整値算出部４９は、小領域毎に求めた平均色度に応じて、小領域を色度座標上へ写像する。調整値算出部４９は、各小領域の中から無彩色検出範囲ＣＬ，ＣＳＳＬ，ＣＨＧ，ＣＦＬ，ＣＳ，ＣＣＬ，ＣＳＨに写像される小領域を用いて、色度座標上の重心位置を算出する。この際、個々の無彩色検出範囲ＣＬ，ＣＳＳＬ，ＣＨＧ，ＣＦＬ，ＣＳ，ＣＣＬ，ＣＳＨに写像される小領域の個数（頻度）には、重み算出部４８にて算出したウェイト値ＷＬ，ＷＳＳＬ，ＷＨＧ，ＷＦＬ，ＷＳ，ＷＣＬ，ＷＳＨがそれぞれ乗算される。つまり、無彩色検出範囲ＣＬに写像される小領域の頻度にはウェイト値ＷＬが乗算され、無彩色検出範囲ＣＳＳＬに写像される小領域の頻度にはウェイト値ＷＳＳＬが乗算され、無彩色検出範囲ＣＨＧに写像される小領域の頻度にはウェイト値ＷＨＧが乗算され、無彩色検出範囲ＣＦＬに写像される小領域の頻度にはウェイト値ＷＦＬが乗算され、無彩色検出範囲ＣＳに写像される小領域の頻度にはウェイト値ＷＳが乗算され、無彩色検出範囲ＣＣＬに写像される小領域の頻度にはウェイト値ＷＣＬが乗算され、無彩色検出範囲ＣＳＨに写像される小領域の頻度にはウェイト値ＷＳＨが乗算される。
【００７４】
調整値算出部４９は、色度座標上の重心位置を算出した後、算出した重心位置に相当する色度が、照明色特定部４６により求めた照明色の推定値Ｋの色度となるように、ホワイトバランス処理の調整値を求める。
【００７５】
次に、撮影時におけるホワイトバランス処理に係る処理の流れについて、図４のフローチャートに基づいて説明する。
【００７６】
ステップＳ１０１は、レリーズボタンの半押し操作があるか否かを判定する処理である。操作部材３３の一部であるレリーズボタンには、その半押し操作を検知する第１のセンサが設けられている。レリーズボタンが半押し操作されると、第１のセンサがオンとなり、その操作信号が、ＣＰＵ３０に出力される。ＣＰＵ３０は、第１のセンサからの操作信号が入力されるか否かにより、ステップＳ１０１の判定処理を実行する。第１のセンサからの操作信号が入力されている場合、ＣＰＵ３０は、ステップＳ１０１の判定処理の結果をＹｅｓとする。したがって、ステップＳ１０２に進む。一方、第１のセンサからの操作信号が入力されていない場合、ＣＰＵ３０は、ステップＳ１０１の判定処理の結果をＮｏとする。この場合、図４のフローチャートの処理が終了する。
【００７７】
ステップＳ１０２は、測光処理である。ＣＰＵ３０は、測光部３４を動作させる。これにより、被写界の画像信号が取得される。この被写界の画像信号は、ＣＰＵ３０に入力される。
【００７８】
ステップＳ１０３は、特徴量ベクトルを抽出する処理である。ＣＰＵ３０は、入力された被写界の画像信号から特徴量ベクトルを求める。なお、この特徴量ベクトルは、学習時に使用される特徴量ベクトルと同じベクトル成分である。
【００７９】
ステップＳ１０４は、照明色の推定値Ｋを算出する処理である。ＣＰＵ３０は、ステップＳ１０３にて求めた特徴量ベクトルと、教師有り学習にて求めた係数とを用いた（１）式により、照明色の推定値Ｋを算出する。
【００８０】
ステップＳ１０５は、レリーズボタンの全押し操作があるか否かを判定する処理である。操作部材の一部であるレリーズボタンには、上述した第１のセンサの他に、レリーズボタンの全押し操作を検知する第２のセンサを備えている。レリーズボタンが全押し操作されると、第１のセンサ及び第２のセンサがそれぞれオンとなる。そして、これら操作信号がＣＰＵ３０に出力される。ＣＰＵ３０は、第１のセンサ及び第２のセンサからの操作信号がそれぞれ入力されているか否かにより、ステップＳ１０５の判定処理を実行する。第１のセンサ及び第２のセンサからの操作信号がそれぞれ入力されている場合、ＣＰＵ３０は、ステップＳ１０５の判定処理の結果をＹｅｓとする。したがって、ステップＳ１０７に進む。一方、第１のセンサ及び第２のセンサからの操作信号が入力されていない場合、言い換えれば、第２のセンサからの操作信号が入力されていない場合、ＣＰＵ３０は、ステップＳ１０５の判定処理の結果をＮｏとする。この場合、ステップＳ１０６に進む。
【００８１】
ステップＳ１０６は、レリーズボタンの半押し操作が解除されたか否かを判定する処理である。レリーズボタンの半押し操作が解除されると、上述した第１のセンサからの操作信号が入力されなくなる。したがって、ＣＰＵ３０は、ステップＳ１０６の判定処理をＹｅｓとする。この場合、図４のフローチャートの処理が終了する。一方、第１のセンサからの操作信号が入力されていれば、ＣＰＵ３０は、ステップＳ１０６の判定処理をＮｏとする。この場合、ステップＳ１０２に戻る。
【００８２】
ステップＳ１０７は、撮像処理である。ＣＰＵ３０は、撮像処理を実行する。これにより、本画像が取得される。
【００８３】
ステップＳ１０８は、照明色の推定値Ｋを用いて各グループの確度を算出する処理である。ＣＰＵ３０は、照明色の推定値Ｋが特定のグループに属する確度をグループ毎に求める。なお、特定のグループに属する確度は、上述した（２）式を用いて実行することで求められる。本実施形態では、ステップＳ１０８の処理により、グループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５に対する確度ＤＲ１，ＤＲ２，ＤＲ３，ＤＲ４，ＤＲ５が求められる。
【００８４】
ステップＳ１０９は、無彩色検出範囲毎のウェイト値を算出する処理である。ＣＰＵ３０は、グループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５に対して求めた確度ＤＲ１，ＤＲ２，ＤＲ３，ＤＲ４，ＤＲ５を用いて、各グループに対するウェイト値ＷＧ１，ＷＧ２，ＷＧ３，ＷＧ４，ＷＧ５を求める。これらウェイト値ＷＧ１，ＷＧ２，ＷＧ３，ＷＧ４，ＷＧ５を求めた後、ＣＰＵ３０は、上述した（３）式から（９）式を用いて、無彩色検出範囲ＣＬ，ＣＳＳＬ，ＣＨＧ，ＣＦＬ，ＣＳ，ＣＣＬ，ＣＳＨに対するウェイト値ＷＬ，ＷＳＳＬ，ＷＨＧ，ＷＦＬ，ＷＳ，ＷＣＬ，ＷＳＨを算出する。
【００８５】
ステップＳ１１０は、本画像を分割する処理である。ＣＰＵ３０は、ステップＳ１０７の撮像処理により取得した本画像を複数の小領域に分割する。
【００８６】
ステップＳ１１１は、無彩色検出範囲に写像される小領域の重心位置を算出する処理である。ＣＰＵ３０は、ステップＳ１１０にて求めた各小領域の平均色度を算出する。そして、ＣＰＵ３０は、求めた各小領域の平均色度に応じて各小領域を色度座標上へ写像する。これにより、各無彩色検出範囲ＣＬ，ＣＳＳＬ，ＣＨＧ，ＣＦＬ，ＣＳ，ＣＣＬ，ＣＳＨの頻度が求められる。ＣＰＵ３０は、求めた各無彩色検出範囲ＣＬ，ＣＳＳＬ，ＣＨＧ，ＣＦＬ，ＣＳ，ＣＣＬ，ＣＳＨの頻度に対して、ステップＳ１０９にて求めたウェイト値ＷＬ，ＷＳＳＬ，ＷＨＧ，ＷＦＬ，ＷＳ，ＷＣＬ，ＷＳＨをそれぞれ乗算した後、色度座標上の重心位置を算出する。
【００８７】
ステップＳ１１２は、ホワイトバランス調整値を算出する処理である。ＣＰＵ４０は、求めた重心位置に相当する色度が、照明色の推定値Ｋの色度となるように、ホワイトバランス処理の調整値を求める。
【００８８】
ステップＳ１１３は、ホワイトバランス調整である。ＣＰＵ３０は、算出されたホワイトバランス調整値を画像処理回路２１に出力する。画像処理回路２１は、本画像に対してホワイトバランス調整処理を行う。なお、画像処理回路２１は、ホワイトバランス調整処理を行った本画像に対して、他の画像処理を実行する。この画像処理が施された本画像は、圧縮伸長回路２２により圧縮符号化処理が施された後、記憶媒体３７に記憶される。
【００８９】
ここで、従来の手法では、特定のグループに属する特徴量ベクトルと、そのグループに属さない特徴量ベクトルとの間のマージンが最大となるような超平面をグループ毎に求め、撮影シーンの特徴量ベクトルとこれら超平面との距離との比較から、撮影シーンにおける色温度が特定グループのいずれかに属しているかを判定し、判定した結果に基づいてホワイトバランス調整値を求めている。したがって、この特定グループのいずれかに属しているかの判定を誤ってしまうと、撮影シーンに適していないホワイトバランス調整値を算出してしまう恐れがある。その結果、撮像処理により得られた画像にホワイトバランス処理を施すと、色の偏りが生じてしまう。
【００９０】
しかしながら、本実施形態では、被写界の画像信号から求めた特徴量ベクトル及び教師有り学習にて求めた係数を用いて、照明色の推定値Ｋを予め求めている。そして、予め求めた照明色の推定値Ｋが特定グループのいずれかに属しているかを判定している。したがって、上記判定で用いる値は、照明色の推定値Ｋのみであることから、適切に判定処理が行われやすくなる。したがって、撮影時の撮影シーンに適したホワイトバランス調整値を算出することが可能となる。また、求めた照明色の推定値Ｋに対する特定グループ及び無彩色調整範囲の判別を行うことから、特定グループ及び無彩色調整範囲を細かく設定することができ、ホワイトバランス処理に用いる調整値をより精度良く求めることができる。その結果、ホワイトバランス処理が施された画像における色の偏りの発生を低減させることができる。
【００９１】
本実施形態では、照明色の推定値Ｋと特定グループの代表色との距離に基づいて確度を求めた後、特定グループのそれぞれに対するウェイト値を求めているが、これに限定する必要はなく、照明色の推定値Ｋが特定グループのいずれかに含まれるか否かを判定し、照明色の推定値が含まれる特定グループに対するウェイト値を高く、他の特定グループに対するウェイト値を低く設定してもよい。
【００９２】
例えば、図５に示すように、特定グループＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５に対する色温度に対して、特徴量ベクトルから求まる照明色の推定値Ｋが矢印に示す値である場合、照明色の推定値Ｋは、グループＧ３に属していることになる。この場合、ウェイト値を０から１の範囲で設定する場合には、グループＧ３に対するウェイト値を１とし、特定グループＧ１，Ｇ２，Ｇ４，Ｇ５に対するウェイト値を０とする。
【００９３】
また、本実施形態では、本画像を分割した複数の小領域の色度を色度座標上に写像して各無彩色検出範囲の頻度を求め、求めた各無彩色検出範囲の頻度と各無彩色検出範囲のウェイト値とを乗算した上で重心位置を求めている。しかしながら、照明色の推定値Ｋが含まれるグループの無彩色検出範囲に写像される小領域のみを用いて重心位置を求めることも可能である。この場合、照明色の推定値Ｋが含まれるグループのみを用いるので、撮影シーンに適したホワイトバランス調整値を求めることができる。
【００９４】
本実施形態では、測光部からの画像信号から得られる特徴量ベクトルと、教師有り学習から得られる係数Ｂｎ及びＣとを用いて、照明色の推定色温度の値Ｋを求めているが、これに限定される必要はなく、照明色の値（Ｒ値，Ｇ値及びＢ値）や照明色の色度を求めることも可能である。
【符号の説明】
【００９５】
１０…撮像装置、１５…撮像光学系、１６，４１…撮像素子、２１…画像処理回路、３０…ＣＰＵ、３４…測光部、４５…特徴量抽出部、４６…照明色推定部、４７…確度算出部、４８…重み値算出部、４９…調整値算出部
【図１】
2015106791.tif 000004
【図２】
2015106791.tif 000005
【図３】
2015106791.tif 000006
【図４】
2015106791.tif 000007
【図５】
2015106791.tif 000008