(57)【要約】【課題】光源下の白色と間違えやすい被写体があるときでも、白色かどうかを判別して信頼度を高精度で算出することができる撮像装置などを提供する。【解決手段】撮像装置１０は、入力画像から、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出する白抽出手段１２３と、抽出された白画素の値に基づいて、入力画像に対するホワイトバランスゲインを算出するホワイトバランスゲイン算出手段１２４と、白抽出手段１２３による白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出する信頼度算出手段１２５と、白抽出信頼度に基づいて、ホワイトバランスゲインを補正するホワイトバランスゲイン補正手段１２６とを備える【選択図】図１
2016096474.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出する白抽出手段と、
前記抽出された白画素の値に基づいて、前記入力画像に対するホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
前記白抽出手段による白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出する信頼度算出手段と、
前記白抽出信頼度に基づいて、前記ホワイトバランスゲインを補正するホワイトバランスゲイン補正手段と
を備える撮像装置。
【請求項２】
前記所定の条件が、
所定の検波設定を通過したカウント数と、前記ホワイトバランスゲインの色温度と、被写体輝度と、撮影感度とである
請求項１記載の撮像装置。
【請求項３】
前記信頼度算出手段は、前記輝度の所定の範囲において、前記輝度が大きいほど前記白抽出信頼度を大きくする
請求項２記載の撮像装置。
【請求項４】
前記信頼度算出手段は、前記撮影感度の所定の範囲において、前記撮影感度が大きいほど前記白抽出信頼度を小さくする
請求項２または請求項３記載の撮像装置。
【請求項５】
入力画像から、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出するステップと、
前記抽出された白画素の値に基づいて、前記入力画像に対するホワイトバランスゲインを算出するステップと、
前記白画素を抽出するステップによる白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出するステップと、
前記白抽出信頼度に基づいて、前記ホワイトバランスゲインを補正するステップと
を有する撮像装置の撮像方法。
【請求項６】
コンピュータに、
入力画像から、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出する手順と、
前記抽出された白画素の値に基づいて、前記入力画像に対するホワイトバランスゲインを算出する手順と、
前記白画素を抽出する手順による白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出する手順と、
前記白抽出信頼度に基づいて、前記ホワイトバランスゲインを補正する手順とを実行させるためのプログラム。
【請求項７】
請求項６記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、撮像方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
撮像素子の出力を用いてホワイトバランスを調整する手法として、入力画像中から白と思われる色を抽出し、抽出した色が実際に白になるようにホワイトバランスゲインを算出するものがある。しかし、この手法では、白い被写体が画像中に存在しない場合や、白に近いが実際には白ではない被写体が多く含まれる場合などにおいて、光源色の推定精度、すなわち、ホワイトバランス調整の精度が低下する。
【０００３】
そこで、特許文献１には、撮像装置において、白抽出手段による白画素の抽出の信頼度である白抽出信頼度を、あらかじめ定めた条件に基づいて算出することが記載されている。この撮像装置による白抽出信頼度の算出方法はつぎの通りである。
【０００４】
・画像全体の画素数に対する、白抽出範囲に含まれる色を有する画素数の割合により信頼度を算出する。白抽出範囲に含まれる色を有する画素の割合が増えるにしたがって信頼度を増加させる。
【０００５】
・白抽出範囲に含まれる色を有する画素値の分布の広がり度により信頼度を算出する。広がり度が大きいということは、白抽出範囲において画素値が分散しているということであり、広がり度が増えるにしたがって信頼度を減少させる
【０００６】
・白抽出範囲に含まれる色を有する画素数に対する、白と誤判定しやすい色の領域に含まれる画素数の割合により信頼度を算出する。白と誤判定しやすい色の領域に含まれる画素の割合が増えるにしたがって信頼度を減少させる
【０００７】
そして、各信頼度を乗算して最終的な白抽出信頼度を算出する。
また、算出した白抽出信頼度に基づいて、あらかじめ算出したホワイトバランスゲインと太陽光に基づくホワイトバランスゲインとを混合することによりホワイトバランスゲイン算出の精度を向上させる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１４−００７５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の撮像装置では、白と誤判定しやすい被写体と、正しい光源下の白色とが同時に存在していたときに、白抽出範囲に含まれる色を有する画素値の分布の広がり度が大きくなることから信頼度が減少し、また、白と誤判定しやすい色の領域に含まれる画素数も多くなることから更に信頼度が減少する。このため、正しい白色を抽出できていたとしても信頼度が低くなる可能性がある。
【００１０】
本発明は、このような問題を解決するためになされたものであり、光源下の白色と間違えやすい被写体があるときでも、白色かどうかを判別して信頼度を高精度で算出することができる撮像装置、撮像方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る撮像装置は、入力画像から、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出する白抽出手段と、抽出された白画素の値に基づいて、入力画像に対するホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、白抽出手段による白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出する信頼度算出手段と、白抽出信頼度に基づいて、ホワイトバランスゲインを補正するホワイトバランスゲイン補正手段とを備えるものである。
【００１２】
この構成により、光源下の白色と間違えやすい被写体があるときでも、白色かどうかを判別して信頼度を高精度で算出することができる。
【００１３】
また、本発明に係る撮像方法は、入力画像から、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出するステップと、抽出された白画素の値に基づいて、入力画像に対するホワイトバランスゲインを算出するステップと、白抽出手段による白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出するステップと、白抽出信頼度に基づいて、ホワイトバランスゲインを補正するステップとを有するものである。
【００１４】
この構成により、光源下の白色と間違えやすい被写体があるときでも、白色かどうかを判別して信頼度を高精度で算出することができる。
【００１５】
また、本発明に係るプログラムは、コンピュータに、入力画像から、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出する手順と、抽出された白画素の値に基づいて、入力画像に対するホワイトバランスゲインを算出する手順と、白抽出手段による白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出する手順と、白抽出信頼度に基づいて、ホワイトバランスゲインを補正する手順とを実行させるためのものである。
【００１６】
この構成により、光源下の白色と間違えやすい被写体があるときでも、白色かどうかを判別して信頼度を高精度で算出することができる。
【発明の効果】
【００１７】
本発明により、光源下の白色に間違いやすい被写体があるときでも、白色かどうかを判別して信頼度を高精度で算出することができる撮像装置、撮像方法、プログラム及び記憶媒体を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態に係る撮像装置１０の概略構成を示す図である。
【図２】実施の形態に係る撮像装置１０の色検出枠設定を示す図である。
【図３】実施の形態に係る面積率信頼度の算出方法を説明するための図である。
【図４】実施の形態に係る色温度信頼度の算出方法を説明するための図である。
【図５】実施の形態に係るＢＶ信頼度の算出方法を説明するための図である。
【図６】実施の形態に係るＳＶ信頼度の算出方法を説明するための図である。
【図７】実施の形態に係る撮像方法の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本実施の形態に係る撮像装置及び撮像方法について説明する。
まず、本実施の形態に係る撮像装置及び撮像方法の概要を説明する。
一般に、オートホワイトバランス処理では様々な手法を用いて光源の判定が行なわれているが、ブロック積分のように既に積分された後の検波値は小面積部分の情報が失われているため、もしも画角内に無彩色表面があっても、これを検出できないことがあった。
【００２０】
このため、画像内の高輝度の白色部分と思われる画素だけを積分し、その検波値からＲＧＢバランスを算出する方法がある。搭載する撮像系の応答特性はあらかじめ分かるために、撮影され得る照明光源のＲＧＢバランスの想定範囲を見積もり、選択的に検波を行うことによって、有利な推定精度を確保することができる。
【００２１】
しかし、このような方法では有彩色表面の拡散反射が検出される場合があった。その場合に、取得されるＲＧＢバランスから算出されるホワイトバランスゲインは実際の光源のホワイトバランスゲインとはならないために、当該ホワイトバランスゲインを用いて撮像画像のホワイトバランス補正をすると失敗画像になる。特に、光源下の白色と誤判定しやすい被写体の場合に失敗画像になることが多かった。
【００２２】
そこで、本実施の形態に係る撮像装置及び撮像方法は、光源下の白色に間違いやすい被写体があるときでも、本当に白色かどうかを判別して、白抽出信頼度を高精度で算出することができるようにするものである。
【００２３】
なお、ＲＧＢバランスが無彩色の情報であることの信頼度は、以下の要素から算出することができる。
・各検波設定を通過したカウント数から算出した面積率
・ホワイトバランスゲインの色温度
・ＢＶ値（被写体輝度）
・ＳＶ値（感度）
【００２４】
つぎに、本実施の形態に係る撮像装置の構成について説明する。
図１は、本実施の形態に係る撮像装置１０の概略構成を示す図である。
撮像装置１０は、撮像部１０１、信号処理部１０２、前処理部１０３、画像メモリ１０４、適正ＡＥ算出部１０５、オートホワイトバランス処理部（ＡＷＢ処理部）１０６、後処理部１０７、ＲＧＢ→ＹＣＣ変換部１０８、データ圧縮部１０９、メモリカードインタフェース１１０、メモリカード１１１などを備えている。
【００２５】
撮像部１０１は、レンズ、絞り、シャッター、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ等の撮像素子、露光制御部、フラッシュなどを有している。
信号処理部１０２は、撮像部１０１の撮像素子から出力された出力信号に対して信号処理を行う処理部であり、Ａ／Ｄ変換処理を行うＡ／Ｄ変換部などを有している。
【００２６】
前処理部１０３は、信号処理部１０２から出力されたＲＧＢ画像信号に対して、前処理を施す処理部であり、ＡＥ評価値算出部、シェーディング補正部などを有している。
画像メモリ１０４は、前処理部１０３による各種の前処理が施されたＲＧＢ信号を記憶部する記憶部である。
【００２７】
適正ＡＥ算出部１０５は、前処理部１０３のＡＥ評価値算出部から出力されたＡＥ評価値に基づいて、撮像条件に適したＡＥ値を算出し、撮像部１０１の露光制御部に出力する。
オートホワイトバランス処理部１０６は、実際の撮像画像を用いて、ホワイトバランス補正処理に用いるホワイトバランスゲインを算出する処理部である。オートホワイトバランス処理部１０６は、輝度算出部１２１、色相算出部１２２、白抽出部１２３、ホワイトバランスゲイン算出部（ＷＢゲイン算出部）１２４、信頼度算出部１２５、ホワイトバランスゲイン補正部（ＷＢゲイン補正部）１２６などを有している。オートホワイトバランス処理部１０６については後で詳述する。
【００２８】
後処理部１０７は、前処理部１０３により前処理が施されたＲＧＢ画像信号に対して、各種の後処理を実施する処理部であり、ホワイトバランス制御部１３１などを有する。ホワイトバランス制御部１３１は、オートホワイトバランス処理部１０６が算出したホワイトバランスゲインを入力し、当該ホワイトバランスゲインを用いて、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施する。
【００２９】
ＲＧＢ→ＹＣＣ変換部１０８は、ＲＧＢ画像信号をＹＣＣ画像信号へと変換する処理部である。
データ圧縮部１０９は、ＹＣＣ画像信号を、必要に応じてＪＰＥＧ等の各種の圧縮形式で圧縮する処理部である。必要に応じて圧縮されたＹＣＣ画像信号は、メモリカードインタフェース１１０を介してメモリカード１１１に記録される。
【００３０】
以上、撮像装置１０の構成について簡単に説明したが、オートホワイトバランス処理部１０６を除く、各構成の詳細については、例えば、特開２０１４−１２０８１３号公報を参考にされたい。
【００３１】
つぎに、オートホワイトバランス処理部１０６について説明する。
前述したように、オートホワイトバランス処理部１０６は、輝度算出部１２１、色相算出部１２２、白抽出部１２３、ホワイトバランスゲイン算出部１２４、信頼度算出部１２５、ホワイトバランスゲイン補正部１２６などを有している。
【００３２】
輝度算出部１２１は撮像画像から被写体の輝度を算出する。また、色相算出部１２２は撮像画像から被写体の画素の色相を算出する。
白抽出部１２３は、輝度算出部１２１及び色相算出部１２２が撮像画像から算出した輝度及び色相と、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出する。
【００３３】
ホワイトバランスゲイン算出部１２４は、白抽出部１２３により抽出された白画素の値に基づいて、被写体の光源を判別し、判別した光源に対応するホワイトバランスゲインＲａ、Ｇａ、Ｂａを選択する。
信頼度算出部１２５は、白抽出部１２３による白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出する。
【００３４】
ホワイトバランスゲイン補正部１２６は、信頼度算出部１２５が算出した白抽出信頼度に基づいて、ホワイトバランスゲイン算出部１２４が選択したホワイトバランスゲインＲａ、Ｇａ、Ｂａを補正する。
なお、オートホワイトバランス処理部１０６が実現する各構成要素は、例えば、コンピュータであるオートホワイトバランス処理部１０６が備える演算装置（図示せず）の制御によって、プログラムを実行させることにより実現できる。
【００３５】
より具体的には、オートホワイトバランス処理部１０６は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
【００３６】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
【００３７】
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００３８】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
【００３９】
つぎに、輝度算出部１２１、色相算出部１２２、白抽出部１２３及びホワイトバランスゲイン算出部１２４の処理内容について詳細に説明する。
図２は、本実施の形態に係る撮像装置１０の色検出枠設定を示す図である。横軸はｌｏｇＲ/Ｇ値を示し、縦軸はｌｏｇＢ/Ｇ値を示す。
検波の評価平面としてＲ／Ｇ−Ｂ／Ｇなどの色空間を用いる。この検波設定機能により、各光源の灰色（グレイ）が分布する領域（Ａｒｅａ）を光源種類別に分割するように、表１に示す６種類の色検出枠設定を用いる。
【００４０】
【表１】
2016096474.tif 000003
【００４１】
このうち、積分対象としての適用は、Ａｒｅａ個別ではなく、表２に示す３種類の組み合わせとする。
【００４２】
【表２】
2016096474.tif 000004
【００４３】
従来の定義では光源色に依らず無彩色表面部分から光源色を検出することが理想的であり、上記一般光源色の範囲が検出対象になるが、検出対象である光源色と有彩色物体表面との識別が困難な場合があり、特に茶褐色系の被写体が存在するような低色温度領域を中心に光源色推定誤差が発生し得る。
そのため、全領域を低色温度側かどうかで区別した情報も得て、検出結果の信頼度判定に利用する。
【００４４】
最終的には表３に示すＮｏ．１（高輝度＆一般光源色）のＲＧＢ積分結果からＲＧＢバランス情報を取得する。また、その信頼度情報を算出するために、輝度の範囲設定と色の範囲設定とを変えたＮｏ．２（高輝度＆中高色温度光源色）、Ｎｏ．３（全輝度＆中高色温度光源色）の２種類の情報を取得し、合計３種類の検波を行う。
【００４５】
【表３】
2016096474.tif 000005
【００４６】
このように、高輝度で色検出枠設定された情報を取得することにより、画像内の白色部分のみを取得することができる。この場合、他の光源色に似た情報が分散されて存在していたときでも白色部分のみを取得することができる。
【００４７】
ここで、さらに、信頼度算出のために、低色温度光源色（Ａｒｅａ４〜５）かつ高輝度(中間〜上限)の条件を持つ低色温度下の白色表面の画素情報も取得するが、この情報は検波する代わりに、表３のＮｏ.１（高輝度＆一般光源色）とＮｏ.２（高輝度＆中高色温度光源色）の情報から算出する。
【００４８】
算出する式はＮｏ.１（高輝度＆一般光源色）をAllTemp、Ｎｏ.２（高輝度＆中高色温度光源色）をHighTemp、高輝度＆低色温度光源色をLowTempとして式（１）のように各検波値をＲＧｒＧｂＢ別に算出し、またカウントCountも同様に算出する。
【００４９】
【数１】
2016096474.tif 000006
【００５０】
つぎに、信頼度算出部１２５の処理内容について詳細に説明する。
信頼度算出部１２５が最終的に出力する、ホワイトバランスゲイン（ＲＧＢゲイン）に対する白抽出信頼度（Total Relialibity）は、表４に示す４つの要素から算出することができる。
【００５１】
【表４】
2016096474.tif 000007
【００５２】
白抽出信頼度は、各要素の信頼度を乗算して算出する。また、各要素の信頼度は０．０〜１．０の間で表す。
つぎに、信頼度算出部１２５における上記４つの要素の信頼度の算出方法について説明する。
【００５３】
（面積率信頼度）
表３に示したＮｏ．1（高輝度＆一般光源色）及びＮｏ．３（前輝度＆中高色温度光源色）の面積率を求める。面積率(AreaRate)は式（２）のように各通過カウント数(GateThroughCount)を全画素数(AllAreaCount)で除算して求める。
【００５４】
【数２】
2016096474.tif 000008
【００５５】
図３は、本実施の形態に係る面積率信頼度の算出方法を説明するための図である。縦軸は面積率(AreaRate)値を示し、横軸は面積率信頼度(Area Reliability)値を示す。
面積率信頼度は、図３に示すように、面積率に応じて線形補間により求めることができる。すなわち、面積率信頼度は式（３）により算出される。なお、Area Threshold 1, 2はそれぞれ調整量である。
【００５６】
【数３】
2016096474.tif 000009
【００５７】
Ｎｏ.１（高輝度＆一般光源色）及びＮｏ.３（前輝度＆中高色温度光源色）の面積率信頼度の評価基準は次の通りである。
・Ｎｏ.１（高輝度＆一般光源色）の面積率信頼度
Ｎｏ.１（高輝度＆一般光源色）から算出したホワイトバランスゲインが信頼できるかどうかを表す信頼度となる。面積率が低いとノイズの影響が大きくなるために信頼度を低くする。面積率が高いとノイズの影響が少ないために信頼度を高くする。
【００５８】
・Ｎｏ.３（全輝度＆中高色温度光源色）の面積率信頼度
画像の光源色温度が中高色温度であるかどうかを表す信頼度となる。面積率が低いとノイズの影響が大きくなるために信頼度を低くする。面積率が高いとノイズの影響が少なく、また、画像の光源色温度が中高色温度である可能性が高くなるために信頼度を高くする。
このようにして、面積率信頼度を算出することができる。
【００５９】
（色温度信頼度）
ここでは、輝度レベルとしては高輝度のみを対象にし、表３に示したＮｏ．１（高輝度＆一般光源色）に対する信頼度を評価するが、そのときにＡｒｅａで色領域を区別した検波結果を利用する。Ｎｏ．１（一般光源色）の結果が、Ｎｏ．２（中高色温度光源色）に近いか、または式（１）で算出した（低色温度光源色）に近いかを判定する。
【００６０】
Ｎｏ．２（中高色温度光源色）の検波結果には茶褐色系被写体の影響が表れないため、Ｎｏ．１（一般光源色）の色温度がＮｏ．２（中高色温度光源色）に近ければＮｏ．１（一般光源色）の信頼度を高くする。
【００６１】
各検波値同士の位置関係を判定するため、式（４）、式（５）のようにR/G、B/Gを算出する。Average( )は、（  ）内の値の平均値を算出する関数とする。
【００６２】
【数４】
2016096474.tif 000010
【数５】
2016096474.tif 000011
【００６３】
ただし、Ｎｏ．２（中高色温度光源色）と（低色温度光源色）との和がＮｏ．１（一般光源色）であることから、３点が直線上に位置するために、１次元で距離判定を行うことができる。
そこでB/Gを用いて、式（６）によるＮｏ．１（高輝度＆一般光源色）とＮｏ．２（高輝度＆中高色温度光源色）との距離(HighTempDistance)、及び、式（７）によるＮｏ．１（高輝度＆一般光源色）と（高輝度＆低色温度光源色）との距離(LowTempDistance)を算出する。
【００６４】
【数６】
2016096474.tif 000012
【数７】
2016096474.tif 000013
【００６５】
また、HighTempDistanceとLowTempDistanceとの距離の差分(DistanceSub)を式（８）のように算出する。
【００６６】
【数８】
2016096474.tif 000014
【００６７】
図４は、本実施の形態に係る色温度信頼度の算出方法を説明するための図である。横軸は距離の差分(DistanceSub)を示し、縦軸は色温度信頼度(Color Temp Reliability)を示す。
色温度信頼度は、図４に示すように、距離の差分に応じて線形補間により求めることができる。すなわち、色温度信頼度は式（９）により算出される。なお、DistanceSub Threshold 1, 2はそれぞれ調整量である。
【００６８】
【数９】
2016096474.tif 000015
【００６９】
算出した色温度信頼度は、Ｎｏ．２（高輝度＆中高色温度光源色）を基準として算出しているために中高色温度光源色の信頼度となる。Ｎｏ．１（高輝度＆一般光源色）とＮｏ．２（高輝度＆中高色温度光源色）との距離の差分、Ｎｏ．１（高輝度＆一般光源色）と（高輝度＆低色温度光源色）との距離の差分の評価基準は次の通りである。
【００７０】
・Ｎｏ．２（高輝度＆中高色温度光源色）の色温度信頼度
距離差分が大きいほど中高色温度光源色である可能性が高いため信頼度を高くする。逆に、距離差分が小さいほど低色温度光源色である可能性が高いため信頼度を低くする。
【００７１】
・（高輝度＆低色温度光源色）の色温度信頼度
低色温度光源色である色温度信頼度は式（１０）で算出される。
【００７２】
【数１０】
2016096474.tif 000016
【００７３】
このように、中高色温度光源色と低色温度光源色とを判別することにより、別の光源として誤判定しやすい茶褐色系の被写体があったときでも、高精度で信頼度を算出することができる。
このようにして、色温度信頼度を算出することができる。
【００７４】
（ＢＶ信頼度）
ＢＶ値に応じてＢＶ信頼度(BV Reliability)を算出する。
図５は、本実施の形態に係るＢＶ信頼度の算出方法を説明するための図である。縦軸はＢＶ値を示し、横軸はＢＶ信頼度(BV Reliability)値を示す。
【００７５】
ＢＶ信頼度は、図５に示すように、ＢＶに応じて線形補間により求めることができる。すなわち、ＢＶ信頼度は式（１１）により算出される。なお、BV Threshold 1, 2はそれぞれ調整量である。
【００７６】
【数１１】
2016096474.tif 000017
【００７７】
ＢＶ信頼度の評価基準は次の通りである。
・ＢＶ信頼度
ＢＶが高い場合は屋外である可能性が高い。屋外の場合、一般光源色（Ａｒｅａ０〜５）全体の検波結果では、自然光下の白色表面よりも有彩色表面や空などを含む確率が高まるために信頼度を低くする。
このようにして、ＢＶ信頼度を算出することができる。
【００７８】
（ＳＶ信頼度）
高感度の場合に色ノイズの影響によりＳ／Ｎが悪くなると、画素別の色判断の出力結果は信頼度が低くなる。このため、高感度時には信頼度を下げるように処理する。
【００７９】
図６は、本実施の形態に係るＳＶ信頼度の算出方法を説明するための図である。縦軸はＳＶ値を示し、横軸はＳＶ信頼度（SV Reliability）値を示す。
ＳＶに応じてＳＶ信頼度を算出する。ＳＶ信頼度は、図６に示すように、ＳＶに応じて線形補間により求めることができる。すなわち、ＳＶ信頼度は式（１２）により算出される。なお、SV Threshold 1, 2はそれぞれ調整量である。
【００８０】
【数１２】
2016096474.tif 000018
このようにして、ＳＶ信頼度を算出することができる。
【００８１】
（白抽出信頼度）
表３に示したＮｏ．１（高輝度＆一般光源色）の面積率信頼度（Area Reliability1）及びＮｏ．３（全輝度＆中高色温度光源色）の面積率信頼度（Area Reliability3）と、色温度信頼度（Color Temp Reliability）と、ＢＶ信頼度（BV Reliability）と、ＳＶ信頼度（SV Reliability）とから、表３のＮｏ．１（高輝度＆一般光源色）から算出されるホワイトバランスゲインの白抽出信頼度（Total Reliability）を算出する。白抽出信頼度は式（１３）により算出される。
【００８２】
【数１３】
2016096474.tif 000019
【００８３】
ここで、Color Temp Reliabilityは中高色温度光源色の信頼度を表し、Area Reliability1も中高色温度光源色の信頼度を表しているため、式（１３）は中高色温度光源色における白抽出信頼度となる。中高色温度光源色の面積率信頼度と色温度信頼度とが高ければ白抽出信頼度が高くなり、算出したホワイトバランスゲインが中高色温度である可能性が高いということができる。
【００８４】
また、白抽出信頼度（Total Reliability）が０の場合は中高色温度である可能性が低いため、低色温度光源色の信頼度を表すLow Color Temp Reliabilityを用いて式（１４）のように低色温度光源色における白抽出信頼度を算出する。中高色温度光源色の信頼度が０以外の時は低色温度光源色の白抽出信頼度を算出しない。低色温度光源色の面積率信頼度はＮｏ．３（前輝度＆中高色温度光源色）の面積率信頼度（Area Reliability3）を用いる。
【００８５】
【数１４】
2016096474.tif 000020
このようにして、白抽出信頼度を算出することができる。
【００８６】
このようにして算出した白抽出信頼度は、表３のＮｏ.１のＲＧＢバランスから算出したホワイトバランスゲインについての、中高色温度領域における信頼度または低色温度領域における信頼度となる。これらの信頼度が高いときには、Ｎｏ.１のＲＧＢバランスが無彩色表面から算出したＲＧＢバランスである可能性が高いといえる。
【００８７】
逆に、これらの信頼度が低ければ、Ｎｏ.１のＲＧＢバランスが有彩色表面から算出したＲＧＢバランスである可能性が高いため、このＲＧＢバランスから算出するホワイトバランスゲインを使用しないようにする、つまり、ホワイトバランスゲイン補正部１２６でホワイトバランスゲインＲａ、Ｇａ、Ｂａを選択し直すことで失敗画像を減らすことができる。
【００８８】
つぎに、本実施の形態に係る撮像方法の処理手順について簡単に説明する。ここでは、白画素抽出処理からホワイトバランス補正処理までに限定して説明する。
図７は、本実施の形態に係る撮像方法の処理手順を示すフローチャートである。
【００８９】
まず、白抽出部１２３が、輝度算出部１２１及び色相算出部１２２が撮像画像から算出した輝度及び色相と、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出する（ステップＳ１１０）。
【００９０】
続いて、ホワイトバランスゲイン算出部１２４が、白抽出部１２３により抽出された白画素の値に基づいて、被写体の光源を判別し、判別した光源に対応するホワイトバランスゲインＲａ、Ｇａ、Ｂａを選択する（ステップＳ１２０）。
【００９１】
続いて、信頼度算出部１２５が、表３に示したＮｏ．1（高輝度＆一般光源色）、Ｎｏ．３（前輝度＆中高色温度光源色）について、通過したカウント数から面積率を求め、面積率信頼度を算出する（ステップＳ１３０）。
続いて、信頼度算出部１２５が、Ｎｏ．１（高輝度＆一般光源色）とＮｏ．２（高輝度＆中高色温度光源色）との距離、及び、Ｎｏ．１（高輝度＆一般光源色）と（高輝度＆低色温度光源色）との距離を算出し、距離の差分に応じて色温度信頼度を算出する（ステップＳ１４０）。
【００９２】
続いて、信頼度算出部１２５が、ＢＶに応じてＢＶ信頼度を算出し（ステップＳ１５０）、ＳＶに応じてＳＶ信頼度を算出する（ステップＳ１６０）。
ステップＳ１３０〜ステップＳ１６０は、順不同でかまわない。
【００９３】
続いて、信頼度算出部１２５が、表３に示したＮｏ．１（高輝度＆一般光源色）の面積率信頼度及びＮｏ．３（全輝度＆中高色温度光源色）の面積率信頼度と、色温度信頼度と、ＢＶ信頼度と、ＳＶ信頼度とから、表３のＮｏ．１（高輝度＆一般光源色）から算出されるホワイトバランスゲインの白抽出信頼度を算出する（ステップＳ１７０）。
【００９４】
続いて、信頼度算出部１２５が算出した白抽出信頼度に基づいて、ホワイトバランスゲイン補正部１２６がホワイトバランスゲインＲａ、Ｇａ、Ｂａを補正する。もちろん、ホワイトバランスゲイン補正部１２６は白抽出信頼度が十分に高いときには、ホワイトバランスゲインＲａ、Ｇａ、Ｂａを補正しない（ステップＳ１８０）。
【００９５】
続いて、ホワイトバランスゲイン補正部１２６が補正した、または、補正しなかったホワイトバランスゲインＲａ、Ｇａ、Ｂａを用いて、ホワイトバランス制御部１３１がＲＧＢ画像信号に対してホワイトバランス補正処理を実施する（ステップＳ１９０）。
【００９６】
以上、本実施の形態に係る撮像装置及び撮像方法により、輝度検出枠による画像内の高輝度部分の情報を使用することで白色部分のみを抽出することができ、また、色検出枠による積算結果を使用することで、抽出された白色部分の積算値から算出されるホワイトバランスゲインが正しい光源のホワイトバランスゲインである信頼度を高精度に算出することができる。
【００９７】
光源の白色部分のホワイトバランスゲインを高精度に算出できることで、オートホワイトバランス処理において、従来は判定が難しく失敗画像となっていた低色温度光源と誤判定しやすい被写体のシーンなどで失敗を減らすことができる。
【００９８】
また、本実施の形態に係る撮像装置及び撮像方法により、取得されたＲＧＢバランスが無彩色の情報である信頼度を算出し、他の手法で算出されたＲＧＢバランスと統合的に適用することができる。
【００９９】
以上説明したように、本実施の形態に係る撮像装置１０は、入力画像から、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出する白抽出手段１２３と、抽出された白画素の値に基づいて、入力画像に対するホワイトバランスゲインを算出するホワイトバランスゲイン算出手段１２４と、白抽出手段１２３による白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出する信頼度算出手段１２５と、白抽出信頼度に基づいて、ホワイトバランスゲインを補正するホワイトバランスゲイン補正手段１２６とを備えるものである。
【０１００】
また、本実施の形態に係る撮像装置１０は、所定の条件が、所定の検波設定を通過したカウント数と、ホワイトバランスゲインの色温度と、被写体輝度と、撮影感度とであることが好ましい。
また、本実施の形態に係る撮像装置１０は、信頼度算出手段１２５は、輝度の所定の範囲において、輝度が大きいほど白抽出信頼度を大きくすることが好ましい。
また、本実施の形態に係る撮像装置１０は、信頼度算出手段１２５は、撮影感度の所定の範囲において、撮影感度が大きいほど白抽出信頼度を小さくすることが好ましい。
【０１０１】
また、本発明に係る撮像方法は、入力画像から、色空間における所定の白抽出範囲と、所定の輝度範囲とに基づいて白画素を抽出するステップＳ１１０と、抽出された白画素の値に基づいて、入力画像に対するホワイトバランスゲインを算出するステップＳ１２０と、白画素を抽出するステップＳ１１０による白画素の抽出の信頼度である白抽出信頼度を、所定の条件に基づいて算出するステップＳ１７０と、白抽出信頼度に基づいて、ホワイトバランスゲインを補正するステップＳ１９０とを有するものである。
【符号の説明】
【０１０２】
１０    撮像装置
１０６    オートホワイトバランス処理部
１０７    後処理部
１２１    輝度算出部
１２２    色相算出部
１２３    白抽出部
１２４    ホワイトバランスゲイン算出部
１２５    信頼度算出部
１２６    ホワイトバランスゲイン補正部
１３１    ホワイトバランス制御部
【図１】
2016096474.tif 000021
【図２】
2016096474.tif 000022
【図３】
2016096474.tif 000023
【図４】
2016096474.tif 000024
【図５】
2016096474.tif 000025
【図６】
2016096474.tif 000026
【図７】
2016096474.tif 000027