(57)【要約】      （修正有）【課題】複数の光源により照明された被写体を撮影する際に、それぞれの光源に照明された領域のホワイトバランスを適切に補正する。【解決手段】画像に含まれる特定対象を、特定対象検出部４０により、その特定対象らしさを示す特定対象評価値によって検出する。その画像から特定対象を除いた領域における第１ホワイトバランス補正値を取得する第１ホワイトバランス補正値計算部５０４と、特定対象検出部４０によって検出された特定対象の領域における第２ホワイトバランス補正値を取得する第２ホワイトバランス補正値計算部５０６と、第１と第２のホワイトバランス補正値を比較するホワイトバランス補正値比較部５１０とを使用して、両ホワイトバランス補正値が異なる場合に、特定対象を除いた領域は第１ホワイトバランス補正値を使用してホワイトバランスを補正し、特定対象領域は第２ホワイトバランス補正値を使用してホワイトバランスを補正する。【選択図】図５
2008219414.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出する特定対照検出手段と、
入力された画像信号で表される画像から前記特定対象を除いた領域における第１ホワイトバランス補正値を取得する第１ホワイトバランス補正手段と、
前記特定対象検出手段によって検出された特定対象の領域における第２ホワイトバランス補正値を取得する第２ホワイトバランス補正手段とを備え、
前記第１ホワイトバランス補正値と前記第２ホワイトバランス補正値が異なる場合に、前記特定対象を除いた領域は第１ホワイトバランス補正値を使用してホワイトバランスを補正し、前記特定対象領域は第２ホワイトバランス補正値を使用してホワイトバランスを補正することを特徴とするホワイトバランス補正装置。
【請求項２】
入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出する特定対象検出手段と、
入力された画像信号で表される画像から前記特定対象を除いた領域における第１ホワイトバランス補正値を取得する第１ホワイトバランス補正手段と、
前記特定対象検出手段によって検出された特定対象の内を複数に分割し、分割したそれぞれの領域における個々の分割ホワイトバランス補正値を取得すると共に、前記分割ホワイトバランス補正値の分布を検出する補正値分布検出手段とを備え、
前記特定対象を除いた領域は第１ホワイトバランス補正値を使用してホワイトバランスを補正し、
前記分割ホワイトバランス補正値の分布が複数のホワイトバランス補正値の分布と判断される場合には、前記特定対象領域は前記分割領域ごとに、領域ごとの分割ホワイトバランス補正値に最も近い前記複数ホワイトバランス補正値の値を使用してホワイトバランスを補正することを特徴とするホワイトバランス補正装置。
【請求項３】
前記特定対象が顔であることを特徴とする請求項１または２に記載のホワイトバランス補正装置。
【請求項４】
請求項１から３のいずれかに記載のホワイトバランス補正装置を備えてなる撮影装置。
【請求項５】
入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出し、
入力された画像信号で表される画像から前記特定対象を除いた領域における第１ホワイトバランス補正値を取得すると共に、検出された前記特定対象領域における第２ホワイトバランス補正値を取得し、
前記第１ホワイトバランス補正値と前記第２ホワイトバランス補正値が異なる場合に、前記特定対象を除いた領域は第１ホワイトバランス補正値を使用してホワイトバランスを補正し、前記特定対象領域は第２ホワイトバランス補正値を使用してホワイトバランスを補正することを特徴とするホワイトバランス補正方法。
【請求項６】
入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出し、
入力された画像信号で表される画像から前記特定対象を除いた領域における第１ホワイトバランス補正値を取得し、
前記特定対象検出手段によって検出された特定対象の内を複数に分割し、分割したそれぞれの領域における個々の分割ホワイトバランス補正値を取得すると共に、前記分割ホワイトバランス補正値の分布を検出し、
前記特定対象を除いた領域は第１ホワイトバランス補正値を使用してホワイトバランスを補正し、
前記分割ホワイトバランス補正値の分布が複数のホワイトバランス補正値の分布と判断される場合には、前記特定対象領域は前記分割領域ごとに、領域ごとの分割ホワイトバランス補正値に最も近い前記複数ホワイトバランス補正値の値を使用してホワイトバランスを補正することを特徴とするホワイトバランス補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像信号のホワイトバランスを補正する装置および方法に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮影装置においては、撮影装置で被写体像を画像信号に変換した後に、信号に対してホワイトバランス補正を行うことがよく知られている。
【０００３】
特許文献１には、映像信号中から肌色領域または人の顔の領域を検出し、その検出領域のみ、輝度補正、色補正、アパーチャ補正を行う映像信号処理装置が開示されている。映像信号中の肌色領域を人間の顔領域と見なし、その顔領域に対して色補正処理を行うことにより肌の色再現を向上する技術について開示している。これによると、Ｒ−Ｙ，Ｂ−Ｙ色差信号の位相及び振幅に基づくメモリの出力と輝度信号のレベルとに応じて、肌色領域を示す肌色検出信号を比較器から出力し、その肌色検出信号によって、Ｒ−Ｙ，Ｂ−Ｙ色差信号の利得を利得制御回路にて制御することによって実現している。
【０００４】
特許文献２には、画像データから主要被写体の形状を抽出し、その主要被写体の形状に合致する領域を含む複数の領域を重み付け領域として決定するとともに、重み付け領域ごとの測光値および色測定値と、重み付け係数とに基づいて露出補正処理およびホワイトバランス補正処理を行う画像処理装置が開示されている。これによると、元画像データから人物などの主要被写体の形状を抽出し、その主要被写体の形状に合致する主要被写体の領域を測光／測色のための領域とし、この主要被写体の領域を含む複数の領域を重み付け領域として決定するとともに、重み付け領域ごとに重み付け係数を割り当てる。一方、画面全体を複数の分割領域に分割して分割領域ごとに分割測光及び／又は分割測色の測定値を算出し、分割領域ごとに算出された測定値に対して、それぞれ重み付け係数を決定する。そして、分割領域ごとに算出された測定値と各測定値の分割領域が属する前記重み付け領域ごとに決定されている重み付け係数とに基づいて露出補正及び／又はホワイトバランス補正を行うようにしている。
【０００５】
特許文献３には、顔検出を行い、顔部分の色情報をホワイトバランス演算に用いないことで、顔部分が青白いなどの違和感のあるホワイトバランスが行わないようにして良好な画像処理を実現する画像処理装置が開示されている。これによると、撮像装置が顔認識動作モードかどうか判断し、顔認識動作モードでない場合ＡＷＢ評価値取得エリアを通常エリアに指定する。顔認識動作モードの場合顔認識処理を行い、顔と認識されるか否かを判断する。顔と認識されない場合ＡＷＢ評価値取得エリアを通常エリアに指定する。ステップで顔と認識された場合、ＡＷＢ評価値取得エリアを顔以外のエリアに移動させる。そして、ＡＷＢ評価値取得エリアを設定し、そのＡＷＢ評価値を取得するし、ＡＷＢ値を演算して最終的なＡＷＢゲインを設定することによって実現している。
【特許文献１】特開平６−１２１３３２号公報
【特許文献２】特開２００６−２１１４１６号公報
【特許文献３】特開２００３−１８９３２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このような撮影装置あるいは画像処理装置では、より良い画像を撮影するために特に画像の色補正に工夫をしている。特許文献１に記載の技術は、人間の肌色再現を向上するために肌色の部分だけを検出して色補正するもので、肌色の再現は向上すると考えられるが、肌色以外の部分に関しては考慮していない。そのために例えば顔に関しても肌色以外の眼の色などと肌色の部分の色バランスがずれてしまうことが考えられる。また、特許文献２に記載の技術は、主要被写体と主要被写体以外の領域について重み付けを変えて露出補正やホワイトバランスを算出し、撮影した画像を補正するものである。この時補正に用いられるのは一の補正値であることから、画面の中に複数の光源によって照明されている被写体がある場合については考慮されていない。さらに、特許文献３に記載の技術は、検出した顔領域以外の部分でホワイトバランス情報を得るものである。顔によるカラーフェリアを防ぐホワイトバランス補正を実現演算に用いないことで、顔部分が青白いなどの違和感のあるホワイトバランスが行わないようにしているが、やはり画面の中に複数の光源によって照明されている被写体がある場合については考慮されていない。
【０００７】
ところで、感度が低いデジタルカメラでは主要被写体を照明する主光源のみについてホワイトバランス補正を行えば画面全体のホワイトバランスを均一に保った画像を得ることができる。例えば屋外で有ればその時の太陽光に、夜の屋内でフラッシュを焚いたのであればフラッシュ光についてのホワイトバランス補正を行うことで、良好な画像を得ることができる。なぜならば、感度の低いカメラは主光源以外の光源の微弱な光量をとらえることが出来ないからである。ところが、感度の高いデジタルカメラで撮影する場合は、主要被写体を照明する主光源と、背景部分を照明する従光源の両方の光量をとらえることができる。従光源としての白熱灯光源下で、主光源としてフラッシュを用いて主要被写体を撮影したような場合にも、従光源で照明された背景部分が再現可能である。この場合、主光源としてのフラッシュ光は約７０００Ｋの色温度となるが、従光源としての白熱灯は約３０００Ｋであり、主光源であるフラッシュ光に画面全体のホワイトバランスを合わせると従光源で照明された背景は赤っぽい画像となってしまう。また従光源が白熱灯色の蛍光灯などであっても同様に問題が生じる。本発明はこのような課題に対しての解決手段として考案されたものである。
【課題を解決するための手段】
【０００８】
本発明によるホワイトバランス補正装置は、入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出する特定対象検出手段と、入力された画像信号で表される画像から前記特定対象を除いた領域における第１ホワイトバランス補正値を取得する第１ホワイトバランス補正手段と、前記特定対象検出手段によって検出された特定対象の領域における第２ホワイトバランス補正値を取得する第２ホワイトバランス補正手段と、前記第１ホワイトバランス補正値と前記第２ホワイトバランス補正値を比較するホワイトバランス補正値比較手段とを備え、前記第１ホワイトバランス補正値と前記第２ホワイトバランス補正値が異なる場合に、前記特定対象を除いた領域は第１ホワイトバランス補正値を使用してホワイトバランスを補正し、前記特定対象領域は第２ホワイトバランス補正値を使用してホワイトバランスを補正することを特徴とする。すなわち、特定対象として検出された領域に対しては、第２ホワイトバランス補正手段によって、その他の領域に対しては第１ホワイトバランス補正手段によってホワイトバランスを補正するようにしたことを特徴とするものである。被写体の光源に応じたホワイトバランス補正が行えることで、複数の光源下でも自然な画像の撮影が可能となる。
【０００９】
また、第２の本発明によるホワイトバランス補正装置は、入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出する特定対象検出手段と、入力された画像信号で表される画像から前記特定対象を除いた領域における第１ホワイトバランス補正値を取得する第１ホワイトバランス補正手段と、前記特定対象検出手段によって検出された特定対象の内を複数に分割し、分割したそれぞれの領域における個々の分割ホワイトバランス補正値を取得すると共に、前記分割ホワイトバランス補正値の分布を検出する補正値分布検出手段とを備え、前記特定対象を除いた領域は第１ホワイトバランス補正値を使用してホワイトバランスを補正し、前記補正値分布検出手段によって検出された前記分割ホワイトバランス補正値の分布が複数のホワイトバランス補正値の分布と判断される場合には、前記特定対象領域は前記分割領域ごとに、領域ごとの分割ホワイトバランス補正値に最も近い前記複数ホワイトバランス補正値の値を使用してホワイトバランスを補正することを特徴とするものである。すなわち、特定対象以外の領域は、第１ホワイトバランス補正値を使用して補正し、また特定対象として検出された領域に対しては特定対象を複数に分割し、分割したそれぞれの領域ごとの分割ホワイトバランス補正値に最も近い前記複数ホワイトバランス補正値の値を使用してホワイトバランスを補正することを特徴とするものである。
【００１０】
これらのホワイトバランス補正装置において、前記特定対象の具体例としては人の顔が一般的に考えられる。すなわち、特定対象が顔である場合について上記ホワイトバランス補正を適用することにより、顔部分について違和感のないホワイトバランス補正を行うことが可能である。
【００１１】
実用的には、これらのホワイトバランス補正装置を撮影装置に搭載して、被写体の光源に応じたホワイトバランス補正を行った画像を撮影する撮影装置を実現することが可能になる。
【００１２】
本発明による第１のホワイトバランス補正方法は、入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出し、入力された画像信号で表される画像から前記特定対象を除いた領域における第１ホワイトバランス補正値を取得すると共に、検出された前記特定対象領域における第２ホワイトバランス補正値を取得し、前記第１ホワイトバランス補正値と前記第２ホワイトバランス補正値が異なる場合に、前記特定対象を除いた領域は第１ホワイトバランス補正値を使用してホワイトバランスを補正し、前記特定対象領域は第２ホワイトバランス補正値を使用してホワイトバランスを補正することを特徴とするものである。
【００１３】
また本発明による第２のホワイトバランス補正方法は、入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出し、入力された画像信号で表される画像から前記特定対象を除いた領域における第１ホワイトバランス補正値を取得し、前記特定対象検出手段によって検出された特定対象の内を複数に分割し、分割したそれぞれの領域における個々の分割ホワイトバランス補正値を取得すると共に、前記分割ホワイトバランス補正値の分布を検出し、前記特定対象を除いた領域は第１ホワイトバランス補正値を使用してホワイトバランスを補正し、前記分割ホワイトバランス補正値の分布が複数のホワイトバランス補正値の分布と判断される場合には、前記特定対象領域は前記分割領域ごとに、領域ごとの分割ホワイトバランス補正値に最も近い前記複数ホワイトバランス補正値の値を使用してホワイトバランスを補正することを特徴とするものである。
【発明の効果】
【００１４】
本発明により、入力された画像信号に含まれる特定対象の領域を主被写体とし、主被写体を照明する主光源に対しての主光源ホワイトバランス補正値と、画像から前記特定対象を除いた領域を照明する従光源に対する従光源ホワイトバランス補正値を取得し、主光源ホワイトバランス補正値と従光源ホワイトバランス補正値が異なる場合は、主光源と従光源が異なると判断して、それぞれの領域に最適なホワイトバランス補正を行うことで、主光源と従光源が異なるような複数種類の光源によって照明された被写体でも、ホワイトバランス補正値を最適に制御し、画面全体として色バランスの整った画像を得ることが可能になる。
【００１５】
また、主被写体が複数の光源によって照明されている場合でも、特定対象を含む主被写体領域をさらに複数に分割し、分割したそれぞれの領域における個々の分割ホワイトバランス補正値を求めて補正することにより、ホワイトバランス補正値を最適に制御し、画面全体としてホワイトバランスおよび色バランスの整った画像を得ることが可能になる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面に従って本発明に係る撮影装置および撮影方法の好ましい実施の形態について説明する。
【００１７】
図１は本発明に係るホワイトバランス補正手段の実施形態としての撮像装置１の内部構成ブロック図である。
【００１８】
同図において、撮影装置１は、画像入力部１０、入力信号処理部１２、ＣＰＵ２０、画像記録部２４，操作入力部２６，通信部２８、表示部３０、特定対象検出部４０、ホワイトバランス補正部５０で構成される。またＣＰＵ２０が、操作入力部２６あるいは通信部２８からの操作者の指示により前記ブロックごとの制御を行う。
【００１９】
画像入力部１０が撮像部として構成される場合、画像入力部１０で外部から入射する光学像をレンズ、撮像素子等を用い、画像信号に変えて出力する。必要に応じて、低照度時などに補助光発光部として用いるフラッシュもしくは照明手段を持っていても良い。また、画像入力部１０が、外部からの画像信号を入力する外部信号入力部として構成される場合は、画像入力部１０が画像記録部２４あるいは通信部２８と構成が重複することがある。すなわち、画像記録部２４の記録媒体用インターフェース、あるいは通信部２８を使用して画像入力が行われる。この他、図示しないが、必要に応じて撮影時に補助光を投影する補助光投影部、声や環境音、音楽等の音声記録を行う音声記録部、音声等の再生や警告音を出す音声再生部などを持っても良い。
【００２０】
入力信号処理部１２は前記画像信号を処理し、ＣＰＵ２０に渡す。ここでの信号処理は、操作者の要求する出力画像信号形態により異なる。撮影モードに応じて、オフセット補正処理、カラーマトリクス処理、階調変換処理、デモザイク処理、輪郭強調処理、そして圧縮処理等を前記画像信号に対して行う。撮影モードとは静止画撮影モード、動画撮影モードなどであり、さらに静止画撮影モードおよび動画撮影モード内に、複数の撮影モードを持っても良い。
【００２１】
画像記録部２４は入力された画像信号を記録する。記録する媒体は、内蔵記録媒体、あるいはメモリカードに代表される外部記憶媒体のどちらでも良いし、両方存在しても良い。画像信号だけでなく、入力された、あるいは生成された情報（データ）を記録可能である。また、記録部という名称であるが記録だけでなく読出しも可能であり、ここから読み出されたデータをＣＰＵ２０経由で通信部２８から送信することや、表示部３０に表示することも可能である。
【００２２】
操作入力部２６は、撮像装置１を操作する電源スイッチや、シャッタースイッチを含む操作スイッチで構成される。操作者は、操作入力部２６から撮像装置１に指示を与えることで、撮像装置１を操作することが可能になる。
【００２３】
通信部２８は、撮像装置１が外部と通信するための手段である。通信方式として、有線通信、無線通信、光通信などを必要に応じて使用することができる。また通信プロトコルも必要に応じて選択可能である。通信部は外部に情報を送信できる他、外部からの情報を受信することができる。
【００２４】
特定対象検出手段としての特定対象検出部４０は、画像入力部１０から入力された画像信号、又は画像記録部２４に記録された画像信号から被写体の特徴部、すなわち頭、顔、目、瞳、鼻、口、あるいはサングラス等を検出し、それらの特徴点やパターンを識別することにより特定対象を検出する。特定対象検出の具体的な方法は、エッジ検出又は形状パターン検出による顔検出方法、特徴部の座標である特徴点をベクトル化し、特徴点ベクトルを近似検出することによる特徴点ベクトル近似法、色相検出又は肌色検出による領域検出方法等の公知の方法を利用することができる。特定対象としては、人物全体や人物の顔部の他に、ペットなどが考えられる。特定対象検出部４０は、それらの特定対象顔を検出すると、その特定対象の領域を示す情報をＣＰＵ２０に出力し、ホワイトバランス補正には使用することはもちろん、記録や表示などにも利用することができる。
【００２５】
ホワイトバランス補正手段としてのホワイトバランス補正部５０は、画像入力部１０から入力された画像信号から被写体のホワイトバランス補正値を決定する。ホワイトバランス補正部に関しては後で詳述する。
【００２６】
撮影装置において撮影は通常、操作入力部２６の一部として構成されるシャッターボタンで開始される。静止画撮影であれば、シャッターボタンを押し込み一枚の静止画を撮影指示するか、連続撮影の場合はシャッターボタンを押し込んでいる（ＯＮの）間静止画撮影を連続して行う。また動画撮影であれば、一般的にはシャッターボタンを一度押し込んだら撮影開始、もう一度押し込んだら撮影停止になる。
【００２７】
図２（ａ）は本発明に係るホワイトバランス補正部５０の第１内部構成例としてのホワイトバランス補正部５１、図２（ｂ）は第２内部構成例としてのホワイトバランス補正部５２のブロック図である。これらの内部構成例について、順次説明していく。
【００２８】
ホワイトバランス補正部５１および５２は、共に、画像入力部１０から入力された画像信号から被写体のホワイトバランス補正値を計算する。そのためには、まず色調評価値を色調評価値計算部２００および２０１で計算する。
【００２９】
色調評価値計算の具体的な方法としては、まず図２（ａ）のように入力された画像信号を光の三原色ＲＧＢごとに積分する方法がある。画像入力部１０や通信部を通して入力される画像信号中の色ＲをＲ積分部２０２で、色ＧをＧ積分部２０４で、色ＢをＢ積分部２０６で積分し、色調評価値としてホワイトバランス補正値計算部２１０に渡す。ホワイトバランス補正値計算部２１０は色調評価値を元にホワイトバランス補正値を計算する。ホワイトバランス補正処理部２１２はホワイトバランス補正値を使用し、入力された画像信号を変換し出力画像信号とする。
【００３０】
色調評価値計算の別な方法は、図２（ｂ）のように色Ｇに対する色Ｒの比をＲ／Ｇ計算部２２２で、色Ｇに対する色Ｂの比をＢ／Ｇ計算部２２４で計算し、Ｒ／ＧをＲ／Ｇ積分部２２６で積分し、Ｂ／ＧをＢ／Ｇ積分部２２８で積分して、これらの積分値を色調評価値として使用する方法である。
【００３１】
さらに図２の説明では画面全体に対して色調評価値およびホワイトバランス補正値を求めるとしているが、入力された画像信号を複数のブロックに分割し、ブロックごとに色調評価値を算出することもできる。
【００３２】
＜第１の実施形態＞
以下に第１の実施形態を説明する。図３が複数光源に照明された被写体の第１の例であり、このような状況で撮影された映像信号のホワイトバランス補正を例に説明する。図３の被写体例は屋内の一室であり、白熱灯を使用した天井灯３０２によって照明されている。主要被写体３０４である人物を撮影する時に、撮影装置３０６に内蔵または付属するフラッシュを使用して撮影する場合がある。この時、背景となるカーテン３１０などは天井灯３０２によって照明され、主要被写体３０４はフラッシュ３０８によって照明されるため、被写体中に複数光源によって照明された領域が存在することになる。
【００３３】
図４（ａ）は図３の複数光源に照明された被写体の第１の例による撮影画像であり、図４（ｂ）に図４（ａ）から検出された特定対象領域４０６を示す。また、図５（ａ）に本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の構成例を、図５（ｂ）にホワイトバランス補正処理部の詳細例を示す。図５を用いながら、図４を必要に応じて参照し、以下にホワイトバランス補正の実施例を説明する。
【００３４】
図５（ａ）は本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の構成例である。図４（ａ）のような撮影画像の画像信号中から特定対象４０２（本実施例では特定対象４０２は主要被写体である人物）を図５（ａ）に示す特定対象検出部４０により検出する。特定対象検出部４０は、画像信号の特定対象領域を出力可能となっている。
【００３５】
特定対象の領域を照明する光源と特定対象以外の領域を照明する光源が一致するか異なるかを判断するために、入力された画像信号を、図４（ｂ）に示す特定対象領域を除いた領域４０４と、特定対象領域４０６の信号に振り分ける。具体的な手順は以下の通りである。特定対象検出部４０が、画像信号の特定対象領域で “Ｈ”を、そのほかの領域で“Ｌ”を出力する。ホワイトバランス入力選択手段５０２は、特定対象検出手段４０の出力が“Ｌ”の時は入力信号を第１ホワイトバランス補正値計算部５０４に入力し、特定対象検出手段４０の出力が“Ｈ”の時は入力信号を第２ホワイトバランス補正値計算部５０６に入力するように制御する。
【００３６】
ホワイトバランス入力選択手段５０２によって選択入力された画像信号を使用して、第１ホワイトバランス補正値計算部５０４は第１ホワイトバランス補正値を計算し、第２ホワイトバランス補正値計算部５０６は第２ホワイトバランス補正値を計算する。ホワイトバランス補正値比較部５１０は、計算された第１ホワイトバランス補正値と第２ホワイトバランス補正値を比較し光源がひとつか複数かを判別する。ホワイトバランス補正値比較部５１０は、比較結果が異なる場合は論理積部５１２に“Ｌ”を出力し、比較結果が一致する場合は、論理積部５１２に“Ｈ”を出力する。比較結果が異なるのは、図４の例のように光源が複数の場合であり、光源がひとつである場合は比較結果が一致することになる。
【００３７】
なお、ここでは一致すると記載しているが、例えば第１および第２ホワイトバランス補正値に対し、統計的な誤差（例えば５％）を含めた一定の値の幅（例えば統計的誤差が５％であれば倍の幅を持たせ約１０％）を持たせたのち範囲が一致するかどうかを判別しても良い。統計的な誤差を含めて一致を判断すれば、被写体そのものの色などによる影響を少なくすることができる。
【００３８】
前述したように、特定対象検出部４０は、画像信号の特定対象領域で “Ｈ”を、そのほかの領域で“Ｌ”を出力する。論理積部５１２は、特定対象検出部４０とホワイトバランス補正値比較部５１０の出力が共に“Ｈ”である（論理積条件の）時だけ、“Ｈ”をホワイトバランス補正値切り換え部５１４に出力する。つまり、第１ホワイトバランス補正値と第２ホワイトバランス補正値が異なり、かつ特定対象領域である時である。
【００３９】
ホワイトバランス補正値切り換え部５１４は、論理積部５１２の出力が“Ｌ”の時は第１ホワイトバランス補正値を選択し、論理積部５１２の出力が“Ｈ”の時は第２ホワイトバランス補正値を選択してホワイトバランス補正部２１２に送る。つまり第１ホワイトバランス補正値と第２ホワイトバランス補正値が一致する場合は、第１ホワイトバランス補正値を選択して、入力された画像信号のホワイトバランス補正を実施する。第１ホワイトバランス補正値と第２ホワイトバランス補正値が異なる場合は次のように動作する。入力画像信号の、特定対象４０２を除いた領域は第１ホワイトバランス補正値を選択してホワイトバランス補正を行い、特定対象４０２領域は第２ホワイトバランス補正値を選択してホワイトバランス補正を行う。
【００４０】
被写体中の特定対象領域が、特定対象領域以外（背景領域）と異なる光源によって照明されていた場合でも、光源に応じたホワイトバランス補正が行えることで、複数の光源下でも自然な画像の撮影が可能となる。
【００４１】
また、光源ごとにホワイトバランス補正が可能であるので、光源によっては、ある光源は雰囲気を残したり（補正を弱めたり）、別の光源は完全にホワイトバランス補正をしてしまうようなことも可能である。例えば屋内の主要被写体を白熱灯光源で照明され、背景の窓から見える屋外は太陽で照明されている場合を考えてみる。屋内の白熱灯光源で照明される特定対象は、雰囲気を残してやや弱めにホワイトバランス補正をすることで赤みを残しながら、背景の窓から見える屋外は完全にホワイトバランス補正をすると、室内の被写体の雰囲気と、背景の窓から見える屋外の雰囲気を共に残すことができる。
【００４２】
さらに、特定対象領域を照明する光源と、背景領域を照明する光源が異なる場合、特定対象領域の色味を背景領域の色味に合わせることも可能である。色調評価値計算結果と、ここでは述べていない露出条件計算結果を用いることで被写体を照明する光源を推定することが可能である。被写体が複数の領域に分けられ、それぞれの領域について光源推定を行えば、例えば特定対象領域を照明する光源と、背景領域を照明する光源を推定することが可能である。ここで特定対象領域が主要被写体領域であるとして、主要被写体領域がフラッシュによって照明され、背景領域が白熱灯によって照明されていることが推定できたとする。背景領域は、白熱灯の赤みを残すように弱めにホワイトバランス補正を行い、主要被写体領域は背景領域と色味が合うようやや赤目にホワイトバランス補正を行う。このように補正することによってフラッシュで撮影をしたにもかかわらず、白熱灯だけで照明されているかのような画像を得ることができる。
【００４３】
次に図５（ｂ）を用いてホワイトバランス補正処理部について説明する。ホワイトバランス補正処理部は、前述のように、入力された画像信号にホワイトバランス補正処理を行う処理部である。
【００４４】
まず、ホワイトバランス補正値解析部５２０がホワイトバランス補正値切り換え部５１４から送られるホワイトバランス補正値の解析を行う。後述する各処理部に対し、解析した結果に応じて処理内容（補正内容）を送る。
【００４５】
ホワイトバランス補正処理部を構成するのは、図５（ｂ）に示す各調整部、処理部、変換部である。図５（ｂ）左から信号の流れに沿って、オフセット調整部（色Ｒオフセット調整部５３２、色Ｇオフセット調整部５３４、色Ｂオフセット調整部５３６）、ゲイン調整部（色Ｒゲイン調整部５４２、色Ｇゲイン調整部５４４、色Ｂゲイン調整部５４６）、リニアマトリクス補正処理部５５０、輝度信号・色信号変換部５５２（色マトリクス補正処理部５５４に色ＲＧＢからなる画像信号を入力するための変換部であり、本変換部単独では補正は行わない）、色マトリクス補正処理部５５４を持つ。これら全ての調整部および処理部を使用してホワイトバランス補正処理を行うことも可能であるし、一部の調整部および処理部だけを使用してホワイトバランス補正処理を行うことも可能である。さらに、これら全ての調整部および処理部をホワイトバランス補正部内に持たなくても、同様のホワイトバランス補正処理が行うことが可能であれば良い。例えば、一部の処理部を入力信号処理部１２内に持っている構成が考えられる。
【００４６】
これらの調整部および処理部を用いてホワイトバランス補正を行うことによって、単純にゲインだけを補正するほかに、例えば階調の中間の色調だけを調整したり、階調のハイライトだけを調整したりすることや、色を細かく調整することでより高度なホワイトバランス補正が可能である。
【００４７】
ところで、検出する特定対象は１対象に限らない。従って１対象より特定対象が多い場合は、上記ホワイトバランス補正計算部を、特定対象数に１（特定対象を除いた部分を１として）を加えた数を持つのが望ましい。ホワイトバランス補正計算部および補正処理部が増加するが、全体的な動作に関しては前述した説明と同様となる。
【００４８】
また、ホワイトバランス補正を行う動作は１回の連続した動作で行う必要は無く、複数の動作で行うことも可能である。例えば最初に入力画像信号から特定対象を検出すると共にホワイトバランス補正値の計算を行い、その後入力画像信号をホワイトバランス補正処理するような動作を行うことをしても良い。また、これらの動作が連続していなくても可能である。
【００４９】
＜第２の実施形態＞
第１の実施形態では、ホワイトバランス補正部５０の構成を装置として構成しているが、ＣＰＵ２０上におけるソフトウェアにおいても実施可能である。これを次の図６以下に示し、第２の実施形態として説明する。
【００５０】
図６は本発明に係るホワイトバランス補正手段の実施形態としての撮像装置２の内部構成ブロック図である。図６は図１のホワイトバランス補正部５０を持たないが、同じ機能をＣＰＵ２０におけるソフトウェアで実現する。その他の部分は図１と同じであるので説明は省略する。
【００５１】
図７は、本発明に係るホワイトバランス補正値算出手段の実施形態としてのフローチャートである。ここでは、ソフトウェアによる処理のために、画像信号のｘ方向をＫブロックに、ｙ方向をＬブロックに分割して処理している。
【００５２】
まずステップＳ７０２で画像信号を取得する。次にステップＳ７０４で取得した画像信号から特定対象を検出する。特定対象の検出は、特定対象検出部４０を使って実施しても良いし、ＣＰＵ２０を使用しソフトウェアで実施しても良い。特定対象検出部４０を使用した場合には専用ハードウェアによる高速化を見込むことができる。ソフトウェアで実施した場合にはシステムを柔軟に構成することができる（例えば係数やアルゴリズムを簡単に更新できる）。その後処理に用いる係数をステップＳ７０６で初期化する。ｘ方向のカウンタＸおよびｙ方向のカウンタＹに初期値１を代入し、次に第１色調評価値のブロックカウンタｍ、第２色調評価値のブロックカウンタｎ、第１色調評価値、第２色調評価値、およびブロック判別値Ｂ（ｉ，ｊ）に初期値０を代入する。ただしＢ（ｉ，ｊ）はＢ（１，１）からＢ（Ｋ，Ｌ）までの行列であり、ここでは示していないがカウンタｉ，ｊをインクリメントしながらブロック判別値Ｂ（ｉ，ｊ）を初期化する。
【００５３】
次に処理に入る。ステップＳ７１０で、ブロック座標（Ｘ、Ｙ）として表されるブロックＸＹの色調評価値を算出する。第１実施例の色調評価値算出をソフトウェアにより実施する。その後、ステップＳ７１２において、ブロックＸＹが特定対象領域か否かを判別する。特定対象領域で無かった場合は、ステップＳ７１４に進み、ブロックＸＹの色調評価値を第１色調評価値に代入する。次にステップＳ７１８でブロック判別値Ｂ（Ｘ，Ｙ）に第１色調評価値を示す１を代入すると共に第１色調評価値のブロックカウンタｍをインクリメントする。ステップＳ７１２において、ブロックＸＹが特定対象領域であった場合、ステップＳ７１６でブロックＸＹの色調評価値を第２色調評価値に代入し、ステップＳ７２０でブロック判別値Ｂ（Ｘ，Ｙ）に第２色調評価値を示す２を代入すると共に、第２色調評価値のブロックカウンタｎをインクリメントする。
【００５４】
ステップＳ７１８およびステップＳ７２０の後は、ステップＳ７２２でＸカウンタがＫであるか否か、すなわちＸ方向の最終ブロックであるか否かを判別する。Ｘ＝Ｋで無い場合、ステップＳ７２６でカウンタＸをインクリメントし、ステップＳ７１０に戻る。ステップＳ７２２でＸ＝Ｋの場合、ステップＳ７２４でカウンタＹがＬであるか否か、すなわちＹ方向の最終ブロックであるか否かを判別する。Ｙ＝Ｌの場合、ステップＳ７２８でカウンタＹをインクリメントし、ステップＳ７１０に戻る。ステップＳ７２４でＹ＝Ｌの場合、ステップＳ７３０に進み、第１色調評価値をブロックカウンタｍで除算した値を新たな第１色調評価値とし、第２色調評価値をブロックカウンタｎで除算した値を新たな第２色調評価値とする。つまりこのステップＳ７３０では、各評価値をその評価値を算出したブロック数で除算して正規化している。尚、ここでは単純にブロックごとで算出した色調評価値を平均化しているが、他にも中央値を求める、あるいは最頻値を求めるなどの統計処理を実施する方法もある。
【００５５】
その後、ステップＳ７３２で第１色調評価値から第１ホワイトバランス補正値を算出し、第２色調評価値から第２ホワイトバランス補正値を算出した後に終了する。以上のステップにより、ソフトウェアによって第１ホワイトバランス補正値および第２ホワイトバランス補正値を算出することが可能である。ただし、必ずしも全ての処理をソフトウェアによって行う必要はなく、ハードウェアによって置き換えることも可能である。
【００５６】
尚、図７の説明では特定対象であるか否かでホワイトバランス補正値の算出を分けているが、特定対象が複数である場合はホワイトバランス補正値もそれに応じて増やすのが望ましい。例えば特定対象が３対象検出された場合は、３対象それぞれの領域に対するホワイトバランス補正値と、特定対象を除いた領域のホワイトバランス補正値の計４ホワイトバランス補正値を使用するのが望ましい。特定対象数や光源種類が多数となる場合でも、ソフトウェアによる処理であれば柔軟に対応することが可能である。
【００５７】
図８は、本発明に係るホワイトバランス補正値補正手段の第２実施形態としてのフローチャートである。図７の本発明に係るホワイトバランス補正値算出手段で算出したホワイトバランス補正値を使い、ホワイトバランス補正を実施する際の例を示している。また、図７の本発明に係るホワイトバランス補正値算出手段と同じく、ソフトウェアによる処理のために、画像信号のｘ方向をＫブロックに、ｙ方向をＬブロックに分割して処理している。
【００５８】
まずステップＳ８０２で、その後の処理に用いる係数を初期化する。ｘ方向のカウンタＸおよびｙ方向のカウンタＹに初期値１を代入する。
【００５９】
次に処理に入る。ステップＳ８０４で第１ホワイトバランス補正値と第２ホワイトバランス補正値が一致するか否かを判別する。ここでは一致を判別するよう記載しているが、例えば第１および第２ホワイトバランス補正値に対し、統計的な誤差（例えば５％）を含めた一定の値の幅（例えば統計的誤差が５％であれば倍の幅を持たせ約１０％）を持たせたのち一致する値の範囲があるかどうかを判別しても良い。被写体の色調などによる誤差を除くことが可能である。
【００６０】
第１ホワイトバランス補正値と第２ホワイトバランス補正値が一致しない場合は、ステップＳ８０６に進みブロック判別値Ｂ（Ｘ，Ｙ）が１であるかどうかを判別する。ブロック判別値Ｂ（Ｘ，Ｙ）が１であれば第１色調評価値を示すので、ステップＳ８０８に進み画像信号のＸＹブロックを第１ホワイトバランス補正値で補正する。ブロック判別値Ｂ（Ｘ，Ｙ）が１で無ければ、この場合は第２色調評価値を示すので、ステップＳ８１０に進み画像信号のＸＹブロックを第２ホワイトバランス補正値で補正する。
【００６１】
ステップＳ８０８の後およびステップＳ８１０の後はステップＳ８１２でＸカウンタがＫであるか否か、すなわちＸ方向の最終ブロックであるか否かを判別する。Ｘ＝Ｋで無い場合、ステップＳ８１４でカウンタＸをインクリメントし、ステップＳ８０４に戻る。ステップＳ８１２でＸ＝Ｋの場合、ステップＳ８１６でカウンタＹがＬであるか否か、すなわちＹ方向の最終ブロックであるか否かを判別する。Ｙ＝Ｌの場合、ステップＳ８１８でカウンタＹをインクリメントし、ステップＳ８０４に戻る。ステップＳ８１６でＹ＝Ｌの場合は処理を終了する。
【００６２】
以上のステップにより、第１ホワイトバランス補正値および第２ホワイトバランス補正値を条件に応じて使用しホワイトバランス補正を実施することを、ソフトウェアによって実現することが可能である。ただし、必ずしも全ての処理をソフトウェアによって行う必要はなく、ハードウェアによって置き換えることも可能である。
【００６３】
尚、図８の説明ではホワイトバランス補正値が第１および第２のみであるが、図７の説明でも述べたように光源領域の数が増加した場合はホワイトバランス補正値も増加するため、２種類よりもホワイトバランス補正値が増える可能性がある。そのような場合には数に応じてホワイトバランス補正処理ステップを増やすのが望ましい。特定対象数や光源種類が多数となる場合でも、ソフトウェアによる処理であれば柔軟に対応することが可能である。
【００６４】
＜第２の実施形態の変形例＞
第２の実施形態では、ホワイトバランス補正において、第１のホワイトバランス補正値を使用するか、第２のホワイトバランス補正値を使用するかをブロックごとに判別している（図８のステップＳ８０６）。しかし、特定対象と特定対象以外の中間の領域があることも考えられる。その場合、中間領域に応じたホワイトバランス補正値を用いるとより効果的にホワイトバランスの補正が可能となる。これを第２の実施形態の変形例として説明する。
【００６５】
図９はブロック判別値Ｂ（Ｘ，Ｙ）に低域通過フィルタを適用した例である。ブロック判別値Ｂ（Ｘ，Ｙ）は前述の通り、ブロックが第１色調評価値算出領域であれば１を、ブロックが第２色調評価値算出領域であれば２を代入する。第１および第２色調領域に従って、第１および第２ホワイトバランス補正値を適用するので、これらはホワイトバランス補正領域を表していると考えても良い。ブロック判別値Ｂ（Ｘ，Ｙ）が図９の（ａ）のようになっているとする。中央やや右側の１２ブロックが第２ホワイトバランス補正値補正領域、残りのブロックが第１ホワイトバランス補正領域となる。
【００６６】
第１ホワイトバランス補正領域と第２ホワイトバランス補正領域を連続させるため、ブロック判別値Ｂ（Ｘ，Ｙ）に低域通過フィルタ（ＬＰＦ）を適用する。ＬＰＦは図９（ｂ）に例を示すが、これに限定されるものではない。この例のＬＰＦは中央の値（＝元の値）に対する係数が４／１２、周辺の値に対する係数が１／１２で均一であるＬＰＦとなっている。このＬＰＦを図９（ａ）に適用すると、図９（ｃ）のようになる。すなわち、図９（ａ）で各ブロック判別値Ｂ（Ｘ，Ｙ）が１または２の領域のみであったのに対し、ブロック判別値Ｂ（Ｘ，Ｙ）が１から２の間の連続的な値をとるようになった。
【００６７】
このような処理を行うことによって、特定対象領域と背景領域とのホワイトバランス補正の境界を目立たなくすることが可能である。
【００６８】
＜第３の実施形態＞
図１１に複数光源に照明された被写体の第２の例を示す。屋内の一室であり、白熱灯を使用した天井灯１１０２によって照明されている。主要被写体１１０４である人物を撮影する時に、撮影装置１１０６に内蔵または付属するフラッシュ１１０８を使用して撮影する場合がある。この時、背景となるカーテン１１１０などは天井灯３０２によって照明されている。主要被写体１１０４は天井灯１１０２によって照明されると共にフラッシュ光によっても照明される。被写体中に天井灯１１０２とフラッシュ１１０８との複数光源によって照明された領域が存在することになる。特に、主要被写体１１０４が複数の光源によって照明されている場合は、光源に応じて適切なホワイトバランス補正を行いたい。以下で説明する本実施形態は、このような場合に適切なホワイトバランス補正を行う例を示したものである。
【００６９】
図１２に複数光源に照明された被写体の第２の例による撮影画像のホワイトバランス補正領域を示す。また、図１３に本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の構成例を示す。図１３を用いて、図１２を必要に応じて参照しながら本実施例を説明する。尚、図１３は、図５と共通する部分は同一番号をつける。
【００７０】
図１２（ａ）に撮影画像中から検出された特定対象１２０６（本実施例では主要被写体を特定対象として検出する）を示す。人物は白熱灯１１０２に照明された領域（白で表す）とフラッシュ１１０８によって照明された領域（黒で表す）が混じっている。
【００７１】
入力された画像信号は、図１２（ｂ）の特定対象を除いた領域１２１４と、特定対象領域１２１６に、ホワイトバランス入力選択手段５０２によって切り換える。特定対象検出部４０は、画像信号の特定対象領域で “Ｈ”を、そのほかの領域で“Ｌ”を出力する。ホワイトバランス入力選択手段５０２は、特定対象検出手段４０の出力が“Ｌ”の時は入力信号を第１ホワイトバランス補正値計算部５０４に入力されるように、特定対象検出手段４０の出力が“Ｈ”の時は入力信号を分割ホワイトバランス補正値計算部１３０２に入力されるように制御する。
【００７２】
第１ホワイトバランス補正値計算部５０４は、第１ホワイトバランス補正値を計算する。分割ホワイトバランス補正値計算部１３０２は特定対象領域１２１６の分割したブロック（例えばブロック１２１８）ごとのホワイトバランス補正値を計算する。
【００７３】
まず、入力された画像信号をブロック分割部１３０４で小領域のブロックに分割する。ブロックで構成された特定対象領域１２１６は、検出された特定対象領域１２０６と完全には一致しないが、ブロックをより小領域で構成することで両者の差を少なくすることが可能である。図１２では説明のためにブロックが認識可能な大きさで記載しているが、前述した理由で実施する際はより小領域のブロックで構成されるのが望ましい。
【００７４】
分割された入力画像信号から分割したブロックごとのホワイトバランス補正値を、分割ごとのホワイトバランス補正値計算部１３０６で計算する。計算したブロックの各ホワイトバランス補正値の分布を、ホワイトバランス補正値分布判断部１３０８で判断する。判断する内容は、ブロックの各ホワイトバランス補正値の分布が複数のホワイトバランス補正値の分布であるか否かと、複数のホワイトバランス補正値の分布であると判断された場合には、分割した各ブロックが前記複数のホワイトバランス補正値中の、どのホワイトバランス補正値を使用して補正を行うかである。
【００７５】
図１４にホワイトバランス補正値の頻度分布例を示す。図１４のＸ軸、Ｙ軸はホワイトバランス補正値であり、例えばＲ係数に対する係数をｘ軸、Ｂに対する係数をｙ軸で表した座標に、係数で示されるホワイトバランス補正値、あるいは係数で示されるホワイトバランス補正値の範囲のブロック数を円の大きさで表している。係数で示されるホワイトバランス補正値（もしくは範囲）のブロック数（頻度）が多くなれば、円が大きく表示される。図１４のホワイトバランス補正値の分布例は、例えば図１４中に四角形の太線で表した領域Ａおよび領域Ｂのふたつのホワイトバランス補正値分布であると判断する。判断手法そのものは、一般に良く知られる統計手法などを用いることで可能であり、また本発明の要旨ではないのでここでは述べない。
【００７６】
領域Ａの中で最も頻度の多いホワイトバランス補正値ａを領域Ａの代表ホワイトバランス補正値、領域Ｂの中で最も頻度の多いホワイトバランス補正値ｂを領域Ｂの代表ホワイトバランス補正値とする。各ブロックは、そのブロックが領域Ａ中のブロックであると判断された場合には、代表ホワイトバランス補正値ａを使用してホワイトバランス補正を行い、そのブロックが領域Ｂ中のブロックであると判断された場合には、代表ホワイトバランス補正値ｂを使用してホワイトバランス補正を行う。
【００７７】
または、各ブロックは、そのブロックのホワイトバランス補正値と、代表ホワイトバランス補正値ａおよびｂを比較し、最も近い代表ホワイトバランス補正値の値を使用してホワイトバランス補正を行う。
【００７８】
このようなホワイトバランス補正を行うことによって、特定対象領域が複数の光源で照明されたものである場合でも、特定対象領域内を均一の色調（雰囲気）とするようなホワイトバランス補正が可能である。また、この場合は特定対象領域が人物であるが、逆に人物以外を検出するような構成とした場合、背景領域内を均一の色調（雰囲気）とすることもかのうである。さらに、分割ホワイトバランス補正値計算部を複数持つことで、複数の光源により照明された特定対象領域と、複数の光源により照明された背景領域があっても、特定対象領域内を均一の色調（雰囲気）とし、背景領域内も均一の色調（雰囲気）とすることが可能であるほか、各領域の色調を光源に合わせて変えることも可能である。
【００７９】
＜第４の実施形態＞
第３の実施形態では、ホワイトバランス補正部５４の構成を装置として構成しているが、ＣＰＵ２０上におけるソフトウェアにおいても実施可能である。この第４の実施形態を次に示す。
【００８０】
図１５は、本発明に係るホワイトバランス補正値算出手段の第４実施形態としてのフローチャートである。ここでは、ソフトウェアによる処理のために、画像信号のｘ方向をＫブロックに、ｙ方向をＬブロックに分割して処理している。
【００８１】
まずステップＳ１５０２で画像信号を取得する。次にステップＳ１５０４で取得した画像信号から特定対象を検出する。特定対象の検出は、特定対象検出部４０を使って実施しても良いし、ＣＰＵ２０を使用しソフトウェアで実施しても良い。特定対象検出部４０を使用した場合には専用ハードウェアによる高速化を見込むことができる。ソフトウェアで実施した場合にはシステムを柔軟に構成することができる（例えば係数やアルゴリズムを簡単に更新できる）。その後処理に用いる係数をステップＳ１５０６で初期化する。ｘ方向のカウンタＸおよびｙ方向のカウンタＹに初期値１、分割ホワイトバランス補正値用のカウンタｍに初期値０を代入し、第１ホワイトバランス補正値、分割ホワイトバランス補正値ＸＹ（行列）に初期値０を代入する。
【００８２】
次に処理に入る。ステップＳ１５１０で、ブロック座標（Ｘ、Ｙ）として表されるブロックＸＹのホワイトバランス補正値を算出する。その後、ステップＳ１５１２において、ブロックＸＹが特定対象領域か否かを判別する。特定対象領域で無かった場合は、ステップＳ１５１４に進み、ブロックＸＹのホワイトバランス補正値を元に第１ホワイトバランス補正値を再計算する。例えば重み付け加算を行い、ループ終了時に第１ホワイトバランス補正値が求められるようなアルゴリズムを採用するのが望ましい。ステップＳ１５１２においてブロックＸＹが特定対象領域であった場合、ステップＳ１５１６で分割ホワイトバランス補正値用のカウンタｍをインクリメントする。次にステップＳ１５１８でブロック座標（Ｘ、Ｙ）として表される分割ホワイトバランス補正値ＸＹに、計算したホワイトバランス補正値を代入する。
【００８３】
ステップＳ１５１４およびステップＳ１５１８の後は、ステップＳ１５２０でＸカウンタがＫであるか否か、すなわちＸ方向の最終ブロックであるか否かを判別する。Ｘ＝Ｋで無い場合、ステップＳ１５２２でカウンタＸをインクリメントし、ステップＳ１５１０に戻る。ステップＳ１５２２でＸ＝Ｋの場合、ステップＳ１５２４でカウンタＹがＬであるか否か、すなわちＹ方向の最終ブロックであるか否かを判別する。Ｙ＝Ｌの場合、ステップＳ１５２６でカウンタＹをインクリメントし、ステップＳ１５１０に戻る。ステップＳ１５２４でＹ＝Ｌの場合は全てのブロックについて、ホワイトバランス補正値の算出の終わりを意味する。その場合、ステップＳ１５３２に進み、分割ホワイトバランス補正値ＸＹ（ｍ個）の分布計算を行い、分割ホワイトバランス補正値ＸＹの分布から１または複数の代表ホワイトバランス補正値を計算する。次に、ステップＳ１５３４において、ステップＳ１５３２で計算した代表ホワイトバランス補正値が複数であるか否かを判別する。複数の代表ホワイトバランス補正値である場合、ステップＳ１５３６に進み、分割ホワイトバランス補正値ＸＹに対し、一番近い代表ホワイトバランス補正値を計算し、代入して終了する。ステップＳ１５３４において、ひとつの代表ホワイトバランス補正値と判別された時はステップＳ１５３８に進み、分割ホワイトバランス補正値ＸＹに代表ホワイトバランス補正値を代入して終了する。
【００８４】
尚、図１５の説明では特定対象であるか否かでホワイトバランス補正値の算出を分けているが、特定対象が複数である場合は分割ホワイトバランス補正値の計算および統計ルーチンもそれに応じて増やすのが望ましい。例えば特定対象が３対象検出された場合は、３対象それぞれの領域に対する分割ホワイトバランス補正値を求め、特定対象ごとにブロックごとの補正値を求めるのが望ましい。
【００８５】
図１６は、本発明に係るホワイトバランス補正値補正手段の第４実施形態としてのフローチャートである。図１５の本発明に係るホワイトバランス補正値算出手段で算出したホワイトバランス補正値を使い、ホワイトバランス補正を実施する際の例を示している。また、図１５の本発明に係るホワイトバランス補正値算出手段と同じく、ソフトウェアによる処理のために、画像信号のｘ方向をＫブロックに、ｙ方向をＬブロックに分割して処理している。
【００８６】
まずステップＳ１６０２で、その後の処理に用いる係数を初期化する。ｘ方向のカウンタＸおよびｙ方向のカウンタＹに初期値１を代入する。
【００８７】
次に処理に入る。ステップＳ１６０４でブロック座標（Ｘ、Ｙ）として表されるブロックＸＹの分割ホワイトバランス補正値ＸＹが０であるか否かを判別する。分割ホワイトバランス補正値ＸＹが０でない場合は、図１５のフローチャートで分割ホワイトバランスが計算されているので、ステップＳ１６０８に進み、画像のブロックＸＹを分割ホワイトバランス補正値ＸＹで補正する。分割ホワイトバランス補正値ＸＹが０の場合は、分割ホワイトバランス補正値が初期値のままであるということであるので、ステップＳ１６１０に進み画像のブロックＸＹを第１ホワイトバランス補正値で補正する。
【００８８】
ステップＳ１６０８の後およびステップＳ１６１０の後はステップＳ１６１２でＸカウンタがＫであるか否か、すなわちＸ方向の最終ブロックであるか否かを判別する。Ｘ＝Ｋで無い場合、ステップＳ１６１４でカウンタＸをインクリメントし、ステップＳ１６０６に戻る。ステップＳ１６１２でＸ＝Ｋの場合、ステップＳ１６１６でカウンタＹがＬであるか否か、すなわちＹ方向の最終ブロックであるか否かを判別する。Ｙ＝Ｌの場合、ステップＳ１６１８でカウンタＹをインクリメントし、ステップＳ１６０６に戻る。ステップＳ１６１６でＹ＝Ｌの場合は処理を終了する。
【００８９】
以上のステップにより、特定対象領域が複数の光源によって照明されている場合の、光源に応じた適切なホワイトバランス補正を、ソフトウェアによって実現することが可能である。ただし、必ずしも全ての処理をソフトウェアによって行う必要はなく、ハードウェアによって置き換えることも可能である。特定対象数や光源種類が多数となる場合でも、ソフトウェアによる処理であれば柔軟に対応することが可能である。
【図面の簡単な説明】
【００９０】
【図１】本発明に係るホワイトバランス補正手段の実施形態としての撮像装置１の内部構成ブロック図
【図２】本発明に係るホワイトバランス補正部５０の第１および第２内部構成例
【図３】複数光源に照明された被写体の第１の例
【図４】複数光源に照明された被写体の第１の例による撮影画像とホワイトバランス補正領域
【図５】本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の構成例
【図６】本発明に係るホワイトバランス補正手段の実施形態としての撮像装置２の内部構成ブロック図
【図７】本発明に係るホワイトバランス補正値算出手段の第２実施形態としてのフローチャート
【図８】本発明に係るホワイトバランス補正値手段の第２実施形態としてのフローチャート
【図９】ブロック判別値Ｂ（Ｘ，Ｙ）に低域通過フィルタを適用した例
【図１０】本発明に係るホワイトバランス補正値手段の変形例
【図１１】複数光源に照明された被写体の第２の例
【図１２】複数光源に照明された被写体の第２の例による撮影画像の光源分布とホワイトバランス補正領域
【図１３】本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の他の構成例
【図１４】本発明に係るホワイトバランス補正値算出手段の第４実施形態としてのフローチャート
【図１５】複数光源に照明された被写体の第１の例による撮影画像とホワイトバランス補正領域
【図１６】本発明に係るホワイトバランス補正値補正手段の第４実施形態としてのフローチャート
【符号の説明】
【００９１】
１０      画像入力部
１２      入力信号処理部
２０      ＣＰＵ
２４      画像記録部
２６      操作入力部
２８      通信部
３０      表示部
４０      特定対象検出部
５０      ホワイトバランス補正部
２１０    ホワイトバランス補正値計算部
２１２    ホワイトバランス補正処理部
５０２    ホワイトバランス入力選択手段
５０４    第１ホワイトバランス補正値計算部
５０６    第２ホワイトバランス補正値計算部
５１０    ホワイトバランス補正値比較部
５１２    論理積部
５１４    ホワイトバランス補正値切り換え部
１３０２  分割ホワイトバランス補正値計算部
１３０６  分割ごとのホワイトバランス補正値計算部
１３０８  ホワイトバランス補正値分布判断部
【図１】
2008219414.tif 000003
【図２】
2008219414.tif 000004
【図３】
2008219414.tif 000005
【図４】
2008219414.tif 000006
【図５】
2008219414.tif 000007
【図６】
2008219414.tif 000008
【図７】
2008219414.tif 000009
【図８】
2008219414.tif 000010
【図９】
2008219414.tif 000011
【図１０】
2008219414.tif 000012
【図１１】
2008219414.tif 000013
【図１３】
2008219414.tif 000014
【図１４】
2008219414.tif 000015
【図１５】
2008219414.tif 000016
【図１６】
2008219414.tif 000017
【図１２】
2008219414.tif 000018