(57)【要約】【課題】  複数の撮像手段を備え、被写体と撮影者を共に撮像可能な撮像装置において、撮像されたそれぞれの画像に適正なホワイトバランス補正処理を行うことで画像の色味に違いが発生するのを抑制する。【解決手段】  被写体を撮像し、得られた画像信号を処理する撮像装置であって、被写体を撮像する第１の撮像手段と、撮影者を撮像する第２の撮像手段と、第１、第２の撮像手段により各々取得された画像信号を用いて、それぞれの画像信号に適用する第１、第２のホワイトバランス補正値を算出する算出手段と、第２のホワイトバランス補正値を調整する調整手段と、を備え、調整手段は、第１の撮像手段により取得された被写体の明るさに基づいて、第２のホワイトバランス補正値を調整する。【選択図】  図５
2015119436.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、得られた画像信号を処理する撮像装置であって、
被写体を撮像する第１の撮像手段と、
撮影者を撮像する第２の撮像手段と、
前記第１、第２の撮像手段により各々取得された画像信号を用いて、それぞれの画像信号に適用する第１、第２のホワイトバランス補正値を算出する算出手段と、
前記第２のホワイトバランス補正値を調整する調整手段と、を備え、
前記調整手段は、前記第１の撮像手段により取得された前記被写体の明るさに基づいて、前記第２のホワイトバランス補正値を調整することを特徴とする撮像装置。
【請求項２】
前記調整手段は、前記画像信号に対するゲイン値を制御することで第２のホワイトバランス補正値を調整することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の撮像手段により取得された前記被写体が所定の明るさよりも明るい場合、
前記調整手段は、前記画像信号の赤色および青色の少なくとも一方に対するゲイン値を所定の範囲に制限することで、第２のホワイトバランス補正値を調整することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
被写体を撮像し、得られた画像信号を処理する撮像装置であって、
被写体を撮像する第１の撮像手段と、
撮影者を撮像する第２の撮像手段と、
前記第１、第２の撮像手段により各々取得された画像信号を用いて、それぞれの画像信号に適用する第１、第２のホワイトバランス補正値を算出する算出手段と、
前記第２のホワイトバランス補正値が前記第１のホワイトバランス補正値に基づいて設定される範囲に含まれるかを判定する判定手段と、
前記第２のホワイトバランス補正値を調整する調整手段と、を備え、
前記判定手段が、前記第２のホワイトバランス補正値が前記第１のホワイトバランス補正値に基づいて設定される範囲に含まれないと判断した場合、
前記調整手段は、前記第１のホワイトバランス補正値に基づいて第２のホワイトバランス補正値を調整することを特徴とする撮像装置。
【請求項５】
前記調整手段は、前記第１のホワイトバランス補正値に基づいて設定される範囲に含まれるように、前記第２のホワイトバランス補正値を調整することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１のホワイトバランス補正値に基づいて設定される範囲は、前記第１の撮像手段と第２の撮像手段の分光特性の差を用いて設定されることを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記調整手段は、前記第１、第２のホワイトバランス補正値を重み付け加算することで、前記第２のホワイトバランス補正値を調整することを特徴とする請求項４に記載の撮像装置。
【請求項８】
被写体を撮像し、得られた画像信号を処理する撮像装置であって、
被写体を撮像する第１の撮像手段と、
撮影者を撮像する第２の撮像手段と、
前記第１、第２の撮像手段により各々取得された画像信号を用いて、それぞれの画像信号に適用する第１、第２のホワイトバランス補正値を算出する算出手段と、
前記被写体の環境光源と前記撮影者の環境光源とが同一であるかを判定する判定手段と、
前記第２のホワイトバランス補正値を調整する調整手段と、を備え、
前記判定手段が、それぞれの環境光源が同一であると判定した場合、
前記調整手段は、前記第１のホワイトバランス補正値に基づいて第２のホワイトバランス補正値を調整することを特徴とする撮像装置。
【請求項９】
前記判定手段が、それぞれの環境光源が異なると判定した場合、
前記調整手段は、前記第２のホワイトバランス補正値の調整を行わないことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記調整手段は、前記第１のホワイトバランス補正値に基づいて設定される範囲に含まれるように、前記第２のホワイトバランス補正値を調整することを特徴とする請求項８または９に記載の撮像装置。
【請求項１１】
前記調整手段は、前記第１、第２のホワイトバランス補正値を重み付け加算することで、前記第２のホワイトバランス補正値を調整することを特徴とする請求項８または９に記載の撮像装置。
【請求項１２】
前記判定手段は、前記第１、第２のホワイトバランス補正値に基づいて環境光源を推定し、それぞれの環境光源が同一であるかを判定することを特徴とする請求項８から１１の何れかに記載の撮像装置。
【請求項１３】
被写体を撮像し、得られた画像信号を処理する撮像装置であって、
被写体を撮像する第１の撮像手段と、
撮影者を撮像する第２の撮像手段と、
前記第１、第２の撮像手段により各々取得された画像信号を用いて、第１、第２のホワイトバランス補正値を算出する算出手段と、
前記第１、第２のホワイトバランス補正値をそれぞれの画像信号に適用してホワイトバランス補正を行う補正手段と、を備え、
前記第２の撮像手段が特定の状態にある場合、
前記補正手段は、前記第２の撮像手段により取得された画像信号に対し、第１のホワイトバランス補正値を第２のホワイトバランス補正値として用いてホワイトバランス補正を行うことを特徴とする撮像装置。
【請求項１４】
前記第２の撮像手段が特定の状態にある場合とは、前記第２の撮像手段が電源投入時である場合、または第２の撮像手段によって取得された画像信号が適正露出でない場合であることを特徴とする請求項１３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像手段を備える撮像装置に用いられるホワイトバランス補正の技術に関する。
【背景技術】
【０００２】
デジタルカメラや携帯電話などの撮像素子を備える撮像装置は、撮像によって得られた画像の色調を調整するホワイトバランス制御の機能を備えている。このホワイトバランス制御には、予め白色被写体を撮像してホワイトバランス係数を求めておき、算出したホワイトバランス係数を画面全体に適用するマニュアルホワイトバランス制御がある。また、撮像した画像から白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を求め、算出したホワイトバランス係数を画面全体に適用するオートホワイトバランス制御もある。
【０００３】
さらに撮像装置には、通常の被写体を撮影するメインカメラとは別に撮影者を撮影するインカメラを内蔵したものがあり、メインカメラで撮影した被写体画像にインカメラで撮影した撮影者画像を合成し、撮影者やその表情を被写体の画像に付与する技術が提案されている。
【０００４】
しかし、一般的にインカメラは撮影者のみを撮影するカメラとして特化されており、メインのカメラより画素数は低く設定されているなど、性能が劣っている。そのため、ホワイトバランス制御によって、メインカメラとインカメラで画像の色味に乖離が生じる場合がある。特に、メインカメラで撮像した画像にインカメラで撮像した画像を合成させた場合に合成画像内で色味の乖離が生じ、画像としての違和感を生じさせてしまう。
【０００５】
特許文献１に開示された技術は、複数のカメラを用いて同一の被写体を撮影し、複数のカメラから得られる画像の色を略同等にするために、複数のカメラから得られる画像を所定の基準データと一致させるための補正データを算出しておき、補正データに基づいて画像を補正するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２７１８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された技術は、同一の被写体を撮影するカメラにおける構成であって、異なる被写体を撮影する場合の処理について言及していない。
【０００８】
本発明は、複数の撮像手段を備え、被写体と撮影者を共に撮像可能な撮像装置において、撮像されたそれぞれの画像に適正なホワイトバランス補正処理を行うことで画像の色味に違いが発生するのを抑制することを目的としている。
【課題を解決するための手段】
【０００９】
本発明の一実施態様によれば、被写体を撮像し、得られた画像信号を処理する撮像装置であって、被写体を撮像する第１の撮像手段と、撮影者を撮像する第２の撮像手段と、第１、第２の撮像手段により各々取得された画像信号を用いて、それぞれの画像信号に適用する第１、第２のホワイトバランス補正値を算出する算出手段と、第２のホワイトバランス補正値を調整する調整手段と、を備え、調整手段は、第１の撮像手段により取得された被写体の明るさに基づいて、第２のホワイトバランス補正値を調整する。
【００１０】
本発明の別の一実施態様によれば、被写体を撮像し、得られた画像信号を処理する撮像装置であって、被写体を撮像する第１の撮像手段と、撮影者を撮像する第２の撮像手段と、第１、第２の撮像手段により各々取得された画像信号を用いて、それぞれの画像信号に適用する第１、第２のホワイトバランス補正値を算出する算出手段と、第２のホワイトバランス補正値が第１のホワイトバランス補正値に基づいて設定される範囲に含まれるかを判定する判定手段と、前記第２のホワイトバランス補正値を調整する調整手段と、を備え、判定手段が、第２のホワイトバランス補正値が第１のホワイトバランス補正値に基づいて設定される範囲に含まれないと判断した場合、調整手段は、第１のホワイトバランス補正値に基づいて第２のホワイトバランス補正値を調整する。
【００１１】
本発明の別の一実施態様によれば、被写体を撮像し、得られた画像信号を処理する撮像装置であって、被写体を撮像する第１の撮像手段と、撮影者を撮像する第２の撮像手段と、第１、第２の撮像手段により各々取得された画像信号を用いて、それぞれの画像信号に適用する第１、第２のホワイトバランス補正値を算出する算出手段と、被写体の環境光源と前記撮影者の環境光源とが同一であるかを判定する判定手段と、第２のホワイトバランス補正値を調整する調整手段と、を備え、判定手段が、それぞれの環境光源が同一であると判定した場合、調整手段は、前記第１のホワイトバランス補正値に基づいて第２のホワイトバランス補正値を調整する。
【００１２】
本発明の別の一実施態様によれば、被写体を撮像し、得られた画像信号を処理する撮像装置であって、被写体を撮像する第１の撮像手段と、撮影者を撮像する第２の撮像手段と、第１、第２の撮像手段により各々取得された画像信号を用いて、第１、第２のホワイトバランス補正値を算出する算出手段と、第１、第２のホワイトバランス補正値をそれぞれの画像信号に適用してホワイトバランス補正を行う補正手段と、を備え、第２の撮像手段が特定の状態にある場合、補正手段は、第２の撮像手段により取得された画像信号に対し、第１のホワイトバランス補正値を第２のホワイトバランス補正値として用いてホワイトバランス補正を行う。
【発明の効果】
【００１３】
本発明によれば、複数の撮像手段を備え、被写体と撮影者を共に撮像可能な撮像装置において、撮像されたそれぞれの画像に適正なホワイトバランス補正処理を行うことで画像の色味に違いが発生するのを抑制することが可能である。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の電子カメラの概念図である。
【図２】第１の実施形態の電子カメラの構成を示すブロック図である。
【図３】第１の実施形態においてＷＢ補正値を算出する手順を示すフローチャートである。
【図４】第１の実施形態において色評価値の白検出範囲の例を示す図である。
【図５】第１の実施形態におけるインカメラ画像のＷＢ補正値の制御範囲を示す図である。
【図６】第２の実施形態においてインカメラ画像のＷＢ補正値を制御する手順を示すフローチャートである。
【図７】第２の実施形態におけるインカメラ画像のＷＢ補正値のクリップ処理を示す図である。
【図８】第２の実施形態においてメインカメラ画像のＷＢ補正値とインカメラ画像のＷＢ補正値の重み付け加算を示す図である。
【図９】第３の実施形態においてインカメラ画像のＷＢ補正値を制御する手順を示すフローチャートである。
【図１０】第３の実施形態においてメインカメラとインカメラの環境光源が同じであるかの信頼度を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施形態について、添付の図面に基づいて詳細に説明する。
【００１６】
以下の説明では、本発明を電子カメラに適用した実施形態を用いて説明を行うが、本発明はデジタルスチルカメラ、デジタルムービーカメラ等の電子カメラ、パーソナルコンピュータ、携帯端末等の情報処理装置、これらの装置における画像処理方法などに適用することが可能である。
【００１７】
（第１の実施形態）
図１は、本発明の第１の実施形態の電子カメラの概念図である。
【００１８】
図１に示すように、電子カメラ１００は、装置本体に対して互いに異なる方向に向けられた、第１の撮像手段としてのメインカメラと第２の撮像手段としてのインカメラを有している。電子カメラ１００は、メインカメラとインカメラを用いて、異なる位置にある被写体と撮影者の両方を同時に撮影することが可能である。
【００１９】
メインカメラとインカメラを構成するそれぞれの撮像ユニットは、いずれも光学像を電気的な画像信号に変換する構成を備えており、撮像ユニットから得た画像信号を用いて、静止画及び動画を記録することが可能である。
【００２０】
図２は、電子カメラ１００の構成を示すブロック図である。
【００２１】
電子カメラ１００は、絞り、メカニカルシャッター、レンズなどを有する光学系１０１を備え、制御回路の制御に従って、被写体光学像を撮像素子１０２上に結像する。撮像素子１０２は、ＣＣＤイメージセンサやＣＭＯＳセンサ等の固体撮像素子であり、例えばベイヤー配列を有する原色カラーフィルタを備え、カラー画像の撮影が可能である。本実施形態において、撮像素子１０２は、Ａ／Ｄ変換器等の前処理回路を含むものとし、メモリ１０３には撮像された画像データが格納される。
【００２２】
顔検出部１１６は、メモリ１０３に記憶された画像データに対し、顔検出技術を適用し、画像中に含まれる人間の顔領域を検出する。顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などが適用できる。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法なども適用可能である。また、顔検出の精度を向上させるためにこれらの手法を複数組み合わせてもよい。
【００２３】
電子カメラ１００は、上記顔検出技術によって、画像データ中に含まれる目の位置や顔領域の位置（顔座標）を検出することができる。顔検出部１１６は、顔領域が検出された場合、顔領域の位置や大きさに関する情報を顔情報として出力する。
【００２４】
ＣＰＵ１１７は、顔検出部１１６により顔領域が検出されていれば、顔領域が適正露出で撮像されるよう、シャッター速度、絞り値を算出する。また、顔領域を焦点検出領域として合焦制御を行い、フォーカスレンズの駆動量を算出する。
【００２５】
一方、顔検出部１１６により顔領域が検出されていなければ、ＣＰＵ１１７は画像全体の輝度に基づいてシャッター速度、絞り値を算出すると共に、予め定めた合焦領域を用いて合焦制御を行い、フォーカスレンズの駆動量を算出する。
【００２６】
ＣＰＵ１１７で算出されたシャッター速度、絞り値、これらの値に基づく露出値及びフォーカスレンズの駆動量が、制御回路１１５に送られる。制御回路１１５は、これら各値に基づいて光学系１０１が有する絞り、シャッター、フォーカスレンズを駆動する。
【００２７】
ホワイトバランス制御部１０４は、メモリ１０３に記憶された画像データ及び顔検出部１１６から得られる顔情報に基づいてホワイトバランス補正値（以下、ＷＢ補正値と記す）を算出する。そして、ホワイトバランス制御部１０４は、算出したＷＢ補正値を用いて、メモリ１０３に記憶された画像データのホワイトバランス補正の処理を行う。ホワイトバランス制御部１０４の詳細構成およびＷＢ補正値の算出方法については、後述する。
【００２８】
色変換マトリックス（ＭＴＸ）回路１０５は、ホワイトバランス制御部１０４によってホワイトバランス補正の処理が施された画像データが適正な色で再現されるように、画像信号の各色に対して色ゲインを乗じることで、２つの色差信号データＲ−Ｙ、Ｂ−Ｙに変換する。また、ローパスフィルタ（ＬＰＦ）回路１０６は、２つの色差信号データＲ−Ｙ、Ｂ−Ｙの帯域を制限する。さらに、ＣＳＵＰ（Ｃｈｒｏｍａ  Ｓｕｐｐｒｅｓｓ）回路１０７は、ＬＰＦ回路１０６で帯域が制限された色差信号データにおける飽和部分の偽色信号を抑圧する。
【００２９】
一方、ホワイトバランス制御部１０４によりホワイトバランス補正が施された画像データは、輝度信号（Ｙ）生成回路１１３にも供給され、輝度信号生成回路１１３で輝度信号データＹが生成される。エッジ強調回路１１４は、生成された輝度信号データＹに対してエッジ強調処理を適用する。
【００３０】
ＣＳＵＰ回路１０７から出力される色差信号データＲ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１４から出力される輝度信号データＹは、ＲＧＢ変換回路１０８にてＲＧＢ信号データに変換される。ガンマ（γ）補正回路１０９は、ＲＧＢ信号データに対し、予め定められたγ特性に従った階調補正を適用する。ガンマ補正されたＲＧＢ信号データは、色輝度変換回路１１０によってＹＵＶ信号データに変換された後、ＪＰＥＧ圧縮回路１１１にて圧縮符号化され、記録回路１１２によって記録媒体に画像データファイルとして記録される。ここで、記録媒体は着脱可能であっても、内蔵されていて良い。
【００３１】
図３は、電子カメラ１００において画像のＷＢ補正値を算出する手順を示すフローチャートである。図４は、電子カメラ１００において画像の色評価値の白検出範囲を示す図である。図３と図４を参照して、ホワイトバランス制御部１０４が、撮像手段により取得された画像信号を用いてＷＢ補正値の算出する処理動作を説明する。
【００３２】
まず、ホワイトバランス制御部１０４は、メモリ１０３に記憶された１画面（フレーム又はフィールド）分の画像データを読み出し、任意のｍ（ｍは１以上の整数）個のブロックに分割する（Ｓ１０１）。
【００３３】
そして、ホワイトバランス制御部１０４は、各ブロックに含まれる画素値を色成分ごとに加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］，（ｉはブロックの番号））を算出し、以下の式（１）を用いてブロックごとに色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する（Ｓ１０２）。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２×Ｇ［ｉ］）／Ｙ［ｉ］×１０２４      …（１）
Ｙ［ｉ］＝Ｒ［ｉ］＋２×Ｇ［ｉ］＋Ｂ［ｉ］
次に、図４に示すように、ホワイトバランス制御部１０４は、Ｓ１０２で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、予め設定した白検出範囲３０１に含まれるかどうかを判断する（Ｓ１０３）。白検出範囲３０１は、白色物体を特性（色温度など）の異なる光源下で予め撮影し、算出した色評価値をプロットしたものである。
【００３４】
図４において、ｘ座標（Ｃｘ）の負方向は高色温度光源下で白色物体を撮影した時の色評価値、正方向は低色温度光源下で白色物体を撮影した時の色評価値である。また、ｙ座標（Ｃｙ）は光源の緑（Ｇ）成分の度合いを意味しており、負方向になるにつれてＧ成分が大きくなる。つまり、光源が蛍光灯である場合には、負の方向に色評価値が分布する。
【００３５】
算出した色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、白検出範囲３０１に含まれる場合（Ｓ１０３でＹＥＳ）、ホワイトバランス制御部１０４はそのブロックが白色であると判断する。そして、ホワイトバランス制御部１０４は、白色であると判断したブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積算する（Ｓ１０４）。一方、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれない場合（Ｓ１０３でＮＯ）、ホワイトバランス制御部１０４は、そのブロックの色平均値を積算せずに次の処理を進める。
【００３６】
このＳ１０３及びＳ１０４における処理は、以下の式（２）により表わすことができる。
【００３７】
【数１】
2015119436.tif 000003
【００３８】
式（３）において、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれる場合はＳｗ［ｉ］を１に設定し、含まれない場合にはＳｗ［ｉ］を０に設定する。これにより、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれるブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）のみが積算される。
【００３９】
ホワイトバランス制御部１０４は、すべてのブロックについてＳ１０２〜Ｓ１０４の処理をおこなったかどうかを判断し（Ｓ１０５）、未処理のブロックがあれば処理をＳ１０２に戻し、すべてのブロックについて処理を行っていれば、ホワイトバランス補正処理（Ｓ１０６）に進める。
【００４０】
ホワイトバランス制御部１０４、ＷＢ補正値の算出手段として機能し、得られた色平均値の積分値（ＳｕｍＲ，ＳｕｍＧ，ＳｕｍＢ）から、以下の式（３）を用いてＷＢ補正値（ＷＢＣｏ＿Ｒ，ＷＢＣｏ＿Ｇ，ＷＢＣｏ＿Ｂ）を算出する（Ｓ１０６）。
【００４１】
上述した一連の制御を、メインカメラ、インカメラの各々により取得された画像信号に対して行い、それぞれの画像信号に対するＷＢ補正値（第１、第２のＷＢ補正値）が算出される。メインカメラにより取得された画像信号に対するＷＢ補正値は第１のＷＢ補正値、インカメラにより取得された画像信号に対するＷＢ補正値は第２のＷＢ補正値である。
ＷＢＣｏ＿Ｒ＝ＳｕｍＹ×１０２４／ＳｕｍＲ
ＷＢＣｏ＿Ｇ＝ＳｕｍＹ×１０２４／ＳｕｍＧ          …（３）
ＷＢＣｏ＿Ｂ＝ＳｕｍＹ×１０２４／ＳｕｍＢ
ＳｕｍＹ＝（ＳｕｍＲ×２＋ＳｕｍＧ＋ＳｕｍＢ）／４
ここで、インカメラは撮影者を撮影する場合などに適用されるため、一般的にメインカメラより画素数が低い場合、撮像制御自体も複雑でない場合がある。また、インカメラは、撮影者を撮影することに特化しているため、撮影者の顔が画面全体に占める割合が多く、白色の領域が見つかりにくい。そのため顔の肌色を低色温度光源下の白と誤判別する場合があり、青みがかった画像が撮影されてしまう可能性がある。
【００４２】
そこで、本実施形態では、電子カメラ１００は、ホワイトバランス制御部１０４が調整手段として機能し、メインカメラの情報をもとにインカメラのＷＢ補正値を制限して調整することで、インカメラのホワイトバランス補正制御を安定させる。
【００４３】
図５は、電子カメラ１００におけるインカメラのＷＢ補正値の制御を示す図である。
【００４４】
図５（ａ）は、メインカメラにより取得した被写体の明るさ（測光値）に応じてＲゲイン（赤色の画像信号に対するゲイン値）を制限していることを示している。たとえば、メインカメラの測光値（Ｂｖ値）が所定の値よりも高い場合は、撮影環境が室内ではなく、屋外の外光下での撮影であると判断してＲゲイン、Ｂゲイン（青色の画像信号に対するゲイン値）を制限する。
【００４５】
図５（ｂ）は、メインカメラの測光値とＲゲイン制御範囲の関係を示した図で、メインカメラの測光値に応じたＲゲイン制御範囲の変化を表した図である。つまり、メインカメラの測光値が所定の値よりも大きいときは屋外の外光下での撮影であると判断して、外光が取り得るゲイン制御範囲に狭めることで、インカメラのＷＢ補正値の誤動作を緩和させることができる。なお、ＢゲインについてもＲゲインと同様に制御範囲を設定してもよい。
【００４６】
以上、本実施形態では、メインカメラの測光値から被写体の明るさを判定し、所定の明るさよりも明るい場合には、色ゲインを所定の範囲に制限することでインカメラのＷＢ補正値を調整する。そうすることで、メインカメラとインカメラで撮像した画像の色味に違いが発生するのを抑制することが可能である。
【００４７】
また、上述の処理を行うことで、メインカメラの撮像画像とインカメラの撮像画像を合成して合成画像を生成する場合にも、合成画像の領域毎に色味の違いが発生するのを抑制することができ、ユーザーに違和感を与えないことが可能となる。
【００４８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００４９】
本実施形態では、メインカメラのＷＢ補正値とインカメラのＷＢ補正値の相関関係を考慮して、ホワイトバランス制御部が調整手段として、メインカメラのＷＢ補正値の方向にインカメラのＷＢ補正値を調整する点が第１の実施形態と異なる。以下では、第１の実施形態と異なる点を中心に説明し、第１の実施形態と同様な構成や処理についての詳細な説明は省略する。
【００５０】
図６は、本実施形態の電子カメラにおいてインカメラのＷＢ補正値を制御する手順を示すフローチャートである。図７は、本実施形態の電子カメラにおいてインカメラのＷＢ補正値のクリップ処理を示す図である。
【００５１】
まず、図２のフローチャートに示すように、ホワイトバランス制御部１０４によって算出されたメインカメラの第１のＷＢ補正値（Ｃｘ１、Ｃｙ１）とインカメラにおける第２のＷＢ補正値（Ｃｘ２、Ｃｙ２）を算出して取得する（Ｓ２０１）。
【００５２】
次に、第２のＷＢ補正値（Ｃｘ２、Ｃｙ２）が、図７で示すような第１のＷＢ補正値（Ｃｘ１、Ｃｙ１）に基づいて設定される範囲６０１に含まれるかを判定する（Ｓ２０２）。
【００５３】
ここで、メインカメラとサブカメラの撮像素子には分光特性の差分が存在するので、その差分を補うようなΔＣｘ、ΔＣｙを加味して範囲６０１に含まれるかを判定してもよい。ここでのΔＣｘ、ΔＣｙは、メインカメラ及びサブカメラにより同一光源下で白色物体を撮影した時の色評価値差分である。
【００５４】
次に、ホワイトバランス制御部１０４が、Ｓ２０２の処理で算出された第２のＷＢ補正値が範囲６０１に含まれると判断すれば、第２のＷＢ補正値をインカメラに実際に適用するＷＢ補正値（第３のＷＢ補正値）として出力する（Ｓ２０３）。
【００５５】
また、ホワイトバランス制御部１０４が、第２のホワイトバランス補正値が前記第１のホワイトバランス補正値に基づいて設定される範囲に含まれるかを判定する判定手段として機能し、Ｓ２０２の処理で算出された第２のＷＢ補正値が範囲６０１に含まれないと判定すれば、図７で示すように、第２のＷＢ補正値（Ｃｘ２、Ｃｙ２）を範囲６０１に含まれるようにクリップ処理を行って調整する（Ｓ２０４）。次に、クリップ処理が行われたＷＢ補正値（Ｃｘ２´、Ｃｙ２´）をインカメラに実際に適用するＷＢ補正値（第３のＷＢ補正値）として出力する（Ｓ２０５）。
つまり、第３のＷＢ補正値は、前記第１のホワイトバランス補正値に基づいて第２のホワイトバランス補正値が調整された値に相当する。なお、ここでも前述の分光特性差分ΔＣｘ、ΔＣｙを加味してＣｘ２´、Ｃｙ２´を算出してもよい。
【００５６】
上述した例では、第２のＷＢ補正値が所定範囲内であるかを判定して、範囲外であるならクリップ処理を行う構成について例示したが、第１のＷＢ補正値と第２のＷＢ補正値を、それぞれの補正値の距離ΔＣｘＣｙに応じて算出したＭｉｘ率α（図８（ｂ））を用いて重み付け加算することにより、インカメラに実際に適用するＷＢ補正値（第３のＷＢ補正値）を算出してもよい。
【００５７】
つまり、第３のホワイトバランス補正値は、Ｍｉｘ率αを用いて以下の式（４）で求まる。
Ｃｘ３＝（１−α）×Ｃｘ１＋α×Ｃｘ２
Ｃｙ３＝（１−α）×Ｃｙ１＋α×Ｃｙ２          …（４）
以上、本実施形態では、メインカメラとインカメラの撮像画像からそれぞれのＷＢ補正値を算出し、インカメラのＷＢ補正値がメインカメラのＷＢ補正値に基づいて設定される範囲に含まれるかを判定し、含まれないと判定した場合には、インカメラのＷＢ補正値を前記第１のＷＢ補正値の情報に基づいて第２のＷＢ補正値を調整する。そうすることで、メインカメラとインカメラで撮像した画像の色味に違いが発生するのを抑制することが可能である。
【００５８】
また、上述の処理を行うことで、メインカメラの撮像画像とインカメラの撮像画像を合成して合成画像を生成する場合にも、合成画像の領域毎に色味の違いが発生するのを抑制することができ、ユーザーに違和感を与えないことが可能となる。
【００５９】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００６０】
本実施形態では、メインカメラの被写体とインカメラの撮影者の環境光源が同一であるかを判定する手段を有する点で上記第２の実施形態と異なる。また、環境光源が同一の光源であると判断された場合は、ホワイトバランス制御部は調整手段として、インカメラのＷＢ補正値がメインカメラのＷＢ補正値に近づくように、インカメラのＷＢ補正値を調整する。一方、環境光源が同一ではないと判断した場合は、各々の撮像画像から算出されたＷＢ補正値を用いてホワイトバランス補正を行う。以下では、第２の実施形態と異なる点を中心に説明し、第２の実施形態と同様な構成や処理についての詳細な説明は省略する。
【００６１】
図９は、本実施形態の電子カメラにおいてインカメラのＷＢ補正値を調整する手順を示すフローチャートである。
【００６２】
ステップＳ３０１、ステップＳ３０３からステップＳ３０６までの処理は、第２の実施形態のステップＳ２０１、ステップＳ２０２からステップＳ３０５までの処理と同様である。
【００６３】
Ｓ３０２の処理では、ホワイトバランス制御部は、メインカメラとインカメラのそれぞれで撮影された被写体の環境光源が同じであるかを判定する。それぞれの環境光源が同じであるかを判定する要素としては、メインカメラ、インカメラにおける各々の被写体輝度、ＷＢ補正値、ズーム倍率設定等の少なくとも１つの要素に基づいて判定することとする。
【００６４】
本実施形態では、メインカメラの環境光源とサブカメラの環境光源の一致の信頼度（β）を算出し、信頼度を基にして環境光源が同一であるかを判定する。
【００６５】
図１０は、本実施形態の電子カメラにける環境光源が同じであるかの判定する際に信頼度の算出を示す図である。
【００６６】
図１０（ａ）に示すように、たとえばメインカメラの被写体輝度とインカメラの被写体輝度の差分値（ΔＢｖ）が大きい場合は、環境光源が異なる場合があるので、信頼度（β）は低く設定される。
【００６７】
また、図１０（ｂ）に示すように、第１のＷＢ補正値、第２のＷＢ補正値の差分（ΔＣｘ、ΔＣｙ）が大きい場合も、環境光源が異なる可能性が高くなるの、信頼度（β）が低く設定される。
【００６８】
さらに、図１０（ｃ）に示すように、メインカメラにおけるズーム倍率が望遠側に設定されるにつれて、撮影者と被写体の環境光源が異なる可能性が高くなるので信頼度（β）は低く設定される。
【００６９】
また、以下のような場合も、それぞれの環境光源が同じであるかを判定するのに用いる要素となる。すなわち、メインカメラとインカメラの被写体輝度の差分値、メインカメラとインカメラのＷＢ補正値の差分値、メインカメラのズーム倍率以外の要素を用いて環境光源を推定し、環境光源が同じであるかの判定を行ってもよい。
【００７０】
メインカメラの画像データを用いてシーン判別を用い、例えばその判別結果が夜景シーンと判断された場合は、撮影者との環境光源が異なる可能性が高いと判断する。従って、この場合においては、信頼度（β）が低く設定される。
【００７１】
また、暗いシーンで撮影者に照射されているＬＣＤなどのモニタからの光照射量が高い場合はメインカメラ（被写体）とサブカメラ（撮影者）の環境光源が異なる場合が高いと判断される。従って、この場合においても信頼度（β）は低く設定される。なお、ＬＣＤなどのモニタからの光照射量の算出には、メインカメラの被写体輝度、サブカメラの被写体輝度、撮影者の顔の大きさ等の情報を用いて判断することが可能である。
【００７２】
さらにまた、撮影時にストロボ発光した場合も、撮影者と被写体の環境光源が異なると判断しうるので、ストロボ発光がされた場合も、信頼度（β）は低く設定される。
【００７３】
以上、例示した信頼度（β）に関連する夫々の要素は、少なくとも１つを用いてもよく、また複数の要素を組み合わせて用いてもよい。
【００７４】
次に、ステップＳ３０２で、ホワイトバランス制御部１０４が被写体の環境光源と撮影者の環境光源とが同一であるかを判定する判定手段として機能し、それぞれの環境光源が異なると判断された場合は、インカメラの撮像画像から算出された第２のＷＢ補正値を、インカメラに実際に適用するＷＢ補正値（第３のＷＢ補正値）として出力する（Ｓ３０４）。
【００７５】
逆に、それぞれの環境光源が同じであると判断された場合は、前述の第２の実施形態で説明した処理と同様に、クリップ処理（Ｓ３０５）を行ってインカメラに実際に適用するＷＢ補正値（第３のＷＢ補正値）を算出する（Ｓ３０６）。
【００７６】
以上、本実施形態では、メインカメラとインカメラの環境光源が同一であるかを判定し、同一でないと判定した場合には、インカメラのＷＢ補正値を前記第１のＷＢ補正値の情報に基づいて第２のＷＢ補正値を調整する。そうすることで、メインカメラとインカメラで撮像した画像の色味に違いが発生するのを抑制することが可能である。
【００７７】
また、上述の処理を行うことで、メインカメラの撮像画像とインカメラの撮像画像を合成して合成画像を生成する場合にも、合成画像の領域毎に色味の違いが発生するのを抑制することができ、ユーザーに違和感を与えないことが可能となる。
【００７８】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
【００７９】
本実施形態では、インカメラがある特定条件下においてはメインカメラのＷＢ補正値をインカメラのＷＢ補正値に適用することが、上述した他の実施形態と異なる。ここで特定条件下とは、インカメラの電源投入時や、インカメラで撮影された画像データが適正露出でない条件などである。
【００８０】
インカメラの電源投入時や画像データがアンダー傾向、オーバー傾向である場合は、ＷＢ制御が安定しない場合があるので、メインカメラとインカメラが同一環境下にあったとしても、インカメラの色味がメインカメラと異なる場合がある。
【００８１】
従って、インカメラをある特定条件下にあると判定した場合に、メインカメラのＷＢ補正値をインカメラのＷＢ補正値として用いて、ホワイトバランス制御部１０４はホワイトバランス補正手段として機能してホワイトバランス補正を行う。つまり、第２の撮像装置に適用するＷＢ補正値（Ｃｘ、Ｃｙ）は、以下の式（５）で求まる。
Ｃｘ＝Ｃｘ１＋ΔＣｘ
Ｃｙ＝Ｃｙ１＋ΔＣｙ          …（５）
ここでＣｘ１、Ｃｙ１は第１の撮像手段におけるＷＢ補正値であり、ΔＣｘ、ΔＣｙは前述のメインカメラとインカメラの分光特性の差分値である。なお、分光特性を考慮せずに、第１の撮像手段におけるＷＢ補正値をそのまま用いてもよい。
【００８２】
このような特定条件下においてはメインカメラのＷＢ補正値をインカメラのＷＢ補正値に適用することでメインカメラとインカメラの色味を合わせることが可能であり、メインカメラの画像にインカメラの画像を合成する場合も違和感のない画像を提供することができる。
【００８３】
（その他の実施形態）
また、本発明において実施形態の説明で例示したそれぞれ構成は、構成の機能を実現するソフトウェア（プログラム）で実現されてもよい。つまり、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する構成であってもよい。
【符号の説明】
【００８４】
１００  電子カメラ
１０４  ホワイトバランス制御部
【図１】
2015119436.tif 000004
【図２】
2015119436.tif 000005
【図３】
2015119436.tif 000006
【図４】
2015119436.tif 000007
【図５】
2015119436.tif 000008
【図６】
2015119436.tif 000009
【図７】
2015119436.tif 000010
【図８】
2015119436.tif 000011
【図９】
2015119436.tif 000012
【図１０】
2015119436.tif 000013