(57)【要約】【課題】撮影方向の異なる複数の撮像部と撮影画像の表示部を備えた撮像装置において、表示部による照射光の影響を考慮し、各撮像部で撮影したそれぞれ画像に係るホワイトバランス処理を行い、高品位の画像処理を実現すること。【解決手段】前面センサ部１０３は撮像装置の前面を撮像し、背面センサ部１１８は撮像装置の前面を撮像する。前面画像処理部１０５は前方被写体を撮像した信号を処理し、被写体輝度算出部１０６は被写体側画角の輝度を算出する。背面画像処理部１２０は、撮影者を撮像した信号を処理し、撮影者検出部１２２は撮影者を検出する。撮影者検出部１２２により撮影者が検出されている状態で、制御部１０２は、被写体輝度算出部１０６が算出した被写体輝度が所定の閾値未満の場合、表示部１０７が発する光の色温度情報をモニタ色温度取得部１２１により取得してホワイトバランス補正値を算出し、撮影者側画角の画像に適用する制御を行う。【選択図】  図１
2014165608.tif 000002
【特許請求の範囲】
【請求項１】
第１撮像部および該第１撮像部とは異なる方向を撮像する第２撮像部と、前記第１撮像部、第２撮像部によるそれぞれの画像信号を処理する画像処理部と、前記画像処理部が処理した画像信号に応じて画像を表示する表示部を備える撮像装置であって、
前記表示部が発する光の色温度情報を取得する取得手段と、
前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出手段と、
前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正手段を備え、
前記補正手段は、前記輝度算出手段が算出した輝度を閾値と比較し、該輝度が閾値以上である場合には前記第１画像を用いて算出したホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用し、また前記輝度算出手段が算出した前記輝度が前記閾値未満である場合には、前記色温度情報を用いて算出したホワイトバランス補正値を、前記第２画像に対するホワイトバランス補正値として適用することを特徴とする撮像装置。
【請求項２】
前記補正手段は、前記第１画像を複数のブロックに分割して色平均値および色評価値をそれぞれ算出し、前記色評価値が予め設定した白検出範囲に含まれる場合に積算した前記色平均値の積算値から前記第１画像に対するホワイトバランス補正値を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記取得手段が取得する前記色温度情報は、前記第１撮像部により撮像した白画像が前記表示部に表示される場合の照射光に係る色評価値を初期値として有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
第１撮像部および該第１撮像部とは異なる方向を撮像する第２撮像部と、前記第１撮像部、第２撮像部によるそれぞれの画像信号を処理する画像処理部と、前記画像処理部が処理した画像信号に応じて画像を表示する表示部を備える撮像装置であって、
前記表示部が発する光の色温度情報を取得する取得手段と、
前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出手段と、
前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正手段を備え、
前記補正手段は、前記輝度算出手段が算出した輝度を第１閾値と比較し、該輝度が第１閾値以上である場合には、前記第１画像を用いてホワイトバランス補正値を算出し、該ホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用し、
前記輝度算出手段が算出した前記輝度が前記第１閾値未満であって、かつ前記輝度が前記第１閾値よりも小さい第２閾値未満である場合に前記色温度情報に対応した色評価値を用いてホワイトバランス補正値を算出して前記第２画像に対するホワイトバランス補正値として適用することを特徴とする撮像装置。
【請求項５】
前記補正手段は、前記輝度算出手段が算出した前記輝度が前記第１閾値未満であって、かつ前記第２閾値以上である場合、前記輝度算出手段が算出した前記輝度および前記表示部が発する光の照度から算出した合成比率にしたがって、前記第１画像に係る色評価値および前記色温度情報に対応した色評価値に対して前記合成比率を乗算した色評価値から前記第２画像に対するホワイトバランス補正値を算出することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記補正手段は、前記輝度算出手段が算出した前記輝度と前記表示部が発する光の照度との和で、前記輝度算出手段が算出した前記輝度を除算することにより前記合成比率を算出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記補正手段は、色空間座標系における前記第１画像に係る色評価値の座標および前記色温度情報に対応した色評価値の座標から、前記合成比率を用いて線形補間処理を行うことにより、前記第２画像に係る色評価値を算出すること特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第１撮像部は撮像装置本体に配置されて被写体を撮像し、
前記第２撮像部は撮像装置本体にて前記第１撮像部とは反対側に配置されて撮影者を撮像することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記第２画像から撮影者を検出する撮影者検出手段をさらに備え、
前記補正手段は、前記撮影者検出手段により撮影者が検出されている状態で、前記第２画像に対する前記ホワイトバランス補正を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記撮影者検出手段は、撮影者の顔位置および顔サイズ、視線、および顔サイズをもとに算定した撮影者までの距離情報のいずれか１つ以上を前記補正手段に出力することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記撮影者検出手段は、オートフォーカス処理によって取得される撮影者までの距離情報を前記補正手段に出力することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記第２画像の信号を処理する画像処理部は、前記撮影者検出手段から撮影者までの距離情報を取得し、前記表示部が発する光の照度を算出して前記補正手段に出力することを特徴とする請求項１０または１１に記載の撮像装置。
【請求項１３】
前記第２画像の信号を処理する画像処理部は、前記第２撮像部から撮影者までの距離が大きいほど前記照度の値を小さく算出することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記補正手段は、前記撮影者検出手段により撮影者の顔が検出された場合、顔領域の肌色平均値を算出して補正対象領域内であるか否かを判定し、算出した肌色平均値が前記補正対象領域内である場合には肌色補正を行ってから前記第２画像に対するホワイトバランス補正値を算出することを特徴とする請求項１０から１３のいずれか１項に記載の撮像装置。
【請求項１５】
第１撮像部および該第１撮像部とは異なる方向を撮像する第２撮像部と、前記第１撮像部、第２撮像部によるそれぞれの画像信号を処理する画像処理部と、前記画像処理部が処理した画像信号に応じて画像を表示する表示部を備える撮像装置にて実行される制御方法であって、
前記表示部が発する光の色温度情報を取得する取得ステップと、
前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出ステップと、
前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正ステップを有し、
前記補正ステップは、
前記輝度算出ステップで算出した輝度を閾値と比較するステップと、
前記輝度が閾値以上である場合に前記第１画像を用いてホワイトバランス補正値を算出し、該ホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用するステップと、
前記輝度が前記閾値未満である場合に前記取得ステップで取得した前記色温度情報を用いてホワイトバランス補正値を算出し、該ホワイトバランス補正値を、前記第２画像に対するホワイトバランス補正値として適用するステップを有することを特徴とする撮像装置の制御方法。
【請求項１６】
第１撮像部および該第１撮像部とは異なる方向を撮像する第２撮像部と、前記第１撮像部、第２撮像部によるそれぞれの画像信号を処理する画像処理部と、前記画像処理部が処理した画像信号に応じて画像を表示する表示部を備える撮像装置にて実行される制御方法であって、
前記表示部が発する光の色温度情報を取得する取得ステップと、
前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出ステップと、
前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正ステップを有し、
前記補正ステップは、
前記輝度算出ステップで算出した輝度を第１閾値と比較するステップと、
前記輝度が第１閾値以上である場合に、前記第１画像を用いてホワイトバランス補正値を算出し、該ホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用するステップと、
前記輝度が前記第１閾値未満であって、かつ前記輝度が前記第１閾値よりも小さい第２閾値未満である場合に前記色温度情報に対応した色評価値を用いてホワイトバランス補正値を算出して前記第２画像に対するホワイトバランス補正値として適用するステップを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像方向における撮像技術に関し、特に装置前方の被写体および装置後方の撮影者の両方を撮影可能な撮像装置のホワイトバランス（以下、ＷＢと略記する）制御に関するものである。
【背景技術】
【０００２】
撮影者の状況を把握するため、撮像装置の背面部に前面部とは別の撮像部を配置したカメラが提案されている（特許文献１参照）。このカメラは、背面側撮像部で撮影者の視野角を検知し、前面側撮像部の撮影画角を変更する。前面側撮像部により撮影した第１画像（以下、前面画像という）に、背面側撮像部により撮影した第２画像（以下、背面画像という）を合成することで、カメラ周囲の状況を加味した画像をユーザに提供できる（図４参照）。
ディジタルカメラ等の撮像装置は、撮像センサが被写体像に応じた画像信号を生成し、制御用の回路が、撮像センサから出力された画像信号に対して、画像のＷＢを自動的に補正する処理（オートホワイトバランス：ＡＷＢ）を行う。具体的には、ＡＷＢ処理において、撮像センサから出力された画像信号がＡ（アナログ）−Ｄ（ディジタル）変換され、複数のブロックに分割される。そのブロック信号はＲ（赤）、Ｇ（緑）、Ｂ（青）を含む色信号で構成されている。各ブロックの色評価値(Cx[i]、Cy[i])は、色信号から算出される（算出式については後述の式（１）ないし（３）を参照して説明する）。
【０００３】
ＡＷＢ処理では、予め設定した白検出範囲に色評価値(Cx[i]、Cy[i])が含まれる場合、そのブロックが白であると判定される。そして、白検出範囲に入った色画素の積分値SumR、SumG、SumBを算出し、ＷＢ係数を算出する処理が行われる（算出式については後述の式（４）ないし（１０）を参照して説明する）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１２１８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記特許文献１のように、前面および背面の被写界を撮影可能な両面カメラを用いた撮影において、撮影者と被写体は同じ照明光下にいることが多い。このため、通常の現像処理にて前面画像と背面画像とで同じＷＢ係数を用いることが想定される。しかしながら、カメラ本体の背面に配置された表示部がオン状態であって画像表示用の照明光源が発光している場合、表示部からの光が撮影者に照射されることがある。外光が明るい場合はその影響は軽微であるが、周囲照度が低い場合、表示部からの照射光による影響が大きくなる。前面側撮像部で撮影した画像の場合と同じＷＢ係数をそのまま背面側撮像部で撮影した画像の現像処理に適用すると、背面画像に色残りが生じる可能性がある。
【０００６】
本発明は、撮影方向の異なる複数の撮像部と撮影画像の表示部を備えた撮像装置において、表示部による照射光の影響を考慮し、各撮像部で撮影したそれぞれ画像に係るホワイトバランス処理を行い、高品位の画像処理を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る装置は、第１撮像部および該第１撮像部とは異なる方向を撮像する第２撮像部と、前記第１撮像部、第２撮像部によるそれぞれの画像信号を処理する画像処理部と、前記画像処理部が処理した画像信号に応じて画像を表示する表示部を備える撮像装置であって、前記表示部が発する光の色温度情報を取得する取得手段と、前記第１撮像部により撮像した第１画像の輝度を算出する輝度算出手段と、前記色温度情報および前記第１画像を用いてホワイトバランス補正を行う補正手段を備える。前記補正手段は、前記輝度算出手段が算出した輝度を閾値と比較し、該輝度が閾値以上である場合には前記第１画像を用いて算出したホワイトバランス補正値を、前記第２撮像部により撮像した第２画像に対するホワイトバランス補正値として適用し、また前記輝度算出手段が算出した前記輝度が前記閾値未満である場合には、前記色温度情報を用いて算出したホワイトバランス補正値を、前記第２画像に対するホワイトバランス補正値として適用する。
【発明の効果】
【０００８】
本発明によれば、撮影方向の異なる複数の撮像部と撮影画像の表示部を備えた撮像装置において、表示部による照射光の影響を考慮し、各撮像部で撮影したそれぞれ画像に係るホワイトバランス処理を行い、高品位の画像処理を実現できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】図３とともに画像処理例を説明するフローチャートであり、処理の前半部を示す図である。
【図３】図２に続く処理の後半部を示す図である。
【図４】被写体および撮影者を同時に撮影する状態を示した図である。
【図５】環境の違いによる背面モニタ光の影響の差異を説明する図である。
【図６】外光および背面モニタ光の両方の影響下での撮影状態を示す図である。
【図７】ＷＢ補正値の算出処理例を説明するフローチャートである。
【図８】白検出領域を示す（Ａ）図および合成比率により補間点を算出する線形補間処理の説明図（Ｂ）である。
【図９】距離に応じたモニタ照度低下の補正値を例示した図である。
【図１０】図３のＳ２１４の処理を説明するフローチャートである。
【図１１】肌色領域（Ａ）、補正対象領域（Ｂ）、補正対象外領域（Ｃ）を例示した図である。
【図１２】補正ゲインを（Ａ）ないし（Ｃ）に例示したグラフである。
【発明を実施するための形態】
【００１０】
以下に、本発明の実施形態を、添付図面に基づいて詳細に説明する。
図１は、本実施形態に係る撮像装置として、ディジタルカメラの機能構成を例示するブロック図である。異なる方向を撮像する複数の撮像部を備えるディジタルカメラは、例えば、第１の方向の第１被写体とその反対側である第２の方向の第２被写体を同時に撮影可能である。本実施形態では、２つの撮像部を有する撮像装置本体の被写体側を前面側として各部の位置関係を説明する。
【００１１】
操作部１０１は、操作者が撮像装置に対して各種の指示を入力するために操作するスイッチやボタン等で構成されている。操作部１０１は、シャッタスイッチや、表示画面上を手指等で触れて操作可能なタッチセンサ等も含む。制御部１０２は、操作部１０１からの指示信号に応じて撮像装置内の各部を制御する。制御部１０２はＣＰＵ（中央演算処理装置）等を備え、制御プログラムを実行して各種の処理を制御する。
【００１２】
ディジタルカメラ本体部の前面に設けた第１撮像部（以下、前面撮像部という）は、レンズ部１０８ａと、絞りやシャッタを含む前面機構部１０９ａと、前面センサ部１０３を備える。前面センサ部１０３は撮像素子を用いて、レンズ部１０８ａ、前面機構部１０９ａを介して入射される光を受光し、その光量に応じた電荷を出力する。前面Ａ（アナログ）／Ｄ（ディジタル）変換部１０４は、前面センサ部１０３から出力されたアナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。前面画像処理部１０５は、前面Ａ／Ｄ変換部１０４が出力したディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。例えば、ディジタル画像信号をＹＵＶ画像信号に変換する処理が行われる。前面画像処理部１０５は処理した画像信号を被写体輝度算出部１０６、画像合成部１１５、制御部１０２に出力する。
【００１３】
被写体輝度算出部１０６は、前面画像処理部１０５から画像信号を取得して、前面撮像部によって撮像した画像の輝度を算出する。算出した輝度情報は制御部１０２に出力される。制御部１０２は前面画像処理部１０５によって得られた画像信号に基づいて焦点状態を検出し、焦点調節用の制御信号を前面ＡＦ処理（オートフォーカス処理）部１０８に送信する。前面ＡＦ処理部１０８はレンズ部１０８ａを制御し、フォーカスレンズの焦点調節動作により被写体にピントを合わせる。また制御部１０２は、前面画像処理部１０５によって生成された画像信号を取得して露出制御を行う。制御部１０２は撮像画像の輝度が適正輝度となるように前面ＡＥ処理（自動露出処理）部１０９に対して制御信号を送信する。前面ＡＥ処理部１０９は、前面機構部１０９ａを制御し、撮像素子への露光量を調節する。
表示部１０７は液晶表示パネル等を備え、制御部１０２の制御指令により、画面上の画像を表示する。モニタ色温度取得部１２１は、表示部１０７のモニタ光（照射光）の色温度情報を取得して予め保持する。ただし、表示画像に応じて照射光の色温度が変動するため、表示部１０７に映し出される画像に応じて色温度が再計算される。計算後の色温度情報は後述の背面画像処理部１２０に出力される。外部接続部１１４は、撮像装置に接続される外部機器に対して画像信号等を出力する。
【００１４】
ディジタルカメラ本体部の背面に設けた第２撮像部（以下、背面撮像部という）は、背面レンズ部１１６ａ、背面機構部１１７ａ、背面センサ部１１８を備える。背面センサ部１１８は撮像素子を有し、背面レンズ部１１６ａ、背面機構部１１７ａを介して入射される光を受光し、その光量に応じた電荷を出力する。背面Ａ／Ｄ変換部１１９は、背面センサ部１１８から出力されたアナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。背面画像処理部１２０は、背面Ａ／Ｄ変換部１１９から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。また、背面画像処理部１２０はモニタ色温度取得部１２１から表示部１０７の色温度情報を取得し、制御部１０２から外光輝度と前面画像のＷＢ係数を取得して、背面画像のＷＢ係数を算出する。前面画像は前面撮像部により撮像した第１画像であり、背面画像は背面撮像部により撮像した第２画像である。
【００１５】
撮影者検出部１２２は背面画像の画角内の被写体を検出する。例えば、撮影者検出部１２２は、背面画像処理部１２０にて得られた画像から顔検出を行い、被写体像を検出する。ここで検出する情報は、顔位置および顔サイズ、視線、顔サイズをもとに算定した距離情報等を含む。なお、本実施形態では撮影者の顔検出を行う場合を想定しているが、ＡＦ処理により得た合焦位置や同一深度領域、距離情報等を上記検出情報としてもよい。撮影者検出部１２２は検出情報を制御部１０２に出力する。
【００１６】
制御部１０２は背面画像処理部１２０によって得られた画像信号に基づいて焦点検出を行い、制御信号を背面ＡＦ処理部１１６に出力する。背面ＡＦ処理部１１６は背面レンズ部１１６ａを制御し、フォーカスレンズの焦点調節動作により被写体にピントを合わせる。また制御部１０２は背面画像処理部１２０によって得られた画像信号に基づいて露出制御を行う。背面ＡＥ処理部１１７は制御部１０２の制御指令に従い、撮像画像の輝度が適正輝度となるように背面機構部１１７ａを制御する。制御部１０２はストロボ発光を制御する場合、フラッシュ調光処理部１１０に制御信号を出力してフラッシュ部１１１を発光させ、適正光量の閃光を前方の被写体に照射する。
【００１７】
画像合成部１１５は、前面画像処理部１０５からの前面画像の画像信号と、背面画像処理部１２０からの背面画像の画像信号を取得し、前面画像と背面画像との画像合成を行う。
画像合成後の信号はエンコーダ部１１２に出力される。エンコーダ部１１２は、画像合成部１１５から取得したディジタル画像信号のデータに対し、ＪＰＥＧ（Joint Photographic Experts Group）等のフォーマット変換を行う。フォーマット変換後のデータは画像記録部１１３に出力される。画像記録部１１３は、エンコーダ部１１２から取得したフォーマット変換済みの画像データを、不図示の記憶部や、ディジタルカメラ本体部に挿入された外部メモリ等に記録する処理を行う。
【００１８】
次に、使用者（撮影者）がディジタルカメラを用いて撮像を行う場合の動作について説明する。
先ず、操作部１０１の電源スイッチがオン操作されると、制御部１０２はこれを検知し、ディジタルカメラ内の各構成部に電源電圧を供給する。各構成部に電源電圧が供給されるとシャッタが開き、前面センサ部１０３は、カメラ前面に配置されたレンズ部１０８ａ、前面機構部１０９ａを介して被写体からの光を受光する。前面センサ部１０３の撮像素子に蓄積された電荷の読み出し処理が行われ、前面Ａ／Ｄ変換部１０４にアナログ画像信号として出力される。前面Ａ／Ｄ変換部１０４は、前面センサ部１０３から出力されたアナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。前面画像処理部１０５は、前面Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種画像処理を行い、処理済みのディジタル画像信号を出力する。このとき、前面画像処理部１０５および制御部１０２は前面撮像部で得られた画像信号からＷＢ補正値を求める。この処理を、図７のフローチャートを参照して説明する。
【００１９】
図７に示すＳ６０１では、画像信号を読み出し、画像のフレームを複数（例えばｍ個）のブロックに分割する処理が実行される。ｍ個のブロックから処理対象（例えば、ｉ番目）となるブロックが選択される。Ｓ６０２では、処理対象であるｉ番目のブロックにおいて、画素値を色ごとに加算平均して色平均値（R[i]，G[i]，B[i]と記す）が算出される。次に、下式（１）、（２）を用いて、色評価値（Cx[i]，Cy[i]と記す）が算出される。
【００２０】
［数式１］
Cx[i]＝（R[i]−B[i]）／Y[i]×１０２４             ・・・（１）
Cy[i]＝（R[i]＋B[i]−２×G[i]）／Y[i]×１０２４   ・・・（２）
ただし、式（１）、（２）において、
［数式２］
Y[i]＝R[i]＋２×G[i]＋B[i]                        ・・・（３）
である。
【００２１】
Ｓ６０３では、Ｓ６０２で算出したｉ番目のブロックの色評価値（Cx[i]，Cy[i]）が、予め設定した白検出範囲７０１（図７参照）に含まれるか否かが判断される。図７の横軸は色評価値Ｃｘを表し、縦軸は色評価値Ｃｙを表す。白検出範囲７０１は、予め異なる光源下で白色物体を撮影して算出される色評価値を、グラフにプロットした範囲を示している。図７の色度図におけるｘ座標（Cx）の負方向（図７の左方向）は、高色温度被写体の白を撮影したときの色評価値を表す。また、ｘ座標（Cx）の正方向（図７の右方向）が低色温度被写体の白を撮影したときの色評価値を表す。また、ｙ座標（Cy）は光源の緑色成分の度合いを表しており、負方向（図７の下方向）になるにつれて緑色成分が大きくなり、例えば光源が蛍光灯であることを示している。
【００２２】
図７のＳ６０２で算出した色評価値（Cx[i]，Cy[i]）が白検出範囲７０１に含まれると判断された場合（図７：Ｓ６０３でＹＥＳ）、処理をＳ６０４へ進める。また、Ｓ６０２で算出した色評価値（Cx[i]，Cy[i]）が白検出範囲７０１に含まれないと判断された場合（図７：Ｓ６０３でＮＯ）、処理をＳ６０５へ進める。
Ｓ６０４では、ｉ番目のブロックの色平均値（R[i]，G[i]，B[i]）を積算する処理が実行される。この積算処理は下式（４）〜（６）で表すことができる。
【００２３】
［数式３］
SumR＝Σ Sw[i]×R[i]・・・（４）
SumG＝Σ Sw[i]×G[i]・・・（５）
SumB＝Σ Sw[i]×B[i]・・・（６）
「Σ」はｉ＝１からｍまでの総和を演算する記号である。Sw[i]は、色平均値に乗算される係数である。式（４）〜（６）において、色評価値（Cx[i]，Cy[i]）が白検出範囲７０１（図８（Ａ）参照）に含まれる場合、Ｓｗ[i]の値を１とし、白検出範囲７０１に含まれない場合にはSw[i]を０とする。すなわち、Ｓ６０３の判断結果に従って、色評価値（R[i]，G[i]，B[i]）の加算をそれぞれ行う場合、Sw[i]＝１であり、加算を行わない場合、Sw[i]＝０である。これによりＳ６０３の判断処理およびＳ６０４の積算処理が実質的に１つの処理で行われる。
【００２４】
Ｓ６０５は、全てのブロックについて上記処理を行ったか否かについての判定処理である。未処理のブロックがあると判定された場合、Ｓ６０２に処理を戻し、未処理のブロックから処理対象のブロックが選択されて処理を続行する。また、未処理のブロックがないと判定された場合には、Ｓ６０６へ処理を進める。
Ｓ６０６では、Ｓ６０４で算出された色平均値の積算値（SumR，SumG，SumB）から、下式（７）〜（９）を用いて、ＷＢ補正値（WBCo_R，WBCo_G，WBCo_Bと記す）が算出される。
【００２５】
［数式４］
WBCo_R＝SumY×１０２４／SumR・・・（７）
WBCo_G＝SumY×１０２４／SumG・・・（８）
WBCo_B＝SumY×１０２４／SumB・・・（９）
ただし、式（７）〜（９）において、
［数式５］
SumY＝（SumR＋２×SumG＋SumB）／４・・・（１０）
である。
【００２６】
図１を参照して説明を続ける。
被写体輝度算出部１０６は、前面画像処理部１０５から得られた画像内の輝度画像信号に基づいて前面画像輝度（Bv1と記す）を取得する。前面画像の取得処理と並行して、電源スイッチがオンされたときに背面撮像部でもシャッタが開く。背面センサ部１１８は、カメラ背面に配置されたレンズ部１１６ａ、背面機構部１１７ａを介して撮影者からの光を受光する。背面センサ部１１８の撮像素子に蓄積された電荷の読み出し処理が行われ、アナログ画像信号として背面Ａ／Ｄ変換部１１９に出力される。背面Ａ／Ｄ変換部１１９は、背面センサ部１１８から出力されたアナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。
【００２７】
背面画像処理部１２０は、背面Ａ／Ｄ変換部１１９から出力されたディジタル画像信号に対して各種画像処理を行い、処理済みのディジタル画像信号を撮影者検出部１２２、画像合成部１１５、制御部１０２に出力する。撮影者検出部１２２は背面画像処理部１２０からの背面画像に基づいて顔情報（サイズ、位置等）を検出する。顔情報を含む撮影者の検出情報は制御部１０２に出力される。背面ＡＦ処理部１１６は、撮影者検出部１２２が検出した顔情報に基づいて算出される、撮影者の顔までの距離情報を制御部１０２から取得する。なお、背面画像の現像処理の際に使用するＷＢ係数に関しては、撮影者の顔情報と、モニタ色温度取得部１２１から取得した表示部１０７のモニタ色温度と、被写体輝度算出部１０６から取得した前面画像の輝度を用いて決定される。その詳細については後述する。
【００２８】
前面画像と背面画像の各画像信号は画像合成部１１５に渡され、ここで画像合成処理が行われる。図４に示す背面モニタ画面は表示部１０７の表示画面に相当する。合成画像はＬＣＤ（液晶表示パネル）画面等に表示される。図４は被写体の顔画像と、サブウィンドウ内の撮影者の顔画像との合成画像が画面に表示された例を示す。
制御部１０２は、シャッタスイッチからの第１信号ＳＷ１の通知を受けると、この時点における画像および被写体情報を用いてＡＦおよびＡＥ処理を行い、撮影に最適なピントおよび露出設定条件を取得する。シャッタスイッチからの第２信号ＳＷ２により、画像記録を行う本撮影動作へ移行する。前面および背面のレンズ部および露出機構部をそれぞれ介して各センサ部１０３、１１８に入射した光が受光される。撮像素子にそれぞれ蓄積された電荷が読み出され、Ａ／Ｄ変換部１０４、１１９にそれぞれアナログ画像信号が出力される。Ａ／Ｄ変換部１０４、１１９は、センサ部１０３、１１８から出力された各アナログ画像信号に対して、サンプリング処理、ゲイン調整処理、Ａ／Ｄ変換処理等を行い、ディジタル画像信号を出力する。前面画像処理部１０５および背面画像処理部１２０は、入力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。
【００２９】
前面画像処理部１０５と背面画像処理部１２０がそれぞれ出力するディジタル信号は画像合成部１１５により合成され、エンコーダ部１１２に出力される。エンコーダ部１１２ＪＰＥＧ等へのフォーマット変換を行い、変換した画像データを画像記録部１１３に出力する。画像記録部１１３は、フォーマット変換された画像データを所定のメモリに記録する処理を行う。
【００３０】
次に、ＷＢ補正値の算出（背面ＷＢ補正値算出）処理に関して、図２および図３のフローチャートを参照して詳細に説明する。
先ず、初期露出値が設定されて、前面画像の露光が開始する（Ｓ２０１）。そして、露光後に画像信号を前面センサ部１０３から読み出す処理が行われる（Ｓ２０２）。次に、被写体輝度算出部１０６は、前面センサ部１０３から読み出された画像信号に基づき前面画像の輝度値Bv1を算出する（Ｓ２０３）。ここでは画面をブロック分割し、ブロックでの積分（積算処理）により画面平均輝度が算出される。得られた前面画像信号を用い、［数式１］および［数式２］に従って前面画像の色評価値（Cx1,Cy1と記す）が算出される（Ｓ２０４）。
Ｓ２０５で制御部１０２は、前面画像から算出された被写体輝度値Bv1を第１閾値（TH1と記す）と比較する。被写体輝度値Bv1が第１閾値以上である場合、Ｓ２０６へ処理を進め、被写体輝度値Bv1が第１閾値未満である場合、Ｓ２０７へ処理を進める。Ｓ２０６で制御部１０２は、外光が支配的で背面モニタ光の影響がほぼ皆無であると判断し、前面画像の色評価値Cx1,Cy1から、［数式３］ないし［数式５］に従って算出したＷＢ補正値を背面画像にも適用する。図５（Ａ）は、昼光下で撮影する様子を示す。背面モニタ光の輝度の影響が小さいので、背面撮像部で撮像した背面画像に、前面画像の色評価値Cx1,Cy1から算出したＷＢ補正値が適用される。
【００３１】
Ｓ２０７では、制御部１０２は、外光が殆ど無く、背面モニタ光の影響が支配的なシーンであると判断する。図５（Ｂ）は、暗中時に撮影する様子を示す。背面モニタ輝度の影響が大きいので、前面画像の色評価値Cx1,Cy1から算出したＷＢ補正値を流用した場合、背面画像の色残りが生じる可能性がある。そこで、背面画像処理部１２０は、モニタ色温度取得部１２１からモニタ色温度に対応した色評価値（Cx2,Cy2と記す）を取得する。Ｓ２０８で被写体輝度値Bv1が第２閾値（TH2と記す。TH2＜TH1）より小さいか否かが判定される。被写体輝度値Bv1が第２閾値未満である場合、Ｓ２０９へ処理を進め、Ｓ２０７で取得した色評価値Cx2,Cy2が、背面画像に適用されるＷＢ補正値の算出に使用される。ここで、背面モニタから出力される光については、初期値として前面画像に白画像が映し出された場合の照射光に係る色評価値が保持されているものとする。但し、背面モニタに映し出される画像によって色温度が変動するため、初期値を基準として、前面画像のＷＢ補正値を加味した色評価値を用いて背面画像のＷＢ補正値を算出してもよい。
【００３２】
Ｓ２０８で被写体輝度値Bv1が第２閾値以上である場合、制御部１０２は、撮影者に照射される外光と背面モニタ光は、どちらの光源についても背面画像に影響があると判断する。図６の例は、夜間の灯光および背面モニタ光の下での撮影状態を示す。Ｓ２１０で背面画像処理部１２０は、背面モニタ光の照度（Bv2と記す）を算出する。照度Bv2については距離依存性があるため、図９に例示する特性に基づいて算出される。図９は、横軸がカメラからの距離Dist（単位：ｍ）を示し、縦軸がモニタ照度補正値ｋを示しており、距離テーブルを用いてグラフ化した図である。
【００３３】
照度Bv2は以下の式で表される。
［数式６］
Bv2 = L×2^k
上式中、Lは距離0.1mにおけるモニタ照度を表す。「^」は累乗を表す。モニタ照度補正値ｋは負値であり、カメラからの距離が大きくなるにつれて照度Bv2が低下する。
Ｓ２１１では、外光の輝度値Bv1と背面モニタ光の照度Bv2を用いて、色評価値の合成比率（αと記す）が下式から算出される。
［数式７］
α= Bv1 / (Bv1+Bv2)
αの値は、外光の輝度値Bv1と背面モニタ光の照度Bv2との和で外光の輝度値Bv1を除算することで得られる。
【００３４】
図８（Ｂ）は、前面画像の色評価値Cx1,Cy1と、背面モニタ光の色評価値Cx2,Cy2から、上記合成比率αにより補間点を算出する線形補間処理の説明図である。横軸は評価値Cxを示し、縦軸は評価値Cyを示す。座標点（Cx1,Cy1）と座標点（Cx2,Cy2）とを結ぶ線分を、合成比率αにより、１−α：αで内分することにより座標点（Cx3,Cy3）が求まる。Ｓ２１２で得た適切な色評価値Cx3,Cy3から背面画像のＷＢ補正値が算出される（図３：Ｓ２１３）。
Ｓ２１４で制御部１０２は、Ｓ２１３で算出した背面画像のＷＢ補正値が適切か否かを判断し、適切でない場合には修正処理を行う。その詳細については図１０ないし図１２を用いて後述する。Ｓ２１５では、最終的に決定されたＷＢ補正値を用いて、前面画像および背面画像の現像処理が行われた後、これらの画像データが画像合成部１１５に送られる。Ｓ２１６に処理を進め、画像合成部１１５は、得られた２枚の画像を合成する。画像合成の際には、背面画像が前面画像の被写体像に重ならない位置設定にて背面画像の配置が決定される。合成後の画像は表示部１０７の画面上に表示され、また記録時にはエンコーダ部１１２を介して画像記録部１１３に出力される。
【００３５】
次に、図１０を参照して、図３のＳ２１４の処理について説明する。
まず、Ｓ３０１では、図３のＳ２１３で算出された背面画像のＷＢ補正値が第１のＷＢ補正値として設定される。次のＳ３０２は、撮影者の顔に相当する顔領域が検出されているか否かについて判断処理である。顔領域の検出は撮影者検出部１２２が行う。Ｓ３０２で顔領域が検出されていない場合、Ｓ３１０に処理を進め、Ｓ３０１で設定した第１のＷＢ補正値を最終的なＷＢ補正値として決定し、ＷＢ補正値の算出処理を終了する。一方、Ｓ３０２で顔領域が検出されている場合、Ｓ３０３に処理を進め、顔領域に対応するブロック全体についての色平均値（FR、FG、FBと記す）が取得される。なお、顔領域がブロック単位で検出されない場合には、顔領域に全て含まれるブロックだけでなく、所定割合（例えば５０％以上）が顔領域であるブロックを、顔領域に対応するブロックに含めてもよい。
【００３６】
Ｓ３０４は、Ｓ３０３で取得した色平均値FR、FG、FBに対し、第１のＷＢ補正値（WBCol_R、WBCol_G、WBCol_Bと記す）をそれぞれ乗じて、肌色平均値を求める処理が実行される。肌色平均値は、顔領域の色平均値を第１のＷＢ補正値により補正した値、つまり、補正画像信号データを示す。肌色平均値（SR, SG, SBと記す）は以下の式で算出される。
［数式８］
SR=FR × WBCol_R
SG=FG × WBCol_G
SB=FB × WBCol_B
【００３７】
Ｓ３０４にて、算出した肌色平均値（SR, SG, SB）が、肌色補正対象領域内にあるか否かが判定される。図１１は、横軸に評価値Ｃｘをとり、縦軸に評価値Ｃｙをとって、肌色領域（Ａ）、補正対象領域（Ｂ）、補正対象外領域（Ｃ）を例示した図である。なお、肌色領域（Ａ）は第１の色信号領域に対応し、肌色補正対象領域（Ｂ）は、第１の色信号領域からのズレが所定範囲内の周辺領域である第２の色信号領域に対応する。補正対象外領域（Ｃ）は、肌色領域（Ａ）および補正対象領域（Ｂ）以外の領域を示す。図１１に肌色平均値の位置（Ｐｆ参照）と目標ポイント（Ｐｔ参照）を例示する。図１１では、所定の色空間座標系としてＣｘおよびＣｙ座標系を用いている。よって、ＲＧＢデータをＣｘ＝SR−SB、Ｃｙ＝SR+SB−2×SGとして色差信号に変換してから、Ｓ３０４の判定処理が実行される。もちろん、公知の色空間変換方法を適用することにより、任意の色空間で肌色補正に係る判定を行うことができる。
【００３８】
図１１に示す肌色領域（Ａ）及び補正対象領域（Ｂ）については、例えば、太陽光（昼光）等の白色光下で予め肌色の被写体を複数撮影し、統計的な手法を用いて設定することができる。また、肌色領域（Ａ）及び補正対象領域（Ｂ）を特定する情報は、予め登録しておいてもよいし、また別の記憶装置に記憶しておいて必要に応じて参照してもよい。
肌色平均値の位置（Ｐｆ参照）が、肌色領域（Ａ）内に入っている場合、第１のＷＢ補正値により肌色が適正にＷＢ補正されたと判断され、Ｓ３１０に処理を進める。この場合、前記第１のＷＢ補正値が最終的に使用するＷＢ補正値として決定される。また、肌色平均値の位置が補正対象外領域（Ｃ）にある場合には、肌色平均値が人の肌を表していないと判断される。この場合、前記第１のＷＢ補正値が最終的に使用するＷＢ補正値として決定される（Ｓ３１０）。
【００３９】
一方、肌色平均値の位置（Ｐｆ参照）が補正対象領域（Ｂ）内にある場合、第１のＷＢ補正値では、肌色が適正にＷＢ補正されなかったと判断され、Ｓ３０５へ処理を進める。Ｓ３０５にて、肌色平均値と肌色領域（Ａ）とのズレを補正する第２のＷＢ補正値が算出される。ここでは、図１１に示すように、肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなるように補正量の算出を行うものとする。肌色平均値の位置を示す座標点Ｐｆを(Cx_face,Cy_face)とし、肌色領域（Ａ）内であって、かつ肌色平均値に最も近い目標ポイントの座標点Ｐｔを(Cx_target,Cy_target)とする。補正量は下式から算出される。
【００４０】
［数式９］
ΔCx＝Cx_target−Cx_face
ΔCy＝Cy_target−Cy_face
この補正量（ΔCx、ΔCy）を用いて第２のＷＢ補正値が算出される。
【００４１】
さらに、本実施形態ではＳ３０７にて補正ゲイン算出処理を行い、第２のＷＢ補正値を抑制する。補正ゲインの一例について、図１２を参照して説明する。この補正ゲインは、顔領域の検出精度、すなわち顔領域から得られる情報の信頼度が低くなる場合に、第２のＷＢ補正値を適用することによる過補正、誤補正の影響を低減するために算出される。本実施形態において、顔領域情報の確からしさ（信頼度や顔の大きさ等）、撮影時の被写体輝度、撮影感度等を考慮して補正ゲイン算出処理が行われる。なお、全ての補正ゲインの上限値は１とする。
【００４２】
図１２（Ａ）は、取得した顔領域に対応するブロック数に応じたゲイン（ブロック数Gain）を例示する。横軸はブロック数（DBL_NUM）を示す。顔領域に対応するブロック数が少ない場合（顔領域が小さい場合）には、肌色評価値としての精度が低くなる場合がある。このため、第１閾値TH_BL1以下でのブロック数ゲインTH_BL_RATE1は低く設定される。一方、ブロック数が第２閾値TH_BL2以上の場合には、肌色の評価値としての精度が高い（信頼度が高い）と考えられるので、ブロック数ゲインTH_BL_RATE2を高く設定している。ブロック数が第１閾値を超え、かつ第２閾値未満の場合には、ブロック数の増加につれて、ブロック数ゲインが線形に増加する。
【００４３】
図１２（Ｂ）は顔領域の輝度値ゲイン(Y_Gain)を例示する。横軸は輝度平均値（Y_AVG）を示す。顔領域の輝度平均値が低い場合（顔領域が露出アンダーの場合）や高い場合（顔領域が露出オーバーの場合）には、肌色評価値として不正確な場合がある。このため、図示の例では、適正露出範囲の両側にて顔領域の輝度値ゲインY_Gainを下げている。図中の第２閾値TH_Y2から第３閾値TH_Y3までが適正露出範囲である。第２閾値TH_Y2から第１閾値TH_Y1にかけての範囲でY_Gainの値はY_AVGの減少につれて減少する。また、第３閾値TH_Y3から第４閾値TH_Y4にかけての範囲でY_Gainの値はY_AVGの増加につれて減少する。
【００４４】
図１２（Ｃ）は顔検出の信頼度に応じたゲイン値（顔信頼度Gain）を例示する。横軸は顔信頼度を示す。顔検出処理時に得られる、パターンマッチングの相関度や、顔領域の大きさ等の、顔検出の信頼度情報から顔信頼度が算出される。図示の例では、第１閾値TH_TR1から第２閾値TH_TR2にかけての範囲で顔信頼度が低いと判断され、顔信頼度Gainを低下させている。０から第１閾値TH_TR1の範囲は顔信頼度が高く、顔信頼度Gainが１である。
図１２（Ａ）ないし（Ｃ）に示すゲイン設定の１つ以上を用いて、最終的な補正ゲインが算出される（図１０のＳ３０７）。
【００４５】
第２のＷＢ補正値に対して、前記のように算出した補正ゲインが乗算される。その結果、最終的な肌色目標ポイントとして、顔領域の肌色平均値が（Cxt，Cyt）になるようなＷＢ補正値(Gain×ΔCx, Gain×ΔCy)が下式による演算で算出される。
［数式１０］
Cxt＝ΔCx＋Cx3
Cyt＝ΔCy＋Cy3
【００４６】
次に、Ｓ３０７の補正ゲインを用いて補正された第２のホワイトバランス補正値（第２ＷＢ補正値）と、第１のホワイトバランス補正値（第１ＷＢ補正値）との合計値が、最終的に背面画像に対して使用するＷＢ補正値として決定される（Ｓ３０８）。補正ゲインの算出を行わない場合には、（ゲイン補正されない）第２ＷＢ補正値と、第１ＷＢ補正値との合計値を、最終的に背面画像について使用するＷＢ補正値として決定すればよい。
【００４７】
本実施形態によれば、撮影方向の異なる複数の撮像部を備えた撮像装置において、画像表示部による照射光の影響を考慮し、各撮像部で撮影された画像について適切なホワイトバランス処理を行える。例えば、第１画像である前面画像の輝度値からシーンを判別するとともに、背面モニタの照射光の影響を判定することにより、シーンに応じて前面画像および背面画像（第２画像）に係る適切なＷＢ補正値を算出することができる。これにより、前面撮像部に比べて画角の狭い背面撮像部による撮影画の色残りを抑制できるので、高品位の画像処理を実現でき、画質の向上に寄与する。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００４８】
１０２  制御部
１０３  前面センサ部
１０５  前面画像処理部
１０６  被写体輝度算出部
１０７  表示部
１１５  画像合成部
１１８  背面センサ部
１２０  背面画像処理部
１２１  モニタ色温度取得部
１２２  撮影者検出部
【図１】
2014165608.tif 000003
【図２】
2014165608.tif 000004
【図３】
2014165608.tif 000005
【図４】
2014165608.tif 000006
【図５】
2014165608.tif 000007
【図６】
2014165608.tif 000008
【図７】
2014165608.tif 000009
【図８】
2014165608.tif 000010
【図９】
2014165608.tif 000011
【図１０】
2014165608.tif 000012
【図１１】
2014165608.tif 000013
【図１２】
2014165608.tif 000014