(57)【特許請求の範囲】
【請求項１】
被写体から受光した光に基づいて、フラッシュを発光せずに撮影して取得される第一の画像の明るさが適正となる第一の露光制御値と、前記フラッシュを発光して撮影して取得される第二の画像の明るさが適正となる第二の露光制御値を算出する露光制御値算出部と、
前記第一の露光制御値に基づいて撮影し前記第一の画像を取得し、絞り値を前記第一の露光制御値における絞り値と一致させた前記第二の露光制御値に基づいて撮影し前記第二の画像を取得する撮像部と、
前記第一の露光制御値と前記第二の露光制御値との差分である露光制御値差分を算出する露光制御値差分算出部と、
取得された前記第一の画像の全画素について第一の被写体輝度を算出し、取得された前記第二の画像の全画素について第二の被写体輝度を算出する被写体輝度算出部と、
前記露光制御値差分と、画素毎の前記第一の被写体輝度と、画素毎の前記第二の被写体輝度との差分である被写体輝度差分を全画素について算出する被写体輝度差分算出部と、
前記被写体輝度差分から画素単位にフラッシュ反射量を算出するフラッシュ反射量算出部と、
前記フラッシュ反射量から画素単位にホワイトバランスゲインを算出するホワイトバランスゲイン算出部と
を備える、撮像装置。
【請求項２】
前記ホワイトバランスゲインを前記第二の画像の全画素に画素単位で適用して、画素単位でホワイトバランスを制御するホワイトバランス制御部を更に備える、請求項１に記載の撮像装置。
【請求項３】
前記第一の露光制御値と前記第二の露光制御値は、前記露光制御値算出部によって個別に算出され、前記第一の露光制御値と前記第二の露光制御値が一致する必要がない、請求項１又は２に記載の撮像装置。
【請求項４】
前記フラッシュ反射量算出部によって算出された前記フラッシュ反射量に基づいて、環境光のカラーバランスとフラッシュ光のカラーバランスを線形補間し、対象画素のカラーバランスを算出するカラーバランス算出部を更に備え、
前記ホワイトバランスゲイン算出部は、前記カラーバランスに基づいて前記ホワイトバランスゲインを算出する、請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
被写体から受光した光に基づいて、フラッシュを発光せずに撮影して取得される第一の画像の明るさが適正となる第一の露光制御値と、前記フラッシュを発光して撮影して取得される第二の画像の明るさが適正となる第二の露光制御値を算出するステップと、
前記第一の露光制御値に基づいて撮影し前記第一の画像を取得し、絞り値を前記第一の露光制御値における絞り値と一致させた前記第二の露光制御値に基づいて撮影し前記第二の画像を取得するステップと、
前記第一の露光制御値と前記第二の露光制御値との差分である露光制御値差分を算出するステップと、
取得された前記第一の画像の全画素について第一の被写体輝度を算出し、取得された前記第二の画像の全画素について第二の被写体輝度を算出するステップと、
前記露光制御値差分と、画素毎の前記第一の被写体輝度と、画素毎の前記第二の被写体輝度との差分である被写体輝度差分を全画素について算出するステップと、
前記被写体輝度差分から画素単位にフラッシュ反射量を算出するステップと、
前記フラッシュ反射量から画素単位にホワイトバランスゲインを算出するステップと
を備える、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラなどの電子的撮像装置において、従来のホワイトバランス補正処理は、一つのホワイトバランスゲインを画像全体に一律に適用する処理である。
【０００３】
例えば照明光（環境光）が暗いシーンでは露光不足を解消するために、フラッシュを発光して撮影を行う。フラッシュを発光して撮影したとき、ホワイトバランスゲインは、フラッシュの発光量等に応じて算出される。その際、環境光とフラッシュ光が混合されているシーンで撮影した場合、デジタルスチルカメラに近い距離にある被写体は、適切なホワイトバランスとすることができる。しかし、遠い距離にある被写体は、フラッシュ光よりも環境光の依存度が高くなる。そのため、環境光が蛍光灯などの場合、環境光とフラッシュ光との色温度差が大きくなる。その結果、ホワイトバランス補正処理を画像全体に適用すると、遠い距離にある白い被写体が黄色くなるなど不適切なホワイトバランスとなる問題が発生する。
【０００４】
このため、特許文献１では、画像全体を適切なホワイトバランスとするために、フラッシュ発光画像とフラッシュ非発光画像を画素単位に比較することでフラッシュ反射量を算出する。そして、算出したフラッシュ反射量から最適なホワイトバランスゲインを画素単位に算出し画像に適用する技術が開示されている。
【０００５】
また、特許文献２では、フラッシュ反射量を特許文献１と異なる方式で算出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１６７４７６号公報
【特許文献２】特開２００２−３６９２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、フラッシュ発光時の露光制御値に合わせたフラッシュ非発光画像と、フラッシュ発光画像を取得する。そして、それぞれの画像の対応する信号値を比較することでフラッシュ反射量を算出し、画素単位にホワイトバランスゲインを算出する。
【０００８】
この際、フラッシュ非発光時の画像はフラッシュ発光時の露光制御値に合わせているため、フラッシュ非発光状態では不適正露光となり暗い画像となる。そのため、フラッシュ非発光画像に違和感がでてくるという問題がある。
【０００９】
特許文献２でも同様に、フラッシュ非発光画像とフラッシュ発光画像を取得する。そして、それぞれの画像の対応する信号値の比率をフラッシュ反射量とし、画素単位にホワイトバランスゲインを算出する。
【００１０】
この際、フラッシュ非発光画像はフラッシュ発光時の露光制御値に合わせるという前提になっているため、特許文献１と同様に、フラッシュ非発光状態では不適正露光となり暗い画像となる。そのため、フラッシュ非発光画像に違和感がでてくるという問題がある。
【００１１】
フラッシュ非発光画像とフラッシュ発光画像を取得して、フラッシュ反射量を算出する場合、従来、フラッシュ非発光画像とフラッシュ発光画像の露光制御値を一致させていた。これにより、フラッシュ反射量は算出できるが、フラッシュ非発光時の画像は、フラッシュ発光時の露光制御値に合わせているため、適正な露光制御値で撮影されない。そのため、フラッシュ非発光画像とフラッシュ発光画像とで２回撮影を行っているにもかかわらず、フラッシュ非発光画像を、ライブビュー画像や記録画像として利用することができないという問題があった。
【００１２】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フラッシュ非発光時の画像とフラッシュ発光時の画像を画素単位で比較することでフラッシュ反射光量を求め、画素単位に適切なホワイトバランスゲインを算出する方法において、フラッシュ非発光画像を適正露光の画像とすることで、無駄な撮影をすることなくフラッシュ発光時の画像全体を適切なホワイトバランスにすることが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明のある観点によれば、被写体から受光した光に基づいて、フラッシュを発光せずに撮影して取得される第一の画像の明るさが適正となる第一の露光制御値と、フラッシュを発光して撮影して取得される第二の画像の明るさが適正となる第二の露光制御値を算出する露光制御値算出部と、第一の露光制御値に基づいて撮影し第一の画像を取得し、第二の露光制御値に基づいて撮影し第二の画像を取得する撮像部と、第一の露光制御値と第二の露光制御値との差分である露光制御値差分を算出する露光制御値差分算出部と、取得された第一の画像の全画素について第一の被写体輝度を算出し、取得された第二の画像の全画素について第二の被写体輝度を算出する被写体輝度算出部と、露光制御値差分と、画素毎の第一の被写体輝度と、画素毎の第二の被写体輝度との差分である被写体輝度差分を全画素について算出する被写体輝度算出部と、被写体輝度差分から画素単位にフラッシュ反射量を算出するフラッシュ反射量算出部と、フラッシュ反射量から画素単位にホワイトバランスゲインを算出するホワイトバランスゲイン算出部とを備える、撮像装置が提供される。
【００１４】
この構成により、被写体からの光に基づいてフラッシュ非発光による第一の画像の明るさが適正となる第一の露光制御値と、フラッシュ発光による第二の画像の明るさが適正となる第二の露光制御値が算出され、第一の露光制御値及び第二の露光制御値に基づいて第一の画像及び第二の画像が取得される。また、第一の露光制御値及び第二の露光制御値の露光制御値差分が算出され、取得された第一の画像及び第二の画像の全画素についてそれぞれ第一の被写体輝度と第二の被写体輝度が算出される。更に、露光制御値差分と、画素毎の第一及び第二の被写体輝度との被写体輝度差分が全画素について算出され、被写体輝度差分から画素単位にフラッシュ反射量が算出され、フラッシュ反射量から画素単位にホワイトバランスゲインが算出される。その結果、フラッシュ非発光画像を適正露光の画像とすることで、無駄な撮影をすることなくフラッシュ発光時の画像全体を適切なホワイトバランスにすることができる。
【００１５】
上記ホワイトバランスゲインを第二の画像の全画素に画素単位で適用して、画素単位でホワイトバランスを制御するホワイトバランス制御部を更に備える。この構成により、ホワイトバランスゲインが第二の画像の全画素に画素単位で適用されて、画素単位でホワイトバランスが制御される。
【００１６】
上記第一の露光制御値と第二の露光制御値は、露光制御値算出部によって個別に算出され、第一の露光制御値と第二の露光制御値が一致する必要がない。
【００１７】
上記撮像部は、露光制御値算出部によって算出された第一の露光制御値のうち、絞り値を一致させた第二の露光制御値で撮影し第二の画像を取得する。
【００１８】
上記フラッシュ反射量算出部によって算出されたフラッシュ反射量に基づいて、環境光のカラーバランスとフラッシュ光のカラーバランスを線形補間し、対象画素のカラーバランスを算出するカラーバランス算出部を更に備え、ホワイトバランスゲイン算出部は、カラーバランスに基づいてホワイトバランスゲインを算出する。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、被写体から受光した光に基づいて、フラッシュを発光せずに撮影して取得される第一の画像の明るさが適正となる第一の露光制御値と、フラッシュを発光して撮影して取得される第二の画像の明るさが適正となる第二の露光制御値を算出するステップと、第一の露光制御値に基づいて撮影し第一の画像を取得し、第二の露光制御値に基づいて撮影し第二の画像を取得するステップと、第一の露光制御値と第二の露光制御値との差分である露光制御値差分を算出するステップと、取得された第一の画像の全画素について第一の被写体輝度を算出し、取得された第二の画像の全画素について第二の被写体輝度を算出するステップと、露光制御値差分と、画素毎の第一の被写体輝度と、画素毎の第二の被写体輝度との差分である被写体輝度差分を全画素について算出するステップと、被写体輝度差分から画素単位にフラッシュ反射量を算出するステップと、フラッシュ反射量から画素単位にホワイトバランスゲインを算出するステップとを備える、撮像方法が提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、フラッシュ非発光時の画像とフラッシュ発光時の画像を画素単位で比較することでフラッシュ反射光量を求め、画素単位に適切なホワイトバランスゲインを算出する方法において、フラッシュ非発光画像を適正露光の画像とすることで、無駄な撮影をすることなくフラッシュ発光時の画像全体を適切なホワイトバランスにすることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る撮像装置を示すブロック図である。
【図２】同実施形態に係る撮像装置１００のホワイトバランスゲインの算出動作を示すフローチャートである。
【図３】ベイヤユニットを示す説明図である。
【図４】フラッシュ発光撮影で取得される画像を示す説明図である。
【図５】フラッシュ非発光撮影で取得される画像を示す説明図である。
【図６】フラッシュ非発光画像に対して露光制御値差分を適用した画像を示す説明図である。
【図７】被写体輝度差分の算出処理の概念を示す説明図である。
【図８】被写体輝度差分の算出処理の概念を示す説明図である。
【図９】被写体輝度差分の算出処理の概念を示す説明図である。
【図１０】本実施形態に係る撮像装置の撮影動作を示すタイムチャートである。
【図１１】従来の撮像装置の撮影動作を示すタイムチャートである。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
図１は、本発明の一実施形態に係る撮像装置１００においての画像処理パイプラインのブロック図を示す。図２は、本実施形態に係る撮像装置１００のホワイトバランスゲインの算出動作を示すフローチャートである。
【００２４】
レンズ１０２を通過した光は、ＣＣＤイメージセンサー１０８又はＣＭＯＳイメージセンサーなどの撮像素子に結像する。その結果、ＣＣＤイメージセンサー１０８から信号処理部１１０を経てＲＧＢ画像信号が得られる。信号処理部１１０は、ＣＣＤイメージセンサー１０８からの信号に対して色分離処理、Ａ／Ｄ変換等をする。
【００２５】
信号処理部１１０で得られたＲＧＢ画像信号は、前処理部１１２による欠陥画素補正、黒レベル補正、シェーディング補正などの処理が施される。前処理部１１２は、ＡＥ評価値算出部１２４を有し、ＲＧＢ画像信号に基づいて、ＡＥ評価値を算出する。ＡＥ評価値は、適正ＡＥ算出部１５０に送られる。実際に撮影が行われると、適正ＡＥ算出部１５０で算出されたＡＥ値に基づいて、露光制御部１５２は、絞り１０４、シャッター１０６を調整する。
【００２６】
また、前処理部１１２で処理された画像信号は、後処理部１１４によるホワイトバランス補正処理、ベイヤ色補間（デモザイク）処理、色補正処理、エッジ強調処理、ガンマ補正処理、ノイズ低減処理などの種々の画像処理が施される。その後、ＲＧＢ→ＹＣＣ変換部１１６において、ＲＧＢ信号がＹＣＣ信号に変換され、データ圧縮部１１８において、ＪＰＥＧ等の形式で圧縮処理される。そして、インターフェースであるメモリーカード接続部１２０を介して、メモリーカード１２２に画像データが記録される。
【００２７】
本実施形態は、フラッシュ１６０を発光して撮影することで取得されるフラッシュ発光画像に対し、画素単位に適切なホワイトバランスゲインを算出することを特徴とする。
【００２８】
以下、本実施形態に係る撮像装置１００の撮影動作について説明する。ユーザーによって、シャッターボタンが押圧されることで、撮影が開始される。以下では、露光条件によってフラッシュ発光が必要な場合について説明する。フラッシュ発光が必要な露光条件の場合、１回の撮影は、フラッシュ１６０を発光しないフラッシュ非発光撮影とフラッシュ１６０を発光するフラッシュ発光撮影を行う。
【００２９】
まず、フラッシュ１６０を発光せずに撮影を行って、フラッシュ非発光時の画像を取得する（ステップＳ１０１）。撮影前に、適正ＡＥ算出部１５０によって感度（ＳＶ）、シャッタースピード（ＴＶ）、絞り（ＡＶ）の制御によって、フラッシュが発光されていない照明などの環境光のみの場合の適正な第一の露光制御値が決定される。ここで決定された第一の露光制御値でフラッシュ１６０を発光せずに撮影する（第一の撮像）。その結果、例えば図５のような画像が取得される。
【００３０】
第一の撮像記憶部１３２によって、フラッシュ発光前の環境光のＲＧＢ画像信号が取得され、画像メモリ１３０などの記憶手段に保持される（ステップＳ１０２）。
【００３１】
続けて適正ＡＥ算出部１５０によって、フラッシュ発光時に適正で、かつ第一の露光制御値における絞り値を一致させた第二の露光制御値が決定される。そして、第二の露光制御値でフラッシュ１６０を発光して撮影する（第二の撮像）（ステップＳ１０３）。その結果、図４のようなフラッシュ発光後の画像が取得される。
【００３２】
第二の撮像記憶部１３４によって、フラッシュ発光撮影によるＲＧＢ画像信号が、画像メモリ１３０などの記憶手段に保持される。
【００３３】
第二の撮像において、第一の撮像と絞り値を一致させるのは、絞り値の違いにより画像周辺光量に変化が出るためであり、フラッシュ発光画像とフラッシュ非発光画像にフラッシュ光量以外の光量の違いをなくすためである。ただし、絞り値の違いにより画像周辺光量に変化がない場合は、この限りではない。
【００３４】
露光条件を決定する際、露光制御値には式１の関係があり、式１を使用する。ここでＴＶはシャッタースピード、ＡＶは絞り値、ＳＶは感度、ＢＶは被写体輝度となり、それぞれＡＰＥＸ値で表現されている。式１によれば、図６に示すようなフラッシュ非発光画像を撮影するときの露光制御値と、図５に示すようなフラッシュ発光画像を撮影するときの露光制御値が一致していない場合に、各露光制御値の差分を考慮できる。
【００３５】
【数１】
0005566680.tif 000002
【００３６】
ここでＴＶ、ＡＶ、ＳＶは適正ＡＥ算出部１５０によって既知であるため、ＢＶを求める式２に変形する。被写体輝度ＢＶは撮像装置１００で撮影する被写体が持っている輝度値である。
【００３７】
【数２】
0005566680.tif 000003
【００３８】
フラッシュ非発光時のＴＶ、ＡＶ、ＳＶから算出される被写体輝度値ＢＶを第一の露光制御値ＢＶｌ、フラッシュ発光時のＴＶ、ＡＶ、ＳＶから算出される被写体輝度値ＢＶを第二の露光制御値ＢＶｓとし、それぞれ式２により求める。フラッシュ非発光時はそれぞれＴＶｌ、ＡＶｌ、ＳＶｌとし式３のように、フラッシュ発光時はＴＶｓ、ＡＶｓ、ＳＶｓとし式４のようになる。
【００３９】
【数３】
0005566680.tif 000004
【数４】
0005566680.tif 000005
【００４０】
次に、式３と式４から求めたＢＶｌとＢＶｓの差分を算出する式５によって、露光制御値差分算出部１４１が、第一の露光制御値ＢＶｌと第二の露光制御値ＢＶｓの差分ＢＶdiffを算出する（ステップＳ１０４）。
【００４１】
【数５】
0005566680.tif 000006
【００４２】
差分ＢＶdiffは、第一の露光制御値ＢＶｌと、第二の露光制御値ＢＶｓが一致していれば、差分が０となる。
【００４３】
マルチＡＷＢ処理部１４０において、カラーバランス算出部１４５が、フラッシュ非発光画像のＲＧＢ画像信号を色別（ＲＧＢ別）に全画面分積算し、フラッシュ１６０が発光されていない環境光のみの場合のカラーバランスＣＢｅｒ（＝Ｒ／Ｇ）、ＣＢｅｂ（＝Ｂ／Ｇ）を算出する。同時に、環境光がなくフラッシュ光だけで撮像した場合のカラーバランスＣＢｆｒ，ＣＢｆｂを既知の値としてＲＯＭにあらかじめ保持しておいたものを、ＲＯＭから読み出す。
【００４４】
図１は、本発明の実施形態に係る撮像装置１００においての画像処理パイプラインのブロック図を示す。入力値は、フラッシュ非発光時のＲＧＢ画像信号と、フラッシュ発光時のＲＧＢ画像信号になっており、出力値のホワイトバランスゲインは全画素数分のホワイトバランスゲインとなる。ホワイトバランス制御部１２６が、全画素において、画素単位でホワイトバランスゲインを適用する。
【００４５】
まずは、入力値となる画像メモリ１３０などの記憶手段に保持されたフラッシュ非発光時のＲＧＢ画像信号と、フラッシュ発光時のＲＧＢ画像信号を基に、画素単位の被写体輝度を算出する。画素単位の被写体輝度の算出は、図３のようにＲ，Ｇ，Ｇ，Ｂの四つの画素１２を一組としたベイヤユニット１４を１画素とみなすか、ベイヤ色補間（デモザイク）処理によって、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの四つの画素から各色（Ｒ，Ｇ，Ｂ）一つずつの画素を生成して行う。
【００４６】
フラッシュ非発光画像、フラッシュ発光画像の各画素について、被写体輝度算出部１４２によって画素単位の被写体輝度値を算出する。算出式は以下の通りである。式６、式７において、Ｙは各画素の輝度Ｙである。なお、Ｇの信号値を輝度Ｙの代わりに使用することも可能である。ＡＥは、露出制御値を算出する適正ＡＥ算出部１５０が目標としている目標輝度信号値である。この式６と式７を用いた計算で、画素単位で、フラッシュ非発光画像の第一の被写体輝度値ＢＶｌｐと、フラッシュ発光画像の第二の被写体輝度値ＢＶｓｐを求める（ステップＳ１０５、Ｓ１０６）。ここで、ＢＶｌｐとＢＶｓｐは対数で表した信号値であり、ＡＰＥＸ値に単位系を揃えている。
【００４７】
【数６】
0005566680.tif 000007
【数７】
0005566680.tif 000008
【００４８】
このようにして求めた画素単位のフラッシュ非発光画像の第一の被写体輝度値ＢＶｌｐと、露光制御値の差分ＢＶdiffを考慮して、フラッシュ非発光被写体輝度差分ＢＶｌｐdiffを求める（ステップＳ１０７）。図５の適正露光で撮影されたフラッシュ非発光画像に対し、式８の計算を適用すると、図６のような画像となる。
【００４９】
【数８】
0005566680.tif 000009
画素単位のフラッシュ発光画像の第二の被写体輝度値ＢＶｓｐと、画素単位のフラッシュ非発光被写体輝度差分ＢＶｌｐdiffとの差分を、式９によって、被写体輝度差分算出部１４３が、画素単位のフラッシュ発光画像被写体輝度差分ＢＶdiffpを算出する（ステップＳ１０７）。
【００５０】
【数９】
0005566680.tif 000010
【００５１】
式８、式９の概念図を図７、図８、図９にて表す。図７は被写体に環境光は当たらずフラッシュ光のみが当たっている場合を示し、図４のＡの位置における概念図となっている。図４のＡでは、画素単位のフラッシュ発光画像被写体輝度差分ＢＶdiffpが高くなり、フラッシュ反射量が多いことがわかる。
【００５２】
同様に、図８は被写体にフラッシュ光と環境光が混在している場合を示し、図４のＢの位置における概念図となっている。図４のＢでは、画素単位のフラッシュ発光画像被写体輝度差分ＢＶdiffpがそれほど高くなく、フラッシュ反射量があまりないことがわかる。
【００５３】
図９は被写体に環境光のみが当たっている場合、つまりフラッシュ光が届いていない場合を示し、図４のＣの位置における概念図となっている。図４のＣでは、画素単位のフラッシュ発光画像被写体輝度差分ＢＶdiffｐが０であり、フラッシュが届いていないこと、即ちフラッシュの影響がないことが分かる。
【００５４】
式９で求めたＢＶdiffpからフラッシュ反射量算出部１４４が各画素のフラッシュ反射量を求める（ステップＳ１０８）。フラッシュ発光画像の光量Ｌｆは式１０のようになる。
【００５５】
【数１０】
0005566680.tif 000011
【００５６】
フラッシュ発光画像の光量Ｌｆから、フラッシュ非発光画像における環境光量を１とした時の各画素のフラッシュ反射量（Ｒａｔｉｏ）を求めると式１１のようになる。
【００５７】
【数１１】
0005566680.tif 000012
【００５８】
この各画素のフラッシュ反射量（Ｒａｔｉｏ）を基に、カラーバランス算出部１４５が、フラッシュ光のカラーバランス（ＣＢｆ）と環境光のカラーバランス（ＣＢｅ）を線形補間し、対象画素のカラーバランス（ＣＢ）を求める（ステップＳ１０９）。カラーバランスＣＢはＲ、Ｂそれぞれ個別に求める。
【００５９】
【数１２】
0005566680.tif 000013
式１２で求めたＲとＢのカラーバランスＣＢから式１３によって、ホワイトバランスゲイン算出部１４６が、対象画素のホワイトバランスゲイン（ＷＢＧａｉｎＲ、ＷＢＧａｉｎＢ）を算出する（ステップＳ１１０）。
【００６０】
【数１３】
0005566680.tif 000014
【００６１】
式３から式１３までを全画素について行うことで（ステップＳ１１１）、フラッシュ非発光画像とフラッシュ発光画像の露光制御値が違う場合でも、フラッシュ光と環境光が混在しているシーンについて適切なホワイトバランスゲインを画素単位に求めることができる。
【００６２】
すべての画素のホワイトバランスゲインを算出した後に、ホワイトバランス制御部１２６がフラッシュ発光画像の該当画素にホワイトバランスゲインを適用することで、適切なホワイトバランス処理を行うことができる。
【００６３】
従来は、フラッシュ非発光画像を適正露光にできない問題があった。しかし、本実施形態では、適正露光のフラッシュ非発光画像と、フラッシュ発光画像との露光制御値の差分を算出する。その結果、フラッシュ発光画像で、環境光とフラッシュ光が混在したシーンに対しても画素単位で適切なホワイトバランスゲインを算出できる。
【００６４】
また、フラッシュ非発光画像が適正露光となるため、画像に違和感がないことから、フラッシュ非発光画像をライブビュー画像に使用できる。即ち、フラッシュ非発光画像をライブビュー画像に使用する場合は、図１０に示すように、ライブビュー画像の読み出しのために露光条件の変更が不要であり、ライブビュー画像のための露光が不要になる。その結果、フラッシュ非発光撮影の後すぐにフラッシュ発光撮影ができるため、シャッターから画像取得までの間隔（Ｒｅｌｅａｓｅ  Ｔｉｍｅ  Ｌａｇ）をなくすことができる。
【００６５】
従来は、図１１に示すように、フラッシュ非発光撮影後、ライブビュー画像の読み出しのためにも、露光条件の変更を行って、ライブビュー画像のための露光が必要であった。フラッシュ非発光画像がライブビュー画像の場合において、本発明では図１０のようなタイムチャートとなることから、図１１に示す従来技術よりも２フレーム分の時間を短縮することができる。
【００６６】
また、フラッシュ非発光画像がキャプチャー画像の場合は、従来技術では適正露光ではないため使用できなかった画像も記録することができ、本発明による補正後のフラッシュ発光画像とあわせてフラッシュ発光とフラッシュ非発光の２枚撮影モードが実現できる。
【００６７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６８】
１００    撮像装置
１０２    レンズ
１０４    絞り
１０６    シャッター
１０８    ＣＣＤイメージセンサー
１１０    信号処理部
１１２    前処理部
１１４    後処理部
１１６    ＲＧＢ→ＹＣＣ変換部
１１８    データ圧縮部
１２０    メモリーカード接続部
１２２    メモリーカード
１２４    ＡＥ評価値算出部
１２６    ホワイトバランス制御部
１３０    画像メモリ
１３２    第一の撮像記憶部
１３４    第二の撮像記憶部
１４０    マルチＡＷＢ処理部
１４１    露光制御値差分算出部
１４２    被写体輝度算出部
１４３    被写体輝度差分算出部
１４４    フラッシュ反射量算出部
１４５    カラーバランス算出部
１４６    ホワイトバランスゲイン算出部
１５０    適正ＡＥ算出部
１５２    露光制御部
１６０    フラッシュ
【図１】
0005566680.tif 000015
【図２】
0005566680.tif 000016
【図３】
0005566680.tif 000017
【図４】
0005566680.tif 000018
【図５】
0005566680.tif 000019
【図６】
0005566680.tif 000020
【図７】
0005566680.tif 000021
【図８】
0005566680.tif 000022
【図９】
0005566680.tif 000023
【図１０】
0005566680.tif 000024
【図１１】
0005566680.tif 000025