(57)【要約】【課題】フラッシュ光のカラーバランスを予め計測してＲＯＭなどに記憶しておき、撮影のたびに記憶されたカラーバランスを読み出してホワイトバランス補正処理に利用する技術によると、フラッシュの個体差や経年劣化に対応することが難しい。【解決手段】同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、フラッシュを発光して撮像した発光画像とを取得し、露出制御値と非発光画像を用いて算出した非発光時輝度値と、露出制御値と発光画像を用いて算出した発光時輝度値とから、フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出し、非発光画像から算出された非発光時ホワイトバランスゲインと、発光画像から算出された発光時ホワイトバランスゲインと、影響度合とからフラッシュ光のカラーバランスを算出し、当該カラーバランスを用いて発光画像を処理して画像データを生成する。【選択図】図２
2018098676.tif 000002
【特許請求の範囲】
【請求項１】
事前に撮像されたプリ画像を用いて露出制御値を決定する露出制御部と、
前記露出制御値に基づいて、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、前記フラッシュを発光して撮像した発光画像とを取得する画像取得部と、
前記露出制御値と前記非発光画像を用いて算出した非発光時輝度値と、前記露出制御値と前記発光画像を用いて算出した発光時輝度値とから、前記フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出部と、
前記非発光画像から算出された非発光時ホワイトバランスゲインと、前記発光画像から算出された発光時ホワイトバランスゲインと、前記影響度合とから、前記フラッシュ光のカラーバランスを算出するカラーバランス算出部と、
前記カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、前記発光画像を処理して画像データを生成する画像データ生成部と
を備える撮像装置。
【請求項２】
前記影響度算出部は、前記影響度合を、
2018098676.tif 000016
（Ｐｆは影響度合、ＢＶｅｆは発光画像を用いて算出したシーン輝度のＡＰＥＸ値、ＢＶｅは非発光画像を用いて算出したシーン輝度のＡＰＥＸ値）
として算出する請求項１に記載の撮像装置。
【請求項３】
前記カラーバランス算出部は、前記カラーバランスを、ＲＧＢの各色に対して、
2018098676.tif 000017
（Ｃｆはカラーバランス、Ｃｅｆは発光画像を用いて算出した発光時ホワイトバランスゲインの逆数、Ｃｅは非発光画像を用いて算出した非発光時ホワイトバランスゲインの逆数）
として算出する請求項２に記載の撮像装置。
【請求項４】
前記影響度算出部は、ＢＶｅｆとＢＶｅを、
2018098676.tif 000018
2018098676.tif 000019
2018098676.tif 000020
2018098676.tif 000021
（ＲＧｅｆは発光画像から算出された画像全体におけるＧ信号の平均値、ＲＧｅは非発光画像から算出された画像全体におけるＧ信号の平均値、ＡＥＴは前記露出制御部が露出制御値を決定するにあたり用いた目標輝度とする信号レベル、Ｂｖｅｆは、発光画像の被写体輝度のＡＰＥＸ値、Ｂｖｅは、非発光画像の被写体輝度のＡＰＥＸ値）
として算出する請求項２または３に記載の撮像装置。
【請求項５】
同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、前記フラッシュを発光して撮像した発光画像とを取得する画像取得ステップと、
前記非発光画像を撮像したときの露出制御値と前記非発光画像を用いて算出した非発光時輝度値と、前記発光画像を撮像したときの露出制御値と前記発光画像を用いて算出した発光時輝度値とから、前記フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出ステップと、
前記非発光画像から算出された非発光時ホワイトバランスゲインと、前記発光画像から算出された発光時ホワイトバランスゲインと、前記影響度合とから、前記フラッシュ光のカラーバランスを算出するカラーバランス算出ステップと、
前記カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、前記発光画像を処理して画像データを生成する画像データ生成ステップと
を含む画像データ生成方法。
【請求項６】
同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、前記フラッシュを発光して撮像した発光画像とを取得する画像取得ステップと、
前記非発光画像を撮像したときの露出制御値と前記非発光画像を用いて算出した非発光時輝度値と、前記発光画像を撮像したときの露出制御値と前記発光画像を用いて算出した発光時輝度値とから、前記フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出ステップと、
前記非発光画像から算出された非発光時ホワイトバランスゲインと、前記発光画像から算出された発光時ホワイトバランスゲインと、前記影響度合とから、前記フラッシュ光のカラーバランスを算出するカラーバランス算出ステップと、
前記カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、前記発光画像を処理して画像データを生成する画像データ生成ステップと
をコンピュータに実行させる画像データ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像データ生成方法および画像データ生成プログラムに関する。
【背景技術】
【０００２】
環境光では光量が足りないシーンでは、露光不足を解消するために、フラッシュを発光して撮影を行うことがある。フラッシュを発光して取得した画像に対しては、例えばフラッシュ光が到達した主被写体とフラッシュ光が到達しなかった背景との間にカラーバランスの差異が生じ、適切なホワイトバランス補正を施せない場合があった。例えば、フラッシュを発光させて取得した画像に、フラッシュを発光させないで取得した画像に対する自動ホワイトバランス補正処理を施すと、主被写体のホワイトバランスが崩れることがあった。このような課題を解決するための技術として、例えばフラッシュ光のカラーバランスを予め計測してＲＯＭなどに記憶しておき、撮影のたびに記憶されたカラーバランスを読み出してホワイトバランス補正処理に利用する技術が知られるようになってきた（例えば、特許文献１、２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−７９１４３号公報
【特許文献２】特開２０１１−１３５３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フラッシュ光のカラーバランスを予め記憶しておく方式によると、フラッシュの個体差や経年劣化に対応することが難しい。特にスマートフォンなどに搭載される閃光発光部にはＬＥＤが用いられることが多く、ＬＥＤは、キセノンフラッシュよりもカラーバランスの個体差が大きい。工場出荷前の全数調整は現実的には困難であり、また、出荷前に全数調整をしたとしても、経年劣化にまで対応することは事実上不可能であった。
【０００５】
本発明は、このような問題を解決するためになされたものであり、撮影時におけるフラッシュ光のカラーバランスを算出して、撮影画像ごとに最適なホワイトバランス補正処理を施す技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様における撮像装置は、事前に撮像されたプリ画像を用いて露出制御値を決定する露出制御部と、露出制御値に基づいて、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、フラッシュを発光して撮像した発光画像とを取得する画像取得部と、露出制御値と非発光画像を用いて算出した非発光時輝度値と、露出制御値と発光画像を用いて算出した発光時輝度値とから、フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出部と、非発光画像から算出された非発光時ホワイトバランスゲインと、発光画像から算出された発光時ホワイトバランスゲインと、影響度合とから、フラッシュ光のカラーバランスを算出するカラーバランス算出部と、当該カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、発光画像を処理して画像データを生成する画像データ生成部とを備える。
【０００７】
本発明の第２の態様における画像データ生成方法は、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、フラッシュを発光して撮像した発光画像とを取得する画像取得ステップと、非発光画像を撮像したときの露出制御値と非発光画像を用いて算出した非発光時輝度値と、発光画像を撮像したときの露出制御値と発光画像を用いて算出した発光時輝度値とから、フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出ステップと、非発光画像から算出された非発光時ホワイトバランスゲインと、発光画像から算出された発光時ホワイトバランスゲインと、影響度合とから、フラッシュ光のカラーバランスを算出するカラーバランス算出ステップと、当該カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、発光画像を処理して画像データを生成する画像データ生成ステップとを含む。
【０００８】
本発明の第２の態様における画像データ生成プログラムは、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、フラッシュを発光して撮像した発光画像とを取得する画像取得ステップと、非発光画像を撮像したときの露出制御値と非発光画像を用いて算出した非発光時輝度値と、発光画像を撮像したときの露出制御値と発光画像を用いて算出した発光時輝度値とから、フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出ステップと、非発光画像から算出された非発光時ホワイトバランスゲインと、発光画像から算出された発光時ホワイトバランスゲインと、影響度合とから、フラッシュ光のカラーバランスを算出するカラーバランス算出ステップと、当該カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、発光画像を処理して画像データを生成する画像データ生成ステップとをコンピュータに実行させる。
【発明の効果】
【０００９】
本発明により、撮影時におけるフラッシュ光のカラーバランスを算出して、撮影画像ごとに最適なホワイトバランス補正処理を施す技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態にかかる撮像装置のシステム構成図である。
【図２】フラッシュ光のカラーバランスを算出する処理の概念を説明する図である。
【図３】撮像から記録へ至る処理の流れを表すフロー図である。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【００１２】
図１は、本実施形態にかかる撮像装置１００の主要な機能ブロックを示すシステム構成図である。撮像装置１００は、被写体光束を取り込んで光電変換するための撮像部１１０を備え、撮像部１１０は、主に、レンズ１０２、絞り１０４、シャッター１０６、撮像素子１０８によって構成される。
【００１３】
レンズ１０２は、例えばモールド成形される樹脂レンズであり、入射する被写体光束を撮像素子１０８の結像面に結像させる。レンズ１０２は、複数のレンズによって構成されていても良く、また、手振れを補正する補正レンズを含んでいても良い。絞り１０４は、被写体光束を制限して被写界深度を調整する機能を担い、シャッター１０６は、被写体光束の通過時間を調整する機能を担う。なお、絞り１０４とシャッター１０６は、それぞれ別個のユニットで構成されなくても良く、両機能を担う絞りシャッターユニットを用いても良い。また、絞り１０４は、固定絞りでも良い。また、シャッター１０６が担う機能は、撮像素子１０８の機能として実行し得る電子シャッターで代替しても良く、この場合は、メカニカルなシャッターユニットを省くことができる。
【００１４】
撮像素子１０８は、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーなどの、光電変換素子である。撮像素子１０８を構成する各ピクセル上にはＲＧＢのカラーフィルタが例えばベイヤー配列により設けられている。撮像素子１０８は、結像面に結像された被写体光束を画像信号に変換して、アナログフロントエンド（ＡＦＥ）１１２へ引き渡す。
【００１５】
ＡＦＥ１１２は、撮像素子１０８から受け取った画像信号に、色分離処理、Ａ／Ｄ変換、欠陥画素補正、黒レベル補正、シェーディング補正等を施し、ＲＧＢ画像信号を生成する。生成されたＲＧＢ画像信号は、統計処理部１１４と画像処理部１２０へ引き渡される。統計処理部１１４は、ＲＧＢ画像信号をＲＧＢのレイヤーごとに、例えば８画素×８画素の画像ブロックに分割して各種統計処理演算を行うＬＳＩである。統計処理部１１４は、例えば、Ｇ信号の平均値を演算したり、ホワイトバランスゲインを演算したりする。演算結果は、システム制御部１３０へ引き渡される。
【００１６】
画像処理部１２０は、システム制御部１３０の制御信号に従って画像処理に関する様々な演算を実行するＡＳＩＣである。例えば、ベイヤー色補間処理、エッジ強調処理、ガンマ補正処理、ノイズ低減処理を実行したり、ＲＧＢ信号をＹＣＣ信号に変換したり、ＪＰＥＧ等のファイル形式に従って圧縮処理を施したりする。すなわち、画像処理部１２０は、画像データを生成する画像データ生成部としての機能を担う。画像処理部１２０は、画像処理に関する機能演算部の一つとして、ホワイトバランス補正処理を実行するＷＢ補正部１２２を包含する。
【００１７】
画像処理部１２０は、様々な画像処理を実行するにあたり、演算前および演算中の画像信号を一時的に記憶させるメモリ１２４を利用する。メモリ１２４は、例えばＲＡＭで構成され、少なくとも数画像分の画像信号を記憶させる容量を有する。
【００１８】
画像処理部１２０は、生成した画像データを記録部１４２へ記録する。記録部１４２は、例えば、不揮発性のフラッシュメモリで構成される。記録部１４２は、着脱可能なメモリカードであっても良い。また、画像処理部１２０は、生成した画像データを表示信号に変換して表示部１４４に表示することができる。表示部１４４は、例えば、液晶パネルで構成される。また、画像処理部１２０は、生成した画像データを、外部ＩＦ１４６を介して外部機器へ送信することができる。外部ＩＦ１４６は、例えば無線ＬＡＮユニットで構成される。
【００１９】
システム制御部１３０は、例えばＣＰＵであり、撮像装置１００を構成する各要素を直接的または間接的に制御する。システム制御部１３０による制御は、システムメモリや外部機器から与えられた制御プログラム、ルックアップテーブル、パラメータ等によって実現される。
【００２０】
システム制御部１３０は、演算処理に関する機能演算部の一つとして、ドライバー１１６に制御信号を送信する露出制御部１３２を包含する。露出制御部１３２は、統計処理部１１４の処理結果を取得して撮像のための露出値を演算し、当該露出値に従った撮像が実行されるように制御信号を生成する。
【００２１】
システム制御部１３０は、演算処理に関する機能演算部の一つとして、フラッシュ光が撮影画像から演算される輝度に与える影響度合を算出する影響度算出部１３４と、フラッシュ光のカラーバランスを算出するＣＢ算出部１３６とを包含する。これらの機能については、後に詳述する。
【００２２】
ドライバー１１６は、撮像部１１０およびフラッシュ１５０を制御する。例えば、ドライバー１１６は、レンズ１０２の焦点調整を実行したり、絞り１０４の絞り機構を駆動したり、シャッター１０６の開閉を実行したり、撮像素子１０８のリセットや電荷転送を制御したり、フラッシュ１５０の発光光量を調整したりする。フラッシュ１５０は、例えば高輝度ＬＥＤによって構成され、撮像素子１０８の電荷蓄積期間に同期して発光される。撮像装置１００において、撮像部１１０、フラッシュ１５０、ドライバー１１６は、システム制御部１３０と協働して、被写体画像を取得する画像取得部として機能する。
【００２３】
このようなシステム構成を有する撮像装置１００において実行される、フラッシュ光のカラーバランスを算出するまでの処理について説明する。図２は、フラッシュ光のカラーバランスを算出する処理の概念を説明する図である。
【００２４】
露出制御部１３２は、例えばＥＶＦ画像など、事前に撮像されたプリ画像を用いて本撮影のための露出制御値を決定する。ここで、露出制御部１３２が決定する露出制御値は、絞り値、シャッター速度、センサー感度（ＩＳＯ感度）である。
【００２５】
システム制御部１３０は、当該露出制御値に従って、フラッシュ１５０を発光せずに撮像した非発光画像と、フラッシュ１５０を発光して撮像した発光画像とを連続して取得する。露出制御部１３２は、非発光画像を取得する場合の露出制御値と、発光画像を取得する場合の露出制御値を、それぞれが適正露出になるように互いに異ならせても良いが、共通する露出制御値を用いると、例えば図２の左上の２枚のような画像が得られる。
【００２６】
左側の非発光画像は、環境光のみで撮像された画像であり、全体的にアンダーな画像になっている。右側の発光画像は、環境光にフラッシュ光が足されて撮像された画像であり、撮像装置１００から近い人物は明るく、少し離れた位置に存在する木々は非発光画像のそれよりは若干明るく、背景は非発光画像と同様に写っている。
【００２７】
これら２つの画像を取得すると、影響度算出部１３４は、撮像時の露出制御値と非発光画像を用いて非発光時輝度値を算出し、同様に、撮像時の露出制御値と発光画像を用いて発光時輝度値を算出する。そして、図２の右上に発光画像と非発光画像の差分として概念を示すように、フラッシュ光単独では非発光画像の全体にどれだけの変化をもたらしたかを表す数値として、非発光時輝度値と発光時輝度値からフラッシュ光が輝度に与えた影響度合Ｐｆを算出する。
【００２８】
一方で、ＣＢ算出部１３６は、非発光画像から非発光時ホワイトバランスゲインＷｅを算出し、発光画像から発光時ホワイトバランスゲインＷｅｆを算出する。そして、これら２つのホワイトバランスゲインと、影響度算出部１３４が算出した影響度合Ｐｆとから、フラッシュ光のカラーバランスＣｆを算出する。つまり、発光画像を取得するにあたり現に発光させたフラッシュ光そのものから、フラッシュ光のカラーバランスを算出する。これは、フラッシュ１５０の、生のカラーバランスであると言え、予めＲＯＭ等に記録されたカラーバランスではなく、経年変化によるずれも、ユニット個体差によるずれも、発光量の違いによるずれもないカラーバランスである。
【００２９】
このように算出されたカラーバランスはＷＢ補正部１２２へ送られ、ＷＢ補正部１２２は、当該カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、発光画像に対してホワイトバランス補正処理を施す。そして、画像処理部１２０は、ホワイトバランス補正が施された画像に圧縮処理等を施して画像データに仕上げる。できあがった画像データは、記録部１４２に記録される。
【００３０】
それぞれの処理について、更に詳細に説明する。ここでは、非発光画像を取得する場合の露出制御値と、発光画像を取得する場合の露出制御値とが異なっていても良いように、それぞれをＡＰＥＸ値で、非発光画像の露出制御値を、絞り値Ａｖｅ、シャッター速度Ｔｖｅ、センサー感度Ｓｖｅとし、発光画像の露出制御値を、絞り値Ａｖｅｆ、シャッター速度Ｔｖｅｆ、センサー感度Ｓｖｅｆと表す。このとき、非発光画像の被写体輝度値Ｂｖｅは、
【数１】
2018098676.tif 000003
と表され、発光画像の被写体輝度値Ｂｖｅｆは、
【００３１】
【数２】
2018098676.tif 000004
と表される。
【００３２】
露出制御部１３２が露出制御値を決定するにあたり用いた目標輝度とする信号レベルをＡＥＴとする。また、非発光画像が統計処理部１１４に処理されて算出された画像全体におけるＧ信号の平均値をＲＧｅとし、発光画像が統計処理部１１４に処理されて算出された画像全体におけるＧ信号の平均値をＲＧｅｆとする。このとき、非発光画像の輝度差分ΔＢｖｅは、
【数３】
2018098676.tif 000005
と表され、発光画像の輝度差分ΔＢｖｅｆは、
【数４】
2018098676.tif 000006
と表される。
【００３３】
すると、非発光画像が捉えたシーンの輝度ＢＶｅは、（１）式と（３）式を用いて、
【数５】
2018098676.tif 000007
と表され、発光画像が捉えたシーンの輝度ＢＶｅｆは、（２）式と（４）式を用いて、
【数６】
2018098676.tif 000008
と表される。
【００３４】
そして、影響度算出部１３４は、（５）式と（６）式を用いて、フラッシュ光が輝度に与えた影響度合Ｐｆを
【数７】
2018098676.tif 000009
と算出する。
【００３５】
ＣＢ算出部１３６は、統計処理部１１４によるブロック演算結果と一般的な算出手法を利用して、非発光画像から非発光時ホワイトバランスゲインＷｅ（Ｗｅｒ，Ｗｅｇ，Ｗｅｂ）を算出する。同様に、発光画像から発光時ホワイトバランスゲインＷｅｆ（Ｗｅｆｒ，Ｗｅｆｇ，Ｗｅｆｂ）を算出する。なお、Ｗｅｒ，ＷｅｆｒはＲ信号について、Ｗｅｇ，ＷｅｆｇはＧ信号について、Ｗｅｂ，ＷｅｆｂはＢ信号について算出されたホワイトバランスゲインであることを表す。以下の計算式においても、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれに対して算出するものとする。
【００３６】
さらに、ＣＢ算出部１３６は、環境光に対するカラーバランスＣｅ（Ｃｅｒ，Ｃｅｇ，Ｃｅｂ）を、非発光時ホワイトバランスゲインＷｅの逆数として、
【数８】
2018098676.tif 000010
と算出する。同様に、環境光＋フラッシュ光に対するカラーバランスＣｅｆ（Ｃｅｆｒ，Ｃｅｆｇ，Ｃｅｆｂ）を、発光時ホワイトバランスゲインＷｅｆの逆数として、
【数９】
2018098676.tif 000011
と算出する。
【００３７】
そして、ＣＢ算出部１３６は、フラッシュ光のカラーバランスＣｆ（Ｃｆｒ，Ｃｆｇ，Ｃｆｂ）を、環境光に対するカラーバランスＣｅ、環境光＋フラッシュ光に対するカラーバランスＣｅｆ、およびフラッシュ光が輝度に与えた影響度合Ｐｆを用いて、
【数１０】
2018098676.tif 000012
と算出する。
【００３８】
このように、具体的にフラッシュ光のカラーバランスＣｆが算出されると、ＷＢ補正部１２２は、カラーバランスＣｆに基づいてホワイトバランスゲインを補正し、この補正された補正ホワイトバランスゲインを用いて、発光画像にホワイトバランス処理を施すことができる。つまり、従来技術において予めＲＯＭに記録されていたフラッシュ光のカラーバランスを用いてホワイトバランスゲインを補正したのと同様に、上記の演算によって算出したフラッシュ光のカラーバランスを用いてホワイトバランスゲインを補正することができる。補正されたホワイトバランスゲインを用いてホワイトバランス補正処理を施し、圧縮処理等を行って画像データを生成する処理は、様々な従来技術を適用することができる。補正ホワイトバランスゲインの算出方法の一例を簡単に紹介する。
【００３９】
統計処理部１１４および影響度算出部１３４は、非発光画像をｗ×ｈのブロックに分割し、式（１）（３）（５）を用いてそれぞれのブロックにおけるＢＶｅ値を、Ｓｅ［ｘ］［ｙ］として算出する。同様に、発光画像をｗ×ｈのブロックに分割し、式（２）（４）（６）を用いてそれぞれのブロックにおけるＢＶｅ値を、Ｓｅ［ｘ］［ｙ］として算出する。そして、対応する対応するブロック間の差分Ｄｆ［ｘ］［ｙ］を、
【数１１】
2018098676.tif 000013
として算出する。
【００４０】
そして、画像全体に対する差分Ｄｆ［ｘ］［ｙ］のばらつきを以下の分散値ｖによって表す。
【数１２】
2018098676.tif 000014
【００４１】
この分散値ｖを引数とする評価関数Ｐｍ（ｖ）を予め設定しておく。Ｐｍ（ｖ）は、フラッシュ光のカラーバランスを加味する割合（０≦Ｐｍ（ｖ）≦１）を表し、分散値ｖが大きいほどＰｍ（ｖ）は大きくなるように設定する。このように算出された評価関数Ｐｍ（ｖ）を用いると、補正ホワイトバランスゲインＷｆは、
【数１３】
2018098676.tif 000015
と算出することができる。なお、Ｗｆも、Ｃｆと同様にＲ信号、Ｇ信号、Ｂ信号のそれぞれに対して算出する。
【００４２】
このように、算出された補正ホワイトバランスゲインＷｆを用いて発光画像に対してホワイトバランス補正処理を施せば、実際にフラッシュ１５０が発光したフラッシュ光のカラーバランスで、かつ与えた光量に応じてホワイトバランス調整を行うことができるので、より自然な色味の画像を得ることができる。なお、式（１１）から（１３）のようにして補正ホワイトバランス係数Ｗｆを算出する手法は一例であって、カラーバランスＣｆを用いたホワイトバランス調整は、他の手法を採用することもできる。
【００４３】
次に、撮像から記録へ至る処理の流れを説明する。図３は、撮像から記録へ至る処理の流れを表すフロー図である。フローは、撮像装置１００の電源がオンにされた時点で開始される。
【００４４】
システム制御部１３０は、ステップＳ１０１で、プリ画像を取得する。露出制御部１３２は、ステップＳ１０２で、当該プリ画像を受け取り、本撮影のための露出制御値（絞り値、シャッター速度、センサー感度）を決定する。そして、ドライバー１１６へ制御信号を送信することにより本撮影のための撮像処理を実行し、非発光画像と発光画像を取得する（ステップＳ１０３）。なお、非発光画像と発光画像の撮像順は、いずれが先であっても構わない。
【００４５】
影響度算出部１３４は、ステップＳ１０４で、非発光画像が捉えたシーンの輝度ＢＶｅと、発光画像が捉えたシーンの輝度ＢＶｅｆを演算する。続いて、ステップＳ１０５で、非発光時ホワイトバランスゲインＷｅと、発光時ホワイトバランスゲインＷｅｆを演算する。さらに、影響度算出部１３４は、ステップＳ１０６で、輝度ＢＶｅとＢＶｅｆを用いて影響度合Ｐｆを算出する。なお、ステップＳ１０５とＳ１０６は、逆順であっても構わない。
【００４６】
そして、ステップＳ１０７で、ＣＢ算出部１３６は、カラーバランスＣｅ、Ｃｅｆ、および影響度合Ｐｆを用いてフラッシュ光のカラーバランスＣｆ（Ｃｆｒ，Ｃｆｇ，Ｃｆｂ）を算出する。ＣＢ算出部１３６は、算出したカラーバランスＣｆをＷＢ補正部１２２へ引き渡す。
【００４７】
ＷＢ補正部１２２は、ステップＳ１０８で、補正ホワイトバランスゲインＷｆを算出し、これを用いてステップＳ１０３で取得した発光画像のホワイトバランスを調整する。ホワイトバランス調整が完了したら、画像処理部１２０は、ステップＳ１０９で、圧縮処理等を施して画像データを生成し、ステップＳ１１０で、記録部１４２へ記録する。また、表示部１４４に生成した画像を表示しても良い。また、外部ＩＦを介して、画像データを外部機器へ送信しても良い。そして、電源がオフにされると一連の処理を終了する。
【００４８】
以上説明した本実施形態にかかる撮像装置１００によれば、一般的にカラーバランス個体差が大きいＬＥＤをフラッシュ１５０として用いても、工場出荷前の全数調整などを必要とすることなく、撮影ごとに適切な色味の画像を得ることができる。また、ＬＥＤを採用する場合に限らず、キセノン管のフラッシュを採用する場合であっても、経年劣化によってフラッシュ光のカラーバランスは変化するが、本実施形態にかかる撮像装置１００においては、経年劣化の影響を受けることがない。すなわち、フラッシュ光のカラーバランスを予め記憶しておく方式においては、記憶しておいたカラーバランスと実際のカラーバランスとの間に乖離が生じるが、本実施形態にかかる撮像装置１００では、そのようなことが生じることはない。
【００４９】
以上説明した本実施形態においては、撮像装置１００を説明した。しかし、フラッシュ光のカラーバランスを算出して、ホワイトバランス処理に加味する画像データ取得方法は、例えばＰＣ上のソフトウェアによっても実行することができる。例えば、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、フラッシュを発光して撮像した発光画像とを、付帯情報として露出制御値を有するＲＡＷデータとしてそれぞれＰＣに取り込めば、後の処理を上述の処理と同様に施すことができる。この場合、ＰＣにインストールしてソフトウェアとして実行可能にさせるプログラムは、例えばＣＤＲＯＭによって供給されても良いし、ネットワークを介して供給されても良い。
【符号の説明】
【００５０】
１００  撮像装置、１０２  レンズ、１０４  絞り、１０６  シャッター、１０８  撮像素子、１１０  撮像部、１１２  アナログフロントエンド（ＡＦＥ）、１１４  統計処理部、１１６  ドライバー、１２０  画像処理部、１２２  ＷＢ補正部、１２４  メモリ、１３０  システム制御部、１３２  露出制御部、１３４  影響度演算部、１３６  ＣＢ算出部、１４２  記録部、１４４  表示部、１４６  外部ＩＦ、１５０  フラッシュ
【図１】
2018098676.tif 000022
【図２】
2018098676.tif 000023
【図３】
2018098676.tif 000024