(57)【要約】【課題】点滅光源のような環境光下でも、ホワイトバランスを安定させた画像の生成を可能にして、色味が自然な動画を生成可能にすることを課題とする。【解決手段】撮像装置は、時間間隔をあけて行われる本撮影で得られた複数の画像データに基づいて動画データを生成するタイムラプス動画撮影機能を備えている。ＣＰＵ（１１４）は、制御部（１１３）を介して、撮像部（１０１）に本撮影を行わせて、その本撮影で得られた複数の画像データを画像処理してタイムラプス動画を生成する。また、撮像部（１０１）は、本撮影の合間に別途撮影を行わせて、ホワイトバランス補正に用いる補正値を算出するための画像データを得る。【選択図】図１
2017188852.tif 000002
【特許請求の範囲】
【請求項１】
時間間隔をあけて行われる本撮影で得られた複数の画像データに基づいて動画データを生成するタイムラプス動画撮影機能を備える撮像装置であって、
前記本撮影を行う撮像手段と、
前記本撮影で得られた複数の画像データを画像処理して前記動画データを生成する画像処理手段と、を備え、
前記撮像手段は、前記本撮影の合間に別途撮影を行って、前記画像処理として行われるホワイトバランス補正に用いる補正値を算出するための画像データを得る、
ことを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記本撮影の合間に行われた撮影により得た複数の画像データごとに光源光の色の評価に用いられる複数の評価値を生成し、前記複数の評価値に基づいて、前記ホワイトバランス補正に用いる補正値を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、黒体放射軸が表される二次元空間にプロットした前記複数の評価値の中に、黒体放射軸上の評価値がある場合には、前記黒体放射軸上の評価値を基に、前記ホワイトバランス補正に用いる補正値を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像処理手段は、黒体放射軸が表される二次元空間にプロットした前記複数の評価値の中に、黒体放射軸上の評価値が複数ある場合には、前記黒体放射軸上の前記複数の評価値の重心位置の値又は平均値を基に、前記ホワイトバランス補正に用いる補正値を算出することを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記画像処理手段は、黒体放射軸が表される二次元空間にプロットした前記複数の評価値の何れも黒体放射軸上にない場合には、前記複数の評価値のうち、前記黒体放射軸との間の距離が最も近い評価値を基に、前記ホワイトバランス補正に用いる補正値を算出することを特徴とする請求項２乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記画像処理手段は、黒体放射軸が表される二次元空間にプロットした前記複数の評価値の何れも黒体放射軸上にない場合には、前記複数の評価値のうち、前記黒体放射軸との間の距離が遠い評価値を除外した、残りの複数の評価値の重心位置の値又は平均値を基に、前記ホワイトバランス補正に用いる補正値を算出することを特徴とする請求項２乃至４の何れか１項に記載の撮像装置。
【請求項７】
前記画像処理手段は、黒体放射軸が表される二次元空間にプロットした前記複数の評価値の何れも黒体放射軸上にない場合には、前記複数の評価値のうち、前記複数の評価値の各評価値の間の距離が遠い評価値を除外した、残りの複数の評価値の重心位置の値又は平均値を基に、前記ホワイトバランス補正に用いる補正値を算出することを特徴とする請求項２乃至４の何れか１項に記載の撮像装置。
【請求項８】
前記撮像手段は、前記本撮影の合間に行う撮影の際には、前記本撮影の際の露光時間よりも長い露光時間で撮影を行うことを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項９】
時間間隔をあけて行われる本撮影で得られた複数の画像データに基づいて動画データを生成するタイムラプス動画の撮影機能を備える撮像装置の撮像方法であって、
前記本撮影を行う撮像ステップと、
前記本撮影で得られた複数の画像データを画像処理して前記動画データを生成する画像処理ステップと、を含み、
前記撮像ステップでは、前記本撮影の合間に別途撮影を行って、前記画像処理として行われるホワイトバランス補正に用いる補正値を算出するための画像データを得る、
ことを特徴とする撮像方法。
【請求項１０】
時間間隔をあけて行われる本撮影で得られた複数の画像データに基づいて動画データを生成するタイムラプス動画撮影機能を備える撮像装置のコンピュータを、請求項１乃至８の何れか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タイムラプス動画撮影機能を備える撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、特殊な撮影機能として、ある程度長い設定時間間隔ごとに撮影した多数の静止画をつなぎ合わせ、コマ送り動画にするタイムラプス撮影機能が提案されている。タイムラプス撮影機能を使用すると、長時間にわたる被写体の変化を短時間の動画として記録でき、観察及び観測の利便性が高まるとして、その有用性に注目が集まっている。なお、或る程度長い時間間隔おきに自動撮影を行って多数の静止画を取得するような撮影方法には、インターバル撮影と呼ばれている撮影方法もある。
【０００３】
特許文献１には、インターバル撮影において、撮影ごとに徐々にホワイトバランスを追従させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３２４６５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タイムラプス撮影では、撮影の開始時に１度だけホワイトバランスを設定し、以後の撮影画像には撮影開始時のホワイトバランス調整値を継続して使用する方法が広く採用されている。また、タイムラプス撮影の際には、特許文献１に示したように、撮影ごとにホワイトバランスを評価して徐々に追従させるような制御を行うことも考えられる。
【０００６】
しかしながら、環境光が例えばフリッカー等が生じる点滅光源の光である場合、ホワイトバランスが不安定になることがあり、この場合、タイムラプス撮影による動画の全体或いは一部の色味が不自然なまま記録されてしまうという問題が生じる。
【０００７】
そこで、本発明は、ホワイトバランスを安定させた画像の生成を可能にして、色味が自然な動画を生成可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、時間間隔をあけて行われる本撮影で得られた複数の画像データに基づいて動画データを生成するタイムラプス動画撮影機能を備える撮像装置であって、前記本撮影を行う撮像手段と、前記本撮影で得られた複数の画像データを画像処理して前記動画データを生成する画像処理手段と、を備え、前記撮像手段は、前記本撮影の合間に別途撮影を行って、前記画像処理として行われるホワイトバランス補正に用いる補正値を算出するための画像データを得る、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ホワイトバランスを安定させた画像の生成が可能となり、それにより色味が自然な動画の生成が可能になる。
【図面の簡単な説明】
【００１０】
【図１】実施形態の撮像装置の概略構成を示す図である。
【図２】実施形態の撮像装置の動作処理フローチャートである。
【図３】ＡＷＢ評価値選択の説明に用いる図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の撮像手段と画像処理手段を有する撮像装置の内部概略構成を示す図である。本実施形態の撮像装置は、時間間隔をあけて行われる本撮影で得られた複数の画像データに基づいて動画データを生成するタイムラプス動画撮影機能を有している。本実施形態におけるタイムラプス動画撮影機能の詳細は後述する。
【００１２】
撮像部１０１は、ＣＣＤやＣＭＯＳ等からなる撮像素子を有し、その撮像素子の撮像面上はいわゆるベイヤー配列のＲＧＢ（赤緑青）カラーフィルタにより覆われ、カラー撮影が可能な構成となっている。本実施形態において、撮像部１０１と、後述するＣＰＵ１１４及び制御部１１３は、撮像手段の一例である。レンズ１００ａは、撮像部１０１の撮像素子の撮像面上に被写体等の光学像を結像させるためのレンズ光学系であり、フォーカスレンズやズームレンズをも含んでいる。メカ機構１００ｂは、メカニカルシャッター、絞り等を有して構成されている。ストロボ部１１６は、撮像部１０１による露光と連動してストロボ光を発光させることが可能となされており、発光時間が制御されることによりストロボ発光量の調節が可能となされている。撮像部１０１は、撮像素子にて撮像されたアナログ画像信号に対し、サンプリングやゲイン調整を行い、更にアナログ／デジタル変換処理を行う。撮像部１０１から出力されたＲＧＢのデジタル画像信号は、メモリ部１０２に一時的に記憶される。以下の説明では、デジタル画像信号を単に画像信号と表記する。撮像部１０１から出力されてメモリ部１０２に記憶される画像信号はいわゆるＲＡＷ（生）画像信号である。メモリ部１０２の後段の画像処理部１１５やＷＢ制御部１０３以降の各部は、本実施形態における画像処理手段として、ＲＡＷ画像に対していわゆる現像処理を行い、また、タイムラプス動画撮影機能による動画データを生成するための構成となされている。
【００１３】
ＣＰＵ１１４は、撮影画像が適正露出となるようなシャッター速度、絞り値、更に、ストロボ発光を行う場合のストロボ発光量を計算すると共に、合焦領域内にある被写体に合焦するようにレンズ１００ａのフォーカスレンズの駆動量を計算する。ＣＰＵ１１４で計算された露出値（シャッター速度や絞り値）、ストロボ発光量、フォーカスレンズの駆動量は、制御部１１３に送られる。制御部１１３は、ＣＰＵ１１４により計算された露出値に基づいてメカ機構１００ｂのシャッター速度と絞り値を制御し、フォーカスレンズ駆動量に基づいてレンズ１００ａのフォーカスレンズの駆動制御を行う。また、制御部１１３は、ストロボ発光量に基づいてストロボ部１１６の発光制御を行う。
【００１４】
画像処理部１１５は、メモリ部１０２に記憶された画像信号に様々な画像処理を施す。画像処理部１１５は、一例として、撮影画像内の被写体領域や顔領域を検出する処理、被写体領域等を色及び輝度信号により領域分割する処理などの各種の画像処理が可能となされている。また、画像処理部１１５は、メモリ部１０２に記憶された画像信号を基に、光源検出処理を行って光源評価値を算出する。この光源評価値は、後述するＷＢ制御部１０３がホワイトバランス補正値（以下、ホワイトバランスをＷＢと表記する。）を算出する際に用いられる値である。画像処理部１１５による光源検出処理の詳細については後述する。
【００１５】
ＷＢ制御部１０３は、画像処理部１１５が算出した光源評価値を基にした公知の処理によりＷＢ補正値を算出し、その算出したＷＢ補正値を用いて、メモリ部１０２に記憶された画像信号に対するＷＢ補正を行う。ＷＢ制御部１０３によるＷＢ補正後のＲＧＢの画像信号は、色変換ＭＩＸ部１０４とＹ生成部１１１に送られる。
【００１６】
色変換ＭＩＸ部１０４は、ＷＢ制御部１０３にてＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかける色ゲイン処理を行い、その色ゲイン処理後のＲＧＢの画像信号を色差信号Ｒ−Ｙ，Ｂ−Ｙに変換する色マトリックス処理を行う。色変換ＭＩＸ部１０４から出力された色差信号Ｒ−Ｙ，Ｂ−Ｙは、ＬＰＦ部１０５に送られる。ＬＰＦ部１０５は、ローパスフィルタ（ＬＰＦ）からなり、色差信号Ｒ−Ｙ，Ｂ−Ｙの帯域を制限する。ＬＰＦ部１０５にて帯域制限された色差信号Ｒ−Ｙ，Ｂ−Ｙは、ＣＳＵＰ部１０６に送られる。ＣＳＵＰ部１０６は、帯域制限された色差信号Ｒ−Ｙ，Ｂ−Ｙの内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Ｃｈｒｏｍａ  Ｓｕｐｒｅｓｓ）処理を行う。ＣＳＵＰ部１０６によるＣＳＵＰ処理後の色差信号Ｒ−Ｙ，Ｂ−Ｙは、ＲＧＢ変換部１０７に送られる。
【００１７】
Ｙ生成部１１１は、ＷＢ制御部１０３によるＷＢ補正後のＲＧＢの画像信号から輝度信号Ｙを生成する。Ｙ生成部１１１から出力された輝度信号Ｙは、エッジ強調部１１２に送られる。エッジ強調部１１２は、輝度信号Ｙに対してエッジ強調処理を行う。エッジ強調処理後の輝度信号Ｙは、ＲＧＢ変換部１０７に送られる。
【００１８】
ＲＧＢ変換部１０７は、ＣＳＵＰ処理後の色差信号Ｒ−Ｙ，Ｂ−Ｙ及びエッジ強調処理後の輝度信号Ｙから、ＲＧＢの画像信号を生成するＲＧＢ変換処理を行う。ＲＧＢ変換処理により得られたＲＧＢの画像信号は、ガンマ補正部１０８に送られる。ガンマ補正部１０８は、ＲＧＢの画像信号に対してガンマ補正による階調補正処理を行う。ガンマ補正部１０８による階調補正後の画像信号は、色輝度変換部１０９に送られる。色輝度変換部１０９は、階調補正後のＲＧＢの画像信号を、ＹＵＶの画像信号に変換し、そのＹＵＶの画像信号を圧縮部１１９に出力する。圧縮部１１９は、ＹＵＶの画像信号をＪＰＥＧ等のフォーマットで圧縮処理する。圧縮部１１９による圧縮後の画像信号は、図示しない外部記録媒体や内部記録媒体に記録される。
【００１９】
図２は、本実施形態の撮像装置において撮影が行われる場合の撮像装置の動作処理のフローチャートである。図３のフローチャートに示した処理は、本実施形態に係るプログラムを、例えばＣＰＵが実行することにより実現されてもよい。本実施形態に係るプログラムは、例えば不図示のＲＯＭ等に予め用意されていてもよく、また不図示の外部記憶媒体から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、不図示のＲＡＭ等にロードされてもよい。以下の説明では、図２の各処理のステップＳ２０１〜ステップＳ２０８をＳ２０１〜Ｓ２０８と略記する。
【００２０】
図２のフローチャートに示す処理は、撮像装置において撮影を行うことが例えばユーザにより指定されたときにスタートする。図２のフローチャートの処理がスタートすると、ＣＰＵ１１４は、Ｓ２０１の処理として、撮影準備のための制御を開始する。撮影準備のための制御は、前述したようにレンズ１００ａに対する合焦制御、メカ機構１００ｂに対する露出設定の制御、ストロボ部１１６に対する発光量の制御であり、ＣＰＵ１１４からの指示に基づいて制御部１１３により行われる。ＣＰＵ１１４は、Ｓ２０１による撮影準備の制御が終わると、Ｓ２０２に処理を進める。
【００２１】
Ｓ２０２では、ＣＰＵ１１４は、制御部１１３を介して、レンズ１００ａの合焦制御、メカ機構１００ｂの露出設定の制御、ストロボ部１１６の発光量の制御を行わせると共に、撮像部１０１の撮影動作制御を行わせる。Ｓ２０２の撮影動作により得られる撮影画像は、外部記録媒体や内部記録媒体等に記録される画像である。なお、撮像装置の撮影モードが、タイムラプス撮影モードである場合、Ｓ２０２の撮影動作で取得される撮影画像は、タイムラプス撮影機能により例えば一定時間のように設定された時間間隔で撮影が行われた画像である。タイムラプス撮影機能では、設定時間間隔で撮影された複数の画像をつなぎ合わせてコマ送り動画（タイムラプス動画）が生成される。一方、撮影モードがタイムラプス撮影モードではない通常の撮影モードである場合、Ｓ２０２の撮影動作で取得される撮影画像は、通常の撮影画像となる。Ｓ２０２の撮影動作により得られた撮影画像の画像信号は、メモリ部１０２に記憶される。Ｓ２０２の後、ＣＰＵ１１４は、Ｓ２０３に処理を進める。
【００２２】
Ｓ２０３では、ＣＰＵ１１４は、撮像装置における撮影モードが、タイムラプス撮影を行うタイムラプス撮影モードであるか否かを判定する。ＣＰＵ１１４は、タイムラプス撮影モードであると判定した場合にはＳ２０４に処理を進め、一方、タイムラプス撮影モードでないと判定した場合（通常の撮影モードであると判定された場合）にはＳ２０７に処理を進める。
【００２３】
Ｓ２０３でタイムラプス撮影モードではなく通常の撮影モードであると判定されてＳ２０７の処理に進んだ場合、ＣＰＵ１１４は、画像処理部１１５に対し、通常の撮影画像に応じた光源評価値を算出させる。
【００２４】
ここで、通常の撮影モードの際のＷＢ補正の設定が例えばオートホワイトバランス（ＡＷＢ）になされている場合、ＣＰＵ１１４は、Ｓ２０７において、メモリ部１０２に記憶されている通常の撮影画像の画像信号を画像処理部１１５に読み出させる。そして、ＣＰＵ１１４は、画像処理部１１５を制御して、通常の撮影画像の画像信号を用いた光源検出処理を実行させる。
【００２５】
光源検出処理は、例えば撮影画像の信号値を色評価値として抽出して、黒体放射軸が表された二次元空間上にプロットした各色評価値のうち、黒体放射軸の近辺に分布した各色評価値の最頻値のポイントを、光源評価値として推定する既知の処理である。ここでは図示は省略するが、黒体放射軸が表された二次元空間は、ｘ座標軸が色温度を表し、ｙ座標軸が光源の緑成分の度合いを表した、二次元座標空間となされている。この光源評価値は、推定した光源に対応した色評価値であり、ＷＢ制御部１０３がＡＷＢのＷＢ補正値を算出する際に用いられる値である。黒体放射軸が表された二次元空間の詳細は後述する。
【００２６】
そして、ＣＰＵ１１４は、Ｓ２０７において、画像処理部１１５での光源検出処理により得られた光源評価値を、ＷＢ制御部１０３に送る。これにより、Ｓ２０７において、ＷＢ制御部１０３では、その光源評価値に応じたＷＢ補正値が算出される。このときのＷＢ補正値は、Ｓ２０２の撮影動作で得られた通常の撮影画像に対する、ＡＷＢのＷＢ補正値となる。
【００２７】
また、通常の撮影モードの際のＷＢの設定が、太陽光や蛍光灯等のような予め設定された光源光に対応したプリセットＷＢになされている場合、ＣＰＵ１１４は、画像処理部１１５を制御して、予め設定された光源に対応した光源評価値を算出させる。そして、ＣＰＵ１１４は、その光源評価値をＷＢ制御部１０３に送る。これにより、Ｓ２０７において、ＷＢ制御部１０３では、その光源評価値に応じたＷＢ補正値が算出される。このときのＷＢ補正値は、Ｓ２０２の撮影動作で得られた通常の撮影画像に対する、プリセットＷＢのＷＢ補正値となる。Ｓ２０７の後、ＣＰＵ１１４は、後述するＳ２０８に処理を進める。
【００２８】
Ｓ２０３でタイムラプス撮影モードであると判定された場合に進むＳ２０４以降の処理は、タイムラプス撮影モードにおいてＳ２０２の撮影動作の合間に実行される処理となされている。つまり、Ｓ２０４以降の処理は、タイムラプス撮影のように設定された時間間隔ごとに行われる撮影動作と撮影動作との間の、休止期間に実行される処理である。
【００２９】
Ｓ２０４では、ＣＰＵ１１４は、撮像装置におけるＷＢ補正の設定がＡＷＢであるか否かを判定する。ＣＰＵ１１４は、Ｓ２０４において、ＷＢ補正の設定がＡＷＢではないと判定された場合、つまり、太陽光や蛍光灯等の予め設定された光源光に対応したプリセットＷＢであると判定した場合には、Ｓ２０７に処理を進める。この場合、Ｓ２０７において、ＣＰＵ１１４は、画像処理部１１５を制御して、予め設定された光源に対応した光源評価値を算出させる。そして、ＣＰＵ１１４は、その光源評価値をＷＢ制御部１０３に送る。これにより、ＷＢ制御部１０３では、プリセットＷＢとして設定されている光源光の光源評価値に応じたＷＢ補正値が算出される。このときのＷＢ補正値は、Ｓ２０２で行われたタイムラプス撮影による撮影画像に対する、プリセットＷＢのＷＢ補正値となる。
【００３０】
一方、ＣＰＵ１１４は、Ｓ２０４において、ＷＢ補正の設定がＡＷＢであると判定した場合にはＳ２０５に処理を進める。Ｓ２０５では、ＣＰＵ１１４は、制御部１１３を介して、タイムラプス撮影の撮影画像に対するＡＷＢ用のＷＢ補正値を算出するために使用されるホワイトバランス用画像（以下、ＡＷＢ用キャプチャ画像と表記する。）を別途撮影させる。以下、撮影時の光源が蛍光灯等の点滅光源である場合において、ＣＰＵ１１４がＳ２０５でＡＷＢ用キャプチャ画像を取得させる際の撮像動作制御について説明する。
【００３１】
点滅光源は、一般的に一定の周期で点滅する光源であるため、露光時間を点滅周期よりも長い時間にすれば、点滅光の影響を軽減することが可能になる。以下、点滅光源の点滅周期よりも長い時間の露光を長秒露光と表記する。また、長秒露光による撮影を行う場合、その露光時間において十分な露光量の画像（例えば適正露出の画像）が得られるようにするためには、ＩＳＯ感度を下げる感度設定制御や、絞りを絞る（絞りのｆ値を大きくする）絞り制御が必要となる。なお、ＩＳＯ感度の設定制御と絞り制御は、それら両方が行われてもよいが、十分な露光量の画像が得られるのであれば、何れか一方の制御のみが行われてもよい。また、点滅光源下で撮影が行われる場合、例えば撮像動作を複数回実行して得た複数の画像から光源評価値を算出し、それら光源評価値を基に、最も適した光源評価値の選択や生成等を行えば、点滅光源の影響を軽減したＷＢ補正が可能になると考えられる。
【００３２】
このようなことから、ＣＰＵ１１４は、Ｓ２０５において、タイムラプス撮影の休止期間に、制御部１１３を介して複数回の撮像を行わせて、複数のＡＷＢ用キャプチャ画像を取得させる。また、ＣＰＵ１１４は、それら複数のＡＷＢ用キャプチャ画像の撮像が行われる際には、制御部１１３を介し、Ｓ２０１の撮影準備処理で決められた露出設定とは異なる露出設定による撮影を行わせる。具体的には、ＣＰＵ１１４は、複数のＡＷＢ用キャプチャ画像の撮像時の露出設定として、点滅光源の点滅周期より長い長秒露光を実行するための露出設定を行う。なお、Ｓ２０１の撮影準備処理で決められた露出設定の露光時間が、例えば点滅光源の点滅周期よりも充分に長い露光時間に既に設定されていた場合には、ＣＰＵ１１４は、Ｓ２０５で露出設定の変更を行わないようにしてもよい。そして、ＣＰＵ１１４は、Ｓ２０５の撮影処理により取得された複数のＡＷＢ用キャプチャ画像の画像信号を、メモリ部１０２に記憶させる。Ｓ２０５の後、ＣＰＵ１１４は、Ｓ２０６に処理を進める。
【００３３】
Ｓ２０６では、ＣＰＵ１１４は、Ｓ２０５で取得された複数のＡＷＢ用キャプチャ画像をメモリ部１０２から読み出させて画像処理部１１５に送る。そして、ＣＰＵ１１４は、画像処理部１１５を制御して、それら複数のＡＷＢ用キャプチャ画像の各々について、前述した光源検出処理を行わせる。具体的には、画像処理部１１５は、各ＡＷＢ用キャプチャ画像について、信号値を色評価値として抽出し、黒体放射軸を表す二次元空間上にプロットした各色評価値のうち、黒体放射軸の近辺に分布した各色評価値の最頻値のポイントを光源評価値として求める。すなわち、本実施形態の場合、ＣＰＵ１１４及び画像処理部１１５が、複数のＡＷＢ用キャプチャ画像ごとに、光源評価値を取得している。
【００３４】
さらに、ＣＰＵ１１４は、Ｓ２０６において、画像処理部１１５の光源検出処理によりＡＷＢ用キャプチャ画像ごとに算出された光源評価値と黒体放射軸とに基づいて、最も適切な光源評価値を選択又は生成する。ＡＷＢ用キャプチャ画像ごとに求められた光源評価値を基に光源評価値を選択又は生成する方法の詳細については後述する。そして、ＣＰＵ１１４は、選択又は生成された光源評価値をＷＢ制御部１０３に送る。これにより、Ｓ２０６において、ＷＢ制御部１０３では、選択又は生成された光源評価値に応じたＷＢ補正値が算出される。すなわち、本実施形態の場合、ＣＰＵ１１４及びＷＢ制御部１０３が、複数のＡＷＢ用キャプチャ画像から算出された光源評価値と黒体放射軸とに基づいて、ＷＢ補正値を算出している。このときのＷＢ補正値は、Ｓ２０２で行われたタイムラプス撮影による撮影画像に対する、ＡＷＢのＷＢ補正値となる。Ｓ２０６の後、ＣＰＵ１１４は、Ｓ２０８に処理を進める。
【００３５】
Ｓ２０８では、ＣＰＵ１１４は、Ｓ２０２で得られた撮影画像の画像信号に対し、ＷＢ制御部１０３以降の各部による現像処理を行わせる。本実施形態の場合、ＷＢ制御部１０３では、Ｓ２０７又はＳ２０６で得られたＷＢ補正値によるＷＢ補正が行われる。
【００３６】
例えば、Ｓ２０２にて通常の撮影画像が取得され、ＷＢ補正の設定がＡＷＢであった場合、ＷＢ制御部１０３は、通常の撮影画像から得られた光源評価値を基に算出したＷＢ補正値を用い、通常の撮影画像に対するＡＷＢのＷＢ補正を行う。また、Ｓ２０２にて通常の撮影画像が取得され、ＷＢ補正の設定がプリセットＷＢであった場合、ＷＢ制御部１０３は、予め設定された光源に対応した光源評価値を基に算出したＷＢ補正値により、通常の撮影画像に対するプリセットＷＢのＷＢ補正を行う。
【００３７】
また、Ｓ２０２でタイムラプス撮影が行われ、ＷＢ補正の設定がプリセットＷＢであった場合、ＷＢ制御部１０３は、設定光源に対応した光源評価値を基に算出したＷＢ補正値により、タイムラプス撮影の撮影画像に対するプリセットＷＢのＷＢ補正を行う。一方、Ｓ２０２でタイムラプス撮影が行われ、ＷＢ補正の設定がＡＷＢであった場合、ＷＢ制御部１０３は、Ｓ２０６で求めた光源評価値を基に算出したＷＢ補正値により、タイムラプス撮影の撮影画像に対するＡＷＢのＷＢ補正を行う。
【００３８】
Ｓ２０８の後、ＣＰＵ１１４は、図２のフローチャートの処理を終了する。ここで、タイムラプス撮影が行われている場合には、タイムラプス撮影の前述した休止期間が終わると、ＣＰＵ１１４は、図２のフローチャートのＳ２０１以降の処理を再開させる。
【００３９】
以下、図２のＳ２０６において、複数の光源評価値を基に、最も適切な光源評価値を選択又は生成する方法について、図３（Ａ）、図３（Ｂ）を参照しながら説明する。図３（Ａ）は、複数の光源評価値の中から、黒体放射軸に基づいて光源評価値を選択する例を示している。図３（Ｂ）は、複数の光源評価値を基に、光源評価値の重心位置の色評価値を生成して、それを光源評価値とする例を示している。また、図３（Ａ）、図３（Ｂ）の例では、タイムラプス撮影の休止期間内にＡＷＢ用キャプチャ画像の撮像が３回行われた場合の例を示している。
【００４０】
図３（Ａ）において、ｘ座標軸の負方向は高色温度被写体の白を撮影したときの色評価値を表し、ｘ座標軸の正方向は低色温度被写体の白を撮影したときの色評価値を表し、ｙ座標軸は光源の緑成分の度合いを表している。この図３（Ａ）の二次元座標空間にプロットした色評価値がｙ座標軸の負方向になるにつれて緑成分が多くなり、これはつまり光源が蛍光灯であることを示している。また、図３（Ａ）中の折れ線は、黒体放射軸を示している。図３（Ａ）中の三つの白検出ポイント３０１〜３０３は、３回の撮像により得られた三つのＡＷＢ用キャプチャ画像から、画像処理部１１５が前述した光源検出処理を行ってそれぞれ算出した三つの光源評価値を示している。図３（Ａ）の例では、白検出ポイント３０１の光源評価値が黒体放射軸上で検出され、白検出ポイント３０２と白検出ポイント３０３の光源評価値が黒体放射軸からやや離れた位置で検出されている。
【００４１】
ここで、点滅光源下で撮影が行われた場合、光源の点灯時には露出オーバーになり、消灯時には露出アンダーになることが多いため、正確に光源を推定できない場合がある。一方、複数の光源評価値が得られており、それらの中で何れかの光源評価値が黒体放射軸上に在る場合、その黒体放射軸上で検出された光源評価値は、最も信頼度が高い値であると考えられる。
【００４２】
このため、ＣＰＵ１１４は、複数の光源評価値の中で何れかの光源評価値が黒体放射軸上に存在する場合には、その黒体放射軸上に存在している光源評価値を、最も適切な光源評価値として選択する。図３（Ａ）の例の場合、白検出ポイント３０１が黒体放射軸上に在るため、ＣＰＵ１１４は、その白検出ポイント３０１の光源評価値を、最も適切な光源評価値として選択する。
【００４３】
図３（Ｂ）は、図３（Ａ）と同様の二次元座標空間を表す図であり、図中の折れ線は黒体放射軸を示している。また、図３（Ｂ）中の三つの白検出ポイント３１１〜３１３は、３回の撮像により得られた三つのＡＷＢ用キャプチャ画像から、画像処理部１１５が光源検出処理を行ってそれぞれ算出した三つの光源評価値を示している。
【００４４】
ここで、図３（Ｂ）の例の場合、白検出ポイント３１１〜３１２の三つの光源評価値の何れも、黒体放射軸上には乗っていない。また、図３（Ｂ）の例では、白検出ポイント３１１と３１２との間の距離は近いが、白検出ポイント３１３は白検出ポイント３１１や３１２から離れており、さらに、白検出ポイント３１３は白検出ポイント３１１や３１２よりも黒体放射軸から離れている。この図３（Ｂ）の例のように、白検出ポイント３１１〜３１２の何れも黒体放射軸上に存在しない場合、ＣＰＵ１１４は、それら白検出ポイント３１１〜３１２の間の各距離と黒体放射軸からの距離とを基に、最も適切な光源評価値を生成する。
【００４５】
具体的には、ＣＰＵ１１４は、各白検出ポイント３１１〜３１３から黒体放射軸までのそれぞれの最短距離を算出する。さらに、ＣＰＵ１１４は、白検出ポイント３１１と白検出ポイント３１２との間の距離、白検出ポイント３１１と白検出ポイント３１３との間の距離、白検出ポイント３１２と白検出ポイント３１３との間の距離を、それぞれ算出する。そして、ＣＰＵ１１４は、白検出ポイント３１１〜３１２の中で、黒体放射軸からの距離が遠い白検出ポイントや、他の白検出ポイントからの距離が遠い白検出ポイントを、特異点の白検出ポイントとして、その光源評価値を使用対象から除外する。図３（Ｂ）の例の場合、白検出ポイント３１３は黒体放射軸から遠く、他の白検出ポイント３１１，３１２からの距離も遠いため、ＣＰＵ１１４は、白検出ポイント３１３の光源評価値を使用対象から除外する。そして、ＣＰＵ１１４は、除外されていない白検出ポイント３１１と３１２との間の例えば重心位置の値（色評価値）を算出し、その重心位置の色評価値を、最も適切な光源評価値とする。
【００４６】
なお、ＣＰＵ１１４は、重心位置を算出する代わりに、除外されていない各白検出ポイントの平均値を算出して、その算出した平均値を、最も適切な光源評価値としてもよい。また例えば、黒体放射軸上に複数の白検出ポイントが検出された場合、ＣＰＵ１１４は、黒体放射軸上で検出された複数の白検出ポイントの各光源評価値の重心位置、又は、各光源評価値の平均値を求めて、それを最も適切な光源評価値としてもよい。
【００４７】
その他にも、例えば除外されていない各白検出ポイント間の距離がそれぞれ略々同じで差が無い場合、ＣＰＵ１１４は、黒体放射軸から最も近い白検出ポイントの光源評価値を選択する。また例えば、或る検出ポイントは黒体放射軸から最も近いが他の複数の白検出ポイントからの距離が遠く、一方、他の各白検出ポイントは相互の距離が近い場合も、ＣＰＵ１１４は、黒体放射軸から最も近い白検出ポイントの光源評価値を選択する。
【００４８】
また、図３（Ａ）、図３（Ｂ）では、タイムラプス撮影の休止期間内に、ＡＷＢ用キャプチャ画像の撮像動作を３回行う例を挙げたが、ＡＷＢ用キャプチャ画像の撮像回数は３回に限定されず、より多くの任意の回数だけ行われてもよい。この場合、それら任意の複数回の撮像動作により得られた複数のＡＷＢ用キャプチャ画像から前述したように光源評価値を求めて、それらを基に、前述したように最も適切な光源評価値を選択又は生成する。また、タイムラプス撮影の際の休止期間が非常に短いような場合には、ＡＷＢ用キャプチャ画像の撮像回数を減らしてもよいし、逆に、休止期間が長い場合にはＡＷＢ用キャプチャ画像の撮像回数を増やしてもよい。
【００４９】
以上説明したように、本実施形態の撮像装置は、点滅光源下でタイムラプス撮影が行われてＡＷＢの設定がなされている場合、タイムラプス撮影の休止期間に、ＡＷＢ用キャプチャ画像を複数回撮像して、ＡＷＢ用キャプチャ画像ごとに光源評価値を算出する。また、それらＡＷＢ用キャプチャ画像の撮像の際は、タイムラプス撮影の画像撮影時の露出設定よりも、長い露光時間になる露出設定で撮像を行うようにする。そして、撮像装置は、それら複数のＡＷＢ用キャプチャ画像から得られた複数の光源評価値を基に、最も適切な光源評価値を選択又は生成する。これにより、本実施形態の撮像装置によれば、点滅光源下でタイムラプス撮影が行われた場合でも、タイムラプス撮影の撮影間隔を損なうことなく、安定したＷＢ補正が可能となり、その結果として、色味が自然なタイムラプス動画の生成が可能になる。
【００５０】
なお、本実施形態では、タイムラプス撮影による一定間隔の撮影動作を例に挙げたが、本実施形態は、これに限定されるものではない。例えば、タイムラプス動画のように画像の連結が行われない、インターバル撮影についても本実施形態は適用可能である。従って、本実施形態におけるタイムラプス撮影はインターバル撮影を含むものとする。
【００５１】
また、本実施形態では、デジタルカメラに適用した例を中心に説明してきたが、例えば、携帯電話機やスマートフォン、或いはその他のカメラ機能を備えた様々な情報機器に対して本発明を適用することも可能である。
【００５２】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５３】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５４】
１０２  メモリ、１０３  ＷＢ制御部、１１３  制御部、１１４  ＣＰＵ、１１５  画像処理部
【図１】
2017188852.tif 000003
【図２】
2017188852.tif 000004
【図３】
2017188852.tif 000005