(57)【要約】【課題】撮像装置において、フラッシュバンド補正を行いながらシャッタスピードの変更を可能とする。【解決手段】撮像装置１００は、外部装置へ出力する映像のフレームレートよりも高速に信号を読み出す撮像素子１０２と、撮像素子１０２からの信号の読み出しを制御する撮像素子制御部１０７と、撮像素子１０２から出力される信号からフレーム毎に画像を生成する画像取得部１０３と、フレーム画像にフラッシュバンドがあるか否かを検出する閃光検出部１０４と、フラッシュバンドが検出された複数のフレームの画像から全面閃光画像を生成する画像補正部１０５と、撮影中に撮像素子１０２における信号の蓄積時間が変更されたときに、撮像素子１０２から信号を読み出すフレームレートを変更後の蓄積時間と同じになるように撮像素子制御部１０７を制御するシステム制御部１０６を備える。【選択図】図４
2015177302.tif 000002
【特許請求の範囲】
【請求項１】
映像を撮影する撮像装置であって、
外部装置へ出力する映像のフレームレートよりも高速に信号を読み出すことができる撮像素子と、
前記撮像素子からの信号の読み出しを制御する制御手段と、
前記撮像素子から出力される信号からフレーム毎に画像を生成する生成手段と、
前記生成手段により生成されたフレームの画像にフラッシュバンドがあるか否かを検出する検出手段と、
前記フラッシュバンドが検出された複数のフレームの画像から全面閃光画像を生成する補正手段とを備え、
前記制御手段は、前記撮像素子における信号の蓄積時間が変更されたときには、前記撮像素子から信号を読み出すフレームレートを前記蓄積時間と同じになるように変更することにより、前記補正手段による前記複数のフレームからの全面閃光画像の生成を可能にすることを特徴とする撮像装置。
【請求項２】
前記補正手段から取得したフレームを所定のパターンで間引いて前記外部装置へ出力することにより、前記外部装置へ出力する画像のフレームレートを前記外部装置のフレームレートへ変換する変換手段を備え、
前記変換手段は、前記補正手段で前記全面閃光画像が生成されており、前記所定のパターンに従うと前記全面閃光画像が間引き対象のフレームとなる場合には、前記全面閃光画像の前または後のフレームを間引いて前記全面閃光画像のフレームを前記外部装置へ出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記フラッシュバンドを検出した場合にフラッシュバンド検出信号を前記変換手段へ通知し、
前記補正手段は、生成した前記全面閃光画像のフレームにフラグを付加し、
前記変換手段は、前記フラッシュバンド検出信号を受信したときには、前記補正手段から取得した前記フラグの付加されていないフレームを間引き、前記フラグが付加されたフレームの取得を待って、取得した前記フラグが付加されたフレームの前記全面閃光画像を出力することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像素子は、ＣＭＯＳセンサであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
外部装置へ出力する映像のフレームレートよりも高速に信号を読み出すことができる撮像素子を用いて映像を撮影する撮像装置の制御方法であって、
前記撮像素子から出力される信号から画像をフレームごとに生成する生成ステップと、
前記生成ステップで生成された画像に外部閃光がフラッシュバンドとして現れているか否かを検出する検出ステップと、
前記検出ステップでフラッシュバンドが検出された複数のフレームの画像から全面閃光画像を生成する補正ステップと、
前記撮像素子における信号の蓄積時間が変更されたときに、前記補正ステップでの前記複数のフレームからの全面閃光画像の生成を可能にするために、前記撮像素子から信号を読み出すフレームレートを前記蓄積時間と同じになるように変更する変更ステップとを有することを特徴とする撮像装置の制御方法。
【請求項６】
前記補正ステップを実行する補正手段から取得したフレームを所定のパターンで間引くことにより、前記外部装置へ出力する画像のフレームレートを前記外部装置のフレームレートへ変換する変換ステップを有し、
前記変換ステップでは、前記補正ステップで前記全面閃光画像が生成され、前記所定のパターンに従うと前記全面閃光画像が間引き対象のフレームとなる場合に、前記全面閃光画像の前または後のフレームを間引いて前記全面閃光画像のフレームを出力することを特徴とする請求項５に記載の撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル一眼レフカメラやデジタルビデオカメラ等の撮像装置及びその制御方法に関し、特に、特に動画を撮影する際の動作制御技術に関する。
【背景技術】
【０００２】
近年、ビデオカメラに代表される撮像装置の撮像素子として、ＣＭＯＳ型イメージセンサ（以下「ＣＭＯＳセンサ」という）が広く用いられるようになってきている。ＣＭＯＳセンサは、水平ラインを順次露光し、ライン毎に映像信号を順次読み出して１つのフレームを生成するローリングシャッタ方式を採用したものが主流である。
【０００３】
ローリングシャッタ方式のＣＭＯＳセンサでは、ライン毎の露光タイミングと読出し時間とにずれが生じる。そのため、撮影中にストロボ光のような発光期間の短い外部閃光が被写体に対して照射されると、画面の上下で明るさが分割されたような画像が生成することがある。このような外部閃光によってフレーム内に発生する帯状の明るさの段差は「フラッシュバンド」と呼ばれており、フラッシュバンドを補正するための技術が、種々、提案されている。
【０００４】
例えば、特許文献１には、フラッシュバンドの検出方法及び補正方法が記載されている。特許文献１では、連続するフレーム間で画素毎に輝度レベルを比較し、比較結果から輝度レベルの変動量が大きい水平ラインを特定し、変動量が大きい水平ラインと変動量が小さい水平ラインとの境界を検出することで、フラッシュバンドの発生を検出している。また、特許文献１では、連続するフレームに含まれる画素の輝度値を比較し、輝度値が大きい方の画素に置換し、又は、輝度値の小さい方の画素に置換し、或いは、平均輝度値の画素に置換することで、フラッシュバンドのない補正フレームを出力している。
【０００５】
このように、フラッシュバンドを補正する方法としては、フラッシュバンドが発生している２又はそれ以上のフレームの輝度を比較し、その比較結果に基づいて画像合成処理を行う方法が一般的である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１５６６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
撮像素子を駆動するフレームレート（撮像素子に入力される垂直同期信号）に対して撮像素子のシャッタスピード（ＣＭＯＳセンサの場合、露光期間（信号である電荷の蓄積時間）と等しい）が短い場合には、フラッシュバンドはフレーム内の一部にのみ発生する。この場合、上記特許文献１では、フラッシュバンドが発生したフレームにおける輝度値の高い画素を次のフレームの輝度値の小さい画素で置換したフラッシュ除去画像を出力するようにしている。このような方法では、フラッシュバンドが１フレーム内の一部にのみ発生した場合に、全面閃光画像を合成することは難しい。
【０００８】
したがって、上記特許文献１に記載された技術を用いて全面閃光画像を得るためには、フラッシュバンド補正を行うモードでのシャッタスピードを撮像装置のフレームレートと同じ長さにする必要がある。そのため、撮像装置の使用者は、フラッシュバンド補正を行う動作を選択したときには、シャッタスピードを自由に変更することができない。
【０００９】
本発明は、フラッシュバンド補正を行いながらシャッタスピードの変更を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、映像を撮影する撮像装置であって、外部装置へ出力する映像のフレームレートよりも高速に信号を読み出すことができる撮像素子と、前記撮像素子からの信号の読み出しを制御する制御手段と、前記撮像素子から出力される信号からフレーム毎に画像を生成する生成手段と、前記生成手段により生成されたフレームの画像にフラッシュバンドがあるか否かを検出する検出手段と、前記フラッシュバンドが検出された複数のフレームの画像から全面閃光画像を生成する補正手段とを備え、前記制御手段は、前記撮像素子における信号の蓄積時間が変更されたときには、前記撮像素子から信号を読み出すフレームレートを前記蓄積時間と同じになるように変更することにより、前記補正手段による前記複数のフレームからの全面閃光画像の生成を可能にすることを特徴とする。
【発明の効果】
【００１１】
本発明では、撮像素子における信号の蓄積時間（シャッタスピード）が変更されたときに、撮像素子から信号を読み出すフレームレートを蓄積時間と同じとなるようにする。こうして、撮像素子から１フレーム分の信号を読み出す時間を上限として、フラッシュバンド補正を行いながらシャッタスピードを変更することができることにより、撮影条件の設定自由度を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】一般的なＣＭＯＳセンサで露光期間を短くした場合のＣＭＯＳセンサからの信号の読み出しと外部閃光に対する出力画像との関係を模式的に示す図である。
【図３】撮像素子が高速読み出し可能なＣＭＯＳセンサである場合の、撮像素子からの信号の読み出しと外部閃光に対する出力画像との関係を模式的に示す図である。
【図４】本実施形態に係る撮像装置がフラッシュバンド補正モードにあるときの動作を説明するフローチャートである。
【図５】図４のステップＳ４０３によりシャッタスピードと垂直同期信号ＶＤのレートとを一致させた場合のフラッシュバンドの発生について説明する図である。
【図６】撮像素子のシャッタスピードと垂直同期信号ＶＤのレートが１／１００秒としたときの画像取得部、画像補正部及び記憶・出力部の入出力フレームを示す図である。
【図７】図６における記憶・出力部への入力フレームを調節した例を示す図である。
【図８】フラッシュバンド補正を行いながらフレームレート変換を行うときに図７の例を実現するためのフォーマット変換部の動作のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１４】
図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、典型的には、動画撮影機能を備えるデジタルスチルカメラやデジタルビデオカメラであるが、これに限られず、カメラ機能（撮像素子を用いて映像を取得する撮影機能）を備える各種の電子機器であってもよい。例えば、撮像装置１００は、カメラ機能付き携帯通信端末（携帯電話、スマートフォン等）、カメラ機能付き携帯型コンピュータ（タブレット端末）、カメラ機能付き携帯ゲーム機等であってもよい。
【００１５】
撮像装置１００は、光学レンズ１０１、撮像素子１０２、画像取得部１０３、閃光検出部１０４、画像補正部１０５、システム制御部１０６、撮像素子制御部１０７、フォーマット変換部１０８及び記憶・出力部１０９を備える。
【００１６】
光学レンズ１０１は、被写体からの反射光を取り込み、被写体像を撮像素子１０２に結像させる。光学レンズ１０１は、具体的には、被写体に対してピントを合わせるためのフォーカスレンズや、焦点距離を変化させるためのズームレンズ等である。光学レンズ１０１を含む撮影光学系は、光量や被写界深度を調節する絞り機構（不図示）等を備える。
【００１７】
撮像素子１０２は、光学レンズ１０１により結像した被写体像（光学像）を電気信号（アナログ信号）に変換して、画像取得部１０３へ供給する。本実施形態では、撮像素子１０２は、ＣＭＯＳセンサであるとし、１フレームを読み出す時間が、一般的な表示装置のフレームレートである５９．９４ｆｐｓ（垂直同期信号ＶＤが１６．６７ｍｓ）よりも速いという特徴を備える。
【００１８】
画像取得部１０３は、撮像素子１０２から取得した映像信号であるアナログ信号からデジタルデータからなる画像信号を生成する画像生成手段である。画像取得部１０３は、撮像素子１０２から取得したアナログ信号をＡ／Ｄ変換によりデジタル信号に変換し、更に輝度レベル補正処理やホワイトバランス処理等を含む所定の現像処理を行って、画像信号（画像情報、画像データ）を生成する。なお、撮像素子１０２がＡ／Ｄ変換機能を有する場合には、画像取得部１０３にＡ／Ｄ変換機能は不要となる。
【００１９】
閃光検出部１０４は、画像取得部１０３から取得した画像信号に基づき、ストロボ光（フラッシュ光）等の外部閃光がフレッシュバンドとして画像信号に現れているか否かを検出し、検出結果をシステム制御部１０６へ送信する。画像補正部１０５は、閃光検出部１０４によってフラッシュバンドが発生しているとの検出結果を受けた場合に、フラッシュバンドが発生しているフレームの画像信号から全面閃光画像を生成する。
【００２０】
システム制御部１０６は、不図示のＣＰＵと、ＣＰＵが実行する各種のプログラムを格納したＲＯＭと、ＣＰＵのワークエリアとして用いられると共にＣＰＵの演算処理中の各種の演算値やパラメータを記憶するＲＡＭ等を有する。システム制御部１０６は、撮像装置１００に対する使用者の操作に応じて撮像装置１００の動作を決定し、各機能ブロックの動作を制御することにより撮像装置１００の全体的動作の制御を行う。
【００２１】
撮像素子制御部１０７は、システム制御部１０６の制御下において、撮像素子１０２の駆動に関する制御を行う。例えば、シャッタスピード（信号（電荷）の蓄積時間及び露光期間と等しい）を決定し、垂直同期信号ＶＤを撮像素子１０２へ入力する制御等を行う。
【００２２】
画像補正部１０５から出力される映像信号のフレームレート（撮像素子１０２から信号（蓄積電荷）を読み出すフレームレートと同じ）と、記憶・出力部１０９が処理するフレームレートとが異なる場合がある。その場合に、フォーマット変換部１０８は、記憶・出力部１０９が処理するフレームレートで記憶・出力部１０９へ映像信号が入力されるように、画像補正部１０５から取得した画像の間引き処理等を行う。記憶・出力部１０９は、フォーマット変換部１０８から供給される映像信号を、不図示の記憶媒体へ記憶する処理や不図示の表示装置へ出力する処理を行う。
【００２３】
ここで、一般的なＣＭＯＳセンサについて、シャッタスピード（信号（電荷）の蓄積時間）を垂直同期信号ＶＤの期間よりも短くした場合の問題点について説明する。図２は、一般的なＣＭＯＳセンサでシャッタスピードを短くした場合の、ＣＭＯＳセンサからの信号の読み出しと外部閃光に対する出力画像（フレーム毎の画像）との関係を模式的に示す図である。図２では、横軸に時間を、縦軸に垂直方向ライン数を取っており、外部閃光の発生タイミングと出力画像との関係が示されている。横軸に示されている垂直同期信号ＶＤは、撮像素子１０２に入力されるタイミングで示されている。
【００２４】
図２に示される外部閃光１のタイミングでは、２フレーム目の出力画像の下部にフラッシュバンドが発生する。なお、２フレーム目の出力画像の下部の黒く塗り潰した部分が、フラッシュバンドの発生領域（高輝度領域）を示しており、以下の説明では、他の出力画像でも同様の表示を用いるものとする。このとき、３フレーム目の出力画像の上部にもフラッシュバンドが発生するが、３フレーム目の出力画像のフラッシュバンドは、２フレーム目の出力画像のフラッシュバンドの発生開始ラインに届かない。また、外部閃光２のタイミングでは、５フレーム目にフラッシュバンドが発生する。このとき、５フレーム目の露光期間と重なっているラインが一部であるため、フラッシュバンドは５フレーム目の出力画像の一部にしか発生しない。
【００２５】
出力画像に図２の示したようなフラッシュバンドが発生した場合には、２フレームにまたがるフラッシュバンド発生画像を合成することによっては、フラッシュバンドを補正した全面閃光画像を得ることはできない。この問題に対処するため、本実施形態では、撮像素子１０２として、１フレーム分の蓄積電荷を読み出すことができる時間を一般的な表示装置で用いられるフレームレートの５９．９４ｆｐｓ（垂直同期信号ＶＤが１６．６７ｍｓ）よりも速い、高速読み出し可能なＣＭＯＳセンサを使用する。
【００２６】
図３は、撮像素子１０２（高速読み出し可能なＣＭＯＳセンサ）を使用した場合の撮像素子１０２からの信号の読み出しと外部閃光に対する出力画像との関係を模式的に示す図である。図２と同様に、図３でも、横軸に時間が、縦軸に垂直方向ライン数が取られ、外部閃光の発生タイミングと出力画像との関係が示されており、垂直同期信号ＶＤは撮像素子１０２に入力されるタイミングに示されている。なお、図２の横軸のスケールと図３の横軸のスケールとは同じではない。
【００２７】
外部閃光１のタイミングでは、２フレーム目の上部から下部へ外部閃光が入射するため、２フレーム目の出力画像にフラッシュバンドが現れることになるが、このとき、２フレーム目の出力画像は全面閃光画像となる。また、外部閃光２のタイミングでは、４フレーム目の出力画像の下部と５フレーム目の出力画像の上部にフラッシュバンドが発生する。このとき、５フレーム目の出力画像のフラッシュバンドは、４フレーム目の出力画像のフラッシュバンドの発生開始ラインに届いているため、２フレーム合成等の従来の補正方法を用いて全面閃光画像を合成することができる。
【００２８】
このように本実施形態では、撮像素子１０２として高速読み出し可能なＣＭＯＳセンサを用いることで、撮像素子１０２からの信号の読み出し時間を上限とした高速シャッタスピードに対応しながら、図２を参照して説明した問題点を解決したフラッシュバンド補正を可能にする。
【００２９】
図４は、撮像装置１００がフラッシュバンド補正モードにあるときの動作を説明するフローチャートである。図４の各処理は、システム制御部１０６が有するＣＰＵが、ＲＯＭに格納された所定のプログラムをＲＡＭに展開し、撮像装置１００の各機能ブロックを制御することにより実行される。
【００３０】
撮像装置１００が備える不図示の操作部を使用者が操作することにより、ステップＳ４０１において、操作部からの指示を受けたシステム制御部１０６により、フラッシュバンド補正モードが撮像装置１００に設定される。続くステップＳ４０２において、システム制御部１０６は、撮像素子制御部１０７から撮像素子１０２へ出力している垂直同期信号ＶＤと使用者が選択したシャッタスピードとが一致しているか否かを判定する。システム制御部１０６は、垂直同期信号ＶＤとシャッタスピードとが一致している場合（Ｓ４０２でＹＥＳ）、処理をステップＳ４０４へ進め、垂直同期信号ＶＤとシャッタスピードとが一致していない場合（Ｓ４０２でＮＯ）、処理をステップＳ４０３へ進める。
【００３１】
システム制御部１０６は、ステップＳ４０３において、垂直同期信号ＶＤがシャッタスピードと一致するように垂直同期信号ＶＤのレートを変更し、その後、処理をステップＳ４０４へ進める。ステップＳ４０４において、システム制御部１０６は、使用者から操作部を通してフラッシュバンド補正モードの終了が指示されたか否かを判定する。システム制御部１０６は、フラッシュバンド補正モードの終了が指示されるまで（Ｓ４０４でＮＯ）、処理をステップＳ４０２へ戻し、フラッシュバンド補正モードの終了が指示されると（Ｓ４０４でＹＥＳ）、フラッシュバンド補正モードを終了させる。そして、フラッシュバンド補正モードを終了させることに応じて、垂直同期信号ＶＤのレートを変更前のレートに戻す。
【００３２】
図５は、図４のステップＳ４０３によりシャッタスピードと垂直同期信号ＶＤのレートとを一致させた場合のフラッシュバンドの発生について説明する図であり、図２及び図３と同様の形態で示されている。フラッシュバンド補正モードでの撮影中に、使用者がシャッタスピード変更１のタイミングでシャッタスピードの設定を１／６０秒から１／１２０秒に変更する。この操作を受けたシステム制御部１０６は、設定されたシャッタスピードの情報を撮像素子制御部１０７へ伝達し、撮像素子制御部１０７が撮像素子１０２へ出力する垂直同期信号ＶＤのレートを１／６０秒から１／１２０秒へ変更する。その後に外部閃光が発生したとき、シャッタスピードと垂直同期信号ＶＤのレートとが同一の１／１２０秒であるため、２フレームの出力画像５０１，５０２にわたってフラッシュバンドが発生している。このとき、出力画像５０２のフラッシュバンドは、出力画像５０１のフラッシュバンドの発生開始ラインに届いているため、従来の補正方法により出力画像５０１，２０５を用いて全面閃光画像を合成することができる。
【００３３】
なお、図５では、シャッタスピード変更２において、使用者は、再度、シャッタスピードを１／１２０秒から１／６０秒へ戻しており、これに伴って、垂直同期信号ＶＤのレートも１／１２０秒から１／６０秒へ戻されている。また、フラッシュバンド補正モードではない通常モードであれば、垂直同期信号ＶＤのレートを安定させることを優先して、シャッタスピードの設定が１／６０秒から１／１２０秒に変更されても垂直同期信号ＶＤのレートを変更しない。
【００３４】
以上の説明の通り、本実施形態では、撮像装置１００がフラッシュバンド補正モードにあるときにシャッタスピードを変更すると、これに追従して垂直同期信号ＶＤのレートがシャッタスピードと一致するように制御される。これにより、単にシャッタスピードのみを変更したときのようにフラッシュバンドが画面の一部しか発生しない状況が生じることを防ぎ、フラッシュバンドを補正した全面閃光画像を複数フレームの画像合成により生成することができる。
【００３５】
次に、撮像素子１０２のシャッタスピードと撮像素子１０２へ入力される垂直同期信号ＶＤのレートとを合わせたときの記憶・出力部１０９の動作について説明する。記憶・出力部１０９は、通常は、指定されたフレームレートでＳＤカードやコンパクトフラッシュ（登録商標）カード等に代表される記憶媒体に対して記憶を行うと同時に、外部の表示装置に表示信号を出力する。
【００３６】
表示装置は、一般的に６０（厳密には５９．９４）ｆｐｓ又は５０ｆｐｓに対応したものが主流であり、例外を除けば、記憶媒体への記憶も同じレートで行うことが多い。そのため、例えば、撮像素子１０２のシャッタスピードを１２０ｆｐｓ（＝１／１２０秒）とした場合、フォーマット変換部１０８は、画像補正部１０５からから取得したフレーム画像を所定のパターン（１つ飛び）で間引きし、６０ｆｐｓとして記憶・出力部１０９へ出力する必要がある。
【００３７】
図６は、撮像素子１０２のシャッタスピードと垂直同期信号ＶＤのレートを１／１００秒（＝１００ｆｐｓ）にした場合に画像取得部１０３、画像補正部１０５及び記憶・出力部１０９の入出力フレームを模式的に示す図である。なお、図６中の「ＦＢ」は、「フラッシュバンド」の略である。
【００３８】
画像取得部１０３と画像補正部１０５は１／１００秒毎に画像を出力するが、記憶・出力部は１／６０秒毎に画像を出力する。このような動作は「５：３プルダウン」と呼ばれる。外部閃光１により、画像取得部１０３には、フラッシュバンドが発生した連続する２つのフレーム６０１，６０２が入力される。閃光検出部１０４がフラッシュバンドを検出し、画像補正部１０５がフレーム６０１，６０２に対して２フレーム合成等のフラッシュバンド補正を行うことにより、全面閃光画像のフレーム６０３が生成される。
【００３９】
記憶・出力部１０９は１／６０秒で画像を出力するため、フォーマット変換部１０８は、撮像素子１０２（画像補正部１０５）から出力された５フレームから２フレームを間引きして、３フレームを出力する。ここでは、連続する５フレームのうちの３番目と５番目のフレームを間引くというルールに従った間引きが行われるものとする。その場合、外部閃光１によって発生した、フラッシュバンド補正されたフレーム６０３は、フォーマット変換されて、記憶・出力部１０９へ入力されることになる。
【００４０】
一方、外部閃光２によりフラッシュバンドが発生した２つフレーム６０４，６０５を合成することにより全面閃光画像であるフレーム６０６が生成される。ここで、先の５フレームから２フレームを間引きしたパターンと同じパターンでフレームの間引きを行ってしまうと、フレーム６０６が間引き対象となって間引きされ、その後ろの通常のフレーム６０７が記憶・出力部１０９へと出力されることとなる。これでは、外部閃光が発生したにもかかわらず、外部閃光が発生しなかった映像となってしまうため、このような事態が生じないように、図７に示すように、フォーマット変換部１０８は、記憶・出力部１０９へ入力されるフレームを調節する。
【００４１】
図７は、撮像素子１０２のシャッタスピードと垂直同期信号ＶＤのレートを１／１００秒にした場合に、記憶・出力部１０９へ入力されるフレームを調節した一例を示す図である。図７には不図示であるが、ここでは、閃光検出部１０４は、フラッシュバンドを検出すると、そのことを示す信号（以下「フラッシュバンド検出信号」という）をフォーマット変換部１０８へ通知するものとする。そして、フォーマット変換部１０８は、必ずフラッシュバンド補正された全面閃光画像フレームを記憶・出力部１０９に対して出力するように、５フレームから間引く２フレームを調節する。図６の例では間引きされてしまった全面閃光画像であるフレーム６０６が、図７の例では間引きされることなく、記憶・出力部１０９へと出力されている。これにより、外部閃光が発生したことを示す画像を取りこぼすことなく、表示し、記憶することができる。
【００４２】
記憶・出力部１０９に対して入力するフレームを調節するためのフォーマット変換部１０８の動作について、図８を参照して説明する。図８は、フラッシュバンド補正を行いながらフレームレート変換を行うときのフォーマット変換部１０８の動作のフローチャートである。
【００４３】
ステップＳ８０１において、フォーマット変換部１０８は、閃光検出部１０４からフラッシュバンド検出信号を受信したか否かを判定する。フォーマット変換部１０８は、フラッシュバンド検出信号を受信した場合（Ｓ８０１でＹＥＳ）、処理をステップＳ８０２へ進め、フラッシュバンド検出信号を受信しない場合（Ｓ８０１でＮＯ）、処理をステップＳ８０３へ進める。なお、不図示であるが、閃光検出部１０４においてフラッシュバンドが検出されると、画像補正部１０５は、フラッシュバンド補正を行って生成した全面閃光画像のフレームにフラッシュバンドフラグ（以下「ＦＢフラグ」という）を付加する。これにより、フォーマット変換部１０８は、フラッシュバンド補正が施されたフレームであるか否かを容易に判別することができるようになる。
【００４４】
ステップＳ８０２において、フォーマット変換部１０８は、画像補正部１０５からの受信フレームにＦＢフラグが付加されているか否かを判定する。フォーマット変換部１０８は、ＦＢフラグを検出した場合（Ｓ８０２でＹＥＳ）、処理をステップＳ８０３へ進め、ＦＢフラグを検出しない場合（Ｓ８０２でＮＯ）、処理をステップＳ８０５へ進める。
【００４５】
フォーマット変換部１０８は、ステップＳ８０３において、受信フレームをそのまま記憶・出力部１０９へと出力し、その後、処理をステップＳ８０４へ進める。一方、ステップＳ８０５では、フォーマット変換部１０８は、ＦＢフラグが付加されているフレームが入力されるまで待機する（ＦＢフラグのないフレームを間引く）。そして、フォーマット変換部１０８は、続くステップＳ８０６において、ＦＢフラグが付加されたフレームを受信すると、そのフレームを記憶・出力部１０９へと出力し、その後、処理をステップＳ８０４へ進める。フォーマット変換部１０８は、ステップＳ８０４において、次のフレームについて同様の処理を行う（次のフレームについて、ステップＳ８０１から、再度、処理を開始する）。
【００４６】
以上の説明の通り、本実施形態では、フォーマット変換部１０８でプルダウン処理を行う場合に、フラッシュバンド補正により全面閃光画像のフレームが生成された場合には、必ず、全面閃光画像のフレームを記憶や表示等に用いるようにする。これにより、外部閃光が発生したシーンを逃すことなく、例えば、記者会見の場等のように頻繁にストロボ光が焚かれるシーンでの撮影において、その臨場感を損ねることのない映像の記憶が可能になる。
【００４７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００４８】
本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００４９】
１０２    撮像素子
１０３    画像取得部
１０４    閃光検出部
１０５    画像補正部
１０６    システム制御部
１０７    撮像素子制御部
１０８    フォーマット変換部
１０９    記憶・出力部
【図１】
2015177302.tif 000003
【図２】
2015177302.tif 000004
【図３】
2015177302.tif 000005
【図４】
2015177302.tif 000006
【図５】
2015177302.tif 000007
【図６】
2015177302.tif 000008
【図７】
2015177302.tif 000009
【図８】
2015177302.tif 000010