(57)【要約】【課題】シャッタ動作時のフラッシュバンドを除去する。【解決手段】ローリングシャッタ方式の撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によってフレーム内に生じたラインごとのレベルの段差であるフラッシュバンドを検出するフラッシュバンド検出部と、撮像素子を有する撮像装置においてシャッタ動作が行われたかどうかを判定するシャッタ動作判定部と、シャッタ動作判定部でシャッタ動作が行われたと判定され、かつ、フラッシュバンド検出部においてフラッシュバンドが検出された場合に、フラッシュバンドが検出されたフレームより前に撮像素子から出力された過去のフレームの映像信号を出力するフラッシュバンド補正部とを備える画像補正装置が提供される。【選択図】図２
2015149691.tif 000002
【特許請求の範囲】
【請求項１】
ローリングシャッタ方式の撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドを検出するフラッシュバンド検出部と、
前記撮像素子を有する撮像装置においてシャッタ動作が行われたかどうかを判定するシャッタ動作判定部と、
前記シャッタ動作判定部でシャッタ動作が行われたと判定され、かつ、前記フラッシュバンド検出部において前記フラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力するフラッシュバンド補正部と
を備える画像補正装置。
【請求項２】
前記フラッシュバンド補正部は、前記フラッシュバンドの終了直後に出力する第１のフレームでは、前記撮像素子がフラッシュバンド終了直後に出力するフレームの映像信号を出力し、前記第１のフレームの次に出力する第２のフレームでは、前記フラッシュバンド終了直後のフレームの映像信号と、前記撮像素子が前記フラッシュバンド終了直後のフレームの次に出力するフレームの映像信号に基づいて算出された映像信号を出力する
請求項１に記載の画像補正装置。
【請求項３】
前記フラッシュバンド補正部は、前記シャッタ動作判定部でシャッタ動作が行われていないと判定され、かつ、前記フラッシュバンド検出部において前記フラッシュバンドが検出された場合に、前記フラッシュバンド検出直後に出力する第１のフレームでは、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力し、前記第１のフレームの次に出力する第２のフレームでは、前記フラッシュバンドが検出されたフレームの映像信号と、前記フラッシュバンドが検出されたフレームの次に前記撮像素子が出力するフレームの映像信号に基づいて算出された映像信号を出力する
請求項１に記載の画像補正装置。
【請求項４】
前記フラッシュバンド検出部は、前記フラッシュバンドを検出するための枠を複数設定する
請求項１に記載の画像補正装置。
【請求項５】
前記フラッシュバンド検出部は、前記フラッシュバンドを検出するための枠の設定を動的に変化させる
請求項１に記載の画像補正装置。
【請求項６】
前記フラッシュバンド検出部は、前記撮像装置における被写体の検出情報に応じて、前記フラッシュバンドを検出するための枠の設定を変化させる
請求項５に記載の画像補正装置。
【請求項７】
前記被写体の検出情報は、前記被写体の顔検出情報である
請求項６に記載の画像補正装置。
【請求項８】
前記フラッシュバンド補正部は、前記映像信号の用途に応じて、前記フラッシュバンドの補正の有無を切り替える
請求項１に記載の画像補正装置。
【請求項９】
前記フラッシュバンド補正部により補正されていない映像信号を記録媒体へ出力する記録用出力部を
さらに備える請求項１に記載の画像補正装置。
【請求項１０】
ローリングシャッタ方式の撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドを検出し、
前記撮像素子を有する撮像装置においてシャッタ動作が行われたかどうかを判定し、
前記シャッタ動作が行われたと判定され、かつ、前記フラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力する
ステップを含む画像補正方法。
【請求項１１】
ローリングシャッタ方式の撮像素子を有する撮像部と、
前記撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドを検出するフラッシュバンド検出部と、前記フラッシュバンドを補正するフラッシュバンド補正部と
を備え、
前記フラッシュバンド補正部は、前記撮像部でシャッタ動作が行われ、かつ、前記フラッシュバンド検出部において前記フラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力する
撮像装置。
【請求項１２】
前記フラッシュバンド補正部により補正された映像信号を出力する第１の出力部と、
前記フラッシュバンド補正部により補正されていない映像信号をする第２の出力部と
をさらに備える請求項１１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像補正装置、画像補正方法、及び、撮像装置に関し、特に、シャッタ動作時のフラッシュバンドを除去することができるようにした画像補正装置、画像補正方法、及び、撮像装置に関する。
【背景技術】
【０００２】
従来、カメラに用いられる撮像素子には、水平ラインごとに順次露光を開始し、水平ラインごとに映像信号を順次読み出して、フレームを生成するローリングシャッタ方式を採用したものが採用されている。このローリングシャッタ方式の撮像素子では、ラインごとに露光時間が異なる。
【０００３】
このため、撮像素子が映像信号を読み出すフレームレートより短い期間にフラッシュ等が焚かれると、読み出されたフレーム内の映像信号により表示される映像に帯状の輝度レベルの段差（以下、「フラッシュバンド」という。）が生じることがある。なお、以下の説明では、フラッシュバンド(Flash Band)は、「ＦＢ」と略記する場合がある。
【０００４】
特許文献１には、ローリングシャッタ方式を用いてスルー画や動画の撮影を行う場合に、他人が所持するカメラが発光したストロボ光による画質の劣化を防止する方法が開示されている。また、本出願人は、被写体にフラッシュを照射して撮影した映像内に生じるフラッシュバンドを検出するためのフラッシュバンド検出回路を先に提案している（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１３５９２１号公報
【特許文献２】特開２０１２−１５６６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に開示されている手法では、高輝度領域が検出された場合に、高輝度領域が発生した画が出力されなくなるまで、高輝度領域が検出されていない最終フレームを連続して出力することで、不自然なスルー画や動画となってしまうことを防いでいる。しかしながら、この手法であると、同一のフレームを連続して出力しているため、動いている物体を撮影した際に、一瞬映像が止まったように見えてしまう。
【０００７】
そこで、特許文献２に開示されている手法を用いて、フラッシュバンドを検出して、検出したフラッシュバンドを補正することで、上述の特許文献１で生じていた、動いている物体を撮影した際に、一瞬映像が止まったように見える現象を回避することができるようになる。しかしながら、この手法であると、シャッタを動作させた場合に、フラッシュバンドを補正することができないため、シャッタ動作時であっても、フラッシュバンドを除去できるようにしたいという要求があった。
【０００８】
本技術はこのような状況に鑑みてなされたものであり、シャッタ動作時のフラッシュバンドを除去することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の第１の側面の画像補正装置は、ローリングシャッタ方式の撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドを検出するフラッシュバンド検出部と、前記撮像素子を有する撮像装置においてシャッタ動作が行われたかどうかを判定するシャッタ動作判定部と、シャッタ動作判定部でシャッタ動作が行われたと判定され、かつ、前記フラッシュバンド検出部において前記フラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力するフラッシュバンド補正部とを備える。
【００１０】
前記フラッシュバンド補正部は、前記フラッシュバンドの終了直後に出力する第１のフレームでは、前記撮像素子がフラッシュバンド終了直後に出力するフレームの映像信号を出力し、前記第１のフレームの次に出力する第２のフレームでは、前記フラッシュバンド終了直後のフレームの映像信号と、前記撮像素子が前記フラッシュバンド終了直後のフレームの次に出力するフレームの映像信号に基づいて算出された映像信号を出力することができる。
【００１１】
前記フラッシュバンド補正部は、前記シャッタ動作判定部でシャッタ動作が行われていないと判定され、かつ、前記フラッシュバンド検出部において前記フラッシュバンドが検出された場合に、前記フラッシュバンド検出直後に出力する第１のフレームでは、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力し、前記第１のフレームの次に出力する第２のフレームでは、前記フラッシュバンドが検出されたフレームの映像信号と、前記フラッシュバンドが検出されたフレームの次に前記撮像素子が出力するフレームの映像信号に基づいて算出された映像信号を出力するようにすることができる。
【００１２】
前記フラッシュバンド検出部は、前記フラッシュバンドを検出するための枠を複数設定するようにすることができる。
【００１３】
前記フラッシュバンド検出部は、前記フラッシュバンドを検出するための枠の設定を動的に変化させるようにすることができる。
【００１４】
前記フラッシュバンド検出部は、前記撮像装置における被写体の検出情報に応じて、前記フラッシュバンドを検出するための枠の設定を変化させるようにすることができる。
【００１５】
前記被写体の検出情報は、前記被写体の顔検出情報であるようにすることができる。
【００１６】
前記フラッシュバンド補正部は、前記映像信号の用途に応じて、前記フラッシュバンドの補正の有無を切り替えるようにすることができる。
【００１７】
前記フラッシュバンド補正部により補正されていない映像信号を記録媒体へ出力する記録用出力部をさらに備えるようにすることができる。
【００１８】
本技術の第１の側面の画像補正装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
【００１９】
本技術の第１の側面の画像補正方法は、上述した本技術の第１の側面の画像補正装置に対応する画像補正方法である。
【００２０】
本技術の第１の側面の画像補正装置及び画像補正方法においては、ローリングシャッタ方式の撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドが検出され、前記撮像素子を有する撮像装置においてシャッタ動作が行われたかどうかが判定され、前記シャッタ動作が行われたと判定され、かつ、前記フラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号が出力される。
【００２１】
本技術の第２の側面の撮像装置は、ローリングシャッタ方式の撮像素子を有する撮像部と、前記撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドを検出するフラッシュバンド検出部と、前記フラッシュバンドを補正するフラッシュバンド補正部とを備え、前記フラッシュバンド補正部は、前記撮像部でシャッタ動作が行われ、かつ、前記フラッシュバンド検出部において前記フラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力する。
【００２２】
前記フラッシュバンド補正部により補正された映像信号を出力する第１の出力部と、前記フラッシュバンド補正部により補正されていない映像信号をする第２の出力部とをさらに備えるようにすることができる。
【００２３】
本技術の第２の側面の撮像装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
【００２４】
本技術の第２の側面の撮像装置においては、ローリングシャッタ方式の撮像素子を有する撮像部でシャッタ動作が行われ、かつ、前記撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号が出力される。
【発明の効果】
【００２５】
本技術の第１の側面及び第２の側面によれば、シャッタ動作時のフラッシュバンドを除去することができる。
【００２６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２７】
【図１】本技術を適用した撮像装置の一実施の形態の構成を示すブロック図である。
【図２】本技術を適用した画像補正装置の一実施の形態の構成を示すブロック図である。
【図３】フラッシュバンド処理を説明するフローチャートである。
【図４】通常のフラッシュバンド補正処理の詳細な内容を説明するフローチャートである。
【図５】通常のフラッシュバンド補正を模式的に示した図である。
【図６】シャッタ動作時のフラッシュバンド補正処理の詳細な内容を説明するフローチャートである。
【図７】シャッタ動作時の単発１フレーム内のフラッシュバンド補正を模式的に示した図である。
【図８】シャッタ動作時の連続した１フレーム内のフラッシュバンド補正を模式的に示した図である。
【図９】１つの被写体に対するＦＢ検出枠の設定例を示す図である。
【図１０】複数の被写体に対するＦＢ検出枠の設定例を示す図である。
【図１１】ＦＢ検出枠によるフラッシュバンド検出処理を説明するフローチャートである。
【図１２】適応的なフラッシュバンド補正を行う画像補正装置の構成例を示すブロック図である。
【図１３】適応的なフラッシュバンド補正の具体的な運用例を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら本技術の実施の形態について説明する。ただし、説明は以下の順序で行うものとする。
【００２９】
１．システム構成
２．通常のフラッシュバンド補正処理
３．シャッタ動作時のフラッシュバンド補正処理
４．高度なフラッシュバンド検出処理
５．適応的なフラッシュバンド補正処理
【００３０】
＜１．システム構成＞
【００３１】
（撮像装置の構成）
図１は、本技術を適用した撮像装置の一実施の形態の構成を示すブロック図である。
【００３２】
図１に示すように、撮像装置１は、レンズ系２１やローリングシャッタ方式の撮像素子２２等を備え、RGBの３原色の映像信号を出力する撮像部１１と、撮像部１１から出力される映像信号に、所定の映像信号処理を行う映像信号処理回路１２とを備える。
【００３３】
撮像部１１において、撮像素子２２には、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられる。撮像素子２２は、レンズ系２１を介して入射した被写体の像光を画素ごとに露光して、ラインごとに映像信号を出力する。また、撮像部１１は、不図示のA/D(Analog/Digital)変換部を有しており、撮像素子２２が出力した映像信号をアナログ信号からデジタル信号に変換し、量子化された映像信号を生成する。
【００３４】
映像信号処理回路１２は、撮像系補正部３１、ゲイン調整部３２、ニー補正部３３、ガンマ補正部３４、及び、出力信号生成部３５から構成される。
【００３５】
撮像系補正部３１は、撮像部１１から供給される映像信号の欠陥を補正し、欠陥が補正された映像信号を、ゲイン調整部３２に供給する。ゲイン調整部３２は、撮像系補正部３１から供給される欠陥が補正された映像信号のゲイン等を調整し、ゲイン等が調整された映像信号を、ニー補正部３３に供給する。
【００３６】
ここでは、撮像系補正部３１とゲイン調整部３２を合わせて、映像信号の線形補正を行う線形補正部４１として用いられる。すなわち、撮像部１１から出力されるRGBの３原色の映像信号は、撮像系補正部３１とゲイン調整部３２によって線形処理された後、ニー補正部３３に供給される。
【００３７】
ニー補正部３３は、ゲイン調整部３２から供給されるゲイン等が調整された映像信号を、所定の信号規格に収めるためにレベル調整を行い、レベル調整された映像信号を、ガンマ補正部３４に供給する。ガンマ補正部３４は、ニー補正部３３から供給されるレベル調整された映像信号を、モニタのガンマに対応するためにガンマ補正を行い、ガンマ補正された映像信号を、出力信号生成部３５に供給する。
【００３８】
ここでは、ニー補正部３３とガンマ補正部３４を合わせて、映像信号の非線形補正を行う非線形補正部４２として用いられる。すなわち、線形補正部４１によって線形処理された映像信号は、ニー補正部３３とガンマ補正部３４によって非線形処理された後、出力信号生成部３５に供給される。
【００３９】
出力信号生成部３５は、ガンマ補正部３４から供給されるガンマ補正された映像信号を、最終的な出力形式に変換し、最終的な出力形式に変換された映像信号を、後段のモニタ（不図示）等に供給する。
【００４０】
このように構成される撮像装置１においては、ローリングシャッタ方式の撮像素子２２が所定のフレームレートでフレームごとに出力する映像信号のラインごとの露光期間の違いにより、フラッシュ光によってフレーム内に生じたラインごとの輝度レベルの段差であるフラッシュバンドが生じる場合がある。そのため、撮像系補正部３１には、フラッシュバンドが検出された場合に、当該フラッシュバンドの補正を行う画像補正装置が実装されている。図２には、このような画像補正装置を図示している。
【００４１】
（画像補正装置の構成）
図２は、本技術を適用した画像補正装置の一実施の形態の構成を示すブロック図である。
【００４２】
図２の画像補正装置１０１は、撮像部１１から出力される映像信号からフラッシュバンドが検出された場合には、当該フラッシュバンドの補正を行う。図２に示すように、画像補正装置１０１は、フラッシュバンド検出部１１１、フラッシュバンド補正部１１２、フレームメモリ１１３、及び、シャッタ動作判定部１１４から構成される。
【００４３】
フラッシュバンド検出部１１１は、撮像部１１から出力される映像信号に基づいて、フラッシュバンド検出処理を行い、その検出結果を、フラッシュバンド補正部１１２に供給する。
【００４４】
例えば、フラッシュバンド検出処理においては、現在フレーム（入力画）と過去フレーム（過去画）の連続するフレーム間で画素ごとにレベルを比較して比較結果を求め、その比較結果からレベルの変動量が大きい水平ラインを特定し、変動量が大きい連続した水平ラインと、変動量が小さい連続した水平ラインの境界となるラインを検出することで、フラッシュバンドが発生したことを検出する。この場合、横長の高輝度物体がフラッシュバンドとして検出されることになる。なお、撮像部１１が現在出力するフレームを現在フレーム（以下、「入力画」ともいう。）と称し、現在フレームよりも時間的に前に出力されたフレームを過去フレーム（以下、「過去画」ともいう。）と称する。
【００４５】
この検出結果としては、例えば、フラッシュバンドの開始を判定したＦＢ開始判定値若しくはフラッシュバンドの終了を判定したＦＢ終了判定値、又は、１フレーム内のフラッシュバンドの有無などを求めることができる。
【００４６】
なお、ＦＢ開始判定値は、０又は１で表され、０のときは、フラッシュバンドは開始しておらず、１のとき、フラッシュバンドは開始したことを表す。また、ＦＢ終了判定値は、０又は１で表され、０のときは、フラッシュバンドは終了しておらず、１のとき、フラッシュバンドは終了したことを表す。
【００４７】
フラッシュバンド補正部１１２は、フラッシュバンド検出部１１１から供給される検出結果に基づいて、フラッシュバンド補正処理を行い、その結果得られる映像信号（ＦＢ補正画）を出力する。また、フレームメモリ１１３は、フラッシュバンド補正部１１２からの制御に従い、撮像部１１から出力される映像信号（フレーム）を一時的に保持する。
【００４８】
フラッシュバンド補正処理においては、シャッタ動作判定部１１４による撮像部１１でのシャッタ動作の有無の判定結果に応じたフラッシュバンド補正が行われる。例えば、シャッタ未動作時のフラッシュバンド補正処理（以下、「通常のフラッシュバンド補正処理」ともいう。）では、ＦＢ開始判定値が検出されてから、ＦＢ終了判定値が検出されるまでのＦＢの期間中に、過去フレーム（過去画）と、現在フレーム（入力画）を加算して得られる加算フレーム（全面フラッシュ画）を出力することで、フラッシュバンド補正が行われる。
【００４９】
また、例えば、シャッタ動作時のフラッシュバンド補正処理では、１フレーム内のフラッシュバンドが検出された場合に、フレームメモリ１１３の更新を停止するとともに、フレームメモリ１１３に保持された過去フレーム（過去画）が出力されるようにすることで、フラッシュバンド補正が行われる。
【００５０】
（フラッシュバンド処理の流れ）
次に、図３のフローチャートを参照して、図２の画像補正装置１０１により実行される、フラッシュバンド処理について説明する。なお、このフラッシュバンド処理は、所定のタイミングで繰り返し実行される。
【００５１】
ステップＳ１において、シャッタ動作判定部１１４は、撮像装置１の撮像部１１においてシャッタ動作が行われたかどうかを判定する。ステップＳ１において、シャッタ動作判定部１１４によってシャッタ動作が行われていない、すなわち、シャッタ未動作であると判定された場合、処理はステップＳ２に進められる。
【００５２】
ステップＳ２において、フラッシュバンド検出部１１１は、フラッシュバンド検出処理を行い、その検出結果を、フラッシュバンド補正部１１２に供給する。
【００５３】
ステップＳ３において、フラッシュバンド補正部１１２は、フラッシュバンド検出部１１１からの検出結果に基づいて、通常のフラッシュバンド補正処理を行う。
【００５４】
この通常のフラッシュバンド補正処理では、フラッシュバンドが検出された場合、すなわち、ＦＢ開始判定値が検出されてから、ＦＢ終了判定値が検出されるまでのＦＢの期間中に、過去フレーム（過去画）と、現在フレーム（入力画）を加算して得られる加算フレーム（全面フラッシュ画）を出力することで、フラッシュバンド補正が行われる。なお、通常のフラッシュバンド補正処理の詳細な内容については、図４及び図５を参照して後述する。
【００５５】
一方、ステップＳ１において、シャッタ動作判定部１１４によってシャッタ動作が行われたと判定された場合、処理は、ステップＳ４に進められる。ステップＳ４において、フラッシュバンド検出部１１１は、フラッシュバンド検出処理を行い、その検出結果を、フラッシュバンド補正部１１２に供給する。
【００５６】
ステップＳ５において、フラッシュバンド補正部１１２は、フラッシュバンド検出部１１１からの検出結果に基づいて、シャッタ動作時のフラッシュバンド補正処理を行う。
【００５７】
このシャッタ動作時のフラッシュバンド補正処理では、１フレーム内のフラッシュバンドが検出された場合に、フレームメモリ１１３の更新を停止するとともに、フレームメモリ１１３に保持された過去フレーム（過去画）が出力されるようにすることで、フラッシュバンド補正が行われる。なお、シャッタ動作時のフラッシュバンド補正処理の詳細は、図６乃至図８を参照して後述する。
【００５８】
ステップＳ３，Ｓ５の処理が終了すると、フラッシュバンド処理は終了する。
【００５９】
以上で、フラッシュバンド処理の説明を終了する。このフラッシュバンド処理においては、シャッタ未動作時には、フラッシュバンドが基本的に２フレームにまたがっているため、それらの２フレームを用いたフラッシュバンド補正を行うことができるが、シャッタ動作時にはフラッシュバンドが１フレーム内で完了してしまうため、シャッタ未動作時と同様にフラッシュバンド補正を行うことができないので、シャッタ動作の有無に応じたフラッシュバンド補正が行われるようにしている。
【００６０】
＜２．通常のフラッシュバンド補正処理＞
【００６１】
（通常のフラッシュバンド補正処理の流れ）
次に、図４のフローチャートを参照して、フラッシュバンド補正部１１２により実行される、図３のステップＳ３の処理に対応する通常のフラッシュバンド補正処理の詳細な内容について説明する。
【００６２】
ステップＳ１０１において、フラッシュバンド補正部１１２は、フラッシュバンド検出部１１１からのフラッシュバンドの検出結果を取得する。ステップＳ１０２において、フラッシュバンド補正部１１２は、フラッシュバンドの検出結果に基づいて、過去画（過去フレーム）でＦＢ開始判定値を検出済みであるかどうかを判定する。
【００６３】
ステップＳ１０２において、過去画でＦＢ開始判定値が未検出であると判定された場合、処理はステップＳ１０３に進められる。ステップＳ１０３において、フラッシュバンド補正部１１２は、フラッシュバンドの検出結果に基づいて、１Ｖ前の過去画にＦＢ終了判定がされたかどうかを判定する。すなわち、この判定処理では、入力された現在フレームが、フラッシュバンド終了後、２番目に入力されたフレームであるかどうかが判定される。
【００６４】
ステップＳ１０３において、１Ｖ前の過去画にＦＢ終了判定がされていないと判定された場合、入力された現在フレームが、フラッシュバンド終了後の２フレーム目ではないので、処理はステップＳ１０４に進められる。ステップＳ１０４において、フラッシュバンド補正部１１２は、フレームメモリ１１３に保持された過去フレームを出力する。ステップＳ１０５において、フラッシュバンド補正部１１２は、フレームメモリ１１３を更新する。
【００６５】
また、ステップＳ１０３において、１Ｖ前の過去画にＦＢ終了判定がされたと判定された場合、入力された現在フレームが、フラッシュバンド終了後の２フレーム目となるので、処理はステップＳ１０６に進められる。ステップＳ１０６において、フラッシュバンド補正部１１２は、過去フレーム（過去画）と、現在フレーム（入力画）とを加算平均して得られる加算フレーム（加算画）を出力する。ステップＳ１０７において、フラッシュバンド補正部１１２は、フレームメモリ１１３を更新する。
【００６６】
一方、ステップＳ１０２において、過去画でＦＢ開始判定値が検出済みであると判定された場合、処理はステップＳ１０８に進められる。ステップＳ１０８において、フラッシュバンド補正部１１２は、フラッシュバンドの検出結果に基づいて、過去画にＦＢ終了判定値が存在するかどうかを判定する。
【００６７】
ステップＳ１０８において、過去画にＦＢ終了判定値が存在しないと判定された場合、処理はステップＳ１０９に進められる。ステップＳ１０９において、フラッシュバンド補正部１１２は、過去フレーム（過去画）と、現在フレーム（入力画）とを加算して得られる加算フレーム（全面フラッシュ画）を出力する。例えば、この全面フラッシュ画は、フラッシュバンドが発生している２枚の画を加算平均することによって生成される。ステップＳ１１０において、フラッシュバンド補正部１１２は、フレームメモリ１１３を更新する。
【００６８】
また、ステップＳ１０８において、ＦＢ終了判定値が存在すると判定された場合、処理はステップＳ１１１に進められる。ステップＳ１１１において、フラッシュバンド補正部１１２は、入力された現在フレームを出力する。ステップＳ１１２において、フラッシュバンド補正部１１２は、フレームメモリ１１３を更新する。
【００６９】
ステップＳ１０５，Ｓ１０７，Ｓ１１０，Ｓ１１２の処理のいずれかが終了すると、処理は、図３のステップＳ３の処理に戻り、それ以降の処理が実行される。
【００７０】
以上で、通常のフラッシュバンド補正処理の説明を終了する。この通常のフラッシュバンド補正においては、フラッシュバンドが検出された場合、すなわち、過去画においてＦＢ開始判定値が検出されてから、ＦＢ終了判定値が検出されるまでのＦＢの期間中は、過去フレームと現在フレームを加算して得られる加算フレーム（全面フラッシュ画）が出力され（Ｓ１０９）、その後、ＦＢ終了判定値が検出されたときに、現在フレームを、何ら補正処理を施さずにそのまま出力する（Ｓ１１１）。
【００７１】
また、フラッシュバンドが検出されていない場合に、１Ｖ前の過去画にＦＢ終了判定がされたときには、過去フレームと現在フレームを加算平均して得られる加算フレームが出力されるので（Ｓ１０６）、同じ画を連続して出力することがなくなり、動画として滑らかになる。なお、フラッシュバンドが検出されていない場合には、過去フレーム（ＦＢの検出対象となったフレーム）が、何ら補正処理を施されずにそのまま出力されるとともに、現在フレームでフレームメモリ１１３が更新され、次のフラッシュバンド補正に備えることになる（Ｓ１０４，Ｓ１０５）。
【００７２】
（通常のフラッシュバンド補正の模式図）
図５は、通常のフラッシュバンド補正を模式的に示した図である。
【００７３】
図５においては、フラッシュバンド補正部１１２に入力される映像信号（入力画）と、フレームメモリ１１３に一時的に保持される映像信号（遅延画）と、フラッシュバンド補正部１１２から出力される映像信号（出力画）が、図中左側から右側に向かって時系列に並べられている。また、図５において、時系列に並べられた長方形の図は、フレーム単位の映像信号を表しており、各フレームには、その入力順に、左上に番号が付されている。さらに、フレーム上の斜線の領域は、フラッシュバンドが生じた領域を表している。
【００７４】
図５に示すように、シャッタ未動作時に、フレーム１の次に入力されるフレーム２の下側半分の領域でフラッシュバンドが検出された場合、フレームメモリ１１３に保持された過去フレーム１が出力される。また、フレームメモリ１１３の内容は、現在フレーム２の内容に更新される。
【００７５】
また、シャッタ未動作時において、フラッシュバンドは、基本的に２フレームにまたがっているため、この例では、フレーム２の下側半分の領域とともに、フレーム３の上側半分の領域でフラッシュバンドが検出されている。この場合、ＦＢ開始判定値が検出されてから、ＦＢ終了判定値が検出されるまでのＦＢの期間中となるので、過去フレーム２と現在フレーム３を加算して得られる加算フレーム（（２＋３）／２）として、全面フラッシュ画が出力される。また、フレームメモリ１１３の内容は、現在フレーム３の内容に更新される。
【００７６】
次に、フレーム４が入力されるが、ＦＢ終了判定値が検出されているので、現在フレーム４が、何ら補正処理が施されずにそのまま出力される。また、フレームメモリ１１３の内容は、現在フレーム４の内容に更新される。
【００７７】
次に、フレーム５が入力されるが、フラッシュバンドが検出されておらず、１Ｖ前にＦＢ終了判定がされているので、過去フレーム４と現在フレーム５の加算平均により得られる加算フレーム（（４＋５）／２）が出力される。これにより、同じ画を連続して出力することがなくなり、動画として滑らかになる。また、フレームメモリ１１３の内容は、現在フレーム５の内容に更新される。
【００７８】
その後、フラッシュバンドが検出されていない場合には、過去フレーム（例えば、フレーム５，６，７，・・・）が、何ら補正処理を施されずにそのまま出力されるとともに、現在フレーム（例えば、フレーム６，７，８，・・・）でフレームメモリ１１３が更新され、次のフラッシュバンド補正に備えることになる。
【００７９】
このように、シャッタ未動作時においては、フラッシュバンドは、基本的に２フレームにまたがっているため、それらのフレーム（過去画と入力画）を加算することで得られる全面フラッシュ画を生成して出力することで、フラッシュバンドの補正を行っている。
【００８０】
＜３．シャッタ動作時のフラッシュバンド補正処理＞
【００８１】
（シャッタ動作時のフラッシュバンド補正処理の流れ）
次に、図６のフローチャートを参照して、フラッシュバンド補正部１１２により実行される、図３のステップＳ５の処理に対応するシャッタ動作時のフラッシュバンド補正処理の詳細な内容について説明する。
【００８２】
ステップＳ２０１において、フラッシュバンド補正部１１２は、フラッシュバンド検出部１１１からのフラッシュバンドの検出結果を取得する。ステップＳ２０２において、フラッシュバンド補正部１１２は、フラッシュバンドの検出結果に基づいて、入力画に１フレーム内のフラッシュバンドがあるかどうかを判定する。
【００８３】
ステップＳ２０２において、入力画に１フレーム内のフラッシュバンドがあると判定された場合、処理は、ステップＳ２０３に進められる。ステップＳ２０３において、フラッシュバンド補正部１１２は、フレームメモリ１１３に保持された過去フレームを出力する。ただし、入力画に１フレーム内のフラッシュバンドが検出された場合には、フレームメモリ１１３に一時的に保持された過去フレーム（過去画）を出力するが、フレームメモリ１１３の内容が、現在フレーム（入力画）によって更新されないようにするために、フレームメモリ１１３の更新を停止する。
【００８４】
一方、ステップＳ２０２において、入力画に１フレーム内のフラッシュバンドがないと判定された場合、処理はステップＳ２０４に進められる。ステップＳ２０４において、フラッシュバンド補正部１１２は、フラッシュバンドの検出結果に基づいて、１Ｖ前の入力画にＦＢ終了判定がされたかどうかを判定する。すなわち、この判定処理では、入力された現在フレームが、フラッシュバンド終了後、１番目に入力されたフレームであるかどうかが判定される。
【００８５】
ステップＳ２０４において、１Ｖ前の入力画にＦＢ終了判定がされたと判定された場合、入力された現在フレームが、フラッシュバンド終了後の１フレーム目となるので、処理はステップＳ２０５に進められる。ステップＳ２０５において、フラッシュバンド補正部１１２は、入力された現在フレームを出力する。ステップＳ２０６において、フラッシュバンド補正部１１２は、フレームメモリ１１３を更新する。
【００８６】
また、ステップＳ２０４において、１Ｖ前の入力画にＦＢ終了判定がされていないと判定された場合、処理は、ステップＳ２０７に進められる。ステップＳ２０７において、フラッシュバンド補正部１１２は、フラッシュバンドの検出結果に基づいて、２Ｖ前の入力画にＦＢ終了判定がされたかどうかを判定する。すなわち、この判定処理では、入力された現在フレームが、フラッシュバンド終了後、２番目に入力されたフレームであるかどうかが判定される。
【００８７】
ステップＳ２０７において、２Ｖ前の入力画にＦＢ終了判定がされたと判定された場合、入力された現在フレームが、フラッシュバンド終了後の２フレーム目となるので、処理はステップＳ２０８に進められる。ステップＳ２０８において、フラッシュバンド補正部１１２は、過去フレーム（過去画）と、現在フレーム（入力画）とを加算平均して得られる加算フレーム（加算画）を出力する。ステップＳ２０９において、フラッシュバンド補正部１１２は、フレームメモリ１１３を更新する。
【００８８】
また、ステップＳ２０７において、２Ｖ前の入力画にＦＢ終了判定がされていないと判定された場合、処理は、ステップＳ２１０に進められる。ステップＳ２１０において、フラッシュバンド補正部１１２は、フレームメモリ１１３に保持された過去フレームを出力する。ステップＳ２１１において、フラッシュバンド補正部１１２は、フレームメモリ１１３を更新する。
【００８９】
ステップＳ２０３，Ｓ２０６，Ｓ２０９，Ｓ２１１の処理のいずれかが終了すると、処理は、図３のステップＳ５の処理に戻り、それ以降の処理が実行される。
【００９０】
以上で、シャッタ動作時のフラッシュバンド補正の説明を終了する。このシャッタ動作時のフラッシュバンド補正処理においては、入力画に１フレーム内のフラッシュバンドが検出された場合には、フレームメモリ１１３内の過去フレームが出力されるようにするとともに、フレームメモリ１１３の更新を停止する（Ｓ２０３）。その後、入力画に１フレーム内のフラッシュバンドが検出されなかった場合に、１Ｖ前の入力画にＦＢの終了判定があったときには、現在フレームが出力され（Ｓ２０５）、２Ｖ前の入力画にＦＢの終了判定があったときには、過去フレームと現在フレームの加算平均により得られる加算フレームが出力される（Ｓ２０８）。
【００９１】
（シャッタ動作時の単発１フレーム内のフラッシュバンド補正の模式図）
図７は、シャッタ動作時の単発１フレーム内のフラッシュバンド補正を模式的に示した図である。なお、図７においては、時系列に並べられた長方形のフレーム（入力画）のうち、フレーム２内でのみフラッシュバンド（フレーム上の斜線の領域）が単発で発生している例を示している。
【００９２】
図７に示すように、シャッタ動作時に、フレーム１の次に入力されるフレーム２内でフラッシュバンドが検出された場合、フレームメモリ１１３に保持されている過去フレーム１が出力される。また、このとき、フレームメモリ１１３の内容は、現在フレーム２では更新されずに、過去フレーム１がそのまま保持される。つまり、フレームメモリ１１３の更新が停止される。
【００９３】
次に、フラッシュバンドの終了後の最初の１フレーム目となるフレーム３が入力されるが、フレーム３内ではフラッシュバンドは検出されておらず、かつ、１Ｖ前にＦＢ終了判定がされていないので、フレームメモリ１１３に保持されている過去フレーム１ではなく、現在フレーム３が出力される。そして、フレームメモリ１１３の内容は、現在フレーム３の内容に更新される。つまり、フレームメモリ１１３の更新が再開される。
【００９４】
次に、フラッシュバンドの終了後の２フレーム目となるフレーム４が入力されるが、フレーム４内ではフラッシュバンドは検出されておらず、かつ、１Ｖ前にＦＢ終了判定がされているので、過去フレーム３と現在フレーム４の加算平均により得られる加算フレーム（（３＋４）／２）が出力される。これにより、同一のフレームが連続して出力されるのを防ぐことができるため、映像を滑らかに表示することができる。また、フレームメモリ１１３の内容は、現在フレーム４の内容に更新される。
【００９５】
このように、シャッタ動作時において、フラッシュバンドが検出されるフレームが連続していない、単発１フレーム内のフラッシュバンドが発生した場合に、現在フレームをフレームメモリ１１３に入れずにスルーして、フレームメモリ１１３に保持されている１フレーム遅延画が更新されないようする。その結果、フラッシュバンドが検出される前の過去フレーム（過去画）が出力されるようになるため、シャッタ動作時に、単発１フレーム内のフラッシュバンドが発生したとしても、当該フラッシュバンドを除去することができる。
【００９６】
また、単発１フレーム内のフラッシュバンド補正において、フレームメモリ１１３で保持されるフレームは、常に１フレームのみとなるため、フレームメモリ１１３には、１フレーム分の容量だけを用意すればよいことになる。すなわち、１フレーム分のフレームメモリで単発１フレーム内のフラッシュバンド補正が可能になる。なお、仮に、フレームメモリ１１３の容量を増やせば、過去のフレームにさかのぼってフラッシュバンドを除去したフレーム（ＦＢ補正画）を生成することもできるが、映像の遅延が発生する点や、ハードウェアに大きなリソースが必要となる点から、そのような構成を採用することは適切であるとは言い難い。
【００９７】
（シャッタ動作時の連続した１フレーム内のフラッシュバンド補正の模式図）
図８は、シャッタ動作時の連続した１フレーム内のフラッシュバンド補正時を模式的に示した図である。なお、図８においては、時系列に並べられた長方形のフレーム（入力画）のうち、フレーム２内とフレーム３内においてフラッシュバンド（フレーム上の斜線の領域）が連続して発生している。
【００９８】
図８に示すように、シャッタ動作時に、フレーム１の次に入力されるフレーム２内でフラッシュバンドが検出された場合、フレームメモリ１１３に保持されている過去フレーム１が出力される。また、このとき、フレームメモリ１１３の内容は、現在フレーム２では更新されずに、過去フレーム１がそのまま保持される。つまり、フレームメモリ１１３の更新が停止される。
【００９９】
次に、フレーム３が入力されるが、フレーム２に連続してフレーム３内でもフラッシュバンドが検出された場合、フレームメモリ１１３に保持されている過去フレーム１が出力される。また、このとき、フレームメモリ１１３の内容は、現在フレーム３では更新されずに、過去フレーム１がそのまま保持される。
【０１００】
次に、フラッシュバンドの終了後の最初の１フレーム目となるフレーム４が入力されるが、フレーム４内ではフラッシュバンドは検出されておらず、かつ、１Ｖ前にＦＢ終了判定がされていないので、フレームメモリ１１３に保持されている過去フレーム１ではなく、現在フレーム４が出力される。そして、フレームメモリ１１３の内容は、現在フレーム４の内容に更新される。つまり、フレームメモリ１１３の更新が再開される。
【０１０１】
次に、フラッシュバンドの終了後の２フレーム目となるフレーム５が入力されるが、フレーム５内ではフラッシュバンドは検出されておらず、かつ、１Ｖ前にＦＢ終了判定がされているので、過去フレーム４と現在フレーム５の加算平均により得られる加算フレーム（（４＋５）／２）が出力される。これにより、同一のフレームが連続して出力されるのを防ぐことができるため、映像を滑らかに表示することができる。また、フレームメモリ１１３の内容は、現在フレーム５の内容に更新される。
【０１０２】
このように、シャッタ動作時において、フラッシュバンドが検出されるフレームが連続している、連続した１フレーム内のフラッシュバンドが発生した場合に、現在フレームをフレームメモリ１１３に入れずにスルーして、フレームメモリ１１３に保持される１フレーム遅延画が更新されないようにする。その結果、フラッシュバンドが検出される前の過去フレーム（過去画）が出力されるようになるため、シャッタ動作時に、何フレームにもまたがって１フレーム内のフラッシュバンドが発生したとしても、当該フラッシュバンドを除去することができる。
【０１０３】
また、連続した１フレーム内のフラッシュバンド補正においては、上述した単発１フレーム内のフラッシュバンド補正と同様に、フレームメモリ１１３で保持されるフレームは、常に１フレームのみとなるため、フレームメモリ１１３には、１フレーム分の容量だけを用意すればよいことになる。すなわち、１フレーム分のフレームメモリで連続した１フレーム内のフラッシュバンド補正が可能になる。
【０１０４】
＜４．高度なフラッシュバンド検出処理＞
【０１０５】
ところで、通常のフラッシュバンド検出処理においては、横長の高輝度物体をフラッシュバンドとして検出している。しかしながら、通常のフラッシュバンド検出処理では、被写体のみにフラッシュが当たるような条件において、検出枠に対するフラッシュの割合が狭いため、極端に検出率が低下して、検出精度を維持することができない場合があった。
【０１０６】
そこで、このような現象を改善するために、撮像装置１が備える被写体の顔検出機能などを利用して、フラッシュバンドの検出枠（以下、「ＦＢ検出枠」という。）を被写体の位置に合わせて、ＦＢ検出枠の位置と大きさが最適な状態に設定されるようにする。これにより、被写体のみにフラッシュが当たるような場合での検出精度を維持することが可能となる。
【０１０７】
（ＦＢ検出枠の設定例）
図９及び図１０には、ＦＢ検出枠の設定例を示している。
【０１０８】
図９Ａにおいては、撮像装置１が備える顔検出機能によって、被写体である人の顔に、顔検出枠Ｆ１が設定されている。また、この顔検出機能で用いられる顔検出情報を利用して、ＦＢ検出枠Ｆ２を設定すると、図９Ｂに示すようになる。このように、ＦＢ検出枠Ｆ２を設定することで、例えば、背景にフラッシュが届かず、被写体のみにフラッシュが当たるような条件であっても、ＦＢ検出枠Ｆ２に対するフラッシュの割合は低くならないため、フラッシュバンドの検出率の低下を抑えることができる。
【０１０９】
また、図１０に示すように、被写体として複数人がいる場合においても、ＦＢ検出枠を設定することができる。例えば、図１０Ａでは、顔検出枠Ｆ１−１乃至Ｆ１−３がそれぞれ設定されている複数の人に対して、それらの人の顔検出情報に応じたＦＢ検出枠Ｆ２−１乃至Ｆ２−３がそれぞれ設定されている。また、例えば、図１０Ｂでは、顔検出枠Ｆ１−１乃至Ｆ１−３がそれぞれ設定されている複数の人に対して、それらの人の位置関係に応じた１つのＦＢ検出枠Ｆ２が設定されている。
【０１１０】
このように、被写体の位置や大きさ等に合わせて、ＦＢ検出枠Ｆ２の位置と大きさが最適な状態に設定されるため、被写体のみにフラッシュが当たるような場合での検出精度を維持することができる。また、被写体として複数人がいる場合に、複数の顔検出情報から、それぞれの人の位置ごとにＦＢ検出枠Ｆ２を設定するだけでなく、それらの人の位置関係から最適な１枠を決定するなどといった処理を行うことができる。
【０１１１】
なお、ＦＢ検出枠Ｆ２は、被写体の検出情報に応じて設定されるものであるが、被写体のみにフラッシュが当たる場合に、当該フラッシュ光によって生じるフラッシュバンドを検出できればよいのであって、その位置や大きさは任意である。また、ＦＢ検出枠Ｆ２は、顔検出情報等の被写体の検出情報に応じて、その位置や大きさを動的に変更するようにしてもよい。これにより、ＦＢ検出枠Ｆ２の位置及び大きさを、顔検出情報などに応じて動的に変更しながら、ＦＢ検出枠Ｆ２内におけるフラッシュバンドが検出されることになる。
【０１１２】
（ＦＢ検出枠によるフラッシュバンド検出処理の流れ）
次に、図１１のフローチャートを参照して、フラッシュバンド検出部１１１により実行される、ＦＢ検出枠によるフラッシュバンド検出処理について説明する。なお、このＦＢ検出枠によるフラッシュバンド検出処理は、図３のステップＳ２，Ｓ４のフラッシュバンド検出処理の代わりに実行される。
【０１１３】
ステップＳ３０１において、フラッシュバンド検出部１１１は、顔検出情報などに基づいて、ＦＢ検出枠を設定する。ここでは、例えば、図９及び図１０に示したようなＦＢ検出枠Ｆ２が設定される。
【０１１４】
ステップＳ３０２において、フラッシュバンド検出部１１１は、撮像部１１から出力される映像信号に基づいて、ステップＳ３０１の処理で設定されたＦＢ検出枠内におけるフラッシュバンドの検出を行い、その検出結果を、フラッシュバンド補正部１１２に供給する。
【０１１５】
例えば、このフラッシュバンド検出処理では、ＦＢ検出枠として、顔検出情報に応じたＦＢ検出枠と、画面全体（フレーム全体）のＦＢ検出枠の２つのＦＢ検出枠を設定して、被写体のみにフラッシュが当たる条件では、顔検出情報に応じたＦＢ検出枠内におけるフラッシュバンドの検出を行い、それ以外の条件では、画面全体のＦＢ検出枠内におけるフラッシュバンドの検出を行うことができる。なお、ここでは、顔検出情報に応じたＦＢ検出枠の代わりに、例えば、所定の領域を有するＦＢ検出枠を画面中央部に固定で設定するなどしてもよい。
【０１１６】
ステップＳ３０２の処理が終了すると、処理は、図３のステップＳ２，Ｓ４の処理に戻り、それ以降の処理が実行される。
【０１１７】
以上で、ＦＢ検出枠によるフラッシュバンド検出処理の説明を終了する。このＦＢ検出枠によるフラッシュバンド検出処理においては、被写体に応じたＦＢ検出枠を設定することで、被写体のみにフラッシュが当たるような条件でもフラッシュバンドの検出率の低下を抑えて検出精度を維持することができるため、結果として被写体のみにフラッシュが当たるような条件に対してフラッシュバンドの検出率を向上させることができる。これにより、より高度なフラッシュバンド検出を行うことができる。
【０１１８】
＜５．適応的なフラッシュバンド補正処理＞
【０１１９】
ところで、画像補正装置１０１によるフラッシュバンド処理を常に行う場合、フラッシュバンド補正が施された映像信号が、ライブ映像として出力されるか、あるいは、保存データとして記録媒体に保存されるため、後から、専用の編集装置などの大規模なリソースを使用してフラッシュバンド補正を行うことができない。そのため、フラッシュバンド補正が施される前の生データ（補正前の映像信号）を残して、後から大規模なリソースを使用してフラッシュバンド補正を行いたい、という要求があった。
【０１２０】
そこで、このような要求に応えるために、画像補正装置１０１においては、リアルタイムでのフラッシュバンド補正に対する要求が高い用途、すなわち、例えばライブ映像の映像信号を出力する場合には、フラッシュバンド補正が施された映像信号を出力する。それに対して、リアルタイムでのフラッシュバンド補正に対する要求が低い用途、すなわち、例えば、保存データを出力する場合には、フラッシュバンド補正が施されていない映像信号を出力する。このように、画像補正装置１０１では、映像信号の用途に応じて、フラッシュバンド補正の有無が適応的に切り替えられることになる。
【０１２１】
（画像補正装置の構成）
図１２は、適応的なフラッシュバンド補正を行う画像補正装置の構成例を示すブロック図である。
【０１２２】
図１２の画像補正装置１０１においては、入力される映像信号の用途がライブ映像である場合、フラッシュバンド検出部１１１によりフラッシュバンドが検出されたときに、フラッシュバンド補正部１１２によって、フラッシュバンド補正が行われる。フラッシュバンド補正部１１２により補正された映像信号（ＦＢ補正画）は、ＦＢ補正画出力部１１５によってライブ映像として出力される。
【０１２３】
すなわち、この場合には、例えば、上述した図６乃至図８を参照して説明したフラッシュバンド補正処理などが行われる。
【０１２４】
また、図１２の画像補正装置１０１においては、入力される映像信号の用途が保存データである場合、フラッシュバンド検出部１１１によるフラッシュバンドの検出の有無に関係なく、フラッシュバンド補正部１１２によるフラッシュバンド補正は行われない。フラッシュバンド検出部１１１から出力される映像信号（ＦＢ未補正画）は、ＦＢ未補正画出力部１１６によって保存データとして、メモリカード２０１等の記録媒体に記録される。なお、メモリカード２０１には、後の編集作業等で用いられるメタデータを、保存データ等とともに記録することができる。また、ＦＢ未補正画は、ビューファインダ用データとして用いることができる。
【０１２５】
なお、図１２の画像補正装置１０１において、保存データ等の用途となる映像信号（ＦＢ未補正画）は、フラッシュバンド検出部１１１を介して、メモリカード２０１に供給されるが、フラッシュバンド検出部１１１を介さずに直接、メモリカード２０１に供給されるようにしてもよい。
【０１２６】
（具体的な運用例）
図１３は、適応的なフラッシュバンド補正の具体的な運用例を示す図である。
【０１２７】
図１３に示すように、撮像装置１は、画像補正装置１０１（図１２）を内部に備えており、ライブ映像を出力する場合には、撮影した映像信号に対するフラッシュバンド処理（図３）を行い、フラッシュバンドが検出された場合には、フラッシュバンド補正が施された映像信号（ＦＢ補正画）を出力する。撮像装置１からライブ映像として出力される映像信号は、放送局などに設けられた送信装置３０１によって送信され、テレビ受像機などの受信装置３０２によって受信される。これにより、受信装置３０２では、撮像装置１からのライブ映像が表示されるが、その映像は、フラッシュバンド補正が施されたＦＢ補正画となる。
【０１２８】
また、図１３に示すように、撮像装置１は、保存データを出力する場合には、撮影した映像信号に対するフラッシュバンド処理（図３）を行わずに、フラッシュバンド補正が施されていない映像信号（ＦＢ未補正画）をメモリカード２０１に記録する。その後、編集装置３０３においては、このメモリカード２０１が装着され、そこから、フラッシュバンド補正が施されていない映像信号（ＦＢ未補正画）が読み出され、内蔵するHDD(Hard Disk Drive)などに記録される。編集装置３０３は、高性能のCPU(Central Processing Unit)や大容量のフレームメモリなどの大規模なリソースを有しており、メモリカード２０１から取得した映像信号（ＦＢ未補正画）に対して、その大規模なリソースを使用して、フラッシュバンド補正を行うことができる。
【０１２９】
例えば、編集装置３０３では、３フレーム以上にまたがるフラッシュバンドが生じている場合に、大容量のフレームメモリを用いることができるため、フラッシュバンド補正の補正精度を向上させることができる。また、例えば、編集装置３０３では、シャッタ動作時にフラッシュが検出された場合には、画面全体にフラッシュが当たったように補正するなど、大規模なリソースを用いなければ処理ができないような品質の高い補正を行うことが可能となる。さらに、不完全なフラッシュバンド補正によって、後段の処理時に検出率が低下することを防止することができる。
【０１３０】
なお、上述したように、メモリカード２０１には、保存データとともに、メタデータを記録することができるが、このメタデータに、画像補正装置１０１のフラッシュバンド検出部１１１により検出されたフラッシュバンドの検出情報を含ませることで、例えば、ライブ映像として配信された映像信号（ＦＢ補正画）との比較などを行うことができる。また、各種のメタデータを使用することによる編集作業の時間短縮なども期待される。
【０１３１】
また、上述した説明では、フラッシュバンド補正が施されていない映像信号（ＦＢ未補正画）は、メモリカード２０１等の記録媒体を介して、撮像装置１から編集装置３０３に送られるとして説明したが、撮像装置１と編集装置３０３が、インターネット等のネットワークを介して接続可能であれば、ネットワークを介して送信するようにしてもよい。
【０１３２】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【０１３３】
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等よりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや記録部等で構成される。
【０１３４】
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１３５】
なお、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３６】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３７】
なお、本技術は、以下のような構成をとることができる。
【０１３８】
（１）
ローリングシャッタ方式の撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドを検出するフラッシュバンド検出部と、
前記撮像素子を有する撮像装置においてシャッタ動作が行われたかどうかを判定するシャッタ動作判定部と、
前記シャッタ動作判定部でシャッタ動作が行われたと判定され、かつ、前記フラッシュバンド検出部において前記フラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力するフラッシュバンド補正部と
を備える画像補正装置。
（２）
前記フラッシュバンド補正部は、前記フラッシュバンドの終了直後に出力する第１のフレームでは、前記撮像素子がフラッシュバンド終了直後に出力するフレームの映像信号を出力し、前記第１のフレームの次に出力する第２のフレームでは、前記フラッシュバンド終了直後のフレームの映像信号と、前記撮像素子が前記フラッシュバンド終了直後のフレームの次に出力するフレームの映像信号に基づいて出力された映像信号を出力する
（１）に記載の画像補正装置。
（３）
前記フラッシュバンド補正部は、前記シャッタ動作判定部でシャッタ動作が行われていないと判定され、かつ、前記フラッシュバンド検出部において前記フラッシュバンドが検出された場合に、前記フラッシュバンド検出直後に出力する第１のフレームでは、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力し、前記第１のフレームの次に出力する第２のフレームでは、前記フラッシュバンドが検出されたフレームの映像信号と、前記フラッシュバンドが検出されたフレームの次に前記撮像素子が出力するフレームの映像信号に基づいて算出された映像信号を出力する
（１）又は（２）に記載の画像補正装置。
（４）
前記フラッシュバンド検出部は、前記フラッシュバンドを検出するための枠を複数設定する
（１）乃至（３）のいずれか一項に記載の画像補正装置。
（５）
前記フラッシュバンド検出部は、前記フラッシュバンドを検出するための枠の設定を動的に変化させる
（１）乃至（３）のいずれか一項に記載の画像補正装置。
（６）
前記フラッシュバンド検出部は、前記撮像装置における被写体の検出情報に応じて、前記フラッシュバンドを検出するための枠の設定を変化させる
（５）のいずれか一項に記載の画像補正装置。
（７）
前記被写体の検出情報は、前記被写体の顔検出情報である
（６）に記載の画像補正装置。
（８）
前記フラッシュバンド補正部は、前記映像信号の用途に応じて、前記フラッシュバンドの補正の有無を切り替える
（１）乃至（７）のいずれか一項に記載の画像補正装置。
（９）
前記フラッシュバンド補正部により補正されていない映像信号を記録媒体へ出力する記録用出力部を
さらに備える（１）乃至（８）のいずれか一項に記載の画像補正装置。
（１０）
ローリングシャッタ方式の撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドを検出し、
前記撮像素子を有する撮像装置においてシャッタ動作が行われたかどうかを判定し、
前記シャッタ動作が行われたと判定され、かつ、前記フラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力する
ステップを含む画像補正方法。
（１１）
ローリングシャッタ方式の撮像素子を有する撮像部と、
前記撮像素子に含まれる画素がフレームごとに出力する映像信号のライン毎の露光時間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ラインごとのレベルの段差であるフラッシュバンドを検出するフラッシュバンド検出部と、前記フラッシュバンドを補正するフラッシュバンド補正部とを有する映像信号処理回路と
を備え、
前記フラッシュバンド補正部は、前記撮像部でシャッタ動作が行われ、かつ、前記フラッシュバンド検出部において前記フラッシュバンドが検出された場合に、前記フラッシュバンドが検出されたフレームより前に前記撮像素子から出力された過去のフレームの映像信号を出力する
撮像装置。
（１２）
前記フラッシュバンド補正部により補正された映像信号を出力する第１の出力部と、
前記フラッシュバンド補正部により補正されていない映像信号をする第２の出力部と
をさらに備える（１１）に記載の撮像装置。
【符号の説明】
【０１３９】
１  撮像装置，  １１  撮像部，  １２  映像信号処理回路，  ２２  撮像素子，  ３１  撮像系補正部，  １０１  画像補正装置，  １１１  フラッシュバンド検出部，  １１２  フラッシュバンド補正部，  １１３  フレームメモリ，  １１４  シャッタ動作判定部，  １１５  ＦＢ補正画出力部，  １１６  ＦＢ未補正画出力部，  ２０１  メモリカード，  Ｆ１，Ｆ１−１乃至Ｆ１−３  顔検出枠，  Ｆ２，Ｆ２−１乃至Ｆ２−３  ＦＢ検出枠
【図１】
2015149691.tif 000003
【図２】
2015149691.tif 000004
【図３】
2015149691.tif 000005
【図４】
2015149691.tif 000006
【図５】
2015149691.tif 000007
【図６】
2015149691.tif 000008
【図７】
2015149691.tif 000009
【図８】
2015149691.tif 000010
【図９】
2015149691.tif 000011
【図１０】
2015149691.tif 000012
【図１１】
2015149691.tif 000013
【図１２】
2015149691.tif 000014
【図１３】
2015149691.tif 000015