(57)【要約】【課題】１フレームの露光期間内に複数回の閃光発光があった場合のフラッシュバンドを精度よく検出する。【解決手段】撮像装置１００は、ＣＭＯＳセンサ１０２から読み出されたフレームの１ラインごとの輝度積算値をフレームごとに算出する積算値算出回路１０４、輝度積算値のフレーム間差分値を算出する第１差分値算出回路１０５、フレーム間差分値の隣接するライン間でのライン間差分値を算出する第２差分値算出回路１０６、フラッシュバンドを検出するフラッシュバンド検出回路１０７を備え、フレーム間差分値が第１の判定閾値δよりも大きいか否かによりフラッシュバンドの発生を検出し、フレーム間差分値が連続的に第１の判定閾値δよりも大きくなっている状態ではライン間差分値の正負とその絶対値が第２の判定閾値εよりも大きいか否かによりフラッシュバンドを検出する。【選択図】図１
2018042088.tif 000002
【特許請求の範囲】
【請求項１】
ローリングシャッタ方式の撮像素子と、
前記撮像素子から読み出されたフレームの１ラインごとの輝度積算値を前記フレームごとに算出する積算値算出手段と、
前記積算値算出手段により生成された１ラインごとの輝度積算値のフレーム間における差分値をフレーム間差分値としてラインごとに算出する第１差分値算出手段と、
前記第１差分値算出手段により生成されたフレーム間差分値の隣接するライン間での差分値をライン間差分値として算出する第２差分値算出手段と、
前記フレーム間差分値と前記ライン間差分値を用いて、前記撮像素子から読み出されたフレームに発生しているフラッシュバンドを検出する検出手段と、を備え、
前記検出手段は、前記フレーム間差分値が第１の判定閾値よりも大きくなったラインでフラッシュバンドが発生し、前記フレーム間差分値が第１の判定閾値よりも小さくなったラインでフラッシュバンドが終了したと判定し、前記フレーム間差分値が前記第１の判定閾値を連続的に超えている期間は、前記ライン間差分値が第２の判定閾値よりも大きくなったラインでフラッシュバンドが発生し、前記ライン間差分値が負の値を取ってその絶対値が前記第２の判定閾値よりも大きくなったラインでフラッシュバンドが終了したと判定することを特徴とする撮像装置。
【請求項２】
前記第１の判定閾値として、フラッシュバンドが発生したラインの検出に用いる値とフラッシュバンドが終了したラインの検出に用いる値とで異なる値が用いられることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の判定閾値の前記フラッシュバンドが終了したラインの検出に用いる値は、最初のフラッシュバンドが発生したラインでのフレーム間差分値の変化量に基づいて設定されることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２の判定閾値として、フラッシュバンドが発生したラインの検出に用いる値とフラッシュバンドが終了したラインの検出に用いる値とで異なる値が用いられることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記第２の判定閾値の前記フラッシュバンドが終了したラインの検出に用いる値は、前記フレーム間差分値が前記第１の判定閾値を連続的に超えている期間に発生したフラッシュバンドの開始ラインでのライン間差分値の変化量に基づいて設定されることを特徴とする請求項４に記載の撮像装置。
【請求項６】
ローリングシャッタ方式の撮像素子を備える撮像装置の制御方法であって、
前記撮像素子から読み出されたフレームの１ラインごとの輝度積算値を前記フレームごとに算出するステップと、
前記算出された１ラインごとの輝度積算値のフレーム間における差分値をフレーム間差分値としてラインごとに算出するステップと、
前記算出されたフレーム間差分値の隣接するライン間での差分値をライン間差分値として算出するステップと、
前記フレーム間差分値と前記ライン間差分値を用いて、前記撮像素子から読み出されたフレームに発生しているフラッシュバンドを検出するステップと、を有し、
前記フラッシュバンドを検出するステップでは、前記フレーム間差分値が第１の判定閾値よりも大きくなったラインでフラッシュバンドが発生し、前記フレーム間差分値が第１の判定閾値よりも小さくなったラインでフラッシュバンドが終了したと判定し、前記フレーム間差分値が前記第１の判定閾値を連続的に超えている期間は、前記ライン間差分値が第２の判定閾値よりも大きくなったラインでフラッシュバンドが発生し、前記ライン間差分値が負の値を取ってその絶対値が前記第２の判定閾値よりも大きくなったラインでフラッシュバンドが終了したと判定することを特徴とする撮像装置の制御方法。
【請求項７】
コンピュータを請求項１に記載の撮像装置の各手段として機能させることを特徴とするプログラム。
【請求項８】
記憶媒体に格納され、ローリングシャッタ方式の撮像素子から読み出されたフレームからなる映像データを前記記憶媒体から読み出す読み出し手段と、
前記フレームの１ラインごとの輝度積算値を前記フレームごとに算出する積算値算出手段と、
前記積算値算出手段により生成された１ラインごとの輝度積算値のフレーム間における差分値をフレーム間差分値としてラインごとに算出する第１差分値算出手段と、
前記第１差分値算出手段により生成されたフレーム間差分値の隣接するライン間での差分値をライン間差分値として算出する第２差分値算出手段と、
前記フレーム間差分値と前記ライン間差分値を用いて前記映像データを構成するフレームに発生しているフラッシュバンドを検出する検出手段と、を備え、
前記検出手段は、前記フレーム間差分値が第１の判定閾値よりも大きくなったラインでフラッシュバンドが発生し、前記フレーム間差分値が第１の判定閾値よりも小さくなったラインでフラッシュバンドが終了したと判定し、前記フレーム間差分値が前記第１の判定閾値を連続的に超えている期間は、前記ライン間差分値が第２の判定閾値よりも大きくなったラインでフラッシュバンドが発生し、前記ライン間差分値が負の値を取ってその絶対値が前記第２の判定閾値よりも大きくなったラインでフラッシュバンドが終了したと判定することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ローリングシャッタ方式の撮像素子を備える撮像装置により取得された映像信号を構成するフレームからフラッシュバンドを正確に検出するための技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置を用いて撮影を行う際に、他者によってストロボ装置等によるストロボ装置による閃光（フラッシュ）発光が行われることがある。このとき、閃光の発光期間に露光が行われたフレームが意図しない明るさの映像信号となってしまうことで、映像品質が低下するという問題が生じる。特に、ＣＭＯＳイメージセンサに代表されるローリングシャッタ方式の撮像素子を用いて撮影を行った場合、映像信号に帯状の明るさの異なる段差（所謂、フラッシュバンド）が発生する。このフラッシュバンドは、複数のフレームに跨がることもあるため、映像品質を著しく低下させてしまう。
【０００３】
そこで、フラッシュバンドを検出するための技術が、例えば、特許文献１に提案されている。特許文献１に記載された技術では、まず、各フレームに対して水平ラインごとの輝度成分の積算値（輝度積算値）を取得する。そして、走査方向に対して輝度積算値が低輝度状態から高輝度状態へ推移したライン位置と、次のフレームにおいて、輝度積算値が高輝度状態から低輝度状態へ推移したライン位置を検出する。こうして検出したライン位置がほぼ１フレーム分の期間である場合には、他者の発光によるフラッシュバンドが発生したと判定する。このような検出方法を行うことで、他者のストロボ装置等からの閃光発光に起因するフラッシュバンドを容易に検出することができるため、フラッシュバンドを画像処理等により補正することにより映像品質の低下を回避することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４８８５９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載された技術は、他者による閃光発光が１フレームの露光期間内において１回のみ行われた場合を想定しており、複数回の閃光発光が行われた場合について考慮されていない。そのため、例えば、１回目の閃光発光があった場合に低輝度状態から高輝度状態に遷移したライン位置Ｐ１を記憶した直後に同じフレーム内で２回目の閃光発光が行われた場合に、フラッシュバンドを正確に検出することができない。これは、以下の理由による。すなわち、フラッシュバンドが発生したフレームの次のフレームでの１回目の閃光発光に起因して高輝度状態から低輝度状態に遷移するライン位置では、２回目の閃光発光による輝度上昇が発生している。そのため、１回目の閃光発光に起因して高輝度状態から低輝度状態に遷移するライン位置が、２回目の閃光発光に起因して高輝度状態から低輝度状態に遷移するライン位置へとシフトしてしまう。よって、フラッシュバンドを正確に検出することができず、補正も適切に行うことが容易でなくなる。
【０００６】
また、上記特許文献１に記載された技術では、低輝度状態と高輝度状態の間で遷移が生じたラインの位置のみを比較してフラッシュバンドであるか否かを判定しているために、被写体や撮影方法によって誤検出が発生することがある。例えば、画面内の複数の位置で高輝度光源が明滅したことやパンニング等により高輝度光源のライン位置が変化したことで輝度状態の遷移が発生した場合に誤検出が生じるおそれがある。
【０００７】
本発明は、１フレームの露光期間内に複数回の閃光発光があった場合でも、フラッシュバンドを精度よく検出することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、ローリングシャッタ方式の撮像素子と、前記撮像素子から読み出されたフレームの１ラインごとの輝度積算値を前記フレームごとに算出する積算値算出手段と、前記積算値算出手段により生成された１ラインごとの輝度積算値のフレーム間における差分値をフレーム間差分値としてラインごとに算出する第１差分値算出手段と、前記第１差分値算出手段により生成されたフレーム間差分値の隣接するライン間での差分値をライン間差分値として算出する第２差分値算出手段と、前記フレーム間差分値と前記ライン間差分値を用いて、前記撮像素子から読み出されたフレームに発生しているフラッシュバンドを検出する検出手段と、を備え、前記検出手段は、前記フレーム間差分値が第１の判定閾値よりも大きくなったラインでフラッシュバンドが発生し、前記フレーム間差分値が第１の判定閾値よりも小さくなったラインでフラッシュバンドが終了したと判定し、前記フレーム間差分値が前記第１の判定閾値を連続的に超えている期間は、前記ライン間差分値が第２の判定閾値よりも大きくなったラインでフラッシュバンドが発生し、前記ライン間差分値が負の値を取ってその絶対値が前記第２の判定閾値よりも大きくなったラインでフラッシュバンドが終了したと判定することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、１フレームの露光期間内に複数回の閃光発光があった場合でもフラッシュバンドを精度よく検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】撮像装置によるフラッシュバンドの検出方法を説明する模式図である。
【図３】図２中のフレームの輝度積算値を説明するグラフである。
【図４】図２中の差分画像に対応するフレーム間差分値を説明するグラフである。
【図５】１フレーム内に２回の閃光発光があった場合に取得されるフレームと差分画像を模式的に表す図である。
【図６】図５中の差分画像に対応するフレーム間差分値を説明するグラフである。
【図７】図５中の差分画像に対応する別のフレーム間差分値を説明するグラフである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、レンズ１０１、ＣＭＯＳセンサ１０２、画像処理部１０３、記憶部１０９、判定閾値記憶部１１０、メモリ１１１及びシステム制御部１１２を備える。画像処理部１０３は、積算値算出回路１０４、第１差分値算出回路１０５、第２差分値算出回路１０６、フラッシュバンド検出回路１０７及び本画像処理回路１０８を備える。
【００１２】
レンズ１０１は、被写体からの光をＣＭＯＳセンサ１０２の撮像面上に結像させる撮像光学系を構成する要素の１つである。なお、不図示であるが、撮像光学系は、レンズ１０１のみならず、絞りやＮＤフィルタ等を備えることができる。ＣＭＯＳセンサ１０２は、ライン（水平ラインを指す。以下、同様とする）ごとに順次、リセット、露光、読み出しの動作を行う、所謂、ローリングシャッタ方式の撮像素子である。本実施形態では、ＣＭＯＳセンサ１０２は、Ａ／Ｄ変換回路を備えているものとする。よって、ＣＭＯＳセンサ１０２は、画素ごとに光電変換を行うことにより、撮像面上に結像した被写体の光学像から電圧値からなるアナログ電気信号を生成し、生成したアナログ電気信号をＡ／Ｄ変換することによりデジタル画像信号を生成する。ＣＭＯＳセンサ１０２は、生成したデジタル画像信号を画像処理部１０３へ出力する。
【００１３】
画像処理部１０３は、ＣＭＯＳセンサ１０２から取得したデジタル画像信号に対して種々の画像処理を施すことで、画像データ（映像データ）を生成する。具体的には、本画像処理回路１０８は、ゲイン処理、ガンマ処理、現像処理等の基本的な画像処理を行う。積算値算出回路１０４は、ＣＭＯＳセンサ１０２から読み出されたフレームの１ラインごとの輝度積算値をフレームごとに算出する。第１差分値算出回路１０５は、積算値算出回路１０４で生成された輝度積算値に基づき、前後のフレーム間における差分値（以下「フレーム間差分値」という）を１ラインごとに算出する。第２差分値算出回路１０６は、第１差分値算出回路１０５により１ラインごとに算出されたフレーム間差分値の隣接するライン間の差分値（以下「ライン間差分値」という）を算出する。
【００１４】
フラッシュバンド検出回路１０７は、フレーム間差分値に関する情報と、ライン間差分値に関する情報と、判定閾値記憶部１１０に記憶されている判定閾値に関する情報に基づき、フラッシュバンドの発生の有無を検出する。なお、フラッシュバンドの検出方法の詳細については後述する。画像処理部１０３は、最終的な画像処理を行うことによって生成した画像データを記憶部１０９へ出力する。記憶部１０９は、画像データを記憶する記憶媒体であり、例えば、ハードディスク、メモリカード等の半導体記憶装置、光学ディスク等であるが、画像データを記憶することができるものであればよく、特に限定されるものではない。
【００１５】
判定閾値記憶部１１０は、フラッシュバンドの発生の有無を判定するための閾値である判定閾値（第１の判定閾値δ、第２の判定閾値ε）を記憶しており、例えば、不揮発性のフラッシュＲＯＭ等を用いることができる。メモリ１１１は、フラッシュバンドの検出を目的とした各種演算を行う際に必要となるデジタル画像信号を一時的に記憶するためのフレームバッファメモリ機能や、演算結果を一時的に記憶する機能を有する。また、メモリ１１１には、判定閾値記憶部１１０が記憶されている判定閾値が一時的に格納され、メモリ１１１に格納された判定閾値は、フラッシュバンドの検出を目的とした各種演算の際に必要に応じてメモリ１１１から読み出される。システム制御部１１２は、ＣＰＵやＲＯＭ、ＲＡＭ等を備えており、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開し、撮像装置１００を構成する各部の動作を制御することで、撮像装置１００の全体的制御が実現される。例えば、システム制御部１１２は、判定閾値記憶部１１０から読み出した判定閾値をメモリ１１１に一時的に格納し、フラッシュバンドの検出を目的とした各種演算を行う際の演算結果のメモリ１１１に対する書き込みと読み出しを行う。また、システム制御部１１２は、ＣＭＯＳセンサ１０２の動作制御や画像処理部１０３に対する各種画像処理の実行を指示する。
【００１６】
なお、システム制御部１１２は、撮像装置１００を構成する各部の処理の全部又は一部を論理回路により実現するＡＳＩＣ等の専用プロセッサであってもよい。また、画像処理部１０３についても同様に、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組合せによって実装されていてもよい。
【００１７】
次に、フラッシュバンド検出回路１０７によるフラッシュバンドの検出方法について説明する。図２は、フラッシュバンドの検出方法を説明する模式図である。ここでは、フレーム２，３の露光期間内に１回の閃光発光があった場合を取り上げる。図２上段の４つのフレーム（画像）は、ＣＭＯＳセンサ１０２から画像処理部１０３に入力される映像信号を表しており、左から順に並べられたフレーム１、フレーム２、フレーム３、フレーム４はこの順序で取得される。各フレームに対して、積算値算出回路１０４により１ラインごとに輝度積算値が算出される。図３は、フレーム１〜４の輝度積算値を説明するグラフであり、横軸にはラインの垂直方向での位置が取られており、縦軸には輝度積算値が取られている。フレーム１とフレーム４にはフラッシュバンドは発生しておらず、フレーム２のラインαから最終ラインまでの領域と、フレーム３の開始ラインからラインα−１までの領域は、フラッシュバンドによる輝度上昇が発生していることがわかる。
【００１８】
第１差分値算出回路１０５は、フレーム１〜４のそれぞれの輝度積算値に基づき、フレーム間差分値を算出する。図２下段にある差分画像１は、フレーム１，２間のフレーム間差分値の算出結果を模式的に表している。フレーム１，２間のフレーム間差分値は、フレーム２の輝度積算値からフレーム１の輝度積算値を１ラインごとに差し引くことにより求められる。同様に、差分画像２は、フレーム３の輝度積算値からフレーム２の輝度積算値を１ラインごとに差し引くことにより求めた、フレーム２，３間のフレーム間差分値を模式的に表している。差分画像３は、フレーム４の輝度積算値からフレーム３の輝度積算値を１ラインごとに差し引くことにより求めた、フレーム３，４間のフレーム間差分値を模式的に表している。差分画像１〜３は、フレーム間での閃光（フラッシュ発光）に起因する輝度変化分のみが抽出された結果を示している。
【００１９】
図４は、差分画像１〜３のそれぞれに対応するフレーム間差分値を説明するグラフであり、横軸には垂直方向のライン位置が取られており、縦軸にはフレーム間差分値が取られている。図４（ａ）は、差分画像１に対応するフレーム間差分値を示しており、フレーム１に対するフレーム２のラインごとの輝度変化を表している。図４（ａ）から、ラインαより前はフラッシュバンドが発生していないため、フレーム間差分値はほぼゼロ（０）となるが、ラインα以降は、フラッシュバンドによる輝度上昇分だけ、フレーム間差分値が大きくなっていることがわかる。
【００２０】
図４（ｂ）は、差分画像２に対応するフレーム間差分値を示しており、フレーム２に対するフレーム３の１ラインごとの輝度変化を表している。図４（ｂ）から、開始ラインからラインα−１までは、フラッシュバンドによる輝度上昇分だけ、フレーム間差分値は正の値を取る。一方、ラインα以降では、フレーム間差分値は、輝度上昇分の約２倍分だけ低下するため、負の値を取ることがわかる。
【００２１】
図４（ｃ）は、差分画像３に対応するフレーム間差分値を示しており、フレーム３に対するフレーム４の１ラインごとの輝度変化を表している。図４（ｃ）から、フレーム間差分値は、開始ラインからラインα−１までは、輝度上昇分の約２倍分だけ低下するために負の値を取ることがわかる。一方、ラインα以降はフラッシュバンドが発生していないため、フレーム間差分値はほぼゼロ（０）となることがわかる。
【００２２】
低輝度状態と高輝度状態との間で遷移が生じた際の１ラインの位置のみを比較してフラッシュバンドを検出する方法では誤検出が発生しやすいが、上述の通りにフレーム間差分値を用いてフラッシュバンドを検出することによって誤検出を防止することができる。フラッシュバンドが発生した際には、ＣＭＯＳセンサ１０２のすべてのラインにおいて輝度上昇が発生する。そのため、すべてのラインのフレーム間差分値が判定閾値記憶部１１０に格納されている第１の判定閾値δより大きく、且つ、フラッシュバンドが発生している期間が１フレーム期間であることを判定基準とする。そして、この判定基準が満たされたときに、フラッシュバンドが発生していたと判定することで、高い精度でフラッシュバンドを検出することができる。
【００２３】
しかし、１フレームの露光期間内に複数回の閃光発光があった場合には、上記判定基準を用いたフラッシュバンドの検出方法では、フラッシュバンドの発生を検出することができなくなる。その理由について図５乃至図７を参照して説明する。
【００２４】
図５は、１フレームの露光期間内に２回の閃光発光があった場合に取得されるフレームと差分画像を模式的に表す図である。図５上段の左から順に並べられたフレーム１１、フレーム１２、フレーム１３、フレーム１４はこの順序で取得されるものとする。図５下段の差分画像１１はフレーム１１とフレーム１２の差分画像であり、差分画像１２はフレーム１２とフレーム１３の差分画像であり、差分画像１３はフレーム１３とフレーム１４の差分画像である。
【００２５】
フレーム１２のラインβで１回目の閃光発光があり、フレーム１２のラインγで２回目の閃光発光があったものとする。このようなタイミングの異なる２回の閃光発光に起因して、フレーム１２，１３のそれぞれに、輝度の異なる３つの領域Ａ，Ｂ，Ｃが生じている。領域Ａは１行目のライン１からラインβ−１までの領域であり、領域Ｂはラインβからラインγ−１までの領域であり、領域Ｃはラインγから最終ラインまでの領域である。１回目の閃光発光による輝度レベルの上昇はフレーム１２のラインβからフレーム１３のラインβ−１まで続いており、２回目の閃光発光による輝度レベルの上昇はフレーム１２のラインγからフレーム１３のラインγ−１まで続いている。
【００２６】
図６は、差分画像１１，１２のそれぞれに対応するフレーム間差分値を説明するグラフであり、横軸には垂直方向のライン位置が取られており、縦軸にはフレーム間差分値が取られている。図６（ａ）は、差分画像１１に対応するフレーム間差分値を示しており、フレーム１１に対するフレーム１２の１ラインごとの輝度変化を表している。図６（ｂ）は、差分画像１２に対応するフレーム間差分値を示しており、フレーム１２に対するフレーム１３の１ラインごとの輝度変化を表している。ここでは、１回目と２回目のそれぞれの閃光発光での輝度レベルの上昇は共に１００ＬＳＢであり、第１の判定閾値δは５０ＬＳＢであるとする。
【００２７】
フレーム１２の領域Ａには閃光による輝度上昇は発生していないため、図６（ａ）に示すように、差分画像１１の領域Ａではフレーム間差分値はほぼ０ＬＳＢとなっている。差分画像１１の領域Ｂでは、１回目の閃光発光によりフレーム間差分値は１００ＬＳＢとなっている。よって、第１の判定閾値δとの比較により、フレーム１２の領域Ｂにフラッシュバンドが発生していると判定される。差分画像１１の領域Ｃでは、１回目と２回目の両方の閃光発光によりフレーム間差分値が２００ＬＳＢとなっているため、フレーム１２の領域Ｃもフラッシュバンドが発生していると判定される。但し、領域Ｂの開始ラインであるラインβから引き続いてフラッシュバンドが発生していると判定されるため、２回目の閃光発光の開始位置であるラインγは検出されない。
【００２８】
図６（ｂ）に示すように、差分画像１２の領域Ａでは、１回目と２回目の両方向の閃光発光による輝度上昇が引き続き発生しており、フレーム間差分値が２００ＬＳＢとなっている。その結果、フレーム１３の領域Ａでは、第１の判定閾値δとの比較により、フラッシュバンドが発生していると判定される。フレーム１３の領域Ｂでは２回目の閃光発光による輝度上昇が引き続き発生しているが、１回目の閃光発光による輝度上昇は終了している。一方、フレーム１２の領域Ｂでは、１回目の閃光発光のみにより輝度が上昇している。よって、フレーム１２の領域Ｂとフレーム１３の領域Ｂとでは同じ輝度となるため、差分画像１２の領域Ｂでは、フレーム間差分値は０ＬＳＢとなる。また、フレーム１２のラインβからフレーム１３のラインβ−１までは、１フレーム期間である。よって、フレーム１３において、領域Ａの終了ラインであるラインβ−１までフラッシュバンドが発生していると判定され、領域Ｂについてはフラッシュバンドが発生していないと判定されることになる。したがって、このままでは、フレーム１３の領域Ｂにフラッシュバンドが発生していること（２回目の閃光発光の終了位置であるラインγ−１）を検出することができない。
【００２９】
図７は、差分画像１１，１２のそれぞれに対応する別のフレーム間差分値を説明するグラフである。図７（ａ）は、差分画像１１に対応するフレーム間差分値を示しており、図６（ｂ）は、差分画像１２に対応するフレーム間差分値を示している。ここでは、１回目の閃光発光での輝度レベルの上昇は１００ＬＳＢであり、２回目の閃光発光での輝度レベルの上昇は２００ＬＳＢであり、第１の判定閾値δは５０ＬＳＢであるとする。
【００３０】
フレーム１２の領域Ａには閃光による輝度上昇は発生していないため、図７（ａ）に示すように、差分画像１１の領域Ａではフレーム間差分値はほぼ０ＬＳＢとなっている。差分画像１１の領域Ｂでは、１回目の閃光発光により、フレーム間差分値は１００ＬＳＢとなっている。よって、第１の判定閾値δとの比較により、フレーム１２の領域Ｂにフラッシュバンドが発生していると判定される。差分画像１１の領域Ｃでは、１回目と２回目の両方の閃光発光によりフレーム間差分値が３００ＬＳＢとなっているため、フレーム１２の領域Ｃもフラッシュバンドが発生していると判定される。つまり、フレーム１２では、領域Ｂの開始ラインであるラインβから引き続いてフラッシュバンドが発生していると判定される。
【００３１】
図７（ｂ）に示すように、差分画像１２の領域Ａでは、１回目と２回目の両方向の閃光発光による輝度上昇が引き続き発生しており、フレーム間差分値が３００ＬＳＢとなっている。そのため、第１の判定閾値δとの比較により、フレーム１３の領域Ａには、フラッシュバンドが発生していると判定される。差分画像１２の領域Ｂでは、２回目の閃光発光に起因するフレーム１３の２００ＬＳＢからフレーム１２の１回目の閃光発光に起因する１００ＬＳＢが差し引かれるため、フレーム間差分値は１００ＬＳＢとなる。その結果、フレーム１３の領域Ｂも、フラッシュバンドが発生していると判定される。差分画像１２の領域Ｃではフレーム間差分値が−３００ＬＳＢとなるため、フレーム１３の領域Ｃにはフラッシュバンドが発生していないと判定され、その結果、フラッシュバンドの終了ラインとしてラインγ−１が検出される。
【００３２】
しかし、前述の通り、フラッシュバンドが発生している期間が１フレーム期間であることが、フラッシュバンドが発生していると判定する基準の１つとなっている。これに対して、フレーム間差分値に基づいてフラッシュバンドが発生していると判定された範囲であるフレーム１２の領域Ｂの開始ライン（ラインβ）からフレーム１３の領域Ｂの終了ライン（ラインγ−１）までの範囲は、１フレーム期間を超えている。その結果、最終的に、フレーム１２，１３のすべての領域においてフラッシュバンドは発生していないと判定されることになってしまう。このように、フレーム間差分値を用いてフラッシュバンドの検出を行う場合、１フレームの露光期間内に複数回の閃光発光があると、フラッシュバンドを検出することができなくなる。
【００３３】
１フレームの露光期間内に複数回の閃光発光があった場合の上述の問題を回避するために、本実施形態では、１回目のフラッシュバンドが検出された後には、ライン間差分値を比較することにより２回目以降の閃光発光に起因するフラッシュバンドの検出を行う。このような１フレームの露光期間内に複数回の閃光発光が行われた場合におけるフラッシュバンドの検出法について、２回の閃光発光があった図５のフレーム１１〜１４でのフレーム間差分値が図７を参照して説明した条件であった場合について説明する。
【００３４】
フラッシュバンド検出回路１０７は、フレーム１１について、不図示のフレーム１０とフレーム１１の間のフレーム間差分値が第１の判定閾値δよりも大きいか否かを１ラインごとに判定する。フレーム１１の露光期間中に閃光は発生しておらず、よって、フラッシュバンドが発生していると判定されることはない。
【００３５】
続いて、フラッシュバンド検出回路１０７は、フレーム１１，１２間のフレーム間差分値が第１の判定閾値δよりも大きいか否かを１ラインごとに判定する。フレーム１２の領域Ａは、その露光期間に閃光は発生していないため、フラッシュバンドが発生していると判定されることはない。差分画像１１の領域Ｂの開始ライン（ラインβ）では、フレーム間差分値は１００ＬＳＢとなって第１の判定閾値δより大きくなるため（図７（ａ）参照）、フレーム１２のラインβでフラッシュバンドが発生していると判定される。そこで、フラッシュバンド検出回路１０７は、最初（１回目）のフラッシュバンドの発生ラインとしてラインβをメモリ１１１に記憶させる。
【００３６】
フラッシュバンド検出回路１０７は、引き続き、ラインβ＋１以降のフレーム間差分値が第１の判定閾値δよりも大きいか否かを判定する。そして、フラッシュバンド検出回路１０７は、フレーム間差分値が第１の判定閾値δよりも大きいと判定した場合に更に、ライン間差分値の絶対値が第２の判定閾値εよりも大きいか否かを判定する。第２の判定閾値εは、第１の判定閾値δと同じ値であってもよいし異なる値であってもよく、ここでは、第１の判定閾値δと同じ５０ＬＳＢであるとする。差分画像１１のラインβ＋１からラインγ−１までの範囲では、フレーム間差分値は略一定の値（＝１００ＬＳＢ）となっているため、ライン間差分値はほぼゼロ（０）となり、ライン間差分値の絶対値が第２の判定閾値εよりも大きくなることはない。
【００３７】
差分画像１１の領域Ｃの開始ライン（ラインγ）では、フレーム間差分値は第１の判定閾値δよりも引き続き大きい状態となっている。そして、ラインγとラインγ−１とのライン間差分値は、第２の判定閾値εよりも大きい＋２００ＬＳＢとなる。ライン間差分値が第２の判定閾値εよりも大きい正の値を取る場合、フラッシュバンド検出回路１０７は、２回目のフラッシュバンド発生ラインとしてラインγをメモリ１１１に記憶させる。フラッシュバンド検出回路１０７は、ラインγ＋１以降も、フレーム間差分値が第１の判定閾値δよりも大きいか否かを判定する。そして、フラッシュバンド検出回路１０７は、フレーム間差分値が第１の判定閾値δよりも大きいと判定した場合に、ライン間差分値の絶対値が第２の判定閾値εよりも大きいか否かを更に判定する。差分画像１１のラインγ＋１から最終ラインまでの範囲では、ライン間差分値はほぼゼロ（０）となり、ライン間差分値の絶対値が第２の判定閾値εよりも大きくなることはない。こうして、フレーム１２については、ラインβ、γの２つのラインでフラッシュバンドが検出されたことになる。
【００３８】
フラッシュバンド検出回路１０７は、引き続き、フレーム１２，１３間のフレーム間差分値が第１の判定閾値δよりも大きいか否かを判定する。そして、フラッシュバンド検出回路１０７は、フレーム間差分値が第１の判定閾値δよりも大きいと判定した場合に、ライン間差分値の絶対値が第２の判定閾値εよりも大きいか否かを更に判定する。差分画像１２の領域Ａ〜Ｂでは、フレーム間差分値は第１の判定閾値δよりも大きい。また、領域Ａの開始ラインからラインβ−１までのライン間差分値はほぼゼロ（０）となるが、領域Ｂの開始ラインであるラインβとラインβ−１とのライン間差分値は−２００ＬＳＢとなり、その絶対値は第２の判定閾値εよりも大きい。ライン間差分値が負の値を取り、且つ、その絶対値が第２の判定閾値εよりも大きい場合、フレーム１３のラインβ−１はフラッシュバンドの終了位置としてメモリ１１１に記憶され、フレーム１３の領域Ａはフラッシュバンドであると判定される。
【００３９】
差分画像１２のラインβ＋１からラインγ−１までのライン間差分値の絶対値は再びゼロ（０）近傍となり、ライン間差分値の絶対値が第２の判定閾値εよりも大きくなることはない。領域Ｃの開始ラインであるラインγでは、フレーム間差分値は、第１の判定閾値δよりも小さい−３００ＬＳＢとなる。よって、フレーム１３のラインγ−１がフラッシュバンドの終了位置としてメモリ１１１に記憶され、領域Ｂはフラッシュバンドであると判定される。なお、差分画像１２のラインγ以降では、フレーム間差分値が第１の判定閾値δよりも小さくなるため、フレーム１３の領域Ｃはフラッシュバンドとは判定されない。なお、本実施形態では、フレーム間差分値が第１の判定閾値δと同じ場合、フラッシュバンドと判定されないものとする。
【００４０】
以上の説明の通り、本実施形態では、最初（１回目）のフラッシュバンドの検出を、フレーム間差分値が第１の判定閾値δよりも大きくなっているか否かを判定することにより行う。そして、フレーム間差分値が連続的に第１の判定閾値δよりも大きくなっている状態にあるときには、２回目以降のフラッシュバンドの検出をライン間差分値の正負とその絶対値が第２の判定閾値εよりも大きいか否かを判定することにより行う。これにより、１フレーム内に複数のフラッシュ発光が行われた場合でも、フラッシュバンドを正確に検出することが可能となる。
【００４１】
なお、第１の判定閾値δと第２の判定閾値εのそれぞれについて、１回目のフラッシュバンドの検出に用いる値と２回目以降のフラッシュバンドの検出に用いる値に異なる値を用いるようにしてもよい。また、第１の判定閾値δと第２の判定閾値εのそれぞれについて、フラッシュバンドの開始ラインを判定するための値と、フラッシュバンドの終了ラインを判定するための値に異なる値を用いるようにしてもよい。その場合、フラッシュバンドの終了ラインの検出に用いる第１の判定閾値δと第２の判定閾値εをそれぞれ、フラッシュバンドの開始ラインで変化したフレーム間差分値とライン差分値のそれぞれの変化量に基づいて設定することが望ましい。これにより、フラッシュバンドの検出精度を向上させることが可能となる。
【００４２】
なお、フラッシュバンドが検出されたフレームについて、フラッシュバンドによる明るさの段差をなくすように補正を行う場合の補正方法は特に限定されるものではない。例えば、図５に示したフレーム１２については、全体が領域Ｂの輝度に統一されるように領域Ａ，Ｃにデジタルゲインを掛け、フレーム１３については、全体が領域Ａの輝度に統一されるように領域Ｂ，Ｃにデジタルゲインを掛ける等することができる。また、フレーム１２，１３の両方を、全体が領域Ｂの輝度に統一されるように領域Ａ，Ｃにデジタルゲインを掛ける等してもよい。
【００４３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記実施形態では、ＣＭＯＳセンサ１０２の１ラインごとの輝度積算値を用いてフラッシュバンドを検出したが、同様の効果を得られる限りにおいて、輝度積算値に代えて他の値（例えば、平均値等）を用いてもよい。
【００４４】
また、上記実施形態では、撮像手段（レンズ１０１及びＣＭＯＳセンサ１０２）と画像処理手段（画像処理部１０３やシステム制御部１１２等の撮像手段以外の各部）とが一体的に構成された撮像装置１００について説明した。しかし、これに限定されず、撮像手段と画像処理手段とが別体となっており、撮像手段から画像処理手段へ各種信号が通信により送信される構成となっていてもよい。更に、本発明の特徴は、フラッシュバンドを検出する処理にあり、リアルタイムに取得される映像信号からフラッシュバンドを検出する処理に限定されることなく、記憶媒体に記憶された映像信号からフラッシュバンドを検出する処理にも適用が可能である。よって、画像処理部１０３、メモリ１１１、判定閾値記憶部１１０及びシステム制御部１１２を備える画像処理装置は、本発明の実施形態の１つである。
【００４５】
更に、上記実施形態では、撮像手段が取得した映像信号をリアルタイムに監視してフラッシュバンドを検出する撮像装置１００について説明した。しかし、これに限らず、ローリングシャッタ方式の撮像素子から読み出されたフレームからなる映像データが記憶媒体に格納されている場合には、その記憶媒体から映像データを読み出して、本発明を適用することが可能である。
【００４６】
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４７】
１０１    レンズ
１０２    ＣＭＯＳセンサ
１０３    画像処理部
１０４    積算値算出回路
１０５    第１差分値算出回路
１０６    第２差分値算出回路
１０７    フラッシュバンド検出回路
１０８    本画像処理回路
１１０    判定閾値記憶部
１１１    メモリ
１１２    システム制御部
【図１】
2018042088.tif 000003
【図２】
2018042088.tif 000004
【図３】
2018042088.tif 000005
【図４】
2018042088.tif 000006
【図５】
2018042088.tif 000007
【図６】
2018042088.tif 000008
【図７】
2018042088.tif 000009