(57)【要約】【課題】ＣＭＯＳ撮像装置ではフラッシュ等の外部閃光が焚かれた場合に、白帯状の妨害が発生する課題がある。その妨害を高精度に検出す撮像信号特定状態検出装置の提供を目的とする。【解決手段】撮像信号特定状態検出装置２００は、レンズ部より結像される被写体の撮像信号を出力する撮像部１と、前記撮像部１より出力される撮像信号の１フレーム分の平均輝度を求める第１平均輝度レベル算出部２と、第１平均輝度レベル算出部２の出力信号を記憶する第１記憶部３と、第１平均輝度レベル算出部２の出力信号及び第１記憶部３の出力信号から２フレーム分の平均輝度レベルを算出する第２平均輝度レベル算出部４と、第２平均輝度レベル算出部４の出力信号を記憶する第２記憶部１０と、第２平均輝度レベル算出部１０の出力信号及び第２記憶部１０の出力信号から撮像部１より出力される撮像信号の特定状態を判定する判定部１１を備える。【選択図】図４
2010273147.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を電気信号に変換し撮像信号として取得する撮像部と、
前記撮像部により取得された前記撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める第１平均輝度レベル算出部と、
前記第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記第１輝度レベルを遅延第１平均輝度レベルとして出力することができる第１記憶部と、
前記第１平均輝度レベルと、前記第１記憶部から１フレーム分に相当する時間だけ遅延させて出力された前記遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する第２平均輝度レベル算出部と、
前記第２平均輝度レベル算出部により算出された前記２フレーム分平均輝度レベルに基づいて、前記撮像部により取得された前記撮像信号の特定状態を判定する判定部と、
を備える撮像信号特定状態検出装置。
【請求項２】
前記判定部は、
前記２フレーム分平均輝度レベルと第１のしきい値とを比較し、比較結果を示す情報を出力する比較判定部と、
前記比較判定部から出力された前記比較結果を示す情報に基づき、前記２フレーム分平均輝度レベルが前記第１のしきい値を超えていると判定した場合、処理対象のフレームである現フレームと、前記現フレームの1フレーム前のフレームにおいて、外部閃光の影響を受けていることを示すフラグ信号を発生させるフラグ信号発生部と、
を有する、
請求項１に記載の撮像信号特定状態検出装置。
【請求項３】
被写体からの光を電気信号に変換し撮像信号として取得する撮像部と、
前記撮像部により取得された前記撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める第１平均輝度レベル算出部と、
前記第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記第１輝度レベルを遅延第１平均輝度レベルとして出力することができる第１記憶部と、
前記第１平均輝度レベルと、前記第１記憶部から１フレーム分に相当する時間だけ遅延させて出力された前記遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する第２平均輝度レベル算出部と、
前記第２平均輝度レベル算出部により算出された前記第２フレーム分平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記２フレーム分平均輝度レベルを遅延２フレーム分平均輝度レベルとして出力することができる第２記憶部と、
前記第２平均輝度レベル算出部により算出された前記２フレーム分平均輝度レベルと、前記第２記憶部から１フレーム分に相当する時間だけ遅延させて出力された前記遅延２フレーム分平均輝度レベルと、に基づいて、前記撮像部により取得された前記撮像信号の特定状態を判定する判定部と、
を備える撮像信号特定状態検出装置。
【請求項４】
前記判定部は、
前記２フレーム分平均輝度レベルから前記遅延２フレーム分平均輝度レベルを減算することで差分信号を取得する差分演算部と、
前記２フレーム分平均輝度レベルをＬとし、前記遅延２フレーム分平均輝度レベルをＤＬとし、前記差分演算部により取得された差分信号をＤｉｆｆとし、処理対象のフレームである現フレームが第Ｎフレーム（Ｎは整数）であるとしたとき、
（１）第Ｎフレームの２フレーム前のフレームである第（Ｎ−２）フレームにおいて、
Ｌ−ＤＬ＞ｔｈ  （ｔｈは、ｔｈ≧０を満たす数）
を満たし、かつ、
（２）第Ｎフレームの１フレーム前のフレームである第（Ｎ−１）フレームにおいて、
Ｌ−ＤＬ＞ｔｈ  （ｔｈは、ｔｈ≧０を満たす数）
を満たし、かつ、
（３）第Ｎフレームにおいて、
Ｌ−ＤＬ＜−ｔｈ  （ｔｈは、ｔｈ≧０を満たす数）
を満たす場合、前記第（Ｎ−１）フレームおよび前記第（Ｎ−２）フレームにおいて、外部閃光の影響を受けていることを示すフラグ信号を発生させるフラグ信号発生部と、
を有する、
請求項３に記載の撮像信号特定状態検出装置。
【請求項５】
請求項１から４のいずれかに記載の撮像信号特定状態検出装置を備える撮像装置。
【請求項６】
被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる撮像信号特定状態検出方法であって、
前記撮像部により取得された前記撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める第１平均輝度レベル算出ステップと、
前記第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記第１輝度レベルを遅延第１平均輝度レベルとして出力することができる第１記憶ステップと、
前記第１平均輝度レベルと、前記第１記憶ステップにより１フレーム分に相当する時間だけ遅延させて出力された前記遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する第２平均輝度レベル算出ステップと、
前記第２平均輝度レベル算出ステップにより算出された前記２フレーム分平均輝度レベルに基づいて、前記撮像部により取得された前記撮像信号の特定状態を判定する判定ステップと、
を備える撮像信号特定状態検出方法。
【請求項７】
被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる撮像信号特定状態検出方法をコンピュータに実行させるプログラムであって、
前記撮像部により取得された前記撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める第１平均輝度レベル算出ステップと、
前記第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記第１輝度レベルを遅延第１平均輝度レベルとして出力することができる第１記憶ステップと、
前記第１平均輝度レベルと、前記第１記憶ステップにより１フレーム分に相当する時間だけ遅延させて出力された前記遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する第２平均輝度レベル算出ステップと、
前記第２平均輝度レベル算出ステップにより算出された前記２フレーム分平均輝度レベルに基づいて、前記撮像部により取得された前記撮像信号の特定状態を判定する判定ステップと、
を備える撮像信号特定状態検出方法をコンピュータに実行させるプログラム。
【請求項８】
被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる集積回路であって、
前記撮像部により取得された前記撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める第１平均輝度レベル算出部と、
前記第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記第１輝度レベルを遅延第１平均輝度レベルとして出力することができる第１記憶部と、
前記第１平均輝度レベルと、前記第１記憶部から１フレーム分に相当する時間だけ遅延させて出力された前記遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する第２平均輝度レベル算出部と、
前記第２平均輝度レベル算出部により算出された前記２フレーム分平均輝度レベルに基づいて、前記撮像部により取得された前記撮像信号の特定状態を判定する判定部と、
を備える集積回路。
【請求項９】
被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる撮像信号特定状態検出方法であって、
前記撮像部により取得された前記撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める第１平均輝度レベル算出ステップと、
前記第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記第１輝度レベルを遅延第１平均輝度レベルとして出力することができる第１記憶ステップと、
前記第１平均輝度レベルと、前記第１記憶ステップにより１フレーム分に相当する時間だけ遅延させて出力された前記遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する第２平均輝度レベル算出ステップと、
前記第２平均輝度レベル算出ステップにより算出された前記第２フレーム分平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記２フレーム分平均輝度レベルを遅延２フレーム分平均輝度レベルとして出力することができる第２記憶ステップと、
前記第２平均輝度レベル算出ステップにより算出された前記２フレーム分平均輝度レベルと、前記第２記憶ステップから１フレーム分に相当する時間だけ遅延させて出力された前記遅延２フレーム分平均輝度レベルと、に基づいて、前記撮像部により取得された前記撮像信号の特定状態を判定する判定ステップと、
を備える撮像信号特定状態検出方法。
【請求項１０】
被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる撮像信号特定状態検出方法をコンピュータに実行させるプログラムであって、
前記撮像部により取得された前記撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める第１平均輝度レベル算出ステップと、
前記第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記第１輝度レベルを遅延第１平均輝度レベルとして出力することができる第１記憶ステップと、
前記第１平均輝度レベルと、前記第１記憶ステップにより１フレーム分に相当する時間だけ遅延させて出力された前記遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する第２平均輝度レベル算出ステップと、
前記第２平均輝度レベル算出ステップにより算出された前記第２フレーム分平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記２フレーム分平均輝度レベルを遅延２フレーム分平均輝度レベルとして出力することができる第２記憶ステップと、
前記第２平均輝度レベル算出ステップにより算出された前記２フレーム分平均輝度レベルと、前記第２記憶ステップから１フレーム分に相当する時間だけ遅延させて出力された前記遅延２フレーム分平均輝度レベルと、に基づいて、前記撮像部により取得された前記撮像信号の特定状態を判定する判定ステップと、
を備える撮像信号特定状態検出方法をコンピュータに実行させるプログラム。
【請求項１１】
被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる集積回路であって、
前記撮像部により取得された前記撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める第１平均輝度レベル算出部と、
前記第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記第１輝度レベルを遅延第１平均輝度レベルとして出力することができる第１記憶部と、
前記第１平均輝度レベルと、前記第１記憶部から１フレーム分に相当する時間だけ遅延させて出力された前記遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する第２平均輝度レベル算出部と、
前記第２平均輝度レベル算出部により算出された前記第２フレーム分平均輝度レベルを記憶し、所定の時間遅延させて記憶した前記２フレーム分平均輝度レベルを遅延２フレーム分平均輝度レベルとして出力することができる第２記憶部と、
前記第２平均輝度レベル算出部により算出された前記２フレーム分平均輝度レベルと、前記第２記憶部から１フレーム分に相当する時間だけ遅延させて出力された前記遅延２フレーム分平均輝度レベルと、に基づいて、前記撮像部により取得された前記撮像信号の特定状態を判定する判定部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スチルカメラ等のフラッシュがビデオ用の動画の撮影時に及ぼす白帯状の妨害を高精度に検出できる撮像信号特定状態検出装置、撮像装置、撮像信号特定状態検出方法、プログラムおよび集積回路に関する。
【背景技術】
【０００２】
近年、小型、低消費電力、高速撮像等の特徴をもつＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子を用いた撮像装置が、民生用ビデオカメラ及び業務用ビデオカメラの分野で躍進してきている。
ＣＭＯＳ型撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型撮像素子に比べて種々の特徴を有しており、ＣＭＯＳ型撮像素子とＣＣＤ型撮像素子とでは、フォトダイオード（Ｐｈｏｔｏ  Ｄｉｏｄｅ：以降「ＰＤ」と記載）に蓄積される電荷の読み出し方式も異なる。
ＣＣＤ型撮像素子では、のＰＤの電荷読み出しをＣＣＤのように全画素で同一タイミングで行う、所謂グローバルシャッター方式により行う。一方、ＣＭＯＳ型撮像素子では、ライン（画素）単位で読出しタイミングがずれていく所謂ローリングシャッター方式によりＰＤの電荷読み出しを行う。このため、ＣＣＤ型撮像素子にない弊害も発生する。ＣＭＯＳ型撮像素子では、蓄積電荷の読出しタイミングがずれる為、各画素の蓄積期間のタイミングがずれることに起因して、ＣＣＤ型撮像素子にない弊害が発生する。
【０００３】
その問題の一つに、スチルカメラ等のフラッシュ光が焚かれている被写体をＣＭＯＳ撮像素子のビデオカメラで撮像すると、撮像画面上に白帯状の妨害が発生するという現象が挙げられる。「白帯状の妨害」とは、ここでは撮像した画像のあるフレームの一部だけがフラッシュ光の影響を受け、途中のラインから上（画面上部）、または下（画面下部）だけが明るくなる現象を指す。
以下、この現象について、図１０〜図１２を用いて説明する。
図１０は、ビデオカメラとスチルカメラが混在する撮影風景、例えば記者会見等の撮影風景を模式的に示す図である。
図１０は、ビデオカメラ１０００と、その撮像信号を映すモニター１００１、スチルカメラ１００２、１００３、および被写体１００４より構成される撮影風景を模式的に示している。ビデオカメラ１０００はＣＭＯＳ型撮像素子を用いている。
【０００４】
このような撮影風景においてスチルカメラ１００２、１００３でフラッシュが焚かれると、ビデオカメラ１０００の撮像信号を映すモニター１００１の画面に白帯状の妨害が発生する。以下、その原理を説明する。
図１１は、ビデオカメラ１０００の電荷蓄積期間（露光期間）と、読出しタイミング、読出し期間、および走査期間を模式化した図である。
図２１において、画面（ビデオカメラ１００による撮像画像）を構成する各走査ラインの電荷蓄積期間およびその電荷を読み出すための走査期間を、時間軸を横軸に取って表している。走査ラインの総数は、ＨＤカメラを想定して１１２５ラインとする。また、図２１に示す「モニター画面０期間」とは、フレーム０の撮像信号をモニター画面等に出力する期間であり、ここでは１／６０秒とする。「モニター画面１期間」等についても同様である。
【０００５】
ビデオカメラ１０００において、例えば、画面の一番上のラインであるライン１（ライン１を形成する映像信号を取得するためのＣＭＯＳ型撮像素子の撮像素子面上の１ライン分の画素（それぞれの画素にＰＤが設置されている。））については、ちょうどモニター画面０期間の開始タイミングと共にフレーム１のＰＤ蓄積（ＰＤでの電荷蓄積）を開始し、１フレーム期間、すなわちモニター画面０期間の終了タイミングと共にＰＤ蓄積を終了する。蓄積されたライン１のＰＤ信号は、この直後に（ＰＤ蓄積が終了した直後に）、蓄積電荷の読み出し（なお、「蓄積電荷の読み出し」を、単に「読み出し」ということがある。）の走査が開始されると同時に、次のフレーム２のＰＤ蓄積が開始される。ＰＤ信号の読み出し走査の期間は、１フレーム期間（１／６０秒）に１１２５本のラインを走査することから、１／６０／１１２５≒１．４８×１０-5秒となる。
【０００６】
次に、ライン２については、ライン１のフレーム０に対するＰＤ読み出し走査の期間終了タイミングにあわせてＰＤ蓄積を開始する。すなわち、ライン２については、ライン１に対してＰＤ読み出し走査期間分遅れてＰＤ蓄積および読み出しの動作が行われることになる。ライン３以降についても上記と同様の動作が行われる。
このようにローリングシャッター方式においては、１フレームを構成する各ラインの電荷蓄積期間が図２１に示すように上から下へと少しずつずれている。これに伴い、各ラインの走査期間、すなわちＰＤ信号の読み出しタイミングも図２１に示すように各ラインの電荷蓄積期間の直後となる。つまり、ＣＭＯＳ型撮像素子を用いたビデオカメラ１０００では、ライン１のＰＤ信号を読み出したら、次に、ライン２のＰＤ信号を読み出すというように、ライン順に、順次、ＰＤ信号の読み出し処理が行われる。
【０００７】
図１１に示すように、モニター画面１期間の中央付近（図２１に「フラッシュ発光期間」で示した期間）でフラッシュが焚かれると、フレーム１後半の電荷蓄積期間とフレーム２前半の電荷蓄積期間にフラッシュの明るい光が影響する。モニター画面１の期間に光ったフラッシュは、図１１に示すように、ラインＸおよびラインＹでフレーム１とフレーム２との電荷蓄積、電荷読出しタイミングを跨ぐ。
つまり、図２１に示した場合におけるフラッシュの明るい光の影響は、以下のようになる。
（フレーム１のラインａ１（図２１に「ａ１」で示した部分に属するライン））：
フレーム１では、ラインＸより前のラインａ１の部分は、フラッシュ光の影響は受けない（電荷蓄積期間はすでに終わっている）。
（フレーム１のラインＸ〜ラインＹ（図２１に「ａ２」で示した部分に属するライン））：
ラインＸおよびラインＹの間の期間のラインａ２部分は、フレーム１ではフラッシュ光の影響を受け、徐々に蓄積光量が増える。
（フレーム１のラインＹ以降（図２１に「ａ３」で示した部分に属するライン））：
そして、ラインＹ以降のラインａ３の部分ではフラッシュ光の全光量の影響を受ける。
（フレーム２のラインｂ１（図２１に「ｂ１」で示した部分に属するライン））：
フレーム２では、逆に、ラインＸより前のラインｂ１の部分では、フラッシュ光の全光量の影響を受ける。
（フレーム２のラインＸ〜ラインＹ（図２１に「ｂ２」で示した部分に属するライン））：
ラインＸおよびラインＹの間の期間のラインｂ２の部分は徐々にフラッシュ光の影響が小さくなる。
（フレーム２のラインＹ以降（図２１に「ｂ３」で示した部分に属するライン））：
そして、ラインＹ以降のラインｂ３の部分ではまだ蓄積期間が始まっていないので、フラッシュ光の影響は受けない。
【０００８】
したがって、フラッシュ光の発光期間が一瞬であり、図２１のａ２、ｂ２部分のトランジェント期間が存在しないものとするとモニター画面は、概略として図１２に示すようにモニター画面１（フレーム１の撮像信号により形成される画面（画像））の下半分が明るく、そしてモニター画面２（フレーム２の撮像信号により形成される画面（画像））の上半分が明るくなり、これが白帯状の妨害として映像表示装置に映し出される。一方、フラッシュの発光時に本来望まれているモニター画面は、図１２の下段に示す理想のモニター画面のように全体が明るくなった画面である。ＣＣＤ型撮像素子を用いる撮像装置の場合は、ＣＭＯＳとは異なり１フレームを構成する全ラインの電荷蓄積タイミングが同じであるために、このような問題は発生せず、フラッシュ発光時には、図１２下段に示すような理想のモニター画面が映し出される。
【０００９】
以上のように、ＣＭＯＳ型撮像素子を用いる撮像装置では、フラッシュ光等の外部の閃光が入ると、撮像信号により形成される映像に白帯状の妨害が発生するという課題がある。
この課題を解決する従来の撮像信号特定状態検出装置を含む撮像装置として、特許文献１に記載された撮像装置がある。
図１３は、従来の撮像信号特定状態検出装置を含む撮像装置９００の構成例を示すブロック図である。この撮像装置９００は、所謂静止画像を主に記録するデジタルスチルカメラである。
図１３に示すように、撮像装置９００は、レンズ部９１２、撮像部１１３、画像処理部１１４、バッファ１１５、記録表示処理部１１６、バッファ１１７、記録部１１８、表示部１１９、評価部１２０、記憶部１２１、操作部１２２、および制御部１２３を備えている。
【００１０】
レンズ部９１２は、レンズ機構１３１、絞り（アイリス）機構１３２等の光学系を備え、そこに入射する被写体からの光を撮像部１１３の撮像素子１４１上に集光させる。
撮像部１１３は、撮像素子１４１、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路１４２、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）回路１４３、シグナルジェネレータ（ＳＧ）１４４、およびタイミングジェネレータ（ＴＧ）１４５を備え、被写体を撮像し、その結果得られる画像を画像処理部１１４に供給する。
撮像素子１４１は、例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ等で構成され、レンズ部９１２を介して入射する被写体からの光を受光して光電変換することにより、電気信号としての画像信号を取得し、出力する。撮像素子１４１は、受光した光の量に応じて電荷を蓄積する複数の画素が、格子状の配置で平面状に敷き詰められて構成されており、タイミングジェネレータ１４５から供給される水平駆動信号と垂直駆動信号にしたがって、所定の露光時間だけレンズ部９１２からの光を受光する。撮像素子１４１の各画素には、受光した光の量に応じた電荷が蓄積され、撮像素子１４１は、その電荷をアナログの画像信号としてＣＤＳ回路１４２に供給する。
【００１１】
ＣＤＳ回路１４２は、撮像素子１４１から供給されたアナログの画像信号のノイズ成分を、相関２重サンプリングを施すことによって除去する。ＣＤＳ回路１４２は、ノイズ成分を除去した画像信号をＡ／Ｄ回路１４３に供給する。
Ａ／Ｄ回路１４３は、ＣＤＳ回路１４２からのアナログの画像信号をＡ／Ｄ変換し、その結果得られるデジタルの画像データを画像処理部１１４に供給する。
シグナルジェネレータ１４４は、制御部１２３の制御に基づいて、水平同期信号と垂直同期信号を、それぞれ発生し、タイミングジェネレータ１４５に出力する。
タイミングジェネレータ１４５は、シグナルジェネレータ１４４から供給された水平同期信号と垂直同期信号に基づいて、撮像素子１４１を駆動させるための水平駆動信号と垂直駆動信号を、それぞれ発生し、撮像素子１４１に供給する。
【００１２】
画像処理部１１４は、Ｙ−Ｃ分離回路１５１、フィルタ回路１５２，ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）回路１５３、およびアパコンガンマ回路１５４を備え、撮像部１１３のＡ／Ｄ回路１４３から供給される画像データに、所定の画像処理を施す。
画像処理部１１４は、画像処理を施した画像（画像データ）を、記録表示処理部１１６および評価部１２０に供給する。
Ｙ−Ｃ分離回路１５１は、撮像部１１３からの画像データを、輝度信号（Ｙ）とクロマ信号（Ｃ）とに分離するＹ−Ｃ分離処理を行う。
フィルタ回路１５２は、撮像部１１３からの画像データをフィルタリングし、その画像データに含まれるノイズ成分をカットするノイズリダクション処理を行う。
ＷＢ回路１５３は、例えば、白い被写体のＲ，Ｇ，Ｂレベルが等しくなるように撮像部１１３からの画像データにゲインを乗算し、画像のホワイトバランスを調整する処理を行う。
【００１３】
アパコンガンマ回路１５４は、撮像部１１３からの画像データに対して、画像のエッジ部分を強調するアパーチャ補正や画像の色合いを調整するガンマ補正等の画質を調整する処理を行う。
バッファ１１５には、画像処理部１１４が画像処理を行う際に、一時的に記憶させる必要があるデータが記憶される。
記録表示処理部１１６には、画像処理部１１４から画像処理が施された画像（データ）が供給され、その画像を記録部１１８に記録させる記録制御、および表示部１１９に表示させる表示制御を行う。
バッファ１１７には、記録表示処理部１１６が記録制御や表示制御を行う際に、一時的に記憶させる必要があるデータが記憶される。
【００１４】
表示部１１９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）パネル等からなり、撮像部１１３により撮像され、記録表示処理部１１６から供給される画像を表示する。
評価部１２０は、画像の明るさや色の分布を検波する検波回路１６１を備え、撮像素子１４１により撮像された画像が画像処理部１１４から供給される。
検波回路１６１は、画像処理部１１４から供給された画像を検波し、その結果得られる情報、例えば、画像の所定の部分の明るさや色の分布を示す情報や、画像の所定の部分の空間周波数を示す情報等を、撮像素子１４１により撮像された画像に対する評価値として出力する。
評価部１２０は、検波回路１６１が出力する評価値を、制御部１２３に供給する。
【００１５】
記憶部１２１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、またはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等により構成され、制御部１２３の図示しないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が実行するプログラムや、制御部１２３が処理を行う上で必要なデータ、撮像装置９００の電源がオフにされたときも保持しておく必要があるデータ等を記憶する。
操作部１２２は、例えば、図示しないシャッタボタンや録画ボタン等を備え、ユーザによって操作される。操作部１２２は、ユーザの操作に応じて、静止画像の撮像を要求する信号や、動画像の撮像の開始または停止を要求する信号を制御部１２３に供給する。
【００１６】
制御部１２３は、図示しないＣＰＵと、差分値を演算する演算回路１７１とを備えている。制御部１２３には、撮像素子１４１により撮像された画像に対する評価値が評価部１２０から供給され、評価部１２０から供給される評価値を記憶部１２１に一時的に記憶させる。
演算回路１７１は、所定の２つの評価値どうしの差分値を演算し、制御部１２３は、演算回路１７１により算出された差分値に基づいて、撮像装置９００の各部を制御する。
例えば、制御部１２３は、ユーザの操作に応じて静止画像または動画像が撮像された場合において、演算回路１７１により算出された差分値に基づいて、撮像装置９００の各部を制御し、外部の閃光による悪影響を受けた画像であると判断した場合、その画像を排除し、外部の閃光による悪影響を受けていない画像であると判断した場合、その画像を記録部１１８に記録させる。
【００１７】
従来の撮像信号特定状態検出装置を含む撮像装置９００は、このようにして外部の閃光による白帯状の妨害の課題を解決している。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００７−３０６２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
しかしながら、上記従来の撮像信号特定状態検出装置を含む撮像装置では、記録する画像と比較する画像のそれぞれの画像に対する評価値の差分値により、フラッシュ等の外部閃光による白帯状の妨害を検出しているので、画像によっては差分値が基準レベルを超えず誤検出する場合があった。例えば、従来の撮像装置９００では、撮像された画像の評価値として全画面の輝度レベルの平均値を算出する方法を採用することが考えられる。その場合、撮像装置９００では、評価部１２０にて、順次各フレーム毎に輝度信号を積算して平均化した平均輝度レベル値を、制御部１２３を介して記憶部１２１に一時的に記憶させておき、次のフレームの画像が入力されたタイミングで同様に平均輝度レベルを算出して、記憶部１２１に記憶されている前のフレームの平均輝度レベルと比較することで、外部閃光による影響の有無を判断する。
【００２０】
しかしながらこの方法では、画面の下部のわずかな部分に外部閃光の影響がある場合、全画面の平均輝度レベルは、外部閃光の影響のないフレームの平均輝度レベルと明確な差異が見られず、外部閃光の影響の有無の判断をするのは困難である。
本発明は、上記従来の課題を解決するもので、フラッシュ等の外部閃光による白帯状の妨害の検出を従来手法に比べ、より高精度に検出できる撮像信号特定状態検出装置、撮像装置、撮像信号特定状態検出方法、プログラムおよび集積回路を提供することを目的とする。
【課題を解決するための手段】
【００２１】
第１の発明は、撮像部と、第１平均輝度レベル算出部と、第１記憶部と、第２平均輝度レベル算出部と、判定部と、を備える撮像信号特定状態検出装置である。
撮像部は、被写体からの光を電気信号に変換し撮像信号として取得する。第１平均輝度レベル算出部は、撮像部により取得された撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める。第１記憶部は、第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した第１輝度レベルを遅延第１平均輝度レベルとして出力することができる。第２平均輝度レベル算出部は、第１平均輝度レベルと、第１記憶部から１フレーム分に相当する時間だけ遅延させて出力された遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する。判定部は、第２平均輝度レベル算出部により算出された２フレーム分平均輝度レベルに基づいて、撮像部により取得された撮像信号の特定状態を判定する。
【００２２】
この撮像信号特定状態検出装置では、判定部において、第２平均輝度レベル算出部により算出された２フレーム分平均輝度レベルに基づいて、撮像部により取得された撮像信号の特定状態を判定することができるので、撮像信号特定状態検出装置が外部閃光が発生した環境下等で、どの部分の撮像信号が外部閃光の影響を受けているか適切に判定することができる。
第２の発明は、第１の発明であって、判定部は、比較判定部と、フラグ信号発生部と、を有する。
比較判定部は、２フレーム分平均輝度レベルと第１のしきい値とを比較し、比較結果を示す情報を出力する。フラグ信号発生部は、比較判定部から出力された比較結果を示す情報に基づき、２フレーム分平均輝度レベルが第１のしきい値を超えていると判定した場合、処理対象のフレームである現フレームと、現フレームの1フレーム前のフレームにおいて、外部閃光の影響を受けていることを示すフラグ信号を発生させる。
【００２３】
これにより、この撮像信号特定状態検出装置では、判定部から出力されるフラグ信号により、フラグ信号が出力されたフレームと、その１フレーム前のフレームに、外部閃光の影響（白帯状妨害の発生）があることを特定することができる。
第３の発明は、撮像部と、第１平均輝度レベル算出部と、第１記憶部と、第２平均輝度レベル算出部と、第２記憶部と、判定部と、を備える撮像信号特定状態検出装置である。
撮像部は、被写体からの光を電気信号に変換し撮像信号として取得する。第１平均輝度レベル算出部は、撮像部により取得された撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める。第１記憶部は、第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した第１輝度レベルを遅延第１平均輝度レベルとして出力することができる。第２平均輝度レベル算出部は、第１平均輝度レベルと、第１記憶部から１フレーム分に相当する時間だけ遅延させて出力された遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する。第２記憶部は、第２平均輝度レベル算出部により算出された第２フレーム分平均輝度レベルを記憶し、所定の時間遅延させて記憶した２フレーム分平均輝度レベルを遅延２フレーム分平均輝度レベルとして出力することができる。判定部は、第２平均輝度レベル算出部により算出された２フレーム分平均輝度レベルと、第２記憶部から１フレーム分に相当する時間だけ遅延させて出力された遅延２フレーム分平均輝度レベルと、に基づいて、撮像部により取得された撮像信号の特定状態を判定する。
【００２４】
この撮像信号特定状態検出装置では、判定部において、第２平均輝度レベル算出部により算出された２フレーム分平均輝度レベルと、第２記憶部から１フレーム分に相当する時間だけ遅延させて出力された遅延２フレーム分平均輝度レベルと、に基づいて、撮像部により取得された撮像信号の特定状態を判定する。したがって、この撮像信号特定状態検出装置では、撮像信号特定状態検出装置が外部閃光が発生した環境下等で、どの部分の撮像信号が外部閃光の影響を受けているか適切に判定することができる。
第４の発明は、第３の発明であって、判定部は、差分演算部と、フラグ信号発生部と、を有する。
差分演算部は、２フレーム分平均輝度レベルから遅延２フレーム分平均輝度レベルを減算することで差分信号を取得する。
【００２５】
フラグ信号発生部は、２フレーム分平均輝度レベルをＬとし、遅延２フレーム分平均輝度レベルをＤＬとし、差分演算部により取得された差分信号をＤｉｆｆとし、処理対象のフレームである現フレームが第Ｎフレーム（Ｎは整数）であるとしたとき、以下（１）〜（３）を満たす場合、第（Ｎ−１）フレームおよび第（Ｎ−２）フレームにおいて、外部閃光の影響を受けていることを示すフラグ信号を発生させる。すなわち、フラグ信号発生部は、
（１）第Ｎフレームの２フレーム前のフレームである第（Ｎ−２）フレームにおいて、
Ｌ−ＤＬ＞ｔｈ（ｔｈは、ｔｈ≧０を満たす数）
を満たし、かつ、
（２）第Ｎフレームの１フレーム前のフレームである第（Ｎ−１）フレームにおいて、
Ｌ−ＤＬ＞ｔｈ（ｔｈは、ｔｈ≧０を満たす数）
を満たし、かつ、
（３）第Ｎフレームにおいて、
Ｌ−ＤＬ＜−ｔｈ（ｔｈは、ｔｈ≧０を満たす数）
フラグ信号発生部は、を満たす場合、第（Ｎ−１）フレームおよび第（Ｎ−２）フレームにおいて、外部閃光の影響を受けていることを示すフラグ信号を発生させる。
【００２６】
この撮像信号特定状態検出装置では、２フレーム分の平均輝度の増減を検出評価することができるので、特に外部のフラッシュ発光（外部閃光）による白帯状の妨害が発生している（外部閃光の影響を受けている）撮像信号（フレーム）を高精度に検出できる。
第５の発明は、第１から第４のいずれかの発明である撮像信号特定状態検出装置を備える撮像装置である。
これにより、第１から第４のいずれかの発明である撮像信号特定状態検出装置を備える撮像装置を実現することができる。
第６の発明は、被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる撮像信号特定状態検出方法であって、第１平均輝度レベル算出ステップと、第１記憶ステップと、第２平均輝度レベル算出ステップと、判定ステップと、を備える。
【００２７】
第１平均輝度レベル算出ステップでは、撮像部により取得された撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める。第１記憶ステップでは、第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した第１輝度レベルを遅延第１平均輝度レベルとして出力することができる。第２平均輝度レベル算出ステップでは、第１平均輝度レベルと、第１記憶ステップにより１フレーム分に相当する時間だけ遅延させて出力された遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する。判定ステップでは、第２平均輝度レベル算出ステップにより算出された２フレーム分平均輝度レベルに基づいて、撮像部により取得された撮像信号の特定状態を判定する。
これにより、第１の発明と同様の効果を奏する撮像信号特定状態検出方法を実現することができる。
【００２８】
第７の発明は、被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる撮像信号特定状態検出方法をコンピュータに実行させるプログラムである。撮像信号特定状態検出方法は、第１平均輝度レベル算出ステップと、第１記憶ステップと、第２平均輝度レベル算出ステップと、判定ステップと、を備える。
第１平均輝度レベル算出ステップでは、撮像部により取得された撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める。第１記憶ステップでは、第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した第１輝度レベルを遅延第１平均輝度レベルとして出力することができる。第２平均輝度レベル算出ステップでは、第１平均輝度レベルと、第１記憶ステップにより１フレーム分に相当する時間だけ遅延させて出力された遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する。判定ステップでは、第２平均輝度レベル算出ステップにより算出された２フレーム分平均輝度レベルに基づいて、撮像部により取得された撮像信号の特定状態を判定する。
【００２９】
これにより、第１の発明と同様の効果を奏する撮像信号特定状態検出方法をコンピュータに実行させるプログラムを実現することができる。
第８の発明は、被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる集積回路であって、第１平均輝度レベル算出部と、第１記憶部と、第２平均輝度レベル算出部と、判定部と、を備える。
第１平均輝度レベル算出部は、撮像部により取得された撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める。第１記憶部は、第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した第１輝度レベルを遅延第１平均輝度レベルとして出力することができる。第２平均輝度レベル算出部は、第１平均輝度レベルと、第１記憶部から１フレーム分に相当する時間だけ遅延させて出力された遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する。判定部は、第２平均輝度レベル算出部により算出された２フレーム分平均輝度レベルに基づいて、撮像部により取得された撮像信号の特定状態を判定する。
【００３０】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
第９の発明は、被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる撮像信号特定状態検出方法であって、第１平均輝度レベル算出ステップと、第１記憶ステップと、第２平均輝度レベル算出ステップと、第２記憶ステップと、判定ステップと、を備える。
第１平均輝度レベル算出ステップでは、撮像部により取得された撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める。
第１記憶ステップは、第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した第１輝度レベルを遅延第１平均輝度レベルとして出力することができる。第２平均輝度レベル算出ステップでは、第１平均輝度レベルと、第１記憶ステップにより１フレーム分に相当する時間だけ遅延させて出力された遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する。第２記憶ステップは、第２平均輝度レベル算出ステップにより算出された第２フレーム分平均輝度レベルを記憶し、所定の時間遅延させて記憶した２フレーム分平均輝度レベルを遅延２フレーム分平均輝度レベルとして出力することができる。判定ステップでは、第２平均輝度レベル算出ステップにより算出された２フレーム分平均輝度レベルと、第２記憶ステップから１フレーム分に相当する時間だけ遅延させて出力された遅延２フレーム分平均輝度レベルと、に基づいて、撮像部により取得された撮像信号の特定状態を判定する。
【００３１】
これにより、第３の発明と同様の効果を奏する撮像信号特定状態検出方法を実現することができる。
第１０の発明は、被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる撮像信号特定状態検出方法をコンピュータに実行させるプログラムである。撮像信号特定状態検出方法は、第１平均輝度レベル算出ステップと、第１記憶ステップと、第２平均輝度レベル算出ステップと、第２記憶ステップと、判定ステップと、を備える。
第１平均輝度レベル算出ステップでは、撮像部により取得された撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める。第１記憶ステップでは、第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した第１輝度レベルを遅延第１平均輝度レベルとして出力することができる。第２平均輝度レベル算出ステップでは、第１平均輝度レベルと、第１記憶ステップにより１フレーム分に相当する時間だけ遅延させて出力された遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する。第２記憶ステップでは、第２平均輝度レベル算出ステップにより算出された第２フレーム分平均輝度レベルを記憶し、所定の時間遅延させて記憶した２フレーム分平均輝度レベルを遅延２フレーム分平均輝度レベルとして出力することができる。判定ステップでは、第２平均輝度レベル算出ステップにより算出された２フレーム分平均輝度レベルと、第２記憶ステップから１フレーム分に相当する時間だけ遅延させて出力された遅延２フレーム分平均輝度レベルと、に基づいて、撮像部により取得された撮像信号の特定状態を判定する。
【００３２】
これにより、第３の発明と同様の効果を奏する撮像信号特定状態検出方法をコンピュータに実行させるプログラムを実現することができる。
第１１の発明は、被写体からの光を電気信号に変換し撮像信号として取得する撮像部を備える撮像信号特定状態検出装置に用いられる集積回路であって、第１平均輝度レベル算出部と、第１記憶部と、第２平均輝度レベル算出部と、第２記憶部と、判定部と、を備える。
第１平均輝度レベル算出部は、撮像部により取得された撮像信号が形成する１フレーム分の撮像画像の平均輝度レベルである第１平均輝度レベルを求める。第１記憶部は、第１平均輝度レベルを記憶し、所定の時間遅延させて記憶した第１輝度レベルを遅延第１平均輝度レベルとして出力することができる。第２平均輝度レベル算出部は、第１平均輝度レベルと、第１記憶部から１フレーム分に相当する時間だけ遅延させて出力された遅延第１平均輝度レベルと、に対して平均処理を行うことで、２フレーム分の平均輝度レベルである２フレーム分平均輝度レベルを算出する。第２記憶部は、第２平均輝度レベル算出部により算出された第２フレーム分平均輝度レベルを記憶し、所定の時間遅延させて記憶した２フレーム分平均輝度レベルを遅延２フレーム分平均輝度レベルとして出力することができる。判定部は、第２平均輝度レベル算出部により算出された２フレーム分平均輝度レベルと、第２記憶部から１フレーム分に相当する時間だけ遅延させて出力された遅延２フレーム分平均輝度レベルと、に基づいて、撮像部により取得された撮像信号の特定状態を判定する。
【００３３】
これにより、第３の発明と同様の効果を奏する集積回路を実現することができる。
【発明の効果】
【００３４】
本発明によれば、各フレーム（撮像信号が形成するフレーム画像）の１フレーム分の平均輝度の評価値で判定するのでなく、２フレーム分の平均輝度の増減を検出評価することで、特に外部のフラッシュ発光（外部閃光）による白帯状の妨害が発生している（外部閃光の影響を受けている）撮像信号（フレーム）を高精度に検出できる。
【図面の簡単な説明】
【００３５】
【図１】第１実施形態に係る撮像信号特定状態検出装置の概略構成を示すブロック図
【図２】第１実施形態に係る判定部５の内部構成の一例を示すブロック図
【図３】第１実施形態に係る撮像信号特定状態検出装置の図１及び図２に示す各部（ａ）〜（ｅ）の信号波形図。
【図４】第２実施形態に係る撮像信号特定状態検出装置の概略構成を示すブロック図
【図５】同第２実施形態に係る判定部１１の内部構成の一例を示すブロック図
【図６】同第２実施形態に係る撮像信号特定状態検出装置の図４及び図５に示す各部（ａ）〜（ｇ）の信号波形図。
【図７】同第２実施形態に係る撮像信号特定状態検出装置の図４及び図５に示す各部（ａ）〜（ｇ）の信号波形図。
【図８】同第２実施形態に係る撮像信号特定状態検出装置の図４及び図５に示す各部（ａ）〜（ｇ）の信号波形図。
【図９】第１実施形態もしくは第２実施形態に係る撮像信号特定状態検出を用いた場合の補正例を示すモニター画面の概略図
【図１０】ビデオカメラの撮像装置とスチルカメラが混在する撮影風景示す概略図
【図１１】ＣＭＯＳ撮像素子を用いた撮像装置におけるフラッシュ撮影環境時の白帯状の妨害発生原理説明図
【図１２】ＣＭＯＳ撮像素子を用いた撮像装置におけるフラッシュ撮影環境時の白帯状の妨害を説明するモニター画面の概略図
【図１３】従来の撮像信号特定状態検出装置を含む撮像装置の構成を示すブロック図
【発明を実施するための形態】
【００３６】
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：撮像信号特定状態検出装置の構成＞
図１は、本発明の第１実施形態における撮像信号特定状態検出装置１００の概略構成を示すブロック図である。
図１に示すように、撮像部１は、図示していないレンズ部からの光を受光して、光電変換により撮像信号を取得し、取得した撮像信号を第１平均輝度レベル算出部２および信号補正部６に出力する。撮像部１には、ＣＭＯＳ型撮像素子が用いられている。
第１平均輝度レベル算出部２は、撮像部１からの撮像信号の１フレーム分（撮像信号により形成される撮像画像の１フレーム分）の輝度レベルの平均値（平均輝度レベル）を算出する。そして、第１平均輝度レベル算出部２は、算出した輝度レベルの平均値を第１記憶部３および第２輝度平均レベル算出部４に出力する。
【００３７】
第１記憶部３は、第１平均輝度レベル算出部２から出力される平均輝度レベルを受け記憶する。第１記憶部３は、記憶した平均輝度レベルを第２平均輝度レベル算出部に出力する。
第２平均輝度レベル算出部４は、第１平均輝度レベル算出部２と第１記憶部３の出力信号を入力とし、その２つの信号の平均を算出し、算出結果を判定部５に出力する。
判定部５は、第２平均輝度レベル算出部の出力信号を受け、当該出力信号に基づいて、撮像信号が外部閃光の影響を受けているか否かの判定を行うための判定信号を生成し、生成した判定信号を信号補正部６に出力する。
信号補正部６は、撮像部１及び判定部５の出力信号を受けて、特定された撮像信号に対して適切な補正処理を施す。
【００３８】
図２は、判定部５の内部構成の一例を示すブロック図である。
図２に示すように、判定部５は、比較判定部５１と、フラグ信号発生部５２と、を有する。
比較判定部５１は、第２平均輝度レベル算出部４の出力信号を入力とする。比較判定部５１は、第２平均輝度レベル算出部４の出力信号の信号レベルを所定のしきい値ｔｈと比較し、
（１）当該出力信号の信号レベルがしきい値ｔｈを超えている場合、判定結果を示す比較判定信号を「１」（２値信号の「１」に相当する信号レベル）にして、フラグ信号発生部５２に出力し、
（２）当該出力信号の信号レベルがしきい値ｔｈを超えていない場合、判定結果を示す比較判定信号を「０」（２値信号の「０」に相当する信号レベル）にして、フラグ信号発生部５２に出力する。
【００３９】
なお、所定のしきい値ｔｈは、撮像信号特定状態検出装置１００のシステム性能（カメラ性能）を考慮し、外部閃光を適切に検出することができる値に設定すればよい。例えば、撮像信号特定状態検出装置１００において、撮像部１から出力される撮像信号（ＡＧＣ等の処理がなされ、標準状態（カメラシステムにおいて所望される所定のダイナミックレンジとなるように調整された映像信号の状態）となっている撮像信号）のダイナミックレンジを０〜１００％（Ｗ０％の信号レベルを「０％」とし、Ｗ１００％の信号レベルを「１００％」）と表現するとき、所定のしきい値ｔｈを、好ましくは、６０％以上の所定の値、より好ましくは、７０％以上の所定の値、さらに好ましくは、１００％以上の所定の値に設定すればよい。なお、この設定例は、一例であり、これに限定されないことは言うまでもない。
【００４０】
フラグ信号発生部５２は、比較判定部５１から出力される比較判定信号を入力とし、比較判定信号が「１」である場合、フラグ信号（その出力されたフレームを特定するフラグ信号）を、信号補正部６に出力する。
＜１．２：撮像信号特定状態検出装置の動作＞
以上のように構成された本実施形態による撮像信号特定状態検出装置１００の動作について、図３（ａ）〜（ｅ）も用いて、以下詳細に説明する。
図３（ａ）〜（ｅ）は、図１及び図２に示す撮像信号特定状態検出装置１００の各部（ａ）〜（ｅ）の信号波形を示す信号波形図である。
外部閃光が発生した環境下で、撮像信号特定状態検出装置１００による撮影をおこなった場合、外部閃光により、撮像部１から出力される撮像信号により形成される画像（フレーム画像）において、図３（ａ）に示すように、白帯状の妨害が、例えば、（ｎ＋２）フレーム及び（ｎ＋３）フレームに発生したとする。そして、その他のフレームは、特に図示していないが、どのフレームも一様な明るさの被写体を撮像したフレーム（外部閃光の影響を受けていないフレーム）であるものとする。
【００４１】
このとき、第１平均輝度レベル算出部２の出力信号は、図３（ｂ）に示すようになる。第１平均輝度レベル算出部２の出力信号は、各フレーム毎の平均輝度レベルであるので、白帯状の妨害の大きい（ｎ＋３）のフレームにおいて、第１平均輝度レベル（第１平均輝度レベル算出部２の出力信号の信号レベル）は、大きな値となる。
次に、第１記憶部３の出力信号は、第１平均輝度レベル算出部２の出力信号を受け、記憶することにより１フレーム遅延した信号であるので、図３（ｃ）に示すような出力信号となる。
第２平均輝度レベル算出部４の出力信号は、第１平均輝度レベル算出部２及び第１記憶部３の出力信号を受け、それらの信号の平均値を算出するので、図３（ｄ）に示す出力信号となる。つまり、第２平均輝度レベル算出部４の出力信号は、現フレーム（処理対象フレーム）とその１フレーム前の信号の２フレーム分の平均値を算出して取得された信号であり、その結果、フラッシュ撮影（外部閃光）による白帯状の妨害が２フレームにまたがっても、その２フレーム分の輝度レベル平均値は、他のどの２フレーム分の輝度レベル平均値よりも大きくなる可能性が高い。
【００４２】
判定部５では、この第２平均輝度レベル算出部４の出力信号を監視して、フラッシュ（外部閃光）による白帯状の妨害を検出している。判定部５では、例えば、図２の示すように、比較判定部５１と、その出力信号を受けフラグ信号を出力するフラグ信号発生部５２と、を備えている。比較判定部５１は、上述した方法により、第２平均輝度レベル算出部４の出力信号の信号レベルを所定のしきい値ｔｈと比較し、比較判定結果を示す比較判定信号を取得する。具体的には、図３のＡで示す部分において、第２平均輝度レベル算出部の出力が、しきい値ｔｈ１を超えているので、比較判定部５１は、比較判定信号を「１」（２値信号の「１」に相当する信号レベル）にして、フラグ信号発生部５２に出力する。図３のそれ以外の部分では、第２平均輝度レベル算出部の出力は、しきい値ｔｈ１を超えていないので、比較判定部５１は、比較判定信号を「０」（２値信号の「０」に相当する信号レベル）にして、フラグ信号発生部５２に出力する。
【００４３】
フラグ信号発生部５２は、比較判定部５１から出力される比較判定信号を受け、図３（ｅ）に示すように、比較判定信号が「１」である場合に、そのフレーム（処理対象フレーム）が外部閃光の影響を受けていると判断し、当該フレームを特定するフラグ信号を出力する。図３の場合では、フラグ信号発生部５２は、Ａの部分において、フラグ信号を出力する。したがって、この場合、撮像信号特定状態検出装置１００では、（ｎ＋３）フレームが外部閃光の影響を受けているフレームであると特定され、その１フレーム前の（ｎ＋２）フレームも外部閃光の影響を受けていると判断することが可能となる。
このように、撮像信号特定状態検出装置１００では、判定部５から出力されるフラグ信号により、フラグ信号が出力されたフレームと、その１フレーム前のフレームに、外部閃光による白帯状妨害が発生していることが特定できる。
【００４４】
なお、比較判定部５１の出力信号をもって、フラグ信号としてもいいことは言うまでもない。
信号補正部６は、フラグ信号発生部５２から出力されるフラグ信号に基づいて、外部閃光の影響を受けているフレームを特定する。そして、信号補正部６は、外部閃光の影響を受けているフレームに相当する撮像信号（撮像部１から出力される撮像信号）に対しては、外部閃光の影響を受けているフレーム用の信号補正処理を行い、外部閃光の影響を受けていないフレームに相当する撮像信号（撮像部１から出力される撮像信号）に対しては、外部閃光の影響を受けていないフレーム用の信号補正処理を行う。
また、撮像信号特定状態検出装置１００では、白帯状妨害が発生しているフレーム位置を適切に知ることができるので、補正信号部６において、例えば、図９に示すように、白帯状の妨害を除去して他のフレーム信号と置き換える処理、もしくはＣＣＤ型撮像素子を用いる撮像装置の場合と同様なフラッシュ撮影時（外部閃光がある環境下での撮影時）の信号へ変換する処理等、種々の補正処理を簡単に実行することができることは言うまでもない。
【００４５】
［第２実施形態］
＜２．１：撮像信号特定状態検出装置２００の構成＞
図４は、本発明の第２実施形態における撮像信号特定状態検出装置２００の構成を示すブロック図である。
本実施形態の撮像信号特定状態検出装置２００が、第１実施形態の撮像信号特定状態検出装置１００と異なるところは、新たに、第２平均輝度レベル算出部４の出力信号を記憶する第２記憶部１０を備え、判定部１１が第２平均輝度レベル算出部４の出力信号と第２記憶部１０の出力信号とにより判定信号を出力するという点である。他の部分については第１実施形態と同様であり、同じ構成要素には同一の参照番号を付し、詳細な説明は省略する。
【００４６】
また、図５は、判定部１１の内部構成の一例を示すブロック図である。
図５に示すように、判定部１１は、差分演算部１１１と、フラグ信号発生部１１２と、有する。
差分演算部１１１は、第２平均輝度レベル算出部４の出力信号と、第２記憶部１０の出力信号と、を受けて、その２つの信号の差分をとり、その差分の信号を差分信号としてフラグ信号発生部１１２に出力する。
フラグ信号発生部１１２は、差分演算部１１１から出力される差分信号から、その信号の現フレームの信号と、その前の２フレームの信号の合計３フレームが特定のパターンの場合に、フラグ信号を出力する。
＜２．２：撮像信号特定状態検出装置２００の動作＞
以上のように構成された撮像信号特定状態検出装置２００の動作について、図６（ａ）〜（ｇ）、図７（ａ）〜（ｇ）、図８（ａ）〜（ｇ）も用いて、以下詳細に説明する。
【００４７】
図６（ａ）〜（ｇ）、図７（ａ）〜（ｇ）、図８（ａ）〜（ｇ）は、図４及び図５に示す本実施形態の各部（ａ）〜（ｇ）の信号波形を示す信号波形図である。
（２．２．１：図６に示す場合の動作）
第１実施形態と同様に、外部閃光が発生した環境下で、撮像信号特定状態検出装置２００による撮影をおこなった場合、外部閃光により、撮像部１から出力される撮像信号により形成される画像（フレーム画像）において、図６（ａ）に示すように、白帯状の妨害が例えば（ｎ＋２）フレーム及び（ｎ＋３）フレームに発生したとする。そして、その他のフレームは、特に図示していないが、どのフレームも一様な明るさの被写体を撮像したフレーム（外部閃光の影響を受けていないフレーム）であるものとする。
このとき、第１平均輝度レベル算出部２の出力信号は、図６（ｂ）に示すようになる。第１平均輝度レベル算出部２の出力信号は、各フレーム毎の平均輝度レベルであるので、白帯状の妨害の大きい（ｎ＋３）のフレームにおいて、第１平均輝度レベル（第１平均輝度レベル算出部２の出力信号の信号レベル）は、大きな値となる。
【００４８】
次に、第１記憶部３の出力信号は、第１平均輝度レベル算出部２の出力信号を受け、記憶することにより１フレーム遅延した信号であるので、図６（ｃ）に示すような出力信号となる。
第２平均輝度レベル算出部４の出力信号は、第１平均輝度レベル算出部２及び第１記憶部３の出力信号を受け、それらの信号の平均値を算出するので、図６（ｄ）に示す出力信号となる。つまり、第２平均輝度レベル算出部４の出力信号は、現フレーム（処理対象フレーム）とその１フレーム前の信号の２フレーム分の平均して取得された信号であり、その結果、フラッシュ撮影（外部閃光）による白帯状の妨害が２フレームにまたがっても、その２フレーム分の輝度レベル平均値は、他のどの２フレーム分の輝度レベル平均値よりも大きくなる可能性が高い。
【００４９】
第２記憶部１０の出力信号は、第２平均輝度レベル算出部４の出力信号を受け、第１記憶部３と同様に、記憶することにより、第２記憶部１０への入力信号を１フレーム遅延させる。つまり、第２記憶部１０から出力される信号は、第２記憶部１０へ入力される信号に対して、１フレーム遅延した信号となる。したがって、第２記憶部１０からの出力信号は、図６（ｅ）に示すような信号となる。
判定部１１では、この第２平均輝度レベル算出部４の出力信号と、第２記憶部１０の出力信号を受けて、フラッシュ（外部閃光）による白帯状の妨害を検出する。判定部１１では、例えば、図５に示すように、差分演算部１１１と、その出力信号（ｇ）を受けフラグ信号を出力するフラグ信号発生部１１２を備えている。差分演算部１１１は、第２平均輝度レベル算出部４の出力信号（ｄ）から第２記憶部１０の出力信号（ｅ）を減算することにより差分信号を取得する。差分演算部１１１で取得された差分信号は、図６（ｇ）に示すような信号となる。図６に示す場合、（ｎ＋３）フレームの白帯状妨害の大きいフレームで大きなプラスの差分信号が取得され、その１フレーム前の撮像信号に対する白帯状の妨害が少ないフレームである（ｎ＋２）フレームでは、プラスの差分信号が取得され、（ｎ＋３）フレームの１フレーム後のフレームである（ｎ＋４）フレームでは、マイナスの差分信号が取得される。つまり、「現フレームの１フレーム前」の差分信号の符号をＣ（ｎ＋２）（ｎは整数）、「現フレーム」の差分信号の符号をＣ（ｎ＋３）、「現フレームの１フレーム後」の差分信号の符号をＣ（ｎ＋４）、としたとき、
Ｃ（ｎ＋２）→「プラス」、
Ｃ（ｎ＋３）→「プラス」、
Ｃ（ｎ＋４）→「マイナス」、
である場合、現フレームである（ｎ＋３）フレームと、その１フレーム前のフレームである（ｎ＋２）フレームに、外部閃光の影響があると判定することができる。
【００５０】
フラグ信号発生部１１２は、差分信号のパターン（差分信号の符号の変化のパターン）を検出する。フラグ信号発生部１１２は、連続する３フレームにおいて、差分信号のパターンが上記のパターン、すなわち、「プラス」、「プラス」、「マイナス」であるパターン（以下、このパターンを「外部閃光検出用符号パターン」という。）のときに、差分信号がマイナス（差分信号の符号がマイナス）であるフレームの位置で、図６（ｆ）に示すフラグ信号を出力する。そして、その他のフレームでの差分演算部１１１により取得される差分信号は、被写体信号（撮像信号）の状況（信号レベル）が極端に変わらなければ、差分信号のレベルは、「０」か、「０」に近い小さなプラスの信号レベルか、「０」に近い小さなマイナスの信号レベルになる。したがって、撮像信号特定状態検出装置２００では、差分信号における上記パターンを容易に検出することができる。その結果、撮像信号特定状態検出装置２００において、白帯状の妨害のフレーム（外部閃光の影響を受けているフレーム）を見つけるのは容易である。
【００５１】
なお、フラグ信号発生部１１２において、外部閃光の影響を受けているフレームの検出精度を高めるために、差分信号の信号レベルの絶対値が所定のしきい値ｔｈ２より小さい場合は、差分信号の信号レベルを「０」とみなし、その差分信号の符号を「なし」とし、外部閃光検出用符号パターンに一致するか否かの判定対象から外すようにしてもよい。つまり、フラグ信号発生部１１２において、ｎフレームにおける差分信号の信号レベルをＤｉｆｆ（ｎ）（ｎは整数）とし、その絶対値をａｂｓ（Ｄｉｆｆ（ｎ））としたとき、以下の（１）〜（３）の全てを満たす場合、（ｎ＋２）フレームと（ｎ＋３）フレームとにおいて、外部閃光の影響を受けていると判断するようにすればよい。
（１）ａｂｓ（Ｄｉｆｆ（ｎ＋２））＞ｔｈ２、かつ、Ｄｉｆｆ（ｎ＋２）＞０
（２）ａｂｓ（Ｄｉｆｆ（ｎ＋３））＞ｔｈ２、かつ、Ｄｉｆｆ（ｎ＋３）＞０
（３）ａｂｓ（Ｄｉｆｆ（ｎ＋４））＞ｔｈ２、かつ、Ｄｉｆｆ（ｎ＋４）＜０
なお、上記判断例は、一例であり、別の方法でもよい。上記は、１次差分値を用いて符号による判断を行っているが、例えば、２次差分値を用いた方法（例えば、２次差分値を所定のしきい値と比較する方法）等により判断処理を行ってもよい。
【００５２】
（２．２．２：図７に示す場合の動作）
次に、図７に示す場合の撮像信号特定状態検出装置２００の動作について、説明する。
外部閃光が発生した環境下で、撮像信号特定状態検出装置１００による撮影をおこなった場合、外部閃光により、撮像部１から出力される撮像信号により形成される画像（フレーム画像）において、図７（ａ）示すようなパターンの白帯状の妨害が発生した場合の、各部の動作を図７（ｂ）〜（ｇ）に示している。
図７は、（ｎ＋２）フレーム及び（ｎ＋３）フレームに、同じようなレベル（画面ほぼ半分で白帯が２つのフレームに分かれる）の白帯状妨害が発生した場合の、図４及び図５に示す撮像信号特定状態検出装置２００の各部（ａ）〜（ｇ）の信号波形を示している。
この場合の差分演算部１１１の出力信号（ｇ）は、図７（ｇ）に示すように、同等レベルのプラス信号が２フレーム続いた後に、同等レベルのマイナスの差分信号が出力されるパターンとなる。
【００５３】
フラグ信号発生部１１２は、この差分信号のパターンを検出して、差分信号がマイナスのフレームの位置で、図７（ｆ）に示すフラグ信号を出力する。この場合も、その他のフレームでの差分演算部１１１から出力される差分信号は、被写体信号（撮像信号）の状況（信号レベル）が極端に変わらなければ、差分信号のレベルは、「０」か、「０」に近い小さいプラスの信号レベルか、「０」に近い小さいマイナスの信号レベルになる。したがって、撮像信号特定状態検出装置２００では、差分信号における上記パターンを容易に検出することができる。その結果、撮像信号特定状態検出装置２００において、白帯状の妨害のフレームを見つけるのは容易である。
（２．２．３：図８に示す場合の動作）
次に、図８に示す場合の撮像信号特定状態検出装置２００の動作について、説明する。
【００５４】
外部閃光が発生した環境下で、撮像信号特定状態検出装置２００による撮影をおこなった場合、外部閃光により、撮像部１から出力される撮像信号により形成される画像（フレーム画像）において、図８（ａ）示すようなパターンの白帯状の妨害が発生した場合の、各部の動作を図８（ｂ）〜（ｇ）に示している。
図８は、（ｎ＋２）フレームで大きな白帯状の妨害が発生し、（ｎ＋３）フレームでは小さな白帯状の妨害が発生した場合の、図４及び図５に示す撮像信号特定状態検出装置２００の各部（ａ）〜（ｇ）の信号波形を示している。
この場合の差分演算部１１１の出力信号（ｇ）は、図８（ｇ）に示すように、大きなプラス差分信号の後に、プラスの差分信号、さらに、その後に大きなマイナスの差分信号が出力されるパターンとなる。
【００５５】
フラグ信号発生部１１２は、この差分信号のパターンを検出して、差分信号がマイナスのフレームの位置で、図８（ｆ）に示すフラグ信号を出力する。この場合も、その他のフレームでの差分演算部１１１から出力される差分信号は、被写体信号（撮像信号）の状況（信号レベル）が極端に変わらなければ、差分信号のレベルは、「０」か、「０」に近い小さいプラスの信号レベルか、「０」に近い小さいマイナスの信号レベルになる。したがって、撮像信号特定状態検出装置２００では、差分信号における上記パターンを容易に検出することができる。その結果、撮像信号特定状態検出装置２００において、白帯状の妨害のフレームを見つけるのは容易である。
このように、本実施形態における撮像信号特定状態検出装置２００では、種々の白帯状の妨害パターンにおいて、フラグ信号を検出することで、フラグ信号が発生されたフレーム（図６〜８の（ｎ＋４）フレームに相当）の前のフレーム（図６〜８の（ｎ＋３）フレームに相当）と、さらにもう１フレーム前のフレーム（図６〜８の（ｎ＋２）フレームに相当）に、フラッシュ撮影（外光閃光）による白帯状妨害が発生していることを容易に特定することができる。
【００５６】
なお、上記では、フラグ信号を出力するパターンは、代表的な３パターン（図６〜８に示す３つのパターン）を例に挙げたが、その間のパターン（中間のパターン）も、差分信号の大きなプラス信号、大きなマイナス信号等の特徴を判定基準とすれば、本実施形態の撮像信号特定状態検出装置２００において、上記で説明した３パターンの場合と近いものとして同様に、フラグ信号により外光閃光の影響を受けているフレームを適切に検出できることは言うまでもない。
また、本実施形態の撮像信号特定状態検出装置２００では、図８のようなパターンの場合に、第１実施形態では検出しにくいパターンにおいても、検出することが可能であり、より精度良く、白帯状妨害が発生しているフレームを特定することができる。
また、撮像信号特定状態検出装置１００では、白帯状妨害が発生しているフレーム位置を適切に知ることができるので、第１実施形態と同様にして、補正信号部６において、例えば、図９に示すように、白帯状の妨害を除去して他のフレーム信号と置き換える処理、もしくはＣＣＤ型撮像素子を用いる撮像装置の場合と同様なフラッシュ撮影時（外部閃光がある環境下での撮影時）の信号へ変換する処理等、種々の補正処理を簡単に実行することができることは言うまでもない。
【００５７】
［他の実施形態］
なお、上記実施形態で説明した撮像信号特定状態検出装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００５８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像信号特定状態検出装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００５９】
本発明にかかる撮像信号特定状態検出装置、撮像信号特定状態検出方法、プログラムおよび集積回路は、近年ビデオカメラでも使われるようになってきたＣＭＯＳ型撮像素子を用いた撮像装置において、特に外部閃光となるフラッシュ等が焚かれる場合に発生する白帯状の妨害が発生しているフレーム信号を精度良く検出することができ、ＣＭＯＳ型撮像素子を用いるビデオカメラの撮像装置、あるいは撮像信号を取り扱う編集装置や蓄積装置等において、幅広く適用可能である。
【符号の説明】
【００６０】
１００、２００  撮像信号特定状態検出装置
１  撮像部
２  第１平均輝度レベル算出部
３  第１記憶部
４  第２平均輝度レベル算出部
５，１１  判定部
１０  第２記憶部
５１  比較判定部
５２、１１２  フラグ信号発生部
１１２  差分演算部
【図１】
2010273147.tif 000003
【図２】
2010273147.tif 000004
【図３】
2010273147.tif 000005
【図４】
2010273147.tif 000006
【図５】
2010273147.tif 000007
【図６】
2010273147.tif 000008
【図７】
2010273147.tif 000009
【図８】
2010273147.tif 000010
【図９】
2010273147.tif 000011
【図１０】
2010273147.tif 000012
【図１１】
2010273147.tif 000013
【図１２】
2010273147.tif 000014
【図１３】
2010273147.tif 000015