(57)【要約】【課題】スチルカメラ用フラッシュ等の外部閃光で照らされた被写体をＣＭＯＳ撮像装置で撮像すると、明るさが画面上下で分割されたような画像となるという課題があった。【解決手段】撮像装置１００は、撮像部１１と、画像メモリ部１と、レベル比較部２と、閾値比較部３と、閃光判定部４と、を備える。撮像部１１は、撮像素子を有し、被写体からの光を電気信号に変換して画像信号を出力する。画像メモリ部１は、画像信号を記憶する。レベル比較部２は、第１の画像信号のレベルと、画像メモリ部から出力され第１の画像信号を１フレーム分遅延させた第２の画像信号のレベルとを比較する。閾値比較部３は、レベル比較部から出力される比較結果と、閾値とを比較する。閃光判定部４は、閾値比較部からの出力が所定の状態に維持される時間を計測し、計測結果に応じて閃光の有無を判定する。【選択図】図２
2010283456.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を有し、被写体からの光を電気信号に変換して画像信号を出力する撮像部と、
画像信号を記憶する画像メモリ部と、
第１の画像信号のレベルと、前記画像メモリ部から出力され前記第１の画像信号を１フレーム分遅延させた第２の画像信号のレベルとを比較するレベル比較部と、
前記レベル比較部から出力される比較結果と、閾値とを比較する閾値比較部と、
前記閾値比較部からの出力が所定の状態に維持される時間を計測し、計測結果に応じて閃光の有無を判定する閃光判定部と、
を備える、撮像装置。
【請求項２】
レベル比較部は、前記第１の画像信号のレベルと前記第２の画像信号のレベルとの差分を前記比較結果として出力し、
前記閾値比較部は、前記差分がプラス側及びマイナス側のうち少なくとも一方において前記閾値を超える場合は、所定値を出力し、
前記閃光判定部は、前記閾値比較部より前記所定値が１フレーム分継続して出力された場合は、閃光検出を示す信号を出力する、
請求項１に記載の撮像装置。
【請求項３】
レベル比較部は、前記第１の画像信号のレベルと前記第２の画像信号のレベルとの差分を前記比較結果として出力し、
前記閾値比較部は、前記差分がプラス側及びマイナス側において前記閾値を超える場合は、プラス側及びマイナス側においてそれぞれ所定値を出力し、
前記閃光判定部は、前記閾値比較部より、プラス側及びマイナス側のうち一方の側において前記所定値が１フレーム分継続して出力され、更に他方の側において前記所定値が１フレーム分継続して出力された場合は、閃光検出を示す信号を出力する、
請求項１に記載の撮像装置。
【請求項４】
撮像素子を有し、被写体からの光を電気信号に変換して画像信号を出力する撮像部と、画像信号を記憶する画像メモリ部と、を備える撮像装置において用いられる集積回路であって、
第１の画像信号のレベルと、前記画像メモリ部から出力され前記第１の画像信号を１フレーム分遅延させた第２の画像信号のレベルとを比較するレベル比較部と、
前記レベル比較部から出力される比較結果と、閾値とを比較する閾値比較部と、
前記閾値比較部からの出力が所定の状態に維持される時間を計測し、計測結果に応じて閃光の有無を判定する閃光判定部と、
を備える、集積回路。
【請求項５】
撮像素子を有し、被写体からの光を電気信号に変換して画像信号を出力する撮像部と、画像信号を記憶する画像メモリ部と、を備える撮像装置において用いられる閃光検出方法であって、
第１の画像信号のレベルと、前記画像メモリ部から出力され前記第１の画像信号を１フレーム分遅延させた第２の画像信号のレベルとを比較するレベル比較ステップと、
前記レベル比較ステップにおける比較結果と、閾値とを比較する閾値比較ステップと、
前記閾値比較ステップの出力結果が所定の状態に維持される時間を計測し、計測結果に応じて閃光の有無を判定する閃光判定ステップと、
を備える、閃光検出方法。
【請求項６】
撮像素子を有し、被写体からの光を電気信号に変換して画像信号を出力する撮像部と、画像信号を記憶する画像メモリ部と、を備える撮像装置において用いられる閃光検出方法をコンピュータに実行させるプログラムであって、
第１の画像信号のレベルと、前記画像メモリ部から出力され前記第１の画像信号を１フレーム分遅延させた第２の画像信号のレベルとを比較するレベル比較ステップと、
前記レベル比較ステップにおける比較結果と、閾値とを比較する閾値比較ステップと、
前記閾値比較ステップの出力結果が所定の状態に維持される時間を計測し、計測結果に応じて閃光の有無を判定する閃光判定ステップと、
を備える閃光検出方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続画像を撮像するデジタルカメラやビデオカメラ等の撮像装置に活用される技術であって、スチルカメラ用フラッシュ等の外部閃光による悪影響を受けた画像を検出する技術に関する。
【背景技術】
【０００２】
近年、小型、低消費電力、高速撮像等の特徴をもつＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  以降ＣＭＯＳと記載）撮像素子を用いた撮像装置が、民生用ビデオカメラ及び業務用ビデオカメラの分野で躍進してきている
ＣＭＯＳ撮像素子は、従来のＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  以降ＣＣＤと記載）に比べ、種々の特徴をもつ。とりわけ、ＣＭＯＳ撮像素子では、フォトダイオード（Ｐｈｏｔｏ  Ｄｉｏｄｅ  以降ＰＤと記載）の電荷読み出しが、ＣＣＤのように全画素同一タイミングで読み出す（所謂グローバルシャッター）のではなく、ライン（画素）単位で読出しタイミングがずれていく（所謂ローリングシャッター）為、ＣＣＤにない弊害も発生する。それは、読出しタイミングがずれることによる、各画素の蓄積期間のタイミングがずれることに起因する。
【０００３】
その問題の一つに、スチルカメラ用フラッシュ等の外部閃光を含んだ被写体をＣＭＯＳ撮像装置で撮像すると、明るさが画面上下で異なるため分割されたような画像となる現象がある。
以下その現象について図５を用いて説明する。
図５は外部閃光を受けた時のＣＭＯＳ撮像素子の露光蓄積の様子を示した概念図である。図５に示すように、ＣＭＯＳ撮像素子は垂直同期信号に同期して１枚の画像を撮像している。垂直同期信号のＴ１のタイミングで画像２１の撮像が開始されるが、全画面同一時刻に露光蓄積を開始するのではなく、まず時刻ｔ０１で１ライン目の露光蓄積が開始され、１ライン目の露光蓄積が開始されてから所定の時間ｔが経過した時刻ｔ０２に２ライン目の露光蓄積が開始される。そして、以下同様にＣＭＯＳ撮像素子による１フレーム分の画像の撮像では、所定の時間ｔずつずらして、各ラインの露光蓄積が開始される。各水平ラインの露光蓄積は、露光蓄積の開始から、例えば１フレーム分の時間の経過後に終了し、その終了後に、各水平ラインの画素に蓄積された電荷を順次読み出す。
【０００４】
このように、ＣＭＯＳ撮像素子では各水平ラインの露光蓄積のタイミングがずれている。したがって、例えば図５のＴ２のタイミングでは、ＣＭＯＳ撮像素子の画面上側画素では画像２３の露光蓄積が行われ、画面下側画素では画像２２の露光蓄積が行われている。従って、このＴ２のタイミングでフラッシュ等の外部閃光が発生すると、その閃光の影響により画像２２は下部分が上部分よりも明るくなった不自然な画像となり、画像２３は上部分が下部分よりも明るくなった不自然な画像となる。
このような問題を解消るためには、まず外部閃光による悪影響を受けた画像を検出する必要がある。このための従来の撮像装置として、次のような装置が知られている（例えば、特許文献１参照）。
図６は、従来の撮像装置の構成例を示すブロック図である。この撮像装置は静止画像を主に記録するデジタルスチルカメラである。
【０００５】
図６において、撮像装置１１１は、レンズ部１１２、撮像部１１３、画像処理部１１４、バッファ１１５、記録表示処理部１１６、バッファ１１７、記録部１１８、表示部１１９、評価部１２０、記憶部１２１、操作部１２２、及び制御部１２３から構成される。
レンズ部１１２は、レンズ機構１３１、絞り（アイリス）機構１３２等の光学系を備え、そこに入射する被写体からの光を、撮像部１１３の撮像素子１４１上に集光させる。
撮像部１１３は、撮像素子１４１、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路１４２、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）回路１４３、シグナルジェネレータ（ＳＧ）１４４、およびタイミングジェネレータ（ＴＧ）１４５を備え、被写体を撮像し、その結果得られる画像信号を、画像処理部１１４に供給する。
撮像素子１４１は、ＣＭＯＳ撮像素子で構成され、レンズ部１１２を介して入射する被写体からの光を受光して光電変換することにより、電気信号としての画像信号を出力する。例えば、撮像素子１４１は、受光した光の量に応じて電荷を蓄積する複数の画素が、格子状の配置で平面状に敷き詰められて構成されており、タイミングジェネレータ１４５から供給される水平駆動信号と垂直駆動信号にしたがって、所定の露光時間だけレンズ部１１２からの光を受光する。撮像素子１４１の各画素には、受光した光の量に応じた電荷が蓄積され、撮像素子１４１は、その電荷を、アナログの画像信号として、ＣＤＳ回路１４２に供給する。
【０００６】
ＣＤＳ回路１４２は、撮像素子１４１から供給されたアナログの画像信号のノイズ成分を、相関２重サンプリングを施すことによって除去する。ＣＤＳ回路１４２は、ノイズ成分を除去した画像信号をＡ／Ｄ回路１４３に供給する。
Ａ／Ｄ回路１４３は、ＣＤＳ回路１４２からのアナログの画像信号をＡ／Ｄ変換し、その結果得られるデジタルの画像データを画像処理部１１４に供給する。
シグナルジェネレータ１４４は、制御部１２３の制御に基づいて、水平同期信号と垂直同期信号をそれぞれ発生し、タイミングジェネレータ１４５に出力する。
タイミングジェネレータ１４５は、シグナルジェネレータ１４４から供給された水平同期信号と垂直同期信号に基づいて、撮像素子１４１を駆動させるための水平駆動信号と垂直駆動信号をそれぞれ発生し、撮像素子１４１に供給する。
【０００７】
画像処理部１１４は、Ｙ−Ｃ分離回路１５１、フィルタ回路１５２，ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）回路１５３、およびアパコンガンマ回路１５４から構成され、撮像部１１３のＡ／Ｄ回路１４３から供給される画像データに、所定の画像処理を施す。画像処理部１１４は、画像信号に画像処理を施して生成した画像（画像データ）を、記録表示処理部１１６および評価部１２０に供給する。
Ｙ−Ｃ分離回路１５１は、撮像部１１３からの画像データを、輝度信号（Ｙ）とクロマ信号（Ｃ）とに分離するＹ−Ｃ分離処理を行う。
フィルタ回路１５２は、撮像部１１３からの画像データをフィルタリングし、その画像データに含まれるノイズ成分をカットするノイズリダクション処理を行う。
ＷＢ回路１５３は、例えば、白い被写体のＲ，Ｇ，Ｂレベルが等しくなるように、撮像部１１３からの画像データにゲインを乗算し、画像のホワイトバランスを調整する処理を行う。
【０００８】
アパコンガンマ回路１５４は、撮像部１１３からの画像データに対して、画像のエッジ部分を強調するアパーチャ補正や、画像の色合いを調整するガンマ補正等の画質を調整する処理を行う。
バッファ１１５には、画像処理部１１４が画像処理を行う際に、一時的に記憶させる必要がある画像データが記憶される。
記録表示処理部１１６には、画像処理部１１４から画像処理が施された画像（データ）が供給され、その画像を、記録部１１８に記録させる記録制御、および表示部１１９に表示させる表示制御を行う。
バッファ１１７には、記録表示処理部１１６が、記録制御や表示制御を行う際に、一時的に記憶させる必要があるデータが記憶される。
【０００９】
表示部１１９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）パネル等からなり、撮像部１１３により撮像され、記録表示処理部１１６から供給される画像を表示する。
評価部１２０は、画像の明るさや色の分布を検波する検波回路１６１を備え、撮像素子１４１により撮像された画像が画像処理部１１４から供給される。検波回路１６１は、撮像素子１４１により撮像され、画像処理部１１４から供給された画像を検波し、その結果得られる情報、例えば、画像の所定の部分の明るさや色の分布を示す情報や、画像の所定の部分の空間周波数を示す情報等を、撮像素子１４１により撮像された画像に対する評価値として出力する。評価部１２０は、検波回路１６１が出力する評価値を、制御部１２３に供給する。
【００１０】
記憶部１２１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、またはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等からなり、制御部１２３の図示しないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が実行するプログラムや、制御部１２３が処理を行う上で必要なデータ、撮像装置１１１の電源がオフにされたときでも保持しておく必要があるデータ等を記憶する。
操作部１２２は、例えば、図示しないシャッタボタンや録画ボタン等を備え、ユーザによって操作される。操作部１２２は、ユーザの操作に応じて、静止画像の撮像を要求する信号や、動画像の撮像の開始または停止を要求する信号を制御部１２３に供給する。
【００１１】
制御部１２３は、図示しないＣＰＵと、差分値を演算する演算回路１７１とを備えている。制御部１２３には、撮像素子１４１により撮像された画像に対する評価値が評価部１２０から供給され、評価部１２０から供給される評価値を記憶部１２１に一時的に記憶させる。
演算回路１７１は、所定の２つの評価値どうしの差分値を演算し、制御部１２３は、演算回路１７１により算出された差分値に基づいて、撮像装置１１１の各部を制御する。例えば、制御部１２３は、ユーザの操作に応じて静止画像または動画像が撮像された場合において、演算回路１７１により算出された差分値に基づいて、撮像装置１１１の各部を制御し、外部の閃光による悪影響を受けた画像と判断したらその画像を排除し、外部の閃光による悪影響を受けていない画像を記録部１１８に記録させる。
【００１２】
ここで、評価部１２０による評価は、比較対象画像の評価値と記録対象画像の評価値との差分値に基づき行われるものと、記録対象画像の垂直方向の明るさの差分に基づき行われるものが記載されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−３０６２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら上記従来の撮像装置では、比較対象画像の評価値と記録対象画像の評価値との差分値に基づき評価されると記載されているが、評価値に関して具体的な記載がなされていない。一方、記録対象画像の垂直方向の明るさの差分に基づく評価については、ＣＭＯＳ撮像装置へ悪影響を与えるスチルカメラ用フラッシュ等の外部閃光だけでなく、ＣＭＯＳ撮像装置へ悪影響を与えない、例えば街灯や車のヘッドライト等による急激な光量変化にも反応して誤検出する恐れがある。
それゆえに、本発明の目的は、上記従来の課題を解決するもので、正確にフラッシュ等の外部閃光のみを検出する撮像装置、撮像装置に用いられる集積回路、閃光検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
第１の発明は、撮像部と、画像メモリ部と、レベル比較部と、閾値比較部と、閃光判定部と、を備える撮像装置である。
撮像部は、撮像素子を有し、被写体からの光を電気信号に変換して画像信号を出力する。画像メモリ部は、画像信号を記憶する。レベル比較部は、第１の画像信号のレベルと、画像メモリ部から出力され第１の画像信号を１フレーム分遅延させた第２の画像信号のレベルとを比較する。閾値比較部は、レベル比較部から出力される比較結果と、閾値とを比較する。閃光判定部は、閾値比較部からの出力が所定の状態に維持される時間を計測し、計測結果に応じて閃光の有無を判定する。
ここで、画像信号のレベルとは、例えば、グリーンチャンネル、レッドチャンネル、ブルーチャンネル等の色信号のレベルや、輝度信号のレベルを含む。また、閾値比較部からの出力が所定の状態に維持される時間を計測するとは、例えば、閾値比較部が所定値を継続して出力する回数をカウントすることを含む。
【００１６】
ここでは、画像信号における外部閃光によるレベルの変化が、各フレームの露光時間が１フレーム期間と等しいときには、１フレーム区間の時間分だけ発生するという特性を利用して、１フレーム分の画像信号のレベル変化を検出する。これにより、例えば街灯や車のヘッドライト等による光量変化には反応せず、ＣＭＯＳ撮像装置へ悪影響を与える外部閃光のみを確実に検出することができる。
第２の発明は、第１の発明であって、レベル比較部は、第１の画像信号のレベルと第２の画像信号のレベルとの差分を比較結果として出力し、閾値比較部は、差分がプラス側及びマイナス側のうち少なくとも一方において閾値を超える場合は、所定値を出力し、閃光判定部は、閾値比較部より所定値が１フレーム分継続して出力された場合は、閃光検出を示す信号を出力する。
【００１７】
ここで、所定値とは、例えば、第１の画像信号のレベルと第２の画像信号のレベルとの差分が閾値を超える場合と越えない場合とで２値化した値である。
ここでは、第１の画像信号のレベルと第２の画像信号のレベルとの差分が閾値を越える状態が１フレーム分維持されたことを計測することによって、確実に外部閃光を検出できる。
第３の発明は、第１の発明であって、レベル比較部は、第１の画像信号のレベルと第２の画像信号のレベルとの差分を比較結果として出力し、閾値比較部は、差分がプラス側及びマイナス側において閾値を超える場合は、プラス側及びマイナス側においてそれぞれ所定値を出力し、閃光判定部は、閾値比較部より、プラス側及びマイナス側のうち一方の側において所定値が１フレーム分継続して出力され、更に他方の側において所定値が１フレーム分継続して出力された場合は、閃光検出を示す信号を出力する。
【００１８】
ここでは、第１の画像信号のレベルと第２の画像信号のレベルとの差分が閾値を越える状態が、プラス側及びマイナス側のそれぞれにおいて１フレーム分維持されたことを計測することによって、外部閃光検出の精度を向上させることができる。
第４の発明は、撮像素子を有し、被写体からの光を電気信号に変換して画像信号を出力する撮像部と、画像信号を記憶する画像メモリ部と、を備える撮像装置において用いられる集積回路であって、レベル比較部と、閾値比較部と、閃光判定部と、を備える。
レベル比較部は、第１の画像信号のレベルと、画像メモリ部から出力され第１の画像信号を１フレーム分遅延させた第２の画像信号のレベルとを比較する。閾値比較部は、レベル比較部から出力される比較結果と、閾値とを比較する。閃光判定部は、閾値比較部からの出力が所定の状態に維持される時間を計測し、計測結果に応じて閃光の有無を判定する。
【００１９】
ここでは、第１の発明と同様に、確実に外部閃光を検出できる。
第５の発明は、撮像素子を有し、被写体からの光を電気信号に変換して画像信号を出力する撮像部と、画像信号を記憶する画像メモリ部と、を備える撮像装置において用いられる閃光検出方法であって、レベル比較ステップと、閾値比較ステップと、閃光判定ステップとを備える。
レベル比較ステップでは、第１の画像信号のレベルと、画像メモリ部から出力され第１の画像信号を１フレーム分遅延させた第２の画像信号のレベルとを比較する。閾値比較ステップでは、レベル比較ステップにおける比較結果と、閾値とを比較する。閃光判定ステップでは、閾値比較ステップの出力結果が所定の状態に維持される時間を計測し、計測結果に応じて閃光の有無を判定する。
【００２０】
ここでは、第１の発明と同様に、確実に外部閃光を検出できる。
第６の発明は、撮像素子を有し、被写体からの光を電気信号に変換して画像信号を出力する撮像部と、画像信号を記憶する画像メモリ部と、を備える撮像装置において用いられる閃光検出方法をコンピュータに実行させるプログラムであって、レベル比較ステップと、閾値比較ステップと、閃光判定ステップとを備える。
レベル比較ステップでは、第１の画像信号のレベルと、画像メモリ部から出力され第１の画像信号を１フレーム分遅延させた第２の画像信号のレベルとを比較する。閾値比較ステップでは、レベル比較ステップにおける比較結果と、閾値とを比較する。閃光判定ステップでは、閾値比較ステップの出力結果が所定の状態に維持される時間を計測し、計測結果に応じて閃光の有無を判定する。
【００２１】
ここでは、第１の発明と同様に、確実に外部閃光を検出できる。
【発明の効果】
【００２２】
本発明によれば、例えば街灯や車のヘッドライト等による光量変化には反応せず、ＣＭＯＳ撮像装置へ悪影響を与える外部閃光のみを検出することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一の実施形態に係る撮像装置の全体構成を示す概略図
【図２】上記実施形態による閃光検出回路の構成を示すブロック図
【図３】レベル比較部の入出力特性を示すグラフ
【図４】閃光判定部の動作を表すタイミングチャート
【図５】外部閃光を受けた時のＣＭＯＳ撮像素子の露光蓄積の様子を示した概念図
【図６】従来の撮像装置の構成例を示すブロック図
【発明を実施するための形態】
【００２４】
以下、本発明に係わる撮像装置１００の実施の形態について、図面に基づいて詳細に説明する。
（第１の実施形態）
＜１．１．撮像装置１００の全体構成＞
本発明の一の実施形態に係る撮像装置の構成について、図１及び２を参照して説明する。
図１は、本発明の一の実施形態に係る撮像装置１００の全体構成を概略的に示す。撮像装置１００は、レンズ部１０と、撮像部１１と、画像処理部１２と、画像メモリ部１と、記録／再生処理部１３と、記録媒体１４と、画像表示部１５と、を備える。
レンズ部１０は、レンズ群と、絞り（アイリス）機構等（図示省略）の光学系を備える。なお、図１では１枚のレンズで表したが、実際は複数枚のレンズ群で構成される。レンズ部１０は、被写体の光を集光しその光学像を出力する。
【００２５】
撮像部１１は、ＣＭＯＳ撮像素子を備える。撮像部１１は、レンズ部１０より出力された被写体の光学像を入力とし、撮像素子により同光学像を電気信号に変換し、画像信号を出力する。撮像素子の各画素には、受光した光の量に応じた電荷を蓄積する。具体的には、撮像素子は、図６に示す装置と同様に、タイミングジェネレータにより供給される水平駆動信号と垂直駆動信号に応じて、所定の露光時間だけレンズ部１０からの光を受光する。
ここで、撮像部１１が被写体を撮像する際の各フレームの露光時間は、撮像部１１が撮像する画像信号の１フレーム期間と等しいものとする。例えば撮像部１１で撮像する画像信号のフレームレートが６０フレーム／秒であれば、１フレーム期間は１／６０秒であり、露光時間も１／６０秒となる。
【００２６】
なお、図示は省略しているが、撮像素子により光電変換された電気信号は、図６に示す装置と同様に、ＣＤＳ回路によりノイズ成分を除去され、Ａ／Ｄ回路によってＡ／Ｄ変換され、画像信号として出力される。
画像処理部１２は、撮像部１１より出力された画像信号を入力とし、画像信号に所定のカメラ処理を行う。所定のカメラ処理とは、例えばゲイン調整、黒レベル調整、白レベル調整、ノイズ除去、ディテール加算、ガンマ処理等の画像処理である。画像処理部１２はまた、後述するように、閃光検出回路５を有し、画像メモリ部１を用いてフラッシュ等の外部閃光を検出する。
なお、画像処理部１２は、外部閃光を検出した画像データを、図６の装置と同様に破棄するようにしてもよいし、所定の画像処理を行って閃光による影響を排除した上で出力するようにしてもよい。
【００２７】
画像メモリ部１は、画像処理部１２にて画像処理を施す際に、一時的に記憶させる必要がある画像信号（画像データ）を記憶する。
記録／再生処理部１３は、画像処理部１２から出力された画像信号を入力とし、所定の処理後、撮像装置１００外部や画像表示部１５に出力される。記録／再生処理部１３は、画像記録のための所定の処理、例えば画像情報圧縮処理、エラー訂正フラグ付加、シャフリング等の処理を施して記録信号を生成し、記録媒体１４への記録を行う。再生時、記録／再生処理部１３は、記録媒体１４から記録信号を読み出し、画像再生のための所定の処理、例えばデシャフリング、エラー訂正、エラー修正、画像情報伸張処理等の処理を施し、再生信号を作成する。
画像表示部１５は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）パネル等からなり、画像信号を表示させてユーザが撮像画像を確認するために用いる。画像表示部１５は、記録／再生処理部１３により処理された再生信号を画像として表示させるとともに、撮像装置１００外部へ出力する。
【００２８】
＜１．２．撮像装置１００の動作＞
レンズ部１０より出力される被写体の光学像は、撮像部１１に入力され、電気信号に変換され、画像信号として出力される。撮像部１１より出力された画像信号は、画像処理部１２に入力され、所定の画像処理を施される。画像信号に対してはまた、後述するように、閃光検出回路５により閃光の有無の判定がなされる。画像処理部１２より出力された画像信号は、記録／再生処理部１３により処理され、記録信号として記録媒体１４に記録されたり、再生信号として画像表示部１５により表示されたり或いは外部に出力される。
＜１．３．閃光検出＞
＜１．３．１．閃光検出回路５の構成＞
図２は、フラッシュ等の外部閃光の検出を行う閃光検出回路５の構成を示すブロック図である。なお、本実施形態では、画像信号は、各フレームについて、各画素がラスター順に伝送されるものとする。
【００２９】
図２において図１と同一符号は同一構成を示している。閃光検出回路５は、レベル比較部２と、閾値比較部３と、閃光判定部４とを備える。
レベル比較部２は、画像処理部１２に入力された画像信号（第１の画像信号）と、画像メモリ部１において一時的に格納され一フレーム分だけ遅延された画像信号（第２の画像信号）とを入力とし、二つの画像信号のレベル比較結果を示す信号を出力する。
閾値比較部３は、レベル比較部２より出力されたレベル比較結果を示す信号を、閾値と比較し、その比較結果である論理レベルを示す信号を出力する。
閃光判定部４は、フレームカウンタを有し、閾値比較部３より出力された論理レベルを示す信号を入力とし、論理レベルが入力される回数をカウントする。フレームカウンタは、１フレームをライン毎にカウントするラインカウンタであってもよいし、画素毎にカウントするものであってもよい。
【００３０】
＜１．３．２．閃光検出回路５の動作＞
以下、閃光検出回路５の動作について、図２から図４を参照して説明する。
閃光検出回路５に入力された画像信号は、画像メモリ部１にて１フレームに相当する時間だけフレーム遅延処理が施される。その遅延処理を施された後の信号のレベルと、閃光検出回路５に入力されている遅延させていない信号のレベルとを、レベル比較部２に入力し、比較する。
ここでいうレベルとは、具体的には、グリーンチャンネル、レッドチャンネル、ブルーチャンネル等の色信号のレベルでもよいし、複数チャンネルの色信号をある比率で加算平均した、例えば輝度信号のレベルでもよい。
比較の一例として、例えばフレーム遅延させていない信号のレベルからフレーム遅延後の信号レベルを画素単位で減算処理する。
【００３１】
図３は、レベル比較部２の入出力特性を示す。横軸に時間、縦軸にレベルを表した３つのグラフを、時間軸を揃えて記載している。グラフ上には、各フレーム期間内に、１フレームの画像信号の各画素のレベルがラスター順に現れることになる。また、外部閃光の発光期間は画像信号の露光時間に比べて十分に短く、ほぼ０とみなせるものとする。
図３において、グラフ２Ａは、レベル比較部２に入力されるフレーム遅延させていない信号（閃光検出回路５に入力されている信号）を示し、グラフ２Ｂは、レベル比較部２に入力されるフレーム遅延後の信号（閃光検出回路に入力される信号を画像メモリ部１に格納し１フレーム遅延させた信号）を示し、グラフ２Ｃは、レベル比較部２から出力される、グラフ２Ａからグラフ２Ｂを減算した演算結果を示す。なお、動画像を連続的に撮像する場合、本来は水平走査期間や垂直走査期間等、画像が存在しない期間が生じるが、図示上のグラフは便宜的にそれらを省略して記載している。
【００３２】
入力される動画像の被写体がすべて静止し、明るさも変化しない場合は、レベル比較部２の演算結果は、例えばグラフ２Ｃにおける最初の１フレーム期間のように常にゼロとなる。一方、被写体が動いている場合は、フレーム間の動き成分が演算結果に現れる。
図５で示したように、外部閃光を含んだ被写体をＣＭＯＳ撮像装置で撮像すると、明るさが画面上下で分割されたような画像となるが、この外部閃光により輝度レベルが高くなる画像は、各フレームの露光時間が１フレーム期間と等しいときには、１フレーム区間の時間分だけ発生するという特徴がある。なお、各フレームの露光時間が１フレーム期間と等しいときとは、例えば、撮像装置１００がシャッター・オフ状態の場合である。撮像装置１００がシャッター・オン状態の場合は、各フレームの露光時間は１フレーム期間より短くなる。したがって、本実施形態に係る外部閃光の検出を実行する前に撮像装置１００のシャッター動作をオンからオフに切り替えるようにしてもよい。
【００３３】
ここで図３において、時刻Ｔ３のタイミングで画像信号に外部閃光が現れた場合、グラフ２Ａでは、時刻Ｔ３のタイミングで外部閃光の明るさの分だけレベルが高くなり、時刻Ｔ３から１フレーム時間後の時刻Ｔ４のタイミングで外部閃光の影響がなくなりレベルが低くなる。フレーム遅延させているグラフ２Ｂでは、時刻Ｔ４のタイミングで外部閃光の影響が始まる。そして、フレーム遅延させていない信号のレベルからフレーム遅延後の信号レベルを減算処理した結果のグラフ２Ｃでは、外部閃光が現れた時刻Ｔ３のタイミングでレベルが増大し、フラッシュ光の影響がなくなった時刻Ｔ４のタイミングでレベルの極性がマイナスとなる特徴を示す。レベル比較部２は、この演算値をレベル比較結果として出力する。
レベル比較部２で得られたレベル比較結果は閾値比較部３に入力され、プラス極性側の閾値とマイナス極性側の閾値の２つの値と比較される。そして、プラス側比較結果とマイナス側比較結果の２つの信号が出力される。例えばプラス側比較結果は、入力されたレベル比較結果の値とプラス極性側の閾値とを比較して、レベル比較結果の値がプラス極性側の閾値よりも大きい場合は論理レベル１の値を出力し、レベル比較結果の値がプラス極性側の閾値よりも小さい場合は論理レベル０の値を出力する。同様にマイナス側比較結果は、入力されたレベル比較結果の値とマイナス側極性側の閾値とを比較して、レベル比較結果のマイナス値の絶対値がマイナス極性側の閾値よりも大きい場合は論理レベル１の値を出力し、レベル比較結果のマイナス値の絶対値がマイナス極性側の閾値よりも小さい場合は論理レベル０の値を出力する。なお、それぞれの閾値は被写体の急激な光量変化により発生するレベルには反応しないような値を選定しておく。
【００３４】
閾値比較部３から出力された、プラス側比較結果とマイナス側比較結果の２つの信号は閃光判定部４に入力される。閃光判定部４には１フレーム分の時間を計測できるフレームカウンタが設けられている。
次に、図４を参照して、閃光判定部４の動作を説明する。
図４は、閃光判定部４の動作を表すタイミングチャートである。最初にプラス側比較結果入力を監視し、プラス側比較結果が論理レベル１となった場合にフレームカウンタがカウントアップを開始する。プラス側比較結果が論理レベル０になった場合はカウンタ値を０にリセットする。フレームカウンタが１フレームの時間分カウントされれば、次にマイナス側比較結果入力の監視に入る。マイナス側比較結果が論理レベル１となった場合に閃光を検出したと判断して、例えば論理レベル１の閃光検出信号を出力する。そしてフレームカウンタを０にリセットし、閃光判定部４は、プラス側比較結果入力を監視する初期状態に戻る。閃光検出信号は、次の処理で使用するためにある程度検出状態を保持するホールド処理を施してもよい。
【００３５】
このような構成をとることにより、例えば街灯や車のヘッドライト等による急激な光量変化では、フレームの時間分カウント後にマイナス側の論理レベルが１となることはないため、閃光検出信号は出力されず、フラッシュ等の閃光の場合の検出信号が出力さされる。具体的には次の通りである。
外部閃光のみを検出して、他の要因から生じる急激な光量変化には反応しない状況を、明るい街灯が撮影されている場合を例として説明する。まず、明るい街灯が画像内で静止している場合は、図２のレベル比較部２に入力される１フレーム分の時間差をもった２つの画像はまったく同一レベルとなり、レベル比較部２の演算結果は、ゼロとなる。よって本実施形態の撮像装置１００は、このような街灯の画像から閃光検出することはありえない。次に、消灯している街灯が点灯して明るくなった瞬間や、街灯を撮影しているカメラがパンやチルト等の動作を行い街灯が写る位置が変わった時等は、図２のレベル比較部２に入力される１フレーム分の時間差をもった２つの画像の輝度に差異が生じる。しかし、その生じた差異は通常、画像内のごく一部であり、１フレーム分の画素すべてにおいて差異が生じることはない。この場合、図２の閃光判定部４に設けたフレームカウンタが１フレームの時間分カウントする前に図２の閾値比較部３から出力されたプラス側比較結果が論理レベル０となり、閃光判定部４のフレームカウンタは０にリセットされる。よってこのような街灯の画像から本実施形態による撮像装置１００が閃光検出することはありえない。
【００３６】
＜１．４．実施形態の効果＞
本実施形態によるＣＭＯＳ撮像装置１００では、画像信号における外部閃光によるレベルの変化が、各フレームの露光時間が１フレーム期間と等しいときには、１フレーム区間の時間分だけ発生するという特性を利用して、１フレーム分の画像信号のレベル変化を検出する。これにより、例えば街灯や車のヘッドライト等による光量変化には反応せず、ＣＭＯＳ撮像装置へ悪影響を与える外部閃光のみを確実に検出することができる。
また、本実施形態によるＣＭＯＳ撮像装置１００では、他の画像処理に必要な既存のフレームメモリを利用することができるため、閃光検出専用にメモリを設ける必要がない。
＜２．変形例＞
上記実施の形態においては、閃光判定部４は、プラス側比較結果が論理レベル１を出力する時間を１フレーム分カウントし、次にマイナス側比較結果が論理レベル１となった場合に閃光を検出したと判断している。これに代えて、閃光判定部４は、プラス側比較結果が論理レベル１を出力する時間を１フレーム分カウントし、更にマイナス側比較結果が論理レベル１を出力する時間を１フレーム分カウントした場合は、閃光を検出したと判断するようにしてもよい。これにより、閃光検出の精度を一層向上させることができる。
【００３７】
（他の実施形態）
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩ等の半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００３８】
本発明は、民生用ムービーや業務用動画カメラや報道に使用されるような放送用動画カメラ等の撮像装置、その画像を記録編集するレコーダー、もしくは画像処理装置等として有用である。
【符号の説明】
【００３９】
１  画像メモリ部
２  レベル比較部
３  閾値比較部
４  閃光判定部
１０  レンズ部
１１  撮像部
１２  画像処理部
１３  記録／再生処理部
１４  記録媒体
１５  画像表示部
１１１  撮像装置
１１２  レンズ部
１１３  撮像部
１１４  画像処理部
１１５  バッファ
１１６  記録表示処理部
１１７  バッファ
１１８  記録部
１１９  表示部
１２０  評価部
１２１  記憶部
１２２  操作部
１２３  制御部
１３１  レンズ機構
１３２  絞り（アイリス）機構
１４１  撮像素子
１４２  ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路
１４３  Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）回路
１４４  シグナルジェネレータ（ＳＧ）
１４５  タイミングジェネレータ（ＴＧ）
１５１  Ｙ−Ｃ分離回路
１５２  フィルタ回路
１５３  ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）回路
１５４  アパコンガンマ回路
１６１  検波回路
１７１  演算回路 
【図１】
2010283456.tif 000003
【図２】
2010283456.tif 000004
【図３】
2010283456.tif 000005
【図４】
2010283456.tif 000006
【図５】
2010283456.tif 000007
【図６】
2010283456.tif 000008