(57)【要約】【課題】フラッシュ等の外部閃光下において、ＣＭＯＳ撮像素子を用いた撮像装置で被写体を撮像する場合、白帯状の妨害の補正を適切に行うことができないという課題がある。【解決手段】画面内の外部閃光の影響を受けた領域と、外部閃光の影響を受けていない領域の平均輝度レベルとの比からゲイン係数を算出し、該ゲイン係数を用いて補正することで、元の撮像信号の情報は残したまま、画像の一部のみに発生する白帯状の妨害は除去し、且つ、外部閃光により画面全体が明るくなった画像も生成することができる。また両領域の境界が画面の上側か否かで処理を変えることにより、必要となるフレームメモリの遅延量は１／２フレーム程度となるため、回路規模および処理遅延量を抑制することが可能である。【選択図】図１
2011193194.tif 000002
【特許請求の範囲】
【請求項１】
被写体から入射する光信号を電気信号に変換し、１フレームを構成するライン数Ｎ（Ｎ＝２ｎまたは２ｎ−１（ｎは正整数））の映像信号を出力する撮像部と、
前記撮像部が出力する映像信号について、外部閃光の影響により輝度レベルの増加が開始するＭ−１番目（Ｍは整数）のフレームにおけるライン位置ｍと、輝度レベルの増加が終了するＭ番目のフレームにおけるライン位置ｍ−１とを検出する閃光検出部と、
前記ライン位置ｍが１フレームを構成するライン数Ｎの中間ライン位置以下の時（ｍ≦ｎ）は、Ｍ−１番目のフレームの映像信号におけるライン位置１からライン位置ｍ−１までのラインの平均輝度レベルと、ライン位置ｍからライン位置ｎまでのラインの平均輝度レベルとを基にゲイン係数ｋを算出し、前記ライン位置ｍが前記中間ライン位置を越える時（ｍ＞ｎ）は、Ｍ−１番目のフレームのライン位置１からライン位置ｍ−１までのラインの平均輝度レベルと、Ｍ−１番目のフレームのライン位置ｍからライン位置Ｎまでのラインの平均輝度レベルとを基にゲイン係数ｋを算出するゲイン検出部と、
前記ライン位置ｍが前記中間ライン位置以下の時（ｍ≦ｎ）は、Ｍ−１番目のフレームのライン位置１からライン位置ｍ−１のラインの映像信号の輝度レベルをｋ倍し、Ｍ番目のフレームのライン位置１からライン位置ｍ−１のラインの映像信号の輝度レベルを１／ｋ倍し、前記ライン位置ｍが前記中間ライン位置を越える時（ｍ＞ｎ）は、Ｍ−１番目のフレームのライン位置ｍからライン位置Ｎのラインの映像信号の輝度レベルを１／ｋ倍し、Ｍ番目のフレームのライン位置ｍからライン位置Ｎのラインの映像信号の輝度レベルをｋ倍するゲイン調整部と、
を備える撮像装置。
【請求項２】
被写体から入射する光信号を電気信号に変換し、１フレームを構成するライン数Ｎ（Ｎ＝２ｎまたは２ｎ−１（ｎは正整数））の第１の映像信号を出力する撮像部と、
前記第１の映像信号を入力として１／２フレーム遅延した第２の映像信号を出力するフレームメモリと、
前記第１の映像信号のライン毎の輝度レベルの加算平均値をライン評価値として算出するライン加算平均算出部と、
外部閃光の影響により前記ライン評価値が増加し始めるＭ−１番目のフレームのラインのライン位置ｍを検出し一時的に記憶すると共に、前記ライン位置ｍが１フレームを構成するライン数Ｎの中間ライン位置以下（ｍ≦ｎ）であるか否かを示す位置判定フラグｆを生成して記憶するライン判定部と、
前記ライン判定部に記憶されたライン位置ｍおよび位置判定フラグｆに対して、前記第１の映像信号がＭ−１番目のフレームの映像信号であるタイミングで前記Ｍ−１番目のフレームの映像信号のライン位置１からライン位置ｍ−１までのラインの前記ライン評価値の加算平均値Ａ１，ｍ−１を第１のブロック加算平均値Ａとして算出すると共に、前記位置判定フラグｆにより前記ライン位置ｍが前記中間ライン位置以下（ｍ≦ｎ）であることを示す場合には、ライン位置ｍからライン位置ｎまでのラインの前記ライン評価値の加算平均値Ｂｍ，ｎを、前記位置判定フラグｆにより前記ライン位置ｍが前記中間ライン位置を越えること（ｍ＞ｎ）を示す場合には、ライン位置ｍからライン位置Ｎまでのラインの前記ライン評価値の加算平均値Ｂｍ，Ｎを、第２のブロック加算平均値Ｂとして算出するブロック加算平均算出部と、
前記第１のブロック加算平均値Ａと前記第２のブロック加算平均値Ｂとからゲイン係数ｋを算出して記憶するゲイン算出部と、
前記位置判定フラグｆにより前記ライン位置ｍが前記中間ライン位置以下（ｍ≦ｎ）であることを示す場合には、前記第２の映像信号がＭ−１番目のフレームの映像信号であるタイミングで前記Ｍ−１番目のフレームの映像信号のライン位置１からライン位置ｍ−１のラインの輝度レベルをｋ倍し、前記第２の映像信号がＭ番目のフレームの映像信号であるタイミングで前記Ｍ番目のフレームの映像信号のライン位置１からライン位置ｍ−１のラインの輝度レベルを１／ｋ倍し、前記位置判定フラグｆにより前記ライン位置ｍが前記中間ライン位置を越えること（ｍ＞ｎ）を示す場合には、前記第２の映像信号がＭ−１番目のフレームの映像信号であるタイミングで前記Ｍ−１番目のフレームの映像信号のライン位置ｍからライン位置Ｎのラインの輝度レベルを１／ｋ倍し、前記第２の映像信号がＭ番目のフレームの映像信号であるタイミングで前記Ｍ番目のフレームの映像信号のライン位置ｍからライン位置Ｎのラインの輝度レベルをｋ倍するゲイン調整部と、
を備える撮像装置。
【請求項３】
被写体から入射する光信号を電気信号に変換し、１フレームを構成するライン数Ｎ（Ｎ＝２ｎまたは２ｎ−１（ｎは正整数））の映像信号を出力する撮像部と、
前記撮像部が出力する映像信号について、外部閃光の影響により輝度レベルの増加が開始するＭ１番目（Ｍ１は整数）のフレームにおけるライン位置ｍ１（ｍ１は整数）と、輝度レベルの増加が終了するＭ２番目（Ｍ２は整数）のフレームにおけるライン位置ｍ２（ｍ２は整数）とを検出する閃光検出部と、
前記ライン位置ｍ１が１フレームを構成するライン数Ｎの中間ライン位置以下の時（ｍ１≦ｎ）は、Ｍ１番目のフレームの映像信号におけるライン位置１からライン位置ｍ１−１までのラインの平均輝度レベルと、ライン位置ｍ１からライン位置ｎまでのラインの映像信号の輝度レベルとを基にゲイン係数ｋ１を算出し、前記ライン位置ｍ１が前記中間ライン位置を越える時（ｍ１＞ｎ）は、Ｍ１番目のフレームの映像信号におけるライン位置１からライン位置ｍ１−１までのラインの平均輝度レベルと、ライン位置ｍ１からライン位置Ｎまでのラインの平均輝度レベルとを基にゲイン係数ｋ１を算出し、前記ライン位置ｍ２が前記中間ライン位置以下の時（ｍ２≦ｎ）は、Ｍ２番目のフレームの映像信号におけるライン位置１からライン位置ｍ２−１までのラインの平均輝度レベルと、ライン位置ｍ２からライン位置ｎまでのラインの平均輝度レベルとを基にゲイン係数ｋ２を算出し、前記ライン位置ｍ２が前記中間ライン位置を越える時（ｍ２＞ｎ）は、Ｍ２番目のフレームの映像信号におけるライン位置１からライン位置ｍ２−１までのラインの平均輝度レベルと、ライン位置ｍ２からライン位置Ｎまでのラインの平均輝度レベルとを基にゲイン係数ｋ２を算出するゲイン検出部と、
前記ライン位置ｍ１が前記中間ライン位置以下の時（ｍ１≦ｎ）は、Ｍ１番目のフレームのライン位置１からライン位置ｍ１−１のラインの映像信号の輝度レベルをｋ１倍し、前記ライン位置ｍ１が前記中間ライン位置を越える時（ｍ１＞ｎ）は、Ｍ１番目のフレームのライン位置ｍ１からライン位置Ｎのラインの映像信号の輝度レベルを１／ｋ１倍し、前記ライン位置ｍ２が前記中間ライン位置以下の時（ｍ２≦ｎ）は、Ｍ２番目のフレームのライン位置１からライン位置ｍ２−１のラインの映像信号の輝度レベルを１／ｋ２倍し、前記ライン位置ｍ２が前記中間ライン位置を越える時（ｍ２＞ｎ）は、Ｍ２番目のフレームのライン位置ｍ２からライン位置Ｎのラインの映像信号の輝度レベルをｋ２倍するゲイン調整部と、
を備える撮像装置。
【請求項４】
被写体から入射する光信号を電気信号に変換し、１フレームを構成するライン数Ｎ（Ｎ＝２ｎまたは２ｎ−１（ｎは正整数））の第１の映像信号を出力する撮像部と、
前記第１の映像信号を入力として１／２フレーム遅延した第２の映像信号を出力するフレームメモリと、
前記第１の映像信号のライン毎の輝度レベルの加算平均値をライン評価値として算出するライン加算平均算出部と、
外部閃光の影響により前記ライン評価値が増加し始めるＭ１番目のフレームのラインのライン位置ｍ１および前記ライン評価値が減少し始めるＭ２番目のフレームのラインのライン位置ｍ２を検出し一時的に記憶すると共に、前記ライン位置ｍ１およびライン位置ｍ２が各々１フレームを構成するライン数Ｎの中間ライン位置以下（ｍ１≦ｎおよびｍ２≦ｎ）であるか否かを示す位置判定フラグｆ１およびｆ２を生成して記憶するライン判定部と、
前記ライン判定部に記憶されたライン位置ｍ１および位置判定フラグｆ１に対して、前記第１の映像信号がＭ１番目のフレームの映像信号であるタイミングで前記Ｍ１番目のフレームの映像信号のライン位置１からライン位置ｍ１−１までのラインの前記ライン評価値の加算平均値Ａ１，ｍ１−１を第３のブロック加算平均値Ａ１として算出すると共に、前記位置判定フラグｆ１により前記ライン位置ｍ１が前記中間ライン位置以下（ｍ１≦ｎ）であることを示す場合には、ライン位置ｍ１からライン位置ｎまでのラインの前記ライン評価値の加算平均値Ｂｍ１，ｎを、前記位置判定フラグｆ１により前記ライン位置ｍ１が前記中間ライン位置を越える時（ｍ１＞ｎ）は、ライン位置ｍ１からライン位置Ｎまでのラインの前記ライン評価値の加算平均値Ｂｍ１，Ｎを、第４のブロック加算平均値Ｂ１として算出し、前記ライン判定部に記憶されたライン位置ｍ２および位置判定フラグｆ２に対して、前記第１の映像信号がＭ２番目のフレームの映像信号であるタイミングで前記Ｍ２番目のフレームの映像信号のライン位置１からライン位置ｍ２−１までのラインの前記ライン評価値の加算平均値Ａ１，ｍ２−１を第５のブロック加算平均値Ａ２として算出すると共に、前記位置判定フラグｆ２により前記ライン位置ｍ２が前記中間ライン位置以下（ｍ２≦ｎ）であることを示す場合には、ライン位置ｍ２からライン位置ｎまでのラインの前記ライン評価値の加算平均値Ｂｍ２，ｎを、前記位置判定フラグｆ２により前記ライン位置ｍ２が前記中間ライン位置を越える時（ｍ２＞ｎ）は、ライン位置ｍ２からライン位置Ｎまでのラインの前記ライン評価値の加算平均値Ｂｍ２，Ｎを、第６のブロック加算平均値Ｂ２として算出するブロック加算平均算出部と、
前記第３のブロック加算平均値Ａ１と前記第４のブロック加算平均値Ｂ１とからゲイン係数ｋ１を算出し、前記第５のブロック加算平均値Ａ２と前記第６のブロック加算平均値Ｂ２とからゲイン係数ｋ２を算出して記憶するゲイン算出部と、
前記位置判定フラグｆ１により前記ライン位置ｍ１が前記中間ライン位置以下（ｍ１≦ｎ）であることを示す場合には、前記第２の映像信号がＭ１番目のフレームの映像信号であるタイミングで前記Ｍ１番目のフレームの映像信号のライン位置１からライン位置ｍ１−１のラインの輝度レベルをｋ１倍し、前記位置判定フラグｆ１により前記ライン位置ｍ１が前記中間ライン位置を越えること（ｍ１＞ｎ）を示す場合には、前記第２の映像信号がＭ１番目のフレームの映像信号であるタイミングで前記Ｍ１番目のフレームの映像信号のライン位置ｍ１からライン位置Ｎのラインの輝度レベルを１／ｋ１倍し、前記位置判定フラグｆ２により前記ライン位置ｍ２が前記中間ライン位置以下（ｍ２≦ｎ）であることを示す場合には、前記第２の映像信号がＭ２番目のフレームの映像信号であるタイミングで前記Ｍ２番目のフレームの映像信号のライン位置１からライン位置ｍ２−１のラインの輝度レベルを１／ｋ２倍し、前記位置判定フラグｆ２により前記ライン位置ｍ２が前記中間ライン位置を越えること（ｍ２＞ｎ）を示す場合には、前記第２の映像信号がＭ２番目のフレームの映像信号であるタイミングで前記Ｍ２番目のフレームの映像信号のライン位置ｍ２からライン位置Ｎのラインの輝度レベルをｋ２倍するゲイン調整部と、
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スチルカメラ等のフラッシュがビデオ用の動画の撮影時に及ぼす白帯状の妨害を緩和できる撮像装置に関する。
【背景技術】
【０００２】
近年、小型、低消費電力、高速撮像等の特徴をもつＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子を用いた撮像装置が、民生用ビデオカメラ及び業務用ビデオカメラの分野で躍進してきている。
【０００３】
ＣＭＯＳ撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）に比べて種々の特徴をもつが、フォトダイオード（Ｐｈｏｔｏ  Ｄｉｏｄｅ：以降ＰＤと記載）の電荷読み出しがＣＣＤのように全画素で同一タイミング（所謂グローバルシャッター）でなく、ライン（画素）単位で読み出しタイミングがずれていく（所謂ローリングシャッター）為、ＣＣＤにない弊害も発生する。それは読み出しタイミングがずれる為、各画素の蓄積期間のタイミングがずれることに起因する。
【０００４】
その問題の一つに、スチルカメラ等のフラッシュ光が焚かれている被写体をＣＭＯＳ撮像素子のビデオカメラで撮像すると、白帯状の妨害が発生するという現象が挙げられる。白帯状の妨害とは、ここでは撮像した画像のあるフレームの一部だけがフラッシュ光の影響を受け、途中のラインから上、または下だけが明るくなる現象を指す。
【０００５】
以下その現象について、図１５および図１６を用いて説明する。図１５は、ビデオカメラとスチルカメラが混在する撮影風景、例えば記者会見等の撮影風景を示す図である。
【０００６】
図１５は、ビデオカメラ１００と、その撮像信号を映すモニター１０１、スチルカメラ１０２、１０３、および被写体１０４より構成される撮影風景を示している。ビデオカメラ１００はＣＭＯＳ撮像素子を用いている。
【０００７】
このような撮影風景においてスチルカメラ１０２、１０３でフラッシュが焚かれると、ビデオカメラ１００の撮像信号を映すモニター１０１の画面に白帯状の妨害が発生する。
【０００８】
以下、その原理を説明する。図１６は、ビデオカメラ１００の蓄積期間（露光期間）と、読み出し走査期間を模式化した図である。図１６において、画面を構成する各走査ラインの電荷蓄積期間およびその電荷を読み出すための走査期間を、時間軸を横軸に取って表している。走査ラインの総数は、ＨＤカメラを想定して１１２５ラインとする。また、モニター画面０期間とは、フレーム０の撮像信号をモニター画面等に出力する期間であり、ここでは１／６０秒とする。モニター画面１期間等も同様である。
【０００９】
例えば画面の一番上のラインであるライン１は、ちょうどモニター画面０期間の開始タイミングと共にフレーム１のＰＤ蓄積を開始し、１フレーム期間、すなわちモニター画面０期間の終了タイミングと共にＰＤ蓄積を終了する。蓄積されたライン１のＰＤ信号はこの直後に読み出しの走査が開始され、これと同時に次のフレーム２のＰＤ蓄積が開始される。ＰＤ信号の読み出し走査の期間は、１フレーム期間（１／６０秒）に１１２５本のラインを走査することから、１／６０／１１２５≒１．４８×１０-5秒となる。
【００１０】
次にライン２は、ライン１のフレーム０に対するＰＤ読み出し走査の期間終了タイミングにあわせてＰＤ蓄積を開始する。すなわち、ライン２はライン１に対してＰＤ読み出し走査期間分遅れてＰＤ蓄積および読み出しの動作を行うことになる。ライン３以降も同様となる。
【００１１】
このようにローリングシャッター方式においては、１フレームを構成する各ラインの蓄積期間が図に示すように上から下へと少しずつずれている。これに伴い、各ラインの走査期間、すなわちＰＤ信号の読み出しタイミングも図のように各ラインの蓄積期間の直後となり、ライン１のＰＤ信号を読み出したら次にライン２のＰＤ信号を読み出すというように、順次行われる。
【００１２】
ここで図１６に示すように、モニター画面１期間の中央付近でフラッシュが焚かれると、フレーム１後半のラインの蓄積期間とフレーム２前半のラインの蓄積期間にフラッシュの明るい光が影響する。モニター画面１の期間に光ったフラッシュは図１６に示す様に、ラインＸおよびラインＹでフレーム１とフレーム２の蓄積、読み出しタイミングを跨ぐ。つまりフレーム１ではラインＸより前のラインａ１の部分はフラッシュ光の影響は受けない（蓄積期間はすでに終わっている）。ラインＸとラインＹの間の期間のラインａ２部分は、フレーム１ではフラッシュ光の影響を受け、徐々に蓄積光量が増える。そしてラインＹ以降のラインａ３の部分ではフラッシュ光の全光量の影響を受ける。フレーム２では逆に、ラインＸより前のラインｂ１の部分では、フラッシュ光の全光量の影響を受け、ラインＸとラインＹの間の期間のラインｂ２の部分は徐々にフラッシュ光の影響が小さくなる。そして、ラインＹ以降のラインｂ３の部分ではまだ蓄積期間が始まっていないので、フラッシュ光の影響は受けない。
【００１３】
故に、フラッシュ光の発光期間が一瞬であり、ａ２、ｂ２部分のトランジェント期間が存在しないものとするとモニター画面は、概略として図１６の下部に示すようにモニター画面１（フレーム１の撮像信号）の下半分が明るく、そしてモニター画面２（フレーム２の撮像信号）の上半分が明るくなり、これが白帯状の妨害として映し出される。ＣＣＤによる撮像装置の場合は、ＣＭＯＳとは異なり１フレームを構成する全ラインの蓄積タイミングが同じであるために、このような問題は発生せず、フラッシュ発光時には常に全体が明るくなった自然な画像が映し出されていた。以上のように、ＣＭＯＳ撮像装置では、フラッシュ光等の外部の閃光が入ると、撮像信号に白帯状の妨害が発生するという課題があった。
【００１４】
この課題を解決する従来の撮像装置として、特許文献１に記載された撮像装置がある。
【００１５】
図１７は、従来の撮像装置の構成例を示すブロック図である。この撮像装置は所謂静止画像を主に記録するデジタルスチルカメラである。図１７において、撮像装置は、撮像部１１３、画像処理部１１４、記録表示処理部１１６、バッファ１１７、評価部１２０、記憶部１２１および制御部１２３を備えている。
【００１６】
従来の撮像装置では、ユーザの操作に応じて撮像部１１３により静止画像または動画像が撮像された場合において、撮像された画像は画像処理部１１４にて所定の画像処理が施された後、記録表示処理部１１６および評価部１２０に供給される。記録表示処理部１１６ではこの画像をバッファ１１７にバッファリングし、評価部１２０では検波回路によりこの画像に対する評価値を生成して制御部１２３に供給し、制御部１２３はこの評価値を記憶部１２１に一時的に記憶させる。制御部１２３の演算回路ではこの評価値と記憶部１２１に既に記憶されていた評価値、即ち、１フレーム前の画像から生成された評価値との差分値を算出する。そしてこの差分値が予め設定されている基準値以上であれば、外部閃光による悪影響を受けた画像と判断し、基準値未満であれば外部閃光による影響がない画像と判断する。その結果に応じて制御部１２３は、撮像装置の各部を制御し、外部の閃光による悪影響を受けた画像と判断したらその画像を排除し、外部の閃光による悪影響を受けていない画像であればその画像を出力させることにより、外部の閃光による白帯状の妨害の課題を解決している。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００７−３０６２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
上記従来の撮像装置では、撮像された画像が外部閃光による悪影響を受けていると判断した場合に、その画像を過去に撮像された外部閃光の影響を受けていない画像で置換し、外部閃光による白帯状の妨害を含むフレーム自体を排除することにより補正を実現している。
【００１９】
しかしながらこの方法では、少なくとも２フレーム以上に亘って、過去のフレームをフリーズした状態となり、特に動画を撮影している場合などには一瞬動きが止まるような、違和感のある映像となる。
【００２０】
また、外部閃光の影響のある画像を全て排除するため、外部閃光が発光された場面を撮像したにもかかわらず、出力される映像に本来存在するべきである、明るくなった画像が含まれていないことになり、不自然な映像となる。
【００２１】
本発明は上記従来の問題点を解決するもので、任意のタイミングで発光される外部閃光による撮像信号への影響を、元画像に含まれる情報を残しつつ、違和感なく補正することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２２】
上記問題点を解決するために本発明の撮像装置は、被写体から入射する光信号を電気信号に変換し、１フレームを構成するライン数Ｎ（Ｎ＝２ｎまたは２ｎ−１（ｎは正整数））の映像信号を出力する撮像部と、前記撮像部が出力する映像信号について、外部閃光の影響により輝度レベルの増加が開始するＭ−１番目（Ｍは整数）のフレームにおけるライン位置ｍと、輝度レベルの増加が終了するＭ番目のフレームにおけるライン位置ｍ−１とを検出する閃光検出部と、前記ライン位置ｍが１フレームを構成するライン数Ｎの中間ライン位置以下の時（ｍ≦ｎ）は、Ｍ−１番目のフレームの映像信号におけるライン位置１からライン位置ｍ−１までのラインの平均輝度レベルと、ライン位置ｍからライン位置ｎまでのラインの平均輝度レベルとを基にゲイン係数ｋを算出し、前記ライン位置ｍが前記中間ライン位置を越える時（ｍ＞ｎ）は、Ｍ−１番目のフレームのライン位置１からライン位置ｍ−１までのラインの平均輝度レベルと、Ｍ−１番目のフレームのライン位置ｍからライン位置Ｎまでのラインの平均輝度レベルとを基にゲイン係数ｋを算出するゲイン検出部と、前記ライン位置ｍが前記中間ライン位置以下の時（ｍ≦ｎ）は、Ｍ−１番目のフレームのライン位置１からライン位置ｍ−１のラインの映像信号の輝度レベルをｋ倍し、Ｍ番目のフレームのライン位置１からライン位置ｍ−１のラインの映像信号の輝度レベルを１／ｋ倍し、前記ライン位置ｍが前記中間ライン位置を越える時（ｍ＞ｎ）は、Ｍ−１番目のフレームのライン位置ｍからライン位置Ｎのラインの映像信号の輝度レベルを１／ｋ倍し、Ｍ番目のフレームのライン位置ｍからライン位置Ｎのラインの映像信号の輝度レベルをｋ倍するゲイン調整部と、を備える。
【発明の効果】
【００２３】
以上のように本発明は、任意のタイミングで発光される外部閃光に対して、同一画面内で外部閃光の影響を受けている領域と影響を受けていない領域の平均輝度レベルからゲイン係数を算出して、該ゲイン係数を用いて外部閃光の影響を補正することにより、映像をフリーズさせないため、元画像に含まれる情報が欠落することなく、本来あるべき外部閃光により明るくなった画像も含んだ自然な映像を取得できるという効果が得られる。
【図面の簡単な説明】
【００２４】
【図１】実施の形態１における撮像装置の概略構成を説明する図
【図２】実施の形態１における撮像装置のライン判定部の概略構成を説明する図
【図３】実施の形態１における撮像装置のブロック加算平均算出部の概略構成を説明する図
【図４】ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による撮像信号への影響を説明する図
【図５】ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による撮像信号への影響を説明する図
【図６】実施の形態１における撮像装置のゲイン調整部の動作を説明する図
【図７】実施の形態１における撮像装置のゲイン調整部の動作を説明する図
【図８】実施の形態２における撮像装置の概略構成を説明する図
【図９】実施の形態２における撮像装置のライン判定部の概略構成を説明する図
【図１０】実施の形態２における撮像装置のブロック加算平均算出部の概略構成を説明する図
【図１１】ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による撮像信号への影響を説明する図
【図１２】ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による撮像信号への影響を説明する図
【図１３】実施の形態２における撮像装置のゲイン調整部の動作を説明する図
【図１４】実施の形態２における撮像装置のゲイン調整部の動作を説明する図
【図１５】外部閃光により撮像信号に妨害が発生し得る撮影シーンを説明する図
【図１６】ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による白帯状の妨害発生原理を説明する図
【図１７】従来の撮像装置の概略構成を説明する図
【発明を実施するための形態】
【００２５】
以下、実施の形態について、図１から図１３を用いて説明する。
【００２６】
（実施の形態１）
図１は、実施の形態１の撮像装置の概略構成を示す図である。
【００２７】
図１に示す撮像装置は、撮像部１と、フレームメモリ２と、ライン加算平均算出部３と、ライン判定部５と、ブロック加算平均算出部６と、ゲイン算出部８と、ゲイン調整部９とを有する。
【００２８】
図４および図５は撮像中にスチルカメラのフラッシュなどの外部閃光が発光された場合の撮像信号および表示画像への影響を示す図である。
【００２９】
図４および図５に示すように、Ｍ番目のフレームを撮像している途中に外部閃光が発光された場合には、撮像部１から出力される撮像信号にはＭ−１番目のフレームの画像の下部およびＭ番目のフレームの画像の上部に白帯状の妨害が発生する。図４および図５においてＭ−１番目のフレームでは、ｍ−１ライン目までは外部閃光の影響を受けず、ｍライン目以降は外部閃光の影響を受け、Ｍ番目のフレームでは、ｍ−１ライン目までは外部閃光の影響を受け、ｍライン目以降は外部閃光の影響を受けないものとする。
【００３０】
撮像部１はＣＣＤやＣＭＯＳ等の撮像素子で構成され、被写体を撮像してライン数Ｎ（Ｎ＝２ｎまたは２ｎ−１（ｎは正整数））の第１の撮像信号を出力する。
【００３１】
フレームメモリ２は、第１の撮像信号を入力とし、１／２フレーム遅延させて第２の撮像信号として出力する。
【００３２】
ライン加算平均算出部３は各フレームにおいて第１の撮像信号のライン毎に輝度レベルの加算平均値を算出し、ライン評価値Ｌｘ（ｘはライン位置）を算出する。
【００３３】
ライン判定部５はライン評価値Ｌｘを入力とし、外部閃光の影響により現在のラインのライン評価値が、１ライン前のライン評価値と比較して予め適切に設定された所定量以上増加するラインｍ（ｍはライン位置）を検出してライン位置ｍを一時的に記憶する。図４および図５の場合には、撮像部１から出力される第１の撮像信号がＭ−１番目のフレームの撮像信号であるタイミングで、ライン位置ｍを検出して記憶することになる。
【００３４】
図２は図１のライン判定部５の概略構成を示す図である。
【００３５】
図２に示すライン判定部５は、評価値シフトレジスタ部５１と、評価値判定部５２と、ラインカウンタ５３と、ライン位置記憶部５４と、ライン位置判定部５５を有する。
【００３６】
評価値シフトレジスタ部５１はフリップフロップ等で構成されたシフトレジスタであり、図１のライン加算平均算出部３において算出された各ラインのライン評価値Ｌｘ（ｘはライン位置）を入力され、水平同期パルスに従って１ライン毎に次段のレジスタに転送される。評価値判定部５２はライン毎に１ライン前のライン評価値と比較して所定量以上大きければトリガパルスを発生する。ラインカウンタ５３は水平同期パルスに従ってライン数をカウントする。ライン位置記憶部５４は評価値判定部５２が発生したトリガパルスに従ってラインカウンタ５３のカウンタ値すなわちラインｍが前述の条件を満たすライン位置ｍを一時的に記憶する。ライン位置判定部５５はライン位置記憶部５４に記憶されたライン位置ｍがフレームの中央よりも上側、すなわちｍ≦ｎを満たす場合には「１」、それ以外は「０」となるライン位置判定フラグｆを出力する。
【００３７】
ブロック加算平均算出部６はライン判定部５に記憶されたライン位置ｍおよびライン位置判定フラグｆに対して、Ｍ−１番目のフレームのライン１からラインｍ−１までのライン評価値であるＬ１からＬｍ−１までを加算した値をｍ−１で除算することでライン１からラインｍ−１までのライン評価値の加算平均値Ａ１，ｍ−１を第１のブロック加算平均値Ａとして算出する。さらに、ブロック加算平均算出部６はライン位置判定フラグｆが「１」である場合には、Ｍ−１番目のフレームのラインｍからラインｎまでのライン評価値であるＬｍからＬｎまでを加算した値をｎ−ｍ＋１で除算することでラインｍからラインｎまでのライン評価値の加算平均値Ｂｍ，ｎを、またライン位置判定フラグｆが「０」である場合には、Ｍ−１番目のフレームのラインｍからラインＮまでのライン評価値であるＬｍからＬＮまでを加算した値をＮ−ｍ＋１で除算することでラインｍからラインＮまでのライン評価値の加算平均値Ｂｍ，Ｎを第２のブロック加算平均値Ｂとして算出する。
【００３８】
図３は図１のブロック加算平均算出部６の概略構成を示す図である。
【００３９】
図３に示すブロック加算平均算出部６は、ラインカウンタ６１と、カウンタ値比較部６２、６３、６４、６５および６６と、遅延部６７と、ライン評価値加算部６８と、ブロック加算平均値記憶部６９および７０とを有する。
【００４０】
ラインカウンタ６１は水平同期パルスに従ってライン数をカウントする。カウンタ値比較部６２、６３、６４、６５および６６は図１のライン判定部５に記憶されているライン位置ｍに対して、ラインカウンタ６１のカウンタ値が各々１、ｍ、ｍ−１、ｎおよびＮ（Ｎは最終ラインのライン位置）となるタイミングでトリガパルスを発生する。遅延部６７は図１のライン加算平均算出部３において算出された各ラインのライン評価値Ｌｘ（ｘはライン位置）を入力され、ライン判定部５によりラインｍが前述の条件を満たすライン位置ｍを記憶したタイミング以降に、ラインｍのライン評価値Ｌｍがライン評価値加算部６８に入力される様に、水平同期パルスに従ってライン評価値を遅延させる。
【００４１】
ライン評価値加算部６８はカウンタ値比較部６２および６３がトリガパルスを発生するタイミング、すなわちライン評価値加算部６８にライン１およびラインｍのライン評価値Ｌ１およびＬｍが入力されるタイミングでは入力されるライン評価値に０を加算し、それ以外の場合には入力されるライン評価値にそれまでのライン評価値の合計値を加算した値を、水平同期パルスに従って出力する。ブロック加算平均値記憶部６９はライン評価値加算部６８が出力する値を入力され、カウンタ値比較部６４がトリガパルスを発生するタイミングで取り込んで、ｍ−１で除算して記憶する。すなわちブロック加算平均値記憶部６９はライン評価値加算部６８により算出されたライン１からラインｍ−１までのライン評価値の加算値をｍ−１で除算して平均化した値Ａ１，ｍ−１を第１のブロック加算平均値Ａとして記憶する。ブロック加算平均値記憶部７０はライン評価値加算部６８が出力する値を入力され、ライン位置判定フラグｆが「１」の場合にはカウンタ値比較部６５がトリガパルスを発生するタイミングで取り込んで、ｎ−ｍ＋１で除算して記憶する。すなわちブロック加算平均値記憶部７０はライン評価値加算部６８により算出されたラインｍからラインｎまでのライン評価値の加算値をｎ−ｍ＋１で除算して平均化した値Ｂｍ，ｎを第２のブロック加算平均値Ｂとして記憶する。一方、ライン位置判定フラグｆが「０」の場合にはカウンタ値比較部６６がトリガパルスを発生するタイミングで取り込んで、Ｎ−ｍ＋１で除算して記憶する。すなわちブロック加算平均値記憶部７０はライン評価値加算部６８により算出されたラインｍからラインＮまでのライン評価値の加算値をＮ−ｍ＋１で除算して平均化した値Ｂｍ，Ｎを第２のブロック加算平均値Ｂとして記憶する。
【００４２】
ゲイン算出部８は第１のブロック加算平均値Ａと第２のブロック加算平均値Ｂを入力とし、ゲイン係数ｋ（ｋ＝Ｂ／Ａ）を算出して記憶する。すなわちゲイン係数ｋは、外部閃光の影響を受けていない領域と外部閃光の影響を受けた領域の平均輝度レベルの比を表すことになる。
【００４３】
ゲイン調整部９はこのゲイン係数ｋを用いて、フレームメモリ２から出力される第２の撮像信号を適切なタイミングでゲイン調整することにより補正する。
【００４４】
図６および図７は図１のゲイン調整部９の動作を説明する図である。
【００４５】
第１の撮像信号がＭ−１番目のフレームの撮像信号であるタイミングで、ライン判定部５はライン位置ｍおよびライン位置判定フラグｆを検出する。検出したライン位置ｍがフレームの中央よりも上側（ｍ≦ｎすなわちｆ＝１）である場合は、ゲイン調整部９は、図６および図７（ａ）に示すように、Ｍ−１番目のフレームの撮像信号のライン１からラインｍ−１が入力されたタイミングで輝度レベルをｋ倍し、Ｍ番目のフレームの撮像信号のライン１からラインｍ−１が入力されたタイミングで輝度レベルを１／ｋ倍して出力する。この場合、Ｍ−１番目のフレームの撮像信号のラインｎのライン評価値Ｌｎがブロック加算平均算出部６に入力されたタイミング（厳密には、図３に示す遅延部６７等による遅延も考慮が必要）で、ゲイン係数ｋが算出されるため、それ以降であれば上述のゲイン調整が可能となり、またゲイン調整するライン数は１／２フレーム以下である。したがって、フレームメモリ２による遅延量は１／２フレーム程度あれば十分であり、ゲイン調整の結果、Ｍ−１番目のフレームの撮像信号は外部閃光の影響により全面が白く光った画像となり、Ｍ番目のフレームの撮像信号は外部閃光の影響を受けない画像となるように補正される。
【００４６】
一方、検出したライン位置ｍがフレームの中央よりも下側（ｍ＞ｎすなわちｆ＝０）である場合は、ゲイン調整部９は、図６および図７（ｂ）に示すように、Ｍ−１番目のフレームの撮像信号のラインｍからラインＮが入力されたタイミングで輝度レベルを１／ｋ倍し、Ｍ番目のフレームの撮像信号のラインｍからラインＮが入力されたタイミングで輝度レベルをｋ倍して出力する。この場合、Ｍ−１番目のフレームの撮像信号のラインＮのライン評価値ＬＮがブロック加算平均算出部６に入力されたタイミング（厳密には、図３に示す遅延部６７等による遅延も考慮が必要）で、ゲイン係数ｋが算出されるため、それ以降であれば上述のゲイン調整が可能となり、またゲイン調整するライン数は１／２フレーム以下である。したがって、フレームメモリ２による遅延量は１／２フレーム程度あれば十分であり、ゲイン調整の結果、Ｍ−１番目のフレームの撮像信号は外部閃光の影響を受けない画像となり、Ｍ番目のフレームの撮像信号は外部閃光の影響により全面が白く光った画像となるように補正される。
【００４７】
上記以外のフレームについては、ゲイン調整部９では補正を行わず、順次各フレームの撮像信号を出力する。
【００４８】
なお、本実施の形態の撮像装置、ライン判定部およびブロック加算平均算出部について、図１、図２および図３を用いて説明したが、発明の要旨を逸脱しない範囲で適宜他の構成をとり得ることは言うまでもない。
【００４９】
なお、本実施の形態において、各ラインの評価値を撮像信号の輝度レベルとしたが、ライン判定部５で外部閃光の影響の有無を判定するためのライン評価値は、外部閃光の影響の有無により変化するものであれば、例えば撮像信号の色成分や周波数成分およびＳＮ比（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）など、他の信号成分や値を評価値としても構わない。また、ブロック加算平均算出部６で算出するブロック加算平均値は、輝度レベルに比例して変化するものであれば他の信号成分や値を評価値としても構わない。
【００５０】
以上のように本実施の形態によれば、最初にライン方向の評価値の急峻な変化を検出して、同一画面内の外部閃光の影響を受けた領域の平均輝度レベルと、残りの外部閃光の影響を受けていない領域の平均輝度レベルとの比からゲイン係数を算出し、該ゲイン係数を用いて補正することで、外部閃光が発光されるタイミングによってどのラインから影響があった場合にも補正可能であり、また、補正の際に正常な画像をフリーズしたりせずに元画像の情報を生かすことで被写体の動きも不自然にならず、補正後の画像には本来存在すべき明るくなった画像も含まれるため違和感なく外部閃光の影響を補正することができる。また、画面内の評価値の変化位置がフレームの中央より上側か否かにより処理を変えることにより、フレームメモリの遅延量は１／２フレーム程度で処理可能であり、回路規模および処理遅延量を抑制することが可能である。
【００５１】
（実施の形態２）
図８は、実施の形態２の撮像装置の概略構成を示す図である。
【００５２】
図８に示す撮像装置は、撮像部１と、フレームメモリ２と、ライン加算平均算出部３と、ライン判定部５０と、ブロック加算平均算出部６０と、ゲイン算出部８０と、ゲイン調整部９０とを有する。
【００５３】
撮像部１、フレームメモリ２、ライン加算平均算出部３は実施の形態１の撮像装置と同様であるため説明を省略する。
【００５４】
ライン判定部５０は図１のライン判定部５を２個搭載するような構成となっており、一方は外部閃光の影響の開始を検出し、もう一方は外部閃光の影響の終了を検出する。すなわち、一方はライン評価値を入力とし、外部閃光の影響により現在のラインのライン評価値が、１ライン前のライン評価値と比較して予め適切に設定された所定量以上増加するラインｍ１（ｍ１はライン位置）を検出してライン位置ｍ１を一時的に記憶する。図１１および図１２の場合には、ライン判定部５０は撮像部１から出力される第１の撮像信号がＭ１番目のフレームの撮像信号であるタイミングで、ライン位置ｍ１を検出して記憶することになり、もう一方はライン評価値を入力とし、外部閃光の影響により現在のラインのライン評価値が、１ライン前のライン評価値と比較して予め適切に設定された所定量以上減少するラインｍ２（ｍ２はライン位置）を検出してライン位置ｍ２を一時的に記憶する。図１１および図１２の場合には、撮像部１から出力される第１の撮像信号がＭ２番目のフレームの撮像信号であるタイミングで、ライン位置ｍ２を検出して記憶することになる。
【００５５】
図９は図８のライン判定部５０の概略構成を示す図である。
【００５６】
図９に示すライン判定部５０は、評価値シフトレジスタ部５１と、評価値判定部５２と、ラインカウンタ５３と、ライン位置記憶部５４と、ライン位置判定部５５と、評価値判定部５６と、ライン位置記憶部５７と、ライン位置判定部５８とを有する。
【００５７】
評価値シフトレジスタ部５１と、評価値判定部５２と、ラインカウンタ５３と、ライン位置記憶部５４と、ライン位置判定部５５は図１に示す実施の形態１の撮像装置におけるライン判定部５の内部構成を示す図２の各部と同様に動作し、１ライン前のライン評価値と比較して所定量以上大きくなるライン位置ｍ１をライン位置記憶部５４に記憶すると共に、ライン位置判定部５５はライン位置ｍ１がフレームの中央よりも上側か否かを示すライン位置判定フラグｆ１を出力する。
【００５８】
評価値判定部５６はライン毎に１ライン前のライン評価値と比較して所定量以上小さければトリガパルスを発生する。ライン位置記憶部５７は評価値判定部５６が発生したトリガパルスに従ってラインカウンタ５３のカウンタ値すなわちラインｍが前述の条件を満たすライン位置ｍ２を一時的に記憶する。ライン位置判定部５８はライン位置記憶部５７に記憶されたライン位置ｍ２がフレームの中央よりも上側、すなわちｍ２≦ｎを満たす場合には「１」、それ以外は「０」となるライン位置判定フラグｆ２を出力する。
【００５９】
ブロック加算平均算出部６０は図１のブロック加算平均算出部６を２個搭載するような構成となっており、一方はライン判定部５０によりライン位置ｍ１およびライン位置判定フラグｆ１を検出したＭ１番目のフレームの撮像信号において所定の領域の加算平均値を算出し、もう一方はライン判定部５０によりライン位置ｍ２およびライン位置判定フラグｆ２を検出したＭ２番目のフレームの撮像信号において所定の領域の加算平均値を算出する。
【００６０】
すなわち、ブロック加算平均算出部６０の一方はライン判定部５０に記憶されたライン位置ｍ１およびライン位置判定フラグｆ１に対して、Ｍ１番目のフレームのライン１からラインｍ１−１までのライン評価値であるＬ１からＬｍ１−１までを加算した値をｍ１−１で除算することでライン１からラインｍ１−１までのライン評価値の加算平均値Ａ１，ｍ１−１を第３のブロック加算平均値Ａ１として算出する。さらに、ブロック加算平均算出部６０の一方はライン位置判定フラグｆ１が「１」である場合には、Ｍ１番目のフレームのラインｍ１からラインｎまでのライン評価値であるＬｍ１からＬｎまでを加算した値をｎ−ｍ１＋１で除算することでラインｍ１からラインｎまでのライン評価値の加算平均値Ｂｍ１，ｎを、またライン位置判定フラグｆ１が「０」である場合には、Ｍ１番目のフレームのラインｍ１からラインＮまでのライン評価値であるＬｍ１からＬＮまでを加算した値をＮ−ｍ１＋１で除算することでラインｍ１からラインＮまでのライン評価値の加算平均値Ｂｍ１，Ｎを第４のブロック加算平均値Ｂ１として算出する。
【００６１】
ブロック加算平均算出部６０のもう一方はライン判定部５０に記憶されたライン位置ｍ２およびライン位置判定フラグｆ２に対して、Ｍ２番目のフレームのライン１からラインｍ２−１までのライン評価値であるＬ１からＬｍ２−１までを加算した値をｍ２−１で除算することでライン１からラインｍ２−１までのライン評価値の加算平均値Ａ１，ｍ２−１を第５のブロック加算平均値Ａ２として算出する。さらに、ブロック加算平均算出部６０のもう一方はライン位置判定フラグｆ２が「１」である場合には、Ｍ２番目のフレームのラインｍ２からラインｎまでのライン評価値であるＬｍ２からＬｎまでを加算した値をｎ−ｍ２＋１で除算することでラインｍ２からラインｎまでのライン評価値の加算平均値Ｂｍ２，ｎを、またライン位置判定フラグｆ２が「０」である場合には、Ｍ２番目のフレームのラインｍ２からラインＮまでのライン評価値であるＬｍ２からＬＮまでを加算した値をＮ−ｍ２＋１で除算することでラインｍ２からラインＮまでのライン評価値の加算平均値Ｂｍ２，Ｎを第６のブロック加算平均値Ｂ２として算出する。
【００６２】
図１０は図８のブロック加算平均算出部６０の概略構成を示す図である。
【００６３】
図１０に示すブロック加算平均算出部は、ラインカウンタ６１と、カウンタ値比較部６２、６３、６４、６５、６６、７１および７２と、遅延部６７と、ライン評価値加算部６８および７３と、ブロック加算平均値記憶部６９、７０、７４および７５とを有する。
【００６４】
ラインカウンタ６１と、カウンタ値比較部６２、６３、６４、６５および６６と、遅延部６７と、ライン評価値加算部６８と、ブロック加算平均値記憶部６９および７０は図１に示す実施の形態１の撮像装置におけるブロック加算平均算出部６の内部構成を示す図３の各部と同様であるため説明を省略する。
【００６５】
ラインカウンタ６１と、カウンタ値比較部６２、６３、６４、６５および６６と、遅延部６７と、ライン評価値加算部６８と、ブロック加算平均値記憶部６９および７０は実施の形態１のブロック加算平均算出部６の各部と同様に動作し、ライン位置ｍ１およびライン位置判定フラグｆ１を入力されるとＭ１番目のフレームのライン１からラインｍ１−１までのライン評価値の加算平均値Ａ１，ｍ１−１を第３のブロック加算平均値Ａ１として算出してブロック加算平均値記憶部６９に記憶し、Ｍ１番目のフレームのラインｍ１からラインｎまでのライン評価値の加算平均値Ｂｍ１，ｎまたはＭ１番目のフレームのラインｍ１からラインＮまでのライン評価値の加算平均値Ｂｍ１，Ｎを第４のブロック加算平均値Ｂ１として算出してブロック加算平均値記憶部７０に記憶する。
【００６６】
また、カウンタ値比較部７１および７２はカウンタ値比較部６３および６４と同様にライン位置ｍ２に対して、ラインカウンタ６１のカウンタ値がｍ２およびｍ２−１となるタイミングでトリガパルスを発生する。ライン評価値加算部７３はライン評価値加算部６８と同様の構成であり、カウンタ値比較部６２および７１がトリガパルスを発生するタイミング、すなわちライン評価値加算部７３にライン１およびラインｍ２のライン評価値Ｌ１およびＬｍ２が入力されるタイミングでは入力されるライン評価値に０を加算し、それ以外の場合には入力されるライン評価値にそれまでのライン評価値の合計値を加算した値を、水平同期パルスに従って出力する。ブロック加算平均値記憶部７４はブロック加算平均値記憶部６９と同様にライン評価値加算部７３が出力する値を入力され、カウンタ値比較部７２がトリガパルスを発生するタイミングで取り込んで、ｍ２−１で除算して記憶する。すなわちブロック加算平均値記憶部７４はライン評価値加算部７３により算出されたライン１からラインｍ２−１までのライン評価値の加算値をｍ２−１で除算して平均化した値Ａ１，ｍ２−１を第５のブロック加算平均値Ａ２として記憶する。ブロック加算平均値記憶部７５はブロック加算平均値記憶部７０と同様にライン評価値加算部７３が出力する値を入力され、ライン位置判定フラグｆ２が「１」の場合にはカウンタ値比較部６５がトリガパルスを発生するタイミングで取り込んで、ｎ−ｍ２＋１で除算して記憶する。すなわちブロック加算平均値記憶部７５はライン評価値加算部７３により算出されたラインｍ２からラインｎまでのライン評価値の加算値をｎ−ｍ２＋１で除算して平均化した値Ｂｍ２，ｎを第６のブロック加算平均値Ｂ２として記憶する。一方、ライン位置判定フラグｆ２が「０」の場合にはカウンタ値比較部６６がトリガパルスを発生するタイミングで取り込んで、Ｎ−ｍ２＋１で除算して記憶する。すなわちブロック加算平均値記憶部７５はライン評価値加算部７３により算出されたラインｍ２からラインＮまでのライン評価値の加算値をＮ−ｍ２＋１で除算して平均化した値Ｂｍ２，Ｎを第６のブロック加算平均値Ｂ２として記憶する。
【００６７】
ゲイン算出部８０は第３のブロック加算平均値Ａ１と第４のブロック加算平均値Ｂ１を入力とし、ゲイン係数ｋ１（ｋ１＝Ｂ１／Ａ１）を算出し、また第５のブロック加算平均値Ａ２と第６のブロック加算平均値Ｂ２を入力とし、ゲイン係数ｋ２（ｋ２＝Ａ２／Ｂ２）を算出して各々記憶する。すなわちゲイン係数ｋ１は、外部閃光の影響を受けていない領域と外部閃光の影響を受けた領域の平均輝度レベルの比を、ゲイン係数ｋ２は、外部閃光の影響を受けた領域と外部閃光の影響を受けていない領域の平均輝度レベルの比を表すことになる。
【００６８】
ゲイン調整部９０はこのゲイン係数ｋ１およびｋ２を用いて、フレームメモリ２から出力される第２の撮像信号を適切なタイミングでゲイン調整することにより補正する。
【００６９】
図１３および図１４は図８のゲイン調整部９０の動作を説明する図である。
【００７０】
第１の撮像信号がＭ１番目のフレームの撮像信号であるタイミングで、ライン判定部５０はライン位置ｍ１およびライン位置判定フラグｆ１を検出する。検出したライン位置ｍ１がフレームの中央よりも上側（ｍ１≦ｎすなわちｆ１＝１）である場合は、ゲイン調整部９０は、図１３および図１４（ａ）に示すように、Ｍ１番目のフレームの撮像信号のライン１からラインｍ１−１が入力されたタイミングで輝度レベルをｋ１倍して出力する。一方、第１の撮像信号がＭ２番目のフレームの撮像信号であるタイミングで、ライン判定部５０はライン位置ｍ２およびライン位置判定フラグｆ２を検出する。検出したライン位置ｍ２がフレームの中央よりも上側（ｍ２≦ｎすなわちｆ２＝１）である場合は、ゲイン調整部９０は、図１３および図１４（ａ）に示すように、Ｍ２番目のフレームの撮像信号のライン１からラインｍ２−１が入力されたタイミングで輝度レベルを１／ｋ２倍して出力する。この場合、Ｍ１番目およびＭ２番目のフレームの撮像信号のラインｎのライン評価値Ｌｎがブロック加算平均算出部６０に入力されたタイミング（厳密には、図１０に示す遅延部６７等による遅延も考慮が必要）で、ゲイン係数ｋ１およびｋ２が算出されるため、それ以降であれば上述のゲイン調整が可能となり、またゲイン調整するライン数は１／２フレーム以下である。したがって、フレームメモリ２による遅延量は１／２フレーム程度あれば十分であり、ゲイン調整の結果、Ｍ１番目のフレームの撮像信号は外部閃光の影響により全面が白く光った画像となり、Ｍ２番目のフレームの撮像信号は外部閃光の影響を受けない画像となるように補正される。
【００７１】
一方、第１の撮像信号がＭ１番目のフレームの撮像信号であるタイミングで検出したライン位置ｍ１がフレームの中央よりも下側（ｍ１＞ｎすなわちｆ１＝０）である場合は、ゲイン調整部９０は、図１３および図１４（ｂ）に示すように、Ｍ１番目のフレームの撮像信号のラインｍ１からラインＮが入力されたタイミングで輝度レベルを１／ｋ１倍して出力する。また、第１の撮像信号がＭ２番目のフレームの撮像信号であるタイミングで検出したライン位置ｍ２がフレームの中央よりも下側（ｍ２＞ｎすなわちｆ２＝０）である場合は、ゲイン調整部９０は、図１３および図１４（ｂ）に示すように、Ｍ２番目のフレームの撮像信号のラインｍ２からラインＮが入力されたタイミングで輝度レベルをｋ２倍して出力する。
【００７２】
この場合、Ｍ１番目およびＭ２番目のフレームの撮像信号のラインＮのライン評価値ＬＮがブロック加算平均算出部６０に入力されたタイミング（厳密には、図１０に示す遅延部６７等による遅延も考慮が必要）で、ゲイン係数ｋ１およびｋ２が算出されるため、それ以降であれば上述のゲイン調整が可能となり、またゲイン調整するライン数は１／２フレーム以下である。したがって、フレームメモリ２による遅延量は１／２フレーム程度あれば十分であり、ゲイン調整の結果、Ｍ１番目のフレームの撮像信号は外部閃光の影響を受けない画像となり、Ｍ２番目のフレームの撮像信号は外部閃光の影響により全面が白く光った画像となるように補正される。
【００７３】
上記以外のフレームについては、ゲイン調整部９０では補正を行わず、順次各フレームの撮像信号を出力する。
【００７４】
なお、本実施の形態の撮像装置、ライン判定部およびブロック加算平均算出部について、図８、図９および図１０を用いて説明したが、発明の要旨を逸脱しない範囲で適宜他の構成をとり得ることは言うまでもない。
【００７５】
例えば、ライン判定部５０は実施の形態１のライン判定部５を２個搭載したような構成としたが、ライン位置ｍ１とｍ２は異なるフレームで検出されるものであるため、ライン判定部５０はライン判定部５を１個搭載する構成として評価値判定部５２をライン評価値の増加と減少の両方を検出可能とすることで回路を共用化して、ライン位置記憶部５４およびライン位置判定部５５にはＭ１番目のフレームではｍ１およびｆ１、Ｍ２番目のフレームではｍ２およびｆ２が格納されるようにしても良い。ブロック加算平均算出部６０についても同様に実施の形態１のブロック加算平均算出部６を２個搭載したような構成としたが、ブロック加算平均算出部６を１個搭載する構成として、入力されるライン位置およびライン位置判定フラグがＭ１番目のフレームではｍ１およびｆ１、Ｍ２番目のフレームではｍ２およびｆ２とすることで回路を共用化して、ブロック加算平均値記憶部６９および７０にはＭ１番目のフレームではＡ１およびＢ１、Ｍ２番目のフレームではＡ２およびＢ２が格納されるようにしても良い。
【００７６】
なお、本実施の形態において、各ラインの評価値を撮像信号の輝度レベルとしたが、ライン判定部５０で外部閃光の影響の有無を判定するためのライン評価値は、外部閃光の影響の有無により変化するものであれば、例えば撮像信号の色成分や周波数成分およびＳＮ比（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）など、他の信号成分や値を評価値としても構わない。また、ブロック加算平均算出部６０で算出するブロック加算平均値は、輝度レベルに比例して変化するものであれば他の信号成分や値を評価値としても構わない。
【００７７】
以上のように本実施の形態によれば、最初にライン方向の評価値の急峻な変化を検出して、同一画面内の外部閃光の影響を受けた領域の平均輝度レベルと、残りの外部閃光の影響を受けていない領域の平均輝度レベルとの比からゲイン係数を算出し、該ゲイン係数を用いて補正することで、外部閃光が発光されるタイミングによってどのラインから影響があった場合にも補正可能であり、また、補正の際に正常な画像をフリーズしたりせずに元画像の情報を生かすことで被写体の動きも不自然にならず、補正後の画像には本来存在すべき明るくなった画像も含まれるため違和感なく外部閃光の影響を補正することができる。また、画面内の評価値の変化位置がフレームの中央より上側か否かにより処理を変えることにより、フレームメモリの遅延量は１／２フレーム程度で処理可能であり、回路規模および処理遅延量を抑制することが可能である。
【００７８】
なお、本実施の形態において、ライン評価値が所定量以上増加および減少するライン位置が画面の中央より上側か下側の２領域のいずれであるかの判断としたが、画面の上側か中央か下側の３領域もしくはそれ以上の領域に分割していずれの領域で検出されるかの判断とすることにより、必要となるフレームメモリの遅延量を１／３フレームもしくはそれ以下とすることが可能であり、さらに回路規模および処理遅延量を抑制することが可能となる。
【産業上の利用可能性】
【００７９】
本実施の形態にかかる撮像装置は、近年ビデオカメラでも使われるようになってきたＣＭＯＳ撮像素子を用いた撮像装置に特有の、フラッシュ等が焚かれた被写体を撮影することにより発生する白帯状の妨害を検出して補正する撮像装置として有用である。
【符号の説明】
【００８０】
１、１１３  撮像部
２  フレームメモリ
３  ライン加算平均算出部
５、５０  ライン判定部
６、６０  ブロック加算平均算出部
８、８０  ゲイン算出部
９、９０  ゲイン調整部
５１  評価値シフトレジスタ部
５２、５６  評価値判定部
５３、６１  ラインカウンタ
５４、５７  ライン位置記憶部
５５、５８  ライン位置判定部
６２、６３、６４、６５、６６、７１、７２  カウンタ値比較部
６７  遅延部
６８、７３  ライン評価値加算部
６９、７０、７４、７５  ブロック加算平均値記憶部
１００  ビデオカメラ
１０１  モニター
１０２、１０３  スチルカメラ
１０４  被写体
１１４  画像処理部
１１６  記録表示処理部
１１７  バッファ
１２０  評価部
１２１  記憶部
１２３  制御部
【図１】
2011193194.tif 000003
【図２】
2011193194.tif 000004
【図３】
2011193194.tif 000005
【図４】
2011193194.tif 000006
【図５】
2011193194.tif 000007
【図６】
2011193194.tif 000008
【図７】
2011193194.tif 000009
【図８】
2011193194.tif 000010
【図９】
2011193194.tif 000011
【図１０】
2011193194.tif 000012
【図１１】
2011193194.tif 000013
【図１２】
2011193194.tif 000014
【図１３】
2011193194.tif 000015
【図１４】
2011193194.tif 000016
【図１５】
2011193194.tif 000017
【図１６】
2011193194.tif 000018
【図１７】
2011193194.tif 000019