(57)【要約】【課題】フラッシュ等の外部閃光下において、ＣＭＯＳ撮像素子を用いた撮像装置において発生する白帯状の妨害を適切に補正できないという課題がある。【解決手段】被写体を撮像し映像信号を出力する撮像部１と、撮像部１が出力する１フレームの映像信号について、隣接ラインのライン評価値の差が所定の値を超えるライン位置を有する映像信号を検出する検出部５と、検出部５で検出した１フレームの映像信号について、ライン位置の前後の平均輝度レベル、当該映像信号の１フレーム前の映像信号におけるライン位置に対応するライン位置前後の平均輝度レベルを用いて、補正ゲイン量を算出する補正ゲイン算出部８と、補正ゲイン量を用いて、検出部５で検出した１フレームの映像信号におけるライン位置より前のラインまでの映像信号、又はライン位置以降の映像信号を補正する映像信号補正部９と、を備える。【選択図】図１
2011101208.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像し映像信号を出力する撮像部と、
前記撮像部が出力する１フレームの映像信号について、隣接ラインのライン評価値の差が所定の値を超えるライン位置を有する映像信号を検出する検出部と、
前記検出部で検出した１フレームの映像信号について、少なくとも前記ライン位置より前のラインまでの平均輝度レベル、前記ライン位置以降の平均輝度レベル、当該映像信号の１フレーム前の映像信号における前記ライン位置に対応するライン位置より前のラインまでの平均輝度レベル、及び当該映像信号の１フレーム前の映像信号における前記ライン位置に対応するライン位置以降の平均輝度レベルのいずれかを用いて、補正ゲイン量を算出する補正ゲイン算出部と、
前記補正ゲイン量を用いて、前記検出部で検出した１フレームの映像信号における前記ライン位置より前のラインまでの映像信号、又は前記ライン位置以降の映像信号を補正する映像信号補正部と、
を備える撮像装置。
【請求項２】
前記補正ゲイン算出部は、
前記検出部で検出した１フレームの映像信号について、前記ライン位置以降の平均輝度レベルと、当該映像信号の１フレーム前の映像信号における前記ライン位置に対応するライン位置以降の平均輝度レベルとの比率を基に、前記補正ゲイン量を算出する
請求項１に記載の撮像装置。
【請求項３】
前記補正ゲイン算出部は、
前記検出部で検出した１フレームの映像信号について、前記ライン位置より前のラインまでの平均輝度レベルと、当該映像信号の１フレーム前の映像信号における前記ライン位置に対応するライン位置より前のラインまでの平均輝度レベルとの比率を算出し、当該比率も考慮して、前記補正ゲイン量を算出する
請求項２に記載の撮像装置。
【請求項４】
前記補正ゲイン算出部は、
前記検出部で検出した１フレームの映像信号に対する補正ゲイン量として、当該映像信号の１フレーム前の映像信号において算出した前記補正ゲイン量が存在している場合に、存在する当該補正ゲイン量を用いる
請求項１から３のいずれかに記載の撮像装置。
【請求項５】
被写体像を撮像し映像信号を出力する撮像部と、
前記撮像部が出力する１フレームの映像信号について、隣接ラインのライン評価値の差が段階的に変化する映像信号を検出する検出部と、
前記検出部で検出した１フレームの映像信号について、前記検出部で検出した１フレームの映像信号について、少なくとも段階的に平均輝度レベルが変化する変化の開始ライン位置より前のラインまでの平均輝度レベル、変化の終了ライン位置以降の平均輝度レベル、当該映像信号の１フレーム前の映像信号における前記開始ライン位置に対応するライン位置より前のラインまでの平均輝度レベル、及び当該映像信号の１フレーム前の映像信号における前記終了ライン位置に対応するライン位置以降の平均輝度レベルのいずれかを用いて、補正ゲイン量を算出する補正ゲイン算出部と、
前記補正ゲイン量を用いて、少なくとも前記検出部で検出した１フレームの映像信号における前記開始ライン位置より前のラインまでの映像信号、前記開始ライン位置以降で前記終了ライン位置までの映像信号、及び前記終了ライン位置以降の映像信号のいずれかを補正する映像信号補正部と、
を備える撮像装置。
【請求項６】
前記映像信号補正部は、
前記開始ライン位置以降で前記終了ライン位置までの映像信号について、前記補正ゲイン量を段階的に変化させた補正ゲイン量を用いて補正する
請求項５に記載の撮像装置。
【請求項７】
前記補正ゲイン算出部は、
前記検出部で検出した１フレームの映像信号について、前記終了ライン位置以降の平均輝度レベルと、当該映像信号の１フレーム前の映像信号における前記終了ライン位置に対応するライン位置以降の平均輝度レベルとの比率を基に、前記補正ゲイン量を算出する
請求項５又は６に記載の撮像装置。
【請求項８】
前記補正ゲイン算出部は、
前記検出部で検出した１フレームの映像信号について、前記開始ライン位置より前のラインまでの平均輝度レベルと、当該映像信号の１フレーム前の映像信号における前記開始ライン位置に対応するライン位置より前のラインまでの平均輝度レベルとの比率を算出し、当該比率も考慮して、前記補正ゲイン量を算出する
請求項７に記載の撮像装置。
【請求項９】
前記補正ゲイン算出部は、
前記検出部で検出した１フレームの映像信号に対する補正ゲイン量として、当該映像信号の１フレーム前の映像信号において算出した前記補正ゲイン量が存在している場合に、存在する当該補正ゲイン量を用いる
請求項５から８のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮像装置であって、スチルカメラ等のフラッシュによって、動画の撮影時に発生する白帯状の妨害を緩和できる撮像装置に関する。
【背景技術】
【０００２】
近年、小型、低消費電力、高速撮像等の特徴をもつＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子を用いた撮像装置が、民生用ビデオカメラ及び業務用ビデオカメラの分野で躍進してきている。
【０００３】
ＣＭＯＳ撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）に比べて種々の特徴をもつ。ＣＭＯＳ撮像素子は、フォトダイオード（Ｐｈｏｔｏ  Ｄｉｏｄｅ：以降ＰＤと記載）の電荷読み出しがＣＣＤのように全画素で同一タイミング（所謂グローバルシャッター）でなく、ライン（画素）単位で読み出しタイミングがずれていく（所謂ローリングシャッター）為、ＣＣＤにない弊害も発生する。それは読み出しタイミングがずれる為、各画素の蓄積期間のタイミングがずれることに起因する。
【０００４】
その問題の一つに、スチルカメラ等のフラッシュ光が焚かれている被写体をＣＭＯＳ撮像素子のビデオカメラで撮像すると、白帯状の妨害が発生するという現象が挙げられる。白帯状の妨害とは、ここでは撮像した画像のあるフレームの一部だけがフラッシュ光の影響を受け、途中のラインから上、または下だけが明るくなる現象を指す。
【０００５】
以下その現象について、図１５および図１６を用いて説明する。
【０００６】
図１５は、ビデオカメラとスチルカメラが混在する撮影風景、例えば記者会見等の撮影風景を示す図である。
【０００７】
図１５は、ビデオカメラ１００と、その撮像信号を映すモニター１０１、スチルカメラ１０２、１０３、および被写体１０４より構成される撮影風景を示している。ビデオカメラ１００はＣＭＯＳ撮像素子を用いている。
【０００８】
このような撮影風景においてスチルカメラ１０２、１０３でフラッシュが焚かれると、ビデオカメラ１００の撮像信号を映すモニター１０１の画面に白帯状の妨害が発生する。以下、その原理を説明する。
【０００９】
図１６は、ビデオカメラ１００の蓄積期間（露光期間）と、読み出し走査期間を模式化した図である。図１６において、画面を構成する各走査ラインの電荷蓄積期間およびその電荷を読み出すための走査期間を、時間軸を横軸に取って表している。走査ラインの総数は、ＨＤカメラを想定して１１２５ラインとする。また、モニター画面０期間とは、フレーム０の撮像信号をモニター画面等に出力する期間であり、ここでは１／６０秒とする。モニター画面１期間等も同様である。
【００１０】
例えば画面の一番上のラインであるライン１は、ちょうどモニター画面０期間の開始タイミングと共にフレーム１のＰＤ蓄積を開始し、１フレーム期間、すなわちモニター画面０期間の終了タイミングと共にＰＤ蓄積を終了する。蓄積されたライン１のＰＤ信号はこの直後に読み出しの走査が開始され、これと同時に次のフレーム２のＰＤ蓄積が開始される。ＰＤ信号の読み出し走査の期間は、１フレーム期間（１／６０秒）に１１２５本のラインを走査することから、１／６０／１１２５≒１．４８×１０-5秒となる。
【００１１】
次にライン２は、ライン１のフレーム０に対するＰＤ読み出し走査の期間終了タイミングにあわせてＰＤ蓄積を開始する。すなわち、ライン２はライン１に対してＰＤ読み出し走査期間分遅れてＰＤ蓄積および読み出しの動作を行うことになる。ライン３以降も同様となる。
【００１２】
このようにローリングシャッター方式においては、１フレームを構成する各ラインの蓄積期間が図１６に示すように上から下へと少しずつずれている。これに伴い、各ラインの走査期間、すなわちＰＤ信号の読み出しタイミングも図１６のように各ラインの蓄積期間の直後となり、ライン１のＰＤ信号を読み出したら次にライン２のＰＤ信号を読み出すというように、順次行われる。
【００１３】
ここで図１６に示すように、モニター画面１期間の中央付近でフラッシュが焚かれると、フレーム１後半のラインの蓄積期間とフレーム２前半のラインの蓄積期間にフラッシュの明るい光が影響する。モニター画面１の期間に光ったフラッシュは図１６に示す様に、ラインＸおよびラインＹでフレーム１とフレーム２の蓄積、読み出しタイミングを跨ぐ。つまりフレーム１ではラインＸより前のラインａ１の部分はフラッシュ光の影響は受けない（蓄積期間はすでに終わっている）。ラインＸとラインＹの間の期間のラインａ２部分は、フレーム１ではフラッシュ光の影響を受け、徐々に蓄積光量が増える。そしてラインＹ以降のラインａ３の部分ではフラッシュ光の全光量の影響を受ける。フレーム２では逆に、ラインＸより前のラインｂ１の部分では、フラッシュ光の全光量の影響を受け、ラインＸとラインＹの間の期間のラインｂ２の部分は徐々にフラッシュ光の影響が小さくなる。そして、ラインＹ以降のラインｂ３の部分ではまだ蓄積期間が始まっていないので、フラッシュ光の影響は受けない。
【００１４】
故に、フラッシュ光の発光期間が一瞬であり、ａ２、ｂ２部分のトランジェント期間が存在しないものとするとモニター画面は、概略として図１６の下部に示すようにモニター画面１（フレーム１の撮像信号）の下半分が明るく、そしてモニター画面２（フレーム２の撮像信号）の上半分が明るくなり、これが白帯状の妨害として映し出される。ＣＣＤによる撮像装置の場合は、ＣＭＯＳとは異なり１フレームを構成する全ラインの蓄積タイミングが同じであるためにこのような問題は発生せず、フラッシュ発光時には常に全体が明るくなった自然な画像が映し出されていた。以上のように、ＣＭＯＳ撮像装置では、フラッシュ光等の外部の閃光が入ると、撮像信号に白帯状の妨害が発生するという課題があった。
【００１５】
この課題を解決する従来の撮像装置として、特許文献１に記載された撮像装置がある。
【００１６】
図１７は、従来の撮像装置の構成例を示すブロック図である。この撮像装置は所謂静止画像を主に記録するデジタルスチルカメラである。図１７において、撮像装置は、撮像部１１３、画像処理部１１４、記録表示処理部１１６、バッファ１１７、評価部１２０、記憶部１２１および制御部１２３を備えている。
【００１７】
従来の撮像装置ではこのような構成により、例えば、ユーザの操作に応じて撮像部１１３により静止画像または動画像が撮像された場合において、撮像された画像は画像処理部１１４にて所定の画像処理が施された後、記録表示処理部１１６および評価部１２０に供給される。記録表示処理部１１６ではこの画像をバッファ１１７にバッファリングし、評価部１２０では検波回路によりこの画像に対する評価値を生成して制御部１２３に供給し、制御部１２３はこの評価値を記憶部１２１に一時的に記憶させる。制御部１２３の演算回路ではこの評価値と記憶部１２１に既に記憶されていた評価値、即ち、１フレーム前の画像から生成された評価値との差分値を算出する。そしてこの差分値が予め設定されている基準値以上であれば、外部閃光による悪影響を受けた画像と判断し、基準値未満であれば外部閃光による影響がない画像と判断する。その結果に応じて制御部１２３は、撮像装置の各部を制御し、外部の閃光による悪影響を受けた画像と判断したらその画像を排除し、外部の閃光による悪影響を受けていない画像であればその画像を出力させることにより、外部の閃光による白帯状の妨害の課題を解決している。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００７−３０６２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
上記従来の撮像装置では、撮像された画像が外部閃光による悪影響をうけていると判断した場合に、その画像を過去に撮像された外部閃光の影響を受けていない画像で置換し、外部閃光による白帯状の妨害を含むフレーム自体を排除することにより補正を実現している。
【００２０】
しかしながらこの方法では、少なくとも２フレーム以上に亘って、過去のフレームをフリーズした状態となり、特に動画を撮影している場合などには一瞬動きが止まるような、違和感のある映像となる。
【００２１】
また、外部閃光の影響のある画像を全て排除するため、外部閃光が発光された場面を撮像したにもかかわらず、出力される映像に本来存在するべきである、明るくなった画像が含まれていないことになり、不自然な映像となる。
【００２２】
本発明は上記従来の問題点を解決するもので、任意のタイミングで発光される外部閃光による撮像信号への影響を、元画像に含まれる情報を残しつつ、違和感なく補正することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２３】
上記問題点を解決するために本発明の撮像装置は、被写体像を撮像し映像信号を出力する撮像部と、前記撮像部が出力する１フレームの映像信号について、隣接ラインのライン評価値の差が所定の値を超えるライン位置を有する映像信号を検出する検出部と、前記検出部で検出した１フレームの映像信号について、少なくとも前記ライン位置より前のラインまでの平均輝度レベル、前記ライン位置以降の平均輝度レベル、当該映像信号の１フレーム前の映像信号における前記ライン位置に対応するライン位置より前のラインまでの平均輝度レベル、及び当該映像信号の１フレーム前の映像信号における前記ライン位置に対応するライン位置以降の平均輝度レベルのいずれかを用いて、補正ゲイン量を算出する補正ゲイン算出部と、前記補正ゲイン量を用いて、前記検出部で検出した１フレームの映像信号における前記ライン位置より前のラインまでの映像信号、又は前記ライン位置以降の映像信号を補正する映像信号補正部と、を備える。
【発明の効果】
【００２４】
上記の構成によって、任意のタイミングで発光される外部閃光に対して、外部閃光の影響を受ける前後の輝度レベルの平均値の比から補正ゲイン量を算出して、該ゲイン係数を用いて外部閃光の影響を補正することにより、映像をフリーズさせないため、元画像に含まれる情報が欠落することなく、本来あるべき外部閃光により明るくなった画像も含んだ自然な映像を取得できるという効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】実施の形態１における撮像装置の概略構成を示す図
【図２】実施の形態１および２における撮像装置のライン判定部の概略構成を示す図
【図３】実施の形態１および３における撮像装置のブロック加算平均算出部の概略構成を示す図
【図４】実施の形態１から４における撮像装置の動作を示すフローチャート
【図５】実施の形態１および２における撮像装置のゲイン調整部の動作を説明する図
【図６】ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による撮像信号への影響を説明する図
【図７】実施の形態２における撮像装置の概略構成を示す図
【図８】実施の形態２における撮像装置のブロック加算平均算出部の概略構成を示す図
【図９】実施の形態３における撮像装置の概略構成を示す図
【図１０】実施の形態３および４における撮像装置のライン判定部の概略構成を示す図
【図１１】実施の形態３および４における撮像装置のゲイン調整部の動作を説明する図
【図１２】実施の形態４における撮像装置の概略構成を示す図
【図１３】実施の形態４における撮像装置のブロック加算平均算出部の概略構成を示す図
【図１４】ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による撮像信号への影響を説明する図
【図１５】外部閃光により撮像信号に妨害が発生し得る撮影シーンを説明する図
【図１６】ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による白帯状の妨害発生原理を説明する図
【図１７】従来の撮像装置の概略構成を示す図
【発明を実施するための形態】
【００２６】
以下、実施の形態について、図１から図１４を用いて説明する。
【００２７】
（実施の形態１）
（１−１．撮像装置の構成）
図１は、実施の形態１における撮像装置の概略構成を示す図である。
【００２８】
図１に示す撮像装置は、撮像部１と、フレームメモリ２と、第１のライン加算平均算出部３と、第２のライン加算平均算出部４と、第１のライン判定部５と、第１のブロック加算平均算出部６と、第２のブロック加算平均算出部７と、第１のゲイン算出部８と、第１のゲイン調整部９とを有する。
【００２９】
撮像部１は、図示しない撮像素子、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）回路、シグナルジェネレータ（ＳＧ）およびタイミングジェネレータ（ＴＧ）を備え、被写体を撮像し、その結果得られる画像を出力する。
【００３０】
撮像素子は、例えばＣＭＯＳセンサやＣＣＤ等で構成され、入射する被写体からの光を受光して光電変換することにより、電気信号としての画像信号を出力する。撮像素子は、受光した光の量に応じて電荷を蓄積する複数の画素が、格子状の配置で平面状に敷き詰められて構成されており、タイミングジェネレータから供給される水平駆動信号と垂直駆動信号にしたがって、所定の露光時間だけ光を受光する。撮像素子の各画素には受光した光の量に応じた電荷が蓄積され、撮像素子は、その電荷をアナログの画像信号としてＣＤＳ回路に供給する。
【００３１】
ＣＤＳ回路は、撮像素子から供給されたアナログの画像信号のノイズ成分を、相関２重サンプリングを施すことによって除去する。ＣＤＳ回路は、ノイズ成分を除去した画像信号をＡ／Ｄ回路に供給する。
【００３２】
Ａ／Ｄ回路は、ＣＤＳ回路からのアナログの画像信号をＡ／Ｄ変換し、その結果得られるデジタルの画像データを第１の撮像信号として出力する。シグナルジェネレータは、制御部（図示せず）の制御に基づいて、水平同期信号と垂直同期信号をそれぞれ発生し、タイミングジェネレータに出力する。タイミングジェネレータは、シグナルジェネレータから供給された水平同期信号と垂直同期信号に基づいて、撮像素子を駆動させるための水平駆動信号と垂直駆動信号をそれぞれ発生し、撮像素子に供給する。
【００３３】
フレームメモリ２は、撮像部１が出力する第１の撮像信号を１フレーム遅延させて、第２の撮像信号として出力する。
【００３４】
第１のライン加算平均算出部３は各フレームにおいて第１の撮像信号のライン毎に輝度レベルの加算平均値を算出し、第１のライン評価値Ｌ１ｘ（ｘはライン位置）を算出する。
【００３５】
同様に第２のライン加算平均算出部４は各フレームにおいて第２の撮像信号のライン毎に輝度レベルの加算平均値を算出し、第２のライン評価値Ｌ２ｘ（ｘはライン位置）を算出する。
【００３６】
第１のライン判定部５は第１のライン評価値を入力とし、外部閃光の影響により現在のラインのライン評価値が、１ライン前のライン評価値と比較して予め設定された所定量以上変化するラインｍ（ｍはライン位置）を検出してライン位置ｍを一時的に記憶する。
【００３７】
図２は図１の第１のライン判定部５の概略構成を示す図である。
【００３８】
図２に示すライン判定部は、評価値シフトレジスタ部５１と、評価値判定部５２と、ラインカウンタ５３と、ライン位置記憶部５４とを有する。
【００３９】
評価値シフトレジスタ部５１はフリップフロップ等で構成されたシフトレジスタであり、図１の第１のライン加算平均算出部３において算出された各ラインの第１のライン評価値Ｌ１ｘ（ｘはライン位置）が入力され、水平同期パルスに従って１ライン毎に次段のレジスタに転送される。評価値判定部５２はライン毎に１ライン前のライン評価値と比較して所定量以上大きければトリガパルスを発生する。ラインカウンタ５３は水平同期パルスに従ってライン数をカウントする。ライン位置記憶部５４は評価値判定部５２が発生したトリガパルスに従ってラインカウンタ５３のカウンタ値、すなわちラインｍが前述の条件を満たすライン位置ｍを一時的に記憶する。
【００４０】
図１において、第１のブロック加算平均算出部６は第１のライン判定部５に記憶されたライン位置ｍに対して、Ｎ−１番目のフレームのラインｍからラインｎ（ｎは最終ラインのライン位置）までの第１のライン評価値であるＬ１ｍからＬ１ｎまでを加算した値をｎ−ｍ＋１で除算することでラインｍからラインｎまでの第１のライン評価値の加算平均値を第１のブロック加算平均値Ｂｍ，ｎとして算出する。
【００４１】
同様に、第２のブロック加算平均算出部７は第１のライン判定部５に記憶されたライン位置ｍに対して、Ｎ−２番目のフレームのラインｍからラインｎ（ｎは最終ラインのライン位置）までの第２のライン評価値であるＬ２ｍからＬ２ｎまでを加算した値をｎ−ｍ＋１で除算することでラインｍからラインｎまでの第２のライン評価値の加算平均値を第２のブロック加算平均値Ａｍ，ｎとして算出する。
【００４２】
図３は図１における第１のブロック加算平均算出部６および第２のブロック加算平均算出部７の概略構成を示す図である。
【００４３】
図３に示すブロック加算平均算出部は、ラインカウンタ６１と、カウンタ値比較部６３および６５と、遅延部６６と、ライン評価値加算部６７と、ブロック加算平均値記憶部６９とを有する。
【００４４】
以下、第１のブロック加算平均算出部６の場合を例に説明する。
【００４５】
ラインカウンタ６１は水平同期パルスに従ってライン数をカウントする。カウンタ値比較部６３および６５は図１における第１のライン判定部５に記憶されているライン位置ｍに対して、ラインカウンタ６１のカウンタ値が各々ｍおよびｎ（ｎは最終ラインのライン位置）となるタイミングでトリガパルスを発生する。遅延部６６は図１における第１のライン加算平均算出部３において算出された各ラインのライン評価値Ｌｘ（ｘはライン位置）が入力され、第１のライン判定部５によりラインｍが前述の条件を満たすライン位置ｍを記憶したタイミング以降に、ラインｍのライン評価値Ｌｍがライン評価値加算部６７に入力される様に、水平同期パルスに従ってライン評価値を遅延させる。ライン評価値加算部６７はカウンタ値比較部６３がトリガパルスを発生するタイミング、すなわちライン評価値加算部６７にラインｍのライン評価値Ｌｍが入力されるタイミングでは入力されるライン評価値に０を加算し、それ以外の場合には入力されるライン評価値にそれまでのライン評価値の合計値を加算した値を、水平同期パルスに従って出力する。ブロック加算平均値記憶部６９はライン評価値加算部６７により出力される値が入力され、カウンタ値比較部６５がトリガパルスを発生するタイミングで取り込み、ｎ−ｍ＋１で除算して記憶する。すなわちブロック加算平均値記憶部６９はライン評価値加算部６７により算出されたラインｍからラインｎまでのライン評価値の加算値をｎ−ｍ＋１で除算して平均化した値を第１のブロック加算平均値Ｂｍ，ｎ（第２のブロック加算平均算出部７の場合は第２のブロック加算平均値Ａｍ，ｎ）として記憶する。
【００４６】
第１のゲイン算出部８は第２のブロック加算平均値Ａｍ，ｎと第１のブロック加算平均値Ｂｍ，ｎを入力とし、ゲイン係数ｋ（ｋ＝Ｂｍ，ｎ／Ａｍ，ｎ）を算出して記憶する。すなわちゲイン係数ｋは、外部閃光の影響を受けた画像下部の領域の輝度レベルが増加する前後の平均輝度レベルの比を表すことになる。
【００４７】
第１のゲイン調整部９はこのゲイン係数ｋを用いて、フレームメモリ２から出力される第１の撮像信号を適切なタイミングでゲイン調整することにより補正する。
【００４８】
（１−２．撮像装置の動作）
以下、本実施の形態１における撮像装置の動作を図４のフローチャート及び図５、図６を用いて説明する。
【００４９】
図６は、撮像中にスチルカメラのフラッシュなどの外部閃光が発光された場合の撮像信号および表示画像への影響を示す図である。
【００５０】
図６に示すように、Ｎ番目のフレームを撮像している途中に外部閃光が発光された場合には、撮像部１から出力される撮像信号にはＮ−１番目のフレームの画像の下部およびＮ番目のフレームの画像の上部に白帯状の妨害が発生する。図６においてＮ−１番目のフレームでは、ｍ−１ライン目までは外部閃光の影響を受けず、ｍライン目以降は外部閃光の影響を受け、Ｎ番目のフレームでは、ｍ−１ライン目までは外部閃光の影響を受け、ｍライン目以降は外部閃光の影響を受けないものとする。
【００５１】
撮像部１は、被写体を撮像し、第１の撮像信号として出力する（ステップ４０１）。最初に、撮像部１が、フレームＮ−１の撮像信号を出力している場合について、説明する。
【００５２】
第１のライン加算平均算出部３は、第１の撮像信号のライン毎に輝度レベルの加算平均値を算出し、第１のライン評価値Ｌ１ｘ（ｘはライン位置）を算出する。第１のライン判定部５は第１のライン評価値を入力とし、外部閃光の影響により現在のラインのライン評価値が、１ライン前のライン評価値と比較して予め設定された所定量以上増加するラインｍ（ｍはライン位置）を検出した場合、白帯が発生したと判断し、そのライン位置ｍを一時的に記憶する（ステップ４０２でＹｅｓ）。
【００５３】
１フレーム前の撮像信号（この場合、フレームＮ−２）について、算出したゲイン係数が存在するか否かを確認し、存在しない場合は（ステップ４０３でＮｏ）、以下の処理を実行する。
【００５４】
第１のブロック加算平均算出部６は、第１の撮像信号におけるライン位置ｍから、フレームの最終ラインであるライン位置ｎまでのライン評価値を加算し、その加算値をｎ−ｍ＋１で除算して平均化した値を第１のブロック加算平均値Ｂｍ，ｎとして算出する（ステップ４０４）。
【００５５】
同様に、第２のブロック加算平均算出部７は、第１の撮像信号の１フレーム前の撮像信号である第２の撮像信号について、上記で記憶したライン位置ｍからライン位置ｎまでのライン評価値を加算し、その加算値をｎ−ｍ＋１で除算して平均化した値を第２のブロック加算平均値Ｂｍ，ｎとして記憶する（ステップ４０５）。
【００５６】
第１のゲイン算出部８は、第２のブロック加算平均値Ａｍ，ｎと第１のブロック加算平均値Ｂｍ，ｎを用いてゲイン係数ｋ（ｋ＝Ｂｍ，ｎ／Ａｍ，ｎ）を算出して記憶する（ステップ４０６）。
【００５７】
第１のゲイン調整部９はこのゲイン係数ｋを用いて、フレームメモリ２から出力される第２の撮像信号を補正する（ステップ４０７）。ゲイン係数ｋは、フレームＮ−１の第１の撮像信号の最終ライン位置ｎまでの輝度レベルを用いて算出される値である。したがって、ゲイン係数ｋを算出した際には、撮像部１は、第１の撮像信号として、次のフレームであるフレームＮの撮像信号の出力を開始している。第１のゲイン調整部９は、撮像部１が第１の撮像信号としてフレームＮの撮像信号を出力し、フレームメモリ２が出力する１フレーム遅延させたフレームＮ−１の第２の撮像信号に対して、補正を行う。
【００５８】
第１のゲイン調整部９が行う補正を、図５を用いて説明する。第１のゲイン調整部９は、フレームＮ−１に対して、図５（ａ）に示すように外部閃光の影響により輝度レベルが増加しているラインｍからラインｎまでの撮像信号の輝度レベルを１／ｋ倍とすることにより、Ｎ−１番目のフレームにおける外部閃光の影響により生じる白帯を含む画像を補正する。
【００５９】
なお、本実施の形態１では、外部閃光の影響により輝度レベルが増加しているラインｍからラインｎまでの撮像信号の輝度レベルを１／ｋ倍することで、外部閃光の影響を受けない画像となるように補正したが、外部閃光の影響を受けていないライン１からラインｍ−１までの撮像信号の輝度レベルをｋ倍することにより、外部閃光の影響により全面が白く光った画像となるように補正しても良い。
【００６０】
次に、撮像部１が、次のフレームであるフレームＮの撮像信号を出力している場合について、説明する。
【００６１】
第１のライン加算平均算出部３は、第１の撮像信号のライン毎に輝度レベルの加算平均値を算出し、第１のライン評価値Ｌ１ｘ（ｘはライン位置）を算出する。第１のライン判定部５は第１のライン評価値を入力とし、外部閃光の影響により現在のラインのライン評価値が、１ライン前のライン評価値と比較して予め設定された所定量以上減少するラインｍ（ｍはライン位置）を検出した場合、白帯が終了したと判断し、そのライン位置ｍを一時的に記憶する（ステップ４０２）。
【００６２】
１フレーム前の撮像信号（この場合、フレームＮ−１）について、算出したゲイン係数が存在するか否かを確認する（ステップ４０３）。フレームＮ−１に対して算出したゲイン係数ｋが存在するため（ステップ４０３でＹｅｓ）、ゲイン係数ｋを新たに算出せずに、ステップ４０７の処理に移行する。
【００６３】
第１のゲイン調整部９は、第１の撮像部１が第１の撮像信号として次のフレームであるフレームＮ＋１の撮像信号を出力し、フレームメモリ２により１フレーム遅延させたフレームＮの第２の撮像信号を出力しているタイミングで、補正を行う（ステップ４０７）。第１のゲイン調整部９は、フレームＮに対して、図５（ｂ）に示すように外部閃光の影響が終了した直後のラインｍからラインｎまでの撮像信号の輝度レベルをｋ倍とすることにより、Ｎ番目のフレームの外部閃光の影響により生じる白帯を含む画像を補正することができる。
【００６４】
なお、本実施の形態１では、外部閃光の影響が終了した直後のラインｍからラインｎまでの撮像信号の輝度レベルをｋ倍とすることにより、Ｎ番目のフレームは外部閃光の影響により全面が白く光った画像となるように補正したが、外部閃光の影響を受けたライン１からラインｍ−１までの撮像信号の輝度レベルを１／ｋ倍することで、外部閃光の影響を受けない画像となるように補正しても良い。
【００６５】
なお、本実施の形態１では、ステップ４０３で、１フレーム前の撮像信号について、算出したゲイン係数が存在するか否かを確認し、存在する場合はそのゲイン係数を用いる形態について説明したが、全てのフレームに対してゲイン係数を算出し、算出したゲイン数を用いて補正する形態であっても良い。
【００６６】
なお、本実施の形態１の撮像装置、ライン判定部およびブロック加算平均算出部について、図１、図２および図３を用いて説明したが、発明の要旨を逸脱しない範囲で適宜他の構成をとり得ることは言うまでもない。
【００６７】
なお、本実施の形態１において、各ラインの評価値を撮像信号の輝度レベルとしたが、第１のライン判定部５で外部閃光の影響の有無を判定するためのライン評価値は、外部閃光の影響の有無により変化するものであれば、例えば撮像信号の色成分や周波数成分およびＳＮ比（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）など、他の信号成分や値を評価値としても構わない。また、第１のブロック加算平均算出部６および第２のブロック加算平均算出部７で算出するブロック加算平均値は、輝度レベルに比例して変化するものであれば他の信号成分や値を評価値としても構わない。
【００６８】
以上のように本実施の形態１によれば、最初にライン方向の評価値の急峻な変化を検出して、画面内の外部閃光の影響を受けた領域の平均輝度レベルと、同領域の外部閃光の影響を受ける前の平均輝度レベルとの比からゲイン係数を算出し、該ゲイン係数を用いて補正することで、外部閃光が発光されるタイミングによってどのラインから影響があった場合にも補正可能であり、また、補正の際に正常な画像をフリーズしたりせずに元画像の情報を生かすことで被写体の動きも不自然にならず、補正後の画像には本来存在すべき明るくなった画像も含まれるため違和感なく外部閃光の影響を補正することができる。
【００６９】
（実施の形態２）
図７は、実施の形態２の撮像装置の概略構成を示す図である。
【００７０】
図７に示す撮像装置は、撮像部１と、フレームメモリ２と、第１のライン加算平均算出部３と、第２のライン加算平均算出部４と、第１のライン判定部５と、第３のブロック加算平均算出部６０と、第４のブロック加算平均算出部７０と、第２のゲイン算出部８０と、第１のゲイン調整部９とを有する。
【００７１】
撮像部１、フレームメモリ２、第１のライン加算平均算出部３、第２のライン加算平均算出部４、第１のライン判定部５および第１のゲイン調整部９は実施の形態１の撮像装置と同様であるため説明を省略する。
【００７２】
第３のブロック加算平均算出部６０は第１のライン判定部５に記憶されたライン位置ｍに対して、Ｎ−１番目のフレームのラインｍからラインｎ（ｎは最終ラインのライン位置）までの第１のライン評価値であるＬ１ｍからＬ１ｎまでを加算した値をｎ−ｍ＋１で除算することでラインｍからラインｎまでの第１のライン評価値の加算平均値を第１のブロック加算平均値Ｂｍ，ｎとして算出すると共に、ライン１からラインｍ−１までの第１のライン評価値であるＬ１１からＬ１ｍ−１までを加算した値をｍ−１で除算することでライン１からラインｍ−１までの第１のライン評価値の加算平均値を第３のブロック加算平均値Ｂ１，ｍ−１として算出する。
【００７３】
同様に、第４のブロック加算平均算出部７０は第１のライン判定部５に記憶されたライン位置ｍに対して、Ｎ−２番目のフレームのラインｍからラインｎ（ｎは最終ラインのライン位置）までの第２のライン評価値であるＬ２ｍからＬ２ｎまでを加算した値をｎ−ｍ＋１で除算することでラインｍからラインｎまでの第２のライン評価値の加算平均値を第２のブロック加算平均値Ａｍ，ｎとして算出すると共に、ライン１からラインｍ−１までの第２のライン評価値であるＬ２１からＬ２ｍ−１までを加算した値をｍ−１で除算することでライン１からラインｍ−１までの第２のライン評価値の加算平均値を第４のブロック加算平均値Ａ１，ｍ−１として算出する。
【００７４】
図８は図７における第３のブロック加算平均算出部６０および第４のブロック加算平均算出部７０の概略構成を示す図である。
【００７５】
図８に示すブロック加算平均算出部は、ラインカウンタ６１と、カウンタ値比較部６２、６３および６５と、遅延部６６と、ライン評価値加算部６７と、ブロック加算平均値記憶部６８および６９とを有する。
【００７６】
以下、第３のブロック加算平均算出部６０の場合を例に説明する。
【００７７】
ラインカウンタ６１は水平同期パルスに従ってライン数をカウントする。カウンタ値比較部６２、６３および６５は図７の第１のライン判定部５に記憶されているライン位置ｍに対して、ラインカウンタ６１のカウンタ値が各々１、ｍおよびｎ（ｎは最終ラインのライン位置）となるタイミングでトリガパルスを発生する。遅延部６６は図７の第１のライン加算平均算出部３において算出された各ラインのライン評価値Ｌｘ（ｘはライン位置）が入力され、第１のライン判定部５によりラインｍが前述の条件を満たすライン位置ｍを記憶したタイミング以降に、ラインｍのライン評価値Ｌｍがライン評価値加算部６７に入力される様に、水平同期パルスに従ってライン評価値を遅延させる。ライン評価値加算部６７はカウンタ値比較部６２および６３がトリガパルスを発生するタイミング、すなわちライン評価値加算部６７にライン１およびラインｍのライン評価値Ｌ１およびＬｍが入力されるタイミングで入力されるライン評価値に０を加算し、それ以外の場合には入力されるライン評価値にそれまでのライン評価値の合計値を加算した値を、水平同期パルスに従って出力する。ブロック加算平均値記憶部６８および６９はライン評価値加算部６７が出力する値が入力され、カウンタ値比較部６３および６５がトリガパルスを発生するタイミングで取り込み、各々ｍ−１およびｎ−ｍ＋１で除算して記憶する。すなわちブロック加算平均値記憶部６８はライン評価値加算部６７により算出されたライン１からラインｍ−１までのライン評価値の加算値をｍ−１で除算して平均化した値を第３のブロック加算平均値Ｂ１，ｍ−１（第４のブロック加算平均算出部７０の場合は第４のブロック加算平均値Ａ１，ｍ−１）として記憶する。また、ブロック加算平均値記憶部６９はライン評価値加算部６７により算出されたラインｍからラインｎまでのライン評価値の加算値をｎ−ｍ＋１で除算して平均化した値を第３のブロック加算平均値Ｂｍ，ｎ（第４のブロック加算平均算出部７０の場合は第４のブロック加算平均値Ａｍ，ｎ）として記憶する。
【００７８】
第２のゲイン算出部８０は第４のブロック加算平均値Ａ１，ｍ−１および第４のブロック加算平均値Ａｍ，ｎと第３のブロック加算平均値Ｂ１，ｍ−１および第３のブロック加算平均値Ｂｍ，ｎを入力とし、ゲイン係数ｋ（ｋ＝（Ｂｍ，ｎ×Ａ１，ｍ−１）／（Ａｍ，ｎ×Ｂ１，ｍ−１））を算出して記憶する。
【００７９】
本実施の形態２における撮像装置の動作は図４に示す実施の形態１のフローチャートと同様である。以下、実施の形態１との相違点について説明する。本実施の形態２では、ゲイン係数ｋを算出するにあたって、Ｂｍ，ｎ／Ａｍ，ｎについては実施の形態１の場合と同様であるが、さらにＡ１，ｍ−１／Ｂ１，ｍ−１の比が含まれている。これは外部閃光の影響を受けていない画像上部の領域の平均輝度レベルの比であり、２フレーム間のアイリスの変化などによる輝度レベルの変化を表すものと考えることができる。すなわちゲイン係数ｋは、外部閃光の発光に無関係なアイリスなどの撮影条件による変化分を考慮に入れた、外部閃光の影響を受けた画像下部の領域の輝度レベルが増加する前後の平均輝度レベルの比を表すことになる。
【００８０】
第１のゲイン調整部９はこのゲイン係数ｋを用いて、実施の形態１と同様に、フレームメモリ２から出力される第２の撮像信号を適切なタイミングでゲイン調整することにより補正して、順次各フレームの撮像信号を出力する。
【００８１】
なお、本実施の形態２の撮像装置、ライン判定部およびブロック加算平均算出部について、図７および図８を用いて説明したが、発明の要旨を逸脱しない範囲で適宜他の構成をとり得ることは言うまでもない。
【００８２】
なお、本実施の形態２において、各ラインの評価値を撮像信号の輝度レベルとしたが、第１のライン判定部５で外部閃光の影響の有無を判定するためのライン評価値は、外部閃光の影響の有無により変化するものであれば、例えば撮像信号の色成分や周波数成分およびＳＮ比（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）など、他の信号成分や値を評価値としても構わない。また、第３のブロック加算平均算出部６０および第４のブロック加算平均算出部７０で算出するブロック加算平均値は、輝度レベルに比例して変化するものであれば他の信号成分や値を評価値としても構わない。
【００８３】
以上のように本実施の形態２によれば、最初にライン方向の評価値の急峻な変化を検出して、画面内の外部閃光の影響を受けた領域の平均輝度レベルと、同領域の外部閃光の影響を受ける前の平均輝度レベルとの比と、各フレームの外部閃光の影響を受けていない領域の平均輝度レベルの比からゲイン係数を算出することでアイリス設定など撮影条件の変化を考慮した、より正確なゲイン係数を算出し、該ゲイン係数を用いて補正することで、外部閃光が発光されるタイミングによってどのラインから影響があった場合にも補正可能であり、また、補正の際に正常な画像をフリーズしたりせずに元画像の情報を生かすことで被写体の動きも不自然にならず、補正後の画像には本来存在すべき明るくなった画像も含まれるため違和感なく外部閃光の影響を補正することができる。
【００８４】
（実施の形態３）
図１４は撮像中にスチルカメラのフラッシュなどの外部閃光が発光された場合の撮像信号および表示画像への影響を示す図である。実施の形態３では外部閃光の発光が一瞬ではなく、ある程度の期間継続している場合について説明する。
【００８５】
図１４に示すように、Ｎ番目のフレームを撮像している途中に外部閃光が発光された場合には、撮像部１から出力される撮像信号にはＮ−１番目のフレームの画像の下部およびＮ番目のフレームの画像の上部に白帯状の妨害が発生する。図１４においてＮ−１番目のフレームでは、ｍ−１ライン目までは殆ど外部閃光の影響を受けず、ｍ＋ａライン目以降は外部閃光のほぼ全光量の影響を受け、その間のラインは外部閃光の発光期間に依存し、ライン番号が増加するに従ってほぼ線形に蓄積光量が増加するトランジェント期間となっている。Ｎ番目のフレームでは、ｍ−１ライン目までは外部閃光のほぼ全光量の影響を受け、ｍ＋ａライン目以降は殆ど外部閃光の影響を受けず、その間のラインはライン番号が増加するに従ってほぼ線形に蓄積光量が減少するトランジェント期間となっている。
【００８６】
図９は、実施の形態３の撮像装置の概略構成を示す図である。
【００８７】
図９に示す撮像装置は、撮像部１と、フレームメモリ２と、第１のライン加算平均算出部３と、第２のライン加算平均算出部４と、第２のライン判定部５０と、第５のブロック加算平均算出部６００と、第６のブロック加算平均算出部７００と、第１のゲイン算出部８と、第２のゲイン調整部９０とを有する。
【００８８】
撮像部１、フレームメモリ２、第１のライン加算平均算出部３、第２のライン加算平均算出部４は実施の形態１の撮像装置と同様であるため説明を省略する。
【００８９】
第２のライン判定部５０は第１のライン評価値を入力とし、外部閃光の影響によりラインｍ＋ａのライン評価値が、ラインｍ−１のライン評価値と比較して予め設定された所定量以上増加し、その間のラインはラインｍ、ラインｍ＋１、・・・、ラインｍ＋ａ−１と段階的にライン番号の増加にほぼ比例してライン評価値が増加するようなライン位置ｍおよびライン位置ｍ＋ａを検出して一時的に記憶する。図１４の場合には、撮像部１から出力される第１の撮像信号がＮ−１番目のフレームの撮像信号であるタイミングで、ライン位置ｍおよびライン位置ｍ＋ａを検出して記憶することになる。
【００９０】
図１０は図９の第２のライン判定部５０の概略構成を示す図である。
【００９１】
図１０に示すライン判定部は、評価値シフトレジスタ部５０１と、評価値判定部５０２と、ラインカウンタ部５３と、ライン位置記憶部５０４とを有する。
【００９２】
評価値シフトレジスタ部５０１はフリップフロップ等で構成されたシフトレジスタであり、図９の第１のライン加算平均算出部３において算出された各ラインの第１のライン評価値Ｌ１ｘ（ｘはライン位置）が入力され、水平同期パルスに従って１ライン毎に次段のレジスタに転送される。評価値判定部５０２はライン毎にａ＋１ライン前のライン評価値と比較して所定量以上大きく、その前後はライン評価値にあまり変化がなく、その間のラインはライン番号の増加に比例してほぼ線形にライン評価値が増加することを検出すればトリガパルスを発生する。図１０の場合では、ライン評価値Ｌｍ＋ａがａ＋１ライン前のライン評価値Ｌｍ−１よりも所定量以上大きく、Ｌｍ−２はＬｍ−１と、Ｌｍ＋ａ＋１はＬｍ＋ａとほぼ同等であり、Ｌｍ−１、Ｌｍ、・・・、Ｌｍ＋ａ−１、Ｌｍ＋ａとほぼ線形にライン評価値が増加することを検出すればトリガパルスを発生する。ラインカウンタ５３は水平同期パルスに従ってライン数をカウントする。ライン位置記憶部５０４は評価値判定部５０２が発生したトリガパルスに従ってラインカウンタ５３のカウンタ値、すなわち前述の条件を満たす場合のライン位置ｍおよびライン位置ｍ＋ａを一時的に記憶する。ここでａの値は１ライン目からｍ−１ライン目までの間のライン評価値の変化が所定量より小さく、ｍ＋ａライン目からｎライン目までの間のライン評価値の変化が所定量より小さく、ｍ−１ライン目とｍ＋ａライン目のライン評価値の差が所定量よりも大きく、その間はライン評価値が線形に変化するというライン評価値のプロファイルから判断して決定してもよいし、予め適切な値を固定値として決定しておいてもよい。後者の場合は設定したａの値に対して、実際の外部閃光の発光期間によっては、ライン評価値が線形に変化するライン数がｍ−１ラインからｍ＋ａラインの間のａ＋２ラインよりも少なくなる、または多くなる場合もあるが、１ラインで輝度レベルが変化するものとして処理する場合と比較すると、トランジェント期間の輝度レベルの補正を段階的に行うことができるため、より自然な補正が可能となる。
【００９３】
第５のブロック加算平均算出部６００は第２のライン判定部５０に記憶されたライン位置ｍ＋ａに対して、Ｎ−１番目のフレームのラインｍ＋ａからラインｎ（ｎは最終ラインのライン位置）までの第１のライン評価値であるＬ１ｍ＋ａからＬ１ｎまでを加算した値をｎ−（ｍ＋ａ）＋１で除算することでラインｍ＋ａからラインｎまでの第１のライン評価値の加算平均値を第５のブロック加算平均値Ｂｍ＋ａ，ｎとして算出する。
【００９４】
同様に、第６のブロック加算平均算出部７００は第２のライン判定部５０に記憶されたライン位置ｍ＋ａに対して、Ｎ−２番目のフレームのラインｍ＋ａからラインｎ（ｎは最終ラインのライン位置）までの第２のライン評価値であるＬ２ｍ＋ａからＬ２ｎまでを加算した値をｎ−（ｍ＋ａ）＋１で除算することでラインｍ＋ａからラインｎまでの第２のライン評価値の加算平均値を第６のブロック加算平均値Ａｍ＋ａ，ｎとして算出する。
【００９５】
第５のブロック加算平均算出部６００および第６のブロック加算平均算出部７００は、図３の実施の形態１の第１のブロック加算平均算出部６および第２のブロック加算平均算出部７において、ライン位置ｍの代わりにライン位置ｍ＋ａが入力された場合と同様であるため、説明を省略する。
【００９６】
第１のゲイン算出部８は第６のブロック加算平均値Ａｍ＋ａ，ｎと第５のブロック加算平均値Ｂｍ＋ａ，ｎを入力とし、ゲイン係数ｋ（ｋ＝Ｂｍ＋ａ，ｎ／Ａｍ＋ａ，ｎ）を算出して記憶する。すなわちゲイン係数ｋは、外部閃光の影響を受けた画像下部のトランジェント期間を除く領域の輝度レベルが増加する前後の平均輝度レベルの比を表すことになる。
【００９７】
第２のゲイン調整部９０はこのゲイン係数ｋを用いて、フレームメモリ２から出力される第２の撮像信号を適切なタイミングでゲイン調整することにより補正する。
【００９８】
本実施の形態３における撮像装置の動作は図４に示す実施の形態１のフローチャートと同様である。以下、実施の形態１との相違点について説明する。
【００９９】
図１１は図９における第２のゲイン調整部９０の動作を説明する図である。
【０１００】
第１の撮像信号がＮ−１番目のフレームの撮像信号、第２の撮像信号がＮ−２番目のフレームの撮像信号であるタイミングで、第２のライン判定部５０はライン位置ｍおよびライン位置ｍ＋ａを検出し、第５のブロック加算平均算出部６００および第６のブロック加算平均算出部７００は各々第５のブロック加算平均値Ｂｍ＋ａ，ｎおよび第６のブロック加算平均値Ａｍ＋ａ，ｎを算出し、第１のゲイン算出部８はゲイン係数ｋを算出する。第２のゲイン調整部９０は１フレーム後、すなわち、第２の撮像信号がＮ−１番目のフレームの撮像信号であるタイミングで、図１１に示すように外部閃光の影響により輝度レベルが増加しているラインｍ＋ａからラインｎまでの撮像信号の輝度レベルを１／ｋ倍とする。一方、トランジェント期間であるラインｍからラインｍ＋ａ−１についてはライン毎に個別のゲイン調整を行う。すなわち、外部閃光の影響によりライン番号の増加に比例して輝度レベルが増加しているものと見なして、ラインｍは（ａ＋２）／（２×ｋ）倍、ラインｍ＋１は（ａ＋２）／（３×ｋ）倍、ラインｍ＋２は（ａ＋２）／（４×ｋ）倍、・・・、ラインＬは（ａ＋２）／（（Ｌ−ｍ＋２）×ｋ）倍（Ｌはライン位置）、・・・、ラインｍ＋ａ−１は（ａ＋２）／（（ａ＋１）×ｋ）倍とし、段階的にゲイン量を変化させて調整を行う。これより、Ｎ−１番目のフレームは外部閃光の影響を受けない画像となるように補正する。さらに１フレーム後、すなわち、第２の撮像信号がＮ番目のフレームの撮像信号であるタイミングで、図１１に示すように、外部閃光の影響が終了した直後のラインｍ＋ａからラインｎまでの撮像信号の輝度レベルをｋ倍とする。一方、トランジェント期間であるラインｍからラインｍ＋ａ−１についてはライン毎に個別のゲイン調整を行う。すなわち、外部閃光の影響によりライン番号の増加に比例して輝度レベルが減少しているものと見なして、ラインｍからラインｍ＋ａ−１は輝度レベルを、ラインｍはｋ／（ａ＋１）倍、ラインｍ＋１はｋ／ａ倍、ラインｍ＋２はｋ／（ａ−１）倍、・・・、ラインＬはｋ／（ａ−Ｌ＋ｍ＋１）倍（Ｌはライン位置）、・・・、ラインｍ＋ａ−１はｋ／２倍とし、段階的にゲイン量を変化させて調整を行う。これより、Ｎ番目のフレームは外部閃光の影響により全面が白く光った画像となるように補正する。上記以外のフレームについては、第２のゲイン調整部９０では補正を行わず、順次各フレームの撮像信号を出力する。
【０１０１】
なお、本実施の形態３の撮像装置、ライン判定部およびブロック加算平均算出部について、図９、図１０を用いて説明したが、発明の要旨を逸脱しない範囲で適宜他の構成をとり得ることは言うまでもない。
【０１０２】
なお、本実施の形態３において、各ラインの評価値を撮像信号の輝度レベルとしたが、第２のライン判定部５０で外部閃光の影響の有無を判定するためのライン評価値は、外部閃光の影響の有無により変化するものであれば、例えば撮像信号の色成分や周波数成分およびＳＮ比（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）など、他の信号成分や値を評価値としても構わない。また、第５のブロック加算平均算出部６００および第６のブロック加算平均算出部７００で算出するブロック加算平均値は、輝度レベルに比例して変化するものであれば他の信号成分や値を評価値としても構わない。
【０１０３】
以上のように本実施の形態３によれば、最初にライン方向の評価値の急峻な変化を検出して、画面内の外部閃光の影響を受けた領域のトランジェント期間を除く領域の平均輝度レベルと、同領域の外部閃光の影響を受ける前の平均輝度レベルとの比からゲイン係数を算出し、該ゲイン係数を用いて補正することで、外部閃光が発光されるタイミングによってどのラインから影響があった場合にも補正可能であり、また、補正の際に正常な画像をフリーズしたりせずに元画像の情報を生かすことで被写体の動きも不自然にならず、補正後の画像には本来存在すべき明るくなった画像も含まれるため違和感なく、さらにトランジェント期間については適切にゲイン量を変化させて補正することで、補正の有無を切替える境界ライン付近は段階的に外部閃光の影響を補正することができる。
【０１０４】
（実施の形態４）
図１２は、実施の形態４の撮像装置の概略構成を示す図である。
【０１０５】
図１２に示す撮像装置は、撮像部１と、フレームメモリ２と、第１のライン加算平均算出部３と、第２のライン加算平均算出部４と、第２のライン判定部５０と、第７のブロック加算平均算出部６０１と、第８のブロック加算平均算出部７０１と、第２のゲイン算出部８０と、第２のゲイン調整部９０とを有する。
【０１０６】
撮像部１、フレームメモリ２、第１のライン加算平均算出部３、第２のライン加算平均算出部４、第２のライン判定部５０および第２のゲイン調整部９０は実施の形態３の撮像装置と同様であるため説明を省略する。
【０１０７】
第７のブロック加算平均算出部６０１は第２のライン判定部５０に記憶されたライン位置ｍおよびライン位置ｍ＋ａに対して、Ｎ−１番目のフレームのラインｍ＋ａからラインｎ（ｎは最終ラインのライン位置）までの第１のライン評価値であるＬ１ｍ＋ａからＬ１ｎまでを加算した値をｎ−（ｍ＋ａ）＋１で除算することでラインｍ＋ａからラインｎまでの第１のライン評価値の加算平均値を第７のブロック加算平均値Ｂｍ＋ａ，ｎとして算出すると共に、ライン１からラインｍ−１までの第１のライン評価値であるＬ１１からＬ１ｍ−１までを加算した値をｍ−１で除算することでライン１からラインｍ−１までの第１のライン評価値の加算平均値を第７のブロック加算平均値Ｂ１，ｍ−１として算出する。
【０１０８】
同様に、第８のブロック加算平均算出部７０１は第２のライン判定部５０に記憶されたライン位置ｍおよびライン位置ｍ＋ａに対して、Ｎ−２番目のフレームのラインｍ＋ａからラインｎ（ｎは最終ラインのライン位置）までの第２のライン評価値であるＬ２ｍ＋ａからＬ２ｎまでを加算した値をｎ−（ｍ＋ａ）＋１で除算することでラインｍ＋ａからラインｎまでの第２のライン評価値の加算平均値を第８のブロック加算平均値Ａｍ＋ａ，ｎとして算出すると共に、ライン１からラインｍ−１までの第２のライン評価値であるＬ２１からＬ２ｍ−１までを加算した値をｍ−１で除算することでライン１からラインｍ−１までの第２のライン評価値の加算平均値を第８のブロック加算平均値Ａ１，ｍ−１として算出する。
【０１０９】
図１３は図１２における第７のブロック加算平均算出部６０１および第８のブロック加算平均算出部７０１の概略構成を示す図である。
【０１１０】
図１３に示すブロック加算平均算出部は、ラインカウンタ６１と、カウンタ値比較部６２、６３、６４および６５と、遅延部６６と、ライン評価値加算部６７と、ブロック加算平均値記憶部６８および６９とを有する。
【０１１１】
以下、第７のブロック加算平均算出部６０１の場合を例に説明する。
【０１１２】
ラインカウンタ６１は水平同期パルスに従ってライン数をカウントする。カウンタ値比較部６２、６３、６４および６５は図１２における第２のライン判定部５０に記憶されているライン位置ｍおよびライン位置ｍ＋ａに対して、ラインカウンタ６１のカウンタ値が各々１、ｍ、ｍ＋ａおよびｎ（ｎは最終ラインのライン位置）となるタイミングでトリガパルスを発生する。遅延部６６は図１２における第１のライン加算平均算出部３において算出された各ラインのライン評価値Ｌｘ（ｘはライン位置）が入力され、第２のライン判定部５０によりラインｍ＋ａが前述の条件を満たすライン位置ｍ＋ａを記憶したタイミング以降に、ラインｍ＋ａのライン評価値Ｌｍ＋ａがライン評価値加算部６７に入力される様に、水平同期パルスに従ってライン評価値を遅延させる。ライン評価値加算部６７はカウンタ値比較部６２および６４がトリガパルスを発生するタイミング、すなわちライン評価値加算部６７にライン１およびラインｍ＋ａのライン評価値Ｌ１およびＬｍ＋ａが入力されるタイミングで入力されるライン評価値に０を加算し、それ以外の場合には入力されるライン評価値にそれまでのライン評価値の合計値を加算した値を、水平同期パルスに従って出力する。ブロック加算平均値記憶部６８および６９はライン評価値加算部６７が出力する値を入力され、カウンタ値比較部６３および６５がトリガパルスを発生するタイミングで取り込んで、各々ｍ−１およびｎ−（ｍ＋ａ）＋１で除算して記憶する。すなわちブロック加算平均値記憶部６８はライン評価値加算部６７により算出されたライン１からラインｍ−１までのライン評価値の加算値をｍ−１で除算して平均化した値を第７のブロック加算平均値Ｂ１，ｍ−１（第８のブロック加算平均算出部７０１の場合は第８のブロック加算平均値Ａ１，ｍ−１）として記憶する。また、ブロック加算平均値記憶部６９はライン評価値加算部６７により算出されたラインｍ＋ａからラインｎまでのライン評価値の加算値をｎ−（ｍ＋ａ）＋１で除算して平均化した値を第７のブロック加算平均値Ｂｍ＋ａ，ｎ（第８のブロック加算平均算出部７０１の場合は第８のブロック加算平均値Ａｍ＋ａ，ｎ）として記憶する。
【０１１３】
第２のゲイン算出部８０は第８のブロック加算平均値Ａ１，ｍ−１および第８のブロック加算平均値Ａｍ＋ａ，ｎと第７のブロック加算平均値Ｂ１，ｍ−１および第７のブロック加算平均値Ｂｍ＋ａ，ｎを入力とし、ゲイン係数ｋ（ｋ＝（Ｂｍ＋ａ，ｎ×Ａ１，ｍ−１）／（Ａｍ＋ａ，ｎ×Ｂ１，ｍ−１））を算出して記憶する。ここで、Ｂｍ＋ａ，ｎ／Ａｍ＋ａ，ｎについては実施の形態３の場合と同様であるが、さらにＡ１，ｍ−１／Ｂ１，ｍ−１の比が含まれている。これは外部閃光の影響を受けていない画像上部の領域の平均輝度レベルの比であり、２フレーム間のアイリスの変化などによる輝度レベルの変化を表すものと考えることができる。すなわちゲイン係数ｋは、外部閃光の発光に無関係なアイリスなどの撮影条件による変化分を考慮に入れた、外部閃光の影響を受けた画像下部のトランジェント期間を除く領域の輝度レベルが増加する前後の平均輝度レベルの比を表すことになる。
【０１１４】
第２のゲイン調整部９０はこのゲイン係数ｋを用いて、実施の形態３と同様に、フレームメモリ２から出力される第２の撮像信号を適切なタイミングでゲイン調整することにより補正して、順次各フレームの撮像信号を出力する。
【０１１５】
なお、本実施の形態４の撮像装置、ライン判定部およびブロック加算平均算出部について、図１２および図１３を用いて説明したが、発明の要旨を逸脱しない範囲で適宜他の構成をとり得ることは言うまでもない。
【０１１６】
なお、本実施の形態４において、各ラインの評価値を撮像信号の輝度レベルとしたが、第２のライン判定部５０で外部閃光の影響の有無を判定するためのライン評価値は、外部閃光の影響の有無により変化するものであれば、例えば撮像信号の色成分や周波数成分およびＳＮ比（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）など、他の信号成分や値を評価値としても構わない。また、第７のブロック加算平均算出部６０１および第８のブロック加算平均算出部７０１で算出するブロック加算平均値は、輝度レベルに比例して変化するものであれば他の信号成分や値を評価値としても構わない。
【０１１７】
以上のように本実施の形態４によれば、最初にライン方向の評価値の急峻な変化を検出して、画面内の外部閃光の影響を受けた領域のトランジェント期間を除く領域の平均輝度レベルと、同領域の外部閃光の影響を受ける前の平均輝度レベルとの比と、各フレームの外部閃光の影響を受けていない領域の平均輝度レベルの比からゲイン係数を算出することでアイリス設定など撮影条件の変化を考慮した、より正確なゲイン係数を算出し、該ゲイン係数を用いて補正することで、外部閃光が発光されるタイミングによってどのラインから影響があった場合にも補正可能であり、また、補正の際に正常な画像をフリーズしたりせずに元画像の情報を生かすことで被写体の動きも不自然にならず、補正後の画像には本来存在すべき明るくなった画像も含まれるため違和感なく、さらにトランジェント期間については適切にゲイン量を変化させて補正することで、補正の有無を切替える境界ライン付近は段階的に外部閃光の影響を補正することができる。
【産業上の利用可能性】
【０１１８】
本実施の形態にかかる撮像装置は、近年ビデオカメラでも使われるようになってきたＣＭＯＳ撮像素子を用いた撮像装置に特有の、フラッシュ等が焚かれた被写体を撮影することにより発生する白帯状の妨害を検出して補正する撮像装置として有用である。
【符号の説明】
【０１１９】
１、１１３  撮像部
２  フレームメモリ
３、４  ライン加算平均算出部
５、５０  ライン判定部
６、７、６０、７０、６００、６０１、７００、７０１  ブロック加算平均算出部
８、８０  ゲイン算出部
９、９０  ゲイン調整部
５１、５０１  評価値シフトレジスタ部
５２、５０２  評価値判定部
５３、６１  ラインカウンタ
５４、５０４  ライン位置記憶部
６２、６３、６４、６５  カウンタ値比較部
６６  遅延部
６７  ライン評価値加算部
６８、６９  ブロック加算平均値記憶部
１００  ビデオカメラ
１０１  モニター
１０２、１０３  スチルカメラ
１０４  被写体
１１４  画像処理部
１１６  記録表示処理部
１１７  バッファ
１２０  評価部
１２１  記憶部
１２３  制御部
【図１】
2011101208.tif 000003
【図２】
2011101208.tif 000004
【図３】
2011101208.tif 000005
【図４】
2011101208.tif 000006
【図５】
2011101208.tif 000007
【図６】
2011101208.tif 000008
【図７】
2011101208.tif 000009
【図８】
2011101208.tif 000010
【図９】
2011101208.tif 000011
【図１０】
2011101208.tif 000012
【図１１】
2011101208.tif 000013
【図１２】
2011101208.tif 000014
【図１３】
2011101208.tif 000015
【図１４】
2011101208.tif 000016
【図１５】
2011101208.tif 000017
【図１６】
2011101208.tif 000018
【図１７】
2011101208.tif 000019