(57)【要約】【課題】  本発明では、順次読み出し制御に対応する撮像素子で発生するフリッカー、フラッシュバンド等のノイズ成分に対して大きな特徴量を設定することを問題としている。その場合、この領域を優先的に位置合わせされるので、被写体が停止しているにも関わらず、電子防振後の撮影画像が上下に振動する課題が起こる。【解決手段】  そこで、本発明の撮像装置では、順次読み出し制御に対応する撮像素子で発生するフリッカー、フラッシュバンドのノイズ成分領域を電子防振に用いる動きベクトルを算出する領域から除外することで、ノイズ成分に影響されない電子防振が可能になる。【選択図】  図３
2019193070.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素がライン状に複数配列され、前記複数のラインを順次読み出し制御する撮像素子と、前記撮像素子からの画像信号を取得する画像取得手段と、前記撮像素子の撮像領域内において、前記画像取得手段により取得された画像信号に重畳された前記撮像素子の複数のラインに対して発生するノイズ成分を検出する位置検出手段と、前記画像取得手段により取得された画像信号から動きベクトルを算出する算出手段と、前記算出手段により算出された動きベクトルを用いて前記画像取得手段により取得された画像信号に対して電子防振を行う電子防振手段と、を有し、
前記電子防振手段は、前記ノイズ成分を含む複数のライン以外のラインの画像信号を用いて算出された動きベクトルを用いて電子防振を行うことを特徴とする撮像装置。
【請求項２】
前記位置検出手段で検出されるノイズは、前記画像取得手段で取得された画像信号に重畳されたフリッカーによるノイズ成分、もしくは、前記画像取得手段で取得された画像信号に重畳されたフラッシュバンドによるノイズ成分の少なくとも１つの成分を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記位置検出手段で検出されたノイズ成分を含む複数のラインの情報をメタ情報として記録し、再生時に前記メタ情報に記録されたノイズ成分を含む複数のライン以外のラインから動きベクトルを算出し、前記動きベクトルを用いて前記画像取得手段により取得された画像信号に対して電子防振を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記算出手段は、前記撮像素子の撮像領域内において、前記複数のラインに跨る領域を前記ラインの延びる方向に複数分割したブロック単位でノイズ成分を含む領域を検出し、前記動きベクトルを算出する手段であることを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項５】
前記算出手段は、前記位置検出手段により検出された撮像領域内に前記ノイズ成分を含まないブロックが存在しない場合、前記ノイズ成分の前記撮像領域内の座標から前記ブロックのサイズ及び前記撮像領域内における前記ブロックの座標の少なくとも１つを再構築することを特徴とする請求項４に記載の撮像装置。
【請求項６】
複数の画素がライン状に複数配列され、前記複数のラインを順次読み出し制御する撮像素子からの画像信号を取得する画像取得工程と、
前記撮像素子の撮像領域内において、前記画像取得工程により取得された画像信号に重畳された前記撮像素子の複数のラインに対して発生するノイズ成分を検出する位置検出工程と、
前記画像取得工程により取得された画像信号の動きベクトルを算出する算出工程と、
前記算出工程により算出された動きベクトルを用いて前記画像取得工程により取得された画像信号に対して電子防振を行う電子防振工程と、を有する撮像装置の制御方法であって、
前記電子防振工程は、前記ノイズ成分を含む複数のライン以外のラインの画像信号を用いて算出された動きベクトルを用いて電子防振を行うことを特徴とする撮像装置の制御方法。
【請求項７】
請求項６に記載の撮像装置の制御方法を含むプログラム。
【請求項８】
請求項７に記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の撮像画像に発生するフリッカー、フラッシュバンドのノイズ成分を除外した撮像領域を用いることで、撮像画像のノイズ成分の影響を除外した電子防振を行う撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラ、デジタルカムコーダ等の撮像装置では、撮像画像から抽出された特徴量を用いて、フレーム間の特徴量の変化から移動ベクトルを算出する。
【０００３】
そして、移動ベクトル量から撮像装置の移動量（ブレ量）を算出している。
【０００４】
その後、撮像装置のブレ量を打ち消すように、撮像画像の位置合わせを行うことで、ブレ量を軽減する防振制御（以下、電子防振）を行う。
【０００５】
しかし、撮像画像の特徴量を抽出する際、輝度、色、コントラスト、エッジ等、撮像画像内の特徴が大きい領域を、優先的に特徴量として抽出する傾向がある。
【０００６】
そのため、ＣＭＯＳ等の順次読み出し制御の撮像素子の撮像画像で発生するフリッカー、フラッシュバンド等のノイズ成分においては、他の撮像領域に比べ特徴が大きくなる傾向があり、特徴量として抽出されてしまう。
【０００７】
電子防振を行う際、ノイズ成分の特徴量を優先的に撮像画像の位置合わせに使用し、電子防振の必要が無いシーンにおいても、ノイズ成分の特徴量の位置合わせによる誤補正が発生する。
【０００８】
そして、電子防振後の撮像画像が上下に振動してしまう現象が発生する問題がある（図１を参照）。
【０００９】
そのため、ＣＭＯＳ等の順次読み出し制御の撮像素子の撮像画像に発生するフリッカー、フラッシュバンド等のノイズ成分が発生している撮像画像に対して、電子防振は困難である。
【００１０】
そこで、前記のＣＭＯＳ等の順次読み出し制御の撮像素子の撮像画像に発生するノイズ成分を除去するために様々な手法が提案されている。
【００１１】
第１の方法として、フリッカーが発生しない撮影条件に設定（光源の電源周波数ｆに対して、露光時間を１／２ｆ秒に設定）する。
【００１２】
そして、撮影した撮影画像に対して、電子防振を行う方法が提案されている（例えば、特許文献１を参照）。
【００１３】
また、フラッシュバンドを除去するために、連続した複数フレームの輝度差からフラッシュバンドの開始ライン、及び、終了ラインを検出するフラッシュバンド検出回路により撮像画像内からフラッシュバンドの発生領域を検出する。
【００１４】
そして、フラッシュバンドが発生しているフレームを加算平均することでフラッシュバンドを補正する方法が提案されている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特許第４９０７６１１号公報
【特許文献２】特開２０１２−１５６６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、従来例の第１の方法では、撮影環境下の光源の電源周波数により撮像装置の露光時間が固定される。そのため、柔軟な撮影設定で撮影を行うことができない問題がある。
【００１７】
また、従来例の第２の方法では、発光間隔の長い単発のフラッシュ光で発生したフラッシュバンドの補正は可能である。
【００１８】
しかしながら、結婚式、記者会見等のイベント時に見られるようなフラッシュ光が短い間隔で複数同時に発光される場合に対応ができない。
【００１９】
また、フラッシュバンドの発生領域が重なってしまうことで、連続したフレームを加算平均することによる補正も正確に行えない問題がある。
【００２０】
順次読み出し制御に対応する撮像素子で発生するフリッカー、フラッシュバンド等のノイズ成分に対して大きな特徴量を設定する傾向がある。
【００２１】
そのため、この領域を優先的に位置合わせすることで、撮影被写体が停止しているにも関わらず、電子防振後の撮影画像が上下に振動する現象が発生する問題がある。
【００２２】
本発明は、このような前記従来技術の課題を解決することを目的としてなされたものである。
【００２３】
本発明の目的は、ＣＭＯＳ等の順次読み出し制御の撮像素子の撮像画像で発生するフリッカー、フラッシュバンド等のノイズ成分が発生している領域を除外する。
【００２４】
よって、特徴量をノイズ成分領域以外から抽出する電子防振を実行する撮像装置を提供するものである。
【課題を解決するための手段】
【００２５】
前記目的を達成するために、本発明の撮像装置は、複数の画素がライン状に複数配列され、前記複数のラインを順次読み出し制御する撮像素子と、前記撮像素子からの画像信号を取得する画像取得手段と、前記撮像素子の撮像領域内において、前記画像取得手段により取得された画像信号に重畳された前記撮像素子の複数のラインに対して発生するノイズ成分を検出する位置検出手段と、前記画像取得手段により取得された画像信号から動きベクトルを算出する算出手段と、前記算出手段により算出された動きベクトルを用いて前記画像取得手段により取得された画像信号に対して電子防振を行う電子防振手段と、を有し、
前記電子防振手段は、前記ノイズ成分を含む複数のライン以外のラインの画像信号を用いて算出された動きベクトルを用いて電子防振を行うことを特徴とする。
【発明の効果】
【００２６】
本発明の撮像装置によれば、順次読み出し制御の撮像素子の撮像画像で発生するフリッカー、または、フラッシュバンド等のノイズ成分が発生している領域以外の撮像領域の特徴量から動きベクトルを算出する。
【００２７】
そして、その動きベクトルで電子防振を行うことで、撮像素子の撮像画像のノイズ成分に影響されない電子防振が可能になる。
【図面の簡単な説明】
【００２８】
【図１】フリッカー、フラッシュバンド発生時の電子防振の問題を示す従来図である。
【図２】本発明の実施形態に係るブロック図を示す図である。
【図３】本発明のメイン構成のアイデアを示す図である。
【図４】本発明の第１の実施形態のフローチャートを示す図である。
【図５】本発明の第２の実施形態のフローチャートを示す図である。
【図６】本発明のブロック単位の領域検出の問題を示す図である。
【図７】本発明の第３の実施形態のフローチャートを示す図である。
【図８】本発明の第４の実施形態のフローチャートを示す図である。
【発明を実施するための形態】
【００２９】
（撮像装置のブロック図）
図２は、本発明の実施形態に係る撮像装置１００の概略構成の一例を示すブロック図である。
【００３０】
図２に示すように、前記撮像装置１００は、デジタルスチルカメラ、デジタルカムコーダ等の撮像装置の構成を示している。
【００３１】
撮像装置１００は、レンズを透過した入射光を撮像処理部２により撮像素子で被写体像を撮像することで撮像画像を生成し、画像処理部３により色、輝度等を調整することで撮像画像を生成する。
【００３２】
撮像素子は、複数の画素がライン状に複数配列され、複数のラインを順次読み出し制御する。
【００３３】
撮像素子の撮像画面内は、複数の画素が二次元状に配置されており（図３）、複数の画素を有するブロックが二次元状に配置されている。
【００３４】
図１のフリッカー、フラッシュバンドは、連続する複数のライン（行方向）に跨って発生している。
【００３５】
行方向に伸びたラインの複数の列方向に配列された領域に、フリッカー、フラッシュバンドが発生している。
【００３６】
その後、記録部１１により前記撮像画像を記録媒体に記録する構成である。
【００３７】
また、マイクロコンピュータ４により撮像装置１００の全体の制御を行う。
【００３８】
さらに、本実施形態の構成として、撮像処理部３により生成した撮像画像内のフリッカーの発生を検出するフリッカー検出部５、フラッシュバンドの発生を検出するフラッシュバンド検出部６によりフリッカー、フラッシュバンドを検出する。
【００３９】
フリッカー、フラッシュバンドのどちらか、または両方検出された場合、前記撮像画像内の発生位置をノイズ成分位置検出部７により検出する。
【００４０】
その後、ノイズ成分位置検出部７で検出された発生領域を除外した領域から特徴量抽出部８により特徴量を抽出し、その抽出された特徴量の変化量を動きベクトル量算出部９により算出する。
【００４１】
最後に、動きベクトル量算出部９の結果を基に、防振制御部１０により同一の特徴量を位置合わせすることにより撮像画面（撮像領域）に発生したブレを軽減する。
【００４２】
最後に、撮像画像と共に、ノイズ成分位置検出部７で検出されたフリッカー、フラッシュバンドの発生領域をメタ情報に記録することを特徴とする。
【００４３】
そして、撮像装置１００の全ての処理はマイクロコンピュータ４により制御される。
【００４４】
減光部１は、撮像装置１００の外部から入射された入射光量を調整するための絞り羽根、ＮＤフィルター（ＮＤ：Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ）などから構成される。
【００４５】
撮像処理部２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）方式の撮像素子、撮像素子を駆動するためのドライバ、タイミング生成回路、ＣＤＳ／ＡＧＣ回路等から構成される。
【００４６】
ここで、撮像素子は光電変換による被写体の撮像を行い、ＣＤＳ／ＡＧＣ回路により前記撮像素子の各画素に蓄えられた電荷（画像信号）に基づく画像情報をサンプリング及び増幅する。
【００４７】
なお、サンプリングでは、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）が、増幅では自動利得調整（ＡＧＣ：Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）が行われる。
【００４８】
画像取得手段としてのＡ／Ｄ変換器は、ＣＤＳ／ＡＧＣ回路から出力された画像データ（アナログ信号）をデジタル信号に変換する。
【００４９】
Ａ／Ｄ変換器から出力された画像情報（デジタル信号）に対して画像取得手段としての画像処理部３によりＡＷＢ（ａｕｔｏ  ｗｈｉｔｅ  ｂａｌａｎｃｅ）、ガンマ制御等の種々の信号処理に最終画像の生成を行う。
【００５０】
また、撮像素子を駆動するためのドライバ、タイミング生成回路は、撮像素子を駆動するための駆動パルス等を撮像素子へ供給し、撮像素子で撮像した画像の読み出しや露出時間の調整を行う。
【００５１】
画像取得手段としてのマイクロコンピュータ４は、マイクロコントローラと称される回路であり、撮像装置１００の前述した制御を含める動作を統括的に制御する。
【００５２】
フリッカー検出部５は画像処理部３により生成した撮像画像内にフリッカー成分が発生しているか否かを検出する。
【００５３】
フリッカーは光源の電源周波数に依存して発生するため、フリッカー検出部５は、電源周波数の２倍の１００Ｈｚ、１２０Ｈｚ周期の輝度値の異なる波が前記撮像画像内に重畳されていることを検出する。
【００５４】
また、フラッシュバンド検出部６は、撮像領域内（撮像画像内）にフラッシュ光による高輝度の帯が発生しているか否かを検出する。
【００５５】
フラッシュバンドは前後の連続したフレームの輝度差を比較することで検出するが、撮像装置の露光時間、フラッシュ光の発光時間等により高輝度領域が変化する。
【００５６】
そのため、前後のフレームだけでなく、フラッシュ光の発光時間が長い場合は複数のフレームを比較することでフラッシュバンドの発生を検出する場合がある。
【００５７】
ノイズ成分位置検出部７は、フリッカー検出部５、フラッシュバンド検出部６で検出されたノイズ成分が前記撮像画像内に重畳されている位置を検出する。
【００５８】
ここで、ノイズ成分の発生領域位置の検出単位として、撮像画像内を複数画素から構成されるブロック単位に分割したブロック領域の位置を使用する。
【００５９】
撮像素子の撮像領域内において、複数のラインに跨る領域を記ラインの延びる方向に複数分割したブロック単位でノイズ成分を含む領域を検出する。
【００６０】
特徴量抽出部８は、ノイズ成分位置検出部７において撮像素子のノイズ成分の発生領域以外の撮像画像の画素に対して特徴量を抽出する。
【００６１】
ここで、特徴量の検出単位として、ノイズ成分位置検出部７と同様に、撮像画像内を複数画素から構成されるブロック単位で抽出する。
【００６２】
動きベクトル算出部９は、抽出された特徴量をテンプレートとして、次のフレームで抽出された同一の特徴量をマッチングにより探索することで、複数のフレーム間で移動量を動きベクトル量として算出する。
【００６３】
そして、防振制御部１０において、算出された動きベクトル量を基に撮像画像を位置合わせすることで移動量を打消し、撮像素子の撮像面上の像ブレを補正するように電子防振を行う。
【００６４】
記録部１１は、画像処理部３で生成した撮像画像、かつ、ノイズ成分位置検出部７で検出した撮像素子のノイズ成分の発生領域を内部メモリ、または、ＳＤカード、ＣＦカード等のメモリーカード、外部レコーダ等の外部記憶装置に保存する。
【００６５】
＜第１の実施形態＞
撮像装置１００の本実施形態での動作では、まず、撮像処理部２により撮像された撮像データから画像処理部３により撮像画像を生成する。
【００６６】
その後、生成した撮像画像から前記フリッカー検出部５と、フラッシュバンド検出部６により撮像画像からフリッカー、または、フラッシュバンドを検出する。
【００６７】
ここで、撮像画像内にノイズ成分が検出された場合、ノイズ成分位置検出部６でノイズ成分の撮像画像内の発生領域位置を検出する。
【００６８】
ここでは、撮像画像内を複数画素から構成されるブロックに分割し、ノイズ成分が重畳されているブロックを発生領域位置とする（図３を参照）。
【００６９】
その後、特徴量抽出部８により、ノイズ成分位置検出部７で検出されたノイズ成分が重畳しているブロック領域を除く、ノイズ成分が発生していない領域のブロックから特徴量を抽出する。
【００７０】
すなわち、ノイズ成分の重畳しているブロックの領域を特徴量として使用しないことを意味する。
【００７１】
そして、特徴量抽出部８により抽出されたノイズ成分が重畳された発生領域以外のブロックをテンプレートとして、動きベクトル量算出部９により連続した前後のフレームとマッチングを行う。
【００７２】
そして、同一の特徴量の移動量を算出し、算出した移動量のベクトルを動きベクトル量として算出する。
【００７３】
最後に、動きベクトル量算出部９で算出された動きベクトル量を打ち消すように撮像画像の各フレームを切り出し、位置合わせすることで撮像装置のブレを軽減することが可能になる。
【００７４】
ここで、本実施形態では、図２に示すように、全て独立した回路部の構成を示している。
【００７５】
しかしながら、全ての構成又はその一部はマイクロコンピュータ４内に構成するようにする形態であってもよい。
【００７６】
次に、本実施形態の撮像装置１００においてマイクロコンピュータ４が行う制御方法について説明を行う。
【００７７】
図４は本発明の実施形態に係る撮像装置１００の制御方法を示すフローチャートである。
【００７８】
本実施形態では、ステップＳ１０１において、フリッカー検出部５、フラッシュバンド検出部６により、撮像画像内にフリッカー、または、フラッシュバンド等のノイズ成分が発生しているか否かを検出する。
【００７９】
ステップＳ１０１において、両検出部の検出結果により、撮像画像内にノイズ成分が発生していると判定された場合、ステップＳ１０２において、ノイズ成分位置検出部７により撮像画像内のノイズ成分の発生領域をブロック単位で検出する。
【００８０】
その後、ステップＳ１０３において、特徴量抽出部８により、ステップＳ１０２により検出されたノイズ成分の発生領域以外のブロックの特徴量を抽出する。
【００８１】
その後、ステップＳ１０４において、動きベクトル量算出部９により、抽出された特徴量を用いて撮像画像内のノイズ成分の発生領域以外の動きベクトル量を算出する。
【００８２】
最後に、ステップＳ１０５において、防振制御部１０により、動きベクトル量を用いて防振制御を行うことで撮像画像のノイズ成分の影響を除去した電子防振を行う。
【００８３】
反対に、ステップＳ１０１において、両検出部の検出結果により、ノイズ成分が発生していないと判定された場合、ステップＳ１０６において、特徴量抽出部８により、撮像画像全体のブロックから特徴量を検出する。
【００８４】
その後、ステップＳ１０７において、ステップＳ１０６により、抽出された特徴量を用いて、前記動きベクトル量算出部９により撮像画像内の動きベクトル量を算出する。
【００８５】
そして、最後にステップＳ１０５において、防振制御部１０により、動きベクトル量を用いて防振制御を行うことで電子防振を行う。
【００８６】
位置検出手段としてのフラッシュバンド検出部６、ノイズ成分位置検出部７により検出されたノイズ成分を含む複数のライン以外のラインから、算出手段９により算出された動きベクトルを用いて電子防振を行っている。
【００８７】
＜第２の実施形態＞
撮像装置１００の本実施形態での動作では、まず、撮像処理部２により撮像された撮像データから画像処理部３により撮像画像を生成する。
【００８８】
その後、生成した撮像画像からフリッカー検出部５と、フラッシュバンド検出部６によりフリッカー、または、フラッシュバンド等のノイズ成分を検出する。
【００８９】
ここで、これらの撮像画像内にノイズ成分が検出された場合、ノイズ成分位置検出部７でノイズ成分の撮像画像内の発生領域位置を検出する。
【００９０】
ここで、撮像画像内を複数画素から構成されるブロックに分割し、ノイズ成分が重畳されているブロックを発生領域位置とする。
【００９１】
第２の実施形態では、再生時に電子防振を行うことを考える。
【００９２】
そのためには、まず、撮影時にノイズ成分位置検出部７で検出した撮像画像内のノイズ成分の発生領域のブロック領域をメタ情報として、記録撮像画像に記録する。
【００９３】
これは、再生時にノイズ成分の発生領域以外のブロック領域を用いて特徴量を抽出するためである。
【００９４】
次に、再生時の電子防振について記述する。
【００９５】
再生時には、まず、記録された撮影画像のメタ情報にノイズ成分の発生領域のブロック領域が記録されているか否かを判定する。
【００９６】
このとき、メタ情報にノイズ成分の発生領域のブロック領域が記録されていた場合、発生領域を除外したブロック領域の特徴量を抽出し、抽出された特徴量の動きベクトルを用いて電子防振を行う。
【００９７】
また、メタ情報に動きベクトルが記録されている場合は、メタ情報に記録されている動きベクトル量を用いて電子防振を行う。
【００９８】
もし、メタ情報にどちらの情報も記録されていない場合は、ノイズ成分は発生していないとし、第１の実施形態と同様に記録された撮影画像から特徴量の抽出、動きベクトル量の算出を行う。
【００９９】
そして、最後に、電子防振を行う。
【０１００】
これらの流れにより、撮影時に行う電子防振と同様に、撮影画像のブレを軽減することが可能になる。
【０１０１】
ここで、本実施形態では、図２に示すように、全て独立した回路部の構成を示している。
【０１０２】
しかしながら、全ての構成又はその一部はマイクロコンピュータ４内に構成するようにする形態であってもよい。
【０１０３】
（撮像装置１００の制御方法を示すフローチャート）
次に、本実施形態の撮像装置１００においてマイクロコンピュータ４が行う制御方法について説明を行う。
【０１０４】
図５は本発明の実施形態に係る撮像装置１００の制御方法を示すフローチャートである。
【０１０５】
本実施形態では、まず記録時に、ステップＳ２０１において、フリッカー検出部５により、撮像画面内にフリッカーが発生しているか否かを判定する。
【０１０６】
ここで、フリッカーが発生していると判定されて場合、ステップＳ２０２において、前記ノイズ成分位置検出部７により、フリッカーが発生している領域を検出する。
【０１０７】
その後、記録部１１により、撮像画像と共にフリッカーが発生しているブロック領域をメタ情報に記録する。
【０１０８】
反対に、ステップＳ２０１において、フリッカー検出部５により、撮像画像内にフリッカーが発生していないと判定された場合、メタ情報に記録しない。
【０１０９】
同様に、ステップＳ２０３において、フラッシュバンド検出部６により、撮像画面内にフラッシュバンドが発生しているか否かを判定する。
【０１１０】
ここで、フラッシュバンドが発生していると判定された場合、ステップＳ２０４において、ノイズ成分位置検出部７により、フラッシュバンドが発生している領域を検出する。
【０１１１】
その後、記録部１１により、撮像画像と共にフラッシュバンドが発生しているブロック領域をメタ情報に記録する。
【０１１２】
反対に、ステップＳ２０３において、前記フラッシュバンド検出部６により、撮像画像内にフラッシュバンドが発生していないと判定された場合、メタ情報に記録しない。
【０１１３】
次に、再生時の電子防振のステップに移る。
【０１１４】
再生時は最初に、再生する撮影画像に対してメタ情報にノイズ成分が記録されているか否かを判定する。
【０１１５】
まず、ステップＳ２１１において、メタ情報にフリッカー、フラッシュバンドのノイズ成分が発生したブロック領域が記録されているか否かを判定する。
【０１１６】
ここで、発生したブロック領域が記録されていると判定された場合、ステップＳ２１２において、メタ情報に記録されたノイズ成分の発生したブロック領域を除外した領域の特徴量を用いて、動きベクトル量を算出する。
【０１１７】
そして、ステップＳ２１３において、電子防振を行う。
【０１１８】
反対に、ステップＳ２１１において、メタ情報にノイズ成分が発生したブロック領域が記録されていないと判定された場合、撮影時の制御と同様に、ステップＳ２１４において、記録された撮影画像からノイズ成分を検出する。
【０１１９】
そして、ステップＳ２１５において、発生領域以外の領域の特徴量から動きベクトル量を算出、ステップＳ２１３において、電子防振を行う。
【０１２０】
これらの制御を行うことで、再生時に撮像素子の撮像画像に発生するノイズ成分の影響を除去した電子防振を行う。
【０１２１】
＜第３の実施形態＞
撮像装置１００の本実施形態での動作では、まず、撮像処理部２により撮像された撮像データから前記画像処理部３により撮像画像を生成する。
【０１２２】
その後、生成した撮像画像からフリッカー検出部５と、フラッシュバンド検出部６により前記撮像画像からノイズ成分を検出する。
【０１２３】
ここで、ノイズ成分が検出された場合、ノイズ成分位置検出部７で撮像画像内からノイズ成分が発生したブロック領域を検出する。
【０１２４】
ここでは、撮像画像内を複数画素から構成されるブロックに分割し、ノイズ成分が重畳されているブロックを発生領域位置とする。
【０１２５】
第３の実施形態では、ノイズ成分位置検出部７の検出結果が撮像画像全体の領域の場合、すなわち、ノイズ成分が発生したブロック領域以外のブロック領域が存在しない場合における、撮影時の電子防振を行うことを考える。
【０１２６】
まず、フリッカー検出部５と、フラッシュバンド検出部６において、ノイズ成分を検出する。
【０１２７】
その後、ノイズ成分位置検出部７において、ノイズ成分の発生領域を検出する。
【０１２８】
その際、撮像画像全体にノイズ成分が検出された場合、すなわち、ノイズ成分が発生したブロック領域以外のブロック領域が存在しない場合、前後のフレームの撮像画像に発生しているノイズ成分位置を比較している。
【０１２９】
そして、ノイズ成分が発生していない領域から前後フレームの撮像画像の同一位置に配置できる最大サイズのブロック領域を再度、再構築する（図６を参照）。
【０１３０】
そして、特徴量検出部８においても同様に、ノイズ成分位置検出部７で使用したブロックサイズを用いて特徴量の検出を行う。
【０１３１】
これにより、ノイズ成分が発生していないブロック領域のサイズ、位置を変更することで、ノイズ成分を除外した特徴量から動きベクトル量を算出することができる。
【０１３２】
その後、算出した動きベクトル量を用いて防振制御部１０により、電子防振を行う。
【０１３３】
ここで、本実施形態では、図２に示すように、全て独立した回路部の構成を示している。
【０１３４】
しかしながら、全ての構成又はその一部はマイクロコンピュータ４内に構成するようにする形態であってもよい。
【０１３５】
次に、本実施形態の撮像装置１００においてマイクロコンピュータ４が行う制御方法について説明を行う。
【０１３６】
図７は本発明の実施形態に係る撮像装置１００の制御方法を示すフローチャートである。
【０１３７】
本実施形態では、まずステップＳ３０１において、前記フリッカー検出部５、前記フラッシュバンド検出部６により、撮像画像内にフリッカー、または、フラッシュバンドのノイズ成分が発生しているか否かを検出する。
【０１３８】
次にステップＳ３０１の検出結果により、ノイズ成分が発生していると判定された場合、ステップＳ３０２において、前記ノイズ成分位置検出部７により撮像画像内のノイズ成分が発生しているブロック領域を検出する。
【０１３９】
その後、ステップＳ３０３において、ノイズ成分位置検出部７により検出されたノイズ成分が発生しているブロック領域以外のブロック領域が存在しないか否かを判定する。
【０１４０】
ステップＳ３０３により、ノイズ成分の発生しているブロック領域以外のブロック領域が存在しないと判定された場合、ステップＳ３０４において、ブロック領域を確保するために前後のフレームの撮像画像に発生しているノイズ成分位置を比較する。
【０１４１】
ノイズ成分が発生していない領域から前後フレームの撮像画像の同一位置に配置できる最大サイズのブロック領域を再度、再構築する。
【０１４２】
これにより、ノイズ成分位置検出部７は検出に使用するブロックサイズを前回の検出に使用したブロックサイズより小さなサイズに変換する。
【０１４３】
最後に、ステップＳ３０６において、防振制御部１０により、動きベクトル量を用いて防振制御を行うことで撮像画像からノイズ成分の影響を除去した電子防振を行う。
【０１４４】
ここで、ステップＳ３０１においてフリッカー、または、フラッシュバンドのノイズ成分が検出されなかった場合、または、ステップＳ３０３において発生領域以外のブロック領域が存在した場合を考える。
【０１４５】
その場合、ステップＳ３０５において、ブロック単位で発生領域、特徴量を検出し、ステップＳ３０６において、防振制御部１０により、動きベクトル量を用いて防振制御を行う。
【０１４６】
＜第４の実施形態＞
撮像装置１００の本実施形態での動作では、まず、撮像処理部２により撮像された撮像データから前記画像処理部３により撮像画像を生成する。
【０１４７】
その後、生成した撮像画像から前記フリッカー検出部５と、フラッシュバンド検出部６によりフリッカー、または、フラッシュバンド等のノイズ成分を検出する。
【０１４８】
ここで、これらの撮像画像内にノイズ成分が検出された場合、ノイズ成分位置検出部７でノイズ成分の前記撮像画像内の発生領域位置を検出する。
【０１４９】
ここでは、撮像画像内を複数画素から構成されるブロックに分割し、ノイズ成分が重畳されているブロックを発生領域位置とする。
【０１５０】
第４の実施形態では、ノイズ成分位置検出部７の検出結果が撮像画像全体のブロック領域の場合、すなわち、ノイズ成分が発生したブロック領域以外のブロック領域が存在しない場合における、再生時の電子防振を行うことを考える。
【０１５１】
そのためには、まず、撮影時に、ノイズ成分位置検出部７で検出した撮像画像内のノイズ成分が発生しているブロック領域をメタ情報として、撮像画像に記録する。
【０１５２】
これは、再生時にノイズ成分が発生しているブロック領域以外のブロック領域を用いて特徴量を抽出するためである。
【０１５３】
しかし、前記ノイズ成分位置検出部７で検出した撮像画像内のノイズ成分が発生しているブロック領域は撮像画像全体である。
【０１５４】
そのため、再生時にノイズ成分が発生しているブロック領域以外のブロック領域が存在せず、このままでは、再生時に特徴量の抽出ができない。
【０１５５】
そのため、前後のフレームの撮像画像に発生しているノイズ成分位置を比較し、ノイズ成分が発生していない領域から前後フレームの撮像画像の同一位置に配置できる最大サイズのブロック領域を再度、再構築する。
【０１５６】
これにより、ノイズ成分のブロック領域以外の領域を再検出する。
【０１５７】
次に、本実施形態の撮像装置１００においてマイクロコンピュータ４が行う制御方法について説明を行う。
【０１５８】
図８は本発明の実施形態に係る撮像装置１００の制御方法を示すフローチャートである。
【０１５９】
本実施形態では、まず記録時に、ステップＳ４０１において、前記フリッカー検出部５により、撮像画面内にフリッカーが発生しているか否かを判定する。
【０１６０】
ここで、フリッカーが発生していると判定されて場合、ステップＳ４０２において、前記ノイズ成分位置検出部７により、フリッカーが発生している領域を検出する。
【０１６１】
その後、記録部１１により、撮像画像と共にフリッカーが発生しているブロック領域をメタ情報に記録する。
【０１６２】
反対に、ステップＳ４０１において、フリッカー検出部５により、撮像画像内にフリッカーが発生していないと判定された場合、メタ情報に記録しない。
【０１６３】
同様に、ステップＳ４０３において、フラッシュバンド検出部６により、撮像画面内にフラッシュバンドが発生しているか否かを判定する。
【０１６４】
ここで、フラッシュバンドが発生していると判定された場合、ステップＳ４０４において、ノイズ成分位置検出部７により、フラッシュバンドが発生している領域を検出する。
【０１６５】
その後、記録部１１により、撮像画像と共にフラッシュバンドが発生しているブロック領域をメタ情報に記録する。
【０１６６】
反対に、ステップＳ４０３において、フラッシュバンド検出部６により、撮像画像内にフラッシュバンドが発生していないと判定された場合、メタ情報に記録しない。
【０１６７】
次に、再生時の電子防振のステップに移る。
【０１６８】
再生時は最初に、再生する撮影画像に対してメタ情報にノイズ成分が記録されているか否かを判定する。
【０１６９】
まず、ステップＳ４１１において、メタ情報にフリッカー、フラッシュバンドのノイズ成分が発生したブロック領域が記録されているか否かを判定する。
【０１７０】
ここで、発生したブロック領域が記録されていると判定された場合、ステップＳ４１２において、ノイズ成分位置検出部７により撮像画像内のノイズ成分が発生しているブロック領域を検出する。
【０１７１】
その後、ステップＳ４１３において、ノイズ成分位置検出部７により検出されたノイズ成分が発生しているブロック領域以外のブロック領域が存在しないか否かを判定する。
【０１７２】
ステップＳ４１３により、ノイズ成分の発生しているブロック領域以外のブロック領域が存在しないと判定された場合を考える。
【０１７３】
その場合、ステップＳ４１４において、ブロック領域を確保するために前後のフレームの撮像画像に発生しているノイズ成分位置を比較する。
【０１７４】
そして、ノイズ成分が発生していない領域から前後フレームの撮像画像の同一位置に配置できる最大サイズのブロック領域を再度、設定し直す。
【０１７５】
これにより、ノイズ成分位置検出部７は検出に使用するブロックサイズを前回の検出に使用したブロックサイズより小さなサイズに変換する。
【０１７６】
その後、ステップＳ４１６において、ノイズ成分が発生しているブロック領域以外のブロック領域から特徴量を抽出する。
【０１７７】
その結果を基に、ステップＳ４１７において、防振制御部１０により、動きベクトル量を用いて防振制御を行うことで撮像画像からノイズ成分の影響を除去した電子防振を行う。
【０１７８】
また、ステップＳ４１３により、ノイズ成分の発生しているブロック領域以外のブロック領域が存在すると判定された場合、ステップＳ４１５において、ノイズ成分が発生しているブロック領域の検出を行う。
【０１７９】
そして、ステップＳ４１６において、ノイズ成分が発生しているブロック領域以外のブロック領域から特徴量を抽出する。
【０１８０】
その結果を基に、ステップＳ４１７において、前記動きベクトル量を用いて防振制御を行うことで撮像画像からノイズ成分の影響を除去した電子防振を行う。
【０１８１】
反対に、ステップＳ４１１において、メタ情報にノイズ成分が発生したブロック領域が記録されていないと判定された場合を考える。
【０１８２】
その場合、ステップＳ４１８において、撮影時の制御と同様に、ステップＳ４１８において、記録された撮影画像からノイズ成分を検出する。
【０１８３】
そして、ステップＳ４１９において、発生領域以外の領域の特徴量から動きベクトル量を算出、ステップＳ４１７において、電子防振を行う。
【０１８４】
これらの制御を行うことで、再生時に撮像素子の撮像画像に発生するノイズ成分の影響を除去した電子防振を行う。
【０１８５】
本実施例では、撮像領域内にノイズ成分を含まないブロックが存在しない場合、ノイズ成分の撮像領域内の座標からブロックのサイズ及び撮像領域内におけるブロックの座標を再構築した。
【０１８６】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【０１８７】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給する。
【０１８８】
そのプログラムを実行する場合も本発明に含む。
【０１８９】
従って、本発明の機能処理をコンピュータで実現するために、コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【０１９０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１９１】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【０１９２】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【０１９３】
１  減光部
２  撮像処理部
３  画像処理部
４  マイクロコンピュータ
５  フリッカー検出部
６  フラッシュバンド検出部
７  ノイズ成分位置検出部
８  特徴量抽出部
９  動きベクトル算出部
１０  防振制御部
１１  記録部
【図１】
2019193070.tif 000003
【図２】
2019193070.tif 000004
【図３】
2019193070.tif 000005
【図４】
2019193070.tif 000006
【図５】
2019193070.tif 000007
【図６】
2019193070.tif 000008
【図７】
2019193070.tif 000009
【図８】
2019193070.tif 000010