(57)【要約】      （修正有）【課題】画像に重畳する周期的ノイズを除去する撮像装置、その制御方法及びプログラムを提供する。【解決手段】システム制御部１１１の制御下で、撮像制御部１１４は、撮像素子１０４の水平ライン毎に順次電荷の蓄積と読み出しを行う駆動を制御するとともに、撮像素子１０４の駆動を静止画撮影駆動から切り替え時駆動を経てスルー画撮影駆動に切り替える。画像処理部１０６は、切り替え時駆動で撮像素子１０４から取得された画像データを用いてノイズ補正用画像データを生成し、該ノイズ補正用画像データを用いて、静止画撮影駆動で撮像素子１０４から取得された画像データに重畳するノイズを除去するよう補正する。【選択図】図１
2016092558.tif 000002
【特許請求の範囲】
【請求項１】
光学像を電気信号に変換する撮像素子と、
前記撮像素子の水平ライン毎に順次電荷の蓄積と読み出しを行う駆動を制御するとともに、前記撮像素子の駆動を第１の駆動から第２の駆動を経て第３の駆動に切り替える制御手段と、
前記第２の駆動で前記撮像素子から取得された画像データを用いてノイズ補正用画像データを生成し、該ノイズ補正用画像データを用いて、前記第１の駆動で前記撮像素子から取得された画像データに重畳するノイズを除去するよう補正する画像処理手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記制御手段は、水平同期信号の周波数を第１の周波数から、それよりも高い第２の周波数に切り替えることに応じて、前記撮像素子の駆動を前記第１の駆動から前記第２の駆動を経て前記第３の駆動に切り替え、
前記第１の駆動は、前記第１の周波数の水平同期信号に同期して前記撮像素子の水平ライン毎に順次電荷の蓄積と読み出しを行う駆動であり、
前記第２の駆動は、前記第１の周波数の水平同期信号に同期して前記撮像素子の水平ライン毎に順次電荷の蓄積を行い、前記第２の周波数の水平同期信号に同期して前記撮像素子の水平ライン毎に順次電荷の読み出しを行う駆動であり、
前記第３の駆動は、前記第２の周波数の水平同期信号に同期して前記撮像素子の水平ライン毎に順次電荷の蓄積と読み出しを行う駆動であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の周波数及び前記第２の周波数は、ノイズ源の周波数よりも低い周波数であり、
前記第２の周波数は、前記第１の周波数の定数倍の周波数であり、
前記第１の周波数の定数倍の周波数と前記ノイズ源の周波数との差分の絶対値で表される周波数あり、かつ、前記第１の周波数の半分の周波数よりも小さい周波数ｆｎ１と、前記第２の周波数の定数倍の周波数と前記ノイズ源の周波数との差分の絶対値で表される周波数であり、かつ、前記第２の周波数の半分の周波数よりも小さい周波数ｆｎ２とが一致することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記定数倍はすべて自然数倍であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記周波数ｆｎ１と前記周波数ｆｎ２との位相が一致するように前記撮像素子の駆動の切り替えを制御することを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
前記第１の駆動は静止画撮影駆動であり、前記第３の駆動はスルー画撮影駆動であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第２の駆動で駆動する前記撮像素子の電荷の蓄積時間では、前記撮像素子への入射光が遮光されることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記画像処理手段は、前記第２の駆動で前記撮像素子から取得された画像データから、前記第１の周波数と前記第２の周波数との関係で決定される前記自然数倍に応じた水平ライン毎に水平ラインを切り出し、
前記切り出した画像データを、前記第１の駆動で前記撮像素子から取得された画像データと同じサイズになるようにリサイズして前記ノイズ補正用画像データを生成し、
前記第１の駆動で前記撮像素子から取得された画像データから前記ノイズ補正用画像データを減算処理することを特徴とする請求項４又は５に記載の撮像装置。
【請求項９】
前記画像処理手段は、前記切り出した画像の横方向の画像サイズが、前記第１の駆動で前記撮像素子から取得された画像の横方向の画像サイズよりも大きい場合、前記切り出した画像をさらに切り出して画像の横方向にリサイズし、
前記切り出した画像の横方向の画像サイズが、前記第１の駆動で前記撮像素子から取得された画像の横方向の画像サイズよりも小さい場合、前記切り出した画像の水平ライン毎に画素データ値の平均値を求め、求めた平均値で補完して画像の横方向にリサイズすることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記画像処理手段は、前記切り出した画像の縦方向の画像サイズが、前記第１の駆動で前記撮像素子から取得された画像の縦方向の画像サイズよりも大きい場合、前記切り出した画像をさらに切り出して画像の縦方向にリサイズし、
前記切り出した画像の縦方向の画像サイズが、前記第１の駆動で前記撮像素子から取得された画像の縦方向の画像サイズよりも小さい場合、前記切り出した画像の縦方向の画素数を、前記切り出した画像の所定の水平ライン数だけ切り出した画像を繰り返し繋ぎ合わせるように補完して、画像の縦方向にリサイズすることを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記所定の水平ライン数は、前記切り出した画像の縦方向の画素数を前記周波数ｆｎ２で除算することで求めることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
光学像を電気信号に変換する撮像素子を備えた撮像装置の制御方法であって、
前記撮像素子の水平ライン毎に順次電荷の蓄積と読み出しを行う駆動を制御するとともに、前記撮像素子の駆動を第１の駆動から第２の駆動を経て第３の駆動に切り替えるステップと、
前記第２の駆動で前記撮像素子から取得された画像データを用いてノイズ補正用画像データを生成し、該ノイズ補正用画像データを用いて、前記第１の駆動で前記撮像素子から取得された画像データに重畳するノイズを除去するよう補正するステップとを有することを特徴とする撮像装置の制御方法。
【請求項１３】
光学像を電気信号に変換する撮像素子を備えた撮像装置を制御するためのプログラムであって、
前記撮像素子の水平ライン毎に順次電荷の蓄積と読み出しを行う駆動を制御するとともに、前記撮像素子の駆動を第１の駆動から第２の駆動を経て第３の駆動に切り替える制御手段と、
前記第２の駆動で前記撮像素子から取得された画像データを用いてノイズ補正用画像データを生成し、該ノイズ補正用画像データを用いて、前記第１の駆動で前記撮像素子から取得された画像データに重畳するノイズを除去するよう補正する画像処理手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳ型イメージセンサ等の撮像素子を用いた撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来のデジタルカメラの撮像素子には、主にＣＣＤイメージセンサ（以後、「ＣＣＤセンサ」と称する）が使用されてきたが、近年、イメージセンサの多画素化に伴い、ランダムアクセスが可能で、ＣＣＤセンサに対してより高速に読み出しを行うことのできるＣＭＯＳ型イメージセンサ（以後、「ＣＭＯＳセンサ」と称する）が主流になってきている。
多くのＣＭＯＳセンサはセンサ内部にＡ／Ｄ変換部を有しており、ＣＭＯＳセンサに被写体光が受光され蓄積された電荷を、Ａ／Ｄ変換部で水平ライン毎に順番に電圧に変換し、さらに増幅して読み出す。そのため、ＣＭＯＳセンサでは、電荷の読み出しの際に、Ａ／Ｄ変換部の基準電圧やＧＮＤレベルが変化すると、ノイズとして画像に重畳され、画質を劣化させてしまう。特にＡ／Ｄ変換部の基準電圧やＧＮＤレベルが周期的に変動する場合、順番に読み出される水平ライン毎に変動の影響が異なるため、横帯の固定パターンノイズとして画像に表れる。Ａ／Ｄ変換部の基準電源やＧＮＤレベルの変動の要因としては、例えばレンズユニットを駆動するアクチュエータの駆動信号や、電源回路等のスイッチングコンバータの動作時に発生するスイッチングノイズがＧＮＤや電源ラインを介して撮像素子に混入する場合がある。また、それら周期的な変動が誘導ノイズとして撮像素子内の配線に影響を与える場合が考えられる。
【０００３】
例えば特許文献１には、ストロボを発光させるための電力を充電する充電部による充電動作中に光学ユニット、ＣＣＤ、アナログ信号処理部、デジタル信号処理部等が含まれた撮像系を間欠的に作動させると共に、撮像系の作動が停止されている期間においても、当該期間の直前に撮像系によって得られた画像信号により示される被写体像を液晶ディスプレイに表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３３３４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のように排他処理を行う場合、処理時間の増大や、動画撮影時のレンズフォーカス駆動等、撮像動作を排他することが困難な処理に対しては対応することができない。
【０００６】
本発明は上記問題に鑑みてなされたものであり、画像に重畳する周期的ノイズを除去できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、光学像を電気信号に変換する撮像素子と、前記撮像素子の水平ライン毎に順次電荷の蓄積と読み出しを行う駆動を制御するとともに、前記撮像素子の駆動を第１の駆動から第２の駆動を経て第３の駆動に切り替える制御手段と、前記第２の駆動で前記撮像素子から取得された画像データを用いてノイズ補正用画像データを生成し、該ノイズ補正用画像データを用いて、前記第１の駆動で前記撮像素子から取得された画像データに重畳するノイズを除去するよう補正する画像処理手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像に重畳する周期的ノイズを除去することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る撮像装置の概略構成例を示すブロック図である。
【図２】実施形態に係る撮像装置により制御される撮像素子の駆動とその切り替えのタイミングを示すタイミングチャートである。
【図３】実施形態に係る撮像装置の撮影動作を示すフローチャートである。
【図４】図３の撮影処理の詳細を示すフローチャートである。
【図５】実施形態に係る撮像装置の電荷読み出し時における各周波数の関係を示すタイミングチャートである。
【図６】図３の撮影処理を示すタイミングチャートである。
【図７】図３の画像処理の詳細を示すフローチャートである。
【図８】図３の画像処理における取得画像を説明する概念図である。
【図９】図３の画像処理における減算処理を説明する概念図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１は、本発明を適用した実施形態に係る撮像装置の概略構成例を示すブロック図である。撮像装置は、例えばデジタルカメラであり、１００はカメラ本体である。
１０１は撮像部であり、撮像レンズ１０２、絞り機能を備えるシャッター１０３、光学像を電気信号に変換する撮像素子１０４で構成される。本実施形態において、撮像レンズ１０２の構成には光軸シフトレンズが含まれる。また、本実施形態において、撮像素子１０４はＣＭＯＳセンサである。ＣＭＯＳセンサは、水平１ライン毎に時間をずらしながら順次電荷の蓄積と読み出しとを行う。また、撮像素子１０４は、内部にＡ／Ｄ変換回路を持ち、被写体光が受光され蓄積された電荷を、Ａ／Ｄ変換回路で水平ライン毎に順番に電圧に変換して読み出す。
【００１１】
１０５はタイミング制御部であり、基準の周波数のクロック信号を生成する発振器、発振器からの信号を受けて分周・逓倍することで位相関係を保ったまま異なる周波数のクロック信号を生成するＰＬＬ発振回路から構成される。タイミング制御部１０５は、１つの基準の周波数から分周・逓倍することで、位相同期した複数のクロック信号や駆動信号を生成する。そして、クロック信号や駆動信号を、撮像部１０１の撮像素子１０４、ブレ補正制御部１１３、撮像制御部１１４、シャッター制御部１１５等の各ブロックに供給する。
【００１２】
１０６は画像処理部であり、撮像素子１０４からの画像データに所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、複数の画像データから合成処理を行う。画像処理部１０６は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部１１１が測距制御を行うことで、ＴＴＬ（Through the Lens）方式のＡＦ（Auto Focus）処理を行う。画像処理部１０６はさらに撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（Automatic White Balance）処理も行う。
【００１３】
１０７はメモリであり、撮影した静止画像や動画像を格納する。撮像素子１０４からの画像データは、画像処理部１０６を介してメモリ１０７に書き込まれる。メモリ１０７は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備える。これにより、複数枚の静止画像を連続して撮影する連続撮影の場合にも、高速かつ大量の画像書き込みをメモリ１０７に対して行うことが可能となる。また、メモリ１０７は、システム制御部１１１の作業領域としても使用することが可能である。さらに、メモリ１０７は、記録媒体１０９の書き込みバッファとしても使用される。さらにまた、メモリ１０７は、画像表示用のメモリを兼ねており、メモリ１０７に書き込まれた表示用の画像データはＬＣＤ等からなる表示部１１０により表示される。表示部１１０を用いて、撮像した画像データを逐次表示すれば、電子ファインダー機能（スルー表示）を実現することが可能である。
１０８は記録制御部であり、メモリ１０７に書き込まれた画像データを読み出し、メモリカードやハードディスク等の記録媒体１０９に記録する。
【００１４】
１１１はシステム制御部であり、カメラ全体を制御する。システム制御部１１１は、例えばマイクロプロセッサ、プログラムＲＯＭ、ＲＡＭを内蔵し、プログラムＲＯＭに予め記憶された制御プログラムをＲＡＭにロードして実行することによりカメラ全体の動作を制御する。ここでいう制御プログラムとは、本実施形態における後述の各種フローチャートを実行するためのプログラムのことである。
【００１５】
１１２はブレ検出部であり、ジャイロセンサ等で構成され、カメラ本体１００の揺れを検出する。ジャイロセンサは多軸の角速度センサである。光学的手ぶれ補正が動作している際の撮影時には、システム制御部１１１はブレ検出部１１２からの出力を逐次検出して、カメラ本体１００の移動方向（手ぶれ方向）及び移動量（手ぶれ量）を求める。
【００１６】
１１３はブレ補正制御部であり、システム制御部１１１の制御下で、撮像レンズ１０２に含まれる光軸シフトレンズを駆動する機構（アクチュエータ等）を制御する。本実施形態において、撮像レンズ１０２に含まれる光軸シフトレンズを駆動する機構（アクチュエータ等）は、永久磁石とコイルによって構成される。ブレ補正制御部１１３からコイルに対して所定の周期で制御信号を通電することにより、コイルから発生する誘導磁界と永久磁石による磁界との引力、もしくは斥力を用いて撮像レンズ１０２に含まれる光軸シフトレンズを駆動する。光学的手ぶれ補正が動作している際の撮影時には、ブレ補正制御部１１３は、ブレ検出部１１２からの出力を検出して求めたカメラ本体１００の動きによる被写体像の動きを打ち消すように光軸シフトレンズを移動させるようシステム制御部１１１により制御される。
本実施形態では、ブレ補正制御部１１３からコイルに対して所定の周期で通電を行うことにより、コイルから発生する磁界変動が誘導ノイズとして撮像素子１０４内の配線に影響を与え、画像に周期的ノイズが重畳する場合について説明する。しかしながら、コイル以外にも、例えば電源回路等のスイッチングコンバータ動作時に発生するスイッチングノイズが撮像素子１０４に影響を与える場合についても、同様の方法で画像に重畳する周期的ノイズを除去することができる。
なお、本実施形態において、ブレ補正制御部１１３は、撮像レンズ１０２に含まれる光軸シフトレンズを駆動する機構（アクチュエータ等）を制御して手ぶれ補正を行う構成となっているが、これに限定されない。例えばブレ補正制御部１１３は、撮像部１０１に含まれる撮像素子１０４の位置を駆動する機構（アクチュエータ等）を制御する構成であってもよい。この場合、被写体像の動きを打ち消すように撮像素子１０４を移動させることで、光学シフトレンズを移動させる場合と同等の手ぶれ補正の効果が得られる。
【００１７】
１１４は撮像制御部であり、タイミング制御部１０５から供給される水平同期信号（以後「ＨＤ」と称する）の周波数で、撮像素子１０４の水平１ライン毎に時間をずらしながら順次電荷の蓄積と読み出しを行う駆動を制御する。撮像制御部１１４は、撮像素子１０４に含まれていてもよい。システム制御部１１１は、ＨＤの周波数や、撮像素子１０４の電荷の蓄積と読み出しを行う水平ライン数、各水平ラインの水平画素数の異なる複数の駆動を記憶しており、撮像制御部１１４は、システム制御部１１１の制御下で、撮像素子１０４の駆動を切り替える。
【００１８】
１１５はシャッター制御部であり、撮像部１０１を構成するシャッター１０３の開閉を制御する。
１１６は操作部であり、スイッチ、ボタン、ダイヤル等、ユーザが撮像装置に対して各種の指示や設定を行うための入力デバイス群である。操作部１１６には、電源スイッチ、モード切替スイッチ、シャッターボタン、メニューボタン、方向ボタン、実行ボタン等が代表的に含まれる。
１１７は電源制御部であり、ＤＣ−ＤＣコンバータ、通電ブロックを切り替えるスイッチ回路等から構成される。電源制御部１１７は、システム制御部１１１の制御に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、各ブロックに供給する。
１１８は電源部であり、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる。
【００１９】
ここで、図２を参照して、撮像制御部１１４による撮像素子１０４の切り替え動作について説明する。図２は、本実施形態に係る撮像装置の撮像制御部１１４により制御される撮像素子１０４の駆動とその切り替えのタイミングを示すタイミングチャートである。
図２において、ＶＤは垂直同期信号を、ＨＤは水平同期信号を表しており、それぞれタイミング制御部１０５から撮像素子１０４と撮像制御部１１４に供給される。ＶＤ立ち下がりから次のＶＤ立ち下がりまでが１フィールドであり、この期間に撮像素子１０４から１枚の画像データが読み出される。
【００２０】
２０１は、ＨＤの周波数ｆａで撮像素子１０４を水平ライン毎に順次電荷の蓄積と読み出しを行うよう駆動し、露光開始、露光、電荷の読み出しを行うタイミングを模擬的に平行四辺形で表したものである。平行四辺形２０１の左の斜辺が水平ライン毎に電荷の蓄積を開始するタイミングを表し、対辺の斜辺が水平ライン毎に電荷の読み出しを開始するタイミングを表す。平行四辺形２０１で示す駆動は、撮像制御部１１４により撮像素子１０４の駆動が切り替えられる前の駆動であり、図２において「切り替え前駆動」と示す。この「切り替え前駆動」が本発明でいう第１の駆動に相当する。
【００２１】
２０３は、ＨＤの周波数ｆｂで撮像素子１０４を水平ライン毎に順次電荷の蓄積と読み出しを行うよう駆動し、露光開始、露光、電荷の読み出しを行うタイミングを模擬的に平行四辺形で表したものである。ここで、平行四辺形２０３で示す駆動における電荷の読み出しによって取得される画像データの画像サイズは、平行四辺形２０１で示す切り替え前駆動において取得される画像データと異なっているものとする。もちろん二つの駆動間で取得される画像データの画像サイズが同じでも構わない。平行四辺形２０３の左の斜辺が水平ライン毎に電荷の蓄積を開始するタイミングを表し、対辺の斜辺が水平ライン毎に電荷の読み出しを開始するタイミングを表す。平行四辺形２０３で示す駆動は、撮像制御部１１４により撮像素子１０４の駆動が切り替えられた後の駆動であり、図２において「切り替え後駆動」と示す。この「切り替え後駆動」が本発明でいう第３の駆動に相当する。
【００２２】
２０２は、切り替え前駆動と同じ駆動で撮像素子１０４が水平ライン毎に順次電荷の蓄積を行い、切り替え後駆動と同じ駆動で水平ライン毎に順次電荷の読み出しを行うよう駆動し、露光開始、露光、電荷の読み出しを行うタイミングを模擬的に四角形で表したものである。四角形２０２の左の斜辺が切り替え前駆動と同じ駆動で水平ライン毎に電荷の蓄積を開始するタイミングを表し、対辺の斜辺が切り替え後駆動と同じ駆動で水平ライン毎に電荷の読み出しを開始するタイミングを表す。
ＨＤは、撮像素子１０４のすべての水平ラインの電荷の蓄積が開始してから電荷の読み出しを開始するまでの間のフィールドの切り替わりのタイミングに同期して、周波数ｆａから周波数ｆｂに切り替わる。図２において、２０４はＨＤの周波数が周波数ｆａである期間、２０５はＨＤの周波数が周波数ｆｂである期間を示す。四角形２０２で示す駆動は、撮像制御部１１４により撮像素子１０４の駆動が切り替えられるときの駆動であり、図２において「切り替え時駆動」と示す。この「切り替え時駆動」が本発明でいう第２の駆動に相当する。
【００２３】
図２に示すように、撮像制御部１１４により撮像素子１０４の駆動を切り替えるように制御されると、四角形２０２で示す駆動切り替え時の駆動で１フィールド期間駆動し、駆動が切り替えられる。
平行四辺形２０１、２０３で示す駆動切り替え前後の駆動では、撮像素子１０４の画面領域の電荷の蓄積時間が領域内で一定となるように制御される。それに対して、四角形２０２で示す駆動切り替え時の駆動は、電荷の蓄積開始時と電荷の読み出し時とでＨＤの周波数と水平ライン数が異なっているため、撮像素子１０４の画面領域の電荷の蓄積時間が領域内で一定でない。四角形２０２で示す駆動の場合、撮像素子１０４の画面領域の上部の電荷の蓄積時間は、画面領域の下部の電荷の蓄積時間に対してより長い。そのため、駆動切り替え時の駆動で読み出された画像データは、画面全体で適正な露出ではなく、駆動切り替え時の駆動で読み出された画像データは記録用としては使用されない。本実施形態では、駆動切り替え時の駆動で読み出された画像データを用いて、切り替え前の駆動で読み出された画像に重畳する周期的ノイズを除去するためのノイズ補正用画像を生成する。
【００２４】
システム制御部１１１の記憶している駆動には、例えば撮像素子１０４の全画素で電荷の蓄積と読み出しを行う静止画撮影駆動や、より高い周波数のＨＤで、より少ない画素数の電荷の蓄積と読み出しを行い、高速に画像データを読み出すスルー画撮影駆動等がある。
また、撮像制御部１１４は、撮像素子１０４の各駆動において、最初に電荷を読み出す水平ラインの読み出しのタイミングを、ブレ補正制御部１１３のコイルへの周期的な制御信号に対する位相が一定になるように制御する。
【００２５】
以下、上記の如く構成された撮像装置の動作について詳細に説明する。
図３は、本実施形態に係る撮像装置の撮影動作を示すフローチャートである。
撮影者が操作部１１６に含まれる電源スイッチを全押しする等して、カメラ本体１００の電源をＯＮすると（ステップＳ３０１）、システム制御部１１１の制御下で、撮像素子１０４からの画像データを表示部１１０に逐次表示するスルー表示を行う（ステップＳ３０２）。このとき、撮像制御部１１４は、スルー画撮影駆動で撮像素子１０４を駆動する。
【００２６】
次に、撮影者が操作部１１６に含まれるシャッターボタンを全押しする等して、撮影指示を入力すると、システム制御部１１１がこれを検出する（ステップＳ３０３）。
次に、システム制御部１１１は、撮影領域の輝度が最適になるよう自動で露出条件を制御するＡＥ（Auto Exposure）処理及び、フォーカスが最適になるようにＡＦ処理を行い（ステップＳ３０４）、設定された条件で撮影を行う（ステップＳ３０５）。なお、シャッターボタンの半押しが検出された時点でＡＥ、ＡＦ処理を行い、全押しが検出されると撮影を行うように構成してもよい。また、ＡＥ、ＡＦ処理については本発明と直接関係せず、公知の手法を適用可能であるため、その詳細は省略する。ステップＳ３０５の撮影処理の詳細は後述する。
【００２７】
次に、システム制御部１１１の制御下で、ステップＳ３０５の撮影処理によって読み出された画像データに画像処理を行う（ステップＳ３０６）。ステップＳ３０６の画像処理の詳細は後述する。
次に、システム制御部１１１の制御下で、ステップＳ３０６の画像処理によって取得した画像データをメモリ１０７に記録し、また、画像ファイルとして記録媒体１０９に書き込みを行う記録処理を実行して（ステップＳ３０７）、処理を終了する。
【００２８】
図４を参照して、ステップＳ３０５の撮影処理について説明する。図４は、図３のステップＳ３０５の撮影処理の詳細を示すフローチャートである。
撮像制御部１１４は、システム制御部１１１の制御下で、撮像素子１０４を、ＨＤの周波数ｆ１で撮像素子１０４の全画素で電荷の蓄積と読み出しを行う静止画撮影駆動で駆動するよう切り替える。そして、静止画撮影駆動で駆動する撮像素子１０４は、撮像制御部１１４によって、すべての水平ラインが同時に電荷の蓄積を開始するよう制御される（ステップＳ４０１）。このとき、シャッター制御部１１５により撮像部１０１のシャッター１０３は開いており、外光は撮像部１０１の撮像レンズ１０２を介して撮像素子１０４に導かれる。
【００２９】
次に、システム制御部１１１の制御下で、図３のステップＳ３０４で設定された露出条件に従い、シャッター制御部１１５により撮像部１０１のシャッター１０３が閉じる（ステップＳ４０２）。ステップＳ４０１で撮像素子１０４の電荷の蓄積を開始してから、シャッター１０３が閉じることにより撮像素子１０４に導かれていた入射光が遮光されるまでの期間が、撮像素子１０４に電荷を蓄積する時間（露光時間）となる。
【００３０】
次に、静止画撮影駆動で駆動する撮像素子１０４は、撮像制御部１１４によって、周波数ｆ１のＨＤに同期して撮像素子１０４の水平１ライン毎に時間をずらしながら順次電荷を読み出すよう制御される（ステップＳ４０３）。ステップＳ４０３により、静止画画像データが読み出される。
このとき、カメラ本体１００の手ぶれを補正するために光学的手ぶれ補正が動作しており、ブレ補正制御部１１３は、ブレ検出部１１２からの出力に応じて、光軸シフトレンズを駆動する機構に対して所定の周波数ｆｎの駆動信号を送信している。そのため、撮像レンズ１０２に含まれる光軸シフトレンズを駆動する機構を構成するコイルから、周囲の空間に周波数ｆｎの周期的な磁界変動が発生している。
ステップＳ４０３の処理中に撮像素子１０４の周囲空間に磁界変動が生じている場合、撮像素子１０４の内部配線に誘導ノイズが発生することで、ＨＤの周波数ｆ１とノイズ源である磁界変動の周波数ｆｎとに関係した周波数ｆｎ１の周期的ノイズが静止画画像に重畳する。静止画画像に重畳する周期的ノイズの周波数ｆｎ１は、以下の（式１）、（式２）を満たす。（式１）のａ×ｆ１は、ＨＤの周波数ｆ１の自然数ａ倍の周波数を示す。
ｆｎ１＝｜ｆｎ−ａ×ｆ１｜（ａは自然数）            ・・・（式１）
ｆｎ１＜ｆ１／２                      ・・・（式２）
【００３１】
ここで、図５（ａ）を参照して、本実施形態における各周波数の関係について説明する。図５（ａ）は、本実施形態に係る撮像装置において静止画撮影駆動の電荷読み出し時における各周波数の関係を示すタイミングチャートである。
図５（ａ）において、ＨＤは、静止画撮影駆動の電荷読み出し時のＨＤのタイミングを示し、ＨＤの周波数はｆ１である。本実施形態において、周波数ｆ１は、ｆ１＝３０ｋＨｚとする。ノイズ源は、撮像レンズ１０２に含まれる光軸シフトレンズを駆動する機構を構成するコイルから発生する周期的な磁界変動を示し、磁界変動の周波数はｆｎである。本実施形態において、周波数ｆｎは、ｆｎ＝１３０ｋＨｚとする。
５０１はＨＤの１周期を示し、５０２はノイズ源である磁界変動の１周期を示す。また、「Ｎ１」から「Ｎ１＋６」は、それぞれＨＤの信号のタイミングで、水平何ライン目の電荷が読み出されたかを示す。ここで、Ｎ１は、撮像素子１０４の静止画撮影駆動で電荷が読み出される任意の水平ラインである。５０３、５０４、５０５、５０６は、それぞれ撮像素子１０４の水平ラインのＮ１ライン目からＮ１＋３ライン目の電荷がそれぞれ読み出されるタイミングでのノイズ源である磁界変動の振幅レベルを示す。読み出される電荷に重畳するノイズのノイズレベルは、ノイズ源である磁界変動の振幅レベルに依存して決定される。そのため、撮像素子１０４のＮ１ライン目からＮ１＋３ライン目のそれぞれの電荷に重畳するノイズのノイズレベルはそれぞれ異なる。また、ノイズレベルは、ＨＤの周波数ｆ１とノイズ源の周波数ｆｎに依存して決定される周波数ｆｎ１の周期性を持ち、各水平ラインで周期的にノイズレベルが変化する。図５（ａ）において、ノイズレベルの変化を、振幅レベル５０３、５０４、５０５、５０６を結ぶ破線で示す。ここで、周波数ｆｎ１は、ＨＤの周波数ｆ１の自然数倍の周波数ａ×ｆ１とノイズ源の周波数ｆｎとの差分の絶対値で表される周波数であり、かつ、ＨＤの周波数ｆ１の半分の周波数ｆ１／２よりも小さい周波数、すなわち前述の（式１）と（式２）を満たす周波数に一意に決定される。本実施形態において、周波数ｆｎ１は、ｆｎ１＝１０ｋＨｚとなる。ここで、（式１）の自然数ａは４となる。５０７は静止画画像に重畳する周波数ｆｎ１のノイズの１周期を示す。
【００３２】
撮像素子１０４の内部のＡ／Ｄ変換回路は、画素の垂直ラインに接続されており、それが水平ラインの画素数分だけ一様に並んでいる構成となっている。そして、撮像素子１０４は、各水平ラインの電荷読み出しの際に、１水平ライン分の電荷を同時にＡ／Ｄ変換回路で電圧に変換して読み出すため、各水平ラインで読み出される電荷に対して、一様のノイズレベルが重畳される。そのため、静止画画像に重畳するノイズは、周波数ｆｎ１の周期でノイズレベルが変動する横帯ノイズとして現れる。
【００３３】
図４に説明を戻して、ステップＳ４０３において静止画撮影駆動で電荷の読み出しが終了すると、カメラ本体１００の状態を図３のステップＳ３０２と同様のスルー表示に戻すため、撮像制御部１１４は撮像素子１０４の駆動をスルー画撮影駆動に切り替える。スルー画撮影駆動は、タイミング制御部１０５からの周波数ｆ２のＨＤに同期して撮像素子１０４の特定の画素で電荷の蓄積と読み出しを行う駆動である。従来、静止画撮影駆動におけるＨＤの周波数ｆ１とスルー画撮影駆動におけるＨＤの周波数ｆ２は互いに独立した周波数に決定される。しかし、本実施形態においては、スルー画撮影駆動におけるＨＤの周波数ｆ２は、静止画撮影駆動におけるＨＤの周波数ｆ１とノイズ源の周波数ｆｎとに関係した周波数となるように設定される。各周波数の関係の詳細については後述する。
【００３４】
次に、撮像制御部１１４は、システム制御部１１１の制御下で、撮像素子１０４を、切り替え時駆動で駆動するよう切り替える。そして、切り替え時駆動で駆動する撮像素子１０４は、撮像制御部１１４によって、ＨＤの周波数ｆ１で水平１ライン毎に時間をずらしながら順次電荷を蓄積するよう制御される（ステップＳ４０４）。
次に、切り替え時駆動で駆動する撮像素子１０４は、撮像制御部１１４によって、周波数ｆ２のＨＤに同期して撮像素子１０４の水平１ライン毎に時間をずらしながら順次電荷を読み出すよう制御される（ステップＳ４０５）。ステップＳ４０５により、切り替え時画像データが読み出される。
【００３５】
ステップＳ４０４の処理からステップＳ４０５の処理までの期間が、切り替え時駆動で駆動する撮像素子１０４の電荷の蓄積時間であるが、その間、撮像部１０１のシャッター１０３は閉じたままであり、撮像素子１０４への入射光が遮光されている。そのため、切り替え時画像データは黒画像データである。
また、ステップＳ４０３の処理時と同様に、ステップＳ４０５の処理時も光学的手ぶれ補正が動作しており、ＨＤの周波数ｆ２とノイズ源である磁界変動の周波数ｆｎとに関係した周波数ｆｎ２の周期的ノイズが切り替え時画像に重畳する。切り替え時画像に重畳する周期的ノイズの周波数ｆｎ２は、以下の（式３）、（式４）を満たす。（式３）のｂ×ｆ２は、ＨＤの周波数ｆ２の自然数ｂ倍の周波数を示す。
ｆｎ２＝｜ｆｎ−ｂ×ｆ２｜（ｂは自然数）            ・・・（式３）
ｆｎ２＜ｆ２／２                      ・・・（式４）
【００３６】
ここで、図５（ｂ）を参照して、本実施形態における各周波数の関係について説明する。図５（ｂ）は、本実施形態に係る撮像装置において切り替え時駆動の電荷読み出し時における各周波数の関係を示すタイミングチャートである。
図５（ｂ）において、ＨＤは、切り替え時駆動の電荷読み出し時のＨＤのタイミングを示し、ＨＤの周波数はｆ２である。本実施形態において、周波数ｆ２は、ｆ２＝６０ｋＨｚとする。ノイズ源は、撮像レンズ１０２に含まれる光軸シフトレンズを駆動する機構を構成するコイルから発生する周期的な磁界変動を示し、磁界変動の周波数はｆｎである。本実施形態において、周波数ｆｎは、ｆｎ＝１３０ｋＨｚとする。
５０８はＨＤの１周期を示し、５０９はノイズ源である磁界変動の１周期を示す。また、「Ｎ２」から「Ｎ２＋１３」は、それぞれＨＤの信号のタイミングで、水平何ライン目の電荷が読み出されたかを示す。ここで、Ｎ２は、撮像素子１０４の切り出し時駆動で電荷が読み出される任意の水平ラインである。５１０、５１１、５１２、５１３、５１４、５１５、５１６は、それぞれ撮像素子１０４の水平ラインのＮ２ライン目からＮ２＋６ライン目の電荷がそれぞれ読み出されるタイミングでのノイズ源である磁界変動の振幅レベルを示す。ここで、Ｎ２は、撮像素子１０４の切り替え時駆動で電荷が読み出される任意の水平ラインとする。読み出される電荷に重畳するノイズのノイズレベルは、ノイズ源である磁界変動の振幅レベルに依存して決定される。そのため、撮像素子１０４のＮ２ライン目からＮ２＋６ライン目のそれぞれの電荷に重畳するノイズのノイズレベルはそれぞれ異なる。また、ノイズレベルは、ＨＤの周波数ｆ２とノイズ源の周波数ｆｎに依存して決定される周波数ｆｎ２の周期性を持ち、各水平ラインで周期的にノイズレベルが変化する。図５（ｂ）において、ノイズレベルの変化を、振幅レベル５１０、５１１、５１２、５１３、５１４、５１５、５１６を結ぶ破線で示す。ここで、周波数ｆｎ２は、ＨＤの周波数ｆ２の自然数倍の周波数ｂ×ｆ２とノイズ源の周波数ｆｎとの差分の絶対値で表される周波数であり、かつ、ＨＤの周波数ｆ２の半分の周波数ｆ１／２よりも小さい周波数、すなわち前述の（式３）と（式４）を満たす周波数に一意に決定される。本実施形態において、周波数ｆｎ２は、ｆｎ２＝１０ｋＨｚとなる。ここで、（式３）の自然数ｂは２となる。５１７は切り替え時画像に重畳する周波数ｆｎ２の周期的ノイズの１周期を示す。
【００３７】
撮像素子１０４の内部のＡ／Ｄ変換回路は、画素の垂直ラインに接続されており、それが水平ラインの画素数分だけ一様に並んでいる構成となっている。そして、撮像素子１０４は、各水平ラインの電荷読み出しの際に、１水平ライン分の電荷を同時にＡ／Ｄ変換回路で電圧に変換して読み出すため、各水平ラインで読み出される電荷に対して、一様のノイズレベルが重畳される。そのため、切り替え時画像に重畳するノイズは、周波数ｆｎ２の周期でノイズレベルが変動する横帯ノイズとして現れる。
【００３８】
また、本実施形態において、切り替え時駆動の電荷の読み出し時におけるＨＤの周波数ｆ２、すなわちスルー画撮影駆動のＨＤの周波数ｆ２は、以下の（式５）、（式６）、（式７）を満たすように設定される。
ｆ２＝ｃ×ｆ１   （ｃは自然数）                     ・・・（式５）
ｆ２＜ｆｎ                                   ・・・（式６）
ｆｎ２＝ｆｎ１                               ・・・（式７）
すなわち、周波数ｆ２は、静止画撮影駆動のＨＤの周波数ｆ１の自然数倍で、かつノイズ源の周波数ｆｎより低い周波数、さらに静止画画像データと切り替え時画像データに重畳する周期的ノイズの周波数ｆｎ１とｆｎ２が一致するように設定される。例えば本実施形態において、周波数ｆ１（＝３０ｋＨｚ）に対して、周波数ｆ２は６０ｋＨｚであり、（式５）の自然数ｃは２である。また、静止画画像データと切り替え時画像データに重畳する周期的ノイズの周波数ｆｎ１とｆｎ２は共に１０ｋＨｚとなり一致する。
【００３９】
ここで、各駆動でのＨＤの周波数が異なるため、静止画画像データと切り替え時画像データの各画像に重畳する周期的ノイズの１周期５０７、５１７の期間に読み出される水平ライン数が異なる。例えば本実施形態において、図５（ａ）に示す静止画画像に重畳する周期的ノイズの１周期５０７の期間に読み出される水平ライン数は、Ｎ１からＮ１＋３ライン目までの４ラインである。また、図５（ｂ）で示す切り替え時画像に重畳する周期的ノイズの１周期５１７の期間に読み出される水平ライン数は、Ｎ２からＮ２＋６ライン目までの７ラインであり、静止画画像データの場合と水平ライン数が異なる。
【００４０】
また、撮像制御部１１４により、静止画画像と切り替え時画像に重畳する周期的ノイズの周波数ｆｎ１とｆｎ２の位相が一致するように静止画撮影駆動と切り替え時駆動が制御される。本実施形態において、撮像制御部１１４は、撮像素子１０４の静止画撮影駆動と切り替え時駆動の各駆動の、それぞれ最初に電荷を読み出す水平ラインの電荷読み出しのタイミングにおけるノイズ源の振幅レベルが一致するよう制御する。例えば図５（ａ）、（ｂ）における、静止画撮影駆動のＮ１ライン目と切り替え時駆動のＮ２ライン目を、それぞれ最初に電荷の読み出しを行う水平ラインとする。すなわち、Ｎ１＝１、Ｎ２＝１とする。このとき、撮像素子１０４の静止画撮影駆動のＮ１ライン目の電荷が読み出されるタイミングでのノイズ源である磁界変動の振幅レベル５０３と、切り替え時駆動のＮ２ライン目の電荷が読み出されるタイミングでのノイズ源である磁界変動の振幅レベル５１０とが一致する。
【００４１】
このように、静止画画像と切り替え時画像に重畳する周期的ノイズの周波数ｆｎ１とｆｎ２が一致し、その位相が一致するように、撮像制御部１１４が撮像素子１０４を制御する。そのため、周波数ｆ２（＝ｃ×ｆ１）のＨＤに同期して電荷の読み出しを行う切り替え時駆動では、水平ｃラインに１回の割合で、電荷読み出しのタイミングでのノイズ源である磁界変動の振幅レベルが静止画撮影駆動と一致する。例えば図５（ｂ）の５１０で示すＮ２ライン目に読み出された電荷に重畳する周期的ノイズのノイズレベルが、図５（ａ）の５０３で示すＮ１ライン目に読み出された電荷に重畳するノイズのノイズレベルと一致する。また、そのｃ（＝２）ライン後である、図５（ｂ）の５１２で示すＮ２＋２ライン目に読み出された電荷に重畳するノイズのノイズレベルが、図５（ａ）の５０４で示すＮ１＋１ライン目に読み出された電荷に重畳するノイズのノイズレベルと一致する。
【００４２】
図４に説明を戻して、ステップＳ４０５において切り替え時駆動で電荷の読み出しが終了すると、システム制御部１１１の制御下で、シャッター制御部１１５により撮像部１０１のシャッター１０３が開く（ステップＳ４０６）。
撮像制御部１１４は、システム制御部１１１の制御下で、撮像素子１０４を、ＨＤの周波数ｆ２で撮像素子１０４の電荷の蓄積と読み出しを行うスルー画撮影駆動で駆動し、カメラ本体１００の状態をスルー表示に戻して（ステップＳ４０７）、撮影処理を終了する。
【００４３】
ここで、さらに図６を参照して、ステップＳ３０５の撮影処理について説明する。図６は、図３のステップＳ３０５の撮影処理を示すタイミングチャートである。
図６において、ＶＤは垂直同期信号を、ＨＤは水平同期信号を表しており、タイミング制御部１０５の制御により、ＨＤが周波数ｆ１から周波数ｆ２に切り替わる。撮像素子の各フィールドに６０１、６０５、６１０で示す各種図形は、撮像制御部１１４により制御された撮像素子１０４の各駆動のタイミングを模擬的に表したものである。シャッターは、撮像部１０１のシャッター１０３の状態とシャッター制御部１１５による開閉タイミングを表したものである。ノイズ源６００は、本実施形態においては、手ぶれ補正が動作しており、撮像レンズ１０２に含まれる光軸シフトレンズを駆動する機構を構成するコイルから空間に周波数ｆｎの周期的な磁界変動から発生している状態を模擬的に表したものである。
【００４４】
６０１は、静止画撮影駆動の駆動タイミングを模擬的に台形で表したものである。
６０２は、図４のステップＳ４０１の露光開始タイミングを示し、すべての水平ラインが電荷の蓄積を同時に開始するよう制御される。
６０３は、図４のステップＳ４０２のシャッター制御部１１５によるシャッター閉制御の制御タイミングを示す。
６０４は、図４のステップＳ４０３の静止画撮影駆動の電荷読み出しタイミングを示し、周波数ｆ１のＨＤのタイミングに同期して水平ライン毎に電荷の読み出しが行われる。静止画撮影駆動の電荷読み出し６０４によって、露光開始６０２からシャッター閉制御６０３までの期間で外光を露光した静止画画像データが読み出される。ここで、静止画撮影駆動の電荷読み出し６０４のタイミングにノイズ源６００である手ぶれ補正が動作しているため、読み出された静止画画像データには、ノイズ源６００の周波数ｆｎとＨＤの周波数ｆ１に関係した周波数ｆｎ１の周期的ノイズが重畳する。
【００４５】
６０５は、切り替え時駆動の駆動タイミングを模擬的に四角形で表したものである。
６０６は、図４のステップＳ４０４の切り替え時駆動の露光開始タイミングを示し、周波数ｆ１のＨＤのタイミングに同期して水平ライン毎に電荷の蓄積が行われる。
６０７は、ＨＤの周波数が静止画撮影駆動のｆ１から、スルー画撮影駆動のｆ２に変化するタイミングを示す。
６０８は、図４のステップＳ４０５の切り替え時駆動の電荷読み出しタイミングを示し、周波数ｆ２のＨＤのタイミングに同期して水平ライン毎に電荷の読み出しが行われる。切り替え駆動の電荷読み出し６０８によって、切り替え時画像データが読み出される。ここで、電荷の読み出し６０８は、スルー画撮影駆動と同じ駆動で行われるため、電荷の読み出し６０８で取得される切り替え時画像データの画像サイズは、静止画画像データの画像サイズと異なる。また、切り替え時駆動の露光開始６０６から切り替え時駆動の電荷読み出し６０８までの期間、撮像部１０１のシャッター１０３は閉じたままのため、取得される切り替え時画像データは黒画像である。
また、四角形６０５で示す切り替え時駆動の駆動では、露光開始６０６を周波数ｆ１のＨＤのタイミングに同期して動作し、電荷読み出しを周波数ｆ２のＨＤのタイミングに同期して動作するため、撮像素子１０４の画面領域の電荷の蓄積時間が領域内で均一でない。本実施形態の場合、撮像素子１０４の画面上部は画面下部に比べて電荷の蓄積時間が長くなる。また、切り替え時駆動の電荷読み出し６０８のタイミングにノイズ源６００である手ぶれ補正が動作しているため、取得された切り替え時画像データには、ノイズ源６００の周波数ｆｎとＨＤの周波数ｆ２に関係した周波数ｆｎ２の周期的ノイズが重畳する。
【００４６】
６０９は、図４のステップＳ４０６のシャッター制御部１１５によるシャッター開制御の制御タイミングを示す。
６１０は、スルー画撮影駆動の駆動タイミングを模擬的に平行四辺形で表したものである。周波数ｆ２のＨＤのタイミングに同期して電荷の蓄積と電荷の読み出しが行われる。
【００４７】
次に、図７を参照して、ステップＳ３０６の画像処理について説明する。図７は、図３のステップＳ３０６の画像処理の詳細を示すフローチャートである。
本実施形態では、切り替え時画像データから所定の画像処理によって静止画画像データに重畳する周期的ノイズを除去するためのノイズ補正用画像データを生成する。そして、静止画画像データからノイズ補正用画像データを減算処理することにより、静止画画像データに重畳する周期的ノイズを除去する。ノイズ補正用画像データは、静止画画像データを同じ画像サイズで、静止画画像データの各水平ラインに重畳するノイズのノイズレベルが等しい画像データである。
【００４８】
システム制御部１１１の制御下で、図４のステップＳ４０３で撮像素子１０４から読み出された静止画画像データと、図４のステップＳ４０５で読み出された切り替え時画像データは、画像処理部１０６を介して、いったんメモリ１０７に記憶される（ステップＳ７０１）。
図８（ａ）に、図４のステップＳ４０３で読み出された静止画画像データ８０１を示す。静止画画像データ８０１の画像サイズは横ｘ１画素、縦ｙ１画素である。また、静止画画像データ８０１の縦方向の画素数は４０画素である。静止画画像データ８０１には被写体が写っている。Ｌｎ１、Ｌｎ１＋１、Ｌｎ１＋２は、それぞれ静止画画像データ８０１の水平ラインを示し、水平ラインＬｎ１、Ｌｎ１＋１、Ｌｎ１＋２の３ラインは、静止画画像データ８０１に重畳する周波数ｆｎ１の周期的ノイズの１周期を示す。
また、図８（ｂ）に、図４のステップＳ４０５で読み出された切り替え時画像データ８０３を示す。切り替え時画像データ８０３の画像サイズは横ｘ２画素、縦ｙ２画素である。切り替え駆動の際、撮像素子１０４への入射光が遮光されているため、切り替え時画像データ８０３は黒画像データであり、静止画画像データ８０１に写っている被写体像は写り込まない。Ｌｎ２、Ｌｎ２＋１、Ｌｎ２＋２、Ｌｎ２＋３、Ｌｎ２＋４、Ｌｎ２＋５は、それぞれ切り替え時画像データ８０３の水平ラインを示し、水平ラインＬｎ１からＬｎ１＋５までの６ラインは、切り替え時画像データ８０３に重畳する周波数ｆｎ２の周期的ノイズの１周期を示す。
【００４９】
次に、画像処理部１０６は、メモリ１０７にいったん記憶した切り替え時画像データ８０３を読み出し、画像の切り出し処理を行う（ステップＳ７０２）。前述のように、切り替え時画像データ８０３に重畳する周期的ノイズの１周期を構成する水平ライン数は、静止画画像データ８０１に重畳する周期的ノイズの１周期を構成する水平ライン数に対して、（式５）で求められる自然数ｃ倍となる。そのうち、静止画画像データ８０１の水平ラインに重畳する周期的ノイズのノイズレベルと切り替え時画像データ８０３の水平ラインに重畳する周期的ノイズのノイズレベルとが、水平ｃライン毎に一致する。そこで、切り替え時画像データ８０３の水平ラインのうち、重畳するノイズレベルが静止画画像データ８０１の水平ラインに重畳するノイズレベルと一致する水平ラインのみ切り出し処理を行う。すなわち、以下の（式８）を満たす水平ラインを切り出すよう処理する。ここで、自然数ｃは、（式５）で決定される値、自然数Ｎは（式８）を満たす任意の自然数である。
ｃ×（Ｎ−１）＋１＜ｙ２（ｃ、Ｎは自然数）          ・・・（式８）
【００５０】
図８（ｃ）、（ｄ）に、ステップＳ７０２で切り出された画像データを示す。図８（ｃ）に示す８０４は、ステップＳ７０２の切り替え時画像データ８０３から切り出される水平ラインを示す画像データである。本実施形態において、（式５）で求められる自然数ｃは２であるため、水平２ライン毎に切り出される。例えば図８（ｃ）に示すように、Ｌｎ２、Ｌｎ２＋２、Ｌｎ２＋４のように水平２ライン毎に切り出される。図８（ｄ）に示す８０５は、ステップＳ７０２において切り出された画像データである。切り出された画像データ８０５は、図８（ｃ）に示す、切り替え時画像データ８０３から切り出される水平ラインを画像の縦方向に画像を繋ぎ合わせることで生成される。切り出された画像データ８０５の画像サイズは、横ｘ２画素、縦ｙ／ｃ画素である。本実施形態では、図８（ｃ）に示すように、画像データ８０５の縦方向の画素数は１４画素である。切り出された画像データ８０５のＬｎ２、Ｌｎ２＋２、Ｌｎ２＋４の水平３ラインは、切り出された画像データ８０５に重畳する周波数ｆｎ２の周期的ノイズの１周期を示す。
ここで、切り出された画像データ８０５に重畳する周波数ｆｎ２の周期的ノイズの１周期を示す水平ライン数と、静止画画像データ８０１に重畳する周波数ｆｎ１の周期的ノイズの１周期を示す水平ライン数は一致する。また、各水平ラインに重畳するノイズレベルも一致する。例えば切り出された画像データ８０５のＬｎ２、Ｌｎ２＋２、Ｌｎ２＋４の水平３ラインにそれぞれ重畳するノイズレベルは、図８（ａ）に示す静止画画像データ８０１のＬｎ１、Ｌｎ１＋１、Ｌｎ１＋２で示す水平３ラインにそれぞれ重畳するノイズレベルと一致する。
【００５１】
次に、ステップＳ７０２で切り出された画像データ８０５を、重畳されたノイズの周期とノイズレベルを維持したまま、静止画画像データ８０１と同じ画像サイズとなるようにリサイズする。
まず、切り出された画像データ８０５の横方向の画素数ｘ２が、静止画画像データ８０１の横方向の画素数ｘ１と一致するようにリサイズする（ステップＳ７０３）。例えば切り出された画像データ８０５の横方向の画素数ｘ２が、静止画画像データ８０１の横方向の画素数ｘ１よりも多い場合は、切り出された画像データ８０５の横方向の画素数ｘ２から、必要な画素数ｘ１だけ切り出してリサイズする。例えば切り出された画像データ８０５の横方向の画素数ｘ２が、静止画画像データ８０１の横方向の画素数ｘ１よりも少ないときは、各水平ラインの画素データ値の平均値Ｓｎを求めて、横方向に足りない画素を平均値Ｓｎで補完する。
図８（ｅ）を参照して、ステップＳ７０３における横方向のリサイズについて説明する。図８（ｅ）に示す８０６は、ステップＳ７０３で取得された横方向にリサイズした画像データである。横方向にリサイズされた画像データ８０６の画像サイズは、横ｘ１画素、縦ｙ２／ｃ画素である。本実施形態では、図８（ｅ）に示すように、画像データ８０６の縦方向の画素数は１４画素である。８０７は、画像データ８０６のうち、各水平ラインの平均値Ｓｎで補完された領域である。
【００５２】
次に、ステップＳ７０３でリサイズされた画像データ８０６の縦方向の画素数ｙ２／ｃが、静止画画像データ８０１の縦方向の画素数ｙ１と一致するようにリサイズする（ステップＳ７０４）。例えば画像データ８０６の縦方向の画素数ｙ２／ｃが、静止画画像データ８０１の縦方向の画素数ｙ１よりも多い場合は、画像データ８０６の縦方向の画素数ｙ２／ｃから、必要な画素数ｙ１だけ切り出してリサイズする。例えば画像データ８０６の縦方向の画素数ｙ２／ｃが、静止画画像データ８０１の縦方向の画素数ｙ１よりも少ないときは、画像データ８０６に重畳する周期的ノイズの１周期分の画像データで縦方向に足りない画素を補完する。
ここで、縦方向の画素の補完に使用する１周期分の画像データは、画像データ８０６の水平１ライン目から水平Ｔｎライン分を切り出した画像データとする。このとき、ノイズの１周期Ｔｎは下記の（式９）のように、画像データ８０６の縦方向の画素数ｙ２／ｃを周波数ｆｎ２で除算することで求められる。
Ｔｎ＝（ｙ２／ｃ）／ｆｎ２                   ・・・（式９）
本実施形態においては、図８（ｅ）のＬｎ２、Ｌｎ２＋２、Ｌｎ２＋４で示す水平３ラインが画像データ８０６に重畳する周期的ノイズの１周期とする。このとき（式９）で求められるノイズの１周期Ｔｎは、Ｔｎ＝３である。
【００５３】
次に、画像データ８０６に対して、ノイズの１周期分の画像データを反復して画像合成して、縦方向の画素数が必要な画素数となるように補完する。ここで、縦方向の画素の補完は、画像データ８０６に重畳する周期的ノイズと補完する領域に重畳する周期的ノイズとの境界でノイズの周期性が損なわれないよう処理される。例えば縦方向の補完に先立って、画像データ８０６の画像サイズを縦方向の画素数を周期Ｔｎの倍数にリサイズする。
図８（ｆ）を参照して、縦方向のリサイズについて説明する。図８（ｆ）に示す８０８は、補完処理に先立って画像データ８０６の画像サイズを縦方向にリサイズした画像データである。画像データ８０８の領域は破線で示す。８０９は、ノイズの１周期分の画像データを示す領域である。８１０〜８１２は、それぞれノイズの周期Ｔｎで区切った領域である。８１３は、画像データ８０６のうち、領域８０９から８１２で示す周期Ｔｎの領域で区切られない領域である。ここで、画像データ８０６から領域８１３を間引くことで、画像データ８０８の縦方向の画素数が周期Ｔｎの倍数になるようにリサイズする。本実施形態においては、図８（ｆ）に示すように、縦方向の画素数が１４画素である画像データ８０６から、縦方向の画素数が２画素である領域８１３を間引くことで、画像データ８０８の縦方向の画素数が３の倍数である１２画素になるようにリサイズする。
【００５４】
次に、図８（ｇ）を参照して、縦方向の画素の補完について説明する。図８（ｇ）に示す８１４は、画像データ８０８の縦方向の画素数を静止画画像データ８０１の縦方向の画素数ｙ１と一致するように補完した画像データである。画像データ８１４の画像サイズは、横ｘ１画素、縦ｙ１画素である。ここで、画像データ８０８の領域は破線で示す。８１５は、画像データ８０８に対して、ノイズの１周期分の画像データ８０９を必要数だけ反復して画像合成して補完し、さらに縦方向の画素数が静止画画像データ８０１と同じ画素数ｙ１となるようにリサイズされた領域である。領域８１５は一点鎖線で示す。８１６から８２４は、それぞれ画像データ８０９を反復して画像データ８０８に画像合成して補完した領域である。８２５は、画像データ８０８に対して、画像データ８０９を反復して画像合成したうえで、画像データ８１４の縦方向の画像サイズがｙ１画素となるように水平ラインを間引いた領域である。本実施形態においては、図８（ｆ）に示すように、縦方向の画素数が１２画素である画像データ８０８に対して、縦方向の画素数が３画素である画像データ８０９を８１６〜８２５で示すように１０回だけ反復して画像合成する。さらに、画像データ８１４の縦方向の画素数が、静止画画像データ８０１と同じ４０画素となるように、領域８２５の水平２ラインを間引いてリサイズする。
ここで、ステップＳ７０４で取得された縦方向にリサイズされた画像データ８１４は、静止画画像データ８０１と画像サイズが等しく、また、各水平ラインに重畳されているノイズのレベルが等しいノイズ補正用画像データである。
【００５５】
次に、静止画画像データ８０１からステップＳ７０４で取得された画像データ８１４を減算処理して、静止画画像データ８０１に重畳された周期的ノイズが除去された静止画画像データを取得する（ステップＳ７０５）。
図８（ｈ）に、ステップＳ７０５で取得された周期的ノイズが除去された静止画画像データ８２６を示す。静止画画像データ８２６の画像サイズは、横ｘ１画素、縦ｙ１画素である。静止画画像データ８２６は、もともとの静止画画像データ８０１の被写体像８０２への影響はなく、周期的ノイズのみ除去された画像となる。
ステップＳ７０５における減算処理は、同一の座標の画素データ値毎に減算処理する処理である。
【００５６】
ここで、図９を参照して、ステップＳ７０５における減算処理について説明する。図９は本実施形態に係る撮像装置の減算処理の方法を説明する概念図である。
図９において、画像Ａ（９０１）は、図４のステップＳ４０３で読み出された静止画画像データである。画像Ｂ（９０２）は、図７のステップＳ７０４で取得されたノイズ補正用画像データである。画像Ｃ（９０３）は、図７のステップＳ７０５の減算処理によって取得されるノイズ補正された静止画画像データである。画像９０１、９０２及び９０３の画像サイズは、すべて横ｘ１画素、縦ｙ１画素である。
また、９０４、９０５及び９０６は、各画像における各画素のデータ値を示す。例えば画像Ａ（画像９０１）の（１，２）座標の画素データ値９０４は、ａ（１，２）で表す。ステップＳ７０５において、画像Ｃ（９０３）は、画像Ａ（９０１）と画像Ｂ（９０２）から同一の座標の画素データ値毎に減算処理することで生成する。このとき、画像Ａの各座標の画素データ値は、下記の数式（式１０）のようになる。
ｃ（ｉ，ｊ）＝ａ（ｉ，ｊ）−ｂ（ｉ，ｊ）     （１≦ｉ≦ｘ１，１≦ｊ≦ｙ１）      ・・・（式１０）
【００５７】
以上説明したように、画像に重畳する周期的ノイズを除去することができる。
また、同一の駆動で複数枚の画像を取得して減算処理によりノイズ除去する従来の方法に対して、本発明を適用する場合、撮像素子の駆動を切り替える際に取得した画像から画像処理してノイズ除去する。そのため、同一の駆動で複数枚の画像を取得する必要がなく、撮影にかかる時間を短縮することができる。
【００５８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１００：カメラ本体、１０１：撮像部、１０２：撮像レンズ、１０３：シャッター、１０４：撮像素子、１０５：タイミング制御部、１０６：画像処理部、１０７：メモリ、１０８：記録制御部、１０９：記録媒体、１１０：表示部、１１１：システム制御部、１１２：ブレ検出部、１１３：ブレ補正制御部、１１４：撮像制御部、１１５：シャッター制御部、１１６：操作部、１１７：電源制御部、１１８：電源部
【図１】
2016092558.tif 000003
【図２】
2016092558.tif 000004
【図３】
2016092558.tif 000005
【図４】
2016092558.tif 000006
【図５】
2016092558.tif 000007
【図６】
2016092558.tif 000008
【図７】
2016092558.tif 000009
【図８】
2016092558.tif 000010
【図９】
2016092558.tif 000011