(57)【特許請求の範囲】
【請求項１】
１フレーム画像の分割された複数の異なる領域ごとに蓄積期間終了後に画像信号を読み出す信号読み出し手段と、
前記信号読み出し手段から得られる前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算する画像情報演算手段と、
前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と撮像手段とを有する撮像ユニットの調整目標値を決定する調整手段と、を有することを特徴する制御装置。
【請求項２】
前記１フレーム画像の撮像中に、前記調整手段からの信号に基づいて前記撮像ユニットを駆動する駆動手段を更に有することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記画像情報演算手段は、
前記画像情報を抽出する画像情報抽出範囲を決定し、選択された該画像情報抽出範囲の分布を検出する画像情報分布検出部と、
前記画像信号のうち第１の画像信号の読み出し時点における第１の画像情報抽出範囲の座標を算出する特徴点座標演算部と、
前記特徴点座標演算部により算出された前記第１の画像情報抽出範囲の座標に基づいて、該第１の画像情報抽出範囲とは異なる第２の画像情報抽出範囲の座標を推定する特徴点座標推定部と、
前記特徴点座標推定部により推定された前記第２の画像情報抽出範囲の座標と、前記第１の画像信号の読み出し時点から所定の時間を経過した時点における前記特徴点座標演算部により算出された前記第２の画像情報抽出範囲の座標と、を比較する画像情報比較部と、を有することを特徴とする請求項１または２に記載の制御装置。
【請求項４】
前記信号読み出し手段は、前記１フレーム画像における前記複数の異なる領域のうち、前記画像情報抽出範囲を含む領域を優先的に読み出すことを特徴とする請求項３に記載の制御装置。
【請求項５】
前記信号読み出し手段は、前記１フレーム画像における前記複数の異なる領域のうち、前記画像情報抽出範囲を含む領域以外の領域を間引き読み出しすることを特徴とする請求項３または４に記載の制御装置。
【請求項６】
前記信号読み出し手段は、前記画像情報抽出範囲の分布に基づいて読み出し順序を変更することを特徴とする請求項３乃至５のいずれか１項に記載の制御装置。
【請求項７】
前記画像情報分布検出部は、複数のフレーム画像における同一の画像情報抽出範囲の座標を平均化することにより、前記画像情報抽出範囲の分布を検出することを特徴とする請求項３乃至６のいずれか１項に記載の制御装置。
【請求項８】
前記画像情報分布検出部は、複数のフレーム画像における同一の画像情報抽出範囲の座標変化に基づいて、前記画像情報抽出範囲の分布を検出することを特徴とする請求項３乃至６のいずれか１項に記載の制御装置。
【請求項９】
前記信号読み出し手段は、前記画像情報抽出範囲の分布に基づいて、該画像情報抽出範囲を含む領域を前記１フレーム画像において一定間隔で読み出すことを特徴とする請求項３乃至８のいずれか１項に記載の制御装置。
【請求項１０】
前記信号読み出し手段は、前記複数の異なる領域のうち、前記画像情報抽出範囲を含む領域と該画像情報抽出範囲を含まない領域とを交互に読み出すことを特徴とする請求項９に記載の制御装置。
【請求項１１】
前記信号読み出し手段は、前記画像情報抽出範囲を含む領域と該画像情報抽出範囲を含まない領域とが互いに同じ数になるように、前記複数の異なる領域を分割することを特徴とする請求項１０に記載の制御装置。
【請求項１２】
前記特徴点座標演算部は、複数のフレーム間で複数の前記画像情報抽出範囲を同一の画像情報抽出範囲ごとに比較して複数の比較波形を求め、該複数の比較波形の関係に基づいて前記調整目標値を算出することを特徴とする請求項３乃至１１のいずれか１項に記載の制御装置。
【請求項１３】
前記画像情報分布検出部は、前記複数の比較波形に基づいて１フレーム内の互いに異なる画像情報抽出範囲の相対座標を決定することを特徴とする請求項１２に記載の制御装置。
【請求項１４】
前記特徴点座標演算部は、前記画像情報分布検出部により決定された１フレーム内における複数の画像情報抽出範囲の互いの関係に基づいて、次のフレームに関する１フレーム内の前記調整目標値を算出することを特徴とする請求項１３に記載の制御装置。
【請求項１５】
前記画像情報分布検出部は、静止画撮影に先立って前記複数の異なる領域を細分化することを特徴とする請求項３乃至１４のいずれか１項に記載の制御装置。
【請求項１６】
前記信号読み出し手段は、静止画撮影に必要な信号蓄積時間に応じて、信号読み出しの時間を変更することを特徴とする請求項３乃至１５のいずれか１項に記載の制御装置。
【請求項１７】
前記調整目標値を求める第１のフレームと、該第１のフレームとは異なる第２のフレームと、を合成して静止画を生成する画像処理手段を更に有することを特徴とする請求項３乃至１６のいずれか１項に記載の制御装置。
【請求項１８】
前記画像情報分布検出部は、互いに隣接する複数のフレームの読み出し時間を信号蓄積時間と対応させることを特徴とする請求項１７に記載の制御装置。
【請求項１９】
前記信号読み出し手段は、１フレームの蓄積開始走査における設定時間よりも信号読み出しの時間を遅くすることを特徴とする請求項１７または１８に記載の制御装置。
【請求項２０】
前記信号読み出し手段は、前記設定時間よりも前記信号読み出しの時間を遅くしたフレームの次のフレームにおいて、該設定時間よりも該信号読み出しの時間を速くすることを特徴とする請求項１９に記載の制御装置。
【請求項２１】
前記画像処理手段により合成される複数のフレームのうち、最初に撮影されるフレームの蓄積開始を制御する蓄積制御手段を更に有することを特徴とする請求項１７乃至２０のいずれか１項に記載の制御装置。
【請求項２２】
前記画像処理手段により合成される複数のフレームのうち、最後に撮影されるフレームの信号読み出しを制御する読み出し制御手段を更に有することを特徴とする請求項１７乃至２１のいずれか１項に記載の制御装置。
【請求項２３】
前記読み出し制御手段は、前記撮像手段を遮光した状態で読み出される画像信号を用いて像ブレ補正を行うことを特徴とする請求項２２に記載の制御装置。
【請求項２４】
前記画像情報演算手段は、前記画像情報に基づいて画像情報欠け部の画像情報を補完する画像情報補完部を有することを特徴とする請求項１乃至２３のいずれか１項に記載の制御装置。
【請求項２５】
前記画像情報演算手段は、前記１フレーム画像における蓄積時間差に応じて前記画像信号のゲイン調整を行う画像情報補完部を有することを特徴とする請求項１乃至２３のいずれか１項に記載の制御装置。
【請求項２６】
前記画像情報演算手段は、１フレーム内の複数の画像信号に基づいて次以降のフレームに関する前記調整目標値を予測する画像情報補完部を有することを特徴とする請求項１乃至２３のいずれか１項に記載の制御装置。
【請求項２７】
撮像手段と、
前記撮像手段を用いて得られる１フレーム画像の分割された複数の異なる領域ごとに蓄積時間終了後に画像信号を読み出す信号読み出し手段と、
前記信号読み出し手段から得られる前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算する画像情報演算手段と、
前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と前記撮像手段とを有する撮像ユニットの調整目標値を決定する調整手段と、を有することを特徴する光学機器。
【請求項２８】
撮像手段を有する撮像装置に着脱可能な光学機器であって、
前記撮像手段を用いて得られる１フレーム画像の分割された複数の異なる領域ごとに蓄積時間終了後に画像信号を読み出す信号読み出し手段と、
前記信号読み出し手段から得られる前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算する画像情報演算手段と、
前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と前記撮像手段とを有する撮像ユニットの調整目標値を決定する調整手段と、を有することを特徴する光学機器。
【請求項２９】
撮像手段と、該撮像手段を用いて得られる１フレーム画像の分割された複数の異なる領域ごとに蓄積時間終了後に画像信号を読み出す信号読み出し手段と、を有する撮像装置に着脱可能な光学機器であって、
前記信号読み出し手段から得られる前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算する画像情報演算手段と、
前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と前記撮像手段とを有する撮像ユニットの調整目標値を決定する調整手段と、を有することを特徴する光学機器。
【請求項３０】
撮像手段と、該撮像手段を用いて得られる１フレーム画像の分割された複数の異なる領域ごとに蓄積時間終了後に画像信号を読み出す信号読み出し手段と、該信号読み出し手段から得られる該複数の異なる領域の各々の画像信号に基づいて画像情報を演算する画像情報演算手段と、を有する撮像装置に着脱可能な光学機器であって、
前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と前記撮像手段とを有する撮像ユニットの調整目標値を決定する調整手段を有することを特徴する光学機器。
【請求項３１】
１フレーム画像の分割された複数の異なる領域ごとに蓄積期間終了後に画像信号を読み出すステップと、
前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算するステップと、
前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と撮像手段とを有する撮像ユニットの調整目標値を決定するステップと、を有することを特徴する制御方法。
【請求項３２】
１フレーム画像の分割された複数の異なる領域ごとに蓄積期間終了後に画像信号を読み出すステップと、
前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算するステップと、
前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と撮像手段とを有する撮像ユニットの調整目標値を決定するステップと、をコンピュータに実行させることを特徴とするプログラム。
【請求項３３】
請求項３２に記載のプログラムを記憶していることを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルビデオ等の光学機器に関する。
【背景技術】
【０００２】
特許文献１には、１フレーム内で同一画素から得られる画像信号を複数回にわたり読み出し、各々の画像信号で得られた動きベクトルに基づいてブレ補正を行うデジタルカメラが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２７３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されているデジタルカメラでは、１フレーム内で同一画素の信号を複数回にわたり読み出すため、そのフレーム全体で得られる画像にはノイズが重畳してしまう。
【０００５】
そこで本発明は、１フレーム内の複数の画像信号に基づいて撮像ユニットを制御する際に、画像に重畳するノイズを低減可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面としての制御装置は、１フレーム画像の分割された複数の異なる領域ごとに蓄積期間終了後に画像信号を読み出す信号読み出し手段と、前記信号読み出し手段から得られる前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算する画像情報演算手段と、前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と撮像手段とを有する撮像ユニットの調整目標値を決定する調整手段とを有する。
【０００７】
本発明の他の側面としての光学機器は、撮像手段と、前記撮像手段を用いて得られる１フレーム画像の分割された複数の異なる領域ごとに蓄積時間終了後に画像信号を読み出す信号読み出し手段と、前記信号読み出し手段から得られる前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算する画像情報演算手段と、前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と前記撮像手段とを有する撮像ユニットの調整目標値を決定する調整手段とを有する。
【０００８】
本発明の他の側面としての制御方法は、１フレーム画像の分割された複数の異なる領域ごとに蓄積期間終了後に画像信号を読み出すステップと、前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算するステップと、前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と撮像手段とを有する撮像ユニットの調整目標値を決定するステップとを有する。
【０００９】
本発明の他の側面としてのプログラムは、１フレーム画像の分割された複数の異なる領域ごとに蓄積期間終了後に画像信号を読み出すステップと、前記複数の異なる領域の各々の画像信号に基づいて画像情報を演算するステップと、前記１フレーム画像の撮像中に、前記複数の異なる領域のうちの同一の領域から複数回の読み出しを行うことなく演算された前記画像情報に基づいて撮像光学系と撮像手段とを有する撮像ユニットの調整目標値を決定するステップと、をコンピュータに実行させる。
【００１０】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、１フレーム内の複数の画像信号に基づいて撮像ユニットを制御する際に、画像に重畳するノイズを低減可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における撮影装置のブロック図である。
【図２】第１実施形態における信号読み出し手段の動作の説明図である。
【図３】第１実施形態における像ブレ補正量の算出方法の説明図である。
【図４】第１実施形態における読み出し時間の短縮効果の説明図である。
【図５】第１実施形態における別の像ブレ補正量の算出方法の説明図である。
【図６】第１実施形態における別の像ブレ補正量の算出方法の説明図である。
【図７ａ】第１実施形態における像ブレ補正のフローチャートである。
【図７ｂ】第１実施形態における像ブレ補正のフローチャートである。
【図７ｃ】第１実施形態における像ブレ補正のフローチャートである。
【図７ｄ】第１実施形態における像ブレ補正のフローチャートである。
【図７ｅ】第１実施形態における像ブレ補正のフローチャートである。
【図７ｆ】第１実施形態における像ブレ補正のフローチャートである。
【図７ｇ】第１実施形態における像ブレ補正のフローチャートである。
【図８】第１実施形態における焦点検出構造およびピント合わせの説明図である。
【図９】第１実施形態におけるピント合わせの説明図である。
【図１０】第１実施形態におけるピント合わせのフローチャートおよび焦点検出の説明図である。
【図１１】第２実施形態における信号読み出しの説明図である。
【図１２】第２実施形態における画像情報抽出範囲間の関係の説明図である。
【図１３】第２実施形態における像ブレ補正プロットを作成するフローチャートである。
【図１４】第３実施形態における静止画撮影対応の信号読み出し手段の動作の説明図である。
【図１５】第３実施形態における別の静止画撮影対応の信号読み出し手段の動作の説明図である。
【図１６】第３実施形態における別の静止画撮影対応の信号読み出し手段の動作の説明図である。
【図１７】第３実施形態における読み出し順序設定のフローチャートである。
【図１８】第４実施形態における静止画撮影対応の信号読み出し手段の動作の説明図である。
【図１９ａ】第４実施形態における静止画撮影対応の像ブレ補正のフローチャートである。
【図１９ｂ】第４実施形態における静止画撮影対応の像ブレ補正のフローチャートである。
【図２０】第４実施形態における別の静止画撮影対応の信号読み出し手段の動作の説明図である。
【図２１】第５実施形態における静止画撮影対応の信号読み出し手段の動作の説明図である。
【図２２】第６実施形態における信号読み出しおよびレンズ制御の説明図である。
【図２３ａ】各実施形態において、連続撮影の際の移動絞りの制御の説明図である。
【図２３ｂ】各実施形態において、連続撮影の際の移動絞りの制御を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１５】
（第１実施形態）
まず、図１を参照して、本発明の第１実施形態における光学機器（撮像装置）の構成について説明する。図１は、本実施形態における撮像装置１００のブロック図である。
【００１６】
図１において、１１は光軸（撮影光軸）、１２は撮像光学系である。撮像光学系１２は、光軸１１に直交（略直交）する方向（光軸直交面内）に駆動されて像ブレを補正する像ブレ補正レンズ１２ａ、光軸１１に沿って駆動されてピント合わせ（焦点調節）を行うフォーカスレンズ１２ｂ、撮影光束を制限する移動絞り１２ｃを含む。１３ａは撮像光学系１２を有するレンズ鏡筒（レンズ装置）、１３ｂは撮像手段１４（撮像素子）を有するカメラ本体（撮像装置本体）である。本実施形態において、撮像装置１００は、撮像手段１４を備えたカメラ本体１３ｂと、カメラ本体１３ｂに着脱可能なレンズ鏡筒１３ａとを備えて構成される。ただし本実施形態は、これに限定されるものではなく、撮像装置本体とレンズ装置とが一体的に構成された撮像装置にも適用可能である。
【００１７】
１４は撮像手段である。撮像光学系１２と撮像手段１４とにより撮像ユニットが構成される。１４ａは、撮像光学系１２から撮像手段１４に入射する被写体光束を必要に応じて遮光するメカニカルシャッタ（遮光手段）である。１５は、撮像手段１４から出力された信号（画像信号）を読み出す信号読み出し手段である。１６は、信号読み出し手段１５からの入力信号に基づいて撮像手段１４から読み出された画像信号を像ブレ補正レンズ１２ａやフォーカスレンズ１２ｂを制御するための信号として演算する画像情報演算手段である。画像情報演算手段１６は、画像情報分布検出部１６ａ、特徴点座標演算部１６ｂ、特徴点座標推定部１６ｃ、画像情報比較部１６ｄ、画像情報補完部１６ｅ、および、一時記憶部１６ｆを備えて構成される。
【００１８】
１７は、画像情報演算手段１６からの出力信号に基づいて像ブレ補正レンズ１２ａ、フォーカスレンズ１２ｂ、および、移動絞り１２ｃの少なくとも一つの調整目標値を出力する調整手段である。１８ａ、１８ｂ、１８ｃは、像ブレ補正レンズ１２ａ、フォーカスレンズ１２ｂ、および、移動絞り１２ｃをそれぞれ駆動する駆動手段である。信号読み出し手段１５、画像情報演算手段１６、および、調整手段１７の詳細については後述する。１９は、撮像手段１４から読み出された信号に対して輝度信号や色信号を形成するなどの信号処理を行い、また、ガンマ補正や圧縮処理を行うことにより観賞画像を生成する画像処理手段である。画像処理手段１９には調整手段１７から出力された信号も入力されており、画像処理手段１０９は、調整手段１７からの入力信号に基づいて画像の明るさ調整などを行う。
【００１９】
１１０は、画像処理手段１９からの信号を記憶する記憶手段である。１１１は、信号読み出し手段１５および画像情報演算手段１６を制御するＣＰＵ（制御手段）である。１１２は、撮影者の撮影指示を受け付け、その撮影指示に基づく信号をＣＰＵ１１１に出力する。像ブレ補正レンズ１２ａは、光軸１１に略直交する方向（略光軸直交面内）に駆動されることにより、撮影者の手振れに起因する、撮像手段１４の撮像面に生じる像ブレを補正することができる。ただし本実施形態は、これに限定されるものではなく、像ブレ補正レンズ１２ａを駆動させる代わりに、撮像手段１４を光軸１１と略直交する方向に駆動して手振れに起因する撮像面に生じる像ブレを補正してもよい。本実施形態は、１フレーム内の複数の画像信号に基づいて、像ブレ補正レンズ１２ａ、フォーカスレンズ１２ｂ、または、移動絞り１２ｃなどの撮像ユニットの調整目標値をそのフレーム内で作成する。まず本実施形態では、像ブレ補正レンズ１２ａを制御して像ブレ補正を行う場合について説明する。
【００２０】
続いて、図２を参照して、信号読み出し手段１５の動作について説明する。図２は、信号読み出し手段１５の動作の説明図である。図２に示されるように、撮像面高さ方向に複数の領域ａ〜ｅに分割したフレーム２１、２２、２３、２４のうち、信号読み出し手段１５の指示に基づいて得られた画像信号から、複数の像ブレ補正プロット２１ａ´〜２４ｅ´が得られる。図２の横軸は、時間を示している。１フレームの蓄積時間は、期間２６であり、例えば１／３０である。図２の縦方向は、各フレームで得られる画像の高さ方向の位置（撮像面高さ）、および、撮像素子の面（撮像面）で発生する像ブレ補正量を示している。図２は、いわゆるＣＭＯＳ構造の撮像素子におけるローリング読み出しの説明図である。
【００２１】
領域２１ａ〜２１ｅの画像信号は、それぞれ、蓄積期間（期間２６）の経過後に読み出される。本実施形態によれば、従来技術のように画像信号の蓄積中に信号読み出しを行わないため、ノイズの重畳は少ない。また、図２に示されるように、各画像信号の読み出しには時間遅れが生じるが、この時間遅れを利用することにより時系列的に読み出される画像信号を有効な画像情報とすることができる。すなわち、画像情報演算手段１６は、この時間遅れ中に発生する撮像手段１４の撮像面での像ズレ量（像ブレ量）を、領域ａ〜ｅのそれぞれの画像信号を比較することにより求める。
【００２２】
具体的には、画像情報演算手段１６は、領域２１ａに含まれる画像情報抽出範囲の画像信号に基づいて第１の特徴点座標を求め、次の領域２１ｂに含まれる画像情報抽出範囲の画像信号に基づいて第２特徴点座標を求める。そして、各々の座標に基づいて像ブレ補正プロット２１ｂ´を得る。像ブレ補正プロットの算出方法については、後述する。この動作を繰り返すことにより、像ブレ補正プロット２１ａ´〜２４ｅ´が得られる。なお、特徴点が含まれない領域については、画像情報補完部１６ｅが予測処理により像ブレ補正プロットを求める。例えば、領域２１ｄに画像情報抽出範囲が無い（特徴点が含まれていない）場合、そのときの画像信号（破線で示される）を用いない。そして、その時点における黒いプロット２１ｄ´、２２ｄ´、２３ｄ´、２４ｄ´は、画像情報演算手段１６に設けられた画像情報補完部１６ｅが像ブレ補正プロット２１ａ´〜２４ｅ´を利用して適応フィルタなどを用いて予測する。このようにして、特徴点の得られない領域の像ブレ補正プロットを補完することができる。
【００２３】
調整手段１７は、像ブレ補正プロット２１ａ´〜２４ｅ´より求められる像ブレ補正波形２５、焦点距離、被写体距離情報、像ブレ補正レンズ１２ａの光学敏感度、撮像装置１００の姿勢、パンニング状況に応じて、像ブレ補正レンズ１２ａの調整目標値を出力する。駆動手段１８ａは、調整手段１７からの信号に基づいて、像ブレ補正レンズ１２ａをそのフレーム撮像中に駆動することにより像ブレを軽減（低減）する。従来技術においては、異なるフレーム間の共通する領域の画像信号を比較する事でブレ座標を求めていた。例えばフレーム２１およびフレーム２２の信号読み出しが全て終了した後に領域２１ａと領域２２ａの画像信号を比較してブレの変化を求め、その結果に応じて像ブレ補正手段１２ａを駆動し、または、画像切り出しの位置を変更して像ブレを軽減していた。それに対して本実施形態では、１フレーム内で多数の像ブレ補正プロットが求められるためにより正確な像ブレ補正を行うことができるとともに、画像信号の蓄積中にその画像信号を読み出すことはしないため、ノイズの重畳を効果的に低減することができる。
【００２４】
ここで、１フレーム内の異なる画像信号を用いて像ブレ補正量を求める方法について説明する。図３は、像ブレ補正量の算出方法の説明図である。図３（ａ）の画像３１は、図２に示されるフレーム２１〜２４のそれぞれの信号読み出しよりも十分早い読み出しで被写体画像を取得した場合の画像である。なお、読み出しの高速化については後述する。図３（ａ）において、被写体（主被写体３２）の背景には、例えばネオンサインのような複数の特徴点３３（図３（ａ）では代表１点のみ記号を振り当てている）が存在し、これらが画像情報抽出範囲となる。手振れは、画面全体にわたり略均一に分布する。このため、像ブレ補正量３４は、図３（ａ）に示される領域３５ａ〜３５ｄで略同じ値となる。図２を参照して説明したように、読み出し時間が長くなると、領域３５ａと領域３５ｄから得られる画像信号（例えば像ブレ補正プロット２１ａ´〜２１ｄ´）に時間遅れが生じるため、各々の像ブレ補正量に差が生じる。本実施形態ではこれを利用し、同じフレーム内における例えば領域３５ａと領域３５ｂに分布する互いに異なる特徴点を比較して像ブレ量を求める。
【００２５】
図３（ｂ）は、互いに異なる特徴点の比較から像ブレ補正量を求める方法の説明図である。まず、画像情報演算手段１６に設けられた画像情報分布検出部１６ａは、撮影する画面全体上の中で手振れ検出に適する特徴点を画像情報抽出範囲として選択し、その分布（特徴点間の相対的な位置）を求める。特徴点の選択は、例えば同一特徴点のフレーム間での比較で動きベクトルを求め、その方向が揃っている特徴点を選択する。これは、公知の技術であるため、詳細な説明については省略する。図３（ｂ）は、図３（ａ）と同様に、十分早い信号読み出しで得た画像において像ブレ補正量を読み出す特徴点３３ａ、３３ｂ、３３ｄを示している。信号読み出しが十分早いため、特徴点３３ａ、３３ｂ、３３ｄのそれぞれの読み出し時間遅れによる手振れの影響はない。このため、特徴点３３ａの座標（ｘａ、ｙａ）、特徴点３３ｂの座標（ｘｂ、ｙｂ）、特徴点３３ｄの座標（ｘｄ、ｙｄ）が正確に求められる。これにより、特徴点３３ａと３３ｂの相対位置が求められる。
【００２６】
図３（ｃ）は、図２と同様に、遅い読み出しを行った場合において領域３５ａの画像信号のみ読み出された時点（１フレームが全て読み出されていない状況）を示している。画像情報演算手段１６に設けられた特徴点座標演算部１６ｂは、例えばこのときの特徴点３３ａの座標（ｘａ、ｙａ）を求め、この座標を初期値とする。画像情報演算手段１６に設けられた特徴点座標推定部１６ｃは、求めた特徴点３３ａの座標と図３（ｂ）の特徴点間の相対位置とに基づいて、特徴点３３ｂのその時点における座標（ｘｂ、ｙｂ）を推定する。図３（ｄ）では、領域３５ｂの画像信号まで読み出されると、特徴点座標演算部１６ｂは、その時点における特徴点３３ｂ´の座標（ｘｂ´、ｙｂ´）を求める。領域３５ｂの読み出しは、領域３５ａの読み出しに対して時間遅れがある。このため、その間の手振れの影響により図３（ｃ）で推定された特徴点３３ｂの座標（ｘｂ、ｙｂ）と、図３（ｄ）で求めた特徴点３３ｂ´の座標（ｘｂ´、ｙｂ´）とは互いに異なる。画像情報演算手段１６に設けられた画像情報比較部１６ｄは、両座標の差を求めることにより、領域３５ａ、３５ｂの時間遅れ間の像ブレ補正量３４ｂを求める。
【００２７】
画像情報演算手段１６は、上記演算を１フレーム内の領域３５ａ〜３５ｄを比較して行い、次のフレームでも同様の演算を行う。そして、例えば図２における領域２１ａの像ブレ補正プロット２１ａ´を初期位置とし、その後の各特徴点間の像ブレ補正プロットに基づいて像ブレ補正波形２５を得る。ただし、上記方法では、予め各特徴点の相対位置を正確に求めておく必要がある。このため、画像信号を読み出す時間差をできるだけ短くして読み出し期間中の手振れの影響を低減することが好ましい。図３（ｅ）はその方法を説明する図である。
【００２８】
図３（ｅ）において、画像３１における手振れを検出するための画像情報抽出範囲（特徴点３３ａ、３３ｂ、３３ｄ）は、それまでの画像情報から選択されている。特徴点としては、画像３１の中で例えばネオンサイン等のように輝度差の大きな（コントラストの高い）ポイントが選択される。特徴点分布検出部１６ａは、これらの選択された特徴点を優先的に読み出すように信号読み出し手段１５を制御する。信号読み出し手段１５は、特徴点３３ａ、３３ｂ、３３ｄのそれぞれが含まれる最小限の領域３６ａ、３６ｂ、３６ｄのみを読み出し、他の領域の読み出しを行わない（間引き読み出しを行う）。または、信号読み出し手段１５は、領域３６ａ、３６ｂ、３６ｄを読み出した後に、残りの領域を読み出す（読み出し順序を変更する）。
【００２９】
図４は、読み出し時間の短縮効果の説明図であり、横軸は時間、縦軸は撮像面高さをそれぞれ示す。図４（ａ）を参照して間引き読み出し、図４（ｂ）を参照して読み出し順序変更をそれぞれ説明する。図４（ａ）において、画像３１における領域３６ａ、３６ｂ、３６ｄのみを読み出す（選択した特徴点を含む領域を優先的に読み出す）。このときの画像信号４１ａ、４１ｂの間、および、画像信号４１ａ、４１ｄの間の時間差はそれぞれＴ１、Ｔ２となる。このように、撮像面の最も高いラインから順番に読み出す場合の領域３６ａ、３６ｂの時間差Ｔ３と比較して、読み出し時間を大幅に短縮することができる。
【００３０】
図４（ｂ）においても、まず領域３６ｅから画像信号４１ｅを読み出すが、その後は領域３６ａ、３６ｂ、３６ｄを読み出す（選択した特徴点を含む領域を優先的に読み出す）。そして、各領域の読み出しが終了した後、領域３６ｆ、３６ｇ、３６ｈ（画像信号４１ｆ、４１ｇ、４１ｈ）を読み出す。この場合でも、領域３６ａ、３６ｂ、３６ｄの各々の時間差をＴ１、Ｔ２にすることができる。
【００３１】
図４（ａ）の場合、画像３１の領域３６ａ、３６ｂ、３６ｄのみを読み出すため、全体の読み出し時間を短くすることができる。また、図４（ｂ）の場合、領域３６ｅ、３６ｆ、３６ｇ、３６ｈについても読み出すため、全体の読み出し時間は長くなる。しかし、全ての領域を読み出すため、それらの画像信号で観賞画像を作成することができる。また、図４（ａ）、（ｂ）の中間として、適度な間引きを行いつつ、読み出し順序を変更することもできる。このような読み出しを行うことにより、特徴点の含まれる領域の読み出し時間差を短くすることができ、各々の特徴点の相対位置を精度よく求めることが可能となる。
【００３２】
各々の特徴点の相対位置を精度よく求める別の方法として、各特徴点の相対位置を複数回求め、それらを平均して手振れの影響を低減する方法がある。この場合、読み出し速度を速くする必要はない。図５は、本実施形態における別の像ブレ補正量の算出方法の説明図である。図５（ａ）に示される複数のフレーム５１、５２、５３において、各々のフレーム内で各特徴点の相対位置を求め、それら相対位置をフレーム間で平均化する。すなわち、複数フレームで読み出されたフレームを跨ぐ同一特徴点の座標を平均化する。図５（ａ）において、各々のフレーム５１、５２、５３から読み出される領域５１ａ〜５３ｄより、図３（ｅ）に示される特徴点３３ａ、３３ｂ、３３ｄの座標（ｘａ１、ｙａ１）〜（ｘｄ３、ｙｄ３）を求めることができる。そして、各々の特徴点毎に平均化した座標（ｘａ、ｙａ）、（ｘｂ、ｙｂ）、（ｘｄ、ｙｄ）に基づいて、特徴点間の相対位置を求めることが可能である。
【００３３】
また、各々の特徴点の相対位置を精度よく求める別の方法として、フレーム間のブレ検出結果を利用する方法もある。フレーム間のブレ量が分かれば、フレーム内のブレを推定することができる。このため、その推定ブレ量でブレによる各特徴点の相対位置誤差を補正する。すなわち複数フレームで読み出されたフレームを跨ぐ同一特徴点の座標変化に基づいて、１フレーム内で検出した各特徴点分布を補正する。図５（ｂ）に示される複数のフレーム５１、５２、５３の領域５１ｇ、５２ｇ（領域５１ａ〜５２ｄの合計領域）、５３ｇより得られる像ブレ補正プロット５１ｇ´〜５３ｇ´から、像ブレ補正波形５４が得られる。また、フレーム５２からは、フレーム内の各領域５１ａ〜５１ｄより像ブレ補正プロット５２ａ´、５２ｂ´が得られる。像ブレ補正プロット５２ａ´と５２ｂ´の互いの相対位置関係は、像ブレ補正波形５４にあてはめることにより検出可能である。
【００３４】
このように、信号読み出し手段１５と画像情報演算手段１６との連携により、図４（ａ）の読み出し間引き、図４（ｂ）の読み出し順序変更、図５（ａ）の平均化、図５（ｂ）のフレーム間のブレ利用を用いて、フレーム内の各特徴点の相対位置を正確に求める。そして、画像情報演算手段１６に設けられた画像情報比較部１６ｄにより、図３（ａ）〜（ｄ）を参照して説明した方法で、各特徴点間の像ブレ補正量を求める。最後に、調整手段１７は、像ブレ補正量を像ブレ補正目標値として求める。そして駆動手段１８ａは、信号読み出しを行っているフレーム中にそのフレームで得られた画像上に基づいて、撮像ユニット（像ブレ補正レンズ１２ａまたは撮像手段１４）を光軸１１と略直交する方向に駆動する。なお本実施形態において、ブレ補正の方法は、前述の光軸１１に略直交させて像ブレ補正レンズ１２ａまたは撮像手段１４を駆動する方法に限定されるものではない。例えば、ブレ補正レンズ１２ａをチルト駆動させる、撮像ユニット全体を像ブレ補正量に応じて駆動する（絶対空間に安定させる）等の他の方法も適用可能である。このように本実施形態では、１フレーム内で求められる複数の像ブレ補正量に基づいて像ブレ補正を行うことができる。このため、高いレスポンスの像ブレ補正が可能となる。また、従来技術のように１フレーム内の同一画素の信号を複数回にわたり読み出す動作を行っていないため、画像へのノイズ重畳を低減することができる。以上、手振れのように、画面全体に対象となる特徴点が分布している場合（図３）の像ブレ補正処理について説明した。
【００３５】
続いて、図６を参照して、主被写体が動体であり、それに追従して撮影を進める場合について説明する。図６は、本実施形態における別の像ブレ補正量の算出方法の説明図である。図６（ａ）は、画像６１において、主被写体６２が動体であり、主被写体６２に追従して撮影を行ういわゆる流し撮りを行う場合の画像を示している。このとき、主被写体６２に特徴点６３を設定するが、各特徴点６３は密集しており、図３の場合のように分散していない。このため、安定した像ブレ補正波形を得ることは困難である。そこで、各特徴点が含まれる領域の画像信号が分散して得られるように、画像信号の読み出し順序を変更する。
【００３６】
図６（ａ）において、信号読み出し手段１５は、特徴点分布検出手段１６ａにより選択された特徴点座標に基づいて、特徴点６３が含まれる領域６５ａ〜６５ｅ、および、特徴点６３が含まれない領域６６ａ〜６６ｅを読み出す。特徴点６３が含まれる領域の数は、１フレームの中で必要な画像信号に応じて設定される。例えば１フレーム内で像ブレ補正波形を得るために像ブレ補正プロットが５プロット必要な場合、特徴点分布検出手段１６ａは、特徴点が含まれる領域を５領域確保する。またそれと同数だけ特徴点が含まれない領域を確保する。そして、特徴点分布検出手段１６ａは、特徴点６３が含まれる領域と含まれない領域とを交互に読み出すように信号読み出し手段１５を制御し、１フレーム内で等間隔の時間（略一定間隔）で像ブレ補正量を得る。
【００３７】
図６（ｂ）は、前述のように読み出しの順序を変更して各領域の画像信号とその画像信号で得られる像ブレ補正波形の説明図である。図６（ｂ）は、比較のため、読み出しの順序を変更しない場合の各領域の画像信号とその画像信号で得られる像ブレ補正波形を示している。図６（ｂ）中のフレーム６７、６９、６１１、６１３において、撮像面高さが高い領域から順に画像信号は読み出される。このため、画像情報抽出範囲である特徴点を含む灰色領域６７ａ〜６７ｅ（６９ａ〜６９ｅ、６１１ａ〜６１１ｅ、６１３ａ〜６１３ｅ）の画像信号は隣接して読み出され、その画像信号より、像ブレ補正プロットはフレームごとに集中して得られる。このように、像ブレ補正プロットの得られない区間（６８ａ〜６８ｅ、６１０ａ〜６１０ｅ、６１２ａ〜６１２ｅ、６１４ａ〜６１４ｅ）の像ブレ補正波形は、直線６１５ａ〜６１５ｃで近似することにより、像ブレ補正精度が低下する。
【００３８】
一方、本実施形態では、図６（ｃ）のように、特徴点を含む灰色領域６７ａ〜６７ｅの画像信号と、特徴点を含まない白領域６８ａ〜６８ｅ、６１０ａ〜６１０ｅ、６１２ａ〜６１２ｅ、６１４ａ〜６１４ｅの画像信号を交互に読み出す。この結果、像ブレ補正プロットが均一に分布するため、精度のよい像ブレ補正波形６１７が得られる。なお、灰色プロット６１６ａ〜６１６ｃは、画像情報補完部１６ｅがカルマンフィルタなど公知の技術を用いて予測補完した像ブレ補正プロットである。このように、画像信号から得られる像ブレ補正プロットが万遍なく狭い間隔で分布しているため、それらの予測精度も高くすることが可能である。このようにして得られた像ブレ補正波形６１７に基づいて像ブレ補正レンズ１２ａを駆動することにより、動く被写体に対して追従した像ブレ補正が可能となる。
【００３９】
図７ａは、本実施形態における像ブレ補正のフローチャートである。図７ａにおいて、説明を分かりやすくするため、本実施形態と直接関連しない要素に関しては省略している。このフローは、撮影者が例えばカメラに設けられたレリーズボタンの半押しのような撮影準備操作を行い、操作手段１１２がＣＰＵ１１１に撮影準備指示を入力した際に開始する。また、撮影準備指示が解除された時点で、このフローは終了する。図７ａの各ステップは、主に、ＣＰＵ１１１の指令に基づいて、信号読み出し手段１５、画像情報演算手段１６、調整手段１７、駆動手段１８ａ、または、画像処理手段１９により実行される。
【００４０】
まずステップＳ７０１において、画像情報分布検出部１６ａは、画像処理手段１９または画像情報演算手段１６により得られた画像に基づいて、画面上の画像情報抽出範囲（特徴点）を選択する。特徴点は、図３（ｅ）を参照して説明したように、画像３１の中で例えばネオンサイン等のように輝度差の大きな（コントラストの高い）ポイントが選択される。特徴点は、画面の上下にかけて万遍なく設定することが好ましい。これは、画面の一つの領域（所定の領域）に集中して特徴点を設定すると、画像読み出しの際に特徴点に対応する画像信号のサンプリング間隔に偏りが生じるためである。特徴点が所定の領域に集中している場合、後述するステップＳ７０３、Ｓ７０４で対応する。
【００４１】
続いてステップＳ７０２において、画像情報演算手段１６（特徴点座標演算部１６ｂ）は、画像情報抽出範囲である特徴点の座標を検出する。これは、図４および図５を参照して説明したように、手振れの影響が生じないような速い読み出しやブレ量補正を行うことで精度の高い特徴点座標を検出するためである。続いてステップＳ７０３において、画像情報演算手段１６（画像情報分布検出部１６ａ）は、信号読み出し手段１５に対して読み出し順序を設定する。画面の全体にわたって特徴点が万遍なく分布している場合、画面の上から下にかけて順番に画像信号の読み出しを行う。一方、特徴点が所定の領域に集中している場合、図６（ｃ）を参照して説明したように、読み出し順序を変えて画像信号のサンプリングを略等間隔に設定する。
【００４２】
続いてステップＳ７０４において、信号読み出し手段１５は、ステップＳ７０３にて設定された読み出し順に、各領域の画像信号を読み出す。続いてステップＳ７０５において、図３を参照して説明したように、画像情報比較部１６ｄは、読み出された画像信号を領域ごとに比較する。そして画像情報演算手段１６は、その比較結果に基づいて、像ブレ補正プロットを生成する。続いてステップＳ７０６において、調整手段１７は、得られた像ブレ補正プロットに基づいて、像ブレ補正のための調整目標値を生成する。そしてステップＳ７０７において、駆動手段１８ａは、調整手段１７により生成された調整目標値に基づいて、像ブレ補正レンズ１２ａを駆動する。
【００４３】
続いてステップＳ７０８において、信号読み出し手段１５は、次の領域の画像信号を読み出す。そしてステップＳ７０９において、ＣＰＵ１１１（または信号読み出し手段１５）は、１フレーム内で画像形成に必要な領域（全領域）の画像信号が読み出されたか否かを判定する。必要な領域の読み出された場合、ステップＳ７１０に進む。一方、１フレーム内で読み出す領域が残っている場合、ステップＳ７０４に戻り、画像信号の読み出しおよび像ブレ補正（ステップＳ７０４〜Ｓ７０８）を繰り返す。
【００４４】
ステップＳ７０１において、次のフレームに進む。続いてステップＳ７１１において、画像情報演算手段１６は、構図が変更されたか否かを判定する。構図が変更されていない場合（または構図の変化量が所定量よりも小さい場合）、ステップＳ７０４に戻り、次のフレームでもステップＳ７０１〜Ｓ７０３にて設定された条件で、画像信号の読み出しを行う。一方、構図が変更された場合（または構図の変化量が所定量よりも大きい場合）、ステップＳ７０１に戻り、再度、特徴点の設定、その特徴点の座標検出、および、読み出し順序の設定を行う。
【００４５】
図７ｂは、図７ａのステップＳ７０１（画像情報抽出範囲の選択（特徴点選択））に関するサブルーチンである。ステップＳ７０１１において、画像情報分布検出部１６ａは、画像処理手段１９または画像情報演算手段１６により得られた画像に対して、画面の高さ方向（行方向）に走査を開始する。続いてステップＳ７０１２において、画像情報分布検出部１６ａは、走査した行に関し、画素間の輝度差が所定値よりも大きいか否かを判定する。輝度差が所定値よりも大きい画素群がある場合、ステップＳ７０１３へ進む。一方、輝度差が所定値よりも大きい画素群がない場合、ステップＳ７０１１に戻り、次の行の走査に進む。なお、画面の１行ごとの画像信号に基づいて行方向の輝度差を求めることはできないため、複数行（例えば１０行）の画像信号を読み出した結果から行方向の輝度差を求める。
【００４６】
続いてステップＳ７０１３において、画像情報分布検出部１６ａは、行方向の距離が所定の距離よりも小さいか否かを判定する。具体的には、先に求めた輝度差の大きな画素群と今回求めた輝度差の大きな画素群の間の行方向の概略の距離が所定の距離よりも短い場合、ステップＳ７０１４へ進む。一方、行方向の距離が所定の距離よりも長い場合、ステップＳ７０１４をスキップしてステップＳ７０１５へ進む。ここでは、手振れなどの影響があるため、特徴点間の距離は概略でしか求めることができない。ただし、輝度差のある画素群の画面内での分布の様子をみる精度においては問題ではない。ステップＳ７０１４は、２点の特徴点における行方向距離が短い場合、図６（ｃ）に示されるように、信号読み出し順序を変更して２点の読み出し時間間隔を長くする必要性を、画像情報分布検出部１６ａが信号読み出し手段１５に伝達するために設けられている。
【００４７】
ステップＳ７０１５において、画像情報分布検出部１６ａは、得られた画素群を像ブレ検出に必要な特徴点として選択する。画像情報抽出範囲を決定する）。なお、同じ走査により複数の特徴点が得られた場合、全ての特徴点を使用するのではなく、そのフレームの撮影時間（信号蓄積時間）に応じて選択する特徴点数を調節する。例えば、画像信号の読み出し時間が長くなり、その間に細かい間隔で画像信号を得る必要がある場合には多くの特徴点を利用し、そうでない場合には特徴点数を少なくして時間当たりの演算負荷が一定になるようにする。続いてステップＳ７０１６において、画像情報分布検出部１６ａは、１フレーム内で必要な行の読み出しが終了したか否かを判定する。必要な行の読み出しが終了していない場合、ステップＳ７０１１に戻り、次の行の走査を続ける。一方、必要な行の読み出しが終了した場合、このサブルーチンを終了してステップＳ７０２へ進む。
【００４８】
図７ｃは、ステップＳ７０２の特徴点座標検出におけるサブルーチンであり、図４を参照して説明したような間引き読み出しや読み出し順序変更の例を示している。まずステップＳ７０２１において、信号読み出し手段１５は、図３（ｅ）に示される特徴点３３ａ、３３ｂ、３３ｄがそれぞれ含まれる最小限の領域３６ａ、３６ｂ、３６ｄのみを読み出し領域に設定する。続いてステップＳ７０２２において、信号読み出し手段１５は、設定した読み出し領域を読み出す。続いてステップＳ７０２３において、信号読み出し手段１５は、設定した読み出し領域の読み出しが終了したか否かを判定する。読み出し領域の読み出しが終了している場合、ステップＳ７０２４へ進む。一方、読み出し領域の読み出しが終了していない場合、ステップＳ７０２２へ戻り、画像信号（読み出し領域）の読み出しを続ける。
【００４９】
ステップＳ７０２３にて設定した読み出し領域の読み出しが終了した場合、間引き読み出しの手法においては、次のステップＳ７０２４、Ｓ７０２５をスキップし、ステップＳ７０２６において、画像情報演算手段１６は特徴点の座標を求める。そして、このサブルーチンを終了し、ステップＳ７０３へ進む。読み出し順序変更の手法においては、ステップＳ７０２４において、信号読み出し手段１５は、特徴点の含まれない領域の読み出しを行う。続いてステップＳ７０２５において、その領域の読み出しが全て終了するまでステップＳ７０２４、Ｓ７０２５を繰り返し、画像信号の読み出しを続ける。この領域の画像信号読み出しが終了すると、ステップＳ７０２６へ進み、画像情報演算手段１６は、設定した領域にある特徴点の特徴点座標を求める。そして、このサブルーチンを終了し、ステップＳ７０３へ進む。
【００５０】
図７ｄは、ステップＳ７０２の特徴点座標検出におけるサブルーチンの別の例であり、図５（ａ）を参照して説明したような特徴点座標をフレーム間で平均化処理する例を示している。まずステップＳ７０２１´において、信号読み出し手段１５は、画面の上から順に画像信号を読み出す。続いてステップＳ７０２２´において、信号読み出し手段１５は、画面の必要領域における画像信号の読み出しが終了したか否かを判定する。画像信号の読み出しが終了している場合、ステップＳ７０２３´へ進む。一方、画像信号の読み出しが終了していない場合、ステップＳ７０２１´へ戻り、画像信号の読み出しを継続する。
【００５１】
続いてステップＳ７０２３´において、画像情報演算手段１６は、得られた画像信号よりステップＳ７０１にて設定された特徴点の座標を求める。続いてステップＳ７０２４´において、次のフレームに進む。続いてステップＳ７０２５´において、信号読み出し手段１５は、所定フレーム（例えば図５（ａ）では３フレーム）の画像信号の読み出しが終了したか否かを判定する。所定フレームの画像信号の読み出しが終了していない場合、ステップＳ７０２１´へ戻り、信号読み出し手段１５は、次のフレームの画像信号読み出しを行う。一方、所定フレームの画像信号の読み出しが終了した場合、ステップＳ７０２６´へ進む。ステップＳ７０２６´において、画像情報演算手段１６は、複数の各フレームで得られた同一の特徴点座標を平均化し、手振れの影響を低減した特徴点座標を得ることにより、特徴点座標の精度を高める。そして、このサブルーチンを終了し、ステップＳ７０３へ進む。
【００５２】
図７ｅは、ステップＳ７０２の特徴点座標検出におけるサブルーチンの別の例であり、図５（ｂ）を参照して説明したようなフレーム間の同一特徴点から求めた像ブレ補正波形を用いて１フレーム内における各領域の特徴点座標を補正する例を示している。まずステップＳ７０２１´´において、信号読み出し手段１５は、画面の上から順に画像信号を読み出す。続いてステップＳ７０２２´´において、信号読み出し手段１５は、画面の必要領域における画像信号の読み出しが終了したか否かを判定する。画像信号の読み出しが終了している場合、ステップＳ７０２３´´へ進む。一方、画像信号の読み出しが終了していない場合、ステップＳ７０２１´´へ戻り、信号読み出し手段１５は画像信号の読み出しを継続する。
【００５３】
ステップＳ７０２３´´において、画像情報演算手段１６は、得られた画像信号に基づいて、ステップＳ７０１にて設定した特徴点の座標を求める。続いてステップＳ７０２４´´において、次のフレームへ進む。続いてステップＳ７０２５´´において、信号読み出し手段１５は、所定フレーム（例えば図５（ａ）では３フレーム）の画像信号の読み出しが終了したか否かを判定する。所定フレームの画像信号の読み出しが終了していない場合、ステップＳ７０２１´´へ戻り、信号読み出し手段１５は次のフレームの画像信号の読み出しを行う。一方、画像信号の読み出しが終了した場合、ステップＳ７０２６´´へ進む。
【００５４】
ステップＳ７０２６´´において、画像情報演算手段１６は、同一の特徴点におけるフレーム間の位置変化に基づいて、像ブレ補正波形を求める。続いてステップＳ７０２７´´において、画像情報補完部１６ｅは、ステップＳ７０１にて設定された１フレーム内の特徴点を読み出したタイミングの像ブレ補正量を求める。このとき画像情報補完部１６ｅは、ステップＳ７０２６´´にて算出された像ブレ補正波形に基づいて、前述の線形予測や適応フィルタの予測、またはＬＰＣなどの手段により、像ブレ補正量を求める。続いてステップＳ７０２８´´において、画像情報演算手段１６は、ステップＳ７０２７´´にて算出された像ブレ補正量に基づいて、ステップＳ７０２３´´にて求めた特徴点座標を補正する。このように特徴点座標の精度を高め、このサブルーチンを終了し、ステップＳ７０３へ進む。
【００５５】
図７ｆは、ステップＳ７０３の読み出し順序設定におけるサブルーチンである。まずステップＳ７０３１において、画像情報演算手段１６は、図７ｂのフローチャートにおけるステップＳ７０１４の読み出し順序変更フラグがあるか否かを判定する。フラグがある場合、ステップＳ７０３２へ進む。一方、フラグがない場合、このサブルーチンを終了し、ステップＳ７０４へ進む。ステップＳ７０３２において、図６（ａ）を参照して説明したように、画像情報分布検出部１６ａは、特徴点のある複数の領域を設定し、特徴点のない領域も同じ数だけ分割する。続いてステップＳ７０３３において、図６（ｃ）を参照して説明したように、画像情報分布検出部１６ａは、特徴点のある領域と特徴点のない領域とを交互に読み出すように設定する。これにより、特徴点のある領域から得られる画像信号の出力は、１フレーム内の画像信号の出力期間中に略等間隔で万遍なく分布される。ステップＳ７０３３で読み出し順序の並べ替えが完了すると、このサブルーチンを終了し、ステップＳ７０４へ進む。
【００５６】
図７ｇは、ステップＳ７０５の像ブレ補正プロット作成おけるサブルーチンである。まずステップＳ７０５１において、図３を参照して説明したように、画像情報演算手段１６は、現領域で読み出した画像信号に基づいてその領域の特徴点座標を求めると共に、図３（ｂ）の特徴点分布に基づいて次に読み出す領域の特徴点座標を推定する。例えば、図３（ｃ）において、現在領域３５ａの画像信号から特徴点画像演算部１６ｂが特徴点３３ａの座標を取得したとする。このとき特徴点座標推定部１６ｃは、図３（ｂ）の特徴点分布（ステップＳ７０２で検出）における特徴点３３ａ、３３ｂの座標の関係に基づいて、次に読み出す領域３５ｂの特徴点を推定する。そして画像情報演算手段１６は、推定した特徴点を、一時記憶部１６ｆに記憶する。
【００５７】
続いてステップＳ７０５２において、画像情報演算手段１６は、前回のステップＳ７０５１にて推定した特徴点の座標を一時記憶部１６ｆから引き出す。ここで、領域３５ａのように１フレームで最初の読み出し領域にある特徴点３３ａの座標の推定方法について説明する。１フレームで最初の領域にある特徴点を推定する場合、前のフレームで読み出した最後の領域（例えば前のフレームにおける図３（ｂ）の領域３５ｄ）の特徴点座標３３ｄを用いる。すなわち、前回のステップＳ７０５１を通過した場合、前のフレームにおける最後の領域を読み出しており、そこから最後の特徴点座標が求められる。そして、最後の特徴点座標と図３（ｂ）の特徴点分布とに基づいて、次のフレームの最初の領域における特徴点座標（例えば次のフレームの領域３５ａにおける特徴点３３ａの座標）を推定することができる。
【００５８】
続いてステップＳ７０５３において、画像情報比較部１６ｄは、ステップＳ７０５１で求めた現時点における特徴点の座標とステップＳ７０５２で引き出した一つ前の読み出し時に推定した同じ位置の特徴点座標とを比較し、像ブレ補正プロットを取得する。次のサイクルでステップＳ７０５１〜Ｓ７０５３を経る場合、画像情報比較部１６ｄは、前回と今回のサイクルのステップＳ７０５１で推定した特徴点３３ｂ、３３ｂ´の座標（図３（ｃ）、図３（ｄ））を比較し、像ブレ補正プロットを取得する。ステップＳ７０５３にて像ブレ補正プロットを取得すると、このサブルーチンを終了し、ステップＳ７０６へ進む。
【００５９】
以上のように、１フレーム内の異なる特徴点座標より像ブレ補正プロットを取得することができ、このフレーム内で像ブレ補正を行うことが可能となる。ここで異なる特徴点座標とは、例えば、図３を参照して説明したような特徴点３３ａ、３３ｂである。そして、特徴点３３ａの座標からその時点における次の領域に含まれる特徴点３３ｂの座標を推定し、推定した特徴点３３ｂの座標とその後に読み出された領域に含まれる特徴点３３ｂの座標特徴点を比較し、像ブレ補正プロットを取得する。
【００６０】
ここまで、図２乃至図７ａ〜７ｇを参照して、１フレーム内の複数の特徴点を用いて像ブレ補正を行う例について説明した。次に、１フレーム内の複数の焦点状態検出手段を用いてピントあわせ（焦点調節）を行う例について説明する。
【００６１】
図８は、本実施形態における焦点検出構造およびピント合わせの説明図である。図８（ａ）は、撮像手段１４を構成するいくつかの画素を拡大した図である。各画素は、共通のマイクロレンズ８１とその下に設けられた２つの光電変換素子８２ａ、８２ｂで構成されている。このため、各々の光電変換素子８２ａ、８２ｂには、撮像光学系１２からの光束が、共通のマイクロレンズ８１の互いに異なる領域をそれぞれ通過して入射する。すなわち光電変換素子８２ａ、８２ｂには、撮像光学系１２の互いに異なる瞳領域を通過した光束が入射されることになる。このようにして構成された画素群の各々の光電変換素子８２ａ、８２ｂを関連付けることにより、撮像光学系１２の焦点状態が検出可能となる。これは、撮像面画素を用いた位相差方式の焦点状態検出法として公知の技術であり、撮像面で検出した焦点状態に基づいてフォーカスレンズ１２ｂを駆動制御することでピント合わせを行うことができる。撮像手段１４の各画素は、前述した対の光電変換素子が全面に配置され、撮影画面のすべてのポイントで焦点状態を検出することができる。例えば図８（ｂ）に示されるように、矢印８４で示される方向に風で揺れる被写体８３を撮像装置１００（カメラ）で撮影する場合を考える。
【００６２】
図９は、本実施形態におけるピント合わせの説明図である。図９（ａ）は、図８（ｂ）に示される撮影条件における撮影構図を示し、主被写体８３の測距枠９３ａ１〜９３ｄ２にピントを合わせる被写体がある。これらの測距枠が画像情報抽出範囲となる。図９（ａ）に示されるように、測距枠９３ａ１〜９３ｄ２は領域９２ａ〜９２ｄにそれぞれ含まれており、領域９２ｅの測距枠９３ｅ１、９３ｅ２にはピントを合わせる被写体がない。
【００６３】
図９（ｂ）は、図９（ａ）の撮影構図において、１フレーム内で各画像信号を読み出すことで合焦状態を検出し、フォーカスレンズ１２ｂを駆動制御する様子を示している。撮像面高さ方向に複数領域ａ〜ｅに分割した各フレーム９１、９２、９３、９４より、信号読み出し手段１５の指示に基づいて複数のピント補正プロット９１ａ´〜９４ｅ´が得られている。図９（ｂ）において、横軸は時間であり、１フレームの蓄積時間は期間９６となり、例えば１／３０である。図９（ｂ）において、縦軸は、各フレームで得られる画像の高さ方向の位置（撮像面高さ）を示し、いわゆるＣＭＯＳ構造の撮像素子におけるローリング読み出しの図である。また縦軸は、ピントを補正する量（ピント補正量）も併記している。
【００６４】
領域９１ａ〜９１ｅの画像信号はそれぞれ、蓄積期間経過後に読み出される。このため、従来例のように、蓄積中に画像信号を途中取り出しするよりもノイズの重畳を抑えることができる。また、各画像信号の読み出しには図示するように時間遅れが生ずるが、この遅れを利用してピント状態の時間変化を密に捉えることができる。すなわち画像情報演算手段１６は、この時間遅れ中に発生する焦点状態を領域９１ａ〜９１ｅのそれぞれの画像情報に含まれる測距枠（９３ａ１〜９３ｄ２）より求める。具体的には画像情報演算手段１６は、領域９１ａに含まれる測距枠９３ａ１、９３ａ２の画像信号の各々より平均焦点状態を検出し、次に領域９１ｂに含まれる測距枠９３ｂ１、９３ｂ２の画像信号の各々より平均焦点状態を検出する。これらの繰り返しで、各時点における焦点状態を検出する。
【００６５】
なお、ピントを合わせる被写体がない領域９１ｅについては、画像情報補完部１６ｅが予測処理により焦点状態を求める。例えば領域９１ｅにおける焦点状態を示すプロット９１ｅ´、９２ｅ´、９３ｅ´，９４ｅ´は、焦点状態を示すプロット９１ａ´〜９４ｄ´のプロットを利用して適応フィルタなどを用いて予測する。このようにして、ピントを合わせる被写体がない領域の読み出し時点における焦点状態を示すプロットを補完する。調整手段１７は、フォーカスレンズ１２ｂの調整目標値を出力する。この調整目標値は、焦点状態を示すピント補正プロット９１ａ´〜９４ｅ´より求められるピント補正波形９５および撮像ユニットの焦点距離や被写体距離情報、フォーカスレンズ１２ｂの光学敏感度、撮影装置の姿勢やパンニング状況に応じて決定される。駆動手段１８ｂは、調整手段１７の信号に基づいて、信号読み出しを行っているフレーム撮像中にフォーカスレンズ１２ｂを駆動し、ピントの変化を補正する。このように本実施形態においては、１フレーム内で多数の焦点状態を示す像ブレ補正プロットが求められるため、緻密なピント補正が可能となる。また、各測距枠からのピント補正信号は、各々、画像信号蓄積後に得られているため、ノイズが重畳することを効果的に低減することができる。
【００６６】
図９（ｃ）は、主被写体８３の画面９１に占める割合が図９（ａ）の構図より少なくなっている状態を示している。この場合、主被写体８３の測距枠９３ａ１〜９３ｅ２を有する領域（ピントを合わせる被写体のある領域）が図９（ａ）よりも小さい。このため、この領域における画像情報抽出範囲の画像信号を、１フレーム内で万遍なく読み出す必要がある。そこで画像情報分布検出部１６ａは、測距枠９３ａ１〜９３ｅ２を画像情報抽出範囲（焦点状態検出枠）として選択する。そして、それらの測距枠を含むピントを合わせる被写体のある領域９２ａ〜９２ｅに対してピントを合わせる被写体のない領域を領域９４ａ〜９４ｅのように同数に分割する。そして信号読み出し手段１５は、画像情報分布検出部１６ａの設定に基づいて、ピントを合わせる被写体のある領域とピントを合わせる被写体にない領域とを交互に読み出す。
【００６７】
図９（ｄ）は、前述のように読み出しの順序を変更して各領域の画像信号とその画像信号で得られるピント補正波形を示している。本実施形態では、画像情報分布検出部１６ａで選択された測距枠９３ａ１〜９３ｅ２を含む灰色領域９１７ａ〜９２３ｅと、選択されなかった測距枠（ピントを合わせる被写体のない測距枠）が含まれる白領域９１８ａ〜９２４ｅの画像信号を交互に読み出す。このとき、ピント補正プロットが均一に分布するため、精度のよいピント補正波形９２６が得られる。なお、灰色プロット９２５ａ〜９２５ｃは、画像情報補完部１６ｅがカルマンフィルタなど公知の技術を用いて予測補完したピント補正プロットであり、画像信号から得られるピント補正プロットが万遍なく狭い間隔で分布している。このため、それらの予測精度も高くすることができる。このようにして得られたピント補正波形９２６に基づいて、フォーカスレンズ１２ｂを駆動することにより、風などに揺れる花やブランコに乗る人物などの動く被写体に対してきめ細かく追従したピント補正が可能になる。
【００６８】
図１０は、本実施形態におけるピント合わせのフローチャートおよび焦点検出の説明図である。図１０（ａ）は、前述のピント合わせのフローチャートであり、説明を分かりやすくするため、本実施形態と直接関連しない要素は省いている。このフローは、撮影者が例えばカメラに設けられたレリーズボタンの半押しのような撮影準備操作を行い、操作手段１１２がＣＰＵ１１１に撮影準備指示を入力したときにスタートし、撮影準備指示が解除された時点で終了する。
【００６９】
まずステップＳ１００１において、画像処理手段１９または画像情報演算手段１６により得られた画像に基づいて、画像情報分布検出部１６ａは、画面上の測距枠（焦点検出枠）を画像情報抽出範囲として選択する。測距枠の選択とは、例えば図９（ｃ）において最もカメラに近い物体を主被写体とし、主被写体を捉える画像領域をピント合わせの測距枠として設定することである。測距枠は、画面の上下にかけて万遍なく設定する。これは、画面の一つの領域に集中して測距枠を設定すると、画像読み出し時に測距枠内の画像信号のサンプリング間隔に偏りが生じるためである。
【００７０】
続いてステップＳ１００２において、信号読み出し手段１５は、読み出し順序を設定する。画面の全体にわたって設定された測距枠が万遍なく分布している場合、信号読み出し手段１５は、画面の上から下にかけて順番に画像信号の読み出しを行う。一方、設定された測距枠が所定の領域に集中している場合、図９（ｄ）を参照して説明したように、信号読み出し手段１５は、読み出し順序を変えて画像信号のサンプリングを略等間隔に設定する。続いてステップＳ１００３において、信号読み出し手段１５は、ステップＳ１００２にて設定した読み出し順に、領域ごとに画像信号を読み出す。続いてステップＳ１００４において、画像情報演算手段１６は、読み出された画像信号の領域ごとに焦点状態を検出し、信号読み出し手段１５の指示に基づいてピント補正プロットを作成する。前述のように、位相差を用いた焦点状態検出を行う場合、その領域で設定された測距枠内の複数の画素の画像信号を用いる。
【００７１】
図１０（ｂ）は、位相差検出方式による焦点状態検出の説明図である。測距枠１００１内には、複数の画素１００２〜１００９が設けられている。画像情報比較部１６ｄは、各々の画素を構成する光電変換素子１００２ａ〜１００９ａの信号から構成される像信号１０１０ａと、光電変換素子１００２ｂ〜１００９ｂの信号から構成される像信号１０１０ｂとの間のズレ量を比較する。これらの二つの像信号１０１０ａ、１０１０ｂのそれぞれのピーク１０１１ａ、１０１１ｂが一致する場合、被写体にピントが合った状態（合焦状態）である。一方、ピーク１０１１ａ、１０１１ｂが矢印１０１２のようにずれている場合、そのズレ量に応じてピント補正値が得られる。一つの領域には複数の測距枠が設定されているため、各々の測距枠で求めたピント補正値を平均してその領域でのピント補正値とする。なお、焦点状態検出は位相差を利用する方式に限定されるものではなく、画像のコントラスト値で評価を行うことも可能である。その場合でも、設定した測距枠のコントラスト値の変化を利用してピント補正を行うことが可能である。
【００７２】
続いて、図１０（ａ）のステップＳ１００５において、調整手段１７は、ステップＳ１００４にて作成されたピント補正プロットに基づいて、ピント補正のための調整目標値（ピント補正目標値）を作成する。続いてステップＳ１００６において、駆動手段１８ｂは、ステップＳ１００５にて調整手段１７により作成された調整目標値に基づいて、フォーカスレンズ１２ｂを駆動する。続いてステップＳ１００７において、信号読み出し手段１５は、次の領域の画像信号を読み出す。続いてステップＳ１００８において、信号読み出し手段１５は、１フレーム内で画像形成に必要な領域の画像信号が読み出されたか否かを判定する。画像信号が読み出された場合、ステップＳ１００９へ進む。一方、１フレーム内で読み出す領域が残っている場合、ステップＳ１００３へ戻り、繰り返して画像信号を読み出し、その信号に基づいてピント補正を行う。
【００７３】
続いてステップＳ１００９において、次のフレームへ進む。続いてステップＳ１０１０において、画像処理手段１９または画像情報演算手段１６は、構図の変更が行われたか否かを判定する。構図の変更が行われていない場合、ステップＳ１００３へ戻り、信号読み出し手段１５は、次のフレームに関し、ステップＳ１００１にて設定された条件で画像信号の読み出しを行う。一方、構図の変更が行われた場合、ステップＳ１００１へ戻り、画像情報分布検出部１６ａは、再度、測距枠の設定と読み出し順序の設定を行う。
【００７４】
以上のように、１フレーム内の異なる測距枠よりピント補正プロットを得て、このフレーム内でピント補正を行うことができる。ここで異なる測距枠とは、図９（ａ）を参照して説明したように測距枠９３ａ１〜９３ｄ２である。このように本実施形態において、撮像装置１００は、撮像手段１４と、撮像手段１４から得られる１フレーム内の画像を複数の異なる領域（２１ａ〜２１ｅなど）に分けて読み出す信号読み出し手段１５とを有する。また撮像装置１００は、信号読み出し手段１５から得られる異なる領域の各々の画像信号に基づいて画像情報（ブレ補正プロット２１ａ´〜２１ｅ´、ピント補正プロット９１ａ´〜９１ｄ´など）を演算する画像情報演算手段１６を有する。また撮像装置１００は、画像情報演算手段１６により演算された各々の画像情報に基づいて、そのフレームの撮像中に撮像ユニットの調整目標値を作成する調整手段１７を有する。また撮像装置１００は、調整手段１７の信号に基づいて撮像ユニット（ブレ補正レンズ１２ａ、フォーカスレンズ１２ｂ、撮像手段１４など）を駆動する駆動手段１８（１８ａ、１８ｂ）を有する。
【００７５】
画像情報演算手段１６は、１フレーム内で画像情報を抽出する画像情報抽出範囲（特徴点３３ａなど）を選択し、選択した画像情報抽出範囲の分布を検出する画像情報分布検出部１６ａを有する。また画像情報演算手段１６は、画像信号から第１の画像信号読み出し時点の第１の画像情報抽出範囲（第１の特徴点）の座標を求める特徴点座標演算部１６ｂを有する。また画像情報演算手段１６は、特徴点座標演算部１６ｂにより算出された第１の画像情報抽出範囲の座標に基づいて、第１の特徴点とは異なる第２の画像情報抽出範囲（第２の特徴点）の座標を推定する特徴点座標推定部１６ｃを有する。また画像情報演算手段１６は、特徴点座標推定部１６ｃにより推定された第２の画像情報抽出範囲座標と、特徴点座標演算部１６ｂにより算出された第２の画像情報抽出範囲座標とを比較する画像情報比較部１６ｄを有する。ここで、特徴点座標演算部１６ｂにより算出された第２の画像情報抽出範囲座標は、第１の画像信号の読み出し時点から所定の時間を隔てた第２の画像信号の読み出し時点において算出される。
【００７６】
信号読み出し手段１５は、画像情報抽出範囲（特徴点３３ａ、ピントを合わせる被写体を捉えている測距枠９３ａ１など）が含まれる領域を優先的に読み出す。より詳しくは信号読み出し手段１５は、画像情報抽出範囲を含む領域以外は間引き読み出しするか、または、画像情報抽出範囲の分布に基づいて読み出し順序を変更する。画像情報分布検出部１６ａは、複数フレーム（例えばフレーム５１、５２、５３）で読み出したフレームを跨ぐ同一の画像情報選択範囲座標を平均化し、画像情報抽出範囲の分布を検出する。また画像情報分布検出部１６ａは、複数フレームで読み出したフレームを跨ぐ同一画像情報抽出範囲の座標変化に基づいて、１フレーム内で検出した各画像情報抽出範囲の分布を検出する。
【００７７】
信号読み出し手段１５は、画像情報抽出範囲の分布に基づいて画像情報抽出範囲が含まれる領域を１フレーム内で略一定間隔に読み出す。また信号読み出し手段１５は、画像情報抽出範囲が含まれる領域（領域６５ａから６５ｅ）と含まれない領域（領域６６ａから６６ｅ）が略交互に読み出す。また信号読み出し手段１５は、画像情報選択範囲が含まれる領域と含まれない領域をほぼ同数に分割し、各領域が略交互に読み出す。
【００７８】
画像情報演算手段１６は、得られた画像情報（像振れ補正プロット２１ａ´〜２４ｅ´、ピント補正プロット９１ａ´〜９１ｅ´）に基づいて、画像情報欠け部の画像情報を補完する画像情報補完部１６ｅを有する。これらより、１フレーム内の複数の画像信号で撮像ユニットを制御することが可能になり、レスポンスの高い補正を行うことができる。また、１フレーム内の異なる画像信号を用いて画像情報を求めており、従来技術のように同一の画像信号を非破壊で繰り返し読み出す手法よりも、画像に重畳するノイズを効果的に低減することができる。
【００７９】
（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態ではフレーム内の複数の特徴点を比較することにより像ブレ補正プロットを演算するが、本実施形態では複数のフレーム間の同一の特徴点を比較することにより像ブレ補正プロットを得る。このような動作を１フレーム内の複数の異なる画像信号で繰り返すことにより、そのフレームを撮影している時間内で複数の像ブレ補正プロットを演算し、レスポンスの高い補正を実現している。
【００８０】
図１１は、本実施形態における画像信号読み出しの説明図である。図１１において、撮像面高さ方向に複数領域ａ〜ｅに分割した各フレーム１１０１、１１０２、１１０３、１１０４から、信号読み出し手段１５の指示に基づいて、像ブレ補正プロット１１０１ａ´〜１１０３ｅ´が得られる。図１１において、横軸は時間であり、１フレームの蓄積時間は期間１１０６となり、例えば１／３０である。図１１において、縦軸は、各フレームで得られる画像の高さ方向の位置（撮像面高さ）を示し、いわゆるＣＭＯＳ構造の撮像素子におけるローリング読み出しの図である。また縦軸は、像面で発生するブレを補正する量も併記している。
【００８１】
領域１１０１ａ〜１１０１ｅの画像信号はそれぞれ、蓄積期間経過後に読み出される。次のフレームの画像信号１１０２ａ〜１１０２ｅは、１フレーム分の時間（例えば１／３０）遅れて読み出される。そして画像信号１１０１ａから得られる画像情報抽出範囲（画像情報分布検出部１６ａが選択した領域１１０１ａ内の特徴点）の座標と、画像信号１１０２ａから得られる同一特徴点の座標とを比較する。これにより、１フレーム間に生ずる撮像面での像ずれ量（ブレ量）を求めることができる。この像ずれ量から像ブレ補正プロット１１０１ａ´が得られる。同様に、領域１１０１ｂ、１１０２ｂ、または、領域１１０１ｃ、１１０２ｃのように、複数のフレーム間の同一特徴点同士で比較を続け、像ブレ補正プロット１１０１ｂ´〜１１０３ｅ´が得られる。このようにして得られた像ブレ補正プロット１１０１ａ´〜１１０３ｅ´に基づいて、像ブレ補正波形１１０５が得られる。ところで、同一特徴点のフレーム間での比較で得られる像ブレ補正プロットは、互いのサンプリング間隔が広いため、精度の高い像ブレ補正を行うことが困難である。そこで本実施形態では、フレーム内の異なる特徴点の相関も利用して像ブレ補正の高精度化を図っている。
【００８２】
図１２は、本実施形態における画像情報抽出範囲間の関係の説明図であり、像ブレ補正の高精度化のグラフを示している。図１２（ａ）〜（ｎ）のそれぞれにおいて、横軸は時間、縦軸は像ブレ補正量をそれぞれ示す。図１２（ａ）は、領域１１０１ａ、１１０２ａ、１１０３ａ、１１０４ａの画像信号から得られる比較波形１１０８ａを示す。図１２（ｂ）は、領域１１０１ｂ、１１０２ｂ、１１０３ｂ、１１０４ｂの画像信号から得られる比較波形１１０８ｂを示す。図１２（ｃ）は、領域１１０１ｃ、１１０２ｃ、１１０３ｃ、１１０４ｃの画像信号から得られる比較波形１１０８ｃを示す。図１２（ｄ）は、領域１１０１ｄ、１１０２ｄ、１１０３ｄ、１１０４ｄの画像信号から得られる比較波形１１０８ｄを示す。図１２（ｅ）は、領域１１０１ｅ、１１０２ｅ、１１０３ｅ、１１０４ｅの画像信号から得られる比較波形１１０８ｅを示す。
【００８３】
比較波形１１０８ａ〜１１０８ｅのそれぞれは、像ブレ補正プロットである１１０１ａ´、１１０１ｂ´、１１０１ｃ´、１１０１ｄ´、１１０１ｅ´を初期値としている。次に、比較波形１１０８ａに対して比較波形１１０８ｂを重ねる。このとき、両波形の相関が最も得られるように、比較波形１１０８ａを基準として比較波形１１０８ｂを重ねる。例えば、両波形で囲まれる面積の絶対値が最も小さくなるように波形を重ねる方法が採用される。次に、比較波形１１０８ａに重ねた比較波形１１０８ｂを基準として、その波形に比較波形１１０８ｃを重ねる。これを繰り返すことにより、図１２（ｆ）に示されるように、像ブレ補正プロット１１０１ａ´〜１１０３ｅ´が配列される。これらの像ブレ補正プロット１１０１ａ´〜１１０３ｅ´を結ぶことにより、図１２（ｇ）に示されるように像ブレ補正波形１１０７を求めることができる。
【００８４】
ここまでは、各比較波形を求めた後に互いの相関を求めているため、それを用いて像ブレ補正を行うと波形を求める時間と相関演算時間分遅れが大きくなってしまう。実際に時間遅れの少ない像ブレ補正を行うには、図１２（ａ）〜（ｇ）で求めた１フレーム内の異なる特徴点の相対座標を利用して各々の特徴点ごとに像ブレ補正プロットを求める。具体的には、図１２（ｇ）における像ブレ補正プロット１１０３ａ´の位置に対して次のフレームにおける同一特徴点の変化を求め、同様にして像ブレ補正プロット１１０３ｂの位置に対して次のフレームにおける同一特徴点の変化を求める。図１２（ｈ）〜（ｊ）は、その詳細を示している。図１２（ｆ）で比較波形１１０８ａ〜１１０８ｅのそれぞれを適正な位置に重ねた後、その位置のまま図１２（ｈ）〜（ｉ）に示されるように再度各々の比較波形毎にばらす。そして、各々の特徴点毎にフレーム間の同一特徴点の比較を行う。すなわち図１２（ｈ）では、フレーム１１０４における領域１１０４ａの画像信号とその次のフレームで求める画像信号を比較してその変化量を求め、更に像ブレ補正プロット１１０３ａ´を基準にしてその変化量を加えて像ブレ補正プロット１１０４ａ´を得る。同様の動作を図１２（ｌ）まで繰り返して得られた各比較波形を再度合成して図１２（ｍ）を得る。そして、新たに得られる像ブレ補正プロット１１０４ａ´〜１１０４ｅ´に基づいて、図１２（ｎ）に示されるように像ブレ補正波形１１０７が得られる。
【００８５】
このように、一旦フレーム内の各特徴点の相対座標が求められれば、その後はその関係を保ったままフレーム間の像ブレ補正プロットを重ねればよく、比較波形の相関は不要である。このため、多くの像ブレ補正プロットを用いた時間遅れの無い高精度な像ブレ補正が可能になる。前述の１フレーム内の異なる特徴点の関係をフレーム間で得られる比較波形の相関から求める手法に限定されるものではなく、図４および図５を参照して説明したように、予め特徴点の分布を求めておく方法も適用可能である。図４および図５にて１フレーム内の各特徴点の関係が分かっているため、最初のフレームにおける各々の特徴点を初期値にして、それにフレーム間の特徴点変化を加えればよい。
【００８６】
図１３は、本実施形態における像ブレ補正プロットを作成するフローチャートであり、図７ａのステップＳ７０５の像ブレ補正プロット作成におけるサブルーチンを示す。まずステップＳ１３０１において、画像情報演算手段１６は、図１２（ａ）〜（ｇ）を参照して説明した１フレーム内の像ブレ補正プロットの関係が既に求められているか否かを判定する。像ブレ補正プロットの関係が既に求められている場合、ステップＳ１３０７へ進む。一方、像ブレ補正プロットの関係が求められていない場合、ステップＳ１３０２へ進む。
【００８７】
ステップＳ１３０２において、画像情報比較部１６ｄは、前に撮影したフレームと今回撮影したフレームにおける同一特徴点の変化（像ブレ補正プロット）を求める。このとき、像ブレ補正プロットとしては、１フレーム内の異なる領域における複数の特徴点に対して前のフレームにおける対応する同一特徴点との変化を求めるため、１フレーム内で複数の像ブレ補正プロットが得られることになる。続いてステップ１３０３において、画像情報演算手段１６は、ステップＳ１３０２の動作を４フレーム分行ったか否かを判定する。４フレーム分済んでいる場合、ステップＳ１３０４へ進む。一方、４フレーム分済んでない場合、ステップＳ１３０２へ戻り、同様の動作を繰り返す。例えば、図１１においてフレーム１１０１〜１１０４を用いて像ブレ補正プロットの算出を繰り返す。
【００８８】
ステップＳ１３０４において、画像情報演算手段１６は、ステップＳ１３０２、Ｓ１３０３にて求めた像ブレ補正プロットに基づいて、図１２（ａ）〜（ｅ）の比較波形を求める。続いてステップＳ１３０５において、画像信号分布検出手段１６ａは、ステップＳ１３０４にて求めた各比較波形を相関が高くなるように互いに重ねる（図１２（ｆ）、（ｇ））。続いてステップＳ１３０６において、画像信号分布検出手段１６ａは、ステップＳ１３０５にて波形を重ねた結果で得られる像ブレ補正プロット間の関係を検出する。これにより、１フレーム内の異なる特徴点から求めた像ブレ補正プロットの関係が分かる。続いてステップＳ１３０７において、特徴点座標演算部１６ｂは、前記関係を初期値として、図１２（ｈ）〜（ｍ）を参照して説明したように次のフレームとの比較で求められるフレーム間の特徴点変化量を初期値に加算し、次の像ブレ補正プロットを得る。ステップＳ１３０７にて次の像ブレ補正プロットが得られると、このサブルーチンを終了し、ステップＳ７０６へ進む。
【００８９】
以上のように、特徴点座標演算部１６ｂは、フレーム間で複数の画像情報抽出範囲を同一の画像情報抽出範囲（領域１１０１ａ、１１０２ａ、１１０３ａ、１１０４ａに含まれる範囲など）ごとに比較する。そして特徴点座標演算部１６ｂは、この比較結果に基づいて、複数の比較波形（波形１１０８ａ〜１１０８ｄなど）を求め、複数の比較波形の関係から調整目標値を得る。具体的には、画像情報分布検出部１６ａは、複数の比較波形（波形１１０８ａ〜１１０８ｄなど）に基づいて、１フレーム内の異なる画像情報抽出範囲（領域１１０１ａ〜１１０１ｅに含まれる範囲など）の互いの関係を求める。また特徴点座標演算部１６ｂは、画像情報分布検出手段１６ａにより求められた１フレーム内の異なる画像情報抽出範囲の互いの関係に基づいて、次のフレームにおける１フレーム内の調整目標値を求める。これにより、１フレーム内の複数の画像信号で撮像ユニットを制御することが可能になり、レスポンスの高い補正を行うことができる。
【００９０】
（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態では、複数フレームの互いの撮影時間（信号蓄積時間）が異なる場合について説明する。複数フレームの互いの撮影時間が異なる場合とは、例えば撮影準備段階で被写体を画面に捉えている状態（ライブビュー）から静止画撮影に移行する場合や、ライブビューや動画撮影において被写体の明るさが大きく変化した場合を示す。ここでは、特に静止画に移行する場合について説明する。動画撮影やライブビューでは、被写体の動作重視の撮影を行うため、ある程度短い撮影時間で撮影する。一方、静止画撮影では、より適切な露光制御を行い、ノイズの少ない画像を得ることが好ましい。このため、動画に比べて静止画の露光時間を長くする場合が多い（被写体の動きを止める為に静止画撮影時間を動画より短くする場合もある）。
【００９１】
図１４は、本実施形態における静止画撮影対応の信号読み出し手段の動作の説明図である。図１４（ａ）を参照して、画像情報を１フレーム内で万遍なく取り出す方法について、前述の撮影条件における像ブレ補正を例に説明する。フレーム１４０１において読み出しに応じて領域１４０１ａ〜１４０１ｅより、像ブレ補正プロット１４０１ａ´〜１４０１ｅ´を得る。この時点では、１フレームの信号蓄積時間１４０６は、例えば１／３０秒である。図１４（ａ）では、このときの信号読み出し１４０６の時間１４１１も信号蓄積時間１４０６とほぼ同等に設定されているが、これに限定されるものではない。例えば、信号読み出し時間１４０８を信号蓄積時間１４０６よりも短くしてもよい。
【００９２】
信号読み出しが速いフレーム１４０２では、次のフレーム１４０３において静止画撮影を行うため、フレーム１４０２における信号蓄積時間を設定する。静止画撮影に適した信号蓄積時間１４０７が例えば１／１０秒の場合、前のフレーム１４０２ではその時間とほぼ同等の信号読み出し時間１４１２を設定する。すなわちフレーム１４０２では、蓄積開始走査の設定時間は前のフレーム１４０１の読み出し１４０８（例えば１／３０秒）の時間１４１１に準じ、読み出し１４０９の時間１４１２は１／１０秒となる。フレーム１４０２の領域は、フレーム１４０１の領域を細分している。これは、読み出し１４０９の時間１４１２が読み出し１４０８の時間１４１１よりも長く、同じ領域数では画像信号の得られる間隔が長くなるため、それを補完する必要があるからである。すなわち画像情報分布検出部１６ａは、静止画撮影に先立って、画像の読み出し領域を細分化する。
【００９３】
図１４（ａ）においては、フレーム１４０２の領域は、フレーム１４０１の各々の領域を２等分して倍の領域数にしている。フレーム１４０２の領域１４０２ａ１、１４０２ａ２〜１４０２ｅ１、１４０２ｅ２より、像ブレ補正プロット１４０２ａ１´、１４０２ａ２´〜１４０２ｅ１、１４０２ｅ２´が得られる。ここでフレーム１４０２は、各領域１４０２ａ１、１４０２ａ２〜１４０２ｅ１、１４０２ｅ２における蓄積時間が異なるが、観賞画像を得るのではなく、画像信号から像ブレ補正プロットを求めるために利用するため、問題にはならない。
【００９４】
画像情報補完部１６ｅは、１フレーム内の蓄積時間差に応じて画像信号のゲインアップ、ダウン処理を行い、画像信号の安定化を図ることもできる。前述のように、フレーム１４０２では、画像信号を読み出す領域をフレーム１４０１より増やしているが、そのためには特徴点を追加する必要がある。それらの追加特徴点は、図７ｂを参照して説明したように、画像情報分布検出部１６ａが、画像情報抽出範囲として既に検出していた余りの特徴点を加えることにより得られる。このように、フレーム１４０１、１４０２で読み出した画像信号より、像ブレ補正プロットを求めて像ブレ補正を行う。像ブレ補正プロットの求め方は、第１実施形態と同様であるため、その説明は省略する。静止画撮影を行うフレーム１４０３に対しても、フレーム１４０２と同数の領域を用いて画像信号の得られる間隔が広がらないようにする。
【００９５】
また、フレーム１４０３の蓄積開始操作の設定時間は、前のフレーム１４０２の読み出し１４０９の時間１４１２（例えば１／１０秒）に準じ、読み出し１４１０の時間１４１３も同様の速度（１／１０秒）にする。これにより、各々の領域における信号蓄積時間１４０７を揃える。そして、各領域の信号蓄積完了毎に信号読み出し１４１０に沿って時間１４１３中に領域１４０３ａ１、１４０３ａ２〜１４０３ｅ１、１４０３ｅ２より、像ブレ補正プロット１４０３ａ１´、１４０３ａ２´〜１４０３ｅ１´、１４０３ｅ２´が得られる。これにより、静止画撮像中の像ブレ補正が行われる。
【００９６】
このように、静止画撮影を行うフレーム１４０３およびその前のフレーム１４０２において信号読み出しを行う時間１４１２、１４１３は、信号蓄積時間とほぼ同じ長さに設定されている。これにより、前のフレーム１４０１の信号読み出し１４０８から連続してフレーム１４０２の信号読み出し１４０９、フレーム１４０３の読み出し１４１０の信号読み出しが始まるため、静止画撮像中に途切れなく画像信号を得ることができる。すなわち信号読み出し手段１５は、静止画撮影に必要な信号蓄積時間に合わせて（信号蓄積時間に応じて）、信号読み出しの時間を変更する。静止画を得るためのフレーム１４０３の読み出しが終了すると、次のフレーム１４０４からは画像の領域分割及び読み出し時間をフレーム１４０１と同じ分割数、同じ読み出し時間に戻す。そして、領域１４０４ａ〜１４０４ｅから、像ブレ補正プロット１４０４ａ´、１４０４ｅ´が得られる。更に次のフレーム１４０５では、領域１４０５ａ〜１４０５ｅより、像ブレ補正プロット１４０５ａ´、１４０５ｅ´が得られる。上記動作により、静止画撮影の前のフレーム１４０１から後のフレーム１４０５にわたって像ブレ補正波形１４１４を連続して得ることができ、静止画撮像中も像ブレ補正を行うことができる。以上は、画内に特徴点が万遍なく分布している場合である。
【００９７】
次に、図６（ａ）に示されるように、特徴点が画面中央部に集中している場合について説明する。例えば図１４（ａ）において領域１４０１ｂ、１４０１ｃ、１４０１ｄにのみ特徴点が分布しているとする。このとき、像ブレ補正プロットを等間隔で得るには、図６（ｃ）を参照して説明したように、領域読み出しの順序を変更する必要がある。ここで、図１４（ｂ）を参照して、ライブビューから静止画撮影に移行する場合における読み出し順序変更を説明する。なお、図１４（ｂ）における各フレームや領域、像ブレ補正プロットは、図１４（ａ）と同じであるため、同じ符号で示している。
【００９８】
まずフレーム１４０１に関し、画像情報分布検出部１６ａは、特徴点分布検出結果に基づいて信号読み出し手段１５の撮像素子１４の画像信号読み出し順序を設定する。領域１４０１ｂ〜１４０１ｄに特徴点が集中している場合、それらの領域の読み出しが全体の読み出し時間の中で略等間隔に行われる。すなわち領域１４０１ｃ（特徴点あり）、領域１４０１ａ（特徴点なし）、領域１４０１ｂ（特徴点あり）、領域１４０１ｅ（特徴点なし）、領域１４０１ｄ（特徴点あり）の順で、特徴点の分布する領域と分布しない領域を交互に読み出す。このようにして、フレーム１４０１に関し、読み出しに応じて領域１４０１ｂ〜１４０１ｄより、像ブレ補正プロット１４０１ｃ´、１４０１ｂ´が得られる。なお、図１４（ｂ）中の黒プロットは、図２を参照して説明したように、画像情報補完部１６ｅが適応フィルタや線形予測で予測した像ブレ補正プロットである。図１４（ａ）と同様な理由で、フレーム１４０２の領域はフレーム１４０１の領域を細分している。そのうえで、領域１４０２ｃ１、１４０２ｂ２、１４０２ｂ１、１４０２ｃ２、１４０２ｄ１より、画像信号を読み出し、像ブレ補正プロット１４０２ｃ１´、１４０２ｂ２´、１４０２ｂ１´、１４０２ｃ２´、１４０２ｄ１´を得る。
【００９９】
静止画撮影を行うフレーム１４０３に関しても、フレーム１４０２と同数の領域を用いて画像信号の得られる間隔が広がらないようにする。領域１４０３ｃ１、１４０３ｂ２、１４０３ｂ１、１４０３ｃ２、１４０３ｄ１より画像信号を読み出し、像ブレ補正プロット１４０３ｃ１´、１４０３ｂ２´、１４０３ｂ１´、１４０３ｃ２´、１４０３ｄ１´を得る。これにより、静止画撮像中の像ブレ補正が行われる。静止画を得るためのフレーム１４０３の読み出しが終了すると、次のフレーム１４０４に関しても、フレーム１４０３と同じ領域分割で領域１４０４ｃ２、１４０４ｂ２より画像信号を読み出し、像ブレ補正プロット１４０４ｃ２´、１４０４ｂ２´を得る。
【０１００】
図１５は、本実施形態における別の静止画撮影対応の信号読み出し手段の動作の説明図である。フレーム１４０４に関しても、読み出し領域を細分化するのはフレーム１４０３の各領域読み出しから連続してフレーム１４０４を読み出すためである。ただし図１５（ａ）に示されるように、フレーム１４０３、１４０４の間を一旦不連続にすることで領域分割の細分化を避けることもできる。なお、図１５（ａ）ではフレーム１４０１、１４０２ｂの間でも読み出しを不連続にしており、これにより各領域１４０２ａ１〜１４０２ｅ２の蓄積時間を揃えることができる。蓄積時間を揃えると、蓄積時間中のブレ量も揃えることができるため、より精度の高い像ブレ補正プロットが得られる。
【０１０１】
図１５（ａ）のフレーム１４０２のような蓄積手法は、図１４（ａ）でも適用可能である。図１４（ａ）のフレーム１４０２のように、領域１４０２ａ１〜１４０２ｅ２に画像信号の読み出しが続く順に蓄積時間が長くなる場合でも、図１５（ｂ）のフレーム１４０２の構成にすることで蓄積時間を揃えることができる。このように、静止画撮影フレーム１４０３の前のフレーム１４０２は、その前のフレーム１４０１と読み出しを不連続にすることにより、像ブレ補正精度を向上させることができる。また、静止画撮影フレーム１４０３の後のフレーム１４０４はその前のフレーム１４０３と読み出しを不連続にすることにより、領域細分化を避けて読み出し負荷を低下させることができる。
【０１０２】
図１４（ｂ）に戻り、フレーム１４０５では、領域１４０５ｃ、１４０５ｂ、１４０５ｄより画像信号を読み出し、像ブレ補正プロット１４０５ｃ´、１４０５ｂ´、１４０５ｄ´を得る。前記動作により、特徴点が画面中央などに集中している場合でも、静止画撮影の前のフレーム１４０１から後のフレーム１４０５にわたって像ブレ補正波形１４１４を連続して得ることができ、静止画撮像中も像ブレ補正を行うことが可能となる。以上のように、像ブレ補正の場合における静止画撮影対応を図１４（ａ）〜図１５（ｂ）を参照して説明したが、焦点状態の調節についても同様な処理で行うことが可能である。
【０１０３】
図１６は、本実施形態における別の静止画撮影対応の信号読み出し手段の動作の説明図である。図１６（ａ）は、焦点状態の調節の説明図であり、図９（ａ）に示されるように、画面全体に画像情報分布検出部１６ａで選択された測距枠（ピントを合わせる被写体がある測距枠）が分布する条件での処理を示している。
【０１０４】
フレーム１４０１、１４０２、１４０４、１４０５はライブビューのフレーム、フレーム１４０３は静止画撮影のフレームである。各フレームにおける各領域からの画像信号を得て、その領域に含まれる測距枠の情報（例えば位相差情報）から各領域の焦点状態を示すピント補正プロット１４０１ａ´〜１４０５ｅ´を得る。静止画フレームに先立って領域を細分化して読み出し間隔を補完することも、図１４（ａ）〜図１５（ｂ）の像ブレ補正の考え方と同じである。同様に、静止画撮影を行う場合、信号読み出し手段１５は、静止画撮影に必要な信号蓄積時間に合わせて信号読み出しの時間（読み出し速度）を変更する。
【０１０５】
図１６（ａ）は、フレーム１４０２の蓄積開始走査１６０１（信号リセット）及びフレーム１４０４の読み出し時間１６０２の速さの点で、図１４（ａ）〜図１５（ｂ）のそれぞれと異なる。ただし、このような蓄積開始走査１６０１、読み出し１６０２に限定されるものではなく、図１４（ａ）、図１５（ｂ）に示されるような蓄積開始、読み出しでも良い。また、図９（ｃ）に示されるように、画面の中央部に画像情報分布検出部１６ａで選択された測距枠が集中している場合、図１６（ｂ）に示されるように読み出し順序を変更し、焦点状態検出信号が略等間隔の時間で得られるように設定する。すなわち領域１４０１ｃ（選択測距枠あり）、領域１４０１ａ（選択測距枠なし）、領域１４０１ｂ（選択測距枠あり）、領域１４０１ｅ（選択測距枠なし）、領域１４０１ｄ（選択測距枠あり）の順で選択した測距枠の分布領域と分布しない領域を交互に読み出す。
【０１０６】
このようにして、フレーム１４０１において読み出しに応じて領域１４０１ｂ〜１４０１ｄより焦点状態を示すピント補正プロット１４０１ｃ´、１４０１ｂ´を得る。なお、図１６（ｂ）中の黒プロットは、図２を参照して説明したように、画像情報補完部１６ｅが適応フィルタや線形予測で予測した像ブレ補正プロットである。図１６（ｂ）において、フレーム１４０２は、図１６（ａ）におけるフレーム１４０２の読み出し順序を変更した例を示しているが、これに限定されるものではなく、例えば図１５（ａ）のように構成してもよい。
【０１０７】
本実施形態では、第１、第２実施形態に加えて、静止画撮影への対応を行っている。この対応のフローは、図７ａのステップＳ７０３および図１０（ａ）におけるステップＳ１００２の読み出し順序設定ステップで行われ、その詳細は図１７に示される。図１７は、本実施形態における読み出し順序設定のフローチャートである。図１７は、ステップＳ７０３、Ｓ１００２の読み出し順序設定におけるサブルーチンを示している。
【０１０８】
まずステップＳ１７０１において、ＣＰＵ１１１は、静止画撮影が行われるか否かを判定する。これは、例えば図１における操作手段１１２の信号がＣＰＵ１１１に入力されることにより検出され、判定可能である。静止画撮影が行われる場合、ステップＳ１７０２へ進む。一方、静止画撮影が行われない場合、ステップＳ１７０４へ進む。ステップＳ１７０２において、画像情報演算手段１６は、静止画撮影に必要な露光時間（信号蓄積時間）をＣＰＵ１１１から読み出す。そして画像情報分布検出部１６ａは、それに応じた信号読み出しを行うように、信号読み出し手段１５を制御する。例えば露光時間が１／１０秒の場合、読み出し時間も１／１０秒に設定される。また、露光時間が１／２秒の場合、読み出し時間も１／２秒に設定される。続いてステップＳ１７０３において、画像情報分布検出部１６ａは、ステップＳ１７０２にて設定された読み出し時間中に、例えば２ｍｓごとなどの望ましい間隔で画像情報が得られるように、読み出し領域を細分化する。
【０１０９】
ステップＳ１７０４において、画像情報演算手段１６は、図７ｂのフローチャートにおけるステップＳ７０１４の読み出し順序変更フラグがあるか否かを判定する。このフラグがある場合、ステップＳ１７０５へ進む。一方、このフラグがない場合、このサブルーチンを終了し、図７ａのステップＳ７０４または図１０（ａ）のステップＳ１００３へ進む。なお図７ｂでは、特徴点の分布で説明したが、画像情報分布検出部１６ａがピントを合わせる被写体に合致した測距枠の分布状態からフラグの設定を行ってもよい。このため、図７ｆのステップＳ７０３１では、「特徴点にフラグあり」と記載したが図１７においては像ブレ補正と焦点調節をあわせてステップＳ１７０４で画像情報抽出範囲の「選択点にフラグあり」と記載を変更している。図１７中のステップＳ１７０５、Ｓ１７０６は、図７ｆ中のステップＳ７０３２、Ｓ７０３３とそれぞれ同じであるため、それらの説明は省略する。ステップＳ１７０６において読み出し順序の並べ替えが終わると、このサブルーチンを終了し、ステップ図７ａのステップＳ７０４または図１０（ａ）のステップＳ１００３へ進む。
【０１１０】
以上のように、本実施形態では、撮影準備状態から静止画撮影に移行するような撮影時間の変化する状況に対応し、信号読み出し手段１５は、静止画撮影に先立って画像の読み出し領域を細分化する。画像情報補完部１６ｅは、１フレーム内の蓄積時間差に応じて画像信号のゲイン調整を行う。信号読み出し手段１５は、静止画撮影に必要な信号蓄積時間に合わせて信号読み出しの時間を変更する。これらの処理を行うことにより、静止画撮影などのように撮影時間が変化する場合においても、安定した画像信号を得て撮像ユニットを高精度に駆動することができる。
【０１１１】
（第４実施形態）
次に、本発明の第４実施形態について説明する。第３実施形態において静止画の撮影を終了するまでの時間は、図１４（ａ）の信号蓄積時間１４０７に加えて、読み出し時間１４１３が必要となる。これは、読み出し１４１０の速度を信号蓄積時間１４０７に揃え、蓄積時間全域にわたり画像信号を読み出すためである。本実施形態は、前記撮影時間の短縮化を図るための形態である。
【０１１２】
図１８は、本実施形態における静止画撮影対応の信号読み出し手段の動作の説明図である。図１８（ａ）において、フレーム１８０１では、図１４（ａ）に示されるフレーム１４０１と同様に、領域１８０１ａ〜１８０１ｅからの画像信号の読み出しに応じて、像ブレ補正プロット１８０１ａ´〜１８０１ｅ´をそれぞれ取得する。本実施形態において、画像処理手段１９は、フレーム１８０２と次のフレーム１８０３の画像を合成して静止画を取得する。フレーム１８０２では、図１４（ａ）に示されるフレーム１４０２と同様に、静止画撮影を行うためにフレーム１８０２における信号蓄積時間を設定する。また、フレーム１８０２に関しても、フレーム１４０２と同様に、画像信号を得る間隔を短くする目的で領域が細分化されている。フレーム１８０２の領域１８０２ａ１、１８０２ａ２〜１８０２ｅ１、１８０２ｅ２より像ブレ補正プロット１８０２ａ１´、１８０２ａ２´〜１８０２ｅ１、１８０２ｅ２´を取得する。
【０１１３】
図１８（ａ）より分かるように、フレーム１８０２に関しては、撮像面高さに応じて蓄積時間１８０６が異なり、撮像面高さが高いほど蓄積時間は短い。すなわち、得られる画像には露光ムラが発生する。フレーム１８０３に関しても、フレーム１８０２と同数の領域を用いて画像信号の得られる間隔が広がらないようにする。また、フレーム１８０３の蓄積開始走査の設定時間は、前のフレーム１８０２の読み出し時間と揃え連続して撮影を行う。しかしながら、フレーム１８０３の読み出し時間は、フレーム１８０２の蓄積開始走査の設定時間（図１８（ａ）ではフレーム１８０１の読み出し時間と同じ）と同じに設定する。このため、図１８（ａ）から分かるように、フレーム１８０３に関しては、撮像面高さに応じて信号蓄積時間１８０７が異なり、撮像面高さが高いほど蓄積時間は長い。すなわち、得られる画像には露光ムラが発生する。
【０１１４】
そして、領域１８０３ｂ２、１８０３ｃ２、１８０３ｄ２、１８０３ｅ２の画像信号から、像ブレ補正プロット１８０３ｂ２´、１８０３ｃ２´、１８０３ｄ２´、１８０３ｅ２´を取得する。フレーム１８０３に関しては、領域１８０３ｂ２、１８０３ｃ２、１８０３ｄ２、１８０３ｅ２の画像信号しか利用していない。このため、フレーム１８０２の様に領域を細分化せず、フレーム１８０１とほぼ同数の領域に分けてもよい。または、領域１８０３ａ１、１８０３ａ２、１８０３ｂ１、１８０３ｃ１、１８０３ｄ１、１８０３ｅ１の画像信号も用いてより細かく像ブレ補正プロットを得てもよい。
【０１１５】
フレーム１８０４に関しては、領域１８０４ａ〜１８０４ｅの画像信号を読み出し、像ブレ補正プロット１８０４ａ´〜１８０４ｅ´を得る。そして、フレーム１８０１〜１８０４で得られた像ブレ補正プロットに基づいて、像ブレ補正レンズ１２ａを駆動して像ブレ補正を行う。画像処理手段１９は、フレーム１８０２、１８０３で得られた画像を合成して一枚の静止画を得る。前述のように、フレーム１８０２、１８０３とも露光ムラを生じているが、それらの方向が逆であるため、互いに補完し合って露光ムラの無い画像を得ることができる。なお、フレーム１８０２、１８０３を合成する場合、画像処理手段１９は、公知の位置合わせ技術を用いて互いの画像の位置を合わせたうえで合成することにより、２枚のフレーム間における像ずれを解消（低減）することができる。
【０１１６】
このように、画像処理手段１９は、２フレームを合成して静止画とすることにより、撮影時間の短縮化を図ることができる。信号読み出し手段１５は、フレーム１８０２、１８０３間の隣接する読み出し時間を信号蓄積時間に合わせる（蓄積時間が長いと読み出し時間も長くする）ことにより、静止画撮像中においても像ブレ補正プロットを万遍なく得ることができる。図１８（ａ）では像ブレ補正を例に説明したが、焦点状態検出の場合でも同様な処理により安定した焦点状態調節が可能である。
【０１１７】
以上は、画内に特徴点が万遍なく分布している場合であるが、次に、図９（ｃ）に示されるようにピントを合わせる測距枠が画面中央部に集中している場合について説明する。このような場合に焦点状態を示すプロットを等間隔で得るには、図１４（ｂ）を参照して説明したように、領域読み出しの順序を変更する。
【０１１８】
図１８（ｂ）を参照して、本実施形態における静止画撮像中の焦点状態調節を説明する。図１８（ｂ）において、領域１８０２ｃ１（選択測距枠あり）、領域１８０２ａ１（選択測距枠なし）、領域１８０２ｂ２（選択測距枠あり）、領域１８０２ａ２（選択測距枠なし）の順で選択された測距枠の分布する領域と分布しない領域を交互に読み出す。続いて領域１８０２ｂ１（選択測距枠あり）、領域１８０２ｄ２（選択測距枠なし）、領域１８０２ｃ２（選択測距枠あり）、領域１８０２ｅ１（選択測距枠なし）、領域１８０２ｄ１（選択測距枠あり）、領域１８０２ｅ２（選択測距枠なし）の順で読み出される。このようにして、フレーム１８０２における読み出しに応じて焦点状態を示すプロット１８０２ｃ１´、１８０２ｂ２´、１８０２ｂ１´、１８０２ｃ２´、１８０２ｄ１´、１８０２ａ２´、１８０２ｃ２´を得る。なお、図１８（ｂ）中の黒プロットは、図２を参照して説明したように、画像情報補完部１６ｅが適応フィルタや線形予測で予測したピント補正プロットである。本実施形態では、２枚のフレーム画像を合成して１枚の静止画を得る手法により読み出し時間の短縮を図ることができる。また、図１８（ｂ）では焦点状態検出を例に説明したが、像ブレ補正にも適用可能である。
【０１１９】
図１９ａおよび図１９ｂは、本実施形態における静止画撮影対応の像ブレ補正のフローチャートである。図１９ａは、図７ａの像ブレ補正のフロー（Ｓ７０１〜Ｓ７１１）に静止画撮影のための専用のステップ（Ｓ１９０１〜Ｓ１９１０）を加えたフローチャートであり、図７ａと同じステップは同じ番号で表し、それらの説明は省略する。また、説明を分かりやすくするため、本実施形態と直接関連しない要素は省略している。
【０１２０】
ステップＳ１９０１において、撮影者は例えば撮像装置１００（カメラ）に設けられたレリーズボタンを押し切り、静止画撮影開始指示を行うまでは、ステップＳ７１１を経由してステップＳ７０１またはステップＳ７０４へ戻り、このフローを繰り返す。ステップＳ１９０１にて静止画撮影指示動作が行われると、ステップＳ１９０２へ進む。ステップＳ１９０２において、ステップＳ７０４と同様に、ステップＳ７０３にて設定された読み出し順に、信号読み出し手段１５は領域ごとに画像信号を読み出す。続いてステップＳ１９０３において、ステップＳ７０５と同様に、画像情報比較部１６ｄは読み出された画像信号の領域ごとの比較を行う。そして画像情報演算手段１６は、像ブレ補正プロットを作成する。
【０１２１】
続いてステップＳ１９０４において、ステップＳ７０６と同様に、調整手段１７は、得られた像ブレ補正プロットに基づいて像ブレ補正のための調整目標値（像ブレ補正目標値）を作成する。続いてステップＳ１９０５において、ステップＳ７０７と同様に、駆動手段１８ａは、調整手段１７により得られた調整目標値に基づいて、像ブレ補正レンズ１２ａを駆動する。続いてステップＳ１９０６において、ステップＳ７０８と同様に、信号読み出し手段１５は、次の領域の画像信号を読み出す。続いてステップＳ１９０７において、信号読み出し手段１５は、ステップＳ７０９と同様に、１フレーム内で画像形成に必要な領域の画像信号が読み出されたか否かを判定する。画像信号が読み出されている場合、ステップＳ１９０８へ進む。一方、１フレーム内で読み出す領域が残っている場合、ステップＳ１９０２へ戻り、繰り返して画像信号を読み出し、その信号に基づいて像ブレ補正を行う。
【０１２２】
ステップＳ１９０８において、画像処理手段１９または画像情報演算手段１６は、規定フレームの処理が終わったか否かを判定する。規定フレームとは、図１８（ａ）に示されるフレーム１８０２、１８０３の２フレームであるが、より多くのフレームを用いて静止画撮影画像を構成する場合にはそのフレームの数になる。続いてステップＳ１９０９において、画像処理手段１９は、撮影したフレームの間のズレを画像の特徴点位置をあわせるなど位置合わせ処理を行い、フレーム間のズレをなくす。続いてステップＳ１９１０において、画像処理手段１９は、位置合わせしたフレームを合成して静止画画像を得る。
【０１２３】
図１９ｂは、図１０（ａ）のピント補正のフロー（Ｓ１００１〜Ｓ１０１０）に静止画撮影のための専用のステップ（Ｓ１９１１〜Ｓ１９２０）を加えたフローチャートであり、図１０（ａ）と同じステップは同じ番号で表しその説明は省略する。
【０１２４】
ステップＳ１９１１において、撮影者は例えば撮像装置１００（カメラ）に設けられたレリーズボタンを押し切り、静止画撮影開始指示を行うまでは、ステップＳ１０１０を経由してステップＳ１００１またはステップＳ１００３へ戻り、このフローを繰り返す。ステップＳ１９１１にて静止画撮影指示動作が行われると、ステップＳ１９１２へ進む。ステップＳ１９１２において、信号読み出し手段１５は、ステップＳ１００３と同様に、ステップＳ１００２にて設定した読み出し順に、領域ごとに画像信号を読み出す。続いてステップＳ１９１３において、ステップＳ１００４と同様に、画像情報演算手段１６は、読み出された画像信号の領域ごとに焦点状態を検出し、信号読み出し手段１５の指示に基づいてピント補正プロットを作成する。
【０１２５】
続いてステップＳ１９１４において、調整手段１７は、ステップＳ１００５と同様に、得られた像ブレ補正プロットに基づいて、像ブレ補正のための調整目標値（ピント補正目標値）を作成する。続いてステップＳ１９１５において、駆動手段１８ａは、ステップＳ１００６と同様に、調整手段１７により得られた調整目標値に基づいて、フォーカスレンズ１２ｂを駆動する。続いてステップＳ１９１６において、信号読み出し手段１５は、ステップＳ１００７と同様に、次の領域の画像信号を読み出す。続いてステップＳ１９１７において、信号読み出し手段１５は、ステップＳ１００８と同様に、１フレーム内で画像形成に必要な領域の画像信号が読み出されたか否かを判定する。画像信号が読み出されている場合、ステップＳ１９１８へ進む。一方、１フレーム内で読み出す領域が残っている場合、ステップＳ１９１２へ戻り、繰り返して画像信号を読み出し、その信号に基づいてピント補正を行う。
【０１２６】
ステップＳ１９１８において、画像処理手段１９または画像情報演算手段１６は、規定フレームの処理が終わったか否かを判定する。規定フレームとは、図１８（ｂ）におけるフレーム１８０２、１８０３の２フレームであるが、より多くのフレームを用いて静止画撮影画像を構成する場合にはそのフレームの数になる。続いてステップＳ１９１９において、画像処理手段１９は、撮影したフレームの間のズレを画像の特徴点位置をあわせるなど位置合わせ処理を行い、フレーム間のズレをなくす。続いてステップＳ１９２０において、画像処理手段１９は、位置合わせしたフレームを合成して静止画画像を得る。
【０１２７】
図１８（ａ）に示されるように、１フレームの蓄積開始走査の設定時間に対し、信号読み出し手段１５は信号読み出しの時間を遅くすることにより、蓄積時間はそのままで全体の撮影時間を短縮することができる。このような処理を行うと、画面の上下で蓄積時間が異なるために露光ムラができるが、露光ムラが逆の２画像を合成することによりそれを補完することが可能である。すなわち信号読み出し手段１５は、露光ムラを発生させることにより、静止画撮像中に像ブレ補正またはピント補正を行う。
【０１２８】
図２０は、本実施形態における別の静止画撮影対応の信号読み出し手段の動作の説明図である。露光ムラを画像信号のゲインアップで補うことを考えると、図２０（ａ）に示されるように、フレーム１８０２だけで静止画画像を作成することができ、静止画撮像中に像ブレ補正を行うことができる。この場合、発生する露光ムラは、画面の上下に沿って一定の量になる。このため、それを補うように、例えば画面の上部ほど画像信号のゲインを高くし、画面中央はゲイン補正を行わず、画面下部は逆にゲインを小さくして画面全体の露光安定化を図ってもよい。また、露光ムラを起こさせない撮影法として、図２０（ｂ）に示されるように、蓄積時間に応じてフレーム枚数を増やし、それらを合成することにより一枚の静止画を得ることもできる。
【０１２９】
図２０（ａ）では、灰色パターンのフレーム２００２〜２００５を撮影した後、それらの画像を図１９ａのステップＳ１９０９、Ｓ１９１０に従って位置合わせして合成する。これにより、１フレームの信号蓄積時間２００７に対して全体の撮影時間２００８を長くすることがない（長い信号読み出し時間が不要となる）。また、静止画撮像中も各々の像ブレ補正プロット２００１ａ´〜２００６ｅ´で求められる像ブレ補正波形２００７に基づいて、像ブレ補正レンズ１２ａは像ブレ補正を行うことができる。このように、合成枚数を増やすと画像信号読み出し時間を長くする必要が無いため、像ブレ補正プロットが密に得ることができる。また、そのため、１フレームの領域細分化は不要になる。
【０１３０】
以上のように、画像処理手段１９は、複数の画像情報に基づき調整目標値を求めるフレームと、それ以降のフレームを合成して静止画とする事で撮影時間の短縮化を図ることができる。画像情報分布検出部１６ａは、フレーム間に隣接する読み出し時間を蓄積時間に対応させる（蓄積時間が長いと読み出し時間も長くする）ことにより、像ブレ補正プロットを万遍なく得ることができる。信号読み出し手段１５は、１フレームの蓄積開始走査の設定時間に対して信号読み出しの時間を遅くすることにより、蓄積時間はそのままで全体の撮影時間を短縮することができる。また信号読み出し手段１５は、１フレームの蓄積開始走査の設定時間に対して信号読み出しの時間を遅くしたフレームの次のフレームでは、１フレームの蓄積開始走査の設定時間度に対して信号読み出しの時間を速くする。これにより、蓄積時間はそのままで全体の撮影時間を短縮することができる。
【０１３１】
（第５実施形態）
次に、本発明の第５実施形態について説明する。第４実施形態においても画像蓄積開始および信号読み出しのために必要な時間が実際の画像蓄積時間に加わるため、撮影時間は長くなる。蓄積開始時間および読み出し時間を実際の信号蓄積時間と分離する方法としては、例えば図１に示されるメカニカルシャッタ１４ａを用いることが考えられる。
【０１３２】
図２１は、本実施形態における静止画撮影対応の信号読み出し手段の動作の説明図である。図２１（ａ）は、蓄積開始時において信号読み出し手段１５により電子的に信号蓄積をリセットし、読み出し時においてメカニカルシャッタ１４ａで被写体光束が撮像素子１４に届かないように遮光して撮影時間と信号蓄積時間を揃える例である。線分２１０１は、信号読み出し手段１５により画像信号をリセットするラインであり、これによりフレーム１８０２における図中網線で示した区間の画像信号２１０２はリセットされる。このため、線分２１０１の時点では、画像信号の読み出しを行うことはできない。
【０１３３】
フレーム１８０２における領域１８０２ａ１は、信号蓄積時間が短い為に、画像情報が得られない。しかしながら、前のフレーム１８０１により得られる像ブレ補正プロット１８０１ａ´〜１８０１ｅ´により、画像情報補完部１６ｅは領域１８０２ａ１で読み出される像ブレ補正プロット１８０２ａ１´（黒丸で示される）を予測することができる。フレーム１８０２における領域１８０２ａ２は、領域１８０２ａ１よりも信号蓄積時間が長いが、十分な信号蓄積は行われていない。このため、その信号をゲインアップし、像ブレ補正プロット１８０２ａ２´（灰丸で示される）を得る。それ以降の領域１８０２ｂ１〜１８０２ｅ２は、信号蓄積時間が十分であるため、像ブレ補正プロット１８０２ｂ１´〜１８０２ｅ２´を得ることができる。
【０１３４】
次のフレーム１８０３においては、メカニカルなシャッタ１４ａが線分２１０３より閉じ、次の線分２１０４までの間の撮像手段１４を被写体光束から遮光する。このため、網線２１０５で示される区間は、被写体光束からの画像情報は得られない。しかしながら、領域１８０３ａ２、１８０３ｂ２、１８０３ｃ２は、遮光前までに十分な画像情報が得られるため、像ブレ補正プロット１８０３ａ２´、１８０３ｂ２´、１８０３ｃ２´を得ることができる。すなわち、メカニカルシャッタ１４ａによる遮光中に読み出される画像信号を用いて、像ブレ補正を連続的に行うことができる。しかし、フレーム１８０３における領域１８０３ｄ２の画像信号は、信号蓄積時間が短いため、ゲインアップして像ブレ補正プロット１８０２ｄ２´（灰丸で示される）を得る。
【０１３５】
また、フレーム１８０３における領域１８０３ｅ２は、信号蓄積時間が更に短く、画像情報が得られない。しかしながら、それより前に得られる像ブレ補正プロット１８０ａ２´、１８０３ｂ２´、１８０３ｃ２´、１８０３ｄ２´により、画像情報補完部１６ｅは領域１８０２ｅ２で読み出される像ブレ補正プロット１８０３ｅ２´（黒丸で示される）を予測できる。同様に、像ブレ補正プロット１８０４ａ´は予測、像ブレ補正プロット１８０４ｂ´はゲインアップで得られる。
【０１３６】
図２１（ｂ）は、各フレームの蓄積開始と信号読み出しおよび蓄積信号リセットとメカニカルシャッタ１４ａによる撮像手段１４の遮光のタイミングを示すタイミングチャートである。図２１（ｂ）において、１８０１ｓ、１８０２ｓ、１８０３ｓ、１８０４ｓは、各フレーム１８０１〜１８０４の信号蓄積開始期間であり、白丸で示される。図２１（ｂ）において、１８０１ｒ、１８０２ｒ、１８０３ｒ、１８０４ｒは、各フレーム１８０１〜１８０４の信号読み出し期間あり、黒丸で示される。線分２１０６は、信号読み出し手段１５が静止画撮影に先立って画像信号をリセットするタイミング２１０８を示し、フレーム１８０１の信号読み出し１８０１ｒ直後に信号リセットを行う。このため、フレーム１８０２において、そのリセット２１０８より前に信号蓄積を開始した情報もリセットされる。線分２１０７は、メカニカルシャッタ１４ａが撮像手段１４を遮光しているタイミング２１０９を示し、フレーム１８０３の信号読み出し１８０３ｒの開始直後に遮光を行う。このため、遮光期間における撮像手段１４は、画像信号の蓄積ができない。
【０１３７】
このように、信号リセットおよびメカニカルシャッタ１４ａによって画像信号の一部は得られないが、撮影時間は信号蓄積時間１８０７とほぼ同じ時間にすることができる。図２１（ａ）は、像ブレ補正を例に説明したが、焦点調節の場合および図１８（ｂ）に示されるように特徴点やピントを合わせる被写体が中央に集中している場合においても、本実施形態は適用可能である。また、信号読み出し手段１５による信号蓄積のリセットに関し、メカニカルシャッタ１４ａを用いて線分２１０１までの区間、撮像手段１４を被写体光束に対して遮光してもよい。
【０１３８】
以上のように、本実施形態では、画像処理手段１９で合成される複数フレームにおいて、最初に撮影されるフレームの蓄積開始を制御する蓄積制御手段（信号読み出し手段１５、メカニカルシャッタ１４ａ）が設けられる。または、複数のフレームにおける最後に撮影されるフレームの信号読み出し制御する読み出し制御手段（メカニカルシャッタ１４ａ）が設けられる。蓄積制御手段または読み出し制御手段の少なくとも一つを設けることにより、撮影時間の短縮化を実現することができる。また、読み出し制御手段であるメカニカルシャッタ１４ａが撮像手段１４を遮光中に読み出される画像信号を用いて像ブレ補正を行うことにより、像ブレ補正を連続して行うことが可能である。
【０１３９】
（第６実施形態）
次に、本発明の第６実施形態について説明する。前述の第１〜第５実施形態においては、各フレームで得られた画像信号を用いて順次像ブレ補正レンズ１２ａやフォーカスレンズ１２ｂを駆動制御する。一方、本実施形態においては、各フレームで得られた画像信号に基づいて像ブレ補正レンズ１２ａやフォーカスレンズ１２ｂの調整目標値を作成するが、実際にそれらを駆動するのは、そのフレーム以降とする例である。例えば、静止画撮像中に継続してフォーカスレンズ１２ｂを駆動すると、その駆動と画像信号から焦点状態を検出する処理が電力的に両立しない場合である。ここでは、静止画の連続撮影を行う場合を考える。
【０１４０】
図２２は、本実施形態における信号読み出しおよびレンズ制御の説明図である。図２２（ａ）において、フレーム２２０１で得られる各領域２２０１ａ〜２２０１ｅによる焦点状態を示すプロット２２０１ａ´〜２２０１ｅ´は、破線２２０５で示される望ましいフォーカスレンズ駆動軌跡上にある。そしてこれらのプロットを利用して、次のフレーム２２０２の信号蓄積時間中心２２０２ｇにおける望ましい焦点状態プロット２２０２ｇ´を画像情報補完部１６ｅが適応フィルタや線形予測を用いて予測する。フォーカスレンズ１２ｂは、灰色の太線２２０６のように、次のフレーム２２０２の撮像中にステップ的に駆動される。このように、画像信号の読み出し、焦点状態検出処理とフォーカスレンズ１２ｂの駆動は、時間的にずれるため、電力などの両立が可能になる。このような動作をフレーム２２０３、２２０４でも繰り返し、ピントの合った連続撮影を行うことができる。
【０１４１】
図２２（ｂ）は、連続撮影の間にメカニカルシャッタ１４ａによる撮像手段１４の遮光を行う例である。図２２（ｂ）において、各フレームでメカニカルシャッタ１４ａが線分２１０３より閉じ、次の線分２１０４までの間の撮像手段１４を被写体光束から遮光する。このため、網線２１０５で示される区間は、被写体光束からの画像情報は得られない。しかしながら、領域遮光を行う前までに十分な画像情報が得られるため、遮光中に読み出される画像信号に基づいて像ブレ補正プロット２２０１ａ´〜２２０４ｅ´を得ることができる。そして、これらのプロットを利用して、次のフレームの蓄積時間中心における望ましい焦点状態プロットを画像情報補完部１６ｅが適応フィルタや線形予測を用いて予測する。フォーカスレンズ１２ｂは、灰色の太線２２０６のように、次のフレーム２２０２の撮像中にステップ的に駆動される。
【０１４２】
図２２（ｃ）には、各撮影のフレーム間に焦点状態検出演算のための余裕時間２２０７、２２０８を設けた場合を示している。そして、その余裕時間中にフォーカスレンズ１２ｂを駆動する。焦点状態を示すプロット２２０１ａ´〜２２０１ｅ´を用いて、次のフレーム２２０２の蓄積時間中心２２０２ｇにおける望ましい焦点状態プロット２２０２ｇ´を、画像情報補完部１６ｅが適応フィルタや線形予測を用いて予測する。そして、余裕時間２２０７の間に、その焦点状態でピントが合うように、フォーカスレンズ１２ｂを矢印２２０９の時点で駆動を完了させる。フレーム２２０３についても同様に、矢印２２１０の時点でフォーカスレンズ１２ｂの駆動を完了させる。このように、１フレーム内で求めた複数の画像信号（焦点状態）に基づいて、次以降のフレームに関する撮像ユニットの調整目標値（フォーカスレンズやブレ補正レンズの調整目標値）を画像情報補完部１６ｅが予測することで、機動性の高い撮影動作が可能となる。
【０１４３】
以上のように、各実施形態においては、１フレーム内の複数の画像信号で撮像ユニットを制御することができ、レスポンスの高いブレ補正やピント補正が行うことが可能である。また、１フレーム内の異なる画像信号を用いて画像情報を求めているため、従来のように同一の画像信号を非破壊で繰り返し読み出す手法よりも画像に重畳するノイズを低減することができる。
【０１４４】
第１実施形態では、１フレーム内で起きる手振れやピントズレをそのフレーム内で像ブレ補正レンズ１２ａやフォーカスレンズ１２ｂで補正することを説明した。第３実施形態では、それらの静止画への応用を説明した。第６実施形態では、連写撮影への応用を説明した。ただし、各実施形態は像ブレ補正やピント補正に限定されるものではなく、移動絞り１２ｃの駆動などの他の補正にも適用可能である。例えば、１フレームの動画や静止画を撮影している間に得られる被写体の明るさ変化を画像情報として求め、それに応じてそのフレーム内で移動絞りを駆動する。または、連写撮像中において前のフレームで求めた被写体の明るさ変化を次のフレームで移動絞りを動かして直ぐ補正することが可能である。
【０１４５】
一例として、図２３ａおよび図２３ｂを参照して、連続撮影を行う場合における移動絞りの制御について説明する。図２３ａは、連続撮影を行う際の移動絞りの制御の説明図である。ここでは、図９（ｃ）に示されるような被写体を撮影する場合を考える。この場合、好ましい測光値は、領域９２ａ〜９２ｅにおける光量となる。そこで、それらの各領域の平均光量を求め、その平均光量のフレームごとの変化を移動絞りの駆動目標値にする。
【０１４６】
図２３ａにおいて、フレーム２２０２における各領域２２０２ａ〜２２０２ｅの平均光量を読み出す。次に、前のフレーム２２０１における全領域の平均光量と領域毎の平均光量の比較値結果２３０１と現フレームの各領域２２０２ａ〜２２０２ｅの平均光量を演算し、各領域が読み出される時点における全領域の平均光量２２０２ａ´〜２２０２ｅ´を求める。求められた光量変化を延長して、次のフレーム２２０３における蓄積重心２２０３ｇ時点の光量２２０３ｇ´を予測し、その予測結果に基づいて移動絞りを駆動する。このような動作をフレームごとに繰り返し、連続撮影の各コマに対して常に適正な露出を得られるようにする。
【０１４７】
図２３ｂは、図２３ａに示される移動絞りの制御を示すフローチャートであり、説明を分かりやすくするため、本実施形態と直接関連しない要素は省いている。このフローは、撮影者が例えば撮像装置１００（カメラ）に設けられたレリーズボタンの半押しのような撮影準備操作を行い、操作手段１１２がＣＰＵ１１１に撮影準備指示を入力した時にスタートし、撮影準備指示が解除された時点でこのフローは終了する。
【０１４８】
まずステップＳ２３０１において、画像処理手段１９または画像情報演算手段１６で得られた画像に基づいて、画像情報分布検出部１６ａは、測光するべき領域を画像情報抽出範囲として選択する。測光するべき領域の選択とは、例えば図９（ｃ）において最もカメラに近い物体を主被写体とし、主被写体を捉える画像領域を測光領域に設定することである。続いてステップＳ２３０２において、信号読み出し手段１５は、領域ごとに画像信号を読み出す。続いてステップＳ２３０３において、ＣＰＵ１１１は、読み出された画像信号の領域ごとに、その全領域の平均光量を検出する。ここで、全領域の平均値を利用するのは、局所的な領域では光量が大きく変化が生ずる可能性があるためである。
【０１４９】
続いてステップＳ２３０４において、信号読み出し手段１５は、次の領域の読み出しを行う。ここで、信号読み出し手段１５は、１フレーム内で画像形成に必要な領域の画像信号が読み出されたか否かを判定する。画像信号が読み出された場合、ステップＳ２３０６へ進む。一方、１フレーム内で読み出す領域が残っている場合、ステップＳ２３０１へ戻り、領域読み出しおよび平均光量検出を繰り返す。
【０１５０】
ステップＳ２３０６において、画像情報演算手段１６は、前のフレームにおいて読み出した各領域の光量と、それを平均化して求めた前フレーム画像における全体平均光量とを読み出す。そして画像情報演算手段１６は、その前フレームの結果と現フレームにおける各領域の平均領域より、その領域を読み出す時点における現フレーム全体の光量を求める。例えば、現フレームのある領域の平均光量が前フレームで対応する領域の平均光量に対して光量が１０％増加したとすると、その時点における現フレームの全体平均光量は前フレームの全体平均光量を１０％増やした値とする。
【０１５１】
続いてステップＳ２３０７において、画像情報演算手段１６は、ステップＳ２３０６で得られた各領域読み出し時点の全体平均光量（２２０２ａ´〜２２０２ｅ´など）で得られる光量変化曲線２２０５より、次のフレームでの全体平均光量２２０３ｇ´を予測する。続いてステップＳ２３０８において、画像情報演算手段１６は、次のフレームでの光量演算に利用するため、現フレームの各領域で得られた光量を平均化し、現フレーム画像における全体平均光量を求める。続いてステップＳ２３０９において、調整手段１７は、駆動手段１８ｃを介して、ステップＳ２３０７で得られた予測光量に基づいて移動絞り１２ｃを駆動する。そしてステップＳ２３１０において、次のフレームに進む。
【０１５２】
続いてステップＳ２３１１において、画像処理手段１９または画像情報演算手段１６は、構図の変更が行われたか否かを判定する。構図の変更が行われていない場合、ステップＳ２３０２へ戻り、次のフレームでもステップＳ２３０１にて設定した条件で画像信号の読み出しを行う。一方、構図の変更が行われた場合、ステップＳ２３０１へ戻り、再度、測距枠の設定と読み出し順序の設定を行う。
【０１５３】
なお図２３ａおよび図２３ｂは、フレームごとに間欠的に移動絞りを駆動する例について説明したが、各領域で光量が検出されるごとに、その時点の全体平均光量に基づいて移動絞り１２ｃをリアルタイムに駆動してもよい。以上は、メカニカルな移動絞り１２ｃを駆動する場合であるが、移動絞り１２ｃを用いることなく画像の明るさを調整することもできる。例えば、調整手段１７から１フレーム中に逐次出力される被写体の明るさ信号を画像処理手段１９に入力することにより、画像のゲインアップ、ダウンを高い応答性で行うことが可能である。このように、１フレーム内の複数の画像信号に基づいて、ブレ補正レンズ、フォーカスレンズ、移動絞りの駆動制御や画像のゲイン補正を行うシステムに対して、各実施形態の手法を用いることにより、画像に重畳するノイズを効果的に低減することができる。このため、高品位な光学機器を実現可能である。
【０１５４】
このように各実施形態において、光学機器（撮像装置１００）は、信号読み出し手段１５と画像情報演算手段１６と調整手段１７とを含む制御装置を有する。信号読み出し手段１５は、撮像手段１４から得られる１フレーム画像（１フレーム内の画像）を複数の異なる領域に分割して読み出す。画像情報演算手段１６は、信号読み出し手段１５から得られる複数の異なる領域の各々の画像信号に基づいて画像情報を演算する。調整手段１７は、１フレーム画像の撮像中に、画像情報に基づいて撮像ユニットの調整目標値を決定する。
【０１５５】
各実施形態において、撮像装置１００は、撮像手段１４を備えたカメラ本体１３ｂと、カメラ本体１３ｂに着脱可能なレンズ鏡筒１３ａとを備えて構成される。各実施形態は、制御装置を構成する信号読み出し手段１５と画像情報演算手段１６と調整手段１７の全てがカメラ本体１３ｂに設けられている構成に限定されるものではない。信号読み出し手段１５と画像情報演算手段１６と調整手段１７の少なくとも一つがレンズ鏡筒１３ａに設けられていてもよい。例えば、光学機器は、撮像手段１４を有する撮像装置１００に着脱可能なレンズ鏡筒１３ａ（レンズ装置）であって、信号読み出し手段１５と画像情報演算手段１６と調整手段１７とを有する。または、光学機器は、撮像手段１４と信号読み出し手段１５とを有する撮像装置に着脱可能なレンズ鏡筒であって、画像情報演算手段１６と調整手段１７とを有する。または、光学機器は、撮像手段１４と信号読み出し手段１５と画像情報演算手段１６とを有する撮像装置に着脱可能なレンズ鏡筒であって、調整手段１７を有する。
【０１５６】
（その他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１５７】
各実施形態によれば、１フレーム内の複数の画像信号に基づいて撮像ユニットを制御する際に、画像に重畳するノイズを低減可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【０１５８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１５９】
１５  信号読み出し手段
１６  画像情報演算手段
１７  調整手段
【図１】
0006704679.tif 000002
【図２】
0006704679.tif 000003
【図３】
0006704679.tif 000004
【図４】
0006704679.tif 000005
【図５】
0006704679.tif 000006
【図６】
0006704679.tif 000007
【図７ａ】
0006704679.tif 000008
【図７ｂ】
0006704679.tif 000009
【図７ｃ】
0006704679.tif 000010
【図７ｄ】
0006704679.tif 000011
【図７ｅ】
0006704679.tif 000012
【図７ｆ】
0006704679.tif 000013
【図７ｇ】
0006704679.tif 000014
【図８】
0006704679.tif 000015
【図９】
0006704679.tif 000016
【図１０】
0006704679.tif 000017
【図１１】
0006704679.tif 000018
【図１２】
0006704679.tif 000019
【図１３】
0006704679.tif 000020
【図１４】
0006704679.tif 000021
【図１５】
0006704679.tif 000022
【図１６】
0006704679.tif 000023
【図１７】
0006704679.tif 000024
【図１８】
0006704679.tif 000025
【図１９ａ】
0006704679.tif 000026
【図１９ｂ】
0006704679.tif 000027
【図２０】
0006704679.tif 000028
【図２１】
0006704679.tif 000029
【図２２】
0006704679.tif 000030
【図２３ａ】
0006704679.tif 000031
【図２３ｂ】
0006704679.tif 000032