(57)【要約】【課題】Ｓ／Ｎ低下を抑えつつ、画像信号を垂直期間毎に取得するとともに、各垂直期間内に撮影系の制御を応答性良く行えるようにする。【解決手段】２次元状に配置された複数の画素と、前記画素において第１の垂直期間内の第１の露光期間に光電変換された電荷を蓄積する蓄積手段と、前記画素において前記第１の垂直期間内の前記第１の露光期間とは異なる第２の露光期間に光電変換された電荷に基づく第２の画素信号を、前記第１の垂直期間内に複数の画素から順次読み出すとともに、前記第１の露光期間に光電変換され前記蓄積手段に蓄積された電荷に基づく第１の画素信号を前記第１の垂直期間後の第２の垂直期間内に読み出す読出し手段と、前記読出し手段によって読出された前記第２の画素信号を用いて撮影系の駆動をする駆動手段と、前記読出し手段によって読出された前記第１の画素信号から表示用または記録用の画像信号を形成する画像処理手段と、を有する。【選択図】  図５
2020096224.tif 000002
【特許請求の範囲】
【請求項１】
２次元状に配置された複数の画素と、
前記画素において第１の垂直期間内の第１の露光期間に光電変換された電荷を蓄積する蓄積手段と、
前記画素において前記第１の垂直期間内の前記第１の露光期間とは異なる第２の露光期間に光電変換された電荷に基づく第２の画素信号を、前記第１の垂直期間内に複数の画素から順次読み出すとともに、前記第１の露光期間に光電変換され前記蓄積手段に蓄積された電荷に基づく第１の画素信号を前記第１の垂直期間後の第２の垂直期間内に読み出す読出し手段と、
前記読出し手段によって読出された前記第２の画素信号を用いて撮影系の駆動をする駆動手段と、
前記読出し手段によって読出された前記第１の画素信号から表示用または記録用の画像信号を形成する画像処理手段と、を有する撮像装置。
【請求項２】
前記駆動手段は画像のブレを補正するためのブレ補正手段を駆動することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記駆動手段は焦点調整をするための焦点調整手段を駆動することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第２の画素信号から被写体の動きベクトルの検出を行う演算手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記駆動手段の固有振動数と前記演算手段の演算周波数が所定の関係となるように設定したことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記駆動手段の前記固有振動数よりも前記演算手段の前記演算周波数を高くしたことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の露光期間とは独立に前記演算手段の前記動きベクトルの検出周期を設定したことを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記撮像装置の振動を検出する振動検出手段を有し、
前記駆動手段は前記第２の画素信号と前記振動検出手段の出力を組み合わせて前記撮影系の駆動をすることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記撮像装置の撮影条件に応じて前記演算手段の前記動きベクトルの検出周期を変更することを特徴とする請求項４に記載の撮像装置。
【請求項１０】
前記複数の画素により複数の領域が形成され、前記領域毎に前記第１の露光期間、前記第２の露光期間のタイミングが共通に設定されていることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記複数の領域はそれぞれ複数の行によって構成されることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記複数の領域の内の第１の領域における前記第２の露光期間の電荷は前記駆動手段によって用いられ、第２の領域における前記第２の露光期間の電荷は前記駆動手段によって用いられないことを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
前記第１の領域と前記第２の領域における前記第２の露光期間の長さは同じであることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記第２の領域における前記第２の露光期間中は光電変換を行わないように制御することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記第１の領域と前記第２の領域を被写体形状に応じて変更することを特徴とする請求項１２に記載の撮像装置。
【請求項１６】
前記第１の垂直期間内における前記第２の露光期間のタイミングを照明手段の発光タイミングに基づいて変更する手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項１７】
前記読出し手段は前記第１の露光期間の電荷と前記第２の露光期間の電荷を合成することを特徴とする請求項１に記載の撮像装置。
【請求項１８】
前記第１の領域における前記第２の露光期間のタイミングを変更する手段を有することを特徴とする請求項１５に記載の撮像装置。
【請求項１９】
絞り値、焦点距離、像倍率のすくなくとも１つに基づいて前記第１の領域における前記第２の露光期間のタイミングを変更することを特徴とする請求項１８に記載の撮像装置。
【請求項２０】
予測されるブレの大きさに応じて前記第１の領域における前記第２の露光期間のタイミングを変更することを特徴とする請求項１８に記載の撮像装置。
【請求項２１】
前記第２の露光期間を挟んで前記第１の露光期間と第３の露光期間を有し、前記第１の露光期間と前記第３の露光期間に光電変換された電荷を合成して読み出すことを特徴とする請求項１に記載の撮像装置。
【請求項２２】
１垂直期間中の総露光期間を撮影モードまたは撮影条件に応じて変化させることを特徴とする請求項１に記載の撮像装置。
【請求項２３】
１垂直期間中の総露光期間を変化させても前記第２の露光期間の間隔を変化させないように制御することを特徴とする請求項１に記載の撮像装置。
【請求項２４】
前記第２の露光期間のタイミングが前記領域毎にずれていることを特徴とする請求項１０に記載の撮像装置。
【請求項２５】
前記第１の領域の前記第２の露光期間のタイミングが前記領域毎にずれていることを特徴とする請求項１３に記載の撮像装置。
【請求項２６】
撮影条件に応じて前記第２の露光期間の長さまたは間隔を変更することを特徴とする請求項１に記載の撮像装置。
【請求項２７】
前記第１の画素信号と前記第２の画素信号は水平期間の中でずらして読出されることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高速な制御に適した撮像装置に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置において、撮像素子を行方向の複数領域に分割設定し、領域ごとに時間をずらして読みだした画像信号を読み出すことが知られていた。またこのような画像信号を用いて焦点状態の変化やブレの変化、明るさの変化（以下撮影状態の変化）を検出し、それに基づいて光学要素を駆動する調整目標値を求める技術が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２１３６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に開示されている技術を用いて静止画像や動画像を得るためには、撮影状態を検出する為の画像信号と、露光を適正化するための画像信号を各々読出し合成する必要がある。画像信号は読出し時にノイズが重畳する為に、この方式では合成の為に２回読出しが必要になりＳ／Ｎ低下が起きる。本発明は例えば上記のような課題に鑑みてなされたものであり、Ｓ／Ｎ低下を抑えつつ、画像信号を垂直期間毎に取得するとともに、各垂直期間内に撮影系の制御を応答性良く行える撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、
２次元状に配置された複数の画素と、
前記画素において第１の垂直期間内の第１の露光期間に光電変換された電荷を蓄積する蓄積手段と、
前記画素において前記第１の垂直期間内の前記第１の露光期間とは異なる第２の露光期間に光電変換された電荷に基づく第２の画素信号を、前記第１の垂直期間内に複数の画素から順次読み出すとともに、前記第１の露光期間に光電変換され前記蓄積手段に蓄積された電荷に基づく第１の画素信号を前記第１の垂直期間後の第２の垂直期間内に読み出す読出し手段と、
前記読出し手段によって読出された前記第２の画素信号を用いて撮影系の駆動をする駆動手段と、
前記読出し手段によって読出された前記第１の画素信号から表示用または記録用の画像信号を形成する画像処理手段と、を有する。
【発明の効果】
【０００６】
Ｓ／Ｎ低下を抑えつつ、画像信号を垂直期間毎に取得するとともに、各垂直期間内に撮影系の制御を応答性良く行うことができる。
【図面の簡単な説明】
【０００７】
【図１】実施例の撮像装置のブロック図。
【図２】実施例１における撮像素子の構造を説明する模式図。
【図３】実施例１における画素の駆動タイミングチャート。
【図４】実施例１における撮影素子の領域分割設定と特徴点の検出位置を説明する図。
【図５】実施例１における撮像素子の露光期間とブレ補正手段の駆動を説明する図。
【図６】実施例１におけるブレ補正を行わない場合に得られる画像の模式図。
【図７】実施例におけるカメラの像面ブレを説明する概念図
【図８】実施例１における特徴点検出による動き信号算出方法を説明する模式図
【図９】実施例１におけるブレ補正周期と動き信号算出周期の関係を説明する図。
【図１０】実施例１におけるブレ補正用レンズの制御ブロック図。
【図１１】実施例１における撮像素子を駆動させてブレ補正を行う機構の制御ブロック図。
【図１２】実施例１におけるブレ補正機構の固有振動特性図。
【図１３】実施例１における露光期間が異なる場合の動き信号算出周期を説明する図。
【図１４】実施例１における撮影モードが変化する場合の動き信号算出周期を説明する図。
【図１５】実施例１における振動検出手段を組み合わせた動き信号の算出方法を説明する図。
【図１６】実施例１における制御フローチャート。
【図１７】実施例２における撮影条件に応じた露光期間制御を説明する図。
【図１８】実施例３における動き信号の算出方法を説明する図。
【図１９】実施例４における被写体形状認識と動き信号取得を説明する図。
【図２０】実施例４における撮影素子の領域分割設定と特徴点の検出位置を説明する図。
【図２１】実施例４における領域分割設定の更新を伴う動き信号の算出方法を説明する図。
【図２２】実施例５における画素構造を説明する模式図。
【図２３】実施例５における画素の駆動タイミングチャート。
【図２４】実施例６における撮像素子の露光期間制御と焦点状態検出の関係を説明する図。
【図２５】実施例６における撮像装置のブロック図。
【図２６】実施例６における画素構造および焦点状態検出を説明する図。
【図２７】実施例７における撮像素子の露光期間制御と焦点状態検出の関係を説明する図。
【図２８】実施例８における後幕シンクロ、先幕シンクロ撮影と撮像素子の露光期間制御との関係を説明する図。
【図２９】実施例８におけるマルチ発光ストロボと撮像素子の露光期間制御との関係を説明する図。
【図３０】実施例８における絞り値、焦点距離、像倍率等と撮像素子の露光期間制御との関係を説明する図。
【図３１】実施例８におけるブレ量と撮像素子の露光期間制御との関係を説明する図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【実施例１】
【０００９】
図１は本実施例の撮像装置としてのカメラ１１のブロック図である。なお撮像装置はデジタルカメラやデジタルビデオカメラ、監視カメラ、携帯電話のカメラ等を含む。カメラ１１はカメラボディ１１ａと交換レンズ１１ｂで構成される。交換レンズ１１ｂは撮影光学系１１５を含み、被写体像が撮影光学系１１５やブレ補正用レンズ１１０を通して撮像手段である撮像素子１２の撮像面上に結像される。なお、カメラ１１はレンズ一体型等のカメラであってもよい。
【００１０】
撮像素子１２とブレ補正用レンズ１１０はブレ補正手段として機能し、少なくとも一方が撮影光軸１０に略直交する面内で、被写体光束に対して相対的に回転又は並進する。これにより、被写体に対するカメラの動き（ブレ）による画像のブレ（以降、単にブレと呼ぶ）を打ち消すようにブレ補正がなされる。なお、撮像素子１２を物理的に移動させずに撮像素子の画像を電子的にシフトすることによってブレ補正をしてもよい。
【００１１】
撮像制御部１３により撮像素子１２が駆動制御され、撮像素子１２からの画素信号を画像処理部１４に供給することにより所定の画像処理が行われ、記録用／表示用の画像信号が形成される。そして画像信号は画像記憶部１５や画像表示部１７に供給される。また撮像素子１２からの画素信号をベクトル処理部１６に供給することにより後述する動きベクトル処理が行われて動きベクトル信号が得られる。振動検出部１８は例えば角速度を検出可能なジャイロセンサ等であり、カメラ１１のブレ情報を取得する。
【００１２】
ブレ調整部１１３ａはベクトル処理部１６からの動きベクトル信号と、撮影光学系１１５の光学情報や振動検出部１８からのブレ情報に基づいてブレ補正手段の調整目標値（駆動制御信号）を演算する。駆動部１９ａ及び１９ｂはブレ調整部１１３ａからの調整目標値に基づいてそれぞれ撮像素子１２及びブレ補正用レンズ１１０を駆動してブレ補正を行う。
ＣＰＵ１１３はコンピュータとして機能し、ブレ補正用レンズ１１０の駆動位置を検出する位置検出部１１１の信号や操作部１１２からの操作などに基づいて上述した各要素を制御している。なお、ＣＰＵ１１３はメモリ１１４に記憶されたコンピュータプログラムに基づき後述するカメラ内部の各種動作の制御を行う。
【００１３】
次に図２は撮像素子１２の構造例について示した図である。
図２に示すように撮像素子１２は横ｍ列、縦ｎ行の２次元状に配置された複数の光電変換部（画素）から構成されており、ひとつの光電変換部１２ｉｊを模式的なブロック図で示す。
フォトダイオード２１は被写体光を受光して光電変換し電荷を発生する。フォトダイオード２１で光電変換された電荷は蓄積スイッチ２３により、蓄積手段としてのコンデンサ２２に転送され、蓄積される。
コンデンサ２２に蓄積された電荷は第１の転送スイッチ２４を介して増幅回路２５に入力され、増幅されて画素信号となり読み出される。画素信号は出力切り替えスイッチ２８により画像処理部１４に出力される。
【００１４】
リセットスイッチ２６はドレインが電源電圧線（ＶＤＤ）に接続されており、フォトダイオード２１に蓄積された電荷を所定のタイミングでリセットする。そしてリセットを解除することによって新たな露光動作を開始する。
第２の転送スイッチ２７はフォトダイオード２１で光電変換され蓄えられた電荷をコンデンサ２２に蓄積せずに直接に増幅回路２５に入力させる。この場合読み出された画素信号は出力切り替えスイッチ２８によりベクトル処理部１６に出力される。
【００１５】
次に撮像制御部１３による撮像素子１２の制御について図３を用いて説明する。
図３は撮像制御部１３による撮像素子１２の駆動タイミングチャートである。図３において、３１は例えば１／３０秒の１垂直期間（１フレーム期間）内の露光期間（総露光期間）を示している。上記露光期間は１垂直期間と同じ長さであってもよいが、１垂直期間より短くてもよい。即ち、上記露光期間は垂直期間内の長さを有している。なお、本実施例において垂直期間（フレーム期間）とは２次元状に配置された複数の画素の信号全体を読み出すのに必要な期間のことを指す。露光期間３１は複数の露光期間により構成され、本実施例では第１の露光期間３１ａ、第２の露光期間３１ｂ、第３の露光期間３１ｃを含む。ただし、これらの露光期間は省略される場合もある。図１における操作部１１２を撮影者が操作することで撮影動作が開始される。各露光期間３１ａ、３１ｂ、３１ｃはリセットスイッチ２６によるフォトダイオード２１のリセットオフタイミング（リセットパルスの立下り）３２ａ、３２ｂ、３２ｃで開始される。
【００１６】
第１の露光期間３１ａでフォトダイオード２１で光電変換された電荷は蓄積スイッチ２３がタイミング３３ａでオンになることでコンデンサ２２に蓄積される。第２の露光期間３１ｂでフォトダイオード２１に蓄積された電荷は第２の転送スイッチ２７がタイミング３４でオンになることで増幅回路２５により増幅され、第２の画素信号としてベクトル処理部１６に出力される。第３の露光期間３１ｃでフォトダイオード２１に蓄積された電荷は蓄積スイッチ２３がタイミング３３ｂでオンになることでコンデンサ２２に追加して蓄積される。コンデンサ２２に蓄積された電荷は第１の転送スイッチ２４がタイミング３５でオンになることで増幅回路２５により増幅され、第１の画素信号として画像処理部に１４に出力され記録用あるいは表示用の画像信号が形成される。
【００１７】
尚、第３の露光期間３１ｃでフォトダイオード２１に蓄積された電荷を第２の転送スイッチ２７をタイミング３４でオンにする事で増幅回路２５に入力してもよい。そしてタイミング３５で第１の転送スイッチ２４をオンにする事でコンデンサ２２に蓄積された第１の露光期間３１ａの電荷も増幅回路２５に入力してもよい。それによって第１の露光期間３１ａおよび第３の露光期間３１ｃで得られた信号を増幅回路３５により加算合成し増幅して画像処理部１４に出力してもよい。
【００１８】
ここで、第１及び第３の露光期間３１ａ、３１ｃで蓄積された電荷を読み出すことで得られる画素信号（第１の画素信号）を表示用または記録用の画像信号を形成するために使用する。一方、第２の露光期間３１ｂで蓄積された電荷を読み出すことで得られる画素信号（第２の画素信号）をカメラ１１の撮影状態の変化を検出する為の信号として使用する。
【００１９】
本実施例では、撮像制御部１３は蓄積スイッチ２３、第１の転送スイッチ２４、第２の転送スイッチ２７、リセットスイッチ２６等を制御することで、撮像素子１２の各行毎に第１から第３の露光期間３１ａ、３１ｂ，３１ｃの長さやタイミングを変化させる。
続いて、各行毎の第１から第３の露光期間３１ａ、３１ｂ，３１ｃの制御について図４と図５を用いて説明する。
【００２０】
図４は本実施例における撮像素子１２の複数行ずつの分割領域を設定する方法と被写体像の特徴点検出位置を説明する模式図である。図４において、１２０はベクトル処理部１６が撮像素子１２から第２の画素信号として取得する画像を、４１は画像１２０中の被写体像をそれぞれ示す。なお、以降の説明は、撮像素子１２として、一般的な行毎に読み出しを行うＣＭＯＳイメージセンサを用いた場合を想定して行う。
【００２１】
図４の実施例では、撮像制御部１３により、撮像素子１２を複数行ずつ列方向に並んだ複数の領域１２ａ〜１２ｆに分割設定して各々の領域ごとに後述する露光期間や蓄積タイミングの制御を行う。更に、それぞれの領域１２ａ〜１２ｆから得られる画像を１２０ａ〜１２０ｆとする。また、４１＿１１〜４１＿２６は被写体像４１中の特徴点を示し、画像１２０ａ〜１２０ｆの中から、各種の画像認識処理により、それぞれ少なくとも２か所ずつ検出される。例えば、領域１２０ｂからは特徴点４１＿１２と４１＿２２が検出される。画像１２０ａ〜１２０ｆはそれぞれ例えば２００画素行毎で構成されており、それらの画素行を用いて特徴点４１＿１１〜４１＿２６の形状や重心位置を求めることができる。なお、これらの領域分割はＣＭＯＳイメージセンサの複数行ごとに分割している。他にも、例えば仮に列毎に読み出すタイプのセンサを用いた場合には、複数列毎に分割すればよい。なお複数の領域１２ａ〜１２ｆは隣接していなくてもよく、例えば複数行おきに飛び飛びに例えば１行〜数行ずつ設けてもよい。
【００２２】
本実施例では、１垂直期間中の露光期間３１に領域毎にタイミングをずらしながら撮像素子１２の各領域１２ａ〜１２ｆから第２の画素信号を取得することで、ベクトル処理部１６が画像１２０ａ〜１２０ｆを取得する。そして、後述する方法により、特徴点４１＿１１〜４１＿２６の移動ベクトル（動きベクトル）を算出することで、撮影系の調整目標値に相当するカメラ１１の動き信号を算出する。この動き信号は、被写体とカメラ１１の相対的な動きに関する信号である。よって、被写体が静止している場合には、カメラ１１の動き信号はカメラ１１のブレ信号に相当するため、カメラ１１のブレ補正を行うことができるようになる。なお、主被写体が動いている場合でも、各種の画像認識処理により、静止している背景の被写体から被写体像４１を認識して特徴点を検出するようにすることで、同様にカメラ１１のブレ信号を算出してブレ補正を行うことができる。以降の説明では便宜上、主被写体が静止しており、その像を被写体像４１として認識して制御を行うものとする。
【００２３】
図５は撮像素子１２の領域１２ａ〜１２ｆにおける第１から第３の露光期間の制御と、カメラ１１の例えばブレ補正用レンズ１１０の駆動制御を説明する図である。図５において、縦軸は，撮像素子１２の列方向と、ブレ補正用レンズ１１０の駆動方向５２（代表として１方向のみ図示）である。一方、横軸は時間軸である。
【００２４】
第１から第３の露光期間３１ａ〜３１ｃの数字の後に続く文字ａ〜ｆが各領域１２ａ〜１２ｆに対応している。よって、図５に示した領域１２ａでは、第１の露光期間は設定されず、第２の露光期間３１ｂａと第３の露光期間３１ｃａで構成されることを示している。そして図３のタイミングチャートで説明したように、第２の露光期間３１ｂａから読みだされる画素信号は第２の画素信号として露光期間３１内（現在の第１の垂直期間内）に順次読み出されベクトル処理部１６に出力される。第３の露光期間３１ｃａから読みだされる画素信号はコンデンサ２２に蓄積されたのちに第１の画素信号として次の第２の垂直期間内に画像処理部１４に出力される。（図２を用いて説明した様にコンデンサ２２に蓄積されず、第２の転送スイッチ２７を介して直接に画像処理部１４に出力信号してもよい。）
【００２５】
一方、領域１２ｂでは、第１の露光期間３１ａｂから読みだされる画素信号はコンデンサ２２に蓄積され、第２の露光期間３１ｂｂから読みだされる画素信号は第２の画素信号としてベクトル処理部１６に露光期間３１内に出力される。すなわち現在の垂直期間内（第１の垂直期間内）に出力される。第３の露光期間３１ｃｂから読みだされる画素信号はコンデンサ２２に蓄積され、第１の露光期間３１ａｂで得られた画素信号と加算されて第１の画素信号として次の垂直期間内（第１の垂直期間後の第２の垂直期間内）に画像処理部１４に出力される。なお第３の露光期間３１ｃｂの画素信号は第２の転送スイッチ２７を介して直接に増幅回路２５に供給し、第１の露光期間３１ａｂで得られた画素信号はコンデンサ２２を介して増幅回路２５に供給し、両者を加算したのち画像処理部１４に出力してもよい。
【００２６】
以下同様な動作を繰り返し、領域１２ｆでは第１の露光期間３１ａｆに光電変換された電荷はコンデンサ２２に蓄積され、第２の露光期間３１ｂｆに光電変換された電荷は第２の画素信号として露光期間３１内にベクトル処理部１６に出力される。第１の露光期間３１ａｆから読みだされコンデンサ２２に蓄積された電荷は次の垂直期間内に第１の画素信号として画像処理部１４に出力され記録用または表示用の画像信号が形成される。
なお、例えば第１の画素信号を水平期間中の水平走査期間に読み出し、第２の画素信号は水平期間のブランキング期間中または水平走査期間の前端または後端に読出すようにしてもよい。
なおここで水平走査期間とは水平期間の中の、水平ブランキング期間以外の期間を指す。
【００２７】
本実施例においては、図５に示すように、領域１２ａ〜１２ｆ間で、領域毎に前記第１の露光期間、第２の露光期間のタイミングが共通に設定されている。また第２の露光期間３１ｂのタイミングが徐々にずれるように撮像素子１２を駆動制御する。これにより露光期間３１内で、カメラ１１の動き信号算出用の画像１２０ａ〜１２０ｆとして、第２の画素信号を連続的に読み出すことができる。そして、カメラ１１の動き信号（ブレ信号）５１ａ〜５１ｆを算出し、このブレ信号に対応した調整目標値になるようにブレ補正手段（ブレ補正用レンズ１１０）を逐次駆動制御する。それによって応答性良くブレ補正を行うことができる。
【００２８】
なお、ブレ信号に基づきブレ補正をするためには公知の技術を用いればよい。なお、以降の説明では各時点の動き信号５１ａ〜５１ｆを総称して動き信号５１と呼ぶ。
【００２９】
なお、カメラ１１を用いて画像を撮影する際は、通常の第１の画素信号を優先して、第２の露光期間３１ｂよりも第１の露光期間３１ａと第３の露光期間３１ｃの合計の期間が長くなるように設定する。更に、第１の画素信号から適切な明るさの画像が得られるように、各種の撮影条件（露光時間、光学絞り、撮像素子１２の感度、コントラスト等）が調節される。よって、第２の画素信号から得られる画像１２０ａ〜１２０ｆは適切な明るさではない事も多く、そのままではコントラストが低い。その為に第２の画像信号のゲインを適宜増幅する事でベクトル処理部１６により特徴点抽出や被写体認識を行わせやすくする。
【００３０】
続いて第２の画素信号から得られる画像から特徴点を検出し、移動ベクトルを算出することで、カメラ１１の動き信号を算出する方法（特徴点検出による動き信号算出方法）について、図６から図８を用いて説明する。
【００３１】
図６はカメラ１１のブレ補正を行わない場合に得られる画像１２０を示す模式図である。図６において、破線で示す被写体像４１は、図５で示した撮影及び手振れ補正動作を行うフレームよりも前にあらかじめ撮影され認識された既知の像である。被写体像４１の画像はあらかじめ短い露光時間での撮影やストロボを用いた撮影、或いはブレがある複数の画像を平均化した撮影で得られた画像であり、被写体像４１はブレの影響は低減されている。一方、特徴点６１＿１１〜６１＿２６は各画像１２０ａ〜１２０ｆから抽出される特徴点である。図５より分かるように、各領域１２ａから１２ｆの第２の露光期間３１ｂは時間的にずれているため、被写体像の位置は異なってくる。その為に被写体像６１は被写体像４１に比べて像が歪んでいる。
【００３２】
一方、図７はカメラ１１の各種のブレに応じて発生する像面ブレを説明する概念図である。図７において、実線はカメラ１１が静止していた場合における、撮像素子１２から画像１２０が取得される際の撮像面における像を示す。破線１２０１、１２０２はカメラ１１が各種のブレにより動いた場合に像１２００が移動した像を示す。本実施例ではこの像１２００の動きを像面ブレとして定義して説明する。
【００３３】
カメラ１１における像面ブレは、図７（Ｂ）に示す並進成分と、図７（Ｄ）に示す回転成分の２種類の成分に分けられる。すなわち、像１２００の動きは撮影光軸１０に直交する撮像面内における上下左右方向への並進移動と、例えば撮影光軸１０に平行な軸を中心とした回転移動の成分に分けられる。そして、図７（Ｂ）に示す並進成分は、主に図７（Ａ）に示すカメラ１１のピッチ、ヨー、シフトのブレにより発生する。一方、図７（Ｄ）に示す回転成分は、主に図７（Ｃ）に示すカメラ１１のロールブレにより発生する。なお、図７（Ｃ）に示すようにロールブレの回転中心が撮影光軸１０と異なる場合は、像面ブレは回転成分に加えて並進成分も発生する（カメラ１１がロールに加えてシフト方向にも動いた事と同義）。
【００３４】
なお、以上の説明は、カメラのブレ補正において一般的な、下記の前提に基づくものであり、下記の前提の下では像１２００の形状は変化しないものとみなすことができる。
１．ピッチ及びヨーブレ量は十分に小さい
２．撮像素子と被写体の距離の変動は十分に小さい
３．レンズの歪曲収差は十分に小さい
４．撮影倍率が極端に大きくはない（例えば１倍以下）
【００３５】
図７（Ｂ）と図７（Ｄ）に示すように、像面ブレの並進成分と回転成分はそれぞれ、その動きは移動ベクトルｔоと回転ベクトル−Δθで表すことができる。そして、像面ブレの並進成分はブレ補正用レンズ１１０又は撮像素子１２を撮影光軸１０に対して直交する面内で並進させることで補正を行うことができる。回転成分は撮像素子１２を撮影光軸１０に対して平行な軸方向を中心として回転させることで補正を行うことができる。これらの補正原理は公知であるため、説明を省略する。そして、それぞれの補正量は撮影光学系の設計により算出可能であるため、上記の移動ベクトルｔоと回転ベクトル−Δθが分かればブレ補正を行うことができる。
【００３６】
よって、図６の各画像１２０ａ〜１２０ｆにおける２つの特徴点の移動ベクトル（例えば画像１２０ｆの６２＿１６と６２＿２６）から、上記の移動ベクトルｔоと回転ベクトル−Δθを算出し、これをカメラ１１の動き信号としてブレ補正を行う。
続いて、移動ベクトルｔоと回転ベクトル−Δθの算出方法について、図８を用いて説明する。
【００３７】
図８は像面ブレの算出方法を説明する模式図である。ここでは例えば、画像１２０ｂにおける算出方法を説明する。図８において、１２０＿００及び１２＿００はそれぞれ画像１２０と撮像素子１２の基準点を示し、ここでは撮影光軸１０に対応する位置に設定されている。ここで、ＣＰＵ１１３は予め撮影した被写体像４１に対して特徴点検出処理を行い、特徴点４１＿１２と４１＿２２の位置を記憶する。これにより、特徴点４１＿１２と４１＿２２の位置ベクトルｐ１２とｐ２２が既知である。そこで、画像１２０の被写体像６１から特徴点６１＿１２と６１＿２２を検出することで、特徴点の移動ベクトルｔ１２（６２＿１２）とｔ２２（６２＿２２）を算出することができる。
【００３８】
上述のように、被写体像は移動しても形状が変化しないため、特徴点４１＿１２と４１＿２２を結ぶ線分の傾きθ４１と、特徴点６１＿１２と６１＿２２を結ぶ線分の傾きθ６１の差分が像面ブレの回転ベクトル−Δθに相当する。よって、ベクトル演算によりまずは回転ベクトル−Δθを求めることができる。
【００３９】
次に、像１２００の動きについて考える。像１２００は回転ベクトル−Δθに従い回転して像１２０２となる。更に、この像１２０２が移動ベクトルｔоに従い並進することで像１２０３となる。これより、画像１２０の基準点１２０＿００に対応する像中心１２００＿００も移動ベクトルｔоに従い１２０３＿００の位置に移動する。ここで、この１２０３＿００の位置を仮想的な基準として、特徴点６１＿１２の仮想的な位置ベクトルｐ‘１２について考える。同様に被写体像は移動しても形状が変化しないため、この仮想的な位置ベクトルｐ‘１２は上記の特徴点４１＿１２の位置ベクトルｐ１２を回転ベクトル−Δθに従い回転させたものに相当する。よって、ベクトル演算により仮想的な位置ベクトルｐ’１２を算出することができる。
【００４０】
以上より、特徴点４１＿１２の位置ベクトルｐ１２、特徴点の移動ベクトルｔ１２、特徴点６１＿１２の仮想的な位置ベクトルｐ‘１２が分かるため、図８に示すように、ベクトル演算により移動ベクトルｔоを算出することができる。以上の方法で移動ベクトルｔоと回転ベクトル−Δθを算出することができるため、カメラ１１のブレを補正することができる。
【００４１】
図６ではブレ補正を行わない場合の画像１２０を示したため、被写体像６１には歪みが生じていた。しかし、実際にはブレ補正を行うことで、被写体像６１は被写体像４１の位置近傍におさまる。よって、続く第２の露光期間３１ｂｃ後の画像１２０ｃにおいても、同じ被写体像４１と新たに検出する特徴点６１＿１３、６１＿２３を用いて、同様の方法により移動ベクトルｔоと回転ベクトル−Δθを算出してブレ補正を行うことができる。以上より、特徴点検出による動き信号算出を繰り返すことで、撮影動作の１フレーム内でブレ補正を行うことができる。
【００４２】
図５で説明したように通常の画像形成用の第１の画素信号はコンデンサ２２に蓄えた後で一度に読み出す為に、先行技術に開示されている様に複数回読み出した後で画像を合成する手法と比べて、読み出しノイズ（ランダムノイズ）の重畳を抑えられる。
続いて、カメラ１１におけるブレ補正手段の制御について図９から図１２を用いて説明する。
【００４３】
図９はブレ補正手段の制御周期と第２の画素信号の読み出し周期の関係を説明する模式図である。図９において、７１はブレ補正用レンズ１１０の制御周期波形を、７２ａ〜７２ｅは図５の動き信号５１から後述する適応フィルタ等により予測補間される推定動き信号をそれぞれ示す。また、以降の説明では各時点の推定動き信号７２ａ〜７２ｅの総称として推定動き信号７２という表現を併せて用いる。図１で述べたように、ブレ補正用レンズ１１０はその駆動を検出する位置検出部１１１の信号でフィードバック制御されており、制御周期波形７１はその周期を示している。そして、この周期と、第２の画素信号を読みだして動き信号５１を算出する周期の関係を定めることで、より精度の高いブレ補正を行うことができる。
【００４４】
図９において、ブレ補正用レンズ１１０の制御周期波形７１における各波形の立ち下がり位相７１ａから７１ｌの各間隔は、例えば１０ｍｓに設定してある。それに対して各動き信号５１は例えば２０ｍｓの間隔で算出される。このように動き信号５１ａから５１ｆより細かい周期でブレ補正用レンズ１１０を制御することで、ブレ補正用レンズ１１０の制御時の動き信号読み誤りがなくなる。更に、図９では推定動き信号７２ａから７２ｅが設けられている。推定動き信号７２ａ〜７２ｅは動き信号５１を例えば時間方向で適応フィルタにより処理することで生成され、動き信号５１を補間する役割を果たす。これにより、動き信号５１の見かけ上の算出周期が例えば１０ｍｓとなり、時間方向でより高分解能になるため、より精度の高いブレ補正を行うことができるようになる。
【００４５】
図１０はブレ補正用レンズ１１０の制御ブロック図である。ブレ補正用レンズ１１０を保持する保持枠８２には矢印８３ｘ、８３ｙ方向に保持枠８２を駆動する駆動コイル８１ｘ、８１ｙと、その駆動コイル８１ｘ、８１ｙの中心には磁気式の位置検出部１１１ｘ、１１１ｙが設けられている。駆動コイル８１ｘ、８１ｙには対向して不図示の永久磁石が設けられている。そして駆動コイル８１ｘに電流を印加することで保持枠８２は電磁的に矢印８３ｘ方向に駆動され、駆動コイル８１ｙに電流を印加することで保持枠８２は電磁的に矢印８３ｙ方向に駆動される。位置検出部１１１ｘ、１１１ｙは保持枠８２とともに移動され、対向する永久磁石との相対位置変化を検出する。
【００４６】
位置検出部１１１ｘ、１１１ｙの信号はＡＤ変換器を内蔵したＣＰＵ１１３に入力されており、図９で説明した周期でアナログ−デジタル（Ａ／Ｄ）変換される。調整手段であるブレ調整部１１３ａからは動き信号５１および推定動き信号７２がＣＰＵ１１３のＡ／Ｄ変換周期と同期して出力される。また、ブレ調整部１１３ａからの信号と位置検出部１１１ｘ、１１１ｙの信号は比較部１１３ｘ、１１３ｙで比較され、比較信号としてそれぞれ駆動部１９ｘ、１９ｙに出力される。駆動部１９ｘ、１９ｙは入力された比較信号に基づき駆動コイル８１ｘ、８１ｙに例えばＰＷＭ方式やリニア方式で通電し駆動制御を行う。
【００４７】
図１１は撮像素子１２を移動させてブレ補正を行う機構における制御ブロック図である。撮像素子１２を保持する保持枠９１には矢印８３ｘ、８３ｙ方向に保持枠９１を駆動する駆動コイル８１ｘ、８１ｙ１、８１ｙ２と、その駆動コイル８１ｘ、８１ｙ１、８１ｙ２の中心には磁気式の位置検出部１１１ｘ、１１１ｙ１、１１１ｙ２が設けられている。駆動コイル８１ｘ、８１ｙ１、８１ｙ２には対向して不図示の永久磁石が設けられており駆動コイル８１ｘに電流を印加することで保持枠９１は電磁的に矢印８３ｘ方向に駆動される。また駆動コイル８１ｙ１、８１ｙ２に電流を印加することで保持枠９１は電磁的に矢印８３ｙ方向に駆動される。位置検出部１１１ｘ、１１１ｙ１、１１１ｙ２は保持枠９１とともに移動され、対向する永久磁石との相対位置変化を検出する。
【００４８】
位置検出部１１１ｘ、１１１ｙ１、１１１ｙ２の信号はＡＤ変換器を内蔵したＣＰＵ１１３に入力しており、図９で説明した周期でアナログ−デジタル（Ａ／Ｄ）変換される。ブレ調整部１１３ａからは動き信号５１および推定動き信号７２がＣＰＵ１１３のＡ／Ｄ変換周期と同期して出力されている。また、ブレ調整部１１３ａからの信号と位置検出部１１１ｘ、１１１ｙ１、１１１ｙ２の信号は比較部１１３ｘ、１１３ｙ１、１１３ｙ２で比較される。そして、比較信号としてそれぞれ駆動部１９ｘ、１９ｙ１、１９ｙ２に出力される。駆動部１９ｘ、１９ｙ１、１９ｙ２は入力された比較信号に基づき駆動コイル８１ｘ、８１ｙにＰＷＭ方式やリニア方式で通電し駆動制御を行う。
【００４９】
ここでブレ調整部１１３ａから比較部１１３ｙ１、１１３ｙ２に入力される調整目標値は図８で説明したピッチ・ヨー・シフト方向の動き信号５１ｆであり、ともに同じ量の調整目標値になる。ブレ調整部１１３ｂの出力はロール方向の動き信号であり、この信号を比較部１１３ｙ２にのみ与えることで駆動コイル８１ｙ１、８１ｙ２の駆動力バランスを変化させて保持枠９１を撮影光軸周りに回転させる。
【００５０】
ところで、上記ブレ補正制御を精度よく行うためには図９で説明したようにブレ補正制御の周期を動き信号の出力周期より細かくしておく必要がある。またブレ補正制御のタイミングも動き信号の出力タイミングと常に位相が揃うように設定しておかないとブレ補正の位相が狂うことによるブレ補正精度の劣化が生ずる。そして動き信号の取得をブレ補正制御の周期とタイミングを合わせる為には、撮像素子１２の第２の転送スイッチ２７およびリセットスイッチ２６の開閉周期とブレ補正制御周期との関係を制御することがブレ補正制御の安定化の為に重要である。
【００５１】
すなわち、
・第２の転送スイッチ２７およびリセットスイッチ２６の開閉タイミングとブレ補正制御のタイミングの位相を同期させる。（第２の画素信号から取得される画像を演算する演算手段の演算タイミングとブレを補正するブレ補正手段の制御のタイミング位相を同期させる。）
・第２の転送スイッチ２７およびリセットスイッチ２６の開閉周期よりもブレ補正制御周期を細かくする。（第２の画素信号から取得される画像を演算する演算手段の演算周期よりもブレを補正するブレ補正手段の制御周期を細かくする。）という２点が重要である。
【００５２】
図１２は、図１０で示したブレ補正用レンズ１１０或いは図１１で示したブレ補正の為に移動可能な撮像素子１２などのブレ補正機構の周波数特性を示している。図１２において横軸はブレ補正の為の駆動周波数を、縦軸は各周波数において駆動目標値を与えた時の駆動量の利得を示している。本実施例は曲線１００１の周波数特性において、ブレ補正機構の慣性力とバネ力で求まる固有振動数１００２と演算周波数１００３を所定の関係にした点にも特徴を有する。即ち、演算周波数１００３を固有振動数１００２より高くする。なぜならば、演算周波数１００３を固有振動数１００２より低周波にすると、固有振動数によるブレ補正機構の共振を抑え込むことが出来ないためである。
【００５３】
撮像素子１２の制御としては、ブレを補正するブレ補正機構の固有振動数よりも第２の転送スイッチ２７及びリセットスイッチ２６の開閉周期を高周波側に設定する。（ブレを補正するブレ補正機構の固有周期よりも第２の画素信号から取得される画像を演算する演算手段の演算周期を短く設定する。）それによって、固有振動数によるブレ補正機構の共振を抑え込むことができる。
【００５４】
続いて、本実施例のカメラ１１におけるブレ補正のための各露光期間の制御について、より詳細な構成を図１３と図１４を用いて説明する。
図１３は露光期間（総露光期間）３１の長さの設定が異なる場合の第２の露光期間３１ｂの制御を説明する図である。１垂直期間中の総露光期間は撮影モード（動画モードや静止画モードなど）や撮影条件（例えば被写体の明るさなど）に応じて変化される。
【００５５】
図１３（Ａ）と図１３（Ｂ）とで露光期間（総露光期間）３１０ａ、３１０ｂ（それぞれ第１の露光期間、第２の露光期間、第３の露光期間の和）の長さが異なる。しかし図１３（Ａ）における各領域の第２の露光期間の間隔（ピッチ）１１０１ａと図１３（Ｂ）における各領域の第２の露光期間の間隔１１０１ｂは等しくしている。このように露光期間３１０ａ、３１０ｂが変化しても第２の露光期間の間隔を変化させないことで、動き信号の算出周期を一定とすることができるため、ブレ補正手段の制御周期と常に同期をとれ、安定してブレ補正制御が可能になる。
【００５６】
そして、図１３（Ａ）においては第２の露光期間３１ｂａ、３１ｂｂ、３１ｂｃ、３１ｂｄ、３１ｂｅ、３１ｂｆすべての第２の画素信号を動き信号の算出に用いる。一方、図１３（Ｂ）においては第２の露光期間３１ｂａ、３１ｂｃ、３１ｂｅ、３１ｂｆの第２の画素信号を動き信号の算出に用い、３１ｂｂ、３１ｂｄの信号は第２の画素信号としては用いない。
これらの３１ｂｂ、３１ｂｄは、第２の画素信号を用いる領域１２ａ、１２ｃ、１２ｅ、１２ｆと第２の画素信号を用いない領域１２ｂ、１２ｄとの間で、第２の露光期間以外の長さを揃える為に設けている。
撮像素子１２の制御としては、露光期間とは独立に第２の転送スイッチ２７及びリセットスイッチ２６の開閉周期を設定する（露光期間とは独立に第２の画素信号を演算する演算手段の演算周期を設定する。）ことで、安定してブレ補正制御が可能になる。
【００５７】
図１４はフレーム間隔（垂直期間の長さ）が連続的に変化する場合の第２の露光期間３１ｂの制御を説明する図である。撮影モードとして、露光期間１２０１が相対的に短い動画或いはライブビュー（スルー画像）モードから、露光期間１２０２が相対的に長い静止画撮影モードに移行する際の撮影動作を想定して図示している。即ち、この例ではライブビュー（スルー画像）モードでは垂直期間である１／３０秒と露光期間１２０１が一致しており、ライブビュー（スルー画像）モード中では繰り返し垂直期間毎に動画が不図示の液晶表示部などに画像として表示されている。そしてレリーズスイッチを押すことによって静止画撮影モードに移行し、所望の長さの露光期間１２０２（垂直期間）による撮影が行われる。即ちこの例ではライブビュー（スルー画像）モードでは垂直期間は露光期間１２０１と同じ長さであり、静止画撮影モードで垂直期間は露光期間１２０２に切り替わっている。
【００５８】
なお、ここでは図１３の説明と同様に、異なる撮影モード間での露光期間（総露光時間）１２０１と１２０２が異なっても、各領域の第２の露光期間の間隔１１０１ａと１１０１ｂは等しくしている。このように動画或いはライブビューから静止画撮影に移行しても第２の露光期間間隔を変化させないことで、動き信号の算出周期を一定とすることができるため、ブレ補正制御周期と常に同期をとれ、安定してブレ補正制御が可能になる。
即ち、撮像素子１２の制御としては、撮影モードとは独立に第２の転送スイッチ２７及びリセットスイッチ２６の開閉周期を設定する（撮影モードとは独立に第２の画素信号を演算する演算手段の演算周期を設定する。）ことで、安定してブレ補正制御が可能になる。
【００５９】
これまでの説明では撮像素子１２を介して第２の画素信号から取得するカメラ１１の動き信号のみでブレ補正を行ってきた。しかし、別の手法として、撮像素子１２を介して取得するカメラ１１の動き信号と、振動検出部１８を介して取得するカメラ１１の動き信号組み合わせてブレ補正を行う手法について、図１５を用いて説明する。
【００６０】
図１５は、これまで説明した第２の画素信号から取得する第２の画像から算出したカメラ１１の動き信号と、振動検出部１８を組み合わせたカメラ１１の動き信号の取得方法を説明する概念図である。
図１５において、振動検出部１８の出力１３０３に対して、所定の第１のカットオフ周波数より低周波を減衰させるハイパスフィルタ１３０１が設けられる。振動検出部１８の出力には極低周波のノイズ成分が含まれるが、ハイパスフィルタ１３０１を介する事で、その低周波ノイズを減衰できる。しかしながらこの処理により低周波のブレも減衰されてしまう。そこでブレ調整部１１３ａから出力される、撮像素子１２を介して第２の画素信号から取得した動き信号１３０４に対して第１の周波数より高周波を減衰させるローパスフィルタ１３０２を設けている。そしてその出力を加算部１３０６でハイパスフィルタ１３０１の出力に加える。
【００６１】
これにより振動検出部１８の出力１３０３で減衰してしまったブレの低周波成分を補間する。そしてこの信号１３０５を図９及び図１０で説明した様に比較部１１３ｘ、１１３ｙに供給してブレ補正を行う。この方法によれば、振動検出部１８に含まれる低周波のノイズ成分が除去できる。更に振動検出部１８から得られるブレ信号は動き信号に比較して高周波のブレ検出精度が高いために、撮像素子１２を介して取得した動き信号と合わせて帯域の広いブレ補正が可能になる。
すなわち第２の画素信号を演算する演算手段の出力を用いて振動を検出する振動検出部の出力を補間することで、帯域の広いブレ補正が可能になる。
【００６２】
図１６は実施例１の動作を説明するフローチャートである。このフローはＣＰＵ１１３により制御され、カメラの撮影準備動作（たとえば２ストロークのレリーズスイッチの半押し動作）からスタートする。また、本フローの処理は撮像素子１２における複数の領域１２ａ〜１２ｆ、及びそれらに対応する画像１２０ａ〜１２０ｆの各々に対して適用されるが、ここでは代表として、そのうちの１領域に対する処理内容を説明する。
ステップＳ１４０１では、撮像素子１２の情報が画像処理部１４を介してＣＰＵ１１３に入力され、ＣＰＵ１１３は、その情報により被写体形状を認識する。このステップにおける被写体情報の取得（露光）は短期間とし、露光中のブレによる被写体歪が発生しないようにする。
【００６３】
ステップＳ１４０２では、ステップＳ１４０１で認識した被写体の特徴点分布に合わせて図４で説明した様に撮像素子１２の画面を複数行毎に分割する。複数行毎（あるいは複数行飛び飛び）の分割は等間隔である必要はなく、特徴点の分布や大きさ、周囲の画像情報との関連に応じて自動的に設定される。
ステップＳ１４０３からは図５で説明した分割露光に移る。初めに第１の露光期間（例えば３１ａｂ）が完了するまでステップＳ１４０３を循環して待機する。
ステップＳ１４０４では、第２の露光期間（例えば３１ｂａ）が完了するまで待機する。
ステップＳ１４０５では、第３の露光期間（例えば３１ｃａ）が完了していない場合はステップＳ１４０７に進む。
【００６４】
ステップＳ１４０７では、第２の露光期間で得られた画素信号からの特徴点座標とステップＳ１４０１で得られた被写体形状情報に基づいて、この時点での次の領域における特徴点座標を推定する。この際、第２の露光期間で得られた画素信号は必要に応じて増幅処理を行ってもよい。
ステップＳ１４０８では、ステップＳ１４０７で推定した現在の行の特徴点座標と現在検出した特徴点座標を比較して動き信号を得る。
【００６５】
ステップＳ１４０９では、ステップＳ１４０８で得られた動き信号に基づいてブレ補正用レンズ１１０や撮像素子１２を駆動してブレ補正を行い、ステップＳ１４０４に戻る。
ステップＳ１４０５で第３の露光期間が終了するまでは、ステップＳ１４０４からステップＳ１４０７、１４０９を繰り返すことで露光中のブレ補正を継続させる。
ステップＳ１４０５で第３の露光期間が終了するとステップＳ１４０６に進む。
ステップＳ１４０６では、第１、第３の露光期間の信号をコンデンサ２２から読みだして画像処理部１４で画像を作成し、得られた画像を画像記憶部１５に記憶させる。あるいは不図示の液晶表示部などに表示させる。
以上説明したように、本実施例によればカメラ１１は表示用あるいは記録用の画像を取得しつつ連続的に応答性良くブレ補正を行うことができる。なお、第２の画素信号の読み出しと、続く第１の画素信号の読み出しをそれぞれ１回ずつ行うフローチャートを示したが、この動作を周期的に繰り返してもよい。
【実施例２】
【００６６】
実施例２では、実施例１で説明した露光期間（総露光時間）３１の長さの他にも、カメラ１１の撮影条件（撮影パラメータ）に応じて第２の露光期間の長さまたは間隔を変更し、カメラ１１の動き信号の算出周期を変更する。これにより、第２の画像から適切に特徴点を検出可能にする。
図１７は実施例２における撮影条件に応じた露光期間制御を説明する模式図である。図１７（Ａ）と図１７（Ｂ）は被写体輝度が異なる条件下で撮像素子１２の感度と露光期間３１１ａ、３１１ｂの長さが等しい場合を示している。ここで、被写体輝度差に応じて、表示用の画像形成用の第１の画像の露出を合わせるために、図１７（Ａ）では被写体が明るい場合で、例えば第２の露光期間を比較的短い固定値に設定し、撮影時に不図示の交換レンズ１１ｂの光学絞りの開口を可変制御する。
【００６７】
一方で、図１７（Ｂ）では、被写体が暗い場合で、撮影時に光学絞りを開放にする。これにより、交換レンズ１１ｂの光学的な解像度が変化し、撮影画像のコントラストが変わるため、被写体特徴点の検出しやすさが変化する。
よって、適宜、第２の露光期間３１ｂａ〜３１ｂｆの長さを変更して対応する。すなわち、一般に、図１７（Ｂ）の絞り開放の場合の方が、図１７（Ａ）の絞りを絞った場合と比べて撮影画像のコントラストが低くなるため、被写体特徴点を検出しづらくなる。よって、第２の露光期間３１ｂａ〜３１ｆを長く取ることで、上述した後段の信号増幅処理における信号増幅率を低く留めてノイズを低減することで被写体特徴点を検出しやすくする。ただし、この傾向は交換レンズ１１ｂの構成によって変わるため、本制御は交換レンズ１１ｂの種類により適宜変更するものとする。
【００６８】
図１７（Ｂ）における第２の露光期間３１ｂａ〜３１ｂｆの間隔（ピッチ）１５０１ｂは図１７（Ａ）における第２の露光期間３１ｂａ〜３１ｂｆの間隔（ピッチ）１５０１ａよりも長くしている。これは、前述のように、第２の画像の読み出しに要する時間を考慮しているためである。更に、図１７（Ａ）においては、第２の露光期間３１ｂａ、３１ｂｂ、３１ｂｃ、３１ｂｄ、３１ｂｅ、３１ｂｆの全ての画素信号を動き信号の算出に用いる。一方図１７（Ｂ）においては、第２の露光期間３１ｂａ、３１ｂｃ、３１ｂｅの画素信号を動き信号の算出に用い、３１ｂｂ、３１ｂｄ、３１ｂｆの信号は動き信号の算出には用いない。しかし、実施例１の説明と同様に、全ての領域１２ａ〜１２ｆ間で第１、第３の露光期間の合計の長さを揃える為に第２の露光期間３１ｂｂ、３１ｂｄ、３１ｂｆを設けている。
【００６９】
以上、露光期間制御を行うカメラ１１の撮影条件（撮影パラメータ）として、光学絞りの一例を説明した。ただし、このような制御は他のカメラ１１の撮影条件（撮影パラメータ）に対して行っても構わない。例えば、撮像素子１２の感度が高くなると、第２の画像にはノイズが重畳しやすくなるため、特徴点を検出しづらくなる。よって、撮像素子１２の感度が高くなるほど、同様に第２の露光期間の長さ及び間隔を大きく設定するものとする。
以上説明した様に、撮影条件に応じて第２の露光期間の長さ及び間隔は適宜制御することで、第２の画像から適切に特徴点を検出してカメラ１１の動き信号を取得することが可能になる。
【実施例３】
【００７０】
次に図１８を用いて実施例３の説明をする。実施例３では１フレーム内の画像比較による動き信号算出に加えて、複数フレーム間の画像比較による動き信号算出も行う。これにより、動き信号の精度を向上させる。
図１８は実施例３における動き信号の算出方法を説明する図である。図１８（Ａ）は、動画やライブビュー撮影において、垂直期間毎のフレームの画像を連続的に取得する際の撮像素子１２のタイミングチャートを示している。各々のフレームでは実施例１の図５における説明と同様に、各露光期間３１２ａ、３１２ｂ、３１２ｃ内で、各領域１２ａ〜１２ｆで第１の露光期間３１ａｂ〜３１ａｆ、第２の露光期間３１ｂａ〜３１ｂｆ、第３の露光期間３１ｃａ〜３１ｃｅからそれぞれ第１及び第２の画素信号を取得する。
【００７１】
各々のフレームにおいて、図５で説明したように、各領域１２ａ〜１２ｆの第２の露光期間３１ｂａ〜３１ｂｆから得られる動き信号算出用の画像を用いて取得するカメラ１１の動き信号をフレーム内動き信号（第１の動き信号）１６０３と呼ぶ。図１８（Ａ）では代表として領域１２ｃから得られる信号を図示している。このフレーム内動き信号１６０３は、時間方向分解能が第２の露光期間３１ｂａ〜３１ｂｆの間隔１６０１に相当し短いため、高周波域の動き信号を検出することができる。一方で、この動き信号算出用の第２の画像は、第１の露光期間３１ａｂ〜３１ａｆ及び第３の露光期間３１ｃａ〜３１ｃｅから得られる画像形成用の第１の画像と比べてコントラストが低い。従って特徴点の検出誤差に起因する動き信号の算出誤差が累積することで、低周波域の動き信号の信頼性は相対的に低いという特徴がある。
【００７２】
これに対して、隣接フレーム間でこの画像形成用の第１の画像から同様に特徴点検出による動き信号算出を行うことで、フレーム間のカメラ１１の動き信号を取得することができる。この動き信号をフレーム間動き信号（第２の動き信号）１６０４と呼ぶ。図１８（Ｂ）では代表として領域１２ｃから得られる信号を図示している。フレーム間動き信号１６０４は、時間方向分解能が垂直期間に相当するため、フレーム内動き信号１６０３と比べて高周波域の動きベクトルは検出することができない。しかし、上述のように特徴点検出誤差を小さくしやすいため、低周波域ではフレーム内動き信号１６０３よりも信頼性が高いという特徴がある。
【００７３】
図１８（Ｂ）は、フレーム内動き信号１６０３とフレーム間動き信号１６０４を組み合わせてカメラ１１の動き信号を算出するためのブロック図を示している。フレーム内動き信号１６０３はハイパスフィルタ１６０５で処理され、上述の理由により信頼性が低い低周波域の成分は減衰される。ハイパスフィルタ１６０５のカットオフ周波数は第２の露光期間の間隔１６０１に相当するフレーム内動き信号１６０３の検出周期と、垂直期間に相当するフレーム間動き信号１６０４の検出周期の間の周期に対応する周波数に近い値に設定される。また、フレーム間動き信号１６０４はローパスフィルタ１６０６で処理され、高周波域のノイズ成分は減衰される。ローパスフィルタ１６０６のカットオフ周波数は、ハイパスフィルタ１６０５のカットオフ周波数と近い値に設定される。よって、加算手段１６０７でこれらの信号を足し合わせることで、カメラ１１の動き信号を作成することができる。
【００７４】
以上説明した様にフレーム内動き信号１６０３とフレーム間動き信号１６０４をそれぞれ算出し合成することで、高周波成分を備えつつ、低周波成分の信頼性が高いカメラ１１の動き信号を算出することができる。すなわち、動き信号の精度が向上するため、ブレ補正の精度を向上させることができる。本処理は、連続フレームで画像を取得する動画撮影時やライブビュー撮影時に特に有効である。
【実施例４】
【００７５】
次に図１９〜図２１を用いて実施例４の説明をする。実施例４では、撮影動作の１フレーム内で被写体像の取得と形状認識も同時に行う。更に、被写体の形状に応じて撮像素子１２の領域分割を更新することで、被写体の形状にかかわらずに安定して連続的に動き信号を算出することを可能にする。
図１９は、図５と同様に、縦軸は撮像素子１２の列方向とブレ補正用レンズ１１０の駆動方向、横軸は時間軸であり、撮影動作における動き信号取得を説明する模式図である。また図２０は実施例４における撮影素子の領域分割設定と特徴点の検出位置を説明する図である。
【００７６】
図１９における図５との違いは、露光期間３１３の初期において初期露光期間１７０１ａ〜１７０１ｆが設けられていることである。初期露光期間１７０１ａ〜１７０１ｆは領域１２ａ〜１２ｆで同時に露光を行い、被写体形状認識用の画素信号１７０２を取得する。ここでは領域１２ａ〜１２ｆで同時に短時間露光を行うため、歪みの少ない被写体形状を認識することができる。
なお、初期露光期間１７０１ａ〜１７０１ｆにおいては撮像素子１２の領域分割設定を行う必要はない。しかし、ここでは初期露光期間が終了すると直ちに図５で説明した撮影動作を開始するために、あらかじめ撮像素子１２の領域分割（デフォルトの設定として、例えば行方向等分など）を行っている。
【００７７】
その後は図５の説明と同様に露光を行い、各領域１２ａ〜１２ｆから動き信号算出用の第２の画素信号と画像形成用の第１の画素信号を取得する。そして、被写体形状認識用の画素信号１７０２と合せて、図８及び１６の説明と同様に特徴点検出による動き信号算出を行うことで、カメラ１１の動き信号を算出し、ブレ補正を行う。
このように撮影動作のフレーム内で被写体の形状認識も同時に行い、カメラ１１の動き信号を算出することができる。
【００７８】
ここで、図４で示した様に被写体像４１の特徴点を撮像素子１２の（同数の）複数行毎に分割して均等に検出する場合は、図５で説明した様に撮像素子１２を複数行ずつ均等に領域分割する。そして、第２の露光期間３１ｂａ〜３１ｂｆを順番に時間を遅らせてゆけば良い。図２０に示す様に被写体像１８０１が画像１８０２（撮像素子１２）の列方向の長さが短く、所定の分割領域に偏在し、特徴点を均等に検出することができない場合は、動き信号が得られるのは１フレーム内の一部の領域のみとなってしまう。従って、安定したブレ補正を行うことができないという課題がある。よって、このような場合は図２０に示す様に、被写体像１８０１が画像１８０２内を占める割合に応じて、撮像素子１２の領域分割設定を適宜更新して変更する。このような被写体像１８０１が撮像素子１２の行方向で偏在する撮影シーンは、例えば流し撮り撮影時などにおいて、ブレを止めたい被写体が画面中央に位置している場合などである。
【００７９】
被写体像１８０１の特徴点の分布に合わせた撮像素子１２の領域分割設定について、図２１を用いて説明する。図２１は撮像素子１２の領域分割設定の更新を伴う動き信号の算出方法を説明する図である。以降の説明の簡易化のために、露光期間３１４を被写体形状取得期間３１４ａ、処理期間３１４ｂ、画像取得期間３１４ｃの３つに分類する。
図１９の場合と同様に、初めに被写体形状取得期間３１４ａにおいて、初期露光期間１７０１ａ〜１７０１ｆから画素信号１７０２を取得し、読み出して被写体形状認識用の画像１８０２を取得する。続いて処理期間３１４ｂに進み、ＣＰＵ１１３により被写体像１８０１を認識、特徴点１８０１＿１１〜１８０１＿２５を検出し、それに対応して撮像制御部１３は撮像素子１２の領域分割設定更新処理を行う。これにより、撮像素子１２の領域分割設定を１８０２ａ〜１８０２ｉに更新して画像取得期間３１４ｃに進む。
【００８０】
画像取得期間３１４ｃではまず、特徴点の存在する、すなわち、撮影情報を得る第１領域（１８０２ｃ、１８０２ｄ、１８０２ｃ、１８０２ｅ、１８０２ｆ、１８０２ｇ）において領域１８０２ｃの第２の露光期間１８０２ｂｃより動き信号５１ｃを算出する。次に、特徴点の存在しない、すなわち、撮影情報が不要な第２領域（１８０２ａ、１８０２ｂ、１８０２ｈ、１８０２ｉ）においても第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉを設ける。これは動き信号の算出は行わず、第２領域における第１の露光期間と第３の露光期間の合計を第１領域と長さを揃えるための処理である。
【００８１】
その後は図２１に示すように、第１領域１８０２ｄから１８０２ｇと、第２領域１８０２ｂから１８０２ｉにおける第２の露光期間を交互に設定し、第１領域の第２の露光期間１８０２ｂｄ、１８０２ｂｅ、１８０２ｂｆ、１８０２ｂｇの画素信号からそれぞれ、動き信号５１ｄ、５１ｅ、５１ｆ、５１ｇを取得する。これにより、画像取得期間３１０ｃの中で、動き信号５１ｃから５１ｇが時間方向で等間隔に得られるため、安定したブレ補正を行うことができる。
【００８２】
このようにして撮影動作の１フレーム内で被写体の取得と形状認識を行い、更に、被写体の形状に合わせて撮像素子１２の領域分割設定を更新することができる。更に、第１、第２の領域から交互に動き信号算出用の第２の画素信号を読み出すことで、安定したブレ補正を行うことが出来る。
実施例４の更に特徴的な点は第２領域における第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉの画素信号は読出しを行わない点である。その為に第１領域における第２の露光期間１８０２ｂｃ，１８０２ｂｄ，１８０２ｂｅ、１８０２ｂｆ、１８０２ｂｇの互いの間隔３１４ｄを狭くできる。
【００８３】
これにより動き信号５１ｃから５１ｇのサンプリング間隔が密になりブレ検出の応答性を高めることもできている。尚、第２領域における第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉに対しては読出しを行わない為にその期間中は図２のリセットスイッチ２６を閉じたままにしてフォトダイオード２１への電荷蓄積を行わなくてもよい。
【実施例５】
【００８４】
次に図２２、図２３は実施例５を示す図で、実施例５では、撮像素子１２の光電変換部１２ｉｊに第２の蓄積手段としてのコンデンサ２２ｂを追加し、第２の画像信号もコンデンサ２２ｂに蓄積し、非破壊的に読み出す構成について説明する。
図２２は本実施例における撮像素子１２の構造を示す模式図である。図２２において、撮像素子１２は横ｍ列、縦ｎ行の２次元状に配置された複数の光電変換部で構成されており、ひとつの光電変換部１２ｉｊを模式回路で示す。
フォトダイオード２１は被写体光を受光して電荷を発生する。フォトダイオード２１で蓄えられた電荷は第２、第３の蓄積スイッチ２３ａ、２３ｂにより各々第１、第２の蓄積手段としてのコンデンサ２２ａ、２２ｂに転送される。
【００８５】
コンデンサ２２ａ、２２ｂに移された電荷は第３、第４の転送スイッチ２４ａ、２４ｂを介して増幅回路２５に入力されて読み出され、読み出された画素信号は出力切り替えスイッチ２８により画像処理部１４又はベクトル処理部１６に出力される。リセットスイッチ２６はフォトダイオード２１に蓄積された電荷を所定のタイミングでリセットする事で次回の撮影などへの準備を行う。
ここで図２３は実施例５における画素の駆動タイミングチャートであり、第２、第３の蓄積スイッチ２３ａ、２３ｂ、リセットスイッチ２６、第３、第４の転送スイッチ２４ａ、２４ｂの開閉タイミングについて図２３を用いて説明する。
【００８６】
図１における操作部１１２を撮影者が操作することで撮影が開始される。その後は図２３のタイミングチャートに沿って、撮像制御部１３は撮像素子１２を制御する。
図２３の期間３１は露光期間を示しており、期間３１は第１の露光期間３１ａ、第２の露光期間３１ｂ、第３の露光期間３１ｃを含む。各露光期間３１ａ、３１ｂ、３１ｃはリセットスイッチ２６によるフォトダイオード２１のリセットオフタイミング３０２ａ、３０２ｂ、３０２ｃから開始される。
【００８７】
第１の露光期間３１ａでフォトダイオード２１に蓄積された電荷は、第２の蓄積スイッチ２３ａがタイミング３０３ａでオンになることでコンデンサ２２ａに転送される。第２の露光期間３１ｂでフォトダイオード２１に蓄積された電荷は、第３の蓄積スイッチ２３ｂがタイミング３０３ｃでオンになることでコンデンサ２２ｂに転送される。その後、第４の転送スイッチ２４ｂがタイミング３０４ａでオンになると、コンデンサ２２ｂの電荷は公知の手法により非破壊的に増幅回路２５に入力されて読み出され、第２の画素信号として出力切り替えスイッチ２８によりベクトル処理部に１６に出力される。第３の露光期間３１ｃでフォトダイオード２１に蓄積された電荷は第２の蓄積スイッチ２３ａがタイミング３０３ｂでオンになることでコンデンサ２２ａに転送される。
【００８８】
コンデンサ２２ａにおける第１の露光期間３１ａでフォトダイオード２１に蓄積された電荷と第３の露光期間３１ｃでフォトダイオード２１に蓄積された電荷は第３の転送スイッチ２４ａがタイミング３０５でオンになることで増幅回路２５に入力される。そして読み出され、第１の画素信号として出力切り替えスイッチ２８により画像処理部１４に出力される。この際、同時にコンデンサ２２ｂにおける第２の露光期間３１ｂでフォトダイオード２１に蓄積されていた電荷も第４の転送スイッチ２４ｂがタイミング３０４ｂでオンになることで増幅回路２５に入力されて読み出される。そして、その画素信号も第１の画素信号に加わり画像処理部１４に出力される。
【００８９】
図５を用いて説明した時と同様、本実施例でも各領域における第２の露光期間の３１ｂａから３１ｂｆで蓄積された電荷は各々の画素におけるコンデンサ２２ｂに記憶される。そして、非破壊読み出しされて第２の画素信号を取得し、ベクトル処理部１６により動き信号５１ａから５１ｆが算出される。
更にこのコンデンサ２２ｂに蓄積されている電荷と、コンデンサ２２ａに記憶された第１、第３の露光期間で蓄積された電荷を増幅回路２５で加算した後に読み出すことで、第１の画素信号を取得し、画像処理部１４は第１の画像を取得する。
【００９０】
実施例１では第２の露光期間で蓄積した電荷は、第２の画素信号として破壊的に読み出して動き信号を得る為だけに用いていた。このため、同じ撮影条件で同じ露出を得ようとする場合における露光時間は第２の露光期間の分だけ長くする必要があるという課題があった。または、実施例１において第１の画像に対して第２の画像を加算的に合成すれば、露光時間を長くせずに露出を補うことができるが、この場合は先行技術と同様に読み出しノイズが重畳するという課題があった。これに対して、コンデンサ２２ｂを追加して、非破壊読み出しを行う本実施例の構成では、第２の露光期間で蓄積した電荷を画像形成にも用いることができるため、露光時間を長くせず、かつ、読み出しノイズの重畳を防ぐことができるという利点がある。
【実施例６】
【００９１】
第１から実施例５では、第２の露光期間で得られる信号により、カメラ１１の調整目標値としてカメラ１１の動き信号を算出してブレ補正を行ったがこれに限定されず他のカメラ調整項目でも良い。実施例６では他のカメラ調整項目として焦点調整を行う例を図２４〜図２６を用いて説明する。
焦点状態の検出としては、同じ領域における第２の露光期間中の画素信号より画像のコントラストのピークをサーチする手法や、同じ領域における第２の露光期間中の隣接画素との位相差を利用する手法がある。
図２４は実施例６における撮像素子の露光期間制御と焦点状態検出の関係を説明する図である。図２４において、２４０１は焦点調整を行うためのフォーカスレンズであり矢印２４０２はその駆動方向である光軸方向、波形２４０３はレンズ２４０１を駆動する為の調整目標値軌跡を示す。
【００９２】
尚、前のフレームで被写体像の取得とその形状認識は終了し、焦点状態を検出したい領域は設定できているものとして図２１の被写体形状取得期間３１４ａ、処理期間３１４ｂは省いている。また、本実施例では焦点状態検出は位相差方式を用い、後述する隣り合うフォトダイオード２１ａ、２１ｂから求まる像のズレ量から焦点状態を検出する例を説明する。
図２５は実施例６における撮像装置としてのカメラ１１の横断面図と制御ブロック図である。尚、図１と同じ機能のブロックは同じ部番で示し説明は省略する。
【００９３】
フォーカスレンズ２５０１は焦点調整手段の一部として機能し、撮影光軸１０に沿う方向に駆動されることにより、撮像素子１２に対する被写体光束の焦点調整を行う。
撮像素子１２からの第２の画素信号に対して焦点状態検出処理部２５０２により焦点状態検出処理が行われ焦点状態信号が得られる。焦点調整部２５０３は焦点調整手段の一部として機能し、焦点状態検出処理部２５０２からの焦点状態信号と撮影光学系１１５の光学情報に基づいてフォーカスレンズ２５０１の調整目標値を求める。焦点レンズ駆動部２５０４は焦点調整部２５０３からの調整目標値に基づいてフォーカスレンズ２５０１を駆動して焦点調整を行う。ＣＰＵ１１３はフォーカスレンズ２５０１の駆動位置を検出するフォーカスレンズ位置検出部２５０５の信号や操作部１１２からの操作などに基づいて上述した各要素を制御している。
【００９４】
図２６は実施例６における画素構造および焦点状態検出を説明する図である。図２６（Ａ）は焦点状態検出を行う撮像素子１２の構造を説明する図であり、撮像素子１２は横ｍ列、縦ｎ行の２次元状に配置された複数の光電変換部で構成されており、ひとつの光電変換部１２ｉｊを模式回路で示す。
ひとつの光電変換部１２ｉｊには対のフォトダイオード２１ａ、２１ｂが設けられており、各フォトダイオード２１ａ、２１ｂは被写体光を光電変換して電荷を発生する。
フォトダイオード２１ａ、２１ｂで蓄えられた電荷は第２、第３の蓄積スイッチ２３ａ、２３ｂにより、第１の蓄積手段であるコンデンサ２２に転送され、蓄積される。
【００９５】
コンデンサ２２に蓄積された電荷は第１の転送スイッチ２４を介して増幅回路２５に入力され、増幅されて画素信号となる（読み出し動作）。画素信号は出力切り替えスイッチ２８により画像処理部１４に出力される。リセットスイッチ２６ａ、２６ｂはドレインが電源電圧線（ＶＤＤ）に接続されており、それぞれフォトダイオード２１ａ、２１ｂに蓄積された電荷を所定のタイミングでリセットする事で次回の撮影などへの準備を行う。
転送スイッチ２７ａ、２７ｂはフォトダイオード２１ａ、２１ｂで蓄えられた電荷をコンデンサ２２を介さず直接に増幅回路２５に入力させる。この場合読み出された画素信号は出力切り替えスイッチ２８により焦点状態検出処理部２５０２に出力される。
【００９６】
ここで転送スイッチ２７ａ、２７ｂは切り替えタイミングがずれており、転送スイッチ２７ａがオンされ、フォトダイオード２１ａの信号が増幅回路２５を介して焦点状態検出処理部２５０２に入力された後で転送スイッチ２７ｂがオンされフォトダイオード２１ｂの信号が増幅回路２５を介して焦点状態検出処理部２５０２に入力される。このように切り替えタイミングをずらすのはフォトダイオード２１ａ、２１ｂの信号をそれぞれ独立して得る為である。
ここで、実施例１と同様に第１及び第３の露光期間３１ａ、３１ｃで蓄積された電荷を読み出すことで得られる画素信号（第１の画素信号）を画像処理部１４で処理して記録用または表示用の画像信号を形成する。一方、第２の露光期間３１ｂで蓄積された電荷を読み出すことで得られる画素信号（第２の画素信号）をカメラ１１の撮影状態の変化（焦点状態の変化）を検出する為に使用する。
【００９７】
撮像制御部１３による撮像素子１２の制御のタイミングは図３と同様なので説明は省略する。
図２６（Ａ）において、破線１８０２＿１、１８０２＿２で囲まれた範囲は特徴点（焦点状態検出に適した範囲）が存在する領域１８０２ｃの中で焦点状態を検出する範囲である。この範囲に含まれる多数の光電変換部の夫々のフォトダイオード２１ａ、２１ｂからの信号は上述したように独立して読み出され、フォトダイオード２１ａの群およびフォトダイオード２１ｂの群から二つの画像が得られる。すなわち第２の画像は対で得られる。図２６（Ｂ）に示す様にフォトダイオード２１ａ、２１ｂは光電変換部の受光窓１２ｉｊａの中で並んで配置されている。そして例えば破線１８０２＿２で囲まれた範囲における複数の光電変換部のフォトダイオード２１ａ、２１ｂによる画像は図２６（Ｃ）のような画像となる。
【００９８】
図２６（Ｃ）において破線１８０２＿２で囲まれた範囲における複数のフォトダイオード２１ａで形成される第２の画像２６０１ａ（実線）と１８０２＿２で囲まれた範囲における複数のフォトダイオード２１ｂで形成される第２の画像２６０１ｂ（破線）は位相差２６０２だけずれている。このずれ量は図２６（Ｂ）におけるフォトダイオード２１ａ、２１ｂの位置ずれ量と、被写体光束の撮像素子１２に対する焦点状態の関数で求められる為に、焦点状態検出処理部２５０２はこの位相差２６０２から焦点状態を検出する。
【００９９】
次に画面の分割の方法について図２４を用いて詳しく説明する。撮像制御部１３は撮像素子１２の画面に対し撮影情報を得る（焦点状態を検出したい）第１領域と撮影情報が不要な（焦点状態の検出が不要な）第２領域に分割する。
図２４において、画像取得期間３１４ｃではまず、第１領域１８０２ｃの第２の露光期間１８０２ｂｃに形成され出力された第２の画素信号に基づき焦点状態検出処理部２５０２は焦点状態検出信号２４０４ａを算出する。
【０１００】
図２６で述べたように焦点状態に適した範囲１８０２＿１などに含まれる光電変換部を第２の露光期間１８０２ｂｃで蓄積し、蓄積されたフォトダイオード２１ａ、２１ｂの信号を転送スイッチ２７ａ、２７ｂに対して時間をずらしてオンオフして読出す。そして、形成される二つの画像２６０１ａ、２６０１ｂの位相差２６０２より焦点状態検出手段は焦点状態検出信号を算出する。同様にして第１領域１８０２ｄ、１８０２ｅの第２の露光期間１８０２ｂｄ、１８０２ｂｅより焦点状態検出処理部２５０２は焦点状態検出信号２４０４ｂ、２４０４ｃを算出する。その後は第１領域１８０２ｆ、１８０２ｇにおける第２の露光期間１８０２ｂｆ、１８０２ｂｇより焦点状態検出処理部２５０２は焦点状態検出信号２４０４ｄ、２４０４ｅを算出する。
【０１０１】
第２領域１８０２ａ、１８０２ｂ、１８０２ｈ、１８０２ｉにおける第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉでは焦点状態検出は行わないが、第１領域１８０２ｃ、１８０２ｄ、１８０２ｅ、１８０２ｆにおける第１の露光期間と第３の露光期間の合計の長さと露光時間を揃えるために設けてある。そのため、第２領域における第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉではリセットスイッチ２６ａ、２６ｂをオンにした状態を維持するか、或いはリセットスイッチ２６ａ、２６ｂがオフ（電荷蓄積状態）であっても露光期間が終了したのちに転送スイッチ２７ａ、２７ｂをオンにしない。また第２、第３の蓄積スイッチ２３ａ、２３ｂもオンにしないでこの露光期間で得られた信号がコンデンサ２２に蓄積されることを防ぐ。その理由はこの露光期間で得られた信号をコンデンサ２２に蓄積すると、第１領域１８０２ｃ、１８０２ｄ、１８０２ｅ、１８０２ｆにおける各光電変換部のコンデンサ２２に蓄積される信号と電荷蓄積時間が異なってしまう為である。
【０１０２】
第１領域１８０２ｃ、１８０２ｄ、１８０２ｅ、１８０２ｆ、１８０２ｈ、１８０２ｇにおける第２の露光期間１８０２ｂｃ、１８０２ｂｄ、１８０２ｂｅ、１８０２ｂｆ、１８０２ｂｇは露光期間３１４ｃの間に等間隔且つ密に設けられる。
【０１０３】
一方、第２領域１８０２ａ、１８０２ｂ、１８０２ｈ、１８０２ｉにおける第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉの露光タイミングは図２４に示す様に隣接領域で同一タイミングに制御されている。なぜならば第２領域１８０２ａ、１８０２ｂ、１８０２ｈ、１８０２ｉにおける第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉは信号の読出しが不要の為である。また画像取得期間３１４ｃの中央に設けた理由は露光初期では第２の露光期間分だけ第１の露光期間の開始が遅れ、シャッタチャンスを逃すためである。またこの領域の第２の露光期間を揃えることで領域ごとに画像のずれを均等にしている。
【実施例７】
【０１０４】
図２７は実施例７を説明するための図であり、図２４で説明した実施例６との違いは第２領域１８０２ａ、１８０２ｂ、１８０２ｈ、１８０２ｉにおける第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉの露光タイミングが画像取得期間３１４ｃの最後に設けられている点である。また、これら第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉでも信号の蓄積を行っており、それらの信号を読みだして被写体認識に利用している。図２１で説明した実施例４では被写体形状取得期間３１４ａを設け、被写体形状の認識結果に基づいて撮像素子１２の領域分割設定更新処理を行っていた。図２７においては第１、第３露光期間に得られた電荷と第２露光期間の電荷を合成し、それにより得られた画素信号を用いて被写体形状の認識を行う。
第１領域、第２領域における第２の露光期間信号の読出しについて以下に説明する。
【０１０５】
第１領域の第２の露光期間１８０２ｂｃ、１８０２ｂｄ、１８０２ｂｅ、１８０２ｂｆ、１８０２ｂｇについては露光終了直後に図２６（Ａ）における転送スイッチ２７ａ、２７ｂを順番にオンにすることで信号の読出しを行う。そして読み出された信号は焦点状態検出処理部２５０２に供給される。一方、第２領域の第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉについても露光直後に転送スイッチ２７ａ、２７ｂを順番にオンにすることで信号の読出しを行う。この時出力切り替えスイッチ２８は画像処理部１４側にオンになっており第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉの信号は図２５の焦点状態検出処理部２５０２ではなく画像処理部１４に出力される。ここで第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉの露光終了は画像取得期間３１４ｃの終了と同じタイミングであり、第１、第３の露光期間（１８０２ａａ、１８０２ｃｆなど）より前に信号読出しが行われる。
【０１０６】
そしてその信号読みだし終了後に転送スイッチ２４をオンにしてコンデンサ２２に蓄積された第１、第３の露光期間で蓄積された信号を読みだす。出力切り替えスイッチ２８は画像処理部１４側にオンになっており第１、第３露光期間信号は画像処理部１４に出力されて第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉ信号と合成される。第２の露光期間から読みだされた第１領域の信号は出力切り替えスイッチ２８を介して図２５の焦点状態検出処理部２５０２に出力されて焦点状態検出に用いられる。そしてその後、画像処理部１４に出力されて第１、第３露光期間信号および第２の露光期間１８０２ｂａ、１８０２ｂｂ、１８０２ｂｈ、１８０２ｂｉ信号が合成される。そして合成された信号に基づいて被写体形状認識を行い、次の画像取得期間における領域分割の設定に用いる。あるいは記録用または表示用の画像信号として利用する。
【０１０７】
この様に第２領域の第２の露光期間信号を画像取得期間３１４ｃの最後に配置すると、それらの信号読出しが特徴点の存在する領域の第２の露光期間の信号の読出しを律速させる事がなくなる。
【実施例８】
【０１０８】
次に図２８〜図３１を用いて実施例８の説明をする。実施例８では、第１領域における第２の露光期間の配列を照明タイミングやその他の撮影条件に応じて変更する例である。
図２８は実施例８における照明手段としてのストロボの発光タイミングと第１領域における第２の露光期間との関係を示した図であり、図２８（Ａ）は先幕シンクロ撮影、図２８（Ｂ）は後幕シンクロ撮影である。先幕シンクロ撮影ではストロボ発光タイミング２８０１は画像取得期間３１４ｃの開始直後に設定される。そのような時には第１領域の第２の露光期間１８０２ｂｃ、１８０２ｂｄ、１８０２ｂｅ、１８０２ｂｆの露光開始タイミングはストロボ発光タイミングより後ろに移動させ、第２の露光期間１８０２ｂｃとストロボ発光タイミング２８０１が重ならない様にしている。それは第２の露光期間１８０２ｂｃとそのほかの第２の露光期間１８０２ｂｄ、１８０２ｂｅ、１８０２ｂｆの露光条件に差が出ないようにするためである。後幕シンクロ撮影では第２の露光期間の露光開始を前に移動させてストロボ発光タイミング２８０２と重ならないようにしている。
【０１０９】
図２８（Ａ）、図２８（Ｂ）で示しているようにストロボ発光タイミングは第１或いは第３の露光期間内におこなわれる様に第２の露光期間の配列を調整する事で良好な画像取得を可能にしている。
次に図２９はマルチ発光ストロボの場合を示しており、各ストロボ発光タイミング２９１０ａから２９０１ｄと特徴点の存在する領域の第２の露光期間１８０２ｂｃ、１８０２ｂｄ、１８０２ｂｅ、１８０２ｂｆのタイミングを合わせている。それによって被写体が明るくなり焦点状態検出精度が上がる、或いは第２の露光期間を短くすることができる。
【０１１０】
図３０（Ａ）は絞り値が大きい時、或いは焦点距離が短い時や被写体距離が遠い時の様に像倍率が小さい時など被写界深度の深い場合を示す図である。図３０（Ｂ）は絞り値が小さい時、或いは焦点距離が長い時や被写体距離が近い時の様に像倍率が大きい時など被写界深度の浅い場合の第２露光期間の配分を示す図である。被写界深度の深い図３０（Ａ）の状態では頻繁に焦点状態検出を行う必要がないので画像取得期間３１４ｃの中で第２の露光期間を一つにまとめることで演算負荷を少なくしている。反対に被写界深度の浅い図３０（Ｂ）の状態では頻繁に焦点状態検出を行う必要があるので画像取得期間３１４ｃの間に第２の露光期間を均等に分散して精度の高い焦点状態検出を行うようにしている。
【０１１１】
次に図３１（Ａ）はブレが大きい時、図３１（Ｂ）はブレが小さい時の第２露光期間の配分を示す図である。ブレの大小は例えば図１の振動検出部１８で検出する。或いはレンズの焦点距離の長さに応じで像面でのブレ量を予測し焦点距離が長い時はブレが大きいと判定してもよい。または被写体距離が近いときはシフトブレが影響するのでブレが大きいと判定してもよい。そして図３１（Ａ）の様にブレが大きい時の第２の露光期間の長さ３１０１ａを図３１（Ｂ）の様にブレが小さい時の第２の露光期間長さ３１０１ｂより短くすることでブレの影響を排除している。第２の露光期間を短くすることによる露出不足は撮像素子１２の感度を大きくすることで補う。
【０１１２】
この様に撮影条件に応じて第２の露光期間の配列や長さを変更する事で本実施例の焦点状態検出は様々な撮影に対応できる。
なお、実施例６から実施例８では第２の画素信号を用いて焦点状態検出する例の説明をしたが、ブレ補正手段の調整目標値を演算してブレ補正を行ったり、撮影中の明るさ変化を検出し、絞り調節などに適用したりする事も可能である。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１１３】
また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
【符号の説明】
【０１１４】
１２  撮像素子
１３  撮像制御部
１４  画像処理部
１６  ベクトル処理部
２１  フォトダイオード
２２  コンデンサ
１１３ａ  ブレ調整部
【図１】
2020096224.tif 000003
【図２】
2020096224.tif 000004
【図３】
2020096224.tif 000005
【図４】
2020096224.tif 000006
【図５】
2020096224.tif 000007
【図６】
2020096224.tif 000008
【図７】
2020096224.tif 000009
【図８】
2020096224.tif 000010
【図９】
2020096224.tif 000011
【図１０】
2020096224.tif 000012
【図１１】
2020096224.tif 000013
【図１２】
2020096224.tif 000014
【図１３】
2020096224.tif 000015
【図１４】
2020096224.tif 000016
【図１５】
2020096224.tif 000017
【図１６】
2020096224.tif 000018
【図１７】
2020096224.tif 000019
【図１８】
2020096224.tif 000020
【図１９】
2020096224.tif 000021
【図２０】
2020096224.tif 000022
【図２１】
2020096224.tif 000023
【図２２】
2020096224.tif 000024
【図２３】
2020096224.tif 000025
【図２４】
2020096224.tif 000026
【図２５】
2020096224.tif 000027
【図２６】
2020096224.tif 000028
【図２７】
2020096224.tif 000029
【図２８】
2020096224.tif 000030
【図２９】
2020096224.tif 000031
【図３０】
2020096224.tif 000032
【図３１】
2020096224.tif 000033