(57)【要約】【課題】表示用または記録用の画像信号を形成しつつ撮影系の制御を応答性良く行うことができるようにすること。【解決手段】２次元状に配置された複数の画素を有する撮像素子と、前記複数の画素において第１の垂直期間内の第１の露光期間に光電変換された電荷に基づく第１の画素信号を前記撮像素子から読み出して記憶するための記憶手段と、前記撮像素子の少なくとも一部の複数の画素において前記第１の垂直期間内の前記第１の露光期間とは異なる第２の露光期間に光電変換された電荷に基づく第２の画素信号を前記第１の垂直期間内に順次読み出して撮影系の駆動をする駆動手段と、前記前記第１の垂直期間後の第２の垂直期間内に前記記憶手段に記憶された前記第１の画素信号を読み出して表示用または記録用の画像信号を形成する画像処理手段と、を有する。【選択図】  図７
2020096232.tif 000002
【特許請求の範囲】
【請求項１】
２次元状に配置された複数の画素を有する撮像素子と、
前記複数の画素において第１の垂直期間内の第１の露光期間に光電変換された電荷に基づく第１の画素信号を前記撮像素子から読み出して記憶するための記憶手段と、
前記撮像素子の少なくとも一部の複数の画素において前記第１の垂直期間内の前記第１の露光期間とは異なる第２の露光期間に光電変換された電荷に基づく第２の画素信号を前記第１の垂直期間内に順次読み出して撮影系の駆動をする駆動手段と、
前記第１の垂直期間の後の第２の垂直期間内に前記記憶手段に記憶された前記第１の画素信号を読み出して表示用または記録用の画像信号を形成する画像処理手段と、を有する撮像装置。
【請求項２】
前記駆動手段は画像のブレを補正するためのブレ補正手段を駆動することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記駆動手段は焦点調整をするための焦点調整手段を駆動することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記駆動手段は絞りの調整をするための絞り整手段を駆動することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第２の画素信号から被写体の動きベクトルの検出を行う演算手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記撮像装置の振動を検出する振動検出手段を有し、
前記駆動手段は前記第２の画素信号と前記振動検出手段の出力を組み合わせて前記撮影系の駆動をすることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記複数の画素により複数の領域が形成され、前記領域毎に前記第１の露光期間、前記第２の露光期間のタイミングが共通に設定されていることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記複数の領域はそれぞれ複数の行によって構成されることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記複数の領域の内の第１の領域における前記第２の露光期間の電荷は前記駆動手段によって用いられ、第２の領域における前記第２の露光期間の電荷は前記駆動手段によって用いられないことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記第１の領域と前記第２の領域における前記第２の露光期間の長さは同じであることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記第２の領域における前記第２の露光期間中は前記画素の電荷をリセットするように制御することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記第１の領域と前記第２の領域を被写体形状に応じて変更することを特徴とする請求項９に記載の撮像装置。
【請求項１３】
前記第１の垂直期間内における前記第２の露光期間のタイミングを照明手段の発光タイミングに基づいて変更する手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項１４】
前記第１の画素信号と前記第２の画素信号を合成する手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項１５】
前記第１の領域における前記第２の露光期間のタイミングを変更する手段を有することを特徴とする請求項９に記載の撮像装置。
【請求項１６】
前記撮像装置の絞り値、焦点距離、像倍率のすくなくとも１つに基づいて前記第１の領域における前記第２の露光期間のタイミングを変更することを特徴とする請求項９に記載の撮像装置。
【請求項１７】
前記第１の領域の中に複数領域を設け、前記第２の露光期間のタイミングが前記第１の領域の中の前記複数領域の間でずれていることを特徴とする請求項９に記載の撮像装置。
【請求項１８】
撮影条件に応じて前記第２の露光期間の長さまたは間隔を変更することを特徴とする請求項１に記載の撮像装置。
【請求項１９】
請求項１から１８のうちいずれか一項に記載の撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
【請求項２０】
請求項１９に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高速な制御に適した撮像装置に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置において、撮像素子を行方向の複数領域に分割設定し、領域ごとに時間をずらして読みだした画像信号を読み出すことが知られていた。またこのような画像信号を用いて焦点状態の変化やブレの変化、明るさの変化（以下撮影状態の変化）を検出し、それに基づいて光学要素を駆動する調整目標値を求める技術が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２１３６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に開示されている技術を用いて静止画像や動画像を得るためには、撮影状態を検出する為の画像信号と、露光を適正化するための画像信号を各々読出し合成する必要がある。画像信号は読出し時にノイズが重畳する為に、この方式では合成の為に２回読出しが必要になりＳ／Ｎ低下が起きる。本発明は例えば上記のような課題に鑑みてなされたものであり、表示用または記録用の画像信号を形成しつつ撮影系の制御を応答性良く行える撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成する為に、本発明の撮像装置は、
２次元状に配置された複数の画素を有する撮像素子と、
前記複数の画素において第１の垂直期間内の第１の露光期間に光電変換された電荷に基づく第１の画素信号を前記撮像素子から読み出して記憶するための記憶手段と、
前記撮像素子の少なくとも一部の複数の画素において前記第１の垂直期間内の前記第１の露光期間とは異なる第２の露光期間に光電変換された電荷に基づく第２の画素信号を前記第１の垂直期間内に順次読み出して撮影系の駆動をする駆動手段と、
前記前記第１の垂直期間後の第２の垂直期間内に前記記憶手段に記憶された前記第１の画素信号を読み出して表示用または記録用の画像信号を形成する画像処理手段と、を有する。
【発明の効果】
【０００６】
表示用または記録用の画像信号を形成しつつ撮影系の制御を応答性良く行うことができる。
【図面の簡単な説明】
【０００７】
【図１】実施例１における撮像装置の横断面図及び制御ブロック図。
【図２】実施例１における撮像素子の構造を説明する模式図。
【図３】実施例１における撮像装置のタイミングチャート。
【図４】実施例１におけるブレ補正を行わない場合に得られる画像の模式図。
【図５】実施例１における特徴点検出による動き信号算出法を説明模式図
【図６】実施例１における領域分割と画素信号読出しを説明する図。
【図７】実施例１における画素信号読出し、ブレ補正フローチャート。
【図８】実施例２における撮像装置の横断面図及び制御ブロック図。
【図９】実施例２における画素信号読出しを説明する図。
【図１０】実施例２における画素信号読出し、絞り駆動フローチャート。
【図１１】実施例３における撮像素子の構造を説明する模式図。
【図１２】実施例３における撮像装置のタイミングチャート。
【図１３】実施例３における画素信号読出しを説明する図。
【図１４】実施例４における撮像装置の横断面図及び制御ブロック図。
【図１５】実施例４における撮像素子の構造を説明する模式図。
【図１６】実施例４における画素信号読出しを説明する図。
【図１７】実施例４における画素信号読出し、焦点調節フローチャート。
【図１８】実施例４における画素信号の別の読出しを説明する図。
【図１９】実施例４における画素信号とストロボ発光の関係説明図。
【図２０】実施例４における画素信号とマルチストロボ発光の関係説明図。
【図２１】実施例４における画素信号と撮影絞りの関係説明図。
【図２２】実施例４における画素信号とブレの関係説明図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【実施例１】
【０００９】
図１は本実施例の撮像装置としてのカメラ１１のブロック図である。なお撮像装置はデジタルカメラやデジタルビデオカメラ、監視カメラ、携帯電話のカメラ等を含む。カメラ１１はカメラボディ１１ａと交換レンズ１１ｂで構成される。交換レンズ１１ｂは撮影光学系１１５を含み、被写体像が撮影光学系１１５やブレ補正用レンズ１１０を通して撮像手段である撮像素子１２の撮像面上に結像される。なお、カメラ１１はレンズ一体型等のカメラであってもよい。
【００１０】
撮像素子１２とブレ補正用レンズ１１０はブレ補正手段として機能し、少なくとも一方が撮影光軸１０に略直交する面内で、被写体光束に対して相対的に回転又は並進する。これにより、被写体に対するカメラの動き（ブレ）による画像のブレ（以降、単にブレと呼ぶ）を打ち消すようにブレ補正がなされる。なお、撮像素子１２を物理的に移動させずに撮像素子の画像を電子的にシフトすることによってブレ補正をしてもよい。
【００１１】
撮像制御部１３により撮像素子１２が駆動制御され、撮像素子１２からの画素信号を画像処理部１４に供給することにより所定の画像処理が行われ、記録用／表示用の画像信号が形成される。そして画像信号は画像記憶部１５や画像を表示するための表示部１７に供給される。また撮像素子１２からの画素信号をベクトル処理部１６に供給することにより後述する動きベクトル処理が行われて動きベクトル信号が得られる。振動検出部１８は例えば角速度を検出可能なジャイロセンサ等であり、カメラ１１のブレ情報を取得する。
【００１２】
調整部１１３ａはベクトル処理部１６からの動きベクトル信号と、撮影光学系１１５の光学情報や振動検出部１８からのブレ情報に基づいてブレ補正手段の調整目標値（駆動制御信号）を演算する。駆動部１９ａ及び１９ｂは調整部１１３ａからの調整目標値に基づいてそれぞれ撮像素子１２及びブレ補正用レンズ１１０を駆動してブレ補正を行う。
ＣＰＵ１１３はコンピュータとして機能し、ブレ補正用レンズ１１０の駆動位置を検出する位置検出部１１１の信号や操作部１１２からの操作などに基づいて上述した各要素を制御している。なお、ＣＰＵ１１３はメモリ１１４に記憶されたコンピュータプログラムに基づき後述するカメラ内部の各種動作の制御を行う。
【００１３】
次に図２は撮像素子１２の構造例について示した図である。
図２に示すように撮像素子１２は横ｍ列、縦ｎ行の２次元状に配置された複数の光電変換部（画素）から構成されており、ひとつの光電変換部１２ｉｊを模式的なブロック図で示す。
光電変換素子であるフォトダイオード２１は被写体光を受光して光電変換し電荷を発生する。フォトダイオード２１で光電変換された電荷は転送スイッチ２４を介して増幅回路２５に入力され、増幅されて画素信号となる（読み出し動作）。画素信号は出力切り替えスイッチ２８により画像処理部１４或いはベクトル処理部１６に選択的に出力される。
次に撮像制御部１３による撮像素子１２の制御について図３を用いて説明する。
【００１４】
図３は撮像制御部１３による撮像素子１２のタイミングチャートである。図３において、３１は例えば１／３０秒の１垂直期間（１フレーム期間）内の露光期間を示している。上記露光期間は１垂直期間と同じ長さであってもよいが、１垂直期間より短くてもよい。即ち、上記露光期間は垂直期間内の長さを有している。なお、本実施例において垂直期間（フレーム期間）とは２次元状に配置された複数の画素の信号全体を読み出すのに必要な期間のことを指す。露光期間３１は複数の露光期間により構成され、本実施例では第１の露光期間３１ａ、第２の露光期間３１ｂ、第３の露光期間３１ｃを含む。ただし、これらの露光期間は省略される場合もある。図１における操作部１１２を撮影者が操作することで撮影動作が開始される。各露光期間３１ａ、３１ｂ、３１ｃはリセットスイッチ２６によるフォトダイオード２１のリセットオフタイミング（リセットパルスの立下り）３２ａ、３２ｂ、３２ｃで開始される。
【００１５】
第１の露光期間３１ａでフォトダイオード２１で光電変換された電荷は転送スイッチ２４がタイミング３３ａでオンになることで増幅回路２５に出力される。そして、その信号は出力切り替えスイッチ２８を介して画像処理部１４に入力され不図示の記憶手段としてのメモリに記憶される。第２の露光期間３１ｂでフォトダイオード２１で光電変換された電荷は転送スイッチ２４がタイミング３３ｂでオンになることで増幅回路２５に出力され、その信号は出力切り替えスイッチ２８を介してベクトル処理部１６に出力される。第３の露光期間３１ｃでフォトダイオード２１で光電変換された電荷は転送スイッチ２４がタイミング３３ｃでオンになることで増幅回路２５に出力されて画素信号になる。そして、その信号は出力切り替えスイッチ２８を介して画像処理部１４に入力され前記メモリに記憶された信号と合成される。
ここで、第１及び第３の露光期間３１ａ、３１ｃで蓄積された電荷を読み出すことで得られる画素信号（第１の画素信号）を画像処理部１４により表示用または記録用の画像信号を形成するために使用する。一方、第２の露光期間３１ｂで蓄積された電荷を読み出すことで得られる画素信号（第２の画素信号）をカメラ１１の撮影状態の変化を検出する為の信号として使用する。上記例ではブレ検出に使っている。
【００１６】
本実施例では、撮像制御部１３は転送スイッチ２４、リセットスイッチ２６を制御することで、撮像素子１２の各行毎に第１から第３の露光期間３１ａ、３１ｂ，３１ｃの長さやタイミングを変化させる。続いて、本実施例の要部である各行毎の第１から第３の露光期間３１ａ、３１ｂ，３１ｃの制御について図４と図５を用いて説明する。
【００１７】
図４は本実施例における撮像素子１２の複数行ずつの分割領域を設定する方法と被写体像の特徴点検出位置を説明する模式図である。図４において、４１はベクトル処理部１６が撮像素子１２の第２の画素信号から取得する被写体像であり、四角形状で示している。
【００１８】
本実施例では、撮像制御部１３により、撮像素子１２を複数行ずつ列方向に並んだ複数の領域１２ａ〜１２ｆに分割設定して各々の領域毎に後述する露光期間や蓄積タイミングの制御を共通に行う。更に、それぞれの領域１２ａ〜１２ｆから得られる画像を１２０ａ〜１２０ｆとする。またそれぞれの領域１２ａ〜１２ｆから得られる被写体画像の特徴点を４１＿１１〜４１＿２６として示す。各特徴点は公知の画像認識処理により、少なくとも２か所ずつ検出される。例えば、領域１２ａからは特徴点４１＿１１と４１＿２１が検出される。各領域１２ａ〜１２ｆは例えば２００画素行毎で構成されており、それらの画素を用いて特徴点４１＿１１〜４１＿２６の形状や重心位置を求めることができる。なお、これらの領域分割はＣＭＯＳイメージセンサの複数行ごとに分割している。他にも、例えば仮に列毎に読み出すタイプのセンサを用いた場合には、複数列毎に分割すればよい。なお複数の領域１２ａ〜１２ｆは隣接していなくてもよく、例えば複数行おきに飛び飛びに例えば１行〜数行ずつ設けてもよい。
【００１９】
本実施例では、１垂直期間中の露光期間３１中における第２の露光期間３１ｂの画素信号を撮像素子１２の各領域１２ａ〜１２ｆから時間をずらして取得し、ベクトル処理部１６が各々の画像より特徴点の位置を求める。そして、特徴点４１＿１１〜４１＿２６の動きベクトルを算出することで、本実施例の撮影系の調整目標値に相当するカメラ１１の動き信号を算出する。この動き信号は、被写体と、カメラ１１の相対的な動きに関する信号である。よって、被写体が静止している場合には、カメラ１１の動き信号はカメラ１１のブレ信号に相当するため、そのブレ信号を利用してカメラ１１のブレ補正を行うことができるようになる。なお、主被写体が動いている場合でも、静止している背景の被写体から被写体像４１を認識して特徴点を検出して同様にカメラ１１のブレ信号を算出してブレ補正を行うことができる。以降の説明では便宜上、主被写体が静止しており、その像を被写体像４１として認識して制御を行うものとする。
次に、第２の画素信号から得られる画像から特徴点を検出し、移動ベクトルを算出することで、カメラ１１の動き信号を算出する方法（特徴点検出による動き信号算出方法）について、図５を用いて説明する。
【００２０】
図５はカメラ１１のブレ補正を行わない場合に得られる画像１２０を示す模式図である。図５において、破線で示す被写体像４１は、あらかじめ短い露光期間での撮影やストロボを用いた撮影、或いはブレがある複数の画像を平均化した撮影で得られた画像であり、被写体像４１はブレの影響は低減されている。一方、特徴点６１＿１１〜６１＿２６は各画像１２０ａ〜１２０ｆから抽出される特徴点である。図５より分かるように、各領域１２ａから１２ｆの第２の露光期間３１ｂは時間的にずれているため、被写体像の位置は異なってくる。その為に被写体像６１は被写体像４１に比べて像が歪んでいる。
【００２１】
ここで各特徴点の読出しタイミングについて図６を用いて説明する。
図６（Ａ）における撮像素子１２には特徴点検出範囲１２１１から１２８５が設けられており、これら特徴点検出範囲内の画像を比較して動きベクトルの抽出を行う。
本実施例ではこれらの特徴点検出範囲１２１１から１２８５すべてを利用するのではなく、必要な特徴点検出範囲（第１領域）のみを利用し、その他の特徴点検出範囲（第２領域）は信号の蓄積、或いは読出しを行わないことで信号処理の負荷を抑える。そして信号処理の負荷を抑えた分だけ必要な特徴点の情報を高速に取得する。具体的には撮像素子１２に結像している被写体の中で動きベクトルを取得したい主被写体５１に含まれる異なる領域１２ｃ、１２ｄ、１２ｅ（第１領域）における特徴点検出範囲１２３４、１２４４、１２５４の光電変換素子群のみを利用する。
【００２２】
図６（Ｂ）は撮像制御部１３による特徴点検出範囲の信号読出しを説明する図であり、横軸は時間であり、３１は撮影のための合計の露光期間を示している。また、縦軸は撮像素子１２の同一時点における読出し順番を示している。ここで読出し順番に関しては図６（Ａ）の撮像素子１２の各行の列方向の配列とは異なり、動きベクトルを取得したい特徴点検出範囲が含まれる領域１２ｃ、１２ｄ、１２ｄが読出しの最後にまとめられている。
図６（Ｂ）において、下側の縦軸はブレ補正用レンズ１１０の駆動方向６１１（代表として１方向のみ図示）である。
【００２３】
第１、第２、第３の各露光期間３１ａ、３１ｂ、３１ｃで光電変換素子群が蓄積する電荷は撮像素子から画素信号として読み出される。例えば画素信号１２ａａは領域１２ａにおいて第１の露光期間３１ａで光電変換素子群が光電変換された電荷に基づく画素信号を示す。尚、図６（Ｂ）に示される画素信号１２ａａから１２ｅｂの符号における１２ａから１２ｈの後に続く文字ａからｃが第１から第３の露光期間３１ａ〜３１ｃの最後の文字と対応している。すなわち符号１２ｈｂは領域１２ｈにおける第２の露光期間の画素信号を示す。
以降時間経過に沿って画素信号の読出し処理について説明する。
【００２４】
第１領域である領域１２ｃにおいて第１の露光期間３１ａ（ｔ１〜ｔ２）で光電変換され、画像形成に用いられる電荷（画素信号１２ｃａ）は第１の画素信号（画像ａ）として時刻ｔ２〜ｔ３で読みだされ画像処理部１４に出力され不図示のメモリに記憶される。
また領域１２ｃにおいて特徴点検出範囲１２３４を構成する光電変換素子群において第２の露光期間３１ｂ（ｔ２〜ｔ３）で光電変換された電荷は（画素信号１２ｃｂ）は第２の画素信号として時刻ｔ３に読みだされベクトル処理部１６に出力される。ベクトル処理部１６に出力された第２の画素信号は図５で説明した様にそれより前に得られた異なる領域の特徴点検出画素信号（例えば現在求めた画素信号１２ｃｂの情報と前のコマにおける領域１２ｅの画素信号１２ｅｂの情報）と比較される。そして動きベクトル６１１ｂが求められる。
【００２５】
第２領域である領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈにおける第１の露光期間３１ａ（ｔ１〜ｔ４）で蓄積され、画像形成に用いられる電荷（画素信号１２ａａ、１２ｂａ、１２ｆａ、１２ｇａ、１２ｈａ）は第１の画素信号（画像ａ）として時刻ｔ４〜ｔ５で読みだされ画像処理部１４に出力されメモリに記憶される。
第１領域である領域１２ｄにおいて第１の露光期間３１ａ（ｔ１〜ｔ５）で光電変換され、画像形成（画像ａ）に用いられる電荷は（画素信号１２ｄａ）第１の画素信号として時刻ｔ５で読みだされ画像処理部１４に出力されメモリに記憶される。
【００２６】
第２領域である領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈにおける第２の露光期間３１ｂで得られるダミー信号（画素信号１２ａｂ、１２ｂｂ、１２ｆｂ、１２ｇｂ、１２ｈｂ）は時刻ｔ４からｔ６までリセットスイッチ２６がオンして電荷がリセットされており電荷蓄積は行われず、読出し動作も行わない。このダミー期間は第１領域である領域１２ｃ、１２ｄ、１２ｅと第２領域である領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈとでトータルの露出時間を揃える為に設けられている。そしてこのダミー期間の信号は読みださないようにしているので、他の領域、他の期間の信号読出しを高速化できる。
【００２７】
図６（Ｂ）でわかる様にダミー期間は露光期間３１の略中央に設けられている。その理由は、この期間は被写体像が得られない為に露光開始時や露光終了時に設けると第１領域の画像とレリーズタイムラグや残像に違いが出る為である。
第１領域である領域１２ｄにおいて特徴点検出範囲１２４４を構成する光電変換素子群において第２の露光期間３１ｂ（ｔ５〜ｔ７）で光電変換された電荷は画素信号１２ｄｂとして時刻ｔ７に読みだされベクトル処理部１６に出力される。ベクトル処理部に出力された画素信号は時刻ｔ３で読みだされた異なる領域の画素信号と比較（画素信号１２ｄｂと画素信号１２ｃｂが比較）されて動きベクトル６１１ｃが求められる。
【００２８】
第１領域である領域１２ｅにおいて第１の露光期間３１ａ（ｔ１〜ｔ８）で光電変換され、画像形成（画像ａ）の為に用いられる電荷（画素信号１２ｅａ）は第１の画素信号として時刻ｔ８に読みだされ画像処理部１４に出力されメモリに記憶される。
第１、第２領域である領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈ、１２ｃ、１２ｄにおける第３の露光期間３１ｃ（ｔ６〜ｔ９）で光電変換され画像形成に用いられる電荷（画素信号１２ａｃ、１２ｂｃ、１２ｆｃ、１２ｇｃ、１２ｈｃ、１２ｃｃ、１２ｄｃ）は第１の画素信号（画像ｃ）として時刻ｔ９に読みだされ画像処理部１４に出力され、ｔ４に読み出され記憶されていた画素信号と加算合成される。そしてその後上記メモリから順次読み出され記録用または表示用の画像信号が１垂直期間かけて形成される。
【００２９】
第１領域である領域１２ｅにおいて特徴点検出範囲１２５４を構成する光電変換素子群において第２の露光期間３１ｂ（ｔ８〜ｔ９）で光電変換された電荷（画素信号１２ｅｂ）は第２の画素信号として時刻ｔ９に読みだされベクトル処理部１６に出力される。ベクトル処理部に出力された画素信号は時刻ｔ７で読みだされた異なる領域の画素信号と比較して（画素信号１２ｅｂと画素信号１２ｄｂの比較）動きベクトル６１１ｄが求められる。動きベクトル６１１ａは前のコマの情報で分かっているので、各動きベクトル６１１ａから６１１ｄを結んだブレ補正軌跡６２を図６（Ｂ）に示す。ブレ補正手段は各々の調整目標値が求められるたびにその値に基づいて矢印６１１方向に駆動されてブレ補正を行う。また画像処理部１４に出力された各領域１２ａから１２ｈの、画像ａおよび画像ｃは加算合成されて記録用または表示用の画像形成に用いられる。
【００３０】
この様に画像情報を駆動要素に利用する時に、調整目標値が得られる領域のみを光電変換を行う垂直期間中（第１の垂直期間中）に順次ずらして読出す。そしてそれ以外の領域はその光電変換期間中（第１の垂直期間中）には読みださず、次の第２の垂直期間中に読み出す。それによって必要領域のみを第１の垂直期間中の光電変換期間直後に速やかに読みだすことが出来、駆動要素を高い応答性で動かすことが出来るようになる。
【００３１】
図７は実施例１の動作を説明するフローチャートである。このフローはカメラの撮影準備動作（たとえばシャッターレリーズスイッチの静止画撮影操作）からスタートする。なお図７のフローの前に撮像素子の通常の動画用の周期的な蓄積、読出し動作が行われており、それによって得られた画像はライブビュー表示されているものとする。また、本フローの処理は撮像素子１２における複数の領域１２ａ〜１２ｈの各々に対して適用されるが、ここでは代表としてある１領域に対する処理内容を説明する。また本フローの処理はＣＰＵ１１３により制御されるものとする。
ステップＳ７０１では、撮像素子１２からのライブビュー中の画素情報が画像処理部１４を介してＣＰＵ１１３に入力され、ＣＰＵ１１３は、その画素情報により被写体形状を認識する。このステップにおける被写体情報の取得（露光）は短期間であるために、露光中のブレによる被写体歪は発生しない。
【００３２】
ステップＳ７０２では、ステップＳ７０１で認識した被写体の特徴点分布に合わせて図６（Ａ）で説明した様に撮像素子１２の画面を複数行毎に分割する。分割は等間隔である必要はなく、特徴点の分布や大きさ、周囲の画像情報との関連で設定される。
ステップＳ７０３からは図３及び図６（Ｂ）で説明した分割露光に移る。初めに第１の露光期間３１ａが完了するまでステップＳ７０３を循環して待機する。
ステップＳ７０４では第１の露光期間３１ａで得た画素信号を画像処理部に読み出し記憶する。
【００３３】
ステップＳ７０５では現在画素信号を読みだしている領域が情報検出に必要な第１領域か或いは情報検出に不要な第２領域かを判断し、第１領域の場合はステップＳ７０６に進み、第２領域の場合はステップＳ７１１に進む。
ステップＳ７０６では、第２の露光期間３１ｂが完了するまで待機する。
ステップＳ７０７では第２の露光期間３１ｂで得た画素信号をベクトル処理部１６に読みだす。
【００３４】
ステップＳ７０８では、第２の露光期間３１ｂで得られた画素信号からの特徴点座標とステップＳ７０１で得られた被写体形状情報に基づいて、この時点での次に読みだす領域における特徴点座標を推定する。この際、第２の露光期間３１ｂで得られた画素信号は必要に応じて増幅処理を行ってもよい。ここで増幅処理をする理由は、第２の露光期間が全体の露光期間に比べて短いため十分な信号レベルを得るのが難しい場合があるからである。
本実施例では、第２の露光期間に得られた画素信号に対して増幅処理をしている点にも特徴を有する。
ステップＳ７０９では、ステップＳ７０８で推定した現在の行の特徴点座標と現在検出した特徴点座標を比較して動き信号（動きベクトル信号）を得る。
ステップＳ７１０では、ステップＳ７０９で得られた動き信号に基づいてブレ補正用レンズ１１０を駆動してブレ補正を行い、ステップＳ７１１に進む。なお、ここではブレ補正用レンズ１１０を駆動してブレ補正を行っているが、前述のように撮像素子を駆動してもよいし、撮像素子から得られた画像信号の座標をシフトしてもよい。
【００３５】
ステップＳ７１１で第３の露光期間が終了するまで待機する。
ステップＳ７１１で第３の露光期間が終了するとステップＳ７１２に進む。
ステップＳ７１２では、第３の露光期間３１ｃで得た画素信号を画像処理部に読み出す。
ステップＳ７１３では画像処理部は第１の露光期間で得られ画像処理部の不図示の内部メモリに記憶された画素信号と、第３の露光期間で得られた画素信号とを加算し合成画像を作成すると共に得られた画像を画像記憶部１５に静止画として記憶させる。
この様にステップＳ７０５において、情報検出が不要な第２領域か否かを判別し、第２領域の場合には第２の露光期間３１ｂのための読出し等をしないようにしたので、その期間の画素信号読出しが省ける。
これにより高速に撮影状態検出信号を取得する事ができる。
【実施例２】
【００３６】
図８は実施例２における撮像装置としてのカメラ２１１の横断面図と制御ブロック図である。カメラ２１１はカメラボディ２１１ａと交換レンズ２１１ｂで構成される。図１の実施例１と異なるのはブレ補正手段であるブレ補正用レンズ１１０の代わりに絞り８１が設けられている事。そしてベクトル処理部１６に代わって明るさ処理部８２、明るさ処理部の処理結果と操作者の明るさ操作を関連付けて調整目標値を出力する調整部８３、調整目標値に基づいて絞り８１を駆動する駆動部８４が設けられている点である。
【００３７】
尚絞り８１は複数の絞り羽根を駆動して口径を変化させる方式や複数のＮＤフィルタを入れ替える方法、物性を制御して透明部材の濃淡を制御する方法など考えられる。
【００３８】
なお、実施例２においては図６（Ａ）において明るさ検出用の第１領域における明るさ検出範囲の光電変換素子群と明るさ検出が不要の第２領域の明るさ検出範囲の光電変換素子群の読出しが重ならないようにしている。なお領域１２ｃ、１２ｄ、１２ｅが第１領域に相当し、領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈが第２領域に相当する。また第１領域の明るさ検出範囲の光電変換素子群は１２３４、１２４４、１２５４であり、第２領域の明るさ検出範囲の光電変換素子群は１２１１や１２８５などである。
【００３９】
図９は撮像制御部１３による明るさ検出範囲の信号読出しを説明する図であり、横軸は時間、縦軸は撮像素子１２の各領域の読出し順番を示している。ここで読出し順番に関しては実施例１と同様に図６（Ａ）の撮像素子１２の列方向に並べ替えられており、明るさ検出を行いたい明るさ検出範囲が含まれる領域１２ｃ、１２ｄ、１２ｄが読出しの最後になるようにまとめられている。
【００４０】
第１領域である領域１２ｃにおいて第１の露光期間３１ａで光電変換され、画像形成に用いられる電荷（画素信号１２ｃａ）は画素信号（画像ａ）として時刻ｔ２で読みだされる。そして画像処理部１４に出力され画像処理部１４内部の不図示のフレームメモリ内に記憶される。
【００４１】
第１領域である領域１２ｃにおいて明るさ検出範囲１２３４を構成する光電変換素子群が第２の露光期間３１ｂで光電変換され、明るさ検出信号を求める為の電荷（画素信号１２ｃｂ）は画素信号として時刻ｔ３に読みだされ明るさ処理部８２に出力される。明るさ処理部８２に出力された画素信号より検出された明るさに基づき調整部８３は絞り８１を駆動する調整目標値９２ｂを求める。
領域１２ｃにおいて第３の露光期間３１ｃで光電変換され、画像形成に用いられる電荷（画素信号１２ｃｃ）は画素信号（画像ｃ）として時刻ｔ７で読みだされ画像処理部１４に出力される。そして画像処理部１４内部の不図示のフレームメモリ内に記憶されていた信号と加算される。
【００４２】
第１領域である領域１２ｄにおいて第１の露光期間３１ａで光電変換され、画像形成に用いられる電荷（画素信号１２ｄａ）は画素信号（画像ａ）として時刻ｔ４で読みだされ画像処理部１４に出力される。そして画像処理部１４内部の不図示のフレームメモリ内に記憶される。
【００４３】
第１領域である領域１２ｄにおいて明るさ検出範囲１２４４を構成する光電変換素子群が第２の露光期間３１ｂで光電変換された、明るさ検出信号を求める為の電荷（画素信号１２ｄｂ）は画素信号として時刻ｔ５で読みだされ明るさ処理部８２に出力される。明るさ処理部８２に出力された画素信号より検出された明るさに基づき調整部８３は絞り８１を駆動する調整目標値９２ｃを求める。なお、その際に操作者が設定したカメラ１１の露出モード等に基づき絞りの制御方法などを変更してもよい。
領域１２ｄにおいて第３の露光期間３１ｃで光電変換され、画像形成に用いられる電荷（画素信号１２ｄｃ）は画素信号（画像ｃ）として時刻ｔ７で読みだされ画像処理部１４に出力される。そして画像処理部１４内部の不図示のフレームメモリ内に記憶された信号と加算される。
【００４４】
第２領域である領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈにおける第１の露光期間３１ａ（ｔ１〜ｔ６）で蓄積され、画像形成に用いられる電荷（画素信号１２ａａ、１２ｂａ、１２ｆａ、１２ｇａ、１２ｈａ）は画素信号（画像ａ）として時刻ｔ６〜ｔ７に読みだされ画像処理部１４に出力され画像処理部１４内部の不図示のフレームメモリ内に記憶される。
【００４５】
第２領域である領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈにおける第２の露光期間３１ｂ（ｔ６〜ｔ７）で光電変換された電荷（画素信号１２ａｂ、１２ｂｂ、１２ｆｂ、１２ｇｂ、１２ｈｂ）の明るさ処理部８２への読出しは行わない。
【００４６】
第１領域である領域１２ｅにおいて第１の露光期間３１ａ（ｔ１〜ｔ６）で光電変換され、画像形成に用いられる電荷（画素信号１２ｅａ）は画素信号（画像ａ）として時刻ｔ６で読みだされ画像処理部１４に出力される。そして画像処理部１４内部の不図示のフレームメモリ内に記憶される。
領域１２ｅにおいて明るさ検出範囲１２５４を構成する光電変換素子群で第２の露光期間３１ｂ（ｔ６〜ｔ７）で光電変換された、明るさ検出信号を求める為の電荷（画素信号１２ｅｂ）は画素信号として時刻ｔ７で読みだされ、明るさ処理部８２に出力される。明るさ処理部８２に出力された画素信号は検出された明るさに基づき調整部８３は絞り８１を駆動する調整目標値９２ｄを求める。
【００４７】
各明るさの調整目標値９２ｂから９２ｄを結んで得られる絞り駆動軌跡９２を図９に示す。絞りはこの調整目標値に基づいて調整目標値出力ごとに駆動されて明るさ調整を行う。
【００４８】
その後時刻ｔ７で蓄積されていた領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈにおける第２の露光期間３１ｂで光電変換された電荷（画素信号１２ａｂ、１２ｂｂ、１２ｆｂ、１２ｇｂ、１２ｈｂ）は画素信号として画像処理部１４へ送られる。
【００４９】
この様に第２の露光期間３１ｂの電荷（画素信号１２ａｂ、１２ｂｂ、１２ｆｂ、１２ｇｂ、１２ｈｂ）を画像処理部１４へ読出すタイミングよりも領域１２ｅの明るさ検出範囲１２５４の画素信号読出しを優先して先に読み出す事で明るさ検出の高速化を行う。
【００５０】
また、画像処理部１４に出力され画像処理部１４内部の不図示のフレームメモリ内に記憶された各領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈの画像ａ、画像ｂ、画像ｃは加算されて記録用または表示用の画像信号が形成され、次の垂直期間に読み出される。
このとき、領域１２ｃ、１２ｄ、１２ｅの画像ａ、画像ｃも画像処理部１４内部の前記の不図示のフレームメモリから読み出された信号と加算される。そして、他の領域の信号ともとの順番で読み出すことによって記録用または表示用の画像信号が形成され、次の垂直期間に読み出される。
本実施例では、第２領域の画素信号については第２の露光期間３１ｂの信号も画像形成用に加算しているので露出効率を高めることが出来る。なお、第１領域の画素信号については第２の露光期間３１ｂの信号は明るさ処理部８２内に不図示のメモリを設けて記憶しておき、画像処理部の画像と加算して記録用または表示用の画像を形成してもよい。あるいは第１領域の画素信号については第２の露光期間３１ｂの信号は画像形成用に加算せず、その分ゲインをアップして信号レベルを合わせてもよい。
【００５１】
なお、上記のように、第２領域で第１の露光期間３１ａ信号を読出し、続いて第２の露光期間３１ｂ信号を読出し、その後、画像処理部１４で信号加算して画像を形成している。このように露出を２回に分けているのは第１領域でも第１の露光期間３１ａを読出し、その後第２の露光期間３１ｂの信号を読みだした後に加算して画像を形成している条件とそろえる為である。
【００５２】
また第２領域における第２の露光期間３１ｂの信号（画像ｂ）は、第１領域における第２の露光期間３１ｂの信号がすべて読みだされた後から読みだされる為にその読み出しが明るさ検出速度を制限する事がない。
図１０は実施例２の動作を説明するフローチャートであり、図７のフローチャートと同じ機能のステップは同じ符号で示し説明は省く。
ステップＳ１００１ではステップＳ７０６において第２の露光期間３１ｂで得た画素信号を明るさ処理部８２に読みだす。
ステップＳ１００２では調整部８３は明るさ処理部８２の明るさ信号に応じて絞り駆動の調整目標値を算出する。
ステップＳ１００３では駆動部８４が調整部８３の算出した調整目標値に基づいて絞り８１を駆動する。
【００５３】
ステップＳ１００４では画像処理部１４は記憶された第１、第２、第３の露光期間で得られた画素信号を加算する。あるいは第１、第３の露光期間で得られた画素信号に明るさ処理部８２で記憶した画素信号と加算し画像を作成する。そしてそれによって得られた画像を画像記憶部１５に記憶あるいは表示部１７に表示させる。
【００５４】
この様にステップＳ１００４では明るさ処理部８２の信号及び第２領域の第２の露光期間３１ｂの信号（実施例１ではダミー信号）も画像形成に利用しているので露出効率を上げることが出来る。
また、第２領域の第２の露光期間３１ｂの信号は第１領域の第２の露光期間３１ｂの信号読出しが完了したのちに読みだす構成にしているので高速に撮影状態検出信号を取得する事ができる。
【実施例３】
【００５５】
実施例３における撮像素子１２の構造について図１１を用いて説明する。なお、カメラは図１と同様の構成を用いるものとする。
図１１に示すように撮像素子１２は横ｍ列、縦ｎ行の２次元状に配置された複数の光電変換部（画素）から構成されており、ひとつの光電変換部１２ｉｊを模式的なブロック図で示す。
フォトダイオード２１は被写体光を受光して光電変換し電荷を発生する。フォトダイオード２１で光電変換された電荷は蓄積スイッチ２３により、蓄積手段としてのコンデンサ２２に転送され、蓄積される。
コンデンサ２２に蓄積された電荷は転送スイッチ２４を介して増幅回路２５に入力され、増幅されて画素信号となり読み出される。画素信号は出力切り替えスイッチ２８により画像処理部１４に出力される。
【００５６】
リセットスイッチ２６はドレインが電源電圧線（ＶＤＤ）に接続されており、フォトダイオード２１に蓄積された電荷を所定のタイミングでリセットする。そしてリセットを解除することによって新たな露光動作を開始する。
転送スイッチ２７はフォトダイオード２１で光電変換され蓄えられた電荷をコンデンサ２２に蓄積せずに直接に増幅回路２５に入力させる。この場合読み出された画素信号は出力切り替えスイッチ２８によりベクトル処理部１６に出力される。
【００５７】
次に撮像制御部１３による撮像素子１２の制御について図１２を用いて説明する。
図１２は撮像制御部１３による撮像素子１２の駆動タイミングチャートである。図１２において、露光期間３１は複数の露光期間により構成され、本実施例では第１の露光期間３１ａ、第２の露光期間３１ｂ、第３の露光期間３１ｃを含む。図８における操作部１１２を撮影者が操作することで撮影動作が開始される。各露光期間３１ａ、３１ｂ、３１ｃはリセットスイッチ２６によるフォトダイオード２１のリセットオフタイミング（リセットパルスの立下り）３２ａ、３２ｂ、３２ｃで開始される。
【００５８】
第１の露光期間３１ａでフォトダイオード２１で光電変換された電荷は蓄積スイッチ２３がタイミング３３ａでオンになることでコンデンサ２２に蓄積される。第２の露光期間３１ｂでフォトダイオード２１に蓄積された電荷は転送スイッチ２７がタイミング３４でオンになることで増幅回路２５により増幅され、第２の画素信号としてベクトル処理部１６に出力される。第３の露光期間３１ｃでフォトダイオード２１に蓄積された電荷は蓄積スイッチ２３がタイミング３３ｂでオンになることでコンデンサ２２に追加して蓄積される。コンデンサ２２に蓄積された電荷は転送スイッチ２４がタイミング３５でオンになることで増幅回路２５により増幅され、第１の画素信号として画像処理部に１４に出力され記録用あるいは表示用の画像信号が形成される。
【００５９】
尚、第３の露光期間３１ｃでフォトダイオード２１に蓄積された電荷を転送スイッチ２７をタイミング３４でオンにする事で増幅回路２５に入力してもよい。そしてタイミング３５で転送スイッチ２４をオンにする事でコンデンサ２２に蓄積された第１の露光期間３１ａの電荷も増幅回路２５に入力してもよい。それによって第１の露光期間３１ａおよび第３の露光期間３１ｃで得られた信号を増幅回路２５により加算合成し増幅して画像処理部１４に出力してもよい。
【００６０】
ここで、第１及び第３の露光期間３１ａ、３１ｃで蓄積された電荷を読み出すことで得られる画素信号（第１の画素信号）を表示用または記録用の画像信号を形成するために使用する。一方、第２の露光期間３１ｂで蓄積された電荷を読み出すことで得られる画素信号（第２の画素信号）をカメラ１１の撮影状態の変化を検出する為の信号として使用する。
【００６１】
本実施例では、撮像制御部１３は蓄積スイッチ２３、転送スイッチ２４、転送スイッチ２７、リセットスイッチ２６等を制御することで、撮像素子１２の各行毎に第１から第３の露光期間３１ａ、３１ｂ，３１ｃの長さやタイミングを変化させる。
図１３は実施例３における各特徴点の読出しタイミングを説明する図である。
【００６２】
第１の露光期間３１ａ（ｔ１〜ｔ２）で光電変換され、画像形成（画像ａ）に用いられる電荷（画素信号１２ｃａ）は時刻ｔ２では読みだされず、各光電変換素子に設けられているコンデンサ２２に蓄積される。一方領域１２ａ、１２ｂ、１２ｆ、１２ｇ、１２ｈの第１の露光期間３１ａ（ｔ１〜ｔ４）の画素信号１２ａａ、１２ｂａ、１２ｆａ、１２ｇａ、１２ｈａは時刻ｔ４では読みだされずコンデンサ２２に蓄積される。領域１２ｄの第１の露光期間３１ａ（ｔ１〜ｔ５）で光電変換された画素信号１２ｄａは時刻ｔ５では読みだされずコンデンサ２２に蓄積される。領域１２ｅの第１の露光期間３１ａ（ｔ１〜ｔ８）で光電変換された画素信号１２ｅａは時刻ｔ８で読みだされず、コンデンサ２２に蓄積される。
【００６３】
特徴点検出の情報を有する画素信号１２ｃｂ、１２ｄｂ、１２ｅｂは実施例１と同様画素信号として読みだされ、ベクトル処理部１６で処理されて動きベクトル信号になり、調整部１１３ａにより調整目標値となる。
【００６４】
第３の露光期間３１ｃで蓄積され、画像形成（画像ｃ）に用いられる電荷（画素信号１２ａｃから１２ｄｃ）は時刻ｔ９にコンデンサ２２に蓄積され画像ａと加算された後に画素信号として読みだされて画像処理部１４にて処理される。コンデンサ２２に蓄積されていた画素信号１２ｅａも画素信号として時刻ｔ９に読みだされて画像処理部１４にて処理される。
【００６５】
この様に撮像素子１２を構成する各光電変換部の光電変換素子（フォトダイオード２１）に記憶手段であるコンデンサ２２を設けることで図１３における画像ａおよび画像ｃを撮像素子１２の内部で加算可能になる。従って、実施例１の様に画像処理部１４に読みだしてから加算するよりもＳ／Ｎの良い画像が得られる。
また画像ａと画像ｃをまとめて読みだすので読出し負荷が小さくなり特徴点検出信号の読出し高速化が可能になる。
【実施例４】
【００６６】
実施例１および実施例３では、第２の露光期間３１ｂで得られる信号により、カメラ１１の調整目標値としてカメラ１１の動きベクトルを算出してブレ補正を行った。
また実施例２では絞り調節駆動を行ったが、本実施例では焦点調節を行う。
【００６７】
焦点状態の検出としては、同じ領域における第２の露光期間中の画素信号より画像のコントラスト変化を利用する手法や、同じ領域における第２の露光期間中の隣接画素との位相差を利用する手法がある。
【００６８】
図１４は実施例４における撮像装置のカメラ３１１の横断面図と制御ブロック図である。尚、図１と同じ機能のブロックは同じ部番で示し説明は省く。カメラ３１１はカメラボディ３１１ａと交換レンズ３１１ｂで構成される。
焦点調整レンズ２５０１は焦点調整手段の一部として機能し、撮影光軸１０に沿う方向に駆動されることにより、撮像素子１２に対する被写体光束の焦点調整を行う。
撮像素子１２からの第２の画素信号に対して焦点状態検出処理部２５０２により焦点状態検出処理が行われ焦点状態信号が得られる。焦点調整部２５０３は焦点調整手段の一部として機能し、焦点状態検出処理部２５０２からの焦点状態信号と撮影光学系１１５の光学情報に基づいて焦点調整レンズ２５０１の調整目標値を求める。焦点レンズ駆動部２５０４は焦点調整部２５０３からの調整目標値に基づいて焦点調整レンズ２５０１を駆動して焦点調整を行う。ＣＰＵ１１３は焦点調整レンズ２５０１の駆動位置を検出するフォーカスレンズ位置検出部２５０５の信号や操作部１１２からの操作などに基づいて上述した各要素を制御している。
【００６９】
図１５（Ａ）は焦点状態検出を行う撮像素子１２の構造の例を説明する図であり、撮像素子１２は横ｍ列、縦ｎ行の２次元状に配置された複数の光電変換部で構成されており、ひとつの光電変換部１２ｉｊを模式回路で示す。
ひとつの光電変換部１２ｉｊには対のフォトダイオード２１ａ、２１ｂが設けられており、各フォトダイオード２１ａ、２１ｂは被写体光を光電変換して電荷を発生する。
フォトダイオード２１ａ、２１ｂで蓄えられた電荷は第２、第３の蓄積スイッチ２３ａ、２３ｂにより、第１の蓄積手段であるコンデンサ２２に転送され、蓄積される。
【００７０】
コンデンサ２２に蓄積された電荷は転送スイッチ２４を介して増幅回路２５に入力され、増幅されて画素信号となる（読み出し動作）。画素信号は出力切り替えスイッチ２８により画像処理部１４に出力される。リセットスイッチ２６ａ、２６ｂはドレインが電源電圧線（ＶＤＤ）に接続されており、それぞれフォトダイオード２１ａ、２１ｂに蓄積された電荷を所定のタイミングでリセットする事で次回の撮影などへの準備を行う。
転送スイッチ２７ａ、２７ｂはフォトダイオード２１ａ、２１ｂで蓄えられた電荷をコンデンサ２２を介さず直接に増幅回路２５に入力させる。この場合読み出された画素信号は出力切り替えスイッチ２８により焦点状態検出処理部２５０２に出力される。
【００７１】
ここで転送スイッチ２７ａ、２７ｂは切り替えタイミングがずれており、転送スイッチ２７ａがオンされ、フォトダイオード２１ａの信号が増幅回路２５を介して焦点状態検出処理部２５０２に入力された後で転送スイッチ２７ｂがオンされフォトダイオード２１ｂの信号が増幅回路２５を介して焦点状態検出処理部２５０２に入力される。このように切り替えタイミングをずらすのはフォトダイオード２１ａ、２１ｂの信号をそれぞれ独立して得る為である。
【００７２】
ここで、これまで説明した実施例と同様に第１及び第３の露光期間３１ａ、３１ｃで蓄積された電荷を読み出すことで得られる画素信号（第１の画素信号）を画像処理部１４で処理して記録用または表示用の画像信号を形成する。一方、第２の露光期間３１ｂで蓄積された電荷を読み出すことで得られる画素信号（第２の画素信号）をカメラ１１の撮影状態の変化（焦点状態の変化）を検出する為に使用する。
【００７３】
図１５（Ａ）において、破線１８０２＿１、１８０２＿２で囲まれた範囲は特徴点（焦点状態検出に適した範囲）が存在する領域１８０２ｃの中で焦点状態を検出する範囲である。この範囲に含まれる多数の光電変換部の夫々のフォトダイオード２１ａ、２１ｂからの信号は上述したように独立して読み出され、フォトダイオード２１ａの群およびフォトダイオード２１ｂの群から二つの画像が得られる。すなわち第２の画像は対で得られる。図１５（Ｂ）に示す様にフォトダイオード２１ａ、２１ｂは光電変換部の受光窓１２ｉｊａの中で並んで配置されている。そして例えば破線１８０２＿２で囲まれた範囲における複数の光電変換部のフォトダイオード２１ａ、２１ｂによる画像は図１５（Ｃ）のような画像となる。
【００７４】
図１５（Ｃ）において破線１８０２＿２で囲まれた範囲における複数のフォトダイオード２１ａで形成される第２の画像２６０１ａ（実線）と１８０２＿２で囲まれた範囲における複数のフォトダイオード２１ｂで形成される第２の画像２６０１ｂ（破線）は位相差２６０２だけずれている。このずれ量は図１５（Ｂ）におけるフォトダイオード２１ａ、２１ｂの位置ずれ量と、被写体光束の撮像素子１２に対する焦点状態の関数で求められる為に、焦点状態検出処理部２５０２はこの位相差２６０２から焦点状態を検出する。
ここで撮像制御部１３が制御する各特徴点からの読出しタイミングについて図１６を用いて説明する。
【００７５】
焦点調整レンズ２５０１の駆動方向を矢印１６０１で示す。１６０２は焦点調整レンズ２５０１を駆動する為の調整目標値軌跡である。
撮像素子１２の画面分割は図６（Ａ）と同様に、焦点状態を検出するために用いる第１領域と焦点状態検出に不要な第２領域に分割する。
しかも図１６（Ａ）においては焦点状態を検出したい第１領域の縦幅を密に、第２領域の縦幅を疎にすることで焦点状態検出可能な領域の数を増やしている。
【００７６】
上記の様に本実施例では必要な焦点状態検出範囲（第１領域）の信号のみを利用し、その他の焦点状態検出範囲（第２領域）は画素信号の読出しを行わないことで信号処理の負荷を抑える。そして信号処理の負荷を抑えた分だけ必要な特徴点の情報を高速に取得する。具体的には撮像素子１２に結像している被写体の中で焦点状態を検出したい主被写体５１に含まれる異なる領域１２ｃ〜１２ｇ（第１領域）における特徴点検出範囲１２３４、１２４４、１２５４，１２６４、１２７４の光電変換素子群のみを利用する。
【００７７】
図１６（Ｂ）は特徴点検出範囲の信号読出しを説明する図であり、横軸は時間、縦軸は撮像素子１２の複数領域からの読出し順番を示している。本実施例では読出し順番に関して並べ替えは行われていない。
以降時間経過に沿って画素信号の処理を説明する。
第１領域である領域１２ｃにおける第２の露光期間３１ｂで蓄積され、焦点状態検出信号を算出するための電荷は画素信号（画素信号１２ｃｂ）として時刻ｔ２で読みだされ焦点状態検出処理部２５０２に出力される。
第２領域である領域１２ｄにおける第１の露光期間３１ａで光電変換され、画像ａを形成するための電荷は画素信号（画素信号１２ｄａ）として時刻ｔ３で対応するコンデンサ２２に蓄積される。
【００７８】
第１領域である領域１２ｄにおける第２の露光期間３１ｂで蓄積され、焦点状態検出信号を演算する為に使われる電荷は画素信号として（画素信号１２ｄｂ）は時刻ｔ４で読みだされ焦点状態検出処理部２５０２に出力される。
領域１２ａ、１２ｂ、１２ｈ、１２ｉにおける第１の露光期間３１ａで蓄積され画像ａを形成するための電荷は画素信号（画素信号１２ａａ、１２ｂａ、１２ｈａ、１２ｉａ）として時刻ｔ５で各々の光電変換素子に設けられたコンデンサ２２に蓄積される。
【００７９】
第１領域である領域１２ｅにおける第２の露光期間３１ｂで蓄積され、焦点状態検出信号を求める為の電荷は画素信号（画素信号１２ｅｂ）として時刻ｔ６で読みだされ焦点状態検出処理部２５０２に出力される。
第２領域である領域１２ａ、１２ｂ、１２ｈ、１２ｉにおける第２の露光期間３１ｂで得られるダミー信号（画素信号１２ａａ、１２ｂａ、１２ｈａ、１２ｉａ）は時刻ｔ５からｔ６まで電荷蓄積を行わず、読出し動作も行わない。このダミー信号は第１領域である領域１２ｃ、１２ｄ、１２ｅ、１２ｆ、１２ｇと第２領域である領域１２ａ、１２ｂ、１２ｈ、１２ｉと露出を揃える為に設けられている。そしてこのダミー信号の読みだしは行わないので他の領域、他の期間の信号読出しを高速化できる。
【００８０】
第１領域である領域１２ｆにおける第１の露光期間３１ａで蓄積され、画像ａを形成するため電荷は画素信号（画素信号１２ｆａ）として時刻ｔ７で対応するコンデンサ２２に蓄積される。領域１２ｆにおける第２の露光期間３１ｂで蓄積され、焦点状態検出信号を求める為の電荷は画素信号（画素信号１２ｆｂ）として時刻ｔ８で読みだされ焦点状態検出処理部２５０２に出力される。
第１領域である領域１２ｇにおける第１の露光期間３１ａで蓄積され、画像ａを形成するための電荷は画素信号（画素信号１２ｇａ）として時刻ｔ９で対応するコンデンサ２２に蓄積される。領域１２ｇにおける第２の露光期間３１ｂで蓄積され、焦点状態を求める為の電荷は画素信号（画素信号１２ｇｂ）として時刻ｔ９で読みだされ焦点状態検出処理部２５０２に出力される。
【００８１】
第２領域である領域１２ａ、１２ｂ、１２ｈ、１２ｉおよび第１領域である１２ｃ、１２ｄ、１２ｅ、１２ｆにおける第３の露光期間３１ｃで蓄積され、画像ｃを形成するための電荷は画素信号（画素信号１２ａｃ、１２ｂｃ、１２ｃｃ、１２ｄｃ、１２ｅｃ、１２ｆｃ、１２ｈｃ、１２ｉｃ）として時刻ｔ１０で各々の光電変換素子に設けられたコンデンサ２２に蓄積される。その後、すべての領域におけるコンデンサ２２の信号は読みだされ画像処理部１４に出力される。
【００８２】
第１領域である領域１２ｃ〜１２ｇの第２の露光期間３１ｂは図１６（Ｂ）に示す様に時間方向に等間隔に設けられている。そして、それらの画素信号１２ｃｂ、１２ｄｂ、１２ｅｂ、１２ｆｂ、１２ｇｂに基づき焦点状態検出処理部２５０２が焦点状態を検出し、それに基づいて焦点調整部２５０３は焦点調整の為の調整目標値を求める。求まった調整目標値１６０１ａ、１６０１ｂ、１６０１ｃ、１６０１ｄ、１６０１ｅ、１６０１ｆを結ぶと軌跡１６０２となる。
焦点調整レンズ２５０１はこの調整目標値に基づいて矢印１６０１方向に駆動されて焦点調節を行う。また各コンデンサ２２に蓄積され、画像を形成するための電荷は画素信号として画像処理部１４に入力され記録用または表示用の画像信号の形成に用いられる。
【００８３】
この様に画像情報を駆動要素に利用する時に、調整目標値が得られる領域のみを読出し、それ以外の領域は読みださない様にすることで必要領域のみ高速に読みだすことが出来、駆動要素を高精度に動かすことが出来るようになる。
図１７は実施例４の動作を説明するフローチャートであり、図７のフローと同じステップは同じ符号で示し説明は省く。
【００８４】
このフローはカメラの撮影準備動作（たとえばシャッターレリーズスイッチの静止画撮影操作）からスタートする。なお図１７のフローの前に撮像素子の通常の動画用の周期的な蓄積、読出し動作が行われており、それによって得られた画像はライブビュー表示されているものとする。
また、本フローの処理は撮像素子１２における複数の領域１２ａ〜１２ｈの各々に対して適用されるが、ここでは代表としてある１領域に対する処理内容を説明する。また本フローの処理はＣＰＵ１１３により制御されるものとする。
ステップＳ１７０１では第１の露光期間３１ａを終了した画像ａの電荷をコンデンサ２２に蓄積する。ステップＳ１７０２は現在画素信号を制御している領域が情報検出に必要な第１領域の場合にフローが流れるステップであり、第２の露光期間３１ｂで電荷蓄積を終了した焦点状態を求める為の電荷は画素信号として焦点状態検出処理部２５０２に読みだされる。
【００８５】
ステップＳ１７０３では焦点調整部２５０３が焦点状態検出処理部２５０２信号とカメラ１１の焦点距離などの撮影条件に基づいて焦点調整レンズを駆動する駆動目標値を求める。ステップＳ１７０４では焦点レンズ駆動部２５０４は焦点調整部２５０３が求めた調整目標値に基づいて焦点調整レンズ２５０１を駆動する。ステップＳ１７０５では第３の露光期間３１ｃを終了した画像ａを形成するための電荷をコンデンサ２２に蓄積する。ステップＳ１７０６ではコンデンサ２２に蓄積された電荷を画素信号として画像処理部１４に読みだす。コンデンサ２２には第１の露光期間３１ａおよび第３の露光期間３１ｃで蓄積された電荷が加算されている。
【００８６】
ステップＳ１７０７ではステップＳ１７０６で読みだされた画素信号より画像処理部１４は記録用または表示用画像を作成すると共に得られた画像を画像記憶部１５に記憶させる。また必要に応じて表示部１７に画像を表示する。ステップＳ１７０１、Ｓ１７０５で説明した様に第１、第３の露光期間３１ａ、３１ｃにおける電荷は各光電変換素子に設けられたコンデンサに加算蓄積される。従って図７のステップＳ７１３の様に第１、第３の露光期間３１ａ、３１ｃの信号を撮像素子の外に読みだした後に加算するよりも画像のＳ／Ｎを高くできる。
【００８７】
また、実施例１などで説明した様に情報検出が不要な第２領域では第２の露光期間３１ｂの画素信号読出しが省け、更に本実施例では第１の露光期間３１ａの信号はコンデンサ２２に蓄積するのみであり画像処理部１４に読みだす必要がない。その為に読出し負荷を抑えることが出来ると共に焦点状態検出信号の読出し高速化が出来る。
【００８８】
図１８は図１６と異なり第２領域である領域１２ａ、１２ｂ、１２ｈ、１２ｉにおける第２の露光期間３１ｂの露光タイミングが画像取得の最後に設けられている。また、これら第２の露光期間３１ｂでも電荷の蓄積を行っており、それらの電荷を画素信号として読みだして画像処理部１４に入力する。すなわち第１の露光期間３１ａで得られ画像処理部１４に入力された画素信号と、第２領域の第２の露光期間３１ｃで得られ、画像処理部１４に入力された画素信号は合算されて画像形成に用いられる。
なお、画像ｂとなる画素信号１２ａｂ、１２ｂｂ、１２ｈｂ、１２ｉｂは撮影の最後に設けられているので、それらの画素信号の読出しが焦点検出信号の読出しに影響する事はない。
【００８９】
次に図１９（Ａ）、図１９（Ｂ）は露光タイミングと照明手段であるストロボの発光タイミングとの関係を示しており、図１９（Ａ）は先幕シンクロ撮影、図１９（Ｂ）は後幕シンクロ撮影である。先幕シンクロ撮影ではストロボ発光タイミング１９０１ａは画像取得期間の開始直後であり、且つすべての領域において第１、或いは第３の露光期間３１ａ、３１ｃとなっているタイミングに設定される。これはすべての領域にストロボ照射を行わせる為である。同様に後幕シンクロ撮影でも画像取得期間の終了間際であり、且つすべての領域において第１、或いは第３の露光期間３１ａ、３１ｃとなっているタイミングに設定される。そして第２の露光期間３１ｂとストロボ発光タイミング１９０１ａ、１９０１ｂが重ならない様に、照明手段の発光タイミングが第２の露光期間３１ｃの配列に応じて制御される。
【００９０】
あるいは第２の露光期間３１ｃの配列は照明手段の発光タイミングで制御される。なぜならばストロボ発光タイミングと第２の露光期間３１ｂが重なった時の焦点検出信号と重ならないときの焦点検出信号に焦点検出誤差が生じ、焦点調節が不安定になる事を避ける為である。
【００９１】
図２０はマルチ発光ストロボの場合を示しており、各ストロボ発光タイミング２００１ａから２００１ｅは第１領域において第２の露光期間３１ｃと同期している。すなわち照明手段の発光タイミングは第２の露光期間の配列に応じて制御される。このようにすることによって被写体が明るい状態で得られた画素信号に基づき焦点状態の検出を行うことができるので焦点状態検出精度が上がる、或いは第２の露光期間を短くできるメリットがある。
【００９２】
図２１（Ａ）は絞り値が大きい時、或いは焦点距離が短い時や被写体距離が遠い時の様に像倍率が小さい時の読出しタイミング図である。図２１（Ｂ）は絞り値が小さい時、或いは焦点距離が長い時や被写体距離が近い時の様に像倍率が大きい時の読出しタイミング図である。被写界深度の深い図２１（Ａ）の状態では頻繁に焦点状態検出を行う必要がないので第２の露光期間３１ｂを一つにまとめることで演算負荷を少なくしている。反対に被写界深度の浅い図２１（Ｂ）の状態では頻繁に焦点状態検出を行う必要があるので第２の露光期間３１ｂを均等に分散している。すなわち絞り値或いは焦点距離、像倍率に基づいて第１領域における前記第２の露光期間の配列は制御される。これにより精度の高い焦点状態検出と演算負荷軽減を両立させている。
【００９３】
図２２（Ａ）はブレが大きい時、図２２（Ｂ）はブレが小さい時の読出しタイミング図である。ブレの大小は図１の振動検出部１８で検出する。或いは焦点距離の長さに応じで像面でのブレ量を予測し焦点距離が長い時はブレが大きいと判定してもよい。または被写体距離が近いときはシフトブレの影響が大きくなるのでブレが大きいと判定してもよい。そして図２２（Ａ）の様にブレが大きい時の第２の露光期間３１ｂの長さ２２０１ａを図２２（Ｂ）の様にブレが小さい時の第２の露光期間３１ｂ長さ２２０１ｂより短くすることでブレの影響を低減している。すなわち予測されるブレの大きさに応じて第１領域における前記第２の露光期間の長さは制御される。なお、第２の露光期間を短くすることによる露出不足は撮像素子１２の感度を大きくすることで補う。
この様に撮影条件に応じて第２の露光期間の配列や長さを変更する事で本実施例の焦点状態検出は様々な撮影に対応できる。
【００９４】
これら第２の露光期間３１ｂの長さや配列と撮影条件との関連付けは焦点状態検出の場合ばかりではなく、ブレ補正手段の調整目標値を求めブレ補正を行う事、或いは撮影中の明るさ変化を検出し、絞りを調節してゆく事に適用する事も可能である。
【００９５】
なお、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置や撮像制御装置に供給するようにしてもよい。そしてその撮像装置や撮像制御装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
【符号の説明】
【００９６】
１１  カメラ
１２  撮像素子
１３  撮像制御部
１４  画像処理部
１６  ベクトル処理部
２２  コンデンサ
２５０２  焦点状態検出処理部
【図１】
2020096232.tif 000003
【図２】
2020096232.tif 000004
【図３】
2020096232.tif 000005
【図４】
2020096232.tif 000006
【図５】
2020096232.tif 000007
【図６】
2020096232.tif 000008
【図７】
2020096232.tif 000009
【図８】
2020096232.tif 000010
【図９】
2020096232.tif 000011
【図１０】
2020096232.tif 000012
【図１１】
2020096232.tif 000013
【図１２】
2020096232.tif 000014
【図１３】
2020096232.tif 000015
【図１４】
2020096232.tif 000016
【図１５】
2020096232.tif 000017
【図１６】
2020096232.tif 000018
【図１７】
2020096232.tif 000019
【図１８】
2020096232.tif 000020
【図１９】
2020096232.tif 000021
【図２０】
2020096232.tif 000022
【図２１】
2020096232.tif 000023
【図２２】
2020096232.tif 000024