(57)【要約】【課題】連写時のＡＦ予測性能を向上させることが出来る撮像装置を提供する。【解決手段】焦点検出を行うための位相差検出画素を有する撮像素子と、少なくとも位相差検出画素に、撮像素子で本画像を得るための目標とする第１の露光期間よりも短い第２の露光期間の蓄積を複数回行わせる露光制御部と、複数回の第２の露光期間の蓄積のうち、少なくとも２回の蓄積で得られた少なくとも２つの位相差検出画素の信号に基づいて、被写体の合焦位置を予測する予測部とを備える。【選択図】  図５
2020095156.tif 000002
【特許請求の範囲】
【請求項１】
焦点検出を行うための位相差検出画素を有する撮像素子と、
少なくとも前記位相差検出画素に、前記撮像素子で本画像を得るための目標とする第１の露光期間よりも短い第２の露光期間の蓄積を複数回行わせる露光制御手段と、
前記複数回の第２の露光期間の蓄積のうち、少なくとも２回の蓄積で得られた少なくとも２つの前記位相差検出画素の信号に基づいて、被写体の合焦位置を予測する予測手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記露光制御手段は、前記複数回の第２の露光期間の合計が前記第１の露光期間となるように、前記撮像素子に前記複数回の第２の露光期間の露光を行わせ、前記撮像装置は、前記複数回の第２の露光期間の蓄積で得られた複数の画像信号を合成して前記本画像を生成する合成手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記予測手段は、前記複数回の第２の露光期間の蓄積で得られた信号のうち、等間隔に間引いた信号を用いて前記被写体の合焦位置を予測することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記露光制御手段は、前記被写体の合焦位置を予測する演算を行う間隔に基づいて、前記第１の露光期間の蓄積を行う間隔を調整することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像素子は、前記等間隔に間引かれて前記被写体の合焦位置を予測するのに用いられない信号の出力のタイミングでは、前記本画像の生成に用いられる信号を出力することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記予測手段は、前記複数回の第２の露光期間の蓄積で得られた信号のうち、不等間隔に間引いた信号を用いて前記被写体の合焦位置を予測することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記予測手段は、前記複数回の第２の露光期間の蓄積で得られた信号のうち、前記第１の露光期間における最後の蓄積で得られた信号を用いて前記被写体の合焦位置を予測することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記予測手段は、前記被写体の合焦位置の予測が前記第１の露光期間が終了するまでに終わるように、前記被写体の合焦位置の予測を行うことを特徴とする請求項６に記載の撮像装置。
【請求項９】
撮影レンズの焦点を合わせる制御を行うレンズ制御手段をさらに備え、該レンズ制御手段は、前記第１の露光期間の間に前記撮影レンズの駆動を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記予測手段は、前記被写体の合焦位置を予測する方法を選択する選択手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記露光制御手段は、スリットローリングシャッター方式により前記撮像素子を駆動することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記撮像素子は、前記被写体の合焦位置の予測のための信号の読み出しと、前記本画像の生成に用いられる画像信号の読出しとを独立して行うことが可能であることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
焦点検出を行うための位相差検出画素を有する撮像素子と、
少なくとも前記位相差検出画素に、前記撮像素子で本画像を得るための目標とする第１の露光期間よりも短い第２の露光期間の蓄積を複数回行わせる露光制御手段と、
前記第１の露光期間の長さを閾値と比較する比較手段と、
前記比較手段の比較結果に基づいて、前記第１の露光期間の蓄積により得られた信号と前記第２の露光期間の蓄積により得られた信号の一方を選択し、被写体の合焦位置を予測する予測手段と、
を備えることを特徴とする撮像装置。
【請求項１４】
前記予測手段は、前記第１の露光期間の長さが前記閾値よりも短い場合に、前記第１の露光期間の蓄積により得られた信号を用いて、前記被写体の合焦位置を予測し、前記第１の露光期間の長さが前記閾値以上の場合に、前記第２の露光期間の蓄積により得られた信号を用いて、前記被写体の合焦位置を予測することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
焦点検出を行うための位相差検出画素を有する撮像素子を備える撮像装置を制御する方法であって、
少なくとも前記位相差検出画素に、前記撮像素子で本画像を得るための目標とする第１の露光期間よりも短い第２の露光期間の蓄積を複数回行わせる露光制御工程と、
前記複数回の第２の露光期間の蓄積のうち、少なくとも２回の蓄積で得られた少なくとも２つの前記位相差検出画素の信号に基づいて、被写体の合焦位置を予測する予測工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１６】
焦点検出を行うための位相差検出画素を有する撮像素子を備える撮像装置を制御する方法であって、
少なくとも前記位相差検出画素に、前記撮像素子で本画像を得るための目標とする第１の露光期間よりも短い第２の露光期間の蓄積を複数回行わせる露光制御工程と、
前記第１の露光期間の長さを閾値と比較する比較工程と、
前記比較工程における比較結果に基づいて、前記第１の露光期間の蓄積により得られた信号と前記第２の露光期間の蓄積により得られた信号の一方を選択し、被写体の合焦位置を予測する予測工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１７】
請求項１５または１６に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１５または１６に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における焦点検出技術に関するものである。
【背景技術】
【０００２】
従来より、背景をブレさせて躍動感を演出する流し撮りという手法が知られている。このような撮影を行う場合、背景をブレさせるために、背景をブレさせない静止画撮影に比べてシャッタースピードを遅くして連写することがある。また、被写体が奥行き方向や像高方向に動く場合には、連写を行いつつオートフォーカス（以降、ＡＦとする）でピントを合わせる必要がある。
【０００３】
オートフォーカスの手法として、撮像素子に位相差検出画素を配置し、この位相差検出画素からの信号に基づいてデフォーカス量を算出し、合焦するようにレンズ駆動を行う撮像面位相差ＡＦ技術が知られている。また、連写された画像毎のデフォーカス量の変化に基づいて被写体位置を予測する手法も知られている。
【０００４】
例えば特許文献１では、本画像の連写中にライブビュー画像を露光し、ライブビュー画像を用いてデフォーカス量を算出し、レンズ駆動を行っている。また、特許文献２ではｎ−１フレーム目のＡＦ評価値とｎフレーム目のＡＦ評価値を使用して追尾検出を行い、ｎフレームの露光終了時にｎフレーム目の追尾検出結果を得ている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−３１８７７号公報
【特許文献２】特開２０１６−１０９７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来技術では、本画像とは別にライブビュー用画像を露光する必要があり、連写速度を上げることが困難である。
【０００７】
また特許文献２に開示された従来技術では、ｎ−１フレーム目の蓄積開始から追尾検出結果を得るまでに、少なくとも２フレーム分の蓄積期間と読出し期間が必要である。撮像面位相差ＡＦ方式ではＡＦを行うタイミングが蓄積期間とほぼ等しくなるため、シャッタースピードを遅くして連写した場合、蓄積開始からＡＦ終了までにかかる時間が長くなってしまう。このように焦点検出から合焦までの間隔（以降、ＡＦタイムラグとする）が長くなるほど、物体の動作は予測が困難になる。
【０００８】
本発明は上述した課題に鑑みてなされたものであり、その目的は、連写時のＡＦ予測性能を向上させることが出来る撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係わる撮像装置は、焦点検出を行うための位相差検出画素を有する撮像素子と、少なくとも前記位相差検出画素に、前記撮像素子で本画像を得るための目標とする第１の露光期間よりも短い第２の露光期間の蓄積を複数回行わせる露光制御手段と、前記複数回の第２の露光期間の蓄積のうち、少なくとも２回の蓄積で得られた少なくとも２つの前記位相差検出画素の信号に基づいて、被写体の合焦位置を予測する予測手段と、を備えることを特徴とする。
【００１０】
また、本発明に係わる撮像装置は、焦点検出を行うための位相差検出画素を有する撮像素子と、少なくとも前記位相差検出画素に、前記撮像素子で本画像を得るための目標とする第１の露光期間よりも短い第２の露光期間の蓄積を複数回行わせる露光制御手段と、前記第１の露光期間の長さを閾値と比較する比較手段と、前記比較手段の比較結果に基づいて、前記第１の露光期間の蓄積により得られた信号と前記第２の露光期間の蓄積により得られた信号の一方を選択し、被写体の合焦位置を予測する予測手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、連写時のＡＦ予測性能を向上させることが出来る撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態の撮像装置の構成を示すブロック図。
【図２】第１の実施形態における撮像素子の構成を示すレイアウト図。
【図３】撮像素子上における光学像の結像関係を示す断面図。
【図４】第１の実施形態における撮像装置の動作を示すフローチャート。
【図５】第１の実施形態における撮像装置の動作を示すタイミングチャート。
【図６】第２の実施形態における撮像装置の動作を示すタイミングチャート。
【図７】第２の実施形態における合焦位置予測演算例を示す図。
【図８】第３の実施形態における撮像装置の動作を示すタイミングチャート。
【図９】第４の実施形態における撮像装置の動作を示すタイミングチャート。
【図１０】第５の実施形態における撮像装置の動作を示すタイミングチャート。
【図１１】第６の実施形態の撮像装置の構成を示すブロック図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、添付図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。なお、以下に説明する実施形態は例示であり、本発明は以下の実施形態に記載された構成に限定されるものではない。
【００１４】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置１００の構成を示すブロック図である。
【００１５】
図１において、レンズ部１０１は、フォーカスを調整するためのフォーカシングレンズを含む光学レンズ群、シャッタ、絞り等で構成され、撮像素子１０２上に光学像を結像させる。レンズ制御部１０８は、レンズ部１０１に対してフォーカス制御等の各種制御を行う。レンズ制御部１０８は後述するシステム制御部１０７からの指令に基づいて制御される。レンズ交換式のデジタルスチルカメラやビデオカメラの場合、システム制御部１０７は、取り付けられたレンズのレンズ制御部１０８に対して焦点調節に必要な情報を送信する。このように、撮像装置１００は取り付けられたレンズの制御を行うことで、焦点位置の調節を行うことができる。
【００１６】
撮像素子１０２は単位画素セルが２次元マトリクス状に配列されたＣＭＯＳセンサにより構成されており、レンズ部１０１によって結像された被写体像を光電変換する。図２を用いて、撮像素子１０２の構成について説明する。
【００１７】
図２は、本実施形態における撮像素子１０２について説明するための図である。図２（ａ）は撮像素子１０２の構成を示す図である。撮像素子１０２は、画素配列２０１、垂直走査回路２０２、水平走査回路２０３、タイミングジェネレータ（以下、ＴＧ）２０４を備えて構成される。
【００１８】
画素配列２０１は、複数の単位画素セルが２次元マトリクス状に配列されて構成される。ＴＧ２０４はタイミングジェネレータであって、撮像期間や転送期間等を制御するためのタイミング信号を生成し、垂直走査回路２０２、水平走査回路２０３にタイミング信号を送信する。垂直走査回路２０２は、露光期間の終了するタイミングになると、単位画素セルから出力される信号を垂直伝送路へ伝送する。水平走査回路２０３は、出力伝送路を介して外部に蓄積信号を順次出力する。
【００１９】
図２（ｂ）は、撮像素子１０２における１つの単位画素セル２０５を示している。単位画素セル２０５は、１つのマイクロレンズ２０６と、一対の光電変換部２０７ａ，２０７ｂを有する。光電変換部２０７ａ，２０７ｂは共通のマイクロレンズ２０６を通して撮像光学系の射出瞳における互いに異なる瞳領域を通過した光束を受光することにより瞳分割を行う。
【００２０】
図２（ｃ）は撮像素子１０２における画素配列２０１を示す図である。撮像素子１０２は、２次元の画像信号を提供するために、複数の単位画素セル２０５を行方向および列方向に２次元的に配列して構成される。図２（ｃ）において、２０８，２０９，２１０，２１１は図２（ｂ）に示す単位画素セル２０５に相当する。２０８Ｌ，２０９Ｌ，２１０Ｌ，２１１Ｌは図２（ｂ）に示す光電変換部２０７ａに相当する。２０８Ｒ，２０９Ｒ，２１０Ｒ，２１１Ｒは図２（ｂ）に示す光電変換部２０７ｂに相当する。
【００２１】
ここで、図３を参照して、図２に示す画素配列２０１を有する撮像素子１０２上における光学像の結像関係について説明する。図３は撮影レンズの射出瞳から出た光束が撮像素子１０２に入射する様子を概念的に示している。３０１はマイクロレンズであり、３０２はカラーフィルタである。３０３は撮影レンズの射出瞳を示す。
【００２２】
ここでは、マイクロレンズ３０１を有する画素に射出瞳３０３から入射する光束の中心を光軸３０６とする。射出瞳３０３から出射した光は光軸３０６を中心として撮像素子１０２に入射する。３０４，３０５は射出瞳３０６の一部領域を示す。射出瞳の一部領域３０４を通過する光の最外周の光線を３０７，３０８で示し、射出瞳の一部領域３０５を通過する光の最外周の光線を３０９，３１０で示す。
【００２３】
図３からわかるように、射出瞳から出射した光束の内、光軸３０６を境にして、上側の光束は光電変換部２０７ｂに入射し、下側の光束は光電変換部２０７ａに入射する。つまり、光電変換部２０７ａと２０７ｂはそれぞれ撮影レンズの射出瞳の異なる領域の光を受光している。この特性を生かして位相差検出を行う。以下、図２（ｃ）を用いて本実施形態における位相差検出方法について説明する。
【００２４】
複数の単位画素セル２０５における光電変換部２０７ａは位相差検出方式による焦点検出用の一対の被写体像の内、Ａ像を光電変換するＡ像用画素群として用いられる。また、光電変換部２０７ｂは一対の被写体像の内、Ｂ像を光電変換するＢ像用画素群として用いられる。
【００２５】
図２（ｃ）に示す画素配列２０１では、光電変換部２０８Ｌ〜２１１Ｌ…を参照する行２１２をＡ像用画素群とし、光電変換部２０８Ｒ〜２１１Ｒ…を参照する行２１３をＢ像用画素群とする。Ａ像用画素群から得られたデータと、Ｂ像用画素群から得られたデータを相関演算することにより位相差情報を検出することができる。行２１２、行２１３の様に位相差信号を焦点検出部１０５に出力する行を位相差検出画素行と呼ぶ。このように撮像素子に設けられたＡ像用画素群およびＢ像用画素群を用いて位相差検出方式の焦点検出を行うＡＦを、撮像面位相差ＡＦという。また、行２１４では単位画素セル２０５の光電変換部２０７ａの信号と光電変換部２０７ｂの信号を加算することにより、画像信号を読み出すことができる。行２１４のように画像信号を信号加算部１０４に出力する画素のみが配置されている行を通常画素行と呼ぶ。なお、通常画素行の単位画素セル２０５は光電変換部を分割して持たず、１つの光電変換部のみ持つ構成としてもよい。
【００２６】
位相差検出方法は既知の技術であり、上記で説明した方法以外の位相差検出方式を使用してもよい。例えば瞳分割を行うマイクロレンズの下に、遮光部を有する焦点検出用画素を配置し、遮光部の開口位置が異なる２種類の焦点検出用画素の出力を組み合わせて一対の被写体像の像信号を形成してもよい。
【００２７】
フロントエンジン１０３は、撮像素子１０２から出力される信号を処理する第１の信号処理部である。撮像素子１０２は、撮影を実行する際にユーザーもしくはシステム制御部１０７が設定した目標とする露光期間（以降、本画像露光期間とする）よりも短い露光期間での露光を複数回行い（露光制御）、それぞれフロントエンジン１０３に信号を出力する。この短い露光期間で露光された画像信号を短秒露光画像と呼ぶ。フロントエンジン１０３では短秒露光画像の加算（合成）や、焦点検出等の制御が行われる。フロントエンジン１０３は撮像素子１０２から高フレームレートに伝送される画像信号を処理し、低フレームレートで後述するバックエンジン１０９に出力する。
【００２８】
信号加算部１０４は撮像素子１０２から出力された短秒露光画像を複数回加算し、撮像素子１０２を本画像露光期間分だけ露光させた１枚の画像信号（以降、本画像信号とする）としてバックエンジン１０９に出力する。
【００２９】
焦点検出部１０５は、撮像素子１０２のＡ像用画素群及びＢ像用画素群からの信号に基づいて焦点検出を行う。具体的には、Ａ像画素信号及びＢ像画素信号の位相差を求めるために相関演算を行う。その後、焦点検出部１０５は、相関演算結果からデフォーカス量を求める。
【００３０】
合焦位置予測部１０６は、撮像素子１０２から出力される短秒露光画像信号を用いて被写体距離の予測を行う。被写体距離の予測方法は既知の方法を使用すればよい。例えば最小二乗近似等の近似手法を用いて、過去の焦点検出を行った時刻と、その時の合焦位置に基づいて近似式を算出し、合焦位置の予測値を求める。合焦位置の予測値は、次に画像が取得される時刻と近似式とから求めることができる。また、予測演算において、予測に用いるサンプルを得る間隔が狭い程、求められる予測式及び予測結果の精度は高まる。本実施形態では従来に比べて撮影間隔の短い短秒露光画像を用いて合焦位置予測を行うため、ラグランジュ補間公式等で求められる予測式から合焦位置の予測を行ってもよい。
【００３１】
バックエンジン１０９は、入力された信号に対して例えば色変換処理、ホワイトバランス処理などの既知の信号処理を行う第２の信号処理部である。各種信号処理が行われた画像信号は、不図示の圧縮手段により圧縮符号化され、外部記録装置１１１と画像表示部１１０に出力される。
【００３２】
システム制御部１０７は撮像装置１００全体を制御する。撮像シーンや撮影モードなどから得られる撮影情報に基づいて、レンズ制御部１０８へズームや絞りなどの光学系の駆動情報を送信し、撮像素子１０２へ露光期間や読出し間隔などの撮像素子の駆動情報を送信する。また、焦点検出部１０５や合焦位置予測部１０６から得られる焦点検出情報に基づいて、レンズ制御部１０８へフォーカスレンズの駆動量などの情報を送信する。
【００３３】
図４を用いて、本実施形態における撮像装置１００の動作について説明する。図４は本実施形態の撮像装置の動作を示すフローチャートである。図４のフローチャートの処理は、不図示の操作部に含まれるシャッタボタンがユーザーにより押されることによって開始される。
【００３４】
ステップＳ４０１では、システム制御部１０７は撮像素子１０２を駆動して、短秒露光画像を取得する。ステップＳ４０２では、システム制御部１０７は、得られた短秒露光画像を用いて合焦位置予測部１０６に合焦位置予測演算を行わせる。そして、予測された位置へレンズを駆動させるのに必要なレンズ駆動量を算出する。
【００３５】
ステップＳ４０３では、システム制御部１０７は、信号加算部１０４に短秒露光画像の加算を行わせる。なお、ステップＳ４０２とステップＳ４０３は並列に処理を行ってもよい。
【００３６】
ステップＳ４０４では、短秒露光画像信号の合計が本画像露光期間と一致するように加算したかどうかを判定する。本画像露光期間の分だけ短秒露光画像信号を加算していない場合はステップＳ４０１に戻ってステップＳ４０１〜Ｓ４０４の動作を繰り返す。本画像露光期間の分だけ短秒露光画像信号を加算した場合はステップＳ４０５に移行する。ステップＳ４０５ではステップＳ４０２で得られたレンズ駆動量をレンズ制御部１０８に送信する。レンズ駆動のタイミングについては後述する。
【００３７】
画像表示部１１０はバックエンジン１０９から送信された画像信号による映像や、撮像装置１００の操作をするための操作画面（メニュー画面）等を、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスに表示する。外部記録装置１１１は、入力された画像をＳＤカードに代表されるメモリカードに記録する。ここで記録媒体は、撮像装置に対して着脱可能であってもよいし、撮像装置に内蔵されていてもよい。
【００３８】
次に図５は、本実施形態の撮像装置１００の動作タイミングチャートである。本実施形態では、撮像素子１０２の信号をスリットローリングシャッター方式で読み出す例について示す。スリットローリングシャッター方式では、露光が完了した画素行から順次信号を読出すため、短秒露光画像を得る間隔が狭くなる。本実施形態では少なくとも２回の短秒露光画像を使用して合焦位置予測を行う。短秒露光画像を得る間隔が短くなると、短秒露光画像を加算して本画像を得るときに情報の欠落が少なくなるため、好適である。
【００３９】
図５の横軸は時刻ｔを表している。また、縦軸は撮像装置１００の動作を示している。また、本画像信号を３フレーム分連写した場合を例に挙げて説明する。現在のフレームをｎフレームとし、一つ前のフレームをｎ−１フレーム、一つ後のフレームをｎ＋１フレームとする。
【００４０】
ｔ５０１は１枚目の短秒露光画像の蓄積開始時刻である。ｔ５０２は１枚目の短秒露光画像の蓄積終了時刻である。Ｔ５１２はｔ５０１からｔ５０２の期間であり、短秒露光画像の蓄積期間である。短秒露光画像は撮像素子１０２で本画像露光期間の分だけ露光されるまで複数回露光され、それぞれ信号加算部１０４で加算される。５１３は蓄積された短秒露光画像を示す。
【００４１】
図５の斜線で表示されている領域は静止画及びＡＦ用信号の読み出し時間である。図５では、ｔ５０４まで短秒露光画像の蓄積が行われる。ｔ５０１からｔ５０４までの期間は、本画像信号の露光期間と略同一であり、この期間をＴ５０５とする。５１４は短秒露光画像が複数枚加算された本画像露光信号である。ｔ５０３はｎ−１フレームにおける合焦位置予測に用いる最後の短秒露光画像の露光開始時刻を示す。
【００４２】
図５の「焦点検出」では、焦点検出部１０５で、短秒露光画像信号から得られた位相差信号を用いて相関演算を行い、デフォーカス量を算出する。図５の「合焦位置予測」では、合焦位置予測部１０６で、短秒露光画像蓄積時に得られる位相差信号を用いて、次の短秒露光画像蓄積時の合焦位置の予測を行う。合焦位置予測は短秒露光画像信号が得られる度に行い、予測位置を逐一求める。本画像信号を使用して予測位置情報を求める場合に比べて短い間隔で予測位置演算を行うことができるため、予測演算の精度を向上させることができる。合焦位置予測部１０６は、本画像信号が得られたら合焦位置予測を終了し、レンズ制御部１０８が予測位置へレンズを動かすためのレンズ駆動量を、システム制御部１０７を通してレンズ制御部１０８に送信する。
【００４３】
本実施形態では、得られたレンズ駆動量に基づいてレンズが駆動されるタイミングは、次のフレームの本画像信号が得られた後である。これは、本画像が露光完了してから次のフレームの本画像を露光開始するまでの非露光期間Ｔ５０７を狭め、連写速度を向上させるためである。
【００４４】
１フレームの最後の合焦位置予測演算が終了してから、そのフレームで得られたレンズ駆動量を用いて次のフレームの本画像露光開始前にレンズ駆動を行った場合、本画像の非露光期間Ｔ５０７は合焦位置予測演算時間Ｔ５０８とレンズ駆動時間Ｔ５０９がかかる。
【００４５】
一方、本実施形態のように、ｎフレーム目で得られたレンズ駆動量に基づいてｎ＋１フレーム目でレンズ駆動を行うと、ｎ＋１フレーム目の合焦位置予測演算と重なったタイミングで、ｎフレーム目のレンズ駆動を行うことができる。この場合、非露光期間Ｔ５０７はレンズ駆動時間Ｔ５０９に依存する。そのため、本実施形態における非露光期間Ｔ５０７は、ｎフレーム目の最後の合焦位置予測演算が終了してから、ｎ＋１フレームの露光開始前にレンズ駆動を行った場合に比べて、Ｔ５０８の分だけ短縮することができる。この場合、図５よりＡＦタイムラグＴ５１０は以下のように算出される。
【００４６】
ＡＦタイムラグＴ５１０＝Ｔ５０７×２＋Ｔ５０５＋Ｔ５１１    …（式１）
Ｔ５１１は、合焦位置予測に用いる最後の短秒露光画像の露光期間であり、ｔ５０３からｔ５０４の期間を示す。Ｔ５１１は本画像露光期間Ｔ５０５に比べて短い露光期間であるため、合焦位置予測のために本画像露光期間Ｔ５０５が２フレーム分かかる場合に比べて、ＡＦタイムラグを短縮することができる。ＡＦタイムラグを短縮することにより、連写時のＡＦ予測性能が向上される。
【００４７】
以上説明したように、本実施形態によれば、本画像信号の露光期間より短い露光期間の画像信号を用いて合焦位置予測を行うことにより、ＡＦタイムラグを短縮することができる。そして、連写時のＡＦ予測性能を向上させることができる。
【００４８】
また、レンズ駆動のタイミングは、ｎフレーム目の最後の合焦位置予測演算が終了した後に行ってもよい。この場合、前述のように非露光期間Ｔ５０７が長くなってしまうため、連写速度を上げることが困難であるが、合焦位置予測演算後すぐにレンズ駆動を行うため、ＡＦタイムラグを短縮することができる。
【００４９】
また、本実施形態では、短秒露光画像を複数回加算して本画像信号を得ているが、別の方法を用いてもよい。例えばマルチストリーム出力が可能なセンサのように、位相差検出画素行と本画像用画素行で独立して読み出し、信号処理部に出力する構成としてもよい。本画像用画素行から光電変換部２０７ａと２０７ｂの信号を加算して得られる本画像信号を低フレームレートで読み出す。位相差検出画素行は位相差信号を出力するフレームと、本画像信号を出力するフレームを分けて出力する。また、位相差検出画素行は本画像信号を出力せず、位相差検出画素行の本画像信号を周囲の本画像用画素行の信号で補間してもよい。本画像信号を低フレームレートで読み出している間に、位相差検出画素信号を高フレームレートで読み出すことにより、本画像信号を得る前に合焦位置予測演算を行うことができる。
【００５０】
また、ＳＰＡＤセンサに代表されるように、センサ内でカウンタを持ち、本画像露光期間より短い間隔で短秒露光画像信号を読み出せる構成としてもよい。ＳＰＡＤセンサでは、画素毎に１ｂｉｔのＡＤ変換器とカウンタを有し、光子の入射ごとに発生するパルスの回数をカウントすることで、光量を測定している。そのため、撮像素子を露光している任意のタイミングで画像信号をデジタル信号として読み出すことができる。本画像露光期間の間、信号値を積分しているため、短秒露光画像の露光開始タイミングの信号と、短秒露光画像の露光完了タイミングの信号との差分をとることにより、１枚の短秒露光画像を得ることができる。このようにすることで短秒露光画像信号を出力しつつ、本画像信号を得ることができる。
【００５１】
また、本実施形態では、撮像素子１０２を、スリットローリングシャッター方式を採用したＣＭＯＳセンサとして説明したが、ＣＣＤセンサを使用してもよい。ＣＣＤセンサを使用すると、スリットローリングシャッター動作はできないため、短秒露光画像信号を得る間隔は長くなるが、スリットローリングシャッター動作で発生するローリング歪が発生しないという利点もある。
【００５２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、全ての短秒露光画像から位相差信号を読出して合焦位置予測演算を行っているが、合焦位置予測演算を行う回数を間引いてもよい。また、複数の画像を使用して合焦位置予測を行う場合、予測間隔は等間隔であることが望ましい。本実施形態は、合焦位置予測演算を行う回数を間引いて行う点で、全ての短秒露光画像を用いて合焦位置予測を行う第１の実施形態とは異なる。なお、本実施形態における他の構成は第１の実施形態と同様であるため、それらの説明は省略する。
【００５３】
図６を参照して、本実施形態における撮像装置１００の動作について説明する。図６は、本実施形態の撮像装置１００の動作を示すタイミングチャートである。本実施形態では、１枚の本画像信号を得る期間において、合焦位置予測演算を行うために必要な２枚の短秒露光画像のみ位相差情報を読み出している。また、位相差情報の読み出しタイミングはそれぞれ等間隔になるように設定している。等間隔に合焦位置予測演算を行うことにより、予測位置を簡易な式で求めることができる。例えばラグランジュ補間を用いた２次式で合焦位置予測を行う場合について、図７を用いて説明する。
【００５４】
図７は合焦位置予測演算例を表している。横軸は時刻を表し、縦軸はある時刻における被写体の合焦位置を示している。図７（ａ）は短秒露光画像の読出し間隔が不等間隔の場合の合焦位置と時刻を表している。図７（ｂ）は短秒露光画像の読出し間隔が等間隔の場合の合焦位置と時刻を表している。図７（ａ）において、短秒露光画像を取得した時刻をそれぞれＸ１〜Ｘ３、短秒露光画像取得時の合焦位置をそれぞれＹ１〜Ｙ３とした場合、レンズを駆動する時刻Ｘｅの合焦位置Ｙｅはラグランジュ補間公式から以下のように予測することができる。
【００５５】
Ｙｅ＝(Ｘｅ−Ｘ２)・(Ｘｅ−Ｘ３)・Ｙ１／｛(Ｘ１−Ｘ２)・(Ｘ１−Ｘ３)｝
＋(Ｘｅ−Ｘ１)・(Ｘｅ−Ｘ３)・Ｙ２／｛(Ｘ２−Ｘ１)・(Ｘ２−Ｘ３)｝
＋(Ｘｅ−Ｘ１)・(Ｘｅ−Ｘ２)・Ｙ３／｛(Ｘ３−Ｘ１)・(Ｘ３−Ｘ２)｝
…（式２）
ここで、図７（ｂ）のように、合焦位置予測に用いる３枚の短秒露光画像の読出しを行う間隔を等間隔（αとする）に行った場合、予測位置Ｙｅは以下の様に求めることができる。なお、間隔αは２のべき乗とする。
【００５６】
Ｙｅ＝(１／２α2)｛(Ｘｅ−Ｘ２)(Ｘｅ−Ｘ３)Ｙ１−
２(Ｘｅ−Ｘ１)(Ｘｅ−Ｘ３)Ｙ２＋(Ｘｅ−Ｘ１)(Ｘｅ−Ｘ２)Ｙ３｝
…（式３）
合焦位置予測演算に使用する３枚の短秒露光画像が不等間隔に得られる場合、（式２）の様に除算が必要であるが、本実施形態のように短秒露光画像が２のべき乗の等間隔に得られた場合、（式３）の様に除算ではなく単純なシフト演算で求めることができる。このように、合焦位置予測に使用する短秒露光画像信号を等間隔に読み出すことで、演算を簡略化することが可能となる。
【００５７】
また、本実施形態は全ての短秒露光画像から位相差信号を読み出す場合に比べて、被写体の急峻な変化に対応することが困難であるが、消費電力を抑えることが可能となる。例えば走行中の電車は、発着時を除いて一定の速度で走行していることが多い。このように被写体の動きが急峻に変化しないことがあらかじめわかっている場合には、本実施形態の動作を行うことで消費電力を抑制することができる。
【００５８】
また、合焦位置予測演算の間隔を均等にするために、レンズ駆動タイミング等をずらして、連写間隔を調整してもよい。このように連写間隔を調整することにより、合焦位置予測演算を等間隔に行い、合焦位置予測演算を簡略化することが可能となる。
【００５９】
また、位相差信号を読み出さない間引かれた短秒露光画像では、位相差検出画素行から画像信号を読出し、信号加算部１０４に出力してもよい。位相差検出用画素行から位相差信号を出力する場合、その行の画像情報は失われてしまう。画像情報の欠陥を補うために位相差検出画素行の周辺の通常画素行を使用して画像情報を補間しても、偽色等の画質劣化が起こる場合がある。そのため、位相差信号を読み出さない場合には、位相差検出画素行は、位相差検出用画素の光電変換部２０７ａと２０８ｂを加算して本画像用の信号として、信号加算部１０４に出力してもよい。
【００６０】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第２の実施形態では、合焦位置予測演算を行う回数を等間隔に間引いて行っているが、間引く間隔を不均等間隔にしてもよい。本実施形態は、１枚の本画像信号を得る間に得られる短秒露光画像の内、不等間隔に間引かれた短秒露光画像を合焦位置予測に使用する点で、第２の実施形態と異なる。本実施形態における他の構成は第１及び第２の実施形態と同様であるため、それらの説明は省略する。
【００６１】
図８を参照して、本実施形態における撮像装置１００の動作について説明する。図８は、本実施形態の撮像装置１００の動作を示すタイミングチャートである。本実施形態では、１枚の本画像信号を得る期間において、合焦位置予測演算を行うために必要な２枚の短秒露光画像のみ位相差情報を読み出している。また、位相差情報の読み出しタイミングは１枚の本画像信号を得る期間において、最後に得られた短秒露光画像を含む２枚を選択している。被写体は本画像露光期間中に移動速度が変わることが想定される。１枚の本画像露光期間において、最後に得られた短秒露光画像を使用して合焦位置予測演算を行うことにより、レンズ駆動を行う時刻に近いタイミングの移動速度に基づいて合焦位置の予測を行うことが可能となる。
【００６２】
このように本画像信号を得る期間において、次のフレームに近い短秒露光画像信号を用いて合焦位置予測を行うことにより、ＡＦタイムラグは第１の実施形態と同等のまま、第１の実施形態に比べて消費電力を抑制することが可能となる。
【００６３】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第３の実施形態では、合焦位置予測演算を行うために、本画像露光期間において、最後に得られた短秒露光画像を使用している。しかし、本画像露光期間中に合焦位置予測演算を終了させることができるタイミングの短秒露光画像を使用してもよい。本実施形態は、１枚の本画像露光期間中に得られる短秒露光画像の内、合焦位置予測演算が本画像露光期間中に終了することができるタイミングの短秒露光画像を合焦位置予測に使用する点で、第１乃至第３の実施形態とは異なる。本実施形態における他の構成は第１乃至第３の実施形態と同様であるため、それらの説明は省略する。
【００６４】
図９を参照して、本実施形態における撮像装置１００の動作について説明する。図９は、本実施形態の撮像装置１００の動作を示すタイミングチャートである。本実施形態では、１枚の本画像信号を得る期間において、合焦位置予測演算を行うために必要な２枚の短秒露光画像のみ位相差情報を読み出している。また、位相差情報の読み出しタイミングは１枚の本画像信号を得る期間において、合焦位置予測演算が本画像露光期間内に終了するタイミングの２枚を選択している。
【００６５】
第１乃至第３の実施形態ではｎフレーム目の本画像信号における合焦位置予測演算のタイミングが本画像信号の蓄積時間より後であったため、本画像の連写速度を考慮してレンズ駆動を行うタイミングをｎ＋１フレーム目の本画像信号を露光開始する前とした。本実施形態では本画像露光期間において、前半の短秒露光画像を使用することにより、本画像露光期間が終了する前に合焦位置予測演算を完了させることができる。そのため、レンズ駆動のタイミングを現在の本画像信号を得た直後にしても、本画像の連写間隔を狭めることができる。この場合、図９より、ＡＦタイムラグＴ８０１は以下のようになる。
【００６６】
ＡＦタイムラグＴ８０１＝Ｔ５０７＋Ｔ５０５        …（式４）
このように本画像信号を得る期間において、前半の短秒露光画像を用いて合焦位置予測演算を行い、レンズ駆動を現在の本画像信号を得た後に行うことで、ＡＦタイムラグを短縮しＡＦ予測性能を向上させることができる。
【００６７】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。第１乃至第４の実施形態では、レンズ駆動のタイミングを、連写の合間の非露光期間に設定しているが、本画像露光期間中にレンズ駆動してもよい。本実施形態は、常時レンズ制御部１０８を制御してレンズ駆動を行い、合焦位置予測部１０６からレンズ駆動情報が得られ次第、レンズ駆動情報を更新する点で第１乃至第４の実施形態とは異なる。なお、本実施形態における他の構成は第１乃至第４の実施形態と同様であるため、それらの説明は省略する。
【００６８】
図１０を参照して、本実施形態における撮像装置１００の動作について説明する。図１０は、本実施形態の撮像装置１００の動作を示すタイミングチャートである。本実施形態では、常時レンズ制御部１０８を制御してレンズ駆動を行い、合焦位置予測演算が完了次第、レンズ駆動情報を更新する。
【００６９】
Ｔ９０１は１フレーム目の１回目の合焦位置予測演算に使用する２枚目の短秒露光画像の蓄積期間である。Ｔ９０２は合焦位置予測演算にかかる時間である。合焦位置予測演算が完了し、レンズ駆動量が求められ次第、合焦位置予測部１０６は、レンズ制御部１０８が予測位置へレンズを動かすためのレンズ駆動量を、システム制御部１０７を通してレンズ制御部１０８に送信し、レンズ駆動情報を更新する。
【００７０】
Ｔ９０３は合焦位置予測演算が完了し、レンズ駆動情報が更新されるまでにかかる時間である。この場合、ＡＦタイムラグＴ９０４は以下のようになる。
【００７１】
ＡＦタイムラグＴ９０４＝Ｔ９０１＋Ｔ９０２＋Ｔ９０３    …（式５）
図１０からわかるように、Ｔ９０４は本画像露光期間Ｔ５０５より短いため、ＡＦタイムラグが第１乃至第４の実施形態の場合より短いことがわかる。また、合焦位置予測演算とレンズ駆動を短い間隔で行っているため、レンズ制御部１０８が予測位置へレンズを動かすためのレンズ駆動量が小さくなりやすい。そのため、１回のレンズ駆動情報によるレンズ駆動にかかる時間は第１乃至第４の実施形態に比べて短くなる。
【００７２】
このように本画像露光期間中に逐一レンズ駆動をして合焦させることにより、第１乃至第４の実施形態で説明した構成に比べてＡＦタイムラグを短縮し、ＡＦ予測性能を向上させることができる。
【００７３】
また、第１乃至第５の実施形態で説明した動作を選択できる選択部を持ち、ユーザーの設定によって動作を選択できるようにしてもよい。例えば第１の実施形態の動作はスポーツ撮影などの高精度な合焦位置予測を行いたい場合に使用し、第３の実施形態の動作は消費電力を低減したい場合に使用してもよい。
【００７４】
（第６の実施形態）
次に、本発明の第６の実施形態について説明する。第１乃至第５の実施形態では、合焦位置予測演算を、短秒露光画像信号を使用して行っていたが、本画像信号の露光時間に応じて本画像信号を選択して使用してもよい。本画像露光期間が通常の静止画撮影と同等に短く設定された状態で連写を行った場合、本画像信号を使用して合焦位置予測を行っても十分なＡＦ予測精度が得られる場合がある。本実施形態は、合焦位置予測に使用する画像信号として、短秒露光画像と本画像信号を選択的に使用する点で、第１乃至第５の実施形態とは異なる。
【００７５】
図１１を参照して、本実施形態における撮像装置１００の動作について説明する。図１１は、本実施形態の撮像装置１００の構成を示す図である。図１に比べて、信号選択部１００１と閾値Ｔｈ１００２が加わっている。システム制御部１０７では、本画像露光期間と閾値Ｔｈ１００２を比較し、その比較結果１００３を信号選択部１００１に送信する。
【００７６】
信号選択部１００１は、比較結果１００３に基づいて、撮像素子１０２から出力される短秒露光画像信号、もしくは本画像信号を選択して出力する。本画像露光期間が閾値Ｔｈ１００２以上（閾値以上）の場合、短秒露光画像信号を使用して合焦位置予測演算を行った方が、ＡＦ予測性能が向上すると判定し、短秒露光画像信号を出力する。また、本画像露光期間が閾値Ｔｈ１００２より短い場合、本画像信号を使用して合焦位置予測演算を行った場合でも、十分なＡＦ予測精度が得られると判定し、本画像信号を出力する。
【００７７】
このようにすることで、短秒露光画像信号を使用して複数回合焦位置予測演算を行う場合に比べて、消費電力を抑制することが可能となる。なお、信号選択部１００１に本画像露光期間と閾値Ｔｈ１００２を渡し、信号選択部１００１で比較を行ってもよい。
【００７８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８０】
１００：撮像装置、１０１：レンズ部、１０２：撮像素子、１０５：焦点検出部、１０６：合焦位置予測部、１０７：システム制御部、１０８：レンズ制御部
【図１】
2020095156.tif 000003
【図２】
2020095156.tif 000004
【図３】
2020095156.tif 000005
【図４】
2020095156.tif 000006
【図５】
2020095156.tif 000007
【図６】
2020095156.tif 000008
【図７】
2020095156.tif 000009
【図８】
2020095156.tif 000010
【図９】
2020095156.tif 000011
【図１０】
2020095156.tif 000012
【図１１】
2020095156.tif 000013