(57)【要約】【課題】  瞳分割機能を付与された光電変換部を有する撮像素子における焦点検出において、画像信号のノイズと縦方向の分解能の低下を抑えた高精度な焦点調節装置を提供する。【解決手段】  撮像光学系の異なる瞳領域を通過した一対の光束を一対の光電変換部で受光する撮像素子から出力された焦点検出信号を用いて位相差方式の焦点調節を行う焦点調節装置であって、  ライン加算手段で算出されたライン加算数及びフレーム加算手段で算出されたフレーム加算数を可変するとともに、ライン加算数とフレーム加算数との比率を設定する比率設定手段と、を備え、  比率設定手段は、輝度値及びコントラスト値の少なくとも一方の大きさに基いて、比率を可変することを特徴とする。【選択図】  図２
2017016064.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系の異なる瞳領域を通過した一対の光束を一対の光電変換部で受光する撮像素子から出力された焦点検出信号を用いて位相差方式の焦点調節を行う焦点調節装置であって、
焦点検出領域にある前記撮像素子を構成する複数の画素をライン方向に加算するライン加算手段と、前記ライン加算手段にて加算された加算値を用いて相関演算を行って相関量を算出する相関量算出手段と、フレーム毎に算出された前記相関値を加算するフレーム加算手段と、前記焦点検出領域の画像の輝度値及びコントラスト値の少なくとも一方の大きさを判定する判定手段と、前記ライン加算手段で算出されたライン加算数及び前記フレーム加算手段で算出されたフレーム加算数を可変するとともに、前記ライン加算数と前記フレーム加算数との比率を設定する比率設定手段と、を備え、
前記比率設定手段は、前記輝度値及び前記コントラスト値の少なくとも一方の大きさに基いて、前記比率を可変することを特徴とする焦点調節装置。
【請求項２】
前記比率設定手段は、前記輝度値が所定値よりも小さい場合、前記フレーム加算数を増やすことを特徴とする請求項１に記載の焦点調節装置。
【請求項３】
前記比率設定手段は、前記コントラスト値が所定値よりも小さい場合、前記フレーム加算数を増やすことを特徴とする請求項１又は２に記載の焦点調節装置。
【請求項４】
フレームレートを設定するフレームレート設定手段を備え、
前記比率設定手段は、前記フレームレートが所定値よりも小さい場合、前記フレーム加算数を減らすことを特徴とする請求項１乃至３の何れか一項に記載の焦点調節装置。
【請求項５】
ズーム倍率を可変するズーム手段を有し、
前記比率設定手段は、前記ズーム倍率が所定値よりも高い場合、前記フレーム加算数を減らすことを特徴とする請求項１乃至４の何れか一項に記載の焦点調節装置。
【請求項６】
請求項１乃至５の何れか一項に記載の焦点調節装置と、前記撮像素子と、を有する撮像装置。
【請求項７】
撮像光学系の異なる瞳領域を通過した一対の光束を一対の光電変換部で受光する撮像素子から出力された焦点検出信号を用いて位相差方式の焦点調節を行う焦点調節方法であって、
焦点検出領域にある前記撮像素子を構成する複数の画素をライン方向に加算するライン加算工程と、前記ライン加算工程にて加算された加算値を用いて相関演算を行って相関量を算出する相関量算出工程と、フレーム毎に算出された前記相関値を加算するフレーム加算工程と、前記焦点検出領域の画像の輝度値及びコントラスト値の少なくとも一方の大きさを判定する判定工程と、前記ライン加算工程で算出されたライン加算数及び前記フレーム加算工程で算出されたフレーム加算数を可変するとともに、前記ライン加算数と前記フレーム加算数との比率を設定する比率設定工程と、を備え、
前記比率設定工程は、前記輝度値及び前記コントラスト値の少なくとも一方の大きさに基いて、前記比率を可変することを特徴とする焦点調節方法。
【請求項８】
請求項７に記載の焦点調節方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項９】
コンピュータに、請求項７に記載の焦点調節方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像光学系の焦点状態を検出する焦点検出機能を備えた焦点調節装置に関するものである。焦点調節装置は、デジタルスチルカメラ、デジタルビデオカメラとしての撮像装置に搭載される。
【背景技術】
【０００２】
撮影レンズの焦点状態を検出する方式として、位相差検出方式（以下、位相差ＡＦという）がある。位相差ＡＦ、撮影レンズの射出瞳を通過した光束を２分割し、２分割した光束を一組の焦点検出用センサによりそれぞれ受光する。
【０００３】
そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量を検出することで、合焦させるために必要な撮影レンズの駆動量を直接求めるものである。
【０００４】
下記の特許文献１では、撮像素子の１ライン毎の明るさを検出し、予め設定された明るさよりも暗い場合には、ライン加算を行っている。
【０００５】
下記の特許文献２では、測距点の位置に応じて閾値を調整し、閾値を超えるまでフレーム加算を行っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２７１４１９号公報
【特許文献２】特開２０１３−３７１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、画像信号に基づいてライン加算を行うことで焦点検出に用いる画像信号のノイズを低減しているが、ライン加算による被写体縦方向の分解能の低下については考慮されていない。
【０００８】
また、特許文献２では、加算した輝度値と閾値を比較してフレーム加算数を決定しているが、被写体のコントラストが高い場合はフレーム加算数を減らしても焦点検出は可能であるがそこが考慮されていない。
【０００９】
そこで、本発明では、瞳分割機能を付与された光電変換部を有する撮像素子における焦点検出において、画像信号のノイズと縦方向の分解能の低下を抑えた高精度な焦点検出装置、撮像装置、撮像システム、および、焦点検出方法を提供する。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために本発明では、撮像光学系の異なる瞳領域を通過した一対の光束を一対の光電変換部で受光する撮像素子から出力された焦点検出信号を用いて位相差方式の焦点調節を行う焦点調節装置であって、
焦点検出領域にある前記撮像素子を構成する複数の画素をライン方向に加算するライン加算手段と、前記ライン加算手段にて加算された加算値を用いて相関演算を行って相関量を算出する相関量算出手段と、フレーム毎に算出された前記相関値を加算するフレーム加算手段と、前記焦点検出領域の画像の輝度値及びコントラスト値の少なくとも一方の大きさを判定する判定手段と、前記ライン加算手段で算出されたライン加算数及び前記フレーム加算手段で算出されたフレーム加算数を可変するとともに、前記ライン加算数と前記フレーム加算数との比率を設定する比率設定手段と、を備え、
前記比率設定手段は、前記輝度値及び前記コントラスト値の少なくとも一方の大きさに基いて、前記比率を可変することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、焦点検出領域の被写体に対して分解能の低下を抑え、かつノイズを抑えた画像信号を用いた焦点検出を行うことができ、高精度な焦点検出装置、撮像装置、撮像システム、および、焦点検出方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施例におけるシステム構成図
【図２】実施例１の加算割合決定方法を示すフローチャート
【図３】本実施例における撮像素子の説明図
【図４】本実施例における撮像光学系の瞳を示す図
【図５】本実施例における焦点検出領域の画素ライン加算を示す図
【図６】本実施例における信号および相関演算の説明図
【図７】本実施例における焦点検出領域を示す図
【図８】本実施例における光学系の説明図
【図９】焦点検出領域に対して斜めにかかる被写体の例を示す図
【図１０】本実施例における焦点検出方法を示すフローチャート
【図１１】実施例２の加算割合決定方法を示すフローチャート
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１４】
本発明の焦点調節装置は、撮像光学系の異なる瞳領域を通過した一対の光束を一対の光電変換部で受光する撮像素子から出力された焦点検出信号を用いて位相差方式の焦点調節を行う装置である。
【００１５】
＜実施例１＞
（図１のブロック図の説明）
まず、図１を参照して、本実施例における撮像装置の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。
【００１６】
撮像装置１００は、被写体を撮影して、動画や静止画のデータを固体メモリや光ディスク、磁気ディスクなどの各種メディアに記録可能なビデオカメラやデジタルスチルカメラなどであるが、これらに限定されるものではない。
【００１７】
撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、メインＣＰＵ１５１（中央演算処理装置）により制御される。
【００１８】
撮像装置１００は、一つのマイクロレンズを共有する複数の光電変換素子（第１の光電変換素子および第２の光電変換素子）を備えた撮像素子を用いて撮像面位相差方式の焦点調節を行う焦点調節装置を搭載している。
【００１９】
なお、本実施例の焦点調節装置は、撮像光学系（撮影レンズ）を介して得られた光学像を取得可能に構成された撮像装置（撮像装置本体）と、撮像装置本体に着脱可能な撮像光学系とを備えて構成された撮像システムに適用される。
【００２０】
ただし、本実施例はこれに限定されるものではなく、撮像光学系が一体的に設けられた撮像装置にも適用可能である。
【００２１】
撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ１３１を備えて構成される。
【００２２】
絞り制御部１０５は、メインＣＰＵ１５１の指令に従い、絞りモータ１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。
【００２３】
ズーム制御部１１３は、ズームモータ１１２を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。
【００２４】
また、フォーカス制御部１３３は、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常複数のレンズで構成される。
【００２５】
これらの光学部材（撮影レンズ１０１）を介して撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。
【００２６】
撮像素子１４１は、被写体像（光学像）を電気信号に光電変換を行う光電変換素子である。
【００２７】
撮像素子１４１は、横方向にｍ画素、縦方向にｎ画素の受光素子のそれぞれに、後述のように二つの光電変換素子（受光領域）が配置されている。
【００２８】
撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理部１４２により画像信号（画像データ）として整えられる。
【００２９】
位相差ＡＦ処理部１３５は、二つの光電変換素子（第１の光電変換素子、第２の光電変換素子）から個別に（それぞれ独立して）出力された画像信号（信号値）を用い、被写体からの光を分割して得られた像の分割方向における像ずれ量を検出（算出）する。
【００３０】
すなわち、位相差ＡＦ処理部１３５は、第１の光電変換素子および第２の光電変換素子のそれぞれから独立して得られた信号値を用いた相関演算を行って像ずれ量を算出する像ずれ量算出手段である。
【００３１】
また、位相差ＡＦ処理部１３５は、検出した像ずれ量に基づいて撮影レンズ１０１のピント方向のずれ量（デフォーカス量）を算出するデフォーカス量算出手段である。
【００３２】
デフォーカス量は、像ずれ量に係数（換算係数）を掛けることにより算出される。
【００３３】
なお、像ずれ量算出手段、デフォーカス量算出手段の各動作は、メインＣＰＵ１５１の指令に基づいて行われる。
【００３４】
また、これらの動作の少なくとも一部をメインＣＰＵ１５１またはフォーカス制御部１３３で実行するように構成してもよい。
【００３５】
位相差ＡＦ処理部１３５は、算出されたずれ量（デフォーカス量）をフォーカス制御部１３３へ出力する。
【００３６】
フォーカス制御部１３３は、撮影レンズ１０１のピント方向のずれ量に基づいてフォーカスモータ１３２を駆動する駆動量を決定する。
【００３７】
フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。
【００３８】
撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４に蓄積される。
【００３９】
ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。
【００４０】
これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。画像処理部１５２（画像処理手段）は、第１の光電変換素子および第２の光電変換素子の加算信号を用いて得られた画像信号を処理する。
【００４１】
画像処理部１５２は、例えば、画像データに対して最適なサイズへの縮小・拡大処理を行う。
【００４２】
最適なサイズに処理された画像データは、モニタディスプレイ１５０に送られて画像表示される。
【００４３】
このため、操作者は、リアルタイムで撮影画像を観察することができる。なお、画像の撮影直後にはモニタディスプレイ１５０が所定時間だけ撮影画像を表示することで、操作者は撮影画像を確認することができる。
【００４４】
操作部１５６（操作スイッチ）は、操作者が撮像装置１００への指示を行うために用いられる。操作部１５６から入力された操作指示信号は、バス１６０を介してメインＣＰＵ１５１に送られる。
【００４５】
撮像制御部１４３は、メインＣＰＵ１５１からの命令に基づき、撮像素子の制御を行う。
【００４６】
これに先立ち、メインＣＰＵ１５１は、操作部１５６から入力された操作者からの指示に基づき、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値、レンズユニットの絞り値を決定する。
【００４７】
あるいは、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づき、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値、レンズユニットの絞り値を決定する。
【００４８】
撮像制御部１４３は、メインＣＰＵから蓄積時間、ゲインの設定値の指示を受け取り、撮像素子１４１を制御する。
【００４９】
バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶している。
【００５０】
操作者の操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラムがＲＡＭ１５４の一部に読み込まれる（ロードされる）。
【００５１】
メインＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。
【００５２】
（図３〜図５の撮像面位相差方式の検出方法の説明）
次に、本実施例における撮像面位相差方式の検出方法について説明する。まず、図３を参照して、撮像素子１４１の構成について説明する。
【００５３】
図３（ａ）は、瞳分割機能を有する撮像素子１４１の画素の構成図（断面図）である。
【００５４】
光電変換素子３０は、一画素につき二つの光電変換素子３０−１（第１の光電変換素子）および光電変換素子３０−２（第２の光電変換素子）に分割されており、瞳分割機能を有する。
【００５５】
マイクロレンズ３１（オンチップマイクロレンズ）は、光電変換素子３０に効率よく光を集める機能を有し、光電変換素子３０−１、３０−２の境界に光軸が合うように配置されている。
【００５６】
また、一つの画素の内部には、平坦化膜３２、カラーフィルタ３３、配線３４、および、層間絶縁膜３５が設けられている。
【００５７】
図３（ｂ）は、撮像素子１４１の一部の構成図（平面図）である。撮像素子１４１は、図３（ａ）に示される構成を有する一画素を複数配列することで形成される。
【００５８】
また、撮像を行うため、各画素にはＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタ３３が交互に配置され、四画素で一組の画素ブロック４０、４１、４２を配列することで、所謂ベイヤー配列が構成されている。
【００５９】
なお、図３（ｂ）において、Ｒ、Ｇ、Ｂのそれぞれの下に示される「１」または「２」は、光電変換素子３０−１、３０−２のそれぞれを表す数値である。
【００６０】
図３（ｃ）は、撮像素子１４１の光学原理図であり、図３（ｂ）中のＡ−Ａ線で切断して得られた断面図の一部を示す。
【００６１】
撮像素子１４１は、撮影レンズ１０１の予定結像面に配置されている。
【００６２】
マイクロレンズ３１の作用により、光電変換素子３０−１、３０−２はそれぞれ、撮影レンズ１０１の瞳（射出瞳）の異なる位置（領域）を通過した一対の光束を受光するように構成されている。
【００６３】
光電変換素子３０−１は、主に、撮影レンズ１０１の瞳のうち図３（ｃ）中の右側位置を透過する光束を受光する。
【００６４】
一方、光電変換素子３０−２は、主に、撮影レンズ１０１の瞳の図３（ｃ）中の左側位置を透過する光束を受光する。
【００６５】
続いて、図４を参照して、撮像素子１４１の瞳について説明する。図４は、撮像素子１４１から見た場合の、撮影レンズ１０１の瞳５０を示す図である。
【００６６】
５１−１は光電変換素子３０−１の感度領域（以下、「Ａ像瞳」という。）、５１−２は光電変換素子３０−２の感度領域（以下、「Ｂ像瞳」という。）である。５２−１、５２−２は、それぞれ、Ａ像瞳およびＢ像瞳の重心位置である。
【００６７】
本実施例の撮像処理を行う場合、同一画素において同一色のカラーフィルタが配置された二つの光電変換素子の出力を加算することにより、画像信号を生成することが可能である。
【００６８】
一方、本実施例の焦点検出処理を行う場合、一画素ブロック内における光電変換素子３０−１に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。
【００６９】
そして、この信号を画素ブロック４０、４１、４２のように横方向に連続して取得することによりＡ像信号を生成することが可能である。
【００７０】
同様に、一画素ブロック内における光電変換素子３０−２に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。
【００７１】
そして、この信号を横方向に連続して取得することによりＢ像信号を生成することが可能である。Ａ像信号およびＢ像信号により、一対の位相差検出用信号が生成される。
【００７２】
なお、本実施例では図５に示すように、適度な範囲で図中縦方向に画素加算（以下、画素ライン加算とする）を行ったものをＡ像信号、Ｂ像信号の一画素信号として取得する。
【００７３】
図５の例では、縦方向にベイヤー配列における２画素分を用いて、加算平均することにより、焦点検出に用いる画像信号を生成（以下、この場合を２ライン加算とする）している。画素ライン加算数の設定方法については、詳細を後述する。
【００７４】
（図６の相関演算の説明）
続いて、図６を参照して、Ａ像信号およびＢ像信号（以下、まとめて「像信号」という。）について説明する。
【００７５】
図６（ａ）は、像信号の説明図であり、縦軸は像信号のレベル、横軸は画素位置をそれぞれ示している。生成した一対の位相差検出用信号の像ずれ量Ｘは、撮影レンズ１０１の結像状態（合焦状態、前ピン状態、または、後ピン状態）に応じて変化する。
【００７６】
撮影レンズ１０１が合焦状態の場合、二つの像信号の像ずれ量は無くなる。一方、前ピン状態または後ピン状態の場合、異なる方向の像ずれ量が生じる。
【００７７】
また、像ずれ量は、撮影レンズ１０１により被写体像が結像している位置とマイクロレンズ上面との距離、いわゆるデフォーカス量と一定の関係を有する。
【００７８】
この像ずれ量Ｘを算出するため、相関演算を行う。相関演算では、Ａ像信号およびＢ像信号の画素をシフトさせながら相関量が演算される。図６（ｂ）は、像信号の画素をシフトさせていった時の相関量（以下、相関量波形という）を示す図である。
【００７９】
図６（ｂ）において、横軸は画素のシフト量、縦軸はその時のＡ像信号とＢ像信号の相関量それぞれ示している。
【００８０】
相関量が最大になる位置同士の差が像ずれ量として算出される。相関量を算出する際、二つの像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積を取得する。
【００８１】
なお、大きい方の値の累積を取得しても良い。また、これらの値の差分を取得しても良い。累積は、相関を指し示す指標となり、小さい方の値の累積を取得した場合には、この値が最も大きいときが相関の高い時である。
【００８２】
なお、大きい方の値の累積を取得した場合、または差分を取得した場合、この値が最も小さい時が相関の高い時となる。
【００８３】
相関量算出手段としてのＣＰＵ１５１は、後述するライン加算手段にて加算された加算値を用いて相関演算を行って相関量を算出する。
【００８４】
（図７の焦点検出領域の説明）
続いて、図７を参照して、本実施例の焦点検出方法にて用いられる焦点検出領域について説明する。図７は、焦点検出領域を示す図である。図７に示されるように、撮像画角６０に対して、適切な位置に、適切な大きさにて焦点検出領域６１が設けられる。
【００８５】
また、焦点検出領域６１内には、それぞれ焦点検出領域６１を図中の分割した焦点検出小エリアを有する。
【００８６】
分割された焦点検出小エリアそれぞれにおいて、領域分の画素ライン加算がなされ、相関演算がなされる。全ての小エリアの相関演算がなされることにより、分割数分の図６（ｂ）に示したような相関量波形を得る。
【００８７】
この分割数分の相関量波形を加算（以下、相関量加算という）することにより、最終的な焦点検出領域６１における相関量波形を取得する。この焦点検出領域６１における相関量波形から相関量が最大になる像ずれ量Ｘを算出する。
【００８８】
分割数は最も多い場合で、焦点検出領域６１内に含まれる画素ライン数分であり、分割数をどうするか、つまり何ライン分加算するかは画像の明るさやその他条件に応じて切り替える。この制御方法については、詳細を後述する。
【００８９】
（図８の像ずれ量からデフォーカス量への変換の説明）
図８を参照して、相関演算により算出された像ずれ量からデフォーカス量への変換について説明する。
【００９０】
図８は、撮影レンズ１０１および撮像素子１４１を含む光学系を示す図である。被写体７０に対する予定結像面の位置ｐ０の光軸ＯＡ上に焦点検出面の位置ｐ１がある。
【００９１】
像ずれ量とデフォーカス量との関係は、光学系に応じて決定される。デフォーカス量は、像ずれ量Ｘに所定の係数Ｋ（換算係数）を掛けることにより算出することができる。
【００９２】
係数Ｋは、Ａ像瞳とＢ像瞳との重心位置に基づいて算出される。焦点検出面の位置ｐ１が位置ｐ２に移動した場合、位置ｐ０、ｑ２、ｑ３の三角形と位置ｐ０、ｑ２’、ｑ３’との三角形の相似に従って、像ずれ量が変化する。
【００９３】
このため、焦点検出面の位置ｐ２でのデフォーカス量を算出することが可能である。メインＣＰＵ１５１は、デフォーカス量に基づいて、被写体に対して合焦状態を得るためのフォーカスレンズ１３１の位置を算出する。
【００９４】
（ライン加算の説明）
本実施例における、画素ライン加算数の詳細について説明する。本実施例における撮像素子は、焦点検出手段と撮像手段に用いる信号をともに出力するため、撮像に適した露出設定値に基づいて、撮像素子が制御される。画素のダイナミックレンジに対する露出目標値が小さくなる場合では、焦点検出に用いる画像信号は小さくなり、ノイズが増える場合がある。
【００９５】
その結果、焦点検出の結果のばらつきも大きくなる。また、操作者が露出をマニュアルで設定した場合においても、撮像素子の蓄積時間やレンズの絞りを変えることにより、焦点検出に用いる画像信号は影響を受け、焦点検出が難しくなる場合がある。
【００９６】
そのため、焦点検出領域の一画素を生成する際には、画素ライン加算により焦点検出に用いる画像信号のノイズの低減が可能である。
【００９７】
しかし、一方で、図９に示すように、被写体が焦点検出領域に対して斜めにかかるような場合やコントラストが低い場合が問題となる。
【００９８】
その場合、画素ライン加算の数を増やしてしまうと、被写体の分解能が低下してしまう被写体つぶれといった現象がおき、結果的に検出精度が低下する可能性がある。
【００９９】
ライン加算手段としてのＣＰＵ１５１は、焦点検出領域にある撮像素子を構成する複数の画素をライン方向（水平方向）に加算する。
【０１００】
（フレーム加算の説明）
そこで、被写体つぶれによる検出精度の低下とノイズ成分による検出精度の低下を防ぐ方法として時系列に相関量を加算するフレーム加算を用いることが考えられる。
【０１０１】
本実施例においてはフレーム加算として、図７で示した焦点検出領域６１の相関量波形を保持しておき、それを一定のフレーム期間分加算したものを最終的な相関量とする。
【０１０２】
フレーム加算であれば、被写体つぶれを起こさず、ノイズの低減が可能である。ただし、フレーム加算は時系列に加算をするため、フォーカス制御に用いる最終的な相関量結果が出るまでの所要時間が延びてしまう。
【０１０３】
つまり、露出設定値が小さい場合などの低照度や低輝度な条件化ではノイズ成分が多く、画素ライン加算やフレーム加算を用いてノイズ低減を図る必要があるが、その際の被写体の状態に応じて各加算方法をどの程度用いるかを適切に制御する事が重要である。
【０１０４】
本実施例においては被写体の状態としては、具体的には被写体のコントラストを評価し、その評価値に応じて各加算方法の割合を切り替える。
【０１０５】
コントラストは、画素値の隣接差分の二乗を算出し、これを焦点検出領域内の１ライン分について累積を算出したものを用いる。
【０１０６】
コントラストが高いほど、この累積した値が大きくなる。なお、算出するコントラストは、画素値の隣接差分の絶対値の総和であっても良い。
【０１０７】
フレーム加算手段としてのＣＰＵ１５１は、フレーム毎に算出された相関値を加算する。
【０１０８】
（図２のライン加算とフレーム加算の割合を決定する方法の説明）
図２は本実施例におけるライン加算とフレーム加算の割合を決定する方法を示すフローチャートである。図２の各ステップは、メインＣＰＵ１５１により実施される。
【０１０９】
まず、ステップＳ２０１において、焦点検出領域６１内の画素値が読みだされる。ステップＳ２０２において読みだした画素値から、低輝度か否かを判定する。
【０１１０】
判定方法としては最初の１ライン分の画素値の平均値が所定値以下であれば低輝度であると判定する。判定方法はこれに限ったものでなく、サンプリングするラインやライン数を変更しても構わない。
【０１１１】
さらにはノイズ成分が多い条件であるかを判定できればよいので輝度値だけでなく、カメラのＩＳＯ設定などから低照度条件であるか否かで判定してもよい。
【０１１２】
ステップＳ２０３において、低輝度であった場合にはステップＳ２０４に進み、低輝度でなかった場合には、ノイズ成分の影響が少なくフレーム加算を併用する必要がないため、本フロー処理を終了する。
【０１１３】
ステップＳ２０４において、焦点検出領域６１内のコントラスト値を算出する。
【０１１４】
ステップＳ２０５において、算出したコントラスト値から画素加算ライン数を決定する。例えば基準加算ライン数を３としていた場合、コントラスト値が高ければ４とし、逆に低かった場合には２とする。
【０１１５】
ステップＳ２０６において、ステップＳ２０５で決定した画素加算ライン数からフレーム加算を何フレーム分実施するか決定する。
【０１１６】
例えば、基準フレーム加算数を３フレーム分としていた場合、画素加算ライン数が基準の３より多ければフレーム加算は２フレーム分とし、逆に少ない場合には４フレーム分加算する。
【０１１７】
以上が本実施例における画素ライン加算数とフレーム加算数との加算割合を決定する処理である。
【０１１８】
比率設定手段としてのＣＰＵ１５１は、ライン加算手段で算出されたライン加算数及びフレーム加算手段で算出されたフレーム加算数を可変するとともに、ライン加算数とフレーム加算数との比率を設定する。
【０１１９】
（図１０の焦点検出方法を示すフローチャートの説明）
続いて、図１０を参照して、本実施例における焦点検出方法について説明する。図１０は、焦点検出方法を示すフローチャートである。図１０の各ステップは、メインＣＰＵ１５１、位相差ＡＦ処理部１３５、および、フォーカス制御部１３３により実施される。
【０１２０】
まず、ステップＳ１００１において、撮像素子１４１は電荷を蓄積する。そしてステップＳ１００２において、メインＣＰＵ１５１は、電荷の蓄積が完了したか否かを判定する。
【０１２１】
撮像素子１４１の電荷蓄積終了時間に達していない場合、ステップＳ１００１に戻り、撮像素子１４１は電荷の蓄積を継続する。
【０１２２】
一方、ステップＳ１００２において、電荷の蓄積が完了している場合、ステップＳ１１０３において、焦点検出領域での画像信号の画素値読み出しを行う。
【０１２３】
ステップＳ１００４において、メインＣＰＵ１５１は、焦点検出領域にある所定画素数分の読み出しが完了したか否かを判定する。
【０１２４】
所定画素数分の読み出しが完了していない場合、ステップＳ１００３に戻り、所定画素数分の読み出しが終了するまでステップＳ１００３〜Ｓ１００４を繰り返す。
【０１２５】
続いてステップＳ１００５において、図２に示した加算割合が決定されていないか、または決定したフレーム数分加算が行われて加算割合がリセットされている場合にはステップＳ１００６に進み、加算割合を決定する。
【０１２６】
加算割合が既に決定している場合にはステップＳ１００７に進む。
【０１２７】
ステップＳ１００７において、図７に示した焦点検出小エリアの内の最初の１つ分について、設定されたライン加算数に基づいて、画素ライン加算を行う。
【０１２８】
ステップＳ１００８において、メインＣＰＵ１５１（フォーカス制御部１３３または位相差ＡＦ処理部１３５）は相関演算を行い、図６に示したような相関量波形を算出する。
【０１２９】
ステップＳ１００９において、焦点検出領域内の全ライン分の相関演算を行ったか否かを判定し、まだ、全ライン分相関演算が完了していない場合、ステップＳ１００７に戻り、次の焦点検出小エリアにおける画素ライン加算から相関演算までを行う。
【０１３０】
以後、焦点検出領域６１に含まれる全焦点検出小エリアの相関演算が完了するまでステップＳ１００７〜ステップＳ１００９を繰り返す。
【０１３１】
ステップＳ１００９において、全ライン分相関演算を行ったと判定される場合、ステップＳ１０１０において、相関量加算を行う。
【０１３２】
ステップＳ１０１１において、加算割合の決定によりフレーム加算数が定められている場合にはステップＳ１０１２に進み、そうでない場合にはステップＳ１０１４に進む。
【０１３３】
ステップＳ１０１２において、ステップＳ１０１０で算出された相関量をＲＡＭ１５４に格納されているこれまでのフレーム加算結果の相関量と加算し、再びＲＡＭ１５４に格納する。
【０１３４】
ステップＳ１０１３において、所定期間分フレーム加算が行われたか判定し、行われていない場合には、フレーム加算を継続する必要があるため、本フロー処理を終了する。
【０１３５】
所定期間分フレーム加算が行われた場合にはステップＳ１０１４に進み、一度決定した加算割合をクリアする。
【０１３６】
ステップＳ１０１５において算出した相関量から、相関が最も高くなるシフト量を算出し、像ずれ量の算出を行う。
【０１３７】
なお、ここでの像ずれ量算出には、相関が最も高くなるシフト量と前後のシフト量での相関値を用いて、補間演算を行い、１シフト以内の補間値の算出を含む。
【０１３８】
このシフト量と補間値との和が像ずれ量Ｘとなる。このように、像ずれ量算出手段としてのメインＣＰＵ１５１、フォーカス制御部１３３、または、位相差ＡＦ処理部１３５は、第１の光電変換素子および第２の光電変換素子のそれぞれから独立して得られた信号値を用いた相関演算を行って像ずれ量を算出する。
【０１３９】
続いてステップＳ１０１６において、メインＣＰＵ１５１（フォーカス制御部１３３または位相差ＡＦ処理部１３５）は、算出された像ずれ量Ｘに補正後の係数Ｋを掛けることにより（Ｄｅｆ＝Ｋ×Ｘの関係式により）、デフォーカス量を算出する。
【０１４０】
以上のように、本実施例ではノイズ成分の多い低輝度等の条件時にフレーム加算を用いて、かつ被写体の状態に応じて、画素ライン加算数との割合を決定する。
【０１４１】
よって、被写体の分解能低下を抑えながら、ノイズを抑えた画像信号を用いた焦点検出を行うことができる。
【０１４２】
＜実施例２＞
次に、本発明の実施例２における焦点検出領域の画素ライン加算、フレーム加算の割合決定方法について説明する。
【０１４３】
実施例１では、コントラスト評価値から画素ライン加算数を決めて、それに応じてフレーム加算数を決めていた。
【０１４４】
本実施例では、被写体の移動の影響を受けやすいか（以下、被写体移動条件）を考慮して、フレーム加算数に上限を設ける方法について説明する。なお、本実施例において、実施例１と同一の内容については、同一の符号を用いてその説明を省略する。
【０１４５】
本実施例における被写体移動条件はカメラのフレームレート設定によって判断する。
【０１４６】
フレームレートが遅い場合にはフレーム間の間隔があき、被写体の移動の影響を受けやすくなる。
【０１４７】
被写体が移動すると時系列に結果を加算していく中で小エリア内の検出対象が変化し、前に写っていた被写体の影響を受け、最新の画像に対する検出精度としては低下する可能性がある。
【０１４８】
そこで、フレームレートに応じてフレーム加算数に上限値を設けることで、被写体の移動による検出精度低下を抑制する。
【０１４９】
本実施例においては、被写体移動条件であるフレームレートに応じたフレーム加算数の上限値としては、３０ｆｐｓの場合は、３フレーム、６０ｆｐｓであれば４フレーム、それ以上であれば５フレーム加算、１５ｆｐｓ以下は２フレーム加算とする。
【０１５０】
また、この被写体移動条件はズーム倍率から判断してもよい。ズーム倍率が高いほど、被写体の動きに対する画角内での移動量が大きくなるのでズーム倍率が高い場合は上限値を低くし、逆にズーム倍率が低い場合は上限値を上げるといったようである。
【０１５１】
（図１１の画素ライン加算数とフレーム加算数の割合を決定する方法の説明）
図１１は、本実施例における焦点検出領域の画素ライン加算数とフレーム加算数の割合を決定する方法を示すフローチャートである。図１３の各ステップは、メインＣＰＵ１５１により実施される。
【０１５２】
まず、ステップＳ１１０１において、焦点検出領域６１内の画素値が読みだされる。ステップＳ１１０２において読みだした画素値から、低輝度か否かを判定する。ステップＳ１１０３において、低輝度であった場合にはステップＳ１１０４に進み、低輝度でなかった場合には、本フロー処理を終了する。
【０１５３】
ステップＳ１１０４において、焦点検出領域６１内のコントラスト値を算出する。
【０１５４】
ステップＳ１１０５において、実施例１同様に画素ライン加算数を決定し、ステップＳ１１０６においてフレーム加算数を決定する。
【０１５５】
ステップＳ１１０７においてフレーム加算上限値を算出する。前述の通り、本実施例ではフレームレート設定からこの上限値を決定する。
【０１５６】
ステップＳ１１０８において、ステップＳ１１０６で決定したフレーム加算数が、フレーム上限値を超えていないか判定する。超えていない場合は本フロー処理を終了し、超えている場合にはステップＳ１１０９に進む。
【０１５７】
ステップＳ１１０９ではフレーム加算数をフレーム加算上限値に変更し、本フロー処理を終了する。これにより、被写体移動による検出精度低下を抑制する。
【０１５８】
以上が本実施例における画素ライン加算数とフレーム加算数との加算割合を決定する処理である。
【０１５９】
以上のように、本実施例ではノイズ成分の多い条件時にフレーム加算を用いて、かつ被写体の状態と動きを考慮し、画素ライン加算数との割合を決定することで、被写体の分解能低下を抑えながら、ノイズを抑えた画像信号を用いた焦点検出を行うことができる。
【０１６０】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１６１】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１６２】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１６３】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１６４】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【０１６５】
また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【図１】
2017016064.tif 000003
【図２】
2017016064.tif 000004
【図３】
2017016064.tif 000005
【図４】
2017016064.tif 000006
【図５】
2017016064.tif 000007
【図６】
2017016064.tif 000008
【図７】
2017016064.tif 000009
【図８】
2017016064.tif 000010
【図９】
2017016064.tif 000011
【図１０】
2017016064.tif 000012
【図１１】
2017016064.tif 000013