(57)【要約】【課題】合焦位置検出を高精度化可能とする撮像素子、合焦位置検出器及び撮像装置を提供する。【解決手段】本発明の撮像素子１は、撮像レンズ２を介して被写体像を結像させる素子であり、カラーフィルターを所定配列で配列された４画素１組で表示出力画素を構成する撮像画素の画素群と、当該撮像画素の位相差を検出するための４画素１組の位相差検出画素１１３の画素群とを備える。４画素１組の位相差検出画素１１３は、撮像レンズ２に対し所定の瞳分割方向に分割された瞳領域の光束をそれぞれ結像するようマスク１１４によりマスクがされた一対の第１画素Ａ，Ｂと、マスク１１４によりマスクがなされ当該一対の第１の画素Ａ，Ｂに対し隣接して配置されている一対の第２画素Ｃ，Ｄから構成されている。本発明の撮像装置５０に具備される合焦位置検出器２３は、撮像素子１の４画素１組の位相差検出画素１１３を用いてデフォーカス量を算出する。【選択図】図１
2017085484.tif 000002
【特許請求の範囲】
【請求項１】
焦点位置を調節可能な撮像レンズを介して被写体像を結像させる撮像素子であって、
カラーフィルターを所定配列で配列された４画素１組で表示出力画素を構成する撮像画素の画素群と、
当該撮像画素の位相差を検出するための４画素１組の位相差検出画素の画素群とを備え、
前記４画素１組の位相差検出画素は、前記撮像レンズに対し所定の瞳分割方向に分割された瞳領域の光束をそれぞれ結像するようマスクがされた一対の第１画素と、同じくマスクがなされ当該所定の瞳分割方向に対して垂直方向に前記一対の第１画素に対し隣接して配置されている一対の第２画素の４画素１組で構成されていることを特徴とする撮像素子。
【請求項２】
前記４画素１組の位相差検出画素は、それぞれ略同一の受光面積を有することを特徴とする、請求項１に記載の撮像素子。
【請求項３】
前記マスクは、メタルマスクで形成されていることを特徴とする、請求項１又は２に記載の撮像素子。
【請求項４】
請求項１から３のいずれか一項に記載の撮像素子における当該４画素１組の位相差検出画素の画素群を用いて合焦位置を検出する合焦位置検出器であって、
当該４画素１組の位相差検出画素の画素群の相関演算処理によりデフォーカス量を算出する機能と、
当該相関演算処理を行う際に、前記一対の第１画素と前記一対の第２画素の各画素値を加算する機能と、
を備えることを特徴とする合焦位置検出器。
【請求項５】
当該相関演算処理を行う際に、複数列又は複数行について、前記一対の第１画素と前記一対の第２画素の各画素値を加算する機能を更に備えることを特徴とする、請求項４に記載の合焦位置検出器。
【請求項６】
異なる露光時間の列又は行から読み出される位相差検出画素に対する当該相関演算処理は、同一の露光時間の列又は行から読み出される位相差検出画素に対する相関演算処理と同一の所定の相関演算式によりデフォーカス量を算出するよう構成されていることを特徴とする、請求項４又は５に記載の合焦位置検出器。
【請求項７】
請求項４から６のいずれか一項に記載の合焦位置検出器と、
前記合焦位置検出器によって算出されたデフォーカス量を基に、前記撮像レンズの自動焦点調節を実行する自動焦点調節手段と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合焦位置検出に係る撮像素子、合焦位置検出器及び撮像装置に関する。
【背景技術】
【０００２】
撮像装置にて自動的に合焦位置を検出し調節するオートフォーカス（automatic focus, AF）技術において、撮像素子内に位相差検出画素を配置してその位相差出力によりデフォーカス量を検出する像面位相差式オートフォーカスの技法が数多く知られている。
【０００３】
例えば、撮像素子において複数種に色分離された４画素１組（ＧＧＢＲ、ＲＧＢＷ等）の構造で対角２画素を位相差検出画素として離散的に配置し、その画素出力を用いてデフォーカス量を検出する技法（例えば、特許文献１参照）や、撮像素子の１画素につき１つマイクロレンズを用いるものを２画素につき１つのマイクロレンズを配置することによって、通常の撮像時には１つのマイクロレンズを共有する２画素の各画素値を加算して画素出力として取り扱い、デフォーカス量の検出時には各画素を位相差検出素子として取り扱う技法（例えば、特許文献２参照）方式が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−９１９９１号公報
【特許文献２】特開２００２−２５８１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述した特許文献１の技法では、デフォーカス量の算出時の信号対雑音比（ＳＮ比）の改善のために、その演算に用いる画素数を測距視野長（測距する視野長）等に応じて設定されているが、デフォーカス量の検出時の輝度（即ち、画素値）が低輝度である際に、依然としてその検出精度には改善の余地があり、被写体の形や大きさによっては算出誤差を大きくしてしまうという問題がある。
【０００６】
また、特許文献２の技法では、撮像素子の素子構造の配線、撮像とデフォーカス量検出のモード切り替え構造、マイクロミラーの配置等の設計、その製造プロセスを専用化して行う必要があり、ハードウェアの製造上の負担が大きい。また、当該モード切り替えに伴い信号処理量が単純に増大化してしまうという問題がある。
【０００７】
このため、既存の製造プロセスを用いて撮像素子を製作でき、デフォーカス量の検出時に低輝度である際にもＳＮ比を改善し、その検出精度を向上させる技法が望まれる。
【０００８】
本発明は、上述の問題に鑑みて、合焦位置検出を高精度化可能とする撮像素子、合焦位置検出器及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の撮像素子は、焦点位置を調節可能な撮像レンズを介して被写体像を結像させる撮像素子であって、カラーフィルターを所定配列で配列された４画素１組で表示出力画素を構成する撮像画素の画素群と、当該撮像画素の位相差を検出するための４画素１組の位相差検出画素の画素群とを備え、前記４画素１組の位相差検出画素は、前記撮像レンズに対し所定の瞳分割方向に分割された瞳領域の光束をそれぞれ結像するようマスクがされた一対の第１画素と、同じくマスクがなされ当該所定の瞳分割方向に対して垂直方向に前記一対の第１画素に対し隣接して配置されている一対の第２画素の４画素１組で構成されていることを特徴とする。
【００１０】
また、本発明の撮像素子において、前記４画素１組の位相差検出画素は、それぞれ略同一の受光面積を有することを特徴とする。
【００１１】
また、本発明の撮像素子において、前記マスクは、メタルマスクで形成されていることを特徴とする。
【００１２】
更に、本発明の合焦位置検出器は、本発明の撮像素子における当該４画素１組の位相差検出画素の画素群を用いて合焦位置を検出する合焦位置検出器であって、当該４画素１組の位相差検出画素の画素群の相関演算処理によりデフォーカス量を算出する機能と、当該相関演算処理を行う際に、前記一対の第１画素と前記一対の第２画素の各画素値を加算する機能と、を備えることを特徴とする。
【００１３】
また、本発明の合焦位置検出器において、当該相関演算処理を行う際に、複数列又は複数行について、前記一対の第１画素と前記一対の第２画素の各画素値を加算する機能を更に備えることを特徴とする。
【００１４】
また、本発明の合焦位置検出器において、異なる露光時間の列又は行から読み出される位相差検出画素に対する当該相関演算処理は、同一の露光時間の列又は行から読み出される位相差検出画素に対する相関演算処理と同一の所定の相関演算式によりデフォーカス量を算出するよう構成されていることを特徴とする。
【００１５】
更に、本発明の撮像装置は、本発明の合焦位置検出器と、前記合焦位置検出器によって算出されたデフォーカス量を基に、前記撮像レンズの自動焦点調節を実行する自動焦点調節手段と、を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、既存の製造プロセスを用いて撮像素子を製作でき、デフォーカス量の検出時に低輝度である際にもＳＮ比を改善し、デフォーカス量の算出エリア縮小による被写体検出精度を向上させることもできる。
【図面の簡単な説明】
【００１７】
【図１】本発明による一実施形態の撮像素子を例示する概略的な構成図である。
【図２】本発明による一実施形態の撮像素子における画素部の構成を概略的に例示する図である。
【図３】（ａ）,（ｂ）は、それぞれ本発明による一実施形態の撮像素子における位相差検出画素の構成と、その変形例を示す図である。
【図４】本発明による一実施形態の撮像装置の概略構成を示すブロック図である。
【図５】本発明による一実施形態の撮像素子におけるＲ，Ｇ行の撮像画素と位相差検出画素Ａ，Ｂの断面図である。
【図６】（ａ）,（ｂ）は、それぞれ本発明による一実施形態の撮像素子における位相差検出画素について撮像レンズの瞳分割した光束に対する受光を説明する図である。
【図７】（ａ）,（ｂ）,（ｃ）は、それぞれ合焦時、被写体が合焦位置より前方時、及び被写体が合焦位置より後方時における、本発明による一実施形態の撮像素子の位相差検出画素について撮像レンズの瞳分割した光束に対する受光を説明する図である。
【図８】本発明による一実施形態の撮像装置における合焦位置検出器の動作に関するフローチャートである。
【図９】（ａ）,（ｂ）は、それぞれ本発明による一実施形態の撮像素子における画素構造の説明図である。
【図１０】（ａ）,（ｂ），（ｃ）は、それぞれ本発明による一実施形態の撮像素子における露光時間の可変制御の有無に関する説明図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明による一実施形態の撮像素子１と、その撮像素子１から得られる位相差検出画素の画素出力を用いて合焦位置の検出（デフォーカス量の算出）を行う合焦位置検出器３２を有する撮像装置５０を、順に説明する。
【００１９】
〔撮像素子〕
まず、図１及び図２を参照して、本発明による一実施形態の撮像素子１を説明する。図１は、本発明による一実施形態の撮像素子１を例示する概略的な構成図である。本実施形態の撮像素子１は、主として、赤（Ｒ）色用カラーフィルター、緑（Ｇ）色用カラーフィルター及び青（Ｂ）色用カラーフィルターをベイヤー配列（ＧＧＢＲ）で各画素１１１上に４画素１組に配置して表示出力画素１１２を構成し、画素部１１を形成している。尚、本発明に係る撮像素子１は、４画素１組の表示出力画素１１２のうちＧ色用カラーフィルターの１つを白（Ｗ）色フィルターに置き換えたＲＧＢＷ配列で４画素１組に配置し表示出力画素１１２を構成するなど、他のカラーフィルター配列で表示出力画素１１２を構成することができる。本願明細書中、このようなカラーフィルターを配置した画素１１１を「撮像画素」と称する。
【００２０】
本実施形態の撮像素子１における画素部１１には、これらカラーフィルターによる表示出力画像を構成するための表示出力画素１１２とは別に、撮像画素間の位相差を検出するための４画素１組の位相差検出画素１１３が設けられ、この位相差検出画素１１３は、焦点を検出するための像面位相差検出素子として機能する。本実施形態の位相差検出画素１１３には、発色に影響を与えることなく光量のみを所定量制限するＮＤフィルターを配置してもよいが、ＳＮ比の向上のためにカラーフィルターが設けられていない例を示している。そして、i列・ｊ行からなる画素部１１内に、４画素１組の位相差検出画素１１３が複数個所に離散的に配置される（図２参照）。
【００２１】
画素部１１は、垂直走査回路１２によって各行の画素１１１を走査して出力可能とし、水平読み出し回路１４によって画素選択された画素出力に対し各列に並列配置された列並列アナログ・デジタル変換器（ＡＤＣ）１３によりアナログ信号処理を経てデジタル量に変換し、外部に出力するよう構成されている。尚、列並列アナログ・デジタル変換器（ＡＤＣ）１３は撮像素子１とは別の素子で構成してもよい。また、垂直走査回路１２は、各行で一定の露光時間で画素１１１を走査させることができるが、例えば奇数行（Ｗｏｄｄ１，Ｗｏｄｄ２，・・・）と偶数行（Ｗｅｖｅｎ１，Ｗｅｖｅｎ２，・・・）とで異なる露光時間で画素１１１を出力走査させることも可能となっている。
【００２２】
そして、この４画素１組の位相差検出画素１１３は、焦点のずれ量であるデフォーカス量を算出して合焦位置を決定し自動焦点調節を行うのに用いられる。位相差検出画素１１３は、点対称に隣接した４画素１組のＡ，Ｂ，Ｃ，Ｄとして図示する画素１１１で構成され、Ａ，ＣとＢ，Ｄがそれぞれ同位相検出の画素構造となっている。即ち、Ａ，Ｃを同じ瞳分割位相差画素、それらと対になるＢ，Ｄを同じ瞳分割位相差画素とした４画素一組で画素部１１内に複数個所で配置されている（図２参照）。
【００２３】
図３（ａ）,（ｂ）は、それぞれ本実施形態の撮像素子１における位相差検出画素１１３の構成と、その変形例を示す図である。図３にそれぞれ例示する位相差検出画素１１３は、いずれも点対称に隣接した４画素１組のＡ，Ｂ，Ｃ，Ｄの画素で構成されている。図３（ａ）に示す例では、Ａ，Ｂの画素間及びＣ，Ｄの画素間の上部に、それぞれの画素の開口面積が等しく、且つ撮像レンズ２の瞳分割方向を水平方向とするようマスク１１４が形成されている。このようなマスク１１４は遮光膜の蒸着等で形成することもできるが、当該Ａ，Ｂ，Ｃ，Ｄの画素１１１について垂直方向に延在する１枚のメタルマスク（電極等）を用いてその４画素中央部に形成することにより、水平方向に瞳分割した４画素分の位相差検出画素１１３を形成することができ、これにより、その製作プロセスが簡便になる。垂直方向に瞳分割するには図３（ｂ）に示すように当該Ａ，Ｂ，Ｃ，Ｄの画素１１１について水平方向に延在する１枚のメタルマスクを形成すればよい。尚、位相差検出画素１１３における瞳領域に応じて遮光可能とするマスク１１４の作用は、図２及び図３（ａ）に示す例を基に詳細に後述する。
【００２４】
本実施形態の位相差検出画素１１３は、例えば特許文献１などに開示される従来技法とは相違して、対角２画素ではなく点対称に隣接した４画素１組の位相差検出画素１１３を構成しており、これにより低輝度での検出精度を向上させ、デフォーカス量の算出エリア縮小による被写体検出精度を向上させるようにしている。
【００２５】
つまり、従来技法のような対角２画素Ｂ，Ｃ（若しくはＡ，Ｄ）のみを位相差検出画素として構成した場合、スチルカメラの場合など１画素で１表示出力画素とする高精細な画像を構成するときであれば、４画素１組の位相差検出画素を構成するよりも欠損画素数が少なくなり、その欠損画素に対しデモザイキングにより画素補完することで、欠損画素数が少ない分だけ画質の向上を図ることができる。
【００２６】
しかしながら、テレビジョンカメラでは出力画素数の映像フォーマットが決まっており、４画素で１表示出力画素として構成することができる（図１参照）。このため、図１に示すように撮像素子１を構成して、画素部１１の画素数がテレビジョンカメラの映像フォーマットに対して４倍の画素数があるならば、図１に示す位相差検出画素１１３の配列は、４つの画素１１１が欠損画素となるが、表示出力画素１１２としては１画素分の欠損にしか相当しないので、対角２画素とする場合と、隣接する４画素１組とする場合とで、実質的な画質の劣化に大きな差が生じない。
【００２７】
一方で、本実施形態の位相差検出画素１１３は、隣接する４画素１組としていることから、Ａ，Ｂの位相差検出画素１１３とＣ，Ｄの位相差検出画素１１３を、それぞれを対の瞳分割位相差画素として扱うことができるため、その詳細は後述するが、それぞれの瞳分割位相差画素の出力（即ち、画素値）の組み合わせを加算することで、ランダム性のノイズ成分を除去しＳＮ比を高めることができる（加算平均する場合もこの加算処置は含まれる）。また、４画素１組としている位相差検出画素１１３によりその位相差出力のＳＮ比を向上できるため、従来技法よりも位相差検出をするための関心領域を狭めデフォーカス量の算出エリアを縮小することができるため、被写体の形や模様による検出精度の低下を抑制することが可能となる。
【００２８】
〔撮像装置〕
そこで、図４乃至図１０を参照して、本実施形態の撮像素子１から得られる位相差検出画素の画素出力を用いて合焦位置の検出を行う合焦位置検出器３２を有する撮像装置５０を説明する。
【００２９】
図４は、本発明による一実施形態の撮像装置５０のブロック図であり、撮像装置５０は、上述した本発明に係る撮像素子１と、後述する合焦位置検出器３２を有しており、代表して、オートフォーカスシステムを備えたテレビジョンカメラとして構成した例を説明する。
【００３０】
撮像装置５０は、概ね撮像光学系５１と、信号処理系５２と、入出力系５３とに区分することができる。撮像光学系５１は、被写体を撮像レンズ２によって撮像素子１に結像させ、撮像素子１はデジタル量の画素信号（画素１１１ごとの単位信号）を出力する。
【００３１】
信号処理系５２は、入出力系５３の操作部８からの操作指示をインターフェース（ＩＦ）制御部４により受け付け、ＩＦ制御部４は、その受け付けた操作に関する制御信号を撮像レンズ２やデジタル信号処理制御部３に出力する。また、ＩＦ制御部４は、デジタル信号処理制御部３に対し制御信号を送出するのみでなく画像処理に関する各種パラメータ（例えばガンマ値等）を得て操作部８に出力する機能を有する。特に、ＩＦ制御部４は、撮像レンズ２から、絞り・焦点距離・フォーカス等のレンズパラメータを取得し、デジタル信号処理制御部３や操作部８に出力する機能や、入出力系５３の操作部８からの操作指示が自動焦点調節である場合など、レンズパラメータの変更に関する撮像レンズ制御信号を撮像レンズ２に出力する機能を有する。
【００３２】
デジタル信号処理制御部３は、ＩＦ制御部４からの操作指示に応じた各種動作を制御する。特に、デジタル信号処理制御部３は、デジタル信号処理部３１、合焦位置検出器３２、及び駆動制御部３３を備えている。デジタル信号処理部３１は、撮像素子１から得られるＲＧＢの撮像画素の画素信号についてメモリ５に記憶し、更にはメモリ５から画素信号を読み出して所定の画像処理を施し、表示出力画素信号（テレビジョンカメラの映像フォーマットに準じた表示出力画素の信号）を構成して入出力系５３の表示部６又は記録部７に出力する機能と、撮像素子１から得られる画素信号のうち位相差検出画素信号（４画素１組の位相差検出画素１１３よりなる信号）を合焦位置検出器３２に出力する機能と、を有する。
【００３３】
また、駆動制御部３３は、撮像素子１の撮像動作を制御するための撮像素子駆動信号（前述した垂直走査回路１２、水平読み出し回路１４、及び列並列ＡＤＣ１３を制御する信号）を撮像素子１に供給する機能を有する。
【００３４】
合焦位置検出器３２は、撮像素子１から得られる画素信号のうち位相差検出画素信号（４画素１組の位相差検出画素１１３よりなる信号）を基に、焦点のずれ量であるデフォーカス量を算出して合焦位置を決定し自動焦点調節を行うための制御量の情報をＩＦ制御部４に出力する機能を有する。これにより、ＩＦ制御部４は、当該撮像レンズ制御信号を撮像レンズ２に出力し、自動焦点調節に関するレンズパラメータを変更することができる。
【００３５】
従って、撮像装置５０は、撮像レンズ２とＩＦ制御部４との間で電気的な信号通信の送受信を行うことができるため、撮像光学系５１と信号処理系５２とは、絞り・焦点距離・フォーカス等のレンズパラメータや、撮像素子１の露光情報などを共有することができる。そして、ＩＦ制御部４からの命令（撮像レンズ制御信号）によって撮像レンズ２の各種レンズパラメータを変更することが可能となっている。
【００３６】
尚、図４に示す撮像装置５０の例では、入出力系５３に表示部６、記録部７、及び操作部８を備える例を示しているが、本発明に係る撮像装置５０としては、中継用のテレビジョンカメラなど、表示部６、記録部７、或いは操作部８を別装置で構成し、これら装置と通信する伝送装置を入出力系５３に備えた形態とすることもできる。撮像装置５０における本発明に係る肝要な構成要素は、図１及び図２に例示した４画素１組の位相差検出画素１１３を有する撮像素子１である点と、この４画素１組の位相差検出画素１１３を利用して、自動焦点調節を可能とするデフォーカス量の算出機能を有する合焦位置検出器３２を備える点であることから、以下、この撮像素子１を用いて合焦位置検出器３２によりデフォーカス量を算出する各実施例を詳細に説明する。
【００３７】
（実施例１）
図５は、図１及び図２に示す本実施形態の撮像素子１におけるＲ，Ｇ行の撮像画素と位相差検出画素Ａ，Ｂの断面図である。撮像画素は、各カラーフィルターを通過して、基板上に形成されたフォトダイオード（ＰＤ）１１５で撮像レンズ２の全瞳領域からの光束を、マイクロレンズ１１６を介して受光可能である。例えば、図５では、Ｒ色カラーフィルター（ＣＦＲ）やＧ色カラーフィルター（ＣＦＧ）を通過する撮像レンズ２の全瞳領域からの光束をそれぞれのフォトダイオード（ＰＤ）１１５で受光することができる。図示していないが、Ｂ色カラーフィルター（ＣＦＢ）を形成した撮像画素も同様である。
【００３８】
一方、位相差検出画素は、電極等を利用したメタルマスクで形成可能なマスク１１４により、瞳分割方向（図示横方向）の開口が制限されるため、撮像レンズ２の一部の瞳領域からの光束しか受光できないようになっている。より具体的に、図６を参照して、位相差検出画素の受光については説明する。
【００３９】
図６（ａ）,（ｂ）は、それぞれ本発明による一実施形態の撮像素子１における位相差検出画素１１３について撮像レンズ２の瞳分割した光束に対する受光を説明する図である。マイクロレンズ１１６は、撮像レンズ２の瞳とフォトダイオード１１５が略共役になるように設計されている。図６（ａ）,（ｂ）のそれぞれにおける左側の画素は、位相差検出画素Ａ若しくはＣに対応しており、右側の画素は位相差検出画素Ｂ若しくはＤに対応している。図６において、Ｘ軸方向を瞳分割方向、Ｙ軸方向を瞳分割と垂直な方向、Ｚ方向をＸＹ平面に垂直な方向として定義する。
【００４０】
図６（ａ）に示す撮像レンズ２のＸ軸方向左側の瞳領域を通る光束は、右側の画素ではフォトダイオード１１５に到達できるが、左側の画素ではマスク１１４によって遮光されている。逆に、図６（ｂ）に示す撮像レンズ２のＸ軸方向右側の瞳領域を通る光束は、左側の画素ではフォトダイオード１１５に到達できるが、右側の画素ではマスク１１４によって遮光されている。このようにマスク１１４の形状によって、位相差検出画素１１３へ入射される光束を撮像レンズ２の瞳位置に対応付けて制御することができる。
【００４１】
ここで、位相差検出画素１１３のマスク１１４と撮像レンズ２の瞳が略共役であるので、位相差検出画素１１３に入射する光束は、図７に示すように撮像レンズ２に位相差検出画素１１３のマスク１１４と略共役の遮光板Ｓを撮像レンズ２に取り付けることと同じように考えることができる。
【００４２】
図７（ａ）,（ｂ）,（ｃ）は、それぞれ合焦時、被写体が合焦位置より前方時、及び被写体が合焦位置より後方時における、本実施形態の撮像素子１の位相差検出画素１１３について撮像レンズ２の瞳分割した光束に対する受光を説明する図である。即ち、図７（ａ）は、ピントが合っている状態、図７（ｂ）は、被写体がピント位置よりも前方に位置する状態、図７（ｃ）は、被写体がピント位置よりも後方に位置する状態を示している。それぞれの図７（ａ）,（ｂ）,（ｃ）における図示上下（図示（ａ‐１）, （ａ‐２）等）は、Ａ（又はＣ）の位相差検出画素１１３、Ｂ（又はＤ）の位相差検出画素１１３のように、対になる位相差検出画素１１３の受光経路を分けて示している。ここでは、その説明の便宜上、図７（ａ）,（ｂ）,（ｃ）における図示上側（図示（ａ‐１），（ｂ‐１），（ｃ‐１））をＡ（又はＣ）の位相差検出画素１１３とし、図示下側（図示（ａ‐２），（ｂ‐２），（ｃ‐２））をＢ（又はＤ）の位相差検出画素１１３の受光経路とする。
【００４３】
図７（ａ）に示すピントが合っている状態では、撮像素子１の画素部１１上で隣り合うＡ，Ｂの位相差検出画素１１３の画素出力は、ほぼ同じとなる。
【００４４】
しかし、図７（ｂ）に示す被写体がピント位置よりも前方に位置する状態では、Ａ画素とＢ画素の位相差検出画素１１３の画素出力がほぼ同じである位置は、撮像素子１の画素部１１上の或るＡ画素の位置から瞳分割方向であるＸ軸のマイナス方向に２×Ｄａ進んだ撮像素子１の画素部１１上の或るＢ画素の位置となる。
【００４５】
また、図７（ｃ）に示す被写体がピント位置よりも後方に位置する状態では、Ａ画素とＢ画素の位相差検出画素１１３の画素出力がほぼ同じである位置は、撮像素子１の画素部１１上の或るＡ画素の位置から瞳分割方向であるＸ軸のプラス方向に２×Ｄｂ進んだ撮像素子１の画素部１１上の或るＢ画素の位置となる。
【００４６】
このため、合焦位置検出器３２は、位相差検出画素１１３によるデフォーカス量の検出のために、このＡ画素の位相差検出画素１１３の画素出力とＢ画素の位相差検出画素１１３の画素出力の値がほぼ同じになる２×Ｄａ，２×Ｄｂの距離から被写体のピントの位置（合焦位置）を検出するよう構成される。ここで図７に示す例では、Ｘ軸方向に瞳分割を行っているが（例えば図３（ａ）参照）、Ｙ軸方向に瞳分割を行っても（例えば図３（ｂ）参照）、同様に合焦位置の検出、即ち焦点距離の検出を行うことが可能である。
【００４７】
以下、詳細に、本発明に係る合焦位置検出器３２の動作について説明する。図８は、本発明による一実施形態の撮像装置５０における合焦位置検出器３２の動作に関するフローチャートである。
【００４８】
まず、合焦位置検出の処理は、所定間隔ごとに連続的に行うことができる。撮像素子１の画素信号は、撮像される度にメモリ５に記憶されることから、合焦位置検出器３２は、デジタル信号処理部３１を経てメモリ５から撮像素子１の画素部１１の複数個所に配置された各位相差検出画素１１３の位相差検出画素信号を読み出す（ステップＳ１）。
【００４９】
続いて、合焦位置検出器３２は、読み出した位相差検出画素信号の信号レベルを測定し（ステップＳ２）、当該信号のＳＮ比を考慮して所定の閾値以上であるか否かを判別する（ステップＳ３）。読み出した位相差検出画素信号の信号レベルが所定の閾値未満であるとき、合焦位置検出器３２は焦点検出不能と判定して（ステップＳ３：Ｎｏ）、今回の合焦位置検出の処理を終了する。一方、読み出した位相差検出画素信号の信号レベルが所定の閾値以上であるとき、合焦位置検出器３２は焦点検出可能と判定して（ステップＳ３：Ｙｅｓ）、ステップＳ４に移行する。
【００５０】
焦点検出可能な位相差検出画素信号に関して、合焦位置検出器３２は、以下に説明するように、相関演算の画素数（ｎｉ）を決定し（ステップＳ４）、デフォーカス量を算出して（ステップＳ５）、撮像レンズ２の自動焦点調節の実行をＩＦ制御部４に指示する（ステップＳ６）。
【００５１】
デフォーカス量の算出として様々な技法が従来から提案されているが、その従来技法の一例として、式（１）に示すような一対の像の差の絶対値を加算したものがある（例えば、特許文献１参照）。この式（１）に基づく従来技法では、その説明の便宜上、図２を用いて説明すると、位相差検出画素１１３はＡ，Ｄの１組２画素のみであり、Ｂ，Ｃは撮像画素になっている。
【００５２】
【数１】
2017085484.tif 000003
【００５３】
従来技法の式（１）において、Ａｉ,Ｄｉはそれぞれ位相差検出画素１１３におけるＡ画素、Ｄ画素のｉ番目の画素の輝度（即ち、画素値）を表している。またｎｉは相関演算に用いる画素数であり、測距視野長等に応じて適切に設定される。例えば、相関演算に用いる画素数（ｎｉ）の決定には、画素部１１の検出位置、像高や撮像レンズ２のレンズ性能（レンズパラメータ）、及びその信号レベルによって予め定めた基準値内の位相差検出画素１１３を相関演算の対象として決定する。そして、デフォーカス量の算出のために、相関演算値ＣＯＲ（ｋ）が最小となるｋを合焦位置として求める。
【００５４】
一方、本発明に係る実施例１のデフォーカス量の算出では、隣接するＡ画素とＣ画素はほぼ同じ出力、Ｂ画素とＤ画素もほぼ同じ出力であると考えることができ、式（２）のように取り扱う。
【００５５】
【数２】
2017085484.tif 000004
【００５６】
本発明に係る式（２）のＡｉ、Ｂｉ、Ｃｉ、Ｄｉはそれぞれ位相差検出画素１１３におけるＡ画素、Ｂ画素、Ｃ画素、Ｄ画素のｉ番目の画素の輝度（即ち、画素値）を表している。式（１）及び式（２）により本発明に係る実施例１のデフォーカス量の算出における相関演算は式（３）として与えられる。
【００５７】
【数３】
2017085484.tif 000005
【００５８】
式（１）と式（３）を数学的に同じにするためには、ＣＯＲ（ｋ）を１／２にする必要があるが、ＣＯＲ（ｋ）は最小となるｋの探索が目的であるので、計算量の増加、ＣＯＲ（ｋ）のビット数の制限による計算誤差の発生を抑えるためＣＯＲ（ｋ）を１／２にしていない。その計算上、式（３）は式（１）に比べてＣＯＲ（ｋ）の値が単純に２倍（１ビット増）になるが、ＣＯＲ（ｋ）は最小値を探すものであり、仮にＣＯＲ（ｋ）について式（１）と同程度に割り当てたビット数を超えるような値であれば、そのｋの値は探査値ではないと判断しても差し支えない。
【００５９】
上記の式（３）において、理想的には各画素の輝度値（即ち、画素値）はＡｉ＝ Ｃｉ、Ｂｉ＝Ｄｉであるが、実際には各画素の輝度値（即ち、画素値）にはランダムノイズが含まれている。ランダムノイズをＮＲとすると、ｍ回加算平均した場合のランダムノイズの標準偏差はＮＲ／√ｍとなり、式（３）を使用した場合、式（１）に比べてランダムノイズとのＳ／Ｎ比は√２倍改善することになる。
【００６０】
式（３）の相関演算に基づくデフォーカス量の算出によれば、２つの利点が生じる。第１の利点として、式（１）に対して相関演算に用いる画素数（ｎｉ）が同じ数のとき、ＳＮ比が向上するので低輝度でのデフォーカス量の算出時の精度が向上する。第２の利点として、式（１）に比べて同程度のＳＮ比を確保しようとした場合に、相関演算に用いる画素数（ｎｉ）を少なくすることができ、フォーカスしたい被写体の範囲を相対比較で狭めることができる。ただし、相関演算に用いる画素数（ｎｉ）が少なすぎる設定としてしないよう予め定めた数以上とする。これにより、被写体の模様等により実際には位相差が一致していないのに位相差検出画素信号の信号レベルの一致が起こって誤動作するのを防止することができる。
【００６１】
ここで本例では、Ｘ軸方向に瞳分割を行っているが（例えば図３（ａ）参照）、Ｙ軸方向に瞳分割を行っても（例えば図３（ｂ）参照）、同様に合焦位置の検出、即ち焦点距離の検出を行うことが可能である。従って、合焦位置検出器３２は、マスク１１４の形状によって、複数列又は複数行について、一対の第１画素Ａ，Ｂと一対の第２画素Ｃ，Ｄとの配置を変更し、同位相の画素の各画素値同士を加算するよう構成することができる。
【００６２】
以上のように、既存の製造プロセスを用いて本実施形態の撮像素子１を製作することができる。そして、実施例１の合焦位置検出器３２及びこれを備える撮像装置５０によれば、デフォーカス量の検出時に低輝度である際にもＳＮ比を改善し、デフォーカス量の算出エリア縮小による被写体検出精度を向上させることもできる。
【００６３】
（実施例２）
図１及び図２に示す撮像素子１を用いて、合焦位置検出器３２による実施例２のデフォーカス量の算出方法は、実施例１と比較して、その相関演算の方法が複数行についてそれぞれの瞳分割位相差画素の対応する各画素値を加算してデフォーカス量を求めるよう構成している点で異なるが、その他の構成はほぼ同様である。従って、合焦位置検出器３２の動作は、図８に基づいて動作する。
【００６４】
デフォーカス量の算出として、その従来技法の他例として、式（４）に示すような複数行についてそれぞれの瞳分割位相差画素の対応する各画素値を加算してデフォーカス量を求めるものがある（例えば、特許文献１参照）。この式（４）に基づく従来技法では、その説明の便宜上、図２を用いて説明すると、位相差検出画素１１３はＡ，Ｄの１組２画素のみであり、Ｂ，Ｃは撮像画素になっている。
【００６５】
【数４】
2017085484.tif 000006
【００６６】
従来技法の式（４）において、Ａｉｊ、ＤｉｊはそれぞれＡ画素、Ｄ画素のｊ行目ｉ列目の画素の輝度を表しており、ｎｉは相関演算に用いる画素数、ｎｊは相関演算を行う一対の像の列方向の数である。
【００６７】
一方、本発明に係る実施例１のデフォーカス量の算出では、式（２）と式（４）から式（５）として与えられる。
【００６８】
【数５】
2017085484.tif 000007
【００６９】
式（５）においても、Ａｉｊ，Ｂｉｊ，Ｃｉｊ， ＤｉｊはそれぞれＡ画素、Ｂ画素、Ｃ画素、Ｄ画素のｊ行目ｉ列目の画素の輝度（即ち、画素値）を表しており、ｎｉは相関演算に用いる画素数、ｎｊは相関演算を行う一対の像の行方向の数である。
【００７０】
式（５）の相関演算に基づくデフォーカス量の算出によれば、実施例１の場合と同様に、式（４）に対して相関演算に用いる画素数（ｎｉ）が同じ数のとき、ＳＮ比が向上するので低輝度でのデフォーカス量の算出時の精度が向上し、式（４）に比べて同程度のＳＮ比を確保しようとした場合に、相関演算に用いる画素数（ｎｉ）を少なくすることができ、フォーカスしたい被写体の範囲を相対比較で狭めることができる。そして、相関演算に用いる画素数（ｎｉ）が少なすぎる設定としてしないよう予め定めた数以上とする。これにより、被写体の模様等により実際には位相差が一致していないのに位相差検出画素信号の信号レベルの一致が起こって誤動作するのを防止することができる。
【００７１】
以上のように、既存の製造プロセスを用いて制作可能な本実施形態の撮像素子１を用いた実施例２の合焦位置検出器３２及びこれを備える撮像装置５０によれば、デフォーカス量の検出時に低輝度である際にもＳＮ比を改善し、デフォーカス量の算出エリア縮小による被写体検出精度を向上させることもできる。
【００７２】
（実施例３）
合焦位置検出器３２による実施例３のデフォーカス量の算出方法は、図１及び図２に示す撮像素子１を用いる例であり、実施例１と比較して、偶数行画素・奇数行画素ごとに異なる露光時間となる露光時間の可変制御を用いることで、位相差検出画素のＳＮ比の更なる改善と、ダイナミックレンジの拡大を図りながら動作する点を除きほぼ同様である。従って、合焦位置検出器３２の動作は、図８に基づいて動作する。このような露光時間の可変制御のために、図１に示す撮像素子１に対し電子シャッターを利用することができる。
【００７３】
合焦位置検出器３２は、露光時間の可変制御の有無に関わらず、所定の相関演算式に基づいてデフォーカス量を算出する機能を有する。
【００７４】
まず、偶数行画素・奇数行画素ごとに異なる露光時間となる露光時間の可変制御について説明する。尚、本実施例ではＲ色，Ｇ色の撮像画素、及びＡ画素，Ｂ画素の位相差検出画素１１３を含む行を奇数行、Ｂ色，Ｇ色の撮像画素、及びＣ画素，Ｄ画素の位相差検出画素１１３を含む行を偶数行として取り扱う。
【００７５】
図９（ａ）,（ｂ）は、それぞれ本発明による一実施形態の撮像素子における画素構造の説明図である。画素を構成するフォトダイオード（ＰＤ）により受光量に応じた電荷が光電変換されて蓄積される。転送ゲートに電圧が印加されると当該蓄積電荷がフローティングディフュージョン（ＦＤ）領域に転送されるようになっている（図９（ｂ）参照）。リセットゲートを経て電源電圧がＦＤ領域に印加されると、そのＦＤ領域の電荷はリセットされる。また、選択ゲートに所定電圧が印加されている間は、当該蓄積電荷に応じた出力電圧ＶＦＤが取り出される。この出力電圧ＶＦＤに対し相関二重サンプリングすることによって（図示せず）、画素信号Ｖｏｕｔとして出力される。
【００７６】
従って、画素信号Ｖｏｕｔは、ＦＤ領域に蓄積される電荷量に比例している。即ち、画素信号Ｖｏｕｔは、照射光強度、画素の受光面積、及び露光時間に比例するため、画素信号Ｖｏｕｔは、リセットゲート及び転送ゲートの印加電圧の間隔を制御することによって、線形的に可変制御することができる。バイアスゲートは、ＦＤ領域に所定のバイアス電圧を印加する。
【００７７】
図１０（ａ）,（ｂ），（ｃ）は、それぞれ本発明による一実施形態の撮像素子における露光時間の可変制御の有無に関する説明図である。図１０（ａ）は、偶数行画素・奇数行画素ごとに異なる露光時間となる露光時間の可変制御を実行しないときのタイミング例を示す図であり、図１０（ｂ）は、この露光時間の可変制御を実行するときのタイミング例を示す図である。尚、図１０（ａ）,（ｂ）において、説明の便宜上、出力電圧ＶＦＤに対し相関二重サンプリングすることによって得られる画素信号Ｖｏｕｔについてはその理解が容易となるよう波形及びタイミングをほぼ揃えて図示している。
【００７８】
転送ゲートの印加電圧によりフォトダイオード（ＰＤ）により蓄積された電荷をＦＤ領域に移すことができ、その転送前に前回の電圧印加時に転送されていたＦＤ領域に蓄えられている電荷を基準電圧に戻すためにリセットゲートに所定電圧を印加してリセットする動作を行う。選択ゲートの印加電圧間隔（１フレームに相当）に対し、この転送ゲート及びリセットゲートの印加電圧のタイミングを増やすことで、露光時間の可変制御が可能となる（図１０（ｂ）参照）。当該蓄積電荷に応じた出力電圧ＶＦＤは、受光強度が一定とするとフォトダイオード（ＰＤ）が飽和するまで、露光時間と線形の関係となる（図１０（ｃ）参照）。
【００７９】
図１に示したように、ベイヤー配列では、Ｇ，Ｇ，Ｂ，Ｒの撮像画素の４画素で表示出力画素１１２が構成される。そして、垂直走査回路１２によって、奇数行（Ｗｏｄｄ１，Ｗｏｄｄ２，・・・）と偶数行（Ｗｅｖｅｎ１，Ｗｅｖｅｎ２，・・・）とで異なる露光時間で画素１１１を出力走査させることもでき、ここでは、Ｗｏｄｄにおける画素の露光時間をＴｏｄｄ、Ｗｅｖｅｎにおける画素の露光時間をＴｅｖｅｎとして制御する。
【００８０】
４画素１組で表示出力画素１１２が構成されるため、１つの画素に露光時間の異なる２つのＧ色撮像画素が存在しており、このためＧ色撮像画素の画素出力のダイナミックレンジを拡大することができる。尚、各色のホワイトバランスは、デジタル信号処理部３１内の補正機能により保たれる。
【００８１】
このように、偶数行画素・奇数行画素ごとに異なる露光時間となる露光時間の可変制御を実行するときのデフォーカス量の算出は、偶数行のＡ画素，Ｂ画素と、奇数行のＣ画素，Ｄ画素の位相差検出画素１１３の位相差検出画素１１３は、露光時間の違いによって異なる出力値となるが、図１及び図２に示す例では、瞳分割方向と水平方向（図１に示す横方向）とが一致しているため、各行間の相関関係は変わらないことから、上述した式（３）の相関演算値ＣＯＲ（ｋ）が最小となるｋを合焦位置としてデフォーカス量の算出を行うことができる。
【００８２】
尚、従来技法では、位相差検出画素１１３はＡ，Ｄの１組２画素のみであり、Ｂ，Ｃは撮像画素になっているため、露光時間の違いによってデフォーカス量の算出を行うとすると、式（６）及び式（７）に示すようにデフォーカス量を算出することになる。
【００８３】
【数６】
2017085484.tif 000008
【００８４】
【数７】
2017085484.tif 000009
【００８５】
従って、式（６）及び式（７）から明らかなように、本発明に係る式（３）に基づくデフォーカス量の算出では、従来技法に基づく式（６）及び式（７）で行うよりも、広いダイナミックレンジで撮像画素間の位相差を検出することができ、高精度のデフォーカス量の算出が可能となる。また、本発明に係る式（３）に基づくデフォーカス量の算出によれば、従来技法とは相違して、図１０（ｃ）に示すような飽和出力状態の時でも誤動作することが無い。
【００８６】
そして、既存の製造プロセスを用いて制作可能な本実施形態の撮像素子１を用いた実施例３の合焦位置検出器３２及びこれを備える撮像装置５０によれば、デフォーカス量の検出時に低輝度である際にもＳＮ比を改善し、デフォーカス量の算出エリア縮小による被写体検出精度を向上させることもできる。
【００８７】
（実施例４）
図１及び図２に示す撮像素子１を用いて、合焦位置検出器３２による実施例４のデフォーカス量の算出方法は、実施例２と比較して、偶数行画素・奇数行画素ごとに異なる露光時間となる露光時間の可変制御を用い、複数行についてそれぞれの瞳分割位相差画素の対応する各画素値を加算してデフォーカス量を求めることで、位相差検出画素のＳＮ比の更なる改善と、ダイナミックレンジの拡大を図りながら動作する点を除きほぼ同様である。従って、合焦位置検出器３２の動作は、図８に基づいて動作する。このような露光時間の可変制御のために、図１に示す撮像素子１に対し電子シャッターを利用することができる。偶数行画素・奇数行画素ごとに異なる露光時間となる露光時間の可変制御については、図１０に示した場合と同様である。
【００８８】
合焦位置検出器３２は、露光時間の可変制御の有無に関わらず、所定の相関演算式に基づいてデフォーカス量を算出する機能を有する。
【００８９】
偶数行画素・奇数行画素ごとに異なる露光時間となる露光時間の可変制御を用い、複数行についてそれぞれの瞳分割位相差画素の対応する各画素値を加算してデフォーカス量を求める実施例４においても、そのデフォーカス量の算出では、偶数行のＡ画素，Ｂ画素と、奇数行のＣ画素，Ｄ画素の位相差検出画素１１３の位相差検出画素１１３は、露光時間の違いによって異なる出力値となるが、図１及び図２に示す例では、瞳分割方向と水平方向（図１に示す横方向）とが一致しているため、各行間の相関関係は変わらないことから、上述した式（５）の相関演算値ＣＯＲ（ｋ）が最小となるｋを合焦位置としてデフォーカス量の算出を行うことができる。
【００９０】
従って、実施例３の場合と同様に、従来技法よりも広いダイナミックレンジで撮像画素間の位相差を検出することができ、高精度のデフォーカス量の算出が可能となる。また、本発明に係る式（５）に基づくデフォーカス量の算出によれば、従来技法とは相違して、図１０（ｃ）に示すような飽和出力状態の時でも誤動作することが無い。
【００９１】
そして、既存の製造プロセスを用いて制作可能な本実施形態の撮像素子１を用いた実施例３の合焦位置検出器３２及びこれを備える撮像装置５０によれば、デフォーカス量の検出時に低輝度である際にもＳＮ比を改善し、デフォーカス量の算出エリア縮小による被写体検出精度を向上させることもできる。
【００９２】
尚、第３及び第４実施例では、Ｘ軸方向に瞳分割を行っているが（例えば図３（ａ）参照）、Ｙ軸方向に瞳分割を行っても（例えば図３（ｂ）参照）、同様に合焦位置の検出、即ち焦点距離の検出を行うことが可能である。従って、合焦位置検出器３２は、異なる露光時間の列又は行から読み出される位相差検出画素に対する当該相関演算処理は、同一の露光時間の列又は行から読み出される位相差検出画素に対する相関演算処理と同一の所定の相関演算式によりデフォーカス量を算出するよう構成することができる。
【００９３】
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述した例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、撮像素子１において、マスク１１４はマイクロレンズ１１６と適合して分割瞳方向に応じて遮光するよう構成した例を示しているが、マイクロレンズ１１６の設置が無くともマスク１１４を分割瞳方向に応じて遮光するよう構成することができる。また、マスク１１４の形状は、図３に例示するものに限定する必要はない。
【産業上の利用可能性】
【００９４】
本発明によれば、既存の製造プロセスを用いて制作可能な撮像素子とすることができ、更にデフォーカス量の検出時に低輝度である際にもＳＮ比を改善し、デフォーカス量の算出エリア縮小による被写体検出精度を向上可能な合焦位置検出器及びこれを備える撮像装置を構成することができるので、特に、４画素１組の映像フォーマットで表示するカメラの用途に有用である。
【符号の説明】
【００９５】
１  撮像素子
２  撮像レンズ
３  デジタル信号処理制御部
４  ＩＦ制御部
５  メモリ
６  表示部
７  記録部
８  操作部
３１  デジタル信号処理部
３２  合焦位置検出器
３３  駆動制御部
１１  画素部
１２  垂直走査回路
１３  列並列ＡＤＣ
１４  水平読み出し回路
５０  撮像装置
５１  撮像光学系
５２  信号処理系
５３  入出力系
１１１  画素
１１２  表示出力画素
１１３  位相差検出画素（Ａ画素、Ｂ画素、Ｃ画素、Ｄ画素）
１１４  マスク
１１５  フォトダイオード
１１６  マイクロレンズ
【図１】
2017085484.tif 000010
【図２】
2017085484.tif 000011
【図３】
2017085484.tif 000012
【図４】
2017085484.tif 000013
【図５】
2017085484.tif 000014
【図６】
2017085484.tif 000015
【図７】
2017085484.tif 000016
【図８】
2017085484.tif 000017
【図９】
2017085484.tif 000018
【図１０】
2017085484.tif 000019