(57)【要約】【課題】任意の撮影環境や撮像レンズの特性に対してクロストーク成分の影響の有無に関わらず、安定し高精度で合焦位置を検出する合焦位置検出器及び撮像装置、並びにプログラムを提供する。【解決手段】本発明の合焦位置検出器３２は、フォーカス距離の遠近を判定するための位相差を含む一対の位相差画像を用いて焦点位置を調節可能な撮像レンズ２の合焦位置を検出する合焦位置検出器であって、当該一対の位相差画像の双方に対し所定の離散フーリエ変換を施して低周波成分の信号ベクトルを計算するＤＦＴ計算部３２１と、当該信号ベクトルを用いて遠近評価値を算出するＢＦＦ算出部３２２と、前記遠近評価値を基にフォーカス距離の遠近を判定するフォーカス判定部３２３と、を備える。本発明の撮像装置５０は、本発明の合焦位置検出器３２を備える。【選択図】図１
2019184640.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の感光部の一部を遮光することにより得られる、フォーカス距離の遠近を判定するための位相差を含む一対の位相差画像を用いて、焦点位置を調節可能な撮像レンズの合焦位置を検出する合焦位置検出器であって、
当該一対の位相差画像の双方に対し、所定の離散フーリエ変換を施して予め定められた周波数以下の直流成分以外の成分の信号ベクトルを計算するＤＦＴ計算部と、
当該信号ベクトルを用いて所定の遠近評価演算を行い、遠近評価値を算出するＢＦＦ算出部と、
前記遠近評価値を基にフォーカス距離の遠近を判定するフォーカス判定部と、
を備えることを特徴とする合焦位置検出器。
【請求項２】
前記ＢＦＦ算出部は、当該一対の位相差画像の双方に対して得られる信号ベクトルのうち一方の信号ベクトルと、他方の信号ベクトルの複素共役とを乗算した結果の虚数成分を前記遠近評価値として算出することを特徴とする、請求項１に記載の合焦位置検出器。
【請求項３】
前記ＤＦＴ計算部は、当該一対の位相差画像の双方に対し前記所定の離散フーリエ変換を施す際に、非合焦状態における画像のぼけの作用を矩形フィルターの適用によって表し、
当該一対の位相差画像のうち一方に適用する矩形フィルターをｇＬ（ｘ）、他方に適用する矩形フィルターをｇＲ（ｘ）、離散フーリエ変換の演算に用いる基底正弦波の波数をｔ、前記撮像レンズの遮光率をｒ(０＜ r ＜１)、前記撮像レンズの有効レンズ径をＲ、前記撮像素子の画素部の画素のアドレスをｘ、前記撮像レンズと合焦点との間の距離をＣ１、前記撮像レンズと前記撮像素子の画素部との距離をＣ２、前記撮像レンズと被写体との距離をＬ、前記画素部の合焦対象範囲内の一方向幅のサイズをＷ、前記基底正弦波の波数ｔで合焦対象範囲となる処理対象画像の周波数成分を表わす関数をＦ（ｔ）としたとき、
各矩形フィルターｇＬ（ｘ），ｇＲ（ｘ）の幅を、
【数１】
2019184640.tif 000011
の差で表現し、
各矩形フィルターｇＬ（ｘ），ｇＲ（ｘ）のそれぞれの周波数成分Ｆ［ｇＬ（ｘ）］，Ｆ［ｇＲ（ｘ）］を得るために、
【数２】
2019184640.tif 000012
に基づく演算を行うことを特徴とする、請求項１又は２に記載の合焦位置検出器。
【請求項４】
前記ＢＦＦ算出部は、前記矩形フィルターｇＬ（ｘ），ｇＲ（ｘ）のそれぞれの周波数成分Ｆ［ｇＬ（ｘ）］，Ｆ［ｇＲ（ｘ）］を基に、
【数３】
2019184640.tif 000013
に基づく演算を行って、前記遠近評価値を算出することを特徴とする、請求項３に記載の合焦位置検出器。
【請求項５】
前記ＤＦＴ計算部は、前記撮像素子の撮像部における一方向を対象とした一次元の離散フーリエ変換、二方向を対象とした二次元の離散フーリエ変換、及び該二方向に加え時間方向を対象とした三次元の離散フーリエ変換のうちいずれかの離散フーリエ変換を行う手段を有し、
前記ＢＦＦ算出部は、該離散フーリエ変換に応じた所定の遠近評価演算を行い、遠近評価値を算出することを特徴とする、請求項１から４のいずれか一項に記載の合焦位置検出器。
【請求項６】
請求項１から５のいずれか一項に記載の合焦位置検出器と、
前記合焦位置検出器によって算出された遠近評価演算を基に、前記撮像レンズの自動焦点調節を実行する自動焦点調節手段と、
を備えることを特徴とする撮像装置。
【請求項７】
コンピュータを、請求項１から５のいずれか一項に記載の合焦位置検出器として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の合焦位置検出に係る合焦位置検出器及び撮像装置、並びに撮像装置内の制御用のコンピュータに合焦位置検出に係る評価値演算を実行させるためのプログラムに関する。
【背景技術】
【０００２】
撮像装置に内蔵される撮像素子において、一部の素子の前面の左半分、又は右半分を遮光したものがある（以下、「位相差検出画素」と称する）。
【０００３】
例えば、図１０には、典型的な撮像素子における画素部１１の画素配列を概略的に例示している。一般的な画素部１１には、図１０に示すように、赤色用カラーフィルターに基づく赤色撮像画素、緑色用カラーフィルターに基づく赤色撮像画素、及び青色用カラーフィルターに基づく赤色撮像画素をベイヤー配列（ＧＧＢＲ）で４画素１組に配置して撮像画素が形成されている。ただし、撮像素子は、４画素１組のフィルター配列のうち緑色用カラーフィルターの１つを白色フィルターに置き換えたＲＧＢＷ配列とするなど、他のカラーフィルター配列で構成することもある。尚、図１０では、画素部１１の左右方向をＸ方向、画素部１１上でＸ方向に直交する上下方向をＹ方向、ＸＹ平面に直交する方向を（図１０における図示面に対し手前方向）をＺ方向として示している。
【０００４】
そして、図１０に例示するように、撮像素子における画素部１１には、これらカラーフィルターによる撮像画素とは別に、撮像画素間の位相差をＸ方向（左右方向）及びＹ方向（上下方向）で検出するための対角２画素１組の位相差検出画素が設けられている（説明の便宜上、図１０では、位相差検出画素における左目側位相差検出画素及び右目側位相差検出画素として“Ｌ”及び“Ｒ”で示している）。
【０００５】
それぞれの位相差検出画素（左目側位相差検出画素“Ｌ”及び右目側位相差検出画素“Ｒ”）は、焦点を検出するための像面位相差検出素子として機能する。そして、図１０に示す例では、画素部１１内に対角２画素１組の位相差検出画素が複数個所に離散的に配置され、各位相差検出画素に隣接して対角位置に一対のマスクによる遮光部が形成されている。マスクの形状について様々な形状が想定されるが、例えばＸ方向（左右方向）に開口率が５０％となり、位相差検出画素における隣接するＬ画素及びＲ画素の瞳分割方向が互いに鏡像関係となるよう形成したマスクが形成される。
【０００６】
尚、図１０に例示する位相差検出画素における隣接する左目側位相差検出画素“Ｌ”及び右目側位相差検出画素“Ｒ”は、Ｘ方向（左右方向）及びＹ方向（上下方向）の二次元で位相差を検出可能とするために、点対称に隣接した対角２画素１組で構成し、Ｌ画素，Ｒ画素は互いに左右・上下方向（画像上では水平・垂直方向）に位相がずれた瞳分割位相差検出画素としている。しかし、撮像画素間の位相差を検出する観点からは、Ｘ方向（左右方向）のみ、或いはＹ方向（上下方向）のみの２画素１組で位相差検出画素を配置してもよい。また、図１０に例示する位相差検出画素は、４画素１組の撮像画素における赤色撮像画素及び青色撮像画素の位置に配置した例を示しているが、対角一対の緑色撮像画素の画素位置に配置してもよい。
【０００７】
そして、この対角２画素１組の位相差検出画素（左目側位相差検出画素“Ｌ”及び右目側位相差検出画素“Ｒ”）は、焦点のずれ量であるデフォーカス量を算出して合焦位置を決定し自動焦点調節を行うのに用いられる。
【０００８】
図１１には、隣接する２画素１組の位相差検出画素１１３（左目側位相差検出画素１１３Ｌ及び右目側位相差検出画素１１３Ｒ）の断面図を示している。撮像素子における撮像画素は例えばベイヤー配列（ＧＧＢＲ）の各カラーフィルターを通過して、基板上に形成された感光部（例えばフォトダイオード）１１５で撮像レンズの全瞳領域からの光束を、マイクロレンズ１１６を介して受光可能である。一方、位相差検出画素１１３は、図１１に示すように、マイクロレンズ１１６下方にて撮像素子の素子内配線等を利用して形成されるマスク１１４によって瞳分割方向（ここでは、左右方向）の開口が制限されているため、感光部１１５で撮像レンズの一部の瞳領域からの光束しか受光できない。尚、マイクロレンズ１１６は必ずしも設けなくともよい。
【０００９】
図１１において、左目側位相差検出画素１１３Ｌ及び右目側位相差検出画素１１３Ｒのそれぞれの画素群を集めて画像を形成し、左目側位相差検出画素１１３Ｌ及び右目側位相差検出画素１１３Ｒのエネルギー値（以下、「画素値」と称する）を集約することで、右目、左目をそれぞれ模したフォーカス距離の遠近を判定するための位相差を含む一対の画像（以下、「右目画像」、「左目画像」、区別しない場合は「位相差画像」と称する）を構成することができる。
【００１０】
そして、図１２（ａ），（ｂ）にはそれぞれ被写体Ｏｂｊが撮像レンズ２を介して合焦点に位置するときの左目側位相差検出画素１１３Ｌ及び右目側位相差検出画素１１３Ｒ（マイクロレンズ１１６の図示略）における結像の様子と、その画素平面像（被写体Ｏｂｊの写像ｉＬ，ｉＲをそれぞれ示す左目画像ＩＬ及び右目画像ＩＲ）を概略的に示している。
【００１１】
また、図１２（ｃ），（ｄ）にはそれぞれ被写体Ｏｂｊが撮像レンズ２を介して合焦点より手前に位置するときの左目側位相差検出画素１１３Ｌ及び右目側位相差検出画素１１３Ｒ（マイクロレンズ１１６の図示略）における結像の様子と、その画素平面像（被写体Ｏｂｊの写像ｉＬ，ｉＲをそれぞれ示す左目画像ＩＬ及び右目画像ＩＲ）を概略的に示している。
【００１２】
更に、図１２（ｅ），（ｆ）にはそれぞれ被写体Ｏｂｊが撮像レンズ２を介して合焦点より奥に位置するときの左目側位相差検出画素１１３Ｌ及び右目側位相差検出画素１１３Ｒ（マイクロレンズ１１６の図示略）における結像の様子と、その画素平面像（被写体Ｏｂｊの写像ｉＬ，ｉＲをそれぞれ示す左目画像ＩＬ及び右目画像ＩＲ）を概略的に示している。
【００１３】
図１２（ａ）乃至（ｆ）から理解されるように、位相差画像において、撮像レンズ２の焦点が合っていない状態における被写体の“ぼけ”は、左目画像ＩＬにおける被写体Ｏｂｊの写像ｉＬ及び右目画像ＩＲにおける被写体Ｏｂｊの写像ｉＲで左右逆方向に広がる性質を持つ（図１２（ｄ），（ｆ）参照）。また、被写体との遠近が入れ替わった場合も広がり方が左右逆になる（図１２（ｄ），（ｆ）参照）。
【００１４】
このため、位相差画像における“ぼけ”の広がり方の左右差（即ち、位相差）を画像処理によって検出することで、位相差画像の取得時のフォーカス距離が被写体Ｏｂｊの手前であるか、奥であるかを判定することができる。そして、その判定の結果を利用し、撮像レンズ２を駆動させ、人為によらず撮像レンズ２の焦点を被写体Ｏｂｊに合わせる自動焦点調節を実現できる。
【００１５】
ところで、位相差を検出するための評価値を求める技法として、以下の式（数１）で示すように、例えば右目画像と左目画像を１画素ずつ左右にずらしながら差分をとり、差分の絶対値の総和による評価値（相関値）が最小になるずらし幅ｋを求める技法が一般的である。ここでは評価値として相関値を示すＳＡＤ（Sum of Absolute Difference；差の絶対値）を例に説明しているが、ＳＳＤ（Sum of Squared Difference；差の二乗値）とする場合もある。
【００１６】
【数１】
2019184640.tif 000003
【００１７】
上記の式（数１）におけるＬとＲは、それぞれ左目画像と右目画像の画素値を表し、ＬとＲの右下の添え字で画素のアドレスが示されている。例えば、図１０に示すｉ,ｊのアドレス値において画素部１１における合焦位置検出領域のＳＡＤ値を求めるときは、式（１）において、Ｌｉ＋ｋ，ｊ及びＲｉ，ｊは、画素部１１内に離散的に配置される対角２画素１組の位相差検出画素１１３（位相差検出画素Ｌ，Ｒ）のｊ列目ｉ＋ｋ番目の画素値を表しており、Ｊは相関演算に用いる画素数、Ｉは相関演算を行う一対の像の列方向の数であり、Ｊ, Ｉは測距視野長（測距する視野長）等に応じて適切に設定される。最小のＳＡＤ値で求められるｋは位相差画像のずらし幅（右目画像と左目画像の位相差）を示す。
【００１８】
ところで、図１３に示すように、撮像素子内の感光部１１５は、撮像素子内での光の乱反射による光学的なクロストークや、受光して生じた電気エネルギーが隣接する感光部１１５から漏れ出すことによる電気的なクロストークが生じることがある。このようなクロストークは高密度化した画素を有する撮像素子ほど生じやすい。特に、図１３に示すように、左目側位相差検出画素１１３Ｌ及び右目側位相差検出画素１１３Ｒに対してクロストークが生じると、その左目画像と右目画像の位相差が縮退し、従来から一般的に用いられるＳＡＤ値ではデフォーカス量の評価精度が悪化する。
【００１９】
例えば図１４を参照して概念的に説明するに、隣接する２画素１組の位相差検出画素１１３（左目側位相差検出画素１１３Ｌ及び右目側位相差検出画素１１３Ｒ）の画素群の画素値を集めて構成したそれぞれの左目画像ＩＬ及び右目画像ＩＲに関して、図１４の上欄に示すように仮に“クロストークなし”の状態では位相差画像のずらし幅ｋを適切に検出できたとする。即ち、“左目画像ＩＬと像心ＯＬ（左目写像ｉＬの重心）”、及び“右目画像ＩＲと像心ＯＲ（右目写像ｉＲの重心）”から、左目画像ＩＬと右目画像ＩＲとを重ね合わせてずらし幅ｋを検出するとき、“画像ＩＬ，Ｒと像心ＯＬ, ＯＲの差”における左目画像ＩＬと右目画像ＩＲとを重ね合わせた画像ＩＬ，Ｒの像心ＯＬと像心ＯＲの差が、左目画像ＩＬと右目画像ＩＲとの位相差を示し、仮に“クロストークなし”の状態で位相差画像のずらし幅ｋを適切に検出できたとする。
【００２０】
一方、図１４の下欄に示すように“クロストークあり”の状態では、“左目画像ＩＬと像心ＯＬ（左目写像ｉＬとクロストーク像ｉＲ’とを含む重心）”、及び“右目画像ＩＲと像心ＯＲ（右目写像ＩＲとクロストーク像ｉＬ’とを含む重心）”から、左目画像ＩＬと右目画像ＩＲとを重ね合わせてずらし幅ｋを検出するとき、“画像ＩＬ，Ｒと像心ＯＬ, ＯＲの差”における左目画像ＩＬと右目画像ＩＲとを重ね合わせた画像ＩＬ，Ｒの像心ＯＬと像心ＯＲの差が“クロストークなし”の状態よりも縮退してしまう。このため、従来から一般的に用いられるＳＡＤ値ではデフォーカス量の評価精度が悪化する。
【００２１】
そこで、クロストーク成分を加味するよう上記の式（数１）に関する評価値（相関値）の演算を変形して、そのクロストークを抑圧する技法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２０１７−１４６３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２３】
上述したように、位相差を検出するための評価値を求める技法として、上記の式（数１）で示すように、例えば右目画像と左目画像を１画素ずつ左右にずらしながら差分をとり、差分の絶対値の総和による評価値が最小になるずらし幅ｋを求める技法が一般的である。
【００２４】
しかし、図１２に示すような撮像レンズ２のレンズ径が小さい、又は被写体Ｏｂｊが撮像レンズ２から遠い場合、従来から一般的に用いられる当該ＳＡＤ値により求めた位相差画像のずらし幅ｋは、フォーカス距離が大きく外れているにも関わらず位相差として小さい値（例えば１桁の整数）を示すことがしばしばある。この位相差画像のずらし幅ｋは、フォーカス距離調整において有効桁数が大きいほどその調整精度が高く、或いはその調整制御も容易になる。即ち、従来から一般的に用いられる当該ＳＡＤ値による位相差画像のずらし幅ｋの検出は、そのずらし幅ｋの有効桁数が小さくなり得る点で、フォーカス距離調整の精度、或いは調整制御を容易化する観点で改善の余地がある。
【００２５】
また、図１３及び図１４を参照して説明したように、左目側位相差検出画素１１３Ｌ及び右目側位相差検出画素１１３Ｒに対してクロストークが生じると、その左目画像と右目画像の位相差が縮退し、従来から一般的に用いられるＳＡＤ値ではデフォーカス量の評価精度が悪化する。即ち、クロストークの影響で、従来から一般的に用いられるＳＡＤ値では位相差画像のずらし幅ｋが、クロストークの影響がなければ本来有効な数値を示すべきところ、しばしば無効な数値（例えば０）になってしまうという問題がある。
【００２６】
そこで、特許文献１に示す技法では、クロストーク成分を加味するよう上記の式（数１）に関する評価値（相関値）の演算を変形して、そのクロストークを抑圧するものとしている。ここで、特許文献１に示す技法では、隣接する一対の位相差検出画素の各々で生じるクロストーク成分の影響がほぼ同じであることに着目してクロストーク成分を加味するよう評価値（相関値）の演算を行うものとしている。そして、被写体によっては一部の位相差検出画素でクロストーク成分に大きな差異が生じる場合の影響を緩和させるために、加重平均するための固定のパラメータを設定するものとなっている。
【００２７】
この固定のパラメータは、本質的には撮影環境や撮像レンズの特性によって最適値が変化する可能性があるため改善の余地がある。
【００２８】
従って、位相差画像を基に画像処理によってフォーカス距離の遠近を判定する際に、位相差画像のずらし幅ｋの有効桁数を増大させ、任意の撮影環境や撮像レンズの特性に対してクロストーク成分の影響の有無に関わらず、安定し高精度で、その遠近を評価可能とする技法が望まれる。
【００２９】
本発明の目的は、上述の問題に鑑みて、任意の撮影環境や撮像レンズの特性に対してクロストーク成分の影響の有無に関わらず、安定し高精度で合焦位置を検出する合焦位置検出器及び撮像装置、並びにプログラムを提供することにある。
【課題を解決するための手段】
【００３０】
即ち、本発明の合焦位置検出器は、撮像素子の感光部の一部を遮光することにより得られる、フォーカス距離の遠近を判定するための位相差を含む一対の位相差画像を用いて、焦点位置を調節可能な撮像レンズの合焦位置を検出する合焦位置検出器であって、当該一対の位相差画像の双方に対し、所定の離散フーリエ変換を施して予め定められた周波数以下の直流成分以外の成分の信号ベクトルを計算するＤＦＴ計算部と、当該信号ベクトルを用いて所定の遠近評価演算を行い、遠近評価値を算出するＢＦＦ算出部と、前記遠近評価値を基にフォーカス距離の遠近を判定するフォーカス判定部と、を備えることを特徴とする。
【００３１】
また、本発明の合焦位置検出器において、前記ＢＦＦ算出部は、当該一対の位相差画像の双方に対して得られる信号ベクトルのうち一方の信号ベクトルと、他方の信号ベクトルの複素共役とを乗算した結果の虚数成分を前記遠近評価値として算出することを特徴とする。
【００３２】
また、本発明の合焦位置検出器において、前記ＤＦＴ計算部は、当該一対の位相差画像の双方に対し前記所定の離散フーリエ変換を施す際に、非合焦状態における画像のぼけの作用を矩形フィルターの適用によって表し、当該一対の位相差画像のうち一方に適用する矩形フィルターをｇＬ（ｘ）、他方に適用する矩形フィルターをｇＲ（ｘ）、離散フーリエ変換の演算に用いる基底正弦波の波数をｔ、前記撮像レンズの遮光率をｒ(０＜ r ＜１)、前記撮像レンズの有効レンズ径をＲ、前記撮像素子の画素部の画素のアドレスをｘ、前記撮像レンズと合焦点との間の距離をＣ１、前記撮像レンズと前記撮像素子の画素部との距離をＣ２、前記撮像レンズと被写体との距離をＬ、前記画素部の合焦対象範囲内の一方向幅のサイズをＷ、前記基底正弦波の波数ｔで合焦対象範囲となる処理対象画像の周波数成分を表わす関数をＦ（ｔ）としたとき、
各矩形フィルターｇＬ（ｘ），ｇＲ（ｘ）の幅を、以下の式で表現する。
【００３３】
【数２】
2019184640.tif 000004
【００３４】
そして、各矩形フィルターｇＬ（ｘ），ｇＲ（ｘ）のそれぞれの周波数成分Ｆ［ｇＬ（ｘ）］，Ｆ［ｇＲ（ｘ）］を得るために、以下の式に基づく演算を行うことを特徴とする。
【００３５】
【数３】
2019184640.tif 000005
【００３６】
また、本発明の合焦位置検出器において、前記ＢＦＦ算出部は、前記矩形フィルターｇＬ（ｘ），ｇＲ（ｘ）のそれぞれの周波数成分Ｆ［ｇＬ（ｘ）］，Ｆ［ｇＲ（ｘ）］を基に、以下の式に基づく演算を行って、前記遠近評価値を算出することを特徴とする。
【００３７】
【数４】
2019184640.tif 000006
【００３８】
また、本発明の合焦位置検出器において、前記ＤＦＴ計算部は、前記撮像素子の撮像部における一方向を対象とした一次元の離散フーリエ変換、二方向を対象とした二次元の離散フーリエ変換、及び該二方向に加え時間方向を対象とした三次元の離散フーリエ変換のうちいずれかの離散フーリエ変換を行う手段を有し、前記ＢＦＦ算出部は、該離散フーリエ変換に応じた所定の遠近評価演算を行い、遠近評価値を算出することを特徴とする。
【００３９】
更に、本発明の撮像装置は、本発明の合焦位置検出器と、前記合焦位置検出器によって算出された遠近評価演算を基に、前記撮像レンズの自動焦点調節を実行する自動焦点調節手段と、を備えることを特徴とする。
【００４０】
更に、本発明のプログラムは、コンピュータを、本発明の合焦位置検出器として機能させるためのプログラムとして構成する。
【発明の効果】
【００４１】
本発明によれば、任意の撮影環境や撮像レンズの特性に対して安定し高精度で合焦位置を検出することができる。特に、本発明によれば、クロストークの影響が有る場合でも、比較的に実装負担の小さい演算でフォーカス距離の検出に係る評価値の有効桁数を高めることができるので、合焦位置検出を高精度化し、且つ実装コストを低く抑えることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明による一実施形態の合焦位置検出器を備える撮像装置の概略構成を示すブロック図である。
【図２】本発明による一実施形態の合焦位置検出器の構成とその周辺構成を概略的に示すブロック図である。
【図３】本発明による一実施形態の合焦位置検出器の制御フローを示すフローチャートである。
【図４】本発明による一実施形態の合焦位置検出器におけるＤＦＴ計算部及びＢＦＦ算出部の概略構成を示すブロック図である。
【図５】本発明による一実施形態の合焦位置検出器におけるＤＦＴ計算部及びＢＦＦ算出部によって算出される遠近評価値（ＢＦＦ：estimation of Beyond or Forward Focusing）の説明図である。
【図６】位相差検出画素を有する撮像素子を備える撮像装置について、位相差検出画素を有していない撮像素子を備える２台の撮像装置を用いて模式的に表現した図である。
【図７】本発明による一実施形態の合焦位置検出器に係る位相差画像の“ぼけ”の広がり方を数式表現するために模式的に表現した図である。
【図８】本発明による一実施形態の合焦位置検出器に係る位相差画像の“ぼけ”作用を表わす矩形フィルターを数式表現するために模式的に表現した図である。
【図９】本発明による一実施形態の合焦位置検出器に係る作用・効果を、特許文献１に技法による位相差画像のずらし幅ｋと対比して示す図である。
【図１０】撮像素子における一例の画素部の画素配列を概略的に例示する図である。
【図１１】撮像素子における一例の位相差検出画素の構造を概略的に例示する図である。
【図１２】（ａ），（ｂ）にはそれぞれ被写体が撮像レンズを介して合焦点に位置するとき、（ｃ），（ｄ）にはそれぞれ被写体が撮像レンズを介して合焦点より手前に位置するとき、（ｅ），（ｆ）にはそれぞれ被写体が撮像レンズ２介して合焦点より奥に位置するときの左目側位相差検出画素及び右目側位相差検出画素における結像の様子と、その画素平面像を概略的に示す図である。
【図１３】撮像素子における一例の位相差検出画素にてクロストークが生じるときの様子を示す図である。
【図１４】撮像素子における一例の位相差検出画素にてクロストークが生じるときの影響を示す図である。
【発明を実施するための形態】
【００４３】
以下、図面を参照して、本発明による一実施形態の合焦位置検出器３２及び撮像装置５０について説明する。撮像装置５０において、合焦位置検出器３２は、撮像素子１から得られる位相差検出画素の画素出力を用いて合焦位置の検出を行う機能部として構成される。
【００４４】
〔撮像装置〕
図１は、本発明による一実施形態の合焦位置検出器３２を備える撮像装置５０の概略構成を示すブロック図である。また、図２は、本発明による一実施形態の合焦位置検出器３２の構成とその周辺構成を概略的に示すブロック図である。
【００４５】
図１に示す撮像装置５０は、図１０及び図１１に例示したような位相差検出画素を有する既存の典型的な撮像素子１と、本発明に係る一実施形態の合焦位置検出器３２を有しており、代表して、オートフォーカスシステムを備えたテレビジョンカメラとして構成した例を説明する。
【００４６】
撮像装置５０は、被写体を撮像レンズ２によって撮像素子１で結像させ、撮像素子１の出力を画像処理し、その画像データを表示部６や記録部７へと出力するよう構成され、概ね撮像光学系５１と、信号処理系５２と、入出力系５３とに区分することができる。撮像光学系５１は、被写体を撮像レンズ２によって撮像素子１に結像させ、撮像素子１はデジタル量の画素値を出力する。
【００４７】
信号処理系５２は、入出力系５３の操作部８からの操作指示をインターフェース（ＩＦ）制御部４により受け付け、ＩＦ制御部４は、その受け付けた操作に関する制御信号を撮像レンズ２やデジタル信号処理制御部３に出力する。また、ＩＦ制御部４は、デジタル信号処理制御部３に対し制御信号を送出するのみでなく画像処理に関する各種パラメータ（例えばガンマ値等）を得て操作部８に出力する機能を有する。特に、ＩＦ制御部４は、撮像レンズ２から、絞り・焦点距離・フォーカス等のレンズパラメータを取得し、デジタル信号処理制御部３や操作部８に出力する機能や、入出力系５３の操作部８からの操作指示が自動焦点調節である場合など、合焦位置検出器３２からの命令に従って、レンズパラメータの変更に関する撮像レンズ制御信号を撮像レンズ２に出力する機能を有する。
【００４８】
デジタル信号処理制御部３は、ＩＦ制御部４からの操作指示に応じた各種動作を制御する。特に、デジタル信号処理制御部３は、画像処理部３１、合焦位置検出器３２、及び駆動制御部３３を備えている。
【００４９】
画像処理部３１は、撮像素子１から得られる各色の撮像画素の画素値についてメモリ５に記憶し、更にはメモリ５から画素信号を読み出して所定の画像処理を施し、表示出力画素信号（テレビジョンカメラの映像フォーマットに準じた表示出力画素の信号）を構成して入出力系５３の表示部６又は記録部７に出力する機能と、撮像素子１から得られる画素値のうち、合焦対象範囲内の２画素一対の位相差検出画素１１３の画素値（図１０及び図１１に例示したような位相差検出画素の画素値）から構成される、フォーカス距離の遠近を判定するための位相差を含む一対の位相差画像（以下に説明する例では、左右方向を例に「右目画像」及び「左目画像」）を合焦位置検出器３２に出力する機能と、を有する。
【００５０】
即ち、図１及び図２に示す撮像素子１からは、図１０に例示したように遮光されていない撮像画素の画素値、図１１に例示したようにマイクロレンズ１１６の右側が遮光された左目側位相差検出画素１１３Ｌ（図１０に例示した“Ｌ”）の画素値、及び、マイクロレンズ１１６の左側が遮光された右目側位相差検出画素１１３Ｒ（図１０に例示した“Ｒ” ）の、計３種類の画素値が出力される。そこで、画像処理部３１は、画素部１１における合焦対象範囲（操作指定がないときは画素部１１の全域）内で左目側位相差検出画素１１３Ｌと右目側位相差検出画素１１３Ｒの画素値のみをそれぞれ集めて構成される一対の位相差画像（本例では、左右方向を例に「左目画像」及び「右目画像」）を合焦位置検出器３２に出力する。
【００５１】
また、駆動制御部３３は、撮像素子１の撮像動作を制御するための撮像素子駆動信号を撮像素子１に供給する機能を有する。
【００５２】
〔合焦位置検出器〕
合焦位置検出器３２は、図２に示すように、ＤＦＴ計算部３２１、ＢＦＦ算出部３２２、及びフォーカス判定部３２３を備える。
【００５３】
ＤＦＴ計算部３２１は、画像処理部３１から、フォーカス距離の遠近を判定するための位相差を含む一対の位相差画像（本例では図１２に例示した左右方向の左目画像ＩＬ及び右目画像ＩＲ）を入力し、当該一対の位相差画像の双方に対し、詳細に後述する所定の離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）を施して予め定められた周波数以下の周波数成分（低周波数成分）の信号ベクトルを計算し、当該計算した信号ベクトルをＢＦＦ算出部３２２に出力する。
【００５４】
ＢＦＦ算出部３２２は、当該信号ベクトルを用いて詳細に後述する所定の遠近評価演算を行い、遠近評価値（ＢＦＦ：estimation of Beyond or Forward Focusing）を算出し、当該算出した遠近評価値（ＢＦＦ）をフォーカス判定部３２３に出力する。
【００５５】
フォーカス判定部３２３は、当該遠近評価値（ＢＦＦ）を基にフォーカス距離の遠近を判定し、撮像装置５０の撮像レンズ２のフォーカスを調整させるための命令（撮像レンズ駆動命令）を生成し、ＩＦ制御部４に出力する。
【００５６】
これにより、ＩＦ制御部４は、当該撮像レンズ駆動命令を基に、対応する撮像レンズ制御信号を撮像レンズ２に出力し、自動焦点調節に関するレンズパラメータを変更することができる。
【００５７】
そして、撮像レンズ２は、より具体的には図２に示すように、被写体を撮像素子１で結像させるためのレンズ２１、及び撮像レンズ駆動部２２を備え、撮像レンズ駆動部２２は、合焦位置検出器３２からの命令（撮像レンズ駆動命令）に対応してＩＦ制御部４が発生する撮像レンズ制御信号を受け付け、当該レンズ２１のフォーカス調整を行うための駆動を行う。
【００５８】
従って、図１に示す撮像装置５０は、撮像レンズ２とＩＦ制御部４との間で電気的な信号通信の送受信を行うことができるため、撮像光学系５１と信号処理系５２とは、絞り・焦点距離・フォーカス等のレンズパラメータや、撮像素子１の露光情報などを共有することができる。そして、撮像装置５０は、自動焦点調節時には、合焦位置検出器３２からの命令（撮像レンズ駆動命令）に対応するＩＦ制御部４からの撮像レンズ制御信号によって撮像レンズ２の自動焦点調節を作動可能となっている。
【００５９】
尚、図１に示す撮像装置５０の例では、入出力系５３に表示部６、記録部７、及び操作部８を備える例を示しているが、本発明に係る撮像装置５０としては、中継用のテレビジョンカメラなど、表示部６、記録部７、或いは操作部８を別装置で構成し、これら装置と通信する伝送装置を入出力系５３に備えた形態とすることもできる。
【００６０】
〔合焦位置検出器による自動焦点調節制御〕
合焦位置検出器３２は、撮像装置５０内の制御用のコンピュータ（マイクロコンピュータ）に合焦位置検出に係る評価値演算を実行させるためのプログラムを実行させることで構成することができ、このようなプログラムは撮像装置５０内のメモリ５等の記憶部に記憶される。即ち、メモリ５から当該プログラムを読み出し実行させることで、合焦位置検出器３２の機能の一部又は全部を実現させることができる。
【００６１】
図３は、本発明による一実施形態の合焦位置検出器３２の制御フローを示すフローチャートである。まず、合焦位置検出器３２は、撮像素子１の画素部１１における合焦対象範囲（操作指定がないときは画素部１１の全域）内の位相差画像（一方向で一対の位相差画像）を入力する（ステップＳ１）。
【００６２】
次に、合焦位置検出器３２は、当該位相差画像における一方側画像（左目画像）と他方側画像（右目画像）の各周波数成分の信号ベクトルを一方向（左右方向）のＤＦＴ演算により算出し（ステップＳ２）、それぞれの信号ベクトルを用いて遠近評価値（ＢＦＦ）を算出する（ステップＳ３）。
【００６３】
次に、合焦位置検出器３２は、算出した遠近評価値（ＢＦＦ）を基にフォーカス判定を行い、撮像レンズ２の自動焦点調節を行うための撮像レンズ駆動命令を生成し、ＩＦ制御部４に対し実行指示する（ステップＳ４）。
【００６４】
〔ＤＦＴ計算部及びＢＦＦ算出部の概略構成〕
図４は、本発明による一実施形態の合焦位置検出器３２におけるＤＦＴ計算部３２１及びＢＦＦ算出部３２２の概略構成を示すブロック図である。図４に示すように、ＤＦＴ計算部３２１は、第１ＤＦＴ計算部３２１１、及び第２ＤＦＴ計算部３２１２を備える。また、ＢＦＦ算出部３２２は、一組の乗算器３２２１，３２２２、及び減算器３２２３を備える。
【００６５】
第１ＤＦＴ計算部３２１１は、左目画像ＩＬを入力し、詳細に後述するがフーリエ変換に用いる基底正弦波の波数ｔに応じた離散フーリエ変換（ＤＦＴ）を施して、予め定められた周波数以下の周波数成分（低周波数成分）の信号ベクトルＦＬ（ｔ）を計算し、その信号ベクトルの実数成分real_Lを乗算器３２２１へ、当該信号ベクトルの虚数成分imag_Lを乗算器３２２２へ出力する。
【００６６】
第２ＤＦＴ計算部３２１２は、右目画像ＩＲを入力し、同様にフーリエ変換に用いる基底正弦波の波数ｔに応じた離散フーリエ変換（ＤＦＴ）を施して、当該予め定められた周波数以下の周波数成分（低周波数成分）の信号ベクトルＦＲ（ｔ）を計算し、その信号ベクトルの実数成分real_Rを乗算器３２２２へ、当該信号ベクトルの虚数成分imag_Rを乗算器３２２１へ出力する。
【００６７】
乗算器３２２１は、左目画像ＩＬの低周波数成分を示す信号ベクトルの実数成分と、右目画像ＩＲの低周波数成分を示す信号ベクトルの虚数成分とを乗算し、減算器３２２３に出力する。
【００６８】
乗算器３２２２は、左目画像ＩＬの低周波数成分を示す信号ベクトルの虚数成分と、右目画像ＩＲの低周波数成分を示す信号ベクトルの実数成分とを乗算し、減算器３２２３に出力する。
【００６９】
減算器３２２３は、一組の乗算器３２２１，３２２２から得られる乗算結果のベクトルの差分を遠近評価値（ＢＦＦ）として算出する。
【００７０】
このように、本発明による一実施形態の合焦位置検出器３２では、ＤＦＴ計算部３２１及びＢＦＦ算出部３２２により、位相差画像の低周波成分について、左目画像の実数成分と右目画像の虚数成分、及び、左目画像の虚数成分と右目画像の実数成分、の２組でそれぞれ乗算を行い、その乗算結果の差を遠近評価値（ＢＦＦ）として算出する。
【００７１】
図５は、本発明による一実施形態の合焦位置検出器３２におけるＤＦＴ計算部３２１及びＢＦＦ算出部３２２によって算出される遠近評価値（ＢＦＦ）の説明図である。図５の図示左に示すように、ＤＦＴ計算部３２１によって算出される、左目画像ＩＬ及び右目画像ＩＲのそれぞれに対し離散フーリエ変換（ＤＦＴ）を施して得られる低周波数成分の信号ベクトルＦＬ（ｔ），ＦＲ（ｔ）は、複素周波数成分の複素平面上でそれぞれ実数成分に対し位相θ，φの虚数成分を持つ。
【００７２】
そこで、本発明による一実施形態の合焦位置検出器３２では、ＢＦＦ算出部３２２によって、図５の図示右に示すように、左目画像の信号ベクトルＦＬ（ｔ）と、右目画像の信号ベクトルＦＲ（ｔ）の複素共役（或いは、右目画像の信号ベクトルＦＲ（ｔ）と、左目画像の信号ベクトルＦＬ（ｔ）の複素共役）とを乗算すると、信号ベクトルＦＬ（ｔ），ＦＲ（ｔ）の位相の差（θ，φ）が実数軸上に出現することを利用して、その乗算した結果の虚数成分を遠近評価値（ＢＦＦ）として扱うようにしている。
【００７３】
次に、ＤＦＴ計算部３２１及びＢＦＦ算出部３２２のより具体的な演算について説明する。まず、ＤＦＴ計算部３２１に係るＤＦＴの演算に際し、非合焦時の“ぼけ”の作用を与える矩形フィルターの演算式について説明する。その次に、これらの基づくＤＦＴの演算式及び矩形フィルターの演算式に基づいた、ＢＦＦ算出部３２２に係る遠近評価値（ＢＦＦ）の演算式について説明する。
【００７４】
〔演算モデル〕
ここで、図６は、本実施形態に係る位相差検出画素１１３を有する画素部１１を持つ撮像素子１を備える撮像装置５０について、位相差検出画素１１３を有していない画素部１１’を持つ撮像素子を備える２台の撮像装置６０Ｌ，６０Ｒに模式的に表現した図である。図６に示す撮像装置５０は撮像光学系５１に対し信号処理系５２が設けられ、撮像装置６０Ｌ，６０Ｒは、それぞれ撮像光学系６１に対し信号処理系６２が設けられている。
【００７５】
即ち、図６の図示左に示すように、位相差検出画素１１３を搭載した撮像装置５０で撮影を行い、合焦対象範囲内で左目側位相差検出画素１１３Ｌと右目側位相差検出画素１１３Ｌの画素値のみをそれぞれ集めて構成される一対の位相差画像（本例では、左右方向を例に「右目画像」及び「左目画像」）を出力することは、図６の図示右に示すように、それぞれの撮像レンズ２に対し遮光部１１４’で左右逆に遮光した２台の撮像装置６０Ｌ，６０Ｒでそれぞれ撮影した場合と等価である。
【００７６】
そこで、撮像装置６０Ｒのモデルをベースに、図７を参照して非合焦時の“ぼけ”画像について説明する。図７は、本発明による一実施形態の合焦位置検出器３２に係る位相差画像の“ぼけ”の広がり方を数式表現するために模式的に表現した図である。
【００７７】
図７において、撮像素子１の画素部１１’の画素のアドレスをｘ、撮像レンズ２’と合焦点ＦＰとの間の距離をＣ１［ｍ] 、撮像レンズ２’と撮像素子１の画素部１１’との距離をＣ２ [ｍ] 、撮像レンズ２’と被写体Ｏｂｊとの距離をＬ[ｍ] 、画素部１１の合焦対象範囲内の一方向幅（本例では左右方向幅）のサイズをＷ[ｍ]とする。
【００７８】
そして、撮像レンズ２’の有効レンズ径をＲ[ｍ]、撮像レンズ２’の遮光率をｒ(０＜ r ＜１)とした際に、“ぼけ”の範囲の座標はｘｓとｘ（ｒ）で表される。フォーカスが合わないことによる“ぼけ”が生じた画像は、合焦対象範囲となる処理対象画像（全周波数成分）に対して、ｘｓからｘ（ｒ）までの幅を持つ矩形フィルターを施して得られる画像と同じである。遮光部１１４’で左右逆に遮光した場合はｘｓとｘ（ｒ）の正負が反転するため、その性質を利用して右目画像の矩形フィルターと、左目画像の矩形フィルターを表現できる。
【００７９】
ここで、離散フーリエ変換の演算に用いる基底正弦波の波数ｔにおける周波数成分を示す関数Ｆ（ｔ）は、合焦対象範囲となる処理対象画像ｆ（ｘ）の周波数成分と、ぼけ作用を与える範囲（ｘｓからｘ（ｒ）までの幅）で定義される矩形フィルターｇ（ｘ）の周波数成分との積により、当該矩形フィルターを適用した後の周波数成分Ｆ［(f＊ｇ)(ｘ)]は、次式（数５）となる。次式（数５）は、一般的に畳み込み定理と呼ばれるものである。
【００８０】
【数５】
2019184640.tif 000007
【００８１】
従って、左目画像と右目画像のそれぞれの周波数成分Ｆ［(f＊ｇＬ)(ｘ)]，Ｆ［(f＊ｇＲ)(ｘ)]は、全ての被写体に焦点が合った理想的な画像をｆ（ｘ）に対し、左右逆方向の矩形フィルターｇＬ（ｘ），ｇＲ（ｘ）を施すことで得ることができる。
【００８２】
より具体的には、左目画像に適用される矩形フィルターｇＬ（ｘ）は、(ｘ−ｘ(ｒ）)(ｘ−ｘｓ)＜０のときは１／(ｘｓ−ｘ(ｒ）)、それ以外では０となる。同様に、右目画像に適用される矩形フィルターｇＲ（ｘ）は、(ｘ−ｘ(ｒ）)(ｘ−ｘｓ)＜０のときは１／(ｘ(ｒ）−ｘｓ)、それ以外では０となる。
【００８３】
そこで、矩形フィルターｇＬ（ｘ），ｇＲ（ｘ）のそれぞれが適用された左目画像の周波数成分Ｆ［ｇＬ（ｘ）］及び右目画像の周波数成分Ｆ［ｇＲ（ｘ）］は、画素部１１’の合焦対象範囲内の一方向幅（本例では左右方向幅）のサイズＷ［ｍ］としたとき、それぞれ次式（数６）のように表される。
【００８４】
【数６】
2019184640.tif 000008
【００８５】
また、矩形フィルターの幅を表す値ｘｓおよびｘ（ｒ）は、図７に示した値にレンズの公式等を用いて、次式（数７）から得られる。
【００８６】
【数７】
2019184640.tif 000009
【００８７】
そこで、矩形フィルターの周波数成分（数６）と、矩形フィルターの幅の情報（数７）から、ＢＦＦは以下の式（数８）のように表現できる。
【００８８】
【数８】
2019184640.tif 000010
【００８９】
ここで、
ｆ（ｘ）：合焦対象範囲となる処理対象画像
（矩形フィルターが作用する前の被写界深度∞の理想的な画像）
Ｆ（ｔ）：基底正弦波の波数ｔでｆ（ｘ）の周波数成分を表す関数
ｇ（ｘ）： ぼけ作用を与える範囲で定義される矩形フィルター
Ｆ［(f＊ｇ)(ｘ)]：矩形フィルターを適用した画像の周波数成分
ｘ：撮像素子の画素部の画素のアドレス
ｔ：離散フーリエ変換の演算に用いる基底正弦波の波数
（合焦対象範囲となる処理対象画像の一方向幅（本例では左右方向幅）を
基底正弦波の波長で割った値）
ｒ: 撮像レンズの遮光率 (０＜ r ＜１) 
Ｒ：撮像レンズの有効レンズ径 [ｍ] 
Ｃ１：撮像レンズと合焦点との間の距離 ［ｍ] 
Ｃ２：撮像レンズと撮像素子の画素部との距離 [ｍ] 
Ｌ：撮像レンズと被写体との距離 [ｍ] 
Ｗ： 画素部の合焦対象範囲内の一方向幅（本例では左右方向幅）のサイズ [ｍ]
である。
【００９０】
上記式（数８）におけるｇＬ（ｘ）及びｇＲ（ｘ）は、厳密には矩形フィルターとはならないが、撮像レンズ２と撮像素子１の画素部１１’との距離が被写体Ｏｂｊまでの距離より十分小さいことを前提として近似させている。sinc関数はsin(πx)/πxで表される初等関数で、矩形関数のフーリエ変換の結果として有名である。
【００９１】
そして、ＢＦＦを算出するための上記式（数８）は、図６乃至図８に示す等価モデルを用いて導き出したものであるが、被写体Ｏｂｊについて撮像レンズ２を介して結像させる図１０に示す画素部１１を持つ撮像素子１とした、図１及び図２に示す撮像装置５０にそのまま適用できる。
【００９２】
フーリエ変換に用いる基底正弦波の波数ｔは、合焦対象範囲となる処理対象画像の一方向幅（本例では左右方向幅）を基底正弦波の波長で割った値であり、即ちＤＦＴ演算を実施する区間の長さを基底正弦波の波長で割った値であるため、ＤＦＴ計算部３２１によって離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）を施す際の予め定められた周波数以下の周波数成分（低周波数成分）は、後述の理由によって１０未満程度の所定値に設定される。
【００９３】
上記式（数８）におけるＡは、一般的な撮像環境では１０−３〜１０−２程度の値となる。基底正弦波の波数ｔを１０未満程度の所定値に設定することで、一般的にsin関数及びsinc関数の引数が１を大きく下回る。その状況において、sinc関数の値は１に近似され、sin関数の引数に含まれるＡの正負の影響によってのみ、遠近評価値（ＢＦＦ）全体の正負が決定される。Ａの正負は、合焦点ＦＰ及び被写体Ｏｂｊまでの距離の大小で決定される。
【００９４】
合焦位置検出器３２は、最終的に遠近評価値（ＢＦＦ）を算出すると、算出した遠近評価値（ＢＦＦ）を基にフォーカス判定を行い、撮像レンズ２の自動焦点調節を行うための撮像レンズ駆動命令を生成し、フォーカス調整を実行させる。
【００９５】
遠近評価値（ＢＦＦ）が正の値をとるとき、左目画像の周波数成分の位相が進んでいることになる。位相が進むということは、一般的に画像上で右にずれていることと同じであるため、合焦位置検出器３２は、被写体Ｏｂｊが合焦点ＦＰより遠いと判断する。逆に遠近評価値（ＢＦＦ）が負の値をとるとき、合焦位置検出器３２は、被写体Ｏｂｊが合焦点ＦＰより近いと判断する。これらの判断を基に、合焦位置検出器３２は、撮像レンズ２の自動焦点調節を行うための撮像レンズ駆動命令を生成し、フォーカス調整を実行させ、フォーカスリングを駆動させて合焦点ＦＰを被写体Ｏｂｊに近づける。尚、合焦点ＦＰ付近では遠近評価値（ＢＦＦ）の値が０に近づくことになる。このため、遠近評価値（ＢＦＦ）の値は、位相差画像のずらし幅ｋに対応する。
【００９６】
図９は、本発明による一実施形態の合焦位置検出器３２に係る作用・効果を、特許文献１に技法による位相差画像のずらし幅ｋと対比して示す図である。図９では、映像のフレーム番号で被写体Ｏｂｊが合焦点ＦＰより遠近するようフォーカスリングを意図的に駆動させたときの評価値の推移を示している。
【００９７】
尚、図９では、合焦点ＦＰが被写体Ｏｂｊに一致しているとき、本発明に係る遠近評価値（ＢＦＦ）の値が０、特許文献１に技法による位相差画像のずらし幅ｋの値が０となり、本発明に係る遠近評価値（ＢＦＦ）の値と、特許文献１に技法による位相差画像のずらし幅ｋの値の最大絶対値を１として正規化して示している。
【００９８】
比較する合焦対象範囲となる処理対象画像のフレーム群からなる映像は、図１２に示すような撮像レンズ２のレンズ径が小さい、又は被写体Ｏｂｊが撮像レンズ２から遠い場合を想定しており、特許文献１に技法によるクロストークの影響の抑圧で初めて検出できるほどの、上記の（数１）ではほとんど検出不能な映像を対象としている。
【００９９】
図９から理解されるように、特許文献１の技法においても、フォーカス距離の遠近を判定するのに有意な数値が得られている。しかしながら、本発明に係る遠近評価値（ＢＦＦ）では、特許文献１に技法と比較して、緩やかに変化しており、フォーカス調整がより容易化されることが分かる。これは、位相差画像を基に画像処理によってフォーカス距離の遠近を判定する際に、位相差画像のずらし幅ｋの有効桁数を増大させていることに相当する。更に、本発明に係る遠近評価値（ＢＦＦ）では、クロストーク成分の影響の有無に関わらず同一のパラメータで演算しており、任意の撮影環境や撮像レンズの特性に対してクロストーク成分の影響の有無に関わらず、安定し高精度の合焦位置検出が実現できる。
【０１００】
また、低周波成分のみを算出するＤＦＴは、計算量を少なく抑えることが可能である。そして、内積計算はＤＦＴ演算の結果として得られる値の減算と乗算のみで表現でき、本実施形態に係る合焦位置検出器３２は、総じて実装コストを低く抑えられる利点がある。
【０１０１】
従って、本発明によれば、任意の撮影環境や撮像レンズの特性に対して安定し高精度で合焦位置を検出することができる。特に、本発明によれば、クロストークの影響が有る場合でも、比較的に実装負担の小さい演算でフォーカス距離の検出に係る評価値の有効桁数を高めることができるので、合焦位置検出を高精度化し、且つ実装コストを低く抑えることができる。
【０１０２】
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述した例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、撮像素子１において、左右方向を対象とした一次元の離散フーリエ変換（ＤＦＴ）を行う例を主として説明したが、上下方向や左右・上下の斜め方向を対象とした一次元の離散フーリエ変換（ＤＦＴ）を行うことや、左右方向と上下方向との双方を対象とするよう複数次元に適用した二次元の離散フーリエ変換（ＤＦＴ）を行うことや、更に映像のフレーム番号を基に、時間方向をも対象とした三次元の離散フーリエ変換（ＤＦＴ）を行うこともできる。ただし、多くの場合、左右方向を対象とした一次元の離散フーリエ変換（ＤＦＴ）であれば実用上の問題はほとんどなく、図９に関連して説明した作用・効果を発揮することができ、実装コストの観点からは有利になる。
【０１０３】
また、位相差画像を得るために、マスク１１４を用いた画素部１１を有する撮像素子１に限らず、撮像タイミングと同期する液晶シャッターを活用して位相差画像を得る撮像装置に対しても、本発明に係る合焦位置検出器３２を適用できる。
【産業上の利用可能性】
【０１０４】
本発明によれば、クロストークの影響が有る場合でも、比較的に実装負担の小さい演算でフォーカス距離の検出に係る評価値の有効桁数を高めることができるので、放送用カメラ、デジタルカメラ全般に適用できる。
【符号の説明】
【０１０５】
１  撮像素子
２，２’  撮像レンズ
３  デジタル信号処理制御部
４  ＩＦ制御部
５  メモリ
６  表示部
７  記録部
８  操作部
１１，１１’  画素部
２１  レンズ
２２  撮像レンズ駆動部
３１  画像処理部
３２  合焦位置検出器
３３  駆動制御部
５０，６０Ｌ，６０Ｒ  撮像装置
５１，６１  撮像光学系
５２，６２  信号処理系
５３  入出力系
１１３  位相差検出画素
１１３Ｌ  左目側位相差検出画素
１１３Ｒ  右目側位相差検出画素
１１４  マスク
１１４’  遮光部
１１５  感光部
１１６  マイクロレンズ
３２１  ＤＦＴ計算部
３２２  ＢＦＦ算出部
３２３  フォーカス判定部
３２１１  第１ＤＦＴ計算部
３２１２  第２ＤＦＴ計算部
３２２１，３２２２  乗算器
３２２３  減算器
【図１】
2019184640.tif 000014
【図２】
2019184640.tif 000015
【図３】
2019184640.tif 000016
【図４】
2019184640.tif 000017
【図５】
2019184640.tif 000018
【図６】
2019184640.tif 000019
【図７】
2019184640.tif 000020
【図８】
2019184640.tif 000021
【図９】
2019184640.tif 000022
【図１０】
2019184640.tif 000023
【図１１】
2019184640.tif 000024
【図１２】
2019184640.tif 000025
【図１３】
2019184640.tif 000026
【図１４】
2019184640.tif 000027