(57)【要約】【課題】位相差検出方式を用いて合焦位置を検出する際の検出精度を向上できる合焦位置検出装置を提供する。【解決手段】合焦位置検出装置は、撮像部２のイメージセンサ２１に設定した測定エリア内の各シフト量算出エリアについて、複数の第１の画素により生成される第１のサブ画像と複数の第２の画素により生成される第２のサブ画像間の局所シフト量及びその信頼度を算出し、その信頼度を、そのシフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの第１の画素間の間隔または隣接する二つの第２の画素間の間隔よりも微細な成分の含有度に基づいて補正する。そしてこの合焦位置検出装置は、補正された信頼度が高いほど、そのシフト量算出エリアの局所シフト量の影響が大きくなるように、撮像部２の光学系２２による合焦位置とイメージセンサ２１間の距離を表す代表値を算出する。【選択図】図４
2017049412.tif 000002
【特許請求の範囲】
【請求項１】
像面位相差検出方式で合焦位置を算出するための位相差を検出する位相差検出部が受光面内の複数個所に配置された撮像素子を備え、焦点位置を移動可能な光学系を介して前記撮像素子の受光面に入射される光により被写体を撮像する撮像部と、
複数の前記位相差検出部の内の第１の位相差検出部と第２の位相差検出部間の画素値から算出した周波数値が所定の値以上となる場合は、前記第１の位相差検出部と前記第２の位相差検出部の位相差の寄与度を下げて複数の前記位相差検出部によって検出された位相差に基づいて前記合焦位置を算出する算出部と、
を含む撮像装置。
【請求項２】
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化するシフト量算出エリア特定部と、
前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出するシフト量算出部と、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第１の画素間の間隔または隣接する二つの前記第２の画素間の間隔よりも微細な成分の含有度を算出する含有度算出部と、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正する信頼度補正部と、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する代表値算出部と、
を有する合焦位置検出装置。
【請求項３】
前記信頼度補正部は、前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度が大きくなるほど、当該シフト量算出エリアにおける前記信頼度が表す前記局所シフト量の確からしさが低下するように前記信頼度を補正する、請求項２に記載の合焦位置検出装置。
【請求項４】
前記含有度算出部は、前記複数のシフト量算出エリアのそれぞれについて、対応する前記イメージセンサ上の領域の前記被写体の像の周波数ごとの成分を算出し、隣接する二つの前記第１の画素間の間隔または隣接する二つの前記第２の画素間の間隔に相当するナイキスト周波数以上の周波数の成分の和が、前記被写体の像の周波数ごとの成分の総和に占める割合が大きくなるほど前記含有度を大きくする、請求項２または３に記載の合焦位置検出装置。
【請求項５】
前記含有度算出部は、前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像または前記第２のサブ画像のエッジ強度に対する、前記イメージセンサ上の対応する領域の前記被写体の像におけるエッジ強度の比が大きくなるほど、前記含有度を大きくする、請求項２または３に記載の合焦位置検出装置。
【請求項６】
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第１の画素間の間隔または隣接する二つの前記第２の画素間の間隔よりも微細な成分の含有度を算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する、
ことを含む合焦位置検出方法。
【請求項７】
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第１の画素間の間隔または隣接する二つの前記第２の画素間の間隔よりも微細な成分の含有度を算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する、
ことを含むプロセッサに実行させるための合焦位置検出用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、被写体を撮影して得られた画像に基づいてその被写体についての合焦位置を検出する合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラムならびにそのような合焦位置検出装置を利用する撮像装置に関する。
【背景技術】
【０００２】
従来より、デジタルカメラあるいはビデオカメラなど、被写体を撮影する装置には、シャープな被写体の画像を生成するために、被写体までの距離を自動的に測定し、その測定結果に基づいて被写体に合焦する技術（いわゆるオートフォーカス）が実装されている。
【０００３】
そのようなオートフォーカス(Auto Focus, AF)方式のうち、撮像光学系を通った光束を利用する方式の一例として、位相差検出方式が知られている。位相差検出方式では、被写体から発して撮像光学系を通った光束が二つに分割され、その二つの光束のそれぞれによるイメージセンサ上の被写体の像の位置間の間隔により、合焦位置からのイメージセンサの位置ずれ量が求められる。そしてその二つの光束のそれぞれによる、被写体の像の位置が一致するように、撮像光学系の焦点位置が調節される。この位相差検出方式では、例えば、イメージセンサ上に、位相差検出方式による合焦位置の検出が可能なエリアが設定される。そしてそのエリアに含まれる、一列に並んだ複数の固体撮像素子のそれぞれについて、集光用のマイクロレンズの像面側に位置するその固体撮像素子の受光面のうち、固体撮像素子の整列方向と直交する半分がマスクされることで、一方の光束に相当する被写体の像が得られる。また、そのエリアに含まれる、他の一列に並んだ複数の固体撮像素子のそれぞれについて、集光用のマイクロレンズの像面側に位置するその固体撮像素子の受光面のうち、固体撮像素子の整列方向と直交する他の半分がマスクされることで、他方の光束に相当する被写体の像が得られる。
【０００４】
そのようなエリアをイメージセンサ上に複数設けることで、イメージセンサの複数の箇所で位相差検出方式によりAFを行えるようにする技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された技術では、焦点検出視野ごとに、一対の物体像の一致度、物体像のエッジ数、物体像のシャープネス及び物体像の明暗比のうちの少なくとも３つをパラメータとする評価値に基づいて、焦点調節に用いる特定焦点検出視野を選択する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−５２０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
位相差検出方式による焦点検出が可能なエリア（以下、便宜上、ＡＦエリアと呼ぶ）において、位相差検出用の画像の生成に利用される、受光面の一部がマスクされた画素（以下、便宜上、位相差画素と呼ぶ）が離散的に配置されることがある。これは、表示用の画像において、ＡＦエリアの画質が劣化することを抑制するためである。このような場合、隣接する二つの位相差画素よりも被写体の像のエッジの幅が狭くなるほど、エッジが鮮鋭になると、位相差検出用の画像では、被写体の像のエッジを正確に評価することが困難となる。そのため、ＡＦエリアにおける、焦点検出の結果の信頼性を正確に評価することが困難となり、その結果として、焦点検出の精度が低下することがある。
【０００７】
一つの側面では、本発明は、位相差検出方式を用いて合焦位置を検出する際の検出精度を向上できる合焦位置検出装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一つの実施形態によれば、撮像装置が提供される。この撮像装置は、像面位相差検出方式で合焦位置を算出するための位相差を検出する位相差検出部が受光面内の複数個所に配置された撮像素子を備え、焦点位置を移動可能な光学系を介して撮像素子の受光面に入射される光により被写体を撮像する撮像部と、複数の位相差検出部の内の第１の位相差検出部と第２の位相差検出部間の画素値から算出した周波数値が所定の値以上となる場合は、第１の位相差検出部と第２の位相差検出部の位相差の寄与度を下げて複数の位相差検出部によって検出された位相差に基づいて合焦位置を算出する算出部とを含む。
【０００９】
他の実施形態によれば、合焦位置検出装置が提供される。この合焦位置検出装置は、画像を生成するイメージセンサと、光学系とを有する撮像部におけるイメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、複数のシフト量算出エリアのそれぞれは、シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、シフト量算出エリアに写る被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、第１のサブ画像上の被写体と第２のサブ画像上の被写体間のシフト量が、光学系による被写体についての合焦位置とイメージセンサ間の距離に応じて変化するシフト量算出エリア特定部と、複数のシフト量算出エリアのそれぞれについて、第１のサブ画像上の被写体と第２のサブ画像上の被写体とが最も一致するときの第１のサブ画像に対する第２のサブ画像の局所シフト量と、局所シフト量の確からしさを表す信頼度とを算出するシフト量算出部と、複数のシフト量算出エリアのそれぞれについて、そのシフト量算出エリアにおける被写体の像に含まれる、隣接する二つの第１の画素間の間隔または隣接する二つの第２の画素間の間隔よりも微細な成分の含有度を算出する含有度算出部と、複数のシフト量算出エリアのそれぞれについて、そのシフト量算出エリアについての含有度に基づいて、シフト量算出エリアの信頼度を補正する信頼度補正部と、複数のシフト量算出エリアのそれぞれの補正された信頼度が高いほど、光学系による合焦位置とイメージセンサ間の距離を表す代表値における、そのシフト量算出エリアの局所シフト量の寄与度が大きくなるように、代表値を算出する代表値算出部とを有する。
【発明の効果】
【００１０】
位相差検出方式を用いて合焦位置を検出する際の検出精度を向上できる。
【図面の簡単な説明】
【００１１】
【図１】合焦位置検出装置が実装された撮像装置の一例であるデジタルカメラの概略構成図である。
【図２】イメージセンサ上に設けられるＡＦエリアの一例を示す図である。
【図３】図２に示されるＡＦエリア内の二つの画素列によりそれぞれ生成されるサブ画像の一例を示す図である。
【図４】制御部の機能ブロック図である。
【図５】測定エリアとシフト量算出エリアの関係の一例を示す図である。
【図６】（ａ）及び（ｂ）は、それぞれ、等角直線フィッティングの原理を示す図である。
【図７】（ａ）は、位相差画素の配置の一例を示す図である。（ｂ）及び（ｃ）は、それぞれ、位相差画素間隔と、左画像及び右画像におけるエッジの関係の一例を示す図である。
【図８】含有度算出の説明図である。
【図９】合焦位置検出処理の動作フローチャートである。
【図１０】第２の実施形態による含有度算出の説明図である。
【図１１】（ａ）及び（ｂ）は、それぞれ、変形例による、位相差画像生成用のイメージセンサと、表示用画像生成用のイメージセンサとの関係を示す図である。
【発明を実施するための形態】
【００１２】
図を参照しつつ、合焦位置検出装置について説明する。この合焦位置検出装置は、イメージセンサ上の測定対象エリアに含まれる、複数のＡＦエリアのそれぞれにおける二つの被写体の像間のシフト量及びその信頼度を算出し、信頼度でシフト量を加重平均することで、測定対象エリア全体についての合焦位置を求める。その際、この合焦位置検出装置は、各ＡＦエリアについて、被写体の像に含まれる、シフト量を求める方向に沿って隣接する二つの位相差画素間の間隔よりも微細な成分の含有度を評価する。そしてこの合焦位置検出装置は、その含有度が大きいＡＦエリアほど、信頼度を低下させる。
【００１３】
なお、以下では、説明の便宜上、ＡＦエリアにおいて、位相差検出用の被写体の一方の像生成に利用される位相差画素を左画素と呼び、被写体の他方の像生成に利用される位相差画素を右画素と呼ぶ。また、ＡＦエリアにおいて、右画素の集合により生成される被写体のサブ画像を右画像と呼び、左画素の集合により生成される被写体のサブ画像を左画像と呼ぶ。さらに、右画像及び左画像を、位相差画像として総称することがある。また、シフト量を求める方向に沿って隣接する二つの位相差画素間の間隔を、単に位相差画素間隔と呼ぶ。
【００１４】
図１は、合焦位置検出装置が実装された撮像装置の一例であるデジタルカメラの概略構成図である。図１に示すように、デジタルカメラ１は、撮像部２と、操作部３と、表示部４と、記憶部５と、制御部６とを有する。さらにデジタルカメラ１は、デジタルカメラ１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部６と、デジタルカメラ１のその他の各部とは、例えば、バスにより接続されている。なお、合焦位置検出装置は、撮像部を有する様々な装置に適用可能である。
【００１５】
撮像部２は、イメージセンサ２１と、撮像光学系２２と、アクチュエータ２３とを有する。イメージセンサ２１は、２次元状に配置された固体撮像素子のアレイを有し、画像を生成する。また、各固体撮像素子の前面には、例えば、集光用のマイクロレンズが設けられる。そしてイメージセンサ２１には、複数のＡＦエリアが設けられる。撮像光学系２２は、イメージセンサ２１の前面側に設けられ、例えば、光軸に沿って配列された１以上のレンズを有し、合焦された状態でイメージセンサ２１上に被写体の像を結像する。アクチュエータ２３は、例えば、ステッピングモータを有し、制御部６からの制御信号に従った回転量だけステッピングモータを回転させることで、撮像光学系２２の一部のレンズまたは全体を光軸に沿って移動させることで合焦位置を調節する。そして撮像部２は、被写体の像が写った画像を生成する度に、その生成した画像を制御部６へ送信する。
【００１６】
図２は、イメージセンサ２１上に設けられる、ＡＦエリアの一例を示す図である。この例では、イメージセンサ２１が画像を生成する範囲である撮像範囲２００のなかに、水平方向にｍ個、垂直方向にｎ個（ただし、ｍ≧１、ｎ≧１）のＡＦエリア２０１−１〜２０１−(mxn)が設けられる。各ＡＦエリアから、左画素２０２が水平方向に複数並んだ左画素列２０３により生成される左画像と、右画素２０４が水平方向に複数並んだ右画素列２０５により生成される右画像が生成される。なお、左画素に相当する固体撮像素子では、例えば、その受光面の左半分がマスクされる。また、右画素に相当する固体撮像素子では、例えば、その受光面の右半分がマスクされる。
【００１７】
図３は、図２に示されるＡＦエリア内の二つの画素列によりそれぞれ生成される左画像及び右画像の一例を示す図である。左画素列２０３により生成される左画像３０１と、右画素列２０５により生成される右画像３０２とは、ＡＦエリアに写っている被写体についての撮像光学系２２による合焦位置３１０がイメージセンサ２１上にある場合、略一致する。しかし、撮像光学系２２による合焦位置３１０がイメージセンサ２１よりも被写体側、すなわち前側にある場合、左画像３０１は、その被写体について合焦されている場合よりも右側にずれる。一方、右画像３０２は、その被写体について合焦されている場合よりも左側にずれる。逆に、撮像光学系２２による合焦位置３１０がイメージセンサ２１よりも被写体から離れた側、すなわち後側にある場合、左画像３０１は、その被写体について合焦されている場合よりも左側にずれる。一方、右画像３０２は、その被写体について合焦されている場合よりも右側にずれる。したがって、左画像３０１と右画像３０２の一方を、他方に対して水平方向にシフトさせて一致度合を調べると、最も一致するときのシフト量が、合焦位置からのイメージセンサ２１の位置ずれ量を表している。そこで、そのシフト量が0となるように撮像光学系２２を移動させることで、制御部６は、撮像部２を、被写体に対して合焦させることができる。
【００１８】
操作部３は、例えば、デジタルカメラ１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部６へ送信する。
【００１９】
また操作部３は、ユーザの操作にしたがって、撮影範囲内で撮像部２の合焦位置を検出するエリア（以下、便宜上、測定エリアと呼ぶ）を表す情報を制御部６へ送信する。測定エリアは、例えば、撮影範囲の中央部、左上、右下、撮影範囲全体など、予め複数設定され、ユーザは、操作部３を操作することで何れかの測定エリアを選択する。あるいは、測定エリアは、撮影範囲内の任意の位置に設定されてもよい。
【００２０】
表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部６から受け取った各種の情報、または撮像部２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
【００２１】
記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、撮像部２から受け取った画像を記憶する。また、記憶部５は、制御部６が合焦位置の検出に利用する各種のデータを記憶する。記憶部５は、そのようなデータとして、例えば、各ＡＦエリアの位置及び範囲を表す情報（例えば、撮像部２により生成される画像上でのＡＦエリアの左上端及び右下端の座標）と識別情報などを記憶する。さらに、記憶部５は、撮像光学系２２の焦点位置調節に利用される焦点位置テーブルを記憶する。焦点位置テーブルは、撮像光学系２２が基準位置にある場合の撮像部２から被写体までの距離に相当するシフト量と、その距離にある被写体に対して撮像光学系２２を合焦させるための撮像光学系２２の移動量に相当するステッピングモータの回転量との関係を表す。撮像光学系２２の基準位置は、例えば、撮像光学系２２が無限遠に対して合焦するときの撮像光学系２２の位置に対応する。さらに、制御部６が有する各機能が、制御部６が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、記憶部５は、そのコンピュータプログラムを記憶してもよい。
【００２２】
制御部６は、合焦位置検出装置の一例であり、少なくとも一つのプロセッサ及びその周辺回路を有する。そして制御部６は、デジタルカメラ１全体を制御する。また制御部６は、撮像部２から受け取った画像に基づいて合焦位置を検出し、検出した合焦位置に基づいて、撮像光学系２２の合焦位置を調節する。
【００２３】
図４は、合焦位置の検出及び合焦位置の調節に関する、制御部６の機能ブロック図である。制御部６は、シフト量算出エリア特定部１１と、シフト量算出部１２と、含有度算出部１３と、信頼度補正部１４と、代表値算出部１５と、合焦部１６とを有する。制御部６が有するこれらの各部は、例えば、制御部６が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、制御部６が有するこれらの各部の機能を実現する一つまたは複数の集積回路が、制御部６とは別個に、デジタルカメラ１に実装されてもよい。
【００２４】
シフト量算出エリア特定部１１は、イメージセンサ２１上で、ユーザにより選択または設定された測定エリア内に含まれるＡＦエリアを、シフト量算出エリアとして特定する。その際、シフト量算出エリア特定部１１は、記憶部５から、各ＡＦエリアの位置及び範囲を表す情報を読み込む。そしてシフト量算出エリア特定部１１は、各ＡＦエリアの位置及び範囲を表す情報を参照して、測定エリアと少なくとも一部が重なるＡＦエリアをシフト量算出エリアとして特定すればよい。あるいは、シフト量算出エリア特定部１１は、測定エリア内に完全に含まれるＡＦエリアをシフト量算出エリアとしてもよい。
【００２５】
図５は、測定エリアとシフト量算出エリアの関係の一例を示す図である。この例では、イメージセンサ２１が画像を生成する範囲である撮影範囲５００内に設定された測定エリア５０１内に、１２個のＡＦエリア５０２−１〜５０２−１２が含まれている。そこでＡＦエリア５０２−１〜５０２−１２が、それぞれ、シフト量算出エリアとして特定される。
【００２６】
シフト量算出エリア特定部１１は、シフト量算出エリアとして特定された各ＡＦエリアの識別情報を、シフト量算出部１２へ通知する。
【００２７】
シフト量算出部１２は、シフト量算出エリア特定部１１から通知されたＡＦエリアの識別情報で特定されるシフト量算出エリアのそれぞれについて、左画像と右画像とが最も一致するときのシフト量及びそのシフト量の確からしさを表す信頼度を算出する。
【００２８】
まず、各シフト量算出エリアにおける、左画像と右画像とが最も一致するときのシフト量（以下、便宜上、局所シフト量と呼ぶ）の算出について説明する。
シフト量算出部１２は、例えば、左画像に対して右画像の位置を１画素ずつシフトしながら対応画素間の画素値の差分絶対値の和(SAD)を算出する。そしてシフト量算出部１２は、SAD値が最小となるときの、左画像に対する右画像のシフト量を局所シフト量とすることができる。
【００２９】
シフト量算出部１２は、各シフト量算出エリアについて、例えば、次式に従って、シフト量sについてのSAD(s)を算出できる。
【数１】
2017049412.tif 000003
ここで、Nは、一回のSAD計算に使用する左画像および右画像の画素数を表す。+S〜-Sは、局所シフト量の探索範囲となるシフト量の範囲を表す。また、L[n]、R[n]は、それぞれ左画像と右画像のn番目の画素の値を表す。
【００３０】
（１）式では、画素単位で局所シフト量が算出される。しかし、実際には、SAD値が最小となる局所シフト量は、画素単位とは限らない。そこで、シフト量算出部１２は、サブ画素単位で局所シフト量を求めるために、（１）式でSAD値が最小となるシフト量及びその周囲のシフト量についてのSAD値を用いた等角直線フィッティングにより、サブ画素単位で局所シフト量を求める。
【００３１】
図６（ａ）及び図６（ｂ）は、それぞれ、等角直線フィッティングの原理を示す図である。図６（ａ）及び図６（ｂ）において、横軸はシフト量を表し、縦軸はSAD値を表す。bは、（１）式により算出されたSADの最小値を表し、aは、SADの最小値に対応するシフト量に対してシフト量が1画素少ないときのSAD値を表し、cは、SADの最小値に対応するシフト量に対してシフト量が1画素多いときのSAD値を表す。等角直線フィッティングでは、局所シフト量から、シフト量が減少する場合のSAD値の増加の傾きと、シフト量が増加する場合のSAD値の増加の傾きとが等しいと仮定される。
【００３２】
そこで、SADの最小値bに対応する点と、隣接するa,cのうちSAD値が大きい方の点を通る直線、すなわち、直線abとbcのうち、傾きの絶対値が大きい方の直線６０１が求められる。図６（ａ）に示されるように、a>cの場合には、直線abが直線６０１となり、一方、図６（ｂ）に示されるように、a<cの場合には、直線bcが直線６０１となる。さらにa,cのうち、SAD値が小さい方を通り、傾きが直線６０１と逆(すなわち、傾きの符号が反転する)になる直線６０２が求められる。そして直線６０１と直線６０２の交点に対応するシフト量がサブ画素単位での局所シフト量shとなる。
【００３３】
シフト量算出部１２は、次式に従って、等角直線フィッティングによる局所シフト量shを算出できる。
【数２】
2017049412.tif 000004
ここで、sminは、SAD値が最小となる画素単位のシフト量を表す。そしてa = SAD[smin-1]、b = SAD[smin]、c = SAD[smin+1]である。なお、以下では、サブ画素単位の局所シフト量shを、単に局所シフト量と呼ぶ。
【００３４】
左画像を形成する、左画素列に含まれる各左画素の値、及び、右画像を形成する、右画素列に含まれる各右画素の値にノイズ成分が含まれていなければ、上記のように算出された局所シフト量は、比較的正確な値となることが想定される。しかし、被写体が暗い場合などには、各左画素または各右画素の値において、ノイズ成分が寄与する度合いが大きくなる。このような場合、局所シフト量は、必ずしも正確な値が得られているとは限られない。
【００３５】
そこで、シフト量算出部１２は、各シフト量算出エリアについて、局所シフト量の確からしさを表す信頼度を算出する。
【００３６】
本実施形態では、シフト量算出部１２は、信頼度として、局所シフト量の分散の推定値を算出する。一般に、局所シフト量の分散が小さいほど、局所シフト量は正確な値である可能性が高いためである。なお、以下では、便宜上、局所シフト量の分散を推定分散と呼ぶ。
【００３７】
ここで、左画像及び右画像に表される被写体のコントラストが一定である場合において、左画素列または右画素列に含まれる各画素に重畳されるノイズ成分が大きくなるほど、SAD値の最小値が大きくなり、局所シフト量のバラつきが大きくなる。一方、SAD値の最小値が一定、すなわち、左画素列または右画素列に含まれる各画素に重畳されるノイズ成分が一定であれば、左画像及び右画像に表される被写体のコントラストが高くなるほど局所シフト量のバラつきが小さくなる。そこで、シフト量算出部１２は、左画像または右画像のコントラストに対する、SAD値の最小値の比に基づいて、局所シフト量の分散の推定値を算出する。
【００３８】
シフト量算出部１２は、左画像または右画像に表される被写体のコントラストに対する、SAD値の最小値の比Rを、次式に従って算出する。
【数３】
2017049412.tif 000005
ここで、SADminは、（１）式に従って算出されるSAD値のうちの最小値であり、Cはコントラスト値である。コントラスト値Cは、例えば、左画像及び右画像に含まれる画素の値のうちの最大値Pmaxと左画像及び右画像に含まれる画素の値のうちの最小値Pminの差(Pmax-Pmin)として算出される。あるいは、コントラストCは、(Pmax-Pmin)/(Pmax+Pmin)で算出されてもよい。また、Pmax及びPminは、それぞれ、左画像及び右画像のうちの一方の画素値の最大値、最小値であってもよい。
【００３９】
シフト量算出部１２は、例えば、比Rと推定分散の関係を表す参照テーブルを参照することで、（３）式に従って算出された比Rに対応する推定分散の値、すなわち信頼度を求めることができる。参照テーブルは、例えば、実験またはシミュレーションにより、局所シフト量とコントラストが既知の左画像と右画像のテストパターンに対して、各画素値に重畳するノイズの量を様々に変えて比Rに対する局所シフト量のバラつきを求めることで作成される。そして参照テーブルは、予め、記憶部５に記憶される。
【００４０】
変形例によれば、シフト量算出部１２は、信頼度として、局所シフト量の誤差の絶対値の期待値を算出してもよい。この場合も、シフト量算出部１２は、予め作成され、記憶部５に記憶される比Rと局所シフト量の誤差の絶対値の期待値の関係を表す参照テーブルを参照して、比Rに対応する局所シフト量の誤差の絶対値の期待値を求めればよい。
【００４１】
また他の変形例によれば、シフト量算出部１２は、信頼度として、算出された局所シフト量と本当のシフト量である正解シフト量間の誤差が所定の値（例えば、3画素）以下となる確率を算出してもよい。この場合も、シフト量算出部１２は、予め作成され、記憶部５に記憶される比Rと誤差が所定値以下となる確率の関係を表す参照テーブルを参照して、比Rに対応するその確率を求めればよい。
【００４２】
あるいはまた、シフト量算出部１２は、（３）式に従って算出された比Rそのものを、信頼度としてもよい。
【００４３】
シフト量算出部１２は、各シフト量算出エリアについての局所シフト量を代表値算出部１５へ出力し、各シフト量算出エリアについての信頼度を信頼度補正部１４へ出力する。
【００４４】
含有度算出部１３は、各シフト量算出エリアについて、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度を算出する。なお、含有度算出部１３は、各シフト量算出エリアに対して同じ処理を実行するので、以下では、一つのシフト量算出エリアにおける含有度算出処理について説明する。
【００４５】
上記のように、局所シフト量の算出に用いられる位相差画素は、シフト量算出エリアにおいて離散的に配置されていることがある。そのため、被写体の像のエッジの鮮鋭度によっては、位相差画像において、被写体の像のエッジを正確に評価できないことがある。
【００４６】
図７（ａ）は、位相差画素の配置の一例を示す図である。この例では、水平方向に沿って並んだ隣接する二つの左画素７０１の間隔、すなわち、位相差画素間隔xpは３画素となっている。同様に、水平方向に沿って並んだ隣接する二つの右画素７０２についての位相差画素間隔xpも３画素となっている。
【００４７】
図７（ｂ）は、位相差画素間隔と、左画像及び右画像における被写体の像のエッジの関係の一例を示す図である。図７（ｂ）において、横軸は、水平方向の位置を表し、縦軸は、画素値を表す。プロファイル７１１は、左画像に対応する、イメージセンサ上での被写体の像のエッジ近傍での水平方向の位置と画素値の関係を表す。またプロファイル７１２は、右画像に対応する、イメージセンサ上での被写体の像のエッジ近傍での水平方向の位置と画素値の関係を表す。そしてp0〜p3は、それぞれ、水平方向における左画素及び右画素の位置を表す。この例では、プロファイル７１１及びプロファイル７１２に示されるように、エッジの幅が位相差画素間隔とほぼ等しくなっている。そのため、左画像及び右画像における被写体の像のエッジの鮮鋭度は、本来の被写体の像のエッジの鮮鋭度とほぼ変わらない。そのため、この例では、左画像と右画像間のシフト量を比較的正確に評価することが可能となっている。
【００４８】
図７（ｃ）は、位相差画素間隔と、左画像及び右画像における被写体の像のエッジの関係の他の一例を示す図である。図７（ｃ）において、横軸は、水平方向の位置を表し、縦軸は、画素値を表す。プロファイル７２１は、左画像に対応する、イメージセンサ上での被写体の像のエッジ近傍での水平方向の位置と画素値の関係を表す。またプロファイル７２２は、右画像に対応する、イメージセンサ上での被写体の像のエッジ近傍での水平方向の位置と画素値の関係を表す。そしてp0〜p3は、それぞれ、水平方向における左画素及び右画素の位置を表す。この例では、プロファイル７２１及びプロファイル７２２に示されるように、エッジの幅が位相差画素間隔よりも狭い。そのため、左画像に対応する被写体の像のエッジの位置と右画像に対応する被写体の像のエッジの位置とが、位相差画素間隔よりも狭い範囲でずれていても、左画像におけるエッジの位置と右画像におけるエッジの位置は等しくなる。そのため、局所シフト量の信頼度は、図７（ｂ）に示される場合の信頼度よりも低下する。このように、エッジの幅が位相差画素間隔よりも狭くなるほどエッジが鮮鋭な場合、信頼度は不正確となる。特に、位相差画素間隔が広いほど、あるいは、ボケ量が小さいほど、エッジの幅が位相差画素間隔よりも狭くなり易い。
【００４９】
また、イメージセンサ２１上での被写体の像の周波数成分のうち、位相差画像のナイキスト周波数よりも高い周波数成分が占める割合が増えるほど、エリアジングの影響が大きくなる。そのため、位相差画像における被写体の像は、本来の被写体の像と異なったものとなる。その結果として、信頼度が不正確となる。なお、位相差画像のナイキスト周波数は、位相差画素間隔の２倍の逆数となる。
【００５０】
上記のように、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度は局所シフト量の信頼度に影響し、その含有度に応じて、信頼度が不正確となり得る。そこで、含有度算出部１３は、シフト量算出エリアにおいて、位相差画素以外の表示用画像生成用の画素の値を参照して、シフト量算出エリアにおける被写体の像の周波数ごとの成分をもとめ、各周波数の成分に応じて含有度を算出する。
【００５１】
図８は、本実施形態による含有度算出の説明図である。含有度算出部１３は、局所シフト量を算出する方向に沿って隣接する二つの位相差画素８０１の間に位置する、表示用画像生成用の各画素８０２の画素値を利用して、その二つの位相差画素８０１を含む画素列に対してFast Fourier Transform(FFT)を実行する。FFTを実行する際、含有度算出部１３は、位相差画素８０１については、その周囲の表示用画素の画素値を用いたバイリニア補間あるいはバイキュービック補間により算出した値を用いてもよい。また、含有度算出部１３は、シフト量算出エリアにおいて、位相差画素が設けられた画素列が複数ある場合、それら複数の画素列のそれぞれに対してFFTを実行し、得られた各周波数の成分を、周波数ごとに平均してもよい。さらに、含有度算出部１３は、位相差画素のうちの左画素を含む画素列及び位相差画素のうちの右画素を含む画素列の何れか一方についてFFTを実行してもよく、あるいは、両方についてFFTを実行してもよい。そして両方についてFFTを実行する場合、含有度算出部１３は、左画素を含む画素列について求めた各周波数の成分と、右画素を含む画素列について求めた各周波数の成分とを、周波数ごとに平均してもよい。これにより、局所シフト量を算出する方向における、被写体の像８１１の周波数ごとの成分を表す周波数特性８２１が得られる。この周波数特性８２１は、位相差画素間隔よりも隣接画素間の間隔が狭い表示用の画素を利用して算出されているので、位相差画像のナイキスト周波数fN以下の成分S2だけでなく、位相差画像のナイキスト周波数fNよりも高い周波数の成分S1を含んでいる。
【００５２】
そこで、含有度算出部１３は、位相差画像における、被写体の全ての周波数の成分の総和に対する、位相差画像のナイキスト周波数以上の周波数の成分の和の比を含有度として算出する。例えば、含有度算出部１３は、次式に従って含有度Eを算出する。
【数４】
2017049412.tif 000006
ここでfLは、周波数の下限値を表し、fHは、周波数の上限値を表す。また、fNは、位相差画像のナイキスト周波数を表す。xpは、位相差画素間隔を表し、fsは、位相差画像におけるサンプリング周波数を表す。そしてwiは、周波数iにおける、被写体の像の周波数成分を表し、例えば、FFTにより得られた周波数iの周波数係数の二乗、すなわち、パワーとすることができる。あるいは、wiは、FFTにより得られた周波数iの周波数係数の絶対値であってもよい。
【００５３】
含有度算出部１３は、各シフト量算出エリアの含有度を信頼度補正部１４へ出力する。
【００５４】
信頼度補正部１４は、各シフト量算出エリアについて、そのシフト量算出エリアの局所シフト量の信頼度を、そのシフト量算出エリアの含有度に基づいて補正する。なお、信頼度補正部１４は、各シフト量算出エリアについて同一の処理を実行するので、以下では、一つのシフト量算出エリアについての処理について説明する。
【００５５】
本実施形態では、信頼度補正部１４は、含有度が大きいほど、信頼度が表す局所シフト量の確からしさが低下するように、信頼度の値を補正する。例えば、信頼度が推定分散、局所シフト量の誤差絶対値の期待値、あるいは、コントラストに対するSAD値の最小値の比である場合、局所シフト量が確からしいほど信頼度は小さな値となる。このような場合、信頼度補正部１４は、含有度が大きいほど、信頼度が大きな値となるように信頼度を補正する。この場合、信頼度補正部１４は、例えば、次式に従って信頼度を補正する。
【数５】
2017049412.tif 000007
ここで、Vは、補正前の信頼度であり、V'は、補正後の信頼度である。
【００５６】
一方、信頼度が局所シフト量と正解シフト量間の誤差が所定の値以下となる確率である場合、局所シフト量が確からしいほど信頼度は大きな値となる。このような場合、信頼度補正部１４は、含有度が大きいほど、信頼度が小さい値となるように信頼度を補正する。この場合、信頼度補正部１４は、例えば、次式に従って信頼度を補正する。
【数６】
2017049412.tif 000008
【００５７】
上記のように、信頼度の値は、含有度が大きいほど、信頼度が表す局所シフト量の確からしさが低下するように補正される。したがって、信頼度補正部１４は、被写体の細かさと位相差画素間隔の関係で局所シフト量の測定精度が低下してしまう可能性を信頼度に適切に反映できる。
【００５８】
なお、信頼度補正部１４は、含有度が所定の閾値（例えば、0.1）未満である場合には、信頼度を補正しなくてもよい。
【００５９】
信頼度補正部１４は、各シフト量算出エリアについて、補正された信頼度を代表値算出部１５へ出力する。
【００６０】
代表値算出部１５は、測定エリアに含まれる各シフト量算出エリアの局所シフト量及び補正された信頼度に基づいて、測定エリアに写っている被写体についての合焦位置を表す代表シフト量を算出する。本実施形態では、代表値算出部１５は、補正された信頼度が高いシフト量算出エリアほど、代表シフト量における、そのシフト量算出エリアの局所シフト量の寄与度が大きくなるように、代表シフト量を算出する。
【００６１】
代表値算出部１５は、例えば、次式に従って、各シフト量算出エリアについての局所シフト量を信頼度で加重平均することで、測定エリアの代表シフト量Sを算出する。
【数７】
2017049412.tif 000009
ここで、Siは、i番目のシフト量算出エリアの局所シフト量であり、Viは、i番目のシフト量算出エリアの信頼度である。またNは、測定エリアに含まれるシフト量算出エリアの数である。ただし、（７）式は、推定分散が信頼度として算出されている場合のように、局所シフト量Siが確からしいほど信頼度Viが小さな値となる場合に適用される。したがって、（７）式から明らかなように、局所シフト量Siが確からしいシフト量算出エリアほど、代表シフト量への寄与が大きくなる。なお、代表値算出部１５は、（７）式を用いる代わりに、信頼度が所定の閾値以下となるシフト量算出エリア、あるいは、信頼度の値が小さい方から順に所定数の局所シフト量の平均値または中央値を、代表シフト量Sとしてもよい。
【００６２】
なお、局所シフト量の誤差が所定の値以下となる確率が信頼度として算出されている場合のように、局所シフト量Siが確からしいほど信頼度Viが大きな値となる場合には、代表値算出部１５は、例えば、次式に従って代表シフト量Sを算出してもよい。
【数８】
2017049412.tif 000010
【００６３】
この場合、代表値算出部１５は、（８）式を用いる代わりに、信頼度が所定の閾値以上となるシフト量算出エリア、あるいは、信頼度の値が大きい方から順に所定数の局所シフト量の平均値または中央値を、代表シフト量Sとしてもよい。
【００６４】
また、後述するように、合焦部１６がコントラスト検出方式を併用する場合には、代表値算出部１５は、代表シフト量の推定分散（以下、代表分散と呼ぶ）Vを算出してもよい。例えば、信頼度が推定分散のように、局所シフト量が確からしいほど小さな値となる場合、代表値算出部１５は、次式に従って代表分散Vを算出する。
【数９】
2017049412.tif 000011
【００６５】
制御部６は、代表シフト量に相当する移動量だけ撮像光学系２２を光軸に沿って移動させることで、測定エリアに写る被写体に対して撮像部２を合焦させることができるので、代表シフト量は、合焦位置を表している。代表値算出部１５は、代表シフト量を合焦部１６へ出力する。なお、後述するように、合焦部１６がコントラスト検出方式を併用する場合には、代表値算出部１５は、代表分散も合焦部１６へ出力する。
【００６６】
合焦部１６は、合焦テーブルを参照して、代表シフト量に対応する撮像部２の移動量に相当するステッピングモータの回転量を求める。そして合焦部１６は、撮像部２の現在の位置と基準位置との差に相当する回転量を、求めた回転量から減じた量だけ撮像部２のアクチュエータ２３のステッピングモータを回転させる制御信号をアクチュエータ２３へ出力する。そしてアクチュエータ２３は、その制御信号に応じた回転量だけステッピングモータを回転させることで、代表シフト量を0にするように撮像光学系２２を光軸に沿って移動させる。これにより、撮像部２は、測定エリアに写る被写体について合焦することができる。
【００６７】
変形例によれば、合焦部１６は、位相差検出方式とともにコントラスト検出方式を利用して、撮像部２を測定エリアに写る被写体に合焦させてもよい。この場合には、上記のように、合焦部１６は、先ず、代表シフト量に応じた回転量だけ、アクチュエータ２３のステッピングモータを回転させて、代表シフト量が0になるように撮像光学系２２を光軸に沿って移動させる。その後、合焦部１６は、代表値算出部１５から受け取った代表分散に基づいて、被写体のコントラストを調べる撮像光学系２２の位置の範囲を設定する。例えば、合焦部１６は、被写体のコントラストを調べる撮像光学系２２の位置の範囲を、代表分散に対応する標準偏差の±２倍に相当する範囲に設定する。そして合焦部１６は、その範囲内で撮像光学系２２を移動させながら、撮像部２により得られる画像上の測定エリアに相当する範囲のコントラストが極大値となる撮像光学系２２の位置を検出する。そして合焦部１６は、コントラストが極大値となる撮像光学系２２の位置を、測定エリアに写る被写体について撮像光学系２２が合焦する位置とする。なお、合焦部１６は、設定した撮像光学系２２の位置の範囲内に、コントラストが極大値となる位置が無ければ、その範囲外でもコントラストの極大値となる撮像光学系２２の位置を検出してもよい。
【００６８】
このように、合焦部１６は、位相差検出方式とコントラスト検出方式を併用する場合でも、コントラスト検出方式でコントラストを調べる撮像光学系２２の位置の範囲を適切に限定できる。そのため、合焦部１６は、撮像部２が測定エリア内の被写体に合焦までに要する時間を短縮できる。
【００６９】
図９は、制御部６により実行される合焦位置検出処理の動作フローチャートである。
制御部６は、撮像部２から、被写体を撮影した画像を取得する（ステップＳ１０１）。そして制御部６は、その画像を記憶部５に記憶する。
【００７０】
シフト量算出エリア特定部１１は、指定された測定エリア内に含まれるシフト量算出エリアを特定する（ステップＳ１０２）。そしてシフト量算出エリア特定部１１は、特定されたシフト量算出エリアをシフト量算出部１２及び含有度算出部１３へ通知する。
【００７１】
シフト量算出部１２は、記憶部５に記憶された画像に基づいて、各シフト量算出エリアについて、左画像と右画像とが最も一致する局所シフト量とその信頼度とを算出する（ステップＳ１０３）。そしてシフト量算出部１２は、各シフト量算出エリアの局所シフト量を代表値算出部１５へ出力し、信頼度を信頼度補正部１４へ出力する。
【００７２】
含有度算出部１３は、各シフト量算出エリアについて、そのシフト量算出エリアにおける、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度を算出する（ステップＳ１０４）。そして含有度算出部１３は、各シフト量算出エリアにおける含有度を信頼度補正部１４へ出力する。
【００７３】
信頼度補正部１４は、各シフト量算出エリアについて、そのシフト量算出エリアにおける含有度が大きいほど、信頼度が表す局所シフト量の確からしさが低下するように信頼度を補正する（ステップＳ１０５）。そして信頼度補正部１４は、各シフト量算出エリアについての補正された信頼度を代表値算出部１５へ出力する。
【００７４】
代表値算出部１５は、各シフト量算出エリアの局所シフト量を補正された信頼度で加重平均することで、測定エリア全体についての代表シフト量を算出する（ステップＳ１０６）。代表値算出部１５は、代表シフト量を合焦部１６へ出力する。
【００７５】
合焦部１６は、代表シフト量に基づいて、測定エリア内に写る被写体に対して撮像部２が合焦するように、撮像部２の撮像光学系２２を光軸に沿って移動させる（ステップＳ１０７）。
そして制御部６は、合焦位置検出処理を終了する。
【００７６】
以上に説明してきたように、この合焦位置検出装置は、測定エリア内に含まれる各シフト量算出エリアについて、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度が増えるほど、局所シフト量の信頼度を低下させるよう、その信頼度を補正する。そしてこの合焦位置検出装置は、各シフト量算出エリアの局所シフト量を、補正された信頼度で加重平均することで、合焦位置を表す代表シフト量を求める。そのため、この合焦位置検出装置は、各シフト量算出エリアにおける、被写体の像に含まれる、位相差画素間隔よりも微細な成分による、合焦位置の誤差を抑制できる。
【００７７】
次に、第２の実施形態による合焦位置検出装置について説明する。第２の実施形態による合焦位置検出装置は、位相差画像におけるエッジの鮮鋭度と表示用画像におけるエッジの鮮鋭度との比較により、被写体の像に含まれる、位相差画素間隔よりも微細な成分の含有度を算出する。
【００７８】
第２の実施形態による合焦位置検出装置は、第１の実施形態による合焦位置検出装置と比較して、含有度算出部１３の処理が異なる。そこで以下では、含有度算出部１３及びその関連部分について説明する。第２の実施形態による合焦位置検出装置のその他の構成要素については、第１の実施形態による合焦位置検出装置の対応する構成要素の説明を参照されたい。
【００７９】
図７（ａ）〜図７（ｃ）に関して説明したように、シフト量算出エリアにおける、被写体の像のエッジの幅と位相差画素間隔との関係により、信頼度が不正確となることがある。そこで本実施形態では、含有度算出部１３は、各シフト量算出エリアにおいて、位相差画像における被写体の像のエッジ強度と表示用画像の対応領域における被写体の像のエッジ強度とに基づいて、含有度を算出する。なお、第２の実施形態においても、含有度算出部１３は、各シフト量算出エリアに対して同じ処理を実行するので、以下では、一つのシフト量算出エリアにおける含有度算出処理について説明する。
【００８０】
図１０は、第２の実施形態による含有度算出の説明図である。この例では、位相差画素１００１の位相差画素間隔xpは、表示用画像生成用の各画素１００２の８画素分に相当する。そして含有度算出部１３は、シフト量算出エリアにおいて、位相差画像１０１０について、局所シフト量の算出方向に沿って隣接する二つの位相差画素１００１の間の画素値p1,p2の差分値dp(=p1-p2)を、位相差画素ごとに算出する。なお、この差分値を算出する位相差画素は、左画素及び右画素のうちの一方でもよく、あるいは、その両方でもよい。また、含有度算出部１３は、表示用画像１０１１のシフト量算出エリアに対応する領域において、位相差画素間の表示用画像生成用の各画素１００２について、局所シフト量の算出方向に沿って隣接する画素間の画素値s1,s2の差分値ds(=s1-s2)を算出する。そして含有度算出部１３は、例えば、次式に従って、含有度Eを算出する。
【数１０】
2017049412.tif 000012
ここで、Npは、シフト量算出エリアに含まれる位相差画素の数であり、Nsは、差分値を算出する表示用画像生成用の画素、すなわち、隣接する二つの位相差画素の間に含まれる画素の数である。また、dpiは、i番目の位相差画素についての、隣接する位相差画素との差分値であり、dsjは、j番目の表示用画像生成用の画素についての、隣接する画素との差分値である。（１０）式から明らかなように、位相差画素についての差分値の二乗和よりも、表示用画像生成用の画素についての差分値の二乗和が大きいほど、含有度は大きくなる。すなわち、位相差画像のエッジ強度に対して、表示用画像の対応する領域のエッジ強度が高いほど、含有度は大きくなる。
【００８１】
信頼度補正部１４は、第２の実施形態においても、各シフト量算出エリアについて、そのシフト量算出エリアについて算出された含有度を用いて、（５）式または（６）式にしたがって、信頼度を補正すればよい。
【００８２】
第２の実施形態によれば、含有度算出部１３は、周波数変換処理を行わなくてよいので、含有度算出に要する演算量を削減できる。
【００８３】
第２の実施形態の変形例によれば、含有度算出部１３は、表示用画像上のシフト量算出エリアに対応する領域におけるコントラストとシャープネスの比により含有度を算出してもよい。この場合、含有度算出部１３は、例えば、次式により含有度を算出する。
【数１１】
2017049412.tif 000013
ここで、SHは、シャープネスを表す。またCは、コントラストであり、例えば、表示用画像上のシフト量算出エリアに対応する領域における、画素値の最大値と最小値の差として算出される。シャープネスSHがコントラストCに対して大きくなるほど、被写体の像は、位相差画素間隔よりも微細な構造を持つと想定される。そこで（１１）式によれば、シャープネスSHがコントラストCに対して大きくなるほど、含有度も大きな値となる。
【００８４】
また他の変形例によれば、合焦位置検出装置は、位相差検出方式による合焦位置の検出だけでなく、例えば、ステレオカメラといった、被写体に対して視差が有る二つの画像を得る撮像装置において、被写体までの距離を測定するために適用されてもよい。この場合には、例えば、撮像装置が有する記憶部に、代表シフト量と撮像装置から被写体までの距離との関係を表す距離テーブルが予め格納される。そして撮像装置の制御部が、その撮像装置が生成した、視差のある二つの画像に対して、上記の実施形態による制御部の各機能を実行することで、画像を生成する各イメージセンサに設定される測定エリアに写る被写体についての代表シフト量を算出できる。そして制御部は、距離テーブルを参照して、代表シフト量に対応する、撮像装置から測定エリア内に写る被写体までの距離を求めることができる。
【００８５】
さらに他の変形例によれば、位相差画像生成用のイメージセンサと、表示用画像生成用のイメージセンサとは別個に設けられてもよい。
【００８６】
図１１（ａ）及び図１１（ｂ）は、それぞれ、この変形例による、位相差画像生成用のイメージセンサと、表示用画像生成用のイメージセンサとの関係を示す図である。図１１（ａ）に示される例では、表示画像生成用のイメージセンサ１１００と別個に、一つの位相差画像生成用のイメージセンサ１１０１が設けられる。そして位相差画像生成用のイメージセンサ１１０１の撮影範囲が表示画像生成用のイメージセンサ１１００の撮影範囲に含まれるように、例えば、撮像光学系（図示せず）と各イメージセンサ間にビームスプリッタ（図示せず）が設けられる。そして撮像光学系からの光束は、ビームスプリッタにより分割され、イメージセンサ１１００とイメージセンサ１１０１のそれぞれに結像される。
【００８７】
この例では、イメージセンサ１１０１は左画像生成用の複数の左画素１１０２が水平方向に沿って配列された画素列と、右画像生成用の複数の右画素１１０３が水平方向に沿って配列された画素列とを有する。そのため、イメージセンサ１１０１により、左画像と右画像の両方が生成される。また、イメージセンサ１１０１の解像度は、イメージセンサ１１００の解像度よりも低くなっている。そのため、含有度算出部１３は、イメージセンサ１１００において、イメージセンサ１１０１の撮影範囲と対応する領域１１０５に含まれる各画素の画素値を用いて、上記の何れかの実施形態または変形例に従って含有度を算出すればよい。
【００８８】
一方、図１１（ｂ）に示される例では、表示画像生成用のイメージセンサ１１１０と別個に、二つの位相差画像生成用のイメージセンサ１１１１、１１１２が設けられる。そしてイメージセンサ１１１１は、左画像を生成し、イメージセンサ１１１２は、右画像を生成する。この例では、位相差画像生成用のイメージセンサ１１１１、１１１２に被写体の像を結像するために、例えば、イメージセンサ１１１１、１１１２の配列方向に沿って互いに離して配置された二つの撮像光学系を有するステレオ光学系（図示せず）が設けられる。そのため、イメージセンサ１１１１により生成される左画像と、イメージセンサ１１１２により生成される右画像との間には、被写体までの距離に応じた視差が生じる。さらに、この例では、イメージセンサ１１１０に被写体の像を結像する撮像光学系（図示せず）が設けられる。そして各撮像光学系は、それらの光軸方向に沿って一体的に移動可能となっている。また、位相差画像生成用のイメージセンサ１１１１、１１１２の撮影範囲がイメージセンサ１１１０の撮影範囲に含まれる。
【００８９】
この例でも、イメージセンサ１１１１、１１１２の解像度は、イメージセンサ１１１０の解像度よりも低くなっている。そのため、含有度算出部１３は、イメージセンサ１１１０において、イメージセンサ１１１１及び１１１２の撮影範囲と対応する領域１１１３に含まれる各画素の画素値を用いて、上記の何れかの実施形態または変形例に従って含有度を算出すればよい。
【００９０】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００９１】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
像面位相差検出方式で合焦位置を算出するための位相差を検出する位相差検出部が受光面内の複数個所に配置された撮像素子を備え、焦点位置を移動可能な光学系を介して前記撮像素子の受光面に入射される光により被写体を撮像する撮像部と、
複数の前記位相差検出部の内の第１の位相差検出部と第２の位相差検出部間の画素値から算出した周波数値が所定の値以上となる場合は、前記第１の位相差検出部と前記第２の位相差検出部の位相差の寄与度を下げて複数の前記位相差検出部によって検出された位相差に基づいて前記合焦位置を算出する算出部と、
を含む撮像装置。
（付記２）
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化するシフト量算出エリア特定部と、
前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出するシフト量算出部と、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第１の画素間の間隔または隣接する二つの前記第２の画素間の間隔よりも微細な成分の含有度を算出する含有度算出部と、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正する信頼度補正部と、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する代表値算出部と、
を有する合焦位置検出装置。
（付記３）
前記信頼度補正部は、前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度が大きくなるほど、当該シフト量算出エリアにおける前記信頼度が表す前記局所シフト量の確からしさが低下するように前記信頼度を補正する、付記２に記載の合焦位置検出装置。
（付記４）
前記含有度算出部は、前記複数のシフト量算出エリアのそれぞれについて、対応する前記イメージセンサ上の領域の前記被写体の像の周波数ごとの成分を算出し、隣接する二つの前記第１の画素間の間隔または隣接する二つの前記第２の画素間の間隔に相当するナイキスト周波数以上の周波数の成分の和が、前記被写体の像の周波数ごとの成分の総和に占める割合が大きくなるほど前記含有度を大きくする、付記２または３に記載の合焦位置検出装置。
（付記５）
前記含有度算出部は、前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像または前記第２のサブ画像のエッジ強度に対する、前記イメージセンサ上の対応する領域の前記被写体の像におけるエッジ強度の比が大きくなるほど、前記含有度を大きくする、付記２または３に記載の合焦位置検出装置。
（付記６）
前記代表値算出部は、前記複数のシフト量算出エリアのそれぞれの前記局所シフト量を前記補正された信頼度で加重平均することで、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値を算出する、付記２〜５の何れかに記載の合焦位置検出装置。
（付記７）
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第１の画素間の間隔または隣接する二つの前記第２の画素間の間隔よりも微細な成分の含有度を算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する、
ことを含む合焦位置検出方法。
（付記８）
画像を生成するイメージセンサと、光学系とを有する撮像部における前記イメージセンサ上に設定される測定エリア内に含まれる複数のシフト量算出エリアを特定し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを有し、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化し、
前記複数のシフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第１の画素間の間隔または隣接する二つの前記第２の画素間の間隔よりも微細な成分の含有度を算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出する、
ことを含むプロセッサに実行させるための合焦位置検出用コンピュータプログラム。
（付記９）
画像を生成し、かつ複数のシフト量算出エリアを含むイメージセンサと、光学系とを有し、前記複数のシフト量算出エリアのそれぞれは、当該シフト量算出エリアに写る被写体を表す第１のサブ画像を生成する、複数の第１の画素と、当該シフト量算出エリアに写る前記被写体を表す第２のサブ画像を生成する、複数の第２の画素とを含み、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体間のシフト量が、前記光学系による前記被写体についての合焦位置と前記イメージセンサ間の距離に応じて変化する撮像部と、
前記撮像部を前記被写体に合焦させる制御部と、を有し、
前記制御部は、
前記複数のシフト量算出エリアのうち、前記イメージセンサ上に設定される測定エリア内に含まれるシフト量算出エリアを特定し、
前記測定エリア内に含まれる前記シフト量算出エリアのそれぞれについて、前記第１のサブ画像上の前記被写体と前記第２のサブ画像上の前記被写体とが最も一致するときの前記第１のサブ画像に対する前記第２のサブ画像の局所シフト量と、前記局所シフト量の確からしさを表す信頼度とを算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記被写体の像に含まれる、隣接する二つの前記第１の画素間の間隔または隣接する二つの前記第２の画素間の間隔よりも微細な成分の含有度を算出し、
前記複数のシフト量算出エリアのそれぞれについて、当該シフト量算出エリアにおける前記含有度に基づいて、当該シフト量算出エリアの前記信頼度を補正し、
前記複数のシフト量算出エリアのそれぞれの前記補正された信頼度が高いほど、前記光学系による合焦位置と前記イメージセンサ間の距離を表す代表値における、当該シフト量算出エリアの前記局所シフト量の寄与度が大きくなるように、前記代表値を算出し、
前記代表値に応じて前記撮像部を前記被写体に合焦させる、
撮像装置。
【符号の説明】
【００９２】
１    デジタルカメラ
２    撮像部
３    操作部
４    表示部
５    記憶部
６    制御部
１１    シフト量算出エリア特定部
１２    シフト量算出部
１３    含有度算出部
１４    信頼度補正部
１５    代表値算出部
１６    合焦部
２１    イメージセンサ
２２    撮像光学系
２３    アクチュエータ
【図１】
2017049412.tif 000014
【図２】
2017049412.tif 000015
【図３】
2017049412.tif 000016
【図４】
2017049412.tif 000017
【図５】
2017049412.tif 000018
【図６】
2017049412.tif 000019
【図７】
2017049412.tif 000020
【図８】
2017049412.tif 000021
【図９】
2017049412.tif 000022
【図１０】
2017049412.tif 000023
【図１１】
2017049412.tif 000024