(57)【要約】【課題】被写体像の位相差を検出する領域に撮像装置から近い被写体と遠い被写体とが同時に存在していてもレンズ位置を効果的に決定する制御装置を提供する。【解決手段】位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、前記算出部が算出した前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定する決定部と、を備える、制御装置が提供される。【選択図】図１
2017022331.tif 000002
【特許請求の範囲】
【請求項１】
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、
無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、前記算出部が算出した前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定する決定部と、
を備える、制御装置。
【請求項２】
前記決定部は、前記焦点位置が前記所定の範囲に収まっている前記位相差検出領域の数が所定の閾値以上であれば前記算出部が算出した前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定する、請求項１に記載の制御装置。
【請求項３】
前記位相差検出領域は、第１の領域と、少なくとも一部が前記第１の領域に重なる複数の第２の領域と、を含む、請求項１に記載の制御装置。
【請求項４】
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、
基準となる前記位相差検出領域の前記焦点位置から、焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、
を備える、制御装置。
【請求項５】
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化する算出部と、
ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、
を備える、制御装置。
【請求項６】
前記第１の所定条件は、隣接するヒストグラムの単位要素の個数が所定値以上のグループが複数存在することである、請求項５に記載の制御装置。
【請求項７】
前記第１の所定条件は、隣接するヒストグラムの単位要素の個数が所定値以上のグループが複数存在し、かつ、当該グループの単位要素の個数が第２の所定条件を満たすことである、請求項５に記載の制御装置。
【請求項８】
前記第２の所定条件は、単位要素の個数が一番多いグループと次に多いグループの単位要素の個数の和の、全ての単位要素の個数に占める比率が所定値以上である、請求項７に記載の制御装置。
【請求項９】
前記算出部は、ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置を平滑化し、
前記第１の所定条件は、平滑化したヒストグラムの所定の閾値を超えたピークが複数存在していることである、請求項５に記載の制御装置。
【請求項１０】
前記算出部は、ヒストグラム化した前記焦点位置を所定の時間加算して平滑化し、
前記第１の所定条件は、平滑化したヒストグラムの所定の閾値を超えたピークが複数存在していることである、請求項５に記載の制御装置。
【請求項１１】
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、
無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、算出された前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定することと、
を含む、制御方法。
【請求項１２】
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、
基準となる前記位相差検出領域にある前記焦点位置から、前記焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、
を含む、制御方法。
【請求項１３】
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化することと、
ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、
を含む、制御方法。
【請求項１４】
コンピュータに、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、
無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、算出された前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定することと、
を実行させる、コンピュータプログラム。
【請求項１５】
コンピュータに、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、
基準となる前記位相差検出領域にある前記焦点位置から、前記焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、
を実行させる、コンピュータプログラム。
【請求項１６】
コンピュータに、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化することと、
ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、
を実行させる、コンピュータプログラム。
【請求項１７】
光を集光する撮像光学系と、
前記撮像光学系からの光を受光し、画像を撮像する撮像素子と、
前記撮像素子が出力する信号を処理する信号処理部と
を備え、
前記信号処理部は、
位相差検出領域を複数含む前記撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、
無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、前記算出部が算出した前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定する決定部と、
を備える、電子機器。
【請求項１８】
光を集光する撮像光学系と、
前記撮像光学系からの光を受光し、画像を撮像する撮像素子と、
前記撮像素子が出力する信号を処理する信号処理部と
を備え、
前記信号処理部は、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、
基準となる前記位相差検出領域の前記焦点位置から、焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、
を備える、電子機器。
【請求項１９】
光を集光する撮像光学系と、
前記撮像光学系からの光を受光し、画像を撮像する撮像素子と、
前記撮像素子が出力する信号を処理する信号処理部と
を備え、
前記信号処理部は、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化する算出部と、
ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、
を備える、電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置、制御方法、コンピュータプログラム及び電子機器に関する。
【背景技術】
【０００２】
近年、撮像装置において、位相差検出用の画素を撮像素子に埋め込むことにより、被写体に高速にフォーカスを合わせるＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）を実現する手法が普及してきている。このようなＡＦは、位相差検出方式によるＡＦと呼ばれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−４９２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、被写体像の位相差を検出する領域に撮像装置から近い被写体と遠い被写体とが同時に存在していると、位相差検出方式によるＡＦでは原理的にどちらの被写体にもフォーカスを合わせることができなかった。【０００５】
そこで本開示では、被写体像の位相差を検出する領域に撮像装置から近い被写体と遠い被写体とが同時に存在していてもレンズ位置を効果的に決定することが可能な、新規かつ改良された制御装置、制御方法、コンピュータプログラム及び電子機器を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、前記算出部が算出した前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定する決定部と、を備える、制御装置が提供される。【０００７】
また本開示によれば、位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、基準となる前記位相差検出領域の前記焦点位置から、焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、を備える、制御装置が提供される。【０００８】
また本開示によれば、位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化する算出部と、ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、を備える、制御装置が提供される。【０００９】
また本開示によれば、位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、算出された前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定することと、を含む、制御方法が提供される。【００１０】
また本開示によれば、位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、基準となる前記位相差検出領域にある前記焦点位置から、前記焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、を含む、制御方法が提供される。【００１１】
また本開示によれば、位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化することと、ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、を含む、制御方法が提供される。【００１２】
また本開示によれば、コンピュータに、位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、算出された前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定することと、を実行させる、コンピュータプログラムが提供される。【００１３】
また本開示によれば、コンピュータに、位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、基準となる前記位相差検出領域にある前記焦点位置から、前記焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、を実行させる、コンピュータプログラムが提供される。【００１４】
また本開示によれば、コンピュータに、位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化することと、ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、を実行させる、コンピュータプログラムが提供される。【００１５】
また本開示によれば、光を集光する撮像光学系と、前記撮像光学系からの光を受光し、画像を撮像する撮像素子と、前記撮像素子が出力する信号を処理する信号処理部と、を備え、前記信号処理部は、位相差検出領域を複数含む前記撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、前記算出部が算出した前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定する決定部と、を備える、電子機器が提供される。
【発明の効果】
【００１６】
以上説明したように本開示によれば、被写体像の位相差を検出する領域に撮像装置から近い被写体と遠い被写体とが同時に存在していてもレンズ位置を効果的に決定することが可能な、新規かつ改良された制御装置、制御方法、コンピュータプログラム及び電子機器を提供することが出来る。【００１７】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用したカメラモジュールの一実施の形態の構成例を示すブロック図である。
【図２Ａ】撮像光学系１１Ａ側から見たイメージセンサ１３の構成例を示す平面図である。
【図２Ｂ】本技術のイメージセンサ１３を備えた固体撮像装置の基本的な概略構成を示す図である。
【図３】通常画素５２の構成例を示す図である。
【図４】検出画素５３の構成例を示す図である。
【図５】通常画素５２、左遮光画素５３Ｌ、及び、右遮光画素５３Ｒそれぞれの画素値の系列の例を示す図である。
【図６】右遮光画素５３Ｒが存在するラインから得られる右遮光系列と、その右遮光画素５３Ｒとペアの左遮光画素５３Ｌが存在するラインから得られる左遮光系列との例を示す図である。
【図７】コントラストAF(CDAF)、位相差AF(PDAF)、及び、ハイブリッドAFを説明する図である。
【図８】位相差とデフォーカス量との関係を説明する図である。
【図９】遠近両方の被写体の例を示す説明図である。
【図１０】遠近両方の被写体についてコントラストと位相差とを求めた例をグラフで示す説明図である。
【図１１】被写体検出領域の例を示す説明図である。
【図１２】メイン処理部１４の機能構成例を示す説明図である。
【図１３】レンズ位置決定処理の方法１の概要を示す説明図である。
【図１４】メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。
【図１５】レンズ位置決定処理の方法２の概要を示す説明図である。
【図１６】メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。
【図１７】レンズ位置決定処理の方法３の概要を示す説明図である。
【図１８】メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。
【図１９】メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。
【図２０】レンズ位置決定処理の方法５の概要を示す説明図である。
【図２１】メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。
【図２２】レンズ位置決定処理の方法６の概要を示す説明図である。
【図２３】メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．構成例
１．２．動作例
２．まとめ
【００２１】
＜１．本開示の実施形態＞
［１．１．カメラモジュールの構成例］
まず、図１を参照して、本開示の一実施形態に係るカメラモジュールの概略構成について説明する。
【００２２】
図１は、本技術を適用したカメラモジュールの一実施の形態の構成例を示すブロック図である。
【００２３】
図１において、カメラモジュールは、レンズ鏡筒１１、光学フィルタ１２、イメージセンサ１３、メイン処理部１４、照明制御部１５、センサ駆動部１６、位相差AF処理部１７、画像処理部１８、フォーカス駆動部１９、表示部２０、操作部２１、フラッシュメモリ２２、フォーカスアクチュエータ２３、及び、照明部２４を有する。
【００２４】
なお、図１において、カメラモジュールは、レンズ鏡筒１１と一体的に構成される。但し、カメラモジュールは、レンズ鏡筒１１を取り外し可能なように構成することができる。
【００２５】
レンズ鏡筒１１は、レンズ群や絞り等の撮像光学系１１Ａを有し、そこに入射する光を、光学フィルタ１２を介して、イメージセンサ１３上に集光する。
【００２６】
なお、撮像光学系１１Ａのレンズ群のレンズ位置（ひいては焦点位置）は、光軸L方向に移動可能になっており、これにより、フォーカスの調整を行うことができるようになっている。
【００２７】
光学フィルタ１２は、イメージセンサ１３で撮影される撮影画像に生じる偽色やモアレを軽減するための光学素子である。すなわち、光学フィルタ１２は、光学的なローパスフィルタであり、撮像光学系１１Ａからの光の一部の成分を減衰して、イメージセンサ１３に出射する。
【００２８】
イメージセンサ１３は、撮像光学系１１Ａから、光学フィルタ１２を介して入射する光（被写体光）を受光することにより、撮影画像を撮影する撮像素子である。イメージセンサ１３としては、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を採用することができる。
【００２９】
イメージセンサ１３は、撮影により得られる撮影画像（の画像信号）を、センサ駆動部１６に供給する。
【００３０】
メイン処理部１４は、カメラモジュールを構成する各ブロックを制御する。
【００３１】
メイン処理部１４は、CPU(Central Processing Unit)３１、メモリ３２、ADC(Analog
to Digital Converter)３３、DAC(Digital to Analog
Converter)３４、及び、通信I/F(Interface)３５を有する。
【００３２】
CPU３１は、メモリ３２に記憶されたプログラムを実行することにより、照明制御部１５ないしフラッシュメモリ２２等を制御し、AFや、撮影画像の撮影、各種の画像処理、撮影画像の記録等の各種の処理を実行させる。
【００３３】
メモリ３２は、RAM(Random Access Memory)等の揮発性メモリや、EEPROM(Electrically
Erasable Programmable Read Only Memory)等の不揮発性メモリ等で構成され、CPU３１が実行するプログラムや、CPU３１の動作上必要なデータを記憶する。
【００３４】
メモリ３２に記憶されるデータとしては、位相差AFのための後述するAFパラメータがある。
【００３５】
ADC３３は、アナログ信号をディジタル信号にAD変換する。DAC３４は、ディジタル信号をアナログ信号にDA変換する。通信I/F３５は、インターネット等との間の通信を制御する。
【００３６】
照明制御部１５は、照明部２４を制御し、被写体を照明する光や、AF用のトーチ補助光となる光を発光させる。
【００３７】
すなわち、照明制御部１５は、イメージセンサ１３の撮影動作に同期して、照明部２４に、被写体を照明する光となる電子フラッシュを発光（点灯）させる。また、照明制御部１５は、AFの動作に同期して、照明部２４に、トーチ補助光を発光させる。
【００３８】
センサ駆動部１６は、イメージセンサ１３を制御することにより、撮影画像を撮影させる。また、センサ駆動部１６は、イメージセンサ１３で撮影された撮影画像の画像信号を、必要に応じて、AD変換して、メイン処理部１４や位相差AF処理部１７に供給する。
【００３９】
位相差AF処理部１７は、センサ駆動部１６からの撮影画像の画像信号のうちの、後述する検出画素の画素値を用いて、位相差AFにより、撮像光学系１１Ａ（のレンズ群）のレンズ位置を移動させるレンズ移動量を算出して、メイン処理部１４に供給する。
【００４０】
画像処理部１８は、イメージセンサ１３で撮影され、センサ駆動部１６、及び、メイン処理部１４を介して供給される撮影画像について、γ変換や、カラー補間、JPEG(Joint Photographic Experts Group)等の所定の圧縮伸張方式による圧縮伸張等の画像処理を行う。また、画像処理部１８は、撮影画像のコントラストを表すコントラスト評価値を算出し、メイン処理部１４に供給する。メイン処理部１４では、画像処理部１８からのコントラスト評価値を用いて、コントラストAF（の制御）が行われる。
【００４１】
フォーカス駆動部１９は、メイン処理部１４の制御に従って、フォーカスアクチュエータ２３を駆動し、撮像光学系１１Ａのレンズ位置を、光軸L方向に移動させることで、フォーカス調節を行う。
【００４２】
表示部２０は、例えば、LCD(Liquid Crystal Display)パネル等で構成され、カメラモジュールの撮影モードに関する情報や、撮影前のプレビュー画像、撮影後の確認用画像、AF時の合焦状態の画像等を表示する。
【００４３】
操作部２１は、ユーザによって操作されるスイッチ群であり、電源スイッチや、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。
【００４４】
フラッシュメモリ２２は、カメラモジュールに着脱可能になっている。フラッシュメモリ２２には、メイン処理部１４から供給される撮影画像が記録（記憶）される。
【００４５】
フォーカスアクチュエータ２３は、フォーカス駆動部１９により駆動され、撮像光学系１１Ａのレンズ位置を、光軸L方向に移動させる。
【００４６】
照明部２４は、照明制御部１５の制御に従って、被写体を照明する光や、AF用のトーチ補助光となる光を発光する。
【００４７】
照明部２４としては、例えば、キセノン管を用いた閃光照明装置や、連続発光が可能なLED(Light Emitting Diode)を有するLED照明装置等を採用することができる。カメラモジュールが、スマートフォン等の携帯機器に搭載される場合には、照明部２４としては、比較的小型のLED照明装置を採用することができる。
【００４８】
照明部２４は、所定のパターンの溝が形成された投光レンズ（図示せず）を介して、光を、被写界に投光し、暗い被写体や、低コントラストの被写体に対するAFの精度を向上させる。
【００４９】
なお、位相差AF処理部１７は、イメージセンサ１３に含める（内蔵させる）ことができる。
【００５０】
また、位相差AF処理部１７は、ハードウェアにより実現することもできるし、ソフトウェアにより実現することもできる。位相差AF処理部１７を、ソフトウェアによって実現する場合には、そのソフトウェアを構成するプログラムが、例えば、メイン処理部１４等のコンピュータにインストールされ、メイン処理部１４のCPU３１によって実行される。
【００５１】
この場合、CPU３１がプログラムに従って行う処理は、必ずしも、後述するフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、CPU３１がプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【００５２】
ここで、プログラムは、コンピュータとしてのメイン処理部１４に内蔵されている記録媒体としてのメモリ３２にあらかじめ記録しておくことができる。
【００５３】
あるいはまた、プログラムは、リムーバブルな記録媒体である、例えば、フラッシュメモリ２２に格納（記録）し、いわゆるパッケージソフトウエアとして提供することができる。
【００５４】
なお、プログラムは、フラッシュメモリ２２からメイン処理部１４にインストールする他、インターネット等の通信網や、地上波等の放送網を介して、メイン処理部１４にダウンロードし、内蔵するメモリ３２にインストールすることができる。
【００５５】
続いてイメージセンサ１３の構成例を説明する。図２Ａは、撮像光学系１１Ａ側から見たイメージセンサ１３の構成例を示す平面図である。
【００５６】
イメージセンサ１３は、光を受光する受光面５０を有し、受光面５０は、横×縦がH×V個の画素で構成される。
【００５７】
ここで、本実施の形態では、受光面５０を、複数の画素からなる画素グループとしての、例えば、矩形のブロックに分割したときの、そのブロックを、画素ブロック５１ともいう。
【００５８】
図２Ａでは、画素ブロック５１を構成する一部の画素群として、9×9画素を図示してある。
【００５９】
画素には、例えば、オンチップで、ベイヤ配列のR(Red)，G(Green)、又は、B(Blue)の（原色）カラーフィルタが形成されている。
【００６０】
いま、R，G，Bのカラーフィルタが形成された画素を、それぞれ、R画素、G画素、B画素ということとする。R画素、G画素、B画素は、オンチップのカラーフィルタにより、それぞれ、R，G，Bの光の分光感度を有する。ベイヤ配列では、横×縦が2×2画素を基本単位として、対角の位置に、G画素が配置され、残りの2箇所に、R画素とB画素が配置される。
【００６１】
図２Ａでは、基本単位としての2×2画素として、例えば、右上に、R画素が、左下に、B画素が、左上及び右下に、G画素が、それぞれ配置されている。
【００６２】
ベイヤ配列では、以上のような基本単位が、横及び縦に繰り返し並んでいる。
【００６３】
なお、図２Ａでは、基本単位の左上のG画素は、Grと図示してあり、右下のG画素は、Gbと図示してある。
【００６４】
受光面５０には、位相差AFに用いる位相差を検出するための検出画素５３と、検出画素５３以外の、位相差の検出には用いられない通常画素（撮影画像となる画像を得る目的の画素）５２とが含まれる。
【００６５】
検出画素５３の詳細については、後述するが、検出画素５３では、撮像光学系１１Ａの射出瞳の異なる領域としての、例えば、右半分又は左半分を通過した光を受光するために、左半分又は右半分が遮光されている。
【００６６】
なお、撮影画像については、G画素の画素値から、輝度の主成分が取得される。
【００６７】
次に、図２Ｂを参照して、本技術のイメージセンサ１３を備えた固体撮像装置の基本的な概略構成について説明する。
【００６８】
第１の例として、図２Ｂ上段に示される固体撮像装置３３０は、１つの半導体チップ３３１内に、画素領域３３２、制御回路３３３、上述したセンサ駆動部１６や位相差AF処理部１７等を含むロジック回路３３４とを搭載して構成される。
【００６９】
第２の例として、図２Ｂ中段に示される固体撮像装置３４０は、第１の半導体チップ部３４１と第２の半導体チップ部３４２とから構成される。第１の半導体チップ部３４１には、画素領域３４３と制御回路３４４が搭載され、第２の半導体チップ部３４２には、上述したセンサ駆動部１６や位相差AF処理部１７等を含むロジック回路３４５が搭載される。そして、第１の半導体チップ部３４１と第２の半導体チップ部３４２とが相互に電気的に接続されることで、１つの半導体チップとしての固体撮像装置３４０が構成される。
【００７０】
第３の例として、図２Ｂ下段に示される固体撮像装置３５０は、第１の半導体チップ部３５１と第２の半導体チップ部３５２とから構成される。第１の半導体チップ部３５１には、画素領域３５３が搭載され、第２の半導体チップ部３５２には、制御回路３５４と、上述したセンサ駆動部１６や位相差AF処理部１７等を含むロジック回路３５５が搭載される。そして、第１の半導体チップ部３５１と第２の半導体チップ部３５２とが相互に電気的に接続されることで、１つの半導体チップとしての固体撮像装置３５０が構成される。
【００７１】
続いて画素の構成例を説明する。図３は、通常画素５２の構成例を示す図である。
【００７２】
図３のＡは、受光面５０のうちの、通常画素５２のみの領域の構成例を示す平面図である。
【００７３】
図３のＢは、通常画素５２を、図３のＡの線分L11に沿って切断した断面を模式的に示す断面図である。
【００７４】
通常画素５２は、図中、下から、PD(Photo Diode)６１、CL(Contact Layer)６２、カラーフィルタ６３、オンチップレンズ（マイクロレンズ）６４が積層された構成になっている。
【００７５】
通常画素５２では、オンチップレンズ６４に入射した光のうちの所定の色成分の光が、カラーフィルタ６３を通過し、透明のCL４２を介して、PD６１に入射する。PD６１では、入射光が受光され、光電変換される。PD６１での光電変換の結果得られる電気信号が、通常画素５２の画素値として出力される。
【００７６】
図４は、検出画素５３の構成例を示す図である。
【００７７】
図４のＡは、受光面５０のうちの、検出画素５３を含む領域の構成例を示す平面図である。
【００７８】
図４では、受光面５０のR画素、G画素、B画素のうちの、G画素の一部が、検出画素５３になっている。なお、検出画素としては、G画素ではなく、R画素やB画素の一部を採用することができる。
【００７９】
検出画素５３では、撮像光学系１１Ａの射出瞳の異なる領域としての、例えば、右半分と左半分のそれぞれを通過した光を受光するために、左半分が遮光された左遮光画素５３Ｌと、右半分が遮光された右遮光画素５３Ｒとがある。
【００８０】
撮像光学系１１Ａの射出瞳を瞳分割して得られる２つの像の位相差を検出するために、左遮光画素５３Ｌと、右遮光画素５３Ｒとは、ペア（対）になっている。
【００８１】
図４のＢは、検出画素５３のうちの左遮光画素５３Ｌを、図４のＡの線分L21に沿って切断した断面を模式的に示す断面図である。
【００８２】
図４のＣは、検出画素５３のうちの右遮光画素５３Ｒを、図４のＡの線分L22に沿って切断した断面を模式的に示す断面図である。
【００８３】
なお、図４の検出画素５３において、図３の通常画素５２と同様に構成される部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００８４】
検出画素５３は、PD６１ないしオンチップレンズ６４を有する点で、通常画素５２と共通する。但し、検出画素５３は、CL６２に、遮光膜６６が設けられている点で、検出画素５３と相違する。
【００８５】
検出画素５３のうちの左遮光画素５３Ｌでは、図４のＢに示すように、遮光膜６６が、左遮光画素５３Ｌの左半分を遮光するように設けられている。これにより、左遮光画素５３Ｌでは、オンチップレンズ６４側から見て、オンチップレンズ６４の中心から右半分だけが開口している。その結果、左遮光画素５３Ｌでは、撮像光学系１１Ａの射出瞳の、例えば、右半分を通過した光が受光される。
【００８６】
検出画素５３のうちの右遮光画素５３Ｒでは、図４のＣに示すように、遮光膜６６が、右遮光画素５３Ｒの右半分を遮光するように設けられている。これにより、右遮光画素５３Ｒでは、オンチップレンズ６４側から見て、オンチップレンズ６４の中心から左半分だけが開口している。その結果、右遮光画素５３Ｒでは、撮像光学系１１Ａの射出瞳の、例えば、左半分を通過した光が受光される。
【００８７】
以上のような左遮光画素５３Ｌと右遮光画素５３Ｒとのペアにより、撮像光学系１１Ａの射出瞳の、水平方向（横方向）への瞳分割が行われる。
【００８８】
なお、検出画素５３は、例えば、水平方向に規則的に、受光面５０の全体に亘って配置される。検出画素５３の数を多くすれば、位相差、ひいては、位相差AFの精度は向上するが、撮影画像の画質が劣化する。そのため、検出画素５３の数や配置位置は、位相差AFの精度と、撮影画像の画質とのトレードオフを考慮して決定することができる。
【００８９】
また、検出画素５３の配置パターンは、一定パターンにすることもできるし、例えば、受光面５０の中心部や周辺部といった場所によって、異なるパターンにすることもできる。
【００９０】
図５は、通常画素５２、左遮光画素５３Ｌ、及び、右遮光画素５３Ｒそれぞれの画素値の系列の例を示す図である。
【００９１】
ここで、ライン（水平ライン）に並ぶ通常画素５２の画素値の系列を、通常系列ともいう。また、ラインに並ぶ左遮光画素５３Ｌの画素値の系列を、左遮光系列ともいい、ラインに並ぶ右遮光画素５３Ｒの画素値の系列を、右遮光系列ともいう。
【００９２】
図５は、通常画素５２と右遮光画素５３Ｒとが混在するラインから得られる通常系列と右遮光系列、及び、その右遮光画素５３Ｒとペアの左遮光画素５３Ｌが存在するラインから得られる左遮光系列を示している。
【００９３】
図５において、横軸は、画素の位置を表し、縦軸は、画素値（明るさ）を表す。
【００９４】
検出画素５３（左遮光画素５３Ｌ及び右遮光画素５３Ｒ）によれば、通常系列として現れる被写体像が、左遮光系列として現れる像（以下、左遮光像ともいう）と、右遮光系列として現れる像（以下、右遮光像ともいう）とに分離される。
【００９５】
左遮光像と右遮光像との相対的な位置関係を表す位相差を、左遮光像と右遮光像との相関演算を行うこと等によって検出することで、その位相差から、被写体像のフォーカスのずれ量であるデフォーカス量を検出することができる。
【００９６】
図６は、右遮光画素５３Ｒが存在するラインから得られる右遮光系列と、その右遮光画素５３Ｒとペアの左遮光画素５３Ｌが存在するラインから得られる左遮光系列との例を示す図である。
【００９７】
図６において、横軸は、画素の位置を表し、縦軸は、画素値を表す。
【００９８】
図６では、通常画素５２であるR画素が存在するラインL31の一部のG画素が、右遮光画素５３Ｒになっている。さらに、図６では、ラインL31の直後のラインL32の一部のG画素が、左遮光画素５３Ｌになっている。そして、例えば、右遮光画素５３Ｒと、その右遮光画素５３Ｒの左斜め下の左遮光画素５３Ｌとが、（左遮光像と右遮光像との）位相差を検出するためのペアになっている。
【００９９】
位相差は、左遮光系列及び右遮光系列を用いて、画素数を単位として求める（検出する）ことができる。
【０１００】
被写体像が合焦状態になっているときのデフォーカス量は0であるから、位相差から検出されるデフォーカス量を0にするように、撮像光学系１１Ａのレンズ位置を移動することで、AFを行うことができる。
【０１０１】
続いてAF（オートフォーカス）を説明する。図７は、コントラストAF(CDAF)、位相差AF(PDAF)、及び、ハイブリッドAFを説明する図である。
【０１０２】
図７において、横軸は、撮像光学系１１Ａのレンズ位置を表し、縦軸は、コントラスト評価値及び位相差を表す。
【０１０３】
また、図７において、横軸の左方向は、Inf（無限遠）方向を表し、右方向は、マクロ（至近）方向を表す。
【０１０４】
ここで、Inf方向は、遠い位置の被写体にフォーカスが合う方向であり、マクロ方向とは、近い位置の被写体にフォーカスが合う方向である。
【０１０５】
コントラストAF(CDAF)では、レンズ位置を移動しながら、各レンズ位置において、撮影画像のコントラストを表すコントラスト評価値が求められる。レンズ位置の移動は、コントラスト評価値が上昇するように行われる。
【０１０６】
コントラスト評価値は、合焦位置で最大になるので、コントラストAFでは、レンズ位置が、合焦位置に近づくように移動されていき、一旦、合焦位置を追い越す。その後、レンズ位置は、少しずつ、合焦位置を再び追い越すように移動され、そのときに得られるコントラスト評価値を用いて、コントラスト評価値が最大になるレンズ位置、すなわち、合焦位置が検出される。そして、レンズ位置が、コントラスト評価値が最大になる位置である合焦位置に移動される。
【０１０７】
位相差AF(PDAF)では、レンズ位置が合焦位置にあるときに、位相差が0になるとすると、位相差が0になるように、レンズ位置が、いわば直接的に移動される。
【０１０８】
ハイブリッドAFでは、ますに、位相差AFによって、レンズ位置が合焦位置付近に移動され、その後、コントラストAFによって、レンズ位置が合焦位置に精度良く移動される。
【０１０９】
続いて、位相差とデフォーカス量を説明する。図８は、位相差とデフォーカス量との関係を説明する図である。
【０１１０】
位相差、及び、デフォーカス量は、いずれも、被写体像のフォーカスのずれ量を表すが、AFでは、デフォーカス量は、現在のレンズ位置から合焦位置までが、どれだけ離れているかを表す物理量として用いる。
【０１１１】
すなわち、AFにおいて、デフォーカス量は、現在のレンズ位置から合焦位置までの距離と方向を表す。
【０１１２】
図８のＡは、デフォーカス量を説明する図である。
【０１１３】
コントラスト評価値が最大になるレンズ位置を合焦位置として、デフォーカス量は、現在のレンズ位置から合焦位置までの距離と方向を表す。
【０１１４】
いま、レンズ位置の移動量を、um（マイクロメートル）で表すこととすると、デフォーカス量の単位としては、umを採用することができる。
【０１１５】
一方、位相差は、被写体像のフォーカスのずれ量を、左遮光像と右遮光像との相対的な位置関係として表し、その単位は、画素数である。
【０１１６】
図８のＢは、位相差とデフォーカス量との関係を示す図である。
【０１１７】
図８のＢにおいて、横軸は、位相差を表し、縦軸は、デフォーカス量を表す。
【０１１８】
位相差とデフォーカス量とは、理想的には、図８のＢに示すように、線形の関係を有し、したがって、位相差とデフォーカス量とについては、一方から他方を求めることができる。
【０１１９】
いま、位相差を、デフォーカス量に変換（換算）する係数を、換算係数aということとすると、デフォーカス量は、位相差を用いて、式（１）に従って求めることができる。
【０１２０】
デフォーカス量[um]＝位相差[画素数]×換算係数a[um／画素数]
・・・（１）
【０１２１】
位相差とデフォーカス量との関係を、換算特性ということとすると、換算特性は、理想的には、直線で表される。図８のＢに示すように、横軸を位相差とし、縦軸をデフォーカス量とした2次元平面において、換算係数aは、直線で表される換算特性の傾きを表す。
【０１２２】
換算係数aは、カメラモジュールを製造する製造工場において、カメラモジュールの試験等を行うことによって、事前に（出荷前に）取得することができる。
【０１２３】
続いて、位相差AF(PDAF)を用いて被写体を合焦させる場合において、被写体を検出するための被写体検出領域に、遠近両方の被写体が含まれているときの合焦処理を説明する。
【０１２４】
図９は、遠近両方に被写体が存在する例を示す説明図である。図９には、手前に柵１２１が、奥に自動車１２２が、被写体として存在する例が示されている。
【０１２５】
このように遠近両方に被写体が存在する場合、位相差AF(PDAF)を用いて被写体を合焦させようとすると、どちらの被写体にも合焦出来ない場合がある。
【０１２６】
図１０は、図９に示したような遠近両方の被写体についてコントラストと位相差とを求めた例をグラフで示す説明図である。図１０のグラフの横軸は撮像光学系１１Ａのレンズ位置を示し、縦軸はコントラスト（左側）及び位相差（右側）を示している。
【０１２７】
位相差AF(PDAF)では、位相差が0となるようにレンズ位置を移動させる制御が行われる。一方のコントラストAF(CDAF)では、コントラストのピークにレンズ位置を移動させる制御が行われる。
【０１２８】
図１０に示したグラフでは、p2は位相差が0となるレンズ位置を、p1は遠い側の被写体のコントラストがピークとなるレンズ位置を、p3は近い側の被写体のコントラストがピークとなるレンズ位置を、それぞれ示している。
【０１２９】
しかし図１０に示したように、遠近両方の被写体が混在する状況で位相差を求めると、位相差が0となるレンズ位置が、遠い側、近い側いずれの被写体のコントラストのピークとなるレンズ位置と異なってしまう。従って、遠近両方に被写体が存在する場合、位相差AF(PDAF)を用いて被写体を合焦させようとすると、どちらの被写体にも合焦出来ない場合がある。
【０１３０】
そこで本技術の開示者は、遠近両方の被写体が混在している場合でも効率的にレンズ位置を決定することが出来る技術について鋭意検討を行った。
【０１３１】
その結果、本技術の開示者は、撮像画像上における被写体を検出する領域（被写体検出領域）を分割し、被写体検出領域及び分割後の各領域についてデフォーカス量の値（デフォーカス値）を求め、これらのデフォーカス値を用いて遠近両方の被写体が混在している場合でも効率的にレンズ位置を決定することが出来る技術を考案するに至った。
【０１３２】
図１１は、被写体検出領域の例を示す説明図である。図１１には、被写体検出領域１３０が、縦３つ、横３つの計９つの領域に分割されている例が示されている。なお、被写体検出領域１３０の分割は係る例に限定されるものではない。
【０１３３】
また図１１では、分割された領域が全て被写体検出領域１３０の中に収まっているよう図示したが、本開示は係る例に限定されるものではない。すなわち、少なくとも一部が被写体検出領域１３０に重なると共に、被写体検出領域１３０より小さい被写体検出領域を複数用意して、それぞれの領域に対するデフォーカス値を求めても良い。
【０１３４】
本実施形態では、撮像光学系１１Ａのレンズ位置が所定の位置にある状態で、被写体検出領域１３０及び９つの分割領域についてデフォーカス値を算出し、これらのデフォーカス値を用いて、撮像光学系１１Ａのレンズ位置を決定する。撮像光学系１１Ａのレンズ位置を決定する処理のことを、以下では単に「レンズ位置決定処理」とも称する。
【０１３５】
図１２は、メイン処理部１４の機能構成例を示す説明図である。図１２に示したように、メイン処理部１４は、算出部１１１と、決定部１１２と、を含む。
【０１３６】
算出部１１１は、撮像光学系１１Ａのレンズ位置が所定の位置にある状態で、被写体検出領域１３０及び９つの分割領域についてデフォーカス値を算出する。デフォーカス値の算出時のレンズ位置にデフォーカス値を加えると、対象の被写体に合焦するレンズ位置に相当する。算出部１１１が算出したデフォーカス値は、決定部１１２によるレンズ位置決定処理に用いられる。
【０１３７】
算出部１１１は、それぞれの領域のデフォーカス値を算出すると、算出したそれぞれのデフォーカス値をヒストグラム化してもよい。算出部１１１がヒストグラム化したデフォーカス値は、決定部１１２によるレンズ位置決定処理に用いられる。
【０１３８】
また算出部１１１は、ヒストグラム化したデフォーカス値を平滑化しても良い。算出部１１１がヒストグラム化して、平滑化したデフォーカス値は、決定部１１２によるレンズ位置決定処理に用いられる。
【０１３９】
決定部１１２は、算出部１１１が算出したデフォーカス値を用いて、被写体検出領域１３０におけるレンズ位置決定処理を行う。決定部１１２による撮像光学系１１Ａのレンズ位置処理の詳細については、後述する。
【０１４０】
以上、メイン処理部１４の機能構成例を説明した。続いて、カメラモジュールの動作、特にメイン処理部１４によるレンズ位置決定処理について説明する。
【０１４１】
［１．２．動作例］
（方法１）
レンズ位置決定処理の方法１は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値を並べ、至近側または無限遠側のデフォーカス値から所定の閾値の間に含まれる領域の数が所定値以上であれば、至近側または無限遠側に被写体が存在するとして、撮像光学系１１Ａのレンズ位置を決定する方法である。
【０１４２】
図１３は、レンズ位置決定処理の方法１の概要を示す説明図である。図１３は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値を並べた例を示す。方法１では、至近側または無限遠側のデフォーカス値から処理を始め、デフォーカス値から所定の閾値の間に含まれる領域の数と所定値とを比較する。
【０１４３】
なお基準枠は、被写体検出領域１３０全体を指す。以下の説明では被写体検出領域１３０全体のことを「基準枠」、その基準枠を分割したそれぞれの枠を「分割枠」とも称する。
【０１４４】
そして比較の結果、領域の数が所定値以上であれば、至近側または無限遠側に被写体が存在するとして、その領域のデフォーカス値を平均し、その平均値を用いて撮像光学系１１Ａのレンズ位置を決定して、決定した位置に撮像光学系１１Ａを移動させて、PDAFを実行する。
【０１４５】
図１４は、方法１による、メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。以下、図１４を用いて方法１による、メイン処理部１４によるレンズ位置決定処理を説明する。
【０１４６】
メイン処理部１４は、まず撮像光学系１１Ａのレンズ位置が所定の位置にある状態で、基準枠及び各分割枠のデフォーカス値を算出する（ステップＳ１０１）。ステップＳ１０１のデフォーカス値の算出は算出部１１１が行う。
【０１４７】
メイン処理部１４は、基準枠及び各分割枠のデフォーカス値を算出した際に、位相差信頼性が所定の基準を満たしていない枠については、その後のレンズ位置決定処理で用いないようにしても良い。位相差信頼性については、本件出願人が先に提案した特開2010-139942号公報に記載されている。
【０１４８】
上記ステップＳ１０１で基準枠及び各分割枠のデフォーカス値を算出すると、続いてメイン処理部１４は、最もInf側またはMacro側のデフォーカス値から所定の閾値に収まっている枠の個数を取得する（ステップＳ１０２）。ステップＳ１０２の取得処理は、例えば決定部１１２が行う。
【０１４９】
なおメイン処理部１４は、枠の個数を取得する際に、基準枠は除外しても良い。メイン処理部１４は、Inf側とMacro側のどちらから枠の個数を取得するかは、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０１５０】
上記ステップＳ１０２で枠の個数を取得すると、続いてメイン処理部１４は、取得した枠の個数が所定値以上であるかどうか判断する（ステップＳ１０３）。ステップＳ１０３の判断処理は、例えば決定部１１２が行う。
【０１５１】
上記ステップＳ１０３の判断の結果、枠の個数が所定値以上であれば（ステップＳ１０３、Ｙｅｓ）、メイン処理部１４は、基準枠に無限遠側または至近側の被写体が存在するとして、閾値に収まっている枠のデフォーカス値の平均から撮像光学系１１Ａのレンズ位置を決定し、位相差AF処理部１７にPDAFを実行させる（ステップＳ１０４）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０１５２】
一方、上記ステップＳ１０３の判断の結果、枠の個数が所定値未満であれば（ステップＳ１０３、Ｎｏ）、メイン処理部１４は、全ての枠について探索が終了したか判断する（ステップＳ１０４）。ステップＳ１０４の判断処理は、例えば決定部１１２が行う。
【０１５３】
上記ステップＳ１０４の判断の結果、全ての枠について探索が終了していた場合は（ステップＳ１０４、Ｙｅｓ）、メイン処理部１４は、基準枠のデフォーカス量から撮像光学系１１Ａのレンズ位置を決定し、PDAFまたはCDAFを実行させる（ステップＳ１０５）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０１５４】
一方、上記ステップＳ１０４の判断の結果、全ての枠について探索が終了していない場合は（ステップＳ１０４、Ｎｏ）、メイン処理部１４は、最もInf側またはMacro側の枠を除外する（ステップＳ１０６）。ステップＳ１０６の除外処理は例えば決定部１１２が行う。
【０１５５】
そしてメイン処理部１４は、ステップＳ１０６で最もInf側またはMacro側の枠を除外すると、上記ステップＳ１０２の処理に戻って、（除外後の）最もInf側またはMacro側のデフォーカス値から所定の閾値に収まっている枠の個数を取得する。
【０１５６】
メイン処理部１４は、上述した一連の動作を実行することで、被写体検出領域１３０に、仮に無限遠側（Inf側）と至近側（Macro側）の両方に被写体が存在していたとしても、どちらか一方の被写体に合焦できるように撮像光学系１１Ａのレンズ位置を決定できる。
【０１５７】
（方法２）
レンズ位置決定処理の方法２は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値を並べ、基準枠のデフォーカス値から無限遠側（Inf側）及び至近側（Macro側）の方向の、所定の閾値の間に収まっていない領域の数が所定値以上かどうかを判断し、所定の閾値の間に含まれない領域の数が所定値以上であれば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置を決定する方法である。
【０１５８】
図１５は、レンズ位置決定処理の方法２の概要を示す説明図である。図１５は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値を並べた例を示す。
【０１５９】
方法２では、基準枠のデフォーカス値から無限遠側（Inf側）及び至近側（Macro側）の方向の、所定の閾値の間に含まれない領域の数が所定値以上かどうかを判断する。
【０１６０】
所定の閾値の間に含まれない領域の数が所定値以上であれば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置を決定する。
【０１６１】
図１６は、方法２による、メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。以下、図１６を用いて方法２による、メイン処理部１４によるレンズ位置決定処理を説明する。
【０１６２】
メイン処理部１４は、まず撮像光学系１１Ａのレンズ位置が所定の位置にある状態で、基準枠及び各分割枠のデフォーカス値を算出する（ステップＳ１１１）。ステップＳ１１１のデフォーカス値の算出は算出部１１１が行う。
【０１６３】
メイン処理部１４は、方法１と同様に、基準枠及び各分割枠のデフォーカス値を算出した際に、位相差信頼性が所定の基準を満たしていない枠については、その後のレンズ位置決定処理で用いないようにしても良い。
【０１６４】
上記ステップＳ１１１で基準枠及び各分割枠のデフォーカス値を算出すると、続いてメイン処理部１４は、基準枠のデフォーカス値から所定の閾値に収まっていない枠の個数を取得する（ステップＳ１１２）。ステップＳ１１２の取得処理は、例えば決定部１１２が行う。
【０１６５】
上記ステップＳ１１２で基準枠のデフォーカス値から所定の閾値に収まっていない枠の個数を取得すると、続いてメイン処理部１４は、取得した枠の個数が所定値以上であるかどうか判断する（ステップＳ１１３）。ステップＳ１１３の判断処理は、例えば決定部１１２が行う。
【０１６６】
上記ステップＳ１１３の判断の結果、枠の個数が所定値以上であれば（ステップＳ１１３、Ｙｅｓ）、メイン処理部１４は、Inf側またはMacro側のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１１４）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０１６７】
例えば、基準枠のデフォーカス値から所定の閾値に収まっていない枠の個数が、Inf側で２個、Macro側で４個であり、上記所定値が５個であれば、メイン処理部１４は、Inf側またはMacro側のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる。
【０１６８】
メイン処理部１４は、PDAFまたはCDAFのどちらを実行させるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０１６９】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０１７０】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、最もInf側またはMacro側のデフォーカス値から所定の閾値に収まっている枠の個数が多い方で決定しても良い。
【０１７１】
またメイン処理部１４は、Inf側またはMacro側の枠を選択する際に、最も基準枠から遠い枠を選択しても良く、最も基準枠に近い枠を選択しても良い。またメイン処理部１４は、Inf側またはMacro側の枠のデフォーカス値の平均からレンズ位置を決定しても良い。
【０１７２】
一方、上記ステップＳ１１３の判断の結果、枠の個数が所定値未満であれば（ステップＳ１１３、Ｎｏ）、メイン処理部１４は、基準枠のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１１５）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０１７３】
メイン処理部１４は、上述した一連の動作を実行することで、被写体検出領域１３０に、仮に無限遠側（Inf側）と至近側（Macro側）の両方に被写体が存在していたとしても、どちらか一方の被写体に合焦できるように撮像光学系１１Ａのレンズ位置を決定できる。
【０１７４】
またメイン処理部１４は、上記ステップＳ１１２での枠の取得処理に用いる所定の閾値や、上記ステップＳ１１３での判断処理に用いる所定値により、レンズ位置決定処理の際の調整幅を可変とすることができる。
【０１７５】
（方法３）
レンズ位置決定処理の方法３は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化し、ヒストグラム化したデフォーカス値が所定の条件を満たせば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置を決定する方法である。
【０１７６】
図１７は、レンズ位置決定処理の方法３の概要を示す説明図である。図１７は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化して並べた例を示す。
【０１７７】
この方法３では、所定の条件として、ヒストグラムの元となる単位要素（図１７のヒストグラムにおける１つの箱を意味する）が隣接している場合にその個数を数え、その個数が閾値以上のグループ（島）が２つ以上あることを採用する。この条件を満たせば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置が決定される。
【０１７８】
図１７の例では、単位要素の隣接する個数は、左から３、３、１、２、１である。閾値を２とすると、閾値以上のグループ（島）は３つである。従って、閾値以上のグループ（島）が２つ以上あるので、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置が決定される。
【０１７９】
図１８は、方法３による、メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。以下、図１８を用いて方法３による、メイン処理部１４によるレンズ位置決定処理を説明する。
【０１８０】
メイン処理部１４は、まず撮像光学系１１Ａのレンズ位置が所定の位置にある状態で、基準枠及び各分割枠のデフォーカス値を算出し、そのデフォーカス値をヒストグラム化する（ステップＳ１２１）。ステップＳ１２１のデフォーカス値の算出及びヒストグラム化は算出部１１１が行う。
【０１８１】
メイン処理部１４は、方法１、２と同様に、基準枠及び各分割枠のデフォーカス値を算出した際に、位相差信頼性が所定の基準を満たしていない枠については、その後のレンズ位置決定処理で用いないようにしても良い。
【０１８２】
上記ステップＳ１２１で基準枠及び各分割枠のデフォーカス値を算出し、そのデフォーカス値をヒストグラム化すると、続いてメイン処理部１４は、単位要素が隣接するヒストグラムの島の個数を取得する（ステップＳ１２２）。ステップＳ１２２の取得処理は、例えば決定部１１２が行う。
【０１８３】
上記ステップＳ１１２で単位要素が隣接するヒストグラムの島の個数を取得すると、続いてメイン処理部１４は、単位要素の個数が所定の閾値以上の島が２つ以上あるかどうか判断する（ステップＳ１２３）。ステップＳ１２３の判断処理は、例えば決定部１１２が行う。なお、判断の基準となる数は２つ以上に限られず、３つ以上等であってもよい。
【０１８４】
上記ステップＳ１２３の判断の結果、単位要素の個数が所定の閾値以上の島が２つ以上あれば（ステップＳ１２３、Ｙｅｓ）、メイン処理部１４は、Inf側またはMacro側のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１２４）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０１８５】
メイン処理部１４は、PDAFまたはCDAFのどちらを実行させるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０１８６】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０１８７】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、最もInf側またはMacro側のデフォーカス値から所定の閾値に収まっている枠の個数が多い方で決定しても良い。
【０１８８】
またメイン処理部１４は、Inf側またはMacro側の枠を選択する際に、最も基準枠から遠い枠を選択しても良く、最も基準枠に近い枠を選択しても良い。またメイン処理部１４は、Inf側またはMacro側の枠のデフォーカス値の平均からレンズ位置を決定しても良い。
【０１８９】
一方、上記ステップＳ１２３の判断の結果、単位要素の個数が所定の閾値以上の島が２つ未満であれば（ステップＳ１２３、Ｎｏ）、メイン処理部１４は、基準枠のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１２５）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０１９０】
メイン処理部１４は、上述した一連の動作を実行することで、被写体検出領域１３０に、仮に無限遠側（Inf側）と至近側（Macro側）の両方に被写体が存在していたとしても、どちらか一方の被写体に合焦できるように撮像光学系１１Ａのレンズ位置を決定できる。
【０１９１】
またこの方法３では、基準枠のデフォーカス値が仮に位相差信頼性を満たしていなくても、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化するので、上述した一連の処理を実行可能である。
【０１９２】
（方法４）
レンズ位置決定処理の方法４は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化し、ヒストグラム化したデフォーカス値が所定の条件を満たせば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置を決定する方法である。
【０１９３】
この方法４では、所定の条件として、ヒストグラムの元となる単位要素が隣接している場合にその個数を数え、その個数が一番多いグループ（島）と、その次に多いグループの単位要素の和の、全ての単位要素の個数に占める比率が所定値以上であることを採用する。この条件を満たせば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置が決定される。
【０１９４】
図１７の例では、単位要素の隣接する個数は、左から３、３、１、２、１である。従って、単位要素の個数が一番多いグループ（島）と、その次に多いグループの単位要素の和は６である。
【０１９５】
５０％を閾値とすると、その和が全ての単位要素の個数に占める比率は６０％であり、閾値を超えているので、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置が決定される。
【０１９６】
図１９は、方法４による、メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。以下、図１９を用いて方法４による、メイン処理部１４によるレンズ位置決定処理を説明する。
【０１９７】
メイン処理部１４は、まず撮像光学系１１Ａのレンズ位置が所定の位置にある状態で、基準枠及び各分割枠のデフォーカス値を算出し、そのデフォーカス値をヒストグラム化する（ステップＳ１３１）。ステップＳ１３１のデフォーカス値の算出及びヒストグラム化は算出部１１１が行う。
【０１９８】
メイン処理部１４は、方法１〜３と同様に、基準枠及び各分割枠のデフォーカス値を算出した際に、位相差信頼性が所定の基準を満たしていない枠については、その後のレンズ位置決定処理で用いないようにしても良い。
【０１９９】
上記ステップＳ１３１で基準枠及び各分割枠のデフォーカス値を算出し、そのデフォーカス値をヒストグラム化すると、続いてメイン処理部１４は、単位要素が隣接するヒストグラムの島の個数を取得する（ステップＳ１３２）。ステップＳ１３２の取得処理は、例えば決定部１１２が行う。
【０２００】
上記ステップＳ１３２で単位要素が隣接するヒストグラムの島の個数を取得すると、続いてメイン処理部１４は、単位要素の個数が一番多い島と、その次に多い島の単位要素の和の、全ての単位要素の個数に占める比率が所定値以上かどうか判断する（ステップＳ１３３）。ステップＳ１３３の判断処理は、例えば決定部１１２が行う。
【０２０１】
上記ステップＳ１３３の判断の結果、単位要素の個数が一番多い島と、その次に多い島の単位要素の和の、全ての単位要素の個数に占める比率が所定値以上であれば（ステップＳ１３３、Ｙｅｓ）、メイン処理部１４は、Inf側またはMacro側のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１３４）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０２０２】
メイン処理部１４は、PDAFまたはCDAFのどちらを実行させるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０２０３】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０２０４】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、最もInf側またはMacro側のデフォーカス値から所定の閾値に収まっている枠の個数が多い方で決定しても良い。
【０２０５】
またメイン処理部１４は、Inf側またはMacro側の枠を選択する際に、最も基準枠から遠い枠を選択しても良く、最も基準枠に近い枠を選択しても良い。またメイン処理部１４は、Inf側またはMacro側の枠のデフォーカス値の平均からレンズ位置を決定しても良い。
【０２０６】
一方、上記ステップＳ１３３の判断の結果、単位要素の個数が一番多い島と、その次に多い島の単位要素の和の、全ての単位要素の個数に占める比率が所定値未満であれば（ステップＳ１３３、Ｎｏ）、メイン処理部１４は、基準枠のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１３５）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０２０７】
メイン処理部１４は、上述した一連の動作を実行することで、被写体検出領域１３０に、仮に無限遠側（Inf側）と至近側（Macro側）の両方に被写体が存在していたとしても、どちらか一方の被写体に合焦できるように撮像光学系１１Ａのレンズ位置を決定できる。
【０２０８】
またこの方法４では、方法３と同様に、基準枠のデフォーカス値が仮に位相差信頼性を満たしていなくても、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化するので、上述した一連の処理を実行可能である。
【０２０９】
（方法５）
レンズ位置決定処理の方法５は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化し、ヒストグラム化したデフォーカス値が所定の条件を満たせば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置を決定する方法である。
【０２１０】
図２０は、レンズ位置決定処理の方法５の概要を示す説明図である。図２０は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化して並べ、そのヒストグラムを平滑化したものの例を示す。
【０２１１】
この方法５では、所定の条件として、デフォーカス値のヒストグラムを平滑化し、その平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在していることを採用する。この条件を満たせば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置が決定される。
【０２１２】
図２１は、方法５による、メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。以下、図２１を用いて方法５による、メイン処理部１４によるレンズ位置決定処理を説明する。
【０２１３】
メイン処理部１４は、まず撮像光学系１１Ａのレンズ位置が所定の位置にある状態で、基準枠及び各分割枠のデフォーカス値を算出し、そのデフォーカス値をヒストグラム化する（ステップＳ１４１）。ステップＳ１４１のデフォーカス値の算出及びヒストグラム化は算出部１１１が行う。
【０２１４】
メイン処理部１４は、方法１〜４と同様に、基準枠及び各分割枠のデフォーカス値を算出した際に、位相差信頼性が所定の基準を満たしていない枠については、その後のレンズ位置決定処理で用いないようにしても良い。
【０２１５】
上記ステップＳ１４１で基準枠及び各分割枠のデフォーカス値を算出し、そのデフォーカス値をヒストグラム化すると、続いてメイン処理部１４は、生成したヒストグラムを平滑化して、所定の閾値を超えるピークを検出する（ステップＳ１４２）。ステップＳ１４２の平滑化処理及びピークの検出処理は算出部１１１が行う。
【０２１６】
上記ステップＳ１４２でヒストグラムを平滑化すると、続いてメイン処理部１４は、平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在しているかどうか判断する（ステップＳ１４３）。ステップＳ１４３の判断処理は、例えば決定部１１２が行う。
【０２１７】
上記ステップＳ１４３の判断の結果、平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在していれば（ステップＳ１４３、Ｙｅｓ）、メイン処理部１４は、Inf側またはMacro側のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１４４）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０２１８】
メイン処理部１４は、PDAFまたはCDAFのどちらを実行させるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０２１９】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０２２０】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、最もInf側またはMacro側のデフォーカス値から所定の閾値に収まっている枠の個数が多い方で決定しても良い。
【０２２１】
またメイン処理部１４は、Inf側またはMacro側の枠を選択する際に、最も基準枠から遠い枠を選択しても良く、最も基準枠に近い枠を選択しても良い。またメイン処理部１４は、Inf側またはMacro側の枠のデフォーカス値の平均からレンズ位置を決定しても良い。
【０２２２】
一方、上記ステップＳ１４３の判断の結果、平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在していなければ（ステップＳ１４３、Ｎｏ）、メイン処理部１４は、基準枠のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１４５）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０２２３】
メイン処理部１４は、上述した一連の動作を実行することで、被写体検出領域１３０に、仮に無限遠側（Inf側）と至近側（Macro側）の両方に被写体が存在していたとしても、どちらか一方の被写体に合焦できるように撮像光学系１１Ａのレンズ位置を決定できる。
【０２２４】
またこの方法５では、方法３、４と同様に、基準枠のデフォーカス値が仮に位相差信頼性を満たしていなくても、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化するので、上述した一連の処理を実行可能である。
【０２２５】
またこの方法５では、ヒストグラムを平滑化するので、ヒストグラムの単位要素が隣接しないような場合でもレンズ位置を無限遠側または至近側に決定することが可能となる。
【０２２６】
（方法６）
レンズ位置決定処理の方法５は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化し、ヒストグラム化したデフォーカス値が所定の条件を満たせば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置を決定する方法である。
【０２２７】
図２２は、レンズ位置決定処理の方法６の概要を示す説明図である。図２２は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値を時間方向に加算した上でヒストグラム化して並べ、そのヒストグラムを平滑化したものの例を示す。図２２では、横軸が、時間加算したデフォーカス値から求めた撮像光学系１１Ａのレンズのターゲット位置となっている。
【０２２８】
この方法６では、所定の条件として、デフォーカス値を時間方向に加算した上でヒストグラム化して平滑化し、その平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在していることを採用する。この条件を満たせば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置が決定される。
【０２２９】
図２３は、方法６による、メイン処理部１４によるレンズ位置決定処理を説明する流れ図である。以下、図２３を用いて方法６による、メイン処理部１４によるレンズ位置決定処理を説明する。
【０２３０】
メイン処理部１４は、まず撮像光学系１１Ａのレンズ位置が所定の位置にある状態で、基準枠及び各分割枠のデフォーカス値を算出し、そのデフォーカス値を時間方向に加算した上でヒストグラム化する（ステップＳ１５１）。ステップＳ１５１のデフォーカス値の算出、時間方向の加算及びヒストグラム化は算出部１１１が行う。
【０２３１】
メイン処理部１４は、方法１〜５と同様に、基準枠及び各分割枠のデフォーカス値を算出した際に、位相差信頼性が所定の基準を満たしていない枠については、その後のレンズ位置決定処理で用いないようにしても良い。
【０２３２】
上記ステップＳ１５１で基準枠及び各分割枠のデフォーカス値を算出し、そのデフォーカス値を時間加算してヒストグラム化すると、続いてメイン処理部１４は、生成したヒストグラムを平滑化し、所定の閾値を超えるピークを検出する（ステップＳ１５２）。ステップＳ１５２の平滑化処理及びピークの検出処理は算出部１１１が行う。
【０２３３】
上記ステップＳ１４２でヒストグラムを平滑化すると、続いてメイン処理部１４は、平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在しているかどうか判断する（ステップＳ１４３）。ステップＳ１４３の判断処理は、例えば決定部１１２が行う。
【０２３４】
上記ステップＳ１５３の判断の結果、平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在していれば（ステップＳ１５３、Ｙｅｓ）、メイン処理部１４は、Inf側またはMacro側のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１５４）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０２３５】
メイン処理部１４は、PDAFまたはCDAFのどちらを実行させるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０２３６】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、事前の設定に基づいて決定しても良く、ユーザの指定に基づいて決定しても良い。
【０２３７】
またメイン処理部１４は、PDAFまたはCDAFを実行させる際に、Inf側またはMacro側のどちらのデフォーカス値を用いるかを、最もInf側またはMacro側のデフォーカス値から所定の閾値に収まっている枠の個数が多い方で決定しても良い。
【０２３８】
またメイン処理部１４は、Inf側またはMacro側の枠を選択する際に、最も基準枠から遠い枠を選択しても良く、最も基準枠に近い枠を選択しても良い。またメイン処理部１４は、Inf側またはMacro側の枠のデフォーカス値の平均からレンズ位置を決定しても良い。
【０２３９】
一方、上記ステップＳ１５３の判断の結果、平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在していなければ（ステップＳ１５３、Ｎｏ）、メイン処理部１４は、基準枠のデフォーカス値からレンズ位置を決定して、PDAFまたはCDAFを実行させる（ステップＳ１５５）。撮像光学系１１Ａのレンズ位置の決定は決定部１１２が行う。
【０２４０】
メイン処理部１４は、上述した一連の動作を実行することで、被写体検出領域１３０に、仮に無限遠側（Inf側）と至近側（Macro側）の両方に被写体が存在していたとしても、どちらか一方の被写体に合焦できるように撮像光学系１１Ａのレンズ位置を決定できる。
【０２４１】
またこの方法６では、方法３〜５と同様に、基準枠のデフォーカス値が仮に位相差信頼性を満たしていなくても、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化するので、上述した一連の処理を実行可能である。
【０２４２】
またこの方法６では、方法５と同様に、ヒストグラムを平滑化するので、ヒストグラムの単位要素が隣接しないような場合でもレンズ位置を無限遠側または至近側に決定することが可能となる。
【０２４３】
またこの方法６では、ヒストグラムの単位要素の総数が方法３〜５と比べて増加するので、レンズ位置の決定精度を向上させることが可能になる。
【０２４４】
なお本開示における焦点位置は、位相差やデフォーカス値を含んだ像ズレ量に相当するものであってもよい。デフォーカス値は現在のレンズ位置から合焦位置までの距離と方向を表す値であることから、デフォーカス値を求めることは、本開示における焦点位置の算出の一例に相応する。メイン処理部１４は、各領域の焦点位置に対する分析を行うことで、被写体に合焦させるための撮像光学系１１Ａのレンズの移動量を焦点位置に基づいて算出することが出来る。
【０２４５】
（適用例）
上述したカメラモジュールは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々な電子機器に使用することができる。
【０２４６】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する電子機器
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される電子機器
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される電子機器
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される電子機器
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される電子機器
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される電子機器
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される電子機器
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される電子機器
【０２４７】
＜２．まとめ＞
以上説明したように本開示の一実施形態によれば、無限遠側（Inf側）と至近側（Macro側）の両方に被写体が被写体検出領域１３０に存在していたとしても、どちらか一方の被写体に合焦できるように撮像光学系１１Ａのレンズ位置を決定できる、カメラモジュールを提供することが出来る。
【０２４８】
例えば、メイン処理部１４は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値を並べ、至近側または無限遠側のデフォーカス値から所定の閾値の間に含まれる領域の数が所定値以上であれば、至近側または無限遠側に被写体が存在するとして、撮像光学系１１Ａのレンズ位置を決定する。
【０２４９】
また例えば、メイン処理部１４は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値を並べ、基準枠のデフォーカス値から無限遠側（Inf側）及び至近側（Macro側）の方向の、所定の閾値の間に収まっていない領域の数が所定値以上かどうかを判断し、所定の閾値の間に含まれない領域の数が所定値以上であれば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置を決定する。
【０２５０】
また例えば、メイン処理部１４は、レンズ位置決定処理の方法３は、被写体検出領域１３０及び９つの分割領域について算出したデフォーカス値をヒストグラム化し、ヒストグラム化したデフォーカス値が所定の条件を満たせば、至近側または無限遠側に被写体が存在するとして、至近側または無限遠側に撮像光学系１１Ａのレンズ位置を決定する。
【０２５１】
上記所定の条件は、例えば、ヒストグラムの元となる単位要素が隣接している場合にその個数を数え、その個数が閾値以上のグループが２つ以上あることでもよく、ヒストグラムの元となる単位要素が隣接している場合にその個数を数え、その個数が一番多いグループと、その次に多いグループの単位要素の和の、全ての単位要素の個数に占める比率が所定値以上であることもでもよい。
【０２５２】
また上記所定の条件は、デフォーカス値のヒストグラムを平滑化し、その平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在していることでもよく、デフォーカス値を時間方向に加算した上でヒストグラム化して平滑化し、その平滑化したヒストグラムにおいて、所定の閾値を超えるピークが複数存在していることでもよい。
【０２５３】
本明細書の処理における処理ステップは、必ずしもフローチャート又はシーケンス図に記載された順序に沿って時系列に実行されなくてよい。例えば、処理における処理ステップは、フローチャート又はシーケンス図として記載した順序と異なる順序で実行されても、並列的に実行されてもよい。
【０２５４】
また、本明細書の装置に備えられるプロセッサ（例えば、ＣＰＵ、ＤＳＰなど）を上記装置として機能させるためのコンピュータプログラム（換言すると、上記プロセッサに上記装置の構成要素の動作を実行させるためのコンピュータプログラム）も作成可能である。また、当該コンピュータプログラムを記録した記録媒体も提供されてもよい。また、上記コンピュータプログラムを記憶するメモリと、上記コンピュータプログラムを実行可能な１つ以上のプロセッサとを備える装置（例えば、完成品、又は完成品のためのモジュール（部品、処理回路若しくはチップなど））も提供されてもよい。また、上記装置の１つ以上の構成要素の動作を含む方法も、本開示に係る技術に含まれる。
【０２５５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２５６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２５７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、
無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、前記算出部が算出した前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定する決定部と、
を備える、制御装置。
（２）
前記決定部は、前記焦点位置が前記所定の範囲に収まっている前記位相差検出領域の数が所定の閾値以上であれば前記算出部が算出した前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定する、前記（１）に記載の制御装置。
（３）
前記位相差検出領域は、第１の領域と、少なくとも一部が前記第１の領域に重なる複数の第２の領域と、を含む、前記（１）または（２）に記載の制御装置。
（４）
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、
基準となる前記位相差検出領域の前記焦点位置から、焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、
を備える、制御装置。
（５）
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化する算出部と、
ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、
を備える、制御装置。
（６）
前記第１の所定条件は、隣接するヒストグラムの単位要素の個数が所定値以上のグループが複数存在することである、前記（５）に記載の制御装置。
（７）
前記第１の所定条件は、隣接するヒストグラムの単位要素の個数が所定値以上のグループが複数存在し、かつ、当該グループの単位要素の個数が第２の所定条件を満たすことである、前記（５）に記載の制御装置。
（８）
前記第２の所定条件は、単位要素の個数が一番多いグループと次に多いグループの単位要素の個数の和の、全ての単位要素の個数に占める比率が所定値以上である、前記（７）に記載の制御装置。
（９）
前記算出部は、ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置を平滑化し、
前記第１の所定条件は、平滑化したヒストグラムの所定の閾値を超えたピークが複数存在していることである、前記（５）に記載の制御装置。
（１０）
前記算出部は、ヒストグラム化した前記焦点位置を所定の時間加算して平滑化し、
前記第１の所定条件は、平滑化したヒストグラムの所定の閾値を超えたピークが複数存在していることである、前記（５）に記載の制御装置。
（１１）
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、
無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、算出された前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定することと、
を含む、制御方法。
（１２）
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、
基準となる前記位相差検出領域にある前記焦点位置から、前記焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、
を含む、制御方法。
（１３）
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化することと、
ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、
を含む、制御方法。
（１４）
コンピュータに、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、
無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、算出された前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定することと、
を実行させる、コンピュータプログラム。
（１５）
コンピュータに、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出することと、
基準となる前記位相差検出領域にある前記焦点位置から、前記焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、
を実行させる、コンピュータプログラム。
（１６）
コンピュータに、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化することと、
ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定することと、
を実行させる、コンピュータプログラム。
（１７）
光を集光する撮像光学系と、
前記撮像光学系からの光を受光し、画像を撮像する撮像素子と、
前記撮像素子が出力する信号を処理する信号処理部と
を備え、
前記信号処理部は、
位相差検出領域を複数含む前記撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、
無限遠側または至近側にある前記焦点位置から所定の範囲に収まっている、前記算出部が算出した前記位相差検出領域の前記焦点位置の平均値に基づき前記焦点レンズの位置を決定する決定部と、
を備える、電子機器。
（１８）
光を集光する撮像光学系と、
前記撮像光学系からの光を受光し、画像を撮像する撮像素子と、
前記撮像素子が出力する信号を処理する信号処理部と
を備え、
前記信号処理部は、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出する算出部と、
基準となる前記位相差検出領域の前記焦点位置から、焦点位置が所定の範囲以上外れている前記位相差検出領域の数が所定値を上回れば、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、
を備える、電子機器。
（１９）
光を集光する撮像光学系と、
前記撮像光学系からの光を受光し、画像を撮像する撮像素子と、
前記撮像素子が出力する信号を処理する信号処理部と
を備え、
前記信号処理部は、
位相差検出領域を複数含む撮像素子による、焦点レンズを通過する被写体像の撮像結果に基づいて各前記位相差検出領域に対して焦点位置を算出してヒストグラム化する算出部と、
ヒストグラム化したそれぞれの前記位相差検出領域の前記焦点位置が第１の所定条件を満たした場合に、無限遠側または至近側にある前記焦点位置に基づき前記焦点レンズの位置を決定する決定部と、
を備える、電子機器。
【符号の説明】
【０２５８】
１１  レンズ鏡筒
１１Ａ  撮像光学系
１２  光学フィルタ
１３  イメージセンサ
１４  メイン処理部
１５  照明制御部
１６  センサ駆動部
１７  位相差AF処理部
１８  画像処理部
１９  フォーカス駆動部
２０  表示部
２１  操作部
２２  フラッシュメモリ
３１  CPU
３２  メモリ
３３  ADC
３４  DAC
３５  通信I/F
５０  受光面
５１  画素ブロック
５２  通常画素
５３  検出画素
５３Ｌ  左遮光画素
５３Ｒ  右遮光画素
６１  PD
６２  CL
６３  カラーフィルタ
６４  オンチップレンズ
６６  遮光膜
【図１】
2017022331.tif 000003
【図２Ａ】
2017022331.tif 000004
【図２Ｂ】
2017022331.tif 000005
【図３】
2017022331.tif 000006
【図４】
2017022331.tif 000007
【図５】
2017022331.tif 000008
【図６】
2017022331.tif 000009
【図７】
2017022331.tif 000010
【図８】
2017022331.tif 000011
【図９】
2017022331.tif 000012
【図１０】
2017022331.tif 000013
【図１１】
2017022331.tif 000014
【図１２】
2017022331.tif 000015
【図１３】
2017022331.tif 000016
【図１４】
2017022331.tif 000017
【図１５】
2017022331.tif 000018
【図１６】
2017022331.tif 000019
【図１７】
2017022331.tif 000020
【図１８】
2017022331.tif 000021
【図１９】
2017022331.tif 000022
【図２０】
2017022331.tif 000023
【図２１】
2017022331.tif 000024
【図２２】
2017022331.tif 000025
【図２３】
2017022331.tif 000026
【国際調査報告】
2017022331.tif 000027
2017022331.tif 000028
2017022331.tif 000029
2017022331.tif 000030
2017022331.tif 000031
2017022331.tif 000032
2017022331.tif 000033
2017022331.tif 000034
2017022331.tif 000035
2017022331.tif 000036