(57)【要約】      （修正有）【課題】ＡＦの精度向上を図るようにした焦点調節方法、焦点調節装置、及び焦点調節プログラムを提供すること。【解決手段】レンズを所定シフト量移動させて前記レンズを介して複数の撮像素子で撮像される画像の焦点を調節する焦点調節装置における焦点調節方法であって、前記複数の撮像素子が配置された撮像領域のうち第１及び第２のシフト量算出領域の左画像と右画像の各画像データに基づいて、第１及び第２のシフト量を算出し、直線座標上の前記第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに第１の座標変換部により夫々座標変換し、前記第１及び第２のベクトルの平均値を平均値算出部により算出し、第２の座標変換部により、円周座標上の前記平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、前記レンズを移動させるシフト量として算出し、算出された前記シフト量に基づいて前記画像の焦点が調節される。【選択図】図４
2015206966.tif 000002
【特許請求の範囲】
【請求項１】
レンズを所定シフト量移動させて前記レンズを介して複数の撮像素子で撮像される画像の焦点を調節する焦点調節装置における焦点調節方法であって、
前記複数の撮像素子が配置された撮像領域のうち第１及び第２のシフト量算出領域の各々に含まれる第１及び第２の撮像素子により夫々撮像された前記画像の左画像と右画像の各画像データに基づいて、前記第１及び第２のシフト量算出領域における第１及び第２のシフト量をシフト量算出部により算出し、
直線座標上の前記第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに第１の座標変換部により夫々座標変換し、
前記第１及び第２のベクトルの平均値を平均値算出部により算出し、
円周座標上の前記平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、前記レンズを移動させるシフト量として第２の座標変換部により算出し、  
算出された前記シフト量に基づいて前記画像の焦点が調節されることを特徴とする焦点調節方法。  
【請求項２】
更に、前記複数の撮像素子のうち前記第１及び第２の撮像素子以外の複数の撮像素子で撮像された画像データのうち輝度データの最大値と最小値との差を示すコントラスト値に基づいて前記画像の焦点をコントラスト焦点調節処理部により調節し、  
前記第２の座標変換部で算出された前記シフト量に基づいて前記画像の焦点が調節された後、前記コントラスト焦点調節処理部により前記画像の焦点が調節されることを特徴とする請求項１記載の焦点調節方法。
【請求項３】
前記第１の座標変換部により、座標変換後の前記第１及び第２のベクトルに対して、前記第１及び第２のシフト量算出領域における第１及び第２の画像に含まれるエッジ成分の大きさに応じた第１及び第２の重み量を夫々乗算することを特徴とする請求項１記載の焦点調節方法。
【請求項４】
前記シフト量算出部で算出された前記第１及び第２のシフト量は円周座標上において前記第１及び第２のベクトルにおける方向を夫々表わし、前記第１の座標変換部で乗算された前記第１及び第２の重み量は円周座標上で前記第１及び第２のベクトルに対する大きさを夫々表わすことを特徴とする請求項３の焦点調節方法。
【請求項５】
前記平均値算出部により、前記第１及び第２のベクトルの和を前記第１の座標変換部で算出された前記第１及び第２の重み量の和で除算した値を、前記第１及び第２のベクトルの平均値として算出することを特徴とする請求項３記載の焦点調節方法。
【請求項６】
更に、前記平均値算出部において算出された前記第１及び第２のベクトルの平均値に基づいて、前記第２の座標変換部から出力されるシフト量を、前記レンズを移動させる駆動部へ出力させるか否かを判別部により判別し、
前記判別部の判別結果に応じて前記第２の座標変換部から出力されたシフト量をシフト量スイッチ部により前記駆動部へ出力することを特徴とする請求項１記載の焦点調節方法。
【請求項７】
前記第１及び第２のシフト量算出領域において、前記左画像の画像データと前記右画像の画像データとの第１及び第２の差分絶対値和を夫々算出し、算出した前記第１及び第２の差分絶対値和に基づいて前記第１及び第２のシフト量を夫々算出することを特徴とする請求項１記載の焦点調節方法。  
【請求項８】
レンズを所定シフト量移動させて前記レンズを介して複数の撮像素子で撮像される画像の焦点を調節する焦点調節装置において、
前記複数の撮像素子が配置された撮像領域のうち第１及び第２のシフト量算出領域の各々に含まれる第１及び第２の撮像素子により夫々撮像された前記画像の左画像と右画像の各画像データに基づいて、前記第１及び第２のシフト量算出領域における第１及び第２のシフト量を夫々算出するシフト量算出部と、
直線座標上の前記第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに夫々座標変換する第１の座標変換部と、
前記第１及び第２のベクトルの平均値を算出する平均値算出部と、
円周座標上の前記平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、前記レンズを移動させるシフト量として算出する第２の座標変換部と
を備え、前記第２の座標変換部により前記算出されたシフト量に基づいて前記画像の焦点が調節されることを特徴とする焦点調節装置。
【請求項９】
レンズを所定シフト量移動させて前記レンズを介して複数の撮像素子で撮像される画像の焦点を調節する焦点調節装置内のコンピュータに実行させる焦点調節プログラムであって、
前記複数の撮像素子が配置された撮像領域のうち第１及び第２のシフト量算出領域の各々に含まれる第１及び第２の撮像素子により夫々撮像された前記画像の左画像と右画像の各画像データに基づいて、前記第１及び第２のシフト量算出領域における第１及び第２のシフト量を夫々算出し、
直線座標上の前記第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに夫々座標変換し、
前記第１及び第２のベクトルの平均値を算出し、
円周座標上の前記平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、前記レンズを移動させるシフト量として算出することを前記コンピュータに実行させ、算出されたシフト量に基づいて前記画像の焦点が調節されることを特徴とする焦点調節プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点調節方法、焦点調節装置、及び焦点調節プログラムに関する。
【背景技術】
【０００２】
現在、デジタルカメラや撮像機能を備えたスマートフォンなどが注目されている。このような装置ではオートフォーカス（又はＡＦ（Auto Focus）、以下では「ＡＦ」と称する場合がある）機能が備えられている。ＡＦは、例えば、被写体のピント合わせ（又は焦点合わせ）を自動的に行う機能のことである。
【０００３】
ＡＦには種々の方式があり、その一つとして位相差ＡＦ方式がある。位相差ＡＦ方式は、例えば、レンズの左半分を通して得られる左画像と、レンズの右半分を通して得られる右画像との位相差を求めることでＡＦを実現する方式である。位相差ＡＦ方式は、合焦位置までレンズを直接移動させることができるため、例えば、他のＡＦ方式と比較して高速にピント合わせを行うことができる。
【０００４】
図１５（Ａ）から１７（Ｃ）はデジタルカメラにおける位相差ＡＦ方式を説明するための図である。このうち、図１５（Ａ）から図１５（Ｃ）はレンズのピントのずれによる被写体の結像の違いを示す図である。撮像素子などが配置された結像面において、被写体３００に対してピントがずれている場合、図１５（Ａ）や図１５（Ｃ）に示すように、被写体３００に対する光の強さは左右に分散される。この分散によって、撮像面では被写体３００は所謂「ぼけた画像」となる。
【０００５】
図１６は位相差ＡＦ方式の例を説明するための図である。左側の光を通過させ右側の光を通過させないレンズ４００−１と、右側の光を通過させ左側の光を通過させないレンズ４００−２により、結像面において被写体３００に対する右画像と左画像が得られる。そして、右画像と左画像の２つの画像に対する位相差が求められることで、ピントのずれが観測される。
【０００６】
図１７（Ａ）から図１７（Ｃ）は位相差算出の例を表わす図である。例えば、左画像に対して右画像の位置をシフトさせながら、左画像の画素値と右画像の画素値との差分絶対値和（ＳＡＤ：Sum of Absolute Difference）を求め、ＳＡＤが最小となるシフト量を算出することで位相差が求められる。この位相差分、レンズを移動させることでレンズを合焦位置まで直接移動させることが可能となる。
【０００７】
図１８は撮像領域（又は結像面）に配置された画素センサ（又は撮像素子、以下、「画素センサ」と称する場合がある）の例を表わす図である。位相差ＡＦ検出用の画素センサは、例えば、デジタルカメラの画像表示に用いられる画素センサの一部が置き換えられて配置される。このように配置された位相差ＡＦ検出用の画素センサを用いて位相差ＡＦ方式を行う方式を、例えば、像面位相差ＡＦ方式と称する場合がある。像面位相差ＡＦ方式の場合、位相差ＡＦ検出用の画素センサを他の場所に別途設ける場合と比較して、例えば、デジタルカメラ全体のコスト削減などを図ることができる。
【０００８】
ＡＦ方式の種類としてはコントラストＡＦ方式もある。コントラストＡＦ方式は、例えば、画素センサで撮像された撮像画像のコントラストが最も高くなるレンズ位置を検出することでＡＦを実現する方式である。コントラストＡＦ方式は、例えば、画素センサで撮像された画像に基づいて解析が行われるため、像面位相差ＡＦ方式と比較して、処理量は多いものの合焦位置へのレンズの移動を正確に行うことができる。
【０００９】
例えば、デジタルカメラでは、像面位相差ＡＦ方式によりレンズを合焦位置近傍に移動させ、その後、コントラストＡＦ方式によりレンズを正確に合焦位置に移動させる。これにより、例えば、レンズのピント合わせの高速性と正確性を実現できる。
【００１０】
ＡＦに関する技術として、例えば、以下のようなものがある。
【００１１】
すなわち、位相差検出方式の焦点検出ができない焦点検出エリアについては、その近傍にある焦点検出エリアに対して検出されたデフォーカス量に基づいて推定演算を行い、推定されたデフォーカス量を用いて位相差検出方式ＡＦを行うようにした焦点検出装置がある。
【００１２】
この技術によれば、位相差検出ＡＦおよび撮像面ＡＦを用いた高速かつ高精度のＡＦを、従来よりも多数の焦点検出エリアで行うことができる、とされる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−２４９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述した推定演算を行う技術について、像面位相差ＡＦ方式を行う対象画像についてホワイトノイズなどのノイズが含まれていると、ノイズが含まれていない画像と比較して、ＡＦの精度が低下する場合がある。
【００１５】
図１９（Ａ）から図２０（Ｂ）はＡＦの精度が低下することを説明するための図である。このうち、図１９（Ａ）は撮影画面２０において位相差検出方式の検出が行われる焦点検出エリア２１ａ〜２１ｆの例を表わす図である。
【００１６】
上述した推定演算を行う技術では、例えば、焦点検出エリア２１ａ〜２１ｆに含まれない未検出エリアに対して、未検出エリア近傍にある焦点検出エリア２１ａ〜２１ｂで検出されたデフォーカス量に基づいて、平均化などの推定演算を行っている。撮影画面２０に含まれる焦点検出エリア２１ａ〜２１ｆの個数が多ければ多いほど、算出されるシフト量は正解値に近づくことになり、合焦位置へ正確にレンズを移動させることが可能となる。
【００１７】
この場合、ノイズが含まれない画像に対して像面位相差ＡＦ方式を行うと、例えば、焦点検出エリア２１ａで検出されるＳＡＤ値とシフト量の関係は図１７（Ｃ）で示される分布を得る。
【００１８】
しかし、ノイズが閾値以上含まれている画像に対して像面位相差ＡＦ方式を行うと、例えば、２つの焦点検出エリア２１ａ，２１ｂで検出されるＳＡＤ値とシフト量の関係は図１９（Ｂ）の実線と点線で夫々示される分布を得る。これは、像面位相差ＡＦ方式検出用の画像にノイズが一様に分布していることで、例えば、２つの焦点検出エリア２１ａ，２１ｂで検出される画像は図１７（Ａ）や図１７（Ｂ）に示すようにある位置でピークとはならず、上下を繰り返す分布となるからである。
【００１９】
しかも、各焦点検出エリア２１ａ，２１ｂで検出されるＳＡＤが最小となるシフト量も、例えば、図１９（Ｂ）に示すようにバラバラの位置となる。これは、例えば、２つの焦点検出エリア２１ａ，２１ｂで検出される画像が異なっていることや、各画像にノイズが閾値以上含まれているためである。
【００２０】
従って、像面位相差ＡＦ検出用の画像にノイズが閾値以上含まれている場合、撮影画面２０における各焦点検出エリア２１ａ〜２１ｇについてＳＡＤが最小となるシフト量も、焦点検出エリア２１ａ〜２１ｇ毎に異なるものとなる。
【００２１】
図２０（Ａ）は、像面位相差ＡＦ検出用の画像にノイズが閾値以上含まれている場合において、ＳＡＤが最小となるシフト量を得る確率分布を示す。図２０（Ａ）の横軸はシフト量、縦軸はＳＡＤが最小となるシフト量が得られる確率を表わしている。このように、例えば、各焦点検出エリア２１ａ〜２１ｇにおいてＳＡＤが最小となるシフト量は、ある範囲内で均等に異なっており、焦点検出エリア２１ａ〜２１ｇ毎に同一確率で異なるシフト量が得られる。
【００２２】
各焦点検出エリア２１ａ〜２１ｇのシフト量を平均化すると、図２１（Ｂ）で示す分布が得られる。ノイズが閾値以上含まれる画像の場合、シフト量として「０」を得る確率が最も多くなる。一方、ノイズが含まれない画像の場合、シフト量として正解値を得る確率が最も多くなっている。ノイズが閾値以上含む画像の確率分布は、正解値に対して大きく偏った分布となっている。
【００２３】
このように、例えば、デジタルカメラにおいて、ノイズが閾値以上含まれた画像に対して像面位相差ＡＦ方式を行い、各焦点検出エリア２１ａ〜２１ｆから得られるシフト量の平均を算出すると、合焦位置から大きく外れた位置へレンズを移動させることになる。従って、像面位相差ＡＦ方式を行う対象画像についてノイズが含まれていると、ノイズが含まれていない画像と比較して、ＡＦの精度が低下する場合がある。
【００２４】
そこで、一開示は、ＡＦの精度向上を図るようにした焦点調節方法、焦点調節装置、及び焦点調節プログラムを提供することにある。
【課題を解決するための手段】
【００２５】
一開示は、レンズを所定シフト量移動させて前記レンズを介して複数の撮像素子で撮像される画像の焦点を調節する焦点調節装置における焦点調節方法であって、前記複数の撮像素子が配置された撮像領域のうち第１及び第２のシフト量算出領域の各々に含まれる第１及び第２の撮像素子により夫々撮像された前記画像の左画像と右画像の各画像データに基づいて、前記第１及び第２のシフト量算出領域における第１及び第２のシフト量をシフト量算出部により算出し、直線座標上の前記第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに第１の座標変換部により夫々座標変換し、前記第１及び第２のベクトルの平均値を平均値算出部により算出し、第２の座標変換部により、円周座標上の前記平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、前記レンズを移動させるシフト量として算出し、算出された前記シフト量に基づいて前記画像の焦点が調節される。
【発明の効果】
【００２６】
ＡＦの精度向上を図るようにした焦点調節方法、焦点調節装置、及び焦点調節プログラムを提供することができる。
【図面の簡単な説明】
【００２７】
【図１】図１は焦点調節装置の構成例を表わす図である。
【図２】図２（Ａ）はデジタルカメラ、図２（Ｂ）はスマートフォンの例を表わす図である。
【図３】図３は情報処理装置の構成例を表わす図である。
【図４】図４は位相差ＡＦ処理部の構成例を表わす図である。
【図５】図５（Ａ）は撮像領域、図５（Ｂ）は測距領域、図５（Ｃ）はシフト量算出領域の例をそれぞれ表わす図である。
【図６】図６（Ａ）と図６（Ｂ）は等角直線フィッテイングの例を表わす図である。
【図７】図７（Ａ）は座標軸が直線軸におけるシフト量の例、図７（Ｂ）は座標軸を円周座標に変換した後のベクトルの例をそれぞれ表わす図である。
【図８】図８（Ａ）と図８（Ｂ）は重み付けされたベクトルの例を表わす図である。
【図９】図９（Ａ）と図９（Ｃ）は平均値の例、図９（Ｂ）はベクトルの例をそれぞれ表わす図である。
【図１０】図１０（Ａ）から図１０（Ｃ）は直線軸上で平均化が行われた場合の例を説明するための図である。
【図１１】図１１（Ａ）から図１１（Ｃ）は円周座標軸上で平均化が行われた場合の例を説明するための図である。
【図１２】図１２（Ａ）はベクトル、図１２（Ｂ）は平均値の例をそれぞれ表わす図である。
【図１３】図１３は動作例を表わすフローチャートである。
【図１４】図１４は情報処理装置の構成例を表わす図である。
【図１５】図１５（Ａ）から図１５（Ｃ）はレンズのピントずれによる被写体の結像のずれを説明するための図である。
【図１６】図１６は位相差ＡＦ方式の例を表わす図である。
【図１７】図１７（Ａ）から図１７（Ｃ）は位相差の算出例を表わす図である。
【図１８】図１８は撮像領域における画素センサの配置例を表わす図である。
【図１９】図１９（Ａ）は焦点検出エリアの例、図１９（Ｂ）はＳＡＤの例を表わす図である。
【図２０】図２０（Ａ）は推定シフト量の生起確率の分布、図２０（Ｂ）は推定シフト量の生起確率を平均化した場合の分布の例をそれぞれ表わす図である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施するための形態について説明する。
【００２９】
［第１の実施の形態］
第１の実施の形態について説明する。図１は第１の実施の形態における焦点調節装置１１０の構成例を表わす図である。焦点調節装置１１０は、レンズ１０１を所定シフト量移動させて、レンズ１０１を介して複数の撮像素子１０２−ｂ１１〜１２０−ｂ２２で撮像される画像の焦点を調節する。
【００３０】
図１に示す焦点調節装置１１０は情報処理装置１００に含まれている例を表わしている。情報処理装置１００としては、例えば、デジタルカメラ、カメラ機能を備えるスマートフォンやフィーチャーフォンなどがある。情報処理装置１００は、レンズ１０１、撮像領域１０２内の複数の撮像素子１０２−ｂ１１〜１２０−ｂ２２、及び焦点調節装置１１０を備える。
【００３１】
撮像領域１０２には複数の撮像素子１０２−ｂ１１〜１２０−ｂ２２が配置される。複数の撮像素子１０２−ｂ１１〜１２０−ｂ２２が配置された撮像領域１０２には、第１及び第２のシフト量算出領域１２０−１，１２０−２が含まれる。そして、第１及び第２のシフト量算出領域１２０−１，１２０−２には、各々、第１の撮像素子１２０−ｂ１１，１２０−ｂ２１と第２の撮像素子１２０−ｂ１２，１２０−ｂ２２が配置される。
【００３２】
第１の撮像素子１２０−ｂ１１は、第１のシフト量算出領域１２０−１で撮像された撮像画像の左画像を撮像して左画像の画像データを出力する。また、第２の撮像素子１２０−ｂ１２は、第１のシフト量算出領域１２０−１で撮像された撮像画像の右画像を撮像して右画像の画像データを出力する。  
【００３３】
一方、第１の撮像素子１２０−ｂ２１は、第２のシフト算出領域１２０−２で撮像された撮像画像の左画像を撮像して左画像のデータを出力する。また、第２の撮像素子１２０−ｂ２２は、第２のシフト量算出領域１２０−２で撮像された撮像画像の右画像を撮像して右画像の画像データを出力する。
【００３４】
焦点調節装置１１０では、第１及び第２の撮像素子１２０−ｂ１１，１２０−ｂ１２で夫々撮像された左右画像の画像データに基づいて第１のシフト量算出領域１２０−１における第１のシフト量を算出する。また、焦点調節装置１１０では、第１及び第２の撮像素子１２０−ｂ２１，１２０−ｂ２２で夫々撮像された左右画像の画像データに基づいて第２のシフト量算出領域１２０−２における第２のシフト量を算出する。焦点調節装置１１０では、算出した第１及び第２のシフト量に基づいて像面位相差ＡＦ方式によるＡＦ方式を行う。
【００３５】
焦点調節装置１１０は、シフト量算出部１５０、第１の座標変換部１５１、平均値算出部１５２、及び第２の座標変換部１５３を備える。
【００３６】
シフト量算出部１５０は、第１及び第２のシフト量算出領域１２０−１，１２０−２の各々に配置された第１及び第２の撮像素子１０２−ｂ１１〜１２０−ｂ２２により夫々撮像された画像の左画像と右画像の各画像データに基づいて、第１及び第２のシフト量算出領域１２０−１，１２０−２における第１及び第２のシフト量を夫々算出する。
【００３７】
第１の座標変換部１５１は、直線座標上の第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに夫々座標変換する。
【００３８】
平均値算出部１５２は第１及び第２のベクトルの平均値を算出する。
【００３９】
第２の座標変換部１５３は、円周座標上の平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、レンズ１０１を移動させるシフト量として算出する。
【００４０】
焦点調節装置１１０は、第２の座標変換部１５３により算出されたシフト量に基づいて画像の焦点を調節する。
【００４１】
このように、本第１の実施の形態における焦点調節装置１１０では、円周座標上で第１及び第２のシフト量に夫々対応する第１及び第２のベクトルの平均値を求めている。これにより、例えば、第１及び第２のシフト量算出領域１２０−１，１２０−２においてノイズが含まれている場合でも、円周座標上に座標変換しないで第１及び第２のシフト量をそのままレンズ１０１のシフト量とする場合と比較して、ＡＦの精度を向上させることができる。その理由については、第２の実施の形態において、図１０（Ａ）から図１２（Ｂ）などを用いて説明する。
【００４２】
［第２の実施の形態］
次に第２の実施の形態について説明する。最初に焦点調節装置を含む情報処理装置の例について説明し、次に情報処理装置の構成例について説明する。そして、最後に、焦点調節装置で行われる動作例について説明する。
【００４３】
＜情報処理装置の例＞
図２（Ａ）及び図２（Ｂ）は焦点調節装置を含む情報処理装置１００の例を表わす図である。図２（Ａ）は情報処理装置１００としてデジタルカメラ、図２（Ｂ）は情報処理装置１００としてスマートフォンの例を夫々表わしている。いずれの情報処理装置１００においても、カメラ機能を備え、被写体を撮像し、撮像した被写体画像（以下、「撮像画像」と称する場合がある）について画像データとして内部メモリに記憶させたり、撮像画像をディスプレイに表示させることができる。情報処理装置１００は、オートフォーカス（以下、「ＡＦ」と称する場合がある）により、被写体のピントを合わせて被写体を撮像する。ＡＦとは、例えば、被写体のピント合わせ（又は焦点合わせ）を自動的に行う機能のことである。
【００４４】
情報処理装置１００の例は図２（Ａ）や図２（Ｂ）は一例であって、例えば、フィーチャーフォンやタブレット、携帯型ゲーム装置であってもよい。いずれの情報処理装置１００の場合であっても焦点調節装置を含み、ＡＦにより被写体を撮像することができる。
【００４５】
なお、以下においては、情報処理装置１００の例としてデジタルカメラを例にして説明する。
【００４６】
＜情報処理装置１００の構成例＞
次に情報処理装置１００の構成例について説明する。情報処理装置１００の構成例について、最初に情報処理装置１００全体の構成例を説明し、次に、焦点調節装置の構成例を説明する。
【００４７】
＜情報処理装置１００全体の構成例＞
図３は情報処理装置１００の構成例を表わす図である。情報処理装置１００は、レンズ１０１、複数の撮像素子（又は画素センサ、以下では「画素センサ」と称する場合がある）１０２−ａ，１０２−ｂ１，１０２−ｂ２、Ａ／Ｄ（Analogue to Digital）変換部１０３、コントラストＡＦ処理部１０４、位相差ＡＦ処理部１０５、判定部１０６、シフト量スイッチ部１０７、及び駆動部１０８を備える。
【００４８】
なお、焦点調節装置１１０は、コントラストＡＦ処理部１０４と位相差ＡＦ処理部１０５を含む。また、複数の画素センサ１０２−ａ，１０２−ｂ１，１０２−ｂ２は撮像面１０２に配置される。
【００４９】
レンズ１０１は、例えば、撮影レンズであって、被写体からの光を通過させて撮像面１０２へ向かわせる。また、レンズ１０１は、例えば、駆動部１０８により光軸方向に駆動されることで焦点調節が行われる。レンズ１０１は、例えば、撮影レンズとフォーカスレンズとが別々に含まれてもよく、この場合、焦点調節はフォーカスレンズにより行われる。
【００５０】
なお、レンズ１０１は、例えば、撮像レンズやフォーカスレンズ以外に、セパレータレンズが含まれる。例えば、セパレータレンズは以下の動作を行う。
【００５１】
すなわち、デジタルカメラのシャッターボタンが半分押圧されたときに、レンズ１０１のうちセパレータレンズが撮像面１０２の上部に移動して像面位相差ＡＦ方式が実行可能となる。像面位相差ＡＦ方式による処理が終了すると、セパレータレンズは撮像面１０２の上部から他の部分に移動する。そして、セパレータレンズが他の部分に移動することで、セパレータレンズ以外のレンズ１０１により、コントラストＡＦなどの処理が可能となる。その後、シャッターボタンが全押圧されると、ＡＦ調整された位置で撮像処理などが行われる。
【００５２】
以下においては、レンズ１０１に含まれる撮影レンズ、フォーカスレンズ、セパレータレンズなどについて、特に断らない限りレンズ１０１として説明する場合がある。
【００５３】
複数の画素センサ１０２−ａ，１０２−ｂ１，１０２−ｂ２は、例えば、レンズ１０１を通過した光を光電変換により電気信号に変換し、変換後の電気信号をＡ／Ｄ変換部１０３へ出力する。光電変換後の電気信号が、例えば、被写体に対する画像データとなる。
【００５４】
なお、複数の画素センサ１０２−ａ，１０２−ｂ１，１０２−ｂ２は、画像表示などに使用する画素センサ（以下においては、「画像表示用画素センサ」と称する場合がある）１０２−ａと、位相差ＡＦ検出用の画素センサ（以下においては、「位相差ＡＦ検出用画素センサ」と称する場合がある）１０２−ｂ１，１０２−ｂ２が含まれる。画像表示用画素センサ１０２−ａの一部が、位相差ＡＦ検出用画素センサ１０２−ｂ１，１０２−ｂ２に置き換えられて撮像面１０２に配置される。このように配置された位相差ＡＦ検出用画素センサ１０２−ｂ１，１０２−ｂ２を利用して位相差ＡＦを行うことを、例えば、像面位相差ＡＦと称する場合がある。
【００５５】
また、位相差ＡＦ検出用画素センサ１０２−ｂ１，１０２−ｂ２は、被写体の左画像を生成する画素センサ１０２−ｂ１と、被写体の右画像を生成する画素センサ１０２−ｂ２が含まれる。例えば、レンズ１０１に含まれるセパレータレンズにより、位相差ＡＦ検出用画素センサ１０２−ｂ１，１０２−ｂ２は左画像と右画像の画像データを夫々出力できる。
【００５６】
位相差ＡＦ検出用画素センサ１０２−ｂ１，１０２−ｂ２から出力される画像データは、例えば、像面位相差ＡＦに利用される画像データである。また、画像表示用画素センサ１０２−ａから出力される画像データは、例えば、コントラストＡＦ方式の処理や画像表示などに利用される画像データである。
【００５７】
以下においては、位相差ＡＦ検出用画素センサ１０２−ｂ１，１０２−ｂ２から出力される画像データを位相差ＡＦ用画像データ、画像表示用画素センサ１０２−ａから出力される画像データを画像表示用画像データと夫々称する場合がある。
【００５８】
なお、図３において画像表示用画素センサ１０２−ａは１つしか示されていないが、例えば、撮像面１０２において画像表示用画素センサ１０２−ａは複数あるものとする。
【００５９】
Ａ／Ｄ変換部１０３は、アナログデータである画像表示用画像データと位相差ＡＦ用画像データをデジタルデータに変換する。Ａ／Ｄ変換部１０３は、デジタルデータに変換した画像表示用画像データをコントラストＡＦ処理部１０４へ出力し、デジタルデータに変換した位相差ＡＦ用画像データを位相差ＡＦ処理部１０５へ出力する。
【００６０】
コントラストＡＦ処理部１０４は、画像表示用画像データに基づいてコントラストＡＦ方式に関する処理を行う。コントラストＡＦ方式は、例えば、画素センサで撮像された撮像画像のコントラストが最も高くなるレンズ位置を検出することでＡＦを実現する方式である。コントラストＡＦ処理部１０４は、例えば、以下の処理を行う。
【００６１】
すなわち、コントラストＡＦ処理部１０４は、撮像画像の画像表示用画像データに基づいて、撮像画像のコントラスト値を算出する。コントラスト値は、例えば、レンズ１０１が所定位置にあるときに画像表示用画素センサ１０２−ａで撮像された画像データに含まれる輝度値の最大値と最小値の差を示す。そして、コントラストＡＦ処理部１０４は、駆動部１０８を介してレンズ１０１を所定シフト量移動させ、移動後のレンズ１０１を介して撮像した撮像画像のコントラスト値を算出する。コントラストＡＦ処理部１０４は、コントラスト値が最大となる位置になるまでレンズ１０１を繰り返し移動させることで合焦位置を算出する。
【００６２】
位相差ＡＦ処理部１０５は、位相差ＡＦ用画像データに基づいて位相差ＡＦ方式による処理を行う。位相差ＡＦ方式は、例えば、レンズ１０１の左半分を通して得られる左画像と、レンズ１０１の右半分を通して得られる右画像との位相差を求めることでＡＦを実現する方式である。
【００６３】
本第２の実施の形態においては、位相差ＡＦ処理部１０５は、例えば、レンズ１０１を移動させるシフト量を算出するが、算出したシフト量を円周座標に座標変換して平均値を計算し、その後、元の座標に逆変換し、逆変換後のシフト量を出力する。また、位相差ＡＦ処理部１０５は、例えば、座標変換する際に得られる信頼度を出力する。信頼度は、例えば、位相差ＡＦ処理部１０５から出力されるシフト量の確からしさを表わす指標である。位相差ＡＦ処理部１０５の詳細は後述する。位相差ＡＦ処理部１０５は、算出したシフト量をシフト量スイッチ部１０７へ出力し、信頼度を判定部１０６へ出力する。
【００６４】
判定部１０６は、例えば、信頼度に基づいて、位相差ＡＦ処理部１０５から出力されるシフト量を駆動部１０８へ出力させるか否かを判定する。例えば、判定部１０６は、信頼度が判定閾値よりも高いときは、シフト量を駆動部１０８へ出力することを決定し、信頼度が判定閾値以下のときはシフト量を駆動部１０８へ出力しないことを決定する。判定部１０６は、判定結果をシフト量スイッチ部１０７へ出力する。
【００６５】
シフト量スイッチ部１０７は、例えば、判定結果に基づいてシフト量を駆動部１０８へ出力するか、又は出力しないかを切り替える。例えば、シフト量スイッチ部１０７は、シフト量を駆動部１０８へ出力する旨の判定結果を得たときはシフト量を駆動部１０８へ出力し、シフト量を駆動部１０８へ出力しない旨の判定結果を得たときはシフト量を駆動部１０８へ出力しないで破棄する。
【００６６】
駆動部１０８は、コントラストＡＦ処理部１０４とシフト量スイッチ部１０７から出力されたシフト量に従って、シフト量分、レンズ１０１を光軸方向に駆動させる。この駆動により、ＡＦが行われ、レンズ１０１が合焦位置へ移動される。
【００６７】
＜位相差ＡＦ処理部１０５の構成例＞
次に、位相差ＡＦ処理部１０５の構成例について説明する。図４は位相差ＡＦ処理部１０５の構成例を表わす図である。位相差ＡＦ処理部１０５は、測距領域選択部１１１、シフト量算出領域設定部１１２、シフト量算出部１１３、座標変換部１１４、平均値算出部１１５、及び座標逆変換部１１６を備える。
【００６８】
なお、第１の実施の形態におけるシフト量算出部１５０は、例えば、シフト量算出部１１３に対応する。また、第１の実施の形態における第１の座標変換部１５１は、例えば、座標変換部１１４に対応する。さらに、第１の実施の形態における平均値算出部１５２は、例えば、平均値算出部１１５に対応する。さらに、第１の実施の形態における第１の座標変換部１５３は、例えば、座標逆変換部１１６に対応する。
【００６９】
測距領域選択部１１１は、例えば、撮像領域（又は撮影画面）において像面位相差ＡＦで距離を測定する（以下では、「測距」と称する場合がある）領域を選択する。
【００７０】
図５（Ａ）は撮像領域（又は撮像面、以下では「撮像領域」と称する場合がある）１０２における測距領域１２０の例を表わす図である。測距領域１２０の選択としては、例えば、以下のような方法がある。
【００７１】
すなわち、デジタルカメラのディスプレイに表示された撮像画像に対してユーザが焦点を合わせたい領域をディスプレイ上で指定し、指定した領域を測距領域１２０としてもよい。又は、測距領域選択部１１１において、撮像画像に含まれる画像データに基づいてエッジを検出したりや顔を検出するなどによって、検出された領域を測距領域１２０としてもよい。或いは、撮像領域１０２における予め決められた領域を測距領域１２０としてもよい。選択された領域に含まれる複数の画素センサには夫々位置情報が設定されており、選択された領域の端部に位置する画素センサの位置情報が測距領域１２０の位置情報として表わされても良い。
【００７２】
図４に戻り、シフト量算出領域設定部１１２は、測距領域選択部１１１から出力された測距領域１２０の位置情報に基づいて、測距領域１２０内におけるシフト量算出領域を設定する。
【００７３】
図５（Ｂ）は測距領域１２０に含まれるシフト量算出領域１２０−Ａ〜１２０−Ｌの例、図５（Ｃ）はシフト量算出領域１２０−Ｊの例をそれぞれ表わす図である。
【００７４】
各シフト量算出領域１２０−Ａ〜１２０−Ｌは、被写体の左画像を生成するための画素センサ１０２−ｂ１と、被写体の右画像を生成するための画素センサ１０２−ｂ２を含む。各シフト量算出領域１２０−Ａ〜１２０−Ｌは隣接領域が互いに重複してもよい。ただし、測距領域１２０には、例えば、２つ以上のシフト量算出領域１２０−Ａ〜１２０−Ｌが含まれる。図５（Ｂ）の例では、測距領域１２０に１２個のシフト量算出領域１２０−Ａ〜１２０−Ｌが含まれる例を表わしている。
【００７５】
シフト量算出領域１２０−Ａ〜１２０−Ｌの数が多ければ多いほど（又は位相差ＡＦ検出用画素センサ１０２−ｂ１，１０２−ｂ２の個数が多ければ多いほど）、像面位相差ＡＦによるシフト量の算出の精度は向上する。
【００７６】
例えば、図２０（Ｂ）に示すようにシフト量が正解値となる確率が他の値と比較して最も高くなるからである。このように、１つのシフト量算出領域１２０−Ａから算出したシフト量の確率分布よりも、複数のシフト量算出領域１２０Ａ〜１２０−Ｌから算出されたシフト量を平均化する方が、シフト量の確率分布が正解値付近により集中する場合がある。このような法則を、例えば、確率の中心極限定理と称する場合がある。
【００７７】
シフト量算出領域１２０−Ａ〜１２０−Ｌの設定は、例えば、測距領域１２０の選択により、シフト量算出領域設定部１１２において自動的に領域設定が行われても良い。
【００７８】
例えば、選択された測距領域１２０の領域内に含まれる画素センサに各々設定されている位置情報に基づいてシフト量算出領域１２０−Ａ〜１２０−Ｌの位置が設定される。シフト量算出領域設定部１１２は、例えば、設定したシフト量算出領域１２０−Ａ〜１２０−Ｌの各位置情報をシフト量算出部１１３へ出力する。
【００７９】
図４に戻り、シフト量算出部１１３は、例えば、各シフト量算出領域１２０−Ａ〜１２０−Ｌにおける被写体の左画像と右画像の結像位置のずれ（又はシフト量、以下では「シフト量」又は「推定シフト量」と称する場合がある）を算出する。例えば、シフト量算出部１１３は、左画像に対して右画像の位置を所定画素単位でシフトさせながら左画像の画像データと右画像の画像データの差分絶対値和（ＳＡＤ）を求めて、ＳＡＤが最小となる位置をシフト量として算出する。例えば、以下によりシフト量の算出が行われる。
【００８０】
すなわち、あるシフト量算出領域１２０−Ｘにおいて、１回のＳＡＤ計算に利用する左画像と右画像の画素数をＮ、シフト量の許容可能な最大値と最小値をそれぞれＳと−Ｓとする。また、左画像と右画像のｎ番目の画素における画素値（又は画像データ）をそれぞれＬ［ｎ］とＲ［ｎ］とする。シフト量算出部１１３は、シフト量ｓに対応するＳＡＤ値（ＳＡＤ［ｓ］）を次式で求める。
【００８１】
【数１】
2015206966.tif 000003
【００８２】
ただし、シフト量ｓは、−Ｓ≦ｓ≦Ｓとなる。
【００８３】
この場合、シフト量算出部１１３は、内部メモリなどに式（１）を保持しておき、シフト量算出領域１２０−Ｘ内の位相差ＡＦ検出用画素センサ１０２−ｂ１，１０２−ｂ２で夫々生成された左画像と右画像の位相差ＡＦ検出用画像データを式（１）に代入してＳＡＤ値を得る。そして、シフト量算出部１１３は得られたＳＡＤ値が最小となる「ｓ」を求めることで、シフト量ｓを得る。  
【００８４】
シフト量算出部１１３において、式（１）においてＳＡＤ値が最小となるシフト量ｓが求められれば、被写体のぼけの程度を推定することができる。本第２の実施の形態においては、シフト量算出部１１３は、算出した整数値のシフト量ｓに対して、等角直線フィッテイングにより小数値のシフト量ｓｈを算出する。例えば、シフト量算出部１１３では以下の処理を行う。
【００８５】
すなわち、ＳＡＤ値が最小となるシフト量ｓをｓ＿ｍｉｎ、ａ＝ＳＡＤ［ｓ＿ｍｉｎ−１］、ｂ＝ＳＡＤ［ｓ＿ｍｉｎ］、ｃ＝ＳＡＤ［ｓ＿ｍｉｎ＋１］とする。シフト量算出部１１３は、シフト量ｓｈを次式で求める。
【００８６】
【数２】
2015206966.tif 000004
【００８７】
図６（Ａ）はａ＞ｃのときに算出されるシフト量ｓｈ、図６（Ｂ）はａ≦ｃのときに算出されるシフト量ｓｈの各例をそれぞれ表わしている。
【００８８】
例えば、ＳＡＤの最小値ｂに対応する点と、最小値ｂに隣接するａ，ｃのうち値が大きい方の点を通る直線が引かれる。さらに、最小値ｂに隣接するａ，ｃのうち値が小さい方の点を通り、傾きが既に引いた直線と逆（符号が反対）になる直線が引かれる。これら２つの直線の交点が小数値のシフト量ｓｈとなる。
【００８９】
図４に戻り、座標変換部１１４は、シフト量算出部１１３から出力されたシフト量ｓｈに対して、シフト量ｓｈの座標軸を直線座標から円周座標へ座標変換する。座標変換部１１４は、例えば、以下のようにして座標変換を行う。
【００９０】
すなわち、座標軸を円周座標に変換した後のシフト量ｓｈに対応するベクトルをｖとすると、座標変換部１１４は次式によりベクトルｖを求める。
【００９１】
【数３】
2015206966.tif 000005
【００９２】
【数４】
2015206966.tif 000006
【００９３】
図７（Ａ）は座標変換前の直線座標軸、図７（Ｂ）は座標変換後の円周座標軸上の例をそれぞれ表わしている。  
【００９４】
図７（Ａ）に示すように、シフト量ｓｈは、直線軸上において、許容可能な最小値−Ｓから、許容可能な最大値Ｓまでの範囲を移動する。座標変換の際には、最小値−Ｓに対応する円周座標上の点が「０」、最大値Ｓに対応する円周座標上の点が「２π」となるように座標変換が行われる。この場合、例えば、円周座標軸上では単位円（原点から円周上の点までの距離が「１」）上にシフト量ｓｈに対応するベクトルｖが表わされている。
【００９５】
座標変換部１１４は円周座標軸上への座標変換を行った後、シフト量ｓｈ（又はベクトルｖ）に対して重み付けを行う。重み付けを行うのは、例えば、以下の理由による。
【００９６】
すなわち、各シフト量算出領域１２０−Ａ〜１２０−Ｌに含まれる左右画像が、例えば、青空の背景など平坦な画像の場合、式（２）などから明らかなように、左右画像の画像データの変化量は少なくなる。この場合、得られるシフト量ｓｈの精度は一定以下となる傾向にある。
【００９７】
一方、各シフト量算出領域１２０−Ａ〜１２０−Ｌに含まれる左右画像に一定以上のエッジが含まれる場合、式（２）などから明らかななように、平坦な画像と比較して画像データの変化量は大きくなる。この場合、平坦画像と比較して、シフト量ｓｈの精度は一定以上となる傾向にある。
【００９８】
そこで、座標変換部１１４は、各シフト量算出領域１２０−Ａ〜１２０−Ｌの画像に含まれるエッジの大きさ又は量に応じて、ベクトルｖに対して重みｗを乗算する。この場合、座標変換部１１４は、エッジが一定以上多く含まれる画像に対しては、ベクトルｖに対して閾値以上の重みを乗算する。一方、座標変換部１１４は、エッジが一定以下の画像には、ベクトルｖに対して閾値以下の重みｗを乗算する。
【００９９】
例えば、座標変換部１１４は次式を用いてベクトルｖに対し重み付けを行う。
【０１００】
【数５】
2015206966.tif 000007
【０１０１】
【数６】
2015206966.tif 000008
【０１０２】
式（５）で算出される重みｗ（又は重み量ｗ）は、例えば、シフト量算出に用いた左画像の分散を表わしており、平坦な画像ほど小さい値となり、エッジが多いほど大きい値となる。重みｗは、式（５）以外にも、右画像の分散により算出されてもよいし、左画像又は右画像における各画素における画像データの最大値と最小値の差分により算出されてもよい。
【０１０３】
なお、エッジとは、例えば、撮像画像における端成分であり、撮像画像において明るさが不連続に変化している成分のことである。例えば、物体を撮像した場合の物体の端の部分などがエッジとなる。
【０１０４】
図８（Ａ）及び図８（Ｂ）は、３つのシフト量算出領域２００−Ａ〜２００−Ｃにおいて得られた座標変換後のベクトルｖ（又はベクトルｖ−Ａ〜ｖ−Ｃ）に対して重み付けが行われた場合の例を表わしている。このうち、図８（Ａ）は、３つのベクトルｖ−Ａ〜ｖ−Ｃは同一方向となっており、３つのベクトルｖ−Ａ〜ｖ−Ｃに対して重みｗ＝１，２，３を夫々乗算した場合のベクトルｖ−Ａ〜ｖ−Ｃを表わしている。図８（Ｂ）も３つのベクトルｖ−Ａ〜ｖ−Ｃに対して、重みｗ＝１，２，３を夫々乗算しているが、３つのベクトルｖ−Ａ〜ｖ−Ｃは夫々異なる方向となっている。
【０１０５】
なお、円周座標上で複数のベクトルｖ−Ａ〜ｖ−Ｃが同一方向を向いている場合（例えば図８（Ａ））、各ベクトルｖ−Ａ〜ｖ―Ｃにそれぞれ対応するシフト量ｓｈ−Ａ〜ｓｈ−Ｃは同一量（又は同じ大きさ）となっていることを表わしている。一方、円周座標上で複数のベクトルｖ−Ａ〜ｖ−Ｃが異なる方向を向いている場合（例えば図８（Ｂ））、各ベクトルｖ−Ａ〜ｖ−Ｃにそれぞれ対応するシフト量ｓｈ−Ａ〜ｓｈ−Ｃは異なる量（又は異なる大きさ）となっていることを表わしている。
【０１０６】
座標変換部１１４は、例えば、内部メモリなどに式（３）から式（６）を保持しておき、位相差ＡＦ検出用画像データを式（３）から式（６）に代入するなどして、シフト量ｓｈの円周座標への座標変換や、座標変換後のベクトルｖに対して重み付けの処理を行う。
【０１０７】
図４に戻り、平均値算出部１１５は、重み付けされた各シフト量算出領域１２０−Ａ〜１２０−Ｌのベクトルｖに対して、ベクトルｖの平均値ｖ＿ａｖｅを算出する。例えば、平均値算出部１１５は、以下のようにして平均値ｖ＿ａｖｅを算出する。
【０１０８】
すなわち、測距領域１２０内のシフト量算出領域の個数をＭ、ｉ番目のシフト量算出領域２００−ｉのシフト量ｓｈに対応するベクトルをｖ［ｉ］、ｉ番目のシフト量算出領域における重みをｗ［ｉ］とする。平均値算出部１１５は、次式を用いてベクトルｖの平均値ｖ＿ａｖｅを算出する。
【０１０９】
【数７】
2015206966.tif 000009
【０１１０】
【数８】
2015206966.tif 000010
【０１１１】
式（８）で示すように、平均値算出部１１５は、例えば、各シフト量算出領域１２０−Ａ〜１２０−Ｌにおけるベクトルｖ［ｉ］の和を座標変換部１１４で算出された重みｗの和で除算した値を平均値として算出している。
【０１１２】
ここで、式（８）で算出されるベクトルｖの平均値ｖ＿ａｖｅの絶対値は、「０」から「１」を推移する。また、各シフト量算出領域１２０−Ａ〜１２０−Ｌのシフト量ｓｈがほぼ同じ値（又はベクトルｖ［ｉ］の方向が同じ）のときは、式（８）で算出されるベクトルｖの平均値ｖ＿ａｖｅの絶対値は「１」に近い値となる。一方、各シフト量算出領域１２０−Ａ〜１２０−Ｌのシフト量ｓｈが異なる値のときは、式（８）で算出されるベクトルｖの平均値ｖ＿ａｖｅの絶対値は「０」に近い値となる。
【０１１３】
以下、その理由について説明する。例えば、図８（Ａ）で示されるように、重み付けされた３つのベクトルｖ−Ａ〜ｖ−Ｃの場合、式（７）よりＷ＝１＋２＋３＝６、式（８）より平均値ｖ＿ａｖｅ＝（１＋２＋３）／６＝１を得る。重み付けされた３つのベクトルｖ−Ａ〜ｖ−Ｃを加算しても、同一方向を向いているため、３つのベクトルｖ−Ａ〜ｖ−Ｃの方向によって打ち消し合うこともなく、図９（Ａ）に示すように、大きさが「１」となる平均値ｖ＿ａｖｅを得る。
【０１１４】
一方、図９（Ｂ）に示すように重み付けされた（この場合、ｗ＝１）３つのベクトルｖ−Ａ〜ｖ−Ｃが得られたとき、３つのベクトルｖ−Ａ〜ｖ−Ｃは異なる方向を向いているため、式（８）により各ベクトルｖ−Ａ〜ｖ−Ｃを加算しても、互いに打ち消し合って、「１」よりも小さい値となる。この例では、平均値ｖ＿ａｖｅとして図９（Ｃ）に示す平均値を得る。
【０１１５】
本情報処理装置１００においては、式（８）により算出されたベクトルｖの平均値ｖ＿ａｖｅの絶対値を、測距領域１２０から得られた推定シフト量の確からしさを表わす指標として用いる。この指標を、例えば、「信頼度」とする。
【０１１６】
信頼度が「１」に近ければ近いほど、複数のシフト量算出領域１２０−Ａ〜１２０−Ｌから得られたシフト量ｓｈは同じ値となり、算出された各シフト量ｓｈは信頼度が高くなる。この場合は、例えば、図２０（Ｂ）で示すように、推定シフト量が正解値となっている個数が多くなり、正解値となっている確率が最も高くなっている。
【０１１７】
一方、信頼度が「０」に近ければ近いほど、複数のシフト量算出領域１２０−Ａ〜１２０−Ｌから夫々得られたシフト量ｓｈ−Ａ〜ｓｈ−Ｌは異なる値となり、算出された各シフト量ｓｈの信頼度は低くなる。この場合は、例えば、図２０（Ａ）や図２０（Ｂ）などで示すように、シフト量ｓｈは各シフト量算出領域１２０−Ａ〜１２０−Ｌでバラバラの値を取り、正解値に対して大きく偏ったシフト量ｓｈが得られる。
【０１１８】
信頼度は種々の処理に用いることができるが、本情報処理装置１００では、信頼度を、算出されたシフト量ｓｈを駆動部１０８に出力するか否かの判定に用いる。
【０１１９】
そして、平均値算出部１１５は、式（７）と式（８）を用いて、複数のベクトルｖの平均値ｖ＿ａｖｅを算出することで、例えば、測距領域１２０内にノイズが含まれている場合でも、ノイズの影響を軽減したシフト量ｓｈを得る。以下、その理由について説明する。
【０１２０】
＜複数のベクトルｖの平均値ｖ＿ａｖｅを算出することでノイズの影響を軽減したシフト量ｓｈが得られる理由＞
図１０（Ａ）から図１２（Ｂ）はかかる理由を説明するための用いる図である。複数のシフト量算出領域１２０−Ａ〜１２０−Ｌにおいて得られた各シフト量ｓｈについてノイズ成分が含まれる場合を考える。図１０（Ａ）は２つのシフト量算出領域１２０−Ａ，１２０−Ｂに夫々対応するシフト量ｓｈ−Ａ，ｓｈ−Ｂに含まれるノイズ成分を表わしている。この２つのノイズ成分を含むシフト量ｓｈ−Ａ，ｓｈ−Ｂについて、円周座標軸上に座標変換することなくそのまま平均化すると、例えば、図１０（Ａ）に示すよう２つのノイズ成分を平均化した成分が得られる。
【０１２１】
平均値算出部１１５において、重み付けされた２つのシフト量ｓｈ−Ａ，ｓｈ−Ｂをそのまま平均化する場合、２つのシフト量ｓｈに含まれる正解値と平均化されたノイズ成分との間で平均化が行われると考えることもできる。
【０１２２】
図１０（Ｂ）は正解値とノイズ成分との間で平均化が行われる例を表わしている。この２つの成分を平均化することで、例えば、図１０（Ｃ）に示すように、正解値に対してノイズ成分の分だけずれたシフト量ｓｈが得られる。
【０１２３】
すなわち、２つのシフト量ｓｈ−Ａ，ｓｈ−Ｂについて測距領域１２０にノイズが含まれている場合、円周座標軸に座標変換しないでそのまま平均化が行われると、例えば、図１０（Ｃ）に示すように正解値に対してずれ量だけずれたシフト量ｓｈが得られることになる。
【０１２４】
一方、座標変換部１１４において２つのシフト量ｓｈ−Ａ，ｓｈ−Ｂを座標変換した場合の例を考える。図１１（Ａ）は、２つのシフト量ｓｈ−Ａ，ｓｈ−Ｂを座標変換した後のベクトルｖ−Ａ，ｖ−Ｂにおけるノイズ成分をそれぞれ表わしている。この場合、ベクトルｖ−Ａ，ｖ−Ｂのノイズ成分を平均化すると（又は式（７）と式（８）で平均値ｖ＿ａｖｅを求めると）、２つのベクトルｖ−Ａ，ｖ−Ｂのノイズ成分は異なる方向を向いているため、互いに打ち消し合う。これにより、例えば、図１１（Ａ）に示すように平均化したノイズの大きさは各ベクトルｖ−Ａ，ｖ−Ｂのノイズよりも小さくなる。
【０１２５】
平均化により小さくなったノイズ成分を、円周座標変換前の直線座標上に逆変換すると、図１１（Ｂ）に示すように、そのノイズの大きさは、円周座標軸上へ座標変換しない場合において平均化したノイズ成分よりも小さくなる。
【０１２６】
そして、図１１（Ｃ）に示すように、正解値と平均化したノイズ成分とを平均化すると、正解値に対してずれた位置のシフト量ｓｈが得られるが、ノイズ成分が小さくなっているため、ずれ量は、座標変換しない場合よりも小さくなる。
【０１２７】
すなわち、２つのシフト量ｓｈ−Ａ，ｓｈ−Ｂについて測距領域１２０にノイズが含まれる場合、円周座標軸上に座標変換して平均化することで、ノイズ成分が打ち消し合って、円周座標軸に座標変換しないで平均化する場合と比較して、ノイズ成分の大きさが小さくなる。この小さくなったノイズ成分により、正解値からはずれたシフト量ｓｈが得られるが、そのずれ量は円周座標軸に座標変換しない場合と比較して小さくなっており、正解値に近いシフト量ｓｈを得る。
【０１２８】
従って、位相差ＡＦ処理部１０５（又は焦点調節装置１１０）において、各シフト量算出領域１２０−Ａ〜１２０−Ｌで得られた各シフト量ｓｈ−Ａ〜ｓｈ−Ｌを円周座標軸に座標変換した後で各シフト量ｓｈ−Ａ〜ｓｈ−Ｌを平均化することで、測距領域１２０にノイズが含まれている場合でもより正解値に近いシフト量ｓｈを得ることができる。
【０１２９】
図１２（Ａ）は、複数のベクトルｖの例を表わしており、各ベクトルｖには正解値に近いベクトルとノイズとが含まれる。複数のベクトルｖについて平均化することで、図１２（Ｂ）に示すように、ノイズ成分は各シフト量算出領域の各ノイズ成分が異なる方向を向いているため、打ち消し合って、平均化した後のノイズは平均化前の各ノイズと比較してその大きさは小さくなっている。このように、円周座標に座標変換して平均化することで、各シフト量算出領域のノイズは打ち消し合って、ノイズ成分を一定以下にすることが可能となる。
【０１３０】
このように位相差ＡＦ処理部１０５は、例えば、測距領域１２０に含まれるノイズを除去してシフト量を算出することから、ノイズ除去処理部又はノイズ除去装置であってもよい。或いは、焦点調節装置１１０が、例えば、ノイズ除去装置であってもよい。
【０１３１】
なお、平均値算出部１１５は、例えば、内部メモリに式（７）と式（８）を保持し、座標変換部１１４から出力された重み付けされたシフト量ｓｈを代入することにより、ベクトルｖの平均値ｖ＿ａｖｅを得る。
【０１３２】
図４に戻り、座標逆変換部１１６は、平均値算出部１１５からベクトルｖの平均値ｖ＿ａｖｅを座標変換前のシフト量ｓｈの座標軸に逆変換し、推定シフト量ｓｈ＿ａｖｅを得る。座標逆変換部１１６は、例えば次式を用いて逆変換を行い、推定シフト量ｓｈ＿ａｖｅを得る。
【０１３３】
【数９】
2015206966.tif 000011
【０１３４】
式（９）において、θ＿ａｖｅはベクトルｖの平均値ｖ＿ａｖｅの成す角度を表わしている。式（９）で得た推定シフト量ｓｈ＿ａｖｅが、選択した測距領域１２０における最終的な出力結果となり、位相差ＡＦ処理部１０５から出力されるシフト量となる。
【０１３５】
なお、座標逆変換部１１６は、例えば、内部メモリなどに式（９）を保持し、平均値算出部１１５から受け取ったベクトルｖの平均値ｖ＿ａｖｅを式（９）に代入することで、推定シフト量ｓｈ＿ａｖｅを得ることができる。
【０１３６】
＜動作例＞
次に、位相差ＡＦ処理部１０５で行われる動作例について説明する。図１３は動作例を表わすフローチャートである。上記した説明と重複した説明となる部分は簡単に説明する。
【０１３７】
位相差ＡＦ処理部１０５は処理を開始すると（Ｓ１０）、入力画像から測距領域１２０を選択する（Ｓ１１）。例えば、測距領域選択部１１１において撮像領域１０２から選択される。測距領域１２０は、例えば、撮像領域１０２内に含まれていればよい。
【０１３８】
次に、位相差ＡＦ処理部１０５は、選択した測距領域１２０内でシフト量算出領域１２０−Ａ〜１２０−Ｌを設定する（Ｓ１２）。例えば、シフト量算出領域設定部１１２において、選択された測距領域１２０内の所定領域が選択されることで設定される。
【０１３９】
次に、位相差ＡＦ処理部１０５は、各シフト量算出領域１２０−Ａ〜１２０−Ｌにおいてシフト量ｓを算出する（Ｓ１３）。
【０１４０】
例えば、シフト量算出部１１３において、式（１）を用いて最小のＳＡＤ［ｓ］となる「ｓ」を算出することでシフト量ｓを算出する。この場合、シフト量算出部１１３は、式（２）を用いてシフト量ｓの分解能を整数値から小数値に高めて、小数値であるシフト量ｓｈを算出する。
【０１４１】
次に、位相差ＡＦ処理部１０５は、算出したシフト量ｓｈの座標軸を円周上の座標軸に変換し、シフト量ｓｈに対応するベクトルｖを得る（Ｓ１４）。
【０１４２】
例えば、座標変換部１１４において、式（３）と式（４）を用いて座標変換を行い、ベクトルｖを得る。この場合、座標変換部１１４は、例えば、各シフト量算出領域１２０−Ａ〜１２０−Ｌにおいて含まれるエッジの大きさなどに応じて、シフト量ｓｈに対して重み付けを行う。座標変換部１１４は、例えば、式（５）と式（６）を用いてベクトルｖに対して重み付けを行う。
【０１４３】
次に、位相差ＡＦ処理部１０５は、変換後の座標でシフト量の平均値ｖ＿ａｖｅと信頼度を算出する（Ｓ１５）。例えば、平均値算出部１１５において、式（７）と式（８）を用いてベクトルｖの平均値ｖ＿ａｖｅと信頼度を算出する。
【０１４４】
次に、位相差ＡＦ処理部１０５は、平均値ｖ＿ａｖｅを元のシフト量ｓｈの座標軸に逆変換し、逆変換後に得られた推定シフト量ｓｈ＿ａｖｅを、測距領域１２０の推定シフト量とする（Ｓ１６）。例えば、座標逆変換部１１６において、式（９）を用いて、推定シフト量ｓｈ＿ａｖｅを得る。
【０１４５】
そして、位相差ＡＦ処理部１０５は一連の処理を終了する（Ｓ１７）。
【０１４６】
位相差ＡＦ処理部１０５から出力された推定シフト量ｓｈ＿ａｖｅは、例えば、図３に示すように、シフト量スイッチ部１０７に出力され、信頼度に応じて駆動部１０８に出力されて、レンズ１０１が駆動され、像面位相差ＡＦ方式によるＡＦが行われる。
【０１４７】
その後、情報処理装置１００では、コントラストＡＦ処理部１０４により、レンズ１０１駆動後の画像データに基づいてコントラストＡＦ処理を行い、合焦位置へのレンズ１０１の駆動を行い、被写体に対するピント合わせを行う。
【０１４８】
このように本第２の実施の形態においては、例えば、焦点調節装置１１０は、各シフト量算出領域１２０−Ａ〜１２０−Ｌに対して得られるシフト量ｓｈ−Ａ〜ｓｈ−Ｌについて円周座標軸へ座標変換を行った後、シフト量ｓｈ−Ａ〜ｓｈ−Ｌを平均化している（又はシフト量に対応するベクトルを平均化する）。これにより、例えば、測距領域１２０にノイズが含まれる場合でも円周座標軸上でノイズが打ち消し合うことでノイズが大きく除去される。よって、焦点調節装置１１０では、測距領域１２０にノイズが含まれる場合でも、円周座標軸への変換を行わない場合と比較して、レンズ１０１をシフトさせるシフト量ｓｈが合焦位置に近づき、ＡＦの精度を向上させることができる。
【０１４９】
また、情報処理装置１００では、例えば、像面位相差ＡＦによるＡＦを行った後コントラストＡＦによるＡＦを行う場合、像面位相差ＡＦによるＡＦの精度が向上しているため、後段のコントラストＡＦの処理量も、円周座標への変換等を行わない場合と比較して少なくなる。
【０１５０】
［その他の実施の形態］
次にその他の実施の形態について説明する。
【０１５１】
上述した第２の実施の形態では、算出したベクトルｖに対してエッジの大きさに応じて重み付けを行った。例えば、このような重み付けは行われなくてもよい。この場合でも、算出したベクトルを平均化することで、円周座標軸においてノイズ成分が打ち消し合うことになり、ＡＦの精度低下を防止することができる。この場合、座標変換部１１４は、例えば、式（５）を計算せず、式（６）〜式（８）についてｗ＝１として計算することで実施できる。
【０１５２】
また、上述した第２の実施の形態においては、式（１）から式（９）は、シフト量算出部１１３から座標逆変換部１１６までの各部の内部メモリに保持される例を説明した。例えば、式（１）から式（９）は、情報処理装置１００内の他のメモリに保持されてもよい。
【０１５３】
さらに、上述した第２の実施の形態においては、算出したシフト量ｓに対して等角直線フィッテイングにより整数値であるシフト量ｓを小数値であるシフト量ｓｈへと分解能を高める例について説明した。例えば、位相差ＡＦ処理部１０５においてはかかる等角直線フィッテイングによる処理を行わなくてもよい。この場合、円周座標軸上への変換やベクトルｖの平均値ｖ＿ａｖｅの算出などは、シフト量ｓを用いて算出される。
【０１５４】
さらに、上述した第２の実施の形態において、情報処理装置１００の構成例として図３を例にして説明した。情報処理装置１００の構成例は、例えば、図１４に示すハードウェアであってもよい。
【０１５５】
情報処理装置１００は、更に、Ａ／Ｄ変換回路１３０、シフト量算出回路１３１、ＣＰＵ（Central Processing Unit）１３２、ＲＯＭ（Read Only Memory）１３３、ＲＡＭ（Random Access Memory）１３４を備える。  
【０１５６】
Ａ／Ｄ変換回路１３０は、画像表示用画素センサ１０２−ａから出力された画像表示用画像データ、位相差ＡＦ検出用画素センサ１０２−ｂ１，１０２−ｂ２から出力された位相差ＡＦ検出用画像データをデジタルデータに変換する。Ａ／Ｄ変換回路１３０は、デジタルデータに変換した画像表用画像データをＣＰＵ１３２へ出力し、位相差ＡＦ検出用画像データをシフト量算出回路１３１へ出力する。Ａ／Ｄ変換回路１３０は、例えば、第２の実施の形態におけるＡ／Ｄ変換部１０３に対応する。
【０１５７】
シフト量算出回路１３１は、位相差ＡＦ検出用画像データに対して、測距領域１２０を選択し、シフト量算出領域１２０−Ａ〜１２０−Ｌを設定して、各シフト量算出領域１２０−Ａ〜１２０−Ｌのシフト量ｓｈを算出する。シフト量算出回路１３１は、例えば、第２の実施の形態における測距領域選択部１１１、シフト量算出領域設定部１１２、及びシフト量算出部１１３に対応する。
【０１５８】
ＣＰＵ１３２は、ＲＯＭ１３３に記憶されたプログラムをＲＡＭ１３４にロードし、ロードしたプログラムを実行することで、シフト量ｓｈを円周座標軸に変換し、変換後のシフト量ｓｈを平均化し、平均化後のシフト量ｓｈを元の座標軸に逆変換する処理や、信頼度を算出する処理などを行う。ＣＰＵ１３２は、例えば、第２の実施の形態における座標変換部１１４、平均値算出部１１５、及び座標逆変換部１１６に対応する。
【０１５９】
また、ＣＰＵ１３２は、Ａ／Ｄ変換回路１３０から出力された画像表示用画像データに対して、コントラストＡＦ処理を行う。ＣＰＵ１３２は、例えば、第２の実施の形態におけるコントラストＡＦ処理部１０４に対応する。
【０１６０】
以上まとめると付記のようになる。
【０１６１】
（付記１）
レンズを所定シフト量移動させて前記レンズを介して複数の撮像素子で撮像される画像の焦点を調節する焦点調節装置における焦点調節方法であって、
前記複数の撮像素子が配置された撮像領域のうち第１及び第２のシフト量算出領域の各々に含まれる第１及び第２の撮像素子により夫々撮像された前記画像の左画像と右画像の各画像データに基づいて、前記第１及び第２のシフト量算出領域における第１及び第２のシフト量をシフト量算出部により算出し、
直線座標上の前記第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに第１の座標変換部により夫々座標変換し、
前記第１及び第２のベクトルの平均値を平均値算出部により算出し、
円周座標上の前記平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、前記レンズを移動させるシフト量として第２の座標変換部により算出し、  
算出された前記シフト量に基づいて前記画像の焦点が調節されることを特徴とする焦点調節方法。
【０１６２】
（付記２）
更に、前記複数の撮像素子のうち前記第１及び第２の撮像素子以外の複数の撮像素子で撮像された画像データのうち輝度データの最大値と最小値との差を示すコントラスト値に基づいて前記画像の焦点をコントラスト焦点調節処理部により調節し、  
前記第２の座標変換部で算出された前記シフト量に基づいて前記画像の焦点が調節された後、前記コントラスト焦点調節処理部により前記画像の焦点が調節されることを特徴とする付記１記載の焦点調節方法。
【０１６３】
（付記３）
前記第１の座標変換部により、座標変換後の前記第１及び第２のベクトルに対して、前記第１及び第２のシフト量算出領域における第１及び第２の画像に含まれるエッジ成分の大きさに応じた第１及び第２の重み量を夫々乗算することを特徴とする付記１記載の焦点調節方法。
【０１６４】
（付記４）
前記第１の座標変換部により、前記第１の撮像素子で撮像された左画像の第１の画像データ或いは前記第２の撮像素子で撮像された右画像の第２の画像データに基づいて算出した分散値、又は、前記第１又は前記第２の画像データの最大値と最小値の差分値を、前記第１及び第２の重み量として、前記第１及び第２のベクトルに対して夫々乗算することを特徴とする付記３記載の焦点調節方法。
【０１６５】
（付記５）
前記シフト量算出部で算出された前記第１及び第２のシフト量は円周座標上において前記第１及び第２のベクトルにおける方向を夫々表わし、前記第１の座標変換部で乗算された前記第１及び第２の重み量は円周座標上で前記第１及び第２のベクトルに対する大きさを夫々表わすことを特徴とする付記３の焦点調節方法。  
【０１６６】
（付記６）
前記平均値算出部により、前記第１及び第２のベクトルの和を前記第１の座標変換部で算出された前記第１及び第２の重み量の和で除算した値を、前記第１及び第２のベクトルの平均値として算出することを特徴とする付記３記載の焦点調節方法。
【０１６７】
（付記７）
更に、前記平均値算出部において算出された前記第１及び第２のベクトルの平均値に基づいて、前記第２の座標変換部から出力されるシフト量を、前記レンズを移動させる駆動部へ出力させるか否かを判別部により判別し、
前記判別部の判別結果に応じて前記第２の座標変換部から出力されたシフト量をシフト量スイッチ部により前記駆動部へ出力することを特徴とする付記１記載の焦点調節方法。
【０１６８】
（付記８）
前記第１及び第２のシフト量算出領域において、前記左画像の画像データと前記右画像の画像データとの第１及び第２の差分絶対値和を夫々算出し、算出した前記第１及び第２の差分絶対値和に基づいて前記第１及び第２のシフト量を夫々算出することを特徴とする付記１記載の焦点調節方法。
【０１６９】
（付記９）
前記第１及び第２のシフト量算出領域において、前記左画像の画像データと前記右画像の画像データとの第３及び第４の差分絶対値和を、前記左画像に対して前記右画像を所定画素単位でシフトさせる毎に夫々算出し、算出された複数の第３及び第４の差分絶対値和のうち最小となる差分絶対値和が得られたときのシフト量を、前記第１及び第２のシフト量として前記シフト量算出部により算出することを特徴とする付記８記載の焦点調節方法。
【０１７０】
（付記１０）
レンズを所定シフト量移動させて前記レンズを介して複数の撮像素子で撮像される画像の焦点を調節する焦点調節装置において、
前記複数の撮像素子が配置された撮像領域のうち第１及び第２のシフト量算出領域の各々に含まれる第１及び第２の撮像素子により夫々撮像された前記画像の左画像と右画像の各画像データに基づいて、前記第１及び第２のシフト量算出領域における第１及び第２のシフト量を夫々算出するシフト量算出部と、
直線座標上の前記第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに夫々座標変換する第１の座標変換部と、
前記第１及び第２のベクトルの平均値を算出する平均値算出部と、
円周座標上の前記平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、前記レンズを移動させるシフト量として算出する第２の座標変換部と
を備え、前記第２の座標変換部で前記算出されたシフト量に基づいて前記画像の焦点が調節されることを特徴とする焦点調節装置。
【０１７１】
（付記１１）
レンズを所定シフト量移動させて前記レンズを介して複数の撮像素子で撮像される画像の焦点を調節する焦点調節装置内のコンピュータに実行させる焦点調節プログラムであって、
前記複数の撮像素子が配置された撮像領域のうち第１及び第２のシフト量算出領域の各々に含まれる第１及び第２の撮像素子により夫々撮像された前記画像の左画像と右画像の各画像データに基づいて、前記第１及び第２のシフト量算出領域における第１及び第２のシフト量を夫々算出し、
直線座標上の前記第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに夫々座標変換し、
前記第１及び第２のベクトルの平均値を算出し、
円周座標上の前記平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、前記レンズを移動させるシフト量として算出することを前記コンピュータに実行させ、算出されたシフト量に基づいて前記画像の焦点が調節されることを特徴とする焦点調節プログラム。
【０１７２】
（付記１２）
レンズを所定シフト量移動させて前記レンズを介して複数の撮像素子で撮像される画像の焦点を調節する焦点調節装置において、
前記複数の撮像素子が配置された撮像領域のうち第１及び第２のシフト量算出領域の各々に含まれる第１及び第２の撮像素子により夫々撮像された前記画像の左画像と右画像の各画像データに基づいて、前記第１及び第２のシフト量算出領域における第１及び第２のシフト量を夫々算出するシフト量算出部と、
直線座標上の前記第１及び第２のシフト量を円周座標上の第１及び第２のベクトルに夫々座標変換し、前記第１及び第２のベクトルの平均値を算出し、円周座標上の前記平均値を直線座標上の平均値に座標変換し、座標変換後の当該平均値を、前記レンズを移動させるシフト量として算出するプロセッサと
を備え、前記算出されたシフト量に基づいて前記画像の焦点が調節されることを特徴とする焦点調節装置。
【符号の説明】
【０１７３】
１００：情報処理装置                  １０１：レンズ  
１０２：撮像面又は撮像領域            １０２−ａ：画像表示用画素センサ
１０２−ｂ１，１０２−ｂ２：位相差ＡＦ検出用画素センサ
１０３、１３０：Ａ／Ｄ変換部          １０４：コントラストＡＦ処理部
１０５：位相差ＡＦ処理部              １０６：判定部
１０７：シフト量スイッチ部            １０８：駆動部
１１１：測距領域選択部                １１２：シフト量算出領域設定部
１１３：シフト量算出部                １１４：座標変換部
１１５：平均値算出部                  １１６：座標逆変換部
１２０：測距領域                      
１２０−Ａ〜１２０−Ｌ、１２０−Ｘ：シフト量算出領域
１３１：シフト量算出回路              １３２：ＣＰＵ（プロセッサ）
ｓｈ：シフト量                        ｖ：ベクトル
ｖ＿ａｖｅ：平均値
【図１】
2015206966.tif 000012
【図２】
2015206966.tif 000013
【図３】
2015206966.tif 000014
【図４】
2015206966.tif 000015
【図５】
2015206966.tif 000016
【図６】
2015206966.tif 000017
【図７】
2015206966.tif 000018
【図８】
2015206966.tif 000019
【図９】
2015206966.tif 000020
【図１０】
2015206966.tif 000021
【図１１】
2015206966.tif 000022
【図１２】
2015206966.tif 000023
【図１３】
2015206966.tif 000024
【図１４】
2015206966.tif 000025
【図１５】
2015206966.tif 000026
【図１６】
2015206966.tif 000027
【図１７】
2015206966.tif 000028
【図１８】
2015206966.tif 000029
【図１９】
2015206966.tif 000030
【図２０】
2015206966.tif 000031