(57)【要約】【課題】  位相差検出方式による焦点調整の精度を向上させる。【解決手段】  撮像装置は、レンズの互いに異なる領域を通過した被写体からの光束に基づいて一対の画像を生成する撮像素子と、一対の画像間の位相差に基づいてレンズの駆動を制御することにより焦点を調整する焦点調整装置とを有し、焦点調整装置は、撮像素子とレンズと被写体との位置関係に応じて変化するレンズの点拡がり関数を表す特徴量情報を記憶する記憶部と、一対の画像の周波数特性を解析する周波数解析部と、一対の画像間の位相差に対応するシフト量を算出するシフト量算出部と、焦点の合う位置までのレンズの駆動量を一対の画像間のシフト量から算出する際に用いる変換情報を、特徴量情報と一対の画像の周波数特性とに基づいて生成する変換情報生成部と、一対の画像間のシフト量および変換情報に基づいて、レンズの駆動量を算出する駆動量算出部とを有する。【選択図】  図１
2017116723.tif 000002
【特許請求の範囲】
【請求項１】
レンズの互いに異なる領域を通過した被写体からの光束に基づいて一対の画像を生成する撮像素子と、前記一対の画像間の位相差に基づいて前記レンズの駆動を制御することにより焦点を調整する焦点調整装置とを備え、
前記焦点調整装置は、
前記撮像素子と前記レンズと被写体との位置関係に応じて変化する前記レンズの点拡がり関数を表す特徴量情報を記憶する記憶部と、
前記一対の画像の周波数特性を解析する周波数解析部と、
前記一対の画像間の位相差に対応するシフト量を算出するシフト量算出部と、
焦点の合う位置までの前記レンズの駆動量を前記一対の画像間のシフト量から算出する際に用いる変換情報を、前記特徴量情報と前記一対の画像の周波数特性とに基づいて生成する変換情報生成部と、
前記一対の画像間のシフト量および前記変換情報に基づいて、前記レンズの駆動量を算出する駆動量算出部と
を有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記記憶部に格納する前記特徴量情報を生成する特徴量生成部をさらに備えている
ことを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記特徴量情報により表される点拡がり関数は、前記撮像素子から前記レンズまでの距離および前記レンズから被写体までの距離に依存する関数であり、
前記変換情報は、前記レンズから被写体までの距離と前記一対の画像間のシフト量との対応関係を示す情報である
ことを特徴とする撮像装置。
【請求項４】
請求項１または請求項２に記載の撮像装置において、
前記特徴量情報により表される点拡がり関数は、前記レンズの合焦時の位置からのずれ量に依存する関数であり、
前記変換情報は、前記レンズの合焦時の位置からのずれ量と前記一対の画像間のシフト量との対応関係を示す情報である
ことを特徴とする撮像装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の撮像装置において、
前記特徴量情報は、前記レンズの特性を表す点拡がり関数を三角形で近似した場合の各頂点の前記レンズの光軸に対する位置を示す一次元の位置情報を含む
ことを特徴とする撮像装置。
【請求項６】
請求項１ないし請求項４のいずれか１項に記載の撮像装置において、
前記特徴量情報は、前記レンズの特性を表す点拡がり関数を正規化した場合の平均、標準偏差および歪度をそれぞれ示す情報を含む
ことを特徴とする撮像装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の撮像装置において、
前記周波数解析部は、前記一対の画像の周波数成分のうち、最も高い強度の周波数成分を前記一対の画像の周波数特性として算出する
ことを特徴とする撮像装置。
【請求項８】
請求項１ないし請求項６のいずれか１項に記載の撮像装置において、
前記周波数解析部は、前記一対の画像の周波数成分の強度を示す分布を前記一対の画像の周波数特性として算出する
ことを特徴とする撮像装置。
【請求項９】
請求項１ないし請求項８のいずれか１項に記載の撮像装置において、
変換情報生成部は、前記一対の画像の周波数成分のうちの最も高い強度の周波数成分が予め決められた周波数より低い場合、前記一対の画像間のシフト量に予め決められた定数を乗算して前記レンズの駆動量を算出することを示す前記変換情報を前記駆動量算出部に出力する
ことを特徴とする撮像装置。
【請求項１０】
レンズの互いに異なる領域を通過した被写体からの光束に基づいて撮像素子により生成される一対の画像間の位相差に基づいて、前記レンズの駆動を制御することにより焦点を調整する焦点調整装置において、
前記撮像素子と前記レンズと被写体との位置関係に応じて変化する前記レンズの点拡がり関数を表す特徴量情報を記憶する記憶部と、
前記一対の画像の周波数特性を解析する周波数解析部と、
前記一対の画像間の位相差に対応するシフト量を算出するシフト量算出部と、
焦点の合う位置までの前記レンズの駆動量を前記一対の画像間のシフト量から算出する際に用いる変換情報を、前記特徴量情報と前記一対の画像の周波数特性とに基づいて生成する変換情報生成部と、
前記一対の画像間のシフト量および前記変換情報に基づいて、前記レンズの駆動量を算出する駆動量算出部と
を有することを特徴とする焦点調整装置。
【請求項１１】
レンズの互いに異なる領域を通過した被写体からの光束に基づいて撮像素子により生成される一対の画像間の位相差に基づいて、前記レンズの駆動を制御することにより焦点を調整する焦点調整処理をコンピュータに実行させる焦点調整プログラムにおいて、
前記一対の画像の周波数特性を解析し、
前記一対の画像間の位相差に対応するシフト量を算出し、
焦点の合う位置までの前記レンズの駆動量を前記一対の画像間のシフト量から算出する際に用いる変換情報を、前記撮像素子と前記レンズと被写体との互いの位置関係に応じて変化する前記レンズの点拡がり関数を表す特徴量情報と前記一対の画像の周波数特性とに基づいて生成し、
前記一対の画像間のシフト量および前記変換情報に基づいて、前記レンズの駆動量を算出する
ことを特徴とする焦点調整プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、焦点調整装置および焦点調整プログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置では、位相差検出方式およびコントラスト検出方式等のオートフォーカス制御が実行される(例えば、特許文献１参照)。位相差検出方式では、例えば、レンズを通過した焦点検出用の一対の光束に基づいて一対の画像を生成する。そして、一対の画像間の位相差に対応するシフト量（一対の画像間のずれ量）を検出し、一対の画像間のシフト量に基づいて焦点を調整する。
【０００３】
また、点光源に対するレンズの特性を表す点拡がり関数を用いてフォーカス制御を実行する焦点調整装置が提案されている(例えば、特許文献２参照)。この種の焦点調整装置は、光軸に対して非対称の絞りを通過した光束に基づいて生成された画像と予め用意された複数の点拡がり関数とを比較して、焦点のずれ量とずれ方向とを算出する。そして、焦点調整装置は、算出した焦点のずれ量とずれ方向とに基づいて、焦点を調整する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１６４２５８号公報
【特許文献２】特開２０１２−５８３５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
位相差検出方式では、一対の画像から合焦位置を推定するため、コントラストの最も高い画像を検出するまでレンズの位置を移動させて画像のコントラストを逐次解析するコントラスト検出方式に比べて、処理速度は速いが、焦点調整の精度は低下する。例えば、レンズの点拡がり関数が収差等の影響で歪んでいる場合、被写体、レンズおよび撮像素子の位置関係が同じ状態でも、一対の画像間の位相差（シフト量）が被写体によって変動する場合がある。この場合、被写体によってレンズの駆動量がずれ、焦点が合わないおそれがある。
【０００６】
１つの側面では、本発明は、位相差検出方式による焦点調整の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
一観点によれば、撮像装置は、レンズの互いに異なる領域を通過した被写体からの光束に基づいて一対の画像を生成する撮像素子と、一対の画像間の位相差に基づいてレンズの駆動を制御することにより焦点を調整する焦点調整装置とを有し、焦点調整装置は、撮像素子とレンズと被写体との位置関係に応じて変化するレンズの点拡がり関数を表す特徴量情報を記憶する記憶部と、一対の画像の周波数特性を解析する周波数解析部と、一対の画像間の位相差に対応するシフト量を算出するシフト量算出部と、焦点の合う位置までのレンズの駆動量を一対の画像間のシフト量から算出する際に用いる変換情報を、特徴量情報と一対の画像の周波数特性とに基づいて生成する変換情報生成部と、一対の画像間のシフト量および変換情報に基づいて、レンズの駆動量を算出する駆動量算出部とを有する。
【０００８】
別の観点によれば、レンズの互いに異なる領域を通過した被写体からの光束に基づいて撮像素子により生成される一対の画像間の位相差に基づいて、レンズの駆動を制御することにより焦点を調整する焦点調整装置は、撮像素子とレンズと被写体との位置関係に応じて変化するレンズの点拡がり関数を表す特徴量情報を記憶する記憶部と、一対の画像の周波数特性を解析する周波数解析部と、一対の画像間の位相差に対応するシフト量を算出するシフト量算出部と、焦点の合う位置までのレンズの駆動量を一対の画像間のシフト量から算出する際に用いる変換情報を、特徴量情報と一対の画像の周波数特性とに基づいて生成する変換情報生成部と、一対の画像間のシフト量および変換情報に基づいて、レンズの駆動量を算出する駆動量算出部とを有する。
【０００９】
別の観点によれば、レンズの互いに異なる領域を通過した被写体からの光束に基づいて撮像素子により生成される一対の画像間の位相差に基づいて、レンズの駆動を制御することにより焦点を調整する焦点調整処理をコンピュータに実行させる焦点調整プログラムは、一対の画像の周波数特性を解析し、一対の画像間の位相差に対応するシフト量を算出し、焦点の合う位置までのレンズの駆動量を一対の画像間のシフト量から算出する際に用いる変換情報を、撮像素子とレンズと被写体との互いの位置関係に応じて変化するレンズの点拡がり関数を表す特徴量情報と一対の画像の周波数特性とに基づいて生成し、一対の画像間のシフト量および変換情報に基づいて、レンズの駆動量を算出する。
【発明の効果】
【００１０】
位相差検出方式による焦点調整の精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置、焦点調整装置および焦点調整プログラムの一実施形態を示す図である。
【図２】撮像装置、焦点調整装置および焦点調整プログラムの別の実施形態を示す図である。
【図３】位相差検出方式による焦点調整の概要を示す図である。
【図４】点拡がり関数と周波数毎のシフト量との関係の一例を示す図である。
【図５】点拡がり関数の形状を表す特徴量の生成方法の一例を示す図である。
【図６】点拡がり関数の形状を表す特徴量の生成方法の別の例を示す図である。
【図７】図２に示した周波数解析部の動作の一例を示す図である。
【図８】図２に示した変換情報生成部の動作の一例を示す図である。
【図９】点拡がり関数からシフト量を算出する計算方法の一例を示す図である。
【図１０】図２に示した駆動量算出部の動作の一例を示す図である。
【図１１】図２に示した駆動量算出部の動作の別の例を示す図である。
【図１２】図２に示した焦点調整装置の動作の一例を示す図である。
【図１３】図２に示した焦点調整装置によるレンズの駆動の制御の一例を示す図である。
【図１４】撮像装置の別の実施形態を示す図である。
【図１５】焦点調整プログラムを実行するハードウェアの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、実施形態について、図面を用いて説明する。
【００１３】
図１は、撮像装置、焦点調整装置および焦点調整プログラムの一実施形態を示す。図１に示す撮像装置１０は、例えば、レンズ２０と、撮像素子３０と、レンズ駆動部４０と、位相差検出方式による焦点調整を実行する焦点調整装置１００とを有するデジタルカメラである。レンズ２０は、被写体の像を撮像素子３０の撮像領域（受光面）に結像する。撮像素子３０は、ＣＣＤ(Charge Coupled Device)またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いたイメージセンサである。図１では、撮像素子３０の撮像領域の一例を括弧内に示す。
【００１４】
図１に示す例では、撮像素子３０は、一対の位相差検出領域ＦＡＲ（ＦＡＲ１、ＦＡＲ２）内に配置された複数の位相差検出用の画素ＰＸ２１、２２と、位相差検出領域ＦＡＲ以外に配置された複数の画像表示用の画素ＰＸ１０とを有する。各画素ＰＸ（ＰＸ１０、ＰＸ２１、ＰＸ２２）の受光面上には図示しないマイクロレンズが配置される。各画素ＰＸは、レンズ２０およびマイクロレンズを介して入射される被写体からの光束を、画素値を示す電気信号に変換する。
【００１５】
位相差検出領域ＦＡＲ１内に配置された各画素ＰＸ２１は、例えば、受光面の右半分が遮光され、レンズ２０の右半分を通過した被写体からの光束を受ける。これにより、位相差検出領域ＦＡＲ１内に配置された複数の画素ＰＸ２１は、レンズ２０の右半分を通過した被写体からの光束に基づいて、位相差検出用の一対の画像ＩＭＧｆ（ＩＭＧｆｌ、ＩＭＧｆｒ）のうちの画像ＩＭＧｆｒを生成する。以下、画像ＩＭＧｆｒは、右画像ＩＭＧｆｒとも称される。
【００１６】
位相差検出領域ＦＡＲ２内に配置された各画素ＰＸ２２は、例えば、受光面の左半分が遮光され、レンズ２０の左半分を通過した被写体からの光束を受ける。これにより、位相差検出領域ＦＡＲ２内に配置された複数の画素ＰＸ２２は、レンズ２０の左半分を通過した被写体からの光束に基づいて、位相差検出用の一対の画像ＩＭＧｆのうちの画像ＩＭＧｆｌを生成する。以下、画像ＩＭＧｆｌは、左画像ＩＭＧｆｌとも称される。
【００１７】
このように、撮像素子３０は、レンズ２０の互いに異なる領域を通過した被写体からの光束に基づいて、位相差検出用の一対の画像ＩＭＧｆ（図１に示す例では、左右に瞳分割した一対の像）を生成する。なお、通常の撮影では、撮像素子３０は、位相差検出領域ＦＡＲ内の各画素ＰＸ２１、ＰＸ２２の画素値を位相差検出領域ＦＡＲの周辺の画素ＰＸ１０の画素値等を用いて補間して、表示用の画像を生成する。
【００１８】
レンズ駆動部４０は、焦点調整装置１００からの指示に基づいてレンズ２０を駆動して、レンズ２０の光軸方向の位置を調整する。
【００１９】
焦点調整装置１００は、撮像素子３０から受けた一対の画像ＩＭＧｆｌ、ＩＭＧｆｒを用いて位相差検出方式による焦点調整を実行し、焦点が合う位置までのレンズ２０の駆動量を示す情報ＤＩＮＦをレンズ駆動部４０に出力する。例えば、焦点調整装置１００は、記憶部１１０、周波数解析部１２０、シフト量算出部１３０、変換情報生成部１４０および駆動量算出部１５０を有する。
【００２０】
記憶部１１０は、撮像素子３０とレンズ２０と被写体との位置関係に応じて変化するレンズ２０の点拡がり関数を表す特徴量情報ＰＩＮＦ（以下、情報ＰＩＮＦとも称する）を記憶する。以下、点拡がり関数は、ＰＳＦ（Point Spread Function）とも称される。点拡がり関数は、点光源に対するレンズ２０の特性を表す関数である。例えば、撮像装置１０の製造時に、レンズ２０の合焦時の位置からのずれ量を変化させてレンズ２０の点拡がり関数が計測され、計測された点拡がり関数を表す特徴量情報ＰＩＮＦが記憶部１１０に格納される。レンズ２０の点拡がり関数を計測する際の被写体として、例えば、点光源、エッジパターン等のテストパターンが用いられる。なお、点拡がり関数は、テストパターン等による計測を実行せずに、所定の計算式に基づいて決定されてもよい。
【００２１】
周波数解析部１２０は、位相差検出用の一対の画像ＩＭＧｆを撮像素子３０から受け、一対の画像ＩＭＧｆの周波数特性を解析する。なお、周波数解析部１２０は、一対の画像ＩＭＧｆの一方の周波数特性を一対の画像ＩＭＧｆの周波数特性として解析してもよい。あるいは、周波数解析部１２０は、画像ＩＭＧｆｌ、ＩＭＧｆｒの両方の周波数特性を解析し、画像ＩＭＧｆｌ、ＩＭＧｆｒのそれぞれの解析結果に基づいて、一対の画像ＩＭＧｆの周波数特性を算出してもよい。
【００２２】
例えば、周波数解析部１２０は、一対の画像ＩＭＧｆの周波数成分のうち、最も高い強度の周波数成分を一対の画像ＩＭＧｆの周波数特性として算出する。そして、周波数解析部１２０は、一対の画像ＩＭＧｆの周波数特性を示す情報ＦＩＮＦを、変換情報生成部１４０に出力する。
【００２３】
シフト量算出部１３０は、位相差検出用の一対の画像ＩＭＧｆを撮像素子３０から受け、一対の画像ＩＭＧｆ間の位相差に対応するシフト量を算出する。例えば、シフト量算出部１３０は、画像ＩＭＧｆｌに対して画像ＩＭＧｆｒの位置をシフトしながら、画像ＩＭＧｆｌ、ＩＭＧｆｒの互いに対応する位置の画素値の差分絶対値和（ＳＡＤ：Sum of Absolute Difference）を逐次算出する。そして、シフト量算出部１３０は、差分絶対値和が最小になるシフト量を、一対の画像ＩＭＧｆ間のシフト量として算出する。
【００２４】
変換情報生成部１４０は、焦点の合う位置までのレンズ２０の駆動量を一対の画像ＩＭＧｆ間のシフト量から算出する際に用いる変換情報ＣＩＮＦ（以下、情報ＣＩＮＦとも称する）を、特徴量情報ＰＩＮＦと一対の画像ＩＭＧｆの周波数特性とに基づいて生成する。これにより、一対の画像ＩＭＧｆの周波数特性に合わせた変換情報ＣＩＮＦが生成される。
【００２５】
例えば、変換情報生成部１４０は、周波数解析部１２０により解析された周波数と同じ周波数の信号（例えば、正弦波）と特徴量情報ＰＩＮＦにより表される点拡がり関数との畳み込み積分を実行して、点拡がり関数から一対の画像ＩＭＧｆ間のシフト量を算出する。
【００２６】
レンズ２０の合焦時の位置からのずれ量を変化させた複数の特徴量情報ＰＩＮＦが記憶部１１０に記憶されている場合、一対の画像ＩＭＧｆ間のシフト量は、複数のずれ量に対応する複数の点拡がり関数毎に算出される。これにより、周波数解析部１２０により解析された周波数における一対の画像ＩＭＧｆ間のシフト量とレンズ２０の合焦時の位置からのずれ量（すなわち、レンズ２０の駆動量）との対応関係が得られる。この場合、変換情報生成部１４０は、周波数解析部１２０により解析された周波数における一対の画像ＩＭＧｆ間のシフト量とレンズ２０の駆動量との対応関係を示す変換情報ＣＩＮＦを、駆動量算出部１５０に出力する。
【００２７】
駆動量算出部１５０は、一対の画像ＩＭＧｆ間のシフト量を示す情報ＳＩＮＦをシフト量算出部１３０から受け、一対の画像ＩＭＧｆ間のシフト量をレンズ２０の駆動量に変換するための変換情報ＣＩＮＦを変換情報生成部１４０から受ける。そして、駆動量算出部１５０は、一対の画像ＩＭＧｆ間のシフト量および変換情報ＣＩＮＦに基づいてレンズ２０の駆動量を算出し、算出したレンズ２０の駆動量を示す情報ＤＩＮＦをレンズ駆動部４０に出力する。このように、焦点調整装置１００は、レンズ駆動部４０を制御してレンズ２０を駆動し、レンズ２０の位置を調整する。
【００２８】
ここで、変換情報ＣＩＮＦを使用しない焦点調整装置は、例えば、シフト量算出部１３０で算出した一対の画像ＩＭＧｆ間のシフト量に対してレンズ２０の駆動量を一意に決める。このため、一対の画像ＩＭＧｆ間の位相差（シフト量）が一対の画像ＩＭＧｆの周波数によって変動する場合、レンズ２０の駆動量も変動する。
【００２９】
例えば、レンズ２０の点拡がり関数が収差等の影響で歪んでいる場合、被写体とレンズ２０と撮像素子３０との位置関係が変動しなくても、一対の画像ＩＭＧｆ間のシフト量が一対の画像ＩＭＧｆの周波数によって変動する場合がある。この場合、変換情報ＣＩＮＦを使用しない焦点調整装置では、被写体とレンズ２０と撮像素子３０との位置関係が変動しなくても、レンズ駆動部４０に指示するレンズ２０の駆動量が被写体によって変動する場合がある。すなわち、変換情報ＣＩＮＦを使用しない焦点調整装置では、被写体によってレンズ２０の駆動量がずれ、焦点が合わないおそれがある。
【００３０】
これに対し、図１に示す焦点調整装置１００は、一対の画像ＩＭＧｆの周波数に応じた一対の画像ＩＭＧｆ間のシフト量とレンズ２０の駆動量との対応関係を示す変換情報ＣＩＮＦを、複数の特徴量情報ＰＩＮＦ（レンズ２０の点拡がり関数）に基づいて生成する。そして、焦点調整装置１００は、シフト量算出部１３０で算出した一対の画像ＩＭＧｆ間のシフト量に対応するレンズ２０の駆動量を、一対の画像ＩＭＧｆの周波数特性に合わせた変換情報ＣＩＮＦに基づいて算出する。これにより、一対の画像ＩＭＧｆの周波数に応じたレンズ２０の駆動量が算出され、被写体によってレンズ２０の駆動量が変動することを抑制できる。したがって、焦点調整装置１００は、変換情報ＣＩＮＦを使用しない焦点調整装置に比べて、焦点調整の精度を向上させることができる。
【００３１】
なお、撮像装置１０の構成および動作は、図１に示す例に限定されない。例えば、撮像装置１０は、図１４に示すように、画像表示用の撮像素子３２と位相差検出用の撮像素子３４、３６とを別々に有してもよい。また、レンズ駆動部４０は、焦点調整装置１００内に配置されてもよい。あるいは、レンズ２０およびレンズ駆動部４０を含むレンズユニットは、撮像素子３０および焦点調整装置１００を含むカメラボディと着脱可能に設けられてもよいし、撮像素子３０および焦点調整装置１００を含むカメラボディと一体に設けられてもよい。
【００３２】
また、焦点調整装置１００の構成および動作は、図１に示す例に限定されない。例えば、周波数解析部１２０は、１つの周波数成分に特定せずに、各周波数成分の強度を示す分布を一対の画像ＩＭＧｆの周波数特性として算出してもよい。あるいは、特徴量情報ＰＩＮＦは、撮像素子３０からレンズ２０までの距離とレンズ２０から被写体までの距離との複数の組み合わせ毎に記憶部１１０に格納されてもよい。この場合、変換情報生成部１４０は、一対の画像ＩＭＧｆを撮影したときの撮像素子３０からレンズ２０までの距離に対応する複数の特徴量情報ＰＩＮＦを記憶部１１０から読み出す。そして、変換情報生成部１４０は、レンズ２０から被写体までの距離と一対の画像ＩＭＧｆ間のシフト量との対応関係を示す変換情報ＣＩＮＦを生成してもよい。
【００３３】
以上、図１に示す実施形態では、焦点調整装置１００は、一対の画像ＩＭＧｆの周波数特性に合わせた変換情報ＣＩＮＦを、特徴量情報ＰＩＮＦおよび一対の画像ＩＭＧｆの周波数特性に基づいて生成する。そして、焦点調整装置１００は、一対の画像ＩＭＧｆの周波数特性に合わせた変換情報ＣＩＮＦに基づいて、一対の画像ＩＭＧｆ間のシフト量からレンズ２０の駆動量を算出する。一対の画像ＩＭＧｆの周波数特性に合わせた変換情報ＣＩＮＦに基づいてレンズ２０の駆動量が算出されるため、一対の画像ＩＭＧｆの周波数特性の変動に伴いレンズ２０の駆動量が変動することを抑制できる。したがって、焦点調整装置１００は、変換情報ＣＩＮＦを使用しない焦点調整装置に比べて、位相差検出方式による焦点調整の精度を向上させることができる。
【００３４】
図２は、撮像装置、焦点調整装置および焦点調整プログラムの別の実施形態を示す。図１で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図２に示す撮像装置１２は、図１に示した焦点調整装置１００の代わりに焦点調整装置１０２を有することを除いて、図１に示した撮像装置１０と同一または同様である。例えば、撮像装置１２は、レンズ２０と、撮像素子３０と、レンズ駆動部４０と、位相差検出方式による焦点調整を実行する焦点調整装置１０２とを有するデジタルカメラである。
【００３５】
焦点調整装置１０２は、特徴量生成部１１２が図１に示した焦点調整装置１００に追加されていることを除いて、焦点調整装置１００と同一または同様である。例えば、焦点調整装置１０２は、記憶部１１０、特徴量生成部１１２、周波数解析部１２０、シフト量算出部１３０、変換情報生成部１４０および駆動量算出部１５０を有する。
【００３６】
特徴量生成部１１２は、例えば、撮像装置１２の製造時に、レンズ２０の合焦時の位置からのずれ量を変化させてレンズ２０の点拡がり関数を計測し、計測した点拡がり関数を表す特徴量情報ＰＩＮＦを生成する。そして、特徴量生成部１１２は、特徴量情報ＰＩＮＦを記憶部１１０に格納する。
【００３７】
なお、撮像装置１２の構成および動作は、図２に示す例に限定されない。また、焦点調整装置１０２の構成および動作は、図２に示す例に限定されない。例えば、記憶部１１０は、特徴量生成部１１２内に設けられてもよい。
【００３８】
図３は、位相差検出方式による焦点調整の概要を示す。図３は、合焦位置が結像面（撮像素子３０）よりレンズ２０側に位置する前ピンの状態を示している。結像面で焦点が合わない場合、被写体ＯＢＪが左右に分散されて投影され、ぼけた画像が生成される。レンズ２０の左半分および右半分をそれぞれ通過した光（以下、左右の光とも称する）の結像位置は、合焦位置と結像面のずれに依存する。例えば、前ピンの場合では、左右の光は、逆位置に投影され、結像面が合焦位置よりレンズ２０側に位置する後ピンの場合では、左右の光は、順位置に投影される。レンズ２０の左半分および右半分をそれぞれ通過した光の結像位置のずれ(位相差)を検出できれば焦点のずれを調整できるが、１つのレンズ２０のみでは結像面で左右の光が重なるため、位相差を検出することは困難である。
【００３９】
このため、撮像装置１２では、図２に示したように、レンズ２０の右半分を通過した被写体からの光束を受ける画素ＰＸ２１とレンズ２０の左半分を通過した被写体からの光束を受ける画素ＰＸ２２とを用いて、右画像ＩＭＧｆｒと左画像ＩＭＧｆｌとを生成する。なお、図３では、説明を分かりやすくするために、画素ＰＸ２１、ＰＸ２２における遮光された領域に対応するレンズ２０の領域を黒色で示している。すなわち、画素ＰＸ２１、ＰＸ２２が受ける光が通過するレンズ２０の領域を白抜きで示している。
【００４０】
位相差検出用の画素ＰＸ２１、２２を用いることにより、結像位置の異なる左画像ＩＭＧｆｌと右画像ＩＭＧｆｒとを分離でき、一対の画像ＩＭＧｆ間の位相差を求めることで焦点がどの程度ずれているかを観測することができる。例えば、シフト量算出部１３０は、左画像ＩＭＧｆｌに対して右画像ＩＭＧｆｒの位置をシフトしながら、画像ＩＭＧｆｌ、ＩＭＧｆｒの互いに対応する位置の画素値の差分絶対値和を逐次算出する。
【００４１】
例えば、シフト量ｓに対応する差分絶対値和ＳＡＤ（ｓ）は、１回の計算に使用する画像ＩＭＧｆｌ、ＩＭＧｆｒの画素数Ｎ（差分絶対値和の計算範囲）、画像ＩＭＧｆｌ、ＩＭＧｆｒのｎ番目の画素の値Ｌ（ｎ）、Ｒ（ｎ）を用いて、式（１）で表される。なお、式（１）のＳは、検討するシフト量ｓの最大値を示す（最小値は、−Ｓ）。すなわち、シフト量ｓは、−Ｓ以上でＳ以下の範囲である。
【００４２】
【数１】
2017116723.tif 000003
式（１）の差分絶対値和ＳＡＤ（ｓ）が最小となるシフト量ｓを求めることにより、被写体ＯＢＪのぼけの程度を推定することができる。シフト量算出部１３０は、差分絶対値和ＳＡＤ（ｓ）が最小になるシフト量ｓを位相差として算出する。例えば、点拡がり関数が歪んでいない場合、シフト量算出部１３０で算出した位相差（シフト量ｓ）分だけレンズ２０を移動させることでレンズ２０を合焦位置まで直接移動させることができる。なお、点拡がり関数が歪んでいる場合、図４に示すように、一対の画像ＩＭＧｆの周波数特性によって、一対の画像ＩＭＧｆ間のシフト量ｓがずれる場合がある。
【００４３】
図４は、点拡がり関数と周波数毎のシフト量との関係の一例を示す。点拡がり関数ＰＳＦｒ（ＰＳＦｒ１、ＰＳＦｒ２、ＰＳＦｒ３）は、レンズ２０の右半分を通過した点光源からの光束の結像面における強度分布に対応する。また、点拡がり関数ＰＳＦｌ（ＰＳＦｌ１、ＰＳＦｌ２、ＰＳＦｌ３）は、レンズ２０の左半分を通過した点光源からの光束の結像面における強度分布に対応する。
【００４４】
例えば、パターン１は、点拡がり関数ＰＳＦｒ１、ＰＳＦｌ１が歪んでいない場合を示している。点拡がり関数ＰＳＦｒ１、ＰＳＦｌ１が歪んでいない場合、一対の画像ＩＭＧｆ間のシフト量ｓは、周波数に依存せずに一定である。パターン２は、点拡がり関数ＰＳＦｒ２、ＰＳＦｌ２が外側（点拡がり関数ＰＳＦｒ２は図の右側、点拡がり関数ＰＳＦｌ２は図の左側）に歪んでいる場合を示している。点拡がり関数ＰＳＦｒ２、ＰＳＦｌ２が外側に歪んでいる場合、シフト量ｓは、周波数が高くなるほど、大きくなる方向にずれる。パターン３は、点拡がり関数ＰＳＦｒ３、ＰＳＦｌ３が内側（点拡がり関数ＰＳＦｒ３は図の左側、点拡がり関数ＰＳＦｌ３は図の右側）に歪んでいる場合を示している。点拡がり関数ＰＳＦｒ３、ＰＳＦｌ３が内側に歪んでいる場合、シフト量ｓは、周波数が高くなるほど、小さくなる方向にずれる。
【００４５】
特徴量生成部１１２は、撮像素子３０とレンズ２０と被写体ＯＢＪとの位置関係に応じて変化するレンズ２０の点拡がり関数ＰＳＦを表す特徴量情報ＰＩＮＦを生成し、生成した特徴量情報ＰＩＮＦを記憶部１１０に格納する。
【００４６】
図５は、点拡がり関数の形状を表す特徴量の生成方法の一例を示す。図５に示す例では、特徴量生成部１１２は、ＰＳＦ（点拡がり関数）の形状が撮像位置ｚと被写体位置ｈとに依存して決まるとして、ＰＳＦの形状の特徴量を決定する。撮像位置ｚは、レンズ２０を基準としたときの光軸上の撮像素子３０の位置、すなわち、レンズ２０から撮像素子３０までの距離を示す。被写体位置ｈは、レンズ２０を基準としたときの光軸上の被写体ＯＢＪｐの位置、すなわち、レンズ２０から被写体ＯＢＪｐまでの距離を示す。以下、撮像位置ｚおよび被写体位置ｈは、距離ｚ、ｈともそれぞれ称される。
【００４７】
例えば、撮像装置１２の製造時に、点光源、エッジパターン等のテストパターンを被写体ＯＢＪｐとした撮影が、距離ｚ、ｈを様々に変えながら実行される。これにより、距離ｚ、ｈを様々に変えながら撮影された被写体ＯＢＪｐの画像が撮像素子３０内の一対の位相差検出領域ＦＡＲで生成される。特徴量生成部１１２は、距離ｚ、ｈを様々に変えながら撮影された被写体ＯＢＪｐの画像からＰＳＦを取得して、ＰＳＦの形状を表す特徴量を算出する。図５では、撮像位置ｚ１、ｚ２、ｚ３でのＰＳＦの一例を図５の括弧内に示す。
【００４８】
被写体ＯＢＪｐが点光源である場合、位相差検出領域ＦＡＲで生成される画像がそのままＰＳＦに対応する。また、被写体ＯＢＪｐがエッジパターンである場合、特徴量生成部１１２は、位相差検出領域ＦＡＲで生成される画像内の互いに隣接する画素の値の絶対値差分を算出する。例えば、ぼけのないエッジパターンの隣接画素の差分を算出して得られる信号はインパルスとほぼ同じ形になるため、位相差検出領域ＦＡＲで生成される画像内の互いに隣接する画素の値の絶対値差分はインパルスの応答と見なせる。このため、特徴量生成部１１２は、互いに隣接する画素の値の絶対値差分により得られるパターンをＰＳＦとして取得する。
【００４９】
そして、特徴量生成部１１２は、ＰＳＦを正規化して、正規化後のＰＳＦの平均μ（重心と同じ）、標準偏差σ（または分散）、歪度ｋの３つをＰＳＦの形状を表す特徴量として、様々な距離ｚ、ｈのＰＳＦ毎に算出する。正規化後のＰＳＦの形状をｆ（ｘ）で表した場合、平均μ、標準偏差σ、歪度ｋは、それぞれ式（２）、式（３）および式（４）で表される。なお、ｆ（ｘ）は、光軸に対応する画素の位置を原点として、ｆ（ｘ）＞０、かつ、∫ｆ（ｘ）ｄｘ＝１の条件を満たす。
μ＝∫ｘｆ（ｘ）ｄｘ                       ・・・（２）
σ２＝∫（ｘ−μ）２ｆ（ｘ）ｄｘ              ・・・（３）
ｋ＝（１／σ３）∫（ｘ−μ）３ｆ（ｘ）ｄｘ    ・・・（４）
なお、特徴量生成部１１２は、ＰＳＦを三角形に近似して、三角形の山の位置Ｃ、左側の裾野の幅Ｌ、右側の裾野の幅Ｒの３つをＰＳＦの形状を表す特徴量として、様々な距離ｚ、ｈのＰＳＦ毎に算出してもよい。この場合、特徴量生成部１１２は、ＰＳＦの形状ｆ（ｘ）と三角形の二乗誤差が最小になるように、三角形の位置Ｃ、幅Ｌ、Ｒを決定する。なお、三角形の位置Ｃ、幅Ｌ、Ｒは、三角形の各頂点のレンズ２０の光軸に対する位置を示す一次元の位置情報に対応する。
【００５０】
これにより、様々な距離ｚ、ｈのＰＳＦの平均μ、標準偏差σ、歪度ｋを示す特徴量情報ＰＩＮＦ、または、様々な距離ｚ、ｈのＰＳＦにそれぞれ対応する三角形の位置Ｃ、幅Ｌ、Ｒを示す特徴量情報ＰＩＮＦが、記憶部１１０に格納される。
【００５１】
また、特徴量生成部１１２は、合焦位置ｚ０（被写体ＯＢＪｐが合焦する位置ｚ０）からの撮像位置ｚのずれ量のみに依存してＰＳＦの形状が決まるとして、ＰＳＦの形状の特徴量を決定してもよい。この場合、撮像位置ｚが合焦位置ｚ０よりも前に位置するか後ろに位置するかで、ずれ量の符号は変化する。なお、合焦位置ｚ０からの撮像位置ｚのずれ量は、レンズ２０の合焦時の位置からのずれ量に対応する。また、点拡がり関数は、図６に示すように、テストパターン等による計測を実行せずに、所定の計算式に基づいて決定されてもよい。
【００５２】
図６は、点拡がり関数の形状を表す特徴量の生成方法の別の例を示す。図６に示す例では、ＰＳＦを表す特徴量は、撮像位置ｚが合焦位置ｚ０から離れるほどＰＳＦの重心（平均μ）が原点（光軸）から離れ、ＰＳＦの横幅が広がるものとして、所定の計算式に基づいて算出される。例えば、ＰＳＦの平均μおよび標準偏差σは、合焦位置ｚ０からの撮像位置ｚのずれ量ｄに比例して定めることができ、それぞれ式（５）および式（６）で表される。なお、式（５）のＡは、定数を示す。
μ＝Ａ×ｄ      ・・・（５）
σ＝｜μ｜      ・・・（６）
また、ＰＳＦの歪度ｋは、ずれ量ｄの変化によらず一定として定めることができる。ずれ量が０以上の場合、ＰＳＦの歪度ｋは、式（７）で表され、ずれ量が０未満の場合、ＰＳＦの歪度ｋは、式（８）で表される。
ｋ＝−０．３（ｄ≧０の場合）    ・・・（７）
ｋ＝０．３（ｄ＜０の場合）      ・・・（８）
図６に示したＰＳＦの形状を左画像のＰＳＦ（レンズ２０の左半分を通過した点光源からの光束の結像面における強度分布に対応するＰＳＦ）とした場合、右画像のＰＳＦの形状は、左画像のＰＳＦの形状を対称にしたものとして算出される。
【００５３】
なお、点拡がり関数の形状を表す特徴量は、所定の計算式（例えば、式（５）から式（８））に基づいて、焦点調整装置１０２の外部の装置または撮像装置１２の外部の装置により決定されてもよいし、特徴量生成部１１２により決定されてもよい。
【００５４】
図７は、図２に示した周波数解析部１２０の動作の一例を示す。周波数解析部１２０は、例えば、一対の位相差検出用の画像ＩＭＧｆのうちの画像ＩＭＧｆｌをフーリエ変換して、各周波数の強度分布Ｆ（ｆ）を算出する。そして、周波数解析部１２０は、各周波数の強度分布Ｆ（ｆ）を示す情報ＦＩＮＦを変換情報生成部１４０に出力する。あるいは、周波数解析部１２０は、強度分布Ｆ（ｆ）において最も高い強度の周波数ｆ０を特定し、最も高い強度の周波数ｆ０を示す情報ＦＩＮＦを変換情報生成部１４０に出力する。
【００５５】
なお、周波数解析部１２０は、一対の画像ＩＭＧｆのうちの画像ＩＭＧｆｒをフーリエ変換して、各周波数の強度分布Ｆ（ｆ）を算出してもよい。あるいは、周波数解析部１２０は、画像ＩＭＧｆｌをフーリエ変換して算出した強度分布Ｆ（ｆ）と画像ＩＭＧｆｒをフーリエ変換して算出した強度分布Ｆ（ｆ）とに基づいて、一対の画像ＩＭＧｆの各周波数の強度分布Ｆ（ｆ）を算出してもよい。
【００５６】
図８は、図２に示した変換情報生成部１４０の動作の一例を示す。図８では、ＰＳＦの形状が距離ｚ、ｈ（撮像位置ｚ、被写体位置ｈ）に依存する場合を例にして説明する。変換情報生成部１４０は、ＰＳＦを表す特徴量情報ＰＩＮＦを記憶部１１０から受ける。ＰＳＦの形状を三角形で近似した場合、特徴量情報ＰＩＮＦは、三角形の位置Ｃ（ｈ，ｚ）、幅Ｌ（ｈ，ｚ）、Ｒ（ｈ，ｚ）を示す情報を含む。ＰＳＦの形状が距離ｚ、ｈに依存するため、位置Ｃ（ｈ，ｚ）、幅Ｌ（ｈ，ｚ）、Ｒ（ｈ，ｚ）も距離ｚ、ｈに依存する。
【００５７】
また、変換情報生成部１４０は、画像ＩＭＧｆの各周波数の強度分布Ｆ（ｆ）を表す情報ＦＩＮＦ、または、強度分布Ｆ（ｆ）における最も強い周波数ｆ０を表す情報ＦＩＮＦを、周波数解析部１２０から受ける。そして、変換情報生成部１４０は、情報ＰＩＮＦ、ＦＩＮＦに基づいて、一対の画像ＩＭＧｆ間のシフト量ｓを算出する。
【００５８】
一対の画像ＩＭＧｆ間のシフト量ｓは、ＰＳＦの形状と被写体ＯＢＪの周波数特性（各周波数の強度分布Ｆ（ｆ）または最も強い周波数ｆ０）とによって決まる。また、ＰＳＦの形状は、距離ｚ、ｈ（撮像位置ｚ、被写体位置ｈ）によって決まる。このため、シフト量ｓは、距離ｚ、ｈおよび被写体ＯＢＪの周波数特性の３つにより決まる。
【００５９】
撮像位置ｚは画像ＩＭＧｆの撮影時に設定された既知の値であり、被写体ＯＢＪの周波数特性は周波数解析部１２０で既に算出されているため、シフト量ｓは、既知のパラメータ（ｚ、ｆ等）を除外して、被写体位置ｈの関数で表される。すなわち、シフト量ｓ（Ｃ（ｈ，ｚ），Ｌ（ｈ，ｚ），Ｒ（ｈ，ｚ）、ｆ）、または、シフト量ｓ（Ｃ（ｈ，ｚ），Ｌ（ｈ，ｚ），Ｒ（ｈ，ｚ）、Ｆ（ｆ））は、図８の括弧内のシフト量ｓ（ｈ）の一例に示すように、被写体位置ｈの関数ｓ（ｈ）に置き換えられる。
【００６０】
このように、変換情報生成部１４０は、周波数解析部１２０から受けた情報ＦＩＮＦ等を用いて、画像ＩＭＧｆの周波数特性に合わせたシフト量ｓ（ｈ）を生成する。そして、変換情報生成部１４０は、画像ＩＭＧｆの周波数特性に合わせたシフト量ｓ（ｈ）を示す変換情報ＣＩＮＦを駆動量算出部１５０に出力する。
【００６１】
なお、変換情報生成部１４０は、一対の画像ＩＭＧｆの周波数成分のうちの最も高い強度の周波数成分（周波数ｆ０）が予め決められた周波数より低い場合、被写体位置ｈの関数ｓ（ｈ）等を算出する処理を省いてもよい。この場合、変換情報生成部１４０は、一対の画像ＩＭＧｆ間のシフト量ｓに予め決められた定数を乗算してレンズ２０の駆動量を算出することを示す変換情報ＣＩＮＦを駆動量算出部１５０に出力してもよい。関数ｓ（ｈ）等を算出する処理を省くか否かの閾値の周波数は、例えば、撮像装置１２の製造時に、以下のように決定される。無限遠に点光源を配置し、レンズ２０に最も近い位置に焦点を合わせた場合に得られるＰＳＦにおいて、シフト量ｓがずれない周波数が、閾値に設定される。
【００６２】
図９は、点拡がり関数からシフト量を算出する計算方法の一例を示す。なお、図９は、三角形で近似した点拡がり関数ＰＳＦｔｒからシフト量ｓを算出する計算方法の一例を示す。位置Ｃおよび幅Ｌ、Ｒで決まる三角形状の点拡がり関数ＰＳＦｔｒをフーリエ変換して得られる関数Ｇ（ω）は、角周波数ω（ω＝２πｆ）を用いて、式（９）で表される。
【００６３】
【数２】
2017116723.tif 000004
ここで、角周波数ωの波の周期（位相差２πだけずれた場合の長さ）が２π／ωであるため、位相がθだけ異なる波の位置のずれ（シフト量）は、θ／ωで表される。したがって、点拡がり関数ＰＳＦｔｒの特性を有するレンズ２０を通過した被写体ＯＢＪからの光束に基づいて生成される一対の画像ＩＭＧｆの一方のシフト量ｓｆは、式（９）の関数Ｇ（ω）の位相θを１／ω倍することにより算出される。
【００６４】
シフト量算出部１３０で算出した一対の画像ＩＭＧｆ間のシフト量ｓは、左画像ＩＭＧｆｌと右画像ＩＭＧｆｒとの相対的な位置のずれを表している。これに対し、一対のＰＳＦの一方のＰＳＦの形状に基づいて算出されるシフト量ｓｆ（＝θ／ω）は、一対の画像ＩＭＧｆの一方のずれを表している。距離ｈ、ｚ（または、合焦位置ｚ０からのずれ量ｄ）の値が同じである一対のＰＳＦでは、一方のＰＳＦと他方のＰＳＦ（例えば、左画像のＰＳＦと右画像のＰＳＦ）の形状は、光軸に対してほぼ対称になる。このため、一対のＰＳＦのそれぞれから算出されるシフト量ｓｆは、絶対値が同じで符号が逆になる。したがって、一対のＰＳＦの一方から算出したシフト量ｓｆを２倍した値は、左画像ＩＭＧｆｌと右画像ＩＭＧｆｒとの相対的な位置のずれを表すシフト量ｓに対応する。
【００６５】
位置Ｃが−８、幅Ｌが１２、幅Ｒが２４の場合に式（９）に基づいて算出したシフト量ｓｆと角周波数ωとの関係を図９の括弧内に示す。画像ＩＭＧｆの周期が約１００ピクセル以上の低周波であれば、シフト量ｓｆは４ピクセル（画像ＩＭＧｆ間のシフト量ｓでは８ピクセル）でほぼ一定である。画像ＩＭＧｆの周期が約１００ピクセルより短くなるとシフト量ｓｆのずれが徐々に広がり、周期が約３５ピクセル以下の高周波になると、シフト量ｓｆは５ピクセル以上（画像ＩＭＧｆ間のシフト量ｓでは１０ピクセル以上）になる。このように、周期が約１００ピクセル以上の低周波の場合と周期が約３５ピクセル以下の高周波の場合とで、シフト量ｓｆのずれは１ピクセル以上（画像ＩＭＧｆ間のシフト量ｓのずれでは２ピクセル以上）になる。
【００６６】
図１０は、図２に示した駆動量算出部１５０の動作の一例を示す。駆動量算出部１５０は、被写体位置ｈの関数で表されるシフト量ｓ（ｈ）と、シフト量算出部１３０で算出した一対の画像ＩＭＧｆ間のシフト量ｓ１０とに基づいて、被写体位置ｈ１０を算出する。すなわち、駆動量算出部１５０は、ｓ（ｈ）＝ｓ１０を満たす被写体位置ｈ１０を算出する。そして、駆動量算出部１５０は、被写体位置ｈをｈ１０で固定して、撮像位置ｚを動かした場合に合焦する位置ｚ０（すなわち、シフト量ｓが０になる合焦位置ｚ０）を算出する。例えば、駆動量算出部１５０は、被写体位置ｈをｈ１０で固定して撮像位置ｚの関数で表されるシフト量ｓ（ｚ）を生成し、シフト量ｓ（ｚ）の撮像位置ｚを変化させてシフト量ｓが０になる合焦位置ｚ０を算出する。
【００６７】
現在の撮像位置ｚがｚ１０である場合、レンズ２０の駆動量は、合焦位置ｚ０から撮像位置ｚ１０を引いた値（ｚ０−ｚ１０）になる。この場合、駆動量算出部１５０は、合焦位置ｚ０から撮像位置ｚ１０を引いた値（ｚ０−ｚ１０）を示す情報ＤＩＮＦをレンズ駆動部４０に出力する。
【００６８】
図１１は、図２に示した駆動量算出部１５０の動作の別の例を示す。図１０に示す例では、駆動量算出部１５０は、合焦位置ｚ０からの撮像位置ｚのずれ量ｄの関数で表されるＰＳＦから生成されたシフト量ｓ（ｄ）を用いて、レンズ２０の駆動量を算出する。例えば、駆動量算出部１５０は、シフト量ｓ（ｄ）がｓ１０になるずれ量ｄ１０（ｓ（ｄ）＝ｓ１０を満たすずれ量ｄ１０）を算出する。ずれ量ｄ１０は、合焦位置ｚ０を基準にした場合の撮像位置ｚ１０の相対的な位置を示しているため、レンズ２０の駆動量に対応する。したがって、駆動量算出部１５０は、ずれ量ｄ１０を示す情報ＤＩＮＦをレンズ駆動部４０に出力する。
【００６９】
図１２は、図２に示した焦点調整装置１０２の動作の一例を示す。図１２に示す動作は、ハードウェアのみで実現されてもよく、焦点調整プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、焦点調整プログラム等のソフトウェアは、コンピュータに含まれるプロセッサに図１２に示す動作を実行させてもよい。すなわち、コンピュータは、焦点調整プログラムを読み取り、図１２に示す動作を実行してもよい。図１２に示す動作をコンピュータに実行させるプログラムは、焦点調整プログラムプログラムの一態様である。
【００７０】
ステップＳ１００では、焦点調整装置１０２は、図５等で説明したように、レンズ２０のＰＳＦを表す特徴量情報ＰＩＮＦを生成し、生成した特徴量情報ＰＩＮＦを記憶部１１０に格納する。ステップＳ１００の処理が実行された後、焦点調整装置１０２の動作は、ステップＳ２００に移る。
【００７１】
ステップＳ２００では、焦点調整装置１０２は、図３で説明したように、一対の画像ＩＭＧｆ間のシフト量ｓを算出するとともに、図７で説明したように、一対の画像ＩＭＧｆの周波数特性を解析する。一対の画像ＩＭＧｆの周波数特性の解析により、画像ＩＭＧｆの各周波数の強度分布Ｆ（ｆ）、または、強度分布Ｆ（ｆ）において最も高い強度の周波数ｆ０が算出される。ステップＳ２００の処理が実行された後、焦点調整装置１０２の動作は、ステップＳ３００に移る。
【００７２】
ステップＳ３００では、焦点調整装置１０２は、図８および図９等で説明したように、レンズ２０の駆動量とシフト量ｓとの関係を表す関数（シフト量ｓ（ｈ）、ｓ（ｚ）、または、シフト量ｓ（ｄ）等）を生成する。ステップＳ３００の処理が実行された後、焦点調整装置１０２の動作は、ステップＳ４００に移る。
【００７３】
ステップＳ４００では、焦点調整装置１０２は、図１０および図１１等で説明したように、レンズ２０の駆動量とシフト量ｓとの関係を表す関数と一対の画像ＩＭＧｆ間のシフト量ｓとに基づいて、レンズ２０の駆動量を決定する。そして、焦点調整装置１０２は、レンズ２０の駆動量を示す情報ＤＩＮＦをレンズ駆動部４０に出力して、焦点調整に関する処理を終了する。
【００７４】
なお、焦点調整装置１０２の動作は、図１２に示す例に限定されない。例えば、特徴量情報ＰＩＮＦが焦点調整装置１０２の外部の装置で生成される場合等、ステップＳ１００の処理は省かれてもよい。この場合、例えば、焦点調整プログラムは、ステップＳ２００、Ｓ３００、Ｓ４００の処理をコンピュータに実行させる。
【００７５】
また、例えば、変換情報生成部１４０は、ステップＳ２００の処理で算出した最も高い強度の周波数ｆ０が予め決められた周波数より低い場合、ステップＳ３００の処理を省いてもよい。この場合、変換情報生成部１４０は、一対の画像ＩＭＧｆ間のシフト量ｓに予め決められた定数を乗算してレンズ２０の駆動量を算出することを示す変換情報ＣＩＮＦを駆動量算出部１５０に出力する。
【００７６】
図１３は、図２に示した焦点調整装置１０２によるレンズ２０の駆動の制御の一例を示す。図１３に示す例では、被写体ＯＢＪ（ＯＢＪ１、ＯＢＪ２）、レンズ２０および撮像素子３０の位置関係が被写体ＯＢＪ１の撮影時と被写体ＯＢＪ２の撮影時とで同じ場合でも、シフト量ｓが異なる。例えば、被写体ＯＢＪ１を撮影した画像ＩＭＧｆｌ、ＩＭＧｆｒ間のシフト量ｓは６で、被写体ＯＢＪ２を撮影した画像ＩＭＧｆｌ、ＩＭＧｆｒ間のシフト量ｓは１０である。この場合、変換情報ＣＩＮＦを使用しない従来の焦点調整方法では、被写体ＯＢＪ１、ＯＢＪ２とでレンズ２０の駆動量がずれ、焦点が合わないおそれがある。
【００７７】
これに対し、図２に示した焦点調整装置１０２では、ＰＳＦと被写体ＯＢＪ１、ＯＢＪ２の周波数特性の解析結果とに基づいて生成した変換情報ＣＩＮＦを用いて、合焦位置ｚ０からの撮像位置ｚのずれ量ｄ２０、ｄ２１を推定する。このため、レンズ２０の駆動量（すなわち、ずれ量ｄ２０、ｄ２１）は、被写体ＯＢＪ１、ＯＢＪ２とでほぼ同じ値になる。この結果、焦点調整装置１０２は、従来の焦点調整方法に比べて、正確なオートフォーカス制御を実行できる。
【００７８】
以上、図２から図１３に示す実施形態においても、図１に示した実施形態と同様の効果を得ることができる。例えば、焦点調整装置１０２は、一対の画像ＩＭＧｆの周波数特性に合わせた変換情報ＣＩＮＦを、特徴量情報ＰＩＮＦおよび一対の画像ＩＭＧｆの周波数特性に基づいて生成する。そして、焦点調整装置１０２は、一対の画像ＩＭＧｆの周波数特性に合わせた変換情報ＣＩＮＦに基づいて、一対の画像ＩＭＧｆ間のシフト量ｓからレンズ２０の駆動量を算出する。一対の画像ＩＭＧｆの周波数特性に合わせた変換情報ＣＩＮＦに基づいてレンズ２０の駆動量が算出されるため、一対の画像ＩＭＧｆの周波数特性の変動に伴いレンズ２０の駆動量が変動することを抑制できる。したがって、焦点調整装置１０２は、変換情報ＣＩＮＦを使用しない焦点調整装置に比べて、位相差検出方式による焦点調整の精度を向上させることができる。
【００７９】
さらに、焦点調整装置１０２は、レンズ２０のＰＳＦを表す特徴量情報ＰＩＮＦを生成し、生成した特徴量情報ＰＩＮＦを記憶部１１０に格納する。これにより、特徴量情報ＰＩＮＦを生成するための装置を新たに準備することなく、特徴量情報ＰＩＮＦを生成することができる。
【００８０】
図１４は、撮像装置の別の実施形態を示す。図１から図１３で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図１４に示す撮像装置１４では、図２に示した撮像素子３０が省かれ、ミラー２２と画像表示用の撮像素子３２と位相差検出用のレンズ２４、２６と位相差検出用の撮像素子３４、３６とが図２に示した撮像装置１２に追加されている。撮像装置１４のその他の構成は、図２に示した撮像装置１２と同一または同様である。
【００８１】
撮像装置１４は、例えば、レンズ２０、２４、２６と、ミラー２２と、撮像素子３２、３４、３６と、レンズ駆動部４０と、位相差検出方式による焦点調整を実行する焦点調整装置１０２とを有するデジタルカメラである。レンズ２０、レンズ駆動部４０および焦点調整装置１０２は、図２に示したレンズ２０、レンズ駆動部４０および焦点調整装置１０２と同一または同様である。
【００８２】
ミラー２２は、例えば、ハーフミラーであり、レンズ２０と画像表示用の撮像素子３２との間に配置される。レンズ２０を通過した光は、ミラー２２を通過して画像表示用の撮像素子３２側に進行する光と、ミラー２２で反射して位相差検出用の撮像素子３４、３６側に進行する光とに分かれる。画像表示用の撮像素子３２は、レンズ２０およびミラー２２を通過した被写体からの光束に基づいて、表示用の画像を生成する。
【００８３】
位相差検出用のレンズ２４、２６は、位相差検出用の撮像素子３４、３６とミラー２２との間に配置される。また、図１４の括弧内に示すように、位相差検出用の撮像素子３４の前面（ミラー２２側）に配置されたレンズ２４の右半分は遮光され、位相差検出用の撮像素子３６の前面（ミラー２２側）に配置されたレンズ２６の左半分は遮光される。
【００８４】
これにより、位相差検出用の撮像素子３４は、位相差検出用のレンズ２４の左半分を通過した被写体からの光束を受ける。したがって、位相差検出用の撮像素子３４は、位相差検出用のレンズ２４の左半分を通過した被写体からの光束に基づいて、位相差検出用の一対の画像ＩＭＧｆ（ＩＭＧｆｌ、ＩＭＧｆｒ）のうちの左画像ＩＭＧｆｌを生成する。
【００８５】
また、位相差検出用の撮像素子３６は、位相差検出用のレンズ２６の右半分を通過した被写体からの光束を受ける。したがって、位相差検出用の撮像素子３６は、位相差検出用のレンズ２６の右半分を通過した被写体からの光束に基づいて、位相差検出用の一対の画像ＩＭＧｆ（ＩＭＧｆｌ、ＩＭＧｆｒ）のうちの右画像ＩＭＧｆｒを生成する。
【００８６】
そして、位相差検出用の撮像素子３４、３６は、位相差検出用の一対の画像ＩＭＧｆｌ、ＩＭＧｆｒを焦点調整装置１０２にそれぞれ出力する。なお、撮像装置１４の構成は、図１４に示す例に限定されない。例えば、撮像装置１４は、焦点調整装置１０２の代わりに、図１に示した焦点調整装置１００を有してもよい。
【００８７】
以上、図１４に示す実施形態においても、図２に示した実施形態と同様の効果を得ることができる。
【００８８】
図１５は、焦点調整プログラムを実行するハードウェアの一例を示す。なお、図１から図１４で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、焦点調整プログラムは、図１および図２に示した焦点調整装置１００、１０２の機能をコンピュータＣＰで実現する。
【００８９】
コンピュータＣＰは、例えば、プロセッサＰＵ、メモリＭＥＭ、ハードディスク装置ＨＤＤ、入出力インタフェースＩＦおよび光学ドライブ装置ＯＤＲを有する。プロセッサＰＵ、メモリＭＥＭ、ハードディスク装置ＨＤＤ、入出力インタフェースＩＦおよび光学ドライブ装置ＯＤＲは、バスＢＵＳに接続される。焦点調整装置１００、１０２の機能は、例えば、プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦとにより実現される。
【００９０】
光学ドライブ装置ＯＤＲは、光ディスク等のリムーバブルディスクＲＤを装着可能であり、装着したリムーバブルディスクＲＤに記録された情報の読み出しおよび記録を実行する。また、コンピュータＣＰは、入出力インタフェースＩＦを介してコンピュータＣＰの外部と通信する。例えば、入出力インタフェースＩＦは、画像ＩＭＧｆを受け、プロセッサＰＵ等に転送する。
【００９１】
メモリＭＥＭは、例えば、コンピュータＣＰのオペレーティングシステムを格納する。また、メモリＭＥＭは、焦点調整装置１００、１０２の動作をプロセッサＰＵが実行するための焦点調整プログラム等のアプリケーションプログラムを格納する。
【００９２】
焦点調整プログラム等のアプリケーションプログラムは、光ディスク等のリムーバブルディスクＲＤに記録して頒布することができる。例えば、コンピュータＣＰは、焦点調整プログラム等のアプリケーションプログラムを、リムーバブルディスクＲＤから光学ドライブ装置ＯＤＲを介して読み出し、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。また、コンピュータＣＰは、焦点調整プログラム等のアプリケーションプログラムを、インターネット等のネットワークに接続する通信装置（図示せず）を介してダウンロードし、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。
【００９３】
焦点調整プログラムを実行するハードウェアは、図１５に示す例に限定されない。例えば、コンピュータＣＰは、光学ドライブ装置ＯＤＲが省かれてもよい。また、例えば、コンピュータＣＰは、ハードディスク装置ＨＤＤの代わりにＳＳＤ（Solid State Drive）等を有してもよい。
【００９４】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【００９５】
１０、１２、１４‥撮像装置；２０、２４、２６‥レンズ；２２‥ミラー；３０、３２、３４、３６‥撮像素子；４０‥レンズ駆動部；１００、１０２‥焦点調整装置；１１０‥記憶部；１１２‥特徴量生成部；１２０‥周波数解析部；１３０‥シフト量算出部；１４０‥変換情報生成部；１５０‥駆動量算出部；ＣＰ‥コンピュータ；ＨＤＤ‥ハードディスク装置；ＩＦ‥入出力インタフェース；ＭＥＭ‥メモリ；ＯＤＲ‥光学ドライブ装置；ＰＵ‥プロセッサ
【図１】
2017116723.tif 000005
【図２】
2017116723.tif 000006
【図３】
2017116723.tif 000007
【図４】
2017116723.tif 000008
【図５】
2017116723.tif 000009
【図６】
2017116723.tif 000010
【図７】
2017116723.tif 000011
【図８】
2017116723.tif 000012
【図９】
2017116723.tif 000013
【図１０】
2017116723.tif 000014
【図１１】
2017116723.tif 000015
【図１２】
2017116723.tif 000016
【図１３】
2017116723.tif 000017
【図１４】
2017116723.tif 000018
【図１５】
2017116723.tif 000019