(57)【要約】【課題】被写体の特徴に応じて、常に精度よく焦点検出を行って合焦状態とする。【解決手段】撮像素子１１４は撮像光学系を介して受けた光に応じた画像を得る複数の画素を備えており、画素に光を入射する際の光軸が可変の可変マイクロレンズ１１３が画素の各々に対応して配置されている。画像処理部１１７は撮像部１１０から出力される画像において被写体を示す被写体領域を検出してその特徴量を求める。システム制御部１３０特徴量に応じて可変マイクロレンズの各々についてその瞳分割方向を決定し、瞳分割方向に基づいて可変マイクロレンズを偏心させて、可変マイクロレンズが偏心された画素の出力における位相差に応じて焦点調節を行う。【選択図】図１
2015108711.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して受けた光に応じた画像を得る複数の画素を備える撮像素子と、前記画素の各々に対応して配置され前記画素に光を入射する際の光軸が可変の可変マイクロレンズとを有し、前記撮像素子の出力を画像として得る撮像装置であって、
前記画像において被写体を示す被写体領域を検出して当該被写体領域における特徴を示す特徴量を求める特徴量算出手段と、
前記特徴量に応じて前記可変マイクロレンズの各々について瞳分割を行う瞳分割方向を決定する決定手段と、
前記瞳分割方向に基づいて前記可変マイクロレンズを前記光軸に対して偏心させる偏心制御手段と、
前記可変マイクロレンズが偏心された画素の出力における位相差に応じて焦点調節を行う焦点調節手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記特徴量算出手段は、前記特徴量として前記被写体領域に含まれるエッジの方向を示すエッジ方向およびその強度を含むエッジ情報を求め、
前記決定手段は、前記エッジ情報を参照してエッジの強度が最も高いエッジ方向を前記瞳分割方向として決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記エッジ情報は、前記エッジ方向が予め定められた第１の方向および当該第１の方向に交差する第２の方向のいずれであるかを示しており、
前記決定手段は、前記エッジ情報によって前記第１の方向が前記エッジ方向であると判定すると、前記第２の方向を前記瞳分割方向と決定し、前記エッジ情報によって前記第２の方向が前記エッジ方向であると判定すると、前記第１の方向を前記瞳分割方向と決定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画素は２次元マトリックス状に配列されており、
前記第１の方向は前記画素の配列における行方向である水平方向であり、前記第２の方向は前記画素の配列における列方向である垂直方向であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記特徴量算出手段は、前記被写体領域として顔領域を検出しており、
前記決定手段は、前記被写体領域が前記顔領域である際には、前記瞳分割方向を前記垂直方向に決定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画素の各々に対応してカラーフィルターが配置され、前記複数の画素はベイヤー配列で配列されており、
前記偏心制御手段は、前記可変マイクロレンズを偏心制御する際、同色のカラーフィルターに対応する可変マイクロレンズを交互に逆方向に偏心させることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記画素の配列において前記可変マイクロレンズが偏心された画素が連続する画素集合に続いて、前記可変マイクロレンズが偏心されない画素が存在すると、前記偏心制御手段は、前記画素集合において前記可変マイクロレンズが偏心された画素の一部について前記可変マイクロレンズの偏心を中止することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記可変マイクロレンズが偏心された画素について補間処理を行って画像を生成する画像処理手段を有することを特徴とする請求項６又は７に記載の撮像装置。
【請求項９】
前記特徴量算出手段は、前記特徴量として前記被写体領域に含まれるエッジの方向を示すエッジ方向およびその強度を含むエッジ情報を求め、
前記エッジ情報が示す前記エッジ方向の強度が所定の強度以下であると、前記偏心制御手段は、予め定められた数の画素を有するグループの各々において前記可変マイクロレンズの一部を他の可変マイクロレンズの瞳分割方向と逆方向とすることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記特徴量算出手段は、前記特徴量として前記被写体領域に含まれるエッジの方向を示すエッジ方向およびその強度を含むエッジ情報を求め、
前記エッジ情報は、前記エッジ方向が予め定められた第１の方向および当該第１の方向に交差する第２の方向のいずれであるかを示しており、
前記エッジ情報が示す前記エッジ方向の強度が所定の強度以下であると、前記偏心制御手段は、予め定められた数の画素を有するグループの各々において前記可変マイクロレンズを前記第１の方向および前記第２の方向に交互に偏心させることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記特徴量算出手段は、前記特徴量として前記被写体領域に含まれるエッジの方向を示すエッジ方向およびその強度を含むエッジ情報を求め、
前記エッジ情報は、前記エッジ方向が予め定められた第１の方向および当該第１の方向に交差する第２の方向のいずれであるかを示しており、
前記エッジ情報が示す前記エッジ方向の強度が所定の強度以下であると、前記偏心制御手段は、時分割で第１の方向に前記可変マイクロレンズを偏心させる第１の偏心制御と前記第２の方向に前記可変マイクロレンズを偏心させる第２の偏心制御とを行うことを特徴とする請求項１に記載の撮像装置。
【請求項１２】
撮像光学系を介して受けた光に応じた画像を得る複数の画素を備える撮像素子と、前記画素の各々に対応して配置され前記画素に光を入射する際の光軸が可変の可変マイクロレンズとを有し、前記撮像素子の出力を画像として得る撮像装置の制御方法であって、
前記画像において被写体を示す被写体領域を検出して当該被写体領域における特徴を示す特徴量を求める特徴量算出ステップと、
前記特徴量に応じて前記可変マイクロレンズの各々について瞳分割を行う瞳分割方向を決定する決定ステップと、
前記瞳分割方向に基づいて前記可変マイクロレンズを前記光軸に対して偏心させる偏心制御ステップと、
前記可変マイクロレンズが偏心された画素の出力における位相差に応じて焦点調節を行う焦点調節ステップと、
を有することを特徴とする制御方法。
【請求項１３】
撮像光学系を介して受けた光に応じた画像を得る複数の画素を備える撮像素子と、前記画素の各々に対応して配置され前記画素に光を入射する際の光軸が可変の可変マイクロレンズとを有し、前記撮像素子の出力を画像として得る撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記画像において被写体を示す被写体領域を検出して当該被写体領域における特徴を示す特徴量を求める特徴量算出ステップと、
前記特徴量に応じて前記可変マイクロレンズの各々について瞳分割を行う瞳分割方向を決定する決定ステップと、
前記瞳分割方向に基づいて前記可変マイクロレンズを前記光軸に対して偏心させる偏心制御ステップと、
前記可変マイクロレンズが偏心された画素の出力における位相差に応じて焦点調節を行う焦点調節ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、位相差検出によって焦点調節を行う撮像装置に関する。
【背景技術】
【０００２】
一般に、ＣＣＤ又はＣＭＯＳセンサーなどの撮像素子を用いたデジタルカメラなどの撮像装置において、焦点検出を行う際、例えば、１つの撮像光学系についてリレーレンズを用いて瞳分離して、２つの撮像素子を露光して焦点検出を行うようにしたものがある。さらに、撮像素子に備えられたマイクロレンズを撮像光学系の光軸に対して対称となるように偏心させて、撮像素子から得られる画像に応じて焦点検出を行うようにしたものもある。
【０００３】
上述の手法はいずれも複数の画像の視差を用いて所謂位相差検出による焦点検出を行うが、視差を有する複数の画像が得られる結果、所謂ステレオ画像の生成又は距離画像の生成などの用途にも利用することができる。
【０００４】
距離画像の生成又は焦点検出を行う際には、瞳分離方向に２つの画像がどの程度ずれているのかを知る必要がある。このため、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）又はＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）などによる相関演算が行われる。そして、相関演算においては、像の一致度が高い２つの像のずれ量をサーチする関係上、像の一致度が低いと正確なずれ量を検出することが困難となってしまう。
【０００５】
一方、短時間に合焦を行うため、撮像素子に備えられた画素の各々が離散的に配置される少なくとも２つの画素集合を有して、オンチップレンズ（マイクロレンズ）によって２つの画素集合が撮影レンズの異なる領域からの光束を受光するようにしたものがある。ここでは、２つの画素集合からの出力を比較することによって撮影レンズのフォーカス量を算出する（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−８６１４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述の特許文献１に記載の手法では、画像の視差を用いて位相差方式による焦点検出を行っているので、画像の特徴によっては正しく焦点検出を行えないことがある。
【０００８】
例えば、瞳分割方向を１方向（例えば、水平方向）とすると、合焦対象である主被写体の水平線には位相差がでにくく、当該主被写体について適切に位相差測距を行うことができない。
【０００９】
そこで、本発明の目的は、主被写体の特徴に応じて、常に精度よく焦点検出を行って合焦状態とすることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による撮像装置は、撮像光学系を介して受けた光に応じた画像を得る複数の画素を備える撮像素子と、前記画素の各々に対応して配置され前記画素に光を入射する際の光軸が可変の可変マイクロレンズとを有し、前記撮像素子の出力を画像として得る撮像装置であって、前記画像において被写体を示す被写体領域を検出して当該被写体領域における特徴を示す特徴量を求める特徴量算出手段と、前記特徴量に応じて前記可変マイクロレンズの各々について瞳分割を行う瞳分割方向を決定する決定手段と、前記瞳分割方向に基づいて前記可変マイクロレンズを前記光軸に対して偏心させる偏心制御手段と、前記可変マイクロレンズが偏心された画素の出力における位相差に応じて焦点調節を行う焦点調節手段と、を有することを特徴とする。
【００１１】
本発明による制御方法は、撮像光学系を介して受けた光に応じた画像を得る複数の画素を備える撮像素子と、前記画素の各々に対応して配置され前記画素に光を入射する際の光軸が可変の可変マイクロレンズとを有し、前記撮像素子の出力を画像として得る撮像装置の制御方法であって、前記画像において被写体を示す被写体領域を検出して当該被写体領域における特徴を示す特徴量を求める特徴量算出ステップと、前記特徴量に応じて前記可変マイクロレンズの各々について瞳分割を行う瞳分割方向を決定する決定ステップと、前記瞳分割方向に基づいて前記可変マイクロレンズを前記光軸に対して偏心させる偏心制御ステップと、前記可変マイクロレンズが偏心された画素の出力における位相差に応じて焦点調節を行う焦点調節ステップと、を有することを特徴とする。
【００１２】
本発明による制御プログラムは、撮像光学系を介して受けた光に応じた画像を得る複数の画素を備える撮像素子と、前記画素の各々に対応して配置され前記画素に光を入射する際の光軸が可変の可変マイクロレンズとを有し、前記撮像素子の出力を画像として得る撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記画像において被写体を示す被写体領域を検出して当該被写体領域における特徴を示す特徴量を求める特徴量算出ステップと、前記特徴量に応じて前記可変マイクロレンズの各々について瞳分割を行う瞳分割方向を決定する決定ステップと、前記瞳分割方向に基づいて前記可変マイクロレンズを前記光軸に対して偏心させる偏心制御ステップと、前記可変マイクロレンズが偏心された画素の出力における位相差に応じて焦点調節を行う焦点調節ステップと、を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、被写体の特徴に応じた位相差による焦点調節を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラで行われる撮像動作を説明するためのフローチャートである。
【図３】図１に示す形状可変マイクロレンズの形状制御を説明するための図であり、（ａ）は横目制御を示す図、（ｂ）は縦目制御を示す図である。
【図４】図１に示す形状可変マイクロレンズによって瞳分割された像の特性とピントとの関係を説明するための図であり、（ａ）は瞳分割の一例を示す図、（ｂ）は瞳分割によって得られた第１および第２の像の信号波形を示す図である。
【図５】図１に示す撮像素子において行方向の画素配列を横目制御状態で示す図である。
【図６】図１に示す形状可変マイクロレンズの制御と信号波形との関係を説明するための図であり、（ａ）は横目制御を行った際の信号波形を示す図、（ｂ）は縦目制御を行った際の信号波形を示す図である。
【図７】図１に示すカメラで行われる補正痕防止制御を説明するための図であり、（ａ）は補正痕防止制御を行わない場合の状態を示す図、（ｂ）は補正痕防止制御を行った場合の状態を示す図である。
【図８】本発明の第２の実施形態によるカメラで行われる撮像動作を説明するためのフローチャートである。
【図９】図８に示す瞳分割方向制御を説明するためのフローチャートである。
【図１０】本発明の第２の実施形態によるカメラで行われる瞳分割方向の制御についてその一例を説明するための図であり、（ａ）は同一方向に瞳分割制御を行った状態を示す図、（ｂ）は異なる方向に瞳分割制御を行った状態を示す図である。
【図１１】本発明の第２の実施形態によるカメラで行われる瞳分割方向の制御について他の例を説明するための図であり、（ａ）は同一方向に瞳分割制御を行った状態を示す図、（ｂ）は異なる方向に瞳分割制御を行った状態を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態による撮像装置について図面を参照して説明する。
【００１６】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【００１７】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、撮像部１１０を有している。撮像部１１０には撮影レンズユニット（以下レンズ群と呼ぶ）１１１が備えられ、このレンズ群（撮像光学系ともいう）１１１にはズームレンズおよびフォーカスレンズが含まれている。
【００１８】
レンズ群１１１の後段には、絞りを調整するためのアイリス１１２が配置され、アイリス１１２の後段にはＣＣＤ又はＣＭＯＳセンサーなどの撮像素子１１４が配置されている。そして、撮像素子１１４に近接して、撮像素子１１４の受光面側には形状可変マイクロレンズ（以下可変ＭＬという）１１３が配置されている。
【００１９】
可変ＭＬ１１３は、後述するシステム制御部１３０の制御下でその形状が変化して、レンズ群１１１の光軸に対して偏心し所謂レンズ群１１１の入射領域を瞳分割する。なお、可変ＭＬ１１３は電圧の引火に応じてその形状が変化する（例えば、特開２００９−３７７１１号公報参照）。可変ＭＬ１１３における瞳分割方向の制御について後述する。
【００２０】
撮像素子１１４は、レンズ群１１１、アイリス１１２、および可変ＭＬ１１３を介して受光面（結像面ともいう）に結像した光学像（被写体像）に応じた電気信号（アナログ信号）を出力する。このアナログ信号はＡ／Ｄ変換器１１５によってデジタル信号（画像データ）に変換されて、像分離器１１６に与えられる。そして、像分離器１１６は、画像データにおいて瞳分割によって得られた第１の像および第２の像を分離する。以下の説明では、第１の像をＡ像と呼び、第２の像をＢ像と呼ぶ。
【００２１】
なお、図示のように、撮像部１１０はＡ／Ｄ変換器１１５から画像データを出力するとともに、像分離部１１６からＡ像およびＢ像を出力する。例えば、後述する位相差ＡＦを行う際に、可変ＭＬ１１３の形状を光軸中心から偏心させて瞳分割を行った場合には、像分離器１１６よって画像データはＡ像およびＢ像に分離される（以下Ａ像およびＢ像も含めて画像データと呼ぶことがある）。
【００２２】
画像処理部１１７は、Ａ／Ｄ変換器１１５、像分離器１１６、又はメモリ制御部１２１から送られる画像データに対してホワイトバランス（ＷＢ）処理などの色変換処理および所定の画素補間および縮小などのリサイズ処理を行う。さらに、画像処理部１１７は、撮像の結果得られた画像データを用いて所定の演算処理を行う。そして、演算結果に基づいてシステム制御部１３０は露光制御および測距制御を行う。
【００２３】
これによって、所謂ＴＴＬ（スルー・ザ・レンズ）方式の位相差ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（自動ホワイトバランス）処理、およびＥＦ（フラッシュプリ発光）処理が行われる。
【００２４】
画像処理部１１７で処理された画像データはメモリ制御部１２１によってメモリ１２０に書き込まれる。さらに、メモリ１２０には撮像部１１０から出力された画像データおよび表示部１２３に表示するための画像データが格納される。メモリ制御部１２１はメモリ１２０に格納されている表示用画像データをＤ／Ａ変換器１２２に送る。そして、Ｄ／Ａ変換器１２２によって表示用画像データがアナログ信号に変換されて、表示部１２３に画像として表示される。なお、表示部１２３は、例えば、ＬＣＤである。
【００２５】
コーデック部１１６は、撮像部１１０からメモリ制御部１２１を介して送られた画像データをＭＰＥＧなどの規格に基づいて圧縮符号化する。システム制御部１３０は、符号化画像データを、記録インタフェース１２４を介して外部記録媒体１２５に格納する。なお、外部記録媒体１２５に記録された符号化画像データは、コーデック部１１６に復号化される。また、ここでは、外部記録媒体１２５として、例えば、メモリカード又はハードディスクが用いられる。
【００２６】
また、外部出力端子１２６は画像データを外部機器（図示せず）に出力するための端子である。そして、外部入力端子１２７は、外部機器から画像処理ための情報を取得する端子である。
【００２７】
システム制御部１３０はカメラ全体の制御を司り、図示のように、システム制御部１３０には操作部１０１が接続されている。操作部１０１はユーザーによって操作され、各種の動作指示をシステム制御部１３０に入力する、さらに、システム制御部１３０には電源スイッチ１０２および電源制御部１０３が接続され、当該電源制御部１０３には電池などの電源１０４が接続される。電源制御部１０３は電池の装着の有無、電池の種類、および電池残量の検出を行う。
【００２８】
不揮発性メモリ１０５は電気的に消去・記録可能なメモリであって、例えば、ＥＥＰＲＯＭが用いられる。システムタイマー１０６は各種制御に用いる時間および内蔵された時計の時間を計測する。システムメモリ１０７には、システム制御部１３０の動作用の定数および変数が記憶されるとともに、不揮発性メモリ１０５から読み出されたプログラムなどが展開される。
【００２９】
システム制御部１３０は、上述の不揮発性メモリ１０５に記録されたプログラムを実行することによって、後述する各処理を行う。ここで、プログラムとは、後述する各種フローチャートを実行するためのプログラムである。当該プログラムの実行の際には、システム制御部１３０は動作用の定数、変数、および不揮発性メモリ１０５から読み出したプログラムをシステムメモリ１０７に展開する。なお、システム制御部１３０はメモリ１２０、Ｄ／Ａ変換器１２２、および表示部１２３などを制御して表示を行う。
【００３０】
上述の電源制御部１０３は、電池検出回路、ＤＣ−ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路などを備えて、電池の装着の有無、電池の種類、および電池残量の検出を行う。さらに、電源制御部１０３は検出結果およびシステム制御部１３０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間、外部記録媒体１２５を含む各部に供給する。
【００３１】
上述のカメラ１００は、所謂中央１点ＡＦ又は顔ＡＦによる撮影を行うことができる。中央１点ＡＦでは撮影画面において中央位置１点に対してＡＦが行われる。一方、顔ＡＦとは顔検出機能によって検出された撮影画面における顔領域に対してＡＦが行なわれる。
【００３２】
ここで、顔検出機能について説明すると、まず、システム制御部１３０は顔検出対象の画像データを画像処理部１１７に送る。システム制御部１３０の制御下で、画像処理部１１７は当該画像データに対して水平方向バンドパスフィルタ処理を行う。さらに、システム制御部１３０の制御下で、画像処理部１１７は水平方向バンドパスフィルタ処理した画像データを垂直方向バンドパスフィルタ処理する。水平および垂直方向バンドパスフィルタ処理によって、画像処理部１１７は画像データにおいてエッジ成分を検出する。
【００３３】
その後、システム制御部１３０は、検出されたエッジ成分についてパターンマッチング処理を行って、目、鼻、口、および耳の候補群を抽出する。そして、システム制御部１３０は、抽出された目の候補群から予め設定された条件（例えば、２つの目の距離および傾き）を満たす候補を目の対と判定する。続いて、システム制御部１３０は目の対が存在する候補を目の絞り込み候補群とする。
【００３４】
さらに、システム制御部１３０は、目の絞り込み候補群と当該候補に対応する顔を形成する他のパーツ（鼻、口、および耳）とを対応付けるとともに、予め設定された非顔条件フィルタ処理を行って顔（つまり、顔領域）を検出する。
【００３５】
顔検出の際の特徴量として、例えば、顔領域として検出された画像の座標情報と顔領域と判定された顔信頼度を示す情報とがある。顔信頼度情報は、顔領域であるか否かを示す２値ではなく、多値によって顔らしさを示す（例えば、０％〜１００％）。システム制御部１３０は、顔領域の検出結果に応じて顔情報を出力して処理を終了する。この際、システム制御部１３０は顔領域の数などの特徴量をメモリ１２０に記憶する。
【００３６】
上述のようにして、ライブビュー表示又は再生表示される画像データを画像解析して、画像データの特徴量である顔領域を抽出して被写体情報を検出することができる。ここでは、被写体情報として顔情報を例に挙げたが、被写体情報として、例えば、赤目判定、目の検出、目つむり検出、又は笑顔検出などで得られた様々な情報がある。
【００３７】
なお、顔ＡＦと同時に、顔ＡＥ，顔ＦＥ、および顔ＷＢを行うことができる。顔ＡＥでは、検出された顔領域の明るさに合わせて画面全体の露出を最適化する処理が行われる。顔ＦＥでは、検出された顔領域を中心としてフラッシュ調光が行われる。また、顔ＷＢでは、検出された顔領域の色に合わせて画面全体のＷＢを最適化する処理が行われる。
【００３８】
図２は、図１に示すカメラ１００で行われる撮像動作を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システム制御部１３０の制御下で行われる。
【００３９】
操作部１０１によって撮影モードが設定されると、システム制御部１３０は、ユーザーが操作部１０１に備えられたレリーズボタン（図示）を押下げたか（ここでは、半押ししたか）否かを判定する（ステップＳ２０１）。ユーザーがレリーズボタンを押下げないと（ステップＳ２０１において、ＮＯ）、システム制御部１３０はステップＳ２０１の処理を継続してレリーズボタンが押されるまで待機する。
【００４０】
一方、ユーザーがレリーズボタンを押下げると（ステップＳ２０１において、ＹＥＳ）、システム制御部１３０は撮像部１１０で取得された画像データを画像処理部１１７に送る。システム制御部１３０の制御下で、画像処理部１１７は、画像データにおいて特徴が存在する領域を、位相差ＡＦを行う領域（主被写体領域）として検出する（ステップＳ２０２）。この際、画像処理部１１７はユーザーから指示された位相差ＡＦのフレームモード情報に基づいて位相差ＡＦを行う領域を決定する。
【００４１】
例えば、フレームモード情報が中央重点のフレームモードを示している場合には、画像処理部１１７はカメラ１００の画角の中心付近にある被写体領域を主被写体領域とする。なお、その他のフレームモードとして、例えば、ユーザーが直接ピントを合わせる被写体を選ぶモードおよび人の顔を検出してピントを合わせるモード（顔検出モード）がある。また、画像処理部１１７が解析する特徴量が多い領域を主被写体領域としてもよい。例えば、特徴量として、テクスチャが多い領域又は明るい領域などを一般的な画像解析によって抽出することができる。
【００４２】
続いて、システム制御部１３０の制御下で、画像処理部１１７は主被写体領域に含まれるエッジ情報を解析する（ステップＳ２０３）。ここで、主被写体領域におけるエッジ情報とは、主被写体領域における主要なエッジが水平方向か又は垂直方向を示す情報である。エッジ方向を検出するためには、例えば、画像処理部１１７は水平および垂直方向にソーベルフィルタ処理を行って、主被写体領域におけるエッジ情報を解析する。
【００４３】
次に、システム制御部１３０の制御下で、画像処理部１１７はエッジ情報に応じて主被写体領域のエッジ方向を決定する。例えば、エッジ方向を判別する際、画像処理部１１７は水平および垂直方向の各々における主被写体領域のエッジ強度を比較して、エッジ強度が高い方向を主被写体領域に含まれるエッジ方向と判定する（ステップＳ２０４：瞳分割方向判定）。
【００４４】
次に、システム制御部１３０は、画像処理部１１７から送られたエッジ方向を示すエッジ方向情報に応じて可変ＭＬ１１３における瞳分割方向を制御する（ステップＳ２０５）。エッジ方向が水平方向（第１の方向）であると、システム制御部１３０は、瞳分割方向を垂直方向（第１の方向に交差する第２の方向）として、可変ＭＬ１１３を光軸に対して水平方向に偏心させる。つまり、システム制御部１３０は可変ＭＬ１１３が横目になるように制御する（横目制御）。一方、エッジ方向情報が示すエッジ方向が垂直方向（第２の方向）であると、システム制御部１３０は、瞳分割方向を垂直方向（第２の方向）として、可変ＭＬ１１３を光軸に対して垂直方向に偏心させる。つまり、システム制御部１３０は可変ＭＬ１１３が縦目となるように制御する（縦目制御）。
【００４５】
なお、ここでは、２次元マトリックス状に配列された画素において、水平方向（第１の方向）は画素の配列における行方向であり、垂直方向（第２の方向）は画素の配列における列方向である。
【００４６】
図３は、図１に示す形状可変マイクロレンズ１１３の形状制御を説明するための図である。そして、図３（ａ）は横目制御を示す図であり、図３（ｂ）は縦目制御を示す図である。
【００４７】
図１に示す撮像素子１１４は複数の画素が２次元マトリックス状に配置されている。図３に示す例では、２つの画素１１４ａが示されており、これら画素１１４ａの各々はフォトダイオード（ＰＤ）を有している。また、図３においては、図１に示す可変ＭＬ１１３がそれぞれ可変ＭＬ１００１および１００２で示されている。そして、ＰＤの前面に可変ＭＬ１００１又は１００２が配置されている。
【００４８】
なお、可変ＭＬの制御手法については、例えば、特開２００９−３７７１１号公報に記載されているが、図３（ａ）に示す横目制御においては、可変ＭＬ１００１は光軸（Ｙ軸方向）に関して水平方向（Ｘ軸方向）に偏心制御される（形状制御される）。図示のように、左側に位置する可変ＭＬ１００１は水平方向右側に偏心し、右側に位置する可変ＭＬ１００１は水平方向左に偏心する。つまり、隣接する可変ＭＬ１００１は逆方向に偏心制御されることになる。
【００４９】
一方、図３（ｂ）に示す縦目制御においては、可変ＭＬ１００１は光軸に関して垂直方向（Ｚ軸方向）に偏心制御される。図示のように、左側に位置する可変ＭＬ１００１は垂直方向上側に偏心し、右側に位置する可変ＭＬ１００１は垂直方向下側に偏心する。つまり、隣接する可変ＭＬ１００１は逆方向に偏心制御されることになる。
【００５０】
図４は、図１に示す形状可変マイクロレンズによって瞳分割された像の特性とピントとの関係を説明するための図である。そして、図４（ａ）は瞳分割の一例を示す図であり、図４（ｂ）は瞳分割によって得られた第１および第２の像の信号波形を示す図である。
【００５１】
図４（ａ）に示す例では、図１に示す撮像素子１１４が画素単位で示されており、画素１１４ａにはそれぞれ可変ＭＬ１１３が対応づけられている。ここでは、図３（ａ）で説明したように、可変ＭＬ１１３が偏心制御されており、図中左側に位置する画素（Ｂ像用画素）１１４ａからＢ像が得られ、右側に位置する画素（Ａ像用画素）１１４ａからＡ像が得られる。つまり、ここでは、可変ＭＬ１１３を光軸に対して偏心させて画素１１４ａに入射する光を分割（つまり、瞳分割）してＡ像およびＢ像を得る。
【００５２】
ところで、図４（ａ）において、Ａ像およびＢ像用画素１１４ａに入射する光はピントが合っている面において被写体の一点から出された光が一点に集まる結果、Ａ像およびＢ像は一致する。一方、ピントが合っていない状態では、Ａ像とＢ像とはずれる。
【００５３】
図５は、図１に示す撮像素子において行方向の画素配列を横目制御状態で示す図である。
【００５４】
図５に示す例では、図４（ａ）に示す画素を行方向に配列した状態が示されており、ここでは、可変ＭＬ１１３によって瞳分割が行われた状態が示されている。図５において、隣接する同一のベイヤー色の画素は、交互にＡ像およびＢ像を得るように配列されている。ピントが合っていない状態でＡ像およびＢ像の集合を波形で図４（ｂ）に示す波形が得られる。
【００５５】
つまり、画素の各々に対応してカラーフィルターが配置されて、複数の画素はベイヤー配列で配列されている。そして、可変ＭＬ１１３マイクロレンズを偏心制御する際、同色のカラーフィルターに対応する可変ＭＬ１１３を交互に逆方向に偏心させることになる。
【００５６】
図４（ｂ）において、ピントが合っていない状態では、Ｂ像の波形３０１とＡ像の波形３０２とには位相差３０３が生じる。この位相差３０３、つまり、Ａ像およびＢ像のずれ量に応じてデフォーカス量を算出することができる。従って、図１に示す可変ＭＬ１１３を瞳分割制御すれば、システム制御部１３０および画像処理部１１７によってデフォーカス量を算出することができ、この結果、位相差ＡＦを行うことができる。
【００５７】
しかしながら、後述するように、正しくデフォーカス量を算出できない場合がある。このため、つまり、デフォーカス量を精度よく算出するため、前述のように、エッジ方向に応じて可変ＭＬ１１３を縦目制御又は横目制御する。
【００５８】
図６は、図１に示す形状可変マイクロレンズの制御と信号波形との関係を説明するための図である。そして、図６（ａ）は横目制御を行った際の信号波形を示す図であり、図６（ｂ）は縦目制御を行った際の信号波形を示す図である。
【００５９】
可変ＭＬ１１３を瞳分割制御すると、ピントが合っていない状態では、上述のようにＡ像およびＢ像の視差に起因して波形にズレが生じる。ところが、可変ＭＬ１１３を一方向（例えば、水平方向）に横目制御を行うと、水平方向における主被写体の特徴量であるエッジのズレ量を検出することが難しい。水平方向のエッジにおいては、Ａ像およびＢ像ともに信号強度が一定となってしまう（図６（ｂ）参照）。
【００６０】
一方、垂直方向における主被写体の特徴量であるエッジについて、図６（ａ）に示すように、Ａ像５０１およびＢ像５０２ともに信号強度が変化する。この結果、Ａ像５０１とＢ像５０２との波形のズレ量５０３）を検出することができる。つまり、水平方向のエッジを特徴量として備える場合には、可変ＭＬ１１３を縦目制御すれば、ズレ量を検出することができる。
【００６１】
再び図２を参照して、上述のようにして、ステップＳ２０５において、システム制御部１３０は可変ＭＬ１１３を瞳分割制御する。そして、システム制御部１３０は像分離器から得られたＡ像とＢ像とのズレ量に応じてデフォーカス量を算出し、当該デフォーカス量に応じて位相差ＡＦを行う（ステップＳ２０６）。
【００６２】
続いて、システム制御部１３０は、操作部１０１に備えられたレリーズボタンが全押しされたか否かを判定する（ステップＳ２０７）。レリーズボタンが全押しされないと（ステップＳ２０７において、ＮＯ）、システム制御部１３０はステップＳ２０１の処理に戻る。
【００６３】
レリーズボタンが全押しされると（ステップＳ２０７において、ＹＥＳ）、システム制御部１３０は撮影を開始して、本撮影を実行して、撮影モードを終了する。
【００６４】
なお、第１の実施形態では、位相差ＡＦ処理と本撮影とを別々に行う場合について説明したが、位相差ＡＦ処理を行いつつピントが合うと本撮影を行うようにしてもよい。この際には、位相差ＡＦ動作によって瞳分離制御が行われているため、瞳分割によって得られたＡ像およびＢ像において瞳分離された画素について、周囲の画素を用いて補間処理を行う必要がある。
【００６５】
一方、補間処理を行うと、瞳分割に応じて補間処理を行った画素と瞳分割されない結果補間処理を行わなかった画素との間の切り替わりにおける補正痕が目立ってしまうことがある。このような補正痕を防止するため、つまり、位相差ＡＦ用に瞳分割した画素の切り替わりを目立たないようするため、瞳分離した領域の画素集合に瞳分離しない画素を混在させる制御（補正痕防止制御）を行う。
【００６６】
図７は、図１に示すカメラで行われる補正痕防止制御を説明するための図である。そして、図７（ａ）は補正痕防止制御を行わない場合の状態を示す図であり、図７（ｂ）は補正痕防止制御を行った場合の状態を示す図である。
【００６７】
図７（ａ）においては、撮像素子１１４における水平１ラインの画素配列が示されており、画素の各々に可変ＭＬ１１３が対応づけられている。ここで、瞳分割された画素６０１〜６０３に注目して、これら３つの画素６０１〜６０３を補間処理すると、補間処理後の画素６０４が生成される。図７（ａ）に示す例では、補間された瞳分割画素６０５と補間しない画素６０６とが切り替わり画素であり、瞳分割画素６０５よりも左側に位置する画素は全て補間処理された画素である。このため、瞳分割画素６０５よりも左側に位置する画素と画素６０６から右側に位置する補間処理されていない画素とがはっきりと分かれてしまう結果、瞳分割画素６０５よりも左側に位置する画素において補正痕が目立ってしまうことになる。
【００６８】
このような補正痕の目立ちを低減するため、瞳分割された画素集合（つまり、可変ＭＬ１１３が偏心された画素が連続する画素集合）に瞳分割しない画素を交互に混ぜる。さらに、切り替わりに近づくにつれて瞳分割しない画素の発生頻度が増加するように可変ＭＬ１１３を制御する。このような処理、つまり、補正痕防止制御を行うと、例えば、図７（ｂ）に示す結果が得られる。
【００６９】
システム制御部１３０は、画素の配列において可変ＭＬ１１３が偏心された画素が連続する画素集合に続いて可変ＭＬ１１３が偏心されない画素があると、画素集合において可変ＭＬ１１３が偏心された画素の一部の可変ＭＬ１１３の偏心を中止することになる。
【００７０】
図７（ｂ）に示す例では、破線で示す領域６０８については、切り替わりの境界から遠いので瞳分割を行わない画素の発生頻度を下げる。一方、領域６０９については切り替わりの境界に近いので瞳分割を行わない画素の発生頻度を上げる。つまり、切り替わりの境界に近づくにつれて瞳分割を行わない画素をさせる。これによって、切り替わりの境界における補正痕を目立たなくさせることができる。
【００７１】
さらに、第１の実施形態においては、可変ＭＬ１１３を水平方向および垂直方向に瞳分割制御する例について説明したが、右斜めおよび左斜め方向の瞳分割制御を行うようにしてもよい。斜め方向のエッジを検出する際には、例えば、水平垂直の方向検出フィルタ処理を行った結果得られた出力結果について、エッジ強度が水平方向および垂直方向ともに所定の強度よりも大きい場合に、斜め方向に瞳分割制御を行うことを行うようにすればよい。
【００７２】
また、第１の実施形態では、ＡＦを行う主被写体領域の特徴量としてエッジ情報を用いたが、顔検出モードにおいて人物の顔と判定された場合に当該顔領域を特徴量に含めるようにしてもよい。例えば、顔検出に係る特徴量として、顔信頼度情報を用いて信頼度が所定値以上の場合には顔領域が検出されたとする。そして、顔領域が検出されると、可変ＭＬ１１３の瞳分割方向を垂直方向（つまり、縦目）に制御するようにしてもよい。ここでは、顔領域に含まれる方向成分は主に水平方向であるので、顔領域が検出された場合には、縦目制御を行えば位相差ＡＦの精度が高くなる。
【００７３】
第１の実施形態では、図５で説明したように、水平ライン全ての可変ＭＬ１１３を瞳分離して位相差ＡＦを行うようにしたが、位相差ＡＦを行う領域（主被写体領域）が含まれる撮像素子１１４に対応する可変ＭＬ１１３のみを瞳分割制御するようにしてもよい。瞳分割制御する可変ＭＬ１１３を、ＡＦを行う領域に限定すれば、ＡＦを行う領域以外の領域におけるＡ像およびＢ像の影響を低減することができ、位相差ＡＦの精度を高くすることができる。
【００７４】
このように、本発明の第１の実施形態では、被写体の特徴量を示すエッジの方向に応じて可変ＭＬ１１３の瞳分割方向を制御して位相差ＡＦを行う。これによって、ピントを合わせる被写体の特徴を気遣うことなく、つまり、被写体の特徴に拘わらず、常に精度よく焦点検出を行って合焦状態とすることができる。
【００７５】
［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は、図１に示すカメラと同様であるので、ここでは説明を省略する。
【００７６】
一般に、ピント位置が主要被写体領域から大きく外れた場合には、撮像部１１０によって得られる画像（画像データ）においてはボケが大きくなっている。この際、ボケの画像から主被写体領域の特徴量を得ようとすると、画像のボケが影響して特徴量を正しく検出することが困難となる。従って、上述の第１の実施形態の手法を用いると、可変ＭＬ１１３を適切に瞳分割することが難しい。第２の実施形態によるカメラでは、主被写体領域を検出した後、システム制御部１３０によって行われる可変ＭＬ１１３の制御が第１の実施形態とは異なる。
【００７７】
図８は、本発明の第２の実施形態によるカメラで行われる撮像動作を説明するためのフローチャートである。なお、図示のフローチャートにおいて、図２に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。また、図示のフローチャートに係る処理は、システム制御部１３０の制御下で行われる。
【００７８】
システム制御部１３０は、ステップＳ２０１において位相差ＡＦを行う領域として主被写体領域を検出すると、主被写体領域における特徴量の信頼度を求める。そして、システム制御部１３０は当該信頼度に応じて可変ＭＬ１１３の瞳分割方向を制御する（ステップＳ７０３）。
【００７９】
図９は、図８に示す瞳分割方向制御を説明するためのフローチャートである。
【００８０】
瞳分割方向制御を開始すると、システム制御部１３０は、主被写体領域に含まれるエッジを示すエッジ情報を取得する（ステップＳ８０１）。例えば、エッジ情報には水平および垂直方向のエッジおよびその強度が含まれる。
【００８１】
続いて、システム制御部１３０は、エッジ情報に基づいて主被写体領域における特徴量（ここでは、エッジ方向）の信頼度を算出する。そして、システム制御部１３０はエッジ方向の信頼度が低いか否かを判定する（ステップＳ８０２）。ステップＳ８０２の処理では、例えば、システム制御部１３０は、エッジ方向（水平および垂直のエッジ方向）の強度がともに所定の強度以下であると、信頼度が低いと判定する。
【００８２】
エッジ方向の信頼度が低いと判定すると（ステップＳ８０２において、ＹＥＳ）、システム制御部１３０は、後述するようにして、複数個の可変ＭＬ１１３毎にその瞳分割方向を縦目又は横目に制御する。これにより、全ての可変ＭＬ１１３において、縦目制御された可変ＭＬ１１３および横目制御された可変ＭＬ１１３がともに存在するようにする（ステップＳ８０３）。つまり、システム制御部１３０は、瞳分割方向が異なる画素を配置することになる。
【００８３】
図１０は、本発明の第２の実施形態によるカメラで行われる瞳分割方向の制御についてその一例を説明するための図である。そして、図１０（ａ）は同一方向に瞳分割制御を行った状態を示す図であり、図１０（ｂ）は異なる方向に瞳分割制御を行った状態を示す図である。
【００８４】
図１０（ａ）および図１０（ｂ）においては、撮像素子１１４における画素配列が示されており、画素の各々に可変ＭＬ１１３が対応づけられている。図１０（ａ）では、全ての可変ＭＬ１１３の瞳分割方向が横目方向であり、図１０（ｂ）では、画素が複数のグループに分けられている。そして、図示の例では１つのグループに５つの画素が属している。そして、複数のグループにおいて瞳分割方向が縦目方向又は横目方向とされて、瞳分割方向が異なるグループが交互に位置づけられている。
【００８５】
いま、主被写体が水平方向に長尺の被写体であると、図１０（ａ）に示すように全ての可変ＭＬ１１３について瞳分割方向を横目方向（水平方向）とすると仮定する。この場合、ＡＦを行う領域にある主被写体領域９０１ついては水平方向に方向性を有しているので被写体の検出精度が低くなってしまう。
【００８６】
一方、図１０（ｂ）に示すように、瞳分割方向が異なるグループを交互に配置すると、主被写体領域９０１に関して水平方向および垂直方向の双方に対応させることができる。信頼度が低い場合には、主被写体に係る特徴の方向性が水平および垂直方向の一方に定まらないので、縦横双方に瞳分割方向に制御を行えば、主被写体の特徴の方向性に拘わらず、精度よく方向性を検出することができる。
【００８７】
図１１は、本発明の第２の実施形態によるカメラで行われる瞳分割方向の制御について他の例を説明するための図である。そして、図１１（ａ）は同一方向に瞳分割制御を行った状態を示す図であり、図１１（ｂ）は異なる方向に瞳分割制御を行った状態を示す図である。
【００８８】
主被写体が垂直に長尺の被写体の場合には、ＡＦを行う領域にある主被写体領域９０２は垂直方向に方向性を有している。したがって、１１（ａ）に示すように全ての可変ＭＬ１１３について瞳分割方向を横目方向とすると、ＡＦを行う領域にある主被写体領域９０１ついては垂直方向に方向性を有しているので被写体の検出精度が低くなってしまう。
【００８９】
一方、図１１（ｂ）に示すように、第１行目の画素については縦目方向（垂直方向）に瞳分割を行い、第２行目の画素については横目方向に瞳分割を行って、列方向に交互に瞳分割方向が異なる画素を配置する。すると、主被写体領域９０２に関して水平方向および垂直方向の双方に対応させることができる。
【００９０】
再び図９を参照して、ステップＳ８０３の処理の後、つまり、図１０（ｂ）又は図１１（ｂ）に示すように可変ＭＬ１１３を瞳分割制御した後、システム制御部１３０は像分離部１１６から得られるＡ像およびＢ像に応じて位相差を求める。そして、当該位相差に応じた位相差ＡＦを行ってピント位置を変更する（ステップＳ８０４）。その後、システム制御部１３０はステップＳ８０１の処理に戻る。
【００９１】
エッジ方向の信頼度が低くない（エッジ方向の信頼度が高い）と判定すると（ステップＳ８０２において、ＮＯ）、システム制御部１３０はエッジ方向を示すエッジ方向情報に応じて可変ＭＬ１１３における瞳分割方向を決定する（ステップＳ８０５）。そして、システム制御部１３０は瞳分割方向制御を終了する。
【００９２】
なお、信頼度が大きい場合には、主被写体領域の特徴量を示すエッジについて強い方向性があることになるので、当該エッジ方向に応じて瞳分割方向が決定されることになる。
【００９３】
再び図８を参照して、ステップＳ７０３の処理の後、システム制御部１３０はステップＳ２０６においてＡＦ動作を行って、ステップＳ２０７においてレリーズボタンが全押しされたか否かを判定することになる。
【００９４】
なお、上述の第２の実施形態では、エッジ方向の信頼度が低い場合には、可変ＭＬ１１３における瞳分割方向を縦目および横目に交互に制御するようにした。しかしながら、例えば、エッジ方向の信頼度が低い場合には、水平方向に瞳分割制御を行って位相差ＡＦを行うようにしてもよい。そして、所定の時間が経過しても信頼度に変化がないと、垂直方向に瞳分離制御を行って位相差ＡＦを行う。
【００９５】
また、時分割で瞳分離制御を行って最終的に瞳分割方向を決定してするようにしてもよい。例えば、水平方向に瞳分割制御（第１の偏心制御）を行って位相差ＡＦによってピント位置を変更した後、同一の画素について垂直方向に瞳分離制御（第２の偏心制御）を行って位相差ＡＦによってピント位置を変更する。この際、時分割で瞳分離制御した際のピント位置における信頼度を比較して、比較結果に応じてエッジ方向を求めるようにすれば適切な瞳分離制御方向を決定することができる。
【００９６】
このように、本発明の第２の実施形態では、瞳分割方向を決定する際に主被写体の特徴量を検出することが困難なボケ状態の画像においても精度よく位相差ＡＦを行うことができる。
【００９７】
上述のように、被写体の特徴量に応じて瞳分割方向を決定し、瞳分割方向に基づいて可変マイクロレンズを偏心させることで、被写体の特徴に応じた位相差による焦点調節を行うことができる。
【００９８】
上述の説明から明らかなように、図１に示す例においては、画像処理部１１７およびシステム制御部１３０が特徴量算出手段、決定手段、および画像処理手段として機能し、システム制御部１３０が偏心制御手段および焦点調節手段として機能する。
【００９９】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１００】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１０１】
上記の制御方法および制御プログラムの各々は、少なくとも特徴量算出ステップ、決定ステップ、偏心制御ステップ、および焦点調節ステップを有している。
【０１０２】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、システム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１０３】
１１０  撮像部
１１３  可変形状マイクロレンズ
１１４  撮像素子
１１５  Ａ／Ｄ変換器
１１６  像分離部
１１７  画像処理部
１２１  メモリ制御部
１２２  Ｄ／Ａ変換器
１２３  表示部
１３０  システム制御部
【図１】
2015108711.tif 000003
【図２】
2015108711.tif 000004
【図３】
2015108711.tif 000005
【図４】
2015108711.tif 000006
【図５】
2015108711.tif 000007
【図６】
2015108711.tif 000008
【図７】
2015108711.tif 000009
【図８】
2015108711.tif 000010
【図９】
2015108711.tif 000011
【図１０】
2015108711.tif 000012
【図１１】
2015108711.tif 000013