(57)【要約】【課題】特定領域を読み出すことによりセンサーの読み出し時間を短くし、かつ撮像素子での焦点検出を行う場合に、焦点検出精度の低下を抑制する。【解決手段】複数のマイクロレンズと複数の光電変換素子とを有し、複数のマイクロレンズのそれぞれ１つに複数の光電変換素子が対応する撮像素子と、１つのマイクロレンズに対応する複数の光電変換素子のうちの異なる光電変換素子から得られる２つの像信号の位相差を検出する検出部と、検出された位相差に基づいて、撮像レンズを駆動して焦点を合わせる駆動部と、検出された位相差に基づいて、撮像素子からの信号の読み出し範囲を設定する設定部と、設定された読み出し範囲に応じて撮像素子から信号を読み出すフレームレートを制御する制御部とを備える。【選択図】  図１
2014206562.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロレンズと複数の光電変換素子とを有し、前記複数のマイクロレンズのそれぞれ１つに複数の光電変換素子が対応する撮像素子と、
１つの前記マイクロレンズに対応する複数の光電変換素子のうちの異なる光電変換素子から得られる２つの像信号の位相差を検出する検出手段と、
検出された前記位相差に基づいて、撮像レンズを駆動して焦点を合わせる駆動手段と、
検出された前記位相差に基づいて、前記撮像素子からの信号の読み出し範囲を設定する設定手段と、
設定された前記読み出し範囲に応じて前記撮像素子から信号を読み出すフレームレートを制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記設定手段は、前記位相差に基づくオートフォーカス動作を行っている間の所定の時間ごとに前記撮像素子からの信号の読み出し範囲を広く設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子から出力される信号を現像する現像処理手段をさらに備え、前記設定手段は、前記現像処理手段により得られる画像評価値に応じて前記撮像素子からの信号の読み出し範囲を設定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段は、前記設定手段が設定した前記撮像素子からの信号の読み出し範囲が狭いほど前記フレームレートを速くすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
複数のマイクロレンズと複数の光電変換素子とを有し、前記複数のマイクロレンズのそれぞれ１つに複数の光電変換素子が対応する撮像素子を備える撮像装置を制御する方法であって、
１つの前記マイクロレンズに対応する複数の光電変換素子のうちの異なる光電変換素子から得られる２つの像信号の位相差を検出する検出工程と、
検出された前記位相差に基づいて、撮像レンズを駆動して焦点を合わせる駆動工程と、
検出された前記位相差に基づいて、前記撮像素子からの信号の読み出し範囲を設定する設定工程と、
設定された前記読み出し範囲に応じて前記撮像素子から信号を読み出すフレームレートを制御する制御工程と、
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つのマイクロレンズに対して複数のフォトダイオードが配置されている撮像素子を有する撮像装置に関するものである。
【背景技術】
【０００２】
従来、撮像素子において、１つの画素の中にある、１つのマイクロレンズで集光されるフォトダイオードを分割することによって、位相差方式の焦点検出を行う技術が知られている。特許文献１においては、１つの画素の中のフォトダイオードを２つに分割することによって、各々のフォトダイオードが撮像レンズの異なる瞳面の光を受光するように構成されている。そして、２つのフォトダイオードの出力を比較することにより、撮像レンズでの焦点検出が可能となる。これにより、撮像素子から取り込んだ画像をリアルタイムで表示（ライブビュー）すると同時に、位相差方式の焦点検出を行うことができる。
【０００３】
合焦させるためには、焦点検出した結果をレンズにフィードバックしてフォーカスレンズの駆動を繰り返し、焦点検出結果が閾値内に入るまで追い込む。素早く合焦させるには単位時間あたりの焦点検出回数を増やすことが必要となる。そのために、撮像素子の特定領域を部分的に読み出すことで読み出し時間を減らし、単位時間あたりの焦点検出回数を増やす技術も提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−０８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、１つの画素の中に含まれる複数のフォトダイオードを利用して位相差の焦点検出を行い、かつ焦点検出回数を増やすためにセンサーからの読み出し時間を短くする目的で特定領域の読み出しを行った場合、次のような問題が存在する。仮に、１つの画素の中に含まれるフォトダイオードを左右２つとした場合、各フォトダイオードから左画像と右画像の２つの画像を得られる。このとき、図９に示すとおり、撮像素子の全画角を読み出す場合、撮像素子上の座標（Ｘ１，Ｙ）から（Ｘ４,Ｙ）までのラインデータを利用して位相差の算出ができる。しかし、撮像素子の特定領域を読み出す場合、位相差の算出に利用できる領域は（Ｘ２，Ｙ）から（Ｘ３,Ｙ）の範囲に限定されるため、焦点検出精度が低下するという問題がある。
【０００６】
本発明は上述した課題に鑑みてなされたものであり、その目的は、特定領域を読み出すことによりセンサーの読み出し時間を短くし、かつ撮像素子での焦点検出を行う場合に、焦点検出精度の低下を抑制することである。
【課題を解決するための手段】
【０００７】
本発明に係わる撮像装置は、複数のマイクロレンズと複数の光電変換素子とを有し、前記複数のマイクロレンズのそれぞれ１つに複数の光電変換素子が対応する撮像素子と、１つの前記マイクロレンズに対応する複数の光電変換素子のうちの異なる光電変換素子から得られる２つの像信号の位相差を検出する検出手段と、検出された前記位相差に基づいて、撮像レンズを駆動して焦点を合わせる駆動手段と、検出された前記位相差に基づいて、前記撮像素子からの信号の読み出し範囲を設定する設定手段と、設定された前記読み出し範囲に応じて前記撮像素子から信号を読み出すフレームレートを制御する制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、特定領域を読み出すことによりセンサーの読み出し時間を短くし、かつ撮像素子での焦点検出を行う場合に、焦点検出精度の低下を抑制することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係わる撮像装置の概略構成図。
【図２】撮像素子の全体構成を概略的に示す図。
【図３】撮像素子の１画素の構成を概略的に示す図。
【図４】撮像素子の画素アレイを概略的に示す図。
【図５】物体像の結像関係を模式的に示す図。
【図６】映像信号処理部の構成を示す図。
【図７】ライブビューオートフォーカス処理のフローチャート。
【図８】撮像素子の読み出し領域と位相差検出の関係を模式的に示す図。
【図９】特定領域の読み出しを行った際の位相差検出を模式的に示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について添付図面を参照して詳細に説明する。図１は、本発明の一実施形態に係わる撮像装置１００の概略構成図である。
【００１１】
図１において、１１０は電源であり、撮像装置１００内の各回路に電源を供給する。１７２はカードスロットであり、メモリカード（着脱可能な記録媒体）１７３を差し込める。メモリカード１７３をカードスロット１７２に差し込んだ状態で、メモリカード１７３は、カード入出力部１７１と電気的に接続される。なお、本実施形態では記録媒体としてメモリカード１７３を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを使用してもよい。
【００１２】
１０１は被写体の光学像を撮像素子１０３に結像させる撮像レンズで、レンズ駆動部１４１によってズーム制御、フォーカス制御、絞り制御などが行われる。１０２はメカニカルシャッタでシャッタ駆動部１４２によって制御される。撮像素子１０３は、ＣＭＯＳ撮像素子等で構成される光電変換手段である。撮像素子１０３は、撮像レンズ１０１、シャッタ１０２からなる撮像光学系で形成された被写体像を光電変換し、画像信号を出力することができる。
【００１３】
図２は撮像素子１０３を示している。図２において撮像素子１０３は、画素アレイ２０１と、画素アレイ２０１における行を選択する垂直選択回路２０２、画素アレイ２０１における列を選択する水平選択回路２０４を含む。また、画素アレイ２０１中の画素のうち垂直選択回路２０２によって選択される画素の信号を読み出す読み出し回路２０３、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス（ＳＩ）２０５を含んで構成される。読み出し回路２０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。典型的には、垂直選択回路２０２は、画素アレイ２０１の複数の行を順に選択し、読み出し回路２０３に読み出す。さらに撮像素子１０３は、水平選択回路２０４を含み、読み出し回路２０３に読みだされた複数の画素信号を列毎に順に選択する。垂直選択回路２０２と水平選択回路２０４の動作を適宜変更することにより、特定領域の読み出しを実現できる。
【００１４】
図３は本実施形態の撮像素子１０３の１画素の構成を示す概略図である。３００は画素を表す。１つの画素は、マイクロレンズ３０１を有する。また、一つの画素は、フォトダイオード（光電変換素子、以下ＰＤ）を複数有する。図３においては、３０２ａ，３０２ｂ，３０２ｃ，３０２ｄの４つ有しているが、２つ以上であればいくつでもよく、例えば、２つのＰＤ、９つのＰＤなどでもよい。このとき、複数のフォトダイオードの出力を選択して加算させてもよい。例えば、３０２ａと３０２ｃ、３０２ｂと３０２ｄのＰＤ出力を各々加算し、２つの出力としてもよい。なお、画素は、図示された構成要素以外にも、例えば、ＰＤの信号を読み出し回路２０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。
【００１５】
図４は画素アレイ２０１を表す図である。画素アレイ２０１は、２次元の画像を提供するために、図４で示すように水平方向にＮ個、垂直方向にＭ個の画素を複数２次元アレイ状に配列して構成される。画素アレイ２０１の各画素にはカラーフィルターが設けられており、ここでは奇数行が赤と緑のカラーフィルターの繰り返し、偶数行が緑と青のカラーフィルターの繰り返しとなる。
【００１６】
図４のような画素構成を有する撮像素子１０３における受光の様子について、図５を用いて説明する。図５は撮像レンズ１０１の射出瞳から出力された光束が撮像素子１０３に入射する概念図である。５０１は３つの画素アレイの断面を示す。５０２はマイクロレンズであり、５０３はカラーフィルターであり、５０４，５０５はＰＤである。ＰＤ５０４、ＰＤ５０５が各々図３で示すところの、ＰＤ３０２ａ，ＰＤ３０２ｂに対応する。５０６は撮像レンズの射出瞳を示す。ここでは、マイクロレンズ５０２を有する画素に対して、射出瞳から出た光束の中心を光軸５０９とする。射出瞳から出た光は、光軸５０９を中心として撮像素子１０３に入射する。５０７，５０８は撮像レンズの射出瞳の一部領域を表す。射出瞳の一部領域５０７を通過する光の最外周の光線を５１０，５１１で示し、射出瞳の一部領域５０８を通過する光の最外周の光線を５１２，５１３で示す。この図からわかるように、射出瞳から出る光束のうち、光軸５０９を境にして、上側の光束はＰＤ５０５に入射し、下側の光束はＰＤ５０４に入射する。つまり、ＰＤ５０４とＰＤ５０５は各々、撮像レンズの射出瞳の別の領域の光を受光している。この特性を生かして、視差のある少なくとも２つの画像を取得することができる。複数の右側のＰＤから得られる画像データを右画像、複数の左側のＰＤから得られる画像データを左画像と呼ぶ。このとき、右画像の１ラインと、対応した位置にある左画像の１ラインを利用して位相差の検知を行なって位相差オートフォーカス（焦点合わせ）を実現することができる。
【００１７】
図６は、映像信号処理部１２１の構成を示すブロック図である。映像信号処理部１２１は、位相差検出部６０１、画像加算部６０２、現像処理部６０３を備える。位相差検出部６０１は、撮像素子１０３から出力される左画像と右画像から位相差を検出し、検出結果をメモリ１３２に出力する。さらに位相差検出部６０１は、算出した位相差の信頼性も同時に出力する。検出結果は、メモリ１３２でなく、位相差検出部６０１の内部メモリに出力する構成としてもよい。
【００１８】
画像加算部６０２は、右画像と左画像の加算合成を行い、１つの画像データとして出力する。現像処理部６０３は、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、画像圧縮、顔検出等の処理を行う。
【００１９】
図１の説明に戻って、メモリ１３２は、映像信号処理部１２１の出力画像データの他、ＣＰＵ１３１が各種処理を行なう際にデータを一時的に記憶するためにも使用される。タイミングジェネレータ１４３は、撮像素子１０３、映像信号処理部１２１にタイミングを提供する。
【００２０】
バス１５０には、レンズ駆動部１４１、シャッタ駆動部１４２、撮像素子１０３、タイミングジェネレータ１４３、映像信号処理部１２１、ＣＰＵ１３１、電源１１０、メモリ１３２、表示制御装置１５１が接続される。また、メインスイッチ１６１、第１レリーズスイッチ１６２、第２レリーズスイッチ１６３、ライブビュー開始／終了ボタン１６４、ＡＦ開始／終了ボタン１６５、上下左右選択ボタン１６６、決定ボタン１６７、カード入出力部１７１も接続される。
【００２１】
ＣＰＵ１３１は、撮像素子１０３の画像信号読み出しを制御し、撮像素子１０３〜メモリ１３２の動作タイミングを制御する。表示制御装置１５１は、液晶表示素子からなるＴＦＴ１５２、ＶＩＤＥＯ出力端子１５３、ＨＤＭＩ（登録商標）端子１５４の駆動および制御を行う。また、表示制御装置１５１は、メモリ１３２に表示用の画像フォーマットで配置された画像データをそれぞれの表示装置へ出力する。ここでメモリ１３２に配置された表示用画像データ領域をＶＲＡＭと呼ぶ。
【００２２】
ユーザがメインスイッチ１６１をオンにすると、ＣＰＵ１３１は所定のプログラムを実行する。メインスイッチ１６１をオフにすると所定のプログラムを実行し、カメラをスタンバイモードにする。第１レリーズスイッチ１６２は、レリーズボタンの第１ストローク（半押し状態）でオンになり、第２レリーズスイッチ１６３は、レリーズボタンの第２ストローク（全押し状態）でオンとなる。また、ＣＰＵ１３１は、上下左右選択ボタン１６６、設定ボタン１６７の押下と撮像装置１００の動作状態に応じて制御を行なう。例えば、ライブビュー中に、上下左右選択ボタン１６６でオートフォーカスの対象とする被写体を指定することができる。上下左右選択ボタン１６６と設定ボタン１６７により、グラフィカルユーザインタフェースでの選択と設定を行なうことで、ライブビューを通常モードとズームモードとの間で切り替えることができる。ライブビュー開始／終了ボタン１６４を押すと、定期的（例えば１秒に３０回）に撮像素子１０３から画像データを取り込み、ＶＲＡＭへ配置することで、リアルタイムに撮像素子１０３から取り込んだ画像を表示することができる。ライブビューが動作している状態で、ライブビュー開始／終了ボタン１６４を押すとライブビューを終了する。ＡＦ開始／終了ボタン１６５を押すと、オートフォーカス動作を開始することができる。
【００２３】
以下、図７、図８を参照して、本発明の一実施形態における撮像装置のライブビューオートフォーカス処理の動作について説明する。
【００２４】
まず、ＣＰＵ１３１は、ライブビュー開始／終了ボタン１６４の押下を検知すると、ライブビュー制御を開始する（Ｓ１００）。ステップＳ１０１において、ＡＦ開始／終了ボタン１６５が押下されているかを判定する。ＡＦ開始／終了ボタン１６５が押下されていない場合は、再度ステップＳ１０１に戻り、ＡＦ開始／終了ボタン１６５の押下を検知できるまで、処理を繰り返す。ＡＦ開始／終了ボタン１６５の押下を検知した場合、表示をストップさせて、最後の画像の表示を続けステップＳ１０２に進む。
【００２５】
ステップＳ１０２では、ＣＰＵ１３１は、位相差検出部６０１の出力に応じて、撮像素子１０２に読み出し領域の設定を行う。例えば、ＡＦ開始前には図９の全画素読み出しのようにセンサーを駆動してＡＦ評価値を取得しておき、左画像ラインデータと右画像ラインデータからＡＦ評価値取得に必要な読み出し範囲を特定しておく。ＡＦ開始されると、特定されていた範囲だけを読み出すようにセンサーを駆動する。また、既にＡＦ開始されている場合は、後述のステップＳ１０４の位相差検出ステップによって位相差検出範囲が更に特定されるので、より狭い範囲だけを読み出すように読み出し範囲の特定を行う。例えば、図８（ａ）がＡＦ開始後Ｎフレーム目の読み出し範囲を示している。読み出し領域はＸ１からＸ４の範囲に設定する。図８（ｂ）がＮ＋１フレーム目の読み出し範囲を示している。Ｎフレーム目で位相差検出を行いフォーカス駆動しているので、Ｎ＋１フレーム目では読み出し範囲が狭くなりＸ２からＸ３の範囲に設定する。図８において、中央の矩形領域は合焦させるべき範囲を示す領域であり、読み出し領域は中央の矩形領域よりも大きく設定する。
【００２６】
ステップＳ１０３では、ステップＳ１０２の読み出し領域に応じたフレームレートで画像を読み出すように撮像素子１０２を設定し、ステップＳ１０４へ進む。ここで、ＡＦ中はステップＳ１０２によって読み出し範囲が徐々に狭くなっていくことから、ＡＦ開始時と比べ、フレームレートも徐々に上げることができる。
【００２７】
ステップＳ１０４では、位相差検出部６０１の出力結果をメモリ１３２から読み出し、位相差を算出し、ステップ１０５へ進む。このとき、位相差検出部６０１の出力結果は、図８（ａ）において、Ｘ１からＸ４の区間におけるラインデータから求められた位相差である。
【００２８】
ステップＳ１０５では、検出した位相差が閾値内であればステップＳ１０７へ進み、閾値外であればステップＳ１０６へ進む。ステップＳ１０６では、ステップＳ１０４で算出した位相差に基づき、撮像レンズ１０１のフォーカス制御量を算出し、レンズ駆動部１４１を通じて、フォーカス制御を行う。フォーカス制御が完了したら、ステップＳ１０２へ進む。
【００２９】
ステップＳ１０７では、表示制御装置１５１を通じて、ＴＦＴ１５２に合焦完了したことを表示して、ステップＳ１０８に進む。ステップＳ１０８では、ＡＦ開始／終了ボタン１６５が押下されていないことを判定する。ＡＦ開始／終了ボタン１６５が押下されている場合は、再度ステップＳ１０８に戻り、判定を行う。ＡＦ開始／終了ボタン１６５が押下されていない場合は、ステップＳ１０９に進み、ＴＦＴ１５２に表示されている合焦もしくは非合焦の通知を解除する。表示の解除が完了したら、ステップＳ１０１に戻り、一連の処理を繰り返す。
【００３０】
以上の実施形態では、部分読み出しでのライブビューの合焦処理において、位相差を検出する際に、位相差の検出精度を確保しながら、位相差検出手段の出力に応じて撮像素子の読み出し領域を決定してフレームレートを上げる。これにより、素早いオートフォーカス動作を実現することが可能となる。
【００３１】
なお、本実施形態では、ステップ１０２でＡＦのための読み出し範囲を狭くしておくと、表示制御装置１５１を介して画像を表示するために必要な画像読み出し範囲よりも、狭い範囲を読み出すようになる場合がある。この場合、ＴＦＴ１５２などに表示される画像は、ＡＦ開始前の表示のまま更新されない。ユーザがＡＦ中に表示画像が更新されないことで不都合がある場合には、ステップ１０２で決定される読み出し範囲を画像表示に必要な範囲にまで広げたフレームを時々挟む（所定の時間ごとに挟む）ようにする。これにより、読み出し範囲を広げたフレームでは表示制御装置１５１を介して画像表示を行うようにし、画像表示と素早いオートフォーカス動作を実現することも出来る。
【００３２】
また、本実施形態では、位相差検出部６０１の出力に応じてＡＦのための読み出し範囲を狭くするように制御したが、現像処理部６０３から得られる画像評価値に応じて読み出し範囲を決定するようにしても良い。例えば、顔検出した状態でＡＦ開始していた時に、顔検出結果に変化があった場合には、ステップ１０２で決定される読み出し範囲を広げ、ＡＦ動作をやり直しても良い。
【図１】
2014206562.tif 000003
【図２】
2014206562.tif 000004
【図３】
2014206562.tif 000005
【図４】
2014206562.tif 000006
【図５】
2014206562.tif 000007
【図６】
2014206562.tif 000008
【図７】
2014206562.tif 000009
【図８】
2014206562.tif 000010
【図９】
2014206562.tif 000011