(57)【要約】  本技術は、より高精度に被写体に合焦することができるようにする撮像装置および方法、並びにプログラムに関する。撮像素子は、光学部を介して被写体から入射した光を受光して光電変換することにより、撮像画像を撮影する。撮像画像処理部は、撮像画像の輝度レベルを検出する。パッシブ方式AF演算部は、パッシブ方式によりオートフォーカスにおけるレンズの移動量を算出し、アクティブ方式AF演算部は、アクティブ方式によりオートフォーカスにおけるレンズの移動量を算出する。AF方式判定部は、輝度レベルと閾値とを比較することにより、パッシブ方式またはアクティブ方式の何れか一方を選択する。本技術は、デジタルスチルカメラに適用することができる。
2015083539.tif 000002
【特許請求の範囲】
【請求項１】
撮影環境の輝度レベルを検出する検出部と、
前記輝度レベルと予め定めた閾値とを比較して、パッシブ方式によるオートフォーカス、またはアクティブ方式によるオートフォーカスの何れか一方を選択する方式判定部と
を備える撮像装置。
【請求項２】
前記パッシブ方式によりオートフォーカスにおけるレンズの移動量を算出するパッシブ方式演算部と、
前記アクティブ方式によりオートフォーカスにおける前記レンズの移動量を算出するアクティブ方式演算部と
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記方式判定部によって選択された方式により、オートフォーカスにおけるレンズの移動量を算出する演算部をさらに備える
請求項１に記載の撮像装置。
【請求項４】
前記検出部は、被写体を撮影して得られた撮像画像に基づいて、前記撮像画像の平均輝度、または前記撮像画像における、撮影しようとする前記被写体が含まれている領域の平均輝度を前記輝度レベルとして算出する
請求項２に記載の撮像装置。
【請求項５】
前記方式判定部は、前記輝度レベルが前記閾値よりも大きい場合、前記パッシブ方式によるオートフォーカスを選択し、前記輝度レベルが前記閾値以下である場合、前記アクティブ方式のオートフォーカスを選択する
請求項４に記載の撮像装置。
【請求項６】
前記被写体に対して照射光を射出する発光部と、
前記被写体で反射された前記照射光を受光して得られた距離画像に基づいて、前記照射光の受光タイミングを検出する距離画像処理部と
をさらに備え、
前記アクティブ方式演算部は、前記照射光の発光タイミングと前記受光タイミングとに基づいて、前記アクティブ方式による前記レンズの移動量を算出する
請求項４に記載の撮像装置。
【請求項７】
前記パッシブ方式演算部は、前記撮像画像に基づいて、前記パッシブ方式による前記レンズの移動量を算出する
請求項４に記載の撮像装置。
【請求項８】
前記検出部は、前記撮像画像のフレームごとに前記輝度レベルを検出する
請求項４に記載の撮像装置。
【請求項９】
撮影環境の輝度レベルを検出し、
前記輝度レベルと予め定めた閾値とを比較して、パッシブ方式によるオートフォーカス、またはアクティブ方式によるオートフォーカスの何れか一方を選択する
ステップを含む撮像方法。
【請求項１０】
撮影環境の輝度レベルを検出し、
前記輝度レベルと予め定めた閾値とを比較して、パッシブ方式によるオートフォーカス、またはアクティブ方式によるオートフォーカスの何れか一方を選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は撮像装置および方法、並びにプログラムに関し、特に、より高精度に被写体に合焦することができるようにした撮像装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、被写体となる対象物を撮影するときに、対象物までの距離を測定する方式は、大きく分けるとパッシブ方式とアクティブ方式の２つの方式がある。【０００３】
パッシブ方式では、位相差検出を行うか、またはカメラで取得した画像の解析を行うことで被写体までの距離が算出され、これにより被写体までの距離情報が取得されてオートフォーカス動作が行われる。【０００４】
これに対してアクティブ方式では、被写体、すなわち撮影対象に光を照射し、その照射光と被写体からの反射光の時間等の差分から被写体までの距離を算出することで、被写体までの距離情報が取得され、オートフォーカス動作が行われる。【０００５】
このようなパッシブ方式のオートフォーカスと、アクティブ方式のオートフォーカスには、それぞれメリットとデメリットがある。【０００６】
例えば、パッシブ方式のオートフォーカスには、近距離から遠距離まで広い距離範囲でオートフォーカス動作が可能であるというメリットがある。しかしパッシブ方式のオートフォーカスには、撮影環境が低照度になると高速および高精度なオートフォーカス動作ができなくなり、更に低照度になるとオートフォーカス動作自体ができなくなるというデメリットがある。【０００７】
一方、アクティブ方式のオートフォーカスには、撮影環境がどのような照度条件であっても、高速かつ高精度なオートフォーカス動作が可能であるというメリットがある。しかし、撮影環境が明るい場合には、アクティブ方式よりもパッシブ方式の方が有利である。【０００８】
上記のように各オートフォーカス方式にはメリットとデメリットがあり、複数のオートフォーカス方式を備え、撮影条件に応じて適切なオートフォーカス方式に切り替える技術が存在する。【０００９】
例えば、そのような技術としてパッシブ方式である位相差検出オートフォーカスと、コントラストオートフォーカスの２つのオートフォーカス方法のなかから、撮影条件により選択的もしくは複合的に最適なオートフォーカス方式を決定するものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−１２９１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら上述した技術では、位相差検出オートフォーカスとコントラストオートフォーカスの何れの方法もパッシブ方式のオートフォーカスである。そのため、低照度環境下では、オートフォーカス評価値の信頼性が低くなり、オートフォーカス速度やオートフォーカス精度が低下するだけでなく、さらに照度が低い環境下においては、オートフォーカス動作自体を行うことができなくなってしまう。そうすると、撮影により得られる画像が、ピント位置がずれた画像となる可能性がある。【００１２】
本技術は、このような状況に鑑みてなされたものであり、より高精度に被写体に合焦することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の一側面の撮像装置は、撮影環境の輝度レベルを検出する検出部と、前記輝度レベルと予め定めた閾値とを比較して、パッシブ方式によるオートフォーカス、またはアクティブ方式によるオートフォーカスの何れか一方を選択する方式判定部とを備える。【００１４】
撮像装置には、前記パッシブ方式によりオートフォーカスにおけるレンズの移動量を算出するパッシブ方式演算部と、前記アクティブ方式によりオートフォーカスにおける前記レンズの移動量を算出するアクティブ方式演算部とをさらに設けることができる。【００１５】
撮像装置には、前記方式判定部によって選択された方式により、オートフォーカスにおけるレンズの移動量を算出する演算部をさらに設けることができる。【００１６】
前記検出部には、被写体を撮影して得られた撮像画像に基づいて、前記撮像画像の平均輝度、または前記撮像画像における、撮影しようとする前記被写体が含まれている領域の平均輝度を前記輝度レベルとして算出させることができる。【００１７】
前記方式判定部には、前記輝度レベルが前記閾値よりも大きい場合、前記パッシブ方式によるオートフォーカスを選択させ、前記輝度レベルが前記閾値以下である場合、前記アクティブ方式のオートフォーカスを選択させることができる。【００１８】
撮像装置には、前記被写体に対して照射光を射出する発光部と、前記被写体で反射された前記照射光を受光して得られた距離画像に基づいて、前記照射光の受光タイミングを検出する距離画像処理部とをさらに設け、前記アクティブ方式演算部には、前記照射光の発光タイミングと前記受光タイミングとに基づいて、前記アクティブ方式による前記レンズの移動量を算出させることができる。【００１９】
前記パッシブ方式演算部には、前記撮像画像に基づいて、前記パッシブ方式による前記レンズの移動量を算出させることができる。【００２０】
前記検出部には、前記撮像画像のフレームごとに前記輝度レベルを検出させることができる。【００２１】
本技術の一側面の撮像方法またはプログラムは、撮影環境の輝度レベルを検出し、前記輝度レベルと予め定めた閾値とを比較して、パッシブ方式によるオートフォーカス、またはアクティブ方式によるオートフォーカスの何れか一方を選択するステップを含む。【００２２】
本技術の一側面においては、撮影環境の輝度レベルが検出され、前記輝度レベルと予め定めた閾値とが比較されて、パッシブ方式によるオートフォーカス、またはアクティブ方式によるオートフォーカスの何れか一方が選択される。
【発明の効果】
【００２３】
本技術の一側面によれば、より高精度に被写体に合焦することができる。【００２４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００２５】
【図１】撮像装置の構成例を示す図である。
【図２】発光タイミングがAM変調された場合における距離情報の取得について説明する図である。
【図３】発光タイミングがパルス変調された場合における距離情報の取得について説明する図である。
【図４】撮影処理を説明するフローチャートである。
【図５】アクティブ方式からパッシブ方式への遷移例を示す図である。
【図６】パッシブ方式からアクティブ方式への遷移例を示す図である。
【図７】撮像装置の構成例を示す図である。
【図８】撮影処理を説明するフローチャートである。
【図９】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２７】
〈第１の実施の形態〉
〈撮像装置の構成例〉
まず、本技術の概要について説明する。
【００２８】
本技術は、パッシブ方式のオートフォーカスと、アクティブ方式のオートフォーカスの両方式のオートフォーカスを行う機構を備え、撮影環境の明るさに応じて最適なオートフォーカス方式を自動的に選択および採用するものである。これにより、低照度環境下においても、高速かつ高精度でオートフォーカス動作を実行できるようになる。
【００２９】
なお、パッシブ方式とは、被写体を撮影して得られた画像情報に基づいてオートフォーカスを行う方式である。また、アクティブ方式とは、所定の照射光を被写体に照射し、その照射光の被写体での反射光を受光して得られた情報を用いて、オートフォーカスを行う方式である。以下では、パッシブ方式のオートフォーカスとしてコントラストオートフォーカスが行われ、アクティブ方式のオートフォーカスとしてTOF（Time of Flight）が行われる場合を例として説明を続ける。
【００３０】
図１は、本技術を適用した撮像装置の一実施の形態の機能の構成例を示す図である。
【００３１】
撮像装置１１は、例えばデジタルスチルカメラやデジタルビデオカメラ、多機能型携帯電話機などからなる。
【００３２】
撮像装置１１は、光学部２１、撮像素子２２、画像処理部２３、画像メモリ２４、レンズ駆動部２５、レンズ位置検出部２６、絞り駆動部２７、シャッタ駆動部２８、制御部２９、発光部３０、操作部３１、表示部３２、および記録メディア３３から構成される。
【００３３】
光学部２１は、撮像レンズ、フォーカスレンズ、絞り、シャッタ等を備えており、被写体Ｈ１１から入射した光を撮像素子２２へと導く。
【００３４】
撮像素子２２は、行列配列された画素が設けられた撮像面を有するCMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）等からなり、光学部２１を介して被写体Ｈ１１から入射した光を撮像面で受光する。撮像素子２２は、被写体Ｈ１１からの光を光電変換することで得られた、被写体Ｈ１１の画像を画像処理部２３に出力する。
【００３５】
ここで、撮像素子２２の撮像面には、被写体Ｈ１１の撮像画像を撮影するための画素と、アクティブ方式のオートフォーカスを行う場合に用いられ、被写体Ｈ１１までの距離を測定するための画素とが設けられている。
【００３６】
例えば撮像画像用の画素は、Ｒ，Ｇ，Ｂの各色のカラーフィルタが設けられた画素であり、アクティブ方式のオートフォーカス用、つまり距離測定用の画素は、近赤外光のみを透過させるフィルタが設けられた画素である。以下では、アクティブ方式のオートフォーカス用の画素で受光された光を光電変換して得られる画像を距離画像とも称することとする。
【００３７】
このように、撮像素子２２の撮像面には、撮像画像用の画素と、距離画像用の画素とが予め定められた配置で混在しているため、撮像素子２２で得られる画像には、撮像画像と距離画像とが含まれている。
【００３８】
画像処理部２３は、撮像素子２２から供給された画像に対する処理を行う。画像処理部２３は、画像分離部５１、撮像画像処理部５２、および距離画像処理部５３を備えている。
【００３９】
画像分離部５１は、撮像素子２２から供給された画像を撮像画像と距離画像とに分離し、撮像画像を撮像画像処理部５２に供給するとともに、距離画像を距離画像処理部５３に供給する。
【００４０】
撮像画像処理部５２は、撮像画像に対してデモザイク処理、ガンマ補正、色補正等のカメラ信号処理を行う。また、撮像画像処理部５２は、被写体Ｈ１１を撮影するのに適切な露出を得るために、撮影環境の輝度レベル、すなわち撮像画像の輝度レベルを毎フレーム検波し、ISO（International Organization for Standardization）感度、すなわちデジタルゲインの調整等の演算を行う。
【００４１】
なお、撮像画像の輝度レベルは、例えば撮像画像の各フレームの平均輝度やオートフォーカス枠内の平均輝度とされる。ここで、オートフォーカス枠内の平均輝度は、ピントを合わせようとする被写体、つまり撮影しようとする被写体が含まれている撮像画像上の領域の平均輝度である。
【００４２】
さらに、撮像画像処理部５２は、撮像画像のコントラストに応じた所定の評価値も算出する。この評価値は、パッシブ方式であるコントラストオートフォーカスを行う時に利用される。
【００４３】
距離画像処理部５３は、距離画像から各画素の距離情報、すなわち受光タイミングを取得する。
【００４４】
画像メモリ２４は、画像処理部２３から供給された撮像画像や距離画像を一時的に記録したり、記録している撮像画像や距離画像を画像処理部２３または制御部２９に供給したりする。
【００４５】
レンズ駆動部２５は、レンズ制御部５４からのフォーカスレンズ移動量の情報に基づいて、光学部２１内のフォーカスレンズを駆動し、オートフォーカス動作をさせる。レンズ位置検出部２６は、光学部２１内のフォーカスレンズの現在の位置を検出し、レンズ制御部５４に現在のフォーカスレンズの位置情報を伝達する。
【００４６】
絞り駆動部２７は、シャッタ絞り制御部５５からの絞り情報に基づいて、光学部２１内の絞りを駆動する。シャッタ駆動部２８はシャッタ絞り制御部５５からのシャッタ情報に基づいて、光学部２１内のシャッタを駆動する。
【００４７】
制御部２９は、例えばCPU（Central Processing Unit）からなり、撮像装置１１全体の動作を制御する。制御部２９は、レンズ制御部５４、シャッタ絞り制御部５５、撮像素子制御部５６、パッシブ方式AF演算部５７、アクティブ方式AF演算部５８、AF方式判定部５９、発光制御部６０、操作系制御部６１、表示制御部６２、および記録メディア制御部６３を備えている。
【００４８】
撮像素子制御部５６は、撮像素子２２の露光および画素からの信号の読み出しが所定のタイミングで行われるように撮像素子２２の制御を行う。
【００４９】
パッシブ方式AF演算部５７は、撮像画像処理部５２で算出された、撮像画像のコントラストの評価値に基づいて、現在のフォーカスレンズの位置からのデフォーカス量、すなわち被写体に合焦するためのフォーカスレンズ移動量を算出し、AF方式判定部５９に供給する。
【００５０】
アクティブ方式AF演算部５８は、発光制御部６０による発光部３０の発光タイミングと、距離画像処理部５３で取得した各画素の距離情報、すなわち受光タイミングとから各画素の距離を算出し、デプスマップを生成する。
【００５１】
具体的には、アクティブ方式AF演算部５８は、発光部３０から射出される照射光の変調方式がAM（Amplitude Modulation）変調である場合、つまり照射光が正弦波である場合、照射光の位相と、撮像素子２２の各画素の受光の位相との位相差を算出する。そして、アクティブ方式AF演算部５８は、算出した位相差から各画素について被写体Ｈ１１までの距離を求め、それらの距離を示すデプスマップを生成する。
【００５２】
また、アクティブ方式AF演算部５８は、発光部３０から射出される照射光の変調方式がパルス変調である場合、照射光の発光タイミングと各画素の受光のタイミングとの位相差を、パルス数をカウントすることで算出する。そして、アクティブ方式AF演算部５８は、求めた位相差から各画素について被写体Ｈ１１までの距離を求め、デプスマップを生成する。
【００５３】
アクティブ方式AF演算部５８は、このようにして得られたデプスマップに基づいて、現在のフォーカスレンズの位置から、被写体Ｈ１１に合焦するフォーカスレンズの位置までのデフォーカス量、すなわち合焦するためのフォーカスレンズ移動量を算出し、AF方式判定部５９に供給する。
【００５４】
AF方式判定部５９は、撮像画像処理部５２で検出した撮像画像の輝度レベルと、予め設定されている閾値ｔｈの大小を比較して、パッシブ方式またはアクティブ方式の何れかのオートフォーカス方式を選択する。
【００５５】
すなわち、輝度レベルが閾値ｔｈよりも大きければ、パッシブ方式AF演算部５７で算出されたデフォーカス量、すなわちフォーカスレンズ移動量が選択される。一方、輝度レベルが閾値ｔｈ以下であれば、アクティブ方式AF演算部５８で算出されたデフォーカス量、すなわちフォーカスレンズ移動量が選択される。
【００５６】
AF方式判定部５９は、輝度レベルと閾値ｔｈとの比較の結果、選択されたデフォーカス量を、レンズ制御部５４に供給する。また、AF方式判定部５９は、アクティブ方式が選択された場合、発光制御部６０に発光ON信号を伝送する。
【００５７】
発光制御部６０は、AF方式判定部５９から発光ON信号が供給されると、アクティブ方式AF演算部５８から発光部３０で照射光を照射するタイミングを示すタイミング信号を取得し、発光部３０をAM変調（正弦波）もしくはパルス変調で発光させる。発光部３０は、例えば照射光として近赤外光を被写体Ｈ１１に照射する。なお、発光部３０から射出される距離測定用の照射光の波長帯域は近赤外光の帯域に限らず、どのような波長帯域であってもよい。
【００５８】
操作部３１は、シャッタ操作やズーム操作、カメラ設定等、ユーザ（操作者）が撮像装置１１を操作するための入力部である。操作系制御部６１は、ユーザの操作に応じて操作部３１から供給される入力情報に基づいて、撮像装置１１の動作を実行する。
【００５９】
表示部３２は、撮影画像や距離画像、撮影情報等を表示する表示デバイスであり、表示制御部６２によって制御される。記録メディア３３は、撮像装置１１で撮影された静止画像や動画像を記録するメディアであり、記録メディア制御部６３により、撮影画像等の記録および再生が制御される。
【００６０】
このような構成とされた撮像装置１１では、低照度環境下ではアクティブ方式のオートフォーカスが実行されるため、AF補助光は不要であり、撮像装置１１にはAF補助光の光源は備えられていない。
【００６１】
また、ここでは、パッシブ方式のオートフォーカスとして、コントラストオートフォーカスが行われる例について説明するが、パッシブ方式のオートフォーカスは、これに限定されるものではなく、他のどのようなものであってもよい。例えば、パッシブ方式のオートフォーカスとして、三角測量、レンジファインダ、TTL（Through The Lens）位相差検出、像面位相差検出、ステレオ法、マルチカメラ法などによるオートフォーカスが行われてもよい。
【００６２】
同様に、アクティブ方式のオートフォーカスも上述したTOFに限らず、光三角測量、構造化光投影法、照度差ステレオ法、光切断法、格子投影法、モワレ法などによるオートフォーカスが行われてもよい。
【００６３】
〈被写体までの距離の測定について〉
ここで、TOFによる撮像装置１１から被写体Ｈ１１までの距離の測定手法について説明する。
【００６４】
図２は、アクティブ方式AF演算部５８から発光制御部６０に供給されるタイミング信号、つまり発光部３０による発光タイミングがAM変調された場合におけるタイミングチャートを示している。なお、図２において横方向は時間を示しており、縦方向は照射光の強度を示している。
【００６５】
図２では、曲線Ｃ１１はタイミング信号により示される発光タイミングを示しており、曲線Ｃ１２は撮像素子２２による照射光の受光タイミングを示している。
【００６６】
この例では、曲線Ｃ１１は正弦波となっているため、発光部３０から出力される照射光の強度は時間とともに周期的に変化する。すなわち、発光制御部６０は、各時刻で射出される照射光の強度が曲線Ｃ１１に示される強度となるように、発光部３０の発光を制御する。
【００６７】
このようにして発光部３０から射出された照射光は被写体Ｈ１１で反射され、光学部２１を介して撮像素子２２の撮像面に入射する。ここで、照射光は近赤外光であるから、照射光は撮像面上にある画素のうち、撮像画像用の画素では受光されず、距離画像用の画素でのみ受光される。
【００６８】
距離画像は、発光部３０から射出され、被写体Ｈ１１で反射された照射光を撮像して得られる画像であるから、照射光の強度が周期的に変化すれば、距離画像上の各画素の輝度値も照射光の強度の変化に対応して、時間とともに変化するはずである。
【００６９】
曲線Ｃ１２に示される受光タイミングは、撮像素子２２が被写体Ｈ１１で反射した照射光を受光するタイミングを示している。換言すれば、曲線Ｃ１２は、各時刻（フレーム）における距離画像の所定の１つの画素の輝度値、つまり距離画像の画素に対応する撮像面上の距離画像用の画素に入射した照射光の強度の時間変化を示している。
【００７０】
したがって、曲線Ｃ１１に示す発光タイミングと、曲線Ｃ１２に示す受光タイミングとの位相差が、発光部３０から射出された照射光が被写体Ｈ１１で反射されて、撮像素子２２で受光されるまでの飛行時間ＴＰ１１となる。
【００７１】
以下に撮像素子２２から被写体Ｈ１１までの距離の算出方法を具体的に説明する。
【００７２】
図２の例では、飛行時間ＴＰ１１が、タイミング信号である正弦波の1/4波長の長さとなっており、正弦波の周波数が25 MHzである場合、飛行時間はＴＰ１１＝1/4×1/(25×106)×109＝10 nsとなる。
【００７３】
飛行時間ＴＰ１１は照射光が射出されてから被写体Ｈ１１で反射し、撮像素子２２で受光されるまでの光の往復時間であるため、発光部３０から射出された照射光が被写体Ｈ１１に到達するまでの時間は、飛行時間ＴＰ１１の半分の時間である5 nsとなる。
【００７４】
光の速度は周知の通り、約300000 km/sであるため、撮像装置１１から被写体Ｈ１１までの距離は、5 ns×300000 km/s＝1.5 mとなる。
【００７５】
以上の通り、タイミング信号がAM変調された場合、発光タイミングと受光タイミングの位相差から、被写体Ｈ１１までの距離を算出することができる。
【００７６】
また、図３は、アクティブ方式AF演算部５８から発光制御部６０に供給されるタイミング信号、つまり発光部３０による発光タイミングがパルス変調された場合におけるタイミングチャートを示している。なお、図３において横方向は時間を示しており、縦方向は照射光の強度を示している。
【００７７】
図３では、折れ線Ｃ２１はタイミング信号により示される発光タイミングを示しており、折れ線Ｃ２２は撮像素子２２による照射光の受光タイミングを示している。
【００７８】
この例では、折れ線Ｃ２１は、周期的に発生するパルス波からなる矩形波信号となっているため、発光部３０から出力される照射光の強度も時間とともに周期的に変化する。すなわち、発光制御部６０は、各時刻で射出される照射光の強度が折れ線Ｃ２１の矩形波に示される強度となるように、発光部３０の発光を制御する。
【００７９】
折れ線Ｃ２２に示される受光タイミングは、撮像素子２２が被写体Ｈ１１で反射した照射光を受光するタイミングを示している。換言すれば、折れ線Ｃ２２は、各時刻における距離画像の所定の１つの画素の輝度値、つまり距離画像の画素に対応する撮像面上の距離画像用の画素に入射した照射光の強度の時間変化を示している。
【００８０】
したがって、折れ線Ｃ２１に示す発光タイミングと、折れ線Ｃ２２に示す受光タイミングとの位相差が、発光部３０から射出された照射光が被写体Ｈ１１で反射されて、撮像素子２２で受光されるまでの飛行時間ＴＰ２１となる。
【００８１】
以下に撮像素子２２から被写体Ｈ１１までの距離の算出方法を具体的に説明する。
【００８２】
図３の例では、飛行時間ＴＰ２１が、タイミング信号のパルス波40個分が出力される時間となっており、パルス波の周波数が400 MHzである場合、飛行時間はＴＰ２１＝40×1/(400×106)×106＝0.1 μsとなる。
【００８３】
飛行時間ＴＰ２１は照射光が射出されてから被写体Ｈ１１で反射され、撮像素子２２で受光されるまでの光の往復時間であるため、発光部３０から射出された照射光が被写体Ｈ１１に到達するまでの時間は、飛行時間ＴＰ２１の半分の時間である0.05 μsである。
【００８４】
光の速度は、約300000 km/sであるため、撮像装置１１から被写体Ｈ１１までの距離は、0.05 μs×300000 km/s＝15 mとなる。
【００８５】
以上の通り、タイミング信号がパルス変調された場合、発光タイミングと受光タイミングの間のパルス数のカウント値に対応する時間によって、撮像装置１１から被写体Ｈ１１までの距離を算出することができる。
【００８６】
〈撮影処理の説明〉
次に、撮像装置１１の動作について説明する。
【００８７】
以下、図４のフローチャートを参照して、撮像装置１１により行われる撮影処理について説明する。この撮影処理は、ユーザにより操作部３１が操作されて、撮影動作の開始が指示されると開始される。
【００８８】
ステップＳ１１において、撮像素子２２は、光学部２１を介して被写体Ｈ１１から入射してきた光を撮像面で受光して光電変換することで撮像画像を取得する。より詳細には、撮像素子２２は、取得した画像を画像処理部２３に供給し、画像分離部５１は撮像素子２２から供給された画像から撮像画像を抽出して撮像画像処理部５２に供給する。
【００８９】
ステップＳ１２において、撮像画像処理部５２は、画像分離部５１から供給された撮像画像に基づいて、適切な露出を得るために、処理対象となっているフレーム、つまり新たに供給された撮像画像の輝度レベルを検出する。
【００９０】
例えば撮像画像の平均輝度や、オートフォーカス枠内、つまり撮像画像上のフォーカス対象となる被写体を含む領域内の平均輝度が輝度レベルとして検出される。
【００９１】
ステップＳ１３において、撮像画像処理部５２は、求めた撮像画像の輝度レベル、すなわち被写体と撮影環境の明るさの検波値に基づいて、撮影を行うのに適正な露出量を演算する。
【００９２】
ステップＳ１４において、撮像画像処理部５２は、算出した露出量に基づいて露出制御を行う。すなわち、撮像画像処理部５２は、露出量に基づいてISO感度（デジタルゲイン）を調整するとともに、制御部２９に露出量を供給する。すると、シャッタ絞り制御部５５は、露出量に基づいて絞り値およびシャッタスピードを決定する。そして、シャッタ絞り制御部５５は、決定した絞り値に基づいて絞り駆動部２７に光学部２１内の絞りを駆動させ、決定したシャッタスピードに基づいてシャッタ駆動部２８に光学部２１内のシャッタを駆動させる。これにより、適正な露出制御が行われる。
【００９３】
また、撮像画像処理部５２は、ステップＳ１２で算出した撮像画像の輝度レベルをAF方式判定部５９に供給する。
【００９４】
ステップＳ１５において、AF方式判定部５９は、撮像画像処理部５２から供給された輝度レベルと、予め設定された閾値ｔｈとを比較して、輝度レベルが閾値ｔｈを超えたか否かを判定する。例えば輝度レベルが閾値ｔｈを超えた場合、パッシブ方式が選択され、輝度レベルが閾値ｔｈ以下である場合、アクティブ方式が選択される。
【００９５】
なお、閾値ｔｈの設定では、輝度レベルがそれ以下の値となると、パッシブ方式ではオートフォーカス性能が十分に発揮されなくなる輝度レベルの値が閾値ｔｈとされる。
【００９６】
ステップＳ１５において、輝度レベルが閾値ｔｈを超えたと判定された場合、ステップＳ１６において、AF方式判定部５９は、パッシブ方式を選択する。そして、AF方式判定部５９は、パッシブ方式であるコントラストオートフォーカスに必要な処理の実行を撮像画像処理部５２に指示する。
【００９７】
撮像画像処理部５２は、AF方式判定部５９の指示に従って、撮像画像の各領域におけるコントラストの強さを示す値を、撮像画像のコントラストに応じた評価値として算出し、パッシブ方式AF演算部５７に供給する。また、AF方式判定部５９はパッシブ方式AF演算部５７に対して、パッシブ方式であるコントラストオートフォーカスによる、フォーカスレンズのデフォーカス量の算出を指示する。
【００９８】
ステップＳ１７において、パッシブ方式AF演算部５７は、AF方式判定部５９の指示に従って、撮像画像処理部５２から供給された評価値に基づいて、光学部２１を構成するフォーカスレンズのデフォーカス量を算出し、AF方式判定部５９に供給する。
【００９９】
ステップＳ１８において、AF方式判定部５９は、パッシブ方式AF演算部５７から供給されたデフォーカス量をレンズ制御部５４に供給し、オートフォーカス動作を実行させる。
【０１００】
レンズ制御部５４は、AF方式判定部５９から供給されたデフォーカス量に基づいて、レンズ駆動部２５を制御し、光学部２１内のフォーカスレンズを駆動させる。これにより、目的とする被写体にピントが合った状態となる。
【０１０１】
また、ステップＳ１５において、輝度レベルが閾値ｔｈ以下であると判定された場合、ステップＳ１９において、AF方式判定部５９は、アクティブ方式を選択する。そして、AF方式判定部５９は、アクティブ方式としてTOF方式のオートフォーカスに必要な処理の実行を距離画像処理部５３およびアクティブ方式AF演算部５８に指示する。
【０１０２】
また、AF方式判定部５９は、発光部３０を発光させるための発光ON信号を発光制御部６０に供給するとともに、アクティブ方式AF演算部５８は、発光部３０を発光させるためのタイミング信号を発光制御部６０に供給する。
【０１０３】
なお、発光部３０を発光させるのに用いるタイミング信号は、AM変調またはパルス変調の何れの方式で変調されるようにしてもよく、また適宜、AM変調とパルス変調とが切り換えられるようにしてもよい。
【０１０４】
ステップＳ２０において、発光制御部６０は、AF方式判定部５９からの発光ON信号と、アクティブ方式AF演算部５８からのタイミング信号に基づいて発光部３０による発光を制御する。発光部３０は、発光制御部６０の制御に従って発光し、被写体Ｈ１１に照射光を照射する。
【０１０５】
すると、発光部３０から射出された照射光は、被写体Ｈ１１で反射され、光学部２１を介して撮像素子２２に入射する。
【０１０６】
ステップＳ２１において、撮像素子２２は、光学部２１を介して被写体Ｈ１１から入射した照射光を受光して光電変換することで、距離画像を取得する。より詳細には、撮像素子２２は、取得した画像を画像処理部２３に供給し、画像分離部５１は撮像素子２２から供給された画像から距離画像を抽出して距離画像処理部５３に供給する。
【０１０７】
また、距離画像処理部５３は、画像分離部５１から供給された距離画像の各画素の輝度値の時間方向の変化に基づいて、各画素の距離情報、すなわち受光タイミングを求め、アクティブ方式AF演算部５８に供給する。さらに、AF方式判定部５９はアクティブ方式AF演算部５８に対して、アクティブ方式である、TOF方式によるフォーカスレンズのデフォーカス量の算出を指示する。
【０１０８】
ステップＳ２２において、アクティブ方式AF演算部５８は、AF方式判定部５９の指示に従って、距離画像処理部５３から供給された受光タイミングと、発光制御部６０で制御する発光部３０の発光タイミングとに基づいて、デプスマップを生成する。
【０１０９】
すなわち、アクティブ方式AF演算部５８は、発光タイミングと受光タイミングの位相差、または位相差に対応するパルス数から飛行時間を算出して距離画像の画素ごとに被写体Ｈ１１までの距離を算出し、距離画像の各領域の距離を示すデプスマップを生成する。
【０１１０】
ステップＳ２３において、アクティブ方式AF演算部５８は、生成したデプスマップに基づいて、目的とする被写体までの距離を求めてデフォーカス量を算出し、AF方式判定部５９に供給する。
【０１１１】
そして、ステップＳ２３の後、ステップＳ１８において、AF方式判定部５９は、アクティブ方式AF演算部５８から供給されたデフォーカス量をレンズ制御部５４に供給し、オートフォーカス動作を実行させる。
【０１１２】
レンズ制御部５４は、AF方式判定部５９から供給されたデフォーカス量に基づいて、レンズ駆動部２５を制御し、光学部２１内のフォーカスレンズを駆動させる。これにより、目的とする被写体にピントが合った状態となる。
【０１１３】
このようにして、パッシブ方式またはアクティブ方式でオートフォーカス動作が行われると、ステップＳ２４において、制御部２９は、オートフォーカス動作を終了するか否かを判定する。例えば、ユーザにより操作部３１としてのシャッタボタンが押され、撮像画像の撮影が指示された場合等に、オートフォーカス動作を終了すると判定される。
【０１１４】
ステップＳ２４において、オートフォーカス動作を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。
【０１１５】
これに対して、ステップＳ２４において、オートフォーカス動作を終了すると判定された場合、撮影処理は終了する。
【０１１６】
例えば、撮像画像の撮影が指示されて、オートフォーカス動作を終了すると判定された場合、撮像画像処理部５２により適宜処理された撮像画像が、記録メディア３３に供給されて記録されたり、表示部３２に供給されて表示されたりする。
【０１１７】
ここで、図５および図６のタイミングチャートを参照して、撮像装置１１における動作タイミングについて説明する。
【０１１８】
なお、図５および図６において、図中、横方向は時間を示している。また、最上段、すなわち矢印Ａ１１および矢印Ａ２１に示す段は、撮像素子２２から出力される画像を示している。特に最上段において、斜線の施された四角形は撮像画像を表しており、斜線の施されていない四角形は距離画像を表している。
【０１１９】
また、「１Ｖ」と記述されている期間、すなわち期間ＴＰ３１乃至期間ＴＰ３３と期間ＴＰ４１乃至期間ＴＰ４３は、それぞれ１垂直期間、つまり１フレーム分の画像を取得する期間を示している。
【０１２０】
図５および図６において、２段目、すなわち矢印Ａ１２および矢印Ａ２２に示される段は、撮像画像処理部５２による記録用または表示用の撮像画像の取得タイミングを示しており、２段目に描かれている斜線の施された四角形は、撮像画像処理部５２により取得された撮像画像を表している。
【０１２１】
また、３段目、すなわち矢印Ａ１３および矢印Ａ２３に示される段は、距離画像処理部５３による距離画像の取得タイミングを示しており、３段目に描かれた四角形は、距離画像処理部５３により取得された距離画像を表している。
【０１２２】
４段目、すなわち矢印Ａ１４および矢印Ａ２４に示される段は、AF方式判定部５９による判定結果、すなわちどの方式のオートフォーカスが選択されたかを示している。具体的には、４段目に示される矩形の波形が上に突となっている期間は、オートフォーカスの方式として、アクティブ方式が選択されている期間を示しており、矩形の波形が下に突となっている期間は、パッシブ方式が選択されている期間を示している。
【０１２３】
さらに、５段目、すなわち矢印Ａ１５および矢印Ａ２５に示される段は、発光タイミング、つまり発光ON信号が出力されるタイミングを示している。具体的には、５段目に示される矩形の波形が上に突となっている期間は、発光ON信号が出力され、発光部３０が発光している期間を示しており、矩形の波形が下に突となっている期間は、発光ON信号が出力されず、発光部３０が発光していない期間を示している。
【０１２４】
図５は、撮影動作が開始された後、アクティブ方式からパッシブ方式へとモード遷移する場合におけるタイミングチャートを示している。
【０１２５】
まず、初期露出検出期間ＴＰ３１では、撮像素子２２により出力タイミングで撮像画像が出力され、撮像画像処理部５２において、撮像画像の輝度レベルが検出される。
【０１２６】
そして、AF方式判定のタイミングで、AF方式判定部５９は輝度レベルと閾値の比較を行い、オートフォーカス方式を選択する。図５の例では、撮影環境が低照度であるので、AF方式判定部５９によりアクティブ方式が選択されている。
【０１２７】
初期露出検出期間ＴＰ３１に続くアクティブ方式AF期間ＴＰ３２では、AF方式判定部５９は、発光タイミングで発光ON信号を発光制御部６０に供給し、アクティブ方式AF演算部５８は、発光タイミングで発光タイミング信号を発光制御部６０に供給する。発光ON信号と発光タイミング信号の供給を受けた発光制御部６０は、発光タイミングで発光部３０を発光させ、照射光を被写体Ｈ１１に照射させる。
【０１２８】
また、撮像素子２２は、被写体Ｈ１１で反射した光を受光して光電変換した後、出力タイミングで、撮像画像と距離画像を画像処理部２３に出力する。
【０１２９】
画像分離部５１は、撮像画像と距離画像を分離する。そして、撮像画像処理部５２は、撮像画像取得のタイミングで撮像画像を取得し、距離画像処理部５３は、距離画像取得のタイミングで、距離画像、すなわち距離画像の各画素での受光タイミングを取得する。
【０１３０】
アクティブ方式AF演算部５８は、発光制御部６０で制御する発光部３０の発光タイミングと、受光タイミングの位相差またはパルス数から飛行時間を算出し、距離画像の各画素での被写体Ｈ１１までの距離を示すデプスマップを生成する。さらに、アクティブ方式AF演算部５８は、得られたデプスマップに基づいて、被写体Ｈ１１までの距離を求め、デフォーカス量を算出する。
【０１３１】
AF方式判定部５９は、アクティブ方式AF演算部５８で算出されたデフォーカス量をレンズ制御部５４に供給し、レンズ制御部５４はデフォーカス量に基づいてレンズ駆動部２５を制御し、光学部２１内のフォーカスレンズを駆動させて、オートフォーカス動作を実行する。
【０１３２】
また、撮像画像処理部５２は、撮像画像の輝度レベルを検出し、AF方式判定のタイミングで、AF方式判定部５９は輝度レベルと閾値の比較を行い、オートフォーカス方式を選択する。この例では、撮影環境が低照度から高照度に変化しているので、AF方式判定部５９は、パッシブ方式を選択する。
【０１３３】
さらに、パッシブ方式AF期間ＴＰ３３では、AF方式判定部５９は、５段目の発光タイミングに示されるように発光ON信号を出力しない。つまり、発光部３０の発光を行わない。
【０１３４】
また、撮像素子２２は、出力タイミングで撮像画像を画像処理部２３に出力し、撮像画像処理部５２は、撮像画像取得のタイミングで撮像画像を取得する。撮像画像処理部５２は、撮像画像のコントラストに応じた評価値を算出し、パッシブ方式AF演算部５７は、その評価値に基づいてデフォーカス量を算出する。
【０１３５】
AF方式判定部５９は、パッシブ方式AF演算部５７で算出されたデフォーカス量を、レンズ制御部５４に供給し、レンズ制御部５４は、そのデフォーカス量に基づいてレンズ駆動部２５を制御し、光学部２１内のフォーカスレンズを駆動させ、オートフォーカス動作を実行する。
【０１３６】
また、図６は、撮影動作が開始された後、パッシブ方式からアクティブ方式へとモード遷移する場合におけるタイミングチャートを示している。
【０１３７】
まず、初期露出検出期間ＴＰ４１において、撮像素子２２により出力タイミングで撮像画像が出力され、撮像画像処理部５２において、撮像画像の輝度レベルが検出される。
【０１３８】
また、AF方式判定のタイミングで、AF方式判定部５９は輝度レベルと閾値の比較を行い、オートフォーカス方式を選択する。図６の例では、撮影環境が高照度であるのでAF方式判定部５９によりパッシブ方式が選択されている。
【０１３９】
初期露出検出期間ＴＰ４１に続くパッシブ方式AF期間ＴＰ４２では、AF方式判定部５９は、５段目に示される発光タイミングに示されるように発光ON信号を出力しない。つまり、発光部３０の発光を行わない。
【０１４０】
また、撮像素子２２は、出力タイミングで撮像画像を画像処理部２３に出力し、撮像画像処理部５２は、撮像画像取得のタイミングで撮像画像を取得する。
【０１４１】
撮像画像処理部５２は、撮像画像のコントラストに応じた評価値を算出し、パッシブ方式AF演算部５７は、その評価値に基づいてデフォーカス量を算出する。AF方式判定部５９は、パッシブ方式AF演算部５７で算出されたデフォーカス量を、レンズ制御部５４に供給し、レンズ制御部５４は、そのデフォーカス量に基づいてレンズ駆動部２５を制御し、光学部２１内のフォーカスレンズを駆動させ、オートフォーカス動作を実行する。
【０１４２】
さらに、撮像画像処理部５２は、撮像画像の輝度レベルを検出し、AF方式判定部５９は、AF方式判定のタイミングで輝度レベルと閾値の比較を行い、オートフォーカス方式を選択する。
【０１４３】
この例では、撮影環境が高照度から低照度に変化したので、AF方式判定部５９は、アクティブ方式を選択する。
【０１４４】
そして、アクティブ方式AF期間ＴＰ４３では、AF方式判定部５９は、発光タイミングで発光ON信号を発光制御部６０に供給し、アクティブ方式AF演算部５８は、発光タイミングで発光タイミング信号を発光制御部６０に供給する。発光ON信号と発光タイミング信号の供給を受けた発光制御部６０は、発光タイミングで発光部３０を発光させ、照射光を被写体Ｈ１１に照射させる。
【０１４５】
また、撮像素子２２は、被写体Ｈ１１で反射した光を受光して光電変換した後、出力タイミングで、撮像画像と距離画像を画像処理部２３に出力する。
【０１４６】
画像分離部５１は、撮像画像と距離画像を分離する。そして、撮像画像処理部５２は、撮像画像取得のタイミングで撮像画像を取得し、距離画像処理部５３は、距離画像取得のタイミングで、距離画像、すなわち距離画像の各画素での受光タイミングを取得する。
【０１４７】
アクティブ方式AF演算部５８は、発光制御部６０で制御する発光部３０の発光タイミングと、受光タイミングの位相差またはパルス数から飛行時間を算出し、距離画像の各画素での被写体Ｈ１１までの距離を示すデプスマップを生成する。さらに、アクティブ方式AF演算部５８は、得られたデプスマップに基づいて、被写体Ｈ１１までの距離を求め、デフォーカス量を算出する。
【０１４８】
AF方式判定部５９は、アクティブ方式AF演算部５８で算出されたデフォーカス量をレンズ制御部５４に供給し、レンズ制御部５４はデフォーカス量に基づいてレンズ駆動部２５を制御し、光学部２１内のフォーカスレンズを駆動させて、オートフォーカス動作を実行する。
【０１４９】
以上のようにして、撮像装置１１は撮像画像の輝度レベルと閾値とを比較して、その比較結果に応じて、適宜パッシブ方式とアクティブ方式のオートフォーカスを切り替えて撮影を行う。
【０１５０】
これにより、撮影環境の明るさに応じて、自動的に最適なオートフォーカス方式が採用されるため、どのような撮影環境下においても高速で高精度なオートフォーカス動作を実現することが可能となる。すなわち、より高速で高精度に被写体に合焦することができる。
【０１５１】
特に、低照度環境下で、パッシブ方式では合焦性能が低下してしまうような場合であっても、撮像装置１１では自動的にアクティブ方式が採用されるので、高照度環境下と同等な高速かつ高精度のオートフォーカス動作を実現することが可能となる。
【０１５２】
また、撮像装置１１では、アクティブ方式のオートフォーカスに必要な光を照射する発光部３０が必要になるが、従来、パッシブ方式のオートフォーカスにおいて低照度環境下での撮影に必要であったAF補助光の発光部が不要になる。したがって、撮像装置１１が大型化してしまうようなこともない。
【０１５３】
さらに、撮像装置１１によれば、低照度環境下においても、アクティブ方式の採用により、AF補助光を使うことなくオートフォーカス動作できるため、従来、AF補助光を使うパッシブ方式では不可能であった低照度環境下での動画記録撮影が可能となる。
【０１５４】
〈第２の実施の形態〉
〈撮像装置の構成例〉
なお、以上においては、AF方式判定部５９がパッシブ方式またはアクティブ方式の何れか一方を選択し、その選択結果に応じてパッシブ方式AF演算部５７またはアクティブ方式AF演算部５８の何れか一方が、AF方式判定部５９の指示に従ってデフォーカス量を算出する例について説明した。しかし、パッシブ方式またはアクティブ方式が選択される前に、それぞれの方式でデフォーカス量を算出しておき、AF方式判定部５９がパッシブ方式またはアクティブ方式を選択した後、選択された方式で求められたデフォーカス量を出力するようにしてもよい。
【０１５５】
そのような場合、撮像装置１１は、図７に示すように構成される。なお、図７において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１５６】
図７に示す撮像装置１１は、光学部２１、撮像素子２２、画像処理部２３、画像メモリ２４、レンズ駆動部２５、レンズ位置検出部２６、絞り駆動部２７、シャッタ駆動部２８、制御部２９、発光部３０、操作部３１、表示部３２、および記録メディア３３から構成される。
【０１５７】
図１に示す撮像装置１１では、AF方式判定部５９がパッシブ方式AF演算部５７またはアクティブ方式AF演算部５８にデフォーカス量の算出を指示し、その指示に応じて算出されたデフォーカス量が、パッシブ方式AF演算部５７またはアクティブ方式AF演算部５８からAF方式判定部５９に供給されていた。
【０１５８】
これに対して、図７に示す撮像装置１１では、パッシブ方式AF演算部５７およびアクティブ方式AF演算部５８で算出されたデフォーカス量がそれぞれAF方式判定部５９に供給される。そして、AF方式判定部５９は、パッシブ方式かアクティブ方式かの選択結果に応じて、それらのデフォーカス量の何れか一方をレンズ制御部５４に供給する。
【０１５９】
〈撮像装置の構成例〉
次に、図８のフローチャートを参照して、図７に示した撮像装置１１により行われる撮影処理について説明する。
【０１６０】
なお、ステップＳ５１乃至ステップＳ５４の処理は、図４のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。
【０１６１】
ステップＳ５４の処理で露出制御が行われると、ステップＳ５５において、パッシブ方式AF演算部５７は、パッシブ方式でデフォーカス量を算出する。
【０１６２】
すなわち、撮像画像処理部５２は、撮像画像の各領域におけるコントラストの強さを示す値を、撮像画像のコントラストに応じた評価値として算出し、パッシブ方式AF演算部５７に供給する。パッシブ方式AF演算部５７は、撮像画像処理部５２から供給された評価値に基づいて、光学部２１を構成するフォーカスレンズのデフォーカス量を算出し、AF方式判定部５９に供給する。
【０１６３】
パッシブ方式によりデフォーカス量が算出されると、その後、ステップＳ５６乃至ステップＳ５９の処理が行われて、アクティブ方式によりデフォーカス量が算出される。
【０１６４】
すなわち、ステップＳ５６において、AF方式判定部５９は、発光部３０を発光させるための発光ON信号を発光制御部６０に供給するとともに、アクティブ方式AF演算部５８は、発光部３０を発光させるためのタイミング信号を発光制御部６０に供給する。
【０１６５】
そして、発光制御部６０は、AF方式判定部５９からの発光ON信号と、アクティブ方式AF演算部５８からのタイミング信号に基づいて発光部３０による発光を制御する。発光部３０は、発光制御部６０の制御に従って発光し、被写体Ｈ１１に照射光を照射する。
【０１６６】
ステップＳ５７において、撮像素子２２は、光学部２１を介して被写体Ｈ１１から入射した照射光を受光して光電変換することで、距離画像を取得する。より詳細には、撮像素子２２は、取得した画像を画像処理部２３に供給し、画像分離部５１は撮像素子２２から供給された画像から距離画像を抽出して距離画像処理部５３に供給する。
【０１６７】
また、距離画像処理部５３は、画像分離部５１から供給された距離画像の各画素の輝度値の時間方向の変化に基づいて、各画素の距離情報、すなわち受光タイミングを求め、アクティブ方式AF演算部５８に供給する。
【０１６８】
ステップＳ５８において、アクティブ方式AF演算部５８は、距離画像処理部５３から供給された受光タイミングと、発光制御部６０で制御する発光部３０の発光タイミングとに基づいて、デプスマップを生成する。
【０１６９】
ステップＳ５９において、アクティブ方式AF演算部５８は、アクティブ方式でフォーカスレンズのデフォーカス量を算出する。具体的には、アクティブ方式AF演算部５８は、生成したデプスマップに基づいて、目的とする被写体までの距離を求めてデフォーカス量を算出し、AF方式判定部５９に供給する。
【０１７０】
ステップＳ６０において、AF方式判定部５９は、撮像画像処理部５２から供給された輝度レベルと、予め設定された閾値ｔｈとを比較して、輝度レベルが閾値ｔｈを超えたか否かを判定する。
【０１７１】
ステップＳ６０において、輝度レベルが閾値ｔｈを超えたと判定された場合、ステップＳ６１において、AF方式判定部５９は、パッシブ方式で算出したデフォーカス量、すなわちパッシブ方式AF演算部５７により算出されたデフォーカス量を選択する。そして、AF方式判定部５９は、パッシブ方式AF演算部５７から供給されたデフォーカス量をレンズ制御部５４に供給し、処理はステップＳ６３に進む。
【０１７２】
これに対して、ステップＳ６０において、輝度レベルが閾値ｔｈ以下であると判定された場合、ステップＳ６２において、AF方式判定部５９は、アクティブ方式で算出したデフォーカス量、すなわちアクティブ方式AF演算部５８により算出されたデフォーカス量を選択する。そして、AF方式判定部５９は、アクティブ方式AF演算部５８から供給されたデフォーカス量をレンズ制御部５４に供給し、処理はステップＳ６３に進む。
【０１７３】
ステップＳ６１またはステップＳ６２の処理が行われると、その後、ステップＳ６３およびステップＳ６４の処理が行われて撮影処理は終了するが、これらの処理は図４のステップＳ１８およびステップＳ２４と同様であるので、その説明は省略する。
【０１７４】
以上のようにして、撮像装置１１はパッシブ方式とアクティブ方式でデフォーカス量を算出するとともに、撮像画像の輝度レベルと閾値とを比較して、その比較結果に応じて、パッシブ方式またはアクティブ方式の何れかの方式で算出されたデフォーカス量を選択する。そして、撮像装置１１は選択されたデフォーカス量に基づいてオートフォーカスを実行し、撮影を行う。
【０１７５】
これにより、撮影環境の明るさに応じて、自動的に最適なオートフォーカス方式が採用されるため、どのような撮影環境下においても高速で高精度なオートフォーカス動作を実現することが可能となる。すなわち、より高速で高精度に被写体に合焦することができる。
【０１７６】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
【０１７７】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７８】
コンピュータにおいて、ＣＰＵ５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１７９】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１８０】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１８１】
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８２】
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８３】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１８４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８５】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１８７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８９】
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１９０】
さらに、本技術は、以下の構成とすることも可能である。
【０１９１】
（１）
撮影環境の輝度レベルを検出する検出部と、
前記輝度レベルと予め定めた閾値とを比較して、パッシブ方式によるオートフォーカス、またはアクティブ方式によるオートフォーカスの何れか一方を選択する方式判定部と
を備える撮像装置。
（２）
前記パッシブ方式によりオートフォーカスにおけるレンズの移動量を算出するパッシブ方式演算部と、
前記アクティブ方式によりオートフォーカスにおける前記レンズの移動量を算出するアクティブ方式演算部と
をさらに備える（１）に記載の撮像装置。
（３）
前記方式判定部によって選択された方式により、オートフォーカスにおけるレンズの移動量を算出する演算部をさらに備える
（１）に記載の撮像装置。
（４）
前記検出部は、被写体を撮影して得られた撮像画像に基づいて、前記撮像画像の平均輝度、または前記撮像画像における、撮影しようとする前記被写体が含まれている領域の平均輝度を前記輝度レベルとして算出する
（２）に記載の撮像装置。
（５）
前記方式判定部は、前記輝度レベルが前記閾値よりも大きい場合、前記パッシブ方式によるオートフォーカスを選択し、前記輝度レベルが前記閾値以下である場合、前記アクティブ方式のオートフォーカスを選択する
（４）に記載の撮像装置。
（６）
前記被写体に対して照射光を射出する発光部と、
前記被写体で反射された前記照射光を受光して得られた距離画像に基づいて、前記照射光の受光タイミングを検出する距離画像処理部と
をさらに備え、
前記アクティブ方式演算部は、前記照射光の発光タイミングと前記受光タイミングとに基づいて、前記アクティブ方式による前記レンズの移動量を算出する
（４）または（５）に記載の撮像装置。
（７）
前記パッシブ方式演算部は、前記撮像画像に基づいて、前記パッシブ方式による前記レンズの移動量を算出する
（４）乃至（６）の何れか一項に記載の撮像装置。
（８）
前記検出部は、前記撮像画像のフレームごとに前記輝度レベルを検出する
（４）乃至（７）の何れか一項に記載の撮像装置。
（９）
撮影環境の輝度レベルを検出し、
パッシブ方式によりオートフォーカスにおけるレンズの移動量を算出し、
アクティブ方式によりオートフォーカスにおける前記レンズの移動量を算出し、
前記輝度レベルと予め定めた閾値とを比較して、前記パッシブ方式によるオートフォーカス、または前記アクティブ方式によるオートフォーカスの何れか一方を選択する
ステップを含む撮像方法。
（１０）
撮影環境の輝度レベルを検出し、
パッシブ方式によりオートフォーカスにおけるレンズの移動量を算出し、
アクティブ方式によりオートフォーカスにおける前記レンズの移動量を算出し、
前記輝度レベルと予め定めた閾値とを比較して、前記パッシブ方式によるオートフォーカス、または前記アクティブ方式によるオートフォーカスの何れか一方を選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１９２】
１１  撮像装置，  ２１  光学部，  ２２  撮像素子，  ２９  制御部，  ５１  画像分離部，  ５２  撮像画像処理部，  ５３  距離画像処理部，  ５７  パッシブ方式AF演算部，  ５８  アクティブ方式AF演算部，  ５９  AF方式判定部，  ６０  発光制御部
【図１】
2015083539.tif 000003
【図２】
2015083539.tif 000004
【図３】
2015083539.tif 000005
【図４】
2015083539.tif 000006
【図５】
2015083539.tif 000007
【図６】
2015083539.tif 000008
【図７】
2015083539.tif 000009
【図８】
2015083539.tif 000010
【図９】
2015083539.tif 000011
【国際調査報告】
2015083539.tif 000012
2015083539.tif 000013