(57)【特許請求の範囲】
【請求項１】
複数枚の画像信号を取得する撮像装置において、
予め撮像した画像信号から被写体を認識する被写体認識手段と、
前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記被写体焦点設定手段は、
前記被写体認識手段で認識した各被写体の焦点距離を算出する距離算出手段と、目標の被写界深度を設定する目標深度設定手段と、を有し、
前記距離算出手段で算出した焦点距離間の最大値が前記目標深度設定手段で設定した目標被写界深度を満たすように、少なくとも前記距離算出手段で算出した焦点距離を含む複数の焦点距離を設定する、ことを特徴とする撮像装置。
【請求項２】
複数枚の画像信号を取得する撮像装置において、
複数の焦点距離を設定する焦点設定手段と、
前記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記焦点設定手段は、
目標の被写界深度を設定する目標深度設定手段を有し、
前記目標深度設定手段にて設定した目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする撮像装置。
【請求項３】
複数枚の画像信号を取得する撮像装置において、
予め撮像した画像信号から被写体を認識する被写体認識手段と、
前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記表示制御手段は、
表示フレームレートを設定するフレームレート設定手段を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする撮像装置。
【請求項４】
複数枚の画像信号を取得する撮像装置において、
複数の焦点距離を設定する焦点設定手段と、
前記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記表示制御手段は、
表示フレームレートを設定するフレームレート設定手段を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする撮像装置。
【請求項５】
前記焦点距離の変化に対して、画角が変化しないよう補正する補正手段をさらに備えたことを特徴とする請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記被写体焦点設定手段は、
前記被写体認識手段で認識した前記被写体の位置に前記焦点距離を設定する焦点距離設定手段と、
設定する焦点距離の数を前記被写体の数を用いて設定する焦点数設定手段と、を有することを特徴とする請求項１または３に記載の撮像装置。
【請求項７】
前記焦点設定手段は、
各焦点距離における被写界深度を算出する被写界深度算出手段をさらに有し、
前記目標深度設定手段にて設定した前記目標の被写界深度と前記被写界深度算出手段で算出した各焦点距離における被写界深度とを用いて焦点距離及びその数を設定する、ことを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記焦点設定手段は、前記撮像装置の光学系の絞り値を検出する絞り値検出手段をさらに有し、
前記被写界深度算出手段は、各焦点距離における被写界深度を、前記絞り値検出手段にて検出した絞り値を用いて算出する、ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
複数枚の画像信号を取得する際に、
予め撮像した画像信号から被写体を認識する手順と、
前記被写体の認識結果を用いて複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された複数枚の画像信号を連続的に表示するよう制御する手順と、
を備え、
前記複数の焦点距離を設定する手順は、
前記被写体を認識する手順で認識した各被写体の焦点距離を算出する手順と、目標の被写界深度を設定する手順と、を有し、
前記各被写体の焦点距離間の最大値が前記目標の被写界深度を満たすように、少なくとも前記各被写体の焦点距離を含む複数の焦点距離を設定する、ことを特徴とする撮像方法。
【請求項１０】
複数枚の画像信号を取得する際に、
複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された複数枚の画像信号を連続的に表示するよう制御する手順と、
を備え、
前記複数の焦点距離を設定する手順は、
目標の被写界深度を設定する手順を有し、
前記目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする撮像方法。
【請求項１１】
複数枚の画像信号を取得する際に、
予め撮像した画像信号から被写体を認識する手順と、
前被写体の認識結果を用いて複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する手順と、
を備え、
前記画像信号を連続的に表示するよう制御する手順は、
表示フレームレートを設定する手順を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする撮像方法。
【請求項１２】
複数枚の画像信号を取得する際に、
複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する手順と、
を備え、
前記画像信号を連続的に表示するよう制御する手順は、
表示フレームレートを設定する手順を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする撮像方法。
【請求項１３】
複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
予め撮像した画像信号から被写体を認識する被写体認識手段、
前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記被写体焦点設定手段として機能させる際に、
前記コンピュータを、前記認識した各被写体の焦点距離を算出する距離算出手段、目標の被写界深度を設定する目標深度設定手段、として機能させ、
前記各被写体の焦点距離間の最大値が前記目標の被写界深度を満たすように、少なくとも前記各被写体の焦点距離を含む複数の焦点距離を設定する、ことを特徴とするプログラム。
【請求項１４】
複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の焦点距離を設定する焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記焦点設定手段として機能させる際に、
前記コンピュータを、目標の被写界深度を設定する目標深度設定手段として機能させ、
前記目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とするプログラム。
【請求項１５】
複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
予め撮像した画像信号から被写体を認識する被写体認識手段、
前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記表示制御手段として機能させる際に、
前記コンピュータを、表示フレームレートを設定するフレームレート設定手段として機能させ、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とするプログラム。
【請求項１６】
複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の焦点距離を設定する焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記表示制御手段として機能させる際に、
前記コンピュータを、表示フレームレートを設定するフレームレート設定手段として機能させ、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を取得する撮像装置及び撮像方法、並びに、コンピュータにそのような撮像装置の手順を実行させるプログラムに関する。
【背景技術】
【０００２】
従来、近距離から遠距離までピントの合った被写界深度の深い画像信号を得るために、例えば、異なる焦点距離で撮像した画像信号を複数枚合成するといった被写界深度拡大処理が行なわれている。しかし、この被写界深度拡大処理では、複数枚の画像信号の位置合わせ処理や合成処理等での処理時間がかかっていた。
【０００３】
そこで、例えば、特許文献１においては、Ｒの画像情報をＦＦＴ演算部の実数部、Ｂの画像情報をＦＦＴ演算部の虚数部、Ｂの画像情報をＦＦＴ演算部の実数部、その虚数部には０を入力して演算を行なうことで、処理時間を短縮化を図っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−６４７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に開示されている手法を採ったとしても、処理時間の短縮化は不十分であるため、動画等のリアルタイム性を要するものには適さないという問題があった。
【０００６】
また、複雑な手ブレが発生している場合や被写体が動いている場合等においては、正しい位置合わせ処理が行なわれず、アーティファクトが発生するという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、位置合わせや合成等の処理時間を抑えることができ、且つ、アーティファクトを発生させずに、被写界深度を拡大できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置の一態様は、複数枚の画像信号を撮像する撮像装置において、
予め撮像した画像信号から被写体を認識する被写体認識手段と、
前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記被写体焦点設定手段は、
前記被写体認識手段で認識した各被写体の焦点距離を算出する距離算出手段と、目標の被写界深度を設定する目標深度設定手段と、を有し、
前記距離算出手段で算出した焦点距離間の最大値が前記目標深度設定手段で設定した目標被写界深度を満たすように、少なくとも前記距離算出手段で算出した焦点距離を含む複数の焦点距離を設定する、ことを特徴とする。
【０００９】
また、本発明の撮像装置の別の態様は、複数枚の画像信号を取得する撮像装置において、
複数の焦点距離を設定する焦点設定手段と、
前記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記焦点設定手段は、
目標の被写界深度を設定する目標深度設定手段を有し、
前記目標深度設定手段にて設定した目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする。
さらに、本発明の撮像装置の別の態様は、複数枚の画像信号を取得する撮像装置において、
予め撮像した画像信号から被写体を認識する被写体認識手段と、
前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記表示制御手段は、
表示フレームレートを設定するフレームレート設定手段を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
さらにまた、本発明の撮像装置の別の態様は、複数枚の画像信号を取得する撮像装置において、
複数の焦点距離を設定する焦点設定手段と、
前記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記表示制御手段は、
表示フレームレートを設定するフレームレート設定手段を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
【００１０】
本発明の撮像方法の一態様は、複数枚の画像信号を取得する際に、
予め撮像した画像信号から被写体を認識する手順と、
前記被写体の認識結果を用いて複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された複数枚の画像信号を連続的に表示するよう制御する手順と、
を備え、
前記複数の焦点距離を設定する手順は、
前記被写体を認識する手順で認識した各被写体の焦点距離を算出する手順と、目標の被写界深度を設定する手順と、を有し、
前記各被写体の焦点距離間の最大値が前記目標の被写界深度を満たすように、少なくとも前記各被写体の焦点距離を含む複数の焦点距離を設定する、ことを特徴とする。
【００１１】
また、本発明の撮像方法の別の態様は、複数枚の画像信号を取得する際に、
複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された複数枚の画像信号を連続的に表示するよう制御する手順と、
を備え、
前記複数の焦点距離を設定する手順は、
目標の被写界深度を設定する手順を有し、
前記目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする。
さらに、本発明の撮像方法の別の態様は、複数枚の画像信号を取得する際に、
予め撮像した画像信号から被写体を認識する手順と、
前被写体の認識結果を用いて複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する手順と、
を備え、
前記画像信号を連続的に表示するよう制御する手順は、
表示フレームレートを設定する手順を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
さらにまた、本発明の撮像方法の別の態様は、複数枚の画像信号を取得する際に、
複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する手順と、
を備え、
前記画像信号を連続的に表示するよう制御する手順は、
表示フレームレートを設定する手順を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
【００１２】
本発明のプログラムの一態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
予め撮像した画像信号から被写体を認識する被写体認識手段、
前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得する画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記被写体焦点設定手段として機能させる際に、
前記コンピュータを、前記認識した各被写体の焦点距離を算出する距離算出手段、目標の被写界深度を設定する目標深度設定手段、として機能させ、
前記各被写体の焦点距離間の最大値が前記目標の被写界深度を満たすように、少なくとも前記各被写体の焦点距離を含む複数の焦点距離を設定する、ことを特徴とする。
【００１３】
また、本発明のプログラムの別の態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の焦点距離を設定する焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得する画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記焦点設定手段として機能させる際に、
前記コンピュータを、目標の被写界深度を設定する目標深度設定手段として機能させ、
前記目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする。
さらに、本発明のプログラムの別の態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
予め撮像した画像信号から被写体を認識する被写体認識手段、
前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記表示制御手段として機能させる際に、
前記コンピュータを、表示フレームレートを設定するフレームレート設定手段として機能させ、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
さらにまた、本発明のプログラムの別の態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の焦点距離を設定する焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記表示制御手段として機能させる際に、
前記コンピュータを、表示フレームレートを設定するフレームレート設定手段として機能させ、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。
【図２】図２は、撮像した複数枚の画像信号の表示順序を説明するための図である。
【図３】図３は、図１中の被写体焦点設定部の構成を示す図である。
【図４】図４は、第１実施形態における被写体の位置に基づく焦点距離の設定方法を説明するための図である。
【図５】図５は、本発明の第１実施形態に係るプログラムのフローチャートを示す図である。
【図６】図６は、本発明の第２実施形態に係る撮像装置の構成を示す図である。
【図７】図７は、図６中の焦点設定部の構成を示す図である。
【図８】図８は、第２実施形態における焦点距離及びその数の設定方法の一例を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態を図面を参照して説明する。
【００１７】
［第１実施形態］  
図１に示すように、本発明の第１実施形態に係る撮像装置は、画像処理を行う画像処理システム１００と画像を表示する表示部７を備えている。  
画像システム１００は、画像撮像部１と、Ａ／Ｄ変換等を行う前処理部２と、画像信号を用いて画像から被写体を認識する被写体認識部３と、上記被写体認識部の認識結果を用いて複数の焦点距離を設定する被写体焦点設定部４と、表示制御部６に焦点設定情報を転送する制御部５と、複数枚画像の表示を制御する表示制御部６と、複数枚画像の画角を補正する画角補正部８と、を備えている。  
画像撮像部１は、被写体像を結像するためのレンズ系１1と、このレンズ系１１が結像する光学的な被写体像を光電変換して電気的な画像信号を生成する撮像系１２と、上記レンズ系１１等の駆動を制御するレンズ駆動制御１３と、を有している。
【００１８】
画像撮像部１の撮像系１２は、前処理部２へ接続している。前処理部２は、被写体認識部３及び表示部７へ接続している。被写体認識部３は、被写体焦点設定部４へ接続している。被写体焦点設定部４は制御部５に接続されている。制御部５は、画像撮像部１内のレンズ駆動装置１３及び表示制御部６に双方向に接続されている。表示制御部６は、表示部７へ接続している。画角補正部８は表示制御部６に双方向に接続されている。
【００１９】
レンズ系１１は、撮像系１２に像を結像させる。撮像系１２は、画像信号を取得し、前処理部２に転送する。前処理部２は、取得された画像信号をＡ／Ｄ変換等の処理をした後、被写体認識部３に転送する。被写体認識部３は、画像信号から被写体を認識し、被写体数、被写体位置情報を被写体焦点設定部４へ転送する。ここでの被写体認識は、公知の顔認識や物体認識等、何でも良い。被写体焦点設定部４は、本実施形態においては、この被写体認識部３で認識した被写体数ごと焦点距離を設定する。すなわち被写体焦点距離設定部４は、被写体の数に応じて焦点距離を設定する。制御部５は、被写体焦点距離設定部４により設定された焦点距離情報を画像撮像部１のレンズ駆動装置１３へ転送する。レンズ駆動装置１３は、転送された焦点距離に合焦するようにレンズ系１１を駆動する。レンズ駆動部１３は、レンズ系１１の代わりに撮像系１２を駆動しても良い。撮像系１２は、これらの駆動が行われる都度、画像信号を取得する。結果として撮像系１２は、各焦点距離に合焦した複数の画像信号を取得する。なお、被写体認識部３は、被写体認識を駆動毎に行なう必要はない。被写体認識部３は、静止画の場合、被写体認識を最初の１回のみ行い、動画の場合、任意の駆動数に対して１回の割合で被写体認識を行っても良い。
【００２０】
前処理部２は、このようにして得られた複数の画像信号をＡ／Ｄ変換し、表示制御部６に転送する。表示制御部６は、得られた複数枚の画像信号が連続的に表示されるよう制御する。表示制御部６は、静止画像の場合、得られた複数枚の画像信号を動画像のように一定のフレームレートで連続的に表示するよう制御する。一方、動画像の場合、元の動画像の１フレームに対して静止画と同様の処理を施すため、静止画像に比べて更に高いフレームレートが必要となる。表示制御部６は、被写体焦点設定部４から転送された焦点距離の数を基に表示部７での表示フレームレートを制御する。一般的に、表示制御部６は、焦点距離の数に比例してフレームレートは高くなるようにフレームレートを設定する。
【００２１】
画角補正部８は、表示制御部６から転送された全ての画像信号の画角が同様になるよう補正する。この画角補正部８における画角補正の手段としては、テレセントリック光学系等を用いて画角が一定となるようにする方法や、デジタル信号処理で拡大・縮小を行い、画角補正を行なう方法などが挙げられる。表示部７は、画角補正部８にて画角が補正された複数の画像を表示する。なお、本実施形態では、撮像装置は表示部７を備えていたが、表示部のみがデジタルフォトフレームのように別体であってもよい。
【００２２】
なお、表示部７での複数枚の画像信号の切り換え表示方法は、動画像の場合、画像信号の撮像を行ないながら表示するため、図２の（１）で示されているように、撮像順（時系列）に沿って繰り返し連続的に表示させる、もしくは、図２の（２）のように、最新の画像信号まで順方向の撮像順に表示後、時間を遡って、つまり逆方向の撮像順に表示させる、などの順序がある。静止画の場合、上記の方法以外にも、撮像後に撮像順とは異なるランダムの並び順で表示させても良い。
【００２３】
このように、認識した被写体の位置に複数の焦点距離を合わせて撮像することで、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。そして、それら複数枚の画像信号を高速に切り換え表示すると、人間の目には、近距離に存在する被写体から遠距離に存在する被写体までピントの合った被写界深度の深い画像信号として認識される。従って、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができる。
【００２４】
以下、図１の撮像装置における各部の詳細を説明する。  
図３は、被写体焦点設定部４の構成の一例を示す図である。この被写体焦点設定部４は、被写体の位置を用いて画像信号を取得する焦点距離及びその数を設定する機能を有しており、焦点距離設定部４１、焦点数設定部４２、被写体深度算出部４３、距離算出部４４、比較部４５、算出部４６、及び目標深度設定部４７から成る。
【００２５】
上記被写体認識部３は、焦点距離設定部４１、焦点数設定部４２、被写体深度算出部４３、及び距離算出部４４へ接続している。被写体深度算出部４３及び距離算出部４４は、比較部４５へ接続している。比較部４５は、算出部４６へ接続しており、算出部４６は、焦点距離設定部４１及び焦点数設定部４２に接続している。目標深度設定部４７は、比較部４５、算出部４６及び制御部５に双方向で接続されている。また、算出部４６は、制御部５に双方向で接続されている。そして、焦点距離設定部４１及び焦点数設定部４２は、上記制御部５に双方向で接続されている。
【００２６】
このような被写体焦点設定部４においては、上記被写体認識部３による被写体の認識結果を用いて、焦点距離設定部４１にて、画像信号を取得する焦点距離を決定すると共に、焦点数設定部４２にて、画像信号を取得する焦点距離の数を決定する。例えば、被写体認識部３にて３つの被写体が認識された場合には、焦点距離設定部４１は、図４（Ａ）に示すように画像信号を取得する焦点距離としてｆ１，ｆ２，ｆ３を決定し、焦点数設定部４２は、焦点距離の数を「３」と決定する。制御部５は、この決定した各焦点距離とその数に基づいて画像撮像部１及び表示制御部６を制御することとなる。
【００２７】
図４（Ａ）に示すように被写体が多くある場合、焦点距離とその数は被写体認識部３にて認識した被写体の位置とその数として設定すれば良い。しかしながら、このような認識した被写体位置と数のみに基づく単純な制御だけでは不十分な場合がある。例えば、図４（Ｂ）に示すような光軸方向に複数の被写体が離れて存在する場合には、各焦点距離ｆ１，ｆ２での被写界深度を越えてしまうために、被写体間にボケが観察されてしまうこととなる。逆に、被写体が一つ、或いは図４（Ｃ）に示すように、光軸方向に複数の被写体が近接して存在する場合には、複数の被写体の焦点距離ｆ１，ｆ２が一つの焦点距離ｆｉでの被写界深度に納まってしまうために、被写界深度拡大の効果をもたらすことができない。
【００２８】
そこで、図４（Ｂ）に示すような各被写体間にボケが観察されてしまうような場合には、被写体間の任意の位置に焦点距離を設定するようにしても良い。本実施形態では、そのために、上記被写体認識部３による被写体の認識結果を用いて、被写体深度算出部４３にて、各被写体位置での被写界深度を算出すると共に、距離算出部４４にて、各被写体位置の焦点距離を算出して、各被写体間の焦点距離差を算出する。なお、距離算出部４４での被写体の距離取得の方法は、センサを用いる等、別の手法で求めても構わない。そして、比較部４５にて、それら算出した各被写界深度と焦点距離差とを比較することで、各被写体間にボケが観察されることとなるか否かを確認する。即ち、各被写体間にボケが観察されるか否かを判定する際の条件式の一例として以下の（１）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該被写体焦点設定部４を構成しても構わない。
【００２９】
【数１】
0005638890.tif 000002
【００３０】
但し、上記（１）式において、ｆｉは任意の設定した焦点距離であり、ｄは被写体深度算出部４３で得られる各被写体位置の被写界深度から算出するある所定の目標被写界深度である。
【００３１】
ここで、各被写体間にボケが観察されると判定された場合には、算出部４６にて、上記（１）式を満たすように、被写体位置に設定した焦点距離ｆ１，ｆ２の他に、上記（１）式を満たさない被写体間に新たな焦点距離ｆ３を算出して、上記焦点距離設定部４１にその算出した新たな焦点距離ｆ３を設定し、焦点数設定部４２にも新たな焦点距離の数を設定する。
【００３２】
また、被写体が一つ又は図４（Ｃ）に示すような光軸方向に複数の被写体が近接して存在するような場合には、被写体の焦点距離よりも短い或いは長い焦点距離を新たに設定しても良い。本実施形態では、そのために、距離算出部４４にて、各焦点距離間の最大値を算出する。そして、比較部４５にて、距離算出部４４で算出した各焦点距離間の最大値と所定の目標被写界深度とを比較することで、各焦点距離間の最大値が目標被写界深度を満たすか否かを確認する。この確認のための条件式の一例として以下の（２）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該被写体焦点設定部４を構成しても構わない。
【００３３】
【数２】
0005638890.tif 000003
【００３４】
但し、上記（２）式において、ｆｍａｘは設定した焦点距離の中で最も長いものを表し、初期値はｘｍａｘであり、ｆｍｉｎは設定した焦点距離の中で最も短いものを表し、初期値はｘｍｉｎである。初期値であるｘｍａｘは被写体までの距離で撮像装置から最も遠いもの、ｘｍｉｎは被写体までの距離で撮像装置から最も近いものを意味する。また、ｄ’は目標被写界深度であり、その値は、被写体深度算出部４３で得られる各被写体位置の被写界深度から算出するある所定の深度とする。この目標被写界深度ｄ’は、各被写体位置の被写界深度の最大値、最小値、平均値などが考えられる。どれを用いるかは事前に決定する必要がある。
【００３５】
ここで、各焦点距離間の最大値が目標被写界深度に満たないと判定された場合には、算出部４６にて、目標被写界深度を満たすように、被写体位置に設定した焦点距離ｆ１，ｆ２の他に新たな焦点距離、図４（Ｃ）の例ではｆ３，ｆ４を算出して、上記焦点距離設定部４１にその算出した新たな焦点距離ｆ３，ｆ４を設定し、焦点数設定部４２にも新たな焦点距離の数を設定する。なお、通常、この新たに設定する焦点距離は、ｆｍｉｎよりも短い、或いはｆｍａｘよりも長い、或いはその両方に設定される。そして、上記（２）式を満たすように焦点距離を配置する必要がある。この場合、被写体の数と設定された焦点距離の数は一致しない。この際の焦点距離及びその数は予め設定しておくか、制御部５を介して設定する等の方法が考えられる。また、この各被写体間は、各被写体位置でもたらされる被写界深度によって深度内と保障され、その合計が目標被写界深度に達することがここでの条件となるが、各被写体位置でもたらされる被写界深度の間にボケが認識されない程度の隙間があっても良い。
【００３６】
このように、上記（２）式によって被写体認識部３にて認識した被写体位置のみによって目標被写界深度あるいは深度拡大効果をもたらすかを確認することができ、確認できないのであれば新たに焦点距離を設定することで、各被写体位置で合焦しても深度拡大とならない場合においても、被写界深度拡大効果をもたらすことができる。
【００３７】
また、上記目標被写界深度ｄ’は、当該撮像装置に予め設定された値、或いはユーザが任意に設定する値としても良い。この場合には、制御部５を介して目標深度設定部４７にて目標被写界深度が設定される。そして、比較部４５にて、距離算出部４４で算出した各焦点距離間の最大値と目標深度設定部４７に設定された目標被写界深度ｄ’とを比較することで、各焦点距離間の最大値が目標被写界深度ｄ’を満たすか否かを確認することとなる。このように目標被写界深度ｄ’が設定されている場合、図４（Ｄ）に示すように、目標被写界深度ｄ’（焦点距離Ｄ１〜焦点距離Ｄ２）を満たすように、且つ、上記（２）式を満たすように、被写体の焦点距離よりも短い或いは長い焦点距離ｆ３，ｆ４，ｆ５，ｆ６を新たに配置する必要がある。
【００３８】
なお、上記被写体認識部３及び被写体焦点設定部４は、独立したハードウェアとして構成した場合を説明したが、制御部５を構成するコンピュータが、上記被写体認識部３及び被写体焦点設定部４の機能を実現するソフトウェアのプログラム実行することによって、上記機能を実現することも可能である。
【００３９】
即ち、図５のフローチャートに示すように、まず、画像撮像部１にて取得した画像信号を読み込み（ステップＳ１１）、その画像信号より被写体を認識する（ステップＳ１２）。そして、認識した各被写体の位置を焦点距離として設定した後（ステップＳ１３）、全ての被写体について焦点距離の設定が行なわれたかを判断する（ステップＳ１４）。ここで、未だ全ての被写体に関して行なわれていない場合には、上記ステップＳ１３に戻って次の被写体に関する処理を行い、また、全ての被写体に関して行われた場合には、次のステップＳ１５へと進む。
【００４０】
即ち、全ての被写体について焦点距離の設定が行なわれたならば、次に、上記（１）式の条件式を用いて、各被写体間にボケが観察されるか否かを判断する（ステップＳ１５）。ここで、上記（１）式の条件式を満たさない場合、つまり、各被写体間にボケが観察される場合には、それらの焦点距離の間に新たな焦点距離を設ける（ステップＳ１６）。ここでは焦点距離の補間を行なっている。また、上記（１）式の条件式を満たす場合、つまり、各被写体間にボケが観察されない場合には、このステップＳ１６はスキップされる。そして、全ての焦点距離間について処理を行なったかを確認する（ステップＳ１７）。ここで、未だ全ての焦点距離間について処理を行っていない場合には、上記ステップＳ１５に戻って次の焦点距離間に関する判断処理を行い、また、全ての焦点距離に関して行われた場合には、次のステップＳ１７へと進む。
【００４１】
即ち、全ての焦点距離間についての確認が行なわれたならば、次に、上記（２）式の条件式を用いて、各焦点距離間の最大値が目標被写界深度を満たすか否かを確認する（ステップＳ１８）。ここで、上記（２）式の条件式を満たさない場合、つまり、各焦点距離間の最大値が目標被写界深度を満たさない場合には、新たな焦点距離を設けた後（ステップＳ１９）、上記ステップＳ１８に戻る。なおこの際、新たに設ける焦点距離は、ｆｍｉｎより小さい値、若しくは、ｆｍａｘより大きい値に設定し、その後ｆｍｉｎ及びｆｍａｘを更新する。ここでの処理は、設定した焦点距離が、目標被写界深度が達成或は被写界深度拡大をもたらすように、焦点距離を新たに設定するものである。
【００４２】
上記ステップＳ１８にて上記（２）式の条件式が満たされた場合、つまり、各焦点距離間の最大値が目標被写界深度を満たす場合には、目標被写界深度が達成或いは被写界深度拡大がもたらされたとして、次のステップＳ２０に進む。即ち、上記のように設定した複数の焦点距離での画像信号を画像撮像部１に取得させ（ステップＳ２０）、それら取得した複数の画像信号の画角を画角補正部８にそれぞれ補正させると共に、設定した焦点距離の数によって表示制御部６にフレームレートを制御させる（ステップＳ２１）。なお、上記画角補正部８及び表示制御部６を設ける代わりに、制御部５を構成するコンピュータが画角補正及びフレームレート制御を行うようにしても良い。そして、補正した複数の画像信号と制御したフレームレートを用いて、表示部７にそれら画像信号を切り換え表示して（ステップＳ２２）、処理を終了とする。
【００４３】
［第２実施形態］  
図６は、本発明の第２実施形態に係る撮像装置の構成を示す図である。なお、この図６において、図１において示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。
【００４４】
本第２実施形態に係る撮像装置は、上記第１実施形態に係る撮像装置における被写体認識部３及び被写体焦点設定部４に代えて、焦点設定部９を備えている。この焦点設定部９へは、上記画像撮像部１及び上記前処理部２が接続している。また、焦点設定部９は、上記制御部５に双方向に接続されている。
【００４５】
図６において、信号の流れを説明する。なお、第１実施形態と重複する説明は省略する。即ち、焦点設定部９は、前処理された画像信号と画像撮像部１より得られる絞り値とを用いて、焦点距離及びその数を設定する。焦点設定部９で設定した焦点距離及びその数は、制御部５を介して画像撮像部１のレンズ駆動装置１３に転送され、レンズ駆動装置１３は、その転送された焦点距離に合焦するように、レンズ系１１を駆動させる。同様に、焦点設定部９で設定した焦点距離の数は、制御部５を介して表示制御部６に転送される。
【００４６】
図７は、上記焦点設定部９の構成の一例を示す図である。この焦点設定部９は、画像信号を取得する焦点距離及びその数を設定する機能を有しており、絞り値検出部９１、深度算出部９２、目標深度設定部９３、及び算出部９４から成る。
【００４７】
上記画像撮像部１及び上記前処理部２は、絞り値検出部９１へ接続している。絞り値検出部９１は、深度算出部９２へ接続しており、深度算出部９２は、目標深度設定部９３及び算出部９４へ接続している。算出部９４は、目標深度設定部９３及び制御部５に双方向で接続されている。目標深度設定部９３は、制御部５に双方向で接続されている。
【００４８】
このような焦点設定部９においては、まず、絞り値検出部９１にて、上記前処理部２からの撮像された画像信号と上記画像撮像部１から得られる情報とに基づいて、絞り値を検出する。そして、深度算出部９２にて、その絞り値検出部９１で検出した絞り値から、各焦点距離での被写界深度を求める。なお、ここでは絞り値を用いているが、被写界深度の算出方法は他の方法でも良い。他の方法を用いた場合、絞り値検出部９１は必要ない。各焦点距離とは、画像撮像部１が取り得る焦点距離内の任意の一つの焦点距離又は任意の複数の焦点距離の各々を意味している。
【００４９】
また、目標深度設定部９３には、予め又は制御部５を介してユーザ指定によって目標被写界深度が設定されている。算出部９４は、その目標深度設定部９３に設定されている目標被写界深度と、上記深度算出部９２にて得られた各焦点距離での被写界深度とを用いて、被写界深度拡大のための画像信号を取得する焦点距離及びその数を算出する。この算出方法の一例を図８に示しており、詳細は後述するが、各焦点距離における被写界深度が重ならないように焦点距離を配置し、配置した焦点距離での被写界深度の合計が目標深度設定部９３で設定される目標深度に等しくなるように、設定する焦点距離の数Ｎを導出する。このように導出した焦点距離及びその数は、制御部５を介して画像撮像部１及びフ表示制御部６に転送される。
【００５０】
このように、被写体の位置とは無関係に設定した複数の焦点距離に焦点を合わせて撮像することで、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。そして、それら複数枚の画像信号を高速に切り換え表示すると、人間の目には、近距離から遠距離までピントの合った被写界深度の深い画像信号として認識される。従って、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができる。
【００５１】
図８は、上記焦点設定部９での焦点距離とその数の設定方法の一例を示す図である。焦点設定部９は、目標の被写界深度ｄ’（焦点距離Ｄ１〜焦点距離Ｄ２）を満たすために焦点距離ｘｉ及びその数Ｎを設定する。得られる各焦点距離における被写界深度ｄ１〜ｄＮが一定値ｄ０であるとすると、焦点距離の数Ｎは、以下の（３）式により得られる。
【００５２】
【数３】
0005638890.tif 000004
【００５３】
また、焦点距離ｘｉは、以下の（４）式により得られる。
【００５４】
【数４】
0005638890.tif 000005
【００５５】
上記の場合は目標の被写界深度を各焦点距離での被写界深度によって隙間なく埋めるよう焦点距離を設定しているが、必ずしも隙間なく埋める必要はない。各焦点距離での被写界深度間に観測者がボケを認識しない程度の多少の隙間があっても問題にならないと考えられる。
【００５６】
また、得られる被写界深度が各焦点距離で一定でない場合（深度算出部９２にて複数の焦点距離での被写界深度を求めた場合）、焦点距離ｘｊでの被写界深度をｄｊとすると、焦点距離の数Ｎは、以下の（５）式を満たすＮである。
【００５７】
【数５】
0005638890.tif 000006
【００５８】
また、焦点距離ｘｉは、以下の（６）式により得られる。
【００５９】
【数６】
0005638890.tif 000007
【００６０】
この場合も上記（３）式及び上記（４）式共に目標の被写界深度を各焦点距離での被写界深度によって隙間なく埋めるよう焦点距離を設定しているが、必ずしも隙間なく埋める必要はない。各焦点距離での被写界深度間に観測者がボケを認識しない程度の多少の隙間があっても問題にならないと考えられる。
【００６１】
なお、本第２実施形態においても、上記第１実施形態の場合と同様に、上記焦点設定部９を独立したハードウェアとして構成する代わりに、制御部５を構成するコンピュータが、上記焦点設定部９の機能を実現するソフトウェアのプログラム実行することによって、上記機能を実現することが可能なことは言うまでもない。
【００６２】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６３】
例えば、上記実施形態では、撮像装置として、デジタルカメラにおけるライブビュー表示や内視鏡診療装置における観察画像表示等、画像撮像部１で撮像した画像を直ちに表示する装置を例に説明したが、複数枚撮像した画像信号を一旦記録しておき、当該装置で後で再生表示するようにしても良いことは言うまでもない。
【００６４】
さらには、撮像装置は複数枚の画像信号を撮像して記録媒体に記録するまでを行い、別の表示装置にてその記録媒体に記録された複数枚の画像信号のフレームレートを（及び必要により画角も）制御して切り換え表示することによっても、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができることは勿論である。
【００６５】
（付記）  
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００６６】
（１）  複数枚の画像信号を取得する撮像装置において、
予め撮像した画像信号から被写体を認識する被写体認識手段と、
上記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
上記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする撮像装置。
【００６７】
（対応する実施形態）
この（１）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。ここで、上記被写体認識手段は被写体認識部３が、上記被写体焦点設定手段は被写体焦点設定部４が、上記画像信号取得手段は画像撮像部１が、上記表示制御手段は表示制御部６が、それぞれ該当する。  
この発明の好ましい適用例は、被写体認識部３にて被写体を認識し、被写体焦点設定部４にて複数の焦点距離をこの被写体認識部３で認識した各被写体に合わせるよう設定し、画像撮像部１にてこの被写体焦点設定部４で設定した複数の焦点距離における画像信号を取得する撮像装置である。
【００６８】
（作用効果）
この（１）に記載の撮像装置は、認識した被写体の位置に複数の焦点距離を合わせて取得する。  
従って、この（１）に記載の撮像装置によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
【００６９】
（２）  複数枚の画像信号を取得する撮像装置において、
複数の焦点距離を設定する焦点設定手段と、
上記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする撮像装置。
【００７０】
（対応する実施形態）
この（２）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。ここで、上記焦点設定手段は焦点設定部９が、上記画像信号取得手段は画像撮像部１が、上記表示制御手段は表示制御部６が、それぞれ該当する。  
この発明の好ましい適用例は、焦点設定部９にて複数の焦点距離を設定し、画像撮像部１にて焦点設定部９で設定された複数の焦点距離における画像信号を取得する撮像装置である。
【００７１】
（作用効果）
この（２）に記載の撮像装置は、焦点設定手段にて設定した複数の焦点距離に焦点を合わせて取得する。  
従って、この（２）に記載の撮像装置によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
【００７２】
（３）  上記画像信号取得手段で取得した上記複数の焦点距離における画像信号を表示する表示手段をさらに備えたことを特徴とする（１）または（２）に記載の撮像装置。
【００７３】
（対応する実施形態）
この（３）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。ここで、上記表示手段は表示部７が該当する。  
この発明の好ましい適用例は、表示部７にて、画像撮像部１で取得した複数の焦点距離における画像信号を表示させる撮像装置である。
【００７４】
（作用効果）
この（３）に記載の撮像装置は、複数の焦点距離に合わせて取得した画像信号を、合成処理や位置合わせ処理を行わずに、切り換え表示する。  
従って、この（３）に記載の撮像装置によれば、それぞれ異なる深度で合焦している複数枚の画像信号を並べるため、被写界深度の深い画像が得られる。
【００７５】
（４）  上記焦点距離の変化に対して、画角が変化しないよう補正する補正手段をさらに備えたことを特徴とする（１）または（２）に記載の撮像装置。
【００７６】
（対応する実施形態）
この（４）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。ここで、上記補正手段は画角補正部８が該当する。  
この発明の好ましい適用例は、画角補正部８にて、画像撮像部１で撮像された複数の画像信号の画角を統一するよう補正する撮像装置である。
【００７７】
（作用効果）
この（４）に記載の撮像装置は、画像信号撮像手段で撮像された複数の画像信号の画角を統一する。  
従って、この（４）に記載の撮像装置によれば、複数の画像信号の画角を統一するため、画像信号を表示させる際に、画角が変動せず高品位な画像が得られる。
【００７８】
（５）  上記被写体焦点設定手段は、
上記被写体認識手段で認識した上記被写体の位置に上記焦点距離を設定する焦点距離設定手段と、
設定する焦点距離の数を上記被写体の数を用いて設定する焦点数設定手段と、
を有することを特徴とする（１）に記載の撮像装置。
【００７９】
（対応する実施形態）
この（５）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。ここで、上記焦点距離設定手段は焦点距離設定部４１が、上記焦点数設定手段は焦点数設定部４２が、それぞれ該当する。  
この発明の好ましい適用例は、焦点距離設定部４１にて被写体認識部３で認識した被写体の位置に焦点距離を合わせるよう設定し、焦点数設定部４２にて設定する焦点距離の数として被写体認識部３で認識した被写体の数を設定する撮像装置である。
【００８０】
（作用効果）
この（５）に記載の撮像装置は、認識した被写体の位置に焦点距離を設定し、その焦点距離の数として被写体の数を設定する。  
従って、この（５）に記載の撮像装置によれば、認識した被写体に合わせて焦点距離を設定するため、画像の各被写体全てに焦点の合った画像が得られる。
【００８１】
（６）  上記被写体焦点設定手段は、
上記被写体認識手段で認識した上記各被写体の焦点距離を算出する距離算出手段と、
目標の被写界深度を設定する目標深度設定手段と、
を有し、
上記距離算出手段で算出した焦点距離間の最大値が上記目標深度設定手段で設定した目標被写界深度を満たすように、少なくとも上記距離算出手段で算出した焦点距離を含む複数の焦点距離を設定する、
ことを特徴とする（１）に記載の撮像装置。
【００８２】
（対応する実施形態）
この（６）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。ここで、上記距離算出手段は距離算出部４４が、上記目標深度設定手段は被写体深度算出部４３又は目標深度設定部４７が、それぞれ該当する。
【００８３】
この発明の好ましい適用例は、距離算出部４４にて被写体認識部３において認識された被写体の焦点距離を求め、目標深度設定部４７にて設定されている目標被写界深度に対して、その設定した焦点距離間の最大値が満たすように、少なくとも距離算出部４４で算出した焦点距離を含む複数の焦点距離を設定する撮像装置である。
【００８４】
（作用効果）
この（６）に記載の撮像装置は、認識した被写体の位置に基づいて設定される焦点距離に加えて、それら設定した焦点距離間の最大値が目標被写界深度を満たすように、さらに焦点距離を設定する。  
従って、この（６）に記載の撮像装置によれば、被写体の位置の他に新たに焦点距離を設定しているため、被写体の位置だけでは深度拡大しない場合においても被写界深度の深い画像を得ることができる。また、被写体位置に合焦しつつ、目標被写界深度を満たすような画像を得ることができる。
【００８５】
（７）  上記焦点設定手段は、
目標の被写界深度を設定する目標深度設定手段を有し、
上記目標深度設定手段にて設定した目標の被写界深度を用いて焦点距離及びその数を設定する、
ことを特徴とする（２）に記載の撮像装置。
【００８６】
（対応する実施形態）
この（７）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。ここで、上記目標深度設定手段は目標深度設定部９３が該当する。  
この発明の好ましい適用例は、目標深度設定部９３にて設定した目標深度を用いて、焦点距離及びその数を決定する撮像装置である。
【００８７】
（作用効果）
この（７）に記載の撮像装置は、設定した目標深度を用いて焦点距離及びその数を決定する。  
従って、この（７）に記載の撮像装置によれば、設定した目標深度を用いることで、焦点距離を効率良く設定することができる。
【００８８】
（８）  上記焦点設定手段は、
各焦点距離における被写界深度を算出する被写界深度算出手段をさらに有し、
上記目標深度設定手段にて設定した上記目標の被写界深度と上記被写界深度算出手段で算出した各焦点距離における被写界深度とを用いて焦点距離及びその数を設定する、
ことを特徴とする（７）に記載の撮像装置。
【００８９】
（対応する実施形態）
この（８）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。ここで、上記被写界深度算出手段は深度算出部９２が該当する。  
この発明の好ましい適用例は、深度算出部９２にて各焦点距離での被写界深度を算出し、目標深度設定部９３にて目標の被写界深度を設定し、算出部９４にて深度算出部９２で算出した各焦点距離での被写界深度と目標深度設定部９３で設定した目標被写界深度とを用いて、焦点距離及びその数を決定する撮像装置である。
【００９０】
（作用効果）
この（８）に記載の撮像装置は、各焦点距離での被写界深度と設定した目標被写界深度とを用いて焦点距離及びその数を決定する。  
従って、この（８）に記載の撮像装置によれば、各焦点距離での被写界深度と設定した目標被写界深度を用いることで、焦点距離を効率良く設定することができ、処理時間を短縮することができる。
【００９１】
（９）  上記焦点設定手段は、上記撮像装置の光学系の絞り値を検出する絞り値検出手段をさらに有し、
上記被写界深度算出手段は、各焦点距離における被写界深度を、上記絞り値検出手段にて検出した絞り値を用いて算出する、
ことを特徴とする（８）に記載の撮像装置。
【００９２】
（対応する実施形態）
この（９）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。ここで、上記絞り値検出手段は絞り値検出部９１が該当する。  
この発明の好ましい適用例は、絞り値検出部９１にて画像撮像部１での絞り値を算出し、深度算出部９２にて絞り値検出部９１で算出した絞り値を用いて各焦点距離での被写界深度を算出し、目標深度設定部９３にて目標の被写界深度を設定し、算出部９４にて深度算出部９２で算出した各焦点距離での被写界深度と目標深度設定部９３で設定した目標被写界深度とを用いて、焦点距離及びその数を決定する撮像装置である。
【００９３】
（作用効果）
この（９）に記載の撮像装置は、絞り値を用いて得られた各焦点距離での被写界深度と設定した目標被写界深度とを用いて焦点距離及びその数を決定する。  
従って、この（９）に記載の撮像装置によれば、各焦点距離での被写界深度と設定した目標被写界深度とを用いることで、焦点距離を効率良く設定することができ、処理時間を短縮することができる。
【００９４】
（１０）  上記表示制御手段は、表示フレームレートを設定するフレームレート設定手段を有し、
上記フレームレートは、設定した焦点距離の数に応じて制御する、
ことを特徴とする（３）に記載の撮像装置。
【００９５】
（対応する実施形態）
この（１０）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。ここで、上記フレームレート設定手段は表示制御部６が該当する。  
この発明の好ましい適用例は、表示制御部６にて、表示部７で表示される画像の表示フレームレートを、設定した焦点距離の数に応じて制御する撮像装置である。
【００９６】
（作用効果）
この（１０）に記載の撮像装置は、表示手段で表示される画像信号の表示フレームレートを、設定した焦点距離の数に応じて制御する。  
従って、この（１０）に記載の撮像装置によれば、設定した焦点距離の数に応じて表示フレームレートを制御することから、高品位な画像が得られる。
【００９７】
（１１）  複数枚の画像信号を取得する際に、
予め撮像した画像信号から被写体を認識し、
前記被写体の認識結果を用いて複数の焦点距離を設定し、
前記設定された複数の焦点距離で画像信号を取得し、
取得された複数枚の画像信号を連続的に表示するよう制御する、
ことを特徴とする撮像方法。
【００９８】
（対応する実施形態）
この（１１）に記載の撮像方法に関する実施形態は、第１実施形態が対応する。  
この発明の好ましい適用例は、被写体認識部３にて被写体を認識し、被写体焦点設定部４にて複数の焦点距離をこの被写体認識部３で認識した各被写体に合わせるよう設定し、画像撮像部１にてこの被写体焦点設定部４で設定した複数の焦点距離における画像信号を取得する撮像方法である。
【００９９】
（作用効果）
この（１１）に記載の撮像方法は、認識した被写体の位置に複数の焦点距離を合わせて画像信号を取得する。  
従って、この（１１）に記載の撮像方法によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
【０１００】
（１２）  複数枚の画像信号を撮像する際に、
複数の焦点距離を設定し、
前記設定された複数の焦点距離で画像信号を取得し、
取得された複数枚の画像信号を連続的に表示するよう制御する、
ことを特徴とする撮像方法。
【０１０１】
（対応する実施形態）
この（１２）に記載の撮像方法に関する実施形態は、第２実施形態が対応する。  
この発明の好ましい適用例は、焦点設定部９にて複数の焦点距離を設定し、画像撮像部１にて焦点設定部９で設定された複数の焦点距離における画像信号を取得する撮像方法である。
【０１０２】
（作用効果）
この（１２）に記載の撮像方法は、設定した複数の焦点距離に焦点を合わせて画像信号を取得する。  
従って、この（１２）に記載の撮像方法によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
【０１０３】
（１３）  複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
予め撮像した画像信号から被写体を認識する被写体認識手段、
前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させるためのプログラム。
【０１０４】
（対応する実施形態）
この（１３）に記載のプログラムに関する実施形態は、第１実施形態が対応する。  
この発明の好ましい適用例は、コンピュータに、被写体を認識させ、複数の焦点距離をこの認識した各被写体に合わせるよう設定させ、この設定した複数の焦点距離における画像信号を画像撮像部に取得させるプログラムである。
【０１０５】
（作用効果）
この（１３）に記載のプログラムは、認識した被写体の位置に複数の焦点距離を合わせて画像信号を取得させる。  
従って、この（１３）に記載のプログラムによれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
【０１０６】
（１４）  複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の焦点距離を設定する焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させるためのプログラム。
【０１０７】
（対応する実施形態）
この（１４）に記載のプログラムに関する実施形態は、第２実施形態が対応する。  
この発明の好ましい適用例は、コンピュータに、複数の焦点距離を設定させ、設定された複数の焦点距離における画像信号を画像撮像部に取得させるプログラムである。
【０１０８】
（作用効果）
この（１４）に記載のプログラムは、設定した複数の焦点距離に焦点を合わせて画像信号を取得させる。  
従って、この（１４）に記載のプログラムによれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
【符号の説明】
【０１０９】
１…画像撮像部、  ２…前処理部、  ３…被写体認識部、  ４…被写体焦点設定部、  ５…制御部、  ６…表示制御部、  ７…表示部、  ８…画角補正部、  ９…焦点設定部、  １１…レンズ系、  １２…撮像系、  １３…レンズ駆動装置、  ４１…焦点距離設定部、  ４２…焦点数設定部、  ４３…被写体深度算出部、  ４４…距離算出部、  ４５…比較部、  ４６…算出部、  ４７…目標深度設定部、  ９１…絞り値検出部、  ９２…深度算出部、  ９３…目標深度設定部、  ９４…算出部。
【図１】
0005638890.tif 000008
【図２】
0005638890.tif 000009
【図３】
0005638890.tif 000010
【図４】
0005638890.tif 000011
【図５】
0005638890.tif 000012
【図６】
0005638890.tif 000013
【図７】
0005638890.tif 000014
【図８】
0005638890.tif 000015