"焦点位置を変動させている状態において撮像対象を撮像し、撮像した結果を少なくとも1つの出力画像として出力する撮像装置であって、所定の焦点範囲において異なる焦点位置毎に前記撮像対象を撮像し、撮像した結果を前記出力画像よりも解像度の低い複数のプリキャプチャ画像として出力するプリキャプチャ部と、前記プリキャプチャ部により撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出部と、前記鮮鋭度算出部により算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が所定の閾値以上となるように前記所定の焦点範囲の内の焦点位置変動範囲を決定する変動範囲決定部と、前記変動範囲決定部により決定された前記焦点位置変動範囲に従って、焦点位置を変動させている状態において前記撮像対象を撮像し、撮像した結果を少なくとも1つの前記出力画像として出力する撮像部とを備える撮像装置。さらに、前記撮像部によって出力された少なくとも1つの画像と、予め定められた少なくとも1つの点広がり関数とを用いて、被写界深度が拡大された被写界深度拡大画像を導出する被写界深度拡大画像導出部を備える請求項1に記載の撮像装置。前記変動範囲決定部は、前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、前記複数の領域毎に前記複数のプリキャプチャ画像別の鮮鋭度を比較し、前記複数の領域毎の前記プリキャプチャ画像別の鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を、前記複数の領域毎に取得し、取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定する請求項1または2に記載の撮像装置。前記変動範囲決定部は、前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、取得した前記複数のプリキャプチャ画像毎かつ前記複数の領域毎の鮮鋭度の内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得し、取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定する請求項1または2に記載の撮像装置。前記変動範囲決定部は、取得した前記複数の焦点位置の内で、最小の位置を始点とし、最大の位置を終点とすることにより前記焦点位置変動範囲を決定する請求項3または4に記載の撮像装置。前記変動範囲決定部は、前記取得した複数の焦点位置の内で、所定の連続性を満たす複数の焦点位置から成る焦点位置群における最小の位置を始点とし最大の位置を終点とすることにより前記焦点位置変動範囲を複数決定する請求項3または4に記載の撮像装置。前記撮像部は、決定された前記焦点位置変動範囲の大きさに基づいて、撮像される画像の画素が飽和しないように露光時間を調整し、調整した前記露光時間内に、前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像する請求項1から5のいずれか1項に記載の撮像装置。前記焦点位置変動範囲は、予め定められた露光時間により制限される請求項1から7のいずれか1項に記載の撮像装置。さらに、前記撮像対象における被写体を検出する被写体検出部と、前記検出された前記被写体に基づいて、当該被写体が中心になるように前記撮像対象を撮像した画像の一部の領域である被写体領域を識別する被写体領域識別部とを備え、前記変動範囲決定部は、前記被写体領域識別部により識別された前記被写体領域に基づいて、検出された被写体の信号対雑音比が最大になるように前記焦点位置変動範囲を決定する請求項1から8のいずれか1項に記載の撮像装置。さらに、ユーザによる前記撮像対象における被写体が撮像される領域の選択を受け付ける選択受付部を備え、前記被写体領域識別部は、前記受付部により受け付けられた前記領域の選択に基づいて、前記被写体領域を識別する請求項9に記載の撮像装置。焦点位置を変動させながら撮像対象を撮像し、少なくとも1つの出力画像を出力する撮像方法であって、異なる焦点位置毎に前記撮像対象を撮像し、前記出力画像よりも解像度の低い複数のプリキャプチャ画像を取得するプリキャプチャ画像取得ステップと、前記プリキャプチャ画像取得ステップにより撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出ステップと、前記鮮鋭度算出ステップにより算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が最大になるように焦点位置変動範囲を決定する変動範囲決定ステップと、前記変動範囲決定ステップにより決定された前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像し、少なくとも1つの前記出力画像を出力する撮像ステップとを含む撮像方法。請求項11に記載の撮像方法に含まれるステップをコンピュータに実行させるためのプログラム。焦点位置を変動させながら撮像対象を撮像し、少なくとも1つの出力画像を出力する集積回路であって、異なる焦点位置毎に前記撮像対象を撮像し、前記出力画像よりも解像度の低い複数のプリキャプチャ画像を出力するプリキャプチャ部と、前記プリキャプチャ部により撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出部と、前記鮮鋭度算出部により算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が最大になるように焦点位置変動範囲を決定する変動範囲決定部と、前記変動範囲決定部により決定された前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像し、少なくとも1つの前記出力画像を出力する撮像部とを含む集積回路。本発明の目的は、シーンの画像の被写界深度を拡大するための方法および装置を提案することである。特に、効率的でメモリ使用が少なく、著しいタイムラグがなく、リアルタイムの動作が可能であり、撮像するシーンが未知で予測不可能である場合でも種々のシーンに対して鮮鋭な画像が自動的に得ることができる方法および装置を提供することにある。上記目的を達成するために、本発明の一形態にかかる情報処理装置は、焦点位置を変動させている状態において撮像対象を撮像し、撮像した結果を少なくとも1つの出力画像として出力する撮像装置であって、所定の焦点範囲において異なる焦点位置毎に前記撮像対象を撮像し、撮像した結果を前記出力画像よりも解像度の低い複数のプリキャプチャ画像として出力するプリキャプチャ部と、前記プリキャプチャ部により撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出部と、前記鮮鋭度算出部により算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が所定の閾値以上となるように前記所定の焦点範囲の内の焦点位置変動範囲を決定する変動範囲決定部と、前記変動範囲決定部により決定された前記焦点位置変動範囲に従って、焦点位置を変動させている状態において前記撮像対象を撮像し、撮像した結果を少なくとも1つの前記出力画像として出力する撮像部とを備える。ここで、さらに、前記撮像部によって出力された少なくとも1つの画像と、予め定められた少なくとも1つの点広がり関数とを用いて、被写界深度が拡大された被写界深度拡大画像を導出する被写界深度拡大画像導出部を備えることが好ましい。これによれば、実際に撮像対象を撮像して出力画像を得る前に、撮像対象を異なる焦点位置毎に複数回撮像した結果としてプリキャプチャ画像を得て、複数のプリキャプチャ画像の鮮鋭度を求めている。つまり、複数の焦点位置において撮像されたプリキャプチャ画像の鮮鋭度を予め求めることにより、撮像対象となるシーンにおける被写体の撮像装置に対する位置を把握することができる。これにより、変動範囲決定部は、例えば、撮像対象となるシーンにおいて、鮮鋭度が大きく撮像できる各被写体に対する焦点位置が含まれるように焦点位置変動範囲を自動的に決定することができる。このように、実際に画像を撮像する前に、焦点位置変動範囲を撮像対象となるシーンに応じて自動的に決定することにより、ユーザは、焦点位置変動範囲をシーンに合わせて手動で調整する必要がない。これにより、ユーザは、撮像装置の操作を容易に行うことができ、操作方法を混乱することを低減できる。したがって、撮像されるシーンにおける被写体の撮像装置に対する位置が未知の場合であっても、種々のシーンに対して高品質、鮮鋭、かつクリアであって、被写界深度が拡大された画像を得ることができる。また、焦点位置変動範囲を決定するために取得される複数のプリキャプチャ画像は出力画像よりも低解像度であるため、使用および格納する高解像度画像が少なくて済む。したがって、特許文献1において開示された先行技術の方法のメモリよりも、少ないメモリでよい。さらに、本発明は、タイムラグが少なく、リアルタイムの用途に適用することが可能である。ここで、前記変動範囲決定部は、前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、前記複数の領域毎に前記複数のプリキャプチャ画像別の鮮鋭度を比較し、前記複数の領域毎の前記プリキャプチャ画像別の鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を、前記複数の領域毎に取得し、取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定するとすることが好ましい。これによれば、変動範囲決定部が、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ毎に取得し、複数の領域毎のプリキャプチャ画像別の鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を複数の領域毎に取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。このため、各領域において最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を取得し、取得した焦点位置に基づいて焦点位置変動範囲を決定する。これにより、分割された領域に被写体が存在する場合に、その被写体に対応する焦点位置を取得することができる。つまり、取得した焦点位置が含まれるように焦点位置変動範囲が決定されるため、撮像対象となるシーンに含まれる各被写体に対して鮮鋭度の高い画像を得ることができる。ここで、前記変動範囲決定部は、前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、取得した前記複数のプリキャプチャ画像毎かつ前記複数の領域毎の鮮鋭度の内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得し、取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定するとすることもできる。これによれば、変動範囲決定部が、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、複数のプリキャプチャ毎かつ複数の領域毎の鮮鋭度の内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。このため、少なくとも予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置が含まれるように焦点位置変動範囲が決定される。つまり、鮮鋭度の大きい被写体に対応する焦点位置を取得できるため、撮像対象となるシーンの内で鮮鋭度が大きく撮像される範囲を焦点位置変動範囲として設定することができる。このため、鮮鋭度の高い画像を得ることができる。ここで、前記変動範囲決定部は、取得した前記複数の焦点位置の内で、最小の位置を始点とし、最大の位置を終点とすることにより前記焦点位置変動範囲を決定することが好ましい。ここで、前記変動範囲決定部は、前記取得した複数の焦点位置の内で、所定の連続性を満たす複数の焦点位置から成る焦点位置群における最小の位置を始点とし最大の位置を終点とすることにより前記焦点位置変動範囲を複数決定することもできる。ここで、前記撮像部は、決定された前記焦点位置変動範囲の大きさに基づいて、撮像される画像の画素が飽和しないように露光時間を調整し、調整した前記露光時間内に、前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像することが好ましい。これによれば、焦点位置変動範囲の大きさに応じて画素が飽和しないように露光時間を調整するため、光信号の量が極力多い状態で撮像対象を撮像することができる。つまり、鮮鋭度が高く、高画質でクリアな画像を得ることができる。ここで、前記焦点位置変動範囲は、予め定められた露光時間により制限されることが好ましい。これによれば、予め定められた露光時間に従って焦点位置変動範囲が制限されるため、例えば、光の量が多い場合などに有効である。ここで、さらに、前記撮像対象における被写体を検出する被写体検出部と、前記検出された前記被写体に基づいて、当該被写体が中心になるように前記撮像対象を撮像した画像の一部の領域である被写体領域を識別する被写体領域識別部とを備え、前記変動範囲決定部は、前記被写体領域識別部により識別された前記被写体領域に基づいて、検出された被写体の信号対雑音比が最大になるように前記焦点位置変動範囲を決定することが好ましい。これによれば、被写体領域を識別することにより、被写体領域に絞ってプリキャプチャ画像を評価して、焦点位置変動範囲を変動範囲決定部が決定することができる。このため、当該評価にかかるデータ量を少なくできるため、焦点位置変動範囲を決定する時間を短くすることができる。ここで、さらに、ユーザによる前記撮像対象における被写体が撮像される領域の選択を受け付ける選択受付部を備え、前記被写体領域識別部は、前記受付部により受け付けられた前記領域の選択に基づいて、前記被写体領域を識別することが好ましい。これによれば、ユーザによって与えられた情報に基づいて、被写体領域を認識しているため、少なくともユーザの意図に適した被写体について高い鮮鋭度の画像を得ることができる。また、本発明は、このような撮像装置として実現できるだけでなく、撮像装置における撮像方法として実現することもできる。また、撮像方法をコンピュータに実行させるためのプログラムとして実現することもできる。そのようなプログラムは、CD-ROM等の記録媒体またはインターネット等の伝送媒体を介して配信することもできる。また、本発明は、各処理部の処理を行う集積回路として実現することもできる。本発明の効果は、実際に画像を撮像する前に、焦点位置変動範囲をシーンに応じて自動的に決定することである。ユーザは、焦点位置変動範囲を手動で調整する必要がない。これにより、ユーザが簡単に操作を行うことができ、ユーザが混乱することが少なくなる。本発明は、画像における被写体の高周波成分および信号対雑音比を最大にするように試み、焦点位置変動範囲をシーンに基づいて適切に決定する。したがって、撮像されるシーンが未知であっても、種々のシーンタイプに対して高画質で、鮮鋭かつクリアである、被写界深度が拡大された画像が得られるため、本発明は、先行技術の特許文献2および他の既知の方法を超える効果を有する。本発明の別の効果は、使用および格納する高解像度画像が少なくて済むことである。したがって、特許文献1において開示された先行技術の方法のメモリよりも、少ないメモリでよい。さらに、本発明は、タイムラグが少なく、リアルタイムの用途に適用することが可能である。以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置及び接続形態、動作の順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。本発明は、シーンを撮像した画像の被写界深度を拡大するための撮像装置および撮像方法を提供し、本発明では少なくとも1つの画像が、焦点位置を変動させて撮像される。撮像対象となるシーンに基づいて当該シーンに適応するように焦点位置変動範囲を自動的に決定し、決定した焦点位置変動範囲に従って焦点位置を変動させながらシーンを撮像し、少なくとも1つの出力画像を出力する。本発明は、出力される出力画像において、被写体の信号対雑音比が最大になるように商店変動範囲を決定する。したがって、種々のシーンタイプに対して高画質で鮮鋭かつクリアな被写界深度が拡大された画像が得られる。図4Aは、撮像される撮像対象としてのシーンの一例を示したものであり、当該シーンに複数の被写体が存在する場合を示す。このシーンでは、比較的近くの被写体は撮像装置に近く、比較的遠くの被写体は撮像装置から離れており、その間に複数の被写体がある。全ての被写体に対応して被写界深度が深い画像を得るためには、全ての被写体の高周波成分が撮像画像の中に埋め込まれるように、撮像装置の焦点位置を、近くの被写体から遠くの被写体へと変更して変動させた上で撮像する。このときに、例えば、このシーンにおいて、最も撮像装置に近い被写体に対して合焦する焦点位置から、最も撮像装置に遠い被写体に対して合焦する焦点位置までの焦点位置変動範囲は、SR1となる。図4Bは、近くの被写体のみが存在するシーンを撮像する別の例を示す。このシーンに対して、図4Aで示した焦点位置変動範囲SR1とは異なる焦点位置変動範囲を適応的に決定すべきである。例えば、焦点位置変動範囲を焦点位置変動範囲SR1よりも短い焦点位置変動範囲SR2にまで縮める。焦点位置変動範囲SR2は、図4Bに示す複数の被写体が図4Aに示す複数の被写体よりも撮像装置に対して近い位置に存在している。つまり、撮像装置から最も遠い被写体は、図4Bに示す被写体の方が、図4Aに示す被写体よりも近い位置にある。各被写体に合焦する位置を少なくとも含むように、シーンにおける被写体の撮像装置に対する位置の分布に応じて、焦点位置変動範囲を変更するため、被写体の有益な情報高周波成分が撮像された画像に埋め込まれる。反対に、焦点位置変動範囲が固定されている場合、または、焦点位置変動範囲が予め設定されている場合、不必要な情報ボケなどが撮像されることがある。例えば、焦点位置変動範囲がSR1に予め設定される場合、図4Bのシーンで用いることは不適切である可能性がある。なぜなら、焦点位置が第1の被写体人物および第2の被写体木を通過して移動させた後には、合焦して撮像される被写体が他に何もないのに画像の撮像が続けられ、さらに焦点位置変動範囲SR2を超えて焦点位置が変動している場合の変動範囲では第1および第2の被写体のボケた情報のみが撮像される。このように第1および第2の被写体のボケた情報が撮像される場合、出力画像における画質および被写体の鮮鋭度に影響することがある。一方で、図4Bのシーンに対して焦点位置変動範囲SR2が用いられた場合、被写体の最も有益な情報高周波成分が撮像され、被写体のボケた情報は極力撮像されない。このため、図4Bのシーンを撮像する場合、所定の露光時間において、焦点位置変動範囲SR2で撮像された画像は焦点位置変動範囲SR1で撮像された画像よりも信号対雑音比が高い。このように、焦点位置変動範囲SR2の範囲が短いため、所定の撮像時間内において焦点位置の変動を遅くすることができる。それによってより多くの時間の露光を行うことができる。シーンに基づき焦点位置変動範囲を適応的に変更することにより、種々のシーンタイプに対して高画質の出力画像が得られる。本発明は、撮像レンズもしくは撮像素子、またはその両方を移動させることにより、焦点位置を変動することができる。図5Aおよび図5Bは、本発明による撮像装置600を示す。撮像装置600は、撮像素子612と、撮像レンズ814と、アクチュエータ1016とを有する。アクチュエータ1016は、撮像素子612および撮像レンズ814の一方、または、その両方を動かす。アクチュエータ1016は、リニアモータ、ステップモータ、サーボ制御システム、圧電素子、または微小電気機械システムMEMSによって実現される。アクチュエータ1016は、高速で高精度であることが好ましい。本発明は、アクチュエータ1016を制御して、シーンに応じて長い範囲SF1またはSF1よりも短い範囲SF2で撮像素子612または撮像レンズ814の少なくとも一方を動かすことにより、シーンに応じて焦点位置変動範囲を変動させた状態で撮像する。なお、焦点位置変動範囲は自動的に決定される。その詳細を次に述べる。図6Aは、本発明の一実施形態による、画像の被写界深度を拡大するための撮像装置600のブロック図である。撮像装置600は、プリキャプチャモジュール602と、被写体鮮鋭度評価モジュール604と、焦点変動範囲決定モジュール606と、画像撮像モジュール608と、逆重畳モジュール610と、内部バッファ612とを備える。プリキャプチャモジュール602は、プリキャプチャ部として機能し、異なる焦点位置毎に撮像対象であるシーンを撮像し、最終的に撮像装置600によって出力される出力画像後述参照よりも解像度の低い複数のプリキャプチャ画像を出力する。プリキャプチャモジュール602により出力されたプリキャプチャ画像は、内部バッファ612に格納させてもよいし、被写体鮮鋭度評価モジュール604によって直接処理されるようにしてもよい。被写体鮮鋭度評価モジュール604は、複数のプリキャプチャされた画像における被写体の鮮鋭度を評価する。なお、被写体鮮鋭度評価モジュール604は、被写体の鮮鋭度を評価することの代わりに、被写体のボケを評価してもよい。ここで、被写体鮮鋭度評価モジュール604は、被写体の鮮鋭度またはボケをプリキャプチャ画像における空間周波数が高周波数であるほど鮮鋭度が高いと評価してもよいし、コントラストが大きいほど鮮鋭度が高いと評価してもよい。この被写体の鮮鋭度の評価が行われることにより、当該評価は複数のプリキャプチャ画像における被写体の合焦レベルとして示される。つまり、以下では当該評価を被写体の合焦レベルとして説明するが、被写体の鮮鋭度と置き換えてもよいし、被写体のボケと置き換えてもよい。なお、被写体のボケと置き換える場合には、大小関係が被写体の合焦レベルとは逆になる。この評価の結果は、内部バッファ612に格納させてもよいし、焦点変動範囲決定モジュール606に直接処理させてもよい。焦点変動範囲決定モジュール606は、シーンの最終的に撮像装置600に出力される出力画像における被写体の信号対雑音比が最大になる、それぞれの撮像シーンに適した焦点位置変動範囲を適切に決定する。この決定は、被写体の鮮鋭度またはボケの評価の結果に基づくものである。なお、被写体鮮鋭度評価モジュール604および焦点変動範囲決定モジュール606は、変動範囲決定部として機能し、プリキャプチャ部として機能するプリキャプチャモジュール602により撮像された複数のプリキャプチャ画像の鮮鋭度に基づいて、出力画像における信号対雑音比が最大になるように焦点位置変動範囲を決定する。画像撮像モジュール608は、撮像部として機能し、変動範囲決定部として機能する被写体鮮鋭度評価モジュール604および焦点変動範囲決定モジュール606により決定された焦点位置変動範囲に従って焦点位置を変動させながら撮像対象を撮像し、少なくとも1つの出力画像を出力する。画像撮像モジュール608は、撮像対象となるシーンの撮像時に焦点位置を変動と、少なくとも1つの画像の撮像とを同時に開始する。このとき変動される焦点位置は決定された焦点位置変動範囲に基づく。これにより、焦点位置変動範囲に対応する重畳画像が作成される。逆重畳モジュール610は、被写界深度拡大画像導出部として機能し、撮像部によって出力された少なくとも1つの画像と、予め定められた少なくとも1つの点広がり関数PSFとを用いて、被写界深度が拡大された被写界深度拡大画像を導出する。つまり、逆重畳モジュール610は、予め定められた少なくとも1つのPSFを用いることにより、画像撮像モジュール608により出力された撮像画像重畳画像を逆重畳して、被写界深度が拡大された被写界深度拡大画像を導出する。逆重畳モジュール610により出力された、被写界深度が拡大された画像は、全焦点AIF画像とも呼ばれ、表示用に用いてもよい。または、AIF画像は、奥行き推定および奥行き画像に基づくレンダリングDIBR法などのさらなる処理モジュールにおいて用いてもよい。これについて、さらなる詳細を他の実施形態において述べる。撮像装置600を構成するプリキャプチャモジュール602、被写体鮮鋭度評価モジュール604、焦点変動範囲決定モジュール606、画像撮像モジュール608、逆重畳モジュール610、および内部バッファ612は、通常は、IC集積回路、ASIC特定用途集積回路、LSI大規模集積回路、DSPデジタルシグナルプロセッサの形で実現され、またはPCパーソナルコンピュータを含むCPUベースのプロセッサおよび機械により実現される。これらの各モジュールは、複数チップで構成されてもよいし、1チップで構成されてもよい。ここで用いた名称はLSIであるが、集積度に応じて、IC、システムLSI、スーパーLSI、またはウルトラLSIとも呼ばれることもある。さらに、集積化を達成する方法は、LSIのみではなく、専用回路または汎用プロセッサ等で実現してもよい。これには、プログラム命令により制御することができる、DSPデジタルシグナルプロセッサなど、特化したマイクロプロセッサが含まれる。LSI製造後にプログラムすることが可能なFPGAフィールドプログラマブルゲートアレイや、LSIの接続または構成を再構成可能なプロセッサを同じ用途に利用してもよい。将来的には、製造および処理技術が向上し、全く新しい技術がLSIに取って代わるかもしれない。集積化はその技術によって行うことができる。実施の際に、撮像装置600をデジタルスチルカメラおよびムービーカメラなどの撮像装置に組み込んでもよい。撮像装置600は、独立型の装置に実装して、専門の撮像システムなどにおける画像撮像システムと協働するようにしてもよい。撮像装置600を他の種類の装置に実装することも可能であり、これは本発明の範囲を限定するものではない。図6Bは、本発明の一実施形態による、被写界深度の拡大処理のフローチャートである。まず、ステップS602において、プリキャプチャモジュール602が、異なる焦点位置毎に撮像対象となるシーンを撮像プリキャプチャし、複数のプリキャプチャ画像を出力する。ここではプリキャプチャという用語が用いられており、これは事前に焦点位置変動範囲を演算するためのシーンの撮像処理以下、プリキャプチャ処理というを示す。このプリキャプチャ処理により撮像された画像は、出力画像の構成に直接用いられるものではない。プリキャプチャ処理は、カメラがプレビューモードになっている間に行われてもよい。例えば、ムービーカメラの場合、ユーザが撮像予定のシーンにカメラを向けている間、プレビューモードがオンになる。プリキャプチャ処理は、録画ボタンを押す直前に行われてもよい。通常は、プリキャプチャ処理において撮像される画像の数は、10枚より少ない。すなわち、プリキャプチャ処理には、通常のビデオ速度30フレーム毎秒で10枚の画像すべてを撮像する場合、330ミリ秒しかかからない。同じシーンで必要なプリキャプチャ処理は1回のみであるため、この遅延は許容できるものである。もう1つの例は、デジタルスチルカメラを用いる場合である。この場合のプリキャプチャ処理は、ユーザがシャッターボタンを半分押した直後に行われてもよい。これにより、ユーザが気付くほどの遅延は起こらない。上記のプリキャプチャ処理には、他の既知の処理方法がある。例えば、露光およびシャッター速度決定機能、オートフォーカス機能等において行われるプリキャプチャ処理である。本発明は、このような既存のプリキャプチャ処理を利用することもできる。具体的には、オートフォーカス機能のためのプリキャプチャ処理を本発明に直接用いてもよい。なぜなら、本発明のプリキャプチャ処理により得られるプリキャプチャ画像は異なる合焦点を有してもよいからである。また、他のプリキャプチャ処理も用いてもよい。これは、本発明の範囲および精神を限定するものではない。メモリに効率よく格納するため、かつ以後の処理の効率を良くするために、プリキャプチャ処理により得られるプリキャプチャ画像の解像度は比較的低い解像度であることが好ましい。プリキャプチャ処理における各画像の焦点位置は、アクチュエータを制御して撮像素子もしくは撮像レンズ、またはその両方を動かして効果的に変更してもよい。ステップS604において、被写体鮮鋭度評価モジュール604は、プリキャプチャされた複数のプリキャプチャ画像における被写体の鮮鋭度またはボケを評価して、複数のプリキャプチャ画像における被写体の合焦レベルを示す画像を得る。画像がプリキャプチャ処理においてプリキャプチャされた場合、この画像の焦点位置を記録する。シーンの中で、撮像装置からの距離が異なる被写体は、それぞれ異なるプリキャプチャ画像において鮮鋭に合焦するように見える。特定の被写体は、1つのプリキャプチャ画像のみにおいて最大鮮鋭度最大合焦レベルを有する。したがって、被写体の最大鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を確認することによって、当該被写体の撮像装置からの距離以下、被写体距離とする。を算出することができる。また、このように複数の被写体毎に被写体距離を算出することができるため、他の被写体に対する相対的な距離を算出することもできる。ステップS606において、焦点変動範囲決定モジュール606は、焦点位置変動範囲を、撮像されるシーンの画像における被写体の信号対雑音比SNRが最大になるように、ステップS604によって得られるプリキャプチャ画像に基づき決定される。例えば、一実施形態において、ステップS604から得られた画像内の被写体の最も高い合焦レベルから導き出される、少なくとも2つの被写体距離を用いて、上記範囲の始点および終点を決定してもよい。この場合に決定される始点および終点は、それぞれ、シーンにおける最小被写体距離および最大被写体距離に対応する。具体的には、1つの始点をシーンにおける最小被写体距離に対応させ、1つの終点をシーンにおける最小被写体距離から最大被写体距離までの範囲内の距離に対応させることにより決定される。つまり、焦点変動範囲決定モジュール606は、ステップS604において取得された複数の焦点位置の内で、最小の位置を始点とし、最大の位置を終点とすることにより焦点位置変動範囲を決定する。なお、焦点変動範囲決定モジュール606は、ステップS604において取得された複数の焦点位置の内で、所定の連続性を満たす複数の焦点位置から成る焦点位置群における最小の位置を始点とし最大の位置を終点とすることにより焦点位置変動範囲を複数決定してもよい。この場合には、所定の連続性を満たす焦点位置とは例えば10枚連続して撮像するプリキャプチャ画像の内で連続して撮像されたプリキャプチャ画像に対応する焦点位置を指し、例えばステップS604において取得された複数の焦点位置が、1枚目から3枚目までのプリキャプチャ画像と7枚目から10枚目までのプリキャプチャ画像に対応する位置であれば、1枚目から3枚目までのプリキャプチャ画像に対応する焦点位置の範囲と、7枚目から10枚目までのプリキャプチャ画像に対応する焦点位置の範囲との2つの焦点位置範囲に焦点位置変動範囲が決定される。ステップS608において、画像撮像モジュール608は、ステップS606において決定された焦点位置変動範囲に従って、撮像時に焦点位置を変動させながら撮像対象のシーンを撮像し、少なくとも1つの出力画像を出力する。そのシーンにおける、合焦位置および非合焦位置の両方の被写体の光信号は、撮像素子612における画素に蓄積されることにより出力画像重畳画像となる。なお、焦点変動範囲が複数の場合には、焦点変動範囲以外の範囲において、露光時間が短くなるように焦点変動の速度を速くしてもよいし、複数の焦点変動範囲のそれぞれにおいて画像を撮像するようにしてもよい。後者の場合には、複数の焦点変動範囲に対応する枚数の画像を撮像することになる。ステップS610において、逆重畳モジュール610は、ステップS608において撮像された重畳された画像を少なくとも1つの点広がり関数PSFを用いて逆重畳し、被写界深度が拡大された被写界深度拡大画像が得られる。なお、複数の焦点変動範囲が設定されて複数の画像が撮像された場合には、複数の画像を重ねあわせた画像に対して、その画像に対応する点広がり関数を用いて逆重畳することにより、被写界深度が拡大された被写界深度拡大画像が得られることになる。上記被写界深度の拡大処理により、シーン内の被写体の被写体距離に基づいて焦点位置変動範囲を適応的に決定することによって、合焦位置にあるすべての被写体の光信号を画素に蓄積積算する。これは、シーン内の画像における被写体の高周波成分合焦位置における被写体の光信号のことを指すを確実に最大化するためである。よって、種々のシーンに対して、被写界深度が拡大された高画質な画像を得ることができる。なお、ステップS610においては、既知の逆重畳方法を用いてもよい。このような逆重畳方法の一例は、ウィナーデコンボリューションまたはウィナーフィルタである。この方法に関する詳細は、R.C.GonzalezR.E.Woodsによる、DigitalImageProcessing、Addison-WesleyPublishingCompany,Inc.、1992年非特許文献2に記載されている。また、既知の方法の他の例は、ルーシーリチャードソンデコンボリューションである。この方法の詳細は、D.S.C.Biggs,AppliedOptics,vol.36、no.8、17661775頁、1997年のAccelerationofIterativeImageRestorationAlgorithms非特許文献3に記載されている。ステップS610において用いられている、PSFは、予めメモリに格納されている。予めメモリに格納されているPSFは、撮像装置600をキャリブレーションすることにより事前に算出してもよい。例えば、シーンにキャリブレーションチャートを配置して、異なる焦点位置で撮像する。キャリブレーションチャートと撮像装置との間の距離を適応的に変更しすることによりキャリブレーションチャートを撮像し、撮像することにより得られたキャリブレーションデータを用いてPSFを算出する。または、PSF推定技術を用いることによって、画像が撮像された時にPSFを算出してもよい。このように、ブラインドデコンボリューション技術などの逆重畳は、ステップS610において用いられる。図7は、本発明の実施形態の一例による、被写体の鮮鋭度評価方法の詳細を示す図である。つまり、図7は、被写界深度の拡大処理におけるステップS604の処理についての詳細を説明する図である。この方法は、ステップS602において異なる焦点位置において撮像された複数のプリキャプチャ画像が出力されると開始される。まず、ステップS702において被写体鮮鋭度評価モジュール604は、複数のプリキャプチャ画像を入力画像として取り込み、当該入力画像を平滑化する。ステップS704において、被写体鮮鋭度評価モジュール604は、入力画像の垂直勾配画像および水平勾配画像と、平滑化された画像の垂直勾配画像および水平勾配画像とを算出する。ステップS706において、被写体鮮鋭度評価モジュール604は、入力画像および平滑化画像の垂直勾配画像間の差分画像と、入力画像および平滑化画像の水平勾配画像間の差分画像とを算出する。ステップS708において、被写体鮮鋭度評価モジュール604は、算出された垂直勾配の差分画像と、算出された水平勾配の差分画像とを用いることによって、対応する入力画像の合焦レベルを示す合焦点表示画像を複数の入力画像プリキャプチャ画像毎に算出して、このステップによって画像を得る。ステップS710において、この方法は、対応する入力画像に対して算出された合焦点表示画像および焦点位置を格納して、画像における被写体距離および被写体の合焦レベルが示される。全てのプリキャプチャ画像が評価されるまで、ステップS702からS710まで繰り返す。図8は、プリキャプチャ処理における異なる焦点位置で撮像したプリキャプチャ画像の一例を示す図である。例えば、このシーンを、近焦点位置から遠焦点位置へ順に異なる焦点位置で撮像する。図8では、画像801を近焦点位置で撮像している。画像801の焦点は、近い被写体に合わせられている。焦点位置は、時間毎に変動している。画像805では、焦点位置が中央に変更されており、焦点が中央の被写体にあることを示す。さらに、焦点位置をこの次の遠い焦点に変更する。そして、遠焦点位置では、画像809において示されるように、焦点が遠くの被写体に合わせられている。このプリキャプチャ処理の後、それぞれが異なる焦点を有する複数のプリキャプチャ画像が得られる。図9は、各プリキャプチャ画像の合焦レベル分布の実際の例を示す図である。これらは撮像された10枚のプリキャプチャ画像である。画像Aは、焦点位置を近焦点nearfocusに設定して撮像したものである。この焦点位置は、近焦点から遠焦点farfocusに変更される。画像Jは、焦点位置を遠焦点に設定して撮像したものである。図9において、合焦レベルが画像Aから画像Eに向かって増えていることが示されている。つまり、これは、画像Eにおいて最も近い被写体に合焦していることを示す。この画像の合焦レベルが高く、画像Jにおいて減少している。これは、すべての被写体の合焦レベルが減少しているため、最も遠い被写体がボケている非合焦ということである。遠い被写体の最も高い合焦レベルは、画像Iにおけるものである。したがって、焦点位置変動範囲を決定するために、画像EおよびIの焦点位置を用いることができる。図10は、本発明の一実施形態による、焦点変動範囲を決定する処理の詳細図である。つまり、図10は、被写界深度の拡大処理におけるステップS606の処理についての詳細を説明する図である。この方法は、ステップS604において被写体の合焦レベルが示されると開始される。まず、ステップS1002において、焦点変動範囲決定モジュール606は、複数の合焦レベル分布と、その複数の入力画像に対応する複数の焦点位置とを取得する。ステップS1004において、焦点変動範囲決定モジュール606は、シーンにおける最も近い被写体の最大合焦レベルを有する第1の画像を識別し、当該シーンにおける最も遠い被写体の最大合焦レベルを有する第2の画像を識別する。ステップS1006において、焦点変動範囲決定モジュール606は、最終的に出力される出力画像の信号対雑音比が最大になるように、識別された第1および第2の画像の焦点位置に基づき焦点位置変動範囲を算出する。図11A~図11Cは、異なる焦点位置にわたるシーンの被写体別の合焦レベルの例を示す図である。なお、ここで示す焦点位置は焦点位置の番号が小さいほど近い位置であり、大きい程遠い位置であることを意味する。具体的には、図11Aは、図8における第一の被写体811を撮像した場合の異なる焦点位置にわたる合焦レベルを示す。図11Aにおいては、被写体の合焦レベルは、焦点位置点1から焦点位置点5まで増加し、その後連続的に減少している。図11Bは、図8における第二の被写体812を撮像した場合の異なる焦点位置にわたる合焦レベルを示す。図11Bにおいては、被写体の合焦レベルは、焦点位置1から焦点位置6まで増加し、焦点位置7及び8まで水平に移行し、その後減少する。つまり、中間の被写体に対応する合焦レベルが示されている。図11Cは、図8における第三の被写体813を撮像した場合の異なる焦点位置にわたる合焦レベルを示す。図11Cにおいては、被写体の合焦レベルは、焦点位置1から焦点位置点9まで増加し、その後減少する。つまり、遠い被写体に対応する合焦レベルが示されている。これらの例から、最も近い被写体である第一の被写体811に対応する最大合焦レベルはP5であると識別され、最も遠い被写体の最大合焦レベルはP9であると識別される。したがって、焦点位置変動範囲は、P5およびP9に対応するプリキャプチャ画像の焦点位置から導き出される。これによれば、焦点変動範囲決定モジュール606が、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の合焦レベル鮮鋭度を、複数のプリキャプチャ毎に取得し、複数の領域毎のプリキャプチャ画像別の合焦レベル鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を複数の領域毎に取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。このため、各領域において最大の合焦レベル鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を取得し、取得した焦点位置に基づいて焦点位置変動範囲を決定する。これにより、分割された領域に被写体が存在する場合に、その被写体に対応する焦点位置を取得することができる。つまり、取得した焦点位置が含まれるように焦点位置変動範囲が決定されるため、撮像対象となるシーンに含まれる各被写体に対して鮮鋭度の高い画像を得ることができる。また、焦点変動範囲決定モジュール606は、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の合焦レベル鮮鋭度を、複数のプリキャプチャ画像毎に取得し、取得した複数のプリキャプチャ画像毎かつ複数の領域毎の合焦レベルの内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得し、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定してもよい。これによれば、焦点変動範囲決定モジュールが、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の合焦レベル鮮鋭度を、複数のプリキャプチャ画像毎に取得し、複数のプリキャプチャ毎かつ複数の領域毎の合焦レベル鮮鋭度の内で、予め定められた閾値よりも大きい合焦レベル鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。このため、少なくとも予め定められた閾値よりも大きい合焦レベル鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置が含まれるように焦点位置変動範囲が決定される。つまり、合焦レベル鮮鋭度の大きい被写体に対応する焦点位置を取得できるため、撮像対象となるシーンの内で合焦レベル鮮鋭度が大きく撮像される範囲を焦点位置変動範囲として設定することができる。このため、鮮鋭度の高い画像を得ることができる。図12は、本発明の実施形態による撮像装置600のハードウェアの概略ブロック図を示す。撮像装置600は、光学系1202と、撮像素子1204と、ADCアナログ-デジタル変換器1206と、イメージプロセッサ1208と、マイクロコンピュータ1210と、外部メモリ1212と、ドライバコントローラ1220と、OIS光学式手振れ防止機構センサ1218と、操作部1222と、記憶/送信装置1216と、表示装置1214とを備える。イメージプロセッサ1208は、内部メモリ1240と、拡大被写界深度モジュール1246と、原画像プロセッサ1242と、カラー画像プロセッサ1243と、必要に応じて3D画像プロセッサ1244とを備える。マイク、スピーカなどの他の構成要素は図示されていないが、これは本発明の範囲を限定するものではない。光学系1202は、撮像素子1204に到達する光信号を制御するために、複数のレンズまたはレンズの集合、ズーム/フォーカス機構、アクチュエータ、シャッター、開口部などの構成要素を備えてもよい。撮像素子1204は、光学系1202により就航された入射光を蓄積し、その光を電気信号に変換する。この撮像素子1204は、マイクロコンピュータ1210により制御される。撮像素子1204により変換された電気信号は、ADC1206によりデジタルデータ原画像データに変換され、内部メモリ1240または外部メモリ1212に格納される。原画像データは、複数のプリキャプチャ画像から成る組を含んでおり、各プリキャプチャ画像は異なる焦点位置で撮像される。また、原画像データは、プリキャプチャ画像よりも高解像度の画像を含む。このプリキャプチャ画像よりも高解像度の画像は、画像撮像時に焦点位置を変動させながら撮像されることより異なる焦点位置において撮像された画像が重畳された状態の原画像データが作成される。原画像プロセッサ1242は、内部メモリ1240または外部メモリ1212から原画像データを取り込み、サイズ変更、直線性補正、ホワイトバランス、ガンマ補正等の多くの前処理図示せずを行ってもよい。この前処理された原画像データを、記憶/送信装置1216により格納または送信してもよい。また、前処理された原画像データを、カラー画像プロセッサ1243で処理することで、RGBまたはYCbCr等のカラー画像を生成することもできる。カラー画像プロセッサ1243は、好適なカラー画像を生成するために、色補間、色補正、色調範囲の調整、色ノイズの低減等の処理を行う。拡大被写界深度モジュール1246は、プリキャプチャされた画像を取り込み、マイクロコンピュータ1210を制御して、画像の撮像中に焦点位置を変動させるために撮像レンズまたは撮像素子を駆動させる。撮像画像は、拡大被写界深度モジュール1246に入力され、拡大被写界深度オールインフォーカスAIFと呼ばれる画像が生成される。出力されるAIF画像は、表示装置1214上で表示するために用いてもよく、記憶/送信装置1216に格納してもよい。記憶/送信装置1216の内の記憶装置の例には、フラッシュベースのメモリカード、ハードドライブ、および光学ドライブが含まれ、また、これらに限定されない。また、記憶/送信装置1216の内の送信装置の例には、HDMIインターフェース、USBインターフェース、ワイヤレスインターフェースおよびdirect-to-printerインターフェースが含まれ、また、これらに限定されない。記憶/送信装置1216で処理されるデータは、任意に可逆または不可逆圧縮されていてもよい。さらに、出力されるAIF画像は、3D画像プロセッサ1244などのさらなる処理モジュールにおいて用いてもよい。AIF画像は、奥行き推定および3D画像生成に用いられてもよい。この詳細は次の実施形態で後述する。光学系1202は、マイクロコンピュータ1210によって制御される、ドライバコントローラ1220により制御されてもよい。操作部1222は、ユーザ操作による入力を受信し、マイクロコンピュータ1210に電気信号を送信して関連したモジュール、例えば、ドライバコントローラ1220、撮像素子1204、イメージプロセッサ1208などのユーザ入力に対応するモジュールを制御する。OISセンサ1218は、手振れまたはカメラの動きによる動きを検知し、電気信号をマイクロコンピュータ1210に送信する。マイクロコンピュータ1210は、ドライバコントローラ1220を制御して、光学系1202における、ドライバコントローラ1220を介して動きを補償するようにレンズを動かすためのアクチュエータ等を制御して、それにより手振れまたはカメラによるモーションブラーの影響を低減する。イメージプロセッサ1208は、拡大被写界深度モジュール1246からの第1の電気信号を、マイクロコンピュータ1210に送信してもよい。マイクロコンピュータ1210は、ドライバコントローラ1220を制御して、光学系1202における、プリキャプチャ処理中に各画像の焦点位置を変更するためのアクチュエータ等を制御する。また、イメージプロセッサ1208は、拡大被写界深度モジュール1246からの第2の電気信号を、マイクロコンピュータ1210に送信してもよい。マイクロコンピュータ1210は、ドライバコントローラ1220を制御して、光学系1202における、動きを補償するようにレンズを動かすためのアクチュエータ等を制御して、プリキャプチャ処理中に焦点位置を変更し、重畳画像を作成し、拡大被写界深度モジュール1246に入力して拡大被写界深度画像を生成する。なお、拡大被写界深度モジュール1246の詳細は、前述の実施形態の撮像装置600で示す機能を実現するハードウェアである。イメージプロセッサ1208、拡大被写界深度モジュール1246、およびその内部のモジュールは、通常、IC集積回路、ASIC特定用途集積回路、またはLSI大規模集積回路の形で実現される。これらの各モジュールは、複数チップで構成されてもよいし、1チップで構成されてもよい。ここで用いた名称はLSIであるが、集積度に応じて、IC、システムLSI、スーパーLSI、またはウルトラLSIとも呼ばれることもある。さらに、集積化を達成する方法は、LSIのみではなく、専用回路または汎用プロセッサ等で実現してもよい。これには、プログラム命令により制御することができる、DSPデジタルシグナルプロセッサなど、特化したマイクロプロセッサが含まれる。LSI製造後にプログラムすることが可能なFPGAフィールドプログラマブルゲートアレイや、LSIの接続または構成を再構成可能なプロセッサを利用してもよい。将来的には、製造および処理技術が向上し、全く新しい技術がLSIに取って代わるかもしれない。集積化はその技術によって行うことができる。本実施形態にかかる撮像装置600によれば、プリキャプチャモジュール602が、実際に撮像対象を撮像して出力画像を得る前に、撮像対象を異なる焦点位置毎に複数回撮像した結果としてプリキャプチャ画像を得ている。そして、被写体鮮鋭度評価モジュール604が複数のプリキャプチャ画像の鮮鋭度を求めている。つまり、被写体鮮鋭度評価モジュール604が複数の焦点位置において撮像されたプリキャプチャ画像の鮮鋭度を予め求めることにより、撮像対象となるシーンにおける被写体の撮像装置に対する位置を把握することができる。これにより、焦点変動範囲決定モジュール606は、例えば、撮像対象となるシーンにおいて、鮮鋭度が大きく撮像できる各被写体に対する焦点位置が含まれるように焦点位置変動範囲を自動的に決定することができる。このように、実際に画像を撮像する前に、焦点位置変動範囲を撮像対象となるシーンに応じて自動的に決定することにより、ユーザは、焦点位置変動範囲をシーンに合わせて手動で調整する必要がない。これにより、ユーザは、撮像装置の操作を容易に行うことができ、操作方法を混乱することを低減できる。したがって、撮像されるシーンにおける被写体の撮像装置600に対する位置が未知の場合であっても、種々のシーンに対して高品質、鮮鋭、かつクリアであって、被写界深度が拡大された画像を得ることができる。また、焦点位置変動範囲を決定するために取得される複数のプリキャプチャ画像は出力画像よりも低解像度であるため、使用および格納する高解像度画像が少なくて済む。したがって、特許文献1において開示された先行技術の方法のメモリよりも、少ないメモリでよい。さらに、本発明は、タイムラグが少なく、リアルタイムの用途に適用することが可能である。図13は、本発明の一実施形態による撮像装置を含む拡大被写界深度装置1300を例示するブロック図である。本実施形態において、3D左および右画像を生成する際に適用する拡大被写界深度装置1300の詳細を、図示例により説明する。拡大被写界深度装置1300は、撮像対象であるシーンを複数プリキャプチャし、メモリ1340に格納する。各プリキャプチャ画像は、異なる焦点位置において撮像される。したがって、異なるプリキャプチャ画像に存在する各被写体は、異なる鮮鋭度を有する。コントローラ1320は、アクチュエータ図示せずを制御して、プリキャプチャする際に画像の焦点位置を変更するために、レンズ系1302および撮像素子1304の少なくとも一方を移動させる。被写体鮮鋭度評価モジュール1346は、メモリ1340から複数の画像を取り込み、各画像の被写体のボケおよび/または鮮鋭度を評価して、その画像における被写体に対応する被写体距離および被写体の合焦レベルを示すデータを得る。被写体鮮鋭度評価モジュール1346は、得られたデータをメモリ1340に格納してもよいし、得られたデータをさらに焦点変動範囲決定モジュール1342にも送信してもよい。焦点変動範囲決定モジュール1342は、得られたデータを取り込み、焦点位置変動範囲を決定する。具体的には、焦点変動範囲決定モジュール1342は、上記で得られたデータに基づき、近い被写体に対して得られた最大の合焦レベルと遠い被写体に対して得られた最大の合焦レベルとを考慮することによって、焦点変動範囲の始点および終点を求める。焦点変動範囲決定モジュール1342は、この焦点変動範囲の始点として、近い被写体の合焦レベルが最大であるプリキャプチャ画像の焦点位置から導き出し、焦点変動範囲の終点として、遠い被写体の合焦レベルが最大であるプリキャプチャ画像の焦点位置から導き出す。つまり、この焦点変動範囲によってレンズ系1302および撮像素子1304の少なくとも一方を移動させることにより撮像されるシーンの画像は、近い被写体から遠い被写体までの全ての最大の合焦レベルを含むということである。したがって、この決定された範囲内で焦点位置を変動させている状態で撮像された画像において、すべての被写体の鮮鋭度が最大になる画像が重畳された画像が撮像される。図13を参照して、焦点変動範囲決定モジュール1342は、焦点位置変動範囲を示す電気信号をコントローラ1320に送信する。コントローラ1320は、アクチュエータを制御して、焦点位置変動範囲を示す電気信号に基づいて画像の撮像中に焦点位置を変動させる。上記装置は、焦点位置を変動させながら少なくとも1つの画像を撮像し、メモリ1340に格納する。逆重畳モジュール1343は、メモリ1340に格納された画像を取り込み、当該画像を、予め定められた少なくとも1つの点広がり関数PSFを用いることにより逆重畳して、AIF画像を得る。この拡大被写界深度装置1300は、さらに、追加の近焦点画像および遠焦点画像を撮像してもよい。または、近焦点画像および遠焦点画像は、逆重畳モジュール1343において用いられてもよい。AIF画像は、被写界深度が強化された画像2Dとして表示するために用いられてもよい。AIF画像、近焦点画像、および遠焦点画像は、奥行き推定モジュール1345において用いられてもよい。奥行き推定モジュール1345は、高度な錯視現象A-DFD技術を用いて奥行きマップを推定する。推定された奥行きマップおよびAIF画像は、DIBR奥行き画像に基づくレンダリングモジュール1347に入力される。DIBRモジュール1347は、3D視に用いることができる、立体視用の左右の画像を生成する。一実施形態において、焦点位置変動範囲は、撮像対象のシーンに基づき適応的に決定してもよい。例えば、1.0メートルから2.5メートルまでの距離の被写体を含むシーンを撮像するために焦点位置を変動させる範囲は、1.0メートルから10メートルまでの距離の被写体を含むシーンを撮像するための焦点位置変動範囲よりも、短くてもよい。以下の薄型レンズの方程式によると、であり、式1中、fは拡大被写界深度装置1300における撮像システムの焦点距離であり、uは、シーンにおける被写体と撮像レンズとの間の距離であり、vは、距離uにある被写体が合焦して鮮鋭に見える、撮像レンズと画像平面との間の距離である。例えば、焦点距離f=18mmを有する撮像システムが、1.0メートル先の距離にある被写体にフォーカスしている場合、被写体が合焦して見える撮像レンズと画像平面との距離は、以下の式2および式3に示すように算出される。この撮像システムが2.5メートル先の距離にある被写体にフォーカスしている場合、被写体が合焦して見える撮像レンズと画像平面との距離は、v=18.1305mmである。したがって、例えば、この例では、1.0メートルから2.5メートルまでの距離の被写体を含むシーンを撮像するために焦点位置を変動させる範囲は、18.3299mmから18.1305mmに設定される。この場合に、例えばアクチュエータを制御して、撮像レンズまたは撮像素子を199.4umの距離で動かす。そして、上記の撮像システムが10.0メートル先の距離にある被写体にフォーカスしている場合、被写体が合焦して見える撮像レンズと画像平面との距離は、v=18.0324mmである。したがって、この例では、1.0メートルから10.0メートルまでの距離の被写体を含むシーンを撮像するために焦点位置を変動させる範囲は、18.3299mmから18.0324mmに設定される。この場合に、例えばアクチュエータを制御して、撮像レンズまたは撮像素子を297.5umの距離で動かす。これを適応的に行うことによって、焦点位置を変動させながら撮像された画像の被写体の焦点での合焦レベルが最大になる。また、特に、比較的近い被写体のみを含むシーンの画像に対しては、焦点変動範囲が短いため、被写体の信号対雑音比も最大になる。図16A~図16Cは、様々なフォーカススイープ変動範囲の所定の露光時間において被写体の合焦レベルを、コントラストを積算することにより算出したものである。図16Aにおいて、このシーンは被写体OB1比較的カメラに近い、被写体OB2中央、および被写体OB3比較的カメラから遠いを含む。焦点位置変動範囲は、被写体OB1、OB2、およびOB3の最大の合焦点最大のコントラストを積算するように設定され、距離D1に対応する。各位置の被写体の光信号を積算するための時間量は、例えば[積算時間T/距離D1]で算出する。図16Bにおいて、このシーンは、被写体OB1比較的カメラに近いおよび被写体OB2中央のみを含む。従来のように、焦点位置変動範囲が予め定義されている場合は、D1と同様に設定されるが、これは適切ではない。図16Bに示すように、各位置の被写体の光信号を積算するための時間量は、[積算時間T/距離D2]で算出され、D2=D1であるが、OB2の後に何も被写体がないため、適切ではない。OB2の後の何も被写体がない範囲を焦点変動範囲に含む必要はない。図16Cにおいては、シーンは図16Bのように、被写体OB1比較的カメラ近い、および被写体OB2中央のみを含む。しかし、焦点位置変動範囲が変更され、短くなる。これは、OB1の最大合焦点からOB2の最大合焦位置までの光信号のみを積算するためである。各位置の被写体の光信号を積算する時間は、[積算時間T/距離D3]>[積算時間T/距離D2]である。つまり、被写体OB1およびOB2のみのシーンを撮像する場合、予め複数のプリキャプチャ画像を撮像して異なる焦点距離に対応した被写体コントラストを取得できるため被写体OB2が存在する被写体距離より被写体距離が遠い範囲を含まない範囲を焦点変動範囲として自動的に設定する。このように、被写体が存在する範囲に合わせて焦点範囲を設定できるため、撮像された画像内の被写体の合焦位置における信号対雑音比が、最大になる。一実施形態において、焦点位置変動範囲は、アクチュエータの動作速度により制限される。例えば、アクチュエータの最大動作速度が、43mm/秒である場合、ビデオフレーム速度30フレーム毎秒範囲の上限は、43/30=1.433mmである。一実施形態において、撮像システムの露光時間は、決定された焦点位置変動範囲に基づいて調整してもよい。これは、静止画像には有効である。例えば、最初の露光時間が1/8秒と設定されており、決定された変動範囲が4.3mmでアクチュエータが最大速度43mm/秒で動く場合、この範囲に対する露光時間を1/10秒に調整してもよい。一方、アクチュエータの動作速度を露光時間に合致するように調整してもよい。この例において、アクチュエータの動作速度を34.4mm/秒に調整してもよい。また、焦点位置変動範囲の大きさに応じて画素が飽和しないように露光時間を調整してもよい。この場合、光信号の量が極力多い状態で撮像対象を撮像することができる。つまり、鮮鋭度が高く、高画質でクリアな画像を得ることができる。また、予め定められた露光時間に従って焦点位置変動範囲を制限してもよい。この場合、光の量が多い場合などに有効である。本発明に従って、画像撮像中に焦点位置を変動させながらシーンの画像を撮像することにより、出力AIF画像の画質が向上する。出力AIF画像を表示用2D視に用いた場合、より鮮鋭かつクリアな被写体を見ることができる。出力AIF画像を奥行き推定に用いた場合1345、推定された奥行きマップの精度が向上する。出力AIF画像を3D画像生成に用いた場合、鮮鋭かつクリアな3D画像が得られ、3D視の効果が向上する。図14は、本発明の別の実施形態による撮像装置1400のブロック図である。この実施形態と図13における実施形態との差異は、被写体検出モジュール1446が用いられていることである。被写体検出モジュール1446は、被写体検出部として機能し、撮像対象のシーンにおける例えば顔などの被写体を検出する。被写体検出モジュール1446はまた、被写体領域識別部としても機能し、顔などの検出された被写体に基づいて、検出された被写体が中心になるように撮像対象を撮像した画像の一分の領域である被写体領域として関心領域ROIを識別する。識別した関心領域に関するROIデータは、焦点変動範囲決定モジュール1442に送信してもよい。焦点変動範囲決定モジュール1442は、撮像されるシーンの画像内で検出された被写体の信号対雑音比が最大になるように、ROIデータに基づいて焦点位置を変動させる範囲を決定する。焦点変動範囲決定モジュール1442は、焦点位置を変動させる範囲を示す電気信号をコントローラ1420に送信する。コントローラ1420は、アクチュエータを制御して、画像の撮像中に焦点位置を変動させる。上記装置は、焦点位置を変動させながら少なくとも1つの画像を撮像し、メモリ1424に格納する。逆重畳モジュール1443は、撮像画像を取り込み、逆重畳して、出力されるAIF画像を得る。この装置は、さらに、追加の近焦点画像および遠焦点画像を撮像してもよい。または、近焦点および遠焦点画像は、逆重畳モジュール1443において用いられてもよい。AIF画像は、被写界深度が強化された画像2Dとして表示するために用いられてもよい。AIF画像、近焦点画像、および遠焦点画像は、奥行き推定モジュール1445において用いられてもよい。奥行き推定モジュール1445は、高度な錯視現象A-DFD技術を用いて奥行きマップを推定する。推定された奥行きマップおよびAIF画像は、DIBR奥行き画像に基づくレンダリングモジュール1447に入力される。DIBRモジュール1447は、3D視に用いることができる、立体視用の左右の画像を生成する。このように、被写体領域を関心領域ROIとして識別することにより、ROIに絞ってプリキャプチャ画像を評価して、焦点位置変動範囲を焦点変動範囲決定モジュール1442が決定することができる。このため、当該評価にかかるデータ量を少なくできるため、焦点位置変動範囲を決定する時間を短くすることができる。図15は、本発明の別の実施形態による撮像装置1500のブロック図である。この実施形態と図13における実施形態との差異は、ユーザインターフェイスモジュール1546が実装されていることである。ユーザインターフェイスモジュール1546は、選択受付部として機能し、ディスプレイモジュール1514に設けられているタッチスクリーン表示装置などのユーザインタラクション機器を介して、ユーザによる前記撮像対象における被写体が撮像される領域の選択を関心対象物OOIとして受け付ける。ユーザインターフェイスモジュール1546はまた、被写体領域識別部としても機能し、受け付けた関心対象物に関するOOIデータに基づいて、OOIが関心領域ROIの中心になるようにシーンにおけるROIを識別する。識別したROIに関するROIデータは、焦点変動範囲決定モジュール1542に送信される。焦点変動範囲決定モジュール1542は、撮像されるシーンの画像内で検出されたOOIの信号対雑音比が最大になるように、ROIデータに基づいて焦点位置変動範囲を決定する。焦点変動範囲決定モジュール1542は、焦点位置を変動させる範囲を示す電気信号をコントローラ1520に送信する。コントローラ1520は、アクチュエータを制御して、画像の撮像中に焦点位置を変動させる。上記装置は、焦点位置を変動させながら少なくとも1つの画像を撮像し、メモリ1524に格納する。逆重畳モジュール1543は、撮像画像を取り込み、逆重畳して、出力されるAIF画像を得る。この装置は、さらに、追加の近焦点画像および遠焦点画像を撮像してもよい。または、近焦点および遠焦点画像は、逆重畳モジュール1543において用いられてもよい。AIF画像は、被写界深度が強化された画像2Dとして表示するために用いられてもよい。AIF画像、近焦点画像、および遠焦点画像は、奥行き推定モジュール1545において用いられてもよい。奥行き推定モジュール1545は、高度な錯視現象A-DFD技術を用いて奥行きマップを推定する。推定された奥行きマップおよびAIF画像は、DIBR奥行き画像に基づくレンダリングモジュール1547に入力される。DIBRモジュール1547は、3D視に用いることができる、立体視用の左右の画像を生成する。これによれば、ユーザによって与えられた情報である関心対象物OOIに基づいて、被写体領域関心領域を認識しているため、少なくともユーザの意図に適した被写体について高い鮮鋭度の画像を得ることができる。"