(57)【要約】  本発明の目的は、シーンの画像の被写界深度を拡大するための方法および装置を提案することである。撮像装置（６００）は、所定の焦点範囲において異なる焦点位置毎に撮像対象を撮像し、撮像した結果を出力画像よりも解像度の低い複数のプリキャプチャ画像として出力するプリキャプチャモジュール（６０２）と、プリキャプチャモジュール（６０２）により撮像された複数のプリキャプチャ画像の鮮鋭度を算出する被写体鮮鋭度評価モジュール（６０４）と、被写体鮮鋭度評価モジュール（６０４）により算出された鮮鋭度に基づいて、出力画像における信号対雑音比が所定の閾値以上となるように所定の焦点範囲の内の焦点位置変動範囲を決定する焦点変動範囲決定モジュール（６０６）と、焦点変動範囲決定モジュール（６０６）により決定された焦点位置変動範囲に従って、焦点位置を変動させている状態において撮像対象を撮像し、撮像した結果を少なくとも１つの出力画像として出力する画像撮像モジュール（６０８）とを備える。
2012063449.tif 000002
【特許請求の範囲】
【請求項１】
焦点位置を変動させている状態において撮像対象を撮像し、撮像した結果を少なくとも１つの出力画像として出力する撮像装置であって、
所定の焦点範囲において異なる焦点位置毎に前記撮像対象を撮像し、撮像した結果を前記出力画像よりも解像度の低い複数のプリキャプチャ画像として出力するプリキャプチャ部と、
前記プリキャプチャ部により撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出部と、
前記鮮鋭度算出部により算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が所定の閾値以上となるように前記所定の焦点範囲の内の焦点位置変動範囲を決定する変動範囲決定部と、
前記変動範囲決定部により決定された前記焦点位置変動範囲に従って、焦点位置を変動させている状態において前記撮像対象を撮像し、撮像した結果を少なくとも１つの前記出力画像として出力する撮像部と
を備える撮像装置。
【請求項２】
さらに、
前記撮像部によって出力された少なくとも１つの画像と、予め定められた少なくとも１つの点広がり関数とを用いて、被写界深度が拡大された被写界深度拡大画像を導出する被写界深度拡大画像導出部を備える
請求項１に記載の撮像装置。
【請求項３】
前記変動範囲決定部は、
前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、
前記複数の領域毎に前記複数のプリキャプチャ画像別の鮮鋭度を比較し、
前記複数の領域毎の前記プリキャプチャ画像別の鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を、前記複数の領域毎に取得し、
取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定する
請求項１または２に記載の撮像装置。
【請求項４】
前記変動範囲決定部は、
前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、
取得した前記複数のプリキャプチャ画像毎かつ前記複数の領域毎の鮮鋭度の内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得し、
取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定する
請求項１または２に記載の撮像装置。
【請求項５】
前記変動範囲決定部は、取得した前記複数の焦点位置の内で、最小の位置を始点とし、最大の位置を終点とすることにより前記焦点位置変動範囲を決定する
請求項３または４に記載の撮像装置。
【請求項６】
前記変動範囲決定部は、前記取得した複数の焦点位置の内で、所定の連続性を満たす複数の焦点位置から成る焦点位置群における最小の位置を始点とし最大の位置を終点とすることにより前記焦点位置変動範囲を複数決定する
請求項３または４に記載の撮像装置。
【請求項７】
前記撮像部は、
決定された前記焦点位置変動範囲の大きさに基づいて、撮像される画像の画素が飽和しないように露光時間を調整し、
調整した前記露光時間内に、前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像する
請求項１から５のいずれか１項に記載の撮像装置。
【請求項８】
前記焦点位置変動範囲は、予め定められた露光時間により制限される
請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
さらに、
前記撮像対象における被写体を検出する被写体検出部と、
前記検出された前記被写体に基づいて、当該被写体が中心になるように前記撮像対象を撮像した画像の一部の領域である被写体領域を識別する被写体領域識別部と
を備え、
前記変動範囲決定部は、前記被写体領域識別部により識別された前記被写体領域に基づいて、検出された被写体の信号対雑音比が最大になるように前記焦点位置変動範囲を決定する
請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
さらに、
ユーザによる前記撮像対象における被写体が撮像される領域の選択を受け付ける選択受付部を備え、
前記被写体領域識別部は、前記受付部により受け付けられた前記領域の選択に基づいて、前記被写体領域を識別する
請求項９に記載の撮像装置。
【請求項１１】
焦点位置を変動させながら撮像対象を撮像し、少なくとも１つの出力画像を出力する撮像方法であって、
異なる焦点位置毎に前記撮像対象を撮像し、前記出力画像よりも解像度の低い複数のプリキャプチャ画像を取得するプリキャプチャ画像取得ステップと、
前記プリキャプチャ画像取得ステップにより撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出ステップと、
前記鮮鋭度算出ステップにより算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が最大になるように焦点位置変動範囲を決定する変動範囲決定ステップと、
前記変動範囲決定ステップにより決定された前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像し、少なくとも１つの前記出力画像を出力する撮像ステップと
を含む撮像方法。
【請求項１２】
請求項１１に記載の撮像方法に含まれるステップをコンピュータに実行させるためのプログラム。
【請求項１３】
焦点位置を変動させながら撮像対象を撮像し、少なくとも１つの出力画像を出力する集積回路であって、
異なる焦点位置毎に前記撮像対象を撮像し、前記出力画像よりも解像度の低い複数のプリキャプチャ画像を出力するプリキャプチャ部と、
前記プリキャプチャ部により撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出部と、
前記鮮鋭度算出部により算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が最大になるように焦点位置変動範囲を決定する変動範囲決定部と、
前記変動範囲決定部により決定された前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像し、少なくとも１つの前記出力画像を出力する撮像部と
を含む集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ処理に関する。より具体的には、本発明は、焦点位置を変動させながら撮像された少なくとも１つの画像から、拡大された被写界深度を生成するための方法および装置に関する。
【背景技術】
【０００２】
被写界深度が大きい画像は、比較的近い被写体および比較的遠い被写体がどちらも適度に鮮鋭に（合焦して）見える、比較的深度の深い３次元（３Ｄ）の画像である。大きな被写界深度は、多くの場合において好まれている。例えば、あるシーンを３Ｄに適用する際に、美しい背景の前に人物が立っているシーンでは、人物と人物の奥側にある美しい背景との両方の画像を鮮鋭に３Ｄ（つまり立体視の３Ｄ）で見ることが好ましい。これにより、視聴者は、手前側の人物を見る場合であっても、奥側の美しい背景を見る場合であっても、両方の場合において３Ｄの画像を鮮鋭に見ることができる。【０００３】
従来では、撮像装置の絞りのＦ値を大きくする（口径を減少させる）ことにより被写界深度を深くする容易な方法が達成された。しかしながら、これにより、撮像される入射光の量が減少する。このため、この撮像画像は特に、ノイズが多く、シャッター速度が遅くなり手ブレや被写体ブレを発生させることがある。【０００４】
被写界深度を深くするための方法が以下の特許文献１および２に開示されている。特許文献１（米国特許第６２０１８９９号明細書、２００１年３月１３日発行）は、拡大被写界深度の画像化方法および装置を開示している。この方法は、異なる焦点位置で撮像された複数のソース画像を用いて、１つの画像に合成する。図２を参照すると、この方法では、異なる焦点位置で撮像された複数のソース画像（Ｉ１からＩＭ）を受信する。比較的高い周波数成分を得るために、ハイパスフィルタが各ソース画像に適用される。そして、この方法では、複数のソース画像毎に高周波成分のエネルギーレベルを算出して、エネルギーレベルが最大である複数のサブ領域を選択する。最後に、高周波成分のエネルギーレベルが最大のソース画像に対応する複数のサブ領域を合成することにより、拡大被写界深度の画像が構成される。【０００５】
しかしながらこの方法は、画像の合成が開始できるようになる前に複数のソース画像の全てを完全に受信する必要がある。このため、この方法により拡大被写界深度の画像を得るためには、多くの場合、複数のソース画像の撮像に要する時間に少なくとも等しいタイムラグが生じる。このようなタイムラグは、拡大被写界深度の画像を得ることにリアルタイムの動作が求められている場合、許容できるものではない。さらに、この方法では、特に高解像度のソース画像を用いる場合、通常は、ソース画像およびフィルタリング処理された画像を格納するために膨大なメモリが必要である。【０００６】
また、特許文献２（米国特許第７７１１２５９号明細書、２０１０年５月４日発行）は、画像の被写界深度を深くするための方法および装置を開示している。図３を参照すると、この方法では、複数の画像を異なる焦点位置で撮像し、撮像された画像を合成して１つの最終画像を作成する。次に、この方法は、最終画像を鮮鋭化して被写界深度が改良された出力画像を構成する。しかしながらこの方法にも、複数の画像が用いられることに欠点がある。それは、タイムラグが発生することがあることである。したがって、この方法は、リアルタイムの用途には不適切である。【０００７】
また、特許文献２の別の実施形態において、別の方法も提案されている。この方法は、画像の撮像時に焦点位置を変化させながら１つの画像のみ撮像して、１つの最終画像を作成する。次に、この方法は、最終画像を鮮鋭化して被写界深度が改良された画像を構成する。変化させる焦点位置の範囲は、ユーザが手動で設定してもよく、またはカメラに予め設定されていてもよい。したがって、この方法は、完全に自動ではなく、一般的なユーザにとってはその範囲を調整することが難しい。さらに、この方法は、撮像されるシーンが未知または予測不可能である場合には不適切である。【０００８】
さらに、非特許文献１（「Ｆｌｅｘｉｂｌｅ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」，  Ｓ．  Ｋｕｔｈｉｒｕｍｍａｌ，  Ｈ．  Ｎａｇａｈａｒａ，  Ｃ．  Ｚｈｏｕ，  ａｎｄ  Ｓ．  Ｋ．  Ｎａｙａｒ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  Ｖｏｌ．９９，  Ｍａｒ，  ２０１０．）は、焦点位置を画像撮像時に変化させながら１つの画像を撮像するものである。これらの既知の方法は、変化させる焦点位置の範囲を予め設定している。図１を参照すると、既知の方法のいくつかは、常にＺ１で合焦することにより画像の撮像（シャッターを開く）を開始し、画像の撮像を終了する（シャッターを閉じる）前に焦点位置をＺ３に移動させる。この方法は、シーンが予めわかっているか、画像の撮像環境がわかっている場合、例えば、電子顕微鏡での撮像のように、カメラと被写体との距離がわかっている場合などに適切である。しかしながら、これらの方法は、撮像されるシーンタイプが未知または予測不可能である場合には不適切である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第６２０１８９９号明細書
【特許文献２】米国特許第７７１１２５９号明細書
【非特許文献】
【００１０】
【非特許文献１】「Ｆｌｅｘｉｂｌｅ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」，  Ｓ．  Ｋｕｔｈｉｒｕｍｍａｌ，  Ｈ．  Ｎａｇａｈａｒａ，  Ｃ．  Ｚｈｏｕ，  ａｎｄ  Ｓ．  Ｋ．  Ｎａｙａｒ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  Ｖｏｌ．９９，  Ｍａｒ，  ２０１０．
【非特許文献２】「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ」、Ｒ．Ｃ．Ｇｏｎｚａｌｅｚ＆Ｒ．Ｅ．Ｗｏｏｄｓ、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ  Ｐｕｂｌｉｓｈｉｎｇ  Ｃｏｍｐａｎｙ，Ｉｎｃ．、１９９２年
【非特許文献３】「Ａｃｃｅｌｅｒａｔｉｏｎ  ｏｆ  Ｉｔｅｒａｔｉｖｅ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ  Ａｌｇｏｒｉｔｈｍｓ」、Ｄ．Ｓ．Ｃ．Ｂｉｇｇｓ，Ａｐｐｌｉｅｄ  Ｏｐｔｉｃｓ，ｖｏｌ．３６、ｎｏ．８、１７６６-１７７５頁、１９９７年
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、シーンの画像の被写界深度を拡大するための方法および装置を提案することである。特に、効率的でメモリ使用が少なく、著しいタイムラグがなく、リアルタイムの動作が可能であり、撮像するシーンが未知で予測不可能である場合でも種々のシーンに対して鮮鋭な画像が自動的に得ることができる方法および装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の一形態にかかる情報処理装置は、焦点位置を変動させている状態において撮像対象を撮像し、撮像した結果を少なくとも１つの出力画像として出力する撮像装置であって、所定の焦点範囲において異なる焦点位置毎に前記撮像対象を撮像し、撮像した結果を前記出力画像よりも解像度の低い複数のプリキャプチャ画像として出力するプリキャプチャ部と、前記プリキャプチャ部により撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出部と、前記鮮鋭度算出部により算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が所定の閾値以上となるように前記所定の焦点範囲の内の焦点位置変動範囲を決定する変動範囲決定部と、前記変動範囲決定部により決定された前記焦点位置変動範囲に従って、焦点位置を変動させている状態において前記撮像対象を撮像し、撮像した結果を少なくとも１つの前記出力画像として出力する撮像部とを備える。【００１３】
ここで、さらに、前記撮像部によって出力された少なくとも１つの画像と、予め定められた少なくとも１つの点広がり関数とを用いて、被写界深度が拡大された被写界深度拡大画像を導出する被写界深度拡大画像導出部を備えることが好ましい。【００１４】
これによれば、実際に撮像対象を撮像して出力画像を得る前に、撮像対象を異なる焦点位置毎に複数回撮像した結果としてプリキャプチャ画像を得て、複数のプリキャプチャ画像の鮮鋭度を求めている。つまり、複数の焦点位置において撮像されたプリキャプチャ画像の鮮鋭度を予め求めることにより、撮像対象となるシーンにおける被写体の撮像装置に対する位置を把握することができる。これにより、変動範囲決定部は、例えば、撮像対象となるシーンにおいて、鮮鋭度が大きく撮像できる各被写体に対する焦点位置が含まれるように焦点位置変動範囲を自動的に決定することができる。【００１５】
このように、実際に画像を撮像する前に、焦点位置変動範囲を撮像対象となるシーンに応じて自動的に決定することにより、ユーザは、焦点位置変動範囲をシーンに合わせて手動で調整する必要がない。これにより、ユーザは、撮像装置の操作を容易に行うことができ、操作方法を混乱することを低減できる。したがって、撮像されるシーンにおける被写体の撮像装置に対する位置が未知の場合であっても、種々のシーンに対して高品質、鮮鋭、かつクリアであって、被写界深度が拡大された画像を得ることができる。【００１６】
また、焦点位置変動範囲を決定するために取得される複数のプリキャプチャ画像は出力画像よりも低解像度であるため、使用および格納する高解像度画像が少なくて済む。したがって、特許文献１において開示された先行技術の方法のメモリよりも、少ないメモリでよい。さらに、本発明は、タイムラグが少なく、リアルタイムの用途に適用することが可能である。【００１７】
ここで、前記変動範囲決定部は、前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、前記複数の領域毎に前記複数のプリキャプチャ画像別の鮮鋭度を比較し、前記複数の領域毎の前記プリキャプチャ画像別の鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を、前記複数の領域毎に取得し、取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定するとすることが好ましい。【００１８】
これによれば、変動範囲決定部が、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ毎に取得し、複数の領域毎のプリキャプチャ画像別の鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を複数の領域毎に取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。【００１９】
このため、各領域において最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を取得し、取得した焦点位置に基づいて焦点位置変動範囲を決定する。これにより、分割された領域に被写体が存在する場合に、その被写体に対応する焦点位置を取得することができる。つまり、取得した焦点位置が含まれるように焦点位置変動範囲が決定されるため、撮像対象となるシーンに含まれる各被写体に対して鮮鋭度の高い画像を得ることができる。【００２０】
ここで、前記変動範囲決定部は、前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、取得した前記複数のプリキャプチャ画像毎かつ前記複数の領域毎の鮮鋭度の内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得し、取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定するとすることもできる。【００２１】
これによれば、変動範囲決定部が、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、複数のプリキャプチャ毎かつ複数の領域毎の鮮鋭度の内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。【００２２】
このため、少なくとも予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置が含まれるように焦点位置変動範囲が決定される。つまり、鮮鋭度の大きい被写体に対応する焦点位置を取得できるため、撮像対象となるシーンの内で鮮鋭度が大きく撮像される範囲を焦点位置変動範囲として設定することができる。このため、鮮鋭度の高い画像を得ることができる。【００２３】
ここで、前記変動範囲決定部は、取得した前記複数の焦点位置の内で、最小の位置を始点とし、最大の位置を終点とすることにより前記焦点位置変動範囲を決定することが好ましい。【００２４】
ここで、前記変動範囲決定部は、前記取得した複数の焦点位置の内で、所定の連続性を満たす複数の焦点位置から成る焦点位置群における最小の位置を始点とし最大の位置を終点とすることにより前記焦点位置変動範囲を複数決定することもできる。【００２５】
ここで、前記撮像部は、決定された前記焦点位置変動範囲の大きさに基づいて、撮像される画像の画素が飽和しないように露光時間を調整し、調整した前記露光時間内に、前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像することが好ましい。【００２６】
これによれば、焦点位置変動範囲の大きさに応じて画素が飽和しないように露光時間を調整するため、光信号の量が極力多い状態で撮像対象を撮像することができる。つまり、鮮鋭度が高く、高画質でクリアな画像を得ることができる。【００２７】
ここで、前記焦点位置変動範囲は、予め定められた露光時間により制限されることが好ましい。【００２８】
これによれば、予め定められた露光時間に従って焦点位置変動範囲が制限されるため、例えば、光の量が多い場合などに有効である。【００２９】
ここで、さらに、前記撮像対象における被写体を検出する被写体検出部と、前記検出された前記被写体に基づいて、当該被写体が中心になるように前記撮像対象を撮像した画像の一部の領域である被写体領域を識別する被写体領域識別部とを備え、前記変動範囲決定部は、前記被写体領域識別部により識別された前記被写体領域に基づいて、検出された被写体の信号対雑音比が最大になるように前記焦点位置変動範囲を決定することが好ましい。【００３０】
これによれば、被写体領域を識別することにより、被写体領域に絞ってプリキャプチャ画像を評価して、焦点位置変動範囲を変動範囲決定部が決定することができる。このため、当該評価にかかるデータ量を少なくできるため、焦点位置変動範囲を決定する時間を短くすることができる。【００３１】
ここで、さらに、ユーザによる前記撮像対象における被写体が撮像される領域の選択を受け付ける選択受付部を備え、前記被写体領域識別部は、前記受付部により受け付けられた前記領域の選択に基づいて、前記被写体領域を識別することが好ましい。【００３２】
これによれば、ユーザによって与えられた情報に基づいて、被写体領域を認識しているため、少なくともユーザの意図に適した被写体について高い鮮鋭度の画像を得ることができる。【００３３】
また、本発明は、このような撮像装置として実現できるだけでなく、撮像装置における撮像方法として実現することもできる。また、撮像方法をコンピュータに実行させるためのプログラムとして実現することもできる。そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信することもできる。また、本発明は、各処理部の処理を行う集積回路として実現することもできる。
【発明の効果】
【００３４】
本発明の効果は、実際に画像を撮像する前に、焦点位置変動範囲をシーンに応じて自動的に決定することである。ユーザは、焦点位置変動範囲を手動で調整する必要がない。これにより、ユーザが簡単に操作を行うことができ、ユーザが混乱することが少なくなる。本発明は、画像における被写体の高周波成分および信号対雑音比を最大にするように試み、焦点位置変動範囲をシーンに基づいて適切に決定する。したがって、撮像されるシーンが未知であっても、種々のシーンタイプに対して高画質で、鮮鋭かつクリアである、被写界深度が拡大された画像が得られるため、本発明は、先行技術の特許文献２および他の既知の方法を超える効果を有する。【００３５】
本発明の別の効果は、使用および格納する高解像度画像が少なくて済むことである。したがって、特許文献１において開示された先行技術の方法のメモリよりも、少ないメモリでよい。さらに、本発明は、タイムラグが少なく、リアルタイムの用途に適用することが可能である。
【図面の簡単な説明】
【００３６】
【図１】図１は、先行技術による画像撮像方法を示す図である。
【図２】図２は、被写界深度が拡大された画像を構成するための、先行技術の方法を示すフロー図である。
【図３】図３は、撮像装置の被写界深度を深くするための先行技術による別の方法を示すフロー図である。
【図４Ａ】図４Ａは、１つのシーンにおいて２つの別々の撮像シナリオを撮像する一図示例である。
【図４Ｂ】図４Ｂは、１つのシーンにおいて２つの別々の撮像シナリオを撮像する一図示例である。
【図５Ａ】図５Ａは、本発明の一実施形態による撮像装置を示す図である。
【図５Ｂ】図５Ｂは、本発明の一実施形態による撮像装置を示す図である。
【図６Ａ】図６Ａは、本発明の一実施形態による拡大被写界深度のための装置のブロック図である。
【図６Ｂ】図６Ｂは、本発明の一実施形態による、被写界深度拡大処理を示すフローチャートである。
【図７】図７は、本発明の一実施形態による、被写体のボケおよび／または鮮鋭度を評価する処理のフローチャートである。
【図８】図８は、異なる焦点位置においてプリキャプチャされた画像の図示例である。
【図９】図９は、図８においてプリキャプチャされた各画像の合焦点表示画像を示す図である。
【図１０】図１０は、本発明の一実施形態による、焦点変動範囲を決定する処理のフローチャートである。
【図１１Ａ】図１１Ａは、異なる焦点位置を有するシーンにおける被写体の合焦レベルを示す図である。
【図１１Ｂ】図１１Ｂは、異なる焦点位置を有するシーンにおける被写体の合焦レベルを示す図である。
【図１１Ｃ】図１１Ｃは、異なる焦点位置を有するシーンにおける被写体の合焦レベルを示す図である。
【図１２】図１２は、本発明の一実施形態による撮像装置の図示例である。
【図１３】図１３は、本発明の一実施形態による撮像装置の図である。
【図１４】図１４は、本発明の別の実施形態による撮像装置の図である。
【図１５】図１５は、本発明の別の実施形態による撮像装置の図である。
【図１６Ａ】図１６Ａは、様々なフォーカススイープ範囲の所定の露光時間内において被写体の高周波成分を積算したものを示す図である。
【図１６Ｂ】図１６Ｂは、様々なフォーカススイープ範囲の所定の露光時間内において被写体の高周波成分を積算したものを示す図である。
【図１６Ｃ】図１６Ｃは、様々なフォーカススイープ範囲の所定の露光時間内において被写体の高周波成分を積算したものを示す図である。
【発明を実施するための形態】
【００３７】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置及び接続形態、動作の順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００３８】
本発明は、シーンを撮像した画像の被写界深度を拡大するための撮像装置および撮像方法を提供し、本発明では少なくとも１つの画像が、焦点位置を変動させて撮像される。撮像対象となるシーンに基づいて当該シーンに適応するように焦点位置変動範囲を自動的に決定し、決定した焦点位置変動範囲に従って焦点位置を変動させながらシーンを撮像し、少なくとも１つの出力画像を出力する。本発明は、出力される出力画像において、被写体の信号対雑音比が最大になるように商店変動範囲を決定する。したがって、種々のシーンタイプに対して高画質で鮮鋭かつクリアな被写界深度が拡大された画像が得られる。
【００３９】
図４Ａは、撮像される撮像対象としてのシーンの一例を示したものであり、当該シーンに複数の被写体が存在する場合を示す。このシーンでは、比較的近くの被写体は撮像装置に近く、比較的遠くの被写体は撮像装置から離れており、その間に複数の被写体がある。全ての被写体に対応して被写界深度が深い画像を得るためには、全ての被写体の高周波成分が撮像画像の中に埋め込まれるように、撮像装置の焦点位置を、近くの被写体から遠くの被写体へと変更して変動させた上で撮像する。このときに、例えば、このシーンにおいて、最も撮像装置に近い被写体に対して合焦する焦点位置から、最も撮像装置に遠い被写体に対して合焦する焦点位置までの「焦点位置変動範囲」は、ＳＲ１となる。
【００４０】
図４Ｂは、近くの被写体のみが存在するシーンを撮像する別の例を示す。このシーンに対して、図４Ａで示した焦点位置変動範囲ＳＲ１とは異なる焦点位置変動範囲を適応的に決定すべきである。例えば、焦点位置変動範囲を焦点位置変動範囲ＳＲ１よりも短い焦点位置変動範囲ＳＲ２にまで縮める。焦点位置変動範囲ＳＲ２は、図４Ｂに示す複数の被写体が図４Ａに示す複数の被写体よりも撮像装置に対して近い位置に存在している。つまり、撮像装置から最も遠い被写体は、図４Ｂに示す被写体の方が、図４Ａに示す被写体よりも近い位置にある。各被写体に合焦する位置を少なくとも含むように、シーンにおける被写体の撮像装置に対する位置の分布に応じて、焦点位置変動範囲を変更するため、被写体の有益な情報（高周波成分）が撮像された画像に埋め込まれる。
【００４１】
反対に、焦点位置変動範囲が固定されている場合、または、焦点位置変動範囲が予め設定されている場合、不必要な情報（ボケなど）が撮像されることがある。例えば、焦点位置変動範囲がＳＲ１に予め設定される場合、図４Ｂのシーンで用いることは不適切である可能性がある。なぜなら、焦点位置が第１の被写体（人物）および第２の被写体（木）を通過して移動させた後には、合焦して撮像される被写体が他に何もないのに画像の撮像が続けられ、さらに焦点位置変動範囲ＳＲ２を超えて焦点位置が変動している場合の変動範囲では第１および第２の被写体のボケた情報のみが撮像される。このように第１および第２の被写体のボケた情報が撮像される場合、出力画像における画質および被写体の鮮鋭度に影響することがある。一方で、図４Ｂのシーンに対して焦点位置変動範囲ＳＲ２が用いられた場合、被写体の最も有益な情報（高周波成分）が撮像され、被写体のボケた情報は極力撮像されない。このため、図４Ｂのシーンを撮像する場合、所定の露光時間において、焦点位置変動範囲ＳＲ２で撮像された画像は焦点位置変動範囲ＳＲ１で撮像された画像よりも信号対雑音比が高い。このように、焦点位置変動範囲ＳＲ２の範囲が短いため、所定の撮像時間内において焦点位置の変動を遅くすることができる。それによってより多くの時間の露光を行うことができる。
【００４２】
シーンに基づき焦点位置変動範囲を適応的に変更することにより、種々のシーンタイプに対して高画質の出力画像が得られる。本発明は、撮像レンズもしくは撮像素子、またはその両方を移動させることにより、焦点位置を変動することができる。図５Ａおよび図５Ｂは、本発明による撮像装置６００を示す。撮像装置６００は、撮像素子６（１２）と、撮像レンズ８（１４）と、アクチュエータ１０（１６）とを有する。アクチュエータ１０（１６）は、撮像素子６（１２）および撮像レンズ８（１４）の一方、または、その両方を動かす。アクチュエータ１０（１６）は、リニアモータ、ステップモータ、サーボ制御システム、圧電素子、または微小電気機械システム（ＭＥＭＳ）によって実現される。アクチュエータ１０（１６）は、高速で高精度であることが好ましい。本発明は、アクチュエータ１０（１６）を制御して、シーンに応じて長い範囲ＳＦ１またはＳＦ１よりも短い範囲ＳＦ２で撮像素子６（１２）または撮像レンズ８（１４）の少なくとも一方を動かすことにより、シーンに応じて焦点位置変動範囲を変動させた状態で撮像する。なお、焦点位置変動範囲は自動的に決定される。その詳細を次に述べる。
【００４３】
図６Ａは、本発明の一実施形態による、画像の被写界深度を拡大するための撮像装置６００のブロック図である。撮像装置６００は、プリキャプチャモジュール６０２と、被写体鮮鋭度評価モジュール６０４と、焦点変動範囲決定モジュール６０６と、画像撮像モジュール６０８と、逆重畳モジュール６１０と、内部バッファ６１２とを備える。
【００４４】
プリキャプチャモジュール６０２は、プリキャプチャ部として機能し、異なる焦点位置毎に撮像対象であるシーンを撮像し、最終的に撮像装置６００によって出力される出力画像（後述参照）よりも解像度の低い複数のプリキャプチャ画像を出力する。プリキャプチャモジュール６０２により出力されたプリキャプチャ画像は、内部バッファ６１２に格納させてもよいし、被写体鮮鋭度評価モジュール６０４によって直接処理されるようにしてもよい。
【００４５】
被写体鮮鋭度評価モジュール６０４は、複数のプリキャプチャされた画像における被写体の鮮鋭度を評価する。なお、被写体鮮鋭度評価モジュール６０４は、被写体の鮮鋭度を評価することの代わりに、被写体のボケを評価してもよい。ここで、被写体鮮鋭度評価モジュール６０４は、被写体の鮮鋭度（またはボケ）をプリキャプチャ画像における空間周波数が高周波数であるほど鮮鋭度が高いと評価してもよいし、コントラストが大きいほど鮮鋭度が高いと評価してもよい。この被写体の鮮鋭度の評価が行われることにより、当該評価は複数のプリキャプチャ画像における被写体の合焦レベルとして示される。つまり、以下では当該評価を「被写体の合焦レベル」として説明するが、「被写体の鮮鋭度」と置き換えてもよいし、「被写体のボケ」と置き換えてもよい。なお、「被写体のボケ」と置き換える場合には、大小関係が「被写体の合焦レベル」とは逆になる。この評価の結果は、内部バッファ６１２に格納させてもよいし、焦点変動範囲決定モジュール６０６に直接処理させてもよい。
【００４６】
焦点変動範囲決定モジュール６０６は、シーンの最終的に撮像装置６００に出力される出力画像における被写体の信号対雑音比が最大になる、それぞれの撮像シーンに適した焦点位置変動範囲を適切に決定する。この決定は、被写体の鮮鋭度（またはボケ）の評価の結果に基づくものである。
【００４７】
なお、被写体鮮鋭度評価モジュール６０４および焦点変動範囲決定モジュール６０６は、変動範囲決定部として機能し、プリキャプチャ部として機能するプリキャプチャモジュール６０２により撮像された複数のプリキャプチャ画像の鮮鋭度に基づいて、出力画像における信号対雑音比が最大になるように焦点位置変動範囲を決定する。
【００４８】
画像撮像モジュール６０８は、撮像部として機能し、変動範囲決定部として機能する被写体鮮鋭度評価モジュール６０４および焦点変動範囲決定モジュール６０６により決定された焦点位置変動範囲に従って焦点位置を変動させながら撮像対象を撮像し、少なくとも１つの出力画像を出力する。画像撮像モジュール６０８は、撮像対象となるシーンの撮像時に焦点位置を変動と、少なくとも１つの画像の撮像とを同時に開始する。このとき変動される焦点位置は決定された焦点位置変動範囲に基づく。これにより、焦点位置変動範囲に対応する重畳画像が作成される。
【００４９】
逆重畳モジュール６１０は、被写界深度拡大画像導出部として機能し、撮像部によって出力された少なくとも１つの画像と、予め定められた少なくとも１つの点広がり関数（ＰＳＦ）とを用いて、被写界深度が拡大された被写界深度拡大画像を導出する。つまり、逆重畳モジュール６１０は、予め定められた少なくとも１つのＰＳＦを用いることにより、画像撮像モジュール６０８により出力された撮像画像（重畳画像）を逆重畳して、被写界深度が拡大された被写界深度拡大画像を導出する。逆重畳モジュール６１０により出力された、被写界深度が拡大された画像は、「全焦点（ＡＩＦ）」画像とも呼ばれ、表示用に用いてもよい。または、ＡＩＦ画像は、奥行き推定および奥行き画像に基づくレンダリング（ＤＩＢＲ）法などのさらなる処理モジュールにおいて用いてもよい。これについて、さらなる詳細を他の実施形態において述べる。
【００５０】
撮像装置６００を構成するプリキャプチャモジュール６０２、被写体鮮鋭度評価モジュール６０４、焦点変動範囲決定モジュール６０６、画像撮像モジュール６０８、逆重畳モジュール６１０、および内部バッファ６１２は、通常は、ＩＣ（集積回路）、ＡＳＩＣ（特定用途集積回路）、ＬＳＩ（大規模集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）の形で実現され、またはＰＣ（パーソナルコンピュータ）を含むＣＰＵベースのプロセッサおよび機械により実現される。これらの各モジュールは、複数チップで構成されてもよいし、１チップで構成されてもよい。ここで用いた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれることもある。さらに、集積化を達成する方法は、ＬＳＩのみではなく、専用回路または汎用プロセッサ等で実現してもよい。これには、プログラム命令により制御することができる、ＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサが含まれる。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）や、ＬＳＩの接続または構成を再構成可能なプロセッサを同じ用途に利用してもよい。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩに取って代わるかもしれない。集積化はその技術によって行うことができる。実施の際に、撮像装置６００をデジタルスチルカメラおよびムービーカメラなどの撮像装置に組み込んでもよい。撮像装置６００は、独立型の装置に実装して、専門の撮像システムなどにおける画像撮像システムと協働するようにしてもよい。撮像装置６００を他の種類の装置に実装することも可能であり、これは本発明の範囲を限定するものではない。
【００５１】
図６Ｂは、本発明の一実施形態による、被写界深度の拡大処理のフローチャートである。
【００５２】
まず、ステップＳ６０２において、プリキャプチャモジュール６０２が、異なる焦点位置毎に撮像対象となるシーンを撮像（プリキャプチャ）し、複数のプリキャプチャ画像を出力する。ここでは「プリキャプチャ」という用語が用いられており、これは事前に焦点位置変動範囲を演算するためのシーンの撮像処理（以下、「プリキャプチャ処理」という）を示す。このプリキャプチャ処理により撮像された画像は、出力画像の構成に直接用いられるものではない。プリキャプチャ処理は、カメラがプレビューモードになっている間に行われてもよい。例えば、ムービーカメラの場合、ユーザが撮像予定のシーンにカメラを向けている間、プレビューモードがオンになる。プリキャプチャ処理は、録画ボタンを押す直前に行われてもよい。通常は、プリキャプチャ処理において撮像される画像の数は、１０枚より少ない。すなわち、プリキャプチャ処理には、通常のビデオ速度（３０フレーム毎秒）で１０枚の画像すべてを撮像する場合、３３０ミリ秒しかかからない。同じシーンで必要なプリキャプチャ処理は１回のみであるため、この遅延は許容できるものである。もう１つの例は、デジタルスチルカメラを用いる場合である。この場合のプリキャプチャ処理は、ユーザがシャッターボタンを半分押した直後に行われてもよい。これにより、ユーザが気付くほどの遅延は起こらない。
【００５３】
上記のプリキャプチャ処理には、他の既知の処理方法がある。例えば、露光およびシャッター速度決定機能、オートフォーカス機能等において行われるプリキャプチャ処理である。本発明は、このような既存のプリキャプチャ処理を利用することもできる。具体的には、オートフォーカス機能のためのプリキャプチャ処理を本発明に直接用いてもよい。なぜなら、本発明のプリキャプチャ処理により得られるプリキャプチャ画像は異なる合焦点を有してもよいからである。また、他のプリキャプチャ処理も用いてもよい。これは、本発明の範囲および精神を限定するものではない。メモリに効率よく格納するため、かつ以後の処理の効率を良くするために、プリキャプチャ処理により得られるプリキャプチャ画像の解像度は比較的低い解像度であることが好ましい。
【００５４】
プリキャプチャ処理における各画像の焦点位置は、アクチュエータを制御して撮像素子もしくは撮像レンズ、またはその両方を動かして効果的に変更してもよい。
【００５５】
ステップＳ６０４において、被写体鮮鋭度評価モジュール６０４は、プリキャプチャされた複数のプリキャプチャ画像における被写体の鮮鋭度（またはボケ）を評価して、複数のプリキャプチャ画像における被写体の合焦レベルを示す画像を得る。画像がプリキャプチャ処理においてプリキャプチャされた場合、この画像の焦点位置を記録する。シーンの中で、撮像装置からの距離が異なる被写体は、それぞれ異なるプリキャプチャ画像において鮮鋭に合焦するように見える。特定の被写体は、１つのプリキャプチャ画像のみにおいて最大鮮鋭度（最大合焦レベル）を有する。したがって、被写体の最大鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を確認することによって、当該被写体の撮像装置からの距離（以下、「被写体距離」とする。）を算出することができる。また、このように複数の被写体毎に被写体距離を算出することができるため、他の被写体に対する相対的な距離を算出することもできる。
【００５６】
ステップＳ６０６において、焦点変動範囲決定モジュール６０６は、焦点位置変動範囲を、撮像されるシーンの画像における被写体の信号対雑音比（ＳＮＲ）が最大になるように、ステップＳ６０４によって得られるプリキャプチャ画像に基づき決定される。例えば、一実施形態において、ステップＳ６０４から得られた画像内の被写体の最も高い合焦レベルから導き出される、少なくとも２つの被写体距離を用いて、上記範囲の始点および終点を決定してもよい。この場合に決定される始点および終点は、それぞれ、シーンにおける最小被写体距離および最大被写体距離に対応する。具体的には、１つの始点をシーンにおける最小被写体距離に対応させ、１つの終点をシーンにおける最小被写体距離から最大被写体距離までの範囲内の距離に対応させることにより決定される。つまり、焦点変動範囲決定モジュール６０６は、ステップＳ６０４において取得された複数の焦点位置の内で、最小の位置を始点とし、最大の位置を終点とすることにより焦点位置変動範囲を決定する。なお、焦点変動範囲決定モジュール６０６は、ステップＳ６０４において取得された複数の焦点位置の内で、所定の連続性を満たす複数の焦点位置から成る焦点位置群における最小の位置を始点とし最大の位置を終点とすることにより焦点位置変動範囲を複数決定してもよい。この場合には、「所定の連続性を満たす焦点位置」とは例えば１０枚連続して撮像するプリキャプチャ画像の内で連続して撮像されたプリキャプチャ画像に対応する焦点位置を指し、例えばステップＳ６０４において取得された複数の焦点位置が、１枚目から３枚目までのプリキャプチャ画像と７枚目から１０枚目までのプリキャプチャ画像に対応する位置であれば、１枚目から３枚目までのプリキャプチャ画像に対応する焦点位置の範囲と、７枚目から１０枚目までのプリキャプチャ画像に対応する焦点位置の範囲との２つの焦点位置範囲に焦点位置変動範囲が決定される。
【００５７】
ステップＳ６０８において、画像撮像モジュール６０８は、ステップＳ６０６において決定された焦点位置変動範囲に従って、撮像時に焦点位置を変動させながら撮像対象のシーンを撮像し、少なくとも１つの出力画像を出力する。そのシーンにおける、合焦位置および非合焦位置の両方の被写体の光信号は、撮像素子６（１２）における画素に蓄積されることにより出力画像（重畳画像）となる。なお、焦点変動範囲が複数の場合には、焦点変動範囲以外の範囲において、露光時間が短くなるように焦点変動の速度を速くしてもよいし、複数の焦点変動範囲のそれぞれにおいて画像を撮像するようにしてもよい。後者の場合には、複数の焦点変動範囲に対応する枚数の画像を撮像することになる。
【００５８】
ステップＳ６１０において、逆重畳モジュール６１０は、ステップＳ６０８において撮像された（重畳された）画像を少なくとも１つの点広がり関数（ＰＳＦ）を用いて逆重畳し、被写界深度が拡大された被写界深度拡大画像が得られる。なお、複数の焦点変動範囲が設定されて複数の画像が撮像された場合には、複数の画像を重ねあわせた画像に対して、その画像に対応する点広がり関数を用いて逆重畳することにより、被写界深度が拡大された被写界深度拡大画像が得られることになる。
【００５９】
上記被写界深度の拡大処理により、シーン内の被写体の被写体距離に基づいて焦点位置変動範囲を適応的に決定することによって、合焦位置にあるすべての被写体の光信号を画素に蓄積（積算）する。これは、シーン内の画像における被写体の高周波成分（合焦位置における被写体の光信号のことを指す）を確実に最大化するためである。よって、種々のシーンに対して、被写界深度が拡大された高画質な画像を得ることができる。
【００６０】
なお、ステップＳ６１０においては、既知の逆重畳方法を用いてもよい。このような逆重畳方法の一例は、「ウィナーデコンボリューション」または「ウィナーフィルタ」である。この方法に関する詳細は、Ｒ．Ｃ．Ｇｏｎｚａｌｅｚ＆Ｒ．Ｅ．Ｗｏｏｄｓによる、「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ」、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ  Ｐｕｂｌｉｓｈｉｎｇ  Ｃｏｍｐａｎｙ，Ｉｎｃ．、１９９２年（非特許文献２）に記載されている。また、既知の方法の他の例は、「ルーシー・リチャードソン・デコンボリューション」である。この方法の詳細は、Ｄ．Ｓ．Ｃ．Ｂｉｇｇｓ，Ａｐｐｌｉｅｄ  Ｏｐｔｉｃｓ，ｖｏｌ．３６、ｎｏ．８、１７６６-１７７５頁、１９９７年の「Ａｃｃｅｌｅｒａｔｉｏｎ  ｏｆ  Ｉｔｅｒａｔｉｖｅ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ  Ａｌｇｏｒｉｔｈｍｓ」（非特許文献３）に記載されている。
【００６１】
ステップＳ６１０において用いられている、ＰＳＦは、予めメモリに格納されている。予めメモリに格納されているＰＳＦは、撮像装置６００をキャリブレーションすることにより事前に算出してもよい。例えば、シーンにキャリブレーションチャートを配置して、異なる焦点位置で撮像する。キャリブレーションチャートと撮像装置との間の距離を適応的に変更しすることによりキャリブレーションチャートを撮像し、撮像することにより得られたキャリブレーションデータを用いてＰＳＦを算出する。または、ＰＳＦ推定技術を用いることによって、画像が撮像された時にＰＳＦを算出してもよい。このように、ブラインド・デコンボリューション技術などの逆重畳は、ステップＳ６１０において用いられる。
【００６２】
図７は、本発明の実施形態の一例による、被写体の鮮鋭度評価方法の詳細を示す図である。つまり、図７は、被写界深度の拡大処理におけるステップＳ６０４の処理についての詳細を説明する図である。
【００６３】
この方法は、ステップＳ６０２において異なる焦点位置において撮像された複数のプリキャプチャ画像が出力されると開始される。まず、ステップＳ７０２において被写体鮮鋭度評価モジュール６０４は、複数のプリキャプチャ画像を入力画像として取り込み、当該入力画像を平滑化する。
【００６４】
ステップＳ７０４において、被写体鮮鋭度評価モジュール６０４は、入力画像の垂直勾配画像および水平勾配画像と、平滑化された画像の垂直勾配画像および水平勾配画像とを算出する。ステップＳ７０６において、被写体鮮鋭度評価モジュール６０４は、入力画像および平滑化画像の垂直勾配画像間の差分画像と、入力画像および平滑化画像の水平勾配画像間の差分画像とを算出する。ステップＳ７０８において、被写体鮮鋭度評価モジュール６０４は、算出された垂直勾配の差分画像と、算出された水平勾配の差分画像とを用いることによって、対応する入力画像の合焦レベルを示す合焦点表示画像を複数の入力画像（プリキャプチャ画像）毎に算出して、このステップによって画像を得る。ステップＳ７１０において、この方法は、対応する入力画像に対して算出された合焦点表示画像および焦点位置を格納して、画像における被写体距離および被写体の合焦レベルが示される。全てのプリキャプチャ画像が評価されるまで、ステップＳ７０２からＳ７１０まで繰り返す。
【００６５】
図８は、プリキャプチャ処理における異なる焦点位置で撮像したプリキャプチャ画像の一例を示す図である。例えば、このシーンを、近焦点位置から遠焦点位置へ順に異なる焦点位置で撮像する。図８では、画像８０１を近焦点位置で撮像している。画像８０１の焦点は、近い被写体に合わせられている。焦点位置は、時間毎に変動している。画像８０５では、焦点位置が中央に変更されており、焦点が中央の被写体にあることを示す。さらに、焦点位置をこの次の遠い焦点に変更する。そして、遠焦点位置では、画像８０９において示されるように、焦点が遠くの被写体に合わせられている。このプリキャプチャ処理の後、それぞれが異なる焦点を有する複数のプリキャプチャ画像が得られる。
【００６６】
図９は、各プリキャプチャ画像の合焦レベル分布の実際の例を示す図である。これらは撮像された１０枚のプリキャプチャ画像である。画像Ａは、焦点位置を近焦点（ｎｅａｒ  ｆｏｃｕｓ）に設定して撮像したものである。この焦点位置は、近焦点から遠焦点（ｆａｒ  ｆｏｃｕｓ）に変更される。画像Ｊは、焦点位置を遠焦点に設定して撮像したものである。図９において、合焦レベルが画像Ａから画像Ｅに向かって増えていることが示されている。つまり、これは、画像Ｅにおいて最も近い被写体に合焦していることを示す。この画像の合焦レベルが高く、画像Ｊにおいて減少している。これは、すべての被写体の合焦レベルが減少しているため、最も遠い被写体がボケている（非合焦）ということである。遠い被写体の最も高い合焦レベルは、画像Ｉにおけるものである。したがって、焦点位置変動範囲を決定するために、画像ＥおよびＩの焦点位置を用いることができる。
【００６７】
図１０は、本発明の一実施形態による、焦点変動範囲を決定する処理の詳細図である。つまり、図１０は、被写界深度の拡大処理におけるステップＳ６０６の処理についての詳細を説明する図である。
【００６８】
この方法は、ステップＳ６０４において被写体の合焦レベルが示されると開始される。まず、ステップＳ１００２において、焦点変動範囲決定モジュール６０６は、複数の合焦レベル分布と、その複数の入力画像に対応する複数の焦点位置とを取得する。ステップＳ１００４において、焦点変動範囲決定モジュール６０６は、シーンにおける最も近い被写体の最大合焦レベルを有する第１の画像を識別し、当該シーンにおける最も遠い被写体の最大合焦レベルを有する第２の画像を識別する。ステップＳ１００６において、焦点変動範囲決定モジュール６０６は、最終的に出力される出力画像の信号対雑音比が最大になるように、識別された第１および第２の画像の焦点位置に基づき焦点位置変動範囲を算出する。
【００６９】
図１１Ａ〜図１１Ｃは、異なる焦点位置にわたるシーンの被写体別の合焦レベルの例を示す図である。なお、ここで示す焦点位置は焦点位置の番号が小さいほど近い位置であり、大きい程遠い位置であることを意味する。具体的には、図１１Ａは、図８における第一の被写体８１１を撮像した場合の異なる焦点位置にわたる合焦レベルを示す。図１１Ａにおいては、被写体の合焦レベルは、焦点位置点１から焦点位置点５まで増加し、その後連続的に減少している。
【００７０】
図１１Ｂは、図８における第二の被写体８１２を撮像した場合の異なる焦点位置にわたる合焦レベルを示す。図１１Ｂにおいては、被写体の合焦レベルは、焦点位置１から焦点位置６まで増加し、焦点位置７及び８まで水平に移行し、その後減少する。つまり、中間の被写体に対応する合焦レベルが示されている。
【００７１】
図１１Ｃは、図８における第三の被写体８１３を撮像した場合の異なる焦点位置にわたる合焦レベルを示す。図１１Ｃにおいては、被写体の合焦レベルは、焦点位置１から焦点位置点９まで増加し、その後減少する。つまり、遠い被写体に対応する合焦レベルが示されている。
【００７２】
これらの例から、最も近い被写体である第一の被写体８１１に対応する最大合焦レベルはＰ５であると識別され、最も遠い被写体の最大合焦レベルはＰ９であると識別される。したがって、焦点位置変動範囲は、Ｐ５およびＰ９に対応するプリキャプチャ画像の焦点位置から導き出される。
【００７３】
これによれば、焦点変動範囲決定モジュール６０６が、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の合焦レベル（鮮鋭度）を、複数のプリキャプチャ毎に取得し、複数の領域毎のプリキャプチャ画像別の合焦レベル（鮮鋭度）の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を複数の領域毎に取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。
【００７４】
このため、各領域において最大の合焦レベル（鮮鋭度）を有するプリキャプチャ画像に対応する焦点位置を取得し、取得した焦点位置に基づいて焦点位置変動範囲を決定する。これにより、分割された領域に被写体が存在する場合に、その被写体に対応する焦点位置を取得することができる。つまり、取得した焦点位置が含まれるように焦点位置変動範囲が決定されるため、撮像対象となるシーンに含まれる各被写体に対して鮮鋭度の高い画像を得ることができる。
【００７５】
また、焦点変動範囲決定モジュール６０６は、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の合焦レベル（鮮鋭度）を、複数のプリキャプチャ画像毎に取得し、取得した複数のプリキャプチャ画像毎かつ複数の領域毎の合焦レベルの内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得し、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定してもよい。
【００７６】
これによれば、焦点変動範囲決定モジュールが、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の合焦レベル（鮮鋭度）を、複数のプリキャプチャ画像毎に取得し、複数のプリキャプチャ毎かつ複数の領域毎の合焦レベル（鮮鋭度）の内で、予め定められた閾値よりも大きい合焦レベル（鮮鋭度）を有するプリキャプチャ画像が撮像された焦点位置を複数取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。
【００７７】
このため、少なくとも予め定められた閾値よりも大きい合焦レベル（鮮鋭度）を有するプリキャプチャ画像が撮像された焦点位置が含まれるように焦点位置変動範囲が決定される。つまり、合焦レベル（鮮鋭度）の大きい被写体に対応する焦点位置を取得できるため、撮像対象となるシーンの内で合焦レベル（鮮鋭度）が大きく撮像される範囲を焦点位置変動範囲として設定することができる。このため、鮮鋭度の高い画像を得ることができる。
【００７８】
図１２は、本発明の実施形態による撮像装置６００のハードウェアの概略ブロック図を示す。撮像装置６００は、光学系１２０２と、撮像素子１２０４と、ＡＤＣ（アナログ−デジタル変換器）１２０６と、イメージプロセッサ１２０８と、マイクロコンピュータ１２１０と、外部メモリ１２１２と、ドライバコントローラ１２２０と、ＯＩＳ（光学式手振れ防止機構）センサ１２１８と、操作部１２２２と、記憶／送信装置１２１６と、表示装置１２１４とを備える。イメージプロセッサ１２０８は、内部メモリ１２４０と、拡大被写界深度モジュール１２４６と、原画像プロセッサ１２４２と、カラー画像プロセッサ１２４３と、必要に応じて３Ｄ画像プロセッサ１２４４とを備える。マイク、スピーカなどの他の構成要素は図示されていないが、これは本発明の範囲を限定するものではない。
【００７９】
光学系１２０２は、撮像素子１２０４に到達する光信号を制御するために、複数のレンズまたはレンズの集合、ズーム／フォーカス機構、アクチュエータ、シャッター、開口部などの構成要素を備えてもよい。
【００８０】
撮像素子１２０４は、光学系１２０２により就航された入射光を蓄積し、その光を電気信号に変換する。この撮像素子１２０４は、マイクロコンピュータ１２１０により制御される。撮像素子１２０４により変換された電気信号は、ＡＤＣ１２０６によりデジタルデータ（原画像データ）に変換され、内部メモリ１２４０または外部メモリ１２１２に格納される。原画像データは、複数のプリキャプチャ画像から成る組を含んでおり、各プリキャプチャ画像は異なる焦点位置で撮像される。また、原画像データは、プリキャプチャ画像よりも高解像度の画像を含む。このプリキャプチャ画像よりも高解像度の画像は、画像撮像時に焦点位置を変動させながら撮像されることより異なる焦点位置において撮像された画像が重畳された状態の原画像データが作成される。
【００８１】
原画像プロセッサ１２４２は、内部メモリ１２４０（または外部メモリ１２１２）から原画像データを取り込み、サイズ変更、直線性補正、ホワイトバランス、ガンマ補正等の多くの前処理（図示せず）を行ってもよい。この前処理された原画像データを、記憶／送信装置１２１６により格納または送信してもよい。また、前処理された原画像データを、カラー画像プロセッサ１２４３で処理することで、ＲＧＢまたはＹＣｂＣｒ等のカラー画像を生成することもできる。カラー画像プロセッサ１２４３は、好適なカラー画像を生成するために、色補間、色補正、色調範囲の調整、色ノイズの低減等の処理を行う。拡大被写界深度モジュール１２４６は、プリキャプチャされた画像を取り込み、マイクロコンピュータ１２１０を制御して、画像の撮像中に焦点位置を変動させるために撮像レンズまたは撮像素子を駆動させる。撮像画像は、拡大被写界深度モジュール１２４６に入力され、拡大被写界深度（「オールインフォーカス（ＡＩＦ）と呼ばれる」）画像が生成される。出力されるＡＩＦ画像は、表示装置１２１４上で表示するために用いてもよく、記憶／送信装置１２１６に格納してもよい。記憶／送信装置１２１６の内の記憶装置の例には、フラッシュベースのメモリカード、ハードドライブ、および光学ドライブが含まれ、また、これらに限定されない。また、記憶／送信装置１２１６の内の送信装置の例には、ＨＤＭＩインターフェース、ＵＳＢインターフェース、ワイヤレスインターフェースおよびｄｉｒｅｃｔ−ｔｏ−ｐｒｉｎｔｅｒインターフェースが含まれ、また、これらに限定されない。記憶／送信装置１２１６で処理されるデータは、任意に可逆または不可逆圧縮されていてもよい。さらに、出力されるＡＩＦ画像は、３Ｄ画像プロセッサ１２４４などのさらなる処理モジュールにおいて用いてもよい。ＡＩＦ画像は、奥行き推定および３Ｄ画像生成に用いられてもよい。この詳細は次の実施形態で後述する。
【００８２】
光学系１２０２は、マイクロコンピュータ１２１０によって制御される、ドライバコントローラ１２２０により制御されてもよい。操作部１２２２は、ユーザ操作による入力を受信し、マイクロコンピュータ１２１０に電気信号を送信して関連したモジュール、例えば、ドライバコントローラ１２２０、撮像素子１２０４、イメージプロセッサ１２０８などのユーザ入力に対応するモジュールを制御する。ＯＩＳセンサ１２１８は、手振れまたはカメラの動きによる動きを検知し、電気信号をマイクロコンピュータ１２１０に送信する。マイクロコンピュータ１２１０は、ドライバコントローラ１２２０を制御して、光学系１２０２における、ドライバコントローラ１２２０を介して動きを補償するようにレンズを動かすためのアクチュエータ等を制御して、それにより手振れまたはカメラによるモーションブラーの影響を低減する。
【００８３】
イメージプロセッサ１２０８は、拡大被写界深度モジュール１２４６からの第１の電気信号を、マイクロコンピュータ１２１０に送信してもよい。マイクロコンピュータ１２１０は、ドライバコントローラ１２２０を制御して、光学系１２０２における、プリキャプチャ処理中に各画像の焦点位置を変更するためのアクチュエータ等を制御する。
【００８４】
また、イメージプロセッサ１２０８は、拡大被写界深度モジュール１２４６からの第２の電気信号を、マイクロコンピュータ１２１０に送信してもよい。マイクロコンピュータ１２１０は、ドライバコントローラ１２２０を制御して、光学系１２０２における、動きを補償するようにレンズを動かすためのアクチュエータ等を制御して、プリキャプチャ処理中に焦点位置を変更し、重畳画像を作成し、拡大被写界深度モジュール１２４６に入力して拡大被写界深度画像を生成する。
【００８５】
なお、拡大被写界深度モジュール１２４６の詳細は、前述の実施形態の撮像装置６００で示す機能を実現するハードウェアである。
【００８６】
イメージプロセッサ１２０８、拡大被写界深度モジュール１２４６、およびその内部のモジュールは、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途集積回路）、またはＬＳＩ（大規模集積回路）の形で実現される。これらの各モジュールは、複数チップで構成されてもよいし、１チップで構成されてもよい。ここで用いた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれることもある。さらに、集積化を達成する方法は、ＬＳＩのみではなく、専用回路または汎用プロセッサ等で実現してもよい。これには、プログラム命令により制御することができる、ＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサが含まれる。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）や、ＬＳＩの接続または構成を再構成可能なプロセッサを利用してもよい。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩに取って代わるかもしれない。集積化はその技術によって行うことができる。
【００８７】
本実施形態にかかる撮像装置６００によれば、プリキャプチャモジュール６０２が、実際に撮像対象を撮像して出力画像を得る前に、撮像対象を異なる焦点位置毎に複数回撮像した結果としてプリキャプチャ画像を得ている。そして、被写体鮮鋭度評価モジュール６０４が複数のプリキャプチャ画像の鮮鋭度を求めている。つまり、被写体鮮鋭度評価モジュール６０４が複数の焦点位置において撮像されたプリキャプチャ画像の鮮鋭度を予め求めることにより、撮像対象となるシーンにおける被写体の撮像装置に対する位置を把握することができる。これにより、焦点変動範囲決定モジュール６０６は、例えば、撮像対象となるシーンにおいて、鮮鋭度が大きく撮像できる各被写体に対する焦点位置が含まれるように焦点位置変動範囲を自動的に決定することができる。
【００８８】
このように、実際に画像を撮像する前に、焦点位置変動範囲を撮像対象となるシーンに応じて自動的に決定することにより、ユーザは、焦点位置変動範囲をシーンに合わせて手動で調整する必要がない。これにより、ユーザは、撮像装置の操作を容易に行うことができ、操作方法を混乱することを低減できる。したがって、撮像されるシーンにおける被写体の撮像装置６００に対する位置が未知の場合であっても、種々のシーンに対して高品質、鮮鋭、かつクリアであって、被写界深度が拡大された画像を得ることができる。
【００８９】
また、焦点位置変動範囲を決定するために取得される複数のプリキャプチャ画像は出力画像よりも低解像度であるため、使用および格納する高解像度画像が少なくて済む。したがって、特許文献１において開示された先行技術の方法のメモリよりも、少ないメモリでよい。さらに、本発明は、タイムラグが少なく、リアルタイムの用途に適用することが可能である。
【００９０】
図１３は、本発明の一実施形態による撮像装置を含む拡大被写界深度装置１３００を例示するブロック図である。本実施形態において、３Ｄ（左および右）画像を生成する際に適用する拡大被写界深度装置１３００の詳細を、図示例により説明する。拡大被写界深度装置１３００は、撮像対象であるシーンを複数プリキャプチャし、メモリ１３４０に格納する。各プリキャプチャ画像は、異なる焦点位置において撮像される。したがって、異なるプリキャプチャ画像に存在する各被写体は、異なる鮮鋭度を有する。コントローラ１３２０は、アクチュエータ（図示せず）を制御して、プリキャプチャする際に画像の焦点位置を変更するために、レンズ系１３０２および撮像素子１３０４の少なくとも一方を移動させる。被写体鮮鋭度評価モジュール１３４６は、メモリ１３４０から複数の画像を取り込み、各画像の被写体のボケおよび／または鮮鋭度を評価して、その画像における被写体に対応する被写体距離および被写体の合焦レベルを示すデータを得る。被写体鮮鋭度評価モジュール１３４６は、得られたデータをメモリ１３４０に格納してもよいし、得られたデータをさらに焦点変動範囲決定モジュール１３４２にも送信してもよい。焦点変動範囲決定モジュール１３４２は、得られたデータを取り込み、焦点位置変動範囲を決定する。具体的には、焦点変動範囲決定モジュール１３４２は、上記で得られたデータに基づき、近い被写体に対して得られた最大の合焦レベルと遠い被写体に対して得られた最大の合焦レベルとを考慮することによって、焦点変動範囲の始点および終点を求める。焦点変動範囲決定モジュール１３４２は、この焦点変動範囲の始点として、近い被写体の合焦レベルが最大であるプリキャプチャ画像の焦点位置から導き出し、焦点変動範囲の終点として、遠い被写体の合焦レベルが最大であるプリキャプチャ画像の焦点位置から導き出す。つまり、この焦点変動範囲によってレンズ系１３０２および撮像素子１３０４の少なくとも一方を移動させることにより撮像されるシーンの画像は、近い被写体から遠い被写体までの全ての最大の合焦レベルを含むということである。したがって、この決定された範囲内で焦点位置を変動させている状態で撮像された画像において、すべての被写体の鮮鋭度が最大になる画像が重畳された画像が撮像される。
【００９１】
図１３を参照して、焦点変動範囲決定モジュール１３４２は、焦点位置変動範囲を示す電気信号をコントローラ１３２０に送信する。コントローラ１３２０は、アクチュエータを制御して、焦点位置変動範囲を示す電気信号に基づいて画像の撮像中に焦点位置を変動させる。上記装置は、焦点位置を変動させながら少なくとも１つの画像を撮像し、メモリ１３４０に格納する。逆重畳モジュール１３４３は、メモリ１３４０に格納された画像を取り込み、当該画像を、予め定められた少なくとも１つの点広がり関数（ＰＳＦ）を用いることにより逆重畳して、ＡＩＦ画像を得る。この拡大被写界深度装置１３００は、さらに、追加の近焦点画像および遠焦点画像を撮像してもよい。または、近焦点画像および遠焦点画像は、逆重畳モジュール１３４３において用いられてもよい。ＡＩＦ画像は、被写界深度が強化された画像（２Ｄ）として表示するために用いられてもよい。ＡＩＦ画像、近焦点画像、および遠焦点画像は、奥行き推定モジュール１３４５において用いられてもよい。奥行き推定モジュール１３４５は、高度な錯視現象（Ａ−ＤＦＤ）技術を用いて奥行きマップを推定する。推定された奥行きマップおよびＡＩＦ画像は、ＤＩＢＲ（奥行き画像に基づくレンダリング）モジュール１３４７に入力される。ＤＩＢＲモジュール１３４７は、３Ｄ視に用いることができる、立体視用の左右の画像を生成する。
【００９２】
一実施形態において、焦点位置変動範囲は、撮像対象のシーンに基づき適応的に決定してもよい。例えば、１．０メートルから２．５メートルまでの距離の被写体を含むシーンを撮像するために焦点位置を変動させる範囲は、１．０メートルから１０メートルまでの距離の被写体を含むシーンを撮像するための焦点位置変動範囲よりも、短くてもよい。以下の薄型レンズの方程式によると、  
【数１】
2012063449.tif 000003
であり、（式１）中、ｆは拡大被写界深度装置１３００における撮像システムの焦点距離であり、ｕは、シーンにおける被写体と撮像レンズとの間の距離であり、ｖは、距離ｕにある被写体が合焦して鮮鋭に見える、撮像レンズと画像平面との間の距離である。例えば、焦点距離ｆ＝１８ｍｍを有する撮像システムが、１．０メートル先の距離にある被写体にフォーカスしている場合、被写体が合焦して見える撮像レンズと画像平面との距離は、以下の（式２）および（式３）に示すように算出される。
【００９３】
【数２】
2012063449.tif 000004
【００９４】
【数３】
2012063449.tif 000005
【００９５】
この撮像システムが２．５メートル先の距離にある被写体にフォーカスしている場合、被写体が合焦して見える撮像レンズと画像平面との距離は、ｖ＝１８．１３０５ｍｍである。したがって、例えば、この例では、１．０メートルから２．５メートルまでの距離の被写体を含むシーンを撮像するために焦点位置を変動させる範囲は、１８．３２９９ｍｍから１８．１３０５ｍｍに設定される。この場合に、例えばアクチュエータを制御して、撮像レンズまたは撮像素子を１９９．４ｕｍの距離で動かす。そして、上記の撮像システムが１０．０メートル先の距離にある被写体にフォーカスしている場合、被写体が合焦して見える撮像レンズと画像平面との距離は、ｖ＝１８．０３２４ｍｍである。したがって、この例では、１．０メートルから１０．０メートルまでの距離の被写体を含むシーンを撮像するために焦点位置を変動させる範囲は、１８．３２９９ｍｍから１８．０３２４ｍｍに設定される。この場合に、例えばアクチュエータを制御して、撮像レンズまたは撮像素子を２９７．５ｕｍの距離で動かす。
【００９６】
これを適応的に行うことによって、（焦点位置を変動させながら）撮像された画像の被写体の（焦点での）合焦レベルが最大になる。また、特に、比較的近い被写体のみを含むシーンの画像に対しては、焦点変動範囲が短いため、被写体の信号対雑音比も最大になる。
【００９７】
図１６Ａ〜図１６Ｃは、様々なフォーカススイープ（変動）範囲の所定の露光時間において被写体の合焦レベルを、コントラストを積算することにより算出したものである。図１６Ａにおいて、このシーンは被写体ＯＢ１（比較的カメラに近い）、被写体ＯＢ２（中央）、および被写体ＯＢ３（比較的カメラから遠い）を含む。焦点位置変動範囲は、被写体ＯＢ１、ＯＢ２、およびＯＢ３の最大の合焦点（最大のコントラスト）を積算するように設定され、距離Ｄ１に対応する。各位置の被写体の光信号を積算するための時間量は、例えば［積算時間（Ｔ）／距離（Ｄ１）］で算出する。図１６Ｂにおいて、このシーンは、被写体ＯＢ１（比較的カメラに近い）および被写体ＯＢ２（中央）のみを含む。従来のように、焦点位置変動範囲が予め定義されている場合は、Ｄ１と同様に設定されるが、これは適切ではない。図１６Ｂに示すように、各位置の被写体の光信号を積算するための時間量は、［積算時間（Ｔ）／距離（Ｄ２）］で算出され、Ｄ２＝Ｄ１であるが、ＯＢ２の後に何も被写体がないため、適切ではない。ＯＢ２の後の何も被写体がない範囲を焦点変動範囲に含む必要はない。図１６Ｃにおいては、シーンは図１６Ｂのように、被写体ＯＢ１（比較的カメラ近い）、および被写体ＯＢ２（中央）のみを含む。しかし、焦点位置変動範囲が変更され、短くなる。これは、ＯＢ１の最大合焦点からＯＢ２の最大合焦位置までの光信号のみを積算するためである。各位置の被写体の光信号を積算する時間は、［積算時間（Ｔ）／距離（Ｄ３）］＞［積算時間（Ｔ）／距離（Ｄ２）］である。つまり、被写体ＯＢ１およびＯＢ２のみのシーンを撮像する場合、予め複数のプリキャプチャ画像を撮像して異なる焦点距離に対応した被写体コントラストを取得できるため被写体ＯＢ２が存在する被写体距離より被写体距離が遠い範囲を含まない範囲を焦点変動範囲として自動的に設定する。このように、被写体が存在する範囲に合わせて焦点範囲を設定できるため、撮像された画像内の被写体の合焦位置における信号対雑音比が、最大になる。
【００９８】
一実施形態において、焦点位置変動範囲は、アクチュエータの動作速度により制限される。例えば、アクチュエータの最大動作速度が、４３ｍｍ／秒である場合、ビデオフレーム速度（３０フレーム毎秒）範囲の上限は、４３／３０＝１．４３３ｍｍである。
【００９９】
一実施形態において、撮像システムの露光時間は、決定された焦点位置変動範囲に基づいて調整してもよい。これは、静止画像には有効である。例えば、最初の露光時間が１／８秒と設定されており、決定された変動範囲が４．３ｍｍでアクチュエータが最大速度４３ｍｍ／秒で動く場合、この範囲に対する露光時間を１／１０秒に調整してもよい。一方、アクチュエータの動作速度を露光時間に合致するように調整してもよい。この例において、アクチュエータの動作速度を３４．４ｍｍ／秒に調整してもよい。
【０１００】
また、焦点位置変動範囲の大きさに応じて画素が飽和しないように露光時間を調整してもよい。この場合、光信号の量が極力多い状態で撮像対象を撮像することができる。つまり、鮮鋭度が高く、高画質でクリアな画像を得ることができる。また、予め定められた露光時間に従って焦点位置変動範囲を制限してもよい。この場合、光の量が多い場合などに有効である。
【０１０１】
本発明に従って、画像撮像中に焦点位置を変動させながらシーンの画像を撮像することにより、出力ＡＩＦ画像の画質が向上する。出力ＡＩＦ画像を表示用（２Ｄ視）に用いた場合、より鮮鋭かつクリアな被写体を見ることができる。出力ＡＩＦ画像を奥行き推定に用いた場合（１３４５）、推定された奥行きマップの精度が向上する。出力ＡＩＦ画像を３Ｄ画像生成に用いた場合、鮮鋭かつクリアな３Ｄ画像が得られ、３Ｄ視の効果が向上する。
【０１０２】
図１４は、本発明の別の実施形態による撮像装置１４００のブロック図である。この実施形態と図１３における実施形態との差異は、被写体検出モジュール１４４６が用いられていることである。被写体検出モジュール１４４６は、被写体検出部として機能し、撮像対象のシーンにおける例えば顔などの被写体を検出する。被写体検出モジュール１４４６はまた、被写体領域識別部としても機能し、顔などの検出された被写体に基づいて、検出された被写体が中心になるように撮像対象を撮像した画像の一分の領域である被写体領域として関心領域（ＲＯＩ）を識別する。識別した関心領域に関するＲＯＩデータは、焦点変動範囲決定モジュール１４４２に送信してもよい。焦点変動範囲決定モジュール１４４２は、撮像されるシーンの画像内で検出された被写体の信号対雑音比が最大になるように、ＲＯＩデータに基づいて焦点位置を変動させる範囲を決定する。焦点変動範囲決定モジュール１４４２は、焦点位置を変動させる範囲を示す電気信号をコントローラ１４２０に送信する。コントローラ１４２０は、アクチュエータを制御して、画像の撮像中に焦点位置を変動させる。上記装置は、焦点位置を変動させながら少なくとも１つの画像を撮像し、メモリ１４２４に格納する。逆重畳モジュール１４４３は、撮像画像を取り込み、逆重畳して、出力されるＡＩＦ画像を得る。この装置は、さらに、追加の近焦点画像および遠焦点画像を撮像してもよい。または、近焦点および遠焦点画像は、逆重畳モジュール１４４３において用いられてもよい。ＡＩＦ画像は、被写界深度が強化された画像（２Ｄ）として表示するために用いられてもよい。ＡＩＦ画像、近焦点画像、および遠焦点画像は、奥行き推定モジュール１４４５において用いられてもよい。奥行き推定モジュール１４４５は、高度な錯視現象（Ａ−ＤＦＤ）技術を用いて奥行きマップを推定する。推定された奥行きマップおよびＡＩＦ画像は、ＤＩＢＲ（奥行き画像に基づくレンダリング）モジュール１４４７に入力される。ＤＩＢＲモジュール１４４７は、３Ｄ視に用いることができる、立体視用の左右の画像を生成する。
【０１０３】
このように、被写体領域を関心領域（ＲＯＩ）として識別することにより、ＲＯＩに絞ってプリキャプチャ画像を評価して、焦点位置変動範囲を焦点変動範囲決定モジュール１４４２が決定することができる。このため、当該評価にかかるデータ量を少なくできるため、焦点位置変動範囲を決定する時間を短くすることができる。
【０１０４】
図１５は、本発明の別の実施形態による撮像装置１５００のブロック図である。この実施形態と図１３における実施形態との差異は、ユーザインターフェイスモジュール１５４６が実装されていることである。ユーザインターフェイスモジュール１５４６は、選択受付部として機能し、ディスプレイモジュール１５１４に設けられているタッチスクリーン表示装置などのユーザインタラクション機器を介して、ユーザによる前記撮像対象における被写体が撮像される領域の選択を関心対象物（ＯＯＩ）として受け付ける。ユーザインターフェイスモジュール１５４６はまた、被写体領域識別部としても機能し、受け付けた関心対象物に関するＯＯＩデータに基づいて、ＯＯＩが関心領域（ＲＯＩ）の中心になるようにシーンにおけるＲＯＩを識別する。識別したＲＯＩに関するＲＯＩデータは、焦点変動範囲決定モジュール１５４２に送信される。焦点変動範囲決定モジュール１５４２は、撮像されるシーンの画像内で検出されたＯＯＩの信号対雑音比が最大になるように、ＲＯＩデータに基づいて焦点位置変動範囲を決定する。焦点変動範囲決定モジュール１５４２は、焦点位置を変動させる範囲を示す電気信号をコントローラ１５２０に送信する。コントローラ１５２０は、アクチュエータを制御して、画像の撮像中に焦点位置を変動させる。上記装置は、焦点位置を変動させながら少なくとも１つの画像を撮像し、メモリ１５２４に格納する。逆重畳モジュール１５４３は、撮像画像を取り込み、逆重畳して、出力されるＡＩＦ画像を得る。この装置は、さらに、追加の近焦点画像および遠焦点画像を撮像してもよい。または、近焦点および遠焦点画像は、逆重畳モジュール１５４３において用いられてもよい。ＡＩＦ画像は、被写界深度が強化された画像（２Ｄ）として表示するために用いられてもよい。ＡＩＦ画像、近焦点画像、および遠焦点画像は、奥行き推定モジュール１５４５において用いられてもよい。奥行き推定モジュール１５４５は、高度な錯視現象（Ａ−ＤＦＤ）技術を用いて奥行きマップを推定する。推定された奥行きマップおよびＡＩＦ画像は、ＤＩＢＲ（奥行き画像に基づくレンダリング）モジュール１５４７に入力される。ＤＩＢＲモジュール１５４７は、３Ｄ視に用いることができる、立体視用の左右の画像を生成する。
【０１０５】
これによれば、ユーザによって与えられた情報である関心対象物（ＯＯＩ）に基づいて、被写体領域（関心領域）を認識しているため、少なくともユーザの意図に適した被写体について高い鮮鋭度の画像を得ることができる。
【産業上の利用可能性】
【０１０６】
本発明は、効率的でメモリ使用が少なく、著しいタイムラグがなく、リアルタイムの動作が可能であり、撮像するシーンが未知で予測不可能である場合でも種々のシーンに対して鮮鋭な画像が自動的に得ることができる撮像装置等として有用である。
【符号の説明】
【０１０７】
６００  撮像装置
６０２  プリキャプチャモジュール
６０４  被写体鮮鋭度評価モジュール
６０６  焦点変動範囲決定モジュール
６０８  画像撮像モジュール
６１０  逆重畳モジュール
６１２  内部バッファ
８０１  画像
８０５  画像
８０９  画像
８１１  第一の被写体
８１２  第二の被写体
８１３  第三の被写体
１２０２  光学系
１２０４  撮像素子
１２０６  ＡＤＣ
１２０８  イメージプロセッサ
１２１０  マイクロコンピュータ
１２１２  外部メモリ
１２１４  表示装置
１２１６  記憶／送信装置
１２１８  ＯＩＳセンサ
１２２０  ドライバコントローラ
１２２２  操作部
１２４０  内部メモリ
１２４２  原画像プロセッサ
１２４３  カラー画像プロセッサ
１２４４  ３Ｄ画像プロセッサ
１２４６  拡大被写界深度モジュール
１３００  拡大被写界深度装置
１３０２  レンズ系
１３０４  撮像素子
１３２０  コントローラ
１３４０  メモリ
１３４２  焦点変動範囲決定モジュール
１３４３  逆重畳モジュール
１３４５  推定モジュール
１３４６  被写体鮮鋭度評価モジュール
１３４７  モジュール
１４００  撮像装置
１４２０  コントローラ
１４２４  メモリ
１４４２  焦点変動範囲決定モジュール
１４４３  逆重畳モジュール
１４４５  推定モジュール
１４４６  被写体検出モジュール
１４４７  ＤＩＢＲモジュール
１５００  撮像装置
１５１４  ディスプレイモジュール
１５２０  コントローラ
１５２４  メモリ
１５４２  焦点変動範囲決定モジュール
１５４３  逆重畳モジュール
１５４５  推定モジュール
１５４６  ユーザインターフェイスモジュール
１５４７  ＤＩＢＲモジュール
【図１】
2012063449.tif 000006
【図２】
2012063449.tif 000007
【図３】
2012063449.tif 000008
【図４Ａ】
2012063449.tif 000009
【図４Ｂ】
2012063449.tif 000010
【図５Ａ】
2012063449.tif 000011
【図５Ｂ】
2012063449.tif 000012
【図６Ａ】
2012063449.tif 000013
【図６Ｂ】
2012063449.tif 000014
【図７】
2012063449.tif 000015
【図８】
2012063449.tif 000016
【図９】
2012063449.tif 000017
【図１０】
2012063449.tif 000018
【図１１Ａ】
2012063449.tif 000019
【図１１Ｂ】
2012063449.tif 000020
【図１１Ｃ】
2012063449.tif 000021
【図１２】
2012063449.tif 000022
【図１３】
2012063449.tif 000023
【図１４】
2012063449.tif 000024
【図１５】
2012063449.tif 000025
【図１６Ａ】
2012063449.tif 000026
【図１６Ｂ】
2012063449.tif 000027
【図１６Ｃ】
2012063449.tif 000028
【国際調査報告】
2012063449.tif 000029
2012063449.tif 000030