(57)【特許請求の範囲】
【請求項１】
二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、
前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、
前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、
前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御するように構成された変位制御部と、
大きさを変更することが可能な開口を有し、前記レンズ光学系に設けられた絞りと、
前記絞りの前記開口の大きさ制御するように構成された開口制御部と、
前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記開口制御部を制御するように構成された同期部と、
前記露光の時間、前記絞り開口の大きさおよび前記変位パターンを決定する撮像パラメータ決定部と、
を備え、
前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前記フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、
前記所定の変位パターンにおいて、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返され、
前記開口制御部は、前記同期部からのタイミングに基づき、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンにおいて、第１の開口および前記第１の開口とは異なる大きさの第２の開口を有するように前記絞りを制御する、撮像装置。
【請求項２】
前記第１タイプの変位パターンは、前記第１合焦位置と前記第２合焦位置との中間位置から変位しない請求項１に記載の撮像装置。
【請求項３】
前記第１タイプの変位パターンは、前記第１合焦位置よりも前記第２の合焦位置に近接した位置と、前記第２合焦位置よりも前記第１の合焦位置に近接した位置との間の全区間を変位する請求項１に記載の撮像装置。
【請求項４】
前記第２タイプの変位パターンは、
前記第１合焦位置と、前記第１合焦位置および前記第２合焦位置の中間位置との全区間が前記変位範囲である第２Ｆタイプの変位パターンと、
前記中間位置と、前記第２合焦位置との全区間が前記変位範囲である第２Ｎタイプの変位パターンと
を含む請求項１に記載の撮像装置。
【請求項５】
前記第１タイプの変位パターンは前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンに挟まれており、
前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは連続しない、請求項４に記載の撮像装置。
【請求項６】
前記第１タイプの変位パターンは前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンに挟まれており、
前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは連続している、請求項４に記載の撮像装置。
【請求項７】
前記第１の開口は前記第２の開口より小さい請求項１に記載の撮像装置。
【請求項８】
前記撮像パラメータ決定部は、前記撮像素子の入射光量に応じて前記第１の開口および前記第２の開口の大きさを決定する請求項７に記載の撮像装置。
【請求項９】
前記撮像パラメータ決定部は、
前記入射光量が閾値よりも小さい場合、前記撮像パラメータ決定部は、前記入射光量の値にかかわらず、前記第１の開口を所定の大きさに設定する請求項８に記載の撮像装置。
【請求項１０】
前記撮像パラメータ決定部は、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンにおける前記撮像素子への入射光量の比に応じて、前記露光の時間および前記第１タイプの変位パターンおよび前記第２タイプの変位パターンを決定する請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、
前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する請求項１に記載の撮像装置。
【請求項１２】
前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、
前記同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する請求項１１に記載の撮像装置。
【請求項１３】
前記第１タイプの変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズが変位している間に得られた画像信号から全焦点画像を生成する請求項１から１２のいずれかに記載の撮像装置。
【請求項１４】
前記第２タイプの変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズが変位している間に得られた画像信号から奥行き情報を生成する請求項１から１３のいずれかに記載の撮像装置。
【請求項１５】
前記撮像素子は、ＣＣＤイメージセンサである請求項１から１４のいずれかに記載の撮像装置。
【請求項１６】
前記撮像素子は、ＣＭＯＳイメージセンサである請求項４から６のいずれかに記載の撮像装置。
【請求項１７】
前記第１タイプの変位パターン、前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは、それぞれ、少なくともそれぞれの全変位範囲を２回往復変位する請求項１６に記載の撮像装置。
【請求項１８】
二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、大きさを変更することが可能な開口を有し、前記レンズ光学系に設けられた絞りとを備えた撮像装置の集積回路であって、
前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御するように構成された変位制御部と、
前記絞りの前記開口の大きさ制御するように構成された開口制御部と、
前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記開口制御部を制御するように構成された同期部と、
前記露光の時間、前記絞り開口の大きさおよび前記変位パターンを決定する撮像パラメータ決定部と、
を備え、
前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前記フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、
前記所定の変位パターンにおいて、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返され、
前記開口制御部は、前記同期部からのタイミングに基づき、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンにおいて、第１の開口および前記第１の開口とは異なる大きさの第２の開口を有するように前記絞りを制御する、集積回路。
【請求項１９】
二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、
撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前記フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを決定し、
前記第１タイプの変位パターンおよび第２タイプの変位パターンで、かつ、交互に繰り返し、前記フォーカスレンズまたは前記撮像素子を変位させながら、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンにおいて、それぞれ第１の開口および前記第１の開口と異なる大きさの第２の開口の絞りを用い、前記複数の光電変換素子を露光させる撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は単一の視点から撮影された複数枚の画像に基づき、三次元情報を有する動画または連続静止画を撮影することが可能な撮像装置に関する。
【背景技術】
【０００２】
単一視点から撮影された複数枚の画像を元に三次元情報を得るために、被写界深度拡張（以下ＥＤＯＦ）と、シーンの奥行き計測技術を組み合わせる方法が提案されている。【０００３】
被写界深度拡張（Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  Ｏｆ  Ｆｉｅｌｄ、以下ＥＤＯＦと称する）を実現する方式として、様々な方法が提案されている。例えば、露光時間中にフォーカスレンズもしくは撮像素子を動かすフォーカススイープ動作を行い、深度方向に一律に合焦した画像を畳み込み（つまり各深度でボケを均一化することと同義）、あらかじめ測定もしくはシミュレーションにより得られたボケパターンによって画像復元処理を行うことによって、ＥＤＯＦ画像を得る方法が提案されている（非特許文献１）。この方法は、Ｆｌｅｘｉｂｌｅ  ＤＯＦ（以下Ｆ−ＤＯＦと称する）と称される。【０００４】
Ｆ−ＤＯＦは、良好な画質が得られる方式として知られており、ＥＤＯＦ効果も高い。軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし、露光中フォーカス位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、光学的な条件として像側テレセントリックレンズである必要がある。【０００５】
ＥＤＯＦ技術の利用分野の１つに、顕微鏡が挙げられる。顕微鏡による撮像の場合、撮影対象が静物体であるため、時間をかけて撮影することができる。このため、Ｆｏｃａｌ  Ｓｔａｃｋ方式が古くから用いられてきた。この方式は、合焦位置の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出・合成し、ＥＤＯＦ画像を得る。これらの作業に手間および時間を要することから、Ｆ−ＤＯＦ方式も併用した技術が提案されている（特許文献１〜４）。Ｆ−ＤＯＦを顕微鏡用途で用いる場合、露光中に被写体である試料またはレンズ鏡筒を移動させる。露光後の画像復元処理を前提とする場合、像のボケが常に均一になるよう被写体またはレンズ鏡筒を移動させる。この移動の仕方を適切に制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている（特許文献５）。そのためには、撮像素子を移動させる場合、撮像素子を等速度で動かす。またフォーカスレンズを移動させる場合、撮像面が等速度で動くのに相当するフォーカスレンズの変位を行う必要がある（非特許文献１）。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】独国特許発明第２３０１８００号明細書
【特許文献２】特公平５−２７０８４号公報
【特許文献３】特許第３１９１９２８号公報
【特許文献４】米国特許第７７１１２５９号明細書
【特許文献５】特許第３０８４１３０号公報
【非特許文献】
【０００７】
【非特許文献１】Ｈ.Ｎａｇａｈａｒａ, Ｓ.Ｋｕｔｈｉｒｕｍｍａｌ, Ｃ.Ｚｈｏｕ ａｎｄ Ｓ.Ｎａｙａｒ, ”Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ”, Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ (ＥＣＣＶ),Ｏｃｔ.１６ｔｈ, Ｍｏｒｎｉｎｇ Ｓｅｓｓｉｏｎ ２: Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ (２００８)
【非特許文献２】松井修平, 長原一, 谷口倫一郎,「フォーカススイープ撮像によるＤＦＤ」, 情報処理学会研究報告, ２０１０-ＣＶＩＭ-１７４ Ｎｏ,６, (２０１０)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
デジタルスチルカメラやデジタルビデオカメラにＥＤＯＦ技術を用いる場合、動画撮影においても、ＥＤＯＦ撮影が行えることが好ましい。本願は、品質の高いＥＤＯＦ動画を撮影することのできる撮像装置、撮像装置に用いられる集積回路および撮像方法を提供する。
【課題を解決するための手段】
【０００９】
本発明の一態様である撮像装置は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御するように構成された変位制御部と、大きさを変更することが可能な開口を有し、前記レンズ光学系に設けられた絞りと、前記絞りの前記開口の大きさ制御するように構成された開口制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記開口制御部を制御するように構成された同期部と、前記露光の時間、前記絞り開口の大きさおよび前記変位パターンを決定する撮像パラメータ決定部と、を備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前記フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、前記所定の変位パターンにおいて、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返され、前記開口制御部は、前記同期部からのタイミングに基づき、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンにおいて、第１の開口および前記第１の開口とは異なる大きさの第２の開口を有するように前記絞りを制御する。
【発明の効果】
【００１０】
本願に開示された撮像装置によれば、全焦点画像を得るための第１タイプの変位パターンのスイープによる撮像と奥行き情報を得るための第２タイプの変位パターンのスイープによる撮像とを交互に繰り返すことによって、全焦点画像の画質と奥行き計測精度を両立させた撮影を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１、２、４、６の撮像装置のブロック構成図を示す。
【図２】実施形態１、２、４の撮像方法を示すフローチャートである。
【図３】図２における露光・スイープステップをさらに詳細に説明したフローチャートである。
【図４】（ａ）、（ｂ）、（ｃ）は実施形態１、３の露光スイープパターン、絞りの開口の時間変化および撮像素子の露光および読み出しのタイミングを示している。
【図５】実施形態２、３の露光・スイープステップを詳細に説明したフローチャートである。
【図６】（ａ）、（ｂ）は実施形態２、３の露光スイープパターンおよび絞りの開口の時間変化を示している。
【図７】実施形態３、４、６の撮像装置のブロック構成図である。
【図８】実施形態３、４、６の動作を示すフローチャートである。
【図９】（ａ）は、ＣＭＯＳイメージセンサによって構成される撮像素子のローリングシャッタ動作を説明する図であり、（ｂ）および（ｃ）は、フォーカスレンズの変位パターンの例をそれぞれ示す図である。
【図１０】（ａ）は、電子シャッタによって露光を制限した場合におけるＣＭＯＳイメージセンサによって構成される撮像素子のローリングシャッタ動作を説明する図であり、（ｂ）は、絞りの開口の時間変化を示し、（ｃ）および（ｄ）は、フォーカスレンズの変位パターンの例をそれぞれ示す図である。
【図１１】実施形態４の露光・スイープステップを詳細に説明したフローチャートである。
【図１２】（ａ）、（ｂ）は実施形態４の露光スイープパターンおよび絞りの開口の時間変化を示している。
【図１３】実施形態４の露光・スイープステップを詳細に説明した他のフローチャートである。
【図１４】（ａ）、（ｂ）は実施形態４の他の露光スイープパターンおよび絞りの開口の時間変化を示している。
【図１５】（ａ）、（ｂ）は実施形態６の他の露光スイープパターンおよび絞りの開口の時間変化を示している。
【図１６】（ａ）、（ｂ）は実施形態６の他の露光スイープパターンおよび絞りの開口の時間変化を示している。
【図１７】実施形態６の露光・スイープステップを詳細に説明した他のフローチャートである。
【図１８】（ａ）、（ｂ）は実施形態６の他の露光スイープパターンおよび絞りの開口の時間変化を示している。
【図１９】（ａ）、（ｂ）は実施形態６の他の露光スイープパターンおよび絞りの開口の時間変化を示している。
【図２０】実施形態７の露光・スイープステップを詳細に説明したフローチャートである。
【図２１】（ａ）、（ｂ）、（ｃ）は実施形態７の露光スイープパターン、絞りの開口の時間変化および撮像素子の露光および読み出しのタイミングを示している。
【図２２】（ａ）、（ｂ）、（ｃ）は実施形態７の他の露光スイープパターン、絞りの開口の時間変化および撮像素子の露光および読み出しのタイミングを示している。
【図２３】被写体、フォーカスレンズおよび撮像素子の位置関係を示す図である。
【図２４】被写体距離ｕと像面側焦点距離ｖの関係の一例を示すグラフである。
【図２５】本願発明者が検討した撮像装置のブロック構成図である。
【図２６】Ｆ−ＤＯＦ方式によるフォーカスレンズの変位パターンを示す図である。
【図２７】本願発明者が検討した他の撮像装置のブロック構成図である。
【図２８】Ｆ−ＤＯＦ方式によるフォーカスレンズの変位パターンを示す図である。
【図２９】（ａ）から（ｃ）は、奥行き計測手法による計測結果を示す図である。
【図３０】図２９（ａ）から（ｃ）の結果を示す別な図である。
【図３１】（ａ）および（ｂ）は、フルスイープ方式およびハーフスイープ方式による撮像装置の動画撮影時のスイープパターンの一例を示している。
【図３２】（ａ）および（ｂ）は、ＣＭＯＳイメージセンサを用いた場合のフルスイープ方式およびハーフスイープ方式による撮像装置の動画撮影時のスイープパターンの一例を示している。
【発明を実施するための形態】
【００１２】
まず、撮影シーンにおけるフォーカス（合焦）位置とフォーカスレンズおよび撮像素子との位置関係を説明する。図２３は、撮影シーンに含まれる被写体と撮像装置３００内におけるフォーカスレンズ１０１および撮像素子１０４との位置関係を示す模式図である。撮像シーン中、撮像装置３００に近い位置の被写体に合焦している場合、撮像面上において合焦する被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは相対的に短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは相対的に長くなる。また、撮影シーンに含まれる被写体のうち、撮像装置３００から遠い被写体に合焦している場合、撮像面上において合焦する被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは相対的に長くなり、フォーカスレンズ１０１と撮像素子との距離ｖは最も短くなる。なお、図２３では、図の示し易さのため、被写体と撮像装置３００との距離に比べて、フォーカスレンズ１０１と撮像素子１０４との距離が大きく示されている。
【００１３】
このように、撮像シーン中のどの位置に合焦するかは、フォーカスレンズ１０１と撮像素子１０４の撮像面との距離によって決定する。被写体とフォーカスレンズ１０１との距離をｕとし、フォーカスレンズ１０１と撮像素子１０４との距離をｖとし、フォーカスレンズ１０１の焦点距離をｆとすると、一般的にレンズの公式より、
１／ｆ＝１／ｕ＋１／ｖ        （式１）
の関係が成り立つ。撮影に用いるレンズ光学系が複数のフォーカスレンズを含む場合、距離ｕ、ｖはレンズ主点の位置で考慮する。一例として、ｆが１８［ｍｍ］のときのｕとｖとの関係を図２４に示す。フォーカスレンズ１０１が変位することにより、レンズ主点と撮像素子間の距離ｖが変化する。図２４から分かるように、像面側の距離ｖが長くなると被写体側の距離ｕは短くなる。また、式１から分かるように、距離ｕと距離ｖとは比例関係でも反比例の関係でもない。
【００１４】
図２３では、フォーカスレンズ１０１の位置を変化させることによって距離ｖを変化させているが、撮像素子１０４を移動させても距離ｖは変化する。上述の関係を利用し、本願明細書では、フォーカスレンズの位置で、撮影シーンにおけるフォーカス位置を説明する。本願明細書において、最近端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１または撮像素子１０４を移動させた場合におけるフォーカスレンズ１０１または撮像素子１０４の位置をいう。また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１または撮像素子１０４を移動させた場合におけるフォーカスレンズ１０１または撮像素子１０４の位置をいう。
【００１５】
次に、Ｆ−ＤＯＦ方式によって画像を得る方法を説明する。図２５は、露光時間中にフォーカスレンズを変位させることのできる撮像装置３００の構成を示している。撮像装置３００は、フォーカスレンズ１０１を含むレンズ光学系１２０、フォーカスレンズ１０１を駆動するフォーカスレンズ駆動部１０３および撮像素子１０４を含む。フォーカスレンズ１０１の位置を変化させることにより、撮像素子１０４との距離を変化させ、フォーカス距離を変更し得る。フォーカスレンズ１０１が固定していると考えた場合、フォーカス距離の変更は、焦点位置の変更と同義である。
【００１６】
図２６は、フォーカスレンズの像面側焦点距離ｖ(図２３のｖと同じ）の時間変化および露光量変化を示している。レリーズ受付部１１３がユーザーから露光開始指令を受け付けると、フォーカスレンズ位置検出部１１５が、フォーカスレンズ１０１のそのときの位置（初期位置）を検出する。検出後、フォーカスレンズ１０１の位置を所定の端位置、例えば最近端もしくは最遠端（図２５では最遠端）へ変位させる。
【００１７】
フォーカスレンズ１０１の初期化作業と同時に、露光時間決定部１１４にて、シャッタ速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、フォーカスレンズの変位の同期を取る露光・フォーカスレンズ変位同期部１２１は、露光開始の指令をフォーカスレンズ変位制御部１０６およびシャッタ開閉指示部１１２へ出力する。同時にフォーカスレンズ位置検出部１０２で検出されたフォーカスレンズ１０１の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内にフォーカスレンズ１０１を等速変位させる指令をフォーカスレンズ変位制御部１０６へ出力する。
【００１８】
撮像素子１０４の受光面において、等速でフォーカス位置が変位するということは、像面側焦点距離ｖの変化速度が一定であることを意味する。等速で変位することにより、図２６に示すようにフォーカスレンズ１０１がどの位置にあっても、フォーカスレンズ１０１の変位中における露光量は一定となる。式（１）および図２６に示すように、ｖが等速度で変位しても、被写体側の焦点面とレンズ主点間の被写体側距離ｕが等速度で変位するわけではない。また図２６の横軸は像面側焦点距離ｖを示しており、被写体距離ｕの大小とは逆の関係になる。つまり、被写体距離が長い（遠くに位置する）被写体ほど像面側焦点距離ｖが短くなる。
【００１９】
露光・フォーカスレンズ変位同期部１２１から露光開始指令を受け取ると、シャッタ開閉指示部１１２はすぐに、シャッタ１１１が開くよう制御する。また所定の露光時間経過後、露光・フォーカスレンズ変位同期部１２１は、シャッタ開閉指示部１１２へ露光終了指令を出力する。シャッタ開閉指示部１１２は露光終了指令を受け取り、すぐに、シャッタ１１１が閉まるよう制御を行う。
【００２０】
上記手順によって撮像素子１０４に被写体の光学像が結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して、画像処理部１０９へ画像信号が出力される。同時に露光・フォーカスレンズ変位同期部１２１より画像処理部１０９へ、露光が終了したことおよびＦ−ＤＯＦによるフォーカスレンズの変位の撮影が行われたことが通知される。画像処理部１０９は画像信号を受け取り、必要な信号処理を行い、記録部１１０へ出力する。
【００２１】
図２７に示す撮像装置４００は、撮像素子１０４、撮像素子位置検出部２０２、露光・撮像素子変位同期部２０７、撮像素子変位制御部２０６、撮像素子駆動部２０３を備え、露光時間中に撮像素子を変位させる。撮像素子位置検出部２０２は、撮像装置３００とは異なり、撮像素子１０４の位置を検出する。露光・撮像素子変位同期部２０７は露光のタイミングと撮像素子１０４の変位との同期を取る。撮像素子変位制御部２０６は、撮像素子１０４の変位を制御する。撮像素子駆動部２０３は、撮像素子変位制御部２０６からの信号を受けて撮像素子１０４を駆動する。
【００２２】
レリーズ受付部１１３がユーザーから露光開始指令を受け付けると、撮像素子位置検出部２０２が、撮像素子１０４のそのときの位置（初期位置）を検出する。検出後、撮像素子１０４の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。上述したように、ここで所定の合焦範囲のうち、最近端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も長くなる。また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も長くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も短くなる。
【００２３】
撮像素子１０４の初期化作業と同時に、露光時間決定部１１４にて、シャッタ速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、撮像素子変位の同期を取る露光・撮像素子変位同期部２０７は、露光開始の指令を撮像素子変位制御部２０６およびシャッタ開閉指示部１１２へ出力する。同時に撮像素子位置検出部２０２で検出された撮像素子１０４の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内に撮像素子１０４を変位させる指令を撮像素子変位制御部２０６へ出力する。撮像素子１０４は等速で変位する。
【００２４】
露光・撮像素子変位同期部２０７から露光開始指令を受け取ると、シャッタ開閉指示部１１２はすぐに、シャッタ１１１が開くよう制御する。また所定の露光時間経過後、露光・撮像素子変位同期部２０７は、シャッタ開閉指示部１１２へ露光終了指令を出力する。シャッタ開閉指示部１１２は露光終了指令を受け取り、すぐに、シャッタ１１１が閉まるよう制御する。
【００２５】
上記手順にて撮像素子１０４に被写体の光学像を結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して画像処理部１０９へ電気信号が出力される。同時に露光・撮像素子変位同期部２０７より画像処理部１０９へ、露光が終了したことおよびＦ−ＤＯＦによるフォーカスレンズの変位の撮影が行われたことが通知される。これ以外の構成は、図２５に示す撮像装置３００と同じ動作を行う。
【００２６】
このような構成によって、デジタルスチルカメラ・デジタルビデオカメラにおいてＦ−ＤＯＦ方式の撮影が実現できるが、動画を撮影する場合、動画を構成する１コマ１コマの画像の間にタイムラグが発生することなく連続的に撮影を行うこと好ましい。このために、動画撮影中は図２８に示すようにフォーカスレンズの位置を最遠端と最近端との間で往復変位させ、往の変位および復の変位にそれぞれ１ビデオフレーム期間を割り当てることによって、なめらかなＥＤＯＦ動画を撮影することが可能となる。
【００２７】
このようにして得られた全焦点画像に加えて、撮影シーンの奥行き情報、つまり、撮影シーンに含まれる複数の被写体の前後関係を示す奥行き情報があれば、撮影シーンの三次元情報を得ることができる。撮影シーンの奥行き計測技術について様々な方式が提案されている。それらを大別すると、赤外線や超音波、レーザーなどを照射し、反射波が戻ってくるまでの時間や反射波の角度などをもとに距離を算出する能動的手法と、被写体の像に基づいて距離を算出する受動的手法がある。特にカメラにおいては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。
【００２８】
受動的手法にも多くの手法が提案されているが、その一つとしてフォーカスの変化によって生じるぼけに基づいて距離を計測するＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ（以下ＤＦＤと呼ぶ）と呼ばれる手法がある。この手法によれば、複数のカメラを必要せず、少数の画像から距離計測を行うことが可能である。
【００２９】
ＤＦＤを実現する手法として、前述のＦ−ＤＯＦを利用したハーフスイープと呼ばれる方式が提案されている（非特許文献２）。この方式は、Ｆ−ＤＯＦにおけるフォーカススイープの範囲を遠側合焦端位置（最遠端）と近側合焦端位置（最近端）との間の中間合焦位置で二分し、それぞれの範囲でスイープして得られる二枚の画像を用いて奥行きを推定する。また、同時にこの二枚の画像を用いて全焦点画像を生成することが可能である。以下、区別のため遠側合焦端位置から近側合焦端位置までの全区間をスイープする前述の方式をフルスイープと称する。
【００３０】
図２９および図３０は、非特許文献２に開示されたＤＦＤによって、奥行きを推定した結果の一例を示している。図２９（ａ）、（ｂ）、（ｃ）の各図の左半分はエッジを多く含む奥行き推定に強いテクスチャがある画像を用い、右半分はエッジの少ない奥行き推定に弱いテクスチャがある画像を用いて、奥行きつまり撮像装置からの距離を推定した。これらの図において、下端および上端はそれぞれ、奥行きの近側および遠側に対応している。また、これらの図におけるハッチングの濃淡は、推定した距離の値を示しており、ハッチングが濃いほど推定した距離が遠いことを示している。
【００３１】
図２９（ａ）は奥行きの真値を示している。つまり、正しく奥行きが推定される場合、図の上方ほど濃いハッチングで示され、下方ほど薄いハッチングで示される。図２９（ｂ）は一般的なＤＦＤの方式（フルスイープ方式）で得られた奥行き推定結果を示し、図２９（ｃ）はハーフスイープ方式で得られた奥行き推定結果である。図２９（ｂ）および（ｃ）において、ハッチングの濃い部分が上方以外に位置している箇所がある。これは、推定した距離が正しくないことを示している。図２９（ｂ）および（ｃ）を比較した場合、特に右半分のテクスチャが弱い画像において、フルスイープ方式に較べハーフスイープ方式による奥行きの推定が優れているという結果が得られた。
【００３２】
図３０は図２９（ｂ）および（ｃ）に示す結果を数値化したものである。横軸は奥行きを示しており、図２９の上端が横軸の左端に対応している。縦軸は図２９（ａ）で示した真値に対する、図２９（ｂ）および（ｃ）における推定した各奥行きの正解率をそれぞれ示している。この正解率は、テクスチャの強弱（画像中の左半分、右半分）の領域をまとめて一つの値として数値化したものである。図３０から、ハーフスイープ方式で得られた奥行きの推定が優れていることが分かる。
【００３３】
このように、デジタルスチルカメラやデジタルビデオカメラにＥＤＯＦを採用する場合、Ｆ−ＤＯＦ方式を用いることが好ましい。また、上述したように、動画撮影の際は、１コマ１コマの間にタイムラグが発生することなく連続撮影することが求められる。これを実現する方法として、動画撮影中は図３１（ａ）に示すようにフォーカスレンズの位置を最遠端と最近端との間で往復変位させ、往の変位および復の変位にそれぞれ１ビデオフレーム期間を割り当てることによって、なめらかなＥＤＯＦ動画を撮影することが可能となる。また、再遠端および最近端においてそれぞれ静止して画像を取得することでＤＦＤによる奥行き推定も動画で実現可能となる。
【００３４】
一方、ハーフスイープによるＦ−ＤＯＦ方式を採用する場合、図３１（ｂ）に示すように、最近端位置と最遠端位置との間の中間位置でフォーカスレンズがスイープする領域を２つに分割する。具体的には、ニアスイープＮＳおよびファースイープＦＳで示す変位パターンに従って、フォーカスレンズを最遠端と最近端との間で交互に往復変位させることによって、同様に全焦点画像によるＥＤＯＦ画像と奥行き推定を連続して行うことができ、ＥＤＯＦ動画を撮影することが可能である。
【００３５】
しかし、図３１（ｂ）で示したハーフスイープ方式では、全焦点画像を得るための変位パターン、つまり、最遠端から最近端までの変位パターンＡＳは、ニアスイープＮＳの一部およびファースイープＦＳの一部によって構成され、変位パターンＡＳは２つのビデオフレームにまたがっている。このため、時間的にずれた二枚の画像から全焦点画像を生成されることになる。その結果、被写体が移動している場合、不自然な全焦点画像が得られる。具体的には、ニアスイープＮＳによって得られた画像中の被写体位置と、ファースイープＦＳによって得られた画像中の被写体位置とに位置ずれが生じることで、全焦点画像の画質が大きく劣化してしまうという課題があることが分かった。
【００３６】
これに対して、図３１（ａ）に示すようなフルスイープ方式によって全焦点画像を得る場合、最遠端と最近端との間をフォーカスレンズが移動する期間に一枚のスイープ画像を取得する。このため、被写体が移動することによるブレは生じるものの連続時間内でのブレであるため、一般のビデオカメラと同様の現象であり、画像の違和感は生じにくい。つまり、全焦点画像を得るためには、フルスイープ方式の方が好ましいといえる。
【００３７】
しかし、本願発明者が検討したところ、フォーカス位置を常時駆動するスイープ動作は機器の消費電力の増大につながり、特にフルスイープはハーフスイープと比べてスイープ変位量が２倍にもなるためその影響が大きいことが分かった。
【００３８】
本願発明者はこのような課題に鑑み、新規な撮像装置、半導体集積回路および撮像方法を想到した。本発明の一態様の概要は以下の通りである。
【００３９】
本発明の一態様である撮像装置は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御するように構成された変位制御部と、大きさを変更することが可能な開口を有し、前記レンズ光学系に設けられた絞りと、前記絞りの前記開口の大きさ制御するように構成された開口制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記開口制御部を制御するように構成された同期部と、前記露光の時間、前記絞り開口の大きさおよび前記変位パターンを決定する撮像パラメータ決定部と、を備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前記フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、前記所定の変位パターンにおいて、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返され、前記開口制御部は、前記同期部からのタイミングに基づき、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンにおいて、第１の開口および前記第１の開口とは異なる大きさの第２の開口を有するように前記絞りを制御する。
【００４０】
前記第１タイプの変位パターンは、前記第１合焦位置と前記第２合焦位置との中間位置から変位しなくてもよい。
【００４１】
前記第１タイプの変位パターンは、前記第１合焦位置よりも前記第２の合焦位置に近接した位置と、前記第２合焦位置よりも前記第２の合焦位置に近接した位置との間の全区間を変位してもよい。
【００４２】
前記第２タイプの変位パターンは、前記第１合焦位置と、前記第１合焦位置および前記第２合焦位置の中間位置との全区間が前記変位範囲である第２Ｆタイプの変位パターンと、前記中間位置と、前記第２合焦位置との全区間が前記変位範囲である第２Ｎタイプの変位パターンとを含んでいてもよい。
【００４３】
前記第１タイプの変位パターンは前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンに挟まれており、前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは連続しなくてもよい。
【００４４】
前記第１タイプの変位パターンは前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンに挟まれており、前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは連続していてもよい。
【００４５】
前記第１の開口は前記第２の開口より小さくてもよい。
【００４６】
前記撮像パラメータ決定部は、前記撮像素子の入射光量に応じて前記第１の開口および前記第２の開口の大きさを決定してもよい。
【００４７】
前記撮像パラメータ決定部は、前記入射光量が閾値よりも小さい場合、前記入射光量撮像パラメータ決定部は、前記入射光量の値にかかわらず、前記第１の開口を所定の大きさに設定してもよい。
【００４８】
前記撮像パラメータ決定部は、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンにおける前記撮像素子への入射光量の比に応じて、前記露光の時間および前記第１タイプの変位パターンおよび前記第２タイプの変位パターンを決定してもよい。
【００４９】
前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令してもよい。
【００５０】
前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、前記同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御してもよい。
【００５１】
前記第１タイプの変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズが変位している間に得られた画像信号から全焦点画像を生成してもよい。
【００５２】
前記第２タイプの変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズが変位している間に得られた画像信号から奥行き情報を生成してもよい。
【００５３】
前記撮像素子は、ＣＣＤイメージセンサであってもよい。
【００５４】
前記撮像素子は、ＣＭＯＳイメージセンサであってもよい。
【００５５】
前記第１タイプの変位パターン、前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは、それぞれ、少なくともそれぞれの全変位範囲を２回往復変位してもよい。
【００５６】
本発明の一態様である集積回路は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、大きさを変更することが可能な開口を有し、前記レンズ光学系に設けられた絞りとを備えた撮像装置の集積回路であって、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御するように構成された変位制御部と、前記絞りの前記開口の大きさ制御するように構成された開口制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記開口制御部を制御するように構成された同期部と、前記露光の時間、前記絞り開口の大きさおよび前記変位パターンを決定する撮像パラメータ決定部とを備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前記フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、前記所定の変位パターンにおいて、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返され、前記開口制御部は、前記同期部からのタイミングに基づき、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンにおいて、第１の開口および前記第１の開口とは異なる大きさの第２の開口を有するように前記絞りを制御する。
【００５７】
本発明の一態様である撮像方法は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前記フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを決定し、前記第１タイプの変位パターンおよび第２タイプの変位パターンで、かつ、交互に繰り返し、前記フォーカスレンズまたは前記撮像素子を変位させながら、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンにおいて、それぞれ第１の開口および前記第１の開口と異なる大きさの第２の開口の絞りを用い、前記複数の光電変換素子を露光させる。
【００５８】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、同じ要素には同じ符号を付しており、説明を省略する場合もある。
【００５９】
（実施形態１）
以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の第１の実施形態を説明する。
【００６０】
図１は、本実施形態の撮像装置１００を示すブロック構成図である。撮像装置１００は、フォーカスレンズ駆動部１０３と、撮像素子１０４と、フォーカスレンズ変位制御部１０６と、露光・絞り・フォーカスレンズ変位同期部１０７と、絞り１１５と、絞り開口制御部１１７と、撮像パラメータ決定部１１８と、レンズ光学系１２０とを備える。
【００６１】
撮像素子１０４は、本実施形態ではＣＣＤイメージセンサであり、二次元に配列され、撮像面を構成している複数の光電変換素子を有する。複数の光電変換素子に光を入射させ露光した後、複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する。
【００６２】
レンズ光学系１２０は、入射光を撮像素子１０４に向けて集光し、撮像シーンを撮像素子１０４に結像させるフォーカスレンズ１０１を含む。撮像シーン中の所望の被写体に対して合焦させるため、レンズ光学系１２０はフォーカスレンズ１０１以外に他の１枚以上のレンズを含んでいてもよい。フォーカスレンズ１０１も複数枚のレンズで構成されていてもよい。フォーカスレンズ１０１が複数のレンズによって構成される場合、フォーカスレンズの位置とは、複数のレンズによる主点の位置をいう。本実施形態ではレンズ光学系１２０は絞り１１５を含まない。
【００６３】
本実施形態では、フォーカスレンズ駆動部１０３は、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、撮像素子１０４またはフォーカスレンズ１０１の一方を駆動する駆動部として機能する。つまり、フォーカスレンズ駆動部１０３は、駆動信号に基づき、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、フォーカスレンズ１０１を駆動する。
【００６４】
フォーカスレンズ変位制御部１０６は、以下において説明するように、フォーカスレンズ駆動部１０３に指令を出力することにより、所定の変位パターンに基づき、フォーカスレンズ１０１の変位を制御するように構成されている。
【００６５】
絞り１１５は、所定の開口（アパーチャー）を有し、駆動信号に基づき開口の大きさを変更することが可能である。絞り１１５は、例えば、レンズ光学系１２０内または、レンズ光学系１２０と撮像素子１０４との間に設けられ、開口の大きさを変更することにより、撮像素子の撮像面に形成される撮影シーンの像における被写界深度を調整することができる。本実施形態では、絞り１１５は、複数の絞り羽根を有し、絞り羽根の重なりの程度が異なるように絞り羽根を駆動することによって開口の大きさを調整する。このために、撮像装置１００は、絞り１１５の絞り羽根を駆動するための絞り駆動部１１６を有し、駆動信号により、絞り羽根が駆動する。しかし、絞り駆動部１１６を含む絞りを用いてもよい。
【００６６】
絞り開口制御部１１７は、絞り１１５の開口の大きさ制御する駆動指令を出力する。
【００６７】
撮像パラメータ決定部１１８は、以下において詳細に説明するように、撮像シーンの明るさ、シャッタ速度および絞り値などの撮影パラメータから、撮像素子１０４の露光の時間、絞り１１５の開口の大きさおよびフォーカスレンズ１０１の変位パターンを決定する。
【００６８】
露光・絞り・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光の時間、絞り１１５の開口の大きさおよびフォーカスレンズ１０１の変位パターンを示す信号を撮像パラメータ決定部１１８から受け取り、絞り開口制御部１１７、フォーカスレンズ変位制御部１０６およびシャッタ開閉指示部１１２に、これらの信号を出力するとともに、撮像素子１０４の露光のタイミングに基づき、フォーカスレンズ変位制御部１０６および絞り開口制御部１１７を制御するように構成されている。
【００６９】
撮像装置１００は、さらに、フォーカスレンズ位置検出部１０２と、読み出し回路１０８と、画像処理部１０９と、記録部１１０と、シャッタ１１１と、シャッタ開閉指示部１１２と、レリーズ受付部１１３とを含む。
【００７０】
フォーカスレンズ位置検出部１０２は、位置センサを含み、フォーカスレンズ１０１の位置を検出し、検出信号をフォーカスレンズ変位制御部１０６へ出力する。撮像パラメータ決定部１１８はフォーカスレンズ１０１の変位パターンを設定し、目標フォーカスレンズの位置とする。これにより、フォーカスレンズ変位制御部１０６は、目標フォーカスレンズの位置とフォーカスレンズ位置検出部１０２によって検出されたフォーカスレンズ１０１の現在位置との差から駆動信号を計算してフォーカスレンズ駆動部１０３に出力する。
【００７１】
レリーズ受付部１１３はユーザーから撮影開始の指令を受け付け、撮像パラメータ決定部１１８に信号を出力する。
【００７２】
シャッタ１１１は、シャッタ開閉指示部１１２からの指令に応じて開閉動作を行う。シャッタ１１１が開状態のとき、撮像素子１０４はフォーカスレンズ１０１によって集光された光によって露光され、露光された光は電気信号に変換されて出力される。
【００７３】
読み出し回路１０８は撮像素子１０４に読み出し信号を出力することによって電気信号を読み出し、読み出した電気信号を画像処理部１０９へ出力する。
【００７４】
画像処理部１０９は入力された電気信号に対して各種補正等を行い、逐次１ビデオフレーム分の撮影シーンの画像を構成する画像信号を構築し、記録部１１０に出力する。また、以下において説明するように、撮影シーンの三次元情報を求めてもよい。
【００７５】
これにより、撮像装置１００は、フォーカスレンズ１０１を駆動してフォーカスレンズの位置を変化させながら撮像素子１０４に露光させ、スイープ画像を得ることが可能となる。
【００７６】
撮像装置１００の上述の構成要素のうち、フォーカスレンズ位置検出部１０２、フォーカスレンズ駆動部１０３、撮像素子１０４、画像処理部１０９、記録部１１０、レリーズ受付部１１３、絞り１１５、絞り駆動部１１６は、公知のハードウエアによって構成されていてもよい。また、撮像パラメータ決定部１１８、フォーカスレンズ変位制御部１０６、露光・絞り・フォーカスレンズ変位同期部１０７、絞り開口制御部１１７、撮像パラメータ決定部１１８、読み出し回路１０８、画像処理部１０９、記録部１１０、シャッタ開閉指示部１１２の各構成要素の一部または全部は、ＣＰＵなどの情報処理回路およびメモリ等の記憶部に記憶されたソフトウエアによって構成されていてもよい。この場合、情報処理回路は、以下において説明する撮像方法の手順を規定するソフトウエアをメモリから読み出し、撮像方法の手順を実行することによって、撮像装置１００の各構成要素を制御する。これら情報処理回路およびメモリに記憶されたソフトウエアによって実現される構成要素の一部は、専用の集積回路によって構成されていてもよい。例えば、撮像パラメータ決定部１１８、フォーカスレンズ変位制御部１０６、露光・絞り・フォーカスレンズ変位同期部１０７、絞り開口制御部１１７、撮像パラメータ決定部１１８、シャッタ開閉指示部１１２は集積回路を構成してもよい。
【００７７】
次に、図１およびその他の図を参照しながら、本実施形態の撮像方法を説明する。図２は本実施形態の撮像方法の概略を示すフローチャートである。まず、ユーザーによるレリーズ動作を受け付ける（Ｓ１０１）と、撮像パラメータ決定部１１８は、撮影シーンの明るさ、シャッタ速度、絞り値などの撮影パラメータから、露光パラメータを決定する（Ｓ１０２）。露光パラメータには、露光時間および絞り１１５の開口の大きさが含まれる。絞り１１５の開口の大きさには、互いに大きさの異なる第１の開口および第２の開口が含まれる。また、決定した露光時間および絞り１１５の開口の大きさから、フォーカスレンズの変位パターンを決定する（Ｓ１０３）。変位パターンは、第１タイプの変位パターンおよび第２タイプの変位パターンを含む。第１タイプの変位パターンおよび第２タイプの変位パターンは、それぞれ絞り１１５が第１の開口および第２の開口を有するときに用いられる。変位パターンは、以下において詳述する。
【００７８】
フォーカスレンズ１０１の位置の変位パターン決定後、露光・絞り・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づいて、フォーカスレンズ変位設定部１０５、絞り開口制御部１１７および読み出し回路１０８が動作するように、シャッタ開閉指示部１１２、フォーカスレンズ変位設定部１０５、絞り開口制御部１１７および読み出し回路１０８に指令を出力する。これにより、シャッタ開閉指示部１１２がシャッタ１１１を解放し（Ｓ１０４）、絞り開口制御部１１７が、絞り１１７が変位パターンのタイプに応じて第１の開口または第２の開口を有するように制御する。また、撮像素子１０４の露光が開始され、露光の開始に同期して、フォーカスレンズ変位制御部１０６の指令により、フォーカスレンズ駆動部１０３がフォーカスレンズ１０１を変位させる（Ｓ１０５）。ここで同期とは、同時である場合および所定の遅延時間を挟む場合を含む。またフォーカスレンズ１０１の変位に同期した所定のタイミングで撮像素子１０４から、撮影シーンの画像を構成する電気信号が読み出し回路１０８に出力される。
【００７９】
撮影が完了したら、シャッタ１１１を閉じ（Ｓ１０６）、フォーカス位置変位を停止する（Ｓ１０７）ことで撮影を完了する。動画撮影の場合は、ユーザーからの録画停止処理指令が入力されるまで露光・スイープ動作を継続すればよい。このようにすることで、連続してスイープ画像を得ることができ、動画撮影を行うことができる。
【００８０】
次に、図３および図４を用いて露光・スイープ動作の詳細を説明する。
【００８１】
図３は撮影時のスイープ動作の手順を示すフローチャートである。また、図４（ａ）は、フォーカスレンズの位置を最遠端と最近端との間で変位させたときのフォーカスレンズの位置変化、つまりスイープパターン（変位パターン）を示す図である。横軸は時間を示し、縦軸はフォーカスレンズの位置（撮像素子との距離）を示している。変位パターンとは、フォーカスレンズの位置の時間変化を示すパターンである。図４（ａ）中、実線はレンズを変位させずフォーカス位置が静止した変位パターンを示し（第１タイプの変位パターン）を示し、二重線および点線はハーフスイープの変位パターン（第２タイプの変位パターン）を示している。より具体的には、二重線は、ニアスイープの変位パターン（第２Ｎタイプの変位パターン）を示し、点線は、ファースイープの変位パターン（第２Ｆタイプの変位パターン）を示している。
【００８２】
ニアスイープの変位パターンは最近端と、最近端および最遠端の中間位置との全区間を変位範囲とし、ファースイープの変位パターンは最遠端と中間位置との全区間を変位範囲としている。ニアスイープの変位パターンの変位範囲とファースイープの変位パターンの変位範囲とは互いに重ならず排他的である。中間位置は、最近端と最遠端との厳密な中間でなくてもよい。
【００８３】
図４（ａ）に示すように、フォーカス位置の変位が停止している変位パターン、ニアスイープの変位パターンおよびファースイープの変位パターンは、それぞれ、撮像素子１０４が１画像を取得するのに要する期間、つまり、１ビデオフレーム期間に一致している。
【００８４】
図４（ｂ）は絞りの開口の大きさの時間変化を示す図であり、縦軸が絞りの開口の大きさを、横軸は時間を示している。また、図４（ｂ）の横軸の符号は図３のステップ番号に対応している。
【００８５】
図４（ｃ）は、撮像素子の露光および読み出しのタイミングを示す図であり、横軸は時間を示している。図４（ａ）から（ｃ）において、横軸の時間は互いに対応している。また、図４（ｃ）の横軸の符号は図３のステップ番号に対応している。
【００８６】
なお、上述したように最遠端および最近端とは、撮像装置から種々の距離にある被写体が含まれる撮像シーン中、所定の距離範囲内にある種々の被写体を撮像素子１０４の撮像面に焦点が一致するようにフォーカスレンズ１０１を移動させた場合おいて、最も撮像装置に近い被写体が結像する場合および最も撮像装置に遠い被写体が結像する場合におけるフォーカスレンズ１０１の位置をいう。最遠端（第１合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から長い距離に位置（第１被写体距離）し、最近端（第２合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から短い距離に位置（第２被写体距離）している。
【００８７】
図３および図４（ａ）に示すように、まず、フォーカスレンズ駆動部１０３は、フォーカスレンズ変位制御部１０６の指令に基づき、フォーカスレンズ１０１を初期位置である中間の位置へ移動させる（Ｓ１０）。次に、絞り開口制御部１１７は絞り１１５を開放状態にする（Ｓ１１）。このとき、フォーカス位置は初期位置のまま変化させず、停止させておく。次に中間位置からファースイープの変位パターンに従って、最遠端と中間位置との間で、中間位置から最遠端へ向かい、再び中間位置へ戻るように、フォーカスレンズ１０１の位置を変位させる（Ｓ１２）。つまり、フォーカスレンズ１０１をファースイープの変位パターンに従ってハーフスイープさせる。同時に撮像素子１０４の電子シャッタを制御し、撮像素子１０４の露光を開始する。本実施形態では、撮像素子１０４はＣＣＤイメージセンサであるため、グローバルシャッタ動作により、全光電変換素子（全画素）の露光が同時に開始される。
【００８８】
その後、フォーカスレンズを停止させるとともに、電子シャッタにより撮像素子１０４の露光も停止する。撮像素子１０４は、露光による光量に応じた電気信号（電荷）を各光電変換素子から読み出す。これは、図４（ｃ）において、太線で示すように、グローバルシャッタ動作により、全光電変換素子で同時に行われる。ただし、その後、読み出された電気信号はＣＣＤによって逐次転送される。
【００８９】
続いて、絞り開口制御部１１７は、絞りをあらかじめ決定した開口の大きさとなるように絞り１１５を絞り（Ｓ１３）、フォーカス位置を固定したまま通常の撮像を行う（Ｓ１４）。同時に撮像素子１０４の電子シャッタを制御し、撮像素子１０４の露光を開始する。
【００９０】
再度絞り開口制御部１１７は、絞りを開放状態にした（Ｓ１５）後、フォーカスレンズ駆動部１０３は、中間位置からニアスイープの変位パターンに従って、最近端と中間位置との間で、中間位置から最近端へ向かい、再び中間位置へ戻るように、フォーカスレンズ１０１の位置を変位させる（Ｓ１６）。つまり、フォーカスレンズ１０１をニアスイープの変位パターンに従ってハーフスイープさせる。
【００９１】
その後、フォーカスを再度停止させ、電子シャッタにより撮像素子１０４の露光も停止し、露光による光量に応じた電気信号（電荷）を各光電変換素子から読み出す。さらに絞り１１５の開口をあらかじめ決定した量に絞り（Ｓ１７）、フォーカス位置を固定したまま撮像を行う（Ｓ１８）。
【００９２】
以上のＳ１１からＳ１８までの動作が撮影の一周期となる。図４（ａ）から分かるように、本実施形態では、一周期の動作の変位パターンにおいて、フォーカス位置が静止した変位パターン（第１タイプの変位パターン）はニアスイープの変位パターン（第２Ｎタイプの変位パターン）およびファースイープの変位パターン（第２Ｆタイプの変位パターン）に挟まれ、ニアスイープの変位パターンとファースイープの変位パターンは連続していない。動画を撮影する場合、Ｓ１１からＳ１８の動作を繰り返し続ければよい。図４（ｃ）に示すように、絞り１１５の開口の大きさを変化せている間（Ｓ１１、Ｓ１３、Ｓ１５、Ｓ１７）は、電子シャッタにより露光を停止している。
【００９３】
ユーザーによる撮影完了を示す入力を確認し（Ｓ１９）、撮影完了が指示された場合、スイープ動作を終了する。
【００９４】
次に、得られた各スイープ画像から三次元情報を求める方法について説明する。例えば、画像処理部１０９は、撮影シーンの三次元情報を求めるように構成されていてもよい。ステップＳ１４およびＳ１８で得られた電気信号による画像は、合焦位置が一定であり、絞りを絞った状態で撮影されている。このため、被写界深度が深い画像、つまり、被写界深度範囲内にある被写体すべてに合焦した全焦点画像（疑似的なフルスイープ画像）が得られている。
【００９５】
一方ステップＳ１２およびＳ１６で得られた電気信号による画像は、合焦位置が移動しながら畳み込まれた状態で撮影されている。このため、ハーフスイープ方式によるニアスイープ画像とファースイープ画像が得られている。このため、例えば、ステップＳ１２およびＳ１６で得られた画像を非特許文献２に開示された画像処理方法を用いることによって、撮影シーンの奥行き情報を得ることができる。
【００９６】
この全焦点画像と奥行き情報を用いることで撮影シーンにおける三次元情報を得ることができる。つまり、一枚の疑似的なフルスイープ画像と、その前後のフレームのタイミングで撮影したファースイープ画像およびニアスイープ画像の合計三枚の画像から、一つのシーンにおける三次元情報を得ることが可能となる。例えば、撮影シーンの最遠端と最近端との間にある任意の被写体に焦点を合わせた画像を再構成することが可能である。本実施形態によれば、奥行きの推定にはハーフスイープによる画像を用いる。上述したように、ハーフスイープによる画像に基づく奥行きの推定はフルスイープの画像に基づく奥行きの推定よりも精度が高いため、本実施形態で得られる三次元情報の精度は高い。
【００９７】
また、本実施形態によれば、１周期のフォーカスレンズの変位パターンで４つの画像を撮影しているが、全焦点画像のフレームはハーフスイープによる画像のフレームに挟まれるため、全焦点画像および上述した三次元情報は、２ビデオフレーム周期で得られる。このため、本実施形態によれば、なめらかなＥＤＯＦ動画を得ることが可能である。例えば、例えば６０ｆｐｓで撮像可能な撮像素子を用いれば３０ｆｐｓの三次元動画を得ることができる。より高速撮像が可能な撮像素子を用いれば、よりなめらかな（高フレームレート）ＥＤＯＦ動画を実現することができる。
【００９８】
また、本実施形態によれば、１ビデオフレームの期間に一致した長さで全焦点画像を得るため、全焦点画像全体が時間的に一致したタイミングで取得され、自然な、全焦点画像が得られる。これらのことから本実施形態によれば、高品質で違和感がなく、かつ、なめらかなＥＤＯＦ動画を得ることができる。
【００９９】
さらに、全焦点画像はフォーカスレンズを停止した状態で取得できる。このため、撮像装置全体の消費電力を低下することができる。また、フォーカスレンズをフルスイープさせることがないため、フォーカスレンズを駆動するモーター等の駆動源としてフルスイープをさせる場合と比べて駆動能力の低いもの使用することができる。よって、撮像装置の製造コストを低減することができ、また、撮像装置をより小型化することが可能となる。また、上述した奥行き情報を得るための画像処理は、その演算過程において高周波領域を強調するためノイズに弱く、その演算規模の大きさは消費電力をさらに増大させる要因となる。これらの点でも、フォーカスレンズの駆動源が低消費電力であり、また、高い駆動能力を必要としないという特徴は有利である。
【０１００】
なお、本実施形態ではフォーカスレンズの初期位置を最遠端に設定しているが、初期位置は最近端であってもよい。また、本実施形態の撮像装置１００において、静止画撮影を撮影する場合、連続する全焦点画像とニアスイープ画像およびファースイープ画像とがあればよい。このため、本実施形態で用いる変位パターンは、ステップＳ１８の変位パターンを含んでいなくてもよい。
【０１０１】
また、三次元情報は画像処理部１０９以外の信号処理部、例えば、撮像装置１００の外部のコンピュータや信号処理部によって行ってもよい。
【０１０２】
（実施形態２）
図５および図６を参照しながら、本発明による撮像装置、集積回路および撮像方法の第２の実施形態を説明する。
【０１０３】
本実施形態の撮像装置の構成は、実施形態１の撮像装置と同様であり、フォーカスレンズの変位パターンが異なる。
【０１０４】
図５は撮影時のスイープ動作の手順を示すフローチャートである。また、図６(a)はフォーカスレンズの位置を最遠端と最近端との間で変位させたときのフォーカスレンズのスイープパターンを示す図であり、図６（ｂ）は絞りの開口の大きさの時間変化を示す図である。
【０１０５】
本実施形態では、フォーカス位置を初期位置へ移動させた後（Ｓ２０）、絞りを開放状態に設定し（Ｓ２１）、ファースイープ撮像を行った後（Ｓ２２）、ステップＳ２１で絞りを開放状態に設定する時間と同じだけ撮像を中断し（待ち）（Ｓ２３）、その後ニアスイープ撮像を行う（Ｓ２４）。その後、絞りの開口をあらかじめ決定した大きさに絞り（Ｓ２５）、フォーカス位置を固定したまま撮像を行う（Ｓ２６）。
【０１０６】
このように、本実施形態におけるフォーカスレンズの変位パターンでは、一周期の動作の変位パターンにおいて、フォーカス位置が静止した変位パターン（第１タイプの変位パターン）はニアスイープの変位パターン（第２Ｎタイプの変位パターン）およびファースイープの変位パターン（第２Ｆタイプの変位パターン）に挟まれ、ニアスイープの変位パターンとファースイープの変位パターンは連続している。
【０１０７】
ステップＳ２４でのニアスイープ撮像時の絞りの開口の大きさは、ステップＳ２２で設定されて開口の大きさと同じでよい。ただし、奥行き情報を求める処理の際、ニアスイープ画像とファースイープ画像との撮像パラメータは等しい方がより精度の高い奥行き推定が可能となる。このため、ステップＳ２１に対応する時間、露光を行わないようにし、ステップＳ２２およびステップＳ２４における露光時間を等しくしている。
【０１０８】
本実施形態の撮像装置によっても、実施形態１の撮像装置と同様、三次元動画を撮影することが可能であり、実施形態１の撮像装置と同様の効果を得ることが可能である。
【０１０９】
（実施形態３）
図７および図８を参照しながら、実施形態３の撮像装置、集積回路および撮像方法を説明する。
【０１１０】
図７は、本実施形態の撮像装置２００を示すブロック構成図である。実施形態１の撮像装置１００と同一の構成要素には同じ参照符号を付している。撮像装置２００は、撮像素子１０４の位置を移動させることにより、レンズ光学系１２０のフォーカスレンズ１０１との距離を変化させる点で撮像装置１００と異なる。
【０１１１】
このために、撮像装置２００は、撮像素子位置検出部２０２、撮像素子駆動部２０３、撮像素子変位制御部２０６および露光・絞り・撮像素子変位同期部２０７を備える。
【０１１２】
撮像素子位置検出部２０２は、位置センサを含み、撮像素子１０４の位置を検出し、検出信号を撮像素子変位制御部２０６へ出力する。撮影パラメータ設定部１１８は撮像素子１０４の変位パターンを設定し、目標撮像素子の位置とする。これにより、撮像素子変位制御部２０６は、目標撮像素子位置と撮像素子位置検出部２０２によって検出された撮像素子１０４の現在位置との差から駆動信号を計算して撮像素子駆動部２０３に出力する。
【０１１３】
レリーズ受付部１１３において、ユーザーからの撮影開始指令を受け付けると、撮影パラメータ決定１１８が撮像素子１０４の露光時間、絞りの開口の大きさおよび変位パターンを決定し、露光・絞り・撮像素子変位同期部２０７にこれらの情報を出力する。
【０１１４】
露光・絞り・撮像素子変位同期部２０７は、露光時間に関する情報に基づき、同期したタイミングで露光、絞り１１５の開口の制御、撮像素子１０４の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッタ開閉指示部１１２、絞り開口制御部１１７、撮像素子変位制御部２０６および読み出し回路１０８に指令を出力する。これにより、撮像装置２００は、絞り１１５の開口を所定の大きさに設定し、撮像素子１０４を駆動して撮像素子１０４の位置を変化させながら撮像素子１０４に露光させ、スイープ画像を得ることが可能となる。
【０１１５】
図８は、本実施形態の撮像方法を示すフローチャートである。撮像素子とフォーカスレンズとの距離を変化させるために、撮像素子を変位させることを除けば、図２で説明した実施形態１における撮像方法と同じである。
【０１１６】
撮像素子の変位パターンは、実施形態１や実施形態２で説明したフォーカスレンズの位置の変位パターンと同じである。また、以下において説明する実施形態４から実施形態７のフォーカスレンズの位置の変位パターンを用いることも可能である。
【０１１７】
本実施形態の撮像装置によっても、実施形態１の撮像装置と同様、三次元動画を撮影することが可能であり、実施形態１の撮像装置と同様の効果を得ることが可能である。
【０１１８】
（実施形態４）
実施形態１から実施形態３の撮像装置は、撮像素子として、ＣＣＤイメージセンサを用いている。ＣＣＤイメージセンサは、全画素を同時に読み出すことができるグローバルシャッタ動作が可能であるため、これらの実施形態の撮像装置におけるフォーカスレンズの変位パターンもＣＣＤイメージセンサに適している。本実施形態では撮像素子としてＣＭＯＳイメージセンサを用いた撮像装置、集積回路および撮像方法を説明する。
【０１１９】
ＣＭＯＳイメージセンサによって構成される撮像素子は、多数の画素を高速に読み出すのに適しており、例えばＦｕｌｌＨＤ（１９２０×１０８０）サイズの画像を６０ｆｐｓで読み出すことが可能な撮像素子が実現されている。
【０１２０】
ＣＭＯＳイメージセンサによって構成される撮像素子を露光して得られた電荷を連続して読み出す場合、二次元に配列された画素集合を行などの部分単位で順次走査して各画素から電荷を読み出すローリングシャッタと呼ばれる電子シャッタ制御方式が用いられる。
【０１２１】
図９（ａ）はこのような撮像素子において画素集合からの電荷を読み出すタイミングを示している。横軸は時間を示し、縦軸は、撮像素子の読み出し行の位置を示している。撮像素子はＮ行の複数の画素行によって構成されている。図９（ａ）の斜線部は一枚の画像を得る場合の撮像素子の露光タイミングを、太実線はデータの読み出しタイミングをそれぞれ示している。図９（ａ）に示すように、撮像素子の先頭行から順次走査して各画素から電荷を読み出し、その直後から電荷を蓄積し始め、所定時間経過後に再度走査して各画素から電荷を読み出すことにより画像信号を得る。第Ｎ行目の走査が終了した後は先頭から走査を再度繰り返すことにより、連続した動画像を得ることができる。図９（ａ）から分かるように、ローリングシャッタで撮影を行う場合、撮像素子面内での撮像タイミングにずれが生じ、先頭行と最終行では最大で１ビデオフレーム分のずれが生じる。
【０１２２】
Ｆ−ＤＯＦ方式によって画像を取得する場合、フォーカス状態を所定の合焦範囲の最遠端から最近端まで変位させて、撮像素子面内のすべての画素を均一に露光させる必要がある。図９（ｂ）は、図９（ａ）の横軸と対応しており、ローリングシャッタにより、１ビデオフレーム期間内にフォーカスレンズを最遠端から最近端までスイープ動作させ場合の変位パターンを示している。図９（ａ）に示すタイミングで撮像素子を露光する場合、第１読出し行の露光の期間にフォーカスレンズは最遠端から最近端の全範囲を移動する。しかし、第Ｎ行の露光の期間にフォーカスレンズは、最近端にのみ位置する。これらの間の行の露光の期間にフォーカスレンズは最遠端から最近端までの範囲の一部分のみを変位する。このため、図９（ｂ）に示す変位パターンでフォーカスレンズを変位させても正しいスイープ画像を得ることができない。
【０１２３】
図９（ｃ）は、ＣＭＯＳイメージセンサによって構成される撮像素子に適した変位パターンの一例を示している。図９（ｃ）に示す変位パターンは、１ビデオフレーム期間に、最遠端から変位を開始し、最近端へ到達した後、最遠端へ戻るつまり１ビデオフレーム期間に最遠端から最近端までを１往復変位している。この例では、露光時間が１ビデオフレームに一致しているため、変位パターンの往復動作は１ビデオフレームに一致しているが、往復動作は露光時間に同期していればよい。つまり、露光時間の２以上の整数倍の往復動作を行えばよい。図９（ｃ）に示す変位パターンは、２ビデオフレームの期間、変位パターンが続くことによって、つまりスイープ動作が２往復であることによって、撮像素子面内のすべての画素を均一に露光させることができる。
【０１２４】
このような差異に基づけば、図３１に示すスイープ動作は、ＣＭＯＳイメージセンサを撮像素子に用いる場合、図３２に示す変位パターンを用いて実現できることが分かる。
【０１２５】
図３２（ａ）に示すフルスイープ方式において、一枚のスイープ画像を得るためのスイープは二往復でよい。しかし、ＤＦＤ方式によれば、フォーカス位置を最近端から最遠端へ移動する必要がある。このため、撮影はしないがフォーカスレンズを最遠端から最近端あるいは、最近端から最遠端へ移動させる変位パターンを含む必要がある点が、ＣＣＤイメージセンサを撮像素子に用いる場合における変位パターンと異なる。一方、図３２（ｂ）に示すように、ハーフスイープ方式においては、ニアスイープ、ファースイープの各スイープの開始位置はいずれも最近端と最遠端との中間位置であり、各スイープは元々一往復動作であるため、往復動作以外のフォーカス移動は発生しない。
【０１２６】
このように、ＣＣＤイメージセンサに換えてＣＭＯＳイメージセンサを撮像素子として用いる場合、２ビデオフレームの期間の間にフォーカスレンズを２往復させればよい。ただし、撮像中に絞りの開口の大きさを変化させる場合、開口の大きさが変化している間に撮像を行わないように電子シャッタを用いて露光を制限する必要がある。この場合の動作を図１０を用いて説明する。
【０１２７】
図１０（ａ）、（ｃ）、（ｄ）の各図の縦軸、横軸は、それぞれ図９（ａ）、（ｂ）、（ｃ）と同じである。ＣＭＯＳイメージセンサによって構成される撮像素子で電子シャッタを使用する場合の露光は、図１０（ａ）に示すように、撮像素子の各読み出し行において、時間Ｔだけ短く露光される。このため、図１０（ａ）において、露光領域（Ａ）と非露光領域（Ｂ）が生じる。絞りは、図１０（ｂ）で示されるように、各ビデオフレームの先頭から時間Ｔの間に開口の大きさの変更が完了するように制御される。図１０（ｃ）に示すように、各読み出し行において、電子シャッタによる非露光時間が終了後にスイープ動作を開始し、各読み出し行における露光時間の間に一往復するようなスイープ動作を行う。各読み出し行の露光時間は電子シャッタにより１ビデオフレームより短くなっている。そのため、スイープ動作は二往復より多くなるところが、図９で説明した電子シャッタが無い場合との違いである。連続したスイープ動作を行うことを考慮し、図１０（ｄ）に示すように時間Ｔの間にスイープの予備動作を行い、ビデオフレームの終了タイミングでフォーカス位置が初期位置に戻るようなスイープ動作を行ってもよい。
【０１２８】
このような電子シャッタの動作を利用することによって、実施形態１、２の撮像装置をＣＭＯＳイメージセンサを用いて実現することができる。本実施形態の撮像装置は、撮像素子がＣＭＯＳイメージセンサであることを以外、実施形態１、２の撮像装置と同じ構成を備えているため、撮像装置の各構成要素の説明は、ここでは繰り返さない。
【０１２９】
図１１は本実施形態の撮像装置における撮影時のスイープ動作の手順を示すフローチャートである。また、図１２（ａ）、（ｂ）は実施形態１の図４（ａ）、（ｂ）に対応するフォーカスレンズの変位パターンおよび絞りの開口の大きさの時間変化を示している。
【０１３０】
図１１および図１２に示すように、まずフォーカスレンズを初期位置へ移動させた後（Ｓ３０）、ステップＳ３１、Ｓ３３、Ｓ３５、Ｓ３７のそれぞれにおいて絞りの開口の大きさを変更し、ステップＳ３２、Ｓ３４、Ｓ３６、Ｓ３８のそれぞれにおいて撮像のために往復スイープを行っている。また、絞りの開口の大きさを変化させている間（Ｓ３１、Ｓ３３、Ｓ３５、Ｓ３７）、電子シャッタによって撮像素子は非露光状態にする。
【０１３１】
図１０（ｄ）を参照して説明したように、絞りの開口の大きさが変化しているステップＳ３１およびＳ３５において、フォーカス位置をあらかじめオフセットさせる予備動作をさせておくことで、ハーフスイープでフォーカスレンズを駆動した場合における２ビデオフレームを単位とする変位パターンの始点と終点における位置を一致させ、スイープ動作をなめらかに連続させることができる。
【０１３２】
このようなスイープパターンを採用することによって、ＣＭＯＳイメージセンサを用いた撮像素子であっても、全焦点画像のための変位パターンを奥行き情報を求めるためのニアスイープの変位パターンおよびファースイープの変位パターンで挟むことによって、全焦点画像とハーフスイープ画像とをビデオフレーム上において交互に取得することができる。よって、実施形態１で説明したように、三次元動画を撮影することが可能となる。
【０１３３】
この例では、全焦点画像は４ビデオフレームに２回撮影できるため、例えば６０ｆｐｓで撮像可能なＣＭＯＳ型撮像素子を用いれば１５ｆｐｓの三次元動画を得ることができる。これらの動作は、高速な読み出しが可能な撮像素子と組み合わせることで、より効果を発揮する。
【０１３４】
また、実施形態２の図５および図６を参照して説明した撮像装置の撮像素子にＣＭＯＳイメージセンサイメージセンサを用いる場合は、図１３に示すフローチャートによる手順および図１４（ａ）、（ｂ）に示すスイープパターン動作および絞りの開口制御を行う。この場合、図５および図６のステップＳ２０からＳ２７が、図１３および図１４（ｂ）に示すステップＳ４０からＳ４７にそれぞれに対応する。
【０１３５】
本実施形態は実施形態３と組み合わせることが可能である。具体的にはフォーカスレンズにかえて撮像素子を駆動してもよい。この場合、撮像装置の構成は、図７に示す構成と同じであってもよい。
【０１３６】
このように、ローリングシャッタ動作を行うＣＭＯＳイメージセンサを撮像素子として用いる撮像装置でも、実施形態１と同様、なめらかで品質の高い三次元動画を撮影することができる。また、小型で消費電力の小さい撮像装置を実現し得る。
【０１３７】
（実施形態５）
実施形態１から実施形態４において、全焦点画像は、絞りの開口を小さくし、被写界深度を深くすることによって取得していた。この場合、全焦点画像を得る際、撮像素子へ到達する光量は少なくなる。撮像素子への光量が大幅に低下するとＳ／Ｎが低下し、画質が悪化してしまう。そこで、絞り撮像時の光量が所定の閾値を下回らないよう、開口量に制限をかけても良い。このときの閾値は、光量の絶対値で決めても良いし、絞りを開放状態で撮影するスイープ画像の光量との比から決めても良い。
【０１３８】
具体的には、撮像パラメータ決定部は、撮像シーンの明るさ、つまりレンズ光学系へ入射する光の光量に応じて、全焦点画像を得る場合における絞りの開口の大きさを決定する。光量が閾値よりも小さい場合、撮像パラメータ決定部は、光量が閾値よりどれくらい少ないかにかかわらず、絞りの開口を所定の大きさに設定する。
【０１３９】
また、この場合、画質の悪化を許容する代わりに被写界深度の拡大を優先するような選択がユーザーにできるよう、閾値を変更できるような構成であってもよい。ユーザーが容易に閾値を変えられるようにしておくことで、様々な条件で撮影が可能な撮像装置を提供することができる。
【０１４０】
このように本実施形態によれば、撮影シーンが暗い場合に、撮影した画像の画質の劣化を抑制することが可能となる。また、ユーザーの設定により、画質を優先させるか、三次元情報の取得を優先させるかの選択をすることが可能となる。
【０１４１】
（実施形態６）
実施形態５では、レンズ光学系に入射する光量が所定の閾値を下回った場合に絞りの開口量を制限しているが、暗所で撮影を行う場合などは絞りを開放状態にしても撮像素子へ入射する光量が不足気味になる場合がある。このような場合に絞りを絞って全焦点画像を取得しようとすると、さらに光量が低下し、撮影した画像の画質が極端に低下してしまう。
【０１４２】
本実施形態の撮像装置は、このような場合に、絞りの開口を小さくしすぎないよう、絞る量を制限するとともに、フォーカスレンズを、スイープ量を制限したフルスイープによって変位させながら全焦点画像の撮影を行う。これにより、撮像素子へ入射する光量を低下させることなく被写界深度を拡大した全焦点画像を得ることができる。
【０１４３】
本実施形態の撮像装置の構成は、実施形態１から５の撮像装置と同じであってよい。このため以下では、特に、フォーカスレンズまたは撮像素子の変位パターンと絞りの開口の制御を説明する。
【０１４４】
図１５（ａ）、（ｂ）および図１６（ａ）、（ｂ）は、図４（ａ）、（ｂ）に対応するスイープパターンおよびは絞りの開口の大きさの時間変化を示している。また、図１５（ａ）はグローバルシャッタ動作を行う撮像素子を用いたときのスイープパターンを、図１６（ａ）はローリングシャッタ動作を行う撮像素子を用いたときのスイープパターンをそれぞれ示している。
【０１４５】
これらの図から分かるように、本実施形態では、全焦点画像を得るためのフォーカスレンズの変位パターン（第１タイプの変位パターン）は、最遠端（第１の合焦位置）よりも最近端（第２の合焦位置）に近接した位置と、最近端よりも最遠端に近接した位置との間の全区間を変位する。ＣＣＤイメージセンサを用いる場合、図１５（ａ）に示すように、１ビデオフレーム中、設定した区間の中間の位置から変位を開始し、区間全体を１往復する。ＣＭＯＳイメージセンサを用いる場合には、図１６（ａ）に示すように、２ビデオフレーム中、設定した区間の中間の位置から変位を開始し、区間全体を２往復する。
【０１４６】
区間の長さは、撮像素子へ入射する光量および設定する絞りの開口の大きさに依存する。具体的には、入射する光量が少ないほど、区間を長くとることによって、光量が不足することによって絞りの開口を小さくすることができず、被写界深度が浅くなるのをフォーカスレンズの変位によって補うことができる。
【０１４７】
このように本実施形態によれば、撮影シーンが暗くレンズ光学系へ入射する光量が不足する場合でも、絞りの開口をあまり小さくせずに光量を確保し、フォーカスレンズを変位させることによって合焦範囲を広げることができる。よって、Ｓ／Ｎ比を悪化させずに、全焦点画像を取得することができる。よって撮影シーンが暗くても、画質をあまり劣化させずに、三次元動画の撮影を行うことができる。
【０１４８】
また、全焦点画像を得るためのフォーカスレンズの変位パターンにおける変位区間は最遠端と最近端との間の全区間よりも短い。このため、撮影中のフォーカスレンズの駆動量は、最遠端と最近端との間の全区間を変位する場合に比べて少なくなり、撮像装置の消費電力を低減することができる。
【０１４９】
ただし、本実施形態において、全焦点画像を得るために、フォーカスレンズを、最遠端と最近端との間の全区間で変位させてもよい。
【０１５０】
図１７は、このような形態におけるスイープ動作の手順を示すフローチャートである。図３に示すフローチャートと比べ、絞りの駆動ステップがなくなっており、絞りを絞ってフォーカス位置を固定した状態で、最遠端と最近端との間の全区間においてフルスイープによって、フォーカスレンズを変位させている。ビデオフレームに絞りを駆動する必要が無いため、電子シャッタによって、絞りの開口の大きさを変化させている間、撮像素子を非露光状態にしていない。この形態によれば、最遠端から最近端までの全範囲で焦点が合っている全焦点画像を得ることができる。
【０１５１】
図１８はグローバルシャッタ動作を行う撮像素子を用いたときのスイープパターンを、図１９はローリングシャッタ動作を行う撮像素子を用いたときのスイープパターンをそれぞれ示している。いずれの撮像素子を用いる場合でも、そのスイープ動作の手順は図１７に示すフローチャートの手順にしたがう。
【０１５２】
このように、撮影シーンが暗く撮像素子へ入射する光量が不足する場合には、絞りを完全に開放状態で固定しつつフルスイープ撮像を行うことで、全焦点画像の取得ができ、三次元動画の撮影を行うことができる。つまり、絞りの開口を小さくし、被写界深度を深くするか、最近端と最遠端との中間位置を超えて、最近端側と最遠端側との間でフォーカスレンズを駆動することにより得られた全焦点画像と、ハーフスイープ画像とを用いることによって、全焦点画像の画質と奥行き計測精度を両立させた撮影を行うことができる。
【０１５３】
（実施形態７）
これまで説明してきたように、絞りの開口の大きさを、全焦点画像を得る場合とハーフスイープによる画像を得る場合とで変化させると、これら２つの画像において撮像素子へ入射する光量が変化する。
【０１５４】
本実施形態の撮像装置は、撮像素子の電子シャッタを用いて、ハーフスイープ画像および全焦点画像を得るための撮影の際、露光時間を調整する。より具体的には、ハーフスイープ撮像における露光時間を全焦点画像を得るための撮像における露光時間より短くする。
【０１５５】
本実施形態の撮像装置は、実施形態１から６の撮像装置と同様の構造を備えている。図２０は、撮影時のスイープ動作の手順を示すフローチャートである。本実施形態では、それぞれのビデオフレームにおける撮影毎に電子シャッタによる非露光時間あるいは露光時間を設定する。図２１(a)、（ｂ）（ｃ）はＣＣＤイメージセンサを撮像素子に用いた場合のスイープパターン、絞りの時間変化および撮像素子の露光、読み出しのタイミングを示している。また、図２２(a)、（ｂ）（ｃ）はＣＭＯＳイメージセンサを撮像素子に用いた場合のスイープパターン、絞りの時間変化および撮像素子の露光、読み出しのタイミングを示している。
【０１５６】
本実施形態によるスイープ動作の手順を説明する。図２０に示すように、まず、フォーカスレンズを初期位置へ移動させる（Ｓ６０）。次に、例えば、電子シャッタによる非露光時間あるいは露光時間を、ハーフスイープ撮像における露光時間と全焦点画像を得るため撮像における露光時間との比に応じて設定する（Ｓ６０１）。
【０１５７】
次に、絞りを開放状態にする（Ｓ６１）。このとき、フォーカス位置は初期位置のまま変化させず、停止させておく。
【０１５８】
次に最遠端から中間位置までの往復スイープ動作である、ハーフスイープにおけるファースイープを行う（Ｓ６２）。このときのスイープパターンは、Ｓ６０１の電子シャッタの設定によって露光時間が短くなったことに対応し、そのスイープの変位速度を大きくする。
【０１５９】
その後、電子シャッタの設定を元に戻す（Ｓ６２１）。フォーカスを停止させるとともに絞りをあらかじめ決定した量に絞り（Ｓ６３）、フォーカス位置を固定したまま撮像を行う（Ｓ６４）。
【０１６０】
その後、電子シャッタの設定を、ステップＳ６０１で設定した露光時間と同じになるように設定する（Ｓ６４１）。
【０１６１】
再度絞りを開放状態にした（Ｓ６５）後、最遠端位置から中間合焦位置の往復スイープ動作である、ハーフスイープにおけるニアスイープを行う（Ｓ６６）。上述したようにスイープの変位速度は、電子シャッタの設定によって露光時間が短くなったことに対応し、大きくする必要がある。
【０１６２】
その後、電子シャッタ設定を、元に戻す（Ｓ６６１）。フォーカスを再度停止させるとともに絞りをあらかじめ決定した量に絞り（Ｓ６７）、フォーカス位置を固定したまま撮像を行う（Ｓ６８）。
【０１６３】
以上のステップＳ６１からＳ６８までの手順におけるスイープ動作が一周期となる。動画を撮影する場合、ステップＳ６１からＳ６８の動作を繰り返し続ければよい。絞りの開口の大きさを変更しているステップＳ６１、Ｓ６３、Ｓ６５、Ｓ６７における時間は、図３を用いて説明したように電子シャッタによって撮像素子が非露光状態にある。
【０１６４】
ユーザーによる撮影完了を示す入力を確認し（Ｓ６９）、撮影完了が指示された場合はスイープ動作を終了する。
【０１６５】
このように、電子シャッタの設定を各スイープ撮像ことに切り換えて露光時間を調整するとともに、その露光時間に応じてスイープ速度を変化させることで、絞りの開口量変化による光量変化を補正しつつ全焦点画像と奥行き情報のためのハーフスイープ画像とを連続して取得することができる。
【産業上の利用可能性】
【０１６６】
本願に開示された撮像装置、集積回路および撮像方法は、全焦点画像と奥行き情報とを交互に連続して高速に取得することができ、民生用あるいは業務用の種々の撮像装置に好適に用いることができる。
【符号の説明】
【０１６７】
１００、２００、３００、４００  撮像装置
１０１  フォーカスレンズ
１０２  フォーカスレンズ位置検出部
１０３  フォーカスレンズ駆動部
１０４  撮像素子
１０５  フォーカスレンズ変位設定部
１０６  フォーカスレンズ変位制御部
１０７  露光・絞り・フォーカスレンズ変位同期部
１０８  読み出し回路
１０９  画像処理部
１１０  記録部
１１１  シャッタ
１１２  シャッタ開閉指示部
１１３  レリーズ受付部
１１４  露光時間決定部
１１５  絞り
１１６  絞り駆動部
１１７  絞り変位制御部
１１８  撮像パラメータ決定部
１２０  レンズ
１２１  露光・フォーカスレンズ変位同期部
２０２  撮像素子位置検出部
２０３  撮像素子駆動部
２０５  撮像素子変位設定部
２０６  撮像素子変位制御部
２０７  露光・絞り・撮像素子変位同期部
２０８  露光・撮像素子変位同期部
【図１】
0005914834.tif 000002
【図２】
0005914834.tif 000003
【図３】
0005914834.tif 000004
【図４】
0005914834.tif 000005
【図５】
0005914834.tif 000006
【図６】
0005914834.tif 000007
【図７】
0005914834.tif 000008
【図８】
0005914834.tif 000009
【図９】
0005914834.tif 000010
【図１０】
0005914834.tif 000011
【図１１】
0005914834.tif 000012
【図１２】
0005914834.tif 000013
【図１３】
0005914834.tif 000014
【図１４】
0005914834.tif 000015
【図１５】
0005914834.tif 000016
【図１６】
0005914834.tif 000017
【図１７】
0005914834.tif 000018
【図１８】
0005914834.tif 000019
【図１９】
0005914834.tif 000020
【図２０】
0005914834.tif 000021
【図２１】
0005914834.tif 000022
【図２２】
0005914834.tif 000023
【図２３】
0005914834.tif 000024
【図２４】
0005914834.tif 000025
【図２５】
0005914834.tif 000026
【図２６】
0005914834.tif 000027
【図２７】
0005914834.tif 000028
【図２８】
0005914834.tif 000029
【図２９】
0005914834.tif 000030
【図３０】
0005914834.tif 000031
【図３１】
0005914834.tif 000032
【図３２】
0005914834.tif 000033