(57)【要約】  本願に開示された撮像装置は、撮像素子と、フォーカスレンズを含むレンズ光学系と、撮像素子とフォーカスレンズとの距離が変化するように、撮像素子またはフォーカスレンズの一方を駆動する駆動部と、駆動部に指令を出力することにより、所定の変位パターンに基づき、駆動される撮像素子またはフォーカスレンズの変位を制御するように構成された変位制御部と、撮像素子の露光のタイミングに基づき、変位制御部を制御するように構成された同期部とを備え、所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、フォーカスレンズまたは撮像素子の第１合焦位置と、撮像シーン中の第２被写体距離において合焦する、フォーカスレンズまたは撮像素子の第２合焦位置との間の異なる範囲で撮像素子または前フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、第１タイプの変位パターンおよび第２タイプの変位パターンは交互に繰り返される。
2012140899.tif 000002
【特許請求の範囲】
【請求項１】
二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、
前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、
前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、
前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御するように構成された変位制御部と、
前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部と、
を備え、
前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返される、撮像装置。
【請求項２】
前記第１タイプの変位パターンの変位範囲は、前記第２タイプの変位パターンの変位範囲の少なくとも一部を含む請求項１に記載の撮像装置。
【請求項３】
前記第１タイプの変位パターンの変位範囲は、前記第１合焦位置と前記第２合焦位置との間の全区間である請求項２に記載の撮像装置。
【請求項４】
前記第２タイプの変位パターンは、前記第１合焦位置と、前記第１合焦位置および前記第２合焦位置の中間位置との全区間が前記変位範囲である第２Ｆタイプの変位パターンと、前記中間位置と、前記第２合焦位置との全区間が前記変位範囲である第２Ｎタイプの変位パターンとを含み、
第１タイプの変位パターンは前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンに挟まれている請求項３に記載の撮像装置。
【請求項５】
前記第１タイプの変位パターン、前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは、それぞれ、全変位範囲を少なくとも１回、一方向に変位する請求項４に記載の撮像装置。
【請求項６】
前記第１タイプの変位パターンと前記第２Ｆタイプの変位パターンおよび前記第１タイプの変位パターンと前記第２Ｎタイプの変位パターンはそれぞれ、つながっている請求項５に記載の撮像装置。
【請求項７】
前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、
前記第１合焦位置、前記第２合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部と
をさらに備える請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、
前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する請求項７に記載の撮像装置。
【請求項９】
前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、
前記同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する請求項８に記載の撮像装置。
【請求項１０】
前記第１タイプの変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズが変位している間に得られた画像信号から全焦点画像を生成する請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記第２タイプの変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズが変位している間に得られた画像信号から奥行き情報を生成する請求項１から１０のいずれかに記載の撮像装置。
【請求項１２】
前記撮像素子は、ＣＣＤイメージセンサである請求項１から１１のいずれかに記載の撮像装置。
【請求項１３】
前記撮像素子は、ＣＭＯＳイメージセンサである請求項１から１１のいずれかに記載の撮像装置。
【請求項１４】
前記第１タイプの変位パターン、前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは、それぞれ、少なくとも全変位範囲を整数回、往復変位する請求項１３に記載の撮像装置。
【請求項１５】
二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、
前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前フォーカスレンズの変位を制御するように構成された変位制御部と、
前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部と、
を備え、
前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返される、集積回路。
【請求項１６】
二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、
撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンで、前記前記フォーカスレンズまたは前記撮像素子を変位させながら前記複数の光電変換素子を露光させる撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は被写体深度拡張技術を利用した動画を撮影することが可能な撮像素子に関する。
【背景技術】
【０００２】
撮像装置において、被写界深度拡張（Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  Ｏｆ  Ｆｉｅｌｄ、以下ＥＤＯＦと称する）を実現する方式として、様々な方法が提案されている。例えば、露光時間中にフォーカスレンズもしくは撮像素子を動かすフォーカススイープ動作を行い、深度方向に一律に合焦した画像を畳み込み（つまり各深度でボケを均一化することと同義）、あらかじめ測定もしくはシミュレーションにより得られたボケパターンによって画像復元処理を行うことによって、ＥＤＯＦ画像を得る方法が提案されている（非特許文献１）。この方法は、Ｆｌｅｘｉｂｌｅ  ＤＯＦ（以下Ｆ−ＤＯＦと称する）と称される。【０００３】
Ｆ−ＤＯＦは、良好な画質が得られる方式として知られており、ＥＤＯＦ効果も高い。軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし、露光中フォーカス位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、光学的な条件として像側テレセントリックレンズである必要がある。【０００４】
ＥＤＯＦ技術の利用分野の１つに、顕微鏡が挙げられる。顕微鏡による撮像の場合、撮影対象が静物体であるため、時間をかけて撮影することができる。このため、Ｆｏｃａｌ  Ｓｔａｃｋ方式が古くから用いられてきた。この方式は、合焦位置の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出・合成し、ＥＤＯＦ画像を得る。これらの作業に手間および時間を要することから、Ｆ−ＤＯＦ方式も併用した技術が提案されている（特許文献１〜４）。Ｆ−ＤＯＦを顕微鏡用途で用いる場合、露光中に被写体である試料またはレンズ鏡筒を移動させる。露光後の画像復元処理を前提とする場合、像のボケが常に均一になるよう被写体またはレンズ鏡筒を移動させる。この移動の仕方を適切に制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている（特許文献５）。そのためには、撮像素子を移動させる場合、撮像素子を等速度で動かす。またフォーカスレンズを移動させる場合、撮像面が等速度で動くのに相当するフォーカスレンズの変位を行う必要がある（非特許文献１）。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。【０００５】
この一例を図１２に示す。図１２（ａ）および（ｂ）は、横軸に時間を取った場合の撮像素子の露光状態および撮像素子の読み出し状態を示しており、図１２（ｃ）は、横軸に時間をとり、縦軸にフォーカス位置を取った場合のフォーカスレンズの変位を示している。図１２（ａ）および（ｂ）において斜線部は撮像素子への露光およびデータの読み出しを行うタイミングを示している。フォーカス位置を近側合焦位置から遠側合焦位置に変位させる動作に同期して撮像素子への露光を行うことで、同一シーンの種々の位置にある被写体を同一の画像位置上に、焦点が合った状態で畳み込んだ画像を得ることができる。以下、このようなフォーカス位置の変位を「スイープパターン」、得られる画像を「スイープ画像」と呼ぶ。別の例を図１２（ｄ）に示す。この例では、撮像素子の露光時間中にフォーカス位置を近側合焦位置から遠側合焦位置の間を往復変位することでスイープ画像を得ている。このようなスイープパターンであっても、直線変位部分のフォーカスレンズの変位速度が等速であれば、各フォーカス位置での露光時間は均一となるため、図１２（ｃ）で説明したものと同等のスイープ画像を得ることができる。【０００６】
この技術は、通常のデジタルスチルカメラ、デジタルビデオカメラに応用可能である。近年、デジタルスチルカメラやデジタルビデオカメラには、より簡単にかつ失敗の少ない撮影が求められている。ＥＤＯＦ技術には全焦点画像、すなわち合焦ミスからの開放という効果が期待できる。高画質であること、ＥＤＯＦ効果の大きさ、ＥＤＯＦ範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと（特別な光学系を用意しなくてすむこと）、ＥＤＯＦ撮影と通常撮影の切り替えが容易なこと、などから、デジタルスチルカメラやデジタルビデオカメラにＥＤＯＦ技術を用いる場合、Ｆ−ＤＯＦ方式が好適であると考えられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】独国特許発明第２３０１８００号明細書
【特許文献２】特公平５−２７０８４号公報
【特許文献３】特許第３１９１９２８号公報
【特許文献４】米国特許第７７１１２５９号明細書
【特許文献５】特許第３０８４１３０号公報
【非特許文献】
【０００８】
【非特許文献１】Ｈ．Ｎａｇａｈａｒａ，  Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，  Ｃ．Ｚｈｏｕ  ａｎｄ  Ｓ．Ｎａｙａｒ，  ”Ｆｌｅｘｉｂｌｅ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ”，  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  （ＥＣＣＶ），Ｏｃｔ．１６ｔｈ，  Ｍｏｒｎｉｎｇ  Ｓｅｓｓｉｏｎ  ２：  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｐｈｏｔｏｇｒａｐｈｙ  （２００８）
【非特許文献２】松井修平，  長原一，  谷口倫一郎，「フォーカススイープ撮像によるＤＦＤ」，  情報処理学会研究報告，  ２０１０−ＣＶＩＭ−１７４  Ｎｏ，６，  （２０１０）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
デジタルスチルカメラやデジタルビデオカメラにＥＤＯＦ技術を用いる場合、動画撮影においても、ＥＤＯＦ撮影が行えることが好ましい。本願は、品質の高いＥＤＯＦ動画を撮影することのできる撮像装置、撮像装置に用いられる集積回路および撮像方法を提供する。
【課題を解決するための手段】
【００１０】
本発明の一態様である撮像装置は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御するように構成された変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部とを備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返される。
【発明の効果】
【００１１】
本願に開示された撮像装置によれば、フォーカスレンズもしくは撮像素子を変位させ、Ｆｌｅｘｉｂｌｅ  ＤＯＦ方式において、全焦点画像を得るためのスイープ撮像と奥行き情報を得るためのスイープ撮像とを交互に繰り返すことによって、全焦点画像の画質と奥行き計測精度を両立させた撮影を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】第１および第３の実施形態による撮像装置のブロック構成図を示す。
【図２】第１および第３の実施形態による撮像装置の動作を示すフローチャートである。
【図３】図２における露光・スイープステップをさらに詳細に説明したフローチャートである。
【図４】（ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示す図であり、（ｂ）、（ｃ）は、変位パターンの他の例を示す図である。
【図５】第２の実施形態による撮像装置のブロック構成図を示す。
【図６】第２の実施形態による撮像装置の動作を示すフローチャートである。
【図７】（ａ）ＣＭＯＳイメージセンサによって構成される撮像素子のローリングシャッタ動作を説明する図であり、（ｂ）および（ｃ）は、フォーカスレンズの変位パターンの例をそれぞれ示す図である。
【図８】（ａ）および（ｂ）は、ＣＭＯＳイメージセンサによって構成される撮像素子を用い、フルスイープ画像およびハーフスイープ画像を得る場合のフォーカスレンズの変位パターンの一例を示している。
【図９】（ａ）および（ｂ）は、第３の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示す図である。
【図１０】（ａ）は、第３の実施形態において、電子シャッタを用いて露光時間を制限する場合の撮像素子の露光および読み出しのタイミングを示し、（ｂ）はこの場合におけるフォーカスレンズの変位パターンを示す図である。
【図１１】第３の実施形態において、電子シャッタを用いて露光時間を制限する場合のフォーカスレンズまたは撮像素子の変位パターンの一例を示す図である。
【図１２】（ａ）、（ｂ）は、撮像素子における露光のタイミングを示す図であり、（ｃ）、（ｄ）は、（ａ）、（ｂ）の露光のタイミングに対応してＥＤＯＦ画像を得るための、フォーカスレンズの変位パターンを示す図である。
【図１３】本願発明者が検討した撮像装置のブロック構成図である。
【図１４】被写体、フォーカスレンズおよび撮像素子の位置関係を示す図である。
【図１５】図１３に示す撮像装置におけるフォーカスレンズの位置と露光時間との関係を示す図である。
【図１６】被写体距離ｕと像面側焦点距離ｖの関係の一例を示すグラフである。
【図１７】本願発明者が検討した他の撮像装置のブロック構成図である。
【図１８】Ｆ−ＤＯＦ方式によるフォーカスレンズの変位パターンを示す図である。
【図１９】（ａ）から（ｃ）は、奥行き計測手法による計測結果を示す図である。
【図２０】図１９（ａ）から（ｃ）の結果を示す別な図である。
【図２１】（ａ）および（ｂ）は、フルスイープ画像およびハーフスイープ画像を得るためのフォーカスレンズの変位パターンを示す図である。
【発明を実施するための形態】
【００１３】
本願発明者は、通常の撮影に用いられる、オートフォーカス機構等のフォーカスレンズを駆動させる機構を備えたデジタルスチルカメラやデジタルビデオカメラにおいて、ＥＤＯＦ動画を得るために適した構造について詳細に検討した。
【００１４】
まず、Ｆ−ＤＯＦ方式の撮影を実現するのに必要な構成を、図１３を用いて説明する。図１３に示す撮像装置３００は、露光時間中にフォーカスレンズを変位させる構造を備えている。撮像装置３００は、フォーカスレンズ１０１を含むレンズ光学系１２０、フォーカスレンズ１０１を駆動するフォーカスレンズ駆動部１０３および撮像素子１０４を含む。フォーカスレンズ１０１の位置を変化させることにより、撮像素子１０４との距離を変化させ、フォーカス距離を変更し得る。フォーカスレンズ１０１が固定していると考えた場合、フォーカス距離の変更は、焦点位置の変更と同義である。
【００１５】
レリーズ受付部１１３がユーザから露光開始指令を受け付けると、フォーカスレンズ位置検出部１１５が、フォーカスレンズ１０１のそのときの位置（初期位置）を検出する。検出後、フォーカスレンズ１０１の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。
【００１６】
図１４は、撮影シーンに含まれる被写体と撮像装置３００内におけるフォーカスレンズ１０１および撮像素子１０４との位置関係を示す模式図である。
【００１７】
最近端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１を移動させた場合におけるフォーカスレンズ１０１の位置をいう。この時、撮像面上において合焦する被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは最も短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も長くなる。
【００１８】
また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１を移動させた場合におけるフォーカスレンズ１０１の位置をいう。この時、撮像面上において合焦する被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは最も長くなり、フォーカスレンズ１０１と撮像素子との距離ｖは最も短くなる。なお、図１４では、図示し易さのため、被写体と撮像装置３００との距離に比べて、フォーカスレンズ１０１の最近端と最遠端との距離が大きく示されている。
【００１９】
フォーカスレンズ１０１の初期化作業と同時に、露光時間決定部１１４にて、シャッタ速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、フォーカスレンズの変位の同期を取る露光・フォーカスレンズ変位同期部１０７は、露光開始の指令をフォーカスレンズ変位制御部１０６およびシャッタ開閉指令部１１２へ出力する。同時にフォーカスレンズ位置検出部１０２で検出されたフォーカスレンズ１０１の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内にフォーカスレンズ１０１を変位させる指令をフォーカスレンズ変位制御部１０６へ出力する。
【００２０】
図１５は、露光時間および露光量と像面側の焦点距離との関係を示している。像面側の焦点距離はフォーカスレンズ１０１の位置によって変化し、撮像素子面に対して等速にフォーカスレンズの位置が変位するよう、フォーカスレンズ変位制御部１０６の指令に基づき、フォーカスレンズ１０１がフォーカスレンズ駆動部１０３によって駆動される。上述したように、被写体とフォーカスレンズ１０１との距離をｕとし、フォーカスレンズ１０１と撮像素子１０４との距離をｖとし、焦点距離をｆとすると、一般的にレンズの公式より、
１／ｆ＝１／ｕ＋１／ｖ        （式１）
の関係が成り立つ。レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、ｆが１８［ｍｍ］のときのｕとｖとの関係を図１６に示す。フォーカスレンズ１０１が変位することにより、レンズ主点と撮像素子間の距離ｖが変化する。撮像素子面に対して等速にフォーカスレンズの変位が変化するよう、フォーカスレンズ１０１を駆動するとは、このｖの変化速度が一定であることを意味する。図１６に示すように、ｖが等速度で変位しても、被写体側の焦点面とレンズ主点間の距離ｕが等速度で変位するわけではない。また図１６の横軸は像面側焦点距離ｖであるため、被写体距離ｕの大小とは逆の関係になる。つまり、被写体距離が長い（遠くに位置する）被写体ほど像面側焦点距離ｖが短くなる。
【００２１】
露光・フォーカスレンズ変位同期部１０７から露光開始指令を受け取ると、シャッタ開閉指令部１１２はすぐに、シャッタ１１１が開くよう制御する。また所定の露光時間経過後、露光・フォーカスレンズ変位同期部１０７は、シャッタ開閉指令部１１２へ露光終了指令を出力する。シャッタ開閉指令部１１２は露光終了指令を受け取り、すぐに、シャッタ１１１が閉まるよう制御を行う。
【００２２】
上記手順によって撮像素子１０４に被写体の光学像が結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して、画像処理部１０９へ画像信号が出力される。同時に露光・フォーカスレンズ変位同期部１０７より画像処理部１０９へ、露光が終了したことおよびＦ−ＤＯＦによるフォーカスレンズの変位の撮影が行われたことが通知される。画像処理部１０９は画像信号を受け取り、必要な信号処理を行い、記録部１１０へ出力する。
【００２３】
図１７に示す撮像装置４００は、撮像素子１０４、撮像素子位置検出部２０２、露光・撮像素子変位同期部２０７、撮像素子変位制御部２０６、撮像素子駆動部２０３を備え、露光時間中に撮像素子を変位させる。撮像素子位置検出部２０２は、撮像装置３００とは異なり、撮像素子１０４の位置を検出する。露光・撮像素子変位同期部２０７は露光のタイミングと撮像素子１０４の変位との同期を取る。撮像素子変位制御部２０６は、撮像素子１０４の変位を制御する。撮像素子駆動部２０３は、撮像素子変位制御部２０６からの信号を受けて撮像素子１０４を駆動する。
【００２４】
レリーズ受付部１１３がユーザから露光開始指令を受け付けると、撮像素子位置検出部２０２が、撮像素子１０４のそのときの位置（初期位置）を検出する。検出後、撮像素子１０４の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。ここで所定の合焦範囲のうち、最近端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も長くなる。また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も長くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も短くなる。
【００２５】
撮像素子１０４の初期化作業と同時に、露光時間決定部１１４にて、シャッタ速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、撮像素子変位の同期を取る露光・撮像素子変位同期部２０７は、露光開始の指令を撮像素子変位制御部２０６およびシャッタ開閉指令部１１２へ出力する。同時に撮像素子位置検出部２０２で検出された撮像素子１０４の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内に撮像素子１０４を変位させる指令を撮像素子変位制御部２０６へ出力する。撮像素子１０４は等速で変位する。
【００２６】
露光・撮像素子変位同期部２０７から露光開始指令を受け取ると、シャッタ開閉指令部１１２はすぐに、シャッタ１１１が開くよう制御する。また所定の露光時間経過後、露光・撮像素子変位同期部２０７は、シャッタ開閉指令部１１２へ露光終了指令を出力する。シャッタ開閉指令部１１２は露光終了指令を受け取り、すぐに、シャッタ１１１が閉まるよう制御する。
【００２７】
上記手順にて撮像素子１０４に被写体の光学像を結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して画像処理部１０９へ電気信号が出力される。同時に露光・撮像素子変位同期部２０７より画像処理部１０９へ、露光が終了したことおよびＦ−ＤＯＦによるフォーカスレンズの変位の撮影が行われたことが通知される。これ以外の構成は、図１３に示す撮像装置３００と同じ動作を行う。
【００２８】
このような構成によって、デジタルスチルカメラ・デジタルビデオカメラにおいてＦ−ＤＯＦ方式の撮影が実現できるが、動画を撮影する場合、動画を構成する１コマ１コマの画像の間にタイムラグが発生することなく連続的に撮影を行うこと好ましい。このために、動画撮影中は図１８に示すようにフォーカスレンズの位置を最遠端と最近端との間で往復変位させ、往の変位および復の変位にそれぞれ１ビデオフレーム期間を割り当てることによって、なめらかなＥＤＯＦ動画を撮影することが可能となる。
【００２９】
このようにして得られた全焦点画像に加えて、撮影シーンの奥行き情報、つまり、撮影シーンに含まれる複数の被写体の前後関係を示す奥行き情報があれば、撮影シーンの三次元情報を得ることができる。撮影シーンの奥行き計測技術について様々な方式が提案されている。それらを大別すると、赤外線や超音波、レーザーなどを照射し、反射波が戻ってくるまでの時間や反射波の角度などをもとに距離を算出する能動的手法と、被写体の像に基づいて距離を算出する受動的手法がある。特にカメラにおいては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。
【００３０】
受動的手法にも多くの手法が提案されているが、その一つとしてフォーカスの変化によって生じるぼけに基づいて距離を計測するＤｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ（以下ＤＦＤと呼ぶ）と呼ばれる手法がある。この手法によれば、複数のカメラを必要せず、少数の画像から距離計測を行うことが可能である。
【００３１】
ＤＦＤを実現する手法として、前述のＦ−ＤＯＦを利用したハーフスイープと呼ばれる方式が提案されている（非特許文献２）。この方式は、Ｆ−ＤＯＦにおけるフォーカススイープの範囲を遠側合焦端位置（最遠端）と近側合焦端位置（最近端）との間の中間合焦位置で二分し、それぞれの範囲でスイープして得られる二枚の画像を用いて奥行きを推定する。また、同時にこの二枚の画像を用いて全焦点画像を生成することが可能である。以下、区別のため遠側合焦端位置から近側合焦端位置までの全区間をスイープする前述の方式をフルスイープと称する。
【００３２】
図１９および図２０は、非特許文献２に開示されたＤＦＤによって、奥行きを推定した結果の一例を示している。図１９（ａ）、（ｂ）、（ｃ）の各図の左半分はエッジを多く含む奥行き推定に強いテクスチャがある画像を用い、右半分はエッジの少ない奥行き推定に弱いテクスチャがある画像を用いて、奥行きつまり撮像装置からの距離を推定した。これらの図おいて、下端および上端はそれぞれ、奥行きの近側および遠側に対応している。また、これらの図におけるハッチングの濃淡は、推定した距離の値を示しており、ハッチングが濃いほど推定した距離が遠いことを示している。
【００３３】
図１９（ａ）は奥行きの真値を示している。つまり、正しく奥行きが推定される場合、図の上方ほど濃いハッチングで示され、下方ほど薄いハッチングで示される。図１９（ｂ）は一般的なＤＦＤの方式（フルスイープ方式）で得られた奥行き推定結果を示し、図１９（ｃ）はハーフスイープ方式で得られた奥行き推定結果である。図１９（ｂ）および（ｃ）において、ハッチングの濃い部分が上方以外に位置している箇所がある。これは、推定した距離が正しくないことを示している。図１９（ｂ）および（ｃ）を比較した場合、特に右半分のテクスチャが弱い画像において、図１９（ｃ）に示されるように、ハーフスイープ方式による奥行きの推定が優れているという結果が得られた。
【００３４】
図２０は図１９（ｂ）および（ｃ）に示す結果を数値化したものである。横軸は奥行きを示しており、図１９の上端が横軸の左端に対応している。縦軸は図１８（ａ）で示した真値に対する、図１９（ｂ）および（ｃ）における推定した各奥行きの正解率をそれぞれ示している。この正解率は、テクスチャの強弱（画像中の左半分、右半分）の領域をまとめて一つの値として数値化したものである。図２０から、ハーフスイープ方式で得られた奥行きの推定が優れていることが分かる。
【００３５】
このように、デジタルスチルカメラやデジタルビデオカメラにＥＤＯＦを採用する場合、Ｆ−ＤＯＦ方式を用いることが好ましい。また、上述したように、動画撮影の際は、１コマ１コマの間にタイムラグが発生することなく連続撮影することが求められる。これを実現する方法として、動画撮影中は図２１（ａ）に示すようにフォーカスレンズの位置を最遠端と最近端との間での往復変位させ、往の変位および復の変位にそれぞれ１ビデオフレーム期間を割り当てることによって、なめらかなＥＤＯＦ動画を撮影することが可能となる。また、近側合焦位置と遠側合焦位置でそれぞれ静止して画像を取得することでＤＦＤによる奥行き推定も動画で実現可能となる。
【００３６】
一方、ハーフスイープによるＦ−ＤＯＦ方式を採用する場合、図２１（ｂ）に示すように、近側合焦位置と遠側合焦位置の間の中間合焦位置でフォーカスレンズがスイープする領域を２つに分割する。具体的には、ニアスイープＮＳおよびファースイープＦＳで示す変位パターンに従って、フォーカスレンズを最遠端と最近端との間で交互に往復変位させることによって、同様に全焦点画像によるＥＤＯＦ画像と奥行き推定を連続して行うことができ、ＥＤＯＦ動画を撮影することが可能である。
【００３７】
しかし、図２１（ｂ）で示したハーフスイープ方式では、全焦点画像を得るための変位パターン、つまり、最遠端から最近端までの変位パターンＡＳは、ニアスイープＮＳの一部およびファースイープＦＳの一部によって構成され、変位パターンＡＳは２つのビデオフレームにまたがっている。このため、時間的にずれた二枚の画像から全焦点画像を生成されることになる。その結果、被写体が移動している場合、不自然な全焦点画像が得られる。具体的には、ニアスイープＮＳによって得られた画像中の被写体位置と、ファースイープＦＳによって得られた画像中の被写体位置とに位置ずれが生じることで、全焦点画像の画質が大きく劣化してしまうという課題があることが分かった。
【００３８】
これに対して、図１８に示すようなフルスイープ方式によって全焦点画像を得る場合、最遠端と最近端との間をフォーカスレンズが移動する期間に一枚のスイープ画像を取得する。このため、被写体が移動することによるブレは生じるものの連続時間内でのブレであるため、一般のビデオカメラと同様の現象であり、画像の違和感は生じにくい。つまり、全焦点画像を得るためには、フルスイープ方式の方が好ましいといえる。
【００３９】
このように、本願発明者の詳細な検討の結果、デジタルスチルカメラやデジタルビデオカメラにおいて、品質の高い全焦点画像の取得および精度の高い撮影シーンの奥行き情報の推定を行い、ＥＤＯＦ動画を得るためには、従来のハーフスイープ方式およびフルスイープ方式のいずれにも課題があることが分かった。
【００４０】
本願発明者はこのような課題に鑑み、新規な撮像装置を想到した。本発明の一態様である撮像装置は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御するように構成された変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部とを備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返される。
【００４１】
前記第１タイプの変位パターンの変位範囲は、前記第２タイプの変位パターンの変位範囲の少なくとも一部を含む。
【００４２】
前記第１タイプの変位パターンの変位範囲は、前記第１合焦位置と前記第２合焦位置との間の全区間である。
【００４３】
前記第２タイプの変位パターンは、前記第１合焦位置と、前記第１合焦位置および前記第２合焦位置の中間位置との全区間が前記変位範囲である第２Ｆタイプの変位パターンと、前記中間位置と、前記第２合焦位置との全区間が前記変位範囲である第２Ｎタイプの変位パターンとを含み、第１タイプの変位パターンは前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンに挟まれている。
【００４４】
前記第１タイプの変位パターン、前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは、それぞれ、全変位範囲を少なくとも１回、一方向に変位する。
【００４５】
前記第１タイプの変位パターンと前記第２Ｆタイプの変位パターンおよび前記第１タイプの変位パターンと前記第２Ｎタイプの変位パターンはそれぞれ、つながっている。
【００４６】
前記撮像装置は、前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、前記第１合焦位置、前記第２合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部とをさらに備える。
【００４７】
前記撮像装置は、前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する。
【００４８】
前記撮像装置は、前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、前記同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する。
【００４９】
前記第１タイプの変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズが変位している間に得られら画像信号から全焦点画像を生成する。
【００５０】
前記第２タイプの変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズが変位している間に得られら画像信号から奥行き情報を生成する。
【００５１】
前記撮像素子は、ＣＣＤイメージセンサである。
【００５２】
前記撮像素子は、ＣＭＯＳイメージセンサである。
【００５３】
前記第１タイプの変位パターン、前記第２Ｆタイプの変位パターンおよび前記第２Ｎタイプの変位パターンは、それぞれ、少なくとも全変位範囲を整数回、往復変位する。
【００５４】
本発明の一態様である集積回路は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前フォーカスレンズの変位を制御するように構成された変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御するように構成された同期部とを備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンを含み、前記第１タイプの変位パターンおよび前記第２タイプの変位パターンは交互に繰り返される。
【００５５】
本発明の一態様である撮像方法は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する撮像素子であって、前記複数の光電変換素子を露光させ、前記複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の異なる範囲で前記撮像素子または前フォーカスレンズが変位する第１タイプの変位パターンおよび第２タイプの変位パターンで、前記前記フォーカスレンズまたは前記撮像素子を変位させながら前記複数の光電変換素子を露光させる。
【００５６】
以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の実施の形態を詳細に説明する。以下の説明において、同じ構成要素には同じ符号を付しており、説明を省略する場合もある。
【００５７】
（第１の実施形態）
以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の第１の実施形態を説明する。
【００５８】
図１は、本実施形態の撮像装置１００を示すブロック構成図である。撮像装置１００は、フォーカスレンズ駆動部１０３と、撮像素子１０４と、フォーカスレンズ変位制御部１０６と、露光・フォーカスレンズ変位同期部１０７と、レンズ光学系１２０とを備える。
【００５９】
撮像素子１０４は、本実施形態ではＣＣＤイメージセンサであり、二次元に配列され、撮像面を構成している複数の光電変換素子を有する。複数の光電変換素子に光を入射させ露光した後、複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する。
【００６０】
レンズ光学系１２０は、撮像素子１０４に向けて集光し、撮像シーンを撮像素子１０４に結像させるフォーカスレンズ１０１を含む。撮像シーン中の所望の被写体に対して合焦させるため、レンズ光学系１２０はフォーカスレンズ１０１以外に他の１枚以上のレンズを含んでいてもよい。フォーカスレンズ１０１も複数枚のレンズで構成されていてもよい。フォーカスレンズ１０１が複数のレンズによって構成される場合、フォーカスレンズの位置とは、複数のレンズによる主点の位置をいう。
【００６１】
本実施形態では、フォーカスレンズ駆動部１０３は、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、撮像素子１０４またはフォーカスレンズ１０１の一方を駆動する駆動部として機能する。つまり、フォーカスレンズ駆動部１０３は、駆動信号に基づき、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、フォーカスレンズ１０１を駆動する。
【００６２】
フォーカスレンズ変位制御部１０６は、以下において説明するように、フォーカスレンズ駆動部１０３に指令を出力することにより、所定の変位パターンに基づき、フォーカスレンズ１０１の変位を制御するように構成されている。
【００６３】
露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づき、フォーカスレンズ変位制御部１０６を制御するように構成されている。
【００６４】
撮像装置１００は、さらに、フォーカスレンズ位置検出部１０２と、フォーカスレンズ変位設定部１０５と、読み出し回路１０８と、画像処理部１０９と、記録部１１０と、シャッタ１１１と、シャッタ開閉指令部１１２と、レリーズ受付部１１３と、露光時間決定部１１４とを含む。
【００６５】
フォーカスレンズ位置検出部１０２は、位置センサを含み、フォーカスレンズ１０１の位置を検出し、検出信号をフォーカスレンズ変位制御部１０６へ出力する。フォーカスレンズ変位設定部１０５はフォーカスレンズ１０１の変位パターンを設定し、目標フォーカスレンズの位置とする。これにより、フォーカスレンズ変位制御部１０６は、目標フォーカスレンズの位置とフォーカスレンズ位置検出部１０２によって検出されたフォーカスレンズ１０１の現在位置との差から駆動信号を計算してフォーカスレンズ駆動部１０３に出力する。
【００６６】
レリーズ受付部１１３において、ユーザからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・フォーカスレンズ変位同期部１０７およびフォーカスレンズ変位設定部１０５に露光時間に関する情報を出力する。
【００６７】
露光・フォーカスレンズ変位同期部１０７は、露光時間に関する情報に基づき、同期したタイミングで露光、フォーカスレンズ１０１の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッタ開閉指令部１１２、フォーカスレンズ変位制御部１０６および読み出し回路１０８に指令を出力する。具体的には、シャッタ開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、フォーカスレンズ変位制御部１０６にフォーカスレンズ１０１を駆動するタイミングおよび駆動時間を指令する。
【００６８】
シャッタ１１１は、シャッタ開閉指令部１１２からの指令に応じて開閉動作を行う。シャッタ１１１が開状態のとき、撮像素子１０４はフォーカスレンズ１０１によって集光された光によって露光され、露光された光は電気信号に変換されて出力される。
【００６９】
読み出し回路１０８は撮像素子１０４に読み出し信号を出力することによって電気信号を読み出し、読み出した電気信号を画像処理部１０９へ出力する。
【００７０】
画像処理部１０９は入力された電気信号に対して各種補正等を行い、逐次１ビデオフレーム分の撮影シーンの画像を構成する画像信号を構築し、記録部１１０に出力する。また、以下において、説明するように、撮影シーンの三次元情報を求めてもよい。
【００７１】
これにより、撮像装置１００は、フォーカスレンズ１０１を駆動してフォーカスレンズの位置を変化させながら撮像素子１０４に露光させ、スイープ画像を得ることが可能となる。
【００７２】
撮像装置１００の上述の構成要素のうち、フォーカスレンズ位置検出部１０２、フォーカスレンズ駆動部１０３、撮像素子１０４、画像処理部１０９、レリーズ受付部１１３、記録部１１０は、公知のハードウエアによって構成されていてもよい。また、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７、読み出し回路１０８、画像処理部１０９、記録部１１０、シャッタ開閉指令部１１２、および露光時間決定部１１４の各構成要素の一部または全部は、ＣＰＵなどの情報処理回路およびメモリ等の記憶部に記憶されたソフトウエアによって構成されていてもよい。この場合、情報処理回路は、以下において説明する撮像方法の手順を規定するソフトウエアをメモリから読み出し、撮像方法の手順を実行することによって、撮像装置１００の各構成要素を制御する。これら情報処理回路およびメモリに記憶されたソフトウエアによって実現される構成要素の一部は、専用の集積回路によって構成されていてもよい。例えば、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７およびシャッタ開閉指令部１１２は集積回路を構成してもよい。
【００７３】
次に、図１、図２、図３および図４を参照しながら、本実施形態の撮像方法、特に、スイープ画像を得るためのフォーカスレンズの位置と撮像素子１０４の露光および信号読み出しのタイミングについて説明する。
【００７４】
図２は本実施の形態の撮像方法を示すフローチャートである。まず、ユーザによるレリーズ動作を受け付けると（Ｓ１０１）、露光時間決定部１１４にてシャッタ速度や絞り値などの撮影パラメータから露光時間パラメータを決定する（Ｓ１０２）。露光時間パラメータは、フォーカスレンズ変位設定部１０５および露光・フォーカスレンズ変位同期部１０７に出力される。
【００７５】
次に、決定した露光時間パラメータから、フォーカスレンズ変位設定部１０５は、フォーカスレンズの位置の変位パターンを生成する（Ｓ１０３）。変位パターンは、以下において詳細に説明する。
【００７６】
フォーカスレンズの位置の変位パターン決定後、露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づいて、フォーカスレンズ変位設定部１０５および読み出し回路１０８が動作するように、シャッタ開閉指令部１１２、フォーカスレンズ変位設定部１０５および読み出し回路１０８に指令を出力する。これにより、シャッタ開閉指令部１１２がシャッタ１１１を解放し（Ｓ１０４）、撮像素子１０４の露光が開始され、露光の開始に同期して、フォーカスレンズ変位制御部１０６の指令により、フォーカスレンズ駆動部１０３がフォーカスレンズ１０１を変位させる（Ｓ１０５）。ここで同期とは、同時である場合および所定の遅延時間を挟む場合を含む。またフォーカスレンズ１０１の変位に同期した所定のタイミングで撮像素子１０４から、撮影シーンの画像を構成する電気信号が読み出し回路１０８に出力される。
【００７７】
撮影が完了したら、シャッタ１１１を閉じ（Ｓ１０６）、フォーカス位置変位を停止する（Ｓ１０７）ことで撮影を完了する。動画撮影の場合は、ユーザからの録画停止処理指令が入力されるまで露光・スイープ動作を継続すればよい。このようにすることで、連続してスイープ画像を得ることができ、動画撮影を行うことができる。
【００７８】
次に、図３および図４（ａ）を参照しながら露光・スイープ動作の詳細を説明する。
【００７９】
図３は撮影時のスイープ動作の流れを示すフローチャートである。また、図４（ａ）は、フォーカスレンズの位置を最遠端と最近端との間で変位させたときのフォーカスレンズの位置変化、つまりスイープパターン（変位パターン）を示す図である。横軸は時間を示し、縦軸は、フォーカスレンズの位置（撮像素子との距離）を示している。図４（ａ）中、実線はフルスイープの変位パターンを示し（第１タイプの変位パターン）、二重線および点線はハーフスイープの変位パターン（第２タイプの変位パターン）を示している。より具体的には、二重線は、ニアスイープの変位パターン（第２Ｎタイプの変位パターン）を示し、点線は、ファースイープの変位パターン（第２Ｆタイプの変位パターン）を示している。
【００８０】
ニアスイープの変位パターンは最近端と、最近端および最遠端の中間位置との全区間を変位範囲とし、ファースイープの変位パターンは最遠端と中間位置との全区間を変位範囲としている。このため、ニアスイープの変位パターンおよびファースイープの変位パターンの変位範囲は、フルスイープの変位パターンの変位範囲と異なっており、また、フルスイープの変位パターンの変位範囲の一部である。さらに、ニアスイープの変位パターンの変位範囲とファースイープの変位パターンの変位範囲とは互いに重ならず排他的である。なお、中間位置は、最近端と最遠端との厳密な中間でなくてもよい。
【００８１】
図４（ａ）に示すように、フルスイープの変位パターン、ニアスイープの変位パターンおよびファースイープの変位パターンは、それぞれ、撮像素子１０４が１画像を取得するのに要する期間、つまり、１ビデオフレーム期間に一致している。また、それぞれ、それぞれの全変位範囲を少なくとも１回、一方向に変位している。
【００８２】
図４（ａ）から分かるように、フルスイープの変位パターンおよびニアスイープの変位パターン、ならびに、フルスイープの変位パターンおよびファースイープの変位パターンはそれぞれつながっている。このため、フォーカスレンズ１０１の変位が、フルスイープからハーフスイープへ切り替わる際に、フォーカスレンズ１０１の位置をジャンプさせる必要がなく、フォーカスレンズ１０１をなめらかに移動させることができる。
【００８３】
上述したように最遠端および最近端とは、撮像装置から種々の距離にある被写体が含まれる撮像シーン中、所定の距離範囲内にある種々の被写体を撮像素子１０４の撮像面に焦点が一致するようにフォーカスレンズ１０１を移動させた場合おいて、最も撮像装置に近い被写体が結像する場合および最も撮像装置に遠い被写体が結像する場合におけるフォーカスレンズ１０１の位置をいう。最遠端（第１合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から長い距離に位置（第１被写体距離）し、最近端（第２合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から短い距離に位置（第２被写体距離）している。
【００８４】
図３および図４（ａ）に示すように、まず、フォーカスレンズ駆動部１０３は、フォーカスレンズ変位制御部１０６の指令に基づき、フォーカスレンズ１０１を初期位置である最遠端へ移動させる（Ｓ１）。次に最遠端からファースイープの変位パターンに従って、最遠端と中間位置との間で、最遠端から中間位置へ向かい、再び最遠端へ戻るように、フォーカスレンズ１０１の位置を変位させる（Ｓ２）。つまり、フォーカスレンズ１０１をファースイープの変位パターンに従ってハーフスィープさせる。
【００８５】
続けてフルスイープの変位パターンに従って、フォーカスレンズ１０１が最遠端から最近端に向かって変位するように、フルスイープを行う（Ｓ３）。その後、ニアスイープの変位パターンに従って、最近端から中間位置へ向かい再び最近端へ戻るように、フォーカスレンズ１０１の位置を変位させる。つまり、再びハーフスィープさせる。（Ｓ４）。その後、再度フルスイープの変位パターンに従って、フォーカスレンズ１０１が最遠端から最近端に向かって変位するように、フルスイープを行う（Ｓ５）。これにより（Ｓ２−Ｓ５）、本実施形態におけるフォーカスレンズのスイープ動作の一周期が完了する。動画を撮影する場合には、この動作を繰り返し続ければよい。
【００８６】
ユーザによる撮影完了を示す入力を確認し（Ｓ６）、撮影完了が指示された場合、スイープ動作を終了する。
【００８７】
次に、得られた各スイープ画像から三次元情報を求める方法について説明する。例えば、画像処理部１０９は、撮影シーンの三次元情報を求めるように構成されていてもよい。まずフルスイープ、つまり、フルスイープの変位パターンでフォーカスレンズ１０１を移動させながら露光することによって得られた（Ｓ３）画像の電気信号を非特許文献１等に開示された画像処理方法を用いることによって、全焦点画像を得ることができる。またその前後のハーフスイープ、つまり、ファースイープの変位パターンおよびニアスイープの変位パターンで、フォーカスレンズ１０１を移動させながら露光することによって得られた（Ｓ２、Ｓ４）画像の電気信号を非特許文献２等に開示された画像処理方法を用いることによって、撮影シーンの奥行き情報が得られる。
【００８８】
この全焦点画像と奥行き情報を用いることで撮影シーンにおける三次元情報を得ることができる。つまり、一枚のフルスイープ画像と、その前後のタイミングで撮影したファースイープ画像およびニアスイープ画像の合計三枚の画像から、一つのシーンにおける三次元情報を得ることが可能となる。例えば、撮影シーンの最遠端と最近端との間にある任意の被写体に焦点を合わせた画像を再構成することが可能である。本実施形態によれば、奥行きの推定にはハーフスイープによる画像を用いる。上述したように、ハーフスイープによる画像に基づく奥行きの推定はフルスイープの画像に基づく奥行きの推定よりも精度が高いため、本実施形態で得られる三次元情報の精度は高い。
【００８９】
また、本実施形態によれば、フルスイープの変位パターンは、ファースイープの変位パターンおよびニアスイープの変位パターンに挟まれている。具体的には、ステップＳ３のフルスイープの変位パターンは、ステップＳ２のファースイープの変位パターンおよびステップＳ４のニアスイープの変位パターンに挟まれている。ステップＳ５のフルスイープの変位パターンは、ステップＳ４のニアスイープの変位パターンおよびステップＳ２のファースイープの変位パターンに挟まれている。このように、いずれのフルスイープの変位パターンも２つのハーフスイープの変位パターンに挟まれているため、各全焦点画像を得る撮影の前後にハーフスイープの画像を得る撮影を行い、全焦点画像とニアスイープ画像およびファースイープ画像とが連続して取得できる。よって、上述したように、撮影シーンの三次元情報を得ることができる。図４（ａ）から分かるように、本実施形態で用いる変位パターンは、４ビデオフレームを一周期としているが、全焦点画像および上述した三次元情報は、２ビデオフレーム周期で得られる。このため、本実施形態によれば、なめらかなＥＤＯＦ動画を得ることが可能である。例えば、例えば３０ｆｐｓで撮像可能な撮像素子を用いれば１５ｆｐｓの三次元動画を得ることができる。より高速撮像が可能な撮像素子を用いれば、よりなめらかな（高フレームレート）ＥＤＯＦ動画を実現することができる。
【００９０】
また、本実施形態によれば、１ビデオフレームの期間に一致した長さフルスイープの変位パターンを用いて全焦点画像を得るため、全焦点画像全体が時間的に一致したタイミングで取得され、自然な、全焦点画像が得られる。これらのことから本実施形態によれば、高品質で違和感がなく、かつ、なめらかなＥＤＯＦ動画を得ることができる。
【００９１】
なお、本実施形態ではフォーカスレンズの初期位置を最遠端に設定しているが、初期位置は最近端であってもよい。また、本実施形態の撮像装置１００において、静止画撮影を撮影する場合、連続する全焦点画像とニアスイープ画像およびファースイープ画像とがあればよい。このため、本実施形態で用いる変位パターンは、ステップＳ５の変位パターンを含んでいなくてもよい。
【００９２】
また、三次元情報は画像処理部１０９以外の信号処理部、例えば、撮像装置１００の外部のコンピュータや信号処理部によって行ってもよい。
【００９３】
図４（ｂ）は、三次元動画撮影を実現する別のスイープパターンの例を示している。各変位パターンの順序は図４（ａ）を参照して説明した例と同じであるが、各変位パターンの開始位置が中間位置である点で図４（ａ）を参照して説明した例と異なっている。また、フルスイープの変位パターンは、フォーカスレンズ１０１が中間位置から最近端へ向かい、その後最遠端まで移動し、中間位置まで戻るように変位している。この例によれば撮影開始時に初期位置までフォーカスレンズ１０１を移動させる時間が、一般的に短くなり、より早く撮影を開始することができる。
【００９４】
図４（ｃ）は、三次元静止画撮影を実現する別のスイープパターンの例を示している。各変位パターンの順序は図４（ａ）を参照して説明した例と同じであるが、各変位パターンが全て一方向への変位である点で、図４（ａ）を参照して説明した例と異なっている。この例によれば、各変位パターンは往復変位を含まないため、フォーカスレンズ１０１の変位距離が短くなり、撮像装置１００の消費電力を低減させることができる。このスイープパターンは静止画撮影のように連続撮影を必要としない場合に好適に用いられる。ただし、本例の変位パターンを動画撮影に用いてもよい。本例によれば、全焦点画像および三次元情報が３ビデオフレーム周期で得られ、図４（ａ）および（ｂ）を参照して示した例に較べてレートが少し落ちるだけである。このため、本例の変位パターンでフォーカスレンズが変位する撮像装置は、例えば、監視カメラなど特に動画のなめらかさが重要ではない用途において、低消費電力の撮像装置として好適に用いることができる。
【００９５】
（第２の実施形態）
図５および図６を参照しながら、本発明による撮像装置、集積回路および撮像方法の第２の実施形態を説明する。
【００９６】
図５は、本実施形態の撮像装置２００を示すブロック構成図である。第１の実施形態の撮像装置１００と同一の構成要素には同じ参照符号を付している。撮像装置２００は、撮像素子１０４の位置を移動させることにより、レンズ光学系１２０のフォーカスレンズ１０１との距離を変化させる点で撮像装置１００と異なる。
【００９７】
このために、撮像装置２００は、撮像素子位置検出部２０２、撮像素子駆動部２０３、撮像素子変位設定部２０５、撮像素子変位制御部２０６および露光・撮像素子変位同期部２０７を備える。
【００９８】
撮像素子位置検出部２０２は、位置センサを含み、撮像素子１０４の位置を検出し、検出信号を撮像素子変位制御部２０６へ出力する。撮像素子変位設定部２０５は撮像素子１０４の変位パターンを設定し、目標撮像素子の位置とする。これにより、撮像素子変位制御部２０６は、目標撮像素子位置と撮像素子位置検出部２０２によって検出された撮像素子１０４の現在位置との差から駆動信号を計算して撮像素子駆動部２０３に出力する。
【００９９】
レリーズ受付部１１３において、ユーザからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・撮像素子変位同期部２０７に露光時間に関する情報を出力する。
【０１００】
露光・撮像素子変位同期部２０７は、露光時間に関する情報に基づき、同期したタイミングで露光、撮像素子１０４の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッタ開閉指令部１１２、撮像素子変位制御部２０６および読み出し回路１０８に指令を出力する。具体的には、シャッタ開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、撮像素子変位制御部２０６に撮像素子１０４を駆動するタイミングおよび駆動時間を指令する。これにより、撮像装置２００は、撮像素子１０４を駆動して撮像素子の位置を変化させながら撮像素子１０４に露光させ、スイープ画像を得ることが可能となる。
【０１０１】
図６は、本実施形態の撮像方法を示すフローチャートである。撮像素子とフォーカスレンズとの距離を変化させるために、撮像素子を変位させることを除けば、図２で説明した第１の実施形態における撮像方法と同じである。
【０１０２】
撮像素子の変位パターンは、第１の実施形態で説明したフォーカスレンズの位置の変位パターンである、図４（ａ）、（ｂ）、（ｃ）と同じである。
【０１０３】
このように、撮像素子を駆動し、撮像素子の位置を変化させる構成であっても、第１の実施形態と同様にＥＤＯＦ動画を得ることが可能である。
【０１０４】
（第３の実施形態）
第１および第２の実施形態の撮像装置は、撮像素子として、ＣＣＤイメージセンサを用いている。ＣＣＤイメージセンサは、全画素を同時に読み出すことができるグローバルシャッタ動作が可能であるため、第１および第２の実施形態の撮像装置におけるフォーカスレンズの変位パターンもＣＣＤイメージセンサにてきしている。本実施の形態では撮像素子としてＣＭＯＳイメージセンサを用いた撮像装置、集積回路および撮像方法を説明する。
【０１０５】
ＣＭＯＳイメージセンサによって構成される撮像素子は、多数の画素を高速に読み出すのに適しており、例えばＦｕｌｌＨＤ（１９２０×１０８０）サイズの画像を秒間６０フレーム読み出すことが可能な撮像素子が実現されている。
【０１０６】
ＣＭＯＳイメージセンサによって構成される撮像素子を露光して得られた電荷を連続して読み出す場合、二次元に配列された画素集合を行などの部分単位で順次走査して各画素から電荷を読み出すローリングシャッタと呼ばれる電子シャッタ制御方式が用いられる。
【０１０７】
図７（ａ）はこのような撮像素子において画素集合からの電荷を読み出すタイミングを示している。横軸は時間を示し、縦軸は、撮像素子の読み出し行の位置を示している。撮像素子はＮ行の複数の画素行によって構成されている。図７（ａ）に示すように、撮像素子の先頭行から順次走査して各画素から電荷を読み出し、その直後から電荷を蓄積し始め、所定時間経過後に再度走査して各画素から電荷を読み出すことにより画像信号を得る。第Ｎ行目の走査が終了した後は先頭から走査を再度繰り返すことにより、連続した動画像を得ることができる。図７（ａ）からわかるように、ローリングシャッタで撮影を行う場合、撮像素子面内での撮像タイミングにずれが生じ、先頭行と最終行では最大で１ビデオフレーム分のずれが生じる。
【０１０８】
Ｆ−ＤＯＦ方式によって画像を取得する場合、フォーカス状態を所定の合焦範囲の最遠端から最近端まで変位させて、撮像素子面内の全ての画素を均一に露光させる必要がある。図７（ｂ）は、図７（ａ）の横軸と対応しており、ローリングシャッタにより、１ビデオフレーム期間内にフォーカスレンズを最遠端から最近端までスイープ動作させ場合の変位パターンを示している。図７（ａ）に示すタイミングで撮像素子を露光する場合、第１読出し行の露光の期間にフォーカスレンズは最遠端から最近端の全範囲を移動する。しかし、第Ｎ行の露光の期間にフォーカスレンズは、最近端にのみ位置する。これらの間の行の露光の期間にフォーカスレンズは最遠端から最近端までの範囲の一部分のみを変位する。このため、図７（ｂ）に示す変位パターンでフォーカスレンズを変位させても正しいスイープ画像を得ることができない。
【０１０９】
図７（ｃ）は、ＣＭＯＳイメージセンサによって構成される撮像素子に適した変位パターンの一例を示している。図７（ｃ）に示す変位パターンは、１ビデオフレーム期間に、最遠端から変位を開始し、最近端へ到達した後、最遠端へ戻るつまり１ビデオフレーム期間に最遠端から最近端までを１往復変位している。この例では、露光時間が１ビデオフレームに一致しているため、変位パターンの往復動作は１ビデオフレームに一致しているが、往復動作は露光時間に同期していればよい。つまり、露光時間の２以上の整数倍の往復動作を行えばよい。図７（ｃ）に示す変位パターンは、２ビデオフレームの期間、変位パターンが続くことによって、つまりスイープ動作が２往復であることによって、撮像素子面内の全ての画素を均一に露光させることができる。
【０１１０】
図８（ａ）および（ｂ）は、ＣＭＯＳイメージセンサによって構成される撮像素子を用いてフルスイープ画像およびハーフスイープ画像を得る場合のフォーカスレンズの変位パターンの一例を示している。図８（ａ）に示すように、１つのスイープ画像を得るためのフォーカスレンズのスイープは二往復でよい。しかし、ＤＦＤのためにフォーカス位置を最遠端から最近端へ移動さることが好ましい。このため、露光（撮影）はしないがフォーカスレンズを最遠端から最近端へ移動させている。往復動作によってフォーカスレンズが開始位置に戻るからである。
【０１１１】
図２１（ｂ）に示すように、ハーフスイープ画像を得る場合、ニアスイープによる変位パターンおよびファースイープによる変位パターンの開始位置はいずれも前述の中間位置である。このため、往復動作を行っても、撮影を伴わずにフォーカスレンズを移動させる必要はない。
【０１１２】
次に、ＣＭＯＳイメージセンサによって構成される撮像素子を用いた撮像装置、集積回路および撮像方法の実施形態を説明する。
【０１１３】
本実施形態の撮像装置は、第１の実施形態の撮像装置において、撮像素子１０４がＣＭＯＳイメージセンサであること以外、装置の構成および撮像方法は同じである。このため、特に相違点を説明する。
【０１１４】
図９（ａ）および（ｂ）は本実施形態の撮像装置に用いられるフォーカスレンズの変位パターンの例を示しており、図９（ａ）、（ｂ）は、第１の実施形態の図４（ａ）、（ｂ）に対応している。
【０１１５】
図９（ａ）に示すように、本実施形態の撮像装置に用いられるフォーカスレンズの変位パターンでは、ステップＳ２からステップＳ５のそれぞれにおいて、撮像のために２ビデオフレームかけて合計２往復スイープし、ステップＳ３およびステップＳ５ではフォーカスレンズ位置を移動させるための片道移動を行っている。画像の露光・読み出しはビデオフレーム単位で行われるため、フォーカス位置は近端または最近端において一時停止している。このため、ステップＳ３およびステップＳ５におけるフルスイープ画像の撮影には合計３ビデオフレームの期間を要する。
【０１１６】
ステップＳ２およびステップＳ４では、二往復スイープによるハーフスイープ画像を撮影する、所要時間は２ビデオフレーム期間である。ただし、フルスイープ画像の撮影時間に合わせて１ビデオフレーム分だけ待ち時間を設定することで、各スイープ画像の撮影間隔を等間隔にしている。画像の撮影間隔を短縮したい場合は、この待ち時間を省略してもよい。この場合、ステップＳ２からステップＳ３と、ステップＳ３からステップＳ４の時間間隔が同一にはならない。
【０１１７】
このように、全焦点画像を得るためのフルスイープ動作と奥行き情報を求めるためのハーフスイープ動作を連続して繰り返し、ハーフスイープ動作において、ニアスイープ動作とファースイープ動作とを１回ずつ交互に繰り返すことで、三次元動画撮影が可能となる。よって、ＣＭＯＳイメージセンサによって構成される撮像素子を備えた撮像装置でも、第１の実施形態と同様、品質で違和感がなく、かつ、なめらかなＥＤＯＦ動画を得ることができる。
【０１１８】
図９（ｂ）は、ＣＭＯＳ型撮像素子を用いて三次元動画撮影を実現する別のスイープパターンの例である。各スイープ画像の撮影順序は図９（ａ）を参照して説明した変位パターンと同じであるが、各スイープ動作の開始位置が中間位置である点、および、フルスイープ動作が中間位置を始点とした、最近端と最遠端との間の往復スイープとなっている点が、図９（ａ）で説明した変位パターンと異なる。
【０１１９】
このような変位パターンを用いることによって撮影開始時に初期位置までフォーカスレンズ１０１を移動させる時間が一般的に短くなる。また、図９（ａ）に示す変位パターンには含まれていたフォーカスレンズ位置を移動させるための片道移動の変位を含まないため、全焦点画像を撮影する間隔を短縮することが可能となる。これは動画のフレームレートの向上に効果がある。具体的には、図９（ａ）に示す変位パターンを用いる場合に比べてフレームレートを１．５倍にすることができる。
【０１２０】
図９（ｂ）に示す変位パターンを用いる場合、全焦点画像は４ビデオフレームに１回撮影できる。このため、例えば６０ｆｐｓで撮像可能なＣＭＯＳイメージセンサによって構成される撮像素子を用いれば１５ｆｐｓの三次元動画を得ることができる。高速な読み出しが可能な撮像素子を組み合わせれば、より効果を発揮することができる。
【０１２１】
また、屋外で撮影する場合など、撮像素子に入射する光量を制限するために、電子シャッタを用いて露光時間を制御する場合がある。この場合、露光時間の変化に応じてスイープパターンを適切に変化させることが好ましい。図１０（ａ）はこのような露光を行う撮像素子の読み出し行のタイミングを示している。図１０（ａ）において、横軸は時間を示し、縦軸は、撮像素子の読み出し行の位置を示している。図１０（ｂ）は、この場合におけるフォーカスレンズの変位パターンを示している。
【０１２２】
電子シャッタにより露光時間が短くなっているため、変位パターンの往復周期は露光時間に合わせて短くなっている。しかし、読み出し時間は変化していないため、露光開始から読み出し完了までの間、変位パターに含まれるフォーカスレンズが最近端と最遠端との間を往復変位する回数は２回より多くなっている。
【０１２３】
図１０（ａ）、（ｂ）に示すように、読み出しの完了時にフォーカス位置が最近端となるようにした場合、露光開始時のフォーカスレンズは最近端と最遠端のほぼ中間の位置する。このフォーカスレンズの初期位置は、電子シャッタによって可変させた露光時間に応じて変化する。なお、非露光状態ではフォーカスレンズの位置は任意である。図１０（ｂ）に示す例では、フォーカスレンズの初期位置は最近端である（図１０（ｂ）点線部分）。
【０１２４】
電子シャッタを用いて、図９（ｂ）に示す変位パターンと同等のスイープ画像が得られる変位パターンの一例を図１１に示す。各スイープ画像の撮影順序は図９（ｂ）の変位パターンと同じであるが、電子シャッタにより露光時間が短くなっている。このため各変位パターンにおける往復変位の周期が短くなっている。各変位パターンの初期位置から露光開始までの間、露光はされないため、フォーカスレンズは任意の位置にあってよい。図１１に示す例では、前後の偏波ターンとの連続性を考慮し、変位パターンの初期位置がそれぞれ最近端もしくは最遠端である。このようにすることで、露光時間を制御しつつ、図９（ｂ）で説明したスイープパターンと同等の性能を得ることができる。
【０１２５】
なお、上記第１の実施形態では、図４（ｃ）を参照しながら静止画撮影に適したフォーカスレンズの変位パターンを説明した。本実施形態の撮像装置におけるフォーカスレンズの変位パターンは、上述したように、往復変位を含んでいることが好ましい。このため、図４（ｃ）に対応する変位パターンを本実施に採用することは難しい。本実施形態において静止画を得る場合には、図９や図１１で説明した変位パターンのうち、連続する三つのスイープ画像を得るための変位パターンで静止画を撮影すればよい。
【０１２６】
また、第２の実施形態で説明したように、本実施形態において、フォーカスレンズの替わりに撮像素子の位置を図９や図１１に示す変位パターンに従って変位させても上述したような効果を得ることができる。
【０１２７】
このように、ローリングシャッタ動作を行うＣＭＯＳイメージセンサによって構成される撮像素子を用いた場合でも、全焦点画像を求めるためにフルスイープ動作と奥行き情報を求めるためのハーフスイープ動作を連続して繰り返し、このハーフスイープ動作はニアスイープ動作とファースイープ動作を１回ずつ交互に繰り返す動作とし、それぞれのスイープ動作は所定のスイープ範囲を二往復とすることで、三次元動画撮影が可能となる。
【産業上の利用可能性】
【０１２８】
本願に開示された撮像装置、集積回路および撮像方法によれば、スイープ方法を工夫することで全焦点画像と奥行き情報を交互に連続して高速に得ることが可能となる。本願に開示された撮像装置、集積回路および撮像方法は、例えば民生用もしくは業務用のデジタルスチルカメラやデジタルムービーカメラなどの撮像装置に好適に用いられる。
【符号の説明】
【０１２９】
１００、２００、３００、４００  撮像装置
１０１  フォーカスレンズ
１０２  フォーカスレンズ位置検出部
１０３  フォーカスレンズ駆動部
１０４  撮像素子
１０５  フォーカスレンズ変位設定部
１０６  フォーカスレンズ変位制御部
１０７  露光・フォーカスレンズ変位同期部
１０８  読み出し回路
１０９  画像処理部
１１０  記録部
１１１  シャッタ
１１２  シャッタ開閉指示部
１１３  レリーズ受付部
１１４  露光時間決定部
１１５  フォーカスレンズ位置検出部
１２０  レンズ
２０２  撮像素子位置検出部
２０３  撮像素子駆動部
２０５  撮像素子変位設定部
２０６  撮像素子変位制御部
２０７  露光・撮像素子変位同期部
【図１】
2012140899.tif 000003
【図２】
2012140899.tif 000004
【図３】
2012140899.tif 000005
【図４】
2012140899.tif 000006
【図５】
2012140899.tif 000007
【図６】
2012140899.tif 000008
【図７】
2012140899.tif 000009
【図８】
2012140899.tif 000010
【図９】
2012140899.tif 000011
【図１０】
2012140899.tif 000012
【図１１】
2012140899.tif 000013
【図１２】
2012140899.tif 000014
【図１３】
2012140899.tif 000015
【図１４】
2012140899.tif 000016
【図１５】
2012140899.tif 000017
【図１６】
2012140899.tif 000018
【図１７】
2012140899.tif 000019
【図１８】
2012140899.tif 000020
【図１９】
2012140899.tif 000021
【図２０】
2012140899.tif 000022
【図２１】
2012140899.tif 000023
【国際調査報告】
2012140899.tif 000024
2012140899.tif 000025