(57)【要約】【課題】被写体までの距離を算出すること。【解決手段】撮撮像装置は、波長域により焦点距離が異なる光学系であり、同一波長域の光に対して物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系と、光学系を通過した波長域の異なる光によりそれぞれ画像を撮像する撮像部と、撮像された複数の画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定部とを備える。【選択図】図１
2010087881.tif 000002
【特許請求の範囲】
【請求項１】
波長域により焦点距離が異なる光学系であり、同一波長域の光に対して物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系と、
前記光学系を通過した波長域の異なる光によりそれぞれ画像を撮像する撮像部と、
撮像された複数の前記画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定部と
を備える撮像装置。
【請求項２】
前記光学系は、物点からの光の波面を変調することにより、物点からの光を物点までの距離によらず略同一の広さに広げる
請求項１に記載の撮像装置。
【請求項３】
前記光学系は、物点からの光の位相分布を、光軸からの位置に関する２次より大きい次数の多項式で近似される位相分布にすることにより、物点からの光を物点までの距離によらず略同一の広さに広げる
請求項１または２に記載の撮像装置。
【請求項４】
前記光学系は、物点からの光の位相分布を、デフォーカス量に応じた位相分布を表す２次の項を含む前記多項式で近似される位相分布にする
請求項３に記載の撮像装置。
【請求項５】
前記光学系は、物点からの光の位相分布を、３次以上の奇数次の項、および、デフォーカス量に応じた前記２次の項を含む前記多項式で近似される位相分布にする
請求項４に記載の撮像装置。
【請求項６】
前記光学系は、物点からの光の位相分布を、３次の項、および、デフォーカス量に応じた前記２次の項を含む前記多項式で近似される位相分布にする
請求項５に記載の撮像装置。
【請求項７】
前記光学系は、
光を結像し、波長域により焦点距離が異なる結像レンズと、
通過する光の位相を変調する光変調部と
を有し、
前記光学系は、物点からの光の位相分布を、前記光変調部の位相変調による３次以上の奇数次の項、および、前記結像レンズによるデフォーカス量に応じた前記２次の項を含む前記多項式で近似される位相分布にする
請求項５に記載の撮像装置。
【請求項８】
前記光変調部は、前記結像レンズの光路中に挿入された状態と、前記結像レンズの光路から外された状態とのいずれかの状態に制御され、
前記撮像部は、前記結像レンズの光路中に前記光変調部が挿入された状態である第１状態、および、前記結像レンズの光路から前記光変調部が外された状態である第２状態のそれぞれの状態で、前記波長域の異なる光によりそれぞれ画像を撮像し、
前記位置特定部は、前記第２状態で撮像された複数の前記画像において同じ位置に位置するオブジェクトが、前記第１状態で撮像された複数の前記画像のいずれの位置に存在するかを特定することにより、前記同じ被写体を示すオブジェクトの位置を特定する
請求項７に記載の撮像装置。
【請求項９】
前記光学系は、被写体光を絞る絞り部を有し、
前記撮像部は、前記絞り部を絞った状態である第１状態、および、前記絞り部の開度を開いた状態である第２状態のそれぞれの状態で、前記波長域の異なる光によりそれぞれ画像を撮像し、
前記位置特定部は、前記第２状態で撮像された複数の前記画像において同じ位置に位置するオブジェクトが、前記第１状態で撮像された複数の前記画像のいずれの位置に存在するかを特定することにより、前記同じ被写体を示すオブジェクトの位置を特定する
請求項７に記載の撮像装置。
【請求項１０】
前記撮像部は、前記光変調部による位相変調および前記結像レンズによる収差の影響が予め定められた値以下になる開度に前記絞り部の開度が制御された前記第１状態、および、当該開度より大きい開度に前記絞り部の開度が制御された前記第２状態のそれぞれの状態で前記波長域の異なる光によりそれぞれ画像を撮像する
請求項９に記載の撮像装置。
【請求項１１】
前記位置特定部は、前記第２状態で撮像された複数の前記画像のそれぞれのオブジェクトの位置を、被写体からの光の波長域に応じた前記結像レンズによる結像位置のずれを補正して、当該補正された複数の前記画像の間における前記同じ被写体を示すオブジェクトの位置の差に基づいて、当該被写体までの距離である被写体距離を特定する
請求項８乃至１０のいずれかに記載の撮像装置。
【請求項１２】
前記位置特定部は、前記異なる波長域と前記オブジェクトの前記位置の差とに対応づけて、当該オブジェクトとして撮像された被写体が存在すべき位置までの距離である前記被写体距離を予め記憶しており、前記補正された複数の前記画像の間における前記同じ被写体を示す前記オブジェクトの位置の差に対応づけて記憶している前記被写体距離を特定する
請求項１１に記載の撮像装置。
【請求項１３】
複数の前記画像における前記波長域毎のオブジェクトの像を、当該オブジェクトまでの距離を示す前記被写体距離と前記波長域に応じた前記光学系の光学伝達関数とに基づいてそれぞれ補正する画像処理部
をさらに備える請求項１乃至１２のいずれかに記載の撮像装置。
【請求項１４】
波長域により焦点距離が異なる光学系であり、同一波長域の光に対して物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系を通過した波長域の異なる光によりそれぞれ画像を撮像する撮像段階と、
前記撮像された複数の前記画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定段階と
を備える撮像方法。
【請求項１５】
撮像装置用のプログラムであって、コンピュータを、
波長域により焦点距離が異なる光学系であり、同一波長域の光に対して物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系を通過した波長域の異なる光によりそれぞれ画像を撮像する撮像部、
前記撮像された複数の前記画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
３次曲面を有する位相板を使用することによって光学システムの光伝達関数を焦点位置から或るレンジ内で実質的に一定に留めるとする技術が知られている（例えば、特許文献１および２参照。）。
【特許文献１】特開２００６−９４４６９号公報
【特許文献２】特表平１１−５００２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献に記載の技術によると、被写体像はぼけを伴っているので、コントラスト検出によっては被写体までの距離を測定することができない。特許文献１の技術によると、外部アクティブ方式で被写体距離を測定するが、距離測定用のデバイスを別途設けなければならない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様によると、波長域により焦点距離が異なる光学系であり、同一波長域の光に対して物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系と、光学系を通過した波長域の異なる光によりそれぞれ画像を撮像する撮像部と、撮像された複数の画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定部とを備える。
【０００５】
光学系は、物点からの光の波面を変調することにより、物点からの光を物点までの距離によらず略同一の広さに広げてよい。
【０００６】
光学系は、物点からの光の位相分布を、光軸からの位置に関する２次より大きい次数の多項式で近似される位相分布にすることにより、物点からの光を物点までの距離によらず略同一の広さに広げてよい。
【０００７】
光学系は、物点からの光の位相分布を、デフォーカス量に応じた位相分布を表す２次の項を含む多項式で近似される位相分布にしてよい。
【０００８】
光学系は、物点からの光の位相分布を、３次以上の奇数次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。
【０００９】
光学系は、物点からの光の位相分布を、３次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。
【００１０】
光学系は、光を結像し、波長域により焦点距離が異なる結像レンズと、通過する光の位相を変調する光変調部とを有し、光学系は、物点からの光の位相分布を、光変調部の位相変調による３次以上の奇数次の項、および、結像レンズによるデフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。
【００１１】
光変調部は、結像レンズの光路中に挿入された状態と、結像レンズの光路から外された状態とのいずれかの状態に制御され、撮像部は、結像レンズの光路中に光変調部が挿入された状態である第１状態、および、結像レンズの光路から光変調部が外された状態である第２状態のそれぞれの状態で、波長域の異なる光によりそれぞれ画像を撮像し、位置特定部は、第２状態で撮像された複数の画像において同じ位置に位置するオブジェクトが、第１状態で撮像された複数の画像のいずれの位置に存在するかを特定することにより、同じ被写体を示すオブジェクトの位置を特定してよい。
【００１２】
光学系は、被写体光を絞る絞り部を有し、撮像部は、絞り部を絞った状態である第１状態、および、絞り部の開度を開いた状態である第２状態のそれぞれの状態で、波長域の異なる光によりそれぞれ画像を撮像し、位置特定部は、第２状態で撮像された複数の画像において同じ位置に位置するオブジェクトが、第１状態で撮像された複数の画像のいずれの位置に存在するかを特定することにより、同じ被写体を示すオブジェクトの位置を特定してよい。
【００１３】
撮像部は、光変調部による位相変調および結像レンズによる収差の影響が予め定められた値以下になる開度に絞り部の開度が制御された第１状態、および、当該開度より大きい開度に絞り部の開度が制御された第２状態のそれぞれの状態で波長域の異なる光によりそれぞれ画像を撮像してよい。
【００１４】
位置特定部は、第２状態で撮像された複数の画像のそれぞれのオブジェクトの位置を、被写体からの光の波長域に応じた結像レンズによる結像位置のずれを補正して、当該補正された複数の画像の間における同じ被写体を示すオブジェクトの位置の差に基づいて、当該被写体までの距離である被写体距離を特定してよい。
【００１５】
位置特定部は、異なる波長域とオブジェクトの位置の差とに対応づけて、当該オブジェクトとして撮像された被写体が存在すべき位置までの距離である被写体距離を予め記憶しており、補正された複数の画像の間における同じ被写体を示すオブジェクトの位置の差に対応づけて記憶している被写体距離を特定してよい。
【００１６】
複数の画像における波長域毎のオブジェクトの像を、当該オブジェクトまでの距離を示す被写体距離と波長域に応じた光学系の光学伝達関数とに基づいてそれぞれ補正する画像処理部をさらに備えてよい。
【００１７】
本発明の第２の態様によると、波長域により焦点距離が異なる光学系であり、同一波長域の光に対して物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系を通過した波長域の異なる光によりそれぞれ画像を撮像する撮像段階と、撮像された複数の画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定段階とを備える。
【００１８】
本発明の第３の態様によると、撮像装置用のプログラムであって、コンピュータを、波長域により焦点距離が異なる光学系であり、同一波長域の光に対して物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系を通過した波長域の異なる光によりそれぞれ画像を撮像する撮像部、撮像された複数の画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定部として機能させる。
【００１９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００２０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２１】
図１は、一実施形態に係わる撮像装置１１０のブロック構成の一例を示す。撮像装置１１０は、被写体までの距離を算出することができる撮像装置を提供する。なお、撮像装置１１０としては、デジタルスチルカメラの他、撮像機能付きの携帯電話端末、監視カメラ、内視鏡などの、撮像機能を有する撮像機器を例示することができる。
【００２２】
撮像装置１１０は、光学系１００、カラーフィルタ１６０、受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、位置特定部１５０、出力部１９０、および、制御部１２０を備える。光学系１００は、複数の結像レンズ１０２ａおよびｂ、光変調部１０４、ならびに、絞り部１０６を備える。なお、以後の説明においては、結像レンズ１０２ａおよびｂを、結像レンズ１０２と総称する場合がある。
【００２３】
結像レンズ１０２は、被写体からの光を結像する。結像レンズ１０２は色収差を許容して設計されており、異なる波長域の光に対して異なる焦点距離を有している。
【００２４】
絞り部１０６は、光学系１００を通過する被写体光を絞る。本図の例では、絞り部１０６は、結像レンズ１０２および光変調部１０４の少なくともいずれかの光学素子の間に設けられている。他の構成では、絞り部１０６は、結像レンズ１０２および光変調部１０４のいずれの光学素子より物体側に設けられてもよく、結像レンズ１０２および光変調部１０４のいずれの光学素子より受光部１７０側に設けられてもよい。
【００２５】
光学系１００は、特定の波長域の光に対し、光変調部１０４による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする。なお、光変調部１０４の光学特性については、図２などに関連して後述する。このように、光学系１００は、同一の波長域の光に対し、物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する。なお、光学系１００がデフォーカス量に応じた位置に結像することについては、図２などに関連して説明する。また、光学系１００は、結像レンズ１０２が有する色収差により、異なる波長域に対して異なる焦点距離を有している。
【００２６】
制御部１２０は、絞り部１０６の絞り開度を制御する。制御部１２０は、絞り部１０６の絞り開度を制御した状態で受光部１７０に被写体からの受光させることにより、被写体の画像を撮像させる。
【００２７】
カラーフィルタ１６０は、光学系１００を通過した光を受光部１７０に供給する。カラーフィルタ１６０は、特定波長域の光を選択的に透過する複数のフィルタ素子が略同一平面上に所定の配列で設けられた光学素子であってよい。複数のフィルタ素子は、例えば市松状の配列に配置されてよい。
【００２８】
受光部１７０は、光学系１００およびカラーフィルタ１６０を通過した被写体光を受光する。受光部１７０は、光学系１００の光軸に垂直な面上に２次元的に配置された複数の撮像素子を有する。複数の撮像素子は、光学系１００およびカラーフィルタ１６０を通過した光をそれぞれ受光する。
【００２９】
なお、受光部１７０が有する撮像素子は、ＣＣＤ型の撮像素子であってよく、ＣＭＯＳ型の撮像素子であってもよい。各撮像素子の受光量を示すカラーの撮像信号は、撮像画像生成部１７２に供給される。なお、ここではいわゆる１板式の構成により撮像する撮像方式を一例に挙げて説明したが、撮像装置１１０はいわゆる３板式あるいは３以上の多板式の構成により撮像してもよい。
【００３０】
撮像画像生成部１７２は、撮像信号に基づき画像を生成する。具体的には、撮像画像生成部１７２は、各撮像素子からの撮像信号をそれぞれＡ／Ｄ変換することにより、デジタルのカラー画像を生成する。なお、カラーフィルタ１６０、受光部１７０、および撮像画像生成部１７２は、光学系１００を通過した波長域の異なる光によりそれぞれ画像を撮像する撮像部として機能する。
【００３１】
画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶する。画像記憶部１７４は、半導体メモリ、磁気メモリなどの記憶素子を有してよい。なお、画像記憶部１７４は、揮発性の記憶素子を有してよく、不揮発性の記憶素子を有してもよい。画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶素子に記憶してよい。また、画像記憶部１７４は、カラー画像をＲＡＷ形式で記憶してよい。
【００３２】
画像取得部１３０は、画像記憶部１７４が記憶している画像を取得する。具体的には、画像取得部１３０は、画像記憶部１７４に記憶された画像を取得する。画像取得部１３０が取得した画像は、位置特定部１５０および画像処理部１８０に供給される。位置特定部１５０は、供給された複数の画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する。被写体距離の特定方法については、図２以後の図に関連して詳細に説明する。
【００３３】
画像処理部１８０は、光学系１００の光学伝達関数に基づいて、画像における光学系１００による点像の広がりを補正する補正処理を施すことにより、補正画像を生成する。例えば、画像処理部１８０は、光学系１００の光学伝達関数に基づく逆フィルタを画像に施すことにより、補正画像を生成してよい。なお、画像処理部１８０は、位置特定部１５０が特定した被写体距離に応じた補正処理を施してよい。
【００３４】
出力部１９０は、画像処理部１８０により生成された補正画像を出力する。例えば、出力部１９０は、画像を記録する記録媒体に補正画像を出力してよい。出力部１９０は、撮像装置１１０の外部に補正画像を出力してよい。例えば、出力部１９０は、パーソナルコンピュータ、プリンタ、ディスプレイなどの出力機器に、補正画像を出力してよい。
【００３５】
画像処理パラメータ格納部１８８は、光学系１００の結像特性に対応づけて、画像に適用すべき補正処理に用いる画像処理パラメータを格納している。画像処理パラメータとしては、上述した逆フィルタを例示することができる。画像処理部１８０は、制御部１２０により制御された結像特性に適合する結像特性に対応づけて画像処理パラメータ格納部１８８が格納している画像処理パラメータを用いて、画像に補正処理を施してよい。
【００３６】
なお、コンピュータなどの電子情報処理装置が、本実施形態を通じて説明される撮像装置１１０として機能してよい。具体的には、撮像装置１１０用のプログラムが当該電子情報処理装置にインストールされることで、当該電子情報処理装置が、本実施形態における撮像装置１１０の各部として機能してよい。なお、当該プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等の記録媒体により撮像装置１１０に提供されてよい。また、当該プログラムは、電気通信回線を通じて当該電子情報処理装置に提供されてよい。
【００３７】
なお、画像取得部１３０、位置特定部１５０、画像処理部１８０、画像処理パラメータ格納部１８８、および出力部１９０は、撮像装置１１０とは別の画像処理装置が備えてよい。画像処理装置は、撮像装置１１０から、撮像された画像を取得することにより、上述の補正処理を施すことができる。このような画像処理装置としては、パーソナルコンピュータなどの電子情報処理装置を例示することができる。
【００３８】
図２は、デフォーカスに応じた瞳面における位相分布の一例を示す。以下に説明する本図の位相分布は、光軸を原点とする直交座標系に属する座標系の各座標値に関して、３次式で表される曲面形状を有する光変調部１０４による、特定の波長域の光に対する位相分布を示す。具体的には、光学系１００の光軸に直交する２軸をｘ、ｙとしたとき、光変調部１０４による波面収差は（ｘ３＋ｙ３）に比例する。
【００３９】
ここで、光変調部１０４および結像レンズ１０２を含む光学系１００による位相分布には、結像レンズ１０２によるデフォーカスの効果が加えられる。光学系１００全体による一次元の位相分布φ（ｘ）は、デフォーカス量をｄとしたとき、φ（ｘ）＝ｘ３＋ｄｘ２で表される。このように、光学系１００は、物点からの光の位相分布を、光軸からの位置に関する２次より大きい次数の多項式で近似される位相分布にする。光学系１００は、特定の波長域の光に対して、物点からの光の波面をこのような位相分布の波面に変換することにより、物点からの光を物点までの距離によらず略同一の広さに広げることができる。
【００４０】
ここで、位相分布φ（ｘ）は、φ（ｘ）＝（ｘ＋ｄ／３）３−（ｄ２／３）ｘ−ｄ３／２７と変形できる。変形後の式の第１項は、光変調部１０４全体の位置シフトを表しており、この項による結像への影響は比較的に小さい。第２項は、波面の傾きを表しており、この項の影響が結像位置のずれとして現れる。第３項は、定数の位相ずれを表しており、結像特性には影響しない。このように、光学系１００によると、デフォーカス量に応じて結像位置にずれが生じる。
【００４１】
本図の位相分布２００は、デフォーカス量ｄが０の場合の位相分布を示す。位相分布２１０および位相分布２２０は、それぞれデフォーカス量ｄが正および負の場合の位相分布を示す。位相分布２１０を参照すると、原点近傍のｘが負の領域においては、傾きが負になっていることがわかる。また、位相分布２１０と位相分布２００との間のｘ方向のずれ幅（位相差が同じ値となるｘ座標の差の絶対値）について、ｘが正の領域におけるずれ幅が、ｘが負の領域におけるずれ幅より小さいことがわかる。このように、位相分布２１０全体の形は、位相分布２００全体を負の向きに傾けた形に近いことがわかる。
【００４２】
同様に、位相分布２２０全体の形も、位相分布２００全体を負の向きに傾けた形に近いことがわかる。このため、光学系１００は、物点からの光の波面を物点まで距離に応じて異なる傾きに変調することがわかる。このデフォーカス量に応じた傾きが画像上における結像位置に影響する。
【００４３】
このように、光学系１００は、物点からの光の位相分布を、デフォーカス量に応じた位相分布を表す２次の項を含む多項式で近似される位相分布にする。具体的には、光学系１００は、物点からの光の位相分布を、３次以上の奇数次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。より具体的には、光学系１００は、物点からの光の位相分布を、３次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。なお、光学系１００は、物点からの光の位相分布を、光変調部１０４の位相変調による３次以上の奇数次の項、および、結像レンズ１０２によるデフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。
【００４４】
図３は、デフォーカス量の変化の一例を示す。結像レンズ１０２から距離ｂだけ離れた光軸上の物点の位置３８０からの光のうち、第１波長域の光は、結像レンズ１０２によって、結像レンズ１０２から距離ａだけ離れた結像位置３９０−１に結像するとする。また、光軸上の物点の位置３８０からの光のうち、第１波長域より波長が短い第２波長域の光は、結像レンズ１０２によって焦点面と光軸との交点である結像位置３９０−２に結像する。このように、結像レンズ１０２は有意な色収差を有しており、焦点距離は波長域により異なる。なお、物点の位置３８０の光軸上の位置が変わると、各波長域の光についてそれぞれ結像位置３９０も変わり、それによりデフォーカス量ｄが変化する。
【００４５】
図４は、デフォーカス量に対する結像位置のシフト量の依存関係を示す。本グラフの横軸は、被写体の位置ｚを示す。
【００４６】
線４５０ａは、第１波長域の光についての、ｘ方向の位置シフト量Δｘおよびｙ方向の位置シフト量Δｙの、被写体の位置ｚに対する依存性を示している。線４５０ｂは、第２波長域の光についての、位置シフト量ΔｘおよびΔｙのｚ依存性を示している。上述したように位置シフトは、φ（ｘ）の変形後の式の上記第２項の係数である−ｄ２／３により生じる。したがって、ｘ軸方向の位置シフト量はｄ２に応じた値となる。ｙ軸方向のシフト量についても同じく、デフォーカス量ｄ２に応じた値となる。ここで、光学系１００は、第１波長域および第２波長域の光に対して焦点距離が異なるので、線４５０ｂは、焦点距離が異なる分、線４５０ａを横軸方向にシフトさせた形となる。
【００４７】
ここで、第１波長域の光についてデフォーカス量ｄが０となる位置の被写体について考える。当該被写体からの第１波長域の光については、画像上でのｘ方向のシフト量Δｘ、ｙ方向のシフト量Δｙはともに０となる。一方、同じ被写体からの第２波長域の光については、デフォーカス量ｄが０とならず、Δｘ＝Δ１、Δｙ＝Δ１の位置シフトが生じる。
【００４８】
なお、ここでいう位置シフト量は、実際に結像した位置の、本来結像すべき点からのシフト量とする。ここで、本来結像すべき点とは、絞り部１０６を最小開度に制御した状態での結像点であってよい。制御部１２０が絞り部１０６の絞り開度を最大にした状態では、光変調部１０４の光軸近傍以外の領域を光が通過することにより、光変調部１０４による波面変調効果が与えられるので、デフォーカス量に応じた結像位置の位置シフトが生じる。また、本来結像すべき点としては、光変調部１０４が結像レンズ１０２の光路から取り除かれた状態での結像点であってもよい。光変調部１０４が結像レンズ１０２の光路中に挿入された状態では、光変調部１０４による波面変調効果が与えられるので、被写体の位置ｚに応じた結像位置の位置シフトが生じる。
【００４９】
具体的には、第１波長域の光についてデフォーカス量が０となる被写体の像は、第１波長域の光による第１画像上において、図５に関連して後述する位置３００に結像される。また、同じ被写体の像は、第２波長域の光による第２画像上において、図５に関連して後述する位置３００−２に結像される。この場合、物点からの光は図５に関連して後述する位置３００−２に対応する位置に結像される。
【００５０】
図５は、結像位置の差の一例を示す。本図では、第１画像の画素および第２画像の間の位置の差を分かりやすくすべく、同じ像点に対応する画素が同じ位置になるよう第１画像と第２画像とを重ねて、画像３５０として一括して表示している。画像３５０において、第１波長域の光によるオブジェクトの像は、位置３００−１に存在する一方、第２波長域の光によるオブジェクトの像は、位置３００−２に存在する。
【００５１】
この位置３００−１と位置３００−２との間の位置差Δは、デフォーカス量の差に起因する。デフォーカス量ｄの差は、被写体の位置ｚおよび各波長域の光に対する焦点距離に応じて変わる。したがって、位置特定部１５０は、各波長域の光に対する焦点距離およびΔに基づいて、被写体までの距離を示す被写体位置ｚを算出することができる。位置特定部１５０は、各波長域の光に対する焦点距離およびΔに対する被写体位置ｚの依存性を予め記憶しておくことによって、各波長域の光に対する焦点距離およびΔを入力とした場合の被写体位置ｚを算出することができる。
【００５２】
このように、位置特定部１５０は、異なる波長域とオブジェクトの位置の差とに対応づけて、当該オブジェクトとして撮像された被写体が存在すべき位置までの距離である被写体距離を予め記憶している。これにより位置特定部１５０は、当該補正された複数の画像の間における同じ被写体を示すオブジェクトの位置の差に対応づけて記憶している被写体距離を特定することができる。
【００５３】
以上説明したように、本実施形態における撮像装置１１０によると、色収差を許容した結像レンズ１０２と、上述した光変調部１０４とを備える光学系１００を用いて、被写体距離を算出することができる。本実施形態における撮像装置１１０によると、結像レンズ１０２において色収差を許容することができるので、レンズ設計が容易になる。撮像装置１１０では、画像処理部１８０でぼけを復元する補正処理が行われるが、画像処理部１８０において色収差の影響も考慮した補正処理を同時に施すことで、色収差が補正された画像を提供することができる。
【００５４】
なお、結像レンズ１０２は色収差を有するので、像高および波長域に応じて結像位置にずれが生じる。位置特定部１５０は、結像レンズ１０２による結像位置のずれを含むΔ−ｚの対応関係を予め記憶しておくことで、結像レンズ１０２の色収差を考慮したより正確なｚの値を算出することができる。
【００５５】
なお、撮像装置１１０によると、異なる波長域の光による画像の間で、同じ被写体を示すオブジェクトの位置を特定する必要がある。一例として、同じ被写体を同じ位置に結像させた画像を撮像して、当該画像から同じ位置に位置するオブジェクトの特徴量を色成分毎に抽出することで、異なる波長域の光による異なる画像から、同じオブジェクトの位置を特定することができる。
【００５６】
例えば、制御部１２０は、絞り部１０６の絞り開度を狭めて撮像することで、同じ被写体を同じ位置に結像させた画像を撮像させる。具体的には、制御部１２０は、光変調部１０４による位相変調および結像レンズ１０２による収差の影響が予め定められた値以下になる開度に絞り部１０６の開度が制御された第１状態、および、当該開度より大きい開度に絞り部１０６の開度が制御された第２状態のそれぞれの状態で、波長域の異なる光によりそれぞれ画像を撮像させる。
【００５７】
このように、制御部１２０は、絞り部１０６を絞った状態である第１状態、および、絞り部１０６の開度を開いた状態である第２状態のそれぞれの状態に制御して、波長域の異なる光によりそれぞれ画像を撮像させる。そして、位置特定部１５０は、第２状態で撮像された複数の画像において同じ位置に位置するオブジェクトが、第１状態で撮像された複数の画像のいずれの位置に存在するかを特定することにより、同じ被写体を示すオブジェクトの位置を特定する。同じ被写体を示すオブジェクトの位置は、上述したように色成分毎の特徴量を抽出することで特定することができる。
【００５８】
他にも、制御部１２０は、光変調部１０４を受光部１７０への光路中に存在しない状態で撮像することで、同じ被写体を同じ位置に結像させた画像を撮像させることができる。位置特定部１５０は、こうして撮像された画像から、各波長域毎に特徴量を抽出して、異なる波長域の光による第１画像および第２画像の中から同じ特徴量を有する領域を抽出することで、オブジェクトの位置の差を算出することができる。
【００５９】
具体的には、光変調部１０４は、結像レンズ１０２の光路中に挿入された状態と、結像レンズ１０２の光路から外された状態とのいずれかの状態に制御することができる。制御部１２０は、結像レンズ１０２の光路中に光変調部１０４が挿入された状態である第１状態、および、結像レンズ１０２の光路から光変調部１０４が外された状態である第２状態のそれぞれの状態で、波長域の異なる光によりそれぞれ画像を撮像させる。そして、位置特定部１５０は、第２状態で撮像された複数の画像において同じ位置に位置するオブジェクトが、第１状態で撮像された複数の画像のいずれの位置に存在するかを特定することにより、同じ被写体を示すオブジェクトの位置を特定する。なお、同じ被写体を示すオブジェクトの位置は、上述したように色成分毎の特徴量を抽出することで特定することができる。
【００６０】
また、上記において、結像レンズ１０２の色収差がΔに与える影響を含めて、Δとｚの関係を算出した。他にも、位置特定部１５０は、結像レンズ１０２の色収差がΔに与える影響を画像上で補正してから、Δを算出してもよい。具体的には、位置特定部１５０は、第２状態で撮像された複数の画像のそれぞれのオブジェクトの位置を、被写体からの光の波長域に応じた結像レンズ１０２による結像位置のずれを補正してよい。そして、位置特定部１５０は、当該結像位置のずれが補正された複数の画像の間における同じ被写体を示すオブジェクトの位置の差に基づいて、当該被写体までの距離である被写体距離を特定する。
【００６１】
図６は、画像処理パラメータ格納部１８８が格納しているデータの一例をテーブル形式で示す。本図に関連して、光学系１００による被写体像のぼけが補正された補正画像を生成する処理について説明する。画像処理パラメータ格納部１８８は、波長域、被写体距離、画像エリアに対応づけて、復元フィルタを格納している。
【００６２】
画像エリアは、復元対象となる画像上の領域を示す。なお、画像エリアが矩形である場合、画像エリアを特定する情報としては、矩形の対角の座標値を例示することができる。画像エリアが矩形でない場合には、エリアの外形を示すベクトル情報などを、画像エリアを特定する情報として例示することができる。
【００６３】
復元フィルタは、画像処理パラメータの一例であり、光変調部１０４によるぼけをキャンセルするデコンボリューションフィルタを例示することができる。デコンボリューションフィルタとしては、光学系１００によるぼけ像を点像に復元するべく光学系１００の光学伝達関数の逆変換をするものであってよく、逆フィルタ法に基づくデジタルフィルタなどを例示することができる。
【００６４】
画像処理部１８０は、位置特定部１５０が特定した被写体距離および波長域に対応づけて画像処理パラメータ格納部１８８が格納している各画像エリアに対する復元フィルタを選択する。そして、画像処理部１８０は、各波長域の光による画像信号のそれぞれについて、それぞれの画像エリアに対する復元フィルタを用いて各画像エリアの画像信号を復元する。画像処理部１８０はこのような補正処理を各波長域の画像について行い、補正後の各波長域に対応する画像を合成することで、カラーの補正画像を生成する。
【００６５】
なお、画像処理部１８０が格納している復元フィルタは、被写体までの距離に応じた位置シフトを補正する処理を含んでよい。すなわち、復元フィルタは、被写体までの距離と各波長域に対する焦点距離とに応じた位置シフトをキャンセルする補正処理を、各波長域の画像に施してよい。このように、画像処理部１８０は、複数の画像における波長域毎のオブジェクトの像を、当該オブジェクトまでの距離を示す被写体距離と波長域に応じた光学系１００の光学伝達関数とに基づいてそれぞれ補正する。
【００６６】
以上説明したように、画像処理パラメータ格納部１８８が画像エリア毎に復元フィルタを格納しているので、画像処理部１８０は、撮像画像生成部１７２が生成した画像に、像高に応じた補正処理を施すことができる。したがって、画像処理部１８０は、ぼけた被写体像を復元する適切な復元フィルタを用いることができ、ひいては、補正処理によって生じるアーチファクトの強度を低減することができる。
【００６７】
なお、上記において光変調部１０４の一例として特定の曲面形状の位相板を例示して撮像装置１１０の動作を説明したが、光変調部１０４は、他の種々の手段で波面を変形させることができる。例えば、光変調部１０４としては、屈折率が変化する光学素子（例えば、屈折率分布型の波面変調光学素子）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子）などを例示することができる。
【００６８】
なお、本実施形態における画像は、動画に含まれる複数の動画構成画像であってよい。動画構成画像としては、フレーム画像を例示することができる。画像処理部１８０は、動画に含まれる複数の動画構成画像のそれぞれに、上述の画像処理を施すことができる。
【００６９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００７０】
【図１】一実施形態に係わる撮像装置１１０のブロック構成の一例を示す図である。
【図２】デフォーカスに応じた瞳面における位相分布の一例を示す図である。
【図３】デフォーカス量の変化の一例を示す図である。
【図４】デフォーカス量に対する結像位置のシフト量の依存関係を示す図である。
【図５】結像位置の差の一例を示す図である。
【図６】画像処理パラメータ格納部１８８が格納しているデータの一例をテーブル形式で示す図である。
【符号の説明】
【００７１】
１００  光学系
１０２  結像レンズ
１０４  光変調部
１０６  絞り部
１１０  撮像装置
１２０  制御部
１３０  画像取得部
１５０  位置特定部
１６０  カラーフィルタ
１７０  受光部
１７２  撮像画像生成部
１７４  画像記憶部
１８０  画像処理部
１８８  画像処理パラメータ格納部
１９０  出力部
【図１】
2010087881.tif 000003
【図２】
2010087881.tif 000004
【図３】
2010087881.tif 000005
【図４】
2010087881.tif 000006
【図５】
2010087881.tif 000007
【図６】
2010087881.tif 000008