(57)【要約】【課題】被写体までの距離を特定すること。【解決手段】光学システムであって、物点からの光に対する光の広がりを物点までの距離に対して略一定にする光学系と、光学系を通じて撮像された画像を取得する画像取得部と、光学系から特定の距離にある物点からの光に対する光学系の光学伝達関数に基づく補正処理を画像に施すことにより、補正画像を生成する画像処理部と、補正画像の画像内容に基づいて、画像に撮像されている被写体までの距離を特定する位置特定部とを備える。【選択図】図１
2010087875.tif 000002
【特許請求の範囲】
【請求項１】
物点からの光に対する光の広がりを物点までの距離に対して略一定にする光学系と、
前記光学系を通じて撮像された画像を取得する画像取得部と、
前記光学系から特定の距離にある物点からの光に対する前記光学系の光学伝達関数に基づく補正処理を前記画像に施すことにより、補正画像を生成する画像処理部と、
前記補正画像の画像内容に基づいて、前記画像に撮像されている被写体までの距離を特定する位置特定部と
を備える光学システム。
【請求項２】
前記光学系は、
通過する光に特定の位相差分布を与えることにより波面を変調する光変調部と、
前記特定の位相差分布の形状とは異なる特徴の形状の絞り開口を持つ絞り部と
を有しており、
前記画像取得部は、前記光変調部および前記絞り部を通過した光により撮像された前記画像を取得する
請求項１に記載の光学システム。
【請求項３】
前記光変調部は、前記光学系の光軸に関する回転非対称な位相差分布を物点からの光に与え、
前記絞り部は、回転対称性を有する形状の絞り開口を持つ
請求項２に記載の光学システム。
【請求項４】
前記光変調部は、前記光学系の光軸を原点とする直交座標系での座標についての多項式で近似される位相差を物点からの光に与える
請求項３に記載の光学システム。
【請求項５】
前記光変調部は、前記光学系の光軸を原点とする直交座標系での座標についての３次の項を持つ多項式で近似される位相差を物点からの光に与える
請求項４に記載の光学システム。
【請求項６】
前記絞り部は、略円形形状の絞り開口を持つ
請求項４または５に記載の光学システム。
【請求項７】
前記光学系からの距離に対応づけて、前記光学系から当該距離にある物点からの光による像に前記補正処理を施して得られた像の画像特徴量を格納する画像特徴量格納部
をさらに備え、
前記位置特定部は、前記特徴量格納部が格納している画像特徴量に適合する画像特徴量を有する画像領域に撮像されている被写体までの距離を、当該画像特徴量に対応づけて前記画像特徴量格納部が格納している距離に基づいて算出する
請求項１乃至６のいずれかに記載の光学システム。
【請求項８】
前記画像特徴量格納部は、前記光学系からの距離に対応づけて、前記光学系から当該距離にある物点からの光による像に前記補正処理を施して得られた像のアーチファクトを格納し、
前記位置特定部は、前記特徴量格納部が格納しているアーチファクトに適合するアーチファクトを有する画像領域に撮像されている被写体までの距離を、当該アーチファクトに対応づけて前記特徴量格納部が格納している距離に基づいて算出する
請求項７に記載の光学システム。
【請求項９】
前記絞り部の絞り開口の形状を制御する制御部
をさらに備え、
前記画像取得部は、前記絞り部の絞り開口を前記特定の位相差分布の形状とは異なる特徴の形状の絞り開口に制御した状態で撮像された第１画像、および、前記絞り部の絞り開口を前記特定の位相差分布の形状と類似する特徴の形状の絞り開口に制御した状態で撮像された第２画像を取得し、
前記画像処理部は、前記補正処理を前記第１画像に施して前記補正画像を生成し、
前記位置特定部は、前記補正画像の画像内容に基づいて、前記画像に撮像されている被写体までの距離を特定し、
前記画像処理部は、前記位置特定部が特定した距離にある物点からの光に対する前記光学系の光学伝達関数に基づく補正処理を、前記第２画像に施す
請求項２に記載の光学システム。
【請求項１０】
物点からの光に対する光の広がりを物点までの距離に対して略一定にする光学系と、
前記光学系を通じて被写体の画像を撮像する撮像部と、
前記光学系から特定の距離にある物点からの光に対する前記光学系の光学伝達関数に基づく補正処理を前記画像に施すことにより、補正画像を生成する画像処理部と、
前記補正画像の画像内容に基づいて、前記画像に撮像されている被写体までの距離を特定する位置特定部と
を備える撮像装置。
【請求項１１】
前記光学系は、
通過する光に特定の位相差分布を与えることにより波面を変調する光変調部と、
前記特定の位相差分布の形状とは異なる特徴の形状の絞り開口を持つ絞り部と
を有しており、
前記撮像部は、前記光変調部および前記絞り部を通過した光により被写体の画像を撮像する
請求項１０に記載の撮像装置。
【請求項１２】
前記光変調部は、前記光学系の光軸に関する回転非対称な位相差分布を物点からの光に与え、
前記絞り部は、回転対称性を有する形状の絞り開口を持つ
請求項１１に記載の撮像装置。
【請求項１３】
前記光変調部は、前記光学系の光軸を原点とする直交座標系での座標についての３次の項を持つ多項式で近似される位相差を物点からの光に与える
請求項１２に記載の撮像装置。
【請求項１４】
前記絞り部は、略円形形状の絞り開口を持つ
請求項１２または１３に記載の撮像装置。
【請求項１５】
前記絞り部の絞り開口の形状を制御する制御部
をさらに備え、
前記撮像部は、前記絞り部の絞り開口を前記特定の位相差分布の形状とは異なる特徴の形状の絞り開口に制御された状態で被写体の第１画像を撮像するとともに、前記絞り部の絞り開口を前記特定の位相差分布の形状と類似する特徴の形状の絞り開口に制御された状態で被写体の第２画像を撮像し、
前記画像処理部は、前記補正処理を前記第１画像に施して前記補正画像を生成し、
前記位置特定部は、前記補正画像の画像内容に基づいて、前記画像に撮像されている被写体までの距離を特定し、
前記画像処理部は、前記位置特定部が特定した被写体までの距離にある物点からの光に対する前記光学系の光学伝達関数に基づく補正処理を、前記第２画像に施す
請求項１１に記載の撮像装置。
【請求項１６】
物点からの光に対する光の広がりを物点までの距離に対して略一定にする光学系を通じて被写体の画像を撮像する撮像段階と、
前記光学系から特定の距離にある物点からの光に対する前記光学系の光学伝達関数に基づく補正処理を前記画像に施すことにより、補正画像を生成する画像処理段階と、
前記補正画像の画像内容に基づいて、前記画像に撮像されている被写体までの距離を特定する位置特定段階と
を備える撮像方法。
【請求項１７】
撮像装置用のプログラムであって、コンピュータを、
物点からの光に対する光の広がりを物点までの距離に対して略一定にする光学系を通じて被写体の画像を撮像する撮像部、
前記光学系から特定の距離にある物点からの光に対する前記光学系の光学伝達関数に基づく補正処理を前記画像に施すことにより、補正画像を生成する画像処理部、
前記補正画像の画像内容に基づいて、前記画像に撮像されている被写体までの距離を特定する位置特定部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学システム、撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
３次曲面を有する位相板を使用することによって光学システムの光伝達関数を焦点位置から或るレンジ内で実質的に一定に留める技術が知られている（例えば、特許文献１および２参照。）。
【特許文献１】特開２００６−９４４６９号公報
【特許文献２】特表平１１−５００２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献に記載の技術によると、被写体像がぼけるので、コントラスト検出により被写体までの距離を正確に特定することができない。上記特許文献１の技術によると、外部アクティブ方式で被写体距離を測定するが、距離測定用のデバイスを別途設けなければならない。撮像された画像から被写体までの距離を特定することができることが望ましい。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様によると、光学システムであって、物点からの光に対する光の広がりを物点までの距離に対して略一定にする光学系と、光学系を通じて撮像された画像を取得する画像取得部と、光学系から特定の距離にある物点からの光に対する光学系の光学伝達関数に基づく補正処理を画像に施すことにより、補正画像を生成する画像処理部と、補正画像の画像内容に基づいて、画像に撮像されている被写体までの距離を特定する位置特定部とを備える。
【０００５】
光学系は、通過する光に特定の位相差分布を与えることにより波面を変調する光変調部と、特定の位相差分布の形状とは異なる特徴の形状の絞り開口を持つ絞り部とを有しており、画像取得部は、光変調部および絞り部を通過した光により撮像された画像を取得してよい。
【０００６】
光変調部は、光学系の光軸に関する回転非対称な位相差分布を物点からの光に与え、絞り部は、回転対称性を有する形状の絞り開口を有してよい。
【０００７】
光変調部は、光学系の光軸を原点とする直交座標系での座標についての多項式で近似される位相差を物点からの光に与えてよい。
【０００８】
光変調部は、光学系の光軸を原点とする直交座標系での座標についての３次の項を持つ多項式で近似される位相差を物点からの光に与えてよい。
【０００９】
絞り部は、略円形形状の絞り開口を有してよい。
【００１０】
光学系からの距離に対応づけて、光学系から当該距離にある物点からの光による像に補正処理を施して得られた像の画像特徴量を格納する画像特徴量格納部をさらに備え、位置特定部は、特徴量格納部が格納している画像特徴量に適合する画像特徴量を有する画像領域に撮像されている被写体までの距離を、当該画像特徴量に対応づけて特徴量格納部が格納している距離に基づいて算出してよい。
【００１１】
画像特徴量格納部は、光学系からの距離に対応づけて、光学系から当該距離にある物点からの光による像に補正処理を施して得られた像のアーチファクトを格納し、位置特定部は、特徴量格納部が格納しているアーチファクトに適合するアーチファクトを有する画像領域に撮像されている被写体までの距離を、当該アーチファクトに対応づけて特徴量格納部が格納している距離に基づいて算出してよい。
【００１２】
絞り部の絞り開口の形状を制御する制御部をさらに備え、画像取得部は、絞り部の絞り開口を特定の位相差分布の形状とは異なる特徴の形状の絞り開口に制御した状態で撮像された第１画像、および、絞り部の絞り開口を特定の位相差分布の形状と類似する特徴の形状の絞り開口に制御した状態で撮像された第２画像を取得し、画像処理部は、補正処理を第１画像に施して補正画像を生成し、位置特定部は、補正画像の画像内容に基づいて、画像に撮像されている被写体までの距離を特定し、画像処理部は、位置特定部が特定した距離にある物点からの光に対する光学系の光学伝達関数に基づく補正処理を、第２画像に施してよい。
【００１３】
本発明の第２の態様によると、撮像装置であって、物点からの光に対する光の広がりを物点までの距離に対して略一定にする光学系と、光学系を通じて被写体の画像を撮像する撮像部と、光学系から特定の距離にある物点からの光に対する光学系の光学伝達関数に基づく補正処理を画像に施すことにより、補正画像を生成する画像処理部と、補正画像の画像内容に基づいて、画像に撮像されている被写体までの距離を特定する位置特定部とを備える。
【００１４】
光学系は、通過する光に特定の位相差分布を与えることにより波面を変調する光変調部と、特定の位相差分布の形状とは異なる特徴の形状の絞り開口を持つ絞り部とを有しており、撮像部は、光変調部および絞り部を通過した光により被写体の画像を撮像してよい。
【００１５】
光変調部は、光学系の光軸に関する回転非対称な位相差分布を物点からの光に与え、絞り部は、回転対称性を有する形状の絞り開口を有してよい。
【００１６】
光変調部は、光学系の光軸を原点とする直交座標系での座標についての３次の項を持つ多項式で近似される位相差を物点からの光に与えてよい。
【００１７】
絞り部は、略円形形状の絞り開口を有してよい。
【００１８】
絞り部の絞り開口の形状を制御する制御部をさらに備え、撮像部は、絞り部の絞り開口を特定の位相差分布の形状とは異なる特徴の形状の絞り開口に制御された状態で被写体の第１画像を撮像するとともに、絞り部の絞り開口を特定の位相差分布の形状と類似する特徴の形状の絞り開口に制御された状態で被写体の第２画像を撮像し、画像処理部は、補正処理を第１画像に施して補正画像を生成し、位置特定部は、補正画像の画像内容に基づいて、画像に撮像されている被写体までの距離を特定し、画像処理部は、位置特定部が特定した被写体までの距離にある物点からの光に対する光学系の光学伝達関数に基づく補正処理を、第２画像に施してよい。
【００１９】
本発明の第３の態様によると、撮像方法であって、物点からの光に対する光の広がりを物点までの距離に対して略一定にする光学系を通じて被写体の画像を撮像する撮像段階と、光学系から特定の距離にある物点からの光に対する光学系の光学伝達関数に基づく補正処理を画像に施すことにより、補正画像を生成する画像処理段階と、補正画像の画像内容に基づいて、画像に撮像されている被写体までの距離を特定する位置特定段階とを備える。
【００２０】
本発明の第４の態様によると、撮像装置用のプログラムであって、コンピュータを、物点からの光に対する光の広がりを物点までの距離に対して略一定にする光学系を通じて被写体の画像を撮像する撮像部、光学系から特定の距離にある物点からの光に対する光学系の光学伝達関数に基づく補正処理を画像に施すことにより、補正画像を生成する画像処理部、補正画像の画像内容に基づいて、画像に撮像されている被写体までの距離を特定する位置特定部として機能させる。
【００２１】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００２２】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２３】
図１は、一実施形態に係わる撮像装置１１０のブロック構成の一例を示す。撮像装置１１０は、ぼけた被写体像から被写体までの距離を算出することができる撮像装置を提供する。なお、撮像装置１１０としては、デジタルスチルカメラの他、撮像機能付きの携帯電話端末、監視カメラ、内視鏡などの、撮像機能を有する撮像機器を例示することができる。なお、撮像装置１１０は、この発明における光学システムの一例であってよい。
【００２４】
撮像装置１１０は、光学系１００、受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、画像特徴量格納部１５２、位置特定部１５０、出力部１９０、および、制御部１２０を備える。光学系１００は、複数の結像レンズ１０２ａおよびｂ、光変調部１０４、ならびに、絞り部１０６を備える。なお、以後の説明においては、結像レンズ１０２ａおよびｂを、結像レンズ１０２と総称する場合がある。
【００２５】
絞り部１０６は、光学系１００を通過する光を絞る。本図の例では、絞り部１０６は、結像レンズ１０２および光変調部１０４の少なくともいずれかの光学素子の間に設けられている。他の構成では、絞り部１０６は、結像レンズ１０２および光変調部１０４のいずれの光学素子より物体側に設けられてもよく、結像レンズ１０２および光変調部１０４のいずれの光学素子より受光部１７０側に設けられてもよい。
【００２６】
光学系１００は、光変調部１０４による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする。なお、光変調部１０４の光学特性については、図２などに関連して後述する。
【００２７】
受光部１７０は、光学系１００を通過した被写体光を受光する。受光部１７０は、光学系１００の光軸に垂直な面上に２次元的に配置された複数の撮像素子を有する。複数の撮像素子は、光学系１００を通過した光をそれぞれ受光する。
【００２８】
なお、受光部１７０が有する撮像素子は、ＣＣＤ型の撮像素子であってよく、ＣＭＯＳ型の撮像素子であってもよい。各撮像素子の受光量を示す撮像信号は、撮像画像生成部１７２に供給される。
【００２９】
撮像画像生成部１７２は、撮像信号に基づき画像を生成する。撮像画像生成部１７２は、各撮像素子からの撮像信号をそれぞれＡ／Ｄ変換することにより、デジタルの画像を生成する。なお、受光部１７０、および撮像画像生成部１７２は、この発明における撮像部として機能する。
【００３０】
画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶する。画像記憶部１７４は、半導体メモリ、磁気メモリなどの記憶素子を有してよい。なお、画像記憶部１７４は、揮発性の記憶素子を有してよく、不揮発性の記憶素子を有してもよい。画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶素子に記憶してよい。
【００３１】
画像取得部１３０は、画像記憶部１７４が記憶している画像を取得する。このように、画像取得部１３０は、光学系１００を通じて撮像された画像を取得することができる。なお、以後の説明において単に"画像"と記されたものは、撮像装置１１０により撮像された画像であり、画像取得部１３０により取得された画像を指すものとする。
【００３２】
画像処理部１８０は、光学系１００から特定の距離にある物点からの光に対する光学系１００の光学伝達関数に基づく補正処理を画像に施すことにより、補正画像を生成する。具体的には、画像処理部１８０は、光学系１００の光学伝達関数に基づいて、画像における光学系１００による点像の広がりを補正する補正処理を施すことにより、補正画像を生成する。例えば、画像処理部１８０は、光学系１００の光学伝達関数に基づく逆フィルタを画像に施すことにより、補正画像を生成してよい。
【００３３】
位置特定部１５０は、補正画像の画像内容に基づいて、画像に撮像されている被写体までの距離を特定する。具体的には、位置特定部１５０は、補正画像に含まれるアーチファクトに基づいて、画像に撮像されている被写体までの距離を特定してよい。
【００３４】
例えば、画像特徴量格納部１５２は、光学系１００からの距離に対応づけて、光学系１００から当該距離にある物点からの光による像に補正処理を施して得られた像の画像特徴量を格納する。そして、位置特定部１５０は、特徴量格納部が格納している画像特徴量に適合する画像特徴量を有する画像領域に撮像されている被写体までの距離を、当該画像特徴量に対応づけて特徴量格納部が格納している距離に基づいて算出してよい。
【００３５】
具体的には、画像特徴量格納部１５２は、光学系１００からの距離に対応づけて、光学系１００から当該距離にある物点からの光による像に補正処理を施して得られた像のアーチファクトを格納する。位置特定部１５０は、特徴量格納部が格納しているアーチファクトに適合するアーチファクトを有する画像領域に撮像されている被写体までの距離を、当該アーチファクトに対応づけて特徴量格納部が格納している距離に基づいて算出してよい。位置特定部１５０は、特定した被写体までの距離を、出力部１９０に供給する。
【００３６】
出力部１９０は、画像処理部１８０により生成された補正画像を、位置特定部１５０が特定した被写体までの距離に対応づけて出力する。例えば、出力部１９０は、画像を記録する記録媒体に、被写体までの距離を対応づけて補正画像を出力してよい。出力部１９０は、撮像装置１１０の外部に、被写体までの距離を対応づけて補正画像を出力してよい。例えば、出力部１９０は、パーソナルコンピュータ、プリンタ、ディスプレイなどの出力機器に、被写体までの距離を対応づけて補正画像を出力してよい。
【００３７】
なお、制御部１２０は、光学系１００による結像位置および絞り部１０６の絞り開度など、光学系１００の結像特性を制御する。例えば、制御部１２０は、結像レンズ１０２の位置、絞り部１０６の絞り値を制御することにより、光学系１００による結像位置および絞り部１０６の絞り開度を制御してよい。なお、制御部１２０は、絞り部１０６の絞り開口の形状を制御してもよい。なお制御部１２０は、光学系１００の結像特性を制御すべく、光学系１００の焦点距離を制御してもよい。
【００３８】
画像処理パラメータ格納部１８８は、光学系１００の結像特性に対応づけて、画像に適用すべき補正処理に用いる画像処理パラメータを格納している。画像処理パラメータとしては、上述した逆フィルタを例示することができる。画像処理部１８０は、制御部１２０により制御された結像特性に適合する結像特性に対応づけて画像処理パラメータ格納部１８８が格納している画像処理パラメータを用いて、画像に補正処理を施してよい。
【００３９】
なお、像高に応じた光学系１００の結像特性の変化に対処すべく、画像処理パラメータ格納部１８８は、画像エリアに対応づけて画像処理パラメータを格納してよい。画像処理部１８０は、画像処理パラメータ格納部１８８が格納している画像処理パラメータを用いて、当該画像処理パラメータに対応づけられた画像エリアの画像に補正処理を施してよい。
【００４０】
なお、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、および出力部１９０は、撮像装置１１０とは別の画像処理装置が備えてよい。画像処理装置は、撮像装置１１０から、撮像された画像を取得することにより、上述の補正処理を施すことができる。このような画像処理装置としては、パーソナルコンピュータなどの電子情報処理装置を例示することができる。
【００４１】
図２は、光変調部１０４が与える位相差分布の一例を示す。本図では、光変調部１０４が与える位相差を等高線表示したものが示されている。本図の位相差分布は、光軸を原点とする直交座標系に属する座標系の各座標値に関して、３次式で表される曲面形状を有する光変調部１０４による位相差分布を示す。光学系１００の光軸に直交する２軸をｘ、ｙとして、αを定数としたとき、光変調部１０４による波面収差はα（ｘ３＋ｙ３）で表される。
【００４２】
なお、このような光変調部１０４を含む光学系１００によると、光変調部１０４による光の波面変調により、物点からの光の広がりが物点までの距離に対して略一定になる。例えば、光変調部１０４による光の波面変調により、受光部１７０の受光面における物点からの光の広がりが、物点までの距離に対して略一定になる。
【００４３】
このように、光変調部１０４により、光軸を原点とする座標に関する３次の位相差分布が物点からの光に与えられる。これにより、光学系１００を通過した光は、物点の位置によらず、受光部１７０の受光面において略一様なぼけを伴って結像する。ぼけた被写体像は、画像処理部１８０における逆フィルタ等を用いた補正処理により、比較的に鮮明な被写体像に復元され得る。
【００４４】
本図の位相差分布が示すように、等高線は概略四角形の形状を有していることがわかる。ここで、絞り部１０６の開口が略四角形状であり、開口の境界が等高線に概略一致するように配置されているとする。この場合、開口を通過する光は、光変調部１０４により与えられる位相差の範囲は、どの方向についても略同一となる。例えば、ｘ軸方向、ｙ軸方向、ｘ軸と４５度をなす方向についても、与えられる位相差の範囲は略同一となる。このため、ぼけた点像は、復元処理によって実質的に一点に復元される。
【００４５】
一方、開口が、円形などの、等高線の形状と異なる形状である場合、光変調部１０４により与えられる位相差の範囲は、各方向で同じにはならない。このため、ぼけた点像は、復元処理によって実質的に一点に復元されない場合がある。このため、開口が四角形の場合に比べて、復元処理によりデフォーカス量に応じてアーチファクトの強度が大きくなる場合がある。したがって、絞り部１０６の開口を、円形など、等高線の形状と異なる形状にして撮影して、撮影された画像に復元処理を施した場合のアーチファクト情報から、被写体までの距離を算出することができる場合がある。
【００４６】
なお、光変調部１０４は、３次式で表される形状の他に、３次の項を含む多項式で表される形状を有してよい。このように、光変調部１０４は、光学系１００の光軸を原点とする直交座標系での座標についての３次の項を持つ多項式で近似される位相差を物点からの光に与えてよい。絞り部１０６は、略円形形状の絞り開口を有してよい。絞り部１０６の開口の形状としては、円形の他に、多角形、星型、網状などを例示することができる。
【００４７】
また、絞り部１０６が回転対称性を有する形状の絞り開口を持つ場合に、光変調部１０４は、３次の項で表される形状の他に、光学系１００の光軸に関する回転非対称な位相差分布を物点からの光に与えることができる種々の形状を有してよい。具体的には、光変調部１０４は、光学系１００の光軸を原点とする直交座標系での座標についての多項式で近似される位相差を物点からの光に与えてよい。
【００４８】
以上説明したように、光変調部１０４は、通過する光に特定の位相差分布を与えることにより波面を変調する。そして、絞り部１０６は、特定の位相差分布の形状とは異なる特徴の形状の絞り開口を持つことができる。
【００４９】
図３は、補正画像に表れるアーチファクトの一例を示す。補正画像３９０ａは、デフォーカス量が０の場合の補正画像の一例を示しており、アーチファクトは実質的に生じていない。補正画像３９０ｂは、デフォーカス量がｄ１の場合の補正画像の一例を示しており、縞状のアーチファクトが発生していることがわかる。補正画像３９０ｃは、デフォーカス量がｄ１の場合の補正画像の一例を示している。補正画像３９０ｂに生じているアーチファクトは、補正画像３９０ｂに生じているアーチファクトと比較すると、縞の間隔が異なっていることがわかる。位置特定部１５０は、アーチファクトの縞の間隔等、被写体までの距離によって生じるアーチファクトの違いに基づいて、被写体までの距離を算出することができる。
【００５０】
図４は、補正処理を施すことにより得られた補正画像３００の一例を示す。補正画像３００は、撮像装置１１０が撮像した画像に、画像処理部１８０が補正処理を施すことにより得られた画像とする。補正画像３００において、像３５０として撮像された被写体より遠い被写体が撮像された領域３１０に含まれるアーチファクトは、像３５０の内部の領域３２０に含まれるアーチファクトと異なる。
【００５１】
以下に、補正画像３００における部分領域３３０ａおよび部分領域３３０ｂを例に挙げて、位置特定部１５０の処理の一例を説明する。位置特定部１５０は、部分領域３３０ａおよび部分領域３３０ｂのフーリエ成分などの空間周波数成分３３２ａおよび空間周波数成分３３２ｂを取得する。画像処理部１８０が空間周波数領域で復元処理をした場合には、部分領域３３０ａおよび部分領域３３０ｂの空間周波数成分を画像処理部１８０から取得してよい。なお、位置特定部１５０は、補正画像に対してフーリエ変換などを施すことによって、空間周波数成分を算出してもよい。
【００５２】
空間周波数成分３３２ａおよび空間周波数成分３３２ｂは、図３で説明した縞模様のアーチファクト成分に応じた空間周波数領域上の位置に特有の成分を有する。具体的には、空間周波数成分３３２ａは、縞の間隔に応じた位置３３４ａに特有の成分を有している。一方、空間周波数成分３３２ｂは、縞の間隔に応じた位置３３４ｂに特有の成分を有している。図３に関連して説明したように、位置３３４ｂの間隔は、位置３３４ａの間隔より狭くなっている。そこで、位置特定部１５０は、位置３３４ｂの間隔に基づき、像３５０として撮像された被写体までの距離を算出するとともに、位置３３４ａの間隔に基づき、領域３１０に撮像された被写体までの距離を算出することができる。
【００５３】
図５は、画像特徴量格納部１５２が格納しているデータをテーブル形式で示す。画像特徴量格納部１５２は、アーチファクトパターンおよび画像エリアに対応づけて、被写体距離を格納している。画像エリアは補正画像における画像上の領域を特定する情報であってよい。画像エリアが矩形である場合、画像エリアを特定する情報としては、矩形の対角の座標値を例示することができる。画像エリアが矩形でない場合には、エリアの外形を示すベクトル情報などを、画像エリアを特定する情報として例示することができる。
【００５４】
例えば、復元画像において矩形の対角の座標が（ｘ１、ｙ１）および（ｘ２、ｙ２）である画像エリアに、パターン１が示す画像特徴量を有する被写体像が存在した場合、画像特徴量格納部１５２は、当該被写体像が示す被写体の、光学系１００からの光軸方向の距離として、距離範囲１を格納している。このように、画像特徴量格納部１５２は、複数の画像エリア毎に複数のアーチファクトパターンを格納している。このため、光学系１００が像高に応じて異なる結像特性を有していても、位置特定部１５０は、被写体までの距離を適切に算出することができる。なお、アーチファクトパターンとしては、上述した空間周波数領域における特有成分を示す位置の間隔などを例示することができる。
【００５５】
図６は、撮像装置１１０における処理フローの一例を示す。本図で説明する処理フローは、撮像装置１１０が画像を撮像する撮像指示を受け付けた場合の処理の一例を示す。
【００５６】
撮像指示を受け付けた場合に、制御部１２０は、絞り部１０６の開口形状を円形にする（ステップ５０２）。開口形状が円形に制御された状態で、受光部１７０が被写体光を受光する。撮像画像生成部１７２は、受光部１７０からの撮像信号に基づいて画像を生成する（ステップ５０４）。ステップ５０４において撮像された画像は、被写体距離の算出用の画像であるので、ここでは予備画像と呼ぶ。
【００５７】
画像処理部１８０は、予備画像に所定の復元フィルタを適用して、補正画像を生成する（ステップ５０６）。ここでは、画像処理部１８０は、特定の距離に位置する被写体からの光に対する光学伝達関数の逆フィルタなどを適用するものとする。位置特定部１５０は、補正画像に含まれる各被写体像に現れたアーチファクトパターンを特定することにより、撮像された被写体までの距離を算出する（ステップ５０８）。
【００５８】
制御部１２０は、絞り部１０６の開口形状を矩形にする（ステップ５１０）。受光部１７０は、開口形状が矩形に制御された状態で、受光部１７０が被写体光を受光する。撮像画像生成部１７２は、撮像画像生成部１７２は受光部１７０からの撮像信号に基づいて画像を生成する（ステップ５１２）。なお、ステップ５１２において撮像された画像は、撮像指示に応じて出力されるべき出力用の画像であるので、ここでは本画像と呼ぶ。
【００５９】
画像処理部１８０は、本画像に適用すべき復元フィルタを、ステップ５０８で算出した距離に応じた復元フィルタを、画像エリア毎に選択する（ステップ５１４）。画像処理部１８０は、ステップ５１２で選択した復元フィルタを各画像エリア毎に適用することによって、補正処理が施された出力画像を生成する（ステップ５１６）。
【００６０】
画像取得部１３０は、絞り部１０６の絞り開口を特定の位相差分布の形状とは異なる特徴の形状の絞り開口に制御した状態で撮像された予備画像を取得する。また画像取得部１３０は、絞り部１０６の絞り開口を特定の位相差分布の形状と類似する特徴の形状の絞り開口に制御した状態で撮像された本画像を取得する。そして、画像処理部１８０は、補正処理を予備画像に施して補正画像を生成する。
【００６１】
そして、位置特定部１５０は、補正画像の画像内容に基づいて、画像に撮像されている被写体までの距離を特定する。画像処理部１８０は、位置特定部１５０が特定した距離にある物点からの光に対する光学系１００の光学伝達関数に基づく補正処理を、本画像に施す。このため、被写体までの距離に応じた望ましい補正処理を本画像に適用することができる。これにより、絞り部１０６の開口が矩形の場合でも生じ得るアーチファクトの強度を、比較的に低減することができる。
【００６２】
図７は、画像処理パラメータ格納部１８８が格納しているデータの一例をテーブル形式で示す。画像処理パラメータ格納部１８８は、画像エリアに対応づけて、当該画像エリアに適用すべき復元フィルタを格納している。なお、画像処理パラメータ格納部１８８は、被写体の距離毎に、本図で示すような画像エリアが対応づけられた復元フィルタを格納している。
【００６３】
復元フィルタは、画像処理パラメータの一例であり、光変調部１０４によるぼけをキャンセルするデコンボリューションフィルタを例示することができる。デコンボリューションフィルタとしては、逆フィルタ法に基づくデジタルフィルタなどを例示することができる。なお、画像処理パラメータ格納部１８８は、複数の画像エリアに対応づけて、画像エリアに対する復元フィルタを格納している。
【００６４】
画像処理部１８０は、画像処理パラメータ格納部１８８が格納している各画像エリアに対する復元フィルタを選択する。そして、画像処理部１８０は、本画像における各画像エリアの画像信号を、それぞれの画像エリアに対する復元フィルタを用いて復元する。
【００６５】
以上説明したように、画像処理パラメータ格納部１８８が、被写体距離および画像エリアの組み合わせ毎に復元フィルタを格納しているので、画像処理部１８０は、撮像画像生成部１７２が生成した画像に、像高および被写体距離に応じた補正処理を施すことができる。したがって、画像処理部１８０は、ぼけた被写体像を復元する適切な復元フィルタを用いて補正することができ、補正処理によって生じるアーチファクトの強度を低減することができる。
【００６６】
なお、上記において光変調部１０４の一例として種々の曲面形状の位相板を示したが、光変調部１０４は、他の種々の手段で波面を変形させることができる。例えば、光変調部１０４としては、屈折率が変化する光学素子（例えば、屈折率分布型の波面変調光学素子）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子）などを例示することができる。
【００６７】
なお、本実施形態における画像は、動画に含まれる複数の動画構成画像であってよい。動画構成画像としては、フレーム画像を例示することができる。画像処理部１８０は、動画に含まれる複数の動画構成画像のそれぞれに、上述の画像処理を施すことができる。
【００６８】
図８は、撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す。本図に関連して説明するコンピュータ１５００などの電子情報処理装置が、撮像装置１１０として機能することができる。
【００６９】
コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００７０】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００７１】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００７２】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００７３】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図７に関連して説明した受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、画像特徴量格納部１５２、位置特定部１５０、出力部１９０、および、制御部１２０などとして機能させる。
【００７４】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。
【００７５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００７６】
【図１】一実施形態に係わる撮像装置１１０のブロック構成の一例を示す図である。
【図２】光変調部１０４が与える位相差分布の一例を示す図である。
【図３】補正画像に表れるアーチファクトの一例を示す図である。
【図４】補正処理を施すことにより得られた補正画像３００の一例を示す図である。
【図５】画像特徴量格納部１５２が格納しているデータの一例を示す図である。
【図６】撮像装置１１０における処理フローの一例を示す図である。
【図７】画像処理パラメータ格納部１８８が格納しているデータの一例を示す図である。
【図８】撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す図である。
【符号の説明】
【００７７】
１００  光学系
１０２  結像レンズ
１０４  光変調部
１０６  絞り部
１１０  撮像装置
１２０  制御部
１３０  画像取得部
１５０  位置特定部
１５２  画像特徴量格納部
１７０  受光部
１７２  撮像画像生成部
１７４  画像記憶部
１８０  画像処理部
１８８  画像処理パラメータ格納部
１９０  出力部
３９０  補正画像
１５００  コンピュータ
１５０５  ＣＰＵ
１５１０  ＲＯＭ
１５２０  ＲＡＭ
１５３０  通信インターフェイス
１５４０  ハードディスクドライブ
１５５０  フレキシブルディスク・ドライブ
１５６０  ＣＤ−ＲＯＭドライブ
１５７０  入出力チップ
１５７５  グラフィック・コントローラ
１５８０  表示デバイス
１５８２  ホスト・コントローラ
１５８４  入出力コントローラ
１５９０  フレキシブルディスク
１５９５  ＣＤ−ＲＯＭ
１５９８  ネットワーク通信装置
【図１】
2010087875.tif 000003
【図２】
2010087875.tif 000004
【図４】
2010087875.tif 000005
【図５】
2010087875.tif 000006
【図６】
2010087875.tif 000007
【図７】
2010087875.tif 000008
【図８】
2010087875.tif 000009
【図３】
2010087875.tif 000010