(57)【要約】【課題】組み上げられた光学系と受光部との間の位置関係に応じた適切な画像処理パラメータを算出することができる画像処理パラメータ算出装置を提供すること。【解決手段】光学系および受光部を有する撮像装置により撮像される撮像画像に対する画像処理パラメータを算出する画像処理パラメータ算出装置であって、光学系を通じて受光部が受光した光による画像を取得する画像取得部と、画像を解析することにより、光学系と受光部との間の位置関係を特定する画像解析部と、画像解析部が特定した位置関係により定まる撮像装置の光学伝達特性に応じた画像処理パラメータを生成する画像処理パラメータ算出部とを備える。【選択図】図１
2010087859.tif 000002
【特許請求の範囲】
【請求項１】
光学系および受光部を有する撮像装置により撮像される撮像画像に対する画像処理パラメータを算出する画像処理パラメータ算出装置であって、
前記光学系を通じて前記受光部が受光した光による画像を取得する画像取得部と、
前記画像を解析することにより、前記光学系と前記受光部との間の位置関係を特定する画像解析部と、
前記画像解析部が特定した位置関係により定まる前記撮像装置の光学伝達特性に応じた前記画像処理パラメータを生成する画像処理パラメータ算出部と
を備える画像処理パラメータ算出装置。
【請求項２】
前記光学系の設計値に基づいて算出された前記光学系の光学伝達特性を示す光学特性情報を格納する光学特性情報格納部
をさらに備え、
前記画像処理パラメータ算出部は、前記画像解析部が特定した位置関係、および、前記光学特性情報格納部が格納している光学特性情報が示す光学伝達特性に基づいて、前記画像処理パラメータを生成する
請求項１に記載の画像処理パラメータ算出装置。
【請求項３】
前記光学系による点像強度分布は、光軸まわりに回転非対称であり、
前記画像解析部は、前記画像における輝度分布に基づいて、光軸まわりの前記光学系の回転量を、前記光学系と前記受光部との間の位置関係として特定する
請求項１または２に記載の画像処理パラメータ算出装置。
【請求項４】
前記光学系は、物点からの光に回転非対称な位相差分布を与える光変調部を有し、
前記画像取得部は、前記光変調部による波面変調により点像強度分布が光軸まわりに回転非対称な前記光学系を通じて撮像された前記画像を取得し、
前記画像解析部は、前記画像における輝度分布に基づいて、前記回転量を特定する
請求項３に記載の画像処理パラメータ算出装置。
【請求項５】
前記画像取得部は、前記光変調部による波面変調により物点からの光の広がりを物点までの距離に対して略一定にする前記光学系を通じて撮像された前記画像を取得する
請求項４に記載の画像処理パラメータ算出装置。
【請求項６】
前記画像取得部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与える前記光変調部による波面変調により前記光の広がりを物点までの距離に対して略一定にする前記光学系を通じて撮像された前記画像を取得する
請求項５に記載の画像処理パラメータ算出装置。
【請求項７】
前記画像取得部は、光軸を原点とする直交座標系における座標軸のそれぞれの座標値に関する３次の位相差分布を物点からの光に与える前記光変調部による波面変調により前記光の広がりを物点までの距離に対して略一定にする前記光学系を通じて撮像された前記画像を取得する
請求項６に記載の画像処理パラメータ算出装置。
【請求項８】
前記光学系は、結像レンズをさらに有し、
前記画像取得部は、前記結像レンズおよび前記光変調部を通じて撮像された前記画像を取得する
請求項４乃至７のいずれかに記載の画像処理パラメータ算出装置。
【請求項９】
前記光変調部は、それぞれ１次元的な位相差分布を物点からの光に与える第１光変調素子および第２光変調素子を有しており、前記第１光変調素子および前記第２光変調素子は、それぞれ光軸まわりに所定の角度で固定されており、 
前記画像解析部は、前記画像における輝度分布に基づいて、前記第１光変調素子および前記第２光変調素子のそれぞれの前記回転量を特定する
請求項４乃至８のいずれかに記載の画像処理パラメータ算出装置。
【請求項１０】
前記光学特性情報格納部は、前記光学系の設計値に基づいて算出された、前記光学系の位置毎の光学伝達特性を示す光学特性情報を格納しており、
前記画像処理パラメータ算出部は、前記画像解析部が特定した位置関係、および、前記光学特性情報格納部が格納している前記光学系の位置毎の光学特性情報が示す光学伝達特性に基づいて、前記画像処理パラメータを前記光学系の位置毎に生成する
請求項２に記載の画像処理パラメータ算出装置。
【請求項１１】
前記光学特性情報格納部は、前記光学系の設計値に基づいて算出された、前記光学系の物点位置毎の光学伝達特性を示す光学特性情報を格納しており、
前記画像処理パラメータ算出部は、前記画像解析部が特定した位置関係、および、前記光学特性情報格納部が格納している前記光学系の物点位置毎の光学特性情報が示す光学伝達特性に基づいて、前記画像処理パラメータを物点位置毎に生成する
請求項２に記載の画像処理パラメータ算出装置。
【請求項１２】
前記画像処理パラメータ算出部により算出された前記画像処理パラメータを、前記撮像装置に記憶させる出力部
をさらに備える請求項１乃至１１のいずれかに記載の画像処理パラメータ算出装置。
【請求項１３】
光学系および受光部を有する撮像装置により撮像される撮像画像に対する画像処理パラメータを算出する画像処理パラメータ算出方法であって、
前記光学系を通じて前記受光部が受光した光による画像を取得する画像取得段階と、
前記画像を解析することにより、前記光学系と前記受光部との間の位置関係を特定する画像解析部と、
特定した前記位置関係により定まる前記撮像装置の光学伝達特性に応じた前記画像処理パラメータを生成する画像処理パラメータ算出段階と
を備える画像処理パラメータ算出方法。
【請求項１４】
光学系および受光部を有する撮像装置により撮像される撮像画像に対する画像処理パラメータを算出する画像処理パラメータ算出装置用のプログラムであって、コンピュータを、
前記光学系を通じて前記受光部が受光した光による画像を取得する画像取得部、
前記画像を解析することにより、前記光学系と前記受光部との間の位置関係を特定する画像解析部、
前記画像解析部が特定した位置関係により定まる前記撮像装置の光学伝達特性に応じた前記画像処理パラメータを生成する画像処理パラメータ算出部
として機能させるプログラム。
【請求項１５】
撮像装置を製造する製造する製造方法であって、
光学系と受光部とを組み付けて、前記撮像装置を組み立てる段階と、
前記光学系を通じて前記受光部が受光した光による画像を取得する画像取得段階と、
前記画像を解析することにより、前記光学系と前記受光部との間の位置関係を特定する画像解析部と、
特定した前記位置関係により定まる前記撮像装置の光学伝達特性に応じた画像処理パラメータを生成する画像処理パラメータ算出段階と、
算出された前記画像処理パラメータを、前記撮像装置に記憶させる出力段階と
を備える製造方法。
【請求項１６】
光学系と、
前記光学系を通過した光を受光する受光部と、
前記受光部が受光した光による画像を解析して特定された前記光学系と前記受光部との間の位置関係により定まる画像処理パラメータを記憶する画像処理パラメータ記憶部と、
前記画像処理パラメータ記憶部が記憶している画像処理パラメータを用いて、前記受光部が受光した光による画像に画像処理を施す画像処理部と
を備える撮像装置。
【請求項１７】
前記光学系による点像強度分布は、光軸まわりに回転非対称であり、
前記画像処理パラメータ記憶部は、前記画像における輝度分布に基づいて特定された前記光学系と前記受光部との間の回転量を示す位置関係により定まる前記画像処理パラメータを記憶する
請求項１６に記載の撮像装置。
【請求項１８】
前記光学系は、物点からの光に回転非対称な位相差分布を与える光変調部を有し、
前記画像処理パラメータ記憶部は、前記画像における輝度分布に基づいて特定された前記回転量を示す位置関係により定まる前記画像処理パラメータを記憶する
請求項１７に記載の撮像装置。
【請求項１９】
前記光学系は、前記光変調部による波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする
請求項１８に記載の撮像装置。
【請求項２０】
前記光変調部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与え、
前記光学系は、前記光変調部による波面変調により、前記光の広がりを物点までの距離に対して略一定にする
請求項１９に記載の撮像装置。
【請求項２１】
光学系を通過した光を受光部が受光することにより画像を撮像する撮像段階と、
前記光学系を通過して前記受光部が受光した光による前記画像を解析して特定された前記光学系と前記受光部との間の位置関係により定まる光学伝達特性に応じた画像処理パラメータを記憶する画像処理パラメータ記憶段階と、
記憶されている前記画像処理パラメータを用いて、前記受光部が受光することにより撮像された画像に画像処理を施す画像処理段階と
を備える撮像方法。
【請求項２２】
撮像装置用のプログラムであって、コンピュータを、
光学系を通過した光を受光部が受光することにより画像を撮像する撮像部、
前記光学系を通過して前記受光部が受光した光による前記画像を解析して特定された前記光学系と前記受光部との間の位置関係により定まる光学伝達特性に応じた画像処理パラメータを記憶する画像処理パラメータ記憶部、
前記画像処理パラメータ記憶部が記憶している画像処理パラメータを用いて、前記受光部が受光することにより撮像された画像に画像処理を施す画像処理部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
３次曲面を有する位相板を使用することによって光学システムの光伝達関数を焦点位置から或るレンジ内で実質的に一定に留める技術が知られている（例えば、特許文献１および特許文献２参照。）。
【特許文献１】特開２００６−９４４６９号公報
【特許文献２】特表平１１−５００２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１および特許文献２に記載の技術では、レンズの光学伝達関数（ＯＴＦ；Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を３次位相板によって変更することで、物体距離にわたってＯＴＦが保たれるとされる。しかしながら、位相板、レンズ、撮像素子が、きちんとアライメントされた状態からずれた位置に組み付けられていると、ずれ量に応じて画像のぼけ方が変わってしまい、被写体像を適切に復元することができなくなってしまう虞がある。また、光学系および撮像素子が組み上げられた状態で点像分布関数（ＰＳＦ；Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を測定することで上記のずれを考慮したＯＴＦを算出しようとしても、撮像素子の画素抜けなどによってＰＳＦを正確に測定することができず、正確な復元フィルタを作成することができない虞がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様によると、光学系および受光部を有する撮像装置により撮像される撮像画像に対する画像処理パラメータを算出する画像処理パラメータ算出装置であって、光学系を通じて受光部が受光した光による画像を取得する画像取得部と、画像を解析することにより、光学系と受光部との間の位置関係を特定する画像解析部と、画像解析部が特定した位置関係により定まる撮像装置の光学伝達特性に応じた画像処理パラメータを生成する画像処理パラメータ算出部と備える。
【０００５】
光学系の設計値に基づいて算出された光学系の光学伝達特性を示す光学特性情報を格納する光学特性情報格納部をさらに備え、画像処理パラメータ算出部は、画像解析部が特定した位置関係、および、光学特性情報格納部が格納している光学特性情報が示す光学伝達特性に基づいて、画像処理パラメータを生成してよい。
【０００６】
光学系による点像強度分布は、光軸まわりに回転非対称であり、画像解析部は、画像における輝度分布に基づいて、光軸まわりの光学系の回転量を、光学系と受光部との間の位置関係として特定してよい。
【０００７】
光学系は、物点からの光に回転非対称な位相差分布を与える光変調部を有し、画像取得部は、光変調部による波面変調により点像強度分布が光軸まわりに回転非対称な光学系を通じて撮像された画像を取得し、画像解析部は、画像における輝度分布に基づいて、回転量を特定してよい。
【０００８】
画像取得部は、光変調部による波面変調により物点からの光の広がりを物点までの距離に対して略一定にする光学系を通じて撮像された画像を取得してよい。
【０００９】
画像取得部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与える光変調部による波面変調により光の広がりを物点までの距離に対して略一定にする光学系を通じて撮像された画像を取得してよい。
【００１０】
画像取得部は、光軸を原点とする直交座標系における座標軸のそれぞれの座標値に関する３次の位相差分布を物点からの光に与える光変調部による波面変調により光の広がりを物点までの距離に対して略一定にする光学系を通じて撮像された画像を取得してよい。
【００１１】
光学系は、結像レンズをさらに有し、画像取得部は、結像レンズおよび光変調部を通じて撮像された画像を取得してよい。
【００１２】
光変調部は、それぞれ１次元的な位相差分布を物点からの光に与える第１光変調素子および第２光変調素子を有しており、第１光変調素子および第２光変調素子は、それぞれ光軸まわりに所定の角度で固定されており、 画像解析部は、画像における輝度分布に基づいて、第１光変調素子および第２光変調素子のそれぞれの回転量を特定してよい。
【００１３】
光学特性情報格納部は、光学系の設計値に基づいて算出された、光学系の位置毎の光学伝達特性を示す光学特性情報を格納しており、画像処理パラメータ算出部は、画像解析部が特定した位置関係、および、光学特性情報格納部が格納している光学系の位置毎の光学特性情報が示す光学伝達特性に基づいて、画像処理パラメータを光学系の位置毎に生成してよい。
【００１４】
光学特性情報格納部は、光学系の設計値に基づいて算出された、光学系の物点位置毎の光学伝達特性を示す光学特性情報を格納しており、画像処理パラメータ算出部は、画像解析部が特定した位置関係、および、光学特性情報格納部が格納している光学系の物点位置毎の光学特性情報が示す光学伝達特性に基づいて、画像処理パラメータを物点位置毎に生成してよい。
【００１５】
画像処理パラメータ算出部により算出された画像処理パラメータを、撮像装置に記憶させる出力部をさらに備えてよい。
【００１６】
本発明の第２の態様によると、光学系および受光部を有する撮像装置により撮像される撮像画像に対する画像処理パラメータを算出する画像処理パラメータ算出方法であって、光学系を通じて受光部が受光した光による画像を取得する画像取得段階と、画像を解析することにより、光学系と受光部との間の位置関係を特定する画像解析部と、特定した位置関係により定まる撮像装置の光学伝達特性に応じた画像処理パラメータを生成する画像処理パラメータ算出段階とを備える。
【００１７】
本発明の第３の態様によると、光学系および受光部を有する撮像装置により撮像される撮像画像に対する画像処理パラメータを算出する画像処理パラメータ算出装置用のプログラムであって、コンピュータを、光学系を通じて受光部が受光した光による画像を取得する画像取得部、画像を解析することにより、光学系と受光部との間の位置関係を特定する画像解析部、画像解析部が特定した位置関係により定まる撮像装置の光学伝達特性に応じた画像処理パラメータを生成する画像処理パラメータ算出部として機能させる。
【００１８】
本発明の第４の態様によると、撮像装置を製造する製造する製造方法であって、光学系と受光部とを組み付けて、撮像装置を組み立てる段階と、光学系を通じて受光部が受光した光による画像を取得する画像取得段階と、画像を解析することにより、光学系と受光部との間の位置関係を特定する画像解析部と、特定した位置関係により定まる撮像装置の光学伝達特性に応じた画像処理パラメータを生成する画像処理パラメータ算出段階と、算出された画像処理パラメータを、撮像装置に記憶させる出力段階とを備える。
【００１９】
本発明の第５の態様によると、撮像装置であって、光学系と、光学系を通過した光を受光する受光部と、受光部が受光した光による画像を解析して特定された光学系と受光部との間の位置関係により定まる画像処理パラメータを記憶する画像処理パラメータ記憶部と、画像処理パラメータ記憶部が記憶している画像処理パラメータを用いて、受光部が受光した光による画像に画像処理を施す画像処理部とを備える。
【００２０】
光学系による点像強度分布は、光軸まわりに回転非対称であり、画像処理パラメータ記憶部は、画像における輝度分布に基づいて特定された光学系と受光部との間の回転量を示す位置関係により定まる画像処理パラメータを記憶してよい。
【００２１】
光学系は、物点からの光に回転非対称な位相差分布を与える光変調部を有し、画像処理パラメータ記憶部は、画像における輝度分布に基づいて特定された回転量を示す位置関係により定まる画像処理パラメータを記憶してよい。
【００２２】
光学系は、光変調部による波面変調により、物点からの光の広がりを物点までの距離に対して略一定にしてよい。
【００２３】
光変調部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与え、光学系は、光変調部による波面変調により、光の広がりを物点までの距離に対して略一定にしてよい。
【００２４】
本発明の第６の態様によると、撮像方法であって、光学系を通過した光を受光部が受光することにより画像を撮像する撮像段階と、光学系を通過して受光部が受光した光による画像を解析して特定された光学系と受光部との間の位置関係により定まる光学伝達特性に応じた画像処理パラメータを記憶する画像処理パラメータ記憶段階と、記憶されている画像処理パラメータを用いて、受光部が受光することにより撮像された画像に画像処理を施す画像処理段階とを備える。
【００２５】
本発明の第７の態様によると、撮像装置用のプログラムであって、コンピュータを、光学系を通過した光を受光部が受光することにより画像を撮像する撮像部、光学系を通過して受光部が受光した光による画像を解析して特定された光学系と受光部との間の位置関係により定まる光学伝達特性に応じた画像処理パラメータを記憶する画像処理パラメータ記憶部、画像処理パラメータ記憶部が記憶している画像処理パラメータを用いて、受光部が受光することにより撮像された画像に画像処理を施す画像処理部として機能させる。
【００２６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００２７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２８】
図１は、一実施形態に係わる光学システム１０の概念構成の一例を示す。光学システム１０は、撮像装置１１０が撮像した画像に、撮像装置１１０のそれぞれの光学特性に応じた画像処理を施すことができるシステムを提供する。例えば、光学システム１０によると、撮像装置１１０の撮像光学系の個体差に応じたぼけ補正処理を画像に施すことができる撮像装置１１０を提供することができる。
【００２９】
光学システム１０は、撮像装置１１０、画像処理パラメータ算出装置１２５、および光学系設計装置１５を備える。画像処理パラメータ算出装置１２５は、画像取得部１３０、画像解析部１６０、画像処理パラメータ算出部１６４、光学特性情報格納部２０、制御部１２０、および出力部１９０を有する。撮像装置１１０は、光学系１００、受光部１７０、撮像画像生成部１７２、画像処理部１８０、および画像処理パラメータ格納部１８８を有する。
【００３０】
光学系設計装置１５は、撮像装置１１０に組み付けられるべき光学系を設計する。画像処理パラメータ算出装置１２５は、光学系設計装置１５が設計した光学系１００の設計値に基づいて算出された光学系１００の光学伝達特性を示す光学特性情報を取得して、光学特性情報格納部２０に記憶する。光学特性情報としては、点像強度分布または線像強度分布を例示することができる。なお、光学特性情報格納部２０が格納する光学特性情報は、波動光学的または幾何光学的なシミュレーションによって光学系設計装置１５により算出されてよい。
【００３１】
光学系設計装置１５によって設計された光学系の設計値に基づいて、光学系１００に含まれる１以上の光学素子が製造される。製造された光学素子および受光部１７０とを組み付ける組み立て工程を含む工程を経て、撮像装置１１０が組み立てられる。
【００３２】
撮像装置１１０が組み立てられた状態で、撮像装置１１０が記憶すべき画像処理パラメータが画像処理パラメータ算出装置１２５により算出される。その後、撮像装置１１０は、画像処理パラメータ算出装置１２５が算出した画像処理パラメータを記憶する。上記の組み立て工程、上記の画像処理パラメータ算出工程、および上記の画像処理パラメータを記憶する記憶工程により、撮像装置１１０が製造される。画像処理パラメータ算出工程の詳細については、以下に説明される。
【００３３】
組み立て工程において組み立てられた撮像装置１１０は、光源１５０からの光を撮像して評価画像を生成する。なお、評価画像は、点像強度分布または線像強度分布、もしくは光学伝達関数の算出用の画像であってよい。本実施形態における評価画像は、光学系１００を通じて受光部１７０が受光した光による画像の一例であって、画像取得部１３０によって取得される画像の一例であってよい。光源１５０は、当該評価画像を撮像装置１１０に撮像させる光を発光して、光学系１００に入射する。例えば、光源１５０は、光学的なステップ応答を評価するための光を発光してよい。光源１５０は、実質的に点光源であってよい。他にも、光源１５０は、一次元方向に光強度が実質的にステップ状に変化する光を発光してよい。このような光は、スリットなどを用いて得ることができる。
【００３４】
受光部１７０は、光学系１００を通過した、光源１５０からの光を受光する。受光部１７０は、光学系１００の光軸に垂直な面上に２次元的に配置された複数の撮像素子を有する。受光部１７０が有する撮像素子は、ＣＣＤ型の撮像素子であってよく、ＣＭＯＳ型の撮像素子であってもよい。各撮像素子の受光量を示す撮像信号は、撮像画像生成部１７２に供給される。
【００３５】
撮像画像生成部１７２は、撮像信号に基づき画像を生成する。撮像画像生成部１７２は、各撮像素子からの撮像信号をそれぞれＡ／Ｄ変換することにより、デジタルの評価画像を生成する。なお、受光部１７０および撮像画像生成部１７２は、撮像装置１１０を通過した光により評価画像を撮像する撮像部として機能する。
【００３６】
撮像画像生成部１７２が生成した評価画像は、画像取得部１３０に供給される。このように、画像取得部１３０は、光学系１００を通じて受光部１７０が受光した光による評価画像を取得することができる。
【００３７】
画像解析部１６０は、画像取得部１３０が取得した評価画像を解析することにより、光学系１００と受光部１７０との間の位置関係を特定する。具体的には、評価画像に含まれる点像強度分布または線像強度分布を解析することにより、位置関係を特定する。なお、光学系１００と受光部１７０との間の位置関係は、光学系１００の光軸まわりの回転量、光軸の向きと受光部１７０の受光面の法線の向きとの間のなす角、光学系１００と当該受光面との間の距離などを指標とした位置関係を例示することができる。なお、位置関係の特定方法については、図３などに関連して後述する。
【００３８】
画像処理パラメータ算出部１６４は、画像解析部１６０が特定した位置関係により定まる撮像装置１１０の光学伝達特性に応じた画像処理パラメータを生成する。画像処理パラメータの生成方法の詳細については、図４などに関連して後述する。このように、画像処理パラメータ算出装置１２５は、撮像装置１１０により撮像される撮像画像に対する画像処理パラメータを算出する。
【００３９】
具体的には、画像処理パラメータ算出部１６４は、画像解析部１６０が特定した位置関係、および、光学特性情報格納部２０が格納している光学特性情報が示す光学伝達特性に基づいて、画像処理パラメータを生成してよい。より具体的には、画像処理パラメータ算出部１６４は、光学特性情報格納部２０が格納している点像強度分布を画像解析部１６０により特定された位置関係に基づき補正することにより、撮像装置１１０が有する光学系１００の点像強度分布を算出してよい。そして、画像処理パラメータ算出部１６４は、算出した点像強度分布に基づいて、画像処理パラメータを生成してよい。
【００４０】
なお、画像処理パラメータとしては、点像強度分布に基づく光学系１００の光学伝達関数の逆フィルタを例示することができる。また、光学特性情報格納部２０が線像強度分布を光学伝達特性として格納している場合においても、当該逆フィルタを近似的に算出することができる。
【００４１】
出力部１９０は、画像処理パラメータ算出部１６４により算出された画像処理パラメータを、撮像装置１１０に記憶させる。具体的には、出力部１９０は、画像処理パラメータ算出部１６４により算出された画像処理パラメータを、画像処理パラメータ格納部１８８に記憶させる。なお、出力部１９０は、無線通信回線などを通じて撮像装置１１０に画像処理パラメータを送信してよい。画像処理パラメータ格納部１８８は、無線通信回線などを通じて取得した画像処理パラメータを記憶してよい。
【００４２】
このように、画像処理パラメータ格納部１８８は、受光部１７０が受光した光による評価画像を解析して特定された光学系１００と受光部１７０との間の位置関係により定まる画像処理パラメータを記憶する。画像処理部１８０は、画像処理パラメータ記憶部が記憶している画像処理パラメータを用いて、受光部１７０が受光した被写体光による画像に画像処理を施すことができる。
【００４３】
なお、後述するように、光学系１００は、光軸方向の位置、焦点距離、および絞り開度が可変であってよい。制御部１２０は、特定の位置、焦点距離、および特定の絞り開度に光学系１００の位置、焦点距離、および絞り開度を制御して、撮像装置１１０に評価画像を撮像させてよい。そして、画像処理パラメータ算出部１６４は、制御部１２０が撮像装置１１０を制御した制御値に基づき、評価画像を撮像した場合における光学系１００の位置、焦点距離、および絞り開度を取得してよい。
【００４４】
また、光学特性情報格納部２０は、光学系１００の設計値に基づいて算出された、光学系１００の位置毎の光学伝達特性を示す光学特性情報を格納してよい。そして、画像処理パラメータ算出部１６４は、画像解析部１６０が特定した位置関係、および、光学特性情報格納部２０が格納している光学系１００の位置毎の光学特性情報が示す光学伝達特性に基づき、画像処理パラメータを光学系１００の位置毎に生成してよい。
【００４５】
また、光学特性情報格納部２０は、光学系１００の設計値に基づいて算出された、光学系１００の絞り開度毎の光学伝達特性を示す光学特性情報を格納してよい。そして、画像処理パラメータ算出部１６４は、画像解析部１６０が特定した位置関係、および、光学特性情報格納部２０が格納している光学系１００の絞り開度毎の光学特性情報が示す光学伝達特性に基づき、画像処理パラメータを光学系１００の絞り開度毎に生成してよい。
【００４６】
他にも、光学特性情報格納部２０は、光学系１００の設計値に基づいて算出された、光学系１００の物点位置毎の光学伝達特性を示す光学特性情報を格納してよい。そして、画像処理パラメータ算出部１６４は、画像解析部１６０が特定した位置関係、および、光学特性情報格納部２０が格納している光学系１００の物点位置毎の光学特性情報が示す光学伝達特性に基づいて、画像処理パラメータを物点位置毎に生成してよい。
【００４７】
以上説明したように、光学システム１０によると、撮像装置１１０の撮像光学系の個体差に応じたぼけ補正処理を画像に施すことができる撮像装置１１０を提供することができる。また、撮像装置１１０がレンズ交換式カメラである場合に、光学系１００の個体差に応じたぼけ補正処理を画像に施すことができる撮像装置１１０を提供することができる。また、光学システム１０によると、撮像時の光学系１００の位置および絞り開度、撮像対象である被写体の位置に応じたぼけ補正処理を画像に施すことができる撮像装置１１０を提供することができる。なお、撮像装置１１０としては、撮像機能付きの携帯電話端末、監視カメラ、内視鏡などの、撮像機能を有する撮像機器を例示することができる。
【００４８】
また、出力部１９０は、撮像装置１１０が撮像した画像を処理する、撮像装置１１０とは別個の画像処理装置に、画像処理パラメータを出力してよい。当該画像処理装置は、撮像装置１１０が撮像した画像を、通信回線などを介して取得してよい。そして、当該画像処理装置は、画像処理部１８０と同様に、画像処理パラメータを用いて撮像装置１１０が撮像した画像に画像処理を施してよい。なお、当該画像処理装置は、撮像装置１１０のユーザが有するパーソナルコンピュータなどの電子情報処理装置であってよい。このような画像処理装置によると、撮像装置１１０の撮像光学系の個体差に応じた高精度なぼけ補正処理サービスを提供することができる。
【００４９】
図２は、光学系１００が有する光学素子の一例を受光部１７０とともに示す。光学系１００は、結像レンズ１０２ａおよび結像レンズ１０２ｂ、絞り部１０６、ならびに、光変調部１０４を有する。なお、以後の説明においては、結像レンズ１０２ａおよびｂを、結像レンズ１０２と総称する場合がある。
【００５０】
光変調部１０４は、結像レンズ１０２により結像される光の波面を変換する。光学系１００に入射した光は、結像レンズ１０２および光変調部１０４を通過して受光部１７０に向けて出射する。
【００５１】
絞り部１０６は、光学系１００を通過する光を絞る。本図の例では、絞り部１０６は、結像レンズ１０２および光変調部１０４の少なくともいずれかの光学素子の間に設けられている。他の構成では、絞り部１０６は、結像レンズ１０２および光変調部１０４のいずれの光学素子より物体側に設けられてもよく、結像レンズ１０２および光変調部１０４のいずれの光学素子より受光部１７０側に設けられてもよい。
【００５２】
なお、制御部１２０は、光学系１００の位置、焦点距離、および絞り量を所定の値に制御する。例えば、制御部１２０は、光学系１００全体の位置、結像レンズ１０２の位置、絞り部１０６の絞り開度を制御する制御値を撮像装置１１０に送信することにより、光学系１００の位置、焦点距離、および絞り開度を制御する。なお、光学系１００の焦点距離とは、結像レンズ１０２の焦点距離であってよい。
【００５３】
ここで、光学系１００は、光変調部１０４による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする。例えば、光学系１００は、光変調部１０４による光の波面変調により、受光部１７０の受光面における物点からの光の広がりを、物点までの距離に対して略一定にする。このため、撮像画像生成部１７２が生成した画像は、被写体の位置によらず同様にぼかされた被写体像が含まれる。
【００５４】
光変調部１０４は、一例として３次元的曲面を有する位相板であってよい。例えば、光変調部１０４は、光軸を原点とする座標に関す３次式で表される形状を有してよい。より具体的には、光変調部１０４は、光軸を原点とする直交座標の各座標値に関して、３次式で表される形状を有してよい。例えば、光学系１００の光軸に直交する２軸をｘ、ｙとして、αを定数としたとき、光変調部１０４による波面収差はα（ｘ３＋ｙ３）で表される。
【００５５】
光変調部１０４は、光軸を原点とする座標に関する３次の位相差分布、具体的には、光軸を原点とする直交座標系における座標軸のそれぞれの座標値に関する３次の位相差分布を、物点からの光に与える。これにより光学系１００を通過した光は、物点の位置によらず受光部１７０において同様のぼけとなって結像する。このため、画像処理部１８０が、撮像画像生成部１７２が生成した画像に、ぼけた点像を点像に戻すぼけ補正処理を施すことによって、異なる距離にある被写体の像はそれぞれ鮮明な像に復元される。
【００５６】
図３は、光学系１００による点像の一例を示す。ここで、本図で示される点像は、上述した３次式形状の光変調部１０４を有する光学系１００によるものとする。また、紙面に向かって横方向がｘ軸の向き、縦方向がｙ軸の向きを示すものとする。
【００５７】
点像３１０ａは、光変調部１０４が光軸まわりに所定の角度に固定された状態で得られる点像の一例を示す。また、点像３１０ｂは、光変調部１０４が光軸まわりに異なる角度に固定された状態で得られる点像の一例を示す。いずれの点像も、より明るい場所がより強い強度を示している。このように、光学系１００による点像強度分布は、光軸まわりに回転非対称な形状となる。
【００５８】
本図に示されるように、物点からの光に回転非対称な位相差分布を与える光変調部１０４により、光学系１００による点像強度分布は光軸まわりに回転非対称となっている。そして、画像解析部１６０は、評価画像における輝度分布に基づいて、光軸まわりの光学系１００の回転量を、光学系１００と受光部１７０との間の位置関係として特定することができる。
【００５９】
このように、光変調部１０４が物点からの光に回転非対称な位相差分布を与える場合、光学系１００による点像も回転非対称となる。このため、画像解析部１６０は、光変調部１０４の回転量、ひいては、組み上げられた光学系１００の回転量を特定することができる。
【００６０】
図４は、光学特性情報格納部２０が格納しているＰＳＦデータの一例を示す。画像処理パラメータ格納部１８８は、複数の絞り値、複数の焦点距離、複数のレンズ位置、および複数の画像エリアに対応づけて、複数のＰＳＦデータを格納している。
【００６１】
絞り値は絞り部１０６の絞り開度を示す。焦点距離は結像レンズ１０２の焦点距離を示す。レンズ位置は光軸方向の光学系１００の位置を示す。また、画像エリアは復元対象となる画像上の領域を示す。なお、画像エリアが矩形である場合、画像エリアを特定する情報としては、矩形の対角の座標値を例示することができる。画像エリアが矩形でない場合には、エリアの外形を示すベクトル情報などを、画像エリアを特定する情報として例示することができる。ＰＳＦデータとしては、光学系設計装置１５によりシミュレートされた点像強度分布データを例示することができる。
【００６２】
画像処理パラメータ算出部１６４は、画像解析部１６０が特定した回転量、制御部１２０から取得した制御値が示す絞り値、焦点距離、およびレンズ位置に対応づけて、光学特性情報格納部２０が格納している各画像エリアに対するＰＳＦデータを選択する。そして、画像処理パラメータ算出部１６４は、各画像エリアのＰＳＦデータを、画像解析部１６０が特定した回転量に応じて補正することにより、それぞれの画像エリアに対するＰＳＦデータを生成する。
【００６３】
例えば、画像処理パラメータ算出部１６４は、光学特性情報格納部２０が格納しているＰＳＦデータを画像解析部１６０が特定した回転量だけ回転させることで、撮像装置１１０が有する光学系１００のＰＳＦデータを算出することができる。そして、画像処理パラメータ算出部１６４は、算出したＰＳＦデータが示す被写体像のぼけをキャンセルするデコンボリューションフィルタを、画像処理パラメータとして算出してよい。デコンボリューションフィルタとしては、逆フィルタ法に基づくデジタルフィルタなどを例示することができる。なお、画像処理パラメータ算出部１６４は、各画像エリアのそれぞれにおけるＰＳＦデータを、画像解析部１６０が特定した回転量に応じて補正することで、撮像装置１１０が有する光学系１００のＰＳＦデータを各画像エリア毎に算出することができる。
【００６４】
なお、光学特性情報格納部２０が格納しているＰＳＦデータからの補正量は、回転量に応じて予め定められていてよい。画像処理パラメータ算出部１６４は、画像解析部１６０が特定した回転量に応じて予め定められた補正量だけＰＳＦデータを補正することで、撮像装置１１０が有する光学系１００のＰＳＦデータを算出することができる。また、光学特性情報格納部２０は、光学系設計装置１５により設計された光学系について、光軸方向の物点までの距離毎に、本図で示したＰＳＦデータを格納してよい。この場合、画像処理パラメータ算出部１６４は、光学系１００の光軸方向の物点位置に応じた画像処理パラメータを算出することができる。
【００６５】
図５は、画像処理パラメータ格納部１８８が格納する画像処理パラメータの一例を示す。画像処理パラメータ格納部１８８は、複数の絞り値、複数の焦点距離、レンズ位置、および複数の画像エリアに対応づけて、複数の復元フィルタを格納している。ここで、復元フィルタは、画像処理パラメータ算出部１６４が算出した画像処理パラメータの一例であってよい。
【００６６】
なお、絞り値、焦点距離、レンズ位置、および画像エリアは、それぞれ図４に関連して説明した絞り値、焦点距離、レンズ位置、および画像エリアと同じ意味を有するので、説明を省略する。画像処理部１８０は、各画像エリアの画像信号を、撮像時の絞り値および焦点距離、およびレンズ位置、ならびに、それぞれの画像エリアに対する復元フィルタを用いて、各画像エリアの画像を復元することができる。また、画像処理パラメータ格納部１８８は、光軸方向の物点までの距離毎に、本図で示した復元フィルタを格納してよい。この場合、画像処理部１８０は、光学系１００の光軸方向の物点位置に応じた復元フィルタを用いて、各画像エリアの画像を復元することができる。
【００６７】
以上説明したように、画像処理パラメータ格納部１８８がエリア毎に復元フィルタを格納しているので、画像処理部１８０は、撮像画像生成部１７２が生成した画像に、像高に応じた補正処理を施すことができる。また、画像処理パラメータ格納部１８８が回転量、焦点距離、レンズ位置などの光学パラメータ毎に復元フィルタを格納しているので、画像処理部１８０は、撮像画像生成部１７２が生成した画像に、当該画像が撮像された場合における光学系１００の光学パラメータに応じた補正処理を施すことができる。したがって、画像処理部１８０は、ぼけた被写体像を復元する適切な復元フィルタを用いて補正することができ、ひいては、補正処理によって生じるアーチファクトの強度を低減することができる。
【００６８】
図６は、光変調部１０４の構成の一例を示す。上述の波面変調効果は、一の面がｘ軸およびｙ軸について３次式で表される形状を有する光変調部１０４で得ることができる。同様の波面変調効果は、本図に示されるように、それぞれ１次元的な位相差分布を物点からの光に与える複数の光変調部１０４ａおよび光変調部１０４ｂにより得ることもできる。なお、光変調部１０４ａおよび光変調部１０４ｂは、それぞれこの発明における第１光変調部および第２光変調部の一例であってよい。
【００６９】
光変調部１０４ａおよび光変調部１０４ｂは、それぞれ３次式で表される形状を一の面に有している。光変調部１０４ａおよび光変調部１０４ｂは、ｚ軸で表される光軸方向に並べて配列される。光変調部１０４ａおよび光変調部１０４ｂは、それぞれが位相差分布を与える向きが所定の設定角度をなすよう組み上げられる。所定の設定角度としては、９０度を例示することができる。
【００７０】
図７は、光変調部１０４ａおよび光変調部１０４ｂによる点像の一例を示す。なお、光変調部１０４ａおよび光変調部１０４ｂは、それぞれこの発明における第１光変調素子および第２光変調素子として機能することができる。点像７１０は、９０度より狭い角度をなす方向に光が広がっていることを示している。光変調部１０４ａおよび光変調部１０４ｂは、それぞれ一次元方向に光を広げるので、点像７１０が示す強度分布は、光変調部１０４ａおよび光変調部１０４ｂの向きが、それぞれが位相差分布を与える方向が９０度より小さい角度になる状態で固定されていることがわかる。
【００７１】
画像解析部１６０は、評価画像において光が広がっている２方向を特定することで、光変調部１０４ａおよび光変調部１０４ｂのそれぞれの回転量を特定することができる。光が広がっている２方向は、評価画像の輝度値に基づきエッジ抽出などにより特定することができる。このように、画像解析部１６０は、評価画像における輝度分布に基づき、光変調部１０４ａおよび光変調部１０４ｂのそれぞれの回転量を特定する。そして、画像処理パラメータ算出部１６４は、光変調部１０４ａおよび光変調部１０４ｂのそれぞれの光軸まわりの回転量に応じて、画像処理パラメータ格納部１８８が格納しているＰＳＦデータを補正する。画像処理パラメータ算出部１６４は、補正して得られたＰＳＦデータから、復元フィルタなどの画像処理パラメータを生成することができる。
【００７２】
以上、図１から図７に関連して説明した光学システム１０によると、撮像装置１１０は、光学系１００が有する各光学素子の組み上げ誤差による被写体像の歪みを、適切な復元フィルタを適用することで解消することができる。また、光学システム１０によると、設計値に基づくシミュレーション結果のＰＳＦデータを、評価画像から算出した回転量に応じて補正して、光学系１００のＰＳＦデータを算出する。このため、受光部１７０が有する撮像素子に画素抜けがあった場合であっても、回転量に応じたＰＳＦデータを正確に算出することができる。また、撮像装置１１０が組み上げられた状態で得られた評価画像からＰＳＦデータを算出するので、算出したＰＳＦデータに受光部１７０の受光特性を含めることができる。このため、受光部１７０を含めた撮像光学系の影響を補正する適切な復元フィルタを生成することができる。
【００７３】
なお、本実施形態において画像処理部１８０が補正対象とする画像は、動画に含まれる複数の動画構成画像であってよい。動画構成画像としては、フレーム画像を例示することができる。画像処理部１８０は、動画に含まれる複数の動画構成画像のそれぞれに、上述の画像処理を施すことができる。
【００７４】
なお、上記の説明では、３次式形状の位相板を用いた光学系１００について説明したが、光変調部１０４は、他の種々の手段で波面を変形させることができる。例えば、光変調部１０４としては、３次曲面以外の曲面形状を有する光学素子、屈折率が変化する光学素子（例えば、屈折率分布型の波面変調光学素子）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子）などを例示することができる。
【００７５】
図８は、光学システム１０に係るコンピュータ１５００のハードウェア構成の一例を示す。本図に関連して説明するコンピュータ１５００などの電子情報処理装置が、それぞれ撮像装置１１０、画像処理パラメータ算出装置１２５、および光学系設計装置１５として機能することができる。
【００７６】
コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００７７】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００７８】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００７９】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００８０】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。
【００８１】
ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図７に関連して説明した画像取得部１３０、画像解析部１６０、画像処理パラメータ算出部１６４、光学特性情報格納部２０、制御部１２０、および出力部１９０などとして機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図７に関連して説明した受光部１７０、撮像画像生成部１７２、画像処理部１８０、および画像処理パラメータ格納部１８８などとして機能させる。また、また、ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図７に関連して説明した光学系設計装置１５として機能させることができる。
【００８２】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。
【００８３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００８４】
【図１】一実施形態に係わる光学システム１０の概念構成の一例を示す図である。
【図２】光学系１００が有する光学素子の一例を受光部１７０とともに示す図である。
【図３】光学系１００による点像の一例を示す図である。
【図４】光学特性情報格納部２０が格納しているＰＳＦデータの一例を示す図である。
【図５】画像処理パラメータ格納部１８８が格納する画像処理パラメータの一例を示す図である。
【図６】光変調部１０４の構成の一例を示す図である。
【図７】光変調部１０４ａおよび光変調部１０４ｂによる点像の一例を示す図である。
【図８】コンピュータ１５００のハードウェア構成の一例を示す図である。
【符号の説明】
【００８５】
１０  光学システム
１５  光学系設計装置
２０  光学特性情報格納部
１００  光学系
１０２  結像レンズ
１０４  光変調部
１０６  絞り部
１１０  撮像装置
１２０  制御部
１２５  画像処理パラメータ算出装置
１３０  画像取得部
１５０  光源
１６０  画像解析部
１６４  画像処理パラメータ算出部
１７０  受光部
１７２  撮像画像生成部
１８０  画像処理部
１８８  画像処理パラメータ格納部
１９０  出力部
３１０  点像
７１０  点像
１５００  コンピュータ
１５０５  ＣＰＵ
１５１０  ＲＯＭ
１５２０  ＲＡＭ
１５３０  通信インターフェイス
１５４０  ハードディスクドライブ
１５５０  フレキシブルディスク・ドライブ
１５６０  ＣＤ−ＲＯＭドライブ
１５７０  入出力チップ
１５７５  グラフィック・コントローラ
１５８０  表示デバイス
１５８２  ホスト・コントローラ
１５８４  入出力コントローラ
１５９０  フレキシブルディスク
１５９５  ＣＤ−ＲＯＭ
１５９８  ネットワーク通信装置
【図１】
2010087859.tif 000003
【図２】
2010087859.tif 000004
【図４】
2010087859.tif 000005
【図５】
2010087859.tif 000006
【図６】
2010087859.tif 000007
【図８】
2010087859.tif 000008
【図３】
2010087859.tif 000009
【図７】
2010087859.tif 000010