(57)【要約】【課題】複数の光学システムによる画像の復元を一つの装置で復元できる撮像装置、撮像システム、および撮像方法を提供する。【解決手段】光学系１１０、位相板（光波面変調素子）１２０、光学系１１０と位相板１２０とを通過した被写体収差画像を撮像可能な撮像素子１３０と、コンボリューション係数を特定する係数特定情報を記憶する撮像装置側記憶部１４０と、撮像素子１３０から得られた被写体収差画像データと記憶部１４０に記憶された係数特定情報とを送信する送信装置１５０と、を有する複数の撮像装置１００Ａ〜１００Ｃと、撮像装置１００から送信されてきたズーム位置またはズーム量に応じて特定情報に基づき、あらかじめ記憶した複数のコンボリューション係数から一の係数を取得して、撮像素子１３０からの分散画像信号より分散のない被写体画像データを生成する処理装置２００とを有する。【選択図】図１
2006311472.tif 000002
【特許請求の範囲】
【請求項１】
光学系と光波面変調素子とを通過した被写体収差画像を撮像可能な撮像素子と、
コンボリューション係数を特定する係数特定情報を記憶する撮像装置側記憶手段と、
前記撮像素子から得られた被写体収差画像データと前記記憶手段に記憶された前記係数特定情報とを送信する送信手段と、
を含む撮像装置と、
前記撮像装置の送信手段により送信された前記被写体収差画像データと前記係数特定情報とを受信する受信手段と、
複数のコンボリューション係数を記憶する処理装置側記憶手段と、
前記受信手段により受信した前記係数特定情報に基づき前記処理装置側記憶手段からーのコンボリューション係数を選択する係数選択手段と、
前記受信手段により受信した前記被写体収差画像データを前記係数選択手段で選択した前記一のコンボリューション係数によって変換することにより収差のない被写体画像データを生成する変換手段と、
を含む処理装置と、
を有する撮像システム。
【請求項２】
光学系と光波面変調素子とを通過した被写体収差画像を撮像可能な撮像素子と、
コンボリューション係数を特定する係数特定情報を記憶する撮像装置側記憶手段と、
前記撮像素子から得られた被写体収差画像データと前記記憶手段に記憶された前記係数特定情報とを送信する送信手段と、
を含む撮像装置。
【請求項３】
複数のレンズを選択的に装着可能な撮像装置であって、
前記複数のレンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差画像を撮像可能な撮像素子と、
装着されたレンズに応じたコンボリューション係数を特定する係数特定情報を取得するコンボリューション係数特定情報取得手段と、
前記撮像素子から得られた被写体収差画像データと前記コンボリューション係数取得手段により取得された前記係数特定情報とを送信する送信手段と、
を含む撮像装置。
【請求項４】
ズ−ム光学系と光波面変調素子とを通過した被写体収差画像を撮像可能な撮像素子と、
ズ−ム光学系のズ−ム量に応じたコンボリューション係数を特定可能な複数の係数特定情報を記憶する撮像装置側記憶手段と、
ズ−ム光学系のズ−ム量を検知するズ−ム量検知手段と、
前記ズ−ム量検知手段により検知されたズ−ム量に基づき、前記撮像装置側記憶手段から一の係数特定情報を取得する係数特定情報取得手段と、
前記撮像素子から得られた被写体収差画像データと前記係数特定情報取得手段により取得された前記係数特定情報とを送信する送信手段と、
を含む撮像装置。
【請求項５】
光学系と光波面変調素子とを通過した被写体収差画像を撮像可能な撮像素子と、
被写体までの距離に相当する情報を取得する被写体距離情報取得手段と、
被写体までの距離に応じたコンボリューション係数を特定可能な複数の係数特定情報を記憶する撮像装置側記憶手段と、
前記被写体距離情報取得手段により取得された被写体までの距離に相当する情報に基づき、前記撮像装置側記憶手段から一の係数特定情報を取得する係数特定情報取得手段と、
前記撮像素子から得られた被写体収差画像データと前記係数特定情報取得手段により取得された前記係数特定情報とを送信する送信手段と、
を含む撮像装置。
【請求項６】
撮像素子により光学系と光波面変調素子とを通過した被写体収差画像を撮像するステップと、
被写体収差画像データと、コンボリューション係数を特定する係数特定情報とを送信するステップと、
前記送信された前記被写体収差画像データと前記係数特定情報とを受信するステップと、
前記受信した前記係数特定情報に基づき複数のコンボリューション係数からーのコンボリューション係数を選択する係数選択手段と、
前記受信した前記被写体収差画像データを前記係数選択手段で選択した前記一のコンボリューション係数によって変換することにより収差のない被写体画像データを生成するステップと、
を含む撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用い、ズーム光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ等の撮像装置および撮像方法に関するものである。
【背景技術】
【０００２】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
【０００３】
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ  ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）等に用いられている。
【０００４】
図１７は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
【０００５】
撮像レンズ装置１においては、図１７に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図１８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
【０００６】
また、位相板（Ｗａｖｅｆｒｏｎｔ  Ｃｏｄｉｎｇ  ｏｐｔｉｃａｌ  ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
【非特許文献１】"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献２】"Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献１】ＵＳＰ６，０２１，００５
【特許文献２】ＵＳＰ６，６４２，５０４
【特許文献３】ＵＳＰ６，５２５，３０２
【特許文献４】ＵＳＰ６，０６９，７３８
【特許文献５】特開２００３−２３５７９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系のレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
その結果、一つの光学系に対し、一つの位相板、一つの画像復元が要求されており、一つの画像復元により、複数の光学系を制御することは、不可能とされており、システム的に複数の光学系を必要とする装置に関し、コストアンプやシステムの増大が原因となり採用するには大きな問題を抱えている。
【０００８】
本発明の目的は、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることができ、ズーム位置またはズーム量を気にすることなく、レンズ設計を行うことができ、かつ精度の高い演算による画像復元が可能で、しかも複数の光学システムの画像復元を一つの装置で行うことができる撮像装置、撮像システム、および撮像方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点の撮像システムは、光学系と光波面変調素子とを通過した被写体収差画像を撮像可能な撮像素子と、コンボリューション係数を特定する係数特定情報を記憶する撮像装置側記憶手段と、前記撮像素子から得られた被写体収差画像データと前記記憶手段に記憶された前記係数特定情報とを送信する送信手段と、を含む撮像装置と、前記撮像装置の送信手段により送信された前記被写体収差画像データと前記係数特定情報とを受信する受信手段と、複数のコンボリューション係数を記憶する処理装置側記憶手段と、前記受信手段により受信した前記係数特定情報に基づき前記処理装置側記憶手段からーのコンボリューション係数を選択する係数選択手段と、前記受信手段により受信した前記被写体収差画像データを前記係数選択手段で選択した前記一のコンボリューション係数によって変換することにより収差のない被写体画像データを生成する変換手段と、を含む処理装置と、を有する。
【００１０】
本発明の第２の観点の撮像装置は、光学系と光波面変調素子とを通過した被写体収差画像を撮像可能な撮像素子と、コンボリューション係数を特定する係数特定情報を記憶する撮像装置側記憶手段と、前記撮像素子から得られた被写体収差画像データと前記記憶手段に記憶された前記係数特定情報とを送信する送信手段と、を含む。
【００１１】
本発明の第３の観点は、複数のレンズを選択的に装着可能な撮像装置であって、前記複数のレンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差画像を撮像可能な撮像素子と、装着されたレンズに応じたコンボリューション係数を特定する係数特定情報を取得するコンボリューション係数特定情報取得手段と、前記撮像素子から得られた被写体収差画像データと前記コンボリューション係数取得手段により取得された前記係数特定情報とを送信する送信手段と、を含む。
【００１２】
本発明の第４の観点の撮像装置は、ズ−ム光学系と光波面変調素子とを通過した被写体収差画像を撮像可能な撮像素子と、ズ−ム光学系のズ−ム量に応じたコンボリューション係数を特定可能な複数の係数特定情報を記憶する撮像装置側記憶手段と、ズ−ム光学系のズ−ム量を検知するズ−ム量検知手段と、前記ズ−ム量検知手段により検知されたズ−ム量に基づき、前記撮像装置側記憶手段から一の係数特定情報を取得する係数特定情報取得手段と、前記撮像素子から得られた被写体収差画像データと前記係数特定情報取得手段により取得された前記係数特定情報とを送信する送信手段と、を含む。
【００１３】
本発明の第５の観点の撮像装置は、光学系と光波面変調素子とを通過した被写体収差画像を撮像可能な撮像素子と、被写体までの距離に相当する情報を取得する被写体距離情報取得手段と、被写体までの距離に応じたコンボリューション係数を特定可能な複数の係数特定情報を記憶する撮像装置側記憶手段と、前記被写体距離情報取得手段により取得された被写体までの距離に相当する情報に基づき、前記撮像装置側記憶手段から一の係数特定情報を取得する係数特定情報取得手段と、前記撮像素子から得られた被写体収差画像データと前記係数特定情報取得手段により取得された前記係数特定情報とを送信する送信手段と、を含む。
【００１４】
本発明の第６の観点の撮像方法は、撮像素子により光学系と光波面変調素子とを通過した被写体収差画像を撮像するステップと、被写体収差画像データと、コンボリューション係数を特定する係数特定情報とを送信するステップと、前記送信された前記被写体収差画像データと前記係数特定情報とを受信するステップと、前記受信した前記係数特定情報に基づき複数のコンボリューション係数からーのコンボリューション係数を選択する係数選択手段と、前記受信した前記被写体収差画像データを前記係数選択手段で選択した前記一のコンボリューション係数によって変換することにより収差のない被写体画像データを生成するステップと、を含む。
【発明の効果】
【００１５】
本発明によれば、高精細な画質を得ることが可能で、しかも複数の光学システムの復元を一つの装置で復元できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００１７】
図１は、本実施形態に係る撮像システムの構成図である。
【００１８】
本撮像システム１０は、複数（本実施形態においては３つ）の光学システムである撮像装置１００Ａ，１００Ｂ，１００Ｃと処理装置２００とを有する。
そして、撮像システム１０は、各撮像装置１００Ａ，１００Ｂ，１００Ｃの撮像画像データ、光学システムの種類、画像取り込み時のズーム量や概略被写体距離情報、コンボリューション係数を特性する係数特定情報を、無線あるいは有線にて処理装置２００に送信可能に構成されている。
【００１９】
各撮像装置１００Ａ，１００Ｂ，１００Ｃは、基本的には、図１に示すように、たとえば光学系１１０、位相板１２０、光学系１１０と位相板１２０とを通過した被写体収差画像を撮像可能な撮像素子１３０と、コンボリューション係数を特定する係数特定情報を記憶する撮像装置側記憶部１４０と、撮像素子１３０から得られた被写体収差画像データと記憶部１４０に記憶された係数特定情報とを送信する送信装置１５０と、を主構成要素として有している。
【００２０】
図２は、本実施形態に係る撮像装置のより具体的な構成を示すブロックである。図２の撮像装置１００は、図１の各撮像装置の構成に加えて、さらにズーム量検知手段としてのズーム情報検出装置１６０が設けられている。
【００２１】
ズーム光学系１１０は、撮像対象物体（被写体）ＯＢＪの映像を光学的に取り込む。
撮像素子１３０は、位相板１２０を含むズーム光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして送信装置１５０に出力するＣＣＤやＣＭＯＳセンサからなる。図２においては、撮像素子１３０を一例としてＣＣＤとして記載している。
送信装置１５０は、ズ−ム情報検出装置１６０により検知されたズ−ム量に基づき、記憶部１４０から一の係数特定情報を取得する係数特定情報取得手段として機能し、撮像素子１３０から得られた被写体収差画像データと取得した係数特定情報とを処理装置２００に無線あるいは有線で送信する。
【００２２】
図３は、本実施形態に係るズーム光学系１１０の光学系の構成例を模式的に示す図である。
【００２３】
図３のズーム光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１３０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１３０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ  Ｐｈａｓｅ  Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ  Ｃｏｄｉｎｇ  Ｏｐｔｉｃａｌ  Ｅｌｅｍｅｎｔ）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
【００２４】
図３のズーム光学系１１０は、デジタルカメラに用いられる３倍ズームに光学位相板１２０ａを挿入した例である。
図で示された位相板１２０は、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１３０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１２０によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム（ＷＦＣＯ：Ｗａｖｅｆｒｏｎｔ  Ｃｏｄｉｎｇ  Ｏｐｔｉｃａｌ  ｓｙｓｔｅｍ）といい、この処理を送信先である処理装置２００側において行う。
【００２５】
図４は、位相板を含まないズーム光学系１１０のワイド（Ｗｉｄｅ）時のスポット像を示す図である。図５は、位相板を含まないズーム光学系１１０のテレ（Ｔｅｌｅ）時のスポット像を示す図である。図６は、位相板を含むズーム光学系１１０の無限側のスポット像を示す図である。図７は、位相板を含むズーム光学系１１０の至近側のスポット像を示す図である。
【００２６】
基本的に、位相板を含まない光学レンズ系を通った光のスポット像は図４および図５に示されるように、そのズーム光学系がワイド時とテレ時では、異なったスポット像を示す。
当然、図６および図７に示すように、このスポット像に影響される位相板を通したスポット像も無限側と至近側では異なったスポット像となる。
このような、ズーム位置で異なるスポット像を持つ光学系においては、後で説明するＨ関数が異なる。
【００２７】
従来の装置では適正なコンボリューション演算を行うことができず、このスポット像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
そこで、本実施形態においては、図２に示すように、撮像装置（カメラ）１００が撮影状態に入った時点で、そのズーム位置またはズーム量をズーム情報検出装置１６０から読み出し、送信装置１５０から光学システムの種類、画像取り込み時のズーム量、コンボリューション係数を特定する係数特定情報を、無線あるいは有線にて処理装置２００に送信する。
【００２８】
処理装置２００は、送信されてきたズーム位置またはズーム量に応じて特定情報に基づき、あらかじめ記憶した複数のコンボリューション係数から一の係数を取得して、撮像素子１３０からの分散画像信号より分散のない被写体画像データを生成する。
【００２９】
なお、本実施形態において、分散とは、上述したように、位相板１２０ａを挿入することにより、撮像素子１３０上ではピントのどこにも合わない画像を形成し、位相板１２０ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
【００３０】
処理装置２００は、図１に示すように、受信部２１０、受信情報コントロール部２２０、コンボリューション装置２３０、カーネル・数値演算係数格納レジスタ２４０、および画像処理演算プロセッサ２５０を有する。
【００３１】
図８は、受信側である処理装置２００の処理概要を示すフォーチャートである。
【００３２】
この処理装置２００においては、画像処理演算プロセッサ２５０により、この複数の光学システムである撮像装置１００Ａ〜１００Ｃを順次に駆動させる。その際、各撮像装置１００Ａ〜１００Ｃの取り込んだ画像転送が受信部２１０において、重複しないよう受信部２１０より各撮像装置１００Ａ〜１００Ｃからの送信情報の受信タイミングを制御する。
次に、画像取り込みを指示された単一の光学システム、たとえば撮像装置１００Ａは、画像情報を取り込み、その画像情報を送信装置１５０に伝達する。
画像情報を伝達された送信装置１５０は、受信部２１０との同期を取りながら、画像情報、光学システムの種類（ＡｏｒＢｏｒＣ）、画像取り込み時のズーム情報、画像取り込み時の概略被写体距離情報等、カーネル、数値演算格納レジスタ２４０の最適値決定の要因となる情報（係数特定情報）を付加して、受信部２１０にデータを無線、あるいは有線で送信する。
情報を受信した受信部２１０は、その最適値決定の要因となる情報を受信情報コントロール部２２０に転送する（ＳＴ１〜ＳＴ３）。
この受信情報コントロール部２２０は、カーネル、数値演算格納レジスタ２４０より、その最適値をコンボリューション装置３０にセットする（ＳＴ４）。
コンボリューション装置２３０は、取り込まれた画像情報とセットされた最適値であるカーネル、数値演算値を用い画像の最適復元を行う（ＳＴ５）。
【００３３】
ここで、ＷＦＣＯの基本原理について説明する。
図９に示すように、被写体の画像ｆがＷＦＣＯ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表すことができる。
【００３４】
（数１）
ｇ＝Ｈ＊ｆ
ここで、＊はコンボリューションを表す。
【００３５】
生成された、画像から被写体を求めるためには、次の処理を要する。
【００３６】
（数２）
ｆ＝Ｈ-1＊ｇ
【００３７】
ここで、関数Ｈに関するカーネルサイズと演算係数について説明する。
個々のズームポジション（ズーム位置）をＺｐｎ、Ｚｐｎ−１・・・とする。
そのＨ関数をＨｎ、Ｈｎ−１、・・・・とする。
各々のスポットが異なるため、各々のＨ関数は、次のようになる。
【００３８】
【数３】
2006311472.tif 000003
【００３９】
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
【００４０】
上述したように、光波面変調素子としての位相板をズーム光学系に備えた撮像装置に適用する場合、ズーム光学系のズーム位置によって生成されるスポット像が異なる。このため、位相板より得られる焦点ズレ画像（スポット画像）を後段のＤＳＰ等でコンボリューション演算する際、適性な焦点合わせ画像を得るためには、ズーム位置に応じて異なるコンボリューション演算が必要となる。
そこで、本実施形態においては、ズーム情報検出装置１６０を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。
【００４１】
以上のように、処理装置２００における適正なコンボリーション演算には、コンボリューションの演算係数をレジスタ２４０に記憶しておく構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【００４２】
各ズーム位置に応じて、レジスタ２４０に補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、各ズーム位置に応じて、レジスタ２４０にカーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算行う構成、ズーム位置に応じた演算係数を関数としてレジスタ３０２に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【００４３】
本実施形態においては、ＷＦＣＯを採用し、かつ、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
【００４４】
図１０（Ａ）〜（Ｃ）は、撮像装置１００の撮像素子１３０の受光面でのスポット像を示している。
図１０（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図１０（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、図９（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図１０（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像レンズ装置２００においては、位相板１２０を含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
【００４５】
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
【００４６】
図１１（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図１１（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図１１（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置３００の補正処理に任せるため、図１１（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
【００４７】
処理装置２００は、たとえばＤＳＰにより構成され、上述したように、撮像装置１００による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
【００４８】
処理装置２００のＭＴＦ補正処理は、たとえば図１２の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１２中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図１２中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【００４９】
本実施形態においては、図１２に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１２のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１３に示すようになる。
【００５０】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
【００５１】
このように、実施形態に係る撮像システム１０は、１次画像を形成する光学系１１０を含む複数の撮像装置１００と、１次画像を高精細な最終画像に形成する処理装置２００からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１３０の撮像面（受光面）に結像させ、その結像１次画像を、処理装置２００を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像装置１００による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を処理装置２００で行う。
【００５２】
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
【００５３】
したがって、所定の手法によって射出瞳位置での波面情報に種々の加工を施せば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図９（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置２００でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
【００５４】
以上説明したように、本実施形態によれば、光学系１１０、光波面変調素子としての位相板１２０、光学系１１０と位相板１２０とを通過した被写体収差画像を撮像可能な撮像素子１３０と、コンボリューション係数を特定する係数特定情報を記憶する撮像装置側記憶部１４０と、撮像素子１３０から得られた被写体収差画像データと記憶部１４０に記憶された係数特定情報とを送信する送信装置１５０と、を主構成要素として有する複数の撮像装置１００Ａ〜１００Ｃと、撮像装置１００から送信されてきたズーム位置またはズーム量に応じた係数特定情報に基づき、あらかじめ記憶した複数のコンボリューション係数から一の係数を取得して、撮像素子１３０からの分散画像信号より分散のない被写体画像データを生成する処理装置２００とを有することから、複数の光学システムの画像復元を一つの装置で行うことができる。
ここで、撮像装置１００Ａ〜１００Ｃはそれぞれのズーム位置またはズーム量に応じて適切な係数特性情報を記憶部１４０から選択して送信を行う。
また、ズーム位置を気にすることなくレンズ設計ができ、かつ精度の良いコンボリューションによる画像復元が可能となる。したがって、どのようなズームレンズであっても、難度が高く、高価でかつ大型化した光学レンズを必要としないレンズを駆動させること無くピントの合った画像を提供することが可能となる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＷＦＣＯに使用することが可能である。
ここで、撮像装置１００Ａ〜１００Ｃは、位相板に応じた係数特定情報を記憶部１４０から選択し、処理装置２００に送信するとともに、撮像装置各個のズーム位置やズーム量に応じたズーム情報を同じく送信装置１５０を用いて処理装置２００へ送信するようにしてもよい。この場合処理装置２００は、受信した係数特定情報と、ズーム情報とから一のコンボリュ−ション係数を取得して、画像復元を行う。
【００５５】
また、本実施形態においては、結像レンズ１１２による撮像素子１３０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像装置１００と、撮像装置１００による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する処理装置２００とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、撮像装置１００の光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【００５６】
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【００５７】
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【００５８】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることが可能となる。
【００５９】
なお、本実施形態において、光学系２１０の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても上記と同様の作用効果を得ることができる。
【００６０】
また、光学系１１０を構成するレンズは、図３の例に限定されることはなく、本発明は、種々の態様が可能である。
【００６１】
なお、上記の実施形態においては撮像装置１００に図２を例としてズーム量検出装置を設ける場合を例に説明したが、たとえば図１５に示すように、物体概略距離情報検出装置１７１および操作スイッチ１７２を含む撮影モード設定部１７０を設けて、距離情報に基づいて特定情報を選択するように構成することも可能である。
【００６２】
この場合、複数の撮影モード、たとえば通常撮影モード（ポートレイト）の他、マクロ撮影モード（至近）および遠景撮影モード（無限遠）を有しており、これら各種撮影モードは、撮影モード設定部１７０の操作スイッチ１７２により選択して入力することが可能に構成されている。
操作スイッチ１７２は、たとえば図１５に示すように、カメラ（撮像装置）の背面側の液晶画面３０３の下部側に備えられた切替スイッチ３０１ａ，３０１ｂ，３０１ｃにより構成される。
切替スイッチ３０１ａが遠景撮影モード（無限遠）を選択し入力するためのスイッチであり、切替スイッチ３０１ｂが通常撮影モード（ポートレイト）を選択し入力するためのスイッチであり、切替スイッチ３０１ｃがマクロ撮影モード（至近）を選択し入力するためのスイッチである。
なお、モードの切り替え方法は、図１５のようなスイッチによる方法の他、タッチパネル式でも構わないし、メニュー画面から物体距離を切り替えるモードを選択しても構わない。
【００６３】
被写体距離情報生成手段としての物体概略距離情報検出装置１７１は、操作スイッチ１７２の入力情報により被写体までの距離に相当する情報を生成し、送信装置１４０に供給する。
処理装置２００は、送信装置１４０の送信情報に基づき、撮像装置１００の撮像素子１３０からの分散画像信号より分散のない画像信号に変換処理するが、このとき物体概略距離情報検出装置１７１の検出結果に応じて選択された係数特定情報を受けて、設定された撮影モードに応じて異なる変換処理を行う。
たとえば、処理装置２００は、通常撮影モードにおける通常変換処理と、この通常変換処理に比べて近接側に収差を少なくするマクロ撮影モードに対応したマクロ変換処理と、通常変換処理に比べて遠方側に収差を少なくする遠景撮影モードに対応した遠景変換処理と、を撮影モードに応じて選択的に実行する。
ここで、撮像装置１００Ａ〜１００Ｃは、その位相板に応じた係数特定情報を送信するとともに、被写体までの距離に相当する情報を送信し、処理装置２００がこれらの２種類の情報から一のコンボリュ−ション係数を取得して、画像を復元するようにしてもよい。
【００６４】
この場合も、上記した効果と同様の効果を得ることができる。
また、上記の実施形態においては、ズーム量検出装置や物体概略距離情報検出装置を設けたものを例に説明したが、これらを具備しない形態であってもよい。この場合は、図１において、撮像装置１００から送信されてきた係数特定情報のみに基づき、処理装置２００に予め記憶してあるコンボリュ−ション係数から一の係数を取得して分散のない被写体画像データを生成する。この場合も、上記した効果と同様の効果を得ることができる。
【００６５】
また、本実施形態においては、光学システムを複数設けて、その撮像した画像情報を係数特定情報と共に処理装置２００側に送信するようにしたが、たとえば図１６に示すように、光学系１１０−１，１１０−２を複数設け、所望の光学系を順番に選択して、各光学系を通過した被写体像を単一の撮像素子１３０に入力するように構成することも可能である。
この場合も、上記した効果と同様の効果を得ることができる。
【図面の簡単な説明】
【００６６】
【図１】本実施形態に係る撮像システムの構成図である。
【図２】本実施形態に係る撮像装置の具体的な構成例を示すブロックである。
【図３】本実施形態に係る撮像レンズ装置のズーム光学系の構成例を模式的に示す図である。
【図４】位相板を含まないズーム光学系のワイド（Ｗｉｄｅ）時のスポット像を示す図である。
【図５】位相板を含まないズーム光学系のテレ（Ｔｅｌｅ）時のスポット像を示す図である。
【図６】位相板を含むズーム光学系の無限側のスポット像を示す図である。
【図７】位相板を含むズーム光学系の至近側のスポット像を示す図である。
【図８】本実施形態の処理装置の処理概要を示すフローチャートである。
【図９】ＷＦＣＯの原理を説明するための図である。
【図１０】本実施形態に係る撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【図１１】本実施形態に係る撮像レンズ装置により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
【図１２】本実施形態に係る処理装置におけるＭＴＦ補正処理を説明するための図である。
【図１３】本実施形態に係る処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。
【図１４】本実施形態に係る撮像装置の他の例を示すブロック図である。
【図１５】図１４の操作スイッチの構成例を示す図である。
【図１６】撮像システムの他の例を示す構成図である。
【図１７】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図１８】図１７の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【符号の説明】
【００６７】
１００…撮像装置、１１０…ズーム光学系、１１１…物体側レンズ、１１２…結像レンズ、１１３…波面形成用光学素子、１２０…位相板（光波面変調素子）、１３０…撮像素子、１４０…記憶部、１５０…送信装置、１６０…ズーム情報検出装置、２００…処理装置、２１０…受信部、２２０…受信情報コントロール部、２３０…コンボリューション装置、２４０…カーネル、数値演算係数格納レジスタ、２５０…画像処理演算プロセッサ。
【図１】
2006311472.tif 000004
【図２】
2006311472.tif 000005
【図３】
2006311472.tif 000006
【図４】
2006311472.tif 000007
【図５】
2006311472.tif 000008
【図６】
2006311472.tif 000009
【図７】
2006311472.tif 000010
【図８】
2006311472.tif 000011
【図９】
2006311472.tif 000012
【図１０】
2006311472.tif 000013
【図１１】
2006311472.tif 000014
【図１２】
2006311472.tif 000015
【図１３】
2006311472.tif 000016
【図１４】
2006311472.tif 000017
【図１５】
2006311472.tif 000018
【図１６】
2006311472.tif 000019
【図１７】
2006311472.tif 000020
【図１８】
2006311472.tif 000021