(57)【要約】【課題】物体距離やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高い演算による画像復元が可能な撮像装置およびその方法を提供する。【解決手段】光学系および光波面変調素子としての位相板とを通過した被写体分散像を撮像する撮像レンズ装置２００と、撮像素子２００からの分散画像信号より分散のない画像信号を生成する画像処理装置３００と、被写体までの距離に相当する情報を生成する物体概略距離情報検出装置４００と、を備え、画像処理装置３００は、物体概略距離情報検出装置４００により生成される情報に基づいて分散画像信号より分散のない画像信号を生成する。【選択図】図１
2006094469.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像する撮像素子と、
上記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段と、
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、
上記変換手段は、上記被写体距離情報生成手段により生成される情報に基づいて上記分散画像信号より分散のない画像信号を生成する
撮像装置。
【請求項２】
被写体距離に応じて少なくとも上記光波面変調素子に起因する分散に対応した変換係数を少なくとも２以上予め記憶する変換係数記憶手段と、
上記被写体距離情報生成手段により生成された情報に基づき、上記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え、
上記変換手段は、上記係数選択手段で選択された変換係数によって、画像信号の変換を行う
請求項１に記載の撮像装置。
【請求項３】
上記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段、を備え、
上記変換手段は、上記変換係数演算手段から得られた変換係数によって、画像信号の変換を行う
請求項１に記載の撮像装置。
【請求項４】
上記光学系はズーム光学系を含み、
上記ズーム光学系のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する補正値記憶手段と、
少なくとも上記光波面変調素子に起因する分散に対応した変換係数を予め記憶する第２変換係数記憶手段と、
上記被写体距離情報生成手段により生成された情報に基づき、上記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え
上記変換手段は、上記第２変換係数記憶手段から得られた変換係数と、上記補正値選択手段から選択された上記補正値とによって、画像信号の変換を行う
請求項１に記載の撮像装置。
【請求項５】
上記補正値記憶手段で記憶する補正値が上記被写体分散像のカーネルサイズを含む
請求項４に記載の撮像装置。
【請求項６】
少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像素子で撮像するステップと、
被写体までの距離に相当する情報を生成する被写体距離情報生成ステップと、
上記被写体距離情報生成ステップにより生成される情報に基づいて上記分散画像信号を変換して分散のない画像信号を生成するステップと
を有する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用い、光学系、光波面変調素子（位相板）を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ等の撮像装置およびその方法に関するものである。
【背景技術】
【０００２】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
【０００３】
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ  ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）等に用いられている。
【０００４】
図１４は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
【０００５】
撮像レンズ装置１においては、図１４に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図１５（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
【０００６】
また、位相板（Ｗａｖｅｆｒｏｎｔ  Ｃｏｄｉｎｇ  ｏｐｔｉｃａｌ  ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
【非特許文献１】"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献２】"Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献１】ＵＳＰ６，０２１，００５
【特許文献２】ＵＳＰ６，６４２，５０４
【特許文献３】ＵＳＰ６，５２５，３０２
【特許文献４】ＵＳＰ６，０６９，７３８
【特許文献５】特開２００３−２３５７９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズであっても、その物体距離によってそのスポット像が変化する通常の光学系では、一定の（変化しない）ＰＳＦは実現できず、それを解決するには、レンズの光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
【０００８】
本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の高い演算による画像復元が可能な撮像装置およびその方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の第１の観点の撮像装置は、少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像する撮像素子と、上記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段と、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、を備え、上記変換手段は、上記被写体距離情報生成手段により生成される情報に基づいて上記分散画像信号より分散のない画像信号を生成する。
【００１０】
好適には、被写体距離に応じて少なくとも上記光波面変調素子に起因する分散に対応した変換係数を少なくとも２以上予め記憶する変換係数記憶手段と、上記被写体距離情報生成手段により生成された情報に基づき、上記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え、上記変換手段は、上記係数選択手段で選択された変換係数によって、画像信号の変換を行う。
【００１１】
好適には、上記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段、を備え、上記変換手段は、上記変換係数演算手段から得られた変換係数によって、画像信号の変換を行う。
【００１２】
好適には、上記光学系はズーム光学系を含み、上記ズーム光学系のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する補正値記憶手段と、少なくとも上記光波面変調素子に起因する分散に対応した変換係数を予め記憶する第２変換係数記憶手段と、上記被写体距離情報生成手段により生成された情報に基づき、上記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え、上記変換手段は、上記第２変換係数記憶手段から得られた変換係数と、上記補正値選択手段から選択された上記補正値とによって、画像信号の変換を行う。
【００１３】
好適には、上記補正値記憶手段で記憶する補正値が上記被写体分散像のカーネルサイズを含む。
【００１４】
本発明の第２の観点の撮像方法は、少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像素子で撮像するステップと、被写体までの距離に相当する情報を生成する被写体距離情報生成ステップと、上記被写体距離情報生成ステップにより生成される情報に基づいて上記分散画像信号を変換して分散のない画像信号を生成するステップとを有する。
【発明の効果】
【００１５】
本発明によれば、物体距離やデフォーカス範囲を気にすることなく、レンズ設計を行うことができ、かつ精度の良いコンボリューション等の演算による画像復元が可能となる利点がある。
また、本発明によれば、光学系を簡単化でき、コスト低減を図ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００１７】
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【００１８】
本実施形態に係る撮像装置１００は、ズーム光学系を有する撮像レンズ装置２００と画像処理装置３００と物体概略距離情報検出装置４００とを主構成要素として有している。
【００１９】
撮像レンズ装置２００は、撮像対象物体（被写体）ＯＢＪの映像を光学的に取り込むズーム光学系２１０と、ズーム光学系２１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして画像処理装置３００に出力するＣＣＤやＣＭＯＳセンサからなる撮像素子２２０とを有する。図１においては、撮像素子２２０を一例としてＣＣＤとして記載している。
【００２０】
図２は、本実施形態に係るズーム光学系２１０の光学系の構成例を模式的に示す図である。
【００２１】
図２のズーム光学系２１０は、物体側ＯＢＪＳに配置された物体側レンズ２１１と、撮像素子２２０に結像させるための結像レンズ２１２と、物体側レンズ２１１と結像レンズ２１２間に配置され、結像レンズ２１２による撮像素子２２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ  Ｐｈａｓｅ  Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ  Ｃｏｄｉｎｇ  Ｏｐｔｉｃａｌ  Ｅｌｅｍｅｎｔ）群２１３を有する。また、物体側レンズ２１１と結像レンズ２１２間には図示しない絞りが配置される。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
【００２２】
図２のズーム光学系２１０は、デジタルカメラに用いられる３倍ズームに光学位相板２１３ａを挿入した例である。
図で示された位相板２１３ａは、光学系により収束される光束を規則正しく分光する光学レンズである。この位相板を挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板２１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム（ＷＦＣＯ：Ｗａｖｅｆｒｏｎｔ  Ｃｏｄｉｎｇ  Ｏｐｔｉｃａｌ  ｓｙｓｔｅｍ）といい、この処理を画像処理装置３００において行う。
【００２３】
図３は、位相板を含まないズーム光学系２１０の無限側のスポット像を示す図である。図４は、位相板を含まないズーム光学系２１０の至近側のスポット像を示す図である。図５は、位相板を含むズーム光学系２１０の無限側のスポット像を示す図である。図６は、位相板を含むズーム光学系２１０の至近側のスポット像を示す図である。
【００２４】
基本的に、位相板を含まない光学レンズ系を通った光のスポット像は図３および図４に示されるように、その物体距離が至近側にある場合と無限側にある場合では、異なったスポット像を示す。
このように、物体距離で異なるスポット像を持つ光学系においては、後で説明するＨ関数が異なる。
当然、図５および図６に示すように、このスポット像に影響される位相板を通したスポット像もその物体距離が至近側と無限側では異なったスポット像となる。
【００２５】
このような、物体位置で異なるスポット像を持つ光学系においては、従来の装置では適正なコンボリューション演算を行うことができず、このスポット像のズレを引き起こす非点、コマ収差、球面収差等の各収差を無くす光学設計が要求される。しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
そこで、本実施形態においては、図１に示すように、撮像装置（カメラ）１００が撮影状態に入った時点で、その被写体の物体距離の概略距離を物体概略距離情報検出装置４００から読み出し、画像処理装置３００に供給する。
【００２６】
画像処理装置３００は、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離情報に基づいて、撮像素子２２０からの分散画像信号より分散のない画像信号を生成する。
物体概略距離情報検出装置４００は、外部アクティブのようなＡＦセンサでも構わない。
【００２７】
なお、本実施形態において、分散とは、上述したように、位相板２１３ａを挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を形成し、位相板２１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
【００２８】
図７は、撮像素子２２０からの分散画像信号より分散のない画像信号を生成するが画像処理装置３００の構成例を示すブロック図である。
【００２９】
画像処理装置３００は、図７に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
【００３０】
この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離に関する情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
【００３１】
ここで、ＷＦＣＯの基本原理について説明する。
図８に示すように、被写体の画像ｆがＷＦＣＯ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表すことができる。
【００３２】
（数１）
ｇ＝Ｈ＊ｆ
ここで、＊はコンボリューションを表す。
【００３３】
生成された、画像から被写体を求めるためには、次の処理を要する。
【００３４】
（数２）
ｆ＝Ｈ-1＊ｇ
【００３５】
ここで、関数Ｈに関するカーネルサイズと演算係数について説明する。
個々の物体概略距離をＡＦＰｎ、ＡＦＰｎ−１、・・・とし、個々のズームポジション（ズーム位置）をＺｐｎ、Ｚｐｎ−１・・・とする。
そのＨ関数をＨｎ、Ｈｎ−１、・・・・とする。
各々のスポットが異なるため、各々のＨ関数は、次のようになる。
【００３６】
【数３】
2006094469.tif 000003
【００３７】
この行列の行数および／または列数の違いをカーネイレサイズ、各々の数字を演算係数とする。
【００３８】
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本実施形態においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
【００３９】
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【００４０】
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【００４１】
図７の構成に対応付けると次のような構成をとることができる。
【００４２】
変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板２１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
【００４３】
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
【００４４】
または、補正値記憶手段としてのレジスタ３０２にズーム光学系２１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板２１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
【００４５】
次に、画像処理演算プロセッサ３０３が変換係数演算手段として機能する場合の具体的な処理について、図９のフローチャートに関連付けて説明する。
【００４６】
物体概略距離情報検出装置４００において、物体概略距離（ＡＦＰ）が検出され、検出情報が画像処理演算プロセッサ３０３に供給される（ＳＴ１）。
画像処理演算プロセッサ３０３においては、物体概略距離ＡＦＰがｎであるか否かの判定を行う（ＳＴ２）。
ステップＳＴ１において、物体概略距離ＡＦＰがｎであると判定すると、ＡＦＰ＝ｎのカーネルサイズ、演算係数を求めてレジスタに格納する（ＳＴ３）。
【００４７】
ステップＳＴ２において、物体概略距離ＡＦＰがｎでないと判定すると、物体概略距離ＡＦＰがｎ−１であるか否かの判定を行う（ＳＴ４）。
ステップＳＴ４において、物体概略距離ＡＦＰがｎ−１であると判定すると、ＡＦＰ＝ｎ−１のカーネルサイズ、演算係数を求めてレジスタに格納する（ＳＴ５）。
以下、性能的に分割しなければならない物体概略距離ＡＦＰの数だけステップＳＴ２ＳＴ４の判断処理を行い、カーネルサイズ、演算係数をレジスタに格納する。
【００４８】
画像処理演算プロセッサ３０３においては、カーネル、数値演算係数格納レジスタ３０２に設定値が転送される（ＳＴ６）。
そして、撮像レンズ装置２００で撮像され、コンボリューション装置３０１に入力された画像データに対して、レジスタ３０２に格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータＳ３０２が画像処理演算プロセッサ３０３に転送される。
【００４９】
本実施形態においては、ＷＦＣＯを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
【００５０】
図１０（Ａ）〜（Ｃ）は、撮像レンズ装置２００の撮像素子２２０の受光面でのスポット像を示している。
図１０（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図１０（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、図１０（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図１０（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像レンズ装置２００においては、位相板２１３ａを含む波面形成用光学素子群２１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
【００５１】
このように、本実施形態の撮像レンズ装置２００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
【００５２】
図１１（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図１１（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図１１（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置３００の補正処理に任せるため、図１１（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
【００５３】
画像処理装置３００は、たとえばＤＳＰにより構成され、上述したように、撮像レンズ装置２００による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
【００５４】
画像処理装置３００のＭＴＦ補正処理は、たとえば図１２の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１２中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図１２中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【００５５】
本実施形態においては、図１２に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１２のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１３に示すようになる。
【００５６】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
【００５７】
このように、実施形態に係る撮像装置１００は、１次画像を形成する光学系２１０を含む撮像レンズ装置２００と、１次画像を高精細な最終画像に形成する画像処理装置３００からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子２２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置３００を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像レンズ装置２００による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置３００で行う。
【００５８】
ここで、本実施形態における撮像レンズ装置２００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系２１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
【００５９】
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図１０（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置３００でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
【００６０】
以上説明したように、本実施形態によれば、光学系および位相板（光波面変調素子）とを通過した被写体分散像を撮像する撮像レンズ装置２００と、撮像素子２００からの分散画像信号より分散のない画像信号を生成する画像処理装置３００と、被写体までの距離に相当する情報を生成する物体概略距離情報検出装置４００と、を備え、画像処理装置３００は、物体概略距離情報検出装置４００により生成される情報に基づいて分散画像信号より分散のない画像信号を生成することから、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、物体距離の概略距離を測定し、その物体距離に応じた適性となるカーネルサイズや上述した係数を対応させることにより、物体距離やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＷＦＣＯに使用することが可能である。
【００６１】
また、本実施形態においては、結像レンズ２１２による撮像素子２２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ装置２００と、撮像レンズ装置２００による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置３００とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、撮像レンズ装置２００の光学系２１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【００６２】
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【００６３】
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【００６４】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いることなく、エリアジングの現象の発生を避けることができ、高精細な画質を得ることが可能となる。
【００６５】
なお、本実施形態において、光学系２１０の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても上記と同様の作用効果を得ることができる。
【００６６】
また、光学系２１０を構成するレンズは、図２の例に限定されることはなく、本発明は、種々の態様が可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【図２】本実施形態に係る撮像レンズ装置のズーム光学系の構成例を模式的に示す図である。
【図３】位相板を含まないズーム光学系の無限側のスポット像を示す図である。
【図４】図４は、位相板を含まないズーム光学系の至近側のスポット像を示す図である。
【図５】位相板を含むズーム光学系の無限側のスポット像を示す図である。
【図６】位相板を含むズーム光学系の至近側のスポット像を示す図である。
【図７】本実施形態の画像処理装置の具体的な構成例を示すブロック図である。
【図８】ＷＦＣＯの原理を説明するための図である。
【図９】本実施形態の動作を説明するためのフローチャートである。
【図１０】本実施形態に係る撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【図１１】本実施形態に係る撮像レンズ装置により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
【図１２】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。
【図１３】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。
【図１４】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図１５】図１４の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【符号の説明】
【００６８】
１００…画像形成装置、２００…撮像レンズ装置、２１１…物体側レンズ、２１２…結像レンズ、２１３…波面形成用光学素子、２１３ａ…位相板（光波面変調素子）、３００…画像処理装置、３０１…コンボリューション装置、３０２…カーネル、数値演算係数格納レジスタ、３０３…画像処理演算プロセッサ、４００…物体概略距離情報検出装置。
【図１】
2006094469.tif 000004
【図２】
2006094469.tif 000005
【図３】
2006094469.tif 000006
【図４】
2006094469.tif 000007
【図５】
2006094469.tif 000008
【図６】
2006094469.tif 000009
【図７】
2006094469.tif 000010
【図８】
2006094469.tif 000011
【図９】
2006094469.tif 000012
【図１０】
2006094469.tif 000013
【図１１】
2006094469.tif 000014
【図１２】
2006094469.tif 000015
【図１３】
2006094469.tif 000016
【図１４】
2006094469.tif 000017
【図１５】
2006094469.tif 000018
【手続補正書】
【提出日】平成18年1月23日(2006.1.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像する撮像素子と、
上記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段と、
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
被写体距離に応じて少なくとも上記光波面変調素子に起因する分散に対応した変換係数を少なくとも２以上予め記憶する変換係数記憶手段と、
上記被写体距離情報生成手段により生成された情報に基づき、上記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え、
上記光波面変調素子を含む光学系は被写体距離で異なるスポット像を持ち、当該光学系を示す関数が異なるスポットに対応して異なる行列として形成され、当該異なる行列の違いをカーネルサイズ、各々の数字を演算係数として、上記変換係数が形成され、
上記変換手段は、上記係数選択手段で選択された変換係数によって、コンボリューション演算を行って画像信号の変換を行い、上記分散画像信号より分散のない画像信号を生成する
撮像装置。
【請求項２】
上記光学系はズーム光学系を含み、
上記ズーム光学系のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する補正値記憶手段と、
上記被写体距離情報生成手段により生成された情報に基づき、上記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え、
上記変換手段は、上記補正値選択手段から選択された補正値により上記係数選択手段で選択された演算係数を補正し、当該補正した演算係数によってコンボリューション演算を行って、画像信号の変換を行う
請求項１に記載の撮像装置。
【請求項３】
上記補正値記憶手段で記憶する補正値が上記被写体分散像のカーネルサイズを含む
請求項２に記載の撮像装置。
【請求項４】
少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像素子で撮像するステップと、
被写体距離に応じて少なくとも上記光波面変調素子に起因する分散に対応した変換係数を少なくとも２以上予め記憶する記憶ステップと、
被写体までの距離に相当する情報を生成する被写体距離情報生成ステップと、
上記被写体距離情報生成ステップにより生成された情報に基づき、上記記憶されている変換係数から被写体までの距離に応じた変換係数を選択する係数選択ステップと、
上記係数選択ステップで選択された変換係数によって、コンボリューション演算を行って画像信号の変換を行い、上記分散画像信号より分散のない画像信号を生成するステップと、を備え、
上記光波面変調素子を含む光学系は被写体距離で異なるスポット像を持ち、当該光学系を示す関数が異なるスポットに対応して異なる行列として形成され、当該異なる行列の違いをカーネルサイズ、各々の数字を演算係数として、上記変換係数が形成されている
撮像方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するため、本発明の第１の観点の撮像装置は、少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像する撮像素子と、上記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段と、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、被写体距離に応じて少なくとも上記光波面変調素子に起因する分散に対応した変換係数を少なくとも２以上予め記憶する変換係数記憶手段と、上記被写体距離情報生成手段により生成された情報に基づき、上記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を備え、上記光波面変調素子を含む光学系は被写体距離で異なるスポット像を持ち、当該光学系を示す関数が異なるスポットに対応して異なる行列として形成され、当該異なる行列の違いをカーネルサイズ、各々の数字を演算係数として、上記変換係数が形成され、上記変換手段は、上記係数選択手段で選択された変換係数によって、コンボリューション演算を行って画像信号の変換を行い、上記分散画像信号より分散のない画像信号を生成する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
好適には、上記光学系はズーム光学系を含み、上記ズーム光学系のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する補正値記憶手段と、上記被写体距離情報生成手段により生成された情報に基づき、上記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を備え、上記変換手段は、上記補正値選択手段から選択された補正値により上記係数選択手段で選択された演算係数を補正し、当該補正した演算係数によってコンボリューション演算を行って、画像信号の変換を行う。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の第２の観点の撮像方法は、少なくとも光学系および光波面変調素子とを通過した被写体分散像を撮像素子で撮像するステップと、被写体距離に応じて少なくとも上記光波面変調素子に起因する分散に対応した変換係数を少なくとも２以上予め記憶する記憶ステップと、被写体までの距離に相当する情報を生成する被写体距離情報生成ステップと、上記被写体距離情報生成ステップにより生成された情報に基づき、上記記憶されている変換係数から被写体までの距離に応じた変換係数を選択する係数選択ステップと、上記係数選択ステップで選択された変換係数によって、コンボリューション演算を行って画像信号の変換を行い、上記分散画像信号より分散のない画像信号を生成するステップと、を備え、上記光波面変調素子を含む光学系は被写体距離で異なるスポット像を持ち、当該光学系を示す関数が異なるスポットに対応して異なる行列として形成され、当該異なる行列の違いをカーネルサイズ、各々の数字を演算係数として、上記変換係数が形成されている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
または、補正値記憶手段としてのレジスタ３０２にズーム光学系２１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板２１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
すなわち、変換手段としてのコンボリューション装置３０１は、レジスタ３０２から選択された補正値により選択された演算係数を補正し、補正した演算係数によってコンボリューション演算を行って、画像信号の変換を行う。