(57)【要約】  撮像装置は、１次画像を形成する光学系（２１０）と、撮像素子（２２０）と、画像処理装置（２４０）とを含む。光学系（２１０）は、物体距離に応じた光学的伝達関数（ＯＴＦ）の変化を小さくする光波面変調面（２１３ａ）を備えたレンズ（２１３）、もしくは、光波面変調面を持つレンズを含む。光波面変調面（２１３ａ）を有するレンズ（２１３）の焦点距離（ｆphase）の絶対値が、レンズ（２１３）を含む光学系（２１０）全体の焦点距離（ｆtotal ）の絶対値より大きい。その結果、物体の像が、光学系（２１０）の焦点距離（ｆtotal ）に配置された撮像素子（２２０）において合焦されずに、分散した画像となる。画像処理装置（２４０）において、撮像素子（２２０）が撮像した分散画像に対して畳み込み演算を行い、高精細な最終画像を生成する。撮像装置は、情報コードを読み取る情報コード読取装置に適用される。
2009119838.tif 000002
【特許請求の範囲】
【請求項１】
光波面変調機能を有する光学素子を有する光学系と、
前記光学系の焦点位置に配置され、前記光学系を通過した被写体像を撮像する撮像素子と、
を有し、
前記光波面変調機能を有する光学素子は、被写体距離の違いによる画面全体の光学的伝達関数の変化を小さくする性能を有し、かつ、前記光波面変調機能を有する光学素子の焦点距離の絶対値が、前記光学系全体の焦点距離の絶対値に対して大きい、
撮像装置。
【請求項２】
前記光波面変調機能を有する光学素子は、被写体画像を分散した分散画像を前記撮像素子の撮像面に生成する、
請求項１に記載の撮像装置。
【請求項３】
前記光学系は開口絞りを含み、
当該開口絞りは、前記光波面変調機能を有する光学素子の光出射側または光入射側の近傍に配置されている、
請求項１または２に記載の撮像装置。
【請求項４】
前記光波面変調機能を有する光学素子は、レンズの光出射面または光入射側に形成された光波面変調要素を有する、
請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記開口絞りは、前記光波面変調機能を有する光学素子の光出射側または光入射側に隣接して配置されている、
請求項４に記載の撮像装置。
【請求項６】
前記レンズに前記光波面変調要素が形成された場合の形状と、前記レンズに前記光波面変調要素が形成されない場合の形状との差分を位相形状と規定したとき、
前記光波面変調機能を有する光学素子の形状は、前記位相形状が前記光学系の光軸の周りに回転対称であり、前記光軸から周辺部に向かって単調に増加または単調に減少するように、形成されている、
請求項４に記載の撮像装置。
【請求項７】
前記開口絞りに隣接して、当該光学系の出射端側に、平凹レンズと両凸レンズとを接合した結像用の接合レンズが配設されている、
請求項４、５、６のいずれかに記載の撮像装置。
【請求項８】
前記開口絞りは、絞りが変更可能に構成されている、
請求項１〜７のいずれかに記載の撮像装置。
【請求項９】
前記光波面変調機能を有する光学素子の光入射側に、前記光学系に入射する像を平行にするレンズが配設されている、
請求項１〜８のいずれかに記載の撮像装置。
【請求項１０】
前記光波面変調機能を有する光学素子は、被写体画像を分散した分散画像を前記撮像素子の配置部分に生成し、
当該撮像装置は、前記光波面変調機能を有する光学素子によって分散された分散画像を撮像した前記撮像素子からの被写体の分散画像について信号処理を行い分散のない画像に復元する画像処理部をさらに有する、
請求項１〜９のいずれかに記載の撮像装置。
【請求項１１】
前記画像処理部は、畳み込み演算処理を行い、前記分散のない画像に復元する、
請求項１０に記載の撮像装置。
【請求項１２】
前記画像処理部は、
前記分散画像についてカラー畳み込み演算処理を行い、
当該カラー畳み込み演算処理結果について光学的伝達関数を復元する処理を行う、
請求項１１に記載の撮像装置。
【請求項１３】
前記画像処理部は、カーネルデータを用いて畳み込み演算処理および前記光学的伝達関数を復元する処理を行う、
請求項１２に記載の撮像装置。
【請求項１４】
前記カーネルデータは、光学倍率、絞り、物体距離情報のいずれかである、
請求項１３に記載の撮像装置。
【請求項１５】
前記カーネルデータは、露出状態に応じて規定される複数有し、
前記画像処理部は、前記光学系の露出に応じて前記カーネルデータを選択して、上記処理を行う、
請求項１４に記載の撮像装置。
【請求項１６】
当該撮像装置は、前記光学系内の開口絞りの絞りを調整して露出を調整し、調整した露出に応じて前記カーネルデータを選択して、上記画像処理部の処理を制御する、
請求項１５に記載の撮像装置。
【請求項１７】
請求項１〜１６のいずれかに記載の撮像装置を有し、情報コードを光学的に読み取る情報コード読取装置。
【請求項１８】
前記情報コード読取装置による読み取り対象の前記情報コードは、一次元バーコード、スタック式のコード、二次元バーコードのいずれかを含む、
請求項１７に記載の情報コード読取装置。
【請求項１９】
光波面変調機能を有する光学素子を有し、
前記光波面変調機能を有する光学素子は、被写体距離の違いによる画面全体の光学的伝達関数の変化を小さくする性能を有し、かつ、前記光波面変調機能を有する光学素子の焦点距離の絶対値が、前記光学系全体の焦点距離の絶対値に対して大きい、
光学系。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および、その撮像装置を用いた情報コード読取装置に関する。
より特定的には、本発明は、光学的伝達関数（ＯＴＦ：Optical Transfer Function)が変化した場合または点像強度分布関数（ＰＳＦ）が変化した場合でも、被写界深度の深い画像を実現することが可能な撮像装置と、それを用いた情報コード読み取り装置に関する。
また本発明は、上記撮像装置に適用する光学系に関する。
【背景技術】
【０００２】
近年、急激に発展を遂げている情報のデジタル化に相俟って映像処理分野においてもデジタル処理が行われている。
特に、デジタルカメラに象徴されるように、撮像面は従来の銀塩フィルムに代わって、固体撮像素子、たとえば、ＣＣＤ（Charge Coupled Device ），ＣＭＯＳ（Complementary Metal Oxide Semiconductor)センサなどが使用されているのが大半である。【０００３】
このように、複数のレンズを含む光学系と、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、取り込んだ映像を撮像素子により電気信号に変換する。
このような撮像レンズ装置は、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Personal Digital Assistant)、画像検査装置、自動制御用産業カメラ等に用いられている。【０００４】
図２７は、撮像レンズ装置の構成および光線軌跡を模式的に示す図である。
図２７において、撮像レンズ装置１は、複数のレンズを有する光学系２と、ＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。図２７において、撮像素子３の撮像面は、光学系２の合焦位置ＢＦＰに位置しているとして図解されている。
光学系２は、物体側ＯＢＪＳに位置するレンズ２１，２２と、開口絞り２３と、結像レンズ２４とを有する。光軸Ｏ−Ｏに沿って、物体側のレンズ２１，２２、開口絞り２３、および、結像レンズ２４が、レンズ物体側ＯＢＪＳから撮像素子３側に向かって順に配置されている。【０００５】
撮像レンズ装置１においては、光学系２の合焦面ＢＦＰを撮像素子３の面上に合致させている。
図２８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。図２８（Ａ）、（Ｂ）、（Ｃ）において、横軸は重力の中心を示し、縦軸は被写界を示す。
図２８（Ｂ）が合焦の時のスポット像を示しており、図２８（Ａ）、（Ｃ）はそれぞれ、合焦状態から正（＋）負（−）に０．２ｍｍ外れた状態のスポット像を示している。【０００６】
たとえば、非特許文献１，２、および、特許文献１〜５には、位相板により光束を規則的に分散させ、分散させた光速をデジタル処理により復元させて、被写界深度の深い画像撮影を可能にする撮像装置が提案されている。
特許文献６には、光学的伝達関数（ＯＴＦ）を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている。【０００７】
ＣＣＤ、ＣＭＯＳセンサなどを用いた画像入力機能を持った装置においては、たとえば風景などの所望の映像とともに、バーコード等の撮像装置に接近した近接静止画像を読み取ることが、極めて有用であることが多い。
バーコードの読み取りは、たとえば、第一の例として、光学系におけるレンズを移動させて自動焦点方式で焦点（ピント）を合わせる技術が知られている。また、第二の例として深度拡張技術を適用する方法が知られている。この深度拡張技術は、たとえば、カメラにおいて、開口絞りを調整してＦ数を小さく絞ることで被写界深度を広げて、ピントを固定した固定ピントとしている技術が知られている。【０００８】
【特許文献１】ＵＳＰ６，０２１，００５
【特許文献２】ＵＳＰ６，６４２，５０４
【特許文献３】ＵＳＰ６，５２５，３０２
【特許文献４】ＵＳＰ６，０６９，７３８
【特許文献５】特開２００３−２３５７９４号公報
【特許文献６】特開２００４−１５３４９７号公報
【非特許文献１】“Wavefront Coding;jointly optimized optical and digital imaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献２】“Wavefront Coding;A modern method of achieving high performance and/or lowcost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述した文献において提案された撮像装置においては、その全てについて、通常、光学系に上述の位相板を挿入した場合の点像強度分布関数（ＰＳＦ:point spread function)が一定であることが前提である。
ＰＳＦが変化した場合は、撮像素子の撮像画像を信号処理する信号処理手段におけるカーネル(Kernel)を用いた畳み込み演算処理により、被写界深度の深い画像を実現することは極めて難しい。
したがって、光学系で対策を講ずる必要があるが、焦点距離が固定の単焦点でのレンズ（１個のレンズ）を用いたＰＳＦが一定の場合は除いて、ズーム系や自動焦点系などの光学系では、光学設計が難しい。その結果、その光学設計の精度の高さや、それに伴う長時間の作業時間に起因する価格上昇が原因となり、そのような光学系を採用するには、大きな問題に遭遇する。
換言すれば、ＰＳＦが変化する撮像装置においては、信号処理手段において適正なコンボリューション演算を行うことができない。そのため、ズームなどを行ったときのワイド（Wide）時やテレ（Tele）時のスポット像のズレを引き起こす、非点収差、コマ収差、ズーム色収差等の種々の収差を無くすため、高度な光学設計が要求される。
これらの収差を無くすための光学設計は非常に難しい。そのような光学設計を行うと、長時間の労働を要し、高性能、高精度のレンズなどが必要になり、光学系の価格の高騰に遭遇する。また、光学系が大型になるという問題に遭遇する。その結果として、そのような光学系を用いた撮像装置の価格も高くなり、大型になる。【００１０】
上記技術では、信号処理手段における画像復元処理後の画像は、合焦状態から外れるアウトフォーカスとなるに伴い、良好ではなくなる。
その理由は、アウトフォーカス時のＯＴＦが一定であれば良好な復元結果となるのであるが、現実問題としてはＯＴＦは低下してくる。つまり、ＯＴＦが変化する。したがって、信号処理手段においてコンボリューション演算などによって画像の復元処理を行っても、その処理がもともと画像をボカして復元するという性質上、完全には正確な画像を復元することが難しい。その結果、上記技術では良好な復元画像を得ることが困難である。【００１１】
これまで知られている、深度拡張光学系に用いる位相変調素子は、位相変調による画面の周辺部における収差の影響を緩和することが困難であり、画面の中心と画面の周辺部でスポット像の大きさの差が大きくなる傾向がある。
このように、上記の文献において提案されている深度拡張光学系においては、画面全体で均一な画質が得られ難いという不利益がある。【００１２】
かかる観点から、画像の復元処理に適した画像を提供可能な光学系を提供することが望まれている。
また、そのような光学系としては、光学系の構成を簡単化でき、価格の低減を図ることができる光学系を提供することが望まれている。
さらに、そのような光学系を採用して、画面全体でスポット像の大きさの差を小さくでき、均一な画質が得られ、良好な復元画像を得ることが可能な、撮像装置を提供することが望まれている。
また、上記光学系を採用し、装置構成が簡単で、価格の低減が可能な、撮像装置を提供することが望まれている。
さらに、そのような撮像装置を用いた情報コード読取装置を提供することが望まれている。
【課題を解決するための手段】
【００１３】
本発明において、光学系の構成の複雑さを回避しながら、信号処理手段における画像復元処理が可能な撮像画像を提供する、光学系として、光学系に光波面変調機能を有する光学素子を用いる。
光波面変調機能を有する光学素子は、被写体距離の違いによる画面全体の光学的伝達関数（ＯＴＦ）の変化を小さくする性能を有し、かつ、光波面変調機能を有する光学素子の焦点距離の絶対値が、光学系全体の焦点距離の絶対値に対して大きい。
本発明の撮像装置は、上述した光波面変調機能を有する光学素子を有する光学系と、この光学系の焦点距離に配置され、この光学系を通過した被写体の像を撮像する撮像素子とを有する。
光波面変調機能を有する光学素子は、被写体距離の違いによる画面全体の光学的伝達関数の変化を小さくする性能を有する。光波面変調機能を有する光学素子の焦点距離の絶対値が、光学系全体の焦点距離の絶対値に対して大きい。その結果、撮像素子における被写体の像は、分散された像となり、その後の信号処理に適したものとなる。【００１４】
好ましくは、光波面変調機能を有する光学素子は、レンズの光出射面または光入射面に形成された光波面変調要素とを有する。
また好ましくは、上記レンズに上記光波面変調要素が形成された場合の形状と、上記レンズに上記光波面変調要素を形成させない場合の形状との差分を「位相形状」と規定したとき、上記光波面変調機能を有する光学素子の形状は、上記位相形状が上記光学系の光軸の周りに回転対称であり、光軸から周辺部に向かって単調に増加または単調に減少するように、形成されている。【００１５】
好ましくは、上記光学系は開口絞りを含み、当該開口絞りは上記光波面変調素子の出射側の近傍に配置されている。【００１６】
好ましくは、上記光波面変調機能を有する光学素子は、被写体画像を分散した分散画像を前記撮像素子の配置部分に生成する。
また好ましくは、当該撮像装置は、上記光波面変調機能を有する光学素子によって分散された分散画像を撮像した上記撮像素子からの被写体の分散画像について信号処理を行い分散のない画像に復元する画像処理部をさらに有する。
さらに好ましくは、上記画像処理部は、畳み込み演算処理を行い、上記分散のない画像に復元する。【００１７】
本発明によれば、上記撮像装置を有し、上記撮像装置によって情報コードを読み取り、分散のない画像を入手できる、情報コードを光学的に読み取る情報コード読取装置が提供される。
【発明の効果】
【００１８】
本発明によれば、画像の復元処理に適した画像を提供可能な光学系を提供することができた。
また本発明によれば、光学系の構成を簡単化でき、価格の低減を図ることができる光学系を提供することができた。
さらに本発明によれば、上記光学系を採用して、画面全体でスポット像の大きさの差を小さくでき、均一な画質が得られ、良好な復元画像を得ることが可能な、撮像装置を提供することができた。
また本発明によれば、上記光学系を採用し、装置構成が簡単で、価格の低減が可能な、撮像装置を提供することができた。
さらに本発明によれば、上記撮像装置を用いた情報コード読取装置を提供することができた。
【図面の簡単な説明】
【００１９】
【図１】図１は本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。
【図２】図２（Ａ）〜（Ｃ）は図１の情報コード読取装置によって読み取りの対象となる情報コードの例を示す図である。
【図３】図３は図１の情報コード読取装置に適用される撮像装置の構成例を示すブロック図である。
【図４】図４は図３に図解した光学系と撮像素子の配置を拡大して図解した図である。
【図５】図５（Ａ）は光波面変調機能を持たない光学系の球面収差を示す図であり、図５（Ｂ）は図３に図解した光波面変調機能を持つ光学系の球面収差を示す図である。
【図６】図６（Ａ）は光学系の光波面変調面の「位相形状」を示す図であり、図６（Ｂ）は光学系の光波面変調面の「面形状」を示す図である。
【図７】図７は図６（Ａ）、（Ｂ）について説明するための図である。
【図８】図８は光波面変調機能を持たない光学系のスポット像のディフォーカス変化を示す図である。
【図９】図９は変曲点を持たない、光波面変調機能を有する光学系のスポット像のディフォーカス変化を示す図である。
【図１０】図１０は光学系に含まれる光波面変調素子の焦点距離の絶対値が、光学系全体の焦点距離の絶対値より小さい光学系のスポット像のディフォーカス変化を示す図である。
【図１１】図１１は光学系に含まれる光波面変調素子の焦点距離が絶対値が、光学系全体の焦点距離の絶対値より大きい光学系のスポット像のディフォーカス変化を示す図である。
【図１２】図１２は深度拡張光学系（ＷＦＣＯ）の原理を説明するための図である。
【図１３】図１３は図３に図解した画像処理装置におけるＭＴＦ補正処理を説明するための図である。
【図１４】図１４は図３に図解した画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。
【図１５】図１５は従来の光学系の場合において物体が焦点位置にあるときと、物体がが焦点位置から外れたときのＭＴＦの応答を示す図である。
【図１６】図１６は本実施の形態に係る光波面変調素子を有する光学系の場合において、物体が焦点位置にあるときと、物体が焦点位置から外れたときのＭＴＦの応答を示す図である。
【図１７】図１７は本実施形態に係る撮像装置のデータ復元後のＭＴＦの応答を示す図である。
【図１８】図１８はＲＯＭに格納されるカーネルデータの一例として、光学倍率を示す図である。
【図１９】図１９はＲＯＭに格納されるカーネルの一例として、開口絞りのＦナンバを示す図である。
【図２０】図２０はＲＯＭに格納されるカーネルデータの他の例として、物体距離情報を示す図である。
【図２１】図２１は図３に図解した制御装置における光学系設定処理の概要を示すフローチャートである。
【図２２】図２２は図３に図解した画像信号処理装置における信号処理手段の第１の構成例を示す図である。
【図２３】図２３は図３に図解した画像信号処理装置における信号処理手段の第２の構成例を示す図である。
【図２４】図２４は図３に図解した画像信号処理装置における信号処理手段の第３の構成例を示す図である。
【図２５】図２５は図３に図解した画像信号処理装置における信号処理手段の第４の構成例を示す図である。
【図２６】図２６は被写体距離情報と露出情報とを組み合わせて画像処理を行う画像処理装置の構成例を示す図である。
【図２７】図２７は撮像レンズ装置の構成および光線軌跡を模式的に示す図である。
【図２８】図２８（Ａ）〜（Ｃ）は、図２７に図解した撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、図２８（Ａ）は焦点が正（＋）側にずれた時の各スポット像を示す図であり、図２８（Ｂ）は合焦点の時の各スポット像を示す図であり、図２８（Ｃ）は焦点が負（−）側にずれた時の各スポット像を示す図である。
【符号の説明】
【００２０】
１００…情報コード読取装置、１１０…本体（撮像装置）、１２１…読み取り対象のコード、２００…撮像装置、２１０…光学系、２１１〜２１３…第１〜第３レンズ、２１３ａ…光波面変調面、２１４…開口絞り、２１５…第４レンズ、２２０…撮像素子、２３０…アナログ・フロントエンド部、２４０…画像処理装置、２４２…二次元コンボリューション演算部、２４３…カーネルデータ格納ＲＯＭ、２４４…コンボリューション制御部、２５０…カメラ信号処理部、２８０…操作部、２９０…制御装置。
【発明を実施するための最良の形態】
【００２１】
上述した本発明の要望および他の要望を達成する本発明の種々の実施形態を添付図面に関連付けて述べる。
ここでは、本発明の実施の形態として撮像装置について述べ、その撮像装置に適用される光学系について述べる。本実施の形態の情報コード読取装置にはそのような撮像装置を適用することができる。【００２２】
図１は、本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。
図２（Ａ）〜（Ｃ）は、図１の情報コード読取装置によって読み取りの対象となる情報コードの例を示す図である。
図３は、図１の情報コード読取装置に適用可能な撮像装置の構成例を示すブロックである。【００２３】
情報コード読取装置
図１に示す本実施形態に係る情報コード読取装置１００は、読み取り対象物１２０に印刷された、たとえば、図２（Ａ）〜（Ｃ）のいずれかに図示された、反射率の異なるシンボル、コード等の情報コード１２１を読み取り可能な装置である。情報コード読取装置１００は、本体１１０とケーブル１１１を有している。本体１１０がケーブル１１１を介して、たとえば、電子レジスタ等の処理装置１４０と接続されている。
本体１１０によって読み取り対象の情報コードとしては、たとえば、図２（Ａ）に示すＪＡＮコードのような１次元のバーコード１２２と、図２（Ｂ）に示すスタック式のＣＯＤＥ４９のような２次元のバーコード１２３、あるいは、図２（Ｃ）に示すマトリックス方式のＱＲコードのような２次元のバーコード１２３が挙げられる。【００２４】
情報コード読取装置１００の本体１１０内に、読み取り対象の情報コードに光を照射する、図示しない照明光源と、図３に示すような撮像装置２００とが配置されている。
撮像装置２００は光学系２１０を有する。この光学系２１０は、図４を参照して後述するように、光波面変調機能を有する光学素子（以下、光波面変調素子という）を含む。
本発明において、光波面変調機能とは、光学素子に入射した光束を規則的に分散させて出射させる機能を言う。
撮像装置２００は、光波面変調素子により光束を規則的に分散させ、さらに、デジタル信号処理により分散した画像を復元させて被写界深度の深い画像を生成することを可能にする。
このような撮像装置２００を情報コード読取装置に用い、図２（Ａ）に図解したＪＡＮコードのような１次元のバーコード１２２と、図２（Ｃ）に図解したＱＲコードのような２次元のバーコード１２３のような情報コードを的確に高精度で読み取ることが可能に構成されている。
被写界深度の深い画像を生成する光学系としては、たとえば、波面収差制御光学系、あるいは、深度拡張光学系（ＷＦＣＯ：Wave Front Coding Optical System）が知られているが、本実施の形態の光学系は、通常の光学系とは下記に述べるように異なる。【００２５】
撮像装置
図３に示すように、情報コード読取装置１００に組み込まれている撮像装置２００は、光学系２１０、撮像素子２２０、アナログ・フロントエンド部（ＡＦＥ）２３０、画像処理装置２４０、カメラ信号処理部２５０、画像表示メモリ２６０、画像モニタリング装置２７０、操作部２８０、および、制御装置２９０を有している。
画像処理装置２４０の出力信号ＦＮＬＩＭ、または、カメラ信号処理部２５０の出力信号が、ケーブル１１１を経由して、電子レジスタ等の処理装置１４０に送出される。【００２６】
光学系
図４は、図３に図解した光学系２１０の本実施形態に係る光学系を構成する撮像レンズユニットの基本構成を示す図である。図４は、特に、光波面変調面２１３ａが開口絞り２１４に隣接して配置されている場合を図解した、光学系２１０の構成を示す。
光学系２１０は、被写体物体ＯＢＪの像を撮像素子２２０に提供する。
光学系２１０は、物体側ＯＢＪから撮像素子２２０に向かって、光軸０−０に沿って、順に、第１（平凹）レンズ２１１、第２（両凸）レンズ２１２、第３（両凹）レンズ２１３、開口絞り２１４、第４（平凹）レンズ２１５および第５（両凸）レンズ２１６が配置されて、構成されている。
光学系２１０において、第４レンズ２１５と第５レンズ２１６が、第４レンズ２１５の出射側の凹面に第５レンズの入射側の凸面が接合されて、あたかも、１個の厚い平凸レンズとして構成されている。このように、本実施形態の光学系２１０のレンズユニットは、結像レンズとして機能する接合レンズ（２１５、２１６）を含んで構成されている。【００２７】
光波面変調素子
光学系２１０において、レンズ２１３の出射面に、レンズ２１３に入射された光の波面を変調する光波面変調面２１３ａが形成されている。
なお、光波面変調面２１３ａを備えたレンズ２１３に代えて、光波面変調面２１３ａに相当する光波面変調機能を有する光波面変調素子（図示せず）を備えたレンズを開口絞り２１４に隣接して配置することもできる。
このように、光学系２１０は、光波面を変調する機能を有する素子を含んで構成されている。光波面変調機能とは、光学素子に入射した光束を規則的に分散させて出射させる機能を言う。
以下、光波面を変調する機能を有する素子として、光波面変調面２１３ａを備えたレンズ２１３を代表して述べる。
本実施形態の撮像装置２２０においては、光学系２１０として、開口絞り２１４の近傍に光波面変調面２１３ａを備えたレンズ２１３を用いる。あるいは、平凹レンズ２１３の出射側の凹面に光波面変調面２１３ａを形成し、この出射側に隣接して開口絞り２１４を配設する。その結果、物体距離に応じた（物体距離の違いによる）光学的伝達関数（ＯＴＦ:optical transfer function）の変化を、光波面変調面２１３ａを備えないレンズ２１３を有する光学系のＯＴＦよりも小さくする深度拡張光学系に対して、最適化する。【００２８】
焦点距離
光学系２１０においては、光波面変調面２１３ａを持つレンズ２１３の焦点距離（facal point)の絶対値が、この光学系２１０全体の焦点距離の絶対値より大きい。このように、光波面変調面２１３ａを持つレンズ２１３の焦点距離の絶対値が、光学系２１０全体の焦点距離の絶対値より大きいことにより、光波面変調による画面周辺部における影響を緩和し、画面内の中心、画面の周辺によらず、画面全体で均一な画質が得られるようになる。その理由は後述する。【００２９】
位相形状
光波面変調機能を持つ場合の光波面変調面２１３ａの形状と、光波面変調機能を持たない場合のレンズの形状の差分を「位相形状」と言う。
本実施形態においては、レンズ２１３の出射側の凹面に形成された光波面変調面２１３ａの形状は、「位相形状」が、光軸Ｏ−Ｏの周りに回転対称で、かつ、光軸Ｏ−Ｏの中心部分から画面の周辺部分に向かって単調増加もしくは単調減少するように、形成されている。
位相形状を、光軸Ｏ−Ｏに対して回転対称とすることで、光波面変調面２１３ａの製造、または、光波面変調素子、あるいは、位相変調素子の製造が容易で、光軸Ｏ−Ｏの周りの回転方向の取り付け精度も厳しくなく、さらには反射の影響が少なくて、画像の方向によるコントラストの違いも無くなる。
位相形状を光軸Ｏ−Ｏの中心部分から周辺部分に向かって単調増加もしくは単調減少とすることで、物体距離に応じたＯＴＦの変化を極めて小さくすることができる。
以下、この「位相形状」を光軸Ｏ−Ｏ中心部分から画面の周辺部分に向かって変曲点を持つことなく、単調増加もしくは単調減少とする光波面変調面（たとえば位相変調面）について説明する。  【００３０】
この場合、基本的には上述したように、光波面変調面の「位相形状」を光軸Ｏ−Ｏに対して回転対称な形状とする。本実施の形態において、光波面変調機能を有する光学系２１０を用いることにより、光波面変調素子を持たない通常の光学系よりも球面収差ＳＡを、意図的に、大きく発生させることにより、光波面変調素子を持たない通常の光学系よりも物体距離に応じたＯＴＦの変化を小さくすることが可能となる。
光波面変調面２１３ａ（位相変調面）の位相形状は、光軸Ｏ−Ｏの中心部分から画面の周辺部分にかけて、変曲点を持たず、単調増加もしくは単調減少するように形成されている。
図５（Ａ）に光波面変調面を形成する前の球面収差を示し、図５（Ｂ）に光波面変調面を形成した後の球面収差を示す。
図５（Ａ）および図５（Ｂ）の図解から理解されるように、光波面変調面２１３ａを開口絞り２１４の近傍に、あるいは光波面変調面２１３ａ自身に開口絞り機能を持たせることにより、光波面変調面２１３ａのみの球面収差を最適化（最小化）することで、光学系２１０を、広範囲に球面収差が少ない、性能の高い固定焦点レンズとすることができる。その結果、撮像装置２００の最終出力画像信号を高精度にすることができる。【００３１】
図６（Ａ）は光学系の光波面変調面の「位相形状」を示す図である。図６（Ｂ）は、光学系の光波面変調面の「面形状」を示す図である。横軸は、光軸方向の距離を示している。縦軸の数値は、射出瞳の直径を1 と正規化した焦点の位置を示す。
図６（Ａ）において、曲線Ａで示す線が光学系に光波面変調素子を持たない場合の位相形状を示し、曲線Ｃで示す線が光学系に光波面変調素子を持つ場合の位相形状を示している。
図６（Ｂ）において、曲線ＡＡで示す線が光学系に光波面変調素子を持たない場合の面形状を示し、曲線ＣＣで示す線が光学系に光波面変調素子を持つ場合の面形状を示している。
図６（Ａ）は光波面変調素子がある場合と、ない場合との差分、すなわち、図６（Ｂ）において、横軸方向に、差＝（曲線ＣＣの値）−（線ＡＡの値）の演算を行った状態を示している。【００３２】
図７は、具体例として、撮像素子の有効撮像領域ＩＤと、イメージサイクルＩＣとの関係を示す図である。中心スポット位置の座標が（０，０）となり、撮像素子ＩＤの上端の座標が（０，０．６）となり、垂直上方の端部の座標が（０，１．０）となる。【００３３】
前述したように、本実施形態においては、レンズ２１３に形成されて光波面変調素子として機能する光波面変調面２１３ａの焦点距離ｆphaseの絶対値が、光学系２１０全体の焦点距離ｆtotal の絶対値対して大きい。言い換えれば、光波面変調面２１３ａを含むレンズ２１３または光波面変調素子の焦点距離ｆphaseの絶対値が、光学系２１０全体の焦点距離ｆtotal の絶対値に対して大きい。すなわち、／ｆphase／＞／ｆtotal ／。
つまり，光波面変調素子として機能する、レンズ２１３に形成された光波面変調面２１３ａにおけるパワーを光学系２１０の全体のパワーよりも弱くする。言い換えれば、光波面変調面２１３ａを備えたレンズ２１３のパワーを、光学系２１０全体のパワーよりも弱くする。その結果、画像の中心部（光軸Ｏ−Ｏ）から画像の周辺部にかけて均一なＯＴＦとすることが可能となる。【００３４】
光波面変調面２１３ａ（位相変調面）の焦点距離ｆphaseの絶対値が、光学系２１０全体の焦点距離ｆtotal に対して次の関係を持つことが望ましい。【００３５】
（数１）
|ｆphase|／ｆtotal ≧  ２
ただし、ｆphaseは光波面変調面２１３ａを備えたレンズ２１３の焦点距離を示し、
ｆtotalは光学系２１０全体の焦点距離を示している。【００３６】
なお、本実施形態において、光波面変調素子の焦点距離ｆphaseの絶対値とは、光波面変調面または光波面変調面２１３ａを有するレンズ２１３の焦点距離の絶対値を意味するものとする。【００３７】
光波面変調面の位相形状が中心（光軸Ｏ−Ｏ）から画面の周辺にかけて、変曲点を持たずに、単調増加または単調減少することで、物体距離に応じたＯＴＦの変化を極めて小さくすることができる。
つまり、図６においては、曲線ＢＢで示される面形状よりも曲線ＣＣで示す面形状を持った光学系がＯＴＦの変化を小さくすることができるようになる。
また、光学系２１０全体の焦点距離ｆtotalよりも光波面変調面の焦点距離ｆphaseの絶対値を大きくすることで、画像の中心部（光軸Ｏ−Ｏ）から画像の周辺部にかけて均一なＯＴＦとすることが可能となる。
また、光学系２１０全体の焦点距離ｆtotalに対して、光波面変調面を備えた光波面変調素子（レンズ２１３）の焦点距離ｆphaseの絶対値を大きくすることで、画像の中心部（光軸Ｏ−Ｏ）から画像の周辺部にかけて均一なＯＴＦとすることが可能となる。
また、本実施の形態の光波面変調面２１３ａを備えたレンズ２１３を、光軸Ｏ−Ｏを中心として、回転対称な形状にすることにより、光学系２１０のレンズを収容する鏡筒に光波面変調素子を組み込む際に、光軸Ｏ−Ｏを中心に回転させて位置の調整を行う必要がなく、光波面変調面２１３ａを有するレンズをその他のレンズと同様に配設することができ、組み立て製造工程が容易になる。
また、本実施の形態によれば、偽像の発生を抑えて、自然なボケ味の画像のまま、被写界深度を拡張することができる。【００３８】
スポット像の例
図８〜図１１を参照して、光学系２１０における光波面変調素子２１３ａの有無、位相形状の変曲点の有無に応じたスポット像について考察する。図８〜図１１において縦軸はディフォーカス量、横軸は像高を示している。【００３９】
図８は、光波面変調素子を持たない一般的な光学系のスポット像のディフォーカス変化を示す図である。この例の光学系は、光波面変調素子を持たないため物体距離に応じてスポット像が大きく変化する。【００４０】
図９は、位相形状に変曲点を持たない光波面変調素子を備えた光学系のスポット像のディフォーカス変化を示す図である。この例の光学系においては、光波面変調素子の作用で物体距離に応じたスポット像の変化は小さい。【００４１】
図１０は、光波面変調素子の焦点距離の絶対値が光学系全体の焦点距離の絶対値より小さい光学系のスポット像のディフォーカス変化を示す図である。この例の光学系においては、光波面変調素子の焦点距離の絶対値が光学系全体の焦点距離の絶対値より小さいため、画面の中心と画面の周辺でスポット像の大きさの差が大きい。【００４２】
図１１は、光波面変調素子の焦点距離の絶対値が光学系全体の焦点距離の絶対値より大きい光学系のスポット像のディフォーカス変化を示す図である。この例の光学系においては、光波面変調素子の焦点距離が大きいため、画面の中心と画面の周辺でスポット像の大きさの差が小さい。【００４３】
光波面変調面（もしくは光波面変調面を持つレンズ２１３）の焦点距離ｆphaseの絶対値が光学系２１０全体の焦点距離ｆtotal の絶対値より小さい場合、図１０に示すように、光波面変調による画面の周辺部における影響を緩和することが困難であり、画面中心と画面の周辺部でスポット像の大きさの差が大きい。この場合、画面全体で均一な画質が得られ難い。
これに対して、光波面変調面（もしくは光波面変調面を持つレンズ）の焦点距離ｆphaseの絶対値が光学系全体の焦点距離ｆtotal の絶対値より大きい、本実施形態に係る光学系２１０によれば、図１１に示すように、光波面変調による画面の周辺部における影響を緩和することができ、画面の中心と画面の周辺部でスポット像の大きさの差が小さい。本実施の形態はかかる例に従っており、本実施形態においては、画面内の中心、画面の周辺によらず、画面全体で均一な画質が得られる。【００４４】
以上、実施の形態として、図４（Ａ）に構成を例示して考察した、光波面変調機能を有する光学系２１０の特徴的な構成、機能、効果について説明した。
以下に、撮像素子、画像処理部等の他の構成部分の構成、機能について説明する。【００４５】
撮像素子
図３に図解した撮像素子２２０は、例えば、図４（Ａ）に概略的に示すように、光学系２１０内の第５レンズ２１６側から、ガラス製の平行平面板（カバーガラス）２２１と、ＣＣＤあるいはＣＭＯＳセンサ等からなる撮像素子の撮像面２２２が順に配置されている。
撮像光学系２１０を介した被写体ＯＢＪからの光が、撮像素子２２０の撮像面２２２上に結像される。
撮像素子２２０で撮像される被写体の分散像は、光学系２１０における光波面変調面２１３ａにより撮像素子２２０の撮像面２２２上ではピントが合わず（合焦せず）、深度の深い光束とボケ部分が形成された像である。
撮像装置２００は、画像処理装置２４０にて、上記画像に対してフィルタ処理を加えることにより物体間の距離の解像力を補完することができるように構成されている。
この光学系２１０については、後でさらに詳述する。【００４６】
図３に示すように撮像素子２２０の撮像面２２２上で、光学系２１０で取り込んだ像が結像され、撮像素子２２０は、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログ・フロントエンド（ＡＦＥ）部２３０を介して画像処理装置２４０に出力する、ＣＣＤやＣＭＯＳセンサからなる。
図３においては、撮像素子２２０を一例としてＣＣＤについて記載している。【００４７】
ＡＦＥ部２３０は、タイミングジェネレータ２３１、アナログ／デジタル（Ａ／Ｄ）コンバータ２３２と、を有する。
タイミングジェネレータ２３１は、後述するカメラ信号処理部２５０からの制御信号Ｓ２５０に基づいて、ＣＣＤを用いた撮像素子２２０のＣＣＤの駆動タイミング信号を生成して撮像素子２２０に出力する。
Ａ／Ｄコンバータ２３２は、撮像素子２２０から入力されるアナログ信号をデジタル信号に変換し、画像処理装置２４０に出力する。【００４８】
本発明の二次元コンボリューション手段として、本発明の信号処理部の一部を構成する画像処理装置２４０は、好ましくは、コンピュータを用いて実現される。
画像処理装置２４０は、前段のＡＦＥ２３０から入力される撮像素子２２０における撮像画像のデジタル信号を入力し、二次元のコンボリューション演算処理を施し、その結果を後段のカメラ信号処理部（ＤＳＰ）２５０に出力する。
画像処理装置２４０は、制御装置２９０から入力される露出情報ＲＰに応じて、ＯＴＦに対してフィルタ処理を行う。なお、露出情報ＲＰとして開口絞り情報を含む。
画像処理装置２４０は、撮像素子２２０における撮像による複数の画像に対して、ＯＴＦの応答を向上させ、物体距離に応じたＯＴＦの変化をなくすようにフィルタ処理、たとえば、コンボリューションフィルタ処理を行う機能を有する。その結果、複数の物体距離に依存しながらも、深い被写界深度の画像を得ることができる。
また、画像処理装置２４０は、初期段階でノイズ低減フィルタリングを施す機能を有する。
さらに、画像処理装置２４０は、ＯＴＦに対してフィルタ処理を行い、コントラストを改善する処理を施す機能を有する。
画像処理装置２４０の処理については後で、さらに詳述する。【００４９】
カメラ信号処理部２５０は、コンピュータを用いた構成することもできるが、好ましくは、高速演算処理が可能なデジタル信号プロセッサ（ＤＳＰ）で構成される。カメラ信号処理部２５０は、たとえば、カラー補間、ホワイトバランス、輝度Ｙと色差ＣｂＣｒとの変換処理、画像圧縮、ファイリング等の処理を行い、メモリ２６０への格納や画像モニタリング装置２７０への画像表示等を行う。【００５０】
制御装置２９０は、たとえば、コンピュータを用いて構成され、開口絞り２１４を制御して露出制御を行うとともに、操作部２８０などからのユーザの操作入力に応じて、撮像装置２００全体の動作を決定し、ＡＦＥ２３０、画像処理装置２４０、カメラ信号処理部２５０、光学系２１０内の絞り２１４等を制御し、撮像装置２００全体の各要素の調停および制御を司る。【００５１】
以下、本実施形態の光学系２１０、画像処理装置の構成および機能について具体的に説明する。【００５２】
画像処理装置２４０におけるフィルタ処理について説明する。
本実施形態においては、光学系２１０により収束される光束を、光波面変調素子として機能する光波面変調面２１３ａが形成されたレンズ２１３によって、光軸Ｏ−Ｏから周辺に向かって、規則正しく分散させる。このように、光学系２１０に光波面変調素子２１３ａを挿入することによる光束の分散により、撮像素子２２０の撮像面２２２上ではどこにも、ピント（焦点）が合わない画像を実現する。
換言すれば、光波面変調面２１３ａ（光波面変調素子）を有する光学系２１０によって、像形成の中心的役割を成す焦点深度の深い光束と、フレアー（ボケ部分）を形成している。
前述したように、光波面変調面２１３ａが形成されたレンズ２１３（光波面変調素子）を有する光学系２１０によって生成される、この規則的に分散した画像を、デジタル処理により、光学系２１０内のレンズを移動させずにピントの合った画像に復元する手段を、波面収差制御光学系、あるいは深度拡張光学系（ＷＦＣＯ）といい、その復元処理を画像処理装置２４０において行う。【００５３】
図１２を参照してＷＦＣＯの基本原理について説明する。
被写体ＯＢＪの画像ｆが、関数Ｈで示される特性を持つＷＦＣＯに入ることにより、画像ｇが生成される。この作用は、次のような式で表される。【００５４】
（数２）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューション演算を表す演算子である。【００５５】
生成された画像ｇから被写体の画像ｆを求めるためには、次の逆変換処理を行う。Ｈ-1は、関数Ｈの逆関関数を意味する。【００５６】
（数３）
ｆ＝Ｈ-1＊ｇ【００５７】
ここで、関数Ｈに関するカーネルサイズと演算係数について説明する。
ズームのためにレンズを移動させたズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、変換係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを用いると、次のようになる。【００５８】
【数４】
2009119838.tif 000003
【００５９】
この行列の行数、および／または、列数の違いをカーネル（Kernel) サイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数は画像処理装置２４０内のメモリに格納しておいても構わない。あるいは、ＰＳＦを物体距離の関数としておき、物体距離によって係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを計算し、それを適用してＨ関数を算出することによって任意の物体距離に対して、コンボリューション処理のための最適なフィルタを作るように設定できるようにしても構わない。
また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。【００６０】
本実施形態においては、図３に示すように、光学系２１０からの像を撮像素子２２０で受像して、開口絞り２１４を開放した「絞り開放時」には、撮像素子２２０で受像した画像データを画像処理装置２４０に入力させる。
画像処理装置２４０において光学系２１０に応じた変換係数を取得する。
画像処理装置２４０はさらに、取得した変換係数を用いて撮像素子２２０からの分散画像信号より分散のない画像信号を生成する。【００６１】
本実施形態においては、ＷＦＣＯを採用し、高精細な画質を得ることが可能で、しかも、光学系２１０の構成を簡単化でき、撮像装置２００のコスト低減を図ることが可能となっている。【００６２】
画像処理装置２４０は、撮像素子２２０による１次画像ＦＩＭをＡ／Ｄコンバータ２３２を介して受けて、フィルタによるコンボリューション処理によって被写界深度を拡張する処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。【００６３】
画像処理装置１４０における修正した光学伝達関数（ＭＴＦ：Modified opitiacl Transfer Functio) の補正処理は、たとえば、図１３の曲線ＣＶ１で示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の処理にて、図１３中、曲線ＣＶ２で示す特性に近づくような補正を行う。
図１３中、曲線ＣＶ１で示す特性は、たとえば、本実施形態のように、波面形成用光学素子、たとえば、光波面変調素子２１３ａを用いずに波面を変形（変調）させない場合に得られる特性である。
なお、本実施形態の画像処理装置１４０における全ての補正は、空間周波数のパラメータによる。【００６４】
本実施形態においては、図１３に示すように、光学的に得られる空間周波数に対するＭＴＦの特性曲線ＣＶ１に対して、最終的に実現したいＭＴＦ特性曲線ＣＶ２を達成するためには、それぞれの空間周波数に対し、図１４に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１３に図解したＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１４に示すようになる。【００６５】
図１４において、空間周波数の所定帯域内における低周波数（ＬＦ）側および高周波数（ＨＦ）側でエッジ強調を弱くし、空間周波数の所定帯域内における中間周波数領域（ＭＦ）においてエッジ強調を強くして補正を行うことにより、図１３に図解した所望のＭＴＦ特性曲線ＣＶ２を仮想的に実現する。【００６６】
このように、実施形態に係る撮像装置２００は、基本的に、光波面変調機能を有し１次画像を形成する光学系２１０および撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２４０からなる。
光学系２１０の中に、波面成形用の光学素子、たとえば、光波面変調素子２１３ａを新たに設けるか、またはガラス、プラスチックなどのような光学素子（レンズ２１３）の面を波面成形用に成形したもの（光波面変調面２１３ａ）を設ける。
光波面変調面２１３ａを有するレンズ２１３によって、結像の波面を変形（変調）し、そのような変調された波面をＣＣＤやＣＭＯＳセンサからなる撮像素子２２０の撮像面（受光面）２２２に結像させる。
撮像素子２２０の撮像面におけるこの結像画像は合焦した画像ではないが、その結像１次画像を、画像処理装置２４０を通して高精細画像を得る。
本実施形態では、撮像素子２２０による１次画像は焦点深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置２４０で行う。【００６７】
波動光学的考察
本実施形態における撮像装置２００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系、たとえば、光学系２１０を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ種々の収差が発生する。波面は球面でなく複雑な形状となる。
幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求めることができる。その波動光学的強度分布は、波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求めることができる。
さらに、その瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、たとえば、光学系２１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。【００６８】
したがって、所定の手法によって射出瞳位置での波面情報を信号処理すれば、任意の結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子、たとえば、光波面変調素子２１３ａが形成されたレンズ２１３で行うのが主であるが、まさに、位相、光線に沿った光路長に増減を設けて目的とする波面形成を行っている。
目的とする波面形成を行えば、射出瞳からの射出光束は、幾何光学的なスポット像から判るように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは、空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像度は維持しているという特徴を示している。
すなわち、ＭＴＦ値が低い状態であれば、または、幾何光学的にはこのようなスポット像の状態であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、画像処理装置２４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。【００６９】
ＭＴＦのレスポンス
図１５〜図１７を参照して、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。【００７０】
図１５は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦの応答を示す図である。
図１６は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと、焦点位置から外れたときのＭＴＦの応答を示す図である。
図１７は本実施形態に係る撮像装置のデータ復元後のＭＴＦの応答を示す図である。
図１５〜図１７において、横軸はナイキスト周波数で正規化した周波数を示し、縦軸はＭＴＦを示す。
図１５〜図１７において、破線で示した曲線ＣＶ１１、ＣＶ２１、ＣＶ３１はピントが外れた時のＭＴＦを示しており、実線で示した曲線ＣＶ１２、ＣＶ２２、ＣＶ３２はピントが合った（合焦）時のＭＴＦを示している。【００７１】
破線の曲線ＣＶ１１、ＣＶ２１、ＣＶ３１から判るように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が、実線で示した光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像について、画像処理装置２４０内のコンボリューション演算部２４２におけるコンボリューション演算処理を行うと、ＭＴＦの応答が向上する。【００７２】
図１６に示した、光波面変調素子を持つ光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。その理由は、図１７に示した復元後のＯＴＦを達成するためには、コンボリューション演算部２４２における復元フィルタを用いてＯＴＦのゲインを上げることになるが、撮像素子のノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけＯＴＦのゲインを上げずにＯＴＦの復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのＯＴＦのゲインを上げずに済む。
他方、復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。【００７３】
上述した処理を行う画像処理装置２４０の構成および処理について説明する。【００７４】
画像処理装置２４０は、図３に示すように、生（ＲＡＷ）データ・バッファメモリ２４１、二次元コンボリューション演算部２４２、記憶手段としてのカーネルデータ格納ＲＯＭ２４３、および、コンボリューション制御部２４４を有する。【００７５】
コンボリューション制御部２４４は、制御装置２９０により制御されて、コンボリューション処理のオン・オフ、画面サイズ、カーネルデータの入れ替え等の制御を行う。【００７６】
カーネルデータ格納ＲＯＭ２４３には、図１８、図１９、または、図２０に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータ、および／または、演算係数が格納されている。
ＲＯＭ２４３に格納されたカーネルデータは、コンボリューション制御部２４４が、制御装置２９０によって露出設定時に決まる露出情報ＲＰを取得し、その露出情報ＲＰに応じた切り替え信号ＳＷに応じて、コンボリューション制御部２４４を通じてカーネルデータを選択制御される。
なお、露出情報ＲＰには、光学系２１０における絞り２１４の絞り状態を示す絞り情報が含まれる。開口絞り２１４の絞り状態は、露出に応じて、制御装置２９０によって制御される。【００７７】
図１８の例では、カーネルデータＫＡは、光学倍率（×１．５）、カーネルデータＫＢは光学倍率率（×５）、カーネルデータＫＣは光学倍率（×１０）に対応したデータとなっている。【００７８】
図１９の例では、カーネルデータＫＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＫＢはＦナンバ（４）に対応したデータとなっている。【００７９】
図２０の例では、カーネルデータＫＡは物体距離情報が１００ｍｍ、カーネルデータＫＢは物体距離が５００ｍｍ、カーネルデータＫＣは物体距離が４ｍに対応したデータとなっている。【００８０】
カーネルデータの切り替え処理
図２１は、制御装置２９０の露出情報ＲＰ（絞り情報を含む）によるカーネルデータの切り替え処理のフローチャートである。
まず、制御装置２９０において、たとえば、開口絞り２１４の絞り程度から、露出情報ＲＰが検出され、コンボリューション制御部２４４に供給される（ＳＴ１０１）。
コンボリューション制御部２４４が、露出情報ＲＰに基づいた切り替え信号ＳＷに応じて、カーネルデータ格納ＲＯＭ２４３に格納されたカーネルサイズ、数値演係数を選択し、選択したカーネルサイズ、数値演算係数をＲＯＭ２４３から読みだして、二次元コンボリューション演算部２４２内のレジスタにセットされる（ＳＴ１０２）。
撮像素子２２０で撮像され、ＡＦＥ２３０を介して二次元コンボリューション演算部２４２に入力された画像データに対して、レジスタに格納されたカーネルサイズ、数演算係数に基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部２５０に転送される（ＳＴ１０３）。【００８１】
以下に、画像処理装置２４０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。【００８２】
図２２は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。簡単化のためにＡＦＥ２３２等は省略している。
図２２の例は露出情報ＲＰに応じたフィルタカーネルを予め用意した場合のブロック図である。【００８３】
画像処理装置２４０が、露出情報検出部２５３から露出設定時に決まる露出情報ＲＰを取得し、コンボリューション制御部２４４を通じてカーネルデータ格納ＲＯＭ２４３に格納されているカーネルデータを選択制御する。二次元コンボリューション演算部２４２においては、カーネルデータを用いてコンボリューション処理を施す。【００８４】
図２３は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ２３２等は省略している。
図２３の例は、画像処理装置２４０の処理の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報ＲＰに応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。【００８５】
露出設定時に決まる露出情報ＲＰを露出情報検出部２５３より取得し、コンボリューション制御部２４４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２４２においては、前記ノイズ低減フィルタ処理（１）、ステップＳＴ１、を施した後、カラーコンバージョン処理、ステップＳＴ２、によって色空間を変換、その後カーネルデータを用いてコンボリューション処理（ＯＴＦ復元フィルタ処理）、ステップＳＴ３、を施す。
再度、ノイズ低減フィルタ処理（２）、ステップＳＴ４、を行い、カラーコンバージョン処理、ステップＳＴ５、によって元の色空間に戻す。カラーコンバージョン処理は、たとえば、（輝度Ｙ−色差ＣｂＣｒ）変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理、ステップＳＴ４、は省略することも可能である。【００８６】
図２４は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。簡単化のためにＡＦＥ２３２等は省略している。
図２４の例は、露出情報ＲＰに応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。【００８７】
露出設定時に決まる露出情報ＲＰを露出情報検出部２５３より取得し、コンボリューション制御部２４４を通じて、ＲＯＭ２４３に格納されているカーネルデータを選択制御する。
二次元コンボリューション演算部２４２は、ノイズ低減フィルタ処理（１）、ステップＳＴ１１、カラーコンバージョン処理、ステップＳＴ１２、の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理、ステップＳＴ１３、を施す。
再度、ノイズ低減フィルタ処理（２）、ステップＳＴ１４、を行い、カラーコンバージョン処理、ステップＳＴ１５、によって元の色空間に戻す。カラーコンバージョン処理は、たとえば、（輝度Ｙ−色差ＣｂＣｒ）変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理、ステップＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。【００８８】
図２５は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。簡単化のためにＡＦＥ２３２等は省略している。
図２５の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報ＲＰに応じたノイズ低減フィルタを予め用意した場合のブロック図である。
露出設定時に決まる露出情報ＲＰを露出情報検出部２５３より取得し、コンボリューション制御部２４４を通じて、ＲＯＭ２４３に格納されているカーネルデータを選択制御する。
二次元コンボリューション演算部２４２においては、ノイズ低減フィルタ処理（１）ステップＳＴ２１、を施した後、カラーコンバージョン処理、ステップＳＴ２２によって色空間を変換、その後、カーネルデータを用いてコンボリューション処理、ステップＳＴ２３、を施す。
再度、露出情報ＲＰに応じたノイズ低減フィルタ処理（２）、ステップＳＴ２４を行い、カラーコンバージョン処理、ステップＳＴ２５、によって元の色空間に戻す。カラーコンバージョン処理は、たとえば、（輝度Ｙ−色差ＣｂＣｒ）変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理、ステップＳＴ２１、は省略することも可能である。【００８９】
以上は露出情報ＲＰのみに応じて二次元コンボリューション演算部２４２においてフィルタ処理を行う例を説明したが、その他の方法をとることもできる。
たとえば、被写体距離情報、ズーム情報、あるいは、撮影モード情報と露出情報とを組み合わせることにより、適した演算係数の抽出、あるいは演算を行うことが可能である。【００９０】
図２６は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。【００９１】
撮像装置２００Ａは、コンボリューション装置４０１、カーネル・数値演算係数格納レジスタ４０２、および、画像処理演算プロセッサ４０３を有する。【００９２】
この撮像装置２００Ａにおいては、物体概略距離情報検出装置５００から読み出した被写体の物体距離の概略距離に関する情報、および、露出情報ＲＰを得た画像処理演算プロセッサ４０３は、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル・数値演算係数格納レジスタ４０２に格納する。レジスタ４０２に格納したその値を用いて演算するコンボリューション装置４０１にて適正な演算を行い、画像を復元する。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うように構成されている。【００９３】
上記のコンボリューション演算部２４２における画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適正なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。【００９４】
本発明の実施の形態においては、たとえば、下記き変形態様をとることができる。
（１）変形例１
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、
（２）変形例２
焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成【００９５】
図２６の構成に対応付けると次のような構成をとることができる。【００９６】
構成例１
変換係数記憶手段としてのカーネル・数値演算係数格納レジスタ４０２に被写体距離に応じて、少なくとも位相板に相当する樹脂レンズに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。
画像処理演算プロセッサ４０３が、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき、カーネル・数値演算係数格納レジスタ４０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置４０１が、係数選択手段としての画像処理演算プロセッサ４０３で選択された変換係数によって、画像信号の変換を行う。【００９７】
構成例２
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ４０３が、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき変換係数を演算し、カーネル・数値演算係数格納レジスタ４０２に格納する。  そして、変換手段としてのコンボリューション装置４０１が、変換係数演算手段としての画像処理演算プロセッサ４０３で得られカーネル・数値演算係数格納レジスタ４０２に格納された変換係数によって、画像信号の変換を行う。【００９８】
構成例３
または、補正値記憶手段としてのカーネル・数値演算係数格納レジスタ４０２にズーム光学系２１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ４０３が、補正値記憶手段としてのカーネル・数値演算係数格納レジスタ４０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置４０１が、第２変換係数記憶手段としてのカーネル・数値演算係数格納レジスタ４０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ４０３により選択された補正値とに基づいて画像信号の変換を行う。【００９９】
以上説明したように、本実施形態によれば、１次画像を形成する光学系２１０および撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２４０とを含む。  光学系２１０は、物体距離に応じた（物体距離の違いによる）ＯＴＦの変化を小さくする光波面変調素子または光波面変調面を備えたレンズを含む。
光波面変調素子または光波面変調面（もしくは光波面変調面を持つレンズ）の焦点距離の絶対値が光学系全体の焦点距離の絶対値より大きい。
以上から、以下の効果を得ることができる。
光波面変調による画面の周辺部における収差などの影響を緩和することができ、画面の中心と画面の周辺部でスポット像の大きさの差を小さくできる。その結果、画面内の中心、画面の周辺によらず、画面全体で均一な画質が得られるという利点がある。【０１００】
また、本実施形態によれば、光学系は、光波面変調素子の光波面変調面が光軸に対して回転対称な形状であり、かつ、「位相形状」が中心部から周辺部にかけて単調増加もしくは単調減少するように形成されている。
その結果、光波面変調面を光軸に対して回転対称な形状とし、光波面変調素子を持たない一般的な光学系よりも球面収差を大きく発生させることにより、光波面変調素子を持たない一般的な光学系よりも物体距離に応じたＯＴＦの変化を極めて小さくすることが可能となる。【０１０１】
また、画面の中央部分から画面の周辺部分にかけて、「位相形状」が単調増加もしくは単調減少するように形成することにより、物体距離に応じたＯＴＦの変化を小さくする作用を持ちつつ、スポット像を小さくすることが可能となる。
また、本実施形態においては、光学系２１０全体の焦点距離に対して、光波面変調面の焦点距離を大きくすることで、画面の中心部から画面の周辺部にかけて均一なＯＴＦとすることが可能となる。
また、光学系２１０全体の焦点距離に対して、光波面変調面を備えた光波面変調素子（レンズ）の焦点距離を大きくすることで、画面の中心部から画面の周辺部にかけて均一なＯＴＦとすることが可能となる。
そして、光学系２１０の構成を簡単化でき、コスト低減を図ることができる。さらに、適切な画質の、ノイズの影響が少ない良好な復元画像を得ることが可能である。さらに、撮像装置の製造が容易で、光学系におけるレンズの取り付けに関して高い精度を必要としない。また、反射の影響も抑止でき、画像の方向によりコントラストが異なることがない撮像装置を実現することができる。【０１０２】
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、図３に示す操作部２８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させる。これにより、光学倍率やディフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となるという利点がある。
また、製造の難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、光学径２１０内のレンズを移動させること無く、自然な画像を得ることができるという利点がある。
そして、本実施形態に係る撮像装置２００には、デジタルカメラやカムコーダー等の通常のユーザが使用する電子機器について、小型化、軽量化、低価格化が求められる、ＷＦＣＯの光学系に使用することが可能である。
また、光学系２１０の構成を簡単化でき、光学系２１０の製造が容易となり、コスト低減を図ることができる。【０１０３】
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力の限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、撮像装置の最終画像に悪影響を及ぼす。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのためには、高性能なレンズを用いた光学系を必要とする。【０１０４】
ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、温度などの管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。【０１０５】
以上のように、ますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。光学系を複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりすると価格上昇につながる。
しかし、本実施形態によれば、上述したように、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。【０１０６】
上述した実施の形態は例示に過ぎず、たとえば、図１８、図１９、および図２０のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。
またコンボリュション演算のために用意するカーネルデータの数についても３個とは限らない。【０１０７】
本発明の実施に際しては、上述した例示に限らず、上述した実施の形態と実質的に等価、または、代替の種々の変形態様をとることができる。【０１０８】
本発明の光学系は、上述した撮像装置はもとより他の種々の撮像装置に適用することができる。また、本発明の撮像装置は情報コード読取装置に限らず、この画像処理装置に適用することができる。
【図１】
2009119838.tif 000004
【図２】
2009119838.tif 000005
【図３】
2009119838.tif 000006
【図４】
2009119838.tif 000007
【図５】
2009119838.tif 000008
【図６】
2009119838.tif 000009
【図７】
2009119838.tif 000010
【図８】
2009119838.tif 000011
【図９】
2009119838.tif 000012
【図１０】
2009119838.tif 000013
【図１１】
2009119838.tif 000014
【図１２】
2009119838.tif 000015
【図１３】
2009119838.tif 000016
【図１４】
2009119838.tif 000017
【図１５】
2009119838.tif 000018
【図１６】
2009119838.tif 000019
【図１７】
2009119838.tif 000020
【図１８】
2009119838.tif 000021
【図１９】
2009119838.tif 000022
【図２０】
2009119838.tif 000023
【図２１】
2009119838.tif 000024
【図２２】
2009119838.tif 000025
【図２３】
2009119838.tif 000026
【図２４】
2009119838.tif 000027
【図２５】
2009119838.tif 000028
【図２６】
2009119838.tif 000029
【図２７】
2009119838.tif 000030
【図２８】
2009119838.tif 000031
【国際調査報告】
2009119838.tif 000032
2009119838.tif 000033
2009119838.tif 000034
2009119838.tif 000035