(57)【要約】【課題】光軸から外れた部分の解像度分布の乱れを解消し、画像全体でほぼ一定の解像度が得られる自然な画像を取得可能な焦点深度拡張光学系及びＥＤｏＦ撮像システムを提供する。【解決手段】被写体１４からの光を撮像素子に結像させるレンズ１１ａ，１１ｂと、レンズ１１ａ，１１ｂによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる焦点深度拡張素子１６と、を備え、レンズ１１ａ，１１ｂ及び焦点深度拡張素子１６を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫｊ・Ｚｊで表し、第１２項Ｚ１２（ｎ＝４，ｍ＝２）の係数Ｋ１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが基準値の２倍より小さい範囲内に、前記係数Ｋ１２が定められている。【選択図】図２
2014115303.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を撮像素子に結像させるレンズと、
前記レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる波面調節手段と、を備え、
前記レンズ及び前記波面調節手段を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫｊ・Ｚｊで表し、第１２項Ｚ１２（ｎ＝４，ｍ＝２）の係数Ｋ１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ１２が定められていることを特徴とする焦点深度拡張光学系。
【請求項２】
前記係数Ｋ１２の絶対値｜Ｋ１２｜が、｜Ｋ１２｜＜０．３を満たすことを特徴とする請求項１記載の焦点深度拡張光学系。
【請求項３】
第１２項Ｚ１３（ｎ＝４，ｍ＝−２）の係数Ｋ１３が、Ｋ１３＝０におけるＭＴＦを基準値として、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ１３が定められていることを特徴とする請求項１または２記載の焦点深度拡張光学系。
【請求項４】
前記係数Ｋ１３の絶対値｜Ｋ１３｜が、｜Ｋ１３｜＜０．３を満たすことを特徴とする請求項３記載の焦点深度拡張光学系。
【請求項５】
前記係数Ｋ１２に対するサジタル方向及びタンジェンシャル方向のＭＴＦが０となる点以下の範囲内で、前記係数Ｋ１２が定められていることを特徴とする請求項１〜４のいずれか１項に記載の焦点深度拡張光学系。
【請求項６】
前記係数Ｋ１３の絶対値｜Ｋ１３｜が、｜Ｋ１３｜＜０．２７５を満たすことを特徴とする請求項５記載の焦点深度拡張光学系。
【請求項７】
サジタル方向のＭＴＦがタンジェンシャル方向のＭＴＦの２倍となる係数Ｋ１２の値を第１閾値Ｔｈ１、タンジェンシャル方向のＭＴＦがサジタル方向のＭＴＦの２倍となる係数Ｋ１２の値を第２閾値Ｔｈ２とするときに、前記係数Ｋ１２がＴｈ１＜Ｋ１２＜Ｔｈ２、またはＴｈ２＜Ｋ１２＜Ｔｈ１の条件を満たす範囲内の値であることを特徴とする請求項１〜６のいずれか１項に記載の焦点深度拡張光学系。
【請求項８】
前記係数Ｋ１３の絶対値｜Ｋ１３｜が、｜Ｋ１３｜＜０．０８を満たすことを特徴とする請求項７記載の焦点深度拡張光学系。
【請求項９】
全ての像高において、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ１２が定められていることを特徴とする請求項１〜８のいずれか１項に記載の焦点深度拡張光学系。
【請求項１０】
前記レンズ及び前記波面調節手段は固定され、前記合焦範囲の位置及び大きさが一定の固定焦点レンズ系であることを特徴とする請求項１〜９のいずれか１項に記載の焦点深度拡張光学系。
【請求項１１】
前記レンズまたは前記波面調節手段が移動可能に設けられ、前記合焦範囲の位置または大きさが調節可能であることを特徴とする請求項１〜１０のいずれか１項に記載の焦点深度拡張光学系。
【請求項１２】
被写体の像を撮像する撮像素子と、
前記被写体からの光を前記撮像素子に結像させるレンズと、前記レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる波面調節手段と、を有し、前記レンズ及び前記波面調節手段を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫｊ・Ｚｊで表し、第１２項Ｚ１２（ｎ＝４，ｍ＝２）の係数Ｋ１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ１２が定められている焦点深度拡張光学系と、
を備えることを特徴とする撮像システム。
【請求項１３】
前記撮像素子が出力するデータに復元処理を施すことにより、前記合焦範囲に対応して被写界深度が拡張された画像を生成する画像処理手段を備えることを特徴とする請求項１２記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、球面収差や色収差を利用して焦点深度を拡張した光学系（以下、焦点深度拡張光学系）を用いて撮像し、得られた画像にデコンボリューション処理を施すことにより、被写界深度を拡張した画像を得るＥＤｏＦ（Extended Depth of Field）撮像システムに関する。
【背景技術】
【０００２】
携帯電話機やＰＤＡ、小型ノート型パソコン等には、デジタルカメラが標準的に搭載されるようになってきている。従来、こうした携帯電話機等に搭載されるデジタルカメラは、小型かつ安価に製造するために、例えば単焦点レンズを用いることが一般的であった。しかし、近年では、こうした簡易なデジタルカメラにも撮影画像の画質向上が求められるようになっている。
【０００３】
また、携帯電話機等に搭載されるデジタルカメラは、数ｍ先の人物や風景の撮影等、数ｍ先の被写体の撮像から、文字や二次元コード等の読み取りのために数十ｃｍ先の像の撮像にも用いられる。こうした広範囲な撮影を可能にするには、撮影距離に応じてピント合わせをできるようにすることが考えられるが、携帯電話等に搭載されるデジタルカメラでは、小型かつ安価であることが必須であるためピント合わせのためのレンズ移動機構を設けることは難しい。
【０００４】
こうしたことから、近年では、コスト等の面から携帯電話機等の装置では、数十ｃｍ程度のマクロ撮影域からほぼ無限遠までの撮像距離範囲をピント合わせなしでカバーできるデジタルカメラとしてＥＤｏＦ撮像システムが用いられるようになってきている（特許文献１〜３）。ＥＤｏＦ撮像システムは、位相板等によって光軸からの距離に応じて焦点距離が異なる焦点深度拡張光学系を用いて撮像し、得られたピンぼけ画像を画像処理によって先鋭化することにより、被写界深度が拡張された画像を得る撮像システムである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２１３２７４号公報
【特許文献２】特開２００７−２０６７３８号公報
【特許文献３】特開２００６−０９４４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＥＤｏＦ撮像システムは、焦点深度拡張光学系と画像処理の組み合わせによって被写界深度を拡張できるという利点があるが、一方で、焦点深度拡張光学系という特殊なレンズ系を使用するために、ＥＤｏＦ撮像システムに独自の問題が生じる。
【０００７】
具体的には、光軸上の部分に相当する画像中央の像は一定の解像度（あるいは一定のボケ具合）が得られるが、光軸から外れた部分の像では、像高毎に異なる解像度となってしまうという問題がある。このように、像高に応じて解像度が異なると、取得した画像（画像処理後）の横方向と縦方向とで解像度に差が生じ、違和感のある画像となってしまうという問題がある。しかも、周縁部分に近づくほど、解像度が低下するといったような一定の変化ではなく、焦点深度拡張光学系の光軸上である画像中央部分の解像度を基準として、画像中央からやや離れた中腹位置では解像度が低くなり、周縁部分ではやや解像度が向上する等、複雑な解像度分布が生じてしまう。こうした解像度分布は、風景や人物等の遠景を撮像した場合には局所的に不自然なボケ味となり、遠景画像の全体に違和感を生じさせる。また、文字や二次元コード等の近景を撮像した場合には、文字等が読み取れない等の不具合が生じる。
【０００８】
本発明は上述の問題点に鑑みてなされたものであり、光軸から外れた部分の解像度分布の乱れを解消し、画像全体でほぼ一定の解像度が得られる自然な画像を取得可能な焦点深度拡張光学系及び撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の焦点深度拡張光学系は、被写体からの光を撮像素子に結像させるレンズと、前記レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる波面調節手段と、を備え、前記レンズ及び前記波面調節手段を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫｊ・Ｚｊで表し、第１２項Ｚ１２（ｎ＝４，ｍ＝２）の係数Ｋ１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ１２が定められていることを特徴とする。
【００１０】
前記係数Ｋ１２の絶対値｜Ｋ１２｜が、｜Ｋ１２｜＜０．３を満たすことが好ましい。
【００１１】
第１２項Ｚ１３（ｎ＝４，ｍ＝−２）の係数Ｋ１３が、Ｋ１３＝０におけるＭＴＦを基準値として、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ１３が定められていることが好ましい。
【００１２】
前記係数Ｋ１３の絶対値｜Ｋ１３｜が、｜Ｋ１３｜＜０．３を満たすことが好ましい。
【００１３】
前記係数Ｋ１２に対するサジタル方向及びタンジェンシャル方向のＭＴＦが０となる点以下の範囲内で、前記係数Ｋ１２が定められていることが好ましい。
【００１４】
前記係数Ｋ１３の絶対値｜Ｋ１３｜が、｜Ｋ１３｜＜０．２７５を満たすことが好ましい。
【００１５】
サジタル方向のＭＴＦがタンジェンシャル方向のＭＴＦの２倍となる係数Ｋ１２の値を第１閾値Ｔｈ１、タンジェンシャル方向のＭＴＦがサジタル方向のＭＴＦの２倍となる係数Ｋ１２の値を第２閾値Ｔｈ２とするときに、前記係数Ｋ１２がＴｈ１＜Ｋ１２＜Ｔｈ２、またはＴｈ２＜Ｋ１２＜Ｔｈ１の条件を満たす範囲内の値であることが好ましい。
【００１６】
前記係数Ｋ１３の絶対値｜Ｋ１３｜が、｜Ｋ１３｜＜０．０８を満たすことが好ましい。
【００１７】
全ての像高において、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ１２が定められていることが好ましい。
【００１８】
前記レンズ及び前記波面調節手段は固定され、前記合焦範囲の位置及び大きさが一定の固定焦点レンズ系であることが好ましい。
【００１９】
前記レンズまたは前記波面調節手段が移動可能に設けられ、前記合焦範囲の位置または大きさが調節可能であることが好ましい。
【００２０】
本発明の撮像システムは、被写体の像を撮像する撮像素子と、前記被写体からの光を前記撮像素子に結像させるレンズと、前記レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる波面調節手段と、を有し、前記レンズ及び前記波面調節手段を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫｊ・Ｚｊで表し、第１２項Ｚ１２（ｎ＝４，ｍ＝２）の係数Ｋ１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ１２が定められている焦点深度拡張光学系と、を備えることを特徴とする。
【００２１】
前記撮像素子が出力するデータに復元処理を施すことにより、前記合焦範囲に対応して被写界深度が拡張された画像を生成する画像処理手段を備えることが好ましい。
【発明の効果】
【００２２】
本発明によれば、光軸から外れた部分の解像度分布の乱れを解消し、画像全体でほぼ一定の解像度が得られる自然な画像を取得可能な焦点深度拡張光学系及びＥＤｏＦ撮像システムを提供することができる。
【図面の簡単な説明】
【００２３】
【図１】ＥＤｏＦ撮像システムの構成を示すブロック図である。
【図２】焦点深度拡張光学系の構成を示す説明図である。
【図３】復元処理の態様を示す説明図である。
【図４】通常レンズと焦点深度拡張光学系の軸上デフォーカスＭＴＦを示すグラフである。
【図５】中間像高における焦点深度拡張光学系の軸外デフォーカスＭＴＦを示すグラフである。
【図６】周辺像高における焦点深度拡張光学系の軸外デフォーカスＭＴＦを示すグラフである。
【図７】各像高で得られる近景像及び遠景像のＲＡＷデータの例を示す画像である。
【図８】係数Ｋ１２に対するＳ方向及びＴ方向のＭＴＦの変化を示すグラフである。
【図９】Ｚ１２項とＺ１３項の関係を示す説明図である。
【発明を実施するための形態】
【００２４】
図１に示すように、ＥＤｏＦ撮像システム１０は、焦点深度拡張光学系１１，撮像素子１２，画像処理装置１３を備える。ＥＤｏＦ撮像システム１０は、風景や人物等、数ｍ先〜無限遠の遠景の撮像と、文字や２次元コード等、数十ｃｍ程度の距離で撮像する近景の撮像の主に２種類の用途で使用される。
【００２５】
焦点深度拡張光学系１１は、被写体１４から入射する光（以下、被写体光という）を撮像素子１２に結像させるレンズであり、後述するように複数のレンズと焦点を所定の範囲（合焦範囲）に拡張させるための焦点深度拡張素子を含む。また、焦点深度拡張光学系１１は、例えば、光軸を含む中心近傍の光束を手前（被写体１４）側に収束させ、外側を通る光束を奥（撮像素子１２）側に収束させ、焦点を焦点範囲Ｅに拡張する。このように、焦点深度拡張光学系１１は、焦点の範囲を拡張し、撮像された画像の被写界深度を深化させる。
【００２６】
なお、焦点深度拡張光学系１１の光学的性能は具体的なＥＤｏＦ撮像システム１０で求められる性能に設計されるが、以下では一例として、ＦナンバーＦｎが２．２９の固定焦点レンズであるとする。また、レンズの解像力δは、ＦナンバーＦｎに反比例し、参照波長をλ（ｎｍ）とすれば、δ＝１／Ｆｎ／λである。したがって、参照波長λ＝５４６ｎｍとすれば、焦点深度拡張光学系１１の解像力δは約８００本／ｍｍであり、後述する撮像素子１２のサンプリング周波数ｆｓとほぼ等しく、ナイキスト周波数Ｎｙの２倍程度である。
【００２７】
また、後述するように、焦点深度拡張光学系１１は、波面収差をツェルニケ（Zernike）多項式を各項とする式（いわゆるツェルニケモード）で表すときに、第１２項Ｚ１２の係数Ｋ１２の絶対値｜Ｋ１２｜が０．３以下になるように、各レンズ面の形状等が定められている。これにより、ＥＤｏＦ撮像システム１０は、フォーカスシフト（ピントの移動）によって、同じ撮影距離の被写体は画像内で均一な解像度で写し出される。また、像がボケる場合に、取得する画像１５内のどの位置においても上下左右にほぼ均等なボケを実現する。
【００２８】
撮像素子１２は、焦点深度拡張光学系１１によって結像された被写体１４の像を画素毎に光電変換することにより撮像し、ＲＡＷデータを画像処理装置１３に出力する。撮像素子１２は、複数の画素が配列された撮像面が焦点深度拡張光学系１１の合焦範囲内に位置するように、所定位置に配置される。また、撮像素子１２は、撮像した画像の中心が焦点深度拡張光学系１１の光軸に、画像の横方向がＳ（サジタル）方向に、画像の縦方向がＴ（タンジェンシャル）方向にそれぞれ対応するように配置されているとする。焦点深度拡張光学系１１の焦点が合焦範囲に拡張されているため、撮像素子１２が出力するＲＡＷデータにおいては、被写体１４の像はボケている。
【００２９】
なお、撮像素子１２としては、具体的なＥＤｏＦ撮像システム１０で求められる性能のものが用いられるが、以下では、画素ピッチｐが１．２５μｍであるとする。すなわち、撮像素子１２のサンプリング周波数ｆｓは、ｆｓ＝１／ｐ＝８００本／ｍｍであるとする。したがって、ナイキスト周波数Ｎｙは、４００本／ｍｍである。
【００３０】
画像処理装置１３は、ＤＳＰやＤＩＰ等からなり、撮像素子１２が出力する画像データに、各種画像処理を施して、焦点深度拡張光学系１１の合焦範囲に応じて被写界深度が深化された画像１５を得る。具体的には、画像処理装置１３は、ＲＡＷデータに対して、復元処理、ノイズリダクション処理、混色補正処理、シェーディング補正処理、ホワイトバランス調整処理、同時化処理、カラーマトリックス補正処理、ＹＣ変換処理、γ補正処理、エッジ強調処理、をこの順で施して、所定フォーマット（例えばｊｐｅｇ）の画像１５を得る。
【００３１】
図２に示すように、焦点深度拡張光学系１１は、例えば複数のレンズ１１ａ，１１ｂと、焦点深度拡張素子１６を備える。レンズ１１ａは、被写体１４の点１４ａから球面波として出射される光を平面波に整え、焦点深度拡張素子１６に入射させる。レンズ１１ｂは焦点深度拡張素子１６から入射する光を収束させる。焦点深度拡張素子１６は、球面収差や色収差等の各種収差のバランスを、波面収差で調節することによって、焦点深度拡張光学系１１の焦点を点から所定の範囲（以下、合焦範囲という）に拡張する。焦点深度拡張素子１６は、例えば、レンズ１１ａから入射する平面波を光軸Ｌ０を含む中心部分を通る光束（以下、内光束という）Ｌ１と、光束Ｌ１の周囲を通る光束（以下、外光束という）Ｌ２とで、レンズ１１ｂによって収束される距離が異なるように波面を調節する。これにより、焦点深度拡張光学系１１は、レンズ１１ａ，１１ｂ及び焦点深度拡張素子１６により、内光束Ｌ１を短距離の焦点Ｆ１に、外光束Ｌ２を遠距離の焦点Ｆ２に収束させる。したがって、焦点深度拡張光学系１１は、焦点を、短距離焦点Ｆ１から遠距離焦点Ｆ２の間の合焦範囲Ｅに拡張する。前述のように、撮像素子１２は、合焦範囲Ｅ内の所定位置に配置されるので、撮像素子１２が出力するＲＡＷデータは、焦点Ｆ１に収束する像や焦点Ｆ２に収束する像等がボケた状態で畳み込まれたデータとなる。以下では、無限遠等の遠景がベストピントとなるように、撮像素子１２は、焦点Ｆ２に配置されているとする。
【００３２】
図３（Ａ）に示すように、撮像素子１２から出力されるＲＡＷデータ２１では、被写体１４の点１４ａの像は、撮像素子１２の配置に応じてボケた像となる。このとき、図３（Ｂ）に示すように、点１４ａの像は、画素値として、ＲＡＷデータ２１の断面Ａ−Ｂの方向にブロードに分布する。このため、図３（Ｃ）に示すように、ＲＡＷデータ２１のままでは、空間周波数に対するＭＴＦ（以下、周波数ＭＴＦという）が、空間周波数Ｆｑの増大とともに急峻に減少し、解像度は低い。
【００３３】
しかし、画像処理装置１３によって復元処理（いわゆるデコンボリューション処理）を施すことにより、図３（Ｄ）に示す復元処理後の画像データ２２のように、点１４ａはボケのない点像となる。すなわち、復元処理では、ブロードであった画素値の分布（図３Ｂ）から、図３（Ｅ）に示すように急峻なピークを持つように鮮鋭化される。これにより、図３（Ｆ）に示すように、周波数ＭＴＦは、通常の単焦点レンズで撮像した場合と同程度に回復し、所定の解像度を得る。また、復元処理は、ここで例示した点１４ａの像と同様に、ＲＡＷデータ２１に畳み込まれている焦点Ｆ１や焦点Ｆ２（あるいはその間）に収束される像を、その焦点位置に応じて各々に鮮鋭化するので、固定焦点レンズで撮影した画像よりも、被写界深度が深化された画像１５が得られる。
【００３４】
焦点深度拡張光学系１１と同様に携帯電話機等に用いられる一般的な固定焦点レンズ（以下、通常レンズという）と、焦点深度拡張光学系１１とを、光軸上の像のデフォーカスに対するＭＴＦの変化（以下、軸上デフォーカスＭＴＦという）について比較する。
【００３５】
通常レンズや焦点深度拡張光学系１１の透過波面ψは、ツェルニケ（Zernike）多項式Ｚｊ（ｊ＝１〜）を各項とする式ψ＝ΣＫｊ・Ｚｊで表すことができる。ツェルニケ多項式Ｚは、光軸からの距離ρ（ρ＜１）と所定方向（例えばＳ方向）からの角度θ、整数ｍ，ｎ，ｓを用いて、下記数１で表され、焦点深度拡張光学系１１の波面ψは、係数Ｋｊを用いて、ψ＝ΣＫｊ・Ｚｊで表すことができる。例えば、Ｚ４（ｎ＝２，ｍ＝０）は波面のデフォーカスを、Ｚ５（ｎ＝２，ｍ＝２）は非点収差を、Ｚ７（ｎ＝３，ｍ＝１）及びＺ８（ｎ＝３，ｍ＝−１）はそれぞれＳ，Ｔ各方向のコマ収差を、Ｚ９（ｎ＝４，ｍ＝０），Ｚ１６（ｎ＝６，ｍ＝０），Ｚ２５（ｎ＝８，ｍ＝０）は球面収差を示す。こうしたツェルニケ多項式Ｚｊの中で、第１２項Ｚ１２（ｎ＝４，ｍ＝２）は、Ｚ１２＝(４ρ４−３ρ２)ｃｏｓ（２θ）であり、ザイデル収差との直接の対応はないが、Ｓ方向とＴ方向に非対称性を生じさせる波面収差の一つのモードである。
【００３６】
【数１】
2014115303.tif 000003
2014115303.tif 000004
2014115303.tif 000005
2014115303.tif 000006
【００３７】
また、デフォーカス量を表す係数Ｋ４と像面でフォーカス量ｄ１（ｍｍ）は、下記数２の関係にあり、被写体のデフォーカス量（以下、被写体デフォーカス量という）ｄ２は、下記数３の式で表される。なお、Ｄは口径（ｍｍ）、ｆは焦点距離（ｍｍ）、波長λ（ｎｍ）である。
【００３８】
【数２】
2014115303.tif 000007
【００３９】
【数３】
2014115303.tif 000008
【００４０】
上述のように、デフォーカス量ｄ１，ｄ２と、係数Ｋ４は一定の関係にあるので、係数Ｋ４をデフォーカスの指標として用いることができる。なお、以下に示す各ＭＴＦのグラフは、空間周波数１００本／ｍｍにおけるＭＴＦである。これは、後述するＫ４＝−０．６７５の条件で「ｆｉｌｍ」の文字を撮像した場合の、文字の太さに合わせた空間周波数である。また、各ＭＴＦのグラフは、簡単のためにＫ９＝−０．１８，Ｋ１６＝−０．０５７，Ｋ２５＝−０．０１５６，他Ｋ４，Ｋ１２を除く全係数を０としたＭＴＦである。すなわち、球面収差（Ｋ９，Ｋ１６，Ｋ２５）によって波面を調節した球面収差調節型の焦点深度拡張光学系の例である。
【００４１】
図４に示すように、軸上デフォーカスＭＴＦを、通常レンズと焦点深度拡張光学系１１とで比較すると、通常レンズは、ベストピント（Ｋ４＝０）では焦点深度拡張光学系１１よりもＭＴＦ値が大きいものの、デフォーカスにより、焦点深度拡張光学系１１よりもはやくＭＴＦが減少する。これは、ベストピントからわずかにズレた被写体でも像のボケが大きいことを示す。一方、遠景のＭＴＦと近景のＭＴＦはトレード・オフの関係にあるため、焦点深度拡張光学系１１の場合、ベストピントのＭＴＦが通常レンズよりも小さくなる。しかし、焦点深度拡張光学系１１は、ベストピントからずれてもＭＴＦの減少は緩やかであり、復元処理によって像を鮮鋭化できる程度に、一定以上のＭＴＦ値が得られるようになっている。
【００４２】
なお、ベストピントのＭＴＦは例えば無限遠とみなせる風景等、遠景を撮像した場合の解像度を表し、デフォーカス（例えばＫ４＝０〜−１程度）して撮像される像は、ベストピントから０〜−数百ｍｍ程度デフォーカスして撮像される近景の像の解像度を表す。例えばＫ４＝−０．６５７は被写体距離５２０ｍｍ程度に相当する。５００ｍｍ前後の被写体距離は、人物や、バスの時刻表、メモ用紙に書いたメモ等の近景像撮像で高頻度に使用される可能性が高い被写体距離である。
【００４３】
通常レンズの場合、Ｋ４＝−０．６５７における軸上デフォーカスＭＴＦは０．１（１０％）程度であり、像を解像していないものとみなせる。したがって、通常レンズは、近景撮像の解像度は低く、近景画像から文字や二次元コード等を読み取ることが難しい。一方、焦点深度拡張光学系１１のＫ４＝−０．６５７における軸上デフォーカスＭＴＦは０．２（２０％）程度に向上される。焦点深度拡張光学系１１の場合には、ＲＡＷデータ２１に復元処理を施すことによってさらに解像度が向上される。したがって、焦点深度拡張光学系１１を用いる場合、被写体距離が５００ｍｍ前後の被写体が通常レンズよりも高解像度であり、文字や二次元コード等を読み取ることができる近景画像を得ることができる。
【００４４】
また、通常レンズの軸上デフォーカスＭＴＦは、ベストピントに対してデフォーカスの方向（正負）によらず、ベストピントに対して対称な曲線形状である。一方、焦点深度拡張光学系１１は、近景のＭＴＦを向上させるために、フォーカス位置を負方向にシフトさせた場合に所定以上の解像度が得られるようになっているため、焦点深度拡張光学系１１の軸上デフォーカスＭＴＦは、ベストピントに対して非対称な曲線形状となる。また、ここで示した軸上デフォーカスＭＴＦに方向性は殆どなく、焦点深度拡張光学系１１の場合も通常レンズの場合も軸上デフォーカスＭＴＦはＳ方向とＴ方向とでほぼ同一である。
【００４５】
焦点深度拡張光学系１１が上述のようなＭＴＦ特性を有することによって、ＥＤｏＦ撮像システム１０は、被写界深度を深化した画像１５を得られるようになるが、以下に説明するように、焦点深度拡張光学系１１に特有の問題も生じる。具体的には、焦点深度拡張光学系１１の場合、前述のように軸上デフォーカスＭＴＦは、Ｓ方向とＴ方向とでほぼ一致しているが、光軸Ｌ０から外れた位置におけるデフォーカスによるＭＴＦの変化（以下、軸外デフォーカスＭＴＦという）を計測すると、焦点深度拡張光学系１１のＳ方向とＴ方向とで差が生じる。
【００４６】
図５に示すように、中程度の像高（以下、中間像高という）における軸外デフォーカスＭＴＦは、Ｓ方向とＴ方向でギャップが生じる。ベストピント（Ｋ４＝０）においては、Ｔ方向のＭＴＦがＳ方向のＭＴＦよりも大きくなり、Ｋ４＝−０．６７５では、この関係が逆転し、Ｓ方向のＭＴＦがＴ方向のＭＴＦよりも大きくなる。また、図６に示すように、画像１５の周辺となる像高（以下、周辺像高という）における軸外デフォーカスＭＴＦは、Ｓ方向とＴ方向のギャップがより顕在化し、特にＫ４＝−０．６７５ではＴ方向のＭＴＦがほぼ０になる。
【００４７】
このようなＳ方向とＴ方向の軸外デフォーカスＭＴＦのギャップは、図７にＲＡＷデータ２１内（及び復元処理後の画像１５）で像高に応じて解像度のばらつきを生じさせる。
図７（Ａ）は、光軸上に対応する部分において、「ｆｉｌｍ」の文字を、Ｋ４＝−０．６７５に対応する被写体距離で撮像して得られるＲＡＷデータ２１である。すなわち、図７（Ａ）のＲＡＷデータ２１は、中心付近でデフォーカスして撮像された近景像である。このため、デフォーカスの量（Ｋ４＝−０．６７５）に応じて、Ｓ方向（左右方向）とＴ方向（上下方向）に均一にボケている。これは、軸上デフォーカスＭＴＦが、Ｋ４＝−０．６７５においてＳ方向とＴ方向とでほぼ一致していることによる。
【００４８】
また、図７（Ｂ）は、焦点深度拡張光学系１１の光軸上に対応する中心部分において、「ｆｉｌｍ」の文字を、Ｋ４＝０に対応する被写体距離で撮像して得られるＲＡＷデータである。すなわち、図７（Ｂ）のＲＡＷデータ２１は、光軸付近においてベストピントで撮像された遠景像である。このため、Ｓ方向にもＴ方向にも一定の解像度である。これは、軸上デフォーカスＭＴＦが、Ｋ４＝０においてＳ方向とＴ方向とでほぼ一致していることによる。図７（Ａ）及び（Ｂ）から分かるように、焦点深度拡張光学系１１で撮像する場合、光軸上に対応する中心部分であれば、デフォーカスの量に応じて像がボケるものの、像のボケ方は上下左右で均一であり、自然なボケ方であると言える。
【００４９】
図７（Ｃ）は、中間像高において、「ｆｉｌｍ」の文字を、Ｋ４＝−０．６７５に対応する被写体距離で撮像して得られるＲＡＷデータ２１である。すなわち、図７（Ｃ）のＲＡＷデータ２１は、中間像高においてデフォーカスして撮像して得られる近景像である。したがって、光軸上での撮像時と同様にデフォーカスの量（Ｋ４＝−０．６７５）に応じて、Ｓ方向とＴ方向に像がボケているが、Ｓ方向に対応する左右の方向に解像度が高めで、Ｔ方向に対応する上下方向には解像度が低めであり、「ｆｉｌｍ」の文字の縦線部分が若干目立つボケ方になっている。これは、中間像高における軸外デフォーカスＭＴＦにおいて、Ｋ４＝−０．６７５のＭＴＦがＳ方向とＴ方向でギャップが生じており、Ｓ方向のＭＴＦがＴ方向のＭＴＦよりも若干高めであることによるものである。
また、図７（Ｄ）は、中間像高において、「ｆｉｌｍ」の文字を、Ｋ４＝０に対応する被写体距離で撮像して得られるＲＡＷデータである。すなわち、図７（Ｄ）のＲＡＷデータ２１は、中間像高においてベストピントで撮像して得られる遠景像である。図７（Ｄ）ではベストピントでの像であるために像の解像度は高く、あまり目立たないが、Ｓ方向とＴ方向とで解像度が異なる。具体的には、左右方向（Ｓ方向）よりも上下方向（Ｔ方向）の解像度が高くなっている。これは、中間像高における軸外デフォーカスＭＴＦのＳ方向とＴ方向とでのギャップによるものである。
【００５０】
図７（Ｅ）は、周辺像高において、「ｆｉｌｍ」の文字を、Ｋ４＝−０．６７５に対応する被写体距離で撮像して得られる近景像のＲＡＷデータ２１である。また、図７（Ｆ）は、周辺像高において、「ｆｉｌｍ」の文字を、Ｋ４＝０に対応する被写体距離で撮像して得られる近景像のＲＡＷデータ２１である。これらは、中間像高の場合よりも、周辺像高における軸外デフォーカスＭＴＦのＳ方向とＴ方向のギャップが顕在化することを反映し、Ｓ方向とＴ方向とでボケ方の不均一性がより目立つ。
【００５１】
上述のように、焦点深度拡張光学系１１で撮像して得られるＲＡＷデータ２１（及び画像１５）では、像高に応じて像のボケ方が不均一になることがある。また、一般的なカメラや人間の視覚は、画像の周辺ほど解像度が低いので、周辺像高においてＳ方向とＴ方向とのボケ方の不均一さにより、一方向に解像度が向上して見えてしまうと、不自然さを感じる画像となってしまう。
【００５２】
このような像高に応じたボケ方（解像度）の不均一性は、ツェルニケ多項式第１２項Ｚ１２の係数Ｋ１２の大きさを調節することによって緩和することができる。このため、焦点深度拡張光学系１１は、係数Ｋ１２の絶対値｜Ｋ１２｜が以下に説明する条件をみたすように、レンズ１１ａ，１１ｂや焦点深度拡張素子１６の面形状等が定められている。
【００５３】
図８に示すように、Ｋ４＝−０．６７５において、係数Ｋ１２に対するＭＴＦの変化を表すグラフであり、これを例えば図４〜図６で示した軸上デフォーカスＭＴＦ及び軸外デフォーカスＭＴＦと比較すれば、光軸上でＫ４＝−０．６７５にデフォーカスして撮像する場合のＭＴＦ（図４のＫ４＝−０．６７５）はＺ１２＝０のＭＴＦに、中間像高でＫ４＝−０．６７５にデフォーカスして撮像する場合のＭＴＦ（図５のＫ４＝−０．６７５）はＺ１２＝−０．１０のＭＴＦに、周辺像高でＫ４＝−０．６７５にデフォーカスして撮像する場合のＭＴＦ（図６のＫ４＝−０．６７５）はＺ１２＝−０．３０のＭＴＦに、それぞれ対応する。また、図８から分かるように、係数Ｋ１２の絶対値｜Ｋ１２｜が大きくなるほど、Ｓ方向とＴ方向のＭＴＦのギャップが大きくなるので、絶対値｜Ｋ１２｜が小さければ、Ｓ方向とＴ方向のＭＴＦのギャップが緩和されることにより、画像内でのボケ方及び解像度の不均一性が緩和される。
【００５４】
図８に示す係数Ｋ１２に対するＭＴＦの変化と、図７（Ａ），（Ｃ），（Ｅ）で示した各像高でデフォーカスして撮像して得られる像の対応関係を考慮すると、Ｚ１２＝０における像のＭＴＦを基準値とすると、Ｓ方向とＴ方向のＭＴＦのギャップがこの基準値の２倍以上に広がると、Ｓ方向とＴ方向の解像度の相違により、ボケ方が不自然な画像となる。このため、焦点深度拡張光学系１１は、係数Ｋ１２が、ＭＴＦが基準値の２倍より小さい範囲に定められている。具体的に、図８においては、｜Ｋ１２｜＜０．３である。
【００５５】
また、図８においては、矢印Ｐ及びＱで示すように、｜Ｋ１２｜≦０．３の範囲内において、Ｓ方向のＭＴＦ及びＴ方向のＭＴＦがほぼ０となる点があり、この点Ｐ，Ｑを境にＭＴＦの位相が反転している。ＭＴＦが０になると像が伝達されず、位相の反転は２線ボケ等のアーチファクトの原因となるため正確な像を伝達できない。このため、焦点深度拡張光学系１１は、係数Ｋ１２の大きさが、係数Ｋ１２に対するＳ方向のＭＴＦ及びＴ方向のＭＴＦが０となる点以下の範囲内であることが好ましい。具体的に、図８においては、点Ｐ（Ｋ１２＝−０．２７５）より大きく、点Ｑ（Ｋ１２＝＋０．２７５）よりも小さい範囲、すなわち｜Ｋ１２｜＜０．２７５であることが好ましい。
【００５６】
さらに、Ｓ方向のＭＴＦとＴ方向のＭＴＦとの差が基準値の２倍以下であっても、Ｓ方向のＭＴＦとＴ方向のＭＴＦの比が１：２（あるいは２：１）以上に離れるとＳ方向とＴ方向とでボケ方（解像度）の不均一性が目立つようになる。このため、Ｓ方向のＭＴＦとＴ方向のＭＴＦの比が１：２または２：１より小さい範囲内に、Ｋ１２の値が定められていることが好ましい。
【００５７】
Ｓ方向のＭＴＦとＴ方向のＭＴＦの関係はＫ１２＝０を境に反転する。また、Ｓ方向とＴ方向のＭＴＦの係数Ｋ１２に対する大小関係は実際の焦点深度拡張光学系１１の構成によって変化する。すなわち、図８では、係数Ｋ１２のプラス側でＳ方向よりもＴ方向のＭＴＦが大きく、係数Ｋ１２のマイナス側でＴ方向よりもＳ方向のＭＴＦが大きいが、この関係は具体的な焦点深度拡張光学系１１の構成によって逆になり、係数Ｋ１２のプラス側でＴ方向よりもＳ方向のＭＴＦが大きく、係数Ｋ１２のマイナス側でＳ方向よりもＴ方向のＭＴＦが大きくなることがある。このため、上述の条件は、Ｓ方向のＭＴＦがＴ方向のＭＴＦの２倍となる係数Ｋ１２の値を第１閾値Ｔｈ１、Ｔ方向のＭＴＦがＳ方向のＭＴＦの２倍となる係数Ｋ１２の値を第２閾値Ｔｈ２とするときに、係数Ｋ１２が第１閾値Ｔｈ１より大きく第２閾値Ｔｈ２より小さいという条件（Ｔｈ１＜Ｋ１２＜Ｔｈ２）、または、係数Ｋ１２が第１閾値より小さく第２閾値より大きいという条件（Ｔｈ２＜Ｋ１２＜Ｔｈ１）である。具体的に、図８では｜Ｋ１２｜＜０．０８である。
【００５８】
焦点深度拡張光学系１１は、上述の条件を満たすようにレンズ１１ａ，１１ｂや焦点深度拡張素子１６の面形状等が定められているため、ＥＤｏＦ撮像システム１０で撮像した画像１５内では、像のボケ方及び解像度の均一性が向上する。
【００５９】
なお、上述の各条件を満たす像高の範囲が、像のボケ方及び解像度が均一になる範囲である。したがって、焦点深度拡張光学系１１では、全ての像高において満たされていることが好ましい。
【００６０】
なお、上述の各条件は、Ｋ４＝−０．６７５にデフォーカスされた場合を例に説明したが、Ｋ４＝０のベストピントの場合等、他の係数Ｋ４が他の値の場合も同様である。また、上述の各条件は、簡単のためにＫ９＝−０．１８，Ｋ１６＝−０．０５７，Ｋ２５＝−０．０１５６，他Ｋ４，Ｋ１２を除く全係数を０とした球面収差調節型の焦点深度拡張光学系のＭＴＦを例に説明したが、これに限らない。係数Ｋ１２以外の各係数Ｋｊは実際の焦点深度拡張光学系１１に必要とされる具体的な性能に応じて任意に決定して良い。
【００６１】
なお、上述の実施形態では、ツェルニケ多項式Ｚの第１２項Ｚ１２と、軸外デフォーカスＭＴＦの関係を説明したが、ツェルニケ多項式Ｚの中には、軸外デフォーカスＭＴＦに対して第１２項Ｚ１２とほぼ同様の関係を有する項がある。具体的には、第１３項Ｚ１３（ｎ＝４，ｍ＝−２）＝(４ρ４−３ρ２)ｓｉｎ（２θ）である。第１３項は、第１２項Ｚ１２で表される波面モードを４５度回転させた波面モードを表しており、図９に示すように、軸外デフォーカスＭＴＦをＳ方向から４５度傾斜した方向Ｓ４５と、Ｔ方向から４５度傾斜した方向Ｔ４５とについて測れば、画像１５に対して第１２項Ｚ１２と同様の効果をもたらす。したがって、第１３項Ｚ１３の係数Ｋ１３についても、上述の第１２項Ｚ１２の係数Ｋ１２と同様に、上述の条件を満たすことが好ましい。但し、レンズ１１ａ，１１ｂ及び焦点深度拡張素子１６は光軸Ｌ０に対して回転対称であるため、焦点深度拡張光学系１１の設計時に係数Ｋ１２について上述の条件を満たすように焦点深度拡張光学系１１を形成することと、係数Ｋ１３について上述の条件を満たすように焦点深度拡張光学系１１を形成することは等価である。しかし、実際に製造した焦点深度拡張光学系１１の波面をツェルニケ多項式Ｚの重ね合せで展開する場合、レンズ１１ａ，１１ｂや焦点深度拡張素子１６の配置誤差、他の収差等との影響により、係数Ｋ１２と係数Ｋ１３は、必ずしも同一になるとは限らない。したがって、係数Ｋ１３も係数Ｋ１２と同様の条件をみたすことが好ましい。
【００６２】
なお、焦点深度拡張光学系１１は、焦点が、合焦範囲Ｅに拡張されているが、固定焦点レンズの一種である。したがって、焦点深度拡張光学系１１及びＥＤｏＦ撮像システム１０は、固定焦点レンズとして、あるいは固定焦点レンズを用いる他の撮像システムのかわりに好適に用いることができる。この場合、他のな焦点深度拡張光学系のデメリットである解像度分布（不自然なボケ味）もなく、固定焦点レンズを用いる場合よりも被写界深度が拡張された画像を容易に得ることができる。
【００６３】
なお、上述の実施形態では、焦点深度拡張光学系１１のレンズ１１ａ，１１ｂや焦点深度拡張素子１６が固定されている例を説明したがこれに限らない。焦点深度拡張光学系１１のレンズ１１ａ，１１ｂや焦点深度拡張素子１６を移動させることにより、撮像した画像を用いてオートフォーカスを行う撮像システムにおいても好適に用いることができる。このような、オートフォーカスを行う撮像システムでは、左右（あるいは上下）の視差のある像から適切な焦点距離を計測するが、画像１５内の位置によってボケ味が異なる従来の焦点深度拡張光学系を用いることができなかった。しかし、焦点深度拡張光学系１１は、ボケ味が画像１５内の位置によらずにほぼ一定なので、こうした撮像システムにも好適に用いることができる。オートフォーカスを行う撮像システムに焦点深度拡張光学系１１を用いる場合、レンズ１１ａ，１１ｂまたは焦点深度拡張素子１６を光軸に沿って移動させることにより、合焦範囲Ｅを光軸に沿って移動させる。また、ズームレンズのように、焦点深度拡張光学系１１のレンズ１１ａ，１１ｂや焦点深度拡張素子１６を移動させることによって、合焦範囲Ｅの長さを変更するようにしても良い。これらの場合には、レンズ１１ａ，１１ｂや焦点深度拡張素子１６の移動後（あるいは移動中）にも、上述の係数Ｋ１２の条件（及び係数Ｋ１３の条件）が満たされるようにしておけば良い。
【００６４】
なお、上述の係数Ｋ１２（及び係数Ｋ１３）の条件は、焦点深度拡張光学系１１のレンズ１１ａ，１１ｂや焦点深度拡張素子１６の面形状を一義に定める条件ではない。このため、上述の係数Ｋ１２（及び係数Ｋ１３）の条件を満たしながら、レンズ１１ａ，１１ｂや焦点深度拡張素子１６の面形状の様々な組み合わせで焦点深度拡張光学系１１を形成することができる。したがって、上述の係数Ｋ１２（及び係数Ｋ１３）の条件は、合焦範囲Ｅの大きさ等、焦点深度拡張光学系としての性能が異なる種々の焦点深度拡張光学系で満たすことができる。
【００６５】
なお、上述の実施形態では、ツェルニケ多項式Ｚの第１２項Ｚ１２と、第１３項Ｚ１３について説明したが、第２１項Ｚ２１（ｎ＝６，ｍ＝２：（１５ρ６−２０ρ４＋６ρ２）ｃｏｓ（２θ））は第１２項Ｚ１２と、第２２項Ｚ２２（ｎ＝６，ｍ＝−２：（１５ρ６−２０ρ４＋６ρ２）ｓｉｎ（２θ））は第１３項Ｚ１３と各々類似した特徴を有する波面モードである。しかし、第１２項Ｚ１２や第１３項Ｚ１３ほど、軸外デフォーカスＭＴＦに対する影響は大きくない。このため、軸上デフォーカスＭＴＦのＳ方向とＴ方向とのギャップを解消するためには、第１２項Ｚ１２（第１３項Ｚ１３）の係数について、上述の係数Ｋ１２（及び係数Ｋ１３）の条件を満たすようにすれば良い。
【００６６】
なお、上述の実施形態では、画像処理装置１３で復元処理を施すことにより、被写界深度が拡張された画像１５を得る構成を説明したが、これに限らない。例えば、焦点深度拡張光学系１１のＭＴＦ性能によっては、撮像素子１２が出力するＲＡＷデータ２１で既にある程度の被写界深度が拡張された画像が得られることがある。こうした場合には、必ずしも復元処理を施す必要はない。また、焦点深度拡張光学系１１のＭＴＦ性能によっては、復元処理を行わず、エッジ強調処理やコントラスト強調処理を施すことによって、簡易的に被写界深度が深化されたように見える画像を得ることもできる。また、こうした復元処理を行わずに得られる被写界深度が拡張されたように見える画像は、復元処理を行わない分、高速に得られるので、動画を撮像する場合に有効である。復元処理を行うＥＤｏＦ撮像システム１０においても、動画撮像時には復元処理を行わないようにしても良い。
【００６７】
なお、撮像素子１２は、ＣＣＤ型撮像素子でも、ＣＭＯＳ型撮像素子でも良い。また、この他の構造の撮像素子であっても良い。
【００６８】
なお、上述の実施形態では、焦点深度拡張光学系１１が光軸を含む中心近傍の光束を手前（被写体１４）側に収束させ、外側を通る光束を奥（撮像素子１２）側に収束させる例を説明したが、これに限らない。光軸を含む中心近傍の光束を奥（撮像素子１２）側に、外側を通る光束を手前（被写体１４）側に収束させるようにしても良い。
【００６９】
なお、焦点深度拡張光学系１１にレンズ１１ａ，１１ｂを備える例を説明したが、焦点深度拡張素子１６以外のレンズは１枚でも良く、３枚以上でも良い。また、レンズ１１ａ，１１ｂの面形状は任意であり、球面を含んでいても良いが、焦点深度拡張光学系１１には少なくとも１枚の非球面が含まれる。
【符号の説明】
【００７０】
１０  ＥＤｏＦ撮像ステム
１１  焦点深度拡張光学系
１１ａ，１１ｂ  レンズ
１２  撮像素子
１３  画像処理装置
１４  被写体
１４ａ  点
１５  画像
１６  焦点深度拡張素子
２１  ＲＡＷデータ
【図１】
2014115303.tif 000009
【図２】
2014115303.tif 000010
【図３】
2014115303.tif 000011
【図４】
2014115303.tif 000012
【図５】
2014115303.tif 000013
【図６】
2014115303.tif 000014
【図８】
2014115303.tif 000015
【図９】
2014115303.tif 000016
【図７】
2014115303.tif 000017