(57)【要約】【課題】少ない光学情報量で、アウトフォーカス状態や光学系の製造誤差がある状態であっても、弊害なく良好な画像回復処理が可能な、撮像装置、演算装置、またはその演算プログラムを提供すること。【解決手段】撮影時に１つの測距点につき、光学系のサジタルとメリディオナルに対応する方向のデフォーカス状態を検知可能なクロス測距手段を複数の像高に有し、光学系のデフォーカス状態と像高に応じた結像状態を、サジタル成分とメリディオナル成分でそれぞれ表現可能な光学情報を持ち、前記サジタル方向とメリディオナル方向の各デフォーカス状態と光学結像情報を元に、画像回復フィルタを作成する手段を有することを特徴とする。【選択図】図８−１
2016192620.tif 000002
【特許請求の範囲】
【請求項１】
撮影時に１つの測距点につき、光学系のサジタルとメリディオナルに対応する方向のデフォーカス状態を検知可能なクロス測距手段を複数の像高に有し、
光学系のデフォーカス状態と像高に応じた結像状態を、サジタル成分とメリディオナル成分でそれぞれ表現可能な光学情報を持ち、
前記サジタル方向とメリディオナル方向の各デフォーカス状態と光学結像情報を元に、画像回復フィルタを作成する手段と、
作成された画像回復フィルタで撮影画像を画像回復する画像処理手段
を有することを特徴とする撮像装置。
【請求項２】
前記クロス測距手段が、光学系の瞳を所定の方向に２分割し、その位相差を検知することで、デフォーカス状態を演算する、位相差測距手段であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記クロス測距手段が、フォーカスレンズ群を動かしながら被写体のエッジ部のコントラストを演算し、そのピークをセンシングすることでデフォーカス状態を演算する手段であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記光学情報を保持し、かつ請求項１乃至請求項３の何れか一項に記載の処理を行う撮像装置に、それを送信可能であることを特徴とするレンズ装置。
【請求項５】
光学系のデフォーカス状態と像高に応じた結像状態を、サジタル成分とメリディオナル成分でそれぞれ表現可能な光学情報を持ち、
予め、複数の像高において、光学系のサジタルとメリディオナルに対応する方向のデフォーカス状態を検知された撮影画像を、
前記光学情報と、サジタル方向とメリディオナル方向の各デフォーカス状態を元に、画像回復フィルタを作成する手段と、
作成された画像回復フィルタで撮影画像を画像回復する画像処理手段
を有することを特徴とする演算装置、または演算プログラム。
【請求項６】
前記クロス測距を行う複数の像高が、少なくとも４点であることを特徴とする請求項１、請求項２、請求項３、請求項５の何れか一項に記載の撮影装置、演算装置、演算プログラム。
【請求項７】
前記、少なくとも４点のクロス測距手段が、光学系の光軸を通る２つの直線上に、光軸を挟んだ両方向に２箇所ずつ配置されていることを特徴とする請求項６に記載の撮影装置、演算装置、演算プログラム
【請求項８】
前記光学情報が、横収差情報であることを特徴とする請求項１乃至請求項７の何れか一項に記載の撮影装置、演算装置、演算プログラム。
【請求項９】
前記光学情報が、ツェルニケ係数であることを特徴とする請求項１乃至請求項７の何れか一項に記載の撮影装置、演算装置、演算プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその画像処理に関する発明であり、特に画像を回復（復元）処理するものに関する。
【背景技術】
【０００２】
従来より、撮像装置において、光学的な結像劣化をその光学系固有の補正情報を用いて補正し、良好な画像を得る手段、及びその処理方法が種々報告されている。
【０００３】
特許文献１には、像面と物体面の１対１の関係において、球面収差やコマ収差等の光学的画像劣化を回復する画像回復処理が報告されている。
【０００４】
特許文献２には、デフォーカス検知と、デフォーカスに応じた点像強度分布関数（PSF）により、物像間の共役関係から逸脱した、アウトフォーカス部分の回復も行い、深度を拡大する画像回復処理が紹介されている
一方で、画像回復を行うには、光学系の結像状態（ズーム、フォーカスポジション、像高、F値）によって、２次元フィルタが必要になるため、そのデータ量は莫大になる。
【０００５】
特許文献３には、画像回復フィルタのデータ量を極力軽減する方法が紹介されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２１７０８７号公報
【特許文献２】特開２０１２−０６５１１４号公報
【特許文献３】特開２０１２−０７３６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に示すような画像回復処理においては、光学系の結像状態と、その状態を正確に表す光学情報が１対になっている必要がある。
【０００８】
それらに乖離があった状態で作成した回復フィルタにより画像回復処理を行った場合、リンギング等の弊害が生じる。
【０００９】
それらが乖離してしまう原因として、像面と共役状態にある物体面に対して被写体がアウトフォーカスし、ボケた状態になっている場合や、光学系の製造誤差で、周辺部の像面湾曲や非点収差が生じている場合がある。
【００１０】
特許文献２では、アウトフォーカス状態の光学情報も持ち、アウトフォーカス部分にまで拡大した高度な画像回復を行っているが、データ量が飛躍的に増大する上に、製造誤差には対応できない。
【００１１】
そこで、本発明は、少ない光学情報量で、アウトフォーカス状態や光学系の製造誤差がある状態であっても、弊害なく良好な画像回復処理を行うことを課題としている。
【課題を解決するための手段】
【００１２】
上記の課題を達成するために、本発明の撮像装置、演算装置、または演算プログラムは、
撮影時に１つの測距点につき、光学系のサジタルとメリディオナルに対応する方向のデフォーカス状態を検知可能なクロス測距手段を複数の像高に有し、
光学系のデフォーカス状態と像高に応じた結像状態を、サジタル成分とメリディオナル成分でそれぞれ表現可能な光学情報を持ち、
前記サジタル方向とメリディオナル方向の各デフォーカス状態と光学結像情報を元に、画像回復フィルタを作成する手段
を有することを特徴としている。
【発明の効果】
【００１３】
本発明によれば、少ない光学情報量で、アウトフォーカス状態や光学系の製造誤差がある状態であっても、弊害なく良好な画像回復処理が可能な、撮像装置、演算装置、またはその演算プログラムを得ることが出来る。
【図面の簡単な説明】
【００１４】
【図１−１】奥行のある被写体と撮影光学系
【図１−２】平面射影被写体
【図１−３】奥行のある被写体の撮影画像
【図２】撮像面位相差測距で得られる深度マップ
【図３】コントラストオートフォーカスから深度マップを得る際の過程
【図４】図４−１：光学系の簡略図と横収差の各軸の説明、図４−２：横収差の具体例
【図５】図５−１：ＦＮＯを変化させた時の光学系の簡略図、図５−２：ＦＮＯを変化させた時の横収差図
【図６】図６−１：デフォーカスを変化させた時の光学系の簡略図、図６−２：デフォーカスを変化させた時の横収差図
【図７−１】光軸のスポットダイアグラム例
【図７−２】軸外のスポットダイアグラム例
【図７−３】横収差からスポットダイアグラムを生成する方法の説明図
【図７−４】横収差を実計算と補間演算からそれぞれ得た時の、スポットダイアグラムの比較図
【図８−１】撮像装置に設置された測距ユニットと、撮像面位相差を使用した、本発明のフローチャート
【図８−２】コントラストオートフォーカスを使用した撮像装置と、外部の演算装置を使用した、本発明のフローチャート
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態を図面に基づいて説明する。
【００１６】
まず、像面と物体面が１対１の関係の画像回復処理について考える。撮像光学系においては、物体側の原画像をf（x、y）、光学系の性能を表す点像分布関数（ＰＳＦ）をh（x，y）、光学系を通した後の像面側の劣化画像をg（x，y）とすると、次式の関係が成立する。ここで、＊はコンボリューション（畳み込み）であり、（x，y）は画像上の座標である。
［数式１］  g（x，y）＝h（x、y）＊f（x、y）
次に、この関係式を元に、画像回復処理を行う方法について説明する。数式１をフーリエ変換すると次式のように周波数ごとの積の形式になる。ここで、HはOTFであり、（u，v）は２次元周波数面での座標、即ち周波数である。
［数式２］  G（u，v）＝H（u，v）×F（u，v）
数式２の両辺をHで除算してF（u，v）を逆フーリエ変換して実面に戻すことによって原画像f（x，y）が、回復像として得られる。ここで、H-1を逆フーリエ変換したものをRとすると次式が成立する。
［数式３］  f（x，y）＝g（x，y）＊R（x、y）
R（x、y）は、画像回復フィルタであり、レンズの光学情報を元に作成できるため、実面での画像に対するコンボリューションを行うことで同様に原画像を得ることができる。
【００１７】
以上の方法が、像面と物体面が１対１の関係の、画像回復の基本的な考え方である。
【００１８】
次に、アウトフォーカス状態を含む、画像回復処理について考える。実際の撮像装置において、像面に対応する撮像面については平面であるが、物体面に対応する被写体は、必ずしも平面ではないため、物体面から奥行方向（z方向）に逸脱する被写体も多い。この時、物体面から奥行方向に逸脱した被写体は、撮像面においてもz方向に逸脱した位置に像を結ぶため、撮像面上では、ボケた像となる。このことを点像分布関数で表現する。
【００１９】
撮像面から見ると、被写体の奥行方向に応じて像が結ぶ位置がボケたり、鮮鋭になったりするため、前記点像分布関数のh（x、y）は、３次元のh（x、y、z）で表現される。即ち、立体の被写体を撮影する時は、下記のように数式化される。
［数式４］  g’（x，y）＝f’（x、y）＊h（x、y、z）
ここで、f’（x，y）は、立体物である被写体f（x、y、z）を任意の平面に射影した、平面射影原画像であり、最終的に得たい画像である。
【００２０】
図１を用いて、平面射影原画像の説明をする。図１−１は奥行のある被写体と撮影光学系を表す図である。撮像光学系の主点Ｈから各被写体ＡＢＣに向かって放射状に線を引いた時、それらが像面と平行な任意の平面と公差する点が、被写体の射影点である。これらを全ての被写体で行ったものが、平面射影原画像であり、図１−２のようになる。
【００２１】
被写体ＡＢＣの大きさは、実際は同じであるが、主点からの距離が近いほど拡大された像になっていることが分かる。この平面射影原画像f’（x、y）に、それぞれの座標、及びアウトフォーカス状態の点像強度関数h（x、y、z）を掛けて得られる画像が、g’（x，y）である。被写体Ａや被写体Ｃは、物体面から逸脱しているため、ボケた点像強度関数が掛かり、比較的物体面に近い被写体Ｂには、鮮鋭な点像強度関数が掛かり、その結果得られるg’（x、y）は、図１−３のようになる。
【００２２】
このようにして得られた劣化画像g’（x、y）から、平面射影原画像f’（x、y）を得る方法について考える。数式１と数式３の関係から、劣化画像にR（x、y、z）なる、z方向の関数も持つ画像回復フィルタを掛けた、
［数式５］  f’（x、y）＝g’（x，y）＊R（x、y、z）
のように表現できる。
【００２３】
ここで、劣化画像g’（x，y）は平面情報のため、zの情報が抜け落ちており、R（x、y、z）のzの項が特定できず、劣化画像からだけでは、平面射影原画像への回復処理を行うことが出来ない。ｚの情報を得るためには、撮影時にセンサー面の座標に応じて、デフォーカス状態を得て、その情報からzを特定する等の工夫が必要になる。
【００２４】
本発明者は以前、撮像面位相差測距や、フォーカスを駆動しながら画像のコントラストを読み込み、その波形からの演算から、像面の各像高におけるデフォーカス情報を得る方法を提案している。
【００２５】
以下に、それらの方法について紹介する。まずは、撮像面位相差測距からデフォーカス情報を得る手段について説明する。
【００２６】
図2(a)に示す、無数の矩形が撮像面測距を行うポイントである。実際は、矩形領域の中心に位置する画素に、瞳分離手段が配置されているが、撮像面位相差測距の詳しい方法の説明は、省略する。それぞれから得られたデフォーカス量を図2(b)のようにマップ化したものが、深度マップである。
【００２７】
今、合焦状態にある被写体Ｂのデフォーカスが０であり、前ピン状態の被写体Ａが、マイナスのデフォーカス量、後ピン状態の被写体Ｃが、プラスのデフォーカス量、被写体Ｃよりも奥にある背景Ｄが、更に大きいプラスのデフォーカス量となる。この深度マップにより、（x、y、z）の情報が得られたことになり、デフォーカス状態の画像回復フィルタの作成が可能になる。尚、位相差測距は、撮像面位相差測距方式が高精細な深度マップを作成できるため好ましいが、折り返しミラーを使用して専用の位相差光学系で測距を行う外測の位相差測距方式であっても良い。
【００２８】
次に、コントラスト値を取得しながら、フォーカシングレンズ群を駆動することで、デフォーカス情報を得る手段について、図3を元に説明する。
【００２９】
現在のフォーカス位置は、図3で言うと、ｓの位置であり、合焦させたい被写体は、被写体Ｂであるとする。まず、コントラスト値取得を開始する。具体的には、被写体のエッジ部分の鮮鋭度を演算する。
【００３０】
まず、初期フォーカス駆動として、フォーカスを無限側または至近側、任意の方向に駆動させ、フォーカスサーチ方向を決定する。初期駆動により、コントラスト値が上がれば正しい駆動方向であり、コントラスト値が下がれば、駆動方向が反対なので、反転する必要がある。図3で言うと、初期駆動方向がマイナスの場合は、被写体Ｂのコントラスト値が下がるため、プラス方向に反転させる。
【００３１】
次に、ピークサーチに入る。図3で言うと、sからプラス方向に駆動し、被写体Ｂのコントラストピーク位置uを通り過ぎて、明らかにコントラストが下がったと判定した位置tにおいて、ピークを通り過ぎたと判断する。
【００３２】
次に、オーバーランした分、u‐tの駆動量だけ反転駆動を行い、停止させ、合焦状態を得る。
【００３３】
最後に、各像高において、コントラスト波形と光学系の現在位置のフォーカス敏感度を基に、深度マップを作成する。
【００３４】
ここで、深度マップ作成方法を具体的に説明する。
【００３５】
オーバーランを開始してから、反転駆動するまで、図3で言うとsからtまで、各被写体でのコントラストを取得している。そのため、例えば被写体Ａや被写体Ｃは、sからtの間にコントラストピークがそれぞれ存在するため、コントラストピーク位置をそれぞれw,vと決定できる。現在の光学系の状態に対応する、フォーカスパルスあたりの像面移動量Ｓを参照することで、各被写体のデフォーカス量を算出することが可能になる。被写体ＡであればS×(w-u)、被写体ＣであればS×(v-u)となる。それにより、撮像面位相差測距と同じように、撮影面全体で深度マップを作成することが出来る。
【００３６】
次に、実際に光学データを保持する方法について考える。画像回復フィルタRと点像強度分布関数は、詳細に表現すると、光学系のズームポジションz、フォーカスポジションfo、F値fno、像高（x、y）、デフォーカス状態ｚに応じて変化する、多次元関数R（z、fo、fno、x、y、z）、h（z、fo、fno、x、y、z）である。点像強度分布関数hから画像回復フィルタRは演算可能であるから、どちらかを保持することになる。特許文献３では、画像回復フィルタRを保持し、そのデータ量の削減方法について述べている。画像回復フィルタを保持することのメリットは、点像強度分布関数から画像回復フィルタへの演算処理は省けることである。
【００３７】
ところが、点像強度分布関数から画像回復フィルタへの演算が複雑なため、例えば光学系の瞳を使う領域を限定するだけのFNO変化であっても、それぞれの点像強度分布関数から画像回復フィルタ演算をした後では、その関連性を見出しにくくなってしまう。そのため、結局全ての状態の画像回復フィルタを持つ必要が生じ、データ量が増えてしまう。
【００３８】
それに加え、特許文献３はデフォーカス状態のデータまでは持っていなかったが、本発明ではデフォーカス状態の回復が必要なため、更に１次元増えると、画像回復フィルタの状態でデータを保持することは、非現実的となってくる。
【００３９】
そこで、本発明者は以前、光学的な観点から、保持するデータの次元を減らすことに成功している。具体的には、光学系の横収差を保持する方法である。以下に、その方法について説明する。図４に、光学系の光軸における横収差情報の例を示す。図４−１が、光学系の簡略図と横収差図の各軸が表わす量の説明である。図４−２が、具体的な横収差図である。横軸が瞳位置における座標であり、縦軸が結像する像高になる。
【００４０】
図５はこの光学系において、FNOを変化させた時の横収差情報である。図５−１が、FNOを変化させた時の光学系の簡略図である。図５−２が、その時の横収差図である。
【００４１】
図５から分かる通り、FNO変化は、単純に開放状態の横収差の横軸を縮小するだけで得ることが出来る。
【００４２】
よって、保持する情報としては、FNOの次元を減らすことが出来る。
次に、デフォーカス状態について考える。
【００４３】
図６はこの光学系において、Δｚのデフォーカスを与えた時の横収差情報である。図６−１が、Δｚのデフォーカスを与えた時の光学系の簡略図である。図６−２が、その時の横収差図である。
【００４４】
今、光学系のFNOをF、瞳最周辺高さをXmax、瞳の任意の高さをxとし、Δzだけデフォーカスした時のxの位置での横収差の変位ΔYは、幾何計算から下記のように表わせる。
ΔY＝−Xmax／2Fx×Δz
以上より、デフォーカスの変化は、単純に結像状態の横収差をΔzに応じて上式で求められるΔYを付与するだけで得ることが出来る。
【００４５】
よって、保持する情報としては、デフォーカスの次元を減らすことが出来る。
【００４６】
以上より、光学系の横収差情報は、簡易演算することで、FNOとデフォーカスの次元を減らせることができる。
【００４７】
次に、横収差から画像回復フィルタ作成までの方法について説明する。
まず、点像強度分布関数の一般的な計算方法を説明する。光学系の入射瞳面で面積を等分割し、十分に細分化した状態で、各小区画の中心を通る光線が像面と結ぶ点にスポットを打つ。これを瞳全面で行ったものが、スポットダイアグラムと呼ばれるものである。次に、スポットダイアグラムの座標面に細かいメッシュを切り、各メッシュに入る光線本数をカウントし、その本数を２次元座標の各点毎に、強度値として３次元方向にプロットしたものが、点像強度分布関数である。つまり、スポットダイアグラムを２次元ヒストグラム化したものが点像強度分布関数である。
【００４８】
図７−１は代表的なレンズの光軸におけるスポットダイアグラムと、１断面における点像強度分布関数である。図７−２は、代表的なレンズの軸外におけるスポットダイアグラムと、2断面における点像強度分布関数である。スポットダイアグラムは、縦軸横軸が位置座標で、縦方向がメリディオナル、横方向がサジタルであり、濃度が濃い所程光線が密になっていることを表わす。
【００４９】
次に、横収差からスポットダイアグラムを求める方法について考える。軸外の場合について、図７−３を参照しながら考える。図７−３は各位相の瞳の断面における、サジタル成分、メリディオナル成分の横収差と、それらからプロットされたスポットダイアグラムを表わしている。ここで、瞳断面位相が0度の時、メリディオナルのみ収差を持ち、サジタル成分の収差は0であるため、メリディオナル断面のみの横収差が表記されており、その時のスポットダイアグラム布は、縦軸方向にのみ広がっている。
【００５０】
前述したスポットダイアグラムの定義に従うと、サジタル成分,メリディオナル成分それぞれの横収差の横軸を同じ分割数で等分割し、各分割点の縦軸の値を、サジタル成分を横軸、メリディオナル成分を縦軸としてプロットしたものが、その瞳位相における、スポットダイアグラムである。
【００５１】
図７−３のように、細かい位相分割で行っていき、それらを足し合わせると、瞳面上でのスポットダイアグラムになる。図７−３から分かる通り、位相を細分化して行くことで、図７−２のスポットダイアグラムに近付く。こうすることで、横収差からスポットダイアグラムを得ることが出来る。
【００５２】
しかしながら、細分化した位相の全てにおいて、横収差情報を持つと、その情報量は莫大となり、点像強度分布関数そのものを持つことに対してメリットがなくなる。
【００５３】
そこで、必要最低限の位相だけ横収差情報を持ち、他の位相は保持する横収差情報から補間する方法を取った。
【００５４】
図７−４に、１５度位相の横収差とそれから求められるスポットダイアグラム、また、0度と45度の横収差情報から補間して得た15度位相の横収差と、それから求められるスポットダイアグラムを示す。図７−４に示す通り、これら2つの差異は殆どなく、補間可能であることが分かる。大抵の収差は、最大でも0度、45度、90度の3断面を持てば高精度で補間可能であり、楕円形状のスポットダイアグラムにおいては、0度と90度の2断面で、光軸においては回転対称のため1断面で良いことが分かっている。
【００５５】
こうして得たスポットダイアグラムを前述の処理により、点像強度分布関数化することで、少ないデータ量で点像強度分布関数を得られる。
【００５６】
点像強度分布関数や、画像回復フィルタにした状態でデータ保持しようとすると、図７−２のような複雑な強度分布を精度よく保持するためには、２次元座標とそれに応じた強度の関係から成る、３次元情報をある程度細分化する必要があり、データ量が莫大になる。
しかしながら、横収差情報は、連続性がある１次元情報であるため、複数の位相で持ったとしても、データ量を十分に軽減できる。
【００５７】
更に、前述した通り、FNO変化やデフォーカス変化については、開放の結像状態の横収差から演算して得ることができる。
【００５８】
以上のようにして、デフォーカス状態まで含む画像回復に必要な光学情報を、大幅に削減し、かつアウトフォーカス状態を含めて高精度な画像回復処理を可能にしている。
【００５９】
また、撮像光学系の波面収差を直交座標系の多項式で表すツェルニケ多項式が一般的に知られている。
ツェルニケ係数の第４項がデフォーカス項であるため、それを変化させることで、アウトフォーカス状態の波面収差を表現することが出来る。
【００６０】
よって、保持する光学結像情報は、ツェルニケ多項式のように、デフォーカス項を独立して表現可能な、波面収差を表す多項式の係数であっても良い。
【００６１】
本発明では、これらの考え方を応用し、レンズの製造誤差に対しても正確な画像回復フィルタを得る方法について考える。
【００６２】
光学系は、光学要素の一部が光軸方向に誤差を持つことで、像面湾曲が発生する。また、光学要素の一部が光軸垂直方向に誤差を持つことで、光軸に対して誤差のベクトル方向とその反対方向において、像面湾曲がオーバー側とアンダー側にそれぞれ発生する。また、これらの製造誤差が発生する時、サジタルとメリディオナルは、誤差に対する変動量が異なる。通常は、メリディオナル成分の変動が大きい。そのため、非点収差を発生させながら、像面を湾曲させていくことになる。
【００６３】
このような、非点収差や像面湾曲といった製造誤差が発生しても正確な画像回復フィルタを得るためには、まず撮影時に光学系の製造誤差状態、具体的にはサジタル像面とメリディオナル像面を詳しく把握する必要がある。その方法として、前述した撮像面位相差測距やコントラスト演算方式の測距を応用した。１つの測距点につき、メリディオナル成分とサジタル成分に対応した２方向の測距が可能な直行クロス測距を行うことで、サジタル成分とメリディオナル成分それぞれの、デフォーカス状態を得ることが出来る。その差分が非点収差になるが、この非点収差は、設計的な残存収差と製造誤差により発生した非点収差を加算した、実物の非点収差そのものである。
【００６４】
このようなクロス測距点を、少なくとも４点配置することで、センサー上の位置と非点収差量の関係を二次曲面近似することが出来、センサー上の全箇所での光学系の非点収差を表現することが出来る。この時の４点は、光軸を通る任意の２つの直線上に、光軸を挟んで両側に、配置すると光学的に近似誤差の少ないフィッティングができるため、好ましい。また、コントラスト演算でクロス測距を行う場合、通常の撮像面は水平垂直方向に画素が整列されるため、撮像面位相差測距やコントラスト演算も、水平方向と垂直方向に行うことが、最も簡単でかつ精度が良い。そのため、センサー中心である光軸に対し、上下と左右の方向に、クロス測距点を配置すれば、サジタル成分とメリディオナル成分に対応することになる。
【００６５】
尚、ここまでの二次曲面フィッティングは、光軸の非点収差が０という前提である。
光学系はごく稀に、光軸で非点収差が発生することがあるが、その場合は、二次曲面の定数項を算出するべく、光軸を含む５点で近似すればよい。
【００６６】
以上のようにして得られた非点収差を、前述のようにして得た深度マップに付加することで、サジタル成分とメリディオナル成分の深度マップを作成することが出来る。但し、その具体的な方法は、深度マップを作成した時の各測距点のスキャン方向によって、変わってくる。
【００６７】
サジタル成分で測距した箇所では、測距値そのものがサジタル成分のデフォーカスであり、そこから非点収差成分を引けばメリディオナル成分のデフォーカスが得られる。メリディオナル成分で測距した箇所では、測距値そのものがメリディオナル成分のデフォーカスであり、そこから非点収差成分を足せば、サジタル成分のデフォーカスが得られる。斜め方向に測距した箇所では、スキャン方向に対する、メリディオナル方向の角度とサジタル方向の角度で、非点収差量を重み付けし、測距結果にそれぞれ加算・減算したものが、各成分のデフォーカスである。
【００６８】
以上のようにして得られたサジタル成分とメリディオナル成分の深度マップを、横収差のサジタル成分とメリディオナル成分のデフォーカス量として与えて合成することで、製造誤差があるレンズであっても、また、アウトフォーカスの被写体であっても、正確な画像回復フィルタを得られることに成功した。
【００６９】
また、サジタル成分とメリディオナル成分の深度情報を、ツェルニケ係数のデフォーカス項（第４項）と、０度位相と９０度位相の非点収差を表わす項（第５項）に与えることでも、同様に正確な画像回復フィルタを得ることができる。
【００７０】
保持する光学結像情報は、横収差やツェルニケ多項式だけでなく、デフォーカスと非点収差を独立して付与可能で、そこから点像強度分布関数を作成できる方法で有れば、どんな方法でも良い。
【００７１】
以下に、本発明を具体的に実施する構成について説明する。各実施例は、レンズ装置と撮像装置から成る交換レンズ式撮像システムにおける例を示している。勿論、レンズと撮像装置の関係が固定である、コンパクトデジタルカメラやビデオカメラ等で本発明を使用しても良いが、装着されるレンズ装置との組み合わせが無数にある交換レンズ式撮像システムにおいて、特に効果を発揮する。
【００７２】
光学情報はレンズ装置が保持しており、撮像装置からのデータ要求を受けて、必要な情報を撮像装置に送信する。実施例１では、撮像装置が、光学情報をレンズ装置から受け取り、画像回復フィルタの生成及び画像回復処理演算を行う。
【００７３】
また、オートフォーカスには、撮像装置に配置した測距ユニットで距離を測定し、レンズの光学情報を元に、撮像装置からレンズ装置に駆動命令を下すことで行う。また、画像の各座標におけるデフォーカス情報（深度マップ）を得る方法は、撮像面に複数配置した位相差測距により行う。
【００７４】
また、前記、撮像装置に配置した測距ユニットが、光軸に対して上下左右の４か所で、サジタル方向とメリディオナル方向に対応するクロス測距を行う測距点を有しており、各測距点において製造誤差を含む非点収差を算出している。レンズ装置、及び撮像装置のより詳細な構造の説明は、本発明の趣旨ではないため、省略する。
【００７５】
図８−１に示すフローチャートを元に、具体的な処理方法を説明する。
【００７６】
ステップ101で撮影実行命令が下ったら、ステップ102の測距点位相差情報取得に移行する。
【００７７】
前記測距ユニットを使用し、予めユーザーが選択したピントを合わせたい測距点において、デフォーカス状態を測定する。
【００７８】
次に、ステップ103の光学系のパラメータ取得を行う。具体的には、光学系のズーム位置、フォーカス位置等を読み取り、それに応じたフォーカス敏感度（フォーカスレンズ群１パルス駆動当たりのデフォーカス量）等を取得する。
【００７９】
ステップ104では、それらの光学位置特有の光学情報を使用し、光学系を合焦させるために必要なフォーカス駆動量を決定し、ステップ105でレンズに駆動命令を出し、レンズが駆動する。
【００８０】
ステップ106では、駆動後の測距を再度行う。またこの時、前記４点のクロス測距点のデフォーカス状態も同時に取得する。
【００８１】
ステップ107では、ステップ106の測距結果が合焦状態か否かの判定を行い、非合焦の場合は、再び103の光学系のパラメータ取得に戻り、合焦状態への追い込みループに入る。合焦判定の場合は、ステップ111で深度マップを作成するために、撮像面位相差情報の取得（ステップ108）を行う。ステップ108の撮像面位相差情報取得から、ステップ111の深度マップ作成までの流れは、図2の説明で前述した通りである。
【００８２】
本発明では更に、得られた深度マップに、ステップ106で取得したクロス測距情報に、非点数差を付加することで、サジタルとメリディオナルの２つの深度マップが得られる。
【００８３】
これらの深度マップにより、（x、y、z）の情報が得られたことになり、デフォーカス状態かつ製造誤差に対応した画像回復フィルタの作成が可能になる。
【００８４】
次に、ステップ112で撮影画像を作成するための像信号取得（ステップ109）を行う。
【００８５】
ステップ110では、レンズから光学情報を取得し、ステップ113で、サジタルとメリディオナルの深度マップを使用し、画像回復フィルタを作成する。
【００８６】
ステップ114で撮影画像に画像回復処理を施し、ステップ115で表示と保存をして、終了となる。
【００８７】
実施例２では、撮像装置は、撮像と深度マップ作成までを行う。
【００８８】
オートフォーカスは、フォーカシングレンズを駆動しながら、コントラスト値を演算し、その波形ピークを探してから、ピーク位置に合焦させる、所謂コントラストオートフォーカスを行う。
【００８９】
深度マップを得る方法についても、コントラストオートフォーカス中に、各座標においてもコントラストピーク位置をサーチすることで行う。
【００９０】
また、コントラストオートフォーカスを行う測距点のうち、光軸から略垂直水平方向の４方向に、クロス測距を行う測距点を少なくとも１点ずつ有しており、各測距点において製造誤差を含む非点収差を算出している。
【００９１】
コントラストオートフォーカスは、画素が配列される垂直方向か水平方向で行うことが最も簡単かつ高精度となるため、クロス測距点を光軸から上下左右の位置では、サジタルとメリディオナルに対応した方向で、高精度なクロス測距を行うことが出来る。
【００９２】
図８−２に示すフローチャートを参照しながら処理方法を説明する。コントラストオートフォーカスの詳細説明は、図３の説明で前述した通理である。
【００９３】
ステップ201の撮影命令が下り次第、ステップ202のコントラスト値取得が開始する。
【００９４】
具体的には、被写体のエッジ部分の鮮鋭度を演算する。
【００９５】
この時、前記クロス測距点のコントラスト値も同時に取得開始する。
【００９６】
ステップ203の初期フォーカス駆動では、フォーカス駆動を無限側または至近側、任意の方向に動かし、ステップ204の駆動方向判別に移行する。
【００９７】
ステップ204で、コントラスト値が上がれば、初期駆動方向が正しい駆動方向であり、コントラスト値が下がれば、駆動方向が反対なので、反転する必要がある。
【００９８】
ステップ205では、ステップ204で決定した方向に、フォーカス駆動を行う。
【００９９】
次に、ステップ206で、オーバーラン判定を行う。
【０１００】
次に、ステップ207で、オーバーランした分を戻す駆動量を決定する。
【０１０１】
次に、ステップ208で、反転駆動を行い停止させる。
【０１０２】
ここでコントラスト値の取得を終了する（ステップ209）。
【０１０３】
次に、ステップ212で撮影画像を作成するための像信号取得（ステップ210）を行う。
【０１０４】
次に、ステップ211で、コントラスト波形と光学系の現在位置のフォーカス敏感度を基に、深度マップを作成する。
【０１０５】
それにより、撮像面位相差測距と同じように、撮影面全体で深度マップを作成することが出来る。本発明では更にこの時、得られた深度マップに、前記クロス測距の結果から、非点数差を付加することで、サジタルとメリディオナルの２つの深度マップが得られる。
【０１０６】
次に、ステップ212で撮影画像を作成し、更に光学系の撮影パラメータ（ズーム位置、フォーカス位置、F値）を書き込む。次に、光学系の撮影パラメータが書き込まれた撮影画像と、２つの深度マップを取り出し、光学結像情報を保持する演算装置で取り込む。
【０１０７】
演算装置は、ステップ301で、撮影画像から撮影パラメータを読み込み、ステップ302で深度マップを読み込み、ステップ303で、現在の光学系の状態に対応する光学結像情報を参照し、深度マップ情報を元に画像回復フィルタを作成する。
【０１０８】
ステップ304で、画像回復演算を行い、ステップ305で回復画像の保存と表示を行い、終了になる。
【０１０９】
尚、光学情報は、横収差情報やツェルニケ係数情報のように、サジタルとメリディオナルのピント成分を独立して与えることができ、それらを合成することで結像情報を形成できる方法であれば、どんな形でもよい。
【０１１０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１１１】
本発明は、デジタルカメラなどの撮像機器や、画像編集ソフトに応用可能である。
【符号の説明】
【０１１２】
Ａ，Ｂ，Ｃ  被写体
【図１−１】
2016192620.tif 000003
【図１−２】
2016192620.tif 000004
【図１−３】
2016192620.tif 000005
【図２】
2016192620.tif 000006
【図３】
2016192620.tif 000007
【図４】
2016192620.tif 000008
【図５】
2016192620.tif 000009
【図６】
2016192620.tif 000010
【図７−１】
2016192620.tif 000011
【図７−２】
2016192620.tif 000012
【図７−３】
2016192620.tif 000013
【図７−４】
2016192620.tif 000014
【図８−１】
2016192620.tif 000015
【図８−２】
2016192620.tif 000016