(57)【要約】【課題】デフォーカス状態まで含む画像回復に必要な光学情報を少ないデータ量で保持し、かつアウトフォーカス状態を含めて高精度な画像回復処理を行うこと。【解決手段】本発明の撮像装置、演算装置、または演算プログラムは、光学系の結像状態に応じて、少なくとも瞳１断面の横収差情報を保持し、横収差情報を元に画像回復フィルタを生成する手段と、得られた画像回復フィルタにより原画像を回復処理する手段を有することを特徴とする。【選択図】図５−３
2016192003.tif 000002
【特許請求の範囲】
【請求項１】
光学系の結像状態に応じて、少なくとも瞳１断面の横収差情報を保持し、
横収差情報を元に画像回復フィルタを生成する手段と、
得られた画像回復フィルタにより原画像を回復処理する手段を有することを特徴とする撮像装置、演算装置、または演算プログラム。
【請求項２】
前記横収差情報が、光学系のＦＮＯのパラメータを持たず、前記回復フィルタを生成する手段において、保持する横収差情報から演算することで、ＦＮＯを変化させた状態の回復フィルタを生成することを特徴とする請求項１に記載の撮像装置、演算装置、または演算プログラム。
【請求項３】
前記横収差情報が、光学系のデフォーカスのパラメータを持たず、前記回復フィルタを生成する手段において、保持する横収差情報から演算することで、デフォーカスを変化させた状態の回復フィルタを生成することを特徴とする、請求項１又は請求項２に記載の撮像装置、演算装置、または演算プログラム。
【請求項４】
前記横収差情報を持つレンズ装置を取り付けることで撮影可能であり、かつレンズ装置から横収差情報を取得し、請求項１乃至請求項３の何れか一項に記載の演算処理を行うことを特徴とする撮像装置。
【請求項５】
前記横収差情報を保持し、かつ請求項１乃至請求項３の何れか一項に記載の演算処理を行う撮像装置に、それを送信可能であることを特徴とするレンズ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその画像処理に関する発明であり、特に画像を回復（復元）処理するものに関する。
【背景技術】
【０００２】
従来より、撮像装置において、光学的な結像劣化をその光学系固有の補正情報を用いて補正し、良好な画像を得る手段、及びその処理方法が種々報告されている。
【０００３】
特許文献１には、像面と物体面の１対１の関係において、球面収差やコマ収差等の光学的画像劣化を回復する画像回復処理が報告されている。
【０００４】
特許文献２には、デフォーカス検知と、デフォーカスに応じた点像強度分布関数（PSF）により、物像間の共役関係から逸脱した、アウトフォーカス部分の回復も行い、深度を拡大する画像回復処理が紹介されている
一方で、画像回復を行うには、光学系の結像状態（ズーム、フォーカスポジション、像高、F値）によって、２次元フィルタが必要になるため、そのデータ量は莫大になる。
【０００５】
特許文献３には、画像回復フィルタのデータ量を極力軽減する方法が紹介されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２１７０８７号公報
【特許文献２】特開２０１２−０６５１１４号公報
【特許文献３】特開２０１２−０７３６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２に示すような、アウトフォーカス部分にまで拡大した高度な画像回復を行うには、前述した結像状態に加え、デフォーカス状態の次元が増えるため、更にデータ量は飛躍的に増大する。
【０００８】
そこで、本発明では、デフォーカス状態まで含む画像回復に必要な光学情報を少ないデータ量で保持し、かつアウトフォーカス状態を含めて高精度な画像回復処理を行うことを課題としている。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮像装置、演算装置、または演算プログラムは、
光学系の結像状態に応じて、少なくとも瞳１断面の横収差情報を保持し、
横収差情報を元に画像回復フィルタを生成する手段と、
得られた画像回復フィルタにより原画像を回復処理する手段を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、デフォーカス状態まで含む画像回復に必要な光学情報を少ないデータ量で保持し、かつアウトフォーカス状態を含めて高精度な画像回復処理が可能な、撮像装置、演算装置、またはその演算プログラムを得ることが出来る。
【図面の簡単な説明】
【００１１】
【図１−１】奥行のある被写体と撮影光学系
【図１−２】平面射影被写体
【図１−３】奥行のある被写体の撮影画像
【図２】図２−１：光学系の簡略図と横収差の各軸の説明、図２−２：横収差の具体例
【図３】図３−１：ＦＮＯを変化させた時の光学系の簡略図、図３−２：ＦＮＯを変化させた時の横収差図
【図４】図４−１：デフォーカスを変化させた時の光学系の簡略図、図４−２：デフォーカスを変化させた時の横収差図
【図５−１】光軸のスポットダイアグラム例
【図５−２】軸外のスポットダイアグラム例
【図５−３】横収差からスポットダイアグラムを生成する方法の説明図
【図５−４】横収差を実計算と補間演算からそれぞれ得た時の、スポットダイアグラムの比較図
【図６−１】交換レンズ式撮像装置における、本発明のフローチャート
【図６−２】コンパクトデジタルカメラにおける、本発明のフローチャート
【図７】撮像面位相差測距で得られる深度マップ
【図８】コントラストオートフォーカスから深度マップを得る際の過程
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態を図面に基づいて説明する。
【００１３】
まず、像面と物体面が１対１の関係の画像回復処理について考える。撮像光学系においては、物体側の原画像をf（x、y）、光学系の性能を表す点像分布関数（ＰＳＦ）をh（x，y）、光学系を通した後の像面側の劣化画像をg（x，y）とすると、次式の関係が成立する。
ここで、＊はコンボリューション（畳み込み）であり、（x，y）は画像上の座標である。
［数式１］  g（x，y）＝h（x、y）＊f（x、y）
次に、この関係式を元に、画像回復処理を行う方法について説明する。
数式１をフーリエ変換すると次式のように周波数ごとの積の形式になる。
ここで、HはOTFであり、（u，v）は２次元周波数面での座標、即ち周波数である。
［数式２］  G（u，v）＝H（u，v）×F（u，v）    
数式２の両辺をHで除算してF（u，v）を逆フーリエ変換して実面に戻すことによって原画像f（x，y）が、回復像として得られる。
ここで、H-1を逆フーリエ変換したものをRとすると次式が成立する。
［数式３］  f（x，y）＝g（x，y）＊R（x、y）
R（x、y）は、画像回復フィルタであり、レンズの光学情報を元に作成できるため、実面での画像に対するコンボリューションを行うことで同様に原画像を得ることができる。
【００１４】
以上の方法が、像面と物体面が１対１の関係の、画像回復の基本的な考え方である。
【００１５】
次に、アウトフォーカス状態を含む、画像回復処理について考える。実際の撮像装置において、像面に対応する撮像面については平面であるが、物体面に対応する被写体は、必ずしも平面ではないため、物体面から奥行方向（z方向）に逸脱する被写体も多い。この時、物体面から奥行方向に逸脱した被写体は、撮像面においてもz方向に逸脱した位置に像を結ぶため、撮像面上では、ボケた像となる。このことを点像分布関数で表現する。
【００１６】
撮像面から見ると、被写体の奥行方向に応じて像が結ぶ位置がボケたり、鮮鋭になったりするため、前記点像分布関数のh（x、y）は、３次元のh（x、y、z）で表現される。
即ち、立体の被写体を撮影する時は、下記のように数式化される。
［数式４］  g’（x，y）＝f’（x、y）＊h（x、y、z）
ここで、f’（x，y）は、立体物である被写体f（x、y、z）を任意の平面に射影した、平面射影原画像であり、最終的に得たい画像である。
【００１７】
図１を用いて、平面射影原画像の説明をする。図１−１には、奥行のある被写体と撮影光学系を表す図である。撮像光学系の主点Ｈから各被写体ＡＢＣに向かって放射状に線を引いた時、それらが像面と平行な任意の平面と公差する点が、被写体の射影点である。これらを全ての被写体で行ったものが、平面射影原画像であり、図１−２のようになる。
【００１８】
被写体ＡＢＣの大きさは、実際は同じであるが、主点からの距離が近いほど拡大された像になっていることが分かる。この平面射影原画像f’（x、y）に、それぞれの座標、及びアウトフォーカス状態の点像強度関数h（x、y、z）を掛けて得られる画像が、g’（x，y）である。被写体Ａや被写体Ｃは、物体面から逸脱しているため、ボケた点像強度関数が掛かり、比較的物体面に近い被写体Ｂには、鮮鋭な点像強度関数が掛かり、その結果得られるg’（x、y）は、図１−３のようになる。
【００１９】
このようにして得られた劣化画像g’（x、y）から、平面射影原画像f’（x、y）を得る方法について考える。数式１と数式３の関係から、劣化画像にR（x、y、z）なる、z方向の関数も持つ画像回復フィルタを掛けた、
［数式５］  f’（x、y）＝g’（x，y）＊R（x、y、z）
のように表現できる。
【００２０】
ここで、劣化画像g’（x，y）は平面情報のため、zの情報が抜け落ちており、R（x、y、z）のzの項が特定できず、劣化画像からだけでは、平面射影原画像への回復処理を行うことが出来ない。
【００２１】
ｚの情報を得るためには、撮影時にセンサー面の座標に応じて、デフォーカス状態を得て、その情報からzを特定する等の工夫が必要になるが、それらの具体的方法の説明については、実施例の説明で行うものとする。以降、（x、ｙ）座標とｚの関係が得られたものとして進める。
【００２２】
ここで、実際に光学データを保持する方法について考える。画像回復フィルタRと点像強度分布関数は、より詳細に表現すると、光学系のズームポジションz、フォーカスポジションfo、F値fno、像高（x、y）、デフォーカス状態ｚに応じて変化する、多次元関数R（z、fo、fno、x、y、z）、h（z、fo、fno、x、y、z）である。
【００２３】
点像強度分布関数hから画像回復フィルタRは演算可能であるから、どちらかを保持することになる。特許文献３では、画像回復フィルタRを保持し、そのデータ量の削減方法について述べている。画像回復フィルタを保持することのメリットは、点像強度分布関数から画像回復フィルタへの演算処理は省けることである。
【００２４】
ところが、点像強度分布関数から画像回復フィルタへの演算が複雑なため、例えば光学系の瞳を使う領域を限定するだけのFNO変化であっても、それぞれの点像強度分布関数から画像回復フィルタ演算をした後では、その関連性を見出しにくくなってしまう。そのため、結局全ての状態の画像回復フィルタを持つ必要が生じ、データ量が増えてしまう。
【００２５】
それに加え、デフォーカス状態の次元まで増えると、画像回復フィルタの状態でデータを保持することは、非現実的となってくる。
【００２６】
そこで、本発明では、光学的な観点から、保持するデータの次元を減らすことを試みた。具体的には、光学系の横収差に着目した。
【００２７】
図２に、光学系の光軸における横収差情報の例を示す。図２−１が、光学系の簡略図と横収差図の各軸が表わす量の説明である。図２−２が、具体的な横収差図である。横軸が瞳位置における座標であり、縦軸が結像する像高になる。図３はこの光学系において、FNOを変化させた時の横収差情報である。図３−１が、FNOを変化させた時の光学系の簡略図である。図３−２が、その時の横収差図である。図３から分かる通り、FNO変化は、単純に開放状態の横収差の横軸を縮小するだけで得ることが出来る。よって、保持する情報としては、FNOの次元を減らすことが出来る。
【００２８】
次に、デフォーカス状態について考える。図４はこの光学系において、Δｚのデフォーカスを与えた時の横収差情報である。図４−１が、Δｚのデフォーカスを与えた時の光学系の簡略図である。図４−２が、その時の横収差図である。
【００２９】
今、光学系のFNOをF、瞳最周辺高さをXmax、瞳の任意の高さをxとし、Δzだけデフォーカスした時のxの位置での横収差の変位ΔYは、幾何計算から下記のように表わせる。
ΔY＝−Xmax／2Fx×Δz
以上より、デフォーカスの変化は、単純に結像状態の横収差をΔzに応じて上式で求められるΔYを付与するだけで得ることが出来る。よって、保持する情報としては、デフォーカスの次元を減らすことが出来る。
【００３０】
以上より、光学系の横収差情報は、簡易演算することで、FNOとデフォーカスの次元を減らせることができる。
【００３１】
ここで、横収差から画像回復への応用について考える。まず、点像強度分布関数の一般的な計算方法を説明する。光学系の入射瞳面で面積を等分割し、十分に細分化した状態で、各小区画の中心を通る光線が像面と結ぶ点にスポットを打つ。これを瞳全面で行ったものが、スポットダイアグラムと呼ばれるものである。
【００３２】
次に、スポットダイアグラムの座標面に細かいメッシュを切り、各メッシュに入る光線本数をカウントし、その本数を２次元座標の各点毎に、強度値として３次元方向にプロットしたものが、点像強度分布関数である。つまり、スポットダイアグラムを２次元ヒストグラム化したものが点像強度分布関数である。
【００３３】
図５−１は代表的なレンズの光軸におけるスポットダイアグラムと、１断面における点像強度分布関数である。図５−２は、代表的なレンズの軸外におけるスポットダイアグラムと、2断面における点像強度分布関数である。スポットダイアグラムは、縦軸横軸が位置座標で、縦方向がMeri、横方向がSagiであり、濃度が濃い所程光線が密になっていることを表わす。
【００３４】
次に、横収差からスポットダイアグラムを求める方法について考える。軸外の場合について、図５−３を参照しながら考える。図５−３は、各位相の瞳の断面における、Sagi成分、Meri成分の横収差と、それらからプロットされたスポットダイアグラムを表わしている。ここで、瞳断面位相が0度の時、Meriのみ収差を持ち、Sagi成分の収差は0であるため、Meri断面のみの横収差が表記されており、その時のスポットダイアグラム布は、縦軸方向にのみ広がっている。
【００３５】
前述したスポットダイアグラムの定義に従うと、Sagi成分,Meri成分それぞれの横収差の横軸を同じ分割数で等分割し、各分割点の縦軸の値を、Sagi成分を横軸、Meri成分を縦軸としてプロットしたものが、その瞳位相における、スポットダイアグラムである。図５−３のように、細かい位相分割で行っていき、それらを足し合わせると、瞳面上でのスポットダイアグラムになる。図５−３から分かる通り、位相を細分化して行くことで、図５−２のスポットダイアグラムに近付く。こうすることで、横収差からスポットダイアグラムを得ることが出来る。
【００３６】
しかしながら、細分化した位相の全てにおいて、横収差情報を持つと、その情報量は莫大となり、点像強度分布関数そのものを持つことに対してメリットがなくなる。
【００３７】
そこで、必要最低限の位相だけ横収差情報を持ち、他の位相は保持する横収差情報から補間する方法を取った。
【００３８】
図５−４に、１５度位相の横収差とそれから求められるスポットダイアグラム、また、0度と45度の横収差情報から補間して得た15度位相の横収差と、それから求められるスポットダイアグラムを示す。図５−４に示す通り、これら2つの差異は殆どなく、補間可能であることが分かる。鋭意検討の結果、大抵の収差は、最大でも0度、45度、90度の3断面を持てば高精度で補間可能であり、楕円形状のスポットダイアグラムにおいては、0度と90度の2断面で、光軸においては回転対称のため1断面で良いことが分かった。
【００３９】
最後に、こうして得たスポットダイアグラムを前述の処理により、点像強度分布関数化することで、少ないデータ量で点像強度分布関数を得られる。
【００４０】
点像強度分布関数や、画像回復フィルタにした状態でデータ保持しようとすると、図５−２のような複雑な強度分布を精度よく保持するためには、２次元座標とそれに応じた強度の関係から成る、３次元情報をある程度細分化する必要があり、データ量が莫大になる。
【００４１】
しかしながら、横収差情報は、連続性がある１次元情報であるため、複数の位相で持ったとしても、データ量を十分に軽減できる。更に、前述した通り、FNO変化やデフォーカス変化については、開放の結像状態の横収差から演算して得ることができる。
【００４２】
以上のことから、デフォーカス状態まで含む画像回復に必要な光学情報を、大幅に削減し、かつアウトフォーカス状態を含めて高精度な画像回復処理が可能になった。
【００４３】
以下に、本発明を具体的に実施する構成について説明する。
【００４４】
実施例１は、レンズ装置と撮像装置から成る交換レンズ式撮像システムにおける実施例である。実施例１では、横収差情報を含む光学情報はレンズ装置が保持しており、撮像装置からのデータ要求を受けて、必要な情報を撮像装置に送信する。
【００４５】
撮像装置は、横収差情報をレンズ装置から受け取り、画像回復フィルタの生成及び画像回復処理演算を行う。また、オートフォーカスには、撮像装置に配置した測距ユニットで距離を測定し、レンズの光学情報を元に、撮像装置からレンズ装置に駆動命令を下すことで行う。また、画像の各座標におけるデフォーカス情報（深度マップ）を得る方法は、撮像面に複数配置した位相差測距により行う。レンズ装置、及び撮像装置のより詳細な構造の説明は、本発明の趣旨ではないため、省略する。
【００４６】
図６−１に示すフローチャートを元に、具体的な処理方法を説明する。
ステップ101で撮影実行命令が下ったら、ステップ102の測距点位相差情報取得に移行する。予めユーザーが選択した、ピントを合わせたい測距点において、デフォーカス状態を測定する。ミラーを用いてオートフォーカス光学系に入射させて瞳を分離する、所謂外測位相差測距でも良いし、撮像面に配置した撮像面位相差測距でも良い。
【００４７】
次に、ステップ103の光学系のパラメータ取得を行う。具体的には、光学系のズーム位置、フォーカス位置等を読み取り、それに応じたフォーカス敏感度（フォーカスレンズ群１パルス駆動当たりのデフォーカス量）等を取得する。
【００４８】
ステップ104では、それらの光学位置特有の光学情報を使用し、光学系を合焦させるために必要なフォーカス駆動量を決定し、ステップ105でレンズに駆動命令を出し、レンズが駆動する。
【００４９】
ステップ106では、駆動後の測距を再度行う。
【００５０】
ステップ107では、ステップ106の測距結果が合焦状態か否かの判定を行い、非合焦の場合は、再び103の光学系のパラメータ取得に戻り、合焦状態への追い込みループに入る。合焦判定の場合は、ステップ111で深度マップを作成するための撮像面位相差情報の取得（ステップ108）を行う。
【００５１】
ここで、ステップ108の撮像面位相差情報取得から、ステップ111の深度マップ作成までの流れを、図７を参照しながら説明する。図７(a)に示す、無数の矩形が撮像面測距を行うポイントである。実際は、矩形領域の中心に位置する画素に、瞳分離手段が配置されているが、撮像面位相差測距の詳しい方法の説明は、省略する。それぞれから得られたデフォーカス量を図７(b)のようにマップ化したものが、深度マップである。
【００５２】
今、合焦状態にある被写体Ｂのデフォーカスが０であり、前ピン状態の被写体Ａが、マイナスのデフォーカス量、後ピン状態の被写体Ｃが、プラスのデフォーカス量、被写体Ｃよりも奥にある背景Ｄが、更に大きいプラスのデフォーカス量となる。この深度マップにより、（x、y、z）の情報が得られたことになり、デフォーカス状態の画像回復フィルタの作成が可能になる。
【００５３】
次に、ステップ112で撮影画像を作成するための像信号取得（ステップ109）を行う。
【００５４】
ステップ110では、レンズから横収差情報を取得し、ステップ113で、横収差と深度マップと光学系のパラメータに応じ、画像回復フィルタを作成する。
【００５５】
ステップ114で撮影画像に画像回復処理を施し、ステップ115で表示と保存をして、終了となる。
【００５６】
実施例２は、撮像装置とレンズの関係が固定である、コンパクトデジタルカメラにおける、実施例である。
【００５７】
撮像装置自体が光学データを保持しており、画像回復フィルタの生成及び画像回復処理演算を行う。オートフォーカスは、フォーカシングレンズを駆動しながら、コントラスト値を演算し、その波形ピークを探してから、ピーク位置に合焦させる、所謂コントラストオートフォーカスを行う。深度マップを得る方法についても、コントラストオートフォーカス中に、各座標においてもコントラストピーク位置をサーチすることで行う。
【００５８】
図６−２に示すフローチャートと図８を元に、具体的な処理方法を説明する。現在のフォーカス位置は、図８で言うと、ｓの位置であり、合焦させたい被写体は、被写体Ｂであるとする。
【００５９】
ステップ201の撮影命令が下り次第、ステップ202のコントラスト値取得が開始する。具体的には、被写体のエッジ部分の鮮鋭度を演算する。
【００６０】
ステップ203の初期フォーカス駆動では、フォーカス駆動を無限側または至近側、任意の方向に動かし、ステップ204の駆動方向判別に移行する。
【００６１】
ステップ204で、コントラスト値が上がれば、初期駆動方向が正しい駆動方向であり、コントラスト値が下がれば、駆動方向が反対なので、反転する必要がある。図８で言うと、初期駆動方向がマイナスの場合は、被写体Ｂのコントラスト値が下がるため、プラス方向に反転させる。
【００６２】
ステップ205では、ステップ204で決定した方向に、フォーカス駆動を行う。図８で言うと、sからプラス方向に駆動する。
【００６３】
次に、ステップ206で、オーバーラン判定を行う。図８で、被写体Ｂのコントラストピーク位置uを通り過ぎて、明らかにコントラストが下がったと判定した位置tにおいて、ピークを通り過ぎたと判断する。
【００６４】
次に、ステップ207で、オーバーランした分を戻す駆動量を決定する。具体的には、u‐tの駆動量となる。
【００６５】
次に、ステップ208で、反転駆動を行い停止させる。ここでコントラスト値の取得を終了する（ステップ209）。
【００６６】
次に、ステップ212で撮影画像を作成するための像信号取得（ステップ210）を行う。
【００６７】
次に、ステップ211で、コントラスト波形と光学系の現在位置のフォーカス敏感度を基に、深度マップを作成する。
【００６８】
ここで、ステップ211での深度マップ作成方法を具体的に説明する。ステップ205のオーバーランを開始してから、ステップ206のオーバーラン検知の間まで、図７で言うとsからtまで、各被写体でのコントラストを取得している。そのため、例えば被写体Ａや被写体Ｃは、sからtの間にコントラストピークがそれぞれ存在するため、コントラストピーク位置をそれぞれw,vと決定できる。
【００６９】
現在の光学系の状態に対応する、フォーカスパルスあたりの像面移動量Ｓを参照することで、各被写体のデフォーカス量を算出することが可能になる。被写体ＡであればS×(w-u)、被写体ＣであればS×(v-u)となる。それにより、撮像面位相差測距と同じように、撮影面全体で深度マップを作成することが出来る。
【００７０】
次に、ステップ213で、現在の光学系の状態に対応する横収差情報を参照し、画像回復フィルタを作成する。
【００７１】
ステップ214で、画像回復演算を行い、ステップ215で回復画像の保存と表示を行い、終了になる。
【００７２】
尚、演算処理は、実施例１や２のように、撮像装置を用いなくても、撮影画像と深度マップを、横収差情報を持つ他の演算ソフトに移行してから演算処理をしても良い。
【００７３】
また、横収差情報は、瞳１断面の各アジムスにおける１次元情報であれば、縦軸と横軸の定義が多少異なっても良い。
【００７４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７５】
本発明は、デジタルカメラなどの撮像機器や、画像編集ソフトに応用可能である。
【符号の説明】
【００７６】
Ａ，Ｂ，Ｃ  被写体
【図１−１】
2016192003.tif 000003
【図１−２】
2016192003.tif 000004
【図１−３】
2016192003.tif 000005
【図２】
2016192003.tif 000006
【図３】
2016192003.tif 000007
【図４】
2016192003.tif 000008
【図５−１】
2016192003.tif 000009
【図５−２】
2016192003.tif 000010
【図５−３】
2016192003.tif 000011
【図５−４】
2016192003.tif 000012
【図６−１】
2016192003.tif 000013
【図６−２】
2016192003.tif 000014
【図７】
2016192003.tif 000015
【図８】
2016192003.tif 000016