(57)【特許請求の範囲】
【請求項１】
画像の鮮鋭化処理方法において、
第１のサンプリング間隔でサンプリングし、第１の離散化画像を作成するステップと、
第２の離散化の為のサンプリング間隔及びサンプリング格子の傾きを算出するステップと、
前記第１の離散化画像から前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを用いて第２の離散化画像を作成するステップと、
前記作成した第２の離散化画像に対して鮮鋭化処理演算を施すステップと、
前記処理演算を施した画像を、再度前記第１の離散化画像と同じサンプリング格子のデータとして離散化するステップとを有し、
前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを算出するステップが、各画素位置でのサンプリング間隔の縦横の比率を点像分布関数の広がりの縦横の比率に応じて決定し、前記各画素位置でのサンプリング格子の傾きを前記各画素位置の光学中心からの距離と方向に応じて決定するステップを含むことを特徴とする画像処理方法。
【請求項２】
画像の鮮鋭化処理装置において、
第１のサンプリング間隔でサンプリングし、第１の離散化画像を作成する手段と、
第２の離散化の為のサンプリング間隔及びサンプリング格子の傾きを算出する手段と、
前記第１の離散化画像から前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを用いて第２の離散化画像を作成する手段と、
前記作成した第２の離散化画像に対して鮮鋭化処理演算を施す手段と、
前記処理演算を施した画像を、再度前記第１の離散化画像と同じサンプリング格子のデータとして離散化する手段とを有し、
前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを算出する手段は、各画素位置でのサンプリング間隔の縦横の比率を点像分布関数の広がりの縦横の比率に応じて決定し、前記各画素位置でのサンプリング格子の傾きを前記各画素位置の光学中心からの距離と方向に応じて決定する手段を含むことを特徴とする画像処理装置。
【請求項３】
前記第１のサンプリング間隔でサンプリングされた画像に対して、前記サンプリングされた画像の位置と、前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きのパラメータをそれぞれ関連付けて記憶する手段を備えていることを特徴とする請求項２記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像復元処理技術に係わり、特に劣化した画像をより人間の視覚特性に沿い、かつ高速に処理できる画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
近年、ＬＳＩ技術の進展によりデジタルフィルタによる２次元画像処理が広く行われるようになってきた。この２次元画像処理にはローパスフィルタ処理、ハイパスフィルタ処理、コンボルーションフィルタ処理等がある。このコンボルーションフィルタ処理においては、処理対象とする画素を中心とするＮ×Ｎ個（Ｎは２以上。整数）の画素の画像データに夫々所定の重み係数を乗算して、これら乗算結果を加算することにより、その処理対象とする画素の画像データが形成される。
【０００３】
また、デジタルフィルタを光学系の特性に合わせて設計しようとした場合、光学系のＰＳＦ（Point Spread Function：点像分布関数）を実験的にまたは、光学設計の段階での計算により得て、その特性を補完するような形でフィルタを設計する。通常、光学系の収差は光軸上から離れるにつれて、回転非対称な成分（コマ収差、非点収差）が大きくなるため、理想的な逆フィルタではＰＳＦの回転非対称性を考慮すれば、回転非対称なデジタルフィルタになる。もっとも、回転非対称ということになると、画像の場所毎に異なるパラメータでデータを持つということは、フィルタの行列大きさ分のデータを画素毎に持たなければならず、非現実的といえる。
【０００４】
ところで、パイプライン処理のフィルタで幾何変換と鮮鋭度回復を同時に実現できる構成は特開平４−６１５７０号公報に開示されている。この構成においては、上述の様に回転対称までは考慮されておらず、場所毎に異なる係数を持っている必要がある。
【０００５】
そこで、ボケ関数を回転対称なものに近似すると、以下に示すように、比較的簡単な方法でパラメトリックなデジタルフィルタが構成できる。撮像機器の通常の使用目的では、ＰＳＦを回転対称と見なせる範囲で、逆フィルタを設計しただけでも周波数成分の回復ということでは、効果が期待できる。
【０００６】
パラメトリックにデジタルフィルタを定義する方法にはいくつかあり、３×３のカーネルサイズの周波数回復フィルタでの例では、高周波強調のフィルタHを以下のように設定し
【数１】
0004067806.tif 000002
【０００７】
Hの分配係数をパラメータαで調節するようにしたパラメトリックな回復フィルタは、
H0=αI+(1-αH)           I:  単位行列             （２）
ここで、αを変更すれば回復フィルタの特性が調整でき、αが小さいほど高周波強調のフィルタとなる。
【０００８】
もう一つのパラメトリックなフィルタを設計する方法は、ボケ関数を何らかの近似評価基準を用いてExp関数と近似して、そのExp関数に対して、最小二乗法で最適逆フィルタを計算する方法を用いる。Exp関数を
【数２】
0004067806.tif 000003
【０００９】
とする。ここで、i,jは軸対称のボケ関数の中心位置を（０,０）としたときのインデクスを表している。パラメータdの変化に対して、逆フィルタの係数を求める。ｄが小さければボケが大きいことになり逆フィルタの高周波強調も大きくなる。また高周波領域での誤差（エイリアシング）を抑えるために逆フィルタのための目的関数をδ関数とせずに、高周波帯域を緩和させたものにしても良い。一般的な逆フィルタの設計方法として最小二乗フィルタの計算例を以下に示す。以下の例では目標とする応答関数をΔ関数としている。
【００１０】
領域
【数３】
0004067806.tif 000004
【００１１】
で定義されたボケ関数がh（i,j）であるときにこれを、線形フィルタで表現したときの係数行列は、
【数４】
0004067806.tif 000005
【００１２】
となる。インパルスに対するＰＳＦの伝達関数のz変換表現は、
【数５】
0004067806.tif 000006
【００１３】
となる。また設計するFIR逆フィルタを
【数６】
0004067806.tif 000007
【００１４】
と定義しておく。いま、ＰＳＦに逆フィルタを作用させたものを
【数７】
0004067806.tif 000008
とする。最小二乗誤差の近似からフィルタｆは以下のように求められる。
【００１５】
【数８】
0004067806.tif 000009
【００１６】
を得る。ここで簡単のためP=Q=mとした（１４）式を行列表現で表すと
Ax=b                                      （９）
となり。ここで、x,bの中身を
【数９】
0004067806.tif 000010
【００１７】
上記のような（２m+１）*（２m+１） = ４m２+４m+１個の要素を持つものとする。
【００１８】
【発明が解決しようとする課題】
しかしながら、上述の様に、ＰＳＦを対象な関数で近似できる範囲に限定してしまうと、回復が可能な光学系の収差が制限されてしまう。特に広角な撮像系のように、非点収差が大きい場合では、軸上付近でしか画質の改善が期待できない。
【００１９】
また、光学系による収差は、デフォーカス、球面収差、非点収差、コマ収差、歪曲、倍率色などがあり、このうち、周波数に関連していて、ボケ関数がほぼ回転対称と見て良いのは、軸上のデフォーカス（縦倍率色収差）で、それ以外に関しては、軸外で非対称性が出る。
【００２０】
本発明の目的は、対称な係数を持つ回復フィルタの適応範囲を広げ、軸外の非対称なボケの回復特性を改善することができる画像処理装置及びその方法を提供することである。
【００２１】
【課題を解決するための手段】
本発明の第１の態様は、画像の鮮鋭化処理方法において、第１のサンプリング間隔でサンプリングし、第１の離散化画像を作成するステップと、第２の離散化の為のサンプリング間隔及びサンプリング格子の傾きを算出するステップと、前記第１の離散化画像から前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを用いて第２の離散化画像を作成するステップと、前記作成した第２の離散化画像に対して鮮鋭化処理演算を施すステップと、前記処理演算を施した画像を、再度前記第１の離散化画像と同じサンプリング格子のデータとして離散化するステップとを有し、前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを算出するステップが、各画素位置でのサンプリング間隔の縦横の比率を点像分布関数の広がりの縦横の比率に応じて決定し、前記各画素位置でのサンプリング格子の傾きを前記各画素位置の光学中心からの距離と方向に応じて決定するステップを含む。
【００２２】
また、本発明の第２の態様は、画像の鮮鋭化処理装置において、第１のサンプリング間隔でサンプリングし、第１の離散化画像を作成する手段と、第２の離散化の為のサンプリング間隔及びサンプリング格子の傾きを算出する手段と、前記第１の離散化画像から前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを用いて第２の離散化画像を作成する手段と、前記作成した第２の離散化画像に対して鮮鋭化処理演算を施す手段と、前記処理演算を施した画像を、再度前記第１の離散化画像と同じサンプリング格子のデータとして離散化する手段とを有し、前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを算出する手段は、各画素位置でのサンプリング間隔の縦横の比率を点像分布関数の広がりの縦横の比率に応じて決定し、前記各画素位置でのサンプリング格子の傾きを前記各画素位置の光学中心からの距離と方向に応じて決定する手段を含む。
【００２３】
また、本発明の第３の態様は、第２の態様に係る画像処理装置において、前記第１のサンプリング間隔でサンプリングされた画像に対して、前記サンプリングされた画像の位置と、前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きのパラメータをそれぞれ関連付けて記憶する手段を備えている。
【００３０】
【発明の実施の形態】
本発明の実施形態を以下に図面を用いて説明する。
【００３１】
まず、本発明の実施形態では、画像そのものの離散化のサンプリング幅、および、サンプリングの傾きを計算し、画像上のそれぞれの位置と対応付けさせて記録する。
【００３２】
図１は、非点隔差とデフォーカスがある点像分布関数の一実施形態を示している。図２は、所定の空間サンプリング間隔（Δｘ、Δｙ）（第１のサンプリング間隔）で得られた画像でのＰＳＦ（Point Spread Function）を示している。これに対して、図３は、サンプリングの格子と間隔を変更して（Δｘ’、Δｙ’）サンプリングを行っている。この処理を実行するためには、フィルタリング処理を行う対象の画像の各位置で第２のサンプリング格子の間隔（Δｘ’、Δｙ’）および、傾き（θ）を記憶しておけば良い。
【００３３】
次に図４は、前記第２のサンプリング間隔及び傾きでサンプリングした画像を正方格子で並べたものである。図４に示すように、前記第２のサンプリング間隔（Δｘ’、Δｙ’）および、傾きθでサンプリングした（図３）画像を正方格子に配列した場合、目的とするＰＳＦの対称性は改善される。なお、図５は、光学面の像面のメジオナル面Ｍと、サジタル面Ｓを示した図である。また、１０は近軸像面である。
【００３４】
また、この様なサンプリング格子の変更を行うために、次のような手順で、ＰＳＦの特徴に関するデータを得る。
【００３５】
まず、光軸を通り、垂直または水平な像位置においてＰＳＦの非対称性を評価する。図６は、像の各位置に対応するＰＳＦの形状を示している。ここで、光軸を通り、画像のサンプリング格子の水平または、垂直方向（４０１）でのＰＳＦは、画像のサンプリング格子に対して傾きがない。そこで、このＰＳＦの広がりの縦横の比率を計算する。
【００３６】
縦横の比率を算出する方法は、まず、ＰＳＦの強度で２値化して、水平方向、垂直方向の大きさを求める。次にＰＳＦの２次元フーリエ変換を求め、０°または９０°位相のパワースペクトルで評価する。そして、方向別のＳＦ値（コントラストのヒストグラムに基づく鮮鋭度）を評価する。
【００３７】
などが考えられる。ここでは第３の方法（方向別のＳＦ値を評価する）について詳述する。
【００３８】
ＳＦ値とは、注目画素と隣接画素の差分値ΔＤ（図８）の分布（デルタヒストグラム）に基づく鮮鋭度の尺度である。隣接画素の差分値は図９に示すように注目画素とその隣接８個の画素との輝度の差分絶対値であり、例えば、中央の画素レベルが１６,  その周りが、１２,１４,２０,８,,２４,１２,１６,３２となっていれば、差分の絶対値は、図１０に示すように。４,２,４,８,,８,４,０,１６となり、ΔＤのヒストグラムは（１,０,１,０,３０,０,０,２,０,０,０,０,０,０,０,１）となる。このようなヒストグラムを所定の範囲の画素について積算したものである。原画像における上述の差分ΔＤ（絶対値）のヒストグラムをS0(I)とし、原画像に平滑化フィルタをかけたものをS3(I)として鮮鋭度ＳＦを
【数１０】
0004067806.tif 000011
【００３９】
のように定義する。ＳＦ値が大きいほど、原画像の鮮鋭度が高いと言う評価になる。
【００４０】
次に、図１１に原画像と平均化フィルタを施した画像のデルタヒストグラムを示したが、ＳＦ値は２つのヒストグラムの差分の絶対値を積分したものである。定義からわかるようにＳＦ値は画像に依存する値なので、一般に、画像の周波数成分との厳密な関係は成り立たない、ただし傾向として同一の画像に対してＳＦ値が高ければ、周波数特性が高周波まで伸びていると言うことが出来る。
【００４１】
ここで、この様なＳＦ値を注目画素と水平隣接２画素、垂直隣接２画素の差分のヒストグラムとして定義する。
【００４２】
【数１１】
0004067806.tif 000012
【００４３】
図１２は、ガウス分布を持つ画像を特定のＰＳＦ を持つ撮像系で撮像した像に対して方向別のＳＦ値測定を行ったときのＳＦ（BX,BY）値とＰＳＦの形状の関係を示している。簡単のためＰＳＦは非点隔差のみを持ち、像面のデフォーカスによって形状を変えている。このように、方向別のＳＦ値の測定によって、ＰＳＦの広がりの縦横比率を求めることが出来る。そこで、図６に戻って、４０１のラインで示したような、サンプリング格子の垂直方向に平行な方向で、光軸中心から、軸外にかけて、特定の領域４０２内での方向別ＳＦ値を測定し、その値からＰＳＦの縦横の比率を求め、それによって、縦横のサンプリングの比率を計算する。
【００４４】
次に、４０１のライン上や水平のライン上以外の画素位置では、図３に示すようにサンプリングの格子を傾ける必要がある。また、図１２から解るように、その傾きとは、各画素位置を光軸中心からの距離と方向で表したときの角度から求めることが出来る。
【００４５】
この様にして、各画素位置でのサンプリング格子の比率のパラメータ、傾きのパラメータを求めることが出来る。
【００４６】
次に、図７は第１のサンプリング間隔の格子（Pi,j,）から第２のサンプリング間隔の格子（Qm,n）に変換する様子を示した。第２のサンプリング格子（Qm,n）の座標が、格子点Pi,j,,Pi,j,-１をk:１-k（k<1）に分割する線と格子点Pi,j,,PI-１,j,jをh:１-h（h<1）に分割する線との交点にあったときに、サンプリング格子（Qm,n）の輝度値を算出する式は、
【数１２】
0004067806.tif 000013
【００４７】
のように双１次補間で表せる。このとき、k,hは第２のサンプリング格子と傾きによって決まる。また、フィルタリング処理の結果を戻す対象の画素位置（カーネルの中心）の絶対座標Pi-１,jとすると第２のサンプリングによるフィルタ処理のカーネルの中心もこれに一致するようにQm-１,n= Pi-１,jとする。
【００４８】
次に、フィルタのパラメータを求める方法であるが、回転対称なボケに関してＳＦ値の大きさと、式（２）におけるαの値や、式（３）におけるdの値を関係づけることができるので、光学系を通して撮像したガウス分布のランダム画像に対して、上で求めたサンプリングの比率を用いて局所的にサンプリングを変更したガウス分布の画像を作成しそれに対して、８方向の差分を用いたＳＦ値を測定し、それに対応するフィルタパラメータα、dを求める。
【００４９】
または、図４、図７のように、サンプリングの変換によって変形されたＰＳＦをガウス分布のランダム画像に対してコンボリューションを行い作成した画像を用いて、８方向の対称のＳＦ値測定から、上記の式（２）におけるαの値や、式（３）におけるdの値を算出できるので、これを用いてフィルタパラメータを決定する。
【００５０】
次に、図１３は、処理の全体の流れを示している。画像データ（輝度値）と画素のROM３０２で画素のアドレスに対応したサンプリング間隔と傾きを参照する、３０５では参照したサンプリング条件を用いて図９に示したような、補間演算で、画像データの対象とする位置に対して離散化を行う。３０３ではアドレスに対応した像高を参照し、３０４では像高に対応した鮮鋭化フィルタのデータを参照する、３０６ではフィルタ処理を行う。３０７では元の３０１の画像データと同じ様式で離散化したデータに戻す。
【００５１】
次に、図１４は、上述した図１３の方法で画像処理を行う装置の形態を示している。画像メモリ５００には、画素のアドレスとそれに対応した各画素の輝度情報が格納されている。図示しないが、MPU（マイクロプロセッサユニット）では画像メモリのアドレスを読み出し、メモリ５０１から、画素位置に対応したサンプリングの間隔と傾きを参照し、５０４の補間演算手段で図９に示したような補間演算を行う。MPUは画像メモリ５００の画素のアドレスに対応した像高をメモリ２（５０２）から参照し、参照した像高の値に対応した鮮鋭化フィルタのパラメータをメモリ３（５０３）から読み出し、２次元デジタルフィルタ５０５で鮮鋭化フィルタリングを行う。フィルタリングした結果を画像メモリ５０６に格納する。
【００５２】
以上、本発明の実施形態を用いることにより、光学系の軸外の非点収差のように、光学系によるボケ特性が回転非対称な場合でも、非対称な鮮鋭化フィルタを使わずにボケを回復する。
【００５３】
【発明の効果】
軸外の非点収差のように、光学系によるボケ特性が回転非対称な場合でも、非対称な鮮鋭化フィルタを使わずにボケを回復する事が出来る。
【図面の簡単な説明】
【図１】本発明の実施形態に係る非点隔差とデフォーカスがある点像分布関数を示す図。
【図２】本発明の実施形態に係る所定の空間サンプリング間隔Δｘ（第１のサンプリング間隔）で得られた画像でのＰＳＦを示す図。
【図３】本発明の実施形態に係るサンプリングの格子と間隔を変更して（Δｘ’）サンプリングを行った図。
【図４】本発明の実施形態に係る第２のサンプリング間隔及び傾きでサンプリングした画像を正方格子で並べた状態を示す図。
【図５】本発明の実施形態に係る光学面の像面のメジオナル面Ｍと、サジタル面Ｓを示した図。
【図６】本発明の実施形態に係る像の各位置に対応するＰＳＦの形状を示した図。
【図７】本発明の実施形態に係る第１のサンプリング間隔の格子（Pi,j,）から第２のサンプリング間隔（Qm,n）の格子に変換する様子を示した図。
【図８】本発明の実施形態に係る注目画素と隣接画素の差分値ΔＤの分布を示す図。
【図９】本発明の実施形態に係る隣接画素の差分値を示した図。
【図１０】本発明の実施形態に係る差分の絶対値を示した図。
【図１１】本発明の実施形態に係る原画像と平均化フィルタを施した画像のデルタヒストグラムを示す図。
【図１２】本発明の実施形態に係るガウス分布を持つ画像を特定のＰＳＦを持つ撮像系で撮像した像に対して方向別のＳＦ値測定を行ったときのＳＦ（BX,BY）値とＰＳＦの形状の関係を示した図。
【図１３】本発明の実施形態に係る処理の全体の流れを示した流れ図。
【図１４】本発明の実施形態に係る図１３の方法で画像処理を行う装置の形態を示した図。
【符号の説明】
４０２…領域
５００、５０１、５０６…画像メモリ
５０５…次元デジタルフィルタ
【図１】
0004067806.tif 000014
【図２】
0004067806.tif 000015
【図３】
0004067806.tif 000016
【図４】
0004067806.tif 000017
【図５】
0004067806.tif 000018
【図６】
0004067806.tif 000019
【図７】
0004067806.tif 000020
【図８】
0004067806.tif 000021
【図９】
0004067806.tif 000022
【図１０】
0004067806.tif 000023
【図１１】
0004067806.tif 000024
【図１２】
0004067806.tif 000025
【図１３】
0004067806.tif 000026
【図１４】
0004067806.tif 000027