(57)【特許請求の範囲】
【請求項１】
第１画像に対応した画像内容を有しかつ前記第１画像に対して相対的に高倍率の画像である第２画像のエッジを鮮鋭化する画像処理方法であって、
前記第２画像中から注目画素を選択し、当該注目画素およびその周辺の画像からなる対象画素群を特定する工程と、
前記第１画像から中心画素を選択し、当該中心画素およびその周辺の画像からなる比較画素群を特定する工程と、
前記対象画像群と前記比較画素群との画像データの相関度を求める相関度算出工程と、
前記第１画像の所定の範囲から前記中心画素を順次に選択しつつ前記相関度算出工程を繰り返し、それによって複数の相関度を求める第１繰り返し工程と、
前記複数の相関度のうちで最大の相関度を示す比較画素群に対応した中心画素を最大相関画素として選択する選択工程と、
前記第１画像のうちの前記最大相関画素の画像データに基づいて補正情報を得る補正情報取得工程と、
得られた補正情報を前記第２画像の前記注目画素の画像データに合成する合成工程と、
前記第２画像中の各画素を個別に注目画素として、前記各工程を繰返し行う第２繰り返し工程と、
を備えることを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法であって、
前記補正情報が、前記第１画像の前記最大相関画素の画像データであることを特徴とする画像処理方法。
【請求項３】
請求項１または請求項２に記載の画像処理方法であって、
前記補正情報が、前記第１画像のエッジ成分のうち前記最大相関画素に対応するものであることを特徴とする画像処理方法。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理方法であって、
前記相関度算出工程が、
前記対象画素群と前記比較画素群とについて、互いに対応する画素どうしの階調値の差分の絶対値を、前記中心画素からの距離に応じた重み付けで加重加算した値をもとに相関度を求めるものであることを特徴とする画像処理方法。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理方法であって、
前記第１繰り返し工程において、
前記第１画像において前記注目画素に対応する位置の近傍の画素群から前記中心画素が順次に選択されることを特徴とする画像処理方法。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理方法であって、
前記合成工程において、
前記最大相関画素の近傍または前記注目画素の近傍の濃度に応じて、前記合成の合成比率又は合成加算量が異なるものであることを特徴とする画像処理方法。
【請求項７】
請求項１ないし請求項５のいずれかに記載の画像処理方法であって、
前記合成工程において、
前記最大相関画素付近の濃度コントラスト、または前記注目画素付近の濃度コントラストに応じて、前記合成の合成比率又は合成加算量が異なるものであることを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、第１画像に対応した画像内容を有しかつ前記第１画像に対して相対的に高倍率の画像である第２画像のエッジを鮮鋭化する画像処理方法に関する。
【０００２】
【従来の技術】
従来から、画像の拡大方法としては「バイリニア補間法」および「バイキュービック補間法」が多く用いられる。「バイリニア補間法」とは、原画像の対応するの周辺の最隣接画素の画像データ（階調値）を注目画素からの距離に応じた重み付けで加重平均して拡大画像に反映させる補間方法である。また「バイキュービック補間法」では「バイリニア補間法」で最隣接の画素の画像データの加重平均を用いていたのに対して、さらにその外側、すなわち、２番目の隣接範囲内の画素の画像データまで加重平均して拡大画像に反映させる方法である。
【０００３】
図１０は５×５画素の原画像における各画素の階調値を示す図である。そして、図１１は図１０の原画像を「バイリニア補間法」を用いて３倍に拡大した拡大画像の各画素の階調値を示す図であり、図１２は図１１の拡大画像を視覚的に表わした図である。ただし、図１２は後の実施の形態における結果画像（図７）と比較するため、図１１の枠Ｆ内のみを表わした。
【０００４】
【発明が解決しようとする課題】
ところで、図１０に示すように原画像には階調値が「０」の画素と「９９」の画素が隣接する、急峻なエッジ部分が存在する。これに対応する図１１の拡大画像の領域では、階調値が「０」，「１１」，「４４」，「９９」のように緩やかに変化するエッジ画像となっている。このため、図１２に示すように、拡大画像はボケた様に見え、画質が劣化している。
【０００５】
また、通常、エッジ部分のボケを改善するために、ＵＳＭ（アンシャープマスク）アパーチャーを用いたエッジ強調処理が行われる。図１３は図１１および図１２の拡大画像にＵＳＭアパーチャーを用いたエッジ強調処理を行った場合の各画素の階調値を示す図であり、図１４は図１３の画像を視覚的に表わした図である。ただし、図１４も後の実施の形態における結果画像（図７）と比較するため、図１３の枠Ｆ内のみを表わした。
【０００６】
このように、拡大画像にＵＳＭアパーチャーを用いたエッジ強調処理を行うと、図１３および図１４に示すように、拡大処理で発生した「ジャギー」が強調され、画質が劣化している。また、本来のエッジの周辺に、太い輪郭部が発生し、画質劣化の原因となっている。
【０００７】
さらに、拡大処理によるものでなく、光学的にピントがボケた画像の場合にはジャギーは発生しないが、図１３および図１４の画像と同様にエッジの周辺に太い輪郭部が発生し、画質劣化の原因となっていた。
【０００８】
この発明は、従来技術における上述の問題の克服を意図しており、高画質を維持しつつエッジの鮮鋭度を改善することができる画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、請求項１の発明は、第１画像に対応した画像内容を有しかつ第１画像に対して相対的に高倍率の画像である第２画像のエッジを鮮鋭化する画像処理方法であって、第２画像中から注目画素を選択し、当該注目画素およびその周辺の画像からなる対象画素群を特定する工程と、第１画像から中心画素を選択し、当該中心画素およびその周辺の画像からなる比較画素群を特定する工程と、対象画像群と比較画素群との画像データの相関度を求める相関度算出工程と、第１画像の所定の範囲から中心画素を順次に選択しつつ相関度算出工程を繰り返し、それによって複数の相関度を求める第１繰り返し工程と、複数の相関度のうちで最大の相関度を示す比較画素群に対応した中心画素を最大相関画素として選択する選択工程と、第１画像のうちの最大相関画素の画像データに基づいて補正情報を得る補正情報取得工程と、得られた補正情報を第２画像の注目画素の画像データに合成する合成工程と、第２画像中の各画素を個別に注目画素として、前記各工程を繰返し行う第２繰り返し工程と、を備えている。
【００１０】
また、請求項２の発明は、請求項１に記載の画像処理方法であって、補正情報が、第１画像の最大相関画素の画像データである。
【００１１】
また、請求項３の発明は、請求項１または請求項２に記載の画像処理方法であって、補正情報が、第１画像のエッジ成分のうち最大相関画素に対応するものである。
【００１２】
また、請求項４の発明は、請求項１ないし請求項３のいずれかに記載の画像処理方法であって、相関度算出工程が、対象画素群と比較画素群とについて、互いに対応する画素どうしの階調値の差分の絶対値を、中心画素からの距離に応じた重み付けで加重加算した値をもとに相関度を求めるものである。
【００１３】
また、請求項５の発明は、請求項１ないし請求項４のいずれかに記載の画像処理方法であって、第１繰り返し工程において、第１画像において注目画素に対応する位置の近傍の画素群から中心画素が順次に選択される。
【００１４】
また、請求項６の発明は、請求項１ないし請求項５のいずれかに記載の画像処理方法であって、合成工程において、最大相関画素の近傍または注目画素の近傍の濃度に応じて、合成の合成比率又は合成加算量が異なるものである。
【００１５】
さらに、請求項７の発明は、請求項１ないし請求項５のいずれかに記載の画像処理方法であって、合成工程において、最大相関画素付近の濃度コントラスト、または注目画素付近の濃度コントラストに応じて、合成の合成比率又は合成加算量が異なるものである。
【００１６】
【発明の実施の形態】
以下、この発明の実施の形態を図面に基づいて説明する。
【００１７】
＜１．第１の実施の形態＞
図１はこの発明の画像処理方法を実現する第１の実施の形態である画像処理装置１の機能ブロック図である。以下、図１を用いてこの画像処理装置１について説明していく。
【００１８】
この画像処理装置１は以下に示す各部が互いにバスラインＢＬで接続された装置である。以下、各部について順に説明していく。画像入力Ｉ／Ｆ１１は、図示しない外部の画像編集レイアウト装置により作成された編集済みの原画像データを受け取るインターフェイスであり、受け取った原画像データは一時的に画像メモリ１２に保存される。指示入力部１３は図示しないタッチパネル、キーボードやマウス等を備えており、作業者による画像処理の指示入力が行われる。そして、その指示により画像拡大処理部１４により原画像データを拡大して拡大画像データを得る拡大処理を行ったり、さらにはＵＳＭ処理部１５、階調分布比較部１６、高相関画素検出部１７、補正データ抽出部１８および画像合成部１９の連携によりこの発明の画像処理（鮮鋭化処理）が施される。なお、この画像処理の詳細は後述する。また、上記において画像拡大処理部１４、ＵＳＭ処理部１５、階調分布比較部１６、高相関画素検出部１７、補正データ抽出部１８および画像合成部１９は図示しないＣＰＵによりソフトウエア的に実現される。
【００１９】
そして、得られた画像処理後の画像データは図示しないディスプレイ装置等を備えた画像表示部２０に表示されたり、外部装置への出力のためのインターフェイスである画像出力Ｉ／Ｆ２１を介して外部の保存媒体やネットワーク等へ出力される。
【００２０】
つぎに、第１の実施の形態における画像処理、より詳細にはエッジ鮮鋭化処理について説明する。第１の実施の形態では、拡大画像（「第２画像」に相当）の各画素について、それらの画素およびその周辺の画素が原画像（「第１画像」に相当）と最も近似している（最も相関度の高い）部分を求め、その部分の原画像の画像データを拡大画像に合成することによって、拡大画像のエッジを鮮鋭化する。
【００２１】
図２は第１の実施の形態における画像処理（エッジ鮮鋭化処理）の手順を示すフローチャートである。以下、図２を基に第１の実施の形態における画像処理の手順について説明する。なお、予め原画像は画像入力Ｉ／Ｆ１１を通じて読み込まれ、画像メモリに保存されているものとする。
【００２２】
まず、原画像を画像メモリ１２に保存する（ステップＳ１）。なお、この原画像は以下、参照用画像として用いられる。
【００２３】
つぎに、画像拡大処理部１４において、原画像に対して拡大処理を行い拡大画像を生成し、画像メモリ１２に保存する（ステップＳ２）。なお、この拡大処理の方法としてはバイキュービック法、バイリニア法等の公知の方法を用いることができる。
【００２４】
つぎに、階調分布比較部１６において、拡大画像から選択された対象領域ＯＡ内の各画素（対象画素群）の画像データ（階調値）と、それに対応する原画像の対応領域ＲＡの各画素を中心画素とした各比較領域ＣＡ内の各画素（比較画素群）の画像データ（階調値）とを、画像メモリ１２からそれぞれ読み出し、互いに対応させて比較し、相関度を求める（ステップＳ３）。
【００２５】
図３は第１の実施の形態における拡大画像の注目画素および周辺画素ならびに原画像の中心画素群および周辺画素について説明するための図である。以下、図３を用いて詳細に説明する。
【００２６】
まず、拡大画像から選択された任意の画素に注目する。そして、その注目画素の周辺に存在する画素を周辺画素とし、注目画素とその周辺の画素とからなる所定の範囲を対象領域ＯＡとする。第１の実施の形態ではこの対象領域ＯＡを３×３画素（注目画素に対して上下左右斜めそれぞれに±１画素）のマトリクス領域としている。
【００２７】
また、原画像においては拡大画像の注目画素に対応する位置である対応位置、すなわち、拡大処理の際に参照した画素もしくはその位置に最も近い画素位置を中心とした所定範囲を対応領域ＲＡとしている。第１の実施の形態では対応位置を中心とした３×３画素の範囲を対応領域ＲＡとしている。図３の例の場合には、拡大画像の注目画素ｐ１に対して原画像の対応位置の画素が画素ｑ１であり、画素ｑ１とそれに対して上下左右斜めそれぞれに±１画素を含む３×３画素の範囲を対応領域ＲＡとしている。なお、中心画素を拡大画像の注目画素に対応する位置もしくはそれに最も近い位置の画素としたのは、倍率によっては必ずしも拡大画像の画素と完全に対応する画素が原画像中に存在するとは限らないためである。
【００２８】
そして、この対応領域ＲＡ内の各画素をそれぞれ中心画素とし、それら各中心画素の周辺において、上記の拡大画像における対象領域ＯＡと同様の画素範囲、第１の実施の形態では中心画素に対して上下左右斜めそれぞれに±１画素を周辺画素とし、中心画素および周辺画素群からなる３×３画素の範囲を比較領域ＣＡとする。
【００２９】
図４は不一致指数の算出方法を示す模式図である。図示のように第１の実施の形態では、対応領域ＲＡ内の各画素を順に中心画素としながら、拡大画像の対象領域ＯＡ内の各画素（注目画素および周辺画素群）と、それらに対応する原画像の比較領域ＣＡの各画素（中心画素および周辺画素群）との画像データ（階調値）の差分の絶対値を求める。これにより、対応する画素の数（第１の実施の形態では９個）の差分の絶対値が求まる。そして得られた差分の絶対値を重みをつけて加重加算する。これを数式で示すと次式となる。
【００３０】
【数１】
0003625144.tif 000002
【００３１】
ここで、比較領域ＣＡの画素数をＮ（ここではＮ＝９）、中心画素群の各中心画素の位置を示す数をｊ（第１の実施の形態ではｊ＝１〜９）、各画素位置をｉ（第１の実施の形態ではｉ＝１〜９）、不一致指数をＣｊ、原画像および拡大画像の画素位置ｉの画像データ（階調値）をそれぞれＯＧｉおよびＥＧｉ、重み付け係数をＫｉと表わした。
【００３２】
図５は重み付け係数Ｋｉの分布を示す模式図である。第１の実施の形態では、注目画素（中心画素）を周辺画素に対して重視するために、重み付け係数Ｋｉを注目画素（中心画素）からの距離に応じて変化させている。より詳細には距離に応じて減少するものとしている。
【００３３】
図５中の各小矩形は対象領域ＯＡ（比較領域ＣＡ）内の画素位置を表わし、中心が注目画素（中心画素）、その周りの画素が周辺画素を意味している。第１の実施の形態における、各画素の差分の絶対値に対して用いる重み付け係数は図５（ａ）に示す各画素における重み付け、すなわち、この例では注目画素（ｉ＝５）は重み付け係数Ｋ５＝４、周辺画素のうち、注目画素の上下左右の画素は重み付け係数Ｋｉ＝１、その他の画素は重み付け係数Ｋｉ＝０としている。
【００３４】
このような重み付け係数Ｋｉを用いて数１の式を計算すると、その注目画素の周辺と中心画素の周辺との不一致指数が得られる。この不一致指数は、その注目画素近傍の拡大画像と中心画素近傍の原画像とが近似している程度、すなわち相関度を表わす数値で、不一致指数が小さいほど相関度が高いことになる。そして、原画像における中心画素を注目画素から±１画素ずつずらした対応領域ＲＡ内の全ての画素を中心としてそれぞれ不一致指数（以下、総称する場合は「不一致指数群」という）を求める。
【００３５】
なお、ここでは対象領域ＯＡのサイズ（したがって比較領域ＣＡのサイズ）を３×３画素としたが、５×５画素等その他の大きさとしてもよく、また、重み付け係数Ｋｉも任意であり、例えば、注目画素の階調を重視しない場合には全ての重み付け係数Ｋｉを同じ値Ｋｉ＝１、すなわち、単純加算したりしてもよい。
【００３６】
以上の処理を図３により具体的に説明する。図３の例では拡大画像の画素ｐ１〜ｐ９に対応する原画像中の画素は画素ｑ１〜ｑ９であり、拡大画像の画素ｐ１を注目画素とした場合を示している。そして原画像における中心画素が画素ｑ１である場合には、その周辺３×３画素、すなわち画素ｑ１〜ｑ９が対応領域ＲＡとなる。また、原画像における中心画素を画素ｑ９とした場合には画素ｑ１，ｑ２，ｑ４，ｑ１０〜ｑ１４が対応領域ＲＡとなる。
【００３７】
このようにして、それら各画素ｑ１〜ｑ９を中心画素とした比較領域ＣＡの各画素と拡大画像における画素ｐ１を注目画素とした対象領域ＯＡの各画素との画像データを用いて不一致指数をそれぞれ求める。するとそれにより図４に示すように拡大画像中の１個の注目画素ｐ１に対して９個（３×３個）の不一致指数Ｃ１〜Ｃ９が求められることになる。
【００３８】
つぎに、高相関画素検出部１７において、階調分布比較部１６で得られた不一致指数群において相関度が最大の原画像での画素位置である最大相関画素を求める（ステップＳ４）。すなわち、得られた不一致指数群（図４の例では不一致指数Ｃ１〜Ｃ９）のうち、最小の不一致指数を示した原画像の中心画素を最大相関画素とする。
【００３９】
つぎに、補正データ抽出部１８において、補正データを抽出する（ステップＳ５）。第１の実施の形態では鮮鋭度を補正するための補正データとして最大相関画素の画像データを用いている。具体的には画像メモリ１２から原画像の最大相関画素の画像データを補正データとして読み出すのである。
【００４０】
最後に、画像合成部１９において、拡大画像に補正データを合成する（ステップＳ６）。より詳細には、拡大画像の注目画素の画像データと補正データとを所定の比率で加重平均する。
【００４１】
ただし、第１の実施の形態では最大相関画素の階調値を参照し、その画素の濃度が所定の濃度閾値を越えるか否かで加重の比率を異なるものとしている。一般にＣＣＤ等の画像素子で読み取った画像においては人間の目の感度特性に濃度値を変換するためＬＯＧ変換と呼ばれる濃度変換が行われている。そのため、画像の濃度が所定の濃度以上（所定濃度より濃い）の画素ではノイズが目立ちやすくなる。そこで、そのような画素についてはエッジを強調しないでむしろ拡大画像をそのままとした方がノイズを強調しないので画質が良好に保たれる。そこで第１の実施の形態では、拡大画像の注目画素の画像データと補正データとの合成比率を１：０、すなわち、拡大画像の注目画素の画像データをそのままとしている。逆に、拡大画像の濃度が所定の濃度閾値以下（所定濃度より薄い）の画素では拡大画像の注目画素の画像データと補正データ、すなわち、最大相関画素の画像データとの合成比率を０：１、すなわち、拡大画像の注目画素の画像データを最大相関画素の画像データで置換している。
【００４２】
ここで、補正データの合成として上記のような置換を行っている理由は以下の通りである。図１０に示すように原画像におけるエッジ部分には急峻な階調の変化が生じているのに対して、図１１〜図１４に示すように拡大画像ではエッジ部分の階調の変化がなだらかになっている。これは、拡大画像のエッジ部分には原画像におけるエッジの両側の階調以外に、それらの中間的な階調の画像データが発生してしまっているためである。そこで、上記のように原画像における相関が最も高い画素の階調を拡大画像と置換して再現することで、上記の拡大画像のエッジ部分における中間的な階調を有する画素を本来のエッジ部分の、より近い画像の側の階調に戻して、より原画像のエッジに近い画像を再現している。なお、エッジ部分以外では原画像と拡大画像とは注目画素近辺でほとんど同じ階調を有していると考えられるので、このような合成（置換）を行っても画像としてはあまり変化しないものとなっている。
【００４３】
なお、あまりエッジを強調しすぎないようにするためには、例えば、拡大画像の注目画素の画像データと補正データとの合成比率（加算の際の重み付け）を、濃度が所定の濃度閾値以上の場合は２：１とし、濃度閾値以下の場合は１：２とするなど、両データの重み付けの差を小さくすればよい。このように、２種の合成比率は任意の値とすることができる。また、濃度閾値も当然ながら任意の値とすることができ、さらには、濃度閾値を複数設けて、複数に分けられた濃度範囲を設け、各濃度範囲で異なる合成比率を設定したテーブルを用いたり、濃度値に一対一に対応した合成比率の関数を用いたりすることもできる。また、オペレーターが手動で変化させられるものとしてもよい。ただし、傾向としては高濃度側ではノイズやムラを強調しないために原画像の比率より拡大画像の比率を大きくし、逆に低濃度側ではその逆にしてエッジを強調する方がよい。
【００４４】
さらに、この装置では濃度を濃度閾値と比較する対象を最大相関画素としたが、拡大画像の注目画素を対象としてもよい。
【００４５】
つぎに、拡大画像の全画素を順次に注目画素として選択してステップＳ３〜Ｓ６の処理が終了したか否かの判定を行う（ステップＳ７）。そして、終了していなければ拡大画像における次の画素を注目画素としてステップＳ３に戻り、以下、拡大画像の全画素（正確には拡大画像の端縁部の画素には周辺画素が存在しないため、それらの画素以外の全画素）を順に注目画素としてステップＳ３〜Ｓ７の処理を繰返す。そして、全画素についてそれらの処理が終了すると、画像処理を終了する。そして、場合によっては得られた画像データを画像表示部２０に表示したり、画像出力Ｉ／Ｆ１１を通じて外部の保存媒体やネットワークに出力する。
【００４６】
図６は図１０の原画像を第１の実施の形態における画像処理方法を用いて３倍に拡大し、エッジ鮮鋭化を行った画像の各画素の階調値を示す図であり、図７は図６の画像を視覚的に表わした図である。ただし、対応領域ＲＡのサイズは３×３画素とし、不一致指数を求める際の重み付け係数Ｋｉは全てＫｉ＝１とし、さらに、濃度により合成比率を異なるものとはしていない。
【００４７】
図６および図７に示すように、エッジの両側において階調値が「０」の画素と「９９」の画素が隣接する、急峻な画像となっており、中間の階調が存在するボケや太い輪郭部は生じていない。なお、図６に示した枠Ｆの外側の画素は周辺画素が一部存在しないためエッジ鮮鋭化処理を行わなかった。そのため、図７にはそれらの画素は表示していない。
【００４８】
以上説明したように、第１の実施の形態によれば、拡大画像中の注目画素およびその周辺画素からなる対象領域ＯＡの画像と、注目画素にほぼ対応する原画像における注目位置近傍の画素である中心画素およびその周辺画素からなる比較領域ＣＡの画像との相関度を、対応領域ＲＡ内の各画素で中心画素を交代させつつ求めていき、得られた複数の相関度のうちで最大の相関度を示す原画像における中心画素を最大相関画素として選択し、得られた最大相関画素の画像データに基づいて得た補正データを拡大画像の注目画素の画像データに合成する処理を拡大画像中の全ての画素を個別に注目画素として繰返し行うため、相対的に低倍率の原画像のエッジ画像を拡大画像に反映させることができ、したがって、拡大画像について高画質を維持しつつエッジの鮮鋭度を改善することができる。
【００４９】
また、補正データが原画像の最大相関画素の画像データであるため、原画像は拡大画像に対して相対的に低倍率であるので、エッジが急峻であり、そのエッジをそのまま拡大画像に合成するため、急峻なエッジを拡大画像にも再現でき、よりエッジの鮮鋭度を改善できる。
【００５０】
また、拡大画像中の注目画素および当該注目画素の周辺における複数の周辺画素と、原画像中における中心画素および当該中心画素の周辺における複数の周辺画素と、について互いに対応する画素どうしの階調値の差分の絶対値を、中心画素からの距離に応じた重み付けで加重加算して不一致指数を求めるため、注目画素と中心画素との相関を重視した不一致指数（したがって相関度）を求めることができ、原画像中において的確な最大相関画素を求めることができ、したがって、的確なエッジ鮮鋭化を行うことができる。
【００５１】
また、原画像の対応領域ＲＡが、原画像における注目画素に対応する画素の近傍の領域であるため、拡大画像の注目画素と相関度の高い画素のみを対象として最大相関画素を求めるので、処理時間を短縮できる。
【００５２】
さらに、最大相関画素の画素の濃度に応じて拡大画像データと補正データとの合成比率が異なるものとするため、高濃度の画像におけるノイズの強調を防止できる。
【００５３】
＜２．第２の実施の形態＞
第２の実施の形態の画像処理装置１は、第１の実施の形態における図１に示した装置構成とほぼ同様の装置構成を有しているが、一部の処理部での処理が第１の実施の形態と異なっている。図８はこの発明の第２の実施の形態である画像処理（エッジ鮮鋭化処理）のフローチャートである。以下、図８を用いて第２の実施の形態におけるエッジ鮮鋭化処理について説明する。
【００５４】
まず、ステップＳ１１およびＳ１２における処理工程は第１の実施の形態のステップＳ１およびＳ２と同様である。
【００５５】
つぎに、ＵＳＭ処理部１５において、原画像からエッジ成分データを抽出する（ステップＳ１３）。具体的には、公知のＵＳＭアパーチャーを用いて得られるＵＳＭ信号をエッジ成分データとして抽出する。なお、得られたエッジ成分データは後に補正データとして使用する。
【００５６】
つぎのステップＳ１４およびＳ１５はそれぞれ第１の実施の形態のステップＳ３およびＳ４と同様である。これにより第１の実施の形態と同様にして最大相関画素が求まる。
【００５７】
つぎに、補正データ抽出部１８において、ステップＳ１３で求めておいた原画像の各画素のエッジ成分データのうちから、ステップＳ１５で求まった最大相関画素に対応するデータを補正データとして抽出する（ステップＳ１６）。第１の実施の形態では補正データとして最大相関画素の画像データをそのまま補正データとしていたが、第２の実施の形態では原画像データそのものを合成するのではなく、そのエッジ成分、すなわち高周波成分のみを補正データとして拡大画像に合成する。これにより原画像の低周波成分を合成しないため、最大相関画素の画像データをそのまま用いて合成する場合に比べて、より効果的にエッジを鮮鋭化することができる。
【００５８】
つぎに、画像合成部１９において、拡大画像の注目画素の階調値に抽出した補正データを合成する（ステップＳ１７）。図９は濃度コントラスト値算出の際に参照する周辺画素の位置を示す図である。図示のように、ステップＳ１７では、まず最大相関画素の上下に位置する画素ｐａとｐｂとの階調値の差分の絶対値、および左右に位置する画素ｐｃとｐｄとの階調値の差分の絶対値を求め、それらの和を濃度コントラストを表わす濃度コントラスト値として求める。
【００５９】
そして、濃度コントラスト値が所定の閾値を越えるか否かで合成加算量（エッジ成分データに乗じる係数）を異なるものとする。より詳細には、拡大画像の濃度コントラスト値が所定のコントラスト閾値以下の場合は、拡大画像の注目画素に対する補正データの合成加算量を「０」、すなわち、拡大画像の注目画素の画像データをそのままとしている。逆に、拡大画像の濃度コントラスト値が所定のコントラスト閾値以上では拡大画像の注目画素に対する補正データの合成加算量を「１」としている。
【００６０】
また、コントラスト閾値の上下で合成加算量を異ならせている理由は以下の通りである。すなわち、濃度コントラストが小さい平坦な画像でエッジを強調するとノイズやムラが目立ち易く画質劣化の原因となる。また、ＪＰＥＧ圧縮画像を解凍処理した場合にブロック歪みと呼ばれる矩形状の濃度のギャップが現れる画質劣化が見られる。これらの画質劣化を避けるためには、濃度コントラストが小さい画像におけるエッジ成分と捉えられる部分はあまり鮮鋭化しない方がよい。そのため、上記のように合成加算量を変えているのである。
【００６１】
また、エッジを強調しすぎないためには第１の実施の形態と同様に、拡大画像の注目画素に対する補正データの合成加算量（加算の際の重み付け）を、濃度コントラストがコントラスト閾値以上の場合は０．５とし、コントラスト閾値以下の場合は０．２とするなど、両データの重み付けの差を小さくすればよい。このように、２種の合成加算量は任意の値とすることができる。また、コントラスト閾値も任意の値とすることができ、さらには、複数のコントラスト閾値により濃度コントラストの範囲を複数設け、各濃度コントラスト範囲で異なる合成加算量を設定したテーブルを用いたり、濃度コントラスト値に一対一に対応した合成加算量の関数を用いたりすることもできる。また、オペレーターが手動で変化させられるものとしてもよい。ただし、傾向としては濃度コントラスト値が小さい側ではノイズや歪みを強調しないために補正データの合成加算量を小さくし、逆に濃度コントラスト値が大きい側ではその逆にしてエッジを強調する方がよい。
【００６２】
さらに、この装置では濃度コントラスト値を濃度閾値と比較する対象を最大相関画素としたが、拡大画像の注目画素を対象としてもよい。
【００６３】
そして、ステップＳ１８で第１の実施の形態のステップＳ７と同様の判定を行い、第１の実施の形態と同様にステップＳ１４〜Ｓ１７の処理を拡大画像の全画素について行うと、第２の実施の形態における画像処理を終了する。
【００６４】
以上説明したように、第２の実施の形態によれば、第１の実施の形態と同様に、拡大画像について高画質を維持しつつエッジの鮮鋭度を改善することができるとともに、的確なエッジ鮮鋭化を行うことができ、さらに、処理時間を短縮できる。
【００６５】
また、補正データが原画像の最大相関画素のエッジ成分であるため、原画像の低周波成分を合成しないことにより、最大相関画素の画像データをそのまま用いて合成する場合に比べて、より効果的にエッジを鮮鋭化することができる。
【００６６】
また、原画像における最大相関画素近傍の画素の濃度コントラストに応じて拡大画像データと補正データとの合成加算量が異なるため、コントラストのない平坦な画像の部分で目立つノイズやムラ、およびＪＰＥＧ圧縮画像を解凍した際などに発生する画像歪みなどが強調されるのを防止できる。
【００６７】
＜３．その他の実施の形態＞
第１および第２の実施の形態では拡大画像のエッジを鮮鋭化する画像処理を行ったが、実際の画像処理としては原画像そのものを鮮鋭化したい場合が少なくない。そこで、そのような場合には第１および第２の実施の形態のエッジ鮮鋭化方法を用いてエッジを鮮鋭化することができる。具体的には、原画像を縮小処理して縮小画像を得て、その縮小画像を第１および第２の実施の形態における原画像とみなし、また、基になった原画像を逆に第１および第２の実施の形態における拡大画像とみなし、それら画像について第１の実施の形態と同様の処理を施すことによってエッジの鮮鋭化処理を行うというものである。すなわち、縮小画像をこの発明の第１画像とし、原画像をこの発明の第２画像とするということである。これは、画像は縮小処理を行うとエッジが鮮鋭化されることを原理的に用いている。そして、この方法によっても急峻なエッジを有する画像に変換することができる。
【００６８】
また、逆に、第１および第２の実施の形態においては拡大画像のエッジを鮮鋭化する際に原画像を参照用画像として用いたが、原画像がすでにエッジがボケた画像であった場合には、原画像を縮小処理し、得られた縮小画像を参照用画像として第１および第２の実施の形態のエッジ鮮鋭化処理を行うこともできる。すなわち、縮小画像をこの発明の第１画像とし、拡大画像をこの発明の第２画像とするということである。これも、上記と同様、画像は縮小処理を行うとエッジが鮮鋭化されることを原理的に用いている。これによりエッジを鮮鋭化することができる。
【００６９】
＜４．変形例＞
上記第１および第２の実施の形態において画像処理装置１およびそれによる画像処理（エッジ鮮鋭化処理）の例を示したが、この発明はこれに限られるものではない。
【００７０】
たとえば、上記第１および第２の実施の形態では、原画像における対応領域ＲＡを３×３画素等、拡大画像の注目画素近傍の画素領域としたが、より大きな領域、例えば原画像の全画素を対象領域としてもよい。
【００７１】
また、上記第１の実施の形態では、最大相関画素のみの濃度を濃度閾値と比較するものとしたが、その近傍の濃度平均や拡大画像の注目画素またはその近傍の画素の濃度平均を濃度閾値と比較するものとしてもよい。
【００７２】
また、上記第２の実施の形態では、最大相関画素近傍の画素の濃度コントラスト値をコントラスト閾値と比較したが、拡大画像の注目画素近傍の画素の濃度コントラスト値を求めてコントラスト閾値と比較するものとしてもよい。
【００７３】
さらに、上記各実施の形態においては原画像および拡大画像の色については言及しなかったが、カラー画像に対しては、各色成分ごとに上記各実施の形態を実行することによりエッジを鮮鋭化することができる。
【００７４】
さらに、各画素の色成分の加重平均値からグレー成分を求め、グレー成分で各画素の画像データの比較をすることで、色ズレの少いエッジの鮮鋭化処理ができる。
【００７５】
【発明の効果】
以上説明したように、請求項１ないし請求項７の発明によれば、第１画像に対応した画像内容を有しかつ第１画像に対して相対的に高倍率の画像である第２画像中から注目画素を選択し、その注目画素およびその周辺の画像からなる対象画素群を特定する一方、第１画像から中心画素を選択し、中心画素およびその周辺の画像からなる比較画素群を特定し、対象画像群と比較画素群との画像データの相関度を求める。この工程を第１画像の所定の範囲から中心画素を順次に選択しつつ繰り返し、それによって複数の相関度を求め、そのうちで最大の相関度を示す比較画素群に対応した中心画素を最大相関画素として選択し、第１画像のうちの最大相関画素の画像データに基づいて補正情報を得て、その補正情報を第２画像の注目画素の画像データに合成する。そして、第２画像中の各画素を個別に注目画素として、これら各工程を繰返し行うため、相対的に低倍率の第１画像のエッジ画像を第２画像に反映させることができ、したがって、第２画像について高画質を維持しつつエッジの鮮鋭度を改善することができる。
【００７６】
また、特に請求項２の発明によれば、補正情報が第１画像の最大相関画素の画像データであるため、第１画像は第２画像に対して相対的に低倍率であるためエッジが急峻であり、そのエッジをそのまま第２画像に合成するため、急峻なエッジを第２画像にも再現でき、よりエッジの鮮鋭度を改善できる。
【００７７】
また、特に請求項３の発明によれば、補正情報が第１画像のエッジ成分のうち最大相関画素に対応するものであるため、原画像の低周波成分を合成しないことにより、最大相関画素の画像データをそのまま用いて合成する場合に比べて、より効果的にエッジを鮮鋭化することができる。
【００７８】
また、特に請求項４の発明によれば、相関度算出工程が、対象画素群と比較画素群とについて、互いに対応する画素どうしの階調値の差分の絶対値を、中心画素からの距離に応じた重み付けで加重加算した値をもとに相関度を求めるものであるため、注目画素と中心画素との相関を重視した相関度を求めることができ、原画像中において的確な最大相関画素を求めることができ、したがって的確なエッジ鮮鋭化を行うことができる。
【００７９】
また、特に請求項５の発明によれば、第１繰り返し工程においては、第１画像において注目画素に対応する位置の近傍の画素群から中心画素が順次に選択されるため、拡大画像の注目画素と相関度の高い部分から最大相関画素を求めるので、処理時間を短縮できる。
【００８０】
また、特に請求項６の発明によれば、最大相関画素の近傍または注目画素の近傍の濃度に応じて、合成比率が異なるものであるため、高濃度の画像におけるノイズの強調を防止できる。
【００８１】
さらに、特に請求項７の発明によれば、最大相関画素付近の濃度コントラスト、または注目画素付近の濃度コントラストに応じて、合成比率が異なるものであるため、コントラストのない平坦な画像の部分で目立つノイズやムラ、およびＪＰＥＧ圧縮画像を解凍した際などに発生する画像歪みなどが強調されるのを防止できる。
【図面の簡単な説明】
【図１】この発明の画像処理方法を実現する第１の実施の形態である画像処理装置の機能ブロック図である。
【図２】第１の実施の形態における画像処理の手順を示すフローチャートである。
【図３】第１の実施の形態における拡大画像の注目画素および周辺画素ならびに原画像の中心画素群および周辺画素について説明するための図である。
【図４】不一致指数の算出方法を示す模式図である。
【図５】重み付け係数Ｋｉの分布を示す模式図である。
【図６】図１０の原画像を第１の実施の形態における画像処理方法を用いて３倍に拡大し、エッジ鮮鋭化を行った画像の各画素の階調値を示す図である。
【図７】図６の画像を視覚的に表わした図である。
【図８】この発明の第２の実施の形態である画像処理のフローチャートである。
【図９】濃度コントラスト値算出の際に参照する周辺画素の位置を示す図である。
【図１０】５×５画素の原画像における各画素の階調値を示す図である。
【図１１】図１０の原画像を「バイリニア補間法」を用いて３倍に拡大した拡大画像の各画素の階調値を示す図である。
【図１２】図１１の拡大画像を視覚的に表わした図である。
【図１３】図１１および図１２の拡大画像にＵＳＭアパーチャーを用いたエッジ強調処理を行った場合の各画素の階調値を示す図である。
【図１４】図１３の画像を視覚的に表わした図である。
【符号の説明】
１  画像処理装置
１４  画像拡大処理部
１５  処理部
１６  階調分布比較部
１７  高相関画素検出部
１８  補正データ抽出部
１９  画像合成部
ＣＡ  比較領域
ＯＡ  対象領域
ＲＡ  対応領域
Ｃ１〜Ｃ９  不一致指数
ｐ１  注目画素
ｐ２〜ｐ９，ｑ１〜ｑ１４  画素
【図１】
0003625144.tif 000003
【図２】
0003625144.tif 000004
【図３】
0003625144.tif 000005
【図４】
0003625144.tif 000006
【図５】
0003625144.tif 000007
【図６】
0003625144.tif 000008
【図７】
0003625144.tif 000009
【図８】
0003625144.tif 000010
【図９】
0003625144.tif 000011
【図１０】
0003625144.tif 000012
【図１１】
0003625144.tif 000013
【図１２】
0003625144.tif 000014
【図１３】
0003625144.tif 000015
【図１４】
0003625144.tif 000016