(57)【要約】【課題】  リンギングの強調を抑え、ぼけた画像を鮮鋭化する。【解決手段】  判定部１０１は入力画像の各画素がエッジ領域に属するかを判定する。レンジ算出部１０３はエッジ領域に属すると判定された画素位置を注目位置として順次設定する。注目位置の仮鮮鋭化画像での周辺の画素値の分布から制限範囲を算出する。変換部１０４は入力画像のエッジ領域に属すると判定された画素の位置を注目位置と、画素値を参照画素値として設定する。注目位置の仮鮮鋭化画像で周辺の画素値に、距離に応じた重み係数を乗じて、参照画素値の試算画素値を算出する。参照画素値と、試算画素値との差分が小さく、かつ、制限範囲に収まるように、注目位置の仮鮮鋭化画像での周辺の画素値を補正する。【選択図】  図１
2010212782.tif 000002
【特許請求の範囲】
【請求項１】
入力画像と、前記入力画像の画素値を初期値とする仮鮮鋭化画像とを記憶するための記憶部と、
前記入力画像の各画素に対して、当該画素がエッジ領域に属するかを判定する判定部と、
前記エッジ領域に属すると判定されたエッジ画素の周辺の前記入力画像の各画素の画素値の分布、または前記エッジ画素と対応する前記仮鮮鋭化画像の対応画素の周辺の各画素の画素値の分布、から制限範囲の画素値の上限値及び下限値を算出する、レンジ算出部と、
（ａ）前記対応画素の周辺の各画素の画素値それぞれに、前記対応画素からの距離に応じた重み係数を乗じた和の試算画素値を算出し、
（ｂ１）前記エッジ画素の画素値と前記試算画素値との差分量よりも、前記エッジ画素の画素値と前記対応画素の周辺の各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、前記対応画素の周辺の各画素の変換後の画素値を求め、
（ｂ２）算出された各画素の変換後の画素値が、前記制限範囲に収まるように補正した画素値を前記仮鮮鋭化画像の画素値に書き込む変換部と、
を有することを特徴とする画像鮮鋭化装置。
【請求項２】
前記レンジ算出部は、前記エッジ領域に属すると判定されたエッジ画素の周辺の前記入力画像の各画素の画素値、または前記エッジ画素と対応する前記仮鮮鋭化画像の対応画素の周辺の各画素の画素値、のうち最小の画素値を基準として前記下限値を算出し、最大の画素値を基準として前記上限値を算出することを特徴とする請求項１記載の画像鮮鋭化装置。
【請求項３】
前記レンジ算出部は、前記最大の画素値を前記上限値とし、前記最小の画素値を前記下限値とすることを特徴とする請求項２記載の画像鮮鋭化装置。
【請求項４】
前記レンジ算出部は、前記周辺の各画素の画素値うち、前記最大の画素値からＭ番目に大きい画素値を前記上限値とし、前記最小の画素値からＮ番目に小さい画素値を下限値とすることを特徴とする請求項２記載の画像鮮鋭化装置。
【請求項５】
前記判定部は、前記入力画像の各画素がテクスチャ領域に属するかについても判定し、
前記変換部は、テクスチャ領域に属すると判定されたテクスチャ画素と対応する前記仮鮮鋭化画像の対応画素の周辺の画素の画素値に、前記対応画素からの距離に応じた重み係数を乗じて試算画素値を算出し、前記テクスチャ画素の画素値と前記試算画素値との差分量よりも、前記対応画素の周辺領域に含まれる各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるような、前記変換後の画素値に、前記仮鮮鋭化画像の画素値を変換する、
ことを特徴とする請求項３または４記載の画像鮮鋭化装置。
【請求項６】
その周辺領域での画素値の変化が、前記エッジ画素を含む領域での画素値の変化と、類似すると推定される画素の小数点精度の対応位置を前記入力画像内で求める位置算出部をさらに有し、
前記レンジ算出部は、前記対応位置の周辺の前記入力画像の画素、または前記対応位置と対応する前記仮鮮鋭化画像の位置の周辺の画素の、最小の画素値を基準として前記下限値を算出し、最大の画素値を基準として前記上限値を算出し、
前記変換部は、
（ｃ）前記対応位置と対応する仮鮮鋭化画像内の注目位置の周辺の各画素の画素値それぞれに、前記注目位置からの距離に応じた重み係数を乗じた和の試算画素値を算出し、
（ｄ１）前記エッジ画素の画素値と前記試算画素値との差分量よりも、前記エッジ画素の画素値と前記注目位置の周辺の各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、前記対応画素の周辺の各画素の変換後の画素値を求め、
（ｄ２）算出された各画素の変換後の画素値が、前記制限範囲に収まるように補正した画素値を前記仮鮮鋭化画像の画素値に書き込むことを特徴とする請求項１〜５のいずれか１項記載の画像鮮鋭化装置。
【請求項７】
前記入力画像を、前記入力画像の画素数よりも多い画素数の高解像度画像の画素値を算出する仮拡大部を更に備え、
前記記憶部は、前記仮高解像度画像の画素値を初期値とする前記仮鮮鋭化画像を記憶することを特徴とする請求項１〜６のいずれか１項記載の画像鮮鋭化装置。
【請求項８】
入力画像と、前記入力画像の画素値を初期値とする仮鮮鋭化画像とを記憶部に記憶するステップと、
前記入力画像の各画素に対して、当該画素がエッジ領域に属するかを判定する判定ステップと、
前記エッジ領域に属すると判定されたエッジ画素の周辺の前記入力画像の各画素の画素値の分布、または前記エッジ画素と対応する前記仮鮮鋭化画像の対応画素の周辺の各画素の画素値の分布から制限範囲の画素値の上限値及び下限値を算出する、レンジ算出ステップと、
（ａ）前記対応画素の周辺の各画素の画素値それぞれに、前記対応画素からの距離に応じた重み係数を乗じた和の試算画素値を算出し、
（ｂ１）前記エッジ画素の画素値と前記試算画素値との差分量よりも、前記エッジ画素の画素値と前記対応画素の周辺の各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、前記対応画素の周辺の各画素の変換後の画素値を求め、
（ｂ２）算出された各画素の変換後の画素値が、前記制限範囲に収まるように補正した画素値を前記仮鮮鋭化画像の画素値に書き込む変換ステップと、
を有することを特徴とする画像鮮鋭化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を鮮鋭化する画像鮮鋭化装置、及び画像鮮鋭化方法に関する。
【背景技術】
【０００２】
デジタルカメラで撮影された画像やテレビに表示する動画は、焦点ずれや符号化処理などによってぼけている場合がある。ぼけた画像や映像を見やすく変換するために、画像強調処理や原画復元処理によってぼけの除去を行っている。例えば、画像データを輪郭画素、ノイズ画素、非エッジ画素の３種類の画素に分類して対応する処理を行う技術が開示されている。例えば特許文献１には、輪郭画素については、その個数に応じたエッジ強調係数を決定してエッジ強調処理を行う手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２７９０６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、エッジ強調処理に伴ってエッジ周辺に発生するリンギングまでもが強調されてしまうという課題があった。
【課題を解決するための手段】
【０００５】
上記課題を解決するために本発明は、画像鮮鋭化装置及び当該画像鮮鋭化装置が行う画像鮮鋭化方法を提供する。
【発明の効果】
【０００６】
本発明の画像鮮鋭化装置、画像鮮鋭化方法、及び画像表示装置によれば、エッジ周辺のリンギングを抑えながら、ぼけた画像を鮮鋭化することができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態の画像処理装置のブロック図。
【図２】第１の実施形態の画像処理装置のフローチャート。
【図３】制限範囲を算出する方法を説明する図。
【図４】第２の実施形態の画像処理装置のブロック図。
【図５】第２の実施形態の画像処理装置のフローチャート。
【図６】第３の実施形態の画像処理装置のブロック図。
【図７】画像の自己合同性を説明する図。
【図８】第３の実施形態の画像処理装置のフローチャート。
【図９】第４の実施形態の画像処理装置のブロック図。
【図１０】第４の実施形態の画像処理装置のフローチャート。
【図１１】第５の実施形態の画像処理装置のブロック図。
【図１２】第５の実施形態の画像処理装置のフローチャート。
【図１３】第６の実施形態の画像表示装置を説明する図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態について、詳細に説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
【０００９】
［第１の実施形態］
図１は、本実施形態の画像鮮鋭化装置のブロック図である。本実施形態の画像鮮鋭化装置は、判定部１０１、記憶部１０２、レンジ算出部１０３、変換部１０４を有する。
【００１０】
記憶部１０２は、入力された画像と、入力画像の各画素値を初期値とする仮鮮鋭化画像とを記憶する。記憶部１０２は、例えば、ＰＣ（パソコン）のＤＲＡＭ（メモリ）やＨＤＤ（ハードディスク）、ＬＳＩのフレームメモリなどの読み書き可能な記憶媒体である。なお、入力画像の画素と対応する仮鮮鋭化画像の画素を対応画素とする。対応するとは、画像空間上で互いが相対的に同じ位置ある画素同士の関係を示す。
【００１１】
判定部１０１は、記憶部１０２に記憶された入力画像の各画素を順次選択し、選択された画素を含む周辺領域内の画素値の変化から、その画素がどの種類の領域に分類されるかを判定する。分類する領域の種類としては、例えば選択された画素が、周辺の領域で画素値変化が直線的に起こっているエッジ領域と、それ以外の非エッジ領域とのどちらの領域に属するのかを判定する。その他、エッジ領域と、局所領域内での画素値の変化の大きな画素数が多いテクスチャ領域と、局所領域内での画素値変化が小さい平坦領域とに判定する方法であってもよい。判定結果である領域情報は、レンジ算出部１０３及び変換部１０４に送られる。
【００１２】
レンジ算出部１０３は、エッジ領域に属すると判定されたエッジ画素と対応する、仮鮮鋭化画像の対応画素の周辺領域に含まれる仮鮮鋭化画像の画素のうち、最小の画素値を基準として制限範囲の下限値を設定し、最大の画素値を基準として制限範囲の上限値を設定する。下限値から上限値までに含まれる画素値が、制限範囲に収まる画素値である。
【００１３】
変換部１０４は、仮鮮鋭化画像の各画素に対して鮮鋭化処理を繰り返し、記憶部１０２に記憶された仮鮮鋭化画像の画素値を順次書き換える。入力画像のエッジ画素と対応する仮鮮鋭化画像の対応画素の周辺領域に含まれる画素に対しては、以下の鮮鋭化処理を行う。鮮鋭化処理は、まず（ａ）対応画素の周辺領域に含まれる各画素の画素値それぞれに、対応画素からの距離に応じた重み係数を乗じた和の試算画素値を算出する。重み係数は、ぼけの程度や撮像系等によって決まる距離に応じた所定の重み係数であり、例えばガウス関数などを用いる。次に、（ｂ１）エッジ画素の画素値と（ａ）で算出した試算画素値との差分量よりも、エッジ画素の画素値と対応画素の周辺領域に含まれる各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、対応画素の周辺領域に含まれる各画素の変換後の画素値を求める。次に（ｂ２）算出された各画素の変換後の画素値が、制限範囲に収まるように補正した画素値に、記憶部１０２に記憶された画素値を書き換える。（ｂ２）における補正は、（ｂ１）で導出した変換後の画素値のうち、制限範囲を超えた画素値については制限範囲の上限値若しくは下限値のどちらか画素値が近い方へとクリップする処理を行う。
【００１４】
また、判定部１０１が、テクスチャ領域に属するかについても判定する場合は、変換部１０４は、入力画像のテクスチャ画素と対応する仮鮮鋭化画像の対応画素の周辺領域に含まれる画素に対しては、以下の鮮鋭化処理を行う。変換部１０４はテクスチャ領域に属すると判定されたテクスチャ画素と対応する仮鮮鋭化画像の対応画素の周辺領域に含まれる画素の画素値に、テクスチャ画素からの距離に応じた重み係数を乗じて試算画素値を算出する。次に、テクスチャ画素の画素値と算出した試算画素値との差分量よりも、テクスチャ画素の画素値と対応画素の周辺領域に含まれる各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、対応画素の周辺領域に含まれる各画素の変換後の画素値を求める。
【００１５】
仮鮮鋭化画像の対応画素の周辺の各画素値を加減算して補正画素値を求め、順次設定されるエッジ画素の対応画素周辺領域について繰り返して鮮鋭化処理を行い、記憶部１０２に保持された仮鮮鋭化画像の画素値の変換処理を行う。
【００１６】
試算画素値と入力画像の画素値との差分量が、より小さくなるような画素値への変換の方法として、例えば、ＰＯＣＳ法やIterative Back-Projection法（S. Park, et.al. 「Super-Resolution Image Reconstruction: A Technical Overview,」 IEEE Signal Processing Magazine, USA, IEEE, May 2003, p. 29, p. 31参照）を用いればよい。その他、最小化問題を解くためのあらゆる手法であってよい。
【００１７】
図２は、本実施形態の画像鮮鋭化装置が入力画像から鮮鋭化された出力画像を出力する動作を説明するためのフローチャートである。
【００１８】
まず、記憶部１０２は、入力画像の各画素の画素値を記憶する（ステップＳ２００）。
【００１９】
次に、判定部１０１は、入力画像の各画素を順次選択し、その画素を含む周辺の画素値の変化から、その画素がどの種類の領域に分類されるかを判定する（ステップＳ２０１）。判定部１０１は、判定結果の領域情報を保持する。
【００２０】
次に、記憶部１０２に、仮鮮鋭化画像の初期値を設定する。初期値としては、S２００で記憶した入力画像と同じ画素値を有する画像を、コピーし記憶する（ステップＳ２０２）。
【００２１】
次に、レンジ算出部１０３が、判定部１０１でエッジ領域に属すると判定されたエッジ画素を処理対象として順次設定し、設定されたエッジ画素の対応画素の仮鮮鋭化画像での周辺の画素値の分布から後段の画素値補正時の画素値として取りうる値の範囲である制限範囲を算出する（ステップＳ２０３）。
【００２２】
図３は、仮鮮鋭化画像の対応画素周辺の画素値の分布を例示する図である。縦軸は、画素値の大きさを、横軸は画素位置を示す。図３（ａ）は、制限範囲を算出する方法を説明する図である。図３（ａ）では、判定部１０１でエッジ領域に属すると判定されたエッジ画素の対応画素３０１の画素位置３０２の周辺領域３０３に含まれる画素の画素値のうち、最大の画素値を有する画素３０４の画素値を上限値とする。また、最小の画素値を有する画素３０５の画素値を下限値とする。下限値から上限値までが制限範囲３０６である。後述するように、変換部１０４において、制限範囲に収まるように補正画素値を算出するために、補正画素値がエッジ周辺のリンギング（最大の画素値・最小の画素値）を超える画素値に補正されることがなくなり、リンギングの強調を抑えることができる。
【００２３】
図３（ｂ）は、図３（ａ）とは異なる方法で制限範囲を算出する方法を説明する図である。図３（ｂ）では、判定部１０１でエッジ領域に属すると判定したエッジ画素の対応画素３０７の画素位置３０８の周辺領域３０９に含まれる画素の画素値のうち、上位Ｍ番目（最大の画素値からＭ番目に大きい画素値）となる画素値を有する画素３１０の画素値を上限値とする。また、下位Ｎ番目（最小の画素値からＮ番目に小さい画素値）の画素値を有する画素３１１の画素値を下限値とする。下限値から上限値までが制限範囲３１２である。図３（ｂ）の方法によれば、図３（ａ）と同様に制限範囲を設けることで対応画素３０７の周辺領域内３０９にリンギングが発生していた場合であっても、後述の変換部１０４における鮮鋭化処理でのリンギングの強調を抑える効果を得ることが出来る。また、入力画像に含まれていたリンギング自体を抑制する効果もある。
【００２４】
次に、変換部１０４は、記憶部１０２に記憶された仮鮮鋭化画像の画素値を変換する（ステップＳ２０４）。具体的には、判定部１０１からの領域情報に応じて、入力画像のエッジ画素を順次処理対象の画素として設定し、以下の処理を行う。まず（ａ）対応画素の周辺領域に含まれる各画素の画素値それぞれに、対応画素からの距離に応じた重み係数を乗じた和の試算画素値を算出する。重み係数は、ぼけの程度や撮像系等によって決まる距離に応じた所定の重み係数であり、例えばガウス関数などを用いる。次に、（ｂ１）エッジ画素の画素値と（ａ）で算出した試算画素値との差分量よりも、エッジ画素の画素値と対応画素の周辺領域に含まれる各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、対応画素の周辺領域に含まれる各画素の変換後の画素値を求める。次に（ｂ２）算出された各画素の変換後の画素値が、制限範囲に収まるように補正した画素値に、記憶部１０２に記憶された画素値を書き換える。（ｂ２）における補正は、（ｂ１）で導出した変換後の画素値のうち、制限範囲を超えた画素値については制限範囲の上限値若しくは下限値のどちらか画素値が近い方へとクリップする処理を行う。記憶部１０２に保持された仮鮮鋭化画像の画素値を、算出した対応画素の周辺領域に含まれる画素の画素値に変換する処理を行う。順次、エッジ画素を処理対象に設定し、上記の変換処理を繰り返し行う。
【００２５】
また、変換部１０４は、判定部１０１が、テクスチャ領域に属するかについても判定する場合は、変換部１０４はテクスチャ領域に属すると判定されたテクスチャ画素と対応する仮鮮鋭化画像の対応画素の周辺領域に含まれる画素の画素値に、テクスチャ画素からの距離に応じた重み係数を乗じて試算画素値を算出する。次に、テクスチャ画素の画素値と算出した試算画素値との差分量よりも、テクスチャ画素の画素値と対応画素の周辺領域に含まれる各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、対応画素の周辺領域に含まれる各画素の変換後の画素値を求める。記憶部１０２に保持された仮鮮鋭化画像の画素値を、算出した対応画素の周辺領域に含まれる画素の画素値に変換する処理を行う。順次、エッジ画素、テクスチャ画素を処理対象に設定し、上記の変換処理を繰り返し行う。
【００２６】
次に、変換部１０４は、既定の繰り返し回数だけ変換処理を行ったかどうかを判定する（ステップＳ２０５）。具体的には、変換部１０４において、エッジ画素を用いた変換処理が既定の繰り返し回数だけ終了したかどうかを判定する。判定結果がＮＯであればステップＳ２０３に戻り、レンジ算出部１０３が制限範囲を再び変換後の仮鮮鋭化画像から算出し、最初に設定されたエッジ画素の対応画素についての仮鮮鋭化画像の変換処理を行う。また、ＹＥＳであれば、変換処理を終了し、記憶部１０２内の仮鮮鋭化画像を鮮鋭化画像として出力する。
【００２７】
このように入力画像の各画素の周辺の画素値の変化の程度から、その画素がエッジ領域に属するかを判定し、エッジ画素と対応する仮鮮鋭化画像の対応画素の周辺の画素値の分布から画素値補正時の画素値の制限範囲を設定して鮮鋭化処理を行うことで、エッジ領域のリンギングを抑えながら、ぼけた画像を鮮鋭化した画像を得ることができる。
【００２８】
［第２の実施形態］
図４は、本実施形態の画像鮮鋭化装置のブロック図である。
【００２９】
画像鮮鋭化装置は、判定部１０１、記憶部１０２、レンジ算出部４０３、変換部１０４を有する。図１に示した第１の実施形態の画像鮮鋭化装置とは、制限範囲の設定の仕方が異なる。図１の画像鮮鋭化装置は、仮鮮鋭化画像の対応画素の周辺領域の画素値の分布から制限範囲を算出していた。本実施形態の画像鮮鋭化装置は、入力画像のエッジ画素の周辺領域の画素値の分布から制限範囲を算出する点が異なる。
【００３０】
レンジ算出部４０３は、判定部１０１でエッジ領域に属すると判定されたエッジ画素を処理対象として順次設定し、エッジ画素の周辺領域に含まれる入力画像の画素の最小の画素値を基準として制限範囲の下限値を設定し、最大の画素値を基準として制限範囲の上限値を設定する。
【００３１】
本実施形態の画像鮮鋭化装置が入力画像から鮮鋭化された出力画像を出力する動作を説明するためのフローチャートである。ステップＳ５０３を除く処理は、それぞれ図２のステップＳ２００、Ｓ２０１、２０２０、２０４、２０５と同様の処理を行うため詳細は省略する。
【００３２】
まず、記憶部１０２は、入力画像を記憶する（ステップＳ５００）。
【００３３】
次に、判定部１０１が、入力画像の各画素を順次選択し、その画素を含む周辺の画素値の変化から、その画素がどの種類の領域に分類されるかを判定する（ステップＳ５０１）。判定部１０１は、判定結果の領域情報を保持する。
【００３４】
次に、記憶部１０２に、仮鮮鋭化画像の初期値を設定する。初期値としては、S５００で記憶した入力画像と同じ画素値を有する画像を、コピーし記憶する（ステップＳ５０２）。 
次に、レンジ算出部４０３が、判定部１０１でエッジ領域に属すると判定されたエッジ画素を順次設定し、設定されたエッジ画素の周辺の入力画像の画素値の分布から画素値補正時の制限範囲を算出する（ステップＳ５０３）。制限範囲の設定方法は、図３に示した例と同様の方法で設定する。
【００３５】
次に、変換部１０４が、仮鮮鋭化画像の画素値を変換する（ステップＳ５０４）。ステップＳ５０４では、図２のステップＳ２０４と同様の変換処理を行う。
【００３６】
次に、変換部１０４は、既定の繰り返し回数だけ変換処理を行ったかどうかを判定する（ステップＳ５０５）。具体的には、変換部１０４において、エッジ画素についてした変換処理が既定の繰り返し回数だけ終了したかどうかを判定し、ＮＯであればステップＳ５０４（第１の実施形態のステップＳ２０３に対応）に戻り、最初に設定されたエッジ画素についての仮鮮鋭化画像の変更処理を行う。また、ＹＥＳであれば、変換処理を終了し、記憶部１０２内の仮鮮鋭化画像を鮮鋭化画像として出力する。
【００３７】
このように、エッジ領域に属すると判定されたエッジ画素の周辺の入力画像の画素値の分布から画素値補正時の制限範囲を設定して鮮鋭化処理を行うことで、より高速に、エッジ領域のリンギングを抑えながら、ぼけた画像を鮮鋭化した画像を出力することができる。
【００３８】
［第３の実施形態］
図６は、本実施形態の画像鮮鋭化装置のブロック図である。
【００３９】
画像鮮鋭化装置は、判定部１０１、記憶部１０２、レンジ算出部６０３、変換部６０４、位置算出部６０５を有する。図１に示した第１の実施形態の画像鮮鋭化装置とは、位置算出部６０５を有する点と、レンジ算出部６０３及び変換部６０４で行われる処理が異なる。
【００４０】
位置算出部６０５は、判定部１０１でエッジ領域に属すると判定されたエッジ画素を順次処理対象として設定する。入力画像内で、設定されたエッジ画素の周辺領域での画素値の変化と、その周辺での画素値の変化が類似すると推定される、画素の小数点精度の対応位置を求める。つまり、位置算出部６０５は、画面空間（入力画像内）における「自己合同性」を利用し、エッジ画素と同じ画素値を有すると推定することが出来る対応位置を、画素間隔より小さい小数精度で算出する。
【００４１】
図７を参照して「自己合同性」について説明する。図７は、横軸が画素の画面空間内での位置を示す横座標を、縦軸が輝度を示す画素値を表す、実際のデジタル画像のデータを示す図である。同じ画像内のエッジ領域における、異なる５行のデータをそれぞれ別の折れ線で示した。図７に示すように、同じ画像内の異なる行でも、非常に似た輝度変化をする部分が存在することが分かる。この様に、同じフレーム内に似た輝度変化を有する画像の性質を、「自己合同性」と定義する。位置算出部６０５は、画素間隔より小さな小数精度（サブピクセル精度）の対応位置を、自己合同性を利用して入力画像内のエッジ画素の周辺で探索する。サブピクセル精度の対応位置の探索には、マッチング誤差補間法や画像補間法を用いる。
【００４２】
レンジ算出部６０３は、入力画像内の対応位置と相対的に同じ位置となる、仮鮮鋭化画像の位置を順次注目位置として設定する。レンジ算出部６０３は、対応位置と対応する仮鮮鋭化画像内の注目位置の周辺領域に含まれる画素の、最小の画素値を基準として制限範囲の下限値を設定し、最大の画素値を基準として制限範囲の上限値を設定する。なお、図１の第１の実施形態の画像鮮鋭化装置と同様に判定部１０１でエッジ領域に属すると判定されたエッジ画素に対しても制限範囲を算出し、設定する。
【００４３】
変換部６０４は、エッジ画素に対する変換処理に加えて、以下の処理を行う。まず、（ｃ）対応位置と対応する仮鮮鋭化画像内の注目位置の周辺の画素の画素値に、注目位置からの距離に応じた重み係数を乗じて、試算画素値を算出する。次に、（ｄ１）エッジ画素の画素値と試算画素値との差分量よりも、エッジ画素の画素値と注目位置の周辺の各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、対応画素の周辺の各画素の変換後の画素値を求める。次に、（ｄ２）算出された各画素の変換後の画素値が、制限範囲内に収まるように補正した画素値を仮鮮鋭化画像の画素値に書き込む。
【００４４】
注目位置の周辺の仮鮮鋭化画像の各画素値を加減算して補正画素値を求め、記憶部１０２に保持された仮鮮鋭化画像の画素値の変換処理を行う。順次設定される注目位置に対して繰り返し上記の変換処理を行う。
【００４５】
図８は、本実施形態の画像鮮鋭化装置が入力画像から鮮鋭化された出力画像を出力する動作を説明するためのフローチャートである。 
まず、記憶部１０２は、入力画像の各画素の画素値を記憶する（ステップＳ８００）。
【００４６】
次に、判定部１０１は、入力画像の各画素を順次選択し、その画素を含む周辺の画素値の変化から、その画素がどの種類の領域に分類されるかを判定する（ステップＳ８０１）。判定部１０１は、判定結果の領域情報を保持する。
【００４７】
次に、記憶部１０２に、仮鮮鋭化画像の初期値を設定する。初期値としては、S８００で記憶した入力画像と同じ画素値を有する画像を、コピーし記憶する（ステップＳ８０２）。
【００４８】
次に、判定部１０１が、入力画像の各画素を順次選択し、その画素を含む周辺の画素値の変化から、その画素がどの種類の領域に分類されるかを判定する（ステップＳ８０１）。 
次に、記憶部１０２に、入力画像の各画素値を初期値とする仮鮮鋭化画像を記憶させる（ステップＳ８０２）。 
次に、位置算出部６０５が、判定部１０１でエッジ領域に属すると判定されたエッジ画素を処理対象として順次設定し、注目画素を含む第１の領域と画素値の変化が類似すると推定される入力画像内の第２の領域のうち、注目画素と同じ画素値と推定される画素の小数点精度の対応位置を算出する（ステップＳ８０３）。
【００４９】
次に、レンジ算出部６０３が、判定部１０１でエッジ領域に属すると判定されたエッジ画素に対して設定したレンジ算出処理に加えて、位置算出部６０５で算出された対応位置と対応する仮鮮鋭化画像の注目位置を順次設定し、注目位置の周辺の画素値の分布から画素値補正時の制限範囲を算出し、設定する（ステップＳ８０４）。
【００５０】
次に、変換部６０４が、記憶部１０２に記憶された仮鮮鋭化画像の画素値を変換する（ステップＳ８０５）。変換部６０４は、第１の実施形態のステップＳ２０４と同様に、エッジ画素と対応する仮鮮鋭化画像の鮮鋭化処理を行う。また、（ｃ）対応位置と対応する仮鮮鋭化画像内の注目位置の周辺の画素の画素値に、注目位置からの距離に応じた重み係数を乗じて、試算画素値を算出する。次に、（ｄ１）エッジ画素の画素値と試算画素値との差分量よりも、エッジ画素の画素値と注目位置の周辺の各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、対応画素の周辺の各画素の変換後の画素値を求める。次に、（ｄ２）算出された各画素の変換後の画素値が、制限範囲内に収まるように補正した画素値を仮鮮鋭化画像の画素値に書き込む。
【００５１】
次に、変換部６０４は、既定の繰り返し回数だけ変換処理を行ったかどうかを判定する（ステップＳ８０６）。 判定結果がＮＯであればステップＳ８０４に戻る。また、ＹＥＳであれば、変換処理を終了し、記憶部１０２内の仮鮮鋭化画像を鮮鋭化画像として出力する。
【００５２】
このように入力画像の各画素の周辺の画素値の変化の程度から、その画素がエッジ領域に属するかを判定し、エッジ領域の画素で自己合同性により小数精度の対応位置を算出し、エッジ画素位置と対応位置の仮鮮鋭化画像での周辺の画素値の分布から画素値補正時の制限範囲を設定して鮮鋭化処理を行うことで、エッジ領域のリンギングとジャギーを抑えながら、ぼけた画像を鮮鋭化した画像を出力することができる。
【００５３】
［第４の実施形態］
図９は、本実施形態の画像鮮鋭化装置のブロック図である。
【００５４】
画像鮮鋭化装置は、判定部１０１、記憶部９０２、レンジ算出部１０３、変換部１０４、仮拡大部９０５を有する。図１の画像鮮鋭化装置とは、仮拡大部９０５を有する点が異なる。
【００５５】
仮拡大部９０５は、入力画像の画素値に基づく内挿処理によって、入力画像に含まれる画素数よりも多い画素数を有する仮高解像度画像の画素値を算出する。例えば、一般的な線形フィルタ処理である、三次畳み込み内挿法や、双一次内挿法などを用いる。
【００５６】
記憶部９０２は、仮拡大部９０５で算出された仮高解像度画像の画素値を初期値とする仮鮮鋭化画像を記憶する。以降、仮高解像度画像が記憶されている仮鮮鋭化画像と、入力画像は、画素数は異なるが、画像サイズは同じものとする。つまり、仮鮮鋭化画像は、入力画像より高密度に画素が存在し、仮鮮鋭化画像の画素間隔は、入力画像の画素間隔より小さくなっている。
【００５７】
図１０は、本実施形態の画像鮮鋭化装置の動作を説明するためのフローチャートである。 
まず、記憶部９０２は、入力画像を記憶する（ステップＳ１０００）。
【００５８】
次に、判定部１０１が、入力画像の各画素を順次選択し、その画素を含む周辺の画素値の変化から、その画素がどの種類の領域に分類されるかを判定する（ステップＳ１００１）。判定部１０１は、判定結果の領域情報を保持する。
【００５９】
次に、仮拡大部９０５が、入力画像の画素値に基づく内挿処理によって、入力画像に含まれる画素数よりも多い画素数の仮高解像度画像の画素値を算出する（ステップＳ１００２）。
【００６０】
次に、記憶部９０２に、仮鮮鋭化画像の初期値を設定する。初期値としては、S１００２で仮拡大部９０５が算出した仮拡大画像を記憶する（ステップＳ１００３）。
【００６１】
次に、レンジ算出部１０３が、判定部１０１でエッジ領域に属すると判定されたエッジ画素を順次処理対象として設定し、エッジ画素と対応する仮鮮鋭化画像の位置の周辺の画素値の分布から画素値補正時の制限範囲を算出し、設定する（ステップＳ１００４）。
【００６２】
次に、変換部１０４が、仮鮮鋭化画像の画素値を変換する（ステップＳ１００５）。 
次に、変換部１０４は、既定の繰り返し回数だけ変換処理を行ったかどうかを判定する（ステップＳ１００６）。 判定結果がＮＯであればステップＳ１００４に戻る。また、ＹＥＳであれば、変換処理を終了し、記憶部９０２内の仮鮮鋭化画像を鮮鋭化画像として出力する。
【００６３】
このように、入力画像を内挿処理によって拡大した画像を仮鮮鋭化画像とし、画素値補正時の制限範囲を設定して鮮鋭化処理を行うことで、エッジ領域のリンギングを抑えながら、ぼけた画像を鮮鋭に拡大した画像を生成することができる。
【００６４】
［第５の実施形態］
図１１は、本実施形態の画像鮮鋭化装置のブロック図である。
【００６５】
画像鮮鋭化装置は、判定部１０１、記憶部１１０２、レンジ算出部１１０３、変換部１１０４、仮拡大部１１０５、位置算出部１１０６を有する。
【００６６】
仮拡大部１１０５は、入力画像の画素値に基づく内挿処理によって、入力画像に含まれる画素数よりも多い画素数の仮高解像度画像の画素値を算出する。
【００６７】
記憶部１１０２は、仮拡大部１１０５で算出された仮高解像度画像の画素値を初期値とする仮鮮鋭化画像を記憶する。以降、仮高解像度画像が記憶されている仮鮮鋭化画像と、入力画像は、画素数は異なるが、画像サイズは同じものとする。つまり、仮鮮鋭化画像は、入力画像より高密度に画素が存在し、仮鮮鋭化画像の画素間隔は、入力画像の画素間隔より小さくなっている。
【００６８】
位置算出部１１０６は、判定部１０１でエッジ領域に属すると判定された画素を処理対象として順次設定し、注目画素を含む第１の領域と画素値の変化が類似すると推定される入力画像内の第２の領域のうち、注目画素と同じ画素値と推定される画素の小数点精度の対応位置を算出する。
【００６９】
レンジ算出部１１０３は、判定部１０１でエッジ領域に属すると判定されたエッジ画素から設定した制限範囲の設定処理に加えて、位置算出部１１０６で算出された対応位置から、対応位置と対応する仮鮮鋭化画像内の位置の周辺の画素値の分布から画素値補正時の制限範囲を算出し、設定する。
【００７０】
変換部１１０４は、鮮鋭化処理として、エッジ画素に対する変換処理に加えて、以下の処理を行う。（ｃ）対応位置と対応する仮鮮鋭化画像内の注目位置の周辺の画素の画素値に、注目位置からの距離に応じた重み係数を乗じて、試算画素値を算出する。次に、（ｄ１）エッジ画素の画素値と試算画素値との差分量よりも、エッジ画素の画素値と注目位置の周辺の各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、対応画素の周辺の各画素の変換後の画素値を求める。次に、（ｄ２）算出された各画素の変換後の画素値が、制限範囲内に収まるように補正した画素値を仮鮮鋭化画像の画素値に書き込む。
【００７１】
図１２は、本実施形態の画像鮮鋭化装置が入力画像から鮮鋭化された出力画像を出力する動作を説明するためのフローチャートである。   まず、記憶部１１０２は、入力画像を記憶する（ステップＳ１２００）。
【００７２】
次に、判定部１０１が、入力画像の各画素を順次選択し、その画素を含む周辺の画素値の変化から、その画素がどの種類の領域に分類されるかを判定する（ステップＳ１２０１）。判定部１０１は、判定結果の領域情報を保持する。
【００７３】
次に、仮拡大部１１０５が、入力画像の画素値に基づく内挿処理によって、入力画像に含まれる画素数よりも多い画素数の仮高解像度画像の画素値を算出する（ステップＳ１２０２）。
【００７４】
次に、記憶部１１０２に、仮鮮鋭化画像の初期値を設定する。初期値としては、S１００２で仮拡大部１１０５が算出した仮拡大画像を記憶する（ステップＳ１２０３）。 
次に、位置算出部１１０６が、判定部１０１でエッジ領域に属すると判定された画素を処理対象として順次設定し、注目画素を含む第１の領域と画素値の変化が類似すると推定される入力画像内の第２の領域のうち、注目画素と同じ画素値と推定される画素の小数点精度の対応位置を算出する（ステップＳ１２０４）。
【００７５】
次に、レンジ算出部１１０３が、判定部１０１でエッジ領域に属すると判定されたエッジ画素の画素位置から設定するレンジ算出処理に加えて、位置算出部１１０６で算出された対応位置も順次処理対象として設定し、対応位置と対応する仮鮮鋭化画像内の位置周辺の画素値の分布から画素値補正時の制限範囲を算出し、設定する（ステップＳ１２０５）。
【００７６】
次に、変換部１１０４が、仮鮮鋭化画像の画素値を変換する（ステップＳ１２０６）。 
次に、変換部１１０４は、既定の繰り返し回数だけ変換処理を行ったかどうかを判定する（ステップＳ１２０７）。 
本実施形態の画像処理装置によれば、エッジ領域の画素で自己合同性により小数精度の対応位置を算出し、制限範囲を設定して鮮鋭化処理を行うことで、エッジ領域のリンギングとジャギーを抑えながら、ぼけた画像を鮮鋭に拡大した画像を出力することができる。
【００７７】
［第６の実施形態］
図１３は、本実施形態の画像表示装置を説明する図である。画像表示装置は、画像鮮鋭化部１３０１と、画像表示部１３０２とを有する。
【００７８】
画像鮮鋭化部１３０１は、図１と同様の構成であるため、説明は省略する。
【００７９】
画像表示部１３０２は、画像鮮鋭化部１３０１が求めた鮮鋭化画像を表示する。
【００８０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００８１】
また、上記の各実施形態の画像鮮鋭化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
【符号の説明】
【００８２】
１３０１・・・画像鮮鋭化部、１０１・・・判定部、１０２、９０２、１１０２・・・記憶部、１０３、４０３、６０３、１１０３・・・レンジ算出部、１０４、６０４、１１０４・・・変換部、９０５、１１０５・・・仮拡大部、６０５、１１０６・・・位置算出部、１３０２・・・画像表示部
【図１】
2010212782.tif 000003
【図２】
2010212782.tif 000004
【図３】
2010212782.tif 000005
【図４】
2010212782.tif 000006
【図５】
2010212782.tif 000007
【図６】
2010212782.tif 000008
【図７】
2010212782.tif 000009
【図８】
2010212782.tif 000010
【図９】
2010212782.tif 000011
【図１０】
2010212782.tif 000012
【図１１】
2010212782.tif 000013
【図１２】
2010212782.tif 000014
【図１３】
2010212782.tif 000015