(57)【要約】【課題】  ぼけた画像を鮮鋭化する。【解決手段】  判定部１０２は基準フレーム内の各画素をエッジ領域とそれ以外の領域に判定する。位置算出部１０３はエッジ領域に属する画素を１つずつ注目画素として設定し、各注目画素に対応する仮鮮鋭化画像への対応位置を小数点精度で算出し、基準フレームのエッジ領域の各画素を１つずつ参照画素として順次設定し、変換部１０４は参照画素、または、仮鮮鋭化画像の画素値から求めた参照画素の試算画素値と、参照画素の画素値との差分が小さくなるように、仮鮮鋭化画像の各画素値を補正して補正画素値を求める。【選択図】  図１
2010072901.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の基準フレームの画素を注目画素として順次設定し、前記基準フレーム内で前記注目画素を含む注目画像領域と画素値の変化が類似する類似領域を求め、前記類似領域内で前記注目画素の画素値と同じ画素値が推定される小数点精度の対応位置を算出する位置算出部と、
前記基準フレームの画素に加えて、前記対応位置に前記注目画素と同じ画素値の画素を有する拡張基準フレームと、前記拡張基準フレームの画素値を初期値とする仮鮮鋭化画像と、を記憶する記憶部と、
前記拡張基準フレームの画素を参照画素として順次設定し、前記仮鮮鋭化画像内で前記参照画素に対応する位置の周辺にある仮鮮鋭化画素のそれぞれに、前記参照画素と前記仮鮮鋭化画素との間の距離に応じた重み係数を乗じて試算画素値を算出し、前記参照画素の画素値と前記試算画素値との差分の絶対値が小さくなるように前記仮鮮鋭化画素の画素値を補正する、変換部と、
を有することを特徴とする画像処理装置。
【請求項２】
入力画像のフレームの各画素の周辺の画素値の変化の程度から、その画素がエッジ領域に属するかを判定する判定部をさらに備え、
前記位置算出部は、前記エッジ領域に属すると判定された画素について注目画素として順次設定し、前記対応位置を算出することを特徴とする請求項1記載の画像処理装置。
【請求項３】
前記変換部は、前記仮鮮鋭化画像の画素のうち、前記エッジ領域であると判定された画素及び前記対応位置の画素を、前記参照画素として選択することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記判定部は、その画素がテクスチャ領域や平坦領域に属するかについてもさらに判定し、
前記変換部は、前記仮鮮鋭化画像の画素のうち、前記テクスチャ領域であると判定された画素についても前記参照画素として選択することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記変換部は、前記エッジ領域に属すると判定された画素を前記参照画素として設定して、第１の補正量で前記仮鮮鋭化画像の各画素値を補正し、前記テクスチャ領域を前記参照画素として設定して、第２の補正量で前記仮鮮鋭化画像の各画素値を補正する、
請求項３記載の画像処理装置。
【請求項６】
前記位置算出部は、
前記注目画素に接するライン上の複数の画素を候補画素として抽出する抽出手段と、
前記候補画素と前記注目画素との類似度に基づく評価値をそれぞれ求める評価値算出手段と、
前記評価値に基づき、前記注目画素ともっとも類似する画素値が推定される位置を対応位置として算出する算出手段と、
を有することを特徴とする請求項３記載の画像処理装置。
【請求項７】
入力画像の基準フレームの画素を注目画素として順次設定するステップと、
前記基準フレーム内で前記注目画素を含む注目画像領域と画素値の変化が類似する類似領域を求めるステップと、
前記類似領域内で前記注目画素の画素値と同じ画素値が推定される小数点精度の対応位置を算出するステップと、
前記基準フレームの画素に加えて、前記対応位置に前記注目画素と同じ画素値の画素を有する拡張基準フレームと、前記拡張基準フレームの画素値を初期値とする仮鮮鋭化画像と、を記憶部に記憶するステップと、
前記拡張基準フレームの画素を参照画素として順次設定するステップと、
前記仮鮮鋭化画像内で前記参照画素に対応する位置の周辺にある仮鮮鋭化画素のそれぞれに、前記参照画素と前記仮鮮鋭化画素との間の距離に応じた重み係数を乗じて試算画素値を算出し、前記参照画素の画素値と前記試算画素値との差分の絶対値が小さくなるように前記仮鮮鋭化画素の画素値を補正するステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を鮮鋭化する画像処理装置およびその方法に関する。
【背景技術】
【０００２】
デジタルカメラで撮影された画像やテレビに表示する動画は、焦点ずれや符号化処理などによってぼけている場合がある。ぼけた画像や映像を見やすく変換するために、画像強調処理や原画復元処理によってぼけの除去を行っている。例えば、特許文献１では、画像データを輪郭画素，ノイズ画素，非エッジ画素の３種類の画素に分類して対応する処理を行っている。このうち輪郭画素については、その個数に応じたエッジ強調係数を決定してエッジ強調処理を行うことで鮮鋭な画像を得ている。
【特許文献１】特許第２７９０６０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来技術では、処理対象の画像の画素数の標本値（画素値）を利用して画像強調や原画復元を行っていた。まばらな標本値から、輪郭強調処理を行っていたため被写体の輪郭などのエッジでジャギーが強調されてしまっていた。
【０００４】
本発明は、処理対象の画像に対して画素の少数精度に位置する標本値を求め、求めた標本値を利用することでエッジ領域のジャギーを抑えながら鮮鋭な画像を得る画像処理装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の目的を達成するために、本発明は入力画像の基準フレームの画素を注目画素として順次設定し、前記基準フレーム内で前記注目画素を含む注目画像領域と画素値の変化が類似する類似領域を求め、前記類似領域内で前記注目画素の画素値と同じ画素値が推定される小数点精度の対応位置を算出する位置算出部と、前記基準フレームの画素に加えて、前記対応位置に前記注目画素と同じ画素値の画素を有する拡張基準フレームと、前記拡張基準フレームの画素値を初期値とする仮鮮鋭化画像と、を記憶する記憶部と、前記拡張基準フレームの画素を参照画素として順次設定し、前記仮鮮鋭化画像内で前記参照画素に対応する位置の周辺にある仮鮮鋭化画素のそれぞれに、前記参照画素と前記仮鮮鋭化画素との間の距離に応じた重み係数を乗じて試算画素値を算出し、前記参照画素の画素値と前記試算画素値との差分の絶対値が小さくなるように前記仮鮮鋭化画素の画素値を補正する、変換部と、を有することを特徴とする画像処理装置を提供する。また、前記画像処理装置が行う画像処理方法を提供する。
【発明の効果】
【０００６】
本発明の画像処理装置および方法によれば、エッジ領域のジャギーを抑えながら、ぼけた画像を鮮鋭化することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施形態の画像処理装置および方法について図面を参照しながら説明する。画像処理装置は、入力された画像を、同じ解像度でボケが除去された鮮鋭な画像となる画素値に変換する処理を行う。なお、以下の説明で画像のことをフレームと呼ぶ場合がある。
【０００８】
図１は、フレーム３０１とフレームの画素３０２と標本点３０３の位置関係を示す。画像は元来、画面空間において輝度が連続的に分布しているものである。しかし、以下の実施形態では、デジタル画像データを、図１に示す様に扱う。フレーム３０１は、横６列、縦４行の２４個の画素３０２からなる。画素３０２の中心点の標本点３０３が持つ輝度の代表値のことを画素値と呼ぶ。画面空間に離散的な標本点３０３として画素３０２を配置し、その輝度でその周囲の輝度を代表させている。
【０００９】
また、以下の実施形態では、単色の画素値を扱った場合を説明したが、ＲＧＢ画像やＹＵＶ画像といったカラー画像の場合、それぞれの成分に上記処理を施すことで、カラー画像にも適用することができる。
【００１０】
（第１の実施形態）
図２は、本実施形態の画像処理装置の構成を示す図である。画像処理装置は、記憶部１０１、判定部１０２、位置算出部１０３、変換部１０４を有する。入力された画像のうち処理対象の１枚のフレームを基準フレームとする。基準フレームは、例えば、デジタルカメラや携帯電話で撮影された静止画像、ビデオカメラで撮影された動画像の１フレーム、テレビや携帯ＡＶプレイヤーが受信した動画像の１フレーム、ＨＤＤに保存された静止画や動画像の１フレーム等の、デジタル画像である。
【００１１】
判定部１０２は、基準フレームの各画素を順次選択し、その画素を含む周辺の画素値の変化から、その画素がどの種類の領域に分類されるかを判定する。判定部１０２は、例えば、選択された画素がエッジ領域と非エッジ領域とのどちらに属するかを判定する。エッジ領域とは選択された画素が、周辺の領域で画素値変化が直線的に起こっている領域であり、具体的には被写体の輪郭線に相当するものである。非エッジ領域はエッジ領域以外の領域である。記憶部１０１は、選択された画素が属する領域の判定結果（以下、領域情報と記載する）を、選択された画素と対応させて記憶する。
【００１２】
位置算出部１０３は、基準フレームの各画素を注目画素として設定し、基準フレーム内で注目画素と同じ画素値が推定される小数点精度の対応位置を算出する。注目画素として設定される画素は、判定部１０２によってエッジ領域に属すると判定されていた画素である。位置算出部１０３は、記憶部１０１を参照しながら、注目画素として設定するかを判定する。算出された対応位置の画素値の標本値には、対応する注目画素の画素値を設定する。
【００１３】
図３は、フレーム内の縦方向に沿ったエッジを持つ被写体の注目画素１２０１の小数点精度の対応位置を算出する例を示す。注目画素１２０１の横方向のライン１２１１の画素値の変化パターンと類似する変化パターンが、１つ上のライン１２１０、もしくは、１つ下のライン１２１２存在すると仮定することができる。ライン１２１０、ライン１２１２それぞれのライン上で、注目画素１２０１の標本点１２０２の画素値と同じ画素値を有すると推定される小数点精度の対応位置を算出する。位置算出部１０３は第１の対応位置１２０３および第２の対応位置１２０４を求める。対応位置を算出する方法である、例えばマッチング誤差補間法や画像補間法の詳細は後述する。
【００１４】
なお、本実施形態ではエッジ領域であると判定された画素を１つずつ注目画素として設定する。一般に、画素値の変化量が大きいエッジ領域では高い検出精度で対応位置を求めることができる。また、非エッジ領域は、入力画像の画素値をそのまま出力した場合であっても、鮮鋭感に対して与える影響が小さい。そのため、非エッジ領域では対応位置を基にした画素値変換を行わないことで、処理量を少なくすることが出来る。なお、領域情報を用いず全ての画素に対して対応位置を算出する手法も考えられる。
【００１５】
記憶部１０１は基準フレームの各画素の領域情報と、拡張基準フレームと、仮鮮鋭化画像と、を保持する。拡張基準フレームについて、図４を参照して説明する。図４(a)は、基準フレーム１５０１における基準フレームの画素１５０２と、対応位置１５０３との関係を示す模式図である。基準フレームの画素１５０２の画素間の小数点精度で算出された対応位置１５０３を×印で示す。図４(b)は、拡張基準フレーム１５０４を説明する図である。拡張基準フレーム１５０４は、基準フレームの画素１５０２と、対応位置１５０３に注目画素の画素値を設定した画素とを有し、それぞれを拡張基準フレームの画素１５０５となる。図４(c)は、仮鮮鋭化画像１５０６を説明する図である。仮鮮鋭化画像の画素１５０７の画素値の初期値は、拡張基準フレームの画素１５０５と同じ画素値を設定する。その後、仮鮮鋭化画素１５０７の画素値は、変換部１０４による鮮鋭化処理が行われた画素値に順次書き換えられる。
【００１６】
変換部１０４は、仮鮮鋭化画像の画素値に対して鮮鋭化処理を繰り返し、記憶部１０１に記憶された仮鮮鋭化画像１５０６の画素値を順次書き換える。鮮鋭化処理を行った後の仮鮮鋭化画像画素１５０７のうち、基準フレームの画素１５０２の位置に対応する画素の画素値を出力画像として出力する。図４(d)は、出力画像１５０８を説明する図である。鮮鋭化処理が行われた仮鮮鋭化画素１５０７の画素のうち、基準フレームの画素１５０２の位置にある鮮鋭画素１５０９を出力する。つまり、出力画像１５０８の解像度は、基準フレーム１５０１の解像度と同じ解像度である。
【００１７】
鮮鋭化処理として、拡張基準フレーム画素１５０５を１つずつ選択し、参照画素として設定する。参照画素と対応する仮鮮鋭化画素１５０７の周囲にある仮鮮鋭化画像１５０６の画素値から求めた参照画素の試算画素値と、参照画素の画素値との差分が小さくなるように、仮鮮鋭化画像１５０６の補正画素値を求める。順次設定される参照画素について繰り返し記憶部１０１に保持された仮鮮鋭化画像の画素値の補正画素値への変換処理を行う。詳細な変換処理の説明は後述する。仮鮮鋭化画像の画素値を変換する方法としては、例えば、ＰＯＣＳ法（Projection onto Convex Sets法）やIterative Back-Projection法によって変換する。
【００１８】
このように基準フレームの注目画素に対応する仮鮮鋭化画像への対応位置を小数点精度で算出し、小数点精度の対応位置で仮鮮鋭化画像の画素値変換を行うことで、エッジ領域のジャギーを抑えながら、ぼけた画像を鮮鋭化した画像を出力することができる。
【００１９】
図５は、本実施形態の画像処理装置が基準フレームから出力フレームを出力する動作を説明するためのフローチャートである。
【００２０】
判定部１０２が、画素値の変化を基に基準フレームの各画素が、エッジ領域と非エッジ領域とのどちらに属するのかを判定する（ステップＳ２０１）。判定部１０２は、基準フレームの全画素について領域情報を求め、記憶部１０１に保持する。
【００２１】
次に、画面空間における対応位置を算出する（ステップＳ２０２）。具体的には、位置算出部１０３は、記憶部１０１に保持された領域情報を参照し、基準フレームのうちエッジ領域に属すると判定された画素を注目画素として順次設定する。各注目画素に対応する前記仮鮮鋭化画像への対応位置を小数点精度で算出する。小数点精度の対応位置の算出処理は、基準フレームを基にマッチング誤差補間法や画像補間法で算出する。
【００２２】
次に、基準フレームの各画素と対応位置に注目画素と同じ画素値の画素とを有する拡張基準フレームと、拡張基準フレームの画素値を初期値とする仮鮮鋭化画像と、を記憶部１０１に保存する（ステップＳ２０３）。
【００２３】
次に、仮鮮鋭化画像の画素値を変換する（ステップＳ２０４）。具体的には、変換部１０４が、記憶部１０１に保持された領域情報に応じて、拡張基準フレームの画素を参照画素として順次設定する。設定された参照画素に対応する仮鮮鋭化画素を含めた周辺の仮鮮鋭化画素の画素値から参照画素の試算画素値を求める。算出される試算画素値と、参照画素の画素値との差分が小さくなるように、仮鮮鋭化画像の各画素値を加減算して補正画素値を求める。差分が小さくなる補正画素値に記憶部１０１に保持された仮鮮鋭化画素の画素値を書き換える。順次設定される参照画素について繰り返し画素値の変換処理を行う。
【００２４】
次に、変換部１０４は、既定の繰り返し回数の変換処理が行われたかどうかを判定する（ステップＳ２０５）。既定の繰り返し回数として、変換処理の演算量と、変換部１０４の処理量との関係から求めた所定の回数を設定しておけばよい。なお、繰り返し回数によらず、求めた仮鮮鋭化画像が十分に鮮鋭である場合には、処理を終了する構成であっても良い。判定の結果がＮＯである場合には、ステップＳ２０４に戻り、最初に選択された参照画素に基づく仮鮮鋭化画像の変更処理を行う。判定の結果がＹＥＳである場合には、仮鮮鋭化画像のうち、基準フレームの画素と対応する鮮鋭画素を出力画像として出力し、終了する。
【００２５】
本実施形態では基準フレーム内の全ての画素について領域情報を求めた後に、領域情報に応じて注目画素の対応位置を算出する構成とした。なお、順次基準フレームの画素を注目画素として選択し、エッジ領域かを判定しながら対応位置計算を行う構成であってもよい。
【００２６】
判定部１０２がステップＳ２０１で、各画素が画面空間においてどの領域に属するかを判定する動作について説明する。
【００２７】
図６は、フレーム内のエッジ領域を検出する方法を説明する図である。基準フレーム４０１の注目画素４０２は画素値ｙ２２を持つ。注目画素を中心とした３×３のブロック領域内の９個の画素は、それぞれ画素値ｙ１１、ｙ１２、・・・、ｙ３３を持つ。判定部１０２は、これら９個の画素を用いて、注目画素４０２がエッジ領域の画素であるかどうかを判定する。
【００２８】
一般に、注目画素４０２での画素値の変化を微分した大きさが一定値以上である場合は、注目画素４０２がエッジ領域に属する画素であると判定する。微分値の大きさを算出するに、例えばソーベルフィルタを用いることができる。横方向の微分値を求めるには横方向ソーベルフィルタ４０３を注目画素４０２の周辺の画素に適用する。具体的には、注目画素４０２の横方向の微分値として、（−ｙ１１−２×ｙ２１−ｙ３１）＋（ｙ１３＋２×ｙ２３＋ｙ３３）を算出する。
【００２９】
同様に、縦方向の微分値を求めるには縦方向のソーベルフィルタ４０４を注目画素４０２の周辺の画素に適用する。具体的には、注目画素４０２の縦方向の微分値として、（ｙ１１＋２×ｙ１２＋ｙ１３）＋（−ｙ３１−２×ｙ３２−ｙ３３）を算出する。
【００３０】
判定部１０２は、縦方向の微分値の絶対値と横方向の微分値の絶対値との和が、ある閾値以上であった場合に、注目画素４０２をエッジ領域の画素であると判定する。
【００３１】
次に、位置算出部１０３によって行われる、ステップＳ２０３で画面空間における対応位置を算出する処理について説明する。位置算出部１０３は、基準フレーム内の自己合同性を利用し注目画素と同じ画素値を有すると推定することが出来る画面空間（基準フレーム内）における対応位置を算出する。
【００３２】
図７は、横軸が画素の横座標、縦軸が輝度を示す画素値を表す、実際のデジタル画像のデータを示す図である。同じフレーム内の異なる５行のデータをそれぞれ別の折れ線で示した。図７に示すように、同じフレーム内の異なる行でも、非常に似た輝度変化をする部分があることが分かる。この様な同じフレーム内に似た輝度変化を有する画像の性質を、「自己合同性」と定義する。
【００３３】
位置算出部１０３は、画素間隔より小さな小数点精度（サブピクセル精度）の対応位置を、自己合同性を利用して基準フレーム内の注目画素の周辺で探索する。サブピクセル精度の対応位置の探索には、マッチング誤差補間法や画像補間法を用いる。
【００３４】
次に、マッチング誤差補間法を用いた小数点精度の対応位置の算出方法について説明する。
【００３５】
図８に示すように、マッチング誤差補間法では、注目画素８０１を中心に数画素四方、例えば５×５画素や３×３画素の矩形のブロック８０２を注目画像領域として取り出す。
【００３６】
次に、注目画像領域８０２と画素値の変化パターンが近い部分を注目画素８０１の周辺から探索する。ここでは、まず、候補画素８０３と、候補画素８０３を中心に候補画像領域８０４が設定されている。画素間隔で算出するマッチング誤差としては、注目画像領域８０２と候補画像領域８０４の各画素値の差の２乗和であるＳＳＤ（Sum of Square Difference）や、各画素値の差の絶対値和であるＳＡＤ（Sum of Absolute Difference）などを用いることができる。ここでは、注目画像領域８０２と、候補画像領域８０４とのＳＡＤを計算して、注目画素８０１と候補画素８０３とのマッチング誤差を算出する。
【００３７】
同様にして注目画素８０１の周辺のその他の画素についてもマッチング誤差を算出することで、画素間隔でのマッチング誤差が算出できる。
【００３８】
この各マッチング誤差の中で最小のマッチング誤差を持つ候補画素領域が、注目画像領域の類似領域として求まる。また、類似領域の中心の画素を対応画素とする。
【００３９】
図９は、注目画素９０１の対応画素として、１ライン下の画素が対応画素９０２である例を示す図である。図９に示すグラフは、それぞれの画素で算出されたマッチング誤差を対応画素９０２の１ライン下の３画素について示したグラフである。３個のマッチング誤差のうち、対応画素９０２のマッチング誤差が最小となっている。対応画素９０２とその両隣のマッチング誤差に対称な連続関数９０３を当てはめる。対称な連続関数は、放物線や、等角２等分線などを用いれば良い。
【００４０】
このようにして当てはめた連続関数が極小となる横位置（白丸で図示）を、画素間隔より小さい小数点精度（サブピクセル精度）での対応位置９０４として求める。
【００４１】
次に、画像補間法を用いた小数点精度の対応位置の算出方法について説明する。
【００４２】
図１０は、画素値を補間した基準フレームを示す図である。画像補間法では、位置算出部１０３は初めに、注目画素１００１、注目画像領域１００２を含めて、補間基準フレーム１００３を生成する。例えば、サンプリング定理に基づくＳｉｎｃ関数でのフィルタ処理による内挿法（三次畳込み法、ＢｉＣｕｂｉｃ法）や線形補間によるＢｉＬｉｎｅａｒ内挿法などを用いて補間する。ここでは、横３倍、縦３倍の補間画素値を生成する例について示す。
【００４３】
そして、この高解像度な補間基準フレーム１００３を用いて、注目画素１００１の周辺で、注目画像領域１００２とマッチング誤差が最小となる領域を、類似領域とする。類似領域の中心の補間基準フレーム１００３の画素位置が、注目画素１００１と同じ画素値を有すると推定される対応位置として算出される。
【００４４】
基準フレームが縦３倍、横３倍に高解像度化された、つまり、画素間隔は１／３になって対応画素が検出されるため、基準フレーム画素間隔の１／３という細かい精度で、対応位置を検出できることに相当する。
【００４５】
図１１は、具体的に、画像補間法によって、小数点精度で算出された対応位置を示す図である。  標本点１１０１を持つ注目画素１１０２を中心とした注目画像領域１１０３を用いて、注目画素１１０２周辺でブロックマッチングを行い、標本点１１０１の対応位置として標本点１１０４が算出されている。
【００４６】
自己合同性を用いた小数点精度の対応位置の算出は、ステップＳ２０２において、位置算出部１０３が、基準フレームのエッジ領域の各画素を１つずつ注目画素として順次設定し、各注目画素に対応する前記仮鮮鋭化画像への対応位置を小数点精度で算出する。小数点精度の対応位置の算出処理は、基準フレームを基にマッチング誤差補間法や画像補間法で算出する。
【００４７】
次に、変換部１０４がステップＳ２０４で行う仮鮮鋭化画像の画素値の変換について説明する。
【００４８】
図１２は、鮮鋭画像とぼけ画像の関係を示す図である。図１２に示すように、鮮鋭画像を１３０１、鮮鋭画像１３０１がぼけた画像である基準フレームを１３０２とする。基準フレーム１３０２の位置（i, j）における画素１３０３の画素値をg i,jとする。画素１３０３の画素値g i,jは、鮮鋭画像１３０１の位置（i, j）とその周囲にある画素１３０４の画素値fを用いて、
【数１】
2010072901.tif 000003
【００４９】
という関係式が成り立つ。ここで、鮮鋭画像の画素値に乗算されるw11〜w33は、ぼけの程度によって決まる重み係数であり、ガウス関数などを用いる。また、図１３に示したように３×３の範囲だけでなく、ぼけの程度によって、広い場合、狭い場合がある。
【００５０】
仮鮮鋭化画像が式（１）を満たすように、仮鮮鋭化画像の各画素値を逐次修正する。
【００５１】
図１３は、対応位置に基づく関係式について説明するための図である。図１３に示すように、鮮鋭画像を１４０１、鮮鋭画像１４０１がぼけた画像である基準フレームを１４０２とする。位置算出部１０３がステップＳ２０２において、エッジ領域の注目画素１４０３の自己合同な対応位置１４０４を算出したとする。
【００５２】
基準フレーム１４０２の位置（i, j）における画素１４０３の画素値g i,jは、図１２での説明と同様に、鮮鋭画像１４０１の位置（i, j）とその周囲にある画素１４０５の画素値fを用いて、式（１）の関係式が成り立つ。一方、画素１４０３の自己合同な対応位置が１４０４と算出されているので、自己合同な対応位置１４０４も、画素１４０３と同じ画素値g i,jを持つことになり、鮮鋭画像１４０１の対応位置１４０４とその周囲にある画素１４０６の画素値fを用いて、
【数２】
2010072901.tif 000004
【００５３】
という新たな関係式が成り立つ。ここでも、w11’〜w33’は重み係数であるが、ぼけの程度に加えて、対応位置１４０４と周囲にある画素１４０６との距離に応じて決定される重み係数である。
【００５４】
仮鮮鋭化画像が式（１）に加えて、式（２）も満たすように、仮鮮鋭化画像の各画素値を逐次修正する。
【００５５】
まず、判定部１０２が求めた領域情報に応じて、拡張基準フレームの画素のうち、参照画素として設定する画素を決定する。判定部１０２が、エッジ領域と判定した基準フレームの画素に対応する拡張基準フレームの画素を参照画素に設定する。また、位置算出部１０３が求めた自己合同な対応位置に基づいて設定された拡張基準フレームの画素も、参照画素として設定する。
【００５６】
変換部１０４は、図１３に示すように、仮鮮鋭化画像１４０１の各画素の画素値の確からしさを評価するために、仮鮮鋭化画像１４０１の各画素の画素値から、ある参照画素１４０３、及び、参照画素１４０３の自己合同な対応位置１４０４での画素値を試算する。
【００５７】
このためには、式（１）、式（２）のように、ぼけの程度や対応位置によって決まる重み係数w11〜w33や、w11'〜w33'と、周辺の画素１４０５、１４０６を基に算出する。例えば、ガウス重みに応じて加重平均して試算できる。
【００５８】
このときの仮鮮鋭化画像が正確なものであれば、試算された参照画素１４０３や対応位置１４０４の画素値と、撮影された正しい参照画素１４０２の画素値g i,jは一致するはずである。
【００５９】
しかし、通常は、仮鮮鋭化画像１４０１は、鮮鋭画像に比べてぼけているので一致しない。そこで、これが一致するように、仮鮮鋭化画像の画素値を加減算すべき補正量を算出する。
【００６０】
補正量の算出のために、まず、差分値を次の式で算出する。  
差分値＝（参照画素の撮影された画素値）−（参照画素の試算された画素値）  
算出した差分値を、試算した際の重み係数で各画素に分配すると、差分値は０になる。このように補正量を算出するのがＰＯＣＳ法である。
【００６１】
また、補正量を算出する際に、差分値が０になるように算出するのではなく、差分値が減少する方向に補正量を算出するのが、Iterative Back-Projection法である。
【００６２】
そして、重みによって分配された正または負の補正量を、仮鮮鋭化画像１４０１の画素値に加算すれば、そのとき計算した参照画素については、差分が０になり、参照画素の撮影された画素値と試算された画素値が一致する。
【００６３】
しかし、別の参照画素や対応位置によっては、これを用いた補正によって、同じ仮鮮鋭化画像１４０１の画素値が補正されることがある。そこで、この補正処理は、全参照画素、対応位置について、逐次的に行い、これを、更に、既定された回数繰り返す（ステップＳ２０５）。
【００６４】
この反復により、次第に、仮鮮鋭化画像はより先鋭な画像に近づくので、予め決めた回数反復して得られた仮鮮鋭化画像を、出力画像として出力する。
【００６５】
本実施形態による画像処理装置では、基準フレームを画素値の変化を基に領域判定し、エッジ領域の画素のフレーム内の自己合同性を用いた小数点精度の対応位置を算出して鮮鋭化を行うことで、エッジ領域のジャギーを抑えながら、ぼけた画像を鮮鋭化することができる。また、鮮鋭感に与える影響の大きいエッジ領域の画素に対して鮮鋭化処理を行うため、少ない演算量で鮮鋭な画像を得ることが出来る。
【００６６】
（第２の実施形態）
以下、本実施形態の画像処理装置の説明をする。本実施形態の画像処理装置の構成は図１に示す第１の実施形態と同じであるため省略する。本実施形態では、判定部１０２が、基準フレームの各画素を、エッジ領域と、局所領域内での画素値の変化の大きな画素数が多いテクスチャ領域と、局所領域内での画素値変化が小さい平坦領域とに分類し判定する点で第１の実施形態とは異なる。
【００６７】
判定部１０２は、図５のステップＳ２０１において、エッジ領域と、テクスチャ領域と、平坦領域とに判定する。
【００６８】
変換部１０４は、図５のステップＳ２０４において、判定部１０２が、エッジ領域の画素、及び、テクスチャ領域の画素を参照画素に設定する。また、
次に、判定部１０２がテクスチャ領域または、平坦領域に各画素が属するかを判定する方法について説明する。
【００６９】
図１４は、テクスチャ領域、平坦領域を検出する方法を説明するための図である。
【００７０】
基注目画素を中心とした３×３ブロックの局所領域の各画素は、それぞれ画素値ｙ１１、ｙ１２、・・・、ｙ３３を持っているものとする。
【００７１】
まず、局所領域内の横方向差分５０３を、
【数３】
2010072901.tif 000005
【００７２】
として算出する。
【００７３】
また、局所領域内の縦方向差分５０４を、
【数４】
2010072901.tif 000006
【００７４】
として算出する。
【００７５】
式（３）（４）で求めた差分量のうち、ある閾値を越える差分量の数が所定の閾値以上であった場合に、注目画素５０２をテクスチャ領域の画素と判定する。
【００７６】
式（３）（４）で求めた差分量を合計し、合計値が所定の閾値以下であった場合に、平坦領域の画素と判定する。
【００７７】
図１５は、基準フレームと、各画素の属する領域の判定結果との例を示す図である。判定結果で黒く描かれた部分の画素が、その領域に属すると判定されたことを示す。基準フレーム６０１が入力されると、被写体輪郭部分がエッジ領域６０２として検出され、セーターや髪の毛の部分がテクスチャ領域６０３として検出され、背景やズボンなどが平坦領域６０４として検出されている。
【００７８】
上記実施形態において、平坦領域であると判定された画素は、参照画素として選択しない構成について説明したが、平坦領域では画素値の平滑化を行うノイズ除去部を組み合わせ、ノイズ除去された画素値を出力してもよい。
【００７９】
また、ステップＳ２０４において、差分量が０になる補正量に、ある係数を掛けて補正量を制御することも可能である。テクスチャ領域では、参照画素として基準フレームの画素値に基づく補正がされる。また、エッジ領域では、参照画素として、基準フレームの画素と、その対応位置に基づく補正とがされる。よって、相対的に、エッジ領域では、より多くの回数の補正が施される。
【００８０】
そこで、画面全体の鮮鋭感を同等にするために、参照画素に基づく補正では第１の係数を補正量に乗算して補正を行い、対応位置に基づく補正では、第１の係数より小さな係数を補正量に乗算して補正を行うことで、画面全体にわたっての鮮鋭感を同等にすることが可能である。
【００８１】
または、テクスチャ領域の参照画素に基づく補正では第１の係数を補正量に乗算して補正を行い、エッジ領域の参照画素、及び、その対応位置に基づく補正では、第１の係数より小さな係数を補正量に乗算して補正を行うことで、画面全体にわたっての鮮鋭感を同等にすることが可能である。
【００８２】
第１の補正係数と第２の補正係数は、位置算出部１０３が算出した対応位置の数に応じて決定することが可能である。
【００８３】
本実施形態の画像処理装置によれば、テクスチャ領域においても変換部１０４による鮮鋭化処理が行われるため、さらに鮮鋭な画像を得ることが出来る。
【００８４】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８５】
【図１】基準フレームの画素と標本点の位置関係を示す図。
【図２】実施形態に係る画像処理装置のブロック図。
【図３】対応位置を算出する方法を説明する図。
【図４】各画像を説明する図。
【図５】画像処理装置の動作の一例を示すフローチャート。
【図６】エッジ領域を検出する様子を示した図。
【図７】局所パターンの自己合同性を示す図。
【図８】対応位置の算出する際の注目画素、注目画像領域、候補画素、候補画像領域を示す図。
【図９】マッチング誤差補間法を説明するための図。
【図１０】画面空間における対応位置の算出での基準フレームの補間を示す図。
【図１１】画面空間における対応位置の算出での画像補間法を示す図。
【図１２】鮮鋭画像とぼけ画像の関係を示す図。
【図１３】対応位置に基づく仮鮮鋭化画像と基準フレームの関係を示す図。
【図１４】テクスチャ領域、平坦領域を検出する方法を説明する図。
【図１５】基準フレームと、領域の判定結果との例を示す図。
【符号の説明】
【００８６】
１０１・・・記憶部
１０２・・・判定部
１０３・・・位置算出部
１０４・・・変換部
【図１】
2010072901.tif 000007
【図２】
2010072901.tif 000008
【図３】
2010072901.tif 000009
【図４】
2010072901.tif 000010
【図５】
2010072901.tif 000011
【図６】
2010072901.tif 000012
【図７】
2010072901.tif 000013
【図８】
2010072901.tif 000014
【図９】
2010072901.tif 000015
【図１０】
2010072901.tif 000016
【図１１】
2010072901.tif 000017
【図１２】
2010072901.tif 000018
【図１３】
2010072901.tif 000019
【図１４】
2010072901.tif 000020
【図１５】
2010072901.tif 000021