(57)【要約】【課題】適合度計算の精度を向上させる画像の高品質化方法、装置およびプログラムを提供する。【解決手段】  入力画像に単位領域を割り当てる割り当てステップと、前記単位領域を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当てステップと、前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当てステップと、割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記割り当ての異なる複数のパッチ候補の適合度を算出する適合度算出ステップと、前記適合度が小さくなるようなパッチ候補を前記単位領域のパッチとして選択する選択ステップと、前記パッチを用いて前記単位領域を高品質化した画像を生成する画像生成ステップとを有する画像高品質化方法。【選択図】  図２
2010154269.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に単位領域を割り当てる割り当てステップと、
前記単位領域を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当てステップと、
前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当てステップと、
割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記割り当ての異なる複数のパッチ候補の適合度を算出する適合度算出ステップと、
前記適合度が小さくなるようなパッチ候補を前記単位領域のパッチとして選択する選択ステップと、
前記パッチを用いて前記単位領域を高品質化した画像を生成する画像生成ステップと
を具備することを特徴とする画像高品質化方法。
【請求項２】
前記入力画像に対する第１のパッチ候補の適合度を表す候補適合度を算出する候補適合度算出ステップをさらに具備し、
前記選択ステップは、前記適合度と前記候補適合度との加重和が極小となるパッチを前記候補の中から選択することを特徴とする請求項１に記載の画像高品質化方法。
【請求項３】
前記計測領域算出ステップは、前記計測領域と前記単位領域とが等しい領域であることを特徴とする請求項１あるいは２に記載の画像高品質化方法。
【請求項４】
前記適合度算出ステップは、前記適合度が前記割り当ての異なるパッチ候補のずれ幅を用いて算出されるパターン方向と、近接する単位領域のパターン方向との連続度と、前記類似度との重み付和で与えられることを特徴とする請求項１乃至３いずれか１項に記載の画像高品質化方法。
【請求項５】
前記近接する単位領域のパターン方向は、エッジ検出アルゴリズムを用いて与えられることを特徴とする請求項４に記載の画像高品質化方法。
【請求項６】
前記割り当てステップは、前記単位領域が重なるように割り当てることを特徴とする請求項１に記載の画像高品質化方法。
【請求項７】
前記割り当てステップは、前記単位領域が矩形領域であり、複数の前記単位領域が互いに隣接するように割り当てることを特徴とする請求項１乃至６いずれか１項に記載の画像高品質化方法。
【請求項８】
前記適合度算出ステップは、前記類似度に輝度差の２乗和を用いることを特徴とする請求項１乃至７いずれか１項に記載の画像高品質化方法。
【請求項９】
前記適合度算出ステップは、前記類似度が、複数の前記計測領域から算出した各々の増分符号の類似度を用いて算出することを特徴とする請求項１乃至８いずれか１項に記載の画像高品質化方法。
【請求項１０】
前記適合度算出ステップは、前記類似度が、前記パッチを割り当てられた前記単位領域の入力画像に加算して算出する請求項１乃至９いずれか１項に記載の画像高品質化方法。
【請求項１１】
入力画像に単位領域を割り当てる割り当てステップと、
前記単位領域毎を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当てステップと、
前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当てステップと、
割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記計測領域の異なる複数のパッチ候補適合度を算出する第１の適合度算出ステップと、
前記計測領域のパッチ候補適合度を少なくとも３つ以上算出し、算出された前記パッチ候補適合度の加重和により第２の適合度を算出する第２の適合度算出ステップと、
前記第２の適合度を用いて第１のパッチを前記候補の中から選択する選択ステップと、
前記第１のパッチを用いて前記第１の領域を高品質化して第１の画像を生成する画像生成ステップと
を具備することを特徴とする画像高品質化方法。
【請求項１２】
前記第２の適合度算出ステップは、
第１の単位領域に割り当てられた第１パッチと第２の単位領域に割り当てられた第２パッチの適合度である第３の適合度を算出するための第１の計測領域と第２の計測領域を、それぞれ第１の単位領域と第２の単位領域の内部に割り当てる第１の計測領域割り当てステップと、
前記第３の適合度を、前記第１の計測領域と前記第２の計測領域の少なくとも１部を重ね合わせた重なり部分の輝度パターンの類似度により算出する第３の適合度算出ステップと、
前記第１のパッチと前記第３のパッチの適合度である第４適合度を算出するための第３の計測領域と第４の計測領域とを、それぞれ前記第１の単位領域と前記第３の単位領域の内部に割り当てる第２の計測領域割り当てステップと、
前記第４の適合度を、前記第３の計測領域と前記第４の計測領域の少なくとも１部を重ね合わせた重なり部分の輝度パターンの類似度により算出する第４の適合度算出ステップと、
前記第２のパッチと前記第３のパッチの適合度である第５適合度を算出するための第５の計測領域と第６の計測領域とを、それぞれ第２の単位領域と第３の単位領域の内部に割り当てる第３の計測領域割り当てステップと、
前記第５の適合度を、前記第５の計測領域と前記第６の計測領域の少なくとも一部を重ね合わせた重なり部分の輝度パターンの類似度により算出する第５の適合度算出ステップと
を更に具備することを特徴とする請求項１１に記載の画像高品質化方法。
【請求項１３】
前記計測領域算出ステップは、前記計測領域と前記単位領域とが等しい領域であることを特徴とする請求項１１あるいは１２に記載の画像高品質化方法。
【請求項１４】
前記適合度算出ステップは、前記適合度が前記割り当ての異なるパッチ候補のずれ幅を用いて算出されるパターン方向と、近接する単位領域のパターン方向との連続度と、前記類似度との重み付和で与えられることを特徴とする請求項１１乃至１３いずれか１項に記載の画像高品質化方法。
【請求項１５】
前記近接する単位領域のパターン方向は、エッジ検出アルゴリズムを用いて与えられることを特徴とする請求項１４に記載の画像高品質化方法。
【請求項１６】
前記適合度算出ステップは、前記類似度に輝度差の２乗和を用いることを特徴とする請求項１１乃至１５いずれか１項に記載の画像高品質化方法。
【請求項１７】
入力画像に単位領域を割り当てる割り当部と、
前記単位領域を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当て部と、
前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当て、割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記割り当ての異なる複数のパッチ候補の適合度を算出する適合度算出部と、
前記適合度が小さくなるようなパッチ候補を前記単位領域のパッチとして選択する選択部と、
前記パッチを用いて前記単位領域を高品質化した画像を生成する画像生成部と
を具備することを特徴とする画像高品質化装置。
【請求項１８】
入力画像に単位領域を割り当てる割り当て部と、
前記単位領域毎を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当て部と、
前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当て、
割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記計測領域の異なる複数のパッチ候補適合度を算出する第１の適合度算出部と、
前記計測領域のパッチ候補適合度を少なくとも３つ以上算出し、算出された前記パッチ候補適合度の加重和により第２の適合度を算出する第２の適合度算出部と、
前記第２の適合度を用いて第１のパッチを前記候補の中から選択する選択部と、
前記第１のパッチを用いて前記第１の領域を高品質化して第１の画像を生成する画像生成部と
を具備することを特徴とする画像高品質化装置。
【請求項１９】
コンピュータを
入力画像に単位領域を割り当てる割り当て手段と、
前記単位領域を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当て手段と、
前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当て手段と、
割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記割り当ての異なる複数のパッチ候補の適合度を算出する適合度算出手段と、
前記適合度が小さくなるようなパッチ候補を前記単位領域のパッチとして選択する選択手段と、
前記パッチを用いて前記単位領域を高品質化した画像を生成する画像生成手段として機能させるための画像高品質化プログラム。
【請求項２０】
コンピュータを
入力画像に単位領域を割り当てる割り当て手段と、
前記単位領域毎を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当て手段と、
前記パッチ候補の適合度を計測するための計測領域を前記単位領域の内部に割り当てる計測領域割当手段と
前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当て手段と、
割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記計測領域の異なる複数のパッチ候補適合度を算出する第１の適合度算出手段と、
前記計測領域のパッチ候補適合度を少なくとも３つ以上算出し、算出された前記パッチ候補適合度の加重和により第２の適合度を算出する第２の適合度算出手段と、
前記第２の適合度を用いて第１のパッチを前記候補の中から選択する選択手段と、
前記第１のパッチを用いて前記第１の領域を高品質化して第１の画像を生成する画像生成手段として機能させるための画像高品質化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像高品質化方法、装置及びプログラムに関する。
【背景技術】
【０００２】
入力画像に対して、画素数を増やす高解像度化、ぼやけた画像をシャープにする鮮鋭化の処理を行い、高品質な画像を生成する技術には、予め得られた複数の画像データから高品質化するための情報（パッチ）を学習データとして用いる手法がある（非特許文献１参照）。これは、まず学習段階で、画像を高品質化するためのパッチを学習して辞書を作成する。そして、高品質化段階では入力画像から仮の出力画像を作成し、画像ブロック毎に辞書中のパッチを用いて画像の高品質化を行う。具体的には、まず、各画像ブロック毎にパッチ候補を辞書から複数選択して割り当てた後、隣り合うブロックについて、割り当てられたパッチ間の適合度を事前に学習してある確率分布に基づいて計算し、すべてのブロック間で定義される適合度がブロック全体として高くなるパッチの組み合わせを選択する。
【非特許文献１】W. T. Freeman, “Learning low level vision,” International Journal of Computer Vision 40(1), pp25-47, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００３】
パッチの適合度を確率分布で表現するためには、パッチの画素数と同じ次元数のベクトルについて確率分布を計算する。しかし、パッチの画素数と同じ次元数のベクトルについて確率分布の計算は膨大で、実際に計算することが難しい。一方で、近似する方法として、パッチを次元圧縮する方法や、確率分布を混合ガウス分布とする方法が可能であるが、いずれも多様に変化するパッチを精度良く近似することが難しい。
【０００４】
また、これらの手法においてパッチの適合度を算出する場合には最適化する適合度の定義が隣り合うブロック間に限られているため、局所的には適合するが、大域的に見るとエッジが滑らかでなくなる等の問題がある。従って画像全体として不自然な画像が生成されることがある。
【０００５】
本発明は上記問題を鑑み、適合度計算の精度を向上させる画像の高品質化方法、装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明の画像高品質化方法は、入力画像に単位領域を割り当てる割り当てステップと、前記単位領域を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当てステップと、前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当てステップと、割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記割り当ての異なる複数のパッチ候補の適合度を算出する適合度算出ステップと、前記適合度が小さくなるようなパッチ候補を前記単位領域のパッチとして選択する選択ステップと、前記パッチを用いて前記単位領域を高品質化した画像を生成する画像生成ステップとを具備することを特徴とする。
【０００７】
前記入力画像に対する第１のパッチ候補の適合度を表す候補適合度を算出する候補適合度算出ステップをさらに具備し、前記選択ステップは、前記適合度と前記候補適合度との加重和が極小となるパッチを前記候補の中から選択することが好ましい。
【０００８】
前記計測領域算出ステップは、前記計測領域と前記単位領域とが等しい領域であることが好ましい。
【０００９】
前記適合度算出ステップは、前記適合度が前記割り当ての異なるパッチ候補のずれ幅を用いて算出されるパターン方向と、近接する単位領域のパターン方向との連続度と、前記類似度との重み付和で与えられることが好ましい。
【００１０】
前記近接する単位領域のパターン方向は、エッジ検出アルゴリズムを用いて与えられることが好ましい。
【００１１】
前記割り当てステップは、前記単位領域が重なるように割り当てることが好ましい。
【００１２】
前記割り当てステップは、前記単位領域が矩形領域であり、複数の前記単位領域が互いに隣接するように割り当てることが好ましい。
【００１３】
前記適合度算出ステップは、前記類似度に輝度差の２乗和を用いることが好ましい。
【００１４】
前記適合度算出ステップは、前記類似度が、複数の前記計測領域から算出した各々の増分符号の類似度を用いて算出することが好ましい。
【００１５】
前記適合度算出ステップは、前記類似度が、前記パッチを割り当てられた前記単位領域の入力画像に加算して算出するが好ましい。
【００１６】
また、本発明の画像高画質化方法は入力画像に単位領域を割り当てる割り当てステップと、前記単位領域毎を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当てステップと、前記パッチ候補の適合度を計測するための計測領域を前記単位領域の内部に割り当てる計測領域割当ステップと前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当てステップと、割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記計測領域の異なる複数のパッチ候補適合度を算出する第１の適合度算出ステップと、前記計測領域のパッチ候補適合度を少なくとも３つ以上算出し、算出された前記パッチ候補適合度の加重和により第２の適合度を算出する第２の適合度算出ステップと、前記第２の適合度を用いて第１のパッチを前記候補の中から選択する選択ステップと、前記第１のパッチを用いて前記第１の領域を高品質化して第１の画像を生成する画像生成ステップとを具備することを特徴とする。
【００１７】
前記第２の適合度算出ステップは、第１の単位領域に割り当てられた第１パッチと第２の単位領域に割り当てられた第２パッチの適合度である第３の適合度を算出するための第１の計測領域と第２の計測領域を、それぞれ第１の単位領域と第２の単位領域の内部に割り当てる第１の計測領域割り当てステップと、前記第３の適合度を、前記第１の計測領域と前記第２の計測領域の少なくとも１部を重ね合わせた重なり部分の輝度パターンの類似度により算出する第３の適合度算出ステップと、前記第１のパッチと前記第３のパッチの適合度である第４適合度を算出するための第３の計測領域と第４の計測領域とを、それぞれ前記第１の単位領域と前記第３の単位領域の内部に割り当てる第２の計測領域割り当てステップと、前記第４の適合度を、前記第３の計測領域と前記第４の計測領域の少なくとも１部を重ね合わせた重なり部分の輝度パターンの類似度により算出する第４の適合度算出ステップと、前記第２のパッチと前記第３のパッチの適合度である第５適合度を算出するための第５の計測領域と第６の計測領域とを、それぞれ第２の単位領域と第３の単位領域の内部に割り当てる第３の計測領域割り当てステップと、前記第５の適合度を、前記第５の計測領域と前記第６の計測領域の少なくとも一部を重ね合わせた重なり部分の輝度パターンの類似度により算出する第５の適合度算出ステップとを更に具備することが好ましい。
【００１８】
前記計測領域算出ステップは、前記計測領域と前記単位領域とが等しい領域であることが好ましい。
【００１９】
前記適合度算出ステップは、前記適合度が前記割り当ての異なるパッチ候補のずれ幅を用いて算出されるパターン方向と、近接する単位領域のパターン方向との連続度と、前記類似度との重み付和で与えられることが好ましい。
【００２０】
前記近接する単位領域のパターン方向は、エッジ検出アルゴリズムを用いて与えられることが好ましい。
【００２１】
前記適合度算出ステップは、前記類似度に輝度差の２乗和を用いることが好ましい。
【００２２】
また本発明の画像高品質化装置は前記単位領域を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当て部と、前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当て部と、割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記割り当ての異なる複数のパッチ候補の適合度を算出する適合度算出部と、前記適合度が小さくなるようなパッチ候補を前記単位領域のパッチとして選択する選択部と、前記パッチを用いて前記単位領域を高品質化した画像を生成する画像生成部とを具備することを特徴とする。
【００２３】
また、本発明の画像高品質化装置は、入力画像に単位領域を割り当てる割り当て部と、
前記単位領域毎を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当て部と、前記パッチ候補の適合度を計測するための計測領域を前記単位領域の内部に割り当て、割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記計測領域の異なる複数のパッチ候補適合度を算出する第１の適合度算出部と、前記計測領域のパッチ候補適合度を少なくとも３つ以上算出し、算出された前記パッチ候補適合度の加重和により第２の適合度を算出する第２の適合度算出部と、前記第２の適合度を用いて第１のパッチを前記候補の中から選択する選択部と、前記第１のパッチを用いて前記第１の領域を高品質化して第１の画像を生成する画像生成部とを具備することを特徴とする。
【００２４】
また、本発明の画像高品質化プログラムはコンピュータを入力画像に単位領域を割り当てる割り当て手段と、前記単位領域を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当て手段と、前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当て手段と、割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記割り当ての異なる複数のパッチ候補の適合度を算出する適合度算出手段と、前記適合度が小さくなるようなパッチ候補を前記単位領域のパッチとして選択する選択手段と、前記パッチを用いて前記単位領域を高品質化した画像を生成する画像生成手段として機能させることを特徴とする。
【００２５】
また、本発明の画像高品質化プログラムはコンピュータを入力画像に単位領域を割り当てる割り当て手段と、前記単位領域毎を高品質化するための輝度成分を有する複数のパッチ候補を前記単位領域毎に割り当てるパッチ候補割り当て手段と、前記パッチ候補の適合度を計測するための計測領域を前記単位領域の内部に割り当てる計測領域割当手段と前記パッチ候補の適合度を計測するための計測領域を、前記単位領域の内部に割り当てる計測領域割り当て手段と、割り当ての異なる前記計測領域の少なくとも一部を重ね合わせ、重ね合わせた部分領域の輝度パターンの類似度から前記計測領域の異なる複数のパッチ候補適合度を算出する第１の適合度算出手段と、前記計測領域のパッチ候補適合度を少なくとも３つ以上算出し、算出された前記パッチ候補適合度の加重和により第２の適合度を算出する第２の適合度算出手段と、前記第２の適合度を用いて第１のパッチを前記候補の中から選択する選択手段と、前記第１のパッチを用いて前記第１の領域を高品質化して第１の画像を生成する画像生成手段として機能させることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、適合度計算の精度を向上させる画像の高品質化方法、装置およびプログラムを提供できる。
【発明を実施するための最良の形態】
【００２７】
以下に、本発明の実施例を詳細に説明する。
【００２８】
（第１の実施形態）  
まず、本実施の形態にかかる画像高品質化装置のハードウェア構成について図１を用いて説明する。画像高品質化装置１は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部１１と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）１４やＲＡＭ１５（Random Access Memory）等の記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部１６と、これらを接続するバス１７とを備えており、通常のコンピュータを利用したハードウェア構成となっている。また、画像高品質化装置１には、画像を表示する表示部１３と、ユーザの指示入力を受け付けるキーボードやマウス等の操作部１２と、外部装置の通信を制御する通信Ｉ／Ｆ（interface）とが有線又は無線により各々接続される。本実施の形態においては、画像高品質化装置１は仮高品質化部と通信Ｉ／Ｆを介して接続される。
【００２９】
図２に本発明による一実施形態を表すブロック図を示す。本実施形態の画像高品質化装置は、仮高品質化部１０１と、入力画像に単位領域を割り当てる単位領域割り当て部１０２と、複数のパッチ候補を記憶するパッチメモリ１０３と、単位領域を高品質化するための輝度成分を有するパッチ候補を単位領域毎に割り当てパッチ候補割り当て部１０４と、パッチ候補の適合度を計測するための計測領域を、単位領域の内部に割り当てる計測領域割り当て、計測領域重ね合わせた部分領域の輝度パターンの類似度から複数のパッチ候補の適合度を算出する適合度算出部１０５と、適合度が小さくなるようなパッチ候補を単位領域のパッチとして選択する選択部１０６とパッチを用いて前記単位領域を高品質化した画像を生成する本高品質化部１０７を有する。例えば低品質画像である入力画像が、仮高品質化部１０１及び本高品質化部１０７を経て出力画像が生成されて高品質化される。
【００３０】
仮高品質化部１０１は入力画像に対して仮の高品質化が行われ、仮高品質化画像が作成される。仮の高品質化とは例えば画像の拡大や補間などによって行われる。仮高品質化画像は、単位領域割り当て部１０２に入力される。
【００３１】
単位領域割り当て部１０２では、仮高品質化画像を高品質化するための最小単位である単位領域を割り当てる。単位領域は例えば、複数の画素を有するブロックである。ブロックは仮高品質化画像を複数の画素を有するブロックに単純に分割して設定しても良いし、隣接するブロック間に重複領域が生じるように設定しても良い。単位領域の割り当てられた画像中の位置情報がパッチ候補割り当て部１０４に入力される。本実施形態では、単位領域をブロックと称する。仮高品質化部１０１以降の処理は、ブロック単位で行われる。
【００３２】
仮高品質化画像を高品質化するためのパッチは、パッチメモリ１０３に予め記憶されている。パッチメモリ１０３ではパッチを示すパッチインデックスとともに記憶される。パッチメモリ１０３からは、パッチインデックスと共にインデックスによって示されるパッチデータが読み出され、このパッチデータはパッチ候補割り当て部１０４と適合度算出部１０５に与えられる。
【００３３】
パッチ候補割り当て部１０４では、ブロック毎に仮高品質化画像を高品質化するための複数のパッチ候補が割り当てを行う。パッチ候補割り当て部１０４におけるパッチ候補の割り当ては、インデックスの割り当てによってなされる。仮高品質化画像を高品質化する処理対象ブロック（以下処理ブロックと称する）に、パッチメモリ１０３からパッチの候補として読み出されるパッチ候補を示すためのパッチインデックスが割り当てられる。この結果、パッチ候補割り当て部１０４から、処理ブロックに割り当てられたパッチ候補を示す候補インデックスが出力される。
【００３４】
適合度算出部１０５では、パッチ候補割り当て部１０４からの候補インデックス及びパッチメモリ１０３からのパッチデータに基づいて、仮高品質化画像における隣接する２ブロック間の類似度を表すエネルギーが算出される。隣接する２ブロックとは、設定された画像中の隣り合うブロックで、ブロック間に重複領域が含まれていてもよい。２ブロック間の類似度は、第１ブロックに割り当てられている第１パッチ候補と第２ブロックに割り当てられている第２パッチ候補との間の類似度をさす。適合度算出部１０５から出力される適合度情報は、選択部１０６に与えられる。
【００３５】
選択部１０６では、全ての隣接ブロック間で算出される適合度を表すエネルギーの総和あるいは一部の和が極小となるパッチの組み合わせを、それぞれのブロックに割り当てられているパッチ候補の中から１つずつ選択することで作成する。全ての隣接ブロック間で算出される適合度を表すエネルギーの総和あるいは一部の和が最小である場合がより好ましい。本高品質化部１０７では、選択部１０６により選択されたパッチによって仮出力画像の高品質化が行われ、出力画像が生成される。
【００３６】
ここで、低品質な画像とは撮像対象から得られるべき画像情報が欠落したり、画像情報の不足等によってボケたりして劣化している画像をいう。一方で高品質な画像とは上記の劣化が抑えられた画像をいう。例えば、撮像装置の性能による制約を受けたり、さらに動画像符号化等の圧縮の過程を経た画像を取得する場合が多く、真に高品質な画像を初めから取得することが困難な場合が多い。
【００３７】
次に、図３を用いて図２の画像高品質化装置の概略的な動作の流れを説明する。以下の説明では、低解像度の入力画像を高解像度化して高解像度の出力画像を生成する例について述べる。なお、高品質化として高解像度化のほかに、例えばボケ復元、画像圧縮歪除去及び輝度の高階調化などを行う場合についても、同様の実施が可能である。
【００３８】
まず、仮高品質化部１０１によって低解像度画像である入力画像を要求される解像度に高解像度化し、仮高品質化画像である仮高解像度化画像を作成する（ステップＳ１１）。ステップＳ１１での高解像度化処理には、例えば最近傍拡大などによる画像拡大や、双直線補間法や３次畳込み内挿法などによる補間を用いることができる。仮高品質化画像は、単位領域割り当て部１０２に入力される。
【００３９】
次に、単位領域割り当て部１０２において、仮高品質化画像をブロック化する。ブロックは複数の画素を含む領域で、例えば画素数などを単位とするｎ×ｎの矩形領域である。
【００４０】
次に、パッチ候補割り当て部１０４において各ブロックに対してパッチメモリ１０３から選択された複数のパッチをパッチ候補として割り当てる（ステップＳ２０）。
【００４１】
次に、適合度算出部１０５によって仮高品質化画像の隣接する２ブロックにそれぞれ割り当てられたパッチ候補間の類似度を示す適合度を算出する（ステップＳ３０）。
【００４２】
次に、選択部１０６によって仮高品質化画像の各ブロックに割り当てられたパッチ候補の中から、適合度算出部１０５において隣接する全てのパッチについて算出された適合度の総和が、極小となる組み合わせのパッチを決定し、それらのパッチを示すパッチインデックスを出力する（ステップＳ４０）。
【００４３】
最後に、本高品質化部１０７において選択部１０６により選択されたパッチ、すなわちパッチインデックスで示される、パッチメモリ１０３に記憶されたパッチを用いて仮高品質化画像を高品質化し、高品質化された出力画像を生成する（ステップＳ５０）。
【００４４】
（パッチメモリ１０３）  
ここで、パッチメモリ１０３について説明する。パッチメモリ１０３には、事前の学習により得られた、仮高品質化画像を高品質化するためのパッチが記憶されている。図４は、パッチメモリ１０３の構造の一例を模式的に示している。
【００４５】
パッチメモリ１０３には仮高品質化画像の画像ブロックから抽出された複数（Ｎ）の低品質画像パッチｌi(i=1,2,…,N)と仮高品質化画像の画像ブロックを高品質化するための高品質化用パッチｈi(i=1,2,…,N)とが対応付けられて記憶されている。
【００４６】
図５はパッチメモリ中のデータの作成方法を説明するための模式図である。高品質画像として高解像度画像、低品質画像として低解像度画像を用いた場合を例に、図５を用いてｌi−ｈiペアの作り方の例を説明する。
【００４７】
学習用画像は高解像度画像である。まず、学習用画像から抜き出した高解像度画像ブロックｘを入力画像と同程度の画質になるように劣化させることによって、低解像度画像ブロックｙを作成する。次に、低解像度画像ブロックｙに対して仮高品質化部１０１で行う仮高品質化と同様の高品質化の処理、例えば３次畳込み内挿法による高解像度化の処理を行い、仮高解像度画像ブロックｇを作成する。同時に、低解像度画像ブロックｙについて最近傍拡大を行って拡大画像ｚを作成する。
【００４８】
次に、仮高解像度画像ブロックｇから拡大画像ｚを減算して低品質画像パッチｌを生成し、高解像度化画像ブロックｘから仮高解像度画像ブロックｇを減算して高品質化用パッチｈを生成する。こうして得られる低品質画像パッチｌと高品質化用パッチｈを一つのペアとする。このようにペアを作成しておけば、入力画像から抜き出したブロックを仮高品質化させてｇ′を作り、適当なｈを選択することでｇ′＋ｈにより高品質の高解像度画像を生成することができる。なお、低品質画像パッチｌとして低解像度画像ブロックｙを代用してもよいし、高品質化用画像パッチｈと相関の高い低解像度画像ブロックｙを選んで作成してもよい。また、計算時間の短縮やパッチメモリ１０３の容量削減のために、主成分分析などを用いて次元圧縮してもよい。
【００４９】
以上のように高品質化用パッチｈは、例えば仮高品質化画像中に存在しない高周波数成分をもつ。本実施形態によれば、仮高品質化部１０１では復元することのできない情報を高品質化用パッチで補うことにより、画像の高解像度化さらには鮮鋭化などの高品質化を行うことができる。
【００５０】
（単位領域割り当て部１０２）
次に、単位領域割り当て部１０２の処理について説明する。単位領域割り当て部では、図６は仮高品質画像へのブロック割り当て方法を示す模式図である。入力画像に対して画像ブロックの位置を割り当てる。画像ブロックは、パッチメモリ１０３に記憶されている低品質画像パッチを作成するための低解像度画像ブロックyと同じ大きさである。第１の実施形態では、ブロックは重なりなく割り当てる例について示している。また、後述の第３の実施形態のように、画像ブロックは重なりが生ずるように割り当てられていても良い。
【００５１】
（パッチ候補割り当て部１０４）  
次に、パッチ候補割り当て部１０４の処理について説明する。図７は、パッチ候補割り当て部の動作を示すフローチャートで、図３中のステップＳ２０の詳細な処理例を示している。
【００５２】
まず、単位領域割り当て部から与えられたブロックの情報から、１つのブロックを処理ブロックとして選択する（ステップＳ２２）。次に、選択されたブロックから低品質画像パッチlqueryを抽出する（ステップＳ２３）。低品質画像パッチlqueryの作成方法は、図５と同様である。ここでは、ステップＳ２２で選択したブロックを図４におけるgとする。
【００５３】
対応する位置の入力画像のブロックをyとし、ｇ−ｚによりlqueryを作成する。次に、抽出された低品質画像パッチｌqueryに類似する低品質画像パッチｌiをパッチメモリ１０３から一つ以上探索する（ステップＳ２４）。探索は低品質画像パッチｌiのうち抽出された低品質画像パッチｌqueryとの類似度が最大のパッチ、または類似度が大きい順から予め決められた複数のパッチをパッチメモリ１０３から探索する。この場合、類似度としては例えばステップＳ２４で抽出された低品質画像パッチlqueryとパッチメモリ１０３中の低品質パッチｌiとの間の距離‖ｌi−ｌquery‖を用いることができる。パッチ間の距離は距離として計算される方法なら何でも良いが、例えば、ユークリッド距離などを用いることができる。
【００５４】
次に、ステップＳ２４で探索された一つ以上の低品質画像パッチｌiに対応付けられている全ての高品質化用パッチｈiのインデックス１１４を読み出して記録する（ステップＳ２５）。
【００５５】
以上のステップＳ２１〜Ｓ２５の処理をステップＳ２６で全てのブロックが処理されたと判断されるまで繰り返し行い、パッチ候補割り当て部１０４の処理が終了する。
【００５６】
（適合度算出部１０５）  
次に、図８乃至図１４を用いて適合度算出部１０５の処理について説明する。ここでは、説明を簡単にするため、図８で示されるように、上下に隣接する２つのブロックに割り当てられたパッチの適合度を算出する方法を例にとって説明する。図８で示される上下に隣接する２つのブロックは図６で示したブロックＡ及びブロックＢと等しい。また、図９は適合度算出部の詳細を示すブロック図、図１０は適合度算出部の動作を示すフローチャートである。また、図１１乃至図１４は、適合度を算出する操作を説明する模式図である。
【００５７】
まず、適合度算出部の詳細を、図９を用いて説明する。適合度算出部は、パッチインデクスとパッチデータを用い、ブロックＡ及びブロックＢに対応したバッチＡ及びパッチＢをパッチ読み込み部９０１、パッチＡとパッチＢについて、適合度を計測するための計測領域を割り当てる計測領域割当部９０２、計測パッチをずらして重ねるパッチシフト部９０３、重なった部分領域の輝度から類似度を算出する類似度算出部９０４とからなる。
【００５８】
次に図１０を用いて適合度算出部１０５の動作を説明する。上述の通りここでは２つの隣接するブロックをブロックＡ及びブロックＢと呼ぶ。まず隣接するブロックＡ及びブロックＢを選択する。（ステップＳ３１）。なお、以下で説明する操作は、左右に隣接するブロックや、離れて配置しているブロックに対しても同様に適用できる。
【００５９】
次に、パッチ読み込み部９０１は、パッチインデックスをもとにブロックAに割り当てられたパッチの候補とブロックBに割り当てられたパッチの候補をパッチ記憶メモリから読み込む（ステップＳ３２、ステップＳ３３）。ここで、ブロックＡについて読み込んだＮA個のパッチデータを{hA,1, hA,2,…, hA,NA}とし、ブロックＢについて読み込んだＮB個のパッチデータを{hB,1, hB,2,…, hB,NB}とする。以下では、パッチhA,iとパッチhB,jの組み合わせの適合度を算出する方法を説明するが、適合度は、すべての候補の組み合わせに対して算出される。
【００６０】
次に、計測領域割り当て部９０２は、パッチhA,iとパッチhB,jについて、適合度を測るための計測領域（計測ブロック）を割り当てる（ステップＳ３４）。パッチhA,iとパッチhB,iから計測領域を設定し、それぞれ計測パッチOA,iと計測パッチOB,jとする。計測領域はブロック（単位領域）の一部であっても良いし、ブロックと同一でも良い。例えば、図１１のようにブロックＡ及びブロックＢが隣接しており、両者のエッジが内部に存在する場合を想定する。ブロックＡの下半分（左斜めハッチ）とブロックＢの上半分（ドット）を計測領域とする。ブロックＡとブロックＢが左右に隣接するときは、ブロックＡの右半分とブロックＢの左半分を計測領域とすることが望ましい。また、すべてのブロックにおいて、計測領域は同サイズで設定するものとする。次に、図１２に示すように計測領域Ａ及び計測領域Ｂに対し、計測パッチOA,iと計測パッチOB,jを割り当てる。
【００６１】
図１０に戻る。パッチシフト部９０３は、計測パッチOA,iと計測パッチOB,jを水平・垂直方向にずらして重ね、重なった部分領域の輝度を出力する（ステップＳ３５）。図１３には計測パッチOA,iと計測パッチOB,jを水平方向にずらして重ねた場合の模式図を示している。図１４において計測パッチOA,i中で重なり部分に当たる領域（部分領域Ｒ）を図１３においてパッチにしたものを重なりパッチRA,i、計測パッチOB,j中で重なり部分に当たる領域をパッチにしたものを重なりパッチRB,jとする。このとき、移動幅は１画素単位でずらしても良いし、１画素よりも小さい幅（サブピクセル単位）でずらしても良い。後述の説明のために、水平方向のずれ幅をdw、垂直方向のずれ幅をｄｈと呼ぶこととする。また、ｄｈは計測パッチの縦幅に等しいものとする。
【００６２】
図１０に戻る。類似度算出部９０４では、重なりパッチRＡ,iと重なりパッチRＢ,jの輝度パターンの類似度に基づいて適合度を表すエネルギーVA,B,i,jを算出する（ステップＳ３６）。ただし、適合度を表すエネルギーは、パッチを用いて高品質化した画像ブロックから作成してもよい。すなわち、パッチをｈ、仮高品質化画像から切り出したブロックをｇとすると、ｇ＋ｈの輝度パターンの類似度に基づいてエネルギーを算出してもよい。
【００６３】
エネルギーは例えば式（１）で表される、重なりパッチＡと重なりパッチＢの、輝度の差の２乗和（Sum of Squared Difference(SSD)）を用いることができる。
【数１】
2010154269.tif 000003
【００６４】
また、以下に示すように、増分符号を用いてパッチの輝度における増減の変化パターンに基づいて計算することもできる。
【００６５】
（増分符号を用いた適合度評価について）
まず、重なりパッチRＡ,iと重なりパッチRＢ,jを増分符号ベクトルsA,i、sB,jにそれぞれ変換する。増分符号は、重なりパッチのすべての画素について計算し、それを成分としてベクトルを構成する。つまり、重なりパッチの画素数がKのとき、増分符号ベクトルの次元数は、KＣ2次元となる。それぞれ２画素（２画素ａ，ｂの輝度値をそれぞれＩa，Ｉbとする）の増分符号ｓは、例えば次式（２）により求められる。
【数２】
2010154269.tif 000004
【００６６】
ここで、σは輝度値ＩaとＩbの差を有効と認める閾値である。
【００６７】
ここでは、輝度値ＩaとＩbの差に対して３つのクラス（０，１，２）を割り当てたが、２つ以上の場合に、任意の数のクラスを割り当てることができる。また、増分符号は、すべての画素の組み合わせについて計算する必要はなく、一部の組み合わせについて算出される増分符号からベクトルを作成してもよい。つまり、KＣ2次元以下でもよい。
【００６８】
また、増分符号ベクトルの代わりとして、他に輝度勾配を表現するベクトルや、ラプラシアンオペレータによるエッジ強度を表現するベクトルなど、空間的な輝度パターンの類似度を算出できるベクトルであれば、それらを用いることができる。
【００６９】
次に、上述のようにして生成された増分符号ベクトルを用いてパッチ候補ｈA,iとパッチ候補ｈB,jとの間の類似度を表す適合度ＶA,B,i,jを算出する。具体的には、例えば次式（３）により増分符号ベクトルｓA,iとｓB,jの類似度を適合度ＶA,B,i,jとして算出する。
【数３】
2010154269.tif 000005
【００７０】
ただし、ｓA,i（ｋ）は増分符号ベクトルｓA,iのｋ番目の成分、ｓB,j（ｋ）は増分符号ベクトルｓB,jのｋ番目の成分である。
【００７１】
式（３）では、増分符号ベクトルｓA,iとｓB,jとの差分絶対値和（Sum of Absolute Difference:ＳＡＤ）をｓA,iとｓB,jとの類似度としているが、次式（４）に示すように増分符号ベクトルｓA,iとｓB,jとの差の２乗和（Sum of Squared Difference:ＳＳＤ）をｓA,iとｓB,jとの類似度としてもよい。
【数４】
2010154269.tif 000006
【００７２】
また、例えば次式（５）に示すように増分符号ベクトルｓA,iとｓB,jの符号が一致する数を用いてｓA,iとｓB,jとの類似度を算出してもよい。
【数５】
2010154269.tif 000007
【００７３】
ただし、δ(x)はｘ＝０のとき１、それ以外のとき０の値をとる関数である。すなわち、式（５）の右辺第２項は、ｓA,iとｓB,jの符号が一致する数を増分符号ベクトルの次元数で除した値であるから、式（３）及び式（４）と同様にパッチ候補ｈA,iとパッチ候補ｈB,jとの間の類似度を表す。
【００７４】
このように増分符号ベクトルを用いて算出される適合度ＶA,B,i,jは、パッチｈA,iとパッチｈB,jとの間の類似度が高いほど値が小さくなる関数になっている。適合度ＶA,B,i,jは式（４）及び（５）に示したような１つの項からなる必要はなく、例えば次式（６）のように２つ以上の項の組み合わせ（加重和）により計算してもよい。
【数６】
2010154269.tif 000008
【００７５】
ただし、λは係数パラメタである。式（６）の適合度ＶA,B,i,jを用いると、第１項でブロックＡ及びブロックＢにそれぞれ割り当てられているパッチ候補同士の輝度パターンの類似度を評価しつつ、第２項で大幅な輝度の開きを抑制することができるため、本来ないはずのアーチファクトノイズなどが少ない画像を生成する効果がある。また、式（１）、（３）、（４）、（６）で定義した適合度は、重なりパッチの大きさによる値の増減を避けるため、重なりパッチの画素数や増分符号ベクトルの次元数で正規化してもよい。例えば式（６）の適合度を正規化するならば、次式（７）となる。
【数７】
2010154269.tif 000009
【００７６】
ステップＳ３６では、ステップＳ３５で一つのｄｗが定められたときの操作を説明したが、実際にはステップＳ３５では例えば１画素単位でｄｗを動かして設定し（ステップＳ３７）、それぞれのｄｗに対してステップＳ３６で適合度ＶA,B,i,jが算出される。（これをずれ幅ｄｗ、ｄｈに依存しているという意味でＶA,B,i,j,dと表記する。）そこで、パッチhA,iとパッチhB,jの最終的な適合度ＶA,B,i,jは、とりうるｄｗに対して最も適合度が高くなったときのＶA,B,i,j,dを用いるものとし、次式（８）で定義する（ステップＳ３８）。
【数８】
2010154269.tif 000010
【００７７】
以上のステップＳ３１からステップＳ３８の処理をステップＳ３９で全ての隣接するブロックについて処理されたと判断されるまで繰り返し行い、適合度算出部１０５の処理が終了する。
【００７８】
（エッジ連続性を入れた適合度算出について）
適合度算出部１０５は、図１５に示されるように、パターン方向記憶メモリ１５０５をさらに備え、近隣のブロックにおけるパターン方向との連続性を考慮して適合度を算出することもできる。パッチ読み込み部１５０１、計測領域割当部１５０２、パッチシフト部１５０３は図９と同様の構成であるため、説明を省略する。
【００７９】
また、ここでいうパターン方向とは、例えばエッジの傾きや、テクスチャの連なる方向である。図１６に示されるように、パターン方向は、計測パッチをずらしたときのずれ幅を用いて算出できる。例えば、縦横のずれ幅ｄｈ、ｄｗを用いて次式（９）で定義できる。また、縦方向のずれ幅を一定とすれば、サブピクセルｄｗで代用することもできる。以降では、簡単のため、縦方向のずれは計測領域の縦幅に一致して固定とし、ｄｗでパターン方向を表わすものとする。
【数９】
2010154269.tif 000011
【００８０】
パターン方向記憶メモリには、すべての隣接する単位領域について、パターン方向が記憶されている。これらのパターン方向は、各ブロックにおけるステップＳ３８で適合度が最大となったときのずれ幅に基づいて算出されたものでも良いし、入力画像に対してRobinsonフィルタ等の方向付エッジ検出アルゴリズムを適用した結果から決定されても良い。また、パターン方向は、１つの数値ではなく、信頼度を持った複数の数値から構成されていても良い。最も一般的には、パターン方向の確率分布でもよい。
【００８１】
注目するブロックのペアのパターン方向ｄｗに対して、例えば上隣と下隣のペアのパターン方向dwabove とdwbelow をパターン方向記憶メモリから読み出し、パターン方向の連続性を本実施形態では連続度と呼び、式（１０）で定義する。
【数１０】
2010154269.tif 000012
【００８２】
連続度の評価は、上隣と下隣のペアに限らず、左右、または、３つ以上のペアとの連続性を考慮しても良い。こうして算出されるV2A,B,i,jを用いて、２つのパッチhA,iとパッチhB,jの適合度を、先に定義したVA,B,i,jとV2A,B,i,jの重み付き和で再定義し、これをＳ３６で算出されるVA,B,i,jと読み替えることができる。
【００８３】
このとき、上述のようにステップＳ３８において式（８）によりずれ幅ｄは一つに固定されるが、一般的には固定する必要はなく、選択部における最適化でエッジの連続性（連続度）を示す項も最適化することができる。しかし、すべてのずれ幅の状態を保持して、後述の最適化手段を適用することは計算量的に困難な場合が多い。そこでここではずれ幅を固定するステップを挿入している。エッジ連続性を鑑みた場合の適合度を用いることによる画像処理の例を図１７及び図１８を用いて説明する。図１７はパターン方向の連続性を考慮しないときの例である。隣接２ブロック間ではパッチの適合度は高くなるものの、大域的に見ると直線でないエッジが生成される。それに対しパターン方向の連続性を考慮すれば図１８のように、直線的なエッジが生成される。このように、パターン方向の連続性を考慮することにより、不自然なエッジの歪みを低減する効果が期待できる。
【００８４】
（選択部１０６について）  
次に、図１９を用いて選択部１０６の処理について説明する。図３におけるステップＳ４０では、前述したように仮高品質化画像の隣接２ブロックにそれぞれ割り当てられたパッチ候補の中から、適合度算出部１０５で計算された適合度が極小、好ましくは最小となるパッチ候補の組み合わせを決定してその組み合わせのパッチを選択し、その組み合わせを示すパッチインデックスを出力する。組み合わせの決定方法としては、（ａ）適合度の総和を局所的に最適化する方法と、（ｂ）適合度の総和を大域的または全てのブロックで最適化する方法が考えられる。
【００８５】
図１９は、図３中のステップＳ４０の具体的な処理例として、前記（ａ）の適合度が局所的に小さくなるパッチを選択する例を示している。まず、左上端ブロックのパッチを決定する（ステップＳ４１）。すなわち、左上端ブロックに割り当てられているパッチ候補の中から一つのパッチを選択する。パッチの選択は無作為に行ってもよいし、パッチ候補割り当て部１０４で計算した‖li−lquery‖に基づく類似度が最も高かった候補を選択してもよい。
【００８６】
次に、左上端ブロックに対して右隣接ブロックを処理ブロックに設定する。すなわち、右隣接ブロックがあるかどうかを調べ（ステップＳ４２）、右隣接ブロックがあればそれを処理ブロックとして選択する（ステップＳ４３）。右隣接ブロックがなく、処理の途中で画像の右端ブロックに到達すれば、１つ下段の最左ブロックを処理ブロックとして選択する（ステップＳ４４）。
【００８７】
次に、ステップＳ４３またはＳ４４で選択された処理ブロックに割り当てられているパッチ候補のインデックスを読み込む（ステップＳ４５）。次に、処理ブロックに割り当てられているパッチ候補と上隣接ブロックに割り当てられているパッチとの間の適合度と、左隣接ブロックに割り当てられているパッチとの間の適合度との和が最小となるパッチをパッチ候補の中から選択し、これを処理ブロックのための高品質化用パッチとする（ステップＳ４６）。ステップＳ４６の処理時には、処理ブロックに対して上隣接ブロック及び左隣接ブロックは既に処理されており、上隣接ブロック及び左隣接ブロックに割り当てられているパッチは一意に決定されている。
【００８８】
以上のステップＳ４２からステップＳ４６の処理をステップＳ４７で全てのブロックが処理されたと判断されるまで繰り返し行い、選択部１０６の処理が終了する。
【００８９】
適合度ＶA,B,i,jの総和の最適化は、例えばビリーフプロパゲーション(Belief Propagation)のような最適化アルゴリズムを用いることで行うことができる。図２０は、図３中のステップＳ４０の具体的な処理例として、前記（ｂ）のうち適合度の総和を全ブロックで最適化する例を示している。
【００９０】
まず、処理ブロックＡを選択する（ステップＳ５１）。次に、処理ブロックＡに隣接する一つのブロック（隣接ブロック）Ｂを選択する（ステップＳ５２）。次に、処理ブロックＡから隣接ブロックＢの各候補に対して、信頼度（適合度）を表現するメッセージを次式（１１）により計算する（ステップＳ５３）。
【数１１】
2010154269.tif 000013
【００９１】
式（１１）の左辺はｔ回目の反復における処理ブロックＡから隣接ブロックＢのｊ番目の候補へのメッセージであり、全てのメッセージは初期値として“０”が与えられる。
【００９２】
Ｎei(A)は、処理ブロックＡに隣接するブロックの集合である。つまり、式（６）におけるＣは処理ブロックＡに隣接するブロックの集合のうち、隣接ブロックＢ以外のブロックを表している。式（１１）からわかるように、ｔ回目の反復におけるメッセージは、前回の反復で計算された他ブロックのメッセージから計算されるため、反復を繰り返すとメッセージは全てのブロックに対して伝搬していく。また、伝搬されるメッセージは処理ブロックＡから隣接ブロックＢへ伝搬されるメッセージの総和が”０”となるように、次式（１２）により正規化されていてもよい。
【数１２】
2010154269.tif 000014
【００９３】
ここで、式（１２）の左辺は正規化されたメッセージを表す。
【００９４】
ステップＳ５２からステップＳ５３の操作をステップＳ５４で処理ブロックＡに隣接する全てのブロックが処理されたと判断されるまで繰り返し行う。さらに、ステップＳ５２からステップＳ５４の操作をステップＳ５５で全てのブロックが処理されたと判断されるまで繰り返し行う。ステップＳ５１からステップＳ５５の処理が一回の反復になる。
【００９５】
ステップＳ５１からステップＳ５５の反復処理をステップＳ５６で反復終了基準が満足されるまで行う。反復終了基準としては、反復回数が一定回数に達したこと、または全てのメッセージの値の大小関係が変化しなくなるなどの基準を利用できる。最後に、各ブロックについて候補の中から選択する一つのパッチを次式（１３）に基づいて決定し、そのパッチを選択する（ステップＳ５７）。
【数１３】
2010154269.tif 000015
【００９６】
なお、各反復の終了時に式（１３）を計算して、各ブロックでの暫定の高品質化のためのパッチを求め、そのパッチに従い隣接ブロック間のパターン方向を算出し、適合度算出部のパターン方向記憶メモリの数値を更新することも考えられる。パターン方向記憶メモリを更新した場合は、再度適合度を計算し、更新された適合度を用いて次の反復の処理を行うことができる。これにより、パッチの信頼度に応じたパターン方向を考慮できる。
【００９７】
（本高品質化部１０７について）  
本高品質化部１０７は、選択部１０６によって選択されたパッチを仮高品質化画像へ加算することで高品質化し、出力画像を生成する。
【００９８】
本実施形態によれば、適合度計算の精度が向上し、例えば直線的なエッジ部について歪みが低減され、画質が向上する。
【００９９】
（第２の実施形態）  
図２１は、本発明の第２実施形態に従う画像高品質化装置を示している。第１の実施形態に従う図２に示した画像高品質化装置に対して、生起エネルギー算出部２１０１が追加されている。仮高品質化部１０１と、単位領域割り当て部１０２と、パッチメモリ１０３と、パッチ候補割り当て部１０４と、適合度算出部１０５と、本高品質化部１０７は第１の実施形態の同様であるので、説明を省略する。  第１の実施形態では、選択部１０６において適合度を最適化するようにパッチを選択する例を説明した。これに対し、第２の実施形態では生起エネルギー算出部２１０１によってパッチ候補の入力画像への適合度を示すエネルギー（これを生起エネルギーという）を別途計算する。選択部１０６では、適合度算出部１０５からの適合度情報及び生起エネルギー算出部２１０１からの生起エネルギー情報を受け、次式（１４）で表わされる、適合度と生起エネルギーとの加重和を最適化するようにパッチを選択する。
【数１４】
2010154269.tif 000016
【０１００】
ただし、μは係数パラメタ、Ωは全ての隣接するブロックの集合である。また、ＤA,iはパッチ候補ｈA,iについて定義される生起エネルギーである。生起エネルギーＤA,iは、例えば次式（１５）で定義する。
【数１５】
2010154269.tif 000017
【０１０１】
ただし、ｌA,iはパッチメモリ１０３中でｈA,iに対応付けられていた低品質画像パッチであり、ｌA,queryはブロックＡから抽出された低品質画像パッチである。
【０１０２】
本実施形態によれば、適合度計算の精度が向上し入力画像に適した高周波成分が選択され画質が向上する、あるいはアーチファクトノイズの発生が抑制されるという効果がある。  
（第３の実施形態）
第１の実施形態では、単位領域となるブロックが重なりなく配置されたときの例を示した。ここでは、第３の実施形態として、単位領域となるブロックが図２２のように重なりが生ずるように配置された場合に、処理対象のブロックに対して、上下のブロックに割り当てられたパッチの同時適合度を考慮して画像を高品質化する方法を説明する。ここで同時適合度とは、処理対象のブロックの上下に相当するブロックに割り当てられたパッチの組み合わせの適合度を意味する。
【０１０３】
説明を簡単にするために、隣接する２ブロックの重なり部分はそれぞれ、ブロックの半分の領域であるものとし、処理対象として注目する注目ブロックとその上下のブロックとを合わせた３ブロックの同時適合度を算出する例を説明する。注目ブロックとその上下ブロックに限らず、注目ブロックとその左右のブロックとの同時適合度も同様にして算出できる。また、４以上のブロックの同時適合度を算出することもできる。
【０１０４】
なお、高品質化方法のフローチャートは、図３と同一であり、Ｓ４０の適合度を算出するステップのみが変更される。以下では、Ｓ４０の処理について説明する。
【０１０５】
まず、処理対象のブロックをブロックC、同時適合度を算出する上下のブロックをそれぞれブロックA、ブロックBとする。図２３は、３つのブロックが与えられたときに、それぞれのブロックに割り当てられているパッチの候補hC,k、hA,i、hB,jの同時適合度を算出する方法を示したフローチャートである。
【０１０６】
まず、ステップ１０１（Ｓ101）で、ブロックAとブロックBに割り当てられているパッチhA,iとhB,jの適合度を、第１の実施形態と同様に図１０のステップＳ３４からステップＳ３６に沿って算出する。このとき、計測領域として、ブロックAにはブロックAとブロックCの重なり領域を、計測パッチBにはブロックBとブロックCの重なり領域を設定する。つまり、ブロックAの下半分とブロックBの上半分が計測領域となる。
【０１０７】
次に、ステップ１０２（S102）とS103では、VA,B,i,jの算出に用いた計測パッチOA,iと計測パッチOB,jの重なり部分RA,i、RB,jを用いて、パッチhC,kとの適合度を算出する。S102で、パッチhA,iとパッチhC,kの適合度を、RA,i領域の輝度パターンの類似度に応じて算出する。輝度パターンの類似度は、図6のS36で説明した方法を用いて算出することができる。これをV3A,C,i,kとする。
【０１０８】
次に、ステップ１０３（S103）で、S102と同様に、パッチhB,jとパッチhC,kの適合度を、RB,j領域の輝度パターンの類似度に応じて算出する。これをV3B,C,j,kとする。
【０１０９】
最後に、ステップ１０４（S104）で、ブロックA,B,Cの同時適合度をVA,B,i,j、V2A,B,i,j、V3A,C,i,k、V3B,C,j,kの重み付き和として算出する。これをVjointA,B,C,i,j,kとする。第１の実施形態で２つのパッチの適合度を決める場合と同様に、同時適合度 も計測パッチOA,iと計測パッチOB,jのずれ幅に応じて計算されるため、hC,k、hA,i、hB,jの最終的な同時適合度は、ずれ幅を動かしたときに最も同時適合度が高かった値を用いるものとする。
【０１１０】
以上のようにして、すべてのブロックに対して同時適合度を算出した後、その総和を極小化するようなパッチの組み合わせを決定して、画像を高品質化する（Ｓ５０、Ｓ６０）。
【０１１１】
このとき、適合度の総和は、第１の実施形態で示した隣接する２ブロックに関する適合度と、第２の実施形態で示した生起エネルギーも合わせて次式（１６）で定義することもできる。
【数１６】
2010154269.tif 000018
【０１１２】
ただし、Ψは画像中にあるすべての隣接３ブロックの集合である。また、μ1, μ2, μ3 は係数パラメタで、これらのうちの１つまたは２つを”0”として、各項を最適化の対象から外すことができる。式（１６）の最適化はビリーフプロパゲーションを用いて行うことができる。
【０１１３】
Ｓ６０における、仮高品質画像へのパッチの加算は、ブロックの重なりに応じて平均化して加算する。つまり、すべての画素で４つのブロックが重なるようにブロックが配置されている場合は、それぞれのパッチの輝度を1/4倍して加算することになる。
【０１１４】
（実験結果）
図２４は、第３の実施形態に従って画像を高品質化した結果を示した図である。図２４(a)の入力画像に対して、太枠線で囲った領域を高品質化した。枠線で囲った領域は、金属性の柵が被写体であり、現実にはエッジは直線である。高品質化は、入力画像を縦横それぞれ４倍に拡大する高解像度化を行った。単位ブロックは８×８画素に設定し、１つの単位ブロックに、１６個のパッチの候補を割り当てた。図２４(b)は、注目ブロックに対して、隣接する１つのブロックとの適合度を算出し、その総和を最適化した場合の結果画像である。エッジ部の直線性が損なわれていることが確認できる。図２４(c)は、第３の実施形態に従って、注目ブロックに対して、上下または左右をあわせた３ブロックの同時適合度を考慮した場合の結果画像である。なお、計測パッチのずれ幅は上下に隣接するブロックの時はｄｗ＝０、左右に隣接するブロックの時はｄｈ＝０に限定した。結果画像から確認できるように、エッジの直線性が保持され、より現実の被写体に近い高品質な画像が生成されたことがわかる。
【０１１５】
このように、上記実施形態に係わる画像高品質化装置によれば、パッチをずらして重ねたときの輝度パターンの類似度で適合度を評価することにより、適合度の精度が向上して画質が向上する。また、計測パッチのずれ幅に基づいて算出されるパターン方向の連続性を考慮することで、特に直線的なエッジの歪みが低減されるなどして、画質が向上する。
【０１１６】
なお、この画像高品質化装置は、前述の通り汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、低品質化手段、分離手段、学習手段、画像作成手段は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像高品質化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、記憶手段は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【０１１７】
本実施形態に適合度計算の精度が向上する。例えば直線的なエッジ部について歪みが低減され、画質が向上する。
【０１１８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、多くの発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【０１１９】
【図１】本実施形態のハードウェア構成図
【図２】本発明の第１の実施形態に従う画像高品質化装置を示すブロック図
【図３】本発明の第１の実施形態に従う画像高品質化装置の動作を示すフローチャート
【図４】パッチメモリの構造を示した模式図
【図５】パッチメモリ中のデータの作成方法を説明するための模式図
【図６】仮高品質画像へのブロック割り当て方法を示す模式図
【図７】パッチ候補割り当て部の動作を示すフローチャート
【図８】仮高品質画像のブロック割当を説明する図
【図９】適合度算出部の詳細を示すブロック図
【図１０】適合度算出部の動作を示すフローチャート
【図１１】適合度算出部を説明するための模式図
【図１２】適合度算出部を説明するための模式図
【図１３】適合度算出部を説明するための模式図
【図１４】適合度算出部を説明するための模式図
【図１５】パターン方向メモリをさらに備えた適合度算出部を示すブロック図
【図１６】パターン方向を説明する模式図
【図１７】パターン方向の連続性を考慮しないときの結果画像を示す模式図
【図１８】パターン方向の連続性を考慮したときの結果画像を示す模式図
【図１９】選択部において局所的に最適化を行う動作を示すフローチャート
【図２０】選択部において大域的に最適化を行う動作を示すフローチャート
【図２１】本発明の第２の実施形態に従う画像高品質化装置を示すブロック図
【図２２】本発明の第３の実施形態における、ブロック割り当て方法を説明する模式
【図２３】同時適合度を算出する方法を示したフローチャート。
【図２４】本実施形態に係わる画像処理によって高品質化された画像
【符号の説明】
【０１２０】
１０１・・・仮高品質化部、１０２・・・単位領域割り当て部、１０３・・・パッチメモリ、１０４・・・パッチ候補割り当て部、１０５・・・適合度算出部、１０６・・・選択部、１０７・・・本高品質化部１０７、
９０１・・・パッチ読み込み部、９０２・・・計測領域割当部、９０３・・パッチシフト部、９０４・・・類似度算出部、
１５０１・・・パッチ読み込み部、１５０２・・・計測領域割当部、１５０３・・・パッチシフト部、１５０４・・・類似度算出部、１５０５・・・パターン方向記憶メモリ、
２１０１・・生起エネルギー算出部、
【図１】
2010154269.tif 000019
【図２】
2010154269.tif 000020
【図３】
2010154269.tif 000021
【図４】
2010154269.tif 000022
【図５】
2010154269.tif 000023
【図６】
2010154269.tif 000024
【図７】
2010154269.tif 000025
【図８】
2010154269.tif 000026
【図９】
2010154269.tif 000027
【図１０】
2010154269.tif 000028
【図１１】
2010154269.tif 000029
【図１２】
2010154269.tif 000030
【図１３】
2010154269.tif 000031
【図１４】
2010154269.tif 000032
【図１５】
2010154269.tif 000033
【図１６】
2010154269.tif 000034
【図１７】
2010154269.tif 000035
【図１８】
2010154269.tif 000036
【図１９】
2010154269.tif 000037
【図２０】
2010154269.tif 000038
【図２１】
2010154269.tif 000039
【図２２】
2010154269.tif 000040
【図２３】
2010154269.tif 000041
【図２４】
2010154269.tif 000042