(57)【要約】【課題】入力された画像を高品質化するために必要な辞書の容量及び計算コストを削減するとともに、より高品質の画像を生成することができる画像高品質化装置を提供する。【解決手段】画像高品質化装置は、複数の低品質部分画像の特徴量からなる第１の集合から求めた代表低品質特徴量と、低品質化したものの特徴量が前記複数の低品質部分画像の特徴量のうちのいずれか１つと類似する複数の高品質部分画像の特徴量からなる第２の集合から求めた少なくとも１つの代表高品質特徴量とを対応付けて記憶する記憶手段と、前記記憶手段から、入力された第１の画像中の各部分画像の特徴量に類似する前記代表低品質特徴量に対応付けて記憶されている前記代表高品質特徴量を読み出して、前記第１の画像よりも高品質の第２の画像を生成する画像生成手段と、を備える。【選択図】      図１
2008234479.tif 000002
【特許請求の範囲】
【請求項１】
複数の低品質部分画像の特徴量からなる第１の集合と、低品質化したものの特徴量が前記複数の低品質部分画像の特徴量のうちのいずれか１つと類似する複数の高品質部分画像の特徴量からなる第２の集合とを生成する生成手段と、
前記第１の集合から複数の代表低品質特徴量を求める第１の計算手段と、
前記第２の集合から複数の代表高品質特徴量を求める第２の計算手段と、
１つの前記代表低品質特徴量と複数の前記代表高品質特徴量とを対応付けて記憶する記憶手段と、
入力された第１の画像を複数の部分画像に分割する分割手段と、
前記記憶手段から、各前記部分画像の特徴量に類似する前記代表低品質特徴量に対応付けて記憶されている前記代表高品質特徴量を読み出す読出手段と、
読み出された前記代表高品質特徴量を基に、前記第１の画像よりも高品質の第２の画像を生成する画像生成手段と、
を具備したことを特徴とする画像高品質化装置。
【請求項２】
前記第１の計算手段は、前記第１の集合の各要素との誤差が小さくなる特徴量を該第１の集合の要素から選択することにより、あるいは該第１の集合から計算することにより前記代表低品質特徴量を求めることを特徴とする請求項１記載の画像高品質化装置。
【請求項３】
前記第２の計算手段は、前記第２の集合の各要素との誤差が小さくなる特徴量を該第２の集合の要素から選択することにより、あるいは該第２の集合から計算することにより前記代表高品質特徴量を求めることを特徴とする請求項１記載の画像高品質化装置。
【請求項４】
各高品質部分画像についてその出現する度合いを示す単独信頼度と、各高品質部分画像について、該高品質部分画像と他の高品質部分画像とが隣接して出現する度合いを示す隣接信頼度と、各代表高品質特徴量について、前記代表低品質特徴量に類似する前記第１の画像の部分画像を高品質化した場合にその特徴量が該代表高品質部分画像に類似する度合いを示す条件付き信頼度とのうちの少なくとも１つの信頼度を計算する第３の計算手段をさらに具備し、
前記記憶手段は、前記第３の計算手段で計算された信頼度をさらに記憶し、
前記読出手段は、前記記憶手段から前記信頼度をさらに読み出し、
前記画像生成手段は、読み出された前記複数の代表高品質特徴量のうち、前記信頼度が大きくなる代表高品質特徴量を基に、前記第２の画像を生成することを特徴とする請求項１記載の画像高品質化装置。
【請求項５】
前記画像生成手段は、前記第１の画像の部分画像に対応するノード、前記第２の画像の部分画像に対応するノード、及びノード間を結ぶ前記信頼度が関連付けられたエッジを含むマルコフネットワークを基に、前記第１の画像の各部分画像に対応する前記第２の画像の部分画像を決定することにより、前記第２の画像を生成することを特徴とする請求項１記載の画像高品質化装置。
【請求項６】
前記生成手段は、
高品質画像を低品質化して低品質画像を生成する低品質画像生成手段と、
前記高品質画像を複数の部分画像に分割して、複数の高品質部分画像を得る第１の分割手段と、
前記低品質画像を複数の部分画像に分割して、前記第１の分割手段で得られた前記複数の高品質部分画像にそれぞれ対応する複数の低品質部分画像を得る第２の分割手段と、
前記第２の分割手段で得られた前記複数の低品質部分画像の特徴量の集合から、前記第１の集合を作成する第１の作成手段と、
前記第１の集合の各要素に対応する高品質部分画像の特徴量からなる前記第２の集合を作成する第２の作成手段と、
を含むことを特徴とする請求項１記載の画像高品質化装置。
【請求項７】
複数の低品質部分画像の特徴量からなる第１の集合と、低品質化したものの特徴量が前記複数の低品質部分画像の特徴量のうちのいずれか１つと類似する複数の高品質部分画像の特徴量からなる第２の集合とを生成する生成ステップと、
前記第１の集合から複数の代表低品質特徴量を求める第１の計算ステップと、
前記第２の集合から複数の代表高品質特徴量を求める第２の計算ステップと、
記憶手段に、１つの前記代表低品質特徴量と複数の前記代表高品質特徴量とを対応付けて記憶するステップと、
入力された第１の画像を複数の部分画像に分割する分割ステップと、
前記記憶手段から、各前記部分画像の特徴量に類似する前記代表低品質特徴量に対応付けて記憶されている前記代表高品質特徴量を読み出す読出ステップと、
読み出された前記代表高品質特徴量を基に、前記第１の画像よりも高品質の第２の画像を生成する画像生成ステップと、
を含む画像高品質化方法。
【請求項８】
前記第１の計算ステップは、前記第１の集合の各要素との誤差が小さくなる特徴量を該第１の集合の要素から選択することにより、あるいは該第１の集合から計算することにより前記代表低品質特徴量を求めることを特徴とする請求項７記載の画像高品質化方法。
【請求項９】
前記第２の計算ステップは、前記第２の集合の各要素との誤差が小さくなる特徴量を該第２の集合の要素から選択することにより、あるいは該第２の集合から計算することにより前記代表高品質特徴量を求めることを特徴とする請求項７記載の画像高品質化方法。
【請求項１０】
各高品質部分画像についてその出現する度合いを示す単独信頼度と、各高品質部分画像について、該高品質部分画像と他の高品質部分画像とが隣接して出現する度合いを示す隣接信頼度と、各代表高品質特徴量について、前記代表低品質特徴量に類似する前記第１の画像の部分画像を高品質化した場合にその特徴量が該代表高品質部分画像に類似する度合いを示す条件付き信頼度とのうちの少なくとも１つの信頼度を計算する第３の計算ステップと、
前記記憶手段に、前記第３の計算ステップで計算された信頼度を記憶するステップと、
をさらに含み、
前記読出ステップは、前記記憶手段から前記信頼度をさらに読み出し、
前記画像生成ステップは、読み出された前記複数の代表高品質特徴量のうち、前記信頼度が大きくなる代表高品質特徴量を基に、前記第２の画像を生成することを特徴とする請求項７記載の画像高品質化方法。
【請求項１１】
前記画像生成ステップは、前記第１の画像の部分画像に対応するノード、前記第２の画像の部分画像に対応するノード、及びノード間を結ぶ前記信頼度が関連付けられたエッジを含むマルコフネットワークを基に、前記第１の画像の各部分画像に対応する前記第２の画像の部分画像を決定することにより、前記第２の画像を生成することを特徴とする請求項７記載の画像高品質化方法。
【請求項１２】
前記生成ステップは、
高品質画像を低品質化して低品質画像を生成する低品質画像生成ステップと、
前記高品質画像を複数の部分画像に分割して、複数の高品質部分画像を得る第１の分割ステップと、
前記低品質画像を複数の部分画像に分割して、前記第１の分割ステップで得られた前記複数の高品質部分画像にそれぞれ対応する複数の低品質部分画像を得る第２の分割ステップと、
前記第２の分割ステップで得られた前記複数の低品質部分画像の特徴量の集合から、前記第１の集合を作成する第１の作成ステップと、
前記第１の集合の各要素に対応する高品質部分画像の特徴量からなる前記第２の集合を作成する第２の作成ステップと、
を含むことを特徴とする請求項７記載の画像高品質化方法。
【請求項１３】
複数の低品質部分画像の特徴量からなる第１の集合から求めた代表低品質特徴量と、低品質化したものの特徴量が前記複数の低品質部分画像の特徴量のうちのいずれか１つと類似する複数の高品質部分画像の特徴量からなる第２の集合から求めた複数の代表高品質特徴量と、を対応付けて記憶する記憶手段と、
前記記憶手段から、入力された第１の画像中の各部分画像の特徴量に類似する前記代表低品質特徴量に対応付けて記憶されている前記代表高品質特徴量を読み出して、前記第１の画像よりも高品質の第２の画像を生成する画像生成手段と、
を具備したことを特徴とする画像高品質化装置。
【請求項１４】
前記記憶手段は、各高品質部分画像についてその出現する度合いを示す単独信頼度と、各高品質部分画像について、該高品質部分画像と他の高品質部分画像とが隣接して出現する度合いを示す隣接信頼度と、各代表高品質特徴量について、前記代表低品質特徴量に類似する前記第１の画像の部分画像を高品質化した場合にその特徴量が該代表高品質部分画像に類似する度合いを示す条件付き信頼度とのうちの少なくとも１つの信頼度をさらに記憶し、
前記画像生成手段は、前記記憶手段から、入力された第１の画像中の各部分画像の特徴量に類似する前記代表低品質特徴量に対応付けて記憶されている前記複数の代表高品質特徴量及び前記信頼度を読み出して、前記第１の画像よりも高品質の第２の画像を生成することを特徴とする請求項１３記載の画像高品質化装置。
【請求項１５】
コンピュータを、
複数の低品質部分画像の特徴量からなる第１の集合と、低品質化したものの特徴量が前記複数の低品質部分画像の特徴量のうちのいずれか１つと類似する複数の高品質部分画像の特徴量からなる第２の集合とを生成する生成手段、
前記第１の集合から複数の代表低品質特徴量を求める第１の計算手段、
前記第２の集合から複数の代表高品質特徴量を求める第２の計算手段、
１つの前記代表低品質特徴量と複数の前記代表高品質特徴量とを対応付けて記憶する記憶手段、
入力された第１の画像を複数の部分画像に分割する分割手段、
各前記部分画像の特徴量に類似する前記代表低品質特徴量に対応付けて記憶されている前記代表高品質特徴量を読み出す読出手段、
読み出された前記代表高品質特徴量を基に、前記第１の画像よりも高品質の第２の画像を生成する画像生成手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を高品質化する技術に関する。
【背景技術】
【０００２】
画像を高品質化する技術の中に、高品質化したい画像とは別に、低品質画像の特徴量と高品質画像の特徴量との組を予め記憶した辞書を利用するものがある（例えば特許文献１）。
【０００３】
例えば特許文献１の辞書では、低品質画像の特徴量１つに対し、高品質画像の特徴量１つが組になって記憶されている。
【０００４】
辞書に予め記憶した低品質画像の特徴量と高品質画像の特徴量の組を利用して高品質化を行うため、得られる画像の品質は辞書にどんな組を記憶してあるかに依存する。従来技術では、その組が大量に記憶してあれば、高品質化を達成できる場合が多い。
【特許文献１】特許第３３６９５２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、辞書に予め記憶する低品質画像と高品質画像の組が多すぎると、辞書容量が大きくなりすぎたり、辞書から高品質化したい画像の部分画像の特徴量に類似したものを探索するのに多くの計算コストがかかったりするという問題点があった。
【０００６】
そこで、本発明は上記問題点に鑑みなされたもので、入力された画像を高品質化するために必要な辞書の容量及び計算コストを削減するとともに、より高品質の画像を生成することができる画像高品質化装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、（ａ）複数の低品質部分画像の特徴量からなる第１の集合と、低品質化したものの特徴量が前記複数の低品質部分画像の特徴量のうちのいずれか１つと類似する複数の高品質部分画像の特徴量からなる第２の集合とを生成する生成手段と、（ｂ）前記第１の集合から複数の代表低品質特徴量を求める第１の計算手段と、（ｃ）前記第２の集合から複数の代表高品質特徴量を求める第２の計算手段と、（ｄ）１つの前記代表低品質特徴量と少なくとも１つの前記代表高品質特徴量とを対応付けて記憶する記憶手段と、（ｅ）入力された第１の画像を複数の部分画像に分割する分割手段と、（ｆ）前記記憶手段から、各前記部分画像の特徴量に類似する前記代表低品質特徴量に対応付けて記憶されている前記代表高品質特徴量を読み出す読出手段と、（ｇ）読み出された前記代表高品質特徴量を基に、前記第１の画像よりも高品質の第２の画像を生成する画像生成手段とを備える。
【発明の効果】
【０００８】
入力された画像を高品質化するために必要な辞書の容量及び計算コストを削減するとともに、より高品質の画像を生成することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を、図を参照しながら説明する。
【００１０】
画素とは画像を扱うときの最小単位であり、解像度とは単位面積当たりの画素の数である。このように本来、解像度と画素数は別の意味である。高解像度化のためには単位面積当たりの画素の数を増やす必要があるため、ここでは、画素数を示す言葉として解像度という言葉を利用する。
【００１１】
この実施形態は、低解像度画像を高解像度画像へと高解像度化する例である。この実施形態において、品質が高いということは解像度が高いことであり、品質が低いということは解像度が低いことであり、低品質化とは低解像度化であり、高品質化とは高解像度化である。
【００１２】
なお、本発明を画像の高階調化、鮮鋭化、ノイズ除去、符号化歪み除去に適用することも容易である。
【００１３】
ここでは、画像が濃淡画像である場合を例にとって説明するが、ＹＵＶ画像の場合は、Ｙ成分に同様の処理を施すと良い。ＲＧＢ画像の場合は、ＹＵＶ画像に変換してＹ成分に同様の処理を施しても良いし、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれに同様の処理を施こしても良い。
【００１４】
（１）構成
図１は、本実施形態に係る画像高品質化装置１０の構成例を表すブロック図である。画像高品質化装置１０は、代表低品質特徴量作成部１１、代表高品質特徴量作成部１２、記憶部１３、読み出し部１４、画像作成部１５、信頼度計算部１６、及び、制御部１７を含む。画像高品質化装置１０は、高品質画像１０６が入力されると、記憶部１３に後述のデータを記憶し、画像１が入力されると、それを高品質化した画像２を出力する。
【００１５】
制御部１７は、画像高品質化装置１０内の各部の処理の同期をとる。例えば、どの低品質画像と高品質画像の組に対して処理しているか、画像１、２中のどの位置に対して処理しているかなどについての同期をとる。
【００１６】
代表低品質特徴量作成部１１では、すくなくとも１枚の高品質画像１０６から、類似した低品質画像（低解像度画像）に低品質化（低解像度化）する高品質画像（高解像度画像）の特徴量の集合１００を作成し、上記類似した低品質画像の特徴量の集合から代表低品質特徴量１０１を選択あるいは作成する。
【００１７】
代表高品質特徴量作成手段１２では、集合１００すなわち部分集合Ｈａ（ａ＝１，２，．．．，Ａ）ごとに、代表高品質特徴量１０２を少なくとも１つ選択あるいは作成する。
【００１８】
信頼度計算部１６は、高品質画像１０６中の隣接する部分画像３０１間の信頼度（隣接信頼度）１０７と、高品質画像１０６中の部分画像３０１単独での信頼度（単独信頼度）１０８と、代表低品質特徴量１０１に対する代表高品質特徴量１０２の条件付き信頼度（条件付き信頼度）１０９を計算する。
【００１９】
記憶部１３には、代表低品質特徴量１０１とこれに対応する代表高品質特徴量１０２の集合との組合せと、上記各信頼度を含む辞書が記憶される。
【００２０】
読み出し部１４は、入力された第１の画像（画像１）の各部分画像の特徴に類似する代表低品質特徴量を選択するとともに、この代表低品質特徴量に対応する代表高品質特徴量の集合や、信頼度を記憶部１３から読み出す。
【００２１】
画像作成部１５は、画像１の各部分画像に対し、第２の画像（画像２）上の部分画像を生成することにより、画像２を生成する。
【００２２】
（２）処理動作
図２は、上述の図１の画像高品質化装置の辞書作成処理動作及び画像の高品質化処理動作の概略を説明するためのフローチャートである。図２は、マルコフネットワークを利用せずに、左上の部分画像からラスタスキャン順にｘpを作成していく場合の例である。
【００２３】
図２（ａ）は、辞書作成処理動作を示すフローチャートである。
【００２４】
ステップＳ１では、代表低品質特徴量作成部１１が、入力された高品質画像１０６から低品質画像３０５を生成する。そして、高品質画像１０６を（例えば、幅widthと高さheightが共に「４」の）複数の部分画像ｘ（高品質画像３０１）に分割するとともに、低品質画像３０５を（例えばwidth=2、height=2の）複数の部分画像ｙ（低品質画像３０２）に分割する。なお、ここで、高品質画像１０６の部分画像ｘと低品質画像の部分画像ｙとは対応する。さらに、各部分画像ｘの特徴量（高品質画像特徴量）ｈを算出し、高品質画像特徴量ｈの集合Ｈ＝｛ｈ1、ｈ2、…、ｈN｝を作成する。また、各部分画像ｙの特徴量（低品質画像特徴量）ｍを算出し、低品質画像特徴量ｍの集合Ｍ＝｛ｍ1、ｍ2、…、ｍN｝を作成する。次に、集合Ｍから、類似する特徴量からなる複数（Ａ個）の部分集合Ｍａ（ａ＝１，２，…，Ａ）を作成するとともに、集合Ｈから、集合Ｍａのそれぞれに対応する部分集合１００すなわちＨa（ａ＝１，２，…，Ａ）を作成する。そして各部分集合Ｍａから代表低品質特徴量１０１すなわちｍa’（ａ＝１，２，…，Ａ）を選択あるいは作成する。そして、ステップＳ２へ進む。
【００２５】
ステップＳ２では、代表高品質特徴量作成部１２が、各部分集合１００すなわちＨaについて、Ｈaの要素ｈn（ｎ＝１，２，…，Ｎ（ａ））に対する誤差が最小となる代表高品質特徴量１０２をＢ（ａ）個選択あるいは作成する。選択あるいは作成された代表高品質特徴量１０２をｈ’ab（ｂ＝１，２，…，Ｂ（ａ））で表す。ステップＳ２の処理は、各Ｈa（ａ＝１，２，…，Ａ）に対してなされる。各Ｈaについて求めた代表高品質特徴量の集合をＨa’＝｛ｈ’a1， ｈ’a2，…，ｈ’aB(a)｝で表す。
【００２６】
次に、ステップＳ３へ進む。ステップＳ３では、（ａ）高品質画像１０６の各部分画像について、該部分画像に隣接する他の部分画像が、該部分画像の隣接に出現する度合いを示す隣接信頼度１０７すなわちＰ（ｓ、ｓneighbor）、（ｂ）高品質画像１０６の各部分画像について、該部分画像が出現する度合いを示す単独信頼度１０８すなわちＰ（ｓ）、及び、（ｃ）入力された低品質画像１の特徴量がｍa’に類似する場合に、高品質画像２の特徴量がｈ’abと類似している度合いを示す条件付き信頼度１０９すなわちＰ（ｈ’ab｜ｍa’）を計算する。そして、ステップＳ４へ進む。
【００２７】
ステップＳ４では、代表低品質特徴量１０１すなわちｍa’（ａ＝１，２，…，Ａ）と、これに対応する代表高品質特徴量１０２すなわちＨa’との組合せと、高品質画像１０６の各部分画像について計算された隣接信頼度１０７、高品質画像の各部分画像について計算された単独信頼度１０８、及び、高品質画像の各部分集合ＨaのＢ（ａ）個の代表高品質特徴量１０２について計算された条件付き信頼度１０９を含む辞書を記憶部１３に記憶する。そして、図２（ｂ）のステップＳ５へ進む。
【００２８】
図２（ｂ）は、高品質化処理動作について説明するためのフローチャートである。
【００２９】
ステップＳ５では、処理対象画像の第１の画像（画像１）が入力されると、読み出し部１４は、画像１を幅width、高さheightの複数（Ｑ個）の部分画像ｙｑ（ｑ＝１，２，…，Ｑ）に分割する。そして、ステップＳ６へ進む。
【００３０】
ステップＳ６では、ステップＳ５で得られたＱ個の部分画像の全てに対し処理を終了したかどうかをチェックする。全ての部分画像に対する処理が終了していない場合は、未処理の次の部分画像に対する処理を開始すべくステップＳ７へ進み、全ての部分画像に対する処理が終了し場合は、画像作成部１５が、後述のステップＳ８で生成された部分画像を繋ぎ合わせて第２の画像（画像２）の部分画像を作成し、出力し、処理を終了する。
【００３１】
ステップＳ７では、読み出し部１４が、画像１の位置ｑにおける部分画像ｙqから、その特徴量１０３すなわちｍqを計算し、これに類似した代表低品質特徴量１０１すなわちｍ’a(q)と組をなす代表高品質特徴量１０４の集合すなわちＨ’a(q)を、記憶部１３から読み出す。
【００３２】
また、画像作成部１５が、Ｈ’a(q)の各要素ｈ’a(q)bから、画像２の部分画像の候補ｘa(q)bを作成し、ｘa(q)bの増分符号ｓa(q)bを計算すると、読み出し部１４が、画像２の位置ｑの上隣りにある部分画像に対する隣接信頼度１０７、画像２の位置ｑの左隣にある部分画像に対する隣接信頼度１０７、画像２の位置ｑにおける単独信頼度１０８すなわちＰ（ｓa(q)b）、及び、条件付き信頼度１０９すなわちＰ（ｈ’a(q)b｜ｍ’a(q)）を、記憶部１３から読み出す。
【００３３】
ここで、位置ｑの上隣をｕで表し、左隣をｌと表し、ｕに対する隣接信頼度１０７をＰ（ｓa(q)b、ｓa(u)b）、ｌに対する隣接信頼度１０７をＰ（ｓa(q)b、ｓa(l)b）で表す。この例では、左上からラスタスキャン順に処理するため、位置ｑが上端または左端に位置する場合、上隣または左隣がそれぞれ存在しない。その場合は、読み出さない.
これらを読み出したら、ステップＳ８へ進む。
【００３４】
ステップＳ８では、読み出し部１４から読み出さした代表高品質特徴量１０４すなわちＨ’a、隣接信頼度１０７すなわちＰ（ｓa(q)b、ｓa(u)b）及びＰ（ｓa(q)b、ｓa(l)b）、単独信頼度１０８すなわちＰ（ｓa(q)b）、及び、条件付き信頼度１０９すなわちＰ（ｈ’a(q)b｜ｍ’a(q)）の全部あるいは少なくとも１つを用いて、画像作成部２が、画像２の部分画像すなわちｘqを作成する。例えば隣接信頼度、単独信頼度及び条件付き信頼度のうちの１つ、あるいは、一部または全部の信頼度の組合せが最大となる代表高品質特徴量を基に、画像２の部分画像すなわちｘqを作成する。
【００３５】
具体的には、位置ｑが上端でも左端でもなければ、Ｈ’aのＢ（ａ）個の要素ｈ’a(q)b（ｂ＝１，２，．．．，Ｂ（ａ））のなかから、Ｐ（ｓa(q)b、ｓa(u)b）、Ｐ（ｓa(q)b、ｓa(l)b）、Ｐ（ｓa(q)b）、及びＰ（ｈ’a(q)b｜ｍ’a(q)）の積を最大にする要素を選択し、この要素から作成した画像２の部分画像の候補ｘa(q)bをｘqとする。
【００３６】
位置ｑが上端かつ左端であれば、Ｈ’aのＢ（ａ）個の要素ｈ’a(q)b（ｂ＝１，２，．．．，Ｂ（ａ））のなかから、Ｐ（ｓa(q)b）とＰ（ｈ’a(q)b｜ｍ’a(q)）との積を最大にする要素を選択し、これから作成した画像２の部分画像の候補ｘa(q)bをｘqとする。
【００３７】
位置ｑが上端であれば、Ｈ’aのＢ（ａ）個の要素ｈ’a(q)b（ｂ＝１，２，．．．，Ｂ（ａ））のなかから、Ｐ（ｓa(q)b、ｓa(l)b）、Ｐ（ｓa(q)b）、及びＰ（ｈ’a(q)b｜ｍ’a(q)）の積を最大にする要素を選択し、これから作成した画像２の部分画像の候補ｘa(q)bをｘqとする。
【００３８】
位置ｑが左端であれば、Ｈ’aのＢ（ａ）個の要素ｈ’a(q)b（ｂ＝１，２，．．．，Ｂ（ａ））のなかから、Ｐ（ｓa(q)b、ｓa(u)b）、Ｐ（ｓa(q)b）、及びＰ（ｈ’a(q)b｜ｍ’a(q)）の積を最大にする要素を選択し、これから作成した画像２の部分画像の候補ｘa(q)bをｘqとする。
【００３９】
以上ステップＳ７〜ステップＳ８の処理を、画像１の全ての部分画像に対し行うことにより、各部部画像ｙqに対し、画像２の部分画像ｘqが得られる（ステップＳ６）。この場合、ステップＳ９へ進み、得られた画像２の全ての部分画像ｘqを繋ぎ合わせて、画像２を生成する。
【００４０】
（３）各構成部の処理動作
図３は、代表低品質特徴量作成部１１の構成例を示すブロック図である。代表低品質特徴量作成部１１は画像対記憶部３１、高品質画像特徴抽出部３２、低品質画像特徴抽出部３３、代表低品質特徴量作成部３４、低品質化部３５、及び、部分画像抽出部３６を含む。
【００４１】
低品質化部３５では、高品質画像１０６を低品質化し、低品質画像３０５として部分画像抽出部３６に送る。画像１を縦横それぞれα倍、β倍に高解像度化したい場合は、縦横それぞれ1/α倍、1/β倍に低解像度化する。低解像度化の方法としては、面積平均法や、画像１をガウシアンフィルタでぼかしてからサブサンプリングする方法などを利用できる。
【００４２】
部分画像抽出部３６では、高品質画像１０６から部分画像を抽出し、高品質画像３０１として出力し、画像対記憶部３１に送る。また、低品質画像３０５から幅がwidth、高さがheightの部分画像を抽出し、低品質画像３０２として出力し、画像対記憶部３１に送る。図９は、高品質画像３０１の例である。各格子が画素を表し、その格子中の数字がその画素の輝度値を表す。この例では、高品質画像３０１の幅widthと高さheightが共に「４」である。図１０は、図９の高品質画像３０１に対応する低品質画像３０２の例である。図９と同様に、各格子が画素を表し、その格子中の数字がその画素の輝度値を表す。この例では、width=2、height=2、α=2、β=2である。
【００４３】
画像対記憶部３１では、高品質画像３０１と低品質画像３０２の対を記憶する。記憶された高品質画像３０１と、それと対応する低品質画像３０２は、それぞれ、高品質画像特徴抽出部３２と低品質画像特徴抽出部３３に送られる。高品質画像３０１と低品質画像３０２をベクトルとして扱っても良い。高品質画像３０１をベクトルに変換するには、高品質画像３０１中の各画素の輝度値を所定の順で並べれば良い。例えば、図９の高品質画像３０１の各画素の輝度値をラスタスキャン順に並べた場合、以下のベクトルに変換される。
【数１】
2008234479.tif 000003
【００４４】
ここで、Ｔは転置を表す。以下の説明では、高品質画像３０１を変換して作成したベクトルをｘで表記する。
【００４５】
低品質画像３０２をベクトルに変換するには、低品質画像３０２中の各画素の輝度値を所定の順で並べれば良い。図１０の低品質画像３０２の各画素の輝度値は、図９の高品質画像３０１の同じ位置にある４画素の輝度値の平均とした。図９の高品質画像３０１を面積平均法で縦横それぞれ1/2倍に低解像度化すると、図１０の低品質画像３０２が得られる。この低品質画像３０２の各画素の輝度値をラスタスキャン順に並べた場合、以下のベクトルに変換される。
【数２】
2008234479.tif 000004
【００４６】
以下の説明では、低品質画像３０２を変換して作成したベクトルをｙで表記する。以下では、高品質画像３０１と低品質画像３０２がそれぞれベクトルｘとｙであるとして説明する。例えば、図９の高品質画像３０１と図１０の低品質画像３０２をそれぞれ以下のｘとｙに変換したものとする。
【数３】
2008234479.tif 000005
【００４７】
図１０の低品質画像３０２の各画素の輝度値は、図９の高品質画像３０１の同じ位置にある４画素の輝度値の平均であるため、図９と図１０のｘとｙの間には、次式（４）が成り立つ。
【数４】
2008234479.tif 000006
【００４８】
高品質画像特徴抽出部３２では、画像対記憶部３１から入力された高品質画像３０１、すなわち、ｘから特徴を抽出し、高品質画像特徴量３０３として代表低品質特徴量作成部３４に送る。特徴はベクトルとして抽出されるものとして、以下では、高品質画像特徴量３０３をｈと表記する。ｈは次式（５）により計算する。
【００４９】
ｈ＝ｇ（ｘ）                                        （５）
ここで、ｇは次式（６）を満たす関数である。
【数５】
2008234479.tif 000007
【００５０】
ここでは説明を簡単にするために、ｖ（ｙ）＝１、ｔ（ｙ）＝０の場合を例にとって説明する。この場合、ｇ（ｘ）＝ｘとなり、ｈ＝ｘとなる。ｖ（ｙ）＝１、ｔ（ｙ）＝０以外の場合も後で説明する。
【００５１】
低品質画像特徴抽出部３３では、画像対記憶部３１から入力された低品質画像３０２、すなわち、ｙから特徴を抽出し、低品質画像特徴量３０４として代表低品質特徴量作成部３４に送る。特徴はベクトルとして抽出されるものとして、以下では、低品質画像特徴量３０４をｍと表記する。ｍは次式（７）によりｙから計算する。
【００５２】
ｍ＝ｒ（ｙ）                      （７）
ここでは説明を簡単にするために、ｒ（ｙ）＝ｙの場合を例にとって説明する。この場合、ｍ＝ｙとなる。ｒ（ｙ）＝ｙ以外のｒの例も後で説明する。
【００５３】
代表低品質特徴量作成部３４には、高品質画像特徴抽出部３２からの高品質画像特徴量３０３と、低品質画像特徴抽出部３３からの低品質画像特徴量３０４とが対応付けられて入力される。すなわち、ｈとｍとが対応付けられて入力される。
【００５４】
このように、部分画像抽出部３６は、高品質画像１０６から、その部分画像の集合である高品質画像３０１の集合を抽出し、低品質画像３０５から、その部分画像の集合である低品質画像３０２の集合を抽出する。高品質画像１０６と低品質画像３０５の間で対応する部分画像の対、対応する高品質画像３０１（ｘ）と低品質画像３０２（ｙ）の対は画像対記憶部３１に記憶される。
【００５５】
各対について、高品質画像特徴抽出部３２は、高品質画像３０１（ｘ）の特徴量ｈを計算し、低品質画像特徴抽出部３３は、低品質画像３０２（ｙ）の特徴量ｍを計算する。高品質画像３０１（ｘ）と低品質画像３０２（ｙ）の各対から計算されたｈとｍとが代表低品質特徴量作成部３４に入力される。
【００５６】
代表低品質特徴量作成部３４に入力されたｈの集合、すなわち、高品質画像３０１の集合に対応する特徴量の集合をＨで表し、ｍの集合、すなわち、低品質画像３０２の集合に対応する特徴量の集合をＭと表す。Ｈの要素の数をＮで表す。Ｍの要素の数もＮである。
【００５７】
代表低品質特徴量作成部３４では、まず、入力されたＭの複数の要素の中で、類似したもの同士をまとめ、複数のＭの部分集合を作成する。作成した部分集合の数をＡで表し、作成した部分集合をそれぞれＭａ（ａ＝１，２，．．．，Ａ）で表す。類似の尺度としては、ベクトル同士の距離を用いると良い。
【００５８】
図１１は、Ｍの例を示す。図１１の円がｍの属する空間を表す。説明のために、図１１が図１０に対応しているものとする。図１０の例ではｙが４次元であり、ｍ＝ｙであったので、ｍも４次元である。したがって、ｍの属する空間である図１１中の円は４次元空間である。図１１の円の中にある点のそれぞれは、入力された複数のｍを表す。したがって、これら各点が４次元ベクトルである。
【００５９】
図１２は、Ｍの要素のうち、類似したもの同士をまとめた様子を示す例である。この例では、Ｍの部分集合を３つ（Ｍ１からＭ３）作成しており、Ａ＝３である。それら３つを、図１２中の３つの楕円で表している。類似したもの同士をまとめるために、非特許文献１（Rui Xu and Wunsch, D., II, ”Survey of Clustering Algorithms,” IEEE Transactions on Neural Networks, vol. 16, pp. 645-678, 2005.）で紹介されているクラスタリング手法を利用できる。
【００６０】
例えば、k-means法を利用すると、Ｍから、設定した数の部分集合を作成できる。すなわち、Ａを指定できる。もちろん、各部分集合の要素同士は、距離が近くなる。Ａを指定できるため、最終的にできる辞書の容量を制御しやすい。
【００６１】
また、mean-shift法を利用すると、Ｍから、Ｍ中の要素の分布に応じて、部分集合を作成できる。あるいは、ｍの属する空間を均等に分割することにより部分集合を作成しても良い。この方法でも、距離が近いｍ同士が同じ部分集合の要素となる。もし、ｒ（ｙ）＝ｙでなく、ｍのとりうるベクトルがＡ個しかなく多くない場合には、上述のクラスタリング手法を利用せず、Ｍの要素の中で、同じベクトル同士をまとめ、Ｍａ（ａ＝１，２，．．．，Ａ）を作成しても良い。
【００６２】
次に、こうして作成されたＭの部分集合Ｍａ（ａ＝１，２，…，Ａ）それぞれに対応するｈの集合１００を作成し、出力する。すなわち、Ｍａの要素ｍと対応付けられて入力されたｈの集合１００を作成し、出力する。この集合１００、すなわち、集合Ｈの部分集合をＨａ（ａ＝１，２，…，Ａ）と表記する。
【００６３】
図１４は、Ｈを表す。図１４の円がｈの属する空間を表す。説明のために、図１４が図９に対応しているものとする。図９の例ではｘが１６次元であり、ｈ＝ｘであったので、ｈの属する空間である図１４中の円は１６次元空間である。図１４の円の中にある点のそれぞれは、入力された複数のｈを表す。これら各点が、１６次元ベクトルである。
【００６４】
図１５は、Ｍａ（ａ＝１，２，…，Ａ）に対応するＨａ（ａ＝１，２，…，Ａ）の例を表す。この例では、閉曲線によりＨａ（ａ＝１，２，…，Ａ）を表しており、Ａ＝３である。これら３つ（Ｈ１〜Ｈ３）が、図１２中の３つの楕円と対応している。
【００６５】
最後に、部分集合Ｍａ（ａ＝１，２，…，Ａ）ごとに、そのＭａの要素それぞれに対する誤差の総和が小さい要素ｍ’をＭａの要素の中から選択し、代表低品質特徴量１０１として出力する。ここで、誤差の尺度として距離を利用する場合、誤差の総和は次式（８）で表すことができる。
【数６】
2008234479.tif 000008
【００６６】
また、誤差の尺度として距離の２乗を利用する場合、誤差の総和は次式（９）で表すことができる。
【数７】
2008234479.tif 000009
【００６７】
総当りで誤差の総和を計算してそれを小さくしたものを選択しても良いし、上記クラスタリングや分類の結果のセントロイドに最も近いものを選択しても良い。総当りで計算した場合、距離の総和が最も小さいものを選択できる。
【００６８】
図１３は、図１３中で最も上に位置するＭの部分集合Ｍａにおいて、１つの代表低品質特徴量１０１が選択された様子を表す。あるいは、上記式（８）で示した距離の総和が小さいベクトルｍ’を作成し、代表低品質特徴量１０１として出力する。作成するためには、上記クラスタリング手法や分類の結果のセントロイドを作成すれば良い。セントロイドとしては、Ｍａ内の要素の平均や重み付き平均を利用することができる。
【００６９】
なお、ここでは、Ｈａ（ａ＝１，２，…，Ａ）を作成してから代表低品質特徴量１０１を作成するという順で説明したが、逆の順番でも同時でも構わない。以下では、選択あるいは作成したＭａの代表低品質特徴量１０１をｍ’で表す。ｍ’はＭａ１個につき１個であるため、合計Ａ個である。ただし、Ｍａ１個につき複数の代表低品質特徴量１０１を選択あるいは作成（計算）しても構わない。
【００７０】
代表高品質特徴量作成手段１２では、集合１００すなわち部分集合Ｈａ（ａ＝１，２，…，Ａ）ごとに、代表高品質特徴量１０２を少なくとも１つ選択あるいは作成する。Ｈａに対応して選択あるいは作成する代表高品質特徴量１０２の数をＢ（ａ）で表す。このＢ（ａ）はａにより変化する値である。Ｈａの代表高品質特徴量１０２は、Ｈａの各要素に対する誤差の総和ができるだけ小さくなるように、Ｂ（ａ）個の中から選択あるいは作成する。
【００７１】
Ｈａの要素の数をＮ（ａ）で表す。ここで、Ｎ（ａ）はａにより変化する値であり、
Ｂ（ａ）≦Ｎ（ａ）と、
【数８】
2008234479.tif 000010
【００７２】
が成立する。
【００７３】
あるＨａのＮ（ａ）個の要素の中から、Ｂ（ａ）個の代表高品質特徴量１０２を選択する例を、図２０を参照しながら説明する。部分集合ＨａのＮ（ａ）個の要素をｈｎ（ｎ＝１，２，…，Ｎ（ａ））と表記する。
【００７４】
ステップＳ２０１では、部分集合Ｈａの要素間、すなわち、ｈｎ（ｎ＝１，２，…，Ｎ（ａ））とｈｎ´（ｎ´＝１，２，…，Ｎ（ａ））との間で、ｖ（ｙｎ）ｈｎ（ｎ＝１，２，…，Ｎ（ａ））を近似したときの誤差ｅn’nを計算し、図２６に示すような表を作成する。
【００７５】
ここで、特徴量ｈｎをもつ高品質画像３０１に対応する低品質画像３０２のベクトルをｙｎと表す。
【００７６】
誤差の尺度として、距離を利用する場合は、ｅn’nは、次式（１１）で表すことができる。
【数９】
2008234479.tif 000011
【００７７】
また、距離の２乗を利用する場合は、ｅn’nは、次式（１２）で表すことができる。
【数１０】
2008234479.tif 000012
【００７８】
ここでは、ｖは任意の入力に対して「１」を返すため、式（１１）は、式（１３）となり、
【数１１】
2008234479.tif 000013
【００７９】
式（１２）は式（１４）となる。
【数１２】
2008234479.tif 000014
【００８０】
なお、ｖ（ｙｎ）≠１である場合は、代表高品質特徴量作成部１２にｖ（ｙｎ）またはｙｎを入力しなければならないため、そのように図１の構成を修正する必要がある。
【００８１】
要素の数がＢ（ａ）である集合｛１，２，…，Ｎ（ａ）｝の部分集合はN(a)ＣB(a)通りである。これらN(a)ＣB(a)通りの部分集合のそれぞれをＤn’’（n’’＝１，２，…，N(a)ＣB(a)）で表し、これらＤn’’ の集合をＤ（ａ）で表す。すなわち、
【数１３】
2008234479.tif 000015
【００８２】
とする。Ｄ（ａ）はａにより変わる集合である。
【００８３】
ステップＳ２０２では、Ｄ（ａ）の要素の中から、そのＤ（ａ）の要素である部分集合の要素のいずれか１つを選択すれば誤差の総和が最小になるものを求める。求めたＤ（ａ）の要素である部分集合をＤ’（ａ）で表す。Ｄ’（ａ）は以下の式で求められる。
【数１４】
2008234479.tif 000016
【００８４】
Ｄ’（ａ）はａにより変わる部分集合である。
【数１５】
2008234479.tif 000017
【００８５】
がＨａの各要素に対する誤差の総和が小さいＢ（ａ）個の代表高品質特徴量１０２となる。
【００８６】
以下では、Ｍａと対応するＢ（ａ）個の代表高品質特徴量１０２の集合をＨａ’で表し、Ｍａと対応するＢ（ａ）個の代表高品質特徴量１０２のそれぞれをｈ’ab（ｂ＝１，２，…，Ｂ（ａ））で表す。従って、ｈ’abとｈn’とは次式（１７）に示すような関係がある。
【数１６】
2008234479.tif 000018
【００８７】
Ｈa’とｈ’abの間には、Ｈa’＝｛ｈ’a1， ｈ’a2，…，ｈ’aB(a)｝という式が成り立つ。
【００８８】
次に、Ｂ（ａ）個の代表高品質特徴量１０２を選択するのではなく、作成する例を、図２１を参照しながら説明する。この例では、誤差の尺度として式（１２）、上述の方法による選択結果であるＨａ’を利用する。
【００８９】
そのため、図２１のステップＳ２１１及びステップＳ２１２は、図２０のステップＳ２０１及びステップＳ２０２とそれぞれ同じである。図２１のステップＳ２１３では、Ｂ（ａ）個のｈ’abのどれに距離が近いかによりＨａの要素をＢ（ａ）個の部分集合に分類する。それらＢ（ａ）個の部分集合をそれぞれＨab（ｂ＝１，２，…，Ｂ（ａ））で表す。Ｈaの要素うち、ｈ’abに近いものの集合がＨabである。
【００９０】
ステップＳ２１４では、ｈ’abを次式（１８）により更新する。
【数１７】
2008234479.tif 000019
【００９１】
ここでは、ｖは任意の入力に対して「１」を返すため、ｈ’abはＨabの要素の平均となる。あるいは、ｖによらず、Ｈabの要素の平均をｈ’abとしても良い。
【００９２】
ステップＳ２１５では、ｈ’abの更新による変化が予め定めた閾値以下であるかどうかにより収束を判定する。収束の判定を別の基準で行っても良い。例えば、繰り返しの回数が予め定めた閾値以上であるかどうかにより判定しても良いし、Ａ個のＨabの各要素に対するｈ’abの誤差の総和の減少量が閾値以下であるかどうかにより判定しても良い。収束していない場合はステップＳ２１３に戻り、収束している場合は処理を終了し、ｈ’abをＢ（ａ）個の代表高品質特徴量１０２とする。Ｈabが繰り返しにより変化し、Ａ個のＨabの各要素に対するｈ’abの誤差の総和が単調減少するとは限らないため、それが最小になったときのｈ’abをＢ（ａ）個の代表高品質特徴量１０２とするとより良い。求めたｈ’abの集合がＨａ’である。
【００９３】
信頼度計算部１６は、高品質画像１０６から、隣接する高品質画像３０１同士の信頼度を計算し、隣接信頼度１０７として出力し、記憶部１３に記憶する。また、信頼度計算部１６は高品質画像１０６から、ある高品質画像単独での信頼度を計算し、単独信頼度１０８として出力し、記憶部１３に記憶する。また、集合Ｈの部分集合（Ｈa）１００と、代表高品質特徴量(ｈ’ab)１０２とから、代表低品質特徴量１０１に対する代表高品質特徴量１０２の条件付き信頼度を計算し、条件付き信頼度１０９として出力し、記憶部１３に記憶する。
【００９４】
図６は、信頼度計算部１６の構成例を示すブロック図である。この例では、信頼度計算部１６は隣接信頼度計算部６１、単独信頼度計算部６２、及び、条件付き信頼度計算部６３を有する。ここでは、隣接信頼度計算部６１、単独信頼度計算部６２、及び、条件付き信頼度計算部６３の３つを有する例を説明するが、これら３つのうち最低１つあれば良い。後で説明するように、これら３つが出力する信頼度は、Ｂ（ａ）個のｈ’abから１個を選択するために利用する。必ずしも３つ必要ないのは、いずれか１つあればＢ（ａ）個の中から１個を選択できるためである。
【００９５】
隣接信頼度計算部６１では、高品質画像１０６から、該高品質画像１０６内の隣接する部分画像（高品質画像３０１）同士の信頼度を計算し、隣接信頼度１０７として出力する。図７は、隣接信頼度１０７の計算方法の一例を説明するための図である。図７では、高品質画像１０６内の注目する高品質画像７２と、それに隣接する高品質画像７１を示している。説明の簡単のため、高品質画像７２をｘ、高品質画像７１をｘneighborで表すことにする。
【００９６】
隣接信頼度計算部６１では、少なくとも１枚の高品質画像１０６において、ｘの隣にｘneighborが出現した回数Ｈ（ｘ、ｘneighbor）を全てのｘと全てのｘneighborについて数え、そのＨ（ｘ、ｘneighbor）を隣接信頼度１０７とする。あるいは、各Ｈ（ｘ、ｘneighbor）を全Ｈ（ｘ、ｘneighbor）の総和で除算することにより計算した同時生起確率Ｐ（ｘ、ｘneighbor）を隣接信頼度１０７としても良い。あるいは、後述の方法によりＰ（ｘneighbor）を計算し、
Ｐ（ｘ｜ｘneighbor）＝Ｐ（ｘ、ｘneighbor）／Ｐ（ｘneighbor）
を計算して、このＰ（ｘ｜ｘneighbor）を隣接信頼度１０７としても良い。
【００９７】
ただし、Ｈ（ｘ、ｘneighbor）、Ｐ（ｘ、ｘneighbor）あるいはＰ（ｘ｜ｘneighbor）を全てのｘ、ｘneighborについて記憶するには膨大の容量が必要である。例えば、高品質画像７１、７２が、幅が８、高さが８、２５６階調の濃淡画像であった場合、ｘとｘneighborの組合せは２５６128通りにもおよび膨大である。全てのｘとｘneighborの組合せについてＨ（ｘ、ｘneighbor）、Ｐ（ｘ、ｘneighbor）あるいはＰ（ｘ｜ｘneighbor）を記憶するのは現実的でないため、より少ない容量で記憶できるように近似すると良い。例えば、特許文献１の段落「００２９」〜「００３５」には、Ｐ（ｘ｜ｘneighbor）を混合正規分布により近似する方法について記載されている。しかし、この方法では、近似誤差の画質への影響が大きくなる場合がある。
【００９８】
そこで、高品質画像７２と高品質画像７１を連結した画像において、増分符号を計算し、その増分符号の出現頻度で近似すると良い。増分符号とは、注目する画素ごとに値を持つ符号であり、その注目画素の値としては、注目画素の輝度値が隣の画素の輝度値以上であれば「１」、隣の画素の輝度値未満であれば「０」を持つ。したがって、増分符号により、隣の画素との明暗を「０」または「１」という２値で表現できる。例えば、図９の画像に関して、右方向に隣接する画素に対する増分符号を図１７に示す。また、図９の画像に関して、下方向に隣接する画素に対する増分符号を図１８に示す。高品質画像７２（ｘ）の増分符号を所定の順に並べたベクトルをｓで表し、ｘneighborを所定の順に並べたベクトルをｓneighborで表す。Ｈ（ｘ、ｘneighbor）をＨ（ｓ、ｓneighbor）で近似する、Ｐ（ｘ、ｘneighbor）をＰ（ｓ、ｓneighbor）で近似する、あるいは、Ｐ（ｘ｜ｘneighbor）をＰ（ｓ｜ｓneighbor）で近似すると、記憶に必要な容量を減らすことができる。
【００９９】
特許文献１に記載の混合正規分布による近似ではなく、増分符号による近似を利用すれば、画像２を作成したときに画素間の明暗が不自然に逆転しにくいという利点がある。もし、高品質画像７２と高品質画像７１を連結した画像の増分符号による近似でも記憶に必要な容量が大きすぎる場合には、高品質画像７１、７２の連結画像の接続部分８１（図８の市松模様部）だけから増分符号を計算するようにしても良い。これにより、記憶に必要な容量をさらに減らせる。説明の簡略化のため、以下では、隣接信頼度１０７がＰ（ｓ、ｓneighbor）であるものとする。
【０１００】
単独信頼度計算部６２では、高品質画像１０６から、該高品質画像１０６内の部分画像（高品質画像３０１）単独の信頼度を計算し、単独信頼度１０８として出力する。例えば、単独信頼度計算部６２では、少なくとも１枚の高品質画像１０６において、高品質画像７２（ｘ）が出現した回数Ｈ（ｘ）を数え、そのＨ（ｘ）を単独信頼度１０８とする。なお、Ｈ（ｘ）は全てのｘについて数える。あるいは、各Ｈ（ｘ）を全Ｈ（ｘ）の総和で除算することにより計算した確率Ｐ（ｘ）を単独信頼度１０８としても良い。高品質画像７２が、幅が８、高さが８、２５６階調の濃淡画像であった場合、ｘの組合せは２５６64通りにも及び、膨大である。全てのｘについてＨ（ｘ）またはＰ（ｘ）を記憶するのは現実的ではないため、より少ない容量で記憶できるように近似すると良い。例えば、特許文献１の段落「００２９」〜「００３５」には、Ｐ（ｘ）を混合正規分布により近似する方法について記載されている。しかし、この方法では、近似誤差の画質への影響が大きくなる場合がある。そこで、Ｈ（ｘ）をＨ（ｓ）で近似する、あるいは、Ｐ（ｘ）をＰ（ｓ）で近似すると、記憶に必要な容量を減らすことができる。特許文献１に記載の混合正規分布により近似ではなく、増分符号による近似を利用すれば、画像２を作成したときに画素間の明暗が不自然に逆転した画像になりにくいという利点がある。上述の
Ｐ（ｘneighbor）はこの方法で計算できる。したがって、隣接信頼度計算部６１においてＰ（ｘneighbor）を利用する場合は、隣接信頼度計算部６１の内部でもＰ（ｘneighbor）の計算を行うか、あるいは、単独信頼度計算部６２から隣接信頼度計算部６１へＰ（ｘneighbor）を送る必要がある。説明の簡略化のため、以下では、単独信頼度１０８がＰ（ｓ）であるものとする。
【０１０１】
条件付き信頼度計算部６３では、集合Ｈの部分集合（Ｈa）１００と、代表高品質特徴量(ｈ’ab)１０２とから、代表低品質特徴量１０１(ｍa’)に対する代表高品質特徴量１０２(ｈ’ab)の条件付き信頼度を計算し、条件付き信頼度１０９として出力する。この条件付き信頼度１０９は例えば、Ｈa（ａ＝１，２，…，Ａ）とｈ’ab（ｂ＝１，２，…，Ｂ（ａ））から計算した条件付き確率Ｐ（ｈ’ab｜ｍa´）である。（ｈ’ab｜ｍa´）は、次式（１９）により計算される。
【数１８】
2008234479.tif 000020
【０１０２】
ここで、ｆ（ｈn、Ｈa’、ｂ）は、次式（２０）で定義される関数であり、Ｈaに対応するＢ（ａ）個の代表高品質特徴量１０２の集合Ｈa’の中でｈnに最も距離が近いものがｈ’abである場合に「１」を返し、それ以外の場合に「０」を返す。
【数１９】
2008234479.tif 000021
【０１０３】
条件付き信頼度Ｐ（ｈ’ab｜ｍa’）は、低品質の画像１の特徴量がｍa’と類似していたという条件のもとで高品質の画像２の特徴量がｈ’abと類似している条件付き確率である。
【０１０４】
このように、代表低品質特徴量作成部１１と代表高品質特徴量作成部１２の出力を利用してＰ（ｈ’ab｜ｍa’）を計算できる。
【０１０５】
特許文献１の段落「００２９」〜「００３５」では、Ｐ（ｙ｜ｘ）を混合正規分布により近似する方法について記載されている。このＰ（ｙ｜ｘ）でも、Ｂ（ａ）個のｈ’abから１個を選択するために利用することはできる。しかし、Ｂ（ａ）個のｈ’abから１個を選択するには、ｈ’abを直接利用して計算したＰ（ｈ’ab｜ｍa’）の方が適している。説明の簡略化のため、以下では、条件付き信頼度１０９がＰ（ｈ’ab｜ｍa’）であるものとする。
【０１０６】
記憶部１３では、代表低品質特徴量１０１すなわちｍa’と、それに対応する代表高品質特徴量１０２の集合すなわち｛ｈ’a1， ｈ’a2，…，ｈ’aB(a)｝＝Ｈa’との組合せと、隣接信頼度１０７、単独信頼度１０８、及び、条件付き信頼度１０９を記憶する。
【０１０７】
図５は、本実施形態に係る記憶部１３、すなわち、辞書のイメージを表す図である。ただし、代表低品質特徴量１０１すなわちｍa’と、それに対応する代表高品質特徴量１０２の集合すなわちＨa’との組に関する部分のイメージのみを表す。破線５１内の代表低品質特徴量１０１と代表高品質特徴量１０２とが対応していることを表す。
【０１０８】
図５は、１つの代表低品質特徴量１０１に対して、少なくとも１つの代表高品画像質特徴量１０２を１組として、この組が１つ以上記憶部１３に記憶されている様子を表す。例えば、代表低品質特徴量ｍ1’は、｛ｈ’11， ｈ’12，…，ｈ’1B(a)｝＝Ｈa’とともに記憶部１３に記憶され、代表低品質特徴量ｍA’は、｛ｈ’A1， ｈ’A2，…，ｈ’AB(a)｝＝ＨA’とともに記憶部１３に記憶されている。言い換えれば、図５は、１つの代表低品質特徴量１０１ｍa’とＢ（ａ）個のｈ’abとを１組の辞書データとして、この辞書データがＡ個、記憶部１３に記憶されている。
【０１０９】
図４は、特許文献１などに記載されている従来の辞書４１の概略構成を示したものである。辞書４１は、低品質画像の特徴量４２と高品質画像の特徴量４３とが１対１で対応付けられて記憶されている。辞書に予め記憶した低品質画像の特徴量と高品質画像の特徴量の組を利用して高品質化を行うため、得られる画像の品質は辞書にどんな組を記憶してあるかに依存し、また高品質化のために、従来技術では、低品質画像の特徴量４２とこれに対応する１つの高品質画像の特徴量４３とを１組とする大量の辞書データが記憶されている必要がある。また、辞書データが大量であれば、辞書から、低品質の部分画像に対応する高品質の部分画像を探索するために多大な計算コストが係る。
【０１１０】
一方、図５に示すような辞書であれば、１つの代表低品質特徴量と、複数の代表高品質特徴量とを対応付けて記憶しているため、辞書のデータ量を削減することができる。従って、探索対象の数を減らすことができる。
【０１１１】
以上が、図２（ａ）に示した辞書作成処理に係る各構成部の処理動作である。
【０１１２】
次に、上記辞書を用いて、画像高品質化装置１０に入力される低品質の画像１を高品質した高品質化画像２を生成するための各構成部の処理動作について説明する。
【０１１３】
読み出し部１４には、画像１が入力される。また、画像作成部１５から、後で説明する増分符号１１０すなわちｓa(q)bと、同じく後で説明する増分符号１１１すなわちｓa(q’)bとが入力される。
【０１１４】
読み出し部１４は、画像１を、幅がwidthで高さがheightの部分画像に分割する機能を有する。分割してできた部分画像の数をＱで表し、各部分画像をベクトルに変換したものをｙq（ｑ＝１，２，…，Ｑ）で表す。ｑは画像１におけるｙqの位置を表す。
【０１１５】
読み出し部１４は、また、低品質画像特徴抽出部３３において低品質画像３０２から特徴を抽出した場合と同じ方法で、ｙqから特徴を抽出する機能を有する。抽出した特徴を特徴量１０３とする。ｙqから抽出された特徴量１０３をｍｑと表す。ｍqは、ｍa’と同じ次元のベクトルである。
【０１１６】
読み出し部１４は、さらに、記憶部１３に記憶しているＡ個の代表低品質特徴量１０１すなわちｍa’（ａ＝１，２，…，Ａ）の中から各ｍq（ｑ＝１，２，…，Ｑ）に類似するものを選択する。選択された代表低品質特徴量をｍ’a(q)で表す。ａ（ｑ）はｑにより決まる値であり、ａ（ｑ）≧１、ａ（ｑ）≦Ａを満たす。Ａ個のｍa’（ａ＝１，２，…，Ａ）からｍqに類似したものを選択するための尺度としては、ｍa’からｍqまでの距離を利用できる。
【０１１７】
読み出し部１４は、選択したｍ’a(q)と組になっている代表高品質特徴量１０４の集合すなわちＨ’a(q)と、それに対応する条件付き信頼度１０９、すなわち、
Ｐ（ｈ’a(q)b｜ｍ’a(q)）（ｂ＝１，２，…，Ｂ（ａ（ｑ）））を記憶部１３から読み出して、これを画像作成部１５へ出力する。
【０１１８】
画像１中のどの位置の部分画像を処理するかについての情報、すなわち、ｑ（ｑ＝１，２，…，Ｑ）は、制御部１７が指示する。
【０１１９】
読み出し部１４は、また、増分符号１１０すなわちｓa(q)bに対応する単独信頼度１０８すなわちＰ（ｓa(q)b）を記憶部１３から読み出し、画像作成部１５に出力する。
【０１２０】
読み出し部１４は、また、増分符号１１０すなわちｓa(q)bと増分符号１１１すなわちｓa(q’)bに対応する隣接信頼度１０７すなわちＰ（ｓa(q)b、ｓa(q’)b）を記憶部１３から読み出し、画像作成部１５に出力する。何を入力されたときに何を出力するかは、制御部１７が指示する。
【０１２１】
画像作成部１５では、隣接信頼度１０７、単独信頼度１０８、条件付き信頼度１０９という３種類の信頼度のうち少なくとも１つと、代表高品質特徴量１０４すなわちＨ’a(q)を用いて画像１の縦方向の解像度をα倍、横方向の解像度をβ倍にした画像２を作成する。画像１中の幅width、高さheightの部分画像と同じ位置の高品質画像の部分画像をつなぎ合わせて画像２を作成する。例えば、図１９の左が画像１であり、右が画像２である場合、画像２中の部分画像１９０２が画像１中の部分画像１９０１すなわちｙqと同じ位置の部分画像である。この例では、width=4、height=4である。
【０１２２】
ｙqと同じ位置の画像２中の部分画像１９０２をｘqで表す。ｑは画像１におけるｙqの位置を表すと当時に、画像２におけるｘqの位置を表す。画像１中のどの位置の部分画像を処理するかについての情報、すなわち、ｑ（ｑ＝１，２，…，Ｑ）は、制御部１７から指示され、それに対応する代表高品質特徴量１０４の集合すなわちＨ’a(q)と条件付き信頼度１０９は、読み出し部１４から出力される。また、隣接信頼度１０７、単独信頼度１０８は、どの部分画像を処理しているかに応じて読み出し部１４を介して記憶部１３から読み出される。これらを利用して、ｘqを作成する。
【０１２３】
まず、３種類の信頼度のうち単独信頼度１０８のみを利用して、ｘqを作成する方法の一例を説明する。まず、集合Ｈ’a(q)のＢ（ａ（ｑ））個の要素ｈ’a(q)b（ｂ＝１，２，…，Ｂ（ａ（ｑ）））それぞれからｘqの候補を作成する。ｈ’a(q)bから作成したｘｑの候補をｘa(q)b（ｂ＝１，２，…，Ｂ（ａ（ｑ）））で表す。ｘa(q)bは、高品質画像特徴抽出部３２における特徴抽出の方法に応じて、次式（２１）により作成できる。
【数２０】
2008234479.tif 000022
【０１２４】
ここではｔ（ｙ）＝０、ｖ（ｙ）＝１であったので、ｘa(q)b＝ｈ’a(q)bにより作成できる。次に、ｘa(q)bの増分符号を上述の方法で計算する。計算した増分符号を増分符号１１０とし、ｓa(q)bと表す。次に、増分符号１１０すなわちｓa(q)bを読み出し部１４に出力し、これに対応する単独信頼度すなわちＰ（ｓa(q)b）を読み出し部１４を介して記憶部１３から読み出す。最後に、Ｐ（ｓa(q)b）が最大のｓa(q)bを計算したｘa(q)bをｘqとして採用する。
【０１２５】
このように、単独信頼度１０８を利用すると、Ｂ（ａ（ｑ））個のｈ’a(q)bの中から、ｘa(q)bを作成したときに幅がwidthで高さがheightである１枚の画像として最も尤もらしくなるものを選択できる。この例では、Ｂ（ａ（ｑ））個のｈ’a(q)bの中から１個を選択するために必要な情報はｈ’a(q)bのみであるため、ｘqを作成する際に選択される１個が辞書を作成する段階で予めわかる。したがって、この場合、Ｂ（ａ（ｑ））個のｈ’a(q)bのうち単純信頼度が最大となる増分符号を有する１つの代表高品質特徴量をｍ’a(q)と組にして辞書に登録すると良い。
【０１２６】
次に、３種類の信頼度のうち条件付き信頼度１０９のみを利用して、ｘqを作成する方法の一例を説明する。まず、Ｂ（ａ（ｑ））個のｈ’a(q)b（ｂ＝１，２，…，Ｂ（ａ（ｑ）））の中から、読み出し部１４から入力された条件付き信頼度Ｐ（ｈ’a(q)b｜ｍ’a(q)）が最大のものを選択する。選択されたものをｈ’a(q)b(q)と表す。ｂ（ｑ）はｑにより決まる値であり、ｂ（ｑ）≧１、ｂ（ｑ）≦Ｂ（ａ（ｑ））を満たす。そして、ｈ’a(q)b(q)からｘｑを作成する。例えば、高品質画像特徴抽出部３２において、ｈ＝ｘとなるように特徴を抽出した場合は、ｘq＝ｈ’a(q)b(q)により作成できる。
【０１２７】
このように、条件付き信頼度１０９を利用すると、Ｂ（ａ（ｑ））個のｈ’a(q)bの中から、ｍ’a(q)に対して最も尤もらしいものを選択できる。この例では、Ｂ（ａ（ｑ））個のｈ’a(q)bの中から１個を選択するために必要な情報はｍ’a(q)とｈ’a(q)bのみであるため、ｘqを作成する際に選択される１個（条件付き信頼度が最大の高品質画像特徴量）が辞書を作成する段階で予めわかる。したがって、この場合、その１個をｍ’a(q)と組にして辞書に登録すると良い。
【０１２８】
次に、３種類の信頼度のうち隣接信頼度１０７のみを利用して、ｘqを作成する方法の一例を説明する。まず、全ての位置ｑに対して読み出した全てのｈ’a(q)bからｘqの候補ｘa(q)bを作成する。次に、ｘa(q)bから増分符号１１０すなわちｓa(q)bを計算する。位置ｑと隣り合う位置をｑ’で表し、画像中で隣り合う位置同士の集合をＤで表す。画像２中の位置ｑ’における増分符号を増分符号１１１とし、ｓa(q’)bで表す。次に、増分符号１１０すなわちｓa(q)bと増分符号１１１すなわちｓa(q’)bを読み出し部１４に送り、それらに対応する隣接信頼度１０７すなわちＰ（ｓa(q)b、ｓa(q’)b）を読み出し部１４を介して記憶部１３から読み出す。画像２中の全て部分画像の隣接関係が最も尤もらしくなるａ（ｑ）は、次式（２２）を最大にするものであるから、最後に、式（２２）を総当りで計算することにより、この式を最大にするａ（ｑ）（すなわち、式（２２）を最大にする、ｘqの候補ｘa(q)b（ｂ＝１，２，…Ｂ（ａ（ｑ））のうちの１つ））を求める。
【数２１】
2008234479.tif 000023
【０１２９】
この計算は総当りであるため、膨大なコストがかかる。したがって、最適解を計算するのは計算コストの面から困難である。そこで、特許文献１でも利用されているマルコフネットワークを構成し、確率値やエネルギー値を伝播させることにより、近似解を計算しても良い。
【０１３０】
３種類の信頼度の任意の２つ、あるいは、全てを利用してｘqを作成することもできる。３種類の信頼度の全てを利用する場合でも、マルコフネットワークを構成し、確率値やエネルギー値を伝播させる方法は有効である。
【０１３１】
図２５は、３種類の信頼度の全てを利用する場合に構成するマルコフネットワークの一例を説明するための図である。図２５中の丸がマルコフネットワークのノードを表す。丸と丸を結ぶ線がマルコフネットワークのエッジを表す。各ノードは上から順に、画像１中の部分画像１９０１すなわちｙq、ｙqの特徴量１０３すなわちｍq、ｍqに類似した代表低品質特徴量１０１すなわちｍ’a(q)、ｍ’a(q)と組みになっている代表高品質特徴量１０４すなわちｈ’a(q)b、ｈ’a(q)b から作成したｘqの候補１９０２すなわちｘa(q)b を表す。見易さのために、図２５では、ノード１９０１、１０３、１０１、１０４のノードが、１９０２の５つのノードのうち中央のものにだけ接続した。実際には、５つのノード１９０２の全てにそれぞれ接続する。また、見易さのために、図２５では、ノード１９０２を５つしか図示していないが、実際にはＱ個配置する。
【０１３２】
隣接信頼度１０７は、ノード１９０２とそれに隣接するノード１９０２とを結ぶエッジに関連する。単独信頼度１０８は、ノード１９０２に関連する。条件付き信頼度１０９は、ノード１０１のノード１９０２を結ぶエッジに関連する。
【０１３３】
ノード１９０１とノード１０３を結ぶエッジに関連した確率値またはエネルギー値としては、「１」を利用する。もちろん、別途学習し、記憶部１３にさらに記憶し、それを読み出し部１４から読み出せるようにしても良い。ノード１０３とノード１０１とを結ぶエッジに関連した確率値またはエネルギー値としては、例えば、ｍqとｍ’a(q) の距離が大きいほど値が小さくなる値を利用する。ノード１０４とノード１９０２とを結ぶエッジに関連した確率値またはエネルギー値としては、「１」を利用する。そして、近似解を計算することにより、各位置ｑにおけるｘqを作成すれば、あとはそれらを繋ぎ合わせることにより画像２を作成できる。部分画像同士に重なりを持たせた場合は、重なり部分として例えば平均値を採用することができる。画像１中で平坦な部分は、計算コストのより小さい方法を利用しても良い。
【０１３４】
（３）効果
以上説明したように、上記実施形態によれば、辞書作成の際には、代表低品質特徴量作成部１１は、類似する複数の低品質部分画像の特徴量を含む第１の集合（Ｍａ）と、低品質化すると該複数の低品質部分画像の特徴量のうちにいずれか１つと類似する複数の高品質部分画像の特徴量を含む第２の集合（Ｈａ）とを生成し、さらに、代表低品質特徴量作成部１１は、第１の集合（Ｍａ）から代表低品質特徴量（ｍa’）を求める。
【０１３５】
代表高品質特徴量作成部１２は、第２の集合（Ｈａ）から複数（Ｂ（ａ）個）の代表高品質特徴量Ｈa’＝｛ｈ’a1， ｈ’a2，…，ｈ’aB(a)｝を求め、記憶部１３に、辞書として、代表低品質特徴量（ｍa’）と上記複数の代表高品質特徴量Ｈa’＝｛ｈ’a1， ｈ’a2，…，ｈ’aB(a)｝とを対応付けて記憶する。
【０１３６】
高品質化処理の際には、読み出し手段１４は、入力された第１の画像（画像１）を複数の部分画像に分割し、記憶部１３から、各部分画像の特徴量に類似する代表低品質特徴量に対応付けて記憶されている複数の代表高品質特徴量を読み出す。
【０１３７】
画像作成部１５は、読み出された複数の代表高品質特徴量を基に、第１の画像よりも高品質の第２の画像（画像２）を生成する。
【０１３８】
このように、上記実施形態によれば、低品質化すると類似する低品質画像（部分画像）になる高品質画像（部分画像）の特徴量の集合Ｈａを求め、該低品質画像の特徴量の集合Ｍａから代表低品質特徴量を選択あるいは作成するため、高品質化の性能をほとんど劣化させることなく、辞書の容量を小さくできる。したがって、画像を高品質化するときの計算コストを削減できる。同じ容量の辞書であれば、従来よりも高品質な画像を得られる辞書を構築できる。
【０１３９】
また、代表低品質特徴量作成部１１は、第１の集合（Ｍａ）の各要素との誤差が最小となる特徴量を該第１の集合の要素から選択することにより、あるいは該第２の集合から計算することにより代表低品質特徴量を求めるので、記憶する低品質特徴量を減らすことにより辞書の容量を減らしても、画像高品質化の性能を劣化させないで済む。
【０１４０】
また、代表高品質特徴量作成部１２は、第２の集合（Ｈａ）の各要素との誤差が最小となる特徴量を該第２の集合の要素から選択することにより、あるいは該第２の集合から計算することにより代表高品質特徴量を求めるので、記憶する高品質特徴量を減らすことにより辞書の容量を減らしても、画像高品質化の性能を劣化させないで済む。また、代表低品質画像１つに対し、低品質化するとその代表低品質画像に類似した低品質画像になる代表高品質画像が組になって辞書に記憶されるため、画像の高品質化の過程を表現した１対１以上対応の辞書を作成できる。これにより、上位Ｋ個を探索する必要がなくなる。
【０１４１】
また、信頼度計算部１６は、各高品質部分画像についてその出現する度合いを示す単独信頼度と、各高品質部分画像について、該高品質部分画像と他の高品質部分画像とが隣接して出現する度合いを示す隣接信頼度と、各代表高品質特徴量について、前記代表低品質特徴量に類似する前記第１の画像の部分画像を高品質化した場合にその特徴量が該代表高品質部分画像に類似する度合いを示す条件付き信頼度とのうちの少なくとも１つの信頼度を計算し、記憶部１３は、信頼度計算部１６で計算された信頼度をさらに記憶し、読み出し部１４は、記憶部１３から信頼度をさらに読み出し、画像生成部１５は、読み出された前記複数の代表高品質特徴量のうち、前記信頼度が最大となる代表高品質特徴量を基に、第２の画像を生成する。代表高品質特徴量の信頼度を計算して辞書に記憶するため、複数の代表高品質特徴量の中から、高品質化の精度の高い第２の画像（画像２）が生成できる。
【０１４２】
さらに、画像生成部１５は、第１の画像の部分画像に対応するノード、代表低品質特徴量のノード、第２の画像の部分画像に対応するノード、及び上記信頼度が関連付けられている（ノード間を結ぶ）エッジを含むマルコフネットワークを基に、第１の画像の各部分画像に対応する第２の画像の部分画像を決定する。マルコフネットワークを構成して信頼度を伝播させることにより第２の画像を作成するため、ありうる可能性を総当りで計算するよりも高速に第２の画像を生成できる。
【０１４３】
（４）変形例
本発明は、上述の実施形態に限定されるものではない。例えば、以下のように変更しても構わない。
【０１４４】
（４−１）低品質の部分画像からその特徴量を計算する手法（関数ｒ）の他の例
低品質の部分画像からその特徴量を計算する手法は、上述のｒ（ｙ）＝ｙ以外の手法をを利用してもよい。ｒを変更した場合、画像１の部分画像すなわちｙqから抽出する特徴も同様に変更し、このｒによりｍq＝ｒ（ｙq）を計算するようにする。
【０１４５】
ここに、低品質の部分画像からその特徴量を計算する手法ｒ（ｙ）の他の例を挙げる。
【０１４６】
（例１）ハイパス
（例２）微分
（例３）増分符号
（例４）平均減算２値化
（例５）平均０分散１正規化
（例１）は、ｙに対応する低品質画像にハイパスフィルタをかけて得られるものをベクトルに変換する関数をrとして採用したものである。ハイパスフィルタとしては、例えば、画像を、面積平均法、バイリニア法、バイキュービック法、キュービックコンボリューション法のいずれかで低解像度化し、それを、最近傍法、バイリニア法、バイキュービック法、キュービックコンボリューション法のいずれかで元の画像と同じ大きさに高解像度化したものを元の画像から減算するものを採用しても良い。
【０１４７】
（例２）は、ｙに対応する低品質画像の各画素における横方向の１次微分値、２次微分値、縦方向の１次微分値、２次微分値を縦に並べたベクトルを出力する関数をrとして採用したものである。
【０１４８】
（例３）は、ｙに対応する低品質画像の増分符号をベクトルに変換したものを出力する関数をrとして採用したものである。
【０１４９】
（例４）は、ｙに対応する低品質画像の各画素の輝度値の平均値に対する大小関係を２値で表現したものをベクトルに変換したものを出力する関数をrとして採用したものである。
【０１５０】
（例５）は、ｙに対応する低品質画像の各画素の輝度値の平均を「０」、分散を「１」に正規化した画像をベクトルに変換したものを出力する関数をrとして採用したものである。
【０１５１】
このような手法を用いることにより、特徴量が特徴空間内で一部分に集中するため、記憶すべき代表低品質特徴量１０１のでデータ量を減らすことができる。したがって、辞書の容量が小さくて済むようになる。
【０１５２】
また、ｒ（ｙ）をｒ（ｙ）＝ｚ（ｙ）／ｖ（ｙ）とした場合のｚ（ｙ）、ｖ（ｙ）を次のような手法を採用することもできる。
【０１５３】
（例６）ｚ（ｙ）をハイパス、ｖ（ｙ）をｚ（ｙ）のノルムとする。
【０１５４】
（例７）ｚ（ｙ）を微分、ｖ（ｙ）をｚ（ｙ）のノルムとする。
【０１５５】
（例８）ｚ（ｙ）を微分、ｖ（ｙ）をｚ（ｙ）の部分ベクトルのノルムとする。
【０１５６】
（例６）は、ｚとして（例１）のrを採用し、ｖとしてｚ（ｙ）のノルムを出力する関数を採用したものである。（例７）は、ｚとして（例２）のrを採用し、ｖとしてｚ（ｙ）のノルムを出力する関数を採用したものである。（例８）は、ｚとして（例２）のrを採用し、ｖとしてｚ（ｙ）の部分ベクトルのノルムを出力する関数を採用したものである。部分ベクトルを作成するために、縦方向と横方向の２次微分値を抽出すると良い。このように、ｚ（ｙ）をｖ（ｙ）で除算すると、特徴量が特徴空間内でさらに狭い一部分に集中するため、記憶すべき代表低品質特徴量１０１の数を減らすことができる。したがって、辞書の容量が小さくて済むようになる。
【０１５７】
ｒ（ｙ）を主成分分析により求めた所定の寄与率の固有空間に射影して次元を圧縮したものを出力する関数をrとしても良い。この場合、固有ベクトルと平均ベクトルをさらに記憶部１３に記憶する必要がある。しかし、それ以上に次元が圧縮されるため、記憶部１３に記憶すべき情報の容量は削減される。
【０１５８】
（４−２）高品質の部分画像からその特徴量を計算する手法（関数ｇ）の他の例
上述の説明では、高品質の部分画像ｘからその特徴量を計算するための関数ｇ（ｘ）は、式（６）において、ｔ（ｙ）＝０、ｖ（ｙ）＝１の場合、すなわち、ｇ（ｘ）＝ｘの場合を示したが、ｇとして、ｇ（ｘ）＝ｘ以外のｇを利用しても構わない。ｇを変更した場合、画像２の部分画像すなわちｘqから抽出する特徴も同様に変更し、そのｇにより、
ｈq＝ｇ（ｘq）を計算する。
【０１５９】
例えば、ｖとして、任意の入力に対して「１」を返す関数を採用し、ｔとして、ｙに対応する低品質画像を、最近傍法、バイリニア法、バイキュービック法、キュービックコンボリューション法のいずれかでｘに対応する高品質画像と同じ大きさに高解像度化したものをベクトルに変換する関数を採用すると良い。この場合、ｇ（ｘ）＝ｘ−ｔ（ｙ）を満たす。
【０１６０】
読み出し部１４は、記憶部１３から読み出したｈ’a(q)bから、画像２の部分画像の候補ｘa(q)bは、次式（２３）に示すように計算できる。
【０１６１】
ｘa(q)b＝ｔ（ｙq）＋ｈ’a(q)b                          （２３）
ある行列Ａにより、ｙ＝Ａｘとかける場合でれば、ｙ（ｙ）＝１、ｔ（ｙ）＝Ａ+ｙを満たすｖとｔを採用しても良い。ここで、Ａ+はMoore-Penroseの一般逆である。
【０１６２】
次式（２４）から高品質画像の候補が作成されることを思い出せば、ｖ（ｙ）が高品質画像の高周波成分の大きさを制御していることがわかる。
【０１６３】
ｘa(q)b＝ｔ（ｙq）＋ｖ（ｙq）ｈ’a(q)b                        （２４）
したがって、ｖとして、ｙに対応する低品質画像から高周波成分の大きさを適切な大きさにする関数を利用すると良い。例えば、ｙに対応する低品質画像ハイパスフィルタをかけて得られたものをベクトルに変換したもののノルムを出力する関数をｖとして採用しても良い。あるいは、ｙに対応する低品質画像の各画素における横方向の２次微分値、縦方向の２次微分値を並べたベクトルのノルムを出力する関数をｖとして採用しても良い。ｔとしては、上述のいずれかを採用すれば良い。
【０１６４】
この変更により、特徴量が特徴空間内の一部分に集中するため、記憶すべき代表高品質特徴量１０２のデータ量が減り、辞書の容量が小さくて済むようになる。
【０１６５】
上記いずれかの方法で得られるベクトルを主成分分析により求めた所定の寄与率の固有空間に射影して次元を圧縮したものを出力する関数をｇとしても良い。主成分分析は、Ｈａごとに行っても良いし、Ｈに対して行っても良い。固有空間に射影したベクトルとして記憶する場合は、固有ベクトルと平均ベクトルをさらに記憶部１３に記憶する必要がある。固有空間から元の空間に逆に射影してから記憶する場合は、固有ベクトルと平均ベクトルを記憶する必要はない。主成分分析により、ノイズが抑制され、画像２にノイズが発生しにくくなる場合がある。
【０１６６】
（４−３）Ｍのクラスタリング方法の他の例
低品質画像ｙの特徴量の集合Ｍのクラスタリング方法の他の例について説明する。
【０１６７】
Ｍのｎ個の要素をそれぞれｍn（ｎ＝１，２，…，Ｎ）で表す。まず、Ｍのｎ個の要素間、すなわち、ｍn’（ｎ’＝１，２，…，Ｎ）のｍn（ｎ＝１，２，…，Ｎ）に対する誤差ｗn’nを計算し、図２７に示すような表を作成する。
【０１６８】
ここで、誤差の尺度として距離を利用する場合は、次式（２５）から誤差ｗn’nを計算する。
【数２２】
2008234479.tif 000024
【０１６９】
誤差の尺度として距離の２乗を利用する場合は、次式（２６）から誤差ｗn’nを計算する。
【数２３】
2008234479.tif 000025
【０１７０】
要素の数がＡである集合｛１，２，…，Ｎ（ａ）｝の部分集合はNＣA通りである。これらNＣA通りの部分集合のそれぞれをＦn’’’（ｎ’’’＝１，２，…，NＣA）で表し、Ｆ（ａ）を次式（２７）に示すように定義する。
【数２４】
2008234479.tif 000026
【０１７１】
Ｆ（ａ）はａにより変わる集合である。Ｆ（ａ）の要素の中から、そのＦ（ａ）の要素である部分集合の要素のいずれか１つを選択すれば誤差の総和が最小になるものを求める。求めたＦ（ａ）の要素である部分集合をＦ’（ａ）で表す。Ｆ’（ａ）は次式（２８）から求められる。
【数２５】
2008234479.tif 000027
【０１７２】
Ｆ’（ａ）はａにより変わる部分集合である。｛ｍn’｜ｎ’∈Ｆ’（ａ）｝がＡ個の代表低品質特徴量１０１となる。｛ｍa’｜ａ∈｛１，２，…，Ａ｝｝＝｛ｍn’｜ｎ’∈Ｆ’（ａ）｝である。Ｍａは、Ｍの要素を、Ａ個のｍa’のうちのどれに距離が近いかで分類することにより求められる。
【０１７３】
あるいは、Ｍの要素を、Ａ個のｍa’のうちどれに距離が近いかで分類することによりさらに分類することでＭａを更新し、Ｍａのセントロイドによりｍa’を更新するということを収束するまで繰り返すことによりｍa’とＭａを計算しても良い。セントロイドとしては例えば平均を利用すると良い。収束の判定としては、ｍa’の更新による変化量が予め定めた変化量以下になるかどうか、繰り返し回数が予め定めた閾値以下であるかどうか、Ｍａの各要素に対するｍaの誤差の総和の減少量が閾値以下であるかなどにより判定すると良い。
【０１７４】
（４−４）高品質画像の部分集合Ｈａから、代表高品質特徴量を求める手法
図２０や図２１に示した方法によりｈ’ab（ｂ＝１，２，…，Ｂ（ａ））を求める代わりに、以下の方法により求めても良い。
【０１７５】
例えば、図２０に示した方法により求めると、N(a)ＣB(a)通りの部分集合Ｄn’’（ｎ’’＝１，２，…，N(a)ＣB(a)）に対して計算しなければならないため、計算量が膨大である。そこで、図２２に示すような方法に変更すると良い。
【０１７６】
図２２のステップＳ２２１では、例えば非特許文献１記載のクラスタリング手法を利用して、高品質画像の特徴量の集合１００（Ｈａ（ａ＝１，２，…、Ａ））のそれぞれから、距離が近い要素同士をまとめた部分集合３００を作成する。
【０１７７】
図１６は、部分集合３００を説明するためのものである。図１６中の集合Ｈａ（ａ＝１，２，３）内の楕円が部分集合３００を表す。図１６の例では、３つの集合Ｈａから、合計７つの部分集合３００が作成されている。そして、各部分集合３００においてセントロイドを計算し、それらを代表高品質特徴量１０２として採用する。セントロイドとしては、平均を利用すると良い。この変更により、計算量を削減できる。
【０１７８】
あるいは、図２３に示すような方法でもよい。図２３では、各Ｈａに対し、複数（Ｂ（ａ）個）の代表高品質特徴量ｈ’abをランダムに選択あるいは決定する（ステップＳ２３１）。そして、Ｈａ内の要素について、これらＢ（ａ）個の代表高品質特徴量のうちのどれに距離が最も近いかによりＢ（ａ）個の部分集合Ｈab（ｂ＝１，２，…、Ｂ（ａ））に分類する（ステップＳ２３２）。そして、各部分集合Ｈabにおいてセントロイドを計算し、その値で、上記代表高品質特徴量ｈ’abを更新する（ステップＳ２３３）。セントロイドとしては、平均を利用すると良い。上記ステップＳ２３２〜ステップＳ２３３の処理を代表高品質特徴量が収束するまで繰り返す（ステップＳ２３４）。
【０１７９】
あるいは図２４に示す方法でもよい。図２４のステップＳ２４１では、図２２のステップＳ２２１と同様にして、高品質画像の特徴量の集合１００（Ｈａ（ａ＝１，２，…、Ａ））のそれぞれから、距離が近い要素同士をまとめたＢ（ａ）個の部分集合３００を作成し、各部分集合３００においてセントロイドｈ’abを計算し、それらを各部分集合の代表高品質特徴量とする。
【０１８０】
次に、ステップＳ２４２では、Ｈａ内の要素について、これらＢ（ａ）個の代表高品質特徴量のうちのどれに距離が最も近いかによりＢ（ａ）個の部分集合Ｈab（ｂ＝１，２，…、Ｂ（ａ））に分類する。そして、各部分集合Ｈabにおいてセントロイドを計算し、その値で、上記代表高品質特徴量ｈ’abを更新する（ステップＳ２４３）。セントロイドとしては、平均を利用すると良い。上記ステップＳ２４２〜ステップＳ２４３の処理を代表高品質特徴量が収束するまで繰り返す（ステップＳ２４４）。
【０１８１】
図２２〜図２４のいずれかの方法を用いれば、高品質画像の部分集合Ｈａから、代表高品質特徴量を求めるための計算量を削減できる。
【０１８２】
（４−５）画像の高階調化
本発明により、輝度階調が低い画像を高い画像に変換することもできる。上述の説明における高品質画像（高解像度画像）を高階調画像に、低品質画像（低解像度画像）を低階調画像に、低品質化（低解像度化）を低階調化に、高品質化（高解像度化）を高階調化に読み替えれば良い。この場合、低品質化部３５での動作を変更する必要がある。画像１をγ倍に高階調化したい場合の低品質化部３５では、高品質画像１０６の階調を1／γ倍に低階調化し、低品質画像３０５として部分画像抽出部３６に送れば良い。
【０１８３】
（４−６）画像の鮮鋭化に
本発明により、ぼけた画像を鮮鋭な画像に変換することもできる。上述の説明における高品質画像（解像度画像）をぼけた画像に、低品質画像（低解像度画像）を鮮鋭な画像に、低品質化（低解像度化）をぼかしに、高品質化（高解像度化）を鮮鋭化に読み替えれば良い。この場合、低品質化部３５での動作を変更する必要がある。低品質化部３５では、高品質画像１０６をぼかすことにより低品質画像３０５を作成し、部分画像抽出部３６に送れば良い。ぼかすためには、ガウシアンフィルタを利用できる。
【０１８４】
（４−７）ノイズ除去
本発明により、ノイズの多い画像を少ない画像に変換することもできる。上述の説明における高品質画像（高解像度画像）をノイズの少ない画像に、低品質画像（低解像度画像）をノイズの多い画像に、低品質化（低解像度化）をノイズ付加に、高品質化（高解像度化）をノイズ除去に読み替えれば良い。この場合、低品質化部３５での動作を変更する必要がある。低品質化部３５では、高品質画像１０６にノイズを付加することにより低品質画像３０５を作成し、部分画像抽出部３６に送れば良い。付加するノイズは、除去したいノイズに応じて決定する。例えば、白色ノイズを除去したければ、白色ノイズを付加すれば良い。
【０１８５】
（４−８）符号化歪み除去
本発明により、符号化歪みのある画像を符号化歪みの除去された画像に変換することもできる。上述の説明における高品質画像（高解像度画像）を符号化歪みのある画像に、低品質画像（低解像度画像）を符号化歪みの除去された画像に、低解像度化（低解像度化）を符号化して復号化に、高解像度化（高解像度化）を符号化歪み除去に読み替えれば良い。この場合、低品質化部３５での動作を変更する必要がある。低品質化部３５では、高品質画像１０６を符号化して、それを復号化することにより低品質画像３０５を作成し、部分画像抽出部３６に送れば良い。
【０１８６】
本発明の実施の形態に記載した本発明の手法（画像高品質化装置１０の各構成部の処理動作）は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。
【０１８７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１８８】
また、本発明は、パソコン、デジタルカメラ、ビデオカメラ、携帯電話、携帯情報端末、プリンタなどの画像を記録したり、表示したり、印刷したりする機能を有する電子機器に、画像を高品質化する機能を持たせるために利用できる。
【図面の簡単な説明】
【０１８９】
【図１】本発明の実施形態に係る画像高品質化装置の構成例を示すブロック図。
【図２】（ａ）図は、画像高品質化装置の辞書作成処理動作を説明するためのフローチャート、（ｂ）図は、高品質化処理動作を説明するためのフローチャート。
【図３】代表低品質特徴量作成部の構成例を表すブロック図。
【図４】従来の辞書データの構成例を示す図。
【図５】記憶部に記憶される辞書データの構成例を示す図。
【図６】信頼度計算部の構成例を示すブロック図。
【図７】隣接信頼度の計算方法を説明するための図。
【図８】２つの高品質画像の連結画像の接続部分を説明するための図。
【図９】高品質画像３０１の一例を示す図。
【図１０】低品質画像３０２の一例を示す図。
【図１１】低品質画像特徴量の集合Ｍを模式的に示した図。
【図１２】低品質画像特徴量の集合Ｍと、その部分集合Ｍａ（ａ＝１，２，３）を模式的に示した図。
【図１３】低品質画像特徴量の集合Ｍ、その部分集合Ｍａ（ａ＝１，２，３）、及び各部分集合から求めた代表低品質特徴量を模式的に示した図。
【図１４】高品質画像特徴量の集合Ｈを模式的に示した図。
【図１５】高品質画像特徴量の集合Ｈから求めた、部分集合Ｍａ（ａ＝１，２，３）に対応するＨａ（ａ＝１、２、３）を模式的に示した図。
【図１６】高品質画像の部分集合Ｈａから、代表高品質特徴量を求める方法を説明するための図。
【図１７】右方向に隣接する画素に対する増分符号を説明するための図。
【図１８】下方向に隣接する画素に対する増分符号を説明するための図。
【図１９】画像１の部分画像と、対応する画像２の部分画像とを説明するための図。
【図２０】高品質画像の部分集合Ｈａから、代表高品質特徴量を求める方法を説明するためのフローチャート。
【図２１】高品質画像の部分集合Ｈａから、代表高品質特徴量を求める他の方法を説明するためのフローチャート。
【図２２】高品質画像の部分集合Ｈａから、代表高品質特徴量を求める他の方法を説明するためのフローチャート。
【図２３】高品質画像の部分集合Ｈａから、代表高品質特徴量を求める他の方法を説明するためのフローチャート。
【図２４】高品質画像の部分集合Ｈａから、代表高品質特徴量を求める他の方法を説明するためのフローチャート。
【図２５】３種類の信頼度の全てを利用する場合に構成するマルコフネットワークの一例を説明するための図。
【図２６】図２０の高品質画像の部分集合Ｈａから代表高品質特徴量を求める方法を説明するための図。
【図２７】集合Ｍをクラスタリングする方法を説明するための図。
【符号の説明】
【０１９０】
１０…画像高品質化装置
１１…代表低品質特徴量作成部
１２…代表高品質特徴量作成部
１３…記憶部
１４…読み出し部
１５…画像作成部
１６…信頼度計算部
１７…制御部
【図１】
2008234479.tif 000028
【図２】
2008234479.tif 000029
【図３】
2008234479.tif 000030
【図４】
2008234479.tif 000031
【図５】
2008234479.tif 000032
【図６】
2008234479.tif 000033
【図７】
2008234479.tif 000034
【図８】
2008234479.tif 000035
【図９】
2008234479.tif 000036
【図１０】
2008234479.tif 000037
【図１１】
2008234479.tif 000038
【図１２】
2008234479.tif 000039
【図１３】
2008234479.tif 000040
【図１４】
2008234479.tif 000041
【図１５】
2008234479.tif 000042
【図１６】
2008234479.tif 000043
【図１７】
2008234479.tif 000044
【図１８】
2008234479.tif 000045
【図１９】
2008234479.tif 000046
【図２０】
2008234479.tif 000047
【図２１】
2008234479.tif 000048
【図２２】
2008234479.tif 000049
【図２３】
2008234479.tif 000050
【図２４】
2008234479.tif 000051
【図２５】
2008234479.tif 000052
【図２６】
2008234479.tif 000053
【図２７】
2008234479.tif 000054