(57)【特許請求の範囲】
【請求項１】
縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化方法であって、
ある内挿法または超解像の方法により前記低解像度画像を、前記第２サイズに高解像度化した高解像度画像を入力し、
前記第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出し、
前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記高解像度画像または前記第１画像での該第１位置に対応する第２位置とを算出し、
前記低解像度画像に含まれる前記第１位置に位置する第１ブロックと、前記高解像度画像に含まれる前記第２位置に位置する第２ブロックを設定し、
前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックになる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルが表す第３ブロックを、前記第１ブロックの高解像度化ブロックに設定し、
前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成することを特徴とする画像高解像度化方法。
【請求項２】
縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化方法であって、
前記第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出し、
前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記第１画像での該第１位置に対応する第２位置とを算出し、
前記低解像度画像に含まれる前記第１位置に位置する第１ブロックを設定し、
前記第１ブロックから、ある内挿法により前記第２ブロックサイズの第２ブロックを作成するための第１係数を、前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出し、
前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックの一部になる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルを計算するための第２係数を、前記第１係数と前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出し、
前記第１ブロックと前記第２係数とから、前記第２位置が示す位置に対応する前記第２ベクトルを算出し、該第２ベクトルが示す第３ブロックを前記第１ブロックの一部の高解像度化ブロックに設定し、
前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成することを特徴とする画像高解像度化方法。
【請求項３】
前記第１ブロックサイズと前記第２ブロックサイズとを、前記低解像度画像から前記第１画像への高解像度化率から算出することを特徴とする請求項１または請求項２に記載の画像高解像度化方法。
【請求項４】
前記低解像度画像を強調することをさらに具備することを特徴とする請求項１から請求項３のいずれか１項に記載の画像高解像度化方法。
【請求項５】
前記高解像度化ブロックを、前記第３ブロックにより設定する代わりに、前記第１ベクトルで示される点と前記第２ベクトルで示される点とを通る直線上の点に対応するベクトルが示す第４ブロックにより設定することを特徴とする請求項１から請求項４のいずれか１項に記載の画像高解像度化方法。
【請求項６】
前記第３ブロックによる複数の高解像度化ブロックまたは前記第４ブロックによる複数の高解像度化ブロックは、それぞれ、ブロック同士が重なり合った場合には、重なり部分の画素値は、重なったブロックの間での画素値の平均値とすることを特徴とする請求項５に記載の画像高解像度化方法。
【請求項７】
縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力する第１入力手段を有し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化装置であって、
ある内挿法または超解像の方法により前記低解像度画像を、前記第２サイズに高解像度化した高解像度画像を入力する第２入力手段と、
前記低解像度画像の第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出する第１算出手段と、
前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記高解像度画像または前記第１画像での該第１位置に対応する第２位置とを算出する第２算出手段と、
前記低解像度画像に含まれる前記第１位置に位置する第１ブロックと、前記高解像度画像に含まれる前記第２位置に位置する第２ブロックを設定する第１設定手段と、
前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックになる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルが表す第３ブロックを、前記第１ブロックの高解像度化ブロックに設定する第２設定手段と、
前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成する第３算出手段と、を具備することを特徴とする画像高解像度化装置。
【請求項８】
縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力する入力手段を有し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化装置であって、
前記第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出する第１算出手段と、
前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記第１画像での該第１位置に対応する第２位置とを算出する第２算出手段と、
前記低解像度画像に含まれる前記第１位置に位置する第１ブロックを設定する第１設定手段と、
前記第１ブロックから、ある内挿法により前記第２ブロックサイズの第２ブロックを作成するための第１係数を、前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出する第３算出手段と、
前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックの一部になる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルを計算するための第２係数を、前記第１係数と前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出する第４算出手段と、
前記第１ブロックと前記第２係数とから、前記第２位置が示す位置に対応する前記第２ベクトルを算出し、該第２ベクトルが示す第３ブロックを前記第１ブロックの一部の高解像度化ブロックに設定する第２設定手段と、
前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成する第前記第１ブロックの高解像度化ブロックに設定５算出手段と、を具備することを特徴とする画像高解像度化装置。
【請求項９】
前記第１算出手段は、前記第１ブロックサイズと前記第２ブロックサイズとを、前記低解像度画像から前記第１画像への高解像度化率から算出することを特徴とする請求項７または請求項８に記載の画像高解像度化装置。
【請求項１０】
前記低解像度画像を強調する強調手段をさらに具備することを特徴とする請求項７から請求項９のいずれか１項に記載の画像高解像度化装置。
【請求項１１】
前記第１ベクトルで示される点と前記第２ベクトルで示される点とを通る直線上の点に対応するベクトルが示す第４ブロックを、前記第１ブロックまたはその一部の前記高解像度化ブロックに設定する第３設定手段を、前記第２設定手段の代わりに有することを特徴とする請求項７から請求項１０のいずれか１項に記載の画像高解像度化装置。
【請求項１２】
前記第３ブロックによる複数の高解像度化ブロックまたは前記第４ブロックによる複数の高解像度化ブロックは、それぞれ、ブロック同士が重なり合った場合には、重なり部分の画素値は、重なったブロックの間での画素値の平均値とすることを特徴とする請求項１１に記載の画像高解像度化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された画像データやテレビが受信した画像データをより高い解像度の画像データに変換する画像高解像度化方法および装置に関する。
【背景技術】
【０００２】
近年、画素数が多いテレビやディスプレイなどの表示装置が普及してきている。表示装置の画素数が多ければ、画像の細かい部分まで表示できる。すなわち、高解像度な画像を表示できる。
【０００３】
画素数を増やす高解像度化のためには、内挿法がよく利用される。内挿法は、高速に処理できる一方で、必ずしも鮮鋭な画像を得られない。内挿法よりも鮮鋭な画像が得るために、再構成制約と呼ばれる制約を満足する高解像度化画像を作成する方法がある（例えば、非特許文献１参照）。
【非特許文献１】A. Tanaka, H. Imai, and M. Miyakoshi, “Digital Image Enlargement Based on Kernel Component Estimation,” International Journal of Computing Anticipatory Systems, vol. 15, pp. 97-108, 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の方法の再構成制約を満足する高解像度化画像を作成する方法は、計算コストが高いという問題がある。計算コストが高い場合、例えば、動画を表示装置に表示するために高解像度化が必要な場面において、高解像度化の処理速度が動画の再生速度よりも遅くなり、コマ落ちという問題が発生する。
【０００５】
この発明は、上述した事情を考慮してなされたものであり、従来よりも計算コストが低い画像高解像度化装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明の画像高解像度化装置は、縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力する第１入力手段を有し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化装置であって、ある内挿法または超解像の方法により前記低解像度画像を、前記第２サイズに高解像度化した高解像度画像を入力する第２入力手段と、前記低解像度画像の第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出する第１算出手段と、前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記高解像度画像または前記第１画像での該第１位置に対応する第２位置とを算出する第２算出手段と、前記低解像度画像に含まれる前記第１位置に位置する第１ブロックと、前記高解像度画像に含まれる前記第２位置に位置する第２ブロックを設定する第１設定手段と、前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックになる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルが表す第３ブロックを、前記第１ブロックの高解像度化ブロックに設定する第２設定手段と、前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成する第３算出手段と、を具備することを特徴とする。
【０００７】
また、本発明の画像高解像度化装置は、縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力する入力手段を有し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化装置であって、前記第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出する第１算出手段と、前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記第１画像での該第１位置に対応する第２位置とを算出する第２算出手段と、前記低解像度画像に含まれる前記第１位置に位置する第１ブロックを設定する第１設定手段と、前記第１ブロックから、ある内挿法により前記第２ブロックサイズの第２ブロックを作成するための第１係数を、前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出する第３算出手段と、前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックの一部になる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルを計算するための第２係数を、前記第１係数と前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出する第４算出手段と、前記第１ブロックと前記第２係数とから、前記第２位置が示す位置に対応する前記第２ベクトルを算出し、該第２ベクトルが示す第３ブロックを前記第１ブロックの一部の高解像度化ブロックに設定する第２設定手段と、前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成する第前記第１ブロックの高解像度化ブロックに設定５算出手段と、を具備することを特徴とする。
【発明の効果】
【０００８】
本発明の画像高解像度化装置および方法によれば、従来よりも計算コストを低くすることができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しながら本発明の実施形態に係る画像高解像度化方法および装置について詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。また、実施形態は、後述の実施形態で限定されるものではなく、変更しても構わない。例えば、後述の変形例により変更したり、それら変形例を組み合わせることにより変更したりしても構わない。  
最初に簡単に用語について説明する。  
デジタル画像は、各位置に色や輝度の情報を持った値からなる。この値を持つ単位を画素と呼び、その値を画素値と呼ぶ。以下では、説明を簡単にするため、画素値として輝度を表す値のみを持つ場合を説明する。この場合、１画素あたりに画素値が１つである。色の情報を持った値を画素値として持たせる場合としては、例えば、赤と緑と青に関する色の情報を３次元の空間で表現したＲＧＢ色空間での値を画素値として持たせると良い。この場合、１画素あたりに赤と緑と青に関する３つの値が画素値になる。
【００１０】
デジタル画像を高解像度化するためには、画素数を増やす必要がある。画素数を増やすことを画像の高解像度化という場合がある。また、画像の拡大と高解像度化を同じ意味で利用したり、画像の縮小と低解像度化を同じ意味で利用したりする場合がある。以降の説明において、低解像度画像と高解像度画像を区別して図示するために、低解像度画像を小さな画面で、高解像度画像を大きな画面で表現する場合がある。
【００１１】
画像中の矩形の部分画像は、ブロックと呼ばれる。以下では、ブロックの画素の値を並べたベクトルにより、ブロックを表現する。説明の簡略化のために、そのブロックとベクトルを区別せず、ベクトルをブロックと呼んだり、ブロックをベクトルと呼んだりする場合がある。
【００１２】
（第１の実施形態）  
本実施形態の画像高解像度化装置について図１を参照して説明する。  
本実施形態の画像高解像度化装置１００は、低解像度画像入力部１０１、高解像度画像入力部１０２、設定部１０３、初期化部１０４、および、作成部１０５を含む。画像高解像度化装置１００は、枚数データ１５６、サイズデータ１６０、低解像度画像１５１、および、高解像度画像１５２から、高解像度化画像１５３を作成し、出力する。以降、高解像度化したい低解像度な画像（静止画や動画）の横方向の画素の数（幅）をｗｌ、縦方向の画素の数（高さ）をｈｌで表し、それを高解像度化した画像の幅をｗｈ、高さをｈｈで表す。
【００１３】
低解像度画像入力部１０１は、高解像度化したい低解像度な画像（動画や静止画）のうちのｎ枚目（ｎ＝１，２，．．．，Ｎ）を、低解像度画像１５１として入力する。低解像度画像１５１は、各画素の画素値を表すデータである。高解像度化したい低解像度な画像が、例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、低解像度画像入力部１０１はそれを復号するためのコーデックを備えている。低解像度画像入力部１０１は、設定部１０３が設定したブロックデータ１５８を取得し、低解像度画像１５１から、ブロックデータ１５８が表す低解像度ブロック１５５を抽出し、低解像度ブロック１５５を作成部１０５へ渡す。ブロックデータ１５８は、低解像度画像１５１中の幅がｃｌ、高さがｒｌの低解像度ブロック１５５の位置を表すデータである。この位置は、例えば、ブロックの左上の座標である。ブロックデータ１５８は、位置をずらしながら設定部１０３に指定される。具体的には、横方向にはｃｌ、縦方向にはｒｌずつ位置がずらされる。これにより、低解像度画像１５１中の低解像度ブロック１５５を順に処理する。
【００１４】
高解像度画像入力部１０２は、低解像度画像１５１が高解像度化された高解像度画像１５２を入力する。高解像度画像１５２は、画像高解像度化装置１００が作成して出力する高解像度化画像１５３と同じサイズの画像の各画素の画素値を表すデータであり、ｎ枚目の低解像度画像１５１が高解像度化されたものが入力される。その高解像度化の方法は、既存の内挿法で作成でき、例えば、バイリニア法、３次畳み込み法、バイキュービック法、キュービックスプライン法などが高速に処理できるため良いが、再構成型超解像、事例学習型超解像の方法を利用しても良い。高解像度画像１５２が、例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、高解像度画像入力部１０２はそれを復号するためのコーデックを備えている。高解像度画像入力部１０２は、設定部１０３が設定したブロックデータ１５９を取得し、高解像度画像１５２から、ブロックデータ１５９が表す高解像度ブロック１５７を抽出し、高解像度ブロック１５７を作成部１０５へ渡す。ブロックデータ１５９は、高解像度画像１５２中の幅がｃｈ、高さがｒｈの高解像度ブロック１５７の位置を表すデータである。この位置は、例えば、ブロックの左上の座標である。ブロックデータ１５９は、ブロックデータ１５８と対応した位置で指定される。具体的には、横方向にはｃｈ、縦方向にはｒｈずつ位置がずらされる。
【００１５】
初期化部１０４は、サイズデータ１６０を取得し、ブロックサイズデータ１５４、作成データ１６２を出力する。サイズデータ１６０は、低解像度画像１５１のサイズ（横方向の画素の数と縦方向の画素の数）、作成する高解像度化画像１５３のサイズを表すデータである。高解像度化したい低解像度な画像（動画や静止画）が、例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、サイズデータ１６０は、ヘッダーの一部である。ブロックサイズデータ１５４は、入力されたサイズデータ１６０（ｗｌ、ｈｌ、ｗｈ、ｈｈ）から算出される。ブロックサイズデータ１５４は、高解像度化のための処理単位である低解像度画像１５１におけるブロックのサイズ（幅ｃｌと高さｒｌ）と、高解像度画像１５２や高解像度化画像１５３におけるブロックのサイズ（幅ｃｈと高さｒｈ）を表すデータである。ブロックサイズデータ１５４（ｃｌ、ｒｌ、ｃｈ、ｒｈ）の算出方法については、後に（１−１）で説明する。作成データ１６２は、作成部１０５で必要となるデータであり、ブロックサイズデータ１５４（ｃｌ、ｒｌ、ｃｈ、ｒｈ）から算出される。作成データ１６２の詳細とその算出方法については、後に（１−２）で説明する。
【００１６】
設定部１０３は、枚数データ１５６、サイズデータ１６０、初期化部１０４が算出したブロックサイズデータ１５４を取得する。枚数データ１５６は、高解像度化したい低解像度画像の枚数Ｎを表すデータである。高解像度化したい低解像度な画像が動画であり、その動画が例えばｍｐｅｇ２形式などで符号化されたものであれば、枚数データ１５６は、ヘッダーの一部である。設定部１０３は、これらのデータを取得して、ブロックデータ１５８、ブロックデータ１５９、ブロックデータ１６１を算出する。ブロックデータ１６１は、高解像度化画像１５３中の幅がｃｈ、高さがｒｈの高解像度化ブロックの位置を表すデータである。ブロックデータ１６１は、ブロックデータ１５８と対応した位置で指定される。具体的には、横方向にはｃｈ、縦方向にはｒｈずつ位置がずらされる。ブロックデータ１５８、１５９、１６１を互いに対応付けることにより、画像全体で処理するのではなく、画像のブロックごとに処理することができる。また、設定部１０３は、高解像度化画像１５３中の全ての高解像度化ブロックが処理されたかどうかを判定する。さらに、設定部１０３は、高解像度化したい低解像度な画像（動画や静止画）のうちの全て（Ｎ枚；Ｎフレーム）が処理されたかどうかを、枚数データ１５６から判定する。
【００１７】
作成部１０５は、低解像度ブロック１５５、高解像度ブロック１５７、作成データ１６２、および、ブロックデータ１６１から、ブロックデータ１６１が表す高解像度化画像１５３中の高解像度化ブロックを作成する。高解像度化ブロックを作成する手法については後に（１−３）で説明する。作成部１０５は、高解像度化画像１５３中の全ての高解像度化ブロックを作成し、高解像度化画像１５３を作成する。
【００１８】
次に、図１の画像高解像度化装置１００の動作の一例について図２を参照して説明する。  
（ステップＳ２０１）まず、枚数データ１５６が設定部１０３に入力され、サイズデータ１６０が初期化部１０４と設定部１０３に入力される。次に、ブロックサイズデータ１５４が初期化部１０４により算出され、設定部１０３に送られる。最後に、作成データ１６２が初期化部１０４により算出され、作成部１０５に送られる。  
（ステップＳ２０２）低解像度画像入力部１０１に、高解像度化したい低解像度な画像（動画や静止画）のうちのｎ枚目が、低解像度画像１５１として入力される。  
（ステップＳ２０３）高解像度画像入力部１０２に、低解像度画像１５１が高解像度化された高解像度画像１５２が入力される。
【００１９】
（ステップＳ２０４）まず、ブロックデータ１５８が設定部１０３により低解像度画像入力部１０１に送られ、ブロックデータ１５９が設定部１０３により高解像度画像入力部１０２に送られ、ブロックデータ１６１が設定部１０３により作成部１０５に送られる。そして、ブロックデータ１５８が表す低解像度画像１５１中の低解像度ブロック１５５が低解像度画像入力部１０１により作成部１０５に送られ、ブロックデータ１５９が表す高解像度画像１５２中の高解像度ブロック１５７が高解像度画像入力部１０２により作成部１０５に送られる。ブロックデータ１５８は、Ｓ２０４が繰り返して処理される際に、位置をずらしながら指定される。ブロックデータ１５８、１５９、１６１を互いに対応付けることにより、画像全体で処理するのではなく、画像のブロックごとに処理する。
【００２０】
（ステップＳ２０５）ブロックデータ１６１が表す高解像度化画像１５３中の高解像度化ブロックが、低解像度ブロック１５５、高解像度ブロック１５７、および、作成データ１６２から、作成部１０５により作成される。
【００２１】
（ステップＳ２０６）高解像度化画像１５３中の全ての高解像度化ブロックが処理されたかどうかが設定部１０３により判定される。全てのブロックが処理された場合はＳ２０７に進み、処理されていない場合はＳ２０４に戻る。設定部１０３により制御されるブロックデータ１５８、１５９、１６１が変化しながら、Ｓ２０５が繰り返される。その繰り返しにより、作成部１０５において、高解像度化画像１５３中の全ての高解像度化ブロックが作成され、高解像度化画像１５３が作成され、出力される。なお、端のブロックは、注目が集まりにくく、重要でない場合が多いため、より計算コストの少ない方法で作成しても良い。
【００２２】
（ステップＳ２０７）高解像度化したい低解像度な画像（動画や静止画）のうちの全て（Ｎ枚）が処理されたかどうかが設定部１０３により、枚数データ１５６から判定される。全ての枚数（フレーム数）が処理された場合は終了し、処理されていない場合はＳ２０２に戻る。
【００２３】
（１−１）ブロックサイズデータ１５４（ｃｌ、ｒｌ、ｃｈ、ｒｈ）の算出方法：初期化部１０４  
低解像度ブロックの高さｒｌと高解像度ブロックの高さｒｈは、縦方向の高解像度化率から計算する。縦方向の高解像度化率はｈｈ／ｈｌである。この分数を約分することにより、既約分数にする。この既約分数の分母を低解像度ブロックの高さｒｌとし、分子を高解像度ブロックの高さｒｈとする。既約分数に約分するためには、例えば、ユークリッドの互除法により、ｈｈとｈｌの最大公約数を求め、その最大公約数でｈｈ／ｈｌの分子と分母をそれぞれ除算すれば良い。低解像度ブロックの幅ｃｌと高解像度ブロックの幅ｃｈは、横方向の高解像度化率から計算する。横方向の高解像度化率はｗｈ／ｗｌである。この分数を約分することにより、既約分数にする。この既約分数の分母を低解像度ブロックの幅ｃｌとし、分子を高解像度ブロックの幅ｃｈとする。既約分数に約分するためには、例えば、ユークリッドの互除法により、ｗｈとｗｌの最大公約数を求め、その最大公約数でｗｈ／ｗｌの分子と分母をそれぞれ除算すれば良い。
【００２４】
（１−２）作成データ１６２の算出方法：初期化部１０４  
高解像度画像Ｘ中の高解像度ブロックｘが低解像度画像Ｙ中の低解像度ブロックｙに低解像度化する過程を、低解像度化行列Ｗを用いて次式で表す。  
ｙ＝Ｗｘ   
ここで、ｘは高解像度ブロックの各画素の画素値を並べたｃｈｒｈ次元の縦ベクトルであり、ｙは低解像度画像の各画素の画素値を並べたｃｌｒｌ次元の縦ベクトルであり、Ｗはｃｌｒｌ行ｃｈｒｈ列の行列である。Ｗは、例えば、対応する画素の面積比により決定される面積平均を表す行列と等しい。４×４の高解像度ブロックが１×１の低解像度ブロックに低解像度化する図３の例（ｃｌ＝１、ｒｌ＝１、ｃｈ＝４、ｒｈ＝４）では、面積平均を表す行列は１行１６列の行列であり、この行列の要素は全て１／１６である。面積平均を表す行列をＷとして採用しなくても構わない。例えば、画素の中心ほど重みが大きい重み付き面積平均を表す行列を採用しても良い。あるいは、あるカメラの光学特性を考慮した行列を採用しても良い。解像度は、ｘよりｙの方が低いため、ｃｌｒｌ＜ｃｈｒｈが成り立つ。高解像度化の問題は、この式ｙ＝Ｗｘで表される再構成制約を満足する高解像度ブロックｘを入力の低解像度ブロックｙから再構成し、その高解像度ブロックｘを高解像度画像Ｘの全体に敷き詰める問題として捉えられる。
【００２５】
ところで、高解像度ブロックｘは、ｃｈｒｈ次元ユークリッド空間
【数１】
0004987688.tif 000002
【００２６】
中の一点である。すなわち、ｘはこのｃｈｒｈ次元ユークリッド空間内のｃｈｒｈ次元ベクトルで示される。このｃｈｒｈ次元ユークリッド空間
【数２】
0004987688.tif 000003
【００２７】
は、Ｒ（Ｗ＊）とＮ（Ｗ）の直交直和になっている。すなわち、以下の式が成立する。
【数３】
0004987688.tif 000004
【００２８】
ここで、Ｗ＊は、Ｗの共役転置行列を表す。ここでは、Ｗは実数行列であるので、Ｗ＊は転置行列である。Ｒ（Ｗ＊）は、
Ｒ（Ｗ＊）＝｛ｘ｜ｘ＝Ｗ＊ｙ｝   
により定義されるＷ＊の値域であり、Ｎ（Ｗ）は、
Ｎ（Ｗ）＝｛ｘ｜Ｗｘ＝０｝   
により定義されるＷの零空間であり、この式中の０は要素が全て０のｃｌｒｌ次元縦ベクトルを表す。
【数４】
0004987688.tif 000005
【００２９】
は、直交直和を表す。この直交直和の関係から、ユークリッド空間
【数５】
0004987688.tif 000006
【００３０】
の任意の元を、Ｒ（Ｗ＊）の元とＮ（Ｗ）の元に、一意に分解できる。したがって、高解像度ブロックｘを
【数６】
0004987688.tif 000007
【００３１】
と分解できる。ここで、
【数７】
0004987688.tif 000008
【００３２】
は、Ｒ（Ｗ＊）への正射影行列を表し、
【数８】
0004987688.tif 000009
【００３３】
が成立する。Ｗ＋は、ＷのMoore-Penrose一般逆行列であり、行列サイズはｃｈｒｈ行ｃｌｒｌ列である。ＰＮ（Ｗ）は、Ｎ（Ｗ）への正射影行列を表し、
【数９】
0004987688.tif 000010
【００３４】
が成立する。Ｉは、ｃｈｒｈ行ｃｈｒｈ列の単位行列である。したがって、高解像度ブロックｘを
ｘ＝Ｗ＋Ｗｘ＋（Ｉ−Ｗ＋Ｗ）ｘ   
と分解できる。再構成制約ｙ＝Ｗｘを満足するｘであれば、
ｘ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｘ   
と分解できる。右辺の第一項がｘのＲ（Ｗ＊）成分であり、第二項がｘのＮ（Ｗ）成分である。したがって、再構成制約ｙ＝Ｗｘを満足する高解像度ブロックｘの一般形、すなわち、一般解は、次式で表すことができる。
【００３５】
ｘ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚ   
ここで、ｚは、任意の高解像度ブロックであり、ｃｈｒｈ次元の縦ベクトルである。この一般解のＲ（Ｗ＊）成分は一意に定まる。一方、Ｎ（Ｗ）成分には任意の高解像度ブロックｚが含まれ、一意に定まらないため、ｘのＮ（Ｗ）成分は一意に定まらない。したがって、再構成制約を満足するｘは複数あり、一意に定まらない。図３は、高解像度ブロックｘ１とｘ２が低解像度化行列Ｗにより表される低解像度化により、同一の低解像度ブロックｙに低解像度化した例を表す図である。この例では、解像度が１／１６（縦方向と横方向にそれぞれ１／４）に低下している。低解像度ブロックｙから、再構成制約を満足する高解像度ブロックｘが一意に定まらないことが、図３からもわかる。そこで、本発明では、鮮鋭な高解像度ブロックを低い計算コストで獲得するために、ｚｐをｙから内挿法により高速に計算し、そのｚｐから、次式により高解像度ブロックｘｐを求める。
【００３６】
ｘｐ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ 
右辺の第一項がｘｐのＲ（Ｗ＊）成分であり、第二項がｘｐのＮ（Ｗ）成分である。この式（ｘｐ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ）の第一項（Ｒ（Ｗ＊）成分）は、「小川英光，“信号と画像の復元［ＩＩＩ］−最適復元のための射影フィルタ族−，”電子情報通信学会誌，ｖｏｌ．７１，ｐｐ．７３９−７４８，１９８８．」に記載の一般逆フィルタをブロック単位で画像の高解像度化に応用した場合に相当する。図４は、ｚｐからｘｐの計算の幾何学的意味を説明するための図である。この例では、ｃｈｒｈ＝３としたため、
【数１０】
0004987688.tif 000011
【００３７】
は３次元のユークリッド空間である。ｚｐとｘｐは、その３次元のユークリッド空間
【数１１】
0004987688.tif 000012
【００３８】
中の一点である。上述の通り、
【数１２】
0004987688.tif 000013
【００３９】
はＲ（Ｗ＊）とＮ（Ｗ）の直交直和である。図４では、Ｒ（Ｗ＊）を１次元で表現し、Ｒ（Ｗ＊）の直交補空間であるＮ（Ｗ）を２次元で表現した。ｘｐのＲ（Ｗ＊）成分は、低解像度ブロックｙと低解像度化行列Ｗから定まる。ｘｐのＮ（Ｗ）成分は、ｚｐをＮ（Ｗ）に正射影したものである。Ｎ（Ｗ）と並行な線形多様体Ｍの全ての元は、再構成制約ｙ＝Ｗｘを満足する。本実施形態により得られる高解像度化ブロックｘｐは、ｚｐをＭに正射影したものであり、Ｍの元のうち、ｚｐに最も近いものである。
【００４０】
作成データ１６２は、この正射影に必要なデータである。例えば、Ｗ＋とＩ−Ｗ＋Ｗを表すデータである。
【００４１】
（１−３）高解像度化画像１５３中の高解像度化ブロックの作成方法：作成部１０５  
低解像度ブロック１５５は上述の低解像度ブロックｙを表すデータであり、高解像度ブロック１５７はそれと対応した位置の上述の高解像度ブロックｚｐを表すデータであり、作成データ１６２は上述のＷ＋とＩ−Ｗ＋Ｗを表すデータである。これらから、作成部１０５では、ブロックデータ１６１が表す高解像度化画像１５３中の高解像度化ブロックｘｐが、上述の式（ｘｐ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ）に基づいて算出される。
【００４２】
（１−４）本実施形態の効果  
本実施形態では、画像全体ではなく、画像中のブロックごとに計算するため、計算コストを削減することができる。従来技術の例えば非特許文献１の方法では、ＹとＺｃからＸｃを求める際、Ｘｃ中の１画素の画素値を求めるため（すなわち、Ｘｃ＝Ｋ＋Ｙ＋（Ｉ−Ｋ＋Ｋ）Ｚｃを計算するため）（ｗｌｈｌ＋ｗｈｈｈ）回の積和演算が必要であった。一方、本実施形態では、
ｘｐ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ 
より、１画素当たりで（ｃｌｒｌ＋ｃｈｒｈ）回の積和演算が必要である。（ｃｌｒｌ＋ｃｈｒｈ） ＜ （ｗｌｈｌ＋ｗｈｈｈ）であるから、計算コストを削減できる。例えば、ｗｌ＝７２０、ｈｌ＝４８０、ｗｈ＝１９２０、ｈｈ＝１０８０の場合、ｃｌ＝３、ｒｌ＝４、ｃｈ＝８、ｒｈ＝９となるため、ｃｌｒｌ＋ｃｈｒｈ＝８４、ｗｌｈｌ＋ｗｈｈｈ＝２４１９２００となり、計算量を大幅に削減できる。
【００４３】
また、本実施形態では、画像全体ではなく、画像中のブロックごとに計算するため、一般逆行列を計算するためのコストを削減することができる。従来技術の例えば非特許文献１の方法では、低解像度化行列Ｋのサイズが大きく、ｗｌｈｌ行ｗｈｈｈ列であった。一方、本実施形態では、低解像度化行列Ｗのサイズはｃｌｒｌ行ｃｈｒｈ列であり、Moore-Penrose一般逆行列の計算コストは、行列サイズが大きくなればなるほど高くなることが知られているので、Moore-Penrose一般逆行列の計算コストを削減できる。
【００４４】
さらに、本実施形態では、一意に定まらない解を一意に定めるために、線形計画法による繰り返し計算を必要としないため、計算コストを削減することができる。従来技術の例えば非特許文献１の方法では、微分画像がラプラス分布に従うという仮定に基づく尤度を最大化するために、線形計画法による繰り返し計算が必要であった。一方、本実施形態では、微分画像がラプラス分布に従うという仮定を利用しないので、計算コストが高い線形計画法による繰り返し計算を必要としないので、この分だけ計算コストを削減できる。
【００４５】
なお、本実施形態では、低解像度化の過程が既知であり、それが式（ｙ＝Ｗｘ）で表せれば、ｚｐよりも高いか同じＰＳＮＲ（Peak Signal-to-Noise Ratio）を得られる。それを証明するために、低解像度化する前の高解像度ブロックをｘで表す。証明のためには、ｘｐのｘに対するＳＳＤ（ｘｐ）がｚｐのｘに対するＳＳＤ（ｚｐ）以下になることを示せば十分である。ＳＳＤ（ｘｐ）は、以下の通りに計算できる。
【００４６】
ＳＳＤ（ｘｐ）＝‖ｘ−ｘｐ‖２ 
ＳＳＤ（ｘｐ）＝‖Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｘ−Ｗ＋ｙ−（Ｉ−Ｗ＋Ｗ）ｚｐ‖２ 
ＳＳＤ（ｘｐ）＝‖（Ｉ−Ｗ＋Ｗ）（ｘ−ｚｐ）‖２ 
ここで、‖ｘ‖はｘのノルムを表す。ＳＳＤ（ｚｐ）は以下の通りに計算できる。
【００４７】
ＳＳＤ（ｚｐ）＝‖ｘ−ｚｐ‖２ 
ＳＳＤ（ｚｐ）＝‖Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｘ−Ｗ＋Ｗｚｐ−（Ｉ−Ｗ＋Ｗ）ｚｐ‖２ 
ＳＳＤ（ｚｐ）＝‖Ｗ＋ｙ−Ｗ＋Ｗｚｐ‖２＋２＜Ｗ＋ｙ−Ｗ＋Ｗｚｐ，（Ｉ−Ｗ＋Ｗ）（ｘ−ｚｐ）＞＋‖（Ｉ−Ｗ＋Ｗ）（ｘ−ｚｐ）‖２ 
ＳＳＤ（ｚｐ）＝‖Ｗ＋ｙ−Ｗ＋Ｗｚｐ‖２＋‖（Ｉ−Ｗ＋Ｗ）（ｘ−ｚｐ）‖２ 
ここで、＜ｘ，ｚ＞は、ｘとｚの内積を表す。Ｗ＋ｙ−Ｗ＋ＷｚｐがＲ（Ｗ＊）の元であること、（Ｉ−Ｗ＋Ｗ）（ｘ−ｚｐ）がＮ（Ｗ）の元であること、Ｒ（Ｗ＊）とＮ（Ｗ）が互いに直交することから、
＜Ｗ＋ｙ−Ｗ＋Ｗｚｐ，（Ｉ−Ｗ＋Ｗ）（ｘ−ｚｐ）＞＝０   
が成立することを上記計算では利用した。したがって、ＳＳＤ（ｘｐ）−ＳＳＤ（ｚｐ）は、以下の通りに計算できる。
【００４８】
ＳＳＤ（ｘｐ）−ＳＳＤ（ｚｐ）＝‖（Ｉ−Ｗ＋Ｗ）（ｘ−ｚｐ）‖２−‖Ｗ＋ｙ−Ｗ＋Ｗｚｐ‖２−‖（Ｉ−Ｗ＋Ｗ）（ｘ−ｚｐ）‖２ 
ＳＳＤ（ｘｐ）−ＳＳＤ（ｚｐ）＝−‖Ｗ＋ｙ−Ｗ＋Ｗｚｐ‖２ 
よって、ＳＳＤ（ｘｐ）−ＳＳＤ（ｚｐ）は０以下となる。これにより、本実施形態では、低解像度化の過程が既知であり、それが式（ｙ＝Ｗｘ）で表せれば、ｚｐよりも高いか同じＰＳＮＲを得られることを証明できた。
【００４９】
（１−５）第１変形例：高解像度ブロックの作成方法の変形例   
本実施形態では、再構成制約を満足する高解像度ブロックｘｐを式（ｘｐ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ）により求めた。それに対し、再構成制約を厳密には満足しない高解像度ブロックを求めても良い。例えば、高解像度ブロックｘｐを次の式により求めても良い。
【００５０】
ｘｐ＝αＷ＋ｙ＋（Ｉ−αＷ＋Ｗ）ｚｐ 
この式は、ｚｐとＷ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐを通る直線を表す。αを０とすると、高解像度ブロックｘｐはｚｐとなり、αを１とすると、高解像度ブロックｘｐはＷ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐとなり、αを０と１の間の値にすると、高解像度ブロックｘｐはｚｐとＷ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐの内挿点となる。内挿点を求めることにより、Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐよりも主観画質が向上する場合がある。なぜなら、Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐは、最近傍内挿法で高解像度化した場合のようなブロック感が発生する場合があるのに対し、内挿点を求めることにより、そのブロック感が軽減されるためである。ＳＳＤは良くならないが、エッジのジャギーが軽減する。例えば、縦横それぞれ２倍に高解像度化するために、
Ｗ＝（１／４  １／４  １／４  １／４）   
とした場合、
Ｗ＋＝（１  １  １  １）Ｔ 
となるため、Ｗ＋ｙはｙを最近傍内挿法で高解像度化したものとなる。ここで、この式のＴは行列の転置を表す。図４からわかるように、式（ｘｐ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ）による高解像度化は、ｚｐのＲ（Ｗ＊）成分をＷ＋ｙに置き換える変換であるため、最近傍内挿法で高解像度化した場合のようなブロック感が発生する場合がある。他の滑らかな画像を生成できる方法で作成したｚｐとの内挿点を求めれば、そのブロック感を削減できる。
【００５１】
あるいは、再構成制約を厳密に満足する高解像度ブロックではなく、
‖ｙ−Ｗｘ‖２＋β‖Ｄｘ‖２ 
を最小化する高解像度ブロックを求めても良い。ここで、Ｄは、任意の行数でｃｈｒｈ列の正則化行列であり、βは正則化パラメータである。この高解像度ブロックｘｐは、次式により計算できる。
【００５２】
ｘｐ＝（ＷＴＷ＋βＤＴＤ）−１ＷＴｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ 
ここで、−１は行列の逆行列を表す。βを正とし、ｘが平坦なほど‖Ｄｘ‖２が小さいＤを利用すれば、再構成制約を厳密に満足する高解像度ブロックよりも平坦な高解像度ブロックが計算されるようになる。これにより、画像中に雑音が含まれた場合に、雑音の強調を避けられる場合がある。
【００５３】
あるいは、これらを融合して、高解像度ブロックを次式により計算しても良い。
【００５４】
ｘｐ＝α（ＷＴＷ＋βＤＴＤ）−１ＷＴｙ＋（Ｉ−αＷ＋Ｗ）ｚｐ 
これにより、ブロック感と雑音の強調を共に軽減できる場合がある。なお、αおよびβ、αまたはβを付加しても付加する前と比べて計算量は変わらない。
【００５５】
（１−６）第２変形例：強調部５０１を追加   
上記実施形態では、構成が図１であり、処理の流れが図２であった。それに対し、本変形例では、構成を図５に変更し、処理の流れを図６に変更する。変更点のみを説明する。この変形例では、処理の流れにＳ６０１が追加され、構成では、低解像度画像入力部１０１の代わりに、強調部５０１、低解像度画像入力部５０２が追加される。
【００５６】
低解像度画像入力部５０２は、入力としては上記実施形態での低解像度画像１５１と同様な画像を入力し、通常はそのまま強調部５０１に低解像度画像１５１を画像データ５５１として出力する。低解像度画像１５１が例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、低解像度画像入力部５０２は低解像度画像１５１を復号し画像データ５５１を強調部５０１に出力する。
【００５７】
強調部５０１は、低解像度画像入力部５０２から画像データ５５１を受け取り、この画像データ５５１に強調処理を施し、設定部１０３からブロックデータ１５８を受け取り、ブロックデータ１５８が表す強調されたブロックであるブロック５５２を作成部１０５に渡す。強調処理としては、例えば、アンシャープマスクやラプラシアンフィルタが施される。
【００５８】
図６の動作の一例では、Ｓ６０１のみ図２と異なり、Ｓ６０１では、低解像度画像１５１に強調処理が施された強調画像が作成される。
【００５９】
Ｓ２０４では、ブロックデータ１５８が、設定部１０３により低解像度画像入力部１０１に送られる代わりに、本変形例では強調部５０１に送られる。そして、ブロックデータ１５８が表す低解像度画像１５１中の低解像度ブロック１５５が低解像度画像入力部１０１により作成部１０５に送られる代わりに、本変形例ではブロックデータ１５８が表す強調画像中のブロックがブロック５５２として強調部５０１により作成部１０５に送られる。
【００６０】
この変形例では、低解像度画像が強調され、低解像度化すると強調された低解像度画像になる高解像度化画像が作成されるようになる。これにより、より鮮鋭な高解像度化画像を作成できるようなる。
【００６１】
（１−７）第３変形例：低解像度化行列Ｗに関する変形例   
上記実施形態では、低解像度化行列Ｗを初期化部１０４で算出した。それに対し、本変形例では高解像度化率が予め決まっている場合には、初期化部１０４がＷを画像高解像度化装置１００の外部から入力するように変更しても良い。その場合の変更点のみを説明する。その場合、例えば、図１の初期化部１０４にＷを入力するための結線を追加すれば良い。そのブロック図は省略する。処理の流れは、Ｓ２０１において、作成データ１６２が初期化部１０４により算出される際、Ｗが算出される代わりに、入力されたＷが利用される。これにより、Ｗを算出する計算コストが削減される。
【００６２】
（１−８）第４変形例：低解像度化行列Ｗに関する別の変形例   
上記実施形態では、低解像度化行列Ｗを初期化部１０４が算出した。それに対し、Ｗが初期化部１０４に記憶されているように変更しても良い。例えば、予めＷを計算しておき初期化部１０４がＷを計算して記憶しておく。その場合の変更点のみを説明する。その場合、処理の流れは、Ｓ２０１において、作成データ１６２が初期化部１０４により算出される際、Ｗが算出される代わりに、予め記憶されたＷが利用される。これにより、Ｗを算出する計算コストが削減される。低解像度化行列Ｗではなく、作成データ１６２を記憶しても良い。その場合、初期化部１０４が作成データ１６２を記憶しても良いし、作成部１０５が作成データ１６２を記憶しても良い。作成部１０５が記憶する場合、作成データ１６２が初期化部１０４により算出する計算コストが削減される。また、作成データ１６２を作成部１０５に送る必要がなくなる。
【００６３】
（１−９）第５変形例：別の低解像度化の過程を仮定した場合の変形例   
本実施形態では、低解像度化の過程を次式で表した。
【００６４】
ｙ＝Ｗｘ   
それに対し、加法性の雑音を考慮し、低解像度化の過程を次式で表しても良い。
【００６５】
ｙ＝Ｗｘ＋ｎ   
ここで、ｎは加法性雑音のブロックを表すｃｌｒｌ次元の縦ベクトルである。｛ｎ｝の相関行列をＱで表す。すなわち、Ｑは次式で定義される。
【数１３】
0004987688.tif 000014
【００６６】
ここで、Ｅｎはｎに関する平均を表す。ｎが実数ベクトルであるため、
【数１４】
0004987688.tif 000015
【００６７】
である。ここで、ｎＴはｎの転置ベクトルを表す。加法性の雑音を考慮する場合、次の式により高解像度化ブロックｘｐを算出する。
【００６８】
ｘｐ＝Ｖ＋Ｗ＊Ｕ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ 
ここで、ＵとＶは以下の式で定義される行列である。
【００６９】
Ｕ＝ＷＷ＊＋Ｑ   
Ｖ＝Ｗ＊Ｕ＋Ｗ   
式（ｘｐ＝Ｖ＋Ｗ＊Ｕ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ）の第一項（Ｒ（Ｗ＊）成分）は、上記の「小川英光，“信号と画像の復元［ＩＩＩ］−最適復元のための射影フィルタ族−，”電子情報通信学会誌，ｖｏｌ．７１，ｐｐ．７３９−７４８，１９８８．」に記載の射影フィルタを画像の高解像度化にブロック単位で応用した。射影フィルタはＲ（Ｗ＊）における雑音の平均を最小化するため、式（ｘｐ＝Ｖ＋Ｗ＊Ｕ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ）の第一項（Ｒ（Ｗ＊）成分）は、Ｒ（Ｗ＊）における最良近似となる。射影フィルタを画像の高解像度化にブロック単位で応用しただけでは、Ｒ（Ｗ＊）成分しか推定できない。それに対し、本実施形態では、式（ｘｐ＝Ｖ＋Ｗ＊Ｕ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ）の第二項によりＮ（Ｗ）成分をも推定するため、射影フィルタを画像の高解像度化にブロック単位で応用した場合よりも、さらに鮮鋭な画像を得られる。この変更のためには、初期化部１０４が作成データ１６２を上述のＶ＋Ｗ＊Ｕ＋とＩ−Ｗ＋Ｗを表すデータに変更すれば良い。なお、Ｒ（Ｗ）が
【数１５】
0004987688.tif 000016
【００７０】
と一致する場合、射影フィルタは一般逆フィルタと一致する。また、加法性雑音がない場合、Ｑは零のみを要素に持つ行列となり、射影フィルタは一般逆フィルタと一致する。逆に言えば、Ｒ（Ｗ）が
【数１６】
0004987688.tif 000017
【００７１】
に一致しない場合に第５変形例は効果的である。
【００７２】
（１−１０）第６変形例：さらに別の低解像度化の過程を仮定した場合の変形例   
上記実施形態では、再構成制約として、ｃｈ×ｒｈの高解像度ブロックｘがｃｌ×ｒｌの低解像度ブロックｙに低解像度化する過程を表した式（ｙ＝Ｗｘ）を採用した。それに対し、（ｃｈ＋ｂ）×（ｒｈ＋ｂ）の高解像度ブロックｘがｃｌ×ｒｌの低解像度ブロックｙに低解像度化する過程を表した式を再構成制約としても構わない。この場合の低解像度化の過程（再構成制約）を、次式で表す。
【００７３】
ｙ＝ＡＢｘ   
ここで、高解像度ブロックｘは（ｃｈ＋ｂ）（ｒｈ＋ｂ）次元の縦ベクトルであり、Ｂはｃｈｒｈ行（ｃｈ＋ｂ）（ｒｈ＋ｂ）列の行列であり、Ａはｃｌｒｌ行ｃｈｒｈ列の行列である。Ｂは例えば高解像度ブロックｘがぼける様子を表す行列であり、Ａは例えば高解像度ブロックＢｘが面積平均行列により低解像度化する様子を表す行列である。この場合の低解像度化の過程（再構成制約）の例を図７に示す。この例では、ｂ＝２、ｃｈ＝４、ｒｈ＝４、ｃｌ＝１、ｒｌ＝１である。
【００７４】
Ｗ＝ＡＢ   
とおけば、低解像度化の過程（再構成制約）は、次式で表されるため、この変更を適用しない場合と同じ式で問題を扱える。
【００７５】
ｙ＝Ｗｘ   
したがって、この変更のためには、初期化部１０４が作成データ１６２を新たなＷによるＷ＋とＩ−Ｗ＋Ｗを表すデータに差し替えればよい。ただし、高解像度ブロックｘと低解像度ブロックｙのブロックサイズが異なり、低解像度化行列Ｗのサイズが異なることに注意が必要である。縦横それぞれ２倍に高解像度化する場合を例にとって、具体的に説明する。この変形例を適用しない場合には、例えば、図８に示す低解像度画像の隣接する低解像度ブロック８０１、８０２から、それぞれ、図９に示す高解像度化画像の隣接する高解像度化ブロック９０１、９０２が作成される。一方、ｂ＝２でこの変形例を適用する場合、図８に示す低解像度画像の隣接する低解像度ブロック８０１、８０２から、それぞれ、図１０に示す高解像度化画像の重なり合う高解像度化ブロック１００１、１００２が作成される。したがって、この変更のためには、設定部１０３が、制御するブロックデータ１５９、１６１を変更しなければならない。それに伴い高解像度ブロック１５７が自ずと変化する。作成部１０５において、高解像度化ブロック１００１と１００２の重なり部分は、平均値を採用するように変更すると良い。さらに加法性の雑音を考慮する場合は（１−８）の変形例を適用すればよい。
【００７６】
（１−１１）本実施形態の利用例  
縦横それぞれの方向に高解像度化したい場合、まず、縦方向にのみ高解像度化し、その後で横方向にのみ高解像度化した方が計算コストを削減できる。なぜなら、縦横同時に高解像度化するときと、縦横独立に高解像度化するときとでは、低解像度化行列Ｗのサイズが後者の方が小さくなり、Ｗ＋の計算と式（ｘｐ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）ｚｐ）の計算のコストが後者の方が小さいためである。
【００７７】
（第２の実施形態）  
本実施形態の画像高解像度化装置について図１１を参照して説明する。  
本実施形態の画像高解像度化装置１１００は、初期化部１１０１、内挿係数初期化部１１０２、係数算出部１１０３、設定部１１０４、低解像度画像入力部１１０５、作成部１１０６を含む。画像高解像度化装置１１００は、サイズデータ１６０と低解像度画像１５１から高解像度化画像１１５５を作成し、出力する。
【００７８】
初期化部１１０１は、サイズデータ１６０を取得し、ブロックサイズデータ１５４を出力する。
【００７９】
内挿係数初期化部１１０２は、ブロックサイズデータ１５４を取得し、ブロックサイズデータ１５４を初期化し内挿係数データ１１５１を算出する。内挿係数データ１１５１は、（ｃｌ＋ｉ）×（ｒｌ＋ｉ）の低解像度ブロックｙｐからｃｈ×ｒｈの高解像度ブロックｚｐを内挿法で算出する際の係数を表すデータであり、例えば、後述のＣである。ｉは、その内挿法で周囲どれだけの画素を利用して画素を内挿するかを表す値である。例えば、内挿法が３次畳み込み法の場合、ｉ＝４となり、バイリニア法の場合、ｉ＝２となる。それを内挿係数行列と呼び、Ｃで表す。
【００８０】
ｚｐ＝Ｃｙｐ 
ここで、高解像度ブロックｚｐはｃｈｒｈ次元の縦ベクトルであり、低解像度ブロックｙｐは（ｃｌ＋ｉ）（ｒｌ＋ｉ）次元の縦ベクトルであり、内挿係数行列Ｃはｃｈｒｈ行（ｃｌ＋ｉ）（ｒｌ＋ｉ）列の行列である。図１３は、ｙｐとｚｐの関係を説明するための図である。ｙｐは、ｚｐが表す被写体の部分よりも広い部分を表していることがわかる。ｙｐは、ｚｐを内挿法で作成するために必要な低解像度ブロックである。第１の実施形態では、高解像度画像１５２が入力されるため、高解像度ブロック１５７（ｚｐ）が得られた。一方、本実施形態では、高解像度画像１５２が入力されない。本実施形態では、第１の実施形態における高解像度ブロック１５７に相当するｚｐを、ｙｐと内挿法により作成したと仮定した場合に得られるｘｐを計算する。このｘｐの計算の際、ｚｐの計算を介さず、直接ｘｐを計算する。ｚｐの計算を介さないのは、その方が計算量を少なくできるためである。直接ｘｐを計算するために必要なのが、内挿係数行列Ｃである。
【００８１】
係数算出部１１０３は、内挿係数データ１１５１とブロックサイズデータ１５４とを取得し、係数データ１１５２を計算する。係数データ１１５２は、（ｃｌ＋ｉ）×（ｒｌ＋ｉ）の低解像度ブロックｙｐからｃｈ×ｒｈの高解像度化ブロックｘｐを作成するための係数データであり、上述のＷとＣから算出する後述の係数行列Ｔである。Ｔは、例えば、次式により算出する。
【００８２】
Ｔ＝Ｓ＋（Ｉ−Ｗ＋Ｗ）Ｃ   
ここで、Ｓは、Ｓｙｐ＝Ｗ＋ｙを満足する行列であり、Ｗ＋の要素と０を要素に持つ。例えば、ｃｌとｒｌが共に１である場合、Ｓ＝［０  Ｗ＋  ０］である。［０  Ｗ＋  ０］は、Ｗ＋の左右にそれぞれ同じサイズの零行列を連結した行列である。
【００８３】
設定部１１０４は、枚数データ１５６と、ブロックサイズデータ１５４とを取得し、ブロックデータ１１５３とブロックデータ１６１とを設定する。ブロックデータ１１５３は、低解像度画像１５１中の幅がｃｌ＋ｉ、高さがｒｌ＋ｉの低解像度ブロック１１５４の位置を表すデータである。ブロックデータ１６１は、高解像度化画像１１５５中の幅がｃｈ、高さがｒｈの高解像度化ブロックの位置を表すデータである。ブロックデータ１６１は、ブロックデータ１１５３と対応した位置で指定される。
【００８４】
低解像度画像入力部１１０５は、低解像度画像１５１とブロックデータ１１５３とを取得し、ブロックデータ１１５３が表す低解像度画像１５１中の低解像度ブロック１１５４を生成する。ブロックデータ１１５３は、位置をずらしながら指定される。具体的には、横方向にはｃｌ、縦方向にはｒｌずつ位置がずらされる。これにより、低解像度画像１５１中の低解像度ブロック１１５４を順に処理する。ｉが正である場合、低解像度ブロック１１５４同士には重なりが生じる。低解像度画像入力部１１０５は、高解像度化したい低解像度な画像（動画や静止画）が、例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、それを復号するためのコーデックを備えている。
【００８５】
作成部１１０６は、低解像度画像１５１中の低解像度ブロック１１５４と係数データ１１５２とから、ブロックデータ１６１が表す高解像度化画像１１５５中の高解像度化ブロックを作成する。高解像度化画像１１５５中の高解像度化ブロックｘｐは、低解像度ブロックｙｐと係数行列Ｔにより、次の式で作成される。
【００８６】
ｘｐ＝Ｔｙｐ 
このｘｐは次の式を満足する。
【００８７】
ｘｐ＝Ｗ＋ｙ＋（Ｉ−Ｗ＋Ｗ）Ｃｙｐ 
したがって、第１の実施形態で入力される高解像度画像の高解像度ブロックｚｐに対して式（ｚｐ＝Ｃｙｐ）が成立すれば、第２の実施形態により第１の実施形態と同じ高解像度化ブロックｘｐを得られる。第１の実施形態で入力される高解像度画像の高解像度ブロックｚｐに対して式（ｚｐ＝Ｃｙｐ）が成立しなくても、（１−４）における証明では、ｚｐに関して何も仮定していないため、低解像度化の仮定が式（ｙ＝Ｗｘ）であれば、ｘｐのｘに対するＳＳＤ（ｘｐ）が内挿法により得られる高解像度ブロックＣｙｐのｘに対するＳＳＤ（Ｃｙｐ）以下になる。図１４は、ｙｐとｘｐの関係を説明するための図である。ｙｐは、ｘｐが表す被写体の部分よりも広い部分を表していることがわかる。ｙｐは、ｘｐを本実施形態の係数行列Ｔで作成するための低解像度ブロックである。ｚｐの計算を介さず、ｙｐとＴからｘｐを直接計算する。
【００８８】
次に、図１１の画像高解像度化装置１１００の動作の一例について図１２を参照して説明する。  
（Ｓ１２０１）まず、枚数データ１５６が設定部１１０４に入力され、サイズデータ１６０が初期化部１１０１に入力される。そして、ブロックサイズデータ１５４が初期化部１１０１により算出され、内挿係数初期化部１１０２と係数算出部１１０３と設定部１１０４に送られる。
【００８９】
（Ｓ１２０２）内挿係数データ１１５１が内挿係数初期化部１１０２によりブロックサイズデータ１５４から初期化され、係数算出部１１０３に送られる。
【００９０】
（Ｓ１２０３）係数データ１１５２が係数算出部１１０３により内挿係数データ１１５１とブロックサイズデータ１５４から算出され、作成部１１０６に送られる。
【００９１】
（Ｓ１２０４）低解像度画像入力部１１０５に、高解像度化したい低解像度な画像（動画や静止画）のうちのｎ枚目（ｎ＝１，２，．．．，Ｎ）が、低解像度画像１５１として入力される。
【００９２】
（Ｓ１２０５）ブロックデータ１１５３が設定部１１０４により低解像度画像入力部１１０５に送られ、ブロックデータ１６１が設定部１１０４により作成部１１０６に送られる。そして、ブロックデータ１１５３が表す低解像度画像１５１中の低解像度ブロック１１５４が低解像度画像入力部１１０５により作成部１１０６に送られる。ブロックデータ１１５３は、Ｓ１２０５が繰り返して処理される際に、位置をずらしながら指定される。具体的には、横方向にはｃｌ、縦方向にはｒｌずつ位置がずらされる。これにより、低解像度画像１５１中の低解像度ブロック１１５４を順に処理する。ｉが正である場合、低解像度ブロック１１５４同士には重なりが生じる。ブロックデータ１６１は、具体的には、横方向にはｃｈ、縦方向にはｒｈずつ位置がずらされる。ブロックデータ１１５３、１６１を互いに対応付けることにより、画像全体で処理するのではなく、画像のブロックごとに処理する。
【００９３】
（Ｓ１２０６）ブロックデータ１６１が表す高解像度化画像１１５５中の高解像度化ブロックが、低解像度ブロック１１５４と係数データ１１５２から、作成部１１０６により作成される。
【００９４】
（Ｓ１２０７）高解像度化画像１１５５中の全ての高解像度化ブロックが処理されたかどうかが設定部１１０４により判定される。全てのブロックが処理された場合はＳ１２０８に進み、処理されていない場合はＳ１２０５に戻る。設定部１１０４により制御されるブロックデータ１１５３、１６１を変化させながら、Ｓ１２０６が繰り返される。その繰り返しにより、作成部１１０６において、高解像度化画像１１５５中の全ての高解像度化ブロックが作成され、高解像度化画像１１５５が作成され、出力される。なお、端のブロックは、注目が集まりにくく、重要でない場合が多いため、より計算コストの少ない方法で作成しても良い。
【００９５】
（Ｓ１２０８）高解像度化したい低解像度な画像（動画や静止画）のうちの全て（Ｎ枚）が処理されたかどうかが設定部１１０４により、枚数データ１５６から判定される。全てが処理された場合は終了し、処理されていない場合はＳ１２０４に戻る。
【００９６】
（２−１）本実施形態の効果  
本実施形態では、第１の実施形態よりもさらに少ない計算コストで済む。第１の実施形態では、１画素当たりで（ｃｌｒｌ＋ｃｈｒｈ）回の積和演算が必要であった。一方、本実施形態では、式（ｘｐ＝Ｔｙｐ）から、（ｃｌ＋ｉ）（ｒｌ＋ｉ）回の積和演算が必要である。ほとんどの場合、（ｃｌ＋ｉ）（ｒｌ＋ｉ） ＜ （ｃｌｒｌ＋ｃｈｒｈ）であるから、計算コストを削減できる。例えば、ｗｌ＝７２０、ｈｌ＝４８０、ｗｈ＝１９２０、ｈｈ＝１０８０、ｉ＝４の場合、ｃｌ＝３、ｒｌ＝４、ｃｈ＝８、ｒｈ＝９となるため、（ｃｌ＋ｉ）（ｒｌ＋ｉ）＝５６、ｃｌｒｌ＋ｃｈｒｈ＝８４となり、計算量を第１の実施形態よりもさらに削減できる。（１−１１）と同じく、縦横同時にではなく、縦横独立に高解像度化すれば、さらに計算コストを削減できる。図１５に縦横独立に高解像度化する場合の様子の例を示す。この例では、ｗｌ＝７２０、ｈｌ＝４８０、ｗｈ＝１９２０、ｈｈ＝１０８０、ｉ＝４である。図１５の例では、２画素ずつ３×４ブロック、３×９ブロックからはみ出る。内挿法により定まるｉにより、はみ出る量が決まる。図１５の例では、ｉ＝４の内挿法（バイキュービック法やキュービックコンボリューション法など）の場合である。例えば、内挿法としてｉ＝２のバイリニア法を使用すると３×４ブロック、３×９ブロックから１画素ずつはみ出る。
【００９７】
（２−２）第１変形例：高解像度ブロックの作成方法の変形例   
（１−５）の第１の実施形態の第１変形例と同様に、再構成制約を満足しない高解像度ブロックを求めても良い。例えば、
Ｔ＝αＳ＋（Ｉ−αＷ＋Ｗ）Ｃ   
とすると良い。あるいは、Ｓｙｐ＝（ＷＴＷ＋βＤＴＤ）−１ＷＴｙを満足するＳを利用して、
Ｔ＝Ｓ＋（Ｉ−Ｗ＋Ｗ）Ｃ   
とすると良い。あるいは、Ｓｙｐ＝（ＷＴＷ＋βＤＴＤ）−１ＷＴｙを満足するＳを利用して、
Ｔ＝αＳ＋（Ｉ−αＷ＋Ｗ）Ｃ   
とすると良い。これにより、（１−５）と同じ効果を得られる。
【００９８】
（２−３）第２変形例：強調部を追加した変形例   
本実施形態では、処理の流れが図１２であり、構成が図１１であった。それに対し、構成を図１６に変更し、処理の流れを図１７に変更しても構わない。変更点のみを説明する。この変形例では、処理の流れにＳ１４０１が追加され、構成に強調部１６０１が追加される。
【００９９】
強調部１６０１は、低解像度画像１５１を画像データ５５１として取得し、ブロックデータ１１５３を設定部１０３から取得し、ブロックデータ１１５３が表す低解像度ブロック１５５を抽出し、この低解像度ブロック１５５に強調処理を施し、強調したブロックのブロック１６５１を作成部１１０６に渡す。強調処理としては、例えば、アンシャープマスクやラプラシアンフィルタが施される。
【０１００】
次に、図１６の画像高解像度化装置１６００の動作の一例について図１７を参照して説明する。  
（Ｓ１２０４）上述の処理に加え、画像データ５５１が低解像度画像入力部５０２により出力され、強調部１６０１に送られる。画像データ５５１は、低解像度画像１５１が表す画素値を並べたデータである。したがって、もし、低解像度画像１５１が符号化されていないデータであれば、画像データ５５１は低解像度画像１５１そのものであり、そうでなければ、画像データ５５１は低解像度画像１５１を復号したデータである。
【０１０１】
（Ｓ１４０１）画像データ５５１に強調処理が施された強調画像が作成される。強調処理としては、例えば、アンシャープマスクやラプラシアンフィルタが施される。
【０１０２】
（Ｓ１２０５）上記第２の実施形態でのブロックデータ１１５３が設定部１０３により低解像度画像入力部１１０５に送られる代わりに、本変形例では強調部１６０１に送られる。そして、上記第２の実施形態でのブロックデータ１１５３が表す低解像度画像１５１中の低解像度ブロック１１５４が低解像度画像入力部１１０５により作成部１１０６に送られる代わりに、ブロックデータ１１５３が表す強調画像中の低解像度ブロック１６５１が強調部１６０１により作成部１１０６に送られる。
【０１０３】
この変形例では、低解像度画像が強調され、低解像度化すると強調された低解像度画像になる高解像度化画像が作成されるようになる。これにより、より鮮鋭な高解像度化画像を作成できるようなる。
【０１０４】
（２−４）第３変形例：係数算出部１１０３に関する変形例   
係数算出部１１０３において、Ｓｙｐ＝Ｗ＋Ｅｙを満足するＳを利用して、係数行列Ｔ（係数データ１１５２）を算出するように変更しても良い。ここで、ｊは例えば２であり、Ｅは、ｃｌｒｌ行（ｃｌ＋ｊ）（ｒｌ＋ｊ）列の行列であり、（ｃｌ＋ｊ）×（ｒｌ＋ｊ）の低解像度ブロックに３×３の強調フィルタ（アンシャープマスクやラプラシアンフィルタ）を施して得られる、そのうちの中央のｃｌ×ｒｌ画素が強調された低解像度ブロックに変換する強調行列である。この変更により、（２−３）の第２変形例のように、強調部を追加しなくても、低解像度化すると強調された低解像度画像になる高解像度化画像が作成されるようになる。この変更により、より鮮鋭な高解像度化画像を作成できるようなる。
【０１０５】
（２−５）第４変形例：別の低解像度化の過程を仮定した場合の変形例   
上記第２の実施形態では、低解像度化の過程を次式で表した。
【０１０６】
ｙ＝Ｗｘ   
それに対し、（１−９）の第１の実施形態の第５変形例と同様に、加法性の雑音を考慮し、低解像度化の過程を次式で表しても良い。
【０１０７】
ｙ＝Ｗｘ＋ｎ   
この場合、Ｓｙｐ＝Ｖ＋Ｗ＊Ｕ＋ｙを満足するＳを利用して、係数行列Ｔ（係数データ１１５２）を算出するように変更すると良い。これにより、（１−９）と同じ効果を得ることができる。
【０１０８】
（２−６）第５変形例：さらに別の低解像度化の過程を仮定した場合の変形例   
（１−１０）の第１の実施形態の第６変形例と同様に、低解像度化の過程（再構成制約）を、次式で表しても良い。
【０１０９】
ｙ＝ＡＢｘ   
ここで、高解像度ブロックｘは（ｃｈ＋ｂ）（ｒｈ＋ｂ）次元の縦ベクトルであり、Ｂはｃｈｒｈ行（ｃｈ＋ｂ）（ｒｈ＋ｂ）列の行列であり、Ａはｃｌｒｌ行ｃｈｒｈ列の行列であった。
【０１１０】
Ｗ＝ＡＢ   
とおけば、低解像度化の過程（再構成制約）は、次式で表されるため、この変更を適用しない場合と同じ式で問題を扱えた。
【０１１１】
ｙ＝Ｗｘ   
したがって、係数行列Ｔ（係数データ１１５２）も、式（Ｔ＝Ｓ＋（Ｉ−Ｗ＋Ｗ）Ｃ）中のＷに関する部分を置き換えれば良い。ただし、（１−１０）と同様に、高解像度ブロックｘと低解像度ブロックｙのブロックサイズと低解像度化行列Ｗのサイズが異なることに注意が必要である。
【０１１２】
（２−７）第６変形例：係数データ１１５２を予め算出する変形例   
高解像度化率が予め定まっていれば、係数データ１１５２を予め算出しても良い。その場合、図１１の画像高解像度化装置１１００を、図１８に示す係数計算装置１８００と図１９に示す高解像度化演算装置１９００の２つに分割すると良い。例えば、本実施形態の画像高解像度化装置１１００をテレビに適用する場合、工場でテレビを生産するための設備の一つが係数計算装置１８００であり、テレビに搭載される部品の一つが高解像度化演算装置１９００である。この場合、図１２のＳ１２０１〜Ｓ１２０３が、係数計算装置１８００における処理となり、Ｓ１２０４〜Ｓ１２０８が、高解像度化演算装置１９００における処理となる。これにより、高解像度化演算装置１９００では、係数データ１１５２を計算する必要がないため、計算コストを削減できる。
【０１１３】
以上に示した実施形態によれば、ブロック単位で処理するため、高解像度画像中の１画素の画素値を計算するための乗算や加算の回数が少なくなるため、計算コストが削減される。また、低解像度化行列のサイズが小さいため、低解像度化行列のMoore-Penrose一般逆行列を計算するためのコストが低くなる。さらに、微分画像がラプラス分布に従うという仮定に基づく尤度を最大化する必要がないため、微分画像がラプラス分布に従うという仮定に基づく尤度を最大化する必要がない。
【０１１４】
また、本実施形態の画像高解像度化装置は、パソコン、デジタルカメラ、ビデオカメラ、携帯電話、携帯情報端末、プリンタなどの画像を記録したり、表示したり、印刷したりする機能を有する電子機器に、画像を高品質化する機能を持たせるために利用できる。
【０１１５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１１６】
【図１】第１の実施形態の画像高解像度化装置のブロック図。
【図２】図１の画像高解像度化装置の動作の一例を示すフローチャート。
【図３】高解像度画像が低解像度画像に低解像度化する様子を表す一例を示す図。
【図４】第１の実施形態の画像高解像度化方法の幾何学的意味を説明するための図。
【図５】第１の実施形態の第２変形例の画像高解像度化装置のブロック図。
【図６】図５の画像高解像度化装置の動作の一例を示すフローチャート。
【図７】第１の実施形態の第６変形例での高解像度画像が低解像度画像に低解像度化する様子を表す一例を示す図。
【図８】低解像度画像中の低解像度ブロック同士の位置関係を説明するための図。
【図９】高解像度画像中の高解像度ブロック同士の位置関係を説明するための図。
【図１０】第１の実施形態の第６変形例を適用した場合での高解像度画像中の高解像度ブロック同士の位置関係を説明するための図。
【図１１】第２の実施形態の画像高解像度化装置のブロック図。
【図１２】図１１の画像高解像度化装置の動作の一例を示すフローチャート。
【図１３】ypとzpの関係を説明するための図。
【図１４】ypとxpの関係を説明するための図。
【図１５】第２の実施形態の画像高解像度化方法により、縦横独立に高解像度化する様子を説明するための図。
【図１６】第２の実施形態の第２変形例の画像高解像度化装置のブロック図。
【図１７】図１６の画像高解像度化装置の動作の一例を示すフローチャート。
【図１８】第２の実施形態の第６変形例の画像高解像度化装置に含まれる係数計算装置のブロック図。
【図１９】第２の実施形態の第６変形例の画像高解像度化装置に含まれる高解像度化演算装置のブロック図。
【符号の説明】
【０１１７】
１００，１１００，１６００・・・画像高解像度化装置、１０１，５０２，１１０５・・・低解像度画像入力部、１０２・・・高解像度画像入力部、１０３，１１０４・・・設定部、１０４，１１０１・・・初期化部、１０５，１１０６・・・作成部、１５１・・・低解像度画像、１５２・・・高解像度画像、１５３，１１５５・・・高解像度化画像、１５４・・・ブロックサイズデータ、１５５，８０１，１１５４，１６５１・・・低解像度ブロック、１５６・・・枚数データ、１５７・・・高解像度ブロック、１５８，１５９，１６１，１１５３・・・ブロックデータ、１６０・・・サイズデータ、１６２・・・作成データ、５０１，１６０１・・・強調部、５５１・・・画像データ、５５２，１６５１・・・ブロック、９０１，９０２，１００１，１００２・・・高解像度化ブロック、１１０２・・・内挿係数初期化部、１１０３・・・係数算出部、１１５１・・・内挿係数データ、１１５２・・・係数データ、１８００・・・係数計算装置、１９００・・・高解像度化演算装置。
【図１】
0004987688.tif 000018
【図２】
0004987688.tif 000019
【図３】
0004987688.tif 000020
【図４】
0004987688.tif 000021
【図５】
0004987688.tif 000022
【図６】
0004987688.tif 000023
【図７】
0004987688.tif 000024
【図８】
0004987688.tif 000025
【図９】
0004987688.tif 000026
【図１０】
0004987688.tif 000027
【図１１】
0004987688.tif 000028
【図１２】
0004987688.tif 000029
【図１３】
0004987688.tif 000030
【図１４】
0004987688.tif 000031
【図１５】
0004987688.tif 000032
【図１６】
0004987688.tif 000033
【図１７】
0004987688.tif 000034
【図１８】
0004987688.tif 000035
【図１９】
0004987688.tif 000036