(57)【要約】【課題】計算量の累積的な増加を抑えつつ、対応点を増加させて高解像度化処理を行うことのできる高解像度化装置を提供する。【解決手段】高解像度化部１２は、１つの画像内の複数の画素から注目点Aの画素を１つずつ順次設定する候補指定部１０２と、注目点Aの画素を含む注目ブロックPに含まれる画素値の変化パターンと同一あるいは類似する画素値の変化パターンを有する対応ブロックQから注目点Aの画素に対応する対応点Bを抽出するマッチング誤差算出部１０３等と、注目点Aと対応点Bを直線で結んだ線分の区間内に新たな対応点Cを生成する対応点増加部１０９と、注目点A、対応点B及び新たな対応点Cから、高解像度画像の画素値を算出する高解像度画素値算出部１０６を有する。【選択図】図１
2011048781.tif 000002
【特許請求の範囲】
【請求項１】
１つの画像内の複数の画素から、注目点の画素を１つずつ順次設定する注目画素設定部と、
前記注目点の画素を含む注目ブロックに含まれる画素値の変化パターンと同一あるいは類似する画素値の変化パターンを有する対応ブロックから、前記注目点の画素に対応する対応点を抽出する対応点抽出部と、
前記注目点と前記対応点を直線で結んだ線分の区間内に新たな対応点を生成する新対応点生成部と、
前記注目点、前記対応点及び前記新たな対応点から、高解像度画像の画素値を算出する高解像度画素値算出部と、
を有することを特徴とする高解像度化装置。
【請求項２】
前記対応点抽出部は、前記画像中の前記注目点の画素に隣接する画素を含む所定の探索領域内で１画素ずつ移動しながらずれて設定された、前記注目ブロックと同一形状の領域における画素値の変化パターンと、前記注目ブロックに含まれる画素値の変化パターンとを比較して、非整数画素推定により前記対応点の位置を算出することにより、前記対応点を抽出することを特徴とする請求項１に記載の高解像度化装置。
【請求項３】
前記新対応点生成部は、前記注目点と前記対応点を直線で結んだ線分の長さが、前記画像の縦あるいは横方向の画素間の距離を１としたとき、２の平方根の距離以下の場合に、前記新たな対応点を生成することを特徴とする請求項１又は２に記載の高解像度化装置。
【請求項４】
前記新対応点生成部は、前記画像上の前記注目点の位置を（Xa,Ya）とし、前記対応点の位置を（Xb,Yb）とした場合に、前記対応点が、前記注目点に対して0.95<|Xa-Xb|<1.05かつ0.95<|Ya-Yb|<1.05にあるときに、前記新たな対応点を生成することを特徴とする請求項１又は２に記載の高解像度化装置。
【請求項５】
１つの画像内の複数の画素から、注目点の画素を１つずつ順次設定する注目画素設定部と、
前記注目点の画素を含む注目ブロックに含まれる画素値の変化パターンと同一あるいは類似する画素値の変化パターンを有する対応ブロックから、前記注目点の画素に対応する対応点を抽出する対応点抽出部と、
前記注目点と前記対応点を直線で結んだ線分の区間内に新たな対応点を生成する新対応点生成部と、
前記注目点、前記対応点及び前記新たな対応点から、高解像度画像の画素値を算出する高解像度画素値算出部と、
を有し、
前記新対応点生成部は、前記注目点と前記対応点を直線で結んだ線分の長さが前記画像の縦あるいは横方向の画素間の距離を１としたときであって２の平方根の距離以下の場合に、前記新たな対応点を生成するか、前記画像上の前記注目点の位置を（Xa,Ya）として前記対応点の位置を（Xb,Yb）としたときであって0.95<|Xa-Xb|<1.05かつ0.95<|Ya-Yb|<1.05である場合に、前記新たな対応点を生成するかを選択可能であることを特徴とする高解像度化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビで受信された映像、カメラで撮影された静止画あるいは動画の画像等の画像データを、より高い解像度の画像データに変換する高解像度化装置に関する。
【背景技術】
【０００２】
近年、テレビ、携帯電話等に、画素数が多いつまり高解像度のディスプレイが広く普及してきている。テレビやディスプレイが画像を表示する場合、低解像度すなわち画素数の少ない画像データは、高解像度のパネルの画素数に変換される。特に、画素数を増やす高解像度化の変換において、線形内挿法よりも鮮鋭な画像が得られる方法として、フレーム内劣化逆変換法がある（例えば、特許文献１参照）。
【０００３】
フレーム内劣化逆変換法は、被写体を含む画像のフレームの一部を取り出してその中の輝度値の変化パターンを見ると、その一部の近くに同じパターンが存在するという点に着目した方法である。その方法では、注目ブロックと同じ輝度値の変化パターンを有する対応ブロックが基準フレーム内で複数検出され、各対応ブロックの対応点の基準フレーム内の位置の算出がされる。そして、算出された複数の対応点から、高解像度画像における標本点の画素値を計算することによって、高解像度画像が得られる。
【０００４】
上述した方法によれば低解像度画像から高解像度画像が得られるが、注目ブロックと対応ブロックとの誤差を算出するときに、注目ブロックと近い画素値を有するブロックの位置を非整数画素精度で求めるために、２つのブロック間の差分絶対値和や差分二乗和等の計算が行われる。そのような計算のために多くの計算量が必要とされる。
【０００５】
上述した方法では、より正確な解像度画像を求めるためには、より多くの対応点が必要であるが、算出すべき対応点の数を増やすと、増やした数だけ差分二乗和等の計算が行われることになる。従って、対応点の数の増加に応じて、計算量は累積的に増加していく、という問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３１０８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、本発明は、計算量の累積的な増加を抑えつつ、対応点を増加させて高解像度化処理を行うことのできる高解像度化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、１つの画像内の複数の画素から、注目点の画素を１つずつ順次設定する注目画素設定部と、前記注目点の画素を含む注目ブロックに含まれる画素値の変化パターンと同一あるいは類似する画素値の変化パターンを有する対応ブロックから、前記注目点の画素に対応する対応点を抽出する対応点抽出部と、前記注目点と前記対応点を直線で結んだ線分の区間内に新たな対応点を生成する新対応点生成部と、前記注目点、前記対応点及び前記新たな対応点から、高解像度画像の画素値を算出する高解像度画素値算出部と、を有する高解像度化装置を提供することができる。
【発明の効果】
【０００９】
本発明によれば、計算量の累積的な増加を抑えつつ、対応点を増加させて高解像度化処理を行うことのできる高解像度化装置を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態に係わる画像処理装置１の構成を示す構成図である。
【図２】本発明の第１の実施の形態に係わる画像処理装置１の動作の例を説明するためのフローチャートである。
【図３】本発明の第１の実施の形態に係わる注目点、対応点及び新たな対応点を説明するための図である。
【図４】本発明の第１の実施の形態に係わる対応点増加部１０９における新たな対応点Cの処理の流れの例を示すフローチャートである。
【図５】本発明の第１の実施の形態において、探索範囲Sの中心が注目点から２画素離れた画素である場合における、対応点B及び新たな対応点Cを説明するための図である。
【図６】新たな対応点を複数生成する例を説明するための図である。
【図７】新たな対応点を複数生成する他の例を説明するための図である。
【図８】本発明の第２の実施の形態に係わる、注目点Aと対応点Bを通るエッジが直線でない場合を説明するための図である。
【図９】本発明の第２の実施の形態に係わる、対応点増加部１０９における新たな対応点Cの処理の流れの例を示すフローチャートである。
【図１０】本発明の第３の実施の形態に係わる、対応点増加部１０９における新たな対応点Cの処理の流れの例を示すフローチャートである。
【図１１】本発明の第３の実施の形態に係わる、新たな対応点Cを生成する場合の注目点Aについての対応点Bの位置を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態を説明する。  
（第１の実施の形態）
（構成）
まず図１に基づき、本発明の第１の実施の形態に係わる画像処理装置の構成を説明する。図１は、本実施の形態に係わる画像処理装置１の構成を示す構成図である。
【００１２】
画像処理装置１は、例えば、テレビ受像機、コンテンツ再生機等の機器である。画像処理装置１は、アンテナからの放送波あるいは記憶媒体に含まれる動画あるいは静止画の圧縮データを入力してデコードするデコーダ１１と、デコーダ１１でデコードされた画像データを入力して高解像度の画像データに変換する高解像度化部１２と、操作パネルあるいはリモコン等である操作部１３からの操作信号を入力して、デコーダ１１と高解像度化部１２を制御する制御部としての中央処理装置（以下、CPUという）１４とを含んで構成される。
【００１３】
デコーダ１１を介して入力される画像データは、所定の解像度を有する。高解像度化装置としての画像処理装置１は、入力された画像データの解像度をより高い所定の解像度に変換して、高解像度の画像データをディスプレイに出力する。よって、画像処理装置１がテレビであれば、ユーザは、テレビのフラットパネルディスプレイ上に高解像度化された画像を視ることができる。
【００１４】
高解像度化部１２は、メモリ１０１と、候補指定部１０２と、マッチング誤差算出部１０３と、誤差比較部１０４と、メモリ１０５と、高解像度画素値算出部１０６と、パラボラフィッティング部１０７と、メモリ１０８と、対応点増加部１０９と、制御回路１１０とを有する。なお、ここで、各メモリは、所定のデータの入力、格納及び出力を行う処理部であり、RAM等のデータの記憶手段を含む。高解像度化部１２を、例えば１つの半導体チップとして形成すれば、そのチップが、高解像度化装置を構成する。
【００１５】
メモリ１０１は、デコーダ１１からの低解像度画像データLDを取得し格納する記憶部である。また、メモリ１０１は、候補指定部１０２から、誤差を計算する画像部分Ssの位置を示す信号と、注目点Aの画素の位置を示す信号とを入力し、注目点Aの周辺の画像データと誤差を計算する画像部分Ssの画像データをマッチング誤差算出部１０３に出力する。また、メモリ１０１は、高解像度画素値算出部１０６に低解像度画像データLDを供給する。
【００１６】
候補指定部１０２は、制御回路１１０から予め設定された探索範囲Sを指定するデータを含む制御データCDを入力し、この探索範囲Sに基づいて生成された、誤差を計算する画像部分Ssの位置を示す信号と、注目点Aの位置を示す信号とを、メモリ１０１とメモリ１０５に出力する。よって、候補指定部１０２は、１つの画像内の複数の画素から、注目点Aの画素（以下、注目画素Aともいう）を１つずつ順次設定する注目画素設定部を構成する。
【００１７】
マッチング誤差算出部１０３は、メモリ１０１から注目画素Aの周辺の画像データ、誤差を計算する画像部分Ssの画像データを取得し、注目画素Aの周辺の画像データと、探索領域である探索範囲Sにある誤差を計算する画像部分Ssの画像データとの誤差を計算する。誤差は、例えば、差分絶対値和あるいは差分２乗和により計算される。注目画素Aの周辺の画像データは、例えば、注目画素Aを中心とする複数の画素からなる矩形の注目ブロックPのデータである。マッチング誤差算出部１０３は、探索範囲Sの中で誤差を計算する画像部分Ssを所定の方向に沿って一画素ずつずらすようにして順次変更して、注目画素Aの周辺の画像データである注目ブロックPと誤差を計算する画像部分Ssの画像データとを入力して２つの画像データ間の誤差を複数求める。誤差を計算する画像部分Ssの形状は、注目画素Aを含む注目ブロックPの形状と同一である。
【００１８】
誤差比較部１０４は、マッチング誤差算出部１０３で算出された複数の画像部分Ssについての複数の誤差の大小関係を計算する。誤差比較部１０４は、例えば、誤差が最小値近くにある複数の位置を複数の対応画素点SS1,SS2,・・・として求め、メモリ１０５に出力する。対応画素点は、低解像度画像データLDにおける整数画素点である。
【００１９】
メモリ１０５は、候補指定部１０２から与えられる注目点Aの情報毎に、誤差比較部１０４で計算された各対応画素点SS1,SS2,・・・の位置データを誤差比較部１０４から取得し格納する。
【００２０】
パラボラフィッティング部１０７は、メモリ１０５から与えられた複数の対応画素点SS1,SS2,・・・の位置データを基にして、パラボラフィッティング法を用いて、非整数画素推定を行い、注目画素Aについての対応点Bを算出する。  
なお、対応点Bの算出における非整数画素推定では、パラボラフィッティング法以外の方法、例えば等角フィッティング法、オーバーサンプリング法を用いてもよい。
【００２１】
マッチング誤差算出部１０３、誤差比較部１０４及びパラボラフィッティング部１０７は、注目点Aの画素を含む注目ブロックPに含まれる画素値（すなわち輝度値）の変化パターンと同一あるいは類似する画素値の変化パターンを有する対応ブロックQから、注目点Aの画素に対応する対応点Bを抽出する対応点抽出部を構成する。
【００２２】
対応点増加部１０９は、パラボラフィッティング部１０７から対応点Bの位置データと、候補指定部１０２から注目ブロックPの位置データを取得する。  
対応点増加部１０９は、後述するように、注目点Aと対応点Bの中間点の位置を新たな対応点Cの位置とし、この新たな対応点Cと元々取得した対応点Bの両方の位置データをメモリ１０８に入力する。これは、注目ブロックPの注目点Aと取得した対応点Bとが同一の被写体の直線のエッジ上に存在すると仮定して、注目点Aと対応点Bとの中間点が新たな対応点として追加されることを意味している。新たな対応点の位置の計算方法については、後述する。対応点増加部１０９は、注目点Aと対応点Bを直線で結んだ線分の区間内に新たな対応点を生成する新対応点生成部を構成する。
【００２３】
メモリ１０８は、対応点増加部１０９で求められた対応点B,Cの位置情報を格納する。  
制御回路１１０は、注目点Aを低解像度画像データLDの中から所定の順序で指定するための制御データCDを生成して出力する。例えば、制御回路１１０は、注目点Aを、左上から横方向に順番でかつ縦方向にも順番に指定する制御データCDを出力する。さらに、制御データCDは、注目点Aに対応する探索範囲Sを指定する制御信号も含む。
【００２４】
その結果として、対応点増加部１０９は、低解像度画像データLDの各注目点について対応点B,Cのデータを、メモリ１０８に格納する。  
高解像度画素値算出部１０６は、メモリ１０１から低解像度画像データLDの各画素データと、メモリ１０８からの各注目点Aについての対応点B,Cのそれぞれの位置データとを取得し、対応点Aと同一の画素値が対応点B,Cの位置に存在すると仮定することによって対応点B,Cの画素値を得る。そして、高解像度画素値算出部１０６は、例えば、低解像度画像の各画素データと各対応点の位置データを用いて、所定の条件式の連立方程式を解くことによって、高解像度画像データの標本点の画素値を決定し、その画素値データを出力する。より具体的には、高解像度画像の画素値を未知数とし、その未知数から算出した仮標本値が、対応点での輝度値の標本値と等しいという条件式を標本値毎に立て、複数の条件式を連立して解いて、高解像度画像の画素値が算出される。以上のように、高解像度画素値算出部１０６は、注目点A、対応点B及び新たな対応点Cから、高解像度画像の画素値を算出する。
【００２５】
（動作）
次に、上述した画像処理装置１の動作についてより詳細に説明する。  
図２は、画像処理装置１の動作の例を説明するためのフローチャートである。まず、注目画素設定部を構成する候補指定部１０２は、制御回路１１０からの制御データCDに基づいて、低解像度画像データLDから、所定の順序で、注目点Aの画素（すなわち注目画素）の位置を設定する（ステップS1）。その順序としては、例えば、動画の１フレームあるいは静止画の画面の左上の画素から右向きであって、さらに、上の行から下向きといういわゆるラスタ順序がある。
【００２６】
次に、対応点抽出部を構成するマッチング誤差算出部１０３、誤差比較部１０４及びパラボラフィッティング部１０７により、画像中の所定の探索範囲S内で移動しながら設定された注目ブロックPと同一形状の領域Ssにおける画素値の変化パターンと、注目ブロックPに含まれる画素値の変化パターンとを比較することによって、対応点Bの位置の抽出が行われる（ステップS2）。具体的には、対応点Bの位置の抽出は、設定された同一形状の複数の領域Ssのそれぞれの画素値データに基づいて、パラボラフィッティング法等の非整数画素推定により対応点Bの位置を算出することにより、行われる。
【００２７】
新対応点生成部を構成する対応点増加部１０９は、注目点Aと対応点Bから、新たな対応点Cの位置を算出して求め（ステップS3）、対応点Bと算出された新たな対応点Cとを対応点の位置情報として、メモリ１０８に格納する（ステップS4）。対応点増加部１０９による新たな対応点Cの位置の算出については後述する。
【００２８】
次に、低解像度画像データLDの注目点として設定された全ての画素について、処理が終了したか否かが判定される（ステップS5）。
【００２９】
注目点となり得る全ての画素について処理が終了していなければ、ステップS5でNOとなり、処理は、ステップS1に戻る。ステップS1では、所定の順序により決定される次の画素が注目画素として設定される。
【００３０】
注目点となり得る全ての画素について処理が終了していれば、ステップS5でYESとなり、高解像度画素値算出部１０６は、新対応点Cの画素値は、対応点Aと同一の画素値が対応点B,Cの位置に存在すると仮定して、低解像度画像データLDの全画素とメモリ１０８に格納された全ての対応点の画素の位置のデータを用いて、高解像度画像の各画素値の算出し（ステップS6）、高解像度画像データHDを出力する。  
高解像度画素値算出部１０６は、特開２００７−３１０８３７号公報にも開示されているような重ね合わせ法（nonuniform interpolation）、POCS法等を用いて、高解像度画像データHDの画素値を算出する。すなわち、未知の値を持つ高解像度画像の画素値の集合に対して、既知の値である低解像度画像の標本数が増される。そして、非一様に配置されたその複数の標本値から、格子状に一様に配置された高解像度画像の画素の値を求める方法である重ね合わせ法やPOCS法等を用いることにより、高解像度画像を計算することができる。
【００３１】
次に、上記の処理における注目点と対応点について説明する。まず、ステップS3における新たな対応点の算出方法について説明する。
【００３２】
図３は、注目点、対応点及び新たな対応点を説明するための図である。図３において、格子状に一様に配置された複数の白印のそれぞれは、低解像度画像中の画素を示している。斜線を付けた丸印である注目点Aの画素（注目画素）は、上述したように、制御回路１１０からの制御データCDにより、例えばラスタ順序で指定される。注目画素Aを含む注目ブロックP、探索範囲S及び探索範囲S内の誤差を計算する画像部分Ssも、制御データCDにより指定される。ここでは、探索範囲Sは、注目点Aの隣の点を含む複数画素を垂直方向に含む矩形領域である。
【００３３】
図３において、注目点Aは、３×３の注目ブロックPの真ん中の点である。上述したように、マッチング誤差算出部１０３と誤差比較部１０４によって、注目ブロックPに含まれる複数の画素の画素値の変化パターンと、探索範囲S内に含まれる複数の画像部分Ssそれぞれの画素値の変化パターンとから、その誤差が最小値に近い複数の位置が、複数の対応画素点として求められる。このとき、ここでは、探索範囲S内に含まれる画像部分Ssは、探索範囲Sの上から所定の方向（図３において矢印MAで示される画像の縦方向）に移動しながら、複数の対応画素点が求められる。対応点Ｂは、その求められた複数の対応画素点を基にして、パラボラフィッティング部１０７によって算出して求められた点である。
【００３４】
なお、画像部分Ssは探索範囲S内に含まれる領域であって、形状は、注目ブロックPと同一形状であるが、図３においては、画像部分Ssの位置を明示するためやや大きめの形状で示している。
【００３５】
探索領域である探索範囲Sは、注目点Aの横方向における隣の画素を中心として所定の幅を有する縦方向に延びたｍ×ｎ（ｍ、ｎは、整数）の画素領域である。図３では、探索範囲Sは、７×３の画素領域である。探索範囲Sは、注目画素Aに隣接する画素を含み、その隣接する画素を中心とする同一形状の領域Ssが、探索範囲S内において、画像の縦方向に１画素ずつずれて設定されていく。
【００３６】
なお、ここでは、探索領域である探索範囲Sは、画像の縦方向に延びた領域として設定され、注目点Aは、画像の縦方向に沿って１画素ずつ移動しながら設定されるが、探索範囲Sを、画像の横方向に延びた領域として設定し、注目点Aを画像の横方向に沿って１画素ずつ移動しながら設定するようにしてもよい。
【００３７】
対応点Bは、探索範囲S内における、注目点Aの注目ブロックPに含まれる画素値の変化パターンに最も近い変化パターンを有する対応領域（以下、対応ブロックともいう）Qの中の点である。図３の場合、注目点Aは、注目ブロックPの中心の点であるので、対応点Bは、対応領域Qの中心に位置する。
【００３８】
注目ブロックPの注目点Aと取得した対応点Bとが同一の被写体の直線のエッジED上に存在すると仮定した場合、注目点Aと対応点Bとを結んだ線も、その直線上のエッジED上に存在すると推定することができる。本実施の形態では、注目点Aと対応点Bを結んだ線の中点に、すなわち注目点Aと対応点Bを直線で結んだ線分の区間を二等分する点に、新たな対応点Cが生成される。このとき、新たな対応点Cを含む３×３の領域ブロックRも、対応点Bを含む対応領域Qと同じ画素値の変化パターンを有すると推定することができる。  
上述した対応点増加部１０９の処理の内容について、図４を用いて説明する。図４は対応点増加部１０９における新たな対応点Cの処理の流れの例を示すフローチャートである。まず、画面上における注目点Aの位置（Xa、Ya）と対応点Bの位置（Xb,Yb）が読み出される（ステップS11）。
【００３９】
対応点増加部１０９は、新たな対応点Cの位置（Xc,Yc）を次の式（１）、（２）を用いて計算する（ステップS12）。
【００４０】
Xc＝（Xa＋Xb）／２    ・・・（１）
Yc＝（Ya＋Yb）／２    ・・・（２）
対応点増加部１０９は、対応点Bと、計算して得られた新たな対応点Cの位置データをメモリ１０８に記憶する（ステップS13）。
【００４１】
以上のように、１つの注目点Aについて、１つの探索範囲Sの１回の探索で、２つの対応点B,Cが算出して得られる。すなわち、１つの注目点Aについて、差分二乗和等の計算を用いた探索範囲Sについての１回の探索で、１つの対応点Bが算出されるのではなく、その１回の探索で、２つの対応点B,Cを算出することができる。言い換えると、デジタル画像上の複数の画素値から構成される局所領域である注目ブロックPと同じ輝度値の変化パターンを有する対応ブロックを、探索範囲S内で探索する場合に、計算量の増加を抑制しつつ、対応点を増加させることができる。
【００４２】
また、算出された対応点の位置が、低解像度画像の整数画素精度の位置の近傍であると、鮮鋭な高解像度画像の生成には寄与しないという問題が生じるが、図３の場合、対応点Bは、注目点Aの隣の画素を含む縦のライン上に位置することになるので、得られた新たな対応点Cの画素の位置は、元の低解像度画像の画素位置（標本点）と重なることはない。よって、高解像度画素値算出部１０６は、鮮鋭な高解像度画像を生成することができる。
【００４３】
なお、上述した例では、探索範囲Sは、注目点Aに対して、１画素だけ隣りの画素を中心とした所定の幅を有する領域であったが、探索範囲Sは、注目点Aに対して、２画素以上離れた画素を中心とした所定の幅を有する領域でもよい。  
図５は、探索範囲Sの中心が注目点から２画素離れた画素である場合における、対応点B及び新たな対応点Cを説明するための図である。図５の符号等は、図３と同じであり、図５に示すように、注目点Aと対応点Bから算出される新たな対応点Cは、注目点Aの隣の画素列上に位置している。
【００４４】
さらになお、上述した例では、新たな対応点Cは、注目点Aと対応点Bとから１つ生成されているが、２以上生成してもよい。
【００４５】
図６と図７は、新たな対応点を複数生成する例を説明するための図である。図６に示すように、対応点増加部１０９は、図３あるいは図５で説明した注目点Aと対応点Bを結んだ線分Lを３等分したときの２つの点C1,C2を算出するようにしてもよい。あるいは、図７に示すように、線分Lを４等分して、３つの対応点を生成するようにしてもよい。このように、対応点増加部１０９は、注目点Aと対応点Bを結んだ線分Lを等間隔で分けて新たな対応点を２以上の生成するようにしてもよい。
【００４６】
以上のように、本実施の形態に係る高解像度化部を有する画像処理装置によれば、従来のように探索範囲Sを広げることによって対応点の数を増やすというようなことを行うことなく、対応点を増加させることができる。よって、計算量の増加を抑えつつ高解像度化処理による画像拡大の画質を向上させることができる。
【００４７】
（第２の実施の形態）
第１の実施の形態では、注目点Aと対応点B間の距離は、特に問題にしておらず、仮定したエッジは直線であるとして仮定していたが、エッジが直線でなければ、生成される高解像度画像の画質は劣化したものとなる。そこで、本第２の実施の形態では、このような原因による画質劣化を防止するため、注目点Aと対応点B間の距離が所定の距離を超える場合には、第１の実施の形態で説明した新たな対応点の追加をしないようにした。
【００４８】
本実施の形態に係る画像処理装置は、第１の実施の形態で説明した画像処理装置１と同様の構成であり、異なる点は、対応点増加部１０９の処理の内容だけである。よって、以下、第２の実施の形態に係る画像処理装置については、第１の実施の形態と同じ構成については同じ符号を用いて説明は省略し、異なる事項を主として説明する。
【００４９】
図８は、注目点Aと対応点Bを通るエッジが直線でない場合を説明するための図である。図８に示すように、第１の実施の形態では、注目点Aと対応点Bは直線のエッジ上にあるものと仮定しているので、生成される新たな対応点C（複数でもよい）は、注目点Aと対応点Bとを結ぶ点線で示す線分上に生成される。しかし、実際の画像におけるエッジEDが、一点鎖線で示す曲線であった場合、すなわち上記の仮定を満たさない場合、生成された新たな対応点Cを用いて高解像度画像を生成すると、生成される高解像度画像の画質は、劣化してしまう可能性がある。
【００５０】
そこで、本実施の形態では、注目点Aと対応点Bの距離が、所定の距離以内のときだけ、新たな対応点Cを追加するようにしたものである。  
ここでは、所定の距離Tは、格子状に並んだ低解像度画像の隣接する２つの画素間の距離（すなわち、画像の縦及び横方向において隣り合う２つの画素間の距離）を「１」としたときに、「２（１／２）」である（図３参照）。注目点Aと対応点Bの距離がこの所定の距離T（＝２（１／２））以内であれば、新たな対応点Cを生成して追加し、その所定の距離を超えるときは、新たな対応点Cの追加がされない。
【００５１】
この「２（１／２）」（すなわち２の平方根）は、図３に示すように、注目点Aから斜め４５度の方向にある４つの画素までの距離を意味する。言い換えれば、「２（１／２）」は、注目点Aと、注目点Aの斜め方向にある最も近い画素との間の距離である。所定の距離T（＝２（１／２））は、そのような近い距離であり、注目点Aと対応点Bの距離が、このような近い距離以内の距離であれば、２つの点A,B間の仮想的なエッジは、略直線とみなすことができる。よって、注目点Aと対応点Bの距離がこの所定の距離T（＝２（１／２））以内であれば、新たな対応点Cが追加される。
【００５２】
図９は、本実施の形態に係る対応点増加部１０９における新たな対応点Cの処理の流れの例を示すフローチャートである。図９のフローチャートは、図４のフローチャートと異なるのは、ステップS21を含むことであり、その他の処理は、図４と同じである。
【００５３】
図９に示すように、ステップS11で読み出された注目点Aと対応点Bを読み出した後、注目点Aと対応点Bとの距離が、所定の距離T内であるか否かの判断が行われる（ステップS21）。
【００５４】
注目点Aと対応点Bとの距離が、所定の距離T内であれば、ステップS21でYESとなり、処理は、ステップS12に進み、対応点Bと、新たな対応点Cとが、メモリ１０８に格納される（ステップS13）。しかし、注目点Aと対応点Bとの距離が、所定の距離Tを越えるとき、ステップS21でNOとなり、ステップS22に進み、対応点Bがメモリ１０８に格納される。
【００５５】
以上のように、本実施の形態によれば、第１の実施の形態の効果に加えて、注目点Aと対応点Bが実際には直線のエッジ上には無い場合であっても、所定の距離内にあれば局所的にその部分のエッジは直線とみなすことができるので、高解像度画像の画質の劣化は生じない。すなわち、本実施の形態によれば、対応点の探索を行うことなく対応点を増加させ、計算量の増加を抑えつつ、不適切な対応点の増加による画質劣化を抑え、高解像度化処理による画像拡大の画質を向上させることができる。
【００５６】
また、２点間の距離が所定の距離内のときだけ対応点増加の処理が行われるので、注目点Aと対応点Bが同一の直線エッジ上にあるという仮定が常に成立し、この仮定が間違っていたときの高解像度画像の画質劣化を抑制することができる。
【００５７】
（第３の実施の形態）
上述した２つの実施の形態では、高解像度画素値算出部１０６は、得られた対応点（新たな対応点を含む）と、低解像度画像データLDの画素データとから高解像度画像データHDを算出して生成する。しかし、高解像度画素値算出部１０６が、得られた新たな対応点の全てを含めて所定の条件式の連立方程式を解く等の処理を行うことは、高解像度画素値算出部１０６の処理能力の面で好ましくない場合もある。
【００５８】
そこで、本実施の形態は、対応点増加部１０９は画質の向上に大きな寄与がある対応点の増加だけを行うようにして、無闇に対応点を増やさずに高解像度画素値算出部１０６の計算量の抑制を図るものである。
【００５９】
本実施の形態に係る画像処理装置は、第１及び第２の実施の形態で説明した画像処理装置１と同様の構成であり、異なる点は、対応点増加部１０９の処理の内容だけである。よって、以下、第３の実施の形態に係る画像処理装置については、第１及び第２の実施の形態と同じ構成については同じ符号を用いて説明は省略し、異なる事項を主として説明する。
【００６０】
図１０は、本実施の形態に係る対応点増加部１０９における新たな対応点Cの処理の流れの例を示すフローチャートである。図１０のフローチャートは、図４のフローチャートと異なるのは、ステップS31を含むことであり、その他の処理は、図４と同じである。
【００６１】
図１０に示すように、ステップS11で読み出された注目点Aと対応点Bを読み出した後、対応点Bが、注目点Aに対して所定の範囲U内であるか否かの判断が行われる（ステップS31）。
【００６２】
上述したように、対応点増加部１０９は、パラボラフィッティング部１０７から対応点Bの位置を、候補指定部１０２から注目点Aの位置を取得する。ここで、注目ブロックPの中心である注目点A、および対応ブロックQの中心の対応点Bを表す位置をそれぞれ（x1, y1）、(x2, y2)とし、下の２つの式を両方満たす場合にのみ、注目点Aと対応点Bの中間点の位置を新たな対応点Cとし、この新たな対応点Cと元々取得していた対応点の両方をメモリ１０８の入力とする。
【００６３】
図１１を用いて具体的に説明する。図１１は、新たな対応点Cを生成する場合の注目点Aについての対応点Bの位置を説明するための図である。注目点Aの画像上での位置が、画像の左上を基準として（x1,y1）であり、対応点Bの画像上の位置が、同様に（x2,y2）であるとする。言い換えると、x1、x2はそれぞれ各点の画像左端からの距離を表し、y1、y2はそれぞれ各点の画像上端からの距離を表す。なお、格子状に並んだ低解像度画素の隣接する画素間の距離を、１とする。この場合、対応点Bが、次の２つの式を満たす範囲に存在する場合にのみ、対応点増加部１０９は、対応点B,Cの位置をメモリ１０８に格納するようにした。
【００６４】
０．９５＜|Xa−Xb|＜１．０５      ・・・（３）
０．９５＜|Ya−Yb|＜１．０５      ・・・（４）
対応点Bが、上記の２つの式（３）、（４）を満たす範囲U内にある場合、処理は、ステップS12に進み、対応点Bと、新たな対応点Cとが、メモリ１０８に格納される（ステップS13）。しかし、対応点Bが、上記の２つの式（３）、（４）を満たす所定の範囲U内にないとき、ステップS32に進み、対応点Bがメモリ１０８に格納される。
【００６５】
上記の式（３）、（４）で定義される範囲Uは、図１１のような範囲である。対応点Bが範囲Uの中にある場合は、対応点Bが注目点Aに対して斜め略４５度の方向に存在する場合である。対応点Bがこのような範囲に存在する場合に新たな対応点Cが生成されると、エッジが存在する場合に高解像度化の効果が現れ易い、すなわち画質の向上に大きく寄与する。
【００６６】
なお、ステップS13において、パラボラフィッティング部１０７から取得した元々の対応点Bは標本点の増加に寄与しないため、消去し、新たな対応点Cのみをメモリ１０８の入力とするようにしてもよい。それにより、更に後段の高解像度画素値算出部１０６における計算量を削減可能となる。
【００６７】
さらになお、上記の式（３）と（４）における「0.95」と「1.05」は、出願人が実験等から得たベストが値であるが、「0.95」と「1.05」に代えて、他の値でもよい。
【００６８】
よって、本実施の形態によれば、画質の向上に大きな寄与が期待できる対応点Bのみについて新たな対応点Cの増加を行うようにしたので、後段の高解像度画素値算出部１０６において計算量の抑制を図りながら、効率的に高解像度化処理による画像拡大の画質を向上させることができる。
【００６９】
以上のように、上述した各実施の形態に係る画像処理装置によれば、従来のように探索範囲Sを広げることによって対応点の数を増やすというようなことを行うことなく、対応点を増加させることができる。よって、計算量の増加を抑えつつ高解像度化処理による画像拡大の画質を向上させることができる。
【００７０】
なお、上述した第２の実施の形態と第３の実施の形態を組み合わせた方法を採用してもよい。すなわち、第２の実施の形態で説明したように注目点Aと対応点Bが所定の距離内にあり、かつ第３の実施の形態で説明したように対応点Bが所定に範囲内にある場合にのみ、新たな対応点Cを増加させるようにしてもよい。より高画質な高解像度画像を、計算量を抑制しつつ、得ることができる。
【００７１】
さらになお、画像処理装置が、上述した第１の実施の形態の方式、第２の実施の形態の方式、及び第３の実施の形態の方式のいずれかの動作モードを実行できるようにし、その中のいずれかが、操作部１３におけるユーザによって設定された動作モードに応じて、あるいは入力される画像について予め設定された動作モードに応じて、選択されて実行されるようにしてもよい。
【００７２】
例えば、画像処理装置１は、ユーザが操作部１３への操作指示を与えることによって、対応点増加部１０９についての動作モード、すなわち第１、第２又は第３の実施の形態に係る方式のいずれかの動作モードを選択できるように構成する。そのようにすれば、画像処理装置がバッテリで動作するときに、電力使用量をなるべく少なくして画像を視聴したい場合には、ユーザは、第３の実施の形態の方式を選択することができる。通常のコンテンツの場合は、ユーザは、第２の実施の形態の方式を選択することができる。また、高画質で観賞したいコンテンツの場合は、ユーザは、第１の実施の形態の方式を選択することができる。
【００７３】
あるいは、画像コンテンツの内容あるいは長さに応じて、３つの方式が自動的に選択されるようにしてもよい。例えば、画質が問題とならないコンテンツの場合や、長時間のコンテンツの場合は、第３の実施の形態の方式が選択されるようにしてもよい。高画質で観賞すべきコンテンツの場合は、第１の実施の形態が選択されるようにしてもよい。
【００７４】
選択のためのデータがコンテンツ自体に含まれていれば、例えばジャンル情報、再生時間等のデータがコンテンツ自体に含まれていれば、画像処理装置１は、３つの方式の中からそのデータに基づいて１つの方式を選択することができる。
【００７５】
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。また、各実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
【００７６】
なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬媒体や、ハードディスク等の記憶媒体に、その全体あるいは一部のプログラムコードが記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムのコードの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の高解像度化装置を実現することができる。
【００７７】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【００７８】
１  画像処理装置、１１  デコーダ、１２  高解像度化部、１３  操作部、１４  CPU、１０１、１０５、１０８  メモリ、１０２  候補指定部、１０３  マッチング誤差算出部、１０４  誤差比較部、１０６  高解像度画素値算出部、１０７  パラボラフィッティング部、１０９  対応点増加部、１１０  制御回路
【図１】
2011048781.tif 000003
【図２】
2011048781.tif 000004
【図３】
2011048781.tif 000005
【図４】
2011048781.tif 000006
【図５】
2011048781.tif 000007
【図６】
2011048781.tif 000008
【図７】
2011048781.tif 000009
【図８】
2011048781.tif 000010
【図９】
2011048781.tif 000011
【図１０】
2011048781.tif 000012
【図１１】
2011048781.tif 000013