(57)【要約】【課題】画質を向上させるとともに、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができるようにする。【解決手段】無限の拡大倍率に対応する予測係数、変換情報などを統合データベースに記憶しておき、統合データベースから拡大倍率に応じた予測係数、変換情報などを算出する。被写体の画像が１.５倍、２倍、２.５倍、３倍の各拡大倍率に対応するサイズの画素によって表示される。便宜上３行３列の矩形により各拡大倍率に対応する画像が示されており、各矩形の大きさが上述の画素のサイズを意味する。１.５倍（「×１.５」）、２倍（「×２.０」）、２.５倍（「×２.５」）、３倍（「×３.０」）の拡大倍率に対応する予測係数を個々に記憶せず、統合データベースに記憶された情報に基づいて、各拡大倍率に対応する予測係数が算出される。【選択図】図４
2011211437.tif 000002
【特許請求の範囲】
【請求項１】
出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力するパラメータ入力手段と、
入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出するタップ抽出手段と、
前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出する予測係数算出手段と、
前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算する画素値演算手段とを備える
画像処理装置。
【請求項２】
前記係数構成値を記憶するデータベースをさらに備え、
前記データベースは、
前記係数構成値を、前記タップの要素を識別する情報に対応づけて記憶する
請求項１に記載の画像処理装置。
【請求項３】
前記入力画像の注目画素周辺の画像を、予め定められた方式で複数のクラスのいずれかに分類するクラス分類手段をさらに備え、
前記データベースは、
前記係数構成値を、前記クラス毎に記憶する
請求項２に記載の画像処理装置。
【請求項４】
前記出力画素により構成される出力画像は、前記入力画像より解像度の高い画像である
請求項３に記載の画像処理装置。
【請求項５】
前記パラメータとして入力される前記出力画素のサイズは、前記出力画像の解像度によって定まる
請求項４に記載の画像処理装置。
【請求項６】
前記出力画像より解像度の高い無限解像度画像の複数の画素の値を前記集光モデルにより表わされる集光特性に応じて積分した値を前記出力画素の値と近似して、前記予測係数を前記パラメータと前記係数構成値とを有する関数により記述し、
前記データベースは、
解像度の高い教師画像と解像度の低い生徒画像を用いて予め学習された予測係数と、前記関数に基づいて求められた前記係数構成値を記憶する
請求項５に記載の画像処理装置。
【請求項７】
前記集光モデルは、ガウシアンモデルである
請求項１に記載の画像処理装置。
【請求項８】
前記集光モデルは、サーキュラモデルである
請求項１に記載の画像処理装置。
【請求項９】
パラメータ入力手段が、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力し、
タップ抽出手段が、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出し、
予測係数算出手段が、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出し、
画素値演算手段が、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算するステップ
を含む画像処理方法。
【請求項１０】
コンピュータを、
出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力するパラメータ入力手段と、
入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出するタップ抽出手段と、
前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出する予測係数算出手段と、
前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算する画素値演算手段とを備える画像処理装置として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画質を向上させるとともに、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より統計学習を用いた、画像の拡大変換が知られている。例えば、低解像度の画像と高解像度の画像のペア（学習対）を事前に用意し、両者の対応関係を統計的に学習して変換テーブルを作成する。入力画像に対してこの変換テーブルを利用した変換処理を施すことで高精細な拡大変換が可能になる.
【０００３】
また、ノイズなど劣化を含んだ入力画像からノイズのない画像を予測したり、ＳＤ信号を高解像度のＨＤ信号に変換するために、クラス分類適応処理を用いる手法が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１の技術により、ＳＤ信号をＨＤ信号に変換する場合、まず、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（適応的ダイナミックレンジ符号化）等を用いて求め、得られたクラスタップの特徴に基づいてクラス分類を行う。そして、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得る。
【０００５】
クラス分類は、予測値を求めようとする高Ｓ／Ｎ画素の位置に対応する低Ｓ／Ｎ画像の位置から空間的または時間的に近い位置にある低Ｓ／Ｎ画素の画素値のパターンによって、各高Ｓ／Ｎ画素を、いわばグループ分けするものであり、適応処理は、各グループ（上述のクラスに相当する）ごとに、そのグループに属する高Ｓ／Ｎ画素に対して、より適した予測係数を求めて、その予測係数により、画質の向上を図るものであるから、クラス分類は、基本的には、予測値を求めようとする高Ｓ／Ｎ画素に関係する、より多くの画素からクラスタップを構成して行うのが望ましい。
【０００６】
しかし、低解像度画像を高解像度画像に拡大する際に、決まった単一の倍率での拡大だけでなく、多くの倍率の拡大に対応しようとした場合、その倍率のパターン分の変換テーブルが必要になる。
【０００７】
そこで、出願人は、予め複数の離散的な倍率の変換テーブルを用意しておき、線形補間によって中間倍率での変換結果を求めたり、変換テーブル間の線形回帰により中間の変換テーブルを作成する手法を提案した（例えば、特許文献２参照）。
【０００８】
【特許文献１】特開平７−７９４１８号公報
【特許文献２】特開２００４−１９１８５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献２のようにして中間倍率での拡大を行っても、直接学習で求めた変換テーブルを使用した場合と比較すると画質的な低下が避けられない。
【００１０】
また超高倍率の拡大変換などのように予め学習対が用意できない場合、従来の手法では対応できない。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、画質を向上させるとともに、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面は、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力するパラメータ入力手段と、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出するタップ抽出手段と、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出する予測係数算出手段と、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算する画素値演算手段とを備える画像処理装置である。
【００１３】
前記係数構成値を記憶するデータベースをさらに備え、前記データベースは、前記係数構成値を、前記タップの要素を識別する情報に対応づけて記憶するようにすることができる。
【００１４】
前記入力画像の注目画素周辺の画像を、予め定められた方式で複数のクラスのいずれかに分類するクラス分類手段をさらに備え、前記データベースは、前記係数構成値を、前記クラス毎に記憶するようにすることができる。
【００１５】
前記出力画素により構成される出力画像は、前記入力画像より解像度の高い画像であるようにすることができる。
【００１６】
前記パラメータとして入力される前記出力画素のサイズは、前記出力画像の解像度によって定まるようにすることができる。
【００１７】
前記出力画像より解像度の高い無限解像度画像の複数の画素の値を前記集光モデルにより表わされる集光特性に応じて積分した値を前記出力画素の値と近似して、前記予測係数を前記パラメータと前記係数構成値とを有する関数により記述し、前記データベースは、解像度の高い教師画像と解像度の低い生徒画像を用いて予め学習された予測係数と、前記関数に基づいて求められた前記係数構成値を記憶するようにすることができる。
【００１８】
前記集光モデルは、ガウシアンモデルであるようにすることができる。
【００１９】
前記集光モデルは、サーキュラモデルであるようにすることができる。
【００２０】
本発明の一側面は、パラメータ入力手段が、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力し、タップ抽出手段が、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出し、予測係数算出手段が、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出し、画素値演算手段が、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算するステップを含む画像処理方法である。
【００２１】
本発明の一側面は、コンピュータを、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力するパラメータ入力手段と、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出するタップ抽出手段と、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出する予測係数算出手段と、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算する画素値演算手段とを備える画像処理装置として機能させるプログラムである。
【００２２】
本発明の一側面においては、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータが入力され、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップが抽出され、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数が算出され、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値が演算される。
【発明の効果】
【００２３】
本発明によれば、画質を向上させるとともに、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができる。
【図面の簡単な説明】
【００２４】
【図１】従来の画像処理装置の構成例を示すブロック図である。
【図２】予測係数の学習を説明する図である。
【図３】拡大倍率に応じた学習対の例を説明する図である。
【図４】本発明による予測係数の算出の例を説明する図である。
【図５】低解像度画像と無限解像度画像と高解像度画像の関係を説明する図である。
【図６】高解像度画像の画素がどのように構成されているかを説明する図である。
【図７】低解像度画像を拡大倍率「５×５」で拡大変換する場合の例を説明する図である。
【図８】式（３）、式（７）、式（８）における（ｉ,ｊ）の組み合わせを説明する図である。
【図９】低解像度画像を拡大倍率「３×５」で拡大変換する場合の例を説明する図である。
【図１０】サーキュラモデルを説明する図である。
【図１１】集光モデルにサーキュラモデルを採用した場合の図６に対応する図である。
【図１２】本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
【図１３】図１２の画像処理装置により実行される拡大変換処理の例を説明する図である。
【図１４】本発明による予測係数の算出の別の例を説明する図である。
【図１５】本発明によって、より高画質の拡大変換を実現する方式を説明する図である。
【図１６】図１５に示される方式により拡大変換処理を行った場合の効果を説明する図である。
【図１７】本発明の画像処理装置を搭載したテレビジョン受像機の構成例を示すブロック図である。
【図１８】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２６】
最初に従来の技術による画像の拡大変換について説明する。図１は、従来の画像処理装置１０の構成例を示すブロック図である。同図に示される画像処理装置１０は、例えば、低解像度の画像Ｌが入力画像として入力され、画像Ｌの所定の画素に基づいて高解像度Ｈの画素Ｈhを生成して出力画像として出力するものとされる。すなわち、画像処理装置１０により画像の拡大変換が行われる。
【００２７】
入力画像は、クラスタップ抽出部２１に供給され、注目画素が設定される。クラスタップ抽出部２１は、例えば、注目画素値およびその周辺画素値などとして構成されるクラスタップＬｃを抽出するようになされている。クラスタップは、例えば、数次元から数十次元のベクトルとなる。
【００２８】
クラス分類部２２は、抽出されたクラスタップを解析することにより、当該クラスタップを所定のクラス（ｃｌａｓｓ）に分類し、クラスを決定する。
【００２９】
予測係数決定部２３は、入力画像の注目画素に対応する出力画像の画素位置ｈ（位相とも称される）の画素を生成するために必要となる予測係数であって、クラス分類部２２により決定されたクラスに対応する予測係数を記憶部（ＲＯＭなど）から読み出すようになされている。なお、予測係数ωclass,k（h,ｒzoom）は、画像の拡大倍率ｒzoomと出力画像の画素の位相ｈ応じてクラス毎に予め記憶されており、予測タップと同数の要素を有するベクトルとされる。
【００３０】
予測タップ抽出部２４は、クラス分類部２２により決定されたクラスに対応して予め定められた予測タップを、入力画像から抽出する。予測タップＬclass,kは、注目画素値およびその周辺画素値などとして構成され、この例では、ｋ個の要素を有するベクトルであるものとする。
【００３１】
予測処理部２５は、予測タップ抽出部２４から供給された予測タップの要素のそれぞれと、予測係数決定部２３から供給された予測係数の要素のそれぞれとの積和演算を行うことにより、高解像度画像の所定の画素Ｈhを生成して出力するようになされている。
【００３２】
例えば、高解像度画像の画素位置ｈの画素値を算出する場合、予測タップが注目画素を中心とする９個の画素の画素値とされるとき、次のように演算される。予測係数決定部２３により出力画像の画素の位相が画素位置ｈである場合の予測係数が読み出される。そして、予測係数の第１番目の要素と予測タップの第1番目の要素との積が演算され、予測係数の第２番目の要素と予測タップの第２番目の要素との積が演算され、・・・予測係数の第９番目の要素と予測タップの第９番目の要素との積が演算される。さらにこれらの積の和が算出されて高解像度画像の画素Ｈhの画素値とされる。
【００３３】
また、例えば、高解像度画像の画素位置ｉの画素値を算出する場合、予測係数決定部２３により出力画像の画素の位相が画素位置ｉである場合の（９個の要素からなる）予測係数が読み出されて上述の演算がなされる。
【００３４】
例えば、拡大倍率が「５×５」であった場合、入力画像の１画素を注目画素とする予測タップから、出力画像の画素２５個の画素値が算出される。この場合、出力画像の画素の位相は２５通り存在するので、同一のクラスに分類された予測係数は、出力画像の画素の位相に応じて２５通り用意される。そして、予測タップの要素が９個あるので、２５個の予測係数のそれぞれが９個の要素を有することになる。
【００３５】
従来、このようにして、画像の拡大変換が行われていた。
【００３６】
従来用いられていた予測係数は、生徒画像と教師画像との組み合わせからなる学習対に基づいて生成される。図２は、予測係数の学習を説明する図である。同図に示されるように、高解像度の画像である教師画像と、教師画像の画素数を縮退させるなどして得られた低解像度の画像である生徒画像に基づいて、予測係数の学習が行われる。なお、図中において、低解像度の画像の面積が、高解像度の画像の面積と比較して小さくなるように記載されている。
【００３７】
例えば、教師画像の画素値を真値とし、生徒画像から抽出されたタップと真値の組み合わせからなる複数のサンプルを取得して、タップをパラメータとして真値を算出するための線形一次式の係数を、予測係数として学習する。学習された予測係数は、データベースに記憶される。なお、データベースには、予測係数とともに、例えば、クラスタップの抽出方式などの変換情報が必要に応じて記憶される。
【００３８】
このように、学習対を用いて予測係数を学習する場合、拡大倍率に応じた学習対を用意する必要がある。例えば、１.５倍、２倍、２.５倍、３倍の拡大倍率での拡大変換を行う画像処理装置を構成する場合、それらの拡大倍率に応じたデータベースをそれぞれ用意しておく必要がある。例えば、図３に示されるように、１.５倍（「×１.５」）、２倍（「×２.０」）、２.５倍（「×２.５」）、３倍（「×３.０」）の拡大倍率に対応する生徒画像と教師画像との組み合わせを用意し、それらの学習対に基づいて予測係数を学習しておく必要がある。
【００３９】
このようにすると、拡大倍率１.５倍用の予測係数等を記憶するデータベース、拡大倍率２倍用の予測係数等を記憶するデータベース、・・・をそれぞれ用意しておく必要があり、コスト増などの要因となる。
【００４０】
そこで、本発明では、拡大倍率に係らず用いることが可能な予測係数、変換情報などを記憶した統合データベースを用意することにする。
【００４１】
本発明では、各拡大倍率の画像は、被写体の画像が集光特性に応じて積分されたものと考える。すなわち、現実の被写体は、無限の拡大倍率の画像であると考え、高解像度画像や低解像度画像の画素は、無限の拡大倍率の画像の画素が複数集まって構成されているものと考える。なお、無限の拡大倍率の画像を、無限解像度画像と称することにする。
【００４２】
上述した考え方のもと、本発明では、例えば、図４に示されるように、無限の拡大倍率に対応する予測係数、変換情報などを統合データベースに記憶しておき、統合データベースから拡大倍率に応じた予測係数、変換情報などを算出するようにする。
【００４３】
図４では、被写体の画像が１.５倍、２倍、２.５倍、３倍の各拡大倍率に対応するサイズの画素によって表示される例を表している。なお、図中では、便宜上３行３列の矩形により各拡大倍率に対応する画像が示されており、各矩形の大きさが上述の画素のサイズを意味することになる。また、同図は、１.５倍（「×１.５」）、２倍（「×２.０」）、２.５倍（「×２.５」）、３倍（「×３.０」）の拡大倍率に対応する予測係数を個々に記憶せず、統合データベースに記憶された情報に基づいて、各拡大倍率に対応する予測係数が算出されることを表している。
【００４４】
以下に、この方式の詳細について説明する。
【００４５】
本発明では、無限解像度画像の各画素値は、画素位置の座標Ｒ＝（Ｒx，Ｒy）を変数とする連続関数Ｇ（Ｒ）によって記述できるものとする。無限解像度画像の各画素値は、低解像度画像の画素値Ｌkを用いて式（１）により表わされる。
【００４６】
【数１】
2011211437.tif 000003
【００４７】
式（１）において、予測タップは、低解像度画像の注目画素を中心とするｋ個の画素の画素値からなるベクトルとされ、Ｎはタップの要素数を表し、ｋはそれらの要素の番号を意味するものとする。また、式（１）において、予測係数はｋ個の要素を有するベクトルとして構成され、予測係数のｋ番目の要素がＷkとして表わされている。なお、予測係数の各要素は、従来の方式のものと同様に、出力画像（いまの場合、無限解像度画像）の所定の画素位置の画素を生成するためのものとして与えられるものなので、画素位置の座標Ｒを変数として記述されている。
【００４８】
ここで、低解像度画像より解像度が高く、無限解像度画像より解像度が低い高解像度画像の画素値Ｈh（画素Ｈhの値を意味する）を考える。上述したように、高解像度画像の画素値は、無限解像度画像の画素値が集光特性に応じて積分されたものと考えると、連続関数Ｇ（Ｒ）と座標ｒ＝（ｒx，ｒy）を変数とする集光モデルＳ（ｒ）と積算・積分により得られることになる。なお、座標ｒは、無限解像度画像の座標Ｒを中心とする相対座標とされる。
【００４９】
すなわち、図５に示されるように、高解像度画像の画素値Ｈhは、低解像度画像の画素値Ｌkを用いて予測された画素値Ｇ（Ｒ）から、集光モデルＳ（ｒ）を用いて算出されることになる。
【００５０】
同図においては、無限解像度画像の座標は点で表わされるものとし、図中の中央に示されている。また、低解像度画像は、単位面積の画像が９（＝３×３）個の画素で構成されるものとし、図中の左側に示されている。さらに、高解像度画像は、単位面積の画像が３６（＝６×６）個の画素で構成されるものとし、図中の右側に示されている。
【００５１】
なお、図５において、集光モデルＳ（ｒ）は、ガウシアンモデルの重み係数を表す三次元空間の図として表現されており、図中右下側に示されている。同図に示されるように、無限解像度画像のｘｙ平面における座標を基準として考えると、低解像度画像の画素はより面積の大きい平面であり、高解像度画像の画素はより面積の小さい平面であるにすぎない。つまり、出力画素値Ｈhの画素は、無限解像度画像のｘｙ平面における座標Ｒを中心とした、所定の面積を有する平面を意味することになる。
【００５２】
従って、高解像度画像の画素値Ｈhは、式（１）を用いて式（２）のように近似できる。
【００５３】
【数２】
2011211437.tif 000004
【００５４】
また、本発明では式（１）で用いた予測係数の各要素Ｗk（Ｒ）を、式（３）に示されるように、直交関数の積和式で近似するものとする。ここでは、直交関数の例として余弦関数を用いることにする。なお、式（３）におけるｎの値はできるだけ大きくすることが望ましい。
【００５５】
【数３】
2011211437.tif 000005
【００５６】
そうすると、式（２）におけるＤkは、高解像度画像の画素の中心座標Ｒ、高解像度画像の画素サイズＺ、集光モデルＳ（ｒ）におけるガウシアンパラメータσを変数として、式（４）により近似される。なお、Ｄkは、予測係数と同様に複数の要素からなるベクトルの１要素を表しており、このベクトルを新予測係数と称することにする。なお、式（４）におけるａ、ｂ、ｃ、ｄの値のそれぞれは、画素サイズＺに応じて定まるものとされる。
【００５７】
【数４】
2011211437.tif 000006
【００５８】
ここで、高解像度画像の画素（画素値Ｈhの画素）は、図６に示されるように構成されているものとする。すなわち、高解像度画像の画素は、無限解像度画像のｘｙ平面における座標Ｒを中心とし、水平方向にＺx、垂直方向Ｚyの長さを有する矩形で表わされるものとする。同図において、高解像度画像の画素である矩形の四隅の点が、それぞれ無限解像度画像のｘｙ平面における座標（ａ，ｄ）、（ｂ，ｄ）、（ａ，ｃ）、（ｂ，ｃ）で表わされている。なお、図中の円の半径がガウシアンパラメータσを表す。
【００５９】
図６の画素サイズＺは、例えば、図５を参照して上述した高解像度画像の画素の平面の大きさを意味し、図６のガウシアンパラメータσは、例えば、図５を参照して上述した集光モデルに用いられるパラメータ（変数）を意味する。従って、画素サイズＺは、例えば、表示装置などに実装された実際の画素の大きさを意味するものではなく、画像の解像度に応じて定まるものである。同様に、ガウシアンパラメータσも、表示装置などの実装に対応した実際の集光特性にかかわらず、例えば、解像度を変換して得られる出力画像の特性として適切な値を任意に設定できるものとしてよい。
【００６０】
図６から、式（４）におけるａ、ｂ、ｃ、ｄの値のそれぞれは、式（５）により導出することが可能である。
【００６１】
【数５】
2011211437.tif 000007
【００６２】
式（４）に示される新予測係数の要素Ｄk（Ｒ,Ｚ,σ）のそれぞれを、例えば、図２を参照して上述した従来の方式により学習された予測係数の要素のそれぞれと等しいものとして等式を生成する。そして、学習に用いられた生徒画像と教師画像に基づいて特定することが可能な座標Ｒ、画素サイズＺ、ガウシアンパラメータσを代入して連立式を解くことにより、式（４）におけるｗijkを求めることができる。
【００６３】
本発明では、式（４）におけるｗijkをそれぞれ求めて統合データベースに記憶するようにする。
【００６４】
図７を参照して詳細に説明する。図７は、低解像度画像を拡大倍率「５×５」で拡大変換する場合の例を説明する図である。
【００６５】
同図の図中左側に示される９個の矩形が入力画像（低解像度画像）のタップを表している。この例では、「Ｌ0」乃至「Ｌ8」の符号が付された矩形により入力画像の各画素が示されている。また、入力画像における注目画素が図中「Ｌ4」の符号が付された矩形で示される画素とされ、注目画素を中心とした９（＝３×３）個の画素の画素値のそれぞれがタップとされている。
【００６６】
また、この例では、入力画像の注目画素（「Ｌ4」の符号が付された矩形）に対応して図中右側に示される２５（＝５×５）個の高解像度画像の画素が生成されるものとする。図７中右側に示された２５個の矩形が、注目画素に対応して生成される高解像度画像の画素のそれぞれを表している。なお、各矩形内に示される黒い円は、各画素の中心位置を表している。また、図中の最も左上の画素が画素Ｈ0とされ、順番に符号が付されて図中の最も右下の画素が画素Ｈ24とされている。
【００６７】
なお、図７においては、図中右側の高解像度画像の画素群の４隅の座標のそれぞれを、便宜上（０,１）、（１,１）、（０,０）、（１,０）で表わしている。また、同図の高解像度画像は、低解像度画像の１画素に対応する平面に高解像度画像の画素を２５（＝５×５）個生成するものだから、画素サイズＺのｘ成分、ｙ成分ともに０.２（＝１／５）となる。これにより、画素Ｈ0の中心位置の座標は、（０.１,０.９）と特定することができる。同様に、画素Ｈ1の中心位置の座標は、（０.３,０.９）と特定され、・・・画素Ｈ24の中心位置の座標は、（０.９,０.１）と特定される。
【００６８】
いま、予め学習によって求めた予測係数の各要素ωhkと入力画像から抽出された予測タップの各要素Ｌkと用いて、高解像度画像の画素値Ｈhを、式（６）により求めることができるものとする。
【００６９】
【数６】
2011211437.tif 000008
【００７０】
式（６）に用いられている予測係数の各要素ωhkは、式（４）によって近似された新予測係数の各要素と等しいものだから、式（７）が成立する。なお、式（７）は、新予測係数Ｄk（Ｒ,Ｚ,σ）のパラメータである座標Ｒを、高解像度画像の画素Ｈ0の中心位置とした場合のものであり、高解像度画像の画素Ｈ0を求めるための予測係数の各要素は、要素ω0kとして表わされている。
【００７１】
【数７】
2011211437.tif 000009
【００７２】
また、式（６）におけるａ0、ｂ0、ｃ0、ｄ0は、それぞれ高解像度画像の画素Ｈ0に対応する矩形平面の４隅の座標を表すものであり、画素Ｈ0の中心位置の座標（０.１,０.９）と、画素サイズＺを式（５）に代入して求めることができる。
【００７３】
このように、式（６）に用いられている予測係数の要素ωhkのそれぞれを、式（４）によって近似された新予測係数の要素のそれぞれと等しいものとし、式（８）に示されるような連立式を得ることができる。式（６）の予測係数の要素ωhkにおけるｈは高解像度画像の画素位置を表すものであり、２５通りのｈが存在するので、２５個の式からなる連立式を得ることができる。
【００７４】
【数８】
2011211437.tif 000010
【００７５】
なお、式（８）における予測係数の要素ωhkのそれぞれは、例えば、図２を参照して上述した従来の方式により予め学習された予測係数の要素のそれぞれとされる。
【００７６】
いま、式（３）、式（７）、式（８）において採用するｎの値を６とする。そうすると、式（３）、式（７）、式（８）における（ｉ,ｊ）の組み合わせは、図８に示される通りとなる。
【００７７】
図８に示されるように、ｎが６である場合、ｉの値は０から５までの整数となる。ｉが０の場合、ｊの値は０から５までの整数となり、ｉが１の場合、ｊの値は０から４までの整数となり、・・・ｉが５の場合、ｊの値は０のみとなる。
【００７８】
図８に示されるように、式（３）、式（７）、式（８）において採用するｎの値を６とすると、（ｉ,ｊ）の組み合わせは２１通りとなる。すなわち、式（８）に示される２５個の式からなる連立式において、２１個のｗijkが未知数となる。
【００７９】
よって、例えば、式（８）に示される連立式の誤差項を最小にするように、最小二乗法によって、２１個のｗijkを導出することが可能となる。このようにして、ｋの値毎に２１個のｗijkを導出していく。
【００８０】
例えば、このようにして導出されたｗijkの値をそれぞれ統合データベースに記憶する。上述の例の場合、ｋは予測タップの要素数と同数の９通りあるから、１８９（＝２１×９）個のｗijkの値がそれぞれ統合データベースに記憶される。
【００８１】
統合データベースに記憶されたｗijkを用いることで、低解像度画像の画素値から高解像度画像の画素値を求めることも可能となる。このようなｗijkを係数構成値と称することにする。
【００８２】
なお、係数構成値はクラス毎に分類されて統合データベースに記憶される。すなわち、入力画像から抽出されたクラスタップに基づくクラス分類の結果に応じた係数構成値が統合データベースに記憶される。例えば、式（７）、式（８）に用いられる予測係数の各要素ωhkは予め学習によって求められたものなので、その学習において分類されたクラスと係数構成値とが対応づけられるようにすればよい。
【００８３】
ここで、統合データベースに記憶される係数構成値の詳細について、予測係数を記憶する場合と比較しながら説明する。
【００８４】
従来の画像処理装置において記憶されている予測係数は、クラス毎に分類されて、出力画像の位相に対応づけられて記憶されていた。例えば、９個の画素値からなる予測タップを用いて、低解像度画像を拡大倍率「５×５」で拡大変換する場合、次のような予測係数が記憶されることになる。この場合、１つの注目画素に対応する予測タップから画素値を算出すべき出力画像の位相として、例えば、位相０乃至位相２４の２５個の位相を考慮する必要がある。
【００８５】
クラスｃ１に分類された注目画素を中心とする予測タップに乗じられる予測係数の要素として、次の２２５個（＝９×２５）の要素が記憶される。
【００８６】
出力画像の位相０を求めるための予測タップの第１番目の要素に乗じられる要素ω01、位相０を求めるための予測タップの第２番目の要素に乗じられる要素ω02、・・・位相０を求めるための予測タップの第９番目の要素に乗じられる要素ω08が記憶される。
【００８７】
同様に、出力画像の位相１を求めるための予測タップの第１番目の要素に乗じられる要素ω11、位相１を求めるための予測タップの第２番目の要素に乗じられる要素ω12、・・・位相１を求めるための予測タップの第９番目の要素に乗じられる要素ω18が記憶される。
【００８８】
このように、出力画像の位相２乃至位相２４をそれぞれ求めるための予測タップの第１番目乃至第９番目の要素も記憶される。
【００８９】
そして、同様に、クラスｃ２に分類された注目画素を中心とする予測タップに乗じられる予測係数の要素として、やはり２２５個（＝９×２５）の要素が記憶されている。よって、全体として、クラス数×２２５個の予測係数の要素が記憶されることになる。
【００９０】
本発明の場合、統合データベースに記憶されている係数構成値は、クラス毎に分類されて、予測係数（または予測タップ）の要素に対応づけられて記憶されている。例えば、９個の画素値からなる予測タップを用いて、低解像度画像を拡大倍率「５×５」で拡大変換する場合、次のような係数構成値が記憶されることになる。なお、式（３）、式（７）、式（８）において採用するｎの値は６であるものとし、上述したように、（ｉ,ｊ）の組み合わせは、図８に示される２１通りとなる。
【００９１】
クラスｃ１に分類された注目画素を中心とする予測タップに乗じられる予測係数の要素を算出するための係数構成値として、次の１８９（＝２１×９）個の係数構成値が記憶される。
【００９２】
出力画像の画素（位相０乃至位相２４のいずれでもよい）を求めるための予測係数の第１番目の要素を算出するための係数構成値ｗ001、予測係数の第１番目の要素を算出するための係数構成値ｗ011、・・・予測係数の第１番目の要素を算出するための係数構成値ｗ501が記憶される。
【００９３】
同様に、出力画像の画素（位相０乃至位相２４のいずれでもよい）を求めるための予測係数の第２番目の要素を算出するための係数構成値ｗ002、予測係数の第２番目の要素を算出するための係数構成値ｗ012、・・・予測係数の第２番目の要素を算出するための係数構成値ｗ502が記憶される。
【００９４】
このように、予測係数の第３番目乃至第９番目の要素のそれぞれを算出するための第１番目乃至第２１番目の係数構成値も記憶される。
【００９５】
そして同様に、クラスｃ２に分類された注目画素を中心とする予測タップに乗じられる予測係数の要素を算出するための係数構成値として、やはり１８９個の係数構成値が記憶される。よって、クラス数×１８９個の係数構成値が記憶されることになる。
【００９６】
このように、本発明では、拡大倍率を任意に設定可能であるものの、記憶すべき情報の量は、従来の場合と比較して増大するものではない。よって、本発明によれば、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができるのである。
【００９７】
上述のような統合データベースを用いて、低解像度画像の画素値から高解像度画像の画素値を求める場合、入力画像（低解像度画像）の解像度、出力すべき高解像度画像の画素数などから座標Ｒ、画素サイズＺ、ガウシアンパラメータσを特定する。
【００９８】
そして、特定された座標Ｒ、画素サイズＺ、ガウシアンパラメータσをパラメータとして式（４）に代入するとともに、統合データベースから読み出した係数構成値ｗijkを式（４）に代入することで新予測係数の要素Ｄk（Ｒ,Ｚ,σ）を求めることができる。
【００９９】
このようにして求められた新予測係数の要素のそれぞれと、入力画像から抽出された予測タップの要素のそれぞれとの積和演算により、高解像度画像の画素値を得ることが可能となる。
【０１００】
図９を参照して詳細に説明する。図９は、低解像度画像を拡大倍率「３×３」で拡大変換する場合の例を説明する図である。
【０１０１】
同図の図中左側に示される９個の矩形が入力画像（低解像度画像）のタップを表している。この例では、「Ｌ0」乃至「Ｌ8」の符号が付された矩形により入力画像の各画素が示されている。また、入力画像における注目画素が図中「Ｌ4」の符号が付された矩形で示される画素とされ、注目画素を中心とした９（＝３×３）個の画素の画素値のそれぞれがタップとされている。
【０１０２】
また、この例では、入力画像の注目画素（「Ｌ4」の符号が付された矩形）に対応して図中右側に示される９（＝３×３）個の高解像度画像の画素が生成されるものとする。図９中右側に示された９個の矩形が、注目画素に対応して生成される高解像度画像の画素のそれぞれを表している。なお、各矩形内に示される黒い円は、各画素の中心位置を表している。また、図中の最も左上の画素が画素Ｈ0とされ、順番に符号が付されて図中の最も右下の画素が画素Ｈ8とされている。
【０１０３】
なお、図９においては、図中右側の高解像度画像の画素群の４隅の座標のそれぞれを、便宜上（０,１）、（１,１）、（０,０）、（１,０）で表わしている。また、同図の高解像度画像は、低解像度画像の１画素に対応する平面に高解像度画像の画素を９（＝３×３）個生成するものだから、画素サイズＺのｘ成分、ｙ成分ともに０.３３＝（１／３）となる。これにより、画素Ｈ0の中心位置の座標は、（１／６,５／６）と特定することができる。同様に、画素Ｈ1の中心位置の座標は、（３／６,５／６）と特定され、・・・画素Ｈ8の中心位置の座標は、（５／６,１／６）と特定される。
【０１０４】
この場合、高解像度画像の画素Ｈ0の値を求めるために必要となる予測係数の各要素ω0kは、式（４）を用いて式（９）により求めることができる。
【０１０５】
【数９】
2011211437.tif 000011
【０１０６】
なお、ここでは、高解像度画像の画素値を求めるために必要となる予測係数の各要素をωkとして表わしているが、これらの要素は、式（４）に示される新予測係数の要素Ｄkのそれぞれと同じものである。よって、式（９）により新予測係数の各要素が算出されると言い換えることもできる。
【０１０７】
式（９）に、画素サイズＺ、ガウシアンパラメータσをパラメータとして代入するとともに、統合データベースから読み出した係数構成値ｗijkを代入すれば、予測係数の各要素ω0kの値が算出される。このとき、拡大変換の倍率に係らず、統合データベースに記憶されている係数構成値ｗijkが全て用いられる。例えば、上述したように、１８９（＝２１×９）個の係数構成値がそれぞれ統合データベースに記憶されている場合、２１個の係数構成値がそれぞれ式（９）に代入される。
【０１０８】
例えば、要素ω00の値を算出するために、２１個の係数構成値が式（９）に代入され、要素ω01の値を算出するために、別の２１個の係数構成値が式（９）に代入され、要素ω02の値を算出するために、さらに別の２１個の係数構成値が式（９）に代入される。このように、要素ω00乃至要素ω08を算出するために１８９個の係数構成値が用いられることになる。
【０１０９】
なお、図７を参照して説明した場合と同様に、式（９）におけるａ0、ｂ0、ｃ0、ｄ0は、それぞれ高解像度画像の画素Ｈ0に対応する矩形平面の４隅の座標を表すものであり、画素Ｈ0の中心位置の座標と、画素サイズを式（５）に代入して求めることができる。
【０１１０】
このようにして、８１（＝９×９）個の予測係数の各要素ω0kの値を求め、それら予測係数の要素のそれぞれと、入力画像から抽出された予測タップの要素のそれぞれとの積和演算により、高解像度画像の画素Ｈ0乃至画素Ｈ8の画素値のそれぞれを得ることが可能となる。
【０１１１】
例えば、高解像度画像の画素Ｈ0の画素値をもとめる場合、低解像度画像の画素Ｌ0の画素値と予測係数の各要素ω00との積が演算され、低解像度画像の画素Ｌ1の画素値と予測係数の各要素ω01との積が演算され、・・・低解像度画像の画素Ｌ8の画素値と予測係数の各要素ω08との積が演算される。そしてそれらの積の値の和が演算されて高解像度画像の画素Ｈ0の画素値とされる（式（６）に示される演算と同じ）。
【０１１２】
このような演算が９（画素Ｈ0乃至画素Ｈ8）回行われることにより、低解像度画像の画素Ｌ0乃至画素Ｌ8の画素値（予測タップ）に基づいて、高解像度画像の画素Ｈ0乃至画素Ｈ8の画素値のそれぞれを得ることができる。そして、入力画像の注目画素を別の画素とした予測タップを新たに抽出し、その予測タップに基づいて、別の９個の高解像度画像の画素値が演算されることになる。このような画素値の演算を繰り返すことにより、最終的には、入力画像を「３×３」の拡大倍率で拡大変換した出力画像が生成されることになる。
【０１１３】
なお、式（９）においてガウシアンパラメータσの値を調整することにより、出力画像（高解像度画像）のぼけ感を調整することもできる。例えば、ガウシアンパラメータσの値を大きくするとぼけた画像が出力され、ガウシアンパラメータσの値を小さくするとぼけの少ないシャープな画像が出力される。
【０１１４】
また、ここでは、集光特性を表すモデル（集光モデル）としてガウシアンモデルを用いる例について説明したが、ガウシアンモデルに代えてサーキュラモデルを採用することも可能である。
【０１１５】
サーキュラモデルは、例えば、図５に示されるガウシアンモデルの場合と異なり、中心から半径Ｒcの円内での重み係数が一定となる。図１０は、サーキュラモデルの重み係数を表す三次元空間の図である。
【０１１６】
また、集光モデルにサーキュラモデルを採用する場合、図６は、図１１に示されるように書き換えられる。図１１においては、図中の円の半径がサーキュラの半径Ｒcとされている。
【０１１７】
集光モデルにサーキュラモデルを採用する場合、式（２）におけるＤkは、高解像度画像の画素の中心座標Ｒ、高解像度画像の画素サイズＺ、集光モデルＳ（ｒ）におけるサーキュラの半径Ｒcを変数として、式（１０）により近似される。
【０１１８】
【数１０】
2011211437.tif 000012
【０１１９】
なお、式（１０）における関数Ｊ0（ｘ）は、零次ベッセル関数である。
【０１２０】
式（１０）に示される新予測係数の要素Ｄk（Ｒ,Ｚ,Ｒc）のそれぞれを、例えば、図２を参照して上述した従来の方式により学習された予測係数の要素のそれぞれと等しいものとして、式（１０）における係数構成値ｗijkを求めるようにしてもよい。
【０１２１】
この他、集光モデルに画素積分モデルを採用するようにしてもよい。画素積分モデルは、式（１１）により定義されるモデルである。このモデルは、矩形の画素を想定し、式（１１）のＺxとＺyはそれぞれ画素の水平方向の長さと垂直方向の長さを表している。
【０１２２】
【数１１】
2011211437.tif 000013
【０１２３】
一方、ガウシアンモデルは、式（１２）により定義される。
【０１２４】
【数１２】
2011211437.tif 000014
【０１２５】
さらにサーキュラモデルは式（１３）により定義される。
【０１２６】
【数１３】
2011211437.tif 000015
【０１２７】
このように、集光モデルを他のモデルに置き換えても、本発明による拡大変換処理を行うことが可能である。
【０１２８】
図１２は、本発明の一実施の形態に係る画像処理装置１００の構成例を示すブロック図である。同図に示される画像処理装置１００は、例えば、低解像度の画像Ｌが入力画像として入力され、画像Ｌの所定の画素に基づいて高解像度Ｈの画素Ｈhを生成して出力画像として出力するものとされる。すなわち、画像処理装置１００により画像の拡大変換が行われる。
【０１２９】
入力画像は、クラスタップ抽出部１２１に供給され、注目画素が設定される。クラスタップ抽出部１２１は、例えば、注目画素値およびその周辺画素値などとして構成されるクラスタップＬｃを抽出するようになされている。クラスタップは、例えば、数次元から数十次元のベクトルとなる。
【０１３０】
クラス分類部１２２は、抽出されたクラスタップを解析することにより、当該クラスタップを所定のクラス（ｃｌａｓｓ）に分類し、クラスを決定する。
【０１３１】
予測タップ抽出部１２４は、クラス分類部１２２により決定されたクラスに対応して予め定められた予測タップを、入力画像から抽出する。予測タップＬclass,kは、注目画素値およびその周辺画素値などとして構成され、この例では、ｋ個の要素を有するベクトルであるものとする。
【０１３２】
なお、クラスタップ抽出部１２１、クラス分類部１２２、および予測タップ抽出部１２４のそれぞれは、図１に示される従来の画像処理装置１０のクラスタップ抽出部２１、クラス分類部２２、および予測タップ抽出部２４と同様のものである。
【０１３３】
上述したように、本発明では、式（８）における予測係数の要素ωhkのそれぞれは、例えば、図２を参照して上述した従来の方式により予め学習された予測係数の要素のそれぞれとされて、式（８）の連立式を解く。従って、例えば、図１に示される従来の画像処理装置１０に用いられる予測係数の要素を式（８）に代入して連立式を解いて求めた係数構成値ｗijkが統合データベースに記憶されている場合、画像処理装置１０と同様のクラス分類とタップの抽出を行えばよい。
【０１３４】
例えば、クラスタップ抽出部２１が２５個の画素値からなるクラスタップを取得し、クラス分類部２２が方式Ａでクラス分類し、予測タップ抽出部２４が９個の画素値からなる予測タップを抽出するものである場合、クラスタップ抽出部１２１が２５個の画素値からなるクラスタップを取得し、クラス分類部１２２が方式Ａでクラス分類し、予測タップ抽出部１２４が９個の画素値からなる予測タップを抽出するようにする。
【０１３５】
また、例えば、クラスタップ抽出部２１が９個の画素値からなるクラスタップを取得し、クラス分類部２２が方式Ｂでクラス分類し、予測タップ抽出部２４が２５個の画素値からなる予測タップを抽出するものである場合、クラスタップ抽出部１２１が９個の画素値からなるクラスタップを取得し、クラス分類部１２２が方式Ｂでクラス分類し、予測タップ抽出部１２４が２５個の画素値からなる予測タップを抽出するようにする。
【０１３６】
予測係数決定部１２３は、入力画像の注目画素に対応する出力画像の画素位置ｈの画素を生成するために必要となる係数構成値であって、クラス分類部１２２により決定されたクラスに対応する係数構成値を統合データベース１２７から読み出すようになされている。この例では、係数構成値ｗclass,ijkが予測係数決定部１２３により読みだされて予測係数算出部１２６に供給されている。
【０１３７】
そして、予測係数算出部１２６は、予測係数決定部１２３から供給される係数構成値と、座標Ｒ、画素サイズＺ、ガウシアンパラメータσに基づいて新予測係数の各要素を算出する。このとき、例えば、式（４）を参照して上述した演算が行われる。
【０１３８】
なお、座標Ｒ、画素サイズＺ、ガウシアンパラメータσは、拡大変換における倍率、出力画像の特性などに基づいて予め特定されているものとする。
【０１３９】
予測処理部１２５は、予測タップ抽出部１２４から供給された予測タップの要素のそれぞれと、予測係数算出部１２６から供給された新予測係数の要素のそれぞれとの積和演算を行うことにより、高解像度画像の所定の画素Ｈhを生成して出力するようになされている。
【０１４０】
このようにして、本発明による画像の拡大変換が行われる。
【０１４１】
次に、図１３のフローチャートを参照して、図１２の画像処理装置１００による拡大変換処理の例について説明する。この処理は、例えば、低解像度の画像Ｌが入力画像として入力され、画像Ｌの所定の画素に基づいて高解像度Ｈの画素を生成して出力画像として出力することが指令されたとき実行される。
【０１４２】
ステップＳ２１において、予測係数算出部１２６は、パラメータの入力を受け付ける。ここで、パラメータは、例えば、生成すべき高解像度画像の画素値の座標Ｒ、画素サイズＺ、ガウシアンパラメータσとされる。なお、座標Ｒ、画素サイズＺ、ガウシアンパラメータσは、例えば、ユーザによって、拡大変換における倍率、出力画像の特性などに基づいて特定されるものとする。
【０１４３】
ステップＳ２２において、クラスタップ抽出部１２１は入力画像から、例えば、注目画素値およびその周辺画素値などとして構成されるクラスタップを抽出する。
【０１４４】
ステップＳ２３において、クラス分類部１２２は、ステップＳ２２の処理で抽出されたクラスタップを解析することにより、当該クラスタップを所定のクラスに分類し、クラスを決定する。
【０１４５】
ステップＳ２４において、予測係数決定部１２３は、入力画像の注目画素に対応する出力画像の所定の画素位置の画素を生成するために必要となる係数構成値であって、ステップＳ２３の処理で決定されたクラスに対応する係数構成値を統合データベース１２７から読み出す。
【０１４６】
ステップＳ２５において、予測係数算出部１２６は、ステップＳ２４の処理で予測係数決定部１２３から供給される係数構成値と、ステップＳ２１で受け付けた座標Ｒ、画素サイズＺ、ガウシアンパラメータσに基づいて新予測係数の各要素を算出する。このとき、例えば、式（４）を参照して上述した演算が行われる。
【０１４７】
ステップＳ２６において、予測タップ抽出部１２４は、ステップＳ２３でクラス分類部１２２により決定されたクラスに対応して予め定められた予測タップを、入力画像から抽出する。予測タップは、注目画素値およびその周辺画素値などとして構成される。
【０１４８】
なお、予測タップ抽出部１２４による予測タップの抽出は、ステップＳ２３の処理の後、ステップＳ２４の処理の前、またはステップＳ２５の処理の前に実行されるようにしてもよい。
【０１４９】
ステップＳ２７において、予測処理部１２５は、ステップＳ２６で予測タップ抽出部１２４から供給された予測タップの要素のそれぞれと、ステップＳ２５で予測係数算出部１２６から供給された新予測係数の要素のそれぞれとの積和演算を行う。これにより、拡大変換後の画像（高解像度画像）の所定の画素の画素値が演算されて画素が生成される。
【０１５０】
ステップＳ２８において、出力画像の全画素値が演算されたか否かが判定される。
【０１５１】
ステップＳ２６において、まだ、全画素値が演算されていないと判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
【０１５２】
ステップＳ２６において、出力画像の全画素値が演算されたと判定された場合、処理は、終了する。
【０１５３】
このようにして拡大変換処理が実行される。
【０１５４】
このように、本発明によれば、任意の拡大倍率で自在に拡大変換を行うことが可能となる。
【０１５５】
例えば、図１４に示されるように、１.５倍（「×１.５」）と２.５倍（「×２.５」）の拡大倍率に対応する生徒画像と教師画像との組み合わせを用意し、それらの学習対に基づいて予測係数を学習すれば、２倍、３倍の拡大倍率での拡大変換も行うことが可能となる。
【０１５６】
なお、図１４は、２倍（「×２.０」）の拡大倍率および３倍（「×３.０」）の拡大倍率における生徒画像と教師画像の学習対を用意できなかった場合を表している。そして、このような場合でも、統合データベースに記憶された情報を用いれば、２倍または３倍の拡大倍率に対応する予測係数を生成できることを表している。
【０１５７】
すなわち、統合データベースに記憶されている係数構成値を用いて式（４）の演算を行えば、実際に学習していない２倍、３倍の拡大倍率に対応する予測係数を簡単に生成することができる。これにより、例えば、超高倍率の拡大変換などのように学習対が用意できない場合でも、本発明の画像処理装置１００を用いて拡大変換を行うことが可能となる。
【０１５８】
また、式（３）におけるｎの値を十分に大きくとれば、拡大変換処理によって生成された出力画像の画質は、直接学習で求めた予測係数を用いて拡大変換された画像の画質と比較しても遜色ないものとなる。
【０１５９】
さらに、本発明によれば、従来の拡大変換よりも高い画質の出力画像を得ることができる。図１５は、本発明によって、より高画質の拡大変換を実現する方式を説明する図である。
【０１６０】
図１５においては、便宜上入力画像が１２（＝４×３）個の矩形により表わされている。白い矩形が低解像度画像の画素（入力画素）を表しており、それらの白い矩形の中の円は画素の中心を表している。また、図中の中央に示される比較的面積の小さい矩形が高解像度画像の画素（出力画素）を表している。出力画素の中に示された「×」の記号が出力画素の中心の位置を表している。拡大変換処理の際に特定すべき出力画像の画素位置（例えば、高解像度画像の所定の画素Ｈh）の座標（出力位相）が同図の「×」の記号の位置に対応する。この例では、出力位相は、水平方向と垂直方向の位置がそれぞれ、画像の中央となっている。
【０１６１】
いま、図１５に示されるように、出力位相の水平方向の位置が左から２列目と３列目の中間に位置する場合、予測タップの画素値として用いる画素の位置をどう特定するか問題となる。例えば、従来の画像処理装置１０による拡大変換処理では、入力画素のうち左から３列分の９個の画素値によるタップ（予測タップ）を用いて出力画素の画素値を求めていた。入力画素の右から３列分の９個の画素値によるタップを用いて出力画素の画素値を求めてもよい。
【０１６２】
つまり、出力位相に近い入力画素が最も相関性が高いと考えられるので、通常、出力位相に近い入力画素の画素値をタップとして用いるが、出力位相が入力画素と入力画素の中央に位置する場合、一意に特定できない。このような場合、例えば、左から３列分の９個の画素値によるタップまたは右から３列分の９個の画素値によるタップのように、所定の基準でいずれかを選択しても、出力画素値を高精度に演算できる保証はない。
【０１６３】
本発明によれば、出力画素の面積を半分に分割し、出力画素の左半分の画素値を入力画素の左から３列分の９個の画素値によるタップを用いて算出し、出力画素の右半分の画素値を入力画素の右から３列分の９個の画素値によるタップを用いて算出することができる。そして、算出された左半分の画素値と右半分の画素値を足し合わせて出力画素の画素値とすることができる。
【０１６４】
すなわち、従来の拡大変換処理は、出力画素の面積が考慮されておらず、出力画素の中心の位置である出力位相の画素値を算出するものだったので、出力画素を分割して画素値を算出することはできなかった。つまり、実際には、所定の面積を有する画素であるにも関わらず、従来の拡大変換処理は、図中の「×」の記号の位置に対応する点の画素値を算出するのみであった。
【０１６５】
これに対して本発明では上述したように、高解像度画像の画素値は、無限解像度画像の画素値が集光特性に応じて積分されたものと考え、予測係数の算出が行われるようにしたので、出力画素の面積を自在に設定することが可能となった。例えば、図１３のステップＳ２１で受け付けられるパラメータのうちの座標Ｒと画素サイズＺを適切に設定することにより、図１５に示されるような分割された出力画素の画素値を算出することが可能となる。
【０１６６】
例えば、図１５に示されるように、出力位相が入力画素の画素列の中間に位置している場合、入力画素の左３列分の画素をタップとして用いても、入力画素の右３列分の画素をタップとして用いても、高精度で出力画素の画素値を演算することはできない。
【０１６７】
本発明によれば、出力位相が入力画素の画素列の中間に位置している場合、出力画素を分割してそれぞれ画素値を演算することができるので、より高画質の拡大変換を実現することが可能である。
【０１６８】
なお、図１５では、出力画素を２分割する例について説明したが、勿論、４分割されるようにしてもよい。このように、出力画素を必要に応じて分割してそれぞれ画素値を演算し、それらの画素値を足し合わせて最終的に出力画素の画素値を算出するようにすれば、より高画質の拡大変換を実現することができる。
【０１６９】
図１６は、図１５を参照して上述した方式により拡大変換処理を行った場合の効果を説明する図である。
【０１７０】
図１６は、横軸が入力画素の中心と出力位相との距離を表し、縦軸が出力画素の画素値のＳ／Ｎ比を表している。図中の線１９１は、本発明による拡大変換処理であって、図１５を参照して上述した方式を採用した拡大変換処理により得られた出力画素の画素値のＳ／Ｎ比の変化を表している。図中の線１９２は、従来の拡大変換処理により得られた出力画素の画素値のＳ／Ｎ比の変化を表している。
【０１７１】
なお、本発明による拡大変換処理の場合、図中垂直方向の点線で示される位置に対応する距離（０.３２程度）を境に、それ以上距離が大きい場合は、出力画素を分割して画素値を演算し、それらの画素値を足し合わせて最終的に出力画素の画素値を算出している。
【０１７２】
図１６に示されるように、線１９１と線１９２を比較した場合、出力位相が入力画素の中心から離れるに従って、線１９１により示されるＳ／Ｎ比が高くなっている（画質が向上している）。この例では、出力位相と入力画素の中心との距離が約「０.４５」である場合、従来の技術と比較して５ｄＢ程度画質を向上させることができることが分かる。
【０１７３】
このように、本発明によれば、画質を向上させるとともに、簡単な構成で多様な変換パターンに対応することができる。
【０１７４】
以上においては、本発明により解像度変換処理を行う場合を例として説明したが、他の画質変換処理にも本発明を適用することができる。例えば、ぼけ除去処理、ノイズ除去処理などの高画質化処理を行う場合にも、本発明を適用することができる。すなわち、本発明によれば、例えば、ぼけの度合い、ノイズの大きさに係らず、統合データベースを用いて予測係数を算出することも可能となる。
【０１７５】
従って、上述した拡大変換処理は、図１２を参照して上述した画像処理装置１００により実行される高画質化処理の一例ともいうことができる。
【０１７６】
図１２を参照して上述した画像処理装置１００は、例えば、高画質化回路としてテレビジョン受像機に搭載することも可能である。図１７は、図１２を参照して上述した画像処理装置を搭載したテレビジョン受像機５１１の構成例を示すブロック図である。
【０１７７】
同図のテレビジョン受像機５１１は、被制御部５３１および制御部５３２から構成される。被制御部５３１は、制御部５３２の制御の下、テレビジョン受像機５１１の種々の機能を実現する。
【０１７８】
被制御部５３１は、デジタルチューナ５５３、デマルチプレクサ（Demux）５５４、ＭＰＥＧ(Moving Picture Expert Group)デコーダ５５５、映像・グラフィック処理回路５５６、パネル駆動回路５５７、表示パネル５５８、音声処理回路５５９、音声増幅回路５６０、スピーカ５６１、および受信部５６２を備えている。また、制御部５３２は、ＣＰＵ（Central Processing Unit）５６３、フラッシュＲＯＭ５６４、ＤＲＡＭ（Dynamic Random Access Memory）５６５、および内部バス５６６を備えている。
【０１７９】
デジタルチューナ５５３は、図示せぬアンテナ端子から入力されたテレビジョン放送信号を処理して、ユーザの選択したチャンネルに対応した所定のＴＳ（Transport Stream）を、デマルチプレクサ５５４に供給する。
【０１８０】
デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ユーザの選択したチャンネルに対応した、パーシャルＴＳ（映像信号のＴＳパケット、音声信号のＴＳパケット）を抽出し、ＭＰＥＧデコーダ５５５に供給する。
【０１８１】
また、デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ＰＳＩ／ＳＩ(Program Specific Information/Service Information)を取り出し、ＣＰＵ５６３に供給する。デジタルチューナ５５３から供給されたＴＳには、複数のチャンネルが多重化されている。デマルチプレクサ５５４がＴＳから任意のチャンネルのパーシャルＴＳを抽出する処理は、ＰＳＩ／ＳＩ（ＰＡＴ/ＰＭＴ）から任意のチャンネルのパケットＩＤ（ＰＩＤ）の情報を得ることで可能となる。
【０１８２】
ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される映像信号のＴＳパケットにより構成される映像ＰＥＳ(Packetized Elementary Stream)パケットに対してデコード処理を行い、その結果得られる映像信号を、映像・グラフィック処理回路５５６に供給する。また、ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される音声信号のＴＳパケットにより構成される音声ＰＥＳパケットに対してデコード処理を行い、その結果得られる音声信号を、音声処理回路５５９に供給する。
【０１８３】
映像・グラフィック処理回路５５６は、ＭＰＥＧデコーダ５５５から供給された映像信号に対して、必要に応じて、スケーリング処理、グラフィックスデータの重畳処理等を行い、パネル駆動回路５５７に供給する。
【０１８４】
映像・グラフィック処理回路５５６には、高画質化回路５７０が接続されており、パネル駆動回路５５７に映像信号を供給するのに先立って、高画質化処理が実行される。
【０１８５】
高画質化回路５７０は、図１２を参照して上述した画像処理装置と同様の構成とされ、ＭＰＥＧデコーダ５５５から供給された映像信号から得られた画像データに対して、例えば、図１３を参照して上述した拡大変換処理を高画質化処理として実行するようになされている。
【０１８６】
パネル駆動回路５５７は、映像・グラフィック処理回路５５６から供給された映像信号に基づいて、表示パネル５５８を駆動し、映像を表示させる。表示パネル５５８は、例えば、ＬＣＤ(Liquid Crystal Display)またはＰＤＰ(Plasma Display Panel)等で構成されている。
【０１８７】
音声処理回路５５９は、ＭＰＥＧデコーダ５５５から供給された音声信号に対してＤ/Ａ（Digital to Analog）変換等の必要な処理を行い、音声増幅回路５６０に供給する。
【０１８８】
音声増幅回路５６０は、音声処理回路５５９から供給されるアナログ音声信号を増幅し、スピーカ５６１に供給する。スピーカ５６１は、音声増幅回路５６０からのアナログ音声信号に応じた音声を出力する。
【０１８９】
受信部５６２は、リモートコントローラ５６７から送信された、例えば赤外線のリモートコントロール信号を受信し、ＣＰＵ５６３に供給する。ユーザは、リモートコントローラ５６７を操作することで、テレビジョン受像機５１１の操作を行うことができる。
【０１９０】
ＣＰＵ５６３、フラッシュＲＯＭ５６４、およびＤＲＡＭ５６５は、内部バス５６６を介して接続されている。ＣＰＵ５６３は、テレビジョン受像機１１の各部の動作を制御する。フラッシュＲＯＭ５６４は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ５６５は、ＣＰＵ５６３のワークエリア等を構成する。すなわち、ＣＰＵ５６３は、フラッシュＲＯＭ５６４から読み出したソフトウェアやデータをＤＲＡＭ５６５上に展開してソフトウェアを起動し、テレビジョン受像機５１１の各部を制御する。
【０１９１】
このように本発明をテレビジョン受像機に適用することができる。
【０１９２】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１８に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１９３】
図１８において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１９４】
CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１９５】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１９６】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１９７】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１９８】
なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１９９】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２００】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２０１】
１００  画像処理装置，  １２１  クラスタップ抽出部，  １２２  クラス分類部，  １２３  係数決定部，  １２４  予測タップ抽出部，  １２５  予測処理部，  １２６  予測係数算出部，  １２７  統合データベース，    ５１１  テレビジョン受像機，  ５７０  高画質化回路，  ７０１  ＣＰＵ，  ７０２  ＲＯＭ，  ７１１  リムーバブルメディア
【図１】
2011211437.tif 000016
【図２】
2011211437.tif 000017
【図３】
2011211437.tif 000018
【図４】
2011211437.tif 000019
【図５】
2011211437.tif 000020
【図６】
2011211437.tif 000021
【図７】
2011211437.tif 000022
【図８】
2011211437.tif 000023
【図９】
2011211437.tif 000024
【図１０】
2011211437.tif 000025
【図１１】
2011211437.tif 000026
【図１２】
2011211437.tif 000027
【図１３】
2011211437.tif 000028
【図１４】
2011211437.tif 000029
【図１５】
2011211437.tif 000030
【図１６】
2011211437.tif 000031
【図１７】
2011211437.tif 000032
【図１８】
2011211437.tif 000033