(57)【特許請求の範囲】
【請求項１】
第１の画像信号から第１の画像信号の解像度よりも高い解像度の第２の画像信号を生成する画像信号処理装置において、
上記第１の解像度の第１の画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいて所定のクラスに分類する分類手段と、
上記第１の画像信号から上記第２の画像信号を予測生成するための、上記分類手段において分類されるクラスに対応した予測パラメータが、あらかじめ学習により求められて保持され、上記分類手段において分類されたクラスに対応した予測パラメータが読み出されるパラメータテーブルと、
上記第１の画像信号を上記ブロック毎に直交変換して直交変換係数を第１の符号化データとする変換手段と、
変換対象のブロックの上記第１の符号化データの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１の符号化データより高い解像度の画像信号とする第２の符号化データの直交変換係数を、上記変換対象のブロックの上記第１の符号化データと、上記変換対象のブロックの予測パラメータとの積和演算によって予測することにより生成する予測手段と、
上記変換対象のブロックの上記第２の符号化データを逆直交変換し、上記第１の画像信号の解像度よりも高い解像度の上記第２の画像信号を得る逆変換手段と
を有することを特徴とする画像信号処理装置。
【請求項２】
上記分類手段は、上記波形パターンを適応型ダイナミックレンジ符号化をして得られるクラスコードによって分類することを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
上記変換手段は、離散コサイン変換にて直交変換をすることを特徴とする請求項１記載の画像信号処理装置。
【請求項４】
上記予測手段は、周波数領域において、上記第１の符号化データより高周波側領域にデータを予測生成することを特徴とする請求項３記載の画像信号処理装置。
【請求項５】
上記予測手段は、周波数領域において、第１の符号化データより符号化データ数が多い第２の符号化データを生成することを特徴とする請求項１記載の画像信号処理装置。
【請求項６】
上記予測手段は、上記直交変換された空間において、上記変換対象のブロックの上記予測生成される第２の符号化データの一部データとして、該変換対象のブロックの上記第１の符号化データを用いることを特徴とする請求項１記載の画像信号処理装置。
【請求項７】
第１の画像信号から第１の画像信号の解像度よりも高い解像度の第２の画像信号を生成する画像信号処理方法において、
上記第１の解像度の第１の画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいて所定のクラスに分類する分類工程と、
上記第１の画像信号から上記第２の画像信号を予測生成するための、上記分類工程において分類されるクラスに対応した予測パラメータが、あらかじめ学習により求められて保持され、上記分類手段において分類されたクラスに対応した予測パラメータをパラメータテーブルから読み出す読み出し工程と、
上記第１の画像信号を上記ブロック毎に直交変換して直交変換係数を第１の符号化データとする変換工程と、
変換対象のブロックの上記第１の符号化データの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１の符号化データより高い解像度の画像信号とする第２の符号化データの直交変換係数を、上記変換対象のブロックの上記第１の符号化データと、上記変換対象のブロックの予測パラメータとの積和演算によって予測することにより生成する予測工程と、
上記変換対象のブロックの上記第２の符号化データを逆直交変換し、上記第１の画像信号の解像度よりも高い解像度の上記第２の画像信号を得る逆変換工程と
を有することを特徴とする画像信号処理方法。
【請求項８】
第１の解像度の第１の画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいて所定のクラスに分類する分類手段と、
上記第１の画像信号から上記第２の画像信号を予測生成するための、上記分類手段において分類されるクラスに対応した予測パラメータが、あらかじめ学習により求められて保持され、上記分類手段において分類されたクラスに対応した予測パラメータが読み出されるパラメータテーブルと、
上記第１の画像信号を上記ブロック毎に直交変換して直交変換係数を第１の符号化データとする変換手段と、
変換対象のブロックの上記第１の符号化データの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１の符号化データより高い解像度の画像信号とする第２の符号化データの直交変換係数を、上記変換対象のブロックの上記第１の符号化データと、上記変換対象のブロックの予測パラメータとの積和演算によって予測することにより生成する予測手段と、
上記変換対象のブロックの上記第２の符号化データを逆直交変換し、上記第１の画像信号の解像度よりも高い解像度の上記第２の画像信号を得る逆変換手段と
を有する画像信号処理装置において用いられる、上記予測パラメータを生成する学習装置であって、
第１の解像度の第１の学習用画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいてクラスに分類する分類手段と、
上記第１の学習用画像信号を上記ブロック毎に直交変換して直交変換係数を第１のデータとする第１の変換手段と、
上記第１の学習用画像信号と同一の対象を撮像した、上記第１の学習用画像信号より高解像度の第２の学習用画像信号を直交変換して第２のデータとする第２の変換手段と、
変換対象のブロックの上記第１のデータの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１のデータより高い解像度の画像信号とする第２のデータの直交変換係数を、上記変換対象のブロックの上記第１のデータと、上記変換対象のブロックの予測パラメータとの積和演算によって予測すると共に、上記分類手段において分類されたクラスに対応して、上記直交変換された空間において、上記予測値と上記第２のデータとの誤差を小さくする上記予測パラメータを保持する変換テーブルを作成する変換テーブル作成手段と
を有することを特徴とする予測パラメータの学習装置。
【請求項９】
上記分類手段は、上記波形パターンを適応型ダイナミックレンジ符号化して得られるクラスコードによって分類することを特徴とする請求項８記載の予測パラメータの学習方法。
【請求項１０】
上記第１及び第２の変換手段は、離散コサイン変換にて直交変換をすることを特徴とする請求項８記載の予測パラメータの学習装置。
【請求項１１】
上記変換テーブル作成手段は、直交変換された空間で、上記予測値と上記第２のデータとの誤差が最小二乗法によって最小になるような上記予測パラメータを算出することを特徴とする請求項８記載の予測パラメータの学習装置。
【請求項１２】
第１の解像度の第１の画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいて所定のクラスに分類する分類手段と、
上記第１の画像信号から上記第２の画像信号を予測生成するための、上記分類手段において分類されるクラスに対応した予測パラメータが、あらかじめ学習により求められて保持され、上記分類手段において分類されたクラスに対応した予測パラメータが読み出されるパラメータテーブルと、
上記第１の画像信号を上記ブロック毎に直交変換して直交変換係数を第１の符号化データとする変換手段と、
変換対象のブロックの上記第１の符号化データの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１の符号化データより高い解像度の画像信号とする第２の符号化データの直交変換係数を、上記変換対象のブロックの上記第１の符号化データと、上記変換対象のブロックの予測パラメータとの積和演算によって予測することにより生成する予測手段と、
上記変換対象のブロックの上記第２の符号化データを逆直交変換し、上記第１の画像信号の解像度よりも高い解像度の上記第２の画像信号を得る逆変換手段と
を有する画像信号処理装置において用いられる、上記予測パラメータを生成する学習方法であって、
第１の解像度の第１の学習用画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいてクラスに分類する分類工程と、
上記第１の学習用画像信号を上記ブロック毎に直交変換して直交変換係数を第１のデータとする第１の変換工程と、
上記第１の学習用画像信号と同一の対象を撮像した、上記第１の学習用画像信号より高解像度の第２の学習用画像信号を直交変換して第２のデータとする第２の変換工程と、
変換対象のブロックの上記第１のデータの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１のデータより高い解像度の画像信号とする第２のデータの直交変換係数を、上記変換対象のブロックの上記第１のデータと、上記変換対象のブロックの予測パラメータとの積和演算によって予測すると共に、上記分類工程において分類されたクラスに対応して、上記直交変換された空間において、上記予測値と上記第２のデータとの誤差を小さくする上記予測パラメータを保持する変換テーブルを作成する変換テーブル作成工程と
を有することを特徴とする予測パラメータの学習方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、標準解像度の画像信号を高解像度の画像信号に変換する画像信号処理装置及び方法、並びに上記変換を学習する予測パラメータの学習装置及び方法に関する。
【０００２】
【従来の技術】
従来、画像信号としては、例えば５２５本の走査線を有する標準テレビジョン受像機相当の画素数及び画質を有する標準解像度（standard definition; SD）のＳＤ信号が提供されている。また、例えば１１２５本の走査線を有する高解像度のテレビジョン受像器等に対応する画素数及び画質を有する高解像度（high definition; HD）のＨＤ信号が提供されている。
【０００３】
ところで、ＨＤ信号に対応する高解像度のテレビジョン受像器に対してＳＤ信号が与えられる場合がある。このような場合には、ＳＤ信号をＨＤ信号に変換する信号変換、いわゆるアップコンバージョンが施される。
【０００４】
【発明が解決しようとする課題】
このアップコンバージョンの際には、線形補間によって画素を増やす処理を行っていた。しかし、この線形補間によるアップコンバージョンによっては、解像度を向上させることは不可能であった。
【０００５】
この発明は、上述の課題に鑑みてなされるものであって、アップコンバージョンの際に解像度を向上させる画像信号処理装置及び方法並びにアップコンバージョンの際に用いられる予測パラメータの学習装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像信号処理装置は、第１の画像信号から第１の画像信号の解像度よりも高い解像度の第２の画像信号を生成する画像信号処理装置において、上記第１の解像度の第１の画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいて所定のクラスに分類する分類手段と、上記第１の画像信号から上記第２の画像信号を予測生成するための、上記分類手段において分類されるクラスに対応した予測パラメータが、あらかじめ学習により求められて保持され、上記分類手段において分類されたクラスに対応した予測パラメータが読み出されるパラメータテーブルと、上記第１の画像信号を上記ブロック毎に直交変換して直交変換係数を第１の符号化データとする変換手段と、変換対象のブロックの上記第１の符号化データの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１の符号化データより高い解像度の画像信号とする第２の符号化データの直交変換係数を、上記変換対象のブロックの上記第１の符号化データと、上記変換対象のブロックの予測パラメータとの積和演算によって予測することにより生成する予測手段と、上記変換対象のブロックの上記第２の符号化データを逆直交変換し、上記第１の画像信号の解像度よりも高い解像度の上記第２の画像信号を得る逆変換手段とを有するものである。
【０００７】
また、本発明に係る画像信号処理方法は、第１の画像信号から第１の画像信号の解像度よりも高い解像度の第２の画像信号を生成する画像信号処理方法において、上記第１の解像度の第１の画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいて所定のクラスに分類する分類工程と、上記第１の画像信号から上記第２の画像信号を予測生成するための、上記分類工程において分類されるクラスに対応した予測パラメータが、あらかじめ学習により求められて保持され、上記分類手段において分類されたクラスに対応した予測パラメータをパラメータテーブルから読み出す読み出し工程と、上記第１の画像信号を上記ブロック毎に直交変換して直交変換係数を第１の符号化データとする変換工程と、変換対象のブロックの上記第１の符号化データの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１の符号化データより高い解像度の画像信号とする第２の符号化データの直交変換係数を、上記変換対象のブロックの上記第１の符号化データと、上記変換対象のブロックの予測パラメータとの積和演算によって予測することにより生成する予測工程と、上記変換対象のブロックの上記第２の符号化データを逆直交変換し、上記第１の画像信号の解像度よりも高い解像度の上記第２の画像信号を得る逆変換工程とを有するものである。
【０００８】
また、本発明に係る予測パラメータの学習装置は、第１の解像度の第１の画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいて所定のクラスに分類する分類手段と、上記第１の画像信号から上記第２の画像信号を予測生成するための、上記分類手段において分類されるクラスに対応した予測パラメータが、あらかじめ学習により求められて保持され、上記分類手段において分類されたクラスに対応した予測パラメータが読み出されるパラメータテーブルと、上記第１の画像信号を上記ブロック毎に直交変換して直交変換係数を第１の符号化データとする変換手段と、変換対象のブロックの上記第１の符号化データの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１の符号化データより高い解像度の画像信号とする第２の符号化データの直交変換係数を、上記変換対象のブロックの上記第１の符号化データと、上記変換対象のブロックの予測パラメータとの積和演算によって予測することにより生成する予測手段と、上記変換対象のブロックの上記第２の符号化データを逆直交変換し、上記第１の画像信号の解像度よりも高い解像度の上記第２の画像信号を得る逆変換手段とを有する画像信号処理装置において用いられる、上記予測パラメータを生成する学習装置であって、第１の解像度の第１の学習用画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいてクラスに分類する分類手段と、上記第１の学習用画像信号を上記ブロック毎に直交変換して直交変換係数を第１のデータとする第１の変換手段と、上記第１の学習用画像信号と同一の対象を撮像した、上記第１の学習用画像信号より高解像度の第２の学習用画像信号を直交変換して第２のデータとする第２の変換手段と、変換対象のブロックの上記第１のデータの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１のデータより高い解像度の画像信号とする第２のデータの直交変換係数を、上記変換対象のブロックの上記第１のデータと、上記変換対象のブロックの予測パラメータとの積和演算によって予測すると共に、上記分類手段において分類されたクラスに対応して、上記直交変換された空間において、上記予測値と上記第２のデータとの誤差を小さくする上記予測パラメータを保持する変換テーブルを作成する変換テーブル作成手段とを有するものである。
さらに、本発明に係る予測パラメータの学習方法は、第１の解像度の第１の画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいて所定のクラスに分類する分類手段と、上記第１の画像信号から上記第２の画像信号を予測生成するための、上記分類手段において分類されるクラスに対応した予測パラメータが、あらかじめ学習により求められて保持され、上記分類手段において分類されたクラスに対応した予測パラメータが読み出されるパラメータテーブルと、上記第１の画像信号を上記ブロック毎に直交変換して直交変換係数を第１の符号化データとする変換手段と、変換対象のブロックの上記第１の符号化データの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１の符号化データより高い解像度の画像信号とする第２の符号化データの直交変換係数を、上記変換対象のブロックの上記第１の符号化データと、上記変換対象のブロックの予測パラメータとの積和演算によって予測することにより生成する予測手段と、上記変換対象のブロックの上記第２の符号化データを逆直交変換し、上記第１の画像信号の解像度よりも高い解像度の上記第２の画像信号を得る逆変換手段とを有する画像信号処理装置において用いられる、上記予測パラメータを生成する学習方法であって、第１の解像度の第１の学習用画像信号をブロックに分割し、当該ブロックの画像信号の特徴に基づいてクラスに分類する分類工程と、上記第１の学習用画像信号を上記ブロック毎に直交変換して直交変換係数を第１のデータとする第１の変換工程と、上記第１の学習用画像信号と同一の対象を撮像した、上記第１の学習用画像信号より高解像度の第２の学習用画像信号を直交変換して第２のデータとする第２の変換工程と、変換対象のブロックの上記第１のデータの直交変換係数の個数より多い個数の直交変換係数とすることで上記第１のデータより高い解像度の画像信号とする第２のデータの直交変換係数を、上記変換対象のブロックの上記第１のデータと、上記変換対象のブロックの予測パラメータとの積和演算によって予測すると共に、上記分類工程において分類されたクラスに対応して、上記直交変換された空間において、上記予測値と上記第２のデータとの誤差を小さくする上記予測パラメータを保持する変換テーブルを作成する変換テーブル作成工程とを有するものである。
【０００９】
【発明の実施の形態】
以下、この発明に係る画像信号処理装置及び方法並びに予測パラメータの学習装置及び方法について、図面を参照しながら詳細に説明する。
【００１０】
画像信号処理装置は、図１に示すように、入力される画像信号を分類する分類部１と、上記分類に対応した予測パラメータが読み出されるパラメータテーブル２とを有している。
【００１１】
上記分類部１には、例えば５２５本の走査線を有する標準テレビジョン受像機相当の画素数及び画質を有するＳＤ信号が入力される。上記分類部１は、このＳＤ信号をその特徴に応じて分類する。
【００１２】
例えば、上記分類部１は、上記ＳＤ信号から所定の領域を抽出してブロック化し、このブロックの特徴に応じて分類する。この分類の一例としては、上記ブロックを波形パターンによりクラス分類し、当該ブロックのクラスを導出することが挙げられる。このクラス分類としては、例えば、ベクトル量子化、圧縮符号化、及び適応型ダイナミックレンジ符号化（adaptive dynamic range coding; ADRC）による波形分類を挙げることができる。
【００１３】
このＡＤＲＣによるクラス分類は、本来ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的なパターンを短い語長で効率的に表現することができる。
【００１４】
ここで、１ビットＡＤＲＣを例に取って、ＡＤＲＣを説明する。ＡＤＲＣ回路の一例を図２に示す。このＡＤＲＣ回路は、図３に示すように、第１行に図中左から右に画素Ｐ１〜Ｐ３、第２行に同じく画素Ｐ４〜Ｐ６、第３行に同じく画素Ｐ７〜Ｐ９の（３×３）の計９個の画素が配置されたブロックＢに対しＡＤＲＣを施すものである。
【００１５】
即ち、上記ＡＤＲＣ回路は、入力端子１０１からのブロックの順序に変換されたデータに関して、検出回路１０２がブロック毎に最大値ＭＡＸ、最小値ＭＩＮを検出する。減算回路１０３に対してＭＡＸ及びＭＩＮが供給され、その出力にダイナミックレンジＤＲが発生する。入力データ及びＭＩＮが減算回路１０４に供給され、減算回路１０４から最小値が除去されることで、正規化された画素データが発生する。
【００１６】
上記ダイナミックレンジＤＲが減算回路１０５に供給され、正規化された画素データがダイナミックレンジＤＲで割算され、割算回路１０５の出力データが比較回路１０６に供給される。比較回路１０６では、中央画素Ｐ５以外の８個の画素の割算出力が０．５を基準として、より大きいか、より小さいかが判断される。この結果に応じて、“０”又は“１”のデータＤＴが発生する。この比較出力ＤＴが出力端子１０７に取り出される。この１ビットＡＤＲＣを用いてクラス分割を行えば（３×３）のブロックＢが９ビットのクラスコードで表現される。
【００１７】
上記図１に示したパラメータテーブル２は、上記分類部１から与えられるＳＤ信号の分類に対応した予測パラメータを読み出される、上記分類と予測パラメータとの対応関係を保持するテーブルである。上記予測パラメータは、後述する直交変換された空間において、上記ＳＤ信号と、このＳＤ信号に対応する、例えば１１２５本の走査線を有する高解像度のテレビジョン受像機に対応する画素数及び解像度を有するＨＤ信号とを関係付けている。なお、このパラメータテーブル２は、後述する予測パラメータの学習方法によって作成される。
【００１８】
また、上記画像信号処理装置は、上記ＳＤ信号を直交変換して直交変換係数とする直交変換部３と、この直交変換部３から与えられる直交変換係数と上記パラメータテーブル２から読み出される予測パラメータに基づいて、直交変換された空間において、ＨＤ信号を予測生成する予測部４を有している。
【００１９】
上記直交変換部３は、上記ＳＤ信号に対して所定の直交変換を施して直交変換係数とする。この直交変換部３は、所定の領域を抽出することによりブロック化されたＳＤ信号に対して所定の直交変換を施すものである。ここで、上記直交変換としては、例えばウェーブレット変換、離散コサイン変換（ＤＣＴ）が挙げられる。ここでは、上記ＳＤ信号にＤＣＴを施すので、上記ＳＤ信号は周波数領域へ変換され、上記直交変換係数はＤＣＴ係数となる。
【００２０】
上記予測部４は、上記パラメータテーブル２から読み出された予測パラメータと、上記直交変換部３から与えられる直交変換係数とから、直交変換された空間において、上記直交変換係数の個数が増加するように予測生成をする。ここでは、上記直交変換部３にてＳＤ信号にＤＣＴを施すことにより得られたＤＣＴ係数の個数が増加するようにＤＣＴ係数を当てはめることにより予測生成を行う。ＤＣＴ係数が拡張される周波数領域における高周波数成分の領域は、ＨＤ信号に対応している。
【００２１】
具体的には、上記ＳＤ信号にＤＣＴを施すことにより得られたＤＣＴ係数は、周波数領域においては、例えば、図４に示すように、図中左から右に（以下同様とする。）要素ａ１及びａ２を第１行、要素ａ３及びａ４を第２行として、各行に２個の要素を有する行が２行配置された、計４個の要素ａ１〜ａ４を含む領域Ｄ１にて表される。
【００２２】
上記領域Ｄ１を、図５に示すように、ＨＤ信号に対応するように、領域Ｄ１〜Ｄ４にて構成される領域にまで拡張する。即ち、図中では、領域Ｄ１の右隣に領域Ｄ２が、領域Ｄ１の下側に隣接して領域Ｄ３が、領域Ｄ１の右下に領域Ｄ２及びＤ３に隣接して領域Ｄ４が新たに配置されている。
【００２３】
このように、周波数領域にてＤＣＴ係数の領域を拡張することにより、当該ＳＤ信号の解像度を向上させてＨＤ信号に変換することができる。ここで、周波数領域におけるＤＣＴ係数の予測生成は、２次元空間の各方向について、元のＳＤ信号に対応するＤＣＴ係数の個数のそれぞれ２倍であり、逆直交変換することにより得られるＨＤ信号の解像度は上記ＳＤ信号の２倍となる。
【００２４】
ここで、上記領域Ｄ２は、第１行に要素ａ２１及びａ２２、第２行に要素ａ２３及びａ２４として、各行に２個の要素を含み、全体で４個の要素ａ２１〜ａ２４を含むものである。上記領域Ｄ３は、第１行に要素ａ３１及びａ３２、第２行に要素ａ３３及びａ３４として、各行に２個の要素を含み、全体で４個の要素ａ３１〜ａ３４を含むものである。上記領域Ｄ４は、第１行に要素ａ４１及びａ４２、第２行に要素ａ４３及びａ４４として、各行に２個の要素を含み、全体で４個の要素ａ４１〜ａ４４を含むものである。
【００２５】
上記予測部４における、上記直交変換された空間においてのＳＤ信号に対応する領域Ｄ１からＨＤ信号に対応する領域Ｄ１〜Ｄ４への拡張としては、例えば、上記パラメータテーブル２から読み出された予測パラメータと、上記ＳＤ信号のＤＣＴ係数とに基づいて領域Ｄ１において与えられた多項式を領域Ｄ２〜Ｄ４まで外挿することが挙げられる。
【００２６】
また、上記予測部４は、上記直交変換された空間における、上記ＨＤ信号に対応する領域への拡張としては、上記ＨＤ信号に対応する領域Ｄ１〜Ｄ４を設定する一組の数を上記予測パラメータに対応させて予め準備しておくことができる。
【００２７】
さらに、本具体例では、上記予測部４は、上記直交変換された空間における、上記ＨＤ信号に対応する領域Ｄ１〜Ｄ４への拡張としては、上記ＳＤ信号に対応する領域の値を維持して更新しないようにしている。即ち、上記図５における領域Ｄ１の各要素ａ１１〜ａ１４の値は、上記図４における領域Ｄ１の各要素ａ１〜ａ４の値にそれぞれ等しく取られる。
【００２８】
そして、上記画像信号処理装置は、上記予測部４から与えられる、直交変換された空間における、上記予測部４にて予測生成された直交変換係数を逆直交変換する逆直交変換部５を有している。
【００２９】
この逆直交変換部５は、上記予測部４から与えられた直交変換係数に対して逆直交変換を施し、この直交変換係数を時間軸方向に進行する通常のＨＤ信号とする。即ち、上記予測部５から与えられた直交変換係数は、上記直交変換された空間内で直交変換係数の領域を拡張することにより導出されたが、この逆直交変換部５は、上記直交変換係数に対して上記直交変換部３にて施した直交変換に対応する逆変換を施すことにより、時間軸方向に進行する通常のＨＤ信号とするものである。ここでは、ＤＣＴ係数に逆ＤＣＴ変換を施すことにより、ＨＤ信号としている。
【００３０】
続いて、画像信号処理方法の一連の工程について説明する。この一連の工程は、図６に示すように、ステップＳ１からステップＳ５までの５個の工程から構成される。
【００３１】
最初のステップＳ１においては、入力されるＳＤ信号を、このＳＤ信号の特徴に応じて分類する。例えば、上記ＳＤ信号から所定の領域を抽出してブロック化し、このブロックの特徴に応じて分類する。
【００３２】
この分類の一例としては、上記ブロックを波形パターンによりクラス分類し、当該ブロックのクラスを導出する。このクラス分類の一例としては、上述したＡＤＲＣが挙げられる。上記ＳＤ信号の分類が終了すると、これに続くステップＳ２に進む。
【００３３】
ステップＳ２においては、ステップＳ１におけるＳＤ信号の分類にて取得した、当該分類に対応した予測パラメータをパラメータテーブルを参照して読み出す。このパラメータテーブルは、ＳＤ信号の分類に対応した予測パラメータを読み出される、上記分類と予測パラメータとの対応関係を保持するテーブルである。上記パラメータテーブル２からの予測パラメータの読み出しを終えると、次のステップＳ３に進む。
【００３４】
ステップＳ３においては、上記ＳＤ信号に対して所定の直交変換を施す。例えば、上記ＳＤ信号から所定の領域を抽出されたブロックに対して例えばＤＣＴを施してＤＣＴ係数とする。そして、次のステップＳ４に進む。
【００３５】
ステップＳ４においては、上記パラメータテーブル２から読み出された予測パラメータと、上記直交変換部３から与えられるＤＣＴ係数とから、上記直交変換された空間において、上記図５に示したように、このＤＣＴ係数に対応する領域Ｄ１を、高周波成分に対応する領域Ｄ２〜Ｄ４まで拡張することにより予測生成を行う。そして、次のステップＳ５に進む。
【００３６】
ステップＳ５においては、ステップＳ４にて得られた拡張された直交変換係数に対して逆直交変換を施すことにより、時間軸方向に進行する通常のＨＤ信号とする。即ち、ステップＳ４にて予測生成された直交変換係数は、上記直交変換された空間内で領域が拡張されたものであるが、この逆直交変換部５は、上記ＨＤ信号に対して上記直交変換部３にて施した直交変換に対応する逆変換を施すことにより、時間軸方向に進行する通常のＨＤ信号とする。そして、このステップＳ５にて、この一連の工程を終了する。
【００３７】
以上説明したように、この発明に係る画像信号処理装置及び方法は、入力されたＳＤ信号を分類してこの分類に対応する予測パラメータをパラメータテーブル２から読み出す。一方、上記ＳＤ信号に直交変換を施し、直交変換された空間にて、上記直交変換係数の領域から、上記予測パラメータに応じて、上記直交変換係数の領域を拡張する。そして、この拡張された直交変換係数に逆直交変換を施すことにより、時間軸方向に進行する通常のＨＤ信号を得ることができる。このことにより、入力するＳＤ信号からＨＤ信号に変換する際に、解像度を高くして、画質の向上を図ることができる。
【００３８】
続いて、予測パラメータの学習方法について説明する。この予測パラメータの学習方法は、図７に示すように、入力される第１の画像信号であるＳＤ信号を分類部１にて分類すると共に、上記入力されるＳＤ信号に対して第１の直交変換部１１にて直交変換を施す。一方、上記ＳＤ信号と同一の対象を撮像した第２の画像信号であるＨＤ信号に対して第２の直交変換部１２にて直交変換を施す。
【００３９】
上記分類部１は、入力されるＳＤ信号を所定の方法によって分類する。例えば、上記ＳＤ信号から所定の領域を抽出してブロックとし、このブロックを上述したＡＤＲＣに基づいてクラス分類する。
【００４０】
上記第１の直交変換部１１は、入力されるＳＤ信号に対して所定の直交変換を施す。この直交変換の一例としては、上述したＤＣＴが挙げられる。
【００４１】
上記第２の直交変換部１２は、入力されるＨＤ信号に対して上記第１の直交変換部における直交変換に対応する直交変換を施す。なお、直交変換された空間における、このＨＤ信号に対応する領域は、上記図５に示したように、上記空間におけるＳＤ信号に対応する領域Ｄ１を拡大した領域Ｄ１〜Ｄ４となっている。
【００４２】
また、上記予測パラメータの学習方法は、上記分類部１から分類を、上記第１の直交変換部１１及び上記第２の直交変換部１２から、ＳＤ信号及びＨＤ信号の直交変換係数をそれぞれ受け取り、これらの対応関係を算出するパラメータ計算部１３を有している。
【００４３】
このパラメータ計算部１３は、上記入力されたＳＤ信号及びＨＤ信号に対応した、上記ＳＤ信号の分類及び直交変換係数と、上記ＨＤ信号の直交変換係数の間の対応関係を表す予測パラメータを算出する。
【００４４】
このパラメータ計算部１３は、図８に示すように、上記分類部１におけるＳＤ信号の分類を、図中のブロック１０１及び１０２にて示した分類部１にてインデックスとして取得し、このインデックスによってＳＤ信号及びＨＤ信号についての直交変換係数に振り分け、この振り分けられた入力信号毎に、予測パラメータを算出することができる。
【００４５】
即ち、ＳＤ信号及びＨＤ信号は２次元信号であるので、直交変換後の直交変換係数も２次元信号となる。直交変換された２次元空間における座標を便宜上ｘ及びｙ、予測パラメータをａ、ｂ、・・・、ＳＤ信号の直交変換係数をＳ（ｘ、ｙ）、予測パラメータ導出の際に教師としての役割を果たすＨＤ信号の直交変換係数をＴ（ｘ、ｙ）とすると、上記予測パラメータの推定は、次式の値を最小にするように上記予測パラメータａ、ｂ、・・・を当てはめることによって行ことができる。
【００４６】
【数１】
0003867346.tif 000002
【００４７】
ここで、上式におけるｘ及びｙについての総和Σは直交変換された２次元空間の各座標成分についての総和を、外側の総和Σは各分類に属する全ての入力データの総和を意味している。上式にて与えられる誤差二乗和を最小にすることにより、最小二乗法による予測パラメータａ、ｂ、・・・を決定することができる。
【００４８】
上記関数
Ｆ（Ｓ（ｘ，ｙ），ｘ，ｙ，ａ，ｂ，・・・）
は、直交変換された空間において、ＳＤ信号の直交変換係数からＨＤ信号の直交変換係数を予測するための予測関数である。この予測関数の引数は、ＳＤ信号の直交変換係数Ｓ（ｘ、ｙ）、予測パラメータａ、ｂ、・・・及び２次元座標ｘ、ｙである。
【００４９】
上に示した二乗和において、予測関数ＦはＨＤ信号の直交変換係数Ｔを教師として、二乗和を最小にするように決定される。これは、幾何学的には、ＨＤ信号の直交変換係数を基準として、予測関数Ｆの曲面フィッティングを行うことに対応している。
【００５０】
このような予測関数Ｆは、上記予測パラメータａ、ｂ、・・・に応じて一意的に決定される。従って、直交変換されたＳＤ信号の画像データの領域を拡張するように、この予測関数Ｆを用いて画像データの予測生成をすることができる。
【００５１】
但し、上記予測生成の際には、直交変換されたＳＤ信号の画像データをそのまま更新しないで利用することがある。このように、ＳＤ信号の画像データをそのまま利用することにより、上記予測関数Ｆによる画像データの予測生成の誤差が大きくても不具合を回避することができる。
【００５２】
さらに、上記予測パラメータの学習方法は、判断部１４にて上記予測パラメータ計算部１３にて算出された対応関係を判断した上で、上記対応関係を上記メモリ１５に記憶する。
【００５３】
このようにして決定された上記分類及び予測パラメータの対応関係は、上記メモリ１５に記憶される。このメモリ１５に記憶された対応関係は、必要な場合に読み出されて、上記画像信号処理装置のパラメータテーブル２に設定されたり、上記画像信号処理方法において読み出されて利用される。
【００５４】
以上説明したように、この予測パラメータの学習方法は、入力されるＳＤ信号を所定の方法により分類すると共に直交変換し、また、上記ＳＤ信号と同一の対象を撮像したＨＤ信号を直交変換する。そして、直交変換された空間にて、上記分類に対応した、上記ＳＤ信号の直交変換係数と、教師としての役割を果たす上記ＨＤ信号の直交変換係数の対応関係を所定の方法により導出し、この対応関係を上記メモリ１５に記憶する。このことにより、実際の撮像信号に基づいて、ＳＤ信号からＨＤ信号への変換であるアップコンバートの際に解像度を高くすることのより画質の向上を図ることができる。
【００５５】
なお、この具体例においてはＳＤ信号からＨＤ信号への変換について説明したが、この発明はこれに限定されず、画像信号の解像度を高めて画質を向上させる用途に広く利用することができる。
【００５６】
【発明の効果】
上記画像信号処理装置は、入力されるＳＤ信号を分類部にて分類すると共に変換部にて直交変換し、予測部にてこの直交変換された空間で上記分類に応じた予測パラメータに基づいて直交変換係数の領域を拡張し、このＨＤ信号を逆変換部にて逆直交変換して時間軸方向に進行する通常のＨＤ信号としている。従って、入力されるＳＤ信号から、解像度を高くして画質を向上させたＨＤ信号を得ることができる。
【００５７】
また、上記画像信号処理方法は、入力されるＳＤ信号を分類すると共に直交変換し、この直交変換された空間で上記分類に応じた予測パラメータに基づいて直交変換係数の領域を拡張し、このＨＤ信号を逆直交変換して時間軸方向に進行する通常のＨＤ信号としている。従って、ＳＤ信号をＨＤ信号に変換するアップコンバージョンの際には、解像度を高くして画質を向上させたＨＤ信号を得ることができる。
【００５８】
さらに、上記予測パラメータの学習方法は、同一の対象を撮像したＳＤ信号及びＨＤ信号を入力し、上記ＳＤ信号を分類すると共に、上記ＳＤ信号及びＨＤ信号を直交変換し、上記分類に応じて、上記ＨＤ信号の直交変換係数を教師として用いることにより、この直交変換された空間内にてＳＤ信号の直交変換係数との対応関係を導出している。従って、この予測パラメータの学習方法は、実際の撮像に基づいたＳＤ信号とＨＤ信号との対応関係を導出することができる。
【図面の簡単な説明】
【図１】画像信号処理装置の概略的な構造を示すブロック図である。
【図２】適応型ダイナミックレンジ符号化回路の回路図である。
【図３】画像信号の画素をブロック分割した１ブロックを示す図である。
【図４】周波数領域におけるＤＣＴ係数の領域を示す図である。
【図５】周波数領域におけるＤＣＴ係数の領域の拡張を示す図である。
【図６】画像信号処理方法の一連の手順を示すフローチャートである。
【図７】予測パラメータの学習方法の手順を示すブロック図である。
【図８】上記予測パラメータの学習方法におけるパラメータの推定を説明するブロック図である。
【符号の説明】
１  分類部、２  パラメータテーブル、４  予測部
【図１】
0003867346.tif 000003
【図２】
0003867346.tif 000004
【図３】
0003867346.tif 000005
【図４】
0003867346.tif 000006
【図５】
0003867346.tif 000007
【図６】
0003867346.tif 000008
【図７】
0003867346.tif 000009
【図８】
0003867346.tif 000010