(57)【特許請求の範囲】
【請求項１】
複数の画素データからなる第１の画像信号を複数の画素データからなる前記第１の画信号より画質改善された信号である第２の画像信号に変換する画像変換装置において、
前記第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、前記注目画素データの周辺に位置する複数の画素データを、前記注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出手段と、
前記クラスタップを構成する複数の画素データに対して圧縮処理を行い、前記圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類手段と、
前記クラスコードに対応付けて予測係数が記録されているテーブルから、発生された前記クラスコードに対応する前記予測係数を読み出す予測係数発生手段と、
前記第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、前記注目画素の周辺に位置する複数の画素データを、前記第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出手段と、
読み出された前記予測係数と抽出された前記予測タップを構成する複数の画素データとを積和演算することにより前記第２の画像信号を構成する画素データを生成する生成手段と、
前記第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算手段と、
演算された前記自己相関係数の値が大きい程、前記第１の抽出手段によって抽出される前記クラスタップまたは前記第２の抽出手段によって抽出される前記予測タップの少なくとも一方の抽出範囲を広げるように制御する制御手段と
を備えることを特徴とする画像変換装置。
【請求項２】
前記演算手段で演算された前記自己相関係数を所定の範囲の値に正規化する正規化手段と、
前記正規化手段で正規化された前記自己相関係数に対応して前記第１の画像信号の統計的な特徴量を表すコードを発生するコード発生手段と
をさらに備え、
前記制御手段は、前記コード発生手段によって発生された前記コードにも対応して前記第１の抽出手段によって抽出される前記クラスタップまたは前記第２の抽出手段によって抽出される前記予測タップの少なくとも一方の抽出範囲の広さを制御する
ことを特徴とする請求項１に記載の画像変換装置。
【請求項３】
前記第１の画像信号と前記第２の画像信号は同じ解像度を有する画像信号であることを特徴とする請求項１に記載の画像変換装置。
【請求項４】
複数の画素データからなる第１の画像信号を複数の画素データからなる前記第１の画信号より画質改善された信号である第２の画像信号に変換する画像変換装置の画像変換方法において、
前記第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、前記注目画素データの周辺に位置する複数の画素データを、前記注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出ステップと、
前記クラスタップを構成する複数の画素データに対して圧縮処理を行い、前記圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類ステップと、
前記クラスコードに対応付けて予測係数が記録されているテーブルから、発生された前記クラスコードに対応する前記予測係数を読み出す予測係数発生ステップと、
前記第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、前記注目画素の周辺に位置する複数の画素データを、前記第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出ステップと、
読み出された前記予測係数と抽出された前記予測タップを構成する複数の画素データとを積和演算することにより前記第２の画像信号を構成する画素データを生成する生成ステップと、
前記第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算ステップと、
演算された前記自己相関係数の値が大きい程、前記第１の抽出ステップで抽出される前記クラスタップまたは前記第２の抽出ステップで抽出される前記予測タップの少なくとも一方の抽出範囲を広げるように制御する制御ステップと
を含むことを特徴とする画像変換方法。
【請求項５】
複数の画素データからなる第１の画像信号を複数の画素データからなる前記第１の画信号より画質改善された信号である第２の画像信号に変換する画像変換装置の制御用のプログラムであって、
前記第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、前記注目画素データの周辺に位置する複数の画素データを、前記注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出ステップと、
前記クラスタップを構成する複数の画素データに対して圧縮処理を行い、前記圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類ステップと、
前記クラスコードに対応付けて予測係数が記録されているテーブルから、発生された前記クラスコードに対応する前記予測係数を読み出す予測係数発生ステップと、
前記第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、前記注目画素の周辺に位置する複数の画素データを、前記第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出ステップと、
読み出された前記予測係数と抽出された前記予測タップを構成する複数の画素データとを積和演算することにより前記第２の画像信号を構成する画素データを生成する生成ステップと、
前記第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算ステップと、
演算された前記自己相関係数の値が大きい程、前記第１の抽出ステップで抽出される前記クラスタップまたは前記第２の抽出ステップで抽出される前記予測タップの少なくとも一方の抽出範囲を広げるように制御する制御ステップと
を含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像変換装置および方法、並びに記録媒体に関し、特に、入力された画像信号を同一フォーマットもしくは異なるフォーマットの画像信号に変換する際に、入力された画像データの画質が悪くとも、確実に画質が補正されたもしくは画質が改善された画像信号を提供できるようにした画像変換装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本出願人は、例えば、特開平８−５１５９９号として、より高解像度の画素データを得ることができるようにする技術を提案している。この提案においては、例えばSD(Standard Definition)画素データからなる画像データからHD(High Definition)画素データからなる画像データを創造する場合、創造するHD画素データの近傍に位置するSD画素データを用いてクラス分類を行い（クラスを決定し）、それぞれのクラス毎に、予測係数値を学習させておき、画像静止部においては、画面内（空間的）相関を利用し、動き部においては、フィールド内相関を利用して、より真値に近いHD画素データを得るようにしている。
【０００３】
【発明が解決しようとする課題】
ところで、この技術を用いて、例えば、非常に画質の悪い（画像のぼけた）画像を良好な画質の画像に補正することができる。しかしながら、非常に画質が悪い（高周波成分が失われている）画像データの場合、この非常に画質が悪い画像データを用いてクラス分類を行うと、適切なクラス分類を行うことができず、適切なクラスを決定することができない。適切なクラスを求めることができないと、適切な予測係数値のセットを得ることができず、結局、充分な画質の補正を行うことができない課題があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、入力された画像データの画質が悪くとも、確実に画質を補正することを可能にするものである。
【０００５】
【課題を解決するための手段】
本発明の画像変換装置は、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素データの周辺に位置する複数の画素データを、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出手段と、クラスタップを構成する複数の画素データに対して圧縮処理を行い、圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類手段と、クラスタップを構成する複数の画素データにADRC処理を行うことにより、クラスタップをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類手段と、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数を読み出す予測係数発生手段と、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素の周辺に位置する複数の画素データを、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出手段と、読み出された予測係数と抽出された予測タップを構成する複数の画素データとを積和演算することにより第２の画像信号を構成する画素データを生成する生成手段と、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算手段と、演算された自己相関係数の値が大きい程、第１の抽出手段によって抽出されるクラスタップまたは第２の抽出手段によって抽出される予測タップの少なくとも一方の抽出範囲を広げるように制御する制御手段とを備えることを特徴とする。
【０００６】
本発明の画像変換方法は、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素データの周辺に位置する複数の画素データを、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出ステップと、クラスタップを構成する複数の画素データに対して圧縮処理を行い、圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類ステップと、クラスタップを構成する複数の画素データにADRC処理を行うことにより、クラスタップをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類ステップと、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数を読み出す予測係数発生ステップと、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素の周辺に位置する複数の画素データを、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出ステップと、読み出された予測係数と抽出された予測タップを構成する複数の画素データとを積和演算することにより第２の画像信号を構成する画素データを生成する生成ステップと、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算ステップと、演算された自己相関係数の値が大きい程、第１の抽出ステップで抽出されるクラスタップまたは第２の抽出ステップで抽出される予測タップの少なくとも一方の抽出範囲を広げるように制御する制御ステップとを含むことを特徴とする。
【０００７】
本発明の記録媒体は、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素データの周辺に位置する複数の画素データを、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出ステップと、クラスタップを構成する複数の画素データに対して圧縮処理を行い、圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類ステップと、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数を読み出す予測係数発生ステップと、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素の周辺に位置する複数の画素データを、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出ステップと、読み出された予測係数と抽出された予測タップを構成する複数の画素データとを積和演算することにより第２の画像信号を構成する画素データを生成する生成ステップと、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算ステップと、演算された自己相関係数の値が大きい程、第１の抽出ステップで抽出されるクラスタップまたは第２の抽出ステップで抽出される予測タップの少なくとも一方の抽出範囲を広げるように制御する制御ステップとを含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【０００８】
本発明の画像変換装置および方法、並びに記録媒体のプログラムにおいては、第１の画像信号を構成する複数の画素データのうち、１つの画素データが注目画素データに指定され、注目画素データの周辺に位置する複数の画素データが、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出され、クラスタップを構成する複数の画素データに対して圧縮処理が施され、圧縮処理結果のデータがいずれかのクラスに分類され、分類されたクラスを表すクラスコードが発生され、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数が読み出される。また、第１の画像信号を構成する複数の画素データのうち、１つの画素データが注目画素データに指定され、注目画素の周辺に位置する複数の画素データが、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出され、読み出された予測係数と抽出された予測タップを構成する複数の画素データとが積和演算されることにより第２の画像信号を構成する画素データが生成される。そして、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数が演算され、演算された自己相関係数の値が大きい程、抽出されるクラスタップまたは抽出される予測タップの少なくとも一方の抽出範囲が広げられる。
【０００９】
請求項５に記載の画像変換方法、および請求項６に記載の提供媒体においては、第１の抽出ステップで、第１の画像信号の中からクラスコードを生成するための複数の画像データをクラスタップとして抽出し、クラス分類ステップで、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、予測係数発生ステップで、クラスコードに対応する予測係数を発生し、第２の抽出ステップで、第１の画像信号の中から予測タップを抽出し、生成ステップで、予測係数および予測タップを用いて第２の画像信号を生成し、演算ステップで、第１の画像信号の局所的な自己相関係数を演算し、制御ステップで、演算ステップで演算した自己相関係数に基づいて、第１の抽出ステップで抽出するクラスタップまたは第２の抽出ステップで抽出する予測タップを制御する。
【００１０】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。
【００１１】
すなわち、本発明の画像変換装置は、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素データの周辺に位置する複数の画素データを、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出手段（例えば、図１の領域切り出し部１）と、クラスタップを構成する複数の画素データに対して圧縮処理を行い、圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類手段（例えば、図１のADRCパターン抽出部４）と、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数を読み出す予測係数発生手段（例えば、図１のROMテーブル６）と、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素の周辺に位置する複数の画素データを、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出手段（例えば、図１の領域切り出し部２）と、読み出された予測係数と抽出された予測タップを構成する複数の画素データとを積和演算することにより第２の画像信号を構成する画素データを生成する生成手段（例えば、図１の予測演算部７）と、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算手段（例えば、図４のステップＳ１）と、演算された自己相関係数の値が大きい程、第１の抽出手段によって抽出されるクラスタップまたは第２の抽出手段によって抽出される予測タップの少なくとも一方の抽出範囲を広げるように制御する制御手段（例えば、図１の特徴量抽出部３）とを備えることを特徴とする。
【００１２】
但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１３】
以下に、本発明の実施の形態について説明する。図１は、本発明を適用した、画像変換装置の構成例を示すブロック図である。同図には、例えば画質の悪い（高周波成分が少なくてぼけた画像の）SD画像データ（または、HD画像データ）を、画質改善されたSD画像データ（または、HD画像データ）に変換する構成例が示されている。以下においては、入力画像データがSD画像データである場合について説明する。
【００１４】
例えば、画質の悪い（高周波成分が少なくてぼけた画像の）SD画像データが、入力端子を介して画像変換装置に入力される。入力された画像データは、領域切り出し部１、領域切り出し部２、および特徴量抽出部３に供給される。特徴量抽出部３は、入力されたSD画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部１、領域切り出し部２、およびクラスコード発生部５に出力する。領域切り出し部１は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これをADRC(Adaptive Dynamic Range Coding)パターン抽出部４に出力する。領域切り出し部１において切り出されるクラスタップは、特徴量抽出部３の出力する特徴量に対応して制御される。ADRCパターン抽出部４は、空間内の波形表現を目的としたクラス分類を行うようになされている。
【００１５】
クラスコード発生部５は、ADRCパターン抽出部４より出力されたクラスおよび特徴量抽出部３から出力された特徴量に対応するクラスコードを発生し、ROMテーブル６に出力する。ROMテーブル６には、各クラス（クラスコード）に対応して予め所定の予測係数のセットが記憶されており、クラスコードに対応する予測係数のセットが予測演算部７に出力される。
【００１６】
領域切り出し部２は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測演算部７に出力する。この領域切り出し部２により切り出される予測タップのセットは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して制御される。予測演算部７は、領域切り出し部２より入力された予測タップのセットと、ROMテーブル６より入力された予測係数のセットとから予測演算を行い、その演算結果を、画質を補正した画像データとして出力する。この出力された画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００１７】
次に、その動作について説明する。領域切り出し部１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して決定される。
【００１８】
ここで、図４のフローチャートを参照して、特徴量抽出部３の特徴量抽出処理について説明する。最初にステップＳ１において、特徴量抽出部３は、入力された各画素データに対する自己相関係数をフレーム内の所定の領域（局所）毎に、算出する。そして、この自己相関係数を画素データのぼけ量を表す特徴量の尺度に利用する。
【００１９】
すなわち、例えば図５に示すように、水平方向に連続する３個のタップTAP[0]乃至TAP[2]を自己相関係数算出用のタップとした場合、自己相関係数cc[n]（いまの場合、nは３以下の数）は、図６に示すように、タップTAP[0]乃至TAP[2]の画素値と、それをnタップだけシフトした画素値とが、それぞれ積算され、それらが加算されて求められる。すなわち、自己相関係数cc[0]は７１０（＝１５×１５＋１４×１４＋１７×１７）であり、自己相関係数cc[1]は４４８（＝１５×０＋１４×１５＋１７×１４）であり、自己相関係数cc[2]は２５５（＝１５×０＋１４×０＋１７×１５）である。
【００２０】
自己相関係数cc[n]の最大値は、図７(A)に示すように、常に自己相関係数cc[0]であり、自己相関係数cc[n]の値はnが増加するとともに減少する。図７は、水平方向に連続する７個のタップTAP[0]乃至TAP[7]を自己相関係数算出用のタップとした場合における自己相関係数cc[n]とnの関係を示しているものであるが、図５および図６に示した例（３個のタップTAP[0]乃至TAP[2]を自己相関係数算出用のタップとした場合）においても、自己相関係数cc[0]が最大値となる。
【００２１】
なお、実際には、n個全ての自己相関係数cc[0]乃至cc[n]が算出されるわけではなく、最大値である自己相関係数cc[0]と所定の自己相関係数cc[k]（kはn以下の任意の値）との２個の自己相関係数が算出される。
【００２２】
ステップＳ２において、特徴量抽出部３は、図７(A)に示すように、ステップＳ１で算出した自己相関係数cc[k]（図７(A)の例の場合、K=3）を、最大値である自己相関係数cc[0]で割って（正規化して）、正規化された自己相関係数ncc[k]（傾斜量）を算出する。
【００２３】
ステップＳ３において、特徴量抽出部３は、ステップＳ２で算出された正規化された自己相関係数（傾斜量）ncc[k]が、傾斜量の最大値NCQ_MAX(<1.0)乃至最小値NCQ_MIN(>0.0)の間に予め設定されている複数のコード（図７(B)に示す例の場合、０乃至７）のうちのいずれのコードに対応するかを判定し、判定結果に対応するコードを出力する。なお、傾斜量の最大値NCQ_MAXおよび最小値NCQ_MINは、画像データから統計的に設定される。
【００２４】
このように、特徴量はコードとして求められ、領域切り出し部１、領域切り出し部２、およびクラスコード発生部５に出力される。
【００２５】
領域切り出し部１は、特徴量抽出部３から特徴量として、例えば、コード０が入力された場合、図８に示すように、注目画素に連続して配置されている画素データ（図２に対応する）をクラスタップとして切り出す（抽出する）。また、コード２が入力された場合、領域切り出し部１は、コード０の場合より広い間隔で配置されている画素データ（図８の例では注目画素から２画素離れている画素データ、図３に相当する）をクラスタップとして切り出す（抽出する）。すなわち、特徴量を示すコードが大きくなる（高周波成分が少なく）につれて、注目画素から離れた画素がクラスタップとされる。
【００２６】
このように、ぼけ量を表す特徴量（コード）に応じて、クラスタップとして切り出す画素データを局所領域でダイナミックに変化させるようにすることで、より適切なクラスタップを切り出すことが可能となる。
【００２７】
図示は省略するが、領域切り出し部２における予測タップも、領域切り出し部１におけるクラスタップの切り出しと同様に、特徴量抽出部３の出力する特徴量に対応して、予測タップとして切り出す画素データをダイナミックに変化させる。なお、この領域切り出し部２において切り出される予測タップ（画素データ）は、領域切り出し部１において切り出されるクラスタップ（画素データ）と同一にしてもよいし、異なるものとしてもよい。
【００２８】
ADRCパターン抽出部４は、領域切り出し部１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行う（クラスを決定する）。すなわち、クラスタップとして抽出された５つの画素データのうちのダイナミックレンジをDR、ビット割当をｎ、クラスタップとしての各画素データのレベルをＬ、再量子化コードをＱとするとき、次式を演算する。
Ｑ＝｛（Ｌ−MIN＋０．５）×２n／DR｝
DR＝MAX−MIN＋１
【００２９】
なお、ここで｛  ｝は切り捨て処理を意味する。また、MAXとMINは、クラスタップを構成する５つの画素データ内の最大値と最小値をそれぞれ表している。これにより、例えば領域切り出し部１で切り出されたクラスタップを構成する５個の画素データが、それぞれ例えば８ビット（ｎ＝８）で構成されているとすると、これらがそれぞれ２ビットに圧縮される。従って、合計１０（＝２×５）ビットで表される空間クラスを表すデータが、クラスコード発生部５に供給される。
【００３０】
クラスコード発生部５は、ADRCパターン抽出部４より入力された空間クラスを表すデータに、特徴量抽出部３より供給されるぼけ量を表す特徴量を表すビットを付加してクラスコードを発生する。例えば、ぼけ量を表す特徴量が２ビットで表されるとすると、１２ビットのクラスコードが発生され、ROMテーブル６に供給される。このクラスコードは、ROMテーブル６のアドレスに対応している。
【００３１】
ROMテーブル６には、各クラス（クラスコード）に対応する予測係数のセットがクラスコードに対応するアドレスにそれぞれ記憶されており、クラスコード発生部５より供給されたクラスコードに基づいて、そのクラスコードに対応するアドレスに記憶されている予測係数のセットω1乃至ωnが読み出され、予測演算部７に供給される。
【００３２】
予測演算部７は、領域切り出し部２より供給された予測タップを構成する画素データｘ1乃至ｘnと、予測係数ω1乃至ωnに対して、次式に示すように、積和演算を行うことで、予測結果ｙを演算する。
ｙ＝ω1ｘ1＋ω2ｘ2＋・・・＋ωnｘn
【００３３】
この予測値ｙが、画質（ぼけ）が補正された画素データとなる。
【００３４】
図９は、ROMテーブル６に記憶するクラス毎（クラスコード毎）の予測係数のセットを学習によって得るための構成例を表している。この構成例においては、例えば、画質の良好な教師信号（学習信号）としてのSD画像データ（または、HD画像データ）を用いてクラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。なお、以下に説明する構成例は、本実施の形態の図１の画像変換装置に対応するクラス毎の予測係数のセットを生成するための例である。
【００３５】
例えば、画質の良好な教師信号（学習信号）としての画像データが、正規方程式演算部２７に入力されるとともに、ローパスフィルタ(LPF)２１に入力される。ローパスフィルタ２１は、入力された教師信号（学習信号）としての画像データの低域成分を除去することで、画質の劣化した生徒信号（学習信号）を生成する。ローパスフィルタ２１から出力された、画質の劣化した生徒信号（学習信号）は、クラスタップとして所定の範囲の画素データを切り出す（抽出する）領域切り出し部２２、予測タップとして所定の範囲の画素データを切り出す（抽出する）領域切り出し部２３、および、ぼけ量を表す特徴量を抽出する特徴量抽出部２４に入力される。特徴量抽出部２４は、入力された画質の劣化した生徒信号（学習信号）の画素データのぼけ量を表す特徴量を抽出し、抽出したその特徴量を、領域切り出し部２２、領域切り出し部２３、およびクラスコード発生部２６に供給する。領域切り出し部２２と、領域切り出し部２３は、入力されたぼけ量を表す特徴量に対応して、クラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させる。
【００３６】
ADRCパターン抽出部２５は、領域切り出し部２２より入力されたクラスタップとしての画素データのクラス分類を行い（クラスを決定し）、その分類結果をクラスコード発生部２６に出力する。クラスコード発生部２６は、分類されたクラスとぼけ量を表す特徴量とからクラスコードを発生し、正規方程式演算部２７に出力する。なお、上述した領域切り出し部２２、領域切り出し部２３、特徴量抽出部２４、ADRCパターン抽出部２５およびクラスコード発生部２６のそれぞれの構成および動作は、図１に示された領域切り出し部１、領域切り出し部２、特徴量抽出部３、ADRCパターン抽出部４およびクラスコード発生部６と同一であるため、ここでは説明を省略する。
【００３７】
正規方程式演算部２７は、入力される教師信号（学習信号）と領域切り出し部２３から供給される予測タップとしての画素データとから、クラス毎（クラスコード毎）に正規方程式を生成し、その正規方程式を予測係数決定部２８に供給する。そして、クラス毎に必要な数の正規方程式が求められたとき、正規方程式演算部２７は、例えば、クラス毎に最小自乗法を用いて正規方程式を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、予測係数決定部２８からメモリ２９に供給され、記憶される。このメモリ２９に記憶されたクラス毎の予測係数のセットが、図１のROMテーブル６に書き込まれることになる。
【００３８】
上述した例では、クラス毎の予測係数のセットを、図９に示される構成によって演算して求めるようにしたが、コンピュータを用いてシミュレーションで演算して求めるようにしてもよい。
【００３９】
また、本実施の形態においては、図１に示されるROMテーブル６に記憶された、図９に示される方法で演算されたクラス毎の予測係数のセットと、予測タップとして切り出された画素データとから画質改善（ぼけ改善）された画素データを生成するようになされているが、本発明はこれに限らず、ROMテーブル６に学習によって演算されたクラス毎（クラスコード毎）の画素データの予測値そのものを記憶しておき、クラスコードによってその予測値を読み出すようにしてもよい。
【００４０】
この場合、図１に示される領域切り出し部２および図９に示される領域切り出し部２３は省略でき、図１に示される予測演算部７は、ROMテーブル６から出力された画素データを出力デバイスに対応したフォーマットに変換して出力するようになされる。さらに、この場合は、図９に示される正規方程式演算部２７および予測係数決定部２８のかわりに、重心法を用いてクラス毎の予測値が生成され、このクラス毎の予測値がメモリ２９に記憶される。
【００４１】
さらに、クラス毎の予測値そのもののかわりに、クラス毎の予測値のそれぞれを基準値で正規化し、クラス毎の正規化された予測値をROMテーブル６に記憶しておいてもよい。この場合、図１に示される予測演算部７では、基準値に基づいて正規化された予測値から予測値を演算することになる。
【００４２】
さらに、本実施の形態において、クラスタップまたは予測タップとして切り出される画素データの数は、５個であったが、これに限らず、クラスタップまたは予測タップとして切り出される画素データの数はいくつであってもよい。ただし、クラスタップまたは予測タップとして切り出す数を多くすればするほど画質改善の精度は高くなるが、演算量が多くなり、メモリが大きくなり、演算量、ハード面での負荷が大きくなるため、最適な数を設定する必要がある。
【００４３】
また、本実施の形態においては、SD画像信号からSD画像信号への変換（SD−SD変換）、HD画像信号からHD画像信号への変換（HD−HD変換）について説明されているが、本発明はこれに限らず、他のフォーマット（インターレース信号、ノンインターレース信号など）の変換にももちろん適用可能である。さらに、SD画像信号からHD画像信号への変換（SD−HD変換）やインターレース信号からノンインターレース信号への変換（インター−ノンインター変換）など、異なるフォーマット間の変換にも本発明は適用が可能である。ただし、この場合には、クラスタップまたは予測タップとして画像データを切り出す際には、注目画素データとなる画素は実際には存在しないため、切り出しの対象画素データとはならない。
【００４４】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えられる。従って、本発明の要旨は本実施の形態に限定されるものではない。
【００４５】
また、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００４６】
【発明の効果】
以上のように、本発明によれば、入力される画像データの画質が悪くても、クラスタップまたは予測タップとして最適な画素データを抽出することができ、適切な予測処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像変換装置の構成を示すブロック図である。
【図２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図３】図１の領域切り出し部１における切り出し処理を説明する図である。
【図４】図１の特徴量抽出部３における特徴量抽出処理を説明するフローチャートである。
【図５】図４のステップＳ１における自己相関係数の演算を説明する図である。
【図６】図４のステップＳ１における自己相関係数の演算を説明する図である。
【図７】図４のステップＳ２の正規化処理を説明する図である。
【図８】コードの対応するクラスタップの例を示す図である。
【図９】図１のROMテーブル６の予測係数の学習処理を行うための構成を示すブロック図である。
【符号の説明】
１，２  領域切り出し部，  ３  特徴量抽出部，  ４  ADRCパターン抽出部，
５  クラスコード発生部，  ６  ROMテーブル，  ７  予測演算部
【図１】
0004035895.tif 000002
【図２】
0004035895.tif 000003
【図３】
0004035895.tif 000004
【図４】
0004035895.tif 000005
【図５】
0004035895.tif 000006
【図６】
0004035895.tif 000007
【図７】
0004035895.tif 000008
【図８】
0004035895.tif 000009
【図９】
0004035895.tif 000010