(57)【特許請求の範囲】
【請求項１】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像変換装置において、
上記第１の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、
上記クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生するクラス分類手段と、
上記クラスコードに対応する予測データを発生する発生手段と、
上記予測データを用いて上記第２の画像信号を生成する生成手段と、
上記第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として上記第１の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、上記クラスタップ抽出手段のクラスタップの抽出動作を制御する検出手段と
を備えることを特徴とする画像変換装置。
【請求項２】
上記第２の画像信号は上記第１の画像信号より画質改善された信号である
ことを特徴とする請求項１に記載の画像変換装置。
【請求項３】
上記第１の画像信号と上記第２の画像信号は同じフォーマットの画像信号である
ことを特徴とする請求項１に記載の画像変換装置。
【請求項４】
上記発生手段は、画質の良好な学習信号を用いてクラス毎に予め学習によって生成された予測データを記憶するメモリを有し、上記メモリは、上記クラスコードをアドレスとして予測データを発生する
ことを特徴とする請求項１に記載の画像変換装置。
【請求項５】
上記第１の画像信号の中から予測演算を行うための複数の画素データを予測タップとして抽出する予測タップ抽出手段をさらに備え、
上記発生手段は、クラスコードに対応する予測係数のセットを発生し、
上記生成手段は、上記予測タップ抽出手段からの予測タップと上記発生手段からの予測係数のセットを用いて予測演算することにより上記第２の画像信号を生成する
ことを特徴とする請求項１に記載の画像変換装置。
【請求項６】
上記発生手段は、画質の良好な学習信号を用いてクラス毎に予め学習によって生成された予測係数のセットを記憶するメモリを有し、上記メモリは、上記クラスコードをアドレスとして予測係数のセットを出力する
ことを特徴とする請求項５に記載の画像変換装置。
【請求項７】
上記クラス分類手段は、上記クラスタップをクラス分類することによりそのクラスを表す第１のクラスコードと、上記画像のぼけの程度を表す特徴量を表す第２のクラスコードからなるクラスコードを発生する
ことを特徴とする請求項１に記載の画像変換装置。
【請求項８】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像変換方法において、
上記第１の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出し、
上記クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、
上記クラスコードに対応する予測データを発生し、
上記予測データを用いて上記第２の画像信号を生成し、
上記第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として上記第１の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、上記クラスタップの抽出処理を制御する
ことを特徴とする画像変換方法。
【請求項９】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像変換装置に、
上記第１の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出し、
上記クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、
上記クラスコードに対応する予測データを発生し、
上記予測データを用いて上記第２の画像信号を生成し、
上記第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として上記第１の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、上記クラスタップの抽出処理を制御する
処理を実行させるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする記録媒体。
【請求項１０】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像変換装置において、
上記第２の画像信号における変換対象画素である注目画素の画素データに対応する上記第１の画像信号の上記注目画素の周辺に位置する複数の画素データを、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出手段と、
上記クラスタップをクラス分類することにより上記注目画素のクラスを表すクラスコードを発生するクラス分類手段と、
上記クラスコードに対応する予測データを発生する発生手段と、
上記予測データを用いて上記注目画素の予測値を生成する生成手段と、
上記第１の画像信号の中から予測演算を行うための複数の画素データを予測タップとして抽出する予測タップ抽出手段と、
上記第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を上記特徴量として検出し、その検出結果に対応して、上記クラスタップ抽出手段のクラスタップの抽出動作及び上記予測タップ抽出手段の抽出動作を制御する検出手段と
を備えることを特徴とする画像変換装置。
【請求項１１】
上記クラスタップ抽出手段によって抽出されたクラスタップと、上記予測タップ抽出手段によって抽出された予測タップは、同一の画素データである
ことを特徴とする請求項１０に記載の画像変換装置。
【請求項１２】
上記発生手段は、画質の良好な学習信号を用いてクラス毎に予め学習によって生成された予測係数のセットを記憶するメモリを有し、上記メモリは、上記クラスコードをアドレスとして予測係数のセットを出力し、
上記生成手段は、上記予測タップ抽出手段からの予測タップと上記発生手段からの予測係数のセットを用いて予測演算することにより上記第２の画像信号を生成する
ことを特徴とする請求項１０に記載の画像変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像変換装置および方法、並びに記録媒体に関し、特に、入力された画像信号を同一フォーマットもしくは異なるフォーマットの画像信号に変換する際に、入力された画像データの画質が悪くとも、確実に画質が補正されたもしくは画質が改善された画像信号を提供できるようにした画像変換装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本出願人は、例えば、特開平８−５１５９９号として、より高解像度の画素データを得ることができるようにする技術を提案している。この提案においては、例えばＳＤ（Standard Definition）画素データからなる画像データからＨＤ（High Definition）画素データからなる画像データを創造する場合、創造するＨＤ画素データの近傍に位置するＳＤ画素データを用いてクラス分類を行い（クラスを決定し）、それぞれのクラス毎に、予測係数値を学習させておき、画像静止部においては、フレーム内相関を利用し、動き部においては、フィールド内相関を利用して、より真値に近いＨＤ画素データを得るようにしている。
【０００３】
【発明が解決しようとする課題】
ところで、この技術を用いて、例えば、非常に画質の悪い（画像のぼけた）画像を良好な画質の画像に補正することができる。しかしながら、非常に画質が悪い画像データの場合、この非常に画質が悪い画像データを用いてクラス分類を行うと、適切なクラス分類を行うことができず、適切なクラスを決定することができない。適切なクラスを求めることができないと、適切な予測係数値のセットを得ることができず、結局、充分な画質の補正を行うことができない課題があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、入力された画像データの画質が悪くとも、確実に画質を補正することができるようした画像変換装置および方法を提供するものである。
【０００５】
【課題を解決するための手段】
請求項１に記載の画像変換装置は、第１の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生するクラス分類手段と、クラスコードに対応する予測データを発生する発生手段と、第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として第１の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、クラスタップ抽出手段のクラスタップの抽出動作を制御する検出手段とを備えることを特徴とする。
【０００６】
請求項８に記載の画像変換方法は、第１の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出し、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、クラスコードに対応する予測データを発生し、予測データを用いて第２の画像信号を生成し、第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として第１の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、クラスタップの抽出処理を制御することを特徴とする。
【０００７】
請求項９に記載の記録媒体は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像変換装置に、第１の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出し、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、クラスコードに対応する予測データを発生し、予測データを用いて第２の画像信号を生成し、第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として第１の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、クラスタップの抽出処理を制御する処理を実行させるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【０００８】
請求項１に記載の画像変換装置、請求項８に記載の画像変換方法、および請求項９に記載の記録媒体に記録されたプログラムにおいては、入力された画像データのぼけ量を表す特徴量に対応してクラスタップが制御される。これにより、入力される画像データの画質が悪くても、最適なクラスタップを抽出することができ、最適な予測処理を行うことが可能となる。
請求項１０に記載の画像変換装置は、第２の画像信号における変換対象画素である注目画素の画素データに対応する第１の画像信号の注目画素の周辺に位置する複数の画素データを、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出手段と、クラスタップをクラス分類することにより注目画素のクラスを表すクラスコードを発生するクラス分類手段と、クラスコードに対応する予測データを発生する発生手段と、予測データを用いて注目画素の予測値を生成する生成手段と、第１の画像信号の中から予測演算を行うための複数の画素データを予測タップとして抽出する予測タップ抽出手段と、第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を特徴量として検出し、その検出結果に対応して、クラスタップ抽出手段のクラスタップの抽出動作及び予測タップ抽出手段の抽出動作を制御する検出手段とを備えることを特徴とする。
請求項１０に記載の画像変換装置においては、第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数が算出されるとともに、基準値となる自己相関係数が決定され、その決定された自己相関係数に対応する画素データのシフト量が特徴量として検出され、その検出結果に対応して、クラスタップ抽出手段のクラスタップの抽出動作及び予測タップ抽出手段の抽出動作が制御される。これにより、入力される画像データの画質が悪くても、最適なクラスタップを抽出することができ、最適な予測処理を行うことが可能となる。
【０００９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１０】
請求項１に記載に画像変換装置は、第１の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出するクラスタップ抽出手段（例えば、図１の領域切り出し部１）と、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生するクラス分類手段（例えば、図１のＡＤＲＣパターン抽出部４）と、クラスコードに対応する予測データを発生する発生手段（例えば、図１のＲＯＭテーブル６）と、予測データを用いて第２の画像信号を生成する生成手段（例えば、図１の予測演算部７）と、第１の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として第１の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、クラスタップ抽出手段のクラスタップの抽出動作を制御する検出手段（例えば、図１の特徴量抽出部３）とを備えることを特徴とする。
【００１１】
請求項５に記載の画像変換装置は、第１の画像信号の中から予測演算を行うための複数の画素データを予測タップとして抽出する予測タップ抽出手段（例えば、図１の領域切り出し部２）をさらに備え、発生手段は、クラスコードに対応する予測係数のセットを発生し、生成手段は、予測タップ抽出手段からの予測タップと発生手段からの予測係数のセットを用いて予測演算することにより第２の画像信号を生成することを特徴とする。
【００１２】
以下に、本発明の実施の形態について説明する。図１は、本発明を適用した、画像変換装置の構成例を示すブロック図である。同図には、例えば画質の悪い（ぼけた画像の）ＳＤ画像データ（または、ＨＤ画像データ）を、画質改善されたＳＤ画像データ（または、ＨＤ画像データ）に変換する構成例が示されている。以下においては、入力画像データがＳＤ画像データである場合について説明する。
【００１３】
例えば、画質の悪い（ぼけた画像の）ＳＤ画像データが、入力端子を介して画像変換装置に入力される。入力された画像データは、領域切り出し部１、領域切り出し部２、および特徴量抽出部３に供給される。特徴量抽出部３は、入力されたＳＤ画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部１、領域切り出し部２、およびクラスコード発生部５に出力する。領域切り出し部１は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これをＡＤＲＣ（Adaptive Dynamic Range Coding）パターン抽出部４に出力する。領域切り出し部１において切り出されるクラスタップは、特徴量抽出部３の出力する特徴量に対応して制御される。ＡＤＲＣパターン抽出部４は、空間内の波形表現を目的としたクラス分類を行うようになされている。
【００１４】
クラスコード発生部５は、ＡＤＲＣパターン抽出部４より出力されたクラスおよび特徴量抽出部３から出力された特徴量に対応するクラスコードを発生し、ＲＯＭテーブル６に出力する。ＲＯＭテーブル６には、各クラス（クラスコード）に対応して予め所定の予測係数のセットが記憶されており、クラスコードに対応する予測係数のセットが予測演算部７に出力される。
【００１５】
領域切り出し部２は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測演算部７に出力する。この領域切り出し部２により切り出される予測タップのセットは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して制御される。予測演算部７は、領域切り出し部２より入力された予測タップのセットと、ＲＯＭテーブル６より入力された予測係数のセットとから予測演算を行い、その演算結果を、画質を補正した画像データとして出力する。この出力された画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００１６】
次に、その動作について説明する。領域切り出し部１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して決定される。
【００１７】
ここで、図４のフローチャートを参照して、特徴量抽出部３の特徴量抽出処理について説明する。最初にステップＳ１において、特徴量抽出部３は、入力された各画素データに対するフレーム毎の自己相関係数を算出する。そして、この自己相関係数を画素データのぼけ量を表す特徴量の尺度に利用する。すなわち、図５に示すように、１フレームの画像データが７２０画素×４８０画素の画素データで構成されているものとすると、所定の注目画素に対してその注目画素を中心として、７２０画素×４８０画素の画素データのうちの５１２画素×２５６画素の画素データからなるブロック（以下、このブロックを、適宜、基準ブロックと呼ぶ）を構成し、その基準ブロックの位置を画素単位で所定の範囲内を上下左右方向に移動させ、移動させたときのそれぞれの位置に対応する自己相関係数を算出する。
【００１８】
例えば、所定の注目画素データを中心とした基準ブロック内の各画素値をＸij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、基準ブロック内の画素値の平均値をＸav、基準ブロックが移動された位置に対応するブロック内の各画素値をＹij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、そのブロック内の画素値の平均値をＹavとすると、基準ブロックを移動させたときのその位置に対応する自己相関係数は、次式で表される。
【数１】
0004062771.tif 000002
【００１９】
なお、上述したように、本実施の形態では、基準ブロックが５１２画素×２５６画素の画素データから構成されているため、ｎ＝５１１、ｍ＝２５５の値である。このようにして、所定の範囲内を基準ブロックをシフトしてそれぞれの位置に対応する自己相関係数を得ることができる。
【００２０】
図６は、このようにして求められた自己相関係数の例を表している。ブロック（基準ブロック）をシフトしないとき、自己相関係数は１である。これに対して、フレームＦ１の場合、例えば、ブロック（基準ブロック）を右方向に３画素分シフトしたとき、自己相関係数は０．８５に低下し、さらに、シフト量を増加させるに従って、自己相関係数は、より小さい値に低下する。このことは、ブロック（基準ブロック）を左方向にシフトした場合にも同様である。
【００２１】
一方、フレームＦ２においては、ブロック（基準ブロック）を１画素分右または左方向にシフトしたとき、自己相関係数が０．８５に低下し、それ以上シフトすると、自己相関係数はさらに低下する。このことは、フレームＦ１は、フレームＦ２に比べて、周囲との自己相関が強い、つまり、フレームＦ１は、フレームＦ２に比べてぼけ量が大きいことを意味している。
【００２２】
特徴量抽出部３は、ステップＳ２において、自己相関係数が所定の基準値（例えば、０．８５）となる画素シフト量を求め、ステップＳ３で、その画素シフト量を、ぼけ量を表す特徴量として出力する。つまり、所定の範囲内で、基準ブロックをシフトしたときの、それぞれの位置に対応する自己相関係数と基準値を比較することにより、自己相関係数が基準値となる画素シフト量を求める。図６の例の場合、入力された画素データがフレームＦ１の画素データである場合、特徴量は３とされ、入力された画素データがフレームＦ２の画素データである場合、特徴量は１とされる。
【００２３】
領域切り出し部１は、特徴量抽出部３から、特徴量１が入力されたとき、例えば、図２に示すように、狭い間隔内に配置された画素データをクラスタップとして切り出す（抽出する）。これに対して、特徴量３が入力されたとき、領域切り出し部１は、図３に示すように、より広い間隔で配置されている画素データをクラスタップとして切り出す（抽出する）。
【００２４】
図６に示すように、特徴量が１である画像（フレームＦ２）は、強い自己相関を有する画素データの範囲が狭くなっている。そこで、図２に示すように、クラスタップを構成する画素データとしても狭い範囲に配置されているものを選択する。これに対して、特徴量が３である画像（フレームＦ１）の場合、強い自己相関を有する範囲がより広くなっている。そこで、図３に示すように、クラスタップを構成する画素データも、より広い範囲から切り出すようにする。このように、ぼけ量を表す特徴量に応じて、クラスタップとして切り出す画素データをダイナミックに変化させるようにすることで、より適切なクラスタップを切り出すことが可能となる。
【００２５】
図示は省略するが、領域切り出し部２における予測タップも、領域切り出し部１におけるクラスタップの切り出しと同様に、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して、予測タップとして切り出す画素データをダイナミックに変化させる。なお、この領域切り出し部２において切り出される予測タップ（画素データ）は、領域切り出し部１において切り出されるクラスタップ（画素データ）と同一にしてもよいし、異なるものとしてもよい。
【００２６】
ＡＤＲＣパターン抽出部４は、領域切り出し部１で切り出されたクラスタップに対してＡＤＲＣ処理を実行してクラス分類を行う（クラスを決定する）。すなわち、クラスタップとして抽出された５つの画素データ内のダイナミックレンジをＤＲ、ビット割当をｎ、クラスタップとしての各画素データのレベルをＬ、再量子化コードをＱとするとき、次式を演算する。
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２n／ＤＲ｝
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
【００２７】
なお、ここで｛  ｝は切り捨て処理を意味する。また、ＭＡＸとＭＩＮは、クラスタップを構成する５つの画素データ内の最大値と最小値をそれぞれ表している。これにより、例えば領域切り出し部１で切り出されたクラスタップを構成する５個の画素データが、それぞれ例えば８ビットで構成されているとすると、これらがそれぞれ２ビット（ｎ＝２）に圧縮される。従って、合計１０ビットで表される空間クラスを表すデータが、クラスコード発生部５に供給される。
【００２８】
クラスコード発生部５は、ＡＤＲＣパターン抽出部４より入力された空間クラスを表すデータに、特徴量抽出部３より供給されるぼけ量を表す特徴量を表すビットを付加してクラスコードを発生する。例えば、ぼけ量を表す特徴量が２ビットで表されるとすると、１２ビットのクラスコードが発生され、ＲＯＭテーブル６に供給される。このクラスコードは、ＲＯＭテーブル６のアドレスに対応している。
【００２９】
ＲＯＭテーブル６には、各クラス（クラスコード）に対応する予測係数のセットがクラスコードに対応するアドレスにそれぞれ記憶されており、クラスコード発生部５より供給されたクラスコードに基づいて、そのクラスコードに対応するアドレスに記憶されている予測係数のセットω1乃至ωnが読み出され、予測演算部７に供給される。
【００３０】
予測演算部７は、領域切り出し部２より供給された予測タップを構成する画素データｘ1乃至ｘnと、予測係数ω1乃至ωnに対して、次式に示すように、積和演算を行うことで、予測結果ｙを演算する。
ｙ＝ω1ｘ1＋ω2ｘ2＋・・・＋ωnｘn
【００３１】
この予測値ｙが、画質（ぼけ）が補正された画素データとなる。
【００３２】
図７は、特徴量抽出部３における他の特徴量抽出処理の例を表している。この例においては、ステップＳ１１において、所定の注目画素の近傍のエッジが検出される。ステップＳ１２において、検出したエッジに対応するエッジコードが特徴量として出力される。例えば、図８に示すように、右上から左下方向に、斜めのエッジが検出された場合、特徴量抽出部３は、エッジコード０を出力し、図９に示すように、水平方向のエッジが検出された場合、エッジコード１を出力する。
【００３３】
領域切り出し部１は、特徴量抽出部３より、図８に示すエッジコード０が入力されたとき、図１０に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、右上から左下方向に延在するエッジを検出するのに最適な画素データで構成されている。これに対して、領域切り出し部１は、図９に示すようなエッジコード１が入力されたとき、図１１に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、水平方向のエッジを検出するのに最適な画素データで構成される。領域切り出し部２においても同様に、エッジコードに対応して予測タップを構成する画素データの切り出し（抽出）処理が実行される。
【００３４】
このように、入力された画素データの自己相関、エッジといった特徴量に対応して切り出すクラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させることができるので、より適切な予測演算結果を得ることが可能となる。
【００３５】
図１２は、ＲＯＭテーブル６に記憶するクラス毎（クラスコード毎）の予測係数のセットを学習によって得るための構成例を表している。この構成例においては、例えば、画質の良好な教師信号（学習信号）としてのＳＤ画像データ（または、ＨＤ画像データ）を用いてクラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。なお、以下に説明する構成例は、本実施の形態の図１の画像変換装置に対応するクラス毎の予測係数のセットを生成するための例である。
【００３６】
例えば、画質の良好な教師信号（学習信号）としての画像データが、正規方程式演算部２７に入力されるとともに、ローパスフィルタ（ＬＰＦ）２１に入力される。ローパスフィルタ２１は、入力された教師信号（学習信号）としての画像データの低域成分を除去することで、画質の劣化した画像データ（学習信号）を生成する。ローパスフィルタ２１から出力された、画質の劣化した画像データ（学習信号）は、クラスタップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部２２、予測タップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部２３、および、ぼけ量を表す特徴量を抽出する特徴量抽出部２４に入力される。特徴量抽出部２４は、入力された画質の劣化した画像データ（学習信号）の画素データのぼけ量を表す特徴量を抽出し、抽出したその特徴量を、領域切り出し部２２、領域切り出し部２３、およびクラスコード発生部２６に供給する。領域切り出し部２２と、領域切り出し部２３は、入力されたぼけ量を表す特徴量に対応して、クラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させる。
【００３７】
ＡＤＲＣパターン抽出部２５は、領域切り出し部２２より入力されたクラスタップとしての画素データのクラス分類を行い（クラスを決定し）、その分類結果をクラスコード発生部２６に出力する。クラスコード発生部２６は、分類されたクラスとぼけ量を表す特徴量とからクラスコードを発生し、正規方程式演算部２７に出力する。なお、上述した領域切り出し部２２、領域切り出し部２３、特徴量抽出部２４、ＡＤＲＣパターン抽出部２５およびクラスコード発生部２６のそれぞれの構成および動作は、図１に示された領域切り出し部１、領域切り出し部２、特徴量抽出部３、ＡＤＲＣパターン抽出部４およびクラスコード発生部６と同一であるため、ここでは説明を省略する。
【００３８】
正規方程式演算部２７は、入力される教師信号（学習信号）と領域切り出し部２３から供給される予測タップとしての画素データとから、クラス毎（クラスコード毎）に正規方程式を生成し、その正規方程式を予測係数決定部２８に供給する。そして、クラス毎に必要な数の正規方程式が求められたとき、正規方程式演算部２７は、例えば、クラス毎に最小自乗法を用いて正規方程式を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、予測係数決定部２８からメモリ２９に供給され、そのメモリ２９に記憶される。このメモリ２９に記憶されたクラス毎の予測係数のセットが、図１のＲＯＭテーブル６に書き込まれることになる。
【００３９】
上述した例では、クラス毎の予測係数のセットを、図１２に示される構成によって演算して求めるようにしたが、コンピュータを用いてシュミレーションで演算して求めるようにしてもよい。
【００４０】
また、本実施の形態においては、図１に示されるＲＯＭテーブル６に記憶された、図１２に示される方法で演算されたクラス毎の予測係数のセットと、予測タップとして切り出された画素データとから画質改善（ぼけ改善）された画素データを生成するようになされているが、本発明はこれに限らず、ＲＯＭテーブル６に学習によって演算されたクラス毎（クラスコード毎）の画素データの予測値そのものを記憶しておき、クラスコードによってその予測値を読み出すようにしてもよい。
【００４１】
この場合、図１に示される領域切り出し部２および図１２に示される領域切り出し部２３は省略でき、図１に示される予測演算部７は、ＲＯＭテーブル６から出力された画素データを出力デバイスに対応したフォーマットに変換して出力するようになされる。さらに、この場合は、図１２に示される正規方程式演算部２７および予測係数決定部２８のかわりに、重心法を用いてクラス毎の予測値が生成され、このクラス毎の予測値がメモリ２９に記憶される。
【００４２】
さらに、クラス毎の予測値そのもののかわりに、クラス毎の予測値のそれぞれを基準値で正規化し、クラス毎の正規化された予測値をＲＯＭテーブル６に記憶しておいてもよい。この場合、図１に示される予測演算部７では、基準値に基づいて正規化された予測値から予測値を演算することになる。
【００４３】
さらに、本実施の形態において、クラスタップまたは予測タップとして切り出される画素データの数は、自己相関係数を用いた場合は５個、エッジコードを求める場合には７個または８個であったが、これに限らず、クラスタップまたは予測タップとして切り出される画素データの数はいくつであってもよい。但し、クラスタップまたは予測タップとして切り出す数を多くすればするほど画質改善の精度は高くなるが、演算量が多くなったり、メモリが大きくなったりするため、演算量、ハード面での負荷が大きくなるため、最適な数を設定する必要がある。
【００４４】
また、本実施の形態においては、ＳＤ画像信号からＳＤ画像信号への変換（ＳＤ−ＳＤ変換）、ＨＤ画像信号からＨＤ画像信号への変換（ＨＤ−ＨＤ変換）について記載されているが、本発明はこれに限らず、他のフォーマット（インターレース信号、ノンインターレース信号など）の変換にももちろん適用可能である。また、ＳＤ画像信号からＨＤ画像信号への変換（ＳＤ−ＨＤ変換）やインターレース信号からノンインターレース信号への変換（インター−ノンインター変換）など、異なるフォーマット間の変換にも本発明は適用が可能である。但し、この場合には、クラスタップまたは予測タップとして画像データを切り出す際には、注目画素データとなる画素は実際には存在しないため、切り出しの対象画素データとはならない。
【００４５】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えられる。従って、本発明の要旨は本実施の形態に限定されるものではない。
【００４６】
なお、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００４７】
【発明の効果】
以上の如く、請求項１に記載の画像変換装置、請求項８に記載の画像変換方法、および請求項９に記載の記録媒体に記録されたプログラムによれば、入力された画像データのぼけ量を表す特徴量に対応して、クラスタップの切り出しを制御するようにしたので、入力される画像データの画質が悪くても、クラスタップとして最適な画素データを抽出することができ、適切な予測処理を行うことが可能となる。
また、請求項１０に記載の画像変換装置によれば、注目画素の画素データに対応する入力された画像信号における位置周辺の特徴量に対応して、クラスタップおよび予測タップの切り出しを制御するようにしたので、入力される画像データの画質が悪くても、クラスタップまたは予測タップとして最適な画素データを抽出することができ、適切な予測処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像変換装置の構成例を示すブロック図である。
【図２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図３】図１の領域切り出し部１における切り出し処理を説明する図である。
【図４】図１の特徴量抽出部３における特徴量抽出処理を説明するフローチャートである。
【図５】図４のステップＳ１の自己相関係数を算出する処理を説明する図である。
【図６】図４のステップＳ１において算出される自己相関係数を説明する図である。
【図７】図１の特徴量抽出部３における他の特徴量検出処理を説明する図である。
【図８】図１の特徴量抽出部３における他の特徴量検出の例を示す図である。
【図９】図１の特徴量抽出部３における他の特徴量検出の例を示す図である。
【図１０】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１１】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１２】図１のＲＯＭテーブル６の予測係数の学習処理を行うための構成例を示すブロック図である。
【符号の説明】
１，２  領域切り出し部，  ３  特徴量抽出部，  ４  ＡＤＲＣパターン抽出部，  ５  クラスコード発生部，  ６  ＲＯＭテーブル，  ７  予測演算部
【図１】
0004062771.tif 000003
【図２】
0004062771.tif 000004
【図３】
0004062771.tif 000005
【図４】
0004062771.tif 000006
【図５】
0004062771.tif 000007
【図６】
0004062771.tif 000008
【図７】
0004062771.tif 000009
【図８】
0004062771.tif 000010
【図９】
0004062771.tif 000011
【図１０】
0004062771.tif 000012
【図１１】
0004062771.tif 000013
【図１２】
0004062771.tif 000014