(57)【特許請求の範囲】
【請求項１】
入力された入力画素データを、ブロック歪みを抑制した抑制画素データに変換する画像信号処理装置において、
複数のフレームの前記入力画素データおよび過去の前記抑制画素データからなる画素データ群から、予測すべき画素である予測画素の近傍の第１の画素群の画素データを、第１の画素データ群として抽出し、その第１の画素データ群の性質に応じて、前記予測画素のクラスを決定する決定手段と、
前記抑制画素データを予測するために、学習用のブロック歪みのある画素データとブロック歪みのない画素データを用いて、その学習用のブロック歪みのある画素データからブロック歪みのない画素データを予測したときの予測誤差が最小となるように予め求められた予測係数を記憶する記憶手段と、
前記複数のフレームの前記入力画素データおよび過去の前記抑制画素データからなる画素データ群のうちの、前記予測画素の近傍の前記第１の画素群と同一または異なる第２の画素群の画素データである第２の画素データ群と、前記決定手段により決定された前記クラスに対応する前記予測係数とを用いて、前記予測係数を前記第２の画素データ群に適応する予測演算を行い、その結果得られる抑制画素データを出力する予測手段と、
所定のフレームの前記入力画素データと、前記予測手段により出力された抑制画素データを取り込み、前記決定手段または予測手段に供給する供給手段と
を備えることを特徴とする画像信号処理装置。
【請求項２】
予測すべき画素である予測画素のクラスを決定する決定手段と、ブロック歪みを抑制した抑制画素データを予測するために、学習用のブロック歪みのある画素データとブロック歪みのない画素データを用いて、その学習用のブロック歪みのある画素データからブロック歪みのない画素データを予測したときの予測誤差が最小となるように予め求められた予測係数を記憶する記憶手段と、前記抑制画素データを出力する予測手段とを備え、入力された入力画素データを、前記抑制画素データに変換する画像信号処理装置の画像信号処理方法において、
複数のフレームの前記入力画素データおよび過去の前記抑制画素データからなる画素データ群から、前記予測画素の近傍の第１の画素群の画素データを、第１の画素データ群として抽出し、その第１の画素データ群の性質に応じて、前記予測画素のクラスを決定する決定ステップと、
前記複数のフレームの前記入力画素データおよび過去の前記抑制画素データからなる画素データ群のうちの、前記予測画素の近傍の前記第１の画素群と同一または異なる第２の画素群の画素データである第２の画素データ群と、前記決定ステップの処理により決定された前記クラスに対応する前記予測係数とを用いて、前記予測係数を前記第２の画素データ群に適応する予測演算を行い、その結果得られる抑制画素データを出力する予測ステップと、
所定のフレームの前記入力画素データと、前記予測ステップの処理により出力された抑制画素データを取り込み、前記決定手段または予測手段に供給する供給ステップと
を備えることを特徴とする画像信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置および方法に関し、特に、ブロック歪みなどにより失われた情報を改善することができるようにした画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
図７は、従来の画像信号処理装置の構成例を表している。同図に示すように、入力された画像は、現在のフレームの信号が、直接またはラインメモリ２−１−１，２−１−２，・・・を介して、クラス生成回路６と遅延回路７に供給されるようになされている。また、入力された画像信号は、フレームメモリ（または、フィールドメモリ）１−１に一旦記憶された後、直接またはラインメモリ２−２−１，２−２−２，・・・を介して、クラス生成回路６と遅延回路７に供給されるようになされている。以下、同様に、フレームメモリ１−２乃至１−（ｎ−１）と、それに対応するラインメモリを介して、画像信号がクラス生成回路６と遅延回路７に供給されるようになされている。すなわち、これにより、クラス生成回路６と遅延回路７に、複数のフレームの対応するラインの画素データがパラレルに供給されるようになされている。
【０００３】
クラス生成回路６は、入力された複数のフレームの所定の画素データから、クラスタップを構成し、このクラスタップから、入力された画像信号のクラスを決定し、そのクラスを表すインデックス信号を、予測処理回路８の予測係数ＲＯＭ９に出力するようになされている。予測係数ＲＯＭ９には、クラス毎に、予測係数が予め記憶されており、予測係数ＲＯＭ９は、入力されたインデックス信号で指定されるクラスに対応する予測係数を読み出し、予測演算部１０に出力するようになされている。遅延回路７は、クラス生成回路６における処理に必要な時間に対応する遅延を、入力された画素データに与えた後、予測演算部１０に出力するようになされている。予測演算部１０は、遅延回路７より供給された画素データに対して、予測係数ＲＯＭ９より供給された予測係数を適用して予測演算を行い、演算結果（予測結果）を、予測した画素データとして出力するようになされている。
【０００４】
次に、その動作について説明する。クラス生成回路６は、入力された画素データからクラスタップを抽出し、このクラスタップに基づいて、クラスを生成する。予測係数ＲＯＭ９は、予め記憶されている予測係数の中から、クラス生成回路６より供給されたインデックス信号に対応する予測係数を読み出し、予測演算部１０に出力する。予測演算部１０は、遅延回路７を介して、入力された画素データに対し、予測係数を適用して新たな画素データを演算し、予測結果として出力する。
【０００５】
このように、複数フレームにわたる画素データでクラスタップと予測タップを設定することで、クラスタップと予測タップを単一のフレームの画素データで構成する場合に較べて、予測性能を向上させることができる。
【０００６】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ(Moving Picture Experts Group)方式における場合のように、画像データを低レートで圧縮、符号化し、また、復号化するような場合、高解像度の画像データを生成しようとすると、ブロック歪みのために、所定の範囲の予測値（画素データ）が全て同一の値となり、その部分を高解像度にすることができないことがあった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、ブロック歪みによる影響を抑制し、高解像度の画像データを得ることができるようにするものである。
【０００８】
【課題を解決するための手段】
請求項１に記載の画像信号処理装置は、複数のフレームの入力画素データおよび過去の抑制画素データからなる画素データ群から、予測すべき画素である予測画素の近傍の第１の画素群の画素データを、第１の画素データ群として抽出し、その第１の画素データ群の性質に応じて、予測画素のクラスを決定する決定手段と、抑制画素データを予測するために、学習用のブロック歪みのある画素データとブロック歪みのない画素データを用いて、その学習用のブロック歪みのある画素データからブロック歪みのない画素データを予測したときの予測誤差が最小となるように予め求められた予測係数を記憶する記憶手段と、複数のフレームの入力画素データおよび過去の抑制画素データからなる画素データ群のうちの、予測画素の近傍の第１の画素群と同一または異なる第２の画素群の画素データである第２の画素データ群と、決定手段により決定されたクラスに対応する予測係数とを用いて、予測係数を第２の画素データ群に適応する予測演算を行い、その結果得られる抑制画素データを出力する予測手段と、所定のフレームの入力画素データと、予測手段により出力された抑制画素データを取り込み、決定手段または予測手段に供給する供給手段とを備えることを特徴とする。
【０００９】
請求項２に記載の画像信号処理方法は、複数のフレームの入力画素データおよび過去の抑制画素データからなる画素データ群から、予測画素の近傍の第１の画素群の画素データを、第１の画素データ群として抽出し、その第１の画素データ群の性質に応じて、予測画素のクラスを決定する決定ステップと、複数のフレームの入力画素データおよび過去の抑制画素データからなる画素データ群のうちの、予測画素の近傍の第１の画素群と同一または異なる第２の画素群の画素データである第２の画素データ群と、決定ステップの処理により決定されたクラスに対応する予測係数とを用いて、予測係数を第２の画素データ群に適応する予測演算を行い、その結果得られる抑制画素データを出力する予測ステップと、所定のフレームの入力画素データと、予測ステップの処理により出力された抑制画素データを取り込み、決定手段または予測手段に供給する供給ステップとを備えることを特徴とする。
【００１２】
請求項１に記載の画像信号処理装置および請求項２に記載の画像信号処理方法においては、所定のフレームの入力画素データと、予測処理の結果得られた抑制画素データを基にして、第１の画素データ群または第２の画素データ群が形成される。
【００１４】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１５】
請求項１に記載の画像信号処理装置は、複数のフレームの入力画素データおよび過去の抑制画素データからなる画素データ群から、予測すべき画素である予測画素の近傍の第１の画素群の画素データを、第１の画素データ群として抽出し、その第１の画素データ群の性質に応じて、予測画素のクラスを決定する決定手段（例えば、図１のクラス生成回路６）と、抑制画素データを予測するために、学習用のブロック歪みのある画素データとブロック歪みのない画素データを用いて、その学習用のブロック歪みのある画素データからブロック歪みのない画素データを予測したときの予測誤差が最小となるように予め求められた予測係数を記憶する記憶手段（例えば、図１の予測係数ＲＯＭ９）と、複数のフレームの入力画素データおよび過去の抑制画素データからなる画素データ群のうちの、予測画素の近傍の第１の画素群と同一または異なる第２の画素群の画素データである第２の画素データ群と、決定手段により決定されたクラスに対応する予測係数とを用いて、予測係数を第２の画素データ群に適応する予測演算を行い、その結果得られる抑制画素データを出力する予測手段（例えば、図１の予測演算部１０）と、所定のフレームの入力画素データと、予測手段により出力された抑制画素データを取り込み、決定手段または予測手段に供給する供給手段（例えば、図１のフレームメモリ１−１、ラインメモリ２−１−１乃至２−２−２、フレームメモリ２１−１，２１−２、ラインメモリ２２−１−１乃至２２−２−２）とを備えることを特徴とする。
【００１７】
図１は、本発明の画像信号処理装置の構成例を示すブロック図であり、図７における場合と対応する部分には、同一の符号を付してある。この実施の形態においては、図７におけるフレームメモリ１−１乃至予測演算部１０に加えて、フレームメモリ２１−１，２１−２とラインメモリ２２−１−１乃至２２−２−２が設けられている。
【００１８】
すなわち、予測処理回路８より出力された予測データ（画素データ）が、フレームメモリ２１−１により、１フレーム分遅延された後、直接またはラインメモリ２２−１−１，２２−１−２，・・・を介して、クラス生成回路６と遅延回路７に供給されるようになされている。また、フレームメモリ２１−１より出力された画素データが、フレームメモリ２１−２によりさらに１フレーム分だけ遅延され、直接またはラインメモリ２２−２−１，２２−２−２，・・・を介して、クラス生成回路６と遅延回路７に供給されるようになされている。
【００１９】
すなわち、クラス生成回路６と遅延回路７には、入力された複数のフレームの対応する複数のラインの画素データが供給されるだけでなく、既に予測処理が終了した、過去の複数のフレームの複数のラインの画素データも供給されるようになされている。その他の構成は、図７における場合と同様である。
【００２０】
次に、その動作について説明する。入力された画像データは、フレームメモリ１−１、ラインメモリ２−１−１乃至２−２−２などにより、所定の時間だけ遅延される。これにより、複数のフレームの所定の複数のラインの画素データが、パラレルに、クラス生成回路６と遅延回路７に供給される。クラス生成回路６は、入力された複数のフレームの複数のラインの所定の画素データから、クラスタップを抽出し、そのクラスタップの画素に対応して、クラス分類処理を行う。このクラス分類には、ＰＣＭデータを直接使用する方法、ＡＤＲＣを適用する方法、ＤＰＣＭを適用する方法、ＢＴＣを適用する方法、ＶＱを適用する方法、ＤＣＴ、アダマール変換などの周波数変換を適用する方法などを用いることができる。
【００２１】
そして、クラス生成回路６は、分類したクラスに対応するインデックス信号を生成し、予測係数ＲＯＭ９に出力する。予測係数ＲＯＭ９は、予め記憶されている複数の予測係数の中から、クラス生成回路６より入力されたインデックス信号に対応するクラスの予測係数を読み出し、予測演算部１０に出力する。予測演算部１０は、遅延回路７を介して入力される複数のフレームの複数のラインの所定の画素データから、予測タップを形成し、その予測タップに対して、予測係数ＲＯＭ９より供給された予測係数を適用し、予測演算処理を行う。予測演算処理の結果得られた画素データは、図示せぬ回路に出力される。
【００２２】
予測処理回路８より出力された予測結果はまた、フレームメモリ２１−１に供給され、１フレーム分だけ遅延される。１フレーム分だけ遅延された画素データは、直接またはラインメモリ２２−１−１，２２−１−２などにより順次遅延され、クラス生成回路６と遅延回路７にパラレルに供給される。
【００２３】
また、フレームメモリ２１−１より出力された画素データは、フレームメモリ２１−２により、さらに１フレーム分だけ遅延された後、直接またはラインメモリ２２−２−１，２２−２−２，・・・などを介して、パラレルに、クラス生成回路６と遅延回路７に供給される。
【００２４】
このようにして、クラス生成回路６には、現在入力された画素データと、既に予測処理が行われた結果得られた画素データとが入力される。クラス生成回路６は、これらの画素データからクラス生成処理を行う。
【００２５】
図２は、クラス生成回路６におけるこの場合のクラスタップの構成例を示している。図２の例においては、既に予測処理が行われたフレームＦ１の５個の予測データｙ１乃至ｙ５、現在入力されているフレームＦ２の１３個の画素データｘ１１乃至ｘ２３、およびフレームＦ２の次のフレームＦ３の５個の画素データｘ３１乃至ｘ３５の合計２３個の画素データにより、クラスタップが形成される。そして、クラス生成回路６は、この２３個の画素データで構成されるクラスタップからクラスを決定する。クラス生成回路６で決定したクラスに対応する予測係数が予測係数ＲＯＭ９から読み出され、予測演算部１０に供給される。
【００２６】
予測演算部１０にはまた、遅延回路７を介して、図２に示す場合と同一の画素データが予測演算部１０に供給される。予測演算部１０は、この画素データを予測タップとして、この予測タップに対して予測係数を適用し、予測演算処理を行う。この予測演算処理が行われた結果が図示せぬ回路に出力されるとともに、フレームメモリ２１−１に帰還される。以下、同様の処理が繰り返し行われる。
【００２７】
このように、過去の予測結果を基にして、クラスタップと予測タップを生成するようにすることで、見かけ上、クラス数と予測タップ数を増大させることができ、ブロック歪みなどで失われた情報を改善することが可能となる。
【００２８】
次に、図３のフローチャートを参照して、予測係数ＲＯＭ９に記憶する予測係数の演算方法について説明する。なお、この演算は、例えば、図１に示す回路と同様の構成の回路で実現することができる。
【００２９】
最初に、ステップＳ１において、現在の入力の画素データに対するタップを決定する処理が行われる。いまの場合、例えば図４に示すように、第１のフレームＦ１の５個の画素データｘ１乃至ｘ５、その次のフレームＦ２の１３個の画素データｘ１１乃至ｘ２３、およびさらにその次のフレームＦ３の５個の画素データｘ３１乃至ｘ３５の合計２３個の画素データがクラスタップおよび予測タップとされる。
【００３０】
次に、ステップＳ２に進み、所定の数のフレームの学習データを取り込み、予測係数を学習する処理が実行される。すなわち、クラスタップからクラス分類が行われる。そして、クラス毎に、予測タップの画素値と教師信号値とから正規方程式が生成され、同様の処理が、例えば３０フレーム分の画像データに対して行われる。３０フレーム分の画像データがサンプリングされたとき、生成された正規方程式を、例えば掃き出し法などにより解き、予測係数を生成する。
【００３１】
次に、ステップＳ３に進み、いま生成された予測係数を現在の予測係数として設定する。次に、ステップＳ４に進み、クラス分類適応予測処理を実行する。すなわち、ステップＳ３で設定された予測係数を用いて、新たに入力される画像データをクラス分類し、分類されたクラスに対応する予測係数を予測タップの画素データに適応することで、予測処理を実行する。この処理も、例えば３０フレーム分の画素データに対して行われる。
【００３２】
次に、ステップＳ５に進み、予測係数が収束したか否かが判定される。いまの場合、まだ１回の予測処理しか行っていないので、予測係数が収束したと判定されず、ステップＳ６に進む。ステップＳ６においては、図２に示すように、直前のフレーム（フレームＦ１）における、既に予測した結果得られた５個の予測値ｙ１乃至ｙ５と、その次のフレームＦ２の画素データｘ１１乃至ｘ２３、およびさらにその次のフレームＦ３の画素データｘ３１乃至ｘ３５の合計２３個のデータにより、クラスタップを形成する。そして、ステップＳ７に進み、ステップＳ６で決定された２３個のデータを用いて、予測係数を学習する処理が行われる。この処理も、例えば３０フレーム分について行われる。そして、３０フレーム分のサンプリングが完了したとき、生成された正規方程式を解くことで、予測係数が演算される。
【００３３】
ステップＳ７の学習処理が完了したとき、ステップＳ３に戻り、それ以降の処理が繰り返し実行される。そして、ステップＳ５においては、ステップＳ４で、いま得られた予測結果と、前回のステップＳ４における予測処理により得られた予測結果とを比較し、その差分の絶対値の和が予め設定してある所定の基準値の範囲内であるか否かから、予測係数が収束したか否かを判定する。差分値の絶対値の和が基準の範囲外にあるとき、ステップＳ６，Ｓ７，Ｓ３，Ｓ４の処理を繰り返し実行する。そして、差分の絶対値の和が基準の範囲内になったとき、予測処理が収束したものと判定し、ステップＳ８に進み、その予測係数を出力する処理を実行する。この予測係数が、図１の予測係数ＲＯＭ９に書き込まれることになる。
【００３４】
図５は、他の実施の形態を表している。この実施の形態においては、予測処理回路８より出力された画素データ（予測値）が、フレームメモリ２１−１に供給されるだけでなく、直接またはラインメモリ３１−１−１，３１−１−２，・・・を介してクラス生成回路６と遅延回路７に供給されるようになされている。すなわち、この実施の形態においては、予測処理が行われた過去のフレームの予測値だけでなく、現在予測処理を行っている最中のフレームの予測値も、クラス生成回路６と遅延回路７に供給されるようになされている。その他の構成は、図１における場合と同様である。
【００３５】
すなわち、図５の実施の形態においては、例えば図６に示すように、過去のフレームＦ１の予測値ｙ１乃至ｙ５だけでなく、処理中のフレームＦ２の予測値ｙ１１乃至ｙ１６が、画素データｘ１１乃至ｘ１６に代えて、クラス生成回路６と遅延回路７に帰還されている。
【００３６】
このようにすると、図１（図２）の実施の形態の場合に較べて、参照する予測値が増加するので、より高精細度の予測処理を行うことが可能となる。
【００３７】
なお、以上の実施の形態においては、クラスタップと予測タップを対応する画素データで構成するようにしたが、異なる画素データで構成するようにすることも可能である。また、クラスタップまたは予測タップを構成する画素データは、図２、図４または図６に示す場合に限らず、任意の画素データで構成することができる。
【００３８】
さらに、上記実施の形態においては、フレームを表示単位としたが、フィールドを表示単位として処理するようにしてもよい。
【００３９】
【発明の効果】
以上の如く、請求項１に記載の画像信号処理装置および請求項２に記載の画像信号処理方法によれば、所定のフレームの入力画素データと、予測処理の結果得られた抑制画素データを取り込み、第１の画素データ群または第２の画素データ群を形成するようにしたので、予測した抑制画素データが同一になることが抑制され、高解像度の画像データを得ることが可能となる。すなわち、ブロック歪みなどで失われた情報を改善することが可能となる。
【図面の簡単な説明】
【図１】本発明の画像信号処理装置の構成例を示すブロック図である。
【図２】複数フレームのタップ構造を説明する図である。
【図３】係数学習処理を説明するフローチャートである。
【図４】複数フレームの他のタップ構造を説明する図である。
【図５】本発明の画像信号処理装置の他の構成例を示すブロック図である。
【図６】複数フレームの他のタップ構造を説明する図である。
【図７】従来の画像信号処理装置の構成例を示すブロック図である。
【符号の説明】
１−１乃至１−（ｎ−１）  フレームメモリ，  ２−１−１乃至２−ｎ−２  ラインメモリ，  ６  クラス生成回路，  ７  遅延回路，  ８  予測処理回路，９  予測係数ＲＯＭ，  １０  予測演算部，  ２１−１，２１−２  フレームメモリ，  ２２−１−１乃至２２−２−２  ラインメモリ
【図１】
0003888561.tif 000002
【図２】
0003888561.tif 000003
【図３】
0003888561.tif 000004
【図４】
0003888561.tif 000005
【図５】
0003888561.tif 000006
【図６】
0003888561.tif 000007
【図７】
0003888561.tif 000008