(57)【特許請求の範囲】
【請求項１】
画像データを符号化した符号化データであって、少なくとも、前記画像データから動きベクトルを検出し、その動きベクトルを用いて動き補償を行うことにより予測画像を生成し、前記画像データと予測画像との差分を、所定のブロック単位で、フィールドＤＣＴ(Discrete Cosine Transform)モードまたはフレームＤＣＴモードによりＤＣＴ変換したときのフィールドＤＣＴモードまたはフレームＤＣＴモードを表すＤＣＴタイプと、前記画像データの動きベクトルとを含む符号化データを復号する復号装置において、
前記符号化データに含まれるＤＣＴタイプの正しさを、その符号化データに含まれる前記画像データの動きベクトルに基づいて、前記ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定手段と、
前記符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の前記高品質データを注目データとし、前記注目データを求めるための所定のタップ係数との積和演算に用いる前記低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出手段と、
前記低品質データに対応する、学習の生徒となる生徒データと、前記高品質データに対応する、前記学習の教師となる教師データとを用い、前記生徒データとタップ係数との積和演算により求められる前記教師データの予測値の予測誤差を統計的に最小にする前記学習を行うことにより得られるタップ係数と、前記予測タップとの前記積和演算を行うことにより、前記注目データを求める予測演算手段と
を有する復号手段と
を備え、
前記予測タップ抽出手段は、前記ミスマッチ情報に基づき、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフィールドＤＣＴモードであるとき、前記注目データのフィールドの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフレームＤＣＴモードであるとき、前記注目データのフレームの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しくないことを表している場合、前記注目データのフィールドとフレームの両方の前記低品質データから、前記予測タップを抽出する
ことを特徴とする復号装置。
【請求項２】
前記判定手段は、
前記ブロック単位の画像データに動きがある場合において、そのブロックについてのＤＣＴタイプがフレームＤＣＴモードであるとき、そのＤＣＴタイプが正しくないと判定する
ことを特徴とする請求項１に記載の復号装置。
【請求項３】
前記符号化データは、前記ブロック単位の画像データを対象に、ノンイントラ符号化、または前記予測画像を用いない符号化であるイントラ符号化を行うことにより得られたものであり、
前記判定手段は、
イントラ符号化されたブロックについては、そのブロックのフレームの前または後のフレームのブロックにおける前記動きベクトルに基づいて、画像データの動きの有無を判定し、
ノンイントラ符号化されたブロックについては、そのブロックにおける前記動きベクトルに基づいて、画像データの動きの有無を判定する
ことを特徴とする請求項２に記載の復号装置。
【請求項４】
前記復号手段は、
前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素単位の前記低品質データの幾つかを、クラスタップとして抽出するクラスタップ抽出手段と、
前記注目データを、前記クラスタップを構成する前記低品質データの値に対応するクラスにクラス分類し、前記注目データのクラスを表すクラスコードを出力するクラス分類手段と、
前記クラスごとの前記タップ係数から、前記クラスコードに対応するタップ係数を取得するタップ係数取得手段と
をさらに有し、
前記予測演算手段は、前記予測タップ抽出手段が出力する予測タップと、前記タップ係数取得手段において得られたタップ係数との積和演算を行うことにより、前記注目データを求める
ことを特徴とする請求項１に記載の復号装置。
【請求項５】
前記クラスタップ抽出手段は、前記ミスマッチ情報に基づき、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフィールドＤＣＴモードであるとき、前記注目データのフィールドの前記低品質データから、前記クラスタップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフレームＤＣＴモードであるとき、前記注目データのフレームの前記低品質データから、前記クラスタップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しくないことを表している場合、前記注目データのフィールドとフレームの両方の前記低品質データから、前記クラスタップを抽出する
ことを特徴とする請求項４に記載の復号装置。
【請求項６】
前記クラス分類手段は、前記ミスマッチ情報にも基づいて、前記クラスタップを構成する前記低品質データの値と、前記ミスマッチ情報の値とに対応するクラスに、前記注目データをクラス分類する
ことを特徴とする請求項４に記載の復号装置。
【請求項７】
前記符号化データは、画像データを、ＭＰＥＧ(Moving Picture Experts Group)方式によって符号化することにより得られたものである
ことを特徴とする請求項１に記載の復号装置。
【請求項８】
前記低品質データは、前記符号化データをＭＰＥＧ(Moving Picture Experts Group)方式にしたがって復号して得られる画像データであり、
前記高品質データは、前記低品質データである画像データよりも高画質の画像データである
ことを特徴とする請求項１に記載の復号装置。
【請求項９】
前記低品質データは、前記符号化データをＭＰＥＧ(Moving Picture Experts Group)方式にしたがって復号して得られる画像データのＤＣＴ係数であり、
前記高品質データは、前記符号化データをＭＰＥＧ方式にしたがって復号して得られる画像データよりも高画質の画像データである
ことを特徴とする請求項１に記載の復号装置。
【請求項１０】
前記低品質データは、前記符号化データをＭＰＥＧ(Moving Picture Experts Group)方式にしたがって復号して得られる画像データのＤＣＴ係数であり、
前記高品質データは、前記符号化データをＭＰＥＧ方式にしたがって復号して得られる画像データよりも高画質の画像データのＤＣＴ係数である
ことを特徴とする請求項１に記載の復号装置。
【請求項１１】
画像データを符号化した符号化データであって、少なくとも、前記画像データから動きベクトルを検出し、その動きベクトルを用いて動き補償を行うことにより予測画像を生成し、前記画像データと予測画像との差分を、所定のブロック単位で、フィールドＤＣＴ(Discrete Cosine Transform)モードまたはフレームＤＣＴモードによりＤＣＴ変換したときのフィールドＤＣＴモードまたはフレームＤＣＴモードを表すＤＣＴタイプと、前記画像データの動きベクトルとを含む符号化データを復号する復号方法において、
前記符号化データに含まれるＤＣＴタイプの正しさを、その符号化データに含まれる前記画像データの動きベクトルに基づいて、前記ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の前記高品質データを注目データとし、前記注目データを求めるための所定のタップ係数との積和演算に用いる前記低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、
前記低品質データに対応する、学習の生徒となる生徒データと、前記高品質データに対応する、前記学習の教師となる教師データとを用い、前記生徒データとタップ係数との積和演算により求められる前記教師データの予測値の予測誤差を統計的に最小にする前記学習を行うことにより得られるタップ係数と、前記予測タップとの前記積和演算を行うことにより、前記注目データを求める予測演算ステップと
を含む復号ステップと
を備え、
前記予測タップ抽出ステップにおいては、前記ミスマッチ情報に基づき、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフィールドＤＣＴモードであるとき、前記注目データのフィールドの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフレームＤＣＴモードであるとき、前記注目データのフレームの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しくないことを表している場合、前記注目データのフィールドとフレームの両方の前記低品質データから、前記予測タップを抽出する
ことを特徴とする復号方法。
【請求項１２】
画像データを符号化した符号化データであって、少なくとも、前記画像データから動きベクトルを検出し、その動きベクトルを用いて動き補償を行うことにより予測画像を生成し、前記画像データと予測画像との差分を、所定のブロック単位で、フィールドＤＣＴ(Discrete Cosine Transform)モードまたはフレームＤＣＴモードによりＤＣＴ変換したときのフィールドＤＣＴモードまたはフレームＤＣＴモードを表すＤＣＴタイプと、前記画像データの動きベクトルとを含む符号化データを復号する復号処理を、コンピュータに行わせるプログラムにおいて、
前記符号化データに含まれるＤＣＴタイプの正しさを、その符号化データに含まれる前記画像データの動きベクトルに基づいて、前記ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の前記高品質データを注目データとし、前記注目データを求めるための所定のタップ係数との積和演算に用いる前記低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、
前記低品質データに対応する、学習の生徒となる生徒データと、前記高品質データに対応する、前記学習の教師となる教師データとを用い、前記生徒データとタップ係数との積和演算により求められる前記教師データの予測値の予測誤差を統計的に最小にする前記学習を行うことにより得られるタップ係数と、前記予測タップとの前記積和演算を行うことにより、前記注目データを求める予測演算ステップと
を含む復号ステップと
を備え、
前記予測タップ抽出ステップにおいては、前記ミスマッチ情報に基づき、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフィールドＤＣＴモードであるとき、前記注目データのフィールドの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフレームＤＣＴモードであるとき、前記注目データのフレームの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しくないことを表している場合、前記注目データのフィールドとフレームの両方の前記低品質データから、前記予測タップを抽出する
ことを特徴とするプログラム。
【請求項１３】
画像データを符号化した符号化データであって、少なくとも、前記画像データから動きベクトルを検出し、その動きベクトルを用いて動き補償を行うことにより予測画像を生成し、前記画像データと予測画像との差分を、所定のブロック単位で、フィールドＤＣＴ(Discrete Cosine Transform)モードまたはフレームＤＣＴモードによりＤＣＴ変換したときのフィールドＤＣＴモードまたはフレームＤＣＴモードを表すＤＣＴタイプと、前記画像データの動きベクトルとを含む符号化データを復号する復号処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
前記符号化データに含まれるＤＣＴタイプの正しさを、その符号化データに含まれる前記画像データの動きベクトルに基づいて、前記ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の前記高品質データを注目データとし、前記注目データを求めるための所定のタップ係数との積和演算に用いる前記低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、
前記低品質データに対応する、学習の生徒となる生徒データと、前記高品質データに対応する、前記学習の教師となる教師データとを用い、前記生徒データとタップ係数との積和演算により求められる前記教師データの予測値の予測誤差を統計的に最小にする前記学習を行うことにより得られるタップ係数と、前記予測タップとの前記積和演算を行うことにより、前記注目データを求める予測演算ステップと
を含む復号ステップと
を備え、
前記予測タップ抽出ステップにおいては、前記ミスマッチ情報に基づき、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフィールドＤＣＴモードであるとき、前記注目データのフィールドの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフレームＤＣＴモードであるとき、前記注目データのフレームの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しくないことを表している場合、前記注目データのフィールドとフレームの両方の前記低品質データから、前記予測タップを抽出する
プログラムが記録されている
ことを特徴とする記録媒体。
【請求項１４】
画像データを符号化した符号化データであって、少なくとも、前記画像データから動きベクトルを検出し、その動きベクトルを用いて動き補償を行うことにより予測画像を生成し、前記画像データと予測画像との差分を、所定のブロック単位で、フィールドＤＣＴ(Discrete Cosine Transform)モードまたはフレームＤＣＴモードによりＤＣＴ変換したときのフィールドＤＣＴモードまたはフレームＤＣＴモードを表すＤＣＴタイプと、前記画像データの動きベクトルとを含む符号化データを復号するのに用いられるタップ係数を学習する学習装置において、
学習用の画像データから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成手段と、
前記学習用の画像データから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成手段と、
前記学習用の画像データを符号化し、前記ＤＣＴタイプおよび前記画像データの動きベクトルを含む学習用の符号化データを出力する符号化手段と、
前記学習用の符号化データに含まれる前記ＤＣＴタイプの正しさを、その学習用の符号化データに含まれる前記画像データの動きベクトルに基づいて、前記ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定手段と、
前記符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の前記高品質データを注目データとし、前記注目データを求めるための所定のタップ係数との積和演算に用いる前記低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出手段と、
前記低品質データに対応する前記生徒データと、前記高品質データに対応する前記教師データとを用い、前記生徒データとタップ係数との積和演算により求められる前記教師データの予測値の予測誤差が統計的に最小になるタップ係数を求めるタップ係数演算手段と
を有する学習手段と、
前記タップ係数と、前記予測タップとの前記積和演算を行うことにより、前記注目データを求める予測演算手段
を有する復号手段と
を備え、
前記予測タップ抽出手段は、前記ミスマッチ情報に基づき、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフィールドＤＣＴモードであるとき、前記注目データのフィールドの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフレームＤＣＴモードであるとき、前記注目データのフレームの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しくないことを表している場合、前記注目データのフィールドとフレームの両方の前記低品質データから、前記予測タップを抽出する
ことを特徴とする学習装置。
【請求項１５】
前記判定手段は、
前記ブロック単位の画像データに動きがある場合において、そのブロックについてのＤＣＴタイプがフレームＤＣＴモードであるとき、そのＤＣＴタイプが正しくないと判定する
ことを特徴とする請求項１４に記載の学習装置。
【請求項１６】
前記符号化データは、前記ブロック単位の画像データを対象に、ノンイントラ符号化、または前記予測画像を用いない符号化であるイントラ符号化を行うことにより得られたものであり、
前記判定手段は、
イントラ符号化されたブロックについては、そのブロックのフレームの前または後のフレームのブロックにおける前記動きベクトルに基づいて、画像データの動きの有無を判定し、
ノンイントラ符号化されたブロックについては、そのブロックにおける前記動きベクトルに基づいて、画像データの動きの有無を判定する
ことを特徴とする請求項１５に記載の学習装置。
【請求項１７】
前記学習手段は、
前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素単位の前記低品質データの幾つかを、クラスタップとして抽出するクラスタップ抽出手段と、
前記注目データを、前記クラスタップを構成する前記低品質データの値に対応するクラスにクラス分類し、前記注目データのクラスを表すクラスコードを出力するクラス分類手段と
をさらに有し、
前記タップ係数演算手段は、前記予測タップとタップ係数とを用いて積和演算を行うことにより得られる前記教師データの予測値の予測誤差が統計的に最小になる前記タップ係数を、前記クラスごとに求める
ことを特徴とする請求項１４に記載の学習装置。
【請求項１８】
前記符号化手段は、学習用の画像データを、ＭＰＥＧ(Moving Picture Experts Group)方式によって符号化して、前記学習用の符号化データを出力する
ことを特徴とする請求項１４に記載の学習装置。
【請求項１９】
前記低品質データは、前記符号化データをＭＰＥＧ(Moving Picture Experts Group)方式にしたがって復号して得られる画像データであり、
前記高品質データは、前記低品質データである画像データよりも高画質の画像データである
ことを特徴とする請求項１４に記載の学習装置。
【請求項２０】
前記低品質データは、前記符号化データをＭＰＥＧ(Moving Picture Experts Group)方式にしたがって復号して得られる画像データのＤＣＴ係数であり、
前記高品質データは、前記符号化データをＭＰＥＧ方式にしたがって復号して得られる画像データよりも高画質の画像データである
ことを特徴とする請求項１４に記載の学習装置。
【請求項２１】
前記低品質データは、前記符号化データをＭＰＥＧ(Moving Picture Experts Group)方式にしたがって復号して得られる画像データのＤＣＴ係数であり、
前記高品質データは、前記符号化データをＭＰＥＧ方式にしたがって復号して得られる画像データよりも高画質の画像データのＤＣＴ係数である
ことを特徴とする請求項１４に記載の学習装置。
【請求項２２】
画像データを符号化した符号化データであって、少なくとも、前記画像データから動きベクトルを検出し、その動きベクトルを用いて動き補償を行うことにより予測画像を生成し、前記画像データと予測画像との差分を、所定のブロック単位で、フィールドＤＣＴ(Discrete Cosine Transform)モードまたはフレームＤＣＴモードによりＤＣＴ変換したときのフィールドＤＣＴモードまたはフレームＤＣＴモードを表すＤＣＴタイプと、前記画像データの動きベクトルとを含む符号化データを復号するのに用いられるタップ係数を学習する学習方法において、
学習用の画像データから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、
前記学習用の画像データから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、
前記学習用の画像データを符号化し、前記ＤＣＴタイプおよび前記画像データの動きベクトルを含む学習用の符号化データを出力する符号化ステップと、
前記学習用の符号化データに含まれる前記ＤＣＴタイプの正しさを、その学習用の符号化データに含まれる前記画像データの動きベクトルに基づいて、前記ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の前記高品質データを注目データとし、前記注目データを求めるための所定のタップ係数との積和演算に用いる前記低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、
前記低品質データに対応する前記生徒データと、前記高品質データに対応する前記教師データとを用い、前記生徒データとタップ係数との積和演算により求められる前記教師データの予測値の予測誤差が統計的に最小になるタップ係数を求めるタップ係数演算ステップと
を有する学習ステップと、
前記タップ係数と、前記予測タップとの前記積和演算を行うことにより、前記注目データを求める予測演算ステップ
を有する復号ステップと
を備え、
前記予測タップ抽出ステップにおいては、前記ミスマッチ情報に基づき、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフィールドＤＣＴモードであるとき、前記注目データのフィールドの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフレームＤＣＴモードであるとき、前記注目データのフレームの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しくないことを表している場合、前記注目データのフィールドとフレームの両方の前記低品質データから、前記予測タップを抽出する
ことを特徴とする学習方法。
【請求項２３】
画像データを符号化した符号化データであって、少なくとも、前記画像データから動きベクトルを検出し、その動きベクトルを用いて動き補償を行うことにより予測画像を生成し、前記画像データと予測画像との差分を、所定のブロック単位で、フィールドＤＣＴ(Discrete Cosine Transform)モードまたはフレームＤＣＴモードによりＤＣＴ変換したときのフィールドＤＣＴモードまたはフレームＤＣＴモードを表すＤＣＴタイプと、前記画像データの動きベクトルとを含む符号化データを復号するのに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムにおいて、
学習用の画像データから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、
前記学習用の画像データから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、
前記学習用の画像データを符号化し、前記ＤＣＴタイプおよび前記画像データの動きベクトルを含む学習用の符号化データを出力する符号化ステップと、
前記学習用の符号化データに含まれる前記ＤＣＴタイプの正しさを、その学習用の符号化データに含まれる前記画像データの動きベクトルに基づいて、前記ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の前記高品質データを注目データとし、前記注目データを求めるための所定のタップ係数との積和演算に用いる前記低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、
前記低品質データに対応する前記生徒データと、前記高品質データに対応する前記教師データとを用い、前記生徒データとタップ係数との積和演算により求められる前記教師データの予測値の予測誤差が統計的に最小になるタップ係数を求めるタップ係数演算ステップと
を有する学習ステップと、
前記タップ係数と、前記予測タップとの前記積和演算を行うことにより、前記注目データを求める予測演算ステップ
を有する復号ステップと
を備え、
前記予測タップ抽出ステップにおいては、前記ミスマッチ情報に基づき、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフィールドＤＣＴモードであるとき、前記注目データのフィールドの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフレームＤＣＴモードであるとき、前記注目データのフレームの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しくないことを表している場合、前記注目データのフィールドとフレームの両方の前記低品質データから、前記予測タップを抽出する
ことを特徴とするプログラム。
【請求項２４】
画像データを符号化した符号化データであって、少なくとも、前記画像データから動きベクトルを検出し、その動きベクトルを用いて動き補償を行うことにより予測画像を生成し、前記画像データと予測画像との差分を、所定のブロック単位で、フィールドＤＣＴ(Discrete Cosine Transform)モードまたはフレームＤＣＴモードによりＤＣＴ変換したときのフィールドＤＣＴモードまたはフレームＤＣＴモードを表すＤＣＴタイプと、前記画像データの動きベクトルとを含む符号化データを復号するのに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
学習用の画像データから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、
前記学習用の画像データから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、
前記学習用の画像データを符号化し、前記ＤＣＴタイプおよび前記画像データの動きベクトルを含む学習用の符号化データを出力する符号化ステップと、
前記学習用の符号化データに含まれる前記ＤＣＴタイプの正しさを、その学習用の符号化データに含まれる前記画像データの動きベクトルに基づいて、前記ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の前記高品質データを注目データとし、前記注目データを求めるための所定のタップ係数との積和演算に用いる前記低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、
前記低品質データに対応する前記生徒データと、前記高品質データに対応する前記教師データとを用い、前記生徒データとタップ係数との積和演算により求められる前記教師データの予測値の予測誤差が統計的に最小になるタップ係数を求めるタップ係数演算ステップと
を有する学習ステップと、
前記タップ係数と、前記予測タップとの前記積和演算を行うことにより、前記注目データを求める予測演算ステップ
を有する復号ステップと
を備え、
前記予測タップ抽出ステップにおいては、前記ミスマッチ情報に基づき、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフィールドＤＣＴモードであるとき、前記注目データのフィールドの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しいことを表している場合において、前記ＤＣＴタイプがフレームＤＣＴモードであるとき、前記注目データのフレームの前記低品質データから、前記予測タップを抽出し、
前記ミスマッチ情報が、前記ＤＣＴタイプが正しくないことを表している場合、前記注目データのフィールドとフレームの両方の前記低品質データから、前記予測タップを抽出する
プログラムが記録されている
ことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像データを符号化した符号化データを、高品質（高画質）の画像に復号することができるようにする復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
画像（動画像）データの高能率符号化方式としては、例えば、ＭＰＥＧ(Moving Picture Experts Group)方式が知られており、ＭＰＥＧ方式では、画像データが、横×縦が８×８画素のブロック単位で、水平および垂直の２方向についてＤＣＴ（Discrete Cosine Transform）変換され、さらに量子化される。
【０００３】
このように、ＭＰＥＧ方式では、画像データがＤＣＴ変換されるが、例えば、ＭＰＥＧ２方式では、ＤＣＴ変換の対象となるブロックのＤＣＴタイプを、マクロブロック単位で、フレームＤＣＴモードとフィールドＤＣＴモードに切り替えることができる。フレームＤＣＴモードでは、ブロックが、同一フレームの画素から構成され、そのようなブロックの画素値がＤＣＴ変換される。また、フィールドＤＣＴモードでは、ブロックが、同一フィールドの画素から構成され、そのようなブロックの画素値がＤＣＴ変換される。
【０００４】
ＤＣＴタイプを、フレームＤＣＴモードまたはフィールドＤＣＴモードのうちのいずれとするかは、基本的には、例えば、画像の動きや、周辺のマクロブロックとの連続性等の画像の特性に基づき、復号画像におけるブロック歪みモスキートノイズ等を低減するように決定される。即ち、例えば、動きの大きい画像については、フィールドＤＣＴモードが選択され、動きのほとんどない画像(静止している画像)については、フレームＤＣＴモードが選択される。
【０００５】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ２方式においては、デコーダ側においてオーバーフローおよびアンダーフローが生じないように、符号化データのデータレートが制限される。そして、この符号化データのデータレートを制限するために、本来、フレームＤＣＴモードまたはフィールドＤＣＴモードに設定すべきＤＣＴタイプが、フィールドＤＣＴモードまたはフレームＤＣＴモードに、いわば不適切に設定されることがある。
【０００６】
即ち、ＤＣＴタイプとしては、一般には、フィールドを構成する画素間の相関（例えば、フィールドを構成する、隣接する画素どうしの差分の自乗和の逆数など）（以下、適宜、フィールド画素相関という）が、フレームを構成する画素間の相関（例えば、フレームを構成する、隣接する画素どうしの差分の自乗和の逆数など）（以下、適宜、フレーム画素相関という）より大であれば、フィールドＤＣＴモードが設定され、フレーム画素相関が、フィールド画素相関より大であれば、フレームＤＣＴモードが設定される。
【０００７】
しかしながら、符号化データが、データレートの制限を受ける場合には、ＤＣＴタイプは、フィールド画素相関とフレーム画素相関の大小に関係なく、その制限されたデータレートに基づいて設定され、従って、例えば、動きの大きい画像について、フィールドＤＣＴモードではなく、フレームＤＣＴモードが設定されるような、不適切なＤＣＴタイプが設定されることがある。
【０００８】
このような不適切なＤＣＴタイプが設定された場合であっても、デコーダ側では、その不適切なＤＣＴタイプにしたがって、符号化データを復号しなければならず、復号画像の画質が劣化する課題があった。
【０００９】
また、動きのある画像が、高圧縮率でＭＰＥＧ２符号化された場合には、データレートの制限に起因して、あるフレームのマクロブロックと、次のフレームの対応するマクロブロックとにおいて、同一の動き物体が表示されているのにもかかわらず、異なるＤＣＴタイプが設定されることがあり、その結果、動きが不自然な復号画像が得られることがあった。
【００１０】
一方、復号側において、復号画像から、フレームＤＣＴモードとフィールドＤＣＴモードのうちのいずれを設定するのが適切であったのかを判定することは困難である。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、符号化データを、高品質（高画質）の画像に復号することができるようにするものである。
【００１２】
【課題を解決するための手段】
本発明の復号装置は、符号化データに含まれるＤＣＴタイプの正しさを、その符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定手段と、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データを注目データとし、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出手段と、低品質データに対応する、学習の生徒となる生徒データと、高品質データに対応する、学習の教師となる教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差を統計的に最小にする学習を行うことにより得られるタップ係数と、予測タップとの積和演算を行うことにより、注目データを求める予測演算手段とを有する復号手段とを備え、予測タップ抽出手段は、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップを抽出することを特徴とする。
【００１３】
本発明の復号方法は、符号化データに含まれるＤＣＴタイプの正しさを、その符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データを注目データとし、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、低品質データに対応する、学習の生徒となる生徒データと、高品質データに対応する、学習の教師となる教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差を統計的に最小にする学習を行うことにより得られるタップ係数と、予測タップとの積和演算を行うことにより、注目データを求める予測演算ステップとを含む復号ステップとを備え、予測タップ抽出ステップにおいては、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップを抽出することを特徴とする。
【００１４】
本発明の第１のプログラムは、符号化データに含まれるＤＣＴタイプの正しさを、その符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データを注目データとし、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、低品質データに対応する、学習の生徒となる生徒データと、高品質データに対応する、学習の教師となる教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差を統計的に最小にする学習を行うことにより得られるタップ係数と、予測タップとの積和演算を行うことにより、注目データを求める予測演算ステップとを含む復号ステップとを備え、予測タップ抽出ステップにおいては、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップを抽出することを特徴とする。
【００１５】
本発明の第１の記録媒体は、符号化データに含まれるＤＣＴタイプの正しさを、その符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データを注目データとし、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、低品質データに対応する、学習の生徒となる生徒データと、高品質データに対応する、学習の教師となる教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差を統計的に最小にする学習を行うことにより得られるタップ係数と、予測タップとの積和演算を行うことにより、注目データを求める予測演算ステップとを含む復号ステップとを備え、予測タップ抽出ステップにおいては、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップを抽出するプログラムが記録されていることを特徴とする。
【００１６】
本発明の学習装置は、学習用の画像データから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成手段と、学習用の画像データから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成手段と、学習用の画像データを符号化し、ＤＣＴタイプおよび画像データの動きベクトルを含む学習用の符号化データを出力する符号化手段と、学習用の符号化データに含まれるＤＣＴタイプの正しさを、その学習用の符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定手段と、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データを注目データとし、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出手段と、低品質データに対応する生徒データと、高品質データに対応する教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差が統計的に最小になるタップ係数を求めるタップ係数演算手段とを有する学習手段と、タップ係数と、予測タップとの積和演算を行うことにより、注目データを求める予測演算手段を有する復号手段とを備え、予測タップ抽出手段は、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップを抽出することを特徴とする。
【００１７】
本発明の学習方法は、学習用の画像データから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、学習用の画像データから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、学習用の画像データを符号化し、ＤＣＴタイプおよび画像データの動きベクトルを含む学習用の符号化データを出力する符号化ステップと、学習用の符号化データに含まれるＤＣＴタイプの正しさを、その学習用の符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データを注目データとし、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、低品質データに対応する生徒データと、高品質データに対応する教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差が統計的に最小になるタップ係数を求めるタップ係数演算ステップとを有する学習ステップと、タップ係数と、予測タップとの積和演算を行うことにより、注目データを求める予測演算ステップを有する復号ステップとを備え、予測タップ抽出ステップにおいては、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップを抽出することを特徴とする。
【００１８】
本発明の第２のプログラムは、学習用の画像データから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、学習用の画像データから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、学習用の画像データを符号化し、ＤＣＴタイプおよび画像データの動きベクトルを含む学習用の符号化データを出力する符号化ステップと、学習用の符号化データに含まれるＤＣＴタイプの正しさを、その学習用の符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データを注目データとし、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、低品質データに対応する生徒データと、高品質データに対応する教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差が統計的に最小になるタップ係数を求めるタップ係数演算ステップとを有する学習ステップと、タップ係数と、予測タップとの積和演算を行うことにより、注目データを求める予測演算ステップを有する復号ステップとを備え、予測タップ抽出ステップにおいては、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップを抽出することを特徴とする。
【００１９】
本発明の第２の記録媒体は、学習用の画像データから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、学習用の画像データから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、学習用の画像データを符号化し、ＤＣＴタイプおよび画像データの動きベクトルを含む学習用の符号化データを出力する符号化ステップと、学習用の符号化データに含まれるＤＣＴタイプの正しさを、その学習用の符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データを注目データとし、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかを、予測タップとして抽出する予測タップ抽出ステップと、低品質データに対応する生徒データと、高品質データに対応する教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差が統計的に最小になるタップ係数を求めるタップ係数演算ステップとを有する学習ステップと、タップ係数と、予測タップとの積和演算を行うことにより、注目データを求める予測演算ステップを有する復号ステップとを備え、予測タップ抽出ステップにおいては、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップを抽出し、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップを抽出するプログラムが記録されていることを特徴とする。
【００２０】
本発明の復号装置および復号方法、並びに第１のプログラムおよび第１の記録媒体においては、符号化データに含まれるＤＣＴタイプの正しさが、その符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定され、その判定結果を表すミスマッチ情報を出力される。そして、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データが注目データとされ、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかが、予測タップとして抽出され、低品質データに対応する、学習の生徒となる生徒データと、高品質データに対応する、学習の教師となる教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差を統計的に最小にする学習を行うことにより得られるタップ係数と、予測タップとの積和演算を行うことにより、注目データが求められる。ここで、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップが抽出され、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップが抽出され、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップが抽出される。
【００２１】
本発明の学習装置および学習方法、並びに第２のプログラムおよび第２の記録媒体においては、学習用の画像データから、タップ係数の学習の教師となる教師データが生成されるとともに、生徒となる生徒データが生成される。また、学習用の画像データが符号化され、ＤＣＴタイプおよび画像データの動きベクトルを含む学習用の符号化データが出力される。そして、学習用の符号化データに含まれるＤＣＴタイプの正しさが、その学習用の符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定され、その判定結果を表すミスマッチ情報が出力される。そして、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データが注目データとされ、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかが、予測タップとして抽出され、低品質データに対応する生徒データと、高品質データに対応する教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差が統計的に最小になるタップ係数が求められ、タップ係数と、予測タップとの積和演算を行うことにより、注目データが求められる。ここで、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップが抽出され、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップが抽出され、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップが抽出される。
【００２２】
【発明の実施の形態】
図１は、本発明を適用した復号装置の一実施の形態の構成例を示している。
【００２３】
復号装置には、図示せぬ記録媒体（例えば、光ディスクや、光磁気ディスク、相変化ディスク、磁気テープ、半導体メモリ等）から再生された符号化データ、または伝送媒体（例えば、インターネットや、ＣＡＴＶ網、衛星回線、地上波等）を介して伝送されてくる符号化データが、復号対象として入力されるようになっている。ここで、符号化データは、画像（動画像）データを所定の符号化方式で符号化して得られるもので、少なくとも、その復号を制御するための復号制御情報を含んでいる。
【００２４】
なお、符号化データとしては、例えば、画像データをＭＰＥＧ２方式で符号化したもの等を採用することができる。
【００２５】
ここで、ＭＰＥＧ２方式では、符号化側において、画像データ（原画像）がブロック単位でＤＣＴ変換され、さらに量子化される。また、符号化側では、符号化対象の画像データについて、動きベクトルが検出されるとともに、符号化データがローカルデコードされ、そのローカルデコードされた画像データを参照画像として、その参照画像について、検出された動きベクトルを用いて動き補償が施されることにより、予測画像が生成される。そして、符号化対象の画像と予測画像との差分が演算されることにより、残差画像が求められ、その残差画像が、上述のようにＤＣＴ変換、量子化される。さらに、符号化側では、ブロック単位でのＤＣＴ変換にあたって、ＤＣＴタイプ（フレームＤＣＴモードまたはフィールドＤＣＴモード）が、マクロブロック単位で設定される。
【００２６】
一方、画像データ（原画像または残差画像）をＤＣＴ変換し、さらに量子化して得られるＤＣＴ係数を、量子化ＤＣＴ係数というものとすると、復号側では、量子化ＤＣＴ係数が、逆量子化され、ＤＣＴ係数とされる。さらに、復号側では、そのＤＣＴ係数が逆ＤＣＴ変換され、その結果得られる画素が、ＤＣＴタイプにしたがい、フレーム構造に並べ替えられることで、画像データが復号され、あるいは残差画像データが求められる。そして、残差画像データについては、既に復号された画像データを参照画像として、その参照画像について、動きベクトルを用いて動き補償が施されることにより、予測画像データが生成される。そして、残差画像データと予測画像データとが加算されることにより、画像データが復号される。
【００２７】
従って、画像データをＭＰＥＧ２方式で符号化して得られる符号化データには、画像データ（原画像または残差画像）をＤＣＴ変換し、さらに量子化して得られるＤＣＴ係数、つまり、画像データの直接の符号化結果の他、復号側において、そのＤＣＴ係数を画像に復号するのに必要な情報、即ち、動きベクトルや、ＤＣＴタイプなどの復号を制御する情報（以下、適宜、復号制御情報という）も含まれる。なお、符号化データには、動きベクトルやＤＣＴタイプの他、ピクチャタイプや、テンポラルリファレンス、その他の復号制御情報も含まれる。
【００２８】
復号装置に入力された符号化データは、ミスマッチ検出部１と復号処理部２に供給されるようになっている。
【００２９】
ミスマッチ検出部１は、符号化データからミスマッチ情報を検出する。即ち、ミスマッチ検出部１は、符号化データに含まれる復号制御情報の正しさを判定し、その判定結果を表すミスマッチ情報を、復号処理部２に出力する。復号処理部２は、ミスマッチ検出部１から供給されるミスマッチ情報に基づいて、符号化データを復号し、その結果得られる復号データを出力する。
【００３０】
次に、図２のフローチャートを参照して、図１の復号装置の処理（復号処理）について説明する。
【００３１】
ミスマッチ検出部１と復号処理部２には、符号化データが供給され、ミスマッチ検出部１は、まず最初に、ステップＳ１において、符号化データからミスマッチ情報を検出し、復号処理部２に供給して、ステップＳ２に進む。ステップＳ２では、復号処理部２が、ミスマッチ検出部１から供給されるミスマッチ情報に基づいて、そのミスマッチ情報が検出された符号化データを復号し、復号画像データを出力して、ステップＳ３に進む。ステップＳ３では、ミスマッチ検出部１または復号処理部２が、復号すべき符号化データが、まだ存在するかどうかを判定する。ステップＳ３において、復号すべき符号化データが、まだ存在すると判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００３２】
また、ステップＳ３において、復号すべき符号化データが存在しないと判定された場合、処理を終了する。
【００３３】
次に、図３は、本発明を適用した復号装置の他の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３の復号装置は、パラメータ記憶部３が、新たに設けられている他は、基本的に、図１の復号装置と同様に構成されている。
【００３４】
パラメータ記憶部３は、後述する学習装置による学習によって得られたパラメータを記憶しており、復号処理部２は、パラメータ記憶部３に記憶されたパラメータを用いて、そこに供給される符号化データを復号する。
【００３５】
従って、図３の復号装置では、復号処理部２において、符号化データの復号が、パラメータ記憶部３に記憶されたパラメータを用いて行われる他は、図１の復号装置と同様の処理が行われるため、その処理についての説明は省略する。
【００３６】
次に、図４は、図３のパラメータ記憶部３に記憶させるパラメータを学習する学習装置の一実施の形態の構成例を示している。
【００３７】
学習用データ記憶部１１は、パラメータの学習に用いられる画像（動画像）データである学習用データを記憶している。
【００３８】
符号化部１２は、学習用データ記憶部１１に記憶されている学習用データを読み出し、図３の復号装置で復号対象とする符号化データと同一の符号化方式で、学習用データを符号化する。学習用データを符号化することにより得られる符号化データ（以下、適宜、学習用符号化データという）は、符号化部１２からミスマッチ検出部１３に供給されるようになっている。
【００３９】
ミスマッチ検出部１３は、図３のミスマッチ検出部１と同様に構成され、符号化部１２から供給される符号化データから、ミスマッチ情報を検出し、学習処理部１４に供給する。
【００４０】
学習処理部１４は、学習用データ記憶部１１に記憶されている学習用データを読み出し、その学習用データから、パラメータについての学習の教師となる教師データと、その学習の生徒となる生徒データを生成する。さらに、学習処理部１４は、ミスマッチ検出部１３から供給されるミスマッチ情報に基づき、生成した教師データと生徒データを用いて、生徒データを教師データに変換するパラメータを学習する。
【００４１】
次に、図５のフローチャートを参照して、図４の学習装置の処理（学習処理）について説明する。
【００４２】
まず最初に、ステップＳ１１において、符号化部１２は、学習用データ記憶部１１に記憶されている学習用データを読み出して符号化し、その結果得られる学習用符号化データを、ミスマッチ検出部１３に供給して、ステップＳ１２に進む。ステップＳ１２では、ミスマッチ検出部１３が、符号化部１２から供給される符号化データから、ミスマッチ情報を検出し、学習処理部１４に供給して、ステップＳ１３に進む。
【００４３】
ステップＳ１３では、学習処理部１４が、学習用データ記憶部１１から、学習用データを読み出し、その学習用データから、教師データと生徒データを生成する。さらに、学習処理部１４は、ミスマッチ検出部１３から供給されるミスマッチ情報に基づき、生成した教師データと生徒データを用いて、パラメータを学習する。
【００４４】
即ち、学習処理部１４は、ミスマッチ情報に基づき、生徒データから、対応する教師データを得ることができるようにするのに最適なパラメータを算出することができるようにするための処理（学習）を行う。
【００４５】
そして、ステップＳ１４に進み、符号化部１２または学習処理部１４が、まだ処理していない学習用データが、学習用データ記憶部１１に記憶されているかどうかを判定する。ステップＳ１４において、まだ処理していない学習用データが、学習用データ記憶部１１に記憶されていると判定された場合、ステップＳ１１に戻り、その、まだ処理していない学習用データを対象に、以下、同様の処理が繰り返される。
【００４６】
また、ステップＳ１４において、まだ処理していない学習用データが、学習用データ記憶部１１に記憶されていないと判定された場合、即ち、学習用データ記憶部１１に記憶された学習用データすべてを用いて学習を行った場合、ステップＳ１５に進み、学習処理部１４は、ステップＳ１３の学習結果に基づき、パラメータを算出し、処理を終了する。
【００４７】
次に、図６は、図３の復号装置の詳細構成例を示している。
【００４８】
復号制御情報抽出部２１には、画像データを、例えばＭＰＥＧ２方式で符号化して得られる符号化データが、復号対象として供給されるようになっており、復号制御情報抽出部２１は、符号化データから、その符号化データに含まれる複数（複数種類）の復号制御情報、即ち、本実施の形態では、例えば、ＤＣＴタイプ、ピクチャタイプ、動きベクトルを抽出して、判定部２２に供給する。
【００４９】
判定部２２は、復号制御情報抽出部２１から供給される複数の復号制御情報のうちの１つの（１つの種類の）復号制御情報の正しさを、他の（他の種類の）復号制御情報に基づいて判定する。そして、判定部２２は、その１つの復号制御情報の正しさの判定結果としてのミスマッチ情報を、復号処理部２に出力する。
【００５０】
なお、以上の復号制御情報抽出部２１および判定部２２が、図３のミスマッチ検出部１を構成している。
【００５１】
前処理部３１には、復号対象の符号化データが供給されるようになっており、前処理部３１は、符号化データに対して、所定の前処理を施し、その結果得られる前処理データを、クラス分類適応処理部３２に供給する。
【００５２】
クラス分類適応処理部３２は、前処理部３１から供給される前処理データから、後述する予測タップおよびクラスタップを構成し、係数メモリ４１に記憶されたパラメータを用いて、後述するクラス分類適応処理を行う。そして、クラス分類適応処理部３２は、クラス分類適応処理を行うことによって得られるデータ（以下、適宜、適応処理データという）を、後処理部３３に出力する。
【００５３】
また、クラス分類適応処理部３２には、ミスマッチ検出部１の判定部２２が出力するミスマッチ情報が供給されるようになっており、クラス分類適応処理部３２は、このミスマッチ情報に基づき、クラス分類適応処理を行う。
【００５４】
後処理部３３は、クラス分類適応処理部３２が出力するデータに対して、所定の後処理を施し、これにより、符号化データを、高画質の画像データに復号して出力する。
【００５５】
なお、以上の前処理部３１、クラス分類適応処理部３２、および後処理部３３が、図３の復号処理部２を構成している。
【００５６】
係数メモリ４１は、クラス分類適応処理部３２がクラス分類適応処理を行うのに用いる、後述するクラスごとのタップ係数を記憶している。
【００５７】
なお、この係数メモリ４１によって、図３のパラメータ記憶部３が構成されている。
【００５８】
次に、図７および図８を参照して、図６のミスマッチ検出部１の処理について説明する。
【００５９】
図７は、ＭＰＥＧ２方式において、フレームＤＣＴモードでＤＣＴ変換されるブロック（図７Ａ）と、フィールドＤＣＴモードでＤＣＴ変換されるブロック（図７Ｂ）を示している。
【００６０】
なお、図７の実施の形態では、輝度信号のブロックを示してある。また、図７において（後述する図８においても同様）、影を付してあるラインは、奇数ライン（トップフィールド）を表し、影を付していないラインは、偶数ライン（ボトムフィールド）を表す。
【００６１】
フレームＤＣＴモードでは、横×縦が１６×１６画素で構成されるマクロブロックが、図７Ａに示すように、左上、左下、右上、または右下の４つの８×８画素のブロックに分割され、各ブロックがＤＣＴ変換される。
【００６２】
一方、フィールドＤＣＴモードでは、マクロブロックは、図７Ｂに示すように、上側の８ラインが奇数ライン（トップフィールド）で構成され、下側の８ラインが偶数ライン（ボトムフィールド）で構成されるように、画素の位置が並べ替えられる。そして、その並べ替え後のマクロブロックが、左上、左下、右上、または右下の４つの８×８画素のブロックに分割され、各ブロックがＤＣＴ変換される。
【００６３】
以上のように、フレームＤＣＴモードでは、同一フレームを構成する８×８画素のブロック単位で、ＤＣＴ変換が行われ、フィールドＤＣＴモードでは、同一フィールドを構成する８×８画素のブロック単位で、ＤＣＴ変換が行われる。
【００６４】
ところで、例えば、いま、円形の動き物体が、水平方向に移動している画像を考えた場合、あるフレームを構成するトップフィールドとボトムフィールドにおいて、円形の動き物体は、例えば、図８Ａに示すように、その動きに対応して、少しずれた位置に表示される。このため、このような動き物体が表示された画像については、フレーム画素相関よりも、フィールド画素相関の方が大になり、フィールドＤＣＴモードでＤＣＴ変換を行うことにより、滑らかな動きの復号画像を得ることができる。
【００６５】
しかしながら、ＭＰＥＧ方式では、前述したように、動き物体が表示された画像について、データレートの制限に起因して、符号化データのデータ量を低減するために、フィールドＤＣＴモードではなく、フレームＤＣＴモードで、画像データがＤＣＴ変換される場合がある。
【００６６】
いま、円形の動き物体が表示されている部分の一部のマクロブロックについて、フレームＤＣＴモードが設定されるとともに、他のマクロブロックについて、フィールドＤＣＴモードが設定され、ＤＣＴ変換が行われたとすると、フレームＤＣＴモードが設定されたマクロブロックについては、例えば、図８Ｂに示すように、円形の動き物体のエッジ部分がぼやけた復号画像が得られる。
【００６７】
ここで、図８Ｂは、２×２個のマクロブロックのうち、右上のマクロブロックのＤＣＴタイプがフレームＤＣＴモードとされ、他の３つのマクロブロックのＤＣＴタイプがフィールドＤＣＴモードとされた場合の復号画像を示している。
【００６８】
ＤＣＴタイプを、フレームＤＣＴモードまたはフィールドＤＣＴモードのうちのいずれとするかは、マクロブロック単位で設定されることから、異なるフレームの対応するマクロブロック（同一位置のマクロブロック）であっても、ＤＣＴタイプが異なる場合がある。そして、動き物体が表示されている、ある位置のマクロブロックのＤＣＴタイプが、フレーム単位で変化すると、復号画像における動き物体の動きは、不自然なものとなる。
【００６９】
このような復号画像におけるエッジ部分のぼけ（ぶれ）や、不自然な動きは、フィールドＤＣＴモードでＤＣＴ変換すべきマクロブロックが、データレートの制限から、フレームＤＣＴモードでＤＣＴ変換されたこと、即ち、動きのある部分は、フィールドＤＣＴモードでＤＣＴ変換すべきであるのに、フレームＤＣＴモードでＤＣＴ変換されたことに起因する。従って、フィールドＤＣＴモードでＤＣＴ変換すべきマクロブロックを、フレームＤＣＴモードでＤＣＴ変換したことは、復号画像の画質を向上させる観点からは、正しくない（適切でない）ということができ、符号化データに含まれる復号制御情報の１つである、そのようなフレームＤＣＴモードを表すＤＣＴタイプも正しくないということができる。
【００７０】
そこで、ミスマッチ検出部１は、例えば、符号化データに含まれるＤＣＴタイプの正しさを判定し、その判定結果を表すミスマッチ情報を出力する。
【００７１】
即ち、ミスマッチ検出部１は、例えば、動きのある画像が表示されているマクロブロックのＤＣＴタイプが、フレームＤＣＴモードとなっている場合、そのマクロブロックのＤＣＴタイプが正しくないと判定する。一方、ミスマッチ検出部１は、例えば、動きのある画像が表示されているマクロブロックのＤＣＴタイプが、フィールドＤＣＴモードとなっている場合と、マクロブロックに動きがない画像が表示されている場合は、そのマクロブロックのＤＣＴタイプが正しいと判定する。
【００７２】
なお、ミスマッチ検出部１は、マクロブロック（に表示された画像）に動きがあるかどうかを、符号化データに含まれる復号制御情報の他の１つである、例えば、そのマクロブロックの動きベクトルに基づいて判定する。
【００７３】
次に、図９は、図６のクラス分類適応処理部３２の構成例を示している。
【００７４】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【００７５】
ここで、適応処理について、低画質の画像（以下、適宜、低画質画像という）を、高画質の画像（以下、適宜、高画質画像という）に変換する場合を例に説明する。
【００７６】
この場合、適応処理では、低画質画像を構成する画素（以下、適宜、低画質画素という）と、所定のタップ係数との線形結合により、その低画質画像の画質を向上させた高画質画像の画素の予測値を求めることで、その低画質画像の画質を高画質化した画像が得られる。
【００７７】
具体的には、例えば、いま、ある高画質画像データを教師データとするとともに、その高画質画像の画質を劣化させた低画質画像データを生徒データとして、高画質画像を構成する画素（以下、適宜、高画質画素という）ｙの予測値Ｅ［ｙ］を、幾つかの低画質画素（低画質画像を構成する画素の画素値）ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００７８】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・・・・（１）
【００７９】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
0004081745.tif 000002
で定義すると、次のような観測方程式が成立する。
【００８０】
ＸＷ＝Ｙ’・・・（２）
【００８１】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００８２】
式（２）の観測方程式に最小自乗法を適用して、高画質画素（の画素値）ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる高画質画素の真値ｙの集合でなる行列Ｙ、および高画質画素ｙの予測値Ｅ［ｙ］の残差（真値ｙに対する誤差）ｅの集合でなる行列Ｅを、
【数２】
0004081745.tif 000003
で定義すると、式（２）から、次のような残差方程式が成立する。
【００８３】
ＸＷ＝Ｙ＋Ｅ・・・（３）
【００８４】
この場合、高画質画素ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
0004081745.tif 000004
を最小にすることで求めることができる。
【００８５】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、高画質画素ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００８６】
【数４】
0004081745.tif 000005
0004081745.tif 000006
【００８７】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００８８】
【数５】
0004081745.tif 000007
0004081745.tif 000008
【００８９】
式（４）および（５）より、式（６）が得られる。
【００９０】
【数６】
0004081745.tif 000009
0004081745.tif 000010
【００９１】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００９２】
【数７】
0004081745.tif 000011
0004081745.tif 000012
【００９３】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
0004081745.tif 000013
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ・・・（８）
で表すことができる。
【００９４】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００９５】
以上のように、生徒データと教師データを用いて、最適なタップ係数（ここでは、生徒データから教師データの予測値を求めた場合に、その予測値の自乗誤差の総和を最小にするタップ係数）ｗjを求める学習をしておき、さらに、そのタップ係数ｗjを用い、式（１）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００９６】
なお、適応処理は、低画質画像には含まれていないが、高画質画像に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データと生徒データを用いての学習により求められるため、教師データとしての高画質画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００９７】
ここで、生徒データとしては、例えば、教師データとしての高画質の画像データをＭＰＥＧ符号化し、さらにＭＰＥＧ復号して得られる復号画像データを用いることができる。この場合、ＭＰＥＧ符号化における量子化に起因して生じるブロック歪み等を低減した高画質の画像を求めることのできるタップ係数を得ることができる。
【００９８】
さらに、例えば、教師データとして、高画質の画像データを用いるとともに、生徒データとして、教師データとしての画像データをＤＣＴ変換し、さらに量子化、逆量子化して得られるＤＣＴ係数を用いるようにすることも可能である。この場合、ＤＣＴ係数を、高画質の画像（の予測値）に変換するタップ係数を得ることができる。
【００９９】
また、上述の場合には、高画質画像の予測値を、線形１次予測するようにしたが、その他、高画質画像の予測値は、２次以上の式によって予測することも可能である。
【０１００】
図９のクラス分類適応処理部３２は、上述のようなクラス分類適応処理を行うようになっている。
【０１０１】
即ち、前処理部３１（図６）が出力する前処理データは、タップ抽出部５１および５２に供給されるようになっている。
【０１０２】
タップ抽出部５１は、得ようとしている適応処理データを、注目データとし、さらに、その注目データを予測するのに用いる前処理データの幾つかを、予測タップとして抽出する。また、タップ抽出部５２は、注目データをクラス分類するのに用いる前処理データの幾つかを、クラスタップとして抽出する。
【０１０３】
ここで、タップ抽出部５１および５２には、判定部２２（図６）が出力するミスマッチ情報も供給されるようになっている。そして、タップ抽出部５１と５２は、ミスマッチ情報に基づき、予測タップとクラスタップの構造を、それぞれ変更するようになっている。
【０１０４】
なお、ここでは、説明を簡単にするために、予測タップとクラスタップは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【０１０５】
タップ抽出部５１で得られた予測タップは、予測部５４に供給され、タップ抽出部５２で得られたクラスタップは、クラス分類部５３に供給される。
【０１０６】
クラス分類部５３には、クラスタップの他、ミスマッチ情報も供給されるようになっており、クラス分類部５３は、タップ抽出部５２からのクラスタップとミスマッチ情報に基づき、注目データをクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ４１に供給する。
【０１０７】
係数メモリ４１は、各クラスコードに対応するアドレスに、そのクラスコードに対応するクラスのタップ係数を記憶しており、クラス分類部５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を、予測部５４に供給する。
【０１０８】
予測部５４は、タップ抽出部５１が出力する予測タップと、係数メモリ４１が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部５４は、適応処理データ（の予測値）を求めて出力する。
【０１０９】
次に、図１０のフローチャートを参照して、図６の復号装置の処理（復号処理）について説明する。
【０１１０】
クラス分類適応処理部３２（図９）のタップ抽出部５１では、得ようとしている適応処理データが、注目データとされ、ステップＳ２１において、ミスマッチ検出部１が、その注目データに対応する符号化データ（以下、適宜、注目符号化データという）から、ミスマッチ情報を生成する。
【０１１１】
即ち、ミスマッチ検出部１では、復号制御情報抽出部２１が、注目符号化データから、複数の復号制御情報としての、例えば、動きベクトルやＤＣＴタイプなどを抽出し、判定部２２に供給する。そして、判定部２２は、例えば、復号制御情報抽出部２１から供給される動きベクトルなどに基づいて、同じく復号制御情報抽出部２１から供給されるＤＣＴタイプの正しさを判定し、その判定結果としてのミスマッチ情報を、クラス分類適応処理部３２に供給する。
【０１１２】
そして、ステップＳ２２に進み、前処理部３１は、注目データについての予測タップとクラスタップを構成するのに必要な前処理データを得るための符号化データに対して、前処理を施し、その結果得られる前処理データを、クラス分類適応処理部３２に供給する。
【０１１３】
クラス分類適応処理部３２（図９）では、ステップＳ２３において、タップ抽出部５１と５２が、前処理部３１から供給される前処理データを用い、例えば、ミスマッチ検出部１からのミスマッチ情報に基づくタップ構造の予測タップとクラスタップを、それぞれ構成する。そして、予測タップは、タップ抽出部５１から予測部５４に供給され、クラスタップは、タップ抽出部５２からクラス分類部５３に供給される。
【０１１４】
クラス分類部５３は、タップ抽出部５２から、注目データについてのクラスタップを受信し、ステップＳ２４において、そのクラスタップと、ミスマッチ検出部１から供給されるミスマッチ情報に基づき、注目データをクラス分類し、注目データのクラスを表すクラスコードを、係数メモリ４１に出力する。
【０１１５】
係数メモリ４１は、クラス分類部５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を読み出して出力する。予測部５４は、ステップＳ２５において、係数メモリ４１が出力するタップ係数を取得し、ステップＳ２６に進む。
【０１１６】
ステップＳ２６では、予測部５４が、タップ抽出部５１が出力する予測タップと、係数メモリ４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部５４は、注目データとしての適応処理データ（の予測値）を求め、後処理部３３に供給する。
【０１１７】
後処理部３３（図６）は、ステップＳ２７において、クラス分類適応処理部３２（の予測部５４）からの注目データに対して、所定の後処理を施し、これにより、復号画像データを得て出力する。
【０１１８】
その後、ステップＳ２８に進み、まだ、注目データとしていない適応処理データがあるかどうかが判定される。ステップＳ２８において、まだ、注目データとしていない適応処理データがあると判定された場合、その、まだ注目データとされていない適応処理データのうちの１つが、新たに注目データとされ、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１１９】
また、ステップＳ２８において、まだ、注目データとされていない適応処理データがないと判定された場合、処理を終了する。
【０１２０】
次に、図１１は、図６の係数メモリ４１に記憶させるタップ係数を学習する場合の、図４の学習装置の詳細構成例を示している。
【０１２１】
図１１の実施の形態において、ミスマッチ検出部１３は、復号制御情報抽出部７１および判定部７２から構成されており、符号化部１２が出力する符号化データは、復号制御情報抽出部７１に供給されるようになっている。復号制御情報抽出部７１または判定部７２は、図６の復号制御情報抽出部２１または判定部２２とそれぞれ同様に構成されており、図６で説明した場合と同様に、後述する注目教師データに対応する符号化データから、ミスマッチ情報を求めて、学習処理部１４に供給する。
【０１２２】
学習処理部１４は、適応学習部６０、教師データ生成部６１、および生徒データ生成部６３から構成されている。
【０１２３】
適応学習部６０は、教師データ記憶部６２、生徒データ記憶部６４、タップ抽出部６５および６６、クラス分類部６７、足し込み部６８、およびタップ係数算出部６９から構成され、教師データ生成部６１は、逆後処理部６１Ａから構成され、生徒データ生成部６３は、符号化部６３Ａおよび前処理部６３Ｂから構成されている。
【０１２４】
逆後処理部６１Ａは、学習用データ記憶部１１から学習用データを読み出し、図６の後処理部３３が行う処理と相補的な関係にある処理（以下、適宜、逆後処理という）を行う。即ち、例えば、学習用データをｙとするとともに、図６の後処理部３３が、適応処理データｘに対して施す後処理を、関数ｆ（ｘ）で表すとすると、逆後処理部６１Ａは、学習用データｙに対して、関数ｆ-1（ｙ）（ｆ-1（）は、関数ｆ（）の逆関数を表す）で表される処理を逆後処理として施し、その結果得られるデータを、教師データとして、適応学習部６０に出力する。なお、逆後処理部６１Ａが出力する教師データは、図６のクラス分類適応処理部３２から後処理部３３に供給される適応処理データに相当する。
【０１２５】
教師データ記憶部６２は、教師データ生成部６１（の逆後処理部６１Ａ）が出力する教師データを一時記憶する。
【０１２６】
符号化部６３Ａは、学習用データ記憶部１１から学習用データを読み出し、符号化部１２と同一の符号化方式、即ち、本実施の形態では、例えば、ＭＰＥＧ２方式で符号化して出力する。従って、符号化部６３Ａは、符号化部１２が出力するのと同一の符号化データを出力する。なお、符号化部１２と６３Ａとは、１つの符号化部で共用することが可能である。
【０１２７】
前処理部６３Ｂは、符号化部６３Ａが出力する符号化データに対して、図６の前処理部３１が行うのと同一の前処理を施し、その結果得られる前処理データを、生徒データとして、適応学習部６０に出力する。なお、前処理部６３Ｂが出力する生徒データは、図６の前処理部３１からクラス分類適応処理部３２に供給される前処理データに相当する。
【０１２８】
生徒データ記憶部６４は、生徒データ生成部６３（の前処理部６３Ｂ）が出力する生徒データを一時記憶する。
【０１２９】
タップ抽出部６５は、教師データ記憶部６２に記憶された教師データを、順次、注目教師データとし、その注目教師データについて、生徒データ記憶部６４に記憶された生徒データを抽出することにより、図９のタップ抽出部５１が構成するのと同一のタップ構造の予測タップを構成して出力する。なお、タップ抽出部６５には、ミスマッチ検出部１３（の判定部７２）が出力するミスマッチ情報が供給されるようになっており、タップ抽出部６５は、図９のタップ抽出部５１と同様に、注目教師データについてのミスマッチ情報に基づいて、予測タップのタップ構造を変更するようになっている。
【０１３０】
タップ抽出部６６は、注目教師データについて、生徒データ記憶部６４に記憶された生徒データを抽出することにより、図９のタップ抽出部５２が構成するのと同一のタップ構造のクラスタップを構成して出力する。なお、タップ抽出部６６には、ミスマッチ検出部１３が出力するミスマッチ情報が供給されるようになっており、タップ抽出部６６は、図９のタップ抽出部５２と同様に、注目教師データについてのミスマッチ情報に基づいて、クラスタップのタップ構造を変更するようになっている。
【０１３１】
クラス分類部６７には、タップ抽出部６６が出力するクラスタップと、ミスマッチ検出部１３が出力するミスマッチ情報が供給されるようになっている。クラス分類部６７は、注目教師データについてのクラスタップとミスマッチ情報に基づき、注目教師データについて、図９のクラス分類部５３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部６８に出力する。
【０１３２】
足し込み部６８は、教師データ記憶部６２から、注目教師データを読み出し、その注目教師データと、タップ抽出部６５から供給される注目教師データについて構成された予測タップを構成する生徒データを対象とした足し込みを、クラス分類部６７から供給されるクラスコードごとに行う。
【０１３３】
即ち、足し込み部６８は、クラス分類部６７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１３４】
さらに、足し込み部６８は、やはり、クラス分類部６７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および教師データを用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１３５】
即ち、足し込み部６８は、前回、注目教師データとされた教師データについて求められた式（８）における行列Ａのコンポーネントと、ベクトルｖのコンポーネントを、その内蔵するメモリ（図示せず）に記憶しており、その行列Ａまたはベクトルｖの各コンポーネントに対して、新たに注目教師データとされた教師データについて、その教師データｙiおよび生徒データxin(xim)を用いて計算される、対応するコンポーネントｘinｘimまたはｘinｙiを足し込む（行列Ａ、ベクトルｖにおけるサメーションで表される加算を行う）。
【０１３６】
そして、足し込み部６８は、教師データ記憶部６２に記憶された教師データすべてを注目教師データとして、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部６９に供給する。
【０１３７】
タップ係数算出部６９は、足し込み部６８から供給されるクラスごとの正規方程式を解くことにより、各クラスごとのタップ係数を求めて出力する。
【０１３８】
次に、図１２のフローチャートを参照して、図１１の学習装置の処理（学習処理）について、説明する。
【０１３９】
まず最初に、ステップＳ３１において、教師データ生成部６１と生徒データ生成部６３が、学習用データ記憶部１１に記憶された学習用データから、教師データと生徒データを、それぞれ生成する。教師データは、教師データ生成部６１から教師データ記憶部６２に供給されて記憶され、生徒データは、生徒データ生成部６３から生徒データ記憶部６４に供給されて記憶される。
【０１４０】
その後、タップ抽出部６５は、教師データ記憶部６２に記憶された教師データのうち、まだ、注目教師データとしていないものを、注目教師データとする。そして、ステップＳ３２において、符号化部１２は、学習用データ記憶部１１に記憶された学習用データを符号化し、これにより、注目教師データに対応する符号化データ（注目教師データに対応する学習用データを符号化したもの）を得て、ミスマッチ検出部１３に供給する。
【０１４１】
ミスマッチ検出部１３は、符号化部１２から供給される符号化データから、注目教師データについてのミスマッチ情報を生成し、学習処理部１４のタップ抽出部６５および６６、並びにクラス分類部６７に供給する。
【０１４２】
そして、ステップＳ３４に進み、タップ抽出部６５が、ミスマッチ情報に基づき、注目教師データについて、生徒データ記憶部６４に記憶された生徒データを読み出して予測タップを構成し、足し込み部６８に供給するとともに、タップ抽出部６６が、やはり、ミスマッチ情報に基づき、注目教師データについて、生徒データ記憶部６４に記憶された生徒データを読み出してクラスタップを構成し、クラス分類部６７に供給する。
【０１４３】
クラス分類部６７は、ステップＳ３５において、注目教師データについてのクラスタップとミスマッチ情報に基づき、注目教師データについてクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部６８に出力する。
【０１４４】
足し込み部６８は、ステップＳ３６において、教師データ記憶部６２から注目教師データを読み出し、その注目教師データと、タップ抽出部６５からの予測タップを用い、式（８）の行列Ａとベクトルｖのコンポーネントを計算する。さらに、足し込み部６８は、既に得られている行列Ａとベクトルｖのコンポーネントのうち、クラス分類部６７からのクラスコードに対応するものに対して、注目データと予測タップから求められた行列Ａとベクトルｖのコンポーネントをそれぞれ足し込み、ステップＳ３７に進む。
【０１４５】
ステップＳ３７では、タップ抽出部６５が、教師データ記憶部６２に、まだ、注目教師データとしていない教師データが記憶されているかどうかを判定する。ステップＳ３７において、注目教師データとしていない教師データが、まだ、教師データ記憶部６２に記憶されていると判定された場合、タップ抽出部６５は、まだ注目教師データとしていない教師データを、新たに、注目教師データとして、ステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０１４６】
また、ステップＳ３７において、注目教師データとしていない教師データが、教師データ記憶部６２に記憶されていないと判定された場合、足し込み部６８は、いままでの処理によって得られたクラスごとの行列Ａおよびベクトルｖのコンポーネントで構成される式（８）の正規方程式を、タップ係数算出部６９に供給し、ステップＳ３８に進む。
【０１４７】
ステップＳ３８では、タップ係数算出部６９は、足し込み部６８から供給される各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求めて出力し、処理を終了する。
【０１４８】
なお、学習用データ記憶部１１に記憶されている学習用データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部６９は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１４９】
次に、図１３は、符号化データが画像データをＭＰＥＧ２方式で符号化したものである場合の、図６の復号装置の第１の詳細構成例を示している。
【０１５０】
図１３の実施の形態では、復号制御情報抽出部２１は、逆ＶＬＣ部１１１で構成されている。逆ＶＬＣ部１１１は、例えば、後述するＭＰＥＧデコーダ１１６を構成する逆ＶＬＣ部１２１（図１４）と同様に構成されており、符号化データから、複数の復号制御情報としての、例えば、ＤＣＴタイプ、ピクチャタイプ、マクロブロック（ＭＢ）タイプ、動きベクトルを抽出し、判定部２２に供給する。
【０１５１】
判定部２２は、フィールド／フレーム判定部１１２、イントラ／ノンイントラ判定部１１３、静動判定部１１４、およびミスマッチ情報生成部１１５から構成されている。
【０１５２】
フィールド／フレーム判定部１１２は、逆ＶＬＣ部１１１が出力するＤＣＴタイプに基づいて、注目データに対応する画素を有するブロック（以下、適宜、注目ブロックという）が、フレームＤＣＴモードとフィールドＤＣＴモードのうちのいずれでＤＣＴ変換されたかを判定し、その判定結果を、ミスマッチ情報生成部１１５に供給する。
【０１５３】
イントラ／ノンイントラ判定部１１３は、逆ＶＬＣ部１１１が出力するピクチャタイプとマクロブロックタイプに基づいて、注目ブロック（を含むマクロブロック）が、イントラ符号化とノンイントラ符号化のうちのいずれで符号化されているのかを判定し、その判定結果を、ミスマッチ情報生成部１１５に供給する。
【０１５４】
静動判定部１１４は、逆ＶＬＣ部１１１が出力する動きベクトルに基づいて、注目ブロックの動きの有無（注目ブロックに表示された画像の動きの有無）を判定し、その判定結果を、ミスマッチ情報生成部１１５に供給する。
【０１５５】
ミスマッチ情報生成部１１５は、フィールド／フレーム判定部１１２、イントラ／ノンイントラ判定部１１３、および静動判定部１１４の出力に基づいて、逆ＶＬＣ部１１１が出力する注目ブロック（を含むマクロブロック）のＤＣＴタイプの正しさを判定し、その判定結果としてのミスマッチ情報を生成して、クラス分類適応処理部３２に供給する。
【０１５６】
ここで、図１３の実施の形態では、前処理部３１は、ＭＰＥＧデコーダ１１６で構成されており、ＭＰＥＧデコーダ１１６は、符号化データをＭＰＥＧ２方式で復号し、その結果得られる復号画像データを、前処理データとして、クラス分類適応処理部３２に供給する。
【０１５７】
次に、図１４は、図１３のＭＰＥＧデコーダ１１６の構成例を示している。
【０１５８】
符号化データは、逆ＶＬＣ部１２１に供給される。逆ＶＬＣ部１２１は、符号化データから、量子化ＤＣＴ係数（量子化されたＤＣＴ係数）のＶＬＣコード（量子化ＤＣＴ係数を可変長符号化したもの）を分離するとともに、量子化ステップ、動きベクトル、ピクチャタイプ、テンポラルリファレンス、その他の復号制御情報を分離する。
【０１５９】
そして、逆ＶＬＣ部１２１は、量子化ＤＣＴ係数のＶＬＣコードを逆ＶＬＣ処理することで、量子化ＤＣＴ係数に復号し、逆量子化部１２２に供給する。さらに、逆ＶＬＣ部１２１は、量子化ステップを逆量子化部１２２に、動きベクトルを動き補償部１２５に、ピクチャタイプをメモリ１２６に、テンポラルリファレンスをピクチャ選択部１２７に、それぞれ供給する。
【０１６０】
逆量子化部１２２は、逆ＶＬＣ部１２１から供給される量子化ＤＣＴ係数を、同じく逆ＶＬＣ部１２１から供給される量子化ステップで逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ変換部１２３に供給する。逆ＤＣＴ変換部１２３は、逆量子化部１２２から供給されるＤＣＴ係数を、逆ＤＣＴ変換し、演算部１２４に供給する。
【０１６１】
演算部１２４には、逆ＤＣＴ変換部１２３の出力の他、動き補償部１２５の出力も供給されるようになっており、演算部１２４は、逆ＤＣＴ変換部１２３の出力に対して、動き補償部１２５の出力を、必要に応じて加算することにより、復号画像データを得て出力する。
【０１６２】
即ち、ＭＰＥＧ符号化では、ピクチャタイプとして、Ｉ，Ｐ，Ｂの３つが定義されており、各ピクチャは、横×縦が８×８画素のブロック単位で、ＤＣＴ変換されるが、その際、Ｉピクチャのブロックは、他のフレームまたはフィールドを参照せずに（予測画像との差分が計算されずに）イントラ(intra)符号化され、Ｐピクチャのブロックは、イントラ符号化、または前方予測符号化され、Ｂピクチャのブロックは、イントラ符号化、前方予測符号化、後方予測符号化、または両方向予測符号化される。
【０１６３】
ここで、前方予測符号化では、符号化対象のブロックのフレーム（またはフィールド）より時間的に先行するフレーム（またはフィールド）の画像を参照画像として、その参照画像を動き補償することにより得られる、符号化対象のブロックの予測画像と、符号化対象のブロックとの差分が求められ、その差分値、即ち、残差画像がＤＣＴ変換される。
【０１６４】
また、後方予測符号化では、符号化対象のブロックのフレームより時間的に後行するフレームの画像を参照画像として、その参照画像を動き補償することにより得られる、符号化対象のブロックの予測画像と、符号化対象のブロックとの差分が求められ、その差分値（残差画像）がＤＣＴ変換される。
【０１６５】
さらに、両方向予測符号化では、符号化対象のブロックのフレームより時間的に先行するフレームと後行するフレームの２フレーム（またはフィールド）の画像を参照画像として、その参照画像を動き補償することにより得られる、符号化対象のブロックの予測画像と、符号化対象のブロックとの差分が求められ、その差分値（残差画像）がＤＣＴ変換される。
【０１６６】
従って、ブロックが、ノンイントラ(non-intra)符号化（前方予測符号化、後方予測符号化、または両方向予測符号化）されている場合、逆ＤＣＴ変換部１２３の出力は、残差画像（元の画像と、その予測画像との差分値）を復号したものとなっており、演算部１２４は、この残差画像の復号結果（以下、適宜、復号残差画像という）と、動き補償部１２５から供給される予測画像とを加算することで、ノンイントラ符号化されたブロックを復号し、その結果得られる復号画像データを出力する。
【０１６７】
一方、逆ＤＣＴ変換部１２３が出力するブロックが、イントラ符号化されたものであった場合には、逆ＤＣＴ変換部１２３の出力は、元の画像を復号したものとなっており、演算部１２４は、逆ＤＣＴ変換部１２３の出力を、そのまま、復号画像データとして出力する。
【０１６８】
演算部１２４が出力する復号画像データは、メモリ１２６とピクチャ選択部１２７に供給される。
【０１６９】
メモリ１２６は、演算部１２４から供給される復号画像データが、ＩピクチャまたはＰピクチャの画像データである場合、その復号画像データを、その後に復号される符号化データの参照画像として一時記憶する。ここで、ＭＰＥＧ２では、Ｂピクチャは参照画像とされないことから、演算部１２４から供給される復号画像が、Ｂピクチャの画像である場合には、メモリ１２６では、Ｂピクチャの復号画像は記憶されない。なお、メモリ１２６は、演算部１２４から供給される復号画像が、Ｉ，Ｐ，Ｂのうちのいずれのピクチャであるかは、逆ＶＬＣ部１２１から供給されるピクチャタイプを参照することにより判断する。
【０１７０】
ピクチャ選択部１２７は、演算部１２４が出力する復号画像、またはメモリ１２６に記憶された復号画像のフレーム（またはフィールド）を、表示順に選択して出力する。即ち、ＭＰＥＧ２方式では、画像のフレーム（またはフィールド）の表示順と復号順（符号化順）とが一致していないため、ピクチャ選択部１２７は、復号順に得られる復号画像のフレーム（またはフィールド）を表示順に並べ替えて出力する。なお、ピクチャ選択部１２７は、表示順を、逆ＶＬＣ部１２１から供給されるテンポラルリファレンスを参照することにより判断する。
【０１７１】
一方、動き補償部１２５は、逆ＶＬＣ部１２１が出力する動きベクトルを受信するとともに、参照画像となるフレーム（またはフィールド）を、メモリ１２６から読み出し、その参照画像に対して、逆ＶＬＣ部１２１からの動きベクトルにしたがった動き補償を施し、その結果得られる予測画像を、演算部１２４に供給する。演算部１２４では、上述したように、動き補償部１２５からの予測画像と、逆ＤＣＴ変換部１２３が出力する残差画像と加算され、これにより、ノンイントラ符号化（予測符号化）されたブロックが復号される。
【０１７２】
次に、図１５のフローチャートを参照して、図１３のミスマッチ情報生成部１１５の処理について説明する。
【０１７３】
ミスマッチ情報生成部１１５は、まず最初に、ステップＳ４１において、注目ブロック（を含むマクロブロック）が、イントラ符号化されたものであるか、またはノンイントラ符号化されたものであるかを、イントラ／ノンイントラ判定部１１３の出力に基づいて判定する。
【０１７４】
ここで、イントラ／ノンイントラ判定部１１３は、注目ブロックのフレームのピクチャタイプが、Ｉピクチャを表している場合、注目ブロックがイントラ符号化されていると判定する。また、イントラ／ノンイントラ判定部１１３は、注目ブロックのフレームのピクチャタイプが、ＰまたはＢピクチャを表している場合には、注目ブロックを含むマクロブロック（以下、適宜、注目マクロブロックという）のマクロブロックタイプに基づいて、注目ブロックがイントラ符号化またはノンイントラ符号化されているかを判定する。
【０１７５】
ステップＳ４１において、注目ブロックがノンイントラ符号化されていると判定された場合、ステップＳ４２に進み、ミスマッチ情報生成部１１５は、注目ブロックが、動いている画像を表示しているブロック（以下、適宜、動きブロックという）であるか、または静止している画像を表示しているブロック（以下、適宜、静止ブロックという）であるかを、静動判定部１１４の出力に基づいて判定する。
【０１７６】
ここで、静動判定部１１４は、ノンイントラ符号化されているブロックについては、そのブロックを含むマクロブロックの動きベクトルの大きさが、所定の閾値εより大（または以上）である場合、そのノンイントラ符号化されているブロックが動きブロックであると判定する。また、静動判定部１１４は、ノンイントラ符号化されているブロックを含むマクロブロックの動きベクトルの大きさが、所定の閾値ε以下（または未満）である場合、そのノンイントラ符号化されているブロックが静止ブロックであると判定する。
【０１７７】
ステップＳ４２において、注目ブロックが動きブロックであると判定された場合、ステップＳ４５に進み、後述する処理が行われる。
【０１７８】
また、ステップＳ４２において、注目ブロックが静止ブロックであると判定された場合、ステップＳ４３に進み、ミスマッチ情報生成部１１５は、注目データのミスマッチ情報として、注目データのＤＣＴタイプ（注目マクロブロックのＤＣＴタイプ）が正しいことを表す、例えば、１ビットの０を生成して出力し、処理を終了する。
【０１７９】
一方、ステップＳ４１において、注目ブロックがイントラ符号化されていると判定された場合、ステップＳ４４に進み、ミスマッチ情報生成部１１５は、注目ブロックが、動きブロックまたは静止ブロックのうちのいずれであるかを、静動判定部１１４の出力に基づいて判定する。
【０１８０】
ここで、静動判定部１１４は、イントラ符号化されているブロックについては、例えば、そのブロックの、１フレーム前のフレームにおける対応するブロック（以下、適宜、対応前ブロックという）と、１フレーム後のフレームにおける対応するブロック（以下、適宜、対応後ブロックという）のうちのいずれか一方、または両方の動きベクトルと、所定の閾値εとの大小関係によって、ノンイントラ符号化されているブロックにおける場合と同様に、動きブロックまたは静止ブロックの別を判定する。あるいは、静動判定部１１４は、例えば、イントラ符号化されているブロックについての対応前ブロックと対応後ブロックのうちのいずれか一方、または両方が動きブロックである場合、そのイントラ符号化されているブロックも動きブロックであると判定し、対応前ブロックと対応後ブロックのうちの両方またはいずれか一方が静止ブロックである場合、そのイントラ符号化されているブロックも静止ブロックであると判定する。
【０１８１】
ステップＳ４４において、注目ブロックが静止ブロックであると判定された場合、ステップＳ４３に進み、上述したように、ミスマッチ情報生成部１１５は、注目データのミスマッチ情報として、注目データのＤＣＴタイプが正しいことを表す１ビットの０を生成して出力し、処理を終了する。
【０１８２】
また、ステップＳ４４において、注目ブロックが動きブロックであると判定された場合、ステップＳ４５に進み、ミスマッチ情報生成部１１５は、注目ブロックのＤＣＴタイプが、フレームＤＣＴモードまたはフィールドＤＣＴモードのうちのいずれであるかを、フィールド／フレーム判定部１１２の出力に基づいて判定する。
【０１８３】
ステップＳ４５において、注目ブロックのＤＣＴタイプが、フィールドＤＣＴモードであると判定された場合、ステップＳ４３に進み、上述したように、ミスマッチ情報生成部１１５は、注目データのミスマッチ情報として、注目データのＤＣＴタイプが正しいことを表す１ビットの０を生成して出力し、処理を終了する。
【０１８４】
また、ステップＳ４５において、注目ブロックのＤＣＴタイプが、フレームＤＣＴモードであると判定された場合、ステップＳ４６に進み、ミスマッチ情報生成部１１５は、注目データのミスマッチ情報として、注目データのＤＣＴタイプ（注目マクロブロックのＤＣＴタイプ）が正しくないことを表す、例えば、１ビットの１を生成して出力し、処理を終了する。
【０１８５】
図１５の実施の形態によれば、例えば、図１６に示すように、隣接する２×２個のマクロブロックＭＢ＃１，＃２，＃３，＃４において、水平方向に移動している円形の物体が表示されている場合において、右上のマクロブロックＭＢ＃２のＤＣＴタイプがフレームＤＣＴモードであり、他の３つのマクロブロックＭＢ＃１，＃３、および＃４のＤＣＴタイプがフィールドＤＣＴモードであるときには、ミスマッチ情報生成部１１５において、以下のようなミスマッチ情報が生成される。
【０１８６】
即ち、マクロブロックＭＢ＃１，＃２，＃３，＃４それぞれを構成するブロックは、いずれも、動きブロックであり、フィールドＤＣＴモードでＤＣＴ変換すべきである。従って、ＤＣＴタイプがフィールドＤＣＴモードになっているマクロブロックＭＢ＃１，＃３，＃４それぞれを構成するブロックのデータが注目データとされた場合には、ミスマッチ情報として、ＤＣＴタイプが正しいことを表す１ビットの０が生成される。また、ＤＣＴタイプがフレームＤＣＴモードになっているマクロブロックＭＢ＃２を構成するブロックのデータが注目データとされた場合には、ミスマッチ情報として、ＤＣＴタイプが正しくないことを表す１ビットの１が生成される。
【０１８７】
なお、図１５の実施の形態では、注目ブロックが動きブロックであり、かつそのＤＣＴタイプがフレームＤＣＴモードになっている場合にのみ、ＤＣＴタイプが正しくないことを表すミスマッチ情報を生成し、他の場合には、ＤＣＴタイプが正しいことを表すミスマッチ情報を生成するようにしたが、その他、例えば、注目ブロックが動きブロックであり、かつそのＤＣＴタイプがフレームＤＣＴモードになっている場合と、注目ブロックが静止ブロックであり、かつそのＤＣＴタイプがフィールドＤＣＴモードになっている場合に、ＤＣＴタイプが正しくないことを表すミスマッチ情報を生成し、注目ブロックが動きブロックであり、かつそのＤＣＴタイプがフィールドＤＣＴモードになっている場合と、注目ブロックが静止ブロックであり、かつそのＤＣＴタイプがフレームＤＣＴモードになっている場合に、ＤＣＴタイプが正しいことを表すミスマッチ情報を生成するようにすることなども可能である。
【０１８８】
また、図１５の実施の形態では、説明を簡単にするために、ＤＣＴタイプが正しいか、正しくないかを表す１ビットのミスマッチ情報を生成するようにしたが、ミスマッチ情報としては、その他、例えば、注目データのＤＣＴタイプと、その注目データを含むブロック（注目ブロック）が、本来、フレームＤＣＴモードまたはフィールドＤＣＴモードのうちのいずれでＤＣＴ変換すべきものであるかを表す情報（以下、適宜、ブロックタイプという）とのセットを生成するようにすることも可能である。
【０１８９】
ここで、ブロックタイプは、例えば、注目ブロックが動きブロックである場合には、フィールドＤＣＴモードを表すものとし、注目ブロックが静止ブロックである場合には、フレームＤＣＴモードを表すものとするようにすることが可能である。
【０１９０】
次に、図１３の実施の形態におけるクラス分類適応処理部３２（図９）の処理について説明する。
【０１９１】
クラス分類適応処理部３２では、前処理部３１を構成する図１４で説明したＭＰＥＧデコーダ１１６が出力する復号画像データを対象に、クラス分類適応処理が行われ、その結果得られる適応処理データが、後処理部３３に出力される。後処理部３３は、クラス分類適応処理部３２からの適応処理データを、そのまま、高画質の画像データ（高画質画像データ）として出力する。
【０１９２】
従って、図１３の実施の形態では、クラス分類適応処理部３２においてクラス分類適応処理が行われることにより、前処理部３１のＭＰＥＧデコーダ１１６が出力する、符号化データをＭＰＥＧ方式で復号した復号画像データが、高画質画像データに変換されて出力される。
【０１９３】
即ち、クラス分類適応処理部３２（図９）では、前処理部３１のＭＰＥＧデコーダ１１６が出力する復号画像データが、タップ抽出部５１と５２に供給される。
【０１９４】
タップ抽出部５１は、まだ、注目データとしていない高画質画像データの画素を注目データとして、その注目データ（の画素値）を予測するのに用いる復号画像データの幾つか（の画素）を、予測タップとして抽出する。タップ抽出部５２も、注目データをクラス分類するのに用いる復号画像データの幾つかを、クラスタップとして抽出する。
【０１９５】
ここで、上述したように、タップ抽出部５１および５２には、判定部２２からミスマッチ情報も供給されるようになっており、タップ抽出部５１と５２は、ミスマッチ情報に基づき、予測タップとクラスタップの構造を、それぞれ変更するようになっている。
【０１９６】
即ち、例えば、いま、上述したような、注目ブロックのＤＣＴタイプとブロックタイプとのセットが、注目データについてのミスマッチ情報として、判定部２２（のミスマッチ情報生成部１１５（図１３））からクラス分類適応処理部３２に供給されるものとすると、タップ抽出部５１は、ミスマッチ情報としての、注目ブロックのＤＣＴタイプとブロックタイプとのセットを受信し、ＭＰＥＧデコーダ１１６から供給される復号画像データから、例えば、図１７に示すようなタップ構造設定テーブルにしたがったタップ構造の予測タップを抽出する。
【０１９７】
即ち、タップ抽出部５１は、ミスマッチ情報としてのＤＣＴタイプとブロックタイプが、いずれもフィールドＤＣＴモードである場合、後述するフィールドタップのみからなるパターンＡのタップ構造の予測タップを構成する。また、タップ抽出部５１は、ミスマッチ情報としてのＤＣＴタイプとブロックタイプが、それぞれフィールドＤＣＴモードとフレームＤＣＴモードである場合、フィールドタップの数が、後述するフレームタップの数より多いパターンＢのタップ構造の予測タップを構成する。さらに、タップ抽出部５１は、ミスマッチ情報としてのＤＣＴタイプとブロックタイプが、それぞれフレームＤＣＴモードとフィールドＤＣＴモードである場合、フレームタップの数が、フィールドタップの数より多いパターンＣのタップ構造の予測タップを構成する。また、タップ抽出部５１は、ミスマッチ情報としてのＤＣＴタイプとブロックタイプが、いずれもフレームＤＣＴモードである場合、フレームタップのみからなるパターンＤのタップ構造の予測タップを構成する。
【０１９８】
ここで、図１８は、パターンＡ乃至Ｄのタップ構造を示している。なお、図１８において、○印が、復号画像データの画素を表している。また、斜線を付してある○印は、フィールドタップとなっている画素を表し、●印は、フレームタップとなっている画素を表している。
【０１９９】
図１８Ａは、パターンＡのタップ構造を示している。パターンＡのタップ構造は、例えば、注目データに対応する復号画像データの画素（以下、適宜、注目画素という）、注目画素の左右それぞれに隣接する２画素、注目画素の上方向に１画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素、注目画素の上方向に３画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素、注目画素の下方向に１画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素、注目画素の下方向に３画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素の合計２５画素で構成される。
【０２００】
ここで、フィールドタップとは、例えば、その上下に隣接する２画素が、いずれもタップ（ここでは、予測タップまたはクラスタップ）となっていない画素を意味する。図１８ＡのパターンＡのタップ構造では、いずれのタップも、その上下に隣接する画素がタップになっていないので、すべてフィールドタップである。
【０２０１】
図１８Ｂは、パターンＢのタップ構造を示している。パターンＢのタップ構造は、例えば、注目画素、注目画素の左右それぞれに隣接する２画素、注目画素の上方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の上方向に３画素おいて隣接する画素の左右それぞれに隣接する１画素、注目画素の下方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の下方向に３画素おいて隣接する画素の左右それぞれに隣接する１画素、注目画素の上に隣接する４画素、注目画素の下に隣接する４画素の合計２５画素で構成される。
【０２０２】
ここで、フレームタップとは、その上または下に隣接する画素のうちの少なくとも一方がタップとなっている画素を意味する。図１８ＢのパターンＢのタップ構造では、注目画素と、注目画素の上下それぞれに隣接する４画素の合計９画素がフレームタップとなっており、残りの１６画素がフィールドタップとなっている。
【０２０３】
図１８Ｃは、パターンＣのタップ構造を示している。パターンＣのタップ構造は、例えば、注目画素、注目画素の左右それぞれに隣接する２画素、注目画素の上方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の下方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の上下それぞれに隣接する４画素、注目画素の上に隣接する画素の左右それぞれに隣接する１画素、注目画素の下に隣接する画素の左右それぞれに隣接する１画素の合計２５画素で構成される。
【０２０４】
パターンＣのタップ構造では、注目画素、注目画素の上下それぞれに隣接する４画素、注目画素の左に隣接する画素、その画素の上下それぞれに隣接する２画素、注目画素の右に隣接する画素、その画素の上下それぞれに隣接する２画素の合計１９画素がフレームタップとなっており、残りの６画素がフィールドタップになっている。
【０２０５】
図１８Ｄは、パターンＤのタップ構造を示している。パターンＤのタップ構造は、例えば、注目画素を中心として隣接する、横×縦が５×５画素の合計２５画素で構成される。
【０２０６】
パターンＤのタップ構造では、いずれのタップも、その上または下の少なくとも一方の画素がタップとなっているので、すべてフレームタップである。
【０２０７】
タップ抽出部５１（図９）は、ミスマッチ情報に基づき、注目データについて、図１８に示したパターンＡ乃至Ｄのうちのいずれかのタップ構造の予測タップを構成する。
【０２０８】
タップ抽出部５２も、タップ抽出部５１と同様に、ミスマッチ情報に基づくタップ構造のクラスタップを構成する。
【０２０９】
なお、ここでは、ミスマッチ情報に基づいて、予測タップとして抽出する復号画像データの画素の位置を変更するだけで、予測タップを構成する画素数は、２５画素のまま変更しないようにしたが、タップ抽出部５１では、ミスマッチ情報に基づいて、予測タップを構成する復号画像データの画素の数を変更するようにすることも可能である。
【０２１０】
また、前処理部３１のＭＰＥＧデコーダ１１６では、符号化データにおける量子化ＤＣＴ係数が、その符号化データに含まれる動きベクトルや、ＤＣＴタイプ、量子化ステップ、ピクチャタイプ、その他の復号制御情報を用いて、画像に復号されるが、タップ抽出部５１では、このような復号制御情報も、予測タップに含めることが可能である。さらに、この場合、ミスマッチ情報に基づいて、予測タップとする復号制御情報を変更することも可能である。さらに、タープ抽出部５１では、符号化データに含まれる量子化ＤＣＴ係数や、その量子化ＤＣＴ係数を逆量子化して得られるＤＣＴ係数も、予測タップに含めるようにすることが可能である。
【０２１１】
タップ抽出部５２でも、タップ抽出部５１における場合と同様にして、クラスタップを構成することができる。
【０２１２】
タップ抽出部５１で得られた予測タップは、予測部５４に供給され、タップ抽出部５２で得られたクラスタップは、クラス分類部５３に供給される。
【０２１３】
クラス分類部５３には、クラスタップの他、注目データについてのミスマッチ情報も供給され、クラス分類部５３では、上述したように、クラスタップとミスマッチ情報に基づき、注目データがクラス分類される。
【０２１４】
即ち、クラス分類部５３は、例えば、注目データについてのクラスタップに対して、例えば、ADRC(Adaptive Dynamic Range Coding)処理等の圧縮処理を施すことによりクラス分類を行い、クラスコードを求める。
【０２１５】
ここで、ADRC処理を用いたクラス分類では、クラスタップを構成するデータ（ここでは、画素値）が、ADRC処理され、例えば、その結果得られるADRCコードが、クラスコードとされる。
【０２１６】
なお、KビットADRCにおいては、例えば、クラスタップを構成するデータの最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するデータがKビットに再量子化される。即ち、クラスタップを構成する各データから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各データを、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各データは、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各データが１ビットとされる（２値化される）。そして、その１ビットのデータを所定の順番で並べたビット列が、ADRCコードとして出力される。
【０２１７】
なお、クラス分類部５３には、例えば、クラスタップを構成するデータのレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個のデータで構成され、各データに、Ｋビットが割り当てられているとすると、クラス分類部２４が出力するクラスコードの場合の数は、（２N）K通りとなり、データのビット数Ｋに指数的に比例した膨大な数となる。
【０２１８】
従って、クラス分類部５３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【０２１９】
ここで、クラスタップを用いてクラス分類を行うことにより得られるクラスコードを、以下、適宜、クラスタップコードという。
【０２２０】
クラス分類部５３は、上述のようにしてクラスタップコードを求める他、注目データについてのミスマッチ情報としての、例えば、ＤＣＴタイプとブロックタイプのセットを用いてクラス分類を行うことにより、２ビットのクラスコードを求める。
【０２２１】
即ち、いま、ミスマッチ情報を用いたクラス分類によって得られるクラスコードを、ミスマッチコードというものとすると、クラス分類部５３は、ミスマッチ情報としてのＤＣＴタイプとブロックタイプが、いずれもフィールドＤＣＴモードを表している場合には、２ビットのミスマッチコードを、例えば「００」とする。また、クラス分類部５３は、ＤＣＴタイプとブロックタイプが、それぞれフィールドＤＣＴモードとフレームＤＣＴモードを表している場合には、２ビットのミスマッチコードを、例えば「０１」とする。さらに、クラス分類部５３は、ＤＣＴタイプとブロックタイプが、それぞれフレームＤＣＴモードとフィールドＤＣＴモードを表している場合には、２ビットのミスマッチコードを、例えば「１０」とする。また、クラス分類部５３は、ＤＣＴタイプとブロックタイプが、いずれもフレームＤＣＴモードを表している場合には、２ビットのミスマッチコードを、例えば「１１」とする。
【０２２２】
その後、クラス分類部５３は、例えば、注目データについて得られたクラスタップコードの上位ビットとして、注目データについて得られたミスマッチコードを付加し、このクラスタップコードとミスマッチコードとで構成されるコードを、注目データについての最終的なクラスコードとして出力する。
【０２２３】
なお、クラス分類部５３では、その他、例えば、ＤＣＴタイプ以外の復号制御情報にも基づいて、クラス分類を行うようにすることが可能である。
【０２２４】
クラス分類部５３が出力するクラスコードは、係数メモリ４１に供給される。係数メモリ４１では、そのクラスコードに対応するタップ係数が読み出され、予測部５４に供給される。
【０２２５】
予測部５４は、タップ抽出部５１が出力する予測タップと、係数メモリ４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部５４は、注目データ（の予測値）、即ち、高画質画像データを求め、後処理部３３に供給する。
【０２２６】
後処理部３３では、上述したように、クラス分類適応処理部３２（の予測部５４）の出力、即ち、高画質画像データが、そのまま出力される。
【０２２７】
なお、上述の場合には、注目ブロックのＤＣＴタイプが正しいか、正しくないかを表す１ビットの情報や、注目ブロックのＤＣＴタイプとブロックタイプのセットを、ミスマッチ情報とするようにしたが、ミスマッチ情報としては、その他、例えば、注目ブロックのＤＣＴタイプが、どの程度正しいかを表す評価値などを採用することが可能である。
【０２２８】
注目ブロックのＤＣＴタイプの正しいの程度を表す評価値としては、例えば、注目ブロックのＤＣＴタイプがフィールドＤＣＴモードである場合には、注目ブロック（注目マクロブロック）の動きベクトルの大きさを採用し、注目ブロックのＤＣＴタイプがフレームＤＣＴモードである場合には、動きベクトルの最大の大きさから、注目ブロックの動きベクトルの大きさを減算して得られる減算値を採用することが可能である。この場合、注目ブロックのＤＣＴタイプがフィールドＤＣＴモードであるときには、注目ブロックの動きベクトルの大きさが大きいほど、また、注目ブロックのＤＣＴタイプがフレームＤＣＴモードであるときには、注目ブロックの動きベクトルの大きさが小さいほど、評価値が大きくなる。
【０２２９】
そして、この場合、タップ抽出部５１や５２では、例えば、ミスマッチ情報としての評価値を、１つ以上の閾値と比較し、その比較結果に基づいて、予測タップやクラスタップのタップ構造を変更するようにすることが可能である。また、クラス分類部５３では、例えば、ミスマッチ情報としての評価値を量子化し、その量子化値を、ミスマッチコードとして用いることが可能である。
【０２３０】
さらに、上述の場合には、注目ブロックが動きブロックか、または静止ブロックであるかを、注目ブロックの動きベクトル、あるいは対応前ブロックまたは対応後ブロックの動きベクトルや、静止ブロックもしくは動きブロックの別に基づいて判定するようにしたが、注目ブロックが動きブロックまたは静止ブロックのうちのいずれであるかの判定は、その他、例えば、注目ブロックや、対応前ブロックまたは対応後ブロックの周辺のブロックの動きベクトル等にも基づいて判定するようにすることが可能である。
【０２３１】
次に、図１９は、図１３の係数メモリ４１に記憶させるタップ係数を学習する場合の、図１１の学習装置の詳細構成例を示している。
【０２３２】
図１９の実施の形態では、学習用データ記憶部１１に、学習用データとして、高画質の画像データ（学習用画像データ）が記憶されている。
【０２３３】
図１９の実施の形態において、符号化部１２は、ＭＰＥＧエンコーダ１３１で構成されており、ＭＰＥＧエンコーダ１３１は、学習用データ記憶部１１から学習用画像データを読み出して、ＭＰＥＧ２方式で符号化し、その結果得られる符号化データを出力する。
【０２３４】
即ち、図２０は、図１９のＭＰＥＧエンコーダ１３１の構成例を示している。
【０２３５】
学習用画像データは、動きベクトル検出部１４１と演算部１４３に供給される。動きベクトル検出部１４１は、学習用画像データを対象に、例えば、ブロックマッチングを行うことにより、学習用画像データの動きベクトルを検出し、動き補償部１４２に供給する。
【０２３６】
また、演算部１４３は、必要に応じて、学習用画像データ（原画像）から、動き補償部１４２から供給される予測画像を減算し、その結果得られる残差画像を、ＤＣＴ変換部１４４に供給する。ＤＣＴ変換部１４４は、演算部１４３からの残差画像をＤＣＴ変換し、その結果得られるＤＣＴ係数を、量子化部１４５に供給する。量子化部１４５は、ＤＣＴ変換部１４４から供給されるＤＣＴ係数を、所定の量子化ステップで量子化することにより、量子化ＤＣＴ係数を得て、ＶＬＣ部１４６および逆量子化部１４７に供給する。
【０２３７】
ＶＬＣ部１４６は、量子化部１４５から供給される量子化ＤＣＴ係数をＶＬＣコードに可変長符号化し、さらに、必要な復号制御情報（例えば、動きベクトル検出部１４１で検出された動きベクトルや、量子化部１４５で用いられた量子化ステップなど）を多重化することで、符号化データを得て出力する。
【０２３８】
一方、逆量子化部１４７では、量子化部１４５が出力する量子化ＤＣＴ係数が逆量子化され、ＤＣＴ係数が求められて、逆ＤＣＴ変換部１４８に供給される。逆ＤＣＴ変換部１４８は、逆量子化部１４７からのＤＣＴ係数を、逆ＤＣＴ変換することにより、残差画像に復号し、演算部１４９に供給する。
【０２３９】
演算部１４９には、逆ＤＣＴ変換部１４８から、残差画像が供給される他、動き補償部１４２から、その残差画像を求めるのに演算部１４３で用いられたのと同一の予測画像が供給されるようになっており、演算部１４９は、残差画像と予測画像とを加算することで、元の画像を復号（ローカルデコード）する。この復号画像は、メモリ１５０に供給され、参照画像として記憶される。
【０２４０】
そして、動き補償部１４２では、メモリ１５０に記憶された参照画像が読み出され、動きベクトル検出部１４１から供給される動きベクトルにしたがって動き補償が施されることにより、予測画像が生成される。この予測画像は、動き補償部１４２から演算部１４３および１４９に供給される。
【０２４１】
上述したように、演算部１４３では、動き補償部１４２からの予測画像を用いて、残差画像が求められ、また、演算部１４９では、動き補償部１４２からの予測画像を用いて、元の画像が復号される。
【０２４２】
図１９に戻り、ＭＰＥＧデコーダ１３１が出力する符号化データは、復号制御情報抽出部７１に供給される。
【０２４３】
復号制御情報抽出部７１は、逆ＶＬＣ部１３２で構成されている。逆ＶＬＣ部１３２は、図１３の逆ＶＬＣ部１１１と同様の処理を行い、これにより、符号化データから、複数の復号制御情報としてのＤＣＴタイプ、ピクチャタイプ、マクロブロックタイプ、動きベクトルを抽出し、判定部７２に供給する。
【０２４４】
判定部７２は、フィールド／フレーム判定部１３３、イントラ／ノンイントラ判定部１３４、静動判定部１３５、およびミスマッチ情報生成部１３６で構成されている。そして、フィールド／フレーム判定部１３３、イントラ／ノンイントラ判定部１３４、静動判定部１３５、またはミスマッチ情報生成部１３６では、復号制御情報抽出部７１から供給される複数の復号制御情報としてのＤＣＴタイプ、ピクチャタイプ、マクロブロックタイプ、および動きベクトルを用いて、図１３のフィールド／フレーム判定部１１２、イントラ／ノンイントラ判定部１１３、静動判定部１１４、またはミスマッチ情報生成部１１５における場合とそれぞれ同様の処理が行われ、これにより、適応学習部６０において注目教師データとされている教師データについてのミスマッチ情報が生成される。このミスマッチ情報は、ミスマッチ情報生成部１３６から適応学習部６０に供給される。
【０２４５】
図１９の実施の形態では、逆後処理部６１Ａは、学習用データ記憶部１１から学習用画像データを読み出し、そのまま、教師データとして、適応学習部６０に出力する。適応学習部６０（図１１）では、教師データ記憶部６２において、逆後処理部６１Ａからの教師データが記憶される。
【０２４６】
符号化部６３Ａは、ＭＰＥＧエンコーダ１３７で構成され、ＭＰＥＧエンコーダ１３７は、ＭＰＥＧエンコーダ１３１と同様に、学習用データ記憶部１１から学習用画像データを読み出して、ＭＰＥＧ２方式で符号化し、その結果得られる符号化データを、前処理部６３Ｂに出力する。
【０２４７】
前処理部６３Ｂは、図１４のＭＰＥＧデコーダ１１６と同様に構成されるＭＰＥＧデコーダ１３８で構成され、ＭＰＥＧデコーダ１３８は、ＭＰＥＧエンコーダ１３７からの符号化データを、ＭＰＥＧ２方式で復号し、その結果得られる復号画像データを、生徒データとして、適応学習部６０に出力する。適応学習部６０（図１１）では、生徒データ記憶部６４において、ＭＰＥＧデコーダ１３８からの生徒データが記憶される。
【０２４８】
そして、適応学習部６０では、教師データおよび生徒データを用い、生徒データから抽出される予測タップから、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われる。
【０２４９】
即ち、適応学習部６０（図１１）では、タップ抽出部６５が、教師データ記憶部６２に記憶された教師データのうち、まだ、注目教師データとしていないものを、注目教師データとし、注目教師データについて、生徒データ記憶部６４に記憶された生徒データから予測タップを構成して、足し込み部６８に供給する。さらに、タップ抽出部６６が、注目教師データについて、生徒データ記憶部６４に記憶された生徒データからクラスタップを構成し、クラス分類部６７に供給する。
【０２５０】
ここで、タップ抽出部６５および６６には、ミスマッチ情報が供給されるようになっており、タップ抽出部６５または６６それぞれは、ミスマッチ情報に基づき、注目教師データについて、図１３で説明したクラス分類適応処理部３２のタップ抽出部５１または５２（図９）が構成するのと同一のタップ構造の予測タップまたはクラスタップを構成する。
【０２５１】
従って、例えば、タップ抽出部５１または５２において、図１３で説明したように、符号化データに含まれる復号制御情報をも用いて、予測タップまたはクラスタップがそれぞれ構成される場合には、図１９の学習装置でも、タップ抽出部６５または６６（図１１）において、復号制御情報をも用いて、予測タップまたはクラスタップがそれぞれ構成される。
【０２５２】
その後、クラス分類部６７（図１１）では、注目教師データについてのクラスタップとミスマッチ情報に基づき、注目教師データについて、図１３で説明したクラス分類部５３における場合と同様のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部６８に出力する。
【０２５３】
足し込み部６８は、教師データ記憶部６２から注目教師データを読み出し、その注目教師データと、タップ抽出部６５からの予測タップを用い、式（８）の行列Ａとベクトルｖのコンポーネントを計算する。さらに、足し込み部６８は、既に得られている行列Ａとベクトルｖのコンポーネントのうち、クラス分類部６７からのクラスコードに対応するものに対して、注目教師データと予測タップから求められた行列Ａとベクトルｖのコンポーネントを足し込む。
【０２５４】
以上の処理が、教師データ記憶部６２に記憶された教師データすべてを、注目教師データとして行われると、足し込み部６８は、いままでの処理によって得られたクラスごとの行列Ａおよびベクトルｖのコンポーネントで構成される式（８）の正規方程式を、タップ係数算出部６９に供給し、タップ係数算出部６９は、その各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求めて出力する。
【０２５５】
なお、図１９の学習装置では、例えば、符号化部６３ＡのＭＰＥＧエンコーダ１３７において学習用画像データをＭＰＥＧ符号化する前に、その学習用画像データの画素数を，１／Ｎに間引くようにすることで、適応学習部６０において、ＭＰＥＧ復号された画像データを、高画質で、かつ画素数をＮ倍にする（解像度を高くする）タップ係数を得ることができる。
【０２５６】
次に、図２１は、符号化データが画像データをＭＰＥＧ２方式で符号化したものである場合の、図６の復号装置の第２の詳細構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２５７】
図２１の実施の形態では、前処理部３１が、逆ＶＬＣ部１６１、逆量子化部１６２、演算部１６３、ＭＰＥＧデコーダ１６４、メモリ１６５、動き補償部１６６、およびＤＣＴ変換部１６７で構成されている。
【０２５８】
前処理部３１において、符号化データは、逆ＶＬＣ部１６１とＭＰＥＧデコーダ１６４に供給される。
【０２５９】
逆ＶＬＣ部１６１は、符号化データから、量子化ＤＣＴ係数のＶＬＣコードを分離するとともに、量子化ステップ、動きベクトル、その他の復号制御情報を分離する。そして、逆ＶＬＣ部１６１は、量子化ＤＣＴ係数のＶＬＣコードを逆ＶＬＣ処理することで、量子化ＤＣＴ係数に復号し、逆量子化部１６２に供給する。さらに、逆ＶＬＣ部１６１は、量子化ステップを、逆量子化部１６２に、動きベクトルを、動き補償部１６６に、それぞれ供給する。
【０２６０】
逆量子化部１６２は、逆ＶＬＣ部１６１から供給される量子化ＤＣＴ係数を、同じく逆ＶＬＣ部１６１から供給される量子化ステップで逆量子化し、その結果得られる８×８画素のブロックのＤＣＴ係数を、演算部１６３に供給する。
【０２６１】
一方、ＭＰＥＧデコーダ１６４では、符号化データが、ＭＰＥＧ方式で復号され、復号画像データが出力される。ＭＰＥＧデコーダ１６４が出力する復号画像のうち、参照画像とされ得るＩピクチャとＰピクチャは、メモリ１６５に供給されて記憶される。
【０２６２】
そして、動き補償部１６６は、メモリ１６５に記憶された復号画像を参照画像として読み出し、その参照画像に対して、逆ＶＬＣ部１６１から供給される動きベクトルにしたがい、動き補償を施すことで、逆量子化部１６２から演算部１６３に供給されたブロックの予測画像を生成し、ＤＣＴ変換部１６７に供給する。ＤＣＴ変換部１６７は、動き補償部１６６から供給される予測画像をＤＣＴ変換し、その結果得られるＤＣＴ係数を、演算部１６３に供給する。
【０２６３】
演算部１６３は、逆量子化部１６２から供給されるブロックの各ＤＣＴ係数と、ＤＣＴ変換部１６７から供給される、対応するＤＣＴ係数とを、必要に応じて加算することで、そのブロックの画素値をＤＣＴ変換したＤＣＴ係数を求める。
【０２６４】
即ち、逆量子化部１６２から供給されるブロックがイントラ符号化されているものである場合、逆量子化部１６２から供給されるブロックのＤＣＴ係数は、元の画素値をＤＣＴ変換したものとなっているから、演算部１６３は、逆量子化部１６２から供給されるブロックのＤＣＴ係数を、そのまま出力する。
【０２６５】
また、逆量子化部１６２から供給されるブロックがノンイントラ符号化されているものである場合、逆量子化部１６２から供給されるブロックのＤＣＴ係数は、元の画素値と予測画像との差分値（残差画像）をＤＣＴ変換したものとなっているから、演算部１６３は、逆量子化部１６２から供給されるブロックの各ＤＣＴ係数と、ＤＣＴ変換部１６７から供給される、予測画像をＤＣＴ変換して得られるＤＣＴ係数の対応するものとを加算することにより、元の画素値をＤＣＴ変換して得られるＤＣＴ係数を求めて出力する。
【０２６６】
演算部１６３が出力するブロックのＤＣＴ係数は、前処理データとして、クラス分類適応処理部３２に供給される。
【０２６７】
図２１の実施の形態では、クラス分類適応処理部３２において、前処理部３１が出力するＤＣＴ係数を対象に、クラス分類適応処理が行われ、これにより、高画質画像データ（の予測値）が、適応処理データとして求められる。
【０２６８】
即ち、クラス分類適応処理部３２（図９）では、前処理部３１が出力するＤＣＴ係数が、タップ抽出部５１と５２に供給される。
【０２６９】
タップ抽出部５１は、まだ、注目データとしていない高画質画像データの画素を注目データとして、その注目データを予測するのに用いる前処理データとしてのＤＣＴ係数の幾つかを、予測タップとして抽出する。タップ抽出部５２も、注目データをクラス分類するのに用いる前処理データとしてのＤＣＴ係数の幾つかを、クラスタップとして抽出する。
【０２７０】
なお、タップ抽出部５１または５２は、注目データについてのミスマッチ情報に基づいて、予測タップまたはクラスタップのタップ構造を、それぞれ変更する。
【０２７１】
即ち、タップ抽出部５１は、例えば、注目データのブロック（注目ブロック）のＤＣＴ係数すべての他、注目ブロックの上下左右それぞれに隣接するブロックにおける必要なＤＣＴ係数を、ミスマッチ情報に応じて抽出して、予測タップを構成する。タップ抽出部５１も、タップ抽出部５１と同様にして、クラスタップを構成する。
【０２７２】
そして、タップ抽出部５１で得られた予測タップは、予測部５４に供給され、タップ抽出部５２で得られたクラスタップは、クラス分類部５３に供給される。
【０２７３】
クラス分類部５３では、クラスタップと、注目データについてのミスマッチ情報に基づき、図１３で説明した場合と同様にして、注目データがクラス分類され、注目データについてのクラスコードが、係数メモリ４１に供給される。係数メモリ４１では、注目データについてのクラスコードに対応するタップ係数が読み出され、予測部５４に供給される。
【０２７４】
予測部５４は、係数メモリ４１から供給されるタップ係数を取得し、そのタップ係数と、タップ抽出部５１が出力する予測タップとを用いて、式（１）に示した線形予測演算を行う。これにより、予測部５４は、注目データ（の予測値）、即ち、高画質画像データを求め、後処理部３３に供給する。
【０２７５】
後処理部３３では、クラス分類適応処理部３２からの高画質画像データが、そのまま出力される。
【０２７６】
従って、図２１の実施の形態では、クラス分類適応処理部３２において、ＤＣＴ係数が高画質画像データに変換される。
【０２７７】
次に、図２２は、図２１の復号装置の係数メモリ４１に記憶させるタップ係数を学習する場合の、図１１の学習装置の詳細構成例を示している。なお、図中、図１９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７８】
図２２の実施の形態では、前処理部６３Ｂが、逆ＶＬＣ部１７１、逆量子化部１７２、演算部１７３、ＭＰＥＧデコーダ１７４、メモリ１７５、動き補償部１７６、およびＤＣＴ変換部１７７で構成されており、これらの逆ＶＬＣ部１７１乃至ＤＣＴ変換部１７７は、図２１の逆ＶＬＣ部１６１乃至ＤＣＴ変換部１６７とそれぞれ同様に構成されている。
【０２７９】
従って、前処理部６３Ｂでは、符号化部６３ＡのＭＰＥＧエンコーダ１３７が出力する符号化データに対して、図２１の前処理部３１における場合と同様の処理が施され、これにより得られるＤＣＴ係数が、生徒データとして、適応学習部６０に供給される。
【０２８０】
適応学習部６０（図１１）では、生徒データ記憶部６４において、前処理部６３Ｂから供給されるＤＣＴ係数が、生徒データとして記憶され、図１９で説明した場合と同様に、教師データおよび生徒データを用い、生徒データから抽出される予測タップから、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、生徒データとしてのＤＣＴ係数を、高画質画像データに変換するクラスごとのタップ係数が求められる。
【０２８１】
但し、図２２の実施の形態において、適応学習部６０（図１１）では、そのタップ抽出部６５または６６それぞれにおいて、図２１のクラス分類適応処理部３２（図９）におけるタップ抽出部５１または５２が構成するのと同一のタップ構造の予測タップまたはクラスタップが、ミスマッチ情報に基づいて構成される。さらに、図２２の適応学習部６０（図１１）におけるクラス分類部６７でも、図２１のクラス分類適応処理部３２（図９）におけるクラス分類部５３と同様のクラス分類が行われる。
【０２８２】
次に、図２３は、符号化データが画像データをＭＰＥＧ２方式で符号化したものである場合の、図６の復号装置の第３の詳細構成例を示している。なお、図中、図２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２８３】
図２３の復号装置は、後処理部３３が、逆ＤＣＴ変換部１８１で構成されていることを除いて、図２１における場合と同様に構成されている。
【０２８４】
図２３の実施の形態では、クラス分類適応処理部３２において、前処理部３１が出力するＤＣＴ係数を対象に、クラス分類適応処理が行われ、これにより、逆ＤＣＴ変換を行った場合に、高画質画像データを得ることのできるＤＣＴ係数（以下、適宜、高画質ＤＣＴ係数という）（の予測値）が、適応処理データとして求められる。
【０２８５】
即ち、クラス分類適応処理部３２（図９）では、前処理部３１が出力する前処理データとしてのＤＣＴ係数が、タップ抽出部５１と５２に供給される。
【０２８６】
タップ抽出部５１は、まだ、注目データとしていない高画質ＤＣＴ係数を注目データとして、その注目データを予測するのに用いる前処理データとしてのＤＣＴ係数の幾つかを、予測タップとして抽出する。即ち、タップ抽出部５１は、ミスマッチ情報に基づき、注目データについて、例えば、図２１における場合と同様のタップ構造の予測タップを構成する。タップ抽出部５２も、ミスマッチ情報に基づき、注目データについて、例えば、図２１における場合と同様のタップ構造のクラスタップを構成する。
【０２８７】
そして、タップ抽出部５１で得られた予測タップは、予測部５４に供給され、タップ抽出部５２で得られたクラスタップは、クラス分類部５３に供給される。
【０２８８】
クラス分類部５３では、クラスタップと、注目データについてのミスマッチ情報に基づき、図２１における場合と同様にして、注目データがクラス分類され、注目データについてのクラスコードが、係数メモリ４１に供給される。係数メモリ４１では、注目データについてのクラスコードに対応するタップ係数が読み出され、予測部５４に供給される。
【０２８９】
予測部５４は、係数メモリ４１が出力するタップ係数を取得し、そのタップ係数と、タップ抽出部５１が出力する予測タップとを用いて、式（１）に示した線形予測演算を行う。これにより、予測部５４は、注目データ（の予測値）、即ち、高画質ＤＣＴ係数を求め、後処理部３３に供給する。
【０２９０】
後処理部３３では、逆ＤＣＴ変換部１８１において、クラス分類適応処理部３２が出力する高画質ＤＣＴ係数が、ブロック単位で逆ＤＣＴ変換され、これにより、高画質画像データが求められて出力される。
【０２９１】
次に、図２４は、図２３の復号装置の係数メモリ４１に記憶させるタップ係数を学習する場合の、図１１の学習装置の詳細構成例を示している。なお、図中、図２２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２９２】
図２４の学習装置は、逆後処理部６１Ａが、ＤＣＴ変換部１９１で構成されていることを除いて、図２２における場合と同様に構成されている。
【０２９３】
従って、逆後処理部６１Ａでは、ＤＣＴ変換部１９１において、学習用データ記憶部１１から読み出された学習用画像データとしての高画質画像データが、ブロック単位でＤＣＴ変換され、その結果得られるＤＣＴ係数である高画質ＤＣＴ係数が、教師データとして、適応学習部６０に供給される。
【０２９４】
適応学習部６０（図１１）では、教師データ記憶部６２において、逆後処理部６１Ａから供給される高画質ＤＣＴ係数が、教師データとして記憶され、その教師データと、生徒データ記憶部６４に記憶された生徒データとしてのＤＣＴ係数（このＤＣＴ係数は、画像データをＭＰＥＧ符号化した符号化データから得たもの）とを用い、生徒データから抽出される予測タップから、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、生徒データとしてのＤＣＴ係数を、高画質ＤＣＴ係数に変換するクラスごとのタップ係数が求められる。
【０２９５】
即ち、いまの場合、生徒データされているＤＣＴ係数は、前処理部６３Ｂにおいて、符号化データから求められたものであり、量子化誤差を含んでいるため、そのＤＣＴ係数を逆ＤＣＴ変換して得られる画像は、いわゆるブロック歪み等を有する低画質のものとなる。
【０２９６】
そこで、適応学習部６０では、上述のように、式（１）の線形予測演算を行うことにより得られる教師データ（学習用画像データをＤＣＴ変換して得られる高画質ＤＣＴ係数）の予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われることにより、生徒データされているＤＣＴ係数を、高画質ＤＣＴ係数に変換するクラスごとのタップ係数が求められる。
【０２９７】
なお、図２４の実施の形態において、適応学習部６０（図１１）では、そのタップ抽出部６５または６６それぞれにおいて、図２３のクラス分類適応処理部３２（図９）におけるタップ抽出部５１または５２が構成するのと同一のタップ構造の予測タップまたはクラスタップが、ミスマッチ情報に基づいて構成される。さらに、図２４の適応学習部６０（図１１）におけるクラス分類部６７でも、図２３のクラス分類適応処理部３２（図９）におけるクラス分類部５３と同様のクラス分類が行われる。
【０２９８】
以上のように、符号化データに含まれる復号制御情報の正しさを判定し、その判定結果を表すミスマッチ情報に基づいて、符号化データの復号、およびその復号に用いるタップ係数の学習を行うようにしたので、学習においては、復号制御情報の正しさを考慮して、原画像に近い予測値を求めるためのタップ係数を求めることができ、その結果、そのようなタップ係数を用いて、符号化データの復号を行うことで、高画質の画像を得ることが可能となる。
【０２９９】
即ち、本実施の形態では、ＤＣＴタイプの正しさを判定し、その判定結果を考慮して、タップ係数の学習を行うようにしたので、ＭＰＥＧ２方式で復号すれば、自然な動きになる部分については、その部分を、原画像に近い予測値に復号するためのタップ係数を得ることができる他、ＭＰＥＧ２方式で復号すれば、不自然な動きになる部分についても、その部分を、原画像に近い予測値に復号するためのタップ係数を得ることができる。そして、そのようなタップ係数を用い、やはり、ＤＣＴタイプの正しさを考慮して、符号化データの復号を行うことにより、高画質の画像を得ることができる。
【０３００】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３０１】
そこで、図２５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３０２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【０３０３】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３０４】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０３０５】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０３０６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３０７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３０８】
なお、本実施の形態では、画像データをＭＰＥＧ２方式で符号化した場合について説明したが、本発明は、ＭＰＥＧ２方式に限定されるものではなく、その他の非可逆圧縮方式で符号化された画像を復号する場合に適用可能である。
【０３０９】
また、本実施の形態では、符号化データに含まれる複数の復号制御情報のうちの１つであるＤＣＴタイプの正しさ（適切さ）を、その複数の復号制御情報のうちの他の１つである動きベクトルに基づいて判定し、その判定結果を表すミスマッチ情報に基づいて、符号化データの復号およびタップ係数の学習を行うようにしたが、その他、符号化データに含まれる複数の復号制御情報のうちのＤＣＴタイプ以外の正しさ（適切さ）を、その複数の復号制御情報のうちの他の１以上に基づいて判定し、その判定結果を表すミスマッチ情報に基づいて、符号化データの復号およびタップ係数の学習を行うようにすることが可能である。
【０３１０】
【発明の効果】
本発明の復号装置および復号方法、並びに第１のプログラムおよび第１の記録媒体によれば、符号化データに含まれるＤＣＴタイプの正しさが、その符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定され、その判定結果を表すミスマッチ情報を出力される。そして、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データが注目データとされ、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかが、予測タップとして抽出され、低品質データに対応する、学習の生徒となる生徒データと、高品質データに対応する、学習の教師となる教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差を統計的に最小にする学習を行うことにより得られるタップ係数と、予測タップとの積和演算を行うことにより、注目データが求められる。ここで、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップが抽出され、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップが抽出され、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップが抽出される。従って、符号化データを、高画質の画像データに復号することが可能となる。
【０３１１】
本発明の学習装置および学習方法、並びに第２のプログラムおよび第２の記録媒体によれば、学習用の画像データから、タップ係数の学習の教師となる教師データが生成されるとともに、生徒となる生徒データが生成される。また、学習用の画像データが符号化され、ＤＣＴタイプおよび画像データの動きベクトルを含む学習用の符号化データが出力される。そして、学習用の符号化データに含まれるＤＣＴタイプの正しさが、その学習用の符号化データに含まれる画像データの動きベクトルに基づいて、ブロック単位の画像データの動きの有無によって判定され、その判定結果を表すミスマッチ情報が出力される。さらに、符号化データを復号して得られる低品質な画像よりも高品質な画像の高品質データのうちの、得ようとしている画素単位の高品質データが注目データとされ、注目データを求めるための所定のタップ係数との積和演算に用いる低品質な画像の画素単位の低品質データの幾つかが、予測タップとして抽出され、低品質データに対応する生徒データと、高品質データに対応する教師データとを用い、生徒データとタップ係数との積和演算により求められる教師データの予測値の予測誤差が統計的に最小になるタップ係数が求められ、タップ係数と、予測タップとの積和演算を行うことにより、注目データが求められる。ここで、ミスマッチ情報に基づき、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフィールドＤＣＴモードであるとき、注目データのフィールドの低品質データから、予測タップが抽出され、ミスマッチ情報が、ＤＣＴタイプが正しいことを表している場合において、ＤＣＴタイプがフレームＤＣＴモードであるとき、注目データのフレームの低品質データから、予測タップが抽出され、ミスマッチ情報が、ＤＣＴタイプが正しくないことを表している場合、注目データのフィールドとフレームの両方の低品質データから、予測タップが抽出される。従って、そのタップ係数により、符号化データを、高画質の画像データに復号することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【図２】復号装置の処理を説明するフローチャートである。
【図３】本発明を適用した復号装置の他の一実施の形態の構成例を示すブロック図である。
【図４】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図５】学習装置の処理を説明するフローチャートである。
【図６】本発明を適用した復号装置のより詳細な構成例を示すブロック図である。
【図７】フレームＤＣＴモードとフィールドＤＣＴモードを説明する図である。
【図８】動き物体が表示されたマクロブロックを、フレームＤＣＴモードとフィールドＤＣＴモードで符号化した場合の復号画像を模式的に示す図である。
【図９】クラス分類適応処理部３２の構成例を示すブロック図である。
【図１０】復号装置の処理を説明するフローチャートである。
【図１１】本発明を適用した学習装置のより詳細な構成例を示すブロック図である。
【図１２】学習装置の処理を説明するフローチャートである。
【図１３】ＭＰＥＧ方式で符号化された符号化データを復号する復号装置の第１の構成例を示すブロック図である。
【図１４】ＭＰＥＧデコーダ１１６の構成例を示すブロック図である。
【図１５】ミスマッチ情報生成部１１５の処理を説明するフローチャートである。
【図１６】動き物体が表示されたマクロブロックを、フレームＤＣＴモードとフィールドＤＣＴモードで符号化した場合の復号画像を模式的に示す図である。
【図１７】タップ構造設定テーブルを示す図である。
【図１８】パターンＡ乃至Ｄのタップ構造を示す図である。
【図１９】ＭＰＥＧ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第１の構成例を示すブロック図である。
【図２０】ＭＰＥＧエンコーダ１３１の構成例を示すブロック図である。
【図２１】ＭＰＥＧ方式で符号化された符号化データを復号する復号装置の第２の構成例を示すブロック図である。
【図２２】ＭＰＥＧ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第２の構成例を示すブロック図である。
【図２３】ＭＰＥＧ方式で符号化された符号化データを復号する復号装置の第３の構成例を示すブロック図である。
【図２４】ＭＰＥＧ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第３の構成例を示すブロック図である。
【図２５】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１  ミスマッチ検出部，  ２  復号処理部，  ３  パラメータ記憶部，  １１学習用データ記憶部，  １２  符号化部，  １３  ミスマッチ検出部，  １４学習処理部，  ２１  復号制御情報抽出部，  ２２  判定部，  ３１  前処理部，  ３２  クラス分類適応処理部，  ３３  後処理部，  ４１  係数メモリ，５１，５２  タップ抽出部，  ５３  クラス分類部，  ５４  予測部，  ６０適応学習部，  ６１  教師データ生成部，  ６１Ａ  逆後処理部，  ６２  教師データ記憶部，  ６３  生徒データ生成部，  ６３Ａ  符号化部，  ６３Ｂ  前処理部，  ６４  生徒データ記憶部，  ６５，６６  タップ抽出部，  ６７  クラス分類部，  ６８  足し込み部，  ６９  タップ係数算出部，  ７１  復号制御情報抽出部，  ７２  判定部，  １１１  逆ＶＬＣ部，  １１２  フィールド／フレーム判定部，  １１３  イントラ／ノンイントラ判定部，  １１４  静動判定部，  １１５  ミスマッチ情報生成部，  １１６  ＭＰＥＧデコーダ，  １２１  逆ＶＬＣ部，  １２２  逆量子化部，  １２３  逆ＤＣＴ変換部，  １２４  演算部，  １２５  動き補償部，  １２６  メモリ，  １２７  ピクチャ選択部，  １３１  ＭＰＥＧエンコーダ，  １３２  逆ＶＬＣ部，  １３３  フィールド／フレーム判定部，  １３４  イントラ／ノンイントラ判定部，  １３５  静動判定部，  １３６  ミスマッチ情報生成部，  １３７  ＭＰＥＧエンコーダ，  １３８  ＭＰＥＧデコーダ，  １４１  動きベクトル検出部，  １４２動き補償部，  １４３  演算部，  １４４  ＤＣＴ変換部，  １４５  量子化部，  １４６  ＶＬＣ部，  １４７  逆量子化部，  １４８  逆ＤＣＴ変換部，１４９  演算部，  １５０  メモリ，  １６１  逆ＶＬＣ部，  １６２  逆量子化部，  １６３  演算部，  １６４  ＭＰＥＧデコーダ，  １６５  メモリ，１６６  動き補償部，  １６７  ＤＣＴ変換部，  １７１  逆ＶＬＣ部，  １７２  逆量子化部，  １７３  演算部，  １７４  ＭＰＥＧデコーダ，  １７５メモリ，  １７６  動き補償部，  １７７  ＤＣＴ変換部，  １８１  逆ＤＣＴ変換部，  １９１  ＤＣＴ変換部，    ４０１  バス，  ４０２  CPU，  ４０３  ROM，  ４０４  RAM，  ４０５  ハードディスク，  ４０６  出力部，  ４０７  入力部，  ４０８  通信部，  ４０９  ドライブ，  ４１０  入出力インタフェース，  ４１１  リムーバブル記録媒体
【図１】
0004081745.tif 000014
【図２】
0004081745.tif 000015
【図３】
0004081745.tif 000016
【図４】
0004081745.tif 000017
【図５】
0004081745.tif 000018
【図６】
0004081745.tif 000019
【図７】
0004081745.tif 000020
【図８】
0004081745.tif 000021
【図９】
0004081745.tif 000022
【図１０】
0004081745.tif 000023
【図１１】
0004081745.tif 000024
【図１２】
0004081745.tif 000025
【図１３】
0004081745.tif 000026
【図１４】
0004081745.tif 000027
【図１５】
0004081745.tif 000028
【図１６】
0004081745.tif 000029
【図１７】
0004081745.tif 000030
【図１８】
0004081745.tif 000031
【図１９】
0004081745.tif 000032
【図２０】
0004081745.tif 000033
【図２１】
0004081745.tif 000034
【図２２】
0004081745.tif 000035
【図２３】
0004081745.tif 000036
【図２４】
0004081745.tif 000037
【図２５】
0004081745.tif 000038