(57)【特許請求の範囲】
【請求項１】
所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号装置において、
上記第１の解像度の画像圧縮情報を、輝度信号に関する画像圧縮情報と色差信号に関する画像圧縮情報とに分離する信号分離手段と、
直交変換がされ上記信号分離手段により分離された輝度信号に関する画像圧縮情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換手段と、
上記第１の逆直交変換手段により逆直交変換がされた輝度信号に関する第１の変換画像情報と動き補償がされた第１の参照画像情報とを加算して、上記動画像情報を出力する第１の加算手段と、
上記第１の加算手段から出力される動画像情報を参照画像情報として記憶する第１の記憶手段と、
飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第１の動き補償手段と、
順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償手段と、
飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記信号分離手段により分離された色差信号に関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第２の逆直交変換手段と、
順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記信号分離手段により分離された色差信号に関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第３の逆直交変換手段と、
上記第２の逆直交変換手段又は第３の逆直交変換手段により逆直交変換がされた色差信号に関する画像圧縮情報と動き補償がされた第２の参照画像情報とを加算して、上記動画像情報を出力する第２の加算手段と、
上記第２の加算手段から出力される動画像情報を記憶する第２の記憶手段とを備え、
上記第１の逆直交変換手段は、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、
上記第２の逆直交変換手段は、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、
上記第３の逆直交変換手段は、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち、低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドを合成することを特徴とする画像復号装置。
【請求項２】
上記第２の逆直交変換手段は、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、
上記第３の逆直交変換手段は、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成することを特徴とする請求項１記載の画像復号装置。
【請求項３】
所定の画素ブロック（マクロブロック）単位で動き補償をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号装置において、
上記第１の解像度の画像圧縮情報のピクチャタイプを解析し、当該第１の解像度の画像圧縮情報を、Ｉピクチャ及びＰピクチャに関する画像圧縮情報とＢピクチャに関する画像圧縮情報とに分離するピクチャタイプ分離手段と、
直交変換がされ上記ピクチャタイプ分離手段により分離された上記Ｉピクチャ及びＰピクチャの画像情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換手段と、
上記第１の逆直交変換手段により逆直交変換がされたＩピクチャ及びＰピクチャに関する画像圧縮情報と動き補償がされた参照画像情報とを加算して、上記動画像情報を出力する第１の加算手段と、
上記第１の加算手段から出力される上記動画像情報を参照画像情報として記憶する第１の記憶手段と、
飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマルチブロックに対して動き補償をする第１の動き補償手段と、
順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償手段と、
飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記ピクチャタイプ分離手段により分離された上記Ｂピクチャに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第２の逆直交変換手段と、
順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記ピクチャタイプ分離手段により分離された上記Ｂピクチャに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第３の逆直交変換手段と、
上記第２の逆直交変換手段又は上記第３の逆直交変換手段により逆直交変換がされたＢピクチャに関する画像圧縮情報と動き補償がされた参照画像情報とを加算して、動画像情報を出力する第２の加算手段と、
上記第２の加算手段から出力される動画像情報を記憶する第２の記憶手段とを備え、
上記第１の逆直交変換手段は、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、
上記第２の逆直交変換手段は、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、
上記第３の逆直交変換手段は、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち、低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドを合成することを特徴とする画像復号装置。
【請求項４】
上記第２の逆直交変換手段は、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、
上記第３の逆直交変換手段は、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成することを特徴とする請求項３記載の画像復号装置。
【請求項５】
所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号装置において、
上記第１の解像度の画像圧縮情報のピクチャタイプを解析し、当該第１の解像度の画像圧縮情報を、Ｉピクチャ及びＰピクチャに関する画像圧縮情報とＢピクチャに関する画像圧縮情報とに分離するピクチャタイプ分離手段と、
上記第１の解像度の画像圧縮情報を、輝度信号に関する画像圧縮情報と色差信号に関する画像圧縮情報とに分離する信号分離手段と、
直交変換がされ上記ピクチャタイプ分離手段及び信号分離手段により分離された上記Ｉピクチャ及びＰピクチャの輝度信号に関する画像圧縮情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換手段と、
上記第１の逆直交変換手段により逆直交変換がされたＩピクチャ及びＰピクチャの輝度信号に関する画像圧縮情報と動き補償がされた第１の参照画像情報とを加算して、上記動画像情報を出力する第１の加算手段と、
上記第１の加算手段から出力される上記動画像情報を参照画像情報として記憶する第１の記憶手段と、
飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第１の動き補償手段と、
線順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償手段と、
飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記ピクチャタイプ分離手段及び信号分離手段により分離された上記Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第２の逆直交変換手段と、
順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記ピクチャタイプ分離手段及び信号分離手段により分離された上記Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第３の逆直交変換手段と、
上記第２の逆直交変換手段又は上記第３の逆直交変換手段により逆直交変換がされたＩピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報と動き補償がされた第２の参照画像情報とを加算して、動画像情報を出力する第２の加算手段と、
上記第２の加算手段から出力される動画像情報を参照画像情報として記憶する第２の記憶手段とを備え、
上記第１の逆直交変換手段は、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、
上記第２の逆直交変換手段は、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、
上記第３の逆直交変換手段は、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドとを合成することを特徴とする画像復号装置。
【請求項６】
上記第２の逆直交変換手段は、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、上記第３の逆直交変換手段は、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成することを特徴とする請求項５記載の画像復号装置。
【請求項７】
所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号方法において、
上記第１の解像度の画像圧縮情報を、輝度信号に関する画像圧縮情報と色差信号に関する画像圧縮情報とに分離する信号分離ステップと、
直交変換がされ上記信号分離ステップで分離された輝度信号に関する画像圧縮情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換ステップと、
上記第１の逆直交変換ステップで逆直交変換がされた輝度信号に関する第１の変換画像情報と動き補償がされた第１の参照画像情報とを加算して、上記動画像情報を出力する第１の加算ステップと、
上記第１の加算ステップで出力される動画像情報を参照画像情報として記憶する第１の記憶ステップと、
飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第１の動き補償ステップと、
順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償ステップと、
飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記信号分離ステップで分離された色差信号に関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第２の逆直交変換ステップと、
順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記信号分離ステップで分離された色差信号に関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第３の逆直交変換ステップと、
上記第２の逆直交変換ステップ又は第３の逆直交変換ステップで逆直交変換がされた色差信号に関する画像圧縮情報と動き補償がされた第２の参照画像情報とを加算して、上記動画像情報を出力する第２の加算ステップと、
上記第２の加算ステップで出力される動画像情報を記憶する第２の記憶ステップとを有し、
上記第１の逆直交変換ステップでは、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、
上記第２の逆直交変換ステップでは、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、
上記第３の逆直交変換ステップでは、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち、低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドを合成することを特徴とする画像復号方法。
【請求項８】
上記第２の逆直交変換ステップでは、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、
上記第３の逆直交変換ステップでは、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成することを特徴とする請求項７記載の画像復号方法。
【請求項９】
所定の画素ブロック（マクロブロック）単位で動き補償をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号方法において、
上記第１の解像度の画像圧縮情報のピクチャタイプを解析し、当該第１の解像度の画像圧縮情報を、Ｉピクチャ及びＰピクチャに関する画像圧縮情報とＢピクチャに関する画像圧縮情報とに分離するピクチャタイプ分離ステップと、
直交変換がされ上記ピクチャタイプ分離ステップで分離された上記Ｉピクチャ及びＰピクチャの画像情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換ステップと、
上記第１の逆直交変換ステップで逆直交変換がされたＩピクチャ及びＰピクチャに関する画像圧縮情報と動き補償がされた参照画像情報とを加算して、上記動画像情報を出力する第１の加算ステップと、
上記第１の加算ステップで出力される上記動画像情報を参照画像情報として記憶する第１の記憶ステップと、
飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマルチブロックに対して動き補償をする第１の動き補償ステップと、
順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償ステップと、
飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記ピクチャタイプ分離ステップで分離された上記Ｂピクチャに関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第２の逆直交変換ステップと、
順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記ピクチャタイプ分離ステップで分離された上記Ｂピクチャに関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第３の逆直交変換ステップと、
上記第２の逆直交変換ステップ又は上記第３の逆直交変換ステップで逆直交変換がされたＢピクチャに関する画像圧縮情報と動き補償がされた参照画像情報とを加算して、動画像情報を出力する第２の加算ステップと、
上記第２の加算ステップで出力される動画像情報を参照画像情報として記憶する第２の記憶ステップとを有し、
上記第１の逆直交変換ステップでは、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、
上記第２の逆直交変換ステップでは、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、
上記第３の逆直交変換ステップでは、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち、低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドを合成することを特徴とする画像復号方法。
【請求項１０】
上記第２の逆直交変換ステップでは、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、
上記第３の逆直交変換では、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成することを特徴とする請求項９記載の画像復号方法。
【請求項１１】
所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号方法において、
上記第１の解像度の画像圧縮情報のピクチャタイプを解析し、当該第１の解像度の画像圧縮情報を、Ｉピクチャ及びＰピクチャに関する画像圧縮情報とＢピクチャに関する画像圧縮情報とに分離するピクチャタイプ分離ステップと、
上記第１の解像度の画像圧縮情報を、輝度信号に関する画像圧縮情報と色差信号に関する画像圧縮情報とに分離する信号分離ステップと、
直交変換がされ上記ピクチャタイプ分離ステップ及び信号分離ステップで分離された上記Ｉピクチャ及びＰピクチャの輝度信号に関する画像圧縮情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換ステップと、
上記第１の逆直交変換ステップで逆直交変換がされたＩピクチャ及びＰピクチャの輝度信号に関する画像圧縮情報と動き補償がされた第１の参照画像情報とを加算して、上記動画像情報を出力する第１の加算ステップと、
上記第１の加算ステップで出力される上記動画像情報を参照画像情報として記憶する第１の記憶ステップと、
飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第１の動き補償ステップと、
順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償ステップと、
飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記ピクチャタイプ分離ステップ及び信号分離ステップで分離された上記Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第２の逆直交変換ステップと、
順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記ピクチャタイプ分離ステップ及び信号分離ステップで分離された上記Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第３の逆直交変換ステップと、
上記第２の逆直交変換ステップ又は上記第３の逆直交変換ステップで逆直交変換がされたＩピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報と動き補償がされた第２の参照画像情報とを加算して、動画像情報を出力する第２の加算ステップと、
上記第２の加算ステップで出力される動画像情報を参照画像情報として記憶する第２の記憶ステップとを有し、
上記第１の逆直交変換ステップは、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、
上記第２の逆直交変換ステップでは、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、
上記第３の逆直交変換ステップでは、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドとを合成することを特徴とする画像復号方法。
【請求項１２】
上記第２の逆直交変換ステップでは、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、上記第３の逆直交変換ステップでは、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成することを特徴とする請求項１１記載の画像復号方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換することによる圧縮符号化をした第１の解像度の画像圧縮情報を復号する画像復号装置及び画像復号方法に関し、特に、第１の解像度の画像圧縮情報を復号して、この第１の解像度よりも低い第２の解像度の動画像情報に縮小する画像復号装置及び画像復号方法に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ−２（Moving Picture Experts Group phase - 2）等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。このデジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。そのため、近年、高解像度画像の画像圧縮情報を復号するとともにこの画像圧縮情報を１／２の解像度等に縮小することにより、標準解像度画像の画像データを生成して、この画像データを標準解像度に対応したテレビジョンモニタに表示する画像復号装置が求められている。
【０００３】
高解像度画像に対して動き予測による予測符号化及び離散コサイン変換による圧縮符号化をしたＭＰＥＧ−２等のビットストリームを、復号するとともに標準解像度画像にダウンサンプリングする画像復号装置が、文献「低域ドリフトのないスケーラブル・デコーダ」（岩橋・神林・貴家：信学技報 CS94-186,DSP94-108,1995-01）に提案されている。以下、この文献に記載された従来の画像復号装置について図３７〜図３９を用いて説明する。
【０００４】
まず、従来の画像復号装置１００は、図３７に示すように、高解像度画像のビットストリームに対して８（水平方向のＤＣ成分から数えた係数の数）×８（垂直方向のＤＣ成分から数えた係数の数）の逆離散コサイン変換をする逆離散コサイン変換装置１０１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１０２と、参照画像を一時記憶するフレームメモリ１０３と、フレームメモリ１０３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１０４と、フレームメモリ１０３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１０５とを備えている。
【０００５】
この従来の画像復号装置１００では、逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１０５で縮小して標準解像度の画像データを出力する。
【０００６】
また、従来の画像復号装置１１０は、図３８に示すように、高解像度画像のビットストリームのＤＣＴ（Discrete Cosine Transform）ブロックの高周波成分の係数を０に置き換えて８×８の逆離散コサイン変換をする逆離散コサイン変換装置１１１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１１２と、参照画像を一時記憶するフレームメモリ１１３と、フレームメモリ１１３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１１４と、フレームメモリ１１３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１１５とを備えている。
【０００７】
この従来の画像復号装置１１０では、ＤＣＴブロックの全ての係数のうち高周波成分の係数を０に置き換えて逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１１５で縮小して標準解像度の画像データを出力する。
【０００８】
さらに、従来の画像復号装置１２０は、図３９に示すように、高解像度画像のビットストリームのＤＣＴブロックの低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像に復号する縮小逆離散コサイン変換装置１２１と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１２２と、参照画像を一時記憶するフレームメモリ１２３と、フレームメモリ１２３が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１２４とを備えている。
【０００９】
この従来の画像復号装置１２０では、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換を行い、高解像度画像から標準解像度画像として復号する。
【００１０】
ここで、従来の画像復号装置１００では、ＤＣＴブロック内の全ての係数に対して逆離散コサイン変換を行い高解像度画像を復号しているため、高い演算処理能力の逆離散コサイン変換装置１０１と高容量のフレームメモリ１０３とが必要となる。また、従来の画像復号装置１１０では、ＤＣＴブロック内の係数のうち高周波成分を０として離散コサイン変換を行い高解像度画像を復号しているため、逆離散コサイン変換装置１１１の演算処理能力は低くて良いが、やはり高容量のフレームメモリ１１３が必要となる。これらの従来の画像復号装置１００及び画像復号装置１１０に対して、従来の画像復号装置１２０では、ＤＣＴブロック内の全ての係数うち低周波成分の係数のみを用いて逆離散コサイン変換をしているため逆離散コサイン変換装置１２１の演算処理能力が低くてよく、さらに、標準解像度画像の参照画像を復号しているのでフレームメモリ１２３の容量も少なくすることができる。
【００１１】
ところで、テレビジョン放送等の動画像の表示方式には、順次走査方式と飛び越し走査方式とがある。順次走査方式は、フレーム内の全ての画素を同じタイミングでサンプリングした画像を、順次表示する表示方式である。飛び越し走査方式は、フレーム内の画素を水平方向の１ライン毎に異なるタイミングでサンプリングした画像を、交互に表示する表示方式である。
【００１２】
この飛び越し走査方式では、フレーム内の画素を１ライン毎に異なるタイミングでサンプリングした画像のうちの一方を、トップフィールド（第１フィールドともいう。）といい、他方をボトムフィールド（第２のフィールドともいう。）という。フレームの水平方向の先頭ラインが含まれる画像がトップフィールドとなり、フレームの水平方向の２番目のラインが含まれる画像がボトムフィールドとなる。従って、飛び越し走査方式では、１つのフレームが２つのフィールドから構成されることとなる。
【００１３】
ＭＥＰＧ２では、飛び越し走査方式に対応した動画像信号を効率良く圧縮するため、画面の圧縮単位であるピクチャにフレームを割り当てて符号化するだけでなく、ピクチャにフィールドを割り当てて符号化することもできる。
【００１４】
また、ＭＰＥＧ−２では、ピクチャにフィールドが割り当てられた場合には、そのビットストリームの構造をフィールド構造と呼び、ピクチャにフレームが割り当てられた場合には、そのビットストリームの構造をフレーム構造と呼ぶ。ここで、フィールド構造では、フィールド内の画素からＤＣＴブロックが形成され、フィールド単位で離散コサイン変換がされる。このフィールド単位で離散コサイン変換を行う処理モードのことをフィールドＤＣＴモードと呼ぶ。また、フレーム構造では、フレーム内の画素からＤＣＴブロックが形成され、フレーム単位で離散コサイン変換がされる。このフレーム単位で離散コサイン変換を行う処理モードのことをフレームＤＣＴモードと呼ぶ。さらに、フィールド構造では、フィールド内の画素からマクロブロックが形成され、フィールド単位で動き予測がされる。このフィールド単位で動き予測を行う処理モードのことをフィールド動き予測モードと呼ぶ。また、フレーム構造では、フレーム内の画素からマクロブロックが形成され、フレーム単位で動き予測がされる。フレーム単位で動き予測を行う処理モードのことをフレーム動き予測モードと呼ぶ。
【００１５】
【発明が解決しようとする課題】
ところで、上述した従来の画像復号装置１２０は、入力された高解像度画像のビットストリームを復号するとともに標準解像度画像にダウンサンプリングするため、入力された高解像度画像のビットストリームに対して、水平方向及び垂直方向の低域成分のみを用いて逆離散コサイン変換を行っている。しかし、入力されるビットストリームが飛び越し走査のものである場合には、垂直方向に高域成分を持つエッジ・細線において顕著に画質劣化を生じることがある。特に、ＭＰＥＧ等において参照画像を使用する場合には、この画質劣化が伝播し、ドリフトノイズとして顕著に劣化が現れてしまう。具体例として、図４０に、ＨＤテストシーケンス”開会式”（１９２０×１０８８画素、飛び越し走査、３０Ｈｚ）を１８Ｍｂｐｓに圧縮したビットストリームを、従来の画像復号装置で復号化した時の所定のＢピクチャによる出力画像を示す。
【００１６】
本発明は、このような実情を鑑みてなされたものであり、飛び越し走査画像が有するインタレース性に起因する出力される画像情報の画質劣化と、飛び越し走査に起因したドリフトノイズによる画質劣化を防止する画像復号装置及び画像復号方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号装置において、上記第１の解像度の画像圧縮情報を、輝度信号に関する画像圧縮情報と色差信号に関する画像圧縮情報とに分離する信号分離手段と、直交変換がされ上記信号分離手段により分離された輝度信号に関する画像圧縮情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換手段と、上記第１の逆直交変換手段により逆直交変換がされた輝度信号に関する第１の変換画像情報と動き補償がされた第１の参照画像情報とを加算して、上記動画像情報を出力する第１の加算手段と、上記第１の加算手段から出力される動画像情報を参照画像情報として記憶する第１の記憶手段と、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第１の動き補償手段と、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償手段と、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記信号分離手段により分離された色差信号に関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第２の逆直交変換手段と、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記信号分離手段により分離された色差信号に関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第３の逆直交変換手段と、上記第２の逆直交変換手段又は第３の逆直交変換手段により逆直交変換がされた色差信号に関する画像圧縮情報と動き補償がされた第２の参照画像情報とを加算して、上記動画像情報を出力する第２の加算手段と、上記第２の加算手段から出力される動画像情報を記憶する第２の記憶手段とを備え、上記第１の逆直交変換手段は、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、上記第２の逆直交変換手段は、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、上記第３の逆直交変換手段は、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち、低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドを合成することを特徴とする。
【００２０】
この画像復号装置において、上記第２の逆直交変換手段は、例えば、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、また、上記第３の逆直交変換手段は、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成する。
【００２１】
さらに、本発明は、所定の画素ブロック（マクロブロック）単位で動き補償をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号装置において、上記第１の解像度の画像圧縮情報のピクチャタイプを解析し、当該第１の解像度の画像圧縮情報を、Ｉピクチャ及びＰピクチャに関する画像圧縮情報とＢピクチャに関する画像圧縮情報とに分離するピクチャタイプ分離手段と、直交変換がされ上記ピクチャタイプ分離手段により分離された上記Ｉピクチャ及びＰピクチャの画像情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換手段と、上記第１の逆直交変換手段により逆直交変換がされたＩピクチャ及びＰピクチャに関する画像圧縮情報と動き補償がされた参照画像情報とを加算して、上記動画像情報を出力する第１の加算手段と、上記第１の加算手段から出力される上記動画像情報を参照画像情報として記憶する第１の記憶手段と、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマルチブロックに対して動き補償をする第１の動き補償手段と、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償手段と、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記ピクチャタイプ分離手段により分離された上記Ｂピクチャに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第２の逆直交変換手段と、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記ピクチャタイプ分離手段により分離された上記Ｂピクチャに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第３の逆直交変換手段と、上記第２の逆直交変換手段又は上記第３の逆直交変換手段により逆直交変換がされたＢピクチャに関する画像圧縮情報と動き補償がされた参照画像情報とを加算して、動画像情報を出力する第２の加算手段と、上記第２の加算手段から出力される動画像情報を記憶する第２の記憶手段とを備え、上記第１の逆直交変換手段は、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、上記第２の逆直交変換手段は、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、上記第３の逆直交変換手段は、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち、低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドを合成することを特徴とする。
【００２２】
この画像復号装置では、上記第２の逆直交変換手段は、例えば、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、上記第３の逆直交変換手段は、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成する。
【００２３】
さらにまた、本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号装置において、上記第１の解像度の画像圧縮情報のピクチャタイプを解析し、当該第１の解像度の画像圧縮情報を、Ｉピクチャ及びＰピクチャに関する画像圧縮情報とＢピクチャに関する画像圧縮情報とに分離するピクチャタイプ分離手段と、上記第１の解像度の画像圧縮情報を、輝度信号に関する画像圧縮情報と色差信号に関する画像圧縮情報とに分離する信号分離手段と、直交変換がされ上記ピクチャタイプ分離手段及び信号分離手段により分離された上記Ｉピクチャ及びＰピクチャの輝度信号に関する画像圧縮情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換手段と、上記第１の逆直交変換手段により逆直交変換がされたＩピクチャ及びＰピクチャの輝度信号に関する画像圧縮情報と動き補償がされた第１の参照画像情報とを加算して、上記動画像情報を出力する第１の加算手段と、上記第１の加算手段から出力される上記動画像情報を参照画像情報として記憶する第１の記憶手段と、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第１の動き補償手段と、線順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償手段と、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記ピクチャタイプ分離手段及び信号分離手段により分離された上記Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第２の逆直交変換手段と、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記ピクチャタイプ分離手段及び信号分離手段により分離された上記Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第３の逆直交変換手段と、上記第２の逆直交変換手段又は上記第３の逆直交変換手段により逆直交変換がされたＩピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報と動き補償がされた第２の参照画像情報とを加算して、動画像情報を出力する第２の加算手段と、上記第２の加算手段から出力される動画像情報を参照画像情報として記憶する第２の記憶手段とを備え、上記第１の逆直交変換手段は、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、上記第２の逆直交変換手段は、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、上記第３の逆直交変換手段は、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドとを合成することを特徴とする。
【００２４】
この画像復号装置では、上記第２の逆直交変換手段は、例えば、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、上記第３の逆直交変換手段は、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成する。
【００２９】
さらにまた、本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号方法において、上記第１の解像度の画像圧縮情報を、輝度信号に関する画像圧縮情報と色差信号に関する画像圧縮情報とに分離する信号分離ステップと、直交変換がされ上記信号分離ステップで分離された輝度信号に関する画像圧縮情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換ステップと、上記第１の逆直交変換ステップで逆直交変換がされた輝度信号に関する第１の変換画像情報と動き補償がされた第１の参照画像情報とを加算して、上記動画像情報を出力する第１の加算ステップと、上記第１の加算ステップで出力される動画像情報を参照画像情報として記憶する第１の記憶ステップと、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第１の動き補償ステップと、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償ステップと、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記信号分離ステップで分離された色差信号に関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第２の逆直交変換ステップと、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記信号分離ステップで分離された色差信号に関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第３の逆直交変換ステップと、上記第２の逆直交変換ステップ又は第３の逆直交変換ステップで逆直交変換がされた色差信号に関する画像圧縮情報と動き補償がされた第２の参照画像情報とを加算して、上記動画像情報を出力する第２の加算ステップと、上記第２の加算ステップで出力される動画像情報を記憶する第２の記憶ステップとを有し、上記第１の逆直交変換ステップでは、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、上記第２の逆直交変換ステップでは、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、上記第３の逆直交変換ステップでは、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち、低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドを合成することを特徴とする。
【００３０】
この画像復号方法では、上記第２の逆直交変換ステップでは、例えば、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、上記第３の逆直交変換ステップでは、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成する。
【００３１】
さらにまた、本発明は、所定の画素ブロック（マクロブロック）単位で動き補償をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号方法において、上記第１の解像度の画像圧縮情報のピクチャタイプを解析し、当該第１の解像度の画像圧縮情報を、Ｉピクチャ及びＰピクチャに関する画像圧縮情報とＢピクチャに関する画像圧縮情報とに分離するピクチャタイプ分離ステップと、直交変換がされ上記ピクチャタイプ分離ステップで分離された上記Ｉピクチャ及びＰピクチャの画像情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換ステップと、上記第１の逆直交変換ステップで逆直交変換がされたＩピクチャ及びＰピクチャに関する画像圧縮情報と動き補償がされた参照画像情報とを加算して、上記動画像情報を出力する第１の加算ステップと、上記第１の加算ステップで出力される上記動画像情報を参照画像情報として記憶する第１の記憶ステップと、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマルチブロックに対して動き補償をする第１の動き補償ステップと、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償ステップと、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記ピクチャタイプ分離ステップで分離された上記Ｂピクチャに関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第２の逆直交変換ステップと、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記ピクチャタイプ分離ステップで分離された上記Ｂピクチャに関する画像圧縮情報の直交変換ブロックに対して逆直交変換をする第３の逆直交変換ステップと、上記第２の逆直交変換ステップ又は上記第３の逆直交変換ステップで逆直交変換がされたＢピクチャに関する画像圧縮情報と動き補償がされた参照画像情報とを加算して、動画像情報を出力する第２の加算ステップと、上記第２の加算ステップで出力される動画像情報を参照画像情報として記憶する第２の記憶ステップとを有し、上記第１の逆直交変換ステップでは、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、上記第２の逆直交変換ステップでは、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、上記第３の逆直交変換ステップでは、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち、低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドを合成することを特徴とする。
【００３２】
この画像復号方法では、上記第２の逆直交変換ステップでは、例えば、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、上記第３の逆直交変換では、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成する。
【００３３】
さらにまた、本発明は、所定の画素ブロック（マクロブロック）単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック（直交変換ブロック）単位で直交変換をすることによる圧縮符号化をした第１の解像度の画像圧縮情報から、上記第１の解像度より低い第２の解像度の動画像情報を復号する画像復号方法において、上記第１の解像度の画像圧縮情報のピクチャタイプを解析し、当該第１の解像度の画像圧縮情報を、Ｉピクチャ及びＰピクチャに関する画像圧縮情報とＢピクチャに関する画像圧縮情報とに分離するピクチャタイプ分離ステップと、上記第１の解像度の画像圧縮情報を、輝度信号に関する画像圧縮情報と色差信号に関する画像圧縮情報とに分離する信号分離ステップと、直交変換がされ上記ピクチャタイプ分離ステップ及び信号分離ステップで分離された上記Ｉピクチャ及びＰピクチャの輝度信号に関する画像圧縮情報の直交変換ブロックの各係数に対して逆直交変換をする第１の逆直交変換ステップと、上記第１の逆直交変換ステップで逆直交変換がされたＩピクチャ及びＰピクチャの輝度信号に関する画像圧縮情報と動き補償がされた第１の参照画像情報とを加算して、上記動画像情報を出力する第１の加算ステップと、上記第１の加算ステップで出力される上記動画像情報を参照画像情報として記憶する第１の記憶ステップと、飛び越し走査に対応した動き予測方式（フィールド動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第１の動き補償ステップと、順次走査に対応した動き予測方式（フレーム動き予測モード）により動き予測がされた参照画像情報のマクロブロックに対して動き補償をする第２の動き補償ステップと、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされ上記ピクチャタイプ分離ステップ及び信号分離ステップで分離された上記Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第２の逆直交変換ステップと、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされ上記ピクチャタイプ分離ステップ及び信号分離ステップで分離された上記Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報の直交変換ブロックに対して、逆直交変換をする第３の逆直交変換ステップと、上記第２の逆直交変換ステップ又は上記第３の逆直交変換ステップで逆直交変換がされたＩピクチャ及びＰピクチャの色差信号とＢピクチャとに関する画像圧縮情報と動き補償がされた第２の参照画像情報とを加算して、動画像情報を出力する第２の加算ステップと、上記第２の加算ステップで出力される動画像情報を参照画像情報として記憶する第２の記憶ステップとを有し、上記第１の逆直交変換ステップは、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、上記第２の逆直交変換ステップでは、水平方向及び垂直方向の低域の４係数に対して逆直交変換をし、上記第３の逆直交変換ステップでは、全周波数成分の係数に対して逆直交変換をし、逆直交変換をして得られた直交変換ブロックを飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち低周波成分の係数に対して逆直交変換をし、逆直交変換をして得られたトップフィールドとボトムフィールドとを合成することを特徴とする。
【００３４】
この画像復号方法では、上記第２の逆直交変換ステップでは、例えば、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分の位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、上記第３の逆直交変換ステップでは、逆直交変換をして得られたトップフィールドの各画素の垂直方向に対して１／４画素分位相補正をし、逆直交変換をして得られたボトムフィールドの各画素の垂直方向に対して３／４画素分の位相補正をし、位相補正をしたトップフィールドとボトムフィールドとを合成する。
【００３７】
【発明の実施の形態】
以下、本発明を適用した第１の実施の形態について、図面を参照しながら説明する。
【００３８】
本発明を適用した第１の実施の形態である画像復号装置は、例えば、垂直方向の有効ライン数が１１５２本の高解像度画像である飛び越し走査画像をＭＰＥＧ−２（Moving Picture Experts Group phase - 2）で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が５７６本の標準解像度画像を出力する装置である。本発明を適用した第１の実施の形態である画像復号装置を図１に示す。
【００３９】
なお、ＭＰＥＧ−２は、例えば、飛び越し走査画像及び順次走査画像、並びに、標準解像度画像及び高解像度画像の双方に対応した画像情報の圧縮方式である。また、以下、本発明の実施の形態の説明をするにあたり、高解像度画像のことを上位レイヤーとも呼び、標準解像度画像のことを下位レイヤーとも呼ぶものとする。さらに、一般に、８×８の離散コサイン係数を有するＤＣＴブロックを逆離散コサイン変換した場合には８×８の画素から構成される復号データを得ることができるが、例えば、８×８の離散コサイン係数を復号して４×４の画素から構成される復号データを得るような、逆離散コサイン変換をするとともに解像度を縮小する処理を、縮小逆離散コサイン変換という。
【００４０】
画像復号装置１は、この図１に示すように、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析する圧縮情報解析装置２と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長復号装置３と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置４と、離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成する縮小逆離散コサイン変換装置５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置６と、参照画像を一時記憶するフレームメモリ７と、フレームメモリ７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置８と、フレームメモリ７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置９と、フレームメモリ７が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置１０とを備えている。
【００４１】
圧縮情報解析装置２は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、入力された高解像度画像のビットストリームの中から後述する各処理に必要な情報を抽出し、この抽出した情報（以下、解析結果情報という。）を上記入力されたビットストリームとともに可変長復号装置３に供給する。
【００４２】
可変長復号装置３は、圧縮情報解析装置２から供給されたビットストリームのイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号装置３は、圧縮情報解析装置２により抽出された解析結果情報に含まれる走査方式に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号装置３は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置４に供給する。
【００４３】
逆量子化装置４は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置４は、この逆量子化された離散コサイン変換係数を、縮小逆離散コサイン変換装置５に供給する。
【００４４】
縮小逆離散コサイン変換装置５は、離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図２で示すような、水平方向の低域の４係数及び垂直方向の８係数に逆離散コサイン変換を行う。即ち、縮小逆離散コサイン変換装置５は、水平方向の低域の４点及び垂直方向の８点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。具体的には、縮小逆離散コサイン変換装置５は、図３に示すように、入力された逆量子化済の８×８のＤＣＴ係数Ｃに対して、４次の逆ＤＣＴ行列の転置行列ｉＤ4tと４×４の零行列Ｏ4とからなる水平方向のＤＣＴを実行する４×８の行列と、８次の逆ＤＣＴ行列ｉＤ8からなる垂直方向のＤＣＴを実行する８×８の行列とを用いて、縮小逆離散コサイン変換を行うことにより、４×８の復号された画素データを得る。この縮小逆離散コサイン変換装置５では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×８の画素から構成される標準解像度画像を復号することができる。なお、縮小逆離散コサイン変換装置５は、水平方向及び垂直方向に対して後述する高速アルゴリズムを用いて処理してもよい。
【００４５】
加算装置６は、縮小逆離散コサイン変換装置５により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ７に格納する。また、加算装置６は、縮小逆離散コサイン変換装置５により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置８或いはフレームモード用動き補償装置９により動き補償がされた参照画像を合成して、フレームメモリ７に格納する。
【００４６】
フレームメモリ７のメモリ容量は、縮小逆離散コサイン変換装置５において水平方向の解像度が１／２に間引かれるため、圧縮情報解析装置２に入力されるビットストリームが保持する解像度の１／２あればよい。
【００４７】
フィールドモード用動き補償装置８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。このフィールドモード用動き補償装置８は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【００４８】
一方、水平方向については、フィールドモード用動き補償装置８は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。これは、縮小逆離散コサイン変換装置５において、入力されるビットストリームの解像度が１／２に間引かれるためである。
【００４９】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ７から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【００５０】
フィールドモード用動き補償装置８は、このような処理を行うことにより、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置８により動き補償がされた参照画像は、加算装置６に供給され、インター画像に合成される。
【００５１】
フレームモード用動き補償装置９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。このフレームモード用動き補償装置９は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【００５２】
一方、水平方向については、フレームモード用動き補償装置９は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。
【００５３】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ７から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【００５４】
フレームモード用動き補償装置９は、このような処理を行うことにより、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置９により動き補償がされた参照画像は、加算装置６に供給され、インター画像に合成される。
【００５５】
画枠変換装置１０は、フレームメモリ７が記憶した標準解像度の参照画像或いは加算装置６が合成した画像が供給され、この画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。例えば、縮小逆離散コサイン変換装置５は、画枠が１９２０画素×１０８０画素のビットストリームが入力された場合には、当該ビットストリームに対して４×８の逆離散コサイン変換を行い、画枠が９６０画素×５４０画素のビットストリームを生成して画枠変換装置１０に供給する。そして、画枠変換装置１０は、この生成したビットストリームを例えばアスペクト比が１６：９のディスプレイに表示する場合には、上記画枠が９６０画素×５４０画素のビットストリームを、画枠が７２０画素×４８０画素のビットストリームに変換する。従って、この場合、画枠変換装置１０は、画枠が９６０画素×５４０画素のビットストリームに対して、水平の画素数を３／４に、垂直の画素数を４／９に削減しなければならない。ここで、垂直方向において、画枠変換装置１０により入力画素数が４／９に削減された出力画素がトップフィールド及びボトムフィールドのそれぞれに配置された入力画素と出力画素との位相の関係を示す図を、図４に示す。この図４に示すように、垂直方向の入力画素については、トップフィールドの各画素の垂直方向の位相が０、１、２、・・・となり、ボトムフィールドの各画素の垂直方向の位相が１／２、５／２、・・・となる。また、補間されて生成される垂直方向の出力画素については、トップフィールドの各画素の垂直方向の位相が０−５／１６、１＋５／１６、・・・となり、ボトムフィールドの各画素の垂直方向の位相が０＋５／１６、２＋９／１６、・・・となる。また、画枠変換装置１０は、高解像度のテレビジョン規格の画枠を、１／４に縮小して標準解像度のテレビジョン規格の画枠に変換する。
【００５６】
以上のように構成された画像復号装置１では、高解像度画像をＭＰＥＧ−２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力する。
【００５７】
つぎに、フィールドモード用動き補償装置８及びフレームモード用動き補償装置９について、さらに詳細に説明する。
【００５８】
まず、フィールドモード用動き補償装置８が行う補間処理について説明する。このフィールドモード用動き補償装置８では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【００５９】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フィールドモード用動き補償装置８は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フィールドモード用動き補償装置８では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置８では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置８では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【００６０】
垂直方向の画素に対しては、まず、図５（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ７から取り出す。
【００６１】
続いて、垂直方向の画素に対しては、図５（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ７から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図５（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【００６２】
続いて、垂直方向の画素に対しては、図５（ｃ）に示すように、線形補間フィルタを用いて、フィールド内で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。すなわち、トップフィールドの１／２画素精度の画素に基づきトップフィールドの１／４画素精度の画素を生成し、ボトムフィールドの１／２画素精度の画素に基づきボトムフィールドの１／４画素精度の画素を生成する。例えば、この図５（ｃ）に示すように、垂直方向の位相が９／４の位置にあるトップフィールドの画素は、２，５／２の位置にあるトップフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が１０／４の位置にあるボトムフィールドの画素は、９／４，１１／４の位置にあるボトムフィールドの画素から線形補間をされて生成される。
【００６３】
このように垂直方向の補間を行うことによりフィールドモード用動き補償装置８では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置８では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置８では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【００６４】
つぎに、フレームモード用動き補償装置９が行う補間処理について説明する。このフレームモード用動き補償装置９では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【００６５】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フレームモード用動き補償装置９は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フレームモード用動き補償装置９では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフレームモード用動き補償装置９では、高速な処理を行うことができる。また、このフレームモード用動き補償装置９では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【００６６】
垂直方向の画素に対しては、まず、図６（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ７から取り出す。
【００６７】
続いて、垂直方向の画素に対しては、図６（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ７から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図６（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【００６８】
続いて、垂直方向の画素に対しては、図６（ｃ）に示すように、線形補間フィルタを用いて、トップフィールドとボトムフィールドの２つのフィールド間で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。例えば、この図６（ｃ）に示すように、垂直方向の位相が１／４の位置にある画素は、０の位置にあるトップフィールドの画素と、１／２の位置にあるボトムフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が３／４の位置にある画素は、１／２の位置にあるボトムフィールドの画素と１の位置にあるトップフィールドの画素から線形補間をされて生成される。
【００６９】
このように垂直方向の補間を行うことによりフレームモード用動き補償装置９では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置８では、高速な処理を行うことができる。また、トップフィールドとボトムフィールドとの間で位相ずれが生じず、いわゆるフィールド反転やフィールドミックスを防ぐことができ、画質の劣化を防止することができる。また、このフレームモード用動き補償装置９では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【００７０】
以上のように、本発明を適用した第１の実施の形態である画像情報変換装置１では、ＤＣＴブロックの水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因する画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【００７１】
なお、上述した画像情報変換装置１では、ＭＰＥＧ−２によるビットストリームが入力されているが、直交変換と動き補償によって符号化されたビットストリームであれば、例えばＭＰＥＧ−１やＨ．２６３等のようなビットストリームが入力されてもよい。
【００７２】
つぎに、本発明を適用した第２の実施の形態について、図面を参照しながら説明する。
【００７３】
本発明を適用した第２の実施の形態である画像復号装置も、上述した第１の実施の形態である画像復号装置１と同様に、例えば、垂直方向の有効ライン数が１１５２本の高解像度画像である飛び越し走査画像をＭＰＥＧ−２（Moving Picture Experts Group phase - 2）で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が５７６本の標準解像度画像を出力する装置である。本発明を適用した第２の実施の形態である画像復号装置を図７に示す。
【００７４】
なお、この画像復号装置２０を説明するにあたり、上記第１の実施の形態である画像復号装置１と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【００７５】
画像復号装置２０は、この図７に示すように、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析する圧縮情報解析装置２と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長復号装置３と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置４と、逆量子化された離散コサイン変換係数を輝度信号と色差信号とに分離する輝度信号・色差信号分離装置２１と、分離された輝度信号の方の離散コサイン変換済のＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成する縮小逆離散コサイン変換装置２２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置２３と、参照画像を一時記憶するフレームメモリ２４と、フレームメモリ２４が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置２５と、フレームメモリ２４が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置２６と、分離された色差信号の方のフィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置２７と、分離された色差信号の方のフレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置２８と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置２９と、参照画像を一時記憶するフレームメモリ３０と、フレームメモリ３０が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置３１と、フレームメモリ３０が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置３２と、フレームメモリ２４及びフレームメモリ３０が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置３３とを備えている。
【００７６】
輝度信号・色差信号分離装置２１は、逆量子化装置４によって逆量子化された離散コサイン変換係数を、輝度信号の分の離散コサイン変換係数と色差信号の分の離散コサイン変換係数とに分離する。そして、輝度信号・色差信号分離装置２１は、輝度信号の分の離散コサイン変換係数を縮小逆離散コサイン変換装置２２に供給し、色差信号の分の離散コサイン変換係数をフィールドモード用縮小逆離散コサイン変換装置２７又はフレームモード用縮小逆離散コサイン変換装置２８に供給する。
【００７７】
縮小逆離散コサイン変換装置２２は、輝度信号の分の離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図２で示すような、水平方向の低域の４係数及び垂直方向の８係数に逆離散コサイン変換を行う。即ち、縮小逆離散コサイン変換装置２２は、水平方向の低域の４点及び垂直方向の８点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。具体的には、縮小逆離散コサイン変換装置２２は、図３に示すように、入力された輝度信号の分の逆量子化済の８×８のＤＣＴ係数Ｃに対して、４次の逆ＤＣＴ行列の転置行列ｉＤ4tと４×４の零行列Ｏ4とからなる水平方向のＤＣＴを実行する４×８の行列と、８次の逆ＤＣＴ行列ｉＤ8からなる垂直方向のＤＣＴを実行す
る８×８の行列とを用いて、縮小逆離散コサイン変換を行うことにより、４×８の復号された画素データを得る。この縮小逆離散コサイン変換装置２２では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×８の画素から構成される標準解像度画像を復号することができる。
【００７８】
加算装置２３は、縮小逆離散コサイン変換装置２２により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ２４に格納する。また、加算装置２３は、縮小逆離散コサイン変換装置２２により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置２５或いはフレームモード用動き補償装置２６により動き補償がされた参照画像を合成して、フレームメモリ２４に格納する。
【００７９】
フレームメモリ２４のメモリ容量は、縮小逆離散コサイン変換装置２２において水平方向の解像度が１／２に間引かれるため、圧縮情報解析装置２に入力されるビットストリームが保持する解像度の１／２あればよい。
【００８０】
フィールドモード用動き補償装置２５は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。このフィールドモード用動き補償装置２５は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ２４に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【００８１】
一方、水平方向については、フィールドモード用動き補償装置２５は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ２４に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。これは、縮小逆離散コサイン変換装置２２において解像度が１／２に間引かれるためである。
【００８２】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ２４から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【００８３】
フィールドモード用動き補償装置２５は、このような処理を行うことにより、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置２５により動き補償がされた参照画像は、加算装置２３に供給され、インター画像に合成される。
【００８４】
フレームモード用動き補償装置２６は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。このフレームモード用動き補償装置２６は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ２４に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【００８５】
一方、水平方向については、フレームモード用動き補償装置２６は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ２４に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。
【００８６】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ２４から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【００８７】
フレームモード用動き補償装置２６は、このような処理を行うことにより、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置２６により動き補償がされた参照画像は、加算装置２３に供給され、インター画像に合成される。
【００８８】
フィールドモード用縮小逆離散コサイン変換装置２７は、入力された色差信号の分のビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置２７は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。即ち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置２７では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図９に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。即ち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【００８９】
フレームモード用縮小逆離散コサイン変換装置２８は、入力された色差信号の分のビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置２８は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置２８では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置２７で生成した標準解像度画像の画素の位相と同位相の画像を生成する。即ち、フレームモード用縮小逆離散コサイン変換装置２８で復号された画像データの各画素の位相は、図９に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【００９０】
なお、このフレームモード用縮小逆離散コサイン変換装置２８の処理については、その詳細を後述する。
【００９１】
加算装置２９は、フィールドモード用縮小逆離散コサイン変換装置２７又はフレームモード用縮小逆離散コサイン変換装置２８により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ３０に格納する。また、加算装置２９は、フィールドモード用縮小逆離散コサイン変換装置２７又はフレームモード用縮小逆離散コサイン変換装置２８により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置３１或いはフレームモード用動き補償装置３２により動き補償がされた参照画像を合成して、フレームメモリ３０に格納する。
【００９２】
フレームメモリ３０のメモリ容量は、圧縮情報解析装置２に入力されるビットストリームが保持する解像度の１／４あればよい。
【００９３】
フィールドモード用動き補償装置３１は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置３１は、フレームメモリ３０に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置３１により動き補償がされた参照画像は、加算装置２９に供給され、インター画像に合成される。
【００９４】
フレームモード用動き補償装置３２は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置３２は、フレームメモリ３０に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置３２により動き補償がされた参照画像は、加算装置２９に供給され、インター画像に合成される。
【００９５】
画枠変換装置３３は、フレームメモリ２４が記憶した標準解像度の参照画像或いは加算装置２３が合成した画像と、フレームメモリ３０が記憶した標準解像度の参照画像或いは加算装置２９が合成した画像とが供給され、画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。
【００９６】
以上のように構成された画像復号装置１では、高解像度画像をＭＰＥＧ−２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力する。
【００９７】
つぎに、フレームモード用縮小逆離散コサイン変換装置２８の処理内容について、さらに詳細に説明する。
【００９８】
なお、このフレームモード用縮小逆離散コサイン変換装置２８では、以下に説明する１ブロック処理及び２ブロック処理のいずれか或いは両者の処理を行うことができる。フレームモード用縮小逆離散コサイン変換装置２８は、必要に応じて、１ブロック処理又は２ブロック処理を切り換えて用いても良いし、或いは、いずれか一方の処理のみを行っても良い。
【００９９】
まず、１ブロック処理について説明する。図１０に、１ブロック処理の内容を説明するための図を示す。
【０１００】
フレームモード用縮小逆離散コサイン変換装置２８には、図１０に示すように、高解像度画像を圧縮符号化した色差信号に関するビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１０１】
まず、ステップＳ１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ１〜ｙ８として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ１〜ｘ８として図中に示す。）を得ることができる。
【０１０２】
続いて、ステップＳ２において、この８×８の画素データｘを、垂直方向に１ライン毎交互に取り出して、飛び越し走査に対応した４×４のトップフィールドの画素ブロックと、飛び越し走査に対応した４×４のボトムフィールドの画素ブロックの２つの画素ブロックに分離する。すなわち、垂直方向に１ライン目の画素データｘ１と、３ライン目の画素データｘ３と、５ライン目の画素データｘ５と、７ライン目の画素データｘ７とを取り出して、トップフィールドに対応した画素ブロックを生成する。また、垂直方向に２ライン目の画素データｘ２と、４ライン目の画素データｘ４と、６ライン目の画素データｘ６と、８ライン目の画素データｘ８とを取り出して、ボトムフィールドに対応した画素ブロックを生成する。なお、ＤＣＴブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離する処理を、以下フィールド分離という。
【０１０３】
続いて、ステップＳ３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換（ＤＣＴ４×４）をする。
【０１０４】
続いて、ステップＳ４において、４×４の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚ（トップフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ１，ｚ３，ｚ５，ｚ７として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。また、４×４の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚ（ボトムフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ２，ｚ４，ｚ６，ｚ８として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。
【０１０５】
続いて、ステップＳ５において、高域成分の離散コサイン係数を間引いた画素ブロックに対して、２×２の逆離散コサイン変換（ＩＤＣＴ２×２）を行う。２×２の逆離散コサイン変換をすることにより、２×２の復号された画素データｘ′（トップフィールドの画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′１，ｘ′３として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′２，ｘ′４として図中に示す。）を得ることができる。
【０１０６】
続いて、ステップＳ６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互に合成して、４×４の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。なお、トップフィールドとボトムフィールドに対応した２つの画素ブロックの各画素を垂直方向に交互に合成する処理を、以下フレーム合成という。
【０１０７】
以上のステップＳ１〜ステップＳ６で示した１ブロック処理を行うことにより、フレームモード用縮小逆離散コサイン変換装置２８では、図９で示したような、フィールドモード用縮小逆離散コサイン変換装置２７で生成した標準解像度画像の画素の位相と同位相の画素から構成される４×４のＤＣＴブロックを生成することができる。
【０１０８】
また、フレームモード用縮小逆離散コサイン変換装置２８では、以上のステップＳ１からステップＳ６までの１ブロック処理を１つの行列を用いて演算する。具体的には、フレームモード用縮小逆離散コサイン変換装置２８では、以上の処理を加法定理を用いて展開計算することにより得られる以下の式１に示す行列［ＦＳ′］と、１つのＤＣＴブロックの離散コサイン係数ｙ（ｙ１〜ｙ８）とを行列演算することにより、縮小逆離散コサイン変換したＤＣＴブロックの画素データｘ′（ｘ′１〜ｘ′４）を得ることができる。
【０１０９】
【数１】
0003975629.tif 000002
【０１１０】
但し、この式（１）において、Ａ〜Ｊは以下の通りである。
【０１１１】
【数２】
0003975629.tif 000003
【０１１２】
つぎに、２ブロック処理について説明する。図１１に、２ブロック処理の内容を説明するための図を示す。
【０１１３】
フレームモード用縮小逆離散コサイン変換装置２８には、図１１に示すように、高解像度画像を圧縮符号化した色差信号に関するビットストリームが、２つのＤＣＴブロック単位で入力される。例えば、マクロブロックが４つの輝度成分のＤＣＴブロックと２つの色差成分のＤＣＴブロックとから構成されるいわゆる４２０フォーマットからなる場合には、垂直方向に隣接した２つの輝度成分（Ｙ）のＤＣＴブロックが入力される。マクロブロックが図５に示すように構成されている場合には、輝度成分（Ｙ）のＤＣＴブロック０とＤＣＴブロック２とが対となって入力され、また、ＤＣＴブロック１とＤＣＴブロック３とが対となって入力される。
【０１１４】
まず、ステップＳ１１において、２つのＤＣＴブロックの離散コサイン係数ｙ（時間的に前のＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ１〜ｙ８として図中に示し、時間的に後のＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ９〜ｙ１６として図中に示す。）に対して、それぞれ独立に８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（時間的に前のＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ１〜ｘ８として図中に示し、時間的に後のＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ９〜ｘ１６として図中に示す。）を得ることができる。
【０１１５】
続いて、ステップＳ１２において、２つのＤＣＴブロックの８×８の画素データｘを、垂直方向に１ライン毎交互に取り出して、飛び越し走査に対応したトップフィールドの８×８の画素ブロックと、飛び越し走査に対応したボトムフィールドの８×８の画素ブロックの２つの画素ブロックにフィールド分離する。すなわち、時間的に前のＤＣＴブロックから、垂直方向に１ライン目の画素データｘ１と、３ライン目の画素データｘ３と、５ライン目の画素データｘ５と、７ライン目の画素データｘ７とを取り出し、時間的に後のＤＣＴブロックから、垂直方向に１ライン目の画素データｘ９と、３ライン目の画素データｘ１１と、５ライン目の画素データｘ１３と、７ライン目の画素データｘ１５とを取り出して、トップフィールドに対応した８×８の画素ブロックを生成する。また、時間的に前のＤＣＴブロックから、垂直方向に２ライン目の画素データｘ２と、４ライン目の画素データｘ４と、６ライン目の画素データｘ６と、８ライン目の画素データｘ８とを取り出し、時間的に後のＤＣＴブロックから、垂直方向に２ライン目の画素データｘ１０と、４ライン目の画素データｘ１２と、６ライン目の画素データｘ１４と、８ライン目の画素データｘ１６とを取り出して、ボトムフィールドに対応した画素ブロックを生成する。
【０１１６】
続いて、ステップＳ１３において、フィールド分離した２つの８×８の画素ブロックそれぞれに対して８×８の離散コサイン変換（ＤＣＴ８×８）をする。
【０１１７】
続いて、ステップＳ１４において、８×８の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚ（トップフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ１，ｚ３，ｚ５，ｚ７，ｚ９，ｚ１１，ｚ１３，ｚ１５として図中に示す。）の高域成分を間引いて、４×４の離散コサイン係数から構成される画素ブロックとする。また、８×８の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚ（ボトムフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ２，ｚ４，ｚ６，ｚ８，ｚ１０，ｚ１２，ｚ１４，ｚ１６として図中に示す。）の高域成分を間引き、４×４の離散コサイン係数から構成される画素ブロックとする。
【０１１８】
続いて、ステップＳ１５において、高域成分の離散コサイン係数を間引いた４×４の画素ブロックそれぞれに対して、４×４の逆離散コサイン変換（ＩＤＣＴ４×４）を行う。４×４の逆離散コサイン変換をすることにより、４×４の復号された画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′１，ｘ′３，ｘ′５，ｘ′７として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′２，ｘ′４，ｘ′６，ｘ′８として図中に示す。）を得ることができる。
【０１１９】
続いて、ステップＳ１６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互にフレーム合成して、８×８の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。
【０１２０】
以上のステップＳ１１〜ステップＳ１６で示した２ブロック処理を行うことにより、フレームモード用縮小逆離散コサイン変換装置２８では、図９で示したような、フィールドモード用縮小逆離散コサイン変換装置２７で生成した標準解像度画像の画素の位相と同位相の画素から構成されるＤＣＴブロックを生成することができる。
【０１２１】
また、フレームモード用縮小逆離散コサイン変換装置２８では、以上のステップＳ１１〜ステップＳ１６までの２ブロック処理を１つの行列を用いて演算する。具体的には、フレームモード用縮小逆離散コサイン変換装置２８では、以上の処理を加法定理を用いて展開計算することにより得られる以下の式（２）に示す行列［ＦＳ′′］と、２つのＤＣＴブロックの離散コサイン係数ｙ（ｙ１〜ｙ１６）とを行列演算して、縮小逆離散コサイン変換したＤＣＴブロックの画素データｘ′（ｘ′１〜ｘ′８）を得ることができる。
【０１２２】
【数３】
0003975629.tif 000004
【０１２３】
但し、この式（２）において、Ａ〜Ｄは、以下の通りである。
【０１２４】
【数４】
0003975629.tif 000005
【０１２５】
【数５】
0003975629.tif 000006
【０１２６】
【数６】
0003975629.tif 000007
【０１２７】
【数７】
0003975629.tif 000008
【０１２８】
また、この式（２）において、ａ〜ｇは、以下の通りである。
【０１２９】
【数８】
0003975629.tif 000009
【０１３０】
なお、上記フレームモード用縮小逆離散コサイン変換装置２８では、図１２で示したいわゆる４２０フォーマットのマクロブロックが入力された場合には、輝度成分に対しては上記ステップＳ１１〜ステップＳ１６に示した２ブロック処理を行って縮小逆離散コサイン変換を行い、色差成分に対しては、上記ステップＳ１〜ステップＳ６に示した１ブロック処理を行って縮小逆離散コサイン変換を行っても良い。
【０１３１】
以上のように本発明を適用した第２の実施の形態である画像復号装置２０では、色差信号について、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置２０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとで異なる処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。
【０１３２】
なお、画像復号装置２０では、フィールドモード用縮小逆離散コサイン変換装置２７の４×４の縮小逆離散コサイン変換処理、及び、フレームモード用縮小逆離散コサイン変換装置２８の上記ステップＳ１〜ステップＳ６による１ブロック処理による縮小逆離散コサイン変換処理を、高速アルゴリズムを用いて処理してもよい。
【０１３３】
例えば、Ｗａｎｇのアルゴリズム（参考文献：Zhong DE Wang.,"Fast Algorithms for the Discrete W Transform and for the Discrete Fourier Transform",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984）を用いることにより、処理を高速化することができる。
【０１３４】
フィールドモード用縮小逆離散コサイン変換装置２７が演算をする行列を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（３）に示すように分解される。
【０１３５】
【数９】
0003975629.tif 000010
【０１３６】
また、図１３にフィールドモード用縮小逆離散コサイン変換装置２７の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第５の乗算器１４ａ〜１４ｅ及び第１から第９の加算器１４ｆ〜１４ｎを用いて、高速化を実現することができる。
【０１３７】
フレームモード用縮小逆離散コサイン変換装置２８が演算をする行列［ＦＳ′］を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（４）に示すように分解される。
【０１３８】
【数１０】
0003975629.tif 000011
【０１３９】
但し、この式（４）において、Ａ〜Ｊは、以下の通りである。
【０１４０】
【数１１】
0003975629.tif 000012
【０１４１】
また、図７にフレームモード用縮小逆離散コサイン変換装置２８の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第１０の乗算器１５ａ〜１５ｊ及び第１から第１３の加算器１５ｋ〜１５ｗを用いて、高速化を実現することができる。
【０１４２】
つぎに、フィールドモード用動き補償装置３１及びフレームモード用動き補償装置３２について、さらに詳細に説明する。
【０１４３】
まず、フィールドモード用動き補償装置３１が行う補間処理について説明する。このフィールドモード用動き補償装置３１では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ３０に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０１４４】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ３０に記憶された整数精度の画素から１／２画素精度の画素を生成する。フィールドモード用動き補償装置３１は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フィールドモード用動き補償装置３１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ３０に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置３１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置３１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０１４５】
垂直方向の画素に対しては、まず、図５（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ３０から取り出す。
【０１４６】
続いて、垂直方向の画素に対しては、図５（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ３０から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図５（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０１４７】
続いて、垂直方向の画素に対しては、図５（ｃ）に示すように、線形補間フィルタを用いて、フィールド内で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。すなわち、トップフィールドの１／２画素精度の画素に基づきトップフィールドの１／４画素精度の画素を生成し、ボトムフィールドの１／２画素精度の画素に基づきボトムフィールドの１／４画素精度の画素を生成する。例えば、この図５（ｃ）に示すように、垂直方向の位相が９／４の位置にあるトップフィールドの画素は、２，５／２の位置にあるトップフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が１０／４の位置にあるボトムフィールドの画素は、９／４，１１／４の位置にあるボトムフィールドの画素から線形補間をされて生成される。
【０１４８】
このように垂直方向の補間を行うことによりフィールドモード用動き補償装置３１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ３０に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置３１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置３１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０１４９】
つぎに、フレームモード用動き補償装置３２が行う補間処理について説明する。このフレームモード用動き補償装置３２では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ３０に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０１５０】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ３０に記憶された整数精度の画素から１／２画素精度の画素を生成する。フレームモード用動き補償装置３２は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フレームモード用動き補償装置３２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ３０に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフレームモード用動き補償装置３２では、高速な処理を行うことができる。また、このフレームモード用動き補償装置３２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０１５１】
垂直方向の画素に対しては、まず、図６（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ３０から取り出す。
【０１５２】
続いて、垂直方向の画素に対しては、図６（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ３０から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図６（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０１５３】
続いて、垂直方向の画素に対しては、図６（ｃ）に示すように、線形補間フィルタを用いて、トップフィールドとボトムフィールドの２つのフィールド間で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。例えば、この図６（ｃ）に示すように、垂直方向の位相が１／４の位置にある画素は、０の位置にあるトップフィールドの画素と、１／２の位置にあるボトムフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が３／４の位置にある画素は、１／２の位置にあるボトムフィールドの画素と１の位置にあるトップフィールドの画素から線形補間をされて生成される。
【０１５４】
このように垂直方向の補間を行うことによりフレームモード用動き補償装置３２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ３０に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置３１では、高速な処理を行うことができる。また、トップフィールドとボトムフィールドとの間で位相ずれが生じず、いわゆるフィールド反転やフィールドミックスを防ぐことができ、画質の劣化を防止することができる。また、このフレームモード用動き補償装置３２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０１５５】
以上述べたように、本発明を適用した第２の実施の形態である画像情報変換装置２０では、輝度信号については、水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因する画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【０１５６】
また、本発明を適用した第２の実施の形態である画像復号装置２０では、輝度信号に比べて画質の劣化がより人間の目につきにくい色差信号については、低域の４×４の係数のみに逆離散コサイン変換を行うことにより、第１の実施の形態である画像情報変換装置１に比べて更なる演算処理量とメモリ容量の削減が可能である。
【０１５７】
なお、上述した画像情報変換装置２０では、ＭＰＥＧ−２によるビットストリームが入力されているが、直交変換と動き補償によって符号化されたビットストリームであれば、例えばＭＰＥＧ−１やＨ．２６３等のようなビットストリームが入力されてもよい。また、入力されるビットストリームが、図１５に示したような４２０フォーマットである場合には、色差信号についてはフレームＤＣＴモードしか存在しないため、フィールドモード用縮小逆離散コサイン変換装置２７はなくてもよい。
【０１５８】
つぎに、本発明を適用した第３の実施の形態について、図面を参照しながら説明する。
【０１５９】
本発明を適用した第３の実施の形態である画像復号装置も、上述した第２の実施の形態である画像復号装置２０と同様に、例えば、垂直方向の有効ライン数が１１５２本の高解像度画像である飛び越し走査画像をＭＰＥＧ−２（Moving Picture Experts Group phase - 2）で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が５７６本の標準解像度画像を出力する装置である。本発明を適用した第３の実施の形態である画像復号装置を図１６に示す。
【０１６０】
なお、この画像復号装置４０を説明するにあたり、上記第２の実施の形態である画像復号装置２０と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０１６１】
画像復号装置４０は、この図１６に示すように、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析する圧縮情報解析装置２と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長復号装置３と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置４と、逆量子化された離散コサイン変換係数を輝度信号と色差信号とに分離する輝度信号・色差信号分離装置２１と、分離された輝度信号の方の離散コサイン変換済のＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成する縮小逆離散コサイン変換装置２２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置２３と、参照画像を一時記憶するフレームメモリ２４と、フレームメモリ２４が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置２５と、フレームメモリ２４が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置２６と、分離された色差信号の方のフィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して位相ずれを補正した縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用位相補正縮小逆離散コサイン変換装置４１と、分離された色差信号の方のフレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して位相ずれを補正した縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用位相補正縮小逆離散コサイン変換装置４２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置４３と、参照画像を一時記憶するフレームメモリ４４と、フレームメモリ４４が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置４５と、フレームメモリ４４が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置４６と、フレームメモリ２４及びフレームメモリ４４が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をしてテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置４７とを備えている。
【０１６２】
フィールドモード用位相補正縮小逆離散コサイン変換装置４１は、入力された色差信号の分のビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用位相補正縮小逆離散コサイン変換装置４１は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図８で示したような、低域の４×４の係数のみにトップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。即ち、水平方向に対して低域の４点の離散コサイン係数に基づき逆離散コサイン変換を行い、垂直方向に対して４点の離散コサイン係数に基づき位相ずれを補正した逆離散コサイン変換を行う。具体的には、トップフィールドの垂直方向の各画素に対しては、１／４画素分の位相補正を行い、ボトムフィールドの垂直方向の各画素に対しては、３／４画素分の位相補正を行う。そして、以上のような縮小逆離散コサイン変換を行うことにより、図１７に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。このフィールドモード用位相補正縮小逆離散コサイン変換装置４１では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される位相補正された標準解像度画像を復号することができる。
【０１６３】
フレームモード用位相補正縮小逆離散コサイン変換装置４２は、入力された色差信号の分のビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用位相補正縮小逆離散コサイン変換装置４２は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、後述する１ブロック処理或いは２ブロック処理により、トップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した縮小逆離散コサイン変換を行う。そして、フレームモード用位相補正縮小逆離散コサイン変換装置４２では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用位相補正縮小逆離散コサイン変換装置４１で生成した標準解像度画像の画素の位相と同位相の画像を生成する。即ち、フレームモード用位相補正縮小逆離散コサイン変換装置４２は、１ブロック処理或いは２ブロック処理で縮小逆離散コサイン変換を行うことにより、図１７に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０１６４】
なお、このフレームモード用位相補正縮小逆離散コサイン変換装置４２の処理については、その詳細を後述する。
【０１６５】
加算装置４３は、フィールドモード用位相補正縮小逆離散コサイン変換装置４１又はフレームモード用位相補正縮小逆離散コサイン変換装置４２により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ４４に格納する。また、加算装置４３は、フィールドモード用位相補正縮小逆離散コサイン変換装置４１又はフレームモード用位相補正縮小逆離散コサイン変換装置４２により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置４５或いはフレームモード用動き補償装置４６により動き補償がされた参照画像を合成して、フレームメモリ４４に格納する。
【０１６６】
フレームメモリ４４のメモリ容量は、圧縮情報解析装置２に入力されるビットストリームが保持する解像度の１／４あればよい。
【０１６７】
フィールドモード用動き補償装置４５は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置４５は、フレームメモリ４４に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置４５により動き補償がされた参照画像は、加算装置４３に供給され、インター画像に合成される。
【０１６８】
フレームモード用動き補償装置４６は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置４６は、フレームメモリ４４に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置４６により動き補償がされた参照画像は、加算装置４３に供給され、インター画像に合成される。
【０１６９】
画枠変換装置４７は、フレームメモリ２４が記憶した標準解像度の参照画像或いは加算装置２３が合成した画像と、フレームメモリ４４が記憶した標準解像度の参照画像或いは加算装置４３が合成した画像とが供給され、画像をポストフィルタリングにより、画枠を標準解像度のテレビジョンの規格に合致するように変換する。即ち、画枠変換装置４７は、高解像度のテレビジョン規格の画枠を、１／４に縮小した標準解像度のテレビジョン規格の画枠に変換する。なお、この画枠変換装置４７は、フレームメモリ４４に格納されている画像がトップフィールドとボトムフィールドとの間に位相ずれが生じていないので、上述した第２の実施の形態の画枠変換装置３３と異なり、画素の位相ずれの補正は行わなくて良い。
【０１７０】
以上のように構成された画像復号装置４０では、高解像度画像をＭＰＥＧ−２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力する。
【０１７１】
つぎに、フィールドモード用位相補正縮小逆離散コサイン変換装置４１の処理内容について、さらに詳細に説明する。
【０１７２】
フィールドモード用位相補正縮小逆離散コサイン変換装置４１には、図１８に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１７３】
まず、ステップＳ２１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ１〜ｙ８として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ１〜ｘ８として図中に示す。）を得ることができる。
【０１７４】
続いて、ステップＳ２２において、この８×８の画素データを、４×８の位相補正フィルタ行列によりＤＣＴブロック内で閉じた変換を行い、位相補正した画素データｘ′（全ての画素データのうち垂直方向の画素データをｘ′１，ｘ′２，ｘ′３，ｘ′４として図中に示す。）を得る。
【０１７５】
以上のステップＳ２１〜ステップＳ２２の処理を行うことにより、フィールドモード用位相補正縮小逆離散コサイン変換装置４１では、トップフィールドとボトムフィールドとの間で、画素の位相ずれがない画像を生成することができる。
【０１７６】
また、フィールドモード用位相補正縮小逆離散コサイン変換装置４１では、図１９に示すように、以上の処理を１つの行列（４×８位相補正ＩＤＣＴ行列）を用いて演算してもよい。
【０１７７】
つぎに、上記フィールドモード用位相補正縮小逆離散コサイン変換装置４１により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を図２０に示し、この４×８位相補正ＩＤＣＴ行列について説明する。この４×８位相補正ＩＤＣＴ行列は、プロトタイプフィルタをポリフェーズ分解して作成される。
【０１７８】
ここで、画像復号装置４０では、図２１（ａ）に示すような周波数特性の高解像度画像を、図２１（ｂ）に示すような信号帯域がローパスフィルタにより半分とされた周波数特性の１／２の解像度の標準解像度画像に、ダウンデコードする。そのため、プロトタイプフィルタに求められる周波数特性は、標準解像度画像の１／４位相の画素値を得ることができるように、図２１（ｃ）に示すような４倍のオーバーサンプリングを行った周波数特性となる。
【０１７９】
まず、ステップＳ３１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図１５に示すように、ナイキスト周波数以下の周波数を等間隔に（５７−１）／２＝２８分割して、２９個のゲインリストを作成する。
【０１８０】
続いて、ステップＳ３２において、周波数サンプリング法により、５７個のインパルス応答を作成する。すなわち、２９個のゲインリストを逆離散フーリエ変換して、５７個のＦＩＲフィルタのインパルス応答を作成する。この５７個のインパルス応答を図２２に示す。
【０１８１】
続いて、ステップＳ３３において、このインパルス応答に窓関数をかけて、５７タップのフィルタ係数ｃ１〜ｃ５７を作成する。
【０１８２】
このステップＳ３３で作成されたフィルタがプロトタイプフィルタとなる。
【０１８３】
続いて、ステップＳ３４において、５７個のフィルタ係数ｃ１〜ｃ５７を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する１４個のフィルタ係数ｃ′１〜ｃ′１４のみを取り出し、ポリフェーズフィルタを作成する。
【０１８４】
ここで、ポリフェーズフィルタとは、図２３に示すように、入力信号をＮ倍にオーバーサンプリングし、オーバーサンプリングして得られた信号からＮ画素間隔で画素を抜き出すポリフェーズ分解を行い、入力信号と１／Ｎ位相のずれをもった信号を出力するフィルタである。例えば、入力信号に対して１／４位相ずれた信号を得るためには、図２４に示すように、入力信号を４倍にオーバサンプリングして、この信号から１／４位相ずれた信号を取り出せばよい。
【０１８５】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ５７から作成された１４個のフィルタ係数ｃ′１〜ｃ′１４は、例えば、以下の式（５）で示すような係数となる。
【０１８６】
【数１２】
0003975629.tif 000013
【０１８７】
このようにポリフェーズフィルタを作成した後、トップフィールド用の４×８位相補正ＩＤＣＴ行列と、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０１８８】
まず、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３５において、フィルタ係数が１／４位相補正特性となるように、ポリフェーズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が１／４、９／４、１７／４、２５／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。このように作成された４×８位相補正フィルタを、図２５に示す。
【０１８９】
例えば、上記式（５）の１４個のフィルタ係数ｃ′１〜ｃ′１４から、以下の式（６）で示すような係数が取り出される。
【０１９０】
【数１３】
0003975629.tif 000014
【０１９１】
式（６）の係数から４×８位相補正フィルタ行列を求めると、以下の式（７）で示すような行列となる。
【０１９２】
【数１４】
0003975629.tif 000015
【０１９３】
この式（７）で示した４×８位相補正フィルタ行列を正規化すると、以下の式（８）に示すような行列となる。
【０１９４】
【数１５】
0003975629.tif 000016
【０１９５】
そして、ステップＳ３６において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０１９６】
８×８のＩＤＣＴ行列と上記式（８）で示す４×８の位相補正フィルタとを掛け合わせた４×８位相補正ＩＤＣＴ行列は、以下の式（９）に示すような行列となる。
【０１９７】
【数１６】
0003975629.tif 000017
【０１９８】
一方、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４を、左右反転させる。
【０１９９】
続いて、ステップＳ３８において、左右反転させた１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が３／４、１１／４、１９／４、２７／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。
【０２００】
そして、ステップＳ３９において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０２０１】
このようにステップＳ３１〜ステップＳ３９の各処理を行うことによって、フィールドモード用位相補正縮小逆離散コサイン変換装置４１が演算を行う４×８位相補正ＩＤＣＴ行列を作成することができる。
【０２０２】
以上のように、フィールドモード用位相補正縮小逆離散コサイン変換装置４１では、この４×８位相補正ＩＤＣＴ行列と、入力されたフィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックの係数とを行列演算することにより、トップフィールドとボトムフィールドとの間の位相ずれがない、標準解像度の画像を復号することができる。すなわち、このフィールドモード用位相補正縮小逆離散コサイン変換装置４１では、図２４に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成することができる。
【０２０３】
つぎに、フレームモード用位相補正縮小逆離散コサイン変換装置４２の処理内容について、さらに詳細に説明する。
【０２０４】
なお、フレームモード用位相補正縮小逆離散コサイン変換装置４２では、以下に説明する１ブロック処理及び２ブロック処理のいずれか或いは両者の処理を行うことができる。必要に応じて、１ブロック処理又は２ブロック処理を切り換えて用いても良いし、或いは、いずれか一方の処理のみを行っても良い。
【０２０５】
まず、１ブロック処理について説明する。図２６に、１ブロック処理の内容を説明するための図を示す。
【０２０６】
フレームモード用位相補正縮小逆離散コサイン変換装置４２には、図２６に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０２０７】
まず、ステップＳ４１において、この１つのＤＣＴブロックの離散コサイン係数ｙに対して、８×８の逆離散コサイン変換を行う。続いて、ステップＳ４２において、この８×８の画素データをフィールド分離する。続いて、ステップＳ４３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換をする。続いて、ステップＳ４４において、各画素ブロックの離散コサイン係数ｚの高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。以上のステップＳ４１からステップＳ４４までの処理は、図２５に示す１ブロック処理におけるステップＳ１からステップＳ４までの処理と同一である。
【０２０８】
続いて、ステップＳ４５において、トップフィールドに対応する画素ブロックに対しては、１／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。また、ボトムフィールドに対応する画素ブロックに対しては、３／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。以上のような縮小逆離散コサイン変換を行うことにより、２×２の画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′１，ｘ′３として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′２，ｘ′４として図中に示す。）を得ることができる。この画素データｘ′は、トップフィールドの各画素の垂直方向の位相が１／４、９／４となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４となる標準解像度画像（下位レイヤー）を生成する。なお、この２×４位相補正ＩＤＣＴ行列の設計方法については詳細を後述する。
【０２０９】
続いて、ステップＳ４６において、トップフィールドに対応する画素ブロックの画素データとボトムフィールドの画像ブロックの画素データとをフレーム合成する。このステップＳ４６の処理は、図２５に示す１ブロック処理におけるステップＳ６の処理と同一である。
【０２１０】
以上のステップＳ４１〜ステップＳ４６の処理を行うことにより、フレームモード用位相補正縮小逆離散コサイン変換装置４２では、画素間の位相ずれがない画像を生成することができる。また、上記フィールドモード用位相補正縮小逆離散コサイン変換装置４１で復号した画像と位相ずれが生じない画像を生成することができる。
【０２１１】
また、フレームモード用位相補正縮小逆離散コサイン変換装置４２では、以上のステップＳ４１からステップＳ４６までの処理を１つの行列を用いて演算してもよい。
【０２１２】
つぎに、フレームモード用位相補正縮小逆離散コサイン変換装置４２のステップＳ４５で演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を図２７に示し、この２×８位相補正ＩＤＣＴ行列について説明する。
【０２１３】
まず、ステップＳ５１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図２８に示すように、ナイキスト周波数以下の周波数を等間隔に（２５−１）／２＝１２分割して、１３個のゲインリストを作成する。
【０２１４】
続いて、ステップＳ５２において、周波数サンプリング法により、２５個のインパルス応答を作成する。すなわち、１３個のゲインリストを逆離散フーリエ変換して、２５個のＦＩＲフィルタのインパルス応答を作成する。この２５個のインパルス応答を図２９に示す。
【０２１５】
続いて、ステップＳ５３において、このインパルス応答に窓関数をかけて、２５タップのフィルタ係数ｃ１〜ｃ２５を作成する。
【０２１６】
このステップＳ５３で作成されたフィルタがプロトタイプフィルタとなる。
【０２１７】
続いて、ステップＳ５４において、２５個のフィルタ係数ｃ１〜ｃ２５を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する６個のフィルタ係数ｃ′１〜ｃ′６のみを取り出し、ポリフェーズフィルタを作成する。
【０２１８】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ２５から作成された１４個のフィルタ係数ｃ′１〜ｃ′６は、例えば、以下の式（１０）で示すような係数となる。
【０２１９】
【数１７】
0003975629.tif 000018
【０２２０】
このようにポリフェーズフィルタを作成した後、トップフィールド用の２×４位相補正ＩＤＣＴ行列と、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０２２１】
まず、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５５において、ポリフェーズ分解された６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が１／４、９／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。このように作成された２×４位相補正フィルタを、図３０に示す。
【０２２２】
例えば、上記式（１０）の６個のフィルタ係数ｃ′１〜ｃ′６から、以下の式（１１）で示すような係数が取り出される。
【０２２３】
【数１８】
0003975629.tif 000019
【０２２４】
式（１１）の係数から２×４位相補正フィルタ行列を求めると、以下の式（１２）で示すような行列となる。
【０２２５】
【数１９】
0003975629.tif 000020
【０２２６】
この式（１２）で示した２×４位相補正フィルタ行列を正規化すると、以下の式（１３）に示すような行列となる。
【０２２７】
【数２０】
0003975629.tif 000021
【０２２８】
そして、ステップＳ５６において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０２２９】
２×４のＩＤＣＴ行列と上記式（１３）で示す２×４の位相補正フィルタとを掛け合わせた２×４位相補正ＩＤＣＴ行列は、以下の式（１４）に示すような行列となる。
【０２３０】
【数２１】
0003975629.tif 000022
【０２３１】
一方、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された６個のフィルタ係数ｃ′１〜ｃ′６を、左右反転させる。
【０２３２】
続いて、ステップＳ５８において、左右反転させた６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が３／４、１１／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。
【０２３３】
そして、ステップＳ５９において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０２３４】
以上のようにステップＳ５１〜ステップＳ５９の各処理を行うことによって、フレームモード用位相補正縮小逆離散コサイン変換装置４２が上記ステップＳ４５で演算を行う２×４位相補正ＩＤＣＴ行列を作成することができる。
【０２３５】
つぎに、２ブロック処理について説明する。図３１に、２ブロック処理の内容を説明するための図を示す。
【０２３６】
フレームモード用位相補正縮小逆離散コサイン変換装置４２には、図３１に示すように、高解像度画像を圧縮符号化したビットストリームが、２つのＤＣＴブロック単位で入力される。例えば、マクロブロックが４つの輝度成分のＤＣＴブロックと２つの色差成分のＤＣＴブロックとから構成される場合には、垂直方向に隣接した２つのＤＣＴブロックが入力される。例えば、マクロブロックが上述した図２７に示すように構成されている場合には、輝度成分（Ｙ）のＤＣＴブロック０とＤＣＴブロック２とが対となって入力され、また、ＤＣＴブロック１とＤＣＴブロック３とが対となって入力される。
【０２３７】
まず、ステップＳ６１において、２つのＤＣＴブロックの離散コサイン係数ｙに対して、それぞれ独立に８×８の逆離散コサイン変換を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘを得ることができる。続いて、ステップＳ６２において、２つの８×８の画素データをフィールド分離する。続いて、ステップＳ６３において、フィールド分離した２つの８×８の画素ブロックそれぞれに対して８×８の離散コサイン変換をする。続いて、ステップＳ６４において、８×８の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚの高域成分を間引いて、４×４の離散コサイン係数から構成される画素ブロックとする。また、８×８の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚの高域成分を間引き、４×４の離散コサイン係数から構成される画素ブロックとする。
【０２３８】
以上のステップＳ６１からステップＳ６４までの処理は、図２６に示す２ブロック処理におけるステップＳ１１からステップＳ１４までの処理と同一である。
【０２３９】
続いて、ステップＳ６５において、トップフィールドの画素ブロックに対しては、１／４画素分の位相補正をする４×８位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。また、ボトムフィールドの画素ブロックに対しては、３／４画素分の位相補正をする４×８位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。以上のような縮小逆離散コサイン変換を行うことにより、４×４の画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′１，ｘ′３，ｘ′５，ｘ′７として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′２，ｘ′４，ｘ′６，ｘ′８として図中に示す。）を得ることができる。この画素データｘ′は、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。なお、この４×８位相補正ＩＤＣＴ行列の設計方法は、上述したフィールドモード用位相補正縮小逆離散コサイン変換装置４１で演算される行列と同一である。
【０２４０】
続いて、ステップＳ６６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互にフレーム合成して、８×８の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。
【０２４１】
以上のステップＳ６１〜ステップＳ６６の２ブロック処理を行うことにより、フレームモード用位相補正縮小逆離散コサイン変換装置４２では、画素間の位相ずれがない画像を生成することができる。また、上記フィールドモード用位相補正縮小逆離散コサイン変換装置４１で復号した画像と位相ずれが生じない画像を生成することができる。
【０２４２】
また、フレームモード用位相補正縮小逆離散コサイン変換装置４２では、以上のステップＳ６１からステップＳ６６までの処理を１つの行列を用いて演算してもよい。
【０２４３】
つぎに、フィールドモード用動き補償装置４５及びフレームモード用動き補償装置４６について、さらに詳細に説明する。
【０２４４】
まず、フレームモード用動き補償装置４６が行う補間処理について説明する。このフレームモード用動き補償装置４６では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ４４に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０２４５】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ４４に記憶された整数精度の画素から１／２画素精度の画素を生成する。フィールドモード用動き補償装置４５は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フィールドモード用動き補償装置４５では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ４４に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置４５では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置４５では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２４６】
垂直方向の画素に対しては、まず、図３２（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２、９／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が３／２、７／２、１１／２・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれが補正された標準解像度画像の整数精度の画素を、フレームメモリ４４から取り出す。
【０２４７】
続いて、垂直方向の画素に対しては、図３２（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ４４から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素が生成され、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素が生成される。例えば、この図３２（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が９／２の位置にあるボトムフィールドの画素は、・・・３／２，７／２，１１／２，１５／２・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０２４８】
続いて、垂直方向の画素に対しては、図３２（ｃ）に示すように、線形補間フィルタを用いて、フィールド内で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。すなわち、トップフィールドの１／２画素精度の画素に基づきトップフィールドの１／４画素精度の画素を生成し、ボトムフィールドの１／２画素精度の画素に基づきボトムフィールドの１／４画素精度の画素を生成する。例えば、この図３２（ｃ）に示すように、垂直方向の位相が９／４の位置にあるトップフィールドの画素は、２，５／２の位置にあるトップフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が１１／４の位置にあるボトムフィールドの画素は、１０／４，３の位置にあるボトムフィールドの画素から線形補間をされて生成される。
【０２４９】
このように垂直方向の補間を行うことによりフィールドモード用動き補償装置４５では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ４４に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置４５では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置４５では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２５０】
つぎに、フレームモード用動き補償装置４６が行う補間処理について説明する。このフレームモード用動き補償装置４６では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ４４に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０２５１】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ４４に記憶された整数精度の画素から１／２画素精度の画素を生成する。フレームモード用動き補償装置４６は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フレームモード用動き補償装置４６では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ４４に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフレームモード用動き補償装置４６では、高速な処理を行うことができる。また、このフレームモード用動き補償装置４６では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２５２】
垂直方向の画素に対しては、まず、図３３（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２、９／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が３／２、７／２、１１／２・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれが無い標準解像度画像の整数精度の画素を、フレームメモリ４４から取り出す。
【０２５３】
続いて、垂直方向の画素に対しては、図３３（ｂ）に示すように、一方のフィールドに対しては、ハーフバンドフィルタのような２倍補間フィルタを用いて、フレームメモリ４４から取り出した整数精度の画素から１／２画素精度の画素を生成する。また、他方のフィールドに対しては、フィルタを用いて、フレームメモリ４４から取り出した整数精度の画素から、１／４及び３／４位相ずれた画素を生成する。例えば、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／４、３／４画素分の位相がずれた画素を生成する。具体的には、この図３３（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４及び５の位置にあるボトムフィールドの画素は、・・・３／２，７／２，１１／２，１５／２・・・の位置にあるボトムフィールドの画素から１／４又は３／４位相がずれた補間がされて生成される。
【０２５４】
続いて、垂直方向の画素に対しては、図３３（ｃ）に示すように、線形補間フィルタを用いて、トップフィールドとボトムフィールドの２つのフィールド間で、生成した１／２画素精度の画素から１／４画素精度の画素を生成する。例えば、この図３３（ｃ）に示すように、垂直方向の位相が１／４の位置にある画素は、０の位置にあるトップフィールドの画素と、１／２の位置にあるボトムフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が３／４の位置にある画素は、１／２の位置にあるボトムフィールドの画素と１の位置にあるトップフィールドの画素から線形補間をされて生成される。
【０２５５】
このように垂直方向の補間を行うことによりフレームモード用動き補償装置４６では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ４４に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置４５では、高速な処理を行うことができる。また、トップフィールドとボトムフィールドとの間で位相ずれが生じず、いわゆるフィールド反転やフィールドミックスを防ぐことができ、画質の劣化を防止することができる。また、このフレームモード用動き補償装置４６では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２５６】
以上のように本発明を適用した第３の実施の形態である画像復号装置４０では、色差信号について、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号する。この画像復号装置４０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、縮小逆離散コサイン変換を行うときに生じるトップフィールドとボトムフィールドとの間の位相ずれをなくし、出力する画像の画質を劣化させない。即ち、この画像復号装置４０では、フレームメモリ１７に格納された復号画像を出力する際に、位相補正をする必要が無く、処理が簡易化するとともに画質の劣化を生じさせない。
【０２５７】
以上述べたように、本発明を適用した第３の実施の形態である画像情報変換装置４０では、輝度信号については、水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因する画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【０２５８】
また、本発明を適用した第３の実施の形態である画像復号装置４０では、輝度信号に比べて画質の劣化がより人間の目につきにくい色差信号については、低域の４×４の係数のみに逆離散コサイン変換を行うことにより、第２の実施の形態である画像情報変換装置１に比べて更なる演算処理量とメモリ容量の削減が可能である。
【０２５９】
なお、上述した画像情報変換装置４０では、ＭＰＥＧ−２によるビットストリームが入力されているが、直交変換と動き補償によって符号化されたビットストリームであれば、例えばＭＰＥＧ−１やＨ．２６３等のようなビットストリームが入力されてもよい。また、入力されるビットストリームが、図２９に示したような４２０フォーマットである場合には、色差信号についてはフレームＤＣＴモードしか存在しないため、フィールドモード用位相補正縮小逆離散コサイン変換装置４１はなくてもよい。
【０２６０】
つぎに、本発明を適用した第４の実施の形態について、図面を参照しながら説明する。
【０２６１】
本発明を適用した第４の実施の形態である画像復号装置も、上述した第３の実施の形態である画像復号装置４０と同様に、例えば、垂直方向の有効ライン数が１１５２本の高解像度画像である飛び越し走査画像をＭＰＥＧ−２（Moving Picture Experts Group phase - 2）で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が５７６本の標準解像度画像を出力する装置である。本発明を適用した第４の実施の形態である画像復号装置を図３４に示す。
【０２６２】
なお、この画像復号装置５０を説明するにあたり、上記第３の実施の形態である画像復号装置４０と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０２６３】
画像復号装置５０は、この図３４に示すように、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析する圧縮情報解析装置２と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長復号装置３と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置４と、入力されたビットストリームをＩピクチャ及びＰピクチャに関するビットストリームとＢピクチャに関するビットストリームとに分離するピクチャタイプ分離装置５１と、分離されたＩピクチャ及びＰピクチャに関する離散コサイン変換済のＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成する縮小逆離散コサイン変換装置５２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置５３と、Ｉピクチャ及びＰピクチャに関する参照画像を一時記憶するフレームメモリ５４と、フレームメモリ５４が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置５５と、フレームメモリ５４が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置５６と、分離されたＢピクチャの方のフィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用位相補正縮小逆離散コサイン変換装置５７と、分離されたＢピクチャの方のフレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用位相補正縮小逆離散コサイン変換装置５８と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置５９と、フレームメモリ５４が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置６０と、フレームメモリ５４が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置６１と、Ｂピクチャに関する参照画像を一時記憶するフレームメモリ６２と、フレームメモリ５４及びフレームメモリ６２が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置６３とを備えている。
【０２６４】
ピクチャタイプ分離装置５１は、圧縮情報解析装置２により解析された解析結果情報に基づいて、入力されたビットストリームを、Ｉピクチャ及びＰピクチャに関するビットストリームとＢピクチャに関するビットストリームとに分離する。そして、ピクチャタイプ分離装置５１は、分離したＩピクチャ及びＰピクチャに関するビットストリームを縮小逆離散コサイン変換装置５２に供給し、分離したＢピクチャに関するビットストリームをフィールドモード用位相補正縮小逆離散コサイン変換装置５７又はフレームモード用位相補正縮小逆離散コサイン変換装置５８に供給する。
【０２６５】
縮小逆離散コサイン変換装置５２は、Ｉピクチャ及びＰピクチャに関する離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図２で示すような、水平方向の低域の４係数及び垂直方向の８係数に逆離散コサイン変換を行う。即ち、縮小逆離散コサイン変換装置５２は、水平方向の低域の４点及び垂直方向の８点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。具体的には、縮小逆離散コサイン変換装置５２は、図３に示すように、入力されたＩピクチャ及びＰピクチャに関する逆量子化済の８×８のＤＣＴ係数Ｃに対して、４次の逆ＤＣＴ行列の転置行列ｉＤ4tと４×４の零行列Ｏ4とからなる水平方向のＤＣＴを実行する４×８の行列と、８次の逆ＤＣＴ行列ｉＤ8からなる垂直方向のＤＣＴを実行する８×８の行列とを用いて、縮小逆離散コサイン変換を行うことにより、４×８の復号された画素データを得る。この縮小逆離散コサイン変換装置５２では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×８の画素から構成される標準解像度画像を復号することができる。
【０２６６】
加算装置５３は、縮小逆離散コサイン変換装置５２により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ５４に格納する。また、加算装置５３は、縮小逆離散コサイン変換装置５２により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置５５或いはフレームモード用動き補償装置５６により動き補償がされた参照画像を合成して、フレームメモリ５４に格納する。
【０２６７】
フレームメモリ５４のメモリ容量は、縮小逆離散コサイン変換装置５２において水平方向の解像度が１／２に間引かれるため、圧縮情報解析装置２に入力されるビットストリームが保持する解像度の１／２あればよい。
【０２６８】
フィールドモード用動き補償装置５５は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。このフィールドモード用動き補償装置５５は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ５４に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【０２６９】
一方、水平方向については、フィールドモード用動き補償装置５５は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ５４に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。これは、縮小逆離散コサイン変換装置５２において解像度が１／２に間引かれるためである。
【０２７０】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ５４から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【０２７１】
フィールドモード用動き補償装置５５は、このような処理を行うことにより、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置５５により動き補償がされた参照画像は、加算装置５３に供給され、インター画像に合成される。
【０２７２】
フレームモード用動き補償装置５６は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。このフレームモード用動き補償装置５６は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ５４に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【０２７３】
一方、水平方向については、フレームモード用動き補償装置５６は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ５４に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。
【０２７４】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ５４から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【０２７５】
フレームモード用動き補償装置５６は、このような処理を行うことにより、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置５６により動き補償がされた参照画像は、加算装置５３に供給され、インター画像に合成される。
【０２７６】
フィールドモード用位相補正縮小逆離散コサイン変換装置５７は、入力されたＢピクチャに関するビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用位相補正縮小逆離散コサイン変換装置５７は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。即ち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用位相補正縮小逆離散コサイン変換装置５７では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。即ち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【０２７７】
フレームモード用位相補正縮小逆離散コサイン変換装置５８は、入力されたＢピクチャに関するビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用位相補正縮小逆離散コサイン変換装置５８は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用位相補正縮小逆離散コサイン変換装置５８では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用位相補正縮小逆離散コサイン変換装置５７で生成した標準解像度画像の画素の位相と同位相の画像を生成する。即ち、フレームモード用位相補正縮小逆離散コサイン変換装置５８で復号された画像データの各画素の位相は、図３１に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０２７８】
加算装置５９は、フィールドモード用位相補正縮小逆離散コサイン変換装置５７又はフレームモード用位相補正縮小逆離散コサイン変換装置５８により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ６２に格納する。また、加算装置５９は、フィールドモード用位相補正縮小逆離散コサイン変換装置５７又はフレームモード用位相補正縮小逆離散コサイン変換装置５８により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置６０或いはフレームモード用動き補償装置６１により動き補償がされた参照画像を合成して、フレームメモリ６２に格納する。
【０２７９】
フィールドモード用動き補償装置６０は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。このフィールドモード用動き補償装置６０は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ５４に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行った後、フィールド間の位相をも考慮した１／２の間引き処理が行われる。
【０２８０】
一方、水平方向については、フィールドモード用動き補償装置６０は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ５４に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。
【０２８１】
フィールドモード用動き補償装置６０は、このような処理を行うことにより、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置６０により動き補償がされた参照画像は、加算装置５９に供給され、インター画像に合成される。
【０２８２】
フレームモード用動き補償装置６１は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。このフレームモード用動き補償装置６１は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ５４に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行った後、フィールド間の位相をも考慮した１／２の間引き処理が行われる。
【０２８３】
一方、水平方向については、フレームモード用動き補償装置６１は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ５４に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。
【０２８４】
フレームモード用動き補償装置６１は、このような処理を行うことにより、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置６１により動き補償がされた参照画像は、加算装置５９に供給され、インター画像に合成される。
【０２８５】
フレームメモリ６２のメモリ容量は、圧縮情報解析装置２に入力されるビットストリームが保持する解像度の１／４あればよい。
【０２８６】
画枠変換装置６３は、フレームメモリ５４が記憶した標準解像度の参照画像或いは加算装置５３が合成した画像と、フレームメモリ６２が記憶した標準解像度の参照画像或いは加算装置５９が合成した画像とが供給され、画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。
【０２８７】
以上のように構成された画像復号装置５０では、高解像度画像をＭＰＥＧ−２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力する。
【０２８８】
つぎに、フィールドモード用動き補償装置５５及びフレームモード用動き補償装置５６について、さらに詳細に説明する。
【０２８９】
まず、フィールドモード用動き補償装置５５が行う補間処理について説明する。このフィールドモード用動き補償装置５５では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ５４に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０２９０】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ５４に記憶された整数精度の画素から１／２画素精度の画素を生成する。フィールドモード用動き補償装置５５は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フィールドモード用動き補償装置５５では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ５４に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置５５では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置５５では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２９１】
垂直方向の画素に対しては、まず、図２６（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ５４から取り出す。
【０２９２】
続いて、垂直方向の画素に対しては、図２６（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ５４から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図２６（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０２９３】
続いて、垂直方向の画素に対しては、図２６（ｃ）に示すように、線形補間フィルタを用いて、フィールド内で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。すなわち、トップフィールドの１／２画素精度の画素に基づきトップフィールドの１／４画素精度の画素を生成し、ボトムフィールドの１／２画素精度の画素に基づきボトムフィールドの１／４画素精度の画素を生成する。例えば、この図２６（ｃ）に示すように、垂直方向の位相が９／４の位置にあるトップフィールドの画素は、２，５／２の位置にあるトップフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が１０／４の位置にあるボトムフィールドの画素は、９／４，１１／４の位置にあるボトムフィールドの画素から線形補間をされて生成される。
【０２９４】
このように垂直方向の補間を行うことによりフィールドモード用動き補償装置５５では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ５４に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置５５では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置５５では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２９５】
つぎに、フレームモード用動き補償装置５６が行う補間処理について説明する。このフレームモード用動き補償装置５６では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ５４に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０２９６】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ５４に記憶された整数精度の画素から１／２画素精度の画素を生成する。フレームモード用動き補償装置５６は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フレームモード用動き補償装置５６では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ５４に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフレームモード用動き補償装置５６では、高速な処理を行うことができる。また、このフレームモード用動き補償装置５６では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２９７】
垂直方向の画素に対しては、まず、図２７（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ５４から取り出す。
【０２９８】
続いて、垂直方向の画素に対しては、図２７（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ５４から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図２７（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０２９９】
続いて、垂直方向の画素に対しては、図２７（ｃ）に示すように、線形補間フィルタを用いて、トップフィールドとボトムフィールドの２つのフィールド間で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。例えば、この図２７（ｃ）に示すように、垂直方向の位相が１／４の位置にある画素は、０の位置にあるトップフィールドの画素と、１／２の位置にあるボトムフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が３／４の位置にある画素は、１／２の位置にあるボトムフィールドの画素と１の位置にあるトップフィールドの画素から線形補間をされて生成される。
【０３００】
このように垂直方向の補間を行うことによりフレームモード用動き補償装置５６では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ５４に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置５５では、高速な処理を行うことができる。また、トップフィールドとボトムフィールドとの間で位相ずれが生じず、いわゆるフィールド反転やフィールドミックスを防ぐことができ、画質の劣化を防止することができる。また、このフレームモード用動き補償装置５６では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０３０１】
以上のように本発明を適用した第４の実施の形態である画像復号装置５０では、Ｂピクチャについて、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号する。この画像復号装置５０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、縮小逆離散コサイン変換を行うときに生じるトップフィールドとボトムフィールドとの間の位相ずれをなくし、出力する画像の画質を劣化させない。即ち、この画像復号装置５０では、フレームメモリ５４に格納された復号画像を出力する際に、位相補正をする必要が無く、処理が簡易化するとともに画質の劣化を生じさせない。
【０３０２】
以上述べたように、本発明を適用した第４の実施の形態である画像情報変換装置５０では、参照されるＩピクチャ及びＰピクチャについて、水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【０３０３】
また、本発明を適用した第４の実施の形態である画像復号装置５０では、参照されないＢピクチャについて、低域の４×４の係数のみに逆離散コサイン変換を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、更なる演算処理量とメモリ容量の削減が可能である。
【０３０４】
なお、上述した画像情報変換装置５０では、ＭＰＥＧ−２によるビットストリームが入力されているが、直交変換と動き補償によって符号化されたビットストリームであれば、例えばＭＰＥＧ−１やＨ．２６３等のようなビットストリームが入力されてもよい。また、入力されるビットストリームが、図２９に示したような４２０フォーマットである場合には、色差信号についてはフレームＤＣＴモードしか存在しないため、フィールドモード用位相補正縮小逆離散コサイン変換装置５７はなくてもよい。
【０３０５】
つぎに、本発明を適用した第５の実施の形態について、図面を参照しながら説明する。
【０３０６】
本発明を適用した第５の実施の形態である画像復号装置も、上述した第４の実施の形態である画像復号装置５０と同様に、例えば、垂直方向の有効ライン数が１１５２本の高解像度画像である飛び越し走査画像をＭＰＥＧ−２（Moving Picture Experts Group phase - 2）で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が５７６本の標準解像度画像を出力する装置である。本発明を適用した第５の実施の形態である画像復号装置を図３５に示す。
【０３０７】
なお、この画像復号装置７０を説明するにあたり、上記第４の実施の形態である画像復号装置５０と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０３０８】
画像復号装置７０は、この図３５に示すように、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析する圧縮情報解析装置２と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長復号装置３と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置４と、入力されたビットストリームをＩピクチャ及びＰピクチャに関するビットストリームとＢピクチャに関するビットストリームとに分離するピクチャタイプ分離装置５１と、Ｉピクチャ及びＰピクチャに関する離散コサイン変換係数を輝度信号と色差信号とに分離する輝度信号・色差信号分離装置７１と、分離されたＩピクチャ及びＰピクチャの輝度信号に関する離散コサイン変換済のＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成する縮小逆離散コサイン変換装置７２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置７３と、Ｉピクチャ及びＰピクチャの輝度信号に関する参照画像を一時記憶するフレームメモリ７４と、フレームメモリ７４が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置７５と、フレームメモリ７４が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置７６と、分離されたＩピクチャ及びＰピクチャの色差信号とＢピクチャの方のフィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置７７と、分離されたＩピクチャ及びＰピクチャの色差信号とＢピクチャの方のフレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置７８と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置７９と、フレームメモリ７４及びフレームメモリ８２が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置３１０と、フレームメモリ７４及びフレームメモリ８２が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置８１と、Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する参照画像を一時記憶するフレームメモリ８２と、フレームメモリ７４及びフレームメモリ８２が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置８３とを備えている。
【０３０９】
輝度信号・色差信号分離装置７１は、ピクチャタイプ分離装置５１により分離されたＩピクチャ及びＰピクチャに関する離散コサイン変換係数を、輝度信号に関するＩピクチャ及びＰピクチャに関する離散コサイン変換係数と、色差信号に関するＩピクチャ及びＰピクチャに関する離散コサイン変換係数とに分離する。そして、輝度信号・色差信号分離装置７１は、Ｉピクチャ及びＰピクチャの輝度信号に関する離散コサイン変換係数を縮小逆離散コサイン変換装置２２に供給し、Ｉピクチャ及びＰピクチャの色差信号とＢピクチャとに関する離散コサイン変換係数をフィールドモード用縮小逆離散コサイン変換装置７７又はフレームモード用縮小逆離散コサイン変換装置７８に供給する。
【０３１０】
縮小逆離散コサイン変換装置７２は、Ｉピクチャ及びＰピクチャの輝度信号に関する離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図２で示すような、水平方向の低域の４係数及び垂直方向の８係数に逆離散コサイン変換を行う。即ち、縮小逆離散コサイン変換装置７２は、水平方向の低域の４点及び垂直方向の８点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。具体的には、縮小逆離散コサイン変換装置７２は、図３に示すように、入力されたＩピクチャ及びＰピクチャの輝度信号に関する逆量子化済の８×８のＤＣＴ係数Ｃに対して、４次の逆ＤＣＴ行列の転置行列ｉＤ4tと４×４の零行列Ｏ4とからなる水平方向のＤＣＴを実行する４×８の行列と、８次の逆ＤＣＴ行列ｉＤ8からなる垂直方向のＤＣＴを実行する８×８の行列とを用いて、縮小逆離散コサイン変換を行うことにより、４×８の復号された画素データを得る。この縮小逆離散コサイン変換装置７２では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×８の画素から構成される標準解像度画像を復号することができる。
【０３１１】
加算装置７３は、縮小逆離散コサイン変換装置７２により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ７４に格納する。また、加算装置７３は、縮小逆離散コサイン変換装置７２により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置７５或いはフレームモード用動き補償装置７６により動き補償がされた参照画像を合成して、フレームメモリ７４に格納する。
【０３１２】
フレームメモリ７４のメモリ容量は、縮小逆離散コサイン変換装置７２において水平方向の解像度が１／２に間引かれるため、圧縮情報解析装置２に入力されるビットストリームが保持する解像度の１／２あればよい。
【０３１３】
フィールドモード用動き補償装置７５は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。このフィールドモード用動き補償装置７５は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７４に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【０３１４】
一方、水平方向については、フィールドモード用動き補償装置７５は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７４に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。これは、縮小逆離散コサイン変換装置７２において解像度が１／２に間引かれるためである。
【０３１５】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ７４から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【０３１６】
フィールドモード用動き補償装置７５は、このような処理を行うことにより、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置７５により動き補償がされた参照画像は、加算装置７３に供給され、インター画像に合成される。
【０３１７】
フレームモード用動き補償装置７６は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。このフレームモード用動き補償装置７６は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７４に記憶されているＩピクチャ及びＰピクチャの輝度信号に関する標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【０３１８】
一方、水平方向については、フレームモード用動き補償装置７６は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７４に記憶されているＩピクチャ及びＰピクチャの輝度信号に関する標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。
【０３１９】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ７４から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【０３２０】
フレームモード用動き補償装置７６は、このような処理を行うことにより、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置７６により動き補償がされた参照画像は、加算装置７３に供給され、インター画像に合成される。
【０３２１】
フィールドモード用縮小逆離散コサイン変換装置７７は、入力されたＩピクチャ及びＰピクチャに関する色差信号とＢピクチャとについてのビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置７７は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。即ち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置７７では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。即ち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【０３２２】
フレームモード用縮小逆離散コサイン変換装置７８は、入力されたＩピクチャ及びＰピクチャに関する色差信号とＢピクチャとについてのビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置７８は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置７８では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置７７で生成した標準解像度画像の画素の位相と同位相の画像を生成する。即ち、フレームモード用縮小逆離散コサイン変換装置７８で復号された画像データの各画素の位相は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０３２３】
加算装置７９は、フィールドモード用縮小逆離散コサイン変換装置７７又はフレームモード用縮小逆離散コサイン変換装置７８により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ８２に格納する。また、加算装置７９は、フィールドモード用縮小逆離散コサイン変換装置７７又はフレームモード用縮小逆離散コサイン変換装置７８により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置８０或いはフレームモード用動き補償装置８１により動き補償がされた参照画像を合成して、フレームメモリ８２に格納する。
【０３２４】
フィールドモード用動き補償装置８０は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。このフィールドモード用動き補償装置８０は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７４に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行った後、フィールド間の位相をも考慮した１／２の間引き処理が行われる。また、フィールドモード用動き補償装置８０は、垂直方向については、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ８２に記憶されている標準解像度画像の参照画像に対して、線形内挿による１／２画素精度の補間処理を行った後、フィールド間の位相をも考慮した１／２の間引き処理が行われる。
【０３２５】
一方、水平方向については、フィールドモード用動き補償装置８０は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７４に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。また、フィールドモード用動き補償装置８０は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ８２に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。
【０３２６】
フィールドモード用動き補償装置８０は、このような処理を行うことにより、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置８０により動き補償がされた参照画像は、加算装置７９に供給され、インター画像に合成される。
【０３２７】
フレームモード用動き補償装置８１は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。このフレームモード用動き補償装置８１は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７４に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行った後、フィールド間の位相をも考慮した１／２の間引き処理が行われる。また、フレームモード用動き補償装置８１は、垂直方向については、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ８２に記憶されている標準解像度画像の参照画像に対して、線形内挿による１／２画素精度の補間処理を行った後、フィールド間の位相をも考慮した１／２の間引き処理が行われる。
【０３２８】
一方、水平方向については、フレームモード用動き補償装置８１は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７４に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。また、フレームモード用動き補償装置８１は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ８２に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。
【０３２９】
フレームモード用動き補償装置８１は、このような処理を行うことにより、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置８１により動き補償がされた参照画像は、加算装置７９に供給され、インター画像に合成される。
【０３３０】
フレームメモリ８２のメモリ容量は、圧縮情報解析装置２に入力されるビットストリームが保持する解像度の１／４あればよい。
【０３３１】
画枠変換装置８３は、フレームメモリ７４が記憶した標準解像度の参照画像或いは加算装置７３が合成した画像と、フレームメモリ８２が記憶した標準解像度の参照画像或いは加算装置７９が合成した画像とが供給され、画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。
【０３３２】
以上のように構成された画像復号装置７０では、高解像度画像をＭＰＥＧ−２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力する。
【０３３３】
このように本発明を適用した第５の実施の形態である画像復号装置７０では、Ｉピクチャ及びＰピクチャに関する色差信号とＢピクチャとについて、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号する。この画像復号装置７０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、縮小逆離散コサイン変換を行うときに生じるトップフィールドとボトムフィールドとの間の位相ずれをなくし、出力する画像の画質を劣化させない。即ち、この画像復号装置７０では、フレームメモリ７４に格納された復号画像を出力する際に、位相補正をする必要が無く、処理が簡易化するとともに画質の劣化を生じさせない。
【０３３４】
以上述べたように、本発明を適用した第５の実施の形態である画像情報変換装置７０では、参照されるＩピクチャ及びＰピクチャの輝度信号については、水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【０３３５】
また、本発明を適用した第５の実施の形態である画像復号装置７０では、輝度信号に比べて画質の劣化がより人間の目につきにくいＩピクチャ及びＰピクチャの色差信号と参照されないＢピクチャについて、低域の４×４の係数のみに逆離散コサイン変換を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、更なる演算処理量とメモリ容量の削減が可能である。
【０３３６】
なお、上述した画像情報変換装置７０では、ＭＰＥＧ−２によるビットストリームが入力されているが、直交変換と動き補償によって符号化されたビットストリームであれば、例えばＭＰＥＧ−１やＨ．２６３等のようなビットストリームが入力されてもよい。また、入力されるビットストリームが、図２９に示したような４２０フォーマットである場合には、色差信号についてはフレームＤＣＴモードしか存在しないため、フィールドモード用縮小逆離散コサイン変換装置７７はなくてもよい。
【０３３７】
つぎに、本発明を適用した第６の実施の形態について、図面を参照しながら説明する。
【０３３８】
本発明を適用した第６の実施の形態である画像復号装置も、上述した第１の実施の形態である画像復号装置１と同様に、例えば、垂直方向の有効ライン数が１１５２本の高解像度画像である飛び越し走査画像をＭＰＥＧ−２（Moving Picture Experts Group phase - 2）で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が５７６本の標準解像度画像を出力する装置である。本発明を適用した第２の実施の形態である画像復号装置を図３６に示す。
【０３３９】
なお、この画像復号装置９０を説明するにあたり、上記第１の実施の形態である画像復号装置１と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０３４０】
画像復号装置９０は、この図３６に示すように、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析する圧縮情報解析装置２と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長復号装置３と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置４と、離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成する縮小逆離散コサイン変換装置５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置６と、加算装置６から供給されたビットストリームをＩピクチャ及びＰピクチャに関するビットストリームとＢピクチャに関するビットストリームとに分離するピクチャタイプ分離装置９１と、Ｂピクチャに関するビットストリームに対して垂直にフィルタリング処理を行うことにより、垂直方向に１／２に間引く処理を行う垂直方向間引き装置９２と、Ｉピクチャ及びＰピクチャと垂直方向に間引かれたＢピクチャとに関する参照画像を一時記憶するフレームメモリ９３と、フレームメモリ９３が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置９４と、フレームメモリ９３が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置９５と、フレームメモリ９３が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置９６とを備えている。
【０３４１】
ピクチャタイプ分離装置９１は、圧縮情報解析装置２により解析された解析結果情報に基づいて、入力されたビットストリームを、Ｉピクチャ及びＰピクチャに関するビットストリームとＢピクチャに関するビットストリームとに分離する。そして、ピクチャタイプ分離装置９１は、分離したＩピクチャ及びＰピクチャに関するビットストリームをフレームメモリ９３に供給し、分離したＢピクチャに関するビットストリームを垂直方向間引き装置９２に供給する。
【０３４２】
垂直方向間引き装置９２は、ピクチャタイプ分離装置９１により分離されたＢピクチャに関するビットストリームに対して垂直にフィルタリング処理を行うことにより、垂直方向に１／２に間引く処理を行う。そして、垂直方向間引き装置９２は、この垂直方向に１／２に間引いたＢピクチャに関するビットストリームをフレームメモリ９３に供給する。
【０３４３】
フレームメモリ９３のメモリ容量は、縮小逆離散コサイン変換装置５において水平方向の解像度が１／２に間引かれるため、圧縮情報解析装置２に入力されるビットストリームが保持する解像度の１／２あればよい。
【０３４４】
フィールドモード用動き補償装置９４は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。このフィールドモード用動き補償装置９４は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【０３４５】
一方、水平方向については、フィールドモード用動き補償装置９４は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ７に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。これは、縮小逆離散コサイン変換装置５において解像度が１／２に間引かれるためである。
【０３４６】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ７から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【０３４７】
フィールドモード用動き補償装置９４は、このような処理を行うことにより、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置９４により動き補償がされた参照画像は、加算装置６に供給され、インター画像に合成される。
【０３４８】
フレームモード用動き補償装置９５は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。このフレームモード用動き補償装置９５は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ９３に記憶されている標準解像度画像の参照画像に対して、垂直方向については、線形内挿による１／２画素精度の補間処理を行う。
【０３４９】
一方、水平方向については、フレームモード用動き補償装置９５は、入力されるビットストリーム中の動きベクトルの値等に応じて、フレームメモリ９３に記憶されている標準解像度画像の参照画像に対して、１／２精度相当の画素をハーフバンドフィルタのような２倍補間フィルタによって作りだし、この作り出した画素に基づいて１／４画素精度の補間処理を行う。
【０３５０】
なお、この際、ハーフバンドフィルタを用いてフレームメモリ７から供給された画素と同じ位相の画素値を予測画として出力する場合には、タップ数に応じた積和演算を行う必要がないため、高速な演算処理が可能である。また、ハーフバンドフィルタを用いる場合には、その係数をｘ／２n で表すことができるため、フィルタリングに必要な除算をシフト演算によって高速に処理することができる。または、４倍補間のフィルタリングによって、動き補償に必要な画素を直接生成しても良い。実際には、上述したような２倍補間フィルタと線形補間によって実行される２段階の補間が一度で行われるような係数を予め用意しておき、１段階の補間であるかの様に処理されている。
【０３５１】
フレームモード用動き補償装置９５は、このような処理を行うことにより、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置９５により動き補償がされた参照画像は、加算装置６に供給され、インター画像に合成される。
【０３５２】
画枠変換装置９６は、フレームメモリ９３が記憶した標準解像度の参照画像或いは加算装置６が合成した画像が供給され、この画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。また、画枠変換装置９６は、高解像度のテレビジョン規格の画枠を、１／４に縮小して標準解像度のテレビジョン規格の画枠に変換する。
【０３５３】
以上のように構成された画像復号装置９０では、高解像度画像をＭＰＥＧ−２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力する。
【０３５４】
以上述べたように、本発明を適用した第６の実施の形態である画像情報変換装置９０では、参照されるＩピクチャ及びＰピクチャの輝度信号については、水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【０３５５】
また、本発明を適用した第６の実施の形態である画像復号装置９０では、参照されないＢピクチャについて垂直にフィルタリング処理を行うことにより、垂直方向に１／２に間引く処理を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、更なる演算処理量とメモリ容量の削減が可能である。
【０３５６】
なお、上述した画像情報変換装置９０では、ＭＰＥＧ−２によるビットストリームが入力されているが、直交変換と動き補償によって符号化されたビットストリームであれば、例えばＭＰＥＧ−１やＨ．２６３等のようなビットストリームが入力されてもよい。
【０３５７】
【発明の効果】
以上説明したように、本発明に係る画像復号装置及び画像復号方法によれば、直交変換ブロックの水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因する画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【０３５８】
また、本発明に係る画像復号装置及び画像復号方法によれば、輝度信号については、水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因する画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【０３５９】
さらに、本発明に係る画像復号装置及び画像復号方法によれば、輝度信号に比べて画質の劣化がより人間の目につきにくい色差信号については、低域の４×４の係数のみに逆離散コサイン変換を行うことにより、更なる演算処理量とメモリ容量の削減が可能である。
【０３６０】
さらにまた、本発明に係る画像復号装置及び画像復号方法によれば、参照されるＩピクチャ及びＰピクチャについて、水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【０３６１】
さらにまた、本発明に係る画像復号装置及び画像復号方法によれば、参照されるＩピクチャ及びＰピクチャの輝度信号については、水平方向の低域の４係数及び垂直方向の８係数に対して逆離散コサイン変換を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、入力されたビットストリームの復号処理に必要な演算処理量とメモリ容量とを削減することができる。
【０３６２】
さらにまた、本発明に係る画像復号装置及び画像復号方法によれば、参照されないＢピクチャについて、低域の４×４の係数のみに逆離散コサイン変換を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、更なる演算処理量とメモリ容量の削減が可能である。
【０３６３】
さらにまた、本発明に係る画像復号装置及び画像復号方法によれば、参照されないＢピクチャについて垂直方向に間引く処理を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、更なる演算処理量とメモリ容量の削減が可能である。
【０３６４】
さらにまた、本発明に係る画像復号装置及び画像復号方法によれば、輝度信号に比べて画質の劣化がより人間の目につきにくいＩピクチャ及びＰピクチャの色差信号と参照されないＢピクチャについて、低域の４×４の係数のみに逆離散コサイン変換を行うことにより、飛び越し走査に起因したドリフトノイズによる画質の劣化を防止し、更なる演算処理量とメモリ容量の削減が可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像復号装置のブロック図である。
【図２】本発明の第１の実施の形態の画像復号装置の縮小逆離散コサイン変換処理を説明するための図である。
【図３】上記第１の実施の形態の画像復号装置の縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図４】上記第１の実施の形態の画像復号装置の画枠変換装置における補間処理を説明するための図である。
【図５】上記第１の実施の形態の画像復号装置のフィールドモード用動き補償装置における補間処理を説明するための図である。
【図６】上記第１の実施の形態の画像復号装置のフレームモード用動き補償装置における補間処理を説明するための図である。
【図７】本発明の第２の実施の形態の画像復号装置のブロック図である。
【図８】上記第２の実施の形態の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図９】上記第２の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図１０】上記第２の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理の内容を説明するための図である。
【図１１】上記第２の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の２ブロック処理の内容を説明するための図である。
【図１２】４２０フォーマットのマクロブロック内の輝度成分及び色差成分のＤＣＴブロックについて説明をする図である。
【図１３】Ｗａｎｇのアルゴリズムを上記第２の実施の形態の画像復号装置のフィールドモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図１４】Ｗａｎｇのアルゴリズムを上記第２の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理に適用した場合の演算フローを示す図である。
【図１５】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図１６】本発明の第３の実施の形態の画像復号装置のブロック図である。
【図１７】上記第３の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図１８】上記第３の実施の形態の画像復号装置のフィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図１９】１つの行列により処理を行う場合の上記フィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図２０】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図２１】上記４×８位相補正ＩＤＣＴ行列の設計に必要となるプロトタイプフィルタの周波数特性を説明するための図である。
【図２２】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図２３】ポリフェイズフィルタを説明するための図である。
【図２４】入力信号に対して１／４位相ずれた信号を出力するポリフェイズフィルタを説明するための図である。
【図２５】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列を説明するための図である。
【図２６】上記第３の実施の形態の画像復号装置のフレームモード用位相補正縮小逆離散コサイン変換装置の１ブロック処理の内容を説明するための図である。
【図２７】フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図２８】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図２９】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図３０】上記フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列を説明するための図である。
【図３１】上記第３の実施の形態の画像復号装置のフレームモード用位相補正縮小逆離散コサイン変換装置の２ブロック処理の内容を説明するための図である。
【図３２】上記第３の実施の形態の画像復号装置のフィールドモード用動き補償装置における補間処理を説明するための図である。
【図３３】上記第３の実施の形態の画像復号装置のフレームモード用動き補償装置における補間処理を説明するための図である。
【図３４】本発明の第４の実施の形態の画像復号装置のブロック図である。
【図３５】本発明の第５の実施の形態の画像復号装置のブロック図である。
【図３６】本発明の第６の実施の形態の画像復号装置のブロック図である。
【図３７】従来の第１の画像復号装置を示すブロック図である。
【図３８】従来の第２の画像復号装置を示すブロック図である。
【図３９】従来の第３の画像復号装置を示すブロック図である。
【図４０】圧縮したビットストリームからなるＨＤテストシーケンス”開会式”を、従来の画像復号装置で復号化した時の所定のＢピクチャによる出力画像を示す図である。
【符号の説明】
１  画像復号装置、２  圧縮情報解析装置、３  可変長復号装置、４  逆量子化装置、５  縮小逆離散コサイン変換装置、６  加算装置、７  フレームメモリ、８  フィールドモード用動き補償装置、９  フレームモード用動き補償装置、１０  画枠変換装置
【図１】
0003975629.tif 000023
【図２】
0003975629.tif 000024
【図３】
0003975629.tif 000025
【図４】
0003975629.tif 000026
【図５】
0003975629.tif 000027
【図６】
0003975629.tif 000028
【図７】
0003975629.tif 000029
【図８】
0003975629.tif 000030
【図９】
0003975629.tif 000031
【図１０】
0003975629.tif 000032
【図１１】
0003975629.tif 000033
【図１２】
0003975629.tif 000034
【図１３】
0003975629.tif 000035
【図１４】
0003975629.tif 000036
【図１５】
0003975629.tif 000037
【図１６】
0003975629.tif 000038
【図１７】
0003975629.tif 000039
【図１８】
0003975629.tif 000040
【図１９】
0003975629.tif 000041
【図２０】
0003975629.tif 000042
【図２１】
0003975629.tif 000043
【図２２】
0003975629.tif 000044
【図２３】
0003975629.tif 000045
【図２４】
0003975629.tif 000046
【図２５】
0003975629.tif 000047
【図２６】
0003975629.tif 000048
【図２７】
0003975629.tif 000049
【図２８】
0003975629.tif 000050
【図２９】
0003975629.tif 000051
【図３０】
0003975629.tif 000052
【図３１】
0003975629.tif 000053
【図３２】
0003975629.tif 000054
【図３３】
0003975629.tif 000055
【図３４】
0003975629.tif 000056
【図３５】
0003975629.tif 000057
【図３６】
0003975629.tif 000058
【図３７】
0003975629.tif 000059
【図３８】
0003975629.tif 000060
【図３９】
0003975629.tif 000061
【図４０】
0003975629.tif 000062