(57)【要約】  階層符号化を行う動画像符号化方法は、入力画像信号に対して第１の処理を行った後に空間方向に階層分割して第１の信号を得るステップと、入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の処理を行って第２の信号を得るステップと、第１の信号と前記第２の信号を符号化するステップと、を有する。第１及び第２の処理は、例えば、第１及び第２の時間方向フィルタリングであり、第１及び第２の信号は、それぞれ、時間フィルタリング下位階層信号及び上位階層時間フィルタリング信号である。【特許請求の範囲】
【請求項１】
階層符号化を行う動画像符号化方法であって、
入力画像信号に対して第１の処理を行った後に空間方向に階層分割して第１の信号を得るステップと、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の処理を行って第２の信号を得るステップと、
前記第１の信号と前記第２の信号を符号化するステップと、
を有する動画像符号化方法。
【請求項２】
階層符号化を行う動画像符号化方法であって、
入力画像信号を、前記入力画像信号に対して第１の処理を行った後に空間方向に階層分割して得られる第１の信号と、前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の処理を行って得られた第２の信号と、に分割する時空間階層分割処理を行うステップと、
前記縮小入力画像信号に対して前記時空間階層分割を再帰的に行った後に、各階層の信号を符号化するステップと、
を有する動画像符号化方法。
【請求項３】
前記第１の処理が第１の時間方向フィルタリングであり、前記第２の処理が第２の時間方向フィルタリングであり、前記第１の信号が時間フィルタリング下位階層信号であり、前記第２の信号が上位階層時間フィルタリング信号である、請求項１または２に記載の動画像符号化方法。
【請求項４】
前記第１の処理が第１の動き補償処理であり、前記第２の処理が第２の動き補償処理であり、前記第１の信号が予測誤差下位階層信号であり、前記第２の信号が上位階層予測誤差信号である、請求項１または２に記載の動画像符号化方法。
【請求項５】
前記解像度変換フィルタが、階層分割処理における上位の階層の信号を生成するフィルタと同一である、請求項１または２に記載の動画像符号化方法。
【請求項６】
入力画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を複数回実行するステップを有し、
前記三次元サブバンド分割処理は、
前記入力画像信号におけるフレーム間および前記入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号のバンド間で、動きを表す動き情報を算出する動き情報算出ステップと、
前記入力画像信号および前記イントラバンド信号において、前記動き情報算出ステップで得られた動き情報に従って動き補償をした後に時間方向にサブバンド分割することで時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号とを得る時間サブバンド分割ステップと、
前記時間高周波帯域サブバンド信号を空間方向にサブバンド分割し、時間高周波空間低周波帯域サブバンドと時間高周波空間高周波帯域サブバンドを生成する時間高周波帯域サブバンド信号空間分割ステップと、
前記時間低周波帯域サブバンド信号を空間方向にサブバンド分割し、時間低周波空間低周波帯域サブバンドと時間低周波空間高周波帯域サブバンドを生成する時間低周波帯域サブバンド信号空間分割ステップと、
前記イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割ステップと、
を有し、
前記入力画像信号に対して前記時間サブバンド分割ステップと前記時間高周波帯域サブバンド信号空間分割ステップと前記時間低周波帯域サブバンド信号空間分割ステップと前記バンド信号空間分割ステップとが実行され、
前記バンド信号空間分割ステップの後に得られた低周波帯域イントラサブバンドを前記イントラバンド信号として、前記時間サブバンド分割ステップと前記時間高周波帯域サブバンド信号空間分割ステップと前記時間低周波帯域サブバンド信号空間分割ステップと前記バンド信号空間分割ステップとが再帰的に繰り返され、その度に、前記時間低周波空間低周波帯域サブバンドと前記時間高周波空間低周波帯域サブバンドが、それぞれ、直後の前記時間サブバンド分割ステップで得られる前記時間低周波帯域サブバンド信号と前記時間高周波帯域サブバンド信号とに置き換えられる、動画像符号化方法。
【請求項７】
前記時間サブバンド分割ステップにおいて同一周波数帯域にある２枚のイントラバンド信号に対して時間サブバンド分割を行う際に、得られた時間高周波帯域サブバンド信号及び時間低周波帯域サブバンド信号の一方が、過去方向にあるバンド信号に対応づけられて、前記得られた時間高周波帯域サブバンド信号及び前記時間低周波帯域サブバンド信号の他方が、未来方向にあるバンド信号に対応づけられている、請求項６に記載の動画像符号化方法。
【請求項８】
入力画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を複数回実行するステップを有し、
前記三次元サブバンド分割処理は、
入力画像信号におけるフレーム間および前記入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号におけるバンド間で、動きを表す動き情報を算出する動き情報算出ステップと、
前記入力画像信号および前記イントラバンド信号において、前記動き情報算出ステップで得られた動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測ステップと、
前記予測誤差信号を空間方向にサブバンド分割し、低周波帯域予測誤差サブバンドと高周波帯域予測誤差サブバンドを生成する予測誤差信号空間分割ステップと、
前記イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割ステップと、
を有し、
前記入力画像信号に対して前記動き情報算出ステップと前記動き補償予測ステップと前記予測誤差信号空間分割ステップと前記バンド信号空間分割ステップとが実行され、
前記バンド信号空間分割ステップの後に得られた低周波帯域イントラサブバンドを前記イントラバンド信号として、前記動き情報算出ステップと前記動き補償予測ステップと前記予測誤差信号空間分割ステップと前記バンド信号空間分割ステップとが再帰的に繰り返され、その度に前記予測誤差信号空間分割ステップで得られる前記低周波帯域予測誤差サブバンドが、直後の動き補償予測符号化ステップで得られる前記予測誤差信号に置き換えられる、動画像符号化方法。
【請求項９】
前記動き補償予測ステップにおいて、同一周波数帯域にある２枚のイントラバンド信号に対して、過去方向または未来方向のいずれか一方にあるバンド信号を参照信号とする、請求項８に記載の動画像符号化方法。
【請求項１０】
前記動き補償予測ステップにおいて、同一周波数帯域にある複数のイントラバンド信号において１枚の符号化対象バンド信号を除いたバンド信号を参照信号とし、動き補償処理において、前記複数の参照信号の重み付け平均を使用する、請求項８に記載の動画像符号化方法。
【請求項１１】
動き補償予測ステップにおいて、同一周波数帯域にあるイントラバンド信号の動き補償処理時に、参照信号となるバンド信号を１つもしくは複数の画素ごとに切り替える、こ請求項８に記載の動画像符号化方法。
【請求項１２】
階層化された符号化データを復号する動画像復号方法であって、
第１の処理後の信号である第１の信号と、第２の処理で得られる第２の信号を空間方向に階層分割した第３の信号と、前記第２の処理を規定する処理情報とを復号するステップと、
前記第１の信号と前記処理情報とから第４の信号を生成するステップと、
前記第３の信号と前記第４の信号とを合成した後に前記第２の処理の逆変換を行い復号画像を得るステップと、
を有する動画像復号方法。
【請求項１３】
前記第１の処理が第１の時間方向フィルタリングであり、前記第２の処理が第２の時間方向フィルタリングであり、前記第１の信号が上位階層時間フィルタリング信号であり、前記第２の信号が時間フィルタリング信号であり、前記第３の信号が時間フィルタリング下位階層信号であり、前記第４の信号が時間フィルタリング上位階層信号であり、前記処理情報が時間フィルタリング情報である、請求項１２に記載の動画像復号方法。
【請求項１４】
前記第１の処理が第１の動き補償処理であり、前記第２の処理が第２の動き補償処理であり、前記第１の信号が上位階層予測誤差信号であり、前記第２の信号が予測誤差信号であり、前記第３の信号が予測誤差下位階層信号であり、前記第４の信号が予測誤差上位階層信号であり、前記処理情報が動き情報である、請求項１２に記載の動画像復号方法。
【請求項１５】
階層化された符号化データをフレーム単位に階層合成した後に時間方向逆フィルタリングを行うことで復号画像を得る動画像復号方法であって、
第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の時間方向フィルタリングで得られる時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、前記第２の時間方向フィルタリングを規定する時間フィルタリング情報とを復号するステップと、
前記上位階層時間フィルタリング信号と前記時間フィルタリング情報とから時間フィルタリング上位階層信号を生成するステップと、
前記時間フィルタリング上位階層信号と前記時間フィルタリング下位階層信号とを合成して合成時間フィルタリング信号を生成する時間フィルタリング信号合成処理を行うステップと、
前記合成時間フィルタリング信号を上位階層時間フィルタリング信号とみなして注目する階層の下位階層における時間フィルタリング情報と時間フィルタリング下位階層信号とを復号して再帰的に時間フィルタリング合成処理を行った後、時間方向逆フィルタリングを行うことで復号画像を得るステップと、
を有する動画像復号方法。
【請求項１６】
階層化された符号化データをフレーム単位に階層合成した後に動き補償合成処理を行うことで復号画像を得る動画像復号方法であって、
第１の動き補償予測後の信号である上位階層予測誤差信号と、第２の動き補償予測で得られる予測誤差信号を１段階空間方向に階層分割した予測誤差下位階層信号と、前記第２の動き補償予測を規定する動き情報とを復号するステップと、
前記上位階層予測誤差信号と前記動き情報とから予測誤差上位階層信号を生成するステップと、
前記予測誤差上位階層信号と前記予測誤差下位階層信号とを合成して合成予測誤差信号を生成する予測誤差信号合成処理を行うステップと、
前記合成予測誤差信号を上位階層予測誤差信号とみなして注目する階層の下位階層における動き情報と予測誤差下位階層信号とを復号して再帰的に予測誤差合成処理を行った後、動き補償合成処理を行うことで復号画像を得るステップと、
を有する動画像復号方法。
【請求項１７】
サブバンド信号をフレームごとに空間方向にサブバンド合成した後、時間低周波帯域サブバンドと時間高周波帯域サブバンドに時間方向サブバンド合成を行う三次元サブバンド合成処理によって、復号画像信号を生成するステップを有し、
前記三次元サブバンド合成処理は、
前記時間高周波帯域サブバンドの空間方向の低周波帯域の信号である時間高周波空間低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとに加えて、前記時間高周波空間低周波帯域信号に対して同一周波数帯域にある時間低周波空間低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである時間低周波空間高周波帯域サブバンドとの双方もしくはいずれか一方と、前記時間高周波帯域サブバンドに対応する動き補償処理を規定する動き情報とを参照し、合成時間高周波サブバンド信号を生成する時間高周波サブバンド合成ステップと、
前記時間低周波空間低周波帯域サブバンドと前記時間低周波空間高周波帯域サブバンドとを合成する時間低周波サブバンド空間合成ステップと、
前記時間低周波帯域サブバンドと前記時間高周波帯域サブバンドに動き補償予測処理を行った後、時間方向サブバンド合成を行う時間方向合成ステップと、
を有し、
前記時間高周波帯域サブバンドの最低周波帯域にある時間高周波空間低周波帯域信号に対して前記時間高周波サブバンド合成ステップが、前記時間低周波帯域サブバンドの最低周波帯域にある時間低周波空間低周波帯域サブバンドに対して前記時間低周波サブバンド空間合成ステップが行なわれ、
前記時間高周波サブバンド合成ステップによって得られるバンド信号を新たに時間高周波空間低周波帯域信号、前記時間低周波サブバンド空間合成ステップによって得られるバンド信号を新たに時間低周波空間低周波帯域サブバンドとみなして、前記時間高周波サブバンド空間合成ステップと前記時間低周波サブバンド空間合成ステップとが再帰的に繰り返され、前記時間低周波帯域サブバンドおよび時間高周波帯域サブバンドが得られる、動画像復号方法。
【請求項１８】
時間高周波サブバンド合成ステップは、
前記時間高周波空間低周波帯域信号と同一周波数帯域にある時間低周波空間低周波帯域サブバンドと動き情報とを用い時間高周波空間低周波帯域サブバンドを推定する時間高周波サブバンド推定ステップと、
前記時間高周波サブバンド推定ステップによって得られる推定時間高周波空間低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとをサブバンド合成する時間高周波サブバンド空間合成ステップと、
を有する、請求項１７に記載の動画像復号方法。
【請求項１９】
時間高周波サブバンド推定ステップにおいて、時間高周波サブバンドに対応する動き補償を規定する動き情報を用いて、前記動き補償において生成される予測信号のうち低周波帯域イントラサブバンドのみに由来する信号の低周波数帯域サブバンドと前記動き補償における現フレーム信号の低周波帯域サブバンドとの時間方向サブバンド分割を、時間高周波空間低周波帯域サブバンドの推定値とする、請求項１８に記載の動画像復号方法。
【請求項２０】
前記時間高周波サブバンド推定ステップは、
前記時間高周波サブバンドに対応する動き補償を規定する動き情報を用いて、前記予測誤差信号と予測誤差低周波帯域信号とのバンド間解像度比に比例して前記時間高周波帯域成分を縮小するステップと、
縮小された前記時間高周波帯域成分に対して動き補償処理を行った後に、時間方向サブバンド分割を行い、得られた値を前記時間高周波空間低周波帯域サブバンドの推定値とするステップと、
を有する、請求項１８記載の動画像復号方法。
【請求項２１】
前記時間高周波サブバンド合成ステップは、
前記時間低周波空間低周波帯域サブバンドと前記時間低周波空間高周波帯域サブバンドと前記動き情報とを用い時間高周波空間低周波帯域サブバンドを推定する時間高周波サブバンド推定ステップと、
前記時間高周波サブバンド推定ステップによって得られる推定時間高周波空間低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとをサブバンド合成する時間高周波サブバンド空間合成ステップと、
を有する、からなることを特徴とする請求項１７に記載の動画像復号方法。
【請求項２２】
前記時間サブバンド合成ステップにおいて、同一周波数帯域にある２枚のバンド信号に対して、未来方向にある前記バンド信号と過去方向にある前記バンド信号とのいずれか一方が前記時間高周波帯域サブバンド信号と対応付けられ、前記未来方向にあるバンド信号と前記過去方向にあるバンド信号とのうちの他方が前記時間低周波帯域サブバンド信号と対応付けられて、時間サブバンド合成が行なわれる、請求項１７乃至２１のいずれか１項に記載の動画像復号方法。
【請求項２３】
前記時間サブバンド合成ステップは、前記動き補償処理に、該バンド信号以外のバンド信号の重み付け平均処理を含む、請求項１７乃至２１のいずれか１項に記載の動画像復号方法。
【請求項２４】
前記時間サブバンド合成ステップにおいて、バンド信号の一つもしくは複数の画素ごとに時間サブバンド合成を行う対となるバンド信号が切り替えられる、請求項１７乃至２１のいずれかに１項記載の動画像復号方法。
【請求項２５】
復号画像信号を生成する動画像復号方法であって、
サブバンド信号をフレームごとに空間方向にサブバンド合成した後、前記合成されたイントラバンド信号と予測誤差信号に動き補償処理を行う三次元サブバンド合成処理を実行するステップを有し、
前記三次元サブバンド合成処理が、
前記予測誤差信号の低周波帯域の信号である予測誤差低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである高周波帯域予測誤差サブバンドとに加え、前記予測誤差低周波帯域信号に対して同一周波数帯域にある低周波帯域イントラサブバンドと前記低周波帯域イントラサブバンドに隣接する高周波帯域のサブバンドである高周波帯域イントラサブバンドとの双方もしくはいずれか一方と、前記予測誤差信号に対応する動き補償処理を規定する動き情報とを参照して合成サブバンド予測誤差信号を生成する予測誤差信号合成ステップと、
前記低周波帯域イントラサブバンドと前記高周波帯域イントラサブバンドとを合成するイントラバンド信号空間合成ステップと、
前記イントラバンド信号に動き補償予測処理を行い前記合成予測誤差信号を加えることで前記復号画像信号を得る動き補償復号ステップと、
を有し、
前記予測誤差信号の最低周波帯域にある予測誤差低周波帯域信号に対して前記予測誤差信号合成ステップが実行され、
前記イントラバンド信号の最低周波帯域にあるイントラ低周波帯域サブバンドに対して前記イントラバンド信号空間合成ステップが実行され、
前記予測誤差信号合成ステップによって得られるバンド信号を新たに予測誤差低周波帯域信号とみなし、前記イントラバンド信号空間合成ステップによって得られるバンド信号を新たにイントラ低周波帯域サブバンドとみなし、前記予測誤差信号合成ステップと前記イントラバンド信号空間合成ステップとを再帰的に繰り返すことで、前記イントラバンド信号および前記予測誤差信号が得られる、動画像復号方法。
【請求項２６】
前記予測誤差信号合成ステップは、
前記予測誤差低周波帯域信号と前記低周波帯域イントラサブバンドと前記動き情報とを用い、前記予測誤差信号の低周波帯域のサブバンドである低周波帯域予測誤差サブバンドを推定する予測誤差サブバンド推定ステップと、
前記予測誤差サブバンド推定ステップによって得られる推定予測誤差低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである高周波帯域予測誤差サブバンドとをサブバンド合成する予測誤差信号空間合成ステップと、
を有する、請求項２５に記載の動画像復号方法。
【請求項２７】
前記予測誤差サブバンド推定ステップは、前記予測誤差信号に対応する動き補償を規定する動き情報を用いて、前記動き補償において生成される予測信号のうち低周波帯域イントラサブバンドのみに由来する信号の低周波数帯域サブバンドと、前記動き補償における現フレーム信号の低周波帯域サブバンドとの差を低周波帯域予測誤差サブバンドの推定値とするステップを有する、請求項２６に記載の動画像復号方法。
【請求項２８】
前記予測誤差サブバンド推定ステップは、前記予測誤差信号に対応する動き補償を規定する動き情報を用いて、前記予測誤差信号と前記予測誤差低周波帯域信号とについての、バンド間解像度比に比例して縮小した上で動き補償処理を行った結果を、前記低周波帯域予測誤差サブバンドの推定値とする、請求項２６に記載の動画像復号方法。
【請求項２９】
前記予測誤差信号合成ステップは、
前記予測誤差低周波帯域信号と前記低周波帯域イントラサブバンドと前記高周波帯域イントラサブバンドと前記動き情報とを用い、前記予測誤差信号の低周波帯域のサブバンドである低周波帯域予測誤差サブバンドを推定する予測誤差サブバンド推定ステップと、
前記前記予測誤差サブバンド推定ステップによって得られる推定予測誤差低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである高周波帯域予測誤差サブバンドとをサブバンド合成する予測誤差信号空間合成ステップと、
を有する、請求項２５に記載の動画像復号方法。
【請求項３０】
前記動き補償復号ステップにおいて、同一周波数帯域にある２枚のバンド信号に対して、過去方向または未来方法のいずれか一方にあるバンド信号が参照信号とされる、請求項２５乃至２９のいずれか１項に記載の動画像復号方法。
【請求項３１】
前記動き補償復号ステップにおいて、同一周波数帯域にある複数のバンド信号における動き補償処理は、前記複数の参照信号の重み付け平均を利用する、請求項２５乃至２９のいずれか１項に記載の動画像復号方法。
【請求項３２】
動き補償復号ステップは、同一周波数帯域にあるバンド信号の動き補償処理時に参照信号となるバンド信号を一つもしくは複数の画素ごとに切り替えるステップを有する、請求項２５乃至２９のいずれか１項に記載の動画像復号方法。
【請求項３３】
階層符号化を行う動画像符号化装置であって、
入力画像信号について、第１の時間方向フィルタリングを行った後に空間方向に階層分割して得られる時間フィルタリング下位階層信号を符号化する時間フィルタリング下位階層信号符号化手段と、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の時間方向フィルタリングを行って得られる上位階層時間フィルタリング信号を符号化する上位階層時間フィルタリング信号符号化手段と、
を有する動画像符号化装置。
【請求項３４】
階層符号化を行う動画像符号化装置であって、
入力画像信号について、第１の動き補償処理を行った後に空間方向に階層分割して得られる予測誤差下位階層信号を符号化する予測誤差下位階層信号符号化手段と、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の動き補償処理を行って得られる上位階層予測誤差信号を符号化する上位階層予測誤差信号符号化手段と、
を有する動画像符号化装置。
【請求項３５】
階層符号化を行う動画像符号化装置であって、
入力画像信号に対して、第１の時間方向フィルタリングを行った後に空間方向に階層分割して時間フィルタリング下位階層信号を生成する時間フィルタリング下位階層信号生成手段と、
前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の時間方向フィルタリングを行って上位階層時間フィルタリング信号を生成する上位階層時間フィルタリング信号生成手段と、
を有し、
前記縮小入力画像信号に対して、前記時間フィルタリング下位階層信号の生成と前記上位階層時間フィルタリング信号の生成とが再帰的に行なわれ、そののち、各階層信号が符号化される、動画像符号化装置。
【請求項３６】
階層符号化を行う動画像符号化装置であって、
入力画像信号に対して、第１の動き補償予測を行った後に空間方向に階層分割して予測誤差下位階層信号を生成する予測誤差下位階層信号生成手段と、
前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の動き補償予測を行って上位階層予測誤差信号を生成する上位階層予測誤差信号生成手段と、
を有し、
前記縮小入力画像信号に対して前記予測誤差下位階層信号の生成と前記上位階層予測誤差信号の生成とが再帰的に行なわれ、そののちに、各階層信号が符号化される、動画像符号化装置。
【請求項３７】
入力画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を複数回行う動画像符号化装置であって、
前記入力画像信号におけるフレーム間および前記入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号のバンド間で、動きを表す動き情報を算出する動き情報算出手段と、
前記入力画像信号および前記イントラバンド信号に対して、前記動き情報算出手段で得られた動き情報に従って動き補償をした後に、時間方向にサブバンド分割することで時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号とを得る時間サブバンド分割手段と、
前記時間高周波帯域サブバンド信号を空間方向にサブバンド分割し、時間高周波空間低周波帯域サブバンドと時間高周波空間高周波帯域サブバンドとを生成する時間高周波帯域サブバンド信号空間分割手段と、
前記時間低周波帯域サブバンド信号を空間方向にサブバンド分割し、時間低周波空間低周波帯域サブバンドと時間低周波空間高周波帯域サブバンドとを生成する時間低周波帯域サブバンド信号空間分割手段と、
前記イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割手段と、
を有し、
前記入力画像信号が、前記時間サブバンド分割手段と前記時間高周波帯域サブバンド信号空間分割手段と前記時間低周波帯域サブバンド信号空間分割手段と前記バンド信号空間分割手段とによって処理され、前記バンド信号空間分割手段から得られた低周波帯域イントラサブバンドをイントラバンド信号として、前記時間サブバンド分割手段と前記時間高周波帯域サブバンド信号空間分割手段と前記時間低周波帯域サブバンド信号空間分割手段と前記バンド信号空間分割手段とによる処理が再帰的に繰り返され、その度に、前記時間低周波空間低周波帯域サブバンドと前記時間高周波空間低周波帯域サブバンドが、それぞれ、直後に前記時間サブバンド分割手段によって得られる時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号によって置き換えられる、動画像符号化装置。
【請求項３８】
入力画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を複数回行う動画像符号化装置であって、
前記入力画像信号におけるフレーム間および前記入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号におけるバンド間で、動きを表す動き情報を算出する動き情報算出手段と、
前記入力画像信号および前記イントラバンド信号に対して、前記動き情報算出手段で得られた動き情報に従って動き補償予測処理を行い、予測誤差信号を得る動き補償予測手段と、
前記予測誤差信号を空間方向にサブバンド分割し、低周波帯域予測誤差サブバンドと高周波帯域予測誤差サブバンドを生成する予測誤差信号空間分割手段と、
前記イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割手段と、
を有し、
前記入力画像信号が、前記動き情報算出手段と前記動き補償予測手段と前記予測誤差信号空間分割手段と前記バンド信号空間分割手段とによって処理され、前記バンド信号空間分割手段から得られた低周波帯域イントラサブバンドをイントラバンド信号として、前記動き情報算出手段と前記動き補償予測手段と前記予測誤差信号空間分割手段と前記バンド信号空間分割手段とによる処理が再帰的に繰り返され、その度に、前記予測誤差信号空間分割手段で得られる低周波帯域予測誤差サブバンドが、直後に前記動き補償予測符号化手段で得られる予測誤差信号に置き換えられる、動画像符号化装置。
【請求項３９】
階層化された符号化データを復号する動画像復号装置であって、
第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の時間方向フィルタリングで得られる時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、前記第２の時間方向フィルタリングを規定する時間フィルタリング情報とを復号する階層符号復号手段と、
前記上位階層時間フィルタリング信号と前記時間フィルタリング情報とから時間フィルタリング上位階層信号を生成する時間フィルタリング上位階層信号生成手段と、
前記時間フィルタリング上位階層信号と前記時間フィルタリング下位階層信号とを合成した後に前記第２の時間方向フィルタリングの逆変換を行う時間フィルタリング信号合成手段と、
を有する、動画像復号装置。
【請求項４０】
階層化された符号化データを復号する動画像復号装置であって、
第１の動き補償処理後の信号である上位階層予測誤差信号と、第２の動き補償予測で得られる予測誤差信号を空間方向に階層分割した予測誤差下位階層信号と、前記第２の動き補償予測を規定する動き情報とを復号する階層符号復号手段と、
前記上位階層予測誤差信号と前記動き情報とから予測誤差上位階層信号を生成する予測誤差上位階層信号生成手段と、
前記予測誤差上位階層信号と前記予測誤差下位階層信号とを合成した後に前記第２の動き補償に基づく合成処理を行う、動き補償合成手段と、
を有する、動画像復号装置。
【請求項４１】
階層化された符号化データをフレーム単位に階層合成した後に時間方向逆フィルタリングを行うことで復号画像を得る動画像復号装置であって、
第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の時間方向フィルタリングで得られる時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、前記第２の時間方向フィルタリングを規定する時間フィルタリング情報とを復号する階層符号復号手段と、
前記上位階層時間フィルタリング信号と前記時間フィルタリング情報とから時間フィルタリング上位階層信号を生成する時間フィルタリング上位階層信号生成手段と、
前記時間フィルタリング上位階層信号と前記時間フィルタリング下位階層信号とを合成して合成時間フィルタリング信号を生成する時間フィルタリング信号合成手段と、
を有し、
前記合成時間フィルタリング信号を上位階層時間フィルタリング信号とみなし、注目する階層の下位階層における時間フィルタリング情報と時間フィルタリング下位階層信号とを復号する前記階層符号復号手段による処理と、前記時間フィルタリング上位階層信号生成手段による処理と、前記時間フィルタリング信号合成手段による処理とが再帰的に行なわれ、その後、時間方向逆フィルタリングを行うことで復号画像を得る、動画像復号装置。
【請求項４２】
階層化された符号化データをフレーム単位に階層合成した後に動き補償合成処理を行うことで復号画像を得る動画像復号装置であって、
第１の動き補償予測後の信号である上位階層予測誤差信号と、第２の動き補償予測で得られる予測誤差信号を空間方向に階層分割した予測誤差下位階層信号と、前記第２の動き補償予測を規定する動き情報とを復号する階層符号復号手段と、
前記上位階層予測誤差信号と前記予測誤差情報とから予測誤差上位階層信号を生成する予測誤差上位階層信号生成手段と、
前記予測誤差上位階層信号と前記予測誤差下位階層信号とを合成して合成予測誤差信号を生成する予測誤差信号合成手段と、
を有し、
前記合成予測誤差信号を上位階層予測誤差信号とみなし、注目する階層の下位階層における予測誤差情報と予測誤差下位階層信号とを復号する前記階層符号復号手段による処理と、前記予測誤差上位階層信号生成手段による処理と、前記予測誤差信号合成手段による処理とが再帰的に行なわれ、そののち、動き補償合成処理を行うことで復号画像を得る、動画像復号装置。
【請求項４３】
サブバンド信号をフレームごとに空間方向にサブバンド合成した後、時間低周波帯域サブバンドと時間高周波帯域サブバンドに時間方向サブバンド合成を行う三次元サブバンド合成処理によって、復号画像信号を生成する動画像復号装置であって、
前記時間高周波帯域サブバンドの空間方向の低周波帯域の信号である時間高周波空間低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとに加えて、前記時間高周波空間低周波帯域信号に対して同一周波数帯域にある時間低周波空間低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである時間低周波空間高周波帯域サブバンドとの双方もしくはいずれか一方と、前記時間高周波帯域サブバンドに対応する動き補償処理を規定する動き情報とを参照し、合成時間高周波サブバンド信号を生成する時間高周波サブバンド合成手段と、
前記時間低周波空間低周波帯域サブバンドと前記時間低周波空間高周波帯域サブバンドとを合成する時間低周波サブバンド空間合成手段と、
前記時間低周波帯域サブバンドと時間高周波帯域サブバンドに動き補償予測処理を行った後、時間方向サブバンド合成を行う時間方向合成手段と、
を有し、
前記時間高周波帯域サブバンドの最低周波帯域にある時間高周波空間低周波帯域信号を前記時間高周波サブバンド合成手段によって処理し、
前記時間低周波帯域サブバンドの最低周波帯域にある時間低周波空間低周波帯域サブバンドを時間低周波サブバンド空間合成手段によって処理し、
前記時間高周波サブバンド合成手段によって得られるバンド信号を新たに時間高周波空間低周波帯域信号とみなし、前記時間低周波サブバンド空間合成手段によって得られるバンド信号を新たに時間低周波空間低周波帯域サブバンドとみなして、前記時間高周波サブバンド空間合成手段と前記時間低周波サブバンド空間合成手段とによる処理を再帰的に繰り返すことで、前記時間低周波帯域サブバンドおよび時間高周波帯域サブバンドを得る、動画像復号装置。
【請求項４４】
サブバンド信号をフレームごとに空間方向にサブバンド合成した後、前記合成されたイントラバンド信号と予測誤差信号に動き補償処理を行う三次元サブバンド合成処理によって、復号画像信号を生成する動画像復号装置であって、
前記予測誤差信号の低周波帯域の信号である予測誤差低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである高周波帯域予測誤差サブバンドとに加え、前記予測誤差低周波帯域信号に対して同一周波数帯域にある低周波帯域イントラサブバンドと前記低周波帯域イントラサブバンドに隣接する高周波帯域のサブバンドである高周波帯域イントラサブバンドとの双方もしくはいずれか一方と、前記予測誤差信号に対応する動き補償処理を規定する動き情報とを参照して合成サブバンド予測誤差信号を生成する予測誤差信号合成手段と、
前記低周波帯域イントラサブバンドと前記高周波帯域イントラサブバンドとを合成するイントラバンド信号空間合成手段と、
前記イントラバンド信号に動き補償予測処理を行い前記合成予測誤差信号を加えることで前記復号画像信号を得る動き補償復号手段と、
を有し、
前記予測誤差信号の最低周波帯域にある予測誤差低周波帯域信号が前記予測誤差信号合成手段によって処理され、
前記イントラバンド信号の最低周波帯域にあるイントラ低周波帯域サブバンドが前記イントラバンド信号空間合成手段によって処理され、
前記予測誤差信号合成手段によって得られるバンド信号を新たに予測誤差低周波帯域信号とみなし、前記イントラバンド信号空間合成手段によって得られるバンド信号を新たにイントラ低周波帯域サブバンドとみなし、予測誤差信号合成手段とイントラバンド信号空間合成手段とによる処理を再帰的に繰り返すことで、前記イントラバンド信号および前記予測誤差信号を得る、動画像復号装置。
【請求項４５】
コンピュータに、動画像の階層符号化を行わせるプログラムであって、
前記コンピュータに、
入力画像信号に対して第１の処理を行った後に空間方向に階層分割して第１の信号を得る処理と、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の処理を行って第２の信号を得る処理と、
前記第１の信号と前記第２の信号を符号化する処理と、
を実行させるプログラム。
【請求項４６】
コンピュータに、動画像の階層符号化を行わせるプログラムであって、
前記コンピュータに、
入力画像信号を、前記入力画像信号に対して第１の処理を行った後に空間方向に階層分割して得られる第１の信号と、前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の処理を行って得られた第２の信号と、に分割する時空間階層分割処理を行う処理と、
前記縮小入力画像信号に対して前記時空間階層分割を再帰的に行った後に、各階層の信号を符号化する処理と、
を実行させるプログラム。
【請求項４７】
コンピュータに、階層化された符号化動画像データを復号させるプログラムであって、
前記コンピュータに、
第１の処理後の信号である第１の信号と、第２の処理で得られる第２の信号を空間方向に階層分割した第３の信号と、前記第２の処理を規定する処理情報とを復号する処理と、
前記第１の信号と前記処理情報とから第４の信号を生成する処理と、
前記第３の信号と前記第４の信号とを合成した後に前記第２の処理の逆変換を行い復号画像を得る処理と、
を実行させるプログラム。
【請求項４８】
コンピュータに、階層化された符号化動画像データを復号させるプログラムであって、
前記コンピュータに、
第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の時間方向フィルタリングで得られる時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、前記第２の時間方向フィルタリングを規定する時間フィルタリング情報とを復号する処理と、
前記上位階層時間フィルタリング信号と前記時間フィルタリング情報とから時間フィルタリング上位階層信号を生成する処理と、
前記時間フィルタリング上位階層信号と前記時間フィルタリング下位階層信号とを合成して合成時間フィルタリング信号を生成する時間フィルタリング信号合成処理を行う処理と、
前記合成時間フィルタリング信号を上位階層時間フィルタリング信号とみなして注目する階層の下位階層における時間フィルタリング情報と時間フィルタリング下位階層信号とを復号して再帰的に時間フィルタリング合成処理を行った後、時間方向逆フィルタリングを行うことで復号画像を得る処理と、
を実行させるプログラム。
【請求項４９】
コンピュータに、階層化された符号化動画像データを復号させるプログラムであって、
前記コンピュータに、
第１の動き補償予測後の信号である上位階層予測誤差信号と、第２の動き補償予測で得られる予測誤差信号を１段階空間方向に階層分割した予測誤差下位階層信号と、前記第２の動き補償予測を規定する動き情報とを復号する処理と、
前記上位階層予測誤差信号と前記動き情報とから予測誤差上位階層信号を生成する処理と、
前記予測誤差上位階層信号と前記予測誤差下位階層信号とを合成して合成予測誤差信号を生成する予測誤差信号合成処理を行う処理と、
前記合成予測誤差信号を上位階層予測誤差信号とみなして注目する階層の下位階層における動き情報と予測誤差下位階層信号とを復号して再帰的に予測誤差合成処理を行った後、動き補償合成処理を行うことで復号画像を得る処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する方法及び装置と、符号化された動画像を復号する方法及び装置に関する。
【背景技術】
【０００２】
動画像を符号化する手法として各種のものが知られているが、これらの手法の中でサブバンド符号化は、画像信号を周波数分割し、それぞれの周波数帯域の信号すなわちサブバンド信号について符号化処理を行う手法である。サブバンド符号化は、離散コサイン変換などのブロックベース直交変換と異なり、原理上、ブロック歪みが発生しない上、低域成分を再帰的に分割することで容易に階層符号化を実現できる、という特徴を有する。静止画像の分野において、国際標準の符号化方法であるＪＰＥＧ  ２０００には、ウェーブレット変換を用いたサブバンド符号化が採用されている。【０００３】
ところで、動画像符号化にサブバンド符号化を適用する場合、信号の空間方向の相関だけでなく時間方向の相関も考慮する必要がある。そこで、サブバンド動画符号化には、主に、原画像に対して空間領域で動き補償を行って時間方向の相関を取り除いた後に各フレームにサブバンド符号化を行う方法（例えば、J. R. Ohm, "Three-dimensional subbandcoding with motion compensation," IEEE Trans. Image Processing, vol. 3, pp. 559-571, Sept. 1999を参照）と、原画像をサブバンド分割した後、サブバンド領域ごとに動き補償を行って時間方向の相関を取り除く方法の、二種類が提案されている。【０００４】
図１は、上述した空間領域で動き補償を行う従来の符号化処理を説明するフローチャートである。図１を用い、連続するフレームの集合Ａ(0)［ｉ］ （０≦ｉ＜ｎ，ｎは２のべき乗）における符号化処理について説明する。【０００５】
ステップ２０１、２０２において、ｊ＝０， ｉ＝０，２，…，ｎ−２とし、ステップ２０３〜２０５において、連続する２枚のフレームＡ(0)［ｉ］とＡ(0)［ｉ＋１］とを時間方向にサブバンド分割し、低周波帯域のＡ(1)［ｉ］と高周波帯域のＥ［ｉ＋１］を得る。次に、ステップ２０６において、ｊに１を加算し、連続する低周波帯域の信号Ａ(1)［ｉ＜＜１］とＡ(1)［（ｉ＋１）＜＜１］とを時間方向にサブバンド分割し、低周波帯域のＡ(2)［ｉ＜＜１］と高周波帯域のＥ［（ｉ＋１）＜＜１］を得る。この処理を、ステップ２０７に示すように、第１のフレーム以外のフレームが高周波帯域の信号として符号化されるまで、すなわち（１＜＜ｊ）がｎになるまで繰り返す。この後、ステップ２０８において、Ａ(j)［０］， Ｅ［ｉ］（０＜ｊ＜ｎ）をそれぞれ空間方向にサブバンド分割し符号化している。【０００６】
ここで、２枚のフレーム間での時間方向サブバンド分割において、高周波帯域の信号は、動き補償予測の誤差信号に相当し、低周波帯域の信号は、動き補償した２フレームの平均信号となる。復号処理時には、この処理の流れを逆にたどる形で、フレームごとにサブバンド信号を空間方向に合成した後に、フレームの参照関係に従って時間方向にサブバンド合成を行う。三次元ウェーブレット符号化において、高周波数成分のサブバンドを用いず部分的にサブバンド合成して得られた各フレームの信号を時間方向にサブバンド合成することによって、縮小解像度上での復号画像を得ることが出来る。この際、動き補償におけるフレーム間の画素の対応関係は保持されなければならないため、オリジナル解像度で得られた動き情報をスケールだけ縮小してそのまま用いる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
スケーラブル符号化では、オリジナルストリームから高周波数成分のサブバンドに相当する符号を取り除いてビットレートの低いストリームを生成することができる。新たに作られたストリームを復号すると、入力信号を縮小した画像が再構成される。従来の技術では、オリジナル解像度で得られた動き情報を縮小解像度上での復号に用いる。そのため、動き情報に要する符号量が相対的に増大し、符号化効率が低下する。特に、低いビットレートでは、ほとんどの符号量が動き情報に割り当てられるため、スケーラビリティを適用しない場合に比べて大きく画質が低下してしまう。【０００８】
逆に、低いビットレートに最適になるよう縮小解像度上で求めた動き情報ではオリジナル解像度での符号化効率が低下する。また、係数情報をそのままに統合するなどの方法により動き情報に要する符号量を低減した場合、動き補償の不一致により画質が大きく低下する。【０００９】
そこで、本発明の目的は、階層構造を持つ符号化ストリームにおいて、階層構造を保ちつつ従来技術に比べて高い符号化効率を実現できる動画像符号化の技術を提供することにある。【００１０】
また、本発明の別の目的は、動き補償の不一致による画質の低下を抑えることのできる動画像符号化の技術を提供することにある。【００１１】
本発明のさらに別の目的は、そのようにして符号化された動画像データを復号する技術を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の様相によれば、動画像符号化方法は、階層符号化を行う動画像符号化方法であって、入力画像信号に対して第１の処理を行った後に空間方向に階層分割して第１の信号を得るステップと、入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の処理を行って第２の信号を得るステップと、第１の信号と第２の信号を符号化するステップと、を有する。【００１３】
本発明の第２の様相によれば、動画像符号化方法は、入力画像信号を、入力画像信号に対して第１の処理を行った後に空間方向に階層分割して得られる第１の信号と、入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の処理を行って得られた第２の信号とに、分割する時空間階層分割処理を行うステップと、縮小入力画像信号に対して時空間階層分割を再帰的に行った後に、各階層の信号を符号化するステップと、を有する。【００１４】
これらの発明において、例えば、第１及び第２の処理はそれぞれ第１及び第２の時間方向フィルタリングであり、第１の信号は時間フィルタリング下位階層信号であり、第２の信号は上位階層時間フィルタリング信号である。あるいは、第１の処理は第１の動き補償処理であり、第２の処理は第２の動き補償処理であり、第１の信号は予測誤差下位階層信号であり、第２の信号は上位階層予測誤差信号である。【００１５】
本発明の第３の様相によれば、動画像符号化方法は、入力画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を複数回実行するステップを有し、三次元サブバンド分割処理は、入力画像信号におけるフレーム間および入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号のバンド間で、動きを表す動き情報を算出する動き情報算出ステップと、入力画像信号およびイントラバンド信号において、動き情報算出ステップで得られた動き情報に従って動き補償をした後に時間方向にサブバンド分割することで時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号とを得る時間サブバンド分割ステップと、時間高周波帯域サブバンド信号を空間方向にサブバンド分割し、時間高周波空間低周波帯域サブバンドと時間高周波空間高周波帯域サブバンドを生成する時間高周波帯域サブバンド信号空間分割ステップと、時間低周波帯域サブバンド信号を空間方向にサブバンド分割し、時間低周波空間低周波帯域サブバンドと時間低周波空間高周波帯域サブバンドを生成する時間低周波帯域サブバンド信号空間分割ステップと、イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割ステップと、を有し、入力画像信号に対して時間サブバンド分割ステップと時間高周波帯域サブバンド信号空間分割ステップと時間低周波帯域サブバンド信号空間分割ステップとバンド信号空間分割ステップとが実行され、バンド信号空間分割ステップの後に得られた低周波帯域イントラサブバンドをイントラバンド信号として、時間サブバンド分割ステップと時間高周波帯域サブバンド信号空間分割ステップと時間低周波帯域サブバンド信号空間分割ステップとバンド信号空間分割ステップとが再帰的に繰り返され、その度に、時間低周波空間低周波帯域サブバンドと時間高周波空間低周波帯域サブバンドが、それぞれ、直後の時間サブバンド分割ステップで得られる時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号とに置き換えられる。【００１６】
本発明の別の様相によれば、動画像復号方法は、階層化された符号化データを復号する動画像復号方法であって、第１の処理後の信号である第１の信号と、第２の処理で得られる第２の信号を空間方向に階層分割した第３の信号と、第２の処理を規定する処理情報とを復号するステップと、第１の信号と処理情報とから第４の信号を生成するステップと、第３の信号と第４の信号とを合成した後に第２の処理の逆変換を行い復号画像を得るステップと、を有する。【００１７】
この復号方法において、例えば、第１及び第２の処理はそれぞれ第１及び第２の時間方向フィルタリングであり、第１の信号は上位階層時間フィルタリング信号であり、第２の信号は時間フィルタリング信号であり、第３の信号が時間フィルタリング下位階層信号であり、第４の信号が時間フィルタリング上位階層信号であり、処理情報が時間フィルタリング情報である。あるいは、第１及び第２の処理はそれぞれ第１及び第２の動き補償処理であり、第１の信号は上位階層予測誤差信号であり、第２の信号は予測誤差信号であり、第３の信号が予測誤差下位階層信号であり、第４の信号が予測誤差上位階層信号であり、処理情報が動き情報である。【００１８】
本発明の別の様相によれば、階層化された符号化データをフレーム単位に階層合成した後に時間方向逆フィルタリングを行うことで復号画像を得る動画像復号方法は、第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の時間方向フィルタリングで得られる時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、第２の時間方向フィルタリングを規定する時間フィルタリング情報とを復号するステップと、上位階層時間フィルタリング信号と時間フィルタリング情報とから時間フィルタリング上位階層信号を生成するステップと、時間フィルタリング上位階層信号と時間フィルタリング下位階層信号とを合成して合成時間フィルタリング信号を生成する時間フィルタリング信号合成処理を行うステップと、合成時間フィルタリング信号を上位階層時間フィルタリング信号とみなして注目する階層の下位階層における時間フィルタリング情報と時間フィルタリング下位階層信号とを復号して再帰的に時間フィルタリング合成処理を行った後、時間方向逆フィルタリングを行うことで復号画像を得るステップと、を有する。【００１９】
さらに本発明の別の様相によれば、動画像復号方法は、サブバンド信号をフレームごとに空間方向にサブバンド合成した後、時間低周波帯域サブバンドと時間高周波帯域サブバンドに時間方向サブバンド合成を行う三次元サブバンド合成処理によって、復号画像信号を生成するステップを有し、三次元サブバンド合成処理は、時間高周波帯域サブバンドの空間方向の低周波帯域の信号である時間高周波空間低周波帯域信号と、その低周波帯域信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとに加えて、時間高周波空間低周波帯域信号に対して同一周波数帯域にある時間低周波空間低周波帯域サブバンドとそのサブバンド信号に隣接する高周波帯域のサブバンドである時間低周波空間高周波帯域サブバンドとの双方もしくはいずれか一方と、時間高周波帯域サブバンドに対応する動き補償処理を規定する動き情報とを参照し、合成時間高周波サブバンド信号を生成する時間高周波サブバンド合成ステップと、時間低周波空間低周波帯域サブバンドと時間低周波空間高周波帯域サブバンドとを合成する時間低周波サブバンド空間合成ステップと、時間低周波帯域サブバンドと時間高周波帯域サブバンドに動き補償予測処理を行った後、時間方向サブバンド合成を行う時間方向合成ステップと、を有し、時間高周波帯域サブバンドの最低周波帯域にある時間高周波空間低周波帯域信号に対して時間高周波サブバンド合成ステップが、時間低周波帯域サブバンドの最低周波帯域にある時間低周波空間低周波帯域サブバンドに対して時間低周波サブバンド空間合成ステップが行なわれ、時間高周波サブバンド合成ステップによって得られるバンド信号を新たに時間高周波空間低周波帯域信号、時間低周波サブバンド空間合成ステップによって得られるバンド信号を新たに時間低周波空間低周波帯域サブバンドとみなして、時間高周波サブバンド空間合成ステップと時間低周波サブバンド空間合成ステップとが再帰的に繰り返され、時間低周波帯域サブバンドおよび時間高周波帯域サブバンドが得られる。【００２０】
本発明では、階層構造を持つ符号化ストリームにおいて、各階層で異なる動き情報に基づいて動き補償を行う。本発明によれば、係数情報のうち高周波成分を除いて低レートの符号化データを再構成する際には、高い解像度での動き補償に相当する動き情報を削減することで、階層構造を保ちつつ従来技術に比べて高い符号化効率を実現できる。また、高い解像度での動き情報を元に低周波成分を補正することで、動き補償の不一致による画質低下を大きく抑えられる。
【図面の簡単な説明】
【００２１】
【図１】図１は、空間領域で動き補償を行う従来の符号化方法の処理の流れを示すフローチャートである。
【図２】図２は、本発明の一実施形態の動画像符号化装置の構成を説明する図である。
【図３】図３は、本発明の一実施形態に基づく動画像符号化方法の処理の流れを示すフローチャートである。
【図４】図４は、図３における２枚のフレームの時間空間サブバンド分割処理の流れを示すフローチャートである。
【図５】図５は、本発明の一実施形態の動画像復号装置の構成を説明する図である。
【図６】図６は、本発明の一実施形態に基づく動画像復号方法の処理の流れを示すフローチャートである。
【図７】図７は、図６における２枚のフレームの時間空間サブバンド合成処理の流れを示すフローチャートである。
【図８】図８は、動画像符号化装置および動画像復号装置の構成をするためのコンピュータシステムを示す概略図である。
【発明を実施するための最良の形態】
【００２２】
本発明では、階層符号化の際に、例えば、第１の時間方向フィルタリングを行った後に空間方向に階層分割して得られる時間フィルタリング下位階層信号と、入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の時間方向フィルタリングを行って得られる上位階層時間フィルタリング信号とを符号化する。あるいは、本発明では、第１の動き補償を行った後に空間方向に階層分割して得られる予測誤差下位階層信号と、入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の動き補償を行って得られる上位階層誤差予測信号とを符号化する。すなわち本発明は、階層構造を持つ符号化ストリームにおいて、各階層で異なる動き情報に基づいて動き補償を行うことを特徴とする。ここで、動き情報とは、フレームを構成する固定サイズあるいは可変サイズのブロックごとの平行移動に関する情報、もしくはフレームを構成する小領域ごとへのアフィン変換などの幾何変換、もしくはフレーム全体に対するアフィン変換などの幾何変換に関する情報である。【００２３】
以下、本発明の具体的な実施態様を説明する。【００２４】
まず、本発明に基づく動画像符号化を説明する。【００２５】
図２は、本発明の一実施形態の動画像符号化装置の構成を示すとともに、入力画像信号の一部である２枚のフレームに対して時間空間方向へのサブバンド分割を行った後の信号の階層構造を示している。【００２６】
動画像符号化装置は、時間サブバンド分割を行なう第１〜第３の分割部１００１〜１００３と、空間サブバンド分割を行なう第４及び第５の分割部１００４、１００５と、第１及び第２のローパスフィルタ１００６、１００７を備えている。入力画像信号１０は第１の分割部１００１と第１のローパスフィルタ１００６に供給され、第１の分割部１００１の出力１１が第４の分割部１００４に供給され、第１のローパスフィルタ１００６の出力２０は、第２の分割部１００２と第２のローパスフィルタ１００７に供給され、第２の分割部１００２の出力２１は、第５の分割部１００５に供給され、第２のローパスフィルタ１００７の出力は、第３の分割部１００３に供給される。【００２７】
この動画像符号化装置では、入力画像信号１０は、第１の分割部１００１によって時間サブバンド分割された後、第４の分割部１００４によって空間方向に１段階サブバンド分割され、これによって、低域サブバンド信号１２と高域サブバンド信号１３が生成される。また、入力画像信号１０が第１のローパスフィルタ１００６を通過したことによって、イントラサブバンド信号２０が生成する。イントラサブバンド信号２０は、第３の分割部１００２によって時間サブバンド分割されて低域時間サブバンド信号２１を生じる。第４の分割部１００４によって生成された低域サブバンド信号１２は、低域時間サブバンド信号２１に置き換えられる。すなわち、入力画像１０を１段階階層分割した結果は、高域サブバンド信号１３と低域時間サブバンド信号２１となる。同様に、低域時間サブバンド信号２１を、１段階階層分割した結果は、低域時間サブバンド信号２１の高域サブバンド信号２３と、イントラサブバンド信号２０の低域サブバンド３０について時間方向にサブバンド分割した低域時間サブバンド３１となる。この階層分割を再帰的に行うことで、多重の階層構造が実現される。【００２８】
なお、ローパスフィルタ１００６，１００７として、水平垂直に解像度を１／２にする一般的なダウンサンプルフィルタと、空間サブバンド分割を行なう第４及び第５の分割部１００４，１００５におけるローパスフィルタのどちらが用いられてもよい。以下では空間サブバンド分割のローパスフィルタを用いるものとして、この階層構造を持つ符号化方式について説明する。【００２９】
図３は、本実施形態での符号化処理の流れを示すフローチャートである。図３を用い、連続する画像フレームの集合Ａ(0)［ｉ］（０≦ｉ＜ｎ， ｎは２のべき乗）を原画像入力とする符号化方法について説明する。【００３０】
まず、ステップ１０１、１０２において、ｊ＝０， ｉ＝０，２，…ｎ−２として、ステップ１０３において、連続する２枚のフレームＡ(0)［ｉ］とＡ(0)［ｉ＋１］とを時間方向と空間方向の双方についてサブバンド分割し、サブバンド信号Ａ(0)*［ｉ］， Ｅ*［ｉ＋１］と動き情報Ｖ［ｉ＋１］を得る。【００３１】
図４は、図３のステップ１０３における２枚のフレームの時間空間方向サブバンド分割の処理の流れを示すフローチャートである。以下では、フレームＢ０をフレームＣ０に対して過去方向にあるフレームだとして、一般的なフレームＢ０およびＣ０の時間空間方向サブバンド分割処理について図４を用いて説明する。【００３２】
最初に、ステップ１１１において、フレームＣ０に対するフレームＢ０の動きを推定し動き情報Ｖ０を得る。ここで動きとは、フレームを構成する固定サイズあるいは可変サイズのブロックごとの平行移動、もしくはフレームを構成する小領域ごとへのアフィン変換などの幾何変換、もしくはフレーム全体に対するアフィン変換などの幾何変換を表す。【００３３】
次に、ステップ１１２において、動き情報Ｖ０を元にＢ０， Ｃ０を時間方向にサブバンド分割し、低周波帯域サブバンドＡ０*、高周波帯域サブバンドＥ０*を得る。時間方向のサブバンド分割方法の一つとして、参考文献［A. Secker et. al., "Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting," IEEE Trans. Int. Conf. Image Proc., pp 1029-1032, October, 2001］にある方法を説明する。【００３４】
フレーム内座標［ｐ，ｑ］にあるフレームＢ０の画素値をＢ０［ｐ，ｑ］、ステップ１１１での動き推定の結果に基づいてフレームＢ０を動き補償した後のフレーム内座標［ｐ，ｑ］の画素値を、ＷB0（Ｂ０）［ｐ，ｑ］、フレームＣ０を動き補償した後のフレーム内座標［ｐ，ｑ］の画素値をＷC0（Ｃ０）［ｐ，ｑ］とすると、
Ｅ０*［ｐ，ｑ］＝１／２（Ｃ０［ｐ，ｑ］−ＷB0（Ｂ０）［ｐ，ｑ］）  …(1)
Ａ０*［ｐ，ｑ］＝Ｂ０［ｐ，ｑ］＋ＷC0（Ｅ０*）［ｐ，ｑ］          …(2)
となる。他の時間方向サブバンド分割方法として、時間方向のフィルタ長として２より長いフィルタを用いる場合、入力となる複数のフレームＢ０iに対して低周波帯域および高周波帯域への分解フィルタをそれぞれｆｌ［ｉ］ （０≦ｉ＜ｎｌ）、ｆｈ［ｉ］ （０≦ｉ＜ｎｈ）とすると、Ａ０*およびＥ０*は、【００３５】
【数１】
2005055613.tif 000002
【００３６】
となる。【００３７】
また１次のフィルタの重ね合わせで高次のサブバンド分割を実現するリフティング法において各フィルタの処理時に動き補償を行う参考文献［L. Lio et. al., "Motion Compensated Lifting Wavelet And Its Application in Video Coding," IEEE Int. Conf. Multimedia & Expo 2001, Aug., 2001］の方法を用いる場合、入力となる複数フレームにおいて偶数フレームをＢ０i、奇数フレームをＣ０iとすると、１次フィルタを乗じた後のＢ０'i、Ｃ０'iは、定数α， βによって、
Ｃ０'i［ｐ，ｑ］＝Ｃ０i［ｐ，ｑ］＋α（ＷB0i（Ｂ０i＋ＷB0i＋１（Ｂ０i+1））［ｐ，ｑ］）    …(1")
Ｂ０'i［ｐ，ｑ］＝Ｂ０i［ｐ，ｑ］＋β（ＷC0i（Ｃ０'i＋ＷC0i−１（Ｃ０'i-1））［ｐ，ｑ］）    …(2")
となる。【００３８】
２つのフィルタ処理を交互に繰り返すことで、リフティング法を用いた時間方向サブバンド分割が行われる。その他に、低周波数成分のＡ０*を生成せず、通常の動き補償予測と同等の処理を行うものがある。【００３９】
Ａ０*， Ｅ０*が得られた後、ステップ１１３において、これらを１回空間サブバンド分割する。【００４０】
サブバンド分割として１次元のフィルタバンクを用いた２分割の周波数分割を行う場合、水平・垂直方向ともに低周波帯域に分割されたサブバンド、水平方向に低周波帯域・垂直方向に高周波帯域に分割されたサブバンド、水平方向に高周波帯域・垂直方向に低周波帯域に分割されたサブバンド、水平・垂直方向ともに高周波帯域に分割されたサブバンド、の４つのサブバンドが生成される。それぞれのサブバンド変換をＬＬ（）， ＬＨ（）， ＨＬ（）， ＨＨ（）と定義する。また３つのサブバンドＬＨ（Ｃ０）， ＨＬ（Ｃ０）， ＨＨ（Ｃ０）の集合をＨ（Ｃ０）と定義する。これにより、ＬＬ（Ａ０*）， Ｈ（Ａ０*）， ＬＬ（Ｅ０*）， Ｈ（Ｅ０*）が得られる。【００４１】
その後に、ステップ１１５において、フレームＢ０， Ｃ０について、１層分の空間サブバンド分割を行い、ＬＬ（Ｂ０）， Ｈ（Ｂ０）， ＬＬ（Ｃ０）， Ｈ（Ｃ０）を得る。ＬＬ（Ｂ０）， ＬＬ（Ｃ０）をＢ１， Ｃ１と定義し、ステップ１１６において、新たにこれらのサブバンド間の動き補償を規定する動き情報Ｖ１を算出する。【００４２】
この動き情報算出方法として、改めて動き推定を行う、あるいは、Ｂ０， Ｃ０に対応する動き情報のいくつかを統合する、などの方法がある。特に、動き情報を階層符号化しそのベースレイヤのみに対応する動き情報を用いることにより、係数符号情報と動き情報とが対応付けられた階層符号化を実現することができる。【００４３】
たとえば、Ｖ１とＶ２を階層的に符号化するひとつの方法として、縮小解像度を有する画像で動き推定を行って得られた動き情報をＶ２、オリジナル画像での動き推定によって得られた動き情報をＶ１とし、Ｖ２を二倍したものをＶ１から減算したものとＶ２とを符号化するというものがある。また、サブバンド符号化と同様に、動き情報を画像のｘ方向とｙ方向にサブバンド分割することで、動き情報の階層化表現が得られる。【００４４】
ステップ１１７では、こうして得られた動き情報に基づいて、Ｂ１， Ｃ１を時間方向にサブバンド分割し、低周波帯域サブバンドＡ１*、高周波帯域サブバンドＥ１*を得る。ただし、Ａ１*はＬＬ（Ａ０*）と等しくなく、Ｅ１*はＬＬ（Ｅ０*）と等しくない。【００４５】
Ａ１*， Ｅ１*が得られた後、ステップ１１８において、空間方向へのサブバンド分割回数が１であれば、ＬＬ（Ａ０*）の代わりにＡ１*、Ｈ（Ａ０*）の代わりにＨ（Ｂ０）、ＬＬ（Ｅ０*）の代わりにＥ１*を分割結果とする。分割回数が１でない場合には、ステップ１１９において、Ａ１*， Ｅ１*を１回空間サブバンド分割し、ＬＬ（Ａ１*）， Ｈ（Ａ１*）， ＬＬ（Ｅ１*）， Ｈ（Ｅ１*）を得る。その後、ステップ１１５に戻って、Ｂ１， Ｃ１を１回サブバンド分割し、ステップ１１６において、得られるＢ２， Ｃ２について動き情報Ｖ２を算出した後、ステップ１１７において動き補償を伴った時間方向サブバンド分割を行う。【００４６】
ステップ１１８に示すように以上の処理を分割数がｍになるまで行って、ステップ１２１において、得られたＬＬ（Ａｍ*）， Ｈ（Ａｋ*）， ＬＬ（Ｅｍ*）， Ｈ（Ｅｋ*） （０≦ｋ＜ｍ）を分割結果とする。また、ステップ１２２において、Ｖｋ （０≦ｋ＜ｍ）を２枚のフレームのサブバンド分割処理全体の動き情報として出力し、処理を終了する。以上により、ステップ１０３のサブバンド分割の処理が終了する。【００４７】
図３に戻って、本実施形態における符号化処理の動作をさらに説明する。【００４８】
ステップ１０３の後、ステップ１０５において、時間方向の低周波帯域サブバンドであるＡ(0)*［０］を空間方向にのみサブバンド合成し、Ａ(1)［０］を生成する。これは、Ａ(1)［０］を一つ上の時間方向階層において、あらためてステップ１０３の手順によって時空間方向へのサブバンド分割するためである。【００４９】
ステップ１０６、１０７によって、ステップ１０３、１０５の処理をＡ(0)［ｎ−２］とＡ(0)［ｎ−１］について行った後、ステップ１０８ではｊに１加算し、ｉ＝０，２，…ｎ／２−２としてＡ(1)［ｉ＜＜１］とＡ(1)［（ｉ＋１）＜＜１］の時空間方向へのサブバンド分割（ステップ１０３）と、Ａ(1)*［ｉ＜＜１］の空間方向へのサブバンド合成（ステップ１０５）とを繰り返す。【００５０】
以上の処理ループを、ｊがｌｏｇ  ２（ｎ）−１と等しくなるまで行う。【００５１】
ステップ１０３を終えた時点で、すなわちステップ１０４において、現在の時間方向の分割数であるｊがｌｏｇ  ２（ｎ）−１と等しい場合には、すべての信号が時間空間方向へのサブバンド分割が終了したことになる。符号化処理では、ステップ１０９において、得られた信号Ａ(j)*［０］， Ｅ*［ｉ］（０＜ｉ＜ｎ）について、量子化および可逆符号化を行う。ここで量子化として、線形量子化、非線形量子化、ベクトル量子化のほか、国際標準の静止画像符号化であるＪＰＥＧ ２０００にも用いられているビットプレーン量子化を用いることができる。また可逆符号化として、文献［J. M. Shapiro, "Embedded image coding using zerotrees of wavelets coefficients", IEEE Trans. Signal Processing, vol. 41, pp. 3445-3462, Dec. 1993］にあるゼロツリー符号化、算術符号化、ランレングス符号化が用いられる。また、ステップ１１０において、Ｖ［ｉ］ （０≦ｉ＜ｎ）を符号化する。以上で、Ａ(0)［ｋ］（０≦ｋ＜ｎ）の符号化処理は終了する。【００５２】
結局、上述した動画像符号化方法では、入力画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理が複数回行なわれている。そして、このサブバンド分割の処理は、
入力画像信号におけるフレーム間および入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号のバンド間で、動きを表す動き情報を算出する動き情報算出ステップと、
入力画像信号およびイントラバンド信号において、動き情報算出ステップで得られた動き情報に従って動き補償をした後に時間方向にサブバンド分割することで時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号とを得る時間サブバンド分割ステップと、
時間高周波帯域サブバンド信号を空間方向にサブバンド分割し、時間高周波空間低周波帯域サブバンドと時間高周波空間高周波帯域サブバンドを生成する時間高周波帯域サブバンド信号空間分割ステップと、
時間低周波帯域サブバンド信号を空間方向にサブバンド分割し、時間低周波空間低周波帯域サブバンドと時間低周波空間高周波帯域サブバンドを生成する時間低周波帯域サブバンド信号空間分割ステップと、
イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割ステップと、
を備えている。入力画像信号に対して時間サブバンド分割ステップと時間高周波帯域サブバンド信号空間分割ステップと時間低周波帯域サブバンド信号空間分割ステップとバンド信号空間分割ステップとが実行されている。また、バンド信号空間分割ステップの後に得られた低周波帯域イントラサブバンドをイントラバンド信号として、時間サブバンド分割ステップと時間高周波帯域サブバンド信号空間分割ステップと時間低周波帯域サブバンド信号空間分割ステップとバンド信号空間分割ステップとが再帰的に繰り返され、その度に、時間低周波空間低周波帯域サブバンドと時間高周波空間低周波帯域サブバンドが、それぞれ、直後の時間サブバンド分割ステップで得られる時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号とに置き換えられている。【００５３】
なお本実施形態では、ある階層で時空間方向ともにサブバンド分割を行った後、次の階層で符号化されるフレームをいったん空間方向にサブバンド合成する、という処理の流れをとっている。しかし、この二つの処理は統合可能である。本発明の特徴は、空間方向の周波数帯域に応じて動き補償を適宜補正していく点にあり、空間方向サブバンド分割処理の順序は、本発明の目的とするところではない。【００５４】
次に、本発明に基づく動画像復号を説明する。本実施形態において復号画像は、原画像に対して時間空間方向ともに２のべき乗分の１である任意の解像度を持つ。すなわち、符号化処理における空間方向サブバンド分割数がｍであれば、水平および垂直方向の解像度が原画像の１／２， １／４， …， １／２mの復号画像が再構成可能である。また、時間方向サブバンド分割数ｎ０＝ｌｏｇ  ２（ｎ）に対し、原画像の１／２， １／４， …， １／２n0のフレームレートを持つ復号画像が再構成可能である。【００５５】
図５は、本発明の一実施形態の動画像復号装置の構成を示している。この動画像復号装置は、サブバンドに分割され符号化された動画像データを復号するものであり、図５は、図２に示しめしたサブバンド分割に対応するサブバンド合成の概念も説明している。すなわち、図５に示した動画像復号装置は、例えば、信号を伝送する媒体を介して、図２に示した動画像符号化装置と接続され、動画像符号化装置で符号化された動画像データを受信し、復号する。【００５６】
動画像復号装置は、時間サブバンド合成を行なう第１〜第３の合成部２００１〜２００３と、空間サブバンド合成を行なう第４及び第５の合成部２００４、２００５と、時間サブバンド分割を行なう第１及び第２の分割部２００６、２００７を備えている。第３の合成部２００３は、低域時間サブバンド信号３１を供給されて復号画像３６を出力し、第２の分割部２００７は復号画像３６を供給されて信号２４を生成する。第５の合成部２００５には、信号２４と高域サブバンド信号２３が供給され、第５の合成部２００５が出力する信号２５は第２の合成部２００２に供給される。第２の合成部２００２は、第１の分割部２００６に供給される復号画像２６を出力する。第１の分割部２００６は、低域サブバンド推定信号１４を出力する。第４の合成部２００４は、低域サブバンド推定信号１４と高域サブバンド信号１３とを入力として、信号１５を出力し、第１の合成部２００１は、信号１５を入力として復号画像１６を出力する。【００５７】
この動画像符号化装置では、最も小さい縮小解像度を持つ復号画像３６を得るには、符号化されているサブバンド信号のうち最低域にあたる低域時間サブバンド信号３１に対し、第３の合成部２００３によって時間サブバンド合成を行えばよい。一方、復号画像３６の下位階層、すなわち１段階大きな解像度を持つ復号画像２６を得るには、その階層に属する高域サブバンド信号２３に対応する低域サブバンドが必要となる。そこで、復号画像３６を第２の分割部２００７で時間サブバンド分割して得られる信号２４を低域サブバンド推定信号とする。低域サブバンド推定信号２４と高域サブバンド２３とを第５の合成部２００５によって空間サブバンド合成した後、第２の合成部２００２によって時間サブバンド合成することで復号画像２６が得られる。第２の分割部２００７における時間サブバンド分割は、第２の合成部２００２での時間サブバンド合成により一意に決まる。同様に、復号画像２６のさらに１段階大きな解像度を持つ復号画像１６を得るには、復号画像２６と時間サブバンド分割２００６によって得られた低域サブバンド推定信号１４と、高域サブバンド信号１３とを第４の合成部２００４によって空間サブバンド合成した後、第１の合成部２００１によって時間サブバンド合成を行なえばよい。階層構造を持つサブバンド信号についてこの復号処理を繰り返し行うことにより、異なる解像度の復号画像を得ることができる。【００５８】
次に復号処理について、復号処理の内容を示すフローチャートである図６を用いて説明する。原画像Ａ(0)［ｉ］ （０≦ｉ＜ｎ， ｎは２のべき乗）に対し、水平および垂直方向の解像度が１／２k0 （０≦ｋ０≦ｍ）、フレームレートが１／２j0 （０≦ｊ０≦ｎ０）である復号画像Ａ(j0)(k0)［ｉ］を再構成する処理について説明する。【００５９】
まず、ステップ１５１において、ｊをｌｏｇ  ２（ｎ）−１としたのち、ステップ１５２において、符号化データについて可逆符号化の逆変換および逆量子化を行う。この処理の結果として得られる信号を、図３で用いた記号に従って、Ａ(n0)*［０］， Ｅ*［ｉ］（０＜ｉ＜ｎ）と定義する。次に、ステップ１５３において、ｊ０がｎ０と等しいか否かを判定する。ｊ０がｎ０と等しい場合には、時間方向へのサブバンド合成を行う必要がなく、ステップ１５４において、Ａ(j)*［０］を空間方向へｋ０層分だけサブバンド合成する。その後、Ａ(j0)(k0)［０］が再構成しされた時点で、復号処理は終了する。一方、ステップ１５３においてｊ０がｎ０と等しくない場合には、ステップ１５５、１５６において、Ａ(j)*［０］， Ｅ*［ｎ／２］を時間方向と空間方向の双方についてサブバンド合成する。【００６０】
図７は、ステップ１５６における、２枚のフレームデータを時空間方向サブバンド合成する処理の流れを示している。復号時のサブバンド合成数をｋ０とする。ｋ０がゼロなら原画像と同じ解像度での復号画像であり、ｋ０が正なら２のｋ０乗だけ縮小した解像度の復号画像が得られる。サブバンド合成処理の対象となる２枚のフレームのデータは、空間方向にｍ回サブバンド分割された階層構造をとっている。【００６１】
図４のステップ１２１に従えば、時間方向のサブバンド分割で低周波帯域に属するサブバンド信号のうち空間方向のサブバンド分割で最低周波帯域に属するサブバンド信号はＡｍ*に、第ｋ層目のサブバンド分割後の高周波帯域サブバンドはＨ（Ａｋ*） （０≦ｋ＜ｍ）に対応する。時間方向のサブバンド分割で高周波帯域に属するサブバンド信号の空間方向に分割後の信号についても同様に、Ｅｍ*およびＨ（Ｅｋ*）， （０≦ｋ＜ｍ）に対応づけることができる。また、２枚のフレームの動き補償を規定する動き情報は、図４のステップ１１１、１１６において出力されるＶｋ（０≦ｋ＜ｍ）に対応付けることができる。動き情報はそれぞれ独立に符号化されていても構わないし、階層的に符号化されていても構わない。そこで、Ａｍ*， Ｈ（Ｂｋ）， Ｅｍ*， （Ｅｋ*）， （０≦ｋ＜ｍ）を参照して原画像Ｂ０， Ｃ０を２のｋ０乗だけ縮小した解像度の復号画像Ｂｋ０， Ｃｋ０を再構成する処理について、図７を用いて説明する。【００６２】
まず、ステップ１７１においてｋ＝ｍとしたのち、ステップ１７２において、Ａｍ*とＥｍ*を時間方向にサブバンド合成すれば、Ｂｍ， Ｃｍが得られる。【００６３】
Ｂｍ［ｐ，ｑ］＝Ａｍ*［ｐ，ｑ］−ＷＣｍ（Ｅｍ*）［ｐ，ｑ］      …(3)
Ｃｍ［ｐ，ｑ］＝２×Ｅｍ*［ｐ，ｑ］＋ＷＢｍ（Ｂｍ）［ｐ，ｑ］      …(4)
ここでＷＢｍおよびＷＣｍは、ＢｍからＣｍへの動き補償を表すフィルタ、およびＣｍからＢｍへの動き補償を表すフィルタであり、符号化処理時に用いた動き情報Ｖｍおよび内挿処理によって決定される。【００６４】
ステップ１７３において、もしｋ０がｍと等しい場合、復号処理は終了となる。もし等しくない場合、１回分のサブバンド合成を行うために、ＬＬ（Ａｍ−１*）とＬＬ（Ｅｍ−１*）を得る必要がある。そこで、ステップ１７４において、第ｍ−１層でのＢｍ−１およびＣｍ−１の動き補償に用いる動き情報Ｖｍ−１を用いて、ＬＬ（Ａｍ−１*）およびＬＬ（Ｅｍ−１*）の推定値ＬＬest（Ａｍ−１*）およびＬＬest（Ｅｍ−１*）を算出する。【００６５】
ＬＬest（Ｅｍ−１*）＝１／２（Ｃｍ［ｐ，ｑ］−ＷBm-1L（Ｂｍ）［ｐ，ｑ］）      …(5)
ＬＬest（Ａｍ−１*）＝Ｂｍ［ｐ，ｑ］＋ＷCm-1L（ＬＬest（Ｅｍ−１*））［ｐ，ｑ］      …(6)
ここでＷBm-1LおよびＷCm-1Lは、動き情報Ｖｍ−１を水平及び垂直の両方に１／２に縮小し、動き補償の単位となるブロックのサイズも１／２に縮小して得られる動き補償フィルタである。あるいは、T. Kimoto, "Multi-Resolution MCTF for 3D Wavelet Transformation in Highly Scalable Video," ISO/IEC JTC1/SC29/WG11, M9770, Trondheim, July 2003に示す階層化された動き補償と同じものを用いる。すなわち、第ｍ−１層においてＣｍ−１に対し動き補償によって得られる予測信号ＷBm-1（Ｂｍ−１）は、空間方向の低周波帯域サブバンドＢｍのみに起因する信号と高周波帯域サブバンドＨ（Ｂｍ−１）のみに起因する信号との和として表せる。この前者をＷBm-1L（Ｂｍ）として、ＬＬ（Ｅｍ−１*）の推定に用いる。【００６６】
この後、ステップ１７５において、ＬＬest（Ａｍ−１*）とＨ（Ａｍ−１*）をサブバンド合成し、ＬＬest（Ｅｍ−１*）とＨ（Ｅｍ−１*）をサブバンド合成して、Ａｍ−１*， Ｅｍ−１*を得る。ステップ１７３、１７６に示すように、ステップ１７２から１７５の処理を繰り返し行い、階層ｋ０に相当するサブバンドＢｋ０， Ｃｋ０を得たところで、図６のステップ１５６における時空間方向のサブバンド合成の処理は終了する。【００６７】
なお、本実施形態では、サブバンドの補正（ステップ１７４）と空間方向のサブバンド合成（ステップ１７５）を独立したステップとして説明したが、サブバンド補正時の動き補償フィルタとサブバンド合成フィルタとを掛け合わせたフィルタを用いることで、これらのステップを統合することも可能である。また、本実施形態では、Ｅｋ*とＡｋ*に対して動き情報Ｖｋに従って時間方向にサブバンド合成を実行し、ＢｋとＣｋを得た後、動き情報Ｖｋ−１を参照してＬＬest（Ｅｋ−１*）とＬＬest（Ａｋ−１*）を算出しているが、ＢｋとＣｋを出力する必要がない場合には、これらの処理を統合することも可能である。【００６８】
さらに、T. Kimoto, "Multi-Resolution MCTF for 3D Wavelet Transformation in Highly Scalable Video," ISO/IEC JTC1/SC29/WG11, M9770, Trondheim, July 2003に示すのと同様の方法によって、Ｈ（Ｅｋ−１*）とＣｋを参照してＬＬest（Ｅｋ−１*）をＬＬ（Ｅｋ−１*）にさらに近づくよう補正し、Ｈ（Ａｋ−１*）とＡｋを参照してＬＬest（Ａｋ−１*）をＬＬ（Ａｋ−１*）にさらに近づくよう補正する処理を追加することも可能である。【００６９】
図６に戻って復号処理の説明を続ける。Ａ(j)*［０］，Ｅ*［ｎ／２］をサブバンド合成した後、解像度が原画像の１／２k0である画像Ａ(j)(k0)［０］とＡ(j)(k0)［ｎ／２］が得られる。ステップ１５７において、ｊ０がｎ０−１と等しい場合には、ここで復号処理を終える。そうでない場合には、次の繰り返しループでの時間空間サブバンド合成のために、ステップ１５８において、Ａ(j)(k0)［０］とＡ(j)(k0)［ｎ／２］を空間方向にサブバンド分割し、Ａ(j-1)*(k0)［０］とＡ(j-1)*(k0)［ｎ／２］を生成する。ステップ１６２においてｊを１減少させる。その後、次の階層での時空間サブバンド合成は、ステップ１５６、１５９、１６０で示すように、Ａ(j)*［０］とＥ*［ｎ／４］、およびＡ(j)*［ｎ／２］とＥ*［３ｎ／４］に対して行われる。以上のようにしてサブバンド合成を繰り返し、ステップ１６１においてｊがｊ０と等しくなった時点で、復号処理を終える。【００７０】
結局、上述した復号処理は、サブバンド信号をフレームごとに空間方向にサブバンド合成した後、時間低周波帯域サブバンドと時間高周波帯域サブバンドに時間方向サブバンド合成を行う三次元サブバンド合成処理によって、復号画像信号を生成するステップを有している。そして、三次元サブバンド合成処理は、
時間高周波帯域サブバンドの空間方向の低周波帯域の信号である時間高周波空間低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとに加えて、時間高周波空間低周波帯域信号に対して同一周波数帯域にある時間低周波空間低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである時間低周波空間高周波帯域サブバンドとの双方もしくはいずれか一方と、時間高周波帯域サブバンドに対応する動き補償処理を規定する動き情報とを参照し、合成時間高周波サブバンド信号を生成する時間高周波サブバンド合成ステップと、
時間低周波空間低周波帯域サブバンドと時間低周波空間高周波帯域サブバンドとを合成する時間低周波サブバンド空間合成ステップと、
時間低周波帯域サブバンドと時間高周波帯域サブバンドに動き補償予測処理を行った後、時間方向サブバンド合成を行う時間方向合成ステップと、
を有している。時間高周波帯域サブバンドの最低周波帯域にある時間高周波空間低周波帯域信号に対して時間高周波サブバンド合成ステップが、時間低周波帯域サブバンドの最低周波帯域にある時間低周波空間低周波帯域サブバンドに対して時間低周波サブバンド空間合成ステップが行なわれている。時間高周波サブバンド合成ステップによって得られるバンド信号を新たに時間高周波空間低周波帯域信号、時間低周波サブバンド空間合成ステップによって得られるバンド信号を新たに時間低周波空間低周波帯域サブバンドとみなして、時間高周波サブバンド空間合成ステップと時間低周波サブバンド空間合成ステップとが再帰的に繰り返され、その結果、時間低周波帯域サブバンドおよび時間高周波帯域サブバンドが得られている。【００７１】
本実施形態では、時間方向サブバンド分割におけるフレームの参照関係が階層構造をとっている場合について説明したが、本発明は参照関係が任意の構造を持つ場合についても適用可能である。【００７２】
また、ひとつの時間方向サブバンド分割において、過去にあるフレームが低周波帯域サブバンドに変換する場合に限定して実施例の説明を行ったが、本発明は、未来にあるフレームが低周波帯域サブバンドに変換する場合、あるいは２枚のフレームを双方向予測する形で時間方向の分割を行う場合にも適用可能である。いずれの場合も、時間方向に分割した後のそれぞれのサブバンドを空間方向に分割した際の低周波帯域サブバンドを符号化対象画像を空間方向に分割した低周波帯域サブバンドを時間方向に分割したサブバンドに置き換え、復号時に対となるフレームの復号結果もしくはサブバンドを用いて望みの復号結果を得られるように補正される。【００７３】
また、本実施形態では階層符号化を実現する変換方式としてサブバンド分割を用いたが、本発明は任意の階層符号化方式に適用可能である。サブバンド分割では、低周波帯域に相当する信号が上位階層に対応づけられる。本発明に基づく符号化方式では、フレーム間予測処理の後に得られる予測誤差信号を階層分割したうちの上位階層信号を、入力画像信号に対して階層分割を行った後、上位階層信号についてフレーム間予測処理をして得られる予測誤差に置き換えてもよい。復号方式では、階層化されたフレーム信号のうち上位階層を、入力画像信号に対してフレーム間予測処理を行って得られる予測誤差信号を階層分割したうちの上位階層信号に補正する。【００７４】
予測誤差信号を用いる場合、動画像符号化処理における三次元サブバンド分割処理は、
入力画像信号におけるフレーム間および入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号におけるバンド間で、動きを表す動き情報を算出する動き情報算出ステップと、
入力画像信号およびイントラバンド信号において、動き情報算出ステップで得られた動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測ステップと、
予測誤差信号を空間方向にサブバンド分割し、低周波帯域予測誤差サブバンドと高周波帯域予測誤差サブバンドを生成する予測誤差信号空間分割ステップと、
イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割ステップと、
を備えることになる。そして、入力画像信号に対して動き情報算出ステップと動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップとが実行される。また、バンド信号空間分割ステップの後に得られた低周波帯域イントラサブバンドをイントラバンド信号として、動き情報算出ステップと動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップとが再帰的に繰り返され、その度に予測誤差信号空間分割ステップで得られる低周波帯域予測誤差サブバンドが、直後の動き補償予測符号化ステップで得られる前記予測誤差信号に置き換えられる。【００７５】
同様に、予測誤差信号を用いる場合の動画像復号処理における三次元サブバンド合成処理は、
予測誤差信号の低周波帯域の信号である予測誤差低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである高周波帯域予測誤差サブバンドとに加え、予測誤差低周波帯域信号に対して同一周波数帯域にある低周波帯域イントラサブバンドと低周波帯域イントラサブバンドに隣接する高周波帯域のサブバンドである高周波帯域イントラサブバンドとの双方もしくはいずれか一方と、予測誤差信号に対応する動き補償処理を規定する動き情報とを参照して合成サブバンド予測誤差信号を生成する予測誤差信号合成ステップと、
低周波帯域イントラサブバンドと高周波帯域イントラサブバンドとを合成するイントラバンド信号空間合成ステップと、
イントラバンド信号に動き補償予測処理を行い合成予測誤差信号を加えることで復号画像信号を得る動き補償復号ステップと、
を備える。そして、予測誤差信号の最低周波帯域にある予測誤差低周波帯域信号に対して予測誤差信号合成ステップが実行され、イントラバンド信号の最低周波帯域にあるイントラ低周波帯域サブバンドに対してイントラバンド信号空間合成ステップが実行される。予測誤差信号合成ステップによって得られるバンド信号を新たに予測誤差低周波帯域信号とみなし、イントラバンド信号空間合成ステップによって得られるバンド信号を新たにイントラ低周波帯域サブバンドとみなし、予測誤差信号合成ステップとイントラバンド信号空間合成ステップとを再帰的に繰り返すことで、イントラバンド信号および前記予測誤差信号が得られる。【００７６】
以上説明した動画像符号化装置及び動画像復号装置は、いずれも、コンピュータを用いて実現することができる。すなわち、コンピュータ上でプログラムを実行することによって、上述した動画像符号化装置、動画像復号装置での処理及び制御を実現できる。ここでいうコンピュータには、プロセッサやコントローラも含まれる。プログラムは、ネットワークを介して、あるいは、そのプログラムを格納したＣＤ−ＲＯＭのような記録媒体を介して、コンピュータに読み込まれる。本発明は、このようなプログラムあるいはプログラムプロダクトあるいは記録媒体をも包含するものである。さらには、そのようなプログラムを伝送する媒体も、本発明の範疇に含まれる。【００７７】
図８は、動画像符号化装置および／または動画像復号装置を実現するコンピュータの構成を示している。このコンピュータは、図８に示されるように、プロセッサ５１、記憶部５２、Ｉ／Ｏインターフェース５３を備えており、それらはバス５４を介して互いに接続されている。【００７８】
記憶部５２は、プロセッサ５１が実行すべき動画像符号化プログラムと動画像復号プログラムのいずれか一方もしくは両方を格納しているとともに、プロセッサが動画像符号化プログラムもしくは動画像復号プログラムが実行している途中での一時記憶領域としての役割も果たす。なお、この「記憶部」という語は、本明細書において、ＲＡＭなどの主記憶のほか、ＣＰＵに含まれるキャッシュメモリやプロセッサに含まれるレジスタ、さらにはハードディスク装置など、あらゆる記憶装置を示すものとして用いられる。また、本実施形態において、Ｉ／Ｏインターフェース５３は、プロセッサ５１の制御に応じて動画像符号化プログラムに対する入力となる原画像や出力となる符号化データ、動画像復号プログラムへの入力となる符号化データや出力となる復号画像を伝送する媒介手段である。ただし、このＩ／Ｏインターフェース１３の存在は、他のプログラムにより求められた原画像ないし符号化データをいったん記憶部５２に格納し、それを記憶部５２から読み出すことで本実施の形態による動画像符号化方法もしくは動画像復号方法を実行することを妨げるものではない。
【産業上の利用可能性】
【００７９】
本発明は、さまざまな伝送環境や再生環境を持つ再生機器に対し、動画像符号化データの一部を削除することで、再生機器の環境に最適な動画配信を行う、といった用途に適用できる。
【図１】
2005055613.tif 000003
【図２】
2005055613.tif 000004
【図３】
2005055613.tif 000005
【図４】
2005055613.tif 000006
【図５】
2005055613.tif 000007
【図６】
2005055613.tif 000008
【図７】
2005055613.tif 000009
【図８】
2005055613.tif 000010
【手続補正書】
【提出日】平成17年9月28日(2005.9.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】請求の範囲
【請求項１】階層符号化を行う動画像符号化方法であって、
入力画像信号に対し第１の動き情報に基づいて時間方向フィルタリングを行った後に空間方向に階層分割して第１の信号を得るステップと、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の動き情報に基づいて時間方向フィルタリングを行って第２の信号を得るステップと、
前記第１の信号と前記第２の信号を符号化するステップと、
を有する動画像符号化方法。
【請求項２】階層符号化を行う動画像符号化方法であって、
入力画像信号を、前記入力画像信号に対し第１の動き情報に基づいて時間方向フィルタリングを行った後に空間方向に階層分割して得られる第１の信号と、前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の動き情報に基づいて時間方向フィルタリングを行って得られた第２の信号とに分割する時空間階層分割処理を行うステップと、
前記縮小入力画像信号に対して前記時空間階層分割を再帰的に行った後に、各階層の信号を符号化するステップと、
を有する動画像符号化方法。
【請求項３】階層符号化を行う動画像符号化方法であって、
入力画像信号に対し第１の動き情報に基づいて動き補償予測処理を行った後に空間方向に階層分割して第１の信号を得るステップと、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の動き情報に基づいて動き補償予測処理を行って第２の信号を得るステップと、
前記第１の信号と前記第２の信号を符号化するステップと、
を有する動画像符号化方法。
【請求項４】階層符号化を行う動画像符号化方法であって、
入力画像信号を、前記入力画像信号に対し第１の動き情報に基づいて動き補償予測処理を行った後に空間方向に階層分割して得られる第１の信号と、前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の動き情報に基づいて動き補償予測処理を行って得られた第２の信号とに分割する時空間階層分割処理を行うステップと、
前記縮小入力画像信号に対して前記時空間階層分割を再帰的に行った後に、各階層の信号を符号化するステップと、
を有する動画像符号化方法。
【請求項５】前記解像度変換フィルタが、階層分割処理における上位の階層を生成するフィルタと同一である、請求項１乃至４のいずれか１項に記載の動画像符号化方法。
【請求項６】入力画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を複数回実行するステップを有し、
前記三次元サブバンド分割処理は、
前記入力画像信号におけるフレーム間および前記入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号のバンド間で、動きを表す動き情報を算出する動き情報算出ステップと、
前記入力画像信号および前記イントラバンド信号において、前記動き情報算出ステップで得られた動き情報に従って動き補償をした後に時間方向にサブバンド分割することで時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号とを得る時間サブバンド分割ステップと、
前記時間高周波帯域サブバンド信号を空間方向にサブバンド分割し、時間高周波空間低周波帯域サブバンドと時間高周波空間高周波帯域サブバンドを生成する時間高周波帯域サブバンド信号空間分割ステップと、
前記時間低周波帯域サブバンド信号を空間方向にサブバンド分割し、時間低周波空間低周波帯域サブバンドと時間低周波空間高周波帯域サブバンドを生成する時間低周波帯域サブバンド信号空間分割ステップと、
前記イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割ステップと、
を有し、
前記入力画像信号に対して前記時間サブバンド分割ステップと前記時間高周波帯域サブバンド信号空間分割ステップと前記時間低周波帯域サブバンド信号空間分割ステップと前記バンド信号空間分割ステップとが実行され、
前記バンド信号空間分割ステップの後に得られた低周波帯域イントラサブバンドを前記イントラバンド信号として、前記時間サブバンド分割ステップと前記時間高周波帯域サブバンド信号空間分割ステップと前記時間低周波帯域サブバンド信号空間分割ステップと前記バンド信号空間分割ステップとが再帰的に繰り返され、その度に、前記時間低周波空間低周波帯域サブバンドと前記時間高周波空間低周波帯域サブバンドが、それぞれ、直後の前記時間サブバンド分割ステップで得られる前記時間低周波帯域サブバンド信号と前記時間高周波帯域サブバンド信号とに置き換えられる、動画像符号化方法。
【請求項７】前記時間サブバンド分割ステップにおいて同一周波数帯域にある２枚のイントラバンド信号に対して時間サブバンド分割を行う際に、得られた時間高周波帯域サブバンド信号及び時間低周波帯域サブバンド信号の一方が、過去方向にあるバンド信号に対応づけられて、前記得られた時間高周波帯域サブバンド信号及び前記時間低周波帯域サブバンド信号の他方が、未来方向にあるバンド信号に対応づけられている、請求項６に記載の動画像符号化方法。
【請求項８】入力画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を複数回実行するステップを有し、
前記三次元サブバンド分割処理は、
入力画像信号におけるフレーム間および前記入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号におけるバンド間で、動きを表す動き情報を算出する動き情報算出ステップと、
前記入力画像信号および前記イントラバンド信号において、前記動き情報算出ステップで得られた動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償予測ステップと、
前記予測誤差信号を空間方向にサブバンド分割し、低周波帯域予測誤差サブバンドと高周波帯域予測誤差サブバンドを生成する予測誤差信号空間分割ステップと、
前記イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割ステップと、
を有し、
前記入力画像信号に対して前記動き情報算出ステップと前記動き補償予測ステップと前記予測誤差信号空間分割ステップと前記バンド信号空間分割ステップとが実行され、
前記バンド信号空間分割ステップの後に得られた低周波帯域イントラサブバンドを前記イントラバンド信号として、前記動き情報算出ステップと前記動き補償予測ステップと前記予測誤差信号空間分割ステップと前記バンド信号空間分割ステップとが再帰的に繰り返され、その度に前記予測誤差信号空間分割ステップで得られる前記低周波帯域予測誤差サブバンドが、直後の動き補償予測符号化ステップで得られる前記予測誤差信号に置き換えられる、動画像符号化方法。
【請求項９】前記動き補償予測ステップにおいて、同一周波数帯域にある２枚のイントラバンド信号に対して、過去方向または未来方向のいずれか一方にあるバンド信号を参照信号とする、請求項８に記載の動画像符号化方法。
【請求項１０】前記動き補償予測ステップにおいて、同一周波数帯域にある複数のイントラバンド信号において１枚の符号化対象バンド信号を除いたバンド信号を参照信号とし、動き補償処理において、前記複数の参照信号の重み付け平均を使用する、請求項８に記載の動画像符号化方法。
【請求項１１】動き補償予測ステップにおいて、同一周波数帯域にあるイントラバンド信号の動き補償処理時に、参照信号となるバンド信号を１つもしくは複数の画素ごとに切り替える、請求項８に記載の動画像符号化方法。
【請求項１２】（削除）
【請求項１３】階層化された符号化データを復号する動画像復号方法であって、
第１の動き情報に基づく第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の動き情報に基づく第２の時間方向フィルタリング後の信号である時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、前記第１の動き情報と第２の動き情報とを復号するステップと、
前記上位階層時間フィルタリング信号と前記第１の動き情報とから上位階層復号信号を生成するステップと、
前記上位階層復号信号と前記第２の動き情報とから時間フィルタリング上位階層信号を生成するステップと、
前記時間フィルタリング上位階層信号と前記時間フィルタリング下位階層信号とを合成して前記時間フィルタリング信号を生成するステップと、
前記時間フィルタリング信号と前記第２の動き情報とから復号画像信号を生成するステップと、
を有する動画像復号方法。
【請求項１４】階層化された符号化データを復号する動画像復号方法であって、
第１の動き情報に基づく第１の動き補償予測処理後の信号である上位階層予測誤差信号と、第２の動き情報に基づく第２の動き補償予測処理後の信号である予測誤差信号を空間方向に階層分割した予測誤差下位階層信号と、前記第１の動き情報と第２の動き情報とを復号するステップと、
前記上位階層予測誤差信号と前記第１の動き情報とから上位階層復号信号を生成するステップと、
前記上位階層復号信号と前記第２の動き情報とから予測誤差上位階層信号を生成するステップと、
前記予測誤差上位階層信号と前記予測誤差下位階層信号とを合成して前記予測誤差信号を生成するステップと、
前記予測誤差信号と前記第２の動き情報とから復号画像信号を生成するステップと、
を有する動画像復号方法。
【請求項１５】階層化された符号化データを復号する動画像復号方法であって、
第１の動き情報に基づく第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の動き情報に基づく第２の時間方向フィルタリング後の信号である時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、前記第１の動き情報と第２の動き情報とを復号するステップと、
前記上位階層時間フィルタリング信号と前記第１の動き情報とから上位階層復号信号を生成するステップと、
前記上位階層復号信号と前記第２の動き情報とから時間フィルタリング上位階層信号を生成するステップと、
前記時間フィルタリング上位階層信号と前記時間フィルタリング下位階層信号とを合成して前記時間フィルタリング信号を生成する時間フィルタリング合成ステップと、
前記時間フィルタリング信号を上位階層時間フィルタリング信号とみなして注目する階層の下位階層における動き情報と時間フィルタリング下位階層信号とを復号して再帰的に時間フィルタリング合成ステップを行った後、時間方向逆フィルタリングを行うことで復号画像を得るステップと、
を有する動画像復号方法。
【請求項１６】階層化された符号化データを復号する動画像復号方法であって、
第１の動き情報に基づく第１の動き補償予測処理後の信号である上位階層予測誤差信号と、第２の動き情報に基づく第２の動き補償予測処理後の信号である予測誤差信号を空間方向に階層分割した予測誤差下位階層信号と、前記第１の動き情報と第２の動き情報とを復号するステップと、
前記上位階層予測誤差信号と前記第１の動き情報とから上位階層復号信号を生成するステップと、
前記上位階層復号信号と前記第２の動き情報とから予測誤差上位階層信号を生成するステップと、
前記予測誤差上位階層信号と前記予測誤差下位階層信号とを合成して前記予測誤差信号を生成する予測誤差合成ステップと、
前記予測誤差信号を上位階層予測誤差信号とみなして注目する階層の下位階層における動き情報と予測誤差下位階層信号とを復号して再帰的に予測誤差合成ステップを行った後、動き補償予測の逆処理を行うことで復号画像を得るステップと、
を有する動画像復号方法。
【請求項１７】サブバンド信号をフレームごとに空間方向にサブバンド合成した後、時間低周波帯域サブバンドと時間高周波帯域サブバンドに時間方向サブバンド合成を行う三次元サブバンド合成処理によって、復号画像信号を生成するステップを有し、
前記三次元サブバンド合成処理は、
前記時間高周波帯域サブバンドの空間方向の低周波帯域の信号である時間高周波空間低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとに加えて、前記時間高周波空間低周波帯域信号に対して同一周波数帯域にある時間低周波空間低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである時間低周波空間高周波帯域サブバンドとの双方もしくはいずれか一方と、前記時間高周波帯域サブバンドに対応する動き補償処理を規定する動き情報とを参照し、合成時間高周波サブバンド信号を生成する時間高周波サブバンド合成ステップと、
前記時間低周波空間低周波帯域サブバンドと前記時間低周波空間高周波帯域サブバンドとを合成する時間低周波サブバンド空間合成ステップと、
前記時間低周波帯域サブバンドと前記時間高周波帯域サブバンドに動き補償予測処理を行った後、時間方向サブバンド合成を行う時間方向合成ステップと、
を有し、
前記時間高周波帯域サブバンドの最低周波帯域にある時間高周波空間低周波帯域信号に対して前記時間高周波サブバンド合成ステップが、前記時間低周波帯域サブバンドの最低周波帯域にある時間低周波空間低周波帯域サブバンドに対して前記時間低周波サブバンド空間合成ステップが行なわれ、
前記時間高周波サブバンド合成ステップによって得られるバンド信号を新たに時間高周波空間低周波帯域信号、前記時間低周波サブバンド空間合成ステップによって得られるバンド信号を新たに時間低周波空間低周波帯域サブバンドとみなして、前記時間高周波サブバンド空間合成ステップと前記時間低周波サブバンド空間合成ステップとが再帰的に繰り返され、前記時間低周波帯域サブバンドおよび時間高周波帯域サブバンドが得られる、動画像復号方法。
【請求項１８】時間高周波サブバンド合成ステップは、
前記時間高周波空間低周波帯域信号と同一周波数帯域にある時間低周波空間低周波帯域サブバンドと動き情報とを用い時間高周波空間低周波帯域サブバンドを推定する時間高周波サブバンド推定ステップと、
前記時間高周波サブバンド推定ステップによって得られる推定時間高周波空間低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとをサブバンド合成する時間高周波サブバンド空間合成ステップと、
を有する、請求項１７に記載の動画像復号方法。
【請求項１９】時間高周波サブバンド推定ステップにおいて、時間高周波サブバンドに対応する動き補償を規定する動き情報を用いて、前記動き補償において生成される予測信号のうち低周波帯域イントラサブバンドのみに由来する信号の低周波数帯域サブバンドと前記動き補償における現フレーム信号の低周波帯域サブバンドとの時間方向サブバンド分割を、時間高周波空間低周波帯域サブバンドの推定値とする、請求項１８に記載の動画像復号方法。
【請求項２０】前記時間高周波サブバンド推定ステップは、
前記時間高周波サブバンドに対応する動き補償を規定する動き情報を用いて、前記予測誤差信号と予測誤差低周波帯域信号とのバンド間解像度比に比例して前記時間高周波帯域成分を縮小するステップと、
縮小された前記時間高周波帯域成分に対して動き補償処理を行った後に、時間方向サブバンド分割を行い、得られた値を前記時間高周波空間低周波帯域サブバンドの推定値とするステップと、
を有する、請求項１８記載の動画像復号方法。
【請求項２１】前記時間高周波サブバンド合成ステップは、
前記時間低周波空間低周波帯域サブバンドと前記時間低周波空間高周波帯域サブバンドと前記動き情報とを用い時間高周波空間低周波帯域サブバンドを推定する時間高周波サブバンド推定ステップと、
前記時間高周波サブバンド推定ステップによって得られる推定時間高周波空間低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとをサブバンド合成する時間高周波サブバンド空間合成ステップと、
を有する、からなることを特徴とする請求項１７に記載の動画像復号方法。
【請求項２２】前記時間サブバンド合成ステップにおいて、同一周波数帯域にある２枚のバンド信号に対して、未来方向にある前記バンド信号と過去方向にある前記バンド信号とのいずれか一方が前記時間高周波帯域サブバンド信号と対応付けられ、前記未来方向にあるバンド信号と前記過去方向にあるバンド信号とのうちの他方が前記時間低周波帯域サブバンド信号と対応付けられて、時間サブバンド合成が行なわれる、請求項１７乃至２１のいずれか１項に記載の動画像復号方法。
【請求項２３】前記時間サブバンド合成ステップは、前記動き補償処理に、該バンド信号以外のバンド信号の重み付け平均処理を含む、請求項１７乃至２１のいずれか１項に記載の動画像復号方法。
【請求項２４】前記時間サブバンド合成ステップにおいて、バンド信号の一つもしくは複数の画素ごとに時間サブバンド合成を行う対となるバンド信号が切り替えられる、請求項１７乃至２１のいずれかに１項記載の動画像復号方法。
【請求項２５】復号画像信号を生成する動画像復号方法であって、
サブバンド信号をフレームごとに空間方向にサブバンド合成した後、前記合成されたイントラバンド信号と予測誤差信号に動き補償処理を行う三次元サブバンド合成処理を実行するステップを有し、
前記三次元サブバンド合成処理が、
前記予測誤差信号の低周波帯域の信号である予測誤差低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである高周波帯域予測誤差サブバンドとに加え、前記予測誤差低周波帯域信号に対して同一周波数帯域にある低周波帯域イントラサブバンドと前記低周波帯域イントラサブバンドに隣接する高周波帯域のサブバンドである高周波帯域イントラサブバンドとの双方もしくはいずれか一方と、前記予測誤差信号に対応する動き補償処理を規定する動き情報とを参照して合成サブバンド予測誤差信号を生成する予測誤差信号合成ステップと、
前記低周波帯域イントラサブバンドと前記高周波帯域イントラサブバンドとを合成するイントラバンド信号空間合成ステップと、
前記イントラバンド信号に動き補償予測処理を行い前記合成予測誤差信号を加えることで前記復号画像信号を得る動き補償復号ステップと、
を有し、
前記予測誤差信号の最低周波帯域にある予測誤差低周波帯域信号に対して前記予測誤差信号合成ステップが実行され、
前記イントラバンド信号の最低周波帯域にあるイントラ低周波帯域サブバンドに対して前記イントラバンド信号空間合成ステップが実行され、
前記予測誤差信号合成ステップによって得られるバンド信号を新たに予測誤差低周波帯域信号とみなし、前記イントラバンド信号空間合成ステップによって得られるバンド信号を新たにイントラ低周波帯域サブバンドとみなし、前記予測誤差信号合成ステップと前記イントラバンド信号空間合成ステップとを再帰的に繰り返すことで、前記イントラバンド信号および前記予測誤差信号が得られる、動画像復号方法。
【請求項２６】前記予測誤差信号合成ステップは、
前記予測誤差低周波帯域信号と前記低周波帯域イントラサブバンドと前記動き情報とを用い、前記予測誤差信号の低周波帯域のサブバンドである低周波帯域予測誤差サブバンドを推定する予測誤差サブバンド推定ステップと、
前記予測誤差サブバンド推定ステップによって得られる推定予測誤差低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである高周波帯域予測誤差サブバンドとをサブバンド合成する予測誤差信号空間合成ステップと、
を有する、請求項２５に記載の動画像復号方法。
【請求項２７】前記予測誤差サブバンド推定ステップは、前記予測誤差信号に対応する動き補償を規定する動き情報を用いて、前記動き補償において生成される予測信号のうち低周波帯域イントラサブバンドのみに由来する信号の低周波数帯域サブバンドと、前記動き補償における現フレーム信号の低周波帯域サブバンドとの差を低周波帯域予測誤差サブバンドの推定値とするステップを有する、請求項２６に記載の動画像復号方法。
【請求項２８】前記予測誤差サブバンド推定ステップは、前記予測誤差信号に対応する動き補償を規定する動き情報を用いて、前記予測誤差信号と前記予測誤差低周波帯域信号とについての、バンド間解像度比に比例して縮小した上で動き補償処理を行った結果を、前記低周波帯域予測誤差サブバンドの推定値とする、請求項２６に記載の動画像復号方法。
【請求項２９】前記予測誤差信号合成ステップは、
前記予測誤差低周波帯域信号と前記低周波帯域イントラサブバンドと前記高周波帯域イントラサブバンドと前記動き情報とを用い、前記予測誤差信号の低周波帯域のサブバンドである低周波帯域予測誤差サブバンドを推定する予測誤差サブバンド推定ステップと、
前記前記予測誤差サブバンド推定ステップによって得られる推定予測誤差低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである高周波帯域予測誤差サブバンドとをサブバンド合成する予測誤差信号空間合成ステップと、
を有する、請求項２５に記載の動画像復号方法。
【請求項３０】前記動き補償復号ステップにおいて、同一周波数帯域にある２枚のバンド信号に対して、過去方向または未来方法のいずれか一方にあるバンド信号が参照信号とされる、請求項２５乃至２９のいずれか１項に記載の動画像復号方法。
【請求項３１】前記動き補償復号ステップにおいて、同一周波数帯域にある複数のバンド信号における動き補償処理は、前記複数の参照信号の重み付け平均を利用する、請求項２５乃至２９のいずれか１項に記載の動画像復号方法。
【請求項３２】動き補償復号ステップは、同一周波数帯域にあるバンド信号の動き補償処理時に参照信号となるバンド信号を一つもしくは複数の画素ごとに切り替えるステップを有する、請求項２５乃至２９のいずれか１項に記載の動画像復号方法。
【請求項３３】階層符号化を行う動画像符号化装置であって、
入力画像信号について、第１の動き情報に基づいて時間方向フィルタリングを行った後に空間方向に階層分割して得られる時間フィルタリング下位階層信号を符号化する時間フィルタリング下位階層信号符号化手段と、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の動き情報に基づいて時間方向フィルタリングを行って得られる上位階層時間フィルタリング信号を符号化する上位階層時間フィルタリング信号符号化手段と、
を有する動画像符号化装置。
【請求項３４】階層符号化を行う動画像符号化装置であって、
入力画像信号について、第１の動き情報に基づいて動き補償処理を行った後に空間方向に階層分割して得られる予測誤差下位階層信号を符号化する予測誤差下位階層信号符号化手段と、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の動き情報に基づいて動き補償処理を行って得られる上位階層予測誤差信号を符号化する上位階層予測誤差信号符号化手段と、
を有する動画像符号化装置。
【請求項３５】階層符号化を行う動画像符号化装置であって、
入力画像信号に対して、第１の動き情報に基づいて時間方向フィルタリングを行った後に空間方向に階層分割して時間フィルタリング下位階層信号を生成する時間フィルタリング下位階層信号生成手段と、
前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の動き情報に基づいて時間方向フィルタリングを行って上位階層時間フィルタリング信号を生成する上位階層時間フィルタリング信号生成手段と、
を有し、
前記縮小入力画像信号に対して、前記時間フィルタリング下位階層信号の生成と前記上位階層時間フィルタリング信号の生成とが再帰的に行なわれ、そののち、各階層信号が符号化される、動画像符号化装置。
【請求項３６】階層符号化を行う動画像符号化装置であって、
入力画像信号に対して、第１の動き情報に基づいて動き補償予測を行った後に空間方向に階層分割して予測誤差下位階層信号を生成する予測誤差下位階層信号生成手段と、
前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の動き情報に基づいて動き補償予測を行って上位階層予測誤差信号を生成する上位階層予測誤差信号生成手段と、
を有し、
前記縮小入力画像信号に対して前記予測誤差下位階層信号の生成と前記上位階層予測誤差信号の生成とが再帰的に行なわれ、そののちに、各階層信号が符号化される、動画像符号化装置。
【請求項３７】入力画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を複数回行う動画像符号化装置であって、
前記入力画像信号におけるフレーム間および前記入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号のバンド間で、動きを表す動き情報を算出する動き情報算出手段と、
前記入力画像信号および前記イントラバンド信号に対して、前記動き情報算出手段で得られた動き情報に従って動き補償をした後に、時間方向にサブバンド分割することで時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号とを得る時間サブバンド分割手段と、
前記時間高周波帯域サブバンド信号を空間方向にサブバンド分割し、時間高周波空間低周波帯域サブバンドと時間高周波空間高周波帯域サブバンドとを生成する時間高周波帯域サブバンド信号空間分割手段と、
前記時間低周波帯域サブバンド信号を空間方向にサブバンド分割し、時間低周波空間低周波帯域サブバンドと時間低周波空間高周波帯域サブバンドとを生成する時間低周波帯域サブバンド信号空間分割手段と、
前記イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割手段と、
を有し、
前記入力画像信号が、前記時間サブバンド分割手段と前記時間高周波帯域サブバンド信号空間分割手段と前記時間低周波帯域サブバンド信号空間分割手段と前記バンド信号空間分割手段とによって処理され、前記バンド信号空間分割手段から得られた低周波帯域イントラサブバンドをイントラバンド信号として、前記時間サブバンド分割手段と前記時間高周波帯域サブバンド信号空間分割手段と前記時間低周波帯域サブバンド信号空間分割手段と前記バンド信号空間分割手段とによる処理が再帰的に繰り返され、その度に、前記時間低周波空間低周波帯域サブバンドと前記時間高周波空間低周波帯域サブバンドが、それぞれ、直後に前記時間サブバンド分割手段によって得られる時間低周波帯域サブバンド信号と時間高周波帯域サブバンド信号によって置き換えられる、動画像符号化装置。
【請求項３８】入力画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を複数回行う動画像符号化装置であって、
前記入力画像信号におけるフレーム間および前記入力画像信号をサブバンド分割して得られる低周波帯域サブバンドのうちの一つのバンド信号であるイントラバンド信号におけるバンド間で、動きを表す動き情報を算出する動き情報算出手段と、
前記入力画像信号および前記イントラバンド信号に対して、前記動き情報算出手段で得られた動き情報に従って動き補償予測処理を行い、予測誤差信号を得る動き補償予測手段と、
前記予測誤差信号を空間方向にサブバンド分割し、低周波帯域予測誤差サブバンドと高周波帯域予測誤差サブバンドを生成する予測誤差信号空間分割手段と、
前記イントラバンド信号を空間方向にサブバンド分割し、低周波帯域イントラサブバンドと高周波帯域イントラサブバンドを生成するバンド信号空間分割手段と、
を有し、
前記入力画像信号が、前記動き情報算出手段と前記動き補償予測手段と前記予測誤差信号空間分割手段と前記バンド信号空間分割手段とによって処理され、前記バンド信号空間分割手段から得られた低周波帯域イントラサブバンドをイントラバンド信号として、前記動き情報算出手段と前記動き補償予測手段と前記予測誤差信号空間分割手段と前記バンド信号空間分割手段とによる処理が再帰的に繰り返され、その度に、前記予測誤差信号空間分割手段で得られる低周波帯域予測誤差サブバンドが、直後に前記動き補償予測符号化手段で得られる予測誤差信号に置き換えられる、動画像符号化装置。
【請求項３９】階層化された符号化データを復号する動画像復号装置であって、
第１の動き情報に基づく第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の動き情報に基づく第２の時間方向フィルタリングで得られる時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、前記第１の動き情報と第２の動き情報とを復号する階層符号復号手段と、
前記上位階層時間フィルタリング信号と前記第１の動き情報とから上位階層復号信号を生成し、前記上位階層復号信号と前記第２の動き情報とから時間フィルタリング上位階層信号を生成する時間フィルタリング上位階層信号生成手段と、
前記時間フィルタリング上位階層信号と前記時間フィルタリング下位階層信号とを合成した後に前記第２の時間方向フィルタリングの逆変換を行う時間フィルタリング信号合成手段と、
を有する、動画像復号装置。
【請求項４０】階層化された符号化データを復号する動画像復号装置であって、
第１の動き情報に基づく第１の動き補償処理後の信号である上位階層予測誤差信号と、第２の動き情報に基づく第２の動き補償予測で得られる予測誤差信号を空間方向に階層分割した予測誤差下位階層信号と、前記第１の動き情報と第２の動き情報とを復号する階層符号復号手段と、
前記上位階層予測誤差信号と前記第１の動き情報とから上位階層復号信号を生成し、前記上位階層復号信号と前記第２の動き情報とから予測誤差上位階層信号を生成する予測誤差上位階層信号生成手段と、
前記予測誤差上位階層信号と前記予測誤差下位階層信号とを合成した後に前記第２の動き補償に基づく合成処理を行う、動き補償合成手段と、
を有する、動画像復号装置。
【請求項４１】階層化された符号化データをフレーム単位に階層合成した後に時間方向逆フィルタリングを行うことで復号画像を得る動画像復号装置であって、
第１の動き情報に基づく第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の動き情報に基づく第２の時間方向フィルタリングで得られる時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、前記第１の動き情報と前記第２の動き情報とを復号する階層符号復号手段と、
前記上位階層時間フィルタリング信号と前記第１の動き情報とから上位階層復号信号を生成し、前記上位階層復号信号と前記第２の動き情報とから時間フィルタリング上位階層信号を生成する時間フィルタリング上位階層信号生成手段と、
前記時間フィルタリング上位階層信号と前記時間フィルタリング下位階層信号とを合成して合成時間フィルタリング信号を生成する時間フィルタリング信号合成手段と、
を有し、
前記合成時間フィルタリング信号を上位階層時間フィルタリング信号とみなし、注目する階層の下位階層における動き情報と時間フィルタリング下位階層信号とを復号する前記階層符号復号手段による処理と、前記時間フィルタリング上位階層信号生成手段による処理と、前記時間フィルタリング信号合成手段による処理とが再帰的に行なわれ、その後、時間方向逆フィルタリングを行うことで復号画像を得る、動画像復号装置。
【請求項４２】階層化された符号化データをフレーム単位に階層合成した後に動き補償合成処理を行うことで復号画像を得る動画像復号装置であって、
第１の動き情報に基づく第１の動き補償予測後の信号である上位階層予測誤差信号と、第２の動き情報に基づく第２の動き補償予測で得られる予測誤差信号を空間方向に階層分割した予測誤差下位階層信号と、前記第１の動き情報と第２の動き情報とを復号する階層符号復号手段と、
前記上位階層予測誤差信号と前記第１の動き情報とから上位階層復号信号を生成し、前記上位階層復号信号と前記第２の動き情報とから予測誤差上位階層信号を生成する予測誤差上位階層信号生成手段と、
前記予測誤差上位階層信号と前記予測誤差下位階層信号とを合成して合成予測誤差信号を生成する予測誤差信号合成手段と、
を有し、
前記合成予測誤差信号を上位階層予測誤差信号とみなし、注目する階層の下位階層における予測誤差情報と予測誤差下位階層信号とを復号する前記階層符号復号手段による処理と、前記予測誤差上位階層信号生成手段による処理と、前記予測誤差信号合成手段による処理とが再帰的に行なわれ、そののち、動き補償合成処理を行うことで復号画像を得る、動画像復号装置。
【請求項４３】サブバンド信号をフレームごとに空間方向にサブバンド合成した後、時間低周波帯域サブバンドと時間高周波帯域サブバンドに時間方向サブバンド合成を行う三次元サブバンド合成処理によって、復号画像信号を生成する動画像復号装置であって、
前記時間高周波帯域サブバンドの空間方向の低周波帯域の信号である時間高周波空間低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである時間高周波空間高周波帯域サブバンドとに加えて、前記時間高周波空間低周波帯域信号に対して同一周波数帯域にある時間低周波空間低周波帯域サブバンドと該サブバンド信号に隣接する高周波帯域のサブバンドである時間低周波空間高周波帯域サブバンドとの双方もしくはいずれか一方と、前記時間高周波帯域サブバンドに対応する動き補償処理を規定する動き情報とを参照し、合成時間高周波サブバンド信号を生成する時間高周波サブバンド合成手段と、
前記時間低周波空間低周波帯域サブバンドと前記時間低周波空間高周波帯域サブバンドとを合成する時間低周波サブバンド空間合成手段と、
前記時間低周波帯域サブバンドと時間高周波帯域サブバンドに動き補償予測処理を行った後、時間方向サブバンド合成を行う時間方向合成手段と、
を有し、
前記時間高周波帯域サブバンドの最低周波帯域にある時間高周波空間低周波帯域信号を前記時間高周波サブバンド合成手段によって処理し、
前記時間低周波帯域サブバンドの最低周波帯域にある時間低周波空間低周波帯域サブバンドを時間低周波サブバンド空間合成手段によって処理し、
前記時間高周波サブバンド合成手段によって得られるバンド信号を新たに時間高周波空間低周波帯域信号とみなし、前記時間低周波サブバンド空間合成手段によって得られるバンド信号を新たに時間低周波空間低周波帯域サブバンドとみなして、前記時間高周波サブバンド空間合成手段と前記時間低周波サブバンド空間合成手段とによる処理を再帰的に繰り返すことで、前記時間低周波帯域サブバンドおよび時間高周波帯域サブバンドを得る、動画像復号装置。
【請求項４４】サブバンド信号をフレームごとに空間方向にサブバンド合成した後、前記合成されたイントラバンド信号と予測誤差信号に動き補償処理を行う三次元サブバンド合成処理によって、復号画像信号を生成する動画像復号装置であって、
前記予測誤差信号の低周波帯域の信号である予測誤差低周波帯域信号と、該低周波帯域信号に隣接する高周波帯域のサブバンドである高周波帯域予測誤差サブバンドとに加え、前記予測誤差低周波帯域信号に対して同一周波数帯域にある低周波帯域イントラサブバンドと前記低周波帯域イントラサブバンドに隣接する高周波帯域のサブバンドである高周波帯域イントラサブバンドとの双方もしくはいずれか一方と、前記予測誤差信号に対応する動き補償処理を規定する動き情報とを参照して合成サブバンド予測誤差信号を生成する予測誤差信号合成手段と、
前記低周波帯域イントラサブバンドと前記高周波帯域イントラサブバンドとを合成するイントラバンド信号空間合成手段と、
前記イントラバンド信号に動き補償予測処理を行い前記合成予測誤差信号を加えることで前記復号画像信号を得る動き補償復号手段と、
を有し、
前記予測誤差信号の最低周波帯域にある予測誤差低周波帯域信号が前記予測誤差信号合成手段によって処理され、
前記イントラバンド信号の最低周波帯域にあるイントラ低周波帯域サブバンドが前記イントラバンド信号空間合成手段によって処理され、
前記予測誤差信号合成手段によって得られるバンド信号を新たに予測誤差低周波帯域信号とみなし、前記イントラバンド信号空間合成手段によって得られるバンド信号を新たにイントラ低周波帯域サブバンドとみなし、予測誤差信号合成手段とイントラバンド信号空間合成手段とによる処理を再帰的に繰り返すことで、前記イントラバンド信号および前記予測誤差信号を得る、動画像復号装置。
【請求項４５】コンピュータに、動画像の階層符号化を行わせるプログラムであって、
前記コンピュータに、
入力画像信号に対して第１の動き情報に基づいて時間方向フィルタリングを行った後に空間方向に階層分割して第１の信号を得る処理と、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の動き情報に基づいて時間方向フィルタリングを行って第２の信号を得る処理と、
前記第１の信号と前記第２の信号を符号化する処理と、
を実行させるプログラム。
【請求項４６】コンピュータに、動画像の階層符号化を行わせるプログラムであって、
前記コンピュータに、
入力画像信号を、前記入力画像信号に対し第１の動き情報に基づいて時間方向フィルタリングを行った後に空間方向に階層分割して得られる第１の信号と、前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の動き情報に基づいて時間方向フィルタリングを行って得られた第２の信号と、に分割する時空間階層分割処理を行う処理と、
前記縮小入力画像信号に対して前記時空間階層分割を再帰的に行った後に、各階層の信号を符号化する処理と、
を実行させるプログラム。
【請求項４７】コンピュータに、動画像の階層符号化を行わせるプログラムであって、
前記コンピュータに、
入力画像信号に対し第１の動き情報に基づいて動き補償予測処理を行った後に空間方向に階層分割して第１の信号を得る処理と、
前記入力画像信号を解像度変換フィルタによって縮小した後に縮小解像度上で第２の動き情報に基づいて動き補償予測処理を行って第２の信号を得る処理と、
前記第１の信号と前記第２の信号を符号化する処理と、
を実行させるプログラム。
【請求項４８】コンピュータに、階層化された符号化動画像データを復号させるプログラムであって、
前記コンピュータに、
第１の動き情報に基づく第１の時間方向フィルタリング後の信号である上位階層時間フィルタリング信号と、第２の動き情報に基づく第２の時間方向フィルタリング後の信号である時間フィルタリング信号を空間方向に階層分割した時間フィルタリング下位階層信号と、前記第１の動き情報と第２の動き情報とを復号する処理と、
前記上位階層時間フィルタリング信号と前記第１の動き情報とから上位階層復号信号を生成する処理と、
前記上位階層復号信号と前記第２の動き情報とから時間フィルタリング上位階層信号を生成する処理と、
前記時間フィルタリング上位階層信号と前記時間フィルタリング下位階層信号とを合成して前記時間フィルタリング信号を生成する時間フィルタリング合成処理と、
前記時間フィルタリング信号を上位階層時間フィルタリング信号とみなして注目する階層の下位階層における動き情報と時間フィルタリング下位階層信号とを復号して再帰的に時間フィルタリング合成ステップを行った後、時間方向逆フィルタリングを行うことで復号画像を得る処理と、
を実行させるプログラム。
【請求項４９】コンピュータに、階層化された符号化動画像データを復号させるプログラムであって、
前記コンピュータに、
第１の動き情報に基づく第１の動き補償予測処理後の信号である上位階層予測誤差信号と、第２の動き情報に基づく第２の動き補償予測処理後の信号である予測誤差信号を空間方向に階層分割した予測誤差下位階層信号と、前記第１の動き情報と第２の動き情報とを復号する処理と、
前記上位階層予測誤差信号と前記第１の動き情報とから上位階層復号信号を生成する処理と、
前記上位階層復号信号と前記第２の動き情報とから予測誤差上位階層信号を生成する処理と、
前記予測誤差上位階層信号と前記予測誤差下位階層信号とを合成して前記予測誤差信号を生成する予測誤差合成処理と、
前記予測誤差信号を上位階層予測誤差信号とみなして注目する階層の下位階層における動き情報と予測誤差下位階層信号とを復号して再帰的に予測誤差合成ステップを行った後、動き補償予測の逆処理を行うことで復号画像を得る処理と、
を実行させるプログラム。
【請求項５０】コンピュータに、動画像の階層符号化を行わせるプログラムであって、
前記コンピュータに、
入力画像信号を、前記入力画像信号に対し第１の動き情報に基づいて動き補償予測処理を行った後に空間方向に階層分割して得られる第１の信号と、前記入力画像信号を解像度変換フィルタによって縮小した縮小入力画像信号に対し縮小解像度上で第２の動き情報に基づいて動き補償予測処理を行って得られた第２の信号とに分割する時空間階層分割処理を行う処理と、
前記縮小入力画像信号に対して前記時空間階層分割を再帰的に行った後に、各階層の信号を符号化する処理と、
を実行させるプログラム。
【国際調査報告】
2005055613.tif 000011
2005055613.tif 000012
2005055613.tif 000013
2005055613.tif 000014