(57)【要約】【課題】  動画圧縮符号化技術では、圧縮効率を高めるために、動きベクトル情報に起因する符号量を削減する必要がある。【解決手段】  動画像に再帰的に動き補償時間フィルタリングを実施してフレームレートの異なる複数の階層を求める符号化方法において、階層毎に、その階層内での動き補償予測に用いられる動きベクトルの精度を変更可能とした。階層と動きベクトルの精度とは、予め対応付けされていてもよいし、一定枚数のピクチャ毎に前記階層と前記動きベクトルの精度とが対応付けされていてもよい。この対応情報は、動画像の符号化データ内に含められる。階層のフレームレートが低下するにしたがって動きベクトルの精度を粗くすることが好ましい。【選択図】  図８
2007096541.tif 000002
【特許請求の範囲】
【請求項１】
動画像からスケーラビリティを有する複数の階層をもつ符号化データを生成する符号化方法において、
階層毎に、その階層内での動き補償予測に用いられる動きベクトルの精度が変更可能であることを特徴とする符号化方法。
【請求項２】
動画像に再帰的に動き補償時間フィルタリングを実施してフレームレートの異なる複数の階層を求める符号化方法において、
階層毎に、その階層内での動き補償予測に用いられる動きベクトルの精度が変更可能であることを特徴とする符号化方法。
【請求項３】
前記階層と前記動きベクトルの精度とが予め対応付けされており、その対応情報を動画像の符号化データ内に含めることを特徴とする請求項１または２に記載の符号化方法。
【請求項４】
一定枚数のピクチャ毎に前記階層と前記動きベクトルの精度とが対応付けされており、その対応情報を動画像の符号化データ内に含めることを特徴とする請求項１または２に記載の符号化方法。
【請求項５】
前記階層と前記動きベクトルの精度とが予め対応付けされており、この対応付けにしたがって各階層における前記動きベクトルの精度を決定することを特徴とする請求項１または２に記載の符号化方法。
【請求項６】
階層を経る毎に前記動きベクトルの精度が段階的に変化することを特徴とする請求項１ないし５のいずれかに記載の符号化方法。
【請求項７】
階層のフレームレートが低下するにしたがって動きベクトルの精度を粗くすることを特徴とする請求項２に記載の符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する符号化方法に関する。
【背景技術】
【０００２】
ブロードバンドネットワークが急速に発展しており、高品質な動画像を利用したサービスに期待が集まっている。また、ＤＶＤなど大容量の記録媒体が利用されており、高画質の画像を楽しむユーザ層が広がっている。動画像を通信回線で伝送したり、記録媒体に蓄積するために不可欠な技術として圧縮符号化がある。動画像圧縮符号化技術の国際標準として、ＭＰＥＧ４の規格やＨ．２６４／ＡＶＣ規格がある。また、ひとつのストリームにおいて高画質のストリームと低画質のストリームを併せもつＳＶＣ（Scalable Video Coding）のような次世代画像圧縮技術がある。
【０００３】
Ｈ．２６４／ＡＶＣ規格では、動き補償においてよりきめ細かな予測を行うために、動き補償のブロックサイズを可変にしたり、動き補償の画素精度を１／４画素精度まで細かくすることができるようになっており、動きベクトルに関する符号量が多くなる。また、次世代画像圧縮技術であるＳＶＣでは、時間的スケーラビリティを高めるために、ＭＣＴＦ（Motion Compensated Temporal Filtering、動き補償時間方向フィルタ）技術が検討されている。これは、時間軸方向のサブバンド分割に動き補償を組み合わせたものであり、階層的な動き補償を行うため、動きベクトルの情報が非常に多くなる。このように最近の動画圧縮符号化技術では、動きベクトルに関する情報量が増えることにより動画ストリーム全体のデータ量が増大する傾向にあり、動きベクトル情報に起因する符号量を削減する技術が一層求められている。
【０００４】
特許文献１には、動きベクトルの符号化精度をブロック毎に切り換える符号化方法が開示されている。これによって、低レート符号化における動きベクトルの符号量が削減できる。
【特許文献１】特開２００４−４８５２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
高周波成分が多く、かつ参照フレームとの相関が強いフレームにおいては、動きベクトルの精度を高くして高精度の動き補償を実施することによって予測誤差を小さくできるが、フレーム内を移動する物体の動きが速いために参照フレームとの相関が弱いフレームや、高周波成分の少ないフレームにおいては、動き補償の精度を高くしても予測誤差の低減は貢献することはなく、高精度の動きベクトルの情報が無駄になってしまう。
【０００６】
本発明はこうした状況に鑑みてなされたもので、その目的は、動きベクトル情報に起因する符号量を削減することのできる動画像の符号化技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様は、動画像からスケーラビリティを有する複数の階層をもつ符号化データを生成する符号化方法において、階層毎に、その階層内での動き補償予測に用いられる動きベクトルの精度が変更可能であることを特徴とする。
【０００８】
この態様によると、それぞれの階層に最適な動きベクトル精度を用いることで、予測誤差の低減につながらない無駄な動きベクトルの符号量を抑えることにより、動画像の圧縮効率が向上する。スケーラビリティのタイプとしては、時間スケーラビリティと空間スケーラビリティが考えられる。
【０００９】
動画像に対して再帰的に動き補償時間フィルタリングを実施することによって、フレームレートの異なる複数の階層を求めてもよい。また、ＭＣＴＦ技術にしたがって、動画像に動き補償時間フィルタリングを実施してフレームレートの異なる複数の階層を求める符号化方法に対しても、上述の方法を適用できる。これによると、階層毎に動きベクトル情報が求められるＭＣＴＦにおいて、動きベクトル情報の符号量を削減できるので、動画像の圧縮効率が向上する。
【００１０】
階層と動きベクトルの精度とを予め対応付けておき、その対応情報を動画像の符号化データ内に含めるようにしてもよい。これによって、符号化データストリーム毎に、各階層での動き補償予測に使用される動きベクトルの精度を定めることができる。
【００１１】
一定枚数のピクチャ毎に階層と動きベクトルの精度とが対応付けされており、その対応情報を動画像の符号化データ内に含めるようにしてもよい。これによって、ＧＯＰなどの一定単位のピクチャ毎に、各階層での動き補償予測に使用される動きベクトルの精度を定めることができる。
なお、「ピクチャ」は、フレーム、フィールド、ＶＯＰ（Video Object Plane）などを含む符号化の単位である。
【００１２】
階層と動きベクトルの精度とが予め対応付けされており、この対応付けにしたがって各階層における動きベクトルの精度を決定してもよい。これによって、階層と動きベクトル精度との対応情報を符号化データに含める必要がなくなる。
【００１３】
階層を経る毎に動きベクトルの精度を段階的に変化させるようにしてもよい。また、階層のフレームレートが低下するにしたがって動きベクトルの精度を粗くしてもよい。一般に、フレームレートが低下してフレーム間の相関が低下すれば、動きベクトルの精度を粗くしても予測誤差に与える影響は小さいと考えられるので、これによって動きベクトル情報の符号量を削減でき、動画像の圧縮効率が向上する。
【００１４】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１５】
本発明によれば、動画像の符号化において、動きベクトル情報に起因する符号量を削減することができる。
【発明を実施するための最良の形態】
【００１６】
図１は、実施の形態に係る符号化装置１００の構成図である。これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１７】
本実施の形態の符号化装置１００は、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）、および電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠して動画像の符号化を行う。
【００１８】
符号化装置１００の画像取得部１０は、入力画像のＧＯＰ（Group of Pictures）を受け取り、各フレームを画像保持部６０の専用の領域に格納する。画像取得部１０は、必要に応じて各フレームをマクロブロックに分割してもよい。
【００１９】
ＭＣＴＦ処理部２０は、ＭＣＴＦ技術にしたがった動き補償時間フィルタリングを実施する。ＭＣＴＦ処理部２０は、画像保持部６０に格納されているフレームから動きベクトルを求め、動きベクトルを用いて時間フィルタリングを実施する。時間フィルタリングは、ハール（Haar）ウェーブレット変換を用いて実施され、この結果、各階層に高域フレームＨと低域フレームＬとを含むフレームレートの異なる複数の階層に分解される。分解された高域フレームと低域フレームは、階層毎に画像保持部６０の専用の領域に格納され、動きベクトルも階層毎に動きベクトル保持部７０の専用の領域に格納される。ＭＣＴＦ処理部２０の詳細は後述する。
【００２０】
ＭＣＴＦ処理部２０における処理が終了すると、画像保持部６０内のすべての階層の高域フレームと最終的な階層の低域フレームは、画像符号化部８０に送られる。また、動きベクトル保持部７０内のすべての階層の動きベクトルは、動きベクトル符号化部９０に送られる。
【００２１】
画像符号化部８０は、画像保持部６０から供給されたフレームに対してウェーブレット変換を用いた空間フィルタリングを施した後、符号化を実行する。符号化されたフレームは多重化部９２に送られる。動きベクトル符号化部９０は、動きベクトル保持部７０から供給された動きベクトルに対して符号化を実行し、多重化部９２に与える。符号化の方法は既知であるため、詳細な説明は省略する。
【００２２】
多重化部９２は、画像符号化部８０から与えられた符号化後のフレーム情報と、動きベクトル符号化部９０から与えられた符号化後の動きベクトル情報とを多重化し、符号化ストリームを生成する。
【００２３】
続いて、図２および図３を参照して、ＭＣＴＦ技術にしたがった時間フィルタリング処理を説明する。
ＭＣＴＦ処理部２０は、ひとつのＧＯＰ内で連続する二枚のフレームを順次取得して、高域フレームと低域フレームを生成する。二枚のフレームを、時間順に「フレームＡ」、「フレームＢ」と呼ぶことにする。
【００２４】
ＭＣＴＦ処理部２０は、フレームＡおよびフレームＢから動きベクトルＭＶを検出する。図２および図３では、説明を簡単にするためにフレーム単位で動きベクトルを検出しているが、マクロブロック単位で動きベクトルを検出してもよいし、ブロック（８×８画素または４×４画素）単位で動きベクトルを検出してもよい。
次に、フレームＡを動きベクトルＭＶで動き補償した画像（以下、「フレームＡ’」と表記する）を生成する。
低域フレームＬは、図２に示すように、フレームＡ’とフレームＢの平均値として定義される。
Ｌ＝１／２・（Ａ’＋Ｂ）    （１）
【００２５】
次に、フレームＢを動きベクトルＭＶの反転値−ＭＶで動き補償した画像（以下、「フレームＢ’」と表記する）を生成する。
高域フレームＨは、図３に示すように、フレームＡとフレームＢ’の差分として定義される。
Ｈ＝Ａ−Ｂ’                （２）
【００２６】
式（２）を変形する。
Ａ＝Ｂ’＋Ｈ                （３）
右辺、左辺とも動きベクトルＭＶだけ動き補償したとすると、次式が成り立つ。なお、「Ｈ’」は、高域フレームＨを動きベクトルＭＶで動き補償した画像を表す。
Ａ’＝Ｂ＋Ｈ’              （４）
式（２）に式（４）を代入すると、次式のようになる。
Ｌ＝１／２・（Ａ’＋Ｂ）
＝１／２・（Ｂ＋Ｈ’＋Ｂ）
＝Ｂ＋１／２・Ｈ’        （５）
つまり、低域フレームＬは、フレームＢの各画素値と、高域フレームＨ’の各画素値を１／２にしたものとを足し合わせることで生成することができる。
【００２７】
生成された低域フレームＬを新たにフレームＡ、フレームＢとして上述と同様の操作を繰り返すことで、次の階層の高域フレーム、低域フレーム、および動きベクトルが生成される。この操作は、生成される低域フレームがひとつになるまで再帰的に繰り返される。したがって、得られる階層の数は、ＧＯＰに含まれるフレーム数によって決まる。例えば、ＧＯＰに８フレームが含まれる場合は、一回目の操作で４つの高域フレームと４つの低域フレームが生成され（階層２）、二回目の操作で２つの高域フレームと２つの低域フレームが生成され（階層１）、三回目の操作でひとつの高域フレームとひとつの高域フレームが生成される（階層０）。
【００２８】
図４は、ＭＣＴＦ処理部２０の構成を示す。動きベクトル検出部２１には、画像保持部６０に格納されているフレームＡ、フレームＢが入力される。上述したように、階層２ではフレームＡ、フレームＢはＧＯＰを構成するフレームであるが、階層１以降では、直前の階層で生成された低域フレームＬがフレームＡ、フレームＢになることに注意する。
【００２９】
動きベクトル精度決定部２８は、動き補償予測に使用する動きベクトルの精度、すなわち最小画素を決定し、動きベクトル検出部２１に与える。後述するように、本実施の形態においては、動きベクトルの精度は階層毎に決めることができる。したがって、動きベクトル精度決定部２８は、その時点でいずれの階層のフレームの動き補償を実行しているかを判別して、動きベクトルの精度を決定する。
【００３０】
動きベクトル検出部２１は、フレームＢ内の各マクロブロックについて、誤差の最も小さい予測領域をフレームＡから探索し、マクロブロックから予測領域へのずれを示す動きベクトルＭＶを求める。このとき、動きベクトル精度決定部２８から与えられた精度で動きベクトルＭＶを求める。動きベクトルＭＶは、動きベクトル保持部７０に格納されるとともに、動き補償部２２、２４に供給される。
【００３１】
動き補償部２２は、フレームＢに対して、動きベクトル検出部２１から出力された動きベクトルＭＶを反転させた（−ＭＶ）を用いてマクロブロック毎に動き補償を行い、フレームＢ’を生成する。
【００３２】
画像合成部２３は、フレームＡと、動き補償部２２から出力されるフレームＢ’の各画素を加算して、高域フレームＨを生成する。高域フレームＨは、画像保持部６０に格納されるとともに、動き補償部２４に供給される。動き補償部２４は、高域フレームＨについて動きベクトルＭＶを用いてマクロブロック毎に動き補償を行い、フレームＨ’を求める。求められたフレームＨ’は、処理ブロック２５によって１／２が乗じられ、画像合成部２６に供給される。
【００３３】
画像合成部２６は、フレームＢとフレームＨ’の各画素を加算して低域フレームＬを生成する。生成された低域フレームＬは、画像保持部６０に格納される。
【００３４】
図５は、ＧＯＰが８フレームで構成される場合に、各階層で出力される画像と動きベクトルを示す図である。図６は、ＭＣＴＦ技術にしたがった符号化方法を示すフローチャートである。図５と図６をともに参照して、具体例を説明する。
【００３５】
以下では、階層ｎの高域フレームをＨｎ、低域フレームをＬｎ、動きベクトルをＭＶｎと表記する。図５の例では、ＧＯＰ内のフレーム１０１〜１０８のうち、フレーム１０１、１０３、１０５、１０７がフレームＡになり、フレーム１０２、１０４、１０６、１０８がフレームＢになる。
【００３６】
まず、画像取得部１０がフレームＡ、フレームＢを受け取り、画像保持部６０に格納する（Ｓ１０）。このとき、画像取得部１０はフレームをマクロブロックに分割してもよい。続いて、ＭＣＴＦ処理部２０は、フレームＡおよびフレームＢを画像保持部６０から読み出し、一回目の時間フィルタリング処理を実行する（Ｓ１２）。生成された高域フレームＨ２および低域フレームＬ２は画像保持部６０に格納され、動きベクトルＭＶ２は動きベクトル保持部７０に格納される（Ｓ１４）。フレーム１０１〜１０８の処理が終了すると、ＭＣＴＦ処理部２０は、画像保持部６０から低域フレームＬ２を読み出し、二回目の時間フィルタリング処理を実行する（Ｓ１６）。生成された高域フレームＨ１および低域フレームＬ１は画像保持部６０に格納され、動きベクトルＭＶ１は動きベクトル保持部７０に格納される（Ｓ１８）。続いて、ＭＣＴＦ処理部２０は、画像保持部６０から二枚の低域フレームＬ１を読み出し、三回目の時間フィルタリング処理を実行する（Ｓ２０）。生成された高域フレームＨ０および低域フレームＬ０は画像保持部６０に格納され、動きベクトルＭＶ０は動きベクトル保持部７０に格納される（Ｓ２２）。
【００３７】
高域フレームＨ０〜Ｈ２、および低域フレームＬ０は画像符号化部８０で符号化され（Ｓ２４）、動きベクトルＭＶ０〜ＭＶ２は動きベクトル符号化部９０で符号化される（Ｓ２６）。符号化されたフレームと動きベクトルは、多重化部９２で多重化されて、符号化ストリームとして出力される（Ｓ２８）。
【００３８】
高域フレームＨはフレーム間の差分であるから、符号化時のデータ量は低下する。また、図５をみれば分かるように、一回の時間フィルタリング処理を経る毎に低域フレームＬの数は１／２に減少するが、低域フレームＬは上位階層のフレーム間の平均値であるから、画質および解像度は低下していないフレーム列が得られる。ひとつの具体例として、元の動画像が６０ｆｐｓであるとすると、階層２では３０ｆｐｓ、階層１では１５ｆｐｓ、階層０では７．５ｆｐｓのように、階層を経る毎にフレームレートは低下する。したがって、フレームレートの異なる動画像をひとつのビットストリームで送信することができる。
【００３９】
符号化ストリームを受け取った復号装置は、下位の階層から順に復号処理を実行する。下位階層のみを復号すれば低フレームレートの動画像が得られ、上位の階層まで復号するほど、フレームレートが増加した動画像が得られる。このように、ＭＣＴＦ技術にしたがった時間フィルタリングによって、時間的スケーラビリティを実現することができる。
【００４０】
本実施の形態では、動きベクトル精度決定部２８によって、階層毎にその階層内での動き補償予測に用いられる動きベクトルの精度を変更できるようにしている。階層と動きベクトル精度との対応付けは、符号化の規格として予め定められていてもよいし、または任意に設定できるようにしてもよい。例えば、階層毎に動きベクトル精度を設定した場合には、図７に示すように、符号化ストリーム内の各階層のヘッダにそれぞれの動きベクトルの精度データを格納しておく。階層と動きベクトル精度との対応付けが符号化の規格として定められている場合には、対応付けの情報を符号化ストリームに含める必要はない。
符号化ストリーム毎に、階層と動きベクトル精度との対応付けを決定するようにしてもよい。この場合は、符号化ストリーム全体のヘッダにその対応付けの情報を格納しておく。さらに、ＧＯＰなどの一定枚数のピクチャ毎に、階層と動きベクトル精度との対応付けを決定するようにしてもよい。この場合は、ＧＯＰのヘッダなどにその対応付けの情報を格納しておく。
【００４１】
図８は、階層のフレームレートと動きベクトル精度との対応付けの一例を示す。この例では、階層のフレームレートが３０〜６０ｆｐｓの場合は１／４画素精度、１５〜３０ｆｐｓの場合は１／２画素精度、１５ｆｐｓ以下の場合は１画素精度としている。上述の動きベクトル精度決定部２８は、動き補償の処理の対象となっている階層のフレームレートに応じて、図８のテーブルにしたがった動きベクトル精度を動きベクトル検出部２１に提供する。動きベクトル精度決定部２８は、図８のような予め決められたテーブルにしたがって各階層の動きベクトル精度を決定する代わりに、差分画像の符号量が最小となるように各階層の動きベクトル精度を決定してもよい。または、動きベクトル精度決定部２８は、符号化を実行する際に、外部から各階層の動きベクトル精度の指令を受け取るようにしてもよい。
【００４２】
図８に示すように、階層のフレームレートが低下するほど、動きベクトルの精度を粗くすることが好ましい。これは、以下の理由による。すなわち、一般に、フレームレートが低くなると、すなわちフレーム間の時間的距離が長くなると、フレーム間の相関は低下するので、動きベクトルの精度を上げて探索を行っても、差分画像の差分値が小さくなるとはいえない。逆にいえば、精度良く探索することによって差分画像の差分値をより減らすことができれば、動きベクトルの符号化に要するビット数が増大しても、結果的に符号量を減らせることになる。したがって、階層のフレームレートが低くなるほど、動きベクトルの精度を落として動きベクトルの符号量を削減した方が、動画像の符号化効率が向上する。なお、動画像の符号量の削減につながる場合は、階層のフレームレートが高くなるほど動きベクトルの精度を粗くしてもよい。
【００４３】
図９は、実施の形態に係る復号装置３００の構成図である。復号装置３００のストリーム解析部３１０には、符号化ストリームが入力される。ストリーム解析部３１０は、必要な階層に対応するデータ部分を抜き出し、さらにフレームの復号データと動きベクトルの復号データとを分離する。フレームデータは画像復号部３２０に与えられ、動きベクトルデータは動きベクトル復号部３３０に与えられる。また、符号化ストリームに動きベクトルの精度データが含まれている場合には、精度データを分離して動きベクトル復号部３３０に与える。
【００４４】
画像復号部３２０は、エントロピー復号化、逆ウェーブレット変換を施して、最下位階層の低域フレームＬ０と、すべての高域フレームＨ０〜Ｈ２を生成する。画像復号部３２０で復号されたフレームは、画像保持部３５０の専用の領域に格納される。
【００４５】
動きベクトル復号部３３０は、動きベクトルの精度データを利用して動きベクトル情報を復号した後、最下位階層における動きベクトルＭＶ０と、より上位の階層の動きベクトルＭＶ１、ＭＶ２を計算する。動きベクトル復号部３３０で復号された動きベクトルは、動きベクトル保持部３６０の専用の領域に格納される。
【００４６】
画像合成部３７０は、上述のＭＣＴＦ処理とは逆の手順でフレームを合成する。合成されたフレームは外部に出力されるとともに、さらに上位の階層のフレームが必要な場合は、後の処理のために合成したフレームを画像保持部３５０に格納する。
【００４７】
画像合成部で合成処理をする毎に、フレームレートの高い動画像の再生が可能になり、最終的には入力画像と同じフレームレートの動画像が得られる。
【００４８】
以上述べたように、本実施の形態の符号化装置１００によれば、動きベクトルを符号化する際に、時間スケーラビリティの階層毎に適切な精度の動きベクトルを用いることによって、動きベクトル情報の符号量を削減できる。動画像の階層的符号化においては、動きベクトルの符号量自体が多くなるため、動きベクトルを効率的に符号化する必要があるが、本実施の形態によれば、動画像ストリーム全体の符号量を減らして圧縮効率を高めることができる。
【００４９】
本実施の形態では、ＭＣＴＦの階層と動きベクトルの精度との間の相関に注目した。一般に、高周波成分が多く、かつ参照フレームとの相関が強いフレームにおいては、動きベクトルの精度を高めた高精度の動き補償を実施することによって予測誤差を小さくできるが、フレーム内を移動する物体の動きが速いために参照フレームとの相関が弱いフレームや、高周波成分の少ないフレームにおいては、動き補償の精度を高くしても予測誤差の低減には貢献することはなく、高精度の動きベクトルの情報が無駄になってしまう。これに対し、本実施の形態では、それぞれの階層に最適な動きベクトル精度を用いて符号化し、予測誤差の低減につながらない無駄な動きベクトルの符号量を抑えることにより、動画像の圧縮効率を向上させる。
【００５０】
また、動きベクトルの精度を階層毎に同一のものとするので、例えばマクロブロック毎に動きベクトルを変えた場合には、動きベクトルの符号量は低下するものの符号化に要する演算量が増加するのに対し、本実施の形態では、演算量を増やすことなく動きベクトルの符号量を削減できる。
【００５１】
特に、ＭＣＴＦ技術にしたがった時間フィルタリングによる動画像の符号化においては、各階層で動きベクトルを符号化しなければならず、動きベクトル情報の符号量が増大するので、本実施形態は有効である。
【００５２】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５３】
上記では、連続する２つのフレームからひとつの低域フレームを生成するハール（Haar）ウェーブレット変換によるＭＣＴＦ処理を行う場合の動きベクトルを例として説明したが、本発明は、連続する５つのフレームからひとつの低域フレームを生成し、連続する３つのフレームからひとつの高域フレームを生成する５／３ウェーブレット変換によるＭＣＴＦ処理を行う場合の動きベクトルについても適用することができる。
【００５４】
上記の説明では、符号化装置１００および復号装置３００は、Ｈ．２６４／ＡＶＣに準拠して動画像の符号化および復号を行ったが、本発明は、時間的スケーラビリティを持つ階層的な動画像の符号化および復号を行う他の方式にも適用することができる。
【００５５】
また、上記の説明では、時間スケーラビリティを持つ動画像の符号化について説明したが、本発明にしたがった動きベクトルの符号化は、空間スケーラビリティを持つ階層的な動画像の符号化および復号を行う場合にも適用することができる。
【図面の簡単な説明】
【００５６】
【図１】実施の形態に係る符号化装置の構成図である。
【図２】低域フレームの生成方法を示す図である。
【図３】高域フレームの生成方法を示す図である。
【図４】ＭＣＴＦ処理部の構成図である。
【図５】各階層で出力される画像と動きベクトルを示す図である。
【図６】ＭＣＴＦ技術にしたがった符号化方法を示すフローチャートである。
【図７】階層毎に動きベクトルの精度データを格納する様子を示す図である。
【図８】階層のフレームレートと動きベクトル精度の対応付けの一例を示すテーブルである。
【図９】実施の形態に係る復号装置の構成図である。
【符号の説明】
【００５７】
１０  画像取得部、  ２０  ＭＣＴＦ処理部、  ２１  動きベクトル検出部、  ２８  動きベクトル精度決定部、  ６０  画像保持部、  ７０  動きベクトル保持部、  ８０  画像符号化部、  ９０  動きベクトル符号化部、  ９２  多重化部、  １００  符号化装置、  ３００  復号装置、  ３１０  ストリーム解析部、  ３２０  画像復号部、  ３３０  動きベクトル復号部、  ３５０  画像保持部、  ３６０  動きベクトル保持部、  ３７０  画像合成部。
【図１】
2007096541.tif 000003
【図２】
2007096541.tif 000004
【図３】
2007096541.tif 000005
【図４】
2007096541.tif 000006
【図５】
2007096541.tif 000007
【図６】
2007096541.tif 000008
【図７】
2007096541.tif 000009
【図８】
2007096541.tif 000010
【図９】
2007096541.tif 000011