(57)【要約】  符号化対象画像に対応する復号画像が他の符号化対象画像の参照画像となる場合とならない場合とで、予測画像を生成する際の丸め処理を切り替える。
2010001832.tif 000002
【特許請求の範囲】
【請求項１】
既に双方向予測符号化された画像についての復号画像を含む参照画像と動きベクトル情報とを用いて符号化対象画像の予測画像を生成する双方向予測部と、
前記符号化対象画像と前記予測画像との予測誤差を符号化する符号化部と、
を備え、
前記双方向予測部は、丸め処理方法が異なる複数の演算方式を切り替えながら前記予測画像を生成する、
ことを特徴とする動画像符号化装置。
【請求項２】
前記符号化部は前記演算方式を示す制御情報を符号化することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記符号化部は、
（Ａ）前記符号化対象画像に対応する復号画像を他の符号化対象画像の参照画像として用いることが許容されている場合には前記制御情報を符号化し、
（Ｂ）前記復号画像を他の符号化対象画像の参照画像として用いることが許容されていない場合には前記制御情報を符号化しない、
ことを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記双方向予測部は、
（１）二つの信号の和を２で除算する第１演算方式と、
（２）二つの信号の和に１を加えてから２で除算する第２演算方式と、
を切り替えることを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記双方向予測部は、
（ａ）前記復号画像を他の符号化対象画像の参照画像として用いることが許容されている場合には前記第１演算方式を用い、
（ｂ）前記復号画像を他の符号化対象画像の参照画像として用いることが許容されていない場合には前記第２演算方式を用いる、
ことを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記双方向予測部は、
（ａ）前記復号画像を他の符号化対象画像の参照画像として用いることが許容されていない場合には前記第１演算方式を用い、
（ｂ）前記復号画像を他の符号化対象画像の参照画像として用いることが許容されている場合には前記第２演算方式を用いる、
ことを特徴とする請求項４に記載の動画像符号化装置。
【請求項７】
入力された符号化データから復号対象画像の動きベクトル情報と復号対象画像の予測誤差情報とを抽出する復号化部と、
既に双方向予測復号化された画像を含む参照画像と複数の動きベクトル情報とを用いて復号対象画像の予測画像を生成する双方向予測部と、
前記予測画像と前記予測誤差とを加算して前記復号対象画像の復号画像を求める再生部と、
を備え、
前記双方向予測部は、丸め処理方法が異なる複数の演算方式を切り替えながら前記予測画像を生成する、
ことを特徴とする動画像復号化装置。
【請求項８】
前記復号化部は前記符号化データから前記演算方式を示す制御情報を抽出し、
前記双方向予測部は前記制御情報に従って演算方式を切り替える、
ことを特徴とする請求項７に記載の動画像復号化装置。
【請求項９】
前記復号化部は、前記復号画像を他の復号対象画像の参照画像として用いることが許容されている場合には前記制御情報を抽出し、
前記双方向予測部は、前記制御情報に従って前記複数の演算方式を切り替えることを特徴とする請求項８に記載の動画像復号化装置。
【請求項１０】
前記双方向予測部は、
（１）二つの信号の和を２で除算する第１演算方式と、
（２）二つの信号の和に１を加算してから２で除算する第２演算方式と、
を切り替えることを特徴とする請求項９に記載の動画像復号化装置。
【請求項１１】
前記双方向予測部は、
（ａ）前記復号画像を他の復号対象画像の参照画像として用いることが許容されている場合には前記第１演算方式を用い、
（ｂ）前記復号画像を他の復号対象画像の参照画像として用いることが許容されていない場合には前記第２演算方式を用いる、
ことを特徴とする請求項１０に記載の動画像復号化装置。
【請求項１２】
前記双方向予測部は、
（ａ）前記復号画像を他の復号対象画像の参照画像として用いることが許容されていない場合には前記第１演算方式を用い、
（ｂ）前記復号画像を他の復号対象画像の参照画像として用いることが許容されている場合には前記第２演算方式を用いる、
ことを特徴とする請求項１０に記載の動画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像予測符号化及び動画像予測復号化に関する。
【背景技術】
【０００２】
H.264/AVCでは、二つの参照画像を使って予測値作成する双方向予測が可能ないわゆるBスライスも、他のスライスの予測のための参照画像として用いることが許されている。Bスライスからの参照構造を階層的に構成する階層双方向予測構造によって、高い符号化効率を実現することができることが知られている（非特許文献１）。【０００３】
双方向予測された画像を参照した場合、双方向予測のための平均値を計算する予測式の丸め方法が固定的なため、丸め誤差が伝搬し予測効率が低下していた。【０００４】
また、動画像符号化技術において、丸め誤差が伝搬する問題については、動き補償補間フィルタにおいて既に知られており、その対策方法も提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第２９９８７４１号公報
【非特許文献】
【０００６】
【非特許文献１】H.Schwarz, D.Marpe and T.Wiegand, Analysis of hierarchical B pictures and MCTF, IEEE International Conference on Multimedia and Expo (ICME'06), Toronto, Ontario, Canada, July 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の双方向予測では、予測式から得られる値を常に同じ方法で丸めていた。そのため、双方向予測された画像を参照画像として用いると丸め誤差が伝搬する。その結果、予測効率が低下する。H.264/AVC以前の予測符号化方式では、双方向予測された画像が参照画像として用いられることがなかったので、問題になることはなかった。【０００８】
本発明は上記課題を解決するためになされた。双方向予測され、かつ、他の画像から参照される画像については、双方向予測の予測式から得られる値の丸め方法を可変制御する。本発明の目的は、丸め誤差の伝搬を抑制して予測効率を改善することが可能な、動画像予測符号化および復号化の装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の動画像予測符号化装置は、参照画像と動きベクトル情報とを用いて動き補償画像を生成する動き補償部と、複数の動き補償画像を用いて符号化対象画像の予測画像を生成する双方向予測部と、前記符号化対象画像と前記予測画像との予測誤差を符号化する符号化部と、を備え、前記双方向予測部は、前記符号化対象画像に対応する復号画像が他の符号化対象画像の参照画像となる場合に、前記予測画像を生成する際の丸め処理を複数の方法で切り替えることを特徴とする。【００１０】
また、本発明の一側面の動画像予測復号化装置は、入力された符号化データから復号化対象画像の動きベクトル情報と予測誤差情報とを抽出する復号化部と、参照画像と動きベクトル情報とを用いて動き補償画像を生成する動き補償部と、複数の動き補償画像を用いて復号化対象画像の予測画像を生成する双方向予測部と、前記予測画像と前記予測誤差を加算して前記復号化対象画像を再生する再生部と、を備え、前記双方向予測部は、前記復号化対象画像に対応する前記復号化対象画像が他の復号化対象画像の参照画像となる場合に、前記予測画像を生成する際の丸め処理を複数の方法で切り替える、ことを特徴とする。
【発明の効果】
【００１１】
丸め誤差の伝搬が抑制されるので符号化効率が改善される。
【図面の簡単な説明】
【００１２】
【図１】動画像予測符号化装置のブロック図。
【図２】予測生成部のブロック図。
【図３】双方向予測生成部のブロック図。
【図４】丸め制御信号のシンタクスを示す図。
【図５】動画像予測復号化装置のブロック図。
【図６】フレームメモリのブロック図。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
図１は第１の実施形態の動画像予測符号化装置３００のブロック図である。動画像予測符号化装置３００は、減算器３０２、変換／量子化部３０３、逆量子化／逆変換部３０４、エントロピー符号化部３０５、加算器３０６、フレームメモリ３０８、予測画像生成部３１０、動きベクトル探索部３１２、および、符号化制御部３１４を備える。動画像予測符号化装置３００は、入力動画像信号３０１から、符号化データ３１５を生成する。
【００１４】
動画像予測符号化装置３００には、入力動画像信号３０１が入力される。入力動画像信号３０１の各フレームは複数の符号化対象ブロックに分けられている。予測画像生成部３１０は符号化対象ブロックの予測画像信号３１１を生成する。減算器３０２は符号化対象ブロックの予測画像信号３１１と符号化対象ブロックの入力動画像信号３０１との差分を求めて符号化対象ブロックの予測誤差信号を生成する。
【００１５】
変換／量子化部３０３は予測誤差信号を直交変換して直交変換係数を求めるとともに、直交変換係数を量子化して量子化直交変換係数情報を求める。直交変換としては、例えば離散コサイン変換を用いることができる。量子化直交変換係数情報は、エントロピー符号化部３０５と逆量子化／逆変換部３０４に入力される。
【００１６】
逆量子化／逆変換部３０４は量子化直交変換係数情報に対して、変換／量子化部３０３の処理と逆の処理を行う。すなわち、逆量子化／逆変換部３０４は量子化直交変換係数情報を逆量子化および逆直交変換の処理を行って予測誤差信号を再生する。加算器３０６は再生された予測誤差信号と予測画像信号３１１とを加算して復号画像信号３０７を生成する。復号画像信号３０７はフレームメモリ３０８に入力される。
【００１７】
フレームメモリ３０８は、復号画像信号３０７にフィルタ処理を行う。フレームメモリ３０８は、予測制御情報３１６に基づいて、フィルタ処理された復号画像信号３０７を記憶するかを判定する。フレームメモリ３０８が記憶する復号画像信号３０７は、予測画像生成部３１０に入力する参照画像信号３０９とするためのものである。
【００１８】
参照画像信号３０９は、予測画像生成部３１０と動きベクトル探索部３１２に入力される。動きベクトル探索部３１２は、入力動画像信号３０１と参照画像信号３０９とを用いて、動きベクトル情報３１３を生成する。動きベクトル情報３１３は、予測画像生成部３１０とエントロピー符号化部３０５とに入力される。予測画像生成部３１０は、参照画像信号３０９と予測制御情報３１６と動きベクトル情報３１３とを用いて、予測画像信号３１１を生成する。
【００１９】
符号化制御部３１４は、変換／量子化部３０３、予測画像生成部３１０、および、フレームメモリ３０８の制御を行う。符号化制御部３１４によって生成された予測制御情報３１６は、予測画像生成部３１０とフレームメモリ３０８とエントロピー符号化部３０５とに入力される。エントロピー符号化部３０５は、変換／量子化部３０３からの量子化直交変換係数情報、符号化制御部３１４からの予測制御情報３１６、動きベクトル探索部３１２からの動きベクトル情報３１３を含む符号化情報をエントロピー符号化するとともに、予め決められたシンタクスに従って符号化データ３１５を生成する。
【００２０】
図２は予測画像生成部３１０のブロック図である。予測画像生成部３１０は、スイッチ２０３と双方向予測部２０４と単方向予測部２０５とイントラ予測部２０６とを備える。予測画像生成部３１０は、予測制御情報３１６と動きベクトル情報３１３とに従って、参照画像信号３０９から予測画像信号３１１を生成する。
【００２１】
スイッチ２０３は、双方向予測部２０４と単方向予測部２０５とイントラ予測部２０６とを切り替える。参照画像信号３０９は、双方向予測部２０４と単方向予測部２０５とイントラ予測部２０６とのうち、スイッチ２０３によって選択されたものに入力される。
【００２２】
双方向予測部２０４と単方向予測部２０５とイントラ予測部２０６とはそれぞれ参照画像信号３０９から予測画像信号３１１を生成する。双方向予測部２０４は、複数の参照フレームの参照画像信号３０９と複数の動きベクトル情報３１３とを用いた双方向予測を行うことにより予測画像信号３１１を生成する。なお、双方向予測部２０４は複数の動きベクトルに従って同じ参照フレームの異なる領域を参照しても構わない。
【００２３】
単方向予測部２０５は、単一の参照フレームからの参照画像信号３０９と動きベクトル情報３１３とを用いて予測画像信号３１１を生成する。イントラ予測部２０６は、画面内の参照画像信号３０９を用いて予測画像信号３１１を生成する。
【００２４】
図３は双方向予測部２０４のブロック図である。双方向予測部２０４は、動き補償信号生成部１０３とスイッチ１０５と丸め制御部１０６と第１双方向予測部１０９と第２双方向予測部１１０とを備える。双方向予測部２０４は参照画像信号３０９と予測制御情報３１６と動きベクトル情報３１３とを用いて、予測画像信号３１１を生成する。
【００２５】
動き補償信号生成部１０３は、動きベクトル情報３１３と参照画像信号３０９とを用いて動き補償信号を生成する。スイッチ１０５は、丸め制御情報１０８に従って、第１双方向予測部１０９と第２双方向予測部１１０とを切り替える。丸め制御情報１０８は、演算方式としての丸め処理を示す情報であり、第１双方向予測部１０９および第２双方向予測部１１０のいずれか一方を指定する情報である。動き補償信号は、第１双方向予測部１０９と第２双方向予測部１１０とのうち切り替えられた方へ入力される。第１双方向予測部１０９または第２双方向予測部１１０によって、動き補償信号から予測画像信号３１１が生成される。
【００２６】
動き補償信号生成部１０３は、フレームメモリ３０８からの参照画像信号３０９と動きベクトル探索部３１２からの動きベクトル情報３１３とを用いて、二つの動き補償画像信号MCL0とMCL1を作成する。
【００２７】
丸め制御部１０６は、これから生成される予測画像信号との間で予測残差信号を求められる入力画像信号に対応する復号画像信号が参照画像信号としてフレームメモリ３０８に記憶されるか否かを判定する。つまり、これから生成される予測画像信号と入力画像信号との間で求められた予測残差信号を、直交変換、量子化、逆量子化、逆直交変換および動き補償して得られる復号画像信号が、参照画像信号としてフレームメモリ３０８に記憶されるか否かを、丸め制御部１０６は判定する。この判定は予測制御情報３１６に基づいて行われる。例えば、H.264/AVCのStored B-pictureは参照画像として用いられることが許容されている。Stored B-pictureは参照画像信号としてフレームメモリ３０８に記憶される。しかも、参照画像信号として用いられる可能性があることは予測制御情報３１６に基づいて判別できる。このように、予測制御情報３１６は、参照画像信号として用いられる画像か否かを示す情報である。
【００２８】
丸め制御部１０６は、復号画像信号を他の符号化対象画像の参照画像信号として用いることが許可されている場合には第１双方向予測部１０９を選択し、復号画像信号を他の符号化対象画像の参照画像信号として用いることが許容されていない場合には第２双方向予測部１１０を選択する。
【００２９】
第１双方向予測部１０９および第２双方向予測部１１０は動き補償画像信号MCL0およびMCL1から予測画像信号３１１を生成する。なお、第１双方向予測部１０９および第２双方向予測部１１０は整数演算を行うものとする。
【００３０】
第１双方向予測部１０９および第２双方向予測部１１０は、それぞれ式（１）および式（２）に従った演算を行って予測画像を求める。第１双方向予測部１０９は式（１）に従って予測画像信号を生成し、第２双方向予測部１１０は式（２）に従って予測画像信号を生成する。
Pred = (MCL0 + MCL1) >> 1        ・・・  式（１）
Pred = (MCL0 + MCL1 + 1) >> 1    ・・・  式（２）
式（１）および式（２）は両方とも、動き補償信号生成部１０３で生成された動き補償画像信号MCL0とMCL1から、予測画像信号Predを生成する演算処理を表す数式である。なお、式（１）、式（２）における“＞＞”は算術右シフト処理を意味する。
【００３１】
通常、参照される双方向予測が用いられる階層双方向予測構造などにおいては、参照されるBスライスと参照されないBスライスの数が同じになるため、予測制御情報３１６に基づいて第１双方向予測部１０９と第２双方向予測部１１０を選択しても、丸め誤差を打ち消しあうことになる。
【００３２】
本実施形態では、第１双方向予測部１０９が式（１）を用い、第２双方向予測部１１０に式（２）を用いる場合を示した。参照画像として用いられることが許容されている場合と許容されていない場合とで丸め処理を変えることによって、丸め誤差の伝搬を抑制することができる。その結果として予測効率が改善されるので符号化効率が向上する。
【００３３】
なお、丸め制御部１０６は、丸め処理を変えることで丸め誤差の伝搬を抑制できるので、例えば、第１双方向予測部１０９が式（２）を用い、第２双方向予測部１１０が式（１）を用いても構わない。
【００３４】
（第２の実施形態）
第１の実施形態と異なる点を中心に、第２の実施形態を説明する。第１の実施形態では、丸め制御部１０６は、予測制御情報３１６に基づいて丸め処理を示す丸め制御情報１０８を決定する。本実施形態では、丸め制御情報１０８を、ある符号化単位、例えばフレーム単位やスライス単位で明示的に符号化する。
【００３５】
図４は、丸め制御情報１０８を明示的にエントロピー符号化で符号化する場合のシンタクスの例を示す。予測制御情報３１６は、ある符号化単位、例えばフレーム単位やスライス単位での復号画像信号を予測画像生成のために他の符号化対象画像の参照画像信号として用いることが許容されているか否かを示す情報である。もし当該符号化単位が、参照画像信号として用いられることが許容されている場合には、丸め制御情報を符号化して送り、許容されていない場合は、丸め制御情報の符号化および送信は行わない。
【００３６】
（第３の実施形態）
第１の実施形態および第２の実施形態と異なる点を中心に第３の実施形態を説明する。本実施形態の第１双方向予測部１０９は式（３）を用い、第２双方向予測部１１０は式（４）を用いる。式（３）は最近接偶数への丸め（round to the nearest even; RN）の演算を示し、式（４）は最近接奇数への丸め演算を示す。
Pred = (((MCL0 + MCL1) & 3) == 3) ? (MCL0 + MCL1+ 1) >> 1 : (MCL0 + MCL1) >> 1  …  式（３）
Pred = (((MCL0 + MCL1) & 3) == 1) ? (MCL0 + MCL1+ 1) >> 1 : (MCL0 + MCL1) >> 1  …  式（４）
【００３７】
式（３）では、MCL0とMCL1との和の下位２ビットの値に応じて丸め処理が変わる。下位２ビットの値が３である場合には１を加算してから２で除算する処理が行われ、それ以外の場合にはそのまま２で除算する処理が行われる。式（３）は整数演算の場合の最近接偶数への丸め演算に相当する。
【００３８】
式（４）では、MCL0とMCL1との和の下位２ビットの値に応じて丸め処理が変わる。下位２ビットの値が１である場合には１を加算してから２で除算する処理が行われ、それ以外の場合にはそのまま２で除算する処理が行われる。式（４）は整数演算の場合の最近接奇数への丸め演算に相当する。
【００３９】
なお、第１双方向予測部１０９が式（４）を用い、第２双方向予測部１１０が式（３）を用いても構わない。
【００４０】
（第４の実施形態）
第１〜第３の実施形態と異なる点を中心に第４の実施形態を説明する。本実施形態の第１双方向予測部１０９は式（５）を用いる。本実施形態では擬似乱数を発生させ、オフセット値Ｒを用いた確率丸めの処理を行う。
Pred = (MCL0 + MCL1 + R) >> 1  ・・・  式（５）
【００４１】
本実施形態では動画像予測符号化装置３００と後述する動画像予測復号化装置とで同一の種を持つ擬似乱数を用いる。また、本実施形態では０と１とが３：１の割合で発生する擬似乱数が用いられる。
【００４２】
なお、０と１の発生の割合がほぼ３：１ならば、必ずしも乱数である必要はない。例えば、周期的や規則的な数列の生成方法でも構わない。また、符号化データの他の情報、例えば、フレーム数を表す情報の下位２ビットの値などを用いても構わない。
【００４３】
（第５の実施形態）
第１〜第４の実施形態と異なる点を中心に第５の実施形態を説明する。本実施形態の第１双方向予測部１０９は式（６）を用いる。
Pred = (((MCL0 + MCL1) & 1) == 1) ? (MCL0 + MCL1+ R) >> 1 : (MCL0 + MCL1) >> 1  ・・・  式（６）
式（６）では、MCL0とMCL1との和の下位１ビットの値に応じて丸め処理が変わる。下位１ビットの値が１である場合には擬似乱数のオフセット値Ｒを加算してから２で除算する処理が行われ、それ以外の場合にはそのまま２で除算する処理が行われる。すなわち、式（６）では、MCL0とMCL1との和が奇数である場合にのみ確率丸めの処理が行われる。
【００４４】
このとき、動画像予測符号化装置３００と後述する動画像予測復号化装置とで、同一の種を持つ０と１の割合が１：１に発生する値の擬似乱数を発生させてオフセット値Ｒとして用いる。擬似乱数に関しては、０と１の発生の割合がほぼ１：１ならば、乱数である必要はなく、周期的や規則的な数列の生成方法でもよい。また、符号化データの他の情報、例えば、フレーム数を表す情報の最下位ビットの値などを用いてもよい。
【００４５】
（第６の実施形態）
第１〜第５の実施形態と異なる点を中心に第６の実施形態を説明する。本実施形態の第１双方向予測部１０９は式（７）を用い、第２双方向予測部１１０は式（８）を用いる。
Pred = (W0 × MCL0 + W1 × MCL1 + 2L) >> (L + 1) + (O0 + O1 + 1) >> 1  ・・・  式（７）
Pred = (W0 × MCL0 + W1 × MCL1 + 2L- 1) >> (L + 1) + (O0 + O1) >> 1  ・・・  式（８）
式（７）および式（８）において、W0、W1は重み係数、O0、O1はオフセット係数である。
【００４６】
式（７）および式（８）は、重み付き双方向予測の処理である。式（７）の第１項では2Lを加算してから2L+1で除算する処理が行われる。式（７）では1/2以上の端数が切り上げられ、1/2未満の端数が切り捨てられる。１０進数の場合の四捨五入に相当する丸め処理が行われる。式（８）の第１項では(2L- 1)を加算してから2L+1で除算する処理が行われる。式（８）では1/2より大きい端数が切り上げられ、1/2以下の端数が切り捨てられる。１０進数の場合の五捨六入に相当する丸め処理が行われる。H.264/AVCの重み付き双方向予測では、常に四捨五入による丸め処理が用いられる。本実施形態では式（７）と式（８）とが切り替わるので、丸め誤差が伝搬しにくくなる。
【００４７】
なお、式（３）および式（４）のような最近接偶数や最近接奇数への丸め処理や、式（５）および式（６）のような確率的な丸め処理と、本実施形態の予測式とを組み合わせても構わない。
【００４８】
また、第１双方向予測部１０９が式（８）を用い、第２双方向予測部１１０が式（７）を用いても構わない。
【００４９】
（第７の実施形態）
図５は第１〜第６の実施形態の動画像予測符号化装置３００に対応する動画像予測復号化装置４００のブロック図である。動画像予測復号化装置４００は、エントロピー復号化部４０２、逆量子化／逆変換部４０３、加算器４０４、フレームメモリ４０６、予測画像生成部４０９を備える。動画像予測復号化装置４００は、符号化データ４０１から再生動画像信号４０７を生成する。
【００５０】
エントロピー復号化部４０２は、予め決められたシンタクスに従って符号化データ４０１のエントロピー復号化処理を行う。エントロピー復号化部４０２は、量子化直交変換係数情報と予測制御情報４１１と動きベクトル情報４１２とを求める。復号化された量子化直交変換係数情報は逆量子化／逆変換部４０３に入力される。復号化された予測制御情報４１１および動きベクトル情報４１２は予測画像生成部４０９に入力される。さらに、復号化対象画像が他の復号化対象画像の参照画像として用いられることが許可されている場合には、符号化データ４０１には、丸め制御情報が含まれており、エントロピー復号化部４０２は、この場合には、符号化データ４０１の復号化によりこの丸め制御情報も抽出する。
【００５１】
逆量子化／逆変換部４０３は、逆量子化、逆直交変換処理を行って予測誤差信号を再生する。加算器４０４は、予測誤差信号と予測画像信号４１０とを加算して、復号画像信号４０５を生成する。
【００５２】
復号画像信号４０５はフレームメモリ４０６に入力される。フレームメモリ４０６は復号画像信号４０５にフィルタ処理を行って再生動画像信号４０７として出力する。フレームメモリ４０６は、フィルタ処理された復号画像信号４０５を記憶するかを、予測制御情報４１１に基づいて判定する。記憶された復号画像信号４０５は、参照画像信号４０８として予測画像生成部４０９に入力される。
【００５３】
予測画像生成部４０９は、参照画像信号４０８と予測制御情報４１１と動きベクトル情報４１２とを用いて、予測画像信号４１０を生成する。なお、予測画像生成部４０９の構成は、図２および図３を参照しつつ説明した動画像予測符号化装置３００の予測画像生成部３１０の構成と同様である。すなわち、予測画像生成部４０９は、予測画像生成部３１０と同様に、式（１）または式（２）のいずれかの演算により予測画像を求める。さらに、符号化データ４０１から丸め制御情報が得られた場合には、予測画像生成部４０９は、丸め制御情報をさらに用いて予測画像信号４１０を生成する。
【００５４】
図６はフレームメモリ４０６のブロック図である。なお、図１のフレームメモリ３０８の構成は、図６に示すフレームメモリ４０６の構成と同様である。フレームメモリ４０６は、ループフィルタ５０３と、スイッチ５０４と、参照画像バッファ５０６を備える。フレームメモリ４０６は、予測制御情報４１１と復号画像信号４０５とを用いて、参照画像信号４０８と再生動画像信号４０７とを生成する。ループフィルタ５０３は、復号画像信号４０５にデブロックフィルタや画像復元フィルタを適用する。
【００５５】
スイッチ５０４は、予測制御情報４１１に基づいて、ループフィルタ５０３が適用された後の復号画像信号を参照画像バッファ５０６に記憶するか否かを切り替える。復号画像信号が参照画像信号として用いられることが許可されている場合には復号画像信号を参照画像バッファ５０６に入力し、復号画像信号が参照画像信号として用いられることが許可されていない場合には復号画像信号を参照画像バッファ５０６には入力しない。
【００５６】
フレームメモリ４０６が動画像予測復号化装置側にある場合、ループフィルタ５０３が適用された後の復号画像信号は参照画像バッファ５０６に入力される場合にも入力されない場合にも、再生動画像信号４０７として出力される。
【００５７】
（第８の実施形態）
第１〜第７の実施形態と異なる点を中心に第８の実施形態を説明する。本実施形態の丸め制御部１０６は、入力画像信号に対応する復号画像信号が参照画像信号として用いられる場合には第１双方向予測部１０９と第２双方向予測部１１０とを切り替える。本実施形態の丸め制御部１０６は、入力画像信号に対応する復号画像信号が参照画像信号として用いられない場合には第２双方向予測部１１０を選択する。つまり、入力画像信号に対応する復号画像信号が参照画像信号として用いられる場合には、丸め処理を複数の方法で切り替えながら双方向予測を行う。丸め処理の切り替えは、例えば、ラウンドロビン方式でも構わないし、ランダムでも構わない。
【００５８】
動画像予測符号化装置は選択された丸め処理を示す丸め制御情報を明示的にエントロピー符号化する。動画像予測復号化装置は符号化データから抽出された丸め制御情報に従って丸め処理を切り替える。
【００５９】
なお、丸め制御情報は暗黙的に符号化されても構わない。符号化データの他の情報、例えば、フレーム数を表す情報の最下位ビットの値に基づいて切り替えても構わない。
【００６０】
この動画像予測符号化装置あるいは動画像予測復号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、動画像予測符号化装置あるいは動画像予測復号化装置は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像予測符号化装置あるいは動画像予測復号化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、動画像予測符号化装置あるいは動画像予測復号化装置は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくは、光ディスクなどの記憶媒体などを適宜利用して実現することができる。
【００６１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６２】
１０３  動き補償信号生成部
１０５  スイッチ
１０６  丸め制御部
１０９  第１双方向予測部
１１０  第２双方向予測部
２０３  スイッチ
２０４  双方向予測部
２０５  単方向予測部
２０６  イントラ予測部
３００  動画像予測符号化装置
３０２  減算器
３０３  変換／量子化部
３０４  逆量子化／逆変換部
３０５  エントロピー符号化部
３０６  加算器
３０８  フレームメモリ
３１０  予測画像生成部
３１２  動きベクトル探索部
３１４  符号化制御部
４００  動画像予測復号化装置
４０２  エントロピー復号化部
４０３  逆量子化／逆変換部
４０４  加算器
４０６  フレームメモリ
４０９  予測画像生成部
【図１】
2010001832.tif 000003
【図２】
2010001832.tif 000004
【図３】
2010001832.tif 000005
【図４】
2010001832.tif 000006
【図５】
2010001832.tif 000007
【図６】
2010001832.tif 000008
【手続補正書】
【提出日】平成23年1月11日(2011.1.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するために、本発明の動画像予測符号化装置は、双方向予測される符号化単位内の複数のブロックのうち、双方向予測が適用される符号化対象ブロックの動き補償画像信号を生成するために、少なくとも１枚の参照画像と複数の動きベクトル情報とを用いて動き補償を行う動き補償画像信号生成部と、前記複数の動き補償画像信号から前記符号化対象ブロックの予測画像信号を生成する双方向予測部と、前記符号化対象ブロックの入力画像信号と前記予測画像信号との予測誤差を符号化する符号化部と、を備え、前記双方向予測部は、前記符号化単位の復号画像信号を他の符号化単位の参照画像として用いることが許容される場合に、符号化単位ごとに丸め処理方法を切り替える、ことを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明の一側面の動画像予測復号化装置は、双方向予測された符号化単位内の複数のブロックのうち、双方向予測が適用された復号化対象ブロックについての複数の動きベクトル情報と予測誤差情報とを、入力された符号化データから抽出する復号化部と、少なくとも１枚の参照画像と前記複数の動きベクトル情報とを用いて前記復号対象ブロックの複数の動き補償画像信号を生成する動き補償画像生成部と、前記複数の動き補償画像信号から前記復号対象ブロックの予測画像信号を生成する双方向予測部と、前記予測画像信号と前記予測誤差情報とを加算して前記復号対象ブロックの復号画像信号を求める再生部と、を備え、前記双方向予測部は、前記符号化単位の復号画像信号を他の符号化単位の参照画像として用いることが許容されている場合に、符号化単位ごとに丸め処理方法を切り替える、ことを特徴とする。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
双方向予測される符号化単位内の複数のブロックのうち、双方向予測が適用される符号化対象ブロックの動き補償画像信号を生成するために、少なくとも１枚の参照画像と複数の動きベクトル情報とを用いて動き補償を行う動き補償画像信号生成部と、
前記複数の動き補償画像信号から前記符号化対象ブロックの予測画像信号を生成する双方向予測部と、
前記符号化対象ブロックの入力画像信号と前記予測画像信号との予測誤差を符号化する符号化部と、を備え、
前記双方向予測部は、前記符号化単位の復号画像信号を他の符号化単位の参照画像として用いることが許容される場合に、符号化単位ごとに丸め処理方法を切り替える、
ことを特徴とする動画像符号化装置。
【請求項２】
前記符号化部は、前記丸め処理方法を示す制御情報を符号化することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記符号化部は、
（Ａ）前記符号化単位の復号画像信号を他の符号化単位の参照画像として用いることが許容される場合に、前記制御情報を符号化し、
（Ｂ）前記符号化単位の復号画像信号を他の符号化単位の参照画像として用いることが許容されていない場合に、前記制御情報を符号化しない、
ことを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記双方向予測部は、
（１）二つの信号の和を２で除算する第１演算方式と、
（２）二つの信号の和に１を加えてから２で除算する第２演算方式と、
を切り替えることを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
双方向予測された符号化単位内の複数のブロックのうち、双方向予測が適用された復号化対象ブロックについての複数の動きベクトル情報と予測誤差情報とを、入力された符号化データから抽出する復号化部と、
少なくとも１枚の参照画像と前記複数の動きベクトル情報とを用いて前記復号対象ブロックの複数の動き補償画像信号を生成する動き補償画像生成部と、
前記複数の動き補償画像信号から前記復号対象ブロックの予測画像信号を生成する双方向予測部と、
前記予測画像信号と前記予測誤差情報とを加算して前記復号対象ブロックの復号画像信号を求める再生部と、を備え、
前記双方向予測部は、前記符号化単位の復号画像信号を他の符号化単位の参照画像として用いることが許容されている場合に、符号化単位ごとに丸め処理方法を切り替える、
ことを特徴とする動画像復号化装置。
【請求項６】
前記復号化部は、前記符号化データから前記丸め処理方法を示す制御情報を抽出し、
前記双方向予測部は、前記制御情報に従って前記丸め処理方法を切り替える、
ことを特徴とする請求項５に記載の動画像復号化装置。
【請求項７】
前記復号化部は、前記符号化単位の復号画像信号を他の符号化単位の参照画像として用いることが許容されている場合に、前記制御情報を抽出し、
前記双方向予測部は、前記制御情報に従って前記丸め処理方法を切り替えることを特徴とする請求項６に記載の動画像復号化装置。
【請求項８】
前記双方向予測部は、
（１）二つの信号の和を２で除算する第１演算方式と、
（２）二つの信号の和に１を加算してから２で除算する第２演算方式と、
を切り替えることを特徴とする請求項７に記載の動画像復号化装置。
【国際調査報告】
2010001832.tif 000009
2010001832.tif 000010