(57)【要約】【課題】動画像の符号化に際して、Ｂピクチャの符号化効率の低下を回避する。【解決手段】動画像をＭが３以上であるビットストリームに符号化する際に、判定部２１０は、現ピクチャユニットの直前のピクチャユニットのコアピクチャと、現ピクチャユニットのコアピクチャとの間にシーンチェンジが生じたか否かを判定する。参照画像決定部２２０は、判定部２１０により上記シーンチェンジが発生したと判定した場合に、現ピクチャユニットの複数のＢピクチャのうちの２枚目以降の各Ｂピクチャの前方向予測の参照ピクチャを、上記複数のＢピクチャのうちの１枚目のＢピクチャに設定する。【選択図】図１
2011205354.tif 000002
【特許請求の範囲】
【請求項１】
ＩピクチャまたはＰピクチャであるコアピクチャと、Ｂピクチャとを有し、インター予測の参照ピクチャとしてＢピクチャが使用可能であり、相隣する２つのコアピクチャ間に複数のＢピクチャが存在するビットストリームに動画像を符号化する動画像符号化装置であって、
前記動画像における表示順で相隣する２つのコアピクチャのうちの先に符号化される第１のコアピクチャと、後に符号化される第２のピクチャとの間にシーンチェンジが生じたか否かを判定する判定部と、
前記判定部により前記シーンチェンジが発生していないと判定した場合に、前記第１のコアピクチャを、該２つのコアピクチャ間の各Ｂピクチャの前方向予測の参照ピクチャに設定し、前記判定部により前記シーンチェンジが発生したと判定した場合に、該２つのコアピクチャ間の複数のＢピクチャのうちの２枚目以降の各Ｂピクチャの前方向予測の参照ピクチャを、前記複数のＢピクチャのうちの１枚目のＢピクチャに設定する参照ピクチャ設定部とを備えることを特徴とする動画像符号化装置。
【請求項２】
前記判定部は、
相隣する２つのコアピクチャの相関が所定の閾値以下である場合に該２つのコアピクチャ間にシーンチェンジが生じたと判定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
注目ピクチャの各マイクロブロックについて、イントラ予測マイクロブロックとインター予測マイクロブロックのいずれになるかを決定するマイクロブロックタイプ決定部をさらに有し、
前記判定部は、
隣接する２つのコアピクチャのうちの、第２のコアピクチャに対して、前記マイクロブロック決定部が決定したイントラ予測マイクロブロックの数とインター予測マイクロブロックの数との比が所定の閾値以上である場合に、該２つのコアピクチャ間にシーンチェンジが生じたと判定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記判定部は、相隣する２つのコアピクチャのうちの第１のコアピクチャと、該第１のコアピクチャに続くＢピクチャとの間にシーンチェンジが生じたか否かを判定するものであることを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
前記参照ピクチャ設定部は、
隣接する２つのコアピクチャ間の複数のＢピクチャのうちの２枚目以降の各Ｂピクチャの前方向予測の参照ピクチャを、前記複数のＢピクチャのうちの１枚目のＢピクチャに設定した場合に、前記２つのコアピクチャのうちの第２のコアピクチャの次のＢピクチャから、該第２のコアピクチャの次のコアピクチャまでの各ピクチャの前方向予測の参照ピクチャを、前記第２のコアピクチャに設定することを特徴とする請求項１から４のいずれか１項に記載の動画像符号化装置。
【請求項６】
ＩピクチャまたはＰピクチャであるコアピクチャと、Ｂピクチャとを有し、インター予測の参照ピクチャとしてＢピクチャが使用可能であり、相隣する２つのコアピクチャ間に複数のＢピクチャが存在するビットストリームに動画像を符号化する動画像符号化方法において、
前記動画像における表示順で相隣する２つのコアピクチャのうちの先に符号化される第１のコアピクチャと、後に符号化される第２のピクチャとの間にシーンチェンジが生じたか否かを判定し、
前記シーンチェンジが発生していないと判定した場合に、前記第１のコアピクチャを、該２つのコアピクチャ間の各Ｂピクチャの前方向予測の参照ピクチャに設定し、前記シーンチェンジが発生したと判定した場合に、該２つのコアピクチャ間の複数のＢピクチャのうちの２枚目以降の各Ｂピクチャの前方向予測の参照ピクチャを、前記複数のＢピクチャのうちの１枚目のＢピクチャに設定することを特徴とする動画像符号化方法。
【請求項７】
相隣する２つのコアピクチャの相関が所定の閾値以下である場合に該２つのコアピクチャ間にシーンチェンジが生じたと判定することを特徴とする請求項６に記載の動画像符号化方法。
【請求項８】
注目ピクチャの各マイクロブロックに対して、イントラ予測マイクロブロックとインター予測マイクロブロックのいずれになるかを決定する処理をさらに行い、
隣接する２つのコアピクチャのうちの、Ｐピクチャである第２のコアピクチャに対して、決定されたイントラ予測マイクロブロックの数とインター予測マイクロブロックの数との比が所定の閾値以上である場合に、該２つのコアピクチャ間にシーンチェンジが生じたと判定することを特徴とする請求項６に記載の動画像符号化方法。
【請求項９】
相隣する２つのコアピクチャのうちの第１のコアピクチャと、該第１のコアピクチャに続くＢピクチャとの間に前記シーンチェンジが生じたか否かの判定を行うことを特徴とする請求項６に記載の動画像符号化方法。
【請求項１０】
隣接する２つのコアピクチャ間の複数のＢピクチャのうちの２枚目以降の各Ｂピクチャの前方向予測の参照ピクチャを、前記複数のＢピクチャのうちの１枚目のＢピクチャに設定した場合に、前記２つのコアピクチャのうちの第２のコアピクチャの次のＢピクチャから、該第２のコアピクチャの次のコアピクチャまでの各ピクチャの前方向予測の参照ピクチャを、前記第２のコアピクチャに設定することを特徴とする請求項６から９のいずれか１項に記載の動画像符号化方法。
【請求項１１】
ＩピクチャまたはＰピクチャであるコアピクチャと、Ｂピクチャとを有し、インター予測の参照ピクチャとしてＢピクチャが使用可能であり、相隣する２つのコアピクチャ間に複数のＢピクチャが存在するビットストリームに動画像を符号化する際に、
前記動画像における表示順で相隣する２つのコアピクチャのうちの先に符号化される第１のコアピクチャと、後に符号化される第２のピクチャとの間にシーンチェンジが生じたか否かを判定し、
前記シーンチェンジが発生していないと判定した場合に、前記第１のコアピクチャを、該２つのコアピクチャ間の各Ｂピクチャの前方向予測の参照ピクチャに設定し、前記シーンチェンジが発生したと判定した場合に、該２つのコアピクチャ間の複数のＢピクチャのうちの２枚目以降の各Ｂピクチャの前方向予測の参照ピクチャを、前記複数のＢピクチャのうちの１枚目のＢピクチャに設定する処理をコンピュータに実行せしめることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化、特に、Ｂピクチャをインター予測の参照画像として使用可能な符号化技術に関する。
【背景技術】
【０００２】
Ｉピクチャ、Ｐピクチャ、Ｂピクチャからなる階層ピクチャ構造を有するビットストリームに動画像を符号化する符号化方式が広く用いられている。Ｉピクチャ、Ｐピクチャ、Ｂピクチャの違いは、該ピクチャの符号化時にフレーム間予測を用いるか否か、またどのタイプのフレーム間予測を用いるかである。なお、フレーム間予測は、インター予測とも呼ばれる。
【０００３】
Ｉピクチャは、符号化時にフレーム間予測が用いられないピクチャである。Ｐピクチャは、符号化時に、表示順で前のピクチャのみを参照ピクチャとするフレーム間予測が用いられるピクチャである。Ｂピクチャは、符号化時に、表示順で前後両方のピクチャを参照ピクチャとするフレーム間予測が用いられるピクチャである。前のピクチャのみを参照ピクチャとするフレーム間予測と、前後両方のピクチャを参照ピクチャとするフレーム間予測は、それぞれ前方向予測と双方向予測と呼ばれる。
【０００４】
多くの動画像符号化方式では、参照ピクチャになり得るのは、ＩピクチャとＰピクチャのみである。以下の説明において、ＩピクチャとＰピクチャをコアピクチャという。すなわち、Ｐピクチャは、直前のコアピクチャを参照ピクチャとする前方向予測がなされ、Ｂピクチャは、直前と直後のコアピクチャを参照ピクチャとする双方向予測がなされる。
【０００５】
動画像を符号化して得たビットストリームのタイプは、「Ｍ構造」によって表現される場合がある。「Ｍ構造」における「Ｍ」は、表示順において、コアピクチャの直後のピクチャから、該コアピクチャの次のコアピクチャまでのピクチャ数である。
【０００６】
図９と図１０は、ビットストリームの例を示す。図中数字は、小さいほど先になる表示順を示す。また、「Ｉ」、「Ｐ」、「Ｂ」は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを夫々示す。
【０００７】
図９は、「Ｍ＝１」タイプのビットストリームの例を示す。図示のように、このタイプの場合、ビットストリームは、コアピクチャのみにより構成され、Ｂピクチャが無い。
【０００８】
図１０は、「Ｍ＝３」タイプのビットストリームの例を示す。図示のように、このタイプの場合、コアピクチャの直後のピクチャ（Ｂピクチャ）から、次のコアピクチャまでのピクチャ数が３である。例えば、コアピクチャである「Ｉ２」の直後のＢピクチャから、「Ｉ２」の次のコアピクチャ「Ｐ５」まで、「Ｂ３」、「Ｂ４」、「Ｐ５」の３つのピクチャがある。同様に、コアピクチャである「Ｐ５」の直後のＢピクチャから、「Ｐ５」の次のコアピクチャ「Ｉ８」まで、「Ｂ６」、「Ｂ７」、「Ｉ８」の３つのピクチャがある。
【０００９】
説明上の便宜のため、以下、表示順において、コアピクチャの直後のＢピクチャから、該コアピクチャの次のコアピクチャまでのピクチャの集合を「ピクチャユニット」という。図９の「Ｍ＝１」タイプの場合、１つのピクチャユニットは１つのコアピクチャにより構成され、図１０の「Ｍ＝３」タイプの場合、１つのピクチャユニットは、２つのＢピクチャと、該２つのＢピクチャに続く１つのコアピクチャにより構成される。
【００１０】
動画像を符号化する際に、Ｍ構造のタイプに応じてピクチャのタイプと符号化順を決定する。例えば、図１０の「Ｍ＝３」のビットストリームに符号化する場合、表示順においてコアピクチャ「Ｉ２」に続く３つのピクチャのタイプは、Ｂピクチャ「Ｂ３」、Ｂピクチャ「Ｂ４」、Ｐピクチャ「Ｐ５」に決定される。「Ｂ３」、「Ｂ４」の符号化に双方向予測が用いられるため、「Ｂ３」と「Ｂ４」に先立って「Ｐ５」が符号化される。なお、「Ｐ５」の符号化時に、前方向予測のために「Ｉ２」は参照ピクチャとして用いられる。
【００１１】
なお、近年、例えばＨ．２６４など、Ｂピクチャをフレーム間予測の参照ピクチャとして使用可能と規定された符号化方式が知られている。このような符号化方式では、例えば図１０の例の場合、コアピクチャ「Ｉ２」の代わりに、Ｂピクチャである「Ｂ３」を、「Ｂ４」の前方向予測の参照ピクチャとして用いることができる。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ここで、ピクチャユニットの末尾のコアピクチャと次のピクチャユニット間にシーンチェンジが生じた場合について考える。例えば、図１０の例において、ピクチャ「Ｉ２」とピクチャ「Ｂ３」間にシーンチェンジが生じたとする。なお、このケースは、ピクチャ「Ｉ２」にシーンチェンジが生じたともいう。
【００１３】
この場合、ピクチャ「Ｐ５」の符号化時に、前方向予測の参照ピクチャとしてピクチャ「Ｉ２」を用いると、ピクチャ「Ｐ５」とピクチャ「Ｉ２」間の相関が低いため、前方向予測の効率が低く、符号量が多いという問題がある。
【００１４】
また、符号化時に前方向と後方向の双方向予測がなされるピクチャ「Ｂ３」と「Ｂ４」についても、前方向予測の参照ピクチャをピクチャ「Ｉ２」とすると、ピクチャ「Ｐ５」のときと同様に、符号量が多い。
【００１５】
本発明は、上記事情に鑑みてなされたものであり、ピクチャユニットの末尾のコアピクチャと次のピクチャユニット間にシーンチェンジが生じた場合に、該次のピクチャユニットの符号化の効率低下を防ぐことができる技術を提供する。
【課題を解決するための手段】
【００１６】
本発明の一つの態様は、ＩピクチャまたはＰピクチャであるコアピクチャと、Ｂピクチャとを有し、インター予測（フレーム間予測）の参照ピクチャとしてＢピクチャが使用可能であり、相隣する２つのコアピクチャ間に複数のＢピクチャが存在するビットストリームに動画像を符号化する動画像符号化方法である。
【００１７】
この方法は、動画像における表示順で相隣する２つのコアピクチャのうちの先に符号化される第１のコアピクチャと、後に符号化される第２のピクチャとの間にシーンチェンジが生じたか否かを判定し、判定結果に応じて、第１のコアピクチャと第２のコアピクチャ間の複数のＢピクチャの前方向予測の参照ピクチャを設定する。
【００１８】
具体的には、上記シーンチェンジが発生していないと判定した場合に、第１のコアピクチャを、該２つのコアピクチャ間の各Ｂピクチャの前方向予測の参照ピクチャに設定する。一方、上記シーンチェンジが発生したと判定した場合に、該２つのコアピクチャ間の複数のＢピクチャのうちの２枚目以降の各Ｂピクチャの前方向予測の参照ピクチャを、該複数のＢピクチャのうちの１枚目のＢピクチャに設定する。なお、１枚目のＢピクチャについては、前方向予測の参照ピクチャは、第１のコアピクチャに設定される。
【００１９】
なお、上記態様の方法を装置やシステムに置き換えて表現したもの、コンピュータに該方法を実行せしめるプログラム、該プログラムを記録したコンピュータ読取可能な記録媒体なども、本発明の態様としては有効である。
【発明の効果】
【００２０】
本発明にかかる技術によれば、動画像の符号化に際して、ピクチャユニットの末尾のコアピクチャと次のピクチャユニット間にシーンチェンジが生じた場合に、該次のピクチャユニットの符号化の効率低下を防ぐことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態にかかる符号化装置を示す図である。
【図２】図１に示す符号化装置における参照画像決定部によるフレーム間予測の参照ピクチャの設定を示すフローチャートである。
【図３】Ｐピクチャに対する参照ピクチャの設定を示すフローチャートである。
【図４】Ｂピクチャに対する参照ピクチャの設定を示すフローチャートである。
【図５】現ピクチャユニットの直前のピクチャユニットのコアピクチャと、現ピクチャユニットのコアピクチャ間にシーンチェンジがある場合と無い場合の参照ピクチャの設定を説明するための図である。
【図６】図１に示す符号化装置における参照画像メモリによる参照ピクチャの格納態様の例を示す図である。
【図７】図１に示す符号化装置の制御部によるＰピクチャの参照ピクチャの設定を示すフローチャートである。
【図８】図１に示す符号化装置の制御部によるＢピクチャの参照ピクチャの設定を示すフローチャートである。
【図９】Ｍが１であるビットストリームの例を示す図である。
【図１０】Ｍが３であるビットストリームの例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【００２３】
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００２４】
図１は、本発明の実施の形態にかかる符号化装置１００を示す。符号化装置１００は、動画像のエンコーダであり、インター予測の参照ピクチャとしてＢピクチャが使用可能な符号化方式例えばＨ．２６４の規格に準拠する。
【００２５】
図１に示すように、符号化装置１００は、入力画像メモリ１１０、インター予測処理部１２０、イントラ予測処理部１３０、ＭＢタイプ決定部１４０、予測残差生成部１５０、直交変換部１５２（図中ＤＣＴ）、量子化部１５４（図中Ｑ）、エントロピー符号化部１５６、逆量子化部１６０（図中ＩＱ）、逆直交変換部１６２（図中ＩＤＣＴ）、動き補償部１６４、ループ内フィルタ１６６、参照画像メモリ１７０を備える。
【００２６】
符号化装置１００を詳細に説明する前に、まず、参照ピクチャとしてコアピクチャ（ＩピクチャまたはＰピクチャ）のみを設定すると仮定して符号化装置１００の各機能ブロックの動作を説明する。なお、Ｍ構造のＭが２以上であるとする。
【００２７】
入力画像メモリ１１０は、表示順に入力される動画像のピクチャを格納し、制御部２００の制御に従って符号化順に出力する。これらのピクチャは、インター予測処理部１２０、イントラ予測処理部１３０、予測残差生成部１５０に入力される。
【００２８】
参照画像メモリ１７０は、制御部２００の制御に従って、インター予測の参照ピクチャを更新しながら格納する。参照画像メモリ１７０に格納される参照ピクチャの詳細については後述する。
【００２９】
インター予測処理部１２０は、マイクロブロック（ＭＢ）単位にインター予測処理を行うものである。具体的には、制御部２００の制御に従って、入力画像メモリ１１０からの符号化対象となるピクチャ（以下注目ピクチャという）に対応する参照ピクチャにおける、注目ピクチャの符号化対象となるマイクロブロック（以下注目ＭＢという）に対応するマイクロブロック（以下参照ＭＢという）のデータを参照画像メモリ１７０から読み出し、注目ＭＢについて最適なインター予測タイプを決定すると共に、決定されたインター予測タイプのマイクロブロックタイプ（ＭＢタイプ）を示すＭＢタイプ情報、ＭＢコスト、動きベクトル情報、インター予測画像データなどをＭＢタイプ決定部１４０に出力する。
【００３０】
イントラ予測処理部１３０は、ＭＢ単位にイントラ予測（フレーム内予測）処理を行うものである。具体的には、制御部２００の制御に従って、注目ＭＢに対して、最適なイントラ予測モードを決定すると共に、決定されたイントラ予測のＭＢタイプを示すＭＢタイプ情報、ＭＢコスト、イントラ予測方向、イントラ予測画像データをＭＢタイプ決定部１４０に出力する。
【００３１】
ＭＢタイプ決定部１４０は、注目ＭＢについて、インター予測処理部１２０からのＭＢコストと、イントラ予測処理部１３０からのＭＢコストとを比較し、コストが最小の予測タイプをＭＢタイプとして選択する。ＭＢタイプ決定部１４０は、ＭＢタイプとしてインター予測のＭＢタイプを選択した場合に、インター予測処理部１２０からのインター予測画像データを予測残差生成部１５０に出力し、ＭＢタイプ情報、動きベクトル情報をＭＢ符号化情報としてエントロピー符号化部１５６に出力する。一方、ＭＢタイプ決定部１４０は、ＭＢタイプとしてイントラ予測のＭＢタイプを選択した場合に、イントラ予測処理部１３０からのイントラ予測画像データを予測残差生成部１５０に出力し、ＭＢタイプ情報、イントラ予測方向情報を符号化情報としてエントロピー符号化部１５６に出力する。
【００３２】
予測残差生成部１５０は、注目ＭＢの画像データと、ＭＢタイプ決定部１４０からの、該注目ＭＢに対応する予測画像データ（インター予測画像データまたはイントラ予測画像データ）の差分を算出し、予測残差画像データとして直交変換部１５２に出力する。
【００３３】
直交変換部１５２は、予測残差画像データに対して直交変換を行って、直交変換係数を得る。この直交変換係数は、量子化部１５４に出力される。
【００３４】
量子化部１５４は、制御部２００から入力される量子化スケール値を用いて、直交変換部１５２からの直交変換係数に対して量子化処理を行い、量子化係数値を得る。この量子化係数値は、エントロピー符号化部１５６と逆量子化部１６０に出力される。
【００３５】
エントロピー符号化部１５６は、ピクチャ単位とＭＢ単位のエントロピー符号化処理を行い、ビットストリームを得て出力する。具体的には、ピクチャ単位では、規格に準拠するよう、シーケンスやピクチャヘッダ、符号化の動作モードなどを符号化し、ＭＢ単位では、ＭＢタイプに基づき、規格に準拠するよう、参照ピクチャの参照番号、動きベクトル情報、イントラ予測方向、量子化スケール値などのエントロピー符号化を行う。
【００３６】
エントロピー符号化部１５６は、エントロピー符号化を行ってビットストリームを得ると共に、ビットストリームの符号化ビット数を符号量情報として制御部２００に出力する。なお、Ｈ．２６４／ＡＶＣでは、エントロピー符号化の方式としは、ＣＡＶＬＣとＣＡＢＡＣの２種類を用いることができる。
【００３７】
逆量子化部１６０は、量子化部１５４から出力した量子化係数値に対して、量子化部１５４による量子化時に用いた量子化スケール値を用いて逆量子化を行い、復号された直交変換係数を得て逆直交変換部１６２に出力する。
【００３８】
逆直交変換部１６２は、復号された直交変換係数に対して逆直交変換を行い、復号された予測残差画像データを得て動き補償部１６４に出力する。
【００３９】
動き補償部１６４は、ＭＢタイプ決定部１４０からの予測画像データと、逆直交変換部１６２からの予測残差画像データを加算して、復号された画像データを生成してループ内フィルタ１６６とイントラ予測処理部１３０に出力する。
【００４０】
イントラ予測処理部１３０は、注目ＭＢに対して、動き補償部１６４からの、該注目ＭＢと同じピクチャにある参照ＭＢの画像データを用いてイントラ予測処理を行う。
【００４１】
ループ内フィルタ１６６は、動き補償部１６４からの画像データに対して、量子化スケール値、周辺ＭＢのＭＢタイプ情報、量子化係数値の有無などにより、フィルタ強度を適応的に変化させて、直交変換部１５２による直交変換時のブロック境界付近にフィルタリングを行う。このフィルタリングは、ブロック境界付近で生じる格子状ノイズを低減するためである。ループ内フィルタ１６６は、フィルタリング後の画像データを参照画像メモリ１７０に出力する。
【００４２】
参照画像メモリ１７０は、制御部２００の制御に従って、インター予測のための参照ピクチャを格納し、ブロック単位に出力する。参照画像メモリ１７０に格納される参照ピクチャの数は、Ｍ構造のＭ値によって異なる。例えば、「Ｍ＝１」の場合、インター予測がなされるのは、前方向予測のＰピクチャの場合のみであるため、参照画像メモリ１７０には、最後に符号化されたピクチャ（コアピクチャ）のみを格納すればよい。一方、Ｍが２以上の場合、双方向予測がなされるＢピクチャがあるため、参照画像メモリ１７０には、最後に符号化された２枚のコアピクチャを少なくとも格納する必要がある。
【００４３】
ループ内フィルタ１６６からの画像データを参照ピクチャの画像データとして格納するか否か、どの番地に格納するか、どの番地のデータを出力するかなどについては、制御部２００により制御される。
【００４４】
制御部２００は、図示しない上位の処理部が指示したＭ構造に応じて注目ピクチャのピクチャタイプを決定し、エントロピー符号化部１５６からの符号量情報に基づいて符号化装置１００全体の制御を行う符号化制御情報を得る。符号化制御情報としては、注目ピクチャのピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）、注目ＭＢの画面内位置座標（ｘ，ｙ）、前方向予測の参照ピクチャの参照画像メモリ１７０における基準位置（ベースアドレス）、後方向予測の参照ピクチャの参照画像メモリ１７０におけるベースアドレス、前方向予測の探索範囲、後方向予測の探索範囲、量子化ステップ値から求められたλ値などがある。制御部２００は、入力画像メモリ１１０、インター予測処理部１２０、イントラ予測処理部１３０、量子化部１５４、エントロピー符号化部１５６、参照画像メモリ１７０などに対して、上記符号化制御情報のうちの、該機能ブロックによる処理時に必要なものを出力する。
【００４５】
例えば、インター予測処理部１２０は、インター予測を行うか否かを判断するために注目ピクチャのピクチャタイプの情報を必要とする。また、注目ピクチャがＰピクチャである場合には前方向予測のための参照ピクチャ（１枚）の参照画像メモリ１７０におけるベースアドレスを必要とし、注目ピクチャがＢピクチャである場合には後方向予測のための参照ピクチャ（２枚）の参照画像メモリ１７０におけるベースアドレスを必要とする。
【００４６】
ここで、図２〜図４を参照して、制御部２００による参照ピクチャの設定処理を説明する。分かりやすいように、参照ピクチャとしてＰピクチャのみを例にして説明する。
【００４７】
図２のフローチャートに示すように、注目ピクチャがＩピクチャである場合に（Ｓ１００：Ｙｅｓ）、インター予測が行われないため、制御部２００は、該注目ピクチャに対して参照ピクチャの設定をしない。
【００４８】
注目ピクチャがＰピクチャである場合に、制御部２００は、Ｐピクチャの参照ピクチャ設定処理を行う（Ｓ１００：Ｎｏ、Ｓ１１０：Ｙｅｓ、Ｓ１２０）。注目ピクチャがＢピクチャである場合に、制御部２００は、Ｂピクチャの参照ピクチャ設定処理を行う（Ｓ１００：Ｎｏ、Ｓ１１０：Ｎｏ、Ｓ１３０）。
【００４９】
図３におけるステップＳ１２２は、Ｐピクチャの参照ピクチャ設定処理を示す。ステップＳ１２２における各符号の意味は、下記の通りである。
【００５０】
ｐｒｅｖＰ：表示順において、注目ピクチャが位置するピクチャユニット（以下、現ピクチャユニットという）の直前のピクチャユニット内のコアピクチャ（ここではＰピクチャ）。ピクチャユニット内のコアピクチャが該ピクチャユニットの末尾に位置するため、ｐｒｅｖＰは、すなわち、現ピクチャユニットの先頭のピクチャの直前のピクチャである。
ｃｕｒｒＰ：現ピクチャユニット内のコアピクチャ（ここではＰピクチャ）。このピクチャは、表示順において現ピクチャユニットの末尾のピクチャになる。なお、符号順としては、ｃｕｒｒＰは、該ピクチャユニット内で最も先に符号化されるピクチャである。
ｃｏｄＰｉｃ：注目ピクチャ
ｒｅｆＬ０：前方向予測の参照ピクチャ
ｒｅｆＬ１：後方向予測の参照ピクチャ
ｎｏｎｅ：なし
【００５１】
すなわち、制御部２００は、Ｐピクチャに対して、前方向予測の参照ピクチャ（ｒｅｆＬ０）として現ピクチャユニットの直前のピクチャユニットのコアピクチャ（ｐｒｅｖＰ）を設定し、後方向予測の参照ピクチャ（ｒｅｆＬ１）は設定しない。
【００５２】
図４におけるステップＳ１３２は、Ｂピクチャの参照ピクチャ設定処理を示す。図示のように、制御部２００は、Ｂピクチャに対して、前方向予測の参照ピクチャ（ｒｅｆＬ０）として現ピクチャユニットの直前のピクチャユニットのコアピクチャ（ｐｒｅｖＰ）を設定し、後方向予測の参照ピクチャ（ｒｅｆＬ１）として現ピクチャユニットのコアピクチャ（ｃｕｒｒＰ）を設定する。
【００５３】
以上に説明した処理は、Ｈ．２６４規格に準拠し、インター予測のための参照ピクチャとしてコアピクチャのみを設定する通常の動画像符号化装置における処理と同じである。
【００５４】
本実施の形態の符号化装置１００は、動画像をＭが２以下のビットストリームに符号化する際に、上述した通りに処理を行う。動画像をＭが３以上のビットストリームに符号化する際に、インター予測のための参照ピクチャの設定処理が通常の動画像符号化装置と異なる。以下、Ｍが３以上である場合の符号化装置１００の処理を説明する。なお、この場合においても、インター予測の参照ピクチャの設定に関する処理のみが通常の動画像符号化装置と異なるので、ここで参照ピクチャの設定についてのみ説明する。
【００５５】
図１に示すように、本実施の形態の符号化装置１００における制御部２００は、判定部２１０と参照画像決定部２２０を備える。
【００５６】
判定部２１０は、表示順において、該現ピクチャユニットの直前のピクチャユニットの末尾のコアピクチャとの間にシーンチェンジが生じたか否かを判定し、判定結果を参照画像決定部２２０に出力する。
【００５７】
本実施の形態において、ＭＢタイプ決定部１４０は、注目ＭＢに対して決定したＭＢタイプ（インター予測のＭＢタイプかイントラ予測のＭＢタイプか）を制御部２００にも出力する。
【００５８】
判定部２１０は、現ピクチャユニット内の最も先に符号化されるピクチャすなわちコアピクチャ（ここではＰピクチャ）の符号化時に、ＭＢタイプ決定部１４０により該Ｐピクチャに対してイントラ予測のＭＢタイプに決定されたＭＢの数と、インター予測のＭＢタイプに決定されたＭＢの数との比を求める。そして、この比が所定の閾値以上である場合に上記シーンチェンジが発生したと判定し、この比が上記閾値未満である場合に上記シーンチェンジが発生していないと判定する。
【００５９】
参照画像決定部２２０は、現ピクチャユニット内の１枚目のＢピクチャとコアピクチャ、すなわち表示順では、現ピクチャユニットの先頭と末尾のピクチャに対して、前方向予測の参照ピクチャとして、現ピクチャユニットの直前のピクチャユニットのコアピクチャに設定する。
【００６０】
現ピクチャユニット内の２枚目からの各Ｂピクチャに対して、参照画像決定部２２０は、判定部２１０の判定結果に基づいて参照ピクチャを設定する。
【００６１】
具体的には、上記シーンチェンジが生じていないと判定された場合に、参照画像決定部２２０は、現ピクチャユニット内の２枚目からの各Ｂピクチャに対して、該ピクチャユニット内のコアピクチャと１枚目のＢピクチャのときと同様に、前方向予測の参照ピクチャとして、現ピクチャユニットの直前のピクチャユニットのコアピクチャに設定する。
【００６２】
一方、上記シーンチェンジが生じたと判定された場合に、参照画像決定部２２０は、現ピクチャユニット内の２枚目からの各Ｂピクチャに対して、前方向予測の参照ピクチャとして、現ピクチャユニットの１枚目のＢピクチャに設定する。
【００６３】
なお、現ピクチャユニット内の各Ｂピクチャに対して、後方向予測の参照ピクチャとしては、現ピクチャユニット内のコアピクチャに設定する。
【００６４】
動画像を「Ｍ＝３」タイプのビットストリームに復号する場合の具体例を参照してより具体的に説明する。
【００６５】
図５は、表示順に、ピクチャユニット０、ピクチャユニット１、ピクチャユニット２を有する動画像の例と、ピクチャユニット１とピクチャユニット２内の各ピクチャに対して設定される参照ピクチャを示す。図中において、「Ｐ」、「Ｂ」は、Ｐピクチャ、Ｂピクチャをそれぞれ示し、数字は、表示順を示す。
【００６６】
図５に示すように、ピクチャユニット０の最後のピクチャはＰ０である。ピクチャユニット１は、Ｂ１、Ｂ２、Ｐ３の３つのピクチャを有し、ピクチャユニット２は、Ｂ４、Ｂ５、Ｐ６の３つのピクチャを有する。これらのピクチャの符号化順は、Ｐ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５である。
【００６７】
まず、ピクチャＰ０とピクチャユニット１の間にシーンチェンジが無い場合を説明する。なお、Ｐ３とピクチャユニット２の間にはシーンチェンジが無いとする。
【００６８】
この場合、制御部２００の参照画像決定部２２０は、Ｐ３の符号化時に、前方向予測の参照ピクチャｒｅｆＬ０としてＰ０を設定し、後方向予測の参照ピクチャｒｅｆＬ１を「無し（ｎｏｎｅ）」に設定する。そして、判定部２１０は、Ｐ３に対して、ＭＢタイプ決定部１４０によりイントラ予測のＭＢタイプに決定されたＭＢの数と、インター予測のＭＢタイプに決定されたＭＢの数との比が所定の閾値より小さいことにより、上記シーンチェンジが発生していないと判定する。
【００６９】
この判定結果に応じて、参照画像決定部２２０は、Ｐ３の次に符号化するピクチャＢ１に対して、前方向予測の参照ピクチャｒｅｆＬ０としてＰ０を、後方向予測の参照ピクチャｒｅｆＬ１としてＰ３を設定する。また、ピクチャＢ２に対しても、同様に、前方向予測の参照ピクチャｒｅｆＬ０としてＰ０を、後方向予測の参照ピクチャｒｅｆＬ１としてＰ３を設定する。
【００７０】
後に、参照画像決定部２２０は、ピクチャユニット２のコアピクチャＰ６の符号化時、前方向予測の参照ピクチャｒｅｆＬ０としてＰ３を設定し、後方向予測の参照ピクチャｒｅｆＬ１を「無し」に設定する。また、ピクチャユニット２のＢピクチャ（Ｂ４、Ｂ５）の符号化時に、前方向予測の参照ピクチャｒｅｆＬ０としてＰ３を、後方向予測の参照ピクチャｒｅｆＬ１をＰ６に設定する。
【００７１】
すなわち、この場合、注目ピクチャとなる全てのＰピクチャとＢピクチャについて、前方向予測の参照ピクチャｒｅｆＬ０は、該注目ピクチャのピクチャユニット（現ピクチャユニット）の直前に符号化されたピクチャユニットのコアピクチャ（ｐｒｅｖＰ）に設定される。
【００７２】
参照画像決定部２２０は、参照ピクチャの設定に応じて参照画像メモリ１７０から画像データを読み出すべきメモリバンクのベースアドレスをインター予測処理部１２０に指示する。図６を参照して説明する。
【００７３】
図６に示すように、本実施の形態における参照画像メモリ１７０は、３つのメモリバンク（バンク１７２、バンク１７４、バンク１７６）を有する。参照画像決定部２２０は、この３つのバンクをそれぞれｐｒｅｖＰ（現ピクチャユニットの前のピクチャユニットのコアピクチャ）、ｃｕｒｒＰ（現ピクチャユニットのコアピクチャ）、ｓｔｏｒｅｄＢ（参照ピクチャとして設定されたＢピクチャ）の格納に用いる。
【００７４】
図６は、分かりやすいように、バンク１７２、バンク１７４がそれぞれｐｒｅｖＰ、ｃｕｒｒＰを格納するように示しているが、バンク１７２とバンク１７４は、ｐｒｅｖＰとｃｕｒｒＰのいずれを格納するかは固定ではない。
【００７５】
例えば、Ｐ３の符号化開始時に、バンク１７２にＰ０（正確には符号化後に復号されたＰ０）が記憶されており、参照画像決定部２２０は、バンク１７２のベースアドレスをｐｒｅｖＰのベースアドレスとして保持している。Ｐ３の符号化時に、参照画像決定部２２０は、参照ピクチャのアドレスとしてバンク１７２のベースアドレスをインター予測処理部１２０に指示する。そして、符号化後に復号されたＰ３を参照画像メモリ１７０のバンク１７４に記憶させると共に、バンク１７４のアドレスをｃｕｒｒＰのベースアドレスとして保持する。その後、ピクチャＢ１、Ｂ２について、前方向予測の参照ピクチャｒｅｆＬ０のアドレスとしてバンク１７２のベースアドレスを、後方向予測の参照ピクチャｒｅｆＬ１のアドレスとしてバンク１７４のベースアドレスを指示する。
【００７６】
また、Ｐ６の符号化時に、参照画像決定部２２０は、前方向予測の参照ピクチャｒｅｆＬ０のアドレスとしてバンク１７４のベースアドレスをインター予測処理部１２０に指示する。そして、符号化後に復号されたＰ６で参照画像メモリ１７０のバンク１７２を更新すると共に、バンク１７２のアドレスをｃｕｒｒＰのベースアドレスとして保持し、バンク１７４のベースアドレスをｐｒｅｖＰのアドレスに変更する。その後、ピクチャＢ４、Ｂ５について、前方向予測の参照ピクチャｒｅｆＬ０のアドレスとしてバンク１７４のベースアドレスを、後方向予測の参照ピクチャｒｅｆＬ１のアドレスとしてバンク１７２のベースアドレスをインター予測処理部１２０に指示する。
【００７７】
バンク１７６は、Ｂピクチャが参照ピクチャとして設定された場合に、制御部２００の制御に従って符号化後に復号化された該Ｂピクチャを格納するものであり、これについて、図５に戻り、ピクチャＰ０とピクチャユニット１の間にシーンチェンジが生じた場合の説明と共に説明する。
【００７８】
この場合、制御部２００の参照画像決定部２２０は、Ｐ３の符号化時に、前方向予測の参照ピクチャｒｅｆＬ０としてＰ０を設定し、後方向予測の参照ピクチャｒｅｆＬ１を「無し（ｎｏｎｅ）」に設定する。そして、判定部２１０は、Ｐ３に対して、ＭＢタイプ決定部１４０によりイントラ予測のＭＢタイプに決定されたＭＢの数と、インター予測のＭＢタイプに決定されたＭＢの数との比が所定の閾値以上であることにより、上記シーンチェンジが発生したと判定する。Ｐ３の符号化終了時に、バンク１７２にＰ０が記憶されており、バンク１７４にＰ３が記憶されている。参照画像決定部２２０は、バンク１７２のベースアドレスをｐｒｅｖＰのベースアドレスとして保持しており、バンク１７４のアドレスをｃｕｒｒＰのベースアドレスとして保持している。
【００７９】
Ｐ３の次に符号化するピクチャＢ１に対して、参照画像決定部２２０は、前方向予測の参照ピクチャｒｅｆＬ０としてＰ０を、後方向予測の参照ピクチャｒｅｆＬ１としてＰ３を設定する。そのため、インター予測処理部１２０には、前方向予測の参照ピクチャｒｅｆＬ０のアドレスとしてバンク１７２のベースアドレスが指示され、後方向予測の参照ピクチャｒｅｆＬ１のアドレスとしてバンク１７４のベースアドレスが指示される。
【００８０】
Ｂ１の符号化が終了すると、参照画像決定部２２０は、符号化後に復号されたＢ１を参照画像メモリ１７０のバンク１７６に記憶させる。また、判定部２１０の判定結果が「シーンチェンジ有り」であるため、前方向予測の参照ピクチャとして使われるＢピクチャがあったことを示すフラグ「ｓＢｅｘｉｓｔ」を「１」に変更する。なお、フラグ「ｓＢｅｘｉｓｔ」は、参照画像決定部２２０が有するフラグであり、初期値が「０」である。
【００８１】
ピクチャユニット２の２枚目のＢピクチャ（Ｂ２）に対して、参照画像決定部２２０は、後方向予測の参照ピクチャｒｅｆＬ１としてＰ３を設定し、ｒｅｆＬ１のアドレスとしてバンク１７４のベースアドレスをインター予測処理部１２０に指示する。一方、フラグ「ｓＢｅｘｉｓｔ」が「１」であるため、参照画像決定部２２０は、Ｂ２に対して前方向予測の参照ピクチャｒｅｆＬ０としてＢ１を設定し、前方向予測の参照ピクチャｒｅｆＬ０のアドレスとしてバンク１７６のベースアドレスをインター予測処理部１２０に指示する。
【００８２】
Ｂ１の次にピクチャユニット２のコアピクチャ（Ｐ６）が符号化される。このとき、参照画像メモリ１７０に最後に格納された参照ピクチャがＢ１であるが、参照画像決定部２２０は、Ｐ６に対して、Ｐ６に対して、前方向予測の参照ピクチャｒｅｆＬ０として現ピクチャユニット（ピクチャユニット２）の直前のピクチャユニット１のコアピクチャ（Ｐ３）を設定し、インター予測処理部１２０にバンク１７４のベースアドレスを指示する。また、ピクチャユニット２のＢピクチャ（Ｂ４、Ｂ５）の符号化時に、前方向予測の参照ピクチャｒｅｆＬ０としてＰ３を、後方向予測の参照ピクチャｒｅｆＬ１をＰ６に設定し、バンク１７２とバンク１７４のベースアドレスをインター予測処理部１２０に指示する。
【００８３】
すなわち、この場合、ピクチャユニット１のコアピクチャＰ３と１枚目のＢピクチャＢ１に対して、前方向予測の参照ピクチャｒｅｆＬ０は、現ピクチャユニットの直前に符号化されたピクチャユニット（ピクチャユニット０）のコアピクチャ（ｐｒｅｖＰ＝Ｐ０）に設定されるが、２枚目のＢピクチャＢ２に対して、前方向予測の参照ピクチャｒｅｆＬ０は、現ピクチャユニットの１枚目のＢピクチャＢ１に設定される。
【００８４】
ピクチャユニット２の全てのＰピクチャとＢピクチャについて、前方向予測の参照ピクチャｒｅｆＬ０は、現ピクチャユニットの直前に符号化されたピクチャユニット（ピクチャユニット１）のコアピクチャ（ｐｒｅｖＰ＝Ｐ３）に設定される。
【００８５】
ここで、本実施の形態の符号化装置１００における制御部２００による参照ピクチャの設定に関する処理をまとめる。
【００８６】
図７は、Ｐピクチャ、すなわち表示順では現ピクチャユニットの最後のピクチャであり、符号化順では現ピクチャユニットの最初のピクチャの符号化時の参照ピクチャの設定処理を示すフローチャートである。図示のように、参照画像決定部２２０は、まず、フラグ「ｓＢｅｘｉｓｔ」の値を確認する（Ｓ２００）。前述したように、フラグ「ｓＢｅｘｉｓｔ」が「１」であることは、前のピクチャユニットでＢピクチャを参照ピクチャとする置換えが生じたことを示すため、参照画像決定部２２０は、フラグ「ｓＢｅｘｉｓｔ」が「１」であるときに、ｃｕｒｒＰのアドレスを、最後に参照画像メモリ１７０に格納されたＰピクチャ（ｓｔｏｒｅｄＰ）すなわち直前のピクチャユニットのＰピクチャを格納したメモリバンクのベースアドレスに置換えてステップＳ２１２に進む（Ｓ２００：１、Ｓ２１０、Ｓ２１２）。一方、フラグ「ｓＢｅｘｉｓｔ」が「０」である場合には、参照画像決定部２２０は、Ｓ２１０の置換えをせずにステップＳ２１２へ進む（Ｓ２００：０、Ｓ２１２）。
【００８７】
ステップＳ２１２において、参照画像決定部２２０は、Ｍ構造のＭ値を確認する（Ｓ２１２）。Ｍが３以上である場合に、現ピクチャユニット内にＢピクチャが２枚以上あるため、参照画像決定部２２０は、フラグ「１ｓｔＢ」を「１」に設定する（Ｓ２１２：Ｙｅｓ、Ｓ２２０）。また、Ｍが２以下である場合には、参照画像決定部２２０はフラグ「１ｓｔＢ」を「０」に設定する（Ｓ２１２：Ｎｏ、Ｓ２１４）。
【００８８】
そして、参照画像決定部２２０は、フラグ「ｓＢｅｘｉｓｔ」を「０」に設定し、ｐｒｅｖＰのアドレスをｃｕｒｒＰのアドレスに置換え、ｃｕｒｒＰのアドレスと、参照画像メモリ１７０に最後に格納されたピクチャのアドレスを、現在符号化され復号されたＰピクチャを格納するメモリバンクのベースアドレスに置換える。また、前方向予測の参照ピクチャｒｅｆＬ０としてｐｒｅｖＰ、後方向予測の参照ピクチャｒｅｆＬ１として「無し」を設定する（Ｓ２２４）。
【００８９】
図８は、ピクチャユニット内のＢピクチャの参照ピクチャの設定処理を示すフローチャートである。図示のように、参照画像決定部２２０は、まずフラグ「１ｓｔＢ」の値を確認し、フラグ「１ｓｔＢ」が「１」である場合に、まず、フラグ「１ｓｔＢ」を「０」に変更する（Ｓ２３０：Ｙｅｓ、Ｓ２３２）。すなわち、本実施の形態において、Ｍが３以上であり、かつ現ピクチャユニット内の１枚目のＢピクチャの符号化開始時にのみフラグ「１ｓｔＢ」が１である。
【００９０】
そして、参照画像決定部２２０は、判定部２１０の判定結果を確認する（Ｓ２３４）。判定部２１０の判定結果が、現ピクチャユニットのＰピクチャのイントラ予測ＭＢ（Ｐｉｎｔｒａ）の数とインター予測ＭＢ（Ｐｉｎｔｅｒ）の数との比が閾値未満であり、すなわち、現ピクチャユニットの直前のピクチャユニットのＰピクチャと、現ピクチャユニットのＰピクチャ間にシーンチェンジが無いことを示す場合に、参照画像決定部２２０は、注目Ｂピクチャに対して、前方向予測の参照ピクチャｒｅｆＬ０としてｐｒｅｖＰを、後方向予測の参照ピクチャｒｅｆＬ１としてｃｕｒｒＰを設定する（Ｓ２３４：Ｙｅｓ、Ｓ２４０）。
【００９１】
一方、ステップＳ２３４において、判定部２１０の判定結果が、現ピクチャユニットのＰピクチャのイントラ予測ＭＢ（Ｐｉｎｔｒａ）の数とインター予測ＭＢ（Ｐｉｎｔｅｒ）の数との比が閾値以上であり、すなわち、現ピクチャユニットの直前のピクチャユニットのＰピクチャと、現ピクチャユニットのＰピクチャ間にシーンチェンジがあることを示す場合に、参照画像決定部２２０は、後のＢピクチャの符号化時に前方向予測の参照ピクチャとして現在のＢピクチャを使用できるように、フラグ「ｓＢｅｘｉｓｔ」の値を「１」に、現在のＢピクチャ（注目Ｂピクチャ）の符号化後に復号された画像データをｓｔｏｒｅｄＢ用のメモリバンク（バンク１７６）に格納させるように設定した上で、注目Ｂピクチャに対して、前方向予測の参照ピクチャｒｅｆＬ０としてｐｒｅｖＰを、後方向予測の参照ピクチャｒｅｆＬ１としてｃｕｒｒＰを設定する（Ｓ２３４：Ｎｏ、Ｓ２３６、Ｓ２４０）。
【００９２】
ピクチャユニット内の２枚目以降のＢピクチャの場合（Ｓ２３０：Ｎｏ）、参照画像決定部２２０は、フラグ「ｓＢｅｘｉｓｔ」を確認し、フラグ「ｓＢｅｘｉｓｔ」が「１」である場合には、該Ｂピクチャに対して、前方向予測の参照ピクチャｒｅｆＬ０としてｓｔｏｒｅｄＢ（ステップＳ２３６で設定された）を、後方向予測の参照ピクチャｒｅｆＬ１としてｃｕｒｒＰを設定する（Ｓ２５０：１、Ｓ２５２）。一方、フラグ「ｓＢｅｘｉｓｔ」が「０」である場合には、参照画像決定部２２０は、該Ｂピクチャに対して、前方向予測の参照ピクチャｒｅｆＬ０としてｐｒｅｖＰを、後方向予測の参照ピクチャｒｅｆＬ１としてｃｕｒｒＰを設定する（Ｓ２３４：Ｎｏ、Ｓ２３６、Ｓ２４０）。
【００９３】
このように、本実施の形態の符号化装置１００は、Ｍが２以下である場合と、Ｍが３以上であり、かつ、現ピクチャユニットの直前のピクチャユニットのコアピクチャと、現ピクチャユニットのコアピクチャとの間にシーンチェンジが無い場合において、各Ｂピクチャに対して、従来通り、その前方向予測の参照ピクチャｒｅｆＬ０を、現ピクチャユニットの直前のピクチャユニットのコアピクチャに設定する。
【００９４】
一方、Ｍが３以上であり、かつ、現ピクチャユニットの直前のピクチャユニットのコアピクチャと、現ピクチャユニットのコアピクチャとの間にシーンチェンジがある場合においては、現ピクチャユニットの１枚目のＢピクチャに対して、従来通りに、その前方向予測の参照ピクチャｒｅｆＬ０を、現ピクチャユニットの直前のピクチャユニットのコアピクチャに設定するが、現ピクチャユニットの２枚目以降のＢピクチャに対しては、その前方向予測の参照ピクチャｒｅｆＬ０を、該ピクチャユニットの１枚目のＢピクチャに設定する。こうすることにより、特に、シーンチェンジが直前のピクチャユニットのコアピクチャにて発生した場合に、現ピクチャユニットの２枚目以降の各Ｂピクチャの符号化時の予測効率の低下を防ぐことができる。
【００９５】
さらに、符号化装置１００は、現ピクチャユニットの２枚目以降のＢピクチャに対して前方向予測の参照ピクチャｒｅｆＬ０を、該ピクチャユニットの１枚目のＢピクチャに設定した場合に、直後のピクチャユニットのコアピクチャの符号化時に前方向予測の参照ピクチャｒｅｆＬ０を、最後に格納したコアピクチャに設定するリオーダリングを行うので、後のピクチャユニットの各ピクチャの符号化時に前方向予測の参照ピクチャｒｅｆＬ０がＢピクチャに設定されることを防ぎ、後のピクチャユニットの符号化時の予測効率や画質の低下などを回避することができる。
【００９６】
また、本実施の形態の符号化装置１００は、ピクチャユニット内に最初に符号化されるコアピクチャの符号化時に決定されるイントラ予測ＭＢの数とインター予測ＭＢの数の比に基づいてシーンチェンジの有無を判定しているので、シーンチェンジの判定が簡単である。
【００９７】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した実施の形態に対してさまざまな変更、増減を行ってもよい。これらの変更、増減が行われた変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９８】
例えば、符号化装置１００において、現ピクチャユニットの直前のピクチャユニットのコアピクチャと、現ピクチャユニットのコアピクチャとの間にシーンチェンジが生じたか否かを判定するために、上記２つのコアユニット間の相関を求め、相関が所定値以下になった場合にシーンチェンジが生じたと判定するようにしてもよい。
【００９９】
また、トランスコードなどのためにシーンチェンジ情報が付属されている動画像がある。このような動画像を符号化する際に、付属のシーンチェンジ情報から、現ピクチャユニットの直前のピクチャユニットのコアピクチャと、現ピクチャユニットのコアピクチャとの間にシーンチェンジが生じたか否かを判定するようにしてもよい。
【０１００】
また、現ピクチャユニットの複数のＢピクチャのうちの１枚目のＢピクチャを、２枚目からの各Ｂピクチャの前方向予測の参照ピクチャｒｅｆＬ０に設定することは、現ピクチャユニットの直前のピクチャユニットのコアピクチャにおいてシーンチェンジが生じた場合に、２枚目からの各Ｂピクチャの予測効率を高める効果を最も得ることができるため、現ピクチャユニットの複数のＢピクチャのうちの１枚目のＢピクチャを、２枚目からの各Ｂピクチャの前方向予測の参照ピクチャｒｅｆＬ０に設定するためのシーンチェンジの判定を、現ピクチャユニットの直前のピクチャユニットのコアピクチャと、ピクチャユニットの１枚目のＢピクチャ間にて行うようにしてもよい。
【符号の説明】
【０１０１】
１００  符号化装置
１１０  入力画像メモリ
１２０  インター予測処理部
１３０  イントラ予測処理部
１４０  ＭＢタイプ決定部
１５０  予測残差生成部
１５２  直交変換部
１５４  量子化部
１５６  エントロピー符号化部
１６０  逆量子化部
１６２  逆直交変換部
１６４  動き補償部
１６６  ループ内フィルタ
１７０  参照画像メモリ
１７２  バンク
１７４  バンク
１７６  バンク
２００  制御部
２１０  判定部
２２０  参照画像決定部
【図１】
2011205354.tif 000003
【図２】
2011205354.tif 000004
【図３】
2011205354.tif 000005
【図４】
2011205354.tif 000006
【図５】
2011205354.tif 000007
【図６】
2011205354.tif 000008
【図７】
2011205354.tif 000009
【図８】
2011205354.tif 000010
【図９】
2011205354.tif 000011
【図１０】
2011205354.tif 000012