(57)【要約】【課題】エラー発生時の  参照ピクチャバッファ管理を容易にするため、明示指定により参照ピクチャバッファを構成する。この場合、参照ピクチャバッファ構成を符号化処理前に実行するようにした場合であって、さらに、ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理も併用可能とした場合には、前ピクチャが参照ピクチャであるかどうか、の情報管理が必要となり、復号化側での処理が煩雑となる、という課題がある。【解決手段】前ピクチャが参照ピクチャかどうか、の情報を現ピクチャの符号化データ中にも挿入することにより、復号化側での情報管理が不要となる符号化ストリームを生成可能な符号化装置を提供することができる。【選択図】図１
2013110549.tif 000002
【特許請求の範囲】
【請求項１】
現在の符号化対象ピクチャを少なくとも画面間予測を用いて符号化し、符号化ストリームを生成する符号化部と、
前記現在の符号化対象ピクチャを画面間予測を用いて符号化する際に利用される参照ピクチャであって、前記符号化部で既に符号化した過去のピクチャを復号化して得られる参照ピクチャを蓄積する参照ピクチャバッファと、
前記符号化ストリーム内に前記現在の符号化対象ピクチャを符号化する際に利用した参照ピクチャを明示的に指定する情報が含まれるか否かを示す情報Ａを生成し、（１）前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａを生成した場合、（ｉ）前記参照ピクチャを明示的に指定する情報をさらに生成し、（ii）前記情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、（２）前記参照ピクチャを明示的に指定する情報が含まれないことを示す情報Ａを生成した場合、（ｉ）さらに前記現在の符号化対象ピクチャを符号化する前に前記参照ピクチャバッファに格納される参照ピクチャを変更しなかったか、ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理により前記参照ピクチャバッファに格納される参照ピクチャを変更したかを示す情報Ｂを生成し、（ii）前記情報Ａ、前記情報Ｂおよび符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する制御部と、
を備える動画像符号化装置。
【請求項２】
現在の符号化対象ピクチャを少なくとも画面間予測を用いて符号化し、符号化ストリームを生成する符号化部と、
前記現在の符号化対象ピクチャを画面間予測を用いて符号化する際に利用される参照ピクチャであって、前記符号化部で既に符号化した過去のピクチャを復号化して得られる参照ピクチャを蓄積する参照ピクチャバッファと、
前記符号化ストリーム内に前記現在の符号化対象ピクチャを符号化する際に利用した参照ピクチャを明示的に指定する情報が含まれるか否かを示す情報Ａを生成し、（１）前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａを生成した場合、（ｉ）前記参照ピクチャを明示的に指定する情報をさらに生成し、（ii）前記情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、（２）前記参照ピクチャを明示的に指定する情報が含まれないことを示す情報Ａを生成した場合、（ｉ）さらに前記現在の符号化対象ピクチャに対して時間的に前のピクチャが参照ピクチャか否かを示す情報Ｂを取得し、（ii）前記情報Ａ、前記情報Ｂおよび符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する制御部と、
を備える動画像符号化装置。
【請求項３】
前記制御部は、前記符号化ストリームの伝送時にエラーが発生する環境か否かを判断し、エラーが発生する環境と判断した場合、前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する請求項１および請求項２のいずれかに記載の動画像符号化装置。
【請求項４】
現在の符号化対象ピクチャを少なくとも画面間予測を用いて符号化し、符号化ストリームを生成する符号化部と、
前記現在の符号化対象ピクチャを画面間予測を用いて符号化する際に利用される参照ピクチャであって、前記符号化部で既に符号化した過去のピクチャを復号化して得られる参照ピクチャを蓄積する参照ピクチャバッファと、
前記符号化ストリーム内に前記現在の符号化対象ピクチャを符号化する際に利用した参照ピクチャを明示的に指定する情報が含まれるか否かを示す情報Ａを生成し、（１）前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａを生成した場合、（ｉ）前記参照ピクチャを明示的に指定する情報をさらに生成し、（ii）前記情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、（２）前記参照ピクチャを明示的に指定する情報が含まれないことを示す情報Ａを生成した場合、（ｉ）前記情報Ａおよび符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する制御部と、を備え、
前記参照ピクチャバッファは、前記情報Aが前記参照ピクチャを明示的に指定する情報が含まれないことを示すものであって、かつ前記符号化対象ピクチャが参照ピクチャである場合、前記符号化部において前記符号化対象ピクチャの符号化が完了した後、前記符号化対象ピクチャを新たに格納する、動画像符号化装置。
【請求項５】
現在の符号化対象ピクチャを少なくとも画面間予測を用いて符号化し、符号化ストリームを生成する符号化部と、
前記現在の符号化対象ピクチャを画面間予測を用いて符号化する際に利用される参照ピクチャであって、前記符号化部で既に符号化した過去のピクチャを復号化して得られる参照ピクチャを蓄積する参照ピクチャバッファと、を備える動画像符号化装置における動画像符号化方法であって、
前記符号化ストリーム内に前記現在の符号化対象ピクチャを符号化する際に利用した参照ピクチャを明示的に指定する情報が含まれるか否かを示す情報Ａを生成し、（１）前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａを生成した場合、（ｉ）前記参照ピクチャを明示的に指定する情報をさらに生成し、（ii）前記情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、（２）前記参照ピクチャを明示的に指定する情報が含まれないことを示す情報Ａを生成した場合、（ｉ）さらに前記現在の符号化対象ピクチャを符号化する前に前記参照ピクチャバッファに格納される参照ピクチャを変更しなかったか、ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理により前記参照ピクチャバッファに格納される参照ピクチャを変更したかを示す情報Ｂを生成し、（ii）前記情報Ａ、前記情報Ｂおよび符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する動画像符号化方法。
【請求項６】
現在の符号化対象ピクチャを少なくとも画面間予測を用いて符号化し、符号化ストリームを生成する符号化部と、
前記現在の符号化対象ピクチャを画面間予測を用いて符号化する際に利用される参照ピクチャであって、前記符号化部で既に符号化した過去のピクチャを復号化して得られる参照ピクチャを蓄積する参照ピクチャバッファと、を備える動画像符号化方法であって、
前記符号化ストリーム内に前記現在の符号化対象ピクチャを符号化する際に利用した参照ピクチャを明示的に指定する情報が含まれるか否かを示す情報Ａを生成し、（１）前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａを生成した場合、（ｉ）前記参照ピクチャを明示的に指定する情報をさらに生成し、（ii）前記情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、（２）前記参照ピクチャを明示的に指定する情報が含まれないことを示す情報Ａを生成した場合、（ｉ）さらに前記現在の符号化対象ピクチャに対して時間的に前のピクチャが参照ピクチャか否かを示す情報Ｂを取得し、（ii）前記情報Ａ、前記情報Ｂおよび符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する動画像符号化方法。
【請求項７】
現在の符号化対象ピクチャを少なくとも画面間予測を用いて符号化し、符号化ストリームを生成し、
前記現在の符号化対象ピクチャを画面間予測を用いて符号化する際に利用される参照ピクチャであって、前記符号化部で既に符号化した過去のピクチャを復号化して得られる参照ピクチャを蓄積し、
前記符号化ストリーム内に前記現在の符号化対象ピクチャを符号化する際に利用した参照ピクチャを明示的に指定する情報が含まれるか否かを示す情報Ａを生成し、（１）前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａを生成した場合、（ｉ）前記参照ピクチャを明示的に指定する情報をさらに生成し、（ii）前記情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、（２）前記参照ピクチャを明示的に指定する情報が含まれないことを示す情報Ａを生成した場合、（ｉ）前記情報Ａおよび符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、
さらに、前記情報Aが前記参照ピクチャを明示的に指定する情報が含まれないことを示すものであって、かつ前記符号化対象ピクチャが参照ピクチャである場合、前記符号化対象ピクチャの符号化が完了した後、前記符号化対象ピクチャを新たに格納する、動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置および方法に関するものである。
【背景技術】
【０００２】
動画像符号化の国際規格であるＨ．２６４／ＡＶＣにおける画面間参照は、複雑な参照方法が導入されている。
【０００３】
この一例を図１２に示す。図１２は、Ｈ．２６４／ＡＶＣにおけるピクチャの参照構造を示す図である。ここで、図中記号のＩ、Ｐ、ＢはそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表す。また、Ｂｒは、Ｂピクチャであるが符号化順で後続するピクチャにおいて参照可能なＢピクチャを表す。また、他のピクチャを復号化する際に参照されるピクチャを参照ピクチャと称し、参照されないピクチャを非参照ピクチャと称す。
【０００４】
なお、Ｈ．２６４／ＡＶＣにおいては、このような参照ピクチャと非参照ピクチャとを保持するバッファを、ＤＰＢ（ｄｅｃｏｄｅｄ  ｐｉｃｔｕｒｅ  ｂｕｆｆｅｒ）と呼ぶ。
【０００５】
図１３に示すように、ＤＰＢ１１００は，参照ピクチャバッファ１１０１と出力ピクチャバッファ１１０２とから構成される。
【０００６】
この参照ピクチャバッファの容量は有限であるので、参照ピクチャバッファに保持するピクチャおよび、参照ピクチャバッファから削除するピクチャを適切に管理する必要がある。さらに、参照ピクチャバッファの状態を符号化側と復号化側で一致させるため、Ｈ．２６４／ＡＶＣにおける符号化ストリームは、管理情報dec_ref_pic_marking( )を備える。特に、Ｈ．２６４／ＡＶＣ においては、フラグadaptive_ref_pic_marking_mode_flagにより、以下の2つの管理方法を選択的に切り替えて、参照ピクチャバッファの状態を更新している。
【０００７】
方式１；Sliding window reference picture marking mode
方式２；Adaptive reference picture marking mode
ここで、方式１は、最新のものから一定のピクチャ枚数だけを格納する方式である。また、方式２は直前の参照ピクチャバッファの状態を基準として、所定の制御コマンドを用いて所望の参照ピクチャバッファバッファ状態とする方式である。
【０００８】
しかし、上記２つの方式は現在の復号化対象のピクチャよりも前のピクチャにおける参照ピクチャバッファを更新する方式である。つまり、現在の復号化対象ピクチャの復号化に必要な参照ピクチャバッファの状態を設定するには、前の参照ピクチャバッファの状態が必ず必要となる。そのため、エラーが発生する伝送系アプリケーションにおいて、参照ピクチャバッファの管理に失敗する、もしくは、エラーコンシールメント処理において複雑な処理が必要となる課題があった。
【０００９】
これを解決するため、現在規格化作業段階にあるHEVC規格での提案文書(非特許文献１)において、復号化対象のピクチャよりも前のピクチャにおける参照ピクチャバッファ状態に依存せずに参照ピクチャバッファの状態を設定できる方式３が提案されている。具体的にこの方式３は、ピクチャ毎に参照ピクチャバッファに格納する参照ピクチャを明示的に指定する情報を備え、ピクチャの復号化開始前にこの情報に基づいて参照ピクチャバッファに必要な参照ピクチャを保持する方式である。
【００１０】
一方、この提案のように、参照ピクチャバッファ管理を方式３のみとした場合、伝送エラーが発生することがない蓄積系アプリケーションにおいても、明示的に参照ピクチャバッファの状態を指定する必要がある。これは、エラーなしでの蓄積系アプリケーションのようなユースケースにおいて方式１により 参照ピクチャバッファ管理した場合に比べて、符号化効率の悪化を招くこととなる。よって、方式３と方式１を切替可能な方式とするのが望ましい。
【先行技術文献】
【特許文献】
【００１１】
【非特許文献１】JCTVC-F493, Absolute signaling of reference pictures, associated resources, SjJ. Samuelsson (Ericsson).
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、方式３において用いる参照ピクチャバッファ状態を明示指定する情報は、現在の復号化対象ピクチャと関連づけて管理される。
【００１３】
方式３は上記のように管理するため、参照ピクチャバッファは、復号化処理前に更新される。一方、併用が望ましい方式１を用いた場合、参照ピクチャバッファは、復号化対象ピクチャが参照ピクチャであれば蓄積し、一方、復号化対象ピクチャが非参照ピクチャであれば保持しないように動作する。
【００１４】
しかし、方式３での要請により参照ピクチャバッファ管理を復号化処理前に実施する、とした場合には、sliding window 処理の対象が前ピクチャであるため、前ピクチャが参照ピクチャであるか、それとも非参照ピクチャであるか、の情報を管理・保持する必要がある、という課題が生じる。つまり、Ｈ．２６４／ＡＶＣ 規格であれば、参照・非参照を表すnal_ref_idc 情報であって、前ピクチャでの値を保持する必要がある。
【課題を解決するための手段】
【００１５】
そこで、本発明の動画像符号化装置は、現在の符号化対象ピクチャを少なくとも画面間予測を用いて符号化し、符号化ストリームを生成する符号化部と、前記現在の符号化対象ピクチャを画面間予測を用いて符号化する際に利用される参照ピクチャであって、前記符号化部で既に符号化した過去のピクチャを復号化して得られる参照ピクチャを蓄積する参照ピクチャバッファと、前記符号化ストリーム内に前記現在の符号化対象ピクチャを符号化する際に利用した参照ピクチャを明示的に指定する情報が含まれるか否かを示す情報Ａを生成し、（１）前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａを生成した場合、（ｉ）前記参照ピクチャを明示的に指定する情報をさらに生成し、（ii）前記情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、（２）前記参照ピクチャを明示的に指定する情報が含まれないことを示す情報Ａを生成した場合、（ｉ）さらに前記現在の符号化対象ピクチャを符号化する前に前記参照ピクチャバッファに格納される参照ピクチャを変更しなかったか、ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理により前記参照ピクチャバッファに格納される参照ピクチャを変更したかを示す情報Ｂを生成し、（ii）前記情報Ａ、前記情報Ｂおよび符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する制御部と、を備える。
【００１６】
また、現在の符号化対象ピクチャを少なくとも画面間予測を用いて符号化し、符号化ストリームを生成する符号化部と、前記現在の符号化対象ピクチャを画面間予測を用いて符号化する際に利用される参照ピクチャであって、前記符号化部で既に符号化した過去のピクチャを復号化して得られる参照ピクチャを蓄積する参照ピクチャバッファと、前記符号化ストリーム内に前記現在の符号化対象ピクチャを符号化する際に利用した参照ピクチャを明示的に指定する情報が含まれるか否かを示す情報Ａを生成し、（１）前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａを生成した場合、（ｉ）前記参照ピクチャを明示的に指定する情報をさらに生成し、（ii）前記情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、（２）前記参照ピクチャを明示的に指定する情報が含まれないことを示す情報Ａを生成した場合、（ｉ）さらに前記現在の符号化対象ピクチャに対して時間的に前のピクチャが参照ピクチャか否かを示す情報Ｂを取得し、（ii）前記情報Ａ、前記情報Ｂおよび符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する制御部と、を備える。
【００１７】
また好ましくは、前記制御部は、前記符号化ストリームの伝送時にエラーが発生する環境か否かを判断し、エラーが発生する環境と判断した場合、前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する。
【００１８】
別の態様の動画像符号化装置は、現在の符号化対象ピクチャを少なくとも画面間予測を用いて符号化し、符号化ストリームを生成する符号化部と、前記現在の符号化対象ピクチャを画面間予測を用いて符号化する際に利用される参照ピクチャであって、前記符号化部で既に符号化した過去のピクチャを復号化して得られる参照ピクチャを蓄積する参照ピクチャバッファと、前記符号化ストリーム内に前記現在の符号化対象ピクチャを符号化する際に利用した参照ピクチャを明示的に指定する情報が含まれるか否かを示す情報Ａを生成し、（１）前記参照ピクチャを明示的に指定する情報が含まれることを示す情報Ａを生成した場合、（ｉ）前記参照ピクチャを明示的に指定する情報をさらに生成し、（ii）前記情報Ａ、前記参照ピクチャを明示的に指定する情報および符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御し、（２）前記参照ピクチャを明示的に指定する情報が含まれないことを示す情報Ａを生成した場合、（ｉ）前記情報Ａおよび符号化済みの前記現在の符号化対象ピクチャが対応づけられた状態で前記符号化ストリームに格納されるよう前記符号化部を制御する制御部と、を備え、前記参照ピクチャバッファは、前記情報Aが前記参照ピクチャを明示的に指定する情報が含まれないことを示すものであって、かつ前記符号化対象ピクチャが参照ピクチャである場合、前記符号化部において前記符号化対象ピクチャの符号化が完了した後、前記符号化対象ピクチャを新たに格納する。
【発明の効果】
【００１９】
本発明の動画像符号化装置によれば、前ピクチャが参照ピクチャであるのか、それとも非参照ピクチャであるのか、を表わすｎａｌ＿ｒｅｆ＿ｉｄｃと等価な情報を、現ピクチャのｓｙｎｔａｘ中に挿入するように符号化装置を構成している。この結果、該符号化装置により出力される符号化ストリームを復号する復号化装置において、上記情報の管理が不要となる。つまり、本情報が現ピクチャに含まれているため、復号化側でのエラーコンシールメント処理や、ｔｅｍｐｏｒａｌ  ｓｃａｌａｂｉｌｉｔｙ  処理等において、参照ピクチャバッファ状態等の推定などの複雑な処理が不要となるような符号化ストリームを生成可能な符号化装置ないし方法を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態１に係る動画像符号化装置を示す模式図
【図２】本実施形態１での参照ピクチャバッファの状態遷移を説明するための図
【図３】本実施形態１での参照ピクチャバッファの状態遷移を説明するための図
【図４】本実施形態１でのストリーム格納情報を説明するための図
【図５】本実施形態１でのストリーム格納情報を説明するための図
【図６】本実施形態１でのストリーム格納情報を説明するための図
【図７】本実施形態１に係る動画像符号化方法の動作の一例を示すフローチャート
【図８】本実施形態２での参照ピクチャバッファの状態遷移を説明するための図
【図９】本実施形態２での参照ピクチャバッファの状態遷移を説明するための図
【図１０】本実施形態２でのストリーム格納情報を説明するための図
【図１１】本実施形態２に係る動画像符号化方法の動作の一例を示すフローチャート
【図１２】従来技術説明のための模式図
【図１３】従来技術説明のためのデコードピクチャバッファの構成図
【発明を実施するための形態】
【００２１】
以下、本発明に係る動画像符号化装置の実施の形態に関して、図面を用いて詳細に説明する。
【００２２】
（実施形態１）
本実施形態１に係る動画像符号化装置は、画面間動き補償を活用して入力画像を符号化処理し生成した符号化ストリームを出力するものである。
【００２３】
（本実施形態１における動画像符号化装置の構成）
以下、本実施形態１における動画像符号化装置に関して、図面を参照しながら説明する。図１は、本実施形態１に係る動画像符号化装置を示す模式図である。
【００２４】
図１に示すように、動画像符号化装置は、符号化部１０１、制御部１０２、参照ピクチャバッファ１０３を備える。
【００２５】
符号化部１０１は、入力画像を符号化し、符号化ストリームを出力する。符号化部１０１は、符号化する際、必要に応じて参照ピクチャバッファ１０３に蓄積されるローカルデコード画像を利用する。
【００２６】
なお、Ｐピクチャ等の参照ピクチャは、後に入力されるピクチャを符号化する際に利用される。そのため、符号化部１０１は、参照ピクチャをローカルデコードし、参照ピクチャバッファ１０３にローカルデコード画像として出力する。
【００２７】
さらに符号化部１０１は、現在の符号化対象ピクチャの直前に符号化したピクチャ（以下、前ピクチャと称す）が参照ピクチャかどうかを表す情報Ｃを制御部１０２に通知する。
【００２８】
なお、符号化部１０１が生成する符号化ストリームには、制御部１０２から入力される情報Ａまたは情報Ｂが含まれる。
【００２９】
制御部１０２は、現在の符号化対象ピクチャの符号化条件または、時間的に前に符号化したピクチャの符号化条件に基づいて、参照ピクチャバッファ１０３の管理方法を指定する情報Ａまたは情報Ｂを符号化部１０１および参照ピクチャバッファ１０３に出力する。なお、制御部１０２は、現在の符号化対象ピクチャを符号化する前に、情報Ａおよび情報Ｂを出力する。
【００３０】
上記情報Ａとは、方式３（バッファ状態の明示的指定）と、方式１（ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ）とのうち、いずれか一方を示す情報である。つまり、復号化装置は情報Ａを読み込むことにより、現在の符号化対象ピクチャに対して方式１を用いて参照ピクチャバッファ１０３を更新するか、方式３を用いて参照ピクチャバッファ１０３を更新するかを判断できる。
【００３１】
また、情報Ａが方式３を指定している場合、情報Ａは、さらにバッファ状態の明示的指定情報を含む。この明示的指定情報の詳細については、たとえば、（非特許文献３）の方式などがある。なお、上記文献の方式では、ピクチャの特定にＨ．２６４／ＡＶＣでのＰＯＣを用いている。しかし、それ以外のピクチャ特定方法を用いるようにしてもよい。バッファ状態の明示的指定情報は、予め決められたＧＯＰ内でのピクチャ構造や、符号化効率の観点から最適な参照ピクチャを適宜選択する等して決定された参照ピクチャが参照ピクチャバッファ１０３に含まれるように決定される。
【００３２】
なお、情報Ａは、外部からの指示値を設定するようにしてもよい。また、後述する実施例３または４のように決定してもよい。
【００３３】
上記情報Bとは、符号化部１０１から入力される情報Ｃにより決定される値である。具体的に、制御部１０２が情報Cを解析することにより前ピクチャが参照ピクチャであると判断する場合、情報Ｂは参照ピクチャを示す情報に設定される。一方、制御部１０２が情報Cを解析することにより前ピクチャが非参照ピクチャであると判断する場合、情報Ｂは非参照ピクチャを示す情報に設定される。
【００３４】
参照ピクチャバッファ１０３は、符号化部１０１が現在の符号化対象ピクチャを符号化する前に、制御部１０２から通知される情報Ａおよび情報Ｂに基づいて、符号化部１０１が出力したローカルデコード画像を所定数蓄積する。
【００３５】
以下、参照ピクチャバッファ１０３における動作について、詳細に説明する。
【００３６】
＜情報Ａが方式１を示す場合＞
情報Ａが方式１を示す場合、参照ピクチャバッファ１０３は情報Ｂに基づいて動作をする。具体的に、情報Ｂを解析した結果、前ピクチャが参照ピクチャであると判断した場合、参照ピクチャバッファ１０３は現在の符号化対象ピクチャを符号化する前に、前ピクチャのローカルデコード画像を参照ピクチャバッファに格納する。このとき、参照ピクチャバッファ１０３はローカルデコード画像をｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ方式により保持する。つまり、参照ピクチャバッファ１０３は、前ピクチャであるローカルデコード画像をいわゆるＦＩＦＯ方式でバッファ管理する。なお、方式１の場合、参照ピクチャバッファでの保持ピクチャ枚数が所定数を越えた場合には、一番古いものが捨てられる。
【００３７】
一方、情報Ｂを解析した結果、前ピクチャが非参照ピクチャであると判断した場合、参照ピクチャバッファ１０３は、新たに何も格納せずそのまま処理を進める。
【００３８】
図２は、情報Ａが方式１である場合の参照ピクチャバッファが保持しているピクチャの遷移を説明するための図である。
【００３９】
ＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）が０であるピクチャが入力された場合であって、指示された情報Ｂが０つまり、前ピクチャが非参照ピクチャであることを示している場合、参照ピクチャバッファ１０３は新たに何も保持せずに処理を進める。
【００４０】
次に、ＰＯＣが１であるピクチャが入力された場合であって、入力されたピクチャの情報Ｂが１つまり、前ピクチャが参照ピクチャであることを示している場合、参照ピクチャバッファ１０３は前のピクチャ、つまりＰＯＣが０であるピクチャを保持する。
【００４１】
ＰＯＣが２以降のピクチャが入力された場合、参照ピクチャバッファ１０３は上記と同様に処理を進める。
【００４２】
＜情報Ａが方式３を示す場合＞
次に、情報Ａが方式３を示す場合を、図面を参照しながら説明する。
【００４３】
情報Ａが方式３を指定している場合、参照ピクチャバッファ１０３は、情報Ａに含まれるバッファ状態の明示的指定情報に基づき、参照ピクチャバッファの状態を構成する。
【００４４】
図３は、情報Ａが方式３である場合の参照ピクチャバッファが保持しているピクチャの遷移を説明するための図である。
【００４５】
例えば、ＰＯＣが３であるピクチャが入力された場合、明示的指定情報はＰＯＣが０、１、２であるピクチャを指定する。そのため、参照ピクチャバッファ１０３はＰＯＣが３であるピクチャを符号化する前に、ＰＯＣが０、１，２のピクチャを保持する。
【００４６】
上記のように参照ピクチャバッファ１０３が情報Ａまたは情報Ｂに基づき保持するピクチャを更新した後、符号化部１０１は、参照ピクチャバッファ１０３に格納された画像を参照して、現在の符号化対象ピクチャを符号化し、生成された符号化ストリームを出力する。
【００４７】
（本実施形態１における情報Ａ，Ｂのストリーム中への格納方法）
図４は、情報Ａおよび情報Ｂの符号化ストリームへの格納方法の一例を示す図である。
【００４８】
情報Ａは、ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇとして符号化ストリーム中に格納される。このｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇは、Ｈ．２６４／ＡＶＣ  での  Ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ  や  ｓｌｉｃｅ＿ｈｅａｄｅｒ  等に格納してもよいし、これら情報の全部または一部を、Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  ＮＡＬ  ｕｎｉｔ  に格納するようにしてもよい。
【００４９】
なお、ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇが１である場合、方式３であることを示す。その場合、さらに、バッファ状態の明示的指定情報を含むよう、ｂｕｆｆｅｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）  が  ストリーム中に格納される。
【００５０】
一方、ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ  が０の場合、方式１であることを示す。その場合、前ピクチャが参照ピクチャかどうかを指定する情報Ｂを示すｐｒｅｖｉｏｕｓ＿ｐｉｃｔｕｒｅ＿ｒｅｆ＿ｆｌａｇが符号化ストリーム中に格納される。なお、ｐｒｅｖｉｏｕｓ＿ｐｉｃｔｕｒｅ＿ｒｅｆ＿ｆｌａｇが１の場合、前ピクチャは参照ピクチャであることを示す。また、ｐｒｅｖｉｏｕｓ＿ｐｉｃｔｕｒｅ＿ｒｅｆ＿ｆｌａｇが０である場合、前ピクチャは非参照ピクチャを示す。
【００５１】
また、図５は、別の格納方法の一例を示す図である。図５は、情報ＡとＢを、３値の情報ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅで格納する場合を示す。３値の意味は、例えば、図６のようになる。つまり、ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅが０である場合、情報Ａは方式３であることを示す。さらに、ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅが１である場合、情報Ａは方式１を示し、かつ情報Ｂは前ピクチャが非参照ピクチャであることを示す。
【００５２】
なお、符号化ストリームにはｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅを、例えばＶＬＣ符号化等したものが格納される。
【００５３】
なお、ｐｒｅｖｉｏｕｓ＿ｐｉｃｔｕｒｅ＿ｒｅｆ＿ｆｌａｇは、前ピクチャが参照ピクチャかどうか、を表すフラグである。しかし、実際の制御としては、ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理で参照ピクチャバッファ１０３を更新するかどうかを表すフラグであっても構わない。この場合、ｓｙｎｔａｘ名称は、それに即した名称、たとえば、ｓｌｉｄｉｎｇ＿ｗｉｎｄｏｗ＿ｆｌａｇ等、にしてもよい。
【００５４】
なお、上記のフラグにおける０、１の意味は逆であっても構わない。
【００５５】
（本実施形態１における動画像符号化方法の動作フロー）
次に、本実施形態１に係る動画像符号化方法の動作の一例を、図７に示すフローチャートを用いて説明する。これは、１ピクチャの符号化処理を表すフローチャートである。
【００５６】
（Ｓ５０１）まず、現在の符号化対象ピクチャが入力されると、制御部１０２は、方式１と方式３のどちらを用いるかの情報Ａを外部情報または符号化条件等により決定する。
【００５７】
（Ｓ５０２）制御部１０２は、情報Ａが方式３であるか否かを判断する。情報Ａが方式３と判断した場合、Ｓ５０３に移行する。一方、方式３ではないと判断した場合、Ｓ５０５に移行する。
【００５８】
（Ｓ５０３）情報Ａを方式３と決定した場合、制御部１０２は、バッファ状態の明示的指定情報であるｂｕｆｆｅｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）を決定する。制御部１０２は、決定した情報Ａおよびｂｕｆｆｅｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）を参照ピクチャバッファ１０３に出力する。
【００５９】
（Ｓ５０４）そして、参照ピクチャバッファ１０３は、制御部１０２から入力されるｂｕｆｆｅｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）に基づき蓄積する参照ピクチャを更新する。
【００６０】
（Ｓ５０５）一方、制御部１０２は、情報Ａを方式１と決定した場合、符号化部１０１から入力される情報Ｃに基づき情報Ｂを決定する。制御部１０２は、決定した情報Ｂを参照ピクチャバッファ１０３に出力する。
【００６１】
（Ｓ５０６）次に、参照ピクチャバッファ１０３は、制御部１０２から出力される情報Ｂに基づいて、前ピクチャが参照ピクチャであるか否かを判断する。制御部１０２は、情報Ｂを解析した結果、前ピクチャが参照ピクチャであると判断する場合、Ｓ５０７に移行する。一方、制御部１０２は、情報Ｂを解析した結果、前ピクチャが非参照ピクチャであると判断する場合、Ｓ５０８に移行する。
【００６２】
（Ｓ５０７）参照ピクチャバッファ１０３は、情報Ｂを解析した結果、前ピクチャが参照ピクチャと判断する場合、ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理により格納する参照ピクチャを更新する。なお、情報Ｂにより前ピクチャが非参照ピクチャである場合には、参照ピクチャバッファ１０３は新たに何も格納せずにそのまま動作を進める。
【００６３】
（Ｓ５０８）にて，構成した参照ピクチャバッファ１０３中の参照ピクチャを用い、符号化処理を実施する。以上が一枚の入力ピクチャに対する符号化処理のフローチャートである。
【００６４】
（まとめ）
以上の構成、フローチャートで説明した本実施例によれば、参照ピクチャバッファでのｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理に必要な、前ピクチャが参照ピクチャであるのか、それとも非参照ピクチャであるのか、の情報を、現ピクチャのｓｙｎｔａｘ中に挿入しているため、復号化装置側での当該情報の管理が不要となるような符号化ストリームを生成する符号化装置を提供することができる。本情報が現ピクチャに含まれているので、復号化装置側でのエラーコンシールメント処理や、ｔｅｍｐｏｒａｌ  ｓｃａｌａｂｉｌｉｔｙ処理等において、バッファ状態の推定等の複雑な処理が不要となるため、その効果は大である。
【００６５】
（実施形態２）
（実施形態１との違い・課題）
実施形態１での課題解決方法は、前ピクチャが参照ピクチャであるかどうか、という情報Ｂを、現在の符号化対象ピクチャのｓｙｎｔａｘ中に挿入する、というものであった。しかし、情報Ｂはストリーム全体で見ると既に存在する情報である。そのため、同じ情報を２つも符号化ストリーム中に格納するのは、符号化効率の観点では望ましくない。
【００６６】
（実施の形態２の目的）
そこで、方式３でのバッファ明示指定情報によるバッファ更新は符号化前に実施するが、方式１でのｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理は、符号化後に行なうようにすることで、情報Ｂを二回、ストリーム中に格納することなく、方式３でのバッファ明示指定と、方式１のｓｌｉｄｉｎｇ  ｗｉｎｄｏｗとを切替可能とする。
【００６７】
以下、本実施形態２における動画像符号化装置の構成について説明する。
【００６８】
（本実施形態２における動画像符号化装置の構成）
本実施形態２における動画像符号化装置は、図１に示す動画像符号化装置に対し、符号化部１０１、制御部１０２と、参照ピクチャバッファ１０３を、それぞれ、符号化部６０１、制御部６０２と参照ピクチャバッファ６０３に置き替えたものであるので、図は省略する。
【００６９】
ここで、符号化部６０１と符号化部１０１とは、情報Ｂをストリーム中に含めるか否かで違う。
【００７０】
また、制御部６０２は、情報Ａにかかわらず常に、符号化処理後に、現ピクチャが参照ピクチャかどうかに基づきｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理を行う。すなわち、参照ピクチャであれば現ピクチャを参照ピクチャバッファに格納する。一方、非参照ピクチャであれば、参照ピクチャバッファ１０３は新たに何も蓄積せずにそのまま処理を進める。
【００７１】
そして、符号化前においては、情報Ａが方式１の場合は、前ピクチャの符号化後に実施したｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理結果である参照ピクチャバッファを使用する。また、情報Ａが方式３の場合、前ピクチャでのｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理結果ではなく、バッファ状態の明示的指定情報であるｂｕｆｆｅｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）  に基づき参照ピクチャバッファを構成する。
【００７２】
この場合の参照ピクチャバッファ１０３の状態遷移例を図８、図９を用い説明する。図８は情報Ａが方式１の場合であって、参照ピクチャであるＩ，Ｐ，Ｂｒの符号化後に参照ピクチャバッファ１０３が変更されている。また、情報Ａにより方式１が選択されているため、前ピクチャの符号化後に実施したｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理結果を用いるようにしている（図中の点線）。
【００７３】
また、図９は情報Ａが方式３の場合であって、図８同様、符号化後に参照ピクチャバッファが更新される。しかし、この結果を用いず、バッファ状態の明示的指定情報により参照ピクチャバッファが構成される（図中の点線）。
【００７４】
（本実施形態２における情報Ａのストリーム中への格納方法の例示）
図１０は、情報Ａの符号化ストリームへの格納方法の一例である。
【００７５】
情報Ａは、ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇとして符号化ストリーム中に格納される。このｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇは、Ｈ．２６４／ＡＶＣ  での  Ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ  や  ｓｌｉｃｅ＿ｈｅａｄｅｒ  等に格納してもよいし、これら情報の全部または一部を、Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  ＮＡＬ  ｕｎｉｔ  に格納するようにしてもよい。
【００７６】
なお、ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇが１である場合、方式３であることを示す。その場合、さらに、バッファ状態の明示的指定情報を含むよう、ｂｕｆｆｅｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）  が  ストリーム中に格納される。
【００７７】
ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ＿ｍｏｄｅ＿ｆｌａｇが０である場合、方式１であることを示す。すなわちｓｌｉｄｉｎｇ  ｗｉｎｄｏｗが指定されたものとする。なお、本実施例２においては、実施例１のように、情報Ｂを格納する必要はない。
【００７８】
（本実施形態２における動画像符号化方法の動作フロー）
次に、本実施形態２に係る動画像符号化方法の動作の一例を、図１１に示すフローチャートを用いて説明する。これは、１ピクチャの符号化処理でのフローチャートである。
【００７９】
（Ｓ８０１）まず、符号化対象となるピクチャが入力されると、制御部１０２は、方式１と方式３のどちらを用いるかの情報Ａを外部情報または現在の符号化対象ピクチャにおける符号化条件により決定する。
【００８０】
（Ｓ８０２）制御部１０２は、情報Ａが方式３であるか否かを判断する。情報Ａが方式３と判断した場合、Ｓ８０３に移行する。一方、方式３ではないと判断した場合、Ｓ８０５に移行する。
【００８１】
（Ｓ８０３）次に、情報Ａを方式３と決定した場合、制御部１０２は、バッファ状態の明示的指定情報であるｂｕｆｆｅｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）を決定する。制御部１０２は、決定した情報Ａおよびｂｕｆｆｅｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）を参照ピクチャバッファ１０３に出力する。
【００８２】
（Ｓ８０４）そして、参照ピクチャバッファ１０３は、制御部１０２から入力されるｂｕｆｆｅｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）に基づき蓄積する参照ピクチャを更新する。
【００８３】
なお、情報Ａが方式３ではないと判断した場合、参照ピクチャバッファ１０３は新たに何も格納せずそのままＳ８０５に移行する。
【００８４】
（Ｓ８０５）符号化部１０１は、構成した参照ピクチャバッファ１０３に格納される参照ピクチャを用い、現在の符号化対象ピクチャを符号化する。
【００８５】
（Ｓ８０６）現在の符号化対象ピクチャの符号化が完了した後、参照ピクチャバッファ１０３は、情報Ａにかかわらず常に、ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理を実施する。すなわち、参照ピクチャバッファ１０３は、参照ピクチャであれば現ピクチャを参照ピクチャバッファに格納する。一方、非参照ピクチャであれば、参照ピクチャバッファ１０３は新たに何も蓄積せずにそのまま処理を進める。
【００８６】
以上が一枚の入力ピクチャに対する符号化処理のフローチャートである。
【００８７】
（まとめ）
以上の構成、フローチャートで説明した本実施例によれば、方式３でのバッファ明示指定情報によるバッファ更新は符号化前に実施しているが、方式１での  ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗ処理は、符号化後に行なうようにしているため、情報Ｂを二回、ストリーム中に格納することなく、方式３でのバッファ明示指定と、方式１のｓｌｉｄｉｎｇ  ｗｉｎｄｏｗとを切替可能とすることができる。
【００８８】
（実施形態３）
ストリームの伝送時にエラーが発生する環境では、実施形態１もしくは２の符号化装置において情報Ａが方式３のみを指定するようにして符号化ストリームを生成するようにしてもよい。本実施形態によれば、方式３、つまり、バッファ状態をすべてのピクチャで明示的に指定することとなり、このようなストリームを復号化する復号化装置ないし方法において、エラーが発生する環境での参照ピクチャバッファ状態の管理が容易、となる利点がある。また、ｔｅｍｐｏｒａｌ  ｓｃａｌａｂｉｌｉｔｙ  を可能とするストリームの場合においても、同様に参照ピクチャバッファ状態の管理が容易、となる利点がある。
【００８９】
（実施形態４）
また、ストリームの伝送時にエラーが発生しない環境では、実施形態１もしくは２の符号化装置において情報Ａが方式１と方式３との両方を指定するようにして符号化ストリームを生成するようにしてもよい。本実施形態によれば、エラーが発生しないため参照ピクチャバッファを前ピクチャでの状態に依存させることが可能であり、明示的指定情報がストリーム中に存在しない分だけ、ストリーム中の情報を削減できる、という利点がある。
【産業上の利用可能性】
【００９０】
本発明に係る動画像符号化装置は、映像信号を符号化して生成した符号化ストリームを蓄積、伝送する際に使用される放送業務用機器、家庭用放送番組録画機器、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話機等に適用できる。
【符号の説明】
【００９１】
１０１  符号化部
１０２  制御部
１０３  参照ピクチャバッファ
【図１】
2013110549.tif 000003
【図２】
2013110549.tif 000004
【図３】
2013110549.tif 000005
【図４】
2013110549.tif 000006
【図５】
2013110549.tif 000007
【図６】
2013110549.tif 000008
【図７】
2013110549.tif 000009
【図８】
2013110549.tif 000010
【図９】
2013110549.tif 000011
【図１０】
2013110549.tif 000012
【図１１】
2013110549.tif 000013
【図１２】
2013110549.tif 000014
【図１３】
2013110549.tif 000015