(57)【要約】【課題】ロングターム参照ピクチャを参照して符号化対象ピクチャを効率的に符号化することができる動画像符号化装置を提供する。【解決手段】動画像符号化装置１００は、動画像を符号化する動画像符号化装置であって、複数の参照ピクチャが記憶される記憶部１２０と、複数の符号化対象ピクチャを符号化する符号化部１１０と、を備える。符号化部１１０は、複数の符号化対象ピクチャのうち特定の符号化対象ピクチャを、第１参照ピクチャリストと第２参照ピクチャリストとを用いて、Ｂピクチャとして符号化する。第１参照ピクチャリストは、複数の参照ピクチャのうち特定の符号化対象ピクチャよりも表示順で前方の１つのロングターム参照ピクチャのみを含む。第２参照ピクチャリストは、複数の参照ピクチャのうち特定の符号化対象ピクチャよりも表示順で前方の１つのショートターム参照ピクチャのみを含む。【選択図】図１
2016167800.tif 000002
【特許請求の範囲】
【請求項１】
動画像を符号化する動画像符号化装置であって、
複数の参照ピクチャが記憶される記憶部と、
複数の符号化対象ピクチャを符号化する符号化部と、を備え、
前記符号化部は、前記複数の符号化対象ピクチャのうち特定の符号化対象ピクチャを、前記複数の参照ピクチャのうち前記特定の符号化対象ピクチャよりも表示順で前方の１つのロングターム参照ピクチャのみを含む第１参照ピクチャリストと、前記複数の参照ピクチャのうち前記特定の符号化対象ピクチャよりも表示順で前方の１つのショートターム参照ピクチャのみを含む第２参照ピクチャリストとを用いて、Ｂピクチャとして符号化する
動画像符号化装置。
【請求項２】
前記１つのロングターム参照ピクチャは、前記１つのショートターム参照ピクチャよりも、表示順で前方の参照ピクチャである
請求項１に記載の動画像符号化装置。
【請求項３】
前記１つのショートターム参照ピクチャは、表示順で前記特定の符号化対象ピクチャの直前の参照ピクチャである
請求項１に記載の動画像符号化装置。
【請求項４】
前記符号化部は、前記１つのロングターム参照ピクチャを前記１つのショートターム参照ピクチャよりも大きい符号量で符号化する
請求項１に記載の動画像符号化装置。
【請求項５】
前記符号化部は、前記記憶部に前記ロングターム参照ピクチャが含まれない場合、前記第２参照ピクチャリストのみを用いてＰピクチャとして符号化する、もしくは、前記参照ピクチャを使用せずにＩピクチャとして符号化する
請求項１に記載の動画像符号化装置。
【請求項６】
前記符号化部は、前記１つのロングターム参照ピクチャおよび前記１つのショートターム参照ピクチャのうち一方のみを参照して、前記特定の符号化対象ピクチャにおける複数のブロックのそれぞれを符号化する
請求項１に記載の動画像符号化装置。
【請求項７】
動画像を符号化する動画像符号化方法であって、
複数の符号化対象ピクチャのうち特定の符号化対象ピクチャを、記憶部に記憶された複数の参照ピクチャのうち前記特定の符号化対象ピクチャよりも表示順で前方の１つのロングターム参照ピクチャのみを含む第１参照ピクチャリストと、前記複数の参照ピクチャのうち前記特定の符号化対象ピクチャよりも表示順で前方の１つのショートターム参照ピクチャのみを含む第２参照ピクチャリストとを用いて、Ｂピクチャとして符号化する
動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、動画像を符号化する動画像符号化装置および動画像符号化方法に関する。
【背景技術】
【０００２】
特許文献１は、ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置を開示する。
【０００３】
この画像情報符号化装置は、マルチプルフレーム予測を行う際に、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドを用いて、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ：予測符号化画像）もしくはＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ：面内符号化画像）である２つのピクチャ間にある参照Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ：双方向予測符号化画像）を長期間参照ピクチャに登録する。
【０００４】
また、この画像情報符号化装置は、ＰピクチャもしくはＩピクチャと参照Ｂピクチャとの間にあるＢピクチャにおいて、参照ピクチャリスト順序コマンドを用いて参照Ｂピクチャを参照ピクチャリストの最初に配置する。また、この画像情報符号化装置は、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャにおける長期間フレームインデックスの最大値を［０］に設定する。
【０００５】
これにより、この画像情報符号化装置は、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｅｒ  Ｒｅｆｒｅｓｈ）ピクチャでないＩピクチャからのランダムアクセスを行うことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１９２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示は、ロングターム参照ピクチャを参照して符号化対象ピクチャを効率的に符号化することができる動画像符号化装置および動画像符号化方法を提供する。
【課題を解決するための手段】
【０００８】
本開示における動画像符号化装置は、動画像を符号化する動画像符号化装置であって、複数の参照ピクチャが記憶される記憶部と、複数の符号化対象ピクチャを符号化する符号化部と、を備える。符号化部は、複数の符号化対象ピクチャのうち特定の符号化対象ピクチャを、第１参照ピクチャリストと第２参照ピクチャリストとを用いて、Ｂピクチャとして符号化する。第１参照ピクチャリストは、複数の参照ピクチャのうち特定の符号化対象ピクチャよりも表示順で前方の１つのロングターム参照ピクチャのみを含む。第２参照ピクチャリストは、複数の参照ピクチャのうち特定の符号化対象ピクチャよりも表示順で前方の１つのショートターム参照ピクチャのみを含む。
【発明の効果】
【０００９】
本開示における動画像符号化装置等は、ロングターム参照ピクチャを参照して符号化対象ピクチャを効率的に符号化することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における動画像符号化装置の構成を示すブロック図
【図２】実施の形態１における動画像復号装置の構成を示すブロック図
【図３】実施の形態１における動画像符号化装置が面間予測において行う参照の態様を示す概念図
【図４】参考例における符号化対象ピクチャと参照ピクチャとの参照関係を示す概念図
【図５】実施の形態１における符号化対象ピクチャと参照ピクチャとの参照関係を示す概念図
【図６】実施の形態１における動画像符号化装置の動作を示すフローチャート
【図７】実施の形態１における動画像符号化装置の第１適用例を示す概念図
【図８】実施の形態１における動画像符号化装置の第２適用例を示す概念図
【図９】実施の形態１における動画像符号化装置の第３適用例を示す概念図
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１３】
また、以下の説明において、第１、第２または第３などの序数は、適宜、付け替えられてもよいし、省略されてもよい、新たに付与されてもよい。
【００１４】
（実施の形態１）
以下、図１〜６を用いて、実施の形態１を説明する。
【００１５】
［１−１．構成］
図１は、実施の形態１における動画像符号化装置の構成を示すブロック図である。図１に示された動画像符号化装置１００は、符号化部１１０および記憶部１２０を備える。符号化部１１０は、減算部１１１、変換部１１２、可変長符号化部１１３、逆変換部１１４、加算部１１５および予測部１１６を備える。
【００１６】
動画像符号化装置１００は、動画像を符号化する。具体的には、動画像符号化装置１００において、符号化部１１０は、例えばＡＶＣまたはＨＥＶＣと呼ばれる所定の動画像符号化規格に従って、動画像に含まれる複数のピクチャを符号化する。より具体的には、符号化部１１０は、符号化するピクチャ、すなわち符号化対象ピクチャをブロック毎に符号化する。
【００１７】
符号化部１１０が符号化対象ピクチャをブロック毎に符号化する際、予測部１１６は、面内予測または面間予測によって符号化対象ピクチャ内の原画像ブロックに対する予測画像ブロックを生成する。減算部１１１は、符号化対象ピクチャ内の原画像ブロックから予測画像ブロックを減算することにより、差分画像ブロックを生成する。変換部１１２は、差分画像ブロックを周波数成分に変換し量子化することにより、係数ブロックを生成する。
【００１８】
可変長符号化部１１３は、係数ブロックに対して可変長符号化を行うことにより、符号化ブロックを生成する。逆変換部１１４は、係数ブロックを逆量子化し画素成分に変換することにより、差分画像ブロックを生成する。加算部１１５は、差分画像ブロックに予測画像ブロックを加算することにより、再構成画像ブロックを生成する。再構成画像ブロックに対して、ブロック歪を低減させるためのフィルタ処理が適用されてもよい。
【００１９】
符号化部１１０は、符号化対象ピクチャに対して生成された複数の再構成画像ブロックを含む再構成ピクチャを生成し、再構成ピクチャを面間予測に用いられる参照ピクチャとして記憶部１２０に記憶する。例えば、次の符号化対象ピクチャが符号化される際に、予測部１１６は、記憶部１２０に記憶された参照ピクチャを参照して、面間予測を行うことにより、次の符号化対象ピクチャ内の原画像ブロックに対する予測画像ブロックを生成する。
【００２０】
また、動画像に含まれる複数のピクチャのそれぞれは、Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャのいずれかに分類される。Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャは、ピクチャタイプとも呼ばれる。
【００２１】
Ｉピクチャでは、各ブロックに対して面間予測を行うことが禁止される。Ｐピクチャでは、各ブロックに対して面間予測を行うことが許容され、１つのブロックに対して１つの参照ピクチャを参照することが可能である。Ｂピクチャでは、各ブロックに対して面間予測を行うことが許容され、１つのブロックに対して最大で２つの参照ピクチャを参照することが可能である。
【００２２】
具体的には、符号化対象ピクチャがＩピクチャである場合、符号化部１１０は、符号化対象ピクチャの各ブロックに対して面内予測を行って、符号化対象ピクチャを符号化する。符号化対象ピクチャがＰピクチャである場合、符号化部１１０は、符号化対象ピクチャ毎に１つの参照ピクチャリストを用いて、符号化対象ピクチャを符号化する。符号化対象ピクチャがＢピクチャである場合、符号化部１１０は、符号化対象ピクチャ毎に２つの参照ピクチャリストを用いて、符号化対象ピクチャを符号化する。
【００２３】
なお、本開示において、Ｂピクチャという用語の意味は、ＡＶＣまたはＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）等の所定の動画像符号化規格で定義されているＢピクチャの意味と同じである。
【００２４】
したがって、本開示において単にＢピクチャと表現する場合は、参照先の方向は、表示順における前方と後方の異なる２方向に限定されない。すなわち、Ｂピクチャ（双方向予測符号化画像）という用語には双方向という文字が使用されているが、この双方向という文字によって参照先が前方と後方の異なる２方向に限定されることはなく、前方と前方の２方向および後方と後方の２方向であってもよい。それ故、Ｂピクチャの説明において、参照先の方向を明確にする必要がある場合には、単にＢピクチャと表現するだけでなく、別途参照先の方向についても言及するものとする。
【００２５】
各参照ピクチャリストには、１以上の参照ピクチャが含まれる。参照ピクチャリストは、参照リストと呼ばれる場合がある。例えば、符号化対象ピクチャがＰピクチャである場合、符号化部１１０は、１つの参照ピクチャリストに含まれる複数の参照ピクチャから、面間予測において参照される参照ピクチャをブロック毎に選択してもよい。
【００２６】
また、符号化対象ピクチャがＢピクチャである場合、符号化部１１０は、２つの参照ピクチャリストに含まれる複数の参照ピクチャから、面間予測において参照される参照ピクチャをブロック毎に選択してもよい。また、この場合、符号化部１１０は、１つのブロックに対して、２つの参照ピクチャリストのそれぞれから１つの参照ピクチャを選択することにより、合計２つの参照ピクチャを選択してもよい。例えば、符号化部１１０は、１つのブロックに対して、２つの参照ピクチャを参照して双方向予測をおこなってもよい。
【００２７】
２つの参照ピクチャリストは、Ｌ０およびＬ１と呼ばれる。例えば、符号化対象ピクチャがＰピクチャである場合、２つの参照ピクチャリストＬ０、Ｌ１のうち、１つの参照ピクチャリストＬ０のみが用いられる。そして、符号化対象ピクチャがＢピクチャである場合、２つの参照ピクチャリストＬ０、Ｌ１が用いられる。
【００２８】
記憶部１２０には、複数の参照ピクチャが記憶される。記憶部１２０に記憶される参照ピクチャは、面間予測に用いられるピクチャであり、符号化されたピクチャに対する再構成ピクチャである。符号化部１１０が面間予測を用いて符号化対象ピクチャ内の原画像ブロックを符号化する際、予測部１１６は、参照ピクチャを参照して、原画像ブロックを予測することにより、予測画像ブロックを生成する。
【００２９】
動画像符号化装置１００において、複数の参照ピクチャのそれぞれは、ロングターム参照ピクチャおよびショートターム参照ピクチャのいずれかに分類される。ロングターム参照ピクチャは、長期間参照ピクチャまたはロングタームピクチャとも呼ばれる。ショートターム参照ピクチャは、短期間参照ピクチャまたはショートタームピクチャとも呼ばれる。ロングターム参照ピクチャおよびショートターム参照ピクチャは、例えばＡＶＣまたはＨＥＶＣと呼ばれる所定の動画像符号化規格に従って生成される参照ピクチャである。
【００３０】
ロングターム参照ピクチャは、ショートターム参照ピクチャよりも長く記憶部１２０に維持するために用いられる参照ピクチャである。例えば、ロングターム参照ピクチャは、明示のコマンドを受けるまで記憶部１２０に維持される。一方、ショートターム参照ピクチャは、所定の時間が経過すると明示のコマンドを待たずに記憶部１２０から削除される。
【００３１】
図２は、図１に示された動画像符号化装置１００に対応する動画像復号装置の構成を示すブロック図である。図２に示された動画像復号装置２００は、復号部２１０および記憶部２２０を備える。復号部２１０は、可変長復号部２１３、逆変換部２１４、加算部２１５および予測部２１６を備える。
【００３２】
動画像復号装置２００は、動画像を復号する。具体的には、動画像復号装置２００において、復号部２１０は、例えばＡＶＣまたはＨＥＶＣと呼ばれる所定の動画像符号化規格に従って、動画像に含まれる複数のピクチャを復号する。より具体的には、復号部２１０は、復号化するピクチャ、すなわち復号対象ピクチャをブロック毎に復号する。
【００３３】
復号部２１０が復号対象ピクチャをブロック毎に復号する際、可変長復号部２１３は、符号化ブロックに対して可変長復号を行うことにより、係数ブロックを生成する。逆変換部２１４は、係数ブロックを逆量子化し画素成分に変換することにより、差分画像ブロックを生成する。
【００３４】
予測部２１６は、面内予測または面間予測によって予測画像ブロックを生成する。加算部２１５は、差分画像ブロックに予測画像ブロックを加算することにより、再構成画像ブロックを生成する。再構成画像ブロックに対して、ブロック歪を低減させるためのフィルタ処理が適用されてもよい。
【００３５】
復号部２１０は、復号対象ピクチャに対して生成された複数の再構成画像ブロックを含む再構成ピクチャを生成し、復号されたピクチャとして再構成ピクチャを出力する。
【００３６】
また、復号部２１０は、再構成ピクチャを面間予測に用いられる参照ピクチャとして記憶部２２０に記憶する。例えば、次の復号対象ピクチャが復号される際に、予測部２１６は、記憶部２２０に記憶された参照ピクチャを参照して、面間予測を行うことにより、次の復号対象ピクチャ内の復号対象画像ブロックに対する予測画像ブロックを生成する。
【００３７】
記憶部２２０には、動画像符号化装置１００の記憶部１２０と同じように、複数の参照ピクチャが記憶される。記憶部２２０に記憶される参照ピクチャは、面間予測に用いられるピクチャであり、復号されたピクチャと同等の再構成ピクチャである。復号部２１０が面間予測を用いて復号対象ピクチャ内の復号対象画像ブロックを復号する際、予測部２１６は、参照ピクチャを用いて、復号対象画像ブロックを予測することにより、予測画像ブロックを生成する。
【００３８】
動画像復号装置２００において、動画像符号化装置１００と同じように、複数の参照ピクチャのそれぞれは、ロングターム参照ピクチャおよびショートターム参照ピクチャのいずれかに分類される。ロングターム参照ピクチャは、ショートターム参照ピクチャよりも長く記憶部２２０に維持するために用いられる参照ピクチャである。例えば、ロングターム参照ピクチャは、明示のコマンドを受けるまで記憶部２２０に維持される。一方、ショートターム参照ピクチャは、所定の時間が経過すると明示のコマンドを待たずに記憶部２２０から削除される。
【００３９】
動画像符号化装置１００の符号化部１１０は、記憶部２２０から参照ピクチャを削除するためのコマンドを符号化してもよい。そして、動画像復号装置２００の復号部２１０は、符号化されたコマンドを復号し、復号されたコマンドを実行してもよい。これにより、動画像符号化装置１００は、動画像復号装置２００における参照ピクチャの削除を制御することができる。すなわち、動画像符号化装置１００は、記憶部１２０の状態と記憶部２２０の状態とを整合させることができる。
【００４０】
［１−２．動作］
以上のように構成された動画像符号化装置１００等について、その動作を以下説明する。まず、動画像符号化装置１００等におけるロングターム参照ピクチャとショートターム参照ピクチャとの使い分けを説明する。なお、以下では、基本的に、動画像符号化装置１００の動作が示される。動画像復号装置２００は、動画像符号化装置１００の動作に対応する動作を行う。また、以下において、他のピクチャを参照してピクチャを符号化または復号することを、ピクチャが他のピクチャを参照すると表現する場合がある。
【００４１】
上記の通り、ロングターム参照ピクチャは、通常、ショートターム参照ピクチャよりも長く記憶部１２０に記憶される。したがって、ロングターム参照ピクチャは、ショートターム参照ピクチャよりも多くのピクチャから参照ピクチャとして参照される。そのため、動画像符号化装置１００は、ショートターム参照ピクチャよりも高画質の参照ピクチャをロングターム参照ピクチャとして生成する。
【００４２】
具体的には、符号化部１１０は、ショートターム参照ピクチャよりも大きい符号量で、ロングターム参照ピクチャを符号化する。これにより、高画質のロングターム参照ピクチャが生成される。
【００４３】
また、通常、符号化対象ピクチャとロングターム参照ピクチャとの間の時間的距離は、符号化対象ピクチャとショートターム参照ピクチャとの間の時間的距離よりも長い。したがって、動画像符号化装置１００は、符号化対象ピクチャのブロック毎に、ロングターム参照ピクチャとショートターム参照ピクチャとの間で参照先を切り替える。
【００４４】
図３は、図１に示された動画像符号化装置１００が面間予測において行う参照の態様を示す概念図である。図３に示すように、具体的には、符号化部１１０は、背景のように、時間的に変化のない領域内のブロックを符号化する際、高画質であるロングターム参照ピクチャを参照する。一方で、符号化部１１０は、人物のように、時間的に変化のある領域内のブロックを符号化する際、ショートターム参照ピクチャを参照する。これにより、符号化部１１０は、例えば、高画質の背景画像と、動きのある人物画像との両方を参照して、符号化対象ピクチャを符号化することができる。したがって、効率的に符号化対象ピクチャを符号化することができる。
【００４５】
図４は、参考例における符号化対象ピクチャと参照ピクチャとの参照関係を示す概念図である。図４には、ピクチャＰ１、・・・、ピクチャＰ７、ピクチャＰ８、ピクチャＰ９が表示順（入力順）で示されている。
【００４６】
なお、本実施の形態では、符号化順は表示順と同じであるが、符号化順は表示順と同じであることに限定されず、符号化順は表示順と異なっていてもよい。また、図４は、発明者らが見出した従来の課題を説明するための参考として例示される。すなわち、図４は、本開示における動画像符号化装置１００等の本質的な特徴を示す図ではない。
【００４７】
図４では、ピクチャＰ１がロングターム参照ピクチャであり、ピクチャＰ８がショートターム参照ピクチャである。ピクチャＰ９が符号化対象ピクチャである。動画像符号化装置１００は、ピクチャＰ１とピクチャＰ８との間でブロック毎に参照先を切り替えて、ピクチャＰ９を符号化する。
【００４８】
例えば、ピクチャＰ９がＰピクチャとして符号化される場合、１つの参照ピクチャリストＬ０が利用される。この場合、参照ピクチャリストＬ０は、ピクチャＰ１およびピクチャＰ８を含む。そして、ピクチャＰ１とピクチャＰ８とを識別するため、ピクチャＰ１には、インデックス１が割り当てられ、ピクチャＰ８には、インデックス０が割り当てられる。
【００４９】
この場合、動画像符号化装置１００は、処理対象ピクチャに対して、参照ピクチャリストＬ０に含まれる参照ピクチャを示す情報を符号化する。
【００５０】
動画像復号装置２００は、処理対象ピクチャに対して、符号化された情報を復号して、動画像符号化装置１００で利用される参照ピクチャリストＬ０と同じ参照ピクチャリストＬ０を利用することができる。動画像復号装置２００の参照ピクチャリストＬ０の参照ピクチャには、動画像符号化装置１００の参照ピクチャリストＬ０の参照ピクチャに対して割り当てられたインデックスと同じインデックスが割り当てられる。
【００５１】
そして、動画像符号化装置１００は、処理対象ブロックに対して、インデックス１が割り当てられた参照ピクチャ（図４ではピクチャＰ１）を選択したか、インデックス０が割り当てられた参照ピクチャ（図４ではピクチャＰ８）を選択したかを識別するための参照ピクチャインデックス情報を符号化する。動画像復号装置２００は、処理対象ブロックに対して、符号化された参照ピクチャインデックス情報を復号して、動画像符号化装置１００で選択された参照ピクチャと同じ参照ピクチャを選択することができる。
【００５２】
しかし、上記の通り、動画像符号化装置１００は、処理対象ブロックに対して、常に参照ピクチャインデックス情報を符号化することが必要となる。したがって、動画像符号化装置１００がブロック毎に参照先を切り替えて符号化対象ピクチャを符号化する場合、符号量が増加する可能性がある。
【００５３】
また、１つの参照ピクチャリストに複数の参照ピクチャを割り当てるための制御を行う処理、および、その中から処理対象ブロック毎に１つの参照ピクチャを選択するための制御を行う処理が必要となる。そのため、制御回路が複雑になってしまう可能性がある。
【００５４】
そこで、動画像符号化装置１００は、切り替えて参照される２つの参照ピクチャの両方にインデックス０を割り当てることが可能な構成となっている。２つの参照ピクチャの両方にインデックス０を割り当てる場合、動画像符号化装置１００は、符号化対象ピクチャをＢピクチャとして符号化する。具体的には、図４に示された参照関係が、図５に示された参照関係に改善される。
【００５５】
図５は、図１に示された動画像符号化装置１００における符号化対象ピクチャと参照ピクチャとの参照関係を示す概念図である。図５には、図４と同じように、ピクチャＰ１、・・・、ピクチャＰ７、ピクチャＰ８、ピクチャＰ９が示されている。動画像符号化装置１００は、ピクチャＰ１とピクチャＰ８との間でブロック毎に参照先を切り替えて、ピクチャＰ９を符号化する。
【００５６】
上記の通り、動画像符号化装置１００は、符号化対象ピクチャをＢピクチャとして符号化する。Ｂピクチャの符号化には、参照ピクチャリストＬ０と参照ピクチャリストＬ１とが用いられる。例えば、動画像符号化装置１００は、ピクチャＰ１に対して参照ピクチャリストＬ０におけるインデックス０を割り当て、ピクチャＰ８に対して参照ピクチャリストＬ１におけるインデックス０を割り当てる。これにより、２つのピクチャＰ１、Ｐ８の両方にインデックス０が割り当てられる。すなわち、全ての参照ピクチャにインデックス０のみが割り当てられる。
【００５７】
例えば、動画像符号化装置１００は、処理対象ピクチャに対して、参照ピクチャリストＬ０に含まれる参照ピクチャを示す情報、および、参照ピクチャリストＬ１に含まれる参照ピクチャを示す情報を符号化する。
【００５８】
動画像復号装置２００は、処理対象ピクチャに対して、符号化された情報を復号して、動画像符号化装置１００で利用される参照ピクチャリストＬ０およびＬ１と同じ参照ピクチャリストＬ０およびＬ１を利用することができる。動画像復号装置２００の参照ピクチャリストＬ０およびＬ１の参照ピクチャには、動画像符号化装置１００の参照ピクチャリストＬ０およびＬ１の参照ピクチャに対して割り当てたのと同様に、インデックス０のみが割り当てられる。
【００５９】
そして、動画像符号化装置１００は、処理対象ブロックに対して、参照ピクチャリストＬ０においてインデックス０が割り当てられた参照ピクチャ（図５ではピクチャＰ１）と、参照ピクチャリストＬ１においてインデックス０が割り当てられた参照ピクチャ（図５ではピクチャＰ８）とを、参照ピクチャインデックス情報を符号化することなく切り替えて参照することができる。動画像復号装置２００は、処理対象ブロックに対して、参照ピクチャインデックス情報を復号することなく、動画像符号化装置１００で選択された参照ピクチャと同じ参照ピクチャを選択することができる。
【００６０】
図５に示された参照関係の場合、参照ピクチャリストＬ０が参照される場合と、参照ピクチャリストＬ１が参照される場合とにおいて、符号量は変わらない。なぜなら、参照ピクチャリストＬ０のピクチャＰ１にも参照ピクチャリストＬ１のピクチャＰ８にもインデックス０が割り当てられるからである。
【００６１】
一方、図４に示された参照関係の場合、参照ピクチャリストＬ０のピクチャＰ８にはインデックス０が割り当てられ、参照ピクチャリストＬ０のピクチャＰ１にはインデックス１が割り当てられる。そのため、インデックス１を符号化しなければならない分だけ、図５に示された参照関係の場合よりも符号量が大きくなる。
【００６２】
したがって、動画像符号化装置１００は、ピクチャＰ９の符号化において、符号量の増加を抑制しつつ、ブロック毎に、ピクチャＰ１とピクチャＰ８とを切り替えて参照することができる。
【００６３】
また、１つの参照ピクチャリストには１つの参照ピクチャのみが割り当てられるため、参照ピクチャを割り当てるための制御を行う処理、および、処理対象ブロック毎に参照ピクチャを選択するための制御を行う処理が単純化される。そのため、制御回路をシンプルな構成にすることが可能性となる。このような効果は、特に、符号化情報の管理が複雑である動画像符号化規格（例えばＨＥＶＣ）に従って符号化する動画像符号化装置に、図５に示された参照関係を適用した場合に、顕著にあらわれる。
【００６４】
従来から、符号化対象ピクチャをＢピクチャとして符号化可能な構成を有する動画像符号化装置がある。本実施の形態における動画像符号化装置１００は、そのような従来の動画像符号化装置に、図５に示された参照関係を適用することによっても実現可能である。その実現は、従来の動画像符号化装置におけるＢピクチャに関する符号化の処理を、動画像符号化装置１００におけるＢピクチャに関する符号化の処理に置き換えれば済む。すなわち、符号化対象ピクチャをＢピクチャとして符号化する際の、参照ピクチャを割り当てるための制御を行う処理や、処理対象ブロック毎に参照ピクチャを選択するための制御を行う処理を、従来のものから本実施の形態のものに置き換える簡単な設計変更で済む。これにより、装置の構造を複雑化させることなく、本実施の形態における動画像符号化装置１００を実現することができる。
【００６５】
なお、図５の例では、参照ピクチャリストＬ０にロングターム参照ピクチャが含まれ、参照ピクチャリストＬ１にショートターム参照ピクチャが含まれる。しかし、参照ピクチャリストＬ１にロングターム参照ピクチャが含まれ、参照ピクチャリストＬ０にショートターム参照ピクチャが含まれてもよい、つまりＬ０、Ｌ１が反対でもよい。
【００６６】
また、上記の説明では、インデックス０が割り当てられた参照ピクチャが選択された場合、インデックスが符号化されない。すなわち、インデックス０は符号化されない。しかし、インデックス０が符号化されない場合に限らず、インデックス０が符号化される場合であっても、インデックス０の符号量がインデックス１の符号量よりも小さい場合に同じような効果が得られる。
【００６７】
動画像符号化装置１００では、特定の符号化対象ピクチャが、１つのショートターム参照ピクチャのみを含む第１参照ピクチャリストと、１つのショートターム参照ピクチャのみを含む第２参照ピクチャリストとを用いて、Ｂピクチャとして符号化される。ところで、動画像符号化装置１００において、全ての符号化対象ピクチャが、特定の符号化対象ピクチャとして上記のように符号化される必要はない。すなわち、動画像符号化装置１００で符号化される符号化対象ピクチャのうち少なくとも１つが、特定の符号化対象ピクチャとして符号化されればよい。その場合、特定の符号化対象ピクチャ以外の符号化対象ピクチャは、ＰピクチャまたはＩピクチャとして符号化されてもよし、別の参照関係でＢピクチャとして符号化されてもよい。
【００６８】
図６は、図１に示された動画像符号化装置１００の動作を示すフローチャートである。例えば、動画像符号化装置１００は、２つの参照ピクチャの間でブロック毎に参照される１つの参照ピクチャを切り替えて符号化対象ピクチャを符号化する際、符号化対象ピクチャをＰピクチャではなくＢピクチャとして符号化する。以下、動画像符号化装置１００の具体的な動作を示す。
【００６９】
まず、符号化部１１０は、符号化対象ピクチャの符号化においてロングターム参照ピクチャを参照するか否かを判定する（Ｓ１０１）。
【００７０】
符号化部１１０は、符号化対象ピクチャの符号化においてロングターム参照ピクチャを参照する場合（Ｓ１０１でＹｅｓ）、２つの参照ピクチャリストを用いて、符号化対象ピクチャをＢピクチャとして符号化する（Ｓ１０２）。この２つの参照ピクチャリストのうち、一方には１つのロングターム参照ピクチャのみが含まれ、他方には１つのショートターム参照ピクチャのみが含まれる。
【００７１】
これにより、２つの参照ピクチャの両方にインデックス０が割り当てられる。したがって、符号量の増加が抑制される。また、符号化部１１０は、例えば、時間的に遠いロングターム参照ピクチャと、時間的に近いショートターム参照ピクチャとの間でブロック毎に参照される参照ピクチャを切り替えて、符号化対象ピクチャを符号化することができる。したがって、符号化部１１０は、適切に符号化対象ピクチャを符号化することができる。
【００７２】
一方、符号化部１１０は、符号化対象ピクチャの符号化においてロングターム参照ピクチャを参照しない場合（Ｓ１０１でＮｏ）、通常通り、符号化対象ピクチャを符号化する（Ｓ１０３）。この場合において、符号化対象ピクチャを符号化する方法は、限定されない。例えば、符号化部１１０は、１つの参照ピクチャリストを用いて符号化対象ピクチャをＰピクチャとして符号化してもよいし、参照ピクチャを使用せずにＩピクチャとして符号化してもよい。
【００７３】
あるいは、符号化部１１０は、直前の参照ピクチャと、直前の参照ピクチャよりも前方の参照ピクチャとが参照可能である場合、符号化対象ピクチャをＢピクチャとして符号化してもよい。この場合、直前の参照ピクチャは一方の参照ピクチャリストにショートターム参照ピクチャとして含まれてもよいし、直前の参照ピクチャよりも前方の参照ピクチャは他方の参照ピクチャリストにロングターム参照ピクチャとして含まれてもよい。
【００７４】
また、Ｓ１０１における参照するか否かは、記憶部１２０に記憶されているか否かによって判定されてもよい。つまり、記憶部１２０にロングターム参照ピクチャが記憶されていない場合、１つの参照ピクチャリストを用いて符号化対象ピクチャをＰピクチャとして符号化してもよいし、参照ピクチャを使用せずにＩピクチャとして符号化してもよい。
【００７５】
［１−３．効果等］
以上のように、本実施の形態において、動画像符号化装置１００は、動画像を符号化する。また、動画像符号化装置１００は、符号化部１１０と記憶部１２０とを備える。記憶部１２０には、複数の参照ピクチャが記憶される。符号化部１１０は、複数の符号化対象ピクチャを符号化する。符号化部１１０は、複数の符号化対象ピクチャのうち特定の符号化対象ピクチャを、第１参照ピクチャリストと第２参照ピクチャリストとを用いて、Ｂピクチャとして符号化する。第１参照ピクチャリストは、複数の参照ピクチャのうち特定の符号化対象ピクチャよりも表示順で前方の１つのロングターム参照ピクチャのみを含み、第２参照ピクチャリストは、複数の参照ピクチャのうち特定の符号化対象ピクチャよりも表示順で前方の１つのショートターム参照ピクチャのみを含む。
【００７６】
これにより、動画像符号化装置１００は、符号化対象ピクチャの符号化において、符号量の増加を抑制しつつ、ロングターム参照ピクチャとショートターム参照ピクチャとをブロック毎に切り替えて参照することができる。すなわち、動画像符号化装置１００は、ロングターム参照ピクチャを参照して符号化対象ピクチャを効率的に符号化することができる。
【００７７】
しかも、第１参照ピクチャリストおよび第２参照ピクチャリストは、それぞれロングターム参照ピクチャまたはショートターム参照ピクチャを１つしか含まないため、全ての参照ピクチャにインデックス０を割り当てることができる。したがって、符号量の増加を抑制しつつ、ブロック毎に、ロングターム参照ピクチャとショートターム参照ピクチャとを切り替えて参照することができる。
【００７８】
しかも、第１参照ピクチャリストおよび第２参照ピクチャリストに含まれる参照ピクチャは、いずれも符号化対象ピクチャよりも表示順で前方の参照ピクチャであるため、符号化対象ピクチャよりも前方の２つの参照ピクチャをブロック毎に切り替えて参照することができる。
【００７９】
また、本実施の形態において、第１参照ピクチャリストに含まれる１つのロングターム参照ピクチャは、第２参照ピクチャリストに含まれる１つのショートターム参照ピクチャよりも、表示順で前方の参照ピクチャである。
【００８０】
これにより、符号化対象ピクチャとの間の時間的距離が長いロングターム参照ピクチャと、符号化対象ピクチャとの間の時間的距離が短いショートターム参照ピクチャとの間で参照先を切り替えることができる。
【００８１】
また、本実施の形態において、第２参照ピクチャリストに含まれる１つのショートターム参照ピクチャは、表示順で特定の符号化対象ピクチャの直前の参照ピクチャである。
【００８２】
これにより、動画像符号化装置１００は、例えば、符号化対象ピクチャのうち動きの大きい領域に対して直前のショートターム参照ピクチャを参照することができる。したがって、動画像符号化装置１００は、符号量の増加を抑制しつつ、符号化対象ピクチャを適切に符号化することができる。
【００８３】
また、本実施の形態において、符号化部１１０は、ロングターム参照ピクチャをショートターム参照ピクチャよりも大きい符号量で符号化する。
【００８４】
これにより、ショートターム参照ピクチャよりも高画質のロングターム参照ピクチャが利用される。したがって、動画像符号化装置１００は、符号化対象ピクチャの符号化において、符号量の増加を抑制しつつ、高画質のロングターム参照ピクチャと低画質のショートターム参照ピクチャとをブロック毎に切り替えて参照することができる。
【００８５】
また、本実施の形態において、符号化部１１０は、符号化対象ピクチャの符号化において、参照に使用される１以上のピクチャにロングターム参照ピクチャが含まれる場合、第１参照ピクチャリストと第２参照ピクチャリストとを用いて、符号化対象ピクチャをＢピクチャとして符号化する。
【００８６】
また、本実施の形態において、符号化部１１０は、複数の符号化対象ピクチャの符号化において、記憶部１２０にロングターム参照ピクチャが含まれない場合、第２参照ピクチャリストのみを用いてＰピクチャとして符号化する、もしくは、第２参照ピクチャを使用せずにＩピクチャとして符号化する。
【００８７】
これにより、動画像符号化装置１００は、符号化対象ピクチャの符号化においてロングターム参照ピクチャが含まれない場合、符号化対象ピクチャのピクチャタイプを適切に切り替えることができる。
【００８８】
また、本実施の形態において、符号化部１１０は、１つのロングターム参照ピクチャおよび１つのショートターム参照ピクチャのうち一方のみを参照して、特定の符号化対象ピクチャにおける複数のブロックのそれぞれを符号化する。
【００８９】
これにより、動画像符号化装置１００は、符号化対象ピクチャの符号化において、ロングターム参照ピクチャとショートターム参照ピクチャとをブロック毎に切り替えて参照することができる。
【００９０】
また、本実施の形態において、動画像復号装置２００は、動画像符号化装置１００の構成要素に対応する構成要素を備え、動画像符号化装置１００の動作に対応する動作を行う。例えば、動画像復号装置２００は、動画像を復号する。また、動画像復号装置２００は、復号部２１０と記憶部２２０とを備える。記憶部２２０には、複数の参照ピクチャが記憶される。復号部２１０は、複数の符号化対象ピクチャを符号化する。
【００９１】
復号部２１０は、複数の符号化対象ピクチャのうち特定の符号化対象ピクチャを、第１参照ピクチャリストと第２参照ピクチャリストとを用いて、Ｂピクチャとして復号する。第１参照ピクチャリストは、複数の参照ピクチャのうち特定の符号化対象ピクチャよりも表示順で前方の１つのロングターム参照ピクチャのみを含み、第２参照ピクチャリストは、複数の参照ピクチャのうち特定の符号化対象ピクチャよりも表示順で前方の１つのショートターム参照ピクチャのみを含む。
【００９２】
これにより、動画像復号装置２００は、復号対象ピクチャの復号において、動画像符号化装置１００と同じように、ロングターム参照ピクチャとショートターム参照ピクチャとをブロック毎に切り替えて参照することができる。すなわち、動画像復号装置２００は、動画像符号化装置１００の動作に対応する動作を行うことができる。
【００９３】
なお、第１参照ピクチャリストおよび第２参照ピクチャリストのうち、一方が参照ピクチャリストＬ０であり、他方が参照ピクチャリストＬ１である。第１参照ピクチャリストは、参照ピクチャリストＬ０および参照ピクチャリストＬ１のうち、どちらでもよい。また、第２参照ピクチャリストは、参照ピクチャリストＬ０および参照ピクチャリストＬ１のうち、どちらでもよい。
【００９４】
また、参照ピクチャリストに、１つの参照ピクチャのみが含まれる場合、参照ピクチャリストに含まれる１つの参照ピクチャにはインデックス０が割り当てられ、符号量の増加が抑制される。
【００９５】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態１にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００９６】
例えば、実施の形態１において、符号化部１１０は、減算部１１１、変換部１１２、可変長符号化部１１３、逆変換部１１４、加算部１１５、および、予測部１１６を備える。また、復号部２１０は、可変長復号部２１３、逆変換部２１４、加算部２１５、および、予測部２１６を備える。しかし、これらの構成要素は、一例であり、これらの構成要素に対し、適宜、変更、置き換え、付加、省略などが行われてもよい。
【００９７】
また、符号化部１１０は、エンコーダと表現されてもよいし、復号部２１０は、デコーダと表現されてもよい。記憶部１２０、２２０は、それぞれ、ストレージ、バッファ、メモリ、参照ピクチャバッファ、または、参照ピクチャメモリ等のように表現されてもよい。
【００９８】
また、動画像符号化装置１００および動画像復号装置２００は、それぞれ、本開示における複数の構成要素を選択的に備えてもよいし、動画像符号化方法および動画像復号方法は、それぞれ、本開示における複数の処理を選択的に含んでもよい。
【００９９】
また、本開示における各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【０１００】
また、本開示における各処理をコンピュータが実行してもよい。例えば、コンピュータが、プロセッサ（ＣＰＵ）、メモリおよび入出力回路等のハードウェア資源を用いてプログラムを実行することによって、本開示における各処理を実行する。具体的には、プロセッサが処理対象のデータをメモリまたは入出力回路等から取得してデータを演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各処理を実行する。
【０１０１】
また、本開示における各処理を実行するためのプログラムが、コンピュータ読み取り可能なＣＤ−ＲＯＭ等の非一時的な記録媒体に記録されてもよい。この場合、コンピュータが、非一時的な記録媒体からプログラムを読み出して、プログラムを実行することにより、各処理を実行する。
【０１０２】
さらに、実施の形態１に示された動画像符号化装置１００は、様々な装置に適用されてもよい。以下、図７〜９を用いて、動画像符号化装置１００の適用例を説明する。
【０１０３】
図７は、図１に示された動画像符号化装置１００の第１適用例を示す概念図である。図７には、デジタルカメラ３０１、および、クラウドシステム３０２が示されている。デジタルカメラ３０１は、動画像符号化装置１００の一例である。デジタルカメラ３０１は、動画像符号化装置１００を含んでいてもよい。
【０１０４】
デジタルカメラ３０１は、実施の形態１で示された手順に従って、動画像を符号化する。すなわち、デジタルカメラ３０１は、特定の符号化対象ピクチャよりも表示順で前方の１つのロングターム参照ピクチャのみを含む参照ピクチャリストと、特定の符号化対象ピクチャよりも表示順で前方の１つのショートターム参照ピクチャのみを含む参照ピクチャリストとを用いて、符号化対象ピクチャをＢピクチャとして符号化する。そして、デジタルカメラ３０１は、符号化された動画像をクラウドシステム３０２へ送信することにより、符号化された動画像をクラウドシステム３０２に保存する。
【０１０５】
動画像の符号化において実施の形態１で示された手順が適用されるため、符号量が削減される。したがって、通信におけるデータの伝送量も削減され、また、データの記憶に対する記憶容量も削減される。
【０１０６】
図８は、図１に示された動画像符号化装置１００の第２適用例を示す概念図である。図８には、放送用カメラ３１１、放送局３１２、および、テレビ３１３が示されている。放送用カメラ３１１は、動画像符号化装置１００の一例である。放送用カメラ３１１は、動画像符号化装置１００を含んでいてもよい。
【０１０７】
放送用カメラ３１１は、実施の形態１で示された手順に従って、動画像を符号化する。すなわち、放送用カメラ３１１は、特定の符号化対象ピクチャよりも表示順で前方の１つのロングターム参照ピクチャのみを含む参照ピクチャリストと、特定の符号化対象ピクチャよりも表示順で前方の１つのショートターム参照ピクチャのみを含む参照ピクチャリストとを用いて、符号化対象ピクチャをＢピクチャとして符号化する。そして、符号化された動画像は、放送用カメラ３１１から放送局３１２へ送信され、放送局３１２からテレビ３１３へ送信される。
【０１０８】
動画像の符号化において実施の形態１で示された手順が適用されるため、符号量が削減される。したがって、放送におけるデータの伝送量も削減される。
【０１０９】
図９は、図１に示された動画像符号化装置１００の第３適用例を示す概念図である。図９には、監視カメラ３２１、クラウドシステム３２２、および、ビデオレコーダ３２３が示されている。監視カメラ３２１は、動画像符号化装置１００の一例である。監視カメラ３２１は、動画像符号化装置１００を含んでいてもよい。
【０１１０】
監視カメラ３２１は、実施の形態１で示された手順に従って、動画像を符号化する。すなわち、監視カメラ３２１は、特定の符号化対象ピクチャよりも表示順で前方の１つのロングターム参照ピクチャのみを含む参照ピクチャリストと、特定の符号化対象ピクチャよりも表示順で前方の１つのショートターム参照ピクチャのみを含む参照ピクチャリストとを用いて、符号化対象ピクチャをＢピクチャとして符号化する。監視カメラ３２１は、符号化された動画像をクラウドシステム３２２またはビデオレコーダ３２３へ送信することにより、符号化された動画像をクラウドシステム３２２またはビデオレコーダ３２３に保存する。
【０１１１】
動画像の符号化において実施の形態１で示された手順が適用されるため、符号量が削減される。したがって、通信におけるデータの伝送量も削減され、また、データの記憶に対する記憶容量も削減される。また、監視カメラ３２１によって符号化される動画像には、基本的に、変化しない背景画像が含まれる。したがって、実施の形態１で示された手順が適用されることによって得られる効果は大きい。
【０１１２】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１１３】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１１４】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１５】
本開示は、動画像を符号化する動画像符号化装置などに適用可能である。具体的には、デジタルビデオカメラ、定点観測カメラ、監視カメラ、または、防犯カメラなどに、本開示は適用可能である。
【符号の説明】
【０１１６】
１００    動画像符号化装置
１１０    符号化部
１１１    減算部
１１２    変換部
１１３    可変長符号化部
１１４，２１４    逆変換部
１１５，２１５    加算部
１１６，２１６    予測部
１２０，２２０    記憶部
２００    動画像復号装置
２１０    復号部
２１３    可変長復号部
３０１    デジタルカメラ
３０２，３２２    クラウドシステム
３１１    放送用カメラ
３１２    放送局
３１３    テレビ
３２１    監視カメラ
３２３    ビデオレコーダ
【図１】
2016167800.tif 000003
【図２】
2016167800.tif 000004
【図３】
2016167800.tif 000005
【図４】
2016167800.tif 000006
【図５】
2016167800.tif 000007
【図６】
2016167800.tif 000008
【図７】
2016167800.tif 000009
【図８】
2016167800.tif 000010
【図９】
2016167800.tif 000011