(57)【要約】【課題】階層構造を持つGOPが適用される動画像データに対しても、動きベクトル探索の際のメモリアクセス量を削減できる動画像符号化装置を提供する。【解決手段】動画像符号化装置は、インター予測符号化ピクチャについての動きベクトルを算出して記憶部（１２、１４、１６）に記憶させる動き探索部（１３）と、インター予測符号化ピクチャを動きベクトルを用いて符号化し、かつ、符号化されたインター予測符号化ピクチャを復号して得られる局所復号ピクチャを記憶部に記憶させる符号化部（１５）と、記憶部に記憶されたピクチャ及び局所復号ピクチャのうちの第１のピクチャと、第１のピクチャを参照ピクチャとする二つのインター予測符号化ピクチャとが記憶部に記憶されると、動き探索部（１３）に、その二つのインター予測符号化ピクチャについて第１のピクチャを参照ピクチャとして動きベクトルを算出させる制御部（１１）とを有する。【選択図】図２
2016195326.tif 000002
【特許請求の範囲】
【請求項１】
動画像に含まれるピクチャが入力される度に前記ピクチャを記憶する記憶部と、
前記ピクチャのうち、前記動画像に含まれるピクチャの符号化順序及び参照関係を規定する符号化構造に従って決定される参照ピクチャを参照して符号化されるインター予測符号化ピクチャについて、当該インター予測符号化ピクチャに含まれるブロックごとに、前記参照ピクチャに基づいて動きベクトルを算出して前記記憶部に記憶させる動き探索部と、
前記符号化順序に従って、前記インター予測符号化ピクチャが符号化される順序になると、前記インター予測符号化ピクチャを前記ブロックごとの前記動きベクトルを用いて符号化し、かつ、符号化された前記インター予測符号化ピクチャを復号して局所復号ピクチャを生成し、前記局所復号ピクチャを前記記憶部に記憶させる符号化部と、
入力された前記ピクチャのうち、または前記局所復号ピクチャのうちの第１のピクチャと、前記第１のピクチャを前記参照ピクチャとする二つの前記インター予測符号化ピクチャとが前記記憶部に記憶されると、前記動き探索部に、前記記憶部から前記第１のピクチャ及び前記二つの前記インター予測符号化ピクチャを読み出させて、前記二つの前記インター予測符号化ピクチャのそれぞれについて、前記第１のピクチャを前記参照ピクチャとして前記動きベクトルを算出させる制御部と、
を有する動画像符号化装置。
【請求項２】
前記制御部は、前記ピクチャのうち、前記符号化構造に従って前記参照ピクチャとなることが規定されたピクチャを、前記動画像のピクチャの再生順序に従って順次前記第１のピクチャとする、請求項１に記載の動画像符号化装置。
【請求項３】
前記制御部は、前記局所復号ピクチャのうち、前記符号化構造に従って前記参照ピクチャとなることが規定された局所復号ピクチャを、前記符号化順序に従って順次前記第１のピクチャとする、請求項１に記載の動画像符号化装置。
【請求項４】
動画像に含まれるピクチャが入力される度に前記ピクチャを記憶部に記憶させ、
入力された前記ピクチャのうち、または入力された前記ピクチャを符号化した後に復号して得られる局所復号ピクチャのうちの第１のピクチャと、前記第１のピクチャを、前記動画像に含まれるピクチャの符号化順序及び参照関係を規定する符号化構造に従って決定される参照ピクチャとして参照して符号化される二つのインター予測符号化ピクチャとが前記記憶部に記憶されると、前記記憶部から前記第１のピクチャ及び前記二つの前記インター予測符号化ピクチャを読み出して、前記二つの前記インター予測符号化ピクチャのそれぞれに含まれるブロックごとに、前記第１のピクチャを前記参照ピクチャとして前記動きベクトルを算出し、
前記符号化順序に従って、前記二つのインター予測符号化ピクチャの何れかが符号化される順序になると、当該インター予測符号化ピクチャを、前記ブロックごとの前記動きベクトルを用いて符号化する、
ことを含む動画像符号化方法。
【請求項５】
動画像に含まれるピクチャが入力される度に前記ピクチャを記憶部に記憶させ、
入力された前記ピクチャのうち、または入力された前記ピクチャを符号化した後に復号して得られる局所復号ピクチャのうちの第１のピクチャと、前記第１のピクチャを、前記動画像に含まれるピクチャの符号化順序及び参照関係を規定する符号化構造に従って決定される参照ピクチャとして参照して符号化される二つのインター予測符号化ピクチャとが前記記憶部に記憶されると、前記記憶部から前記第１のピクチャ及び前記二つの前記インター予測符号化ピクチャを読み出して、前記二つの前記インター予測符号化ピクチャのそれぞれに含まれるブロックごとに、前記第１のピクチャを前記参照ピクチャとして前記動きベクトルを算出し、
前記符号化順序に従って、前記二つのインター予測符号化ピクチャの何れかが符号化される順序になると、当該インター予測符号化ピクチャを、前記ブロックごとの前記動きベクトルを用いて符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ピクチャをインター予測符号化する動画像符号化装置、動画像符号化方法、及び動画像符号化用コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信する場合、あるいは、動画像データを記憶装置に記憶する場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化標準として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)またはInternational  Telecommunication Union - Telecommunication Standardization Sector(ITU-T)で策定されたMoving Picture Experts Group phase 2（MPEG-2/H.262）、あるいはMPEG-4、H.264 MPEG-4 Advanced Video Coding（MPEG-4 AVC/H.264）が利用されている。MPEG-4 AVC/H.264以降は、合同で設立された(Joint Collaborative Team on Video Coding (JCT-VC)によって標準化が進められ、新たな符号化標準として、HEVC(High Efficiency Video Coding, MPEG-H/H.265、正式名称はISO/IEC 23008、あるいはITU-T H.265)が策定されている。
【０００３】
これらの符号化標準は、符号化対象のピクチャを符号化済のピクチャの情報を用いて符号化するインター予測符号化方式と、符号化対象のピクチャが持つ情報のみを用いて符号化対象のピクチャを符号化するイントラ予測符号化方式を採用している。
【０００４】
インター予測符号化時に符号化対象ピクチャが参照するピクチャ（参照ピクチャ）は、Group of Pictures (GOP)によって一意に定められる。GOPは、動画像データに含まれるピクチャの符号化順序及び参照関係を規定する符号化構造の一例である。GOPでは、各ピクチャは、Iピクチャ、Pピクチャ及びBピクチャの何れかに設定される。Iピクチャは、イントラ予測符号化方式のみが適用されるピクチャである。Pピクチャは、１方向、例えば、再生順序で前方向の参照ピクチャを参照するインター予測符号化方式が適用可能なピクチャである。そしてBピクチャは、２方向、例えば、再生順序で前方向の参照ピクチャと後方向の参照ピクチャを参照するインター予測符号化方式が適用可能なピクチャである。なお、以下では、説明の便宜上、Pピクチャ及びBピクチャを、インター予測符号化ピクチャと呼ぶことがある。
【０００５】
Bピクチャが使用される場合、符号化対象のピクチャに含まれるブロックについて動きベクトル探索を行うために、動画像符号化装置は、複数の参照ピクチャをメモリから読み出す。また、Bピクチャよりも再生順序が後の参照ピクチャを先に符号化することが求められるため、ピクチャの順序を入れ替えるリオーダリング処理が実行される。そのため、動画像符号化装置は、単純に再生順序に従ってメモリから参照ピクチャを読み出すのではなく、場合によっては、同一の参照ピクチャを異なるタイミングで何度もメモリから読み出すことになる。そのため、動き探索のためのメモリアクセス量が増大し、その結果として、符号化処理に要する時間が長くなってしまう。そこで、動きベクトル探索の際にメモリから読み出す参照ピクチャのデータ量を削減する技術が提案されている（例えば、特許文献１を参照）。
【０００６】
特許文献１に開示された動きベクトル探索装置は、Bピクチャの符号化におけるベクトル探索処理のうち、前方予測に用いる前方動きベクトル探索を符号化処理と非同期に行えるようにし、フレームメモリアクセスを分散させる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−１７４１０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一方、GOPの一種として、時間方向について階層構造を持つGOPが提案されている。このGOPでは、ピクチャごとに、そのピクチャが属するレイヤが規定される。レイヤは、階層符号化におけるピクチャの階層を示す。例えば、HEVC規格では、NAL Unit Headerに含まれるNuhTemporalIdPlus1パラメータによって、ピクチャのレイヤレベル(0, 1, 2, ...)が示される。階層構造を持つGOPでは、レイヤレベルがNのピクチャは、レイヤレベルがN以下のピクチャのみを参照して符号化されるように、参照関係が制約される。これにより、動画像復号装置は、最大のレイヤレベルをM(Mは1以上の整数)とするビットストリームから、レイヤレベルがN(Nは整数、ただしN < M)以下の符号化ピクチャのみを切り出したサブストリームを作成できる。そして動画像復号装置は、そのサブストリーム内の符号化ピクチャの全てを正常復号できる。
【０００９】
このような階層構造を持つGOPが適用される場合、複数のリオーダリングが重なるために、符号化対象ピクチャの順序と参照ピクチャの読み出し順序が一致しない。そのため、階層構造を持つGOPが適用された動画像データに対して、特許文献１に開示された技術は、参照ピクチャ読出しのメモリアクセス量を十分に削減できないことがある。
【００１０】
そこで本明細書は、階層構造を持つGOPが適用される動画像データに対しても、動きベクトル探索の際の参照ピクチャ読出しのメモリアクセス量を削減できる動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
一つの実施形態によれば、動画像符号化装置が提供される。この動画像符号化装置は、動画像に含まれるピクチャが入力される度にそのピクチャを記憶する記憶部と、ピクチャのうち、動画像に含まれるピクチャの符号化順序及び参照関係を規定する符号化構造に従って決定される参照ピクチャを参照して符号化されるインター予測符号化ピクチャについて、そのインター予測符号化ピクチャに含まれるブロックごとに、参照ピクチャに基づいて動きベクトルを算出して記憶部に記憶させる動き探索部と、符号化順序に従って、インター予測符号化ピクチャが符号化される順序になると、そのインター予測符号化ピクチャをブロックごとの動きベクトルを用いて符号化し、かつ、符号化されたインター予測符号化ピクチャを復号して局所復号ピクチャを生成し、局所復号ピクチャを記憶部に記憶させる符号化部と、入力されたピクチャのうち、または局所復号ピクチャのうちの第１のピクチャと、第１のピクチャを参照ピクチャとする二つのインター予測符号化ピクチャとが記憶部に記憶されると、動き探索部に、記憶部から第１のピクチャ及びその二つのインター予測符号化ピクチャを読み出させて、その二つのインター予測符号化ピクチャのそれぞれについて、第１のピクチャを参照ピクチャとして動きベクトルを算出させる制御部とを有する。
【００１２】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１３】
本明細書に開示された動画像符号化装置は、階層構造を持つGOPが適用される動画像データに対しても、動きベクトル探索の際の参照ピクチャ読出しのメモリアクセス量を削減できる。
【図面の簡単な説明】
【００１４】
【図１】３層構造のGOPが適用される場合における、各ピクチャの符号化順序と、動きベクトル探索の順序との関係の一例を示す図である。
【図２】動画像符号化装置の概略構成図である。
【図３】３層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。
【図４】動画像符号化処理の動作フローチャートである。
【図５】変形例による、３層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。
【図６】他の変形例による、４層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。
【図７】さらに他の変形例による、４層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。
【図８】さらに他の変形例による、５層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。
【図９】さらに他の変形例による、５層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。
【図１０】実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１５】
以下、図を参照しつつ、動画像符号化装置について説明する。最初に、階層構造を持つGOPが適用される場合における、各ピクチャの符号化順序と、動きベクトル探索の順序との関係について説明する。
【００１６】
図１は、３層構造のGOPが適用される場合における、各ピクチャの符号化順序と、動きベクトル探索の順序との関係の一例を示す図である。図１において、横軸は、時間を表す。また、図１の上段には、GOP１００に含まれる各ピクチャの入力順序と参照関係が示されている。矢印は、符号化時の参照関係を表し、矢印の基点のピクチャが矢印の先端のピクチャを参照する。また、中段には、各ピクチャの符号化順序が示されている。そして下段には、動きベクトル探索の処理対象となるピクチャ（以下、処理対象ピクチャと呼ぶ）と、その処理対象ピクチャが参照する参照ピクチャの組が動きベクトル探索の実行タイミングごとに示されている。
【００１７】
GOP１００は、ピクチャI0〜P8を含む。このうち、ピクチャI0は、Iピクチャであり、ピクチャP4及びP8は、Pピクチャである。また、ピクチャB1〜B3及びB5〜B7は、それぞれ、Bピクチャである。またtIDは、レイヤを表す。これらのピクチャのうち、ピクチャI0、P4及びP8は、一番上のレイヤ(tID=0)に含まれ、ピクチャB2及びB6は、２番目のレイヤ(tID=1)に含まれ、ピクチャB1、B3、B5及びB7は、一番下のレイヤ(tID=2)に含まれている。したがって、２番目のレイヤに含まれるピクチャB2及びB6は、一番上のレイヤに含まれるピクチャI0、P4及びP8の何れかを参照して符号化される。一方、一番下のレイヤに含まれるピクチャB1、B3、B5及びB7は、一番上のレイヤに含まれるピクチャI0、P4及びP8と、２番目のレイヤに含まれるピクチャB2及びB6の何れかを参照して符号化される。そしてこの例では、一番上のレイヤに含まれるピクチャから順に符号化される。すなわち、I0→P4→B2→B1→B3→P8→B6→B5→B7の順に符号化される。
【００１８】
そのため、同一の参照ピクチャに対して、前方向の動きベクトル探索で参照するピクチャと後方向の動きベクトル探索で参照するピクチャとの処理順序が異なっている。例えば、前方向の動きベクトル探索では、ピクチャB3、B6、B5が、それぞれ、B2→P4→P4の順に参照するのに対して、後方向の動きベクトル探索では、ピクチャB2、B1、B3が、それぞれ、P4→B2→P4の順に参照する。そのため、このGOP１００に対しては、引用文献１に記載の技術を適用しても、同一のピクチャを前方向の動きベクトル探索で参照するピクチャと後方向の動きベクトル探索で参照するピクチャとが、同時に動きベクトル探索を行うことができないことがある。
【００１９】
そこで本実施形態では、動画像符号化装置は、前方向の動きベクトル探索だけでなく、後方向の動きベクトル探索も、ピクチャの符号化と独立して実行する。そしてこの動画像符号化装置は、共通の参照ピクチャを参照する二つのインター予測符号化ピクチャが入力されると、その参照ピクチャとその二つのインター予測符号化ピクチャをバッファから読み出す。そしてこの動画像符号化装置は、その二つのインター予測符号化ピクチャのそれぞれについて、共通の参照ピクチャを参照する動きベクトル探索を実行する。
【００２０】
なお、この実施形態では、動画像符号化装置は、動きベクトル探索の参照ピクチャとして、オリジナルのピクチャ（すなわち、符号化される前のピクチャ）を利用するものとする。
【００２１】
図２は、一つの実施形態による、動画像符号化装置の概略構成図である。
動画像符号化装置１は、制御部１１と、入力ピクチャバッファ１２と、動き探索部１３と、動きベクトルバッファ１４と、符号化部１５と、参照ピクチャバッファ１６とを有する。
動画像符号化装置１が有するこれらの各部は、それぞれ、別個の回路として動画像符号化装置１に実装される。あるいは、動画像符号化装置１が有するこれらの各部は、その各部の機能を実現する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。あるいはまた、動画像符号化装置１が有するこれらの各部のうち、制御部１１、動き探索部１３及び符号化部１５は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。一方、入力ピクチャバッファ１２、動きベクトルバッファ１４、及び参照ピクチャバッファ１６は、動画像符号化装置１が有する読み書き可能な一つまたは複数のメモリモジュールのうちの互いに異なる記憶領域として実装されてもよい。
【００２２】
また、本実施形態では、動画像符号化装置１は、階層構造のGOPが適用可能な何れの符号化方式に従って動画像データを符号化してもよい。例えば、動画像符号化装置１は、HEVCに準拠して動画像データを符号化する。
【００２３】
制御部１１は、図示しない外部からの制御信号あるいは予め定められた設定に基づいて、符号化対象となる動画像データに適用される、階層構造を持つGOPを決定する。そして制御部１１は、そのGOPに従って、各ピクチャのピクチャタイプ（Iピクチャ、Pピクチャ、Bピクチャの何れか）及び各ピクチャが属するレイヤを決定する。
【００２４】
また制御部１１は、動画像データに含まれる各ピクチャが、その再生順序に従って入力される度に、その入力されたピクチャを入力ピクチャバッファ１２に書き込む。さらに、制御部１１は、GOPと、各ピクチャの入力順序（すなわち、再生順序）及び符号化順序に基づいて、Pピクチャ及びBピクチャのそれぞれについての動きベクトル探索の実行タイミングを決定する。そして制御部１１は、そのタイミングに応じて動き探索部１３に処理対象ピクチャ及び参照ピクチャの読出しを指示する。さらに、制御部１１は、GOPに応じた各ピクチャの符号化順序に従って、各ピクチャの符号化タイミングを決定する。そして制御部１１は、その符号化タイミングに応じて符号化部１５に符号化対象ピクチャの読出しを指示する。
なお、動きベクトル探索の際の各ピクチャの読出しタイミングの決定の詳細については後述する。
【００２５】
入力ピクチャバッファ１２は、記憶部の一例であり、符号化対象となる動画像データに含まれる各ピクチャを、符号化処理が終了するまで一時的に保存する。入力ピクチャバッファ１２には、動画像データに含まれる各ピクチャは、その再生順序に従って入力される。
【００２６】
動き探索部１３は、制御部１１から通知されたタイミングで、最大二つの処理対象ピクチャと、それらの処理対象ピクチャが共通に参照する参照ピクチャとを入力ピクチャバッファ１２から読み出す。その際、動き探索部１３が前方向の動きベクトル探索を行う場合には、処理対象ピクチャよりも再生順序で前のピクチャが参照ピクチャとなる。一方、動き探索部１３が後方向の動きベクトル探索を行う場合には、処理対象ピクチャよりも再生順序で後のピクチャが参照ピクチャとなる。そして動き探索部１３は、処理対象ピクチャごとに、その処理対象ピクチャに含まれる、動きベクトル探索の処理単位となるブロックごとに動きベクトル探索処理を実行する。そして動き探索部１３は、各処理対象ピクチャについて、ブロックごとに動きベクトルを算出する。動き探索部１３は、動きベクトル探索処理として、例えば、ブロックごとに、参照ピクチャとの間で相対的な位置を変えながらブロックマッチングを実行し、そのブロックと最も一致する参照ピクチャ上の領域を検出する。そして動き探索部１３は、そのブロックと最も一致する参照ピクチャ上の領域間のシフト量を表すベクトルを動きベクトルとする。また、動きベクトルには、参照したピクチャを表す情報が付されてもよい。
【００２７】
また、動きベクトル探索の処理単位となるブロックは、例えば、動画像符号化装置１がHEVCに準拠する場合、Prediction Unit（PU）である。この場合、動き探索部１３は、符号化コストに応じて実際に適用するPUサイズを符号化部１５が決定できるように、処理対象ピクチャに含まれるCoding Tree Unit(CTU)ごとに、互いに異なる複数のサイズのPUのそれぞれについて動きベクトルを算出してもよい。
【００２８】
動き探索部１３は、処理対象ピクチャごとに、その処理対象ピクチャの各ブロックについて求めた動きベクトルを、処理対象ピクチャの識別情報及びその動きベクトルについてのブロックの識別情報とともに動きベクトルバッファ１４に保存する。
【００２９】
動きベクトルバッファ１４は、記憶部の他の一例であり、Pピクチャ及びBピクチャの各ブロックについて求められた動きベクトルを、そのピクチャの識別情報及びブロックの識別情報とともに一時的に保存する。そして動きベクトルバッファ１４は、符号化対象ピクチャの各ブロックの動きベクトルを、符号化部１５へ出力する。
【００３０】
符号化部１５は、制御部１１から指示された、動画像データに含まれる各ピクチャを、GOPによって定められた符号化順序に従って、順次情報源符号化する。具体的には、符号化部１５は、符号化対象ピクチャのピクチャタイプに応じて、ブロックごとに、適用可能な符号化モードのそれぞれについて符号化コストを算出する。そして符号化部１５は、ブロックごとに、符号化コストが最小となる符号化モードでそのブロックを符号化する。
【００３１】
その際、符号化部１５は、符号化対象ピクチャのピクチャタイプがPピクチャまたはBピクチャである場合、動きベクトルバッファ１４から、そのピクチャの各ブロックについての動きベクトルを読み込む。さらに、符号化部１５は、その動きベクトルで参照される、符号化済みのピクチャを参照ピクチャとして、参照ピクチャバッファ１６から読み込む。さらに、符号化部１５は、符号化対象ピクチャの各ブロックについてイントラ予測符号化モードを適用して予測ブロックを生成するために参照される、符号化対象ピクチャの符号化済みの領域に含まれる画素値を参照ピクチャバッファ１６から読み込む。符号化部１５は、それらの参照ピクチャまたは符号化済みの領域の画素値を利用して、着目するブロックについて適用可能な符号化モード及びブロックのサイズの組み合わせごとに、予測ブロックを生成する。そして符号化部１５は、例えば、生成された予測ブロックごとに、着目するブロックとその予測ブロック間の対応画素間の画素値の差分絶対値和などに基づいて符号化コストを算出する。なお、符号化部１５は、公知の様々な方法の何れかに従って符号化コストを算出すればよい。
【００３２】
符号化部１５は、着目するブロックに適用される符号化モードが一方向のインター予測符号化モードである場合、動きベクトルバッファ１４から読み込んだそのブロックの動きベクトルに基づいて、参照ピクチャを動き補償することで予測ブロックを生成する。
【００３３】
また、着目するブロックに適用される符号化モードが双方向のインター予測符号化モードである場合、符号化部１５は、二つの動きベクトルのそれぞれによって特定された参照ピクチャ上の領域を、その対応する動きベクトルで動き補償する。そして符号化部１５は、動き補償により得られた二つの補償画像の対応する画素間で画素値を平均することにより予測ブロックを生成する。あるいは、符号化部１５は、その二つの補償画像の対応する画素の値に、対応する参照ピクチャと符号化対象ピクチャ間の時間が短いほど大きい重み係数を乗じて加重平均することにより、予測ブロックを生成してもよい。
【００３４】
一方、符号化部１５は、着目するブロックに適用される符号化モードがイントラ予測符号化モードである場合、着目するブロックの例えば、左側または上側に隣接する、符号化済みの画素の値に基づいて予測ブロックを生成する。
【００３５】
符号化部１５は、ブロックごとに、ブロックと予測ブロックとの差分演算を実行する。そして符号化部１５は、その差分演算により得られたブロック内の各画素に対応する差分値を、予測誤差信号とする。
【００３６】
符号化部１５は、ブロックの予測誤差信号を直交変換することにより、予測誤差変換係数を求める。例えば、符号化部１５は、直交変換処理として、離散コサイン変換（Discrete Cosine Transform、DCT）を利用できる。
【００３７】
次に、符号化部１５は、予測誤差変換係数を量子化することにより、その予測誤差変換係数の量子化係数を算出する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、符号化部１５は、予測誤差変換係数から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その予測誤差変換係数を量子化する。さらに、符号化部１５は、量子化された予測誤差変換係数及び動きベクトル等をエントロピー符号化する。なお、符号化部１５は、エントロピー符号化として、例えば、Context-based Adaptive Binary Arithmetic Coding(CABC)といった算術符号化、またはContext-based Adaptive VLC(CAVLC)といったハフマン符号化の手法を利用できる。
【００３８】
符号化部１５は、動画像符号化装置１が準拠する符号化方式に従ったヘッダ情報を、符号化されたピクチャの情報を含むビットストリームに付す。そして符号化部１５は、そのビットストリームを出力する。
【００３９】
また符号化部１５は、各ブロックの量子化された予測誤差変換係数から、そのブロックよりも符号化順で後のブロックが参照可能なように、各ブロックを復号する。そのために、符号化部１５は、量子化された予測誤差変換係数に、量子化幅に相当する所定数を乗算することにより、量子化された予測誤差変換係数を逆量子化する。この逆量子化により、ブロックの予測誤差変換係数が復元される。その後、符号化部１５は、予測誤差変換係数を逆直交変換処理する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。
【００４０】
符号化部１５は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算する。これらの処理を各ブロックについて実行することにより、符号化部１５は、各ブロックを復号する。符号化部１５は、ブロックを復号する度に、そのブロックを、参照ピクチャバッファ１６へ書き込む。そして符号化対象ピクチャの全てのブロックについて復号されると、参照ピクチャバッファ１６には、その符号化対象ピクチャが一旦符号化されてから復号されたピクチャ（以下、局所復号ピクチャと呼ぶ）が記憶されることになる。なお、一旦符号化されてから復号されたピクチャは、局所復号ピクチャと呼称される代わりに、局部復号ピクチャと呼称されることもある。また、符号化部１５は、ブロック間のブロックノイズを低減するために、参照ピクチャバッファ１６に記憶されている局所復号ピクチャに対してデブロッキングフィルタ処理を実行してもよい。
【００４１】
参照ピクチャバッファ１６は、記憶部の他の一例であり、参照ピクチャとして利用される可能性の有る局所復号ピクチャを保存する。そして参照ピクチャバッファ１６は、符号化部１５が参照ピクチャとして参照する局所復号ピクチャのデータを符号化部１５へ出力する。
【００４２】
以下、制御部１１により実行される、動きベクトル探索の際の各ピクチャの読出しタイミングの決定動作の詳細について説明する。
【００４３】
本実施形態では、制御部１１は、以下の２点を考慮して、動きベクトル探索の際の各ピクチャの読出しタイミングを決定する。
（１）階層構造化されたGOPでは、レイヤが浅いほど、すなわち、tIDが小さい上側のレイヤほど、そのレイヤに属するピクチャの参照間隔は長くなる。例えば、各レイヤにおいて、再生順序で連続するBピクチャがない場合、すなわち、各レイヤにおいて、そのレイヤに属するBピクチャが再生順序で不連続である場合、tID=i(i=0,1,2,..,N)のレイヤの参照間隔は2(N-i)となる。例えば、３層構造のGOPで、各レイヤに属するBピクチャが再生順序で不連続である場合、一番上のレイヤの参照間隔は4であり、上から２番目のレイヤの参照間隔は2であり、一番下のレイヤの参照間隔は1である。ただしNは、最も深いレイヤのtID、すなわち、(階層数-1)である。また、各レイヤにおいて再生順序で連続するBピクチャの枚数がM枚である場合、tID=i(i=0,1,2,..,N)のレイヤの参照間隔は(M+1)(N-i)となる。したがって、制御部１１は、最大となる参照間隔により定まる遅延の最大値よりも動きベクトル探索の遅延が少なくなるように、各インター予測符号化ピクチャについての動きベクトル探索の実行タイミングを決定すればよい。
（２）参照ピクチャとなる各ピクチャについて、Pピクチャによる一方向予測により参照される回数を除くと、前方向予測で参照される回数と後方向予測で参照される回数は同一、すなわち、参照される回数は偶数となる。したがって、動き探索部１３は、参照ピクチャとなる各ピクチャを、二つのインター予測符号化ピクチャが同時に参照ピクチャとして動きベクトル探索処理を実行することで、入力ピクチャバッファ１２からピクチャを読み出す回数が最小化される。なお、その二つのインター予測符号化ピクチャについての探索方向の組み合わせの制限はない。
【００４４】
例えば、制御部１１は、入力ピクチャバッファ１２に書き込まれたピクチャのうち、レイヤが一番下（すなわち、tIDが最も大きいレイヤ）以外のピクチャを着目ピクチャとする。そして制御部１１は、着目ピクチャを参照ピクチャとする二つのピクチャが入力ピクチャバッファ１２に書き込まれると、着目ピクチャ及び着目ピクチャを参照する二つのピクチャを動き探索部１３に読み出させる。
また、本実施形態では、動きベクトル探索の際の参照ピクチャとして、入力ピクチャバッファ１２に格納された、オリジナルのピクチャを利用する。そのため、着目ピクチャの符号化が完了していなくても、動き探索部１３は、その着目ピクチャを参照ピクチャとして利用できる。したがって、参照ピクチャとなるピクチャの順序は、入力ピクチャバッファ１２への入力順、すなわち、再生順序とすると、待ち時間が一番少なくなる。
【００４５】
図３は、３層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。図３において、横軸は、時間を表す。また、図３の上段には、GOP３００に含まれる各ピクチャの入力順序と参照関係が示されている。矢印は、符号化時の参照関係を表し、矢印の基点のピクチャが矢印の先端のピクチャを参照する。また、中段には、各ピクチャの符号化順序が示されている。そして下段には、動きベクトル探索のタイミングごとの処理対象ピクチャと参照ピクチャとの組み合わせが示されている。
【００４６】
GOP３００は、ピクチャI0〜P8を含み、図１に示されたGOP１００と同様の構造を有する。
そのため、一番下のレイヤ以外のレイヤに属するピクチャI0、B2、P4、B6、P8が参照ピクチャとなる。したがって、制御部１１は、これらのピクチャのそれぞれについて、そのピクチャを参照する二つのピクチャが入力ピクチャバッファ１２に書き込まれると、動き探索部１３へそのピクチャを参照ピクチャとする動きベクトル探索を実行することを指示する。
【００４７】
すなわち、ピクチャI0、B2、P4、B6、P8について、下記の（１）〜（６）に示すタイミングが、そのピクチャを参照ピクチャとする二つの動きベクトル探索を同時実行可能な最も早いタイミングとなる。
（１）参照ピクチャ：I0
ピクチャB2が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB1、B2がピクチャI0を参照）
（２）参照ピクチャ：B2
ピクチャB3が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB1、B3がピクチャB2を参照）
（３）参照ピクチャ：P4
ピクチャP4が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB2、B3がピクチャP4を参照）
（４）参照ピクチャ：P4
ピクチャB6が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB5、B6がピクチャP4を参照）
（５）参照ピクチャ：B6
ピクチャB7が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB5、B7がピクチャB6を参照）
（６）参照ピクチャ：P8
ピクチャP8が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB6、B7がピクチャP8を参照）
この他、ピクチャP4、P8についての一方向のみの動きベクトル探索を実行可能な最も早いタイミングは以下のタイミングとなる。
（７）参照ピクチャ：I0
ピクチャP4が入力ピクチャバッファ１２に書き込まれた時点
（８）参照ピクチャ：P4
ピクチャP8が入力ピクチャバッファ１２に書き込まれた時点
【００４８】
したがって、制御部１１は、図３の下段に示されるように、（１）→（２）→（７）→（３）→（４）→（５）→（８）→（６）の順序で、各参照ピクチャに対する動きベクトル探索の実行を動き探索部１３へ指示する。
なお、制御部１１は、（７）と（３）の順序を入れ替えてもよい。また、制御部１１は、（８）と（６）の順序を入れ替えてもよい。
【００４９】
この例では、GOP内の最後のピクチャP8が最後に２回連続して参照ピクチャとなるため、ピクチャP8が入力ピクチャバッファ１２に書き込まれたタイミングよりも、動きベクトル探索の終了タイミングが１ピクチャ分遅くなる。しかし、リオーダリングにより入れ替えられるピクチャ間の最大間隔が４ピクチャなので、最も符号化のタイミングが遅いピクチャB7の符号化よりも先に全ての動きベクトル探索が終了する。
【００５０】
上記の順序及びタイミングで動きベクトル探索を実行するために、GOP構造に応じて、各ピクチャの入力ピクチャバッファ１２への書込みタイミングと、動きベクトル探索における参照ピクチャと処理対象ピクチャの組み合わせを表す参照テーブルが作成される。そしてその参照テーブルは、制御部１１が有するメモリに予め格納される。そして制御部１１は、入力ピクチャバッファ１２にピクチャを書き込む度に、参照テーブルを参照して、書き込まれたピクチャに応じた参照ピクチャと処理対象ピクチャの組み合わせを特定し、その組み合わせを動き探索部１３へ通知する。これにより、動き探索部１３は、入力ピクチャバッファ１２へのメモリアクセスを削減しつつ、かつ、各ピクチャの符号化タイミングまでに、そのピクチャについての動きベクトル探索を実行できる。
【００５１】
図４は、動画像符号化処理の動作フローチャートである。動画像符号化装置１は、動画像データに含まれるピクチャが入力される度に、以下の動作フローチャートにしたがって動画像符号化処理を実行する。
【００５２】
制御部１１は、入力されたピクチャを入力ピクチャバッファ１２へ書き込む（ステップＳ１０１）。そして制御部１１は、参照テーブルを参照して、GOPに従って、入力ピクチャバッファ１２に記憶されているピクチャの中から処理対象ピクチャと参照ピクチャとが揃った組み合わせを特定する（ステップＳ１０２）。そして制御部１１は、その組み合わせを動き探索部１３へ通知する。
【００５３】
動き探索部１３は、通知された参照ピクチャと処理対象ピクチャの組み合わせにしたがって、入力ピクチャバッファ１２から、参照ピクチャと処理対象ピクチャとを読み込み、動きベクトル探索処理を実行する（ステップＳ１０３）。そして動き探索部１３は、処理対象ピクチャの各ブロックについて算出した動きベクトルを動きベクトルバッファ１４へ保存する（ステップＳ１０４）。
【００５４】
一方、制御部１１は、GOPに応じた符号化順序にしたがって、符号化対象ピクチャを特定する（ステップＳ１０５）。そして制御部１１は、特定した符号化対象ピクチャを符号化部１５へ通知する。
【００５５】
符号化部１５は、通知された符号化対象ピクチャを入力ピクチャバッファ１２から読み込むとともに、その符号化対象ピクチャの各ブロックの動きベクトルを動きベクトルバッファ１４から読み込む。そして符号化部１５は、各ブロックの動きベクトルを利用して、符号化対象ピクチャを符号化する（ステップＳ１０６）。
そして動画像符号化装置１は、動画像符号化処理を終了する。
【００５６】
以上に説明してきたように、本実施形態による動画像符号化装置は、前方向の動きベクトル探索だけでなく、後方向の動きベクトル探索も、ピクチャの符号化処理と独立して実行する。またこの動画像符号化装置は、着目ピクチャについて、その着目ピクチャ及びその着目ピクチャを参照ピクチャする二つのインター予測符号化ピクチャが入力されると、その着目ピクチャを参照ピクチャとする動きベクトル探索処理を実行する。これにより、この動画像符号化装置は、適用されるGOPが階層構造を有している場合でも、参照ピクチャを入力ピクチャバッファから読み出す回数を削減できるので、動きベクトル探索の際のメモリアクセス量を削減できる。
【００５７】
変形例によれば、動き探索部１３は、動きベクトル探索の参照ピクチャとして、符号化部１５により一旦符号化され、参照ピクチャバッファ１６に記憶されている局所復号ピクチャを利用してもよい。これにより、特に動画像符号化による画質劣化を無視できない場合、すなわち、符号化前後でのピクチャの変化が無視できない場合において、動き探索部１３は、予測ブロックの生成に利用するピクチャと同じピクチャを参照ピクチャとして利用できる。そのため、動き探索部１３は、より適切な動きベクトルを算出できる可能性が高くなる。
【００５８】
この場合、制御部１１は、動きベクトル探索の参照ピクチャと処理対象ピクチャの組み合わせを決定する際に、参照ピクチャの順序を符号化順序と同一とすることが好ましい。これにより、制御部１１は、各ピクチャについて、動きベクトル探索を実行するタイミングと符号化のタイミング間の遅延を最小化できる。
【００５９】
図５は、この変形例による、３層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。図５において、横軸は、時間を表す。また、図５の上段には、GOP５００に含まれる各ピクチャの入力順序と参照関係が示されている。矢印は、符号化時の参照関係を表し、矢印の基点のピクチャが矢印の先端のピクチャを参照する。また、中段には、各ピクチャの符号化順序が示されている。そして下段には、動きベクトル探索のタイミングごとの処理対象ピクチャと参照ピクチャとの組み合わせが示されている。
【００６０】
GOP５００は、ピクチャI0〜P8を含み、図３に示されたGOP３００と同様の構造を有する。そのため、この例でも、一番下のレイヤ以外のレイヤに属するピクチャI0、B2、P4、B6、P8が参照ピクチャとなる。そしてこれらのピクチャは、I0→P4→B2→P8→B6の順に符号化される。したがって、制御部１１は、I0→P4→B2→P8→B6の順に、これらの局所復号ピクチャを参照ピクチャとする動きベクトル探索を動き探索部１３へ実行させる。すなわち、上記の（１）〜（８）について、制御部１１は、図５の下段に示されるように、（１）→（７）→（３）→（２）→（４）→（８）→（６）→（５）の順序で、各参照ピクチャに対する動きベクトル探索の実行を動き探索部１３へ指示する。
【００６１】
この例では、上記の実施形態よりも、最後の動きベクトル探索の実行タイミングが１ピクチャ分遅くなる。しかし、リオーダリングにより入れ替えられるピクチャ間の最大間隔が４ピクチャなので、上記の実施形態同様、最も符号化のタイミングが遅いピクチャB7の符号化よりも先に全ての動きベクトル探索が終了する。
【００６２】
なお、この変形例においても、各ピクチャの入力ピクチャバッファ１２への書込みタイミングと、動きベクトル探索における参照ピクチャと処理対象ピクチャの組み合わせを表す参照テーブルが作成される。そしてその参照テーブルは、制御部１１が有するメモリに予め格納される。そして制御部１１は、入力ピクチャバッファ１２にピクチャが書き込まれる度に、参照テーブルを参照して、書き込まれたピクチャに応じた参照ピクチャと処理対象ピクチャの組み合わせを特定すればよい。
【００６３】
また、この動画像符号化装置に適用可能な階層構造は３層構造に限られない。例えば、４層以上の多層構造を持つGOPが適用されてもよい。
【００６４】
図６は、この変形例による、４層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。図６において、横軸は、時間を表す。また、図６の上段には、GOP６００に含まれる各ピクチャの入力順序と参照関係が示されている。矢印は、符号化時の参照関係を表し、矢印の基点のピクチャが矢印の先端のピクチャを参照する。また、中段には、各ピクチャの符号化順序が示されている。そして下段には、動きベクトル探索のタイミングごとの処理対象ピクチャと参照ピクチャとの組み合わせが示されている。
GOP６００は、ピクチャI0〜P8を有する。ただし、GOP６００は、図３に示されるGOP３００と比較して、ピクチャB4が、ピクチャI0とピクチャP8とを参照するBピクチャに変更されている。
【００６５】
GOP６００では、ピクチャI0及びP8は、一番上のレイヤ(tID=0)に含まれ、ピクチャB4は、２番目のレイヤ(tID=1)に含まれる。そしてピクチャB2及びB6は、３番目のレイヤ(tID=2)に含まれ、残りのピクチャB1、B3、B5及びB7は、一番下のレイヤ(tID=3)に含まれている。したがって、２番目のレイヤに含まれているピクチャB4は、一番上のレイヤに含まれているピクチャI0及びP8を参照して符号化される。３番目のレイヤに含まれるピクチャB2及びB6は、一番下のレイヤに含まれるピクチャI0及びP8と、２番目のレイヤに含まれるピクチャB4の何れかを参照して符号化される。そして一番下のレイヤに含まれるピクチャB1、B3、B5及びB7は、他のレイヤに含まれる何れかのピクチャを参照して符号化される。そしてこの例では、一番上のレイヤに含まれるピクチャから順に符号化される。すなわち、I0→P8→B4→B2→B1→B3→B6→B5→B7の順に符号化される。そして、一番下のレイヤ以外のレイヤに属するピクチャI0、B2、B4、B6、P8が参照ピクチャとなる。
【００６６】
上記の実施形態と同様に、符号化される前のオリジナルのピクチャを動きベクトル探索の参照ピクチャとして利用する場合、制御部１１は、原則として、再生順序に従って、ピクチャI0→B2→B4→B6→P8の順にこれらのピクチャを参照ピクチャとする。ただし、着目ピクチャを参照する二つのインター予測符号化ピクチャが入力ピクチャバッファ１２に書き込まれるよりも先に、着目ピクチャよりも後のピクチャを参照する二つのインター予測符号化ピクチャが入力ピクチャバッファ１２に書き込まれることがある。この場合には、制御部１１は、着目ピクチャよりも後のピクチャを参照ピクチャとする動きベクトル探索を動き探索部１３に優先して実行させてもよい。
【００６７】
具体的には、ピクチャI0、B2、B4、B6、P8について、下記の（１）〜（８）に示すタイミングが、そのピクチャを参照ピクチャとする二つの動きベクトル探索を同時実行可能な最も早いタイミングとなる。
（１）参照ピクチャ：I0
ピクチャB2が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB1、B2がピクチャI0を参照）
（２）参照ピクチャ：I0
ピクチャP8が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB4、P8がピクチャI0を参照）
（３）参照ピクチャ：B2
ピクチャB3が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB1、B3がピクチャB2を参照）
（４）参照ピクチャ：B4
ピクチャB4が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB2、B3がピクチャP4を参照）
（５）参照ピクチャ：B4
ピクチャB6が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB5、B6がピクチャP4を参照）
（６）参照ピクチャ：B6
ピクチャB7が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB5、B7がピクチャB6を参照）
（７）参照ピクチャ：P8
ピクチャP8が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB4、B6がピクチャP8を参照）
（８）参照ピクチャ：P8
ピクチャP8が入力ピクチャバッファ１２に書き込まれた時点（ピクチャB7がピクチャP8を参照）
【００６８】
したがって、制御部１１は、図６の下段に示されるように、（１）→（３）→（４）→（５）→（６）→（２）→（７）→（８）の順序で、各参照ピクチャに対する動きベクトル探索の実行を動き探索部１３へ指示する。また制御部１１は、ピクチャP8よりも後の各ピクチャについても同様に動きベクトル探索のタイミングを決定すればよい。
なお、制御部１１は、（１）と（３）の順序を入れ替えてもよい。また、制御部１１は、（４）と（５）の順序を入れ替えてもよい。さらに、制御部１１は、（２）、（７）、（８）の順序を入れ替えてもよい。
【００６９】
図７は、さらに他の変形例による、４層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。この変形例では、図５に示された変形例と同様に、動き探索部１３は、局所復号ピクチャを動きベクトル探索の参照ピクチャとして利用する。
【００７０】
図７において、横軸は、時間を表す。また、図７の上段には、GOP７００に含まれる各ピクチャの入力順序と参照関係が示されている。矢印は、符号化時の参照関係を表し、矢印の基点のピクチャが矢印の先端のピクチャを参照する。また、中段には、各ピクチャの符号化順序が示されている。そして下段には、動きベクトル探索のタイミングごとの処理対象ピクチャと参照ピクチャとの組み合わせが示されている。
【００７１】
GOP７００は、図６に示されるGOP６００と同じ４層構造を持つ。そのため、この例でも、一番下のレイヤ以外のレイヤに属するピクチャI0、B2、B4、B6、P8が参照ピクチャとなる。そしてこれらのピクチャは、I0→P8→B4→B2→B6の順に符号化される。したがって、制御部１１は、原則として、符号化順序に従って、I0→P8→B4→B2→B6の順に、これらの局所復号ピクチャを参照ピクチャとする動きベクトル探索を動き探索部１３へ実行させる。なお、着目する局所復号ピクチャを参照する二つのインター予測符号化ピクチャが入力ピクチャバッファ１２に保存される前に、着目する局所復号ピクチャよりも後の局所復号ピクチャを参照する二つのインター予測符号化ピクチャが入力されることがある。この場合には、制御部１１は、着目する局所復号ピクチャよりも後の局所復号ピクチャを参照ピクチャとする動きベクトル探索を動き探索部１３に優先して実行させてもよい。
【００７２】
すなわち、上記の（１）〜（８）について、制御部１１は、図７の下段に示されるように、（１）→（２）→（７）→（４）→（３）→（８）→（５）→（６）の順序で、各参照ピクチャに対する動きベクトル探索の実行を動き探索部１３へ指示する。
【００７３】
図８は、さらに他の変形例による、５層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。図８において、横軸は、時間を表す。また、図８の上段には、GOP８００に含まれる各ピクチャの入力順序と参照関係が示されている。矢印は、符号化時の参照関係を表し、矢印の基点のピクチャが矢印の先端のピクチャを参照する。また、中段には、各ピクチャの符号化順序が示されている。そして下段には、動きベクトル探索のタイミングごとの処理対象ピクチャと参照ピクチャとの組み合わせが示されている。
【００７４】
GOP８００は、ピクチャI0〜P16を有する。GOP８００では、ピクチャI0及びP16は、一番上のレイヤ(tID=0)に含まれ、ピクチャB8は、２番目のレイヤ(tID=1)に含まれる。ピクチャB4及びB12は、３番目のレイヤ(tID=2)に含まれ、ピクチャB2、B6、B10、B14が４番目のレイヤ(tID=3)に含まれる。そして残りのピクチャB1、B3、B5、B7、B9、B11、B13及びB15は、一番下のレイヤ(tID=4)に含まれる。したがって、２番目のレイヤに含まれるピクチャB8は、一番上のレイヤに含まれているピクチャI0及びP16を参照して符号化される。３番目のレイヤに含まれるピクチャB4及びB12は、一番下のレイヤに含まれるピクチャI0及びP16と、２番目のレイヤに含まれるピクチャB8の何れかを参照して符号化される。また、４番目のレイヤに含まれるピクチャB2、B6、B10及びB14は、１〜３番目の何れかのレイヤに含まれるピクチャを参照して符号化される。そして一番下のレイヤに含まれるピクチャB1、B3、B5、B7、B9、B11、B13及びB15は、他のレイヤに含まれる何れかのピクチャを参照して符号化される。そしてこの例でも、一番上のレイヤに含まれるピクチャから順に符号化される。すなわち、I0→P16→B8→B4→B2→B1→B3→B6→B5→B7→B12→B10→B9→B11→B14→B13→B15の順に符号化される。そして、一番下のレイヤ以外のレイヤに属するピクチャI0、B2、B4、B6、B8、B10、B12、B14、P16が参照ピクチャとなる。
【００７５】
上記の実施形態と同様に、符号化される前のオリジナルのピクチャを動きベクトル探索の参照ピクチャとして利用する場合、制御部１１は、原則として、再生順序に従って、I0→B2→B4→B6→B8→B10→B12→B14→P16の順に、これらのピクチャを参照ピクチャとする。そして制御部１１は、図８の下段に示されるように、参照ピクチャを参照する二つの処理対象ピクチャが入力ピクチャバッファ１２に書き込まれた時点で、動き探索部１３にその参照ピクチャを参照する処理対象ピクチャの動きベクトル探索の実行を指示する。ただし、着目するピクチャを参照する二つのインター予測符号化ピクチャが入力ピクチャバッファ１２に書き込まれるよりも先に、着目するピクチャの後のピクチャを参照する二つのインター予測符号化ピクチャが入力ピクチャバッファ１２に書き込まれることがある。この場合には、制御部１１は、着目するピクチャよりも後のピクチャを参照ピクチャとする動きベクトル探索を動き探索部１３に優先して実行させてもよい。例えば、ピクチャI0を参照する全てのピクチャが入力ピクチャバッファ１２に書き込まれるよりも前に、再生順序で後のピクチャを参照するピクチャが入力ピクチャバッファ１２に書き込まれる。そのため、そのような場合には、制御部１１は、入力ピクチャバッファ１２に既に書き込まれた参照ピクチャと二つの処理対象ピクチャの組み合わせを優先して、動き探索部１３に動きベクトル探索を実行させる。例えば、参照ピクチャI0と処理対象ピクチャB4、B8の組み合わせよりも、参照ピクチャB2と処理対象ピクチャB1、B3の組み合わせの方が先に入力ピクチャバッファ１２に書き込まれる。そこで制御部１１は、参照ピクチャI0と処理対象ピクチャB4、B8の組み合わせよりも参照ピクチャB2と処理対象ピクチャB1、B3の組み合わせを優先する。
【００７６】
図９は、さらに他の変形例による、５層構造のGOPが適用される場合における、各ピクチャの符号化順序と、本実施形態による動きベクトル探索の順序との関係の一例を示す図である。この変形例では、図５に示された変形例と同様に、動き探索部１３は、局所復号ピクチャを動きベクトル探索の参照ピクチャとして利用する。
【００７７】
図９において、横軸は、時間を表す。また、図９の上段には、GOP９００に含まれる各ピクチャの入力順序と参照関係が示されている。矢印は、符号化時の参照関係を表し、矢印の基点のピクチャが矢印の先端のピクチャを参照する。また、中段には、各ピクチャの符号化順序が示されている。そして下段には、動きベクトル探索のタイミングごとの処理対象ピクチャと参照ピクチャとの組み合わせが示されている。
【００７８】
GOP９００は、図８に示されるGOP８００と同じ５層構造を持つ。そのため、この例でも、一番下のレイヤ以外のレイヤに属するピクチャI0、B2、B4、B6、B8、B10、B12、B14、P16が参照ピクチャとなる。そしてこれらのピクチャは、I0→P16→B8→B4→B2→B6→B12→B10→B14の順に符号化される。したがって、制御部１１は、原則として、I0→P16→B8→B4→B2→B6→B12→B10→B14の順に、これらの局所復号ピクチャを参照ピクチャとする動きベクトル探索を動き探索部１３へ実行させる。ただし、この場合も、制御部１１は、局所復号ピクチャと入力ピクチャバッファ１２に書き込まれたその局所復号ピクチャを参照する二つのピクチャとの組み合わせが揃った方から順に、動き探索部１３に動きベクトル探索処理を実行させてもよい。
【００７９】
上述した実施形態またはその変形例による動画像符号化装置は、様々な用途に利用される。例えば、この動画像符号化装置は、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。
【００８０】
図１０は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
【００８１】
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【００８２】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データを選択する操作信号をプロセッサ１０５へ出力する。
【００８３】
通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
【００８４】
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
【００８５】
この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、それらのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。
【００８６】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。また記憶部１０３は、上記の実施形態または変形例による、入力ピクチャバッファ１２、動きベクトルバッファ１４及び参照ピクチャバッファ１６として機能してもよい。
【００８７】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
【００８８】
プロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、制御部１１、動き探索部１３及び符号化部１５の処理を実行し、動画像データに含まれる各ピクチャを符号化する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【００８９】
なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
【００９０】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００９１】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像に含まれるピクチャが入力される度に前記ピクチャを記憶する記憶部と、
前記ピクチャのうち、前記動画像に含まれるピクチャの符号化順序及び参照関係を規定する符号化構造に従って決定される参照ピクチャを参照して符号化されるインター予測符号化ピクチャについて、当該インター予測符号化ピクチャに含まれるブロックごとに、前記参照ピクチャに基づいて動きベクトルを算出して前記記憶部に記憶させる動き探索部と、
前記符号化順序に従って、前記インター予測符号化ピクチャが符号化される順序になると、前記インター予測符号化ピクチャを前記ブロックごとの前記動きベクトルを用いて符号化し、かつ、符号化された前記インター予測符号化ピクチャを復号して局所復号ピクチャを生成し、前記局所復号ピクチャを前記記憶部に記憶させる符号化部と、
入力された前記ピクチャのうち、または前記局所復号ピクチャのうちの第１のピクチャと、前記第１のピクチャを前記参照ピクチャとする二つの前記インター予測符号化ピクチャとが前記記憶部に記憶されると、前記動き探索部に、前記記憶部から前記第１のピクチャ及び前記二つの前記インター予測符号化ピクチャを読み出させて、前記二つの前記インター予測符号化ピクチャのそれぞれについて、前記第１のピクチャを前記参照ピクチャとして前記動きベクトルを算出させる制御部と、
を有する動画像符号化装置。
（付記２）
前記制御部は、前記ピクチャのうち、前記符号化構造に従って前記参照ピクチャとなることが規定されたピクチャを、前記動画像のピクチャの再生順序に従って順次前記第１のピクチャとする、付記１に記載の動画像符号化装置。
（付記３）
前記制御部は、前記第１のピクチャを前記参照ピクチャとする二つの前記インター予測符号化ピクチャが前記記憶部に記憶されるよりも前に、前記第１のピクチャよりも前記再生順序が後の第２のピクチャと、前記第２のピクチャを前記参照ピクチャとする二つの前記インター予測符号化ピクチャとが前記記憶部に記憶されると、前記動き探索部に、前記記憶部から前記第２のピクチャを前記参照ピクチャとする前記二つの前記インター予測符号化ピクチャと前記第２のピクチャとを読み出させて、当該二つの前記インター予測符号化ピクチャのそれぞれについて、前記第２のピクチャを前記参照ピクチャとして前記動きベクトルを算出させる、付記２に記載の動画像符号化装置。
（付記４）
前記制御部は、前記局所復号ピクチャのうち、前記符号化構造に従って前記参照ピクチャとなることが規定された局所復号ピクチャを、前記符号化順序に従って順次前記第１のピクチャとする、付記１に記載の動画像符号化装置。
（付記５）
前記制御部は、前記第１のピクチャを前記参照ピクチャとする二つの前記インター予測符号化ピクチャが前記記憶部に記憶されるよりも前に、前記第１のピクチャよりも前記再生順序が後の第２の局所復号ピクチャと、前記第２の局所復号ピクチャを前記参照ピクチャとする二つの前記インター予測符号化ピクチャとが前記記憶部に記憶されると、前記動き探索部に、前記記憶部から前記第２の局所復号ピクチャを前記参照ピクチャとする前記二つの前記インター予測符号化ピクチャと前記第２の局所復号ピクチャとを読み出させて、前記二つの前記インター予測符号化ピクチャのそれぞれについて、前記第２の局所復号ピクチャを前記参照ピクチャとして前記動きベクトルを算出させる、付記４に記載の動画像符号化装置。
（付記６）
前記符号化構造は、複数のレイヤを持つ階層構造を有し、前記インター予測符号化ピクチャのそれぞれは、前記複数のレイヤのうちの何れかのレイヤに属し、かつ、属するレイヤよりも上側のレイヤに属するピクチャの何れかを前記参照ピクチャとする、付記１〜５の何れかに記載の動画像符号化装置。
（付記７）
動画像に含まれるピクチャが入力される度に前記ピクチャを記憶部に記憶させ、
入力された前記ピクチャのうち、または入力された前記ピクチャを符号化した後に復号して得られる局所復号ピクチャのうちの第１のピクチャと、前記第１のピクチャを、前記動画像に含まれるピクチャの符号化順序及び参照関係を規定する符号化構造に従って決定される参照ピクチャとして参照して符号化される二つのインター予測符号化ピクチャとが前記記憶部に記憶されると、前記記憶部から前記第１のピクチャ及び前記二つの前記インター予測符号化ピクチャを読み出して、前記二つの前記インター予測符号化ピクチャのそれぞれに含まれるブロックごとに、前記第１のピクチャを前記参照ピクチャとして前記動きベクトルを算出し、
前記符号化順序に従って、前記二つのインター予測符号化ピクチャの何れかが符号化される順序になると、当該インター予測符号化ピクチャを、前記ブロックごとの前記動きベクトルを用いて符号化する、
ことを含む動画像符号化方法。
（付記８）
動画像に含まれるピクチャが入力される度に前記ピクチャを記憶部に記憶させ、
入力された前記ピクチャのうち、または入力された前記ピクチャを符号化した後に復号して得られる局所復号ピクチャのうちの第１のピクチャと、前記第１のピクチャを、前記動画像に含まれるピクチャの符号化順序及び参照関係を規定する符号化構造に従って決定される参照ピクチャとして参照して符号化される二つのインター予測符号化ピクチャとが前記記憶部に記憶されると、前記記憶部から前記第１のピクチャ及び前記二つの前記インター予測符号化ピクチャを読み出して、前記二つの前記インター予測符号化ピクチャのそれぞれに含まれるブロックごとに、前記第１のピクチャを前記参照ピクチャとして前記動きベクトルを算出し、
前記符号化順序に従って、前記二つのインター予測符号化ピクチャの何れかが符号化される順序になると、当該インター予測符号化ピクチャを、前記ブロックごとの前記動きベクトルを用いて符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【符号の説明】
【００９２】
１    動画像符号化装置
１１    制御部
１２    入力ピクチャバッファ
１３    動き探索部
１４    動きベクトルバッファ
１５    符号化部
１６    参照ピクチャバッファ
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
2016195326.tif 000003
【図２】
2016195326.tif 000004
【図３】
2016195326.tif 000005
【図４】
2016195326.tif 000006
【図５】
2016195326.tif 000007
【図６】
2016195326.tif 000008
【図７】
2016195326.tif 000009
【図８】
2016195326.tif 000010
【図９】
2016195326.tif 000011
【図１０】
2016195326.tif 000012