(57)【要約】      （修正有）【課題】複数の参照ピクチャを用いて動き補償を伴う画面間予測処理を行う映像符号化方式において、演算量を増大させずに符号量を削減する方法を提供する。【解決手段】符号化対象ピクチャと遠方方向参照ピクチャとの間で表示される他のピクチャを探索中心決定用ピクチャとして検出し、遠方方向参照ピクチャにおける動きベクトルよりも先に近方方向参照ピクチャにおける動きベクトルを検出し、探索中心決定用ピクチャの予測処理を符号化対象ピクチャの予測処理よりも先に行い、符号化対象ピクチャを分割して得られる符号化対象ブロックの近方方向参照ピクチャにおける動きベクトルと、探索中心決定用ピクチャの遠方方向参照ピクチャにおける動きベクトルとに基づいて、遠方方向参照ピクチャにおける動きベクトルの探索中心の位置を求め、探索中心の位置を中心として遠方方向動き探索を行い、符号化対象ピクチャの符号化を行う。【選択図】図４
2018107762.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクチャを含む映像信号を取り込み、双方向の動き補償画面間予測処理を行う映像符号化装置が行う映像符号化方法であって、
符号化対象ピクチャと参照ピクチャとの表示時間差を参照距離とした場合、いずれか１つの前記参照ピクチャを近方方向参照ピクチャとし、近方方向とは逆方向に位置し、前記近方方向参照ピクチャの前記参照距離以上の前記参照距離を有する他の前記参照ピクチャを遠方方向参照ピクチャとし、前記遠方方向参照ピクチャを前記参照ピクチャとする他のピクチャであって前記符号化対象ピクチャと前記遠方方向参照ピクチャとの間で表示される他のピクチャを探索中心決定用ピクチャとして検出し、前記探索中心決定用ピクチャの予測処理が前記符号化対象ピクチャの前記予測処理よりも先に行わせるようにする映像入力ステップと、
前記遠方方向参照ピクチャにおける動きベクトルよりも先に前記近方方向参照ピクチャにおける動きベクトルを検出する近方方向動き探索処理ステップと、
前記符号化対象ピクチャを分割して得られる符号化対象ブロックの前記近方方向参照ピクチャにおける動きベクトルと、前記探索中心決定用ピクチャの前記遠方方向参照ピクチャにおける動きベクトルとに基づいて、前記符号化対象ブロックの前記遠方方向参照ピクチャにおける動きベクトルの探索中心の位置を求め、前記動きベクトルの探索中心の位置を中心として遠方方向動き探索を行う遠方方向動き探索処理ステップと、
前記遠方方向動き探索の結果を用いて、前記符号化対象ピクチャの符号化を行う符号化ステップと、
を有する映像符号化方法。
【請求項２】
前記映像入力ステップにおいて、表示順序が、前記符号化対象ピクチャの前後であり、前記参照距離が異なる２つの前記参照ピクチャのうち、前記参照距離が短い前記参照ピクチャを前記近方方向参照ピクチャとし、前記参照距離が長い前記参照ピクチャを前記遠方方向参照ピクチャとする、請求項１に記載の映像符号化方法。
【請求項３】
前記遠方方向動き探索処理ステップにおいて、前記遠方方向参照ピクチャにおける動きベクトルよりも先に前記近方方向参照ピクチャにおける動きベクトルを検出するように、前記符号化対象ブロックの前記近方方向参照ピクチャにおける動きベクトルを検出する処理を行う際に、当該符号化対象ブロックの１つ前の符号化ブロックを符号化対象ブロックとした前記遠方方向参照ピクチャにおける動きベクトルを検出する処理を行う、請求項１又は２に記載の映像符号化方法。
【請求項４】
前記映像入力ステップにおいて、前記符号化対象ピクチャの前記予測処理よりも前記探索中心決定用ピクチャの前記予測処理が後に行われる符号化順序になっている場合、前記探索中心決定用ピクチャの前記予測処理が前記符号化対象ピクチャの前記予測処理よりも前に行われるように前記符号化順序を変更する、請求項１から３のいずれか一項に記載の映像符号化方法。
【請求項５】
前記映像入力ステップにおいて、前記符号化対象ピクチャが、他の前記ピクチャから参照されている場合、前記符号化順序の変更を行わない、請求項４に記載の映像符号化方法。
【請求項６】
前記遠方方向動き探索処理ステップにおいて、前記符号化対象ブロックの前記遠方方向参照ピクチャにおける動きベクトルの探索中心の位置を求める際、前記符号化対象ピクチャと前記探索中心決定用ピクチャとの前記参照距離と、前記符号化対象ピクチャと前記近方方向参照ピクチャとの前記参照距離とに基づいて伸長率を求め、前記符号化対象ブロックの前記近方方向参照ピクチャにおける動きベクトルの方向と逆向きの方向を有し、当該動きベクトルの大きさに前記伸長率を乗算した大きさを有する第１のベクトルを求め、前記符号化対象ブロックの中心位置から前記第１のベクトルによって指し示される位置の符号化ブロックを前記探索中心決定用ピクチャから選択し、選択した前記符号化ブロックの前記遠方方向参照ピクチャにおける動きベクトルを第２のベクトルとし、前記第１のベクトルと前記第２のベクトルを加算したベクトルを第３のベクトルとし、前記符号化対象ブロックの中心位置から前記第３のベクトルによって指し示される前記遠方方向参照ピクチャにおける位置を前記符号化対象ブロックの動きベクトルの探索中心とする、請求項１から５のいずれか一項に記載の映像符号化方法。
【請求項７】
複数のピクチャを含む映像信号を取り込み、双方向の動き補償画面間予測処理を行う映像符号化装置であって、
符号化対象ピクチャと参照ピクチャとの表示時間差を参照距離とした場合、いずれか１つの前記参照ピクチャを近方方向参照ピクチャとし、近方方向とは逆方向に位置し、前記近方方向参照ピクチャの前記参照距離以上の前記参照距離を有する他の前記参照ピクチャを遠方方向参照ピクチャとし、前記遠方方向参照ピクチャを前記参照ピクチャとする他のピクチャであって前記符号化対象ピクチャと前記遠方方向参照ピクチャとの間で表示される他のピクチャを探索中心決定用ピクチャとして検出し、前記探索中心決定用ピクチャの予測処理が前記符号化対象ピクチャの前記予測処理よりも先に行わせるようにする映像入力部と、
前記遠方方向参照ピクチャにおける動きベクトルよりも先に前記近方方向参照ピクチャにおける動きベクトルを検出する近方方向動き探索処理部と、
前記符号化対象ピクチャを分割して得られる符号化対象ブロックの前記近方方向参照ピクチャにおける動きベクトルと、前記探索中心決定用ピクチャの前記遠方方向参照ピクチャにおける動きベクトルとに基づいて、前記符号化対象ブロックの前記遠方方向参照ピクチャにおける動きベクトルの探索中心の位置を求める遠方方向動き探索処理部と、
前記遠方方向動き探索の結果を用いて、前記符号化対象ピクチャの符号化を行う符号化部と、
を備える映像符号化装置。
【請求項８】
請求項１から６のいずれか一項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化方法、映像符号化装置、及び映像符号化プログラムに関する。
【背景技術】
【０００２】
映像符号化の技術として、これまでＭＰＥＧ(Moving Picture Experts Group)−２，ＭＰＥＧ−４，ＭＰＥＧ−４／ＡＶＣ(Advanced Video Coding)など様々な技術が登場しており、最近では次世代の映像符号化規格であるＨＥＶＣ(High Efficiency Video Coding) が規格化され、今後の普及が見込まれている。
【０００３】
ＡＲＩＢ（Association of Radio Industries and Businesses：一般社団法人電波産業会）は、デジタル放送における映像符号化方式として各種の電波利用システムに関する無線設備の標準的な仕様を策定している。この標準的な仕様の１つであるＡＲＩＢ  ＳＴＤ−Ｂ３２において、ＡＲＩＢは、「デジタル放送における映像符号化、音声符号化及び多重化方式」という映像符号化方式の標準規格を規定している。また、ＡＲＩＢ  ＳＴＤ−Ｂ３２  ３．３版において、ＡＲＩＢは、ＭＰＥＧ−２  Ｖｉｄｅｏ，ＭＰＥＧ−４／ＡＶＣ，ＨＥＶＣの３つに準拠した映像符号化方式を規定しており、さらに、ＨＥＶＣに準拠した２１６０／１２０／Ｐ映像、及び４３２０／１２０／Ｐ映像の時間方向階層符号化方式を規定している。
【０００４】
ＡＲＩＢ規定の時間方向階層符号化では、１２０／Ｐビットストリームは、２１６０／６０／Ｐ、または４３２０／６０／Ｐに準拠した６０／Ｐサブビットストリームと、残りの１２０／Ｐサブセットとに分離されて伝送される。１２０Ｈｚ対応受信機は、分離伝送される６０／Ｐサブビットストリームと１２０／Ｐサブセットとを１２０／Ｐビットストリームに合成した後、合成した１２０／Ｐビットストリームを復号し、１２０Ｈｚの復号画像を出力する。これに対して、６０Ｈｚ対応受信機では、６０／Ｐサブビットストリームのみを抽出して復号し、６０Ｈｚの復号画像を出力する。
【０００５】
一般に映像符号化では、１つのピクチャ内に閉じた情報を用いて符号化を行う画面内符号化と、時間的に異なる複数のピクチャを用いて符号化を行う画面間符号化が用いられている。画面間符号化では、画面間の差分値を削減するために符号化対象画像と参照画像の間で動き予測処理を行い、差分値と動きベクトル情報を符号化することで情報量を削減している。ＡＲＩＢ規定の時間方向階層符号化では、１２０／Ｐサブセットの復号時刻が等間隔になるように画面間符号化における参照構造が定められ、それぞれの符号化対象画像において前方向と後方向のそれぞれ１つの合計２つの参照画像を用いる双方向動き探索を行う。そのため、ＡＲＩＢ規定の時間方向階層符号化における１２０／Ｐサブセットでは、前方向動き予測・後方向動き予測において、参照距離が非対称性となる特徴がある。
【０００６】
画面間符号化における動き予測においては、符号化すべき情報を小さくするために、映像の正しい動きを捉えた予測を行うことが望ましいが、精確な動きベクトル検出処理を行うためには多くの演算量が必要となる。演算量の多さは、ハードウェア実装の観点からすると、ハードウェア規模を増大させる要素であるため、この増大を抑えるために効率的な動き探索処理が不可欠となる。特に、符号化部における実装において回路規模を小さくするためには、動き探索点数を限定して演算量削減することが不可欠となるが、符号量を抑えるためには、少ない動き探索点数であっても精度の高い動きベクトルを得る必要がある。
【０００７】
しかしながら、動き探索点数が少なく、かつ画面間の動きが大きい場合、理想的な動きベクトルが探索点からはみ出してしまい、十分な精度で動きベクトルを得ることができないことが多く、予測誤差が大きくなり符号量が増大する傾向がある。そのため、一般的には、動き探索を行う符号化対象ブロックの周辺ブロック（例えば、左、上、左上、右上等の位置のブロック、または、既に符号化が終わっているピクチャで同位置に存在するブロック）を利用することが行われる。これらのブロックにおける動きベクトルに基づいて、符号化対象ブロックにおける動きベクトルの予測値を算出し、算出した動きベクトルの予測値によって示される位置を探索中心として探索を行い、最適な動きベクトルを求めるといった手法がとられている。
【０００８】
ＡＲＩＢ規定の時間方向階層符号化における１２０／Ｐサブセットのように、参照距離の異なる複数の参照画像を利用する場合、動き探索中心の決定手法として、上記の周辺ブロック等を利用する手法以外に非特許文献１に開示されている手法等がある。非特許文献１では、動きの線形性を仮定し、近方方向の動き探索結果を利用することで、同一符号化対象ブロックの遠方方向の動き探索中心を定める手法（以下「第１の手法」という）が示されている。また、符号化済みピクチャの動きベクトル情報に基づいて、適応的に実行すべき動き探索処理を切り替えることで、特定のピクチャの動き探索中心を定める拡張レイヤ間事前探索による探索中心決定手法（以下「第２の手法」という）が示されている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】大森優也、大西隆之、岩崎裕江、清水淳、"ＨＦＲ対応映像エンコーダに適した予測処理軽量化手法に関する一考察"、情報処理学会研究報告、Vol.2016-ARC-220 No.10、pp.1-6、2016年5月10日
【発明の概要】
【発明が解決しようとする課題】
【００１０】
参照距離の非対称性を利用した動きベクトルの探索手法において、非特許文献１に記載の第１の手法である、近方方向探索結果を用いた遠方方向探索中心決定手法では、動きの線形性を仮定した上で、参照距離比に合わせて近方方向動きベクトルを遠方方向に伸長する。遠方方向に伸長したベクトルによって指し示される位置が遠方方向の動きベクトルの探索中心となり、この探索中心の位置から予め定められる範囲を探索範囲として動き探索処理が行われる。
【００１１】
しかしながら、ピクチャ間の動きの非線形が強い場合や、遠方方向の参照距離が長いために参照距離比が一定値以上に大きくなる場合に当該第１の手法を適用したとしても、精度の高い遠方方向動きベクトルを得ることが難しいという問題がある。すなわち、近方方向動きベクトルの伸長率の増加が、遠方方向動きベクトルの精度劣化に繋がり、全体として符号量を増加させてしまうという問題がある。
【００１２】
また、非特許文献１に記載の第２の手法では、参照距離の非対称性を利用して、ピクチャが特定の条件、例えば、遠方方向の参照距離が近方方向の参照距離に比べて大きく、遠方方向における動き探索の効果が低いという条件を満たす場合、遠方方向動き探索の実行を中止する。遠方方向動き探索を中止する代わりに、事前動き探索処理を行うことにより、参照距離が近く、まだ動き探索処理が行われていない他のピクチャの動き探索中心を決定する。
【００１３】
しかしながら、当該第２の手法では、遠方方向動き探索を中止したピクチャでは必然的に符号量が増加することになる。したがって、中止した遠方方向動き探索の符号量削減効果が大きい場合、この符号量削減効果が失われてしまうため、ビットストリーム全体として符号量が増加してしまう可能性があるという問題がある。
【００１４】
上記事情に鑑み、本発明は、複数の参照ピクチャを用いて動き補償を伴う画面間予測処理を行う映像符号化方式において、演算量を増大させずに符号量を削減することができる技術の提供を目的としている。
【課題を解決するための手段】
【００１５】
本発明の一態様は、複数のピクチャを含む映像信号を取り込み、双方向の動き補償画面間予測処理を行う映像符号化装置が行う映像符号化方法であって、符号化対象ピクチャと参照ピクチャとの表示時間差を参照距離とした場合、いずれか１つの前記参照ピクチャを近方方向参照ピクチャとし、近方方向とは逆方向に位置し、前記近方方向参照ピクチャの前記参照距離以上の前記参照距離を有する他の前記参照ピクチャを遠方方向参照ピクチャとし、前記遠方方向参照ピクチャを前記参照ピクチャとする他のピクチャであって前記符号化対象ピクチャと前記遠方方向参照ピクチャとの間で表示される他のピクチャを探索中心決定用ピクチャとして検出し、前記探索中心決定用ピクチャの予測処理が前記符号化対象ピクチャの前記予測処理よりも先に行わせるようにする映像入力ステップと、前記遠方方向参照ピクチャにおける動きベクトルよりも先に前記近方方向参照ピクチャにおける動きベクトルを検出する近方方向動き探索処理ステップと、前記符号化対象ピクチャを分割して得られる符号化対象ブロックの前記近方方向参照ピクチャにおける動きベクトルと、前記探索中心決定用ピクチャの前記遠方方向参照ピクチャにおける動きベクトルとに基づいて、前記符号化対象ブロックの前記遠方方向参照ピクチャにおける動きベクトルの探索中心の位置を求め、前記動きベクトルの探索中心の位置を中心として遠方方向動き探索を行う遠方方向動き探索処理ステップと、前記遠方方向動き探索の結果を用いて、前記符号化対象ピクチャの符号化を行う符号化ステップと、を有する映像符号化方法である。
【００１６】
本発明の一態様は、上記の映像符号化方法であって、前記映像入力ステップにおいて、表示順序が、前記符号化対象ピクチャの前後であり、前記参照距離が異なる２つの前記参照ピクチャのうち、前記参照距離が短い前記参照ピクチャを前記近方方向参照ピクチャとし、前記参照距離が長い前記参照ピクチャを前記遠方方向参照ピクチャとする。
【００１７】
本発明の一態様は、上記の映像符号化方法であって、前記遠方方向動き探索処理ステップにおいて、前記遠方方向参照ピクチャにおける動きベクトルよりも先に前記近方方向参照ピクチャにおける動きベクトルを検出するように、前記符号化対象ブロックの前記近方方向参照ピクチャにおける動きベクトルを検出する処理を行う際に、当該符号化対象ブロックの１つ前の符号化ブロックを符号化対象ブロックとした前記遠方方向参照ピクチャにおける動きベクトルを検出する処理を行う。
【００１８】
本発明の一態様は、上記の映像符号化方法であって、前記映像入力ステップにおいて、前記符号化対象ピクチャの前記予測処理よりも前記探索中心決定用ピクチャの前記予測処理が後に行われる符号化順序になっている場合、前記探索中心決定用ピクチャの前記予測処理が前記符号化対象ピクチャの前記予測処理よりも前に行われるように前記符号化順序を変更する。
【００１９】
本発明の一態様は、上記の映像符号化方法であって、前記映像入力ステップにおいて、前記符号化対象ピクチャが、他の前記ピクチャから参照されている場合、前記符号化順序の変更を行わない。
【００２０】
本発明の一態様は、上記の映像符号化方法であって、前記遠方方向動き探索処理ステップにおいて、前記符号化対象ブロックの前記遠方方向参照ピクチャにおける動きベクトルの探索中心の位置を求める際、前記符号化対象ピクチャと前記探索中心決定用ピクチャとの前記参照距離と、前記符号化対象ピクチャと前記近方方向参照ピクチャとの前記参照距離とに基づいて伸長率を求め、前記符号化対象ブロックの前記近方方向参照ピクチャにおける動きベクトルの方向と逆向きの方向を有し、当該動きベクトルの大きさに前記伸長率を乗算した大きさを有する第１のベクトルを求め、前記符号化対象ブロックの中心位置から前記第１のベクトルによって指し示される位置の符号化ブロックを前記探索中心決定用ピクチャから選択し、選択した前記符号化ブロックの前記遠方方向参照ピクチャにおける動きベクトルを第２のベクトルとし、前記第１のベクトルと前記第２のベクトルを加算したベクトルを第３のベクトルとし、前記符号化対象ブロックの中心位置から前記第３のベクトルによって指し示される前記遠方方向参照ピクチャにおける位置を前記符号化対象ブロックの動きベクトルの探索中心とする。
【００２１】
本発明の一態様は、複数のピクチャを含む映像信号を取り込み、双方向の動き補償画面間予測処理を行う映像符号化装置であって、符号化対象ピクチャと参照ピクチャとの表示時間差を参照距離とした場合、いずれか１つの前記参照ピクチャを近方方向参照ピクチャとし、前記近方方向とは逆方向に位置し、近方方向参照ピクチャの前記参照距離以上の前記参照距離を有する他の前記参照ピクチャを遠方方向参照ピクチャとし、前記遠方方向参照ピクチャを前記参照ピクチャとする他のピクチャであって前記符号化対象ピクチャと前記遠方方向参照ピクチャとの間で表示される他のピクチャを探索中心決定用ピクチャとして検出し、前記探索中心決定用ピクチャの予測処理が前記符号化対象ピクチャの前記予測処理よりも先に行わせるようにする映像入力部と、前記遠方方向参照ピクチャにおける動きベクトルよりも先に前記近方方向参照ピクチャにおける動きベクトルを検出する近方方向動き探索処理部と、前記符号化対象ピクチャを分割して得られる符号化対象ブロックの前記近方方向参照ピクチャにおける動きベクトルと、前記探索中心決定用ピクチャの前記遠方方向参照ピクチャにおける動きベクトルとに基づいて、前記符号化対象ブロックの前記遠方方向参照ピクチャにおける動きベクトルの探索中心の位置を求める遠方方向動き探索処理部と、前記遠方方向動き探索の結果を用いて、前記符号化対象ピクチャの符号化を行う符号化部と、を備える映像符号化装置である。
【００２２】
本発明の一態様は、上記の映像符号化方法をコンピュータに実行させるための映像符号化プログラムである。
【発明の効果】
【００２３】
この発明によれば、複数の参照ピクチャを用いて動き補償を伴う画面間予測処理を行う映像符号化方式において、演算量を増大させずに符号量を削減することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態による映像符号化装置の構成を示す図である。
【図２】ＡＲＩＢ規定の時間方向階層符号化において定められる参照構造の一例を示す図である。
【図３】本実施形態における映像符号化装置の補助情報記憶部に記憶されるデータの構成を示す図である。
【図４】本実施形態における映像符号化装置のインター予測処理部の構成を示す図である。
【図５】本実施形態におけるインター予測処理部の遠方方向動き探索処理部の構成を示す図である。
【図６】本実施形態における近方方向動き探索処理と遠方方向動き探索処理の順序を示す図である。
【図７】本実施形態における符号化順序の変更処理を示すフローチャートである。
【図８】本実施形態における符号化順序の変更処理を説明する図である。
【図９】本実施形態における符号化順序の変更処理を適用した後の参照構造テーブルの構成を示す図である。
【図１０】本実施形態における符号化順序の変更処理を適用した後の参照構造の例を示す図である。
【図１１】本実施形態における遠方方向動き探索処理を示すフローチャートである。
【図１２】本実施形態における遠方方向動き探索処理を説明する図（その１）である。
【図１３】本実施形態における遠方方向動き探索処理を説明する図（その２）である。
【図１４】本実施形態における遠方方向動き探索処理を説明する図（その３）である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について図面を参照して説明する。
まず、以下の説明において、使用する用語について説明する。「ピクチャ」とは、映像信号から得られる動画像の１枚の動画像画面のデータであり、入力映像信号から直接得られるピクチャを原ピクチャという。「符号化ブロック」とは、当該ピクチャを予め定められる大きさで分割した個々のデータである。
【００２６】
また、「符号化ブロック」とは、ＭＰＥＧ−２やＨ．２６４／ＡＶＣ規格におけるマクロブロックに対応し、ＨＥＶＣについてはコーディングユニット（ＣＵ(Coding Unit)、またはプレディクションユニット（ＰＵ(Prediction Unit）に対応する。また、符号化ブロックの中で、符号化処理の対象とされているものを符号化対象ブロックという。
【００２７】
また、以下の説明における「参照距離」とは、符号化対象ブロックに対して、参照ピクチャを用いて動き補償を伴う画面間予測処理を行う際、当該符号化対象ブロックを含む原ピクチャと、参照ピクチャとを時間軸上で表示時刻にしたがって並べた場合の表示時間差を示す値である。また、時間軸上で符号化対象ブロックを含む原ピクチャよりも先に表示される参照ピクチャを用いた動きベクトルの探索処理を、前方向動き探索処理といい、時間軸上で符号化対象ブロックを含む原ピクチャよりも後に表示される参照ピクチャを用いた動きベクトルの探索処理を、後方向動き探索処理という。また、各々の探索処理に適用される参照ピクチャを、それぞれ、前方向参照ピクチャ、後方向参照ピクチャという。
【００２８】
また、これらの２つの探索処理のうち、時間軸上で符号化対象ブロックを含む原ピクチャと、参照ピクチャとの参照距離が長い方の探索処理を遠方方向動き探索処理といい、参照距離が短い方の探索処理を、近方方向動き探索処理という。また、各々の探索処理に適用される参照ピクチャを、それぞれ、遠方方向参照ピクチャ、近方方向参照ピクチャという。また、動きベクトルの探索処理を含む予測処理全体を示す場合、前方向動き予測処理、後方向動き予測処理、遠方方向動き予測処理、近方方向動き予測処理という。
【００２９】
図１は、本発明の一実施形態である映像符号化装置１の構成を示すブロック図である。映像符号化装置１は、符号化対象の映像信号を取り込み、取り込んだ映像信号を符号化し、符号化結果のデータを符号化ビットストリームとして出力する。映像符号化装置１は、映像入力部１０、予測残差信号生成部１４、変換・量子化処理部１５、エントロピー符号化部１６、逆量子化・逆変換処理部１７、復号信号生成部１８、ループフィルタ処理部１９、イントラ予測処理部１１、インター予測処理部１２、スイッチ１３、補助情報記憶部２０を備える。
【００３０】
例えば、Ｈ．２６４／ＡＶＣやＨＥＶＣ等の符号化規格の場合、映像信号の原ピクチャが符号化ブロックに分割され、符号化ブロックごとに符号化が行われる。また、Ｈ．２６４／ＡＶＣやＨＥＶＣ等では、ピクチャの表示順序と符号化順序が異なることが許容されている。
【００３１】
本実施形態の映像符号化装置１においても、映像入力部１０は、動画像を構成する複数のピクチャであって表示順序にしたがって並べられているピクチャを含む映像信号を入力映像信号として取り込み、取り込んだ原ピクチャを符号化ブロック単位に分割する。また、映像入力部１０は、分割した符号化ブロックを、当該符号化ブロックを含む原ピクチャの符号化順序にしたがって予測残差信号生成部１４及びインター予測処理部１２に出力する。また、映像入力部１０は、原ピクチャごとに、遠方方向の参照ピクチャから動きベクトルを探索する際の探索中心の選択の際に利用できる他のピクチャ（以下「探索中心決定用ピクチャ」という）が存在するか否かを判定する。また、映像入力部１０は、探索中心決定用ピクチャが存在する場合に符号化順序の入れ替えが必要なときには、探索中心決定用ピクチャと原ピクチャの符号化順序を変更する処理を行い、変更後の符号化順序に関する情報を補助情報記憶部２０に書き込んで記憶させる。
【００３２】
予測残差信号生成部１４は、符号化ブロックごとに、入力映像信号と、イントラ予測処理部１１またはインター予測処理部１２が出力する予測信号との差分を算出し、算出した差分を予測残差信号として出力する。変換・量子化処理部１５は、予測残差信号に対して離散コサイン変換等の直交変換を行い、変換係数を量子化し、量子化した変換係数を出力する。エントロピー符号化部１６は、量子化された変換係数をエントロピー符号化し、符号化ビットストリームとして出力する。
【００３３】
逆量子化・逆変換処理部１７は、変換・量子化処理部１５が出力する量子化された変換係数に対して、逆量子化と逆直交変換を行い、予測残差復号信号を出力する。復号信号生成部１８は、予測残差復号信号と、イントラ予測処理部１１またはインター予測処理部１２が出力する予測信号とを加算して符号化した符号化対象ブロックの復号信号を生成する。ループフィルタ処理部１９は、復号信号生成部１８が出力する復号信号に対して符号化歪みを低減するフィルタリング処理を行い、フィルタリング処理後の復号信号を参照ピクチャとしてインター予測処理部１２に出力する。
【００３４】
イントラ予測処理部１１は、復号信号生成部１８が出力する復号信号に含まれるピクチャに対して画面内予測処理を行い、予測信号を算出して出力する。インター予測処理部１２は、映像入力部１０が出力する原ピクチャの符号化対象ブロックと、ループフィルタ処理部１９が出力する参照ピクチャとの間で動き補償を伴う画面間予測処理を行う。また、インター予測処理部１２は、動き補償を伴う画面間予測処理により、動きベクトルを検出し、検出した動きベクトルを用いて予測信号を算出して出力する。また、インター予測処理部１２は、動き補償を伴う画面間予測処理において検出した動きベクトルの情報を補助情報記憶部２０に書き込んで記憶させる。符号化ブロックごとの動きベクトルの情報は、エントロピー符号化部１６によって、エントロピー符号化され、符号化ビットストリームとともに出力される。スイッチ１３は、イントラ予測処理部１１とインター予測処理部１２のいずれか一方を予測残差信号生成部１４に接続するように切り替えを行う。
【００３５】
ここで、ＡＲＩＢ規定の時間方向階層符号化において定められているインター予測における参照構造について図２を参照しつつ説明する。図２は、当該参照構造の一例を示す図であり、各ピクチャが参照のパターンによって５つの階層に分類され、それぞれの階層にＴｅｍｐｏｒａｌＩＤ(IDentification)（以下「時間識別子」ともいう）とよばれる値が割り振られている。ＴｅｍｐｏｒａｌＩＤ＝０，１，２，３に属するピクチャが６０／Ｐサブビットストリームであり、ＴｅｍｐｏｒａｌＩＤ＝４に属するピクチャが１２０／Ｐサブセットである。
【００３６】
ＴｅｍｐｏｒａｌＩＤ＝０のピクチャから次のＴｅｍｐｏｒａｌＩＤ＝０のピクチャまでをＧＯＰ（Group of Picture）という。図２は、ＧＯＰのサイズが１６の場合におけるＡＲＩＢ規定の時間方向階層符号化の参照構造を示しており、この参照構造では、１２０Ｐのサブセットの復号時刻が等間隔になるように定められている。また、ピクチャの表示順序をＰＯＣ（Picture Order Count）という。図２のＧＯＰ内では０〜１６までの値（各ピクチャを示すボックスの左側の数値）が割り振られている。それぞれの符号化対象ピクチャにおける参照ピクチャは、矢印で示されており、例えば、ＰＯＣ＝１のピクチャが符号化対象ピクチャの場合、ＰＯＣ＝０と、ＰＯＣ＝１６のピクチャが参照ピクチャとなる。ＰＯＣ＝１からＰＯＣ＝１５までのピクチャにおいて、前方向・後方向それぞれ１つの合計２つの参照ピクチャが定められている。
【００３７】
この参照構造に基づく動き探索処理を行うためには、ピクチャの表示順序と復号順序が異なっている必要があり、図２に示すような復号順序（各ピクチャを示すボックスの右側の数値）が予め各ピクチャに割り当てられている。ＡＲＩＢ規定の時間方向階層符号化では、６０／Ｐサブビットストリームと１２０／Ｐサブセットの復号順序が交互になっており、６０／Ｐサブビットストリームの各ピクチャは前方向動き予測と後方向動き予測における参照距離が等しい配置となっている。これに対して、１２０／Ｐサブセットの各ピクチャは前方向動き予測と後方向動き予測における参照距離が異なり非対称性を有する配置となっている。
【００３８】
図３は、補助情報記憶部２０に記憶されているテーブルの構成を示す図である。補助情報記憶部２０は、動きベクトルテーブル２１と、参照構造テーブル２２とを記憶する。動きベクトルテーブル２１は、「表示順序（ＰＯＣ）」、「符号化ブロック」、「動きベクトル」の項目を有している。「表示順序（ＰＯＣ）」の項目には、当該ピクチャのＧＯＰ内での表示順序、すなわちＰＯＣを示す値が書き込まれる。前述したように、ＰＯＣは、０〜１６のいずれかの値である。「符号化ブロック」の項目には、ピクチャ内で各々の符号化ブロックを一意に特定する識別情報が書き込まれる。「動きベクトル」の項目は、更に「Ｓ」、「Ｌ」、「Ｂ」の項目を有しており、「Ｓ」には、近方方向参照ピクチャにおいて検出した近方方向動きベクトルの情報、「Ｌ」には、遠方方向参照ピクチャにおいて検出した遠方方方向動きベクトルの情報、「Ｂ」には、近方方向動きベクトルと、遠方方向動きベクトルとに基づいて算出された最終的な動きベクトルの情報が書き込まれる。なお、動きベクトルテーブル２１は、新たなＧＯＰになる際に、新たな動きベクトルテーブル２１がインター予測処理部１２によって生成される。
【００３９】
「表示順序（ＰＯＣ）」と「符号化ブロック」の項目は、動きベクトルテーブル２１が生成される際に、インター予測処理部１２によって情報が書き込まれ、「動きベクトル」の項目には、各々の動きベクトルがインター予測処理部１２によって算出されるごとに、インター予測処理部１２によって情報が書き込まれる。
【００４０】
参照構造テーブル２２は、横軸に「表示順序（ＰＯＣ）」の項目を有し、縦軸に「ＴｅｍｐｏｒａｌＩＤ」、「前方向参照ピクチャ」、「前方向参照距離」、「後方向参照ピクチャ」、「後方向参照距離」、「復号順序」、「被参照の有無」、「符号化順序」、「探索中心決定用ピクチャ」の項目を有する。「表示順序（ＰＯＣ）」の項目には、図２において説明したＧＯＰに含まれる１７個のピクチャの表示順序、すなわちＰＯＣを示す０〜１６の情報が書き込まれる。「ＴｅｍｐｏｒａｌＩＤ」の項目には、図２において説明した、ピクチャのＴｅｍｐｏｒａｌＩＤの値が書き込まれる。
【００４１】
「前方向参照ピクチャ」の項目には、符号化対象のピクチャからみて、前方向において参照する参照ピクチャのＰＯＣの値が書き込まれる。「前方向参照距離」の項目には、符号化対象ピクチャと、「前方向参照ピクチャ」の項目に書き込まれた参照ピクチャとの間の参照距離の値が書き込まれる。「後方向参照ピクチャ」の項目には、符号化対象のピクチャからみて、後方向において参照する参照ピクチャのＰＯＣの値が書き込まれる。「後方向参照距離」の項目には、符号化対象ピクチャと、「後方向参照ピクチャ」の項目に書き込まれた参照ピクチャとの間の参照距離の値が書き込まれる。
【００４２】
「復号順序」の項目には、ピクチャの復号の順番を示す値が書き込まれる。「被参照の有無」の項目には、ピクチャが他のピクチャから参照されているかを示す情報が書き込まれ、例えば、参照されている場合、「有」が書き込まれ、参照されていない場合、「無」が書き込まれる。「符号化順序」の項目には、ピクチャの符号化順序を示す値が書き込まれる。「探索中心決定用ピクチャ」の項目には、検出した探索中心決定用ピクチャのＰＯＣの値が書き込まれる。
【００４３】
なお、参照構造テーブル２２は、新たなＧＯＰになる際に、新たな参照構造テーブル２２が映像入力部１０によって生成される。新たな参照構造テーブル２２が生成されると、図２の参照構造のデータに基づいて、「符号化順序」と「探索中心決定用ピクチャ」の項目以外の項目の情報が、映像入力部１０によって書き込まれる。「符号化順序」と「探索中心決定用ピクチャ」の項目は、参照構造テーブル２２の生成時には、初期化されており、符号化順序を変更する処理の過程において映像入力部１０によって情報が書き込まれる。
【００４４】
図４は、インター予測処理部１２の内部構成を示すブロック図である。インター予測処理部１２は、近方方向動き探索処理部１０１、遠方方向動き探索処理部１０２、双方向動き探索処理部１０３を備える。近方方向動き探索処理部１０１は、原ピクチャの符号化対象ブロックと、近方方向参照ピクチャとに基づく動き補償を伴う予測処理を行う。
【００４５】
また、近方方向動き探索処理部１０１は、符号化対象ブロックに対応する符号化ブロックを、近方方向参照ピクチャの中から探索により検出する。また、近方方向動き探索処理部１０１は、検出した符号化ブロックと、符号化対象ブロックの位置関係から近方方向動きベクトルを検出する。また、近方方向動き探索処理部１０１は、検出した近方方向動きベクトルにしたがって参照ピクチャを移動させ、符号化対象ブロックに対応する予測信号を生成する。また、近方方向動き探索処理部１０１は、補助情報記憶部２０の動きベクトルテーブル２１の符号化対象ブロックに対応する「動きベクトル」の項目の「Ｓ」の項目に検出した近方方向動きベクトルの情報を書き込んで記憶させる。また、近方方向動き探索処理部１０１は、検出した近方方向動きベクトルの情報と、近方方向の予測信号とを出力する。
【００４６】
遠方方向動き探索処理部１０２は、図５に示す内部構成を有しており、遠方方向探索中心変更判定部２０１、遠方方向探索中心選択部２０２、遠方方向動き探索実処理部２０３を備える。遠方方向探索中心変更判定部２０１は、補助情報記憶部２０に記憶されている参照構造テーブル２２において、符号化対象ブロックを含むピクチャのＰＯＣの値に対応する「探索中心決定用ピクチャ」の項目に探索中心決定用ピクチャのＰＯＣの値が書き込まれているか否かを判定する。また、遠方方向探索中心変更判定部２０１は、「探索中心決定用ピクチャ」の項目に探索中心決定用ピクチャのＰＯＣの値が書き込まれていない場合、符号化対象ブロックについて探索中心の変更を行わないことを示す情報を遠方方向探索中心選択部２０２に出力する。また、遠方方向探索中心変更判定部２０１は、「探索中心決定用ピクチャ」の項目に探索中心決定用ピクチャのＰＯＣの値が書き込まれている場合、当該探索中心決定用ピクチャのＰＯＣの値を読み出す。また、遠方方向探索中心変更判定部２０１は、読み出した探索中心決定用ピクチャのＰＯＣの値と、符号化対象ブロックを含むピクチャについて探索中心の変更を行うことを示す情報とを遠方方向探索中心選択部２０２に出力する。
【００４７】
遠方方向探索中心選択部２０２は、探索中心の変更を行わないことを示す情報を受けた場合、符号化対象ブロックの近方方向動きベクトルに基づいて、符号化対象ブロックの遠方方向参照ピクチャにおける探索中心の位置を算出する。また、遠方方向探索中心選択部２０２は、探索中心の変更を行うことを示す情報を受けた場合、符号化対象ブロックの近方方向動きベクトルと、探索中心決定用ピクチャの遠方方向参照ピクチャにおける動きベクトルとに基づいて、符号化対象ブロックの遠方方向参照ピクチャにおける探索中心の位置を算出する。
【００４８】
遠方方向動き探索実処理部２０３は、算出された遠方方向参照ピクチャにおける探索中心の位置を示す情報と、遠方方向の参照ピクチャと、原ピクチャの符号化対象ブロックとに基づく動き補償を伴う画面間予測処理を行う。また、遠方方向動き探索実処理部２０３は、補助情報記憶部２０の動きベクトルテーブル２１の符号化対象ブロックに対応する「動きベクトル」の項目の「Ｌ」の項目に、予測処理により検出した遠方方向動きベクトルの情報を書き込む。また、遠方方向動き探索実処理部２０３は、検出した動きベクトルにしたがって参照ピクチャを移動させ、符号化対象ブロックに対応する予測信号を生成する。遠方方向動き探索実処理部２０３は、検出した遠方方向動きベクトルと、遠方方向の予測信号とを出力する。
【００４９】
図４に戻り、双方向動き探索処理部１０３は、符号化対象ブロックと、遠方と近方の参照ピクチャと、近方方向動きベクトル及び近方方向の予測信号と、遠方方向動きベクトル及び遠方方向の予測信号とに基づいて、双方向の動き探索を行い、最終的な予測信号と動きベクトルを算出して出力する。また、双方向動き探索処理部１０３は、補助情報記憶部２０の動きベクトルテーブル２１の符号化対象ブロックに対応する「動きベクトル」の項目の「Ｂ」の項目に算出した最終的な動きベクトルの情報を書き込む。
【００５０】
図６は、インター予測処理部１２の構成において、近方方向動き探索処理部１０１と、遠方方向動き探索処理部１０２によって行われる処理の順序とタイミングを示す図である。図６（１）は、通常の双方向の画面間予測符号化において行われる符号化ブロックの処理の順序とタイミングを示す図である。通常の双方向の画面間予測符号化では、同一符号化対象ブロックに対して近方と遠方の両方の探索処理が同じタイミング、すなわち同一時刻に処理が開始されるタイミングで行われる。図６の（１）の処理順序とタイミングで探索処理を行うことで、リアルタイム性は高まるが、この処理順序では、図５を参照して説明した遠方方向探索中心選択部２０２による遠方方向の探索中心を選択する処理において、近方方向の探索処理の結果を利用するといったことができない。
【００５１】
これに対して、本実施形態では、図６の（２）に示すように同一符号化対象ブロックに対して、近方方向動き探索処理を、遠方方向動き探索処理よりも先に行う。具体的には、図６の（２）に示すように、近方方向動き探索処理が対象にする符号化ブロックと、遠方方向動き探索処理が対象にする符号化ブロックとを１つだけずらし、近方方向動き探索処理において対象とする符号化ブロックが１つ前の符号化ブロックになる処理順序としている。
【００５２】
そのため、ある符号化ブロックを対象として遠方方向動き探索処理を行う際、近方方向動き探索処理が既に終了しており、遠方方向探索中心選択部２０２による遠方方向の探索中心を選択する処理において、近方方向動き探索処理の結果を利用することができる。これにより、遠方方向動き探索の予測精度を向上させることができる。このようにしても、符号化対象ブロックの処理時刻としては、１符号化ブロック分ずれるだけであるため、大きくリアルタイム性が損なわれることもなく、ピクチャ単位で近方方向動き探索と遠方方向動き探索の処理時刻をずらす等構成よりも、符号化対象ブロックの符号化モードが早期に確定されることになる。
【００５３】
（符号化順序変更処理）
次に、図７から図１５を参照しつつ本実施形態の映像符号化装置１による処理について説明する。図７は、映像入力部１０による符号化対象ピクチャの符号化順序の変更の処理を示すフローチャートである。
【００５４】
一般的な、映像の符号化を行う装置では、ピクチャの符号化順序は、復号順序と同じであり、本実施形態においても、初期値としての符号化順序は復号順序と同じに設定する。映像入力部１０は、Ｘに０を代入する（ステップＳａ１）。映像入力部１０は、補助情報記憶部２０の参照構造テーブル２２を参照して、表示順序（ＰＯＣ）が、Ｘの「符号化順序」の項目に、「復号順序」の項目に記憶されている復号順を示す値と同じ値を書き込む。例えば、Ｘ＝０の場合、「復号順序」の項目に書き込まれている値は「０」であるため、「符号化順序」の項目にも「０」を書き込む（ステップＳａ２）。映像入力部１０は、Ｘに１を加算する（ステップＳａ３）。
【００５５】
映像入力部１０は、Ｘの値が、ＧＯＰのサイズ、すなわち、本実施形態の例では「１６」以下であるか否かを判定する（ステップＳａ４）。Ｘの値が、ＧＯＰのサイズ以下の場合、映像入力部１０は、ステップＳａ２からの処理を繰り返す。一方、Ｘの値が、ＧＯＰのサイズを超える場合、映像入力部１０は、Ｘに０を代入して、Ｘの値を初期化する（ステップＳａ５）。ステップＳａ２からＳａ４の処理を繰り返すことで、参照構造テーブル２２において、ＰＯＣが０〜１６の全てのピクチャの「符号化順序」の項目に、「復号順序」の項目に記憶されている値と同じ値が書き込まれることになる。
【００５６】
次に、映像入力部１０は、｜Ｘ−ＰＯＣ（Ｐｌ０（Ｘ））｜が、｜Ｘ−ＰＯＣ（Ｐｌ１（Ｘ））｜に等しいか否かを判定する（ステップＳａ６）。ここで、Ｐｌ０（Ｘ）の記号は、ＰＯＣ＝Ｘのピクチャの前方向参照ピクチャのことを示し、Ｐｌ０（Ｘ）の記号は、ＰＯＣ＝Ｘのピクチャの後方向参照ピクチャのことを示す記号である。また、ＰＯＣ（Ａ）の記号は、ピクチャＡのＰＯＣの値を示す記号であり、例えば、ＰＯＣ（Ｐｌ０（Ｘ））は、ＰＯＣ＝Ｘのピクチャの前方向参照ピクチャのＰＯＣの値を示すことになる。
【００５７】
上記の｜Ｘ−ＰＯＣ（Ｐｌ０（Ｘ））｜とは、ピクチャＸについての前方向参照ピクチャとの参照距離であり、｜Ｘ−ＰＯＣ（Ｐｌ１（Ｘ））｜とは、ピクチャＸについての後方向参照ピクチャとの参照距離である。換言すると、映像入力部１０は、ステップＳａ６において、ピクチャＸと前方向参照ピクチャとの参照距離と、ピクチャＸと後方向参照ピクチャとの参照距離とが等しいか否か、すなわちピクチャＸについて、参照ピクチャの参照距離が対称であるか否かを判定する。
【００５８】
例えば、Ｘ＝５、すなわちＰＯＣ＝５のピクチャを例として説明すると、映像入力部１０は、補助情報記憶部２０の参照構造テーブル２２の「表示順序（ＰＯＣ）」が「５」の「前方向参照距離」の項目に記憶されている値（図３の例では「１」）と、「後方向参照距離」の項目に記憶されている値（図３の例では「３」）とを比較する。図３の例では、２つの参照距離が非対称であるため、映像入力部１０は、ステップＳａ６の判定において「ＮＯ」と判定する。
【００５９】
映像入力部１０は、ステップＳａ６において、ピクチャＸについての前方向の参照距離と、後方向の参照距離が等しいと判定した場合（ステップＳａ６：ＹＥＳ）、処理をステップＳａ１２に進める。一方、映像入力部１０は、ピクチャＸについての前方向の参照距離と、後方向の参照距離が等しくないと判定した場合（ステップＳａ６：ＮＯ）、以下の判定条件を満たすか否かを判定する（ステップＳａ７）。すなわち、映像入力部１０は、「ＰＬ（Ｘ）＝Ｐ１０（Ｙ）またはＰＬ（Ｘ）＝Ｐ１１（Ｙ）」であり、かつ「Ｘ＜Ｙ＜ＰＯＣ（ＰＬ（Ｘ））またはＰＯＣ（ＰＬ（Ｘ））＜Ｙ＜Ｘ」を満たすピクチャＹが存在するかという判定条件を判定する。ここで、ＰＬ（Ｘ）の記号は、ＰＯＣがＸのピクチャの遠方方向参照ピクチャを示す記号である。上記の判定は、ピクチャＸの遠方方向参照ピクチャと同じピクチャを前方向あるいは後方向で参照するピクチャＹであって、かつ、ピクチャＹの表示順序が、ピクチャＸと、ピクチャＸの遠方方向参照ピクチャ（ＰＬ（Ｘ））の表示順序の間に存在するようなピクチャＹが存在するか否かを判定している。なお、このピクチャＹが、前述した探索中心決定用ピクチャである。
【００６０】
映像入力部１０は、ステップＳａ７において、上記の判定条件を満たすピクチャＹが存在しないと判定した場合（ステップＳａ７：ＮＯ）、処理をステップＳａ１２に進める。一方、映像入力部１０は、上記の判定条件を満たすピクチャＹが存在すると判定した場合（ステップＳａ７：ＹＥＳ）、ピクチャＸ（ＰＯＣ＝Ｘ）のその時点での符号化順序（以下「現符号化順序」という）が、ピクチャＹ（ＰＯＣ＝Ｙ）の現符号化順序よりも前であるか否かを判定する（ステップＳａ８）。
【００６１】
具体的には、映像入力部１０は、参照構造テーブル２２において、まず、ピクチャＸの「符号化順序」の項目の値が、ピクチャＹの「符号化順序」の項目の値よりも小さいか否かを判定する。ピクチャＸの「符号化順序」の項目の値が、ピクチャＹの「符号化順序」の項目の値よりも小さくない場合、映像入力部１０は、ピクチャＸの現符号化順序が、ピクチャＹの現符号化順序よりも前でないと判定し（ステップＳａ８：Ｎｏ）、処理をステップＳａ１１に進める。なお、符号化の順番は、それぞれ異なるように付与されているため、ピクチャＸの現符号化順序が、ピクチャＹの現符号化順序よりも前でないということは、ピクチャＸの現符号化順序が、ピクチャＹの現符号化順序よりも後ということになる。
【００６２】
一方、ピクチャＸの「符号化順序」の項目の値が、ピクチャＹの「符号化順序」の項目の値よりも小さい場合、映像入力部１０は、ピクチャＸの現符号化順序が、ピクチャＹの現符号化順序よりも前であると判定する（ステップＳａ８：ＹＥＳ）。次に、映像入力部１０は、ピクチャＸを参照するピクチャが存在しないか否かを判定する（ステップＳａ９）。具体的には、映像入力部１０は、参照構造テーブル２２のＰＯＣ＝Ｘの「被参照の有無」の項目を参照して判定する。
【００６３】
ＰＯＣ＝Ｘの「被参照の有無」の項目に「無」が記憶されている場合、映像入力部１０は、ピクチャＸを参照している他のピクチャが存在しないと判定する（ステップＳａ９：ＹＥＳ）。一方、ＰＯＣ＝Ｘの「被参照の有無」の項目に「有」が記憶されている場合、映像入力部１０は、ピクチャＸを参照している他のピクチャが存在と判定し（ステップＳａ９：ＮＯ）、処理をステップＳａ１２に進める。
【００６４】
このように、ピクチャＸを参照しているピクチャが存在しないか否かを判定する理由は、符号化順序の変更によって予測処理において参照先となるピクチャが復号されていない等の参照構造に影響を及ぼすことがないかどうかを変更前に判定しておくためである。ピクチャＸを参照する他のピクチャが存在する場合には参照構造に支障がでてしまうため、符号化順序の変更を行わないようにする必要がある。
【００６５】
ステップＳａ９において、ＹＥＳの判定をした場合、映像入力部１０は、ピクチャＸの符号化順序をピクチャＹの直後に変更する（ステップＳａ１０）。このとき、映像入力部１０は、ピクチャＸの現符号化順序と、ピクチャＹの現符号化順序の間に存在する他のピクチャの符号化順序についても、ピクチャＸの符号化順序がピクチャＹの直後になるように変更する。また、ピクチャＹとなるピクチャが複数存在する場合、表示順序が先となるピクチャ（ＰＯＣの値がよりピクチャＸに近いピクチャ）をピクチャＹとして選択する。映像入力部１０は、ピクチャＹのＰＯＣの値を参照構造テーブル２２のＰＯＣ＝Ｘの「探索中心決定用ピクチャ」の項目に書き込んで記憶させる（ステップＳａ１１）。表示順序が先となるピクチャをピクチャＹとして選択することによって、｜Ｙ−Ｘ｜の値が小さくなる。そのため、ＭＶＸ→Ｓを反対方向に線形伸長してＭＶＸ→Ｙにする場合に、伸長率がより小さくなり伸長による誤差及び動き探索精度劣化を小さくすることができる。
【００６６】
映像入力部１０は、Ｘに１を加算する（ステップＳａ１２）。映像入力部１０は、Ｘが、ＧＯＰのサイズ、すなわち、本実施形態の例では「１６」以下であるか否かを判定する（ステップＳａ１３）。Ｘが、ＧＯＰのサイズ以下である場合、映像入力部１０は、ステップＳａ６からの処理を繰り返し、Ｘが、ＧＯＰのサイズを超える場合、映像入力部１０は、処理を終了する。
【００６７】
上記のステップＳａ１からステップＳａ１２の処理は、ＧＯＰ単位で行われ、１７個の原ピクチャについて、ステップＳａ１からステップＳａ１２が終了すると、次の１７個の原ピクチャについて同様の処理が行われる。
【００６８】
図８は、ＰＯＣ＝５のピクチャに対して、図７の処理を適用した例を示す図である。図２に示すように、ＰＯＣ＝５の「復号順序」は、「６」であるため、「符号化順序」の初期値は「６」となる。ステップＳａ６の処理において、ＰＯＣ＝５の前方向参照ピクチャはＰＯＣ＝４であり、後方向参照ピクチャは、ＰＯＣ＝８である。そのため、前方向と、後方向において参照距離が異なり、非対称性を有している。したがって、映像入力部１０は、ステップＳａ６において、「ＮＯ」と判定し、処理をステップＳａ７に進める。ＰＯＣ＝５のピクチャにおいて、遠方方向の参照ピクチャは、ＰＯＣ＝８となる。このＰＯＣ＝８のピクチャを参照している他のピクチャＹであって、ＰＯＣ＝５とＰＯＣ＝８の間で表示されるピクチャＹとして、ＰＯＣ＝６とＰＯＣ＝７が存在する。したがって、映像入力部１０は、ステップＳａ７の判定において、「ＹＥＳ」と判定する。
【００６９】
ＰＯＣ＝５の現符号化順序は「６」であり、ＰＯＣ＝６及びＰＯＣ＝７の現符号化順序は、それぞれ「９」と「８」であるから、ＰＯＣ＝５の現符号化順序は、ＰＯＣ＝６及びＰＯＣ＝７よりも前である。したがって、映像入力部１０は、ステップＳａ８の判定において、「ＹＥＳ」と判定する。また、ＰＯＣ＝５を参照している他のピクチャは存在していないため、映像入力部１０は、ステップＳａ９の判定において、「ＹＥＳ」と判定する。次に、映像入力部１０は、ＰＯＣ＝５の符号化順序の変更を行う。ピクチャＹの候補が２つ存在するため、上述したように、映像入力部１０は、ＰＯＣの値がよりピクチャＸに近いＰＯＣ＝６をピクチャＹとして選択する。このようにすることによって、上述したように、｜Ｙ−Ｘ｜の値が小さくなる。そのため、ＭＶＸ→Ｓを反対方向に線形伸長してＭＶＸ→Ｙにする場合に、伸長率がより小さくなり伸長による誤差及び動き探索精度劣化を小さくすることができる。
【００７０】
映像入力部１０は、ステップＳａ１０において、ＰＯＣ＝５のピクチャの符号化の順序が、ＰＯＣ＝６の直後になるように符号化順序の変更を行う。ＰＯＣ＝５の現符号化順序は、「６」であり、ＰＯＣ＝６の現符号化順序は、「９」であるため、その間に存在する現符号化順序が「７」のＰＯＣ＝２と、現符号化順序が「８」のＰＯＣ＝７の符号化順序も変更する必要がある。そのため、映像入力部１０は、ＰＯＣ＝２，７，６の符号化順序を１つずつずらして、それぞれ「６」，「７」，「８」とし、ＰＯＣ＝５の符号化順序を「９」とする。これにより図８（Ａ）に示す状態から、図８（Ｂ）に示す状態に符号化順序の変更が行われる。
【００７１】
映像入力部１０は、参照構造テーブル２２のＰＯＣ＝２，７，６，５の「符号化順序」の項目に新たな順序を示す値を書き込む。映像入力部１０は、更に、ＰＯＣ＝５の「探索中心決定用ピクチャ」の項目に、「６」、すなわちピクチャＹであるＰＯＣ＝６のピクチャを示す値を書き込み、参照構造テーブル２２は、図９に示す構成となる。この処理の後、ＰＯＣ＝７に関する処理において、ＰＯＣ＝６は、ＰＯＣ＝７についてもピクチャＹとなるため、ＰＯＣ＝６の符号化順序は更に書き換えられ「７」となり、結果として、図２の参照構造は、図１０に示すような状態となる。
【００７２】
上記のような符号化順序の変更を行うことにより、ピクチャＸについての探索中心決定用ピクチャＹが存在する場合、当該探索中心決定用ピクチャＹについての符号化処理を、ピクチャＸの符号化処理の前に終了させておくことができる。そのため、後述するインター予測処理部１２において、ピクチャＸの遠方方向参照ピクチャに基づいて行う予測処理の際に、既に符号化処理済みの探索中心決定用ピクチャＹに関連する情報を利用して、探索中心を選択する処理を行うことができる。
【００７３】
（探索中心決定用ピクチャを用いた探索中心選択処理）
図１１は、インター予測処理部１２の遠方方向動き探索処理部１０２において行われる遠方方向動き探索処理の流れを示すフローチャートである。以下の説明において、ＰＯＣ＝Ｌのピクチャを、ピクチャＸの遠方方向参照ピクチャとし、ＰＯＣ＝Ｓのピクチャを、ピクチャＸの近方方向参照ピクチャとし、これらを遠方方向参照ピクチャＬ、近方方向参照ピクチャＳという。また、上述した図７のフローチャートでの説明と同様に探索中心決定用ピクチャのＰＯＣをＹとする。
【００７４】
遠方方向探索中心変更判定部２０１は、符号化対象ブロックを含むピクチャＸのＰＯＣの値を取得する（ステップＳｂ１）。なお、符号化対象ブロックが含まれる原ピクチャのＰＯＣの値は、例えば、スライスのヘッダ情報から取得するものとする。遠方方向探索中心変更判定部２０１は、補助情報記憶部２０の参照構造テーブル２２の「表示順序（ＰＯＣ）」がＰＯＣ＝Ｘである情報の「探索中心決定用ピクチャ」の項目を参照する（ステップＳｂ２）。遠方方向探索中心変更判定部２０１は、「探索中心決定用ピクチャ」の項目にＰＯＣの値が書き込まれているか否かを判定する（ステップＳｂ３）。
【００７５】
遠方方向探索中心変更判定部２０１は、「探索中心決定用ピクチャ」の項目にＰＯＣの値が書き込まれていないと判定した場合（ステップＳｂ３：ＮＯ）、符号化対象ブロックの情報と、探索中心の変更を行わないことを示す情報とを遠方方向探索中心選択部２０２に出力する。遠方方向探索中心選択部２０２は、周辺ブロックＭＶから探索中心を決定する既存の手法に基づいて探索中心を選択する（ステップＳｂ４）。具体的には、遠方方向探索中心選択部２０２は、動き探索を行う符号化対象ブロックの周辺ブロック（例えば、左、上、左上、右上等の位置のブロック、または、既に符号化が終わっているピクチャで同位置に存在するブロック）が持つ動きベクトル値に基づいて、符号化対象ブロックにおける動きベクトルの予測値を算出し、算出した動きベクトルの予測値によって示される位置を探索中心として探索を行い、最適な動きベクトルを求める。遠方方向探索中心選択部２０２は、遠方方向動きベクトルの探索中心の位置を示す情報と、当該符号化対象ブロックの情報とを遠方方向動き探索実処理部２０３に出力する。
【００７６】
一方、遠方方向探索中心変更判定部２０１は、「探索中心決定用ピクチャ」の項目にＰＯＣの値が書き込まれていると判定した場合（ステップＳｂ３：ＹＥＳ）、「探索中心決定用ピクチャ」の項目のＰＯＣの値を読み出す。遠方方向探索中心変更判定部２０１は、探索中心の変更を行うことを示す情報と、読み出した探索中心決定用ピクチャＹのＰＯＣの値と、当該符号化対象ブロックの情報とを遠方方向探索中心選択部２０２に出力する。遠方方向探索中心選択部２０２は、近方方向動き探索処理部１０１が出力する近方方向参照ピクチャＳにおける当該符号化対象ブロックの近方方向動きベクトルＭＶＸ→Ｓを取り込む。
【００７７】
遠方方向探索中心選択部２０２は、取り込んだ近方方向動きベクトルＭＶＸ→Ｓを用いて当該符号化対象ブロックから探索中心決定用ピクチャＹへの疑似的な動きベクトルＭＶＸ→Ｙを算出する（ステップＳｂ５）。具体的には、図１２に示すように、ピクチャＸから近方方向参照ピクチャＳまでの参照距離を｜Ｘ−Ｓ｜とし、ピクチャＸから探索中心決定用ピクチャＹまでの参照距離を｜Ｘ−Ｙ｜とした場合、伸長率は、｜Ｘ−Ｙ｜／｜Ｘ−Ｓ｜となる。したがって、疑似的な動きベクトルＭＶＸ→Ｙは、−｜Ｘ−Ｙ｜／｜Ｘ−Ｓ｜×ＭＶＸ→Ｓとして算出される。
【００７８】
遠方方向探索中心選択部２０２は、符号化対象ブロックの中心位置から疑似的な動きベクトルＭＶＸ→Ｙによって指し示される位置に対応する探索中心決定用ピクチャＹの符号化ブロックを選択する。遠方方向探索中心選択部２０２は、選択した符号化ブロックの遠方方向参照ピクチャＬにおける動きベクトルＭＶＹ→Ｌを求める。前述したように探索中心決定用ピクチャＹも、遠方方向参照ピクチャＬを、前方向、または後方向の参照ピクチャとしている。そのため、探索中心決定用ピクチャＹの各符号化ブロックの動きベクトルの算出過程において、探索中心決定用ピクチャＹの符号化ブロックごとの遠方方向参照ピクチャＬにおける動きベクトルも算出されている。算出された動きベクトルの情報は、補助情報記憶部２０の動きベクトルテーブル２１に書き込まれている。
【００７９】
遠方方向探索中心選択部２０２は、符号化対象ブロックの中心位置から疑似的な動きベクトルＭＶＸ→Ｙによって指し示される位置に対応する探索中心決定用ピクチャＹの符号化ブロックを選択する。遠方方向探索中心選択部２０２は、選択した符号化ブロックの遠方方向参照ピクチャＬにおける動きベクトルＭＶＹ→Ｌを動きベクトルテーブル２１から読み出すことにより、動きベクトルＭＶＹ→Ｌを求める（ステップＳｂ６）。
【００８０】
遠方方向探索中心選択部２０２は、図１３に示すように、動きベクトルＭＶＸ→Ｙと、動きベクトルＭＶＹ→Ｌと、を加算したベクトルを生成する。遠方方向探索中心選択部２０２、符号化対象ブロックの中心位置から、動きベクトルＭＶＸ→Ｙと動きベクトルＭＶＹ→Ｌを加算したベクトルによって指し示される位置を、当該符号化対象ブロックに対応する遠方方向参照ピクチャＬにおける動きベクトルの探索中心とする（ステップＳｂ７）。
【００８１】
遠方方向動き探索実処理部２０３は、符号化対象ブロックに対応する遠方方向の参照ピクチャの探索中心の位置から予め定められる範囲の領域である探索領域内を探索し、当該符号化対象ブロックに対応する符号化ブロックを検出する（ステップＳｂ８）。遠方方向動き探索実処理部２０３は、検出した符号化ブロックと、符号化対象ブロックの位置関係から動きベクトルを検出する。遠方方向動き探索実処理部２０３は、補助情報記憶部２０の動きベクトルテーブル２１の符号化対象ブロックに対応する「動きベクトル」の項目の「Ｌ」の項目に、予測処理により検出した遠方方向動きベクトルの情報を書き込む。遠方方向動き探索実処理部２０３は、検出した動きベクトルにしたがって参照ピクチャを移動させ、符号化対象ブロックに対応する予測信号を生成する。遠方方向動き探索実処理部２０３は、検出した遠方方向動きベクトルと、遠方方向の予測信号とを出力する（ステップＳｂ９）。
【００８２】
図１４は、図２と図１０に示す参照構造のうちＰＯＣ＝５のピクチャに対して図１１の処理を適用した例を示す図である。ピクチャ５に対して、図７の符号化順序の変更処理が適用されることで、図８のように符号化順序が変更されている。すなわち、ピクチャ５の探索中心決定用ピクチャとして検出されたＰＯＣ＝６のピクチャの符号化順序は、ピクチャ５の符号化順序「９」よりも前になっている。上述したように、その後のＰＯＣ＝７のピクチャに対する処理で、ピクチャ６の符号化順序は、最終的に「７」になっている。
【００８３】
したがって、ピクチャ５の符号化処理を行う際には、符号化順が前になっているピクチャ６の符号化処理は既に終了している。ピクチャ５から近方方向参照ピクチャであるピクチャ４を対象とした動きベクトルの探索処理は、図６（２）に示すタイミングで処理が行われるため、既に終了している。この近方方向動きベクトルをＭＶ５→４とすると、ピクチャ５とピクチャ６の参照距離は１であるため近方方向動きベクトルＭＶ５→４を逆向きに線形に−１倍したベクトルを生成する。このベクトルが、図１２（２）に示すように符号化対象ブロックを含むピクチャ５から、探索中心決定用ピクチャであるピクチャ６に対する疑似動きベクトルＭＶ５→６となる。探索中心決定用ピクチャ６から遠方方向参照ピクチャ８への動きベクトルＭＶ６→８の情報は、既に終了している探索中心決定用ピクチャＹの遠方方向参照ピクチャ８における動きベクトルの検出結果から取得することができる。疑似動きベクトルＭＶ５→６と動きベクトルＭＶ６→８とを加算することで、ピクチャ５からピクチャ８への遠方方向動き探索における探索中心の位置を求めることができる。
【００８４】
上記の実施形態の構成により、映像入力部１０は、遠方方向参照ピクチャを参照ピクチャとする他のピクチャであって符号化対象ピクチャと遠方方向参照ピクチャとの間で表示される他のピクチャを探索中心決定用ピクチャとして検出する。近方方向動き探索処理部１０１は、遠方方向動き探索処理部１０２が遠方方向参照ピクチャにおける動きベクトルを検出するよりも先に近方方向参照ピクチャにおける動きベクトルを検出する。遠方方向動き探索処理部１０２は、探索中心決定用ピクチャの予測処理を符号化対象ピクチャの予測処理よりも先に行い、符号化対象ピクチャを分割して得られる符号化対象ブロックの近方方向参照ピクチャにおける動きベクトルと、探索中心決定用ピクチャの遠方方向参照ピクチャにおける動きベクトルとを用いて、符号化対象ブロックの遠方方向参照ピクチャにおける動きベクトルの探索中心の位置を求める。
これにより、複数の参照ピクチャを用いて動き補償を伴う画面間予測処理を行う映像符号化方式において、演算量を増大させずに符号量の削減を行うことが可能となる。
換言すると、本実施形態の映像符号化装置１は、映像入力部１０が、探索中心決定用ピクチャを検出し、適応的に符号化順序を変更し、インター予測処理部１２が適切な探索中心の位置を選択することで、予測処理に要する演算量を増大させずに符号量を削減することができる。
【００８５】
本実施形態の構成では、例えば、ＡＲＩＢで規定される時間方向階層符号化方式のような、符号化対象ブロックに複数の参照ピクチャが対応付けられており、かつ当該符号化ブロックを含む原ピクチャから参照ピクチャまでの参照距離が異なる映像符号化方式を対象としている。このような映像符号化方式において、本実施形態の映像符号化装置１は、符号化順序を適応的に変更することにより符号化済みとなっている探索中心決定用ピクチャの動きベクトルと、符号化対象ブロックの近方方向の動きベクトルとを組み合わせる。そして、組み合わせたベクトルによって当該符号化対象ブロックの遠方方向の動き探索における適切な探索中心を選択する。これにより、遠方方向動き探索の探索精度を向上させることができ、演算量を増大させずに符号量の削減を行うことが可能となる。
【００８６】
上記の非特許文献１に記載の手法のように、近方方向動きベクトルを遠方方向まで線形に伸長して遠方方向の探索中心を定める場合、伸長率が大きくなることが多い。伸長率が大きい場合、特に画面間の動きの非線形性が強い映像では、定めた遠方方向探索中心に基づいて動き探索を行ったとしても、精度の高い遠方方向動きベクトルを得られないことが多い。特に、ＡＲＩＢで規定される時間方向階層符号化方式では、１２０／Ｐサブセットにおける参照距離の非対称性により、遠方方向の動き探索では近方方向の動き探索よりも動きベクトルの精度が低くなる傾向にあり、１２０／Ｐサブセットは、動き探索精度においても非対称性を有している。
【００８７】
これに対して、本実施形態では、近方方向動きベクトルを符号化済みの探索中心決定用ピクチャに基づいて伸長するようにしている。探索中心決定用ピクチャは遠方方向参照ピクチャよりも時間的に近い位置にあるため、遠方方向参照ピクチャまで伸長する場合に比べて伸長率は小さくなる。そのため、画面間の動きの非線形性が強い場合でも、精度が大きく落ちることは少ない。さらに、遠方方向探索中心の選択については、処理済みの符号化対象ブロックの近方方向動きベクトルと、符号化済みの探索中心決定用ピクチャの動きベクトルとを用いるため非特許文献１に記載の手法のように特定の動き探索処理を削減することはなく、探索処理削減による全体符号量増加が生じることもない。
【００８８】
なお、上記の実施形態において、図２に示す参照構造のデータは、補助情報記憶部２０の参照構造テーブル２２として予め記憶されていてもよいし、または、映像入力部１０が、映像信号を取り込んだ際、映像信号に含まれる参照構造のデータを読み出して補助情報記憶部２０の参照構造テーブル２２に書き込むようにしてもよい。
【００８９】
また、上記の実施形態において、ピクチャＸに対する探索中心決定用ピクチャＹとして２つ以上の候補となるピクチャが存在した場合、ＰＯＣの値が若番のピクチャを選択するとしているが、例えば、ＴｅｍｐｏｒａｌＩＤが、ピクチャＸのＴｅｍｐｏｒａｌＩＤと異なるピクチャを探索中心決定用ピクチャＹとして選択するなど、いずれか１つに選択する手法であればどのような手法を適用してもよい。
【００９０】
また、上記の実施形態において、遠方方向探索中心選択部２０２は、近方方向動き探索処理部１０１が出力する近方方向動きベクトルＭＶＸ→Ｓを用いて処理を行っているが、補助情報記憶部２０の動きベクトルテーブル２１に書き込まれている近方方向動きベクトルＭＶＸ→Ｓを読み出して取得するようにしてもよい。
【００９１】
また、上記の実施形態の図７のステップＳａ９において、ピクチャＸを参照する他のピクチャは存在しないか否かを判定しているが、符号化順序の変更によって参照構造に支障がでないことを判定できる判定条件であれば、どのような判定を行ってもよい。例えば、ピクチャＸを参照する他のピクチャが存在したとしても、ピクチャＸの符号化順序の変更によって当該他のピクチャの符号化処理において影響がでないことを判定する判定条件であってもよい。
【００９２】
また、上記の実施形態の図７のステップＳａ１０において、ＰＯＣ＝Ｘの符号化順序をＰＯＣ＝Ｙの直後になるように変更しているが、ＰＯＣ＝Ｘの符号化順序が、ＰＯＣ＝Ｙの後になれば、どのような符号化順序の変更を行うようにしてもよい。例えば、符号化順序の変更を行う場合、ＰＯＣ＝Ｘの符号化順序を全てのピクチャの符号化順序の最後尾にしてもよい。
【００９３】
また、上記の実施形態では、図７の処理のステップＳａ６に示すように、前方向と後方向の２つの参照ピクチャへの参照距離が異なる場合に、探索中心決定用ピクチャＹの有無を判定しているが、本発明の構成は、当該実施の形態に限られない。前方向と後方向の２つの参照ピクチャへの参照距離が同じ場合にも適用してもよい。この場合、図７のステップＳａ６の処理を行わないことになり、いずれか一方の参照ピクチャを便宜的に近方方向参照ピクチャとし、他方を遠方方向参照ピクチャとしてステップＳａ７以降の処理を行うことになる。
【００９４】
また、上記の実施形態の図１１のステップＳｂ４に示す処理に替えて、非特許文献１に示す同一符号化対象ブロックの遠方方向の動き探索中心を定める手法（上述した第１の手法）、又は、拡張レイヤ間事前探索による探索中心決定手法（上述した第２の手法）のいずれかの手法を適用して探索中心を選択するようにしてもよい。
（第１の手法を用いた場合の処理についての説明）
遠方方向探索中心選択部２０２は、近方方向動き探索処理部１０１が出力する近方方向参照ピクチャＳにおける当該符号化対象ブロックの近方方向動きベクトルＭＶＸ→Ｓを取り込む。遠方方向探索中心選択部２０２は、取り込んだ近方方向動きベクトルＭＶＸ→Ｓを用いて、当該符号化対象ブロックに対する遠方方向参照ピクチャＬにおける探索中心を選択する。すなわち、遠方方向探索中心選択部２０２は、近方方向動きベクトルＭＶＸ→Ｓの方向を１８０度反転させて、遠方方向参照ピクチャＬまでの参照距離に応じた伸長率分だけ伸長させた動きベクトルＭＶＸ→Ｌを生成する。ピクチャＸから近方方向参照ピクチャＳまでの参照距離を｜Ｘ−Ｓ｜とし、ピクチャＸから遠方方向参照ピクチャＬまでの参照距離を｜Ｘ−Ｌ｜とした場合、伸長率は、｜Ｘ−Ｌ｜／｜Ｘ−Ｓ｜となる。したがって、動きベクトルＭＶＸ→Ｌは、−｜Ｘ−Ｌ｜／｜Ｘ−Ｓ｜×ＭＶＸ→Ｓとして算出される。遠方方向探索中心選択部２０２は、当該符号化対象ブロックの中心位置から動きベクトルＭＶＸ→Ｌによって指示される位置を遠方方向参照ピクチャＬにおける動きベクトルの探索中心とする。遠方方向探索中心選択部２０２は、遠方方向動きベクトルの探索中心の位置を示す情報と、当該符号化対象ブロックの情報とを遠方方向動き探索実処理部２０３に出力する。
【００９５】
また、上記の実施形態では、参照ピクチャとして、前方向と後方向の２つの参照ピクチャを用いて予測処理を行う構成となっているが、２つ以上の参照ピクチャを用いて予測処理を行う構成であってもよい。２つ以上の参照ピクチャを用いる場合、いずれかの参照ピクチャを遠方方向参照ピクチャとした場合、当該遠方方向参照ピクチャと逆方向にあり、遠方方向参照ピクチャの参照距離以下の参照距離である参照ピクチャを近方方向参照ピクチャとすることになる。
【００９６】
また、上記の実施形態では、図６（２）に示すように遠方方向動き探索処理の処理対象の符号化ブロックよりも、近方方向動き探索処理の処理対象の符号化ブロックが、１つ先の符号化ブロックになるようにしているが、本発明の構成は当該実施の形態に限られず、符号化対象ブロックの遠方方向動き探索処理が行われるまでに、当該符号化対象ブロックの近方方向動き探索処理が完了している構成であれば、どのような構成であってもよい。
【００９７】
また、上記の実施形態は、ＡＲＩＢ規定の時間方向階層符号化の規格に基づいた構成を示しているが、本発明の構成は、当該実施の形態に限られず、ＡＲＩＢ規定の時間方向階層符号化以外の符号化方式に適用してもよい。また、ＧＯＰごとに図２に示す参照構造が異なるような符号化方式であってもよい。
また、上記の実施形態の実装としては、リアルタイム符号化処理を実行するためハードウェアにより実装するようにしてもよいし、ソフトウェアにより実装されてもよい。
【００９８】
上述した実施形態における映像符号化装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００９９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１００】
１…映像符号化装置，１０…映像入力部，１１…イントラ予測処理部，１２…インター予測処理部，１３…スイッチ，１４…予測残差信号生成部，１５…変換・量子化処理部，１６…エントロピー符号化部，１７…逆量子化・逆変換処理部，１８…復号信号生成部，１９…ループフィルタ処理部，２０…補助情報記憶部
【図１】
2018107762.tif 000003
【図２】
2018107762.tif 000004
【図３】
2018107762.tif 000005
【図４】
2018107762.tif 000006
【図５】
2018107762.tif 000007
【図６】
2018107762.tif 000008
【図７】
2018107762.tif 000009
【図８】
2018107762.tif 000010
【図９】
2018107762.tif 000011
【図１０】
2018107762.tif 000012
【図１１】
2018107762.tif 000013
【図１２】
2018107762.tif 000014
【図１３】
2018107762.tif 000015
【図１４】
2018107762.tif 000016