(57)【特許請求の範囲】
【請求項１】
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、
規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号部と、
復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成部と、
空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除部と、
復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択部と、
前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出部と
を備えることを特徴とする動画像復号装置。
【請求項２】
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置が実行する動画像復号方法であって、
規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号ステップと、
復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成ステップと、
空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除ステップと、
復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択ステップと、
前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出ステップと
を有することを特徴とする動画像復号方法。
【請求項３】
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置が備えるコンピュータに実行させる動画像復号プログラムであって、
規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号ステップと、
復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成ステップと、
空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除ステップと、
復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択ステップと、
前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出ステップと
をコンピュータに実行させることを特徴とする動画像復号プログラム。
【請求項４】
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する受信装置であって、
パケット化された符号化データをネットワークを介して受信する受信部と、
受信された符号化データをパケット処理して符号化ストリームを生成するパケット処理部と、
前記符号化ストリームから、規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号部と、
復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成部と、
空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除部と、
復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択部と、
前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出部と
を備えることを特徴とする受信装置。
【請求項５】
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する受信装置が実行する受信方法であって、
パケット化された符号化データをネットワークを介して受信する受信ステップと、
受信された符号化データをパケット処理して符号化ストリームを生成するパケット処理ステップと、
前記符号化ストリームから、規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号ステップと、
復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成ステップと、
空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除ステップと、
復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択ステップと、
前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出ステップと
を有することを特徴とする受信方法。
【請求項６】
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する受信装置が備えるコンピュータに実行させる受信プログラムであって、
パケット化された符号化データをネットワークを介して受信する受信ステップと、
受信された符号化データをパケット処理して符号化ストリームを生成するパケット処理ステップと、
前記符号化ストリームから、規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号ステップと、
復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成ステップと、
空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除ステップと、
復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択ステップと、
前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出ステップと
をコンピュータに実行させることを特徴とする受信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号技術に関し、特に動き補償予測を利用した動画像復号技術に関する。
【背景技術】
【０００２】
動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４（以下ＡＶＣ）の規格がある。ＡＶＣでは、ピクチャを複数の矩形ブロックに分割し、すでに符号化・復号したピクチャを参照ピクチャとし、参照ピクチャからの動きを予測する動き補償が用いられている。この動き補償により動きを予測する手法をインター予測と呼ぶ。ＡＶＣでのインター予測では、複数のピクチャを参照ピクチャとして用いることができ、これらの複数の参照ピクチャから最も適した参照ピクチャをブロック毎に選択して動き補償を行う。そこで、それぞれの参照ピクチャには参照インデックスが割り当てられ、この参照インデックスにより、参照ピクチャを特定する。なお、Ｂピクチャでは、符号化・復号済みの参照ピクチャから最大で２枚を選択してインター予測に用いることができる。それらの２枚の参照ピクチャからの予測をそれぞれ主に前方向の予測として使われるＬ０予測（リスト０予測）、主に後方向の予測として使われるＬ１予測（リスト１予測）として区別している。
【０００３】
さらに、Ｌ０予測とＬ１予測の２つのインター予測を同時に用いる双予測も定義されている。双予測の場合は、双方向の予測を行い、Ｌ０予測、Ｌ１予測のそれぞれのインター予測された信号に重み付け係数を掛け算し、オフセット値を加算して重畳し、最終的なインター予測画像信号を生成する。重み付け予測に用いる重み付け係数及びオフセット値はピクチャ単位で各リストの参照ピクチャ毎に代表的な値が設定され、符号化される。インター予測に関する符号化情報には、ブロック毎に、Ｌ０予測とＬ１予測、双予測を区別する予測モード、ブロック毎の参照リスト毎に、参照ピクチャを特定する参照インデックス、ブロックの移動方向・移動量を表す動きベクトルがあり、これらの符号化情報を符号化・復号する。
【０００４】
動き補償を行う動画像符号化方式では、各ブロックで生成される動きベクトルの符号量を削減する為に、動きベクトルに対して予測処理が行われる。ＡＶＣでは、符号化対象の動きベクトルが周囲の隣接ブロックの動きベクトルと強い相関があることを利用して、周囲の隣接ブロックからの予測を行うことにより予測動きベクトルを算出し、符号化対象の動きベクトルと予測動きベクトルとの差分である差分動きベクトルを算出し、その差分動きベクトルを符号化することによって符号量を削減している。
【０００５】
具体的には、図３４（ａ）に示されるように、周囲の隣接ブロックＡ，Ｂ，Ｃの動きベクトルから中央値を算出して予測動きベクトルとし、動きベクトルとその予測動きベクトルとの差分をとることで動きベクトルの符号量を削減している。但し、図３４（ｂ）のように、符号化対象ブロックと隣接ブロックの大きさや形状が異なる場合は、左隣に複数の隣接ブロックがある時はその中の一番上のブロックを、上に複数の隣接ブロックがある時はその中の一番左のブロックを予測ブロックとし、決定された予測ブロックの動きベクトルから予測を実施する。
【０００６】
また、特許文献１に記載の技術は、処理対象ブロックの複数の隣接ブロックの動きベクトルと参照画像情報から予測ベクトルを算出することで予測ベクトルの精度を向上させ、符号化ベクトルの符号量の増加を抑制している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１４７１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に記載された方法では、予測ベクトルは一つしか得られないため、画像によっては予測動きベクトルの予測精度が低下し、符号化効率が良くならない場合もある。
【０００９】
このような状況下、本発明者らは、動き補償予測を使用する動画像符号化方式において、符号化情報をより一層圧縮し、全体の符号量を削減する必要性を認識するに至った。
【００１０】
本発明はこうした状況に鑑みてなされたものであり、その目的は、予測動きベクトルの候補を算出することにより、差分動きベクトルの符号量の削減を図って符号化効率を向上させる動画像復号技術を提供することにある。また、別の目的は、符号化情報の候補を算出することにより、符号化情報の符号量の削減を図って符号化効率を向上させる動画像復号技術を提供することにある。
【課題を解決するための手段】
【００１１】
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、
規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号部と、復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成部と、空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除部と、復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択部と、前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出部とを備えることを特徴とする動画像復号装置を提供する。
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置が実行する動画像復号方法であって、規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号ステップと、復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成ステップと、空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除ステップと、復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択ステップと、前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出ステップとを有することを特徴とする動画像復号方法を提供する。
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置が備えるコンピュータに実行させる動画像復号プログラムであって、規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号ステップと、復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成ステップと、空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除ステップと、復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択ステップと、前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出ステップとをコンピュータに実行させることを特徴とする動画像復号プログラムを提供する。
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する受信装置であって、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをパケット処理して符号化ストリームを生成するパケット処理部と、前記符号化ストリームから、規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号部と、復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成部と、空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除部と、復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択部と、前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出部とを備えることを特徴とする受信装置を提供する。
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する受信装置が実行する受信方法であって、パケット化された符号化データをネットワークを介して受信する受信ステップと、受信された符号化データをパケット処理して符号化ストリームを生成するパケット処理ステップと、前記符号化ストリームから、規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号ステップと、復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成ステップと、空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除ステップと、復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択ステップと、前記選択された予測動きベクトルと前記差分動きベクトルを加算することにより動き補償予測に用いる動きベクトルを算出する動きベクトル算出ステップとを有することを特徴とする受信方法を提供する。
動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像が符号化された符号化ビット列を復号する受信装置が備えるコンピュータに実行させる受信プログラムであって、パケット化された符号化データをネットワークを介して受信する受信ステップと、受信された符号化データをパケット処理して符号化ストリームを生成するパケット処理ステップと、前記符号化ストリームから、規定の数の予測動きベクトル候補からなる予測動きベクトル候補リストの中から選択すべき予測動きベクトルを示す情報を、差分動きベクトルとともに復号する復号ステップと、復号対象ブロックと空間的又は時間的に近接する復号済みブロックのいずれかの動きベクトルから予測して、複数の予測動きベクトルの候補を導出し、予測動きベクトル候補リストを生成する予測動きベクトル候補生成ステップと、空間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値と、時間的に近接する復号済みブロックから予測された予測動きベクトルのベクトルの値とが同一であるかどうかを比較することなく、空間的に近接する復号済みブロックから予測された予測動きベクトルの候補間でベクトルの値が同一であるかどうかを比較し、ベクトルの値が同一の予測動きベクトルの候補を、前記予測動きベクトル候補リストから少なくとも１つを残して削除する予測動きベクトル冗長候補削除ステップと、復号された前記選択すべき予測動きベクトルを示す情報にもとづいて、規定の数の予測動きベクトル候補からなるよう制限された前記予測動きベクトル候補リストから予測動きベクトルを選択する予測動きベクトル選択ステップと、前記選択された予測動きベクトルと前記差分動きベクトルを加算することにり動き補償予測に用いる動きベクトルを算出する動きベクトル算出ステップとをコンピュータに実行させることを特徴とする受信プログラムを提供する。
【００１４】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１５】
本発明によれば、複数の予測動きベクトルを算出し、それら複数の予測動きベクトルの中から最適な予測動きベクトルを選択し、差分動きベクトルの発生符号量を削減させて、符号化効率を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】実施の形態に係る動きベクトルの予測方法を実行する動画像符号化装置の構成を示すブロック図である。
【図２】実施の形態に係る動きベクトルの予測方法を実行する動画像復号装置の構成を示すブロック図である。
【図３】ツリーブロック、符号化ブロックを説明する図である。
【図４】予測ブロックの分割モードを説明する図である。
【図５】予測ブロックグループを説明する図である。
【図６】予測ブロックグループを説明する図である。
【図７】予測ブロックグループを説明する図である。
【図８】予測ブロックグループを説明する図である。
【図９】予測ブロックグループを説明する図である。
【図１０】動きベクトルの予測方法に関するスライスレベルでのビットストリームのシンタックスを説明する図である。
【図１１】動きベクトルの予測方法に関する予測ブロックレベルでのビットストリームのシンタックスを説明する図である。
【図１２】図１の差分動きベクトル算出部の詳細な構成を示すブロック図である。
【図１３】図２の動きベクトル算出部の詳細な構成を示すブロック図である。
【図１４】図１の差分動きベクトル算出部の差分動きベクトル算出処理手順を示すフローチャートである。
【図１５】図２の動きベクトル算出部の動きベクトル算出処理手順を示すフローチャートである。
【図１６】予測動きベクトルの候補の導出及び予測動きベクトルリスト構築処理手順を示すフローチャートである。
【図１７】第一の実施の形態の予測動きベクトルの候補導出処理手順を示すフローチャートである。
【図１８】予測動きベクトルの候補導出処理手順を示すフローチャートである。
【図１９】第一の実施の形態の予測動きベクトルの候補導出処理手順を示すフローチャートである。
【図２０】動きベクトルのスケーリング演算処理手順を示すフローチャートである。
【図２１】整数演算による動きベクトルのスケーリング演算処理手順を示すフローチャートである。
【図２２】第二の実施の形態の復号側の予測動きベクトル導出手順を示すフローチャートである。
【図２３】第二の実施の形態の予測動きベクトルが空間予測動きベクトル候補であると判断した場合の予測動きベクトル選択パターンを説明する図である。
【図２４】予測動きベクトルの候補導出処理手順を示すフローチャートである。
【図２５】異なる時間のピクチャの導出処理手順を示すフローチャートである。
【図２６】異なる時間のピクチャの予測ブロックの候補導出処理手順を示すフローチャートである。
【図２７】予測動きベクトルの候補導出処理手順を示すフローチャートである。
【図２８】予測動きベクトルの候補導出処理手順を示すフローチャートである。
【図２９】動きベクトルのスケーリング演算処理手順を示すフローチャートである。
【図３０】整数演算による動きベクトルのスケーリング演算処理手順を示すフローチャートである。
【図３１】予測動きベクトル候補リストへの予測動きベクトルの候補の登録処理手順を示すフローチャートである。
【図３２】予測動きベクトル候補リストから冗長な予測動きベクトルの候補の削除処理手順を示すフローチャートである。
【図３３】予測動きベクトルの候補数の制限処理手順を示すフローチャートである。
【図３４】従来の予測動きベクトルの算出方法を説明する図である。
【発明を実施するための形態】
【００１７】
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形ブロックに分割し、ピクチャ間でブロック単位に動き補償を行う動画像符号化における符号化効率を向上させる為に、符号化済みの周囲のブロックの動きベクトルから複数の予測動きベクトルを算出し、符号化対象のブロックの動きベクトルと選択された予測動きベクトルとの差分ベクトルを算出して符号化することによって符号量を削減する。あるいは、符号化済みの周囲のブロックの符号化情報を利用することにより、符号化対象ブロックの符号化情報を推定することによって符号量を削減する。また、動画像の復号の場合は、復号済みの周囲のブロックの動きベクトルから複数の予測動きベクトルを算出し、符号化ストリームから復号された差分ベクトルと選択された予測動きベクトルとから復号対象のブロックの動きベクトルを算出して復号する。あるいは、復号済みの周囲のブロックの符号化情報を利用することにより、復号対象ブロックの符号化情報を推定する。
【００１８】
まず、本実施の形態において使用する技術、及び技術用語を定義する。
【００１９】
（ツリーブロック、符号化ブロックについて）
実施の形態では、図３に示されるように、ピクチャ内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、ピクチャ内での符号化／復号対象ブロック（符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を階層的に４分割（縦横に２分割ずつ）して、ブロックサイズの小さいブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができる。
【００２０】
図３においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに階層的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。
【００２１】
（予測モードについて）
符号化ブロック単位で、符号化対象ブロックと同一ピクチャ内の符号化／復号済み周囲の画像信号から予測を行うイントラ予測（MODE_INTRA）、及び符号化対象ブロックと異なるピクチャの符号化／復号済み画像信号から予測を行うインター予測（MODE_INTER）を切り替える。このイントラ予測（MODE_INTRA）とインター予測（MODE_INTER）を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラ予測（MODE_INTRA）、またはインター予測（MODE_INTER）を値として持ち、選択して符号化できる。
【００２２】
（分割モード、予測ブロック、予測ユニットについて）
ピクチャ内をブロックに分割してイントラ予測（MODE_INTRA）及びインター予測（MODE_INTER）を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この分割されたブロックを予測ブロックと定義する。図４に示すように、符号化ブロックの輝度信号の分割方法に応じて４種類の分割モード（PartMode）を定義する。符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなしたもの（図４（ａ））の分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）、符号化ブロックの輝度信号を水平方向に２分割し、２つの予測ブロックとしたもの（図４（ｂ））の分割モード（PartMode）を２Ｎ×Ｎ分割（PART_2NxN）、符号化ブロックの輝度信号を垂直方向に分割し、符号化ブロックを２つの予測ブロックとしたもの（図４（ｃ））の分割モード（PartMode）をＮ×２Ｎ分割（PART_Nx2N）、符号化ブロックの輝度信号を水平と垂直の均等分割により４つの予測ブロックとしたもの（図４（ｄ））の分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。なお、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。
【００２３】
符号化ブロック内部において、各予測ブロックを特定する為に、０から開始する番号を、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この番号を分割インデックスPartIdxと定義する。図４の符号化ブロックの各予測ブロックの中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図４（ｂ）に示す２Ｎ×Ｎ分割（PART_2NxN）では上の予測ブロックの分割インデックスPartIdxを０とし、下の予測ブロックの分割インデックスPartIdxを１とする。図４（ｃ）に示すＮ×２Ｎ分割（PART_Nx2N）では左の予測ブロックの分割インデックスPartIdxを０とし、右の予測ブロックの分割インデックスPartIdxを１とする。図４（ｄ）に示すＮ×Ｎ分割（PART_NxN）では、左上の予測ブロックの分割インデックスPartIdxを０とし、右上の予測ブロックの分割インデックスPartIdxを１とし、左下の予測ブロックの分割インデックスPartIdxを２とし、右下の予測ブロックの分割インデックスPartIdxを３とする。
【００２４】
予測モード（PredMode）がインター予測（MODE_INTER）では、最小の符号化ブロックである符号化ブロックＤ以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）を定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
【００２５】
（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。
【００２６】
（予測ブロックグループについて）
複数の予測ブロックで構成されるグループを予測ブロックグループと定義する。図５、図６、図７及び図８は符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックに隣接する予測ブロックグループを説明する図である。図９は符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャにおいて、符号化／復号対象の予測ブロックと同一位置あるいはその近傍の位置に存在する既に符号化／復号済みの予測ブロックグループを説明する図である。図５、図６、図７、図８及び図９を用いて予測ブロックグループについて説明する。
【００２７】
図５に示すように、符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックの左側の辺に隣接する予測ブロックＡ１、および符号化／復号対象の予測ブロックの左下の頂点に隣接する予測ブロックＡ０、で構成される第１の予測ブロックグループを左側に隣接する予測ブロックグループと定義する。
【００２８】
なお、図６に示すように、符号化／復号対象の予測ブロックの左側に隣接する予測ブロックのサイズが符号化／復号対象の予測ブロックより大きい場合にも、前記条件に従い、左側に隣接する予測ブロックＡがその符号化／復号対象の予測ブロックの左側の辺に隣接していれば予測ブロックＡ１とし、符号化／復号対象の予測ブロックの左下の頂点に隣接していれば予測ブロックＡ０とする。図６の例では、予測ブロックＡ０と予測ブロックＡ１は同一の予測ブロックとなる。
【００２９】
なお、図７に示すように、符号化／復号対象の予測ブロックの左側の辺に隣接する予測ブロックのサイズが符号化／復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側に隣接する予測ブロックの中で最も下の予測ブロックＡ１０だけを左側に隣接する予測ブロックＡ１とする。
【００３０】
左側に隣接する予測ブロックグループを定義したのとほぼ同様に、符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックの上側の辺に隣接する予測ブロックＢ１、符号化／復号対象の予測ブロックの右上の頂点に隣接する予測ブロックＢ０、および符号化／復号対象の予測ブロックの左上の頂点に隣接する予測ブロックＢ２で構成される第２の予測ブロックグループを上側に隣接する予測ブロックグループと定義する。
【００３１】
なお、図８に示すように、符号化／復号対象の予測ブロックの上側に隣接する予測ブロックのサイズが符号化／復号対象の予測ブロックより大きい場合にも、前記条件に従い、上側に隣接する予測ブロックＢがその符号化／復号対象の予測ブロックの上側の辺に隣接していれば予測ブロックＢ１とし、符号化／復号対象の予測ブロックの右上の頂点に隣接していれば予測ブロックＢ０とし、符号化／復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックＢ２とする。図８の例では、予測ブロックＢ０と予測ブロックＢ１と予測ブロックＢ２は同一の予測ブロックとなる。
【００３２】
なお、図７に示すように、符号化／復号対象の予測ブロックの上側の辺に隣接する予測ブロックのサイズが符号化／復号対象の予測ブロックより小さく、複数存在する場合には、実施の形態においては上側に隣接する予測ブロックの中で最も右の予測ブロックＢ１０だけを上側に隣接する予測ブロックＢ１とする。
【００３３】
左側に隣接する予測ブロックグループとの相違は、符号化／復号対象の予測ブロックの左上の頂点に隣接する予測ブロックＢ２を上側に隣接する予測ブロックグループに含めていることである。左上予測ブロックＢ２はどちらの予測ブロックグループに含めても構わないが、ここでは上側に隣接する予測ブロックグループに含める。そのため、上側に隣接する予測ブロックグループの方が左側に隣接する予測ブロックグループよりも構成する予測ブロック数が多くなる。
【００３４】
図９に示すように、符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャにおいて、符号化／復号対象の予測ブロックと同一位置あるいはその近傍の位置に存在する既に符号化／復号済みの予測ブロックグループＴ０およびＴ１で構成される第３の予測ブロックグループを異なる時間の予測ブロックグループと定義する。
【００３５】
（インター予測モード、参照リストについて）
本発明の実施の形態においては、符号化／復号済みのピクチャの画像信号から予測を行うインター予測では、複数の復号済みのピクチャを参照ピクチャとして用いることができる。複数の参照ピクチャから選択された参照ピクチャを特定するため、予測ブロック毎に参照インデックスを付ける。Ｂスライスでは予測ブロック毎に任意の２枚の参照ピクチャを選択してインター予測を行うことができ、インター予測のモードとしてＬ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がある。参照ピクチャはリスト構造のＬ０（参照リスト０）とＬ１（参照リスト１）で管理され、Ｌ０またはかつＬ１の参照インデックスを指定することにより参照ピクチャを特定することができる。Ｌ０予測（Pred_L0）はＬ０で管理されている参照ピクチャを参照するインター予測であり、Ｌ１予測（Pred_L1）はＬ１で管理されている参照ピクチャを参照するインター予測であり、双予測（Pred_BI）はＬ０予測とＬ１予測が共に行われ、Ｌ０とＬ１のそれぞれで管理されている１つずつの参照ピクチャを参照するインター予測である。Ｐスライスのインター予測ではＬ０予測のみが使用でき、Ｂスライスのインター予測ではＬ０予測、Ｌ１予測、Ｌ０予測とＬ１予測を平均または重み付け加算する双予測（Pred_BI）が使用できる。以降の処理において出力に添え字ＬＸ（Ｘは０または１）が付いている定数、変数に関しては、Ｌ０、Ｌ１ごとに処理が行われることを前提とする。
【００３６】
（ＰＯＣについて）
ＰＯＣは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力／表示順序で１ずつ増加する値が設定される。ＰＯＣの値によって、同一ピクチャであるかを判別したり、出力／表示順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、２つのピクチャのＰＯＣが同じ値を持つ場合、同一のピクチャであると判断できる。２つのピクチャのＰＯＣが違う値を持つ場合、ＰＯＣの値が小さいピクチャのほうが、時間的に先に出力／表示されるピクチャであると判断でき、２つのピクチャのＰＯＣの差が時間軸方向でのピクチャ間距離を示す。
【００３７】
（実施の形態１）
本発明の実施の形態１について図面と共に説明する。図１は本発明の実施の形態に係る動画像符号化装置の構成を示すブロック図である。実施の形態の動画像符号化装置は、画像メモリ１０１、動きベクトル検出部１０２、差分動きベクトル算出部１０３、インター予測情報推定部１０４、動き補償予測部１０５、予測方法決定部１０６、残差信号生成部１０７、直交変換・量子化部１０８、第１の符号化ビット列生成部１０９、第２の符号化ビット列生成部１１０、多重化部１１１、逆量子化・逆直交変換部１１２、復号画像信号重畳部１１３、符号化情報格納メモリ１１４、および復号画像メモリ１１５を備える。
【００３８】
画像メモリ１０１は、表示時間順に供給された符号化対象のピクチャの画像信号を一時格納する。画像メモリ１０１は、格納された符号化対象のピクチャの画像信号を、所定の画素ブロック単位で、動きベクトル検出部１０２、予測方法決定部１０６、および残差信号生成部１０７に供給する。その際、表示時間順に格納されたピクチャの画像信号は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ１０１から出力される。
【００３９】
動きベクトル検出部１０２は、画像メモリ１０１から供給される画像信号と復号画像メモリ１１５から供給される参照ピクチャ間でブロックマッチング等により各予測ブロックサイズ、各予測モードのそれぞれの動きベクトルを予測ブロック単位で検出し、検出された動きベクトルを動き補償予測部１０５、差分動きベクトル算出部１０３、および予測方法決定部１０６に供給する。
【００４０】
差分動きベクトル算出部１０３は、符号化情報格納メモリ１１４に記憶されている既に符号化された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して後述する予測動きベクトルリストを生成し、生成された予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から最適な予測動きベクトルを選択し、動きベクトル検出部１０２が検出した動きベクトルと予測動きベクトルから差分動きベクトルを算出し、算出された差分動きベクトルを予測方法決定部１０６に供給する。さらに、生成された予測動きベクトルリストに登録された予測動きベクトルの候補から選択された予測動きベクトルを特定する予測動きベクトルインデックスを予測方法決定部１０６に供給する。差分動きベクトル算出部１０３の詳細な構成と動作は後述する。
【００４１】
インター予測情報推定部１０４は、マージモードのインター予測情報を推定する。マージモードとは、当該予測ブロックの予測モード、参照インデックス（参照リストに登録されている複数の参照ピクチャから動き補償予測に利用する参照ピクチャを特定するための情報）、動きベクトル等のインター予測情報を符号化するのではなく、符号化済みの隣接するインター予測された予測ブロック、あるいは異なるピクチャのインター予測された予測ブロックのインター予測情報を利用するモードである。符号化情報格納メモリ１１４に記憶されている既に符号化された予測ブロックの符号化情報を用いて、複数のマージの候補（インター予測情報の候補）を算出してマージ候補リストを生成し、生成されたマージ候補リストに登録された複数のマージ候補の中から最適なマージ候補を選択し、選択されたマージ候補の予測モード、参照インデックス、動きベクトル等のインター予測情報を動き補償予測部１０５に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方法決定部１０６に供給する。
【００４２】
動き補償予測部１０５は、動きベクトル検出部１０２およびインター予測情報推定部１０４により検出された動きベクトルを用いて参照ピクチャから動き補償予測により予測画像信号を生成し、予測画像信号を予測方法決定部１０６に供給する。なお、Ｌ０予測、及びＬ１予測では、片方向の予測を行う。双予測（Pred_BI）の場合は、双方向の予測を行い、Ｌ０予測、Ｌ１予測のそれぞれのインター予測された信号に適応的に重み係数を掛け算し、オフセット値を加算して重畳し、最終的な予測画像信号を生成する。
【００４３】
予測方法決定部１０６は複数の予測方法の差分動きベクトルの符号量、予測画像信号と画像信号との間の歪量等を評価することにより、符号化ブロック単位でインター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartModeを決定し、インター予測（PRED_INTER）では予測ブロック単位でマージモードか否か等の予測方法を決定し、マージモードの場合はマージインデックス、マージモードでない場合はインター予測フラグ、予測動きベクトルインデックス、Ｌ０、Ｌ１の参照インデックス、差分動きベクトル等を決定して、決定に応じた符号化情報を第１の符号化ビット列生成部１０９に供給する。
【００４４】
さらに、予測方法決定部１０６は、決定された予測方法を示す情報、及び決定された予測方法に応じた動きベクトル等を含む符号化情報を符号化情報格納メモリ１１４に格納する。ここで格納する符号化情報は、予測モードPredMode、分割モードPartMode、Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0, predFlagL1、Ｌ０、Ｌ１の参照インデックスrefIdxL0, refIdxL1、Ｌ０、Ｌ１の動きベクトルmvL0, mvL1等である。ここで、予測モードPredModeがイントラ予測（MODE_INTRA）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に０である。一方、予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に１である。予測方法決定部１０６は、決定された予測モードに応じた予測画像信号を残差信号生成部１０７と復号画像信号重畳部１１３に供給する。
【００４５】
残差信号生成部１０７は、符号化する画像信号と予測画像信号との減算を行うことにより残差信号を生成し、直交変換・量子化部１０８に供給する。
【００４６】
直交変換・量子化部１０８は、残差信号に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第２の符号化ビット列生成部１１０と逆量子化・逆直交変換部１１２に供給する。さらに、直交変換・量子化部１０８は、量子化パラメータを符号化情報格納メモリ１１４に格納する。
【００４７】
第１の符号化ビット列生成部１０９は、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報に加えて、符号化ブロック及び予測ブロック毎に予測方法決定部１０６によって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロック毎の予測モードPredMode、分割モードPartMode、インター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトルに関する情報等の符号化情報を後述する規定のシンタックス規則に従ってエントロピー符号化して第１の符号化ビット列を生成し、多重化部１１１に供給する。
【００４８】
第２の符号化ビット列生成部１１０は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第２の符号化ビット列を生成し、多重化部１１１に供給する。多重化部１１１で、第１の符号化ビット列と第２の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
【００４９】
逆量子化・逆直交変換部１１２は、直交変換・量子化部１０８から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１１３に供給する。
【００５０】
復号画像信号重畳部１１３は、予測方法決定部１０６による決定に応じた予測画像信号と逆量子化・逆直交変換部１１２で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１１５に格納する。なお、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ１１５に格納されることもある。
【００５１】
図２は図１の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置の構成を示すブロックである。実施の形態の動画像復号装置は、分離部２０１、第１符号化ビット列復号部２０２、第２符号化ビット列復号部２０３、動きベクトル算出部２０４、インター予測情報推定部２０５、動き補償予測部２０６、逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、符号化情報格納メモリ２０９、および復号画像メモリ２１０を備える。
【００５２】
図２の動画像復号装置の復号処理は、図１の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図２の動き補償予測部２０６、逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、符号化情報格納メモリ２０９、および復号画像メモリ２１０の各構成は、図１の動画像符号化装置の動き補償予測部１０５、逆量子化・逆直交変換部１１２、復号画像信号重畳部１１３、符号化情報格納メモリ１１４、および復号画像メモリ１１５の各構成とそれぞれ対応する機能を有する。
【００５３】
分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第１符号化ビット列復号部２０２、第２符号化ビット列復号部２０３に供給される。
【００５４】
第１符号化ビット列復号部２０２は、供給された符号化ビット列を復号して、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報、及び、予測ブロック単位の符号化情報を得る。具体的には、符号化ブロック単位でインター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartMode、インター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトル等に関する符号化情報を後述する規定のシンタックス規則に従って復号し、符号化情報を動きベクトル算出部２０４またはインター予測情報推定部２０５に供給する。
【００５５】
第２符号化ビット列復号部２０３は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０７に供給する。
【００５６】
動きベクトル算出部２０４は、復号対象の予測ブロックがマージモードでない時に、符号化情報格納メモリ２０９に記憶されている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して後述する予測動きベクトルリストを生成し、生成された予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から、第１符号化ビット列復号部２０２で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、第１符号化ビット列復号部２０２で復号された差分ベクトルと選択された予測動きベクトルから動きベクトルを算出し、他の符号化情報とともに動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２０９に格納する。ここで供給・格納する予測ブロックの符号化情報は、予測モードPredMode、分割モードPartMode、Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0, predFlagL1、Ｌ０、Ｌ１の参照インデックスrefIdxL0, refIdxL1、Ｌ０、Ｌ１の動きベクトルmvL0, mvL1等である。ここで、予測モードPredModeがイントラ予測（MODE_INTRA）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に０である。一方、予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に１である。動きベクトル算出部２０４の詳細な構成と動作は後述する。
【００５７】
インター予測情報推定部２０５は、復号対象の予測ブロックがマージモードの時に、マージモードのインター予測情報を推定する。符号化情報格納メモリ１１４に記憶されている既に復号された予測ブロックの符号化情報を用いて、複数のマージの候補を算出してマージ候補リストを生成し、生成されたマージ候補リストに登録された複数のマージ候補の中から第１符号化ビット列復号部２０２で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補の予測モードPredMode、分割モードPartMode、Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグ、Ｌ０、Ｌ１の参照インデックス、Ｌ０、Ｌ１の動きベクトル等のインター予測情報を動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２０９に格納する。
【００５８】
動き補償予測部２０６は、動きベクトル算出部２０４で算出された動きベクトルを用いて参照ピクチャから動き補償予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部２０８に供給する。なお、双予測（Pred_BI）の場合は、Ｌ０予測、Ｌ１予測の２つの動き補償予測画像信号に適応的に重み係数を掛け算して重畳し、最終的な予測画像信号を生成する。
【００５９】
逆量子化・逆直交変換部２０７は、第１符号化ビット列復号部２０２で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
【００６０】
復号画像信号重畳部２０８は、動き補償予測部２０６で動き補償予測された予測画像信号と、逆量子化・逆直交変換部２０７により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ２１０に格納する。復号画像メモリ２１０に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１０に格納されることもある。
【００６１】
（シンタックスについて）
次に、本実施の形態に係る動きベクトルの予測方法を備える動画像符号化装置により符号化され、復号装置により復号される動画像のビットストリームの符号化および復号の共通規則であるシンタックスについて説明する。
【００６２】
図１０は本実施の形態により生成されるビットストリームのスライス単位でスライスヘッダーに記述される第１のシンタックス構造を示す。ただし、本実施の形態に関係のあるシンタックス要素のみを示している。スライスタイプがＢの場合は、時間方向の予測動きベクトルの候補、またはマージ候補を算出する際に用いる異なる時間のピクチャcolPicをＬ０の参照リスト或いはＬ１の参照リストのどちらに定義するかを示すフラグcollocated_from_l0_flagが設置される。フラグcollocated_from_l0_flagの詳細については後述する。
【００６３】
なお、以上のシンタックス要素はピクチャ単位で設定されるシンタックス要素を記述するピクチャ・パラメータ・セットに設置してもよい。
【００６４】
図１１は予測ブロック単位に記述されるシンタックスパターンを示す。予測ブロックの予測モードPredModeの値がインター予測（MODE_INTER）の場合、マージモードかどうかを示すmerge_flag[x0][y0]が設置される。ここで、x0、y0は輝度信号のピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_flag[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージモードかどうかを示すフラグである。
【００６５】
次に、merge_flag[x0][y0]が１の場合、マージモードであることを示し、参照するマージ候補のリストであるマージリストのインデックスのシンタックス要素merge_idx[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_idx[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージインデックスである。
【００６６】
一方、merge_flag[x0][y0]が０の場合、マージモードでないことを示し、スライスタイプがＢの場合、インター予測モードを識別するシンタックス要素inter_pred_flag[x0][y0]が設置され、このシンタックス要素でＬ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）を識別する。インター予測モードに応じて、Ｌ０、Ｌ１ごとに、参照ピクチャを特定するための参照インデックスのシンタックス要素ref_idx_l0[x0][y0]、ref_idx_l1[x0][y0]、動きベクトル検出にて求められた予測ブロックの動きベクトルと予測動きベクトルとの差分である差分動きベクトルのシンタックス要素mvd_l0[x0][y0][j]、mvd_l1[x0][y0][j]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、ref_idx_l0[x0][y0]、mvd_l0[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのＬ０の参照インデックス、及び差分動きベクトルであり、ref_idx_l1[x0][y0]、mvd_l1[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのＬ１の参照インデックス、及び差分動きベクトルである。また、ｊは差分動きベクトルの成分を表し、ｊが０はｘ成分を、ｊが１はｙ成分を表す。次に、参照する予測動きベクトルの候補のリストである予測動きベクトルリストのインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのＬ０、Ｌ１の予測動きベクトルインデックスである。
【００６７】
実施の形態に係る動きベクトルの予測方法は、図１の動画像符号化装置の差分動きベクトル算出部１０３及び図２の動画像復号装置の動きベクトル算出部２０４において実施される。
【００６８】
実施の形態による動きベクトルの予測方法を図面を用いて説明する。動きベクトルの予測方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の処理の何れでも実施される。予測ブロックの予測モードがインター予測（MODE_INTER）で、マージモードでない場合に、符号化の場合、符号化対象の動きベクトルから符号化する差分動きベクトルを算出する時に用いる符号化済みの動きベクトルを利用して予測動きベクトルを導出する際、復号の場合、復号対象の動きベクトルを算出する時に用いる復号済みの動きベクトルを利用して予測動きベクトルを導出する際に実施される。
【００６９】
（符号化における動きベクトルの予測）
上述のシンタックスに基づき、動画像のビットストリームを符号化する動画像符号化装置において、実施の形態に係る動きベクトルの予測方法の動作を説明する。動きベクトルの予測方法は、スライス単位で動き補償予測を行う場合、即ちスライスタイプがＰスライス（片方向予測スライス）或いはＢスライス（両方向予測スライス）の場合で、更に、スライスの中の予測ブロックの予測モードがインター予測（MODE_INTER）で、マージモードでない差分動きベクトルを符号化または復号する予測ブロックに適用される。
【００７０】
図１２は、図１の動画像符号化装置の差分動きベクトル算出部１０３の詳細な構成を示す図である。図１２の太枠線で囲まれる部分は差分動きベクトル算出部１０３を示している。
【００７１】
更に、その内部の太点線で囲まれる部分は後述する動きベクトルの予測方法の動作部を示しており、実施の形態の動画像符号化装置と対応する動画像復号装置にも同様に設置され、符号化と復号で矛盾しない同一の判定結果を得られるようにしている。以下、この図を用いて、符号化における動きベクトルの予測方法を説明する。
【００７２】
差分動きベクトル算出部１０３は、予測動きベクトル候補生成部１２１、予測動きベクトル候補登録部１２２、予測動きベクトル冗長候補削除部１２３、予測動きベクトル候補数制限部１２４、予測動きベクトル候補符号量算出部１２５、予測動きベクトル選択部１２６、および動きベクトル減算部１２７を含む。
【００７３】
この差分動きベクトル算出部１０３での差分動きベクトル算出処理は、符号化対象ブロックで選択されたインター予測方法で用いる動きベクトルの差分動きベクトルをＬ０、Ｌ１毎にそれぞれ算出する。具体的には符号化対象ブロックの予測モードPredModeがインター予測（MODE_INTER）で、符号化対象ブロックのインター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０の予測動きベクトルリストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルの差分動きベクトルmvdL0を算出する。符号化対象ブロックのインター予測モード（Pred_L1）がＬ１予測の場合、Ｌ１の予測動きベクトルリストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、Ｌ１の動きベクトルの差分動きベクトルmvdL1を算出する。符号化対象ブロックのインター予測モードが双予測（Pred_BI）の場合、Ｌ０予測とＬ１予測が共に行われ、Ｌ０の予測動きベクトルリストmvpListL0を算出して、Ｌ０の予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0の差分動きベクトルmvdL0を算出するとともに、Ｌ１の予測動きベクトルリストmvpListL1を算出して、Ｌ１の予測動きベクトルmvpL1を算出し、Ｌ１の動きベクトルmvL1の差分動きベクトルmvdL1をそれぞれ算出する。
【００７４】
Ｌ０、Ｌ１それぞれについて、差分動きベクトル算出処理を行うが、Ｌ０、Ｌ１ともに共通の処理となる。したがって、以下の説明においてはＬ０、Ｌ１を共通のＬＸとして表す。Ｌ０の差分動きベクトルを算出する処理ではＸが０であり、Ｌ１の差分動きベクトルを算出する処理ではＸが１である。また、ＬＸの差分動きベクトルを算出する処理中に、ＬＸではなく、他方のリストの情報を参照する場合、他方のリストをＬＹとして表す。
【００７５】
予測動きベクトル候補生成部１２１は、Ｌ０、Ｌ１毎に、左側に隣接する予測ブロックグループ（符号化対象の予測ブロックと同一ピクチャ内でその予測ブロックの左側に隣接する予測ブロックグループ：図５のＡ０，Ａ１）、上側に隣接する予測ブロックグループ（符号化対象の予測ブロックと同一ピクチャ内でその予測ブロックの上側に隣接する予測ブロックグループ：図５のＢ０，Ｂ１，Ｂ２）、異なる時間の予測ブロックグループ（符号化対象の予測ブロックと時間的に異なるピクチャでその予測ブロックと同一位置あるいはその近傍の位置に存在する既に符号化済みの予測ブロックグループ：図９のＴ０，Ｔ１）の３つの予測ブロックグループから、予測ブロックグループごとに１つの動きベクトルmvLXCol、mvLXA、mvLXBをそれぞれ導出して予測動きベクトル候補とし、予測動きベクトル候補登録部１２２に供給する。以下、mvLXColを時間予測動きベクトル候補、mvLXA及びmvLXBを空間予測動きベクトル候補と呼ぶ。この予測動きベクトル候補の算出に際しては、符号化対象の予測ブロックの参照インデックス及びＰＯＣと、符号化情報格納メモリ１１４に格納されている符号化済みの予測ブロックの予測モード、参照リスト毎の参照インデックス、参照ピクチャのＰＯＣ、動きベクトル等の符号化情報を用いる。
【００７６】
これらの予測動きベクトルの候補mvLXCol、mvLXA、mvLXBは符号化対象ピクチャのＰＯＣと参照ピクチャのＰＯＣとの関係に応じてスケーリングすることにより導出されることもある。
【００７７】
予測動きベクトル候補生成部１２１は、予測ブロックグループ毎に、所定の順序で、それぞれの予測ブロックグループ内の予測ブロックに対して、後述の条件判定を行い、最初に条件に合致した予測ブロックの動きベクトルを選択し、予測動きベクトルの候補mvLXCol、mvLXA、mvLXBとする。
【００７８】
左側に隣接する予測ブロックグループから予測動きベクトルを算出する際には、左側に隣接する予測ブロックグループの下から上の順序（図５のＡ０からＡ０，Ａ１の順序）で、上側に隣接する予測ブロックグループから予測動きベクトルを算出する際には、上側に隣接する予測ブロックグループの右から左の順序（図５のＢ０からＢ０，Ｂ１，Ｂ２の順序）で、異なる時間の予測ブロックグループから予測動きベクトルを算出する際には、図９のＴ０からＴ０，Ｔ１の順序で、各予測ブロックに対して、後述の条件判定を行い、最初に条件に合致した予測ブロックの動きベクトルを選択し、予測動きベクトルの候補をそれぞれmvLXCol、mvLXA、mvLXBとする。
【００７９】
即ち、左側の隣接予測ブロックグループでは、一番下の予測ブロックが最も優先順位が高く、下から上に向かって優先順位が付けられており、上側の隣接予測ブロックグループでは、一番右の予測ブロックが最も優先順位が高く、右から左に向かって優先順位が付けられている。異なる時間の予測ブロックグループでは、Ｔ０の予測ブロックが最も優先順位が高く、Ｔ０，Ｔ１の順に優先順位が付けられている。
【００８０】
（空間予測ブロックの条件判定のループの説明）
左側の隣接予測ブロックグループに対しては、下記の条件判定１、２、３、４の優先順序でそれぞれの条件判定が適用される。一方、上側の隣接予測ブロックグループに対しては、下記の条件判定１、２の優先順序でそれぞれの条件判定が適用される。
【００８１】
＜条件判定＞
条件判定１：符号化／復号対象の予測ブロックの差分動きベクトル算出対象のＬＸの動きベクトルと同じ参照リストＬＸで、同じ参照インデックス、すなわち同じ参照ピクチャを用いた予測が隣接予測ブロックでも行われている。
条件判定２：符号化／復号対象の予測ブロックの差分動きベクトル算出対象のＬＸの動きベクトルとは異なる参照リストＬＹであるが、同じ参照ピクチャを用いた予測が隣接予測ブロックで行われている。
条件判定３：符号化／復号対象の予測ブロックの差分動きベクトル算出対象のＬＸの動きベクトルと同じ参照リストＬＸで、異なる参照ピクチャを用いた予測が隣接予測ブロックで行われている。
条件判定４：符号化／復号対象の予測ブロックの差分動きベクトル算出対象のＬＸの動きベクトルとは異なる参照リストＬＹで、異なる参照ピクチャを用いた予測が隣接予測ブロックで行われている。
【００８２】
これらの条件のいずれかに一致した場合、当該予測ブロックには条件に合致する動きベクトルを予測ベクトル候補として採用し、後に続く条件判定は行わない。なお、条件判定１または条件判定２の条件に合致した場合、該当する隣接予測ブロックの動きベクトルは符号化対象予測ブロックの参照ピクチャと同一であるので、そのまま予測動きベクトルの候補とするが、条件判定３または条件判定４の条件に合致した場合、該当する隣接予測ブロックの動きベクトルは符号化対象予測ブロックの参照ピクチャと異なるので、その動きベクトルを基にスケーリングにより算出して予測動きベクトルの候補とする。
【００８３】
上記の４つの条件判定を以下の順に予測ブロックグループ内の予測ブロックをスキャンして予測ベクトルを決定する。
【００８４】
＜予測ベクトルのスキャン手順＞
同じ参照ピクチャを用いたスケーリング演算が不要な予測動きベクトルの判定を優先し、４つの条件判定のうち予測ブロック毎に２つの条件判定を行い、条件を満たさなければ、次の予測ブロックの条件判定に移る。最初に条件判定１と条件判定２の条件判定を隣接予測ブロックグループ内の各予測ブロックに対して行い、次に条件判定３と条件判定４の条件判定を隣接予測ブロックグループ内の各予測ブロックに対して行う。
【００８５】
具体的には以下の優先順序で条件判定を行う。（ただし、ＮはＡまたはＢ）
１．予測ブロックＮ０の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
２．予測ブロックＮ０の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
３．予測ブロックＮ１の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
４．予測ブロックＮ１の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
５．予測ブロックＮ２の条件判定１（同じ参照リストＬＸ、同じ参照ピクチャ）
６．予測ブロックＮ２の条件判定２（異なる参照リストＬＹ、同じ参照ピクチャ）
７．予測ブロックＮ０の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
８．予測ブロックＮ０の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
９．予測ブロックＮ１の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
１０．予測ブロックＮ２の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
１１．予測ブロックＮ１の条件判定３（同じ参照リストＬＸ、異なる参照ピクチャ）
１２．予測ブロックＮ２の条件判定４（異なる参照リストＬＹ、異なる参照ピクチャ）
【００８６】
上記のようにスキャンすることで、同じ参照ピクチャを用いたスケーリング演算が不要な予測精度の高い予測動きベクトルが選択されやすいので、差分動きベクトルの符号量が小さくなり符号化効率が向上する効果がある。
【００８７】
ここで、左側の隣接予測ブロックグループでは、２つの予測ブロックでグループが構成されているため、上記スキャンの５．６．及び１１．１２．の手順は行わない。
【００８８】
また、上側の隣接予測ブロックグループでは、３つの予測ブロックでグループが構成されているため、上記スキャンの１〜１２を行うことが可能であるが、本発明では、上記スキャンの１〜６の手順のみ行い、７〜１２の手順を行なわない（条件判定３および４を行わない）。すなわち、上側の隣接予測ブロックグループでは、スケーリング演算が必要な条件でのスキャンを省略する。
【００８９】
これにより、上側の隣接予測ブロックグループの除算が必要となるスケーリング演算を省略することができ、左側の隣接予測ブロックグループの予測ベクトル候補のみにスケーリング演算を限定できる。左側の隣接予測ブロックグループと上側の隣接予測ブロックグループとの並列処理を行う場合、空間予測ベクトル候補としてスケーリング演算回路を１つのみ持てば良くなることで回路規模を削減することができる。さらに、左側の隣接予測ブロックグループと上側の隣接予測ブロックグループとの並列処理を行う場合、隣接予測ブロックグループ内の構成予測ブロック数の違いに起因する処理量の差を小さくすることが可能である。つまり、予測ブロックの数の多い上側の隣接予測ブロックグループのスケーリング演算の処理を省略することで、ボトルネックとなる最大演算量を小さくできる。その結果、左側の隣接予測ブロックグループの演算量と上側の隣接予測ブロックグループの演算量の差が小さくとなり、効率的に並列処理を行える。
【００９０】
上記処理のフローについては、図１７〜図２１のフローチャートを用いて詳しく後述する。
【００９１】
隣接ブロックからの動き情報取得について説明する。本実施の形態では、動き情報を格納するラインバッファおよびブロックバッファを設置する。左側に隣接する予測ブロックから動き情報を取得する場合ブロックバッファから動き情報を取得し、上側に隣接する予測ブロックについては、上側に隣接する予測ブロックがツリーブロック内である場合には左側に隣接する予測ブロックと同様にブロックバッファから動き情報を取得し、上側に隣接する予測ブロックがツリーブロック外である場合には、ラインバッファから動き情報を取得する。
【００９２】
ここで、動き情報のラインバッファのサイズを削減して内部メモリ使用量を減らすために、動き情報を格納するラインバッファのサイズを水平方向に１／２に圧縮する。具体的には、ブロックバッファは隣接する未符号化ブロックの動きベクトル予測のために、動き情報を動き補償予測の最小単位（例えば４ｘ４ブロック）で保存して隣接ブロックからのアクセスに備えるが、ラインバッファは動き補償予測の最小単位よりも水平方向に２倍大きい単位（例えば４ｘ８ブロック）に動き情報を間引いてラインバッファに格納する。これにより、垂直方向に隣接するブロックがツリーブロック外である場合には、実際の当該ブロックの動き情報と異なる動き情報を取得する可能性がある。つまり、動き情報のラインバッファのサイズを水平方向に１／２に圧縮することより、結果として、上側に隣接する予測ブロックグループから導出される予測動きベクトルは左側に隣接する予測ブロックグループから導出される予測動きベクトルと比較して予測動きベクトルとしての信頼性が低下する。上側に隣接する予測ブロックグループにおいてスケーリング演算が必要な条件でのスキャンを省略している理由の１つは、ラインバッファのサイズの削減により、上側に隣接する予測ブロックグループからの予測動きベクトルのスケーリング演算を省略しても符号化効率に与える影響が小さいためである。
【００９３】
ここで、ランバッファの圧縮率を１／２として説明したが、当然圧縮率が大きくなればなるほど、上側に隣接する予測ブロックグループから導出される予測動きベクトルの信頼性が低下するため、上側に隣接する予測ブロックグループにおいてスケーリング演算が必要な条件でのスキャンを省略する効果が高まる。
【００９４】
異なる時間の予測ブロックグループからの予測ベクトル候補mvLXColの算出については、図２４〜図３０のフローチャートを用いて詳しく後述する。
【００９５】
図１２の説明に戻る。次に、予測動きベクトル候補登録部１２２は算出された予測動きベクトルの候補mvLXCol、mvLXA、mvLXBを予測動きベクトルリストmvpListLXに格納する。
【００９６】
次に、予測動きベクトル冗長候補削除部１２３は、ＬＸの予測動きベクトルリストmvpListLXに格納されたそれぞれの予測動きベクトルの候補の動きベクトルの値を比較し、予測動きベクトルの候補の中から同一の動きベクトルの値をもつものを判定し、同一の動きベクトル値をもつと判定された予測動きベクトルの候補について最初の一つを残してそれ以外を予測動きベクトルリストmvpListLXから削除して、予測動きベクトルの候補が重複しないようにし、予測動きベクトルリストmvpListLXを更新する。
【００９７】
予測動きベクトル候補数制限部１２４では、ＬＸの予測動きベクトルリストmvpListLXに登録されている予測動きベクトルの候補数をカウントし、ＬＸの予測動きベクトル候補数numMVPCandLXがカウントされた候補数の値に設定される。
【００９８】
さらに、予測動きベクトル候補数制限部１２４では、ＬＸの予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された最終候補数finalNumMVPCandに固定する。
【００９９】
本実施の形態においては、最終候補数finalNumMVPCandを２と規定している。予測ベクトルの候補数を固定する理由は、予測動きベクトルリストに登録される予測動きベクトルの候補数が予測動きベクトルリストの構築状態に応じて変動すると、復号側では予測動きベクトルリストを構築してからでないと、予測動きベクトルインデックスをエントロピー復号することができないため、予測動きベクトルリストの構築とエントロピー復号に依存関係が発生し、エントロピー復号に待機時間が発生してしまう可能性があるためである。さらに、エントロピー復号が異なる時間のピクチャの予測ブロックから導出された予測動きベクトル候補mvLXColを含む予測動きベクトルリストの構築状態に依存すると、別のピクチャの符号化ビット列の復号時にエラーが発生した際に現在のピクチャの符号化ビット列もそのエラーの影響を受けて正常にエントロピー復号を続けることができない問題がある。最終候補数finalNumMVPCandを固定した数に規定すると、予測動きベクトルリストの構築と独立して、予測動きベクトルインデックスをエントロピー復号することができるとともに、別のピクチャの符号化ビット列の復号時にエラーが発生してもその影響を受けずに現在のピクチャの符号化ビット列のエントロピー復号を続けることができる。
【０１００】
予測動きベクトル候補数制限部１２４では、ＬＸの予測動きベクトル候補数numMVPCandLXが規定された最終候補数finalNumMVPCandより小さい場合、予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandと同じ値になるまで、（０，０）の値を持つ動きベクトルを予測動きベクトルリストmvpListLXに追加することで予測動きベクトルの候補数を規定値に制限する。この場合、重複して（０，０）の値を持つ動きベクトルが追加されることがあるが、復号側では予測動きベクトルインデックスが０から（規定の候補数−１）の範囲内でどのような値をとっても、予測動きベクトルを確定することができる。一方、ＬＸの予測動きベクトル候補数numMVPCandLXが規定された最終候補数finalNumMVPCandより大きい場合、予測動きベクトルリストmvpListLXからfinalNumMVPCand-1より大きいインデックスに登録されている要素をすべて削除し、ＬＸの予測動きベクトル候補数numMVPCandLXを最終候補数finalNumMVPCandと同じ値にすることで予測動きベクトルの候補数を規定値に制限する。更新された予測動きベクトルリストmvpListLXは予測動きベクトル候補符号量算出部１２５と予測動きベクトル選択部１２６に供給される。
【０１０１】
一方、図１の動きベクトル検出部１０２にて予測ブロック毎にＬＸ（Ｘ＝０または１）の動きベクトルmvLXが検出される。それらの動きベクトルmvLXは更新された予測動きベクトルリストmvpListLXの予測動きベクトルの候補とともに予測動きベクトル候補符号量算出部１２５に供給される。
【０１０２】
予測動きベクトル候補符号量算出部１２５は、ＬＸ（Ｘ＝０または１）の予測動きベクトルリストmvpListLXの中に格納されたそれぞれの予測動きベクトルの候補mvpListLX[i]ごとに動きベクトルmvLXとの差分動きベクトルを算出し、それら差分動きベクトルを符号化したときの符号量をそれぞれ算出し、予測動きベクトル選択部１２６に供給する。
【０１０３】
予測動きベクトル選択部１２６は、ＬＸの予測動きベクトルリストmvpListLXに登録された各要素の中で、予測動きベクトルの候補毎の符号量が最小となる予測動きベクトルの候補mvpListLX[i]をＬＸの予測動きベクトルmvpLXとして選択する。予測動きベクトルリストmvpListLXの中で最小の発生符号量となる予測動きベクトルの候補が複数存在する場合には、予測動きベクトルリストmvpListLXの中のインデックスiが小さい番号で表される予測動きベクトルの候補mvpListLX[i]をＬＸの最適な予測動きベクトルmvpLXとして選択する。選択された予測動きベクトルmvpLXを動きベクトル減算部１２７に供給する。さらに、その選択された予測動きベクトルmvpLXに対応する予測動きベクトルリスト中のインデックスiをＬＸの予測動きベクトルインデックスmvpIdxLXとして出力する。
【０１０４】
最後に動きベクトル減算部１２７は、ＬＸの動きベクトルmvLXから選択されたＬＸの予測動きベクトルmvpLXを減算することによりＬＸの差分動きベクトルmvdLXを算出し、差分動きベクトルmvdLXを出力する。
mvdLX = mvLX - mvpLX
【０１０５】
図１に戻り、動き補償予測部１０５は、復号画像メモリ１１５に格納されている復号ピクチャの画像信号を参照して動きベクトル検出部１０２から供給されるＬＸ（Ｘ＝０または１）の動きベクトルmvLXに応じて動き補償を行い、予測画像信号を得て、予測方法決定部１０６に供給する。
【０１０６】
予測方法決定部１０６は、予測方法を決定する。それぞれの予測モードごとに符号量と符号化歪を算出し、最も少ない発生符号量と符号化歪となる予測ブロックサイズと予測モードが決定される。差分動きベクトル算出部１０３の動きベクトル減算部１２７から供給されたＬＸの差分動きベクトルmvdLXと予測動きベクトル選択部１２６から供給された予測動きベクトルを表すＬＸの予測動きベクトルインデックスmvpIdxLXの符号化が行われ、動き情報の符号量を算出する。さらに、動き補償予測部１０５から供給される予測画像信号と、画像メモリ１０１から供給される符号化対象の画像信号との予測残差信号を符号化した予測残差信号の符号量を算出する。動き情報の符号量と予測残差信号の符号量とが加算された総発生符号量を算出し、第１の評価値とする。
【０１０７】
また、こうした予測残差信号を符号化後に、歪量評価の為に復号し、符号化により生じる元の画像信号との誤差を表す比率として符号化歪が算出される。これら総発生符号量と符号化歪とを動き補償毎に比較することで、最も少ない発生符号量と符号化歪となる予測ブロックサイズと予測モードが決定される。決定された予測ブロックサイズの予測モードに応じた動きベクトルmvLXに対して、上述した動きベクトルの予測方法が行われ、予測動きベクトルを表すインデックスmvpIdxLXが、予測ブロック単位の第２のシンタックスパターンで表されるシンタックス要素mvp_idx_lX[i]として符号化される。尚、ここで算出される発生符号量は、符号化過程をシミュレートしたものであることが望ましいが、簡便に近似したり、概算することも可能である。
【０１０８】
（復号における動きベクトルの予測）
上述のシンタックスに基づき、符号化された動画像のビットストリームを復号する動画像復号装置において、本発明に係る動きベクトルの予測方法の動作を説明する。
【０１０９】
実施の形態に係る動きベクトルの予測方法が実施される場合、図２の動画像復号装置の動きベクトル算出部２０４にて処理が行われる。図１３は、実施の形態の動画像符号化装置に対応する図２の動画像復号装置の動きベクトル算出部２０４の詳細な構成を示す図である。図１３の太枠線で囲まれる部分は動きベクトル算出部２０４を示している。更に、その内部の太点線で囲まれる部分は後述する動きベクトルの予測方法の動作部を示しており、対応する動画像符号化装置にも同様に設置され、符号化と復号で矛盾しない同一の判定結果を得られるようにしている。以下、この図を用いて、復号における動きベクトルの予測方法を説明する。
【０１１０】
動きベクトル算出部２０４は、予測動きベクトル候補生成部２２１、予測動きベクトル候補登録部２２２、予測動きベクトル冗長候補削除部２２３、予測動きベクトル候補数制限部２２４、予測動きベクトル選択部２２５及び動きベクトル加算部２２６を含む。
【０１１１】
この動きベクトル算出部２０４での動きベクトル算出処理は、インター予測で用いる動きベクトルをＬ０，Ｌ１毎にそれぞれ算出する。具体的には符号化対象ブロックの予測モードPredModeがインター予測（MODE_INTER）で、符号化対象ブロックのインター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０の予測動きベクトルリストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0を算出する。符号化対象ブロックのインター予測モードがＬ１予測（Pred_L1）の場合、Ｌ１の予測動きベクトルリストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、Ｌ１の動きベクトルmvL1を算出する。符号化対象ブロックのインター予測モードが双予測（Pred_BI）の場合、Ｌ０予測とＬ１予測が共に行われ、Ｌ０の予測動きベクトルリストmvpListL0を算出して、Ｌ０の予測動きベクトルmvpL0を選択し、Ｌ０の動きベクトルmvL0を算出するとともに、Ｌ１の予測動きベクトルリストmvpListL1を算出して、Ｌ１の予測動きベクトルmvpL1を算出し、Ｌ１の動きベクトルmvL1をそれぞれ算出する。
【０１１２】
符号化側と同様に、復号側でもＬ０、Ｌ１それぞれについて、動きベクトル算出処理を行うが、Ｌ０、Ｌ１ともに共通の処理となる。したがって、以下の説明においてはＬ０、Ｌ１を共通のＬＸとして表す。Ｌ０の動きベクトルを算出する処理ではＸが０であり、Ｌ１の動きベクトルを算出する処理ではＸが１である。また、ＬＸの動きベクトルを算出する処理中に、ＬＸではなく、他方のリストの情報を参照する場合、他方のリストをＬＹとして表す。
【０１１３】
動きベクトル算出部２０４の中の予測動きベクトル候補生成部２２１、予測動きベクトル候補登録部２２２、予測動きベクトル冗長候補削除部２２３及び予測動きベクトル候補数制限部２２４は、符号化側の差分動きベクトル算出部１０３の中の予測動きベクトル候補生成部１２１、予測動きベクトル候補登録部１２２及び予測動きベクトル冗長候補削除部１２３、予測動きベクトル候補数制限部１２４とそれぞれ同じ動作をするように規定することにより、符号化と復号で矛盾しない同一の予測動きベクトルの候補を符号化側及び復号側で得ることができる。
【０１１４】
予測動きベクトル候補生成部２２１は、図１２の符号化側の予測動きベクトル候補生成部１２１と同一の処理を行う。復号して符号化情報格納メモリ２０９に記録されていた、復号対象ブロックと同一ピクチャ内の復号対象ブロックと隣接する復号済みの予測ブロック及び異なるピクチャ内の復号対象ブロックと同一位置あるいはその近傍の位置に存在する復号済みの予測ブロック等の動きベクトルを符号化情報格納メモリ２０９から読み出す。符号化情報格納メモリ２０９から読み出された復号済みの他のブロックの動きベクトルから予測ブロックグループごとに予測動きベクトルの候補mvLXCol、mvLXA、mvLXBを生成し、予測動きベクトル候補登録部２２２に供給する。
【０１１５】
これらの予測動きベクトルの候補mvLXCol、mvLXA、mvLXBは参照インデックスに応じてスケーリングすることにより算出されることもある。なお、予測動きベクトル候補生成部２２１は、図１２の符号化側の予測動きベクトル候補生成部１２１と同一の処理を行うので、ここでは詳細な説明は省略する。
【０１１６】
次に、予測動きベクトル候補登録部２２２は図１２の符号化側の予測動きベクトル候補登録部１２２と同一の処理を行う。算出された予測動きベクトルの候補mvLXCol、mvLXA、mvLXBをＬＸの予測動きベクトルリストmvpListLXに格納する。
【０１１７】
次に、予測動きベクトル冗長候補削除部２２３は、図１２の符号化側の予測動きベクトル冗長候補削除部１２３と同一の処理を行う。ＬＸの予測動きベクトルリストmvpListLXに格納された予測動きベクトルの候補の中から同一の動きベクトルの値をもつものを判定し、同一の動きベクトル値をもつと判定された予測動きベクトルの候補について最初の一つを残してそれ以外を予測動きベクトルリストmvpListLXから削除して、予測動きベクトルの候補が重複しないようにし、予測動きベクトルリストmvpListLXを更新する。
【０１１８】
次に、予測動きベクトル候補数制限部２２４は、図１２の符号化側の予測動きベクトル候補数制限部１２４と同一の処理を行う。予測動きベクトル候補数制限部２２４では、予測動きベクトルリストmvpListLXに登録されている要素数をカウントし、ＬＸの予測動きベクトル候補数numMVPCandLXがカウントされた候補数の値に設定される。
【０１１９】
さらに、予測動きベクトル候補数制限部２２４では、符号化側で説明した理由により、予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを最終候補数finalNumMVPCandに固定する。
【０１２０】
本実施の形態においては、最終候補数finalNumMVPCandを２と規定している。ＬＸの予測動きベクトル候補数numMVPCandLXが規定された最終候補数finalNumMVPCandより小さい場合、予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandと同じ値になるまで、（０，０）の値を持つ動きベクトルを予測動きベクトルリストmvpListLXに追加することで予測動きベクトルの候補数を規定値に制限する。この場合、重複して（０，０）の値を持つ動きベクトルが追加されることがあるが、復号側では予測動きベクトルインデックスが０から規定値−１の範囲内でどのような値をとっても、予測動きベクトルを確定することができる。一方、ＬＸの予測動きベクトル候補数numMVPCandLXが規定された最終候補数finalNumMVPCandより大きい場合、予測動きベクトルリストmvpListLXからfinalNumMVPCand-1より大きいインデックスに登録されている要素をすべて削除し、ＬＸの予測動きベクトル候補数numMVPCandLXを最終候補数finalNumMVPCandと同じ値にすることで予測動きベクトルの候補数を規定値に制限する。更新された予測動きベクトルリストmvpListLXは予測動きベクトル選択部２２５に供給される。
【０１２１】
一方、第１符号化ビット列復号部２０２にて復号された予測ブロック毎のＬＸ（Ｘ＝０または１）の差分動きベクトルmvdLXが動きベクトル加算部２２６に供給される。第１符号化ビット列復号部２０２にて復号されたＬＸの予測動きベクトルの予測動きベクトルインデックスmvpIdxLXが予測動きベクトル選択部２２５に供給される。
【０１２２】
予測動きベクトル選択部２２５は、第１符号化ビット列復号部２０２にて復号されたＬＸの予測動きベクトルインデックスmvpIdxLXが供給され、供給されたインデックスmvpIdxLXに対応する予測動きベクトルの候補mvpListLX[mvpIdxLX]をＬＸの予測動きベクトルmvpLXとして予測動きベクトルリストmvpListLXから取り出す。供給された予測動きベクトルの候補を予測動きベクトルmvpLXとして動きベクトル加算部２２６に供給する。
【０１２３】
最後に動きベクトル加算部２２６は、第１符号化ビット列復号部２０２にて復号されて供給されるＬＸの差分動きベクトルmvdLXとＬＸの予測動きベクトルmvpLXを加算することによりＬＸの動きベクトルｍｖを算出し、動きベクトルmvLXを出力する。
mvLX = mvpLX + mvdLX
【０１２４】
以上のようにして、予測ブロック毎にＬＸの動きベクトルmvLXが算出される。この動きベクトルを使用して動き補償により予測画像信号が生成され、復号された予測残差信号と加算されることで復号画像信号が生成される。
【０１２５】
動画像符号化装置の差分動きベクトル算出部１０３、動画像復号装置の動きベクトル算出部２０４の処理手順について、それぞれ図１４、図１５のフローチャートを用いて説明する。図１４は動画像符号化装置による差分動きベクトル算出処理手順を示すフローチャートであり、図１５は動画像復号装置による動きベクトル算出処理手順を示すフローチャートである。
【０１２６】
図１４を参照して符号化側の差分動きベクトル算出処理手順を説明する。符号化側では、まず、差分動きベクトル算出部１０３で、予測動きベクトルの候補の最終候補数finalNumMVCandを設定する（Ｓ１００）。本実施の形態においては、最終候補数finalNumMVPCandを２と規定している。
【０１２７】
続いて、差分動きベクトル算出部１０３で、符号化対象ブロックで選択されたインター予測で用いる動きベクトルの差分動きベクトルをＬ０、Ｌ１毎にそれぞれ算出する（Ｓ１０１〜Ｓ１０６）。
【０１２８】
ＬＸの差分動きベクトルmvdLXを算出する場合（Ｓ１０２のＹＥＳ）、ＬＸの予測動きベクトルの候補を算出してＬＸの予測動きベクトルリストmvpListLXを構築する（Ｓ１０３）。差分動きベクトル算出部１０３の中の予測動きベクトル候補生成部１２１で複数の予測動きベクトルの候補を算出し、予測動きベクトル候補登録部１２２で予測動きベクトルリストmvpListLXに算出した予測動きベクトルの候補を追加し、予測動きベクトル冗長候補削除部１２３で不要な予測動きベクトルの候補を削除し、予測動きベクトル候補数制限部１２４で予測ベクトル候補数を予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXに固定することにより、予測動きベクトルリストmvpListLXを構築する。ステップＳ１０３の詳細な処理手順については図１６のフローチャートを用いて後述する。
【０１２９】
続いて、予測動きベクトル候補符号量算出部１２５、及び予測動きベクトル選択部１２６により、ＬＸの予測動きベクトルリストmvpListLXからＬＸの予測動きベクトルmvpLXを選択する（Ｓ１０４）。まず、予測動きベクトル候補符号量算出部１２５で、動きベクトルmvLXと予測動きベクトルリストmvpListLXの中に格納された各予測動きベクトルの候補mvpListLX[i]との差分であるそれぞれの差分動きベクトルを算出し、それら差分動きベクトルを符号化したときの符号量を予測動きベクトルリストmvpListLXの要素ごとに算出し、予測動きベクトル選択部１２６で、予測動きベクトルリストmvpListLXに登録された各要素の中で、予測動きベクトルの候補毎の符号量が最小となる予測動きベクトルの候補mvpListLX[i]を予測動きベクトルmvpLXとして選択する。予測動きベクトルリストmvpListLXの中で最小の発生符号量となる予測動きベクトルの候補が複数存在する場合には、予測動きベクトルリストmvpListLXの中のインデックスiが小さい番号で表される予測動きベクトルの候補mvpListLX[i]を最適予測動きベクトルmvpLXとして選択する。
【０１３０】
続いて、動きベクトル減算部１２７で、ＬＸの動きベクトルmvLXから選択されたＬＸの予測動きベクトルmvpLXを減算することによりＬＸの差分動きベクトルmvdLXを算出する（Ｓ１０５）。
mvdLX = mvLX - mvpLX
【０１３１】
次に、図１５を参照して復号側の動きベクトル算出処理手順を説明する。復号側でも、動きベクトル算出部２０４で、インター予測で用いる動きベクトルをＬ０，Ｌ１毎にそれぞれ算出する（Ｓ２０１〜Ｓ２０６）。
【０１３２】
ＬＸの動きベクトルmvdLXを算出する場合（Ｓ２０２のＹＥＳ）、ＬＸの予測動きベクトルの候補を算出してＬＸの予測動きベクトルリストmvpListLXを構築する（Ｓ２０３）。動きベクトル算出部２０４の中の予測動きベクトル候補生成部２２１で複数の予測動きベクトルの候補を算出し、予測動きベクトル候補登録部２２２で予測動きベクトルリストmvpListLXに算出した予測動きベクトルの候補を追加し、予測動きベクトル冗長候補削除部２２３で不要な予測動きベクトルの候補を削除し、予測動きベクトル候補数制限部２２４で予測ベクトル候補数を予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXに固定することにより、予測動きベクトルリストmvpListLXを構築する。ステップＳ２０３の詳細な処理手順については図１６のフローチャートを用いて後述する。
【０１３３】
続いて、予測動きベクトル選択部２２５で予測動きベクトルリストmvpListLXから第１符号化ビット列復号部２０２にて復号された予測動きベクトルのインデックスmvpIdxLXに対応する予測動きベクトルの候補mvpListLX[mvpIdxLX]を選択された予測動きベクトルmvpLXとして取り出す（Ｓ２０４）。
【０１３４】
続いて、動きベクトル加算部２２６で第１符号化ビット列復号部２０２にて復号されて供給されるＬＸの差分動きベクトルmvdLXとＬＸの予測動きベクトルmvpLXを加算することによりＬＸの動きベクトルmvLXを算出する（Ｓ２０５）。
mvLX = mvpLX + mvdLX
【０１３５】
次に、図１４のＳ１０３、及び図１５のＳ２０３で共通の予測動きベクトルの候補の導出及び予測動きベクトルリスト構築処理手順を図１６のフローチャートを用いて詳細に説明する。
【０１３６】
（動きベクトルの予測方法）
図１６は動画像符号化装置の差分動きベクトル算出部１０３及び動画像復号装置の動きベクトル算出部２０４とで共通する機能を有する予測動きベクトル候補生成部１２１及び２２１、予測動きベクトル候補登録部１２２及び２２２、ならびに予測動きベクトル冗長候補削除部１２３及び２２３、予測動きベクトル候補数制限部１２４及び２２４の処理手順を表すフローチャートである。
【０１３７】
はじめに、予測動きベクトル候補生成部１２１及び２２１は異なる時間のピクチャの予測ブロックからの予測動きベクトルの候補を導出し、異なる時間のピクチャの予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXCol、及び動きベクトルmvLXCol、参照インデックスrefIdxCol、リストListColを導出する（図１６のＳ３０１）。このステップＳ３０１の導出処理手順を図２４〜図３０のフローチャートを用いて後ほど詳細に説明する。
【０１３８】
続いて、予測動きベクトル候補生成部１２１及び２２１は左側に隣接する予測ブロックからの予測動きベクトルの候補を導出し、左側に隣接する予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXA、及び動きベクトルmvLXA、参照インデックスrefIdxA、リストListAを導出する（図１６のＳ３０２）。なお、Ｌ０のときＸは０、Ｌ１のときＸは１とする（以下同様）。続いて、予測動きベクトル候補生成部１２１及び２２１は上側に隣接する予測ブロックからの予測動きベクトルの候補を導出し、上側に隣接する予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXB、及び動きベクトルmvLXB、参照インデックスrefIdxB、リストListBを導出する（図１６のＳ３０３）。図１６のステップＳ３０２とＳ３０３の処理は参照する隣接ブロックの位置と数が異なること、及び隣接ブロックのスキャン手順が異なること以外は共通であり、予測ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXN、及び動きベクトルmvLXN、参照インデックスrefIdxN、ListN（ＮはＡまたはＢ、以下同様）を導出する。Ｓ３０２及びＳ３０３の処理手順を図１７〜図２１のフローチャートを用いて後ほど詳細に説明する。
【０１３９】
続いて、予測動きベクトル候補登録部１２２及び２２２は予測動きベクトルリストmvpListLXを作成し、ＬＸのそれぞれの予測ベクトルの候補mvLXCol, mvLXA, mvLXBを追加する（図１６のＳ３０４）。このステップＳ３０４の登録処理手順を図３１のフローチャートを用いて後ほど詳細に説明する。
【０１４０】
続いて、予測動きベクトル冗長候補削除部１２３及び２２３は予測動きベクトルリストmvpListLX内の左側に隣接する予測ブロックグループから導出された空間予測動きベクトル候補mvLXAおよび上側に隣接する予測ブロックグループから導出された空間予測動きベクトル候補mvLXBが同じ値を持っている場合に、一方を冗長な動きベクトルの候補と判断し、最も小さい順序、即ち最も小さいインデックスiの動きベクトルの候補mvLXAを残して、冗長な動きベクトルの候補mvLXBを取り除く（図１６のＳ３０５）。冗長候補削除比較部では、時間予測動きベクトル候補mvLXColと空間予測動きベクトル候補mvLXAまたはmvLXB間の動きベクトル冗長性比較を行わない。これは、時間予測動きベクトル候補と空間予測動きベクトル候補の生成はアクセスする動き情報メモリが異なることや各処理量が異なることから並列処理することが多いため、時間予測動きベクトル候補と空間予測動きベクトル候補間の動きベクトル比較を行ってしまうと、並列処理を行う場合の同期を早める必要があり、どちらかの処理の待ち時間が増加するためである。そのため、時間予測動きベクトル候補と空間予測動きベクトル候補の導出処理をできるだけ分離しておくことが望ましいため、本発明では時間予測動きベクトル候補と空間予測動きベクトル候補間の動きベクトル冗長性比較は行わない。時間予測動きベクトルと空間予測動きベクトルは、動きベクトルの導出プロセスが違うため異なる性質の予測動きベクトルが導出される。そのため、時間予測動きベクトルと空間予測動きベクトルが同一となる確率は低く、時間予測動きベクトル候補と空間予測動きベクトル候補間の動きベクトル比較を行わなくても符号化効率の低下はない。このステップＳ３０５の削除処理手順を図３２のフローチャートを用いて後ほど詳細に説明する。
【０１４１】
続いて、予測動きベクトル候補数制限部１２４及び２２４は予測動きベクトルリストmvpListLX内に追加された要素の数をカウントし、その数がＬＸの予測動きベクトル候補数numMVPCandLXに設定され、予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された最終候補数finalNumMVPCandに制限する。（図１６のＳ３０６）。このステップＳ３０６の削除処理手順を図３３のフローチャートを用いて後ほど詳細に説明する。
【０１４２】
図１６のＳ３０１、Ｓ３０２の左側または上側に隣接する予測ブロックから予測動きベクトルの候補をそれぞれ導出する手順について詳細に説明する。
【０１４３】
図５、図６、図７、図８に示されるように、同一ピクチャ内の符号化ブロック内部を動き補償する為に定義される予測ブロック（図５、図６、図７、図８中の処理対象の予測ブロック）に隣接する周囲の予測ブロックから予測動きベクトルの候補を導出する。
【０１４４】
予測動きベクトルの候補は、処理対象の予測ブロックの左側に隣接する予測ブロックＡｋ（ｋ＝０，１）、すなわちＡ０、Ａ１から構成される予測ブロックグループＡ、上に隣接する予測ブロックＢｋ（ｋ＝０，１，２）、すなわちＢ０、Ｂ１、Ｂ２から構成される予測ブロックグループＢからそれぞれ予測動きベクトルの候補を選出する。
【０１４５】
次に、図１６のＳ３０１およびＳ３０２の処理手順である左側および上側に隣接する予測ブロックグループＮからの予測動きベクトルの候補の導出方法について説明する。図１７は前述のスキャン方法による図１６のＳ３０１およびＳ３０２の予測動きベクトル候補導出処理手順を示すフローチャートである。添え字Ｘには参照リストを表す０若しくは１、Ｎには隣接する予測ブロックグループの領域を表すＡ（左側）またはＢ（上側）が入る。
【０１４６】
左側の予測ブロックから予測動きベクトルの候補を導出するには（図１６のＳ３０１）、図１７でＮがＡとして符号化／復号対象の予測ブロックの左側に隣接するＡ０、Ａ１の予測ブロックから予測動きベクトルの候補を、上側の予測ブロックから予測動きベクトルの候補を導出するには（図１６のＳ３０２）、図１７でＮがＢとして上側に隣接するＢ０、Ｂ１、Ｂ２予測ブロックから予測動きベクトルの候補を、それぞれ以下の手順で算出する。
【０１４７】
まず、符号化／復号対象の予測ブロックに隣接する予測ブロックを特定し、それぞれの予測ブロックＮｋ（ｋ＝０，１，２、ただし２は上側の予測ブロックグループのみ）が利用できる場合は符号化情報格納メモリ１１４または符号化情報格納メモリ２０９に格納されている符号化情報を取得する。ここで取得する隣接する予測ブロックＮｋの符号化情報は、予測モードPredMode、ＬＸを利用するかどうかを示すフラグpredFlagLX [xNk][yNk]、ＬＸの参照インデックスrefIdxLX [xNk][yNk]、ＬＸの動きベクトルmvLX [xNk][yNk]である。符号化／復号対象の予測ブロックの左側に隣接する予測ブロックグループ（Ｎ＝Ａ）の場合（Ｓ１１０１のＹＥＳ）、左下に隣接する予測ブロックＡ０、左に隣接する予測ブロックＡ１を特定して符号化情報を取得し（Ｓ１１０２、Ｓ１１０３）、符号化／復号対象の予測ブロックの上側に隣接する予測ブロックグループ（Ｎ＝Ｂ）の場合（Ｓ１１０１のＮＯ）、右上に隣接する予測ブロックＢ０、上に隣接する予測ブロックＢ１、左上に隣接する予測ブロックＢ２を特定して符号化情報を取得する（Ｓ１１０４、Ｓ１１０５、Ｓ１１０６）。なお、隣接する予測ブロックＮｋが符号化／復号対象予測ブロックを含むスライスの内側に位置する場合は利用でき、外側に位置する場合は利用できない。
【０１４８】
次に、予測ブロックグループＮから予測動きベクトルが選出されるか否かを示すフラグavailableFlagLXNを０、予測ブロックグループＮを代表する動きベクトルmvLXNを（０，０）に設定する（Ｓ１１０７）。
【０１４９】
続いて、前述の条件判定１または条件判定２に合致する予測動きベクトル候補を導出する（Ｓ１１０８）。予測ブロックグループＮ（ＮはＡまたはＢ）の隣接予測ブロックＮ０、Ｎ１、Ｎ２（Ｎ２は上側の隣接予測ブロックグループＢのみ）の中で、符号化／復号対象予測ブロックで現在対象としている参照リストＬＸと同じ参照リストＬＸ、または符号化／復号対象予測ブロックで現在対象としている参照リストＬＸと反対の参照リストＬＹ（Ｙ＝！Ｘ：現在対象としている参照リストがＬ０のとき、反対の参照リストはＬ１、現在対象としている参照リストがＬ１のとき、反対の参照リストはＬ０）で同じ参照ピクチャの動きベクトルを持つ予測ブロックを探してその動きベクトルを予測動きベクトル候補とする。
【０１５０】
図１８は図１７のステップＳ１１０８の導出処理手順を示すフローチャートである。隣接する予測ブロックＮｋ（ｋ＝０，１，２、ただし、２は上側の隣接予測ブロックグループのみ）に対して、ｋが０，１，２の順番にそれぞれ以下の処理を行う（Ｓ１２０１〜Ｓ１２０７）。ＮがＡの場合下から上にＡ０，Ａ１の順序で、ＮがＢの場合、右から左にＢ０，Ｂ１，Ｂ２の順序で、それぞれ以下の処理を行う。
【０１５１】
隣接する予測ブロックＮｋが利用でき、予測ブロックＮｋの予測モードPredModeがイントラ（MODE_INTRA）でない場合（Ｓ１２０２のＹＥＳ）、前述の条件判定１の条件判定を行う（Ｓ１２０３）。隣接する予測ブロックＮｋのＬＸを利用するどうかを示すフラグpredFlagLX [xNk][yNk]が１、即ち隣接する予測ブロックＮｋが算出対象と同じＬＸの動きベクトルを用いてインター予測されており、隣接する予測ブロックＮｋのＬＸの参照インデックスrefIdxLX[xNk][yNk]と処理対象の予測ブロックのインデックスrefIdxLXが同じ、即ち隣接する予測ブロックＮｋがＬＸ予測で同じ参照ピクチャを用いてインター予測されている場合（Ｓ１２０３のＹＥＳ）、ステップＳ１２０４に進み、そうでない場合（Ｓ１２０３のＮＯ）、ステップＳ１２０５の条件判定を行う。
【０１５２】
ステップＳ１２０３がＹＥＳの場合、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが隣接する予測ブロックＮｋのＬＸの動きベクトルmvLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが隣接する予測ブロックＮｋのＬＸの参照インデックスrefIdxLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＸに設定され（Ｓ１２０４）、本予測動きベクトル候補算出処理を終了する。
【０１５３】
一方、ステップＳ１２０３がＮＯの場合、前述の条件判定２の条件判定を行う（Ｓ１２０５）。隣接する予測ブロックＮｋのＬＹを利用するどうかを示すフラグpredFlagLYが１、即ち隣接する予測ブロックＮｋが算出対象と異なるＬＹの動きベクトルを用いてインター予測されており、隣接する予測ブロックＮｋの現在対象としている参照リストＬＸと反対の参照リストＬＹの参照ピクチャのＰＯＣと処理対象の予測ブロックのＬＸの参照ピクチャのＰＯＣが同じ、即ち隣接する予測ブロックＮｋがＬＹ予測で同じ参照ピクチャを用いてインター予測されている場合（Ｓ１２０５のＹＥＳ）、ステップＳ１２０６に進み、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが隣接する予測ブロックＮｋのＬＹの動きベクトルmvLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが隣接する予測ブロックＮｋのＬＹの参照インデックスrefIdxLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＹに設定され（Ｓ１２０６）、本予測動きベクトル候補算出処理を終了する。
【０１５４】
これらの条件に合致しない場合、即ちＳ１２０３のＮＯでかつＳ１２０５のＮＯの場合、ｋを１増加し、次の隣接予測ブロックの処理（Ｓ１２０１〜Ｓ１２０７）を行い、availableFlagLXNが１になるか、隣接ブロックＡ１またはＢ２の処理が終わるまで繰り返す。
【０１５５】
続いて、図１７のフローチャートに戻り、左側に隣接する予測ブロックグループ（Ｎ＝Ａ）であり、且つ、availableFlagLXNが０のとき（Ｓ１１０９のＹＥＳ）、即ち左側に隣接する予測ブロックグループにおいてステップＳ１１０８で予測動きベクトルの候補が算出できなかった場合、前述の条件判定３または条件判定４に合致する予測動きベクトル候補を算出する（Ｓ１１１０）。
【０１５６】
図１９は図１７のステップＳ１１１０の導出処理手順を示すフローチャートである。隣接する予測ブロックＮｋ（ｋ＝０，１）に対して、ｋが０，１の順番にそれぞれ以下の処理を行う（Ｓ１３０１〜Ｓ１３０７）。
【０１５７】
隣接する予測ブロックＮｋが利用でき、予測ブロックＮｋの予測モードPredModeがイントラ（MODE_INTRA）でない場合（Ｓ１３０２のＹＥＳ）、前述の条件判定３の条件判定を行う（Ｓ１３０３）。隣接する予測ブロックＮｋのＬＸを利用するどうかを示すフラグpredFlagLX [xNk][yNk]が１、即ち隣接する予測ブロックＮｋが算出対象と同じＬＸの動きベクトルを用いてインター予測されている場合、ステップＳ１３０４に進み、そうでない場合（Ｓ１３０３のＮＯ）、ステップＳ１３０５の条件判定を行う。
【０１５８】
ステップＳ１３０３がＹＥＳの場合、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮのmvLXNが隣接する予測ブロックＮｋのＬＸの動きベクトルmvLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが隣接する予測ブロックＮｋのＬＸの参照インデックスrefIdxLX[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＸに設定され（Ｓ１３０４）、ステップＳ１３０８に進む。
【０１５９】
ステップＳ１３０３がＮＯの場合、前述の条件判定４の条件判定を行う（Ｓ１３０５）。隣接する予測ブロックＮｋのＬＹを利用するどうかを示すフラグpredFlagLYが１、即ち隣接する予測ブロックＮｋが算出対象と異なるＬＹの動きベクトルを用いてインター予測されている場合（Ｓ１３０５のＹＥＳ）、フラグavailableFlagLXNが１に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが隣接する予測ブロックＮｋのＬＹの動きベクトルmvLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの予測動きベクトルmvLXNが隣接する予測ブロックＮｋのＬＹの動きベクトルmvLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照インデックスrefIdxNが隣接する予測ブロックＮｋのＬＹの参照インデックスrefIdxLY[xNk][yNk]と同じ値に設定され、予測ブロックグループＮの参照リストListNがＬＹに設定され（Ｓ１３０６）、ステップＳ１３０８に進む。
【０１６０】
一方、これらの条件に合致しない場合（Ｓ１３０３のＮＯでかつＳ１３０５のＮＯの場合）、ｋを１増加し、次の隣接予測ブロックの処理（Ｓ１３０１〜Ｓ１３０７）を行い、availableFlagLXNが１になるか、隣接ブロックＡ１の処理が終わるまで繰り返し、ステップＳ１３０８に進む。
【０１６１】
続いて、availableFlagLXNが１のとき（Ｓ１３０８のＹＥＳ）、mvLXNをスケーリングする（Ｓ１３０９）。このステップＳ１３０９の空間予測動きベクトル候補のスケーリング演算処理手順を図２０及び図２１を用いて説明する。
【０１６２】
図２０は図１９のステップＳ１３０９の動きベクトルのスケーリング演算処理手順を示すフローチャートである。
【０１６３】
現在の符号化／復号対象ピクチャのＰＯＣから、隣接予測ブロックのリストListNが参照する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを算出する（Ｓ１６０１）。なお、現在の符号化／復号対象ピクチャよりも隣接予測ブロックのリストListNで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｄは正の値となり、現在の符号化／復号対象ピクチャよりも隣接予測ブロックの参照リストListNで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｄは負の値となる。
ｔｄ＝現在の符号化／復号対象ピクチャのＰＯＣ−隣接予測ブロックの参照リストListNで参照する参照ピクチャのＰＯＣ
【０１６４】
次に、現在の符号化／復号対象ピクチャのＰＯＣから現在の符号化／復号対象ピクチャのリストＬＸが参照する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを算出する（Ｓ１６０２）。なお、現在の符号化／復号対象ピクチャよりも現在の符号化／復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｂは正の値となり、現在の符号化／復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｂは負の値となる。
ｔｂ＝現在の符号化／復号対象ピクチャのＰＯＣ−現在の符号化／復号対象ピクチャの参照リストＬＸで参照する参照ピクチャのＰＯＣ
【０１６５】
続いて、次式によりmvLXNにスケーリング係数ｔｂ／ｔｄを乗じることでスケーリング演算処理を行い（Ｓ１６０３）、スケーリングされた動きベクトルmvLXNを得る。
mvLXN＝ｔｂ／ｔｄ＊mvLXN
【０１６６】
また、ステップＳ１６０３のスケーリング演算を整数精度の演算で行う場合の例を図２１に示す。図２１のステップＳ１６０４〜Ｓ１６０６の処理が、図２０のステップＳ１６０３の処理に相当する。
【０１６７】
まず、図２０のフローチャートと同様に、ピクチャ間距離ｔｄとピクチャ間距離ｔｂを算出する（Ｓ１６０１、Ｓ１６０２）。
【０１６８】
続いて、次式により変数ｔｘを算出する（Ｓ１６０３）。
tx = ( 16384 + Abs( td / 2 ) ) / td
【０１６９】
続いて、次式によりスケーリング係数DistScaleFactorを算出する（Ｓ１６０５）。
DistScaleFactor = ( tb * tx + 32 ) >> 6
【０１７０】
続いて、次式により、スケーリングされた動きベクトルmvLXNを得る（Ｓ１６０６）。
mvLXN = ClipMv( Sign( DistScaleFactor * mvLXN ) * ( (Abs( DistScaleFactor * mvLXN ) + 127 ) >> 8 ) )
【０１７１】
次に、図１６のＳ３０３の異なる時間のピクチャの予測ブロックから予測動きベクトルの候補の導出方法について詳細に説明する。図２４は図１６のステップＳ３０３の予測動きベクトル候補導出処理手順を説明するフローチャートである。
【０１７２】
まず、slice_typeとcollocated_from_l0_flagにより、異なる時間のピクチャcolPicをＬ０の参照リスト或いはＬ１の参照リストのどちらに定義するかを決定する（図２４のＳ２１０１）。
【０１７３】
図２５は図２４のステップＳ２１０１の異なる時間のピクチャcolPicの導出処理手順を説明するフローチャートである。slice_typeがＢで、前述のフラグcollocated_from_l0_flagが０の場合（図２５のＳ２２０１のＹＥＳ、Ｓ２２０２のＹＥＳ）、RefPicList1[0]、すなわち参照リストＬ１の参照インデックスが０のピクチャが異なる時間のピクチャcolPicとなる（図２５のＳ２２０３）。そうでない場合、すなわち前述のフラグcollocated_from_l0_flagが１の場合（図２５のＳ２２０１のＮＯ、Ｓ２２０２のＮＯ、Ｓ２２０４のＮＯ）、RefPicList0[0]、すなわち参照リストＬ０の参照インデックスが０のピクチャが異なる時間のピクチャcolPicとなる（図２５のＳ２２０５）。
【０１７４】
次に、図２４のフローチャートに戻り、異なる時間の予測ブロックcolPUを算出し、符号化情報を取得する（図２４のＳ２１０２）。
【０１７５】
図２６は図２４のステップＳ２１０２の異なる時間のピクチャcolPicの予測ブロックcolPUの導出処理手順を説明するフローチャートである。
【０１７６】
まず、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の右下（外側）に位置する予測ブロックを異なる時間の予測ブロックcolPUに設定する（図２６のＳ２３０１）。この予測ブロックは図９の予測ブロックＴ０に相当する。
【０１７７】
次に、異なる時間の予測ブロック符号化ブロックのツリーブロックの外であるか、colPUのPredModeがMODE_INTRAの場合（図２６のＳ２３０２、Ｓ２３０３）、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の中央右下に位置する予測ブロックを異なる時間の予測ブロックcolPUに再設定する（図２６のＳ２３０４）。この予測ブロックは図９の予測ブロックＴ１に相当する。colPuがツリーブロックの外である場合にcolPuを処理対象の予測ブロックと同一の中央右下に変更する理由は、ツリーブロック外からのcolPU情報取得はハードウェアのメモリアクセスのコストが大きいためである。
【０１７８】
次に、図２４のフローチャートに戻り、符号化／復号対象の予測ブロックと同位置の他ピクチャの予測ブロックから算出されるＬＸの予測動きベクトルmvLXColと予測ブロックグループＣｏｌの参照リストＬＸの符号化情報が有効か否かを示すフラグavailableFlagLXColを算出する（図２４のＳ２１０３）。
【０１７９】
図２７は図２４のステップＳ２１０３のインター予測情報の導出処理を説明するフローチャートである。
【０１８０】
異なる時間の予測ブロックcolPUのPredModeがMODE_INTRAか、利用できない場合（図２７のＳ２４０１のＮＯ、Ｓ２４０２のＮＯ）、availableFlagLXColを０、mvLXColを（０，０）とし（図２７のＳ２４０３、Ｓ２４０４）、処理を終了する。
【０１８１】
予測ブロックcolPUが利用できてPredModeがMODE_INTRAでない場合（図２７のＳ２４０１のＹＥＳ、Ｓ２４０２のＹＥＳ）、以下の手順でmvColとrefIdxColを算出する。
【０１８２】
予測ブロックcolPUのＬ０予測が利用されているかどうかを示すフラグPredFlagL0[xPCol][yPCol]が０の場合（図２７のＳ２４０５のＹＥＳ）、予測ブロックcolPUの予測モードはPred_L1であるので、動きベクトルmvColが予測ブロックcolPUのＬ１の動きベクトルであるMvL1[xPCol][yPCol]と同じ値に設定され（図２７のＳ２４０６）、参照インデックスrefIdxColがＬ１の参照インデックスRefIdxL1[xPCol][yPCol]と同じ値に設定され（図２７のＳ２４０７）、リストListColがＬ１に設定される（図２７のＳ２４０８）。
【０１８３】
一方、予測ブロックcolPUのＬ０予測フラグPredFlagL0[xPCol][yPCol]が０でない場合（図２７のＳ２４０５のＮＯ）、予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０かどうかを判定する。予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０の場合（図２７のＳ２４０９のＹＥＳ）、動きベクトルmvColが予測ブロックcolPUのＬ０の動きベクトルであるMvL0[xPCol][yPCol]と同じ値に設定され（図２７のＳ２４１０）、参照インデックスrefIdxColがＬ０の参照インデックスRefIdxL0[xPCol][yPCol] と同じ値に設定され（図２７のＳ２４１１）、リストListColがＬ０に設定される（図２７のＳ２４１２）。
【０１８４】
予測ブロックcolPUのＬ０予測フラグPredFlagL0[xPCol][yPCol]と予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が共に０でない場合（図２７のＳ２４０５のＮＯ，Ｓ２４０９のＮＯ）、予測ブロックcolPUのインター予測モードは双予測（Pred_BI）であるので、Ｌ０、Ｌ１の２つの動きベクトルから、一方を選択する（図２７のＳ２４１３）。
【０１８５】
図２８は予測ブロックcolPUのインター予測モードが双予測（Pred_BI）のときの予測ブロックのインター予測情報の導出処理手順を示すフローチャートである。
【０１８６】
まず、すべての参照リストに登録されているすべてのピクチャのＰＯＣが現在の符号化／復号対象ピクチャのＰＯＣより小さいかどうかを判定し（Ｓ２５０１）、予測ブロックcolPUのすべての参照リストであるＬ０及びＬ１に登録されているすべてのピクチャのＰＯＣが現在の符号化／復号対象ピクチャのＰＯＣより小さい場合で（Ｓ２５０１のＹＥＳ）、Ｘが０、即ち符号化／復号対象の予測ブロックのＬ０の動きベクトルの予測ベクトル候補を算出している場合（Ｓ２５０２のＹＥＳ）、予測ブロックcolPUのＬ０の方のインター予測情報を選択し、Ｘが１、即ち符号化／復号対象の予測ブロックのＬ１の動きベクトルの予測ベクトル候補を算出している場合（Ｓ２５０２のＮＯ）、予測ブロックcolPUのＬ１の方のインター予測情報を選択する。一方、予測ブロックcolPUのすべての参照リストＬ０及びＬ１に登録されているピクチャのＰＯＣの少なくとも１つが現在の符号化／復号対象ピクチャのＰＯＣより大きい場合で（Ｓ２５０１のＮＯ）、フラグcollocated_from_l0_flagが０場合（Ｓ２５０３のＹＥＳ）、予測ブロックcolPUのＬ０の方のインター予測情報を選択し、フラグcollocated_from_l0_flagが1の場合（Ｓ２５０３のＮＯ）、予測ブロックcolPUのＬ１の方のインター予測情報を選択する。つまり、colPUがＬ１を用いて定義されている場合はmvColとしてＬ０を選択し、colPUがＬ０を用いて定義されている場合はmvColとしてＬ１を選択する。colPUの選択とmvColの選択リストを反対にすることで、colPicから符号化対象ピクチャの方向に向いた参照画像に対する動きベクトルを用いた内挿予測を行える可能性が精度の高い予測ベクトルを算出できる。
【０１８７】
予測ブロックcolPUのＬ０の方のインター予測情報を選択する場合（Ｓ２５０２のＹＥＳ、Ｓ２５０３のＹＥＳ）、動きベクトルmvColがMvL0[xPCol][yPCol]と同じ値に設定され（Ｓ２５０４）、参照インデックスrefIdxColがRefIdxL0[xPCol][yPCol]と同じ値に設定され（Ｓ２５０５）、リストListColがＬ０に設定される（Ｓ２５０６）。
【０１８８】
予測ブロックcolPUのＬ１の方のインター予測情報を選択する場合（Ｓ２５０２のＮＯ、Ｓ２５０３のＮＯ）、動きベクトルmvColがMvL1[xPCol][yPCol]と同じ値に設定され（Ｓ２５０７）、参照インデックスrefIdxColがRefIdxL1[xPCol][yPCol]と同じ値に設定され（Ｓ２５０８）、リストListColがＬ１に設定される（Ｓ２５０９）。
【０１８９】
図２７に戻り、予測ブロックcolPUからインター予測情報が取得できたらavailableFlagLXColを１とする（図２７のＳ２４１４）。
【０１９０】
次に、図２４のフローチャートに戻り、availableFlagLXColが１の場合（図２４のＳ２１０４のＹＥＳ）、必要に応じてmvLXColをスケーリングする（図２４のＳ２１０５）。この動きベクトルmvLXColのスケーリング演算処理手順を図２９及び図３０を用いて説明する。
【０１９１】
図２９は図２４のステップＳ２１０５の動きベクトルのスケーリング演算処理手順を示すフローチャートである。
【０１９２】
異なる時間のピクチャcolPicのＰＯＣから、予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを算出する（Ｓ２６０１）。なお、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で前の場合、ピクチャ間距離ｔｄは正の値となり、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で後の場合、ピクチャ間距離ｔｄは負の値となる。
ｔｄ＝異なる時間のピクチャcolPicのＰＯＣ−予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣ
【０１９３】
現在の符号化／復号対象ピクチャのＰＯＣから現在の符号化／復号対象ピクチャのリストＬＸが参照する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを算出する（Ｓ２６０２）。なお、現在の符号化／復号対象ピクチャよりも現在の符号化／復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｂは正の値となり、現在の符号化／復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｂは負の値となる。
ｔｂ＝現在の符号化／復号対象ピクチャのＰＯＣ−現在の符号化／復号対象ピクチャの参照リストＬＸで参照する参照ピクチャのＰＯＣ
【０１９４】
続いて、ピクチャ間距離ｔｄとｔｂを比較し（Ｓ２６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（Ｓ２６０３のＹＥＳ）、本スケーリング演算処理を終了する。ピクチャ間距離ｔｄとｔｂが等しくない場合（Ｓ２６０３のＮＯ）、次式によりmvLXColにスケーリング係数ｔｂ／ｔｄを乗じることでスケーリング演算処理を行い（Ｓ２６０４）スケーリングされた動きベクトルmvLXColを得る。
mvLXCol＝ｔｂ／ｔｄ＊mvLXCol
【０１９５】
また、ステップＳ２６０４のスケーリング演算を整数精度の演算で行う場合の例を図３０に示す。図３０のステップＳ２６０５〜Ｓ２６０７の処理が、図２９のステップＳ２６０４の処理に相当する。
【０１９６】
まず、図２９のフローチャートと同様に、ピクチャ間距離ｔｄとピクチャ間距離ｔｂを算出する（Ｓ２６０１、Ｓ２６０２）。
【０１９７】
続いて、ピクチャ間距離ｔｄとｔｂを比較し（Ｓ２６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（Ｓ２６０３のＹＥＳ）、本スケーリング演算処理を終了する。ピクチャ間距離ｔｄとｔｂが等しくない場合（Ｓ２６０３のＮＯ）、次式により変数ｔｘを算出する（Ｓ２６０５）。
tx = ( 16384 + Abs( td / 2 ) ) / td
【０１９８】
続いて、次式によりスケーリング係数DistScaleFactorを算出する（Ｓ２６０６）。
DistScaleFactor = ( tb * tx + 32 ) >> 6
【０１９９】
続いて、次式により、スケーリングされた動きベクトルmvLXNを得る（Ｓ２６０７）。
mvLXN = ClipMv( Sign( DistScaleFactor * mvLXN ) * ( (Abs( DistScaleFactor * mvLXN ) + 127 ) >> 8 ) )
【０２００】
図１６のＳ３０４の予測動きベクトルの候補を予測動きベクトルリストに追加する手順について詳細に説明する。
【０２０１】
図１６のＳ３０１、Ｓ３０２、及びＳ３０３にて算出されたＬＸのそれぞれの予測動きベクトルの候補mvLXCol, mvLXA, mvLXBをＬＸの予測動きベクトルリストmvpListLXに追加する（Ｓ３０４）。本発明の実施の形態では、優先順位をつけて、優先順位の高いものからＬＸの予測動きベクトルリストmvpListLXに予測動きベクトルの候補mvLXCol, mvLXA, mvLXBを登録することで、優先順位の高い要素を予測動きベクトルリストの前方に配置する。図１６のＳ３０６で予測動きベクトルリストの中の要素数を制限する際に、予測動きベクトルリストの後方に配置された要素を予測動きベクトルリストから外すことで、優先順位の高い要素を残す。
【０２０２】
予測動きベクトルリストmvpListLXはリスト構造を成し、予測動きベクトルリスト内部の所在を示すインデックスiで管理され、インデックスiに対応する予測動きベクトルの候補を要素として格納する記憶領域が設けられている。インデックスiの数字は０から開始され、予測動きベクトルリストmvpListLXの記憶領域に、予測動きベクトルの候補が格納される。以降の処理では、予測動きベクトルリストmvpListLXに登録されたインデックスiの要素である予測動きベクトルの候補は、mvpListLX[i]で表す。
【０２０３】
次に、図１６のＳ３０４のＬＸの予測動きベクトルリストmvpListLXへのＬＸの予測動きベクトルの候補mvLXCol, mvLXA, mvLXBの登録処理方法について詳細に説明する。図３１は図１６のステップＳ３０４の予測動きベクトル候補登録処理手順を示すフローチャートである。
【０２０４】
まず、予測動きベクトルリストmvpListLXのインデックスiを０に設定する（Ｓ３１０１）。availableFlagLXColが１の場合（Ｓ３１０２のＹＥＳ）、予測動きベクトルリストmvpListLXのインデックスiに対応する位置にＬＸの予測動きベクトル候補mvLXColを登録し（Ｓ３１０３）、インデックスiに1を加算することで更新する（Ｓ３１０４）。
【０２０５】
続いて、availableFlagLXAが１の場合（Ｓ３１０５のＹＥＳ）、予測動きベクトルリストmvpListLXmvpListLXのインデックスiに対応する位置にＬＸの予測動きベクトル候補mvLXAを登録し（Ｓ３１０６）、インデックスiに1を加算することで更新する（Ｓ３１０７）。
【０２０６】
続いて、availableFlagLXBが１の場合（Ｓ３１０８のＹＥＳ）、予測動きベクトルリストmvpListLXのインデックスiに対応する位置にＬＸの予測動きベクトル候補mvLXBを登録し（Ｓ３１０９）、予測動きベクトルリストへの登録処理を終了する。
【０２０７】
予測動きベクトルリストの登録順は、１つの時間予測動きベクトル候補を登録した後に、２つの空間予測動きベクトル候補を登録する。つまり、時間予測動きベクトル候補の優先順位を空間予測動きベクトル候補より高く設定する。
【０２０８】
次に、図１６のＳ３０５の予測動きベクトルリスト中の冗長な予測動きベクトルの候補の削除方法について詳細に説明する。図３２は図１６のＳ３０５の予測動きベクトル冗長候補削除処理手順を示すフローチャートである。
【０２０９】
予測動きベクトル冗長候補削除部１２３及び２２３は予測動きベクトルリストmvpListLXに登録されている空間予測された動きベクトルの候補同士を比較し（Ｓ４１０１）、複数の動きベクトルの候補が同じ値を持っている場合に（Ｓ４１０２のＹＥＳ）、冗長な動きベクトルの候補と判断し、最も小さい順序、即ち最も小さいインデックスiの動きベクトルの候補を除いて冗長な動きベクトルの候補を取り除く（Ｓ４１０３）。ここで、時間予測動きベクトル候補と空間予測動きベクトル候補間については動きベクトルの候補同士の同一性比較を行わない。時間予測動きベクトル候補と空間予測動きベクトル候補の生成はアクセスする動き情報メモリが異なることや各処理量が異なることから並列処理により実装されることがある。時間予測動きベクトル候補と空間予測動きベクトル候補間の動きベクトル比較を行ってしまうと、並列処理を行う際に待ち時間が発生する。そのため、時間予測動きベクトル候補と空間予測動きベクトル候補の依存性が無いことが望ましいため、本発明では時間予測動きベクトル候補と空間予測動きベクトル候補間の動きベクトル冗長性比較は行わない。ここで、更なる処理量の削減のために、空間予測動きベクトル候補間の予測ベクトルが同一であるかどうかの判断も行わないことも可能である。なお、冗長な動きベクトルの候補を取り除いた後、予測動きベクトルリストmvpListLXの中は、削除された予測動きベクトルの候補の格納領域が空いている為、インデックスiが０を基準にして、インデックスiが小さい予測動きベクトルの候補の順で詰めていく（Ｓ４１０４）。例えば、インデックスiが１の予測動きベクトルの候補mvListLX[1]が削除され、インデックスiが０及び２の予測動きベクトルの候補mvListLX[0], mvListLX[2]が残った場合、インデックスiが２の予測動きベクトルの候補mvListLX[2]を新たにインデックスiが１の予測動きベクトルの候補mvListLX[1]に変更する。さらに、インデックスiが２の予測動きベクトルの候補mvListLX[2]は存在しないものと設定する。
【０２１０】
次に、図１６のＳ３０６の予測動きベクトルリスト中の動きベクトルの候補数の制限方法について詳細に説明する。図３３は図１６のＳ３０６の予測動きベクトル候補数制限処理手順を説明するフローチャートである。
【０２１１】
予測動きベクトル候補数制限部１２４及び予測動きベクトル候補数制限部２２４はＬＸの予測動きベクトルリストmvpListLXに登録されているＬＸの予測動きベクトル候補数numMVPCandLXを規定された最終候補数finalNumMVPCandに制限する。
【０２１２】
まず、ＬＸの予測動きベクトルリストmvpListLXに登録されている要素数をカウントし、ＬＸの予測動きベクトル候補数numMVPCandLXに設定する（Ｓ５１０１）。
【０２１３】
続いて、ＬＸの予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandよりも小さい場合（Ｓ５１０３のＹＥＳ）、ＬＸの予測動きベクトルリストmvpListLXのインデックスiが numMVPCandLXに対応する位置に(0, 0)の値を持つ動きベクトルを登録し（Ｓ５１０４）、numMVPCandLXに1を加算する（Ｓ５１０５）。numMVPCandLXとfinalNumMVPCandが同じ値の場合（Ｓ５１０５のＹＥＳ）、本制限処理を終了し、numMVPCandLXとfinalNumMVPCandが同じ値でない場合（Ｓ５１０５のＮＯ）、同じ値になるまで、ステップＳ５１０４とＳ５１０５の処理を繰り返す。すなわち、ＬＸの予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandに達するまで、(0, 0)の値を持つMVを登録する。このように重複して(0, 0)の値を持つMVを登録することにより、予測動きベクトルインデックスが０以上最終候補数finalNumMVPCand未満の範囲内でどのような値をとっても予測動きベクトルを確定することができる。
【０２１４】
一方、ＬＸの予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandよりも大きい場合（Ｓ５１０３のＮＯ、Ｓ５１０７のＹＥＳ）、ＬＸの予測動きベクトルリストmvpListLXのインデックスiがfinalNumMVPCand-1より大きいすべての予測動きベクトル候補を削除し（Ｓ５１０８）、numMVPCandLXにfinalNumMVPCandと同じ値を設定して（Ｓ５１０９）、本制限処理を終了する。
【０２１５】
ＬＸの予測動きベクトル候補数numMVPCandLXが最終候補数finalNumMVPCandと等しい場合（Ｓ５１０３のＮＯ、Ｓ５１０７のＮＯ）、制限処理を施さずに本制限処理を終了する。
【０２１６】
（実施の形態２）
第二の実施の形態では、復号側では予測動きベクトルリストを生成せずに、予測動きベクトルを特定する。予測動きベクトルリストを生成する場合、空間候補と時間候補のそれぞれでスケーリング演算を必要とするが、第二の実施の形態では予測動きベクトルリストを生成せずに予測動きベクトルを特定することで、スケーリング演算回数を抑制することが可能である。符号化装置の実施の形態及び復号装置のその他の実施の形態は実施の形態１と同一である。なお、予測動きベクトルは第一の実施の形態と同一の復号結果が得られる。
【０２１７】
図２２は実施の形態２における復号側の予測動きベクトル導出を示すフローチャートである。
【０２１８】
まず、予測動きベクトル候補のインデックスであるmvp_idx_LX及び時間候補が利用可能であるかどうかを示すavailableFlagLXColを取得する（Ｓ２２０１、Ｓ２２０２）。mvp_idx_LXとavailableFlagLXColの取得順序はとどちらでも良いので、Ｓ２２０１とＳ２２０２の順序を変更しても良い。次に、取得したmvp_idx_LXとavailableFlagLXColの値がmvp_idx_LX==0であり且つavailableFlagLXCol==1であるかどうかを判断する（Ｓ２２０３）。予測動きベクトルはmvLXCol, mvLXA, mvLXBの優先順序で登録（生成）されているため、mvp_idx_LX==0であり且つavailableFlagLXCol==1である場合には（Ｓ２２０３のＹＥＳ）、予測動きベクトル候補は時間予測動きベクトル候補であると特定できるため、異なる時間からの予測ブロックから動きベクトルを導出し、導出された動きベクトルを予測動きベクトルとする（Ｓ２２０４）。mvp_idx_LX==0であり且つavailableFlagLXCol==1でない場合には（Ｓ２２０３のＮＯ）、つまり、mvp_idx_LX=!0であるか、availableFlagLXCol==0の場合には、予測動きベクトル候補は空間予測動きベクトル候補であると特定できるため、空間の予測ブロックから動きベクトルを導出する。これは、本発明では予測ベクトル候補をmvLXCol, mvLXA, mvLXBの順序に登録し、時間予測動きベクトル候補の優先順位を一番高く設定しているため、時間予測動きベクトル候補が存在する場合には必ずmvp_idx_LX==0となり、mvp_idx_LX!=0の場合には、必ず空間予測動きベクトル候補と特定できること、及び、availableFlagLXCol==0の場合には、時間予測動きベクトル候補が存在しないことを示すことから、予測動きベクトルは空間予測動きベクトル候補と特定できることから、mvp_idx_LX及びavailableFlagLXColの値に応じて、予測動きベクトルが時間予測動きベクトル候補であるか、空間予測動きベクトル候補であるかを判断可能である。
【０２１９】
予測動きベクトルが空間予測動きベクトル候補であると判断した場合（Ｓ２２０３のＮＯ）、第一の実施の形態の図１６のＳ３０３同様に、左側の予測ブロックから予測ベクトル候補を導出し（Ｓ２２０５）、上側の予測ブロックから予測ベクトル候補を導出する（Ｓ２２０６）。続いて、左側の予測ブロックからの予測ベクトル候補と上側の予測ブロックからの予測ベクトルが同一動きベクトルでないかどうかを判断し、動きベクトルが同一である場合には、一方を削除する（Ｓ２２０７）。最後にmvp_idx_LXの値に基づいて予測動きベクトルを選択する（Ｓ２２０８）。ここで、更なる処理量の削減のために、空間予測動きベクトル候補間の予測ベクトルが同一であるかどうかの判断も行わずに、availableFlagLXAだけで空間予測動きベクトル候補を特定することも可能である。
【０２２０】
図２３に予測動きベクトルが空間予測動きベクトル候補であると判断した場合（図２２のＳ２２０３のＮＯ）の予測動きベクトル選択（図２２のＳ２２０８）のパターンを示す。mvp_idx_LX==0であり且つavailableFlagLXCol==0の場合には空間候補の１番目を選択し、mvp_idx_LX==1であり且つavailableFlagLXCol==1の場合には空間候補の１番目を選択し、mvp_idx_LX==1であり且つavailableFlagLXCol==0の場合には空間候補の２番目を選択する。また、各条件でそれぞれ空間予測動きベクトル候補が存在しない場合には予測動きベクトルを(0, 0)とする。
【０２２１】
第二の実施の形態のように、予測動きベクトルリストを生成せずに予測動きベクトルを特定することで、よって、第一の実施の形態で復号する場合と同一の予測ベクトルを得られる上、以下の効果がある。
【０２２２】
mvp_idx_LX及びavailableFlagLXColの値から予測動きベクトルが時間予測動きベクトル候補であるか空間予測動きベクトル候補であるか判断可能なため、時間予測動きベクトル候補の予測ベクトル導出処理と空間予測動きベクトル候補の予測ベクトル導出処理のどちらか一方のみ実行すればよいため、時間予測動きベクトル候補と空間予測動きベクトル候補の両方を導出する場合と比較して、復号処理量が約半分になる。そのためソフトウェアにおいては実行速度が速くなり、ハードウェアにおいては消費電力が削減できる。
【０２２３】
また、予測動きベクトルリストを生成する場合、時間予測動きベクトル候補及び空間予測動きベクトル候補のそれぞれで予測動きベクトルのスケーリング演算が必要な場合において、第一の実施の形態では、時間予測動きベクトル候補導出に１回、空間予測動きベクトル候補導出に１回、スケーリング演算が必要であったが、第二の実施の形態では、時間予測動きベクトル候補の予測ベクトル導出処理と空間予測動きベクトル候補の予測ベクトル導出処理のどちらかを選択して実行するため、復号側ではスケーリング演算を１回のみ行うことで予測動きベクトルを導出可能である。そのため、特にハードウェアで除算が必要となるスケーリング回路を、時間予測動きベクトル候補導出用と空間予測動きベクトル候補導出用で共用可能になるため、回路規模を削減できる。
【０２２４】
さらに、本発明の第一の実施の形態と第二の実施の形態の復号結果は同一であるため、復号側でアーキテクチャの選択が可能となる。つまり、カムコーダなど符号化装置と復号装置が一体となっているシステムなど、復号側と符号化側で同一の構成にしたい場合は、第一の実施の形態のように予測動きベクトルのリストを生成して予測動きベクトルを特定すれば良い。一方、復号側の処理量を削減することのみに注力する場合は、第二の実施の形態のように、予測動きベクトルのリストを生成せずに時間候補であるか空間候補であるかを特定した後、空間候補導出又は時間候補導出の一方のみを動作させ予測動きベクトルを特定すればよい。
【０２２５】
このような本発明の効果をもたらす実施の形態のポイントは以下の２点である。
【０２２６】
１．時間予測動きベクトル候補（候補が１つ）を空間予測動きベクトル候補（候補が２つ）より優先順位を高く設定すること。
【０２２７】
２．予測動きベクトルが同一である場合の冗長候補削除処理を時間予測動きベクトル候補と空間予測動きベクトル候補間では行わないこと。（空間予測動きベクトル候補間のみ冗長候補削除処理を許可する。）
【０２２８】
つまり、単一の予測動きベクトル候補を持ち時間予測動きベクトル候補利用可能フラグavailableFlagLXColによって予測動きベクトル候補が存在するかどうかを一意に決定できる時間予測動きベクトル候補の優先順位を高く設定し、複数の予測動きベクトル候補を持ち予測動きベクトル候補の数が変化する空間予測動きベクトルの優先順位を低く設定して予測動きベクトルを予測動きベクトルのリストに登録することが特徴である。空間予測動きベクトル候補間では同一性判定により、冗長な候補が削除されて候補数が削減されるため、予測動きベクトル候補リスト上では優先順位を低くして下位に登録する。一方、時間予測動きベクトル候補は、空間予測動きベクトル候補との間では同一性判定がされないため、時間予測動きベクトル候補については、予測動きベクトル候補リスト上では優先順位を高くして上位に登録する。これにより、空間予測動きベクトルと時間予測動きベクトルをリスト上で分離することが可能になり、動きベクトル予測において空間方向と時間方向の分離性を高め、処理の効率化や回路規模の削減を図ることができる。
【０２２９】
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０２３０】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０２３１】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０２３２】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０２３３】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０２３４】
１０１  画像メモリ、  １０２  動きベクトル検出部、  １０３  差分動きベクトル算出部、  １０４  インター予測情報推定部、  １０５  動き補償予測部、  １０６  予測方法決定部、  １０７  残差信号生成部、  １０８  直交変換・量子化部、  １０９  第１の符号化ビット列生成部、  １１０  第２の符号化ビット列生成部、  １１１  多重化部、  １１２  逆量子化・逆直交変換部、  １１３  復号画像信号重畳部、  １１４  符号化情報格納メモリ、  １１５  復号画像メモリ、  １２１  予測動きベクトル候補生成部、  １２２  予測動きベクトル候補登録部、  １２３  予測動きベクトル冗長候補削除部、  １２４  予測動きベクトル候補数制限部、  １２５  予測動きベクトル候補符号量算出部、  １２６  予測動きベクトル選択部、  １２７  動きベクトル減算部、  ２０１  分離部、  ２０２  第１符号化ビット列復号部、  ２０３  第２符号化ビット列復号部、  ２０４  動きベクトル算出部、  ２０５  インター予測情報推定部、  ２０６  動き補償予測部、  ２０７  逆量子化・逆直交変換部、  ２０８  復号画像信号重畳部、  ２０９  符号化情報格納メモリ、  ２１０  復号画像メモリ、  ２２１  予測動きベクトル候補生成部、  ２２２  予測動きベクトル候補登録部、  ２２３  予測動きベクトル冗長候補削除部、  ２２４  予測動きベクトル候補数制限部、  ２２５  予測動きベクトル選択部、  ２２６  動きベクトル加算部。
【図１】
0005617834.tif 000002
【図２】
0005617834.tif 000003
【図３】
0005617834.tif 000004
【図４】
0005617834.tif 000005
【図５】
0005617834.tif 000006
【図６】
0005617834.tif 000007
【図７】
0005617834.tif 000008
【図８】
0005617834.tif 000009
【図９】
0005617834.tif 000010
【図１０】
0005617834.tif 000011
【図１１】
0005617834.tif 000012
【図１２】
0005617834.tif 000013
【図１３】
0005617834.tif 000014
【図１４】
0005617834.tif 000015
【図１５】
0005617834.tif 000016
【図１６】
0005617834.tif 000017
【図１７】
0005617834.tif 000018
【図１８】
0005617834.tif 000019
【図１９】
0005617834.tif 000020
【図２０】
0005617834.tif 000021
【図２１】
0005617834.tif 000022
【図２２】
0005617834.tif 000023
【図２３】
0005617834.tif 000024
【図２４】
0005617834.tif 000025
【図２５】
0005617834.tif 000026
【図２６】
0005617834.tif 000027
【図２７】
0005617834.tif 000028
【図２８】
0005617834.tif 000029
【図２９】
0005617834.tif 000030
【図３０】
0005617834.tif 000031
【図３１】
0005617834.tif 000032
【図３２】
0005617834.tif 000033
【図３３】
0005617834.tif 000034
【図３４】
0005617834.tif 000035