(57)【要約】【課題】所定のブロック単位に最適な符号化モードを選択することができるとともに、最適な符号化モードとしてマージモードを選択することができるようにして、符号量を削減する。【解決手段】符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成し、その動きパラメータを示すインデックス情報を可変長符号化する。【選択図】図１
2012186762.tif 000002
【特許請求の範囲】
【請求項１】
予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記符号化制御手段により決定された符号化モードで、上記ブロック分割手段により分割された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により決定された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備えるとともに、上記符号化制御手段により決定される符号化モードには、１以上の符号化済みブロックから動き補償に用いる動きパラメータを選択し、上記動きパラメータを用いて動き補償予測処理を実施して予測画像を生成するモードを備え、
上記動き補償予測手段は、上記符号化制御手段により決定された符号化モードが上記動きパラメータを選択するモードである場合、上記符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、上記動きパラメータを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成し、
上記可変長符号化手段は、上記動きパラメータを示すインデックス情報を可変長符号化して、上記インデックス情報の符号化データを上記ビットストリームに多重化することを特徴とする動画像符号化装置。
【請求項２】
動き補償予測手段は、符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中に、同じ動きパラメータが重複している場合、上記符号化ブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、重複している動きパラメータを除外することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードで、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成し、上記差分画像と上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備えるとともに、符号化モードには、１以上の符号化済みブロックから動き補償に用いる動きパラメータを選択し、上記動きパラメータを用いて動き補償予測処理を実施して予測画像を生成するモードを備え、
上記動き補償予測手段は、上記可変長復号手段により可変長復号された符号化モードが上記動きパラメータを選択するモードである場合、上記符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、上記可変長復号手段により可変長復号されたインデックス情報が示す動きパラメータを選択し、上記動きパラメータを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成することを特徴とする動画像復号装置。
【請求項４】
動き補償予測手段は、符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータの中に、同じ動きパラメータが重複している場合、上記符号化ブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、重複している動きパラメータを除外することを特徴とする請求項３記載の動画像復号装置。
【請求項５】
符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御処理ステップと、ブロック分割手段が、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、動き補償予測手段が、上記符号化制御処理ステップで決定された符号化モードで、上記ブロック分割処理ステップで分割された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、画像圧縮手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記動き補償予測処理ステップで生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで決定された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備えるとともに、１以上の符号化済みブロックから動き補償に用いる動きパラメータを選択し、上記動きパラメータを用いて動き補償予測処理を実施して予測画像を生成するモードを備え、
上記動き補償予測処理ステップでは、上記符号化制御処理ステップで決定された符号化モードが上記動きパラメータを選択するモードである場合である場合、上記符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、上記動きパラメータを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成し、
上記可変長符号化処理ステップでは、上記動きパラメータを示すインデックス情報を可変長符号化して、上記インデックス情報の符号化データを上記ビットストリームに多重化することを特徴とする動画像符号化方法。
【請求項６】
可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号処理ステップと、動き補償予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードで、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、復号画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成し、上記差分画像と上記動き補償予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備えるとともに、１以上の符号化済みブロックから動き補償に用いる動きパラメータを選択し、上記動きパラメータを用いて動き補償予測処理を実施して予測画像を生成するモードを備え、
上記動き補償予測処理ステップでは、上記可変長復号処理ステップで可変長復号された符号化モードが上記１以上の符号化済みブロックから動き補償に用いる動きパラメータを選択するモードである場合、上記符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、上記可変長復号処理ステップで可変長復号されたインデックス情報が示す動きパラメータを選択し、上記動きパラメータを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成することを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いられる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法に関するものである。
【背景技術】
【０００２】
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ  Ｈ．２６ｘ」などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。
動画像符号化装置及び動画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、１枚のピクチャのみを参照して、画面間予測符号化を行うものをＰピクチャと称し、同時に２枚のピクチャを参照して、画面間予測符号化を行うものをＢピクチャと称する。
【０００３】
国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０｜ＩＴＵ−Ｔ  Ｈ．２６４）では、Ｂピクチャを符号化する際に、ダイレクトモードと呼ばれる符号化モードを選択することができる（例えば、非特許文献１を参照）。
即ち、符号化対象のマクロブロックには、動きベクトルの符号化データを持たず、符号化済みの他のピクチャのマクロブロックの動きベクトルや、周囲のマクロブロックの動きベクトルを用いる所定の演算処理で、符号化対象のマクロブロックの動きベクトルを生成する符号化モードを選択することができる。
【０００４】
このダイレクトモードには、時間ダイレクトモードと空間ダイレクトモードの２種類が存在する。
時間ダイレクトモードでは、符号化済みの他ピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象のピクチャとの時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックの動きベクトルを生成する。
空間ダイレクトモードでは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照し、それらの動きベクトルから符号化対象のマクロブロックの動きベクトルを生成する。
このダイレクトモードでは、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。
ただし、ダイレクトモードの中で、変換係数を符号化しないモードをスキップモードと称する。以下、ダイレクトモードと記載するときは、スキップモードも含まれるものとする。
【０００５】
ここで、図９は時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図９において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われているものとする。
【０００６】
例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（１）で求められる。
2012186762.tif 000003
【０００７】
図１０は空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１０において、ｃｕｒｒｅｎｔＭＢは、符号化対象のマクロブロックを表している。
このとき、符号化対象のマクロブロックの左横の符号化済マクロブロックＡの動きベクトルをＭＶａ、符号化対象のマクロブロックの上の符号化済マクロブロックＢの動きベクトルをＭＶｂ、符号化対象のマクロブロックの右上の符号化済マクロブロックＣの動きベクトルをＭＶｃとすると、下記の式（２）に示すように、これらの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃのメディアン（中央値）を求めることにより、符号化対象のマクロブロックの動きベクトルＭＶを算出することができる。
ＭＶ＝ｍｅｄｉａｎ（ＭＶａ、ＭＶｂ、ＭＶｃ）            （２）
空間ダイレクトモードでは、前方及び後方のそれぞれについて動きベクトルを求めるが、どちらも上記の方法を用いて求めることが可能である。
【０００８】
なお、予測画像の生成に用いる参照画像は、参照に用いるベクトル毎に、参照画像リストして管理されており、２つのベクトルを用いる場合、各参照画像リストはリスト０、リスト１と称される。
参照画像リストに対して時間的に近いものから順番に格納され、通常はリスト０が前方向の参照画像を示し、リスト１が後方向の参照画像を示している。ただし、リスト１が前方向の参照画像を示し、リスト０が後方向の参照画像を示していてもよいし、リスト０とリスト１の双方が、前方向と後方向の参照画像を示していてもよい。また、並び順も時間的に近いものから並べる必要はない。
例えば、以下の非特許文献１には、参照画像リストをスライス毎に並び替えることが可能であることが記載されている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の画像符号化装置は以上のように構成されているので、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を参照すれば、スライス単位で、時間ダイレクトモードと空間ダイレクトモードを切り替えることができる。しかし、マクロブロック単位では、時間ダイレクトモードと空間ダイレクトモードを切り替えることができない。また、マージモード（符号化ブロックの周囲に存在している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択するモード）を選択することもできない。このため、マクロブロック単位では、必ずしも最適な符号化モードで、動き補償予測処理を実施することができず、符号量が増加してしまうなどの課題があった。
【００１１】
この発明は上記のような課題を解決するためになされたもので、所定のブロック単位に最適な符号化モードを選択することができるとともに、最適な符号化モードとしてマージモードを選択することができるようにして、符号量を削減することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、上記の動画像符号化装置に適用することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１２】
この発明に係る動画像符号化装置は、予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、符号化ブロックを階層的に分割するブロック分割手段と、符号化制御手段により決定された符号化モードで、ブロック分割手段により分割された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、ブロック分割手段により分割された符号化ブロックと動き補償予測手段により生成された予測画像との差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ及び符号化制御手段により決定された符号化モードを可変長符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備えるとともに、符号化制御手段により決定される符号化モードには、１以上の符号化済みブロックから動き補償に用いる動きパラメータを選択し、上記動きパラメータを用いて動き補償予測処理を実施して予測画像を生成するモードを備え、動き補償予測手段が、符号化制御手段により決定された符号化モードが上記動きパラメータを選択するモードである場合、符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成し、可変長符号化手段が、その動きパラメータを示すインデックス情報を可変長符号化して、そのインデックス情報の符号化データをビットストリームに多重化するようにしたものである。
【発明の効果】
【００１３】
この発明によれば、予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、符号化ブロックを階層的に分割するブロック分割手段と、符号化制御手段により決定された符号化モードで、ブロック分割手段により分割された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、ブロック分割手段により分割された符号化ブロックと動き補償予測手段により生成された予測画像との差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ及び符号化制御手段により決定された符号化モードを可変長符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備えるとともに、符号化制御手段により決定される符号化モードには、１以上の符号化済みブロックから動き補償に用いる動きパラメータを選択し、上記動きパラメータを用いて動き補償予測処理を実施して予測画像を生成するモードを備え、動き補償予測手段が、符号化制御手段により決定された符号化モードが上記動きパラメータを選択するモードである場合、符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成し、可変長符号化手段が、その動きパラメータを示すインデックス情報を可変長符号化して、そのインデックス情報の符号化データをビットストリームに多重化するように構成したので、所定のブロック単位に最適な符号化モードを選択することができるとともに、最適な符号化モードとしてマージモードを選択することができるようになり、その結果として、符号量を削減することができる効果がある。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の動き補償予測部５を示す構成図である。
【図３】この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【図４】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図５】この発明の実施の形態１による動画像復号装置の動き補償予測部５４を示す構成図である。
【図６】この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【図７】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図８】（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示す説明図である。
【図９】時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
【図１０】空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
【図１１】メディアン予測の候補Ａ１−Ａｎ、Ｂ１−Ｂｎ、Ｃ，Ｄ，Ｅから空間ダイレクトベクトルを生成する方法を示す模式図である。
【図１２】時間方向の距離に応じてスケーリングを行うことで、空間ダイレクトベクトルを生成する方法を示す模式図である。
【図１３】ダイレクトベクトル生成部２３で選択できるベクトル候補とインデックス例を示す説明図である。
【図１４】動きパラメータ候補格納部１４により格納されている動きパラメータ（マージモード生成部２４で選択可能な動きパラメータの候補）とインデックス例を示す説明図である。
【図１５】符号化ブロックＢnのサイズがＬn＝ｋＭnとなる分割例を示す説明図である。
【図１６】（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）となる分割例を示す説明図である。
【図１７】選択可能な分割例を示す説明図である。
【図１８】変換ブロックサイズ単位が階層構造になっている例を示す説明図である。
【図１９】片方向予測で得られたベクトルＭＶ＿ｔを用いて、もう一方のベクトル−ＭＶ＿ｔを生成している例を示す説明図である。
【図２０】この発明の実施の形態２による動画像符号化装置の動き補償予測部５内のマージモード生成部２４を示す構成図である。
【図２１】重複している動きベクトルを１つだけ残して削除している例を示す説明図である。
【図２２】選択候補となるセットの切り替え例を示す説明図である。
【図２３】符号化ブロックの周囲に位置している符号化済みブロックのマージインデックスを参照して、重複している動きパラメータを削除している例を示す説明図である。
【図２４】符号化モードがパーシャルマージモードである場合の符号化対象の選択を示す説明図である。
【図２５】符号化モードがパーシャルマージモードである場合の符号化対象の選択を示す説明図である。
【図２６】符号化モードがパーシャルマージモードである場合のマージモード生成部２４，６３のマージ候補決定部３１の処理内容を示すフローチャートである。
【図２７】Ｎ×Ｎ分割の場合のマージモード生成部２４，６３のマージ候補決定部３１の処理内容を示すフローチャートである。
【図２８】可変長符号化部１３により生成されるビットストリームを示す説明図である。
【図２９】選択可能な動きベクトルの候補をパーティションブロックサイズ毎に決定している例を示す説明図である。
【図３０】ブロックのパーティション分割に応じて候補を切り替える例を示す説明図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
この実施の形態１では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。
【００１６】
この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００１７】
符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。
【００１８】
この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００１９】
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１は動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード（ダイレクトモードやマージモードのインター符号化モードを含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部１は符号化制御手段を構成している。
【００２０】
ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
【００２１】
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、符号化制御部１から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
【００２２】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりダイレクトモードのインター符号化モードが選択された場合、当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
また、動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりマージモードのインター符号化モードが選択された場合、動きパラメータ候補格納部１４により格納されている動きパラメータ（動きベクトル、参照ピクチャのインデックス、予測方向）、即ち、当該符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。当該符号化ブロックに対する動き補償予測処理で用いた動きパラメータは動きパラメータ候補格納部１４に格納する。
【００２３】
また、動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりダイレクトモード及びマージモード以外のインター符号化モードが選択された場合、当該符号化ブロックと動き補償予測フレームメモリ１２に格納されている参照画像から動きベクトルを探索し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ３及び動き補償予測部５から動き補償予測手段が構成されている。
【００２４】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
なお、減算部６及び変換・量子化部７から画像圧縮手段が構成されている。
【００２５】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
【００２６】
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２７】
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２８】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（ダイレクトベクトル又は動きパラメータを示すインデックス情報、あるいは、動きベクトルを含む）を可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
動きパラメータ候補格納部１４は符号化ブロックに対する動き補償予測処理で用いることが可能な動きパラメータの選択候補として、当該符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータを格納するＲＡＭなどの記録媒体である。
【００２９】
図２はこの発明の実施の形態１による動画像符号化装置の動き補償予測部５を示す構成図である。
図２において、切替スイッチ２１は符号化制御部１により選択された符号化モードがダイレクトモード及びマージモード以外のインター符号化モードである場合、ブロック分割部２により分割された符号化ブロックを動きベクトル探索部２２に出力し、その符号化モードがダイレクトモードのインター符号化モードである場合、ブロック分割部２により分割された符号化ブロックをダイレクトベクトル生成部２３に出力し、その符号化モードがマージモードのインター符号化モードである場合、ブロック分割部２により分割された符号化ブロックをマージモード生成部２４に出力する処理を実施する。
なお、ダイレクトベクトル生成部２３では、ダイレクトベクトルを生成する際に、ブロック分割部２により分割された符号化ブロックを用いないので、その符号化ブロックをダイレクトベクトル生成部２３に出力しないようにしてもよい。
【００３０】
動きベクトル探索部２２は切替スイッチ２１から出力された符号化ブロックと動き補償予測フレームメモリ１２に格納されている参照画像を参照しながら、インター符号化モードで最適な動きベクトルを探索し、その動きベクトルを動き補償処理部２５に出力する処理を実施する。
ダイレクトベクトル生成部２３は当該符号化ブロックの周囲に位置している１以上の符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択する処理を実施する。
【００３１】
マージモード生成部２４は動きパラメータ候補格納部１４により格納されている各々の動きパラメータ（動きベクトル、参照ピクチャのインデックス、予測方向）を用いて予測画像を生成し、各々の予測画像と原画像間の歪と、当該予測画像の生成に用いた動きパラメータを示すインデックス情報の符号量とからなるコストを算出し、最もコストが小さくなる動きパラメータを動き補償処理部２５に出力する処理を実施する。
【００３２】
動き補償処理部２５は動きベクトル探索部２２により探索された動きベクトル、ダイレクトベクトル生成部２３により選択されたダイレクトベクトル又はマージモード生成部２４から出力された動きパラメータと、動き補償予測フレームメモリ１２に格納されている１フレーム以上の参照画像とを用いて、符号化制御部１から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する処理を実施する。
なお、動き補償処理部２５は、動き補償予測処理を実施する際に用いたインター予測パラメータを可変長符号化部１３に出力する。符号化制御部１により選択された符号化モードがダイレクトモード及びマージモード以外のインター符号化モードである場合、動きベクトル探索部２２により探索された動きベクトルを当該インター予測パラメータに含めて可変長符号化部１３に出力する。
【００３３】
また、符号化制御部１により選択された符号化モードがマージモードのインター符号化モードである場合、マージモード生成部２４から出力された動きパラメータを示すインデックス情報を当該インター予測パラメータに含めて可変長符号化部１３に出力する。
また、符号化制御部１により選択された符号化モードがダイレクトモードのインター符号化モードである場合、ダイレクトベクトル生成部２３から出力されたダイレクトベクトルを示すインデックス情報を当該インター予測パラメータに含めて可変長符号化部１３に出力する。ただし、動画像復号装置側でも、動画像符号化装置と同様にして、ダイレクトベクトルを生成する場合には、ダイレクトベクトル生成部２３から出力されたダイレクトベクトルを示すインデックス情報を当該インター予測パラメータには含めない。
【００３４】
図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図３はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【００３５】
図４はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図４において、可変長復号部５１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（ダイレクトベクトル又は動きパラメータを示すインデックス情報、あるいは、動きベクトルを含む）を可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部５５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ５２に出力する処理を実施する。なお、可変長復号部５１は可変長復号手段を構成している。
【００３６】
切替スイッチ５２は可変長復号部５１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する処理を実施する。
イントラ予測部５３は切替スイッチ５２から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
【００３７】
動き補償予測部５４は可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルの中から、切替スイッチ５２から出力されたインター予測パラメータに含まれているインデックス情報が示すダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
動画像符号化装置において、ダイレクトベクトルを示すインデックス情報の符号化データがビットストリームに多重化されない場合には、動画像符号化装置の動き補償予測部５と同様に、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
【００３８】
また、動き補償予測部５４は可変長復号部５１から出力された符号化ブロックに係る符号化モードがマージモードのインター符号化モードである場合、動きパラメータ候補格納部６０により格納されている動きパラメータ（動きベクトル、参照ピクチャのインデックス、予測方向）、即ち、当該符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、切替スイッチ５２から出力されたインター予測パラメータに含まれているインデックス情報が示す動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。当該符号化ブロックに対する動き補償予測処理で用いた動きパラメータは動きパラメータ候補格納部６０に格納する。
【００３９】
また、動き補償予測部５４は可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモード及びマージモード以外のインター符号化モードである場合、切替スイッチ５２から出力されたインター予測パラメータに含まれている動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ５２及び動き補償予測部５４から動き補償予測手段が構成されている。
【００４０】
逆量子化・逆変換部５５は可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
加算部５６は逆量子化・逆変換部５５から出力された復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。
なお、逆量子化・逆変換部５５及び加算部５６から復号画像生成手段が構成されている。
【００４１】
イントラ予測用メモリ５７はイントラ予測部５３により次回のイントラ予測処理で用いられる画像として、加算部５６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
ループフィルタ部５８は加算部５６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に出力する処理を実施する。
【００４２】
動き補償予測フレームメモリ５９は動き補償予測部５４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部５８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
動きパラメータ候補格納部６０は符号化ブロックに対する動き補償予測処理で用いることが可能な動きパラメータの選択候補として、当該符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータを格納するＲＡＭなどの記録媒体である。
【００４３】
図５はこの発明の実施の形態１による動画像復号装置の動き補償予測部５４を示す構成図である。
図５において、切替スイッチ６１は可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモード及びマージモード以外のインター符号化モードである場合、切替スイッチ５２から出力されたインター予測パラメータ（動きベクトルを含む）を動き補償処理部６４に出力し、その符号化モードがダイレクトモードのインター符号化モードである場合、切替スイッチ５２から出力されたインター予測パラメータ（ダイレクトベクトルを示すインデックス情報を含む）をダイレクトベクトル生成部６２に出力し、その符号化モードがマージモードのインター符号化モードである場合、切替スイッチ５２から出力されたインター予測パラメータ（動きパラメータを示すインデックス情報を含む）をマージモード生成部６３に出力する処理を実施する。
【００４４】
ダイレクトベクトル生成部６２は符号化ブロックの周囲に位置している１以上の復号済みブロックの動きベクトルの中から、切替スイッチ６１から出力されたインター予測パラメータに含まれているインデックス情報が示す動きベクトルをダイレクトベクトルとして選択し、そのダイレクトベクトルとインター予測パラメータを動き補償処理部６４に出力する処理を実施する。
ただし、動画像符号化装置において、ダイレクトベクトルを示すインデックス情報の符号化データがビットストリームに多重化されない場合には、動画像符号化装置の動き補償予測部５と同様に、当該符号化ブロックの周囲に位置している１以上の復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルとインター予測パラメータを動き補償処理部６４に出力する処理を実施する。
【００４５】
マージモード生成部６３は動きパラメータ候補格納部６０により格納されている１以上の動きパラメータ（当該符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータ）の中から、切替スイッチ６１から出力されたインター予測パラメータに含まれているインデックス情報が示す動きパラメータを選択し、その動きパラメータとインター予測パラメータを動き補償処理部６４に出力する処理を実施する。
【００４６】
動き補償処理部６４は切替スイッチ６１から出力されたインター予測パラメータに含まれている動きベクトル、ダイレクトベクトル生成部６２により選択されたダイレクトベクトル又はマージモード生成部６３により選択された動きパラメータと、動き補償予測フレームメモリ５９に格納されている１フレームの参照画像とを用いて、インター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する処理を実施する。
【００４７】
図４では、動画像復号装置の構成要素である可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図６はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【００４８】
次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図３のステップＳＴ１）。
【００４９】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００５０】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード（ダイレクトモード及びマージモードのインター符号化モードを含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００５１】
ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
ここで、図７は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図７の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ0であり、輝度成分で（Ｌ0，Ｍ0）のサイズを有している。
また、図７の例では、最大サイズの符号化ブロックＢ0を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢnを得ている。
【００５２】
深さｎにおいては、符号化ブロックＢnはサイズ（Ｌn，Ｍn）の画像領域である。
ただし、ＬnとＭnは同じであってもよいし異なっていてもよいが、図７の例ではＬn＝Ｍnのケースを示している。
以降、符号化ブロックＢnのサイズは、符号化ブロックＢnの輝度成分におけるサイズ（Ｌn，Ｍn）と定義する。
【００５３】
ブロック分割部２は、４分木分割を行うため、常に（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌn，Ｍn）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌn／２，Ｍn／２）である。
以降、第ｎ階層の符号化ブロックＢnで選択しうる符号化モードをｍ（Ｂn）と記する。
【００５４】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂn）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂn）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢnに対して最も符号化効率がよい符号化モードを選択する。
【００５５】
符号化ブロックＢnは、図７に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢnに属するパーティションをＰin（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
符号化ブロックＢnに属するパーティションＰinの分割がどのようになされているかは符号化モードｍ（Ｂn）の中に情報として含まれる。
パーティションＰinは、すべて符号化モードｍ（Ｂn）に従って予測処理が行われるが、パーティションＰin毎に、個別の予測パラメータを選択することができる。
【００５６】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図８に示すようなブロック分割状態を生成して、符号化ブロックＢnを特定する。
図８（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図８（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示している。
図８（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂn）が割り当てられたノード（符号化ブロックＢn）を示している。
【００５７】
切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢnのパーティションＰinに対して最適な符号化モードｍ（Ｂn）を選択すると、その符号化モードｍ（Ｂn）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢnのパーティションＰinをイントラ予測部４に出力する。
一方、その符号化モードｍ（Ｂn）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢnのパーティションＰinを動き補償予測部５に出力する。
【００５８】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢnのパーティションＰinを受けると、符号化制御部１により選択された符号化モードｍ（Ｂn）に対応するイントラ予測パラメータを用いて、その符号化ブロックＢnのパーティションＰinに対するイントラ予測処理を実施して、イントラ予測画像Ｐinを生成する（ステップＳＴ４）。
イントラ予測部４は、イントラ予測画像Ｐinを生成すると、そのイントラ予測画像Ｐinを減算部６及び加算部９に出力するが、図４の動画像復号装置でも同じイントラ予測画像Ｐinを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
この実施の形態１におけるイントラ予測処理は、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６−１０）に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、動画像符号化装置側と動画像復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含む必要がある。
【００５９】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢnのパーティションＰinを受けると、符号化制御部１により選択された符号化モードｍ（Ｂn）で、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施して、インター予測画像Ｐinを生成する（ステップＳＴ５）。
以下、動き補償予測部５の処理内容を詳細に説明する。
【００６０】
動き補償予測部５の切替スイッチ２１は、符号化制御部１により選択された符号化モードｍ（Ｂn）がダイレクトモード及びマージモード以外のインター符号化モードである場合、ブロック分割部２により分割された符号化ブロックＢnのパーティションＰinを動きベクトル探索部２２に出力する。
一方、符号化モードｍ（Ｂn）がダイレクトモードのインター符号化モードである場合、ブロック分割部２により分割された符号化ブロックＢnのパーティションＰinをダイレクトベクトル生成部２３に出力し、符号化モードｍ（Ｂn）がマージモードのインター符号化モードである場合、ブロック分割部２により分割された符号化ブロックＢnのパーティションＰinをマージモード生成部２４に出力する。
ただし、ダイレクトベクトル生成部２３では、ダイレクトベクトルの生成に符号化ブロックＢnのパーティションＰinを用いないので、当該符号化モードｍ（Ｂn）がダイレクトモードのインター符号化モードであっても、符号化ブロックＢnのパーティションＰinをダイレクトベクトル生成部２３に出力しないようにしてもよい。
【００６１】
動き補償予測部５の動きベクトル探索部２２は、切替スイッチ２１から符号化ブロックＢnのパーティションＰinを受けると、そのパーティションＰinと動き補償予測フレームメモリ１２に格納されている参照画像を参照しながら、インター符号化モードで最適な動きベクトルを探索し、その動きベクトルを動き補償処理部２５に出力する。
インター符号化モードで最適な動きベクトルを探索する処理自体は公知の技術であるため詳細な説明を省略する。
【００６２】
動き補償予測部５のダイレクトベクトル生成部２３は、符号化モードｍ（Ｂn）がダイレクトモードである場合、符号化ブロックＢnのパーティションＰin毎に、空間ダイレクトモードの空間ダイレクトベクトルと時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルのいずれか一方を動きベクトルとして動き補償処理部２５に出力する。
なお、符号化ブロックＢnに属するパーティションＰinの分割状態を示す情報は、上述したように、符号化モードｍ（Ｂn）の中に含まれているので、ダイレクトベクトル生成部２３は、符号化モードｍ（Ｂn）を参照することで、符号化ブロックＢnのパーティションＰinを特定することができる。
【００６３】
即ち、ダイレクトベクトル生成部２３は、図示せぬ動きベクトルメモリ又は内部メモリにより格納されている符号化済みブロックの動きベクトルの中から、符号化ブロックＢnのパーティションＰinの周囲に位置している符号化済みブロックの動きベクトルを読み出し、その動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成する。
また、ダイレクトベクトル生成部２３は、符号化済みブロックの動きベクトルの中から、符号化ブロックＢnが参照可能な符号化済みピクチャの動きベクトルであって、符号化ブロックＢnのパーティションＰinと空間的に同じ位置にあるブロックの動きベクトルを読み出し、その動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成する。
【００６４】
ここで、図９は時間ダイレクトモードで動きベクトル（時間ダイレクトベクトル）を生成する方法を示す模式図である。
例えば、ピクチャＢ２の中のブロックＭＢ１が符号化対象のパーティションＰinであり、ブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、ブロックＭＢ１と空間的に同じ位置にあるブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、ブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（３）で求められる。
2012186762.tif 000004
【００６５】
ダイレクトベクトル生成部２３は、動きベクトルＭＶＬ０，ＭＶＬ１を算出すると、その動きベクトルＭＶＬ０，ＭＶＬ１を時間ダイレクトモードの時間ダイレクトベクトルとする。
ただし、ダイレクトベクトル生成部２３における時間ダイレクトベクトルの生成方法は、図９に示すようなＨ．２６４方式を用いてもよいが、これに限るものではなく、他の方法を用いてもよい。
【００６６】
図１０は空間ダイレクトモードで動きベクトル（空間ダイレクトベクトル）を生成する方法を示す模式図である。
図１０において、ｃｕｒｒｅｎｔＭＢは、符号化対象のブロックであるパーティションＰinを表している。
このとき、符号化対象のブロックの左横の符号化済ブロックＡの動きベクトルをＭＶａ、符号化対象のブロックの上の符号化済ブロックＢの動きベクトルをＭＶｂ、符号化対象のブロックの右上の符号化済ブロックＣの動きベクトルをＭＶｃとすると、下記の式（４）に示すように、これらの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃのメディアン（中央値）を求めることにより、符号化対象のブロックの動きベクトルＭＶを算出することができる。
ＭＶ＝ｍｅｄｉａｎ（ＭＶａ、ＭＶｂ、ＭＶｃ）            （４）
【００６７】
空間ダイレクトモードでは、リスト０及びリスト１のそれぞれについて動きベクトルを求めるが、どちらも上記の方法を用いて求めることが可能である。
ダイレクトベクトル生成部２３は、上記のようにして、リスト０及びリスト１の動きベクトルＭＶを算出すると、リスト０及びリスト１の動きベクトルＭＶを空間ダイレクトモードとする。
ただし、ダイレクトベクトル生成部２３における空間ダイレクトベクトルの生成方法は、図１０に示すようなＨ．２６４方式を用いてもよいが、これに限るものではなく、他の方法を用いてもよい。
【００６８】
例えば、図１１に示すように、メディアン予測の候補として、Ａ１−Ａｎ、Ｂ１−Ｂｎから１つずつと、Ｃ，Ｄ，Ｅからの３つで、空間ダイレクトベクトルを生成するようにしてもよい。
また、空間ダイレクトベクトルの生成に用いるＭＶ候補が違うｒｅｆ＿Ｉｄｘの場合は、図１２に示すように、時間方向の距離に応じてスケーリングを行うようにしてもよい。
2012186762.tif 000005
ただし、ｓｃａｌｅｄ＿ＭＶはスケーリング後のベクトル、ＭＶはスケーリング前の動きベクトル、ｄ（ｘ）はｘまでの時間的な距離を示している。
また、Ｘｒは符号化対象のブロックが示す参照画像、Ｙｒはスケーリングの対象となるブロック位置Ａ−Ｄが示す参照画像を示している。
【００６９】
ダイレクトベクトル生成部２３は、上記のようにして、空間ダイレクトベクトルと時間ダイレクトベクトルを生成すると、空間ダイレクトベクトル又は時間ダイレクトベクトルのうち、参照画像間の相関が高くなる方のダイレクトベクトルを選択する。
具体的には、空間ダイレクトベクトルを用いて予測画像を生成し、その予測画像と原画像間の歪と、その空間ダイレクトベクトルを示すインデックス情報の符号量とからなるコストＲを算出する。
また、時間ダイレクトベクトルを用いて予測画像を生成し、その予測画像と原画像間の歪と、その時間ダイレクトベクトルを示すインデックス情報の符号量とからなるコストＲを算出する。
【００７０】
そして、双方のコストＲを比較し、空間ダイレクトベクトルに係るコストＲが、時間ダイレクトベクトルに係るコストＲより小さければ、空間ダイレクトベクトルを選択して動き補償処理部２５に出力する。一方、時間ダイレクトベクトルに係るコストＲが、空間ダイレクトベクトルに係るコストＲより小さければ、時間ダイレクトベクトルを選択して動き補償処理部２５に出力する。
2012186762.tif 000006
図１３はダイレクトベクトル生成部２３で選択できるベクトル候補とインデックス例を示している。
【００７１】
動き補償予測部５のマージモード生成部２４は、符号化モードｍ（Ｂn）がマージモードである場合、動きパラメータ候補格納部１４により格納されている各々の動きパラメータ（動きベクトル、参照ピクチャのインデックス、予測方向）を用いて予測画像を生成する。
図１４は動きパラメータ候補格納部１４により格納されている動きパラメータ（マージモード生成部２４で選択可能な動きパラメータの候補）とインデックス例を示す説明図である。
図１４の例では、４個の動きパラメータ（ｂｌｏｃｋ＿Ａ，ｂｌｏｃｋ＿Ｂ，ｂｌｏｃｋ＿Ｃ，ｔｅｍｐｏｒａｌの動きパラメータ）が格納されているので、４個の動きパラメータを用いて、４個の予測画像を生成する。
マージモードで予測画像を生成する場合、動きパラメータ内の動きベクトルだけでなく、動きパラメータ内の参照ピクチャインデックスが示す参照ピクチャを使用し、動きパラメータ内の予測方向を動き補償の予測方向に設定して予測画像を生成する。
【００７２】
マージモード生成部２４は、各々の動きパラメータを用いて予測画像を生成すると、各々の予測画像と原画像間の歪と、当該予測画像の生成に用いた動きパラメータを示すインデックス情報の符号量とからなるコストを算出し、最もコストが小さくなる動きパラメータを動き補償処理部２５に出力する処理を実施する。
コストの算出は、上記の式（６）を用いることが考えられる。
【００７３】
動き補償処理部２５は、符号化モードｍ（Ｂn）がダイレクトモード及びマージモードでないとき、動きベクトル探索部２２から動きベクトルを受けると、その動きベクトルと動き補償予測フレームメモリ１２に格納されている１フレームの参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施することで、インター予測画像Ｐinを生成する。
符号化モードｍ（Ｂn）がダイレクトモードであるとき、ダイレクトベクトル生成部２３からダイレクトベクトルを受けると、そのダイレクトベクトルと動き補償予測フレームメモリ１２に格納されている１フレームの参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施することで、インター予測画像Ｐinを生成する。
符号化モードｍ（Ｂn）がマージモードであるとき、マージモード生成部２４から動きパラメータを受けると、その動きパラメータと動き補償予測フレームメモリ１２に格納されている１フレームの参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施することで、インター予測画像Ｐinを生成する。
なお、符号化モードｍ（Ｂn）がマージモードである場合、マージモード生成部２４と同様に、動きパラメータ内の動きベクトルだけでなく、動きパラメータ内の参照ピクチャインデックスが示す参照ピクチャを使用し、動きパラメータ内の予測方向を動き補償の予測方向に設定してインター予測画像Ｐinを生成する。
【００７４】
このようにして、インター予測画像Ｐinを生成すると、そのインター予測画像Ｐinを減算部６及び加算部９に出力するが、図４の動画像復号装置でも同じインター予測画像Ｐinを生成できるようにするため、そのインター予測パラメータを可変長符号化部１３に出力する。インター予測画像の生成に用いられたインター予測パラメータには、下記に示す情報が含まれており、動画像復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部１３によってインター予測パラメータの符号化データがビットストリームに多重化される。
・  符号化ブロックＢn内のパーティション分割を記述するモード情報
・  各パーティションの動きベクトル、あるいは、ダイレクトベクトルを示すインデックス情報、あるいは、動きパラメータを示すインデックス情報
・  動き補償予測フレームメモリ１２内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報
・  複数の動きベクトル予測値候補がある場合に、いずれの動きベクトル予測値を選択して使用するかを示すインデックス情報
・  複数の動き補償内挿フィルタがある場合に、いずれのフィルタを選択して使用するかを示すインデックス情報
・  当該パーティションの動きベクトルが複数の画素精度（半画素、１／４画素、１／８画素など）を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
【００７５】
減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐin、インター予測画像Ｐin）を生成すると、ブロック分割部２により分割された符号化ブロックＢnのパーティションＰinから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐin、インター予測画像Ｐin）を減算することで差分画像を生成し、その差分画像を示す予測差分信号ｅinを変換・量子化部７に出力する（ステップＳＴ６）。
【００７６】
変換・量子化部７は、減算部６から差分画像を示す予測差分信号ｅinを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
【００７７】
逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号ｅinハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）として加算部９に出力する（ステップＳＴ８）。
【００７８】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号ｅinハットを受けると、その局所復号予測差分信号ｅinハットと、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐin、インター予測画像Ｐin）を示す予測信号を加算することで、局所復号パーティション画像Ｐinハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。
【００７９】
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢnに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。
【００８０】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータをエントロピー符号化する。
可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。
【００８１】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
ループフィルタ部１１によるフィルタリング処理は、加算部９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が出力された後に１画面分まとめて行ってもよい。
【００８２】
次に、図４の画像復号装置の処理内容を説明する。
可変長復号部５１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する（図６のステップＳＴ２１）。
可変長復号部５１は、図１の符号化制御部１と同様の手順で、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
【００８３】
ビットストリームに多重化されている最大サイズの符号化ブロックＢ0の符号化モードｍ（Ｂ0）には、最大サイズの符号化ブロックＢ0の分割状態を示す情報が含まれているので、可変長復号部５１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ0の符号化モードｍ（Ｂ0）を復号して、階層的に分割されている各々の符号化ブロックＢnを特定する（ステップＳＴ２３）。
可変長復号部５１は、各々の符号化ブロックＢnを特定すると、その符号化ブロックＢnの符号化モードｍ（Ｂn）を復号し、その符号化モードｍ（Ｂn）に属しているパーティションＰinの情報に基づいて、符号化ブロックＢnに属しているパーティションＰinを特定する。
可変長復号部５１は、符号化ブロックＢnに属しているパーティションＰinを特定すると、パーティションＰin毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを復号する（ステップＳＴ２４）。
【００８４】
切替スイッチ５２は、可変長復号部５１から符号化ブロックＢnに属しているパーティションＰinの符号化モードｍ（Ｂn）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力する。
一方、パーティションＰinの符号化モードｍ（Ｂn）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する。
イントラ予測部５３は、切替スイッチ５２からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックＢnのパーティションＰinに対するイントラ予測処理を実施して、イントラ予測画像Ｐinを生成する（ステップＳＴ２６）。
【００８５】
動き補償予測部５４は、切替スイッチ５２からインター予測パラメータを受けると、図１の動き補償予測部５と同様に、可変長復号部５１から出力された符号化モードｍ（Ｂn）で、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施して、インター予測画像Ｐinを生成する（ステップＳＴ２７）。
以下、動き補償予測部５４の処理内容を詳細に説明する。
【００８６】
動き補償予測部５４の切替スイッチ６１は、可変長復号部５１から出力された符号化モードｍ（Ｂn）がダイレクトモード及びマージモード以外のインター符号化モードであれば、切替スイッチ５２から出力されたインター予測パラメータ（動きベクトルを含む）を動き補償処理部６４に出力する。
また、その符号化モードｍ（Ｂn）がダイレクトモードのインター符号化モードであれば、切替スイッチ５２から出力されたインター予測パラメータ（ダイレクトベクトルを示すインデックス情報を含む）をダイレクトベクトル生成部６２に出力し、その符号化モードｍ（Ｂn）がマージモードのインター符号化モードであれば、切替スイッチ５２から出力されたインター予測パラメータ（動きパラメータを示すインデックス情報を含む）をマージモード生成部６３に出力する。
【００８７】
動き補償予測部５４のダイレクトベクトル生成部６２は、切替スイッチ６１からインター予測パラメータ（ダイレクトベクトルを示すインデックス情報を含む）を受けると、符号化ブロックの周囲に位置している１以上の復号済みブロックの動きベクトルの中から、そのインター予測パラメータに含まれているインデックス情報が示す動きベクトルをダイレクトベクトルとして選択し、そのダイレクトベクトルとインター予測パラメータを動き補償処理部６４に出力する。
ただし、図１の動画像符号化装置において、ダイレクトベクトルを示すインデックス情報の符号化データがビットストリームに多重化されない場合には、図１の動き補償予測部５と同様に、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルとインター予測パラメータを動き補償処理部６４に出力する。
【００８８】
動き補償予測部５４のマージモード生成部６３は、切替スイッチ６１からインター予測パラメータ（動きパラメータを示すインデックス情報を含む）を受けると、動きパラメータ候補格納部６０により格納されている１以上の動きパラメータ（当該符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータ）の中から、そのインター予測パラメータに含まれているインデックス情報が示す動きパラメータを選択し、その動きパラメータとインター予測パラメータを動き補償処理部６４に出力する。
【００８９】
動き補償予測部５４の動き補償処理部６４は、切替スイッチ６１からインター予測パラメータ（動きベクトルを含む）を受けると、そのインター予測パラメータに含まれている動きベクトルと動き補償予測フレームメモリ５９に格納されている１フレームの参照画像を用いて、そのインター予測パラメータに基づいて、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施することで、インター予測画像Ｐinを生成する。
また、ダイレクトベクトル生成部６２からダイレクトベクトルとインター予測パラメータを受けると、そのダイレクトベクトルと動き補償予測フレームメモリ５９に格納されている１フレームの参照画像を用いて、そのインター予測パラメータに基づいて、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施することで、インター予測画像Ｐinを生成する。
また、マージモード生成部６３から動きパラメータとインター予測パラメータを受けると、図２の動き補償処理部２５と同様に、その動きパラメータと動き補償予測フレームメモリ５９に格納されている１フレームの参照画像を用いて、そのインター予測パラメータに基づいて、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施することで、インター予測画像Ｐinを生成する。
【００９０】
逆量子化・逆変換部５５は、可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部５６に出力する（ステップＳＴ２８）。
【００９１】
加算部５６は、逆量子化・逆変換部５５から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ５７に格納するとともに、その復号画像信号をループフィルタ部５８に出力する（ステップＳＴ２９）。
【００９２】
ステップＳＴ２３〜ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢnに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
ループフィルタ部５８は、加算部５６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に格納する（ステップＳＴ３１）。
ループフィルタ部５８によるフィルタリング処理は、加算部５６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。
【００９３】
以上で明らかなように、この実施の形態１によれば、予測処理が実施される際の処理単位となる符号化ブロックが階層的に分割される際の上限の階層数を決定するとともに、各々の符号化ブロックの符号化方法を定める符号化モードを決定する符号化制御部１と、入力画像を所定のサイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、符号化ブロックを階層的に分割するブロック分割部２と、符号化制御部１により決定された符号化モードで、ブロック分割部２により分割された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測部５と、ブロック分割部２により分割された符号化ブロックと動き補償予測部５により生成された予測画像との差分画像を生成する減算部６と、減算部６により生成された差分画像の圧縮データを出力する変換・量子化部７と、変換・量子化部７から出力された圧縮データ及び符号化制御部１により決定された符号化モードを可変長符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化部１３とを備え、動き補償予測部５が、符号化制御部１により決定された符号化モードがマージモードである場合、符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成し、可変長符号化部１３が、その動きパラメータを示すインデックス情報を可変長符号化して、そのインデックス情報の符号化データをビットストリームに多重化するように構成したので、所定のブロック単位に最適な符号化モードを選択することができるとともに、最適な符号化モードとしてマージモードを選択することができるようになり、その結果として、符号量を削減することができる効果を奏する。
【００９４】
また、この実施の形態１によれば、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号部５１と、可変長復号部５１により可変長復号された符号化ブロックに係る符号化モードで、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測部５４と、可変長復号部５１により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する逆量子化・逆変換部５５と、逆量子化・逆変換部５５により生成された差分画像と動き補償予測部５４により生成された予測画像とを加算して復号画像を生成する加算部５６とを備え、動き補償予測部５４が、可変長復号部５１により可変長復号された符号化モードがマージモードである場合、符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、可変長復号部５１により可変長復号されたインデックス情報が示す動きパラメータを選択し、その動きパラメータを用いて、符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するよう  に構成したので、所定のブロック単位に最適な符号化モードを選択することができるとともに、最適な符号化モードとしてマージモードを選択することができるようになり、図１の動画像符号化装置に適用することができる効果を奏する。
【００９５】
なお、この実施の形態１では、選択可能な動きベクトル（ダイレクトモードでのダイレクトベクトル、マージモードでの動きパラメータ）が存在する場合を想定しているが、符号化ブロックの周囲に位置している符号化済みブロックがイントラ符号化を実施している場合などでは、動きベクトルが存在しない場合もある。
このような場合、当該符号化済みブロックのベクトルをゼロベクトルとする方法や、当該符号化済みブロックのベクトルを選択候補から除外する方法などが考えられる。
符号化済みブロックのベクトルをゼロベクトルとする場合、符号化効率を高めることができるが、選択候補が減らないため処理量が増加する。符号化済みブロックのベクトルを選択候補から除外する場合、処理量を減らすことができる。
【００９６】
また、この実施の形態１では、ダイレクトベクトルやマージモードに使用する予測ベクトルの生成について述べたが、その予測ベクトルは通常の動きベクトルの符号化に使用する予測ベクトルに使用してもよい。予測ベクトルに使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。
【００９７】
また、この実施の形態１では、選択可能な動きベクトル（ダイレクトモードでのダイレクトベクトル、マージモードでの動きパラメータ）の候補が固定であるものを示したが、ベクトルの候補をスライス単位で決定してもよい。
どのベクトルを候補とするかはスライスヘッダに多重することで、動画像復号装置側に伝える。
例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外し、逆にカメラが固定である映像では空間ベクトルの効果が大きいため選択候補に加えるなどの方法が考えられる。
【００９８】
この実施の形態１では、動きパラメータを示すインデックス情報の順序が固定であるものを示したが（図１４を参照）、インデックス情報の順序をスライス単位で変更するようにしてもよい。
スライス毎に選択される動きパラメータに偏りがある場合、選択される頻度が高い動きパラメータを示すインデックス情報に短い符号を割り当てるようにインデックス表を切り替えることで符号化効率を高めることができる。
切り替え情報の符号化は、個々のベクトルに対して、それぞれ順序を符号化するようにしてもよいし、複数のインデックスセットを用意し、どのセットを用いるかを示す情報を符号化するようにしてもよい。
また、デフォルト設定のみを決めておき、デフォルト設定とは違う設定を使用するか否かを示すフラグを用意し、そのフラグがオンであるときだけ、インデックスセットを更新して設定を切り替えるなどの方法も考えられる。
【００９９】
また、インデックス情報の順序をスライス単位で変更するものに限るものではなく、シーケンスやピクチャなどの上位レイヤの単位で変更するようにしてもよい。
また、マクロブロックや符号化ブロック毎に切り替えるようにしてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率の改善を図ることができる。
【０１００】
また、選択可能な動きベクトル（ダイレクトモードでのダイレクトベクトル、マージモードでの動きパラメータ）の候補は、パーティションブロックサイズ毎に一意に決定しておいてもよい。図２９は選択可能な動きベクトルの候補をパーティションブロックサイズ毎に決定している例を示す説明図である。
【０１０１】
一般的に、ブロックサイズが小さくなると動きの相関が弱くなるため、空間の動き情報候補を減らすことで画質を保ちつつインデックスの符号量を抑えることが可能となる。また、時間方向から得られる動き情報を用いているが、これは使用するメモリ量を削減するために、メモリに格納するデータサイズを圧縮してもよい。例えば最小ブロックサイズが4×4である場合、時間方向のベクトルは4×4単位で保持するのが通常であるが、これを４×４よりも大きな単位で保持することが考えられる。
【０１０２】
上記のように時間方向の動き情報を圧縮して保持しているとき、保持する単位よりも小さいブロックサイズで処理を行う場合、参照する位置が正しい位置を示さなくなるという問題がある。そのため、保持する単位よりも小さいブロックの場合の時間方向から得られる動き情報を使用しない、という処理を行ってもよい。精度の低いベクトルを候補から外すことで、処理量の削減とインデックス符号量の削減という効果がある。また、符号化ブロックのブロックサイズに応じてでもよいし、ブロックのパーティション分割に応じて候補を切り替えることも考えられる。図３０はブロックのパーティション分割に応じて候補を切り替える例を示す説明図である。
【０１０３】
この実施の形態１では、ダイレクトベクトル生成部２３で選択できるベクトル候補が５個である例を示したが（図１３を参照）、６個以上のベクトル候補を用意するようにしてもよい。例えば、時間ベクトルの近傍も選択候補に加えてもよい。
【０１０４】
この実施の形態１では、図７に示すように、符号化ブロックＢnのサイズがＬn＝Ｍnであるものを示したが、符号化ブロックＢnのサイズがＬn≠Ｍnであってもよい。
例えば、図１５に示すように、符号化ブロックＢnのサイズがＬn＝ｋＭnとなる場合が考えられる。
この場合、次の分割では、（Ｌn+1，Ｍn+1）＝（Ｌn，Ｍn）となり、以降の分割は、図７と同様の分割を行ってもよいし、（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）のように分割を行ってもよい（図１６を参照）。
また、図１７に示すように、図１５の分割又は図１６の分割のいずれかを選択できるようにしてもよい。
選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献１のＨ．２６４のような１６×１６を１つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。
上記では、符号化ブロックＢnのサイズがＬn＝ｋＭnとなる場合を示したが、ｋＬn＝Ｍnのように縦に連結したものであっても、同様の考えで、分割が可能であることは言うまでもない。
【０１０５】
この実施の形態１では、変換・量子化部７、逆量子化・逆変換部８，５５が、予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換処理（逆変換処理）を実施するものを示したが、変換ブロックサイズ単位は、変換処理単位によって一意に決定してもよいし、図１８に示すように階層構造にしてもよい。この場合、各階層で、分割するか否かを示すフラグを符号化する。
上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。
上記変換は、正方形での変換を仮定しているが、長方形など他の矩形での変換であってもよい。
【０１０６】
この実施の形態１では、符号化モードがマージモードである場合、符号化済みブロックの動きパラメータに含まれている予測方向で動き補償予測を行うものを示したが、その予測方向を、フラグによって切り替えられるようにしてもよい。
この場合、処理量は増えるが、オクルージョンなどで、両方向予測を行うよりも片方向予測の方が、予測精度が高い場合には、符号化効率を高めることができる。
例えば、選択した符号化済ブロックの動きパラメータに含まれている予測方向が片方向予測である場合、両方向予測を行うことができないが、この場合は、フラグを送らずに片方向予測のみを行うこととしてもよいし、片方向予測で得られたベクトルＭＶ＿ｔを用いて、図１９に示すように、ミラーリングによって、もう一方のベクトルを生成することで、フラグを用いて両方向予測と切り替えられるようにしてもよい。
片方向予測のみとすることで、エンコーダの処理量を削減できるという利点があり、また、両方向予測も候補に入れることで、符号化効率が向上するという利点がある。
【０１０７】
また、予測方向を示すフラグによって両方向予測と片方向予測を切り替える代わりに、選択した符号化済ブロックの動きパラメータに含まれている予測方向を使用するか否かを示すフラグを用いるようにしてもよい。
動きパラメータとは違う予測方向を使用する場合は、別に参照画像インデックスを選択して符号化するようにしてもよい。参照画像インデックスを選択できるようにすることで、処理量は増えるが、予測画像の精度が向上するため符号化効率の向上に寄与する。
【０１０８】
また、マージモードを用いて、スキップモードに用いる動きパラメータを決定するようにしてもよい。
この場合、スキップモードを、マージモードで変換係数を符号化しないモードとして定義する。これにより、予測方向まで含めて動きパラメータを決定することが可能となり、符号化効率の向上に寄与する。
【０１０９】
実施の形態２．
上記実施の形態１では、マージモード生成部２４，６３が、符号化モードがマージモードである場合、符号化ブロックの周囲に位置している１以上の符号化済みブロック（復号済みブロック）に対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択するものを示したが、符号化ブロックの周囲に位置している１以上の符号化済みブロック（復号済みブロック）に対する動き補償予測処理で用いている動きパラメータの中に、同じ動きパラメータが重複している場合、それらの動きパラメータの選択候補の中から、重複している動きパラメータを１つだけ残して除外するようにしてもよい。
【０１１０】
図２０はこの発明の実施の形態２による動画像符号化装置の動き補償予測部５内のマージモード生成部２４を示す構成図である。
なお、動画像復号装置の動き補償予測部５４内のマージモード生成部６３の構成は、マージモード生成部２４の構成と同一である。
【０１１１】
図２０において、マージ候補決定部３１はブロック分割部２により分割される符号化ブロックを示すブロック分割情報を参照して、当該符号化ブロックの周囲に位置している１以上の符号化済みブロックを特定し、１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中に、同じ動きパラメータが重複していれば、符号化ブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、重複している動きパラメータを１つだけ残して除外する処理を実施する。
動きパラメータ選択部３２はマージ候補決定部３１により除去されずに残っている動きパラメータを用いて予測画像を生成し、各々の予測画像と原画像間の歪と、当該予測画像の生成に用いた動きパラメータを示すインデックス情報の符号量とからなるコストを算出し、最もコストが小さくなる動きパラメータを動き補償処理部２５に出力する処理を実施する。
【０１１２】
次に動作について説明する。
動きパラメータの選択候補が多い方が、より原画像に近い予測画像を生成することが可能であるが、エンコーダの処理量が増大することや、インデックスの符号量が増えるため、効果が少ない動きパラメータや重複は、予め選択候補から除外する方が、処理量や符号化効率の観点で有利である。
そこで、マージモード生成部２４のマージ候補決定部３１は、ブロック分割部２により分割される符号化ブロックを示すブロック分割情報を参照して、当該符号化ブロックの周囲に位置している１以上の符号化済みブロックを特定する。
【０１１３】
マージ候補決定部３１は、符号化ブロックの周囲に位置している１以上の符号化済みブロックを特定すると、動きパラメータ候補格納部１４により格納されている動きパラメータのうち、それらの符号化済みブロックに対する動き補償予測処理で用いている動きパラメータを相互に比較して、同じ動きパラメータが重複しているか否かを判定する。
マージ候補決定部３１は、符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中に、同じ動きパラメータが重複していれば、符号化ブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、重複している動きパラメータを１つだけ残して除外する。
動画像復号装置におけるマージモード生成部６３でも同様に、符号化ブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、重複している動きパラメータを１つだけ残して除外する。
【０１１４】
ここで、図２１は重複している動きベクトルを１つだけ残して削除している例を示す説明図である。
図２１の例では、符号化ブロックの周囲に位置している符号化済みブロックの個数が４個であるが、インデックス０，１，２，３のブロックの動きパラメータが同じであるため、インデックス０の動きパラメータだけが残されて、インデックス１，２の動きパラメータが削除されている。
これにより、動きパラメータの選択候補が減るため、インデックスの符号量を減らすことができる。
【０１１５】
動きパラメータ選択部３２は、マージ候補決定部３１により除去されずに残っている動きパラメータ（図２１の例では、「ｂｌｏｃｋ＿Ａ」、「ｔｅｍｐｏｒａｌ」の動きパラメータ）を用いて予測画像を生成し、各々の予測画像と原画像間の歪と、当該予測画像の生成に用いた動きパラメータを示すインデックス情報の符号量とからなるコストを算出し、最もコストが小さくなる動きパラメータを動き補償処理部２５に出力する。
動画像復号装置におけるマージモード生成部６３でも同様に、最もコストが小さくなる動きパラメータを動き補償処理部６４に出力する。
【０１１６】
これにより、動きパラメータの選択候補の中に、同じ動きパラメータが重複して存在していれば、重複している動きパラメータが１つだけ残されて除外されるが、選択候補となる動きパラメータの切り替えは、例えば、動きパラメータ毎にｏｎ／ｏｆｆのフラグを設け、そのフラグがｏｎである動きパラメータだけを選択候補とする方法が考えられる。
【０１１７】
動きパラメータの選択候補は、フラグをスライスヘッダに多重することで、スライス単位で切り替えるようにしてもよいし、シーケンスやピクチャなどの上位レイヤ単位で切り替えるようにしてもよい。
また、選択候補となるセットを一つ以上用意し、その選択候補となるセットを示すインデックス情報を符号化するようにしてもよい。例えば、時間ベクトル候補をインデックス０に割り当てたセットと、空間ベクトルを優先してインデックスを割り当てたセットを用意し、どちらのセットを使用したかを示すインデックスを符号化する。図２２は選択候補となるセットの切り替え例を示している。
また、マクロブロックや符号化ブロック毎に切り替えるようにしてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率の改善を図ることができる。
【０１１８】
図２３は符号化ブロックの周囲に位置している符号化済みブロックのマージインデックスを参照して、重複している動きパラメータを削除している例を示す説明図である。
例えば、マージインデックスを参照することで、図２３（ａ）に示すように、ｂｌｏｃｋ＿Ｂがｂｌｏｃｋ＿Ｃとマージされ、ｂｌｏｃｋ＿Ａがｂｌｏｃｋ＿Ｃとマージされていることが分かる場合、符号化ブロックの周囲に位置している符号化済みブロックｂｌｏｃｋ＿Ａ，ｂｌｏｃｋ＿Ｂ，ｂｌｏｃｋ＿Ｃの動きパラメータの全てが同じであることが分かる。
この場合、動きパラメータの選択候補から、例えば、符号化済みブロックｂｌｏｃｋ＿Ｂ，ｂｌｏｃｋ＿Ｃの動きパラメータを削除して、符号化済みブロックｂｌｏｃｋ＿Ａの動きパラメータだけを残すことができる。
【０１１９】
同様に、マージインデックスを参照することで、図２３（ｂ）に示すように、ｂｌｏｃｋ＿Ｂがｂｌｏｃｋ＿Ｃとマージされている場合、動きパラメータの選択候補から、例えば、符号化済みブロックｂｌｏｃｋ＿Ｃの動きパラメータを削除して、符号化済みブロックｂｌｏｃｋ＿Ｂの動きパラメータだけを残すことができる。
また、マージインデックスを参照することで、図２３（ｃ）に示すように、ｂｌｏｃｋ＿Ａがｂｌｏｃｋ＿Ｂとマージされている場合、動きパラメータの選択候補から、例えば、符号化済みブロックｂｌｏｃｋ＿Ｂの動きパラメータを削除して、符号化済みブロックｂｌｏｃｋ＿Ａの動きパラメータだけを残すことができる。
【０１２０】
このように、マージインデックスを参照すれば、符号化ブロックの周囲に位置している符号化済みブロック（復号済みブロック）の動きパラメータを復号することなく、どのブロックの動きパラメータが重複しているかを判断することができ、処理量を削減することができる。
また、符号化済みブロック（復号済みブロック）の動きパラメータの復号処理における復号エラーなどの影響を受けないため、エラー耐性を高めることができる。
【０１２１】
実施の形態３．
上記実施の形態２では、動きパラメータの選択候補の中に、同じ動きパラメータが重複している場合、その選択候補の中から、重複している動きパラメータを１つだけ残して除外するものを示したが、符号化制御部１により決定された符号化モードがパーシャルマージモードである場合、符号化ブロックが上下に分割されていれば、下側のブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、上側のブロックに対する動き補償予測処理で用いている動きパラメータを除外するようにしてもよい。
また、符号化ブロックが左右に分割されていれば、右側のブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、左側のブロックに対する動き補償予測処理で用いている動きパラメータを除外するようにしてもよい。
【０１２２】
例えば、ブロックの分割が長方形分割である場合、図２４に示すように、片側をマージ固定にすることで、符号化する動きパラメータの本数が削減されることが考えられる。
図２４（ａ）のように、上下に分割されている場合、下側のブロックを上側のブロックとマージを行うとすると、上下に分割していない場合と全く同じ動きパラメータを用いることになるため、符号化効率を考えると、上側のブロックとマージを行う可能性は低い。
そのため、下側のブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、上側のブロックに対する動き補償予測処理で用いている動きパラメータを除外することで、インデックスの符号量を減らすことができる。
【０１２３】
図２４（ｂ）のように、左右に分割されている場合、右側のブロックを左側のブロックとマージを行うとすると、左右に分割していない場合と全く同じ動きパラメータを用いることになるため、符号化効率を考えると、左側のブロックとマージを行う可能性は低い。
そのため、右側のブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、左側のブロックに対する動き補償予測処理で用いている動きパラメータを除外することで、インデックスの符号量を減らすことができる。
【０１２４】
また、図２５（ａ）の場合、左ブロックか、時間ベクトルとのマージになる可能性が高いため、選択候補をこの２つに限定することで、符号化効率を保ちつつ、処理量を削減することが可能になる。
同様に、図２５（ｂ）の場合は、上ブロックか、時間ベクトルとのマージになる可能性が高いため、選択候補をこの２つに限定することで、符号化効率を保ちつつ、処理量を削減することが可能となる。
【０１２５】
なお、図２６は符号化モードがパーシャルマージモードである場合のマージモード生成部２４，６３のマージ候補決定部３１の処理内容を示すフローチャートである。
マージモード生成部２４，６３のマージ候補決定部３１は、符号化モードがパーシャルマージモードである場合（ステップＳＴ５１）、ブロックが上下に分割されていれば（ステップＳＴ５２）、下側のブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、上側のブロックに対する動き補償予測処理で用いている動きパラメータを除外する（ステップＳＴ５３，５４）。
マージモード生成部２４，６３のマージ候補決定部３１は、ブロックが左右に分割されていれば（ステップＳＴ５２）、右側のブロックに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、左側のブロックに対する動き補償予測処理で用いている動きパラメータを除外する（ステップＳＴ５５，５５）。
【０１２６】
また、図２７はＮ×Ｎ分割の場合のマージモード生成部２４，６３のマージ候補決定部３１の処理内容を示すフローチャートである。
マージ候補決定部３１は、例えば、ｂｌｏｃｋ＿Ｃを符号化する際に、マージインデックスを参照することで、ｂｌｏｃｋ＿Ｂがｂｌｏｃｋ＿Ａとマージされていることが分かれば、ｂｌｏｃｋ＿Ａ及びｂｌｏｃｋ＿Ｂに対する動き補償予測処理で用いている動きパラメータが同じであることが分かる。
そのため、マージ候補決定部３１は、ｂｌｏｃｋ＿Ｂがｂｌｏｃｋ＿Ａとマージされていれば（ステップＳＴ６１）、ｂｌｏｃｋ＿Ｃに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、ｂｌｏｃｋ＿Ｂに対する動き補償予測処理で用いている動きパラメータを除外する（ステップＳＴＳＴ６２）。
【０１２７】
また、マージ候補決定部３１は、例えば、ｂｌｏｃｋ＿Ｄを符号化する際に、マージインデックスを参照することで、ｂｌｏｃｋ＿Ｃがｂｌｏｃｋ＿Ａとマージされていることが分かれば、ｂｌｏｃｋ＿Ａ、ｂｌｏｃｋ＿Ｂ及びｂｌｏｃｋ＿Ｃに対する動き補償予測処理で用いている動きパラメータが同じであることが分かる。
そのため、マージ候補決定部３１は、ｂｌｏｃｋ＿Ｃがｂｌｏｃｋ＿Ａとマージされていれば（ステップＳＴ６３）、ｂｌｏｃｋ＿Ｄに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、ｂｌｏｃｋ＿Ｃに対する動き補償予測処理で用いている動きパラメータを除外する（ステップＳＴＳＴ６４）。
【０１２８】
マージ候補決定部３１は、ｂｌｏｃｋ＿Ｂがｂｌｏｃｋ＿Ａとマージされていなければ（ステップＳＴ６１）、ｂｌｏｃｋ＿Ａ及びｂｌｏｃｋ＿Ｂに対する動き補償予測処理で用いている動きパラメータが同じであるか否かが分からないため、ｂｌｏｃｋ＿Ｃに対する動き補償予測処理で用いる動きパラメータの選択候補を減らさない。
ただし、ｂｌｏｃｋ＿Ｃがｂｌｏｃｋ＿Ｂとマージされていれば（ステップＳＴ６５）、ｂｌｏｃｋ＿Ｄに対する動き補償予測処理で用いる動きパラメータの選択候補の中から、ｂｌｏｃｋ＿Ｃに対する動き補償予測処理で用いている動きパラメータを除外する（ステップＳＴ６６）。
【０１２９】
図２８は可変長符号化部１３により生成されるビットストリームを示す説明図である。
図２８では、特にピクチャ符号化データ部分を示している。
可変長符号化部１３では、符号化ブロックがマージモードである場合、マージモードで符号化したことを示す選択フラグと、選択された動きパラメータを示すインデックス情報をビットストリームに多重化している。
パーシャルマージモードの場合、最初に符号化されるブロックは、必ずマージモードであるため、最初のブロックについてはマージモードで符号化したことを示す選択フラグは不要であり、選択された動きパラメータを示すインデックス情報のみをビットストリームに多重化している。
【０１３０】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１３１】
１  符号化制御部（符号化制御手段）、２  ブロック分割部（ブロック分割手段）、３  切替スイッチ（動き補償予測手段）、４  イントラ予測部、５  動き補償予測部（動き補償予測手段）、６  減算部（画像圧縮手段）、７  変換・量子化部（画像圧縮手段）、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ、１１  ループフィルタ部、１２  動き補償予測フレームメモリ、１３  可変長符号化部（可変長符号化手段）、１４  動きパラメータ候補格納部、２１  切替スイッチ、２２  動きベクトル探索部、２３  ダイレクトベクトル生成部、２４  マージモード生成部、２５  動き補償処理部、３１  マージ候補決定部、３２  動きパラメータ選択部、５１  可変長復号部（可変長復号手段）、５２  切替スイッチ（動き補償予測手段）、５３  イントラ予測部、５４  動き補償予測部（動き補償予測手段）、５５  逆量子化・逆変換部（復号画像生成手段）、５６  加算部（復号画像生成手段）、５７  イントラ予測用メモリ、５８  ループフィルタ部、５９  動き補償予測フレームメモリ、６０  動きパラメータ候補格納部、６１  切替スイッチ、６２  ダイレクトベクトル生成部、６３  マージモード生成部、６４  動き補償処理部。
【図１】
2012186762.tif 000007
【図２】
2012186762.tif 000008
【図３】
2012186762.tif 000009
【図４】
2012186762.tif 000010
【図５】
2012186762.tif 000011
【図６】
2012186762.tif 000012
【図７】
2012186762.tif 000013
【図８】
2012186762.tif 000014
【図９】
2012186762.tif 000015
【図１０】
2012186762.tif 000016
【図１１】
2012186762.tif 000017
【図１２】
2012186762.tif 000018
【図１３】
2012186762.tif 000019
【図１４】
2012186762.tif 000020
【図１５】
2012186762.tif 000021
【図１６】
2012186762.tif 000022
【図１７】
2012186762.tif 000023
【図１８】
2012186762.tif 000024
【図１９】
2012186762.tif 000025
【図２０】
2012186762.tif 000026
【図２１】
2012186762.tif 000027
【図２２】
2012186762.tif 000028
【図２３】
2012186762.tif 000029
【図２４】
2012186762.tif 000030
【図２５】
2012186762.tif 000031
【図２６】
2012186762.tif 000032
【図２７】
2012186762.tif 000033
【図２８】
2012186762.tif 000034
【図２９】
2012186762.tif 000035
【図３０】
2012186762.tif 000036