(57)【要約】【課題】予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができるようにする。【解決手段】動き補償予測部５，５４が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更する。【選択図】図１
2013098711.tif 000002
【特許請求の範囲】
【請求項１】
予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりインター符号化モードが選択された場合、選択可能な１以上の動きベクトルの中から、所定の動きベクトルを選択し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード及び上記動き補償予測手段から出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
上記動き補償予測手段は、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像符号化装置。
【請求項２】
動き補償予測手段は、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、選択可能な１以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、上記動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
上記動き補償予測手段は、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像復号装置。
【請求項４】
動き補償予測手段は、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てることを特徴とする請求項３記載の動画像復号装置。
【請求項５】
符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、動き補償予測手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでインター符号化モードが選択された場合、選択可能な１以上の動きベクトルの中から、所定の動きベクトルを選択し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記動き補償予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップによって出力された圧縮データ、上記符号化制御処理ステップで選択された符号化モード及び上記動き補償予測処理ステップによって出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、
上記動き補償予測処理ステップでは、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像符号化方法。
【請求項６】
可変長復号手段が、ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号処理ステップと、動き補償予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、選択可能な１以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、上記動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記動き補償予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
上記動き補償予測処理ステップでは、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いられる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法に関するものである。
【背景技術】
【０００２】
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ  Ｈ．２６ｘ」などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。
動画像符号化装置及び動画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、１枚のピクチャのみを参照して、画面間予測符号化を行うものをＰピクチャと称し、同時に２枚のピクチャを参照して、画面間予測符号化を行うものをＢピクチャと称する。
【０００３】
国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０｜ＩＴＵ−Ｔ  Ｈ．２６４）では、Ｂピクチャを符号化する際に、ダイレクトモードと呼ばれる符号化モードを選択することができる（例えば、非特許文献１を参照）。
即ち、符号化対象のマクロブロックには、動きベクトルの符号化データを持たず、符号化済みの他のピクチャのマクロブロックの動きベクトルや、周囲のマクロブロックの動きベクトルを用いる所定の演算処理で、符号化対象のマクロブロックの動きベクトルを生成する符号化モードを選択することができる。
【０００４】
このダイレクトモードには、時間ダイレクトモードと空間ダイレクトモードの２種類が存在する。
時間ダイレクトモードでは、符号化済みの他ピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象のピクチャとの時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックの動きベクトルを生成する。
空間ダイレクトモードでは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照し、それらの動きベクトルから符号化対象のマクロブロックの動きベクトルを生成する。
このダイレクトモードでは、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。
ただし、ダイレクトモードの中で、変換係数を符号化しないモードをスキップモードと称する。以下、ダイレクトモードと記載するときは、スキップモードも含まれるものとする。
【０００５】
ここで、図１７は時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１７において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われているものとする。
【０００６】
例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（１）で求められる。
2013098711.tif 000003
【０００７】
図１８は空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１８において、ｃｕｒｒｅｎｔＭＢは、符号化対象のマクロブロックを表している。
このとき、符号化対象のマクロブロックの左横の符号化済マクロブロックＡの動きベクトルをＭＶａ、符号化対象のマクロブロックの上の符号化済マクロブロックＢの動きベクトルをＭＶｂ、符号化対象のマクロブロックの右上の符号化済マクロブロックＣの動きベクトルをＭＶｃとすると、下記の式（２）に示すように、これらの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃのメディアン（中央値）を求めることにより、符号化対象のマクロブロックの動きベクトルＭＶを算出することができる。
ＭＶ＝ｍｅｄｉａｎ（ＭＶａ、ＭＶｂ、ＭＶｃ）            （２）
空間ダイレクトモードでは、前方及び後方のそれぞれについて動きベクトルを求めるが、どちらも上記の方法を用いて求めることが可能である。
【０００８】
なお、予測画像の生成に用いる参照画像は、参照に用いるベクトル毎に、参照画像リストして管理されており、２つのベクトルを用いる場合、各参照画像リストはリスト０、リスト１と称される。
参照画像リストに対して時間的に近いものから順番に格納され、通常はリスト０が前方向の参照画像を示し、リスト１が後方向の参照画像を示している。ただし、リスト１が前方向の参照画像を示し、リスト０が後方向の参照画像を示していてもよいし、リスト０とリスト１の双方が、前方向と後方向の参照画像を示していてもよい。また、並び順も時間的に近いものから並べる必要はない。
例えば、以下の非特許文献１には、参照画像リストをスライス毎に並び替えることが可能であることが記載されている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の動画像符号化装置は以上のように構成されているので、選択可能な１以上の動きベクトルの中から、符号化対象のマクロブロックの予測画像の生成に適する動きベクトルを選択する際、符号化モードとして、時間ダイレクトモードや空間ダイレクトモードなどを選択することが可能であるが、符号化対象のマクロブロックの形状を考慮せずに動きベクトルを選択している。このため、符号化対象のマクロブロックの形状によっては、予測精度が低い動きベクトルを選択してしまって、符号化性能が劣化してしまうことがある課題があった。
【００１１】
この発明は上記のような課題を解決するためになされたもので、予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１２】
この発明に係る動画像符号化装置は、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割手段と、ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、選択可能な１以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測手段と、ブロック分割手段により分割された符号化ブロックと動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ、符号化制御手段により選択された符号化モード及び動き補償予測手段から出力されたインデックス情報を可変長符号化して、その圧縮データ、その符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、動き補償予測手段が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにしたものである。
【発明の効果】
【００１３】
この発明によれば、動き補償予測手段が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するように構成したので、予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができる効果がある。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図４】この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【図５】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図６】（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示す説明図である。
【図７】符号化ブロックの分割例を示す説明図である。
【図８】符号化ブロックを左右に分割した場合の一例を示す説明図である。
【図９】選択可能な１以上の動きベクトルを示すインデックス情報を示す説明図である。
【図１０】選択可能な１以上の動きベクトルを示すインデックス情報を示す説明図である。
【図１１】符号化ブロックＢnのサイズがＬn＝ｋＭnとなる分割例を示す説明図である。
【図１２】（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）となる分割例を示す説明図である。
【図１３】選択可能な分割例を示す説明図である。
【図１４】変換ブロックサイズ単位が階層構造になっている例を示す説明図である。
【図１５】２階層目から長方形に分割する方法を示す説明図である。
【図１６】定義されていないブロックの形状が含まれている場合、正方形での変換のみが有効である例を示す説明図である。
【図１７】時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
【図１８】空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
この実施の形態１では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。
【００１６】
この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００１７】
符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。
【００１８】
この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００１９】
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１は動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード（ダイレクトモードやマージモードのインター符号化モードを含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部１は符号化制御手段を構成している。
【００２０】
ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
【００２１】
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、符号化制御部１から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
【００２２】
動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、例えば、動きパラメータ候補格納部１４に格納されている選択可能な１以上の動きベクトルの中から、その符号化ブロックの予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化部１３に出力する処理を実施する。
【００２３】
具体的には、例えば、符号化制御部１によりダイレクトモードのインター符号化モードが選択された場合、当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
また、符号化制御部１によりマージモードのインター符号化モードが選択された場合、動きパラメータ候補格納部１４により格納されている動きパラメータ（動きベクトル、参照ピクチャのインデックス、予測方向）、即ち、当該符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。当該符号化ブロックに対する動き補償予測処理で用いた動きパラメータは動きパラメータ候補格納部１４に格納する。
また、符号化制御部１によりダイレクトモード及びマージモード以外のインター符号化モードが選択された場合、当該符号化ブロックと動き補償予測フレームメモリ１２に格納されている参照画像から動きベクトルを探索し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
【００２４】
ただし、動き補償予測部５は、符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにする。
なお、切替スイッチ３及び動き補償予測部５から動き補償予測手段が構成されている。
【００２５】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
なお、減算部６及び変換・量子化部７から画像圧縮手段が構成されている。
【００２６】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
【００２７】
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２８】
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２９】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（ダイレクトベクトル又は動きパラメータを示すインデックス情報、あるいは、動きベクトルを含む）を可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
動きパラメータ候補格納部１４は符号化ブロックに対する動き補償予測処理で用いることが可能な動きパラメータの選択候補として、当該符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータを格納するＲＡＭなどの記録媒体である。
【００３０】
図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【００３１】
図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部５１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（ダイレクトベクトル又は動きパラメータを示すインデックス情報、あるいは、動きベクトルを含む）を可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部５５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ５２に出力する処理を実施する。なお、可変長復号部５１は可変長復号手段を構成している。
【００３２】
切替スイッチ５２は可変長復号部５１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する処理を実施する。
イントラ予測部５３は切替スイッチ５２から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
【００３３】
動き補償予測部５４は可変長復号部５１から出力された符号化ブロックに係る符号化モードがインター符号化モードである場合、例えば、動きパラメータ候補格納部６０に格納されている選択可能な１以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
【００３４】
具体的には、例えば、可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルの中から、切替スイッチ５２から出力されたインター予測パラメータに含まれているインデックス情報が示すダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
動画像符号化装置において、ダイレクトベクトルを示すインデックス情報の符号化データがビットストリームに多重化されない場合には、動画像符号化装置の動き補償予測部５と同様に、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
【００３５】
また、可変長復号部５１から出力された符号化ブロックに係る符号化モードがマージモードのインター符号化モードである場合、動きパラメータ候補格納部６０により格納されている動きパラメータ（動きベクトル、参照ピクチャのインデックス、予測方向）、即ち、当該符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、切替スイッチ５２から出力されたインター予測パラメータに含まれているインデックス情報が示す動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。当該符号化ブロックに対する動き補償予測処理で用いた動きパラメータは動きパラメータ候補格納部６０に格納する。
【００３６】
また、可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモード及びマージモード以外のインター符号化モードである場合、切替スイッチ５２から出力されたインター予測パラメータに含まれている動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
【００３７】
ただし、動き補償予測部５４は、符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにする。
なお、切替スイッチ５２及び動き補償予測部５４から動き補償予測手段が構成されている。
【００３８】
逆量子化・逆変換部５５は可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
加算部５６は逆量子化・逆変換部５５から出力された復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。
なお、逆量子化・逆変換部５５及び加算部５６から復号画像生成手段が構成されている。
【００３９】
イントラ予測用メモリ５７はイントラ予測部５３により次回のイントラ予測処理で用いられる画像として、加算部５６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
ループフィルタ部５８は加算部５６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に出力する処理を実施する。
【００４０】
動き補償予測フレームメモリ５９は動き補償予測部５４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部５８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
動きパラメータ候補格納部６０は符号化ブロックに対する動き補償予測処理で用いることが可能な動きパラメータの選択候補として、当該符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータを格納するＲＡＭなどの記録媒体である。
【００４１】
図３では、動画像復号装置の構成要素である可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【００４２】
次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００４３】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００４４】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード（ダイレクトモード及びマージモードのインター符号化モードを含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００４５】
ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
ここで、図５は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図５の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ0であり、輝度成分で（Ｌ0，Ｍ0）のサイズを有している。
また、図５の例では、最大サイズの符号化ブロックＢ0を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢnを得ている。
【００４６】
深さｎにおいては、符号化ブロックＢnはサイズ（Ｌn，Ｍn）の画像領域である。
ただし、ＬnとＭnは同じであってもよいし異なっていてもよいが、図５の例ではＬn＝Ｍnのケースを示している。
以降、符号化ブロックＢnのサイズは、符号化ブロックＢnの輝度成分におけるサイズ（Ｌn，Ｍn）と定義する。
【００４７】
ブロック分割部２は、４分木分割を行うため、常に（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌn，Ｍn）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌn／２，Ｍn／２）である。
以降、第ｎ階層の符号化ブロックＢnで選択しうる符号化モードをｍ（Ｂn）と記する。
【００４８】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂn）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂn）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢnに対して最も符号化効率がよい符号化モードを選択する。
【００４９】
符号化ブロックＢnは、図５に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢnに属するパーティションをＰin（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
符号化ブロックＢnに属するパーティションＰinの分割がどのようになされているかは符号化モードｍ（Ｂn）の中に情報として含まれる。
パーティションＰinは、すべて符号化モードｍ（Ｂn）に従って予測処理が行われるが、パーティションＰin毎に、個別の予測パラメータを選択することができる。
【００５０】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックＢnを特定する。
図６（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図６（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示している。
図６（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂn）が割り当てられたノード（符号化ブロックＢn）を示している。
【００５１】
切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢnのパーティションＰinに対して最適な符号化モードｍ（Ｂn）を選択すると、その符号化モードｍ（Ｂn）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢnのパーティションＰinをイントラ予測部４に出力する。
一方、その符号化モードｍ（Ｂn）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢnのパーティションＰinを動き補償予測部５に出力する。
【００５２】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢnのパーティションＰinを受けると、符号化制御部１により選択された符号化モードｍ（Ｂn）に対応するイントラ予測パラメータを用いて、その符号化ブロックＢnのパーティションＰinに対するイントラ予測処理を実施して、イントラ予測画像Ｐinを生成する（ステップＳＴ４）。
イントラ予測部４は、イントラ予測画像Ｐinを生成すると、そのイントラ予測画像Ｐinを減算部６及び加算部９に出力するが、図３の動画像復号装置でも同じイントラ予測画像Ｐinを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
この実施の形態１におけるイントラ予測処理は、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６−１０）に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、動画像符号化装置側と動画像復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含む必要がある。
【００５３】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢnのパーティションＰinを受けると、符号化制御部１により選択された符号化モードｍ（Ｂn）で、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施して、インター予測画像Ｐinを生成する（ステップＳＴ５）。
【００５４】
動き補償予測部５は、インター予測画像Ｐinを生成すると、そのインター予測画像Ｐinを減算部６及び加算部９に出力するが、図３の動画像復号装置でも同じインター予測画像Ｐinを生成できるようにするため、そのインター予測パラメータを可変長符号化部１３に出力する。インター予測画像の生成に用いられたインター予測パラメータには、下記に示す情報が含まれており、動画像復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部１３によってインター予測パラメータの符号化データがビットストリームに多重化される。
・  符号化ブロックＢn内のパーティション分割を記述するモード情報
・  各パーティションの動きベクトル、あるいは、ダイレクトベクトルを示すインデックス情報、あるいは、動きパラメータを示すインデックス情報
・  動き補償予測フレームメモリ１２内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報
・  動きパラメータ候補格納部１４内に複数の動きベクトル予測値候補がある場合に、いずれの動きベクトル予測値を選択して使用するかを示すインデックス情報
・  複数の動き補償内挿フィルタがある場合に、いずれのフィルタを選択して使用するかを示すインデックス情報
・  当該パーティションの動きベクトルが複数の画素精度（半画素、１／４画素、１／８画素など）を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
【００５５】
ただし、動き補償予測部５は、符号化ブロックＢnに対する動き補償予測処理を実施する際、その符号化ブロックＢnを分割して、各々のパーティションＰinに対して動き補償予測処理を実施する場合、その符号化ブロックＢnの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにする。
具体的には、以下の通りである。
【００５６】
まず、符号化ブロックＢn内で異なる動きがある場合、符号化ブロックＢnを分割し、各々のパーティションＰinに対して動き補償予測処理を実施することで予測画像を生成することがある。
その場合、図７に示すように、左右が非対称な長方形や上下非対称な長方形に分割することが考えられる。
図８は符号化ブロックＢnを左右に分割した場合の一例を示す説明図である。
符号化ブロックＢnを左右に分割した場合、符号化処理の順番は、分割ブロックである左のパーティションＰinが先であるため、右のパーティションＰinは左のパーティションＰinから動きパラメータを予測することが可能である。
しかし、符号化ブロックＢnの分割は、内部で異なる動きがあるために行われるものであり、分割された一方のブロックからの予測は通常精度が低いと考えられる。
【００５７】
ここで、図９は選択可能な１以上の動きベクトルを示すインデックス情報を示す説明図である。
選択可能な動きベクトルを示すインデックス情報は、図９に示すように、通常、左のブロック→上のブロック→ｔｅｍｐｏｒａｌの順番で値が定められている。
可変長符号化部１３で動きベクトルを示すインデックス情報を可変長符号化する際、インデックス情報の値が小さい方が、符号量が少なくなるため、選択される可能性が高い動きベクトルを示すインデックス情報を小さな値に設定することにより符号化効率が改善する。
通常の順序では、符号化ブロックＢnの分割時には予測精度が低いと考えられる左のブロックに係る動きベクトルを示すインデックス情報の値を最も小さな値に設定している。
【００５８】
そこで、この実施の形態１では、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値が割り当てられるように、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更している。
例えば、符号化ブロックＢnが左右に分割された場合、図９（ａ）に示すように、左のブロックに係る動きベクトルは予測精度が低いと考えられるため、上のブロック→ｔｅｍｐｏｒａｌ→左のブロックの順番に変更している。
また、符号化ブロックが上下に分割された場合、図９（ｂ）に示すように、予測精度が低いと考えられる上のブロックに係る動きベクトルはインデックス順序を後にし、左のブロック→ｔｅｍｐｏｒａｌ→上のブロックの順番に変更している。
【００５９】
減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐin、インター予測画像Ｐin）を生成すると、ブロック分割部２により分割された符号化ブロックＢnのパーティションＰinから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐin、インター予測画像Ｐin）を減算することで差分画像を生成し、その差分画像を示す予測差分信号ｅinを変換・量子化部７に出力する（ステップＳＴ６）。
【００６０】
変換・量子化部７は、減算部６から差分画像を示す予測差分信号ｅinを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
【００６１】
逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号ｅinハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）として加算部９に出力する（ステップＳＴ８）。
【００６２】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号ｅinハットを受けると、その局所復号予測差分信号ｅinハットと、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐin、インター予測画像Ｐin）を示す予測信号を加算することで、局所復号パーティション画像Ｐinハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。
【００６３】
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢnに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。
【００６４】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータをエントロピー符号化する。
可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。
【００６５】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
ループフィルタ部１１によるフィルタリング処理は、加算部９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が出力された後に１画面分まとめて行ってもよい。
【００６６】
次に、図３の画像復号装置の処理内容を説明する。
可変長復号部５１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する（図４のステップＳＴ２１）。
可変長復号部５１は、図１の符号化制御部１と同様の手順で、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
【００６７】
ビットストリームに多重化されている最大サイズの符号化ブロックＢ0の符号化モードｍ（Ｂ0）には、最大サイズの符号化ブロックＢ0の分割状態を示す情報が含まれているので、可変長復号部５１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ0の符号化モードｍ（Ｂ0）を復号して、階層的に分割されている各々の符号化ブロックＢnを特定する（ステップＳＴ２３）。
可変長復号部５１は、各々の符号化ブロックＢnを特定すると、その符号化ブロックＢnの符号化モードｍ（Ｂn）を復号し、その符号化モードｍ（Ｂn）に属しているパーティションＰinの情報に基づいて、符号化ブロックＢnに属しているパーティションＰinを特定する。
可変長復号部５１は、符号化ブロックＢnに属しているパーティションＰinを特定すると、パーティションＰin毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを復号する（ステップＳＴ２４）。
【００６８】
切替スイッチ５２は、可変長復号部５１から符号化ブロックＢnに属しているパーティションＰinの符号化モードｍ（Ｂn）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力する。
一方、パーティションＰinの符号化モードｍ（Ｂn）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する。
イントラ予測部５３は、切替スイッチ５２からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックＢnのパーティションＰinに対するイントラ予測処理を実施して、イントラ予測画像Ｐinを生成する（ステップＳＴ２６）。
【００６９】
動き補償予測部５４は、切替スイッチ５２からインター予測パラメータを受けると、図１の動き補償予測部５と同様に、可変長復号部５１から出力された符号化モードｍ（Ｂn）で、符号化ブロックＢnのパーティションＰinに対する動き補償予測処理を実施して、インター予測画像Ｐinを生成する（ステップＳＴ２７）。
ただし、動き補償予測部５４は、符号化ブロックＢnに対する動き補償予測処理を実施する際、その符号化ブロックＢnを分割して、各々のパーティションＰinに対して動き補償予測処理を実施する場合、図１の動き補償予測部５と同様に、その符号化ブロックＢnの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにする。
即ち、動き補償予測部５４は、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値が割り当てられるように、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更する。
【００７０】
逆量子化・逆変換部５５は、可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部５６に出力する（ステップＳＴ２８）。
【００７１】
加算部５６は、逆量子化・逆変換部５５から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ５７に格納するとともに、その復号画像信号をループフィルタ部５８に出力する（ステップＳＴ２９）。
【００７２】
ステップＳＴ２３〜ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢnに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
ループフィルタ部５８は、加算部５６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に格納する（ステップＳＴ３１）。
ループフィルタ部５８によるフィルタリング処理は、加算部５６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。
【００７３】
以上で明らかなように、この実施の形態１によれば、動き補償予測部５，５４が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するように構成したので、予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができる効果を奏する。
【００７４】
即ち、動き補償予測部５，５４が、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てるように構成したので、予測精度が高く、選択される可能性が高い動きベクトルを示すインデックス情報の値が小さくなるため、インデックスの符号量を削減でき、符号化効率改善効果を奏する。
【００７５】
実施の形態２．
上記実施の形態１では、符号化ブロックを分割する際、後に処理する分割ブロックについて、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てるものを示したが、最初に処理する分割ブロックについても、同様の処理を行うようにしてもよい。
図１０は選択可能な１以上の動きベクトルを示すインデックス情報を示す説明図である。
図１０の例では、符号化ブロックが左右に分割された場合、左のブロックに係る動きベクトルの予測精度が、上のブロックに係る動きベクトルの予測精度より高いため、動きベクトルを示すインデックス情報を左のブロック→ｔｅｍｐｏｒａｌ→上のブロックの順番にしている。
また、符号化ブロックが上下に分割された場合、上のブロックに係る動きベクトルの予測精度が、左のブロックに係る動きベクトルの予測精度より高いため、動きベクトルを示すインデックス情報を上のブロック→ｔｅｍｐｏｒａｌ→左のブロックの順番にしている。
【００７６】
上記実施の形態１，２では、動き補償予測部５，５４が符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を一意に変更するものを示したが、例えば、ピクチャパラメータセットやスライスパラメータセットなど、他の上位ヘッダによって、インデックス情報の値を変更するようにしてもよい。
上位ヘッダによって、インデックス情報の値を変更する場合、映像の局所性に応じてインデックス情報の値を変更することが可能になるため、符号化効率の改善に寄与する。
【００７７】
実施の形態３．
上記実施の形態１では、図５に示すように、符号化ブロックＢnのサイズがＬn＝Ｍnであるものを示したが、符号化ブロックＢnのサイズがＬn≠Ｍnであってもよい。
例えば、図１１に示すように、符号化ブロックＢnのサイズがＬn＝ｋＭnとなる場合が考えられる。
この場合、次の分割では、（Ｌn+1，Ｍn+1）＝（Ｌn，Ｍn）となり、以降の分割は、図５と同様の分割を行ってもよいし、（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）のように分割を行ってもよい（図１２を参照）。
また、図１３に示すように、図１１の分割又は図１２の分割のいずれかを選択できるようにしてもよい。
【００７８】
選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献１のＨ．２６４のような１６×１６を１つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。
上記では、符号化ブロックＢnのサイズがＬn＝ｋＭnとなる場合を示したが、ｋＬn＝Ｍnのように縦に連結したものであっても、同様の考えで、分割が可能であることは言うまでもない。
【００７９】
実施の形態１〜３では、変換・量子化部７、逆量子化・逆変換部８，５５が、予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換処理（逆変換処理）を実施するものを示したが、変換ブロックサイズ単位は、変換処理単位によって一意に決定してもよいし、図１４に示すように階層構造にしてもよい。この場合、各階層で、分割するか否かを示すフラグを符号化する。
上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。
上記変換は、正方形での変換を仮定しているが、長方形など他の矩形での変換であってもよい。
【００８０】
長方形で分割する場合、例えば、図１５に示すように、最初の階層は分割をせずに、２階層目（第１階層）から長方形に分割するなどの方法が考えられる。
長方形変換を使用することで、動き予測処理などでのブロック分割の形状に直交変換を合わせることができるため、変換効率が高くなり、直交変換係数の符号化効率改善に寄与することができる。
【００８１】
直交変換が水平垂直分離している２次元直交変換などの場合、長方形変換であっても、通常の正方形分割で用いる変換を使用することができるため、直交変換のための回路を増やす必要はない。
２次元直交変換を使用する場合、長方形に分割にすると、正方形では定義されない基底が発生してしまう可能性がある。
例えば、図１６に示すように、４×４のブロックの直交変換までしか定義されていない場合、２×８のブロックの直交変換を行うことができない。そのため、この場合は、分割せずに正方形サイズで直交変換を行うことになる。
【００８２】
上記のように長方形で分割できない場合、動き予測処理のブロック形状と直交変換の形状を合わせることができないため、動き予測処理を長方形で行っても、符号化効率が稼げない可能性がある。
そのため、長方形分割ができない動き予測のブロック形状を上位のフラグで禁止してもよい。
符号化効率に寄与しない分割パターンを予め上位で禁止してしまうことで、演算量の削減効果がある。
【００８３】
直交変換の形状だけではなく、ブロックサイズや解像度によっても、長方形分割による動き予測が符号化効率に寄与しない場合がある。
例えば、ＱＨＤＴＶ解像度のような大きな解像度の場合、ブロックサイズが小さく、かつ、長方形で分割されるケースは少ない。このような場合、上位フラグによって、ある一定値よりも小さいブロックサイズの場合は長方形分割を禁止することで、演算量の削減効果がある。
上位フラグは、スライスヘッダ、シーケンスパラメータセット、ピクチャパラメータセットなどのヘッダ情報として多重してもよいし、プロファイルレベルで規定してもよい。
【００８４】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００８５】
１  符号化制御部（符号化制御手段）、２  ブロック分割部（ブロック分割手段）、３  切替スイッチ（動き補償予測手段）、４  イントラ予測部、５  動き補償予測部（動き補償予測手段）、６  減算部（画像圧縮手段）、７  変換・量子化部（画像圧縮手段）、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ、１１  ループフィルタ部、１２  動き補償予測フレームメモリ、１３  可変長符号化部（可変長符号化手段）、１４  動きパラメータ候補格納部、５１  可変長復号部（可変長復号手段）、５２  切替スイッチ（動き補償予測手段）、５３  イントラ予測部、５４  動き補償予測部（動き補償予測手段）、５５  逆量子化・逆変換部（復号画像生成手段）、５６  加算部（復号画像生成手段）、５７  イントラ予測用メモリ、５８  ループフィルタ部、５９  動き補償予測フレームメモリ、６０  動きパラメータ候補格納部。
【図１】
2013098711.tif 000004
【図２】
2013098711.tif 000005
【図３】
2013098711.tif 000006
【図４】
2013098711.tif 000007
【図５】
2013098711.tif 000008
【図６】
2013098711.tif 000009
【図７】
2013098711.tif 000010
【図８】
2013098711.tif 000011
【図９】
2013098711.tif 000012
【図１０】
2013098711.tif 000013
【図１１】
2013098711.tif 000014
【図１２】
2013098711.tif 000015
【図１３】
2013098711.tif 000016
【図１４】
2013098711.tif 000017
【図１５】
2013098711.tif 000018
【図１６】
2013098711.tif 000019
【図１７】
2013098711.tif 000020
【図１８】
2013098711.tif 000021