(57)【要約】【課題】符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができるようにする。【解決手段】動画像符号化装置の動き補償予測部５が予測画像を生成する際、動きベクトルバッファ５ａの中から、ブロック分割部２により分割された符号化ブロックに対応する動きベクトルを読み出すと、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファ５ａに格納する。【選択図】図１
2013009164.tif 000002
【特許請求の範囲】
【請求項１】
予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記符号化制御手段により選択された符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、上記ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、上記動きベクトルが格納されているブロックを示すインデックス情報を出力する動き補償予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード及び上記動き補償予測手段から出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、
上記動き補償予測手段は予測画像を生成する際、上記ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その読み出した動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像符号化装置。
【請求項２】
動き補償予測手段は、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルの大きさが所定の閾値より小さければ、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記符号化ブロックに対応する動きベクトルを上記動きベクトルバッファに格納するが、上記符号化ブロックに対応する動きベクトルの大きさが所定の閾値より大きい場合、上記動きベクトルを上記動きベクトルバッファに格納しないことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、上記可変長復号手段により可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
上記動き補償予測手段は予測画像を生成する際、上記インデックス情報が示すブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記インデックス情報が示すブロックに対応する動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像復号装置。
【請求項４】
動き補償予測手段は、インデックス情報が示すブロックに対応する動きベクトルの大きさが所定の閾値より小さければ、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記インデックス情報が示すブロックに対応する動きベクトルを上記動きベクトルバッファに格納するが、上記インデックス情報が示すブロックに対応する動きベクトルの大きさが所定の閾値より大きい場合、上記動きベクトルを上記動きベクトルバッファに格納しないことを特徴とする請求項３記載の動画像復号装置。
【請求項５】
符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を上記符号化制御処理ステップで決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、動き補償予測手段が、上記符号化制御処理ステップで選択された符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、上記ブロック分割処理ステップで分割された符号化ブロックに対応する動きベクトルを読み出し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、上記動きベクトルが格納されているブロックを示すインデックス情報を出力する動き補償予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記動き補償予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ、上記符号化制御処理ステップで選択された符号化モード及び上記動き補償予測処理ステップで出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備え、
上記動き補償予測処理ステップでは予測画像を生成する際、上記ブロック分割処理ステップで分割された符号化ブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記符号化ブロックに対応する動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像符号化方法。
【請求項６】
可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号処理ステップと、動き補償予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、上記可変長復号処理ステップで可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記動き補償予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
上記動き補償予測処理ステップでは予測画像を生成する際、上記インデックス情報が示すブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記インデックス情報が示すブロックに対応する動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いられる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法に関するものである。
【背景技術】
【０００２】
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ  Ｈ．２６ｘ」などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。
動画像符号化装置及び動画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、１枚のピクチャのみを参照して、画面間予測符号化を行うものをＰピクチャと称し、同時に２枚のピクチャを参照して、画面間予測符号化を行うものをＢピクチャと称する。
【０００３】
国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０｜ＩＴＵ−Ｔ  Ｈ．２６４）では、Ｂピクチャを符号化する際に、動き情報を符号化せず符号化済みのデータから予測するダイレクトモードと呼ばれる符号化モードを選択することができる（例えば、非特許文献１を参照）。
即ち、符号化対象のマクロブロックには、動きベクトルの符号化データを持たず、符号化済みの他のピクチャのマクロブロックの動きベクトルや、周囲のマクロブロックの動きベクトルを用いる所定の演算処理で、符号化対象のマクロブロックの動きベクトルを生成する符号化モードを選択することができる。
【０００４】
このダイレクトモードには、時間ダイレクトモードと空間ダイレクトモードの２種類が存在する。
時間ダイレクトモードでは、符号化済みの他ピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象のピクチャとの時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックの動きベクトルを生成する。
空間ダイレクトモードでは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照し、それらの動きベクトルから符号化対象のマクロブロックの動きベクトルを生成する。
このダイレクトモードでは、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。
ただし、ダイレクトモードの中で、変換係数を符号化しないモードをスキップモードと称する。以下、ダイレクトモードと記載するときは、スキップモードも含まれるものとする。
【０００５】
ここで、図１７は時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１７において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われているものとする。
【０００６】
例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（１）で求められる。
2013009164.tif 000003
【０００７】
なお、予測画像の生成に用いる参照画像は、参照に用いるベクトル毎に、参照画像リストして管理されており、２つのベクトルを用いる場合、各参照画像リストはリスト０、リスト１と称される。
参照画像リストに対して時間的に近いものから順番に格納され、通常はリスト０が前方向の参照画像を示し、リスト１が後方向の参照画像を示している。ただし、リスト１が前方向の参照画像を示し、リスト０が後方向の参照画像を示していてもよいし、リスト０とリスト１の双方が、前方向と後方向の参照画像を示していてもよい。また、並び順も時間的に近いものから並べる必要はない。
例えば、以下の非特許文献１には、参照画像リストをスライス毎に並び替えることが可能であることが記載されている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の動画像符号化装置は以上のように構成されているので、あるピクチャＢ２内のマクロブロックＭＶ１の動きベクトルを時間ダイレクトモードで生成する場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、符号化対象のマクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルが用いられる。このため、符号化対象のマクロブロックＭＢ１内の物体が空間的にほとんど移動しておらず、その物体がマクロブロックＭＢ２内に存在していれば、高精度に動きベクトルを生成することができるが、符号化対象のマクロブロックＭＢ１内の物体が空間的に大きく移動しており、その物体がマクロブロックＭＢ２内に存在していなければ、動きベクトルの生成精度が劣化してしまう課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る動画像符号化装置は、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、符号化制御手段により選択された符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出し、その動きベクトルを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルが格納されているブロックを示すインデックス情報を出力する動き補償予測手段と、ブロック分割手段により分割された符号化ブロックと動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ、符号化制御手段により選択された符号化モード及び動き補償予測手段から出力されたインデックス情報を可変長符号化して、その圧縮データ、符号化モード及びインデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、動き補償予測手段が予測画像を生成する際、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出すと、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファに格納するようにしたものである。
【発明の効果】
【００１２】
この発明によれば、動き補償予測手段が予測画像を生成する際、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出すと、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファに格納するように構成したので、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図４】この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【図５】最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
【図６】（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。
【図７】各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ５ａと符号化ブロックＢｎを示す説明図である。
【図８】符号化ブロックＢｎのサイズがＬｎ＝ｋＭｎである例を示す説明図である。
【図９】（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）のように分割する例を示す説明図である。
【図１０】図８又は図９のいずれかの分割を選択できる例を示す説明図である。
【図１１】変換ブロックサイズ単位が階層構造になっている例を示す説明図である。
【図１２】この発明の実施の形態２における時間ベクトルの格納方法を示す説明図である。
【図１３】時間方向の動きベクトルを圧縮して保持する際、対象となるブロックに含まれる動きベクトルの左上のベクトルを保持する例を示す説明図である。
【図１４】時間方向の動きベクトルを圧縮して保持する際、ブロックの中央に位置するベクトルを候補とする例を示す説明図である。
【図１５】動きベクトルの探索順序例を示す説明図である。
【図１６】参照ブロックの空間的に隣接したブロックの時間ベクトルを探索する例を示す説明図である。
【図１７】時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
この実施の形態１では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。
【００１５】
この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００１６】
符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分差信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。
【００１７】
この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００１８】
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１は動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード（動き情報を符号化しないインター符号化を含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部１は符号化制御手段を構成している。
【００１９】
ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
【００２０】
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、符号化制御部１から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
【００２１】
動き補償予測部５は各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ５ａを内蔵しており、符号化制御部１により選択された符号化モードがインター符号化モードである場合、動きベクトルバッファ５ａの中から、ブロック分割部２により分割された符号化ブロックに対応する動きベクトルを読み出し、その動きベクトルと符号化制御部１から出力されたインター予測パラメータを用いて、ブロック分割部２により分割された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、そのインター予測パラメータ（当該動きベクトルが格納されているブロックを示すインデックス情報を含む）を可変長符号化部１３に出力する処理を実施する。
また、動き補償予測部５は予測画像を生成する際、ブロック分割部２により分割された符号化ブロックに対応する動きベクトルを読み出すと、次フレームの動き補償予測処理に備えるため、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファ５ａに格納する処理を実施する。なお、動き補償予測部５は動き補償予測手段を構成している。
図１の例では、動きベクトルバッファ５ａが動き補償予測部５に内蔵されているものを示しているが、動きベクトルバッファ５ａは、動き補償予測部５の外部に設けられていてもよい。
【００２２】
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。
【００２３】
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
【００２４】
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２５】
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２６】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（インデックス情報を含む）を可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
【００２７】
図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
【００２８】
図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部２１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（インデックス情報を含む）を可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部２５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ２２に出力する処理を実施する。なお、可変長復号部２１は可変長復号手段を構成している。
【００２９】
切替スイッチ２２は可変長復号部２１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部２１から出力されたインター予測パラメータを動き補償予測部２４に出力する処理を実施する。
イントラ予測部２３は切替スイッチ２２から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
【００３０】
動き補償予測部２４は各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ２４ａを内蔵しており、切替スイッチ２２から出力された符号化ブロックに係る符号化モードがインター符号化モードである場合、動きベクトルバッファ２４ａの中から、可変長復号部２１により可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出し、その動きベクトルと切替スイッチ２２から出力されたインター予測パラメータを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
また、動き補償予測部２４は予測画像を生成する際、インデックス情報が示すブロックに対応する動きベクトルを読み出すと、次フレームの動き補償予測処理に備えるため、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、そのインデックス情報が示すブロックに対応する動きベクトルを動きベクトルバッファ２４ａに格納する処理を実施する。なお、動き補償予測部２４は動き補償予測手段を構成している。
図３の例では、動きベクトルバッファ２４ａが動き補償予測部２４に内蔵されているものを示しているが、動きベクトルバッファ２４ａは、動き補償予測部２４の外部に設けられていてもよい。
【００３１】
逆量子化・逆変換部２５は可変長復号部２１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部２５は差分画像生成手段を構成している。
【００３２】
加算部２６は逆量子化・逆変換部２５から出力された復号予測差分信号とイントラ予測部２３又は動き補償予測部２４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部２６は復号画像生成手段を構成している。
イントラ予測用メモリ２７はイントラ予測部２３により次回のイントラ予測処理で用いられる画像として、加算部２６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
【００３３】
ループフィルタ部２８は加算部２６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ２９に出力する処理を実施する。
動き補償予測フレームメモリ２９は動き補償予測部２４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部２８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
【００３４】
図３では、動画像復号装置の構成要素である可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償予測部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償予測部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
【００３５】
次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
【００３６】
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
【００３７】
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード（動き情報を符号化しないインター符号化を含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００３８】
ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
ここで、図５は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図５の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図５の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
【００３９】
深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図５の例ではＬｎ＝Ｍｎのケースを示している。
以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
【００４０】
ブロック分割部２は、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と記する。
【００４１】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、各色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
【００４２】
符号化ブロックＢｎは、図５に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢｎに属するパーティションをＰｉｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
符号化ブロックＢｎに属するパーティションＰｉｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉｎ毎に、個別の予測パラメータを選択することができる。
【００４３】
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図６（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図６（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図６（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
【００４４】
切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢｎのパーティションＰｉｎに対して最適な符号化モードｍ（Ｂｎ）を選択すると、その符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉｎをイントラ予測部４に出力する。
一方、その符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉｎを動き補償予測部５に出力する。
【００４５】
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉｎを受けると、符号化制御部１により選択された符号化モードｍ（Ｂｎ）に対応するイントラ予測パラメータを用いて、その符号化ブロックＢｎのパーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐｉｎを生成する（ステップＳＴ４）。
イントラ予測部４は、イントラ予測画像Ｐｉｎを生成すると、そのイントラ予測画像Ｐｉｎを減算部６及び加算部９に出力するが、図３の動画像復号装置でも同じイントラ予測画像Ｐｉｎを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
なお、イントラ予測部４のイントラ予測処理は、例えば、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６−１０）に定められているアルゴリズムに従うが、このアルゴリズムに限定されるものではない。
【００４６】
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉｎを受けると、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ５ａの中から、そのパーティションＰｉｎに対応する動きベクトルの読み出しを行う。
ここで、図７は各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ５ａと符号化ブロックＢｎを示す説明図である。
動きベクトルバッファ５ａにおける各々のブロックは、符号化ブロックＢｎ内のパーティションＰｉｎと対応しており、例えば、図中斜線が施されているパーティションＰｉｎに対するイントラ予測処理を実施する場合、そのパーティションＰｉｎと空間的に同じ位置にある動きベクトルバッファ５ａ内のブロック（図中、網掛けが施されているブロック）に格納されている動きベクトルの読み出しを行う。
【００４７】
動き補償予測部５は、動きベクトルバッファ５ａの中から、パーティションＰｉｎに対応する動きベクトルを含む動き情報を読み出すと、その動き情報と符号化制御部１から出力されたインター予測パラメータを用いて、そのパーティションＰｉｎに対する動き補償予測処理を実施して、インター予測画像Ｐｉｎを生成する（ステップＳＴ５）。
ここでは、パーティションＰｉｎと空間的に同じ位置にある動きベクトルバッファ５ａ内のブロックに格納されている動き情報を用いる例（時間予測を用いる例）を示しているが、その動きベクトルを用いるよりも、そのパーティションＰｉｎと同じピクチャに属する動きベクトルであって、そのパーティションＰｉｎの周辺に位置しているブロックの動き情報を用いる方（空間予測を用いる方）が、符号化効率が高くなる場合には、その動き情報を用いて、インター予測画像Ｐｉｎを生成する。
【００４８】
動き補償予測部５は、インター予測画像Ｐｉｎを生成すると、そのインター予測画像Ｐｉｎを減算部６及び加算部９に出力するが、図３の動画像復号装置でも同じインター予測画像Ｐｉｎを生成できるようにするため、そのインター予測パラメータを可変長符号化部１３に出力する。
なお、インター予測パラメータには、下記の情報が含まれている。
（１）符号化ブロックＢｎ内のパーティションＰｉｎの分割状況を記述しているモード情報
（２）パーティションＰｉｎの動きベクトル
（３）動き補償予測フレームメモリ１２により複数の参照画像が格納されている場合、いずれの参照画像を用いて、動き補償予測処理を実施するかを示す参照画像の指示インデックス情報
（４）複数の動きベクトルの予測値候補がある場合（例えば、パーティションＰｉｎと空間的に同じ位置にある動きベクトルバッファ５ａ内のブロックに格納されている動きベクトル、パーティションＰｉｎと同じピクチャに属する動きベクトル）、いずれのブロックの動きベクトルを選択して使用するかを示すインデックス情報
（５）複数の動き補償内挿フィルタがある場合、いずれのフィルタを選択して使用するかを示すインデックス情報
（６）パーティションＰｉｎの動きベクトルが複数の画素精度（半画素、１／４画素、１／８画素など）を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
【００４９】
また、動き補償予測部５は、インター予測画像Ｐｉｎを生成すると、次フレームの動き補償予測処理に備えるため、インター予測画像Ｐｉｎの生成に用いた動き情報（パーティションＰｉｎに対応する動きベクトル、参照ピクチャインデックス）を動きベクトルバッファ５ａに格納する。
次フレームでは、パーティションＰｉｎ内の物体が、インター予測画像Ｐｉｎの生成に用いた動きベクトルが指し示す位置のブロックに移動している可能性が高い。
一方、時間予測モードでは、次フレームの動き補償予測処理においても、パーティションＰｉｎと空間的に同じ位置にある動きベクトルバッファ５ａ内のブロックに格納されている動きベクトルが読み出される。
そこで、動き補償予測部５は、パーティションＰｉｎ内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度な動きベクトルを用いることができるようにするため、インター予測画像Ｐｉｎの生成に用いた動きベクトルを、指し示す位置のブロックに対応する動きベクトルとして、インター予測画像Ｐｉｎの生成に用いた動きベクトルを動きベクトルバッファ５ａに格納する。
【００５０】
例えば、インター予測画像Ｐｉｎの生成に用いた動きベクトルが、図７の太枠で示されるブロックの動きベクトルである場合、この動きベクトルは右上のブロック（図中斜線が施されているブロック）を指し示しているので、この動きベクトルは、右上のブロックの動きベクトルとして動きベクトルバッファ５ａに格納される。
具体的には、パーティションＰｉｎに対応する動きベクトルが（ＭＶｘ，ＭＶｙ）で表され、パーティションＰｉｎの空間的な位置が（ｘ，ｙ）で表される場合、その動きベクトルを格納するブロックの空間的な位置（Ｘ，Ｙ）は、下記の式（２）に示されるようになる。
（Ｘ，Ｙ）＝（ｘ，ｙ）＋（ＭＶｘ，ＭＶｙ）                （２）
これにより、パーティションＰｉｎの動きを考慮して、動き情報を格納することができるため、その後のフレームを符号化する際に時間ベクトルを使用する場合、符号化対象のブロックの動きに近い動きベクトルを予測に用いることができるようになり、符号化効率の向上に寄与することができる。
【００５１】
減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐｉｎ、インター予測画像Ｐｉｎ）を生成すると、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉｎから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉｎ、インター予測画像Ｐｉｎ）を減算することで差分画像を生成し、その差分画像を示す予測差分信号ｅｉｎを変換・量子化部７に出力する（ステップＳＴ６）。
【００５２】
変換・量子化部７は、減算部６から差分画像を示す予測差分信号ｅｉｎを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
【００５３】
逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ８）。
【００５４】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉｎ、インター予測画像Ｐｉｎ）を示す予測信号を加算することで、局所復号パーティション画像、ないしは、その集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。
【００５５】
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。
【００５６】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（インデックス情報を含む）をエントロピー符号化する。
可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。
【００５７】
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
ループフィルタ部１１によるフィルタリング処理は、加算部９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が出力された後に１画面分まとめて行ってもよい。
【００５８】
次に、図３の動画像復号装置の処理内容を説明する。
可変長復号部２１は、図１の動画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する（図４のステップＳＴ２１）。
【００５９】
可変長復号部２１は、図１の符号化制御部１と同様の手順で、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
【００６０】
ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）には、最大サイズの符号化ブロックＢ０の分割状態を示す情報が含まれているので、可変長復号部２１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）を復号して、階層的に分割されている各々の符号化ブロックＢｎを特定する（ステップＳＴ２３）。
可変長復号部２１は、各々の符号化ブロックＢｎを特定すると、その符号化ブロックＢｎの符号化モードｍ（Ｂｎ）を復号し、その符号化モードｍ（Ｂｎ）に属しているパーティションＰｉｎの情報に基づいて、符号化ブロックＢｎに属しているパーティションＰｉｎを特定する。
可変長復号部２１は、符号化ブロックＢｎに属しているパーティションＰｉｎを特定すると、パーティションＰｉｎ毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（インデックス情報を含む）を復号する（ステップＳＴ２４）。
【００６１】
切替スイッチ２２は、可変長復号部２１から出力された符号化ブロックＢｎに属しているパーティションＰｉｎの符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力する。
一方、パーティションＰｉｎの符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部２１から出力されたインター予測パラメータを動き補償予測部２４に出力する。
イントラ予測部２３は、切替スイッチ２２からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックＢｎのパーティションＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐｉｎを生成する（ステップＳＴ２６）。
【００６２】
動き補償予測部２４は、切替スイッチ２２からインター予測パラメータを受けると、動きベクトルバッファ２４ａの中から、そのインター予測パラメータに含まれているインデックス情報が示すブロックに対応する動きベクトルの読み出しを行う。
図１の動き補償予測部５内の動きベクトルバッファ５ａと、動き補償予測部２４内の動きベクトルバッファ２４ａには同じ動きベクトルが格納されているので、動き補償予測部２４がインデックス情報を参照して、動きベクトルの読み出し処理を行うことで、図１の動き補償予測部５がインター予測画像Ｐｉｎを生成する際に用いている動きベクトルと同じ動きベクトルを読み出すことができる。
【００６３】
動き補償予測部２４は、動きベクトルバッファ２４ａの中から、パーティションＰｉｎに対応する動きベクトルを読み出すと、その動きベクトルと切替スイッチ２２から出力されたインター予測パラメータを用いて、符号化ブロックＢｎのパーティションＰｉｎに対する動き補償予測処理を実施して、インター予測画像Ｐｉｎを生成する（ステップＳＴ２７）。
また、動き補償予測部２４は、インター予測画像Ｐｉｎを生成すると、次フレームの動き補償予測処理に備えるため、図１の動き補償予測部５と同様に、インター予測画像Ｐｉｎの生成に用いた動き情報（パーティションＰｉｎに対応する動きベクトル、参照画像インデックス）を動きベクトルバッファ２４ａに格納する。
即ち、動き補償予測部２４は、パーティションＰｉｎ内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度な動きベクトルを用いることができるようにするため、インター予測画像Ｐｉｎの生成に用いた動きベクトルが指し示す位置のブロックに対応する動き情報として、インター予測画像Ｐｉｎの生成に用いた動き情報を動きベクトルバッファ２４ａに格納する。
【００６４】
例えば、インター予測画像Ｐｉｎの生成に用いた動き情報が、図７の太枠で示されるブロックの動きベクトルである場合、この動きベクトルは右上のブロック（図中斜線が施されているブロック）を指し示しているので、この動き情報は、右上のブロックの動き情報として動きベクトルバッファ２４ａに格納される。
具体的には、パーティションＰｉｎに対応する動きベクトルが（ＭＶｘ，ＭＶｙ）で表され、パーティションＰｉｎの空間的な位置が（ｘ，ｙ）で表される場合、その動きベクトルを格納するブロックの空間的な位置（Ｘ，Ｙ）は、下記の式（３）に示されるようになる。
（Ｘ，Ｙ）＝（ｘ，ｙ）＋（ＭＶｘ，ＭＶｙ）                （３）
【００６５】
逆量子化・逆変換部２５は、可変長復号部２１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部２６に出力する（ステップＳＴ２８）。
【００６６】
加算部２６は、逆量子化・逆変換部２５から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部２３又は動き補償予測部２４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ２７に格納するとともに、その復号画像信号をループフィルタ部２８に出力する（ステップＳＴ２９）。
【００６７】
ステップＳＴ２３〜ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
ループフィルタ部２８は、加算部２６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ２９に格納する（ステップＳＴ３１）。
ループフィルタ部２８によるフィルタリング処理は、加算部２６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。
【００６８】
以上で明らかなように、この実施の形態１によれば、動きベクトルが指し示す位置のブロックに対応する動き情報として、その符号化ブロックに対応する動き情報を動きベクトルバッファ５ａに格納するように構成したので、動画像符号化装置の動き補償予測部５が予測画像を生成する際、動きベクトルバッファ５ａの中から、ブロック分割部２により分割された符号化ブロックに対応する動き情報を読み出すと、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる効果を奏する。
【００６９】
また、この実施の形態１によれば、動きベクトルが指し示す位置のブロックに対応する動き情報として、そのインデックス情報が示すブロックに対応する動き情報を動きベクトルバッファ２４ａに格納するように構成したので、動画像復号装置の動き補償予測部２４が予測画像を生成する際、動きベクトルバッファ２４ａの中から、可変長復号部２１により可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出すと、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる効果を奏する。
【００７０】
なお、この実施の形態１では、動きベクトルを動きベクトルバッファ５ａ，２４ａに格納するものを示したが、動きベクトルの格納は、ブロック単位で保持することが考えられる。この場合、例えば、最小の動き予測単位である４×４単位で保持することが考えられる。
【００７１】
この実施の形態１では、動きベクトル（ＭＶｘ，ＭＶｙ）が指し示す位置のブロックに動きベクトルを格納するものを示したが、この場合、異なるパーティションを基点とする複数の動きベクトルが、同じ位置のブロックを指し示すことがある。
この場合、当該ブロックの動きベクトルとして、動きベクトルを上書きするようにしてもよいし、信頼性の高い方の動きベクトルを残すようにしてもよい。動きベクトルの信頼性は、例えば、差分ベクトル（Δｘ，Δｙ）の大きさで測ることができる。
なお、動きベクトルを上書きすることで、処理量を増やさずに、この実施の形態１を適用することができる。一方、動きベクトルの信頼性を考慮することで、処理量が増えるが、更なる性能改善に寄与することができる。
【００７２】
この実施の形態１では、動きベクトル（ＭＶｘ，ＭＶｙ）が指し示す位置のブロックに動きベクトルを格納するようにしているため、どの動きベクトルも指し示さない位置のブロックが存在することが考えられる。
この場合、当該ブロックは０ベクトルとしてもよいし、動きベクトルが存在しないため、利用禁止にしてもよい。
【００７３】
この実施の形態１では、動き情報を符号化しないモードのベクトル候補をスライスで決定するようにしてもよい。
どのベクトルを候補とするかはスライスヘッダに多重する。例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする。逆にカメラが固定な映像では空間ベクトルの効果が大きいため、候補に加えるなどといった方法が考えられる。
【００７４】
候補となるベクトルが大きい方が、より原画像に近い予測画像を生成することができるが、動画像符号化装置の処理量が増大するため、効果がないベクトルは予め候補から外しておくなど、映像の局所性を考慮して決定することにより、処理量と符号化効率のバランスを図ることができる。
候補となるベクトルの切り替えは、例えば、ベクトル毎にｏｎ／ｏｆｆのフラグを設け、そのフラグがｏｎのベクトルのみを候補とする方法が考えられる。
【００７５】
選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えるようにしてもよい。
また、選択候補となるセットを一つ以上用意し、その候補セットのインデックスを符号化するようにしてもよい。
また、マクロブロックや符号化ブロックごとに切り替えてもよい。マクロブロックや符号化ブロックごとに切り替えることで、局所性を持たせることができ、符号化効率の改善を図ることができる。
【００７６】
また、選択候補はパーティションブロックサイズ毎に一意に決定しておいてもよい。一般的に、ブロックサイズが大きくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。
そのため、例えば、メディアン予測で決定される動きベクトルを候補から外すことで、符号化効率を落とさずに処理量を減らすことができる。
【００７７】
この実施の形態１では、動き情報を符号化しないモードの動きベクトルを生成するものを示したが、これは通常の動きベクトルの符号化に使用する予測ベクトルに使用してもよい。予測ベクトルに使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。
また、この実施の形態１の動き情報を符号化しないモードでは、２本のベクトルを用いた予測を想定したが、ベクトルの本数は３本以上であってもよい。一般的に、予測画像に用いる参照画像が多いほど性能が向上することが知られている。そのため、処理量は増えるが、符号化効率の向上に寄与する。
【００７８】
この実施の形態１では、図５に示すように、符号化ブロックＢｎのサイズがＬｎ＝Ｍｎであるものを示したが、符号化ブロックＢｎのサイズがＬｎ≠Ｍｎであってもよい。
例えば、図８に示すように、符号化ブロックＢｎのサイズがＬｎ＝ｋＭｎとなる場合が考えられる。
次の分割では、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ，Ｍｎ）となり、以降の分割は、図５と同様の分割を行ってもよいし、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）のように分割を行ってもよい（図９を参照）。
【００７９】
また、図１０に示すように、図８と図９の分割のどちらかを選択できるようにしてもよい。選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献１のＨ．２６４のような１６×１６を１つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。
上記では、符号化ブロックＢｎのサイズがＬｎ＝ｋＭｎとなる場合を示したが、ｋＬｎ＝Ｍｎのように縦に連結したものであっても、同様の考えで分割が可能であることは言うまでもない。
【００８０】
上記実施の形態１では、量子化・変換部７、逆量子化・逆変換部８，２５が予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換処理（逆変換処理）を実施するものを示したが、変換ブロックサイズ単位は、変換処理単位によって一意に決定してもよいし、図１１に示すように階層構造にしてもよい。この場合、各階層では分割するか否かを示すフラグを符号化する。
上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。
上記変換は、正方形での変換を仮定しているが、長方形など、他の矩形での変換であってもよい。
【００８１】
実施の形態２．
上記実施の形態１では、動き補償予測部５，２４が、動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、符号化ブロックに対応する動きベクトルを動きベクトルバッファ５ａ，２４ａに格納するものを示したが、この実施の形態２では、符号化ブロックに対応する動きベクトルの大きさが所定の閾値より大きい場合、その動きベクトルを動きベクトルバッファ５ａ，２４ａに格納しないようにすることで、時間ベクトルの信頼性を考慮する方法について述べる。その他の構成は、上記実施の形態１と同様である。
【００８２】
図１２はこの発明の実施の形態２における時間ベクトルの格納方法を示す説明図である。
動き補償予測部５，２４は、インター予測画像Ｐｉｎを生成すると、上述したように、次フレームの動き補償予測処理に備えるため、インター予測画像Ｐｉｎの生成に用いた動きベクトル（パーティションＰｉｎに対応する動きベクトル）を動きベクトルバッファ５ａ，２４ａに格納する。
その際、パーティションＰｉｎに対応する動きベクトル（ＭＶｘ，ＭＶｙ）の大きさ｜（ＭＶｘ，ＭＶｙ）｜に対する閾値Ｔｈを設け、その動きベクトル（ＭＶｘ，ＭＶｙ）の大きさ｜（ＭＶｘ，ＭＶｙ）｜が閾値Ｔｈより小さければ（下記の式（４）が成立する場合）、上記実施の形態１と同様に、その動きベクトル（ＭＶｘ，ＭＶｙ）を動きベクトルバッファ５ａ，２４ａに格納するが、その動きベクトル（ＭＶｘ，ＭＶｙ）の大きさ｜（ＭＶｘ，ＭＶｙ）｜が閾値Ｔｈ以上であれば（下記の式（４）が成立しない場合）、その動きベクトル（ＭＶｘ，ＭＶｙ）を動きベクトルバッファ５ａ，２４ａに格納しないようにする。
Ｔｈ  ＜  ｜（ＭＶｘ，ＭＶｙ）｜                          （４）
【００８３】
なお、閾値Ｔｈは、例えば、下記の式（５）のように、ブロックサイズのα倍とすることが考えられる。
Ｔｈ＝｜(block_width，block_height)｜×α                      （５）
ただし、block_widthはブロックサイズの横の長さを示し、block_heightはブロックサイズの縦の長さを示している。
【００８４】
大きな動きベクトルが発生している場合、その動きベクトルを時間ベクトルとして用いるフレームでは、空間的な位置がずれてしまうため、信頼性の低いベクトルとなる。
そのため、予め、大きな動きベクトルを排除することで、信頼性の低いベクトルが予測ベクトル候補に含まれることを避けることができ、インデックスの符号量を減らせるため、符号化効率の向上に寄与することができる。
【００８５】
この実施の形態２では、閾値Ｔｈより小さい動きベクトルを動きベクトルバッファ５ａ，２４ａに格納するものを示したが、閾値Ｔｈより小さいか否かの判定は、動きベクトルを動きベクトルバッファ５ａ，２４ａに格納する時点ではなく、予測ベクトル候補を作成する時点であってもよい。
この場合、時間ベクトルのスケーリングを行った後で判定することになるため処理量は増えるが、フレームレートや符号化方式の違いを吸収することができ、符号化効率の向上に寄与することができる。
【００８６】
この実施の形態２では、動きベクトルの大きさ｜（ＭＶｘ，ＭＶｙ）｜と閾値Ｔｈを比較するものを示したが、動きベクトルの成分毎に、各成分の閾値Ｔｈｘ，Ｔｈｙと比較し、動きベクトルのｘ成分｜ＭＶｘ｜が閾値Ｔｈｘより小さく、かつ、動きベクトルのｙ成分｜ＭＶｙ｜が閾値Ｔｈｙより小さい場合に、動きベクトルを動きベクトルバッファ５ａ，２４ａに格納するようにしてもよい。
2013009164.tif 000004
【００８７】
実施の形態１，２では、時間方向の動き情報を動きベクトルバッファ５ａ，２４ａに格納するものを示したが、動きベクトルバッファ５ａ，２４ａのメモリ量を削減するために、動きベクトルバッファ５ａ，２４ａに格納する動きベクトルのデータサイズを圧縮するようにしてもよい。
例えば、最小ブロックサイズが４×４である場合、時間方向の動きベクトルは４×４単位で保持するのが通常であるが、これを１６×１６単位で保持することが考えられる。
【００８８】
上記のように、時間方向の動きベクトルを圧縮して保持する場合、保持する単位よりも小さいブロックサイズで処理を行う際に、参照する位置が正しい位置を示さなくなるという問題がある。
そのため、保持する単位よりも小さいブロックの場合の時間方向の動きベクトルを使用しないという処理を行ってもよい。精度の低いベクトルを候補から外すことで、処理量の削減とインデックス符号量の削減という効果がある。
【００８９】
また、上記のように、時間方向の動きベクトルを圧縮して保持する場合には、図１３に示すように、対象となるブロックに含まれる動き情報のうち、左上の動き情報を保持してもよいし、図１４に示すように、ブロックの中央に位置する動き情報を候補としてもよい。
あるいは、図１５に示すように、あらかじめＡ〜Ｄのような探索の順番を決めておき、その順番で利用可能な動き情報を探索し、最初に見つけた利用可能な動き情報を保持するようにしてもよい。
【００９０】
実施の形態１，２のように、格納された動き情報を用いて、時間ベクトルを生成して符号化を行う場合、参照先のブロックには、動き情報が存在しない場合が考えられる。
この場合、時間ベクトルは存在しないとして候補から削除してもよいし、図１６に示すように、参照ブロックの空間的に隣接したブロックの時間ベクトルを探索するようにしてもよい。
この場合、処理量は増えるが、候補ベクトルの数が増えるので、符号化効率の改善に寄与する。また、必ず時間ベクトルを候補に加えることで、途中からの再生時やパケットロスなどで参照画像がなくなってしまった場合に対してもベクトルの候補数を減らすことなく、復号できるため、エラー耐性が向上する効果もある。
【００９１】
実施の形態１、２では、動きベクトル符号化時の予測ベクトルに用いる動きベクトルについて述べたが、これは、スキップモードなど、他のモードを選択した際にも同様の方法で格納した時間ベクトルを使用できることは言うまでもない。
【００９２】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００９３】
１  符号化制御部（符号化制御手段）、２  ブロック分割部（ブロック分割手段）、３  切替スイッチ、４  イントラ予測部、５  動き補償予測部（動き補償予測手段）、５ａ  動きベクトルバッファ、６  減算部（差分画像生成手段）、７  変換・量子化部（画像圧縮手段）、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ、１１  ループフィルタ部、１２  動き補償予測フレームメモリ、１３  可変長符号化部（可変長符号化手段）、２１  可変長復号部（可変長復号手段）、２２  切替スイッチ、２３  イントラ予測部、２４  動き補償予測部（動き補償予測手段）、２４ａ  動きベクトルバッファ、２５  逆量子化・逆変換部（差分画像生成手段）、２６  加算部（復号画像生成手段）、２７  イントラ予測用メモリ、２８  ループフィルタ部、２９  動き補償予測フレームメモリ。
【図１】
2013009164.tif 000005
【図２】
2013009164.tif 000006
【図３】
2013009164.tif 000007
【図４】
2013009164.tif 000008
【図５】
2013009164.tif 000009
【図６】
2013009164.tif 000010
【図７】
2013009164.tif 000011
【図８】
2013009164.tif 000012
【図９】
2013009164.tif 000013
【図１０】
2013009164.tif 000014
【図１１】
2013009164.tif 000015
【図１２】
2013009164.tif 000016
【図１３】
2013009164.tif 000017
【図１４】
2013009164.tif 000018
【図１５】
2013009164.tif 000019
【図１６】
2013009164.tif 000020
【図１７】
2013009164.tif 000021