(57)【要約】  符号化対象となる４：４：４フォーマットの映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う方法等の提供。  デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報に基づいて動きベクトル探索を行い、該探索された動きベクトルに基づいて動き補償予測画像を生成する予測部と、前記仮想画素精度指定情報をビットストリームに多重化するとともに、前記探索された動きベクトルの大きさと、該探索された動きベクトルの予測に用いる動きベクトルの大きさとに基づいて、符号化する動きベクトルデータをビットストリームに多重化する符号化部とを備える。
2009088038.tif 000002
【特許請求の範囲】
【請求項１】
デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、
動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報に基づいて動きベクトル探索を行い、該探索された動きベクトルに基づいて動き補償予測画像を生成する予測部と、
前記仮想画素精度指定情報をビットストリームに多重化するとともに、前記探索された動きベクトルの大きさと、該探索された動きベクトルの予測に用いる動きベクトルの大きさとに基づいて、符号化する動きベクトルデータをビットストリームに多重化する符号化部とを備えることを特徴とする画像符号化装置。
【請求項２】
デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号装置であって、
動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報をビットストリームから抽出するとともに、動きベクトルが割り当てられる領域の単位で動きベクトルの符号化データをビットストリームから抽出して動きベクトルを復元する復号部と、
該復号部によって復号される動きベクトルに基づいて動き補償予測画像を生成する予測部とを備え、
前記復号部は、ビットストリームから抽出された動きベクトル符号化データと、該復号対象の動きベクトルの予測に用いる動きベクトルとから復元されるデータの大きさと、前記ビットストリームから抽出した仮想画素精度指定情報とに基づいて動きベクトルを復号することを特徴とする画像復号装置。
【請求項３】
デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化方法であって、
動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報に基づいて動きベクトル探索を行い、該探索された動きベクトルに基づいて動き補償予測画像を生成する予測ステップと、
前記仮想画素精度指定情報をビットストリームに多重化するとともに、前記探索された動きベクトルの大きさと、該探索された動きベクトルの予測に用いる動きベクトルの大きさとに基づいて、符号化する動きベクトルデータをビットストリームに多重化する符号化ステップとを備えることを特徴とする画像符号化方法。
【請求項４】
デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化された画像符号化ビットストリームを受信して映像信号を復元する画像復号方法であって、
動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報をビットストリームから抽出するとともに、動きベクトルが割り当てられる領域の単位で動きベクトルの符号化データをビットストリームから抽出して動きベクトルを復元する復号ステップと、
該復号される動きベクトルに基づいて動き補償予測画像を生成する予測ステップとを備え、
前記復号ステップは、ビットストリームから抽出された動きベクトル符号化データと、該復号対象の動きベクトルの予測に用いる動きベクトルとから復元されるデータの大きさと、前記ビットストリームから抽出した仮想画素精度指定情報とに基づいて動きベクトルを復号することを特徴とする画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に関する。
【背景技術】
【０００２】
従来、MPEGやITU-T H.26xなどの国際標準映像符号化方式では、主として４：２：０フォーマットと呼ばれる、標準化された入力信号フォーマットを圧縮処理対象信号として用いてきた。４：２：０とは、RGBなどのカラー動画像信号を輝度成分(Y)と２つの色差成分(Cb、Cr)に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、MPEG-4 AVC/H.264(以下、AVC)のような国際標準映像符号化方式(非特許文献１)では、このように符号化を行う前に色差成分のダウンサンプルを行うことで符号化対象の原情報量を削減しておくことを前提としていた。一方、デジタルシネマなどのコンテンツにおいては、コンテンツ制作時の色表現を上映時に正確に再現することを目的として、色差成分をダウンサンプルすることなく輝度成分と同一サンプルで符号化する４：４：４フォーマットでの直接符号化方式を推奨している。この目的に適した方式として、非特許文献２のような標準方式がある。４：２：０フォーマットと４：４：４フォーマットの違いを図９に示す。同図において、４：２：０フォーマットは輝度(Y)・色差(Cb,Cr)信号から構成され、色差信号のサンプルは輝度信号の２ｘ２サンプル分相当につき１つであるのに対し、４：４：４フォーマットは特に色を表現する色空間をY,Cb,Crに限定せず、各色成分の信号のサンプル比が１：１となっていることを示している。【０００３】
【非特許文献１】MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
【非特許文献２】MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264  Amendment2
【発明の開示】
【発明が解決しようとする課題】
【０００４】
例えば、非特許文献２による４：４：４フォーマットの符号化では、図１０に示すように、まず、あらかじめ符号化対象となる入力映像信号１００１（４：４：４フォーマット）を直接または適当な色空間（Y,Cb,Crなど）へ変換を行った後、ブロック分割部１００２においてマクロブロック(16画素×16ラインの矩形ブロック)の単位に分割されて符号化映像信号１００３として予測部１００４へ入力する。非特許文献２では、マクロブロックは３つの色成分をまとめた単位で構成しても良いし、各色成分を独立したピクチャとみなして、単一色成分の矩形ブロックとして構成してもよく、どちらの構成のマクロブロックを用いるかをシーケンスレベルで選択可能となっている。予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で予測を行う場合、マクロブロック自体、ないしはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。圧縮部１００６は、予測誤差信号１００５に対してDCT(離散コサイン変換)などの変換処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。これを予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３を得る。復号信号１０１３は、以降の符号化映像信号１００３のための予測信号１０１２を生成する目的でメモリ１０１４に格納される。図示していないが、メモリ１０１４へ書き込む前に、復号信号にデブロッキングフィルタを施してブロックひずみを除去する処理を行うように構成される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１５は可変長符号化部１００８へ送られ、ビットストリーム１００９として出力される。ここで、予測信号生成用パラメータ１０１５には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトルなどが含まれる。マクロブロックを３つの色成分をまとめた単位で構成している場合は、予測信号生成用パラメータ１０１５は３つの色成分に共通的に適用されるパラメータとして検出され、各色成分を独立したピクチャとみなして、マクロブロックを単一色成分の矩形ブロックとして構成している場合は、予測信号生成用パラメータ１０１５は各色成分に個別に適用されるパラメータとして検出される。【０００５】
４：４：４フォーマットの映像信号は、各色成分の同一数のサンプルが含まれており、従来の４：２：０フォーマットの映像信号に比べて厳密な色再現性を有する反面、圧縮符号化の意味では冗長な情報量を含んでいる。４：４：４フォーマットの映像信号の圧縮効率を高めるためには、従来の４：２：０フォーマットの固定的な色空間定義(Y,Cb,Cr)に対して、さらに信号に含まれる冗長度を低減する必要がある。非特許文献２による４：４：４フォーマットの符号化では、符号化映像信号１００３は信号の統計的・局所的な性質に寄らず、各色成分を輝度信号とみなして符号化を行い、予測部１００４、圧縮部１００６、可変長符号化部１００８のいずれにおいても符号化対象信号の性質を最大限に考慮した信号処理は行われない。【０００６】
そこで、本発明は、符号化対象となる４：４：４フォーマットの映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う方法を提供し、上記従来技術に述べたように、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明にかかわる画像符号化装置は、デジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で動き補償予測を用いて圧縮符号化を行う画像符号化装置であって、動きベクトルが指し示す画素位置の精度の上限を指定する仮想画素精度指定情報に基づいて動きベクトル探索を行い、該探索された動きベクトルに基づいて動き補償予測画像を生成する予測部と、前記仮想画素精度指定情報をビットストリームに多重化するとともに、前記探索された動きベクトルの大きさと、該探索された動きベクトルの予測に用いる動きベクトルの大きさとに基づいて、符号化する動きベクトルデータをビットストリームに多重化する符号化部とを備えるものである。
【発明の効果】
【０００８】
本発明の画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法によれば、Y、Cb、Crなどの固定された色空間に限定せず多様な色空間を利用する符号化を行う場合において、各色成分間に存在する局所的な信号相関を適応的に除去できるように構成することができ、色空間の定義が種々に及ぶ場合にも最適な符号化処理を行うことができる。【０００９】
また、本発明の画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法によれば、Y、Cb、Crなどの固定された色空間に限定せず多様な色空間を利用する符号化を行う場合において、各色成分で用いるイントラ予測モード情報やインター予測モード情報を柔軟に選択できるように構成することができ、色空間の定義が種々に及ぶ場合にも最適な符号化処理を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】1/2画素精度の仮想画素を生成する処理の様子を示す説明図。（実施例１）
【図２】1/4画素精度の仮想画素を生成する処理の様子を示す説明図。（実施例１）
【図３】実施の形態１における画像符号化装置の構成を示す説明図。（実施例１）
【図４】図３の画像符号化装置における適応動きベクトル探索・符号化のフローチャート。（実施例１）
【図５】図３の予測部４で評価される動き補償予測モードの、マクロブロック内分割パターン(動きベクトル割り当てパターン)を示す説明図。（実施例１）
【図６】実施の形態１における画像符号化装置から出力されるビットストリームのデータ配列を示す説明図。（実施例１）
【図７】実施の形態１における画像復号装置の構成を示す説明図。（実施例１）
【図８】図７の画像復号装置における適応動きベクトル復号のフローチャート。（実施例１）
【図９】４：２：０、４：４：４フォーマットの説明図。
【図１０】従来の画像符号化装置(非特許文献２)の構成を示す説明図。
【発明を実施するための最良の形態】
【００１１】
（実施例１）
本実施の形態では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置、画像復号装置につき、動き補償予測処理を行う際の動きベクトル検出精度を動的に切り替える画像符号化装置、画像復号装置について述べる。【００１２】
デジタル映像信号は、もとのアナログ映像信号をサンプリングすることによって生成された離散的な画素情報(以降、整数画素と呼ぶ)で構成されるものであるが、隣接する整数画素間に内挿演算によって仮想的なサンプル(仮想画素)を作り出し、仮想画素を動き補償予測値として用いる技術が広く利用されている。この技術には、予測の候補点が増えることによる予測精度の向上と、内挿演算に伴う平滑化フィルタ効果によって予測画像の特異点が削減され予測効率が向上するという２つの効果があることが知られている。一方で、仮想画素の精度が向上すると、動き量を表現する動きベクトルのダイナミックレンジも広がるため、一般にその符号量も増加する。たとえば、仮想画素を使用せず整数画素だけを用いる場合、動きベクトルの値の単位は整数画素単位でよい。しかし、整数画素と整数画素の間の1/2画素精度の位置までを動きベクトルで指定する場合には、動きベクトルの値の単位は1/2画素単位となるので、整数画素を表すには倍のダイナミックレンジが必要となる。【００１３】
MPEG-1,MPEG-2などの標準映像符号化方式では、仮想画素の精度を1/2画素精度まで許容する半画素予測が採用されている。図１に1/2画素精度の仮想画素の生成の様子を示す。同図において、A,B,C,Dは整数画素、e,f,g,h,iはA〜Dから生成される1/2画素精度の仮想画素を示す。【００１４】
e = (A+B)//2
f = (C+D)//2
g = (A+C)//2
h = (B+D)//2
i = (A+B+C+D)//4
(ただし、//は丸めつき除算を示す。)
以降、便宜上、1/2画素精度の仮想画素のことを単に「半画素」と記す。【００１５】
また、MPEG-4(ISO/IEC 14496-2)やMPEG-4 AVC/H.264(ISO/IEC 14496-10)では、1/4画素精度までの仮想画素を用いる1/4画素精度予測が採用されている。1/4画素精度予測では、半画素を生成した後、それらを用いて1/4画素精度の仮想画素を生成する。以降、便宜上、1/4画素精度の仮想画素のことを「1/4画素」と記す。1/4画素の生成にあたっては、まず、その基礎となる半画素を生成するが、その際、過度の平滑化を抑える目的で、タップ数の多いフィルタを用いてもとの整数画素信号の周波数成分を極力保持するよう設計される。例えばMPEG-4の1/4画素生成では、半画素aは、その周辺８近傍分の整数画素を使用して、以下のように生成される。なお、下式は、水平処理の場合のみを示しており、1/4画素生成のために作られる半画素aと、下式の整数画素のX成分X-4〜X4との関係は、図２に示す位置関係にある。【００１６】
a = (COE1*X1 + COE2*X2 + COE3*X3 + COE4*X4 + COE-1*X-1 + COE-2*X-2 + COE-3*X-3 + COE-4*X-4)//256
（ただし、COEk: フィルタ係数(係数総和が256)。//は丸めつき除算を示す。）
AVC(ISO/IEC 14496-10)では、半画素を生成する際に[1,-5,20,20,-5,1]なる6タップのフィルタを採用しており、さらに1/4画素を上記MPEG-1、MPEG-2の半画素生成と同様の線形補間処理によって生成している。さらに、1/4画素と1/4画素の間に位置する1/8画素精度の仮想サンプルを同様の手順で求めて使用する事例もある。【００１７】
１．画像符号化装置の動作
本実施の形態１において、動き補償予測処理時に用いる仮想画素は、半画素、1/4画素の精度を使用可能とする。そのうえで、本実施の形態１の画像符号化装置、画像復号装置は、4：4：4映像信号の各色成分ごとに、利用可能な仮想画素の精度の上限を符号化・復号の状況に応じて柔軟に指定できるように構成する。【００１８】
このように構成することによる効果として、以下のような点が挙げられる。
(i)仮想画素を用いた動き補償予測においては、画像符号化装置側・画像復号装置側で同一の参照画像を用いて仮想画素を生成しなければならない。一般に圧縮された映像信号では、圧縮率が高いほど、動き補償予測に用いる参照画像の品質は低下していく。精度の高い仮想画素を使用する効果は、参照画像が符号化前の原信号に近く、品質の高い信号である(すなわち圧縮率が低い、ないしは高ビットレート符号化)ほど顕著となるが、これは動きベクトルを符号化して伝送する情報量が増加しても、それを予測効率の改善分で補えるケースに相当する。しかし、圧縮率が高く(低ビットレート符号化時)、参照画像の品質が符号化前の原信号からかなり劣化している場合には、そこから生成した仮想画素は原信号の予測値としての有効性が十分に確保されないケースが発生し、その場合、精度の高い仮想画素を使用することによって稼ぐことができる予測効率と、増加する動きベクトルの符号量とのバランスが悪くなる。したがって、符号化の状況に応じて動きベクトルが指定できる仮想画素の精度を柔軟に変更できるように画像符号化装置・画像復号装置を設計しておくと都合が良い。【００１９】
(ii)４：４：４映像信号の符号化・復号では、従来の輝度・色差成分からなる色空間だけでなく、RGBなどを含め多様な色空間の映像信号を扱うため、色成分ごとに信号の統計的性質がさまざまに変動する。従来のMPEG標準符号化方式における仮想画素利用の動き補償予測は、主として輝度信号に対して最適化設計されており、輝度信号とは異なる統計的性質を有する色成分に対しては、必ずしも従来の方法が最適な動き補償予測効率を与えるとは限らない。したがって、符号化・復号で扱う信号の性質に応じて動きベクトルが指定できる仮想画素の精度を柔軟に変更できるように画像符号化装置・画像復号装置を設計しておくと都合が良い。【００２０】
本実施の形態１では、特に、符号化対象フレームと参照画像との間の動きの大きさを表す動きベクトルの大きさに着目して、仮想画素の精度を適応化させる例を示す。図３に本実施の形態１における画像符号化装置の構成を示す。なお、予測部４、可変長符号化部８以外の動作はほぼ従来技術に述べた非特許文献２の符号化動作に従うものとする。【００２１】
本実施の形態１における予測部４は、仮想画素精度指示情報１６を受け取り、それに基づいてフレーム間の動きベクトル検出に用いる仮想画素の精度を定めて処理を行うことを特徴とする。仮想画素精度指示情報１６は、動きベクトルの大きさと仮想画素精度との関係を定める値として定義される。すなわち、1/4画素精度まで仮想画素を用いる動きベクトルの大きさの上限と、半画素精度まで仮想画素を用いる動きベクトルの大きさの上限とを指定する。半画素精度まで仮想画素を用いる動きベクトルの大きさの上限を超える大きさをもつ動きベクトルは、整数画素のみを使用するように構成する。このような構成とすることにより、以下の効果がある。【００２２】
動きベクトルはブロックごとの隣接フレーム間での動きの程度を表す量であり、大きさが小さい場合は、予測対象ブロックが、参照画像上の対応ブロックからそれほど動いていない、ということを示す。つまり、当該ブロック領域は静止に近い状態にあると考えてよい。一方、動きベクトルの大きさが大きい場合は、予測対象ブロックが、参照画像上の対応ブロックから大きく動いていることを示す。つまり、当該ブロック領域は隣接フレーム間で時間的に大きな動きのある領域(激しい動きのある被写体など)と考えてよい。一般に、静止領域では映像の解像度は高く、動きの激しい領域は解像度が落ちる傾向にある。解像度の高い領域では、仮想画素を精度よく生成できるが、解像度が低い領域では隣接画素間の相関も低下し、精度の高い仮想画素を生成することの意味が小さくなる。したがって、本実施の形態１の仮想画素精度指示情報１６を用いることにより、動きベクトルの大きさが小さく静止に近い領域では、仮想画素を高い精度まで生成して予測に用いることで予測精度を高め、逆に動きベクトルの大きさが大きく動きの激しい領域では仮想画素の精度の上限を落として、その分動きベクトルの符号量を削減するといった効果が期待できる。【００２３】
以下、３つの色成分をまとめた単位でマクロブロックを構成して共通の動きベクトルを適用する場合と、各色成分を独立したピクチャとみなして単一色成分の矩形ブロックでマクロブロックを構成して色成分ごとに個別の動きベクトルを適用する場合のそれぞれについて動きベクトルの適応符号化処理について詳述する。【００２４】
(A)３つの色成分に共通の動きベクトルを用いる場合
ブロック分割部２が３つの色成分からなるマクロブロックを出力し、３つの色成分に共通の動きベクトルを用いるモードで符号化・復号を行う場合は、仮想画素精度指示情報１６は、３つの色成分に共通の動きベクトル mv に対し、値 Lq よりも小さい場合には1/4画素精度まで仮想画素を用いることとし、値 Lq 以上で値 Lh よりも小さい場合には半画素精度まで仮想画素を用いることとし、値 Lh よりも大きい場合は整数画素のみを動き補償予測に用いるものと規定する。このように定めることにより、符号化すべき動きベクトル mv' は、以下のようにダイナミックレンジを適応的に低減して符号化することが可能となる。(下式は mv > 0の場合、mv < 0の場合は符号反転)【００２５】
mv' = mv (mv < Lq)                                           （１ａ）
→1/4画素精度を使用可
mv' = Lq + (mv  Lq + 1)/2  (Lq <= mv < Lh)                   （２ａ）
→半画素精度を使用可
mv' = Lq + (Lh  Lq + 1)/2 + (mv  Lh + 2)/4  (Lh <= mv)       （３ａ）
→整数画素精度のみ使用可【００２６】
予測部４ならびに可変長符号化部８による処理フローを図４に示す。予測部４は、まず、整数画素のみを用いた動きベクトル探索を行い(ステップS1)、上記（１ａ）〜（３ａ）式のいずれに合致するかを判断する。式（３ａ）に合致する場合(ステップS2でYes)、以降の半画素、1/4画素精度の仮想画素を用いた動きベクトル探索を実行せずに予測処理を終了し、予測信号生成用パラメータ１５の一部として mv を出力する。式（３ａ）に合致しなかった場合(ステップS2でNo)、さらにLhの範囲内において半画素精度での動きベクトル探索を実行して(ステップS3)、式（２ａ）に合致するかを判断する(ステップS4)。式（２ａ）に合致する場合(ステップS4でYes)、予測信号生成用パラメータ１５の一部として mv を出力する。式（２ａ）にも合致しなかった場合は式（１ａ）に当てはまり(ステップS4でNo)、さらに1/4画素も用いた動きベクトル探索をLqの範囲内で実行して(ステップS5)、予測信号生成用パラメータ１５の一部として mv を出力する。可変長符号化部８は、予測信号生成用パラメータ１５の一部として入力される mv と、仮想画素精度指示情報１６で指示される Lq, Lh とを用いることによって、上記（１ａ）〜（３ａ）式に従う動きベクトルの符号化表現に基づき、動きベクトルを効率的に符号化する(ステップS6)。なお、動きベクトルは mv を直接符号化するのでなく、近傍ブロックの動きベクトルを予測値として予測差分を符号化するのが一般的であるが、その場合は、予測値となる近傍ブロックは常に最大仮想画素精度の値として保持しておき、予測差分をとる場合のみ mv と同じように上記（１ａ）〜（３ａ）式に従った値の変換を行って差分をとるように構成すればよい。仮想画素精度指示情報１６は、画像復号装置側で上記（１ａ）〜（３ａ）式に従う方法で動きベクトルを復号する必要があるため、ビットストリーム９へ多重出力する(ステップS6)。【００２７】
(B)各色成分ごとに個別の動きベクトルを用いる場合
ブロック分割部２が単一色成分からなるマクロブロックを出力し、３つの色成分ごとに個別の動きベクトルを用いるモードで符号化・復号を行う場合は、仮想画素精度指示情報１６は、３つの色成分の各動きベクトル mvk (k=0,1,2)に対し、値 Lqk よりも小さい場合には1/4画素精度まで仮想画素を用いることとし、値 Lqk 以上で値 Lhk よりも小さい場合には半画素精度まで仮想画素を用いることとし、値 Lhk よりも大きい場合は整数画素のみを動き補償予測に用いるものと規定する。このように定めることにより、符号化すべき動きベクトル mvk' は、以下のようにダイナミックレンジを適応的に低減して符号化することが可能となる。(下式は mvk > 0の場合、mvk < 0の場合は符号反転)【００２８】
mvk' = mvk (mvk < Lqk)                                         （１ｂ）
→1/4画素精度を使用可
mvk' = Lqk + (mvk  Lqk + 1)/2  (Lqk <= mvk < Lhk)               （２ｂ）
→半画素精度を使用可
mvk' = Lqk + (Lhk  Lqk + 1)/2 + (mvk  Lhk + 2)/4  (Lhk <= mvk)   （３ｂ）
→整数画素精度のみ使用可【００２９】
予測部４ならびに可変長符号化部８による処理フローを図５に示す。予測部４は、まず、整数画素のみを用いた動きベクトル探索を行い、上記（１ｂ）〜（３ｂ）式のいずれに合致するかを判断する。式（３ｂ）に合致する場合、以降の半画素、1/4画素精度の仮想画素を用いた動きベクトル探索を実行せずに予測処理を終了し、予測信号生成用パラメータ１５の一部として mvk を出力する。式（３ｂ）に合致しなかった場合、さらにLhkの範囲内において半画素精度での動きベクトル探索を実行して、式（２ｂ）に合致するかを判断する。式（２ｂ）に合致する場合、予測信号生成用パラメータ１５の一部として mvk を出力する。式（２ｂ）にも合致しなかった場合は式（１ｂ）に当てはまり、さらに1/4画素も用いた動きベクトル探索をLqkの範囲内で実行して、予測信号生成用パラメータ１５の一部として mvk を出力する。可変長符号化部８は、予測信号生成用パラメータ１５の一部として入力される mvk と、仮想画素精度指示情報１６で指示される Lqk, Lhk とを用いることによって、上記（１ｂ）〜（３ｂ）式に従う動きベクトルの符号化表現が可能となり、動きベクトルを効率的に符号化する。なお、動きベクトルは mvk を直接符号化するのでなく、近傍ブロックの動きベクトルを予測値として予測差分を符号化するのが一般的であるが、その場合は、予測値となる近傍ブロックは常に最大仮想画素精度の値として保持しておき、予測差分をとる場合のみ mvk と同じように上記（１ｂ）〜（３ｂ）式に従った値の変換を行って差分をとるように構成すればよい。仮想画素精度指示情報１６は、画像復号装置側で上記（１ｂ）〜（３ｂ）式に従う方法で動きベクトルを復号する必要があるため、３つの色成分分の値をビットストリーム９へ多重出力する。
また、処理フローは、図４の mv を mvk 、Lq, Lh をLqk, Lhk と読み替えれば図４と等価である。【００３０】
仮想画素の効果は、映像信号の状態(静止映像か、動きの激しい映像か、水平方向へ大きな動きか、垂直方向へ大きな動きか、など)、符号化ビットレート(量子化ステップサイズ)、映像解像度（フレームの水平画素数、垂直ライン数）などの様々な要因で変化すると考えられる。したがって、仮想画素精度指示情報１６で指示されるLq、Lhは、シーケンス中でこれらのファクタに対して適応的に変化するパラメータとして定義されるか、またはピクチャごとに異なる値を個別に多重するように構成されることが望ましい。たとえば、映像全体を通じて動きの激しい映像であって、量子化ステップサイズが大きい場合は、低ビットレートで参照画像の品質がよくない上に動きベクトルの符号量の割合が多くなるので、Lq、Lhを大きな値に設定することで、予測効率を犠牲にすることなく動きベクトルの符号量を抑制することが可能である。逆に、比較的静止した映像を高いビットレートで符号化する場合は、仮想画素を用いた動き補償予測の効果が大きくなる上、動きベクトルの符号量も相対的に小さくなってくるので、Lq、Lhを小さく設定、ないしは無効化して仮想画素を使いやすくなるよう構成すればよい。映像の性質とビットレート(量子化ステップサイズ)は組み合わせてもよいし、個別にLq、Lhの制御ファクタとして用いても良い。【００３１】
また、画像の解像度が高くなると、一般に動きベクトル探索単位のブロックが捕捉する実世界領域は小さくなるので、動きベクトルの探索範囲を大きくする必要が生じるが、これに応じてLq、Lhを制御するようにすれば効率的な符号化が可能となる。非特許文献１、２にあるように、時間的に距離が異なる複数の参照画像の中から選択的に予測画像を求める場合には、使用する参照画像のインデックスに応じてLq、Lhを制御するように構成しても良い。【００３２】
さらに、仮想画素精度指示情報１６は、使用する動きベクトル探索単位のブロックの大きさと連動するように構成しても良い。非特許文献１、２においては、動きベクトル探索単位のブロックとして、図５のように複数のサイズのブロックを利用可能である。動きベクトルが割り当てられるブロックの大きさが大きければ、動きベクトルそのものの大きさが大きくても、画像のパターンを効率よく捕捉することができるが、ブロックが小さい場合は画像のパターンよりもノイズの影響を受けやすくなる。したがって、動きベクトルを割り当てるブロックのブロックサイズが大きい場合には、Lq、Lhを小さく、ないしは無効化して1/4画素精度の動き補償予測を行う頻度を高めるようにして、ブロックサイズが小さい場合にLq、Lhを大きく、ないしは有効化するように構成しても良い。【００３３】
さらに、仮想画素精度指示情報１６は、各色成分ごとに個別の動きベクトルを用いる場合には、Lqk, Lhk を各色成分(k)ごとに独立して制御するように構成しても良い。たとえば、Y、Cb、Crのような色空間で符号化を行う際、各色成分ごとに信号の性質が異なるため、Lqk, Lhk の効果は色成分ごとに異なることが考えられる。【００３４】
さらに、仮想画素精度指示情報１６は、上述の例では半画素、1/4画素のみを対象としたが、1/8画素、1/16画素といった、さらに細かい仮想画素を使用するような場合にも、Lq、Lhと同様の新たな上限値設定を設けて容易に拡張することができる。【００３５】
２．符号化ビットストリームの構成
入力映像信号１は、上記処理に基づいて図３の画像符号化装置で符号化され、複数のマクロブロックを束ねたスライスの単位でビットストリーム９として画像符号化装置から出力される。図６に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、ピクチャ中に含まれるマクロブロック数分の符号化データが集められたものとして構成され、マクロブロックは複数個集められたスライスというデータ単位にユニット化される。同一ピクチャに属するマクロブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、ピクチャレベルヘッダには、仮想画素精度指示情報１６が格納される。シーケンスレベルヘッダに多重化される共通・独立符号化識別フラグ１７が、３つの色成分に共通の動きベクトルを用いることを示す場合はLq、Lhが一組、共通・独立符号化識別フラグ１７が、各色成分ごとに個別の動きベクトルを用いることを示す場合はLqk, Lhkが3組(色成分の数だけ)多重される。【００３６】
各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各マクロブロックの符号化データが配列される(この例では、第2スライスにM個のマクロブロックが含まれることを示す)。共通・独立符号化識別フラグ１７が、各色成分ごとに個別の動きベクトルを用いることを示す場合は、スライスヘッダに同スライスにどの色成分の符号化データを含むかを示す色成分識別情報１８を含む。このとき、仮想画素精度指示情報１６は、色成分識別情報１８で特定されるLqk, Lhkをスライスヘッダに多重するように構成しても良い。スライスヘッダに引き続いて、各マクロブロックのデータは、符号化モード、動きベクトル、量子化ステップサイズパラメータ、予測誤差圧縮データなどが配列される。動きベクトルは、上述の（１ａ）〜（３ａ）式（あるいは（１ｂ）〜（３ｂ）式）で定まる mv'と、同様に同じ方法で変換される予測値 pmv' との差分で得られる mvd を符号化する。【００３７】
なお、仮想画素精度指示情報１６は、複数枚の映像フレームを束ねたシーケンスの単位で付与するシーケンスレベルヘッダに格納するように構成し、ピクチャ、スライス、マクロブロックなどの各符号化データに基づいて適応的にシーケンスレベルヘッダの多重化情報を変化させてLq、Lhを定めるように構成しても良い。このようにすることで、個別のピクチャレベルヘッダで仮想画素精度指示情報１６を符号化・伝送する必要がなくなり、ヘッダの情報量を削減できる。【００３８】
３．画像復号装置の動作
図７に本実施の形態１における画像復号装置の構成を示す。可変長復号部２０は、図６に示すビットストリーム９を復号し、共通・独立符号化識別フラグ１７を抽出・解釈することにより、マクロブロックが３つの色成分から構成されるか、単一色成分で構成されるかを判断して、以降のスライス、マクロブロックのビットストリーム解析を進める。共通・独立符号化識別フラグ１７の復号値に基づいて仮想画素精度指示情報１６をビットストリーム９から抽出する。次いで、所定の規則（シンタックス）に従ってスライスヘッダ、各マクロブロックの予測誤差圧縮データ２２、符号化モード、動きベクトルを含む予測信号生成用パラメータ１５、量子化ステップサイズパラメータ２３、などを抽出する。【００３９】
予測誤差圧縮データ２２、量子化ステップサイズパラメータ２３は予測誤差復号部２４に入力され、復号予測誤差信号２５に復元される。予測部２１は、可変長復号部２０によって復号される予測信号生成用パラメータ１５とメモリ２８内の参照画像とから予測画像２６を生成する(画像符号化装置における予測部４の動きベクトル検出動作は含まない)。復号予測誤差信号２５と予測画像２６は加算器により加算され、復号信号２７を得る。復号信号２７は以降のマクロブロックの動き補償予測に用いるため、メモリ２８へ格納される。図示していないが、メモリ２８へ書き込む前に、復号信号にデブロッキングフィルタを施してブロックひずみを除去する処理を行うように構成しても良い。復号信号２７は、共通・独立符号化識別フラグ１７に応じて、３つの色成分が含まれるマクロブロック、ないしは単一色成分のみを含むマクロブロックのいずれかの画像信号として復元される。【００４０】
本実施の形態１における画像復号装置では、動きベクトルが指し示す仮想画素の最大精度を1/4画素とし、予測信号生成用パラメータ１５の一部として可変長復号部２０から出力される動きベクトルは常に1/4画素を１とする値として予測部２１へ出力されるものとする。すなわち、画像符号化装置において上述の（１ａ）〜（３ａ）式（あるいは（１ｂ）〜（３ｂ）式）によってダイナミックレンジを圧縮して符号化された動きベクトルは、ビットストリームから抽出した仮想画素精度指示情報１６と、動きベクトル割当ブロックごとにビットストリームから抽出した mvd と、動きベクトル予測値 pmv' とを用いて符号化時の処理の逆変換を行い、ダイナミックレンジを復元して予測部２１へ出力されるものとする。【００４１】
この逆変換の処理フローを図８に示す。可変長復号部２０では、まずビットストリームから動きベクトル符号化データである mvd を抽出する(ステップS10)。これは、符号化時に上述の（１）〜（３）式によってダイナミックレンジを圧縮して符号化されたデータに相当する。ついで、当該動きベクトルの予測値となる pmv を求めて、これを上述の（１ａ）〜（３ａ）式（あるいは（１ｂ）〜（３ｂ）式）によって、仮想画素精度指示情報１６を用いた符号化時と同様の変換処理を行い、ダイナミックレンジを圧縮する（ステップS11）。得られた pmv' により、mv' = mvd + pmv' を得、仮想画素精度指示情報１６を用いた下記（４）〜（６）式によりこれを逆変換してダイナミックレンジを復元する（ステップS12）。【００４２】
mv'' = mv' (mv < Lq)                                            （４）
mv'' = (mv'  Lq) x 2 + Lq  (Lq <= mv < (Lq + (Lh-Lq)/2))        （５）
mv'' = (mv'  Lq  (Lh-Lq)/2) x 4 + Lh ((Lq + (Lh-Lq)/2) <= mv)   （６）【００４３】
この mv'' を予測部２１へ出力するとともに、以降の動きベクトル復号のための予測値として内部的に保持する(ステップS13)。以上の処理を行うことにより、予測部２１では符号化された動きベクトルのダイナミックレンジを意識することなく、常に1/4画素を１とする単位で動きベクトルを扱うことが可能である。【００４４】
なお、画像符号化装置の動作で効果とともに述べたように、仮想画素精度指示情報１６は、3つの色成分に共通の動きベクトルを用いる場合（＝３つの色成分の信号が含まれるマクロブロックの場合）には、3つの色成分に共通の値としてLq、Lhを用いる。各色成分ごとに個別の動きベクトルを用いる場合（＝マクロブロックに単一色成分しか含まない場合）には、各色成分(k)ごとに復号したLqk, Lhk を用いて（４）〜（６）式を色成分ごとに独立して適用してもよいし、Lqk, Lhkをすべての色成分に対して同じ値として、共通のLq、Lhを使用するように構成してもよい。これによって、色空間によって様々に変化する信号の統計的性質に適応した効率的な動き予測に対応できる。【００４５】
また、画像符号化装置の動作で効果とともに述べたように、Lq、Lhは、復号される映像のフレーム解像度や、量子化ステップサイズパラメータ２３、動きベクトル割当単位のブロックのサイズ（これは符号化モードで指定される）、参照画像のインデックスなど、ビットストリーム９に含まれる符号化情報に連動して変化するように構成してもよい。画像復号装置がこのような構成をとることによって、効率的に符号化されたビットストリームの復号に対応することができる。【００４６】
以上述べた本実施の形態１における画像符号化装置、画像復号装置によれば、４：４：４フォーマットのカラー映像信号を効率よく符号化するために、各色成分の信号の性質に応じて、動きベクトル検出・予測画像生成の際に利用する仮想サンプルの精度を動的に切り替えることが可能となるため、高い圧縮率となる低ビットレート符号化において動きベクトルの符号量を効果的に抑制して符号化する画像符号化装置、画像復号装置を提供することができる。【００４７】
さらに、本実施の形態１における画像符号化装置、画像復号装置によれば、以下の理由により、画像符号化処理・復号処理の複雑さを低減する効果も有する。一般に、映像の解像度が高くなり、画面内の画素数が多くなるほど、被写体の移動量を画素数で換算すると解像度が低い場合に比べて移動画素数が多くなるため、動きベクトルの探索範囲を広く取る必要がある。動きベクトルの探索範囲が広がることにより、評価点数が増加し、画像符号化装置側での評価演算量が多くなるが、本実施の形態１の画像符号化装置によれば、整数画素探索時点で動きベクトルの大きさがLh以上となる場合には、仮想画素の探索を打ち切るように構成したので、演算量を抑えることができる。また、仮想画素を生成するためには、参照画像上において仮想画素生成対象位置の周辺の整数画素を複数用いて内挿フィルタリングの処理を行う必要がある。一般に参照画像はデータサイズが大きいフレームメモリであるため外部のDRAMなどの大容量メモリ(メモリ１４、メモリ２８など)に格納されており、内挿フィルタリングの処理を高速に行うために、外部メモリ上の参照画像の一部をそのつど内部キャッシュへ取り込んで演算を行うように実装・構成されるのが一般的である。そのため、仮想画素生成の処理には、一般的に外部メモリアクセスが不可避であり、仮想画素生成点数が増えるほど、メモリバンド幅が増加し、消費電力の増加につながる。動きベクトルの指し示す範囲が狭ければ、内部キャッシュの許容量の範囲で一度に参照画像から所要データを内部キャッシュへ取り込むことで、外部メモリアクセス数を低減することができるが、動きベクトルの大きさが大きい場合、それを包含する領域の画像データは一般的に内部キャッシュへ取り込むのは困難であり、メモリバンド幅は増加せざるを得ない。本実施の形態１の画像符号化装置、画像復号装置では、動きベクトルの大きさが一定の閾値より小さい場合にのみ仮想画素生成処理を行うので、内挿フィルタリング処理のために必要となるメモリバンド幅を抑え、消費電力を抑制する効果も有する。【００４８】
なお、本実施の形態１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、本発明における動きベクトルの適応符号化は、非特許文献１など、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０、４：２：２フォーマットを対象とする映像符号化において、その動きベクトル符号化の効率化にも適用可能であることはいうまでもない。
【図１】
2009088038.tif 000003
【図２】
2009088038.tif 000004
【図３】
2009088038.tif 000005
【図４】
2009088038.tif 000006
【図５】
2009088038.tif 000007
【図６】
2009088038.tif 000008
【図７】
2009088038.tif 000009
【図８】
2009088038.tif 000010
【図９】
2009088038.tif 000011
【図１０】
2009088038.tif 000012
【国際調査報告】
2009088038.tif 000013
2009088038.tif 000014