(57)【要約】【課題】既存の符号化規格により生成した予測画像と、復号画像同士で動き探索処理を実施して新たに生成した画像とを領域単位で切り替えて符号化する方法では、どちらの画像を使用するかの判定情報が新たに必要となり、入力映像によっては従来規格よりも圧縮効率が低下する場合がある。【解決手段】符号化対象となるフレームまたは過去に符号化したフレーム内の符号化情報に基づいて、既存の符号化規格により生成した予測画像を使用するのか、復号画像同士で動き探索処理を行って新たに生成した画像を使用するのかを決定することで、判定情報を不要とし、圧縮効率の改善を図る。【選択図】図２
2011029863.tif 000002
【特許請求の範囲】
【請求項１】
符号化ストリームを入力する入力ステップと、
前記符号化ストリームを復号化し、復号画像データを生成する生成ステップと、
前記復号画像データを出力する出力ステップと、を有し、
前記生成ステップにおいて、
画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いて復号化処理を行うのか、または既に復号化された複数のフレーム間の動きベクトル探索を復号側で行い、該動きベクトル探索に基づいて補間処理を行って生成した補間予測画像を用いて復号化処理を行うのか、を既に復号化された複数の所定の領域の動きベクトル間の類似度に基づいて前記領域単位で決定する
ことを特徴とする復号化処理方法。
【請求項２】
請求項１に記載の復号化処理方法であって、
前記既に復号化された複数の所定の領域は、
復号化対象領域と同フレーム内の領域であって、復号化対象領域に隣接する複数の領域である
ことを特徴とする復号化処理方法。
【請求項３】
請求項１に記載の復号化処理方法であって、
前記既に復号化された複数の所定の領域は、
復号化対象領域が存在するフレームとは時間的に異なる既に復号化されたフレーム内の領域であって、復号化対象領域と同座標にある領域と該領域に隣接する領域
であることを特徴とする復号化処理方法。
【請求項４】
符号化ストリームを入力する入力ステップと、
前記符号化ストリームを復号化し、復号画像データを生成する生成ステップと、
前記復号画像データを出力する出力ステップと、を有し、
前記生成ステップにおいて、
画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いて復号化処理を行うのか、または既に復号化された複数のフレーム間の動きベクトル探索を復号側で行い、該動きベクトル探索に基づいて補間処理を行って生成した補間予測画像を用いて復号化処理を行うのか、を既に復号化された複数の所定の領域のうち、補間予測画像を有する領域の個数に基づいて前記領域単位で決定する
ことを特徴とする復号化処理方法。
【請求項５】
請求項４に記載の復号化処理方法であって、
前記生成ステップにおいて、
前記既に復号化された複数の所定の領域の予測画像がすべて前記補間予測画像である場合、復号化対象領域の予測画像として補間予測画像を用いて復号化処理を行う
ことを特徴とする復号化処理方法。
【請求項６】
請求項４または５に記載の復号化処理方法であって、
前記生成ステップにおいて、
前記既に復号化された複数の所定の領域の予測画像がすべて画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像である場合、復号化対象領域の予測画像として該予測画像を用いて復号化処理を行う
ことを特徴とする復号化処理方法。
【請求項７】
請求項４乃至６に記載の復号化処理方法であって、
前記生成ステップにおいて、
前記既に復号化された複数の所定の領域の予測画像のうち、最も多く存在する予測画像を復号化対象領域の予測画像として復号化処理を行う
ことを特徴とする復号化処理方法。
【請求項８】
映像信号を復号化する復号化処理方法であって、
符号化ストリームを入力する入力ステップと、
画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いて復号化処理を行うのか、または既に復号化された複数のフレーム間の動きベクトル探索を復号側で行い、該動きベクトル探索に基づいて補間処理を行って生成した補間予測画像を用いて復号化処理を行うのか、を復号化対象領域が存在するフレームとは時間的に異なる既に復号化されたフレーム内の領域であって、復号化対象領域と同座標にある領域の符号化モードが画面内予測モードであるか否かの判定に基づいて、前記領域単位で決定し、該決定した予測画像に基づいて前記符号化ストリームを復号化し、復号画像データを生成する生成ステップと、
前記復号画像データを出力する出力ステップと、
を有することを特徴とする復号化処理方法。
【請求項９】
請求項８に記載の復号化処理方法であって、
前記生成ステップにおいて、
前記判定の結果が画面内予測モードであることを示す場合は、前記補間予測画像を用いて復号化処理を行う
ことを特徴とする復号化処理方法。
【請求項１０】
請求項８または９に記載の復号化処理方法であって、
前記生成ステップにおいて、
前記判定の結果が画面内予測モードでないことを示す場合は、前記復号化対象領域と同座標にある領域の動きベクトル情報と、前記復号化対象領域と同座標にある領域に隣接する領域の動きベクトル情報とが類似するか否かの情報である類似度を算出し、
該類似度が類似することを示す場合は、画面内予測処理または前記符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いて復号化処理を行い、
該類似度が類似しないことを示す場合は、前記補間予測画像を用いて復号化処理を行う
ことを特徴とする復号化処理方法。
【請求項１１】
請求項１乃至３に記載の復号化処理方法であって、
前記類似度は、復号化対象領域に隣接する既に復号化された領域の動きベクトル間の差分に基づいた値である
ことを特徴とする復号化処理方法。
【請求項１２】
請求項１０に記載の復号化処理方法であって、
前記類似度は、前記復号化対象領域と同座標にある領域の動きベクトルと、前記復号化対象領域と同座標にある領域に隣接する領域の動きベクトルとの差分に基づいた値である
ことを特徴とする復号化処理方法。
【請求項１３】
請求項１乃至３に記載の復号化処理方法であって、
前記類似度は、前記既に復号化された複数の所定の領域の動きベクトルの分散値に基づいた値である
ことを特徴とする復号化処理方法。
【請求項１４】
請求項１０に記載の復号化処理方法であって、
前記類似度は、前記復号化対象領域と同座標にある領域の動きベクトルと、前記復号化対象領域と同座標にある領域に隣接する領域の動きベクトルとの分散値に基づいた値である
ことを特徴とする復号化処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像を符号化する動画像符号化技術および動画像を復号化する動画像復号化技術に関する。
【背景技術】
【０００２】
従来、このような分野の技術としては、MPEG（Moving Picture Experts Group）に代表される国際標準符号化規格が知られている。そして、さらに画像データを削減するため、復号画像同士で動き探索処理を行って生成した予測画像と既存の符号化技術と同様の方法により生成した予測画像とを併用することにより、圧縮率を向上させる技術が知られている(特許文献１)。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-154015号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、既存の技術では、復号画像同士で動き探索処理を行って生成した予測画像と、既存の符号化規格と同様の方法により生成した予測画像とのうちいずれの予測画像に基づいて符号化、復号化処理を行うのかについての判定情報が別途必要となり、入力画像情報によっては従来規格よりも圧縮効率が低下する場合がある。本発明は、上記課題を鑑みてなされたものであり、その目的は、動画像の符号化、復号化処理においてより符号量を低減することである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【０００６】
本発明により、従来方式よりも少ない符号量で映像信号を記録、伝送することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】実施例１に係る動画像符号化装置のブロック図の一例
【図２】実施例１に係る符号化部のブロック図の一例
【図３】実施例１に係る復号画像動き探索の概念図
【図４】実施例１に係る予測画像決定処理の概念図
【図５】実施例１に係る動画像復号化装置のブロック図の一例
【図６】実施例１に係る復号化部のブロック図の一例
【図７】実施例１に係る復号化処理のフローチャート
【図８】実施例２に係る予測画像決定処理の概念図
【図９】実施例２に係る復号化処理のフローチャート
【図１０】実施例３に係る予測画像決定処理の概念図
【図１１】実施例３に係る復号化処理のフローチャート
【図１２】実施例４に係る復号画像動き探索の概念図
【図１３】実施例４に係る予測画像決定処理の概念図
【図１４】実施例４に係る予測画像決定処理の概念図
【発明を実施するための形態】
【実施例１】
【０００８】
図1は、本実施例に係る動画像符号化装置の構成を示したものである。
【０００９】
本実施例に係る動画像符号化装置は、画像データを入力する入力部１０１と、入力画像データを小領域に分割する領域分割部１０２と、領域分割部１０２にて分割した画像データに対して符号化処理、局所復号化処理を行う符号化部１０３と、符号化部１０３にて符号化した画像データを可変長符号化する可変長符号化部１０４とを有する。
【００１０】
本実施例に係る動画像符号化装置の各処理部の動作についてさらに詳しく説明する。
【００１１】
入力部１０１では、入力画像データを符号化する順番に並べ変える。順番の並べ替えは、ピクチャが画面内予測ピクチャ（Iピクチャ）または片方向予測ピクチャ(Pピクチャ)または双方向予測ピクチャ(Bピクチャ)のうちいずれのピクチャであるかによって、表示順から符号化順に並べ替える。
【００１２】
領域分割部１０２では、符号化対象フレームを小領域に分割する。分割する小領域の形状は、正方形、長方形領域のようなブロック単位でも、watershed法のような手法を用いて抽出したオブジェクト単位でもよい。また分割する小領域の大きさは、１６×１６画素のような既存符号化規格で採用されている大きさでも、６４×６４画素のような大きなサイズでもよい。    
符号化部１０３については後述する。
【００１３】
可変長符号化部１０４では、符号化部１０３にて符号化した画像データを可変長符号化する。
【００１４】
図２を用いて符号化部１０３について説明する。
【００１５】
符号化部１０３は、領域分割部１０２にて分割した画像データと補間予測画像決定部２１１にて決定した予測画像データとの差分画像データを生成する差分器２０１と、差分器２０１で生成した差分画像データを周波数変換、量子化する周波数変換・量子化部２０２と、周波数変換・量子化部２０２で周波数変換、量子化した画像データを逆量子化、逆周波数変換する逆量子化・逆周波数変換部２０３と、逆量子化・逆周波数変換部２０３で逆量子化、逆周波数変換した画像データと補間予測画像決定部２１１にて決定した予測画像データとを加算する加算器２０４と、加算器２０４で加算した画像データを記憶する復号画像記憶部２０５と、符号化対象領域の周辺領域の画素から画面内予測画像を生成する画面内予測部２０６と、符号化対象フレームとは時間的に異なるフレーム内の領域から、符号化対象領域と最も近似している領域を検出して画面間予測画像を生成する画面間予測部２０７と、画面内予測画像と画面間予測画像とのうち符号化効率が高い方の予測画像を選択する画面内/画面間予測画像選択部２０８と、復号画像記憶部２０５に記憶されている時間的に異なる復号画像同士で最も近似している領域同士を検出し、動き探索を行う復号画像動き探索部２０９と、復号画像動き探索部２０９にて探索した動き情報に基づいて補間予測画像を生成する補間予測画像生成部２１０と、補間予測画像生成部２１０にて生成した補間予測画像と、画面内/画面間予測画像選択部２０８にて選択した画面内予測画像または画面間予測画像とのうち符号化対象領域の予測画像としていずれの予測画像を用いるのかを決定する補間予測画像決定部２１１とを有する。
【００１６】
符号化部１０３の各処理部の動作についてさらに詳しく説明する。
【００１７】
周波数変換・量子化部２０２では、差分画像をＤＣＴ(Discrete Cosine transform)やウェーブレット変換等を用いて周波数変換し、周波数変換後の係数を量子化する。    
逆量子化・逆周波数変換部２０３では、周波数変換・量子化部２０２にて行った処理とは逆の処理を行う。
【００１８】
次に、逆量子化・逆周波数変換部２０３で逆量子化、逆周波数変換した画像データと補間予測画像決定部２１１にて決定した予測画像とを加算器２０４にて加算して、加算した画像データを復号画像記憶部２０５にて記憶する。
【００１９】
画面内予測部２０６では、復号画像記憶部２０５に記憶した復号済みの、符号化対象領域の周辺の領域の画素を用いて画面内予測画像を生成する。
【００２０】
画面間予測部２０７では、復号画像記憶部２０５にて記憶した復号済みフレーム内の画像領域のうち符号化対象領域と最も近似している領域をマッチング処理により検出し、その検出した領域の画像を画面間予測画像とする。
【００２１】
復号画像動き探索部２０９では、復号画像記憶部２０５にて記憶された復号画像に対して次の処理を行う。すなわち、図３に示すように符号化対象フレームnの前後のフレーム内の画素fｎ-1(x-dx,y-dy)、fｎ+1(x+dx,y+dy)を用いて、数式１に示す予測誤差絶対値和SADｎ(x,y)を求める。ここで、Ｒは動き探索時の領域サイズである。
【００２２】
【数１】
2011029863.tif 000003
次に数式１のSADｎ(x,y)が最小となる動き探索領域Ｒ内の座標(dx,dy)を求めて動きベクトルを決定する。
【００２３】
補間予測画像生成部２１０では、次の方法にて補間予測画像を生成する。すなわち、復号画像動き探索部２０９にて求めた動きベクトルを用いて、数式２のように符号化対象フレームの前後の符号化済みのフレーム内の画素fｎ-1(x-dx,y-dy)、fｎ+1(x+dx,y+dy)から符号化対象領域の画素fｎ(x,y)を生成する。
【００２４】
【数２】
2011029863.tif 000004
符号化対象領域が１６×１６画素のマクロブロックの場合、符号化対象領域の補間予測画像は、数式３で表される。
【００２５】
【数３】
2011029863.tif 000005
次に、補間予測画像と画面内予測画像または画面間予測画像とのうちいずれの予測画像を符号化対象領域の予測画像として用いるのかを補間予測画像決定部２１１にて決定する。
【００２６】
図４を用いて、補間予測画像決定部２１１の詳細について説明する。ここで、図４は、補間予測画像を有する領域と画面内予測画像または画面間予測画像を有する領域とが混在する場合の例を示している。
【００２７】
まず、符号化対象領域をＸとすると、Ｘの周辺の領域Ａ、Ｂ、Ｃ（Ｃの動きベクトルが取得できない場合はＤの動きベクトルで代用する）の動きベクトル（ＭＶＡ、ＭＶＢ、ＭＶＣまたはＭＶＤ）の類似度を求める。ここで、Ｘの周辺の領域Ａ、Ｂ、Ｃの動きベクトルは、復号画像動き探索部２０９にて生成した動きベクトルまたは画面間予測部２０７にて生成した動きベクトルのいずれかであり、Ｘの周辺の領域が補間予測画像を有する領域である場合（Ａ、Ｂ、Ｄ）は、復号画像動き探索部２０９にて生成した動きベクトルを用いる。一方、Ｘの周辺の領域が画面内予測画像または画面間予測画像を有する領域であるの場合(Ｃ)は、画面間予測部２０７にて生成した動きベクトルを用いる。
【００２８】
Ｘの周辺の領域の動きベクトルの類似度として、Ａ、Ｂ、Ｃの各動きベクトルの差（|MVA-MVB|、|MVB-MVC|、|MVC-MVA|）を求める。
【００２９】
この動きベクトルの差がすべて閾値ＴＨ１以下である場合には、符号化対象領域Ｘの周辺の領域の動きベクトルは類似しているものとみなして、符号化対象領域Ｘの予測画像として、画面内予測画像または画面間予測画像を用いる。
【００３０】
一方、Ａ、Ｂ、Ｃの各動きベクトルの差が1つでも閾値ＴＨ１を越える場合には、符号化対象領域Ｘの周辺の領域の動きベクトルは類似していないものとみなして、符号化対象領域Ｘの予測画像として補間予測画像を用いる。
【００３１】
図５は、本実施例に係る動画像復号化装置の構成を示したものである。
【００３２】
本実施例に係る動画像復号化装置は、符号化ストリームを入力する入力部５０１と、入力された符号化ストリームに対して可変長復号処理を行う可変長復号部５０２と、可変長復号化した画像データを復号化する復号化部５０３と、復号化した画像データを出力する出力部５０４とを有する。
【００３３】
本実施例に係る動画像復号化装置の各処理部の構成、動作については、復号化部５０３の構成、動作を除いて、本実施例に係る動画像符号化装置の対応する各処理部の構成、動作と同様であるため、これらについては説明を省略する。
【００３４】
図６を用いて、復号化部５０３について説明する。
【００３５】
復号化部５０３は、可変長復号部５０２で可変長復号処理した画像データの構文解析を行う構文解析部６０２と、構文解析部６０２で解析した画像データを逆量子化、逆周波数変換する逆量子化・逆周波数変換部６０３と、逆量子化・逆周波数変換部６０３が逆量子化、逆周波数変換した画像データと補間予測画像決定部６０７で決定した予測画像データとを加算する加算器６０４と、加算器６０４で加算した画像データを記憶する復号画像記憶部６０５と、構文解析部６０２で解析した符号化モード情報に基づいて、復号画像記憶部６０５にて記憶した画像データを用いて画面内予測画像と符号化ストリームに含まれる動き情報を用いた画面間予測画像とのうちいずれかを生成する予測画像生成部６０６と、予測画像生成部６０６にて生成した予測画像と補間予測画像生成部６０９にて生成した、復号化側で行う動き探索に基づく補間予測画像とのうちいずれの予測画像を復号化対象領域の予測画像として用いるのかを決定する補間予測画像決定部６０７と、復号画像記憶部６０５に記憶されている時間的に異なる復号画像同士で最も近似している領域同士を検出し、動き探索を行う復号画像動き探索部６０８と、復号画像動き探索部６０８にて探索した動き情報に基づいて補間予測画像を生成する補間予測画像生成部６０９とを有する。
【００３６】
図７は、本実施例に係る復号化処理の流れを示したものである。
【００３７】
まず、符号化ストリームに含まれる画像データに対して、可変長復号部５０２にて可変長復号化処理を行う（S７０１）。次に構文解析部６０２にて、復号したストリームデータの構文分けを行い、予測誤差データを逆量子化・逆周波数変換部６０３に、動き情報を予測画像生成部６０６および補間予測画像決定部６０７に送る（S７０２）。次に、逆量子化・逆周波数変換部６０３にて予測誤差データに対して逆量子化、逆周波数変換処理を行う(S７０３)。次に補間予測画像決定部６０７にて、復号側で行う動き探索に基づく補間予測画像と、画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像と、のうちいずれの予測画像を復号化対象領域の予測画像として用いるのかを決定する（S７０４）。なお、当該決定処理は符号化側の補間予測画像決定部２１１の処理と同様の方法で行えばよい。また、当該決定処理は、復号化対象領域の予測画像として復号側で行う動き探索に基づく補間予測画像を用いるのか、それ以外の方法で生成した予測画像を復号化対象領域の予測画像として用いるのか、を決定する処理である。
【００３８】
復号化対象領域の動きベクトルと復号化対象領域の周辺領域の動きベクトルとが類似している場合は、画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を復号化対象領域の予測画像として用いることを決定し、類似していない場合は、復号側で行う動き探索に基づく補間予測画像を復号化対象領域の予測画像として用いることを決定する。ここで、当該決定処理は、復号化対象領域と同フレーム内の領域であって、復号化対象領域に隣接する領域の動きベクトルの類似度に基づいてなされる。
【００３９】
復号化対象領域の予測画像として復号側で行う動き探索に基づく補間予測画像を用いることを決定した場合には、復号画像動き探索部６０８にて符号化側の復号画像動き探索部２０９の処理と同様の方法で動き探索処理を行う（S７０５）。さらに、補間予測画像生成部６０９にて符号化側の補間予測画像生成部２１０と同様の方法で補間予測画像を生成する（S７０６）。
【００４０】
一方、補間予測画像決定部６０７にて、復号化対象領域の予測画像として画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いることを決定した場合には、予測画像生成部６０６にて、画面内予測画像または符号化ストリームに含まれる動き情報を用いた画面間予測処理により画面間予測画像を生成する(S７０７)。
【００４１】
本実施例において、符号化/復号化処理における最初の領域(すなわち、符号化/復号化対象フレームの左上端に位置する領域、または当該領域から所定の範囲に位置する領域であって動き探索範囲内の領域)は、復号画像動き探索部２０９、６０８において動き探索処理を行うことができないため、既存の符号化/復号化処理と同様の処理を行ってもよい。
【００４２】
また、補間予測画像決定部２１１、６０７にて、符号化/復号化対象領域の予測画像として、補間予測画像を用いることを決定した場合には、当該補間予測画像を直接復号画像として復号画像記憶部２０５、６０５に記憶することもできる。この場合、原画像と補間予測画像との差分データを符号化側から復号化側に送信しないため、差分データの符号量を削減することが可能となる。
【００４３】
さらに、本実施例では符号化/復号化対象フレームをＢピクチャ１枚の場合について説明したが、Ｂピクチャの枚数が複数枚の場合にも適用可能である。
【００４４】
また、動き探索処理に関して、本実施例では全探索の例を述べたが、処理量を削減するため、簡略化した動き探索方法を用いても良い。また、複数の動き探索方法を予めエンコーダ側、デコーダ側で用意して、どの探索方法を用いたかをフラグ等によって伝送してもよい。レベルやプロファイル等の情報によって、動き探索方法を選択するようにしてもよい。探索範囲についても同様であり、探索範囲を伝送してもよいし、予め複数用意してフラグを伝送してもよいし、レベルやプロファイル等で選択してもよい。
【００４５】
また、本実施例における符号化/復号化処理を実行するステップ手順を記録したプログラムを作成することによりコンピュータで動作させることができる。なお、このような符号化/復号化処理を実行するプログラムを、インターネット等のネットワークを介してユーザがダウンロードして使用することができる。また記録媒体に記録して使用することができる。またこのような記録媒体としては、光ディスク、光磁気ディスク、ハードディスク等の記録媒体に広く適用することができる。
【００４６】
ここで、本実施例における類似度は、対象領域に隣接する、既に符号化/復号化された複数の領域の動きベクトルの分散値に基づいて算出してもよい。
【００４７】
また、本実施例と他の実施例とは組合わせても良い。
【００４８】
以上、本実施例により、符号化/復号化対象領域の予測画像として、補間予測画像と、画面内予測画像または画面間予測画像と、のうちいずれの予測画像を用いて符号化/復号化処理を行うのかを決定するための情報を符号化側から復号化側に伝送する必要がなくなり、圧縮率を向上できる。
【実施例２】
【００４９】
実施例１では、符号化部１０３および復号化部５０３の補間予測画像決定部２１１、６０７において、動きベクトルの類似度を用いて符号化/復号化対象領域の予測画像の決定処理を行った。本実施例では、動きベクトルの類似度に代えて、補間予測画像を有する、符号化/復号化対象領域の周辺の領域の個数に応じて符号化/復号化対象領域の予測画像の決定処理を行う。
【００５０】
図８を用いて、本実施例に係る動画像符号化装置および動画像復号化装置における補間予測画像決定部の決定処理について説明する。なお、本実施例に係る動画像符号化装置および動画像復号化装置の構成、動作は、補間予測画像決定部の構成、動作を除いて実施例１の動画像符号化装置および動画像復号化装置の構成、動作と同様であるため、これらについては説明を省略する。      
図８に符号化/復号化対象領域Ｘの周辺領域(Ａ、Ｂ、Ｃ、Ｄ)の予測画像が補間予測画像であるか、画面内予測画像または画面間予測画像であるか、を示した分布図の一例を示す。まず、符号化/復号化対象領域の周辺の領域の予測画像がすべて補間予測画像である場合(図８(a))、補間予測画像決定部にて符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定する。なぜなら、対象領域の予測画像も補間予測画像である確率が高いためである。
【００５１】
一方、符号化/復号化対象領域の周辺の領域の予測画像がすべて画面内予測画像または画面間予測画像である場合（図８(ｂ)）、補間予測画像決定部にて符号化/復号化対象領域の予測画像として画面内予測画像または画面間予測画像を用いることを決定する。なぜなら、符号化/復号化対象領域の予測画像も画面内予測画像または画面間予測画像である確率が高いためである。
【００５２】
上記以外の場合（図８（c））には、周辺領域Ａ、Ｂ、Ｃ（Ｃがない場合にはＤで代用する）の予測画像のうち多く存在する予測画像を符号化/復号化対象領域の予測画像として用いることを決定する。例えば図８（c）の例では、補間予測画像を有する領域が２領域（Ａ、Ｂ）、画面内予測画像または画面間予測画像を有する領域が１領域(Ｃ)であるので、符号化/復号化対象領域Ｘの予測画像として補間予測画像用いることを決定する。
【００５３】
図９は、実施例２に係る復号化処理の流れを示した図である。
【００５４】
本実施例に係る復号化処理は、実施例１の動きベクトルの類似度に基づいた、復号化側で行う動き探索に基づく補間予測画像と、画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像との決定処理(Ｓ７０４)に代えて、復号化側で行う動き探索に基づく補間予測画像を有する、復号化対象領域の周辺の領域の個数に基づく決定処理(Ｓ９０４)を行うものであり、当該Ｓ９０４の決定処理以外の処理は実施例１に示した復号化処理と同様であるため、これらの説明は省略する。なお、当該決定処理は、復号化対象領域の予測画像として復号側で行う動き探索に基づく補間予測画像を用いるのか、それ以外の方法で生成した予測画像を復号化対象領域の予測画像として用いるのか、を決定する処理である。
【００５５】
Ｓ９０４の決定処理では、復号化対象領域の周辺の領域の予測画像がすべて復号化側で行う動き探索に基づく補間予測画像である場合、補間予測画像決定部にて補間予測画像を用いることを決定する。なぜなら、復号化対象領域の予測画像も補間予測画像である確率が高いためである。
【００５６】
一方、復号化対象領域の周辺の領域の予測画像がすべて画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像である場合、補間予測画像決定部にて当該予測画像を用いることを決定する。なぜなら、復号化対象領域も画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像である確率が高いためである。
【００５７】
上記以外の場合には、補間予測画像決定部にて、周辺領域Ａ、Ｂ、Ｃ（Ｃがない場合にはＤで代用する）の予測画像のうち多く存在する予測画像を復号化対象領域の予測画像として用いることを決定する。なぜなら、復号化対象領域もその予測画像である確率が高いためである。
【００５８】
ここで、本実施例において周辺領域Ａ、Ｂ、Ｃが取得できるまでは、実施例１と同様の方法で予測画像の決定処理を行ってもよいし、別の方法を用いてもよい。
【００５９】
また、本実施例において、補間予測画像決定部にて補間予測画像を符号化/復号化対象領域の予測画像として用いることを決定した場合には、当該補間予測画像を直接復号画像として復号画像記憶部２０５、６０５に記憶することもできる。この場合、原画像と補間予測画像との差分データは符号化側から復号化側に送信しないため、差分データの符号量を削減することが可能となる。
【００６０】
さらに、本実施例において、符号化、復号化処理における最初の領域(すなわち、符号化/復号化対象フレームの左上端に位置する領域、または当該領域から所定の範囲に位置する領域であって動き探索範囲内の領域)は、復号画像動き探索部２０９、６０８において動き探索処理を行うことができないため、既存の符号化、復号化処理と同様の符号化、復号化処理を行ってもよい。
【００６１】
また、本実施例では符号化/復号化対象フレームをＢピクチャ１枚の場合について説明したが、Ｂピクチャの枚数が複数枚の場合にも適用可能である。
【００６２】
さらに、動き探索処理に関して、本実施例では全探索の例を述べたが、処理量を削減するため、簡略化した動き探索方法を用いても良い。また、複数の探索方法を予めエンコーダ側、デコーダ側で用意して、どの探索方法を用いたかをフラグ等によって伝送してもよい。レベルやプロファイル等の情報によって、動き探索方法を選択するようにしてもよい。探索範囲についても同様であり、探索範囲を伝送してもよいし、予め複数用意してフラグを伝送してもよいし、レベルやプロファイル等で選択してもよい。
【００６３】
さらに、本実施例における符号化/復号化処理を実行するステップ手順を記録したプログラムを作成することによりコンピュータで動作させることができる。なお、このような符号化/復号化処理を実行するプログラムを、インターネット等のネットワークを介してユーザがダウンロードして使用することができる。また記録媒体に記録して使用することができる。またこのような記録媒体としては、光ディスク、光磁気ディスク、ハードディスク等の記録媒体に広く適用することができる。
【００６４】
なお、本実施例と他の実施例とは組合わせても良い。
【００６５】
以上、本実施例により、符号化/復号化対象領域の予測画像として補間予測画像と、画面内予測画像または画面間予測画像と、のうちいずれの予測画像を用いるのかを決定するための情報を符号化側から復号化側に伝送する必要がなくなり、圧縮率を向上できる。さらに、動きベクトルの類似度に代えて補間予測画像を有する、符号化/復号化対象領域の周辺の領域の個数に応じて、上記補間予測画像と画面内予測画像または画面間予測画像とのうちいずれの予測画像を符号化/復号化対象領域の予測画像として用いるのかを決定するため、より好適に符号化/復号化処理行うことができる。
【実施例３】
【００６６】
実施例１、２では、補間予測画像決定部において、符号化/復号化対象領域の周辺の領域の動きベクトルの類似度に基づいて、または補間予測画像を有する、符号化/復号化対象領域の周辺の領域の個数に基づいて、符号化/復号化対象領域の予測画像についての決定処理を行った。本実施例では、符号化/復号化対象フレームとは異なる既に符号化、復号化されたフレームの符号化情報を用いて符号化/復号化対象領域の予測画像についての決定処理を行う。すなわち、符号化/復号化対象領域が存在するフレームとは時間的に異なる既に符号化、復号化されたフレーム内の領域であって、符号化/復号化対象領域と同座標にある領域(以下、アンカー領域という。)と該領域に隣接する領域の動きベクトルの類似度を用いて決定処理を行う。
【００６７】
なお、本実施例に係る動画像符号化装置、動画像復号化装置の構成、動作は、補間予測画像決定部を除いて実施例１、２の動画像符号化装置、動画像復号化装置の構成、動作と同様であるため、これらについては説明を省略する。
【００６８】
図１０と表1を用いて本実施例に係る動画像符号化装置、動画像復号化装置における補間予測画像決定部の決定処理について説明する。
【００６９】
図１０は符号化/復号化対象フレームとその前後フレームとピクチャタイプとの位置関係を示した図である。本実施例では、後フレームはすべて画面内予測画像または画面間予測画像を用いて符号化、復号化処理されているものとする。
【００７０】
また、表1はアンカー領域の符号化モードと符号化/復号化対象領域の予測画像との関係をまとめたものである。
【００７１】
【表１】
2011029863.tif 000006
まず、アンカー領域の符号化モードの種類を判定する。
【００７２】
アンカー領域の符号化モードが画面内予測モードの場合には、補間予測画像決定部において、補間予測画像を符号化/復号化対象領域の予測画像として用いることを決定する。なぜなら、アンカー領域の動きベクトルを用いて符号化/復号化対象領域の動きベクトルを予測すると、符号化モードが画面内予測であるときには、アンカー領域の動きベクトルが０となり動きベクトルの予測精度が低下する。そのため、復号画像同士で動き探索を行って得た動きベクトルを用いて生成する上記補間予測画像を選択した方が有利となるからである。
【００７３】
一方、アンカー領域の符号化モードが画面内予測画像ではない場合には、アンカー領域の周辺領域の動きベクトルに基づいて符号化/復号化対象領域の予測画像を、補間予測画像とするか画面内予測画像または画面間予測画像とするかを決定する。
【００７４】
例えば図１０に示すアンカー領域xの動きベクトルmvxと、その周辺の領域(a、ｂ・・・h)の各動きベクトル（mva、mvb・・・mvh）との差(mva-mvx、mvb-mvx・・・mvh-mvx)を算出し、この動きベクトルの差が閾値ＴＨ１以下である領域が半数以上ならば、アンカー領域xの動きベクトルmvxと周辺領域の各動きベクトルは類似しているものとみなし、符号化/復号化対象フレーム上でアンカー領域と同座標にある対象領域Ｘの動きベクトルとその周辺の領域の動きベクトルとは類似しているものとみなす。この場合には、補間予測画像決定部において画面内予測画像または画面間予測画像を符号化/復号化対象領域の予測画像として決定する。
【００７５】
そして、アンカー領域の符号化モードが画面内予測モードでない場合であって、アンカー領域の動きベクトルmvxと周辺領域の各動きベクトルとの差が閾値ＴＨ１以下である領域が半数以下である場合は、アンカー領域xの動きベクトルmvxと周辺領域の各動きベクトルとは類似していないものとみなし、符号化/復号化対象フレーム上でアンカー領域と同座標にある符号化/復号化対象領域Ｘの動きベクトルとその周辺領域の動きベクトルとは類似していないものとみなす。この場合には、補間予測画像決定部において補間予測画像を符号化/復号化対象領域の予測画像として決定する。
【００７６】
図１１は、実施例３に係る復号化処理の流れを示した図である。
【００７７】
本実施例に係る復号化処理は、実施例１の補間予測画像決定部における、符号化/復号化対象領域の周辺の領域の動きベクトルの類似度に基づく決定処理(Ｓ７０４)に代えて、アンカー領域の符号化モードが画面内予測モードであるか否かの判定ステップ(Ｓ１１０４)とアンカー領域の動きベクトルとその周辺領域の動きベクトルとが類似するか否かの判定ステップ(Ｓ１１０５)とを有する。ここで、当該Ｓ１１０４、１１０５の判定処理以外の処理は実施例１に示した処理と同様であるため、説明を省略する。なお、当該決定処理は、復号化対象領域の予測画像として復号側で行う動き探索に基づく補間予測画像を用いるのか、それ以外の方法で生成した予測画像を復号化対象領域の予測画像として用いるのか、を決定する処理である。
【００７８】
まず、アンカー領域の符号化モードの種類を判定する(Ｓ１１０４)。
【００７９】
アンカー領域の符号化モードが画面内予測モードの場合には、復号化対象領域の予測画像として復号化側で行う動き探索に基づく補間予測画像を用いることを決定し、動きベクトル探索処理を行う（S７０５）。
【００８０】
アンカー領域の符号化モードが画面内予測モードでない場合は、Ｓ１１０５にてアンカー領域の動きベクトルとアンカー領域の周辺領域の動きベクトルとが類似するか否かの判定を行う。当該判定処理は上述した判定方法で行えばよい。
【００８１】
アンカー領域の動きベクトルとアンカー領域の周辺の領域の動きベクトルとが類似すると判定した場合、復号化対象領域の予測画像として画面内予測処理または符号化ストリームに含まれる動き情報を用いた画面間予測処理により生成した予測画像を用いることを決定し、Ｓ７０７にて予測画像を生成する。
【００８２】
アンカー領域の動きベクトルとアンカー領域の周辺領域の動きベクトルとが類似しないと判定した場合、復号化対象領域の予測画像として復号化側で行う動き探索に基づく補間予測画像を用いることを決定し、動きベクトル探索処理を行う（S７０５）。
【００８３】
以上の例では、補間予測画像決定部の処理において、アンカー領域の動きベクトルとその周辺領域の動きベクトルとの差に基づいて類似度を算出し、符号化/復号化対象領域の予測画像を決定したが、アンカー領域ｘとその周辺領域の動きベクトルの分散値を用いて類似度を算出し、符号化/復号化対象領域の予測画像を決定しても良い。すなわち、アンカー領域とその周辺領域の動きベクトル(mva、mvｂ・・・mvh)の動きベクトルの分散値を計算し、分散値が閾値ＴＨ２以下である領域が半数以上ならば、符号化対象領域Ｘとその周辺領域との動きの類似度が高いとみなして補間予測画像決定部において画面内予測画像または画面間予測画像を符号化/復号化対象領域の予測画像として用いることを決定する。
【００８４】
一方、アンカー領域とその周辺領域の各動きベクトルの分散値が閾値ＴＨ２以下である領域が半数以下である場合には符号化/復号化対象領域Ｘとその周辺領域の動きベクトルの類似度が低いとみなして補間予測画像決定部において、符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定する。
【００８５】
ここで、本実施例において、補間予測画像決定部にて、符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定した場合には、当該補間予測画像を直接復号画像として復号画像記憶部２０５、６０５に記憶することもできる。この場合、原画像と補間予測画像との差分データは符号化側から復号化側に送信しないため、差分データの符号量を削減することが可能となる。
【００８６】
また、本実施例において、符号化、復号化処理における最初の領域(すなわち、符号化/復号化対象フレームの左上端に位置する領域、または当該領域から所定の範囲に位置する領域であって動き探索範囲内の領域)は、復号画像動き探索部２０９、６０８において動き探索処理を行うことができないため、既存の符号化、復号化処理と同様の符号化、復号化処理を行えばよい。
【００８７】
また、本実施例では符号化/復号化対象フレームをＢピクチャ１枚の場合について説明したが、Ｂピクチャの枚数が複数枚の場合にも適用可能である。
【００８８】
さらに、動き探索に関して、本実施例では全探索の例を述べたが、処理量を削減するため、簡略化した動き探索方法を用いても良い。また、複数の探索方法を予めエンコーダ側、デコーダ側で用意して、どの探索方法を用いたかをフラグ等によって伝送してもよい。レベルやプロファイル等の情報によって、動き探索方法を選択するようにしてもよい。探索範囲についても同様であり、探索範囲を伝送してもよいし、予め複数用意してフラグを伝送してもよいし、レベルやプロファイル等で選択してもよい。
【００８９】
さらに、本実施例における符号化/復号化処理を実行するステップ手順を記録したプログラムを作成することによりコンピュータで動作させることができる。なお、このような符号化/復号化処理を実行するプログラムを、インターネット等のネットワークを介してユーザがダウンロードして使用することができる。また記録媒体に記録して使用することができる。またこのような記録媒体としては、光ディスク、光磁気ディスク、ハードディスク等の記録媒体に広く適用することができる。
【００９０】
なお、本実施例と他の実施例とは組合わせても良い。
【００９１】
以上、本実施例により、符号化/復号化対象フレームの符号化、復号化情報を用いずに、符号化/復号化対象領域の予測画像として補間予測画像と、画面内予測画像または画面間予測画像と、のうちいずれかを決定することが可能となるため、ハードウェアパイプライン処理等で、符号化/復号化対象領域周辺の符号化、復号化情報が取得できない場合であっても、予測画像決定処理が可能となる。
【実施例４】
【００９２】
実施例１〜３では、対象フレームがＢピクチャである場合の例について説明した。本実施例では、対象フレームがＰピクチャの場合の例について説明する。本実施例の動画像符号化装置、動画像復号化装置の構成、動作は、復号画像動き探索部、補間予測画像生成部および補間予測画像決定部の構成、動作を除いて実施例１の動画像符号化装置、動画像復号化装置と同様であるため、これらについては説明を省略する。なお、本実施例における予測画像の決定処理は、実施例１〜３と同様、符号化/復号化対象領域の予測画像として補間予測画像を用いるのか、それ以外の方法で生成した予測画像を符号化/復号化対象領域の予測画像として用いるのか、を決定する処理である。
【００９３】
図１２は、Ｐピクチャ１２０５の補間画像生成方法について示したものである。
【００９４】
まず、数式４に示す対象フレーム（１２０５）の直近の前フレーム２枚（１２０２、１２０３）の予測誤差絶対値和ＳＡＤｎ(ｘ,ｙ)を求める。具体的には前フレーム１２０３上の画素値fn-2(x-2dx,y-2dy)と、２つ前のフレーム１２０２上の画素値fn-3(x-3dx,y-3dy)とを用いる。ここでＲは動き探索時の領域サイズである。
【００９５】
【数４】
2011029863.tif 000007
ここで、前フレーム１２０３上の画素と、２つ前のフレーム１２０２上の画素は、後フレーム１２０５上の補間対象画素と時空間座標上で同一直線上に位置するように決定する。
【００９６】
次に数式４が最小となる動き探索領域Ｒ内の座標(ｄｘ,ｄｙ)を求めて動きベクトルを決定する。
【００９７】
補間予測画像生成部では、後述する方法にて補間予測画像を生成する。すなわち、復号画像動き探索部にて求めた動きベクトル(ｄｘ,ｄｙ)を用いて、数式５のように対象フレームより前の符号化、復号化済みフレーム内の画素fn-2(x-2dx,y-2dy)、fn-3(x-3dx,y-3dy)から外挿補間により対象領域の画素fn(x,y)を生成する。
【００９８】
【数５】
2011029863.tif 000008
対象領域が１６×１６画素のマクロブロックの場合、アンカー領域の補間画像は、数式６で表される。
【００９９】
【数６】
2011029863.tif 000009
補間予測画像と、画面内予測画像または画面間予測画像との決定は、実施例１〜３と同様の方法により行えばよい。
【０１００】
続いて、図１３を用いて対象フレームがＰピクチャである場合の本実施例における補間予測画像決定部の処理について説明する。また、表２に本実施例におけるアンカー領域の符号化モードと対象領域の予測画像の関係をまとめる。
【０１０１】
【表２】
2011029863.tif 000010
図１３は対象フレームと前フレームにおける補間予測画像と、画面内予測画像または画面間予測画像との領域分布の一例を示した図である。符号化/復号化対象フレーム内の符号化/復号化対象領域をＸとすると、前フレームの領域x（アンカー領域）が空間的に同位置となる。
【０１０２】
まず、本実施例では、アンカー領域の符号化モードの種類を判定する。例えば、アンカー領域の符号化モードが画面内予測モードの場合には、補間予測画像決定部において符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定する。その理由は実施例３と同様の理由である。
【０１０３】
一方、アンカー領域が画面内予測画像ではない場合には、アンカー領域とその周辺領域の動きベクトルに基づいて、符号化/復号化対象領域の予測画像として、補間予測画像と、画面内予測画像または画面間予測画像とのうちいずれを用いるのか決定する。例えば図１３に示すアンカー領域xの動きベクトルmvxとその周辺の領域(a、ｂ・・・h)の各動きベクトル（mva、mvb・・・mvh）との差(mva-mvx、mvb-mvx・・・mvh-mvx)を算出し、この動きベクトルの差が閾値ＴＨ１以下である領域が半数以上ならば、補間予測画像決定部において符号化/復号化対象領域の予測画像として画面内予測画像または画面間予測画像を用いることを決定する。
【０１０４】
一方、アンカー領域とその周辺領域の各動きベクトルの差が閾値ＴＨ１以下である領域が半数以下である場合には補間予測画像決定部において符号化/復号化対象領域の予測画像として、補間予測画像を用いることを決定する。
【０１０５】
次にアンカー領域と、補間予測画像を有する、アンカー領域の周辺の領域の個数に基づいて、符号化/復号化対象領域の予測画像を補間予測画像とするか、画面内予測画像または画面間予測画像とするか決定する方法について説明する。
【０１０６】
図１４に本実施例におけるアンカー領域とその周辺の予測画像の分布例を示す。
【０１０７】
アンカー領域とその周辺領域がすべて補間予測画像の場合(図１４(a))には、符号化/復号化対象領域の予測画像を補間予測画像とする。なぜなら、補間予測画像は、符号化/復号化対象領域の前後の復号画像同士で動き探索を行って生成されるため、アンカー領域周辺がすべて補間予測画像の場合には、符号化/復号化対象領域も補間予測画像となる確率が高いためである。
【０１０８】
一方、アンカー領域とその周辺領域がすべて画面内予測画像または画面間予測画像の場合（図１４(ｂ)）には、符号化/復号化対象領域の予測画像を画面内予測画像または画面間予測画像とする。なぜなら、アンカー領域の周辺の領域の予測画像がすべて補間予測画像でない場合には、符号化/復号化対象領域の予測画像は補間予測画像となる確率が低いためである。
【０１０９】
その他の場合（図１４(ｃ)）には、アンカー領域xとその周辺領域(a、ｂ、・・・h)のうち、最も多く存在する予測画像を符号化/復号化対象領域の予測画像とする。
【０１１０】
なお、補間予測画像決定部の処理では、実施例３と同様にアンカー領域とその周辺領域の動きベクトルの分散値を用いても良い。
【０１１１】
また、本実施例において、補間予測画像決定部にて、符号化/復号化対象領域の予測画像として補間予測画像を用いることを決定した場合には、当該補間予測画像を直接復号画像として復号画像記憶部２０５、６０５に記憶することもできる。この場合、原画像と補間予測画像との差分データは符号化側から復号化側に送信しないため、差分データの符号量を削減することが可能となる。
【０１１２】
さらに、本実施例において、符号化、復号化処理における最初の領域(すなわち、符号化/復号化対象フレームの左上端に位置する領域、または当該領域から所定の範囲に位置する領域であって動き探索範囲内の領域)は、復号画像動き探索部２０９、６０８において動き探索処理を行うことができないため、既存の符号化、復号化処理と同様の符号化、復号化処理を行えばよい。
【０１１３】
また、動き探索処理に関して、本実施例では全探索の例を述べたが、処理量を削減するため、簡略化した動き探索方法を用いても良い。また、複数の探索方法を予めエンコーダ側、デコーダ側で用意して、どの探索方法を用いたかをフラグ等によって伝送してもよい。レベルやプロファイル等の情報によって、動き探索方法を選択するようにしてもよい。探索範囲についても同様であり、探索範囲を伝送してもよいし、予め複数用意してフラグを伝送してもよいし、レベルやプロファイル等で選択してもよい。
【０１１４】
さらに、本実施例における符号化/復号化処理を実行するステップ手順を記録したプログラムを作成することによりコンピュータで動作させることができる。なお、このような符号化/復号化処理を実行するプログラムを、インターネット等のネットワークを介してユーザがダウンロードして使用することができる。また記録媒体に記録して使用することができる。またこのような記録媒体としては、光ディスク、光磁気ディスク、ハードディスク等の記録媒体に広く適用することができる。
【０１１５】
なお、本実施例と他の実施例とは組合わせても良い。
【０１１６】
以上、本実施例によって、より精度の高い補間予測画像と、画面内予測画像または画面間予測画像と、の決定処理が可能となる。
【符号の説明】
【０１１７】
１０１、５０１…入力部、１０２…領域分割部、１０３…符号化部、１０４…可変長符号化部、２０１…減算器、２０２…周波数変換・量子化部、２０３、６０３…逆量子化・逆周波数変換部、２０４、６０４…加算器、２０５、６０５…復号画像記憶部、２０６…画面内予測部、２０７…画面間予測部、２０８…画面内/画面間予測画像決定部、２０９、６０８…復号画像動き探索部、２１０、６０９…補間予測画像生成部、２１１、６０７…補間予測画像決定部、５０２…可変長復号部、６０２…構文解析部、６０６…予測画像生成部
【図１】
2011029863.tif 000011
【図２】
2011029863.tif 000012
【図３】
2011029863.tif 000013
【図４】
2011029863.tif 000014
【図５】
2011029863.tif 000015
【図６】
2011029863.tif 000016
【図７】
2011029863.tif 000017
【図８】
2011029863.tif 000018
【図９】
2011029863.tif 000019
【図１０】
2011029863.tif 000020
【図１１】
2011029863.tif 000021
【図１２】
2011029863.tif 000022
【図１３】
2011029863.tif 000023
【図１４】
2011029863.tif 000024