(57)【特許請求の範囲】
【請求項１】
符号化対象となる入力画像を入力する入力手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記参照画像と前記参照画像付随情報とを前記入力画像に合わせて変更し、前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化手段と、
前記符号化手段によって符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、
前記符号化手段により局所復号化された局所復号化画像を逆変更する画像逆変更手段と、
前記符号化手段から出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段と
を備え、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変更した情報を前記参照画像付随情報として蓄積する、
動画像符号化装置。
【請求項２】
符号化対象となる入力画像を入力する入力手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記入力画像と前記参照画像とを変更する画像変更手段と、
前記参照画像付随情報を前記入力画像と前記参照画像とに合わせて変更する参照画像付随情報変更手段と、
前記変更された参照画像と前記変更された参照画像付随情報とを用いて前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化手段と、
前記符号化手段によって符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、
前記符号化手段により局所復号化された局所復号化画像を逆変更する画像逆変更手段と、
前記符号化手段から出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段と
を備え、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変更した情報を前記参照画像付随情報として蓄積する、
動画像符号化装置。
【請求項３】
前記参照画像付随情報は前記参照画像の動きベクトルである、請求項１または２に記載の動画像符号化装置。
【請求項４】
入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記変更方法情報を用いて前記参照画像と前記参照画像付随情報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、
前記復号化手段により復号化された復号化画像を逆変更する画像逆変更手段と、
前記復号化手段から出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段と
を備え、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変更した情報を前記参照画像付随情報として蓄積する、
動画像復号化装置。
【請求項５】
入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記参照画像を前記変更方法情報に従って変更する画像変更手段と、
前記参照画像付随情報を前記変更方法情報に従って変更する参照画像付随情報変更手段と、
前記変更された参照画像と、前記変更された参照画像付随情報を用いて、復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、
前記復号化手段により復号化された復号化画像を逆変更する画像逆変更手段と、
前記復号化手段から出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段と
を備え、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変更した情報を前記参照画像付随情報として蓄積する、
動画像復号化装置。
【請求項６】
前記参照画像付随情報は前記参照画像の動きベクトルである、請求項４または５に記載の動画像復号化装置。
【請求項７】
入力手段が、符号化対象となる入力画像を入力する入力ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、
参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、
符号化手段が、前記参照画像と前記参照画像付随情報とを前記入力画像に合わせて変更し、前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化ステップと、
出力手段が、前記符号化ステップにおいて符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力ステップと、
画像逆変更手段が、前記符号化ステップにおいて局所復号化された局所復号化画像を逆変更する画像逆変更ステップと、
参照画像付随情報逆変更手段が、前記符号化ステップにおいて出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更ステップと
を含み、
前記参照画像蓄積ステップでは、前記画像逆変更ステップにおいて逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積ステップは、前記参照画像付随情報逆変更ステップにおいて逆変更した情報を前記参照画像付随情報として蓄積する、
動画像符号化方法。
【請求項８】
入力手段が、符号化対象となる入力画像を入力する入力ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、
参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、
画像変更手段が、前記入力画像と前記参照画像とを変更する画像変更ステップと、
参照画像付随情報変更手段が、前記参照画像付随情報を前記入力画像と前記参照画像とに合わせて変更する参照画像付随情報変更ステップと、
符号化手段が、前記変更された参照画像と前記変更された参照画像付随情報とを用いて前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化ステップと、
出力手段が、前記符号化ステップにおいて符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力ステップと、
画像逆変更手段が、前記符号化ステップにおいて局所復号化された局所復号化画像を逆変更する画像逆変更ステップと、
参照画像付随情報逆変更手段が、前記符号化ステップにおいて出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更ステップと
を含み、
前記参照画像蓄積ステップでは、前記画像逆変更ステップにおいて逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積ステップは、前記参照画像付随情報逆変更ステップにおいて逆変更した情報を前記参照画像付随情報として蓄積する、
動画像符号化方法。
【請求項９】
分離手段が、入力された符号化データを圧縮データと変更方法情報とに分離する分離ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、
参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、
復号化手段が、前記変更方法情報を用いて前記参照画像と前記参照画像付随情報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化ステップと、
画像逆変更手段が、前記復号化ステップにおいて復号化された復号化画像を逆変更する画像逆変更ステップと、
参照画像付随情報逆変更手段が、前記復号化ステップにおいて出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更ステップと
を含み、
前記参照画像蓄積ステップでは、前記画像逆変更ステップにおいて逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積ステップでは、前記参照画像付随情報逆変更ステップにおいて逆変更した情報を前記参照画像付随情報として蓄積する、
動画像復号化方法。
【請求項１０】
分離手段が、入力された符号化データを圧縮データと変更方法情報とに分離する分離ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、
参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、
画像変更手段が、前記参照画像を前記変更方法情報に従って変更する画像変更ステップと、
参照画像付随情報変更手段が、前記参照画像付随情報を前記変更方法情報に従って変更する参照画像付随情報変更ステップと、
復号化手段が、前記変更された参照画像と前記変更された参照画像付随情報とを用いて、復号画像の予測信号を生成して、復号画像の復号化を行う復号化ステップと、
画像逆変更手段が、前記復号化ステップにおいて復号化された復号化画像を逆変更する画像逆変更ステップと、
参照画像付随情報逆変更手段が、前記復号化ステップにおいて出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更ステップと
を含み、
前記参照画像蓄積ステップでは、前記画像逆変更ステップにおいて逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積ステップでは、前記参照画像付随情報逆変更ステップにおいて逆変更した情報を前記参照画像付随情報として蓄積する、
動画像復号化方法。
【請求項１１】
コンピュータを
符号化対象となる入力画像を入力する入力手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記参照画像と前記参照画像付随情報とを前記入力画像に合わせて変更し、前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化手段と、
前記符号化手段によって符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、
前記符号化手段により局所復号化された局所復号化画像を逆変更する画像逆変更手段と、
前記符号化手段から出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段と
して機能させ、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変更した情報を前記参照画像付随情報として蓄積する、
動画像符号化プログラム。
【請求項１２】
コンピュータを
入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記変更方法情報を用いて前記参照画像と前記参照画像付随情報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、
前記復号化手段により復号化された復号化画像を逆変更する画像逆変更手段と、
前記復号化手段から出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段と
して機能させ、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変更した情報を前記参照画像付随情報として蓄積する、
動画像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラムに関するものである。
【背景技術】
【０００２】
動画像符号化装置の一つとして、下記非特許関連文献１に記載のように、入力画像をあらかじめフレームごとに上下方向、左右方向、または上下左右方向に対称に反転した後に符号化する、動画像反転符号化装置が存在する。これは、一般的に入力画像がフレーム内で不均一な特徴を持つため、ラスタスキャン順で左上から右下へ方向依存性のある予測符号化を行う場合、予測効率の高い方向に画像を反転することで符号化効率の向上が可能になるためである。
【０００３】
非特許関連文献１に記載の符号化装置は、入力画像を反転なし、上下方向反転、左右方向反転、上下左右方向反転の４種類の中から選んで反転する。図１（ａ）は入力画像を、図１（ｂ）は入力画像の反転なしの画像を、図１（ｃ）は入力画像を上下方向に反転した画像を、図１（ｄ）は入力画像を左右方向に反転した画像を、図１（ｅ）は入力画像を上下左右方向に反転した画像をそれぞれ示す。そして、符号化装置は、フレーム間での予測を行うインター予測での符号化においては、過去に符号化された画像の局所復号化済み画像である参照画像を入力画像と同じ方向に反転し、反転された参照画像を用いて符号化対象である反転された入力画像の予測信号を生成して符号化を行う。符号化された圧縮データは入力画像の反転方向を示す識別子と合わせて出力される。また、符号化された圧縮データは局所復号化され、入力画像の反転方向と逆方向に反転されて入力画像と同じ方向に直され、次フレーム以降の参照画像として保存される。図１（ｆ）は入力画像の反転なしの画像（図１（ｂ））を逆方向に反転した画像を示す。すなわち、図１（ｆ）、図１（ｂ）は、図１（ａ）と同じ画像である。図１（ｇ）は入力画像を上下方向に反転した画像（図１（ｃ））を逆方向に反転した画像を示す。図１（ｈ）は入力画像を左右方向に反転した画像（図１（ｄ））を逆方向に反転した画像を示す。図１(ｉ)は入力画像を上下左右方向に反転した画像（図１（ｅ））を逆方向に反転した画像を示す。
【０００４】
また、非特許関連文献１に記載の復号化装置は、フレーム間での予測を行うインター予測での復号化においては、符号化装置から伝送された符号から入力画像の反転方向を示す識別子を取り出して反転方向を判別し、過去の復号化済み画像である参照画像を入力画像の反転方向と同じ方向に反転する。そして、復号化装置は符号化装置から伝送された符号から取り出した圧縮データと反転された参照画像を用いて、反転された画像を復号化したのち、反転された画像を入力画像の反転方向と逆方向に反転して入力画像と同じ方向に直して復号化画像とするとともに、復号化画像を次フレーム以降の参照画像として保存する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】村上他、「H.264/AVCBaseline Profileにおける方向依存性を利用した拡張符号化方式」、2005年 電子情報通信学会総合大会
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記従来技術における符号化装置および復号化装置は、予測信号を生成するために参照画像を入力画像の反転方向と同じ方向に反転させている。そのため、前記従来技術には以下のような問題がある。すなわち、予測信号の生成のために参照画像に付随する情報を必要とする場合、参照画像に付随する情報が反転した参照画面に対応しないため、正しい予測信号を生成することができない。また、前記従来技術における符号化装置および復号化装置はフレーム画像ごとに反転方向を変更するが、フレーム画像をさらに分割したスライスごとやブロックごとに反転方向を変更することができない。
【０００７】
本発明は、上記問題を解決するために成されたものであり、的確な予測信号を生成することにより、画像情報をより効率的に符号化する動画像符号化装置、動画像符号化方法、および動画像符号化プログラムと、符号化された画像情報をより効率的に復号化する動画像復号化装置、動画像復号化方法、および動画像復号化プログラムと、を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の動画像符号化装置は、符号化対象となる入力画像を入力する入力手段と、参照画像を蓄積する参照画像蓄積手段と、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、参照画像と参照画像付随情報とを入力画像に合わせて変更し、入力画像の予測信号を生成して入力画像の符号化を行う符号化手段と、符号化手段によって符号化された圧縮データを参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、符号化手段により局所復号化された局所復号化画像を逆変更する画像逆変更手段と、符号化手段から出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段とを備え、参照画像蓄積手段は、画像逆変更手段が逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積手段は、参照画像付随情報逆変更手段が逆変更した情報を参照画像付随情報として蓄積する。
【０００９】
本発明の動画像符号化方法は、入力手段が、符号化対象となる入力画像を入力する入力ステップと、参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、参照画像付随情報蓄積手段が、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、符号化手段が、参照画像と参照画像付随情報とを入力画像に合わせて変更し、入力画像の予測信号を生成して入力画像の符号化を行う符号化ステップと、出力手段が、符号化ステップにおいて符号化された圧縮データを参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力ステップと、画像逆変更手段が、符号化ステップにおいて局所復号化された局所復号化画像を逆変更する画像逆変更ステップと、参照画像付随情報逆変更手段が、符号化ステップにおいて出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更ステップとを含み、参照画像蓄積ステップでは、画像逆変更ステップにおいて逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積ステップは、参照画像付随情報逆変更ステップにおいて逆変更した情報を参照画像付随情報として蓄積する。
【００１０】
本発明の動画像符号化プログラムは、ココンピュータを符号化対象となる入力画像を入力する入力手段と、参照画像を蓄積する参照画像蓄積手段と、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、参照画像と参照画像付随情報とを入力画像に合わせて変更し、入力画像の予測信号を生成して入力画像の符号化を行う符号化手段と、符号化手段によって符号化された圧縮データを参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、符号化手段により局所復号化された局所復号化画像を逆変更する画像逆変更手段と、符号化手段から出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段として機能させ、参照画像蓄積手段は、画像逆変更手段が逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積手段は、参照画像付随情報逆変更手段が逆変更した情報を参照画像付随情報として蓄積する。
【００１１】
本発明によれば、参照画像蓄積手段が参照画像を蓄積し、参照画像付随情報蓄積手段が参照画像付随情報を蓄積するので、符号化対象となる入力画像に対応した情報を蓄積することができる。そして、符号化手段が参照画像と参照画像付随情報とを入力画像に合わせて変更し、符号化手段が予測信号を生成するので、入力画像を符号化しやすいように変更すると共に変更した入力画像に対応した予測信号を生成することができる。よって、符号化手段が参照画像と参照画像付随情報とを用いて予測信号をより正確に生成することができ、より効率的に入力画像の符号化を行うことができる。また、次に入力される入力画像に対応した参照画像と参照画像付随情報とを生成することができる。
【００１２】
本発明の動画像符号化装置は、符号化対象となる入力画像を入力する入力手段と、参照画像を蓄積する参照画像蓄積手段と、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、入力画像と参照画像とを変更する画像変更手段と、参照画像付随情報を入力画像と参照画像とに合わせて変更する参照画像付随情報変更手段と、変更された参照画像と変更された参照画像付随情報とを用いて入力画像の予測信号を生成して入力画像の符号化を行う符号化手段と、符号化手段によって符号化された圧縮データを参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、符号化手段により局所復号化された局所復号化画像を逆変更する画像逆変更手段と、符号化手段から出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段とを備え、参照画像蓄積手段は、画像逆変更手段が逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積手段は、参照画像付随情報逆変更手段が逆変更した情報を参照画像付随情報として蓄積する。
【００１３】
本発明の動画像符号化方法は、入力手段が、符号化対象となる入力画像を入力する入力ステップと、参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、参照画像付随情報蓄積手段が、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、画像変更手段が、入力画像と参照画像とを変更する画像変更ステップと、参照画像付随情報変更手段が、参照画像付随情報を入力画像と参照画像とに合わせて変更する参照画像付随情報変更ステップと、符号化手段が、変更された参照画像と変更された参照画像付随情報とを用いて入力画像の予測信号を生成して入力画像の符号化を行う符号化ステップと、出力手段が、符号化ステップにおいて符号化された圧縮データを参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力ステップと、画像逆変更手段が、符号化ステップにおいて局所復号化された局所復号化画像を逆変更する画像逆変更ステップと、参照画像付随情報逆変更手段が、符号化ステップにおいて出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更ステップとを含み、参照画像蓄積ステップでは、画像逆変更ステップにおいて逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積ステップは、参照画像付随情報逆変更ステップにおいて逆変更した情報を参照画像付随情報として蓄積する。
【００１４】
本発明によれば、参照画像蓄積手段が参照画像を蓄積し、参照画像付随情報蓄積手段が参照画像付随情報を蓄積するので、符号化対象となる入力画像に対応した情報を蓄積することができる。そして、画像変更手段が入力画像と参照画像とを変更し、参照画像付随情報変更手段が参照画像付随情報を入力画像と参照画像とに合わせて変更し、符号化手段が変更された参照画像と変更された参照画像付随情報とを用いて入力画像の予測信号を生成するので、入力画像を符号化しやすいように変更すると共に変更した入力画像に対応した予測信号を生成することができる。よって、符号化手段が参照画像と参照画像付随情報とを用いて予測信号をより正確に生成することができる。よって、より効率的に入力画像の符号化を行うことができる。また、次に入力される入力画像に対応した参照画像と参照画像付随情報とを生成することができる。
【００１８】
また、本発明の動画像符号化装置の参照画像付随情報は参照画像の動きベクトルであることも好ましい。
【００１９】
また、本発明の動画像符号化方法における参照画像付随情報は参照画像の動きベクトルであることも好ましい。
【００２０】
本発明の動画像復号化装置は、入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、参照画像を蓄積する参照画像蓄積手段と、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、変更方法情報を用いて参照画像と参照画像付随情報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、復号化手段により復号化された復号化画像を逆変更する画像逆変更手段と、復号化手段から出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段とを備え、参照画像蓄積手段は、画像逆変更手段が逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積手段は、参照画像付随情報逆変更手段が逆変更した情報を参照画像付随情報として蓄積する。
【００２１】
本発明の動画像復号化方法は、分離手段が、入力された符号化データを圧縮データと変更方法情報とに分離する分離ステップと、参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、参照画像付随情報蓄積手段が、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、復号化手段が、変更方法情報を用いて参照画像と参照画像付随情報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化ステップと、画像逆変更手段が、復号化ステップにおいて復号化された復号化画像を逆変更する画像逆変更ステップと、参照画像付随情報逆変更手段が、復号化ステップにおいて出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更ステップとを含み、参照画像蓄積ステップでは、画像逆変更ステップにおいて逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積ステップでは、参照画像付随情報逆変更ステップにおいて逆変更した情報を参照画像付随情報として蓄積する。
【００２２】
本発明の動画像復号化プログラムは、コンピュータを入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、参照画像を蓄積する参照画像蓄積手段と、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、変更方法情報を用いて参照画像と参照画像付随情報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、復号化手段により復号化された復号化画像を逆変更する画像逆変更手段と、復号化手段から出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段として機能させ、参照画像蓄積手段は、画像逆変更手段が逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積手段は、参照画像付随情報逆変更手段が逆変更した情報を参照画像付随情報として蓄積する。
【００２３】
本発明によれば、参照画像蓄積手段が参照画像を蓄積し、参照画像付随情報蓄積手段が参照画像に付随する参照画像付随情報を蓄積するので、符号化対象となる入力画像に対応した情報を蓄積することができる。そして、分離手段が入力された符号化データを圧縮データと変更方法情報に分離し、復号化手段が変更方法情報を用いて参照画像と参照画像付随情報とを変更して復号画像の予測信号を生成するので、参照画像と参照画像付随情報とを圧縮データに対応して変更し、圧縮データに対応した予測信号を生成することができる。よって、復号化手段が参照画像と参照画像付随情報とを用いて予測信号をより正確に生成することができ、より効率的に圧縮データの復号化を行うことができる。また、次に入力される復号化画像に対応した参照画像と参照画像付随情報とを生成することができる。
【００２４】
本発明の動画像復号化装置は、入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、参照画像を蓄積する参照画像蓄積手段と、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、参照画像を変更方法情報に従って変更する画像変更手段と、参照画像付随情報を変更方法情報に従って変更する参照画像付随情報変更手段と、変更された参照画像と、変更された参照画像付随情報を用いて、復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、復号化手段により復号化された復号化画像を逆変更する画像逆変更手段と、復号化手段から出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段とを備え、参照画像蓄積手段は、画像逆変更手段が逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積手段は、参照画像付随情報逆変更手段が逆変更した情報を参照画像付随情報として蓄積する。
【００２５】
本発明の動画像復号化方法は、分離手段が、入力された符号化データを圧縮データと変更方法情報とに分離する分離ステップと、参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、参照画像付随情報蓄積手段が、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、画像変更手段が、参照画像を変更方法情報に従って変更する画像変更ステップと、参照画像付随情報変更手段が、参照画像付随情報を変更方法情報に従って変更する参照画像付随情報変更ステップと、復号化手段が、変更された参照画像と変更された参照画像付随情報とを用いて、復号画像の予測信号を生成して、復号画像の復号化を行う復号化ステップと、画像逆変更手段が、復号化ステップにおいて復号化された復号化画像を逆変更する画像逆変更ステップと、参照画像付随情報逆変更手段が、復号化ステップにおいて出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更ステップとを含み、参照画像蓄積ステップでは、画像逆変更ステップにおいて逆変更した情報を参照画像として蓄積し、参照画像付随情報蓄積ステップでは、参照画像付随情報逆変更ステップにおいて逆変更した情報を参照画像付随情報として蓄積する。
【００２６】
本発明によれば、参照画像蓄積手段が参照画像を蓄積し、参照画像付随情報蓄積手段が参照画像に付随する参照画像付随情報を蓄積するので、符号化対象となる入力画像に対応した情報を蓄積することができる。そして、分離手段が入力された符号化データを圧縮データと変更方法情報に分離し、画像変更手段が参照画像を変更方法情報に従って変更し、参照画像付随情報変更手段が参照画像付随情報を変更方法情報に従って変更し、復号化手段が変更された参照画像と変更された参照画像付随情報とを用いて復号画像の予測信号を生成するので、圧縮データに対応して参照画像および参照画像付随情報を変更し、圧縮データに対応した予測信号を生成することができる。よって、復号化手段が参照画像と参照画像付随情報とを用いて予測信号をより正確に生成することができる。よって、より効率的に圧縮データの復号化を行うことができる。また、次に入力される復号化画像に対応した参照画像と参照画像付随情報とを生成することができる。
【００３０】
また、本発明の動画像復号化装置の参照画像付随情報は参照画像の動きベクトルであることも好ましい。
【００３１】
また、本発明の動画像復号化方法における参照画像付随情報は参照画像の動きベクトルであることも好ましい。
【発明の効果】
【００３２】
的確な予測信号を生成してより効率的に画像情報の符号化及び復号化をすることができる。
【図面の簡単な説明】
【００３３】
【図１】従来の符号化装置における入力画像の処理方法について説明するための図である。
【図２】本発明の第１実施形態に係る動画像符号化装置の構成図である。
【図３】本発明の第１実施形態に係る動画像符号化装置に含まれる符号化部の構成図である。
【図４】本発明の第１実施形態に係る動画像符号化装置に含まれる符号化部の変形例ある。
【図５】本発明の第１実施形態に係る参照画像付随情報の処理方法について説明するための図である。
【図６】本発明の第１実施形態に係る反転局所復号化画像付随情報について説明するための図である。
【図７】本発明の第１実施形態に係る動画像符号化方法を示すフローチャートである。
【図８】本発明の第１実施形態に係る動画像復号化装置の構成図である。
【図９】本発明の第１実施形態に係る動画像復号化装置に含まれる復号化部の構成図である。
【図１０】本発明の第１実施形態に係る動画像復号化方法を示すフローチャートである。
【図１１】本発明の第２実施形態に係る動画像符号化装置の構成図である。
【図１２】本発明の第２実施形態に係る動画像符号化方法を示すフローチャートである。
【図１３】本発明の第２実施形態に係る動画像復号化装置の構成図である。
【図１４】本発明の第２実施形態に係る動画像復号化方法を示すフローチャートである。
【図１５】本発明の第２実施形態の第１変形例に係る動画像符号化装置の構成図である。
【図１６】本発明の第２実施形態の第１変形例に係る動画像符号化方法を示すフローチャートである。
【図１７】本発明の第２実施形態の第１変形例に係る動画像復号化装置の構成図である。
【図１８】本発明の第２実施形態の第１変形例に係る動画像復号化方法を示すフローチャートである。
【図１９】本発明の第１実施形態に係る、複数列のブロック群からなるスライス単位で入力画像を反転する場合について説明するための図である。
【図２０】本発明の第１実施形態に係る、任意形状のブロック群からなるスライス単位で入力画像を反転する場合について説明するための図である。
【発明を実施するための形態】
【００３４】
本発明の実施形態に係わる動画像符号化装置および動画像復号化装置について図面を参照して説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
【００３５】
（第1実施形態）
図２を用いて、本発明に係わる動画像符号化装置を説明する。
【００３６】
本発明に係る動画像符号化装置２０は、その機能的な構成要素として、入力部２０１（入力手段）と、参照画像蓄積部２０２（参照画像蓄積手段）と、参照画像付随情報蓄積部２０３（参照画像付随情報蓄積手段）と、画像反転部２０４（画像変更手段）と、参照画像付随情報反転部２０５（参照画像付随情報変更手段）と、符号化部２０６（符号化手段）と、画像逆反転部２０７（画像逆変更手段）と、参照画像付随情報逆反転部２０８（参照画像付随情報逆変更手段）と、出力部２０９（出力手段）とを備えて構成される。
【００３７】
入力部２０１は、入力された動画像信号２１０をフレーム画像に分離し、フレーム画像を入力画像２１１として画像反転部２０４に送る。
【００３８】
参照画像蓄積部２０２は、過去に符号化された画像の局所復号化済み画像である参照画像を蓄積する部分である。参照画像蓄積部２０２は参照画像２１２を画像反転部２０４に送る。
【００３９】
画像反転部２０４は、入力部２０１から送られた入力画像２１１を、反転なし、上下方向反転、左右方向反転、上下左右方向反転の４種類の中から選んで反転して、反転入力画像２１３を作成し、符号化部２０６に送る。また、画像反転部２０４は参照画像蓄積部２０２から送られた参照画像２１２を、入力画像２１１の反転方向と同じ方向に反転して、反転参照画像２１４を作成し、符号化部２０６に送る。また、画像反転部２０４は、入力画像２１１の反転方向を示す反転方向情報２１５を参照画像付随情報反転部２０５と、画像逆反転部２０７と、参照画像付随情報逆反転部２０８と、出力部２０９に送る。
【００４０】
参照画像付随情報蓄積部２０３は、過去に符号化された画像の局所復号化済み画像である参照画像に付随する情報である、参照画像付随情報を蓄積する部分である。参照画像付随情報蓄積部２０３は参照画像付随情報２１６を参照画像付随情報反転部２０５に送る。
【００４１】
参照画像付随情報反転部２０５は、画像反転部２０４から送られた反転方向情報２１５を用いて、参照画像付随情報蓄積部２０３から送られた参照画像付随情報２１６を入力画像の反転方向と同じ方向に合わせて反転し、反転参照画像付随情報２１７を作成し、符号化部２０６に送る。
【００４２】
符号化部２０６は、画像反転部２０４から送られた反転参照画像２１４と、参照画像付随情報反転部２０５から送られた反転参照画像付随情報２１７を用いて、画像反転部２０４から送られた反転入力画像２１３の予測信号を生成し、反転された入力画像の符号化を行う。符号化部２０６は反転された入力画像を符号化した圧縮データ２１８を出力部２０９に送る。また符号化部２０６は、反転されて局所復号化された反転局所復号化画像２１９を画像逆反転部２０７に送る。さらに符号化部２０６は、反転局所復号化画像付随情報２２０を参照画像付随情報逆反転部２０８に送る。
【００４３】
画像逆反転部２０７は、画像反転部２０４から送られた反転方向情報２１５を用いて、符号化部２０６から送られた反転局所復号化画像２１９を入力画像の反転方向と逆方向に反転して局所復号化画像２２１を生成し、次フレーム以降で参照画像として用いられるために参照画像蓄積部２０２に送る。
【００４４】
参照画像付随情報逆反転部２０８は、画像反転部２０４から送られた反転方向情報２１５を用いて、符号化部２０６から送られた反転局所復号化画像付随情報２２０を入力画像の反転方向と逆方向に反転して局所復号化画像付随情報２２２を生成し、次フレーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄積部２０３に送る。
【００４５】
出力部２０９は、画像反転部２０４から送られた反転方向情報２１５と符号化部２０６から送られた圧縮データ２１８を合わせて、符号化データ２２３として外部へ伝送する。なお、反転方向情報２１５は、反転なしが「００」、上下方向反転が「０１」、左右方向反転が「１０」、上下左右方向反転が「１１」のようにフレームごとに２ビットの情報とする。また、反転方向情報２１５は上記以外に反転方向を示すあらゆる方法を用いることができる。
【００４６】
なお、参照画像付随情報２１６の一例としては、参照画像を生成する際に用いられた動きベクトルが挙げられる。この場合、参照画像付随情報蓄積部２０３は、参照画像を生成する際に用いられた動きベクトルを蓄積する。また、参照画像付随情報反転部２０５は、画像反転部２０４から送られた反転方向情報２１５を用いて、参照画像付随情報蓄積部２０３から送られた動きベクトルを入力画像の反転方向と同じ方向に合わせて反転し、反転参照画像付随情報２１７を生成する。
【００４７】
具体的には、参照画像付随情報反転部２０５は、参照画像付随情報蓄積部２０３から送られた動きベクトルが（ＭＶ１ｘ、ＭＶ１ｙ）であった場合、反転方向情報２１５が反転なしのときは反転参照画像付随情報として反転動きベクトルを（ＭＶ１ｘ、ＭＶ１ｙ）とし、反転方向情報２１５が上下方向反転のときは反転参照画像付随情報として反転動きベクトルを（ＭＶ１ｘ、-ＭＶ１ｙ）とし、反転方向情報２１５が左右方向反転ときは反転参照画像付随情報として反転動きベクトルを（-ＭＶ１ｘ、ＭＶ１ｙ）とし、反転方向情報２１５が上下左右方向反転ときは反転参照画像付随情報として反転動きベクトルを（-ＭＶ１ｘ、-ＭＶ１ｙ）として生成する。また、動きベクトルのフレーム内での位置も、入力画像や参照画像の画素の位置と同様に、反転方向に応じて反転される。
【００４８】
図５（ａ）は参照画像を生成する際に用いられた動きベクトルを示す。図５（ｂ）は反転なしの場合の反転動きベクトルを示す。すなわち、図５（ｂ）は図５（ａ）と同じ向きの動きベクトルである。図５（ｃ）は上下方向反転の場合の反転動きベクトルを示す。図５（ｄ）は左右方向反転の場合の反転動きベクトルを示す。図５（ｅ）は上下左右方向反転の場合の反転動きベクトルを示す。また、参照画像付随情報逆反転部２０８は、画像反転部２０４から送られた反転方向情報２１５を用いて、符号化部２０６から送られた反転動きベクトルを入力画像の反転方向と逆方向に反転して局所復号化画像付随情報２２２を生成する。具体的には、参照画像付随情報逆反転部２０８は、符号化部２０６から送られた反転動きベクトルが（ＭＶ２ｘ、ＭＶ２ｙ）であった場合、反転方向情報２１５が反転なしのときは局所復号化画像付随情報として動きベクトルを（ＭＶ２ｘ、ＭＶ２ｙ）とし、反転方向情報２１５が上下方向反転のときは局所復号化画像付随情報として動きベクトルを（ＭＶ２ｘ、-ＭＶ２ｙ）とし、反転方向情報２１５が左右方向反転ときは局所復号化画像付随情報として動きベクトルを（-ＭＶ２ｘ、ＭＶ２ｙ）とし、反転方向情報２１５が上下左右方向反転ときは局所復号化画像付随情報として動きベクトルを（-ＭＶ２ｘ、-ＭＶ２ｙ）として生成する。
【００４９】
また、反転動きベクトルのフレーム内での位置も、反転局所復号化画像の画素の位置と同様に、反転方向に応じて逆方向に反転される。図５（ｆ）は反転なしの場合の反転動きベクトル（図５（ｂ））を逆方向に反転した動きベクトルを示す。すなわち、図５（ｆ）は、図５（ａ）及び（ｂ）と同じ向きの動きベクトルである。図５（ｇ）は上下方向反転した反転動きベクトル（図５（ｃ））を逆方向に反転した動きベクトルを示す。図５（ｈ）は左右方向反転した反転動きベクトル（図５（ｄ））を逆方向に反転した動きベクトルを示す。図５（ｉ）は上下左右方向反転した反転動きベクトル（図５（ｅ））を逆方向に反転した動きベクトルを示す。但し、参照画像付随情報は上記の動きベクトルに限らず、参照画像を生成する際に用いられたあらゆる付随情報を用いることができる。
【００５０】
また、符号化部２０６で使用する符号化方式の一例としては、Ｈ．２６４／ＡＶＣ符号化方式（joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG, “Editor’sProposed Draft Text Modifications for Joint Video Specification(ITU-TRec.H.264|ISO/IEC 14496-10 AVC”）, Geneva modifications draft 37を参照)が挙げられる。但し、上記のＨ．２６４／ＡＶＣ符号化方式に限らず、参照画像と参照画像に付随する情報から入力画像の予測信号を生成して符号化を行うあらゆる方式の符号化法を適用することができる。
【００５１】
図３を用いて符号化部２０６をさらに詳細に説明する。
【００５２】
符号化部２０６は、その機能的な構成要素として、ブロック分割部３０１と、予測信号生成部３０２と、減算器３０３と、変換部３０４と、量子化部３０５と、エントロピー符号化部３０６と、逆量子化部３０７と、逆変換部３０８と、加算器３０９とを備えて構成される。
【００５３】
ブロック分割部３０１は、反転入力画像２１３を符号化処理する単位のブロックに分割して反転入力画像ブロック３１０を生成し、減算器３０３に送る。
【００５４】
予測信号生成部３０２は、反転参照画像２１４と反転参照画像付随情報２１７を用いて符号化対象のブロックの予測信号３１１を生成し、減算器３０３と加算器３０９に送る。また、予測信号生成部３０２は、予測信号の生成に用いた符号化情報３１２をエントロピー符号化部３０６に送る。さらに、予測信号生成部３０２は、予測信号の生成により決定された反転局所復号化画像付随情報２２０を出力する。
【００５５】
減算器３０３は、ブロック分割部３０１から送られた反転入力画像ブロック３１０から、予測信号生成部３０２から送られた予測信号３１１を減算して残差信号３１３を生成し、変換部３０４に送る。
【００５６】
変換部３０４は、減算器３０３から送られた残差信号３１３を直交変換して直交変換係数３１４を生成し、量子化部３０５に送る。
【００５７】
量子化部３０５は、変換部３０４から送られた直交変換係数３１４を量子化することにより、量子化直交変換係数３１５を生成し、エントロピー符号化部３０６と逆量子化部３０７に送る。
【００５８】
エントロピー符号化部３０６は、予測信号生成部３０２から送られた符号化情報３１２と、量子化部３０５から送られた量子化直交変換係数３１５を合わせてエントロピー符号化し、圧縮データ２１８を生成して出力する。
【００５９】
逆量子化部３０７は、量子化部３０５から送られた量子化直交変換係数３１５を逆量子化して局所復号化直交変換係数３１６を生成し、逆変換部３０８に送る。
【００６０】
逆変換部３０８は、逆量子化部３０７から送られた局所復号化直交変換係数３１６を逆直交変換して局所復号化残差信号３１７を生成し、加算器３０９に送る。
【００６１】
加算器３０９は、予測信号生成部３０２から送られた予測信号３１１と、逆変換部３０８から送られた局所復号化残差信号３１７を加算して反転局所復号化画像２１９を生成し、出力する。
【００６２】
なお、反転参照画像付随情報２１７の一例として、反転動きベクトルが挙げられる。この場合、予測信号生成部３０２は反転参照画像２１４と、反転参照画像付随情報２１７である反転動きベクトルを用いて、Ｈ．２６４／ＡＶＣ符号化方式におけるＢピクチャの時間ダイレクトモードの予測方式と同様に、符号化ブロックの予測信号を生成する。また、予測信号生成部３０２は参照画像と参照画像に付随する動きベクトルから入力画像の予測信号を生成するその他のあらゆる方式を用いても良い。
【００６３】
また、符号化部２０６は図４に示すような装置としても良い。
【００６４】
図３と図４の違いは、図３では予測信号生成部３０２が、反転参照画像２１４と、反転参照画像付随情報２１７を用いて予測信号を生成しているのに対し、図４では予測信号生成部３０２が反転参照画像２１４と、反転参照画像付随情報２１７と、ブロック分割部３０１から送られた反転入力画像ブロック３１０を用いて予測信号を生成している点のみであり、その他は全て同一である。
【００６５】
図４に示す予測信号生成部３０２において、反転参照画像付随情報２１７として反転動きベクトルを用いて、反転入力画像ブロック３１０と反転参照画像２１４から符号化対象ブロックの予測信号を生成する方法は次の通りである。すなわち図６のように、予測信号生成部３０２は、符号化対象のブロックと同一の位置の反転動きベクトルを参照し、反転参照画像上において、反転動きベクトルの指す点を探索中心として反転入力画像ブロックに最も類似する信号パターンを持つブロックを探索して、そのブロックの信号パターンを符号化対象ブロックの予測信号とする。
【００６６】
また、予測信号生成部３０２は符号化対象のブロックの位置から反転入力画像ブロックに最も類似する信号パターンを持つブロックまでの変位のベクトルを、反転局所復号化画像付随情報２２０として出力する。さらに、反転動きベクトルの指す点である探索中心から、反転入力画像ブロックに最も類似する信号パターンを持つブロックまでの変位のベクトルを、動きベクトル差分値として符号化情報３１２に含めて符号化する。なお予測信号生成部３０２は、参照画像と参照画像に付随する動きベクトルと入力画像を用いて、入力画像の予測信号を生成するその他のあらゆる方式を用いても良い。
【００６７】
次に、図７を用いて、本発明にかかわる動画像符号化装置２０の動作を説明する。本発明に係る動画像符号化装置２０の動作は、プログラムにより実行可能である。
【００６８】
まず、入力部２０１が入力された動画像信号２１０をフレーム画像に分離する（ステップＳ６０１）。次に、画像反転部２０４が、入力部２０１から送られた入力画像２１１を、反転なし、上下方向反転、左右方向反転、上下左右方向反転の４種類の中から選んで（ステップＳ６０２）反転し、反転入力画像２１３を作成する（ステップＳ６０３）。また、画像反転部２０４が参照画像蓄積部２０２から送られた参照画像２１２を、入力画像２１１の反転方向と同じ方向に反転して、反転参照画像２１４を作成する（ステップＳ６０４）また、参照画像付随情報反転部２０５が、画像反転部２０４から送られた反転方向情報２１５を用いて、参照画像付随情報２１６を入力画像の反転方向と同じ方向に合わせて反転し、反転参照画像付随情報２１７を作成する（ステップＳ６０５）。
【００６９】
次に、符号化部２０６が、画像反転部２０４から送られた反転参照画像２１４と、参照画像付随情報反転部２０５から送られた反転参照画像付随情報２１７を用いて、画像反転部２０４から送られた反転入力画像２１３の予測信号を生成し、反転された入力画像の符号化を行う（ステップＳ６０６）。
【００７０】
次に、画像逆反転部２０７が、画像反転部２０４から送られた反転方向情報２１５を用いて、符号化部２０６から送られた反転局所復号化画像２１９を入力画像の反転方向と逆方向に反転して局所復号化画像２２１を生成する（ステップＳ６０７）。また、参照画像付随情報逆反転部２０８が、画像反転部２０４から送られた反転方向情報２１５を用いて、符号化部２０６から送られた反転局所復号化画像付随情報を入力画像の反転方向と逆方向に反転して局所復号化画像付随情報２２２を生成する（ステップＳ６０８）。
【００７１】
また、出力部２０９は、画像反転部２０４から送られた反転方向情報２１５と符号化部２０６から送られた圧縮データ２１８を合成し（ステップＳ６０９）、符号化データ２２３として外部へ伝送する（ステップＳ６１０）。
【００７２】
次に、図８を用いて、本発明に係わる動画像復号化装置を説明する。
【００７３】
本発明に係る動画像復号化装置７０は、その機能的な構成要素として、分離部７０１（分離手段）と、参照画像蓄積部７０２（参照画像蓄積手段）と、参照画像付随情報蓄積部７０３（参照画像付随情報蓄積手段）と、画像反転部７０４（画像変更手段）と、参照画像付随情報反転部７０５（参照画像付随情報変更手段）と、復号化部７０６（復号化手段）と、画像逆反転部７０７（画像逆反転手段）と、参照画像付随情報逆反転部７０８（参照画像付随情報逆反転手段）とを備えて構成される。
【００７４】
分離部７０１は、外部から伝送された入力された符号化データ７０９を圧縮データ７１０と反転方向情報７１１に分離する。分離部７０１は、圧縮データ７１０を復号化部７０６に送る。また、分離部７０１は、反転方向情報７１１を画像反転部７０４と、参照画像付随情報反転部７０５と、画像逆反転部７０７と、参照画像付随情報逆反転部７０８に送る。なお、反転方向情報７１１は、反転なしが「００」、上下方向反転が「０１」、左右方向反転が「１０」、上下左右方向反転が「１１」のようにフレームごとに２ビットの情報とする。また、反転方向情報７１１は反転方向を示すあらゆる方法を用いることができる。
【００７５】
参照画像蓄積部７０２は、過去の復号化済み画像である参照画像を蓄積する部分である。参照画像蓄積部７０２は参照画像７１２を画像反転部７０４に送る。
【００７６】
画像反転部７０４は、分離部７０１から送られた反転方向情報７１１を用いて、参照画像蓄積部７０２から送られた参照画像７１２を反転して反転参照画像７１３を生成し、復号化部７０６に送る。
【００７７】
参照画像付随情報蓄積部７０３は、過去の復号化済み画像である参照画像に付随する情報である参照画像付随情報を蓄積する部分である。参照画像付随情報蓄積部７０３は参照画像付随情報７１４を参照画像付随情報反転部７０５に送る。
【００７８】
参照画像付随情報反転部７０５は、分離部７０１から送られた反転方向情報７１１用いて、参照画像付随情報蓄積部７０３から送られた参照画像付随情報７１４を反転して反転参照画像付随情報７１５を作成し、復号化部７０６に送る。
【００７９】
復号化部７０６は、分離部７０１から送られた圧縮データ７１０と、画像反転部７０４から送られた反転参照画像７１３と、参照画像付随情報反転部７０５から送られた反転参照画像付随情報７１５を用いて、復号化画像の予測信号を生成し、反転された復号対象である復号化画像の復号化を行う。復号化部７０６は、反転されて復号化された反転復号化画像７１６を画像逆反転部７０７に送る。さらに復号化部７０６は、反転復号化画像付随情報７１７を参照画像付随情報逆反転部７０８に送る。
【００８０】
画像逆反転部７０７は、分離部７０１から送られた反転方向情報７１１を用いて、復号化部７０６から送られた反転復号化画像７１６を反転方向情報７１１の反転方向と逆方向に反転して復号化画像７１８を生成し、次フレーム以降で参照画像として用いられるために参照画像蓄積部７０２に送る。また、画像逆反転部７０７は復号化画像７１８を動画像表示装置などの外部機器(図示せず)へ出力する。
【００８１】
参照画像付随情報逆反転部７０８は、分離部７０１から送られた反転方向情報７１１を用いて、復号化部７０６から送られた反転復号化画像付随情報７１７を反転方向情報の反転方向と逆方向に反転して復号化画像付随情報７１９を生成し、次フレーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄積部７０３に送る。
【００８２】
なお、参照画像付随情報の一例としては、参照画像を生成する際に用いられた動きベクトルが挙げられる。この場合、参照画像付随情報蓄積部７０３は参照画像を生成する際に用いられた動きベクトルを蓄積する。また、参照画像付随情報反転部７０５は、分離部７０１から送られた反転方向情報７１１を用いて、参照画像付随情報蓄積部７０３から送られた動きベクトルを反転方向情報の反転方向と同じ方向に合わせて反転し、反転参照画像付随情報７１５を生成する。
【００８３】
具体的には、参照画像付随情報反転部７０５は、参照画像付随情報蓄積部７０３から送られた動きベクトルが（ＭＶ３ｘ、ＭＶ３ｙ）であった場合、反転方向情報７１１が反転なしのときは反転参照画像付随情報として反転動きベクトルを（ＭＶ３ｘ、ＭＶ３ｙ）とし、反転方向情報７１１が上下方向反転のときは反転参照画像付随情報として反転動きベクトルを（ＭＶ３ｘ、-ＭＶ３ｙ）とし、反転方向情報７１１が左右方向反転ときは反転参照画像付随情報として反転動きベクトルを（-ＭＶ３ｘ、ＭＶ３ｙ）とし、反転方向情報７１１が上下左右方向反転ときは反転参照画像付随情報として反転動きベクトルを（-ＭＶ３ｘ、-ＭＶ３ｙ）として生成する。また、動きベクトルのフレーム内での位置も反転方向に応じて反転される。
【００８４】
さらに、参照画像付随情報逆反転部７０８は、分離部７０１から送られた反転方向情報７１１を用いて、復号化部７０６から送られた反転動きベクトルを反転方向情報の反転方向と逆方向に反転して復号化画像付随情報７１９を生成する。具体的には、参照画像付随情報逆反転部７０８は、復号化部７０６から送られた反転動きベクトルが（ＭＶ４ｘ、ＭＶ４ｙ）であった場合、反転方向情報７１１が反転なしのときは復号化画像付随情報として動きベクトルを（ＭＶ４ｘ、ＭＶ４ｙ）とし、反転方向情報７１１が上下方向反転のときは復号化画像付随情報として動きベクトルを（ＭＶ４ｘ、-ＭＶ４ｙ）とし、反転方向情報７１１が左右方向反転ときは復号化画像付随情報として動きベクトルを（-ＭＶ４ｘ、ＭＶ４ｙ）とし、反転方向情報７１１が上下左右方向反転ときは局所復号化画像付随情報として動きベクトルを（-ＭＶ４ｘ、-ＭＶ４ｙ）として生成する。また、動きベクトルのフレーム内での位置も反転方向に応じて逆方向に反転される。但し、参照画像付随情報は上記の動きベクトルに限らず、参照画像を生成する際に用いられたあらゆる付随情報を用いることができる。
【００８５】
また、復号化部７０６で使用する復号化方式の一例としては、Ｈ．２６４／ＡＶＣ復号化方式が挙げられる。但し、上記のＨ．２６４／ＡＶＣ復号化方式に限らず、参照画像と参照画像に付随する情報から復号化画像の予測信号を生成して復号化を行うあらゆる方式の復号化法を適用することができる。
【００８６】
図９を用いて復号化部７０６をさらに詳細に説明する。
【００８７】
復号化部７０６は、その機能的な構成要素として、エントロピー復号化部８０１と、予測信号生成部８０２と、逆量子化部８０３と、逆変換部８０４と加算器８０５とを備えて構成される。
【００８８】
エントロピー復号化部８０１は、入力された圧縮データ７１０から量子化直交変換係数８０６と符号化情報８０７を復号化し、量子化直交変換係数８０６を逆量子化部８０３に送り、符号化情報８０７を予測信号生成部８０２に送る。
【００８９】
予測信号生成部８０２は、エントロピー復号化部８０１から送られた符号化情報８０７と、反転参照画像７１３と、反転参照画像付随情報７１５を用いて復号化対象のブロックの予測信号８０８を生成し、加算器８０５に送る。また、予測信号生成部８０２は、反転復号化画像付随情報７１７を出力する。
【００９０】
逆量子化部８０３は、エントロピー復号化部８０１から送られた量子化直交変換係数８０６を逆量子化して復号化直交変換係数８０９を生成し、逆変換部８０４に送る。
【００９１】
逆変換部８０４は、逆量子化部８０３から送られた復号化直交変換係数８０９を逆直交変換して復号化残差信号８１０を生成し、加算器８０５に送る。
【００９２】
加算器８０５は、予測信号生成部８０２から送られた予測信号８０８と、逆変換部８０４から送られた復号化残差信号８１０を加算して反転復号化画像７１６を生成し、出力する。
【００９３】
なお、反転参照画像付随情報の一例として、反転動きベクトルが挙げられる。この場合、予測信号生成部８０２は、Ｈ．２６４／ＡＶＣ符号化方式におけるＢピクチャの時間ダイレクトモードの予測方式を用いて、反転参照画像と反転動きベクトルを利用して復号化対象のブロックの予測値を生成しても良い。また、図６のように、予測信号生成部８０２は復号化対象のブロックと同一の位置の反転動きベクトルが指す点を探索中心とし、反転参照画像上で探索中心から符号化情報８０７に含まれる動きベクトル差分値のベクトルだけ移動した位置の信号パターンを復号化対象のブロックの予測値としてもよい。予測信号生成部８０２は参照画像と参照画像に付随する動きベクトルから復号化画像の予測信号を生成するその他のあらゆる方式を用いることができる。
【００９４】
次に、図１０を用いて、本発明にかかわる動画像復号化装置７０の動作を説明する。本発明に係る動画像復号化装置７０の動作は、プログラムにより実行可能である。
【００９５】
まず、分離部７０１が、外部から伝送された入力された符号化データ７０９を圧縮データ７１０と反転方向情報７１１に分離し（ステップＳ９０１）、反転方向を判別する（ステップＳ９０２）。
【００９６】
次に、画像反転部７０４が、分離部７０１から送られた反転方向情報７１１を用いて、参照画像蓄積部７０２から送られた参照画像７１２を反転して反転参照画像７１３を生成する（ステップＳ９０３）。また、参照画像付随情報反転部７０５が、分離部７０１から送られた反転方向情報７１１用いて、参照画像付随情報蓄積部７０３から送られた参照画像付随情報７１４を反転して反転参照画像付随情報７１５を作成する（ステップＳ９０４）。
【００９７】
次に、復号化部７０６が、分離部７０１から送られた圧縮データ７１０と、画像反転部７０４から送られた反転参照画像７１３と、参照画像付随情報反転部７０５から送られた反転参照画像付随情報７１５を用いて、復号化画像の予測信号を生成し、反転された復号化画像の復号化を行う（ステップＳ９０５）。
【００９８】
次に、画像逆反転部７０７が、分離部７０１から送られた反転方向情報７１１を用いて、復号化部７０６から送られた反転復号化画像７１６を反転方向情報７１１の反転方向と逆方向に反転して復号化画像７１８を生成する（ステップＳ９０６）。また、画像逆反転部７０７が復号化画像７１８を動画像表示装置などの外部機器(図示せず)へ出力する（ステップＳ９０７）。
【００９９】
また、参照画像付随情報逆反転部７０８が、分離部７０１から送られた反転方向情報７１１を用いて、復号化部７０６から送られた反転復号化画像付随情報を反転方向情報の反転方向と逆方向に反転して復号化画像付随情報７１９を生成する（ステップＳ９０８）。
【０１００】
以上述べた第１実施形態によれば、動画像符号化装置２０において、参照画像および参照画像に付随する情報を入力画像の反転方向に合わせて反転して予測信号を生成するので、入力画像を正しく符号化することができる。また、動画像復号化装置７０において、参照画像および参照画像に付随する情報を伝送された反転方向情報に合わせて反転して予測信号を生成することで復号化画像を正しく復号化することができる。すなわち、的確な予測信号を生成してより効率的に画像の符号化及び復号化を行うことができる。
【０１０１】
また、動画像符号化装置２０において、局所復号化された局所復号化画像を逆変更し、局所復号化画像に付随する情報を逆変更するので、次に入力される入力画像に対応した参照画像と参照画像付随情報とを生成することができる。また、動画像復号化装置７０において、復号化された復号化画像を逆変更し、復号化された復号化画像に付随する情報を逆変更するので、次に入力される復号化画像に対応した参照画像と参照画像付随情報とを生成することができる。
【０１０２】
なお、入力画像を反転させる単位は、上記フレームごと以外に、スライスごと、ブロックごとでも良い。図１９に、フレーム内の複数列のブロック群からなるスライスごとに入力画像を反転させた場合の例を示す。ブロック０〜１５で構成されるスライスは上下左右方向に、ブロック１６〜３１で構成されるスライスは上下方向に、ブロック３２〜３９で構成されるスライスは左右方向に反転されている。この場合、符号化装置は各スライス単位で反転方向情報、および参照画像での対応するスライスの位置までの垂直方向の変位量を伝送する。また、復号化装置は各スライス単位で反転方向情報、および参照画像での対応するスライスの位置までの垂直方向の変位量を受信することとする。
【０１０３】
さらに図２０に、フレーム内の任意形状のブロック群からなるスライスごとに入力画像を反転させた場合の例を示す。ブロック１２〜１４と２０〜２２と２７〜３０からなるスライスは上下方向に、残りのブロックからなるスライスは左右方向に反転されている。この場合、符号化装置は各スライス単位で反転方向情報、およびスライス内のブロック番号に基づく参照画像での対応するスライスの位置と形状を指示する情報を伝送する。また、復号化装置は各スライス単位で反転方向情報、およびスライス内のブロック番号に基づく参照画像での対応するスライスの位置と形状を指示する情報を受信することとする。
【０１０４】
なお、動画像符号化装置２０において、符号化部２０６が画像反転部２０４および参照画像付随情報反転部２０５の機能を有していてもよい。また、動画像復号化装置７０において、復号化部７０６が画像反転部７０４および参照画像付随情報反転部７０５の機能を有していてもよい。
【０１０５】
（第２実施形態）
図１１を用いて、本発明に係わる動画像符号化装置を説明する。
【０１０６】
本発明に係る動画像符号化装置１００は、その機能的な構成要素として、入力部１００１（入力手段）と、参照画像蓄積部１００２（参照画像蓄積手段）と、参照画像付随情報蓄積部１００３（参照画像付随情報蓄積手段）と、画像変更部１００４（画像変更手段）と、参照画像付随情報変更部１００５（参照画像付随情報変更手段）と、符号化部１００６（符号化手段）と、画像逆変更部１００７（画像逆変更部）と、参照画像付随情報逆変更部１００８（参照画像付随情報逆変更手段）と、出力部１００９（出力手段）とを備えて構成される。
【０１０７】
入力部１００１は、入力された動画像信号１０１０をフレーム画像に分離し、フレーム画像を入力画像１０１１として画像変更部１００４に送る。
【０１０８】
参照画像蓄積部１００２は、過去に符号化された画像の局所復号化済み画像である参照画像を蓄積する部分である。参照画像蓄積部１００２は参照画像１０１２を画像変更部１００４に送る。
【０１０９】
画像変更部１００４は、入力部１００１から送られた入力画像１０１１を、回転、拡大、縮小などの変更を行って、変更入力画像１０１３を作成し、符号化部１００６に送る。また、画像変更部１００４は参照画像蓄積部１００２から送られた参照画像１０１２を、入力画像１０１１の変更方法と同じ方法で変更して、変更参照画像１０１４を作成し、符号化部１００６に送る。また、画像変更部１００４は、入力画像１０１１の変更方法を示す変更方法情報１０１５を参照画像付随情報変更部１００５と、画像逆変更部１００７と、参照画像付随情報逆変更部１００８と、出力部１００９に送る。
【０１１０】
参照画像付随情報蓄積部１００３は、過去に符号化された画像の局所復号化済み画像である参照画像に付随する情報である参照画像付随情報を蓄積する部分である。参照画像付随情報蓄積部１００３は参照画像付随情報１０１６を参照画像付随情報変更部１００５に送る。
【０１１１】
参照画像付随情報変更部１００５は、画像変更部１００４から送られた変更方法情報１０１５を用いて、参照画像付随情報蓄積部１００３から送られた参照画像付随情報１０１６を入力画像の変更方法と同じ方法で変更し、変更参照画像付随情報１０１７を作成し、符号化部１００６に送る。
【０１１２】
符号化部１００６は、画像変更部１００４から送られた変更参照画像１０１４と、参照画像付随情報変更部１００５から送られた変更参照画像付随情報１０１７を用いて、画像変更部１００４から送られた変更入力画像１０１３の予測信号を生成し、変更された入力画像の符号化を行う。符号化部１００６は変更された入力画像を符号化した圧縮データ１０１８を出力部１００９に送る。また符号化部１００６は、変更されて局所復号化された変更局所復号化画像１０１９を画像逆変更部１００７に送る。さらに符号化部１００６は、変更局所復号化画像付随情報１０２０を参照画像付随情報逆変更部１００８に送る。
【０１１３】
画像逆変更部１００７は、画像変更部１００４から送られた変更方法情報１０１５を用いて、符号化部１００６から送られた変更局所復号化画像１０１９を入力画像の変更方法と逆の方法で変更して局所復号化画像１０２１を生成し、次フレーム以降で参照画像として用いられるために参照画像蓄積部１００２に送る。
【０１１４】
参照画像付随情報逆変更部１００８は、画像変更部１００４から送られた変更方法情報１０１５を用いて、符号化部１００６から送られた変更局所復号化画像付随情報を入力画像の変更方法と逆の方法で変更して局所復号化画像付随情報１０２２を生成し、次フレーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄積部１００３に送る。
【０１１５】
出力部１００９は、画像変更部１００４から送られた変更方法情報１０１５と符号化部１００６から送られた圧縮データ１０１８を合わせて、符号化データ１０２３として外部へ伝送する。
【０１１６】
なお、上記変更方法は画像および参照画像付随情報の回転、拡大、縮小に限られるものではなく、第１実施形態における画像の反転を含む、あらゆる変更方法を用いることができる。また、上記逆の方法の変更方法は、画像および参照画像付随情報の逆回転、縮小、拡大に限られるものではなく、上記変更の効果を除去するあらゆる変更方法を用いることができる。
【０１１７】
また、符号化部１００６で使用する符号化方式の一例としては、Ｈ．２６４／ＡＶＣ符号化方式が挙げられる。但し、上記のＨ．２６４／ＡＶＣ符号化方式に限らず、参照画像と参照画像に付随する情報から入力画像の予測信号を生成して符号化を行うあらゆる方式の符号化法を適用することができる。
【０１１８】
さらに、符号化部１００６の詳細な説明は、第１実施形態における符号化部２０６の詳細な説明と同一である。
【０１１９】
次に、図１２を用いて、本発明にかかわる動画像符号化装置１００の動作を説明する。本発明に係る動画像符号化装置１００の動作は、プログラムにより実行可能である。
【０１２０】
まず、入力部１００１が入力された動画像信号１０１０をフレーム画像に分離する（ステップＳ１１０１）。次に、画像変更部１００４が、入力部１００１から送られた入力画像１０１１を、回転、拡大、縮小などの変更法を決定して（ステップＳ１１０２）変更し、変更入力画像１０１３を作成する（ステップＳ１１０３）。また、画像変更部１００４が参照画像蓄積部１００２から送られた参照画像１０１２を、入力画像１０１１の変更方法と同じ方法で変更して、変更参照画像１０１４を作成する（ステップＳ１１０４）また、参照画像付随情報変更部１００５が、画像変更部１００４から送られた変更方法情報１０１５を用いて、参照画像付随情報１０１６を入力画像の変更方法と同じ方法で変更し、変更参照画像付随情報１０１７を作成する（ステップＳ１１０５）。
【０１２１】
次に、符号化部１００６が、画像変更部１００４から送られた変更参照画像１０１４と、参照画像付随情報変更部１００５から送られた変更参照画像付随情報１０１７を用いて、画像変更部１００４から送られた変更入力画像１０１３の予測信号を生成し、変更された入力画像の符号化を行う（ステップＳ１１０６）。
【０１２２】
次に、画像逆変更部１００７が、画像変更部１００４から送られた変更方法情報１０１５を用いて、符号化部１００６から送られた変更局所復号化画像１０１９を入力画像の変更方法と逆の方法で変更して局所復号化画像１０２１を生成する（ステップＳ１１０７）。また、参照画像付随情報逆変更部１００８が、画像変更部１００４から送られた変更方法情報１０１５を用いて、符号化部１００６から送られた変更局所復号化画像付随情報を入力画像の変更方法と逆の方法で変更して局所復号化画像付随情報１０２２を生成する（ステップＳ１１０８）。
【０１２３】
また、出力部１００９は、画像変更部１００４から送られた変更方法情報１０１５と符号化部１００６から送られた圧縮データ１０１８を合成し（ステップＳ１１０９）、符号化データ１０２３として外部へ伝送する（ステップＳ１１１０）。
【０１２４】
次に、図１３を用いて、本発明に係わる動画像復号化装置を説明する。
【０１２５】
本発明に係る動画像復号化装置１２０は、その機能的な構成要素として、分離部１２０１（分離手段）と、参照画像蓄積部１２０２（参照画像蓄積手段）と、参照画像付随情報蓄積部１２０３（参照画像付随情報蓄積手段）と、画像変更部１２０４（画像変更手段）と、参照画像付随情報変更部１２０５（参照画像付随情報変更手段）と、復号化部１２０６（復号化手段）と、画像逆変更部１２０７（画像逆変更手段）と、参照画像付随情報逆変更部１２０８（参照画像付随情報逆変更手段）とを備えて構成される。
【０１２６】
分離部１２０１は、外部から伝送された入力された符号化データ１２０９を圧縮データ１２１０と変更方法情報１２１１に分離する。分離部１２０１は、圧縮データ１２１０を復号化部１２０６に送る。また、分離部１２０１は、変更方法情報１２１１を画像変更部１２０４と、参照画像付随情報変更部１２０５と、画像逆変更部１２０７と、参照画像付随情報逆変更部１２０８に送る。
【０１２７】
参照画像蓄積部１２０２は、過去の復号化済み画像である参照画像を蓄積する部分である。参照画像蓄積部１２０２は参照画像１２１２を画像変更部１２０４に送る。
【０１２８】
画像変更部１２０４は、分離部１２０１から送られた変更方法情報１２１１を用いて、参照画像蓄積部１２０２から送られた参照画像１２１２を変更して変更参照画像１２１３を生成し、復号化部１２０６に送る。
【０１２９】
参照画像付随情報蓄積部１２０３は、過去の復号化済み画像である参照画像に付随する情報である参照画像付随情報を蓄積する部分である。参照画像付随情報蓄積部１２０３は参照画像付随情報１２１４を参照画像付随情報変更部１２０５に送る。
【０１３０】
参照画像付随情報変更部１２０５は、分離部１２０１から送られた変更方法情報１２１１用いて、参照画像付随情報蓄積部１２０３から送られた参照画像付随情報１２１４を変更して変更参照画像付随情報１２１５を作成し、復号化部１２０６に送る。
【０１３１】
復号化部１２０６は、分離部１２０１から送られた符号化データ１２１０と、画像変更部１２０４から送られた変更参照画像１２１３と、参照画像付随情報変更部１２０５から送られた変更参照画像付随情報１２１５を用いて、復号化画像の予測信号を生成し、変更された復号化画像の復号化を行う。復号化部１２０６は、変更されて復号化された変更復号化画像１２１６を画像逆変更部１２０７に送る。さらに復号化部１２０６は、変更復号化画像付随情報１２１７を参照画像付随情報逆変更部１２０８に送る。
【０１３２】
画像逆変更部１２０７は、分離部１２０１から送られた変更方法情報１２１１を用いて、復号化部１２０６から送られた変更復号化画像１２１６を変更方法情報１２１１の変更方法と逆の方法で変更して復号化画像１２１８を生成し、次フレーム以降で参照画像として用いられるために参照画像蓄積部１２０２に送る。また、画像逆変更部１２０７は復号化画像１２１８を動画像表示装置などの外部機器(図示せず)へ出力する。
【０１３３】
参照画像付随情報逆変更部１２０８は、分離部１２０１から送られた変更方法情報１２１１を用いて、復号化部１２０６から送られた変更復号化画像付随情報１２１７を変更方法情報の変更方法と逆の方法で変更して復号化画像付随情報１２１９を生成し、次フレーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄積部１２０３に送る。
【０１３４】
なお、上記変更方法は画像および参照画像付随情報の回転、拡大、縮小に限られるものではなく、第１実施形態における画像の反転を含む、あらゆる変更方法を用いることができる。また、上記逆の方法の変更方法は、画像および参照画像付随情報の逆回転、縮小、拡大に限られるものではなく、上記変更の効果を除去するあらゆる変更方法を用いることができる。
【０１３５】
また、復号化部１２０６で使用する復号化方式の一例としては、Ｈ．２６４／ＡＶＣ復号化方式が挙げられる。但し、上記のＨ．２６４／ＡＶＣ復号化方式に限らず、参照画像と参照画像に付随する情報から復号化画像の予測信号を生成して復号化を行うあらゆる方式の復号化法を適用することができる。
【０１３６】
さらに、復号化部１２０６の詳細な説明は、第１実施形態における復号化部７０６の詳細な説明と同一である。
【０１３７】
次に、図１４を用いて、本発明にかかわる動画像復号化装置１２０の動作を説明する。本発明に係る動画像復号化装置１２０の動作は、プログラムにより実行可能である。
【０１３８】
まず、分離部１２０１が、外部から伝送された入力された符号化データ１２０９を圧縮データ１２１０と変更方法情報１２１１に分離し（ステップＳ１３０１）、変更方法を判別する（ステップＳ１３０２）。
【０１３９】
次に、画像変更部１２０４が、分離部１２０１から送られた変更方法情報１２１１を用いて、参照画像蓄積部１２０２から送られた参照画像１２１２を変更して変更参照画像１２１３を生成する（ステップＳ１３０３）。また、参照画像付随情報変更部１２０５が、分離部１２０１から送られた変更方法情報１２１１用いて、参照画像付随情報蓄積部１２０３から送られた参照画像付随情報１２１４を変更して変更参照画像付随情報１２１５を作成する（ステップＳ１３０４）。
【０１４０】
次に、復号化部１２０６が、分離部１２０１から送られた符号化データ１２１０と、画像変更部１２０４から送られた変更参照画像１２１３と、参照画像付随情報変更部１２０５から送られた変更参照画像付随情報１２１５を用いて、復号化画像の予測信号を生成し、変更された復号化画像の復号化を行う（ステップＳ１３０５）。
【０１４１】
次に、画像逆変更部１２０７が、分離部１２０１から送られた変更方法情報１２１１を用いて、復号化部１２０６から送られた変更復号化画像１２１６を変更方法情報１２１１の変更方法と逆の方法で変更して復号化画像１２１８を生成する（ステップＳ１３０６）。また、画像逆変更部１２０７が復号化画像１２１８を動画像表示装置などの外部機器(図示せず)へ出力する（ステップＳ１３０７）。
【０１４２】
また、参照画像付随情報逆変更部１２０８が、分離部１２０１から送られた変更方法情報１２１１を用いて、復号化部１２０６から送られた変更復号化画像付随情報を変更方法情報の変更方法と逆の方法で変更して復号化画像付随情報１２１９を生成する（ステップＳ１３０８）。
【０１４３】
以上述べた第２実施形態によれば、参照画像および参照画像に付随する情報を入力画像の変更方法に合わせて変更して予測信号を生成するので、入力画像を正しく符号化することができる。また、参照画像および参照画像に付随する情報を伝送された変更方法情報に合わせて変更して予測信号を生成することで復号化画像を正しく復号化することができる。すなわち、的確な予測信号を生成してより効率的に画像の符号化及び復号化を行うことができる。
【０１４４】
なお、入力画像を変更させる単位は上記のフレームごと以外に、スライスごとでも、ブロックごとでも良く、この場合、符号化装置は各単位で変更方法情報を伝送し、復号化装置は各単位で変更方法情報を受信することとする。
【０１４５】
（第２実施形態の変更例１）
次に、第２実施形態の変更例１について説明する。本変更例は、入力画像と参照画像の方向や大きさが異なる場合、参照画像および参照画像に付随する情報を入力画像の方向や大きさに合わせることにより、高い符号化効率で符号化および復号化する動画像符号化装置および動画像復号化装置について述べる。
【０１４６】
図１５を用いて、本発明に係わる動画像符号化装置を説明する。
【０１４７】
本発明に係る動画像符号化装置１４０は、その機能的な構成要素として、入力部１４０１と、参照画像蓄積部１４０２と、参照画像付随情報蓄積部１４０３と、画像変更部１４０４と、参照画像付随情報変更部１４０５と、符号化部１４０６と、出力部１４０７とを備えて構成される。
【０１４８】
入力部１４０１は、入力された動画像信号１４０８をフレーム画像に分離し、フレーム画像を入力画像１４０９として画像変更部１４０４と符号化部１４０６に送る。
【０１４９】
参照画像蓄積部１４０２は、過去に符号化された画像の局所復号化済み画像である参照画像を蓄積する部分である。参照画像蓄積部１４０２は参照画像１４１０を画像変更部１４０４に送る。
【０１５０】
画像変更部１４０４は、入力部１４０１から送られた入力画像１４０９と参照画像蓄積部１４０２から送られた参照画像１４１０を比較して、入力画像１４０９に合うように参照画像１４１０を変更して変更参照画像１４１１を作成し、符号化部１４０６に送る。また、画像変更部１４０４は参照画像１４１０の変更方法を示す変更方法情報１４１２を参照画像付随情報変更部１４０５と出力部１４０７に送る。このようにすることにより、本発明の動画像符号化装置１４０において画像逆変更部を省くことができる。
【０１５１】
参照画像付随情報蓄積部１４０３は、過去に符号化された画像の局所復号化済み画像である参照画像に付随する情報である参照画像付随情報を蓄積する部分である。参照画像付随情報蓄積部１４０３は参照画像付随情報１４１３を参照画像付随情報変更部１４０５に送る。
【０１５２】
参照画像付随情報変更部１４０５は、画像変更部１４０４から送られた変更方法情報１４１２を用いて、参照画像付随情報蓄積部１４０３から送られた参照画像付随情報１４１３を変更し、変更参照画像付随情報１４１４を作成し、符号化部１４０６に送る。このように参照画像付随情報変更部１４０５は、画像変更部１４０４から送られた変更方法情報１４１２を用いて変更参照画像付随情報１４１４を作成するので、本発明の動画像符号化装置１４０において、参照画像付随情報逆変更部を省くことができる。
【０１５３】
符号化部１４０６は、入力部１４０１から送られた入力画像１４０９と、画像変更部１４０４から送られた変更参照画像１４１１と、参照画像付随情報変更部１４０５から送られた変更参照画像付随情報１４１４を用いて、入力画像１４０９の予測信号を生成し、入力画像の符号化を行う。符号化部１００６は入力画像を符号化した圧縮データ１４１５を出力部１４０７に送る。また符号化部１４０６は、局所復号化された局所復号化画像１４１６を生成し、次フレーム以降で参照画像として用いられるために参照画像蓄積部１４０２に送る。さらに符号化部１４０６は、変更局所復号化画像付随情報１４１７を生成し、次フレーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄積部１４０３に送る。
【０１５４】
出力部１４０７は、画像変更部１４０４から送られた変更方法情報１４１２と符号化部１４０６から送られた圧縮データ１４１５を合わせて、符号化データ１４１８として外部へ伝送する。
【０１５５】
なお、上記変更方法は画像および参照画像付随情報の回転、拡大、縮小に限られるものではなく、第１実施形態における画像の反転を含む、あらゆる変更方法を用いることができる。
【０１５６】
また、符号化部１４０６で使用する符号化方式の一例としては、Ｈ．２６４／ＡＶＣ符号化方式が挙げられる。但し、上記のＨ．２６４／ＡＶＣ符号化方式に限らず、参照画像と参照画像に付随する情報から入力画像の予測信号を生成して符号化を行うあらゆる方式の符号化法を適用することができる。
【０１５７】
さらに、符号化部１４０６の詳細な説明は、第１実施形態における符号化部２０６の詳細な説明とほぼ同一である。符号化部２０６との違いは、符号化部２０６が反転入力画像２１３を入力するのに対して、符号化部１４０６が入力画像１４０９を入力する点だけである。
【０１５８】
次に、図１６を用いて、本発明にかかわる動画像符号化装置１４０の動作を説明する。本発明に係る動画像符号化装置１４０の動作は、プログラムにより実行可能である。
【０１５９】
まず、入力部１４０１が入力された動画像信号１４０８をフレーム画像に分離する（ステップＳ１５０１）。次に、画像変更部１４０４が、入力部１４０１から送られた入力画像１４０９と参照画像蓄積部１４０２から送られた参照画像１４１０を比較し（ステップＳ１５０２）、入力画像１４０９に合うように参照画像１４１０を変更する変更法を決定して（ステップＳ１５０３）、変更参照画像１４１１を作成する（ステップＳ１５０４）。また、参照画像付随情報変更部１４０５が、画像変更部１４０４から送られた変更方法情報１４１２を用いて、参照画像付随情報蓄積部１４０３から送られた参照画像付随情報１４１３を変更する（ステップＳ１５０５）。
【０１６０】
次に符号化部１４０６が、入力部１４０１から送られた入力画像１４０９と、画像変更部１４０４から送られた変更参照画像１４１１と、参照画像付随情報変更部１４０５から送られた変更参照画像付随情報１４１４を用いて、入力画像１４０９の予測信号を生成し、入力画像の符号化を行う（ステップＳ１５０６）。
【０１６１】
次に出力部１４０７が、画像変更部１４０４から送られた変更方法情報１４１２と符号化部１４０６から送られた圧縮データ１４１５を合成し（ステップＳ１５０７）、符号化データ１４１８として外部へ伝送する（ステップＳ１５０８）。
【０１６２】
次に、図１７を用いて、本発明に係わる動画像復号化装置を説明する。
【０１６３】
本発明に係る動画像復号化装置１５０は、その機能的な構成要素として、分離部１６０１と、参照画像蓄積部１６０２と、参照画像付随情報蓄積部１６０３と、画像変更部１６０４と、参照画像付随情報変更部１６０５と、復号化部１６０６とを備えて構成される。
【０１６４】
分離部１６０１は、外部から伝送された入力された符号化データ１６０７を圧縮データ１６０８と変更方法情報１６０９に分離する。分離部１６０１は、圧縮データ１６０８を復号化部１６０６に送る。また、分離部１６０１は、変更方法情報１６０９を画像変更部１６０４と、参照画像付随情報変更部１６０５に送る。
【０１６５】
参照画像蓄積部１６０２は、過去の復号化済み画像である参照画像を蓄積する部分である。参照画像蓄積部１６０２は参照画像１６１０を画像変更部１６０４に送る。
【０１６６】
画像変更部１６０４は、分離部１６０１から送られた変更方法情報１６０９を用いて、参照画像蓄積部１６０２から送られた参照画像１６１０を入力画像に合うように変更して変更参照画像１６１１を生成し、復号化部１６０６に送る。このようにすることにより、本発明の動画像復号化装置１５０において、画像逆変更部を省くことができる。
【０１６７】
参照画像付随情報蓄積部１６０３は、過去の復号化済み画像である参照画像に付随する情報である参照画像付随情報を蓄積する部分である。参照画像付随情報蓄積部１６０３は参照画像付随情報１６１２を参照画像付随情報変更部１６０５に送る。
【０１６８】
参照画像付随情報変更部１６０５は、分離部１６０１から送られた変更方法情報１６０９用いて、参照画像付随情報蓄積部１６０３から送られた参照画像付随情報１６１２を変更して変更参照画像付随情報１６１３を作成し、復号化部１６０６に送る。このように、参照画像付随情報変更部１６０５は、分離部１６０１から送られた変更方法情報１６０９用いて変更参照画像付随情報１６１３を作成するので、本発明の動画像復号化装置１５０において、参照画像付随情報逆変更部を省くことができる。
【０１６９】
復号化部１６０６は、分離部１６０１から送られた圧縮データ１６０８と、画像変更部１６０４から送られた変更参照画像１６１１と、参照画像付随情報変更部１６０５から送られた変更参照画像付随情報１６１３を用いて、復号化画像の予測信号を生成し、復号化画像の復号化を行う。復号化部１６０６は、復号化された復号化画像１６１４を次フレーム以降で参照画像として用いられるために参照画像蓄積部１６０２に送る。さらに復号化部１２０６は、復号化された復号化画像１６１４を動画像表示装置などの外部機器(図示せず)へ出力する。また、復号化部１６０６は、復号化画像付随情報１６１５を次フレーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄積部１６０３に送る。
【０１７０】
なお、上記変更方法は画像および参照画像付随情報の回転、拡大、縮小に限られるものではなく、第１実施形態における画像の反転を含む、あらゆる変更方法を用いることができる。
【０１７１】
また、復号化部１６０６で使用する復号化方式の一例としては、Ｈ．２６４／ＡＶＣ復号化方式が挙げられる。但し、上記のＨ．２６４／ＡＶＣ復号化方式に限らず、参照画像と参照画像に付随する情報から復号化画像の予測信号を生成して復号化を行うあらゆる方式の復号化法を適用することができる。
【０１７２】
さらに、復号化部１６０６の詳細な説明は、第１実施形態における復号化部７０６の詳細な説明と同一である。
【０１７３】
次に、図１８を用いて、本発明にかかわる動画像復号化装置１５０の動作を説明する。本発明に係る動画像復号化装置１５０の動作は、プログラムにより実行可能である。
【０１７４】
まず、分離部１６０１が、外部から伝送された入力された符号化データ１６０７を圧縮データ１６０８と変更方法情報１６０９に分離し（ステップＳ１７０１）、変更方法を判別する（ステップＳ１７０２）。
【０１７５】
次に、画像変更部１６０４が、分離部１６０１から送られた変更方法情報１６０９を用いて、参照画像蓄積部１６０２から送られた参照画像１６１０を変更して変更参照画像１６１１を生成する（ステップＳ１７０３）。また、参照画像付随情報変更部１６０５が、分離部１６０１から送られた変更方法情報１６０９用いて、参照画像付随情報蓄積部１６０３から送られた参照画像付随情報１６１２を変更して変更参照画像付随情報１６１３を作成する（ステップＳ１７０４）。
【０１７６】
次に、復号化部１６０６が、分離部１６０１から送られた圧縮データ１６０８と、画像変更部１６０４から送られた変更参照画像１６１１と、参照画像付随情報変更部１６０５から送られた変更参照画像付随情報１６１３を用いて、復号化画像の予測信号を生成し、復号化画像の復号化を行う（ステップＳ１７０５）。また、復号化部１６０６が、復号化された復号化画像１６１４を動画像表示装置などの外部機器(図示せず)へ出力する（ステップ１７０６）。
【０１７７】
以上述べた第２実施形態の変更例１によれば、画像変更部が入力画像と参照画像を比較し、参照画像および参照画像に付随する情報を入力画像に合わせて変更して予測信号を生成するので、入力画像を高い効率で符号化することができる。また、参照画像および参照画像に付随する情報を伝送された変更方法情報に合わせて変更して予測信号を生成することで復号化画像を正しく復号化することができる。すなわち、的確な予測信号を生成してより効率的に画像の符号化及び復号化を行うことができる。
【０１７８】
以下に、上記の各実施形態から抽出される技術的思想を請求項の記載形式に準じて列挙する。本発明に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の記載に本発明が限定されるものではない。
【０１７９】
（項１）
符号化対象となる入力画像を入力する入力手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記参照画像と前記参照画像付随情報とを前記入力画像に合わせて変更し、前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化手段と、
前記符号化手段によって符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、
を備える動画像符号化装置。
【０１８０】
（項２）
符号化対象となる入力画像を入力する入力手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記入力画像と前記参照画像とを変更する画像変更手段と、
前記参照画像付随情報を前記入力画像と前記参照画像とに合わせて変更する参照画像付随情報変更手段と、
前記変更された参照画像と前記変更された参照画像付随情報とを用いて前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化手段と、
前記符号化手段によって符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、
を備える動画像符号化装置。
【０１８１】
（項３）
前記符号化手段により局所復号化された局所復号化画像を逆変更する画像逆変更手段と、
前記符号化手段から出力された局所復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段と、
をさらに備え、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変更した情報を前記参照画像付随情報として蓄積する
ことを特徴とする項１又は２に記載の動画像符号化装置。
【０１８２】
（項４）
前記参照画像付随情報は前記参照画像の動きベクトルであることを特徴とする項１〜３のいずれか１項に記載の動画像符号化装置
【０１８３】
（項５）
入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記変更方法情報を用いて前記参照画像と前記参照画像付随情報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、
を備える動画像復号化装置。
【０１８４】
（項６）
入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記参照画像を前記変更方法情報に従って変更する画像変更手段と、
前記参照画像付随情報を前記変更方法情報に従って変更する参照画像付随情報変更手段と、
前記変更された参照画像と、前記変更された参照画像付随情報を用いて、復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、
を備える動画像復号化装置。
【０１８５】
（項７）
前記復号化手段により復号化された復号化画像を逆変更する画像逆変更手段と、
前記復号化手段から出力された復号化画像に付随する情報を逆変更する参照画像付随情報逆変更手段と、
をさらに備え、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変更した情報を前記参照画像付随情報として蓄積する
ことを特徴とする項５又は６に記載の動画像復号化装置。
【０１８６】
（項８）
前記参照画像付随情報は前記参照画像の動きベクトルであることを特徴とする項５〜７のいずれか１項に記載の動画像復号化装置
【０１８７】
（項９）
入力手段が、符号化対象となる入力画像を入力する入力ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、
参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、
符号化手段が、前記参照画像と前記参照画像付随情報とを前記入力画像に合わせて変更し、前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化ステップと、
出力手段が、前記符号化ステップにおいて符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力ステップと、
を備える動画像符号化方法。
【０１８８】
（項１０）
入力手段が、符号化対象となる入力画像を入力する入力ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、
参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、
画像変更手段が、前記入力画像と前記参照画像とを変更する画像変更ステップと、
参照画像付随情報変更手段が、前記参照画像付随情報を前記入力画像と前記参照画像とに合わせて変更する参照画像付随情報変更ステップと、
符号化手段が、前記変更された参照画像と前記変更された参照画像付随情報とを用いて前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化ステップと、
出力手段が、前記符号化ステップにおいて符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力ステップと、
を備える動画像符号化方法。
【０１８９】
（項１１）
分離手段が、入力された符号化データを圧縮データと変更方法情報とに分離する分離ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、
参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、
復号化手段が、前記変更方法情報を用いて前記参照画像と前記参照画像付随情報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化ステップと、
を備える動画像復号化方法。
【０１９０】
（項１２）
分離手段が、入力された符号化データを圧縮データと変更方法情報とに分離する分離ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、
参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、
画像変更手段が、前記参照画像を前記変更方法情報に従って変更する画像変更ステップと、
参照画像付随情報変更手段が、前記参照画像付随情報を前記変更方法情報に従って変更する参照画像付随情報変更ステップと、
復号化手段が、前記変更された参照画像と前記変更された参照画像付随情報とを用いて、復号画像の予測信号を生成して、復号画像の復号化を行う復号化ステップと、
を備える動画像復号化方法。
【０１９１】
（項１３）
コンピュータを
符号化対象となる入力画像を入力する入力手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記参照画像と前記参照画像付随情報とを前記入力画像に合わせて変更し、前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化手段と、
前記符号化手段によって符号化された圧縮データを前記参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、
して機能させる動画像符号化プログラム。
【０１９２】
（項１４）
コンピュータを
入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、
前記変更方法情報を用いて前記参照画像と前記参照画像付随情報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、
して機能させる動画像復号化プログラム。
【符号の説明】
【０１９３】
２０…動画像符号化装置、７０…動画像復号化装置、２０１…入力部、２０２…参照画像蓄積部、２０３…参照画像付随情報蓄積部、２０４…画像反転部、２０５…参照画像付随情報反転部、２０６…符号化部、２０７…画像逆反転部、２０８…参照画像付随情報逆反転部、２０９…出力部、２１０…動画像信号、２１１…入力画像、２１２…参照画像、２１３…反転入力画像、２１４…反転参照画像、２１５…反転方向情報、２１６…参照画像付随情報、２１７…反転参照画像付随情報、２１８…圧縮データ、２１９…反転局所復号化画像、２２０…反転局所復号化画像付随情報、２２１…局所復号化画像、２２２…局所復号化画像付随情報、２２３…符号化データ、７０１…分離部、７０２…参照画像蓄積部、７０３…参照画像付随情報蓄積部、７０４…画像反転部、７０５…参照画像付随情報反転部、７０６…復号化部、７０７…画像逆反転部、７０８…参照画像付随情報逆反転部、７０９…符号化データ、７１０…圧縮データ、７１１…反転方向情報、７１２…参照画像、７１３…反転参照画像、７１４…参照画像付随情報、７１５…反転参照画像付随情報、７１６…反転復号化画像、７１７…反転復号化画像付随情報、７１８…復号化画像、７１９…復号化画像付随情報。
【図１】
0005362810.tif 000002
【図２】
0005362810.tif 000003
【図３】
0005362810.tif 000004
【図４】
0005362810.tif 000005
【図５】
0005362810.tif 000006
【図６】
0005362810.tif 000007
【図７】
0005362810.tif 000008
【図８】
0005362810.tif 000009
【図９】
0005362810.tif 000010
【図１０】
0005362810.tif 000011
【図１１】
0005362810.tif 000012
【図１２】
0005362810.tif 000013
【図１３】
0005362810.tif 000014
【図１４】
0005362810.tif 000015
【図１５】
0005362810.tif 000016
【図１６】
0005362810.tif 000017
【図１７】
0005362810.tif 000018
【図１８】
0005362810.tif 000019
【図１９】
0005362810.tif 000020
【図２０】
0005362810.tif 000021