(57)【要約】  本発明は、帯域幅の異なる画像が混在する動画像であっても、高い圧縮率で符号化及び復号を行うことを目的とする。  動画像符号化装置１０では、予測信号生成器１２１において、メモリ１０８に格納された参照画像のうち、符号化の対象となる対象画像の予測に画像として用いられる対象参照画像以外の所定の抽出用参照画像から所定の帯域の空間周波数成分が抽出される。予測信号生成器１２１において、対象参照画像及び抽出された空間周波数成分から、対象画像に対する予測信号を生成する。
2008078782.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力手段と、
前記入力手段により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、
前記格納手段に格納された参照画像のうち帯域毎に異なる参照画像を用いて、前記対象画像の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を求め、求めた帯域別予測信号を用いて所定の方法により対象画像に対する予測信号を生成する予測信号生成情報を生成する予測信号生成手段と、
前記対象画像と前記予測信号生成手段により生成された予測信号との差分を求めて差分信号を生成する差分手段と、
前記差分手段により生成された差分信号を符号化して符号化差分信号を生成する符号化手段と、
前記符号化手段により生成された符号化差分信号を復号し、復号差分信号を生成する復号手段と、
前記復号手段により生成された復号差分信号に、前記予測信号生成手段により生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として前記格納手段に格納させる加算手段と、
前記符号化手段により生成された符号化差分信号を出力する出力手段と、
を備える動画像符号化装置。
【請求項２】
動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力手段と、
前記入力手段により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、
前記格納手段に格納された参照画像のうち、前記対象画像の予測に画像として用いられる対象参照画像以外の所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出すると共に当該空間周波数成分の抽出内容を示す空間周波数抽出情報を生成する空間周波数抽出手段と、
前記対象参照画像及び前記空間周波数抽出手段により抽出された前記空間周波数成分から、前記対象画像に対する予測信号を生成すると共に前記空間周波数抽出手段により生成された前記空間周波数抽出情報を含めて前記予測信号の生成内容を示す予測信号生成情報を生成する予測信号生成手段と、
前記対象画像と前記予測信号生成手段により生成された予測信号との差分を求めて差分信号を生成する差分手段と、
前記差分手段により生成された差分信号を符号化して符号化差分信号を生成する符号化手段と、
前記符号化手段により生成された符号化差分信号を復号し、復号差分信号を生成する復号手段と、
前記復号手段により生成された復号差分信号に、前記予測信号生成手段により生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として前記格納手段に格納させる加算手段と、
前記符号化手段により生成された符号化差分信号、及び前記予測信号生成手段により生成された予測信号生成情報を出力する出力手段と、
を備える動画像符号化装置。
【請求項３】
前記空間周波数抽出手段は、前記対象画像及び前記対象参照画像の空間周波数成分を示す情報を取得して、取得した情報を比較して、当該比較結果に基づいて前記抽出用参照画像から空間周波数成分を抽出する前記所定の帯域を決定することを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記空間周波数抽出手段は、前記対象参照画像と前記抽出用参照画像との間の動きの関係を用いて前記空間周波数成分を抽出することを特徴とする請求項２又は３に記載の動画像符号化装置。
【請求項５】
前記空間周波数抽出手段は、前記抽出用参照画像の前記対象参照画像に対する動き補償を行い、当該動き補償された前記抽出用参照画像から前記空間周波数成分を抽出することを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記空間周波数抽出手段は、前記対象画像、前記対象参照画像、及び前記格納手段に格納された前記対象参照画像以外の参照画像の空間周波数成分を示す情報を取得して、取得した情報の少なくとも何れかに基づいて、前記抽出用参照画像を決定することを特徴とする請求項２〜５の何れか一項に記載の動画像符号化装置。
【請求項７】
前記予測信号生成手段は、前記空間周波数抽出手段により抽出された前記空間周波数成分を用いて前記対象参照画像に対する加工を行ない、加工が行なわれた前記対象参照画像を用いて前記予測信号を生成することを特徴とする請求項２〜６の何れか一項に記載の動画像符号化装置。
【請求項８】
前記予測信号生成手段は、前記対象参照画像を用いて前記対象画像に対する予測信号を生成して、前記空間周波数抽出手段により抽出された前記空間周波数成分を用いて、生成した予測信号に対する加工を行って、加工が行われた予測信号を前記対象画像の予測信号とすることを特徴とする請求項２〜６の何れか一項に記載の動画像符号化装置。
【請求項９】
前記格納手段は、前記予測信号生成手段により加工されることにより生成された画像を前記参照画像として格納することを特徴とする請求項７又は８に記載の動画像符号化装置。
【請求項１０】
動画像を構成する複数の画像に対し、符号化の対象となる対象画像を入力する入力手段と、
前記入力手段により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納するための格納手段と、
前記格納手段に格納されている第１参照画像から前記対象画像の所定の帯域に対する予測信号を生成する第１予測信号生成手段と、
前記対象画像と前記第１予測信号生成手段により生成された第１予測信号との差分を求めて第１差分信号を生成する第１差分手段と、
前記第１参照画像とは異なる前記格納手段に格納されている少なくとも１枚以上の第２参照画像から前記第１予測信号に対する第２予測信号を生成する第２予測信号生成手段と、
前記第２予測信号生成手段により生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出すると共に、当該特定帯域信号の抽出内容を示す特定帯域信号抽出情報を生成する特定帯域信号抽出手段と、
前記第１差分手段により生成された第１差分信号と前記特定帯域信号抽出手段により抽出された特定帯域信号との差分を求めて第２差分信号を生成する第２差分手段と、
前記第２差分手段により生成された第２差分信号を所定の方法で符号化し、符号化差分信号を生成する符号化手段と、
前記符号化手段により生成された符号化差分信号を復号し、復号差分信号を生成する復号手段と、
前記復号手段により生成された復号差分信号に、前記特定帯域信号抽出手段により生成された特定帯域信号を加算して第１加算信号を生成する第１加算手段と、
前記第１加算手段により生成された第１加算信号に、前記第１予測信号生成手段により生成された第１予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として前記格納手段に格納させる第２加算手段と、
前記符号化手段により生成された符号化差分信号、及び前記特定帯域信号抽出手段により生成された特定帯域信号抽出情報を出力する出力手段と、
を備える動画像符号化装置。
【請求項１１】
符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納手段と、
動画像を予測符号化して得られる符号化差分信号を入力する入力手段と、
前記入力手段により入力された符号化差分信号を復号して復号差分信号を生成する復号手段と、
前記格納手段に格納された参照画像のうち帯域毎に異なる参照画像を用いて、前記復号手段により生成された復号差分信号の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を生成して、生成した帯域別予測信号を用いて所定の方法により当該復号差分信号に対する予測信号を生成する予測信号生成情報を生成する予測信号生成手段と、
前記復号差分信号に対して前記予測信号生成手段で生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を前記格納手段に格納させる加算手段と、
前記加算手段により生成された再生画像を出力する出力手段と、
を備える動画像復号装置。
【請求項１２】
符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納手段と、
動画像を予測符号化して得られる符号化差分信号、及び予測信号の生成内容を示す予測信号生成情報を入力する入力手段と、
前記入力手段により入力された符号化差分信号を復号して復号差分信号を生成する復号手段と、
前記入力手段により入力された予測信号生成情報を参照して、前記復号手段により生成される復号差分信号に対する予測信号を、前記格納手段に格納された参照画像を用いて生成する予測信号生成手段と、
前記復号手段により生成された復号差分信号に、前記予測信号生成手段により生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を前記格納手段に格納させる加算手段と、
前記加算手段により生成された再生画像を出力する出力手段と、
を備え、
前記予測信号生成情報は、前記格納手段に格納された所定の参照画像からの所定の帯域の空間周波数成分の抽出内容を示す前記空間周波数抽出情報を含んでおり、
前記予測信号生成手段は、前記周波数抽出情報を参照して、前記格納手段に格納された所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出して、前記格納手段に格納された参照画像のうち前記予測信号の生成に画像として用いられる対象参照画像、及び抽出した前記空間周波数成分から、前記予測信号を生成する、
ことを特徴とする動画像復号装置。
【請求項１３】
前記予測信号生成手段は、前記対象参照画像と前記抽出用参照画像との間の動きの関係を用いて前記空間周波数成分を抽出することを特徴とする請求項１２に記載の動画像復号装置。
【請求項１４】
前記予測信号生成手段は、前記抽出用参照画像の前記対象参照画像に対する動き補償を行い、当該動き補償された前記抽出用参照画像から前記空間周波数成分を抽出することを特徴とする請求項１３に記載の動画像復号装置。
【請求項１５】
前記予測信号生成手段は、抽出された前記空間周波数成分を用いて前記対象参照画像に対する加工を行ない、加工が行なわれた前記対象参照画像を用いて前記予測信号を生成することを特徴とする請求項１２〜１４の何れか一項に記載の動画像復号装置。
【請求項１６】
前記予測信号生成手段は、前記対象参照画像の前記対象画像に対する予測信号を生成して、抽出された前記空間周波数成分を用いて、生成した予測信号に対する加工を行って、加工が行われた予測信号を前記対象画像の予測信号とすることを特徴とする請求項１２〜１４の何れか一項に記載の動画像復号装置。
【請求項１７】
前記格納手段は、前記予測信号生成手段により加工されることにより生成された画像を前記参照画像として格納することを特徴とする請求項１５又は１６に記載の動画像復号装置。
【請求項１８】
符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納手段と、
動画像を予測符号化して得られる符号化差分信号、及び特定帯域信号抽出情報を入力する入力手段と、
前記入力手段により入力された符号化差分信号を復号して復号差分信号を生成する復号手段と、
前記復号手段により生成された復号差分信号に対する予測信号を、前記格納手段に格納された第１参照画像を用いて第１予測信号を生成する第１予測信号生成手段と、
前記第１参照画像とは異なる前記格納手段に格納されている少なくとも１枚以上の第２参照画像から前記第１予測信号に対する第２予測信号を生成する第２予測信号生成手段と、
前記入力手段により入力された特定帯域信号抽出情報を参照して、前記第２予測信号生成手段により生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出する特定帯域信号抽出手段と、
前記特定帯域信号抽出手段により抽出された特定帯域信号を、前記復号手段により生成された復号差分信号に加算して第１復号差分信号を生成する第１加算手段と、
前記第１加算手段により生成された前記第１復号差分信号に、前記第１予測信号生成手段により生成された第１予測信号を加算して再生画像を生成すると共に生成した再生画像を前記格納手段に格納させる第２加算手段と、
前記第２加算手段により生成された再生画像を出力する出力手段と、
を備え、
前記特定帯域信号抽出情報は、前記格納手段に格納された所定の第２参照画像と前記第１予測信号に対して動き補償を行った第１参照画像との第２予測信号の所定の帯域の空間周波数成分の抽出内容を示す前記特定帯域信号抽出情報を含んでおり、
前記特定帯域信号抽出手段は、前記特定帯域信号抽出情報を参照して、前記第２予測信号から所定の帯域の空間周波数成分に対応する信号を抽出して、前記特定帯域信号を生成する、
ことを特徴とする動画像復号装置。
【請求項１９】
動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力ステップと、
前記入力ステップにおいて入力された対象画像に対する予測信号を生成するために格納されている参照画像のうち帯域毎に異なる参照画像を用いて、前記対象画像の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を求め、求めた帯域別予測信号を用いて所定の方法により対象画像に対する予測信号を生成する予測信号生成情報を生成する予測信号生成ステップと、
前記対象画像と前記予測信号生成ステップにおいて生成された予測信号との差分を求めて差分信号を生成する差分ステップと、
前記差分ステップにおいて生成された差分信号を符号化して符号化差分信号を生成する符号化ステップと、
前記符号化ステップにおいて生成された符号化差分信号を復号し、復号差分信号を生成する復号ステップと、
前記復号ステップにおいて生成された復号差分信号に、前記予測信号生成ステップにおいて生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納させる加算ステップと、
前記符号化ステップにおいて生成された符号化差分信号を出力する出力ステップと、
を含む動画像符号化方法。
【請求項２０】
動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力ステップと、
前記入力ステップにおいて入力された対象画像に対する予測信号を生成するために格納されている参照画像のうち、前記対象画像の予測に画像として用いられる対象参照画像以外の所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出すると共に当該空間周波数成分の抽出内容を示す空間周波数抽出情報を生成する空間周波数抽出ステップと、
前記対象参照画像及び前記空間周波数抽出ステップにおいて抽出された前記空間周波数成分から、前記対象画像に対する予測信号を生成すると共に前記空間周波数抽出ステップにおいて生成された前記空間周波数抽出情報を含めて前記予測信号の生成内容を示す予測信号生成情報を生成する予測信号生成ステップと、
前記対象画像と前記予測信号生成ステップにおいて生成された予測信号との差分を求めて差分信号を生成する差分ステップと、
前記差分ステップにおいて生成された差分信号を符号化して符号化差分信号を生成する符号化ステップと、
前記符号化ステップにおいて生成された符号化差分信号を復号し、復号差分信号を生成する復号ステップと、
前記復号ステップにおいて生成された復号差分信号に、前記予測信号生成ステップにおいて生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納させる加算ステップと、
前記符号化ステップにおいて生成された符号化差分信号、及び前記予測信号生成ステップにおいて生成された予測信号生成情報を出力する出力ステップと、
を含む動画像符号化方法。
【請求項２１】
動画像を構成する複数の画像に対し、符号化の対象となる対象画像を入力する入力ステップと、
前記入力ステップにおいて入力された対象画像に対する予測信号を生成するために格納されている第１参照画像から前記対象画像の所定の帯域に対する予測信号を生成する第１予測信号生成ステップと、
前記対象画像と前記第１予測信号生成ステップにおいて生成された第１予測信号との差分を求めて第１差分信号を生成する第１差分ステップと、
前記入力ステップにおいて入力された対象画像に対する予測信号を生成するために格納されている、前記第１参照画像とは異なる少なくとも１枚以上の第２参照画像から前記第１予測信号に対する第２予測信号を生成する第２予測信号生成ステップと、
前記第２予測信号生成ステップにおいて生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出すると共に、当該特定帯域信号の抽出内容を示す特定帯域信号抽出情報を生成する特定帯域信号抽出ステップと、
前記第１差分ステップにおいて生成された第１差分信号と前記特定帯域信号抽出ステップにおいて抽出された特定帯域信号との差分を求めて第２差分信号を生成する第２差分ステップと、
前記第２差分ステップにおいて生成された第２差分信号を所定の方法で符号化し、符号化差分信号を生成する符号化ステップと、
前記符号化ステップにおいて生成された符号化差分信号を復号し、復号差分信号を生成する復号ステップと、
前記復号ステップにより生成された復号差分信号に、前記特定帯域信号抽出ステップにおいて生成された特定帯域信号を加算して第１加算信号を生成する第１加算ステップと、
前記第１加算ステップにおいて生成された第１加算信号に、前記第１予測信号生成ステップにおいて生成された第１予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納させる第２加算ステップと、
前記符号化ステップにおいて生成された符号化差分信号、及び前記特定帯域信号抽出ステップにおいて生成された特定帯域信号抽出情報を出力する出力ステップと、
を含む動画像符号化方法。
【請求項２２】
動画像を予測符号化して得られる符号化差分信号を入力する入力ステップと、
前記入力手段により入力された符号化差分信号を復号して復号差分信号を生成する復号ステップと、
符号化された動画像の復号に用いられる予測信号を生成するために格納された再生画像である参照画像のうち帯域毎に異なる参照画像を用いて、前記復号ステップにおいて生成された復号差分信号の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を生成して、生成した帯域別予測信号を用いて所定の方法により当該復号差分信号に対する予測信号を生成する予測信号生成情報を生成する予測信号生成ステップと、
前記復号差分信号に対して前記予測信号生成ステップにおいて生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を格納させる加算ステップと、
前記加算手段により生成された再生画像を出力する出力ステップと、
を含む動画像復号装置。
【請求項２３】
動画像を予測符号化して得られる符号化差分信号、及び予測信号の生成内容を示す予測信号生成情報を入力する入力ステップと、
前記入力ステップにおいて入力された符号化差分信号を復号して復号差分信号を生成する復号ステップと、
前記入力ステップにおいて入力された予測信号生成情報を参照して、前記復号ステップにおいて生成される復号差分信号に対する予測信号を、符号化された動画像の復号に用いられる予測信号を生成するために格納された再生信号である参照画像を用いて生成する予測信号生成ステップと、
前記復号ステップにおいて生成された復号差分信号に、前記予測信号生成ステップにより生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を格納させる加算ステップと、
前記加算ステップにおいて生成された再生画像を出力する出力ステップと、
を含み、
前記予測信号生成情報は、格納された所定の参照画像からの所定の帯域の空間周波数成分の抽出内容を示す前記空間周波数抽出情報を含んでおり、
前記予測信号生成ステップにおいて、前記周波数抽出情報を参照して、格納された所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出して、格納された参照画像のうち前記予測信号の生成に画像として用いられる対象参照画像、及び抽出した前記空間周波数成分から、前記予測信号を生成する、
ことを特徴とする動画像復号方法。
【請求項２４】
動画像を予測符号化して得られる符号化差分信号、及び特定帯域信号抽出情報を入力する入力ステップと、
前記入力ステップにおいて入力された符号化差分信号を復号して復号差分信号を生成する復号ステップと、
前記復号ステップにおいて生成された復号差分信号に対する予測信号を、符号化された動画像の復号に用いられる予測信号を生成するために格納された再生画像である第１参照画像を用いて第１予測信号を生成する第１予測信号生成ステップと、
符号化された動画像の復号に用いられる予測信号を生成するために格納された、前記第１参照画像とは異なる少なくとも１枚以上の第２参照画像から前記第１予測信号に対する第２予測信号を生成する第２予測信号生成ステップと、
前記入力ステップにおいて入力された特定帯域信号抽出情報を参照して、前記第２予測信号生成ステップにおいて生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出する特定帯域信号抽出ステップと、
前記特定帯域信号抽出ステップにおいて抽出された特定帯域信号を、前記復号ステップにおいて生成された復号差分信号に加算して第１復号差分信号を生成する第１加算ステップと、
前記第１加算ステップにおいて生成された前記第１復号差分信号に、前記第１予測信号生成ステップにおいて生成された第１予測信号を加算して再生画像を生成すると共に生成した再生画像を格納させる第２加算ステップと、
前記第２加算ステップにおいて生成された再生画像を出力する出力ステップと、
を含み、
前記特定帯域信号抽出情報は、所定の前記第２参照画像と前記第１予測信号に対して動き補償を行った第１参照画像との第２予測信号の所定の帯域の空間周波数成分の抽出内容を示す前記特定帯域信号抽出情報を含んでおり、
前記特定帯域信号抽出ステップにおいて、前記特定帯域信号抽出情報を参照して、前記第２予測信号から所定の帯域の空間周波数成分に対応する信号を抽出して、前記特定帯域信号を生成する、
ことを特徴とする動画像復号方法。
【請求項２５】
動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力機能と、
前記入力機能により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納機能と、
前記格納機能に格納された参照画像のうち帯域毎に異なる参照画像を用いて、前記対象画像の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を求め、求めた帯域別予測信号を用いて所定の方法により対象画像に対する予測信号を生成する予測信号生成情報を生成する予測信号生成機能と、
前記対象画像と前記予測信号生成機能により生成された予測信号との差分を求めて差分信号を生成する差分機能と、
前記差分機能により生成された差分信号を符号化して符号化差分信号を生成する符号化機能と、
前記符号化機能により生成された符号化差分信号を復号し、復号差分信号を生成する復号機能と、
前記復号機能により生成された復号差分信号に、前記予測信号生成機能により生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として前記格納機能に格納させる加算機能と、
前記符号化機能により生成された符号化差分信号を出力する出力機能と、
をコンピュータに実行させる動画像符号化プログラム。
【請求項２６】
動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力機能と、
前記入力機能により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納機能と、
前記格納機能により格納された参照画像のうち、前記対象画像の予測に画像として用いられる対象参照画像以外の所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出すると共に当該空間周波数成分の抽出内容を示す空間周波数抽出情報を生成する空間周波数抽出機能と、
前記対象参照画像及び前記空間周波数抽出機能により抽出された前記空間周波数成分から、前記対象画像に対する予測信号を生成すると共に前記空間周波数抽出機能により生成された前記空間周波数抽出情報を含めて前記予測信号の生成内容を示す予測信号生成情報を生成する予測信号生成機能と、
前記対象画像と前記予測信号生成機能により生成された予測信号との差分を求めて差分信号を生成する差分機能と、
前記差分機能により生成された差分信号を符号化して符号化差分信号を生成する符号化機能と、
前記符号化機能により生成された符号化差分信号を復号し、復号差分信号を生成する復号機能と、
前記復号機能により生成された復号差分信号に、前記予測信号生成機能により生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として前記格納機能に格納させる加算機能と、
前記符号化機能により生成された符号化差分信号、及び前記予測信号生成機能により生成された予測信号生成情報を出力する出力機能と、
をコンピュータに実行させる動画像符号化プログラム。
【請求項２７】
動画像を構成する複数の画像に対し、符号化の対象となる対象画像を入力する入力機能と、
前記入力機能により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納するための格納機能と、
前記格納機能に格納されている第１参照画像から前記対象画像の所定の帯域に対する予測信号を生成する第１予測信号生成機能と、
前記対象画像と前記第１予測信号生成機能により生成された第１予測信号との差分を求めて第１差分信号を生成する第１差分機能と、
前記第１参照画像とは異なる前記格納機能に格納されている少なくとも１枚以上の第２参照画像から前記第１予測信号に対する第２予測信号を生成する第２予測信号生成機能と、
前記第２予測信号生成機能により生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出すると共に、当該特定帯域信号の抽出内容を示す特定帯域信号抽出情報を生成する特定帯域信号抽出機能と、
前記第１差分機能により生成された第１差分信号と前記特定帯域信号抽出機能により抽出された特定帯域信号との差分を求めて第２差分信号を生成する第２差分機能と、
前記第２差分機能により生成された第２差分信号を所定の方法で符号化し、符号化差分信号を生成する符号化機能と、
前記符号化機能により生成された符号化差分信号を復号し、復号差分信号を生成する復号機能と、
前記復号機能により生成された復号差分信号に、前記特定帯域信号抽出機能により生成された特定帯域信号を加算して第１加算信号を生成する第１加算機能と、
前記第１加算機能により生成された第１加算信号に、前記第１予測信号生成機能により生成された第１予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として前記格納機能に格納させる第２加算機能と、
前記符号化機能により生成された符号化差分信号、及び前記特定帯域信号抽出機能により生成された特定帯域信号抽出情報を出力する出力機能と、
をコンピュータに実行させる動画像符号化プログラム。
【請求項２８】
符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納機能と、
動画像を予測符号化して得られる符号化差分信号を入力する入力機能と、
前記入力機能により入力された符号化差分信号を復号して復号差分信号を生成する復号機能と、
前記格納機能に格納された参照画像のうち帯域毎に異なる参照画像を用いて、前記復号機能により生成された復号差分信号の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を生成して、生成した帯域別予測信号を用いて所定の方法により当該復号差分信号に対する予測信号を生成する予測信号生成情報を生成する予測信号生成機能と、
前記復号差分信号に対して前記予測信号生成機能で生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を前記格納機能に格納させる加算機能と、
前記加算機能により生成された再生画像を出力する出力機能と、
をコンピュータに実行させる動画像復号プログラム。
【請求項２９】
符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納機能と、
動画像を予測符号化して得られる符号化差分信号、及び予測信号の生成内容を示す予測信号生成情報を入力する入力機能と、
前記入力機能により入力された符号化差分信号を復号して復号差分信号を生成する復号機能と、
前記入力機能により入力された予測信号生成情報を参照して、前記復号機能により生成される復号差分信号に対する予測信号を、前記格納機能により格納された参照画像を用いて生成する予測信号生成機能と、
前記復号機能により生成された復号差分信号に、前記予測信号生成機能により生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を前記格納機能に格納させる加算機能と、
前記加算機能により生成された再生画像を出力する出力機能と、
をコンピュータに実行させ、
前記予測信号生成情報は、前記格納機能により格納された所定の参照画像からの所定の帯域の空間周波数成分の抽出内容を示す前記空間周波数抽出情報を含んでおり、
前記予測信号生成機能は、前記周波数抽出情報を参照して、前記格納機能により格納された所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出して、前記格納により格納された参照画像のうち前記予測信号の生成に画像として用いられる対象参照画像、及び抽出した前記空間周波数成分から、前記予測信号を生成する、
ことを特徴とする動画像復号プログラム。
【請求項３０】
符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納機能と、
動画像を予測符号化して得られる符号化差分信号、及び特定帯域信号抽出情報を入力する入力機能と、
前記入力機能により入力された符号化差分信号を復号して復号差分信号を生成する復号機能と、
前記復号機能により生成された復号差分信号に対する予測信号を、前記格納機能に格納された第１参照画像を用いて第１予測信号を生成する第１予測信号生成機能と、
前記第１参照画像とは異なる前記格納機能に格納されている少なくとも１枚以上の第２参照画像から前記第１予測信号に対する第２予測信号を生成する第２予測信号生成機能と、
前記入力機能により入力された特定帯域信号抽出情報を参照して、前記第２予測信号生成機能により生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出する特定帯域信号抽出機能と、
前記特定帯域信号抽出機能により抽出された特定帯域信号を、前記復号機能により生成された復号差分信号に加算して第１復号差分信号を生成する第１加算機能と、
前記第１加算機能により生成された前記第１復号差分信号に、前記第１予測信号生成機能により生成された第１予測信号を加算して再生画像を生成すると共に生成した再生画像を前記格納機能に格納させる第２加算機能と、
前記第２加算機能により生成された再生画像を出力する出力機能と、
をコンピュータに実行させ、
前記特定帯域信号抽出情報は、前記格納機能に格納された所定の第２参照画像と前記第１予測信号に対して動き補償を行った第１参照画像との第２予測信号の所定の帯域の空間周波数成分の抽出内容を示す前記特定帯域信号抽出情報を含んでおり、
前記特定帯域信号抽出機能は、前記特定帯域信号抽出情報を参照して、前記第２予測信号から所定の帯域の空間周波数成分に対応する信号を抽出して、前記特定帯域信号を生成する、
ことを特徴とする動画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラムに関する。
【背景技術】
【０００２】
動画像は、単一の静止画像である「フレーム」を連続させることにより構成されている。フレームに含まれる空間周波数成分の大きさは、画像の鮮明さやボケ具合・コントラスト（以下、解像度と呼ぶ）を意味するため、動画像の品質に対する評価に関わる。【０００３】
民生用のビデオカメラで撮影された動画像が、空間周波数成分が存在する帯域幅の異なるフレームが混在する動画像となることがしばしばある。これは、カメラのオートフォーカス機能が働き撮影の最中にフォーカスが自動的に調整されるため、撮影された隣り合う画像の帯域が変動してしまい、帯域幅の広い信号を有する画像と帯域幅の狭い信号を有する画像とが隣接して記録されるためである。【０００４】
また、個々のフレームの解像度が低い動画像であっても、各フレームが連続した動画像として表示されたとき、静止画と比較して画像のコントラストが上がり鮮明な画像として見える錯視現象を生じることが非特許文献１に記載されている。この錯視現象は、motion sharpening現象と呼ばれる。このmotion sharpening現象により原画像の中で、定期的にフィルタを用いることで空間周波数の帯域幅が変化したフレームが挿入されていても、動画像として見たときに原画像と評価しても、動画像の品質が高く知覚されるという実験結果が、記載されている。【０００５】
一方、動画像データの伝送や効率を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合はＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。動画像の符号化では、時間軸で隣接する他の画像を用いて符号化の対象となる対象画像の予測信号を生成し、対象画像と予測信号との差分を符号化することにより、データ量の削減を実現する。この手法をフレーム間予測符号化という。【０００６】
Ｈ．２６４では、１フレームの画像を１６×１６画素からなるブロックの領域に分割し、このブロック単位で画像の符号化処理を行う。フレーム間予測符号化では、符号化対象となる画像の対象ブロックに対し、符号化済みで復元された他のフレームを参照画像とした動き予測を行うことによって予測信号を生成する。次にこの対象ブロックと該予測信号との差分値を求めて、離散コサイン変換と量子化処理とを行い、符号化データを生成する。その後、量子化された変換係数を逆量子化した上で逆変換を施し、再生変化係数を生成する。その後、再生変換係数に予測信号を加算し再生画像を復元する。復元された再生画像は、次の画像の符号化・復号のために参照画像として一時格納される。【０００７】
このような動画像圧縮符号化が行われる中で、画像の帯域幅が狭い動画像は高周波成分が含まれないため、変換係数が小さく、符号化データを小さくすることができる。そのため、フレーム毎に帯域幅の異なる画像やmotion sharpening効果を期待した解像度の低いフレームが含まれる動画像を符号化する際には、高い符号化効率が期待できる。【０００８】
また、Ｈ．２６４では、復号済みの２枚のフレームを参照画像として、符号化対象となる画像の対象ブロックの符号化データを生成するＢフレーム技術と呼ばれる予測方法が存在する。一般に、Ｂフレーム技術は２枚の画像を用いることで、雑音成分が緩和されるため非常に少ない情報量で符号化することができるという特徴を持っている。また、上記のように作成したＢフレームを他の符号化対象となる画像の対象ブロックの符号化に用いることで、予測に用いることができるフレームの数が増えるため、更に符号化効率を高めることができることが知られている。
【非特許文献１】Takeuchi,T. & De Valois, K.K. (2005) Sharpening image motion based onspatio-temporal characteristics of human vision. Human Vision and Electronic Imaging X
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一方でＢフレーム技術の性質上、Ｂフレームには高周波成分が含まれず低解像度になってしまうという欠点も存在する。そのため、Ｂフレームを参照画像として用いて符号化を行う際に、符号化対象となる画像の帯域幅がＢフレームの持つ帯域幅よりも広い場合も存在する。また、motion sharpening効果を期待した動画像の場合等には、１つの動画像に帯域幅が異なる画像が混在することがある。【００１０】
しかし、従来の動画像符号化・復号方法では、帯域幅が異なる画像が混在する場合、動画像を効率よく圧縮することができない。帯域幅の広い第２画像を参照して帯域幅の狭い第１画像を予測すると、予測対象の探索がうまくいかないことや第２画像の帯域幅以上の成分の差が第１画像の差分信号に含まれるようになり、情報量が増え圧縮率が低下してしまうという問題がある。【００１１】
また、帯域幅が狭い第１画像を参照して、帯域幅の広い第２画像を予測すると、予測対象の探索がうまくいなかいことや第１画像の帯域幅よりも大きい空間周波数成分の不足分が差分信号として必要となるため、情報量が増え圧縮率が低下してしまうという問題がある。【００１２】
ここで、前者については、帯域幅の広い第２画像の帯域幅を、フィルタ等を用いて調製して参照することで問題を解消できる可能性がある。しかし、後者については、第２画像の帯域幅よりも大きい第１画像の高周波成分がそもそも存在しないため問題を解消するのが非常に困難である。また、帯域幅が異なる画像が定期的に含まれる場合には、同程度の解像度の画像を参照して予測することが考えられる。しかしながら、同程度の解像度の画像を特定するために時間軸を示す情報が増加することや、特に動きの大きな動画像では予測が当りづらく（対象画像と参照画像との動きが大きくなる）、情報量が増え圧縮率が低下してしまうという問題がある。【００１３】
本発明は、以上の問題点を解決するためになされたものであり、帯域幅の異なる画像が混在する動画像であっても、高い圧縮率で符号化及び復号を行うことができる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明に係る動画像符号化装置は、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力手段と、入力手段により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、格納手段に格納された参照画像のうち帯域毎に異なる参照画像を用いて、対象画像の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を求め、求めた帯域別予測信号を用いて所定の方法により対象画像に対する予測信号を生成する予測信号生成情報を生成する予測信号生成手段と、対象画像と予測信号生成手段により生成された予測信号との差分を求めて差分信号を生成する差分手段と、差分手段により生成された差分信号を符号化して符号化差分信号を生成する符号化手段と、符号化手段により生成された符号化差分信号を復号し、復号差分信号を生成する復号手段と、復号手段により生成された復号差分信号に、予測信号生成手段により生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納手段に格納させる加算手段と、符号化手段により生成された符号化差分信号を出力する出力手段と、を備えることを特徴とする。【００１５】
本発明に係る動画像符号化装置では、複数の参照画像から帯域毎予測信号が生成され、これらから予測信号が生成される。従って、予測信号はより広い帯域の空間周波数成分が含まれることとなる。これにより、符号化対象の動画像が帯域幅の異なる画像が混在するものであり、対象画像の帯域幅が広いものであっても、予測信号がより広い帯域の空間周波数成分を含んでいるので、予測信号の差分信号が減少するため、高い圧縮率で符号化を行うことができる。【００１６】
上記目的を達成するために、本発明に係る動画像符号化装置は、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力手段と、入力手段により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、格納手段に格納された参照画像のうち、対象画像の予測に画像として用いられる対象参照画像以外の所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出すると共に当該空間周波数成分の抽出内容を示す空間周波数抽出情報を生成する空間周波数抽出手段と、対象参照画像及び空間周波数抽出手段により抽出された空間周波数成分から、対象画像に対する予測信号を生成すると共に空間周波数抽出手段により生成された空間周波数抽出情報を含めて予測信号の生成内容を示す予測信号生成情報を生成する予測信号生成手段と、対象画像と予測信号生成手段により生成された予測信号との差分を求めて差分信号を生成する差分手段と、差分手段により生成された差分信号を符号化して符号化差分信号を生成する符号化手段と、符号化手段により生成された符号化差分信号を復号し、復号差分信号を生成する復号手段と、復号手段により生成された復号差分信号に、予測信号生成手段により生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納手段に格納させる加算手段と、符号化手段により生成された符号化差分信号、及び予測信号生成手段により生成された予測信号生成情報を出力する出力手段と、を備えることを特徴とする。【００１７】
本発明に係る動画像符号化装置では、抽出用参照画像から所定の帯域の空間周波数成分が抽出されて、当該空間周波数成分が対象参照画像と共に予測信号の生成に用いられる。従って、対象参照画像に含まれない帯域の空間周波数成分が予測信号に含まれることとなる。これにより、符号化対象の動画像が帯域幅の異なる画像が混在するものであっても、対象参照画像の帯域幅が対象画像の帯域幅よりも狭くなる場合に対象参照画像に含まれない帯域の空間周波数成分が補われ、当該帯域の予測信号の差分信号が減少するため、高い圧縮率で符号化を行うことができる。【００１８】
空間周波数抽出手段は、対象画像及び対象参照画像の空間周波数成分を示す情報を取得して、取得した情報を比較して、当該比較結果に基づいて抽出用参照画像から空間周波数成分を抽出する所定の帯域を決定することが望ましい。この構成によれば、対象画像には含まれ、対象参照画像には含まれない帯域の空間周波数成分を適切に抽出することができ、差分信号をより減少させることができ、より高い圧縮率で符号化を行うことができる。【００１９】
空間周波数抽出手段は、対象参照画像と抽出用参照画像との間の動きの関係を用いて空間周波数成分を抽出することが望ましい。この構成によれば、抽出用参照画像からより適切な空間周波数成分の抽出を行うことでき、より高い圧縮率で符号化を行うことができる。【００２０】
空間周波数抽出手段は、抽出用参照画像の対象参照画像に対する動き補償を行い、当該動き補償された抽出用参照画像から空間周波数成分を抽出することが望ましい。この構成によれば、抽出用参照画像と対象参照画像との誤差を小さくすることができるため、抽出用参照画像からより適切な空間周波数成分の抽出を行うことでき、より高い圧縮率で符号化を行うことができる。【００２１】
空間周波数抽出手段は、対象画像、対象参照画像、及び格納手段に格納された対象参照画像以外の参照画像の空間周波数成分を示す情報を取得して、取得した情報の少なくとも何れかに基づいて、抽出用参照画像を決定することが望ましい。この構成によれば、対象画像には含まれ、対象参照画像には含まれない帯域の空間周波数成分を有するような抽出用参照画像を用いることができ、更に高い圧縮率で符号化を行うことができる。【００２２】
予測信号生成手段は、空間周波数抽出手段により抽出された空間周波数成分を用いて対象参照画像に対する加工を行ない、加工が行なわれた対象参照画像を用いて予測信号を生成することが望ましい。この構成によれば、予測信号の生成を行う前の対象参照画像に対して、抽出された空間周波数成分による加工が行なわれることにより、確実に本発明を実施することができる。【００２３】
予測信号生成手段は、対象参照画像を用いて対象画像に対する予測信号を生成して、空間周波数抽出手段により抽出された空間周波数成分を用いて、生成した予測信号に対する加工を行って、加工が行われた予測信号を対象画像の予測信号とすることが望ましい。この構成によれば、予測信号の生成を行った後に予測信号に対して、抽出された空間周波数成分による加工が行なわれることにより、確実に本発明を実施することができる。【００２４】
格納手段は、予測信号生成手段により加工されることにより生成された画像を参照画像として格納することが望ましい。この構成によれば、参照画像として利用できる画像が増加するため、より高い圧縮率で符号化を行うことができる。【００２５】
上記目的を達成するために、本発明に係る動画像符号化装置は、動画像を構成する複数の画像に対し、符号化の対象となる対象画像を入力する入力手段と、入力手段により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納するための格納手段と、格納手段に格納されている第１参照画像から対象画像の所定の帯域に対する予測信号を生成する第１予測信号生成手段と、対象画像と第１予測信号生成手段により生成された第１予測信号との差分を求めて第１差分信号を生成する第１差分手段と、第１参照画像とは異なる格納手段に格納されている少なくとも１枚以上の第２参照画像から第１予測信号に対する第２予測信号を生成する第２予測信号生成手段と、第２予測信号生成手段により生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出すると共に、当該特定帯域信号の抽出内容を示す特定帯域信号抽出情報を生成する特定帯域信号抽出手段と、第１差分手段により生成された第１差分信号と特定帯域信号抽出手段により抽出された特定帯域信号との差分を求めて第２差分信号を生成する第２差分手段と、第２差分手段により生成された第２差分信号を所定の方法で符号化し、符号化差分信号を生成する符号化手段と、符号化手段により生成された符号化差分信号を復号し、復号差分信号を生成する復号手段と、復号手段により生成された復号差分信号に、特定帯域信号抽出手段により生成された特定帯域信号を加算して第１加算信号を生成する第１加算手段と、第１加算手段により生成された第１加算信号に、第１予測信号生成手段により生成された第１予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納手段に格納させる第２加算手段と、符号化手段により生成された符号化差分信号、及び特定帯域信号抽出手段により生成された特定帯域信号抽出情報を出力する出力手段と、を備えることを特徴とする。【００２６】
本発明に係る動画像符号化装置では、第２参照画像から生成される第２予測信号から、所定の帯域の空間周波数成分が抽出されて、当該空間周波数成分が第１予測信号と共に符号化対象の差分信号の生成に用いられる。従って、第１予測信号に含まれない帯域の空間周波数成分が差分信号の生成に用いられることとなる。これにより、符号化対象の動画像が帯域幅の異なる画像が混在するものであっても、対象参照画像の帯域幅が第１対象画像の帯域幅よりも狭くなる場合に対象参照画像に含まれない帯域の空間周波数成分が補われ、当該帯域の差分信号が減少するため、高い圧縮率で符号化を行うことができる。【００２７】
上記目的を達成するために、本発明に係る動画像復号装置は、符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納手段と、動画像を予測符号化して得られる符号化差分信号を入力する入力手段と、入力手段により入力された符号化差分信号を復号して復号差分信号を生成する復号手段と、格納手段に格納された参照画像のうち帯域毎に異なる参照画像を用いて、復号手段により生成された復号差分信号の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を生成して、生成した帯域別予測信号を用いて所定の方法により当該復号差分信号に対する予測信号を生成する予測信号生成情報を生成する予測信号生成手段と、復号差分信号に対して予測信号生成手段で生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を格納手段に格納させる加算手段と、加算手段により生成された再生画像を出力する出力手段と、を備えることを特徴とする。本発明に係る動画像復号装置では、本発明に係る動画像符号化装置によって高い圧縮率で符号化された動画像を復号することができる。【００２８】
上記目的を達成するために、本発明に係る動画像復号装置は、符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納手段と、動画像を予測符号化して得られる符号化差分信号、及び予測信号の生成内容を示す予測信号生成情報を入力する入力手段と、入力手段により入力された符号化差分信号を復号して復号差分信号を生成する復号手段と、入力手段により入力された予測信号生成情報を参照して、復号手段により生成される復号差分信号に対する予測信号を、格納手段に格納された参照画像を用いて生成する予測信号生成手段と、復号手段により生成された復号差分信号に、予測信号生成手段により生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を格納手段に格納させる加算手段と、加算手段により生成された再生画像を出力する出力手段と、を備え、予測信号生成情報は、格納手段に格納された所定の参照画像からの所定の帯域の空間周波数成分の抽出内容を示す空間周波数抽出情報を含んでおり、予測信号生成手段は、周波数抽出情報を参照して、格納手段に格納された所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出して、格納手段に格納された参照画像のうち予測信号の生成に画像として用いられる対象参照画像、及び抽出した空間周波数成分から、予測信号を生成する、ことを特徴とする。【００２９】
本発明に係る動画像復号装置では、本発明に係る動画像符号化装置によって高い圧縮率で符号化された動画像を復号することができる。【００３０】
予測信号生成手段は、対象参照画像と抽出用参照画像との間の動きの関係を用いて空間周波数成分を抽出することが望ましい。この構成によれば、対象参照画像と抽出用参照画像との間の動きの関係を用いて抽出された空間周波数成分が用いられて、より高い圧縮率で符号化された動画像を復号することができる。【００３１】
予測信号生成手段は、抽出用参照画像の対象参照画像に対する動き補償を行い、当該動き補償された抽出用参照画像から空間周波数成分を抽出することが望ましい。この構成によれば、動き補償された抽出用参照画像から抽出された空間周波数成分が用いられて、より高い圧縮率で符号化された動画像を復号することができる。【００３２】
予測信号生成手段は、抽出された空間周波数成分を用いて対象参照画像に対する加工を行ない、加工が行なわれた対象参照画像を用いて予測信号を生成することが望ましい。この構成によれば、予測信号の生成を行う前の対象参照画像に対して、抽出された空間周波数成分による加工が行なわれて、高い圧縮率で符号化された動画像を復号することができる。【００３３】
予測信号生成手段は、対象参照画像の対象画像に対する予測信号を生成して、抽出された空間周波数成分を用いて、生成した予測信号に対する加工を行って、加工が行われた予測信号を対象画像の予測信号とすることが望ましい。この構成によれば、予測信号の生成を行った後に予測信号に対して、抽出された空間周波数成分による加工が行なわれて、高い圧縮率で符号化された動画像を復号することができる。【００３４】
格納手段は、予測信号生成手段により加工されることにより生成された画像を参照画像として格納することが望ましい。この構成によれば、参照画像として利用できる画像が増加されて、より高い圧縮率で符号化された動画像を復号することができる。【００３５】
上記目的を達成するために、本発明に係る動画像復号装置は、符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納手段と、動画像を予測符号化して得られる符号化差分信号、及び特定帯域信号抽出情報を入力する入力手段と、入力手段により入力された符号化差分信号を復号して復号差分信号を生成する復号手段と、復号手段により生成された復号差分信号に対する予測信号を、格納手段に格納された第１参照画像を用いて第１予測信号を生成する第１予測信号生成手段と、第１参照画像とは異なる格納手段に格納されている少なくとも１枚以上の第２参照画像から第１予測信号に対する第２予測信号を生成する第２予測信号生成手段と、入力手段により入力された特定帯域信号抽出情報を参照して、第２予測信号生成手段により生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出する特定帯域信号抽出手段と、特定帯域信号抽出手段により抽出された特定帯域信号を、復号手段により生成された復号差分信号に加算して第１復号差分信号を生成する第１加算手段と、第１加算手段により生成された第１復号差分信号に、第１予測信号生成手段により生成された第１予測信号を加算して再生画像を生成すると共に生成した再生画像を格納手段に格納させる第２加算手段と、第２加算手段により生成された再生画像を出力する出力手段と、を備え、特定帯域信号抽出情報は、格納手段に格納された所定の第２参照画像と第１予測信号に対して動き補償を行った第１参照画像との第２予測信号の所定の帯域の空間周波数成分の抽出内容を示す特定帯域信号抽出情報を含んでおり、特定帯域信号抽出手段は、特定帯域信号抽出情報を参照して、第２予測信号から所定の帯域の空間周波数成分に対応する信号を抽出して、特定帯域信号を生成する、ことを特徴とする。本発明に係る動画像復号装置では、本発明に係る動画像符号化装置によって高い圧縮率で符号化された動画像を復号することができる。【００３６】
ところで、本発明は、上記のように動画像符号化装置及び動画像復号装置の発明として記述できる他に、以下のように動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。【００３７】
即ち、本発明に係る動画像符号化方法は、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力ステップと、入力ステップにおいて入力された対象画像に対する予測信号を生成するために格納されている参照画像のうち帯域毎に異なる参照画像を用いて、対象画像の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を求め、求めた帯域別予測信号を用いて所定の方法により対象画像に対する予測信号を生成する予測信号生成情報を生成する予測信号生成ステップと、対象画像と予測信号生成ステップにおいて生成された予測信号との差分を求めて差分信号を生成する差分ステップと、差分ステップにおいて生成された差分信号を符号化して符号化差分信号を生成する符号化ステップと、符号化ステップにおいて生成された符号化差分信号を復号し、復号差分信号を生成する復号ステップと、復号ステップにおいて生成された復号差分信号に、予測信号生成ステップにおいて生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納させる加算ステップと、符号化ステップにおいて生成された符号化差分信号を出力する出力ステップと、を含むことを特徴とする。【００３８】
本発明に係る動画像符号化方法は、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力ステップと、入力ステップにおいて入力された対象画像に対する予測信号を生成するために格納されている参照画像のうち、対象画像の予測に画像として用いられる対象参照画像以外の所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出すると共に当該空間周波数成分の抽出内容を示す空間周波数抽出情報を生成する空間周波数抽出ステップと、対象参照画像及び空間周波数抽出ステップにおいて抽出された空間周波数成分から、対象画像に対する予測信号を生成すると共に空間周波数抽出ステップにおいて生成された空間周波数抽出情報を含めて予測信号の生成内容を示す予測信号生成情報を生成する予測信号生成ステップと、対象画像と予測信号生成ステップにおいて生成された予測信号との差分を求めて差分信号を生成する差分ステップと、差分ステップにおいて生成された差分信号を符号化して符号化差分信号を生成する符号化ステップと、符号化ステップにおいて生成された符号化差分信号を復号し、復号差分信号を生成する復号ステップと、復号ステップにおいて生成された復号差分信号に、予測信号生成ステップにおいて生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納させる加算ステップと、符号化ステップにおいて生成された符号化差分信号、及び予測信号生成ステップにおいて生成された予測信号生成情報を出力する出力ステップと、を含むことを特徴とする。【００３９】
本発明に係る動画像符号化方法は、動画像を構成する複数の画像に対し、符号化の対象となる対象画像を入力する入力ステップと、入力ステップにおいて入力された対象画像に対する予測信号を生成するために格納されている第１参照画像から対象画像の所定の帯域に対する予測信号を生成する第１予測信号生成ステップと、対象画像と第１予測信号生成ステップにおいて生成された第１予測信号との差分を求めて第１差分信号を生成する第１差分ステップと、入力ステップにおいて入力された対象画像に対する予測信号を生成するために格納されている、第１参照画像とは異なる少なくとも１枚以上の第２参照画像から第１予測信号に対する第２予測信号を生成する第２予測信号生成ステップと、第２予測信号生成ステップにおいて生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出すると共に、当該特定帯域信号の抽出内容を示す特定帯域信号抽出情報を生成する特定帯域信号抽出ステップと、第１差分ステップにおいて生成された第１差分信号と特定帯域信号抽出ステップにおいて抽出された特定帯域信号との差分を求めて第２差分信号を生成する第２差分ステップと、第２差分ステップにおいて生成された第２差分信号を所定の方法で符号化し、符号化差分信号を生成する符号化ステップと、符号化ステップにおいて生成された符号化差分信号を復号し、復号差分信号を生成する復号ステップと、復号ステップにより生成された復号差分信号に、特定帯域信号抽出ステップにおいて生成された特定帯域信号を加算して第１加算信号を生成する第１加算ステップと、第１加算ステップにおいて生成された第１加算信号に、第１予測信号生成ステップにおいて生成された第１予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納させる第２加算ステップと、符号化ステップにおいて生成された符号化差分信号、及び特定帯域信号抽出ステップにおいて生成された特定帯域信号抽出情報を出力する出力ステップと、を含むことを特徴とする。【００４０】
本発明に係る動画像復号方法は、動画像を予測符号化して得られる符号化差分信号を入力する入力ステップと、入力手段により入力された符号化差分信号を復号して復号差分信号を生成する復号ステップと、符号化された動画像の復号に用いられる予測信号を生成するために格納された再生画像である参照画像のうち帯域毎に異なる参照画像を用いて、復号ステップにおいて生成された復号差分信号の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を生成して、生成した帯域別予測信号を用いて所定の方法により当該復号差分信号に対する予測信号を生成する予測信号生成情報を生成する予測信号生成ステップと、復号差分信号に対して予測信号生成ステップにおいて生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を格納させる加算ステップと、加算手段により生成された再生画像を出力する出力ステップと、を含むことを特徴とする。【００４１】
本発明に係る動画像復号方法は、動画像を予測符号化して得られる符号化差分信号、及び予測信号の生成内容を示す予測信号生成情報を入力する入力ステップと、入力ステップにおいて入力された符号化差分信号を復号して復号差分信号を生成する復号ステップと、入力ステップにおいて入力された予測信号生成情報を参照して、復号ステップにおいて生成される復号差分信号に対する予測信号を、符号化された動画像の復号に用いられる予測信号を生成するために格納された再生信号である参照画像を用いて生成する予測信号生成ステップと、復号ステップにおいて生成された復号差分信号に、予測信号生成ステップにより生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を格納させる加算ステップと、加算ステップにおいて生成された再生画像を出力する出力ステップと、を含み、予測信号生成情報は、格納された所定の参照画像からの所定の帯域の空間周波数成分の抽出内容を示す空間周波数抽出情報を含んでおり、予測信号生成ステップにおいて、周波数抽出情報を参照して、格納された所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出して、格納された参照画像のうち予測信号の生成に画像として用いられる対象参照画像、及び抽出した空間周波数成分から、予測信号を生成する、ことを特徴とする。【００４２】
本発明に係る動画像復号方法は、動画像を予測符号化して得られる符号化差分信号、及び特定帯域信号抽出情報を入力する入力ステップと、入力ステップにおいて入力された符号化差分信号を復号して復号差分信号を生成する復号ステップと、復号ステップにおいて生成された復号差分信号に対する予測信号を、符号化された動画像の復号に用いられる予測信号を生成するために格納された再生画像である第１参照画像を用いて第１予測信号を生成する第１予測信号生成ステップと、符号化された動画像の復号に用いられる予測信号を生成するために格納された、第１参照画像とは異なる少なくとも１枚以上の第２参照画像から第１予測信号に対する第２予測信号を生成する第２予測信号生成ステップと、入力ステップにおいて入力された特定帯域信号抽出情報を参照して、第２予測信号生成ステップにおいて生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出する特定帯域信号抽出ステップと、特定帯域信号抽出ステップにおいて抽出された特定帯域信号を、復号ステップにおいて生成された復号差分信号に加算して第１復号差分信号を生成する第１加算ステップと、第１加算ステップにおいて生成された第１復号差分信号に、第１予測信号生成ステップにおいて生成された第１予測信号を加算して再生画像を生成すると共に生成した再生画像を格納させる第２加算ステップと、第２加算ステップにおいて生成された再生画像を出力する出力ステップと、を含み、特定帯域信号抽出情報は、所定の第２参照画像と第１予測信号に対して動き補償を行った第１参照画像との第２予測信号の所定の帯域の空間周波数成分の抽出内容を示す特定帯域信号抽出情報を含んでおり、特定帯域信号抽出ステップにおいて、特定帯域信号抽出情報を参照して、第２予測信号から所定の帯域の空間周波数成分に対応する信号を抽出して、特定帯域信号を生成する、ことを特徴とする。【００４３】
本発明に係る動画像符号化プログラムは、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力機能と、入力機能により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納機能と、格納機能に格納された参照画像のうち帯域毎に異なる参照画像を用いて、対象画像の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を求め、求めた帯域別予測信号を用いて所定の方法により対象画像に対する予測信号を生成する予測信号生成情報を生成する予測信号生成機能と、対象画像と予測信号生成機能により生成された予測信号との差分を求めて差分信号を生成する差分機能と、差分機能により生成された差分信号を符号化して符号化差分信号を生成する符号化機能と、符号化機能により生成された符号化差分信号を復号し、復号差分信号を生成する復号機能と、復号機能により生成された復号差分信号に、予測信号生成機能により生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納機能に格納させる加算機能と、符号化機能により生成された符号化差分信号を出力する出力機能と、をコンピュータに実行させることを特徴とする。【００４４】
本発明に係る動画像符号化プログラムは、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力機能と、入力機能により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納機能と、格納機能により格納された参照画像のうち、対象画像の予測に画像として用いられる対象参照画像以外の所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出すると共に当該空間周波数成分の抽出内容を示す空間周波数抽出情報を生成する空間周波数抽出機能と、対象参照画像及び空間周波数抽出機能により抽出された空間周波数成分から、対象画像に対する予測信号を生成すると共に空間周波数抽出機能により生成された空間周波数抽出情報を含めて予測信号の生成内容を示す予測信号生成情報を生成する予測信号生成機能と、対象画像と予測信号生成機能により生成された予測信号との差分を求めて差分信号を生成する差分機能と、差分機能により生成された差分信号を符号化して符号化差分信号を生成する符号化機能と、符号化機能により生成された符号化差分信号を復号し、復号差分信号を生成する復号機能と、復号機能により生成された復号差分信号に、予測信号生成機能により生成された予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納機能に格納させる加算機能と、符号化機能により生成された符号化差分信号、及び予測信号生成機能により生成された予測信号生成情報を出力する出力機能と、をコンピュータに実行させることを特徴とする。【００４５】
本発明に係る動画像符号化プログラムは、動画像を構成する複数の画像に対し、符号化の対象となる対象画像を入力する入力機能と、入力機能により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納するための格納機能と、格納機能に格納されている第１参照画像から対象画像の所定の帯域に対する予測信号を生成する第１予測信号生成機能と、対象画像と第１予測信号生成機能により生成された第１予測信号との差分を求めて第１差分信号を生成する第１差分機能と、第１参照画像とは異なる格納機能に格納されている少なくとも１枚以上の第２参照画像から第１予測信号に対する第２予測信号を生成する第２予測信号生成機能と、第２予測信号生成機能により生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出すると共に、当該特定帯域信号の抽出内容を示す特定帯域信号抽出情報を生成する特定帯域信号抽出機能と、第１差分機能により生成された第１差分信号と特定帯域信号抽出機能により抽出された特定帯域信号との差分を求めて第２差分信号を生成する第２差分機能と、第２差分機能により生成された第２差分信号を所定の方法で符号化し、符号化差分信号を生成する符号化機能と、符号化機能により生成された符号化差分信号を復号し、復号差分信号を生成する復号機能と、復号機能により生成された復号差分信号に、特定帯域信号抽出機能により生成された特定帯域信号を加算して第１加算信号を生成する第１加算機能と、第１加算機能により生成された第１加算信号に、第１予測信号生成機能により生成された第１予測信号を加算し再生画像を生成し、生成した再生画像を参照画像として格納機能に格納させる第２加算機能と、符号化機能により生成された符号化差分信号、及び特定帯域信号抽出機能により生成された特定帯域信号抽出情報を出力する出力機能と、をコンピュータに実行させることを特徴とする。【００４６】
本発明に係る動画像復号プログラムは、符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納機能と、動画像を予測符号化して得られる符号化差分信号を入力する入力機能と、入力機能により入力された符号化差分信号を復号して復号差分信号を生成する復号機能と、格納機能に格納された参照画像のうち帯域毎に異なる参照画像を用いて、復号機能により生成された復号差分信号の所定の帯域に対する少なくとも２つ以上の帯域別予測信号を生成して、生成した帯域別予測信号を用いて所定の方法により当該復号差分信号に対する予測信号を生成する予測信号生成情報を生成する予測信号生成機能と、復号差分信号に対して予測信号生成機能で生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を格納機能に格納させる加算機能と、加算機能により生成された再生画像を出力する出力機能と、をコンピュータに実行させることを特徴とする。【００４７】
本発明に係る動画像復号プログラムは、符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納機能と、動画像を予測符号化して得られる符号化差分信号、及び予測信号の生成内容を示す予測信号生成情報を入力する入力機能と、入力機能により入力された符号化差分信号を復号して復号差分信号を生成する復号機能と、入力機能により入力された予測信号生成情報を参照して、復号機能により生成される復号差分信号に対する予測信号を、格納機能により格納された参照画像を用いて生成する予測信号生成機能と、復号機能により生成された復号差分信号に、予測信号生成機能により生成された予測信号を加算して再生画像を生成すると共に生成した再生画像を格納機能に格納させる加算機能と、加算機能により生成された再生画像を出力する出力機能と、をコンピュータに実行させ、予測信号生成情報は、格納機能により格納された所定の参照画像からの所定の帯域の空間周波数成分の抽出内容を示す空間周波数抽出情報を含んでおり、予測信号生成機能は、周波数抽出情報を参照して、格納機能により格納された所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出して、格納により格納された参照画像のうち予測信号の生成に画像として用いられる対象参照画像、及び抽出した空間周波数成分から、予測信号を生成する、ことを特徴とする。【００４８】
本発明に係る動画像復号プログラムは、符号化された動画像の復号に用いられる予測信号を生成するための参照画像である再生画像を格納する格納機能と、動画像を予測符号化して得られる符号化差分信号、及び特定帯域信号抽出情報を入力する入力機能と、入力機能により入力された符号化差分信号を復号して復号差分信号を生成する復号機能と、復号機能により生成された復号差分信号に対する予測信号を、格納機能に格納された第１参照画像を用いて第１予測信号を生成する第１予測信号生成機能と、第１参照画像とは異なる格納機能に格納されている少なくとも１枚以上の第２参照画像から第１予測信号に対する第２予測信号を生成する第２予測信号生成機能と、入力機能により入力された特定帯域信号抽出情報を参照して、第２予測信号生成機能により生成された第２予測信号の所定の帯域の空間周波数成分に対応する特定帯域信号を抽出する特定帯域信号抽出機能と、特定帯域信号抽出機能により抽出された特定帯域信号を、復号機能により生成された復号差分信号に加算して第１復号差分信号を生成する第１加算機能と、第１加算機能により生成された第１復号差分信号に、第１予測信号生成機能により生成された第１予測信号を加算して再生画像を生成すると共に生成した再生画像を格納機能に格納させる第２加算機能と、第２加算機能により生成された再生画像を出力する出力機能と、をコンピュータに実行させ、特定帯域信号抽出情報は、格納機能に格納された所定の第２参照画像と第１予測信号に対して動き補償を行った第１参照画像との第２予測信号の所定の帯域の空間周波数成分の抽出内容を示す特定帯域信号抽出情報を含んでおり、特定帯域信号抽出機能は、特定帯域信号抽出情報を参照して、第２予測信号から所定の帯域の空間周波数成分に対応する信号を抽出して、特定帯域信号を生成する、ことを特徴とする。
【発明の効果】
【００４９】
本発明によれば、帯域幅の異なる画像が混在する動画像を符号化対象とした場合であっても、対象参照画像の帯域幅が対象画像の帯域幅よりも狭くなる場合に対象参照画像に含まれない帯域の成分が補われ、当該帯域の予測信号の差分信号が減少するため、高い圧縮率で符号化及び復号を行うことができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の第１実施形態に係る動画像符号化装置の構成を示す図である。
【図２】本発明の第１及び第２実施形態に係る動画像符号化装置の予測信号生成器の構成を示す図である。
【図３】本発明の第１実施形態に係る動画像符号化装置の予測信号生成器における処理を示すフローチャートである。
【図４】本発明の第１実施形態に係る動画像符号化装置における処理（動画像符号化方法）を示すフローチャートである。
【図５】本発明の第１実施形態に係る動画像復号装置の構成を示す図である。
【図６】本発明の第１実施形態に係る動画像復号装置の参照画像加工器における処理を示すフローチャートである。
【図７】本発明の第１実施形態に係る動画像復号装置における処理（動画像復号方法）を示すフローチャートである。
【図８】本発明の第２実施形態に係る動画像符号化装置の予測信号生成器の構成を示す図である。
【図９】本発明の第２実施形態に係る動画像符号化装置の予測信号生成器における処理を示すフローチャートである。
【図１０】本発明の第２実施形態に係る動画像符号化装置における処理（動画像符号化方法）を示すフローチャートである。
【図１１】本発明の第２実施形態に係る動画像復号装置の構成を示す図である。
【図１２】本発明の第２実施形態に係る動画像復号装置の予測信号加工器における処理を示すフローチャートである。
【図１３】本発明の第２実施形態に係る動画像復号装置における処理（動画像復号方法）を示すフローチャートである。
【図１４】本発明の第３実施形態に係る動画像符号化装置の構成を示す図である。
【図１５】本発明の第３実施形態に係る動画像復号装置の構成を示す図である。
【図１６】本発明の第３実施形態に係る動画像符号化装置における処理（動画像符号化方法）を示すフローチャートである。
【図１７】本発明の第１実施形態に係る動画像復号装置における処理（動画像復号方法）を示すフローチャートである。
【図１８】本発明の実施形態に係る動画像符号化プログラムの構成を示す図である。
【図１９】本発明の実施形態に係る動画像復号プログラムの構成を示す図である。
【図２０】記録媒体に記録されたプログラムを実行されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図２１】記録媒体に記録されたプログラムを実行されたプログラムを実行するためのコンピュータの斜視図である。
【図２２】画像の空間周波数成分を示すグラフである。
【符号の説明】
【００５１】
１０，１０ａ…動画像符号化装置、１０１…入力端子、１０２…差分器、１０３…変換器、１０４…量子化器、１０５…逆量子化器、１０６…逆変換器、１０７…加算器、１０８…メモリ、１２０…空間周波数分析器、１２１…予測信号生成器、１３０…エントロピー符号化器、１３１…出力端子、２００…予測信号生成器、２０１…抽出空間周波数決定器、２０２…参照画像加工器、２０３…動き検出・動き補償器、２０４…情報・空間周波数情報格納器、８００…予測信号生成器、８０１…抽出空間周波数決定器、８０２…情報・空間周波数情報格納器、８０３…動き検出・動き補償器、８０４…予測信号加工器、５０，１１０…動画像復号装置、５００，１１００…入力端子、５０１，１１００…データ解析器、５０２，１１０２…逆量子化器、５０３，１１０３…逆変換器、５０４，１１０４…加算器、５０５，１１０５…出力端子、５０６，１１０６…メモリ、５０７，１１０７…予測信号生成器、５０８…参照画像加工器、１１０８…予測信号加工器、１４０…動画像符号化装置、１４０１…入力端子、１４０２…第１差分器、１４０３…第２差分器、１４０４…変換器、１４０５…量子化器、１４０６…逆量子化器、１４０７…逆変換器、１４０８…第１加算器、１４０９…第２加算器、１４１０…メモリ、１４１１…予測信号生成器、１４１２…動き探索器、１４１３…動き補償器、１４１４…特定帯域信号抽出器、１４２０…エントロピー符号化器、１４２１…出力端子、１５０…動画像復号装置、１５００…入力端子、１５０１…データ解析器、１５０２…逆量子化器、１５０３…逆変換器、１５０４…第１加算器、１５０５…第２加算器、１５２０…出力端子、１５０６…メモリ、１５０７…予測信号生成器、１５０８…動き探索器、１５０９…動き補償器、１５１０…特定帯域信号抽出器、１８００…画像入力モジュール、１８０１…空間周波数分析モジュール、１８０３…予測信号生成モジュール、１８０４…差分信号生成モジュール、１８０５…変換モジュール、１８０６…量子化モジュール、１８０７…逆量子化モジュール、１８０８…逆変換モジュール、１８０９…加算モジュール、１８１０…記憶モジュール、１８１１…エントロピー符号化モジュール、１８１２…記録媒体、Ｐ１８１２…動画像符号化プログラム、１９００…圧縮データ入力モジュール、１９０１…エントロピー復号モジュール、１９０２…参照画像加工モジュール、１９０３…予測信号生成モジュール、１９０４…逆量子化モジュール、１９０５…逆変換モジュール、１９０６…加算モジュール、１９０７…記憶モジュール、１９０８…記録媒体、Ｐ１９０８…動画像復号プログラム、１１…記録媒体、１２…読取装置、１４…作業用メモリ、１６…メモリ、１８…表示装置、２０…マウス、２２…キーボード、２４…通信装置、２６…ＣＰＵ、３０…コンピュータ、４０…コンピュータデータ信号。
【発明を実施するための最良の形態】
【００５２】
以下、図面とともに本発明の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。【００５３】
［第１実施形態］
図１に、本発明の第１実施形態に係る動画像符号化装置１０の機能構成を示す。動画像符号化装置１０は、動画像（データ）を構成する画像（データ）（フレーム）を入力して当該画像を順次符号化することにより、動画像を符号化した圧縮データ（符号化データ）を生成する装置である。図１に示すように、動画像符号化装置１０は、入力端子１０１と、差分器１０２と、変換器１０３と、量子化器１０４と、逆量子化器１０５と、逆変換器１０６と、加算器１０７と、メモリ１０８と、空間周波数分析器１２０と、予測信号生成器１２１と、エントロピー符号化器１３０と、出力端子１３１とを備えて構成される。【００５４】
入力端子１０１は、動画像を構成する複数の（静止画）画像から、符号化の対象となる対象画像を入力する入力手段である端子である。入力端子１０１は、ビデオカメラや動画像を記憶するメモリ等に接続されており、それらから出力された動画像を構成する画像を１つずつ入力する。入力端子１０１は、入力された画像を、ラインＬ１０１を経由して差分器１０２に、ラインＬ１０１，Ｌ１０１ａを経由して空間周波数分析器１２０に、ラインＬ１０１，Ｌ１０１ｂを経由して予測信号生成器１２１にそれぞれ出力する。差分器１０２及び予測信号生成器１２１に出力される画像は、図示しない画像分割部等により、例えば１６×１６画素等の所定のサイズの領域からなるブロックに分割され、ブロック単位で符号化処理が行われる。【００５５】
入力端子１０１が入力する動画像データは、例えば、民生用のビデオカメラ（携帯電話機に搭載されるカメラを含む）で撮影された動画像も入力の対象とする。この場合、カメラのオートフォーカスのオートフォーカス機能が働き、撮影中にフォーカスが自動的に調整されるため、撮影された時間的に隣り合う画像の帯域が変動してしまい、帯域幅の広い信号を有する画像と帯域幅の狭い信号を有する画像が隣接して取得されることになる。また、motion sharpening現象の効果を期待した解像度の高いフレームと低いフレームとが交互に存在して帯域幅の異なる画像で構成された動画像も入力の対象となる。また、安定した帯域幅を持つ動画像が入力される場合もある。【００５６】
差分器１０２は、ラインＬ１０１を経由して入力される対象画像（対象ブロック）と予測信号生成器１２１により生成されラインＬ１０９，Ｌ１１２を経由して入力される予測信号との差分を求めて差分信号を生成する差分手段である。差分器１０２は、生成した差分信号を、ラインＬ１０２を経由して変換器１０３に出力する。【００５７】
変換器１０３は、ラインＬ１０２を経由して入力された差分信号に対して、離散コサイン変換処理を行い周波数領域の信号に変換する手段である。即ち、変換器１０３は、差分信号を符号化して符号化差分信号を生成する符号化手段の一機能である。変換器１０３は、周波数領域の信号を、ラインＬ１０３を経由して量子化器１０４に出力する。【００５８】
量子化器１０４は、ラインＬ１０３を経由して入力された周波数領域の信号を量子化して周波数領域の信号の量子化変換係数を得る手段である。即ち、量子化器１０４は、差分信号を符号化して符号化差分信号を生成する符号化手段の一機能である。量子化器１０４は、得られた量子化変換係数を、ラインＬ１０４を経由してエントロピー符号化器１３０及び逆量子化器１０５に出力する。量子化器１０４は、量子化変換係数における量子化の値を表す量子化情報をあわせてエントロピー符号化器１３０及び逆量子化器１０５に出力する。【００５９】
逆量子化器１０５は、ラインＬ１０４を経由して入力された量子化変換係数に対して逆量子化処理を行い周波数領域の信号を得る手段である。即ち、逆量子化器１０５は、符号化差分信号を復号し、復号差分信号を生成する復号手段の一機能である。本実施形態では、復号手段により復号される符号化差分信号は量子化変換係数に相当する。逆量子化器１０５は、得られた周波数領域の信号を、ラインＬ１０５を経由して逆変換器１０６に出力する。【００６０】
逆変換器１０６は、ラインＬ１０５を経由して入力された周波数領域の信号を逆離散コサイン変換することで空間領域の再生差分信号を得る手段である。即ち、逆変換器１０６は、符号化差分信号を復号し、復号差分信号を生成する復号手段の一機能である。本実施形態では、復号差分信号は、空間領域の再生差分信号に相当する。逆変換器１０６は、得られた空間領域の再生差分信号を、ラインＬ１０６を経由して加算器１０７に出力する。【００６１】
加算器１０７は、ラインＬ１０６を経由して入力された空間領域の再生差分信号に対して、予測信号生成器１２１からラインＬ１０９，Ｌ１１２ａ経由で入力される予測信号を加算し、再生信号を生成する加算手段である。加算器１０７は、生成した再生信号を、ラインＬ１０７を経由してメモリ１０８に出力して、メモリ１０８に再生画像を参照画像として格納させる。【００６２】
メモリ１０８は、ラインＬ１０７を経由して入力された再生画像を、対象画像を符号化する際に、対象画像に対する予測信号を生成するために用いられる参照画像として格納する格納手段である。空間周波数分析器１２０及び予測信号生成器１２１は、ラインＬ１０８ａを経由して、メモリ１０８に格納されている参照画像を取り出すことができる。【００６３】
空間周波数分析器１２０は、ラインＬ１０１ａを経由して入力される対象画像、及びラインＬ１０８を経由して取り出された参照画像の空間周波数成分を示す情報を取得する手段である。即ち、空間周波数分析器１２０は、空間周波数抽出手段の一機能である。空間周波数分析器１２０の機能については、より詳細に後述する。空間周波数分析器１２０は、取得した対象画像及び参照画像の空間周波数成分を示す情報は、ラインＬ１４１を経由して予測信号生成器１２１に出力される。【００６４】
予測信号生成器１２１は、ラインＬ１０１ｂから入力された対象画像に対する予測信号を生成する予測信号生成手段である。予測信号の生成には、ラインＬ１０８ａを経由して取得される参照画像が用いられる。参照画像としては、対象画像の予測に画像として用いられる対象参照画像と、対象参照画像以外の所定の抽出用参照画像とが用いられる。対象参照画像は、動画像符号化装置１０に予め記憶される対象参照画像を特定するルールに基づいて選択される。【００６５】
対象参照画像を特定するルールは、対象画像の直前に符号化された画像を対象参照画像として利用することを定めた符号化順序に対応したルールや、対象画像と格納手段に格納される参照画像の中から動き探索の結果、残差信号が最小となる参照画像を対象参照画像とするなどのルールが挙げられる。また、これ以外にも、参照画像の画像・空間周波数成分等の特徴に基づき対象参照画像に決定するルールなど、どのようなルールで対象参照画像を選択してもよい。【００６６】
また、予測信号生成器１２１は、ラインＬ１４１から入力される空間周波数成分を示す情報を参照して、抽出用参照画像から所定の帯域の空間周波数成分を抽出すると共に当該空間周波数成分の抽出内容を示す空間周波数抽出情報を生成する空間周波数抽出手段でもある。予測信号の生成には、抽出された空間周波数成分も用いられる。予測信号生成器１２１は、生成した予測信号をラインＬ１０９，Ｌ１１２を経由して差分器１０２に、ラインＬ１０９，Ｌ１１２ａを経由して加算器１０７にそれぞれ出力する。また、予測信号生成器１２１は、空間周波数抽出情報を含めた予測信号の生成内容を示す予測信号生成情報を生成して、ラインＬ１１０を経由してエントロピー符号化器１３０に出力する。【００６７】
図２に予測信号生成器２００（図１における予測信号生成器１２１）の機能構成を示す。予測信号生成器２００は、抽出空間周波数決定器２０１と、参照画像加工器２０２と、動き検出・動き補償器２０３と、動き情報・空間周波数情報格納器２０４とを備えて構成される。これらの構成要素がどのように上述の機能を実現しているかの詳細は、後述する。【００６８】
エントロピー符号化器１３０は、Ｌ１０４を経由して入力された周波数領域の信号である量子化変換係数及び量子化情報とＬ１１０を経由して入力された予測信号生成情報とを可変長符号に変換する符号化手段である。即ち、本実施形態では、出力される符号化差分信号は可変長符号あるいは算術符号化されたデータに相当する。エントロピー符号化器１３０は、変換した可変長符号を、ラインＬ１１５を経由して出力端子１３１に出力する。なお、可変長符号の代わりに算術符号化を適用して処理を行ってもよい。【００６９】
出力端子１３１は、ラインＬ１１５を経由して入力された可変長符号を外部装置（例えば、動画像復号装置）等に出力する手段である。即ち、出力端子１３１は、符号化差分信号、及び予測信号生成情報を出力する出力手段である。以上が、動画像符号化装置１０の機能構成である。【００７０】
引き続いて、本発明の特徴部分である、空間周波数分析器１２０及び予測信号生成器１２１の機能及び動作を説明する。【００７１】
空間周波数分析器１２０には、符号化の対象となる対象画像と当該対象画像の予測信号を生成するために参照される参照画像が入力される。参照画像はメモリ１０８に格納されており、ラインＬ１０８ａ経由で空間周波数分析器１２０に入力される。【００７２】
本実施形態では、対象参照画像は１枚の画像であるものとするが、複数の対象参照画像が用いられてもよい。上述したように、空間周波数分析器１２０では、対象画像の空間周波数成分を示す空間周波数成分量の情報が取得される。ここで、空間周波数成分量とは、例えば、図２２（ａ）のグラフに示すような周波数（帯域）毎の空間周波数成分の大きさや画像の帯域幅である。なお、図２２のグラフは、横軸に空間周波数を、縦軸に空間周波数成分の大きさをとったものである。具体的には、周波数（帯域）毎の空間周波数成分の大きさを空間周波数成分量とする場合は、対象画像のある画素列を１次元のデータ配列としてフーリエ変換を施し、周波数係数列を生成し、その周波数係数列から振幅値を用いて空間周波数を算出する。つまり各フーリエ係数の実数項と虚数項との２乗の和の平方根を各空間周波数の振幅の大きさとして算出する。以上のように算出した空間周波数の振幅値の特定の周波数成分を空間周波数成分（の大きさ）とする。【００７３】
帯域幅を空間周波数成分量とする場合は、各空間周波数の振幅の大きさが直流成分（ＤＣ成分）の振幅に対してｘ％以下となる最大周波数成分をその画素列の帯域幅とする（図２２（ａ）のグラフ参照）。本実施形態では、ｘ＝１とするがそれ以外の数値を用いてもよい。【００７４】
なお、空間周波数成分量の表現法はこれに限るものではなく、その他の表現法でもよい。また、本実施形態では、空間周波数成分量を求めるために周波数変換にはフーリエ変換を用いたが、それ以外の離散コサイン変換や離散ウェーブレット変換等の他の周波数変換を用いてもよい。また、帯域幅の表現法は上記に限るものではなく、その他の表現法でもよい。【００７５】
空間周波数分析器１２０は、このように対象画像の各画素列に対する空間周波数成分量を求める。ここで、帯域幅を空間周波数成分量とする場合、帯域幅の中で最も大きいものを対象画像の垂直方向の帯域幅とする。同様に、対象画像の各行にある画素列に対する帯域幅を求めて、その中で最も大きいものを対象画像の水平方向の帯域幅とする。本実施形態では、垂直方向の帯域幅と水平方向の帯域幅との中で最大のものを当該対象画像の空間周波数成分量とする。【００７６】
なお、本実施形態では垂直方向の帯域幅と水平方向の帯域幅の中で最大のものを空間周波数成分量としたが、垂直・水平方向の帯域幅をそのまま空間周波数成分量として用いてもよい。また、本実施形態では垂直方向・水平方向の空間周波数データを算出したが、少なくとも一つ以上の方向の空間周波数を求めればよい。【００７７】
空間周波数分析器１２０は、対象参照画像の空間周波数成分量も同じ方法で測定する。また、当該参照画像を符号化する際に対象画像として測定された空間周波数成分量の情報を格納しておくことによって、対象参照画像の空間周波数に関する情報を改めて計算しなくてもよくなる。そのために対象画像の帯域幅等の空間周波数成分量の情報は以降の画像を符号化するために格納しておく。なお、対象参照画像としてメモリ１０８に格納されている再生された画像を用いているが、対象参照画像に対応する原画像を用いてその空間周波数成分量を計算してもよい。このように得られた対象画像及び対象参照画像の空間周波数成分量が算出され、算出された空間周波数成分量の情報がラインＬ１１４経由で空間周波数分析器１２０から予測信号生成器１２１に入力される。【００７８】
続いて、予測信号生成器１２１（図２における予測信号生成器２００）の機能及び動作を図２及び３を用いて説明する。図３は、予測信号生成器１２１において行われる予測信号を生成する処理を示したフローチャートである。対象画像及び対象参照画像の空間周波数成分量の情報はラインＬ１１４（図２におけるラインＬ２０６）経由で予測信号生成器１２１に入力される（Ｓ３０２）。入力された各空間周波数成分量の情報は、ラインＬ２０６ａ経由で動き情報・空間周波数情報格納器２０４に格納され、参照画像加工器２０２の指示により利用される。また、抽出空間周波数決定器２０１には各空間周波数成分量がラインＬ２０６経由で入力される。抽出空間周波数決定器２０１は、入力された対象画像の空間周波数成分量と、対象参照画像の空間周波数成分量との差分であるＤＩＦ＿ＦＲＥＱを以下の式に基づき算出する。
ＤＩＦ＿ＦＲＥＱ＝対象画像の空間周波数成分量  −  対象参照画像の空間周波数成分量
例えば、対象参照画像の空間周波数成分量が図２２（ｂ）のグラフに示すようなものであれば（対象画像の空間周波数成分量を図２２（ｂ）のグラフにおいて破線で示す）、差分であるＤＩＦ＿ＦＲＥＱは図２２（ｃ）に示すように空間周波数毎の空間周波数成分の大きさで表される。【００７９】
なお、本実施形態ではＤＩＦ＿ＦＲＥＱは空間周波数成分量の差分を算出したが、空間周波数（成分）の商を計算してもよい。また、２つの空間周波数成分量の差を算出できる関数であれば、どのような関数を用いて算出してもよい。【００８０】
次に抽出空間周波数決定器２０１は、ＤＩＦ＿ＦＲＥＱがある閾値Ｔ以上の値を示す帯域を決定する（Ｓ３０３、空間周波数抽出ステップ）。ここで、閾値Ｔは、抽出空間周波数決定器２０１に予め記憶されている。具体的には、図２２（ｃ）に示すように、空間周波数成分量が存在する帯域のうち所定の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］という形で帯域を１箇所決定する。決定した帯域を示すＦ１及びＦ２は特定帯域情報としてラインＬ２０１経由で参照画像加工器２０２に出力される。【００８１】
なお、本実施形態では閾値以上の値を示す値の範囲を帯域として決定したが、それ以外の基準に基づいて決定してもよい。例えば、閾値以下の値を示す値の範囲を決定したり、予め特定する帯域を定めておいたりしてもよい。また、予め定められたＦ１とＦ２との組み合わせから選択してもよい。また、特定帯域情報については、外部から入力されてもよい。また、本実施形態では、帯域を１箇所決定したが、複数箇所の帯域を決定してもよい。その場合、複数箇所の帯域を示すことができる情報を特定帯域情報として作成すればよい。【００８２】
次に参照画像加工器２０２の動作について説明する。参照画像加工器２０２には、対象参照画像及び抽出用参照画像がラインＬ２０５（図１におけるラインＬ１０８ａ）経由で、動き情報がラインＬ２０４経由でそれぞれ入力される（Ｓ３０４）。ここで、抽出用参照画像は、上記の対象参照画像を予測する際に対象参照画像として用いられた参照画像であるものとする。動き情報の詳細は後で説明する。また、参照画像加工器２０２には、特定帯域情報がラインＬ２０１経由で入力される。【００８３】
まず、参照画像加工器２０２は対象参照画像と抽出用参照画像との間の相対的な動きの関係を算出する（Ｓ３０５、空間周波数抽出ステップ）。具体的には、動き検出・動き補償器２０３で対象参照画像と抽出用参照画像との間で算出された動きベクトルを動き情報・空間周波数情報格納器２０４から呼び出す。【００８４】
なお、本実施形態では１枚の参照画像の場合の例を示したが、複数枚の参照画像を用いてもよい。また、対象参照画像と抽出用参照画像との間の動きベクトルが動き情報・空間周波数情報格納器２０４に格納されていない場合には、対象参照画像と抽出用参照画像とを用いて、動き探索等を用いても算出してもよい。また、対象参照画像と抽出用参照画像とを用いて動き探索を行う場合には、抽出用参照画像を加工してから動き探索を行ってもよい。この加工としては、具体的には、抽出用参照画像に対してフィルタ等を用いて、空間周波数の変化を与えてから動き探索を行ってもよい。その場合、空間周波数の変化を与えてから動き探索を行ってもよい。その場合、空間周波数データに基づき空間周波数を変化させてから動き探索を行うことが好ましい。【００８５】
また、対象参照画像と抽出用参照画像との相対的な動きベクトルを既に動き情報・空間周波数情報格納器２０４に格納されている動きベクトルから算出してもよい。その場合、対象参照画像と抽出用参照画像との間に存在するフレームとそれぞれの動きベクトルを組み合わせて計算して算出すればよい。【００８６】
また、本実施形態では動きの関係を示す情報である動き情報として、動きベクトルを用いる例を示したがそれ以外の動き情報を用いてもよい。例えば、２枚のフレーム画像の全画素に対してそれぞれ離散フーリエ変換等を行い、画素空間から周波数空間に変換を行い、同フレームの同一周波数成分を除算することで、位相の大きさを用いた移動量を用いてもよい。各周波数成分の位相を算出後、全位相の値を合計し、動き情報とする。また、周波数変換後の位相の利用はこれに限るものではなく、２フレーム間の動き量を表すものであればどのように算出してもよい。【００８７】
なお、本実施形態では、抽出用参照画像として対象参照画像を予測する際に用いた参照画像の場合を示したが、メモリ１０８内の参照画像であれば、対象参照画像以外のどの参照画像を用いてもよい。また、どの参照画像を用いるかはある基準に基づき定めてもよい。例えば、動き情報・空間周波数情報格納器２０４に格納されている空間周波数情報に基づき、対象参照画像よりも帯域幅の大きな参照画像、メモリ１０８内に格納されている帯域幅の最も大きい参照画像などという基準で抽出用参照画像を算出することが好ましい。【００８８】
次に、参照画像加工器２０２は、算出した動きベクトルと抽出用参照画像を用いて動き補償を行い、（対象参照画像に対する）予測信号として抽出用予測画像を生成する（Ｓ３０６、空間周波数抽出ステップ）。参照画像加工器２０２における動き検出及び動き補償の動作は動き検出・動き補償器２０３と同様のものとし、後で詳細を説明する。【００８９】
その後、抽出用予測画像から特定帯域情報に基づき帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の空間周波数成分を抽出する。まず、抽出用予測画像の空間周波数成分量はフーリエ変換で算出する。具体的には、抽出用予測画像のある画素列を１次元のデータ配列としてフーリエ変換を施し周波数係数列を生成し、その周波数係数列から振幅値を用いて空間周波数成分量を算出する。つまり各フーリエ係数の実数項と虚数項の２乗の和の平方根を各空間周波数の振幅の大きさと位相として算出する。以上のように算出した空間周波数成分の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の周波数成分を空間周波数成分量として抽出する。【００９０】
なお、空間周波数成分量の表現法は、これに限るものではなく、その他の表現法でもよい。また、本実施形態では、空間周波数成分量を求めるために周波数変換にはフーリエ変換を用いたが、それ以外の離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。また、空間周波数分析器１２０と同様の方法で空間周波数成分量を算出することが好ましい。【００９１】
なお、本実施形態では、抽出用予測画像から直接特定帯域の空間周波数成分を抽出するが、抽出用予測画像を加工してから抽出を行ってもよい。たとえばデブロッキング処理や画像フィルタをかけて抽出用予測画像を加工してもよい。また、空間周波数領域で特定の空間周波数のみを調整してもよい。【００９２】
なお、本実施形態では、抽出用予測画像を生成し、そこから空間周波数成分の抽出を行ったが、抽出用予測画像を生成せずに、抽出用参照画像から直接特定の空間周波数成分を抽出してもよい。その場合、複数の動きベクトルを用いて空間周波数成分を抽出する領域の画素を選択して、その画素を空間周波数領域に変換して抽出すればよい。【００９３】
次に参照画像加工器２０２は、抽出した空間周波数成分と対象参照画像とを用いて加工を行う。ここで対象参照画像の空間周波数成分の中の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の空間周波数成分量を抽出した空間周波数成分量と置き換える。具体的には、まず対象参照画像の空間周波数成分量を算出する。算出方法は上記の方法と同様の方法で行う。その後対象参照画像の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の各空間周波数の振幅の大きさ及び位相を抽出用予測画像の空間周波数と置き換え、周波数領域から画素領域へ逆変換を行い参照画像の加工を行い、加工参照画像を生成する（Ｓ３０７、空間周波数抽出ステップ、予測信号生成ステップ）。生成された加工参照画像はラインＬ２０２経由で動き検出・動き補償器２０３に送られる。【００９４】
また、参照画像加工器２０２は、少なくとも加工参照画像を生成する際の加工方法を示す情報及び帯域特定情報をあわせて予測信号生成情報として生成する。予測信号生成情報はラインＬ２０８（図１におけるラインＬ１１０）経由で図１のエントロピー符号化器１３０に送られ符号化される。ここで、予測信号生成情報は予測信号の生成内容を示す情報である。ここで、帯域特定情報は、空間周波数成分の抽出内容を示す空間周波数抽出情報の一つである。また、空間周波数抽出情報として、抽出用参照画像を特定する情報が予測信号生成情報に含まれる。また、空間周波数抽出情報として、上記以外の情報が予測信号生成情報に含まれてもよい。【００９５】
なお、本実施形態では、対象参照画像をフレーム単位で加工を行ったが、所定の大きさの複数のブロック単位で加工を行ってもよい。その場合各ブロックについてそれぞれの予測信号生成情報に基づいて予測信号を生成する。また、ブロック単位で加工を行う場合、ブロックごとに加工する帯域が異なってもよい。【００９６】
なお、本実施形態では、対象参照画像の加工では、対象参照画像の空間周波数成分量を抽出した空間周波数成分量と置き換えた際には、空間周波数の振幅と位相の両方を置き換えたが、振幅のみを置き換えてもよい。また、離散コサイン変換のような位相の存在しない変換を用いた場合も、各周波数成分の値を置き換えればよい。【００９７】
なお、本実施形態では、対象参照画像の加工では、対象参照画像の空間周波数成分量を抽出した空間周波数成分量と置き換えたが、それ以外の方法で加工を行ってもよい。例えば、対象参照画像の空間周波数成分量に加えてもよい。また、抽出した空間周波数成分量をなんらかの加工を施してから加えてもよい。また、抽出した空間周波数成分量を参照して、対象参照画像の空間周波数成分に対してなんらかの加工を施してから加えてもよい。例えば、抽出した空間周波数成分量に対して重み係数Ｗをかけてから加えたり置き換えたり、両空間周波数成分の平均値、中央値、最大値、最小値を利用してもよい。このほかにも、対象参照画像の特定の帯域に対して、抽出用予測画像の空間周波数を用いて、あるいは参照して加工する方法であれば、どのような方法を用いても良い。【００９８】
なお、本実施形態では、空間周波数領域で加工を行ったが、画素領域で加工を行ってもよい。その場合、特定の空間周波数成分量に対応する画素の値をあらかじめ算出しておき、その画素を用いて加工を行えばよい。【００９９】
なお、本実施形態では、１枚の抽出用参照画像の例を示したが、複数枚の抽出用参照画像が利用可能な場合、複数枚の抽出用参照画像から空間周波数成分を抽出して加工を行ってもよい。その場合、複数の抽出した空間周波数成分を用いて加工してもよい。たとえば、重み付け加算、平均値、最大値、最小値、中央値等を算出して空間周波数成分の加工を行ってもよい。【０１００】
なお、本実施形態では、予測信号生成情報として加工方法及び帯域特定情報を生成したが、参照画像を加工する際の動き情報も含めて、予測信号生成情報を生成してもよい。【０１０１】
次に、動き検出・動き補償器２０３は、加工参照画像と対象ブロックを用いて動き検出の処理を行う。動き検出・動き補償器２０３には、ラインＬ２０２経由で加工参照画像が、ラインＬ２０９経由で対象ブロックが入力される。本実施形態では、従来と同じようにブロックマッチングの方法を用いて動き検出を行い、対象ブロックに対する誤差の最も少ない参照ブロックを与える位置を最適な動きベクトルとして求め、動き補償を行い、予測信号を生成する（Ｓ３０８、予測信号生成ステップ）。【０１０２】
動き検出・動き補償器２０３は、このように生成した予測信号をラインＬ２０３ｂ（図１におけるラインＬ１０９）にて出力し、図１の予測信号生成器１２１より差分器１０２と加算器１０７に送られる。また、算出された動きベクトルは動き情報としてラインＬ２０３ａ経由で動き情報・空間周波数情報格納器２０４に送られ、格納される（Ｓ３０９、予測信号生成ステップ）。また、動きベクトルは、符号化データの一つとして出力されるためエントロピー符号化器１３０にも出力される。以上が、本発明の特徴部分である、空間周波数分析器１２０及び予測信号生成器１２１の機能及び動作である。【０１０３】
引き続いて、図４のフローチャートを用いて、本実施形態に係る動画像符号化装置１０により実行される処理である動画像符号化方法を示す。動画像符号化装置１０では、まず、入力端子１０１により符号化対象となる対処画像が入力される（Ｓ４０２、入力ステップ）。続いて、空間周波数分析器１２０によって、対象画像と対象参照画像との空間周波数成分量が測定され、空間周波数成分量の情報を含む空間周波数データが生成される（Ｓ４０３、空間周波数抽出ステップ）。空間周波数成分量の測定方法は上述したとおりである。本実施形態では、画像全体の空間周波数成分量に関するデータを求めるが、各ブロック単位で空間周波数成分に関するデータを求めてもよい。【０１０４】
続いて、予測信号生成器１２１によって、対象参照画像の加工を行い、加工参照画像が生成される（Ｓ４０４、空間周波数抽出ステップ、予測信号生成ステップ）。加工参照画像の生成方法は上述の通りであり、メモリ１０８に存在する抽出用参照画像と動き情報を用いて生成する。続いて、予測信号生成器１２１によって、加工参照画像を用いて予測信号が生成される（Ｓ４０５、予測信号生成ステップ）。続いて、差分器１０２により、このように求められた予測信号は、対象信号から引き算されて差分信号が求められる（Ｓ４０７、差分ステップ）。【０１０５】
続いて、変換器１０３により、差分信号が離散コサイン変換で変換された上で、量子化器１０４により量子化され量子化変換係数が生成される（Ｓ４０８、符号化ステップ）。続いて、逆量子化器１０５により、量子化変換係数は逆量子化され、逆変換器１０６により逆変換され、再生差分信号が生成される（Ｓ４０９、復号ステップ）。続いて、加算器１０７により、再生差分信号に予測信号が加算されて再生画像が生成される（Ｓ４１０、再生画像生成ステップ、加算ステップ）。最後に再生画像及び動きベクトルがメモリ１０８等に一時格納されて、エントロピー符号化器１３０により、それと同時に量子化変換係数、予測信号生成に関する予測信号生成情報及び動きベクトルを含むデータをエントロピー符号化した上で出力端子１３１から出力される（Ｓ４１１、符号化ステップ、出力ステップ）。なお、図３に示し上述したＳ３０１〜Ｓ３１０の処理は、上記の処理のＳ４０３〜Ｓ４０５に相当する。以上が、本実施形態に係る動画像符号化装置１０及び動画像符号化方法の説明である。【０１０６】
図５に、本発明の第１実施形態に係る動画像復号装置５０の機能構成を示す。動画像復号装置５０は、本実施形態に係る動画像符号化装置１０により符号化された動画像である圧縮データ（符号化データ）を復号する装置である。図５に示すように、動画像復号装置５０は、入力端子５００と、データ解析器５０１と、逆量子化器５０２と、逆変換器５０３と、加算器５０４と、出力端子５０５と、メモリ５０６と、予測信号生成器５０７と、参照画像加工器５０８とを備えて構成される。【０１０７】
入力端子５００は、動画像を予測符号化して得られる符号化差分信号である量子化変換係数、量子化の値を示す量子化情報、動きベクトル及び予測信号の生成内容を示す予測信号生成情報を圧縮データとして入力する入力手段である。本実施形態では、入力端子５００は、本実施形態に係る動画像符号化装置１０により符号化された動画像を入力する。入力端子５００は、入力された符号化データを、ラインＬ５００を経由してデータ解析器５０１に出力する。【０１０８】
データ解析器５０１は、ラインＬ５００を経由して入力された圧縮データを解析し、エントロピー復号処理を行い、量子化された量子化変換係数、量子化の値を示す量子化情報、動きベクトル及び予測信号生成情報を抽出する手段である。データ解析器５０１は、抽出した、量子化された量子化変換係数及び量子化の値を示す量子化情報を、ラインＬ５０１経由で逆量子化器５０２に出力する。また、データ解析器５０１は、動きベクトルを、ラインＬ５１１ａ経由で予測信号生成器５０７に、ラインＬ５１１ｂ経由でメモリ５０６に出力する。また、データ解析器５０１は、予測信号生成情報を、ラインＬ５１２経由で参照画像加工器５０８に出力する。【０１０９】
逆量子化器５０２は、ラインＬ５０１を経由して入力された量子化の値を示す量子化情報に基づいて、量子化された量子化変換係数を逆量子化することで変換係数を生成する手段である。即ち、逆量子化器５０２は、符号化差分信号を復号して復号差分信号を生成する復号手段の一機能である。逆量子化器５０２は、生成した変換係数を、ラインＬ５０２を経由して逆変換器５０３に出力する。【０１１０】
逆変換器５０３は、ラインＬ５０２を経由して入力された変換係数を逆離散コサイン変換で変換し再生差分信号を生成する部分である。即ち、逆変換器５０３は、符号化差分信号を復号して復号差分信号を生成する復号手段の一機能である。本実施形態では、復号差分信号は、再生差分信号に相当する。逆変換器５０３は、生成した再生差分信号を、ラインＬ５０３を経由して、加算器５０４に出力する。【０１１１】
加算器５０４は、ラインＬ５０３を経由して入力された再生差分信号に対して、予測信号生成器５０７からラインＬ５０７を経由で入力される予測信号を加算し、再生信号を生成する加算手段である。加算器５０４は、生成した再生信号を、ラインＬ５０４，Ｌ５０５を経由してメモリ５０６に出力して、メモリ５０６に再生画像を参照画像として格納させる。また、加算器５０４は、生成した再生信号を再生画像として、ラインＬ５０４を経由して出力端子５０５に出力する。【０１１２】
出力端子５０５は、ラインＬ５０４を経由して入力された再生画像を外部装置（例えば、ディスプレイ）等に出力する出力手段である。【０１１３】
メモリ５０６は、ラインＬ５０５を経由して入力された再生画像を、圧縮データの復号に用いられる予測信号を生成するために用いられる参照画像として格納する格納手段である。予測信号生成器５０７は、ラインＬ５０６ａを経由して、メモリ５０６に格納されている参照画像を取り出すことができる。また、参照画像加工器５０８は、ラインＬ５０６ｂを経由して、メモリ５０６に格納されている参照画像を取り出すことができる。また、メモリ５０６は、ラインＬ５１１ｂから入力される動きベクトルを、参照画像を加工するのに利用するために格納する。【０１１４】
予測信号生成器５０７は、逆量子化器５０２及び逆変換器５０３により生成される再生差分信号に対する予測信号を、メモリ５０６に格納された参照画像を用いて生成する予測信号生成手段である。予測信号生成器５０７は、生成した予測信号を、ラインＬ５０７を経由して、加算器５０４に出力する。【０１１５】
参照画像加工器５０８は、予測信号生成情報に含まれる周波数抽出情報を参照して、メモリ５０６に格納された所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出して、メモリ５０６に格納された参照画像のうち予測信号の生成に画像として用いられる対象参照画像、及び抽出した空間周波数成分から、予測信号を生成するための加工参照画像を生成する。即ち、参照画像加工器５０８は、予測信号生成手段の一機能である。【０１１６】
引き続いて、本発明の特徴部分である、参照画像加工器５０８の機能及び動作を図６のフローチャートを用いてより詳細に説明する。【０１１７】
参照画像加工器５０８は、ラインＬ５１２を経由してデータ解析器５０１から予測信号生成情報を入力する（Ｓ６０２）。本実施形態では、予測信号生成情報には、メモリ５０６に格納された所定の参照画像からの所定の帯域の空間周波数成分の抽出内容を示す空間周波数抽出情報が含まれる。また、予測信号生成情報には、復号の対象となる対象画像の参照画像の処理方法を決定する加工方法を示す情報が含まれる。空間周波数抽出情報は、具体的には、抽出対象となる参照画像（抽出用参照画像）を特定する情報と、空間周波数成分を抽出する帯域を示す特定帯域情報とが含まれている。また、参照画像加工器５０８は、メモリ５０６からラインＬ５０６ｂを経由して、メモリ５０６に格納されている動きベクトルを取得する（Ｓ６０４）。【０１１８】
次に、対象画像の予測信号生成情報から抽出用予測画像の生成処理を行う。参照画像加工器５０８は、メモリ５０６に格納された参照画像のうち予測信号の生成に画像として用いられる対象参照画像の空間周波数成分量を算出する。具体的には、対象参照画像のある画素列を１次元のデータ配列としてフーリエ変換を施し周波数係数列を生成し、その周波数係数列から振幅値を用いて空間周波数成分量を算出する。なお、空間周波数成分の算出方法は前述の通りである。また、対象参照画像は、動画像復号装置５０に予め記憶される対象参照画像を特定するルールに基づいて選択される。【０１１９】
その後、参照画像加工器５０８は、予測信号生成情報に含まれる特定帯域情報の抽出を行う。次に、参照画像加工器５０８は、予測信号生成情報に含まれる抽出用参照画像を特定する情報を参照して、メモリ５０６に格納される参照画像から抽出用参照画像を取得する。また、参照画像加工器５０８は、予測信号生成情報を参照して、メモリ５０６に格納されている動きベクトルに基づき、抽出用参照画像に対して動き補償を行い、抽出用予測画像を生成する（Ｓ６０３，Ｓ６０５、予測信号生成ステップ）。【０１２０】
次に、参照画像加工器５０８は、抽出用予測画像の空間周波数成分量を算出する。なお、空間周波数成分量の算出方法は前述の通りである。次に、抽出された特定帯域情報の情報に基づき、抽出用予測画像から帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の空間周波数成分量を抽出する。その後、抽出した空間周波数成分と対象参照画像とから、予測信号生成情報に含まれる加工方法を示す情報に基づき、加工参照画像を生成する（Ｓ６０６、予測信号生成ステップ）。上記の加工は、具体的には、上述したように対象参照画像の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の空間周波数成分を抽出した空間周波数成分に置き換えるものである。参照画像加工器５０８は、生成した加工参照画像を、ラインＬ５０８を経由してメモリ５０６に出力する（Ｓ６０７）。メモリ５０６に格納された加工参照画像は、予測信号生成器５０７は予測信号の生成に用いられる。【０１２１】
なお、本実施形態では、既に受信した動きベクトルを用いて抽出用予測画像を生成したが、対象参照画像と抽出用参照画像とを用いて動き検出を行って動き情報を算出してもよい。また、動き情報が予測信号生成情報に含まれている場合には、その動き情報と抽出用参照画像を用いて抽出用予測画像を生成してもよい。【０１２２】
なお、本実施形態では、対象参照画像と抽出用参照画像の間の動きベクトルが存在する場合を示したが、存在しない場合には対象参照画像と抽出用参照画像の相対的な動きベクトルをメモリ５０６内に保存されている動きベクトルから算出してもよい。その場合、予測信号生成情報に基づき、対象参照画像と抽出用参照画像との間に存在するフレームとのそれぞれのベクトルを組み合わせて計算して算出すればよい。【０１２３】
なお、本実施形態では、１枚の抽出用参照画像の例を示したが、複数枚の抽出用参照画像が利用可能な場合、複数枚の抽出用参照画像から予測信号生成情報に基づき空間周波数成分を抽出して加工を行えばよい。【０１２４】
なお、本実施形態では対象参照画像の特定の空間周波数成分の加工を行ってから予測信号を生成したが、加工を行いながら予測信号を生成しても良い。また、本実施形態では、１枚の対象参照画像の例を示したが、複数枚の対象参照画像が利用可能な場合、加工参照画像を含む複数枚の対象参照画像から予測信号を生成してもよいし、複数の加工参照画像のみから予測信号を生成してもよい。以上が、参照画像加工器５０８の機能及び動作である。【０１２５】
引き続いて、図７のフローチャートを用いて、本実施形態に係る動画像復号装置５０により実行される処理である動画像復号方法を示す。動画像復号装置５０では、まず、入力端子５００により、符号化差分信号のデータ、動きベクトルに関するデータ及び予測信号生成情報を含む圧縮データが入力される（Ｓ７０２、入力ステップ）。続いて、データ解析器５０１により、圧縮データに対してエントロピー復号処理が行われる同時に、量子化された変換係数、量子化に関する情報、予測信号の生成に関する動きベクトル、及び復号の対象となる画像に関する予測信号生成情報が抽出される（Ｓ７０３）。続いて、参照画像加工器５０８によって、抽出し終えた動きベクトル及び抽出した予測信号生成情報に基づいて抽出用参照画像を用いて対象参照画像が加工される。詳細については図６を用いて説明したとおりである（Ｓ７０４、予測信号生成ステップ）。【０１２６】
続いて、予測信号生成器５０７により、加工した対象参照画像を用いて予測信号が生成される（Ｓ７０５、予測信号生成ステップ）。続いて、逆量子化器５０２により量子化された変換係数が逆量子化され、逆量子化された変換係数が生成される（Ｓ７０６、復号ステップ）。続いて、逆変換器５０３により逆量子化された変換係数が逆離散コサイン変換で変換され再生差分信号が生成される（Ｓ７０７、復号ステップ）。続いて、加算器５０４により、再生差分信号にＳ７０５にて生成された予測信号が加算されて再生画像が生成され、次の画像の復号のためメモリ５０６に一時格納されると共に、出力端子５０５により出力される（Ｓ７０８，Ｓ７０９、加算ステップ、出力ステップ）。この処理は全てのデータが復号されるまで繰返される（Ｓ７１０）。以上が、本実施形態に係る動画像復号装置５０及び動画像復号方法の説明である。【０１２７】
［第２実施形態］
次に、本発明の第２実施形態に係る動画像符号化装置を説明する。第２実施形態に係る動画像符号化装置１０ａは、構成要素自体は図１に示した動画像符号化装置１０と同様である。第２実施形態に係る動画像符号化装置１０ａは、図１に示した動画像符号化装置１０と予測信号生成器１２１内部の構成が異なる。図８に、第２実施形態に係る動画像符号化装置１０ａの予測信号生成器８００（図１における予測信号生成器１２１に対応する）の構成を示す。予測信号生成器８００は、抽出空間周波数決定器８０１と、動き情報・空間周波数情報格納器８０２と、動き検出・動き補償器８０３と、予測信号加工器８０４とを備えて構成される。予測信号生成器８００の機能及び動作を図８及び９を用いて説明する。図９は、予測信号生成器８００において行われる予測信号を生成する処理を示したフローチャートである。【０１２８】
対象画像及び対象参照画像の空間周波数成分量の情報はラインＬ８０５（図１におけるラインＬ１１４）経由で予測信号生成器８００に入力される（Ｓ９０２）。入力された各空間周波数成分量の情報は、ラインＬ８０５経由で動き情報・空間周波数情報格納器８０２に格納され、予測信号加工器８０４の指示により利用される。また、抽出空間周波数決定器８０１には各空間周波数成分量がラインＬ８０５経由で入力される。抽出空間周波数決定器８０１は、入力された対象画像の空間周波数成分量と、対象参照画像の空間周波数成分量との差分であるＤＩＦ＿ＦＲＥＱを以下の式に基づき算出する。
ＤＩＦ＿ＦＲＥＱ＝対象画像の空間周波数成分量  −  対象参照画像の空間周波数成分量【０１２９】
なお、本実施形態ではＤＩＦ＿ＦＲＥＱは空間周波数成分量の差分を算出したが、空間周波数（成分）の商を計算してもよい。また、２つの空間周波数成分量の差を算出できる関数であれば、どのような関数を用いて算出してもよい。【０１３０】
次に抽出空間周波数決定器８０１は、ＤＩＦ＿ＦＲＥＱがある閾値Ｔ以上の値を示す帯域を決定する（Ｓ９０３、空間周波数抽出ステップ）。ここで、閾値Ｔは、抽出空間周波数決定器８０１に予め記憶されている。具体的には、空間周波数成分量が存在する帯域のうち所定の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］という形で帯域を１箇所決定する。決定した帯域を示すＦ１及びＦ２は特定帯域情報としてラインＬ８０１経由で予測信号加工器８０４に出力される。【０１３１】
なお、本実施形態では閾値以上の値を示す値の範囲を帯域として決定したが、それ以外の基準に基づいて決定してもよい。例えば、閾値以下の値を示す値の範囲を決定したり、予め特定する帯域を定めておいたりしてもよい。また、予め定められたＦ１とＦ２との組み合わせから選択してもよい。また、特定帯域情報については、外部から入力されてもよい。また、本実施形態では、帯域を１箇所決定したが、複数箇所の帯域を決定してもよい。その場合、複数箇所の帯域を示すことができる情報を特定帯域情報として作成すればよい。【０１３２】
次に動き検出・動き補償器８０３の動作について説明する。動き検出・動き補償器８０３には、対象参照画像及び抽出用参照画像がラインＬ８０６，Ｌ８０３（図１におけるラインＬ１０８ａ）経由で入力される。ここで、抽出用参照画像は、上記の対象参照画像を予測する際に対象参照画像として用いられた参照画像であるものとする。動き検出・動き補償器８０３は、参照画像と対象ブロックとを用いて動き検出の処理を行う。本実施形態では、従来と同じようにブロックマッチングの方法を用いて動き検出を行い、対象ブロックに対する誤差の最も少ない参照ブロックを与える位置を最適な動きベクトルとして求め、動き補償を行い、予測信号（動き補償が行われた対象参照画像）を生成する（Ｓ９０４、予測信号生成ステップ）。【０１３３】
動き検出・動き補償器８０３は、このように生成した予測信号を、ラインＬ８０３ｂを経由して予測信号加工器８０４に出力する。また、算出された動きベクトルは動き情報としてラインＬ８０３ａ経由で動き情報・空間周波数情報格納器８０２に送られ、格納される（Ｓ９０５）。また、動きベクトルは、符号化データの一つとして出力されるためエントロピー符号化器１３０にも出力される。【０１３４】
次に予測信号加工器８０４の動作について説明する。予測信号加工器８０４には、メモリ１０８に格納される抽出用参照画像がラインＬ８０６（図１におけるＬ１０８ａ）経由で、動き情報がラインＬ８０２ａ経由でそれぞれ入力される（Ｓ９０６）。ここで、抽出用参照画像は、上記の対象参照画像を予測する際に対象参照画像として用いられた参照画像であるものとする。また、予測画像加工器８０２には、特定帯域情報がラインＬ８０１経由で入力される。【０１３５】
次に、予測信号加工器８０４は、抽出用参照画像に対してＬ８０３ｂ経由で入力された動きベクトルを用いて動き補償を行い、抽出用画像を生成する（Ｓ９０７、予測信号生成ステップ）。更に、予測信号加工器８０４は、抽出用画像に対して、動き情報・空間周波数情報格納器８０２から呼び出した動きベクトルを用いて動き補償を行い、抽出用予測画像を生成する（Ｓ９０８、予測信号生成ステップ）。【０１３６】
なお、本実施形態では、抽出用画像を生成した上で、抽出用予測画像を生成したが、予測信号と抽出用参照画像の相対的な動きベクトルを動き情報・空間周波数情報格納器２０４から呼び出された動きベクトルとラインＬ８０３ｂ経由で入力された動きベクトルを用いて算出し、抽出用予測画像を直接生成してもよい。【０１３７】
また、本実施形態では動きの関係を示す情報である動き情報として、動きベクトルを用いる例を示したがそれ以外の動き情報を用いてもよい。例えば、２枚のフレーム画像の全画素に対してそれぞれ離散フーリエ変換等を行い、画素空間から周波数空間に変換を行い、同フレームの同一周波数成分を除算することで、位相の大きさを用いた移動量を用いてもよい。各周波数成分の位相を算出後、全位相の値を合計し、動き情報とする。また、周波数変換後の位相の利用はこれに限るものではなく、２フレーム間の動き量を表すものであればどのように算出してもよい。【０１３８】
なお、本実施形態では、抽出用参照画像として対象参照画像を予測する際に用いた参照画像の場合を示したが、メモリ１０８内の参照画像であれば、対象参照画像以外のどの参照画像を用いてもよい。また、どの参照画像を用いるかはある基準に基づき定めてもよい。例えば、動き情報・空間周波数情報格納器８０２に格納されている空間周波数情報に基づき、対象参照画像よりも帯域幅の大きな参照画像、メモリ１０８内に格納されている帯域幅の最も大きい参照画像などという基準で抽出用参照画像を算出することが好ましい。【０１３９】
その後、予測信号加工器８０４は、抽出用予測画像から特定帯域情報に基づき帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の空間周波数成分を抽出する。まず、抽出用予測画像の空間周波数成分量はフーリエ変換で算出する。具体的には、抽出用予測画像のある画素列を１次元のデータ配列としてフーリエ変換を施し周波数係数列を生成し、その周波数係数列から振幅値を用いて空間周波数成分量を算出する。つまり各フーリエ係数の実数項と虚数項の２乗の和の平方根を各空間周波数の振幅の大きさと位相として算出する。以上のように算出した空間周波数成分の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の周波数成分を空間周波数成分量として抽出する。【０１４０】
なお、空間周波数成分量の表現法は、これに限るものではなく、その他の表現法でもよい。また、本実施形態では、空間周波数成分量を求めるために周波数変換にはフーリエ変換を用いたが、それ以外の離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。また、空間周波数分析器１２０と同様の方法で空間周波数成分量を算出することが好ましい。【０１４１】
なお、本実施形態では、抽出用予測画像から直接特定帯域の空間周波数成分を抽出するが、抽出用予測画像を加工してから抽出を行ってもよい。たとえばデブロッキング処理や画像フィルタをかけて抽出用予測画像を加工してもよい。また、空間周波数領域で特定の空間周波数のみを調整してもよい。【０１４２】
なお、本実施形態では、抽出用予測画像を生成し、そこから空間周波数成分の抽出を行ったが、抽出用予測画像を生成せずに、抽出用参照画像から直接特定の空間周波数成分を抽出してもよい。その場合、複数の動きベクトルを用いて空間周波数成分を抽出する領域の画素を選択して、その画素を空間周波数領域に変換して抽出すればよい。【０１４３】
次に予測信号加工器８０４は、抽出した空間周波数成分と予測信号とを用いて加工を行う。ここで予測信号の空間周波数成分の中の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の空間周波数成分量を抽出した空間周波数成分量と置き換える。具体的には、まず予測信号の空間周波数成分量を算出する。算出方法は上記の方法と同様の方法で行う。その後予測信号の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の各空間周波数の振幅の大きさ及び位相を抽出用予測画像の空間周波数と置き換え、周波数領域から画素領域へ逆変換を行い予測信号の加工を行い、加工予測信号を生成する（Ｓ９０９、空間周波数抽出ステップ、予測信号生成ステップ）。予測信号加工器８０４は、生成された加工予測信号をラインＬ８０４ｃにて出力される。即ち、加工予測信号は、図１の予測信号生成器１２１からの予測信号として、差分器１０２と加算器１０７に出力される。【０１４４】
また、参照画像加工器２０２は、少なくとも加工予測信号を生成する際の加工方法を示す情報及び帯域特定情報をあわせて予測信号生成情報として生成する。予測信号生成情報はラインＬ８０４ａ（図１におけるラインＬ１１０）経由で図１のエントロピー符号化器１３０に送られ符号化される。ここで、予測信号生成情報は予測信号の生成内容を示す情報である。ここで、帯域特定情報は、空間周波数成分の抽出内容を示す空間周波数抽出情報の一つである。また、空間周波数抽出情報として、抽出用参照画像を特定する情報が予測信号生成情報に含まれる。また、空間周波数抽出情報として、上記以外の情報が予測信号生成情報に含まれてもよい。【０１４５】
なお、本実施形態では、予測信号をフレーム単位で加工を行ったが、所定の大きさの複数のブロック単位で加工を行ってもよい。また、ブロック単位で加工を行う場合、ブロックごとに加工する帯域が異なってもよい。【０１４６】
なお、本実施形態では、予測信号の加工では、予測信号の空間周波数成分量を抽出した空間周波数成分量と置き換えた際には、空間周波数の振幅と位相の両方を置き換えたが、振幅のみを置き換えてもよい。また、離散コサイン変換のような位相の存在しない変換を用いた場合も、各周波数成分の値を置き換えればよい。【０１４７】
なお、本実施形態では、予測信号の加工では、予測信号の空間周波数成分量を抽出した空間周波数成分量と置き換えたが、それ以外の方法で加工を行ってもよい。例えば、予測信号の空間周波数成分量に加えてもよい。また、抽出した空間周波数成分量をなんらかの加工を施してから加えてもよい。たとえば、抽出した空間周波数成分量に対して重み係数Ｗをかけてから加えたり置き換えたり、両空間周波数成分の平均値、中央値、最大値、最小値を利用してもよい。このほかにも、予測信号の特定の帯域に対して、抽出用予測画像の空間周波数を用いて加工する方法であれば、どのような方法を用いても良い。【０１４８】
なお、本実施形態では、空間周波数領域で加工を行ったが、画素領域で加工を行ってもよい。その場合、特定の空間周波数成分量に対応する画素の値をあらかじめ算出しておき、その画素を用いて加工を行えばよい。【０１４９】
なお、本実施形態では、１枚の抽出用参照画像の例を示したが、複数枚の抽出用参照画像が利用可能な場合、複数枚の抽出用参照画像から空間周波数成分を抽出して加工を行ってもよい。その場合、複数の抽出した空間周波数成分を用いて加工してもよい。たとえば、重み付け加算、平均値、最大値、最小値、中央値等を算出して空間周波数成分の加工を行ってもよい。【０１５０】
なお、本実施形態では、予測信号生成情報として加工方法及び帯域特定情報を生成したが、参照画像を加工する際の動き情報も含めて、予測信号生成情報を生成してもよい。【０１５１】
なお、本実施形態では予測信号の加工では、空間周波数成分に変換してから行ったが、画素領域で加工を行ってもよい。その場合は、高周波成分にあたる成分を加算及び減算等をすればよい。以上が、本発明の特徴部分である、予測信号生成器８００の機能及び動作である。【０１５２】
引き続いて、図１０のフローチャートを用いて、本実施形態に係る動画像符号化装置１０ａにより実行される処理である動画像符号化方法を示す。動画像符号化装置１０ａでは、まず、入力端子１０１により符号化対象となる対処画像が入力される（Ｓ１００２、入力ステップ）。続いて、空間周波数分析器１２０によって、対象画像と対象参照画像との空間周波数成分量が測定され、空間周波数成分量の情報を含む空間周波数データが生成される（Ｓ１００３、空間周波数抽出ステップ）。空間周波数成分量の測定方法は上述したとおりである。本実施形態では、画像全体の空間周波数成分量に関するデータを求めるが、各ブロック単位で空間周波数成分に関するデータを求めてもよい。【０１５３】
続いて、予測信号生成器１２１によって、対象参照画像から対象ブロックに対して動き探索及び動き補償が行われ、予測信号が生成される（Ｓ１００４、予測信号生成ステップ）。続いて、予測信号生成器１２１によって、予測信号生成時に求められた動きベクトルとメモリ１０８に格納されている抽出用参照画像が用いて予測信号の加工が行われ、加工予測信号が生成される（Ｓ１００５、空間周波数抽出ステップ、予測信号生成ステップ）。続いて、差分器１０２により、このように求められた（加工）予測信号は、対象信号から引き算されて差分信号が求められる（Ｓ１００７、差分ステップ）。【０１５４】
続いて、変換器１０３により、差分信号が離散コサイン変換で変換された上で、量子化器１０４により量子化され量子化変換係数が生成される（Ｓ１００８、符号化ステップ）。続いて、逆量子化器１０５により、量子化変換係数は逆量子化され、逆変換器１０６により逆変換され、再生差分信号が生成される（Ｓ１００９、復号ステップ）。続いて、加算器１０７により、再生差分信号に予測信号が加算されて再生画像が生成される（Ｓ１０１０、再生画像生成ステップ）。最後に再生画像及び動きベクトルがメモリ１０８等に一時格納されて、エントロピー符号化器１３０により、それと同時に量子化変換係数、予測信号生成に関する予測信号生成情報及び動きベクトルを含むデータをエントロピー符号化した上で出力端子１３１から出力される（Ｓ１０１１、出力ステップ）。なお、図９に示し上述したＳ９０１〜Ｓ９１０の処理は、上記の処理のＳ１００３〜Ｓ１００５に相当する。以上が、本実施形態に係る動画像符号化装置１０ａ及び動画像符号化方法の説明である。【０１５５】
図１１に、本発明の第２実施形態に係る動画像復号装置１１０の機能構成を示す。動画像復号装置１１０は、本実施形態に係る動画像符号化装置１０ａにより符号化された動画像である圧縮データ（符号化データ）を復号する装置である。図１１に示すように、動画像復号装置１１０は、入力端子１１００と、データ解析器１１０１と、逆量子化器１１０２と、逆変換器１１０３と、加算器１１０４と、出力端子１１０５と、メモリ１１０６と、予測信号生成器１１０７と、予測信号加工器１１０８とを備えて構成される。【０１５６】
入力端子１１００は、動画像を予測符号化して得られる符号化差分信号である量子化変換係数、量子化の値を示す量子化情報、動きベクトル及び予測信号の生成内容を示す予測信号生成情報を圧縮データとして入力する入力手段である。本実施形態では、入力端子１１００は、本実施形態に係る動画像符号化装置１０ａにより符号化された動画像を入力する。入力端子１１００は、入力された符号化データを、ラインＬ１１００を経由してデータ解析器１１０１に出力する。【０１５７】
データ解析器１１０１は、ラインＬ１１００を経由して入力された圧縮データを解析し、エントロピー復号処理を行い、量子化された量子化変換係数、量子化の値を示す量子化情報、動きベクトル及び予測信号生成情報を抽出する手段である。データ解析器１１０１は、抽出した、量子化された量子化変換係数及び量子化の値を示す量子化情報を、ラインＬ１１０１経由で逆量子化器１１０２に出力する。また、データ解析器１１０１は、動きベクトルを、ラインＬ１１１１ａ経由で予測信号生成器１１０７に、ラインＬ１１１１ｂ経由でメモリ１１０６に出力する。また、データ解析器１１０１は、予測信号生成情報を、ラインＬ１１１２経由でメモリ１１０６に出力する。【０１５８】
逆量子化器１１０２は、ラインＬ１１０１を経由して入力された量子化の値を示す量子化情報に基づいて、量子化された量子化変換係数を逆量子化することで変換係数を生成する手段である。即ち、逆量子化器１１０２は、符号化差分信号を復号して復号差分信号を生成する復号手段の一機能である。逆量子化器１１０２は、生成した変換係数を、ラインＬ１１０２を経由して逆変換器１１０３に出力する。【０１５９】
逆変換器１１０３は、ラインＬ１１０２を経由して入力された変換係数を逆離散コサイン変換で変換し再生差分信号を生成する部分である。即ち、逆変換器１１０３は、符号化差分信号を復号して復号差分信号を生成する復号手段の一機能である。本実施形態では、復号差分信号は、再生差分信号に相当する。逆変換器１１０３は、生成した再生差分信号を、ラインＬ５０３を経由して、加算器１１０４に出力する。【０１６０】
加算器１１０４は、ラインＬ１１０３を経由して入力された再生差分信号に対して、予測信号加工器１１０８からラインＬ１１０８を経由で入力される（加工）予測信号を加算し、再生信号を生成する加算手段である。加算器１１０４は、生成した再生信号を、ラインＬ１１０４，Ｌ１１０５を経由してメモリ１１０６に出力して、メモリ１１０６に再生画像を参照画像として格納させる。また、加算器１１０４は、生成した再生信号を再生画像として、ラインＬ１１０４を経由して出力端子１１０５に出力する。【０１６１】
出力端子１１０５は、ラインＬ１１０４を経由して入力された再生画像を外部装置（例えば、ディスプレイ）等に出力する出力手段である。【０１６２】
メモリ１１０６は、ラインＬ１１０５を経由して入力された再生画像を、圧縮データの復号に用いられる予測信号を生成するために用いられる参照画像として格納する格納手段である。予測信号生成器１１０７は、ラインＬ１１０６ａを経由して、メモリ１１０６に格納されている参照画像を取り出すことができる。また、予測信号加工部１１０８は、ラインＬ１１０６ｂを経由して、メモリ１１０６に格納されている参照画像を取り出すことができる。また、メモリ１１０６は、ラインＬ１１１１ｂから入力される動きベクトル及び予測信号生成情報を、予測信号を加工するのに利用するために格納する。【０１６３】
予測信号生成器１１０７は、ラインＬ１１１１ａを経由して入力される動きベクトルとメモリ１１０６に格納された対象参照画像から予測信号（動き補償された対象参照画像）を生成する予測信号生成手段の一機能である。予測信号生成器１１０７は、生成した予測信号を、ラインＬ１１０７を経由して、予測信号加工器１１０８に出力する。なお、対象参照画像は、動画像復号装置１１０に予め記憶される対象参照画像を特定するルールに基づいて選択される。【０１６４】
予測信号加工器１１０８は、予測信号生成情報に含まれる周波数抽出情報を参照して、メモリ５０６に格納された所定の抽出用参照画像から所定の帯域の空間周波数成分を抽出して、ラインＬ１１０７を経由して入力された予測信号、及び抽出した空間周波数成分から、加工予測信号を生成する。即ち、予測信号加工器１１０８は、予測信号生成手段の一機能である。【０１６５】
引き続いて、本発明の特徴部分である、予測信号加工器１１０８の機能及び動作を図１２のフローチャートを用いてより詳細に説明する。【０１６６】
予測信号加工器１１０８は、ラインＬ１１０６を経由してメモリ１１０６から、動きベクトル、予測信号生成情報及び参照画像が入力する。また、予測信号加工器１１０８は、ラインＬ１１１１ａ経由で、対象画像を復号する際の動きベクトルを入力する（Ｓ１２０４）。また、予測信号加工器１１０８は、Ｌ１１１１ａを経由して、予測信号生成情報を入力する（Ｓ１２０２）。本実施形態では、予測信号生成情報には、メモリ１１０６に格納された所定の参照画像からの所定の帯域の空間周波数成分の抽出内容を示す空間周波数抽出情報が含まれる。また、予測信号生成情報には、復号の対象となる対象画像の参照画像の処理方法を決定する加工方法を示す情報が含まれる。空間周波数抽出情報は、具体的には、抽出対象となる参照画像（抽出用参照画像）を特定する情報と、空間周波数成分を抽出する帯域を示す特定帯域情報とが含まれている。【０１６７】
その後、予測信号加工器１１０８は、予測信号生成情報に含まれる特定帯域情報の抽出を行う（Ｓ１２０３）。また、予測信号加工器１１０８は、ラインＬ１１０７を経由して予測信号生成器１１０７で生成された予測信号を入力する（Ｓ１２０５）。【０１６８】
予測信号加工器１１０８は、対象画像の予測信号生成情報から予測信号の処理を行う（Ｓ１２０６、予測信号生成ステップ）。まず、予測信号加工器１１０８は、予測信号の空間周波数成分を算出する。具体的には、予測信号のある画素列を１次元のデータ配列としてフーリエ変換を施し周波数係数列を生成し、その周波数係数列から振幅値を用いて空間周波数成分量を算出する。なお、空間周波数成分の算出方法は前述の通りである。【０１６９】
次に、予測信号加工器１１０８は、予測信号生成情報に含まれる抽出用参照画像を特定する情報を参照して、メモリ１１０６から抽出用参照画像を取得して、メモリ１１０６に格納されている動きベクトルに基づき動き補償を行い、抽出用画像を生成する。次に、予測信号加工器１１０８は、抽出用画像とラインＬ１１１１ａ経由で入力される対象画像を復号する際の動きベクトルに基づき動き補償を行い、抽出用予測画像を生成する。【０１７０】
次に、予測信号加工器１１０８は、抽出用予測画像の空間周波数成分量を算出する。なお、空間周波数成分量の算出方法は前述の通りである。次に、抽出された特定帯域情報の情報に基づき、抽出用予測画像から帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の空間周波数成分量を抽出する。その後、抽出した空間周波数成分と予測信号とから、予測信号生成情報に含まれる加工方法を示す情報に基づき、加工予測信号を生成する。上記の加工は、具体的には、上述したように予測信号の帯域Ｆ１［Ｈｚ］〜Ｆ２［Ｈｚ］の空間周波数成分を抽出した空間周波数成分に置き換えるものである。予測信号加工器１１０８は、生成した加工予測信号を、ラインＬ１１０８を経由して加算器１１０４に出力する（Ｓ１２０７）。加工予測信号は、加算器１１０４において、再生差分信号と加算され再生信号が生成される。【０１７１】
なお、本実施形態では、既に受信した動きベクトルを用いて抽出用予測画像を生成したが、予測信号と抽出用参照画像とを用いて動き検出を行って動き情報を算出してもよい。また、動き情報が予測信号生成情報に含まれている場合には、その動き情報と抽出用参照画像を用いて抽出用予測画像を生成してもよい。【０１７２】
なお、本実施形態では、抽出用画像を生成した上で、抽出用予測画像を生成したが、予測信号と抽出用参照画像との相対的な動きベクトルをメモリ１１０６から呼び出された動きベクトルとラインＬ１１０６ｂ経由で入力された動きベクトルを用いて算出し、抽出用予測画像を直接生成してもよい。【０１７３】
なお、本実施形態では、予測信号と抽出用参照画像の間の動きベクトルが存在する場合を示したが、存在しない場合には予測信号と抽出用参照画像の相対的な動きベクトルをメモリ１１０６内に保存されている動きベクトルから算出してもよい。その場合、予測信号生成情報に基づき、予測信号と抽出用参照画像との間に存在するフレームとのそれぞれのベクトルを組み合わせて計算して算出すればよい。【０１７４】
なお、本実施形態では、１枚の抽出用参照画像の例を示したが、複数枚の抽出用参照画像が利用可能な場合、複数枚の抽出用参照画像から予測信号生成情報に基づき空間周波数成分を抽出して加工を行えばよい。【０１７５】
なお、本実施形態では予測信号の生成を行ってから加工予測信号を生成したが、加工を行いながら加工予測信号を生成しても良い。また、本実施形態では、１枚の対象参照画像の例を示したが、複数枚の対象参照画像が利用可能な場合、加工参照画像を含む複数枚の対象参照画像から加工予測信号を生成してもよい。以上が、参照画像加工器５０８の機能及び動作である。【０１７６】
引き続いて、図１３のフローチャートを用いて、本実施形態に係る動画像復号装置１１０により実行される処理である動画像復号方法を示す。動画像復号装置１１０では、まず、入力端子１１００により、符号化差分信号のデータ、動きベクトルに関するデータ及び予測信号生成情報を含む圧縮データが入力される（Ｓ１３０２、入力ステップ）。続いて、データ解析器１１０１により、圧縮データに対してエントロピー復号処理が行われる同時に、量子化された変換係数、量子化に関する情報、予測信号の生成に関する動きベクトル、及び復号の対象となる画像に関する予測信号生成情報が抽出される（Ｓ１３０３）。続いて、予測信号生成器１１０７によって、抽出し終えた動きベクトルに基づいて参照画像が用いられて予測信号が生成される（Ｓ１３０４、予測信号生成ステップ）。続いて、予測信号加工器１１０８によって、生成された予測信号から、抽出した予測信号生成情報、動きベクトル及び抽出用参照画像を用いて（加工）予測信号が生成される。詳細については図７を用いて説明したとおりである（Ｓ１３０５、予測信号生成ステップ）。【０１７７】
続いて、逆量子化器１１０２により量子化された変換係数が逆量子化され、逆量子化された変換係数が生成される（Ｓ１３０６、復号ステップ）。続いて、逆変換器１１０３により逆量子化された変換係数が逆離散コサイン変換で変換され再生差分信号が生成される（Ｓ１３０７、復号ステップ）。続いて、加算器１１０４により、再生差分信号にＳ１３０５にて生成された予測信号が加算されて再生画像が生成され、次の画像の復号のためメモリ１１０６に一時格納されると共に、出力端子１１０５により出力される（Ｓ１３０８，Ｓ１３０９、加算ステップ、出力ステップ）。この処理は全てのデータが復号されるまで繰返される（Ｓ１３１０）。以上が、本実施形態に係る動画像復号装置１１０及び動画像復号方法の説明である。【０１７８】
上述したように本発明の第１及び第２実施形態によれば、抽出用参照画像から所定の帯域の空間周波数成分が抽出されて、当該空間周波数成分が対象参照画像と共に予測信号の生成に用いられる。従って、対象参照画像に含まれない帯域の空間周波数成分が予測信号に含まれることとなる。これにより、符号化対象の動画像が帯域幅の異なる画像が混在するものであっても、対象参照画像の帯域幅が対象画像の帯域幅よりも狭くなる場合に対象参照画像に含まれない帯域の空間周波数成分が補われ、当該帯域の予測信号の差分信号が減少するため、高い圧縮率で符号化及び復号を行うことができる。【０１７９】
具体的には例えば、図２２に示すように、対象画像の帯域幅が対象参照画像の帯域幅が広いような場合であっても、抽出用参照画像から所定の帯域の空間周波数成分が抽出されて、対象参照画像に含まれない帯域の空間周波数成分が補われる。なお、上述したように、対象画像とほぼ同様の帯域幅を有する参照画像を対象参照画像として選択することも考えられるが、帯域幅のみを考慮して対象参照画像を選択した場合、対象参照画像が対象画像からの動きが大きなものとなる可能性が大きく、圧縮率の低下につながってしまう。【０１８０】
また、本実施形態のように、対象画像及び対象参照画像の空間周波数成分を示す情報（空間周波数成分量）を取得して、取得した情報を比較して、比較結果に基づいて、抽出用参照画像から空間周波数成分を抽出する帯域を決定してもよい。具体的には、例えば、対象画像及び対象参照画像の差分（ＤＩＦ＿ＦＲＥＱ）をとり、当該差分に基づいて上記の帯域を決定するのがよい。これにより、対象画像には含まれ、対象参照画像には含まれない帯域の空間周波数成分を適切に抽出することができ、差分信号をより減少させることができ、より高い圧縮率で符号化及び復号を行うことができる。【０１８１】
また、本実施形態のように、対象参照画像と抽出用参照画像との間の動きの関係を用いて空間周波数成分を抽出することとしてもよい。具体的には、抽出用参照画像の対象参照画像に対する動き補償を行い、当該動き補償された抽出用参照画像から空間周波数成分を抽出することとするのがよい。これにより、抽出用参照画像と対象参照画像との誤差を小さくすることができるため、抽出用参照画像からより適切な空間周波数成分の抽出を行うことでき、より高い圧縮率で符号化を行うことができる。【０１８２】
また、本実施形態のように、抽出用参照画像の決定を、対象画像、及びメモリに格納された参照画像の空間周波数成分を示す情報の少なくとも何れかに基づいて行うこととするのがよい。これにより、対象画像には含まれ、対象参照画像には含まれない帯域の空間周波数成分を有するような抽出用参照画像を用いることができ、更に高い圧縮率で符号化を行うことができる。【０１８３】
また、抽出した空間周波数成分は、第１実施形態のように動き補償を行う前の対象参照画像、即ち、予測信号を生成する前の対象参照画像に対する加工に用いられてもよいし、第２実施形態のように動き補償を行った後の対象参照画像、即ち、対象参照画像から生成された予測信号に対する加工に用いられてもよい。どちらの方法によっても、確実に本発明を実施することができる。【０１８４】
また、本実施形態のように加工されて生成された画像を参照画像としてメモリに格納することとするのがよい。この構成によれば、参照画像として利用できる画像が増加するため、より高い圧縮率で符号化を行うことができる。【０１８５】
［第３実施形態］
図１４に、本発明の第３実施形態に係る動画像符号化装置１４０の機能構成を示す。動画像符号化装置１４０は、動画像（データ）を構成する画像（データ）（フレーム）を入力して当該画像を順次符号化することにより、動画像を符号化した圧縮データ（符号化データ）を生成する装置である。図１４に示すように、動画像符号化装置１４０は、入力端子１４０１と、第１差分器１４０２と、第２差分器１４０３と、変換器１４０４と、量子化器１４０５と、逆量子化器１４０６と、逆変換器１４０７と、第１加算器１４０８と、第２加算器１４０９と、メモリ１４１０と、予測信号生成器１４１１と、動き探索器１４１２と、動き補償器１４１３と、特定帯域信号抽出器１４１４と、エントロピー符号化器１４２０と、出力端子１４２１とを備えて構成される。【０１８６】
入力端子１４０１は、動画像を構成する複数の（静止画）画像から、符号化の対象となる対象画像を入力する入力手段である端子である。入力端子１４０１は、ビデオカメラや動画像を記憶するメモリ等に接続されており、それらから出力された動画像を構成する画像を１つずつ入力する。入力端子１４０１は、入力された画像を、ラインＬ１４０１ａを経由して第１差分器１４０２に、ラインＬ１４０１ｂを経由して予測信号生成器１４１１にそれぞれ出力する。第１差分器１４０２及び予測信号生成器１４１１に出力される画像は、図示しない画像分割部等により、例えば１６×１６画素等の所定のサイズの領域からなるブロックに分割され、ブロック単位で符号化処理が行われる。【０１８７】
入力端子１４０１が入力する動画像データは、例えば、民生用のビデオカメラ（携帯電話機に搭載されるカメラを含む）で撮影された動画像も入力の対象とする。この場合、カメラのオートフォーカスのオートフォーカス機能が働き、撮影中にフォーカスが自動的に調整されるため、撮影された時間的に隣り合う画像の帯域が変動してしまい、帯域幅の広い信号を有する画像と帯域幅の狭い信号を有する画像が隣接して取得されることになる。また、motion sharpening現象の効果を期待した解像度の高いフレームと低いフレームとが交互に存在して帯域幅の異なる画像で構成された動画像も入力の対象となる。また、安定した帯域幅を持つ動画像が入力される場合もある。【０１８８】
第１差分器１４０２は、ラインＬ１４０１ａを経由して入力される対象画像（対象ブロック）と予測信号生成器１４１１により生成されラインＬ１４１１ｃを経由して入力される第１予測信号との差分を求めて第１差分信号を生成する差分手段（第１差分手段）である。第１差分器１４０２は、生成した第１差分信号をラインＬ１４０２経由で第２差分器１４０３に出力する。【０１８９】
なお、本実施形態では、第１予測信号を利用して対象信号との差分を求めることで第１差分信号を生成したが、第１予測信号に対して加工を行ってから差分を求めても良い。たとえば、第１予測信号に対してフィルタ処理等（ローパス・ハイパス・バンドパス）等の処理を行ってから差分信号を行っても良い。その場合には、ラインＬ１４１１ｃ上にフィルタ処理機能を付属することで実現可能である。【０１９０】
第２差分器１４０３は、ラインＬ１４０２を経由して入力される第１差分信号と特定帯域信号抽出器１４１４によって生成されラインＬ１４１４ｂを経由して入力される特定帯域信号との差分を求めて第２差分信号を生成する差分手段（第２差分手段）である。第２差分器１４０３は、生成した第２差分信号をラインＬ１４０３経由で変換器１４０４に出力する。【０１９１】
変換器１４０４は、ラインＬ１４０３を経由して入力された第２差分信号に対して、離散コサイン変換処理を行い周波数領域の信号に変換する手段である。即ち、変換器１４０４は、第２差分信号を符号化して符号化差分信号を生成する符号化手段の一機能である。変換器１４０４は、周波数領域の信号を、ラインＬ１４０４を経由して量子化器１４０５に出力する。【０１９２】
量子化器１４０５は、ラインＬ１４０４を経由して入力された周波数領域の信号を量子化して周波数領域の信号の量子化変換係数を得る手段である。即ち、量子化器１４０５は、第２差分信号を符号化して符号化差分信号を生成する符号化手段の一機能である。量子化器１４０５は、得られた量子化変換係数を、ラインＬ１４０５を経由してエントロピー符号化器１４２０及び逆量子化器１４０６に出力する。量子化器１４０５は、量子化変換係数における量子化の値を表す量子化情報をあわせてエントロピー符号化器１４２０及び逆量子化器１４０６に出力する。【０１９３】
逆量子化器１４０６は、ラインＬ１４０５を経由して入力された量子化変換係数に対して逆量子化処理を行い周波数領域の信号を得る手段である。即ち、逆量子化器１４０６は、符号化差分信号を復号し、復号差分信号を生成する復号手段の一機能である。本実施形態では、復号手段により復号される符号化差分信号は量子化変換係数に相当する。逆量子化器１４０６は、得られた周波数領域の信号を、ラインＬ１４０６を経由して逆変換器１４０７に出力する。【０１９４】
逆変換器１４０７は、ラインＬ１４０６を経由して入力された周波数領域の信号を逆離散コサイン変換することで空間領域の再生差分信号を得る手段である。即ち、逆変換器１４０７は、符号化差分信号を復号し、復号差分信号を生成する復号手段の一機能である。本実施形態では、復号差分信号は、空間領域の再生差分信号に相当する。逆変換器１４０７は、得られた空間領域の再生差分信号を、ラインＬ１４０７を経由して第１加算器１４０８に出力する。【０１９５】
第１加算器１４０８は、ラインＬ１４０７を経由して入力された空間領域の再生差分信号に対して、特定帯域信号抽出器１４１４で生成されラインＬ１４１４ａを経由して入力される特定帯域信号を加算し、第１加算信号を生成する加算手段（第１加算手段）である。第１加算器１４０８は、生成した第１加算信号を、ラインＬ１４０８を経由して第２加算器１４０９に出力する。【０１９６】
第２加算器１４０９は、ラインＬ１４０８を経由して入力された第１加算信号に対して、予測信号生成器１４１１からラインＬ１４１２ａ経由で入力される第１予測信号を加算し、再生信号を生成する加算手段（第２加算手段）である。第２加算器１４０９は、生成した再生信号を、ラインＬ１４０９を経由してメモリ１４１０に出力して、メモリ１４１０に再生画像を参照画像として格納させる。【０１９７】
メモリ１４１０は、ラインＬ１４１０を経由して入力された再生画像を、対象画像を符号化する際に、対象画像に対する予測信号を生成するために用いられる参照画像として格納する格納手段である。予測信号生成器１４１１、動き探索器１４１２及び動き補償器１４１３は、ラインＬ１４１０ａ、ラインＬ１４１０ｂを経由して、メモリ１４１０に格納されている参照画像を取り出すことができる。【０１９８】
予測信号生成器１４１１は、ラインＬ１４０１ｂから入力された対象画像に対する予測信号（ここでは第１予測信号と呼ぶものとする）を生成する予測信号生成手段（第１予測信号生成手段）である。予測信号の生成には、ラインＬ１４１０ａを経由して取得される参照画像が用いられる。予測信号の生成は、動き探索および動き補償により、あるいは符号化済みの同一画像の空間方向の相関等が用いられて行われる。動き探索および動き補償を行った際には、動き探索により動きベクトル（ＭＶｘ１、ＭＶｙ１）（以降、第１動きベクトルと呼ぶ）を算出して、第１参照画像の処理対象の位置となる（ｘ、ｙ）から第１動きベクトル分移動した位置の画素値である第１予測信号Ｓｔ−1（ｘ＋ＭＶｘ１、ｙ＋ＭＶｙ１）を求める。予測信号生成器１４１１は生成した第１予測信号をラインＬ１４１１ａ経由で第２加算器１４０９およびラインＬ１４１１ｂ経由で動き探索器１４１２へ出力する。また、予測信号生成器１４１１は、ラインＬ１４１１ｃ経由で第１差分器１４０２へ出力する。【０１９９】
動き探索器１４１２は、ラインＬ１４１１ｂを経由して入力される予測信号、及びラインＬ１４１０ｂを経由して入力される第２の参照画像を用いて動き探索を行う。即ち、動き探索器１４１２は、第２予測信号生成手段の一機能である。動き探索器１４１２は、取得した第１予測信号に対して第２の参照画像から算出した動きベクトル（以降、第２動きベクトルと呼ぶ）を、ラインＬ１４１２を経由して動き補償器１４１３に出力する。第２の参照画像は、動画像符号化装置１４０に予め記憶される第２参照画像を特定するルールに基づいて選択される。【０２００】
なお、上記のルールは、第２参照画像はメモリ１４１０に格納されている参照画像のうち、予測信号生成に用いられた第１の参照画像以外の参照画像を特定するものであれば、どのようなものでもよい。たとえば、予測信号生成に用いられた第１参照画像の直前に符号化された画像を第２参照画像として利用することを定めた符号化順序に対応したルールや、第１参照画像を格納手段に格納される参照画像の中から動き探索した結果、所定の基準を満たす画像を第２参照画像とするなどのルールが挙げられる。また、これ以外にも、参照画像の画像・空間周波数成分等の特徴に基づき第２参照画像に決定するルールなど、どのようなルールで第２参照画像を選択してもよい。【０２０１】
次に、動き補償器１４１３は、ラインＬ１４１０ｂを経由して入力される第２参照画像、及び動き探索器１４１２で求められラインＬ１４１２を経由して入力される第２動きベクトルを用いて動き補償を行い、第２予測信号を生成する。動き補償の方法は従来どおりである。即ち、動き補償器１４１３は、第２予測信号生成手段の一機能である。動き補償器１４１３は、生成した第２予測信号をラインＬ１４１３経由で特定帯域信号抽出器１４１４に出力する。【０２０２】
特定帯域信号抽出器１４１４は、ラインＬ１４１３を経由して入力される第２予測信号から特定の帯域の信号である特定帯域信号の抽出を行う特定帯域信号抽出手段である。特定帯域信号抽出器１４１４がどのような動作を行うかについての詳細は後述する。特定帯域信号抽出器１４１４は、生成した特定帯域信号をラインＬ１４１４ａ経由で第１加算器１４０８へ出力する。また、特定帯域信号はラインＬ１４１４ｂ経由で第２差分器１４０３にも出力される。同時に、特定帯域信号抽出器１４１４は、特定帯域信号の抽出内容を示す特定帯域信号抽出情報を生成して、ラインＬ１４１４ｃ経由でエントロピー符号化器１４２０に出力する。特定帯域信号抽出情報は、具体的には、特定帯域信号が抽出される帯域等を示す抽出内容を示す情報（より具体的にはフィルタを示す情報）及び第２参照画像を示す情報を含む。【０２０３】
エントロピー符号化器１４２０は、Ｌ１４０５を経由して入力された周波数領域の信号である量子化変換係数及び量子化情報とＬ１４１４ｃを経由して入力された特定帯域信号抽出情報とを可変長符号に変換する符号化手段である。即ち、本実施形態では、出力される符号化差分信号は可変長符号あるいは算術符号化されたデータに相当する。エントロピー符号化器１４２０は、変換した可変長符号を、ラインＬ１４２０を経由して出力端子１４２１に出力する。なお、可変長符号の代わりに算術符号化を適用して処理を行ってもよい。【０２０４】
出力端子１４２１は、ラインＬ１４２０を経由して入力された可変長符号を外部装置（例えば、動画像復号装置）等に出力する手段である。即ち、出力端子１４２１は、符号化差分信号、及び特定帯域信号抽出情報を出力する出力手段である。以上が、動画像符号化装置１４０の機能構成である。【０２０５】
引き続いて、本発明の特徴部分である、動き探索器１４１２、動き補償器１４１３および特定信号抽出器１４１４の機能及び動作をより詳細に説明する。【０２０６】
まず、動き探索器１４１２について説明を行う。動き探索器１４１２には、符号化の対象となる対象画像の第１参照画像を用いた予測信号である第１予測信号と特定のルールにより定められる第２の参照画像が入力される。参照画像はメモリ１４１０に格納されており、ラインＬ１４１０ｂ経由で動き探索器１４１２に入力される。【０２０７】
本実施形態では、第２参照画像は１枚の参照画像であるものとするが、複数の参照画像が用いられてもよい。上述したように、動き探索器１４１２では、第１の予測信号に対する第２動きベクトル（ＭＶｘ２、ＭＶｙ２）が取得される。予測信号のある任意の位置のブロックを例として用いて、動き探索器１４１２の動作を説明する。まず、位置（ｘ、ｙ）のブロックの画素信号を生成する。本実施形態では、予測信号生成器１４１１にて第１予測信号が生成される。このとき、任意の位置のブロックが複数の動きベクトルを用いて生成される場合は、それらの動きベクトルを用いて第１予測信号の当該位置のブロックの画素を生成する。その後、本実施形態では従来と同じようにブロックマッチングの方法を用いて動き検出を行い、対象ブロックに対する基準を満たす参照ブロックを与える位置を最適な動きベクトルとして求める。【０２０８】
なお、動きベクトルの探索の基準は、画素信号の残差信号に基づく基準（例えばＳＡＤやＳＳＤなど誤差が最小となるブロックを選択する）や符号量を踏まえたコスト関数などを用いてもよい。また、その他の情報を加味して動きベクトルを求めてもよい。例えば、帯域の広さなどの情報を用いて探索を行っても良い。【０２０９】
また、動き探索器１４１２で求める動きベクトル探索の基準は、予測信号生成器１４１１で利用されたものと必ずしも一致する必要はない。また、一ブロックあたりの動きベクトルの数は１本の動きベクトルに限らず、複数の動きベクトルを求めても良い。また、その場合の動きベクトルの本数も予測信号生成器１４１１で利用されている手段に合わせる必要はない。【０２１０】
また、本実施形態では第１予測信号を用いて動き探索を行ったが、第１予測信号に加工を行ってから動き探索を行っても良い。例えば、ブロック除去フィルタやローパスフィルタなどのフィルタ加工を行ってから動き探索を行っても良い。【０２１１】
なお、本実施形態では、動きベクトルはブロックマッチング法にて算出されたが、これに限るものではない。例えば、オプティカルフロー等の技術を用いて動きベクトルを探索してもよい。【０２１２】
なお、本実施形態では、動きベクトルを画像間の関係から算出したが、第１予測信号を生成する際に生成された第１動きベクトル（ＭＶｘ１、ＭＶｙ１）を利用して生成してもよい。たとえば、第２動きベクトル（ＭＶｘ２、ＭＶｙ２）は第１動きベクトル（ＭＶｘ１、ＭＶｙ１）の定率倍の値を取っても良い。その際、倍率を付加情報として送っても良いし、あらかじめ定められた値を利用してもよい。また、定倍率は参照フレームの関係を利用して決定されてもよい。たとえば、参照画像と対象画像とのフレーム枚数の応じたスケーリングを利用した倍率でもよい。【０２１３】
また、本実施形態では、第２予測信号生成のために動き探索を行ったが、第１動きベクトル（ＭＶｘ１、ＭＶｙ１）を第２動きベクトル（ＭＶｘ２、ＭＶｙ２）として扱っても良い。この場合、第２の予測信号生成には動き探索を必要としないため、動き探索器１４１２は必要としない。【０２１４】
また、本実施形態では、第１予測信号と第２参照画像との間の動きの関係を明確にするために動きベクトルを用いた例を示したが、これに限るものではない。両画像間の動きの関係を補間できる技術であればどのような方法を用いても良い。例えば、２枚のフレーム画像の全画素に対してそれぞれ離散フーリエ変換等を行い、画素空間から周波数空間に変換を行い、同フレームの同一周波数成分を除算することで、位相の大きさを用いた移動量を用いてもよい。各周波数成分の位相を算出後、全位相の値を合計し、動き情報とする。また、周波数変換後の位相の利用はこれに限るものではなく、２フレーム間の動き量を表すものであればどのように算出してもよい。【０２１５】
動き探索器１４１２は、ブロック単位で探索された第２動きベクトルをラインＬ１４１２経由で動き補償器１４１３へ出力する。【０２１６】
動き補償器１４１３は、ラインＬ１４１０ｂ経由で入力される第２の参照画像およびラインL１４１２経由で入力される第２動きベクトルを用いて、第１予測信号に対する予測信号である第２予測信号Ｓｔ−２（ｘ＋ＭＶｘ、ｙ＋ＭＶｙ２）を生成する。Ｓｔ−２（ｘ＋ＭＶｘ、ｙ＋ＭＶｙ２）の生成方法は、従来の動き補償と同様第２の参照画像の位置（x＋ＭＶｘ、ｙ＋ＭＶｙ２）に対応するブロック単位の画素値を所得することで生成される。【０２１７】
なお、本実施形態における第２予測信号は、第１予測信号と第２予測信号との間の動きベクトルを用いて生成されたが、対象画像と第２参照画像との間の動きベクトルを算出してもよい。その場合、算出した動きベクトルは付加情報として動き補償器１４１３からエントロピー符号化器１４２０に出力すればよい。【０２１８】
特定帯域信号抽出器１４１４について詳細に説明を行う。特定信号抽出器１４１４には、ラインＬ１４１３経由で第２予測信号が入力される。特定信号抽出器１４１４は、第２予測信号に含まれている帯域を特定し、特定された帯域の信号を抽出する。具体的には、まず特定信号抽出器１４１４は第２予測信号に対してあらかじめ用意された帯域毎のバンドパスフィルタを選択して、フィルタ処理を行う。そして、決定した抽出に用いたフィルタの情報を特定帯域信号抽出情報としてラインＬ１４１５ｃ経由でエントロピー符号化器に出力する。【０２１９】
なお、本実施形態ではフィルタはバンドパスフィルタの例を示したが、これに限るものではなく、ローパスフィルタやハイパスフィルタなどのフィルタ処理を行っても良い。また、本実施形態では、あらかじめ定められたフィルタ群からフィルタを選択して処理することで特定帯域信号抽出情報については、外部から入力されてもよい。また、本実施形態では、フィルタを１種決定し、１箇所の特定の帯域の信号を抽出する例を示したが、複数箇所の帯域の成分を抽出できるようフィルタを決定してもよい。その場合、複数箇所の帯域を示すことができるフィルタに関する情報を特定帯域信号抽出情報として作成すればよい。【０２２０】
なお、本実施形態では、第２予測信号から直接特定帯域の空間周波数成分を含む画素値を抽出するが、第２予測信号を加工してから抽出を行ってもよい。たとえばデブロッキング処理や画像フィルタをかけて第２予測信号を加工してもよい。また、第１予測信号と第２予測信号との間の差分を算出してから、特定帯域信号の抽出を行っても良い。その場合、Ｌ１４１３上に減算器を挿入し、ラインＬ１４１１経由で第１予測信号を入力すればよい。【０２２１】
抽出された特定帯域信号は、ラインＬ１４１４ｂ経由で第２差分器に出力される。【０２２２】
なお、本実施形態では、特定帯域信号抽出器は第２予測信号の一部の帯域の信号を抽出するフィルタ処理を用いて特定帯域信号を生成したが、第２予測信号をそのまま利用してもよい。特に、特定帯域信号抽出情報が必要ない場合にはラインＬ１４１５ｃは必要がない。【０２２３】
なお、本実施形態では、ブロック単位で処理を行う例を示したが、所定の大きさの複数のブロック単位で特定信号の抽出を行ってもよい。また、ブロック単位で加工を行う場合、ブロックごとに抽出する帯域が共通の帯域でもよい。【０２２４】
なお、本実施形態では、特定帯域信号を直接第２差分器１４０３に出力を行ったが加工を行ってもよい。例えば、抽出した特定帯域信号に対して重み係数Ｗをかけてから出力を行ったりしてもよい。【０２２５】
なお、本実施形態では、特定帯域信号抽出情報として帯域特定情報を生成したが、第１予測信号と第２参照画像と間の動き情報も含めて、特定帯域信号抽出情報を生成してもよい。【０２２６】
なお、本実施形態では、対象画像信号から第１予測信号の差分を計算してから特定帯域信号の減算を行ったが、これに限るものではない。第１予測信号と特定帯域信号を加算してから、対象画像信号からの減算を行っても良い。また、第１予測信号と特定帯域信号の加算例を示す例を示したが、重み付け加算などをおこなってもよい。【０２２７】
引き続いて、図１６のフローチャートを用いて、本実施形態に係る動画像符号化装置１４０により実行される処理である動画像符号化方法を示す。動画像符号化装置１４０では、まず、入力端子１４０１により符号化対象となる対処画像が入力される（Ｓ１６０２、入力ステップ）。続いて、予測信号生成器１４１１によって、対象画像とメモリ１４１０内に存在する参照画像を用いて第１予測信号が生成される（Ｓ１６０３、第１予測信号生成ステップ）。【０２２８】
続いて、動き探索器１４１２によって、第１予測画像と第１参照画像とは異なる参照画像である第２参照画像との間の第２動きベクトルが算出される（Ｓ１６０４、第２予測信号生成ステップ）。具体的な第２動きベクトルの算出方法については前述したとおりである。次に動き補償器１４１３にて算出された第２動きベクトルと第２参照画像を用いて第２予測信号が生成される（Ｓ１６０５、第２予測信号生成ステップ）。その後、特定帯域信号抽出器１４１４において、第２予測信号から特定の帯域に対応する画素である特定帯域信号および抽出したフィルタの種類を示す特定帯域信号抽出情報が生成される（Ｓ１６０６、特定帯域信号抽出ステップ）。一方で、第１差分器１４０２により、対象画像と第１予測信号との差分である第１差分信号が生成される（Ｓ１６０７、第１差分ステップ）。さらに、第２差分器１４０３により、第１差分信号からＳ１６０６で生成された特定帯域信号が減算され、第２差分信号が生成される（Ｓ１６０８、第２差分ステップ）。【０２２９】
続いて、変換器１４０４により、第２差分信号が離散コサイン変換で変換された上で、量子化器１４０５により量子化され量子化変換係数が生成される（Ｓ１６１０、符号化ステップ）。続いて、逆量子化器１４０６により、量子化変換係数は逆量子化され、逆変換器１４０７により逆変換され、再生差分信号が生成される（Ｓ１６１１、復号ステップ）。続いて、第１加算器１４０８により、再生差分信号に特定帯域信号が加算されて第１加算信号が生成される（Ｓ１６１２、第１加算ステップ）。さらに、Ｓ１６１３にて生成された第１加算信号に第１予測信号が加算されて再生信号が生成される（Ｓ１６１３、第２加算ステップ）。最後に再生画像がメモリ１４１０等に一時格納されて、エントロピー符号化器１４２０により、それと同時に量子化変換係数、特定帯域信号に関する特定帯域信号抽出情報及び動きベクトルを含むデータをエントロピー符号化した上で出力端子１４２１から出力される（Ｓ１６１４、符号化ステップ、出力ステップ）。以上が、本実施形態に係る動画像符号化装置１４０及び動画像符号化方法の説明である。【０２３０】
図１５に、本発明の第３実施形態に係る動画像復号装置１５０の機能構成を示す。動画像復号装置１５０は、本実施形態に係る動画像符号化装置１４０により符号化された動画像である圧縮データ（符号化データ）を復号する装置である。図１５に示すように、動画像復号装置１５０は、入力端子１５００と、データ解析器１５０１と、逆量子化器１５０２と、逆変換器１５０３と、第１加算器１５０４と、第２加算器１５０５と、出力端子１５２０と、メモリ１５０６と、予測信号生成器１５０７と、動き探索器１５０８と、動き補償器１５０９と、特定帯域信号抽出器１５１０とを備えて構成される。【０２３１】
入力端子１５００は、動画像を予測符号化して得られる符号化差分信号である量子化変換係数、量子化の値を示す量子化情報、動きベクトル及び特定帯域信号に関する情報を示す特定帯域信号抽出情報を圧縮データとして入力する入力手段である。本実施形態では、入力端子１５００は、本実施形態に係る動画像符号化装置１４０により符号化された動画像を入力する。入力端子１５００は、入力された符号化データを、ラインＬ１５００を経由してデータ解析器１５０１に出力する。【０２３２】
データ解析器１５０１は、ラインＬ１５００を経由して入力された圧縮データを解析し、エントロピー復号処理を行い、量子化された量子化変換係数、量子化の値を示す量子化情報、動きベクトル及び特定帯域信号抽出情報を抽出する手段である。データ解析器１５０１は、抽出した、量子化された量子化変換係数及び量子化の値を示す量子化情報を、ラインＬ１５０１ａ経由で逆量子化器１５０２に出力する。また、データ解析器１５０１は、特定帯域信号抽出情報に含まれる第２参照画像に関する情報をラインＬ１５０１ｂ経由で動き探索機１５０８に出力する。なお、第２参照画像に関する情報が特定帯域信号抽出情報に含まれていない場合には、ラインＬ１５０１ｂは必要ない。また、データ解析器１５０１は第１動きベクトルを、ラインＬ１５１１ｃ経由で予測信号生成器１５０７に出力する。さらに、データ解析器１５０１はラインＬ１５０１ｄ経由で特定帯域信号抽出情報を、特定帯域信号抽出器１５１０に出力する。【０２３３】
逆量子化器１５０２は、ラインＬ１５０１を経由して入力された量子化の値を示す量子化情報に基づいて、量子化された量子化変換係数を逆量子化することで変換係数を生成する手段である。即ち、逆量子化器１５０２は、符号化差分信号を復号して復号差分信号を生成する復号手段の一機能である。逆量子化器１５０２は、生成した変換係数を、ラインＬ１５０２を経由して逆変換器１５０３に出力する。【０２３４】
逆変換器１５０３は、ラインＬ１５０２を経由して入力された変換係数を逆離散コサイン変換で変換し再生差分信号を生成する部分である。即ち、逆変換器１５０３は、符号化差分信号を復号して復号差分信号を生成する復号手段の一機能である。本実施形態では、復号差分信号は、再生差分信号に相当する。逆変換器１５０３は、生成した再生差分信号を、ラインＬ１５０３を経由して、第１加算器１５０４に出力する。【０２３５】
第１加算器１５０４は、ラインＬ１５０３を経由して入力された再生差分信号に対して、特定帯域信号抽出器１５１０からラインＬ１５１０を経由で入力される特定帯域信号を加算し、第１加算信号を生成する加算手段（第１加算手段）である。特定帯域信号についての詳細は後述する。第１加算器１５０４は、生成した第１加算信号を、ラインＬ１５０４を経由して第２加算器に出力される。【０２３６】
第２加算器１５０５は、ラインＬ１５０４を経由して入力された第１加算信号に対して、予測信号生成器１５０７にて生成された第１予測信号を加算し、再生信号を生成する加算手段（第２加算手段）である。第２加算器１５０５は、生成した再生信号を、Ｌ１５０５、Ｌ１５０５ｂを経由してメモリ１５０６に出力して、メモリ１５０６に再生画像を参照画像として格納させる。また、第２加算器１５０５は、生成した再生信号を再生画像として、ラインＬ１５０５を経由して出力端子１５２０に出力する。【０２３７】
出力端子１５２０は、ラインＬ１５０５を経由して入力された再生画像を外部装置（例えば、ディスプレイ）等に出力する出力手段である。【０２３８】
メモリ１５０６は、ラインＬ１５０５ｂを経由して入力された再生画像を、圧縮データの復号に用いられる予測信号を生成するために用いられる参照画像として格納する格納手段である。なお、予測信号生成器１５０７、動き探索器１５０８および動き補償器１５０９は、それぞれラインＬ１５０６ａ経由、ラインＬ１５０６ｂ経由およびラインＬ１５０６ｃ経由で参照画像を取り出すことができる。【０２３９】
予測信号生成器１５０７は、逆量子化器１５０２及び逆変換器１５０３により生成される再生差分信号と特定帯域信号抽出器１５１０により生成される特定帯域信号との加算信号である第１加算信号に対する第１予測信号を、メモリ１５０６に格納された参照画像を用いて生成する予測信号生成手段（第１予測信号生成手段）である。予測信号生成器１５０７は、生成した予測信号を、ラインＬ１５０７ａを経由して、動き探索器１５０８に出力する。また、予測信号生成器１５０７は、生成した第１予測信号を、ラインＬ１５０７ｂを経由して、第１減算器１５０４に出力する。さらに、予測信号生成器１５０７は、生成した第１予測信号を、ラインＬ１５０７ｃを経由して、第２加算器１５０５に出力する。【０２４０】
動き探索器１５０８は、データ解析器１５０１から入力された特定帯域信号抽出情報を参照して、メモリ１５０６に格納された所定の第２参照画像をラインＬ１５０６ｂ経由で取り出し、ラインＬ１５０７ａを経由して第１予測信号が入力され、両画像間の動きベクトルを算出する動き探索手段である。即ち、動き探索器１５０８は、第２予測信号を生成する第２予測信号生成手段の一機能である。動き探索器１５０８は、本実施形態では従来と同じようにブロックマッチングの方法を用いて動き検出を行い、対象ブロックに対する基準を満たす参照ブロックを与える位置を最適な動きベクトルとして求める。次に動き探索器１５０８は、動き補償器１５０９に求めた動きベクトルをラインＬ１５０８経由で出力する。【０２４１】
なお、動きベクトルの探索の基準は、画素信号の残差信号に基づく基準（例えばＳＡＤやＳＳＤなど誤差が最小となるブロックを選択する）や符号量を踏まえたコスト関数などを用いてもよい。また、その他の情報を加味して動きベクトルを求めてもよい。例えば、帯域の広さなどの情報を用いて探索を行っても良い。【０２４２】
なお、動きベクトル探索の基準は動画像符号装置１４０の動き探索器１４１２で利用された基準と同一である必要があることが好ましい。そのため、もし基準があらかじめ動画像符号装置にて定められて居なければ、特定帯域信号抽出情報に、動きベクトル探索時の基準に関する情報が含まれていても良い。【０２４３】
なお、動きベクトルの探索の基準は、画素信号の残差信号に基づく基準（例えばＳＡＤやＳＳＤなど誤差が最小となるブロックを選択する）や符号量を踏まえたコスト関数などを用いてもよい。また、その他の情報を加味して動きベクトルを求めてもよい。例えば、帯域の広さなどの情報を用いて探索を行っても良い。【０２４４】
また、本実施形態では第１予測信号を用いて動き探索を行ったが、第１予測信号に加工を行ってから動き探索を行っても良い。例えば、ブロック除去フィルタやローパスフィルタなどのフィルタ加工を行ってから動き探索を行っても良い。【０２４５】
なお、本実施形態では、動きベクトルはブロックマッチング法にて算出されたが、これに限るものではない。例えば、オプティカルフロー等の技術を用いて動きベクトルを探索してもよい。【０２４６】
なお、本実施形態では、動きベクトルを画像間の関係から算出したが、データ解析器１５０１で復元された第１動きベクトル（ＭＶｘ１、ＭＶｙ１）を利用して生成してもよい。たとえば、第２動きベクトル（ＭＶｘ２、ＭＶｙ２）は第１動きベクトル（ＭＶｘ１、ＭＶｙ１）の定率倍の値を取っても良い。その際、倍率を付加情報が送られてくる場合には復元された情報に基づき処理を行い、あらかじめ定められた値を利用してもよい。また、定倍率は参照フレームの関係を利用して決定されてもよい。たとえば、参照画像と対象画像とのフレーム枚数の応じたスケーリングを利用した倍率でもよい。【０２４７】
また、本実施形態では、第２予測信号生成のために動き探索を行ったが、復元された第１動きベクトル（ＭＶｘ１、ＭＶｙ１）を第２動きベクトル（ＭＶｘ２、ＭＶｙ２）として扱っても良い。この場合、第２の予測信号生成には動き探索を必要としないため、動き探索器１５０８は必要としない。【０２４８】
動き補償器１５０９は、動き探索器１５０８で生成されラインＬ１５０８経由で入力される第２動きベクトルとメモリ１５０６から入力される第２参照画像を用いて第２予測信号を生成する動き補償手段である。即ち、動き補償器１５０９は、第２予測信号を生成する第２予測信号生成手段の一機能である。動き補償器１５０９は、第２予測信号を生成して、ラインＬ１５０９経由で、特定帯域信号抽出器１５１０に出力する。【０２４９】
次に、特定帯域信号抽出器１５１０は、データ解析器１５０１で復号されラインＬ１５０１ｄ経由で入力される特定帯域信号抽出情報を参照して、動き補償器１５０９で生成されラインＬ１５０９経由で入力された第２予測信号の特定の帯域の信号を抽出する特定帯域信号抽出手段である。具体的には、特定帯域信号抽出情報に基づき、第２予測信号に含まれている帯域を特定し、特定された帯域の信号を抽出する。具体的には、まず特定信号抽出器１５０９は第２予測信号に対して特定帯域信号抽出情報にて指定されたフィルタを選択して、フィルタ処理を行う。【０２５０】
なお、本実施形態では、第２予測信号から直接特定帯域の空間周波数成分を含む画素値を抽出するが、第２予測信号を加工してから抽出を行ってもよい。たとえばデブロッキング処理や画像フィルタをかけて第２予測信号を加工してもよい。また、第１予測信号と第２予測信号との間の差分を算出してから、特定帯域信号の抽出を行っても良い。その場合、Ｌ１５０９上に減算器を挿入し、ラインＬ１５０７ｃ経由で第１予測信号を入力すればよい。【０２５１】
特定帯域信号抽出器１５１１は、生成した特定帯域信号をラインＬ１５１０経由で第１加算器１５０４に出力する。以上が動画像復号装置１５０の機能構成である。【０２５２】
引き続いて、図１７のフローチャートを用いて、本実施形態に係る動画像復号装置１５０により実行される処理である動画像復号方法を示す。動画像復号装置１５０では、まず、入力端子１５００により、符号化差分信号のデータ、動きベクトルに関するデータ及び予測信号生成情報を含む圧縮データが入力される（Ｓ１７０２、入力ステップ）。続いて、データ解析器１５０１により、圧縮データに対してエントロピー復号処理が行われる同時に、量子化された変換係数、量子化に関する情報、予測信号の生成に関する動きベクトル、及び復号の特定帯域信号を生成するために必要な情報を含む特定帯域信号抽出情報が抽出される（Ｓ１７０３）。続いて、逆量子化器５０２により量子化された変換係数が逆量子化され、逆量子化された変換係数が生成される（Ｓ１７０４、復号ステップ）。続いて、逆変換器５０３により逆量子化された変換係数が逆離散コサイン変換で変換され再生差分信号が生成される（Ｓ１７０５、復号ステップ）。一方では、予測信号生成器１５０７によって第１予測信号が第１参照画像および復号された第１動きベクトルにより生成される（Ｓ１７０６、第１予測信号生成ステップ）。【０２５３】
さらに、動き探索器１５０８によって、特定帯域信号抽出情報を参考に、第１予測信号と第２参照画像との間の第２動きベクトルを生成する（Ｓ１７０７、第２予測信号生成ステップ）。そして、動き補償器１５０９によって第２動きベクトルおよび第２参照画像を用いて第２予測信号を生成する（Ｓ１７０８、第２予測信号生成ステップ）。その後、特定帯域信号抽出器１５１０によって、特定帯域信号抽出情報を参考に第２予測信号から特定帯域信号を生成する（Ｓ１７０９、特定帯域信号抽出ステップ）。特定帯域信号の生成方法についての詳細は前述の通りである。そして、第１加算器１５０４によって再生差分信号にステップＳ１７０９にて生成された特定帯域信号を加算して第１加算信号を生成する（Ｓ１７１０、第１加算ステップ）。次に第２加算器１５０５により、第１加算信号にステップＳ１７０６にて生成された第１予測信号が加算されて再生画像が生成され、次の画像の復号のためメモリ１５０６に一時格納される（Ｓ１７１２、第２加算ステップ）と共に、出力端子１５２０により出力される（Ｓ１７１３、出力ステップ）。この処理は全てのデータが復号されるまで繰返される（Ｓ１７１４）。以上が、本実施形態に係る動画像復号装置１５０及び動画像復号方法の説明である。【０２５４】
上述したように本発明の第３実施形態によれば、第２参照画像から生成される第２予測信号から、所定の帯域の空間周波数成分が抽出されて、当該空間周波数成分が第１予測信号と共に符号化対象の差分信号の生成に用いられる。従って、第１予測信号に含まれない帯域の空間周波数成分が差分信号の生成に用いられることとなる。これにより、符号化対象の動画像が帯域幅の異なる画像が混在するものであっても、対象参照画像の帯域幅が第１対象画像の帯域幅よりも狭くなる場合に対象参照画像に含まれない帯域の空間周波数成分が補われ、当該帯域の差分信号が減少するため、高い圧縮率で符号化及び復号を行うことができる。【０２５５】
次に、コンピュータを本発明による動画像符号化装置として動作させるための動画像符号化プログラムについて説明する。図１８は本発明の実施形態による動画像符号化プログラムＰ１８１２の構成を、記録媒体１８１２と共に示す図である。記録媒体１８１２としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。当該動画像符号化プログラムＰ１８１２によって、コンピュータが本発明による動画像符号化装置として動作することが可能になる。詳細について図１８を用いて説明する。【０２５６】
図１８に示すように、動画像符号化プログラムＰ１８１２は、画像入力モジュール１８００と、空間周波数分析モジュール１８０１と、予測信号生成モジュール１８０３と、差分信号生成モジュール１８０４と、変換モジュール１８０５と、量子化モジュール１８０６と、逆量子化モジュール１８０７と、逆変換モジュール１８０８と、加算モジュール１８０９と、記憶モジュール１８１０、とエントロピー符号化モジュール１８１１とを備えており、それぞれ図１に示した入力端子１０１、空間周波数分析器１２０、予測信号生成器１２１、差分器１０２、変換器１０３、量子化器１０４、逆量子化器１０５、逆変換器１０６、加算器１０７、メモリ１０８、エントロピー符号化器１３０のうち対応要素と同様である。【０２５７】
次に、コンピュータを本発明による動画像復号装置として動作させるための動画像復号プログラムについて説明する。図１９は本発明の実施形態による動画像復号プログラムＰ１９０８の構成を、記録媒体１９０８と共に示す図である。当該動画像復号プログラムＰ１９０８によって、コンピュータが本発明による動画像復号装置として動作することが可能になる。詳細について図１９と図２０と図２１を用いて説明する。【０２５８】
図１９に示すように、動画像画像復号プログラムＰ１９０８は、圧縮データ入力モジュール１９００と、エントロピー復号モジュール１９０１と、参照画像加工モジュール１９０２と、予測信号生成モジュール１９０３と、逆量子化モジュール１９０４と、逆変換モジュール１９０５と、加算モジュール１９０６と、記憶モジュール１９０７とを備えており、それぞれ図５に示した入力端子５００、データ解析器５０１、参照画像加工器５０８、予測信号生成器５０７、逆量子化器５０２、逆変換器５０３、加算器５０４、メモリ５０６のうち対応要素と同様である。【０２５９】
図２０は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図２１は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。【０２６０】
図２１に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１１に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１１が読取装置１２に挿入されると、読取装置１２から記録媒体１１に格納された動画像符号化プログラムＰ１８１２もしくは動画像復号プログラムＰ１９０８にアクセス可能になり、当該動画像符号化プログラムＰ１８１２もしくは動画像復号プログラムＰ１９０８によって、本発明による動画像符号化装置もしくは動画像復号装置として動作することが可能になる。【０２６１】
図２１に示すように、動画像符号化プログラムＰ１８１２もしくは動画像復号プログラムＰ１９０８は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像符号化プログラムＰ１８１２もしくは動画像復号プログラムＰ１９０８をメモリ１６に格納し、当該動画像符号化プログラムＰ１８１２もしくは動画像復号プログラムＰ１９０８を実行することができる。【０２６２】
また、コンピュータを、上述した第２及び第３実施形態における動画像符号化装置１０ａ，１４０又は動画像復号装置１１０，１５０として動作させるための動画像符号化プログラム又は動画像復号プログラムについても、上記と同様に各装置の構成要素と同様の機能を有するモジュールを備えることにより実現することができる。
【図１】
2008078782.tif 000003
【図２】
2008078782.tif 000004
【図３】
2008078782.tif 000005
【図４】
2008078782.tif 000006
【図５】
2008078782.tif 000007
【図６】
2008078782.tif 000008
【図７】
2008078782.tif 000009
【図８】
2008078782.tif 000010
【図９】
2008078782.tif 000011
【図１０】
2008078782.tif 000012
【図１１】
2008078782.tif 000013
【図１２】
2008078782.tif 000014
【図１３】
2008078782.tif 000015
【図１４】
2008078782.tif 000016
【図１５】
2008078782.tif 000017
【図１６】
2008078782.tif 000018
【図１７】
2008078782.tif 000019
【図１８】
2008078782.tif 000020
【図１９】
2008078782.tif 000021
【図２０】
2008078782.tif 000022
【図２１】
2008078782.tif 000023
【図２２】
2008078782.tif 000024
【国際調査報告】
2008078782.tif 000025
2008078782.tif 000026
2008078782.tif 000027
2008078782.tif 000028