(57)【要約】【課題】フレーム間予測符号化に係る符号化効率を向上させるために、符号化対象画像フレームと予測画像フレームとの差分である予測差分を小さくすることができるようにする。【解決手段】本発明の予測画像作成装置は、参照画像フレームの処理単位ブロックに対し１又は複数のそれぞれの重み係数を乗算し、それら１又は複数の乗算結果にオフセット値を加えて、予測画像フレームの処理単位ブロックを生成する予測画像生成装置において、１又は複数の重み係数を決定する重み係数決定手段と、予測参照フレームの平均画素値が参照画像フレームの平均画素値と同等になるように、参照画像フレーム内の直流成分値を補正して、１又は複数のオフセット値を求めるオフセット値算出手段と、重み係数決定手段が決定した各重み係数と、オフセット値算出手段が求めた各オフセット値とを用いて、予測画像フレームの処理単位ブロックを生成する予測画像生成手段とを備える。【選択図】      図１
2008219100.tif 000002
【特許請求の範囲】
【請求項１】
参照画像フレームの処理単位ブロックに対し１又は複数のそれぞれの重み係数を乗算し、それら１又は複数の乗算結果にオフセット値を加えて、フレーム間予測符号化対象画像フレームの処理単位ブロックに対する、予測画像フレームの処理単位ブロックを生成する予測画像生成装置において、
上記１又は複数の重み係数を決定する重み係数決定手段と、
上記予測参照フレームの平均画素値が上記参照画像フレームの平均画素値と同等になるように、上記参照画像フレーム内の直流成分値を補正して、１又は複数の上記オフセット値を求めるオフセット値算出手段と、
上記重み係数決定手段が決定した上記各重み係数と、上記オフセット値算出手段が求めた上記各オフセット値とを用いて、上記予測画像フレームの処理単位ブロックを生成する予測画像生成手段と
を備えることを特徴とする予測画像生成装置。
【請求項２】
上記オフセット値算出手段が、
上記参照画像フレーム内の上記直流成分値に上記各重み係数を乗算して、上記参照画像フレーム内の上記直流成分値を補正する参照画像直流成分値補正部と、
上記参照画像直流成分値補正部より補正された、上記参照画像フレーム内の１又は複数の補正直流成分値と、上記フレーム間予測符号化対象フレーム内の直流成分値との差に基づいて、１又は複数のオフセット値を決定するオフセット値決定部と
を有することを特徴とする請求項１に記載の予測画像生成装置。
【請求項３】
フレーム間予測符号化対象画像フレームの処理単位ブロックと、予測画像生成手段が生成した予測画像フレームの処理単位ブロックとの差分を符号化する画像符号化装置において、
上記予測画像生成手段が、請求項１又は２に記載の予測画像生成装置に相当するものであることを特徴とする画像符号化装置。
【請求項４】
参照画像フレームの処理単位ブロックに対し１又は複数のそれぞれの重み係数を乗算し、それら１又は複数の乗算結果にオフセット値を加えて、フレーム間予測符号化対象画像フレームの処理単位ブロックに対する、予測画像フレームの処理単位ブロックを生成する予測画像生成方法において、
重み係数決定手段と、オフセット値算出手段と、予測画像生成手段とを備え、
上記重み係数決定手段が、上記１又は複数の重み係数を決定する重み係数決定工程と、
上記オフセット値算出手段が、上記予測参照フレームの平均画素値が上記参照画像フレームの平均画素値と同等になるように、上記参照画像フレーム内の直流成分値を補正して、１又は複数の上記オフセット値を求めるオフセット値算出工程と、
上記予測画像生成手段が、上記重み係数決定手段が決定した上記各重み係数と、上記オフセット値算出手段が求めた上記各オフセット値とを用いて、上記予測画像フレームの処理単位ブロックを生成する予測画像生成工程と
を有することを特徴とする予測画像生成方法。
【請求項５】
フレーム間予測符号化対象画像フレームの処理単位ブロックと、予測画像生成手段が生成した予測画像フレームの処理単位ブロックとの差分を符号化する画像符号化方法において、
上記予測画像生成手段による予測画像生成方法が、請求項４に記載の予測画像生成方法によるものであることを特徴とする画像符号化方法。
【請求項６】
参照画像フレームの処理単位ブロックに対し１又は複数のそれぞれの重み係数を乗算し、それら１又は複数の乗算結果にオフセット値を加えて、フレーム間予測符号化対象画像フレームの処理単位ブロックに対する、予測画像フレームの処理単位ブロックを生成する予測画像生成プログラムにおいて、
コンピュータに、
上記１又は複数の重み係数を決定する重み係数決定手段、
上記予測参照フレームの平均画素値が上記参照画像フレームの平均画素値と同等になるように、上記参照画像フレーム内の直流成分値を補正して、１又は複数の上記オフセット値を求めるオフセット値算出手段、
上記重み係数決定手段が決定した上記各重み係数と、上記オフセット値算出手段が求めた上記各オフセット値とを用いて、上記予測画像フレームの処理単位ブロックを生成する予測画像生成手段
として機能させる予測画像生成プログラム。
【請求項７】
コンピュータに、予測画像生成手段として機能させる予測画像生成プログラムを有し、フレーム間予測符号化対象画像フレームの処理単位ブロックと、上記予測画像生成手段により生成させた予測画像フレームの処理単位ブロックとの差分を符号化させる、上記コンピュータに読み取り可能な画像符号化プログラムにおいて、
上記コンピュータに上記予測画像生成手段として機能させる上記予測画像生成プログラムが、請求項６に記載の予測画像生成プログラムに相当するものであることを特徴とする画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測画像生成装置、方法及びプログラム、並びに、画像符号化装置、方法及びプログラムに関し、例えば、複数のフレーム間の差分を符号化するフレーム間予測符号化方式を採用した符号化装置に適用し得るものである。
【背景技術】
【０００２】
従来、動画像圧縮符号化技術としては、例えば、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０）に開示されている技術がある。
【０００３】
この動画像圧縮符号化技術は、入力画像の符号化対象フレームを圧縮符号化する際に、圧縮符号化効率を向上させるために、予測画像の予測フレームと符号化対象フレームとの間の差分を符号化する技術である。
【０００４】
すなわち、上記動画像圧縮符号化技術は、入力画像の符号化対象フレームを所定の処理単位ブロック（ここでは、画素ブロックともいう）に分割し、画素ブロック毎に予測画素ブロック（ここでは、単に予測ブロックともいう）を生成し、この予測ブロックと符号化対象フレームの画素ブロックとの差分である予測誤差を求め、この予測誤差を符号化するという技術である。このように、予測誤差を符号化することにより、ゼロ若しくはゼロに近い値を、多く符号化することになるので、符号化効率を高めることができる。
【０００５】
ところで、上記のようなフレーム間予測符号化方式において、予測画像と符号化対象画像との差分が小さくなれば、圧縮符号化を効率的にできるので、予測画像の生成（すなわち、予測ブロックの生成）が重要となる。
【０００６】
特許文献１には、予測画像の生成方法に関する技術が開示されており、画像の時間的な明るさの変化に注目して符号化効率を上げようとしたものである。
【０００７】
以下では、特許文献１の記載技術も含めながら従来技術を簡単に説明する。なお、以下の説明において、処理対象としては、符号化対象フレームにおける画素ブロック毎として説明する。
【０００８】
（参照ブロックの作成）
符号化対象とする画素ブロックに対応する参照ブロックは、少なくとも１つの参照画像から抽出した画素ブロックと、参照画像フレーム及び符号化対象フレームの画素ブロックから得られる動きベクトルとから作成する。このとき、１つの符号化対象の画素ブロックに対して、複数の参照画像から各参照ブロックをそれぞれ作成してもよい。
【０００９】
（ウエイトＷ及びオフセット値Ｄの算出）
上記作成した参照ブロックの平均画素値にウエイト（重み係数）Ｗを掛け、オフセット値Ｄを加えたものを、画素値とする予測ブロックを生成する。
【００１０】
このように、ウエイトＷ及びオフセット値Ｄを用いて、予測ブロックを生成する方法は、符号化対象である画素ブロックの平均画素値が時間的に変化する場合（例えばフェード処理の場合等）に、符号化効率を向上させる点で効果的である。
【００１１】
そのため、符号化対象の画素ブロックの平均画素値と、差が小さい画素値を有する予測ブロックを作成できるように、ウエイトＷ及びオフセット値Ｄを算出することが望まれる。
【００１２】
特許文献１では、このウエイトＷ及びオフセット値Ｄの算出方法として、次のようにして求める方法が記載されている（特許文献１の段落０１５６〜０１７１参照）。
【００１３】
まず、符号化対象フレームＦのフレーム内全域或いはフレーム内のスライス毎の画素値の平均値（これを直流成分値という）ＤＣｃｕｒを、（式１）で求める。
【数１】
2008219100.tif 000003
【００１４】
ここで、Ｆ（ｘ、ｙ）は、フレームＦの座標（ｘ、ｙ）の位置の画素値を表し、Ｎはフレーム内全域或いはフレームのスライス内の画素数を表す。
【００１５】
次に、以下の（式２）により符号化対象フレームＦのフレーム内全体或いはフレーム内のスライス毎の交流成分の大きさ（以下、交流成分値という）ＡＣｃｕｒを計算する。
【数２】
2008219100.tif 000004
【００１６】
なお、交流成分値ＡＣｃｕｒの測定においては、以下に示すような標準偏差を用いることも可能であるとしている。
【数３】
2008219100.tif 000005
【００１７】
符号化対象フレームと参照フレームの組は複数あってもよい。そこで、ここでは複数の組を考慮して説明する。
【００１８】
次に、参照フレーム番号を示すインデックスをｉとして、ｉ番号の参照フレームについて、参照画像の直流成分値ＤＣｒｅｆ及び参照フレームの交流成分値ＡＣｒｅｆを求める。
【００１９】
そして、ウエイトＷ及びオフセット値Ｄは、符号化対象画像の直流成分値ＤＣｃｕｒ、符号化対象画像の交流成分値ＡＣｃｕｒ、参照画像の直流成分値ＤＣｒｅｆ、及び、参照画像の交流成分値ＡＣｒｅｆに基づいて、参照フレーム毎に求める。
【００２０】
つまり、ウエイトＷは（式４）より求めることができ、又、オフセット値Ｄは（式５）より求めることができる。
【００２１】
ｗ［ｉ］＝ＡＣｃｕｒ／ＡＣｒｅｆ［ｉ］        （式４）
Ｄ［ｉ］＝ＤＣｃｕｒ−ＤＣｒｅｆ［ｉ］        （式５）
そして、これらウエイト値Ｗ及びオフセット値Ｄを用いて、参照フレーム番号ｉの参照フレームから作られた予測ブロックの画素値ｐｒｅｄを、次の（式６）に示すようにして求める。
【００２２】
ｐｒｅｄｉ＝Ｗ［ｉ］×ｒｅｆ［ｉ］＋Ｄ［ｉ］      （式６）
ここで、ｒｅｆ［ｉ］は参照フレーム番号ｉの参照フレームから作られた参照ブロックの平均画素値であり、ｐｒｅｄｉは、参照フレーム番号ｉから作られた予測ブロックの平均画素値である。
【００２３】
（予測差分の生成）
上記のようにして求めた予測ブロックの平均画素値と符号化対象ブロックの平均画素値との差分を予測差分として求める。そして、ウエイト値Ｗ、オフセット値Ｄ、及び、予測差分を符号化する。
【００２４】
【特許文献１】特開２００４−７３７９号公報
【発明の開示】
【発明が解決しようとする課題】
【００２５】
ところが、上述した特許文献１に記載の従来技術を用いて予測画像を生成しようとする場合、たとえ単純な静止画のフェード処理に適用する場合でも、予測ブロックの平均画素値と符号化対象ブロックの平均画素値との間の予測差分が大きくなってしまい、その結果、符号化効率が低下するという問題が生じ得る。
【００２６】
この点について、特許文献１に記載の従来技術を用いて、例えば、単純な静止画のフェード処理を行なう場合を例に挙げて説明する。
【数４】
2008219100.tif 000006
【００２７】
ここで、Δｔは、符号化対象フレームと参照フレームとの間の時間間隔を示し、Ｓ（ｘ，ｙ，ｔ）は、時刻ｔにおけるフレーム内の画素位置（ｘ，ｙ）の画素値を示し、Ｃ（ｘ，ｙ）は画素位置（ｘ，ｙ）における画素値を示す。
【００２８】
つまり、画素値Ｃ（ｘ，ｙ）で表される静止画に対して、時刻ｔが０からＴまで変化する間のフェード処理を表したものがＳ（ｘ，ｙ，ｔ）である。
【００２９】
ここで、上述した従来技術を適用して、ウエイト値Ｗ及びオフセット値Ｄを求める。
【００３０】
まず、（式９）〜（式１２）のようにして、ＤＣｃｕｒ、ＤＣｒｅｆ、ＡＣｃｕｒ、及びＡＣｒｅｆを求める。
【数５】
2008219100.tif 000007
【００３１】
そして、（式９）〜（式１２）により求めた、ＤＣｃｕｒ、ＤＣｒｅｆ、ＡＣｃｕｒ、及び、ＡＣｒｅｆを、（式４）、（式５）に代入して、ウエイトＷ及びオフセット値Ｄを求める。
【数６】
2008219100.tif 000008
【００３２】
なお、ＡＣｃｕｒ及びＡＣｒｅｆを求める際に（式３）ではなく（式２）を用いても実用的な範囲で、ウエイトＷ及びオフセット値Ｄは（式１３）及び（式１４）と同じになる。これは、ｔ＋Δｔ≧０が成り立つ場合であるが、ｔ≧０なのでｔ≧−Δｔと同じである。この条件は、Δｔの絶対値がｔ以下であれば成り立つ。Δｔは符号化対象フレームと参照フレームの間の時間間隔であり、ｔはフェード区間を動くものである。従って、Δｔの絶対値は、十分にｔ以下であり、実用的な範囲内であるといえる。
【００３３】
また、予測画像の画素値ｐｒｅｄ（ｘ，ｙ，ｔ）は、（式１３）、（式１４）を（式６）に用いて、（式１５）のようになる。
【数７】
2008219100.tif 000009
【００３４】
ところで、時刻ｔの符号化対象画像フレームの平均画素値をＰ２ＤＣとし、時刻ｔ−Δｔの符号化対象画像フレームの平均画素値をＰ１ＤＣとすると、Ｐ２ＤＣとＰ１ＤＣは（式１６）と（式１７）のようになる。
【数８】
2008219100.tif 000010
【００３５】
そして、Ｐ２ＤＣとＰ１ＤＣとの間で、（式１８）の関係式が成り立つ。
【数９】
2008219100.tif 000011
【００３６】
また、図２は、フェード処理において、時刻変化に応じた符号化対象画像フレームの画素値変化の関係を示す関係図であり、Ｐ２ＤＣとＰ１ＤＣとの間の関係を示す。
【００３７】
図３は、フェード処理での参照画像の平均画素値と予測画像の平均画素値の相関関係を表したものである。時刻ｔにおいて、Ｐ１ＤＣは、参照画像フレームの平均画素値と考えられ、Ｐ２ＤＣは、予測画像フレームの平均画素値であると考えられる。そのため、時刻ｔにおける参照画像フレームの平均画素値と予測画像フレームの平均画素値の相関の分布は点（Ｐ１ＤＣ，Ｐ２ＤＣ）に広がっていると考えるのが妥当である。
【００３８】
また、従来技術を適用すると、予測画像の平均画素値ｐｒｅｄＤＣは、（式１９）、（式２０）のようになる。
【数１０】
2008219100.tif 000012
【００３９】
ここで、Σｒｅｆ（ｘ，ｙ，ｔ）／Ｎは、時刻ｔ−Δｔでの符号化対象画像の画素値Ｓ（ｘ，ｙ，ｔ−Δｔ）の平均値と等しいと考えられる。そこで、（式２０）は、（式２１）、（式２２）のようになる。
【数１１】
2008219100.tif 000013
【００４０】
また、（式２２）の予測画像の平均画素値ｐｒｅｄＤＣは、（式９）を用いてさらに整理すると、（式２３）のようになる。
【数１２】
2008219100.tif 000014
【００４１】
また、符号化対象画像の直流成分値ＤＣｃｕｒとＰ２ＤＣとは同じものであるので、予測画像の平均画素値ｐｒｅｄＤＣは（式２４）のようになる。
【数１３】
2008219100.tif 000015
【００４２】
図２に示したように、時刻ｔにおいて、予測画像の平均画素値として期待される画素値はＰ２ＤＣである。
【００４３】
ところが、（式２４）に示すように、従来技術により求められた予測画像の平均画素値は、Ｐ２ＤＣに（Δｔ／Ｔ）×ＣＤＣが加算された値であり、期待される値より大きい値となっている。
【００４４】
これは、すなわち、図４に示す予測画像の画素値と参照画像の画素値との間の相関関係において、従来技術により求められた予測画像の平均画素値の分布（図４では分布２で示す）は、期待される予測画像の平均画素値の分布（図４では分布１で示す）に比べて、上方にずれていることを意味している。
【００４５】
すなわち、上述してきたように、極めて簡単なフェード処理された画像の符号化の場合であっても、従来技術を用いて生成された予測画像フレームの平均画素値は符号化対象画像フレームの平均画素値との差が大きくなるため、予測画像フレームは符号化対象画像フレームとの間の差分が大きくなる。
【００４６】
そうすると、符号化対象画像フレームと予測画像フレームとの間の差分によって予測差分（予測誤差）を作成し、その予測差分（予測誤差）を符号化すると、符号化効率が低くなってしまうという問題が生じる。
【００４７】
そのため、フレーム間予測符号化に係る符号化効率を向上させるために、符号化対象画像フレームと予測画像フレームとの差分である予測差分を小さくすることができる予測画像生成装置、方法及びプログラム、並びに、画像符号化装置、方法及びプログラムが求められている。
【課題を解決するための手段】
【００４８】
かかる課題を解決するために、第１の本発明の予測画像作成装置は、参照画像フレームの処理単位ブロックに対し１又は複数のそれぞれの重み係数を乗算し、それら１又は複数の乗算結果にオフセット値を加えて、フレーム間予測符号化対象画像フレームの処理単位ブロックに対する、予測画像フレームの処理単位ブロックを生成する予測画像生成装置において、（１）１又は複数の重み係数を決定する重み係数決定手段と、（２）予測参照フレームの平均画素値が参照画像フレームの平均画素値と同等になるように、参照画像フレーム内の直流成分値を補正して、１又は複数のオフセット値を求めるオフセット値算出手段と、（３）重み係数決定手段が決定した各重み係数と、オフセット値算出手段が求めた各オフセット値とを用いて、予測画像フレームの処理単位ブロックを生成する予測画像生成手段とを備えることを特徴とする。
【００４９】
第２の本発明の予測画像作成方法は、参照画像フレームの処理単位ブロックに対し１又は複数のそれぞれの重み係数を乗算し、それら１又は複数の乗算結果にオフセット値を加えて、フレーム間予測符号化対象画像フレームの処理単位ブロックに対する、予測画像フレームの処理単位ブロックを生成する予測画像生成方法において、重み係数決定手段と、オフセット値算出手段と、予測画像生成手段とを備え、（１）重み係数決定手段が、１又は複数の重み係数を決定する重み係数決定工程と、（２）オフセット値算出手段が、予測参照フレームの平均画素値が参照画像フレームの平均画素値と同等になるように、参照画像フレーム内の直流成分値を補正して、１又は複数の上記オフセット値を求めるオフセット値算出工程と、（３）予測画像生成手段が、重み係数決定手段が決定した各重み係数と、オフセット値算出手段が求めた上記各オフセット値とを用いて、予測画像フレームの処理単位ブロックを生成する予測画像生成工程とを有することを特徴とする。
【００５０】
第３の本発明の予測画像作成プログラムは、参照画像フレームの処理単位ブロックに対し１又は複数のそれぞれの重み係数を乗算し、それら１又は複数の乗算結果にオフセット値を加えて、フレーム間予測符号化対象画像フレームの処理単位ブロックに対する、予測画像フレームの処理単位ブロックを生成する予測画像生成プログラムにおいて、コンピュータに、（１）１又は複数の重み係数を決定する重み係数決定手段、（２）予測参照フレームの平均画素値が参照画像フレームの平均画素値と同等になるように、参照画像フレーム内の直流成分値を補正して、１又は複数の上記オフセット値を求めるオフセット値算出手段、（３）重み係数決定手段が決定した各重み係数と、オフセット値算出手段が求めた各オフセット値とを用いて、予測画像フレームの処理単位ブロックを生成する予測画像生成手段として機能させるものである。
【００５１】
第４の本発明の画像符号化装置は、フレーム間予測符号化対象画像フレームの処理単位ブロックと、予測画像生成手段が生成した予測画像フレームの処理単位ブロックとの差分を符号化する画像符号化装置において、予測画像生成手段が、第１の本発明の予測画像生成装置に相当するものであることを特徴とする。
【００５２】
第５の本発明の画像符号化方法は、フレーム間予測符号化対象画像フレームの処理単位ブロックと、予測画像生成手段が生成した予測画像フレームの処理単位ブロックとの差分を符号化する画像符号化方法において、予測画像生成手段による予測画像生成方法が、第２の本発明の予測画像生成方法によるものであることを特徴とする。
【００５３】
第６の本発明の画像符号化プログラムは、コンピュータに、予測画像生成手段として機能させる予測画像生成プログラムを有し、フレーム間予測符号化対象画像フレームの処理単位ブロックと、予測画像生成手段により生成させた予測画像フレームの処理単位ブロックとの差分を符号化させる、上記コンピュータに読み取り可能な画像符号化プログラムにおいて、コンピュータに上記予測画像生成手段として機能させる予測画像生成プログラムが、第３の本発明の予測画像生成プログラムに相当するものであることを特徴とする。
【発明の効果】
【００５４】
本発明予測画像生成装置、方法及びプログラム、並びに、画像符号化装置、方法及びプログラムによれば、符号化対象画像フレームと予測画像フレームとの差分である予測差分を小さくすることができるため、フレーム間予測符号化に係る符号化効率を向上させることができる。
【発明を実施するための最良の形態】
【００５５】
（Ａ）第１の実施形態
以下、本発明の予測画像生成装置、方法及びプログラム、並びに、動画像符号化装置、方法及びプログラムの第１の実施形態を、図面を参照して説明する。
【００５６】
第１の実施形態は、例えば、フレーム間差分を用いた動画像符号化方式を採用した動画像符号化装置に、本発明を適用した場合を説明する。
【００５７】
以下で説明する動画像符号化装置は、ハードウェア資源（例えばＣＰＵ等）が処理プログラムを実行するソフトウェア処理により実現することを想定して説明するが、可能であれば、ハードウェア処理により実現するようにしてもよい。
【００５８】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の動画像符号化装置１５の内部構成を示すブロック図である。図１において、第１の実施形態の動画像符号化装置１５は、減算器１、ＤＣＴ（離散コサイン変換；Discrete  Cosine  Transform）部２、量子化部３、符号化部４、逆量子化部５、逆ＤＣＴ部６、加算器７、フレームメモリ８、ウエイト部９、オフセット計算部１０、予測ブロック生成部１１、予測ブロック選択部１２、を少なくとも有して構成される。
【００５９】
動画像符号化装置１５は、フレーム毎の画像信号を入力すると、画像フレーム（符号化対象フレーム）を所定の処理単位ブロック（画素ブロックともいう）に分割し、分割したそれぞれの処理単位ブロック毎に符号化処理を行なうものである。
【００６０】
減算器１は、入力された符号化対象フレームの画素ブロックと、予測ブロック選択部１２からの予測ブロックとの間の差分をとり、その差分を示す予測誤差信号をＤＣＴ部２に与えるものである。
【００６１】
ＤＣＴ部２は、減算器１からの予測誤差信号を離散コサイン変換し、これにより得たＤＣＴ係数データを量子化部３に与えるものである。
【００６２】
量子化部３は、ＤＣＴ部２からのＤＣＴ係数データを量子化し、量子化ＤＣＴ係数データを符号化部４と逆量子化部５とに与えるものである。
【００６３】
符号化部４は、量子化部３により量子化された量子化ＤＣＴ係数データを符号化し、符号化信号として出力するものである。
【００６４】
逆量子化部５は、量子化部３により量子化された量子化ＤＣＴ係数データを逆量子化して逆ＤＣＴ下部６に与えるものである。
【００６５】
逆ＤＣＴ部６は、逆量子化部５からのＤＣＴ係数データを逆離散コサイン変換し、予測誤差信号を復元するものである。
【００６６】
加算器７は、逆ＤＣＴ部６により復元された予測誤差信号と予測ブロック選択部１２からの予測ブロックとを加算して局部復号画像信号を生成し、この局部復号画像信号を参照画像信号（参照フレーム）として、フレームメモリ８に記憶させるものである。
【００６７】
フレームメモリ８は、参照画像の交流成分値ＡＣｒｅｆをウエイト計算部９に与えると共に、参照画像の直流成分値をオフセット計算部１０に与えるものである。
【００６８】
ここで、符号化対象の画素ブロックに対する参照ブロックの作成方法は、種々の方法を用いることができるが、例えば、少なくとも１つの参照画像から抽出した画素ブロックと、参照画像と符号化対象の画素ブロックの変化から得られる動きベクトルとに基づいて作成する方法を適用することができる。このとき、１つの符号化対象の画素ブロックに対して、複数の参照画像に基づいて複数の参照ブロックを作成するようにしてもよい。
【００６９】
ウエイト計算部９は、符号化対象画像フレームの交流成分値ＡＣｃｕｒ及び参照画像フレームの交流成分値ＡＣｒｅｆを取り込み、これら符号化対象画像フレームの交流成分値ＡＣｃｕｒ及び参照画像フレームの交流成分値ＡＣｒｅｆを用いて、ウエイト値（重み係数）を計算するものである。また、ウエイト計算部９は、予測ブロック生成部１１及びオフセット計算部１１３に対し、算出したウエイト値を与えるものである。
【００７０】
図５は、ウエイト値計算部９（図５では「１０５」を付して示す）の内部構成を示す機能ブロック図である。図５において、ウエイト値計算部１０５は、符号化対象画像フレームの交流成分値ＡＣｃｕｒを取り込む符号化対象画像交流成分入力部１０１、参照画像フレームの交流成分値ＡＣｒｅｆを取り込む参照画像交流成分入力部１０２、符号化対象画像フレームの交流成分値ＡＣｃｕｒを参照画像フレームの交流成分値ＡＣｒｅｆで除算する割算部１０３、割算部１０３の算出結果をウエイト値Ｗとして出力するウエイト値出力部１０４、を少なくとも有する。
【００７１】
ここで、ウエイト計算部９は、符号化対象画像フレームの交流成分値ＡＣｃｕｒ及び参照画像フレームの交流成分値ＡＣｒｅｆを用いて、（式２５）に従って、ウエイト値Ｗを求める。
【数１４】
2008219100.tif 000016
【００７２】
オフセット値計算部１０は、ウエイト計算部９からのウエイト値Ｗ、符号化対象画像フレームの直流成分値ＤＣｃｕｒ及び参照画像フレームの直流成分値ＤＣｒｅｆを取り込み、これらウエイト値Ｗ、符号化対象画像フレームの直流成分値ＤＣｃｕｒ及び参照画像フレームの直流成分値ＤＣｒｅｆを用いて、オフセット値Ｄを算出し、予測ブロック生成部１１に与えるものである。
【００７３】
図６は、オフセット値計算部１０（図６では「１１３」を付して示す）の内部構成を示す機能ブロック図である。
【００７４】
図６において、オフセット値出力部１１３は、ウエイト計算部９からウエイト値Ｗを取り込むウエイト値入力部１０７、参照画像フレームの直流成分値ＤＣｒｅｆを取り込む参照画像直流成分入力部１０８、ウエイト値Ｗと参照画像フレームの直流成分値ＤＣｒｅｆとを乗算する掛算部１１０、符号化対象画像フレームの直流成分値ＤＣｃｕｒを取り込む符号化対象画像直流成分入力部１０６、符号化対象画像フレームの直流成分値ＤＣｃｕｒから掛算部１１０の演算値を減算する減算部１１１、を少なくとも有する。
【００７５】
ここで、オフセット値計算部１０は、ウエイト値Ｗ、符号化対象画像フレームの直流成分値ＤＣｃｕｒ及び参照画像フレームの直流成分値ＤＣｒｅｆを用いて、（式２６）に従って、オフセット値Ｄを求める。
【数１５】
2008219100.tif 000017
【００７６】
予測ブロック生成部１１は、ウエイト計算部９からのウエイト値Ｗと、オフセット計算部１０からのオフセット値Ｄとに基づいて、予測画像フレームの予測ブロックを生成するものである。
【００７７】
ここで、予測画像フレームの画素値ｐｒｅｄは、ウエイト値Ｗ及びオフセット値Ｄと、参照画像フレームの画素値ｒｅｆとを用いて、（式２７）に従って求める。
【００７８】
ｐｒｅｄ＝Ｗ×ｒｅｆ＋Ｄ      （式２７）
また、（式２５）及び（式２６）を、（式２７）に代入することにより、予測画像フレームの画素値ｐｒｅｄは（式２８）に従って求めることができる。
【数１６】
2008219100.tif 000018
【００７９】
このように、（式２８）において、参照画像フレームの画素値ｒｅｆが参照画像フレームの直流成分値ＤＣｒｅｆである場合（ｒｅｆ＝ＤＣｒｅｆ）、予測画像フレームの画素値ｐｒｅｄは、（式２９）に示すように、符号化対象画像フレームの直流成分値ＤＣｃｕｒと等しくなる。
【００８０】
ｐｒｅｄ＝ＤＣｃｕｒ      （式２９）
つまり（式２８）であられされる（ｒｅｆ，ｐｒｅｄ）が描く直線は、点（ＤＣｒｅｆ、ＤＣｃｕｒ）を通り、このときＰ１ＤＣ＝ＤＣｒｅｆ、Ｐ２ＤＣ＝ＤＣｃｕｒであるので、点（Ｐ１ＤＣ、Ｐ２ＤＣ）を通ることになる。すなわち、図３に示すように、第１の実施形態で求めた予測画像フレームの画素値は、期待される予測画像フレームの画素値となる。
【００８１】
従って、第１の実施形態で求めた予測画像フレームを用いて符号化対象画像フレームとの差分を求めて符号化を行なうことは、従来技術に比べて、予測画像フレームと符号化対象画像フレームとの差分を小さくすることができるので、圧縮符号化効率を向上させることができる。
【００８２】
（Ａ−２）第１の実施形態の動作
続いて、第１の実施形態の動画像符号化装置１５における予測画像の生成処理の動作について図面を参照しながら説明する。
【００８３】
第１の実施形態では、入力された符号対象画像フレームと１つの参照画像フレームとの組に対して、ウエイト値Ｗ及びオフセット値Ｄを算出して符号化処理を行なうものである。
【００８４】
図７は、第１の実施形態の予測画像の生成処理の動作を示す動作フローチャートである。
【００８５】
図７において、まず、フレーム毎の符号対象画像が入力されると、動画像符号化装置１５において、符号化対象画像フレームの直流成分値ＤＣｃｕｒ及び交流成分値ＡＣｃｕｒが算出される（ステップＳ２０１）。
【００８６】
また、動画像符号化装置１５において、参照画像フレームの直流成分値ＤＣｒｅｆ及び交流成分値ＡＣｒｅｆが算出される（ステップＳ２０２）。
【００８７】
ここで、ステップＳ２０１及びＳ２０２における、符号化対象画像フレームの直流成分値ＤＣｃｕｒ、交流成分値ＡＣｃｕｒ、参照画像フレームの直流成分値ＤＣｒｅｆ及び交流成分値ＡＣｒｅｆの算出方法は、特に限定されるものではなく、上述した従来技術を適用することができる。そのため、ここでの詳細な説明は省略する。
【００８８】
次に、符号化対象画像フレームの交流成分値ＡＣｃｕｒ及び参照画像フレームの交流成分値ＡＣｒｅｆがウエイト計算部９に与えられ、ウエイト計算部９により、ウエイト値Ｗが算出される（ステップＳ２０３）。
【００８９】
すなわち、ウエイト計算部９では、（式２５）に従って、符号化対象画像フレームの交流成分値ＡＣｃｕｒを参照画像フレームの交流成分値ＡＣｒｅｆで除算し、その除算結果であるＡＣｃｕｒ／ＡＣｒｅｆがウエイト値Ｗとして、予測ブロック生成部１１及びオフセット計算部１０に与えられる。
【００９０】
次に、オフセット計算部１０では、重み係数としてのウエイト値Ｗに参照画像フレームの直流成分値ＤＣｒｅｆを乗算した結果を、参照画像フレームの補正直流成分値として算出する（ステップＳ２０４）。
【００９１】
さらに、オフセット計算部１０では、符号化対象画像フレームの直流成分値ＤＣｃｕｒから上記補正直流成分値を減算した結果を、オフセット値Ｄとして算出し、（ステップＳ２０５）、算出したオフセット値Ｄが、予測ブロック生成部１１に与えられる。
【００９２】
ウエイト計算部９のウエイト値Ｗ、オフセット計算部１０のオフセット値Ｄ、及び、参照画像フレームの画素値ｒｅｆが、予測ブロック生成部１１に与えられる。予測ブロック生成部１１では、ウエイト値Ｗ、オフセット値Ｄ及び参照画像フレームの画素値ｒｅｆを用いて、（式２８）に従って、予測画像フレームの予測ブロックを生成する（ステップＳ２０６）。
【００９３】
予測ブロック生成部１１により予測ブロックが生成されると、予測ブロック選択部１２により、符号化対象画像フレームの符号化対象となるブロックに対応する予測ブロックが選択され、減算器１により、選択された予測ブロックと符号化対象ブロックとの差分が予測誤差信号として生成される（ステップＳ２０７）。そして、その予測誤差信号が符号化部４により符号化されて出力される（ステップＳ２０８）。
【００９４】
なお、ステップＳ２０６〜Ｓ２０８における、予測ブロックの生成処理、予測誤差信号の生成処理及び符号化処理は、従来の既存技術を適用することができるので、ここでの詳細な説明は省略する。
【００９５】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、オフセット値Ｄを算出する際に、参照画像フレームの直流成分値ＤＣｒｅｆとウエイト値Ｗに基づいて、参照画像フレームの補正直流成分値を算出し、この補正直流成分値と符号化対象画像フレームの直流成分値とに基づいてオフセット値Ｄを算出することにより、予測画像フレーム内の平均画素値を、期待される予測画像フレーム内の平均画素値に補正することで、予測差分を小さくすることができるので、従来よりも圧縮符号化効率を向上させることができる。
【００９６】
（Ｂ）他の実施形態
第１の実施形態では、ウエイト計算部９がウエイト値Ｗを算出する場合を説明したが、ウエイト計算部９を使用せず、別の装置が求めたウエイト値、及び又は、別の方法で求めたウエイト値を用いるようにしてもよい。この場合、ウエイト計算部９は不要である。
【００９７】
第１の実施形態の（式２５）では、符号化対象画像及び参照画像の交流成分値の比で求めることとしたが、これに限定されることなく、別の方法でウエイト値を算出するようにしてもよい。
【００９８】
第１の実施形態では、説明便宜上、１つの符号化対象画像の画素ブロックと、１つの参照画像の画素ブロックとの組み合わせを想定して説明したが、１つの符号化対象画像の画素ブロックに対して、複数の参照画像の画素ブロックの複数の組み合わせについて、それぞれウエイト値及びオフセット値を算出しても、同様の効果を得ることができる。
【００９９】
この場合、ウエイト計算部９及びオフセット計算部１０は、１つの符号化対象の画素ブロックに対して、複数のウエイト値及び複数のオフセット値を算出し、予測ブロック生成部１１が、１つの符号化対象の画素ブロックに対して複数の予測ブロックを生成し、予測ブロック選択部１２が、複数の予測ブロックの中から予測ブロックを選択するようにする。
【０１００】
第１の実施形態の図１で示した動画像符号化装置の構成は、一例を示したに過ぎず、図１の構成に限定されない。つまり、本発明は、参照画像ブロックの画素値にウエイト値を乗算し、これにオフセット値を加えることで、予測ブロックを生成するフレーム間予測符号化方式を採用した動画像符号化装置であれば、広く適用することができる。
【図面の簡単な説明】
【０１０１】
【図１】第１の実施形態の動画像符号化装置の内部構成を示すブロック図である。
【図２】従来技術を用いてフェード処理を行なった場合の平均画素値の変化を示す説明図である。
【図３】従来技術において、期待される予測画像の平均画素値と参照画像の平均画素値との相関関係を示す説明図である。
【図４】従来技術を適用した場合の予測画像の平均画素値と参照画像の平均画素値との間の相関関係を示す説明図である。
【図５】第１の実施形態のウエイト計算部の機能構成を示す機能ブロック図である。
【図６】第１の実施形態のオフセット計算部の機能構成を示す機能ブロック図である。
【図７】第１の実施形態の予測ブロックの生成処理の動作を示すフローチャートである。
【符号の説明】
【０１０２】
１５…動画像符号化装置、９…ウエイト計算部、１０…オフセット計算部、１１…予測ブロック生成部、１０１…符号化対象画像交流成分入力部、１０２…参照画像交流成分入力部、１０３…割算部、１０４…ウエイト値出力部、１０６…符号化対象画像直流成分入力部、１０７…ウエイト値入力部、１０８…参照画像直流成分入力部、１０９…オフセット値出力部、１１０…掛算部、１１１…減算部。
【図１】
2008219100.tif 000019
【図２】
2008219100.tif 000020
【図３】
2008219100.tif 000021
【図４】
2008219100.tif 000022
【図５】
2008219100.tif 000023
【図６】
2008219100.tif 000024
【図７】
2008219100.tif 000025