(57)【要約】【課題】復号画像の画質を向上する動き補償装置を提供する。【解決手段】デコーダ１１は、所定の規格で符号化されたストリームが入力され、復号画像を出力する。ストリームには動きベクトルが含まれる。高精度動き補償部１２は、高精度ベクトルが入力され、既に出力されたフレームを動き補償して動き補償画像を出力する。選択部１３は、デコーダ１１から出力された復号画像と、高精度動き補償部１２によって動き補償された動き補償画像とを領域ごとに比較し、領域ごとに画質の高い方を選択して出力する。フレームメモリ１４は、出力画像を蓄積し、蓄積されたフレームを高精度動き補償部１２に出力する。これによって、高精度動き補償部１２において次フレーム以降の動き補償が行われる。【選択図】図１
2008219628.tif 000002
【特許請求の範囲】
【請求項１】
所定の規格で符号化された、第１の動きベクトルを含むストリームが入力されるとともに、復号画像を生成する復号手段と、
前記第１の動きベクトルより高い精度の第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記復号画像及び前記動き補償画像に基づいて出力画像を生成する生成手段と、
前記出力画像を蓄積し、蓄積した出力画像を前記補償手段に出力する蓄積手段とを具えることを特徴とする動き補償装置。
【請求項２】
所定の規格で符号化された、第１の動きベクトルを含むストリームが入力されるとともに、復号画像を生成する復号手段と、
前記第１の動きベクトルより高い精度の第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記復号画像及び前記動き補償画像に基づいて出力画像を生成する生成手段とを具え、
前記復号手段が、
前記出力画像を蓄積し、蓄積した出力画像を前記補償手段に出力する蓄積手段を有することを特徴とする動き補償装置。
【請求項３】
所定の規格で符号化された、第１の動きベクトルを含むストリームが入力されるとともに、復号画像を生成する復号手段と、
前記第１の動きベクトルより高い精度の第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記復号画像及び前記動き補償画像に基づいて出力画像を生成する生成手段と、
前記復号画像及び前記出力画像を蓄積し、蓄積した復号画像と出力画像のうちの一方を前記補償手段に出力する蓄積手段とを具えることを特徴とする動き補償装置。
【請求項４】
前記第１の動きベクトル及び前記第１の動きベクトルと前記第２の動きベクトルとの差分ベクトルが入力されるとともに、前記第１の動きベクトルと前記差分ベクトルとを加算して前記第２の動きベクトルを生成し、前記第２の動きベクトルを前記補償手段に出力する加算手段を更に具えることを特徴とする請求項１から３のうちのいずれか１項に記載の動き補償装置。
【請求項５】
入力画像を、所定の規格で符号化された、第１の動きベクトルを含むストリームに符号化し、前記ストリームをデコーダに出力する符号化手段と、
既に出力された画像と前記入力画像との間で、前記第１の動きベクトルより高い精度の第２の動きベクトルを検出する検出手段と、
前記第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記ストリームをデコードして得られる画像及び前記動き補償画像に基づいて出力画像を生成する生成手段と、
前記出力画像を蓄積し、蓄積した出力画像を前記検出手段及び前記補償手段に出力する蓄積手段とを具えることを特徴とする動き補償装置。
【請求項６】
入力画像を、所定の規格で符号化された、第１の動きベクトルを含むストリームに符号化し、前記ストリームをデコーダに出力する符号化手段と、
既に出力された画像と前記入力画像との間で、前記第１の動きベクトルより高い精度の第２の動きベクトルを検出する検出手段と、
前記第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記ストリームをデコードして得られる画像及び前記動き補償画像に基づいて出力画像を生成する生成手段とを具え、
前記符号化手段が、
前記出力画像を蓄積し、蓄積した出力画像を前記動きベクトル検出手段及び前記補償手段に出力する蓄積手段を有することを特徴とする動き補償装置。
【請求項７】
入力画像を、所定の規格で符号化された、第１の動きベクトルを含むストリームに符号化し、前記ストリームを、デコーダに出力する符号化手段と、
既に出力された画像と前記入力画像との間で、前記第１の動きベクトルより高い精度の第２の動きベクトルを検出する検出手段と、
前記第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記ストリームをデコードして得られる画像及び前記動き補償画像に基づいて出力画像を生成する生成手段と、
前記ストリームをデコードして得られる画像及び前記出力画像を蓄積し、蓄積した復号画像と出力画像のうちの一方を前記検出手段及び前記補償手段に出力する蓄積手段とを具えることを特徴とする動き補償装置。
【請求項８】
前記第１の動きベクトル及び前記第２の動きベクトルが入力されるとともに、前記第１の動きベクトルから前記第２の動きベクトルを減算して、前記第１の動きベクトルと前記第２の動きベクトルとの差分ベクトルを生成する減算手段を更に具えることを特徴とする請求項５から７のうちのいずれか１項に記載の動き補償装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、復号画像の画質を向上する動き補償装置に関する。
【背景技術】
【０００２】
現在、デジタル放送では、画像の圧縮符号化にＭＰＥＧ−２方式及びＡＶＣ／Ｈ．２６４方式が広く用いられている。デジタル放送では、デコーダの互換性の確保やコスト低減のために、符号化規格で許容されるパラメータを更に制限した運用規定が設けられている。
【０００３】
普及したデコーダに対するサービスを継続するために、符号化方式や運用規定が拡張されることは放送では稀である。一方、デコーダを構成するデバイスの性能は年々向上するので、後年に開発されるデコーダ又はデコード機能を内包する装置は、高い演算能力を有する。そのために、符号化方式や運用規定が確定された後に開発されたデコーダは、符号化規定や運用規定で定められた演算以上の複雑な画像処理が可能となる。
【０００４】
画像の圧縮符号化における動き補償処理で用いる動きベクトルは、精度が高くなるに従って、符号化された画像の画質が向上する。しかしながら、精度の高い動きベクトルを用いると、エンコーダ及びデコーダの演算量が向上する。動きベクトルの精度は、デバイスの進歩に応じて定められ、新しい符号化規格ほど高い精度になっている。例えば、ＭＰＥＧ−１及びＭＰＥＧ２では０．５画素の精度の動きベクトルを使用し、ＭＰＥＧ−４では０．５〜０．２５画素の精度の動きベクトルを使用し、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４では０．２５画素の精度の動きベクトルを使用している。なお、本明細書において、動きベクトルの「精度」とは、「正確さ」ではなく「単位」又は「刻み」を意味するものとする。
【０００５】
現在使用されているエンコーダでは、Ｐフレーム及びＢフレームに比べて多くの符号量をＩフレームに割り当てている。したがって、Ｉフレームの画質はＰフレーム及びＢフレームの画質より高くなっている。
【非特許文献１】インプレス標準教科書シリーズ改訂版Ｈ．２６４／ＡＶＣ教科書（ＩＳＢＮ４−８４４３−２２０４−４）第２０〜２１頁、第４８頁  インプレス
【発明の開示】
【発明が解決しようとする課題】
【０００６】
カメラがパンしている画像や被写体が移動している画像では、移動速度が符号化規格の動きベクトルの精度と合致していない領域が多く存在する。そのような領域では、物体の本来の動きとは若干異なる動きベクトルを用いて動き補償予測が行われる。
【０００７】
フレームごとに０．２５画素のパンニングが行われている画像を、動き補償精度が０．５画素の方式で（先頭のフレームをＩフレームとして符号化するとともに後のフレームをＰフレームとして符号化する）ＩＰＰＰ構造で符号化する例を、図１５に示す。
【０００８】
最初のフレームをＩフレームとして原画像１を符号化し、それを復号することによって復号画像２が得られる。２フレーム（Ｐフレーム）目からは、復号画像２を０．５画素の精度で動き補償した予測画像３と、予測画像３と原画像４との差分画像５を圧縮した復号画像６とが得られる。ここで、原画像４は、一つ前のフレームに対して０．２５画素の動きをしているにもかかわらず、符号化方式の制限により、予測画像３は、１フレーム前の復号画像２を０．５画素の精度で移動して作成され、すなわち、ブロックにより０画素の移動又は０．５画素の移動が行われる。そのために、予測画像３と原画像４との間に０．２５画素シフト分の誤差が存在し、このような誤差が復号画像６の画質を低下させる原因となる。
【０００９】
３フレーム目では、復号画像６を０．５画素精度で動き補償した予測画像７と、予測画像７と原画像８との差分画像９とが得られる。ここでも同様に、予測画像７は、本来の動きとは異なる動きベクトルによって動き補償されているので、予測画像７は、原画像８とは０．２５画素シフト分の誤差が存在するだけでなく、既に画質が低下した復号画像６を元にしているので予測画像７と原画像８との間の誤差は大きな値となり、復号画像１０の画質は更に低下する。
【００１０】
このように本来の動きベクトルより下の精度の動き補償を行うと、各フレームの動き補償予測誤差が大きくなり、画像劣化の原因となる。さらに、予測誤差を送信するための十分なビットレートがない場合、フレームごとに劣化が蓄積する。
【００１１】
本発明の目的は、復号画像の画質を向上する動き補償装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明による第１の動き補償装置は、
所定の規格で符号化された、第１の動きベクトルを含むストリームが入力されるとともに、復号画像を生成する復号手段と、
前記第１の動きベクトルより高い精度の第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記復号画像及び前記動き補償画像に基づいて出力画像を生成する生成手段と、
前記出力画像を蓄積し、蓄積した出力画像を前記補償手段に出力する蓄積手段とを具えることを特徴とする。
【００１３】
本発明による第２の動き補償装置は、
所定の規格で符号化された、第１の動きベクトルを含むストリームが入力されるとともに、復号画像を生成する復号手段と、
前記第１の動きベクトルより高い精度の第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記復号画像及び前記動き補償画像に基づいて出力画像を生成する生成手段とを具え、
前記復号手段が、
前記出力画像を蓄積し、蓄積した出力画像を前記補償手段に出力する蓄積手段を有することを特徴とする。
【００１４】
本発明による第３の動き補償装置は、
所定の規格で符号化された、第１の動きベクトルを含むストリームが入力されるとともに、復号画像を生成する復号手段と、
前記第１の動きベクトルより高い精度の第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記復号画像及び前記動き補償画像に基づいて出力画像を生成する生成手段と、
前記復号画像及び前記出力画像を蓄積し、蓄積した復号画像と出力画像のうちの一方を前記補償手段に出力する蓄積手段とを具えることを特徴とする。
【００１５】
本発明による第４の動き補償装置は、
本発明による第１〜３の動き補償装置において、前記第１の動きベクトル及び前記第１の動きベクトルと前記第２の動きベクトルとの差分ベクトルが入力されるとともに、前記第１の動きベクトルと前記差分ベクトルとを加算して前記第２の動きベクトルを生成し、前記第２の動きベクトルを前記補償手段に出力する加算手段を更に具えることを特徴とする。
【００１６】
本発明による第５の動き補償装置は、
入力画像を、所定の規格で符号化された、第１の動きベクトルを含むストリームに符号化し、前記ストリームをデコーダに出力する符号化手段と、
既に出力された画像と前記入力画像との間で、前記第１の動きベクトルより高い精度の第２の動きベクトルを検出する検出手段と、
前記第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記ストリームをデコードして得られる画像及び前記動き補償画像に基づいて出力画像を生成する生成手段と、
前記出力画像を蓄積し、蓄積した出力画像を前記検出手段及び前記補償手段に出力する蓄積手段とを具えることを特徴とする。
【００１７】
本発明による第６の動き補償装置は、
入力画像を、所定の規格で符号化された、第１の動きベクトルを含むストリームに符号化し、前記ストリームをデコーダに出力する符号化手段と、
既に出力された画像と前記入力画像との間で、前記第１の動きベクトルより高い精度の第２の動きベクトルを検出する検出手段と、
前記第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記ストリームをデコードして得られる画像及び前記動き補償画像に基づいて出力画像を生成する生成手段とを具え、
前記符号化手段が、
前記出力画像を蓄積し、蓄積した出力画像を前記動きベクトル検出手段及び前記補償手段に出力する蓄積手段を有することを特徴とする。
【００１８】
本発明による第７の動き補償装置は、
入力画像を、所定の規格で符号化された、第１の動きベクトルを含むストリームに符号化し、前記ストリームを、デコーダに出力する符号化手段と、
既に出力された画像と前記入力画像との間で、前記第１の動きベクトルより高い精度の第２の動きベクトルを検出する検出手段と、
前記第２の動きベクトルが入力されるとともに、前記第２の動きベクトルを用いて画像を動き補償し、動き補償画像を生成する補償手段と、
前記ストリームをデコードして得られる画像及び前記動き補償画像に基づいて出力画像を生成する生成手段と、
前記ストリームをデコードして得られる画像及び前記出力画像を蓄積し、蓄積した復号画像と出力画像のうちの一方を前記検出手段及び前記補償手段に出力する蓄積手段とを具えることを特徴とする。
【００１９】
本発明による第８の動き補償装置は、
前記第１の動きベクトル及び前記第２の動きベクトルが入力されるとともに、前記第１の動きベクトルから前記第２の動きベクトルを減算して、前記第１の動きベクトルと前記第２の動きベクトルとの差分ベクトルを生成する減算手段を更に具えることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、第１の動きベクトルより高い精度の第２の動きベクトルを用いて画像の動き補償を行うので、画像の本来の動きに適合した動きベクトルを用いて動き補償を行うことができるようになり、その結果、復号画像の画質を向上することができる。
【発明を実施するための最良の形態】
【００２１】
本発明による動き補償装置の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による動き補償装置の第１の実施の形態のブロック図である。デジタル放送などに適用される本実施の形態の動き補償装置は、デコーダ１１と、高精度動き補償部１２と、選択部１３と、フレームメモリ１４とを具える。
【００２２】
デコーダ１１は、ＭＰＥＧ−２などの符号化方式が適用される従来のデコーダであり、符号化規格や運用規定のような所定の規格で符号化されたストリームが入力され、復号画像を出力する。ストリームには動きベクトルが含まれる。高精度動き補償部１２は、ストリームに含まれる動きベクトルより精度が高いベクトル（以下、「高精度ベクトル」と称する。）が入力され、既に出力されたフレームを動き補償して動き補償画像を出力する。本実施の形態では、高精度動き補償を、適用する符号化方式で用いられるブロックサイズと同一サイズのブロックごとに画像を分割して行い、ストリームに含まれる動きベクトルの精度と高精度ベクトルの精度の組合せを、０．５画素と０．２５画素とする。
【００２３】
選択部１３は、デコーダ１１から出力された復号画像と、高精度動き補償部１２によって動き補償された動き補償画像とを領域ごとに比較し、領域ごとに画質の高い方を選択して出力する。フレームメモリ１４は、出力画像を蓄積し、蓄積されたフレームを高精度動き補償部１２に出力する。これによって、高精度動き補償部１２において次フレーム以降の動き補償が行われる。
【００２４】
本実施の形態の動作を、図２を用いて説明する。本実施の形態によれば、動き補償フレームのみを画質向上するために、最初のフレームは、デコーダ１１が出力する復号画像２を出力する。復号画像２は、フレームメモリ１４に蓄積される。
【００２５】
２フレーム目では、高精度動き補償部１２において、復号画像２を精度０．２５の高精度ベクトルによって動き補償した動き補償画像１５を生成する。選択部１３では、動き補償画像１５と、デコーダが出力した復号画像３とを領域ごとに比較し、領域ごとに画質の高い方を選択して出力画像１６を出力する。ここで、動き補償画像１５は、原画像４の動きと同じ動きベクトルによって動き補償した画像であるため、原画像４と非常に類似している。したがって、選択部１３では、画面内のほとんどの領域について動き補償画像１５を出力する。出力画像１６は、フレームメモリ１４で蓄積され、次フレーム以降の動き補償で利用される。
【００２６】
従来のデコーダでは、本来の動きと異なる動きベクトルで動き補償した結果として生じる誤差により画質が劣化するが、本実施の形態によれば、高精度ベクトル、すなわち、符号化規格より高い精度の動きベクトルを用いることによって、（Ｉフレームの）高い画質を維持することができる。また、符号化規格や運用規定のような所定の規格で符号化された従来のストリームが用いられるので、従来のデコーダでも復号可能である。
【００２７】
ストリームの他に上記実施の形態による動き補償装置に入力すべき情報は、高精度動きベクトルだけであるので、ストリームに比べて低いビットレートの増加で復号画像の画質を向上することができる。
【００２８】
図３は、本発明による動き補償装置の第２の実施の形態のブロック図である。デジタル放送などに適用される本実施の形態の動き補償装置は、エンコーダ２１と、高精度動きベクトル検出部２２と、高精度動き補償部２３と、選択部２４と、フレームメモリ２５とを具える。
【００２９】
エンコーダ２１は、ＭＰＥＧ−２などの符号化方式が適用される従来のエンコーダであり、入力画像をストリームに符号化し、そのストリームを図１のデコーダ１１に出力する。高精度ベクトル検出部２２は、フレームメモリ２５の出力と入力画像との間で高精度動きベクトルを検出する。高精度動き補償部２３は、高精度ベクトル検出部２２から高精度ベクトルが入力され、フレームメモリ２５の出力を動き補償して動き補償画像を出力する。
【００３０】
選択部２４は、入力画像と、高精度動き補償部２３によって動き補償された動き補償画像とを領域ごとに比較し、領域ごとに画質の高い方を選択して出力画像をフレームメモリ２５に出力する。フレームメモリ２５は、出力画像を蓄積し、蓄積されたフレームを高精度動きベクトル検出部２２及び高精度動き補償部２３に出力する。
【００３１】
本実施の形態によれば、上記第１の実施の形態の動き補償装置に入力されるストリーム及び高精度動きベクトルを生成することができる。
【００３２】
図４は、本発明による動き補償装置の第３の実施の形態のブロック図である。本実施の形態の動き補償装置は、デコーダ３１と、高精度動き補償部３２と、選択部３３とを具える。
【００３３】
本実施の形態では、デコーダ３１は、デコーダ３１から出力された復号画像を蓄積する図示しないフレームメモリを有する。このようなフレームメモリは、ＭＰＥＧ−２方式やＡＶＣ／Ｈ．２６４方式などの動き補償予測を用いる符号化規格のデコーダは元来有している。このフレームメモリは、蓄積されたフレームを高精度動き補償部３２に出力する。本実施の形態によれば、追加のフレームメモリを有することなく復号画像の画質を向上するため、リソースが限られている場合に有利である。
【００３４】
図５は、本発明による動き補償装置の第４の実施の形態のブロック図である。上記第３の実施の形態の動き補償装置に入力されるストリーム及び高精度動きベクトルを生成する本実施の形態の動き補償装置は、エンコーダ４１と、高精度動きベクトル検出部４２と、高精度動き補償部４３と、選択部４４とを具える。
【００３５】
本実施の形態では、エンコーダ４１は、エンコーダ４１から出力された符号化画像を蓄積する図示しないフレームメモリを有する。このようなフレームメモリは、ＭＰＥＧ−２方式やＡＶＣ／Ｈ．２６４方式などの動き補償予測を用いる符号化規格のデコーダは元来有している。このフレームメモリは、蓄積されたフレームを高精度動き補償部１２に出力する。本実施の形態によれば、追加のフレームメモリを有することなくストリーム及び高精度動きベクトルを生成するため、リソースが限られている場合に有利である。
【００３６】
図６は、本発明による動き補償装置の第５の実施の形態のブロック図である。本実施の形態の動き補償装置は、デコーダ５１と、高精度動き補償部５２と、選択部５３と、フレームメモリ５４とを具える。
【００３７】
本実施の形態では、デコーダ５１から出力される復号画像と選択部５３から出力される出力画像の両方がフレームメモリ５４に入力され、より高画質な結果を得る方の画像が高精度動き補償部５２に入力される。
【００３８】
図７は、本発明による動き補償装置の第６の実施の形態のブロック図である。上記第５の実施の形態の動き補償装置に入力されるストリーム及び高精度動きベクトルを生成する本実施の形態の動き補償装置は、エンコーダ６１と、高精度動きベクトル検出部６２と、高精度動き補償部６３と、選択部６４と、フレームメモリ６５とを具える。
【００３９】
本実施の形態では、エンコーダ６１から出力される符号化画像と選択部６４から出力される出力画像の両方がフレームメモリ６５に入力され、より高画質な結果を得る方の画像が高精度ベクトル検出部６２および高精度動き補償部６３に入力される。
【００４０】
図８は、本発明による動き補償装置の第７の実施の形態のブロック図である。本実施の形態の動き補償装置は、デコーダ７１と、加算器７２と、高精度動き補償部７３と、選択部７４と、フレームメモリ７５とを具える。
【００４１】
デコーダ７１は、直行変換及び動き補償を行う一般的な符号化方式に基づく従来のデコーダであり、エントロピー復号部７１ａと、逆量子化・逆変換部７１ｂと、動き補償部７１ｃと、加算器７１ｄと、フレームメモリ７１ｅとを具える。
【００４２】
デコーダ７１が従来のデコーダであるため、本実施の形態では、Ｐフレームのデコード方法のみ説明する。エントロピー復号部７１ａは、ストリームをエントロピー復号し、量子化された直交変換係数を逆量子化・逆変換部７１ｂに出力するとともに、動きベクトルを動き補償部７１ｃ及び加算器７２に出力する。
【００４３】
逆量子化・逆変換部７１ｂは、量子化された直交変換係数の逆量子化及び逆変換を行い、その出力は、加算器７１ｄにおいて動き補償部７１ｃの出力に加算され、これらの出力の和がデコーダ７１の復号画像となる。復号画像は、フレームメモリ７１ｅに蓄積され、次フレームの動き補償で用いられる。動き補償部７１ｃは、フレームメモリ７１ｅが出力するデコーダ７１が出力した過去のフレームの画像を、動きベクトルを用いて動き補償し、動き補償画像を出力する。
【００４４】
本実施の形態では、加算器７２は、動きベクトルと、動きベクトルと高精度動きベクトルとの差分からなる高精度差分ベクトルとを加算して、高精度動きベクトルを生成する。高精度動き補償部７３では、加算器７２から出力した高精度動きベクトルによってフレームメモリ７５の出力を動き補償した動き補償画像を出力する。選択部７４では、デコーダ７１から出力された復号画像と高精度動き補償部７３によって動き補償された動き補償画像のいずれを選択するかの情報である選択情報を受信し、受信した選択情報に基づいて、デコーダ７１から出力された復号画像と、高精度動き補償部７３によって動き補償された動き補償画像とを領域ごとに選択して出力する。
【００４５】
本実施の形態によれば、動き補償装置がストリーム以外に受信すべき情報は、高精度動きベクトルとの差分及び選択信号のみであるので、ビットレートの増加を抑制することができる。また、高精度ベクトルと高精度差分ベクトルとを加算して高精度動きベクトルを生成することによって、高精度動きベクトルの伝送ビットレートを低減することができる。
【００４６】
図９は、本発明による動き補償装置の第８の実施の形態のブロック図である。本実施の形態の動き補償装置は、エンコーダ８１と、フレームメモリ８２と、高精度動きベクトル検出部８３と、高精度動き補償部８４と、減算器８５と、選択情報生成部８６とを具える。
【００４７】
エンコーダ８１は、直行変換及び動き補償を行う一般的な符号化方式に基づく従来のエンコーダであり、入力画像をストリームに符号化し、そのストリームを図８のデコーダ７１のエントロピー復号部７１ａに出力する。このために、エンコーダ８１は、動きベクトル検出部８１ａと、動き補償部８１ｂと、減算器８１ｃと、変換・量子化部８１ｄと、逆量子化・逆変換部８１ｅと、加算器８１ｆと、フレームメモリ８１ｇと、エントロピー符号化部８１ｈとを有する。
【００４８】
高精度動きベクトル検出部８３は、フレームメモリ８２の出力と入力画像との間で高精度動きベクトルを検出する。高精度動き補償部８４は、高精度動きベクトル検出部８３で検出された高精度動きベクトルを用いてフレームメモリ８２の出力を動き補償し、動き補償画像を生成する。選択情報生成部８６は、エンコーダ８１のローカルデコード出力及び高精度動き補償部８４から出力された動き補償画像を入力画像と比較し、図８の選択部７４に入力される選択情報を出力するとともに、選択結果の画像をフレームメモリ８２に出力する。なお、ＭＰＥＧ−２などの一般的な動画像のエンコーダは、内部で自ら図ローカルデコードを行う。高精度差分ベクトル及び選択情報は、後段においてまとめてエントロピー符号化して伝送される。
【００４９】
減算器８５は、エンコーダ８１から出力されるエンコーダの動きベクトルと、高精度動きベクトルとの差分（高精度差分ベクトル）を求め、図８の加算器７２に入力される高精度差分ベクトルを出力する。このように高精度差分ベクトルを送信することによって、高精度動きベクトルの伝送ビットレートを低減することができる。
【００５０】
本実施の形態によれば、上記第７の実施の形態の動き補償装置に入力されるストリーム高精度差分ベクトル及び選択情報を生成することができる。
【００５１】
図１０は、本発明による動き補償装置の第９の実施の形態のブロック図である。本実施の形態の動き補償装置は、デコーダ９１と、加算器９２と、高精度動き補償部９３と、選択部９４とを具える。
【００５２】
デコーダ９１は、直行変換及び動き補償を行う一般的な符号化方式に基づく従来のデコーダであり、エントロピー復号部９１ａと、逆量子化・逆変換部９１ｂと、動き補償部９１ｃと、加算器９１ｄと、フレームメモリ９１ｅとを具える。
【００５３】
本実施の形態では、フレームメモリ９１ｅは、加算器９１ｄから出力された復号画像を蓄積し、蓄積されたフレームを高精度動き補償部３２に出力する。本実施の形態によれば、追加のフレームメモリを有することなく復号画像の画質を向上するため、リソースが限られている場合に有利である。
【００５４】
図１１は、本発明による動き補償装置の第１０の実施の形態のブロック図である。上記第９の実施の形態の動き補償装置に入力されるストリーム、高精度差分ベクトル及び選択情報を生成する本実施の形態の動き補償装置は、エンコーダ１０１と、高精度動きベクトル検出部１０２と、高精度動き補償部１０３と、減算器１０４と、選択情報生成部１０５とを具える。
【００５５】
エンコーダ１０１は、直行変換及び動き補償を行う一般的な符号化方式に基づく従来のエンコーダであり、動きベクトル検出部１０１ａと、動き補償部１０１ｂと、減算器１０１ｃと、変換・量子化部１０１ｄと、逆量子化・逆変換部１０１ｅと、加算器１０１ｆと、フレームメモリ１０１ｇと、エントロピー符号化部１０１ｈとを有する。
【００５６】
本実施の形態では、フレームメモリ１０１ｇは、加算器１０１ｆから出力された復号画像を蓄積し、蓄積されたフレームを高精度動き補償部１０３に出力する。本実施の形態によれば、追加のフレームメモリを有することなく復号画像の画質を向上するため、リソースが限られている場合に有利である。
【００５７】
図１２は、本発明によって得られる出力画像及び従来のデコーダによって得られる出力画像のグラフである。図１２において、横軸にビットレートをとるとともに縦軸にＰＳＮＲをとり、本発明による動き補償装置の出力を実線で表し、従来のデコーダの出力を破線で表す。
【００５８】
図１２に示すグラフは、図１０及び図１１に示す動き補償装置において測定した結果であり、実線で示す本発明による動き補償装置の出力は、選択部９４の出力に対応し、破線で示す従来のデコーダの出力は、逆量子化・逆変換部９１ｂの出力に対応する。
【００５９】
使用した画像は、幅３２０画素及び高さ２４０ラインのパン画像であり、符号化方式としては、動きベクトルの精度が０．５画素のＨ．２６３を用い、本発明の高精度動きベクトルの精度として０．２５画素を用いた。ビットレートは、従来のデコーダの出力についてはＨ．２６３のストリームのビットレートを用い、本発明については、Ｈ．２６３のストリームに加えて、高精度差分ベクトル及び選択情報のビットレートを加算したものを用いた。
【００６０】
図１０に示すように、本発明による動き補償装置の出力が従来のデコーダに比べて画質が高いことがわかり、したがって、若干のビットレートの増加により出力画像の画質を向上できる。
【００６１】
図１３は、本発明による動き補償装置の第１１の実施の形態のブロック図である。本実施の形態の動き補償装置は、デコーダ１１１と、加算器１１２と、高精度動き補償部１１３と、選択部１１４と、フレームメモリ１１５とを具える。
【００６２】
デコーダ１１１は、直行変換及び動き補償を行う一般的な符号化方式に基づく従来のデコーダであり、エントロピー復号部１１１ａと、逆量子化・逆変換部１１１ｂと、動き補償部１１１ｃと、加算器１１１ｄと、フレームメモリ１１１ｅとを具える。
【００６３】
本実施の形態では、選択情報は、フレームメモリ１１５から出力する画像の選択と選択部１１４から出力する画像の選択の二つの情報を含む。フレームメモリ１１１ｅから出力される復号画像と選択部１１４から出力される出力画像の両方がフレームメモリ１１５に入力され、いずれの画像を出力するかの情報を含む選択情報に基づいて選択された画像が高精度動き補償部１１３に入力される。
【００６４】
図１４は、本発明による動き補償装置の第１２の実施の形態のブロック図である。上記第１１の実施の形態の動き補償装置に入力されるストリーム、高精度差分ベクトル及び選択情報を生成する本実施の形態の動き補償装置は、エンコーダ１２１と、フレームメモリ１２２と、高精度動きベクトル検出部１２３と、高精度動き補償部１２４と、減算器１２５と、選択情報生成部１２６とを具える。
【００６５】
エンコーダ１２１は、直行変換及び動き補償を行う一般的な符号化方式に基づく従来のエンコーダであり、動きベクトル検出部１２１ａと、動き補償部１２１ｂと、減算器１２１ｃと、変換・量子化部１２１ｄと、逆量子化・逆変換部１２１ｅと、加算器１２１ｆと、フレームメモリ１２１ｇと、エントロピー符号化部１２１ｈとを有する。
【００６６】
本実施の形態では、フレームメモリ１２１ｇから出力される復号画像と選択情報生成部１２６から出力される出力画像の両方がフレームメモリ１２２に入力され、より高画質な結果を得る方の画像が高精度動き補償部１２４に入力される。どちらの画像を選択したかの信号は、選択情報性西部１２６に送られ、選択情報の一部として出力される。
【００６７】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、上記実施の形態において、復号画像と動き補償画像とのうちのいずれか一方を出力画像としたが、動き補償画像の代わりに、復号画像と動き補償画像との合成画像を用いることもできる。また、ストリームに含まれる動きベクトルの精度と高精度ベクトルの精度の組合せを、０．５画素と０．２５画素とした場合について説明したが、０．２５画素と０．１２５画素のような他の組合せを用いることもできる。
【００６８】
また、エンコーダ及びデコーダを、適用する符号化方式に応じて任意の構成にすることができる。また、上記実施の形態において、適用する符号化方式で用いられるブロックサイズと同一サイズのブロックごとに画像を分割して高精度動き補償を行う場合について説明したが、適用する符号化方式で用いられるブロックサイズより大きなブロックサイズを用いることによって高精度差分ベクトル及び選択情報の伝送ビットレートを下げることもでき、適用する符号化方式で用いられるブロックサイズより小さなブロックサイズを用いることによって高精度動き補償の画質を向上することもできる。
【００６９】
また、高精度差分ベクトル及び選択情報の伝送ビットレートに圧縮処理を施すことによって高精度差分ベクトル及び選択情報の伝送ビットレートを下げることもできる。このような圧縮処理が施された情報を受信する場合には、圧縮処理が施された情報の伸張部を入力部に設ける。
【００７０】
また、高精度差分ベクトルなどの他の情報から選択情報を推定できる場合には、選択情報の受信を省略することができる。例えば、高精度差分ベクトルが水平方向及び垂直方向のいずれにおいても０である場合、デコーダ出力を使用するようにすれば、選択情報を受信しなくても選択部での選択が可能になる。また、選択されない高精度差分ベクトルについては伝送を省略することができる。
【００７１】
さらに、信号の同期をとるために信号経路に遅延回路を設けることができ、選択部において重み付けを行うこともできる。
【図面の簡単な説明】
【００７２】
【図１】本発明による動き補償装置の第１の実施の形態のブロック図である。
【図２】本発明による画像復号を説明するための図である。
【図３】本発明による動き補償装置の第２の実施の形態のブロック図である。
【図４】本発明による動き補償装置の第３の実施の形態のブロック図である。
【図５】本発明による動き補償装置の第４の実施の形態のブロック図である。
【図６】本発明による動き補償装置の第５の実施の形態のブロック図である。
【図７】本発明による動き補償装置の第６の実施の形態のブロック図である。
【図８】本発明による動き補償装置の第７の実施の形態のブロック図である。
【図９】本発明による動き補償装置の第８の実施の形態のブロック図である。
【図１０】本発明による動き補償装置の第９の実施の形態のブロック図である。
【図１１】本発明による動き補償装置の第１０の実施の形態のブロック図である。
【図１２】本発明によって得られる出力画像及び従来のデコーダによって得られる出力画像のグラフである。
【図１３】本発明による動き補償装置の第１１の実施の形態のブロック図である。
【図１４】本発明による動き補償装置の第１２の実施の形態のブロック図である。
【図１５】従来の画像復号を説明するための図である。
【符号の説明】
【００７３】
１，４，８  原画像
２，３，７  予測画像
５，９  差分画像
６，１０  復号画像
１５  動き補償画像
１６  出力画像
１１，３１，５１，６１，９１，１１１  デコーダ
１２，２３，３２，４３，５２，６３，７３，８４，９３，１０３，１１３，１２４  高精度動き補償部
１３，２４，３３，４４，５３，６４，７４，９４，１１４  選択部
１４，２５，５４，６５，７１ｅ，７５，８１ｇ，８２，９１ｅ，１０１ｇ，１１１ｅ，１１５，１２１ｇ，１２２  フレームメモリ
２１，４１，６１，８１，１０１，１２１  エンコーダ
２２，４２，６２，８３，１０２，１２３  高精度動きベクトル検出部
７１ａ，９１ａ，１１１ａ  エントロピー復号器
７１ｂ，８１ｅ，９１ｂ，１０１ｅ，１１１ｂ，１２１ｅ  逆量子化・逆変換部
７１ｃ，８１ｂ，９１ｃ，１０１ｂ，１１１ｃ，１２１ｂ  動き補償部
７１ｄ，７２，８１ｆ，９１ｄ，９２，１０１ｆ，１１１ｄ，１１２，１２１ｆ  加算器
８１ａ，１０１ａ，１２１ａ  動きベクトル検出部
８１ｃ，８５，１０１ｃ，１０４，１２１ｃ，１２５  減算器
８１ｄ，１０１ｄ，１２１ｄ  変換・量子化部
８１ｈ，１０１ｈ，１２１ｈ  エントロピー符号化部
８６，１０５，１２６  選択情報生成部
【図１】
2008219628.tif 000003
【図２】
2008219628.tif 000004
【図３】
2008219628.tif 000005
【図４】
2008219628.tif 000006
【図５】
2008219628.tif 000007
【図６】
2008219628.tif 000008
【図７】
2008219628.tif 000009
【図８】
2008219628.tif 000010
【図９】
2008219628.tif 000011
【図１０】
2008219628.tif 000012
【図１１】
2008219628.tif 000013
【図１２】
2008219628.tif 000014
【図１３】
2008219628.tif 000015
【図１４】
2008219628.tif 000016
【図１５】
2008219628.tif 000017