(57)【要約】【課題】  符号化の際のデータ量を低減し、符号化効率を向上させること。【解決手段】  動画像入力手段１は、高精細画像データを入力し、これをフレーム毎の入力画像データとして順次出力する。画像分離手段２は、手段１からの入力画像データを、所定の画像分離式の演算に基づき複数の標準画像データｙ1〜ｙ4に分離する。符号化手段３〜６は、分離された複数の標準画像データｙ1〜ｙ4をそれぞれ符号化する。符号データ多重化手段７は、手段３〜６からの各符号データを入力し、これらを多重化する。多重化符号データ出力手段８は、手段７からの符号データを出力する。【選択図】  図１
2005244696.tif 000002
【特許請求の範囲】
【請求項１】
標準解像度として設定された解像度よりも高い解像度の高精細画像データが入力され、これをフレーム毎の入力画像データとして順次出力する動画像入力手段と、
前記動画像入力手段からの入力画像データを、所定の画像分離式の演算に基づき前記標準解像度の複数の標準画像データに分離する画像分離手段と、
前記画像分離手段により分離された複数の標準画像データをそれぞれ符号化する複数の符号化手段と、
前記複数の符号化手段からの各符号データを入力し、これらを多重化する符号データ多重化手段と、
を備え、
前記画像分離手段が前記演算に用いる所定の画像分離式は、画像分離前の画素位置(2i,2j)、(2i+1,2j)、(2i,2j+1)、(2i+1,2j+1)の各位置（但し、ｉ，ｊは０以上の整数）のうち２つ以上の位置での信号値の平均値を求めることにより画像分離後の画素位置(i,j)における信号値を演算する演算式である、
ことを特徴とする動画像符号化装置。
【請求項２】
コンピュータを、
標準解像度として設定された解像度よりも高い解像度の高精細画像データが入力され、これをフレーム毎の入力画像データとして順次出力する動画像入力手段と、
前記動画像入力手段からの入力画像データを、所定の画像分離式の演算に基づき前記標準解像度の複数の標準画像データに分離する画像分離手段と、
前記画像分離手段により分離された複数の標準画像データをそれぞれ符号化する複数の符号化手段と、
前記複数の符号化手段からの各符号データを入力し、これらを多重化する符号データ多重化手段と、
して機能させ、
前記画像分離手段が前記演算に用いる所定の画像分離式は、画像分離前の画素位置(2i,2j)、(2i+1,2j)、(2i,2j+1)、(2i+1,2j+1)の各位置（但し、ｉ，ｊは０以上の整数）のうち２つ以上の位置での信号値の平均値を求めることにより画像分離後の画素位置(i,j)における信号値を演算する演算式である、
ことを特徴とする動画像符号化プログラム。
【請求項３】
所定の符号化により得られた符号データが入力され、この符号データをフレーム毎に出力する符号データ入力手段と、
前記符号データ入力手段からの入力符号データを複数の符号データに分離する符号データ分離手段と、
前記符号データ分離手段により分離された複数の符号データをそれぞれ復号化する複数の復号化手段と、
前記複数の復号化手段からの各復号データを入力し、これらを合成する画像合成手段と、
予め設定されている出力モードが標準解像度として設定された解像度の画像データを出力する標準画像モードの場合に、前記複数の復号化手段のうちの所定の一の手段からの復号データを標準画像データとして出力する標準画像出力手段と、
予め設定されている出力モードが標準解像度として設定された解像度よりも高い解像度の画像データを出力する高精細画像モードの場合に、前記画像合成手段からの合成画像を高精細画像データとして出力する高精細画像出力手段と、
を備えた動画像復号化装置であって、
前記符号データ入力手段に入力される所定の符号化により得られた符号データは、符号化対象画像データから所定の画像分離式を用いて分離された複数の標準画像データがそれぞれ符号化されて、それらの符号データが多重化されて生成されたものであり、
前記所定の画像分離式は、画像分離前の画素位置(2i,2j)、(2i+1,2j)、(2i,2j+1)、(2i+1,2j+1)の各位置（但し、ｉ，ｊは０以上の整数）のうち２つ以上の位置での信号値の平均値を求めることにより画像分離後の画素位置(i,j)における信号値を演算する演算式であり、
前記符号データ分離手段が行う前記分離は、前記多重化により生成された符号データを多重化前の複数の符号データに分離するものである、
ことを特徴とする動画像復号化装置。
【請求項４】
コンピュータを、
所定の符号化により得られた符号データが入力され、この符号データをフレーム毎に出力する符号データ入力手段と、
前記符号データ入力手段からの入力符号データを複数の符号データに分離する符号データ分離手段と、
前記符号データ分離手段により分離された複数の符号データをそれぞれ復号化する複数の復号化手段と、
前記複数の復号化手段からの各復号データを入力し、これらを合成する画像合成手段と、
予め設定されている出力モードが標準解像度として設定された解像度の画像データを出力する標準画像モードの場合に、前記複数の復号化手段のうちの所定の一の手段からの復号データを標準画像データとして出力する標準画像出力手段と、
予め設定されている出力モードが標準解像度として設定された解像度よりも高い解像度の画像データを出力する高精細画像モードの場合に、前記画像合成手段からの合成画像を高精細画像データとして出力する高精細画像出力手段と、
して機能させ、
前記符号データ入力手段に入力される所定の符号化により得られた符号データは、符号化対象画像データから所定の画像分離式を用いて分離された複数の標準画像データがそれぞれ符号化されて、それらの符号データが多重化されて生成されたものであり、
前記所定の画像分離式は、画像分離前の画素位置(2i,2j)、(2i+1,2j)、(2i,2j+1)、(2i+1,2j+1)の各位置（但し、ｉ，ｊは０以上の整数）のうち２つ以上の位置での信号値の平均値を求めることにより画像分離後の画素位置(i,j)における信号値を演算する演算式であり、
前記符号データ分離手段が行う前記分離は、前記多重化により生成された符号データを多重化前の複数の符号データに分離するものである、
ことを特徴とする動画像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のデータ圧縮を高能率に行うための動画像符号化装置及びプログラム、並びに動画像復号化装置及びプログラムに関するものである。
【背景技術】
【０００２】
デジタル動画像データの圧縮技術としてMPEGに代表される高能率予測符号化方式がある。MPEGが扱う画像は、以前はNTSCで用いられる標準画像（標準解像度の画像）が主であったが、最近はハイビジョンＴＶの普及に伴うニーズにより高精細画像（高精細解像度の画像）も扱うようになってきている。そして、MPEG2では、標準画像及び高精細画像の双方に対して処理が可能な「空間スケーラビリティ符号化方式」と呼ばれる技術が採用されている。しかし、この方式では高精細解像度に対して処理を行うためには空間スケーラビリティ符号化に対応した高精細画像用の符号化手段及び復号化手段が必要となり、コストが高くならざるを得なかった。そこで、例えば特許文献１に開示されているように、標準画像用の符号化手段及び復号化手段のみを用いて標準画像及び高精細画像のいずれに対しても符号化及び復号化を行うことが可能な技術が提案されている。
【０００３】
図６及び図７は第１の従来例に係る符号化装置及び復号化装置を示すもので、特許文献１に開示されているものである。図６において、高精細画像信号ａ1はダウンサンプラ６１によりダウンサンプリングされて標準画像信号ｂ1となる。信号ｂ1は、今度はアップサンプラ６２によりアップサンプリングされ、低周波成分が除去され且つ画素数が高精細画像並みになった画像信号ｃ1となる。差分器６３は、高精細画像信号ａ1と画像信号ｃ1との差分を取り、これを残差信号ｄ1として出力する。分割器６４は、この残差信号ｄ1を入力すると、その画像を４つ切り状態に４分割し、４つの信号ｅ1〜ｅ4を出力する。エンコーダ６６〜６９はこれらの信号ｅ1〜ｅ4を符号化し、それぞれ符号データｇ1〜ｇ4を出力する。また、エンコーダ６５は、ダウンサンプラ６１からの標準画像信号ｂ1を入力し、これを符号化して符号データｆ1を出力する。この図６の符号化装置では、ｆ1が標準画像再生に用いられる符号データとなり、また、このｆ1にｇ1〜ｇ4を加えたものが高精細画像再生に用いられる符号データとなる。
【０００４】
すなわち、図７において、デコーダ７１は、図６の符号化装置で生成された符号データｆ1を復号化して画像信号ｈ1を出力し、また、デコーダ７２〜７５は図６の符号化装置で生成された残差成分の符号データｇ1〜ｇ4を復号化して画像信号ｊ1〜ｊ4を出力する。アップサンプラ７６は、信号ｈ1をアップサンプリングした画像信号ｉ1を出力し、合成器７７は画像信号ｊ1〜ｊ4を合成した画像信号ｋ1を出力する。加算器７８は、これらの信号ｉ1，ｋ1を加算することにより画像信号ｌ1を出力する。そして、標準画像再生を行う場合にはデコーダ７１から出力される画像信号ｈ1が用いられ、一方、高精細画像再生を行う場合には加算器７８からの信号ｌ1が用いられる。
【０００５】
図８及び図９は第２の従来例に係る符号化装置及び復号化装置を示すもので、これも上記の特許文献１に開示されているものである。図８において、分割器８１は、高精細画像信号ａ1をそれぞれ異なる位相でサンプリングして４つの画像信号ｂ1〜ｂ4を出力する。差分器８２〜８４は、信号ｂ4を基本画像として、これと信号ｂ1〜ｂ3との差分を残差信号ｃ1〜ｃ3として出力する。エンコーダ８５は、分割器８１からの信号ｂ4を符号化して符号データｄ1を出力し、また、エンコーダ８６〜８８は差分器８２〜８４からの残差信号ｃ1〜ｃ4を符号化して符号データｅ1〜ｅ3を出力する。この図８の符号化装置では、ｄ1が標準画像再生に用いられる符号データとなり、また、このｄ1にｅ1〜ｅ4を加えたものが高精細画像再生に用いられる符号データとなる。
【０００６】
すなわち、図９において、デコーダ９１は、図８の符号化装置で生成された符号データｄ1を復号化して基本画像の画像信号ｆ1を出力し、また、デコーダ９２〜９４は図８の符号化装置で生成された残差成分の符号データｅ1〜ｅ3を復号化して画像信号ｇ1〜ｇ3を出力する。加算器９５〜９７は、基本画像の画像信号ｆ1に残差成分の画像信号ｇ1〜ｇ3を加えた信号ｈ1〜ｈ3を出力する。合成器９８は、デコーダ９１からの画像信号ｆ1と、加算器９５〜９７からの画像信号ｈ1〜ｈ3とを合成した信号ｊ1を出力する。そして、標準画像再生を行う場合にはデコーダ９１から出力される画像信号ｆ1が用いられ、一方、高精細画像再生を行う場合には合成器９８からの信号ｊ1が用いられる。
【特許文献１】特開平１０−１９１３５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した特許文献１に開示された第１及び第２の従来例によれば、標準画像用の符号化手段（エンコーダ）及び復号化手段（デコーダ）のみを用いて標準画像及び高精細画像のいずれに対しても符号化及び復号化を行うことが可能である。
【０００８】
しかし、第１の従来例では、高精細画像を４つ切り状態に４分割して残差成分画像を符号化すると共に、高精細画像をダウンサンプリングして標準画像を生成しており、図６に示したように、合計５つのエンコーダを用いている。したがって、充分なコストダウンを図ることができず、また、トータルの符号量も増大したものとなっている。
【０００９】
これに対し、第２の従来例では、高精細画像を位相をずらしてサンプリングしており、図８に示したように、第１の従来例よりも１つ少ない合計４つのエンコーダを用いているため、ハードウエア面でのコストダウンについては向上したものとなっている。
【００１０】
しかし、第１及び第２の従来例のいずれにおいても、高精細画像と基本画像との差分情報を残差画像成分として用いているが、この残差成分は高周波成分であって、高能率予測符号化を行う場合に予測し難いという特性を有している。そのためデータ量が増大してしまい、結果として符号化効率を充分に向上させることができないという課題を有していた。
【課題を解決するための手段】
【００１１】
上記課題を解決するための手段として、請求項１記載の発明は、標準解像度として設定された解像度よりも高い解像度の高精細画像データが入力され、これをフレーム毎の入力画像データとして順次出力する動画像入力手段と、前記動画像入力手段からの入力画像データを、所定の画像分離式の演算に基づき前記標準解像度の複数の標準画像データに分離する画像分離手段と、前記画像分離手段により分離された複数の標準画像データをそれぞれ符号化する複数の符号化手段と、前記複数の符号化手段からの各符号データを入力し、これらを多重化する符号データ多重化手段と、を備え、前記画像分離手段が前記演算に用いる所定の画像分離式は、画像分離前の画素位置(2i,2j)、(2i+1,2j)、(2i,2j+1)、(2i+1,2j+1)の各位置（但し、ｉ，ｊは０以上の整数）のうち２つ以上の位置での信号値の平均値を求めることにより画像分離後の画素位置(i,j)における信号値を演算する演算式である、ことを特徴とする。
【００１２】
請求項２記載の発明は、コンピュータを、標準解像度として設定された解像度よりも高い解像度の高精細画像データが入力され、これをフレーム毎の入力画像データとして順次出力する動画像入力手段と、前記動画像入力手段からの入力画像データを、所定の画像分離式の演算に基づき複数の標準画像データに分離する画像分離手段と、前記画像分離手段により分離された複数の標準画像データをそれぞれ符号化する複数の符号化手段と、前記複数の符号化手段からの各符号データを入力し、これらを多重化する符号データ多重化手段と、して機能させ、前記画像分離手段が前記演算に用いる所定の画像分離式は、画像分離前の画素位置(2i,2j)、(2i+1,2j)、(2i,2j+1)、(2i+1,2j+1)の各位置（但し、ｉ，ｊは０以上の整数）のうち２つ以上の位置での信号値の平均値を求めることにより画像分離後の画素位置(i,j)における信号値を演算する演算式である、ことを特徴とする。
【００１３】
請求項３記載の発明は、所定の符号化により得られた符号データが入力され、この符号データをフレーム毎に出力する符号データ入力手段と、前記符号データ入力手段からの入力符号データを複数の符号データに分離する符号データ分離手段と、前記符号データ分離手段により分離された複数の符号データをそれぞれ復号化する複数の復号化手段と、前記複数の復号化手段からの各復号データを入力し、これらを合成する画像合成手段と、予め設定されている出力モードが標準解像度として設定された解像度の画像データを出力する標準画像モードの場合に、前記複数の復号化手段のうちの所定の一の手段からの復号データを標準画像データとして出力する標準画像出力手段と、予め設定されている出力モードが標準解像度として設定された解像度よりも高い解像度の画像データを出力する高精細画像モードの場合に、前記画像合成手段からの合成画像を高精細画像データとして出力する高精細画像出力手段と、を備えた動画像復号化装置であって、前記符号データ入力手段に入力される所定の符号化により得られた符号データは、符号化対象画像データから所定の画像分離式を用いて分離された複数の標準画像データがそれぞれ符号化されて、それらの符号データが多重化されて生成されたものであり、前記所定の画像分離式は、画像分離前の画素位置(2i,2j)、(2i+1,2j)、(2i,2j+1)、(2i+1,2j+1)の各位置（但し、ｉ，ｊは０以上の整数）のうち２つ以上の位置での信号値の平均値を求めることにより画像分離後の画素位置(i,j)における信号値を演算する演算式であり、前記符号データ分離手段が行う前記分離は、前記多重化により生成された符号データを多重化前の複数の符号データに分離するものである、ことを特徴とする。
【００１４】
請求項４記載の発明は、コンピュータを、所定の符号化により得られた符号データが入力され、この符号データをフレーム毎に出力する符号データ入力手段と、前記符号データ入力手段からの入力符号データを複数の符号データに分離する符号データ分離手段と、前記符号データ分離手段により分離された複数の符号データをそれぞれ復号化する複数の復号化手段と、前記複数の復号化手段からの各復号データを入力し、これらを合成する画像合成手段と、予め設定されている出力モードが標準解像度として設定された解像度の画像データを出力する標準画像モードの場合に、前記複数の復号化手段のうちの所定の一の手段からの復号データを標準画像データとして出力する標準画像出力手段と、予め設定されている出力モードが標準解像度として設定された解像度よりも高い解像度の画像データを出力する高精細画像モードの場合に、前記画像合成手段からの合成画像を高精細画像データとして出力する高精細画像出力手段と、して機能させ、前記符号データ入力手段に入力される所定の符号化により得られた符号データは、符号化対象画像データから所定の画像分離式を用いて分離された複数の標準画像データがそれぞれ符号化されて、それらの符号データが多重化されて生成されたものであり、前記所定の画像分離式は、画像分離前の画素位置(2i,2j)、(2i+1,2j)、(2i,2j+1)、(2i+1,2j+1)の各位置（但し、ｉ，ｊは０以上の整数）のうち２つ以上の位置での信号値の平均値を求めることにより画像分離後の画素位置(i,j)における信号値を演算する演算式であり、前記符号データ分離手段が行う前記分離は、前記多重化により生成された符号データを多重化前の複数の符号データに分離するものである、ことを特徴とする。
【発明の効果】
【００１５】
本発明の符号化装置によれば、画像分離前の各画素位置での信号値の平均を求める画像分離式に基づき分離を行っているので、符号化時の相関性を高めることができ、符号化効率を高めることができる。また、各符号化手段はＤＣ成分に対して符号化を行う結果となっているが、このようにＤＣ成分に対して符号化を行うことが可能になることから、符号量の低減、動きベクトル検出の容易化を図ることができ、結果として符号化効率を高め、画質を向上させることが可能になる。
【００１６】
また、本発明の復号化装置によれば、上記の符号化装置が分離を行った際に用いた画像分離式の逆変換式である画像合成式に基づき合成を行っているので、符号化装置が入力した高精細画像と同一の画像を再生することが可能になる。
【発明を実施するための最良の形態】
【００１７】
図１は、本発明の実施形態に係る動画像符号化装置の構成を示すブロック図である。この図において、動画像入力手段１は、高精細動画像データ用の高精細画像データを入力し、これをフレーム毎の入力画像データとして順次出力するようになっている。画像分離手段２は、動画像入力手段１からの入力画像データを、後述する所定の画像分離式の演算に基づき複数の標準画像データｙ1〜ｙ4に分離するようになっている。符号化手段３〜６は、画像分離手段２により分離されたこれら複数の標準画像データｙ1〜ｙ4をそれぞれ符号化するようになっている。符号データ多重化手段７は、符号化手段３〜６からの各符号データを入力し、これらを多重化するようになっている。多重化符号データ出力手段８は、符号データ多重化手段７からの符号データを出力するようになっている。
【００１８】
そして、画像分離手段２が演算に用いる所定の画像分離式は、画像分離前の画素位置(2i,2j)、(2i+1,2j)、(2i,2j+1)、(2i+1,2j+1)の各位置のうち２つ以上の位置での信号値の平均値を求めることにより画像分離後の画素位置(i,j)における信号値を演算する演算式である。
【００１９】
例えば、図２は、画像分離手段２が入力する入力画像データにおいて、２×２の４つの画素を１ブロックとした場合のi,j座標面上の各画素位置を示した説明図である。そして、画像分離前の各画素位置での信号値(信号値としては例えば、「輝度」、「色あい」などがある）をｘ(2i,2j)、ｘ(2i+1,2j)、ｘ(2i,2j+1)、ｘ(2i+1,2j+1)で表し、画像分離後の各画素位置での信号値をｙ1(i,j)、ｙ2(i,j)、ｙ3(i,j)、ｙ4(i,j)で表すと、これらｙ1(i,j)、ｙ2(i,j)、ｙ3(i,j)、ｙ4(i,j)は、下記の(１）〜（４）式により求めることができる。
ｙ1(i,j)＝｛ｘ(2i,2j)＋ｘ(2i+1,2j)＋ｘ(2i,2j+1)＋ｘ(2i+1,2j+1)｝／４    ……    （１）
ｙ2(i,j)＝｛ｘ(2i,2j)＋ｘ(2i+1,2j)｝／２    ……    （２）
ｙ3(i,j)＝｛ｘ(2i,2j)＋ｘ(2i,2j+1)｝／２    ……    （３）
ｙ4(i,j)＝｛ｘ(2i,2j)＋ｘ(2i+1,2j+1)｝／２    ……    （４）
【００２０】
上記の（１）式は４画素の平均値を求める演算式であり、（２）〜（４）式は２画素の平均値を求める演算式である。したがって、標準画像再生を行う場合は、この画像データｙ1の符号データのみが用いられ、一方、高精細画像再生を行う場合は全ての画像データｙ1〜ｙ4の符号データが用いられることになる。また、上記の（１）〜（４）式のいずれもｘ(2i,2j)と、これに隣接する画素位置との平均値であるため、画像分離前後での相関性は高くなっている。
【００２１】
また、上記の信号値ｙ1〜ｙ4はいずれも平均値の演算により求められるものである故に、符号化手段３〜６が符号化する際の符号量は従来例に比べて低減されたものとなる（但し、信号値が整数である場合、平均値を取ることで情報量が削減されることになるが、符号化時に失われる情報量に比べれば大きなものではない。）。
【００２２】
例えば、画像分離前の信号値が８ビットすなわち０〜２５５の値で表されるものとすると、画像分離後の信号値ｙ1〜ｙ4も同様に０〜２５５の値で表されることになる（これは符号化手段３〜６が正の値のみを取るＤＣ成分に対して符号化を行うことを意味する）。これに対し、例えば図６における信号ａ1及び信号ｃ1の各信号値が８ビットで表されるとすると、差分器６３では両者についての減算を行っているので、その出力である残差信号の信号値は−２５５〜２５５の値を取り得る（つまり、エンコーダ６６〜６９が負の値を取り得るＡＣ成分に対して符号化を行うことを意味する）ことになり、ＤＣ成分を入力とする一般的なエンコーダを用いることができず、ＡＣ成分を入力とするエンコーダを作成する必要があり、コストダウンを図ることが困難になる。これは図８の第２の従来例の構成についても同様に言えることである。
【００２３】
更に、画像分離手段２が上記の演算式を用いて分離を行うということは、所定間隔毎の画素のみを抜き取る（デ・インタリーブ）ことで分離を行うということであり、第１の従来例における分割器のように４つ切り状態に分割しているわけではない。したがって、第１の従来例に比べて符号化手段（エンコーダ）の数が１つ減った構成となっている。この符号化手段の数は、第２の従来例と同じであるが、第２の従来例ではＡＣ成分を入力とするため、ＤＣ成分を入力とするエンコーダを用いることができないことは上述した通りある。
【００２４】
上記のように、図１の構成では、画像分離手段２が画像分離前の各画素位置での信号値の平均を求める演算に基づき分離を行っているので、符号化時の相関性を高めることができ、符号化効率を高めることができる。また、符号化手段３〜６はＤＣ成分に対して符号化を行う結果となっているが、このようにＤＣ成分に対して符号化を行うことが可能になることから、符号量の低減、動きベクトル検出の容易化を図ることができ、結果として符号化効率を高め、画質を向上させることが可能になっている。
【００２５】
なお、上述した例は、画像分離手段２が（１）〜（４）式に基づき高精細画像を４つの標準画像に分離する例であるが、オクターブ分解を繰り返すように、分離したうちの１つの分離画像に対して（１）〜（４）式の演算を再度行ってこの分離画像を更に４つに分離することも可能である。
【００２６】
図３は、上述した構成を有する図１の符号化装置の動作についてのフローチャートである。まず、動画像入力手段１は動画像データである高精細画像データを入力し(ステップ３１）、これを画像分離手段２に出力する。画像分離手段２は、前述した（１）〜（４）式を用いて、この入力した画像データを４つに分離し（ステップ３２）、分離した各画像データｙ1〜ｙ4を符号化手段３〜６に出力する。符号化手段３〜６は、入力した各画像データｙ1〜ｙ4に対して符号化を行い（ステップ３３）、その符号データを符号データ多重化手段７に出力する。符号データ多重化手段７は、入力した各符号データに対し、ストリームとして時間軸において同期が取りやすくなるように多重化を行う（ステップ３４）。そして、多重化符号データ出力手段８は、この多重化符号データの出力を行う（ステップ３５）。この出力とは、例えば、ネットワーク上に伝送したり、記憶装置に記憶させたりすることである。
【００２７】
図４は、本発明の実施形態に係る動画像復号化装置の構成を示すブロック図である。この図において、符号データ入力手段４１は、図１の多重化符号データ出力手段８からの多重化符号データを入力し、これをフレーム毎に順次出力するようになっている。符号データ分離手段４２は、符号データ入力手段４１からの多重化符号データを多重化前の複数の符号データに分離するようになっている。復号化手段４３〜４６は、符号データ分離手段４２により分離されたこれら複数の符号データに対して復号化を行い、その復号データすなわち画像データｙ1〜ｙ4を出力するようになっている。画像合成手段４７は、これらの画像データｙ1〜ｙ4を合成し、その合成画像データを出力するようになっている。
【００２８】
図４の復号化装置は、図示を省略してある設定手段により出力モードが設定されるようになっており、復号化手段４３〜４６は、この出力モードを判別できるようになっている。そして、この出力モードが予め標準画像モードに設定されている場合は、復号化手段４３のみが復号化を行い、標準画像出力手段４８がこの復号化により得られた画像データｙ1を標準画像データとして出力するようになっている。一方、この出力モードが予め高精細画像モードに設定されている場合は、復号化手段４３〜４６の全てが復号化を行うと共に、その復号化により得られた画像データｙ1〜ｙ4を画像合成手段４７が合成し、高精細画像出力手段４９がその合成画像データを出力するようになっている。
【００２９】
ここで、画像合成手段４７は、下記の（５）〜（８）式によりｘ(2i,2j)、ｘ(2i+1,2j)、ｘ(2i,2j+1)、ｘ(2i+1,2j+1)を求め、この求めたｘ(2i,2j)、ｘ(2i+1,2j)、ｘ(2i,2j+1)、ｘ(2i+1,2j+1)について合成を行っている。
ｘ(2i,2j)＝ｙ2(i,j)＋ｙ3(i,j)＋ｙ4(i,j)−２ｙ1(i,j)    ……    (５）
ｘ(2i+1,2j)＝２ｙ2(i,j)−ｘ(2i,2j)    ……    (６）
ｘ(2i,2j+1)＝２ｙ3(i,j)−ｘ(2i,2j)    ……    (７）
ｘ(2i+1,2j+1)＝２ｙ4(i,j)−ｘ(2i,2j)    ……    (８）
【００３０】
上記の(５）〜（８）式は（１）〜（４）式の逆変換式である。つまり、（１）〜（４）式の画像分離式と、(５）〜（８）式の画像合成式とは、ｘ、ｙが小数を扱える場合には、完全再構成の関係にある。したがって、画像合成手段４７の合成により得られる合成画像は、図１の画像分離手段２が分離を行う前の高精細画像と全く同一となる。
【００３１】
図５は、上述した構成を有する図４の復号化装置の動作についてのフローチャートである。まず、符号データ入力手段４１は、図１の多重化符号データ出力手段８からの多重化符号データを入力し（ステップ５１）、これをフレーム毎に順次出力する。符号データ分離手段４２は、符号データ入力手段４１からの多重化符号データを多重化前の複数の符号データに分離する（ステップ５２）。
【００３２】
次いで、復号化手段４３〜４６は、予め設定されている出力モードが高精細画像モードであるか否かにつき判別する（ステップ５３）。そして、この判別結果が「ＮＯ」の場合すなわち標準画像モードである場合は、復号化手段４３のみが標準画像用符号データの復号化を行って、画像データｙ1を生成する（ステップ５４）。そして、標準画像出力手段４８がこの画像データｙ1を標準画像として出力する（ステップ５５）。
【００３３】
一方、ステップ５３の判別結果が「ＹＥＳ」の場合すなわち高精細画像モードである場合は、復号化手段４３〜４６の全てが復号化を行い（ステップ５６）、その復号化により得られた画像データｙ1〜ｙ4を画像合成手段４７が合成する（ステップ５８）。そして、高精細画像出力手段４９がその合成画像データを高精細画像として出力する（ステップ５８）。
【００３４】
以上のように、図１の符号化装置によれば、画像分離手段２が画像分離前の各画素位置での信号値の平均を求める画像分離式に基づき分離を行っているので、符号化時の相関性を高めることができ、符号化効率を高めることができる。また、各符号化手段３〜６はＤＣ成分に対して符号化を行う結果となっているが、このようにＤＣ成分に対して符号化を行うことが可能になることから、符号量の低減、動きベクトル検出の容易化を図ることができ、結果として符号化効率を高め、画質を向上させることが可能になる。
【００３５】
また、図４の復号化装置によれば、図１の画像分離手段２が分離を行った際に用いた画像分離式の逆変換式である画像合成式に基づき画像合成手段４７が合成を行っているので、符号化装置が入力した高精細画像と同一の画像を再生することが可能になる。
【００３６】
ところで、符号データ入力手段４１の符号データ入力先がインターネットなどのネットワークである場合、ネットワークの帯域制限など何らかの原因によって符号データの一部が入力されないことが起こり得る。本実施形態では、このような場合でも、画像全部を切り捨てるのではなく、入力された符号データを活用し、欠落した符号データをアップサンプリングなど何らかの方法で補完することにより高精細画像を得ることができる。
【００３７】
例えば、画像データｙ1，ｙ2に対応する符号データしか入力されない場合は、これらの符号データを用いて横の解像度のみを高精細にした画像データを得ることができ、画像データｙ1，ｙ3に対応する符号データしか入力されない場合は、これらの符号データを用いて縦の解像度のみを高精細にした画像データを得ることができる。また、画像データｙ1，ｙ4に対応する符号データしか入力されない場合は、斜めの解像度を高精細にすることは縦横両方を高精細にする結果となるので、縦横に相当する画素を補完処理することにより一応の高精細画像データを得ることができる。
【００３８】
なお、図１の符号化装置の画像分離手段２が用いる画像分離式は、既述した（１）〜（４）式に限られるわけではなく、例えば下記の（９）〜（１２）式を用いることができる（（１２）式のｙ4が３つの画素の平均により求められる点が異なっている）。
ｙ1(i,j)＝｛ｘ(2i,2j)＋ｘ(2i+1,2j)＋ｘ(2i,2j+1)＋ｘ(2i+1,2j+1)｝／４    ……    （９）
ｙ2(i,j)＝｛ｘ(2i,2j)＋ｘ(2i+1,2j)｝／２    ……    （１０）
ｙ3(i,j)＝｛ｘ(2i,2j)＋ｘ(2i,2j+1)｝／２    ……    （１１）
ｙ4(i,j)＝｛ｘ(2i+1,2j)＋ｘ(2i,2j+1)＋ｘ(2i+1,2j+1)｝／３    ……    （１２）
【００３９】
そして、この場合に図４の復号化装置の画像合成手段４７が用いる画像合成式は、下記の（１３）〜（１６）式となる。
ｘ(2i,2j)＝４ｙ1(i,j)−３ｙ4(i,j)    ……    (１３）
ｘ(2i+1,2j)＝２ｙ2(i,j)−ｘ(2i,2j)    ……    (１４）
ｘ(2i,2j+1)＝２ｙ3(i,j)−ｘ(2i,2j)    ……    (１５）
ｘ(2i+1,2j+1)＝３ｙ4(i,j)−ｘ(2i+1,2j)−ｘ(2i,2j+1)    ……    (１６）
【００４０】
また、本発明は、上記した符号化装置及び復号化装置の機能をコンピュータに実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態に係る動画像符号化装置の構成を示すブロック図。
【図２】図１の画像分離手段２が入力する入力画像データにおいて、２×２の４つの画素を１ブロックとした場合のi,j座標面上の各画素位置を示した説明図。
【図３】図１の符号化装置の動作についてのフローチャート。
【図４】本発明の実施形態に係る動画像復号化装置の構成を示すブロック図。
【図５】図４の復号化装置の動作についてのフローチャート。
【図６】第１の従来例の符号化装置の構成図。
【図７】第１の従来例の復号化装置の構成図。
【図８】第２の従来例の符号化装置の構成図。
【図９】第２の従来例の復号化装置の構成図。
【符号の説明】
【００４２】
１  動画像入力手段
２  画像分離手段
３〜６  符号化手段
７  符号データ多重化手段
８  多重化符号データ出力手段８
４１  符号データ入力手段
４２  符号データ分離手段
４３〜４６  復号化手段
４７  画像合成手段
４８  標準画像出力手段
４９  高精細画像出力手段
【図１】
2005244696.tif 000003
【図２】
2005244696.tif 000004
【図３】
2005244696.tif 000005
【図４】
2005244696.tif 000006
【図５】
2005244696.tif 000007
【図６】
2005244696.tif 000008
【図７】
2005244696.tif 000009
【図８】
2005244696.tif 000010
【図９】
2005244696.tif 000011