(57)【要約】  入力画像を構成する画素を水平方向に２画素おき、垂直方向に１画素おきにサンプリングして、４つの分離画像（１）〜（４）を生成する画像分離部１を設け、フレーム内予測符号化手段が画像分離部１により生成された分離画像（１）を構成する画素を用いて、分離画像（１）をフレーム内で予測符号化し、分離画像間予測符号化部１２が画像分離部１により生成された分離画像（１）を構成する画素を用いて、画像分離部１により生成された分離画像（２）〜（４）を分離画像間で予測符号化する。
2010055675.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を構成する画素を所定数おきにサンプリングして、第１の分離画像を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、少なくとも１以上の第２の分離画像を生成する分離画像生成手段と、上記分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、上記第１の分離画像をフレーム内で予測符号化するフレーム内予測符号化手段と、上記分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、上記分離画像生成手段により生成された第２の分離画像を分離画像間で予測符号化する分離画像間予測符号化手段と、上記フレーム内予測符号化手段から出力される第１の分離画像の符号化データと上記分離画像間予測符号化手段から出力される第２の分離画像の符号化データを多重化してビットストリームを生成する多重化手段とを備えた動画像符号化装置。
【請求項２】
フレーム内予測符号化手段は、分離画像生成手段により生成された第１の分離画像を所定サイズのブロック単位でフレーム内予測を実施して、上記第１の分離画像の予測画像を生成し、上記第１の分離画像と上記予測画像の差分画像を出力する第１の差分画像出力処理部と、上記第１の差分画像出力処理部から出力された差分画像をブロック単位で直交変換し、上記直交変換の結果として得られる直交変換係数をエントロピー符号化する第１のエントロピー符号化処理部と、上記直交変換係数を逆直交変換し、上記逆直交変換の結果として得られる復号予測差分信号と上記予測画像を加算して第１の分離画像の局所復号画像を生成する局所復号画像生成処理部とから構成されており、
分離画像間予測符号化手段は、上記局所復号画像生成処理部により生成された第１の分離画像の局所復号画像を構成する画素を用いて、上記分離画像生成手段により生成された第２の分離画像の予測画像を生成し、上記第２の分離画像と上記予測画像の差分画像を出力する第２の差分画像出力処理部と、上記第２の差分画像出力処理部から出力された差分画像をブロック単位で直交変換し、上記直交変換の結果として得られる直交変換係数をエントロピー符号化する第２のエントロピー符号化処理部とから構成されていることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
分離画像間予測符号化手段の第２の差分画像出力処理部は、分離画像生成手段により生成された第２の分離画像の予測画像を生成する際、複数の予測モードの中から、上記分離画像生成手段により生成された第１の分離画像と上記第２の分離画像間の画素位置のずれの補正に適する予測モードを選択して、上記予測モードで上記第２の分離画像の予測画像を生成し、第２のエントロピー符号化処理部は、上記第２の差分画像出力処理部により選択された予測モードをエントロピー符号化することを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
フレーム内予測符号化手段は、「ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４」規格にしたがって第１の分離画像を符号化することを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
多重化手段は、第１の分離画像の符号化データと第２の分離画像の符号化データを多重化する際、符号化の単位となるブロックを１個以上纏めたスライス単位で多重化することでビットストリームを生成するものであり、上記第１及び第２の分離画像は独立にスライスを構成し、各スライスのヘッダには上記第１及び第２の分離画像を識別するＩＤが多重化されていることを特徴とする請求項１記載の動画像符号化装置。
【請求項６】
第１の分離画像の符号化データと第２の分離画像の符号化データが多重化されているビットストリームを入力し、上記ビットストリームから第１の分離画像の符号化データと第２の分離画像の符号化データを分離する符号化データ分離手段と、上記符号化データ分離手段により分離された第１の分離画像の符号化データを復号して、上記第１の分離画像の復号画像を得るフレーム内予測復号手段と、上記フレーム内予測復号手段により得られた第１の分離画像の復号画像を用いて、上記符号化データ分離手段により分離された第２の分離画像の符号化データを復号して、上記第２の分離画像の復号画像を得る分離画像間予測復号手段とを備えた動画像復号装置。
【請求項７】
フレーム内予測復号手段は、符号化データ分離手段により分離された第１の分離画像の符号化データを所定サイズのブロック単位でエントロピー復号して逆直交変換する第１のエントロピー復号処理部と、上記第１のエントロピー復号処理部のエントロピー復号により得られる予測モードにしたがってフレーム内予測を実施して、上記第１の分離画像の予測画像を生成する第１の予測画像生成処理部と、上記第１の予測画像生成処理部により生成された予測画像と上記第１のエントロピー復号処理部の逆直交変換結果である予測差分信号を加算して、その加算結果である上記第１の分離画像の復号画像を出力する第１の復号画像出力処理部とから構成されており、
分離画像間予測復号手段は、上記符号化データ分離手段により分離された第２の分離画像の符号化データを所定サイズのブロック単位でエントロピー復号して逆直交変換する第２のエントロピー復号処理部と、上記第１の復号画像出力処理部から出力される第１の分離画像の復号画像を用いて分離画像間予測を実施して、上記第２の分離画像の予測画像を生成する第２の予測画像生成処理部と、上記第２の予測画像生成処理部により生成された予測画像と上記第２のエントロピー復号処理部の逆直交変換結果である予測差分信号を加算して、その加算結果である上記第２の分離画像の復号画像を出力する第２の復号画像出力処理部とから構成されていることを特徴とする請求項６記載の動画像復号装置。
【請求項８】
フレーム内予測復号手段により得られた第１の分離画像の復号画像と分離画像間予測復号手段により得られた第２の分離画像の復号画像を合成して表示画像を生成する画像合成手段を設けたことを特徴とする請求項６記載の動画像復号装置。
【請求項９】
画像合成手段は、フレーム内予測復号手段により得られた第１の分離画像の復号画像を表示画像として表示してから、上記第１の分離画像の復号画像と第２の分離画像の復号画像を合成して生成した表示画像を表示することで、段階的に表示画像の解像度を上げることを特徴とする請求項８記載の動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を複数に分離して符号化する動画像符号化装置と、複数に分離して符号化されている画像を復号する動画像復号装置とに関するものである。
【背景技術】
【０００２】
以下の非特許文献１に開示されている「ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４（以下、「ＡＶＣ」と称する）などの国際標準映像符号化方式では、画像をＮ×Ｎ画素サイズのブロックに分割し、ブロック単位でフレーム内／フレーム間予測を実施することで得られるＮ×Ｎ画素サイズの予測差分信号に対して、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）などの直交変換、量子化及びエントロピー符号化が行なわれる。
ＡＶＣでは、フレーム内で予測符号化を行う際、符号化済みの隣接ブロックの画素を用いて予測を行うことで差分信号を取得する。予測のモードとして、平均値予測と８つの予測方向から予測する計９つのモードが用意されている。【０００３】
現行のＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  ＴＶ）で扱われる解像度（１９２０×１０８０）を超える高解像度の動画像を従来の符号化方式で符号化する場合、演算処理の増大に伴う回路規模の増大を抑えるため、画面を分割して並列的に符号化する方式が採用されている（例えば、特許文献１を参照）。
例えば、４０９６×２１６０画素の動画像を符号化する場合、１画面を４つに分割して得られる２０４８×１０８０画素の分割画面単位で符号化を行う。
このとき、分割画面間で、符号量の配分を互いに連携させないで符号化すると、各分割画面の画質に差異が生じてしまうため、分割画面を合成して１画面にすると、境界部分に不自然な画質劣化を招くことになる。【０００４】
このような画質劣化を防止するため、以下の特許文献２では、符号化の後処理として、分割画面毎に発生符号量と歪み特性を算出して、その発生符号量と歪み特性を記憶する手段を設け、後続の画面を符号化する際、直前の分割画面の符号量−歪み特性を参照して、後続の分割画面の符号量を推測することで、符号量の配分を決定するようにしている。
ＨＤＴＶを超える解像度の動画像を符号化する別の方式として、特許文献２では、Ｎ×Ｎ画素サイズのブロック単位で原画像を１画素毎に交互に分離して、２つの分離画像を生成し、一方の分離画像から他方の分離画像を予測して、差分信号を可変長符号化するようにしている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格
【特許文献】
【０００６】
【特許文献１】特開２００６−３５２６３６号公報
【特許文献２】特開２００８−１２５００２号公報
【発明の概要】
【０００７】
従来の動画像符号化装置は以上のように構成されているので、特許文献１では、シーンチェンジがある場合、過去の画面の符号量−歪み特性を用いることができない。このため、符号量を単純に均等分割するようにしており、シーンチェンジ後の画面の画質が低下してしまう課題があった。また、分割画面毎に、符号化の後処理として、符号量−歪み特性を算出しなければならないため、後処理の演算処理が多くなる課題もあった。
特許文献２では、Ｎ×Ｎ画素サイズのブロック単位で分離画像を生成するため、並列に処理することが困難であり、回路規模が増大してしまう課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、画質劣化と回路規模の増大を抑えて高い符号化効率を実現することができる動画像符号化装置を得ることを目的とする。
また、この発明は、高い符号化効率で符号化された画像を正しく復号して、元の高解像度の画像を表示することができる動画像復号装置を得ることを目的とする。
【０００９】
この発明に係る動画像符号化装置は、入力画像を構成する画素を所定数おきにサンプリングして、第１の分離画像を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、少なくとも１以上の第２の分離画像を生成する分離画像生成手段を設け、フレーム内予測符号化手段が分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、第１の分離画像をフレーム内で予測符号化し、分離画像間予測符号化手段が分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、分離画像生成手段により生成された第２の分離画像を分離画像間で予測符号化するようにしたものである。
【００１０】
この発明によれば、入力画像を構成する画素を所定数おきにサンプリングして、第１の分離画像を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、少なくとも１以上の第２の分離画像を生成する分離画像生成手段を設け、フレーム内予測符号化手段が分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、第１の分離画像をフレーム内で予測符号化し、分離画像間予測符号化手段が分離画像生成手段により生成された第１の分離画像を構成する画素を用いて、分離画像生成手段により生成された第２の分離画像を分離画像間で予測符号化するように構成したので、画質劣化と回路規模の増大を抑えて高い符号化効率を実現することができる効果がある。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の分離画像間予測符号化部１２を示す構成図である。
【図３】入力画像と分離画像（１）〜（４）の一例を示す説明図である。
【図４】分離前の分離画像（１）及び分離画像（２）の画素位置と符号化単位のブロックの関係を示す説明図である。
【図５】分離後の分離画像（１）と分離画像（２）のブロックの関係を示す説明図である。
【図６】予測モード０と予測モード１の場合の予測画像の生成例を示す説明図である。
【図７】４５度ではない角度の斜め方向にオブジェクトの境界がある場合を示す説明図である。
【図８】予測モード３の場合の予測画像の生成例を示す説明図である。
【図９】予測や直交変換の最小単位であるブロック、マクロブロック及びスライスの関係を示す説明図である。
【図１０】この発明の実施の形態２による動画像復号装置を示す構成図である。
【図１１】この発明の実施の形態２による動画像復号装置の分離画像間予測復号部３９を示す構成図である。
【発明を実施するための形態】
【００１２】
以下、この発明をより詳細に説明する為に、この発明を実施する為の形態について添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、画像分離部１は入力画像を構成する画素を所定数おきにサンプリングして、分離画像（１）（第１の分離画像）を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、分離画像（２）〜（４）（第２の分離画像）を生成する処理を実施する。なお、画像分離部１は分離画像生成手段を構成している。
【００１３】
イントラ予測部２は画像分離部１により生成された分離画像（１）を所定サイズのブロック単位でイントラ予測（フレーム内予測）を実施して、その分離画像（１）の予測画像を生成し、その分離画像（１）と予測画像の差分画像を示すイントラ差分信号をエントロピー符号化処理部３に出力する処理を実施する。なお、イントラ予測部２は第１の差分画像出力処理部を構成している。
【００１４】
エントロピー符号化処理部３はイントラ予測部２から出力されたイントラ差分信号をブロック単位で直交変換し、その直交変換の結果として得られる直交変換係数をエントロピー符号化する処理を実施する。なお、エントロピー符号化処理部３は第１のエントロピー符号化処理部を構成している。
エントロピー符号化処理部３の直交変換部４はイントラ予測部２から出力されたイントラ差分信号をブロック単位で直交変換し、その直交変換係数を量子化部５に出力する処理を実施する。
【００１５】
エントロピー符号化処理部３の量子化部５は直交変換部４から出力された直交変換係数を量子化し、その量子化係数をエントロピー符号化部６及び局所復号画像生成処理部７に出力する処理を実施する。
エントロピー符号化処理部３のエントロピー符号化部６は量子化部５から出力された量子化係数をエントロピー符号化する処理を実施する。
【００１６】
局所復号画像生成処理部７は量子化部５から出力された量子化係数を逆量子化して、その逆量子化の結果として得られる直交変換係数を逆直交変換し、その逆直交変換の結果として得られる復号予測差分信号とイントラ予測部２により生成された予測画像を加算して、分離画像（１）の局所復号画像を生成する処理を実施する。
局所復号画像生成処理部７の逆量子化部８は量子化部５から出力された量子化係数を逆量子化して、その逆量子化の結果として得られる直交変換係数を逆直交変換部９に出力する処理を実施する。
【００１７】
局所復号画像生成処理部７の逆直交変換部９は逆量子化部８から出力された直交変換係数を逆直交変換し、その逆直交変換の結果として得られる復号予測差分信号を加算部１０に出力する処理を実施する。
局所復号画像生成処理部７の加算部１０は逆直交変換部９から出力された復号予測差分信号とイントラ予測部２により生成された予測画像を加算して、その加算結果である分離画像（１）の局所復号画像を出力する処理を実施する。
なお、イントラ予測部２、エントロピー符号化処理部３及び局所復号画像生成処理部７からフレーム内予測符号化手段が構成されている。
【００１８】
フレームメモリ１１は局所復号画像生成処理部７により生成された分離画像（１）の局所復号画像を格納するメモリである。
分離画像間予測符号化部１２はフレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）〜（４）を分離画像間で予測符号化する処理を実施する。なお、分離画像間予測符号化部１２は分離画像間予測符号化手段を構成している。
【００１９】
多重化部１３はエントロピー符号化処理部３から出力された分離画像（１）の符号化データと分離画像間予測符号化部１２から出力された分離画像（２）〜（４）の符号化データを多重化してビットストリームを生成する処理を実施する。なお、多重化部１３は多重化手段を構成している。
【００２０】
図２はこの発明の実施の形態１による動画像符号化装置の分離画像間予測符号化部１２を示す構成図である。
図２において、差分画像出力処理部２０はフレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）〜（４）の予測画像を生成し、その予測画像と分離画像（２）〜（４）の差分画像を示す予測差分信号をエントロピー符号化処理部２３に出力する処理を実施する。なお、差分画像出力処理部２０は第２の差分画像出力処理部を構成している。
【００２１】
差分画像出力処理部２０の予測画像生成部２１はフレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）〜（４）の予測画像を生成する処理を実施する。
即ち、予測画像生成部２１は複数の予測モードの中から、画像分離部１により生成された分離画像（１）と分離画像（２）〜（４）間の画素位置のずれの補正に適する予測モードを選択して、その予測モードで分離画像（２）〜（４）の予測画像を生成する処理を実施する。
差分画像出力処理部２０の減算部２２は画像分離部１により生成された分離画像（２）〜（４）と予測画像生成部２１により生成された予測画像の差分画像を求め、その差分画像を示す予測差分信号をエントロピー符号化処理部２３に出力する処理を実施する。
【００２２】
エントロピー符号化処理部２３は差分画像出力処理部２０から出力された予測差分信号をブロック単位で直交変換し、その直交変換の結果として得られる直交変換係数をエントロピー符号化する処理を実施する。なお、エントロピー符号化処理部２３は第２のエントロピー符号化処理部を構成している。
エントロピー符号化処理部２３の直交変換部２４は差分画像出力処理部２０から出力された予測差分信号をブロック単位で直交変換し、その直交変換係数を量子化部２５に出力する処理を実施する。
【００２３】
エントロピー符号化処理部２３の量子化部２５は直交変換部２４から出力された直交変換係数を量子化し、その量子化係数をエントロピー符号化部２６に出力する処理を実施する。
エントロピー符号化処理部２３のエントロピー符号化部２６は量子化部２５から出力された量子化係数と予測画像生成部２１により選択された予測モードをエントロピー符号化する処理を実施する。
【００２４】
次に動作について説明する。
この実施の形態１では、画像分離部１が図３に示すような３８４０×２１６０画素の動画像を入力して、その動画像を符号化する例を説明する。
画像分離部１は、動画像を入力すると、動画像を構成する画素を所定数おきにサンプリングして、分離画像（１）を生成するとともに、上記画素と異なる画素を所定数おきにサンプリングして、分離画像（２）〜（４）を生成する。
図２では、水平方向に２画素おき、垂直方向に１画素おきにサンプリングして、４つの１９２０×１０８０画素サイズの分離画像（１）（２）（３）（４）を生成している例を示している。
なお、分離画像（１）は所定サイズのブロック単位にイントラ予測部２に入力され、分離画像（２）〜（４）は所定サイズのブロック単位に分離画像間予測符号化部１２に入力される。
【００２５】
イントラ予測部２は、画像分離部１から分離画像（１）を受けると、その分離画像（１）をブロック単位でイントラ予測を実施して、分離画像（１）の予測画像を生成する。
例えば、ＡＶＣと同様に、平均値予測と８つの予測方向から予測する計９つの予測モードの中から、いずれか一つの予測モードを選択し、その選択した予測モードに基づいて、フレームメモリ１１に格納されている近傍ブロックの局所復号画像の画素値を用いて予測画像を生成する。
イントラ予測部２は、分離画像（１）の予測画像を生成すると、その予測画像と分離画像（１）の差分画像を示すイントラ差分信号をエントロピー符号化処理部３に出力する。
【００２６】
エントロピー符号化処理部３の直交変換部４は、イントラ予測部２からイントラ差分信号を受けると、例えば、そのイントラ差分信号に対して、ＤＣＴやアダマール変換等の直交変換を施して、その直交変換係数を量子化部５に出力する。
エントロピー符号化処理部３の量子化部５は、直交変換部４から直交変換係数を受けると、分離画像（１）に対する符号量配分に基づいて決定される量子化パラメータを用いて、その直交変換係数を量子化し、その量子化係数をエントロピー符号化部６及び局所復号画像生成処理部７に出力する。
【００２７】
図３のように動画像が分離される場合、隣接画素が分離されているため、分離画像間の相関が非常に高くなる。後述するように、分離画像間予測符号化部１２が分離画像（１）を用いて、分離画像（２）〜（４）を符号化する場合、差分信号に対する符号量割り当てを少なくすることができる。
従って、分離画像（１）の符号量割り当てが大きくなるように、量子化パラメータを設定する。
【００２８】
エントロピー符号化処理部３のエントロピー符号化部６は、量子化部５から２次元の量子化係数を入力すると、所定の順番でスキャンして、１次元の量子化係数列に変換し、その量子化係数列を算術符号化あるいは可変長符号化などのエントロピー符号化を行う。
なお、エントロピー符号化部６の符号化結果である分離画像（１）の符号化データは、多重化部１３に入力される。
【００２９】
局所復号画像生成処理部７の逆量子化部８は、量子化部５から量子化係数を受けると、その量子化係数を逆量子化し、その逆量子化の結果として得られる直交変換係数を逆直交変換部９に出力する。
局所復号画像生成処理部７の逆直交変換部９は、逆量子化部８から直交変換係数を受けると、その直交変換係数を逆直交変換し、その逆直交変換の結果として得られる復号予測差分信号を加算部１０に出力する。
局所復号画像生成処理部７の加算部１０は、逆直交変換部９から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部２により生成された予測画像を加算し、その加算結果である分離画像（１）の局所復号画像を出力する。
なお、分離画像（１）の局所復号画像は、フレームメモリ１１に格納される。
【００３０】
分離画像間予測符号化部１２は、フレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）〜（４）を分離画像間で予測符号化する。
以下、分離画像間予測符号化部１２の処理内容を具体的に説明する。ここでは、分離画像（２）が符号化される例を説明する。
【００３１】
差分画像出力処理部２０の予測画像生成部２１は、フレームメモリ１１に格納されている分離画像（１）の局所復号画像を構成する画素を用いて、画像分離部１により生成された分離画像（２）の予測画像を生成する処理を実施する。
即ち、予測画像生成部２１は、複数の予測モードの中から、画像分離部１により生成された分離画像（１）と分離画像（２）間の画素位置のずれの補正に適する予測モードを選択して、その予測モードで分離画像（２）の予測画像を生成する。
ここで、分離画像（１）と分離画像（２）が４×４画素サイズのブロック単位に符号化される場合を例にして、予測画像生成部２１の処理内容を具体的に説明する。
【００３２】
図４は分離前の分離画像（１）及び分離画像（２）の画素位置と符号化単位のブロックの関係を示す説明図である。
図４では、分離画像（１）の画素を１で示し、分離画像（２）の画素を２で示している。また、分離画像（１）の４×４画素サイズのブロックを実線の矩形で示し、分離画像（２）の４×４画素サイズのブロックを点線の矩形で示している。
図４の例では、分離画像（１）のブロックと分離画像（２）のブロックの位置が、２画素分水平方向にずれている。
【００３３】
図５は分離後の分離画像（１）と分離画像（２）のブロックの関係を示す説明図である。
オブジェクトの境界が図４に示される位置にある場合、分離後の分離画像（１）及び分離画像（２）において、オブジェクト境界の位置は図５のようになる。
分離画像（２）のブロックＡ２を分離画像（１）を構成する画素を用いて予測する場合、分離画像（１）のブロックＡ１の位置から２画素右方向にずらした位置から予測画像を生成する。
同様に、境界の位置に応じて、分離画像（１）と分離画像（２）の位相のずれを補正するために、予測モードとして、以下の４種類のモードを用意している。
【００３４】
【表１】
2010055675.tif 000003
【００３５】
４種類の予測モードのうち、予測モード２は、図５で示したように、水平右方向に２画素ずらした位置から予測画像を生成するモードである。
図６は予測モード０と予測モード１の場合の予測画像の生成例を示す説明図である。
予測モード０は真裏モードであり、分離画像（１）のブロックＡ１が分離画像（２）のブロックＡ２の予測画像になる。
予測モード１は分離画像（１）のブロックＡ１の位置から１画素右方向にずらした位置から予測画像を生成するモードである。
【００３６】
図７は４５度ではない角度の斜め方向にオブジェクトの境界がある場合を示す説明図であり、図８は予測モード３の場合の予測画像の生成例を示す説明図である。
予測モード３は、図７に示すように、４５度ではない角度の斜め方向にオブジェクトの境界がある場合に有効な予測画像の生成方法である。
分離画像（１）のブロックＡ１と分離画像（２）のブロックＡ２のオブジェクト境界は図８に示すとおりである。
予測モード３の予測画像は、予測モード０，予測モード１，予測モード２の予測画像の平均画像になるものである。
【００３７】
４種類の予測モードの中から最適な予測モードを選択する方法としては、例えば、４種類の予測モードで生成される予測画像と分離画像（１）のブロックＡ２の誤差信号の平均２乗和（ＭＳＥ）をすべて求めて、ＭＳＥが最小となる予測モードを選択する方法などを用いることができる。
なお、予測画像生成部２１により選択された予測モードは、ビットストリームに多重化するために、エントロピー符号化部２６に入力され、予測画像生成部２１により生成された予測画像は、減算部２２に入力される。
【００３８】
差分画像出力処理部２０の減算部２２は、予測画像生成部２１が予測画像を生成すると、その予測画像と画像分離部１により生成された分離画像（２）の差分画像を求め、その差分画像を示す予測差分信号をエントロピー符号化処理部２３に出力する。
エントロピー符号化処理部２３の直交変換部２４は、差分画像出力処理部２０から予測差分信号を受けると、例えば、その予測差分信号に対して、ＤＣＴやアダマール変換等の直交変換を施して、その直交変換係数を量子化部２５に出力する。
エントロピー符号化処理部２３の量子化部２５は、直交変換部２４から直交変換係数を受けると、分離画像（２）に対する符号量配分に基づいて決定される量子化パラメータを用いて、その直交変換係数を量子化し、その量子化係数をエントロピー符号化部２６に出力する。
【００３９】
エントロピー符号化処理部２３のエントロピー符号化部２６は、量子化部２５から２次元の量子化係数を入力すると、所定の順番でスキャンして、１次元の量子化係数列に変換し、その量子化係数列を算術符号化あるいは可変長符号化などのエントロピー符号化を行う。
また、エントロピー符号化部２６は、予測画像生成部２１から予測モードを受けると、その予測モードを算術符号化あるいは可変長符号化などのエントロピー符号化を行う。
なお、エントロピー符号化部２６の符号化結果である分離画像（２）の符号化データ（予測モードの符号化データを含む）は、多重化部１３に入力される。
【００４０】
分離画像（３）（４）についても、分離画像（２）と同様の手順で、分離画像（１）の局所復号画像を用いて符号化されるが、分離画像（３）（４）は、図３に示したとおり、分離画像（１）と位相がずれる方向がそれぞれ異なる。
従って、予測モードが分離画像（２）と異なるため、以下に説明する。
【００４１】
分離画像（１）のブロックと分離画像（３）のブロックの位置は、垂直方向に１画素分ずれている。分離画像（１）と分離画像（３）の位相のずれを補正するために、予測モードとして、以下の３種類を用意する。
【表２】
2010055675.tif 000004
【００４２】
分離画像（１）のブロックと分離画像（４）のブロックの位置は、水平方向に２画素、垂直方向に１画素ずれている。分離画像（１）と分離画像（４）の位相のずれを補正するために、予測モードとして、以下の７種類を用意する。
【表３】
2010055675.tif 000005
【００４３】
多重化部１３は、エントロピー符号化処理部３から分離画像（１）の符号化データを受け、分離画像間予測符号化部１２から分離画像（２）〜（４）の符号化データを受けると、これらの符号化データを多重化してビットストリームを生成する。
以下、多重化部１３におけるビットストリームの生成処理を具体的に説明する。
【００４４】
分離画像（１）、分離画像（２）、分離画像（３）、分離画像（４）が所定サイズのブロック単位に符号化されているときに、１個以上のブロックから構成される単位をスライスと称する。
ＡＶＣでは、図９に示すように、予測や直交変換の最小単位（図９では、４×４画素サイズ）をブロックと呼び、ブロックを複数個纏めた単位（図９では、４×４ブロック（１６×１６画素サイズ））をマクロブロックと呼び、マクロブロックを１個以上纏めた単位をスライスと呼んでいる。ピクチャ内でスライス境界をまたがって予測符号化を行うことは禁止されている。
【００４５】
本発明の符号化方式においても、ＡＶＣと同じようにスライスを構成してもよい。同じように各分離画像からの符号化データはスライス単位で多重化部１３に入力される。
スライスの先頭には、スライスを識別するスライスＩＤと、スライスの開始を意味するユニークワード（スタートコード）と、そのスライスが分離画像（１）、分離画像（２）、分離画像（３）、分離画像（４）のいずれの分離画像のスライスであるかを識別するＩＤ（分離画像ＩＤ）と、スライスのＩＤ（スライスＩＤ）とが、ヘッダ情報の一部として多重化される。
１ピクチャは、複数スライスから構成されるようにして、分離画像（１）、分離画像（２）、分離画像（３）、分離画像（４）のスライスがインタリーブされて１本のビットストリームに多重化されていてもよいが、分離画像（１）は、分離画像（２）、分離画像（３）、分離画像（４）を復号するときに予測画像として参照されるため、分離画像（１）のスライスが、分離画像（２）、分離画像（３）、分離画像（４）のスライスより先に多重化されていなければならない。
【００４６】
以上で明らかなように、この実施の形態１によれば、入力画像を構成する画素を水平方向に２画素おき、垂直方向に１画素おきにサンプリングして、４つの分離画像（１）（２）（３）（４）を生成する画像分離部１を設け、フレーム内予測符号化手段が画像分離部１により生成された分離画像（１）を構成する画素を用いて、分離画像（１）をフレーム内で予測符号化し、分離画像間予測符号化部１２が画像分離部１により生成された分離画像（１）を構成する画素を用いて、画像分離部１により生成された分離画像（２）（３）（４）を分離画像間で予測符号化するように構成したので、画質劣化と回路規模の増大を抑えて高い符号化効率を実現することができる効果を奏する。
【００４７】
また、この実施の形態１によれば、分離画像毎に独立にスライスを構成するようにしたので、並列に符号化処理を行うことができるようになり、その結果、動画像符号化装置の回路規模を小さくすることができる効果を奏する。
【００４８】
なお、この実施の形態１では、画像分離部１が入力画像を構成する画素を水平方向に２画素おき、垂直方向に１画素おきにサンプリングして、４つの分離画像（１）（２）（３）（４）を生成するものについて示したが、水平方向にＮ（Ｎは１以上）画素おき、垂直方向にＭ（Ｍは１以上）画素おきにサンプリングして、Ｋ枚（Ｋは２以上）の分離画像を生成するようにしてもよい。
また、水平方向又は垂直方向のいずれか１方向のみにサンプリングして分離画像を生成するようにしてもよい。
【００４９】
また、この実施の形態１では、イントラ予測部２が、ＡＶＣと同様に、平均値予測と８つの予測方向から予測する計９つの予測モードの中から、いずれか一つのモードを選択してイントラ予測するものについて示したが、分離画像（１）は水平方向、垂直方向にサンプリングされた画像であるため、斜め方向には相関がない場合もある。
そこで、予測モードを平均値予測、水平予測、垂直予測の３つのモードとし、３つのモードの中から、いずれか一つのモードを選択してイントラ予測するようにしてもよい。
【００５０】
また、この実施の形態１では、イントラ予測後に得られる予測差分信号に対して、ＤＣＴやアダマール変換等の直交変換を施すものについて示したが、分離画像（１）（２）（３）（４）は隣接画素をサンプリングしている画像であるため、構造的に非常に近寄った画像になり、分離画像（１）を用いて、分離画像（２）（３）（４）を予測する場合、予測後の差分信号に２次元的な相関が残っていない場合もある。
そのような場合には、直交変換を適用せずに、ＰＣＭやＤＰＣＭにより直接符号化してもよい。また、直交変換とＰＣＭやＤＰＣＭ符号化をマクロブロック毎に切り替えてもよく、この場合には、マクロブロックタイプで切替情報を符号化するようにしてもよい。
【００５１】
実施の形態２．
図１０はこの発明の実施の形態２による動画像復号装置を示す構成図である。
図１０において、ストリーム分離部３１は図１の動画像符号化装置から送信されたビットストリームを入力し、そのビットストリームから分離画像（１）のスライスデータ（符号化データ）と、分離画像（２）（３）（４）のスライスデータ（符号化データ）を分離する処理を実施する。なお、ストリーム分離部３１は符号化データ分離手段を構成している。
【００５２】
エントロピー復号処理部３２はストリーム分離部３１により分離された分離画像（１）のスライスデータを所定サイズのブロック単位でエントロピー復号することで、イントラ予測モードと予測差分信号を復号する処理を実施する。なお、エントロピー復号処理部３２は第１のエントロピー復号処理部を構成している。
エントロピー復号処理部３２のエントロピー復号部３３はストリーム分離部３１により分離された分離画像（１）のスライスデータを所定サイズのブロック単位でエントロピー復号することで、イントラ予測モードと量子化係数を復号する処理を実施する。
【００５３】
エントロピー復号処理部３２の逆量子化部３４はエントロピー復号部３３により復号された量子化係数を逆量子化して、その逆量子化の結果として得られる直交変換係数を逆直交変換部３５に出力する処理を実施する。
エントロピー復号処理部３２の逆直交変換部３５は逆量子化部３４から出力された直交変換係数を逆直交変換して、その逆直交変換の結果として得られる予測差分信号を加算部３７に出力する処理を実施する。
【００５４】
イントラ予測部３６はエントロピー復号処理部３２によりエントロピー復号されたイントラ予測モードに基づいて、フレームメモリ３８に格納されている近傍ブロックの復号画像の画素値を用いて分離画像（１）の予測画像を生成する処理を実施する。なお、イントラ予測部３６は第１の予測画像生成処理部を構成している。
【００５５】
加算部３７はイントラ予測部３６により生成された分離画像（１）の予測画像と逆直交変換部３５から出力された予測差分信号を加算して、その加算結果である分離画像（１）の復号画像をフレームメモリ３８及び画像合成部４０に出力する処理を実施する。なお、加算部３７は第１の復号画像出力処理部を構成している。
フレームメモリ３８は加算部３７から出力された分離画像（１）の復号画像を格納するメモリである。
エントロピー復号処理部３２、イントラ予測部３６及び加算部３７からフレーム内予測復号手段が構成されている。
【００５６】
分離画像間予測復号部３９はフレームメモリ３８に格納されている分離画像（１）の復号画像を用いて、ストリーム分離部３１により分離された分離画像（２）（３）（４）のスライスデータを復号して、分離画像（２）（３）（４）の復号画像を画像合成部４０に出力する処理を実施する。なお、分離画像間予測復号部３９は分離画像間予測復号手段を構成している。
画像合成部４０は加算部３７から出力された分離画像（１）の復号画像と分離画像間予測復号部３９から出力された分離画像（２）（３）（４）の復号画像を合成して表示画像を生成する処理を実施する。なお、画像合成部４０は画像合成手段を構成している。
【００５７】
図１１はこの発明の実施の形態２による動画像復号装置の分離画像間予測復号部３９を示す構成図であり、図において、エントロピー復号処理部５０はストリーム分離部３１により分離された分離画像（２）（３）（４）のスライスデータを所定サイズのブロック単位でエントロピー復号することで、分離画像間の予測モードと予測差分信号を復号する処理を実施する。なお、エントロピー復号処理部５０は第２のエントロピー復号処理部を構成している。
エントロピー復号処理部５０のエントロピー復号部５１はストリーム分離部３１により分離された分離画像（２）（３）（４）のスライスデータを所定サイズのブロック単位でエントロピー復号することで、分離画像間の予測モードと量子化係数を復号する処理を実施する。
【００５８】
エントロピー復号処理部５０の逆量子化部５２はエントロピー復号部５１により復号された量子化係数を逆量子化して、その逆量子化の結果として得られる直交変換係数を逆直交変換部５３に出力する処理を実施する。
エントロピー復号処理部５０の逆直交変換部５３は逆量子化部５２から出力された直交変換係数を逆直交変換して、その逆直交変換の結果として得られる予測差分信号を加算部５５に出力する処理を実施する。
【００５９】
予測画像生成部５４はエントロピー復号部５１によりエントロピー復号された分離画像間の予測モードに基づいて、フレームメモリ３８に格納されている分離画像（１）の復号画像を用いて、分離画像（２）（３）（４）の予測画像を生成する処理を実施する。なお、予測画像生成部５４は第２の予測画像生成処理部を構成している。
加算部５５は予測画像生成部５４により生成された分離画像（２）（３）（４）の予測画像と逆直交変換部５３から出力された予測差分信号を加算して、その加算結果である分離画像（２）（３）（４）の復号画像を出力する処理を実施する。なお、加算部５５は第２の復号画像出力処理部を構成している。
【００６０】
次に動作について説明する。
ストリーム分離部３１は、図１の動画像符号化装置から送信されたビットストリームを入力すると、ユニークワードで区切られたスライス単位に分離画像ＩＤを復号することで、そのビットストリームから分離画像（１）のスライスデータと、分離画像（２）（３）（４）のスライスデータを分離する。
【００６１】
エントロピー復号部３３は、ストリーム分離部３１から分離画像（１）のスライスデータを受けると、分離画像（１）のスライスデータを算術復号あるいは可変長復号などのエントロピー復号を実施することで、所定サイズのブロック単位のイントラ予測モードと一次元の量子化係数列を復号する。
また、エントロピー復号部３３は、一次元の量子化係数列を所定の順番でスキャンして２次元の量子化係数に変換する。
【００６２】
逆量子化部３４は、エントロピー復号部３３から量子化係数を受けると、エントロピー復号部３３により復号された量子化パラメータ（図示せず）にしたがって、その量子化係数を逆量子化し、その逆量子化の結果として得られる直交変換係数を逆直交変換部３５に出力する。
逆直交変換部３５は、逆量子化部３４から直交変換係数を受けると、その直交変換係数に対して、ＤＣＴやアダマール変換等の逆直交変換を施すことで、その逆直交変換の結果として得られる予測差分信号を加算部３７に出力する。
【００６３】
イントラ予測部３６は、エントロピー復号部３３からイントラ予測モードを受けると、図１の動画像符号化装置におけるイントラ予測部２と同様に、そのイントラ予測モードに基づいて、フレームメモリ３８に格納されている近傍ブロックの復号画像の画素値を用いて分離画像（１）の予測画像を生成する。
イントラ予測部３６が使用するイントラ予測モードは、図１の動画像符号化装置におけるイントラ予測部２が使用する予測モードと同じであり、平均値予測と８つの予測方向から予測する計９つの予測モードの中から、いずれか一つ選択した予測モードである。
【００６４】
加算部３７は、イントラ予測部３６が分離画像（１）の予測画像を生成すると、分離画像（１）の予測画像と逆直交変換部３５から出力された予測差分信号を加算し、その加算結果である分離画像（１）の復号画像をフレームメモリ３８及び画像合成部４０に出力する。
【００６５】
分離画像間予測復号部３９は、ストリーム分離部３１から分離画像（２）（３）（４）のスライスデータを受けると、フレームメモリ３８に格納されている分離画像（１）の復号画像を用いて、分離画像（２）（３）（４）のスライスデータを復号して、分離画像（２）（３）（４）の復号画像を画像合成部４０に出力する。
以下、分離画像間予測復号部３９の処理内容を具体的に説明する。ここでは、分離画像（２）のスライスデータが復号される例を説明する。
【００６６】
分離画像間予測復号部３９のエントロピー復号部５１は、ストリーム分離部３１から分離画像（２）のスライスデータを受けると、分離画像（２）のスライスデータを算術復号あるいは可変長復号などのエントロピー復号を実施することで、所定サイズのブロック単位の分離画像間の予測モードと量子化係数を復号する
また、エントロピー復号部５１は、一次元の量子化係数列を所定の順番でスキャンして２次元の量子化係数に変換する。
【００６７】
逆量子化部５２は、エントロピー復号部５１から量子化係数を受けると、エントロピー復号部５１により復号された量子化パラメータ（図示せず）にしたがって、その量子化係数を逆量子化し、その逆量子化の結果として得られる直交変換係数を逆直交変換部５３に出力する。
逆直交変換部５３は、逆量子化部５２から直交変換係数を受けると、その直交変換係数に対して、ＤＣＴやアダマール変換等の逆直交変換を施すことで、その逆直交変換の結果として得られる予測差分信号を加算部５５に出力する。
【００６８】
予測画像生成部５４は、エントロピー復号部５１から分離画像間の予測モードを受けると、その分離画像間の予測モードに基づいて、フレームメモリ３８に格納されている分離画像（１）の復号画像を用いて分離画像（２）の予測画像を生成する。
予測モードの種類と予測画像の生成方法は、上記実施の形態１の動画像符号化装置における予測画像生成部２１と同じである。
【００６９】
加算部５５は、予測画像生成部５４が分離画像（２）の予測画像を生成すると、分離画像（２）の予測画像と逆直交変換部５３から出力された予測差分信号を加算し、その加算結果である分離画像（２）の復号画像を画像合成部４０に出力する。
分離画像（３）、分離画像（４）のスライスデータについても、分離画像（２）と同様の手順で復号され、分離画像（３）の復号画像、分離画像（４）の復号画像が画像合成部４０に入力される。
【００７０】
画像合成部４０は、加算部３７から出力された分離画像（１）の復号画像と分離画像間予測復号部３９から出力された分離画像（２）（３）（４）の復号画像を合成して表示画像を生成する。
即ち、画像合成部４０は、加算部３７から分離画像（１）の復号画像を入力し、分離画像間予測復号部３９から分離画像（２）（３）（４）の復号画像を入力すると、上記実施の形態１の動画像符号化装置における画像分離部１とは逆の手順で１枚の画像へ合成することで、表示画像を生成する。
各分離画像の合成後の画像における画素位置は図３の入力画像と同じである。
【００７１】
以上で明らかなように、この実施の形態２によれば、分離画像（１）のスライスデータと分離画像（２）（３）（４）のスライスデータが多重化されているビットストリームを入力し、そのビットストリームから分離画像（１）のスライスデータと分離画像（２）（３）（４）のスライスデータを分離するストリーム分離部３１を設け、フレーム内予測復号手段がストリーム分離部３１により分離された分離画像（１）のスライスデータを復号して、分離画像（１）の復号画像を出力し、分離画像間予測復号部３９がストリーム分離部３１により分離された分離画像（１）の復号画像を用いて、ストリーム分離部３１により分離された分離画像（２）（３）（４）の符号化データを復号して、分離画像（２）（３）（４）の復号画像を出力するように構成したので、高い符号化効率で符号化された画像を正しく復号して、元の高解像度の画像を表示することができる効果を奏する。
【００７２】
また、この実施の形態２によれば、分離画像毎に独立に構成されたスライスデータを復号するように構成したので、並列に復号処理を行うことができるようになり、その結果、動画像復号装置の回路規模を小さくすることができる効果を奏する。
【００７３】
なお、この実施の形態２では、分離画像を復号後に、画像合成部４０が４つの分離画像を合成して、元の高解像度の表示画像を生成するものについて示したが、先に復号処理が完了している分離画像（１）の復号画像を表示画像として、先に表示装置に送ることで、低解像度の画像を表示する。
その後、分離画像（２）、分離画像（３）、分離画像（４）の復号が完了次第、順次、分離画像（１）の復号画像と合成することで、解像度の高い表示画像を生成して、表示装置に表示する画像の解像度を段階的に高めるようにする。
表示装置に表示する画像の順番は、例えば、次の通りである。
分離画像（１）  →  合成画像（分離画像（１）＋分離画像（２））  →  合成画像（分離画像（１）＋分離画像（２）＋分離画像（３））  →  合成画像（分離画像（１）＋分離画像（２）＋分離画像（３）＋分離画像（４））
【００７４】
ストリームの編集時やサムネイル画像の再生時、あるいは、低い処理能力の再生装置においては、分離画像（１）に対応する分離画像ＩＤを有するスライスデータのみを復号して、１／４の解像度の画像を復号して表示するようにしてもよい。
【産業上の利用可能性】
【００７５】
この発明に係る動画像符号化装置及び動画増幅後装置は、画質劣化と回路規模の増大を抑えて高い符号化効率を実現することができるため、画像を複数に分離して符号化する動画像符号化装置と、複数に分離して符号化されている画像を復号する動画像復号装置等に用いるのに適している。
【図１】
2010055675.tif 000006
【図２】
2010055675.tif 000007
【図３】
2010055675.tif 000008
【図４】
2010055675.tif 000009
【図５】
2010055675.tif 000010
【図６】
2010055675.tif 000011
【図７】
2010055675.tif 000012
【図８】
2010055675.tif 000013
【図９】
2010055675.tif 000014
【図１０】
2010055675.tif 000015
【図１１】
2010055675.tif 000016
【国際調査報告】
2010055675.tif 000017
2010055675.tif 000018
2010055675.tif 000019
2010055675.tif 000020