(57)【特許請求の範囲】
【請求項１】
フレーム内予測処理およびフレーム間予測処理を利用する圧縮符号化方式により圧縮符号化された動画像ビットストリームを画像信号へ復号する復号手段と、前記復号手段により得られた復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る再圧縮手段と、前記再圧縮手段により得られた再圧縮データを保持する予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された再圧縮データを読み出し、これを伸長した後に前記復号手段の予測処理で利用するデータとして供給する伸長手段と、前記予測フレームメモリ手段に対する再圧縮データの書き込み、又は、読み出しを制御するアドレス制御手段とを有する動画像復号装置において、
前記再圧縮手段は、前記圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行うように構成されていることを特徴とする動画像復号装置。
【請求項２】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記再圧縮手段において予測画像作成の際に参照される画素位置、前記再圧縮手段における再圧縮処理単位、又は、前記再圧縮手段における圧縮率のいずれか一つ以上を用いて定める、請求項１に記載の動画像復号装置。
【請求項３】
前記再圧縮手段は、再圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うように構成されている、請求項１に記載の動画像復号装置。
【請求項４】
前記再圧縮手段における再圧縮処理単位内で最大の参照度は、縦または横に隣接する画素と参照度が等しくならないように定める、請求項３に記載の動画像復号装置。
【請求項５】
フレーム内予測処理およびフレーム間予測処理を利用する圧縮符号化方式により圧縮符号化された動画像ビットストリームを画像信号へ復号し、前記復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行う動画像復号方法において、
前記圧縮符号化方式におけるフレーム内予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行い、再圧縮処理で生じた誤差の蓄積を抑制することを特徴とする動画像復号方法。
【請求項６】
予測画像符号化復号方法の予測画像を作成するための復号画像を記録するための情報処理装置を構成するコンピュータに、
フレーム内予測処理およびフレーム間予測処理を利用する圧縮符号化方式により圧縮符号化された動画像ビットストリームを画像信号へ復号する機能と、
前記復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行う機能と、
前記圧縮符号化方式におけるフレーム内予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行い、再圧縮処理で生じた誤差の蓄積を抑制する機能とを実行させるプログラムを記録した記録媒体。
【請求項７】
予測処理を利用する画像符号化復号方法により復号された画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る動画像復号方法において、
前記圧縮符号化復号方法における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量を制御することを特徴とする動画像復号方法。
【請求項８】
前記圧縮符号化方式はフレーム内予測を用いた圧縮符号化方式であり、
前記圧縮符号化方式において予測画像作成の際に参照される画素位置は、フレーム内予測画像作成の際に参照される画素位置であることを特徴とする請求項７に記載の動画像復号方法。
【請求項９】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記再圧縮手段において予測画像作成の際に参照される画素位置、前記再圧縮手段における再圧縮処理単位、又は、前記再圧縮手段における圧縮率のいずれか一つ以上を用いて定めることを特徴とする請求項７に記載の動画像復号方法。
【請求項１０】
再圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項８に記載の動画像復号方法。
【請求項１１】
前記再圧縮処理単位内で最大の参照度は、縦または横に隣接する画素と参照度が等しくならないように定めることを特徴とする請求項１０に記載の動画像復号方法。
【請求項１２】
予測処理を利用する画像符号化復号方法により復号された画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る動画像復号装置を構成するコンピュータに、
前記圧縮符号化復号方法における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量を制御する処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された動画像ビットストリームを入力とする動画像復号装置に関し、特に、復号に必要となるメモリ容量及びメモリ帯域を削減するために復号画像を再圧縮する手段を備えた動画像復号装置、復号画像記録装置、それらの方法及びプログラムに関する。
【背景技術】
【０００２】
近年のデジタル技術の急速な進歩に伴い、MPEG-2  VIDEO  (ISO  13818-2/ITU-TH.262)、MPEG-4  Visual  (ISO  14496-2)、H.264(ITU-T  H.264/ISO  14496-10)などに代表されるデジタル動画像圧縮符号化方式が広く利用されるようになった。【０００３】
しかし、圧縮符号化された動画像ビットストリームを入力とする動画像復号装置は、圧縮符号化方式の複雑化、復号対象画像の高解像度化により、多大なメモリ容量及びメモリ帯域を必要とし、実装する上で問題となっている。【０００４】
この問題を解決する一つの方法として、復号画像を再圧縮する手段を備えた動画像復号装置が開示されている。このような、復号画像を再圧縮する手段を備えた動画像復号装置の代表的な技術として、例えば、特許文献１に記載されている従来の動画像復号装置を図２に示す。【０００５】
この動画像復号装置は、復号部２０１と、再圧縮部２０２と、予測フレームメモリ部２０３と、第１の伸長部２０４と、アドレス制御部２０５とから構成される。尚、以下の説明において、特許文献１に記載されている表示機能に関しては説明を省略する。【０００６】
具体的には第２の伸長部を削除し、予測・表示フレームメモリ部を予測フレームメモリ部２０３に変更している。【０００７】
復号部２０１は、入力された圧縮動画像ビットストリームと、伸長部２０４で伸長された参照画像を用いて画像を復号する。復号部２０１で復号された復号画像には、再圧縮部２０２で、画素ごとあるいは再圧縮処理単位ごとになるビット数を割り当てた量子化を行う再圧縮処理が行われ、復号情報量が削減される。【０００８】
再圧縮部２０２で再圧縮された再圧縮データは、後に復号する画像の参照画像として用いられるために予測フレームメモリ部２０３へ書き込まれる。書き込みにおいては、アドレス制御部２０５は、各再圧縮処理単位に対応したアドレス位置に、再圧縮データが書き込まれるようにフレームメモリのアドレスを作成し、アドレス線を介して、予測フレームメモリ部２０３に供給する。【０００９】
書き込まれた再圧縮データは、復号のために伸長部２０４において伸長される。【００１０】
尚、同様の発明が、特許文献２〜特許文献１１にも開示されている。【００１１】
次に具体例を用いて特許文献１に開示された動画像復号装置の効果を示す。尚、以下の説明において、特許文献１に開示された動画像復号装置の復号部２０１としてH.264を考える。【００１２】
図３に復号画像を再圧縮する手段を備えたH.264復号装置のブロック図を示す。【００１３】
H.264は、MPEG-2  VIDEOやMPEG-4  Visualと同様に、動き補償と周波数変換を組み合わせたハイブリッド符号化をベースにしており、さらに新しい技術であるイントラ（空間、フレーム内)予測、デブロックフィルタが用いられている。図３において、３０１は可変長復号部、３０２はスケーリング／逆量子化／逆整数変換部、３０は加算器、３０４はデブロックフィルタ部、３２は圧縮部、３３は予測フレームメモリ部である。また、３０５はイントラ予測部、３０６は動き補償部、３４は伸長部、３５はアドレス制御部である。【００１４】
再圧縮部２０２の再圧縮符号化方式として、図４に示す１次元の差分PCM(1-D  DPCM)を考える。【００１５】
図４では輝度信号の再圧縮処理単位はH.264の圧縮符号化処理単位の一つであるマクロブロック(MB:  Macroblock)幅の半分である８画素とし、左画素を参照画素とし、予測誤差値は５ビット固定の量子化代表値を持つ非線形量子化を行う。【００１６】
図５に、ある映像シーケンスにおける通常の(再圧縮する手段を持たない)H.264復号装置の復号画像と、再圧縮する手段を備えたH.264復号装置の復号画像とのフレーム平均輝度信号PSNR(Peak  Signal-to-Noise  Ratio)を示す。【００１７】
ここで、H.264の符号化条件は、イントラ予測フレーム間隔Ｎを１５フレーム、参照フレーム間隔Ｍを３フレームとしている。【００１８】
再圧縮する手段を備えた動画像復号装置では復号画像を再圧縮するので、再圧縮する再圧縮符号化方式に非可逆変換方式を利用しない限りは参照画像には再圧縮による歪みが含まれる。【００１９】
この歪みはイントラ予測フレームが復号されるまで蓄積することになる。【００２０】
このことは図５において、PSNRの劣化周期がＮフレームであることからも確認できる。ただし、この例ではPSNRの劣化が最大となるイントラ予測フレームの直前フレームにおいてもPSNRは４２dB以上という高い(歪みが小さい)結果となっており、主観的な画質劣化も認識できなかった。【００２１】
この例からは、Ｎが短い動画像ビットストリームを入力とする場合に再圧縮する手段を備えた動画像復号装置は効果があるといえる。
【特許文献１】特開平9-247671号公報（第7-8頁、図1）
【特許文献２】特開平9-247671号公報(図1）
【特許文献３】特開平9-261635号公報(図1）
【特許文献４】特開平10-4550号公報(図1）
【特許文献５】特開平10-271516号公報(図1）
【特許文献６】特開平10-66081号公報(図1）
【特許文献７】特開平11-298892号公報(図1）
【特許文献８】特開平11-341288号公報(図1）
【特許文献９】特開2004-254344号公報(図1）
【特許文献１０】特許第3271585号公報(図1）
【特許文献１１】特許第3575508号公報(図1）
【発明の開示】
【発明が解決しようとする課題】
【００２２】
しかしながら、これらの特許文献１〜１１に開示された再圧縮する手段を備えた動画像復号装置は、著しい画質劣化が生じる場合がある。【００２３】
具体例を用いて画質劣化の原因を説明する。【００２４】
先に述べた映像シーケンスと異なる映像シーケンスを用いた場合のフレーム平均輝度信号PSNRを図６に示す。【００２５】
図６ではフレーム数が、６０〜１２０フレーム及び２７０〜３００フレーム付近(図６中で円弧で囲んだ箇所)のイントラ予測フレームのPSNRとイントラ予測フレーム直前のPSNRとの差は10dB以上にもなる。【００２６】
PSNRが低下する原因は再圧縮部の再圧縮符号化方式が関係している。例えば、図７に示す画像が図８に示す符号化モードで圧縮符号化されたH.264ビットストリームを考える。【００２７】
図７に示した画像は、画像端から１５画素連続して黒い画素があり、１６画素目から本来の画像が始まる。また、このH.264ビットストリームにおけるインター(フレーム間)予測フレームは画像左端のMBが静止画のインター予測MBとして、右隣のMBがイントラ予測MBかつ予測モードは図９に示す水平方向予測として符号化されている。【００２８】
ここで、H.264ではイントラ予測モード、イントラ予測対象のブロックサイズは複数存在するが、説明を簡単にするため、ブロックサイズが１６×１６の水平方向予測としている。このH.264ビットストリームの輝度信号を再圧縮・伸長した時の動作を図１０に示す。【００２９】
イントラ予測フレームでは通常の復号画素に対して1-D  DPCM圧縮を行う。この例の場合、１５画素目から１６画素目にかけ画素値の変化が大きい。通常、非線形の量子化は予測誤差値が大きい場合に歪みを許容するように設計するので、１６画素目の画素には再圧縮による大きな歪みが混入する。【００３０】
インター予測フレームの画像左端のMBは多くの画素が黒い画素であるので、静止画として符号化される。その結果、イントラ予測フレームにおける同位置のMBが参照画素となる。右隣のMBはイントラ予測MBかつ水平方向予測なので、画像左端MBの１６画素目の一列が参照画素となる。ここで、このMBの参照画素はイントラ予測フレームの再圧縮・伸長で生じた再圧縮による歪みを含んでいる。その結果、図９に示した水平方向予測で予測画像を作成すると、再圧縮による歪みはMB全体に伝播する。【００３１】
このように、イントラ予測では参照画素として周辺画素を利用するので、再圧縮による歪みはMBだけでなく、イントラ予測MBが連続する場合、歪みは空間的にも伝播する。【００３２】
さらに、このインター予測フレームが参照フレームとして利用される場合、歪みは時間的にも伝搬する。その結果、著しい画質劣化が生じる。【００３３】
従って、従来の再圧縮する手段を備えた動画像復号装置の問題点は、時間的、空間的な歪みの伝搬を考慮せずに、各再圧縮処理単位の歪みが最小となるように再圧縮していることである。【００３４】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、時間的、空間的な再圧縮による歪みの伝搬、すなわち画質劣化を抑制できる再圧縮手段を備えた動画像復号装置、復号画像記録装置、それらの方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００３５】
上記課題を解決する本発明は、予測処理を利用して圧縮符号化された動画像ビットストリームを画像信号へ復号する復号手段と、前記復号手段により得られた復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る再圧縮手段と、前記再圧縮手段により得られた再圧縮データを保持する予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された再圧縮データを読み出し、これを伸張した後に前記復号手段の予測処理で利用するデータとして供給する伸張手段と、前記予測フレームメモリ手段に対する再圧縮データの書き込み、又は、読み出しを制御するアドレス制御手段とを有する動画像復号装置において、前記再圧縮手段は、前記圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行うように構成されていることを特徴とする。
【００３７】
上記課題を解決する本発明は、復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る動画像復号方法において、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量を制御することを特徴とする。
上記課題を解決する本発明は、復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る動画像復号方法におけるプログラムであって、前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量を制御する処理を情報処理装置に実行させることを特徴とする。
【発明の効果】
【００４０】
本発明の効果は、再圧縮による歪み、すなわち画質劣化を抑制できる再圧縮手段を備えた動画像復号装置及びその技術を提供することができる。【００４１】
その理由は、復号装置が対象とする圧縮符号化方式の参照する画素位置からフレーム内のある画素位置の参照されやすさを予め設定して、参照度重み付け再圧縮部１０２を実装するので、参照されやすい画素に対しては量子化代表値の割り当てビット数(量子化代表値数)を多くするような制御をかけ、再圧縮する。その結果、参照されやすい画素の歪みを軽減し、時間的、空間的な歪みの伝搬を抑制することが可能となるからである。【００４２】
ここで、参照されやすさは、圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け再圧縮部が対象とする再圧縮符号化方式の参照する画素位置、再圧縮処理単位、圧縮率のいずれか一つ以上を用いて設定してもよい。【００４３】
本発明の実際の効果として、図６の結果に実施例１、実施例３の結果を加えたフレーム平均輝度信号PSNRを、図１８に示す。図１８中、Embodiment1が実施例１を表し、Embodiment3が実施例３を示している。再圧縮符号化単位Xは８画素で、参照度R0は８、参照度R1は５としている。X、R0、R1に関しては実施の形態で詳細に述べる。【００４４】
図より本発明ではPSNRの劣化が抑制できていることが分かる。
【発明を実施するための最良の形態】
【００４５】
次に、本発明の実施の形態について図面を参照して詳細に説明する。【００４６】
図１は、本発明の実施形態による動画像復号装置の全体構成を示すブロック図である。【００４７】
本実施の形態の動画像復号装置は、復号部１０１と、参照度重み付け再圧縮部１０２と、予測フレームメモリ部１０３と、伸長部１０４と、アドレス制御部１０５とから構成される。これは、従来の動画像復号装置における再圧縮部２０２を参照度重み付け再圧縮部１０２で置き換えた構成である。【００４８】
復号部１０１は、予測処理を利用して圧縮符号化された動画像ビットストリームを画像信号へ復号する。【００４９】
参照度重み付け再圧縮部１０２は、復号部１０１により得られた復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得るものであって、再圧縮手段として用いている。参照度重み付け再圧縮部１０２は、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行う。【００５０】
予測フレームメモリ部１０３は、参照度重み付け再圧縮部１０２で得られた再圧縮データを保持する。伸長部１０４は、予測フレームメモリ部１０３に保持された再圧縮データを読み出し、これを伸長した後に復号部１０１の予測処理で利用するデータとして供給する。アドレス制御部１０５は、予測フレームメモリ部１０３に対する再圧縮データの書き込み、又は、読み出しを制御する。【００５１】
ここで、前記参照度とは、フレーム内のある画素位置の参照されやすさ(予測に利用される頻度)を表し、正確な参照度は圧縮動画像ビットストリームを解析することで求めることもできる。しかし、本実施の形態では、復号装置が対象とする圧縮符号化方式の参照する画素位置から予め参照度を推定し定める。【００５２】
参照度重み付け再圧縮部１０２は、復号画像を再圧縮するという点では再圧縮部２０２と同様の動作をする。しかし、参照度重み付け再圧縮部１０２が対象とする再圧縮符号化方式は推定された参照度を考慮して設計され、実装されている。ここで、参照度は圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け再圧縮部１０２が対象とする再圧縮符号化方式の参照する画素位置、再圧縮処理単位、圧縮率のいずれか一つ以上を用いて設定してもよい。【００５３】
次に、本実施の形態の動画像復号装置の動作を説明する。【００５４】
尚、復号部１０１、予測フレームメモリ部１０３、伸長部１０４、アドレス制御部１０５は、従来の再圧縮する手段を備えた動画像復号装置と同様の動作であるので、説明を省略する。【００５５】
参照度重み付け再圧縮部１０２は、復号部１０１で復号された復号画像を再圧縮し、再圧縮データを作成する。ここで参照度重み付け再圧縮部１０２は、参照度を考慮し、実装されているので、参照度が大きい画素値に対しては量子化代表値の割り当てビット数(量子化代表値数)を多くするような再圧縮データ量制御をかけ、再圧縮する。
【実施例１】
【００５６】
次に、具体的な実施例を用いて本発明を実施するための最良の形態の構成及び動作を説明する。【００５７】
本実施例では、復号部１０１としてH.264を用い、参照度重み付け再圧縮部１０２の再圧縮符号化方式として1-D DPCMを用いる。【００５８】
ここで、1-D DPCMではX画素を再圧縮処理単位とする。Xの値は、H.264の圧縮符号化処理単位、実装の容易さから決定する。例えばH.264の圧縮符号化処理単位としては2、4、8、16が考えられるので、実装の容易さからいづれかを選択することになる。【００５９】
参照度は式１（数１）で定める。【００６０】
【数１】
0005396711.tif 000002
この参照度はH.264の「イントラ予測符号化対象ブロックの左ブロックを参照画素として利用する」という参照される画素位置を考慮しており、R0>R1を満たしている。【００６１】
参照度重み付け再圧縮部１０２に用いる1-D DPCMでは、参照度をそのまま量子化代表値の割り当てビット数として用いる。この場合、参照度重み付け再圧縮部の圧縮率はR0、R1で決まる。【００６２】
本実施例における量子化代表値の割り当てビット数および参照関係を図１１に示す。【００６３】
本実施例では、再圧縮処理単位の右端画素を予測画素の起点とし、右画素を予測画素とする。【００６４】
Xの値を２、４、８、１６として本実施例を用いた場合、図１２に示すように各MB（Macroblock）の参照画素となる周辺画素に対して量子化代表値の割り当てビット数をR0にすることになる。【００６５】
その結果、図７、８、１０のような例では再圧縮による歪みを抑制できる。【００６６】
また、本実施例では再圧縮処理単位内で２つの参照度を定めたが、各画素毎に参照度を定めることも可能である。【００６７】
この時、参照度の設定の際に1-D DPCMの「右画素を予測画素とする」という予測画素位置を考慮すると、左端画素に近いほど歪みの伝搬は小さくなるので、再圧縮処理単位内の右画素ほど参照度を大きくするように定めることも可能である。【００６８】
また、本実施例では右画素、図４では左画素を予測画素としていたが、上画素もしくは下画素を予測画素とすることも可能である。ただし、H.264の「イントラ予測符号化対象ブロックの上ブロックを参照画素として利用する」という参照画素位置を考慮すれば、垂直画素位置に対しても式１（数１）と同様の参照度を定め、下画素を予測画素にすべきである。
【実施例２】
【００６９】
実施例１では右画素を予測画素としていた。実施例１の再圧縮符号化方式を用いてラスタスキャン表示をする場合、表示順に並び替えるために復号画像を一時的に保持しておく必要があり、実用上望ましくない場合がある。そこで、本実施例２では参照度を式２（数２）で定める。【００７０】
【数２】
0005396711.tif 000003
式２（数２）で定めた参照度を利用すると、参照度R0となる画素の水平位置をずらすことが可能になり、左画素を予測画素としながらも実施例１と同様の効果を得ることができる。【００７１】
本実施例２において、Xを８とした場合の量子化代表値の割り当てビット数および参照関係を図１３に示す。【００７２】
各MB（Macroblock）の参照画素となる周辺画素の割り当てビット数は図１２と同じになる。
【実施例３】
【００７３】
上述した実施例１、２は、図７、８、１０で示したように参照画素を含むブロックが静止画として符号化されていれば有効である。しかし、一般的には全てのブロックが静止画として符号化されることはなく、従来の再圧縮する手段を備えた動画像復号装置と同様の問題が生じる可能性がある。そこで、本実施例３ではインター予測で参照されるブロック内に、割り当てビット数がR0となる参照画素が含まれる確率が高くなるように参照度を定める。【００７４】
具体的には、縦または横に隣接する画素と参照度が等しくならないように定める。一例として式３（数３）で参照度を定める。【００７５】
【数３】
0005396711.tif 000004
本実施例３における量子化代表値の割り当てビット数および参照関係を図１４に示す。【００７６】
Ｘ＝２、４、８、１６として本実施例を用いた場合、図１５に示すように各MB（Macroblock）の参照画素となる周辺画素に対してR0(>R1)ビットを割り当てることになる。【００７７】
インター予測で静止画ブロックが参照された場合は、図１２に比べ割り当てビット数がR0となる参照画素は減るが、一般的なインター予測を考えた場合、参照ブロック内に割り当てビット数がR0となる参照画素が含まれる確率は高くなる。【００７８】
この例では1ラインごとに参照度、参照関係を設定したが、例えば、式４（数４）および図１６に示すようにX種類のものを設定することも可能である。【００７９】
【数４】
0005396711.tif 000005
ここで、本実施例ではイントラ予測だけでなく、インター予測の参照画素に対しても同様の効果が得られる。そこで、復号部１０１としてH.264以外のインター予測を用いた圧縮符号化方式を利用することができる。
【実施例４】
【００８０】
上述した実施例１から４では参照度重み付け再圧縮部102の再圧縮符号化方式として1-D DPCMを用いていた。【００８１】
本発明は再圧縮符号化方式としては任意の方式を用いることができる。そこで本実施例では再圧縮符号化方式として２次元DPCM (2-D DPCM)を用いる。【００８２】
2-D DPCMは、横X画素×縦Y画素のブロックを再圧縮処理単位とする。X、Yの値はH.264の圧縮符号化処理単位、圧縮率、実装の容易さ等から決定するもので、２、４、８、１６が考えられる。参照度は式５（数５）で定める。【００８３】
【数５】
0005396711.tif 000006
この参照度はH.264の「符号化対象ブロックの左ブロックを参照画素として利用する」、「イントラ予測符号化対象ブロックの上ブロックを参照画素として利用する」という参照される画素位置を考慮している。【００８４】
参照度重み付け再圧縮部１０２に用いる2-D DPCMでは1-D DPCM同様、参照度をそのまま量子化代表値の割り当てビット数として用いる。【００８５】
本実施例における量子化代表値の割り当てビット数および参照関係を図１７に示す。【００８６】
本実施例では再圧縮処理単位の右下端画素を予測画素の起点とし、1-D DPCMを用いる画素は右または下画素を予測画素とし、2-D DPCMを用いる画素は右、下、右下の3画素を予測画素とする。
【実施例５】
【００８７】
本発明による動画像復号装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。【００８８】
図１９は、本発明による動画像復号装置をインプリメントした情報処理システムの一般的ブロック構成図である。【００８９】
図１９に示す情報処理システムは、プロセッサ４００、プログラムメモリ４０１，記憶媒体４０２からなる。記憶媒体４０２は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができ、上述した予測フレームメモリ部１０３の役割を果たす。【００９０】
プログラムメモリ４０１には、上述した復号部１０１と、参照度重み付け再圧縮部１０２と、伸長Ａ部１０４と、アドレス制御部１０５との各部の処理を、プロセッサ４００に行わせるプログラムが格納されており、このプログラムによってプロセッサ４００は動作する。【００９１】
このように、コンピュータプログラムにより実現することも可能である。【００９２】
尚、復号部１０１、参照度重み付け再圧縮部１０２、伸長Ａ部１０４、及びアドレス制御部１０５の全てをプログラムで動作させる必要はなく、一部をハードウェアで構成してもかまわない。【００９３】
本発明の活用例として、デジタル放送チューナ、ＨＤＤレコーダ、ＤＶＤプレーヤのようなデジタル動画像復号装置が挙げられる。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】特許文献1に開示された動画像復号装置の構成を示すブロック図である。
【図３】特許文献1に開示された動画像復号装置においてH.264を用いた構成例を示すブロック図である。
【図４】復号画像の再圧縮に利用する再圧縮符号化方式の一例を示す図である。
【図５】従来の動画像復号装置の効果を示すグラフである。
【図６】従来の動画像復号装置の問題点を示すグラフである。
【図７】従来の動画像復号装置の問題点を説明するための具体例である。
【図８】従来の動画像復号装置の問題点を説明するための具体例である。
【図９】H.264イントラ予測モードを説明する図である。
【図１０】再圧縮による歪み発生原因を説明する図である。
【図１１】実施例１における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図１２】実施例１におけるMB境界付近の量子化代表値の割り当てビット数を示す図である。
【図１３】実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図１４】実施例３における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図１５】実施例３におけるMB境界付近の量子化代表値の割り当てビット数を示す図である。
【図１６】実施例３における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図１７】実施例４における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図１８】本発明(実施例１および実施例３)の効果を示すグラフである。
【図１９】本発明による動画像復号装置をインプリメントした情報処理システムの一般的ブロック構成図である。
【符号の説明】
【００９５】
１０１、２０１、３１    復号部
１０２                  参照度重み付け再圧縮部
２０２、３２            再圧縮部
１０３、２０３、３３    予測フレームメモリ部
１０４、２０４、３４    伸長Ａ部
１０５、２０５、３５    アドレス制御部
１０６                  参照度情報
３０１                  可変長復号部
３０２                  スケーリング/逆量子化/逆整数変換部
３０３                  加算部
３０４                  デブロックフィルタ部
３０５                  イントラ予測部
３０６                  動き補償部
【図１】
0005396711.tif 000007
【図２】
0005396711.tif 000008
【図３】
0005396711.tif 000009
【図４】
0005396711.tif 000010
【図５】
0005396711.tif 000011
【図６】
0005396711.tif 000012
【図７】
0005396711.tif 000013
【図８】
0005396711.tif 000014
【図９】
0005396711.tif 000015
【図１０】
0005396711.tif 000016
【図１１】
0005396711.tif 000017
【図１２】
0005396711.tif 000018
【図１３】
0005396711.tif 000019
【図１４】
0005396711.tif 000020
【図１５】
0005396711.tif 000021
【図１６】
0005396711.tif 000022
【図１７】
0005396711.tif 000023
【図１８】
0005396711.tif 000024
【図１９】
0005396711.tif 000025