(57)【要約】動画像復号装置は、復号装置が対象とする圧縮符号化方式の参照する画素位置からフレーム内のある画素位置の参照されやすさが設定された参照度重み付け縮小部１０２および参照度重み付け圧縮部１０６を、実装している。参照度重み付け縮小部１０２では、参照されやすい画素に対しては、拡大後の画像特性が縮小前の画像特性を保持するようにＬＰＦの係数を定め、間引きの対象画素としないような制御をかけ縮小し、参照度重み付け圧縮部１０６は、参照されやすい画素に対しては量子化代表値の割り当てビット数(量子化代表値数)を多くするような制御をかけ、圧縮する。
2007148619.tif 000002
【特許請求の範囲】
【請求項１】
予測処理を利用して圧縮符号化された動画像ビットストリームを画像信号へ復号する復号手段と、前記復号手段により得られた復号画像信号を縮小し、縮小画像を得る縮小手段と、前記縮小手段により得られた縮小画像を保持する予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された縮小画像を読み出し、これを拡大した後に前記復号手段の予測処理で利用するデータとして供給する拡大手段と、前記予測フレームメモリ手段に対する縮小画像の書き込み、又は、読み出しを制御するアドレス制御手段とを有する動画像復号装置において、
前記縮小手段は、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御を行うように構成されていることを特徴とする動画像復号装置。
【請求項２】
前記縮小手段により得られた縮小画像を画素ごとに異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る圧縮手段と、前記圧縮手段により得られた圧縮データを保持する前記予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された圧縮データを読み出し、圧縮データを伸張した後に前記拡大手段へ供給する伸張手段と、前記予測フレームメモリ手段に対する圧縮データの書き込み、又は、読み出しを制御する前記アドレス制御手段とを有する動画像復号装置において、
前記参照度の大きい画素に対しては、量子化代表値を表す割当ビット数を多くするように圧縮データ量制御を行うように構成されていることを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
前記圧縮符号化方式はフレーム内予測を用いた圧縮符号化方式であり、前記圧縮符号化方式において予測画像作成の際に参照される画素位置は、フレーム内予測画像作成の際に参照される画素位置であることを特徴とする請求項１又は請求項２に記載の動画像復号装置。
【請求項４】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記縮小手段における縮小率、又は、前記縮小手段における画素の間引き位置のいずれか一つ以上を用いて定めることを特徴とする請求項１から請求項３のいずれかに記載の動画像復号装置。
【請求項５】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記縮小手段における縮小率、前記縮小手段における画素の間引き位置、前記圧縮手段において予測画像作成の際に参照される画素位置、前記圧縮手段における圧縮処理単位、又は、前記圧縮手段における圧縮率のいずれか一つ以上を用いて定めることを特徴とする請求項２又は請求項３に記載の動画像復号装置。
【請求項６】
前記圧縮手段は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うように構成されていることを特徴とする請求項３から請求項５のいずれかに記載の動画像復号装置。
【請求項７】
前記圧縮手段における圧縮処理単位内で最大の参照度は、縦または横に隣接する画素と参照度が等しくならないように定めることを特徴とする請求項６に記載の動画像復号装置。
【請求項８】
予測画像符号化復号方法の予測画像を作成するための復号画像の記録方法であって、
復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにすることを特徴とする復号画像記録方法。
【請求項９】
予測画像符号化復号方法の予測画像を作成するための復号画像の記録方法であって、
復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも、拡大後の画素値が縮小前の画素値に近い値をとるようし、かつ、高い精度で圧縮することを特徴とする復号画像記録方法。
【請求項１０】
前記復号画像の領域が予測で参照される頻度の推定は、復号画像の領域内の予測で参照される画素位置の数で推定することを特徴とする請求項８又は請求項９に記載の復号画像記録方法。
【請求項１１】
前記予測画像符号化復号方法は、フレーム内予測を用いた予測画像符号化復号方法であり、前記予測で参照される画素位置は、フレーム内予測画像を作成する際に参照される画素位置であることを特徴とする請求項１０に記載の復号画像記録方法。
【請求項１２】
前記画復号像の領域が予測で参照される頻度の推定は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、又は、復号画像の縮小方法における画素の間引き位置のいずれか一つ以上を用いて推定することを特徴とする請求項１０又は請求項１１に記載の復号画像記録方法。
【請求項１３】
前記画復号像の領域が予測で参照される頻度の推定は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、復号画像の縮小方法における画素の間引き位置、復号画像の圧縮方法における予測画像作成の際に参照される画素位置、復号画像の圧縮方法における圧縮処理単位、又は、復号画像の圧縮方法における圧縮率のいずれか一つ以上を用いて推定することを特徴とする請求項１０又は請求項１１に記載の復号画像記録方法。
【請求項１４】
前記復号画像の圧縮方法は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項１３に記載の復号画像記録方法。
【請求項１５】
予測画像符号化復号方法の予測画像を作成するための復号画像を記録するプログラムであって、
復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理とを情報処理装置に実行させることを特徴とするプログラム。
【請求項１６】
予測画像符号化復号方法の予測画像を作成するための復号画像を記録するプログラムであって、
復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理と、高い精度で圧縮する処理と、を情報処理装置に実行させることを特徴とするプログラム。
【請求項１７】
前記復号画像の領域が予測で参照される頻度を推定する処理は、復号画像の領域内の予測で参照される画素位置の数で推定することを特徴とする請求項１５又は請求項１６に記載のプログラム。
【請求項１８】
前記予測画像符号化復号方法は、フレーム内予測を用いた予測画像符号化復号方法であり、前記予測で参照される画素位置は、フレーム内予測画像を作成する際に参照される画素位置であることを特徴とする請求項１７に記載のプログラム。
【請求項１９】
前記画復号像の領域が予測で参照される頻度を推定する処理は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、又は、復号画像の縮小方法における画素の間引き位置のいずれか一つ以上を用いて推定することを特徴とする請求項１７又は請求項１８に記載のプログラム。
【請求項２０】
前記画復号像の領域が予測で参照される頻度を推定する処理は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、復号画像の縮小方法における画素の間引き位置、復号画像の圧縮方法における予測画像作成の際に参照される画素位置、復号画像の圧縮方法における圧縮処理単位、又は、復号画像の圧縮方法における圧縮率のいずれか一つ以上を用いて推定することを特徴とする請求項１７又は請求項１８に記載のプログラム。
【請求項２１】
前記復号画像の圧縮方法は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項２０に記載のプログラム。
【請求項２２】
予測画像符号化復号方法の予測画像を作成するための復号画像の記録装置であって、
復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段を有することを特徴とする復号画像記録装置。
【請求項２３】
予測画像符号化復号方法の予測画像を作成するための復号画像の記録装置であって、
復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段および高い精度で圧縮する圧縮手段を有することを特徴とする復号画像記録装置。
【請求項２４】
前記縮小手段あるいは前記圧縮手段は、復号画像の領域内の予測で参照される画素位置の数に基づいて、前記復号画像の領域が予測で参照される頻度を推定することを特徴とする請求項２２又は請求項２３に記載の復号画像記録装置。
【請求項２５】
前記予測画像符号化復号方法は、フレーム内予測を用いた予測画像符号化復号方法であり、前記予測で参照される画素位置は、フレーム内予測画像を作成する際に参照される画素位置であることを特徴とする請求項２４に記載の復号画像記録装置。
【請求項２６】
前記縮小手段は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、又は、復号画像の縮小方法における画素の間引き位置のいずれか一つ以上を用いて、前記画復号像の領域が予測で参照される頻度を推定することを特徴とする請求項２４又は請求項２５に記載の復号画像記録装置。
【請求項２７】
前記縮小手段および前記圧縮手段は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の圧縮方法における予測画像作成の際に参照される画素位置、復号画像の縮小方法における縮小率、復号画像の縮小方法における画素の間引き位置、復号画像の圧縮方法における圧縮処理単位、又は、復号画像の圧縮方法における圧縮率のいずれか一つ以上を用いて、前記画復号像の領域が予測で参照される頻度を推定することを特徴とする請求項２４又は請求項２５に記載の復号画像記録装置。
【請求項２８】
前記復号画像の圧縮方法は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項２７に記載の復号画像記録装置。
【請求項２９】
復号画像信号を縮小し、縮小画像を得る動画像復号方法において、
圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御することを特徴とする動画像復号方法。
【請求項３０】
復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、
圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする動画像復号方法。
【請求項３１】
前記圧縮符号化方式はフレーム内予測を用いた圧縮符号化方式であり、前記圧縮符号化方式において予測画像作成の際に参照される画素位置は、フレーム内予測画像作成の際に参照される画素位置であることを特徴とする請求項２９又は請求項３０に記載の動画像復号方法。
【請求項３２】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、復号画像の縮小処理における縮小率、又は、復号画像の縮小処理における画素の間引き位置のいずれか一つ以上を用いて定めることを特徴とする請求項２９又は請求項３１に記載の動画像復号方法。
【請求項３３】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、復号画像の縮小処理における縮小率、復号画像の縮小処理における画素の間引き位置、復号画像の圧縮処理において予測画像作成の際に参照される画素位置、復号画像の圧縮処理における圧縮処理単位、又は、復号画像の圧縮処理における圧縮率のいずれか一つ以上を用いて定めることを特徴とする請求項３０又は請求項３１に記載の動画像復号方法。
【請求項３４】
圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項３３に記載の動画像復号方法。
【請求項３５】
復号画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、
前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とするプログラム。
【請求項３６】
復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、
圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする動画像復号方法。
【請求項３７】
復号画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、
前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とするプログラム。
【請求項３８】
復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法におけるプログラムであって、
前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御する処理を情報処理装置に実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された動画像ビットストリームを入力とする動画像復号装置に関し、特に、復号に必要となるメモリ容量及びメモリ帯域を削減するために復号画像を縮小、あるいは縮小および圧縮する手段を備えた動画像復号装置、復号画像記録装置、それらの方法及びプログラムに関する。
【背景技術】
【０００２】
近年のデジタル技術の急速な進歩に伴い、MPEG-2 VIDEO  (ISO 13818-2/ITU-TH.262)、MPEG-4 Visual (ISO 14496-2)、H.264(ITU-T H.264/ISO 14496-10)などに代表されるデジタル動画像圧縮符号化方式が広く利用されるようになった。【０００３】
しかし、圧縮符号化された動画像ビットストリームを入力とする動画像復号装置は、圧縮符号化方式の複雑化、復号対象画像の高解像度化により、多大なメモリ容量及びメモリ帯域を必要とし、実装する上で問題となっている。【０００４】
この問題を解決する一つの方法として、復号画像を縮小、あるいは縮小および圧縮する手段を備えた動画像復号装置が開示されている。このような、復号画像を縮小、あるいは縮小および圧縮する手段を備えた動画像復号装置の代表的な技術として、例えば、特許文献１に記載されている従来の動画像復号装置を図２に示す。【０００５】
この動画像復号装置は、復号部２０１(バッファ２０１１、ＶＬＤ２０１２、逆量子化２０１３、逆ＤＣＴ２０１４、加算２０１５、動き補償２０１６)と、水平ローパスフィルタ（ＬＰＦ）およびデシメーション２０２と、ブロックコンプレッサ２０３と、水平アップサンプル２０４と、ブロックデコンプレッサ２０５、２０９と、内部メモリ・バス２０６と、ＭＵＸ／ＤＥＭＵＸ（多重化／分配）２０７と、ビデオ・フレームメモリ２０８と、ディスプレイプロセッサ２１０と、ディスプレイデバイス２１１とから構成される。尚、以下の説明において、特許文献１に記載されている表示機能(ブロックデコンプレッサ２０９、ディスプレイプロセッサ２１０、ディスプレイデバイス２１１)に関しては、復号時の水平アップサンプル２０４およびブロックデコンプレッサ２０５と同様の動作となるので説明を省略する。【０００６】
復号部２０１は、入力された圧縮動画像ビットストリームと、ブロックデコンプレッサ２０５で伸長、水平アップサンプル２０４で拡大された参照画像を用いて画像を復号する。復号部２０１で復号された復号画像は、水平ＬＰＦおよびデシメーション２０２で縮小され、ブロックコンプレッサ２０３で、画素ごとあるいは圧縮処理単位ごとに圧縮され、情報量が削減される。【０００７】
水平ＬＰＦおよびデシメーション２０２で縮小、ブロックコンプレッサ２０３で圧縮された圧縮データは、後に復号する画像の参照画像として用いられるためにビデオ・フレームメモリ２０８へ書き込まれる。【０００８】
書き込まれた圧縮データは、復号のためにブロックデコンプレッサ２０５で伸長、水平アップサンプル２０４で拡大される。【０００９】
尚、説明では復号画像を縮小および圧縮する場合について述べたが、水平ＬＰＦおよびデシメーション２０２による縮小のみ、ブロックコンプレッサ２０３による圧縮のみでも情報量の削減は可能である。【００１０】
また、同様の発明が、特許文献２にも開示されている。【００１１】
次に具体例を用いて特許文献１に開示された動画像復号装置の効果を示す。尚、以下の説明において、特許文献１に開示された動画像復号装置の復号部２０１としてH.264を考える。【００１２】
図３にH.264復号装置における復号部３１のブロック図を示す。【００１３】
H.264は、MPEG-2 VIDEOやMPEG-4 Visualと同様に、動き補償と周波数変換を組み合わせたハイブリッド符号化をベースにしており、さらに新しい技術であるイントラ（空間、フレーム内)予測、デブロックフィルタが用いられている。【００１４】
図４に示す水平ＬＰＦおよびデシメーション２０２として、水平1/2縮小(３タップのＬＰＦおよび偶数画素位置をダウンサンプル）、ブロックコンプレッサ２０３の圧縮符号化方式として、１次元の差分PCM(1-D DPCM)を考える。図４より輝度信号の圧縮処理単位はH.264の圧縮符号化処理単位の一つであるマクロブロック(MB: Macroblock)幅を水平1/2縮小した８画素とし、左画素を参照画素とし、予測誤差値は５ビット固定の量子化代表値を持つ非線形量子化を行う。【００１５】
図５に、ある映像シーケンスにおける通常の(縮小および圧縮する手段を持たない)H.264復号装置の復号画像を基準とした、縮小および圧縮する手段を備えたH.264復号装置の復号画像のフレーム平均輝度信号PSNR(Peak Signal-to-Noise Ratio)を示す。【００１６】
ここで、H.264の符号化条件は、イントラ予測フレーム間隔Ｎを１５フレーム、参照フレーム間隔Ｍを３フレームとしている。【００１７】
縮小および圧縮する手段を備えた動画像復号装置では復号画像を縮小しない、かつ圧縮する圧縮符号化方式に非可逆変換方式を利用しない限り、参照画像には縮小および圧縮による歪みが含まれる。【００１８】
この歪みはイントラ予測フレームが復号されるまで蓄積することになる。【００１９】
このことは図５において、PSNRの劣化周期がＮフレームであることからも確認できる。【００２０】
ただし、画質劣化は生じるものの、表示する画像サイズが小さい場合などの簡易的な復号の用途では、劣化を許容できる場合もあり、縮小および圧縮する手段を備えた動画像復号装置は効果がある。
【特許文献１】特開平10-66081号公報（第9-11頁、図１）
【特許文献２】特開平11-298892号公報(図１）
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、これらの特許文献１〜２に開示された縮小および圧縮する手段を備えた動画像復号装置は、著しい画質劣化が生じる場合がある。【００２２】
具体例を用いて画質劣化の原因を説明する。【００２３】
先に述べた映像シーケンスと異なる映像シーケンスを用いた場合のフレーム平均輝度信号PSNRを図６に示す。【００２４】
図６ではフレーム数が、６０〜１２０フレーム及び２７０〜３００フレーム付近のイントラ予測フレームのPSNRとイントラ予測フレーム直前のPSNRとの差は10dB以上にもなる。【００２５】
PSNRが低下する原因は縮小および圧縮の処理が関係している。例えば、図７に示す画像が図８に示す符号化モードで圧縮符号化されたH.264ビットストリームを考える。【００２６】
図７に示した画像は、画像端から１５画素連続して黒い画素があり、１６画素目から本来の画像が始まる。また、このH.264ビットストリームにおけるインター(フレーム間)予測フレームは画像左端のMBが静止画のインター予測MBとして、右隣のMBがイントラ予測MBかつ予測モードは図９に示す水平方向予測として符号化されている。【００２７】
ここで、H.264ではイントラ予測モード、イントラ予測対象のブロックサイズは複数存在するが、説明を簡単にするため、ブロックサイズが１６×１６の水平方向予測としている。このH.264ビットストリームの輝度信号を縮小および圧縮し、伸長および拡大した時の動作を図１０に示す。【００２８】
イントラ予測フレームでは通常の復号画素に対して水平1/2縮小および1-D DPCM圧縮を行う。この例の場合、１５画素目から１６画素目にかけ画素値の変化が大きい。そして、ＬＰＦや、偶数画素位置のダウンサンプルによる間引きを考慮すると、１３画素目から１５画素目にかけ画素値の変化が大きくなる。通常、非線形の量子化は予測誤差値が大きい場合に歪みを許容するように設計するので、縮小および圧縮による大きな歪みが混入した１５画素目に加え、それを利用し補間される１６画素目にも歪みが混入する。【００２９】
インター予測フレームの画像左端のMBは多くの画素が黒い画素であるので静止画として符号化される。その結果、イントラ予測フレームにおける同位置のMBが参照画素となる。右隣のMBはイントラ予測MBかつ水平方向予測なので画像左端MBの１６画素目の一列が参照画素となる。ここで、このMBの参照画素はイントラ予測フレームの縮小および圧縮で生じた歪みを含んでいる。その結果、図９に示した水平方向予測で予測画像を作成すると縮小および圧縮による歪みはMB全体に伝播する。【００３０】
このように、イントラ予測では参照画素として周辺画素を利用するので、縮小および圧縮による歪みはMBだけでなく、イントラ予測MBが連続する場合、歪みは空間的にも伝播する。【００３１】
さらに、このインター予測フレームが参照フレームとして利用される場合、歪みは時間的にも伝搬する。その結果、著しい画質劣化が生じる。【００３２】
従って、従来の縮小、あるいは縮小および圧縮する手段を備えた動画像復号装置の問題点は、時間的、空間的な歪みの伝搬を考慮せずに、各処理単位の歪みが最小となるように縮小および圧縮していることである。【００３３】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、時間的、空間的な圧縮による歪みの伝搬、すなわち画質劣化を抑制できる縮小手段、あるいは縮小および圧縮手段を備えた動画像復号装置、復号画像記録装置、それらの方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００３４】
上記課題を解決する本発明は、予測処理を利用して圧縮符号化された動画像ビットストリームを画像信号へ復号する復号手段と、前記復号手段により得られた復号画像信号を縮小し、縮小画像を得る縮小手段と、前記縮小手段により得られた縮小画像を保持する予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された縮小画像を読み出し、これを拡大した後に前記復号手段の予測処理で利用するデータとして供給する拡大手段と、前記予測フレームメモリ手段に対する縮小画像の書き込み、又は、読み出しを制御するアドレス制御手段とを有する動画像復号装置において、前記縮小手段は、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御を行うように構成されていることを特徴とする。【００３５】
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像の記録方法であって、復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにすることを特徴とする。【００３６】
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像の記録方法であって、復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも、拡大後の画素値が縮小前の画素値に近い値をとるようし、かつ、高い精度で圧縮することを特徴とする。【００３７】
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像を記録するプログラムであって、復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理とを情報処理装置に実行させることを特徴とする。【００３８】
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像を記録するプログラムであって、復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理と、高い精度で圧縮する処理と、を情報処理装置に実行させることを特徴とする。【００３９】
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像の記録装置であって、復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段を有することを特徴とする。【００４０】
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像の記録装置であって、復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段および高い精度で圧縮する圧縮手段を有することを特徴とする。【００４１】
上記課題を解決する本発明は、復号画像信号を縮小し、縮小画像を得る動画像復号方法において、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御することを特徴とする。【００４２】
上記課題を解決する本発明は、復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする。【００４３】
上記課題を解決する本発明は、復号画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とする。【００４４】
上記課題を解決する本発明は、復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする。【００４５】
上記課題を解決する本発明は、復号画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とする。【００４６】
上記課題を解決する本発明は、復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法におけるプログラムであって、前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御する処理を情報処理装置に実行させることを特徴とする。
【発明の効果】
【００４７】
本発明の効果は、縮小または圧縮による歪み、すなわち画質劣化を抑制できる縮小手段、あるいは縮小および圧縮手段を備えた動画像復号装置及びその技術を提供することができる。【００４８】
その理由は、復号装置が対象とする圧縮符号化方式の参照する画素位置からフレーム内のある画素位置の参照されやすさを予め設定して、参照度重み付け縮小部１０２あるいは参照度重み付け圧縮部１０６を実装するので、参照度重み付け縮小部１０２では、参照されやすい画素に対しては、拡大後の画像特性が縮小前の画像特性を保持するようにＬＰＦの係数を定め、間引きの対象画素としないような制御をかけ、縮小し、参照度重み付け圧縮部１０６では、参照されやすい画素に対しては、量子化代表値の割り当てビット数(量子化代表値数)を多くするような制御をかけ、圧縮する。その結果、参照されやすい画素の歪みを軽減し、時間的、空間的な歪みの伝搬を抑制することが可能となるからである。【００４９】
ここで、参照されやすさは、圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け縮小部が対象とする縮小率、画素の間引き位置、参照度重み付け圧縮部が対象とする圧縮符号化方式の参照する画素位置、圧縮処理単位、圧縮率のいずれか一つ以上を用いて設定してもよい。【００５０】
本発明の実際の効果として、図６の結果に実施例２の結果を加えたフレーム平均輝度信号PSNRを、図２２に示す。図２２中、Embodiment2が実施例２を示している。
図より本発明ではPSNRの劣化が抑制できていることが分かる。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】特許文献1に開示された動画像復号装置の構成を示すブロック図である。
【図３】特許文献1に開示された動画像復号装置においてH.264を用いた構成例を示すブロック図である。
【図４】復号画像の縮小および圧縮に利用する圧縮符号化方式の一例を示す図である。
【図５】従来の動画像復号装置の効果を示すグラフである。
【図６】従来の動画像復号装置の問題点を示すグラフである。
【図７】従来の動画像復号装置の問題点を説明するための具体例である。
【図８】従来の動画像復号装置の問題点を説明するための具体例である。
【図９】H.264イントラ予測モードを説明する図である。
【図１０】縮小および圧縮による歪み発生原因を説明する図である。
【図１１】本発明の第２の実施形態の構成を示すブロック図である。
【図１２】実施例１における各画素位置の参照度を示す図である。
【図１３】実施例１における各画素位置の別の参照度を示す図である。
【図１４】実施例１における各画素位置の別の参照度を示す図である。
【図１５】実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図１６】実施例２における各画素位置の縮小時の参照度、量子化代表値の割り当てビット数および参照関係を示す図である。
【図１７】実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図１８】実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図１９】実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図２０】実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。
【図２１】実施例３における本発明による動画像復号装置をインプリメントした情報処理システムの一般的ブロック構成図である。
【図２２】図６の結果に実施例２の結果を加えたフレーム平均輝度信号PSNRを示した図である。
【符号の説明】
【００５２】
１０１、２０１、３１    復号部
１０２                  参照度重み付け縮小部
１０３                  予測フレームメモリ部
１０４                  拡大部
１０５                  アドレス制御部
１０６                  参照度重み付け圧縮部
１０７                  伸長部
２０２                  水平ローパスフィルタおよびデシメーション
２０３                  ブロックコンプレッサ
２０４                  水平アップサンプル
２０５、２０９          ブロックデコンプレッサ
２０６                  内部メモリ・バス
２０７                  多重化／分配
２０８                  ビデオ・フレームメモリ
２１０                  ディスプレイプロセッサ
２１１                  ディスプレイデバイス
２０１１、３０１        バッファ
２０１２                可変長復号
２０１３、３０３        逆量子化
２０１４                逆離散コサイン変換
２０１５、３０５        加算
２０１６、３０６        動き補償
３０２                  可変長復号
３０４                  逆整数変換
３０７                  イントラ予測
３０８                  デブロックフィルタ
【発明を実施するための最良の形態】
【００５３】
次に、本発明の実施の形態について図面を参照して詳細に説明する。【００５４】
図１は、本発明の実施形態による動画像復号装置の全体構成を示すブロック図である。
本実施の形態の動画像復号装置は、復号部１０１と、参照度重み付け縮小部１０２と、予測フレームメモリ部１０３と、拡大部１０４と、アドレス制御部１０５とから構成される。【００５５】
次に、本実施の形態の動画像復号装置の動作を説明する。【００５６】
復号部１０１は、入力された圧縮動画像ビットストリームと、拡大部１０４で拡大された参照画像を用いて画像を復号する。復号部１０１で復号された復号画像は、参照度重み付け縮小部１０２で、縮小され、情報量が削減される。【００５７】
参照度重み付け縮小部１０２で縮小された画像は、後に復号する画像の参照画像として用いられるために予測フレームメモリ部１０３へ書き込まれる。書き込みにおいては、アドレス制御部１０５は、縮小画像を書き込むフレームメモリのアドレスを作成し、アドレス線を介して、予測フレームメモリ部１０３に供給する。【００５８】
書き込まれた縮小画像は、復号のために拡大部１０４で拡大される。【００５９】
ここで参照度とは、フレーム内のある画素位置の参照されやすさ(予測に利用される頻度)を表し、正確な参照度は圧縮動画像ビットストリームを解析することで求めることもできる。しかし、本実施の形態では、復号装置が対象とする圧縮符号化方式の参照する画素位置から予め参照度を推定し定める。【００６０】
参照度重み付け縮小部１０２は、復号画像を縮小するという点では水平ＬＰＦおよびデシメーション２０２と同様の動作をする。しかし、参照度重み付け縮小部１０２の縮小方式は推定された参照度を考慮して設計され、実装されているので、参照度が大きい画素値に対しては拡大後の画像特性が縮小前の画像特性を保持するようにＬＰＦの係数を定め、間引きの対象画素としないような制御をかけ、縮小する。ここで、参照度は圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け縮小部１０２の縮小率、画素の間引き位置のいずれか一つ以上を用いて設定してもよい。【００６１】
次に、本発明の第２の発明を実施するための最良の形態について図面を参照して詳細に説明する図１１は、本発明の第２の実施形態による動画像復号装置の全体構成を示すブロック図である。【００６２】
第２の実施形態の動画像復号装置は、第１の実施形態の動画像復号装置に参照度重み付け圧縮部１０６、伸長部１０７を追加した構成となる。【００６３】
復号部１０１は、入力された圧縮動画像ビットストリームと、伸長部１０７で伸長、拡大部１０４で拡大された参照画像を用いて画像を復号する。復号部１０１で復号された復号画像は、参照度重み付け縮小部１０２で縮小され、参照度重み付け圧縮部１０６で画素ごとあるいは圧縮処理単位ごとに、圧縮され、情報量が削減される。【００６４】
参照度重み付け縮小部１０２で縮小、参照度重み付け圧縮部１０６で圧縮された圧縮データは、後に復号する画像の参照画像として用いられるために予測フレームメモリ部１０３へ書き込まれる。書き込みにおいては、アドレス制御部１０５は、圧縮データを書き込むフレームメモリのアドレスを作成し、アドレス線を介して、予測フレームメモリ部１０３に供給する。【００６５】
書き込まれた圧縮データは、復のために伸長部１０７で伸長、拡大部１０４で拡大される。【００６６】
参照度重み付け圧縮部１０６は、復号画像を圧縮するという点ではブロックコンプレッサ２０３と同様の動作をする。しかし、参照度重み付け圧縮部１０６が対象とする圧縮符号化方式は推定された参照度を考慮して設計され、実装されている。ここで、参照度は圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け縮小部１０２の縮小率、画素の間引き位置、参照度重み付け圧縮部１０６が対象とする圧縮符号化方式の参照する画素位置、圧縮処理単位、圧縮率のいずれか一つ以上を用いて設定してもよい。
【実施例１】
【００６７】
次に、具体的な実施例を用いて本発明を実施するための最良の形態の構成および動作を説明する。【００６８】
本実施例では、復号部１０１としてH.264を用い、参照度重み付け縮小部１０２では水平1/2の縮小を行う。【００６９】
ここで、参照度重み付け縮小部１０２における参照度は、H.264のイントラ予測の参照画素位置および圧縮符号化処理単位、縮小率、画素の間引き位置から決定する。例えばH.264の圧縮符号化処理単位としては2、4、8、16が考えられる。また、本実施例の場合、縮小率は1/2となる。【００７０】
参照度は式１（数１）で定める。【００７１】
【数１】
2007148619.tif 000003
この参照度はH.264のイントラ予測の参照画素位置および縮小率、ダウンサンプルにおける画素の間引き位置を考慮しており、R0>R1>R2を満たしている。【００７２】
参照度重み付け縮小部１０２で用いるＬＰＦは、参照度に応じてフィルタの強度を変更する。【００７３】
具体的には参照度が大きいものほど、拡大後の画像特性が縮小前の画像特性を保持するようにする。参照度R1に対して(4, 8, 4)/16のような３タップのフィルタ処理を行う場合、R1より参照度の大きいR0に対しては拡大後の画像特性が縮小前の画像特性を保持するように(3, 10, 3)/16や(0, 16, 0)/16のフィルタ処理を行う。また、最も参照度の小さいR2はダウンサンプルの間引き対象画素とする。【００７４】
本実施例における参照度を図１２に示す。【００７５】
本実施例では、イントラ予測の参照画素位置および縮小率から参照度R0, R1, R2を設定し、参照度の大きい画素に対しては拡大後の画像特性が縮小前の画像特性を保持するようにＬＰＦの係数を定め、間引きの対象画素としないような制御をかけ縮小する。【００７６】
その結果、図７、８、１０のような例では縮小による歪みを抑制できる。【００７７】
また、本実施例では参照度を定めるためにイントラ予測の参照画素位置、縮小率、画素の間引き位置を考慮したが、縮小画像のエイリアシングを減らすには参照度R0となる画素は減らした方がよい。【００７８】
例えば、図１３に示すようにMB境界のイントラ参照画素位置のみをR0と定めることで、R0となる画素を減らせる。
また、R0となる画素をさらに減らすため、もしくは実装を容易にするため図１４に示すように縦方向MB境界のイントラ参照画素位置のみをR0を定めることも可能である。【００７９】
また、本実施例では３種類の参照度を定めたが、３種類よりも多くの参照度を定めることも可能である。【００８０】
また、本実施例では３タップフィルタを用いたが、参照度に応じて任意のタップ数のフィルタを定めることも可能である。【００８１】
また、本実施例では水平方向の縮小を用いたが、垂直方向の縮小および水平、垂直方向の縮小も同様に参照度を定めることが可能である。
【実施例２】
【００８２】
次に、具体的な実施例を用いて本発明を実施するため第２の実施の形態の構成および動作を説明する。【００８３】
本実施例では、復号部１０１、参照度重み付け縮小部１０２は実施例１と同様であるので説明を省略し、動作の異なる参照度重み付け圧縮部の動作を説明する。【００８４】
参照度重み付け圧縮部１０６の圧縮符号化方式として1-D DPCMを用いる。【００８５】
ここで、1-D DPCMではX画素を圧縮処理単位とする。Xの値は、H.264の圧縮符号化処理単位、実装の容易さから決定する。【００８６】
実施例１における参照度も考慮し、参照度重み付け圧縮部で用いる参照度を式２（数２）で定める。【００８７】
【数２】
2007148619.tif 000004
この参照度はH.264の「イントラ予測符号化対象ブロックの左ブロックを参照画素として利用する」という参照される画素位置を考慮しており、R0>R1を満たしている。
参照度重み付け圧縮部１０６に用いる1-D DPCMでは、参照度をそのまま量子化代表値の割り当てビット数として用いる。この場合、参照度重み付け圧縮部の圧縮率はR0、R1で決まる。【００８８】
本実施例における量子化代表値の割り当てビット数および参照関係を図１５に示す。【００８９】
本実施例では、圧縮処理単位の右端画素を予測画素の起点とし、右画素を予測画素とする。【００９０】
図１２に示した縮小部で利用する参照度に対して、本実施例でXの値を８として用いた場合、図１６に示すように各MBの参照画素となる周辺画素に対して量子化代表値の割り当てビット数をR0にすることになる。【００９１】
その結果、図７、８、１０のような例では縮小および圧縮による歪みを抑制できる。【００９２】
また、本実施例では図１２に示した縮小部で利用する参照度の例を示したが、これに限らず、図１３、１４など様々な縮小方式の組み合わせに適応できる。【００９３】
また、本実施例では圧縮処理単位内で２つの参照度を定めたが、各画素毎に参照度を定めることも可能である。【００９４】
この時、参照度の設定の際に1-D DPCMの「右画素を予測画素とする」という予測画素位置を考慮すると、左端画素に近いほど歪みの伝搬は小さくなるので、圧縮処理単位内の右画素ほど参照度を大きくするように定めることも可能である。【００９５】
また、本実施例では右画素、図４では左画素を予測画素としていたが、上画素もしくは下画素を予測画素とすることも可能である。ただし、H.264の「イントラ予測符号化対象ブロックの上ブロックを参照画素として利用する」という参照画素位置を考慮すれば、垂直画素位置に対しても式２（数２）と同様の参照度を定め、下画素を予測画素にすべきである。【００９６】
図１６の実施例では右画素を予測画素としていた。図１６の実施例の圧縮符号化方式を用いてラスタスキャン表示をする場合、表示順に並び替えるために復号画像を一時的に保持しておく必要があり、実用上望ましくない場合がある。そこで、本実施例３では参照度を式３（数３）で定める。【００９７】
【数３】
2007148619.tif 000005
式３（数３）で定めた参照度を利用すると、参照度R0となる画素の水平位置をずらすことが可能になり、左画素を予測画素としながらも実施例２と同様の効果を得ることができる。
本実施例において、Xを８とした場合の量子化代表値の割り当てビット数および参照関係を図１７に示す。【００９８】
各MBの参照画素となる周辺画素の割り当てビット数は図１６と同じになる。【００９９】
上述した図１６、１７の実施例は、図７、８、１０で示したように参照画素を含むブロックが静止画として符号化されていれば有効である。しかし、一般的には全てのブロックが静止画として符号化されることはなく、従来の圧縮する手段を備えた動画像復号装置と同様の問題が生じる可能性がある。そこで、本実施例ではインター予測で参照されるブロック内に、割り当てビット数がR0となる参照画素が含まれる確率が高くなるように参照度を定める。
具体的には、縦または横に隣接する画素と参照度が等しくならないように定める。一例として式４（数４）で参照度を定める。【０１００】
【数４】
2007148619.tif 000006
本実施例における量子化代表値の割り当てビット数および参照関係を図１８に示す。【０１０１】
Ｘ＝２、４、８として本実施例を用いた場合、図１５に示すように各MBの参照画素となる周辺画素に対してR0(>R1)ビットを割り当てることになる。【０１０２】
インター予測で静止画ブロックが参照された場合は、図１２等に比べ割り当てビット数がR0となる参照画素は減るが、一般的なインター予測を考えた場合、参照ブロック内に割り当てビット数がR0となる参照画素が含まれる確率は高くなる。【０１０３】
この例では1ラインごとに参照度、参照関係を設定したが、例えば、式５（数５）および図１９に示すようにX種類のものを設定することも可能である。【０１０４】
【数５】
2007148619.tif 000007
ここで、本実施例ではイントラ予測だけでなく、インター予測の参照画素に対しても同様の効果が得られる。そこで、復号部１０１としてH.264以外のインター予測を用いた圧縮符号化方式を利用することができる。【０１０５】
上述した図１６〜１９の実施例では参照度重み付け圧縮部１０６の圧縮符号化方式として1-D DPCMを用いていた。【０１０６】
本発明は圧縮符号化方式としては任意の方式を用いることができる。そこで本実施例では圧縮符号化方式として２次元DPCM (2-D DPCM)を用いる。【０１０７】
2-D DPCMは、横X画素×縦Y画素のブロックを圧縮処理単位とする。X、Yの値はH.264の圧縮符号化処理単位、圧縮率、実装の容易さ等から決定するもので、２、４、８、１６が考えられる。参照度は式６（数６）で定める。【０１０８】
【数６】
2007148619.tif 000008
この参照度はH.264の「符号化対象ブロックの左ブロックを参照画素として利用する」、「イントラ予測符号化対象ブロックの上ブロックを参照画素として利用する」という参照される画素位置を考慮している。【０１０９】
参照度重み付け圧縮部１０６に用いる2-D DPCMでは1-D DPCM同様、参照度をそのまま量子化代表値の割り当てビット数として用いる。【０１１０】
本実施例における量子化代表値の割り当てビット数および参照関係を図２０に示す。【０１１１】
本実施例では圧縮処理単位の右下端画素を予測画素の起点とし、1-D DPCMを用いる画素は右または下画素を予測画素とし、2-D DPCMを用いる画素は右、下、右下の3画素を予測画素とする。
【実施例３】
【０１１２】
本発明による動画像復号装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。【０１１３】
図２１は、本発明による動画像復号装置をインプリメントした情報処理システムの一般的ブロック構成図である。【０１１４】
図２１に示す情報処理システムは、プロセッサ４００、プログラムメモリ４０１，記憶媒体４０２からなる。記憶媒体４０２は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができ、上述した予測フレームメモリ部１０３の役割を果たす。【０１１５】
プログラムメモリ４０１には、上述した復号部１０１と、参照度重み付け縮小部１０２と、拡大部１０４と、アドレス制御部１０５と、参照度重み付け圧縮部１０６と、伸長部１０７との各部の処理を、プロセッサ４００に行わせるプログラムが格納されており、このプログラムによってプロセッサ４００は動作する。【０１１６】
このように、コンピュータプログラムにより実現することも可能である。【０１１７】
尚、復号部１０１、参照度重み付け縮小部１０２、拡大部１０４、アドレス制御部１０５、参照度重み付け圧縮部１０６および伸長部１０７の全てをプログラムで動作させる必要はなく、一部をハードウェアで構成してもかまわない。【０１１８】
本発明の活用例として、デジタル放送チューナ、ＨＤＤレコーダ、ＤＶＤプレーヤのようなデジタル動画像復号装置が挙げられる。【０１１９】
本出願は、２００６年６月２１日に出願された日本出願特願２００６−１７１２１８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2007148619.tif 000009
【図２】
2007148619.tif 000010
【図３】
2007148619.tif 000011
【図４】
2007148619.tif 000012
【図５】
2007148619.tif 000013
【図６】
2007148619.tif 000014
【図７】
2007148619.tif 000015
【図８】
2007148619.tif 000016
【図９】
2007148619.tif 000017
【図１０】
2007148619.tif 000018
【図１１】
2007148619.tif 000019
【図１２】
2007148619.tif 000020
【図１３】
2007148619.tif 000021
【図１４】
2007148619.tif 000022
【図１５】
2007148619.tif 000023
【図１６】
2007148619.tif 000024
【図１７】
2007148619.tif 000025
【図１８】
2007148619.tif 000026
【図１９】
2007148619.tif 000027
【図２０】
2007148619.tif 000028
【図２１】
2007148619.tif 000029
【図２２】
2007148619.tif 000030
【手続補正書】
【提出日】平成20年4月2日(2008.4.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
予測処理を利用する圧縮符号化方式により圧縮符号化された動画像ビットストリームを画像信号へ復号する復号手段と、前記復号手段により得られた復号画像信号を縮小し、縮小画像を得る縮小手段と、前記縮小手段により得られた縮小画像を保持する予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された縮小画像を読み出し、これを拡大した後に前記復号手段の予測処理で利用するデータとして供給する拡大手段と、前記予測フレームメモリ手段に対する縮小画像の書き込み、又は、読み出しを制御するアドレス制御手段とを有する動画像復号装置において、
前記縮小手段は、前記圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御を行うように構成されていることを特徴とする動画像復号装置。
【請求項２】
前記縮小手段により得られた縮小画像を画素ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る再圧縮手段と、前記再圧縮手段により得られた再圧縮データを保持する前記予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された再圧縮データを読み出し、再圧縮データを伸張した後に前記拡大手段へ供給する伸張手段と、前記予測フレームメモリ手段に対する再圧縮データの書き込み、又は、読み出しを制御する前記アドレス制御手段とを有する動画像復号装置において、
前記参照度の大きい画素に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行うように構成されていることを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
前記圧縮符号化方式はフレーム内予測を用いた圧縮符号化方式であり、前記圧縮符号化方式において予測画像作成の際に参照される画素位置は、フレーム内予測画像作成の際に参照される画素位置であることを特徴とする請求項１又は請求項２に記載の動画像復号装置。
【請求項４】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記縮小手段における縮小率、又は、前記縮小手段における画素の間引き位置のいずれか一つ以上を用いて定めることを特徴とする請求項１から請求項３のいずれかに記載の動画像復号装置。
【請求項５】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記縮小手段における縮小率、前記縮小手段における画素の間引き位置、前記再圧縮手段において予測画像作成の際に参照される画素位置、前記再圧縮手段における再圧縮処理単位、又は、前記再圧縮手段における圧縮率のいずれか一つ以上を用いて定めることを特徴とする請求項２又は請求項３に記載の動画像復号装置。
【請求項６】
前記再圧縮手段は、再圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うように構成されていることを特徴とする請求項３から請求項５のいずれかに記載の動画像復号装置。
【請求項７】
前記再圧縮手段における再圧縮処理単位内で最大の参照度は、縦または横に隣接する画素と参照度が等しくならないように定めることを特徴とする請求項６に記載の動画像復号装置。
【請求項８】
予測画像符号化復号方法における予測画像を作成するための復号画像の縮小記録方法であって、
前記縮小記録の際に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにすることを特徴とする復号画像縮小記録方法。
【請求項９】
予測画像符号化復号方法の予測画像を作成するための復号画像の縮小および圧縮記録方法であって、
前記縮小および圧縮記録の際に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも、拡大後の画素値が縮小前の画素値に近い値をとるようし、かつ、高い精度で圧縮することを特徴とする復号画像の縮小および圧縮記録方法。
【請求項１０】
前記復号画像の領域が予測で参照される頻度の推定は、復号画像の領域内の予測で参照される画素位置の数で推定することを特徴とする請求項８又は請求項９に記載の復号画像の縮小および圧縮記録方法。
【請求項１１】
前記予測画像符号化復号方法は、フレーム内予測を用いた予測画像符号化復号方法であり、前記予測で参照される画素位置は、フレーム内予測画像を作成する際に参照される画素位置であることを特徴とする請求項１０に記載の復号画像の縮小および圧縮記録方法。
【請求項１２】
前記画復号像の領域が予測で参照される頻度の推定は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、又は、復号画像の縮小方法における画素の間引き位置のいずれか一つ以上を用いて推定することを特徴とする請求項１０又は請求項１１に記載の復号画像の縮小および圧縮記録方法。
【請求項１３】
前記画復号像の領域が予測で参照される頻度の推定は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、復号画像の縮小方法における画素の間引き位置、復号画像の圧縮方法における予測画像作成の際に参照される画素位置、復号画像の圧縮方法における圧縮処理単位、又は、復号画像の圧縮方法における圧縮率のいずれか一つ以上を用いて推定することを特徴とする請求項１０又は請求項１１に記載の復号画像の縮小および圧縮記録方法。
【請求項１４】
前記復号画像の圧縮方法は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項１３に記載の復号画像の縮小および圧縮記録方法。
【請求項１５】
予測画像符号化復号方法における予測画像を作成するための復号画像の縮小記録するプログラムであって、
前記縮小記録の際に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理とを情報処理装置に実行させることを特徴とするプログラム。
【請求項１６】
予測画像符号化復号方法における予測画像を作成するための復号画像の縮小および圧縮記録するプログラムであって、
前記縮小および圧縮記録の際に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理と、高い精度で圧縮する処理と、を情報処理装置に実行させることを特徴とするプログラム。
【請求項１７】
前記復号画像の領域が予測で参照される頻度を推定する処理は、復号画像の領域内の予測で参照される画素位置の数で推定することを特徴とする請求項１５又は請求項１６に記載のプログラム。
【請求項１８】
前記予測画像符号化復号方法は、フレーム内予測を用いた予測画像符号化復号方法であり、前記予測で参照される画素位置は、フレーム内予測画像を作成する際に参照される画素位置であることを特徴とする請求項１７に記載のプログラム。
【請求項１９】
前記画復号像の領域が予測で参照される頻度を推定する処理は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、又は、復号画像の縮小方法における画素の間引き位置のいずれか一つ以上を用いて推定することを特徴とする請求項１７又は請求項１８に記載のプログラム。
【請求項２０】
前記画復号像の領域が予測で参照される頻度を推定する処理は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、復号画像の縮小方法における画素の間引き位置、復号画像の圧縮方法における予測画像作成の際に参照される画素位置、復号画像の圧縮方法における圧縮処理単位、又は、復号画像の圧縮方法における圧縮率のいずれか一つ以上を用いて推定することを特徴とする請求項１７又は請求項１８に記載のプログラム。
【請求項２１】
前記復号画像の圧縮方法は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項２０に記載のプログラム。
【請求項２２】
予測画像符号化復号方法における予測画像を作成するための復号画像の縮小記録装置であって、
前期縮小記録の際に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段を有することを特徴とする復号画像縮小記録装置。
【請求項２３】
予測画像符号化復号方法における予測画像を作成するための復号画像の縮小および圧縮記録装置であって、
前記縮小および圧縮記録の際に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段および高い精度で圧縮する圧縮手段を有することを特徴とする復号画像の縮小および圧縮記録装置。
【請求項２４】
前記縮小手段あるいは前記圧縮手段は、復号画像の領域内の予測で参照される画素位置の数に基づいて、前記復号画像の領域が予測で参照される頻度を推定することを特徴とする請求項２２又は請求項２３に記載の復号画像の縮小および圧縮記録装置。
【請求項２５】
前記予測画像符号化復号方法は、フレーム内予測を用いた予測画像符号化復号方法であり、前記予測で参照される画素位置は、フレーム内予測画像を作成する際に参照される画素位置であることを特徴とする請求項２４に記載の復号画像の縮小および圧縮記録装置。
【請求項２６】
前記縮小手段は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、又は、復号画像の縮小方法における画素の間引き位置のいずれか一つ以上を用いて、前記画復号像の領域が予測で参照される頻度を推定することを特徴とする請求項２４又は請求項２５に記載の復号画像の縮小および圧縮記録装置。
【請求項２７】
前記縮小手段および前記圧縮手段は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の圧縮方法における予測画像作成の際に参照される画素位置、復号画像の縮小方法における縮小率、復号画像の縮小方法における画素の間引き位置、復号画像の圧縮方法における圧縮処理単位、又は、復号画像の圧縮方法における圧縮率のいずれか一つ以上を用いて、前記画復号像の領域が予測で参照される頻度を推定することを特徴とする請求項２４又は請求項２５に記載の復号画像の縮小および圧縮記録装置。
【請求項２８】
前記復号画像の圧縮方法は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項２７に記載の復号画像の縮小および圧縮記録装置。
【請求項２９】
予測処理を利用する画像符号復号化により復号された画像信号を縮小し、縮小画像を得る動画像復号方法において、
前記画像符号復号化における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御することを特徴とする動画像復号方法。
【請求項３０】
予測処理を利用する画像符号復号化により復号された画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、
前記画像符号復号化における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする動画像復号方法。
【請求項３１】
前記圧縮符号化方式はフレーム内予測を用いた圧縮符号化方式であり、前記圧縮符号化方式において予測画像作成の際に参照される画素位置は、フレーム内予測画像作成の際に参照される画素位置であることを特徴とする請求項２９又は請求項３０に記載の動画像復号方法。
【請求項３２】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、復号画像の縮小処理における縮小率、又は、復号画像の縮小処理における画素の間引き位置のいずれか一つ以上を用いて定めることを特徴とする請求項２９又は請求項３１に記載の動画像復号方法。
【請求項３３】
前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、復号画像の縮小処理における縮小率、復号画像の縮小処理における画素の間引き位置、復号画像の圧縮処理において予測画像作成の際に参照される画素位置、復号画像の圧縮処理における圧縮処理単位、又は、復号画像の圧縮処理における圧縮率のいずれか一つ以上を用いて定めることを特徴とする請求項３０又は請求項３１に記載の動画像復号方法。
【請求項３４】
圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項３３に記載の動画像復号方法。
【請求項３５】
予測処理を利用する画像符号復号化により復号された画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、
前記プログラムは、前記画像符号復号化における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とするプログラム。
【請求項３６】
予測処理を利用する画像符号復号化により復号された画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、
前記画像符号復号化における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする動画像復号方法。
【請求項３７】
予測処理を利用する画像符号復号化により復号された画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、
前記プログラムは、前記画像符号復号化における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とするプログラム。
【請求項３８】
予測処理を利用する画像符号復号化により復号された画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法におけるプログラムであって、
前記プログラムは、前記画像符号復号化における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御する処理を情報処理装置に実行させることを特徴とするプログラム。
【国際調査報告】
2007148619.tif 000031
2007148619.tif 000032
2007148619.tif 000033
2007148619.tif 000034