(57)【要約】【課題】局部復号画像と原画像との差分画像の周波数特性を考慮して画像加工や周波数変換を行うことで、差分画像を高い符号化効率で圧縮することができる画像符号化復号装置を提供する。【解決手段】入力画像と、第１の符号化部が動き補償予測のために生成した局部復号画像との差分画像を生成し、この差分画像の空間周波数情報を用いて差分画像の画像加工又は周波数変換を行ってから、この差分画像を符号化し、入力画像の符号化データを復号した復号画像と、差分画像を復号した復号画像とを加算し、入力画像の復号画像と、加算画像とを切り替えて、再生画像として出力する。【選択図】図１
2011114369.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化する第１の符号化部と、
前記入力画像と、前記第１の符号化部が動き補償予測のために生成した局部復号画像との差分画像を生成する差分処理部と、
前記差分画像の空間周波数情報を用いて当該差分画像の画像加工又は周波数変換を行う画像変換部と、
前記画像変換部で変換された前記差分画像を符号化する第２の符号化部と、
前記第１の符号化部から出力される符号化データのビットストリームを復号する第１の復号部と、
前記第２の符号化部から出力される前記差分画像のビットストリームを復号する第２の復号部と、
前記第１及び前記第２の復号部によってそれぞれ復号された復号画像を加算して加算画像を生成する加算処理部と、
前記第１の復号部で復号された復号画像と前記加算処理部で得られた加算画像とを切り替えて、再生画像として出力する選択部とを備えた画像符号化復号装置。
【請求項２】
前記画像変換部は、前記差分画像を複数の画素からなるブロックに分割し、当該ブロックを直交変換して得られる直交変換係数の統計情報を、前記差分画像の空間周波数情報として用いることを特徴とする請求項１記載の画像符号化復号装置。
【請求項３】
前記画像変換部は、直交変換係数の絶対値を周波数成分別に平均又は合計した値、あるいは、各周波数成分における直交変換係数の中間値を、前記差分画像の空間周波数情報として用いることを特徴とする請求項２記載の画像符号化復号装置。
【請求項４】
前記画像変換部は、前記差分画像を回転加工することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像符号化復号装置。
【請求項５】
前記画像変換部は、前記差分画像の空間周波数情報を用いて、当該差分画像の回転加工における回転角を決定することを特徴とする請求項４記載の画像符号化復号装置。
【請求項６】
前記画像変換部は、前記差分画像を縮小加工することを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像符号化復号装置。
【請求項７】
前記画像変換部は、前記差分画像の空間周波数情報から算出した画素変化量を用いて、当該差分画像の縮小加工における縮小倍率を決定することを特徴とする請求項６記載の画像符号化復号装置。
【請求項８】
前記画像変換部は、
前記差分画像を複数の画素からなるブロックに分割するブロック分割部と、
前記ブロック分割部により分割されたブロックを直交変換する直交変換部と、
直交変換係数における特定の周波数成分を他の周波数成分に置換する周波数置換部と、
前記周波数置換部により周波数成分が置換された直交変換係数に対して逆直交変換を行う直交逆変換部とを備えたことを特徴とする請求項１から請求項７のうちのいずれか１項記載の画像符号化復号装置。
【請求項９】
前記周波数置換部は、直交変換係数に付与したインデックス番号の大小を反転させて周波数成分を置換することを特徴とする請求項８記載の画像符号化復号装置。
【請求項１０】
前記周波数置換部は、直交変換係数に付与したインデックス番号のうち、前記差分画像の空間周波数情報から求めた特定のインデックス番号からＮ個の成分を、インデックス番号１からインデックス番号Ｎの位置へシフトして周波数成分を置換することを特徴とする請求項８記載の画像符号化復号装置。
【請求項１１】
前記周波数置換部は、前記差分画像の空間周波数情報から求めた特定の周波数以上の成分を直交変換係数の（０，０）成分の位置に水平移動して周波数成分を置換することを特徴とする請求項８記載の画像符号化復号装置。
【請求項１２】
前記第２の符号化部は、直交変換係数を任意の順序で符号化可能な符号化方式を用いることを特徴とする請求項１から請求項１１のうちのいずれか１項記載の画像符号化復号装置。
【請求項１３】
前記第２の符号化部は、直交変換係数を高域から低域への順序で符号化可能な符号化方式を用いることを特徴とする請求項１２記載の画像符号化復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ビデオカメラやテレビジョン放送等の動画像を記録媒体に保存し、保存した画像情報を用途に応じた画質や伝送レートで出力する画像符号化復号装置に関するものである。
【背景技術】
【０００２】
カメラで撮像した画像やテレビジョン映像を、光又は磁気ディスクや半導体メモリ等の記録媒体に保存しておき、要求があったときに読み出して視聴するＤＶＤ／ハードディスクレコーダ等の映像記録装置が存在する。これらの装置において、動画像を記録媒体に保存する際に、ＭＰＥＧ−２やＨ．２６４などの符号化方式を用いて圧縮することが一般的である。ＭＰＥＧ−２やＨ．２６４は、非可逆符号化と呼ばれる方式に分類されるものであり、人間の視覚特性を利用して画像から劣化の目立ちにくい情報を間引くことで、動画像のデータサイズを大幅に低減することを可能とする。
【０００３】
しかしながら、ＤＶＤ／ハードディスクレコーダ等の多くの映像記録装置では、容量が有限の記録媒体に長時間の画像記録を行うため、視覚的な劣化が検知される状態まで圧縮率を高めて画像符号化をすることが多い。
一般に、非可逆符号化において、圧縮率と画質はトレードオフの関係にあり、圧縮率を向上させるほど画質劣化が増幅してしまう。
【０００４】
動画像を記録媒体に保存するにあたり、画質劣化のない状態で長時間録画ができることが望ましいが、上述のとおり圧縮率と画質はトレードオフの関係にあり、長時間記録を実現すべく圧縮率を高めることは画質劣化を増幅させることにつながる。そのため、ＤＶＤ／ハードディスクレコーダ等の映像記録装置では、記録時間を重視するか画質を重視するかといった選択の下に圧縮率を決定し、画像符号化を実施することになる。
【０００５】
記録時間を重視するか画質を重視するかは、装置の構成や用途によってのみ決まるものではなく、記録媒体の残量や記録画像に対するユーザの関心度等によって時々刻々と変化するものである。例えば、記録媒体の残量が多い場合には、圧縮率を高めなくても長時間の記録が可能であるため、敢えて画質劣化を伴う形で符号化する必要はないが、記録媒体の残量が少ない場合には、画質を犠牲にしてでも、長い記録時間を確保したいといったケースは起こり得る。
【０００６】
また、記録した映像に対してユーザの関心が高く、繰り返し視聴するような画像に対しては高画質な状態で保存しておくことが望ましいが、すでに関心が薄れ、以後視聴するか否かも不確かな画像については、記録媒体の残量を圧迫させてまで高画質な状態で保存することは望まれない。
【０００７】
このように画質と記録時間のいずれを重視すべきかは、記録媒体の状態や時間経過とともに変化するものであり、そうした変化に応じて画質とビット量との関係を柔軟に変更できる形で画像を記録することができれば、ユーザが満足する画質を維持しつつ、長時間の記録が実現可能となる。
【０００８】
画質とビット量の関係は、一旦記録した画像を異なる圧縮率で再符号化することで変更可能であるが、再符号化のためには装置の一部あるいは全体を一定時間稼動させる必要があり、多くの消費電力を伴うほか、長時間稼動させたままにするような装置の場合には、再符号化のための時間を確保できない場合もある。
【０００９】
再符号化することなく、記録画像の画質とビット量との関係を変更できるものとして、特許文献１で開示されている画像符号化記録読出装置がある。この装置は、複数の符号化部を備えており、第１の符号化部では、原画像を符号化し、第２の符号化部では、第１の符号化部で生成された局部復号画像と原画像との差分画像を符号化するように構成されている。第１の符号化部と第２の符号化部で生成した２つのビットストリームを同時に復号し、両者の加算画像を出力することで高画質な画像再生が実現される。第２の符号化部で生成したビットストリーム（以下、差分ストリームと呼ぶ）は消去することができ、その場合、第１の符号化部で生成したビットストリーム（以下、基本ストリームと呼ぶ）のみを復号して再生することが可能である。
【００１０】
特許文献１で開示される画像符号化記録読出装置では、第１の符号化部で生成した基本ストリームを残したまま、第２の符号化部で生成した差分ストリームを、記録媒体の残量や経過時間に応じて消去することで、再符号化を伴うことなく記録画像の画質とビット量の関係を変更可能である。第２の符号化部では、注視点か否かを判別して、注視点以外の画像エリアにおいて、差分画像の値を“０”にする手段や雑音成分を除去する手段、基本ストリーム上の劣化の大きさに応じて差分ストリームの各フレームに配分するビット量を決定する手段を備えており、低ビット量で画質改善効果の高い差分ストリームを生成できるよう工夫されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】国際公開ＷＯ０６／１００８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１の装置では、差分画像の特性を考慮することなく、第２の符号化部で圧縮を行うため、差分画像を低劣化かつ低ビット量で圧縮できるかは、第２の符号化部の圧縮能力に依存する。
ＭＰＥＧ−２やＨ．２６４等の多くの符号化方式では、画像を直交変換したときの係数の分布が空間周波数の低域側に偏る場合は高い圧縮能力を発揮できるが、ここで扱う差分画像は、直交変換したときの係数の分布が中高域成分を中心に離散する傾向があり、このような画像に対して高い符号化効率を維持することは困難であった。
このため、上述のようなビット量削減手段を備えていたとしても、差分ストリームのビット量が必要以上に大きくなり、差分ストリーム自体が記録媒体の残量を圧迫し、差分ストリームを記録媒体に保持しておくことが困難な状況を発生させてしまうことがあった。
また、差分ストリームのビット量を意図的に低減した結果、差分画像自体に符号化劣化が生じ、生成した加算画像が基本ストリーム単体の復号画像よりもかえって画質劣化してしまうこともあった。
【００１３】
この発明は、上記のような課題を解決するためになされたもので、局部復号画像と原画像との差分画像の周波数特性を考慮して画像加工や周波数変換を行うことで、差分画像を高い符号化効率で圧縮することができる画像符号化復号装置を得ることを目的とする。
【課題を解決するための手段】
【００１４】
この発明に係る画像符号化復号装置は、入力画像を符号化する第１の符号化部と、入力画像と、第１の符号化部が動き補償予測のために生成した局部復号画像との差分画像を生成する差分処理部と、差分画像の空間周波数情報を用いて当該差分画像の画像加工又は周波数変換を行う画像変換部と、画像変換部で変換された差分画像を符号化する第２の符号化部と、第１の符号化部から出力される符号化データのビットストリームを復号する第１の復号部と、第２の符号化部から出力される差分画像のビットストリームを復号する第２の復号部と、第１及び第２の復号部によってそれぞれ復号された復号画像を加算して加算画像を生成する加算処理部と、第１の復号部で復号された復号画像と加算処理部で得られた加算画像とを切り替えて、再生画像として出力する選択部とを備えるものである。
【発明の効果】
【００１５】
この発明によれば、入力画像と、第１の符号化部が動き補償予測のために生成した局部復号画像との差分画像を生成し、この差分画像の空間周波数情報を用いて差分画像の画像加工又は周波数変換を行ってから、この差分画像を符号化し、入力画像の符号化データを復号した復号画像と、差分画像を復号した復号画像とを加算し、入力画像の復号画像と、加算画像とを切り替えて、再生画像として出力する。
このように構成することで、少ないビット量で画質向上効果の高い差分ストリームを生成することが可能であり、容量が有限の記録媒体において、動画像のビットストリームを長時間記録することと、再生画像の高画質とを両立させた高性能な画像符号化復号装置を簡易に得ることができるという効果がある。
また、第１の符号化部で生成する局部復号画像と原画像との差分画像を、この差分画像の空間周波数情報を用いて少ないビット量に圧縮することができ、従来よりも高画質で長時間の画像記録が可能となる。
さらに、符号化部や復号部の内部構成には一切手を加えない形で実現することも可能であるため、汎用的な符号化・復号手段を用いて簡易に装置を構築することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】この発明の実施の形態１による画像符号化復号装置の構成を示すブロック図である。
【図２】実施の形態１による画像変換部の構成を示すブロック図である。
【図３】ＤＨＴ係数のピクチャ内平均値の一例を示す図である。
【図４】回転及び縮小の画像加工の一例を示す図である。
【図５】画像を回転させたときの直交変換係数の発生の変化を示す図である。
【図６】実施の形態２による画像変換部の構成を示すブロック図である。
【図７】実施の形態３による画像変換部の構成を示すブロック図である。
【図８】実施の形態４による画像変換部の構成を示すブロック図である。
【図９】実施の形態５による画像変換部の構成を示すブロック図である。
【図１０】直交変換係数の成分置換の一例を示す図である。
【図１１】この発明の実施の形態６による画像符号化復号装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
実施の形態１．
図１は、この発明の実施の形態１による画像符号化復号装置の構成を示すブロック図である。図１において、実施の形態１の画像符号化復号装置は、符号化部１，４、差分器２、画像変換部３、記録媒体５、復号部６，７、画像復元部８及び加算器９を備える。本発明における画像符号化復号装置の本体は、図１中で破線で囲んだ画像変換部３と符号化部４、復号部７と画像復元部８であり、他の構成部は、当該画像符号化復号装置を動作させるための周辺装置の位置付けである。以下、周辺装置も含めて説明する。
【００１８】
符号化部（第１の符号化部）１は、画像データを入力すると、ＭＰＥＧ−２やＨ．２６４等の符号化方式に基づいて当該画像データを圧縮符号化し、ビットストリーム（以下、基本ストリーム）の形式で記録媒体に保存する。同時に、符号化部１は、動き補償予測のために生成した局部復号画像を出力する。また、符号化の過程で算出された直交変換係数を出力可能な場合には、当該データも画像変換部３へ出力する。
【００１９】
差分器（差分処理部）２は、装置外部から入力された画像（以下、入力画像と呼ぶ）と局部復号画像との差分画像を生成する。
画像変換部３は、上記の差分画像に対して画像加工や周波数変換を行うが、処理の詳細は後述する。画像変換部３で実施する画像加工や周波数変換の方法は、変換情報として記録媒体５に保存する。
符号化部（第２の符号化部）４では、画像加工や周波数変換を加えた差分画像を圧縮符号化してビットストリーム（以下、差分ストリームと呼ぶ）の形式で記録媒体５に保存する。
【００２０】
基本ストリーム、差分ストリーム及び変換情報が、記録媒体５に保存されている状態において、復号部６は、基本ストリームを復号して復号画像を生成する。同時に、復号部７は、差分ストリームを復号して復号画像を生成する。画像復元部８は、復号部７で生成された復号画像に対して画像加工処理や周波数変換を行う。画像復元部８で行う画像加工や周波数変換は、画像変換部３の処理の逆変換である。逆変換は、記録媒体５に保存した変換情報を参照して行う。
【００２１】
加算器（加算処理部）９は、復号部６で生成された復号画像と、画像復元部８で画像加工又は周波数変換された画像との加算画像を生成する。セレクタ（選択部）１０は、復号部６で生成された復号画像及び加算器９で生成された加算画像のうちのいずれかを選択して装置外部へ出力する。
【００２２】
記録媒体５に保存された差分ストリームと変換情報は、記録媒体５の残量やユーザからの指示により消去可能とする。消去の際には、差分ストリームと変換情報を一組として消去するものとする。差分ストリームと変換情報を消去した場合は、当該画像の再生時に、復号部７、画像復元部８、加算器９では処理を行わず、復号部６にて基本ストリームのみ復号し、当該復号画像をセレクタ１０より出力する。
【００２３】
差分器２で生成される差分画像は、符号化部１で発生した画像劣化に相当する成分であり、基本ストリームの復号画像に当該成分を加算すれば、入力画像と等価な再生画像を得ることができる。ただし、この実施の形態１のように、差分画像も符号化対象とすると、符号化による画像劣化が発生する可能性がある。
実施の形態１の画像符号化復号装置では、差分画像を符号化対象としても、差分画像を低劣化かつ低ビット量で圧縮することができる。
【００２４】
図１において、画像変換部３が、差分画像を低劣化かつ低ビット量で圧縮する機能を実現する役割を担う。以下、画像変換部３の構成例について説明する。
図２は、実施の形態１による画像変換部の構成を示すブロック図である。図２において、画像変換部３は、正整数化部２１、ブロック分割部２２、直交変換部２３、最適変換判定部２４、画像加工部２５及びビット幅補正部２６を備える。画像変換部３の入力は、図１で示した差分器２が生成する差分画像であり、差分画像は、正負の符号付き整数データで表される。例えば、差分器２の入力である入力画像と局部復号画像がともに８ビット幅の整数データで表される場合、差分器２の出力は、正負の整数値を持つ９ビット幅の差分画像となる。
【００２５】
正整数化部２１は、上述した正負の整数値を持つ差分画像を正の整数に変換する。変換方法としては、各画素データ値に一定のオフセット値を加算する方法や、補数で表した負の整数を符号なし正整数に読み替えて扱う方法等を用いる。前者は、例えばＮビット幅の差分画像に対して２の（Ｎ−１）乗のオフセット値を加算する。後者は、例えば“−１”の２進補数値“１１１１１１１１１”を符号なし正整数に読み替え、５１１として扱う。
ここで、正整数への変換と同時にビット幅を１ビット削減するための丸め処理を行ってもよい。例えば、差分画像が９ビット幅の場合に右方向のビットシフト演算を行い、８ビット幅に変換しておく。
【００２６】
ブロック分割部２２は、正の整数データで表された差分画像を８×８画素や４×４画素のブロックサイズに分割する。直交変換部２３は、ブロック分割部２２により分割された各ブロックをＤＨＴ（離散アダマール変換）やＤＣＴ（離散コサイン変換）などによって直交変換する。以降では、差分画像を８×８画素に分割したブロックに対してＤＨＴを用いる場合を例に説明する。
【００２７】
最適変換判定部２４は、直交変換部２３で求めた８×８行列の直交変換係数をピクチャやスライス等の単位で集計し、統計情報を算出する。この統計情報としては、例えば図３に示すような直交変換係数（ＤＨＴ係数）の絶対値のピクチャ内平均値を求める。当該ピクチャ内平均値は、差分画像の空間周波数特性を表すものであり、図３に示す例の場合、（０，０）成分から（７，７）成分への対角線上で直交変換係数の値が大きくなっており、当該係数に電力が集中していることが分かる。これは、すなわち差分画像の斜め４５度の方向（水平方向を０度としたときの角度）に対して画素の変化が大きいことを表している。最適変換判定部２４では、このような直交変換係数の電力が集中する領域を角度として求める。
【００２８】
直交変換係数の電力が集中する領域の角度は、例えば、下記式（１）において、Ｈ０、Ｈ６７．５、Ｈ４５、Ｈ２２．５、Ｈ９０を求めて、どれが最小となるかによって決定する。ここで、Ｈ０が最小の場合は０度、Ｈ２２．５が最小の場合は２２．５度、Ｈ４５が最小の場合は４５度、Ｈ６７．５が最小の場合は６７．５度、Ｈ９０が最小の場合は９０度とする。なお、下記式（１）において、Ｑ（ｘ，ｙ）は、直交変換係数のピクチャ内平均値における（ｘ，ｙ）成分［０≦ｘ，ｙ≦７］とする。
Ｈ９０＝｜Ｑ（０，０）｜＋｜Ｑ（１，０）｜＋｜Ｑ（２，０）｜＋｜Ｑ（３，０）｜＋｜Ｑ（４，０）｜＋｜Ｑ（５，０）｜＋｜Ｑ（６，０）｜＋｜Ｑ（７，０）｜
Ｈ６７．５＝｜Ｑ（０，０）｜＋｜Ｑ（１，０）｜＋｜Ｑ（２，１）｜＋｜Ｑ（３，１）｜＋｜Ｑ（４，２）｜＋｜Ｑ（５，２）｜＋｜Ｑ（６，３）｜＋｜Ｑ（７，３）｜
Ｈ４５＝｜Ｑ（０，０）｜＋｜Ｑ（１，１）｜＋｜Ｑ（２，２）｜＋｜Ｑ（３，３）｜＋｜Ｑ（４，４）｜＋｜Ｑ（５，５）｜＋｜Ｑ（６，６）｜＋｜Ｑ（７，７）｜
Ｈ２２．５＝｜Ｑ（０，０）｜＋｜Ｑ（０，１）｜＋｜Ｑ（１，２）｜＋｜Ｑ（１，３）｜＋｜Ｑ（２，４）｜＋｜Ｑ（２，５）｜＋｜Ｑ（３，６）｜＋｜Ｑ（３，７）｜
Ｈ０＝｜Ｑ（０，０）｜＋｜Ｑ（０，１）｜＋｜Ｑ（０，２）｜＋｜Ｑ（０，３）｜＋｜Ｑ（０，４）｜＋｜Ｑ（０，５）｜＋｜Ｑ（０，６）｜＋｜Ｑ（０，７）｜
・・・（１）
【００２９】
また、最適変換判定部２４では、直交変換係数のピクチャ内平均値を基に、差分画像における水平方向及び垂直方向の画素変化量を算出する。画素変化量は、例えば、下記式（２）に従い計算する。下記式（２）において、ＸＨが特定の閾値α以上の場合には、水平方向の画素変化は大きいとみなす。また、ＸＨが閾値未満であり、ＸＨ＋ＸＭが特定の閾値βを超える場合には水平方向の画素変化は中程度とみなす。いずれも満たさない場合には、水平方向の画素変化は小さいとみなす。同様に、ＹＨが特定の閾値α以上の場合には垂直方向の画素変化は大きいとみなし、ＹＨが閾値未満であり、ＹＨ＋ＹＭが特定の閾値βを超える場合には垂直方向の画素変化は中程度とみなし、いずれも満たさない場合は、垂直方向の画素変化は小さいとみなす。ここで、α、βは実験データ等をもとに決定する任意の整数値とする。
ＸＨ＝｜Ｑ（７，０）｜＋｜Ｑ（７，１）｜＋｜Ｑ（７，２）｜＋｜Ｑ（７，３）｜＋｜Ｑ（７，４）｜＋｜Ｑ（７，５）｜＋｜Ｑ（７，６）｜＋｜Ｑ（７，７）｜＋｜Ｑ（６，０）｜＋｜Ｑ（６，１）｜＋｜Ｑ（６，２）｜＋｜Ｑ（６，３）｜＋｜Ｑ（６，４）｜＋｜Ｑ（６，５）｜＋｜Ｑ（６，６）｜＋｜Ｑ（６，７）｜
ＸＭ＝｜Ｑ（５，０）｜＋｜Ｑ（５，１）｜＋｜Ｑ（５，２）｜＋｜Ｑ（５，３）｜＋｜Ｑ（５，４）｜＋｜Ｑ（５，５）｜＋｜Ｑ（５，６）｜＋｜Ｑ（５，７）｜＋｜Ｑ（４，０）｜＋｜Ｑ（４，１）｜＋｜Ｑ（４，２）｜＋｜Ｑ（４，３）｜＋｜Ｑ（４，４）｜＋｜Ｑ（４，５）｜＋｜Ｑ（４，６）｜＋｜Ｑ（４，７）｜
ＹＨ＝｜Ｑ（０，７）｜＋｜Ｑ（１，７）｜＋｜Ｑ（２，７）｜＋｜Ｑ（３，７）｜＋｜Ｑ（４，７）｜＋｜Ｑ（５，７）｜＋｜Ｑ（６，７）｜＋｜Ｑ（７，７）｜＋｜Ｑ（０，６）｜＋｜Ｑ（１，６）｜＋｜Ｑ（２，６）｜＋｜Ｑ（３，６）｜＋｜Ｑ（４，６）｜＋｜Ｑ（５，６）｜＋｜Ｑ（６，６）｜＋｜Ｑ（７，６）｜
ＹＭ＝｜Ｑ（０，５）｜＋｜Ｑ（１，５）｜＋｜Ｑ（２，５）｜＋｜Ｑ（３，５）｜＋｜Ｑ（４，５）｜＋｜Ｑ（５，５）｜＋｜Ｑ（６，５）｜＋｜Ｑ（７，５）｜＋｜Ｑ（０，４）｜＋｜Ｑ（１，４）｜＋｜Ｑ（２，４）｜＋｜Ｑ（３，４）｜＋｜Ｑ（４，４）｜＋｜Ｑ（５，４）｜＋｜Ｑ（６，４）｜＋｜Ｑ（７，４）｜
・・・（２）
【００３０】
上述の説明では、差分画像を８×８画素ブロックに分割して求めた直交変換係数に対して、直交変換係数の電力が集中する領域の角度と水平・垂直方向の画素変化量とを求める方法を示したが、ブロック分割の単位は４×４画素や１６×１６画素などの任意の単位であっても構わない。また、直交変換としてＤＨＴではなく、ＤＣＴやＤＳＴ（離散サイン変換）等を用いてもよい。
【００３１】
直交変換係数の統計情報として、ピクチャやスライスの単位で集計した直交変換係数の絶対値の平均値ではなく、合計値や中間値、最大値等で代用することも可能である。
スライスよりも細かい単位や、複数のピクチャから構成されるＧＯＰ等を単位として、当該単位ごと統計情報を算出してもよい。
なお、最適変換判定部２４で算出した角度や画素変化量については、変換情報として、図１の記録媒体５に保存しておく。
【００３２】
画像加工部２５は、差分画像に対して、図４に示すような回転加工や縮小加工を行う。画像を回転する手段として、Ｈｏｕｇｈ変換等の手法を用いる。回転角は、最適変換判定部２４で求めた角度とする。
図５は、画像を回転させたときの直交変換係数の発生の変化を示す図である。図５において、回転によって直交変換係数が水平方向の低域周波数成分に偏った分布に変化しており、このような係数分布であれば、符号化部４にＭＰＥＧ−２等の汎用的な符号化方式を用いた場合でも高い圧縮性能を得ることが可能である。このように画像加工部２５で回転した場合には、図１で示した画像復元部８が逆方向に同じ角度回転させることによって、元の差分画像が復元される。
【００３３】
また、画像加工部２５で差分画像を縮小する場合、その手段として汎用的なダウンコンバート手法を用いる。ただし、縮小倍率については、最適変換判定部２４で求めた水平・垂直方向の画素変化量を基に決定する。水平方向の画素変化量が大きいと判定された場合には、画像を縮小すると差分画像成分の多くが失われる恐れがあるため、水平の縮小倍率を大きく保ち、逆に変化量が小さい場合には、縮小倍率を小さくする。垂直方向についても同様である。
縮小倍率を低くし、差分画像を縮小画像に変換することで、差分画像を符号化したときのビット量を大幅に低減することが可能となる。縮小画像は、図１で示した画像復元部８によって元のサイズに復元される。
【００３４】
ビット幅補正部２６は、加工後の差分画像を符号化部４で対応するビット幅に合わせるための丸め処理を行う。例えば、符号化部４の符号化方式としてＭＰＥＧ−２を採用した場合、８ビット幅の画像データしか使えないため、９ビットで表された差分画像は、そのまま入力することができず、ビット幅の削減が必要となる。また、画像加工に伴う演算によってビット幅が増加する場合もある。
【００３５】
ビット幅補正部２６は、このようなケースに対応するためのビット幅調整手段であり、加工した差分画像の各画素値に対してビットシフト演算やクリッピング処理を行い、所定のビット幅に削減する。
【００３６】
なお、回転と縮小は必ず実行しなればならないものではなく、いずれか一方のみを実行することや両者とも実行しないことも可能とし、実行可否を記録媒体の容量やユーザの指示によって選択できるようにしておく。
【００３７】
以上のように、この実施の形態１によれば、符号化部１が動き補償予測のために生成した局部復号画像と入力画像との差分画像を生成し、この差分画像の空間周波数情報を用いて差分画像の画像加工又は周波数変換を行ってから、この差分画像を符号化し、入力画像の符号化データを復号した復号画像と、差分画像を復号した復号画像とを加算し、入力画像の復号画像と、加算画像とを切り替えて、再生画像として出力する。
このように構成することで、少ないビット量で画質向上効果の高い差分ストリームを生成することができる。また、動画像のビットストリームを長時間記録することと、再生画像の高画質とを両立させた高性能な画像符号化復号装置を簡易に得ることができる。
【００３８】
実施の形態２．
この実施の形態２による画像符号化復号装置は、上記実施の形態１で示した図１の構成と同様であるが、画像変換部３の構成が異なる。
図６は、この発明の実施の形態２による画像変換部の構成を示すブロック図である。図６において、実施の形態２の画像変換部３は、上記実施の形態１で示した図２の構成からブロック分割部２２と直交変換部２３を除いている。この場合に、直交変換係数として、画像変換部３の外部、すなわち図１で示した符号化部１から出力されたものを用いる。
【００３９】
なお、符号化部１で算出する直交変換係数は、通常、差分画像に対応したものでなく、入力画像（原画像）に対応するものであり、上記例示したような差分画像の直交変換係数とは発生する数値の特性が異なっている可能性が高い。
ただし、回転角や画素変化量については、入力画像の直交変換係数を用いても近似した算出結果が得られることが多い上、本構成を用いることで、演算量の低減や処理構成の簡略化の効果は得られるため、本構成を採用することも有効である。
【００４０】
実施の形態３．
この実施の形態３による画像符号化復号装置は、上記実施の形態１で示した図１の構成と同様であるが、画像変換部３の構成が異なる。
図７は、この発明の実施の形態３による画像変換部の構成を示すブロック図である。図７において、実施の形態３の画像変換部３は、上記実施の形態１で示した図２の構成と異なり、画像加工部２５を正整数化部２１の後段に配置し、また画像加工部２５の後段に画像選択部２７を追加している。
【００４１】
本構成では、画像加工部２５が、回転角や縮小倍率が異なる加工画像を同時に複数個生成し、ブロック分割部２２と直交変換部２３では、画像加工部２５に生成された全画像に対してブロック分割と直交変換を行う。最適変換判定部２４は、上記式（１）や上記式（２）の代わりに、例えば、下記式（３）に従って計算を行う。下記式（３）は、ＤＣ成分を除く直交変換係数の絶対値和を算出するようにしたものである。
ＨＨ＝Σ｜Ｑ（ｘ，ｙ）｜      ・・・（３）
ｘ＝１〜７，ｙ＝１〜７
【００４２】
最適変換判定部２４は、上記式（３）の値が最小となる加工画像を選択して、選択した加工方法の情報（回転角、縮小倍率）を記録媒体５に保存する。
画像選択部２７は、最適変換判定部２４で選択された加工画像を、後段のビット幅補正部２６へ出力する。正整数化部２１とビット幅補正部２６の動作は、上記実施の形態１で図２を用いて説明した画像変換部３と同様である。
【００４３】
この実施の形態３によれば、画像加工した直交変換係数を直接参照しながら最適な加工方法を選択するため、図２の構成よりも高い圧縮性能が得られる差分画像を生成することができる。なお、加工画像の評価基準は、必ずしも上記式（３）でなくてもよいが、中・高域の周波数成分が少ないような画像を選択することを基本的な判断基準とする。
【００４４】
実施の形態４．
この実施の形態４による画像符号化復号装置は、上記実施の形態１で示した図１の構成と同様であるが、画像変換部３の構成が異なる。
図８は、この発明の実施の形態４による画像変換部の構成を示すブロック図である。図８において、実施の形態４の画像変換部３は、上記実施の形態１で示した図２の構成と異なり、ブロック分割部２２及び直交変換部２３を取り除き、代わりに周波数解析部２８を加えている。
【００４５】
周波数解析部２８は、直交変換係数を算出する代わりに、ハイパスフィルタ（ＨＰＦ）を用いて差分画像における周波数特性を分析する。下記式（４）は、この構成例における水平方向及び垂直方向の画素変化量と回転角との算出式である。
水平画素変化量＝Σ｜２×ｐ（ｘ，ｙ）−ｐ（ｘ−１，ｙ）−ｐ（ｘ＋１，ｙ）｜
ｘ＝１〜ｈ−２，ｙ＝１〜ｖ−２
垂直画素変化量＝Σ｜２×ｐ（ｘ，ｙ）−ｐ（ｘ，ｙ−１）−ｐ（ｘ，ｙ＋１）｜
ｘ＝１〜ｈ−２，ｙ＝１〜ｖ−２
ｈ：水平ピクチャサイズ、ｖ：垂直ピクチャサイズ
回転角＝ｔａｎ（垂直画素変化量／水平画素変化量）
・・・（４）
【００４６】
この実施の形態４では、直交変換係数を算出しないために、圧縮性能の向上に寄与するような画像加工を精度良く実現できない可能性があるが、ブロック分割や直交変換を行う場合に比べ、少ない演算量で画素変化量や回転角を求めることが可能である。
【００４７】
実施の形態５．
この実施の形態５による画像符号化復号装置は、上記実施の形態１で示した図１の構成と同様であるが、画像変換部３の構成が異なる。
図９は、この発明の実施の形態５による画像変換部の構成を示すブロック図である。図９において、実施の形態５の画像変換部３は、正整数化部２１、ブロック分割部２２、直交変換部２３、最適変換判定部２４、周波数置換部２８、直交逆変換部２９及びビット幅補正部２６を備える。ここで、正整数化部２１、ブロック分割部２２、直交変換部２３及びビット幅補正部２６の動作は、上記実施の形態１で図２を用いて説明した画像変換部３と同様である。
【００４８】
本構成例では、周波数置換部２８を新たに追加しており、ここでは、図１０で示すような直交変換係数の成分の置換を行う。置換方法としては、例えば図１０の置換方法（ａ）のように、直交変換係数の各成分にジグザグスキャン順のインデックス番号を付与して、インデックス番号の大小を反転させる形で、低域周波数成分と高域周波数成分の関係を反転させる方法がある。また、置換方法（ｂ）のように、大きいインデックス番号を小さいインデックス番号にシフトさせる形で、中域から高域の周波数成分を低域へシフトさせる方法もある。さらに、置換方法（ｃ）のように、中域から高域の周波数成分を直交変換行列上で平行移動させる方法等がある。これらの方法が有効である。
【００４９】
置換方法（ｂ）の場合、どのインデックス番号以降の成分を低域（インデックス番号１）へシフトさせるかは、例えば、直交変換係数の絶対値のピクチャ内平均値を用いて決定する。上記実施の形態１で図４に例示した形式で与えられる直交変換係数の絶対値のピクチャ内平均値をジグザグスキャン順に検索し、絶対値が特定の閾値以上となる成分が見つかったときに、その成分以降のインデックス番号をシフトの対象とする。
例えば、インデックス番号Ｘ（１≦Ｘ≦６４）でピクチャ内絶対値平均が閾値以上となり、インデックス番号以降の成分がＮ個存在する場合であれば、インデックス番号ＸからＸ＋Ｎ−１の各成分をインデックス番号１からＮの位置にシフトさせる。
ここで、実際にシフトさせる対象は、ピクチャ内平均値ではなく、各ブロックにおける直交変換係数である。シフト後、インデックス番号がＮ＋１以降となる成分（図１０（ｂ）ではインデックス番号３５以降）については“０”を埋めておく。
【００５０】
置換方法（ｃ）の場合も、置換方法（ｂ）とほぼ同様の手順となる。どのインデックス番号をシフトの対象とするかは、置換方法（ｂ）と同様の手順で決定し、シフト対象となるインデックス番号を起点として水平及び垂直の周波数がそれ以上となる成分を対象として行列上の（０，０）成分へ並行移動する。並行移動後、値が代入されなかった成分については、置換方法（ｂ）と同様に“０”で埋めておく。
【００５１】
置換方法（ａ）から（ｃ）を実施する際に、直交変換係数のうち、微小な値を持つ係数を“０”に置換しておくことも、差分画像の符号化におけるビット量削減のための有効な手段である。なお、微小な値とは、係数の絶対値和が、例えば“１”以下のものである。
【００５２】
この実施の形態５によれば、上述のような周波数置換により、直交変換係数を強制的に低域側に偏らせることができる。これを直交逆変換部２９で画像データの形式に戻して、さらに図２の画像変換部３と同様のビット幅補正を行った後、図１における符号化部４へ入力することで、符号化部４では、高い圧縮性能を保ちながら差分画像を符号化することが可能となる。
なお、周波数置換をおこなった場合、置換方法に関する情報を記録媒体５に保存しておき、画像復元部８では当該情報に基づいて直交交換係数を置換前の状態に戻す処理をおこなう。
【００５３】
なお、ここでの説明では、直交変換係数のインデックス番号としてジグザグスキャン順に付与したものを用いたが、任意の与え方をしたインデックス番号に対応可能である。
また、図２で示した画像変換部３の説明でも述べたが、空間周波数情報としてピクチャ内平均値を用いる代わりに、ピクチャよりも細かい単位や複数のピクチャをまとめた単位で集計した平均値であってもよい。さらに、平均値の代わりに、最大値や中間値で代用することも可能である。
【００５４】
実施の形態６．
図１１は、この発明の実施の形態６による画像符号化復号装置の構成を示すブロック図である。図１１において、実施の形態６の画像符号化復号装置は、上記実施の形態１で図１を用いて説明した構成から、画像変換部３と画像復元部８を取り除いている。各構成部の動作は、上記実施の形態１と同様であるが、符号化部４は、上記実施の形態１から上記実施の形態５までのいずれかに示した画像変換部３を含み、復号部７は、上記実施の形態１における画像復元部８を含む構成となっている点が特徴である。
【００５５】
符号化部４は、上記実施の形態１の符号化部４と一部が異なる形態となっており、直交変換係数を、従来とは逆のスキャン順序（周波数成分の高域から低域への順）で符号化する。また、この符号化部４では、任意の順序でスキャンすることも許容されており、スキャン順序を柔軟に変更することによって、上記実施の形態５において図１０を用いて例示した周波数置換処理と同じ効果が得られる。復号部７についても、同様に直交変換のスキャン順の変更に対応したものを用いる。
【００５６】
以上のように、この実施の形態６によれば、符号化部４と復号部７に専用の符号化方式を適用する必要があるが、変更箇所は、直交変換部のみに限定しているため、容易に実現できる。また、変換情報を、差分ストリームに多重した形で出力することができるため、上記実施の形態１のように、差分ストリームと変換情報が個別に生成される場合よりも、記録媒体５におけるデータ管理が容易である。
【符号の説明】
【００５７】
１，４  符号化部、２  差分器、３  画像変換部、５  記録媒体、６，７  復号部、８  画像復元部、９  加算器、１０  セレクタ、２１  正整数化部、２２  ブロック分割部、２３  直交変換部、２４  最適変換判定部、２５  画像加工部、２６  ビット幅補正部、２７  画像選択部、２８  周波数変換部、２９  直交逆変換部。
【図１】
2011114369.tif 000003
【図２】
2011114369.tif 000004
【図３】
2011114369.tif 000005
【図４】
2011114369.tif 000006
【図５】
2011114369.tif 000007
【図６】
2011114369.tif 000008
【図７】
2011114369.tif 000009
【図８】
2011114369.tif 000010
【図９】
2011114369.tif 000011
【図１０】
2011114369.tif 000012
【図１１】
2011114369.tif 000013