(57)【要約】【課題】２種類の直交変換を用いるような画像圧縮方式において、直交変換後に別の直交変換などの処理を行うことで、逆変換の処理順序の依存関係が発生するために処理効率が低下する。【解決手段】離散コサイン変換処理部１の次段が、交流処理系と直流処理系とに分岐されている。交流処理系は、交流成分量子化処理部３Ａ、交流成分逆量子化処理部５Ａおよび逆離散コサイン変換処理部６の時系列構成となっている。直流処理系は、アダマール変換処理部２、直流成分量子化処理部３Ｂ、逆アダマール変換処理部４および直流成分逆量子化処理部５Ｂの時系列構成となっている。直交変換後の空間周波数分布における交流成分と直流成分の処理を分離し、交流成分と直流成分の演算を独立に行うことで逆変換に伴う依存関係を解消させる。【選択図】図１
2007243399.tif 000002
【特許請求の範囲】
【請求項１】
第１の直交変換と、前記第１の直交変換で得られた直流成分に対する変換と、復号化処理と等価な逆変換を含むデータ圧縮方式であって、
前記第１の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、
前記逆変換は、前記第１の直交変換に対応する第１の逆直交変換を含み、前記第１の逆直交変換は直流成分を零とした逆直交変換であることを特徴とするデータ圧縮方式。
【請求項２】
前記直流成分に対する変換は第２の直交変換であり、前記逆変換は、前記第２の直交変換に対応する第２の逆直交変換を含む請求項１に記載のデータ圧縮方式。
【請求項３】
第１の直交変換と、前記第１の直交変換で得られた直流成分に対する第２の直交変換と、復号化処理と等価な逆変換を含むデータ圧縮方式であって、
前記第１の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、
前記逆変換は、前記第１の直交変換に対応する第１の逆直交変換と、前記第２の直交変換に対応する第２の逆直交変換を含み、
前記第１の逆直交変換は直流成分を第１の値とした逆直交変換であり、
前記第２の逆直交変換後の逆行列から得られる第２の値と、前記第１の値の差分を前記第１の逆直交変換後の逆行列の各要素に加算することを特徴とするデータ圧縮方式。
【請求項４】
前記直流成分および交流成分に対する量子化処理および逆量子化処理を含むことを特徴とする請求項２または請求項３に記載のデータ圧縮方式。
【請求項５】
前記直流成分および交流成分に対する量子化処理および逆量子化処理を時分割に実施する請求項４に記載のデータ圧縮方式。
【請求項６】
前記第１の直交変換、前記第１の逆直交変換、前記第２の直交変換、前記第２の逆直交変換を時分割に実施する請求項２または請求項３に記載のデータ圧縮方式。
【請求項７】
前記データは画像データであり、
前記第１の直交変換は離散コサイン変換であり、
前記第１の逆直交変換は逆離散コサイン変換であり、
前記第２の直交変換はアダマール変換であり、
前記第２の逆直交変換は逆アダマール変換である請求項２または請求項３に記載のデータ圧縮方式。
【請求項８】
前記第２の直交変換および前記第２の逆直交変換は複数の直交変換方式を選択可能であって、
前記複数の直交変換方式の選択は前記第１の直交変換の結果によって決定する請求項２または請求項３に記載のデータ圧縮方式。
【請求項９】
前記データは画像データであり、
前記直流成分に対する量子化処理は、画像の輝度または色差情報の直流成分に対する量子化処理であり、
前記直流成分に対する量子化ステップは、前記第２の直交変換の結果によって決定する請求項４に記載のデータ圧縮方式。
【請求項１０】
前記直流成分に対する変換は画質または音質を決定するパラメータの変換である請求項１に記載のデータ圧縮方式。
【請求項１１】
前記直流成分に対する画質または音質を決定するパラメータの変換処理を時分割に実施する請求項１０に記載のデータ圧縮方式。
【請求項１２】
前記データは画像データであり、
前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分の最大値または最小値を所望の範囲に収める変換処理であり、
前記所望の範囲は、前記第２の直交変換の結果によって決定する請求項１０に記載のデータ圧縮方式。
【請求項１３】
前記データは音声データであり、
前記第１の直交変換は修正離散コサイン変換であり、
前記第１の逆直交変換は修正逆離散コサイン変換であり、
前記第２の直交変換はウェーブレット変換であり、
前記第２の逆直交変換は逆ウェーブレット変換である請求項２または請求項３に記載のデータ圧縮方式。
【請求項１４】
前記データは音声データであり、
前記直流成分に対する量子化処理は、音声の振幅レベルに対する量子化処理であり、
前記直流成分に対する量子化ステップは、前記第２の直交変換の結果によって決定する請求項４に記載のデータ圧縮方式。
【請求項１５】
前記データは音声データであり、
前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分の最大値または最小値を所望の範囲に収める変換処理であり、
前記所望の範囲は、前記第２の直交変換の結果によって決定する請求項１０に記載のデータ圧縮方式。
【請求項１６】
前記データは画像データであり、
前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分を複数の輝度情報の直流成分の平均値にする変換処理であり、
前記平均値は、前記第２の直交変換の結果によって決定する請求項１０に記載のデータ圧縮方式。
【請求項１７】
前記データは音声データであり、
前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分を複数の振幅レベルの直流成分の平均値にする変換処理であり、
前記平均値は、前記第２の直交変換の結果によって決定する請求項１０に記載のデータ圧縮方式。
【請求項１８】
前記データは画像データであり、
前記直流成分に対する画質を決定するパラメータの変換処理は、画像の複数の輝度または色差情報の直流成分の空間周波数成分における高周波成分を除去する変換処理であり、
前記高周波成分の除去は、前記第２の直交変換の結果によって決定する請求項１０に記載のデータ圧縮方式。
【請求項１９】
前記データは音声データであり、
前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分の空間周波数成分における高周波成分を除去する変換処理であり、
前記高周波成分の除去は、前記第２の直交変換の結果によって決定する請求項１０に記載のデータ圧縮方式。
【請求項２０】
前記データは画像データであり、
前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分を符号化効率の高い範囲に収める変換処理であり、
前記符号化効率の高い範囲は、前記第２の直交変換の結果によって決定する請求項１０に記載のデータ圧縮方式。
【請求項２１】
前記データは音声データであり、
前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分を符号化効率の高い範囲に収める変換処理であり、
前記符号化効率の高い範囲は、前記第２の直交変換の結果によって決定する請求項１０に記載のデータ圧縮方式。
【請求項２２】
請求項１に記載のデータ圧縮方式を有する半導体集積回路を備えたことを特徴とする通信装置。
【請求項２３】
請求項１に記載のデータ圧縮方式を有する半導体集積回路を備えたことを特徴とする情報再生装置。
【請求項２４】
請求項１に記載のデータ圧縮方式を有する半導体集積回路を備えたことを特徴とする画像表示装置。
【請求項２５】
請求項１に記載のデータ圧縮方式を有する半導体集積回路を備えたことを特徴とする電子装置。
【請求項２６】
Ｈ２６４／ＡＶＣ符号化処理を実装したＬＳＩであって、４０００万トランジスタ以下の回路規模で、１００ＭＨｚ以下の周波数で画像サイズ１９２０×１０８０以上、フレームレートが３０Ｈｚ以上の画像モードに対する符号化処理を実施することを特徴とするＬＳＩ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば中間調画像やカラー画像などの多値データに対するデータ圧縮方式にかかわり、特には、画像データの圧縮アルゴリズムとして、画像データの単位領域（ブロック）を直交変換し、さらに複数のブロックに対する直流成分を直交変換することで圧縮効率を高め、演算処理効率を向上するようにした技術に関する。
【背景技術】
【０００２】
中間調画像やカラー画像などの多値画像を表す画像データはその情報量が膨大であるため、これらの画像データを蓄積したり伝送したりする際には、情報量の圧縮を行う必要がある。多値画像の画像データの特徴を損なうことなく情報量を圧縮する符号化方式として、直交変換である離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いた方法が広く用いられている。さらに画像の高精度化に伴い、より符号化効率を高めるために、複数の直交変換を組み合わせた符号化方式が考案されている。特に、Ｈ．２６４／ＡＶＣと呼ばれている符号化方式では、離散コサイン変換に加え、直交変換であるアダマール変換（ＨＡＴ：HadamardTransform）を組み合わせて符号化効率を高めている（例えば非特許文献１参照）。
【０００３】
図１５にＨ．２６４／ＡＶＣ符号化方式の処理構成を示し、図１６、図１７に処理概念を示す。
【０００４】
Ｈ．２６４／ＡＶＣ符号化方式は、離散コサイン変換処理部４１、アダマール変換処理部４２、量子化処理部４３、逆アダマール変換処理部４４、逆量子化処理部４５、逆離散コサイン変換処理部４６、画像予測処理部４７および予測画像誤差計算処理部４８から構成されている。
【０００５】
符号化しようとする画像は、例えば４×４画素からなるブロック（図１６（ａ）参照）に分割され、予測画像誤差計算処理部４８でこれらの各ブロックに対応する予測画像誤差データＤ０′が生成され、離散コサイン変換処理部４１に入力される。離散コサイン変換処理部４１は、入力された予測画像誤差データＤ０′に対して２次元離散コサイン変換を行うことにより、各ブロックの予測画像誤差データＤ０′を直交変換する（図１６（ｂ）参照）。これにより、各ブロックの画像の空間周波数分布を表すＤＣＴ係数データＤ１′が４行４列の行列として生成される。これ以降は、直流成分の処理と交流成分の処理に分けて説明する。
【０００６】
〔直流成分の処理〕
ＤＣＴ係数データＤ１′のうち直流成分Ｄ２′を処理単位（ＭＢ（マクロブロック）：例えば８ブロック）分まとめて、８ブロックの画像の直流成分分布を表すＤＣＴ直流係数データＤ３′を生成し（図１６（ｃ）参照）、アダマール変換処理部４２に入力する。アダマール変換処理部４２は、入力されたＤＣＴ直流係数データＤ３′に対して２次元アダマール変換を行うことにより、ＤＣＴ直流係数データＤ３′を直交変換する（図１７（ａ）参照）。これにより、８ブロックの画像の直流成分に関する空間周波数分布を表すＨＡＴ係数データＤ４′が２行４列の行列として生成される。
【０００７】
〔交流成分の処理〕
一方、前述のＤＣＴ係数データＤ１′のうち直流成分Ｄ２′を除いた交流成分およびＨＡＴ係数データＤ４′が量子化処理部４３に入力される。この量子化処理部４３は、入力されたＤＣＴ係数データＤ１′の交流成分およびＨＡＴ係数データＤ４′を適当な量子化ステップに基づいて量子化する。この量子化ステップは各空間周波数に対する視覚の感度を調べた視覚実験の結果に基づいて決められたものであり、視覚上の画質劣化を最小限にし、かつ、符号化効率を高めるものとなっている。これにより、量子化後ＤＣＴ係数データｄ５′および量子化後ＨＡＴ係数データＤ５′が生成される（図１６（ｂ）および図１７（ａ）参照）。これら量子化後データは符号化される。
【０００８】
さらに、符号化処理以外に量子化誤差の蓄積を防止するために、量子化結果を画像データに復元し、フィードバックを行うことが必要となる。そこで、量子化後ＨＡＴ係数データＤ５′を逆アダマール変換処理部４４に入力する。逆アダマール変換処理部４４は、入力された量子化後ＨＡＴ係数データＤ５′に対して２次元逆アダマール変換を行うことにより、量子化後ＨＡＴ係数データＤ５′を直交変換する（図１７（ａ）参照）。これにより８ブロックの画像に関する量子化後ＤＣＴ係数データｄ５′の直流成分ｄ４′に相当する量子化後ＤＣＴ直流係数データＤ６′が得られる。
【０００９】
次に、この量子化後ＤＣＴ直流係数データＤ６′を８ブロックの各々の直流成分Ｄ７′に分解し（図１７（ｂ）参照）、量子化後ＤＣＴ係数データｄ５′の直流成分ｄ４′に反映した後、量子化後ＤＣＴ係数データｄ５′が逆量子化処理部４５に入力される。逆量子化処理部４５は、前述の量子化ステップに基づき、本来の空間周波数に逆量子化を行う。これにより各ブロックの画像の空間周波数分布を表すＤＣＴ係数データＤ１′が４行４列の行列として生成される（図１６（ｂ）参照）。
【００１０】
次に、ＤＣＴ係数データＤ１′が逆離散コサイン変換処理部４６に入力される。逆離散コサイン変換処理部４６は、入力されたＤＣＴ係数データＤ１′に対して２次元逆離散コサイン変換を行うことにより、各ブロックのＤＣＴ係数データＤ１′を直交変換する。これにより、各ブロックの予測画像誤差データＤ０′が生成される（図１６（ｂ）参照）。
【００１１】
最後に、この予測画像誤差データＤ０′は画像予測処理部４７に入力され、生成した予測画像を予測画像誤差計算処理部４８に入力することで符号化処理が完結する。
【００１２】
このようにして生成される予測画像誤差データＤ０′は復号化処理と同一の演算結果となるため、これを次の符号化処理の予測画像誤差計算の参照画像に用いることで、量子化誤差の蓄積を防止することができる。
【００１３】
上記のように、離散コサイン変換（ＤＣＴ）とアダマール変換（ＨＡＴ）の２種類の直交変換により、各ブロックの画像の空間周波数分布および複数ブロックの画像の直流成分に関する空間周波数分布に対して量子化を行い、結果として、高い符号化効率を実現する。
【非特許文献１】Ｈ．２６４／ＡＶＣ教科書（インプレス出版）Ｐ．１３１〜１３４
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかし、上記従来の方式では符号化処理が完結するまでの処理時間の増大という課題が存在する。図１８に各処理の時系列動作を示す。離散コサイン変換（ＤＣＴ）、アダマール変換（ＨＡＴ）、量子化（Ｑ）、逆アダマール変換（ＩＨＡＴ）、逆量子化（ＩＱ）、逆離散コサイン変換（ＩＤＣＴ）および画像予測（Ｐｒｅｄ）の各処理がこの記載順の時系列で表されている。
【００１５】
上記のようにアダマール変換（ＨＡＴ）の完了後に量子化（Ｑ）を行うため、タイミングＴ４１以降に量子化が開始される。この場合、１処理単位（ＭＢ）の最大割り当て時間Ｔ４２としてかなり長い時間が必要となる。
【００１６】
ところで、図１９は、上記の図１５の方式よりも符号化効率が低い、ＤＣＴのみを用いたデータ圧縮方式の構成図である。アダマール変換処理部および逆アダマール変換処理部はない。
【００１７】
図２０は図１９の方式の各処理の時系列動作を示す。離散コサイン変換（ＤＣＴ）、量子化（Ｑ）、逆量子化（ＩＱ）、逆離散コサイン変換（ＩＤＣＴ）および画像予測（Ｐｒｅｄ）の各処理がこの記載順の時系列で表されている。
【００１８】
この場合、離散コサイン変換（ＤＣＴ）の完了後に量子化（Ｑ）を行うため、タイミングＴ５１以降に量子化が開始される。この場合の１処理単位（ＭＢ）の最大割り当て時間Ｔ５２と比較して、図１８で示した最大割り当て時間Ｔ４２は２倍近くになってしまう。図１８の場合は、第２の直交変換であるアダマール変換（ＨＡＴ）を追加しているため、アダマール変換の完了を待たないと量子化（Ｑ）を開始することができず、かつ、量子化の完了を待たないと逆アダマール変換（ＩＨＡＴ）を開始することができない。このことが、最大割り当て時間の増加を招く原因となっている。
【００１９】
この不都合に対して、回路の動作周波数を上げる、もしくは並列化するなどの対策が必要となり、結果としてチップ面積の増大、消費電流増加を招くことになる。
【００２０】
これらの問題の本質は、直交変換後に別の直交変換などの処理を行うことで、逆変換の処理順序の依存関係が発生するために処理効率が低下するということである。
【００２１】
上記問題に鑑み、本発明は、２種類の直交変換を用いるような画像圧縮方式、およびそれに類するデータ処理方式における演算処理の効率化を可能にし、性能劣化を防止することを課題とする。
【課題を解決するための手段】
【００２２】
上記の課題を解決するために本発明が講じた手段は、直交変換後の空間周波数分布における交流成分と直流成分の処理を分離し、交流成分と直流成分の演算を独立に行うことで逆変換に伴う依存関係を解消させるものである。
【００２３】
すなわち、本発明は、第１の直交変換と、前記第１の直交変換で得られた直流成分に対する変換と、復号化処理と等価な逆変換を含むデータ圧縮方式であって、前記第１の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、前記逆変換は、前記第１の直交変換に対応する第１の逆直交変換を含み、前記第１の逆直交変換は直流成分を零とした逆直交変換であることを特徴とする。
【００２４】
ここで、第１の直交変換としては、例えば、離散コサイン変換や修正離散コサイン変換などがある。また、第１の直交変換で得られた直流成分に対する変換としては、例えば、アダマール変換、第２の離散コサイン変換、ウェーブレット変換などがある。
【００２５】
本発明によると、直交変換後に別の直交変換などの処理を行うに際して、第１の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、それぞれの処理を互いに独立して実行するように構成することで、逆変換の処理順序の依存関係を解消し、演算処理の効率化を可能にし、性能劣化を防止することが可能となる。
【００２６】
前記第１の直交変換で得られた直流成分に対する変換については、これも直交変換とするのが好ましい。これを第２の直交変換とする。そして、前記逆変換については、前記第２の直交変換に対応する第２の逆直交変換を含むものとする。
【００２７】
また、本発明は、第１の直交変換と、前記第１の直交変換で得られた直流成分に対する第２の直交変換と、復号化処理と等価な逆変換を含むデータ圧縮方式であって、前記第１の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、前記逆変換は、前記第１の直交変換に対応する第１の逆直交変換と、前記第２の直交変換に対応する第２の逆直交変換を含み、前記第１の逆直交変換は直流成分を第１の値とした逆直交変換であり、前記第２の逆直交変換後の逆行列から得られる第２の値と、前記第１の値の差分を前記第１の逆直交変換後の逆行列の各要素に加算することを特徴とする。
【００２８】
上記において、前記直流成分および交流成分に対する量子化処理および逆量子化処理を含むものとする。
【００２９】
この場合に、前記直流成分および交流成分に対する量子化処理および逆量子化処理を時分割に実施するという態様がある。
【００３０】
また、前記第１の直交変換、前記第１の逆直交変換、前記第２の直交変換、前記第２の逆直交変換を時分割に実施するという態様がある。
【００３１】
量子化と逆量子化は独立したブロックで処理する必要は無く、例えば共有化したブロックを用いて量子化と逆量子化を時分割に処理しても本発明の効果は変わらない。このように共有化することで、回路規模の削減、消費電力の削減という効果が得られる。
【００３２】
また、上記のデータ圧縮方式において、前記データを画像データとし、前記第１の直交変換は離散コサイン変換、前記第１の逆直交変換は逆離散コサイン変換、前記第２の直交変換はアダマール変換、前記第２の逆直交変換は逆アダマール変換とする態様がある。
【００３３】
また、上記のデータ圧縮方式において、前記第２の直交変換および前記第２の逆直交変換は複数の直交変換方式を選択可能であって、前記複数の直交変換方式の選択は前記第１の直交変換の結果によって決定するという態様がある。
【００３４】
直交変換には、離散コサイン変換やアダマール変換などいくつかの種類があり、それぞれ一長一短がある。一般に、アダマール変換は単純な加減算で実現できる。また、離散コサイン変換は圧縮処理に最適な直交変換を実現できる。第１の直交変換の結果に基づいていずれの直交変換が適しているかを判定することにより、演算処理量、符号化効率のトレードオフが解消される。
【００３５】
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する量子化処理は、画像の輝度または色差情報の直流成分に対する量子化処理であり、前記直流成分に対する量子化ステップは、前記第２の直交変換の結果によって決定するという態様がある。
【００３６】
また、上記のデータ圧縮方式において、前記直流成分に対する変換は画質または音質を決定するパラメータの変換であるという態様がある。
【００３７】
また、上記のデータ圧縮方式において、前記直流成分に対する画質または音質を決定するパラメータの変換処理を時分割に実施するという態様がある。
【００３８】
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分の最大値または最小値を所望の範囲に収める変換処理であり、前記所望の範囲は、前記第２の直交変換の結果によって決定するという態様がある。
【００３９】
また、上記のデータ圧縮方式において、前記データを音声データとし、前記第１の直交変換は修正離散コサイン変換、前記第１の逆直交変換は修正逆離散コサイン変換、前記第２の直交変換はウェーブレット変換、前記第２の逆直交変換は逆ウェーブレット変換とするという態様がある。
【００４０】
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する量子化処理は、音声の振幅レベルに対する量子化処理であり、前記直流成分に対する量子化ステップは、前記第２の直交変換の結果によって決定するという態様がある。
【００４１】
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分の最大値または最小値を所望の範囲に収める変換処理であり、前記所望の範囲は、前記第２の直交変換の結果によって決定するという態様がある。
【００４２】
振幅に制限を与えることにより、直流成分に起因するダイナミックレンジを規定値以上に超えることが防止される。
【００４３】
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分を複数の輝度情報の直流成分の平均値にする変換処理であり、前記平均値は、前記第２の直交変換の結果によって決定するという態様がある。
【００４４】
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分を複数の振幅レベルの直流成分の平均値にする変換処理であり、前記平均値は、前記第２の直交変換の結果によって決定するという態様がある。
【００４５】
平均値とすることにより、直流成分のばらつきが削減される。
【００４６】
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する画質を決定するパラメータの変換処理は、画像の複数の輝度または色差情報の直流成分の空間周波数成分における高周波成分を除去する変換処理であり、前記高周波成分の除去は、前記第２の直交変換の結果によって決定するという態様がある。
【００４７】
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分の空間周波数成分における高周波成分を除去する変換処理であり、前記高周波成分の除去は、前記第２の直交変換の結果によって決定するという態様がある。
【００４８】
高周波成分の除去により、直流成分の急激な変化が防止される。
【００４９】
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分を符号化効率の高い範囲に収める変換処理であり、前記符号化効率の高い範囲は、前記第２の直交変換の結果によって決定するという態様がある。
【００５０】
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分を符号化効率の高い範囲に収める変換処理であり、前記符号化効率の高い範囲は、前記第２の直交変換の結果によって決定するという態様がある。
【００５１】
また、上記のデータ圧縮方式に関連して、上記のようなデータ圧縮方式を有する半導体集積回路を備えた通信装置、情報再生装置、画像表示装置、電子装置なども有効である。
【発明の効果】
【００５２】
本発明によれば、直交変換後に別の直交変換などの処理を行うに際して、第１の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、それぞれの処理を互いに独立して実行するように構成することで、逆変換の処理順序の依存関係を解消し、演算処理の効率化を可能にし、性能劣化を防止することができる。
【発明を実施するための最良の形態】
【００５３】
以下、本発明にかかわるデータ圧縮方式の実施の形態を図面に基づいて詳細に説明する。
【００５４】
（実施の形態１）
図１は、本発明の実施の形態１におけるデータ圧縮方式の構成を示すブロック図である。本実施の形態の符号化方式は、離散コサイン変換処理部１、アダマール変換処理部２、交流成分量子化処理部３Ａ、直流成分量子化処理部３Ｂ、逆アダマール変換処理部４、交流成分逆量子化処理部５Ａ、直流成分逆量子化処理部５Ｂ、逆離散コサイン変換処理部６、画像予測処理部７および予測画像誤差計算処理部８から構成されている。
【００５５】
離散コサイン変換処理部１の次段が、交流処理系と直流処理系とに分岐されている。交流処理系は、交流成分量子化処理部３Ａ、交流成分逆量子化処理部５Ａおよび逆離散コサイン変換処理部６の時系列構成となっている。また、直流処理系は、アダマール変換処理部２、直流成分量子化処理部３Ｂ、逆アダマール変換処理部４および直流成分逆量子化処理部５Ｂの時系列構成となっている。そして、逆離散コサイン変換処理部６の出力と直流成分逆量子化処理部５Ｂの出力とが画像予測処理部７に入力され、画像予測処理部７の出力が予測画像誤差計算処理部８に入力されている。
【００５６】
図１において、動作の概略を説明すると、次のようになる。予測画像誤差計算処理部８からの予測画像誤差データＤ０が離散コサイン変換処理部１に入力され、２次元離散コサイン変換の直交変換を受けてＤＣＴ係数データＤ１が生成される。このＤＣＴ係数データＤ１がこれ以降、２系統に分けられる。
【００５７】
離散コサイン変換処理部１の後段の各構成要素の動作開始順位は次のようになっている（図４参照）。
【００５８】
（１）交流成分量子化処理部（ＡＣＱ）３Ａ
（２）交流成分逆量子化処理部（ＡＣＩＱ）５Ａ
（３）逆離散コサイン変換処理部（ＩＤＣＴ）６
（４）アダマール変換処理部（ＨＡＴ）２
（５）直流成分量子化処理部（ＤＣＱ）３Ｂ
（６）逆アダマール変換処理部（ＩＨＡＴ）４
（７）直流成分逆量子化処理部（ＤＣＩＱ）５Ｂ
〔交流処理系の動作〕
離散コサイン変換処理部１によるＤＣＴ係数データＤ１のうち直流成分Ｄ２を除いた交流成分が交流成分量子化処理部３Ａに入力され、量子化によって量子化後ＤＣＴ係数データｄ５が生成される。これは、次段に送られ符号化される。量子化誤差蓄積防止のためのフィードバックにおいて、量子化後ＤＣＴ係数データｄ５は交流成分逆量子化処理部５Ａにより逆量子化され、逆量子化後ＤＣＴ交流係数データｄ７が生成される。逆量子化後ＤＣＴ交流係数データｄ７は、逆離散コサイン変換処理部６による２次元逆離散コサイン変換の直交変換を受け、交流成分予測画像誤差データｄ９が生成される。この交流成分予測画像誤差データｄ９は画像予測処理部７に与えられる。逆離散コサイン変換処理部６において、直流成分は零とされている（ＤＣ＝０）。
【００５９】
〔直流処理系の動作〕
一方、ＤＣＴ係数データＤ１のうち直流成分Ｄ２が抜き取られ、複数分まとめられて直流成分分布を表すこととなるＤＣＴ直流係数データＤ３がアダマール変換処理部２に入力される。ＤＣＴ直流係数データＤ３はアダマール変換処理部２によって２次元アダマール変換の直交変換を受け、直流成分に関する空間周波数分布を表すＨＡＴ係数データＤ４が生成される。ＨＡＴ係数データＤ４は直流成分量子化処理部３Ｂによって量子化され、量子化後ＨＡＴ係数データＤ５が生成される。これは、次段に送られ符号化される。量子化誤差蓄積防止のためのフィードバックにおいて、量子化後ＨＡＴ係数データＤ５は逆アダマール変換処理部４に入力されて２次元逆アダマール変換の直交変換を受け、量子化後ＤＣＴ係数データｄ５の直流成分ｄ４に相当する量子化後ＤＣＴ直流係数データＤ６が生成される。量子化後ＤＣＴ直流係数データＤ６は直流成分逆量子化処理部５Ｂにより逆量子化され、ＤＣＴ係数データＤ１の直流成分Ｄ２に相当する逆量子化後ＤＣＴ直流係数データＤ７が生成される。この逆量子化後ＤＣＴ直流係数データＤ７は画像予測処理部７に与えられる。
【００６０】
画像予測処理部７において、逆量子化後ＤＣＴ直流係数データＤ７と交流成分予測画像誤差データｄ９から予測画像誤差データＤ０′と等価な予測画像誤差計算の参照画像が生成され、これが予測画像誤差計算処理部８に与えられて量子化誤差の蓄積を防止する。
【００６１】
動作をより具体的に説明すると、次のとおりである。
【００６２】
図２（ａ）に示すように、符号化しようとする画像は、例えば４×４画素からなるブロックに分割される。予測画像誤差計算処理部８でこれらの各ブロックに対応する予測画像誤差データＤ０が生成され、離散コサイン変換処理部１に入力される。離散コサイン変換処理部１は、図２（ｂ）に示すように、入力された予測画像誤差データＤ０に対して２次元離散コサイン変換を行うことにより、各ブロックの予測画像誤差データＤ０を直交変換する。これにより、各ブロックの画像の空間周波数分布を表すＤＣＴ係数データＤ１が４行４列の行列として生成される。
【００６３】
〔交流処理系の動作〕
次に、前述のＤＣＴ係数データＤ１のうち直流成分Ｄ２を除いた交流成分が交流成分量子化処理部３Ａに入力される。図２（ｂ）に示すように、交流成分量子化処理部３Ａは、入力されたＤＣＴ係数データＤ１の交流成分を適当な量子化ステップに基づいて量子化し、量子化後ＤＣＴ係数データｄ５が生成される。この量子化ステップは前述したように各空間周波数に対する視覚の感度を調べた視覚実験の結果に基づいて決められたものであり、視覚上の画質劣化を最小限にし、かつ、符号化効率を高めるようになっている。この量子化後ＤＣＴ係数データｄ５は符号化される。
【００６４】
さらに、符号化処理以外に量子化誤差の蓄積を防止するために、量子化結果を画像データに復元し、フィードバックを行うことが必要となる。そのため、量子化後ＤＣＴ係数データｄ５が、交流成分逆量子化処理部５Ａに入力される。交流成分逆量子化処理部５Ａは、前述の量子化ステップに基づき、本来の空間周波数に逆量子化を行う。さらに直流成分に相当する要素ｄ６を零にする。これにより各ブロックの画像の空間周波数分布を表す逆量子化後ＤＣＴ交流係数データｄ７が４行４列の行列として生成される。
【００６５】
次に、逆量子化後ＤＣＴ交流係数データｄ７が、逆離散コサイン変換処理部６に入力される。逆離散コサイン変換処理部６は、入力された逆量子化後ＤＣＴ交流係数データｄ７に対して２次元逆離散コサイン変換を行うことにより、各ブロックの逆量子化後ＤＣＴ交流係数データｄ７を直交変換する。これにより、各ブロックの交流成分予測画像誤差データｄ９が生成され、画像予測処理部７に与えられる。
【００６６】
〔直流処理系の動作〕
一方、図３（ａ）に示すように、離散コサイン変換処理部１によるＤＣＴ係数データＤ１のうち直流成分Ｄ２を処理単位（ＭＢ：例えば８ブロック）分まとめて、８ブロックの画像の直流成分分布を表すＤＣＴ直流係数データＤ３を生成し、アダマール変換処理部２に入力する。アダマール変換処理部２は、図３（ｂ）に示すように、入力されたＤＣＴ直流係数データＤ３に対して２次元アダマール変換の直交変換を行う。これにより、８ブロックの画像の直流成分に関する空間周波数分布を表すＨＡＴ係数データＤ４が２行４列の行列として生成される。このＨＡＴ係数データＤ４が直流成分量子化処理部３Ｂに入力される。直流成分量子化処理部３Ｂは、入力されたＤＣＴ係数データＤ１の交流成分およびＨＡＴ係数データＤ４を適当な量子化ステップに基づいて量子化し、量子化後ＨＡＴ係数データＤ５が生成される。この量子化ステップは前述したように各空間周波数に対する視覚の感度を調べた視覚実験の結果に基づいて決められたものであり、視覚上の画質劣化を最小限にし、かつ、符号化効率を高めるようになっている。なお、ＨＡＴ係数データＤ４の値から得られる、８ブロックの画像の直流成分に関する空間周波数分布を基に視覚上の画質劣化を更に低減するように前記量子化ステップを決定しても良く、それによって符号化効率を更に高めることが可能となる。
【００６７】
次に、量子化後ＨＡＴ係数データＤ５が、逆アダマール変換処理部４に入力される。逆アダマール変換処理部４は、入力された量子化後ＨＡＴ係数データＤ５に対して２次元逆アダマール変換の直交変換を行う。これにより８ブロックの画像に関する量子化後ＤＣＴ係数データｄ５の直流成分ｄ４に相当する量子化後ＤＣＴ直流係数データＤ６が得られる。
【００６８】
次に、この量子化後ＤＣＴ直流係数データＤ６が直流成分逆量子化処理部５Ｂに入力される。直流成分逆量子化処理部５Ｂは、前述の量子化ステップに基づき、本来の空間周波数に逆量子化を行う。これにより各ブロックの画像に関するＤＣＴ係数データの直流成分に相当する逆量子化後ＤＣＴ直流係数データＤ７が生成される。
【００６９】
次に、図３（ｃ）に示すように、直流成分逆量子化処理部５Ｂは、この逆量子化後ＤＣＴ直流係数データＤ７を８ブロックの各々の直流成分Ｄ８に分解し、全要素が直流成分Ｄ８と同一の値を持つ４行４列の行列を生成する。空間周波数における直流成分は予測画像誤差データにおけるバイアス成分に相当するため、前記生成された行列は、予測画像誤差データＤ０から交流成分予測画像誤差データｄ９を差し引いた差分である、各ブロックの直流成分予測画像誤差データＤ９と同一となる。
【００７０】
最後に、逆離散コサイン変換処理部６による交流成分予測画像誤差データｄ９と直流成分逆量子化処理部５Ｂによる直流成分予測画像誤差データＤ９とが画像予測処理部７に入力され、生成した予測画像を予測画像誤差計算処理部８に入力することで符号化処理が完結する。
【００７１】
このようにして生成される交流成分予測画像誤差データｄ９および直流成分予測画像誤差データＤ９の総和は、数学的に従来方法で得られる予測画像誤差データＤ０′と等価であるため、従来方法と同様に復号化処理と同一の演算結果であり、これを次の符号化処理の予測画像誤差計算の参照画像に用いることで、量子化誤差の蓄積を防止することができる。
【００７２】
上記のように、離散コサイン変換（ＤＣＴ）とアダマール変換（ＨＡＴ）との２種類の直交変換により、各ブロックの画像の空間周波数分布および複数ブロックの画像の直流成分に関する空間周波数分布に対して量子化を行うことによって高い符号化効率を実現する。
【００７３】
さらに、離散コサイン変換処理部１以降は交流成分と直流成分を分離して、各々独立に処理がなされるため、従来方式に存在していた逆変換の処理順序の依存関係が解消されるという効果を奏する。
【００７４】
図４に各処理の時系列動作を示す。離散コサイン変換（ＤＣＴ）、交流成分量子化（ＡＣＱ）、交流成分逆量子化（ＡＣＩＱ）、逆離散コサイン変換（ＩＤＣＴ）、アダマール変換（ＨＡＴ）、直流成分量子化（ＤＣＱ）、逆アダマール変換（ＩＨＡＴ）、直流成分逆量子化（ＤＣＩＱ）および画像予測（Ｐｒｅｄ）の各処理がこの記載順の時系列で表されている。
【００７５】
上記のように離散コサイン変換（ＤＣＴ）の完了後に交流成分量子化（ＡＣＱ）を行うため、タイミングＴ１以降に交流成分量子化（ＡＣＱ）が開始され、以降の交流成分逆量子化（ＡＣＩＱ）、逆離散コサイン変換（ＩＤＣＴ）が順次開始される。
【００７６】
また、１処理単位（ＭＢ）の最後のブロックに対する離散コサイン変換（ＤＣＴ）と並列にアダマール変換（ＨＡＴ）が開始されるため、それまでの間、交流成分に対する処理は先行的に処理可能となる。
【００７７】
そして、アダマール変換（ＨＡＴ）の完了後に直流成分量子化（ＤＣＱ）を行うため、タイミングＴ２以降に直流成分量子化（ＤＣＱ）が開始される。
【００７８】
この場合の１処理単位（ＭＢ）の最大割り当て時間Ｔ３は、従来方式での処理時間Ｔ４２と比較して半分近くになっており、演算処理の効率化が実現できていることがわかる。
【００７９】
この処理時間効率化の効果により、例えば符号化方式の規格上、従来方式の処理時間Ｔ４２以内に処理が完了すれば良い場合は、残った処理時間の活用方法として処理回路の周波数を半分近くに削減し、消費電力の削減という効果を得ることができる。あるいは、残った処理時間の活用方法として高画質化のための追加処理を行い、符号化効率を更に高めるという効果を得ることができる。
【００８０】
なお、上記の離散コサイン変換およびアダマール変換は、直交変換方法として限定されるものではなく、ウェーブレット変換（ＷＴ）、修正離散コサイン変換（ＭＤＣＴ）などの直交変換を用いても本発明は有効である。
【００８１】
さらに、図４に記した量子化と逆量子化は独立したブロックで処理する必要は無く、例えば共有化したブロックを用いて量子化と逆量子化を時分割に処理しても本発明の効果は変わらない。これは、離散コサイン変換（ＤＣＴ）と逆離散コサイン変換（ＩＤＣＴ）、あるいはアダマール変換（ＨＡＴ）と逆アダマール変換（ＩＨＡＴ）についても同様である。上記のように共有化することで回路規模の削減、消費電力の削減という効果を得ることができる。
【００８２】
本発明によって得られる、具体的なＨ．２６４／ＡＶＣ符号化ＬＳＩの仕様例および効果について説明する。
【００８３】
まず、処理の並列化という観点で、並列化可能性の有無、回路規模の影響を踏まえ、現実的に実装可能な並列化形態および回路規模の概算を説明する。
【００８４】
例えば、Ｈ．２６４／ＡＶＣ符号化処理全体で並列化を考えた場合、直交した画像成分である輝度成分と色差成分を並列化することが望ましい。また、処理単位（ＭＢ）内で並列化を考えた場合、直交変換処理は行列要素を記憶する必要があるため並列化は望ましくなく、また、量子化、逆量子化処理は演算に乗算・シフトが存在するため、輝度成分における８×８要素の各行、あるいは各列を並列化（８並列）および色差成分における４×４要素の各行、あるいは各列を並列化（４並列）程度が望ましい。
【００８５】
このような観点で並列化した場合における符号化ＬＳＩの回路規模としては、４０００万トランジスタ程度となる。一方で、例えば直交変換、量子化の並列数をさらに高めた場合、メモリやレジスタなどの記憶回路、演算器が追加されるため、１並列増加するたびに１割程度のトランジスタが追加される。トランジスタ数の増加はチップ面積に影響を与え、ひいては歩留まりの劣化につながるため、現実的に実装可能な回路規模としては４０００万トランジスタが上限であると言える。
【００８６】
次に、当該並列化形態を踏まえた場合の処理単位当たりの必要サイクル数および対象とする画像サイズ、フレームレートを規定した場合におけるＬＳＩの必要最低周波数を説明する。
【００８７】
例えば、Ｈ．２６４／ＡＶＣ符号化における処理量が最大となる画像モードは、画像サイズ１９２０×１０８０、フレームレートが３０Ｈｚである。このモードにおける１画面内の処理単位（ＭＢ）数は、８１６０となる。ここで処理単位（ＭＢ）における必要サイクル数Ｔ３としては、前記並列化形態を踏まえると２８８サイクル程度であり、図５に示すように１画像単位（フレーム）が複数の処理単位（ＭＢ）で構成されていることから、１画像単位（フレーム）当りの必要サイクル数Ｔ４は、８１６０×２８８＝２３５００８０サイクルとなり、フレームレートが３０Ｈｚであることから、符号化処理に必要なＬＳＩの必要周波数は２３５００８０×３０＝７０．５ＭＨｚとなる。
【００８８】
ここで処理単位における、アダマール変換（ＨＡＴ）処理が完了するタイミングＴ２までのサイクル数は２３０サイクル程度であり、また前記並列化形態を踏まえた場合における、量子化処理から画像予測処理までのサイクル数は、２３０サイクル程度必要になるため、一方で例えば、図１５の従来例で符号化処理を実装した場合、処理単位（ＭＢ）における必要サイクル数Ｔ４２としては、２８８＋２３０＝５１８サイクル程度となり、１画像単位（フレーム）当たりの必要サイクル数は、８１６０×５１８＝４２２６８８０サイクルとなる。同様にフレームレートが３０Ｈｚであることから、この場合のＬＳＩの必要周波数は４２２６８８０×３０＝１２６．８ＭＨｚとなる。
【００８９】
以上のことから、Ｈ２６４／ＡＶＣ符号化処理を実装したＬＳＩで前記並列化形態（４０００万トランジスタ以下の回路規模）の実装においては、本発明を適用しない場合には、１００ＭＨｚを下回る周波数で、画像サイズ１９２０×１０８０、フレームレートが３０Ｈｚの画像モードを処理することは困難であり、本発明を適用することで、１００ＭＨｚを下回る周波数で、前記画像モードを処理できることがわかる。
【００９０】
（実施の形態２）
直流成分に対する直交変換については、アダマール変換に限定する必要はない。本発明の実施の形態２は、直流成分に対する直交変換を、アダマール変換と離散コサイン変換から選択するものである。
【００９１】
図６は本発明の実施の形態２におけるデータ圧縮方式の構成を示すブロック図である。図６において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、次のとおりである。離散コサイン変換処理部１の次段にアダマール変換処理部９Ａと離散コサイン変換処理部９Ｂとを並列に接続し、これらの出力をセレクタ１０で選択して直流成分量子化処理部３Ｂに入力するように構成するとともに、直流成分量子化処理部３Ｂの出力に逆アダマール変換処理部１１Ａと逆離散コサイン変換処理部１１Ｂとを並列に接続し、これらの出力をセレクタ１２で選択して直流成分逆量子化処理部５Ｂに入力するように構成している。そして、離散コサイン変換処理部１の結果に基づいて、直流成分に対する直交変換として、アダマール変換と離散コサイン変換のいずれを使用するのが良いかを判定して、セレクタ１０，１２を制御するように構成されている。その他の構成については、実施の形態１と同様であるので、説明を省略する。
【００９２】
一般にアダマール変換は単純な加減算で実現でき、離散コサイン変換は圧縮処理に最適な直交変換を実現できるという点が特徴である。離散コサイン変換処理部１の結果に基づいていずれの直交変換が適しているかを判定し、実施する符号化方式によって演算処理量、符号化効率のトレードオフを解消することができる。
【００９３】
さらに、離散コサイン変換処理部１以降は交流成分と直流成分を分離して、各々独立に処理がなされるため、従来方式に存在していた逆変換の処理順序の依存関係が解消されるという効果を奏する。
【００９４】
図７に各処理の時系列動作を示す。基本的には実施の形態１の場合の図２と同様であり、図２におけるアダマール変換（ＨＡＴ）がアダマール変換（ＨＡＴ）と第２の離散コサイン変換（ＤＣＴ）との選択となり、また、図２における逆アダマール変換（ＩＨＡＴ）が逆アダマール変換（ＩＨＡＴ）と第２の逆離散コサイン変換（ＩＤＣＴ）との選択となっている。
【００９５】
上記のように離散コサイン変換（ＤＣＴ）の完了後に交流成分量子化（ＡＣＱ）を行うため、タイミングＴ１１以降に交流成分量子化（ＡＣＱ）が開始され、以降の交流成分逆量子化（ＡＣＩＱ）、逆離散コサイン変換（ＩＤＣＴ）が順次開始される。
【００９６】
また、１処理単位（ＭＢ）の最後のブロックに対する離散コサイン変換（ＤＣＴ）と並列にタイミングＴ１２で直流成分に対する直交変換方式が決定され、アダマール変換（ＨＡＴ）または離散コサイン変換（ＤＣＴ）のいずれか一方が選択されて開始されるため、それまでの間、交流成分に対する処理は先行的に処理可能となる。そして、アダマール変換（ＨＡＴ）または離散コサイン変換（ＤＣＴ）の完了後に直流成分量子化（ＤＣＱ）を行うため、タイミングＴ１３以降に直流成分量子化（ＤＣＱ）が開始され、１処理単位（ＭＢ）の最大割り当て時間Ｔ１４は、従来方式での処理時間Ｔ４２と比較して半分近くになっており、演算処理の効率化が実現できていることがわかる。
【００９７】
（実施の形態３）
また、前記実施の形態では直交変換後に別の直交変換などの処理を行う場合における解決方法として本発明を適用していたが、これに限定するものではなく、例えば図８に示すように、ＤＣパラメータ調整処理部１３を用いて、離散コサイン変換処理部１の結果から直流成分に対するパラメータ調整を実施するという符号化方式も有り得る。図８においては、図１のアダマール変換処理部２と逆アダマール変換処理部４がなく、代わりにＤＣパラメータ調整処理部１３が設けられている。
【００９８】
ここで言うパラメータ調整とは、例えば図９（ａ）に示すように複数の変換前直流成分Ｄ１０に対して、直流成分の上限値Ｔｈ１、直流成分の下限値Ｔｈ２の範囲に収めるための増減係数を決定し、変換後直流成分Ｄ１１のように調整することを表す。この場合は、直流成分に起因するダイナミックレンジを規定値以上に超えることを防止するという効果を奏する。
【００９９】
また、例えば図９（ｂ）に示すように複数の変換前直流成分Ｄ１０に対して、直流成分の平均値Ｄａｖを決定し、変換後直流成分Ｄ１２のように平均値に変換することを表す。この場合は、直流成分のばらつきを削減するという効果を奏する。
【０１００】
また、例えば図１０（ａ）に示すように複数の変換前直流成分Ｄ１０に対して、直流成分の分布から高周波成分を除去、すなわち平滑処理を行った分布Ｄｉｓを決定し、変換後直流成分Ｄ１３のように分布近傍の値に調整することを表す。この場合は、直流成分の急激な変化を防止するという効果を奏する。
【０１０１】
また、例えば図１０（ｂ）に示すように複数の変換前直流成分Ｄ１０に対して、符号化効率の高い直流成分範囲Ａ１，Ａ２を決定し、変換後直流成分Ｄ１４のように範囲Ａ１，Ａ２に収まるように調整することを表す。この場合は、符号化効率を高めるという効果を奏する。
【０１０２】
さらに、離散コサイン変換処理部１以降は交流成分と直流成分を分離して、各々独立に処理がなされるため、従来方式に存在していた逆変換の処理順序の依存関係が解消されるという効果を奏する。
【０１０３】
図１１に各処理の時系列動作を示す。基本的には実施の形態１の場合の図２と同様であり、図２におけるアダマール変換（ＨＡＴ）がＤＣパラメータ調整（ＡＤＪ）となっている。
【０１０４】
上記のように離散コサイン変換（ＤＣＴ）の完了後に交流成分量子化（ＡＣＱ）を行うため、タイミングＴ２１以降に交流成分量子化（ＡＣＱ）が開始され、以降の交流成分逆量子化（ＡＣＩＱ）、逆離散コサイン変換（ＩＤＣＴ）が順次開始される。１処理単位（ＭＢ）の最後のブロックに対する離散コサイン変換（ＤＣＴ）と並列にタイミングＴ２２で直流成分に対するパラメータ調整内容が決定され、ＤＣパラメータ調整（ＡＤＪ）が開始されるため、それまでの間、交流成分に対する処理は先行的に処理可能となる。そしてＤＣパラメータ調整（ＡＤＪ）の完了後に直流成分量子化（ＤＣＱ）を行うため、タイミングＴ２３以降に直流成分量子化（ＤＣＱ）が開始され、１処理単位（ＭＢ）の最大割り当て時間Ｔ２４は、従来方式での処理時間Ｔ４２と比較して半分近くになっており、演算処理の効率化が実現できていることがわかる。
【０１０５】
（実施の形態４）
上記した実施の形態では画像データに関する符号化方式へ適用していたが、本発明はこれに限定するものではなく、例えば音声データに関する符号化方式への適用も可能である。
【０１０６】
図１２に示すように、修正離散コサイン変換処理部２１、ウェーブレット変換処理部２２、交流成分量子化処理部２３Ａ、直流成分量子化処理部２３Ｂ、逆ウェーブレット変換処理部２４、交流成分逆量子化処理部２５Ａ、直流成分逆量子化処理部２５Ｂ、逆修正離散コサイン変換処理部２６、予測処理部２７および予測誤差計算処理部２８から構成されている。
【０１０７】
一般に音声圧縮の直交変換では、離散コサイン変換の変形である修正離散コサイン変換（ＭＤＣＴ）を用いることで、圧縮に伴うひずみを低減する。また一般にウェーブレット変換は波形解析に適した直交変換とされており、直流成分の分布に対して実施することで符号化効率を高める効果を期待することができる。
【０１０８】
さらに、修正離散コサイン変換処理部２１以降は交流成分と直流成分を分離して、各々独立に処理がなされるため、従来方式に存在していた逆変換の処理順序の依存関係が解消されるという効果を奏する。
【０１０９】
図１３に各処理の時系列動作を示す。修正離散コサイン変換（ＭＤＣＴ）、交流成分量子化（ＡＣＱ）、交流成分逆量子化（ＡＣＩＱ）、逆修正離散コサイン変換（ＩＭＤＣＴ）、ウェーブレット変換（ＷＴ）、直流成分量子化（ＤＣＱ）、逆ウェーブレット変換（ＩＷＴ）、直流成分逆量子化（ＤＣＩＱ）および予測（Ｐｒｅｄ）の各処理がこの記載順の時系列で表されている。
【０１１０】
上記のように修正離散コサイン変換（ＭＤＣＴ）の完了後に交流成分量子化（ＡＣＱ）を行うため、タイミングＴ３１以降に交流成分量子化（ＡＣＱ）が開始され、以降の交流成分逆量子化（ＡＣＩＱ）、逆修正離散コサイン変換（ＩＭＤＣＴ）が順次開始される。１処理単位（ＭＢ）の最後のブロックに対する修正離散コサイン変換（ＭＤＣＴ）と並列にウェーブレット変換（ＷＴ）が開始されるため、それまでの間、交流成分に対する処理は先行的に処理可能となる。そしてウェーブレット変換（ＷＴ）の完了後に直流成分量子化（ＤＣＱ）を行うため、タイミングＴ３２以降に直流成分量子化（ＤＣＱ）が開始され、１処理単位（ＭＢ）の最大割り当て時間Ｔ３３が必要となる。これらの動作により、演算処理の効率化が同様に実現できる。
【０１１１】
以上の実施の形態で述べたように、本発明は画像、音声、それぞれに関する符号化方式に適用可能であり、例えば画像符号化方式の場合は、輝度あるいは色差に対して各々の実施の形態に適用し、音声符号化方式の場合は音声の振幅レベルに対して各々の実施の形態に適用すれば良い。
【０１１２】
また、図４、図７、図１１、図１３に示した各処理の時系列動作は並列処理あるいは時分割処理のいずれに適用しても良く、それによって例えば並列処理の場合は各処理時間が並列度に応じて削減でき、時分割処理の場合は時分割多重度に応じて回路資源が共通化できるという効果を得ることができる。
【０１１３】
図１４（ａ）は、本発明における符号化方式を備えた通信装置の概観を示す。携帯電話３１はアプリケーションＬＳＩ３２を備えている。アプリケーションＬＳＩ３２は、本発明における符号化方式を有する半導体集積回路である。本発明における符号化方式は従来よりも少ない消費電力で動作可能であるため、アプリケーションＬＳＩ３２並びにこれらを備えた携帯電話３１についてもまた低電力動作が可能となる。さらに、携帯電話３１が備えている半導体集積回路であってアプリケーションＬＳＩ３２以外のものについても、当該半導体集積回路が備える論理回路を本発明における符号化方式とすることによって、上記と同様の効果を得ることができる。
【０１１４】
なお、本発明における符号化方式を備えた通信装置は、携帯電話に限定されるべきではなく、これ以外にも、例えば、通信システムにおける送信機・受信機やデータ伝送を行うモデム装置などを含むものである。すなわち、本発明によって、有線・無線や光通信・電気通信の別を問わず、また、デジタル方式・アナログ方式の別を問わず、あらゆる通信装置について消費電力低減の効果を得ることができる。
【０１１５】
図１４（ｂ）は、本発明における符号化方式を備えた情報再生装置の概観を示す。光ディスク装置３３は、光ディスクから読み取った信号を処理するメディア信号処理ＬＳＩ３４を備えている。そして、メディア信号処理ＬＳＩ３４は、本発明における符号化方式を有する半導体集積回路である。本発明における符号化方式は従来よりも少ない消費電力で動作可能であるため、メディア信号処理ＬＳＩ３４並びにこれらを備えた光ディスク装置３３もまた低電力動作が可能となる。さらに、光ディスク装置３３が備えている半導体集積回路であってメディア信号処理ＬＳＩ３４以外のものについても、当該半導体集積回路が備える論理回路を本発明における符号化方式とすることによって、上記と同様の効果を得ることができる。
【０１１６】
なお、本発明における符号化方式を備えた情報再生装置は、光ディスク装置に限定されるべきではなく、これ以外にも、例えば、磁気ディスクを内蔵した画像録画再生装置や半導体メモリを媒体とした情報記録再生装置などを含むものである。すなわち、本発明によって、情報が記録されたメディアの別を問わず、あらゆる情報再生装置（情報記録機能を含んでいてもよい）について消費電力低減の効果を得ることができる。
【０１１７】
図１４（ｃ）は、本発明における符号化方式を備えた画像表示装置の概観を示す。テレビジョン受像機３５は、画像信号や音声信号を処理する画像・音声処理ＬＳＩ３６を備えている。そして、画像・音声処理ＬＳＩ３６は、本発明における符号化方式を有する半導体集積回路である。本発明における符号化方式は従来よりも少ない消費電力で動作可能であるため、画像・音声処理ＬＳＩ３６並びにこれらを備えたテレビジョン受像機３５もまた低電力動作が可能となる。さらに、テレビジョン受像機３５が備えている半導体集積回路であって画像・音声処理ＬＳＩ３６以外のものについても、当該半導体集積回路が備える論理回路を本発明における符号化方式とすることによって、上記と同様の効果を得ることができる。
【０１１８】
なお、本発明における符号化方式を備えた画像表示装置は、テレビジョン受像機に限定されるべきではなく、これ以外にも、例えば、電気通信回線を通じて配信されるストリーミングデータを表示する装置をも含むものである。すなわち、本発明によって、情報の伝送方法の別を問わず、あらゆる画像表示装置について消費電力低減の効果を得ることができる。
【０１１９】
図１４（ｄ）は、本発明における符号化方式を備えた電子装置の概観を示す。デジタルカメラ３７は、本発明における符号化方式を有する半導体集積回路である信号処理ＬＳＩ３８を備えている。本発明における符号化方式は従来よりも少ない消費電力で動作可能であるため、信号処理ＬＳＩ３８およびこれを備えたデジタルカメラ３７もまた低電力動作が可能となる。さらに、デジタルカメラ３７が備えている半導体集積回路であって信号処理ＬＳＩ３８以外のものについても、当該半導体集積回路が備える論理回路を本発明における符号化方式とすることによって、上記と同様の効果を得ることができる。
【０１２０】
なお、本発明における符号化方式を備えた電子装置は、デジタルカメラに限定されるべきではなく、これ以外にも、例えば、各種ＡＶ機器など、およそ半導体集積回路を備えた装置全般を含むものである。そして、本発明によって、電子装置全般について消費電力低減の効果を得ることができる。
【産業上の利用可能性】
【０１２１】
本発明にかかる画像、あるいは音声圧縮方式は、演算処理の効率化を可能にし、性能劣化を防止することが実現できるため、低消費電力、あるいは高品質な画像、あるいは音声が要求される用途への適用が可能となる。
【図面の簡単な説明】
【０１２２】
【図１】本発明の実施の形態１におけるデータ圧縮方式の構成を示すブロック図
【図２】本発明の実施の形態１におけるデータ圧縮方式の処理概念説明図（その１）
【図３】本発明の実施の形態１におけるデータ圧縮方式の処理概念説明図（その２）
【図４】本発明の実施の形態１におけるデータ圧縮方式の時系列動作の説明図
【図５】本発明の実施の形態１におけるＨ．２６４／ＡＶＣ符号化におけるデータ圧縮方式での１フレーム当たりの処理時間の説明図
【図６】本発明の実施の形態２におけるデータ圧縮方式の構成を示すブロック図
【図７】本発明の実施の形態２におけるデータ圧縮方式の時系列動作の説明図
【図８】本発明の実施の形態３におけるデータ圧縮方式の構成を示すブロック図
【図９】本発明の実施の形態３におけるデータ圧縮方式でのパラメータ調整の概念図（その１）
【図１０】本発明の実施の形態３におけるデータ圧縮方式でのパラメータ調整の概念図（その２）
【図１１】本発明の実施の形態３におけるデータ圧縮方式の時系列動作の説明図
【図１２】本発明の実施の形態４におけるデータ圧縮方式の構成を示すブロック図
【図１３】本発明の実施の形態４におけるデータ圧縮方式の時系列動作の説明図
【図１４】本発明における符号化方式を備えた各種装置の概観図
【図１５】従来の技術におけるデータ圧縮方式の構成を示すブロック図
【図１６】従来の技術におけるデータ圧縮方式の処理概念説明図（その１）
【図１７】従来の技術におけるデータ圧縮方式の処理概念説明図（その２）
【図１８】従来の技術におけるデータ圧縮方式の時系列動作の説明図
【図１９】別の従来の技術におけるデータ圧縮方式の構成を示すブロック図
【図２０】別の従来の技術におけるデータ圧縮方式の時系列動作の説明図
【符号の説明】
【０１２３】
１  離散コサイン変換処理部（ＤＣＴ）
２  アダマール変換処理部（ＨＡＴ）
３Ａ  直流成分量子化処理部（ＤＣＱ）
３Ｂ  交流成分逆量子化処理部（ＡＣＩＱ）
４  逆アダマール変換処理部（ＩＨＡＴ）
５Ａ  交流成分逆量子化処理部（ＡＣＩＱ）
５Ｂ  直流成分逆量子化処理部（ＤＣＩＱ）
６  逆離散コサイン変換処理部（ＩＤＣＴ）
７  画像予測処理部（Ｐｒｅｄ）
８  予測誤差計算処理部
９Ａ  アダマール変換処理部（ＨＡＴ）
９Ｂ  離散コサイン変換処理部（ＤＣＴ）
１０，１２  セレクタ
１３  ＤＣパラメータ調整処理部（ＡＤＪ）
２１  修正離散コサイン変換処理部（ＭＤＣＴ）
２２  ウェーブレット変換処理部（ＷＴ）
２３Ａ  交流成分量子化処理部（ＡＣＱ）
２３Ｂ  直流成分量子化処理部（ＤＣＱ）
２４  逆ウェーブレット変換処理部（ＩＷＴ）
２６  逆修正離散コサイン変換処理部（ＩＭＤＣＴ）
２７  予測処理部（Ｐｒｅｄ）
２８  予測誤差計算処理部
Ｄ０  予測誤差データ
Ｄ１  ＤＣＴ係数データ
Ｄ２  直流成分
Ｄ３  ＤＣＴ直流係数データ
Ｄ４  ＨＡＴ係数データ
Ｄ５  量子化後ＨＡＴ係数データ
Ｄ６  量子化後ＤＣＴ直流係数データ
Ｄ７  ＤＣＴ直流係数データ
Ｄ８  直流成分
Ｄ９  直流成分予測画像誤差データ
ｄ４  直流成分
ｄ５  量子化後ＤＣＴ係数データ
ｄ７  逆量子化後ＤＣＴ交流係数データ
ｄ９  交流成分予測画像誤差データ
【図１】
2007243399.tif 000003
【図２】
2007243399.tif 000004
【図３】
2007243399.tif 000005
【図４】
2007243399.tif 000006
【図５】
2007243399.tif 000007
【図６】
2007243399.tif 000008
【図７】
2007243399.tif 000009
【図８】
2007243399.tif 000010
【図９】
2007243399.tif 000011
【図１０】
2007243399.tif 000012
【図１１】
2007243399.tif 000013
【図１２】
2007243399.tif 000014
【図１３】
2007243399.tif 000015
【図１４】
2007243399.tif 000016
【図１５】
2007243399.tif 000017
【図１６】
2007243399.tif 000018
【図１７】
2007243399.tif 000019
【図１８】
2007243399.tif 000020
【図１９】
2007243399.tif 000021
【図２０】
2007243399.tif 000022