(57)【要約】【課題】ＭＰＥＧやＨ．２６４等の画像符号化では、そのメモリ転送量が大きく、回路規模、消費電力が非常に大きい。【解決手段】入力画像データを、第１データ圧縮部２０１で圧縮して外部ＤＲＡＭ１０３に記憶し、その後第１データ伸張部２０２で伸張されて画像符号化に用いる。画像符号化の際には、過去の画像符号化の際に利用された画像データを用いて動き補償データを生成し、差分演算部１０６で差分値を求める。また、差分値は復号化部１０８で復号化されて、動き補償データと加算されて復号化された画像データに変換され、第２データ圧縮部２０４でデータ圧縮されて外部ＤＲＡＭ１１０に記憶される。さらに、外部ＤＲＡＭ１１０に記憶された画像データは、第２データ伸張部２０３で伸張されて、将来の動き補償データを生成するために用いられる。【選択図】図１
2010135885.tif 000002
【特許請求の範囲】
【請求項１】
フレームまたはフィールド間の差分情報を符号化する画像符号化装置であって、
入力画像データを第１圧縮方法を用いて圧縮する第１データ圧縮部と、
前記第１圧縮方法に対する伸張方法を用いて前記第１データ圧縮手段で圧縮された入力画像データを伸張する第１データ伸張部と、
圧縮参照画像を保存する記憶手段と、
前記第１の圧縮方法と比べて圧縮歪が概同等または以下である前記第１の圧縮方法と概同等な圧縮方法である第２の圧縮方法に対する伸張方法を用いて前記圧縮参照画像を伸張する第２データ伸張部と、
前記第２データ伸張部により伸張された前記圧縮参照画像に対して動き補償を行った動き補償データを生成する動き補償部と、
前記第１データ伸張手段から出力された入力画像データと、前記動き補償データとの差分画像を生成する差分演算部と、
前記差分画像を可変長符号化する符号化部と、
前記可変長符号化した前記差分画像を復号する復号化部と、
前記復号化部により復号した前記差分画像に対して、前記動き補償データを加算した画像を参照画像として生成する加算演算部と、
前記参照画像に対して第２の圧縮方法を用いて圧縮した画像を前記圧縮参照画像として生成する第２データ圧縮部とを備えることを特徴とする画像符号化装置。
【請求項２】
前記第１データ圧縮部および前記第１データ伸張部は、前記第１圧縮方法に用いる量子化を、前記第２の圧縮方法に用いる量子化と同等、または、それより粗く量子化することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記第１データ圧縮部は、前記第１圧縮方法で生成されるデータ量の大きさをほぼ２のべき乗とするように制御し、
前記第２データ圧縮部は、前記第１圧縮方法で生成されるデータ量の大きさをほぼ２のべき乗とするように制御することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
フレームまたはフィールド間の差分情報を符号化する画像符号化方法であって、
入力画像データを第１圧縮方法を用いて圧縮する第１データ手段と、
前記第１圧縮方法に対する伸張方法を用いて前記第１データ圧縮手段で圧縮された入力画像データを伸張する第１データ手段と、
圧縮参照画像を保存する記憶手段と、
前記第１の圧縮方法と比べて圧縮歪が概同等または以下である前記第１の圧縮方法と概同等な圧縮方法である第２の圧縮方法に対する伸張方法を用いて前記圧縮参照画像を伸張する第２データ伸張手段と、
前記第２データ伸張手段により伸張された前記圧縮参照画像に対して動き補償を行った動き補償データを生成する動き補償手段と、
前記第１データ伸張手段から出力された入力画像データと、前記動き補償データとの差分画像を生成する差分演算する差分演算手段と、
前記差分画像を可変長符号化する符号化手段と、
前記可変長符号化した前記差分画像を復号する復号化手段と、
前記復号した前記差分画像に対して、前記動き補償データを加算した画像を参照画像として生成する加算演算手段と、
前記参照画像に対して第２の圧縮方法を用いて圧縮した画像を前記圧縮参照画像として生成する第２データ圧縮手段とを含むことを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力される画像データや符号化してそのデータ量を削減する画像符号化装置およびその方法に関する。
【背景技術】
【０００２】
近年、デジタル信号処理技術の進歩と低コスト化に伴い、画像を標本化してデジタル信号として処理するようになってきている。このため画像は所定の周期で標本化され、標本化された各画素や音素はそれぞれ離散的な標本値に変換されて扱われる。例えばＨＤＴＶ放送信号の輝度信号は、７４．２５ＭＨｚで標本化され、各画素を８ビットの標本値に変換されて扱われることが多い。このように標本値に変換された入力信号は、通常、メモリに一旦記憶され、その後必要に応じてメモリから読み出されて、高画質化処理や画像符号化処理を実施される。
【０００３】
一般に動画像では、フレーム間またはフィールド間の相関が高い。このため画像符号化では、ＭＰＥＧ符号化やＨ．２６４符号化のように、フレーム間またはフィールド間で動きに応じて補正（動き補償）した後の差分値を求めて、これを符号化してデータ量を大幅に削減する。しかし、ＨＤＴＶ放送信号等ではその処理動作周波数が高く、メモリアクセス速度が非常に大きくなり、回路コスト、消費電力が大きくなってしまう。
【０００４】
ここで（特許文献１）に記載されているメモリアクセス速度を低減する例を、図２を用いて説明する。
【０００５】
図２において、画像符号化装置は、画像入力部１０１、データ圧縮部１０２、外部ＤＲＡＭ１０３、データ伸張部１０４、動き補償部１０５、差分演算部１０６、符号化部１０７、復号化部１０８、加算演算部１０９、外部ＤＲＡＭ１１０は、出力部１１１とで構成されている。
【０００６】
画像入力部１０１から入力される入力画像データは、データ圧縮部１０２でそのデータ量を圧縮されて外部ＤＲＡＭ１０３に記憶される。その後ＭＰＥＧ等の符号化に適した順番に外部ＤＲＡＭ１０３から前記圧縮されたデータが読み出され、データ伸張部１０４で伸張されて画像符号化の際に用いられる。
【０００７】
次に、画像符号化の際には、過去の画像符号化および復号化された画像データを用いて動き補償部１０５で動き補償データを生成し、前記圧縮および伸張された入力画像データとの間で差分演算部１０６で差分値を求める。この差分値は符号化部１０７で可変長符号化されて出力部１１１から出力される。また符号化部１０７の出力は、復号化部１０８で復号化されて、前記動き補償データと加算されて復号化された画像データに変換され、外部ＤＲＡＭ１１０に入力される。ここで画像符号化されたデータを復号したデータをローカルデコード画像データと呼ぶ。また外部ＤＲＡＭ１１０に記憶されたローカルデコード画像データは、将来の動き補償データを生成するために用いられる。
【０００８】
このような構成である従来の画像符号化装置は、入力段階で画像データをデータ圧縮してから外部ＤＲＡＭに記憶するため、外部ＤＲＡＭに対するメモリアクセス速度やメモリ容量を削減することが可能になる。
【特許文献１】特開平１０−２７１５１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
さて、（特許文献１）の例ではその文献内にも記述しているように、入力画像データに対してデータ圧縮を実施するが、画像符号化されたデータを復号化したデータ（ローカルデコード画像データ）に対してはデータ圧縮を行わない。これはローカルデコード画像データがデータ圧縮により歪むと、その歪みがそれ以後の画像符号化に影響を与えるため、その結果として大きな画質劣化を招いてしまうからである。
【００１０】
しかしながら実際の画像符号化処理におけるメモリアクセスの多くはローカルデコード画像データの入出力であるため、これが圧縮できない場合にはメモリアクセスやデータ転送量の低減効果が小さくなってしまうという問題がある。
【００１１】
本発明は、上記課題を考慮し、ローカルデコード画像データのデータ圧縮も可能にして、メモリアクセスやデータ転送量をより一層低減し、回路コスト、消費電力の低減を実現する画像符号化装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決し上記目的を達成するために、本発明では、フレームまたはフィールド間の差分情報を符号化する画像符号化装置であって、入力画像データを第１圧縮方法を用いて圧縮する第１データ圧縮部と、前記第１圧縮方法に対する伸張方法を用いて前記第１データ圧縮手段で圧縮された入力画像データを伸張する第１データ伸張部と、圧縮参照画像を保存する記憶手段と、前記第１の圧縮方法と比べて圧縮歪が概同等または以下である前記第１の圧縮方法と概同等な圧縮方法である第２の圧縮方法に対する伸張方法を用いて前記圧縮参照画像を伸張する第２データ伸張部と、前記第２データ伸張部により伸張された前記圧縮参照画像に対して動き補償を行った動き補償データを生成する動き補償部と、前記第１データ伸張手段から出力された入力画像データと、前記動き補償データとの差分画像を生成する差分演算部と、前記差分画像を可変長符号化する符号化部と、前記可変長符号化した前記差分画像を復号する復号化部と、前記復号化部により復号した前記差分画像に対して、前記動き補償データを加算した画像を参照画像として生成する加算演算部と、前記参照画像に対して第２の圧縮方法を用いて圧縮した画像を前記圧縮参照画像として生成する第２データ圧縮部とを備える。
【発明の効果】
【００１３】
本発明は、上記のような構成によって、入力画像データに用いる第１データ圧縮方法と、ローカルデコード画像データに用いる第２データ圧縮方法を殆ど同じ方式となる圧縮方式を適用する。更に第２圧縮方法による圧縮歪みを第１圧縮方法による圧縮歪みよりもその歪みがやや小さくなるよう制御する。このように構成することで、ローカルデコード画像データでの歪みが最小限に抑えられると同時に、たとえ新たな歪みが発生したとしてもその歪みは入力画像データに近い値に歪むため、殆ど画質劣化が見えなくなるため、殆ど画質を劣化させずにメモリの入出力データ量を削減し、メモリアクセス転送量を大幅に減らし、回路規模の削減、消費電力の低減が可能となる。
【発明を実施するための最良の形態】
【００１４】
本発明は、上記のような構成によって、入力画像データに用いる第１データ圧縮方法と、ローカルデコード画像データに用いる第２データ圧縮方法を殆ど同じ方式となる圧縮方式を適用する。更に第２圧縮方法による圧縮歪みを第１圧縮方法による圧縮歪みよりもその歪みがやや小さくなるよう制御する。具体的には第１圧縮方法で用いる量子化の粗さを、第２圧縮方法に用いる量子化に対して、同等またはより粗くする。
【００１５】
一般に一度データ圧縮を適用し伸張したデータは、そのデータ圧縮方式に対応する冗長が殆ど除去できている。このため再び同等の構成のデータ圧縮および伸張を行っても殆ど歪みが発生しない。具体例を用いて説明すると、データ圧縮の量子化で、入力整数値を４で除算して四捨五入する場合に、その歪みは−２、−１、０、＋１のどれかになり、０以外は圧縮歪みが生じていることになる。またこの量子化されたデータを復号する場合には、除算された値を４倍するため、全て４の倍数値となる。次に一度このような量子化を行われたデータを再び同等の構成のデータ圧縮を実施すると、量子化入力として４の倍数値が入力されるため、量子化において４で除算しても歪みが発生しないことになる。つまり同じ構成のデータ圧縮については２回以上データ圧縮を繰り返しても殆どデータ圧縮による歪みが増加しないことになる。
【００１６】
ただしローカルデコード画像データについては、画像符号化処理によって別途新たな歪みが生じるが、この画像符号化の歪みをデータ圧縮で変形させてしまうと、画像符号化処理で歪みの蓄積が発生し画質劣化を招く可能性がある。
【００１７】
そこで本発明では、ローカルデコード画像データに対するデータ圧縮については、そのデータ圧縮による歪みを、入力画像に対するデータ圧縮で生じる歪みと同等またはそれより小さくしている。これによってローカルデコード画像データでの歪みが最小限に抑えられると同時に、たとえ新たな歪みが発生したとしてもその歪みは入力画像データに近い値に歪むため、殆ど画質劣化が見えなくなる。
【００１８】
以上のようにして、殆ど画質を劣化させずにメモリの入出力データ量を削減し、メモリアクセス転送量を大幅に減らし、回路規模の削減、消費電力の低減が可能となる。
【００１９】
以下に、本発明を実施するための最良の形態について、図面を参照して説明する。
【００２０】
（実施の形態１）
図１は、実施の形態１の画像符号化装置のブロック図である。従来の画像符号化装置と同じ構成の部分には、同じ符号を用いている。つまり、図１の画像入力部１０１、外部ＤＲＡＭ１０３、動き補償部１０５、差分演算部１０６、符号化部１０７、復号化部１０８、加算演算部１０９、外部ＤＲＡＭ１１０、出力部１１１は、図２の画像符号化装置での場合とほぼ同じ動作である。
【００２１】
またこれらに加えて、本発明の実施の形態１では、さらに第１データ圧縮部２０１、第１データ伸張部２０２、第２データ伸張部２０３、第２データ圧縮部２０４を備える。
【００２２】
画像入力部１０１から入力される入力画像データは、第１データ圧縮部２０１で、そのデータ量を圧縮されて外部ＤＲＡＭ１０３に記憶される。その後ＭＰＥＧ等の符号化に適した順番に外部ＤＲＡＭ１０３から前記圧縮されたデータが読み出され、第１データ伸張部２０２で伸張されて画像符号化に用いられる。入力画像データとしてはＭＰＥＧやＨ．２６４等の画像データである。
【００２３】
次に画像符号化の際には、過去の画像符号化および復号化された画像データを用いて動き補償部１０５で動き補償データを生成し、前記圧縮および伸張された入力画像データとの間で差分演算部１０６で差分値を求める。この差分値は符号化部１０７で可変長符号化されて出力部１１１から出力される。また符号化部１０７の出力は、復号化部１０８で復号化されて、前記動き補償データと加算されて復号化された画像データ（ローカルデコード画像データ）に変換され、第２データ圧縮部２０４でデータ圧縮されて外部ＤＲＡＭ１１０に入力される。また外部ＤＲＡＭ１１０に記憶されたローカルデコード画像データは、第２データ伸張部２０３で伸張されて、将来の動き補償データを生成するために用いられる。
【００２４】
第２データ圧縮部２０４で用いる圧縮方式は、第１データ圧縮部２０１で用いる圧縮方式とほぼ同等の構成の方式を用い、しかも第２データ圧縮部２０４の圧縮で用いる量子化は、第１データ圧縮部２０１の圧縮で用いる量子化よりも細かい量子化を行う。
【００２５】
このような構成によって図１の例では、入力画像データとローカルデコード画像データの両方のデータ圧縮を行うことができるため、外部ＤＲＡＭへのメモリアクセス転送量を大幅に低減することが可能となる。またローカルデコード画像データに用いる第２データ圧縮とほぼ同等の第１データ圧縮を入力画像に実施しているため、ローカルデコード画像データへのデータ圧縮歪みを小さくし、しかもたとえデータ圧縮歪みが生じたとしても、第１データ圧縮で圧縮・伸張された入力画像データにより近い値に歪むため、その結果、視覚上の歪みが殆ど感じられなくなる。
【００２６】
実際に本発明を適用したシミュレーション実験結果においても、第１データ圧縮を用いずにローカルデコード画像データをデータ圧縮した場合には、画像符号化で動き補償フレーム（Ｐピクチャ）の連続数が増加すると徐々に歪みが増大してくるが、入力画像データに対する第１データ圧縮とローカルデコード画像データに対する第２データ圧縮を同時に適用することによって、動き補償フレームが連続しても大きな歪みが検知されないという効果が得られている。
【００２７】
なお、第１の圧縮方法や第２の圧縮方法により生成される符号化量を２のべき乗と制御するようにすることで、第１データ圧縮部２０１、第１データ伸張部２０２、データ圧縮部１０２、データ伸張部１０４が外部ＤＲＡＭにアクセスする際にデータ転送量、データアクセス、データ利用度が効率的になる。
【００２８】
以上、実施の形態を用いて本発明を説明したが、本発明に用いる画像符号化方法の構成はこれら以外の構成による実施も可能である。また本発明の処理をソフトウエアを用いたプロセッサでの実現も可能であり、大規模集積回路の一部の機能として実装することも可能である。
【産業上の利用可能性】
【００２９】
本発明の画像復号化装置は、デジタルテレビ、デジタルカメラ、デジタルビデオカメラ、デジタルビデオレコーダなどに実装される装置等として有用であり、特に、伝送方式が決定されている放送規格や記録方式が決定されている記録規格に対し、互換性を保ったまま高ビット精度の画像を伝送・記録したものを受信・再生するＡＶデータを記録するデジタルテレビ、デジタルビデオカメラ、デジタルビデオレコーダ等に実装される装置に適している。
【図面の簡単な説明】
【００３０】
【図１】実施の形態１の画像符号化装置のブロック図
【図２】従来の画像符号化装置のブロック図
【符号の説明】
【００３１】
１０１  画像入力部
１０３  外部ＤＲＡＭ
１０５  動き補償部
１０６  差分演算部
１０７  符号化部
１０８  復号化部
１０９  加算演算部
１１０  外部ＤＲＡＭ
１１１  出力部
１２０  画像符号化部
２０１  第１データ圧縮部
２０２  第１データ伸張部
２０３  第２データ伸張部
２０４  第２データ圧縮部
２２０  画像符号化部
【図１】
2010135885.tif 000003
【図２】
2010135885.tif 000004