(57)【要約】【課題】組み込み機器等の限られた記憶領域を効率的に使用するために、機器の構成に合った高圧縮率の画像符号化装置を提供する。【解決手段】入力画像信号１３１は、ブロック化手段１０１により複数の画素からなる小領域の画像ブロック信号１３２に分割される。画像ブロック信号１３２は、符号化手段１０２でブロック単位に符号化される。この符号化された符号化信号には、ブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれている。符号化されたブロック符号化信号１３３は、ブロック符号バッファ手段１０３により画像全体の符号化信号が集められ、統合符号化信号１３４が出力される。この統合符号化信号１３４は、再符号化手段１０４により符号化手段１０２とは別に符号化を行い、再符号化信号１３５を出力する。【選択図】　　図１
2004104624.tif 000002
【特許請求の範囲】
【請求項１】
画像データを複数の画像ブロック単位に分割する画像ブロック分割手段と、
前記分割された画像ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化信号を各画像ブロック毎に作成する符号化手段と、
前記全ての画像ブロックの代表色情報をまとめて符号化して代表色符号化信号を作成する代表色符号化手段と、
前記全ての各画像ブロックの代表色利用情報をまとめて符号化して利用情報符号化信号を作成する利用情報符号化手段と、
前記符号化された代表色符号化信号と前記符号化された利用情報符号化信号とを合成して再符号化情報を作成する符号化情報合成手段と、
を有する
ことを特徴とする画像符号化装置。
【請求項２】
画像データを分割した画像ブロック単位毎に画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化情報の中の代表色情報を符号化し、代表色利用情報と符号化して合成した再符号化情報を復号する再符号化情報復号化手段と、
前記復号された再符号化情報を代表色符号化信号と利用情報符号化信号とに分離する符号分離手段と、
前記代表色符号化信号を復号して、前記各画像ブロック毎の代表色復号情報を作成する代表色復号化手段と、
前記利用情報符号化信号を復号して、前記各画像ブロック毎の利用情報復号信号を作成する利用情報復号化手段と、
前記復号された各画像ブロック毎の代表色復号情報と利用情報復号信号から前記画像ブロック毎の符号化情報を再構成する再構成手段と、
を有する
ことを特徴とする画像復号化装置。
【請求項３】
前記再構成された前記画像ブロック毎の符号化情報を復号化して画像ブロックを作成する画像ブロック復号化手段と、
前記復号された各画像ブロックを組み合わせて画像データを再生する画像再生手段と、
を有する
ことを特徴とする請求項２記載の画像復号化装置。
【請求項４】
画像データを複数の画像ブロック単位に分割する画像ブロック分割ステップと、
前記分割された画像ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化信号を各画像ブロック毎に作成する符号化ステップと、
前記全ての画像ブロックの代表色情報をまとめて符号化して代表色符号化信号を作成する代表色符号化ステップと、
前記全ての各画像ブロックの代表色利用情報をまとめて符号化して利用情報符号化信号を作成する利用情報符号化ステップと、
前記符号化された代表色符号化信号と前記符号化された利用情報符号化信号とを合成して再符号化情報を作成する符号化情報合成ステップと、
を有する
ことを特徴とする画像符号化方法。
【請求項５】
画像データを分割した画像ブロック単位毎に画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化情報の中の代表色情報を符号化し、代表色利用情報と符号化して合成した再符号化情報を復号する再符号化情報復号化ステップと、
前記復号された再符号化情報を代表色符号化信号と利用情報符号化信号とに分離する符号分離ステップと、
前記代表色符号化信号を復号して、前記各画像ブロック毎の代表色復号情報を作成する代表色復号化ステップと、
前記利用情報符号化信号を復号して、前記各画像ブロック毎の利用情報復号信号を作成する利用情報復号化ステップと、
前記復号された各画像ブロック毎の代表色復号情報と利用情報復号信号から前記画像ブロック毎の符号化情報を再構成する再構成ステップと、
を有する
ことを特徴とする画像復号化方法。
【請求項６】
前記再構成された前記画像ブロック毎の符号化情報を復号化して画像ブロックを作成する画像ブロック復号化ステップと、
前記復号された各画像ブロックを組み合わせて画像データを再生する画像再生ステップと、
を有する
ことを特徴とする請求項５記載の画像復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ブロック単位の画像圧縮法に関するものであり、特に３次元コンピュータグラフィックス分野における圧縮率固定のテクスチャ画像圧縮の画像符号化装置、画像復号装置及びそれらの方法に関するものである。
【０００２】
【従来の技術】
３次元コンピュータグラフィクス分野では、３次元を構成するモデル（一般には三角形パッチで構成されるポリゴンモデルが用いられる）表面に実世界から取得した撮影画像（テクスチャ画像）を貼り付けるテクスチャマッピングを行うことで高品位な画像を生成してきた。よりリアルな物体を表現するためには、より高精細で大量のテクスチャ画像が必要であり、グラフィックス・システムはこれら大量の画像データを保持、転送、処理するためのメモリやバス・バンド幅、プロセッシングパワーが必要となってきた。いままで、必要なメモリ量やバス・バンド幅を減少させるために、さまざまな画像圧縮方法が試みられてきた。エントロピー符号化／ロスレス圧縮、ＤＣＴ、ＪＰＥＧ、ＢＴＣ、ＣＣＣ、Ｓ３ＴＣなどが存在する。これらの方法にはそれぞれ短所が存在する。
【０００３】
その中で、テクスチャの任意の小領域に対しランダムにアクセスすることが可能であり、復号時の演算量がそれほど多くなく高速に復号でき、さらに圧縮率が固定でメモリの使用量が見積もれる方式としてＢｌｏｃｋ　Ｔｒｕｎｃａｔｉｏｎ　Ｃｏｄｉｎｇ　（ＢＴＣ）（非特許文献１参照）やＣｏｌｏｒ　Ｃｅｌｌ　ｃｏｍｐｒｅｓｓｉｏｎ　（ＣＣＣ）（非特許文献２参照）、またはそれらをベースに改良した方式がテクスチャの圧縮方式として主に使わるようになってきている。
【０００４】
（１）ＢＴＣやＣＣＣと呼ばれる手法では、４×４ピクセル画像ブロックを代表色２色と１ビットに量子化した１６ｂｉｔピクセル情報（どちらの代表色で表現するかで２パターン）で符号化したものである。復号化は、前記２代表色を符号化された１６ｂｉｔ情報の各ビットから２代表色をルックアップテーブルで選択することによって行う。これらＢＴＣ／ＣＣＣは２段階の色再現性しかないため、画質が落ちる原因にもなっている。
【０００５】
（２）そこで、ピクセル毎の量子化ビットを２ビットにすることで画質を向上する方法もある。
【０００６】
Ｓ３ＴＣ方式（特許文献１参照）は、代表色２色とその代表色間に定義される２色の計４代表色を設定し、ピクセル毎に２ｂｉｔでこれらの代表色割当ることで、画像諧調表現の向上をおこなっている。
【０００７】
（３）ＢＴＣ方式では、ピクセル毎２ビットを４代表色（非特許文献３参照）や、３代表色（非特許文献４参照）にして画質を向上させる手法もある。
【０００８】
近年、ＣＧのクオリティ向上のために多数のテクスチャを利用するアプリケーションが増加してきたり、組み込み機器のような非常に少ない記憶領域だけを持つ機器でもＣＧを利用するようになってきたりするようになってきた。そのため、ＢＴＣベースの圧縮率固定に対し、さらに情報を圧縮する方式が必要になってきている。
【０００９】
しかし、ランダムアクセス性や高速演算可能性を維持しつつ、高圧縮率を実現するような符号化方式は存在しない。
【００１０】
【特許文献１】
Ｋｏｎｓｔａｎｔｉｎｅ　Ｉ．　Ｉｏｕｒｃｈａ，　ｅｔ　ａｌ．，　■ＳＹＳＴＥＭ　ＡＮＤ　ＭＥＴＨＯＤ　ＦＯＲ　ＦＩＸＥＤ−ＲＡＴＥ　ＢＬＯＣＫ−ＢＡＳＥＤ　ＩＭＡＧＥ　ＣＯＭＰＲＥＳＳＩＯＮ　ＷＩＴＨ　ＩＮＦＥＲＲＥＤ　ＰＩＸＥＬ　ＶＡＬＵＥＳ■，　ＵＳＰ　５，９５６，４３１，　Ｓｅｐ．　２１，　１９９９．
【００１１】
【非特許文献１】
Ｅ．　Ｊ．　Ｄｅｌｐ，　ｅｔ　ａｌ．，　■Ｉｍａｇｅ　Ｃｏｍｐｒｅｓｓｉｏｎ　ｕｓｉｎｇ　ｂｌｏｃｋ　ｔｒｕｎｃａｔｉｏｎ　ｃｏｄｉｎｇ■，　ＩＥＥＥ　Ｔｒａｎｓ．　Ｃｏｍｍｕｎ．，　ｖｏｌ．　ＣＯＭ−２７，　Ｓｅｐ．　１９７９．
【非特許文献２】Ｇｒａｈａｍ　Ｃａｍｐｂｅｌｌ，　ｅｔ　ａｌ．，　■ＴＷＯ　ＢＩＴ／ＰＩＸＥＬ　ＦＵＬＬ　ＣＯＬＯＲ　ＥＮＣＯＤＩＮＧ■，　ＳＩＧＧＲＡＰＨ　■８６，　ｖｏｌ．　２０，　Ｎｕｍ．　４，　Ａｕｇ．　１９８６．
【００１２】
【非特許文献３】
Ｊ．Ｄ．Ｋｉｍ，ｅｔ．ａｌ，”Ｐｒｏｇｒｅｓｓｉｖｅ　Ｉｍａｇｉｎｇ　ｏｎ　ｔｈｅ　Ｉｎｔｅｒｎｅｔ　ｖｉａ　ＷＷＷ　Ｂｒｏｗｓｅｒ　ｕｓｉｎｇ　Ａｄａｐｔｉｖｅ　Ｂｌｏｃｋ　Ｔｒｕｎｃａｔｉｏｎ　Ｃｏｄｉｎｇ”，Ｍｕｌｔｉｍｅｄｉａ　Ｃｏｍｐｕｔｉｎｇ　ａｎｄ　Ｎｅｔｗｏｒｋｉｎｇ１９９６，　１９９６
【００１３】
【非特許文献４】
Ｙ．Ａ．Ａｌａｓｋａ　ａｎｄ　Ｄ．Ａ．Ｌｅｅ，”Ｔｈｒｅｅ　Ｌｅｖｅｌ　Ｂｌｏｃｋ　Ｔｒｕｎｃａｔｉｏｎ　Ｃｏｄｉｎｇ”，　Ｐｒｏｃ．　１９９０　ＩＥＥＥ　Ｓｏｕｔｈｅａｓｔｃｏｎ，　Ｖｏｌ．２，　ＩＥＥＥ　Ｐｒｅｓｓ，　Ｐｉｓｃａｔａｗａｙ，　Ｎ．Ｊ．，　ｐｐ．　４２０−４２３，　１９９０．
【００１４】
【発明が解決しようとする課題】
上述したように従来のブロックベース画像圧縮手法は、ブロック単位で圧縮するため圧縮率が固定になり、それ以上の圧縮率を実現することが難しい。
【００１５】
また、組み込み機器等の限られた記憶領域を効率的に使用するために、機器の構成に合った高圧縮率の符号化方式が求められている。
【００１６】
そこで、本発明は、ブロック単位の符号化をベースにしながら、さらに圧縮率を向上させ、組み込み機器等の限られた記憶領域を効率的に使用することができる画像符号化装置、画像復号装置及びそれらの方法を提供する。
【００１７】
【課題を解決するための手段】
請求項１の発明は、画像データを複数の画像ブロック単位に分割する画像ブロック分割手段と、前記分割された画像ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化信号を各画像ブロック毎に作成する符号化手段と、前記全ての画像ブロックの代表色情報をまとめて符号化して代表色符号化信号を作成する代表色符号化手段と、前記全ての各画像ブロックの代表色利用情報をまとめて符号化して利用情報符号化信号を作成する利用情報符号化手段と、前記符号化された代表色符号化信号と前記符号化された利用情報符号化信号とを合成して再符号化情報を作成する符号化情報合成手段と、を有することを特徴とする画像符号化装置である。
【００１８】
請求項２の発明は、画像データを分割した画像ブロック単位毎に画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化情報の中の代表色情報を符号化し、代表色利用情報と符号化して合成した再符号化情報を復号する再符号化情報復号化手段と、前記復号された再符号化情報を代表色符号化信号と利用情報符号化信号とに分離する符号分離手段と、前記代表色符号化信号を復号して、前記各画像ブロック毎の代表色復号情報を作成する代表色復号化手段と、前記利用情報符号化信号を復号して、前記各画像ブロック毎の利用情報復号信号を作成する利用情報復号化手段と、前記復号された各画像ブロック毎の代表色復号情報と利用情報復号信号から前記画像ブロック毎の符号化情報を再構成する再構成手段と、を有することを特徴とする画像復号化装置である。
【００１９】
請求項３の発明は、前記再構成された前記画像ブロック毎の符号化情報を復号化して画像ブロックを作成する画像ブロック復号化手段と、前記復号された各画像ブロックを組み合わせて画像データを再生する画像再生手段と、を有することを特徴とする請求項２記載の画像復号化装置である。
【００２０】
請求項４の発明は、画像データを複数の画像ブロック単位に分割する画像ブロック分割ステップと、前記分割された画像ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化信号を各画像ブロック毎に作成する符号化ステップと、前記全ての画像ブロックの代表色情報をまとめて符号化して代表色符号化信号を作成する代表色符号化ステップと、前記全ての各画像ブロックの代表色利用情報をまとめて符号化して利用情報符号化信号を作成する利用情報符号化ステップと、前記符号化された代表色符号化信号と前記符号化された利用情報符号化信号とを合成して再符号化情報を作成する符号化情報合成ステップと、を有することを特徴とする画像符号化方法である。
【００２１】
請求項５の発明は、画像データを分割した画像ブロック単位毎に画素を表現するための少なくとも１つの代表色情報と、前記代表色における色情報をどのように利用するかを示す代表色利用情報とを少なくとも含む符号化情報の中の代表色情報を符号化し、代表色利用情報と符号化して合成した再符号化情報を復号する再符号化情報復号化ステップと、前記復号された再符号化情報を代表色符号化信号と利用情報符号化信号とに分離する符号分離ステップと、前記代表色符号化信号を復号して、前記各画像ブロック毎の代表色復号情報を作成する代表色復号化ステップと、前記利用情報符号化信号を復号して、前記各画像ブロック毎の利用情報復号信号を作成する利用情報復号化ステップと、前記復号された各画像ブロック毎の代表色復号情報と利用情報復号信号から前記画像ブロック毎の符号化情報を再構成する再構成ステップと、を有することを特徴とする画像復号化方法である。
【００２２】
請求項６の発明は、前記再構成された前記画像ブロック毎の符号化情報を復号化して画像ブロックを作成する画像ブロック復号化ステップと、前記復号された各画像ブロックを組み合わせて画像データを再生する画像再生ステップと、を有することを特徴とする請求項５記載の画像復号化方法である。
【００２３】
【発明の実施の形態】
実施形態１に関する画像符号化装置は、複数画素をまとめた画像ブロック単位に符号化されたデータのうち、ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色のどの色情報をどう利用するかを示す代表色利用情報とを少なくとも有することを特徴とする画像ブロック符号化情報において、複数の前記画像ブロック符号化情報をまとめて再度符号化を行う再符号化手段を具備することを特徴とする。
【００２４】
実施形態２に関する画像符号化装置は、実施形態１に記載の画像符号化装置において、複数前記画像ブロックの前記代表色情報をまとめる代表色バッファ手段と、複数前記画像ブロックの前記代表色利用情報をまとめる代表色利用情報バッファ手段と、前記代表色バッファ手段の前記代表色を符号化する代表色符号化手段と、前記代表色利用情報バッファ手段の前記代表色利用情報を符号化する利用情報符号化手段と、前記代表色符号化手段により符号化された代表色符号化信号と前記利用情報符号化手段により符号化された利用情報符号化信号とを合成する符号化情報合成手段とを具備することを特徴とする。
【００２５】
実施形態３に関する画像符号化装置は、実施形態１に記載の画像符号化装置の再符号化手段において、ユニバーサル情報源符号化を適用することを特徴とする。
【００２６】
実施形態４に関する画像符号化装置は、実施形態２に記載の画像符号化装置の代表色符号化手段と利用情報符号化手段において、代表色符号化手段及び利用情報符号化手段の少なくともどちらか一方にユニバーサル情報源符号化を適用することを特徴とする。
【００２７】
実施形態５に関する画像符号化装置は、実施形態２に記載の画像符号化装置の代表色符号化手段において、全ての代表色情報をテーブル化する代表色テーブル化手段と、各前記画像ブロックの代表色情報をテーブルの該当する色番号で置き換える代表色情報置き換え手段と、前記代表色テーブル化手段によりテーブル化された代表色テーブルと前記代表色情報置き換え手段により置き換えられた置き換え代表色情報とを合成して出力する代表色再符号化情報合成手段とを具備することを特徴とする。
【００２８】
実施形態６に関する画像符号化装置は、実施形態６に記載の代表色符号化手段の代表色テーブル化手段において、全ての代表色情報のうち少なくとも１色以上の代表色を選択しテーブル化することを特徴とする。
【００２９】
実施形態７に関する画像符号化装置は、実施形態２に記載の画像符号化装置の代表色符号化手段において、全ての代表色情報を画像情報化する代表色画像化手段と、前記代表色画像化手段により画像化された代表色画像情報をＪＰＥＧ符号化する代表色ＪＰＥＧ符号化手段とを具備することを特徴とする。
【００３０】
実施形態８に関する画像符号化装置は、実施形態２に記載の画像符号化装置の利用情報符号化手段において、全ての代表色利用情報をハフマン符号化するハフマン符号化手段を具備することを特徴とする。
【００３１】
実施形態９に関する画像符号化装置は、実施形態８に記載の利用情報符号化手段において、前記ハフマン符号化手段が符号化した利用情報符号化信号と使用したハフマン符号化テーブルに関する情報を出力することを特徴とする。
【００３２】
実施形態１０に関する画像復号化装置は、再符号化情報を復号する再符号化情報復号化手段と、前記再符号化情報復号手段により復号された再符号化情報復号情報から複数画素をまとめた画像ブロック内の画素を表現するための少なくとも１つの代表色情報と、前記代表色のどの色情報をどう利用するかを示す代表色利用情報とを少なくとも有することを特徴とする画像ブロック符号化情報に復元する画像ブロック符号化情報再構成手段とを具備することを特徴とする。
【００３３】
実施形態１１に関する画像復号化装置は、実施形態１０に記載の画像復号化装置において、前記再符号化情報を代表色符号化信号と利用情報符号化信号とに分離する符号分離手段と、前記代表色符号化信号を復号する代表色復号化手段と、前記利用情報符号化信号を復号する利用情報復号化手段と、前記代表色復号化手段により復号された代表色復号情報と前記利用情報復号化手段により復号された利用情報復号信号から前記画像ブロック符号化情報を再構成する画像ブロック符号化情報再構成手段とを具備することを特徴とする。
【００３４】
実施形態１２に関する画像復号化装置は、実施形態１０に記載の画像復号化装置の再符号化情報復号化手段において、ユニバーサル情報源復号化を適用することを特徴とする。
【００３５】
実施形態１３に関する画像復号化装置は、実施形態１１に記載の画像復号化装置の代表色復号化手段及び利用情報復号化手段において、代表色復号化手段及び利用情報復号化手段の少なくともどちらか一方にユニバーサル情報源復号化を適用することを特徴とする。
【００３６】
実施形態１４に関する画像復号化装置は、実施形態１１に記載の画像復号化装置の代表色復号化手段において、入力された符号化情報を代表色テーブル情報と置き換え代表色情報に分離する代表色情報分離手段と、置き換え代表色情報を前記代表色テーブル情報の該当する代表色で置き換える代表色情報再構成手段とを具備することを特徴とする。
【００３７】
実施形態１５に関する画像復号化装置は、実施形態１１に記載の画像復号化装置の代表色復号化手段において、入力された符号化情報をＪＰＥＧ復号化するＪＰＥＧ復号化手段を具備することを特徴とする。
【００３８】
実施形態１６に関する画像復号化装置は、実施形態１１に記載の画像復号化装置の利用情報復号化手段において、入力された符号化情報をハフマン復号化するハフマン復号化手段を具備することを特徴とする。
【００３９】
実施形態１７に関する画像復号化装置は、実施形態１６に記載の利用情報復号化手段において、入力された符号化情報から利用情報符号化信号と使用したハフマン符号化テーブルに関する情報に分離するハフマン符号化情報分離手段と前記ハフマン符号化テーブルに関する情報からハフマンテーブルを選択するハフマンテーブル選択手段とを具備することを特徴とする。
【００４０】
【実施例】
（第１の実施例）
（１）画像符号化装置の基本構成
図１は本発明の第１の実施例に係る画像符号化装置の基本構成図である。
【００４１】
入力画像信号１３１は、ブロック化手段１０１により複数の画素からなる小領域の画像ブロック信号１３２に分割される。
【００４２】
画像ブロック信号１３２は、符号化手段１０２でブロック単位に符号化される。この符号化された符号化信号には、ブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれている。
【００４３】
符号化されたブロック符号化信号１３３は、ブロック符号バッファ手段１０３により画像全体の符号化信号が集められ、統合符号化信号１３４が出力される。
【００４４】
この統合符号化信号１３４は、再符号化手段１０４により符号化手段１０２とは別に符号化を行い、再符号化信号１３５を出力する。
【００４５】
（２）画像符号化装置の拡張構成
さらに、図２に本実施例に係る画像符号化装置の拡張構成図を示す。
【００４６】
入力画像信号１３１は、ブロック化手段１０１により複数の画素からなる小領域の画像ブロック信号１３２に分割される。
【００４７】
画像ブロック信号１３２は、符号化手段１０２でブロック単位に符号化される。
【００４８】
上述の基本構成の図１と同様にこの符号化された符号化信号には、ブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれている。
【００４９】
符号化手段１０２からはこれらの代表色信号２３１と代表色利用情報信号２３２が別々に出力され、夫々代表色バッファ部２０１及び代表色利用情報バッファ部２０２に格納される。
【００５０】
代表色バッファ部２０１及び代表色利用情報バッファ部２０２に蓄えられた代表色情報２３３と代表色利用情報２３４は、それぞれ代表色符号化手段２０３及び利用情報符号化手段２０４に入力され、それぞれの情報に適した符号化が適用される。
【００５１】
代表色符号化手段２０３及び利用情報符号化手段２０４で符号化された代表色符号化信号２３５及び利用情報符号化信号２３６は符号化情報合成手段２０５により合成され、再符号化信号１３５として出力される。
【００５２】
（３）代表色情報及び代表色利用情報の符号化
本実施例を利用し、代表色情報及び代表色利用情報をどのように符号化するかの例を以下に示す。
【００５３】
符号化には復号時に元の信号に歪が全く発生しない可逆符号化方式と、歪が発生する非可逆符号化方式が存在する。前述の再符号化手段１０４、代表色符号化手段２０３及び利用情報符号化手段２０４では、どちらの手段を適用することも可能である。
【００５４】
特に、画質を優先する場合は、可逆符号化方式のユニバーサル符号化方式を適用することが可能である。また、全ての画像ブロックの統計を取った場合、代表色に重複色が多く発生している場合などには、Ｃｏｌｏｒ　Ｌｏｏｋ−Ｕｐ　Ｔａｂｌｅ　（ＣＬＵＴ）方式を適用することが可能である。さらに、圧縮率を優先するような場合は、ＪＰＥＧ圧縮方式を代表色に適用することができる。
【００５５】
（３−１）ＣＬＵＴ方式
図３にＣｏｌｏｒ　Ｌｏｏｋ−Ｕｐ　Ｔａｂｌｅ（ＣＬＵＴ）方式を適用した場合の基本構成図を示す。
【００５６】
入力された代表色情報２３３は代表色テーブル化手段３０１により、全ての画像ブロックでの代表色を統計し、重複色を調べ、重複分を除いた使用されている色数で代表色テーブル３３１を作成する。
【００５７】
代表色情報置き換え手段３０２では、入力された代表色情報２３３の色情報を代表色テーブル化手段３０１で作成した代表色テーブル３３１を参照し、テーブル番号に変換する。
【００５８】
元の代表色のデータ長に対しテーブル番号のデータ長が短い場合、代表色情報が圧縮されることになる。
【００５９】
代表色テーブル３３１とテーブル番号で置き換えられた置き換え代表色信号３３２は代表色再符号化情報合成手段３０３において合成され、代表色符号化信号２３５として出力される。本基本構成図のＣＬＵＴを使用する場合は可逆符号化であり、復号信号には歪は発生しない。
【００６０】
（３−２）さらに圧縮率を高めるＣＬＵＴ方式
図４は、ＣＬＵＴを用い、さらに圧縮率を高める場合の構成図例を示したものである。
【００６１】
上記の基本構成の図３による構成に対し、代表色情報２３３をまず代表色減色手段４０１で総色数よりも少ない色数に減色する。減色する際には、２のべき乗に色数がなるように減色することが望ましい。
【００６２】
その後、減色された代表色情報４３１を使い代表色テーブルを作成し、代表色情報置き換え手段３０２により代表色を代表色テーブル番号で置き換える。代表色を置き換える際、使用されている色数よりも代表色テーブルの色数は少なくなっているため、一致する色がテーブルに存在しない場合がある。その際は、テーブル内に存在する最も近い色に置き換えることになる。
【００６３】
（３−３）ＪＰＥＧ符号化方式
ＪＰＥＧ符号化方式を適用し代表色情報２３３を符号化する方式を示す。
【００６４】
この構成図例を図５に示す。
【００６５】
入力された代表色情報２３３は代表色画像化手段５０１により、画像全体の代表色を少なくとも１枚の画像にまとめ、代表色画像信号５３１として出力する。代表色画像信号５３１はＪＰＥＧ符号化手段５０２においてＪＰＥＧ符号化され符号化された代表色符号化信号２３５が出力される。
【００６６】
（３−４）ハフマン符号化方式
図１４は、代表色利用情報２３４の符号化方式としてハフマン符号化を適用する例を示した構成図である。
【００６７】
入力された代表色利用情報２３４はハフマン符号化手段１４０１により符号化され利用情報符号化信号２３６が出力される。
【００６８】
ハフマン符号化の際には、代表色利用情報２３４のビット列や各画素に対する値等で頻度が計算され、それに応じた形でハフマン符号化のテーブルを作成することや、予めいくつかの用意されたテーブルから頻度情報を利用して選択することも可能である。
【００６９】
（４）第１の実施例の効果
本実施例を用いることで、複数の画素から構成される小領域画像ブロック毎にブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれている符号化を行って生成された符号化信号をさらに圧縮することが可能となる。通常ブロック符号化は固定圧縮率の場合が多く、画像中にさらに冗長性がある場合にそれを取り除くことが可能となる。これにより、最終的な符号化後のデータ量を削減することが可能となり、記憶媒体の効率的利用や、記憶媒体そのものの容量を小さくすることが可能となる。
【００７０】
また、代表色情報と代表色利用情報に対し、それぞれに適した符号化を適用することで、全体で符号化するよりも効率のよい符号化が提供可能となる。これは、代表色情報が画像データに近い特性を持ち、代表色利用情報が文書データに近い特性を持つことによる。そのため、代表色情報に画像符号化などの非可逆符号化を、代表色利用情報にユニバーサル符号化やハフマン符号化の可逆符号化を適用することが一般的によい。しかし、これはデータの特徴に依存するため、この組み合わせに限るものではない。
【００７１】
（５）第１の実施例の変形例
図２に示した符号化手段１０２では、代表色信号２３１と代表色利用情報信号２３２が別々に出力されているが、これに限る必要はない。
【００７２】
（５−１）変形例１
例えば、図１３に示すように符号化手段１０２により符号化されたブロック符号化信号１３３はブロック符号分離手段１３０１により代表色信号２３１と代表色利用情報信号２３２に分離されるという構成も可能である。
【００７３】
本構成を利用することで、ブロック符号化処理とその後の再符号化処理を分離することが可能となる。そのため、ブロック符号化と再符号化を別々のアプリケーションとして実装することも可能となる。従来のブロック符号化のみで符号かされた信号が存在する場合、それをブロック符号分離手段に直接入力することで、再符号化のプロセスだけを実施することも可能となる。
【００７４】
（５−２）変形例２
入力されたブロック符号化信号１３２の種類によっては、再符号化手段１０４や代表色符号化手段２０３、利用情報符号化手段２０４で符号化を行った場合、元のデータサイズよりも符号化後のデータサイズが大きくなってしまう場合が存在する。その際、元のデータサイズと比較し、符号化後の方が大きくなってしまっていた場合には、符号化を行わず元の信号を出力するようにすることも可能である。
【００７５】
（５−３）変形例３
さらに、復号時の演算コストと比較し、多少のデータサイズ削減だけしか出来ない場合も同様に符号化しないというモードを選択させることも可能である。そのときには、符号化する／符号化しないを判定するデータ削減量または削減率の基準値を設定しておき、切り替えることになる。このように、どのような符号化を採用したかどうかの情報をヘッダ情報として、符号化信号に合成して記録することも可能である。
【００７６】
（５−４）変形例４
本実施例では、代表色を画像化しＪＰＥＧ符号化を適用することが可能であることを示した。
【００７７】
代表色画像化手段で代表色を画像化する場合には、単純に１枚の画像にする場合以外に、代表色を複数の画像として構成することも可能である。そのとき、それぞれの画像内部に含まれる色は近い色を集めることで効率が良くなる場合が多い。
【００７８】
そのため、ブロック内の代表色を近い色が選択しやすいように並べておくことが必要になる。
【００７９】
１つの画像ブロック内に複数の代表色が存在する場合、その並びをある特定の規則に基づくように並べるようブロック符号化手段１０２で予め行うか、符号化されたブロック符号化信号１３３の代表色を並べ替え、さらに代表色利用情報も変更された並び順に対応するように修正しておくという拡張が可能である。ここでいう特定の規則というのは、例えば１６ビットの色情報の場合、それを数値に置き換え、小さい方から大きいほうに並ぶようにしておく等である。
【００８０】
この規則はそのシステムや画像に応じて変更することが可能であり、自由に設定することが出来る。
【００８１】
（５−５）変形例５
本実施例では代表色を画像化し符号化する際にＪＰＥＧ符号化を適用している。しかし、本実施例はこれに限定する必要はない。
【００８２】
例えば、ＧＩＦやＰＮＧ、ＪＰＥＧ２０００、ＰＰＭ等といったどの静止画の符号化方式でも採用することが可能である。
【００８３】
また、上記のように、画像化する際に複数画像として構成した場合、静止画像の符号化以外にも動画像用の符号化方式（例えばＭＰＥＧ−１，２，４やＨ．２６３、Ｍｏｔｉｏｎ　ＪＰＥＧ等）を適応することが可能である。
【００８４】
（５−６）変形例６
本実施例で説明したように、再符号化の手段としてユニバーサル符号化方式やＣＬＵＴ、ＪＰＥＧ方式、ハフマン符号化方式等を利用することが可能である。しかし、本実施例は、これらの符号化方式に限定するものではなく、符号化方式であれば自由に選択して利用することが可能である。
【００８５】
（５−７）変形例７
本実施例で図２を利用して説明したように、ブロック符号内に存在する複数の情報に対し、別々に符号化を適用することで符号化効率をよくすることが可能である。
【００８６】
そのとき、それぞれの情報に対し同じ符号化方式を適応する場合でも、異なる種類の情報に対しては、別々に符号化を行うことが可能である。このようにすることで、情報の繰り返し頻度が多くなり、結果として符号化効率が上がる可能性が高くなる。
【００８７】
（５−８）変形例８
本実施例ではブロック符号内に存在する情報を代表色情報と代表色利用情報としたが、これ以外の情報が含まれている場合でも適用することが可能である。
【００８８】
そのときには、代表色情報または代表色利用情報と合わせて符号化することも、また、それら二つの情報とは別に符号化することも可能である。
【００８９】
その他、代表色利用情報などの中に、複数の異なる情報が組み込まれている場合、これを一括して代表色利用情報符号化として扱うのではなく、それぞれの情報単位に符号化を行うことも可能である。
【００９０】
（第２の実施例）
（１）画像復号化装置の基本構成
図６は本発明の第２の実施例に係る画像復号化装置の基本構成図である。
【００９１】
入力された再符号化信号６３１は、再符号化情報復号化手段６０１において、再符号化の際に利用された符号化方式に対応した復号方式で復号される。
【００９２】
再符号化情報復号化手段６０１により復号された再符号化情報復号信号６３２は、画像ブロック符号化情報再構成手段６０２により、画像ブロック毎の符号化信号でブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれているブロック符号化信号６３３が再構成される。
【００９３】
再構成されたブロック符号化信号６３３はブロック符号復号化手段６０３で復号され復号画像信号６３３が出力される。
【００９４】
（２）画像復号化装置の拡張構成
さらに、図７に本実施例に係る画像復号化装置の拡張構成図を示す。
【００９５】
入力された再符号化信号６３１は、符号分離手段７０１において代表色を符号化した代表色符号化信号７３１及び代表色利用情報を符号化した利用情報符号化信号７３２に分離される。
【００９６】
代表色符号化信号７３１及び利用情報符号化信号７３２は、それぞれ代表色復号化手段７０２と利用情報復号化手段７０３に入力され、復号化が行われる。
【００９７】
その後、復号された代表色復号信号７３３及び利用情報復号信号７３４は、画像ブロック符号化情報再構成手段７０４によりブロック符号化信号６３３が再構成される。
【００９８】
再構成されたブロック符号化信号６３３は上記の基本構成と同様にブロック符号復号化手段６０３で復号され復号画像信号６３３が出力される。
【００９９】
（３）代表色情報及び代表色利用情報の復号化
本実施例を利用し、代表色情報及び代表色利用情報をどのように復号化するかの例を以下に示す。
【０１００】
第１の実施例で述べたように、代表色情報及び代表色利用情報は様々な符号化方式を適用し符号化することが可能である。そのため、復号化もそれぞれに方式に対応して用意する。
【０１０１】
（３−１）ユニバーサル符号化方式
符号化方式としてユニバーサル符号化方式を適用している場合、再符号化情報復号化手段６０１、代表色復号化手段７０２及び利用情報復号化手段７０３としてユニバーサル復号化手段を適用する。
【０１０２】
これにより画像ブロック符号化信号６３２、代表色復号化信号７３３及び代表色利用情報復号化信号７３４が復号され出力される。
【０１０３】
（３−２）ＣＬＵＴ方式
図８にＣｏｌｏｒ　Ｌｏｏｋ−Ｕｐ　Ｔａｂｌｅ（ＣＬＵＴ）方式を適用した場合の代表色復号化手段の基本構成図を示す。
【０１０４】
入力された代表色符号化信号７３１は、代表色情報分離手段８０１で代表色テーブル信号８３１と置き換え代表色信号８３２に分離される。
【０１０５】
代表色テーブル信号８３１は、代表色テーブル情報保持手段８０２により記憶される。この記憶された代表色テーブル情報８３３を使い、代表色情報再構成手段８０３では、置き換え代表色信号８３２のテーブル番号から色情報に復元され代表色復号化信号７３３として出力される。
【０１０６】
（３−３）ＪＰＥＧ符号化方式
図９にＪＰＥＧ符号化方式を適用した場合の代表色復号化手段の基本構成図を示す。
【０１０７】
入力された代表色符号化信号７３１は、ＪＰＥＧ復号化手段９０１でＪＰＥＧ復号化を実施され復号ブロック化画像信号９３１が出力される。
【０１０８】
復号ブロック化画像信号９３１は、代表色情報復元手段９０２により、画像化されて復元された復号ブロック化画像信号９３１を元の代表色信号のフォーマットに変換される。
【０１０９】
代表色情報復元手段９０２により変換された信号は代表色復号化信号７３３として出力される。
【０１１０】
（３−４）ハフマン符号化方式
図１０に、ハフマン符号化方式を適用した場合の利用情報復号化手段の基本構成図を示す。
【０１１１】
入力された利用情報符号化信号７３２は、ハフマン復号化手段１００１で復号化され利用情報復号信号７３４として出力される。
【０１１２】
（３−５）ハフマンテーブルに関する情報が埋め込まれている場合
図１１では、利用情報符号化信号７３２にハフマンテーブルに関する情報が埋め込まれている場合の利用情報復号化手段の基本構成図を示す。
【０１１３】
入力された利用情報符号化信号７３２は、ハフマン符号化情報分離手段１１０１においてハフマンテーブルに関する情報１１３１及びハフマン符号化された符号語列１１３２に分離される。ハフマンテーブルに関する情報１１３１はハフマンテーブル選択手段１１０２に入力され、復号に利用するハフマンテーブルが再構築される。
【０１１４】
このハフマンテーブルに関する情報１１３１は、ハフマンテーブルをあらわしている場合もあれば、幾つか決められたハフマンテーブルの中のどれかを指定するＩＤのようなものである場合もある。
【０１１５】
符号語列１１３２はハフマン符号化手段に入力され、ハフマンテーブル選択手段１１０２で再構成されたハフマンテーブル１１３３を用いて復号化が行われる。
【０１１６】
復号された信号は代表色利用情報復号化信号７３４として出力される。
【０１１７】
（４）第２の実施例の効果
本実施例を用いることで、複数の画素から構成される小領域画像ブロック毎にブロック内の代表色情報と代表色をどのように利用するかを示す代表色利用情報が少なくとも含まれている符号化を行って生成された符号化信号をさらに圧縮して作成された再符号化信号を読み出し、復号することが可能となる。
【０１１８】
（５）第２の実施例の変形例
（５−１）変形例
再符号化された場合に、再符号化後のデータサイズが元のデータサイズを上回ってしまっていた場合等に再符号化を行わないモードを使用してデータが記録されている場合がある。どのような符号化を行ったかを示す付加情報を再符号化信号に合成して記録されている場合がある。そのため、入力された再符号化信号６３１から付加情報を分離する分離手段を有することも可能である。分離された付加情報から符号化方式等を識別し、復号化時に適当な復号化方式を選択し復号化を行う。
【０１１９】
（５−１）変形例１
本実施例では、代表色を画像化しＪＰＥＧ符号化を適用された場合の復号化装置について示した。そのとき、復号化される画像の数は１枚より多い場合も可能である。
【０１２０】
その場合には、復号された復号ブロック化画像信号９３１を代表色情報復元手段９０２において、複数の画像から代表色信号に符号化時に選択した順序の通りに復元していく。
【０１２１】
また、ＪＰＥＧ以外の静止画像符号化方式や複数枚の画像を動画像と見なし動画像符号化方式が適用されている場合もある。
【０１２２】
その場合は、それぞれに対応した復号化手段を行い、代表色情報復元手段９０２で元の代表色複合化信号７３３を復元する。
【０１２３】
（５−２）変形例２
第２の実施例で説明したように、利用情報復号化手段としてハフマン復号化方式を利用することが可能である。
【０１２４】
それに加え、ハフマン符号化の効率がよくなるように符号語の順番等が変更されていたり、付加情報等が合成されていたりする場合がある。
【０１２５】
そのときには、ハフマン復号化手段１００１の前で付加情報を分離する付加情報分離手段や、ハフマン復号化手段１００１の後ろで復号信号を再構成する再構成手段などを追加することが可能である。
【０１２６】
（５−３）変形例３
第２の実施例で説明したように、再符号化の手段としてユニバーサル符号化方式やＣＬＵＴ、ＪＰＥＧ方式、ハフマン符号化方式等を利用し、それに対応する復号化を採用することが可能である。
【０１２７】
しかし、本実施例は、これらの符号化方式に限定するものではなく、符号化方式であれば自由に選択して利用することができ、復号もそれに対応することが可能である。
【０１２８】
【発明の効果】
本発明を用いることにより、ブロック単位の符号化をベースにしながら、さらに圧縮率を向上させ、組み込み機器等の限られた記憶領域を効率的に使用することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る画像符号化装置の基本構成図である。
【図２】第１の実施例に係る画像符号化装置の拡張構成図である。
【図３】ＣＬＵＴ方式を適用した場合の基本構成図である。
【図４】ＣＬＵＴを用いさらに圧縮率を高める場合の構成図である。
【図５】ＪＰＥＧ符号化方式を適用し代表色情報を符号化する方式の構成図である。
【図６】第２の実施例に係る画像復号化装置の基本構成図である。
【図７】第２の実施例に係る画像復号化装置の拡張構成図である。
【図８】ＣＬＵＴ方式を適用した場合の代表色復号化手段の基本構成図である。
【図９】ＪＰＥＧ符号化方式を適用した場合の代表色復号化手段の基本構成図である。
【図１０】ハフマン符号化方式を適用した場合の利用情報復号化手段の基本構成図である。
【図１１】利用情報符号化信号にハフマンテーブルに関する情報が埋め込まれている場合の利用情報復号化手段の基本構成図である。
【図１２】ブロック符号化の概要図である。
【図１３】ブロック符号分離手段を利用したブロック符号化手段の構成図である。
【図１４】代表色利用情報の符号化方式としてハフマン符号化を適用する例の構成図である。
【符合の説明】
１０１　　ブロック符号化手段
１０２　　符号化手段
１０３　　ブロック符号化バッファ手段
１０４　　再符号化手段
【図１】
2004104624.tif 000003
【図２】
2004104624.tif 000004
【図３】
2004104624.tif 000005
【図４】
2004104624.tif 000006
【図５】
2004104624.tif 000007
【図６】
2004104624.tif 000008
【図７】
2004104624.tif 000009
【図８】
2004104624.tif 000010
【図９】
2004104624.tif 000011
【図１０】
2004104624.tif 000012
【図１１】
2004104624.tif 000013
【図１２】
2004104624.tif 000014
【図１３】
2004104624.tif 000015
【図１４】
2004104624.tif 000016