(57)【要約】【課題】入力画像をタイル分割して符号化する場合でも、各タイルの性質に応じ細かな画質調整を可能にする。【解決手段】入力画像信号はタイル分割部１０２やウェーブレット変換部１０３、エントロピー符号化部１０６等を介し符号化データになって符号メモリ１０７に格納される。これと並行して歪計算部１０８では各符号ブロックの各符号化パス単位に歪を計算し歪メモリ１０９に格納する一方、複雑タイル判定部１１１は当該タイルが複雑タイルであるか否かを判定し、その判定出力をタイル種別メモリ１１２に格納する。歪メモリ１０９から出力された歪データは乗算器１１０へ出力され、乗算器１１０ではその歪データに重み係数選択部１１３で選択された重み係数を乗じる。こうして重み付けされた符号化パス毎の歪がレート制御部１１４出力され、レート制御部１１４では符号化データでの符号量制御を行う。【選択図】　　　　図１
2004120466.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換し、得られた変換係数を量子化し、その量子化係数をエントロピー符号化する共に、その量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する画像符号化装置であって、
上記変換係数を参照して各タイルをその性質に応じ複数のカテゴリに分類するタイル分類部と、
該タイル分類部の出力に応じて上記量子化歪に重みを付ける重み付け部と、
上記重み付け部により重み付けられた量子化歪に基づいて、上記エントロピー符号化された符号データの符号量を制御するレート制御部と、
を有する画像符号化装置。
【請求項２】
請求項第１項記載の画像符号化装置において、
タイル分類部は、
上記変換係数を参照して、当該タイルが複雑なテクスチャにより構成されるタイルか、複雑なテクスチャが存在しないタイルかを判定し、各タイルが複雑なテクスチャにより構成されるタイルのカテゴリか、複雑なテクスチャが存在しないタイルのカテゴリに分類する、
ことを特徴とする画像符号化装置。
【請求項３】
請求項第２項記載の画像符号化装置において、
タイル分類部は、
当該タイルが複雑なテクスチャにより構成されるタイルか、複雑なテクスチャが存在しないタイルかを判定すると共に、当該タイルが斜め方向に相関が強いタイルであるか否かを判定し、各タイルを複雑なテクスチャにより構成されるタイルのカテゴリか、複雑なテクスチャが存在しないタイルのカテゴリか、斜め方向に相関が強いタイルのカテゴリに分類する、
ことを特徴とする画像符号化装置。
【請求項４】
請求項第２項記載の画像符号化装置において、
タイル分類部は、
当該タイルが複雑なテクスチャにより構成されるタイルか、複雑なテクスチャが存在しないタイルかの判定と、当該タイルが斜め方向に相関が強いタイルであるか否かの判定と、当該タイルが肌色を多く含むタイルであるか否かの判定とを行い、
当該タイルが複雑なテクスチャにより構成されるタイルのカテゴリか、複雑なテクスチャが存在しないタイルのカテゴリか、斜め方向に相関が強いタイルのカテゴリか、肌色を多く含むタイルのカテゴリに分類する、
ことを特徴とする画像符号化装置。
【請求項５】
請求項第３項または第４項記載の画像符号化装置において、
タイル分類部は、斜め方向に相関が強いタイルかを判定する際、当該タイルが４５°または１３５°の斜め方向に相関が強いタイルであるか否かを判定する、
ことを特徴とする画像符号化装置。
【請求項６】
請求項第１項〜第５項のいずれかの請求項に記載の画像符号化装置において、
重み付け部は、量子化歪に重みを付ける際、
各タイルカテゴリに対するサブバンド毎の重み係数を予め記憶しておき、当該タイルのカテゴリ及びサブバンドに応じて所望の重み係数を選択し、選択した重み係数を量子化歪みに乗算することより量子化歪に重みを付ける、
ことを特徴とする画像符号化装置。
【請求項７】
入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換し、得られた変換係数を量子化し、その量子化係数をエントロピー符号化する共に、その量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する際の画像符号化方法であって、
上記変換係数を参照して各タイルをその性質に応じ複数のカテゴリに分類すると共に、その複数のカテゴリ毎に上記量子化歪に重みを付け、
上記重み係数が付けられた量子化歪に基づいて、上記エントロピー符号化された符号データの符号量を制御する画像符号化方法。
【請求項８】
請求項１〜６いずれかの請求項に記載の画像符号化装置を備え、この画像符号化装置により符号量を制御された符号化データを処理する画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換し、得られた変換係数を量子化し、その量子化係数をエントロピー符号化する共に、その量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する画像符号化装置、画像符号化方法、および画像処理装置に関するものである。
【０００２】
【従来の技術】
現在インターネットを中心に静止画像符号化アルゴリズムＪＰＥＧが広く普及しているが、一方で次世代の符号化方式としてさらなる性能改善、機能付加の要求を背景として、１９９７年より新たにＪＰＥＧ２０００プロジェクトがＩＳＯとＩＴＵの合同機関によりスタートした。２０００年１２月には同ＪＰＥＧ２０００アルゴリズムの基本方式を定めるパート１についてその主要な技術内容が確定した。
【０００３】
このＪＰＥＧ２０００の符号化アルゴリズムでは、入力画像信号に対し色座標変換を行い、タイル分割を行ってウェーブレット変換しているために、符号化レートを低くしていくと、そのタイル境界部に線状の歪（画質劣化）を生じ、滑らかさが損なわれた画像になってしまう。
【０００４】
そのため、例えば、従来の画像処理装置では、このようなタイル境界に発生する歪を抑制するため、ウェーブレット変換処理においてタイル境界部で不足するデータを拡張する際にＪＰＥＧ２０００で定義されている対象拡張方法以外に、点対象拡張方法をも併用することでタイル境界部に存在する線状の歪を抑制しているものがある（例えば、特許文献１参照。）。
【特許文献１】
特開２００１−２１７７１８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、この従来の画像処理装置の場合、２つの拡張方法を切り替え制御しているため、どちらの拡張方法を使っているかを符号化データの中に埋め込む必要がある。これは、符号化データ量の増加という問題につながるだけでなく、ＪＰＥＧ２０００の規格の範囲を超えているため、互換性が保てないという問題がある。
【０００６】
また、このようなタイル境界の歪は、特に、背景領域などオブジェクトがない領域やテクスチャが少ない領域で目立つ。もともと背景領域には、ノイズに近いレベルの小さな揺らぎ信号がテクスチャ（揺らぎテクスチャと称す）としてわずかに含まれているものの、オブジェクトが存在するような複雑な領域に比べると、ウェーブレット変換時のハイパス成分が極端に少ない傾向にある。この背景領域のハイパス成分は、最終的な符号データを形成するレート制御機能によりそのほとんどが取り除かれてしまうために、より歪が目立ってしまうと考えられる。従って、この揺らぎテクスチャに該当するサブバンドを見つけ出し、周波数重み付け処理（ｆｒｅｑｕｅｎｃｙ　Ｗｅｉｇｈｔｉｎｇ）によりそのサブバンドに高い重みを設定して、わずかに存在するテクスチャを再現することで、ディザリングの効果でタイル境界を抑制できると考えられる。しかしながら、この方法は、全てのタイルに対して同一の処理を施してしまうため、本来高い重みを設定しなくても良いタイルにまで高い重みを設定することになる。反対に、今まで視覚的に重要だった領域が相対的に低い重みが設定されてしまい、その部分の画質が低下してしまうことが考えられる。つまり、タイル境界に発生する歪を抑制するために、全タイルに均一の周波数重み付け処理を施すと、タイル境界は抑制できるかもしれないが、他の視覚的に重要な領域に画質劣化が発生してしまうという問題がある。
【０００７】
この点を実際に実験で確認してみたところ、ウェーブレット変換回数を「ｎ」とした時、背景領域のテクスチャについては、分解レベル「ｎ−１」のサブバンドが画質的大きくに寄与していることがわかった。ここで分解レベル「ｎ」は最高解像度のサブバンドを表すこととする。この時、周波数重み付け処理により、分解レベル「ｎ−１」のサブバンドの強調処理を行ったところ、このテクスチャが再現されることによりディザリングに似た効果を発揮し、タイル境界に発生していた歪が抑制できるものの、一方で、特に解像度の高い斜めの方向性をもつエッジ部分でギザギザ（ジャギー）が目立ってしまうという問題が生じた。これは、分解レベル「ｎ−１」のサブバンドの情報を優先することにより、高い解像度を持つ分解レベル「ｎ」の情報が削られていることに他ならない。
【０００８】
また、ＪＰＥＧ２０００には最終的な符号データ量を一定の範囲内に収め、かつその範囲内で平均二乗誤差を基準にした最高画質を提供するレート制御機能が用意されている。しかしながら、実際の再生画像を見ると、誤差が低いからといって、必ずしも視覚的に良好な画像を再現できない場合があるという問題がある。例えば、人の顔の画像を符号化しようとすると、肌のきめ細かなテクスチャが取り除かれ、ツルツルとした精細度を欠いた画像となってしまう。これは、ウェーブレット変換係数の高域成分が低域成分に比べ画質に影響しにくいため、レート制御機能によりこの部分の情報が優先的に削除されてしまうためと考えられる。このような問題に対しては、先に説明した周波数重み付け処理が有効である。例えば、人の肌のテクスチャを再現するには、そのテクスチャに該当するウェーブレット変換領域でのサブバンドを見つけ出し、そのサブバンドの重みを高く設定することで、そのテクスチャを良好に再現することができる。しかしながら、全てのタイルに対して同一の処理を施してしまうため、本来高い重みを設定しなくても良いタイルにまで高い重みを設定することになる。反対に、今まで視覚的に重要だった領域が相対的に低い重みが設定されてしまい、その部分の画質が低下してしまうことが考えられる。つまり、人の肌のようなきめ細かなテクスチャの再現性を向上させるために、全タイルに統一した周波数重み付け処理を施すと、人の肌の部分では高品質化できるかもしれないが、他の視覚的に重要な領域に画質劣化が発生してしまうという問題がある。
【０００９】
この点を実際に実験で確認してみたところ、ウェーブレット変換回数を「ｎ」とした時、人物の顔（肌）のテクスチャについては、分解レベル「ｎ−１」のサブバンドが画質的大きくに寄与していることがわかった。そこで、周波数重み付け処理により、分解レベル「ｎ−１」のサブバンドの強調処理を行ったところ、肌の再現性は良好になったものの、特に斜めの方向性をもつ髪の毛の部分でギザギザ（ジャギー）が目立ってしまうという問題を生じた。これは、分解レベル「ｎ−１」のサブバンドの情報を優先することにより、髪の毛などの高い解像度を持つ分解レベル「ｎ」の情報が削られていることに他ならない。
【００１０】
そこで、この発明は上記のような問題点を解決するためになされたもので、入力画像をタイル分割して符号化する場合でも、タイルに応じて画像信号の符号化レートを弾力的に制御することにより、各タイルの性質に応じより細かな画質調整を可能にして、画像全体として良好な再生画像を得ることのできる画像符号化装置、画像符号化方法、および画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明では、入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換し、得られた変換係数を量子化し、その量子化係数をエントロピー符号化する共に、その量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する画像符号化装置であって、上記変換係数を参照して各タイルをその性質に応じ複数のカテゴリに分類するタイル分類部と、該タイル分類部の出力に応じて上記量子化歪に重みを付ける重み付け部と、上記重み付け部により重み付けられた量子化歪に基づいて、上記エントロピー符号化された符号データの符号量を制御するレート制御部と、を有する画像符号化装置である。
また、入力画像を所定サイズのタイルに分割し、個々のタイルに含まれる画像信号を周波数成分へ変換し、得られた変換係数を量子化し、その量子化係数をエントロピー符号化する共に、その量子化歪を演算し、この量子化歪を用いて上記エントロピー符号化された符号化データの符号量を制御する際の画像符号化方法であって、上記変換係数を参照して各タイルをその性質に応じ複数のカテゴリに分類すると共に、その複数のカテゴリ毎に上記量子化歪に重みを付け、上記重み係数が付けられた量子化歪に基づいて、上記エントロピー符号化された符号データの符号量を制御する画像符号化方法である。
また、上記画像符号化装置を備え、この画像符号化装置により符号量を制御された符号化データを処理する画像処理装置である。
【００１２】
【発明の実施の形態】
実施の形態１．
図１に、本実施の形態１の画像符号化装置のブロック構成図を示す。図１において、１０１は必要に応じてＲＧＢ信号からＹＣｂＣｒ等への色空間座標の変換を行う色座標変換部、１０２は各色成分信号をタイルと呼ばれる複数の矩形に分割するタイル分割部、１０３は２次元のウェーブレット変換を行うウェーブレット変換部、１０４はウェーブレット変換部で生成された変換係数を設定された量子化ステップサイズで量子化を行う量子化処理部、１０５は量子化されたウェーブレット変換係数を２値算術符号化するためのモデリングを行う係数モデリング部、１０６は算術符号化によりエントロピー符号化を行うエントロピー符号化部、１０７はエントロピー符号化された符号データを格納する符号メモリ、１０８はエントロピー符号化する単位に歪を計算する歪計算部、１０９は該歪計算部１０８で計算された歪データを格納する歪メモリ、１１０は歪メモリ１０９から出力される歪データに対して所望の重み係数を乗じる乗算器、１１１は各タイルのウェーブレット変換係数からそのタイルが複雑なテクスチャを多く含む複雑タイルであるか否かを判定する複雑タイル判定部、１１２は該複雑タイル判定部１１１の出力を格納するタイル種別メモリ、１１３は該タイル種別メモリ１１２の出力を受けて予め格納されている複数の重み係数から対応する重み係数を選択する重み係数選択部、１１４は乗算器１１０から出力される重み付けされた歪データを考慮して符号メモリ１０７に格納されている符号データから必要なデータを選択し、設定された目標符号量に収まるようレート制御するレート制御部、３０１は複雑タイル判定部１１１を有するタイル分類部である。なお、図１の構成では、重み係数選択部１１３と乗算器１１０とにより本発明の重み付け部を構成している。
【００１３】
次に動作について説明する。
不図示の画像入力装置、例えば、イメージスキャナやデジタルカメラ、もしくはネットワークや記憶媒体等から入力された画像信号は、必要に応じて、色座標変換部１０１で色空間座標の変換を行う。一般には、カラーのＲＧＢ信号が入力された場合には、非可逆圧縮の場合は輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）への変換が、可逆圧縮の場合には損失のないＲＣＴ変換が行われる。また、モノクロの画像信号が入力された場合には本色座標変換部はバイパスされる。
【００１４】
タイル分割部１０２では、色座標変換部１０１から入力される各色成分信号に対して、タイルと呼ばれる複数の矩形領域に分割する。以降の処理ではこのタイルをあたかも一つの画像のように扱うこととする。
【００１５】
ウェーブレット変換部１０３では、１つのタイルを１つの画像とみなして２次元のウェーブレット変換を施し、複数のサブバンドに帯域分割する。ここで２次元のウェーブレット変換は１次元のウェーブレット変換の組み合わせとして実現される。つまり、水平方向の一次元ウェーブレット変換をライン毎に順次行う処理と、垂直方向の一次元ウェーブレット変換を列毎に順次行う処理である。
【００１６】
図２に、ウェーブレット変換部１０３の構成や動作の概略例を示す。図２（ａ）は、ウェーブレット変換部１０３における１次元のウェーブレット変換部分の構成例を示すもので、１次元のウェーブレット変換は所定の特性を持つローパスフィルタと、ハイパスフィルタと、ダウンサンプラとから構成されており、２次元のウェーブレット変換は１次元のウェーブレット変換の組み合わせとして実現される。ところで、これらのフィルタ処理のタップ（係数）の数は、非可逆圧縮ローパスフィルタで９、ハイパスフィルタで７、可逆圧縮ローパスフィルタで５、ハイパスフィルタで３が用いられるため、画像の端、またはタイルの端部分ではデータが不足することになり、それを補う拡張処理が必要である。このため、ＪＰＥＧ２０００では、図２（ｂ）に示すような鏡のように折り返す拡張方法（対象拡張）が用いられている。こうして生成された２次元のウェーブレット変換係数は、低域成分をＬ、高域成分をＨとし、主走査方向の変換を１文字目、副走査方向の変換を２文字目で表現することで、図２（ｃ）に示すようにＬＬ、ＨＬ、ＬＨ、ＨＨと表現される。また、これらの帯域分割された成分はサブバンドと呼ばれている。ここで、水平、垂直方向の低域成分（ＬＬ成分）は再帰的にウェーブレット変換が施される。再帰的に施される各ウェーブレット変換によって生成される各サブバンドを分解レベルと称し、図中ＬＬ、ＨＬ、ＬＨ、ＨＨの前に記載された数字がこれにあたる。即ち、最低解像度のＬＬ成分は常に分解レベル０となり、反対に最高解像度の高域成分ＨＬ，ＬＨ，ＨＨの分解レベルはウェーブレット変換の回数と同一値になる。この図の例ではウェーブレット変換を２回行っているので、最高解像度成分の分解レベルは２となる。
【００１７】
量子化処理部１０４では、サブバンド毎に設定された量子化ステップサイズによりウェーブレット変換係数を量子化する。
【００１８】
係数モデリング部１０５では、各サブバンドのウェーブレット変換係数を符号ブロックと呼ばれる固定サイズの領域に分割した後、それぞれの符号ブロックの多値データを２値のビットプレーンに変換する。さらに、各ビットプレーンを３通りの符号化パス（Ｓｉｇｎｉｆｉｃａｎｃｅ　ｐａｓｓ，　Ｒｅｆｉｎｅｍｅｎｔ　ｐａｓｓ，　ｃｌｅａｎｕｐ　ｐａｓｓ）に分割し、それぞれの符号化パス毎にエントロピー符号化するためのコンテクストモデリングを行う。
【００１９】
３つの符号化パスから出力される２値信号はエントロピー符号化部１０６によって算術符号化が行われる。
【００２０】
エントロピー符号化部１０６で生成された符号化データはいったん符号メモリ１０７に格納される。
【００２１】
これらの符号化処理と並行して、歪計算部１０８では、各符号ブロックの各符号化パス単位に、歪を計算する。算出された歪データは、色成分、タイル番号、サブバンド、符号ブロック、符号化パスが特定できるようなインデックスが付与された後、歪メモリ１０９に格納される。
【００２２】
タイル分離部３０１の複雑タイル判定部１１１では、複雑度を表す指標として、輝度成分おける各タイルのＨＨ成分に対して、以下の（式１）を使って平均電力Ｐｔを計算する。
【００２３】
2004120466.tif 000003
【００２４】
ここで、添字ｔはタイル番号、Ｃ（ｉ，ｊ）は位置（ｉ，ｊ）のＨＨ成分の変換係数、ＪｍａｘはＨＨ成分の主走査方向のサンプル数、Ｉｍａｘは副走査方向のサンプル数を表している。
【００２５】
次に、ある閾値Ｔｐを設定し、以下の判定式に従って複雑タイルであるか、単純タイルであるか当該タイルのカテゴリを判定する。
【００２６】
Ｉｆ（Ｐｔ＞Ｔｐ）　　　　・・・　複雑タイル
Ｅｌｓｅ　　　　　　　・・・　単純タイル
【００２７】
複雑タイル判定部１１１の出力は、いったんタイル種別メモリ１１２に格納される。
【００２８】
以上の処理により、符号メモリ１０７には符号データが、歪メモリ１０９に歪データが、タイル種別メモリ１１２にはタイルカテゴリが、全タイルにわたり格納されることになる。これらの情報を利用して、レート制御部１１４でレート制御を行うことになる。
【００２９】
ここで、レート制御方法について説明する。
歪メモリ１０９から読み出した歪の総和が最小になり、かつトータルの符号量が目標符号量以下になるという２つの条件を同時に満足させながら、符号化パス毎に符号データを抽出する。この２つの条件を同時に満足させる最適化演算には、ラグランジェの未定乗数法を利用することで解決することができる。今、符号化パス毎の歪をＤｉ、符号化パス毎の符号量をＲｉとした時、ある値λに対して、
【００３０】
2004120466.tif 000004
【００３１】
が最小となるような符号化パスの位置ｉを計算する。この時の総符号量Ｒ
【００３２】
2004120466.tif 000005
【００３３】
が目標符号量になるようにλを繰り返し調整する。なお、ここで添字ｉは符号化パスと記されているが、これは、全色成分、全タイル、全分解レベルの符号化パスを表している。
【００３４】
図１に戻り、歪メモリ１０９からはレート制御部１１４から出力される符号化パス、符号ブロック、サブバンド、タイル番号、色成分のインデックスに応じて各符号化パス単位の歪データＤｉが出力され、乗算器１１０では、各符号化パス単位の歪データＤｉに重み係数選択部１１３で選択された重み係数を乗じることになる。
【００３５】
ここで重み係数選択部１１３について、図３を使って詳しく説明する。
【００３６】
図３は、図１に示す重み係数選択部１１３の詳細構成を示す図である。図３において、２０１は複数の重み係数をそれぞれ格納した複数のレジスタを表す重み係数レジスタ群、２０２は重み係数レジスタ群２０１の出力である複数の重み係数から選択信号をもとに所望の重み係数を選択する選択部である。以下動作について説明する。
【００３７】
重み係数レジスタ群２０１の各レジスタには、先に述べた２つのタイルカテゴリ毎に各サブバンドの重み係数を設定しておくものとする。従って、色成分３、分解レベル３の場合には、３色成分×（３分解レベル×３サブバンド＋１サブバンド）×２タイルカテゴリ＝６０の重み係数を設定することになる。まず、レート制御部１１４からタイル種別メモリ１１２に、現在処理しようとしている符号化パスが所属するタイルの番号が入力されると、そのタイル番号に該当するタイルカテゴリ信号が出力され、重み係数選択部１１３に入力される。重み係数選択部１１３の選択部２０２へは、タイル種別メモリ１１２からタイルカテゴリが、レート制御部１１４から現在処理しようとしている符号化パスが所属する色成分、サブバンドを示すインデックスが選択信号として入力されるので、選択部２０２では、これらの入力選択信号に基づき該当する重み係数を選択し、乗算器１１０へ出力する。乗算器１１０では、上述したように各符号化パス単位の歪データＤｉに重み係数選択部１１３で選択された重み係数を乗じて出力する。なお、図４（ａ）、（ｂ）、（ｃ）には、それぞれ歪メモリ１０９、タイル種別メモリ１１２、重み係数レジスタ群２０１におけるデータの格納方法の一例を示しておく。
【００３８】
こうして、図１の乗算器１１０からは重み付けされた符号化パス毎の歪Ｄｉがレート制御部１１４へ出力され、レート制御部１１４では、乗算器１１０から入力する重み付けされた符号化パス毎の歪Ｄｉに基づいて、符号メモリ１０７からの符号データのデータが、目標とする符号サイズ以下になるように符号化データのレート制御、すなわち符号量を調整し、かつその目標符号サイズ内で再現できる最高の画質を提供するようにする。
【００３９】
つまり、本実施の形態１では、上述したようにエントロピー符号化部１０６におけるエントロピー符号化処理と並行して、歪み計算部１０８にて符号化パス単位に量子化時の誤差の二乗平均を歪として計算しておき、かつ、その歪みにタイルカテゴリ毎の重み係数が乗じられるので、レート制御部１１４では、この重み係数が乗じられた歪が最小になるように、符号化パス単位に符号化データを選択的に取得し、トータルの符号量が目標とする符号サイズ内に収まるようにすることで、目標符号量における最高の画質を提供する。なお、この歪最小、目標符号量以下、という２つの条件を同時に満足させるには最適化演算が必要になるが、これには上述したようにラグランジェの未定乗数法等を利用している。
【００４０】
以上のように、本実施の形態１においては、各タイルをその性質から複雑タイル、単純タイルの２つのカテゴリに分類し、それぞれのタイルカテゴリに適したようにサブバンド毎に重みを設定することできる。これにより、全タイルにわたり均一の重み設定だった従来方式に比べ、画質設定の自由度が広がったことにより、より細かな画質調整が可能になるという効果がある。
【００４１】
その結果、例えば、タイル境界に発生する線状の歪を抑制したい場合には、背景領域に存在する細かな揺らぎテクスチャを残すために、背景領域と識別される単純タイルに対しては、揺らぎテクスチャに該当するサブバンド成分に高い重みを設定する。その一方、背景領域と識別されない複雑タイルにおいては必要以上に情報量が割り当てられている可能性が高いので、複雑タイルにおいて比較的重要度の低い高域成分に低い重みを設定する。このように、複雑タイルで稼いだ情報量を単純タイルの揺らぎテクスチャに相当するサブバンドに割り当てることにより、タイル境界を抑制できるという効果がある。
【００４２】
実施の形態２．
図５に、本実施の形態２の画像符号化装置のブロック構成図を示す。図５において、図１と同一符号のブロックが存在するが、これは実施の形態１で説明した動作と全く同一の動作をするものとする。図５が図１と異なっているのはタイル分類部３０１、及び重み係数選択部３０２である。このタイル分類部３０１は各タイルの性質から３つのカテゴリに分類するものであり、重み係数選択部３０２は３つのカテゴリに応じた重み係数から所望の重み係数を選択するものである。
【００４３】
ここで、図６を使ってタイル分類部３０１について詳しく説明する。
図６は、タイル分類部３０１の詳細構成を示す図である。同図において、１１１は図１に示す複雑タイル判定部１１１と全く同一で、当該タイルが複雑タイルであるか否かを判定する複雑タイル判定部、４０１は当該タイルが斜めタイルであるか否かを判定する斜めタイル判定部、４０２は複雑タイル判定部１１１と斜めタイル判定部４０１の出力を受けて当該タイルが複雑タイル、単純タイル、斜めタイルのいずれのタイルカテゴリに該当するかを判定する総合判定部である。
【００４４】
次に動作について説明する。
複雑タイル判定部１１１は、実施の形態１で説明した動作と全く同一の動作を行う。
【００４５】
次に、斜めタイル判定部４０１について図７を使って説明する。
図７は、斜めタイル判定部４０１の詳細構成を示す図である。図７において、５０１は所望のサブバンドの自己相関係数を計算する自己相関演算部、５０２は自己相関演算部５０１の出力である自己相関係数から当該タイルが斜めタイルであるか否かを判定する判定部である。
【００４６】
次に動作について説明する。自己相関演算部５０１では各タイルにおける最高解像度の分解レベルｎ（最高解像度）のＨＨ成分に対して自己相関係数Ａｔを以下の式（４）を使って計算する。
【００４７】
2004120466.tif 000006
【００４８】
ここで、ｘ、ｙは自己相関係数の位置を表しており、それぞれ−２≦ｘ≦２、−２≦ｙ≦２を満たす整数である。具体的には、Ａｔ（ｘ，ｙ）は図８に示す位置の自己相関係数を表している。
【００４９】
判定部５０２では、自己相関係数Ａｔ（ｘ，ｙ）を利用して当該タイルが斜め方向に相関が強い斜めタイルであるか否かを判定する。最初に２５個の自己相関係数Ａｔ（ｘ，ｙ）に対して負の値を持つものは０になるように補正する。補正された係数Ａｔ（ｘ，ｙ）に対して、以下の判定式（５），（６）によりそれぞれｓｕｍ１及びｓｕｍ２を求め、
【００５０】
Ｓｕｍ１　＝　Ａｔ（−２，−２）＋　Ａｔ（−１，−２）＋　Ａｔ（−２，−１）＋　Ａｔ（−１，−１）＋　Ａｔ（０，−１）＋　Ａｔ（−１，０）＋　Ａｔ（０，０）＋Ａｔ（１，０）＋　Ａｔ（０，１）＋　Ａｔ（１，１）＋　Ａｔ（２，１）＋　Ａｔ（１，２）＋　Ａｔ（２，２）；…（式５）
【００５１】
Ｓｕｍ２　＝　Ａｔ（２，−２）＋　Ａｔ（１，−２）＋　Ａｔ（２，−１）＋　Ａｔ（１，−１）＋　Ａｔ（０，−１）＋　Ａｔ（１，０）＋　Ａｔ（０，０）＋Ａｔ（−１，０）＋　Ａｔ（０，１）＋　Ａｔ（−１，１）＋　Ａｔ（−２，１）＋　Ａｔ（−１，２）＋　Ａｔ（−２，２）；…（式６）
【００５２】
次のようにｓｕｍ１とｓｕｍ２との比と、実験やシミュレーション等の経験により求めた閾値Ｔａと比較して、例えば以下に示すようにｓｕｍ１とｓｕｍ２との比が閾値Ｔａより大きい場合には当該タイルが斜めタイル、ｓｕｍ１とｓｕｍ２との比が閾値Ｔａより小さい場合には非斜めタイルであると判定する。
Ｉｆ（ｓｕｍ１／ｓｕｍ２＞Ｔａ）　ｏｒ　（ｓｕｍ２／ｓｕｍ１＞Ｔａ）　　　　・・・　斜めタイル
Ｅｌｓｅ　　　　　　　　　・・・　非斜めタイル
【００５３】
図９は、ｓｕｍ１及びｓｕｍ２が、それぞれどの自己相関係数の和をとったものかをわかりやすく説明する図である。図９（ａ）の網掛けで示している右下がりの自己相関係数の和がｓｕｍ１を、図９（ｂ）の網掛けで示している右上がりの自己相関係数の和がｓｕｍ２を表している。本判定では、ｓｕｍ１とｓｕｍ２のいずれかに偏りがある場合に斜めタイルと判定するようにしている。
【００５４】
ここで図６に戻り、総合判定部４０２では、複雑タイル判定部１１１、及び斜めタイル部４０１の判定出力を受けて、例えば以下に示すように複雑タイルの判定出力の入力が無しであれば単純タイルのカテゴリ、複雑タイルの判定出力の入力が有れば、斜めタイルの判定出力の入力の有無により無しであれば複雑タイルのカテゴリ、あれば斜めタイルのカテゴリと判定し、当該タイルが複雑タイル、単純タイル、斜めタイルのいずれのタイルカテゴリであるかを判定する。
【００５５】
ｉｆ（複雑タイル）　｛
ｉｆ（斜めタイル）　　・・・　斜めタイル
ｅｌｓｅ　　　　　・・・　複雑タイル
｝
ｅｌｓｅ　　　　　　　　　・・・　単純タイル
【００５６】
ここで、最終的に斜めタイルと判定されるタイルはある程度ＨＨ成分の平均電力が高いことが条件となっていることがわかる。
【００５７】
以上の構成により、注目タイルが複雑タイル、単純ファイル、斜めタイルのいずれのカテゴリ属するか分類できたら、その信号はいったんタイル種別メモリ１１２に格納される。
【００５８】
本実施の形態２の重み係数選択部３０２は、複雑タイル、単純タイル、斜めタイルに対応したサブバンド毎の重み係数を予め格納しており、タイル種別メモリ１１２からの注目タイルのタイルカテゴリや、レート制御部１１４からの現在処理しようとしている符号化パスが所属する色成分、およびサブバンドを示すインデックスを選択信号として、これらの選択信号に基づきサブバンド毎の重み係数を選択する。
【００５９】
こうして歪メモリ１０９から出力される歪データに対応する重み係数が重み係数選択部３０２から選択されて乗算器１１０へ出力され、乗算器１１０にて歪データとそれに対応する重み係数が乗じられた後、レート制御部１１４では、上記実施の形態１の場合と同様に、符号化データでの符号量制御、すなわちレート制御を行う。
【００６０】
以上のように、本実施の形態２においては、各タイルをその性質から複雑タイル、単純タイル、斜めタイルの３つのカテゴリに分類し、それぞれのタイルカテゴリに適したようにサブバンド毎に重みを設定することできる。これにより、実施の形態１の場合と同様に、全タイルにわたり均一の重み設定だった従来方式に比べ、さらに画質設定の自由度が広がったことにより、より細かな画質調整が可能になるという効果がある。
【００６１】
特に、実施の形態１に比べタイルカテゴリが複雑タイル、単純タイル、斜めタイルの３種類に増えたことにより、画質設定の自由度が広がり、より細かな画質調整が可能になるという効果がある。例えば、原画像に斜線や斜めエッジが多く存在するような画像をタイル分割して符号化する場合には、例えば単純タイルには背景領域の揺らぎテクスチャに相当するサブバンドに高い重みを設定し、複雑タイルには関連するサブバンドの重みを低く設定、さらに斜めタイルについては斜め成分、つまりＨＨ成分を中心に高い重みを設定するようにする。こうすることで、タイル境界部に発生する線状の歪を抑制できるだけでなく、斜めエッジが多く存在するタイルでもジャギーが発生することなく良好な画像を再現できるという効果がある。
【００６２】
実施の形態３．
基本的なブロック構成図は、実施の形態２で説明した図５と同一である。本実施の形態３では、図５におけるタイル分類部３０１の構成が異なっており、具体的には新たに肌色タイルの検出処理が付加されている。以下、本実施の形態３におけるタイル分類部の構成、動作について図１０を使って説明する。
【００６３】
図１０は、本実施の形態３のタイル判定部３０１の詳細構成を示している。図１０において、１１１は図１や図６に示すものと同じ複雑タイル判定部、４０１は図６に示すものと同じ斜めタイル判定部である。８０１は当該タイルが肌色の多いタイルであるか否かを検出する肌色タイル判定部、８０２は複雑タイル判定部１１１と斜めタイル判定部４０１と肌色タイル判定部８０１の出力を受けて、当該タイルが後述する４つタイルカテゴリのいずれに該当するかを判定する総合判定部である。
【００６４】
次に動作について説明する。
まず、肌色タイル判定部８０１では、各係数が肌色であるか否かを検出する。具体的には、色座標変換部１０１でＲＧＢ信号をＨＳＬ表色系の信号に変換し、そのウェーブレット変換後の０ＬＬ成分が、Ｈ（色相）、Ｓ（彩度）、Ｌ（明度）全ての色成分に対してある閾値の範囲にある場合に肌色と判定する。それぞれのの色成分の上限、下限の閾値を、添え字ｍａｘ、ｍｉｎで表すと、この判定は次のように示すことができる。
【００６５】
ｉｆ（　（Ｈｍｉｎ＜Ｈ（ｉ，ｊ）＜Ｈｍａｘ）　ａｎｄ　（Ｓｍｉｎ＜Ｓ（ｉ，ｊ）＜Ｓｍａｘ）　ａｎｄ（Ｌｍｉｎ＜Ｌ（ｉ，ｊ）＜Ｌｍａｘ）　）・・・　肌色
ｅｌｓｅ　　・・・　非肌色
【００６６】
肌色タイル判定部８０１は、こうして検出された肌色の係数をカウントし、そのカウント値が所定の閾値よりも大きければ、肌色タイルと判定して出力する。
【００６７】
なお、複雑タイル判定部１１１および斜めタイル判定部４０１は、上述の実施の形態１や実施の形態２の場合と同様に動作する。
【００６８】
総合判定部８０２では、複雑タイル判定部１１１、斜めタイル判定部４０１、肌色タイル判定部８０１の判定出力を入力して、当該タイルが複雑タイル、単純タイル、斜めタイル、肌色タイルのいずれに属するかを、例えば以下に示すように判定する。つまり、肌色タイルの判定出力が入力していれば肌色タイルのカテゴリと判定し、肌色タイルの判定出力が入力していなければ、複雑タイルの判定出力の入力の有無により無しであれば単純タイルのカテゴリ、複雑タイルの判定出力の入力が有れば、斜めタイルの判定出力の入力の有無により無しであれば複雑タイルのカテゴリ、あれば斜めタイルのカテゴリと判定する。
【００６９】
ｉｆ（肌色タイル）　　　　　　　　　・・・　肌色タイル
ｅｌｓｅ　ｉｆ（複雑タイル）　｛
ｉｆ（斜めタイル）　・・・　斜めタイル
ｅｌｓｅ　　　　　　・・・　複雑タイル
｝
ｅｌｓｅ　　　　　　　　　　　　　　　・・・　単純タイル
【００７０】
以上の構成により、注目タイルが複雑タイル、単純ファイル、斜めタイル、肌色タイルのいずれのカテゴリ属するか分類できたら、その信号はいったんタイル種別メモリ１１２に格納される。
【００７１】
ところで、本実施の形態３の重み係数選択部３０２には、複雑タイル、単純タイル、斜めタイル、肌色タイルに対応した各サブバンドの重み係数が格納されており、実施の形態１，２等の場合と同様に、タイルカテゴリやサブバンドを示す選択信号等によって選択される。なお、上述の実施の形態２の重み係数選択部３０２には、複雑タイル、単純タイル、斜めタイルの３種類のタイルに対応した重み係数が格納されているが、本実施の形態３では複雑タイル、単純ファイル、斜めタイル、肌色タイルの４種類のタイルに対応した重み係数を格納されているものとする。
【００７２】
こうして歪メモリ１０９から出力される歪データに対応する重み係数が重み係数選択部３０２から選択されて乗算器１１０へ出力され、乗算器１１０にて歪データとそれに対応する重み係数が乗じられた後、レート制御部１１４でレート制御が行われる。
【００７３】
以上のように、本実施の形態３においては、各タイルをその性質から複雑タイル、単純ファイル、斜めタイル、肌色タイルの４つのカテゴリに分類し、それぞれのタイル種別に適したようにサブバンド毎に重みを設定することできる。これにより、実施の形態１，２の場合と同様に、全タイルにわたり均一の重み設定だった従来方式に比べ、さらに画質設定の自由度が広がったことにより、より細かな画質調整が可能になるという効果がある。
【００７４】
特に、実施の形態２の場合に比べ、タイルカテゴリが複雑タイル、単純ファイル、斜めタイル、肌色タイルの４種類に増えたことにより、画質設定の自由度が広がり、より細かな画質調整が可能になるという効果がある。例えば、人物画像があげられる。従来方式では、人物画像において、人の肌（特に顔）に存在する細かなテクスチャと斜め方向の髪の毛は、ウェーブレット変換した際にはそれぞれ異なるサブバンドにその特徴が現れるため、両者の画質を同時に満足させることが難しかったが、本実施の形態３では、まず、肌色タイルに対してはそこに存在するテクスチャに該当するサブバンドに高い重みを設定し、斜めの髪の毛が該当する斜めタイルについても同様に関連するサブバンドに高い重みを設定し、背景領域と識別される単純タイルや、背景領域と識別されない複雑タイルには実施の形態１、２で説明した場合と同様に重みを設定する。こうすることで、肌色のテクスチャ、斜めの髪の毛の両方の画質を同時に満足させ、かつタイル境界に発生する線状の歪も抑制することができるという効果がある。
【００７５】
実施の形態４．
実施の形態２で述べた斜めタイル判定部４０１では、図８に示すように周囲２４画素を参照する構成としたが、本実施の形態４では、例えば図１１に示すように周囲８画素を参照して斜め方向を検出することを特徴とする。この場合、斜めタイル判定部４０１の判定部５０２での判定処理は、実施の形態２の場合と同様に、まず９個の自己相関係数Ａｔ（ｘ，ｙ）に対して負の値を持つものは０になるように補正し、補正された係数Ａｔ（ｘ，ｙ）に対して、以下の判定式（式７），（式８）によりそれぞれｓｕｍ１及びｓｕｍ２を求め、ｓｕｍ１とｓｕｍ２との比と、実験やシミュレーション等の経験により求めた閾値Ｔａと比較して、例えば以下に示すようにｓｕｍ１とｓｕｍ２との比が閾値Ｔａより大きい場合には当該タイルが斜めタイル、ｓｕｍ１とｓｕｍ２との比が閾値Ｔａより小さい場合には非斜めタイルであると判定する。
【００７６】
ｓｕｍ１＝　Ａｔ（−１，−１）＋Ａｔ（１，１）；　　　　　　…（式７）
【００７７】
ｓｕｍ２＝　Ａｔ（１，−１）＋Ａｔ（１，−１）；　　　　　　…（式８）
【００７８】
Ｉｆ（ｓｕｍ１／ｓｕｍ２＞Ｔａ）　ｏｒ　（ｓｕｍ２／ｓｕｍ１＞Ｔａ）　・・・　斜めタイル
Ｅｌｓｅ　　　　　　　　　　　　　　　　・・・　非斜めタイル
【００７９】
図１１からもわかるように、本実施の形態４では、４５°の斜め方向の検出のみとなるため、若干斜めタイルの検出精度が低くなるものの、実施の形態２とほぼ同様の効果を奏することができる。さらに、参照するウェーブレット変換係数を減らすことで自己相関係数を計算する（式４）の演算量を少なくできるため、回路規模を削減でき、判定処理のスピードも向上できるという効果がある。
【００８０】
実施の形態５．
本実施の形態５は、実施の形態２で述べた斜めタイル判定方法とは異なる方法で斜めタイルを検出するものである。以下、図１２を使って、本実施の形態５における斜めタイル判定部４０１を説明する。
【００８１】
図１２は、本実施の形態５の斜めタイル判定部４０１の詳細構成を示す図である。図１２において、１００１は入力されてくるウェーブレット変換係数を２値化処理する２値化部、１００２は予め定めた斜め方向の２値パターンを記憶する斜めパターン記憶部、１００３は該２値化部１００１と斜めパターン記憶部１００２の出力を照合して注目している係数が斜めの方向性を持つか否かを識別するマッチング部、１００４は斜め方向の２値パターンとマッチングした係数の数をカウントするカウンタ部、１００５は最終的な斜めパターンの係数の数から当該タイルが斜めタイルか否かを判定する判定部である。
【００８２】
次に具体的な動作について説明する。
２値化部１００１では、各タイルにおける例えば最高解像度の分解レベルｎ（最高解像度）のＨＨ成分Ｃｔ（ｘ，ｙ）を、次に示すようにある閾値Ｔｃと比較して、２値化処理する。
【００８３】
Ｉｆ（Ｃｔ（ｘ，ｙ）　＞　Ｔｃ）　　　Ｂｔ（ｘ，ｙ）　＝　１；
Ｅｌｓｅ　　　　　　　　　Ｂｔ（ｘ，ｙ）　＝　０；
【００８４】
マッチング部１００３では、この２値化処理結果Ｂｔ（ｘ、ｙ）に対して、斜めパターン記憶部１００２にあらかじめ格納されている斜め方向の２値パターンとのマッチングを行い、これに合致すれば１を、そうでなければ０を出力する。
【００８５】
図１３に、斜めパターン記憶部１００２にあらかじめ格納されている斜め方向の２値パターンの一例を幾つか示す。これら図１３に示す各斜め方向の２値パターン例中“ｘ”は、参照しない２値化結果（Ｄｏｎ‘ｔ　Ｃａｒｅ）を表している。
【００８６】
カウンタ部１００４では、該マッチング部１００３の出力が１の場合にはカウント値Ｎｔに＋１を加算し、そうでなければなにも加算しない。こうして、斜めパターンとマッチングする係数の数Ｎｔをタイル単位にカウントし、判定部１００５では、以下に示すように最終的なカウント値Ｎｔを閾値Ｔｎと比較することによって、当該タイルが斜めタイルか否かを判定する。
【００８７】
Ｉｆ（Ｎｔ　＞　Ｔｎ）　　　　・・・　斜めタイル
Ｅｌｓｅ　　　　　　　　・・・　非斜めタイル
【００８８】
以上のように、本実施の形態５によれば、各タイルにおける最高解像度の分解レベルｎ（最高解像度）のＨＨ成分の２値化処理して、事前に登録しておいた斜め方向の２値パターンとマッチングをとることにより、斜めタイルを検出することができ、実施の形態２と同様の効果を奏することができる。
【００８９】
特に、実施の形態２では、自己相関係数を演算するために２５回の乗算を行う必要があったが、本実施の形態５で説明した構成によれば、予め定められた斜めパターンを記憶しておき、それとのパターンマッチングの処理だけで斜めタイルを判定することができるため、実施の形態２の場合と較べ、少ないＨ／Ｗ規模で実装でき、かつ、高速判定が可能であるという効果がある。
【００９０】
実施の形態６．
実施の形態５で述べた斜めタイル判定部４０１では、図１３に示すように周囲２４画素を参照する構成としたが、本実施の形態６では、実施の形態４と同様に、図１４に示すように周囲８画素を参照して斜め方向を検出することを特徴とする。
【００９１】
このようにすれば、実施の形態４の場合と同様、同図からもわかるように、本実施の形態６では４５°の斜め方向の検出のみとなるため、若干斜めタイルの検出精度が低くなるものの、実施の形態５とほぼ同様の効果を奏することができる。さらに、参照画素を小さくすることで不図示のラインメモリの容量や、斜めパターンを記憶する容量などを削減できると共に、高速に判定できるという効果もある。
【００９２】
なお、上記実施の形態１〜６では、複雑タイル判定部１１１の複雑度の計算を、ＨＨ成分の平均電力として説明したが、これに限るものではない。参照するサブバンドをＨＨ成分に限定させず、ＨＬ，ＬＨ，ＨＨ全ての高域成分を利用しても良い。また複雑度も平均電力ではなく、例えば係数の絶対値や分散などによって計算しても良い。特に、絶対値を用いれば二乗計算を行わなくてすむためＨ／Ｗ規模も少なくてすむ。
【００９３】
また、上記実施の形態２〜６等では、斜めタイル判定部４０１では、最高解像度の分解レベルのＨＨ成分を参照して計算を行うものとして説明したが、これに限るものではなく、他のＨＬ，ＬＨ等のサブバンドを参照して斜めタイルの検出を行っても良い。
【００９４】
また、上記実施の形態５，６等で説明した図１３、１４に示した斜めパターンは一例であり、これに限ったものではない。特に、同図は１ドットの線幅の斜線（または斜めエッジ）であるが、例えばこれを線幅２ドットのものも検出できるようにしても良い。
【００９５】
また、上記実施の形態１〜６では、画質を制御するための方法として周波数重み付け技術（Ｆｒｅｑｕｅｎｃｙ　Ｗｅｉｇｈｔｉｎｇ）を利用して、サブバンド毎に設定された重みを歪みに乗じるように説明したが、これに限らず、サブバンド毎に設定された重みを、ウェーブレット変換部１０３の出力であるウェーブレット変換係数に乗じることにより、所望のサブバンドを強調した画質制御を可能にしても良い。このようにする場合には、歪みメモリ１０９の出力である歪はそのまま直接レート制御部１１４に入力し、重み係数選択部１１３からの重み係数はウェーブレット変換部１０３と量子化部１０４の間でタイル分類部３０１への分岐点より量子化部１０４側に新たに設けた乗算器に入力するように構成すればよい。これにより、例えば、必ずある程度の距離を離れて再生画像を見る環境では、細かな解像度が必要ないため、ウェーブレット変換係数の最高解像度成分に低い重みを設定し、その分他の低解像度の変換係数に有効に情報量を割り当てることができるようになる。
【００９６】
また、上記実施の形態１〜６では、画像信号を周波数成分へ変換する変換部を、ＪＰＥＧ２０００等で規格化されているウエーブレット変換部１０３を一例として説明したが、本発明では、ウエーブレット変換部１０３に限定されるものではなく、画像信号を周波数成分へ変換することが可能な変換方式であれば何でも良い。
【００９７】
また、上記実施の形態１〜６で説明した画像符号化装置をＬＳＩとして、またその画像符号化方法をソフトウエアとして、静止画像を入力画像として処理するディジタルカメラや監視カメラ、イメージスキャナ等の画像処理装置に実装されることは言うまでもない。このような画像処理装置では、この画像符号化装置により符号量を制御された符号化データを各種画像処理したり、さらには通信処理部を介して送受信することができる。
【００９８】
【発明の効果】
以上説明したように、本発明によれば、変換係数を参照して各タイルをその性質に応じ複数のカテゴリに分類すると共に、その複数のカテゴリ毎に上記量子化歪に重みを付け、重み係数が付けられた量子化歪に基づいてエントロピー符号化された符号データの符号量を制御するようにしたので、入力画像をタイル分割して符号化する場合でも、タイルに応じて画像信号の符号化レートを弾力的に制御することができる。
【００９９】
その結果、全タイルにわたり均一の重み設定だった従来方式に比べると、画質設定の自由度が広がったことにより、各タイルの性質に応じより細かな画質調整が可能になり、画像全体の符号化レートを下げるようなことがあっても良好な再生画像を得ることができることになる。例えば、タイル境界に発生する線状の歪を抑制したい場合には、背景領域に存在する細かな揺らぎテクスチャを残すために、背景領域と識別される単純タイルに対しては、揺らぎテクスチャに該当するサブバンド成分に高い重みを設定する。その一方、背景領域と識別されない複雑タイルにおいては必要以上に情報量が割り当てられている可能性が高いので、複雑タイルにおいて比較的重要度の低い高域成分に低い重みを設定する。このように、複雑タイルで稼いだ情報量を単純タイルの揺らぎテクスチャに相当するサブバンドに割り当てることにより、タイル境界を抑制できるという効果がある。
【図面の簡単な説明】
【図１】実施の形態１の画像符号化装置を示すブロック構成図。
【図２】ウェーブレット変換部１０３の構成や動作の概略例を示す図。
【図３】図１に示す重み係数選択部１１３の詳細構成を示す図。
【図４】歪メモリ１０９、タイル種別メモリ１１２、重み係数選択部１１３にデータを格納する一例を示す図。
【図５】実施の形態２の画像符号化装置を示すブロック構成図。
【図６】実施の形態２のタイル分類部３０１の詳細構成を示す図。
【図７】実施の形態２の斜めタイル判定部４０１の詳細構成を示す図。
【図８】自己相関演算部５０１における自己相関係数の一例を示す図。
【図９】ｓｕｍ１及びｓｕｍ２が、それぞれどの自己相関係数の和をとったものかをわかりやすく説明する図。
【図１０】実施の形態３のタイル判定部３０１の詳細構成を示を示す図。
【図１１】実施の形態４において斜め方向を検出する際の参照画素を示す図。
【図１２】実施の形態５の斜めタイル判定部４０１の詳細構成を示す図。
【図１３】実施の形態５における斜めパターン記憶部１００２にあらかじめ格納されている斜め方向の２値パターンの一例を示す図。
【図１４】実施の形態６における斜めパターン記憶部１００２にあらかじめ格納されている斜め方向の２値パターンの一例を示す図。
【符合の説明】
１０１　色座標変換部、１０２　タイル分割部、１０３　ウェーブレット変換部、１０４　量子化処理部、１０５　係数モデリング部、１０６　エントロピー符号化部、１０７　符号メモリ、１０８　歪計算部、１０９　歪メモリ、１１０乗算器、１１１　複雑タイル判定部、１１２　タイル種別メモリ、１１３　重み係数選択部、１１４　レート制御部、３０１　タイル分類部。
【図１】
2004120466.tif 000007
【図２】
2004120466.tif 000008
【図３】
2004120466.tif 000009
【図４】
2004120466.tif 000010
【図５】
2004120466.tif 000011
【図６】
2004120466.tif 000012
【図７】
2004120466.tif 000013
【図８】
2004120466.tif 000014
【図９】
2004120466.tif 000015
【図１０】
2004120466.tif 000016
【図１１】
2004120466.tif 000017
【図１２】
2004120466.tif 000018
【図１３】
2004120466.tif 000019
【図１４】
2004120466.tif 000020