(57)【要約】【課題】タイル化された画像のウェーブレット変換符号化において、タイル境界周辺の変換係数のうち、特定の変換係数を優先符号化するようにして、タイル周辺とタイル内部の双方において優れた画質を維持する。【解決手段】タイル分割し、ウェーブレット変換し、量子化し、エントロピ符号化する符号化装置において、タイル分割した画像情報をウェーブレット変換した変換係数のうち、特定の変換係数を選択する変換係数選択部１０５と、この選択された特定変換係数を優先符号化するようシフトする変換係数シフト部１０３とを備えて、このシフト後の対象に対してエントロピ符号化する。【選択図】        図１
2005006211.tif 000002
【特許請求の範囲】
【請求項１】
タイル分割し、ウェーブレット変換し、量子化し、エントロピ符号化する符号化装置において、
上記タイル分割した画像情報をウェーブレット変換した変換係数のうち、タイル境界近傍の特定の変換係数を選択する変換係数選択部と、
上記選択された特定変換係数を優先符号化するようシフトする変換係数シフト部とを備えて、
上記シフト後の対象に対してエントロピ符号化することを特徴とする特定変換係数優先符号化装置。
【請求項２】
変換係数シフト部は、特定変換係数として選択された係数以外の変換係数の最大絶対値を２進数で表現した場合の桁数をＳとした場合、特定変換係数をＳビット優先符号化されるようシフトすることを特徴とする請求項１記載の特定変換係数優先符号化装置。
【請求項３】
変換係数選択部は、タイル境界近傍の変換係数のうち、所定のサブバンドのタイル境界近傍の変換係数のみを特定変換係数として選択することを特徴とする請求項２記載の特定変換係数優先符号化装置。
【請求項４】
変換係数選択部は、タイル境界近傍の変換係数のうち、水平方向低周波、垂直方向低周波のサブバンドでは上下左右の境界に配置された変換係数を、水平方向高周波、垂直方向低周波のサブバンドでは上下の境界に配置された変換係数を、水平方向低周波、垂直方向高周波のサブバンドでは左右の境界に配置された変換係数を、特定変換係数として選択することを特徴とする請求項２記載の特定変換係数優先符号化装置。
【請求項５】
変換係数選択部は、タイル境界近傍の変換係数のうち、各サブバンド内の、他のタイルとの隣接部分に配置された変換係数を特定変換係数として選択することを特徴とする請求項２記載の特定変換係数優先符号化装置。
【請求項６】
タイル分割し、ウェーブレット変換し、量子化し、エントロピ符号化する符号化装置と、該符号化装置に対応する復号装置で構成されるシステムにおいて、
上記タイル分割した画像情報をウェーブレット変換した変換係数のうち、タイル境界近傍の特定の変換係数を選択する変換係数選択部と、上記選択された特定変換係数を優先符号化するようシフトする変換係数シフト部とを備えて、上記シフト後の対象に対してエントロピ符号化し、優先符号化のシフト情報を付加して送信する符号化装置と、
上記符号化装置から受信したデータをエントロピ復号したものを、上記優先符号化のシフト情報に基づいてシフトを戻して後、逆量子化部へデータを送る変換係数シフトダウン部を備えて、ウェーブレット逆変換し、タイル合成する復号装置、とで構成されることを特徴とする特定変換係数優先符号化復号システム。
【請求項７】
符号化装置の変換係数シフト部は、特定変換係数として選択された係数以外の変換係数の最大絶対値を２進数で表現した場合の桁数をＳとした場合、特定変換係数をＳビット優先符号化し、かつ符号化装置は該シフト桁数情報を送信し、
対応して復号装置では上記送られたシフト桁数情報を用いてシフトダウンすることを特徴とする請求項６記載の特定変換係数優先符号化復号システム。
【請求項８】
タイル分割し、ウェーブレット変換し、量子化し、エントロピ符号化する符号化方法において、
上記タイル分割した画像情報をウェーブレット変換した変換係数のうち、タイル境界近傍の特定の変換係数を選択する変換係数選択ステップと、
上記選択された特定変換係数を優先符号化するようシフトする変換係数シフトステップと、
上記シフト後の対象に対してエントロピ符号化するエントロピ符号化ステップ、とを備えたことを特徴とする特定変換係数優先符号化方法。
【請求項９】
変換係数シフトステップは、特定変換係数として選択された係数以外の変換係数の最大絶対値を２進数で表現した場合の桁数をＳとした場合、特定変換係数をＳビット優先符号化されるようシフトするようにしたことを特徴とする請求項８記載の特定変換係数優先符号化方法。
【請求項１０】
変換係数選択ステップは、タイル境界近傍の変換係数のうち、所定のサブバンドのタイル境界近傍の変換係数のみを特定変換係数として選択することを特徴とする請求項９記載の特定変換係数優先符号化方法。
【請求項１１】
変換係数選択ステップは、タイル境界近傍の変換係数のうち、水平方向低周波、垂直方向低周波のサブバンドでは上下左右の境界に配置された変換係数を、水平方向高周波、垂直方向低周波のサブバンドでは上下の境界に配置された変換係数を、水平方向低周波、垂直方向高周波成分のサブバンドでは左右の境界に配置された変換係数を、特定変換係数として選択するようにしたことを特徴とする請求項９記載の特定変換係数優先符号化方法。
【請求項１２】
変換係数選択ステップは、タイル境界近傍の変換係数のうち、各サブバンド内の、他のタイルとの隣接部分に配置された変換係数を特定変換係数として選択するようにしたことを特徴とする請求項９記載の特定変換係数優先符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はタイル化した画像の伝送において、高画質を保ちつつ伝送量を抑える画像符号化装置、システム、方法に関するものである。
【０００２】
【従来の技術】
現在インターネットを中心に静止画像符号化アルゴリズムＪＰＥＧが広く普及しているが、一方でさらなる性能改善、機能付加の要求を背景として、１９９７年より次世代静止画像符号化標準化ＪＰＥＧ２０００プロジェクトがＩＳＯとＩＴＵ−Ｔの合同機関によりスタートした。２０００年１２月には同ＪＰＥＧ２０００アルゴリズムの基本方式を定めたパート１（ＩＳＯ／ＩＥＣ  １５４４４−１）が、２００１年１１月には拡張方式を定めたパート２（ＩＳＯ／ＩＥＣ  １５４４４−２）が完成した。
ＪＰＥＧ２０００では、画像をウェーブレット変換によりウェーブレット変換係数に変換し、変換係数の絶対値を自然２進数で表現したときのビットプレーンを上位プレーンから順にコンテクストモデリングを使った算術符号化によりエントロピ符号化する。これにより、ＪＰＥＧ２０００は優れた圧縮性能を有するだけでなく、従来のＪＰＥＧにない様々な機能を提供する。
【０００３】
例えば、空間的に特定の領域ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）を優先的に（高画質に）符号化するＲＯＩ符号化という手法が規定されている。この手法では、指定された特定の画像領域に対応する各サブバンドの変換係数をシフトアップした上で、変換係数を上位ビットプレーンからエントロピ符号化する。これにより、指定された領域に対応する変換係数が先に符号化され、途中のビットプレーンで符号化を終了した場合に、他の領域に対応する変換係数に比べてより高精度に符号化されることになる。
ＪＰＥＧ２０００の符号化アルゴリズムでは、入力画像をタイルと呼ばれる複数の矩形小ブロックに分割し、各タイルを独立に処理することが可能である。しかし、符号化レートを低くしていくと、タイル境界における僅かな画質の差がタイル状の歪みとして検知され、滑らかさが損なわれた画像になってしまう。
【０００４】
そのため、従来の画像符号化方式では、このようなタイル境界に発生する歪を抑制するため、様々な手法が提案されている。例えば、特許文献１に示された装置／方法においては、ＲＯＩ符号化を使った方式が示されている。この方法では、図２のように画像信号をタイル分割した上で、タイル内の隣接タイル近傍画素（図１３（ａ）に網掛けで示した部分）をＲＯＩとして指定して符号化する。これにより再生画像では、タイル境界付近が高画質に再生され、タイル境界が検知され難くなることが期待できる。
なお、画像領域で図１３（ａ）の網掛け部分のようにＲＯＩを指定すると、優先的に符号化される変換係数（画像領域で指定したＲＯＩ画素を使って算出される変換係数）は、通常、図１３（ｂ）の網掛けで示すように、全サブバンドで、しかも空間的に範囲が広くなって分布することになる。
【０００５】
【特許文献１】
特開２００２−３６９２０２号広報
【０００６】
【発明が解決しようとする課題】
前述のように、タイル分割を使った符号化では符号化レートを低くしていくと、タイル境界における僅かな画質の差がタイル状の歪みとして検知され、滑らかさが損なわれた画像になってしまう。
また、上記従来例に示したタイル歪み低減方法では、タイル内の隣接タイル近傍画素をＲＯＩとして指定して符号化するが、画像領域で指定したＲＯＩ（図１３（ａ）に網掛けで示した部分）に対応する変換係数は、通常、指定された領域の画素を使って生成される変換係数（図１３（ｂ）に網掛けで示した部分）となる。そのため、再生画像ではタイル境界近傍の領域に多くの符号量が割り当てられて高画質になるため、タイル境界が目立たなくなる一方、タイル内部に十分な符号量が割り当てられなくなり、タイル内部で画質が劣化するという課題がある。
【０００７】
この発明は、以上のような課題を解決するためになされたもので、タイル境界近傍画素に対応する変換係数のうち、特定の変換係数のみを優先的に符号化する変換係数として指定することにより、タイル境界近傍とタイル内部の両方において優れた画質を維持する符号化装置及び方法を得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る特定変換係数優先符号化装置は、タイル分割し、ウェーブレット変換し、量子化し、エントロピ符号化する符号化装置において、
タイル分割した画像情報をウェーブレット変換した変換係数のうち、タイル境界近傍の特定の変換係数を選択する変換係数選択部と、この選択された特定変換係数を優先符号化するようシフトする変換係数シフト部とを備えて、
このシフト後の対象に対してエントロピ符号化する。
【０００９】
【発明の実施の形態】
実施の形態１．
以下、この発明を順次、各実施の形態に従って説明する。
図１は、この発明の実施の形態１における特定係数優先符号化装置及び方法の構成を示すブロック図である。図１において、符号化器は、入力画像信号を複数のタイルＴｉ（ｘ，ｙ）に分割するタイル分割部１００、各タイルの画像信号をウェーブレット変換するウェーブレット変換部１０１、必要に応じてウェーブレット変換係数を量子化する量子化部１０２、ＲＯＩ変換係数選択部からの指示に応じて特定の変換係数をビットシフトする変換係数シフト部１０３、変換係数をエントロピ符号化するエントロピ符号化部１０４、及び優先的に符号化されるウェーブレット変換係数を選択するＲＯＩ変換係数選択部１０５で構成される。
【００１０】
図１のタイル分割部１００において、入力画像信号は、重なり合いのない複数のタイルに分割される。図２に、入力画像を４つのタイルに分解する例を示す。以下、ｉ番目のタイルの座標（ｘ，ｙ）の画素値をＴｉ（ｘ，ｙ）（０≦ｘ＜ｘ１，０≦ｙ＜ｙ１）で表すものとする。
【００１１】
次にウェーブレット変換部１０１において、各タイルをウェーブレット変換する。ウェーブレット変換では、最初に画像信号に対し、垂直（あるいは水平）方向に１次元ウェーブレット変換を施し、低域成分と高域成分に分割した後、両成分に対し水平（あるいは垂直）方向にも１次元ウェーブレット変換を施す。この結果、以下の４つのサブバンドが生成される。
ＬＬ成分（水平方向低周波成分、垂直方向高周波成分）
ＨＬ成分（水平方向高周波成分、垂直方向低周波成分）
ＬＨ成分（水平方向低周波成分、垂直方向高周波成分）
ＨＨ成分（水平方向高周波成分、垂直方向高周波成分）
【００１２】
更に、ＬＬ成分を再帰的に４バンドに分割する処理を、所定の回数だけ繰り返す。以後、４バンドへの分割をＮ回行った後の各バンドの変換係数をそれぞれ、ａＮ，ＬＬ（ｘ，ｙ）、ａＮ，ＨＬ（ｘ，ｙ）、ａＮ，ＬＨ（ｘ，ｙ）、ａＮ，ＨＨ（ｘ，ｙ）と表記し、Ｎを分割レベルと呼ぶこととする。
図３は、Ｎ＝３とした場合の、タイルのウェーブレット変換を示す図である。
ウェーブレット変換のフィルタは、例えば静止画像符号化標準ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）で使用されているものなど任意のフィルタが使用可能である。ここでは、ＪＰＥＧ２０００に使用されている以下の式（１）、式（２）で示されるフィルタを使用する場合を例にとって説明する。
【００１３】
【数１】
2005006211.tif 000003
【００１４】
ここで、ｕ（ｎ）はタイルの画像信号あるいは変換係数ＬＬ度成分の水平方向に並んだサンプル値、あるいは垂直方向に並んだサンプル値を表す。ｖ（２ｎ）が低域成分、ｖ（２ｎ＋１）が高域成分である。
【００１５】
次に、必要に応じて量子化部１０２において、変換係数の量子化を行う。本実施の形態では、量子化は行わないもの（量子化ステップサイズΔ＝１）として説明を行う。
ＲＯＩ変換係数選択部１０５においては、タイル分割部１００からのタイル分割情報に応じて、優先的に符号化するウェーブレット変換係数（以降、ＲＯＩ変換係数と呼ぶ。また、ＲＯＩ変換係数以外の変換係数を非ＲＯＩ変換係数と呼ぶ）を決定し、各変換係数がＲＯＩ変換係数か否かを示すビットで構成されたビットマップ（以後、変換係数マスクデータと呼ぶ）を作成する。ここで、サブバンドの変換係数ａＮ，ＬＬ（ｘ，ｙ）、ａＮ，ＨＬ（ｘ，ｙ）、ａＮ，ＬＨ（ｘ，ｙ）、ａＮ，ＨＨ（ｘ，ｙ）とそれぞれに対する変換係数マスクデータをＭＮ，ＬＬ（ｘ，ｙ）、ＭＮ，ＨＬ（ｘ，ｙ）、ＭＮ，ＬＨ（ｘ，ｙ）、ＭＮ，ＨＨ（ｘ，ｙ）と表記する。ＭＮ，・・（ｘ，ｙ）＝１の場合、ａＮ，・・（ｘ，ｙ）はＲＯＩ変換係数、ＭＮ，・・（ｘ，ｙ）＝０の場合、ａＮ，・・（ｘ，ｙ）は非ＲＯＩ変換係数となる。また、以下の説明中、ａＮ，・・（ｘ，ｙ）、ＭＮ，・・（ｘ，ｙ）のｘ座標あるいはｙ座標が定義域を超えた場合は全て、ａＮ，・・（ｘ，ｙ）＝０、ＭＮ，・・（ｘ，ｙ）＝０とする。
【００１６】
本実施の形態では、各タイルにおける隣接タイル近傍の画素に対応する変換係数のうち、低解像度に属する変換係数をＲＯＩ変換係数とする。ＲＯＩ変換係数選択部１０５では、ＲＯＩ変換係数決定に際し、最初に、分割レベル０での変換係数マスクデータＭ０，ＬＬ（ｘ，ｙ）（画像領域でのＲＯＩを示す）を設定する。これには、隣接タイルに接する画素に対応するマスクデータの値を１にする。つまり、あるタイルＴｉ（ｘ，ｙ）（０≦ｘ＜ｘ１，０≦ｙ＜ｙ１）において、上下左右でタイルと接している場合、以下のように設定する。
Ｍ０，ＬＬ（ｘ，０）＝１        （０≦ｘ＜ｘ１）
Ｍ０，ＨＬ（ｘ，ｙ１−１）＝１  （０≦ｘ＜ｘ１）
Ｍ０，ＬＨ（０，ｙ）＝１        （０≦ｙ＜ｙ１）
Ｍ０，ＨＨ（ｘ１−１，ｙ）＝１  （０≦ｙ＜ｙ１）
上記以外  Ｍ０（ｘ，ｙ）＝０              式（３）
【００１７】
次に、このレベル０での変換係数マスクデータをウェーブレット変換と同様に分割していき、各ウェーブレット変換係数がＲＯＩに属すか否かを示す変換係数マスクデータを生成する。図４（ａ）に分割レベル０での変換係数マスクデータを、また、図４（ｂ）に最終的に決定された変換係数マスクデータの例を示す。このように、従来のように画像領域で指定された特定領域に対応する全分割レベルのタイル境界近傍変換係数を優先符号化するのではなく、ウェーブレット変換係数領域で式（３）のＭ＝１となる領域のみをＲＯＩ変換係数として指定する。こうすることによって、タイル周辺に過多の符号量が割り当てられることがなくなり、タイル周辺のみでなく、タイル内部での画質も維持ができる。
変換係数マスクデータ生成の手順を図５〜図７のフローチャートを用いて説明する。ここでは、変換係数マスクデータ初期値で指定された画素を使って生成される変換係数のうち、分割レベルがあるレベルＮＲ＝３以上の解像度に属する変換係数のみをＲＯＩ変換係数とする例を示す。ＮＬはウェーブレット変換の分割レベル数、ｘ１，ｙ１はタイルの水平、垂直方向のサイズを示し、式（１）、式（２）で定義されるフィルタを使うものとする。
【００１８】
図５の処理ＲＯＩ＿ＣＯＥＦＦでは、分割レベル数ｌｅｖの変換係数を順に分割していき、分割レベルＮＬ＝３でのＲＯＩ変換係数を決定するまでの処理を行う。
まず、ステップ５０１で分割レベルの初期値を設定する。ステップ５０２のＣＲＥＡＴＥ＿ＭＡＳＫでは、分割レベルｌｅｖの変換係数マスクデータＭｌｅｖ，ＬＬを分割して、次の分割レベルｌｅｖ＋１の変換係数マスクデータを生成する。ただし、この時点では、各サブバンドの変換係数マスクデータが交互に並んでいるので、ステップ５０３のＤＥＩＮＴＥＲＬＥＡＶＥで並べ替えて、それぞれのサブバンドの変換係数マスクデータＭｌｅｖ＋１，ＬＬ、Ｍｌｅｖ＋１，ＨＬ、Ｍｌｅｖ＋１，ＬＨ、Ｍｌｅｖ＋１，ＨＨを生成する。ステップ５０４では、次のレベルの変換係数マスクデータのサイズをｘ１，ｙ１に設定する。以上の処理をウェーブレット変換の分割レベル数ＮＬまで繰り返す。
【００１９】
ステップ５０２ＣＲＥＡＴＥ＿ＭＡＳＫの詳細を図６に示す。この処理では、現在の分割レベルｌｅｖでのＲＯＩ変換係数と空間的に同じ位置にある変換係数だけでなく、分割レベルｌｅｖでのＲＯＩ変換係数を使って生成される全ての変換係数を、次の分割レベルｌｅｖ＋１でのＲＯＩ変換係数の候補とする。図８に式（１）、式（２）で定義されるフィルタを使った場合の一次元の変換を例に取って示す。この図において、分割レベルｌｅｖにおいて、ＬＬ成分の変換係数ｕ０〜ｕ１３のうち、ｕ４〜ｕ９がＲＯＩ変換係数である。この変換係数をウェーブレット変換して、分割レベルｌｅｖ＋１の変換係数ｖ０〜ｖ１３が生成される。ただし、ｖ２ｉ（ｉ＝０，１，２．．．）が低域成分、ｖ２ｉ＋１（ｉ＝０，１，２．．．）が高域成分である。ここで、分割レベルｌｅｖのｕ４〜ｕ９と分割レベルｌｅｖ＋１のｖ４〜ｖ９が空間的に同一位置の変換係数となるが、ウェーブレット逆変換を考えればわかるように、ｖ４〜ｖ９の外側の変換係数ｖ３，ｖ１０，ｖ１１も、ｕ４〜ｕ９を使って生成される。そこで、分割レベルｌｅｖ＋１では、変換係数ｖ３〜ｖ１１がＲＯＩ変換係数の候補となる。
【００２０】
ＣＲＥＡＴＥ＿ＭＡＳＫでは、ステップ６０１〜６１２で垂直方向にＭｌｅｖ，ＬＬを分解する。ステップ６０２では、該当する座標の変換係数が低域成分か高域成分かを判断する。低域成分の場合にはステップ６０３により、ＲＯＩ変換係数となる領域を拡張し、高域成分の場合にはステップ６０４により、拡張された変換係数マスクデータをメモリｐ（ｙ）に一時的に蓄える。ステップ６０２〜６０６を垂直方向の全ての変換係数に対して施した後、ステップ６０７〜６１０ではメモリｐ（ｙ）に蓄えられた変換係数マスクデータをＭｌｅｖ，ＬＬにコピーする。フローチャート内で、演算子“｜”は、ビット和（ＯＲ）、“％”は割り算での余りを表す。ステップ６１３〜６２４では水平方向に、垂直方向と同様の処理を行ってＭｌｅｖ，ＬＬを分解する。
【００２１】
ＣＲＥＡＴＥ＿ＭＡＳＫが終了した段階では、図１２（ａ）に示すように、分割レベルｌｅｖ＋１のＲＯＩ変換係数のＬＬ，ＨＬ，ＬＨ，ＨＨ各成分がＭｌｅｖ，ＬＬ（ｘ，ｙ）に交互に配置された状態なので、図７のＤＥＩＮＴＥＲＬＥＡＶＥによりそれらを分解し、図１２（ｂ）に示すように、分割レベルｌｅｖ＋１でのＬＬ，ＨＬ，ＬＨ，ＨＨ成分の変換係数マスクデータを生成する。ステップ７０１〜７０６でＬＬ成分の変換係数マスクデータを生成、ステップ７１０〜７１７でＨＬ成分の変換係数マスクデータを生成、ステップ７２０〜７２７でＬＨ成分の変換係数マスクデータを生成、ステップ７３０〜７３７でＨＨ成分の変換係数マスクデータを生成する。ただし、ＨＬ，ＬＨ，ＨＨ成分については、分割レベルが予め決められたある値ＮＲ以下の場合には、ＲＯＩ変換係数は全て削除するものとする。そこで、ＨＬ，ＬＨ，ＨＨ成分では、ステップ７１１，７２１，７３１で分割レベルがＮＲ以上か否かを判断し、分割レベルがＮＲに満たない分割レベルでは、変換係数マスクデータを０とする。
【００２２】
ここで、再度図１に戻り、符号化ブロック図を説明する。変換係数シフト部１０３では、変換係数マスクデータを参照し、標準符号化方式ＪＰＥＧ２０００に規定されているＭａｘ−ｓｈｉｆｔ  ＲＯＩ符号化の手法を適用する。これには、非ＲＯＩ変換係数の最大の絶対値Ｃｍａｘを検出し、Ｃｍａｘを自然２進表現した時のビット数、
【００２３】
【数２】
2005006211.tif 000004
【００２４】
だけＲＯＩ変換係数をシフトアップする。つまり変換係数マスクデータＭ（ｘ，ｙ）に応じて、以下の処理を実行する。
ｉｆ  Ｍ（ｘ，ｙ）＝１  ａ’（ｘ，ｙ）＝ａ（ｘ，ｙ）・２Ｓ
ｅｌｓｅ  ａ’（ｘ，ｙ）＝ａ（ｘ，ｙ）    式（５）
【００２５】
エントロピ符号化部１０４では、変換係数の絶対値を自然２進で表現したビットプレーンを、ＲＯＩ変換係数、非ＲＯＩ変換係数を区別せずに上位ビットプレーンから順にエントロピ符号化する。エントロピ符号化は、例えば静止画像符号化標準ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）で使用されているエントロピ符号化などビットプレーン毎に符号化する方式ならば任意の方式が使用可能である。
ＲＯＩ変換係数は、シフトアップされているので、非ＲＯＩ変換係数よりも先に符号化され、途中のビットプレーンまでの符号を伝送した場合、復号側では非ＲＯＩ変換係数よりも高精度に再現することができる。これにより、タイル境界近傍の画像が高精度に復号され、タイル歪みが低減される。更に本実施の形態では、タイル境界近傍に対応する変換係数であっても高域成分については、タイル歪み低減への寄与度が小さいと考えられるため、非ＲＯＩ変換係数として符号化している。これにより、タイル境界近傍への不必要な符号量割り当てが抑えられ、タイル境界から遠い領域にも符号量が割り当てられて、全体として高い画質の再生画像が得られる。
【００２６】
なお、上記手法では、ＲＯＩ変換係数の位置情報は伝送する必要はない。受信側では、再生した変換係数の絶対値がシフトビット数から定まる定数２Ｓより大きいか小さいかでＲＯＩ変換係数か否かを判断できるからである。ただし、ＲＯＩ変換係数のシフトビット数Ｓは付加情報として伝送するする必要がある。これは、符号データのヘッダ情報として伝送するなど、復号側でシフトビット数を知ることができればいかなる手法で伝送しても構わない。
【００２７】
図９は、本符号化装置に対する復号装置の構成を示すブロック図である。図において、伝送されてきた符号化データを、エントロピ復号部２０４で復号し、得られた変換係数と伝送されてきたシフトビット数情報Ｓとによりシフトされた変換係数についてはシフトダウンする変換係数シフトダウン部２０３を備え、元に戻された変換係数を逆量子化部２０２で逆量子化する。更に、その出力をウェーブレット逆変換部２０１でタイル別の画像情報とし、タイル合成部２００で画面としての画像信号を得る。
以上の説明では、ＲＯＩ変換係数を最低解像度に属する変換係数だけに制限したが、最低解像度とその次のレベルの解像度だけに制限する、最低解像度の全てのサブバンドとその次のレベルの解像度のＨＬ成分、ＬＨ成分だけに制限するなど、任意の解像度、サブバンドに属する変換係数をＲＯＩ変換係数とすることが可能である。
【００２８】
実施の形態２．
以下に、この発明の実施の形態２による符号化装置及び方法の構成を説明する。実施の形態１では、ＲＯＩ変換係数は、タイル境界画素に対応する変換係数のうち特定の解像度に存在するように制限したが、実施の形態２では、サブバンドに応じてその制限を変化させた例を示す。図１０に実施の形態２による、変換係数マスクデータの例を示す。タイル境界画素に対応する変換係数のうち、低域成分に大きな影響を与える、ＨＬ成分のサブバンド上端、下端領域、ＬＨ成分のサブバンド左端、右端領域、ＬＬ成分の上端、下端、左端、右端領域の変換係数をＲＯＩ変換係数とする。
【００２９】
符号化装置あるいは方法の構成、処理は、ＲＯＩ変換係数選択部１０５に以下の処理が追加される点を除いて、実施の形態１と同一なので、相違点のみを説明する。
実施の形態２では、図７のＲＯＩ変換係数が存在する解像度を制限するパラメータＮＲをＮＲ＝１として、処理ＤＥＩＮＴＥＲＬＥＡＶＥ終了時点では全ての解像度でＲＯＩ変換係数を残しておく。そしてこの後、ＨＬ成分Ｍｌｅｖ，ＨＬ（ｘ，ｙ）については、０〜ｘ１−１のいずれかのｘ座標でＭｌｅｖ，ＨＬ（ｘ，ｙ）＝０となれば、０〜ｘ１−１の全ての座標でＭｌｅｖ，ＨＬ（ｘ，ｙ）＝０とする水平方向の処理をｙ＝０からｙ＝ｙ１−１までの全てで行う（ｘ１，ｙ１はサブバンドの水平、垂直方向のサイズである）。ＬＨ成分Ｍｌｅｖ，ＬＨ（ｘ，ｙ）については、０〜ｙ１−１のいずれかのｙ座標でＭｌｅｖ，ＬＨ（ｘ，ｙ）＝０となれば、０〜ｙ１−１の全ての座標でＭｌｅｖ，ＬＨ（ｘ，ｙ）＝０とする垂直方向の処理をｘ＝０からｘ＝ｘ１−１までの全てで行う。ＨＨ成分Ｍｌｅｖ，ＨＨ（ｘ，ｙ）については、全てＭｌｅｖ，ＨＨ（ｘ，ｙ）＝０とする。
【００３０】
上記方法により、タイル境界近傍の画像が高精度に復号され、タイル歪みが低減される。更に本実施の形態では、サブバンドに応じてＲＯＩ変換係数を制限することにより、タイル境界近傍への不必要な符号量割り当てが抑えられ、タイル境界から遠い領域にも符号量が割り当てられるため、全体として高い画質の再生画像が得られる。
実施の形態２では、ＲＯＩ変換係数が存在する解像度を制限するパラメータＮＲを１として解像度の制限を設けなかったが、特定の解像度成分のみにＲＯＩ変換係数を設定することも可能である。
【００３１】
実施の形態３．
以下に、この発明の実施の形態３による符号化装置及び方法の構成を説明する。実施の形態３では、ＲＯＩ変換係数は、各サブバンドにおいて、隣接するタイルのサブバンドに接する変換係数とする。図１１に実施の形態３による、変換係数マスクデータの例を示す。
符号化装置あるいは方法の構成、処理は、図５のＣＲＥＡＴＥ＿ＭＡＳＫ、ＤＥＩＮＴＥＲＬＥＡＶＥを除いて、実施の形態１と同一なので、相違点のみを説明する。実施の形態３では、ＣＲＥＡＴＥ＿ＭＡＳＫ、ＤＥＩＮＴＥＲＬＥＡＶＥに代わり、図１２に示すように、各サブバンドの変換係数マスクデータを以下のように設定する。
ＭＮ，ＬＬ（ｘ，０）＝１        （０≦ｘ＜ｘ１）
ＭＮ，ＨＬ（ｘ，ｙ１−１）＝１  （０≦ｘ＜ｘ１）
ＭＮ，ＬＨ（０，ｙ）＝１        （０≦ｙ＜ｙ１）
ＭＮ，ＨＨ（ｘ１−１，ｙ）＝１  （０≦ｙ＜ｙ１）
上記以外  Ｍ０（ｘ，ｙ）＝０
（ｘ１，ｙ１は各サブバンドにおける水平、垂直方向のサイズ）
ただし、現タイルの
上に隣接サブバンドが存在しなければ、
ＭＮ，ＬＬ（ｘ，０）＝０        （０≦ｘ＜ｘ１）
下に隣接サブバンドが存在しなければ、
ＭＮ，ＨＬ（ｘ，ｙ１−１）＝０  （０≦ｘ＜ｘ１）
左に隣接サブバンドが存在しなければ、
ＭＮ，ＬＨ（０，ｙ）＝０        （０≦ｙ＜ｙ１）
右に隣接サブバンドが存在しなければ、
ＭＮ，ＨＨ（ｘ１−１，ｙ）＝０  （０≦ｙ＜ｙ１）
とする。
【００３２】
上記方法により、タイル境界近傍の画像が高精度に復号され、タイル歪みが低減される。更に本実施の形態では、ＲＯＩ変換係数をタイル境界に接する変換係数だけに制限することにより、タイル境界近傍への不必要な符号量割り当てが抑えられ、タイル境界から遠い領域にも符号量が割り当てられるため、全体として高い画質の再生画像が得られる。
実施の形態３では、ＲＯＩ変換係数が存在する解像度を制限しなかったが、実施の形態１と同様に、特定の解像度成分のみのタイル境界に接する変換係数だけにＲＯＩ変換係数を設定することも可能である。
【００３３】
なお、上記各実施の形態においては、符号化装置は図１に示される各要素がハードウェアであるとして説明したが、これら各要素は同等の機能を持つ汎用の計算機とプログラムで構成されるソフトウェア要素であってもよい。即ち、タイル分割部１００、ウェーブレット変換部１０１、量子化部１０２、エントロピ符号化部１０４の従来と同等機能を持つ各要素は、既に従来からソフトウェアによる方法が知られている。同様に、ＲＯＩ変換係数選択方法として、図５ないし図７のフローで示されるソフトウェアプログラムで得られることは明らかであるし、変換係数シフト方法も単に桁上げするだけなので、その方法は容易である。
【００３４】
【発明の効果】
以上のようにこの発明によれば、ウェーブレット変換の特徴に着目して特定の変換係数を優先的に符号化するようにしたので、限られた符号化情報でタイル化した画像に対しても、そのタイル隣接部のみでなく、タイル内部も優れた画質を維持できる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１における特定係数優先符号化装置の構成を示すブロック図である。
【図２】タイル分割を説明する図である。
【図３】タイルのウェーブレット変換を示す図である。
【図４】実施の形態１における変換係数マスクデータの例を示す図である。
【図５】実施の形態１におけるＲＯＩ変換係数選択部（選択方法）の動作フローを示す図である。
【図６】実施の形態１におけるＲＯＩ変換係数選択部（選択方法）の動作フローを示す図である。
【図７】実施の形態１におけるＲＯＩ変換係数選択部（選択方法）の動作フローを示す図である。
【図８】実施の形態１における分割レベル増加によるＲＯＩ係数生成を説明する図である。
【図９】実施の形態１における特定係数優先復号装置の構成を示すブロック図である。
【図１０】実施の形態２における変換係数マスクデータの例を示す図である。
【図１１】実施の形態３における変換係数マスクデータの例を示す図である。
【図１２】実施の形態３におけるＤＥＩＮＴＥＲＬＥＡＶＥ処理を説明する図である。
【図１３】従来の空間情報と変換係数の対応配置関係を示す図である。
【符号の説明】
１００  タイル分割部、１０１  ウェーブレット変換部、１０２  量子化部、１０３  変換係数シフト部、１０４  エントロピ符号化部、１０５  ＲＯＩ変換係数選択部、２００  タイル合成部、２０１  ウェーブレット逆変換部、２０２２  逆量子化部、２０３  変換係数シフトダウン部、２０４  エントロピ復号部、５０２  ＣＲＥＡＴＥ＿ＭＡＳＫステップ、５０３  ＤＥＩＮＴＥＲＬＥＡＶＥステップ。
【図１】
2005006211.tif 000005
【図２】
2005006211.tif 000006
【図３】
2005006211.tif 000007
【図４】
2005006211.tif 000008
【図５】
2005006211.tif 000009
【図６】
2005006211.tif 000010
【図７】
2005006211.tif 000011
【図８】
2005006211.tif 000012
【図９】
2005006211.tif 000013
【図１０】
2005006211.tif 000014
【図１１】
2005006211.tif 000015
【図１２】
2005006211.tif 000016
【図１３】
2005006211.tif 000017