(57)【要約】【課題】オブジェクトベースの符号を伸張し合成する処理で、圧縮された背景レイヤや前景レイヤをスケーリング後に合成する場合に、擬似的な線の出現を軽減あるいは抑制する画像復号化装置および画像復号化方法を得る。【解決手段】画像復号化装置２００の入力符号２０１は符号解析・分離部２０２に入力され、マスクレイヤ、背景レイヤおよび前景レイヤに分離され、マスクレイヤ復号部２０７、背景レイヤ復号部２０８、前景レイヤ復号部２０９でそれぞれ復号される。背景レイヤ水平スケーリング部２１４は処理する画素ブロックに隣接する画素ブロックの状態を基にしてこれに隣接する画素の色を補正し水平方向のスケーリングを行う。背景レイヤ垂直スケーリング部２１９も同様である。各スケーリング後の背景レイヤおよび前景レイヤはレイヤ合成部２２８で合成されて色の補正された画像が得られる。【選択図】        図１
2004350158.tif 000002
【特許請求の範囲】
【請求項１】
画像を面画像の色情報を表わした背景レイヤと、文字や線、エッジ等の色情報を表わした前景レイヤと、これら背景レイヤおよび前景レイヤの画素単位の位置を表わす情報としてのマスクレイヤの３種類のレイヤを少なくとも含む複数のレイヤに分割し、このうちの背景レイヤおよび前景レイヤの画像サイズを符号化時に画像の所定のライン方向としての水平方向およびこれと直交する垂直方向にそれぞれｍ分の１あるいはｎ分の１（ただしｎ、ｍは互いに同一の値を含む正の整数）の色情報に縮小してなる前記画像を表わした符号化後の画像情報を入力する符号入力手段と、
この符号入力手段の入力した符号を解析して前記複数のレイヤのそれぞれに分離する符号解析分離手段と、
この符号解析分離手段によって分離された背景レイヤを復号する背景レイヤ復号手段と、
前記符号解析分離手段によって分離された前景レイヤを復号する前景レイヤ復号手段と、
前記符号解析分離手段によって分離されたマスクレイヤを復号するマスクレイヤ復号手段と、
このマスクレイヤ復号手段によって復号されたマスクレイヤを基にしてｍ×ｎの画素ブロックごとにブロックを構成するそれぞれの画素が背景レイヤに該当するか前景レイヤに該当するかを判定するマスクレイヤ判定手段と、
前記背景レイヤを伸張する背景レイヤ伸張手段と、
前記前景レイヤを伸張する前景レイヤ伸張手段と、
隣接する画素ブロック同士における前記マスクレイヤ判定手段の判定した背景レイヤと前景レイヤの画素の配置パターンを基にして前記背景レイヤ伸張手段の伸張後の背景レイヤの色を補正する色補正手段と、
前記背景レイヤ伸張手段で伸張し色補正手段で補正した背景レイヤと前景レイヤ伸張手段によって伸張した前景レイヤとをマスクレイヤ判定手段の判定したこれらの位置情報を基にして合成することで画像を復元するレイヤ合成手段
とを具備することを特徴とする画像復号化装置。
【請求項２】
前記背景レイヤ伸張手段は、背景レイヤを水平方向に伸張する背景レイヤ水平スケーリング手段とこの背景レイヤ水平スケーリング手段によって伸張後の背景レイヤを垂直方向に伸張する背景レイヤ垂直スケーリング手段を備え、前記前景レイヤ伸張手段は、前景レイヤを水平方向に伸張する前景レイヤ水平スケーリング手段とこの前景レイヤ水平スケーリング手段によって伸張後の前景レイヤを垂直方向に伸張する前景レイヤ垂直スケーリング手段を備えることを特徴とする請求項１記載の画像復号化装置。
【請求項３】
前記色補正手段は、色補正を行う対象となるｍ×ｎの現画素ブロック内の周辺部分の画素の背景レイヤの色を隣接するｍ×ｎの画素ブロックに配置される前景レイヤを構成する画素の有無によって決定する背景色補正手段を具備することを特徴とする請求項１記載の画像復号化装置。
【請求項４】
前記色補正手段は、色補正を行うｍ×ｎの現画素ブロック内の所定のラインの画素がすべて背景レイヤの画素であり、この現画素ブロックに隣接する次に処理する次画素ブロック内の前記所定のラインと同一のラインの画素がすべて背景レイヤの画素であるときには、現画素ブロックのこのライン上で次画素ブロックに隣接する画素は、次画素ブロックについての背景レイヤの画素と色の平均化を行い、現画素ブロック内のそのライン上の残りの画素におけるこの平均化を行った画素と反対側に位置する画素を更に除いた全画素については少なくとも現画素ブロックに背景レイヤとして与えられた色を背景色として割り当てる手段であることを特徴とする請求項１記載の画像復号化装置。
【請求項５】
前記反対側に位置する画素は、これに隣接する前に処理した前画素ブロックに背景レイヤとして与えられた色との平均化を行うことを特徴とする請求項４記載の画像復号化装置。
【請求項６】
前記色補正手段は、色補正を行うｍ×ｎの現画素ブロックにおける次に処理する次画素ブロックに隣接する背景レイヤの画素とこの画素と同一ライン上で次画素ブロック内に位置する前景レイヤの現画素ブロックに一番近い側に位置する画素の色距離を所定の閾値と比較する比較手段と、この比較手段で閾値よりも小さいと判定したとき背景レイヤの画素の色をこの前景レイヤの画素の色で平均化する背景レイヤ前景レイヤ平均化手段を具備することを特徴とする請求項１記載の画像復号化装置。
【請求項７】
前記色補正手段は、色補正を行うｍ×ｎの現画素ブロックに前景レイヤで挟まれる背景レイヤが存在するとき、この部分の画素の色を隣接した画素ブロックの色の状態にかかわらず現画素ブロックの背景レイヤの色として設定し、次に処理する次画素ブロックに近い側の背景レイヤについては次画素ブロックの状態によって画素の色を平滑化することを特徴とする請求項１記載の画像復号化装置。
【請求項８】
画像を面画像の色情報を表わした背景レイヤと、文字や線、エッジ等の色情報を表わした前景レイヤと、これら背景レイヤおよび前景レイヤの画素単位の位置を表わす情報としてのマスクレイヤの３種類のレイヤを少なくとも含む複数のレイヤに分割し、このうちの背景レイヤおよび前景レイヤの画像サイズを符号化時に画像の所定のライン方向としての水平方向およびこれと直交する垂直方向にそれぞれｍ分の１あるいはｎ分の１（ただしｎ、ｍは互いに同一の値を含む正の整数）の色情報に縮小してなる前記画像を表わした符号化後の画像情報を入力する符号入力ステップと、
この符号入力ステップで入力した符号を解析して前記複数のレイヤのそれぞれに分離する符号解析分離ステップと、
この符号解析分離ステップによって分離された背景レイヤを復号する背景レイヤ復号ステップと、
前記符号解析分離ステップによって分離された前景レイヤを復号する前景レイヤ復号ステップと、
前記符号解析分離ステップによって分離されたマスクレイヤを復号するマスクレイヤ復号ステップと、
このマスクレイヤ復号ステップによって復号されたマスクレイヤを基にしてｍ×ｎの画素ブロックごとにブロックを構成するそれぞれの画素が背景レイヤに該当するか前景レイヤに該当するかを判定するマスクレイヤ判定ステップと、
前記背景レイヤを伸張する背景レイヤ伸張ステップと、
前記前景レイヤを伸張する前景レイヤ伸張ステップと、
隣接する画素ブロック同士における前記マスクレイヤ判定ステップで判定した背景レイヤと前景レイヤの画素の配置パターンを基にして前記背景レイヤ伸張手段の伸張後の背景レイヤの色を補正する色補正ステップと、
前記背景レイヤ伸張ステップで伸張し色補正ステップで補正した背景レイヤと前景レイヤ伸張手段によって伸張した前景レイヤとをマスクレイヤ判定手段の判定したこれらの位置情報を基にして合成することで画像を復元するレイヤ合成ステップ
とを具備することを特徴とする画像復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像の復号化処理を行う画像復号化装置および画像の復号化処理を行うための画像復号化方法に係わり、たとえは符号データを伸張して画像を利用するディスプレイ等の装置やプリンタ、携帯端末等の各種機器に使用可能な画像復号化装置および画像の復号化処理を行うための画像復号化方法に関する。
【０００２】
【従来の技術】
カラー画像の符号化に際しては、ディスプレイの高精細化やプリンタの印字品質の向上に伴い、高品位で圧縮率の高い処理が望まれている。このような要望に応えて、近年、オブジェクトベース符号化方式が注目されている。オブジェクトベース符号化方式は、画面内の被写体や背景などの対象（オブジェクト）を見極めて、これらに応じて符号化を行う方式である。この方式では、オブジェクトごとに適した処理が行えるため、高い圧縮率で符号化が可能である。
【０００３】
オブジェクトベース符号化方式では、画像を背景と、文字やエッジ等の位置情報を表わしたマスクと、そのマスクの色情報を表わす前景等の複数のレイヤに分割するようにしている。そして、それぞれのレイヤをそれぞれ最適な符号化方式を使用して圧縮する。ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｕｎｉｏｎ  −  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ：国際電気通信連合の電気通信標準化部門）では、そのＴ．４４でオブジェクトベースの符号フォーマットを規定するＭＲＣ（Ｍｉｘｅｄ  Ｒａｓｔｅｒ  Ｃｏｎｔｅｎｔ）が制定されている。また、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１（国際標準化機構国際電気標準化会議の国際標準化機関のＳＣ２９／ＷＧ１）では、ＪＰＥＧ２０００（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２０００）を使用したオブジェクトベース符号化のファイルフォーマットがそのパート６（ｐａｒｔ６）で勧告化されようとしている。
【０００４】
オブジェクトベース符号化方式では、データの圧縮効率を特に考慮する必要のない場合、背景レイヤ、前景レイヤおよびマスクレイヤの３つのレイヤをともに同じサイズで分離するようにしている。一方、画像全体の圧縮効率を向上させる必要のある場合には、文字やエッジ等の位置情報を表わすマスクレイヤの画像サイズ自体は保持しつつ、背景レイヤや前景レイヤの画像サイズを意図的に縮小して効率的な圧縮を図ることが多い。
【０００５】
一例としては、背景レイヤである面画像色情報および前景レイヤとしての線画像色情報について、水平方向に対してｎ分の１に、また垂直方向に対してｍ分の１（ｎ、ｍはそれぞれ２以上の整数）にスケーリングする提案が行われている（たとえば特許文献１）。
【０００６】
図１５は、この提案の画像符号化装置の要部を表わしたものである。この画像符号化装置１００で入力原画像１０１は、像域分離部１０２と線画像生成部１０３および面画像生成部１０４に並列に入力される。ここで入力原画像１０１は、ＲＧＢ（レッド、グリーン、ブルー）共に８ビットずつの２４ビットで構成された画素単位の信号であり、たとえばカラー写真の組み込まれた新聞紙面を図示しないスキャナで読み取って得られたような画像データである。像域分離部１０２は、入力原画像１０１が線画像（前景レイヤ）か面画像（背景レイヤ）かを画素ごとに判断し、これらの判別結果を示す画像符号化装置を出力するようになっている。分離情報１０５は、線画像を“１”、面画像を“０”とする２値情報である。
【０００７】
線画像生成部１０３は、入力原画像１０１と分離情報１０５との論理を対応する画素ごとにとって、入力原画像１０１のうち対応する分離情報１０５が線画像であることを示している画素についてＲＧＢの各８ビットデータをそのまま通過させる。また、対応する分離情報１０５が面画像であることを示している画素についてはＲＧＢの各８ビットデータを白色としての「０ｘＦＦ」（先頭の０ｘは１６進表記であることを示す）でマスクして出力する。このようにして線画像色情報１０６が生成される。線画像色情報１０６は分離情報１０５と共に線画像色情報量子化部１０８に入力される。
【０００８】
図１６は、この線画像生成部による線画像の生成の様子を表わしたものである。ここでは８画素×８画素の１ブロック分の線画像の生成の様子を示している。図で左上は１ブロック分の入力原画像１０１を示している。たとえばこの１ブロック分の入力原画像１０１の左上の画素は「ＥＥ  ＥＦ  ＦＦ」となっている。これはＢ（ブルー）が「０ｘＥＥ」、Ｇ（グリーン）が「０ｘＥＦ」、Ｒ（レッド）が「０ｘＦＦ」を意味している。先頭の“０ｘ”は、前記したように１６進表記である。この図の右上に示した分離情報１０５も８画素×８画素の１ブロック分を示しており、ここでは“１”が線画像を、また“０”が面画像を表わしている。
【０００９】
線画像生成部１０３は、分離情報１０５が“０”の箇所をマスクすることで面画像の画素部分をブロックし、線画像に対応する分離情報１０５で“１”の箇所の入力原画像１０１をそのまま通過させる。分離情報１０５が“０”の面画像の画素部分は、この例ではＲＧＢ共に“ＦＦ”（１６進表記）となる。このようにして線画像色情報１０６が得られる。
【００１０】
図１５に戻って説明を続ける。線画像色情報量子化部１０８は、線画像色情報１０６を量子化圧縮して線画像量子化後色情報１０９を出力する。量子化方法には種々あるが、ここでは８画素×８画素のブロックごとに線画像の色平均をとり、求めた平均色を当該画素ブロックの代表色とすることで線画像色情報１０６の情報量を量子化圧縮するようにしている。
【００１１】
更に、線画像色情報量子化部１０８では、代表色による量子化に加えて、ＲＧＢの各データの下位ビットを削除することで、階調性の量子化圧縮も行っている。ここではＲＧＢの各色共に下位２ビットを削減している。こうして、色の量子化と階調性の量子化を行った結果が線画像量子化後色情報１０９として出力される。線画像色情報符号部１１１は、線画像色情報量子化部１０８から出力された線画像量子化後色情報１０９を符号化した線画像色情報符号１１２を出力する。ここでは線画像量子化後色情報１０９の値をそのまま符号語としている。
【００１２】
一方、面画像生成部１０４は、入力原画像１０１と分離情報１０５とから面画像色情報１１５を出力する。面画像生成部１０４は、入力原画像１０１と分離情報１０５との論理を対応する画素ごとにとり、入力原画像１０１のうち対応する分離情報１０５が面画像であることを示している画素についてはＲＧＢの各８ビットデータをそのまま通過させる。また、対応する分離情報１０５が線画像であることを示している画素についてはＲＧＢの各８ビットデータを白色となる「０ｘＦＦ」でマスクして出力する。このようにして、面画像色情報１１５が生成される。
【００１３】
図１７はこの面画像生成部による面画像の生成の様子を表わしたものである。ここでも図１６と同様に８画素×８画素の１ブロック分について面画像の生成の様子を示している。図で左上は１ブロック分の入力原画像１０１を示している。この図の右上に示した分離情報１０５も８画素×８画素の１ブロック分を示しており、これは図１６の分離情報１０５と同一である。
【００１４】
面画像生成部１０４は、分離情報１０５が“１”の箇所をマスクすることで線画像の画素部分をブロックし、入力原画像１０１のうち分離情報１０５で“０”の箇所の面画像に対応する部分をそのまま通過させる。分離情報１０５が“１”の線画像の画素部分は、この例ではＲＧＢ共に“ＦＦ”（１６進表記）となる。このようにして面画像色情報１１５が得られる。
【００１５】
再び図１５に戻って説明を続ける。面画像量子化部１１６は、面画像色情報１１５と分離情報１０５とを入力し、面画像色情報１１５を量子化圧縮して面画像量子化後情報１１７を出力する。ここでは４画素×４画素の画素ブロックごとに面画像の色平均をとり、求めた平均色を当該画素ブロックの代表色とすることで面画像色情報１１５の情報量を量子化圧縮している。分離情報１０５は、面画像色情報１１５の対応する画素が線画像か面画像かを判断するのに使用されている。
【００１６】
面画像符号部１１８は、面画像量子化後情報１１７を符号化圧縮して面画像色情報符号１１９を出力する。ここではＩＴＵにて勧告化されている“Ｔ．８１”を使用している。ただし、面画像量子化後情報１１７を１／４縮小画像と見なし、代表点を１画素としてＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）変換を行って符号化している。
【００１７】
このように図１５に示した画像符号化装置１００では、面画像としての背景レイヤのスケーリングでは、ｎ×ｍの画素ブロック内ではマスクレイヤである線画位置情報の各値が、背景領域を表わす“０”である箇所の画素値の平均を求め、ｎ×ｍの画素ブロック内でマスクレイヤの各画素の値が、線画像としての前景領域を表わす“１”である箇所の画素値の平均を求める。そして、それぞれ背景レイヤ、前景レイヤのスケーリング後の値とされて圧縮が行われることになる。
【００１８】
画像符号化装置１００でスケーリングおよび圧縮した各レイヤを伸張して元の画像を再構成する際には、画像復号化装置を使用して、スケーリングされた背景レイヤおよび前景レイヤを元のサイズに戻す必要がある。
【００１９】
図１８は、図１５に示した画像符号化装置で符号化された画像情報を用いて復元画像を生成する画像復号化装置の構成を表わしたものである。画像復号化装置１３１は、分離情報１０５を入力するマスクレイヤ判定部１３２と、背景レイヤの面画像色情報符号１１９を入力する背景レイヤスケーリング部１３３と、前景レイヤの線画像色情報符号１１２を入力する前景レイヤスケーリング部１３４を備えている。マスクレイヤ判定部１３２の判定結果１３５と背景レイヤスケーリング部１３３および前景レイヤスケーリング部１３４のスケーリング後の符号１３６、１３７を共に入力してレイヤを合成するレイヤ合成部１３８を備えている。レイヤ合成部１３８からは復元画像１３９が出力されることになる。
【００２０】
ところで画像復号化装置１３１側の背景レイヤスケーリング部１３３ではマスクレイヤのｎ×ｍの画素ブロック（ただし、図１５に示した例では値ｎ、ｍは共に“８”。）に対して、対応する背景レイヤの画素値を使用し、マスクレイヤが“０”の箇所、すなわち面画像の箇所の画素に背景レイヤの画素値を代入する。同様に、前景レイヤスケーリング部１３４ではマスクレイヤのｎ×ｍの画素ブロックに対して、対応する前景レイヤの画素値を使用し、マスクレイヤが“１”の箇所、すなわち線画像の箇所の画素に背景レイヤの画素値を代入する。ところが、対応するｎ×ｍの画素ブロック内の画素が全部面画像あるいは線画像であれば問題ないが、両者が混在している場合には、その画素ブロック全体に前景レイヤの画素値を使用するか背景レイヤの画素値を使用するかが問題となる。これを次に具体的に説明する。
【００２１】
図１９〜図２３は、ｎ×ｍの画素ブロックの分割と再構成の例を説明するためのものである。この図では説明を簡単にするために各画素値を８ビットの１コンポーネントとして表わしている。すなわち、本来はＲ、Ｇ、Ｂの３色で表示すべきであるが、簡単に１つのコンポーネントとして１つ色に対応した値で表示することにしている。画素値として表わした符号に付された「ｈ」はこれらの値が１６進数で表わされていることを示している。
【００２２】
このうち図１９は、図１５に示した入力原画像１０１の一部を示している。この図に示すようにオリジナル画像では、図示の画像部分で２つの色の画素“０ｈ”と“ＦＦｈ”が所定の境界によって区分けされているものとする。また、図２０はオリジナル画像に対するマスクレイヤの分離情報１０５を表わしているものとする。ただし、値ｎ、ｍが共に“４”の場合について説明を行う。
【００２３】
図２１はこの例の場合の背景レイヤの圧縮後の色情報を示しており、図２２は前景レイヤの圧縮後の色情報を示している。これらについては４×４の画素ブロックごとにそれぞれ１つの色情報が平均化して演算される結果として、図１９および図２０で太線で囲んだ４×４の画素ブロックにおける背景レイヤのスケーリング後の符号１３６の値は“９４ｈ”となり、前景レイヤのスケーリング後の符号１３７の値は“ＦＦｈ”となったとする。すなわち、背景レイヤ（面画像）については、圧縮の結果として、４×４の画素ブロックに対して１つの値“９４ｈ”が割り当てられ、前景レイヤ（線画像）については、同様に圧縮の結果として、４×４の画素ブロックに対して１つの値“ＦＦｈ”が割り当てられる。
【００２４】
【特許文献１】
特開２００２−３６９０１０号公報（第００２３段落、図１）
【００２５】
【発明が解決しようとする課題】
【００２６】
図２３は、図１８に示した従来のレイヤ合成部が合成した復元画像を示したものである。図１８に示したレイヤ合成部１３８は、図２０に示した面画像であるか線画像であるかの判定結果１３５を用いて色情報を決定する。したがって、図２０に示したマスクレイヤの分離情報１０５が“０”すなわち面画像の部分については図２１に示した値“９４ｈ”を色情報として割り当て、線画像の部分については図２２に示した値“ＦＦｈ”を色情報として割り当てる。このようにして得られた復元画像１３９を、図１９に示した入力原画像１０１と対比してみると、本来、値“０ｈ”であるべき箇所の色情報が値“９４ｈ”となっている。すなわち、背景レイヤの値はその色の境界を跨いだ色の間で平均化された値（この例では“９４ｈ”）となっており、オリジナル画像の色とは異なった変色が発生する。
【００２７】
このように、従来の画像復号化装置１３１の場合には面画像の境界に、画像の符号化の際に生じた本来の色とは異なる色が再現される結果、この変色部分が擬似的な線のようになった画像が再現されることになった。この結果として、再構成画像の画質が劣化してしまう。
【００２８】
以上、オブジェクトベースの符号を伸張し合成する処理で、縮小（圧縮）された背景レイヤと同じく縮小（圧縮）された前景レイヤについて、マスクレイヤを使用してスケーリングする場合の再構成画像の画質の劣化について説明した。このように背景レイヤや前景レイヤに代表されるイメージレイヤを一度圧縮した後、マスクレイヤを使用してスケーリングし合成して再構成画像を生成する他の場合についても、同様に擬似的な線が出現するという問題があり、画質劣化の原因となっていた。
【００２９】
そこで本発明の目的は、オブジェクトベースの符号を伸張し合成する処理で、圧縮された背景レイヤや前景レイヤ等のイメージレイヤをマスクレイヤを使用してスケーリング後に合成する場合に、符号の高圧縮性を損なうことなく、擬似的な線の出現を軽減あるいは抑制するようにした画像復号化装置および画像復号化方法を提供することにある。
【００３０】
【課題を解決するための手段】
請求項１記載の発明では、（イ）画像を面画像の色情報を表わした背景レイヤと、文字や線、エッジ等の色情報を表わした前景レイヤと、これら背景レイヤおよび前景レイヤの画素単位の位置を表わす情報としてのマスクレイヤの３種類のレイヤを少なくとも含む複数のレイヤに分割し、このうちの背景レイヤおよび前景レイヤの画像サイズを符号化時に画像の所定のライン方向としての水平方向およびこれと直交する垂直方向にそれぞれｍ分の１あるいはｎ分の１（ただしｎ、ｍは互いに同一の値を含む正の整数）の色情報に縮小してなる画像を表わした符号化後の画像情報を入力する符号入力手段と、（ロ）この符号入力手段の入力した符号を解析して前記した複数のレイヤのそれぞれに分離する符号解析分離手段と、（ハ）この符号解析分離手段によって分離された背景レイヤを復号する背景レイヤ復号手段と、（ニ）符号解析分離手段によって分離された前景レイヤを復号する前景レイヤ復号手段と、（ホ）符号解析分離手段によって分離されたマスクレイヤを復号するマスクレイヤ復号手段と、（へ）このマスクレイヤ復号手段によって復号されたマスクレイヤを基にしてｍ×ｎの画素ブロックごとにブロックを構成するそれぞれの画素が背景レイヤに該当するか前景レイヤに該当するかを判定するマスクレイヤ判定手段と、（ト）背景レイヤを伸張する背景レイヤ伸張手段と、（チ）前景レイヤを伸張する前景レイヤ伸張手段と、（リ）隣接する画素ブロック同士におけるマスクレイヤ判定手段の判定した背景レイヤと前景レイヤの画素の配置パターンを基にして背景レイヤ伸張手段の伸張後の背景レイヤの色を補正する色補正手段と、（ヌ）背景レイヤ伸張手段で伸張し色補正手段で補正した背景レイヤと前景レイヤ伸張手段によって伸張した前景レイヤとをマスクレイヤ判定手段の判定したこれらの位置情報を基にして合成することで画像を復元するレイヤ合成手段とを画像復号化装置に具備させる。
【００３１】
すなわち請求項１記載の発明では、画像を面画像の色情報を表わした背景レイヤと、文字や線、エッジ等の色情報を表わした前景レイヤと、これら背景レイヤおよび前景レイヤの画素単位の位置を表わす情報としてのマスクレイヤの３種類のレイヤを少なくとも含む複数のレイヤに分割し、このうちの背景レイヤおよび前景レイヤの画像サイズを符号化時に画像の所定のライン方向としての水平方向およびこれと直交する垂直方向にそれぞれｍ分の１あるいはｎ分の１（ただしｎ、ｍは互いに同一の値を含む正の整数）の色情報に縮小してなる画像を表わした符号化後の画像情報を復号化する画像復号化装置に関する。この画像復号化装置では、符号入力手段に入力された符号を符号解析分離手段によって元のレイヤに分離するが、マスクレイヤを除いては圧縮（符号化）時に画像サイズを画像の所定のライン方向としての水平方向およびこれと直交する垂直方向にそれぞれｍ分の１あるいはｎ分の１に縮小して、それぞれに色情報を割り当てている。このためこれを単純に復号化すると背景レイヤや前景レイヤの各画素の位置はマスクレイヤによって正しく特定されるが、それぞれの色はｍ×ｎの画素ブロックごとに１つずつしか割り当てられないので、従来技術で説明したように各画素ブロックの特に境界部分（周辺部分）で背景色同士が異なってしまい擬似的な線が出現するという不都合が発生する。そこで本発明では、色補正手段が隣接する画素ブロック同士におけるマスクレイヤ判定手段の判定した背景レイヤと前景レイヤの画素の配置パターンを基にして背景レイヤ伸張手段の伸張後の背景レイヤの色を補正するようにしている。すなわち、隣接する画素ブロック同士における背景レイヤと前景レイヤの画素の配置パターンに対応付けた背景レイヤの色補正を行うことで画素ブロックにおける境界部分の色を元画像のそれに近づけている。この結果、レイヤ合成手段の合成後の復元画像における擬似的な線の出現を軽減あるいは抑制することが可能になる。
【００３２】
請求項２記載の発明では、請求項１記載の画像復号化装置で、背景レイヤ伸張手段は、背景レイヤを水平方向に伸張する背景レイヤ水平スケーリング手段とこの背景レイヤ水平スケーリング手段によって伸張後の背景レイヤを垂直方向に伸張する背景レイヤ垂直スケーリング手段を備え、前景レイヤ伸張手段は、前景レイヤを水平方向に伸張する前景レイヤ水平スケーリング手段とこの前景レイヤ水平スケーリング手段によって伸張後の前景レイヤを垂直方向に伸張する前景レイヤ垂直スケーリング手段を備えることを特徴としている。
【００３３】
すなわち請求項２記載の発明では、背景レイヤ伸張手段と前景レイヤ伸張手段が共にそれらのレイヤを水平方向と垂直方向に分けてスケーリングを行って元の画像サイズに戻すことにしている。水平方向と垂直方向はどちらを先に処理しても構わない。
【００３４】
請求項３記載の発明では、請求項１記載の画像復号化装置で、色補正手段は、色補正を行う対象となるｍ×ｎの現画素ブロック内の周辺部分の画素の背景レイヤの色を隣接するｍ×ｎの画素ブロックに配置される前景レイヤを構成する画素の有無によって決定する背景色補正手段を具備することを特徴としている。
【００３５】
すなわち請求項３記載の発明では、処理の対象となるｍ×ｎの現画素ブロック内の周辺部分の画素の背景レイヤの色をこの現画素ブロックに隣接するｍ×ｎの他の画素ブロックに配置される前景レイヤを構成する画素の有無によって決定することにしている。たとえば現画素ブロックに隣接する次画素ブロックが背景レイヤのみで構成される場合や隣接する画素ブロックにおける現画素ブロックと近い位置に前景レイヤの画素が配置されている場合等、各種状況に応じて現画素ブロック内の周辺部分の画素の背景レイヤの色が補正されることになる。
【００３６】
請求項４記載の発明では、請求項１記載の画像復号化装置で、色補正手段は、色補正を行うｍ×ｎの現画素ブロック内の所定のラインの画素がすべて背景レイヤの画素であり、この現画素ブロックに隣接する次に処理する次画素ブロック内の前記した所定のラインと同一のラインの画素がすべて背景レイヤの画素であるときには、現画素ブロックのこのライン上で次画素ブロックに隣接する画素は、次画素ブロックについての背景レイヤの画素と色の平均化を行い、現画素ブロック内のそのライン上の残りの画素におけるこの平均化を行った画素と反対側に位置する画素を更に除いた全画素については少なくとも現画素ブロックに背景レイヤとして与えられた色を背景色として割り当てる手段であることを特徴としている。
【００３７】
すなわち請求項４記載の発明では、請求項３記載の発明を更に具体化したものである。色補正手段は、色補正を行うｍ×ｎの現画素ブロック内の所定のラインの画素がすべて背景レイヤの画素であり、この現画素ブロックに隣接する次に処理する次画素ブロック内の前記した所定のラインと同一のラインの画素がすべて背景レイヤの画素であるときには、次画素ブロックに隣接する背景レイヤの画素は互いの色の平均化を行うことで、両者の色が相違する場合の色の違いを軽減することにしている。また、前のブロックとしての前画素ブロック側に隣接する画素を除いた残りの画素については本来の背景レイヤで表わされた色を設定することにしている。
【００３８】
請求項５記載の発明では、請求項４記載の画像復号化装置で、反対側に位置する画素は、これに隣接する前に処理した前画素ブロックに背景レイヤとして与えられた色との平均化を行うことを特徴としている。
【００３９】
すなわち請求項５記載の発明では、請求項４の説明で前記した前画素ブロック側に隣接する画素については前画素ブロックとの平均化を行うことにしている。これにより両者の色が相違する場合の色の違いを軽減できる。
【００４０】
請求項６記載の発明では、請求項１記載の画像復号化装置で、色補正手段は、色補正を行うｍ×ｎの現画素ブロックにおける次に処理する次画素ブロックに隣接する背景レイヤの画素とこの画素と同一ライン上で次画素ブロック内に位置する前景レイヤの現画素ブロックに一番近い側に位置する画素の色距離を所定の閾値と比較する比較手段と、この比較手段で閾値よりも小さいと判定したとき背景レイヤの画素の色をこの前景レイヤの画素の色で平均化する背景レイヤ前景レイヤ平均化手段を具備することを特徴としている。
【００４１】
すなわち請求項６記載の発明では、次画素ブロックに隣接する背景レイヤの画素と前景レイヤの現画素ブロックに一番近い側に位置する画素との間の色距離（あるいは色差）を閾値（しきい値）と比較する。比較には一般的にはユークリッド距離を使用する。色距離が閾値よりも小さく色が近似している場合には、背景レイヤのその画素の色をこの前景レイヤの画素の色で平均化する。これは、前景色の場合は、前後の色が混ざることがないので、色の劣化が生ぜず、前景色を用いて平滑化することで、画素ブロック間の色の変化がスムーズになるからである。
【００４２】
請求項７記載の発明では、請求項１記載の画像復号化装置で、色補正手段は、色補正を行うｍ×ｎの現画素ブロックに前景レイヤで挟まれる背景レイヤが存在するとき、この部分の画素の色を隣接した画素ブロックの色の状態にかかわらず現画素ブロックの背景レイヤの色として設定し、次に処理する次画素ブロックに近い側の背景レイヤについては次画素ブロックの状態によって画素の色を平滑化することを特徴としている。
【００４３】
すなわち請求項７記載の発明では、現画素ブロックにおいて前景レイヤで挟まれた背景レイヤについての画素値は、すべて現画素ブロックの背景色を割り当てることとしている。
【００４４】
請求項８記載の発明では（イ）画像を面画像の色情報を表わした背景レイヤと、文字や線、エッジ等の色情報を表わした前景レイヤと、これら背景レイヤおよび前景レイヤの画素単位の位置を表わす情報としてのマスクレイヤの３種類のレイヤを少なくとも含む複数のレイヤに分割し、このうちの背景レイヤおよび前景レイヤの画像サイズを符号化時に画像の所定のライン方向としての水平方向およびこれと直交する垂直方向にそれぞれｍ分の１あるいはｎ分の１（ただしｎ、ｍは互いに同一の値を含む正の整数）の色情報に縮小してなる画像を表わした符号化後の画像情報を入力する符号入力ステップと、（ロ）この符号入力ステップで入力した符号を解析して前記した複数のレイヤのそれぞれに分離する符号解析分離ステップと、（ハ）この符号解析分離ステップによって分離された背景レイヤを復号する背景レイヤ復号ステップと、（ニ）符号解析分離ステップによって分離された前景レイヤを復号する前景レイヤ復号ステップと、（ホ）符号解析分離ステップによって分離されたマスクレイヤを復号するマスクレイヤ復号ステップと、（へ）このマスクレイヤ復号ステップによって復号されたマスクレイヤを基にしてｍ×ｎの画素ブロックごとにブロックを構成するそれぞれの画素が背景レイヤに該当するか前景レイヤに該当するかを判定するマスクレイヤ判定ステップと、（ト）背景レイヤを伸張する背景レイヤ伸張ステップと、（チ）前景レイヤを伸張する前景レイヤ伸張ステップと、（リ）隣接する画素ブロック同士におけるマスクレイヤ判定ステップで判定した背景レイヤと前景レイヤの画素の配置パターンを基にして背景レイヤ伸張手段の伸張後の背景レイヤの色を補正する色補正ステップと、（ヌ）背景レイヤ伸張ステップで伸張し色補正ステップで補正した背景レイヤと前景レイヤ伸張手段によって伸張した前景レイヤとをマスクレイヤ判定手段の判定したこれらの位置情報を基にして合成することで画像を復元するレイヤ合成ステップとを画像復号化方法に具備させる。
【００４５】
すなわち請求項８記載の発明では、画像を面画像の色情報を表わした背景レイヤと、文字や線、エッジ等の色情報を表わした前景レイヤと、これら背景レイヤおよび前景レイヤの画素単位の位置を表わす情報としてのマスクレイヤの３種類のレイヤを少なくとも含む複数のレイヤに分割し、このうちの背景レイヤおよび前景レイヤの画像サイズを符号化時に画像の所定のライン方向としての水平方向およびこれと直交する垂直方向にそれぞれｍ分の１あるいはｎ分の１（ただしｎ、ｍは互いに同一の値を含む正の整数）の色情報に縮小してなる画像を表わした符号化後の画像情報を復号化する画像復号化方法に関する。この画像復号化方法では、符号入力ステップで入力された符号を符号解析分離ステップで元のレイヤに分離するが、マスクレイヤを除いては圧縮（符号化）時に画像サイズを画像の所定のライン方向としての水平方向およびこれと直交する垂直方向にそれぞれｍ分の１あるいはｎ分の１に縮小して、それぞれに色情報を割り当てている。このためこれを単純に復号化すると背景レイヤや前景レイヤの各画素の位置はマスクレイヤによって正しく特定されるが、それぞれの色はｍ×ｎの画素ブロックごとに１つずつしか割り当てられないので、従来技術で説明したように各画素ブロックの特に境界部分（周辺部分）で背景色同士が異なってしまい擬似的な線が出現するという不都合が発生する。そこで本発明では、色補正ステップで隣接する画素ブロック同士におけるマスクレイヤ判定ステップにおいて判定した背景レイヤと前景レイヤの画素の配置パターンを基にして背景レイヤ伸張手段の伸張後の背景レイヤの色を補正するようにしている。すなわち、隣接する画素ブロック同士における背景レイヤと前景レイヤの画素の配置パターンに対応付けた背景レイヤの色補正を行うことで画素ブロックにおける境界部分の色を元画像のそれに近づけている。この結果、レイヤ合成手段の合成後の復元画像における擬似的な線の出現を軽減あるいは抑制することが可能になる。
【００４６】
【発明の実施の形態】
まず本発明の実施の形態を説明する。
【００４７】
図１は本発明の一実施の形態における画像復号化装置の構成を表わしたものである。本実施の形態では先に説明した画像符号化装置１００（図１５参照）で符号化した情報を使用して画像の復元を行うものとする。画像復号化装置２００で入力符号２０１は符号解析・分離部２０２に入力されるようになっている。符号解析・分離部２０２は、この入力符号２０１を解析して、マスクレイヤ、背景レイヤおよび前景レイヤの各レイヤの符号データ２０３〜２０５ならびにその他の必要なパラメータを出力する。ここでマスクレイヤは文字やエッジ等の位置情報を表わしたレイヤであり、前景レイヤは線画像を、背景レイヤは面画像をそれぞれ表わしたレイヤである。
【００４８】
このうちのマスクレイヤの符号データ２０３はマスクレイヤ復号部２０７に入力される。マスクレイヤ復号部２０７は、マスクレイヤの符号データ２０３を使用してマスクレイヤの伸張を行う。背景レイヤの符号データ２０４は背景レイヤ復号部２０８に入力される。背景レイヤ復号部２０８は、背景レイヤの符号データ２０４を使用して背景レイヤの伸張を行う。前景レイヤの符号データ２０５は前景レイヤ復号部２０９に入力される。前景レイヤ復号部２０９は、前景レイヤの符号データ２０５を使用して前景レイヤの伸張を行う。
【００４９】
マスクレイヤ復号部２０７によって伸張されたマスクレイヤの画像データ２１１はマスクレイヤ判定部２１２に入力されるようになっている。マスクレイヤ判定部２１２は、伸張されたマスクレイヤの画像データ２１１の画像を使用して、対応する画像が背景画像か前景画像かを判定する。なお、マスクレイヤ自体の画像データは画像符号化装置１００（図１５参照）で縮小を行っていないので、伸張されたマスクレイヤの画像データ２１１の劣化は生じていない。
【００５０】
マスクレイヤ判定部２１２の判定結果２１３は、背景レイヤ水平スケーリング部２１４および前景レイヤ水平スケーリング部２１５にそれぞれ入力されるようになっている。背景レイヤ水平スケーリング部２１４には背景レイヤ復号部２０８によって伸張された背景レイヤ画像２１６ならびに前景レイヤ復号部２０９によって伸張された前景レイヤ画像２１７も入力され、これらを用いて水平方向のスケーリングが行われる。前景レイヤ水平スケーリング部２１５は判定結果２１３と前景レイヤ画像２１７ならびに背景レイヤ画像２１６を入力して前景レイヤのスケーリングを行うようになっている。背景レイヤ水平スケーリング部２１４で処理された画素値２１８は背景レイヤ垂直スケーリング部２１９に入力され、前景レイヤ水平スケーリング部２１５で処理された画素値２２１は前景レイヤ垂直スケーリング部２２２に入力される。
【００５１】
背景レイヤ垂直スケーリング部２１９と前景レイヤ垂直スケーリング部２２２には、マスクレイヤ判定部２１２の判定結果２２３も入力されるようになっている。背景レイヤ垂直スケーリング部２１９は、背景レイヤ水平スケーリング部２１４で処理された画素値２１８を垂直方向にスケーリングする。同様に前景レイヤ垂直スケーリング部２２２は、前景レイヤ水平スケーリング部２１５で処理された画素値２２１を垂直方向にスケーリングする。これら垂直方向にスケーリングされた背景レイヤ２２５および前景レイヤ２２６は、マスクレイヤ判定部２１２の判定したマスクレイヤ２２７に従ってレイヤ合成部２２８で合成され、擬似的な線の出現を抑止した復元画像２２９が得られるようになっている。
【００５２】
次にこの画像復号化装置２００の動作を更に具体的に説明する。符号解析・分離部２０２に入力される入力符号２０１は、図１５に示した画像符号化装置１００で符号化した情報である。もちろん、このような情報は画像符号化装置１００から直接入力される必要はない。たとえばインターネットに接続された図示しないパーソナルコンピュータあるいは図示しない通信回線に接続された同じく図示しないファイル転送装置等の通信機器や通信モジュールを経由して入手されてもよいし、同様の手法でパーソナルコンピュータ等の装置によって符号化した符号データであってもよい。また、入力符号２０１はこれらの符号データを一度蓄積した図示しないメモリやこれらを書き込んだＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）あるいはＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の記録媒体から再生装置によって再生されて画像復号化装置２００に入力されるものであってもよい。
【００５３】
符号解析・分離部２０２は、入力符号２０１を解析して、マスクレイヤ、背景レイヤおよび前景レイヤの各レイヤに分離する。本実施の形態では背景レイヤおよび前景レイヤの画像サイズは共に縮小されており、マスクレイヤのそれよりも小さなものとなっている。
【００５４】
マスクレイヤ復号部２０７は、入力された符号データ２０３を用いてマスクレイヤの伸張処理を行う。一般的にマスクレイヤは２値画像となっている。このため、マスクレイヤ復号部２０７自体はＭＨ（Ｍｏｄｉｆｉｅｄ  Ｈｕｆｆｍａｎ）、ＭＲ（Ｍｏｄｉｆｉｅｄ  ＲＥＡＤ（Ｒｅｌａｔｉｖｅ  Ｅｌｅｍｅｎｔ  ＡＤｄｒｅｓｓ））、ＭＭＲ（Ｍｏｄｉｆｉｅｄ  Ｍｏｄｉｆｉｅｄ  Ｒｅａｄ）、ＪＢＩＧ（Ｊｏｉｎｔ  Ｂｉ−ｌｅｖｅｌ  Ｉｍａｇｅ  ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＪＢＩＧ２（Ｊｏｉｎｔ  Ｂｉ−ｌｅｖｅｌ  Ｉｍａｇｅ  ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２）といった２値符号化方式に対応した復号器となる。なお、画像符号化装置１００（図１５参照）で符号化を行う際にマスクレイヤについて圧縮を行っていない場合には、マスクレイヤの伸張を行う必要はない。
【００５５】
図１に示す背景レイヤ復号部２０８では符号解析・分離部２０２によって分離された背景レイヤの符号データ２０４（図１５における背景レイヤの面画像色情報符号１１９に相当。）を用いて背景レイヤの伸張処理を行う。同様に前景レイヤ復号部２０９では符号解析・分離部２０２によって分離された前景レイヤの符号データ２０５（図１５における前景レイヤの線画像色情報符号１１２に相当。）を用いて前景レイヤの伸張処理を行う。ここで背景レイヤおよび前景レイヤは一般的に多値画像として構成されている。このためＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）あるいはＪＰＥＧ２０００（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２０００）等の多値符号化方式に対応した復号器が使用される。
【００５６】
マスクレイヤ復号部２０７によって伸張されたマスクレイヤの画像データ２１１はマスクレイヤ判定部２１２に入力され、対応する画像が背景画像か前景画像かの判定が行われる。ここでは、画素ごとの判定と共に画素ブロック単位での判定も行われる。たとえば背景レイヤが水平方向にｍ分の１に縮小され、垂直方向にｎ分の１に縮小されているものとする。この例の場合、背景レイヤの１画素がマスクレイヤのｍ×ｎ画素に対応する。ここで、ｍ×ｎ画素の集合が１画素ブロックである。本実施の形態のマスクレイヤ判定部２１２では、画素ブロックを構成する水平方向のｍ画素がすべて背景レイヤに属するか、あるいは背景レイヤと前景レイヤが混在しているかを判定する。また、垂直方向についてもｎ画素がすべて背景レイヤに属するか、あるいは背景レイヤと前景レイヤが混在しているかを判定する。これらの判定結果２１３、２２３は、以後の処理で使用されるため、画像復号化装置２００の一部を構成する図示しないメモリに格納されるようになっている。
【００５７】
マスクレイヤ判定部２１２の判定結果２１３を用いて、背景レイヤ水平スケーリング部２１４では背景レイヤの水平方向のスケーリングが行われる。このスケーリングの様子を具体例を挙げて説明する。この例では値ｍ、ｎが共に“８”であり、背景レイヤが水平および垂直方向にそれぞれ８分の１に縮小されている場合を説明する。
【００５８】
図２は画像の復元処理の対象となる対象ライン上の画素の配置を画素ブロック単位で幾つか示したものである。ここで現画素ブロックとは、処理の対象となる８×８の画素からなる１画素ブロックであり、図ではこのうちの特定の対象ライン上の８個の画素が示されている。次画素ブロックとは現画素ブロックの次に位置する図で右隣りに隣接した画素ブロックをいい、図２では同一対象ライン上に存在する８個の画素が示されている。これらの図で白地の四角（□）は背景レイヤの位置、すなわち面画像が存在する画素の位置を示している。網点の四角は前景レイヤの位置、すなわち線画像が存在する画素の位置を示している。また、現画素ブロックにおける背景レイヤの画素をＣｂ（ｘ，ｙ）として表わすことにし、現画素ブロックにおける前景レイヤの画素をＣｆ（ｘ，ｙ）として表わすことにする。また、次画素ブロックの背景レイヤの画素をＣｂ（ｘ＋１，ｙ）とし、次画素ブロックの前景レイヤの画素をＣｆ（ｘ＋１，ｙ）として表わすことにする。ここで、（ｘ，ｙ）で示される画素は最終的に復号される画像の画素に対応するのではなく、この場合には８分の１に縮小されている画素に対応している。すなわち、マスクレイヤの８画素分に対して、背景レイヤや前景レイヤの１画素が対応するようになっている。
【００５９】
まず、図２（ａ）に示すように対象ライン上の現画素ブロックに面画像の背景レイヤしか含まれていない場合を考える。この例の場合には前景レイヤが存在しない。したがって、現画素ブロックに対して図で右側に隣接する次画素ブロックと隣接する境界画素部分２４１および現画素ブロックに対して図で左側に隣接する図示しない前画素ブロックと隣接する境界画素部分２４２を除いた各画素に対して、対応する背景レイヤの色Ｃｂ（ｘ，ｙ）を割り当てる。また、境界画素部分２４１に対しては次画素ブロックを参照して境界部分の背景レイヤの画素値を用いて平均化を行う。同様に、境界画素部分２４２に対しては前画素ブロックを参照して境界部分の背景レイヤの画素値を用いて平均化を行う。たとえば境界画素部分２４１の画素の画素値がＲＥだとすると、平均化後の右端境界値ＲＥ′については次の（１）式で表わされる。また、境界画素部分２４２の画素の画素値がＬＥだとすると、平均化後の左端境界値ＬＥ′については、２対１で平均化を行う場合には次の（２）式で表わされる。もちろん平均化の比率はこれに限るものではない。一般にＩ対Ｊで平均化を行う場合には（１）式および（２）式は（１）′式および（２）′式となる。
【００６０】
ＲＥ′＝（ＲＥ＋２＊Ｃｂ（ｘ，ｙ））／３  ……（１）
ＬＥ′＝（ＬＥ＋２＊Ｃｂ（ｘ，ｙ））／３  ……（２）
ＲＥ′＝（Ｊ＊ＲＥ＋Ｉ＊Ｃｂ（ｘ，ｙ））／（Ｉ＋Ｊ）  ……（１）′
ＬＥ′＝（Ｊ＊ＬＥ＋Ｉ＊Ｃｂ（ｘ，ｙ））／（Ｉ＋Ｊ）  ……（２）′
【００６１】
これが画像の復元の原則である。ただし、本実施の形態の画像復号化装置２００では、次の同図（ｂ）〜（ｄ）で説明するように対象ライン上の現画素ブロックがすべて背景レイヤの画素で構成されている場合でも、現画素ブロックに対して図で右側に隣接する次画素ブロック、ならびに現画素ブロックに対して図で左側に隣接する図示しない前画素ブロックとの関係を考察する。そしてこれにより、現画素ブロックとこれら次画素ブロックあるいは前画素ブロックとの境界部分に位置する境界画素部分２４１、２４２で従来発生した擬似的な線あるいは変色を防止あるいは抑制するようにしている。
【００６２】
このために本実施の形態で採用している手法は次の２点である。まず、現画素ブロックよりも時間的に処理が先行する前画素ブロックに対しては、その前画素ブロックの処理で生成された右端境界値と現画素ブロックの背景値を使用して境界画素部分２４２の背景レイヤの色Ｃｂ（ｘ，ｙ）を割り当てる。次に、現画素ブロックの次に処理が行われる次画素ブロックに対しては、現画素ブロックの背景値と次画素ブロックの左端境界値を使用して他の境界画素部分２４１の背景レイヤの色Ｃｂ（ｘ，ｙ）を割り当てるようにしている。すなわち、現画素ブロックの図で右端部分については次画素ブロックにおける隣接する１画素を参考にして境界画素部分２４１の背景色Ｃｂ（ｘ，ｙ）を決定し、現画素ブロックの図で左端部分については前画素ブロックにおける隣接する１画素を参考にして境界画素部分２４２の背景色Ｃｂ（ｘ，ｙ）を決定するようにしている。これを現画素ブロックと次画素ブロックの例を挙げて更に具体的に説明する。
【００６３】
まず、図２（ｂ）に示すように現画素ブロックも次画素ブロックもすべての画素が面画像としての背景のみを表わす画素から構成されている場合を説明する。この場合には、次画素ブロックの左端は当然、背景色となる。このため、現画素ブロックの境界画素部分２４１の右端境界値ＲＥは、次の（３）式で示す内容となる。
【００６４】
ＲＥ＝Ｃｂ（ｘ＋１，ｙ）  ……（３）
【００６５】
次に、同図（ｃ）または（ｄ）に示すように次画素ブロックに少なくとも１画素以上の前景レイヤすなわち線画像を含んでいる場合を説明する。これは、次画素ブロックの少なくとも１画素以上が、マスクレイヤの値が“１”となる画素を有している場合である。本実施の形態ではこの場合に現画素ブロックの背景レイヤの画素Ｃｂ（ｘ，ｙ）と次画素ブロックの前景レイヤの画素Ｃｆ（ｘ＋１，ｙ）の色距離が所定の閾値よりも小さい場合とそれ以外の場合に分けている。
【００６６】
まず、現画素ブロックの背景レイヤの画素Ｃｂ（ｘ，ｙ）と次画素ブロックの前景レイヤの画素Ｃｆ（ｘ＋１，ｙ）の色距離が所定の閾値よりも小さい場合について説明する。ここで、所定の閾値よりも小さいとは、現画素ブロックの背景色と次画素ブロックの前景色が色が近似していると見なすことができることをいう。このような場合には、次画素ブロックの左端から見て最初の前景に対応する画素（網で示している画素）は、現画素ブロックから続いている背景色との事実上の境界（変化点）と見なすことができる。画像の像域分離処理では、色の変化点について色の変化する前後の画素が認識される。したがって、前景として抽出されても、それよりも前か後ろの背景色と同じ色の場合がある。そこでこのような場合、本実施の形態では次画素ブロックの背景色でなく、前景色を使用するようにしている。その理由は、エンコーダ側の縮小処理において、前景色ではなく背景色を使用したとすると、その境界の前後の色も合わせて画素ブロック内で平均化されてしまい、前後の色が混じりあってしまい色の劣化が生じるからである。前景色の場合は、前後の色が混じりあうことがないので、このような色の劣化が生じない。そこで、前景色を用いて平滑化することで、画素ブロック間の色の変化がスムーズになる。このような理由で、境界画素部分２４１における右端境界値を次画素ブロックの前景値として計算することになる。そこで、現画素ブロックの境界画素部分２４１の右端境界値ＲＥは、次の（４）式で示す内容となる。ただし、これは平均化の比率が１対１の場合である。それ以外の比率の場合には（１）′式および（２）′式で示したように右辺の係数および分母の値が異なってくる。
【００６７】
ＲＥ＝（Ｃｆ（ｘ＋１，ｙ）＋Ｃｂ（ｘ＋１，ｙ））／２  ……（４）
【００６８】
次に、現画素ブロックの背景レイヤの画素Ｃｂ（ｘ，ｙ）と次画素ブロックの前景レイヤの画素Ｃｆ（ｘ＋１，ｙ）の色距離が所定の閾値と等しいか、これよりも大きい場合について説明する。これは、現画素ブロックの背景色と次画素ブロックの前景色が近似していないと見なすことができる場合である。この場合、次画素ブロックの左から見て最初の前景に対応する画素は、現画素ブロックから続いている背景色の境界（変化点）ではない。したがって、この場合には単純に次画素ブロックの背景色として、右端境界値ＲＥを次画素ブロックの背景値として計算する。この場合の現画素ブロックの境界画素部分２４１の右端境界値ＲＥは、次の（５）式で示す内容となる。
【００６９】
ＲＥ＝Ｃｂ（ｘ＋１，ｙ）  ……（５）
【００７０】
なお、図２（ｄ）で示したように次画素ブロックの先頭（左端位置）に前景画素がある場合、現画素ブロックの右端境界値は現画素ブロックの背景値とされる。すなわち、この場合には平滑化を行わない。この場合には、現画素ブロックの背景から続く領域は、現画素ブロックで終わりとなっている。この例の場合、現画素ブロックには背景しか存在しない。したがって、次画素ブロックのための左端境界値（ＬＥ）の計算は、単純に現画素ブロックの背景色を代入する。この場合の現画素ブロックの境界画素部分２４１の右端境界値ＲＥは、次の（６）式で示す内容となる。
【００７１】
ＲＥ＝Ｃｂ（ｘ，ｙ）  ……（６）
【００７２】
以上のようにして求めた境界画素部分２４１の右端境界値ＲＥおよび境界画素部分２４２の左端境界値ＬＥを使用して、現画素ブロックの背景レイヤについてスケーリング後の値を決定する。
【００７３】
次に、図２（ｅ）に示すように、現画素ブロックに少なくとも１画素以上の前景レイヤが含まれている場合を説明する。現画素ブロックに少なくとも１画素以上の前景レイヤが含まれる場合の原則は次の通りである。マスクレイヤ上で前景レイヤを示す“１”がある画素には前画素ブロックの前景色（Ｃｆ（ｘ，ｙ））が割り当てられる。マスクレイヤ上で背景レイヤを示す“０”がある画素には背景色（Ｃｂ（ｘ，ｙ））が割り当てられる。
【００７４】
更に画質を向上させるためには、前景色で区切られた領域（ｆ）、（ｇ）、（ｈ）ごとに処理を行う。具体的には以下のような処理を行う。
【００７５】
まず、同図（ｆ）に示すように現画素ブロックの左端から見て最初の前景レイヤ（網点部分）の直前までの背景レイヤについては、両端を除いて前画素ブロックで求めた境界画素部分２４１の右端境界値ＲＥとなる。すなわち前画素ブロックの演算で求められた前画素ブロックにおける右端境界値の値を割り当てる。ただし、現画素ブロックの同図（ｆ）に示す左端の境界画素部分２４２については、この前画素ブロックの演算で求められた前画素ブロックに対する右端境界値と、前画素ブロックの処理後に更新された現画素ブロックに対する左端境界値とを使用して平滑化する。同図（ｆ）に示す境界画素部分の右端の画素については平滑化を行わない。演算終了後に次の背景レイヤの演算が行われる。
【００７６】
なお、左端境界値は前画素ブロックで更新された画素値Ｌとし、右端境界値は前画素ブロックで使用された右端境界値とし、左端境界値の更新は行わなくても良い。同図（ｆ）の部分における左から見て最初の前景画素は、前の画素ブロックの処理で、エッジかどうかの判定が行われており、すでに前画素ブロックの右端境界値に反映されているので、それを使用する。
【００７７】
同図（ｇ）に示したように現画素ブロックにおいて前景レイヤで挟まれた背景レイヤについての画素値は、すべて現画素ブロックの背景色である（Ｃｂ（ｘ，ｙ））が割り当てられる。そして次の背景レイヤの演算が行われる。すなわち、これら前景レイヤで挟まれた背景レイヤについては平滑化処理が行われず、次画素ブロックの左端境界値や前画素ブロックの右端境界値は使用されない。また、左端境界値の更新を行う必要はない。この場合には単純に背景色を割り当てることになる。
【００７８】
同図（ｈ）の領域の画素の場合には、次画素ブロックの状態によって図（ｉ）〜（ｋ）のように場合分けされる。まず、図（ｉ）に示すように次画素ブロックが背景レイヤのみの場合、現画素ブロックの境界画素部分２４１の右端境界値ＲＥは、次の（７）式で示す内容となる。
【００７９】
ＲＥ＝Ｃｂ（ｘ＋１，ｙ）  ……（７）
すなわち、次画素ブロックが背景しかないので、次画素ブロックの背景色とする。そして、色距離の比較によって、次のように平滑化処理が選択される。
【００８０】
まず、現画素ブロックの前景レイヤ値Ｃｆ（ｘ，ｙ）と次画素ブロックの背景レイヤ値Ｃｂ（ｘ＋１，ｙ）の色距離が閾値より小さいとき、現画素ブロックの同図（ｆ）の部分の左側に隣接する前景レイヤ画素は、次画素ブロックの背景レイヤへと続く領域への境界（変化点：エッジ）と見なされる。そこで同図（ｈ）に示す領域の左端境界値として、現画素ブロックの前景値が選択される。この理由はすでに説明した。この場合には、次画素ブロックの左端境界値がこの領域の画素の色とされる。また、同図（ｈ）に示す領域の右端の平滑化処理は、現画素ブロックの前景値と次画素ブロックの背景値との間で次の（８）式のように行われる。ただし、これは平均化の比率が１対１の場合である。それ以外の比率の場合には（１）′式および（２）′式で示したように右辺の係数および分母の値が異なってくる。
【００８１】
ＬＥ＝（Ｃｆ（ｘ，ｙ）＋Ｃｂ（ｘ，ｙ））／２  ……（８）
【００８２】
現画素ブロックの前景レイヤ値Ｃｆ（ｘ，ｙ）と次画素ブロックの背景レイヤ値Ｃｂ（ｘ＋１，ｙ）の色距離が閾値以上のときには、同図（ｄ）で説明したと同様に次画素ブロックの左端境界値が現画素ブロックの背景値とされ、この左端境界値が同図（ｈ）に示す領域の画素の色とされる。これは（９）式で表わされる。
【００８３】
ＬＥ＝Ｃｂ（ｘ，ｙ）……（９）
【００８４】
また、同図（ｈ）に示す領域の右端の平滑化処理は、現画素ブロックの背景値と次画素ブロックの背景値との間で行われる。次画素ブロックのための左端境界値（ＬＥ）の計算については同図（ｈ）に示す領域で求めた、左端境界値を次画素ブロックの左端境界値として代入する。
【００８５】
次に同図（ｊ）に示すように次画素ブロックに少なくとも１画素以上の前景レイヤを含む場合を説明する。これは、換言すると、少なくとも１画素以上、マスクレイヤの値が“１”となる画素がある場合である。この場合には、まず現画素ブロックの前景レイヤの画素値Ｃｆ（ｘ，ｙ）と次画素ブロックの背景レイヤにおける画素値Ｃｂ（ｘ＋１，ｙ）との間の色距離の比較が行われる。
【００８６】
この結果、これらの間の色距離が閾値より小さいときには、現画素ブロックの最後の前景レイヤ画素は、次画素ブロックの背景レイヤへと続く領域への境界（変化点）と見なされる。同図（ｈ）に示す領域の左端境界値は（１０）式で表わされる。ただし、これは平均化の比率が１対１の場合である。それ以外の比率の場合には（１）′式および（２）′式で示したように右辺の係数および分母の値が異なってくる。
【００８７】
ＬＥ＝（Ｃｆ（ｘ，ｙ）＋Ｃｂ（ｘ，ｙ））／２  ……（１０）
【００８８】
現画素ブロックの前景レイヤ値Ｃｆ（ｘ，ｙ）と次画素ブロックの背景レイヤ値Ｃｂ（ｘ＋１，ｙ）の色距離が閾値以上のときには、同図（ｈ）に示す領域の左端境界値は次の（１１）式で表わされる。
【００８９】
ＬＥ＝Ｃｂ（ｘ，ｙ）……（１１）
【００９０】
次に、次画素ブロックの前景レイヤの画素値Ｃｆ（ｘ＋１，ｙ）と現画素ブロックの背景レイヤの画素値Ｃｂ（ｘ，ｙ）の色距離の比較が行われる。この結果、次画素ブロックの前景レイヤ値Ｃｆ（ｘ＋１，ｙ）と現画素ブロックの背景レイヤ値Ｃｂ（ｘ，ｙ）の色距離が閾値より小さいときには、次画素ブロックの最初の前景レイヤ画素は、現画素ブロックの背景レイヤから続く領域の境界（変化点）と見なされる。そこで、同図（ｈ）に示す領域の右端境界値は次の（１２）式で表わされる。ただし、これは平均化の比率が１対１の場合である。それ以外の比率の場合には（１）′式および（２）′式で示したように右辺の係数および分母の値が異なってくる。
【００９１】
ＲＥ＝（Ｃｆ（ｘ＋１，ｙ）＋Ｃｂ（ｘ＋１，ｙ））／２  ……（１２）
【００９２】
次画素ブロックの前景レイヤ値Ｃｆ（ｘ＋１，ｙ）と現画素ブロックの背景レイヤ値Ｃｂ（ｘ，ｙ）の色距離が閾値以上のときには、先と同じ理由により、右端境界値が次画素ブロックの背景値とされる。これを次の（１３）式で表わす。
【００９３】
ＲＥ＝Ｃｂ（ｘ＋１，ｙ）……（１３）
【００９４】
ただし、同図（ｋ）のように、次画素ブロックの先頭に前景画素があるような場合には、現画素ブロックの右端の境界画素部分２４１の画素値は現画素ブロックの背景値とされる。
【００９５】
以上のようにして求めた現画素ブロックの左端境界値ＬＥ、ＲＥを使用して、現画素ブロックの背景レイヤのスケーリング後の画素値を決定する。現画素ブロックの背景レイヤの値は、その右端の境界画素部分２４１を除いて左端境界値ＬＥで表わされる。右端の境界画素部分２４１については、左端境界値ＬＥと右端境界値ＲＥを用いて平均化された値となる。
【００９６】
図１に戻って説明を続ける。前景レイヤ水平スケーリング部２１５では、マスクレイヤ判定部２１２の判定結果２１３を用いて、前景レイヤについて水平方向のスケーリングを行う。この一例を説明する。前景レイヤの基本的なスケーリングでは、現画素ブロックの前景レイヤの画素は現画素ブロックの前景レイヤの画素値Ｃｆ（ｘ，ｙ）で与えられる。ただし、画素ブロック間で前景レイヤが連続する場合、現画素ブロックの右端の前景レイヤの画素値は、現画素ブロックの前景レイヤの画素値Ｃｆ（ｘ，ｙ）と次画素ブロックの画素値Ｃｆ（ｘ＋１，ｙ）を用いた平均化した値で与えられる。また、左端の前景レイヤの画素値は、現画素ブロックの前景レイヤの画素値Ｃｆ（ｘ，ｙ）と前景レイヤの画素値Ｃｆ（ｘ−１，ｙ）を用いて平均化した値で与えられる。
【００９７】
背景レイヤ水平スケーリング部２１４および前景レイヤ水平スケーリング部２１５で水平方向にスケーリングされた各レイヤは、垂直方向の画素ブロック分の処理が終了すると、背景レイヤ垂直スケーリング部２１９および前景レイヤ垂直スケーリング部２２２でそれぞれ垂直方向のスケーリング処理が行われる。基本的なスケーリング方式は、前記した水平方向と同様である。ただし場合分け等の条件の判定は、水平スケーリング前の値を使用して、実際に各画素に値を代入するときには水平スケーリング後の値との平均値をとることになる。
【００９８】
以上のようにして背景レイヤ垂直スケーリング部２１９および前景レイヤ垂直スケーリング部２２２で処理されて得られた背景レイヤ２２５および前景レイヤ２２６は、マスクレイヤ判定部２１２の判定したマスクレイヤ２２７に従ってレイヤ合成部２２８で合成され、擬似的な線の出現を抑止した復元画像２２９が得られることになる。
【００９９】
以上が本実施の形態における画像復号化装置２００の説明である。この画像復号化装置２００では、画素ブロックの端部だけしか平滑処理を行っていない。これに対して、画素ブロック内の各部で段階的に変化するような画像処理を加えることが可能であり、これにより更に画質を向上させることができる。
【０１００】
更にこの実施の形態ではスケーリングの処理を水平スケーリングと垂直スケーリングに分離して行うようにしたが、これらを同時に行うことで画質を向上させることもできる。この場合、現画素ブロックに対して水平方向の次画素ブロックならびに垂直方向の次画素ブロックおよび斜め方向の次画素ブロックについて状態を考慮して、領域の判定を行うことになる。
【０１０１】
更にこの実施の形態では画像復号化装置２００をハードウェアとして説明したが、画像復号化処理をソフトウェアで実現することも可能である。これについては次の実施例で具体的に説明する。
【０１０２】
【実施例】
次に本発明の一実施例を説明する。なお、この実施例で使用する画像復号化装置は図１で説明した画像復号化装置２００をソフトウェアで実現するものである。その構成は図示しないＣＰＵ（中央処理装置）と制御プログラムを格納した記憶媒体およびデータの入出力用のインターフェイス回路等からなるが、これはパーソナルコンピュータあるいはワークステーション等の装置に制御プログラムを格納しこれを実行することで実現する。そこで、本実施例の画像復号化装置の図示は省略し、先の実施の形態等で使用した図を適宜使用して説明を行う。また、各画素ブロックはｎ×ｍ画素で構成されているものとする。
【０１０３】
図３は図１５に示したオリジナル画像としての入力画像の一例を示したものである。この入力画像３０１は比較的太いピンク色の文字「２００２  ＮＯ．３６３」で構成されている。
【０１０４】
図４〜図６は入力画像に対するマスクレイヤ、背景レイヤおよび前景レイヤの画像をそれぞれ表わしている。図４に示したマスクレイヤの画像３０２に対して、図５に示した背景レイヤの画像３０３および図６に示した前景レイヤの画像３０４はそれぞれ縮小されている。ただし図５および図６は図示の都合で実際の縮小率よりは大きく表している。
【０１０５】
図７は本実施例における図２で説明した水平（ライン）方向のスケーリング処理の流れを表わしたものである。まず、入力画像における最初の画素ブロックの左端の画像の開始点の境界値を初期化する（ステップＳ４０１）。ラインの先頭では、左側は画像外になるため、強制的に初期化が行われる。そして、画素ブロック内の全画素値を背景色とする（ステップＳ４０２）。このように本実施例の画像復号化装置では、復元する画像の全領域をまず背景色で埋めてから、マスクレイヤで示される位置を前景色で置き換えていくという処理を基本的に行うようになっている。これにより、後に背景についての処理を施す必要がない。
【０１０６】
ステップＳ４０２による処理が行われたら、次に現画素ブロックの該当するラインが背景のみで構成されているかどうかをチェックする（ステップＳ４０３）。図２（ａ）のように現画素ブロックが背景のみで構成されている場合には（Ｙ）、背景画素ブロック時の第１の現画素ブロック処理が行われる（ステップＳ４０４）。これについては後に具体的な処理の流れを説明する。これに対して図２（ｅ）のように現画素ブロックが背景と前景で構成されているときには（ステップＳ４０３：Ｎ）、背景と前景画素ブロック時の第１の現画素ブロック処理が行われる（ステップＳ４０５）。これについても後に具体的な処理の流れを説明する。
【０１０７】
ステップＳ４０４またはＳ４０５の処理が行われたら前景色の配置をその画素ブロックの該当するラインについて行って（ステップＳ４０６）、該当するラインに係わる全画素ブロックの処理が終了したかどうかをチェックして（ステップＳ４０７）、終了していなければ（Ｎ）、ステップＳ４０２に戻ってそのラインの次画素ブロックについて同様の処理が行われる。このようにして右端の画素ブロックまでの該当するラインの処理が終了する（ステップＳ４０７：Ｙ）。
【０１０８】
図８および図９は図７のステップＳ４０４で示した現画素ブロックが背景のみで構成されている背景画素ブロック時の第１の現画素ブロック処理の流れを表わしたものである。この処理では、まず左端境界値と現画素ブロックの背景値を使用して左端についての画素値を演算する（図８ステップＳ４２１）。そして、次画素ブロックも背景のみで構成されているかどうかを判別する（ステップＳ４２２）。図２（ｂ）に示したように次画素ブロックも背景のみで構成されている場合には（Ｙ）、現画素ブロックの背景値と次画素ブロックの背景値との色差（色距離）ＤＢＢを計算する（ステップＳ４２３）。そして、この色差ＤＢＢが所定の閾値ＴＨＢＢよりも大きい場合には（ステップＳ４２４：Ｙ）、左端境界値を次画素ブロックの背景値とする（ステップＳ４２５）。
【０１０９】
これに対してステップＳ４２４で色差ＤＢＢが閾値ＴＨＢＢ未満であった場合には（Ｎ）、右端境界値を次画素ブロックの背景値とする。また、右端境界値と現画素ブロックの背景値を使用して右端の画素値を演算する。左端境界値については現画素ブロックの背景値とする（ステップＳ４２６）。
【０１１０】
一方、図２（ｃ）あるいは図２（ｄ）で示したように次画素ブロックが前景を含んでいるような場合には（ステップＳ４２２：Ｎ）、次画素ブロックの先頭画素が前景画素であるかどうかを判別する（図９ステップＳ４２７）。そうである場合には（Ｙ）、左端境界値を次画素ブロックの背景値とする（ステップＳ４２８）。
【０１１１】
これに対して次画素ブロックの先頭画素が前景画素ではない場合には（ステップＳ４２７：Ｎ）、現画素ブロックの背景値と次画素ブロックの前景値との色差ＤＢＦを計算する（ステップＳ４２９）。そして、この色差ＤＢＦが所定の閾値ＴＨＢＦよりも大きい場合には（ステップＳ４３０：Ｙ）、左端境界値を次画素ブロックの背景値とする（ステップＳ４３１）。
【０１１２】
一方、色差ＤＢＦが所定の閾値ＴＨＢＦ未満の場合には（ステップＳ４３０：Ｎ）、右端境界値ＲＥを次の（２１）式の通りとする。ただし、値ｉ、ｊは２画素間で平滑化（平均化）を行うときの２画素の比を表わしている。
【０１１３】
ＲＥ＝（現画素ブロックの背景値×ｉ＋次画素ブロックの前景値×ｊ）／（ｉ＋ｊ）  ……（２１）
【０１１４】
また、右端境界値と現画素ブロックの背景値を使用して右端を演算する。更に左端境界値ＬＥを次の（２２）式の通りとする（ステップＳ４３２）。
【０１１５】
ＬＥ＝（現画素ブロックの背景値×ｊ＋次画素ブロックの前景値×ｉ）／（ｉ＋ｊ）  ……（２２）
【０１１６】
図１０および図１１は、図７のステップＳ４０５で示した背景と前景画素ブロック時の第１の現画素ブロック処理の流れを表わしたものである。この場合にはまず、画素ブロック内の最初の前景画素の位置を左端側から探索する（図１０ステップＳ４５１）。そして前景画素が現画素ブロックの先頭画素かどうかをチェックして（ステップＳ４５２）、そうでない場合には（Ｎ）、色差ＤＢＦが所定の閾値ＴＨＢＦ未満の場合には（ステップＳ４５３：Ｎ）、先頭から前景画素の手前までの画素を右端境界値とする。そして右端境界値と左端境界値を使用して左端を演算する。左端境界値を現画素ブロックの背景値とする（ステップＳ４５４）。そして、次の前景画素の位置を探索し（ステップＳ４５５）、これが画素ブロック内の最後の前景画素でない場合には（ステップＳ４５６：Ｎ）、ステップＳ４５５に戻って探索を行う。なお、ステップＳ４５２で前景画素が現画素ブロックの先頭画素であった場合（Ｙ）、ならびにステップＳ４５３で色差ＤＢＦが所定の閾値ＴＨＢＦ以上であった場合（Ｙ）にも、ステップＳ４５５の処理に進む。
【０１１７】
ステップＳ４５６で画素ブロック内の最後の前景画素であるとされた場合には（Ｙ）、それがその画素ブロックの最右端に位置するか否かの判別が行われる（図１１ステップＳ４５７）。最右端に位置する場合には（Ｙ）、その時点で処理が終了する（エンド）。そうでない場合には（Ｎ）、次画素ブロックが背景のみで構成されているかどうかの判別が行われる（ステップＳ４５８）。次画素ブロックが背景のみで構成されている場合には（Ｙ）、背景画素ブロック時の第２の現画素ブロック処理が実行される（ステップＳ４５９）。これに対して次画素ブロックに前景画素ブロックが含まれている場合には（ステップＳ４５８：Ｎ）、背景と前景画素ブロック時の第２の現画素ブロック処理が実行される（ステップＳ４６０）。
【０１１８】
図１２は、図１０のステップＳ４５９で示した背景画素ブロック時の第２の現画素ブロック処理の内容を示したものである。この処理ではまず現画素ブロックの前景値と次画素ブロックの背景値との色差ＤＦＢを計算する（ステップＳ４７１）。そしてこの色差ＤＦＢが所定の閾値ＴＨＦＢ以上であるかどうかを判別する（ステップＳ４７２）。閾値ＴＨＦＢ以上であれば（Ｙ）、現画素ブロックの背景値と次画素ブロックの背景値の色差ＤＢＢを計算する（ステップＳ４７３）。そしてこの色差ＤＢＢが閾値ＴＨＢＢ以上であれば（ステップＳ４７４：Ｙ）、左端境界値を次画素ブロックの背景値とする（ステップＳ４７５）。
【０１１９】
これに対してステップＳ４７４で色差ＤＢＢが閾値ＴＨＢＢ未満の場合には（Ｎ）、右端境界値を次画素ブロックの背景値とする。また、右端境界値と現画素ブロックの背景値を使用して右端の演算を行い、左端境界値を現画素ブロックの背景値とする（ステップＳ４７６）。
【０１２０】
最後にステップＳ４７２で色差ＤＦＢが所定の閾値ＴＨＦＢ未満とされた場合には（Ｎ）、左端境界値ＬＥを次の（２３）式の通りとする。
【０１２１】
ＬＥ＝（現画素ブロックの前景値×ｉ＋次画素ブロックの背景値×ｊ）／（ｉ＋ｊ）  ……（２３）
【０１２２】
また、最終の前景以降の画素ブロック内の画素を左端境界値とする。右端境界値を次画素ブロックの背景値とし、左端境界値と右端境界値を使用して右端を演算し、左端境界値ＬＥを次の（２４）式の通りとする（ステップＳ４７７）。
【０１２３】
ＬＥ＝（現画素ブロックの前景値×ｊ＋次画素ブロックの背景値×ｉ）／（ｉ＋ｊ）  ……（２４）
【０１２４】
図１３および図１４は、図１１のステップＳ４６０における背景と前景画素ブロック時の第２の現画素ブロック処理の流れを表わしたものである。この処理ではまず次画素ブロックの先頭画素が前景画素であるか否かの判別が行われる（図１３ステップＳ４９１）。前景画素である場合には（Ｙ）、左端境界値を次画素ブロックの背景値とする（ステップＳ４９２）。
【０１２５】
次画素ブロックの先頭画素が前景画素ではない場合には（ステップＳ４９１：Ｎ）、現画素ブロックの前景値と次画素ブロックの背景値の色差ＤＦＢを計算すると共に、現画素ブロックの背景値と次画素ブロックの前景値の色差ＤＢＦを計算する（ステップＳ４９３）。そして、前者の色差ＤＦＢが所定の閾値ＴＨＦＢ以上であった場合には（ステップＳ４９４：Ｙ）、後者の色差ＤＢＦが所定の閾値ＴＨＢＦ以上であるかどうかを判別し（ステップＳ４９５）、閾値ＴＨＢＦ以上である場合には（Ｙ）、左端境界値を次画素ブロックの背景値とする（ステップＳ４９６）。閾値ＴＨＢＦ未満であった場合には（ステップＳ４９５：Ｎ）、右端境界値ＲＥを次の（２５）式の通りとする。
【０１２６】
ＲＥ＝（現画素ブロックの背景値×ｉ＋次画素ブロックの前景値×ｊ）／（ｉ＋ｊ）  ……（２５）
【０１２７】
また、右端境界値と現画素ブロックの背景値を使用して右端の演算を行い、左端境界値ＬＥを次の（２６）式の通りとする（ステップＳ４９７）。
【０１２８】
ＬＥ＝（現画素ブロックの背景値×ｊ＋次画素ブロックの前景値×ｉ）／（ｉ＋ｊ）  ……（２６）
【０１２９】
一方、ステップＳ４９４で前者の色差ＤＦＢが所定の閾値ＴＨＦＢ未満と判別された場合には（Ｎ）、後者の色差ＤＢＦが所定の閾値ＴＨＢＦ以上であるかどうかを判別し（図１４ステップＳ４９８）、閾値ＴＨＢＦ以上である場合には（Ｙ）、左端境界値ＬＥを次の（２７）式の通りとする。
【０１３０】
ＬＥ＝（現画素ブロックの前景値×ｉ＋次画素ブロックの背景値×ｊ）／（ｉ＋ｊ）  ……（２７）
【０１３１】
また、最終前景以降の画素ブロック内の画素を左端境界値とし、右端境界値を次画素ブロックの背景値とする。更に左端境界値と右端境界値を使用して右端を演算し、左端境界値ＬＥを次の（２８）式の通りとする（ステップＳ４９９）。
【０１３２】
ＬＥ＝（現画素ブロックの前景値×ｊ＋次画素ブロックの背景値×ｉ）／（ｉ＋ｊ）  ……（２８）
【０１３３】
最後にステップＳ４９８で後者の色差ＤＢＦが所定の閾値ＴＨＢＦ未満である場合（Ｎ）を説明する。この場合には左端境界値ＬＥを次の（２９）式の通りとする。
【０１３４】
ＬＥ＝（現画素ブロックの前景値×ｉ＋次画素ブロックの背景値×ｊ）／（ｉ＋ｊ）  ……（２９）
【０１３５】
また、最終前景以降の画素ブロック内の画素を左端境界値とし、右端境界値ＲＥを次の（３０）式の通りとする。
【０１３６】
ＲＥ＝（現画素ブロックの背景値×ｉ＋次画素ブロックの前景景値×ｊ）／（ｉ＋ｊ）  ……（３０）
【０１３７】
また、左端境界値と右端境界値を使用して右端を演算し、左端境界値ＬＥを次の（３１）式の通りとする（ステップＳ５００）。
【０１３８】
ＬＥ＝（現画素ブロックの前景値×ｊ＋次画素ブロックの背景値×ｉ）／（ｉ＋ｊ）  ……（３１）
【０１３９】
【発明の効果】
以上説明したように請求項１および請求項８記載の発明によれば、背景レイヤおよび前景レイヤの画像サイズを符号化時に画像の所定のライン方向としての水平方向およびこれと直交する垂直方向にそれぞれｍ分の１あるいはｎ分の１に縮小した符号を復号して画像を復元するときに伸張後のｍ×ｎの画素ブロックの周辺画素の色を隣接する画素ブロックの状態によって補正することにしたので、擬似的な線の出現を軽減あるいは抑制することができる。したがって、符号の高圧縮性を損なうことなく品位の高い復元画像を得ることができる。
【０１４０】
また、請求項４〜請求項６記載の発明では隣接した画素ブロックとの間で平均化処理を行うので、ブロック間の歪を低減することができる。これにより、高圧縮性を損なうことなく圧縮時に失われた色情報を可能な限り復元し、良好な復元画像を得ることが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における画像復号化装置の構成を表わしたブロック図である。
【図２】画像の復元処理の対象となる対象ライン上の画素の配置をブロック単位で幾つか示した説明図である。
【図３】図１５に示したオリジナル画像としての入力画像の一例を示した平面図である。
【図４】図３の入力画像に対するマスクレイヤの画像を表わした平面図である。
【図５】図３の入力画像に対する背景レイヤの画像を表わした平面図である。
【図６】図３の入力画像に対する前景レイヤの画像を表わした平面図である。
【図７】実施例における水平方向のスケーリング処理の流れを表わした流れ図である。
【図８】図７のステップＳ４０４で示した第１の現ブロック処理の流れの前半を表わした流れ図である。
【図９】図７のステップＳ４０４で示した第１の現ブロック処理の流れの後半を表わした流れ図である。
【図１０】図７のステップＳ４０５で示した背景と前景ブロック時の第１の現ブロック処理の流れの前半を示した流れ図である。
【図１１】図７のステップＳ４０５で示した背景と前景ブロック時の第１の現ブロック処理の流れの後半を示した流れ図である。
【図１２】図１０のステップＳ４５９における背景ブロック時の第２の現ブロック処理の流れ図である。
【図１３】図１０のステップＳ４６０における背景と前景ブロック時の第２の現ブロック処理の前半を示す流れ図である。
【図１４】図１０のステップＳ４６０における背景と前景ブロック時の第２の現ブロック処理の後半を示す流れ図である。
【図１５】従来提案された画像復号化装置の要部を表わしたブロック図である。
【図１６】図１５における入力原画像の一部を示した説明図である。
【図１７】図１５の面画像生成部による面画像の生成の様子を表わした説明図である。
【図１８】図１５に示した画像符号化装置で符号化された画像情報を用いて復元画像を生成する画像復号化装置の構成を表わしたブロック図である。
【図１９】図１５に示した入力原画像の一部を示した説明図である。
【図２０】図１９のオリジナル画像に対するマスクレイヤの分離情報を表わした説明図である。
【図２１】背景レイヤの圧縮後の色情報の一例を示した説明図である。
【図２２】前景レイヤの圧縮後の色情報の一例を示した説明図である。
【図２３】図１８に示した従来のレイヤ合成部が合成した復元画像の一例を示した説明図である。
【符号の説明】
２０１  入力符号
２０２  符号解析・分離部
２０３〜２０５  符号データ
２０７  マスクレイヤ復号部
２０８  背景レイヤ復号部
２０９  前景レイヤ復号部
２１２  マスクレイヤ判定部
２１４  背景レイヤ水平スケーリング部
２１５  前景レイヤ水平スケーリング部
２１９  背景レイヤ垂直スケーリング部
２２２  前景レイヤ垂直スケーリング部
２２８  レイヤ合成部
２４１  次ブロックと隣接する境界画素部分
２４２  前ブロックと隣接する境界画素部分
【図１】
2004350158.tif 000003
【図２】
2004350158.tif 000004
【図３】
2004350158.tif 000005
【図４】
2004350158.tif 000006
【図５】
2004350158.tif 000007
【図６】
2004350158.tif 000008
【図７】
2004350158.tif 000009
【図８】
2004350158.tif 000010
【図９】
2004350158.tif 000011
【図１０】
2004350158.tif 000012
【図１１】
2004350158.tif 000013
【図１２】
2004350158.tif 000014
【図１３】
2004350158.tif 000015
【図１４】
2004350158.tif 000016
【図１５】
2004350158.tif 000017
【図１６】
2004350158.tif 000018
【図１７】
2004350158.tif 000019
【図１８】
2004350158.tif 000020
【図１９】
2004350158.tif 000021
【図２０】
2004350158.tif 000022
【図２１】
2004350158.tif 000023
【図２２】
2004350158.tif 000024
【図２３】
2004350158.tif 000025