(57)【要約】画像に適用するフィルタ処理の強弱、要不要などのパラメータ値を、原画像との差分を用いて決定することで、より高画質な画像を得るためのポスト処理を可能とする。符号化した原画像データを復号して、ローパスフィルタ処理、遅延処置、ラプラシアンフィルタ処理を並行して実行し、画質調整部１０８に出力する。画質調整部１０８は、ローパスフィルタ処理画像データおよび遅延画像データを第１のパラメータを用いて混合し、混合した画像データと原画像データとの差分を用いて第１のパラメータを生成する。また、ローパスフィルタ処理画像データ、ラプラシアン処理画像データおよび遅延画像データを第１および第２のパラメータを用いて混合し、混合した画像データと原稿画像データとの差分を用いて、第２のパラメータを生成する。
2009130942.tif 000002
【特許請求の範囲】
【請求項１】
原画像データを符号化して符号化データとして出力する符号化部と、
該符号化部から出力された符号化データを復号し、所定のフィルタ処理及び遅延処理を並行して実行する復号画像処理手段と、
前記復号された画像を複数の領域に分割し、その分割領域毎に該復号画像処理手段から出力されたフィルタ処理画像データ、遅延処理画像データ、および前記原画像データを入力し、画質調整のためのメタデータを生成して出力する画質調整部と、を備えた符号化装置であって、
前記画質調整部は、前記フィルタ処理画像データと前記遅延画像データとを混合するパラメータを生成するパラメータ生成部を有し、
該パラメータ生成部は、前記フィルタ処理画像データおよび前記原画像データを前記パラメータを用いて混合した画像データと、前記原画像データとの差分に基づいて、前記パラメータを生成することを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記復号画像処理手段は、前記所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理を並行して実行し、前記フィルタ処理及び前記遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および前記遅延画像データ出力し、
前記画質調整部は、前記分割領域毎に前記ローパスフィルタ処理画像データおよび前記遅延画像データを第１のパラメータを用いて混合し、該混合した画像データと前記原画像データとの差分を用いて前記第１のパラメータを生成し、かつ、前記ローパスフィルタ処理画像データ、前記ラプラシアン処理画像データおよび前記遅延画像データを第１および第２のパラメータを用いて混合し、該混合した画像データと前記原画像データとの差分を用いて、前記第２のパラメータを生成することを特徴とする画像符号化装置。
【請求項３】
請求項２に記載の画像符号化装置において、
前記画質調整部は、前記分割領域毎に前記第１のパラメータを生成する際に、前記ローパスフィルタ処理画像データおよび前記遅延画像データを混合した画像データと前記原画像データとの差分を用いて、前記ラプラシアン処理画像データで示されるエッジ領域が前記符号化部で分割されたブロックの境界に存在するかどうかを示す評価値を生成し、該評価値が最小となるまで前記第１のパラメータを生成する処理を繰り返すことを特徴とする画像符号化装置。
【請求項４】
請求項２に記載の画像符号化装置において、
前記画質調整部は、前記分割領域毎に前記第２のパラメータを生成する際に、前記ローパスフィルタ処理画像データ、前記ラプラシアン処理画像データ、及び前記遅延画像データを混合した画像データと前記原画像データとの差分を用いて、前記ラプラシアン処理画像データで示されるエッジ領域が前記符号化部で分割されたブロックの内部に存在するかどうかを示す評価値を生成し、該評価値が最小となるまで前記第２のパラメータを生成する処理を繰り返すことを特徴とする画像符号化装置。
【請求項５】
請求項３または４に記載の画像符号化装置において、前記画質調整部から出力されるメタデータは、前記ブロックの境界に存在するかどうかを示す評価値および前記エッジ領域が存在するかどうかを示す評価値を元に、前記第１および第２パラメータ、該第１パラメータおよび第２パラメータから決定されるローパスフィルタ処理およびラプラシアンフィルタ処理の処理内容を示すデータ、およびフィルタ処理を行うための領域指示データを結合して生成されたものであることを特徴とする画像符号化装置。
【請求項６】
請求項１〜４のいずれか１に記載の画像符号化装置において、前記画質調整部から出力されるメタデータは、前記符号化データを復号した復号画像データと前記原画像データの差分を符号化したデータを含むことを特徴とする画像符号化装置。
【請求項７】
請求項１〜５のいずれか１に記載の画像符号化装置から出力された符号化データおよびメタデータを入力し、入力した前記符号化データを復号して復号画像データを得る復号処理部と、該復号処理部からの復号画像データと入力した前記メタデータとを用いて高画質化処理を行う高画質化処理部と、を備えた画像復号装置であって、
該高画質化処理部は、前記メタデータを復号するメタデータ復号部と、
該復号されたメタデータに含まれる領域指示データに基づいて、前記復号画像データの特定の領域に対して所定のフィルタ処理を実行するフィルタ処理手段と、
前記復号画像データを遅延させる遅延処理手段と、
前記フィルタ処理手段および前記遅延処理手段からそれぞれ出力されたフィルタ処理画像データおよび遅延画像データを、前記復号されたメタデータに含まれる前記パラメータを用いて混合することを特徴とする画像復号装置。
【請求項８】
請求項７に記載の画像復号装置において、
前記フィルタ処理手段は、前記所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理の処理を並行して実行し、前記ローパスフィルタ処理及び前記遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および前記遅延画像データを出力し、
前記ローパスフィルタ処理画像データおよび前記遅延画像データに対して、第１のパラメータに基づく値を乗算するともに、前記ラプラシアン処理画像データに対して第２のパラメータに基づく値を乗算し、各前記乗算した結果を加算することで、前記混合を行うことを特徴とする画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置および画像復号装置に関し、特に見た目の画質を向上させるための補助情報の獲得、利用に係る技術に関する。
【背景技術】
【０００２】
動画像データおよび静止画像データを帯域圧縮技術により符号化及び復号化する方式として、ＩＳＯ−ＩＥＣ／ＪＴＣＩ／ＳＣ２９にて標準化されたＭＰＥＧ（Moving Picture Coding Expert Group）方式およびＪＰＥＧ（Joint Photographic Expert Group）方式がそれぞれ知られている。これらの方式では、画面内を複数画素から構成されるブロックに分割し、このブロック内データに対して、直交変換方式の１つである離散コサイン（ＤＣＴ）変換、量子化、ハフマン符号化を施すことで、データ量の削減を実現している。【０００３】
これらの方式は非可逆圧縮方式であるため、通常、圧縮データから圧縮前の画像データは再現できない。この時、圧縮前の元の画像データと、圧縮伸張後の復号画像データの相違の度合いは圧縮率に比例して大きくなる。【０００４】
ところで、上記画像データの相違は、ブロック境界部分に線のように現れるブロックノイズや、画像のエッジの境界に現れるリンギングやモスキートなどのノイズという形で現れる画質劣化要因である。
このような符号化ノイズの除去を目的とした技術が、特許文献１に開示されている。これは、復号した画像データに対してノイズ除去を行なうもので、図９に示すようにローパスフィルタ処理部１１、遅延器１３、ラプラシアンフィルタ処理部１２による各フィルタと、その後段に適応フィルタ手段を備える構成の画像処理装置である。この時、適応フィルタ手段に入力される入力データは、各フィルタを適用した画像データである。【０００５】
適応フィルタ手段は、復号画像データにラプラシアンフィルタにより得られた高周波数成分のレベルデータを元に、レベル比較器１７でそのレベルデータを段階的に区分けする。次に、加算パラメータテーブル１９にて、ローパスフィルタを適用したデータと、ラプラシアンフィルタを適用したデータと、遅延器１３にて遅延させたデータに対して、乗算させる係数（Ｋ，Ｍ）をそれぞれ選択し乗算器１５，１６，１８で掛け合わせ、加算器２０にて３つのデータを加算させる。
【特許文献１】特開平８−２７４９９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の手法は、ラプラシアンフィルタを適用して得られたレベルデータを用い、所定の変換ルールを用いて重み付け処理のパラメータ値（Ｋ，Ｍ）を決定している。しかし、この変換ルールの適用は、場所によって最適な値が異なるため、画面で一律の値を用いると、かえって必要な情報を削除したり、不要な情報を強調してしまうことで、処理後の画質低下を引き起こす。【０００７】
本発明は、上記の問題点に鑑みて成されたものであり、その目的は、画像に適用するフィルタ処理の強弱、要不要などのパラメータ値を、原画像との差分を用いて決定することで、より高画質な画像を得るためのポスト処理を可能とする画像符号化装置および画像復号装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の技術手段は、原画像データを符号化して符号化データとして出力する符号化部と、符号化部から出力された符号化データを復号し、所定のフィルタ処理及び遅延処理を並行して実行する復号画像処理手段と、復号された画像を複数の領域に分割し、その分割領域毎に復号画像処理手段から出力されたフィルタ処理画像データ、遅延処理画像データ、および原画像データを入力し、画質調整のためのメタデータを生成して出力する画質調整部と、を備えた符号化装置であって、画質調整部は、フィルタ処理画像データと遅延画像データとを混合するパラメータを生成するパラメータ生成部を有し、パラメータ生成部は、フィルタ処理画像データおよび原画像データをパラメータを用いて混合した画像データと、原画像データとの差分に基づいて、パラメータを生成することを特徴としたものである。【０００９】
第２の技術手段は、第１の技術手段において、復号画像処理手段は、所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理を並行して実行し、フィルタ処理及び遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および遅延画像データ出力し、画質調整部は、分割領域毎にローパスフィルタ処理画像データおよび遅延画像データを第１のパラメータを用いて混合し、混合した画像データと原画像データとの差分を用いて第１のパラメータを生成し、かつ、ローパスフィルタ処理画像データ、ラプラシアン処理画像データおよび遅延画像データを第１および第２のパラメータを用いて混合し、混合した画像データと原画像データとの差分を用いて、第２のパラメータを生成することを特徴としたものである。【００１０】
第３の技術手段は、第２の技術手段において、画質調整部は、分割領域毎に第１のパラメータを生成する際に、ローパスフィルタ処理画像データおよび遅延画像データを混合した画像データと原画像データとの差分を用いて、ラプラシアン処理画像データで示されるエッジ領域が符号化部で分割されたブロックの境界に存在するかどうかを示す評価値を生成し、評価値が最小となるまで第１のパラメータを生成する処理を繰り返すことを特徴としたものである。【００１１】
第４の技術手段は、第２の技術手段において、画質調整部は、分割領域毎に第２のパラメータを生成する際に、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、及び遅延画像データを混合した画像データと原画像データとの差分を用いて、ラプラシアン処理画像データで示されるエッジ領域が符号化部で分割されたブロックの内部に存在するかどうかを示す評価値を生成し、評価値が最小となるまで第２のパラメータを生成する処理を繰り返すことを特徴としたものである。【００１２】
第５の技術手段は、第３または４の技術手段において、画質調整部から出力されるメタデータは、ブロックの境界に存在するかどうかを示す評価値およびエッジ領域が存在するかどうかを示す評価値を元に、第１および第２パラメータ、第１パラメータおよび第２パラメータから決定されるローパスフィルタ処理およびラプラシアンフィルタ処理の処理内容を示すデータ、およびフィルタ処理を行うための領域指示データを結合して生成されたものであることを特徴としたものである。【００１３】
第６の技術手段は、第１〜４のいずれかの技術手段において、画質調整部から出力されるメタデータは、符号化データを復号した復号画像データと原画像データの差分を符号化したデータを含むことを特徴としたものである。【００１４】
第７の技術手段は、第１〜５のいずれかの技術手段である画像符号化装置から出力された符号化データおよびメタデータを入力し、入力した符号化データを復号して復号画像データを得る復号処理部と、復号処理部からの復号画像データと入力したメタデータとを用いて高画質化処理を行う高画質化処理部と、を備えた画像復号装置であって、高画質化処理部は、メタデータを復号するメタデータ復号部と、復号されたメタデータに含まれる領域指示データに基づいて、復号画像データの特定の領域に対して所定のフィルタ処理を実行するフィルタ処理手段と、復号画像データを遅延させる遅延処理手段と、フィルタ処理手段および遅延処理手段からそれぞれ出力されたフィルタ処理画像データおよび遅延画像データを、復号されたメタデータに含まれるパラメータを用いて混合することを特徴としたものである。【００１５】
第８の技術手段は、第７の技術手段において、フィルタ処理手段は、所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理の処理を並行して実行し、ローパスフィルタ処理及び遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および遅延画像データを出力し、ローパスフィルタ処理画像データおよび遅延画像データに対して、第１のパラメータに基づく値を乗算するともに、ラプラシアン処理画像データに対して第２のパラメータに基づく値を乗算し、各乗算した結果を加算することで、混合を行うことを特徴としたものである。
【発明の効果】
【００１６】
本発明によれば、画像に適用するフィルタ処理の強弱、要不要などのパラメータ値を、原画像との差分を用いて決定することで、より高画質な画像を得るためのポスト処理を可能とする画像符号化装置および画像復号装置を提供することができる。特に原画像と復号画像の差分を考慮しつつ、見た目の画質を向上させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に関わる画像符号化装置の構成を示すブロック図である。
【図２】図１の画質調整部のより詳細な構成を示すブロック図である。
【図３】本発明の一実施形態に関わる画像復号装置の構成を示すブロック図である。
【図４】図３の高画質化処理部のより詳細な構成を示すブロック図である。
【図５】本発明に適用可能なローパスフィルタ処理、ラプラシアンフィルタ処理に用いる係数の例を示す図である。
【図６】本発明の画像符号化装置におけるエッジ強調処理の一例の説明図である。
【図７】本発明の画像符号化装置におけるブロック歪軽減処理の一例の説明図である。
【図８】本発明の画像符号化装置におけるメタデータの構成例の説明図である。
【図９】従来の画像処理装置の構成例を示すブロック図である。
【符号の説明】
【００１８】
１１…ローパスフィルタ処理部、１２…ラプラシアンフィルタ処理部、１３…遅延器、１５，１６，１８…乗算器、１７…レベル比較器、１９…加算パラメータテーブル、２０…加算器、１０１…符号化部、１０２…復号部、１０３…ＭＣ部、１０４…遅延部、１０５…ＬＰＦ部、１０６…遅延部、１０７…ラプラシアンフィルタ部、１０８…画質調整部、１０９…ＭＥ部、１１０…画像減算部、１１１…画像加算部、２０１ａ，２０１ｂ，２０１ｃ…乗算部、２０２…ブロック歪検出部、２０３…第１のパラメータ生成部、２０４…エッジ検出部、２０５…第２のパラメータ生成部、２０６…メタデータ生成部、２０７，２０８…画像減算部、２０９，２１０…画像加算部、３０１…復号部、３０２…高画質化処理部、３０３…ＭＣ部、３０４…遅延部、３０５…画像加算部、４０１…領域選択ＬＰＦ部、４０２…遅延部、４０３…領域選択ラプラシアンフィルタ部、４０４…メタデータ復号部、４０５ａ〜４０５ｃ…乗算部、４０６…画像加算部。
【発明を実施するための最良の形態】
【００１９】
本発明の実施形態について、図面に基づいて説明する。
（基本処理：メタデータ生成）
図１は、本発明の画像符号化装置の基本構成を示すブロック図である。当該装置は、符号化部１０１、復号部１０２、ＭＣ部（動き補償部）１０３、遅延部（第１遅延部）１０４、ＬＰＦ部１０５、遅延部（第２遅延部）１０６、ラプラシアンフィルタ部１０７、画質調整部１０８、ＭＥ部１０９、画像減算部１１０、画像加算部１１１を有している。【００２０】
入力された原画像は、画像減算部１１０で１フレーム前の復号画像との差分が取られる。符号化部１０１は、画像減算部１１０で得られた差分画像を複数のブロックに分割し、ＤＣＴなどの直交変換を施す。そして、変換して得られた係数を量子化し、量子化した係数値を非ゼロの係数値とゼロの個数を組にした可変長の符号語に変換する。【００２１】
復号部１０２は、符号化部１０１とは逆の手順で復号処理を行なう。
画像加算部１１１は、復号部１０２で復号した画像に、ＭＣ部１０３にて動き補償した画像を加算する。画像加算部１１１で生成された画像は、遅延部（第１遅延部）１０４にて１フレーム分遅延処理される。
ＭＥ部１０９は、入力された画像と直前に復号した画像とから、ブロック単位に動き推定を行ない、動きベクトル情報を生成する。ＭＣ部１０３は、直前に復号した画像と、ＭＥ部１０９で生成された動きベクトル情報とを用いて動き補償を行う。
符号化部１０１で生成された符号語と、動きベクトル情報は、モードなどの制御情報などとともに符号化データとして出力される。【００２２】
以上の部分の動作は、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、ＶＣ−１などの国際標準方式でも用いられており、これらの方式を適用することも可能である。【００２３】
画像加算部１１１で生成された復号画像は、ＬＰＦ部１０５、遅延部（第２遅延部）１０６、ラプラシアンフィルタ部１０７にも入力される。
ＬＰＦ部１０５は、入力された復号画像をローパスフィルタによりフィルタ処理する。この結果生成される画像データは、元の画像に含まれる高周波成分を除去した画像である。この画像で、遅延部（第２遅延部）１０６の出力画像データ（元の画像）を選択的に置換することで、その部分の高周波成分を除去することが可能となる。この処理時に用いられるフィルタ係数としては、例えば図５（Ａ）に示すものが考えられるが、これに限定されるものではない。【００２４】
ラプラシアンフィルタ部１０７は、入力された復号画像をラプラシアンフィルタによりフィルタ処理する。この結果生成される画像データは、画像に含まれる高周波成分の分布を表している。これを利用することで、画像のエッジを抽出することが可能となると同時に、この画像の画素値と第２遅延部１０６の出力画像の画素値とを足し合わせることで、エッジ強調が可能となる。この処理に用いられるフィルタ係数は、例えば図５（Ｂ）に示すものが考えられるが、これに限定されるものではない。【００２５】
第２遅延部１０６は、入力された復号画像の出力タイミングをＬＰＦ部１０５の出力とラプラシアンフィルタ部１０７の出力に合うよう、遅延させる。
このように、符号化部１０１から出力された符号化データを復号し、所定のフィルタ処理及び遅延処理を実行する本発明の復号画像処理手段は、復号部１０２、画像加算部１１１、ＬＰＦ部１０５、遅延部１０６，およびラプラシアンフィルタ部１０７により実現されている。【００２６】
画質調整部１０８は、これらＬＰＦ部１０５、第２遅延部１０６、ラプラシアンフィルタ部１０７からの出力を後述する方法で合成し、これと原画像を比較し、最適な合成のパラメータをメタデータとして出力する。
以上のように構成することで、原画像と復号画像の差分を考慮し、適応的にフィルタ処理を行なうためのパラメータをメタデータとして生成することが可能となる。【００２７】
これを可変長の符号にそれぞれのブロックを符号化する。具体的には、符号化方式としては、ＭＰＥＧなどで規格化された符号化方式を適用することができる。【００２８】
（基本処理：画質調整部１０８の詳細説明）
次に、図２を用いて、画質調整部１０８のより詳細な動作について説明する。
画質調整部１０８は、３つの乗算部２０１ａ〜２０１ｃ、ブロック歪検出部２０２、第１のパラメータ生成部２０３、エッジ検出部２０４、第２のパラメータ生成部２０５、メタデータ生成部２０６、画像減算部２０７，２０８、画像加算部２０９，２１０から構成される。【００２９】
画質調整処理は、次に示す３つのステップで行なわれる。
＜ステップ０＞：対象領域の決定
入力された画像データを複数の領域（例えばＭ×Ｎ画素のブロック）に分割し、それぞれの領域を画質調整処理候補領域とする。以下の＜ステップ１＞から＜ステップ３＞は各候補領域に対して適応される。
＜ステップ１＞：Ｋの決定
画質調整部１０８には、図１のＬＰＦ部１０５からＬＰＦ画像が入力され、遅延部１０６から遅延画像が入力され、ラプラシアンフィルタ部１０７からラプラシアンフィルタ画像が入力される。また画像符号化装置に入力する原画像も入力される。
入力されたＬＰＦ画像および遅延画像は、乗算部２０１ａ，２０１ｂおよび画像加算部２０９を用いてパラメータＫで示される比で混合される。これは、ＬＰＦ画像をｌ（ｎ）、遅延画像をｄ（ｎ）とすると、次式で与えられる（ｎは画素の番号）。
（１−Ｋ）×ｌ（ｎ）＋Ｋ×ｄ（ｎ）【００３０】
次に、この結果と原画像との差分画像が画像減算部２０７にて生成される。
ブロック歪検出部２０２は、エッジ領域がブロック境界に存在するかどうかを示す評価値を生成する。図７はこの様子を説明した図である。検出の単位は２×２ブロック単位に行ない、前記画質調整処理候補領域内部におけるブロックの境界部の前記差分画像の画素値の合計値を用いるなどにより評価値が得られる。【００３１】
第１のパラメータ生成部２０３は、入力された評価値に基づいて次の新たなパラメータＫを決定し、それぞれの乗算部２０１ａ，２０１ｂにパラメータを出力する。
これらの処理は、評価値が最小となるＫが見つかるまで繰り返し実施される。Ｋの与え方としては、例えばＫの値域と探索のステップ数を決めておき、しらみつぶしするなどの方法のほか、探索時間を早めるため、最初探索ステップを粗めに取って最小となるＫを決定し、次いでその近辺で探索を行う２ステップサーチなどの手法が考えられる。【００３２】
＜ステップ２＞：Ｍの決定
入力されたローパスフィルタ画像、ラプラシアン画像および遅延画像は、乗算部２０１ａ〜２０１ｃおよび画像加算部２１０を用いて既に決定されたパラメータＫとパラメータＭで示される比で混合される。これは、ラプラシアン画像をＬ（ｎ）とすると、次式で与えられる（ｎは画素の番号）。
（１−Ｋ）×ｌ（ｎ）＋Ｋ×ｄ（ｎ）＋Ｍ×Ｌ（ｎ）【００３３】
次に、この結果と原画像との差分画像が画像減算部２０８にて生成される。
エッジ検出部２０４は、ラプラシアン画像で示されるエッジ領域が、ブロック内部に存在するかどうかを示す評価値を生成する。図６はこの様子を説明した図である。検出はブロック単位で行い、前記画質調整処理候補領域内部におけるブロック内部の差分画像の画素値の総和を算出することで評価値を得る。【００３４】
第２のパラメータ生成部２０５は、評価値が最小となるパラメータＭを決定し、それぞれの乗算部にパラメータを出力する。パラメータＭの決定のステップは、パラメータＫの決定ステップと全く同様に実施できるため、説明は省略する。【００３５】
＜ステップ３＞：メタデータの生成
以上のステップにより、上記の評価単位毎にパラメータＭ、Ｋ、および処理内容（ＬＰＦ或いはラプラシアン）が決定される。同時に、前記ブロック歪検出部２０２が生成した評価値の初期値および、エッジ検出部２０４が生成した評価値の初期値がそれぞれ得られる。前記評価値の初期値のいずれかが歪の存在を示す値である場合、メタデータ生成部２０６は、これらを結合させ、メタデータを生成する。図８は、メタデータの構成例を示したものである。図８（Ａ）は、一組のデータを単純に結合した形式を表している。一方、図８（Ｂ）は、ＸＭＬ（eXtensible Markup Language）にて記載した例を表す。一方、いずれの歪も存在しないブロックについての前記メタデータは生成されない。【００３６】
図８における領域指示情報は、例えば座標値やブロック番号など対応するブロックに関する情報を表す。映像処理名は、その領域に施す処理名を記す。例えば、「ＬＰＦ」、「Ｌａｐｌａｃｉａｎ」などと処理名をそのまま記しても良いし、処理名を表すインデックスなどの形式でも良い。パラメータは、これまで説明してきた例でいうと、Ｍ、Ｋの値である。どのようなパラメータが必要なのかは、処理に依存するため、この領域の大きさは、処理名に依存して変化する。各探索単位に対して生成された各メタデータを結合させることで、その画像に対するメタデータとなる。【００３７】
以上のように構成することで、原画像と復号画像の差分を考慮した、適応フィルタ処理を行なうためのパラメータを決定することが可能となる。【００３８】
（基本処理：高画質化処理）
図３は本発明に関わる画像復号装置の構成を表すブロック図である。
画像復号装置は、復号部３０１、高画質化処理部３０２、ＭＣ部３０３、遅延部３０４、画像加算部３０５を有している。
次に図３を用いて復号処理の動作について説明する。なお、ＭＣ部３０３、遅延部３０４の詳細動作は、図１を参照して説明したＭＣ部１０３、遅延部１０４と同様であるため、詳細な繰り返しの説明は省略する。【００３９】
復号部３０１は、入力された符号化データに含まれる可変長符号の復号を行い、符号化インデックスを再生する。次に逆量子化を行って変換係数を得る。最後に、逆ＤＣＴを行い、画像を出力する。これと、ＭＣ部３０３の出力である、動き補償を行なった参照フレームとを画像加算部３０５で結合し、復号画像を得る。得られた復号画像は、遅延部３０４にて１フレーム分遅延され、その後ＭＣ部３０３に入力される。
ここでは、符号化装置から出力された符号化データを復号して復号画像データを得る本発明の復号処理部は、復号部３０１、ＭＣ部３０３、遅延部３０４、および画像加算部３０５によって実現されている。【００４０】
以上の動作は、ＭＰＥＧなどの国際標準方式で採用されている復号装置と同様であり、ゆえに、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、ＶＣ−１などの国際標準方式を用いても良い。【００４１】
高画質化処理部３０２は、入力されたメタデータを用いて、入力された復号画像の後処理を行い、これを最終的な復号画像として出力する。【００４２】
次に、図４を用いて高画質化処理部３０２のより詳細な動作について説明する。高画質化処理部３０２は、領域選択ＬＰＦ部４０１、遅延部４０２、領域選択ラプラシアンフィルタ部４０３、メタデータ復号部４０４、乗算部４０５ａ〜４０５ｃを有している。以上のうち、遅延部４０２は、図１を参照して説明した遅延部１０６と同様の動作を行い、乗算部４０５ａ〜４０５ｃは、図２を参照して説明した乗算部２０１ａ〜２０１ｃと同様の動作を行い、既に説明しているため、詳細の動作説明は省略する。【００４３】
メタデータ復号部４０４は、入力されたメタデータを復号し、領域指示情報、映像処理名、パラメータの組を得る。
領域選択ＬＰＦ部４０１は、入力された復号画像上の領域のうち、領域指示情報で指定された領域に対し、図１を参照して説明した画像符号化装置のＬＰＦ部１０５と同様の処理を行なう。
領域選択ラプラシアンフィルタ部４０３は、入力された復号画像上の領域のうち、領域指示情報で指定された領域に対し、図１を参照して説明した画像符号化装置のラプラシアンフィルタ部１０７と同様の処理を行なう。領域選択ＬＰＦ部４０１および領域選択ラプラシアンフィルタ部４０３は、復号画像データの特定の領域に対して所定のフィルタ処理を実行する本発明のフィルタ処理手段に該当し、遅延部４０２は、復号画像データを遅延させる本発明の遅延処理手段に該当する。【００４４】
以上の動作は、メタデータに格納される領域指示情報、映像処理名、パラメータの組の数だけ繰り返される。
これらの処理画像と、遅延部４０２で遅延させた画像それぞれを上記のパラメータＫ，Ｍを用いて乗算部４０５ａ〜４０５ｃで画素単位に乗算し、画像加算部４０６で画素単位に加算処理を行なう。【００４５】
以上のように構成することで、エッジのボケや、ブロック歪を軽減した画質向上処理を施すことができ、さらに、ＬＰＦやラプラシアンなどのフィルタ処理を画面全体ではなく、必要な領域に限定させることができるため、処理量を削減させることができ、ひいてはＣＰＵの消費電力を低減することができる。【００４６】
（領域指定処理）
上記の領域指示情報は、ブロックを指定する情報として説明を行なったが、任意形状の領域を用いても良い。この場合、領域を指定する情報として、形状符号化情報が用いられる。形状符号化方式として、ファクシミリなどで使われたＭＨ、ＭＲ、ＭＭＲなど２値画像の符号化方式が考えられる。また、ＭＰＥＧ−４で規格化されている領域符号化を用いる方法も考えられる。さらには、領域の境界を複数のベクトルの集まりとみなし、これを符号化する方法も考えられる。
以上のように構成することで、画質向上を行なう領域をより柔軟に指定でき、効果的な画質向上が可能となる。【００４７】
（差分データの使用）
これまでの説明では、ローパスフィルタを用いてブロック歪の除去する方法や、エッジを強調する方法を組み合わせて画質向上を行なう例を示したが、圧縮率を高めることで復号画像の歪が大きく、これらの手法で画質の補正ができない場合、復号画像と原画像の差分を符号化し、これをメタデータとしても良い。【００４８】
この場合、符号化の方法として、階層化符号化技術を用いる手法が考えられる。例えば、前述の国際標準であればＭＰＥＧ−２ ＳＮＲ Ｓｃａｌａｂｉｌｉｔｙ、ＭＰＥＧ−４ ＳＮＲ Ｓｃａｌａｂｉｌｉｔｙ、ＳＶＣ（Scalable Video Coding）などを利用することができる。この場合、メタデータには、映像処理名に復号の規格名を、パラメータに符号化した差分情報を格納すればよい。【００４９】
以上のように構成することで、平滑化やエッジ強調などの画像処理で実現できない画質向上化が実現でき、これを目立つ部分などに適宜利用することで、効率的に画質向上させることが可能となる。
【図１】
2009130942.tif 000003
【図２】
2009130942.tif 000004
【図３】
2009130942.tif 000005
【図４】
2009130942.tif 000006
【図５】
2009130942.tif 000007
【図６】
2009130942.tif 000008
【図７】
2009130942.tif 000009
【図８】
2009130942.tif 000010
【図９】
2009130942.tif 000011
【手続補正書】
【提出日】平成21年10月16日(2009.10.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
原画像データを符号化して符号化データとして出力する符号化部と、
該符号化部から出力された符号化データを復号し、所定のフィルタ処理及び遅延処理を並行して実行する復号画像処理手段と、
前記復号された画像を複数の領域に分割し、その分割領域毎に該復号画像処理手段から出力されたフィルタ処理画像データ、遅延処理画像データ、および前記原画像データを入力し、画質調整のためのメタデータを生成して出力する画質調整部と、を備えた符号化装置であって、
前記画質調整部は、前記フィルタ処理画像データと前記遅延画像データとを混合するパラメータを生成するパラメータ生成部を有し、
該パラメータ生成部は、前記フィルタ処理画像データおよび前記遅延画像データを前記パラメータを用いて混合した画像データと、前記原画像データとの差分を用いて所定の評価値を生成し、該評価値が最小となるまで処理を繰り返すことにより、前記パラメータを生成することを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記復号画像処理手段は、前記所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理を並行して実行し、前記フィルタ処理及び前記遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および前記遅延画像データ出力し、
前記画質調整部は、前記分割領域毎に前記ローパスフィルタ処理画像データおよび前記遅延画像データを第１のパラメータを用いて混合し、該混合した画像データと前記原画像データとの差分を用いて前記第１のパラメータを生成し、かつ、前記ローパスフィルタ処理画像データ、前記ラプラシアン処理画像データおよび前記遅延画像データを第１および第２のパラメータを用いて混合し、該混合した画像データと前記原画像データとの差分を用いて、前記第２のパラメータを生成することを特徴とする画像符号化装置。
【請求項３】
請求項２に記載の画像符号化装置において、
前記画質調整部は、前記分割領域毎に前記第１のパラメータを生成する際に、前記ローパスフィルタ処理画像データおよび前記遅延画像データを混合した画像データと前記原画像データとの差分を用いて、前記ラプラシアン処理画像データで示されるエッジ領域が前記符号化部で分割されたブロックの境界に存在するかどうかを示す評価値を生成し、該評価値が最小となるまで前記第１のパラメータを生成する処理を繰り返すことを特徴とする画像符号化装置。
【請求項４】
請求項２に記載の画像符号化装置において、
前記画質調整部は、前記分割領域毎に前記第２のパラメータを生成する際に、前記ローパスフィルタ処理画像データ、前記ラプラシアン処理画像データ、及び前記遅延画像データを混合した画像データと前記原画像データとの差分を用いて、前記ラプラシアン処理画像データで示されるエッジ領域が前記符号化部で分割されたブロックの内部に存在するかどうかを示す評価値を生成し、該評価値が最小となるまで前記第２のパラメータを生成する処理を繰り返すことを特徴とする画像符号化装置。
【請求項５】
請求項３または４に記載の画像符号化装置において、前記画質調整部から出力されるメタデータは、前記ブロックの境界に存在するかどうかを示す評価値および前記エッジ領域が存在するかどうかを示す評価値を元に、前記第１および第２パラメータ、該第１パラメータおよび第２パラメータから決定されるローパスフィルタ処理およびラプラシアンフィルタ処理の処理内容を示すデータ、およびフィルタ処理を行うための領域指示データを結合して生成されたものであることを特徴とする画像符号化装置。
【請求項６】
請求項１〜４のいずれか１に記載の画像符号化装置において、前記画質調整部から出力されるメタデータは、前記符号化データを復号した復号画像データと前記原画像データの差分を符号化したデータを含むことを特徴とする画像符号化装置。
【請求項７】
請求項１〜５のいずれか１に記載の画像符号化装置から出力された符号化データおよびメタデータを入力し、入力した前記符号化データを復号して復号画像データを得る復号処理部と、該復号処理部からの復号画像データと入力した前記メタデータとを用いて高画質化処理を行う高画質化処理部と、を備えた画像復号装置であって、
該高画質化処理部は、前記メタデータを復号するメタデータ復号部と、
該復号されたメタデータに含まれる領域指示データに基づいて、前記復号画像データの特定の領域に対して所定のフィルタ処理を実行するフィルタ処理手段と、
前記復号画像データを遅延させる遅延処理手段と、
前記フィルタ処理手段および前記遅延処理手段からそれぞれ出力されたフィルタ処理画像データおよび遅延画像データを、前記復号されたメタデータに含まれる前記パラメータを用いて混合することを特徴とする画像復号装置。
【請求項８】
請求項７に記載の画像復号装置において、
前記フィルタ処理手段は、前記所定のフィルタ処理として、ローパスフィルタ処理およびラプラシアンフィルタ処理の処理を並行して実行し、前記ローパスフィルタ処理及び前記遅延処理により、ローパスフィルタ処理画像データ、ラプラシアン処理画像データ、および前記遅延画像データを出力し、
前記ローパスフィルタ処理画像データおよび前記遅延画像データに対して、第１のパラメータに基づく値を乗算するともに、前記ラプラシアン処理画像データに対して第２のパラメータに基づく値を乗算し、各前記乗算した結果を加算することで、前記混合を行うことを特徴とする画像復号装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
分けする。次に、加算パラメータテーブル１９にて、ローパスフィルタを適用したデータと、ラプラシアンフィルタを適用したデータと、遅延器１３にて遅延させたデータに対して、乗算させる係数（Ｋ，Ｍ）をそれぞれ選択し乗算器１５，１６，１８で掛け合わせ、加算器２０にて３つのデータを加算させる。
特許文献１：特開平８−２７４９９６号公報
発明の開示
発明が解決しようとする課題
［０００６］
特許文献１の手法は、ラプラシアンフィルタを適用して得られたレベルデータを用い、所定の変換ルールを用いて重み付け処理のパラメータ値（Ｋ，Ｍ）を決定している。しかし、この変換ルールの適用は、場所によって最適な値が異なるため、画面で一律の値を用いると、かえって必要な情報を削除したり、不要な情報を強調してしまうことで、処理後の画質低下を引き起こす。
［０００７］
本発明は、上記の問題点に鑑みて成されたものであり、その目的は、画像に適用するフィルタ処理の強弱、要不要などのパラメータ値を、原画像との差分を用いて決定することで、より高画質な画像を得るためのポスト処理を可能とする画像符号化装置および画像復号装置を提供することにある。
課題を解決するための手段
［０００８］
上記課題を解決するために、本発明の第１の技術手段は、原画像データを符号化して符号化データとして出力する符号化部と、符号化部から出力された符号化データを復号し、所定のフィルタ処理及び遅延処理を並行して実行する復号画像処理手段と、復号された画像を複数の領域に分割し、その分割領域毎に復号画像処理手段から出力されたフィルタ処理画像データ、遅延処理画像データ、および原画像データを入力し、画質調整のためのメタデータを生成して出力する画質調整部と、を備えた符号化装置であって、画質調整部は、フィルタ処理画像データと遅延画像データとを混合するパラメータを生成するパラメータ生成部を有し、パラメータ生成部は、フィルタ処理画像データおよび遅延画像データをパラメータを用いて混合した画像データと、原画像データとの差分を用いて所定の評価値を生成し、評価値が最小となるまで処理を繰り返すことにより、パラメータを生成することを特徴としたものである。
【国際調査報告】
2009130942.tif 000012
2009130942.tif 000013
2009130942.tif 000014
2009130942.tif 000015