(57)【要約】  符号化された後に復号されたピクチャに画像強調技術を適用された場合に引き起こされる符号化歪みの発生が抑制する。  原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する映像復号装置（２００）であって、符号化ストリームに含まれる予測誤差を復号するエントロピー復号部（２３１）と、復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算器（２２４）と、生成された復号画像に、画質を高めるための処理を適用することで処理画像を生成する画像処理部（２６０）と、復号された予測誤差に基づいて、領域ごとに重み係数を決定するマスク構成部（２４０）とを備え、画像処理部（２６０）では、生成された復号画像と処理された処理画像とを、決定された重み係数に従って重み付け加算することで、出力画像を生成する。
2009050889.tif 000002
【特許請求の範囲】
【請求項１】
原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する映像復号方法であって、
前記符号化ストリームに含まれる予測誤差を復号する復号ステップと、
前記復号ステップで復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算ステップと、
前記加算ステップで生成された復号画像に、画質を高めるための処理を実行することで処理画像を生成する画像強調ステップと、
前記復号ステップで復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、
前記復号画像と、前記処理画像とを、前記重み係数決定ステップで決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算ステップとを含む
映像復号方法。
【請求項２】
前記重み係数決定ステップでは、前記復号ステップで復号された予測誤差の絶対値が小さい領域には、前記予測誤差の絶対値が大きい領域よりも、前記処理画像がより強く重み付けられるように、前記重み係数を決定する
請求項１記載の映像復号方法。
【請求項３】
前記重み係数決定ステップは、
前記予測誤差の絶対値を、０以上１以下の値の範囲にマッピングすることで、前記所定の領域ごとにマスク値を算出するマスク値算出ステップと、
前記マスク値算出ステップで算出されたマスク値を前記復号画像の重み係数とし、前記マスク値を１から減算した値を前記処理画像の重み係数として決定する重み係数算出ステップとを含む
請求項２記載の映像復号方法。
【請求項４】
前記マスク値算出ステップでは、さらに、前記予測誤差の標準偏差に従って、前記予測誤差の絶対値を０以上１以下の値の範囲にマッピングする
請求項３記載の映像復号方法。
【請求項５】
前記マスク値算出ステップでは、さらに、マッピングされた前記予測誤差の絶対値に、モルフォロジー処理を適用することで、前記所定の領域ごとにマスク値を算出する
請求項３記載の映像復号方法。
【請求項６】
前記マスク値算出ステップでは、さらに、算出されたマスク値の平均値を所定の目標値に調整する
請求項３記載の映像復号方法。
【請求項７】
前記符号化ストリームは、さらに、前記原画像の統計特性を示すパラメータデータを含み、
前記画像強調ステップでは、前記パラメータデータに従って、前記加算ステップによって生成される復号画像を処理することで前記処理画像を生成する
請求項２記載の映像復号方法。
【請求項８】
前記画像強調ステップでは、前記パラメータデータを用いたテクスチャ生成アルゴリズムに従って前記復号画像を処理することで前記処理画像を生成する
請求項７記載の映像復号方法。
【請求項９】
前記画像強調ステップでは、前記復号画像にシャープ化フィルタを適用する
請求項２記載の映像復号方法。
【請求項１０】
前記画像強調ステップでは、前記復号画像にハイパスフィルタ又はローパスフィルタを適用する
請求項２記載の映像復号方法。
【請求項１１】
前記重み係数決定ステップでは、前記重み係数を、画素ごとに決定する
請求項２記載の映像復号方法。
【請求項１２】
原画像と予測画像との差分である予測誤差を符号化するとともに、前記原画像の統計パラメータを算出する映像符号化方法であって、
前記予測誤差を算出する予測誤差算出ステップと、
前記予測誤差算出ステップで算出された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、
前記原画像の統計特性を解析し、前記所定の領域ごとに、前記重み係数を用いて前記統計特性を重み付けることで、統計パラメータを算出するパラメータ算出ステップとを含む
映像符号化方法。
【請求項１３】
前記重み係数決定ステップでは、前記予測誤差算出ステップで算出された予測誤差の絶対値が小さい領域は、前記予測誤差の絶対値が大きい領域よりも強く重み付けられるように、前記重み係数を決定する
請求項１２記載の映像符号化方法。
【請求項１４】
前記重み係数決定ステップは、
前記予測誤差の絶対値を、０以上１以下の値の範囲にマッピングすることで、前記所定の領域ごとにマスク値を算出するマスク値算出ステップを含む
請求項１３記載の映像符号化方法。
【請求項１５】
原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する映像復号装置であって、
前記符号化ストリームに含まれる予測誤差を復号する復号部と、
前記復号部によって復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算部と、
前記加算部によって生成された復号画像に、画質を高めるための処理を適用することで処理画像を生成する画像強調部と、
前記復号部によって復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定部と、
前記加算部によって生成された復号画像と、前記画像強調部によって処理された処理画像とを、前記重み係数決定部によって決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算部とを備える
映像復号装置。
【請求項１６】
原画像と予測画像との差分である予測誤差を符号化するとともに、前記原画像の統計パラメータを算出する映像符号化装置であって、
前記予測誤差を算出する予測誤差算出部と、
前記予測誤差算出部によって算出された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定部と、
前記原画像の統計特性を解析し、前記所定の領域ごとに、前記重み係数を用いて前記統計特性を重み付けることで、統計パラメータを算出するパラメータ算出部とを含む
映像符号化装置。
【請求項１７】
原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する映像復号方法をコンピュータに実行させるためのプログラムであって、
前記符号化ストリームに含まれる予測誤差を復号する復号ステップと、
前記復号ステップで復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算ステップと、
前記加算ステップで生成された復号画像に、画質を高めるための処理を実行することで処理画像を生成する画像強調ステップと、
前記復号ステップで復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、
前記復号画像と、前記処理画像とを、前記重み係数決定ステップで決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算ステップとを含む
プログラム。
【請求項１８】
原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する集積回路であって、
前記符号化ストリームに含まれる予測誤差を復号する復号部と、
前記復号部によって復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算部と、
前記加算部によって生成された復号画像に、画質を高めるための処理を適用することで処理画像を生成する画像強調部と、
前記復号部によって復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定部と、
前記加算部によって生成された復号画像と、前記画像強調部によって処理された処理画像とを、前記重み係数決定部によって決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測に基づいた映像復号方法と、映像符号化方法と、各方法に対応する装置とに関し、特に、主観的な画質を向上させるために、復号画像にポスト処理を実行する方法と、対応する装置とに関する。
【背景技術】
【０００２】
Ｈ．２６４／ＡＶＣ規格などの最先端の映像符号化技術では、量子化によって引き起こされる情報の喪失を容認することで、画像又は映像データを圧縮する。これらの技術は、符号化ピクチャをできるだけ原画像に近づけ、かつ、視聴者にとっての符号化歪み（符号化アーティファクト）を隠すように、最適化されている。【０００３】
ただし、明らかに、ピクチャを低ビットレートに圧縮することと、符号化歪みを隠すこととは、相反する目的である。１つ重要な点は、たとえ歪みが目に見えないものであっても、シャープネスの喪失の影響は、多くの場合残っているということである。このため、大量のビットが、原画像のシャープネスを実質的に保護するために費やされなければならない。利用可能なビットレートは、多くのアプリケーションで厳しく制限されているので、ビットをシャープネスの保護に用いるのではなく、アンシャープマスク、又は、局所的なコントラストの強調などのポスト処理技術が、シャープネスの印象をいくらか復元するために適用される。【０００４】
しかしながら、これらのシャープ化のためのポスト処理技術の共通の問題は、符号化歪みも同様に、増幅されるかもしれないということである。【０００５】
図１１は、従来の映像符号化装置５００の構成の一例を示すブロック図である。同図に示す映像符号化装置５００は、Ｈ．２６４／ＡＶＣ標準規格に従って、入力画像は、複数のマクロブロックに分割される。映像符号化装置５００は、入力画像のブロックと、先に符号化及び復号されたブロックとから算出される差分（以下、予測誤差とも記載する）だけを送信する差分パルス符号変調（ＤＰＣＭ：Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）方法を使用する。【０００６】
図１１の映像符号化装置５００は、映像シーケンスに含まれる入力画像の対象ブロック（入力信号）と、メモリ３２６に格納されている先に符号化及び復号されたブロックに基づいた対象ブロックに対応する予測ブロック（予測信号）との差分を決定する差分器３２１を備える。差分器３２１は、符号化の対象ブロックを受け取り、受け取った対象ブロックから予測ブロックを減算することで、差分（予測誤差）を算出する。【０００７】
変換／量子化部３２２は、差分器３２１によって算出された予測誤差を、空間領域から周波数領域に変換する。さらに、変換／量子化部３２２は、変換により得られた変換係数を量子化する。【０００８】
エントロピー符号化部３３１は、変換／量子化部３２２によって変換及び量子化された量子化係数をエントロピー符号化する。【０００９】
ローカル復号画像は、映像符号化装置５００に組み込まれた復号部（逆量子化／逆変換部５２３、加算器３２４及びデブロッキングフィルタ５２５）によって提供される。この復号部は、符号化ステップを逆順で実行する。つまり、逆量子化／逆変換部５２３は、量子化係数を逆量子化し、予測誤差を復元するために逆変換を逆量子化係数に適用する。加算器３２４は、ローカル復号画像を形成するために、予測誤差と予測信号とを加算することで、ローカル復号画像を生成する。さらに、デブロッキングフィルタ５２５は、ローカル復号画像内のブロック歪み（ブロッキングアーティファクト）を低減する。【００１０】
映像符号化装置５００によって使用される予測のタイプは、マクロブロックが「イントラ」モード及び「インター」モードのいずれで符号化されるかによって決まる。「イントラ」モードでは、映像符号化標準規格であるＨ．２６４／ＡＶＣ規格は、次のマクロブロックを予測するために、同じ画像の中で既に符号化及び復号されたマクロブロックに基づいた予測方式を用いる。「インター」モードでは、連続する数ピクチャの対応するブロック間での動き補償された予測が使用される。【００１１】
イントラ符号化画像（Ｉタイプ画像）だけは、先に符号化及び復号されたいかなる画像も参照することなく復号される。Ｉタイプ画像は、符号化映像シーケンスに対する誤り耐性（誤差の回復力）を持たしている。さらに、符号化映像シーケンスに含まれる画像の中でＩタイプ画像にアクセスするために、符号化データのビットストリームへのエントリーポイントを規定する。イントラモード（すなわち、イントラフレーム予測部３２７による処理）と、インターモード（すなわち、動き補償予測部３２８による処理）との切換は、イントラ／インター切換スイッチ３３０によって制御される。【００１２】
「インター」モードでは、マクロブロックは、動き補償を使用することで、先のピクチャの対応するブロックから予測される。動き検出は、対象入力信号とローカル復号画像とを受け取る動き検出部３２９によって達成される。動き検出により、対象ブロックと、先のピクチャの対応するブロックとの間の画素位置のずれ（動き）を示す２次元動きベクトルが生成される。検出された動きに基づいて、動き補償予測部３２８は、予測信号を提供する。【００１３】
「イントラ」及び「インター」符号化モード共に、対象信号と予測信号との差分は、変換／量子化部３２２によって変換係数に変換される。通常、２次元離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などの直交変換、又は、その整数バージョンが使用される。【００１４】
変換係数は、変換／量子化部３２２によって、符号化されなければならないデータ量を削減するために量子化される。量子化に用いる量子化ステップは、精度と、各周波数係数を符号化するために用いられるビット数とを特定する量子化テーブルによって制御される。通常、画質にとって低周波成分が微細な内容より重要であり、その結果、低周波成分の符号化には高周波成分よりも多くのビットが費やされる。【００１５】
量子化の後、変換係数の２次元配列は、エントロピー符号化部３３１に通すために、１次元の列に変換される。この変換は、予め定められたシーケンスで、配列をスキャンすることによって行われる。こうして得られた量子化変換係数の１次元シーケンスは、ランレベルと呼ばれる数の組からなる列に圧縮される。そして、ランレベルシーケンスは、可変長の２値の符号語（ＶＬＣ：Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ）に符号化される。この符号は、より短い符号語が、典型的な映像において頻出するランレベルの組に割り当てられるように最適化される。その結果生じるビットストリームは、動き情報と多重化されて、記録媒体に保存されるか又は映像復号装置側に伝送される。【００１６】
映像復号装置は、映像符号化装置側から伝送されたビットストリームを基にして、符号化画像を再構成するために、符号化プロセスを逆順で適用する。【００１７】
図１２は、従来の映像復号装置６００の構成を示すブロック図である。同図に示す映像復号装置６００は、映像復号部６２０と画像強調部６６０とを備える。【００１８】
図１２の映像復号装置６００では、まず、エントロピー復号部２３１が、エントロピー符号化された量子化係数と動きデータとをエントロピー復号する。このステップは、逆変換のために必要とされるので、復号された量子化係数を２次元のデータブロックに変換するための逆スキャンも含んでいる。そして、量子化係数の復号ブロックは、逆量子化／逆変換部６２３に供給され、復号された動きデータは、動き補償予測部２２８に送られる。【００１９】
逆量子化及び逆変換の結果には、予測誤差が含まれ、加算器２２４は、「インター」モードでは動き補償予測部２２８によって、「イントラ」モードではイントラフレーム予測部２２７によって生成される予測信号と、予測誤差とを加算する。その結果、再構成された画像は、デブロッキングフィルタ２２５を通過させられ、デブロッキングフィルタ２２５によって処理された復号画像（復号信号）は、イントラフレーム予測部２２７、又は、動き補償予測部２２８に用いられるメモリ２２６に格納される。最後に、画像強調部６６０は、主観的な画質を高めるために、画像ポスト処理を復号信号に適用する。【００２０】
特に、低ビットレート、かつ、高圧縮率では、復号画像の画質は、高周波成分の喪失と他の符号化歪みとのせいで、劣化する傾向にある。したがって、上述のように、従来の映像復号装置６００は、復号画像に様々な種類のポスト処理技術を適用することで、（主観的な）画質を改良することを目的とする。【００２１】
これらの技術においては、基本的な技術として、復号画像の高周波成分を選択的に増幅することで、復号画像の「シャープネス」を改良しようと試みる画像強調フィルタがある。このような技術の一例は、アンシャープマスクである。具体的には、「アンシャープ」の画像のコピー、すなわち、ローパスフィルタ処理された画像のコピーが、当該画像から減算され、結果生成される画像は、原画像よりシャープであるという錯覚を生じさせている。【００２２】
主観的な画質を高めるためのより高度な技術には、再構成されようとする画像成分の統計特性に従う技術がある。統計特性は、原画像又は予め定められた参照画像から抽出される。この考えは、符号化による喪失によって最も激しく影響を受けた復号画像内の細部を、統計特性に従って発生される合成テクスチャで置き換えることである。結果生成される画像は、原画像の忠実な再構成ではないが、非常に改良された主観的な画質を提供することができる。【００２３】
以下に、従来の統計特性を利用することで復号画像の画質を高める方法について説明する。【００２４】
図１３は、従来の付加的な統計パラメータを使用する画像及び映像符号化方法と、画像及び映像復号方法とを示すフローチャートである。【００２５】
入力画像を、第１及び第２のサブバンド成分（例えば、高周波成分と低周波成分）に分離する（Ｓ３０１）。そして、高周波成分を解析し、代表的なテクスチャパラメータを算出する（Ｓ３０２）。さらに、算出したテクスチャパラメータを符号化する。一方で、低周波成分は、従来の予測に基づいた映像符号化方法によって符号化される（Ｓ３０４）。なお、以上の処理（Ｓ３０１〜Ｓ３０４）は、従来の画像及び映像符号化装置によって実行される。【００２６】
以上のようにして、高周波成分と低周波成分は共に符号化され、すなわち、入力画像全体が符号化される。符号化により生成された符号化画像データは、記録媒体に記録されてもよく、又は、通信路を介して送信されてもよい。【００２７】
符号化画像データを復号する際、低周波成分は、従来の予測に基づいた映像復号方法によって復号される（Ｓ３０５）。一方で、テクスチャパラメータは、復号され（Ｓ３０６）、復号されたテクスチャパラメータからテクスチャを合成し、高周波成分を発生させる（Ｓ３０７）。最後に、低周波成分及び高周波成分から出力画像を構成する（Ｓ３０８）。なお、以上の処理（Ｓ３０５〜Ｓ３０８）は、従来の画像及び映像復号装置によって実行される。【００２８】
明らかに、統計画像特性の抽出と、抽出により得られる統計パラメータに従った合成テクスチャの生成とは、付加的な統計パラメータに基づいた全ての画像強調技術の決定的要素である。基本的に、従来に知られているいかなるテクスチャ解析及び合成方法が、使用されてもよい。例えば、図１４のフローチャートに示されるような、複素ウェーブレット変換の結合統計量に基づいたパラメータのテクスチャモデルなどが使用されてもよい。【００２９】
図１４は、従来のテクスチャ解析及び合成方法を示すフローチャートである。【００３０】
まず、入力信号を帰納的に、一連の配向サブバンドと、ローパス残余バンドとに分解することで、可動型ピラミッドが構成される（Ｓ４０１）。そして、周辺統計記述子、自己相関及び相互相関などの統計テクスチャパラメータは、この分解を用いて算出される。特に、分散、歪度及び尖度などの周辺統計記述子、及び、画像の画素の最小値と最大値とが、画像全体の周辺統計を記述するパラメータを含むように、ピラミッドの各階層で算出される（Ｓ４０２）。さらに、ピラミッドの各階層でローパス画像の自己相関を算出する（Ｓ４０３）。そして、隣接する位置、方向及びスケールなどの係数の相互相関を、ピラミッドの同一階層及び各階層間で算出する（Ｓ４０４）。【００３１】
以上のように算出されたテクスチャパラメータから、任意の量の見た目そっくりのテクスチャを生成することができる。具体的には、ホワイトノイズ画像を生成し（Ｓ４０５）、入力信号の分解（Ｓ４０１）に従って、生成したホワイトノイズ画像を可動型ピラミッドの方法により配向サブバンドに分解する（Ｓ４０６）。ホワイトノイズ画像の各サブバンドは、算出されたテクスチャパラメータによって記述された統計制約を満たすように、さらに調整される（Ｓ４０７）。最終的に、ピラミッドは、合成されたテクスチャ画像に壊され（Ｓ４０８）、画素データの周辺統計が、画像全体にとって、算出処理（Ｓ４０２）により得られた統計パラメータに合うように調整される（Ｓ４０９）。【００３２】
なお、ピラミッドの構成（Ｓ４０６）から統計特性の調整（Ｓ４０９）は、繰り返されてもよい。すなわち、生成されたテクスチャは、予め定められた繰り返し回数、又は、合成されたテクスチャが充分安定するまで、ホワイトノイズ画像の代わりに、分解及び調整処理のための初期値として使用されてもよい。【００３３】
以下では、統計特性を用いた別の画像強調方法について説明する。【００３４】
図１５は、従来の統計パラメータを使用する統計的画像強調装置７００の構成を示すブロック図である。例えば、原画像Ｉとローパス画像Ｉlとが与えられた場合、ローパス画像Ｉlは、いくつかの画像統計を調整することで、失われた周波数成分を再構成することで画質を高められる。これを達成するために、原画像Ｉと差分画像Ｉd＝Ｉ−Ｉlとの高次統計と自己相関とを第１ステップで解析する。第２ステップでは、解析の結果を用いてローパス画像Ｉl内の失われた周波数成分を再構成する。【００３５】
図１５では、入力画像Ｉlは、原画像Ｉのローパスフィルタ処理された（又は、符号化された）版に相当し、入力画像の空間統計特性を参照画像Ｉdの空間統計特性に一致させるためのフィルタを適用する第１画像処理部７２０に入力される。また、第１画像処理部７２０には、第１参照画像が入力される。第１参照画像は、原画像とそのローパスフィルタ処理された画像との差分Ｉd＝Ｉ−Ｉlに相当する。この場合、フィルタは基本的に、精密に設計されたハイパスフィルタに相当する。【００３６】
このようにフィルタ処理された画像は、高次統計特性を第１参照画像Ｉdの高次統計特性に一致させる第２画像処理部７３０に入力される。第２画像処理部７３０の出力は、加算器７４０で入力画像Ｉlに加算され、高次統計特性を、原画像などの第２参照画像Ｉの高次統計特性に一致させるために、第３画像処理部７５０に入力される。【００３７】
第１画像処理部７２０、第２画像処理部７３０及び第３画像処理部７５０による統計特性の調整は、互いに独立して実行されることはできないので、結果をさらに改良するために、繰り返しが実行されてもよい。それ故、第３画像処理部７５０の出力は、入力画像を減算され、上述の処理ステップをこのように算出された差分画像に適用するために、差分器７１０に戻される。約７回の繰り返しが、最適な結果を得ることが分かっている。なお、最初の（０回目の）繰り返しでは、第３画像処理部７５０の出力はまだ得られていないので、差分器７１０は、例えば、スイッチ（図示せず）によってスキップされてもよく、直接、入力画像を第１画像処理部７２０に入力する。あるいは、最適入力画像（図示せず）が、例えば、他の従来のシャープ化アルゴリズムから、第３画像処理部７５０のまだ利用できない出力の代わりに差分器７１０に入力されてもよい。【００３８】
第１画像処理部７２０は、好ましくは、画像の自己相関関数（の一部）を第１参照画像のために算出された自己相関関数に調整するために、自己相関フィルタ処理を実行する。この目的を達成するために、第１画像処理部７２０は、空間統計特性の一部を形成する、入力画像の自己相関関数の値と、第１参照画像の自己相関関数の値とに基づいてフィルタ係数を決定する。このようなフィルタを決定するための従来技術で知られているいかなる方法が、例えば、非特許文献１に記載されている方法が使用されてもよい。【００３９】
画像のシャープ化の場合に、０近辺の自己相関関数の値は、特に関連がある。したがって、第１画像処理部７２０は、入力画像と第１参照画像との自己相関関数のＮ×Ｎの０近辺の値に基づいて、Ｎ×Ｎタップフィルタのフィルタ係数を決定する。他のいかなるタップ数が同様に使用されてもよいが、Ｎ＝７が、最適な結果を得ることが分かっている。このように決定されたフィルタ係数を持つフィルタは、入力画像に適用され、第１画像処理部７２０の出力を生成する。【００４０】
第２画像処理部７３０及び第３画像処理部７５０は、それぞれの入力信号の高次統計特性を調整するように、適応される。高次統計特性は、画素値の平均、分散、歪度及び尖度などの周辺統計記述子を含む。例えば、平均と分散とは、それぞれ、画像の明るさとコントラストとを平均化するための手段としてみなされてもよい。最適な結果は、その第４のモーメントまでを含めた周辺分布を調整、すなわち、平均、分散、歪度及び尖度の全てを調整することで、得られることができる。上述の特性、周辺分布の偶数高次モーメント、画素の空間的な相関などの他の統計特性、画像の異なるサブバンド間での相関などのサブセットのみを含んでいる。【００４１】
第２画像処理部７３０及び第３画像処理部７５０は、望ましい周辺統計制約が満たされるように、それぞれの画素値を目標の画素値にマッピングする変換を決定する。例えば、平均と分散とは、各画素値から入力信号の平均を減算し、その結果を目標標準偏差（すなわち、分散の平方根）と入力信号の標準偏差との比でスケーリングし、目標平均を加算することで、一致させることができる。歪度と尖度とは、同様に、（６次の）多項式を画素値に適用することで調整されることができる。勾配投影アルゴリズム、又は、非特許文献１に開示されている方法を含むような、このような変換のための係数を決定する技術で知られているいかなる方法が使用されてもよい。【００４２】
以上のように、従来、統計パラメータなどを用いた画像強調処理を復号画像に適用することで、復号画像の画質を高めることができる。
【非特許文献１】J. Portilla and E. P. Simoncelli, A parametric texture model based on joint statistics of complex wavelet coefficients, Int. J. Comput. Vis., vol. 40, 2000
【発明の開示】
【発明が解決しようとする課題】
【００４３】
しかしながら、上記従来の画像強調技術を復号画像に適用した場合、符号化歪みが増幅されてしまい、画質が劣化してしまう恐れがあるという課題がある。【００４４】
上記従来の画像強調技術は、一般的に画像のシャープネスを強調する技術である。これらの技術の影響は、ピクチャの不自然さを目立たせてしまう恐れがある。特に、不可逆の符号化方式では、この問題が起こる傾向にある。上記従来の画像強調技術は、不可逆の符号化方式に従って符号化された圧縮画像に適用された場合、ブロック歪みなどの符号化歪みが増幅され、又は、不自然さが目立つようになる。【００４５】
そこで、本発明は、符号化された後に復号された画像に画像強調技術を適用することで引き起こされる符号化歪みの発生が抑制された画像を生成することのできる映像復号方法及び映像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００４６】
上記課題を解決するため、本発明の映像復号方法は、原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する映像復号方法であって、前記符号化ストリームに含まれる予測誤差を復号する復号ステップと、前記復号ステップで復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算ステップと、前記加算ステップで生成された復号画像に、画質を高めるための処理を実行することで処理画像を生成する画像強調ステップと、前記復号ステップで復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、前記復号画像と、前記処理画像とを、前記重み係数決定ステップで決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算ステップとを含む。【００４７】
これにより、画像強調処理を適用した処理画像を強調するのか、未処理の復号画像を強調するのかを、ブロック、又は、画素などの所定の領域ごとに特定することができる。また、所定の領域ごとに重み係数を決定し、決定した重み係数に従って処理画像と復号画像とを重み付け加算するため、処理画像は、領域ごとに画像強調処理の強度などを変更することなく、全面的に一定の強度で適用すればよいので、複雑な処理を行わなくてすむ。【００４８】
また、前記重み係数決定ステップでは、前記復号ステップで復号された予測誤差の絶対値が小さい領域には、前記予測誤差の絶対値が大きい領域よりも、前記処理画像がより強く重み付けられるように、前記重み係数を決定してもよい。【００４９】
これにより、予測誤差が大きい領域は、通常、予測の信頼度が低く、符号化歪みが発生しやすい領域であるため、予測誤差が大きい領域では、処理画像をより弱く重み付けすることができ、符号化歪みの発生を抑制することができる。さらに、予測誤差が小さい領域は、通常、予測の信頼度が高く、符号化歪みが発生しにくい領域であるため、予測誤差が小さい領域では、処理画像をより強く重み付けることができ、画質を高めることができる。【００５０】
また、前記重み係数決定ステップは、前記予測誤差の絶対値を、０以上１以下の値の範囲にマッピングすることで、前記所定の領域ごとにマスク値を算出するマスク値算出ステップと、前記マスク値算出ステップで算出されたマスク値を前記復号画像の重み係数とし、前記マスク値を１から減算した値を前記処理画像の重み係数として決定する重み係数算出ステップとを含んでもよい。【００５１】
これにより、予測誤差の絶対値の大小関係を重み係数に反映することができ、より適切な重み係数を決定することができる。【００５２】
また、前記マスク値算出ステップでは、さらに、前記予測誤差の標準偏差に従って、前記予測誤差の絶対値を０以上１以下の値の範囲にマッピングしてもよい。【００５３】
また、前記マスク値算出ステップでは、さらに、マッピングされた前記予測誤差の絶対値に、モルフォロジー処理を適用することで、前記所定の領域ごとにマスク値を算出してもよい。【００５４】
また、前記マスク値算出ステップでは、さらに、算出されたマスク値の平均値を所定の目標値に調整してもよい。【００５５】
これにより、より適切なマスク値及び重み係数を算出することができる。【００５６】
また、前記符号化ストリームは、さらに、前記原画像の統計特性を示すパラメータデータを含み、前記画像強調ステップでは、前記パラメータデータに従って、前記加算ステップによって生成される復号画像を処理することで前記処理画像を生成してもよい。【００５７】
これにより、原画像の統計特性を用いるので、符号化により失われた成分を適切に復元することができ、画質を向上させることができる。【００５８】
また、前記画像強調ステップでは、前記パラメータデータを用いたテクスチャ生成アルゴリズムに従って前記復号画像を処理することで前記処理画像を生成してもよい。【００５９】
また、前記画像強調ステップでは、前記復号画像にシャープ化フィルタを適用してもよい。【００６０】
また、前記画像強調ステップでは、前記復号画像にハイパスフィルタ又はローパスフィルタを適用してもよい。【００６１】
これにより、復号画像の画質を高めることができる。【００６２】
また、前記重み係数決定ステップでは、前記重み係数を、画素ごとに決定してもよい。【００６３】
これにより、非常に高い精度で符号化歪みの発生しやすい領域を特定することができるので、符号化歪みの発生をより抑圧することができ、さらに、より画質の優れた画像を生成することができる。【００６４】
また、本発明の映像符号化方法は、原画像と予測画像との差分である予測誤差を符号化するとともに、前記原画像の統計パラメータを算出する映像符号化方法であって、前記予測誤差を算出する予測誤差算出ステップと、前記予測誤差算出ステップで算出された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、前記原画像の統計特性を解析し、前記所定の領域ごとに、前記重み係数を用いて前記統計特性を重み付けることで、統計パラメータを算出するパラメータ算出ステップとを含む。【００６５】
これにより、解析により得られた統計特性を予測誤差に基づいて重み付けるので、結果得られる統計パラメータを用いて復号画像にポスト処理を適用することで、より画質の優れた画像を生成することができる。【００６６】
また、前記重み係数決定ステップでは、前記予測誤差算出ステップで算出された予測誤差の絶対値が小さい領域は、前記予測誤差の絶対値が大きい領域よりも強く重み付けられるように、前記重み係数を決定してもよい。【００６７】
これにより、予測誤差が大きい領域は、予測の信頼度が低いため、統計特性を解析する際に、予測誤差が大きい領域の影響を抑制することができる。したがって、この結果得られる統計パラメータを用いて復号画像にポスト処理を適用することで、より画質の優れた画像を生成することができる。【００６８】
また、前記重み係数決定ステップは、前記予測誤差の絶対値を、０以上１以下の値の範囲にマッピングすることで、前記所定の領域ごとにマスク値を算出するマスク値算出ステップを含んでもよい。【００６９】
これにより、予測誤差の絶対値の大小関係を重み係数に反映することができ、より適切な重み係数を決定することができる。【００７０】
なお、本発明は、映像復号方法及び映像符号化方法として実現できるだけではなく、当該映像復号方法及び映像符号化方法に含まれるステップを処理部とする装置として実現することもできる。【００７１】
また、本発明の映像復号方法及び映像符号化方法に含まれるステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。【００７２】
また、上記の映像復号装置及び映像符号化装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００７３】
本発明によれば、符号化された後に復号されたピクチャに画像強調技術を適用された場合に引き起こされる符号化歪みの発生が抑制された画像を生成することができる。
【図面の簡単な説明】
【００７４】
【図１】図１は、実施の形態１におけるマスク制御された画像強調技術を用いたコーデックシステムの構成の一例を示すブロック図である。
【図２】図２は、実施の形態１の映像復号装置の構成の一例を示すブロック図である。
【図３】図３は、実施の形態１のマスク構成部の構成の一例を示すブロック図である。
【図４】図４は、実施の形態１の画像処理部の詳細な構成の一例を示すブロック図である。
【図５】図５は、実施の形態１の画像強調処理を模式的に示す図である。
【図６】図６は、実施の形態１の映像復号装置の処理を示すフローチャートである。
【図７】図７は、実施の形態２におけるマスク制御された画像強調技術を用いたコーデックシステムの構成の一例を示すブロック図である。
【図８】図８は、実施の形態２の映像符号化装置の構成の一例を示すブロック図である。
【図９】図９は、実施の形態２の映像復号装置の構成の一例を示すブロック図である。
【図１０】図１０は、実施の形態２の映像符号化装置の処理を示すフローチャートである。
【図１１】図１１は、従来の映像符号化装置の構成を示すブロック図である。
【図１２】図１２は、従来の映像復号装置の構成を示すブロック図である。
【図１３】図１３は、従来の付加的な統計パラメータを使用する画像及び映像符号化方法と画像及び映像復号方法とを示すフローチャートである。
【図１４】図１４は、従来のテクスチャ解析及び合成方法を示すフローチャートである。
【図１５】図１５は、従来の統計パラメータを使用する画像強調装置の構成を示すブロック図である。
【符号の説明】
【００７５】
１００、３００、５００  映像符号化装置
１２０、３２０  映像符号化部
２００、４００、６００  映像復号装置
２２０、６２０  映像復号部
２２３、３２３、５２３、６２３  逆量子化／逆変換部
２２４、３２４、７４０  加算器
２２５、３２５、５２５  デブロッキングフィルタ
２２６、３２６  メモリ
２２７、３２７  イントラフレーム予測部
２２８、３２８  動き補償予測部
２３０、３３０  イントラ／インター切換スイッチ
２３１  エントロピー復号部
２４０、３４０  マスク構成部
２４１  マッピング処理部
２４２  逆処理部
２４３  モルフォロジー演算部
２４４  平均値調整部
２６０、４６０  画像処理部
２６１、６６０  画像強調部
２６２  重み付け加算部
３２１、７１０  差分器
３２２  変換／量子化部
３２９  動き検出部
３３１  エントロピー符号化部
３６０  画像解析部
７００  統計的画像強調装置
７２０  第１画像処理部
７３０  第２画像処理部
７５０  第３画像処理部
【発明を実施するための最良の形態】
【００７６】
本発明の映像符号化方法又は映像復号方法は、符号化された後に復号されたピクチャに従来の画像強調技術を適用することで引き起こされる符号化歪み（符号化アーティファクト）の増幅を減少させることを目的とする。【００７７】
この目的を達成するために、本発明の映像復号装置は、映像符号化装置から送信される符号化映像シーケンスの（量子化された）予測誤差を、マスクを構成するために用いる。マスクは、符号化歪みが起こりそうな画像領域を指し示し、画像強調処理を制御するために用いられる。さらに具体的には、本発明の映像復号装置は、符号化歪みが起こりそうにない画像領域に画像強調処理の大部分を確実に適用するために、マスクを使用する。【００７８】
符号化歪みが起こりそうな符号化画像の領域は、例えば、動きが大きいために、又は、以前には隠れていた背景の詳細が現れたために、一般的に、予測が失敗した領域である。それゆえに、予測誤差は、これらの符号化歪みが起こりそうな領域では大きくなる。【００７９】
不可逆の符号化の場合、予測誤差そのものは、映像復号装置側で利用されない。量子化された予測誤差のみが、残差として復号装置に送信される。それにもかかわらず、量子化後の残差でさえ、残差が大きな値であることは、予測が正確でないことを指し示す。正確でない予測を伴う領域は、以上のように、符号化歪みの出現にとって致命的であると解されている。【００８０】
以上のように特定された符号化歪みが起こりそうな領域が存在する場合、マスクは、画像強調技術の適用を制御するために、これらの領域を指し示すように構成される。この点で、符号化歪みが起こりそうな領域に画像強調技術を適用することが制限され、符号化歪みの増幅が防止される。【００８１】
（実施の形態１）
図１は、本実施の形態におけるマスク制御された画像強調技術を用いたコーデックシステムの構成の一例を示すブロック図である。同図に示すコーデックシステムは、映像符号化装置１００と映像復号装置２００とを含む。【００８２】
映像符号化装置１００は、映像符号化部１２０を備え、映像シーケンスを符号化する。【００８３】
映像符号化部１２０は、原画像を含む映像シーケンスを受信し、受信した映像シーケンスに映像符号化方法を適用し、映像シーケンスを符号化することで符号化された映像シーケンスを示すビットストリーム（符号化ストリーム）を生成する。映像符号化部１２０は、生成したビットストリームを、映像復号装置２００に送信する。なお、映像符号化方法は、ＭＰＥＧ−２及びＨ．２６４／ＡＶＣを含む、従来の予測に基づいたいかなる符号化方法でもよい。【００８４】
例えば、映像符号化部１２０は、図１１に示す映像符号化装置５００と同じ構成要素で構成される。映像符号化部１２０は、映像シーケンスに含まれる入力画像から、マクロブロックなどのブロックごとに、「イントラ」モード又は「インター」モードに従って、予測誤差を算出する。そして、算出した予測誤差を周波数変換及び量子化し、得られた量子化係数をエントロピー符号化する。このようにしてエントロピー符号化により生成したビットストリームを映像復号装置２００に送信する。【００８５】
映像復号装置２００は、映像符号化装置１００から送信されるビットストリームを受信する。そして、受信したビットストリームを復号し、復号された映像シーケンスに含まれる復号画像に画像強調処理を実行する。このとき、画像強調処理を実行する領域を示すマスクを、予測誤差に基づいて構成し、構成したマスクに従って画像強調処理を実行する。以上の処理を実現するため、映像復号装置２００は、映像復号部２２０と、マスク構成部２４０と、画像処理部２６０とを備える。【００８６】
映像復号部２２０は、映像符号化部１２０によって適用された映像符号化方法に対応する映像復号方法をビットストリームに適用することで、復号された映像シーケンスを生成する。映像復号部２２０は、復号により生成した復号画像を画像処理部２６０に供給する。また、復号により生成した予測誤差をマスク構成部２４０に供給する。【００８７】
マスク構成部２４０は、復号画像を生成するための予測誤差を用いて、マスクを構成する。また、マスク構成部２４０は、さらに、マスクの平均値を調整するための目標値を受信してもよい。この目標値は、ユーザによって任意に、又は、自動的に設定されてもよい。なお、マスクの平均値の目標値は、画像強調処理の全体的な影響を制御するために使用される。マスク構成部２４０が実行する処理の詳細は、図面を用いて後述する。【００８８】
画像処理部２６０は、マスク構成部２４０によって構成されたマスクを用いて、画像強調技術を制御する。画像強調技術は、例えば、以下の２ステップで実行される。第１ステップで、従来の強調処理を復号画像に適用することで、処理画像を算出する。第２ステップで、最終的な出力画像を生成するために、処理画像と復号画像との重み付け加算和を算出する。ここで、重み付け加算和は、画素単位で算出され、各画素での重みは、対応するマスク値に一致するように利用される。【００８９】
図２は、本実施の形態の映像復号装置２００の構成の一例を示す図である。同図に示す映像復号装置２００は、図１でも示したように、映像復号部２２０と、マスク構成部２４０と、画像処理部２６０とを備える。以下では、まず、映像復号部２２０の詳細について説明する。【００９０】
映像復号部２２０は、エントロピー復号部２３１と、逆量子化／逆変換部２２３と、加算器２２４と、デブロッキングフィルタ２２５と、メモリ２２６と、イントラフレーム予測部２２７と、動き補償予測部２２８と、イントラ／インター切換スイッチ２３０とを備える。なお、図２に示す映像復号部２２０は、図１２に示す映像復号部６２０と比較して、逆量子化／逆変換部６２３の代わりに逆量子化／逆変換部２２３を備える点が異なっている。なお、同じ構成要素には、同じ参照符号を付している。【００９１】
エントロピー復号部２３１は、入力信号、例えば、映像符号化装置１００から送信されるビットストリームを復号することで、当該ビットストリームを動きデータと量子化係数とに分離する。エントロピー復号部２３１は、復号された動きデータを動き補償予測部２２８に供給する。また、エントロピー復号部２３１は、逆変換に必要となるため、量子化係数の１次元のシーケンスを２次元配列の量子化係数に変換する。２次元配列に変換された量子化係数は、逆量子化／逆変換部２２３に供給される。【００９２】
逆量子化／逆変換部２２３は、エントロピー復号部２３１によって復号された量子化係数を逆量子化する。さらに、逆量子化により得られる逆量子化係数を逆変換する。これにより、周波数領域に変換され、かつ、量子化されていた予測誤差を、空間領域に変換された予測誤差に復元することができる。逆量子化／逆変換部２２３は、復元された予測誤差を、マスク構成部２４０と加算器２２４とに供給する。【００９３】
加算器２２４は、逆量子化／逆変換部２２３によって復元された予測誤差と、イントラフレーム予測部２２７又は動き補償予測部２２８によって生成される予測信号（予測画像）とを加算することで、復号信号（復号画像）を生成する。【００９４】
デブロッキングフィルタ２２５は、加算器２２４によって生成された復号画像にデブロッキングフィルタ処理を実行する。これにより、復号画像に含まれるブロック歪みを低減する。なお、デブロッキングフィルタ２２５が行う処理は任意であって、復号画像に適用されなくてもよい。【００９５】
メモリ２２６は、デブロッキングフィルタ２２５によってデブロッキングフィルタ処理を実行された復号画像を保持するフレームメモリである。【００９６】
イントラフレーム予測部２２７は、メモリ２２６から復号画像を読み出し、読み出した復号画像を基にして「イントラ」モードで予測することで、予測画像を生成する。イントラフレーム予測部２２７は、先に復号されたピクチャを参照することなく、自ピクチャのみを参照することで対象ブロックを復号することができる。【００９７】
動き補償予測部２２８は、メモリ２２６から復号画像を読み出し、読み出した復号画像と、エントロピー復号部２３１によって復号された動きデータとを基にして動き補償を行うことで、予測画像を生成する。【００９８】
イントラ／インター切換スイッチ２３０は、イントラフレーム予測部２２７と動き補償予測部２２８とのいずれで生成された予測ブロックを示す予測信号を、加算器に２３５に供給するかを切り換える。【００９９】
以上のように、本実施の形態の映像復号部２２０は、符号化されたビットストリームに含まれる予測誤差を復号し、「イントラ」又は「インター」モードで動き補償を行うことで生成された予測画像と、復号された予測誤差とを加算することで、復号画像を再構成する。さらに、復号した予測誤差をマスクの構成に使用されるように、マスク構成部２４０に供給する。【０１００】
次に、マスク構成部２４０の詳細について説明する。【０１０１】
マスク構成部２４０は、逆量子化／逆変換部２２３によって逆量子化された予測誤差を用いて、マスクを構成する。マスクは、処理画像と復号画像との重み付け加算を行う際の処理画像の重み係数を示すマスク値で構成される。マスク構成部２４０は、マスク値を所定の領域、例えば、画素ごとに算出する。あるいは、マスク構成部２４０は、マスク値を、１つ以上のマクロブロックからなるブロックなどの所定の領域ごとに算出してもよい。【０１０２】
図３は、本実施の形態のマスク構成部２４０の構成の一例を示すブロック図である。同図に示すマスク構成部２４０は、マッピング処理部２４１と、逆処理部２４２と、モルフォロジー演算部２４３と、平均値調整部２４４とを備える。【０１０３】
マッピング処理部２４１は、逆量子化／逆変換部２２３によって逆量子化された予測誤差の値を、０から１の間の範囲（０以上１以下の値の範囲）にマッピングする。このマッピングは、予測誤差の絶対値を計算することを含んでもよい。このマッピングは、また、マスクの時間的な一貫性を保証するための正規化を含んでもよい。【０１０４】
符号化シーケンスでは、特に、異なる量子化パラメータ（ＱＰ）が用いられた場合、残差の構造は、ピクチャごとに大きく変わりうる。Ｂピクチャは、例えば、一般的には、ＱＰオフセットで符号化されるので、残差は大きく変化する。それゆえに、正規化はマスクの時間的な一貫性のためには重要である。このマッピングはさらに、残差を０から１の範囲にクリッピングすることを含んでもよい。【０１０５】
逆処理部２４２は、０から１の間の範囲にマッピングされた予測誤差に逆処理を実行する。逆処理は、マッピングされた値を１から減算する処理である。これは、マスク構成部２４０が構成するマスクのマスク値は、処理画像の重み付け係数であるので、予測誤差が小さい値である場合にマスク値を大きい値にし、予測誤差が大きい値である場合にマスク値を小さい値にするための処理である。したがって、マスク構成部２４０が構成するマスクのマスク値を、復号画像の重み付け係数として用いる場合は、逆処理部２４２は省略される。【０１０６】
モルフォロジー演算部２４３は、モルフォロジー演算（例えば、オープニング）を、マスクの空間的構造をより均一にするために適用する。【０１０７】
平均値調整部２４４は、マスクの平均値を調整する。モルフォロジー演算が適用されたマスク値の平均値が所定の平均値（目標平均値）になるように調整する。このとき、目標平均値は、ユーザの嗜好などの外部からの指示に従って設定されてもよい。あるいは、平均値調整部２４４が、予測誤差の値に基づいて、目標平均値を自動的な平均算出手順によって算出してもよい。例えば、量子化パラメータ（ＱＰ）のようなパラメータを考慮することで、最適な目標平均値を算出する。【０１０８】
なお、平均値調整部２４４が行う平均値の調整処理は任意であり、必ず適用されなくてもよい。【０１０９】
以下では、さらに具体的に、画素ごとのマスク値の算出方法について、数式を用いて説明する。【０１１０】
本実施の形態では、マスク構成部２４０は、輝度値（Ｙ）のみからマスクを構成する。なぜなら、人間の視覚系のシャープネスの影響は、主に輝度に依存しているので、画像強調処理では一般的に、ルマ要素のみを強調するためである。しかしながら、マスク方式は、輝度値のみに限らず、彩度要素、又は、他の色空間にさえ拡張されてもよい。【０１１１】
まず、マッピング処理部２４１は、予測誤差である輝度残差（Ｙres）の絶対値を（式１）に示すように、予測誤差の標準偏差に従って正規化する。なお、（ｉ，ｊ）は、画素の位置を示す。【０１１２】
【数１】
2009050889.tif 000003
上記の正規化は単なる例示にすぎず、いかなる他の正規化処理を本発明の範囲内で使用してもよい。【０１１３】
マッピング処理部２４１は、それから、クリッピングを実行し、得られた結果を０から１の間の範囲にマッピングする。このマッピングは、画素値に直接乗ずることができる形式で、マスクの重みをつけるためになされる。値１は１００％の強調を示し、０は強調なしを示す。【０１１４】
続いて、逆処理部２４２は、（式２）に示すように逆処理を実行する。すなわち、（式１）で算出されたＹres1を１から減算することで、処理画像のマスク値（重み係数）を算出する。【０１１５】
【数２】
2009050889.tif 000004
次に、モルフォロジー演算部２４３が、（式２）で算出されたマスク値に、モルフォロジー演算を適用する。ここでは、（式３）で示すようなオープニング処理（○）を適用する。【０１１６】
【数３】
2009050889.tif 000005
ここで、Ｓは、選択された構造要素である。好ましくは、１７画素の直径を有する円盤形状（ディスク）が、構造要素として用いられるが、いかなるディスク直径が同様に用いられてもよい。なお、モルフォロジー処理では、トップハットフィルタリング、クロージングが後続するオープニング処理、又は、拡張処理のみなどの、他のモルフォロジー演算子が使用されてもよい。【０１１７】
最後に、平均値調整部２４４は、任意でマスクの平均値を調整する。良い結果は、例えば、（式４）に示すように、所望の平均値（Ｍ）の自動算出を用いることで得ることができる。【０１１８】
【数４】
2009050889.tif 000006
なお、（式４）で、ＱＰは、符号化に用いられた量子化パラメータ、ＹResは、未処理の残差、ｗｉｄｔｈとｈｅｉｇｈｔとは、シーケンスの解像度である。平均値は、点別の演算及び上述のクリッピングによって調整されてもよい。【０１１９】
以上のように、マスク構成部２４０は、予測誤差の絶対値が小さい領域には、予測誤差の絶対値が大きい領域よりも、処理画像がより強く重み付けられるように、重み係数を決定する。なお、マスク構成部２４０によってマスク値を画素ごとに算出することで構成されたマスクは、直接、強調処理の適用具合を重み付けるために、画像処理部２６０によって用いられる。【０１２０】
続いて、画像処理部２６０の詳細について説明する。【０１２１】
図４は、本実施の形態の画像処理部２６０の詳細な構成の一例を示すブロック図である。同図に示す画像処理部２６０は、画像強調部２６１と、重み付け加算部２６２とを備える。【０１２２】
画像強調部２６１は、デブロッキングフィルタ２２５から供給される復号画像に、画質を高めるための処理を適用することで、処理画像を生成する。具体的には、図１３〜図１５を用いて説明したような、画像の統計特性を利用した画像強調処理を適用する。例えば、符号化側から送信されるパラメータを用いたテクスチャ生成アルゴリズムに従った画像強調処理を適用する。また、ハイパスフィルタ処理、シャープ化フィルタ処理、及び、アンシャープマスク処理のような局所的コントラスト強調処理などいかなる処理を適用してもよい。また、ローパスフィルタ処理を適用してもよい。なお、ここで、処理画像は、画像強調処理を全面的に適用されているので、予測誤差が大きい領域では符号化歪みが発生している恐れがある。【０１２３】
重み付け加算部２６２は、マスク構成部２４０によって決定された重み係数に従って、処理画像と復号画像とを重み付け加算することで出力画像を生成する。【０１２４】
具体的に数式を用いて説明すると、重み付け加算部２６２は、上述のマスクを用いて、（式５）に示すように、（未処理の）復号画像Ｙdecと強調技術が適用された（処理された）復号画像Ｙenhとの重み付け加算和を算出する。【０１２５】
【数５】
2009050889.tif 000007
上述したように、予測誤差が大きい領域では復号画像を強く重み付け、予測誤差が小さい領域では処理画像を強く重み付けることができるので、符号化歪みの発生が抑制され、かつ、高画質な出力画像Ｙoutを生成することができる。【０１２６】
以下では、図５に示す画像の一例を用いて、画像処理部２６０が実行する画像強調処理を具体的に説明する。図５は、本実施の形態の画像強調処理を模式的に示す図である。【０１２７】
図５（ａ）は、復号画像の一例を示す図である。同図に示す復号画像は、加算器２２４によって生成され、かつ、デブロッキングフィルタ２２５によってフィルタ処理されたピクチャである。図５（ａ）に示すように、復号画像には、予測誤差が大きい領域と、予測誤差が小さい領域とが含まれると仮定する。例えば、動きが大きい領域は、予測が難しいため、予測誤差が大きい領域となる。【０１２８】
図５（ｂ）は、処理画像の一例を示す図である。同図の処理画像は、画像強調部２６１が、領域の予測誤差の値に関わらず、図５（ａ）に示す復号画像全体に画像強調処理を適用することで生成されるピクチャである。これにより、図５（ｂ）に示す処理画像では、予測誤差が大きい領域に符号化歪みが発生している恐れがあり、充分に優れた画質の画像ではない。【０１２９】
マスク構成部２４０は、図５（ａ）に示す復号画像の、予測誤差が大きい領域の重み係数を大きく、予測誤差が小さい領域の重み係数を小さくなるように決定する。さらに、図５（ｂ）に示す処理画像の、予測誤差が大きい領域の重み係数を小さく、予測誤差が小さい領域の重み係数を大きくなるように決定する。【０１３０】
重み付け加算部２６２は、以上のように決定された重み係数と、対応する領域の画素値とを用いて重み付け加算を行うことで、図５（ｃ）に示すような出力画像を生成する。これにより、図５（ｃ）の出力画像は、予測誤差が大きい領域には図５（ａ）の復号画像の影響が強く現れ、予測誤差が小さい領域には図５（ｂ）の処理画像の影響が強く現れた画像である。【０１３１】
以上のように、本実施の形態の画質強調処理では、予測誤差の値に基づいて、画像強調処理を適用することで符号化歪みが発生しやすい領域と発生しにくい領域とを特定する。そして、符号化歪みが発生しやすい領域には、画像強調処理が適用されていない復号画像を大きく重み付けし、符号化歪みが発生しにくい領域には、画像強調処理が適用された処理画像を大きく重み付けすることで、２つの画像を重み付け加算することで出力画像を生成する。これにより、符号化歪みの発生が少なく、かつ、優れた画質の出力画像を生成することができる。【０１３２】
続いて、本実施の形態の映像復号装置２００の処理のうち、特に、復号画像の画質を高める処理について説明する。【０１３３】
図６は、本実施の形態の映像復号装置２００の処理を示すフローチャートである。【０１３４】
まず、符号化されたビットストリームから復号画像をブロック単位で生成する（Ｓ１０１）。具体的には、エントロピー復号部２３１が、ビットストリームを復号し、復号により得られた量子化係数を逆量子化／逆変換部２２３に供給する。逆量子化／逆変換部２２３は、量子化係数を逆量子化し、逆量子化により得られた逆量子化係数を逆変換することで、予測誤差を復元する。そして、加算器２２４が、予測誤差と、イントラフレーム予測部２２７又は動き補償予測部２２８によって生成された予測画像とを加算することで、復号画像を生成する。なお、必要に応じて、デブロッキングフィルタ２２５がデブロッキングフィルタ処理を適用する。【０１３５】
次に、画像強調部２６１は、生成された復号画像に、画質を高めるための画像強調処理を適用することで、処理画像を生成する（Ｓ１０２）。【０１３６】
次に、マスク構成部２４０は、画素ごとにマスク値を算出することでマスクを構成し、処理画像と復号画像との重み付け加算に用いられる重み係数を決定する（Ｓ１０３）。なお、処理画像の生成（Ｓ１０２）と重み係数の決定（Ｓ１０３）とは、いずれが先に実行されてもよい。【０１３７】
最後に、重み付け加算部２６２は、決定された重み係数を用いて、処理画像と復号画像とを重み付け加算することで、出力画像を生成する（Ｓ１０４）。【０１３８】
以上のように、本実施の形態の映像復号装置２００では、符号化されたビットストリームに含まれる予測誤差に基づいて、強調処理を適用された画像（処理画像）と適用されていない画像（復号画像）との重み付け加算を行う際の重み係数を決定する。具体的には、予測誤差が大きい領域には復号画像の重みを大きくし、予測誤差が小さい領域には処理画像の重みを大きくする。これにより、予測誤差が大きい領域は、強調処理により符号化歪みが発生しやすい領域であり、予測誤差が小さい領域は、強調処理により符号化歪みが発生しにくい領域であるため、符号化歪みの発生を抑制することができる。【０１３９】
なお、上述したように、マスクは、画像強調技術の影響を制御するために、復号装置側でのみ用いられる。したがって、本実施の形態の画像強調処理は、純粋なポスト処理であり、全体的には、符号化装置とは独立している。【０１４０】
（実施の形態２）
本実施の形態の映像符号化方法及び映像復号方法は、原画像の統計特性を利用することで、さらに復号画像の画質を高める方法である。符号化の際にも、予測誤差の値に基づいてマスクを構成する。原画像の統計特性を解析し、解析により得られた統計特性にマスクを適用することで、統計パラメータを算出する。復号の際には、解析により算出された統計特性を利用して復号画像にポスト処理を適用する。これにより、復号画像の画質をさらに高めることができる。【０１４１】
図７は、本実施の形態におけるマスク制御された画像強調技術を用いた画像コーデックシステムの構成の一例を示すブロック図である。同図に示すコーデックシステムは、映像符号化装置３００と映像復号装置４００とを含む。以下では、実施の形態１の画像コーデックシステムと同じ構成要素には、同じ参照番号を付し、説明を省略する場合がある。【０１４２】
図７に示す映像符号化装置３００は、原画像を含む映像シーケンスを符号化することで生成された符号化データと、原画像の統計特性を示すパラメータとを映像復号装置４００に送信する。この処理を実現するため、映像符号化装置３００は、映像符号化部３２０と、マスク構成部３４０と、画像解析部３６０とを備える。【０１４３】
映像符号化部３２０は、原画像を含む映像シーケンスを受信し、受信した映像シーケンスにＨ．２６４／ＡＶＣなどの映像符号化方法を適用することで、画像を構成するブロックごとに映像シーケンスを符号化する。具体的には、映像符号化部３２０は、原画像と予測画像との差分である予測誤差を符号化する。さらに、映像符号化部３２０は、符号化の際に算出した予測誤差をマスク構成部３４０に供給する。また、映像符号化部３２０の内部で復号されたローカル復号画像を画像解析部３６０に供給する。【０１４４】
図８は、本実施の形態の映像符号化装置３００の構成の一例を示すブロック図である。同図に示す映像符号化装置３００は、図７にも示したように、映像符号化部３２０と、マスク構成部３４０と、画像解析部３６０とを備える。以下では、まず、映像符号化部３２０の詳細について説明する。【０１４５】
映像符号化部３２０は、差分器３２１と、変換／量子化部３２２と、逆量子化／逆変換部３２３と、加算器３２４と、デブロッキングフィルタ３２５と、メモリ３２６と、イントラフレーム予測部３２７と、動き補償予測部３２８と、動き検出部３２９と、イントラ／インター切換スイッチ３３０と、エントロピー符号化部３３１とを備える。なお、映像符号化部３２０は、図１１に示す映像符号化装置５００と比較して、逆量子化／逆変換部５２３の代わりに逆量子化／逆変換部３２３を備え、デブロッキングフィルタ５２５の代わりにデブロッキングフィルタ３２５を備える点が異なっている。なお、同じ構成要素には、同じ参照符号を付している。【０１４６】
差分器３２１は、入力信号（入力画像）と予測信号（予測画像）との差分（予測誤差）を算出する。具体的には、差分器３２１は、入力信号に含まれる入力画像の対象ブロックから、イントラフレーム予測部３２７又は動き補償予測部３２８によって生成される予測ブロックを減算することで、予測誤差を算出する。【０１４７】
変換／量子化部３２２は、差分器３２１によって算出された予測誤差を、空間領域から周波数領域に変換する。例えば、予測誤差に対して、２次元の離散コサイン変換（ＤＣＴ）又はその整数バージョンなどの直交変換処理を実行する。変換／量子化部３２２は、さらに、変換により得られた変換係数を量子化する。量子化によって得られた２次元の変換係数は、１次元に変換する必要がある。このため、予め定められたシーケンスに従って２次元配列をスキャンすることで、１次元の量子化変換係数のシーケンスをエントロピー符号化部３３１に供給する。このように量子化を行うことで、符号化する必要があるデータ量を削減することができる。【０１４８】
逆量子化／逆変換部３２３は、変換／量子化部３２２によって量子化された量子化係数を逆量子化する。さらに、逆量子化により得られる逆量子化係数を逆変換する。これにより、周波数領域に変換され、かつ、量子化されていた予測誤差を、空間領域に変換された予測誤差に復元することができる。逆量子化／逆変換部３２３は、さらに、復元した予測誤差をマスク構成部３４０に供給する。【０１４９】
加算器３２４は、逆量子化／逆変換部３２３によって復元された予測誤差と、イントラフレーム予測部３２７又は動き補償予測部３２８によって生成される予測信号（予測ブロック）とを加算することで、ローカル復号画像を生成する。【０１５０】
デブロッキングフィルタ３２５は、加算器３２４によって生成されたローカル復号画像にデブロッキングフィルタ処理を適用する。これにより、ローカル復号画像に含まれるブロック歪み（ブロッキングアーティファクト）を低減することができる。さらに、デブロッキングフィルタ３２５は、デブロッキングフィルタ処理を適用したローカル復号画像を画像解析部３６０に供給する。なお、デブロッキングフィルタ３２５は、ローカル復号画像に適用されなくてもよい。【０１５１】
メモリ３２６は、デブロッキングフィルタ３２５によってデブロッキングフィルタ処理が実行されたローカル復号画像を保持するフレームメモリである。【０１５２】
イントラフレーム予測部３２７は、メモリ３２６からローカル復号画像を読み出し、読み出したローカル復号画像を基にして、「イントラ」モードで予測することで、予測ブロックを生成する。「イントラ」モードでは、予測ブロックを生成するために、同じ画像のすでに符号化されたブロックを利用した予測処理を行う。すなわち、「イントラ」モードでは、先に復号されたピクチャを参照することなく、自ピクチャのみを参照することで符号化対象ブロックの符号化を行うことができる。【０１５３】
このように符号化されたイントラ符号化画像（Ｉタイプ画像）は、符号化映像シーケンスに誤り耐性を持たしている。また、Ｉタイプ画像は、ランダムアクセスを可能にするために、すなわち、符号化映像シーケンスに含まれる画像の中でＩタイプ画像にアクセスするために、符号化データのビットストリームへのエントリーポイントを規定する。【０１５４】
動き補償予測部３２８は、メモリ３２６からローカル復号画像を読み出し、読み出したローカル復号画像と、動き検出部３２９によって決定された動きベクトルとに基づいて動き補償を行うことで、予測ブロックを生成する。【０１５５】
動き検出部３２９は、メモリ３２６からローカル復号画像を読み出し、読み出したローカル復号画像と入力信号に含まれる入力画像とを用いて動き検出を行うことで、動きベクトルを決定する。動きベクトルは、符号化対象ブロックと、ローカル復号画像に含まれるブロックとの画素の変位を示す２次元のベクトルである。なお、決定された動きベクトルを示す動きデータは、エントロピー符号化部３３１に伝送され、エントロピー符号化部３３１によって出力ビットストリームに挿入される。【０１５６】
イントラ／インター切換スイッチ３３０は、イントラフレーム予測部３２７と動き補償予測部３２８とのいずれで生成された予測ブロックを示す予測信号を差分器３２１と加算器３２４とに供給するかを切り換える。つまり、イントラフレーム予測部３２７と動き補償予測部３２８とのいずれの処理を実行するか、すなわち、符号化対象ブロックが「イントラ」モードで符号化されるのか、「インター」モードで符号化されるのかを切り換える。【０１５７】
エントロピー符号化部３３１は、変換／量子化部３２２によって量子化された量子化係数と、動き検出部３２９によって生成された動きデータとを符号化し、得られた符号化信号を出力ビットストリームとして出力する。具体的には、エントロピー符号化部３３１は、１次元の量子化係数のシーケンスを、ランレベルと称される一連の数のペアに圧縮する。そして、ランレベルシーケンスを、可変長の２値の符号語に符号化する。典型的な映像に含まれる画像で最も多く頻出するランレベルのペアに、より短い符号語を割り当てることで、符号は最適化される。このようにして得られたビットストリームと、符号化した動きデータとを多重化し、出力ビットストリームとして映像復号装置４００などに伝送、又は、記録媒体に格納する。【０１５８】
以上のように、本実施の形態の映像符号化部３２０は、予測誤差を算出、変換及び量子化し、量子化された予測誤差を符号化するとともに、変換及び量子化された予測誤差を逆量子化及び逆変換することで復元された予測誤差をマスク構成部３４０に供給する。【０１５９】
マスク構成部３４０は、逆量子化／逆変換部３２３によって逆量子化された予測誤差を用いて、マスクを構成する。具体的には、実施の形態１のマスク構成部２４０（図３参照）と同様の処理を行うことで、画素ごとにマスク値を算出することでマスクを構成する。マスク構成部３４０は、構成したマスクを画像解析部３６０に供給する。なお、マスク値は、１つ以上のマクロブロックからなるブロックごとなどの所定の領域ごとに算出してもよい。【０１６０】
なお、このとき、構成したマスクに関する情報を、映像復号装置４００が備えるマスク構成部２４０に送信してもよい。また、マスク構成部３４０は、マスクの平均値の目標値を受信してもよい。【０１６１】
画像解析部３６０は、原画像、又は、原画像とローカル復号画像との差分画像の統計特性を解析することで、統計パラメータを算出する。統計パラメータは、画像強調処理を制御するために、映像復号装置４００によって使用される。画像強調技術は、例えば、図１３〜図１５を用いて説明した通りである。【０１６２】
画像解析部３６０によって解析された統計特性は、例えば、図１５を用いて上述したものに一致してもよく、また、画像の空間特性（相関）と強度ヒストグラムの特性（周辺統計）とを含んでもよい。具体的には、０近辺の自己相関関数の値は、強度モーメント、及び／又は、強度分布の平均、分散、歪度及び尖度を含む色分布と同様にして決定されてもよい。これを達成するために、確率変数の推定のための技術に知られる方法が使用されてもよい。【０１６３】
画像解析部３６０は、まず、原画像、又は、差分画像の統計特性を解析する。そして、解析により得られた統計特性から統計パラメータを決定する際に、マスク構成部３４０によって構成されたマスクを用いて、統計特性を重み付ける。マスク値は、予測誤差が小さいほど大きい値を示し、予測誤差が大きいほど小さい値を示す。このため、予測誤差が小さい領域の影響を大きく、予測誤差が大きい領域の影響を小さくすることができる。これにより、予測誤差が小さい領域の統計特性を重視して、統計パラメータを決定することができる。なお、統計パラメータは、例えば、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）、ピクチャ又はスライス単位などの所定の処理単位で決定される。【０１６４】
例えば、画像解析部３６０は、画素ヒストグラムなどの周辺画像統計の記述子を算出する時に、画像の全ての画素を、対応するマスク値によって重み付ける。例えば、重み付けられた１次モーメント（画素値の平均）及び２次モーメント（画素値の分散）はそれぞれ、例えば、（式６）及び（式７）のようにして算出されてもよい。【０１６５】
【数６】
2009050889.tif 000008
【０１６６】
【数７】
2009050889.tif 000009
なお、原画像と差分画像との両方の統計特性を解析してもよい。【０１６７】
以上のようにして、本実施の形態の映像符号化装置３００は、原画像、又は、差分画像の統計特性を解析し、画素ごとに算出した予測誤差の値に応じて、得られた統計特性を画素ごとに重み付けることで、統計パラメータを決定する。予測誤差が大きい領域は、予測の信頼性が低い領域であり、この領域から決定された統計特性の信頼性も低い。そこで、上述したように、解析により得られる統計特性を重み付けることで、統計パラメータに表れないようにすることができる。これにより、このようにして得られた統計パラメータを用いて、復号側でポスト処理を適用することで、高画質の復号画像を生成することができる。【０１６８】
続いて、図７に示す映像復号装置４００の詳細な構成について図面を用いて説明する。映像復号装置４００は、上述したように映像符号化装置３００によって算出された統計パラメータを用いてポスト処理を復号画像に適用することで、高画質の復号画像を生成する。【０１６９】
図９は、本実施の形態の映像復号装置４００の構成の一例を示すブロック図である。同図に示す映像復号装置４００は、図７にも示すように、映像復号部２２０と、マスク構成部２４０と、画像処理部４６０とを備える。映像復号装置４００は、映像符号化装置３００によって供給される付加的なパラメータに従った画像ポスト処理を適用する点を除いて、実施の形態１の映像復号装置２００に類似している。すなわち、映像復号装置４００は、実施の形態１の映像復号装置２００と比較して、画像処理部２６０の代わりに画像処理部４６０を備える点が異なっている。したがって、図７及び図９では、同じ構成要素には同じ参照符号を付し、詳細な説明の繰り返しを省略する。【０１７０】
図７及び図９に示す画像処理部４６０は、図１及び図２に示す画像処理部２６０と比較して、符号化側からパラメータが入力される点が異なっている。画像処理部４６０は、図１３〜図１５を用いて上述した画像強調技術などの、符号化側から供給される付加的な統計パラメータに従った画像強調技術を適用する。例えば、画像処理部４６０は、統計パラメータを使用することで、高周波成分などの、不可逆圧縮（符号化エラー）のせいで、復号画像で失われた画像成分を再構成する。【０１７１】
以上のようにして、本実施の形態の映像復号装置４００は、統計パラメータを用いて画像強調処理を行うので、より高画質な復号画像を生成することができる。【０１７２】
続いて、本実施の形態の映像符号化装置３００の処理のうち、特に、画像の統計特性の解析に関わる処理について説明する。【０１７３】
図１０は、本実施の形態の映像符号化装置３００の処理を示すフローチャートである。【０１７４】
まず、映像符号化部３２０が、予測誤差を生成する（Ｓ２０１）。具体的には、差分器３２１が、映像シーケンスに含まれる原画像（入力画像）と、イントラフレーム予測部３２７又は動き補償予測部３２８によって生成された予測画像との差分を算出することで、予測誤差を生成する。さらに、変換／量子化部３２２が、差分器３２１によって算出された予測誤差を変換、及び、量子化する。そして、逆量子化／逆変換部３２３が、変換／量子化部３２２によって生成された量子化係数を逆量子化、及び、逆変換することで、予測誤差を生成する。このようにして、映像符号化部３２０は、量子化された予測誤差を逆量子化することで生成される予測誤差を、マスク構成部３４０に供給する。【０１７５】
次に、マスク構成部３４０は、映像符号化部３２０によって生成された予測誤差を用いてマスク値を算出することで、画素ごとの重み係数を決定する（Ｓ２０２）。具体的には、マスク構成部３４０は、まず、画素ごとの予測誤差の絶対値を（式１）に示すように正規化し、０〜１の間の範囲にマッピングする。さらに、マッピングした予測誤差に（式２）に示すように逆処理を実行する。逆処理により得られた画素ごとのマスク値は、予測誤差が大きい画素の場合は小さい値となり、予測誤差が小さい画素の場合は大きい値となる。そして、マスク構成部３４０は、モルフォロジー演算を適用し、さらに、任意でマスクの平均値を調整する。そして、マスク構成部３４０は、以上のように算出したマスク値を、全マスク値の合計で割ることで、画素ごとに重み係数を決定する。【０１７６】
次に、画像解析部３６０は、原画像の統計特性を解析する（Ｓ２０３）。そして、画像解析部３６０は、重み係数を用いて統計特性を画素ごとに重み付けることで、統計パラメータを算出する（Ｓ２０４）。解析により、図１３〜図１５を用いて説明した画像強調技術に利用される統計パラメータを算出する。【０１７７】
以上のように、本実施の形態の映像符号化方法及び映像復号方法では、原画像、又は、差分画像の統計特性を解析し、所定の領域ごとに算出した予測誤差に基づいて、解析により得られた統計特性を所定の領域ごとに重み付ける。符号化歪みが発生しやすい領域の影響を抑制することができる。このようにして解析することで得られる統計パラメータを用いて画像強調処理などのポスト処理を復号画像に適用することで、符号化歪みを増幅することなく、復号画像の主観的な画質を高めることができる。【０１７８】
以上、本発明の映像復号方法、映像符号化方法及びそれらの装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。【０１７９】
例えば、マッピング処理部２４１は、（式１）などを用いて予測誤差の絶対値をマッピングしたのに対して、予測誤差の値の絶対値を演算し、得られた予測誤差の絶対値を、例えば、０〜２５５の値の範囲などの所定の範囲にマッピングしてもよい。そして、マッピングされた予測誤差の絶対値を２５５で割る、又は、８ビットシフトダウンすることで、予測誤差の絶対値を０から１の間の範囲にマッピングしてもよい。【０１８０】
なお、本発明は、上述したように、映像復号方法、映像符号化方法及びそれらの装置として実現できるだけではなく、各実施の形態の映像復号方法及び映像符号化方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。【０１８１】
また、本発明は、映像復号装置及び映像符号化装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。
【産業上の利用可能性】
【０１８２】
本発明の映像復号方法及び映像符号化方法は、符号化歪みの発生が抑制された高画質な画像を生成するという効果を奏し、例えば、映像復号装置、映像符号化装置、ビデオカメラ、又は、カメラ付携帯電話などに適用することができる。
【図１】
2009050889.tif 000010
【図２】
2009050889.tif 000011
【図３】
2009050889.tif 000012
【図４】
2009050889.tif 000013
【図５】
2009050889.tif 000014
【図６】
2009050889.tif 000015
【図７】
2009050889.tif 000016
【図８】
2009050889.tif 000017
【図９】
2009050889.tif 000018
【図１０】
2009050889.tif 000019
【図１１】
2009050889.tif 000020
【図１２】
2009050889.tif 000021
【図１３】
2009050889.tif 000022
【図１４】
2009050889.tif 000023
【図１５】
2009050889.tif 000024
【手続補正書】
【提出日】平成21年6月1日(2009.6.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測に基づいた映像復号方法と、映像符号化方法と、各方法に対応する装置とに関し、特に、主観的な画質を向上させるために、復号画像にポスト処理を実行する方法と、対応する装置とに関する。
【背景技術】
【０００２】
Ｈ．２６４／ＡＶＣ規格などの最先端の映像符号化技術では、量子化によって引き起こされる情報の喪失を容認することで、画像又は映像データを圧縮する。これらの技術は、符号化ピクチャをできるだけ原画像に近づけ、かつ、視聴者にとっての符号化歪み（符号化アーティファクト）を隠すように、最適化されている。
【０００３】
ただし、明らかに、ピクチャを低ビットレートに圧縮することと、符号化歪みを隠すこととは、相反する目的である。１つ重要な点は、たとえ歪みが目に見えないものであっても、シャープネスの喪失の影響は、多くの場合残っているということである。このため、大量のビットが、原画像のシャープネスを実質的に保護するために費やされなければならない。利用可能なビットレートは、多くのアプリケーションで厳しく制限されているので、ビットをシャープネスの保護に用いるのではなく、アンシャープマスク、又は、局所的なコントラストの強調などのポスト処理技術が、シャープネスの印象をいくらか復元するために適用される。
【０００４】
しかしながら、これらのシャープ化のためのポスト処理技術の共通の問題は、符号化歪みも同様に、増幅されるかもしれないということである。
【０００５】
図１１は、従来の映像符号化装置５００の構成の一例を示すブロック図である。同図に示す映像符号化装置５００は、Ｈ．２６４／ＡＶＣ標準規格に従って、入力画像は、複数のマクロブロックに分割される。映像符号化装置５００は、入力画像のブロックと、先に符号化及び復号されたブロックとから算出される差分（以下、予測誤差とも記載する）だけを送信する差分パルス符号変調（ＤＰＣＭ：Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）方法を使用する。
【０００６】
図１１の映像符号化装置５００は、映像シーケンスに含まれる入力画像の対象ブロック（入力信号）と、メモリ３２６に格納されている先に符号化及び復号されたブロックに基づいた対象ブロックに対応する予測ブロック（予測信号）との差分を決定する差分器３２１を備える。差分器３２１は、符号化の対象ブロックを受け取り、受け取った対象ブロックから予測ブロックを減算することで、差分（予測誤差）を算出する。
【０００７】
変換／量子化部３２２は、差分器３２１によって算出された予測誤差を、空間領域から周波数領域に変換する。さらに、変換／量子化部３２２は、変換により得られた変換係数を量子化する。
【０００８】
エントロピー符号化部３３１は、変換／量子化部３２２によって変換及び量子化された量子化係数をエントロピー符号化する。
【０００９】
ローカル復号画像は、映像符号化装置５００に組み込まれた復号部（逆量子化／逆変換部５２３、加算器３２４及びデブロッキングフィルタ５２５）によって提供される。この復号部は、符号化ステップを逆順で実行する。つまり、逆量子化／逆変換部５２３は、量子化係数を逆量子化し、予測誤差を復元するために逆変換を逆量子化係数に適用する。加算器３２４は、ローカル復号画像を形成するために、予測誤差と予測信号とを加算することで、ローカル復号画像を生成する。さらに、デブロッキングフィルタ５２５は、ローカル復号画像内のブロック歪み（ブロッキングアーティファクト）を低減する。
【００１０】
映像符号化装置５００によって使用される予測のタイプは、マクロブロックが「イントラ」モード及び「インター」モードのいずれで符号化されるかによって決まる。「イントラ」モードでは、映像符号化標準規格であるＨ．２６４／ＡＶＣ規格は、次のマクロブロックを予測するために、同じ画像の中で既に符号化及び復号されたマクロブロックに基づいた予測方式を用いる。「インター」モードでは、連続する数ピクチャの対応するブロック間での動き補償された予測が使用される。
【００１１】
イントラ符号化画像（Ｉタイプ画像）だけは、先に符号化及び復号されたいかなる画像も参照することなく復号される。Ｉタイプ画像は、符号化映像シーケンスに対する誤り耐性（誤差の回復力）を持たしている。さらに、符号化映像シーケンスに含まれる画像の中でＩタイプ画像にアクセスするために、符号化データのビットストリームへのエントリーポイントを規定する。イントラモード（すなわち、イントラフレーム予測部３２７による処理）と、インターモード（すなわち、動き補償予測部３２８による処理）との切換は、イントラ／インター切換スイッチ３３０によって制御される。
【００１２】
「インター」モードでは、マクロブロックは、動き補償を使用することで、先のピクチャの対応するブロックから予測される。動き検出は、対象入力信号とローカル復号画像とを受け取る動き検出部３２９によって達成される。動き検出により、対象ブロックと、先のピクチャの対応するブロックとの間の画素位置のずれ（動き）を示す２次元動きベクトルが生成される。検出された動きに基づいて、動き補償予測部３２８は、予測信号を提供する。
【００１３】
「イントラ」及び「インター」符号化モード共に、対象信号と予測信号との差分は、変換／量子化部３２２によって変換係数に変換される。通常、２次元離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などの直交変換、又は、その整数バージョンが使用される。
【００１４】
変換係数は、変換／量子化部３２２によって、符号化されなければならないデータ量を削減するために量子化される。量子化に用いる量子化ステップは、精度と、各周波数係数を符号化するために用いられるビット数とを特定する量子化テーブルによって制御される。通常、画質にとって低周波成分が微細な内容より重要であり、その結果、低周波成分の符号化には高周波成分よりも多くのビットが費やされる。
【００１５】
量子化の後、変換係数の２次元配列は、エントロピー符号化部３３１に通すために、１次元の列に変換される。この変換は、予め定められたシーケンスで、配列をスキャンすることによって行われる。こうして得られた量子化変換係数の１次元シーケンスは、ランレベルと呼ばれる数の組からなる列に圧縮される。そして、ランレベルシーケンスは、可変長の２値の符号語（ＶＬＣ：Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ）に符号化される。この符号は、より短い符号語が、典型的な映像において頻出するランレベルの組に割り当てられるように最適化される。その結果生じるビットストリームは、動き情報と多重化されて、記録媒体に保存されるか又は映像復号装置側に伝送される。
【００１６】
映像復号装置は、映像符号化装置側から伝送されたビットストリームを基にして、符号化画像を再構成するために、符号化プロセスを逆順で適用する。
【００１７】
図１２は、従来の映像復号装置６００の構成を示すブロック図である。同図に示す映像復号装置６００は、映像復号部６２０と画像強調部６６０とを備える。
【００１８】
図１２の映像復号装置６００では、まず、エントロピー復号部２３１が、エントロピー符号化された量子化係数と動きデータとをエントロピー復号する。このステップは、逆変換のために必要とされるので、復号された量子化係数を２次元のデータブロックに変換するための逆スキャンも含んでいる。そして、量子化係数の復号ブロックは、逆量子化／逆変換部６２３に供給され、復号された動きデータは、動き補償予測部２２８に送られる。
【００１９】
逆量子化及び逆変換の結果には、予測誤差が含まれ、加算器２２４は、「インター」モードでは動き補償予測部２２８によって、「イントラ」モードではイントラフレーム予測部２２７によって生成される予測信号と、予測誤差とを加算する。その結果、再構成された画像は、デブロッキングフィルタ２２５を通過させられ、デブロッキングフィルタ２２５によって処理された復号画像（復号信号）は、イントラフレーム予測部２２７、又は、動き補償予測部２２８に用いられるメモリ２２６に格納される。最後に、画像強調部６６０は、主観的な画質を高めるために、画像ポスト処理を復号信号に適用する。
【００２０】
特に、低ビットレート、かつ、高圧縮率では、復号画像の画質は、高周波成分の喪失と他の符号化歪みとのせいで、劣化する傾向にある。したがって、上述のように、従来の映像復号装置６００は、復号画像に様々な種類のポスト処理技術を適用することで、（主観的な）画質を改良することを目的とする。
【００２１】
これらの技術においては、基本的な技術として、復号画像の高周波成分を選択的に増幅することで、復号画像の「シャープネス」を改良しようと試みる画像強調フィルタがある。このような技術の一例は、アンシャープマスクである。具体的には、「アンシャープ」の画像のコピー、すなわち、ローパスフィルタ処理された画像のコピーが、当該画像から減算され、結果生成される画像は、原画像よりシャープであるという錯覚を生じさせている。
【００２２】
主観的な画質を高めるためのより高度な技術には、再構成されようとする画像成分の統計特性に従う技術がある。統計特性は、原画像又は予め定められた参照画像から抽出される。この考えは、符号化による喪失によって最も激しく影響を受けた復号画像内の細部を、統計特性に従って発生される合成テクスチャで置き換えることである。結果生成される画像は、原画像の忠実な再構成ではないが、非常に改良された主観的な画質を提供することができる。
【００２３】
以下に、従来の統計特性を利用することで復号画像の画質を高める方法について説明する。
【００２４】
図１３は、従来の付加的な統計パラメータを使用する画像及び映像符号化方法と、画像及び映像復号方法とを示すフローチャートである。
【００２５】
入力画像を、第１及び第２のサブバンド成分（例えば、高周波成分と低周波成分）に分離する（Ｓ３０１）。そして、高周波成分を解析し、代表的なテクスチャパラメータを算出する（Ｓ３０２）。さらに、算出したテクスチャパラメータを符号化する（Ｓ３０３）。一方で、低周波成分は、従来の予測に基づいた映像符号化方法によって符号化される（Ｓ３０４）。なお、以上の処理（Ｓ３０１〜Ｓ３０４）は、従来の画像及び映像符号化装置によって実行される。
【００２６】
以上のようにして、高周波成分と低周波成分は共に符号化され、すなわち、入力画像全体が符号化される。符号化により生成された符号化画像データは、記録媒体に記録されてもよく、又は、通信路を介して送信されてもよい。
【００２７】
符号化画像データを復号する際、低周波成分は、従来の予測に基づいた映像復号方法によって復号される（Ｓ３０５）。一方で、テクスチャパラメータは、復号され（Ｓ３０６）、復号されたテクスチャパラメータからテクスチャを合成し、高周波成分を発生させる（Ｓ３０７）。最後に、低周波成分及び高周波成分から出力画像を構成する（Ｓ３０８）。なお、以上の処理（Ｓ３０５〜Ｓ３０８）は、従来の画像及び映像復号装置によって実行される。
【００２８】
明らかに、統計画像特性の抽出と、抽出により得られる統計パラメータに従った合成テクスチャの生成とは、付加的な統計パラメータに基づいた全ての画像強調技術の決定的要素である。基本的に、従来に知られているいかなるテクスチャ解析及び合成方法が、使用されてもよい。例えば、図１４のフローチャートに示されるような、複素ウェーブレット変換の結合統計量に基づいたパラメータのテクスチャモデルなどが使用されてもよい。
【００２９】
図１４は、従来のテクスチャ解析及び合成方法を示すフローチャートである。
【００３０】
まず、入力信号を帰納的に、一連の配向サブバンドと、ローパス残余バンドとに分解することで、可動型ピラミッドが構成される（Ｓ４０１）。そして、周辺統計記述子、自己相関及び相互相関などの統計テクスチャパラメータは、この分解を用いて算出される。特に、分散、歪度及び尖度などの周辺統計記述子、及び、画像の画素の最小値と最大値とが、画像全体の周辺統計を記述するパラメータを含むように、ピラミッドの各階層で算出される（Ｓ４０２）。さらに、ピラミッドの各階層でローパス画像の自己相関を算出する（Ｓ４０３）。そして、隣接する位置、方向及びスケールなどの係数の相互相関を、ピラミッドの同一階層及び各階層間で算出する（Ｓ４０４）。
【００３１】
以上のように算出されたテクスチャパラメータから、任意の量の見た目そっくりのテクスチャを生成することができる。具体的には、ホワイトノイズ画像を生成し（Ｓ４０５）、入力信号の分解（Ｓ４０１）に従って、生成したホワイトノイズ画像を可動型ピラミッドの方法により配向サブバンドに分解する（Ｓ４０６）。ホワイトノイズ画像の各サブバンドは、算出されたテクスチャパラメータによって記述された統計制約を満たすように、さらに調整される（Ｓ４０７）。最終的に、ピラミッドは、合成されたテクスチャ画像に壊され（Ｓ４０８）、画素データの周辺統計が、画像全体にとって、算出処理（Ｓ４０２）により得られた統計パラメータに合うように調整される（Ｓ４０９）。
【００３２】
なお、ピラミッドの構成（Ｓ４０６）から統計特性の調整（Ｓ４０９）は、繰り返されてもよい。すなわち、生成されたテクスチャは、予め定められた繰り返し回数、又は、合成されたテクスチャが充分安定するまで、ホワイトノイズ画像の代わりに、分解及び調整処理のための初期値として使用されてもよい。
【００３３】
以下では、統計特性を用いた別の画像強調方法について説明する。
【００３４】
図１５は、従来の統計パラメータを使用する統計的画像強調装置７００の構成を示すブロック図である。例えば、原画像Ｉとローパス画像Ｉlとが与えられた場合、ローパス画像Ｉlは、いくつかの画像統計を調整することで、失われた周波数成分を再構成することで画質を高められる。これを達成するために、原画像Ｉと差分画像Ｉd＝Ｉ−Ｉlとの高次統計と自己相関とを第１ステップで解析する。第２ステップでは、解析の結果を用いてローパス画像Ｉl内の失われた周波数成分を再構成する。
【００３５】
図１５では、入力画像Ｉlは、原画像Ｉのローパスフィルタ処理された（又は、符号化された）版に相当し、入力画像の空間統計特性を参照画像Ｉdの空間統計特性に一致させるためのフィルタを適用する第１画像処理部７２０に入力される。また、第１画像処理部７２０には、第１参照画像が入力される。第１参照画像は、原画像とそのローパスフィルタ処理された画像との差分Ｉd＝Ｉ−Ｉlに相当する。この場合、フィルタは基本的に、精密に設計されたハイパスフィルタに相当する。
【００３６】
このようにフィルタ処理された画像は、高次統計特性を第１参照画像Ｉdの高次統計特性に一致させる第２画像処理部７３０に入力される。第２画像処理部７３０の出力は、加算器７４０で入力画像Ｉlに加算され、高次統計特性を、原画像などの第２参照画像Ｉの高次統計特性に一致させるために、第３画像処理部７５０に入力される。
【００３７】
第１画像処理部７２０、第２画像処理部７３０及び第３画像処理部７５０による統計特性の調整は、互いに独立して実行されることはできないので、結果をさらに改良するために、繰り返しが実行されてもよい。それ故、第３画像処理部７５０の出力は、入力画像を減算され、上述の処理ステップをこのように算出された差分画像に適用するために、差分器７１０に戻される。約７回の繰り返しが、最適な結果を得ることが分かっている。なお、最初の（０回目の）繰り返しでは、第３画像処理部７５０の出力はまだ得られていないので、差分器７１０は、例えば、スイッチ（図示せず）によってスキップされてもよく、直接、入力画像を第１画像処理部７２０に入力する。あるいは、最適入力画像（図示せず）が、例えば、他の従来のシャープ化アルゴリズムから、第３画像処理部７５０のまだ利用できない出力の代わりに差分器７１０に入力されてもよい。
【００３８】
第１画像処理部７２０は、好ましくは、画像の自己相関関数（の一部）を第１参照画像のために算出された自己相関関数に調整するために、自己相関フィルタ処理を実行する。この目的を達成するために、第１画像処理部７２０は、空間統計特性の一部を形成する、入力画像の自己相関関数の値と、第１参照画像の自己相関関数の値とに基づいてフィルタ係数を決定する。このようなフィルタを決定するための従来技術で知られているいかなる方法が、例えば、非特許文献１に記載されている方法が使用されてもよい。
【００３９】
画像のシャープ化の場合に、０近辺の自己相関関数の値は、特に関連がある。したがって、第１画像処理部７２０は、入力画像と第１参照画像との自己相関関数のＮ×Ｎの０近辺の値に基づいて、Ｎ×Ｎタップフィルタのフィルタ係数を決定する。他のいかなるタップ数が同様に使用されてもよいが、Ｎ＝７が、最適な結果を得ることが分かっている。このように決定されたフィルタ係数を持つフィルタは、入力画像に適用され、第１画像処理部７２０の出力を生成する。
【００４０】
第２画像処理部７３０及び第３画像処理部７５０は、それぞれの入力信号の高次統計特性を調整するように、適応される。高次統計特性は、画素値の平均、分散、歪度及び尖度などの周辺統計記述子を含む。例えば、平均と分散とは、それぞれ、画像の明るさとコントラストとを平均化するための手段としてみなされてもよい。最適な結果は、その第４のモーメントまでを含めた周辺分布を調整、すなわち、平均、分散、歪度及び尖度の全てを調整することで、得られることができる。上述の特性、周辺分布の偶数高次モーメント、画素の空間的な相関などの他の統計特性、画像の異なるサブバンド間での相関などのサブセットのみを含んでいる。
【００４１】
第２画像処理部７３０及び第３画像処理部７５０は、望ましい周辺統計制約が満たされるように、それぞれの画素値を目標の画素値にマッピングする変換を決定する。例えば、平均と分散とは、各画素値から入力信号の平均を減算し、その結果を目標標準偏差（すなわち、分散の平方根）と入力信号の標準偏差との比でスケーリングし、目標平均を加算することで、一致させることができる。歪度と尖度とは、同様に、（６次の）多項式を画素値に適用することで調整されることができる。勾配投影アルゴリズム、又は、非特許文献１に開示されている方法を含むような、このような変換のための係数を決定する技術で知られているいかなる方法が使用されてもよい。
【００４２】
以上のように、従来、統計パラメータなどを用いた画像強調処理を復号画像に適用することで、復号画像の画質を高めることができる。
【先行技術文献】
【非特許文献】
【００４３】
【非特許文献１】J. Portilla and E. P. Simoncelli, A parametric texture model based on joint statistics of complex wavelet coefficients, Int. J. Comput. Vis., vol. 40, 2000
【発明の概要】
【発明が解決しようとする課題】
【００４４】
しかしながら、上記従来の画像強調技術を復号画像に適用した場合、符号化歪みが増幅されてしまい、画質が劣化してしまう恐れがあるという課題がある。
【００４５】
上記従来の画像強調技術は、一般的に画像のシャープネスを強調する技術である。これらの技術の影響は、ピクチャの不自然さを目立たせてしまう恐れがある。特に、不可逆の符号化方式では、この問題が起こる傾向にある。上記従来の画像強調技術は、不可逆の符号化方式に従って符号化された圧縮画像に適用された場合、ブロック歪みなどの符号化歪みが増幅され、又は、不自然さが目立つようになる。
【００４６】
そこで、本発明は、符号化された後に復号された画像に画像強調技術を適用することで引き起こされる符号化歪みの発生が抑制された画像を生成することのできる映像復号方法及び映像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００４７】
上記課題を解決するため、本発明の映像復号方法は、原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する映像復号方法であって、前記符号化ストリームに含まれる予測誤差を復号する復号ステップと、前記復号ステップで復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算ステップと、前記加算ステップで生成された復号画像に、画質を高めるための処理を実行することで処理画像を生成する画像強調ステップと、前記復号ステップで復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、前記復号画像と、前記処理画像とを、前記重み係数決定ステップで決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算ステップとを含む。
【００４８】
これにより、画像強調処理を適用した処理画像を強調するのか、未処理の復号画像を強調するのかを、ブロック、又は、画素などの所定の領域ごとに特定することができる。また、所定の領域ごとに重み係数を決定し、決定した重み係数に従って処理画像と復号画像とを重み付け加算するため、処理画像は、領域ごとに画像強調処理の強度などを変更することなく、全面的に一定の強度で適用すればよいので、複雑な処理を行わなくてすむ。
【００４９】
また、前記重み係数決定ステップでは、前記復号ステップで復号された予測誤差の絶対値が小さい領域には、前記予測誤差の絶対値が大きい領域よりも、前記処理画像がより強く重み付けられるように、前記重み係数を決定してもよい。
【００５０】
これにより、予測誤差が大きい領域は、通常、予測の信頼度が低く、符号化歪みが発生しやすい領域であるため、予測誤差が大きい領域では、処理画像をより弱く重み付けすることができ、符号化歪みの発生を抑制することができる。さらに、予測誤差が小さい領域は、通常、予測の信頼度が高く、符号化歪みが発生しにくい領域であるため、予測誤差が小さい領域では、処理画像をより強く重み付けることができ、画質を高めることができる。
【００５１】
また、前記重み係数決定ステップは、前記予測誤差の絶対値を、０以上１以下の値の範囲にマッピングすることで、前記所定の領域ごとにマスク値を算出するマスク値算出ステップと、前記マスク値算出ステップで算出されたマスク値を前記復号画像の重み係数とし、前記マスク値を１から減算した値を前記処理画像の重み係数として決定する重み係数算出ステップとを含んでもよい。
【００５２】
これにより、予測誤差の絶対値の大小関係を重み係数に反映することができ、より適切な重み係数を決定することができる。
【００５３】
また、前記マスク値算出ステップでは、さらに、前記予測誤差の標準偏差に従って、前記予測誤差の絶対値を０以上１以下の値の範囲にマッピングしてもよい。
【００５４】
また、前記マスク値算出ステップでは、さらに、マッピングされた前記予測誤差の絶対値に、モルフォロジー処理を適用することで、前記所定の領域ごとにマスク値を算出してもよい。
【００５５】
また、前記マスク値算出ステップでは、さらに、算出されたマスク値の平均値を所定の目標値に調整してもよい。
【００５６】
これにより、より適切なマスク値及び重み係数を算出することができる。
【００５７】
また、前記符号化ストリームは、さらに、前記原画像の統計特性を示すパラメータデータを含み、前記画像強調ステップでは、前記パラメータデータに従って、前記加算ステップによって生成される復号画像を処理することで前記処理画像を生成してもよい。
【００５８】
これにより、原画像の統計特性を用いるので、符号化により失われた成分を適切に復元することができ、画質を向上させることができる。
【００５９】
また、前記画像強調ステップでは、前記パラメータデータを用いたテクスチャ生成アルゴリズムに従って前記復号画像を処理することで前記処理画像を生成してもよい。
【００６０】
また、前記画像強調ステップでは、前記復号画像にシャープ化フィルタを適用してもよい。
【００６１】
また、前記画像強調ステップでは、前記復号画像にハイパスフィルタ又はローパスフィルタを適用してもよい。
【００６２】
これにより、復号画像の画質を高めることができる。
【００６３】
また、前記重み係数決定ステップでは、前記重み係数を、画素ごとに決定してもよい。
【００６４】
これにより、非常に高い精度で符号化歪みの発生しやすい領域を特定することができるので、符号化歪みの発生をより抑圧することができ、さらに、より画質の優れた画像を生成することができる。
【００６５】
また、本発明の映像符号化方法は、原画像と予測画像との差分である予測誤差を符号化するとともに、前記原画像の統計パラメータを算出する映像符号化方法であって、前記予測誤差を算出する予測誤差算出ステップと、前記予測誤差算出ステップで算出された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、前記原画像の統計特性を解析し、前記所定の領域ごとに、前記重み係数を用いて前記統計特性を重み付けることで、統計パラメータを算出するパラメータ算出ステップとを含む。
【００６６】
これにより、解析により得られた統計特性を予測誤差に基づいて重み付けるので、結果得られる統計パラメータを用いて復号画像にポスト処理を適用することで、より画質の優れた画像を生成することができる。
【００６７】
また、前記重み係数決定ステップでは、前記予測誤差算出ステップで算出された予測誤差の絶対値が小さい領域は、前記予測誤差の絶対値が大きい領域よりも強く重み付けられるように、前記重み係数を決定してもよい。
【００６８】
これにより、予測誤差が大きい領域は、予測の信頼度が低いため、統計特性を解析する際に、予測誤差が大きい領域の影響を抑制することができる。したがって、この結果得られる統計パラメータを用いて復号画像にポスト処理を適用することで、より画質の優れた画像を生成することができる。
【００６９】
また、前記重み係数決定ステップは、前記予測誤差の絶対値を、０以上１以下の値の範囲にマッピングすることで、前記所定の領域ごとにマスク値を算出するマスク値算出ステップを含んでもよい。
【００７０】
これにより、予測誤差の絶対値の大小関係を重み係数に反映することができ、より適切な重み係数を決定することができる。
【００７１】
なお、本発明は、映像復号方法及び映像符号化方法として実現できるだけではなく、当該映像復号方法及び映像符号化方法に含まれるステップを処理部とする装置として実現することもできる。
【００７２】
また、本発明の映像復号方法及び映像符号化方法に含まれるステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
【００７３】
また、上記の映像復号装置及び映像符号化装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００７４】
本発明によれば、符号化された後に復号されたピクチャに画像強調技術を適用された場合に引き起こされる符号化歪みの発生が抑制された画像を生成することができる。
【図面の簡単な説明】
【００７５】
【図１】図１は、実施の形態１におけるマスク制御された画像強調技術を用いたコーデックシステムの構成の一例を示すブロック図である。
【図２】図２は、実施の形態１の映像復号装置の構成の一例を示すブロック図である。
【図３】図３は、実施の形態１のマスク構成部の構成の一例を示すブロック図である。
【図４】図４は、実施の形態１の画像処理部の詳細な構成の一例を示すブロック図である。
【図５】図５は、実施の形態１の画像強調処理を模式的に示す図である。
【図６】図６は、実施の形態１の映像復号装置の処理を示すフローチャートである。
【図７】図７は、実施の形態２におけるマスク制御された画像強調技術を用いたコーデックシステムの構成の一例を示すブロック図である。
【図８】図８は、実施の形態２の映像符号化装置の構成の一例を示すブロック図である。
【図９】図９は、実施の形態２の映像復号装置の構成の一例を示すブロック図である。
【図１０】図１０は、実施の形態２の映像符号化装置の処理を示すフローチャートである。
【図１１】図１１は、従来の映像符号化装置の構成を示すブロック図である。
【図１２】図１２は、従来の映像復号装置の構成を示すブロック図である。
【図１３】図１３は、従来の付加的な統計パラメータを使用する画像及び映像符号化方法と画像及び映像復号方法とを示すフローチャートである。
【図１４】図１４は、従来のテクスチャ解析及び合成方法を示すフローチャートである。
【図１５】図１５は、従来の統計パラメータを使用する画像強調装置の構成を示すブロック図である。
【発明を実施するための形態】
【００７６】
本発明の映像符号化方法又は映像復号方法は、符号化された後に復号されたピクチャに従来の画像強調技術を適用することで引き起こされる符号化歪み（符号化アーティファクト）の増幅を減少させることを目的とする。
【００７７】
この目的を達成するために、本発明の映像復号装置は、映像符号化装置から送信される符号化映像シーケンスの（量子化された）予測誤差を、マスクを構成するために用いる。マスクは、符号化歪みが起こりそうな画像領域を指し示し、画像強調処理を制御するために用いられる。さらに具体的には、本発明の映像復号装置は、符号化歪みが起こりそうにない画像領域に画像強調処理の大部分を確実に適用するために、マスクを使用する。
【００７８】
符号化歪みが起こりそうな符号化画像の領域は、例えば、動きが大きいために、又は、以前には隠れていた背景の詳細が現れたために、一般的に、予測が失敗した領域である。それゆえに、予測誤差は、これらの符号化歪みが起こりそうな領域では大きくなる。
【００７９】
不可逆の符号化の場合、予測誤差そのものは、映像復号装置側で利用されない。量子化された予測誤差のみが、残差として復号装置に送信される。それにもかかわらず、量子化後の残差でさえ、残差が大きな値であることは、予測が正確でないことを指し示す。正確でない予測を伴う領域は、以上のように、符号化歪みの出現にとって致命的であると解されている。
【００８０】
以上のように特定された符号化歪みが起こりそうな領域が存在する場合、マスクは、画像強調技術の適用を制御するために、これらの領域を指し示すように構成される。この点で、符号化歪みが起こりそうな領域に画像強調技術を適用することが制限され、符号化歪みの増幅が防止される。
【００８１】
（実施の形態１）
図１は、本実施の形態におけるマスク制御された画像強調技術を用いたコーデックシステムの構成の一例を示すブロック図である。同図に示すコーデックシステムは、映像符号化装置１００と映像復号装置２００とを含む。
【００８２】
映像符号化装置１００は、映像符号化部１２０を備え、映像シーケンスを符号化する。
【００８３】
映像符号化部１２０は、原画像を含む映像シーケンスを受信し、受信した映像シーケンスに映像符号化方法を適用し、映像シーケンスを符号化することで符号化された映像シーケンスを示すビットストリーム（符号化ストリーム）を生成する。映像符号化部１２０は、生成したビットストリームを、映像復号装置２００に送信する。なお、映像符号化方法は、ＭＰＥＧ−２及びＨ．２６４／ＡＶＣを含む、従来の予測に基づいたいかなる符号化方法でもよい。
【００８４】
例えば、映像符号化部１２０は、図１１に示す映像符号化装置５００と同じ構成要素で構成される。映像符号化部１２０は、映像シーケンスに含まれる入力画像から、マクロブロックなどのブロックごとに、「イントラ」モード又は「インター」モードに従って、予測誤差を算出する。そして、算出した予測誤差を周波数変換及び量子化し、得られた量子化係数をエントロピー符号化する。このようにしてエントロピー符号化により生成したビットストリームを映像復号装置２００に送信する。
【００８５】
映像復号装置２００は、映像符号化装置１００から送信されるビットストリームを受信する。そして、受信したビットストリームを復号し、復号された映像シーケンスに含まれる復号画像に画像強調処理を実行する。このとき、画像強調処理を実行する領域を示すマスクを、予測誤差に基づいて構成し、構成したマスクに従って画像強調処理を実行する。以上の処理を実現するため、映像復号装置２００は、映像復号部２２０と、マスク構成部２４０と、画像処理部２６０とを備える。
【００８６】
映像復号部２２０は、映像符号化部１２０によって適用された映像符号化方法に対応する映像復号方法をビットストリームに適用することで、復号された映像シーケンスを生成する。映像復号部２２０は、復号により生成した復号画像を画像処理部２６０に供給する。また、復号により生成した予測誤差をマスク構成部２４０に供給する。
【００８７】
マスク構成部２４０は、復号画像を生成するための予測誤差を用いて、マスクを構成する。また、マスク構成部２４０は、さらに、マスクの平均値を調整するための目標値を受信してもよい。この目標値は、ユーザによって任意に、又は、自動的に設定されてもよい。なお、マスクの平均値の目標値は、画像強調処理の全体的な影響を制御するために使用される。マスク構成部２４０が実行する処理の詳細は、図面を用いて後述する。
【００８８】
画像処理部２６０は、マスク構成部２４０によって構成されたマスクを用いて、画像強調技術を制御する。画像強調技術は、例えば、以下の２ステップで実行される。第１ステップで、従来の強調処理を復号画像に適用することで、処理画像を算出する。第２ステップで、最終的な出力画像を生成するために、処理画像と復号画像との重み付け加算和を算出する。ここで、重み付け加算和は、画素単位で算出され、各画素での重みは、対応するマスク値に一致するように利用される。
【００８９】
図２は、本実施の形態の映像復号装置２００の構成の一例を示す図である。同図に示す映像復号装置２００は、図１でも示したように、映像復号部２２０と、マスク構成部２４０と、画像処理部２６０とを備える。以下では、まず、映像復号部２２０の詳細について説明する。
【００９０】
映像復号部２２０は、エントロピー復号部２３１と、逆量子化／逆変換部２２３と、加算器２２４と、デブロッキングフィルタ２２５と、メモリ２２６と、イントラフレーム予測部２２７と、動き補償予測部２２８と、イントラ／インター切換スイッチ２３０とを備える。なお、図２に示す映像復号部２２０は、図１２に示す映像復号部６２０と比較して、逆量子化／逆変換部６２３の代わりに逆量子化／逆変換部２２３を備える点が異なっている。なお、同じ構成要素には、同じ参照符号を付している。
【００９１】
エントロピー復号部２３１は、入力信号、例えば、映像符号化装置１００から送信されるビットストリームを復号することで、当該ビットストリームを動きデータと量子化係数とに分離する。エントロピー復号部２３１は、復号された動きデータを動き補償予測部２２８に供給する。また、エントロピー復号部２３１は、逆変換に必要となるため、量子化係数の１次元のシーケンスを２次元配列の量子化係数に変換する。２次元配列に変換された量子化係数は、逆量子化／逆変換部２２３に供給される。
【００９２】
逆量子化／逆変換部２２３は、エントロピー復号部２３１によって復号された量子化係数を逆量子化する。さらに、逆量子化により得られる逆量子化係数を逆変換する。これにより、周波数領域に変換され、かつ、量子化されていた予測誤差を、空間領域に変換された予測誤差に復元することができる。逆量子化／逆変換部２２３は、復元された予測誤差を、マスク構成部２４０と加算器２２４とに供給する。
【００９３】
加算器２２４は、逆量子化／逆変換部２２３によって復元された予測誤差と、イントラフレーム予測部２２７又は動き補償予測部２２８によって生成される予測信号（予測画像）とを加算することで、復号信号（復号画像）を生成する。
【００９４】
デブロッキングフィルタ２２５は、加算器２２４によって生成された復号画像にデブロッキングフィルタ処理を実行する。これにより、復号画像に含まれるブロック歪みを低減する。なお、デブロッキングフィルタ２２５が行う処理は任意であって、復号画像に適用されなくてもよい。
【００９５】
メモリ２２６は、デブロッキングフィルタ２２５によってデブロッキングフィルタ処理を実行された復号画像を保持するフレームメモリである。
【００９６】
イントラフレーム予測部２２７は、メモリ２２６から復号画像を読み出し、読み出した復号画像を基にして「イントラ」モードで予測することで、予測画像を生成する。イントラフレーム予測部２２７は、先に復号されたピクチャを参照することなく、自ピクチャのみを参照することで対象ブロックを復号することができる。
【００９７】
動き補償予測部２２８は、メモリ２２６から復号画像を読み出し、読み出した復号画像と、エントロピー復号部２３１によって復号された動きデータとを基にして動き補償を行うことで、予測画像を生成する。
【００９８】
イントラ／インター切換スイッチ２３０は、イントラフレーム予測部２２７と動き補償予測部２２８とのいずれで生成された予測ブロックを示す予測信号を、加算器２２４に供給するかを切り換える。
【００９９】
以上のように、本実施の形態の映像復号部２２０は、符号化されたビットストリームに含まれる予測誤差を復号し、「イントラ」又は「インター」モードで動き補償を行うことで生成された予測画像と、復号された予測誤差とを加算することで、復号画像を再構成する。さらに、復号した予測誤差をマスクの構成に使用されるように、マスク構成部２４０に供給する。
【０１００】
次に、マスク構成部２４０の詳細について説明する。
【０１０１】
マスク構成部２４０は、逆量子化／逆変換部２２３によって逆量子化された予測誤差を用いて、マスクを構成する。マスクは、処理画像と復号画像との重み付け加算を行う際の処理画像の重み係数を示すマスク値で構成される。マスク構成部２４０は、マスク値を所定の領域、例えば、画素ごとに算出する。あるいは、マスク構成部２４０は、マスク値を、１つ以上のマクロブロックからなるブロックなどの所定の領域ごとに算出してもよい。
【０１０２】
図３は、本実施の形態のマスク構成部２４０の構成の一例を示すブロック図である。同図に示すマスク構成部２４０は、マッピング処理部２４１と、逆処理部２４２と、モルフォロジー演算部２４３と、平均値調整部２４４とを備える。
【０１０３】
マッピング処理部２４１は、逆量子化／逆変換部２２３によって逆量子化された予測誤差の値を、０から１の間の範囲（０以上１以下の値の範囲）にマッピングする。このマッピングは、予測誤差の絶対値を計算することを含んでもよい。このマッピングは、また、マスクの時間的な一貫性を保証するための正規化を含んでもよい。
【０１０４】
符号化シーケンスでは、特に、異なる量子化パラメータ（ＱＰ）が用いられた場合、残差の構造は、ピクチャごとに大きく変わりうる。Ｂピクチャは、例えば、一般的には、ＱＰオフセットで符号化されるので、残差は大きく変化する。それゆえに、正規化はマスクの時間的な一貫性のためには重要である。このマッピングはさらに、残差を０から１の範囲にクリッピングすることを含んでもよい。
【０１０５】
逆処理部２４２は、０から１の間の範囲にマッピングされた予測誤差に逆処理を実行する。逆処理は、マッピングされた値を１から減算する処理である。これは、マスク構成部２４０が構成するマスクのマスク値は、処理画像の重み付け係数であるので、予測誤差が小さい値である場合にマスク値を大きい値にし、予測誤差が大きい値である場合にマスク値を小さい値にするための処理である。したがって、マスク構成部２４０が構成するマスクのマスク値を、復号画像の重み付け係数として用いる場合は、逆処理部２４２は省略される。
【０１０６】
モルフォロジー演算部２４３は、モルフォロジー演算（例えば、オープニング）を、マスクの空間的構造をより均一にするために適用する。
【０１０７】
平均値調整部２４４は、マスクの平均値を調整する。モルフォロジー演算が適用されたマスク値の平均値が所定の平均値（目標平均値）になるように調整する。このとき、目標平均値は、ユーザの嗜好などの外部からの指示に従って設定されてもよい。あるいは、平均値調整部２４４が、予測誤差の値に基づいて、目標平均値を自動的な平均算出手順によって算出してもよい。例えば、量子化パラメータ（ＱＰ）のようなパラメータを考慮することで、最適な目標平均値を算出する。
【０１０８】
なお、平均値調整部２４４が行う平均値の調整処理は任意であり、必ず適用されなくてもよい。
【０１０９】
以下では、さらに具体的に、画素ごとのマスク値の算出方法について、数式を用いて説明する。
【０１１０】
本実施の形態では、マスク構成部２４０は、輝度値（Ｙ）のみからマスクを構成する。なぜなら、人間の視覚系のシャープネスの影響は、主に輝度に依存しているので、画像強調処理では一般的に、ルマ要素のみを強調するためである。しかしながら、マスク方式は、輝度値のみに限らず、彩度要素、又は、他の色空間にさえ拡張されてもよい。
【０１１１】
まず、マッピング処理部２４１は、予測誤差である輝度残差（Ｙres）の絶対値を（式１）に示すように、予測誤差の標準偏差に従って正規化する。なお、（ｉ，ｊ）は、画素の位置を示す。
【０１１２】
【数１】
2009050889.tif 000025
上記の正規化は単なる例示にすぎず、いかなる他の正規化処理を本発明の範囲内で使用してもよい。
【０１１３】
マッピング処理部２４１は、それから、クリッピングを実行し、得られた結果を０から１の間の範囲にマッピングする。このマッピングは、画素値に直接乗ずることができる形式で、マスクの重みをつけるためになされる。値１は１００％の強調を示し、０は強調なしを示す。
【０１１４】
続いて、逆処理部２４２は、（式２）に示すように逆処理を実行する。すなわち、（式１）で算出されたＹres1を１から減算することで、処理画像のマスク値（重み係数）を算出する。
【０１１５】
【数２】
2009050889.tif 000026
次に、モルフォロジー演算部２４３が、（式２）で算出されたマスク値に、モルフォロジー演算を適用する。ここでは、（式３）で示すようなオープニング処理（○）を適用する。
【０１１６】
【数３】
2009050889.tif 000027
ここで、Ｓは、選択された構造要素である。好ましくは、１７画素の直径を有する円盤形状（ディスク）が、構造要素として用いられるが、いかなるディスク直径が同様に用いられてもよい。なお、モルフォロジー処理では、トップハットフィルタリング、クロージングが後続するオープニング処理、又は、拡張処理のみなどの、他のモルフォロジー演算子が使用されてもよい。
【０１１７】
最後に、平均値調整部２４４は、任意でマスクの平均値を調整する。良い結果は、例えば、（式４）に示すように、所望の平均値（Ｍ）の自動算出を用いることで得ることができる。
【０１１８】
【数４】
2009050889.tif 000028
なお、（式４）で、ＱＰは、符号化に用いられた量子化パラメータ、ＹResは、未処理の残差、ｗｉｄｔｈとｈｅｉｇｈｔとは、シーケンスの解像度である。平均値は、点別の演算及び上述のクリッピングによって調整されてもよい。
【０１１９】
以上のように、マスク構成部２４０は、予測誤差の絶対値が小さい領域には、予測誤差の絶対値が大きい領域よりも、処理画像がより強く重み付けられるように、重み係数を決定する。なお、マスク構成部２４０によってマスク値を画素ごとに算出することで構成されたマスクは、直接、強調処理の適用具合を重み付けるために、画像処理部２６０によって用いられる。
【０１２０】
続いて、画像処理部２６０の詳細について説明する。
【０１２１】
図４は、本実施の形態の画像処理部２６０の詳細な構成の一例を示すブロック図である。同図に示す画像処理部２６０は、画像強調部２６１と、重み付け加算部２６２とを備える。
【０１２２】
画像強調部２６１は、デブロッキングフィルタ２２５から供給される復号画像に、画質を高めるための処理を適用することで、処理画像を生成する。具体的には、図１３〜図１５を用いて説明したような、画像の統計特性を利用した画像強調処理を適用する。例えば、符号化側から送信されるパラメータを用いたテクスチャ生成アルゴリズムに従った画像強調処理を適用する。また、ハイパスフィルタ処理、シャープ化フィルタ処理、及び、アンシャープマスク処理のような局所的コントラスト強調処理などいかなる処理を適用してもよい。また、ローパスフィルタ処理を適用してもよい。なお、ここで、処理画像は、画像強調処理を全面的に適用されているので、予測誤差が大きい領域では符号化歪みが発生している恐れがある。
【０１２３】
重み付け加算部２６２は、マスク構成部２４０によって決定された重み係数に従って、処理画像と復号画像とを重み付け加算することで出力画像を生成する。
【０１２４】
具体的に数式を用いて説明すると、重み付け加算部２６２は、上述のマスクを用いて、（式５）に示すように、（未処理の）復号画像Ｙdecと強調技術が適用された（処理された）復号画像Ｙenhとの重み付け加算和を算出する。
【０１２５】
【数５】
2009050889.tif 000029
上述したように、予測誤差が大きい領域では復号画像を強く重み付け、予測誤差が小さい領域では処理画像を強く重み付けることができるので、符号化歪みの発生が抑制され、かつ、高画質な出力画像Ｙoutを生成することができる。
【０１２６】
以下では、図５に示す画像の一例を用いて、画像処理部２６０が実行する画像強調処理を具体的に説明する。図５は、本実施の形態の画像強調処理を模式的に示す図である。
【０１２７】
図５（ａ）は、復号画像の一例を示す図である。同図に示す復号画像は、加算器２２４によって生成され、かつ、デブロッキングフィルタ２２５によってフィルタ処理されたピクチャである。図５（ａ）に示すように、復号画像には、予測誤差が大きい領域と、予測誤差が小さい領域とが含まれると仮定する。例えば、動きが大きい領域は、予測が難しいため、予測誤差が大きい領域となる。
【０１２８】
図５（ｂ）は、処理画像の一例を示す図である。同図の処理画像は、画像強調部２６１が、領域の予測誤差の値に関わらず、図５（ａ）に示す復号画像全体に画像強調処理を適用することで生成されるピクチャである。これにより、図５（ｂ）に示す処理画像では、予測誤差が大きい領域に符号化歪みが発生している恐れがあり、充分に優れた画質の画像ではない。
【０１２９】
マスク構成部２４０は、図５（ａ）に示す復号画像の、予測誤差が大きい領域の重み係数を大きく、予測誤差が小さい領域の重み係数を小さくなるように決定する。さらに、図５（ｂ）に示す処理画像の、予測誤差が大きい領域の重み係数を小さく、予測誤差が小さい領域の重み係数を大きくなるように決定する。
【０１３０】
重み付け加算部２６２は、以上のように決定された重み係数と、対応する領域の画素値とを用いて重み付け加算を行うことで、図５（ｃ）に示すような出力画像を生成する。これにより、図５（ｃ）の出力画像は、予測誤差が大きい領域には図５（ａ）の復号画像の影響が強く現れ、予測誤差が小さい領域には図５（ｂ）の処理画像の影響が強く現れた画像である。
【０１３１】
以上のように、本実施の形態の画質強調処理では、予測誤差の値に基づいて、画像強調処理を適用することで符号化歪みが発生しやすい領域と発生しにくい領域とを特定する。そして、符号化歪みが発生しやすい領域には、画像強調処理が適用されていない復号画像を大きく重み付けし、符号化歪みが発生しにくい領域には、画像強調処理が適用された処理画像を大きく重み付けすることで、２つの画像を重み付け加算することで出力画像を生成する。これにより、符号化歪みの発生が少なく、かつ、優れた画質の出力画像を生成することができる。
【０１３２】
続いて、本実施の形態の映像復号装置２００の処理のうち、特に、復号画像の画質を高める処理について説明する。
【０１３３】
図６は、本実施の形態の映像復号装置２００の処理を示すフローチャートである。
【０１３４】
まず、符号化されたビットストリームから復号画像をブロック単位で生成する（Ｓ１０１）。具体的には、エントロピー復号部２３１が、ビットストリームを復号し、復号により得られた量子化係数を逆量子化／逆変換部２２３に供給する。逆量子化／逆変換部２２３は、量子化係数を逆量子化し、逆量子化により得られた逆量子化係数を逆変換することで、予測誤差を復元する。そして、加算器２２４が、予測誤差と、イントラフレーム予測部２２７又は動き補償予測部２２８によって生成された予測画像とを加算することで、復号画像を生成する。なお、必要に応じて、デブロッキングフィルタ２２５がデブロッキングフィルタ処理を適用する。
【０１３５】
次に、画像強調部２６１は、生成された復号画像に、画質を高めるための画像強調処理を適用することで、処理画像を生成する（Ｓ１０２）。
【０１３６】
次に、マスク構成部２４０は、画素ごとにマスク値を算出することでマスクを構成し、処理画像と復号画像との重み付け加算に用いられる重み係数を決定する（Ｓ１０３）。なお、処理画像の生成（Ｓ１０２）と重み係数の決定（Ｓ１０３）とは、いずれが先に実行されてもよい。
【０１３７】
最後に、重み付け加算部２６２は、決定された重み係数を用いて、処理画像と復号画像とを重み付け加算することで、出力画像を生成する（Ｓ１０４）。
【０１３８】
以上のように、本実施の形態の映像復号装置２００では、符号化されたビットストリームに含まれる予測誤差に基づいて、強調処理を適用された画像（処理画像）と適用されていない画像（復号画像）との重み付け加算を行う際の重み係数を決定する。具体的には、予測誤差が大きい領域には復号画像の重みを大きくし、予測誤差が小さい領域には処理画像の重みを大きくする。これにより、予測誤差が大きい領域は、強調処理により符号化歪みが発生しやすい領域であり、予測誤差が小さい領域は、強調処理により符号化歪みが発生しにくい領域であるため、符号化歪みの発生を抑制することができる。
【０１３９】
なお、上述したように、マスクは、画像強調技術の影響を制御するために、復号装置側でのみ用いられる。したがって、本実施の形態の画像強調処理は、純粋なポスト処理であり、全体的には、符号化装置とは独立している。
【０１４０】
（実施の形態２）
本実施の形態の映像符号化方法及び映像復号方法は、原画像の統計特性を利用することで、さらに復号画像の画質を高める方法である。符号化の際にも、予測誤差の値に基づいてマスクを構成する。原画像の統計特性を解析し、解析により得られた統計特性にマスクを適用することで、統計パラメータを算出する。復号の際には、解析により算出された統計特性を利用して復号画像にポスト処理を適用する。これにより、復号画像の画質をさらに高めることができる。
【０１４１】
図７は、本実施の形態におけるマスク制御された画像強調技術を用いた画像コーデックシステムの構成の一例を示すブロック図である。同図に示すコーデックシステムは、映像符号化装置３００と映像復号装置４００とを含む。以下では、実施の形態１の画像コーデックシステムと同じ構成要素には、同じ参照番号を付し、説明を省略する場合がある。
【０１４２】
図７に示す映像符号化装置３００は、原画像を含む映像シーケンスを符号化することで生成された符号化データと、原画像の統計特性を示すパラメータとを映像復号装置４００に送信する。この処理を実現するため、映像符号化装置３００は、映像符号化部３２０と、マスク構成部３４０と、画像解析部３６０とを備える。
【０１４３】
映像符号化部３２０は、原画像を含む映像シーケンスを受信し、受信した映像シーケンスにＨ．２６４／ＡＶＣなどの映像符号化方法を適用することで、画像を構成するブロックごとに映像シーケンスを符号化する。具体的には、映像符号化部３２０は、原画像と予測画像との差分である予測誤差を符号化する。さらに、映像符号化部３２０は、符号化の際に算出した予測誤差をマスク構成部３４０に供給する。また、映像符号化部３２０の内部で復号されたローカル復号画像を画像解析部３６０に供給する。
【０１４４】
図８は、本実施の形態の映像符号化装置３００の構成の一例を示すブロック図である。同図に示す映像符号化装置３００は、図７にも示したように、映像符号化部３２０と、マスク構成部３４０と、画像解析部３６０とを備える。以下では、まず、映像符号化部３２０の詳細について説明する。
【０１４５】
映像符号化部３２０は、差分器３２１と、変換／量子化部３２２と、逆量子化／逆変換部３２３と、加算器３２４と、デブロッキングフィルタ３２５と、メモリ３２６と、イントラフレーム予測部３２７と、動き補償予測部３２８と、動き検出部３２９と、イントラ／インター切換スイッチ３３０と、エントロピー符号化部３３１とを備える。なお、映像符号化部３２０は、図１１に示す映像符号化装置５００と比較して、逆量子化／逆変換部５２３の代わりに逆量子化／逆変換部３２３を備え、デブロッキングフィルタ５２５の代わりにデブロッキングフィルタ３２５を備える点が異なっている。なお、同じ構成要素には、同じ参照符号を付している。
【０１４６】
差分器３２１は、入力信号（入力画像）と予測信号（予測画像）との差分（予測誤差）を算出する。具体的には、差分器３２１は、入力信号に含まれる入力画像の対象ブロックから、イントラフレーム予測部３２７又は動き補償予測部３２８によって生成される予測ブロックを減算することで、予測誤差を算出する。
【０１４７】
変換／量子化部３２２は、差分器３２１によって算出された予測誤差を、空間領域から周波数領域に変換する。例えば、予測誤差に対して、２次元の離散コサイン変換（ＤＣＴ）又はその整数バージョンなどの直交変換処理を実行する。変換／量子化部３２２は、さらに、変換により得られた変換係数を量子化する。量子化によって得られた２次元の変換係数は、１次元に変換する必要がある。このため、予め定められたシーケンスに従って２次元配列をスキャンすることで、１次元の量子化変換係数のシーケンスをエントロピー符号化部３３１に供給する。このように量子化を行うことで、符号化する必要があるデータ量を削減することができる。
【０１４８】
逆量子化／逆変換部３２３は、変換／量子化部３２２によって量子化された量子化係数を逆量子化する。さらに、逆量子化により得られる逆量子化係数を逆変換する。これにより、周波数領域に変換され、かつ、量子化されていた予測誤差を、空間領域に変換された予測誤差に復元することができる。逆量子化／逆変換部３２３は、さらに、復元した予測誤差をマスク構成部３４０に供給する。
【０１４９】
加算器３２４は、逆量子化／逆変換部３２３によって復元された予測誤差と、イントラフレーム予測部３２７又は動き補償予測部３２８によって生成される予測信号（予測ブロック）とを加算することで、ローカル復号画像を生成する。
【０１５０】
デブロッキングフィルタ３２５は、加算器３２４によって生成されたローカル復号画像にデブロッキングフィルタ処理を適用する。これにより、ローカル復号画像に含まれるブロック歪み（ブロッキングアーティファクト）を低減することができる。さらに、デブロッキングフィルタ３２５は、デブロッキングフィルタ処理を適用したローカル復号画像を画像解析部３６０に供給する。なお、デブロッキングフィルタ３２５は、ローカル復号画像に適用されなくてもよい。
【０１５１】
メモリ３２６は、デブロッキングフィルタ３２５によってデブロッキングフィルタ処理が実行されたローカル復号画像を保持するフレームメモリである。
【０１５２】
イントラフレーム予測部３２７は、メモリ３２６からローカル復号画像を読み出し、読み出したローカル復号画像を基にして、「イントラ」モードで予測することで、予測ブロックを生成する。「イントラ」モードでは、予測ブロックを生成するために、同じ画像のすでに符号化されたブロックを利用した予測処理を行う。すなわち、「イントラ」モードでは、先に復号されたピクチャを参照することなく、自ピクチャのみを参照することで符号化対象ブロックの符号化を行うことができる。
【０１５３】
このように符号化されたイントラ符号化画像（Ｉタイプ画像）は、符号化映像シーケンスに誤り耐性を持たしている。また、Ｉタイプ画像は、ランダムアクセスを可能にするために、すなわち、符号化映像シーケンスに含まれる画像の中でＩタイプ画像にアクセスするために、符号化データのビットストリームへのエントリーポイントを規定する。
【０１５４】
動き補償予測部３２８は、メモリ３２６からローカル復号画像を読み出し、読み出したローカル復号画像と、動き検出部３２９によって決定された動きベクトルとに基づいて動き補償を行うことで、予測ブロックを生成する。
【０１５５】
動き検出部３２９は、メモリ３２６からローカル復号画像を読み出し、読み出したローカル復号画像と入力信号に含まれる入力画像とを用いて動き検出を行うことで、動きベクトルを決定する。動きベクトルは、符号化対象ブロックと、ローカル復号画像に含まれるブロックとの画素の変位を示す２次元のベクトルである。なお、決定された動きベクトルを示す動きデータは、エントロピー符号化部３３１に伝送され、エントロピー符号化部３３１によって出力ビットストリームに挿入される。
【０１５６】
イントラ／インター切換スイッチ３３０は、イントラフレーム予測部３２７と動き補償予測部３２８とのいずれで生成された予測ブロックを示す予測信号を差分器３２１と加算器３２４とに供給するかを切り換える。つまり、イントラフレーム予測部３２７と動き補償予測部３２８とのいずれの処理を実行するか、すなわち、符号化対象ブロックが「イントラ」モードで符号化されるのか、「インター」モードで符号化されるのかを切り換える。
【０１５７】
エントロピー符号化部３３１は、変換／量子化部３２２によって量子化された量子化係数と、動き検出部３２９によって生成された動きデータとを符号化し、得られた符号化信号を出力ビットストリームとして出力する。具体的には、エントロピー符号化部３３１は、１次元の量子化係数のシーケンスを、ランレベルと称される一連の数のペアに圧縮する。そして、ランレベルシーケンスを、可変長の２値の符号語に符号化する。典型的な映像に含まれる画像で最も多く頻出するランレベルのペアに、より短い符号語を割り当てることで、符号は最適化される。このようにして得られたビットストリームと、符号化した動きデータとを多重化し、出力ビットストリームとして映像復号装置４００などに伝送、又は、記録媒体に格納する。
【０１５８】
以上のように、本実施の形態の映像符号化部３２０は、予測誤差を算出、変換及び量子化し、量子化された予測誤差を符号化するとともに、変換及び量子化された予測誤差を逆量子化及び逆変換することで復元された予測誤差をマスク構成部３４０に供給する。
【０１５９】
マスク構成部３４０は、逆量子化／逆変換部３２３によって逆量子化された予測誤差を用いて、マスクを構成する。具体的には、実施の形態１のマスク構成部２４０（図３参照）と同様の処理を行うことで、画素ごとにマスク値を算出することでマスクを構成する。マスク構成部３４０は、構成したマスクを画像解析部３６０に供給する。なお、マスク値は、１つ以上のマクロブロックからなるブロックごとなどの所定の領域ごとに算出してもよい。
【０１６０】
なお、このとき、構成したマスクに関する情報を、映像復号装置４００が備えるマスク構成部２４０に送信してもよい。また、マスク構成部３４０は、マスクの平均値の目標値を受信してもよい。
【０１６１】
画像解析部３６０は、原画像、又は、原画像とローカル復号画像との差分画像の統計特性を解析することで、統計パラメータを算出する。統計パラメータは、画像強調処理を制御するために、映像復号装置４００によって使用される。画像強調技術は、例えば、図１３〜図１５を用いて説明した通りである。
【０１６２】
画像解析部３６０によって解析された統計特性は、例えば、図１５を用いて上述したものに一致してもよく、また、画像の空間特性（相関）と強度ヒストグラムの特性（周辺統計）とを含んでもよい。具体的には、０近辺の自己相関関数の値は、強度モーメント、及び／又は、強度分布の平均、分散、歪度及び尖度を含む色分布と同様にして決定されてもよい。これを達成するために、確率変数の推定のための技術に知られる方法が使用されてもよい。
【０１６３】
画像解析部３６０は、まず、原画像、又は、差分画像の統計特性を解析する。そして、解析により得られた統計特性から統計パラメータを決定する際に、マスク構成部３４０によって構成されたマスクを用いて、統計特性を重み付ける。マスク値は、予測誤差が小さいほど大きい値を示し、予測誤差が大きいほど小さい値を示す。このため、予測誤差が小さい領域の影響を大きく、予測誤差が大きい領域の影響を小さくすることができる。これにより、予測誤差が小さい領域の統計特性を重視して、統計パラメータを決定することができる。なお、統計パラメータは、例えば、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）、ピクチャ又はスライス単位などの所定の処理単位で決定される。
【０１６４】
例えば、画像解析部３６０は、画素ヒストグラムなどの周辺画像統計の記述子を算出する時に、画像の全ての画素を、対応するマスク値によって重み付ける。例えば、重み付けられた１次モーメント（画素値の平均）及び２次モーメント（画素値の分散）はそれぞれ、例えば、（式６）及び（式７）のようにして算出されてもよい。
【０１６５】
【数６】
2009050889.tif 000030
【０１６６】
【数７】
2009050889.tif 000031
なお、原画像と差分画像との両方の統計特性を解析してもよい。
【０１６７】
以上のようにして、本実施の形態の映像符号化装置３００は、原画像、又は、差分画像の統計特性を解析し、画素ごとに算出した予測誤差の値に応じて、得られた統計特性を画素ごとに重み付けることで、統計パラメータを決定する。予測誤差が大きい領域は、予測の信頼性が低い領域であり、この領域から決定された統計特性の信頼性も低い。そこで、上述したように、解析により得られる統計特性を重み付けることで、統計パラメータに表れないようにすることができる。これにより、このようにして得られた統計パラメータを用いて、復号側でポスト処理を適用することで、高画質の復号画像を生成することができる。
【０１６８】
続いて、図７に示す映像復号装置４００の詳細な構成について図面を用いて説明する。映像復号装置４００は、上述したように映像符号化装置３００によって算出された統計パラメータを用いてポスト処理を復号画像に適用することで、高画質の復号画像を生成する。
【０１６９】
図９は、本実施の形態の映像復号装置４００の構成の一例を示すブロック図である。同図に示す映像復号装置４００は、図７にも示すように、映像復号部２２０と、マスク構成部２４０と、画像処理部４６０とを備える。映像復号装置４００は、映像符号化装置３００によって供給される付加的なパラメータに従った画像ポスト処理を適用する点を除いて、実施の形態１の映像復号装置２００に類似している。すなわち、映像復号装置４００は、実施の形態１の映像復号装置２００と比較して、画像処理部２６０の代わりに画像処理部４６０を備える点が異なっている。したがって、図７及び図９では、同じ構成要素には同じ参照符号を付し、詳細な説明の繰り返しを省略する。
【０１７０】
図７及び図９に示す画像処理部４６０は、図１及び図２に示す画像処理部２６０と比較して、符号化側からパラメータが入力される点が異なっている。画像処理部４６０は、図１３〜図１５を用いて上述した画像強調技術などの、符号化側から供給される付加的な統計パラメータに従った画像強調技術を適用する。例えば、画像処理部４６０は、統計パラメータを使用することで、高周波成分などの、不可逆圧縮（符号化エラー）のせいで、復号画像で失われた画像成分を再構成する。
【０１７１】
以上のようにして、本実施の形態の映像復号装置４００は、統計パラメータを用いて画像強調処理を行うので、より高画質な復号画像を生成することができる。
【０１７２】
続いて、本実施の形態の映像符号化装置３００の処理のうち、特に、画像の統計特性の解析に関わる処理について説明する。
【０１７３】
図１０は、本実施の形態の映像符号化装置３００の処理を示すフローチャートである。
【０１７４】
まず、映像符号化部３２０が、予測誤差を生成する（Ｓ２０１）。具体的には、差分器３２１が、映像シーケンスに含まれる原画像（入力画像）と、イントラフレーム予測部３２７又は動き補償予測部３２８によって生成された予測画像との差分を算出することで、予測誤差を生成する。さらに、変換／量子化部３２２が、差分器３２１によって算出された予測誤差を変換、及び、量子化する。そして、逆量子化／逆変換部３２３が、変換／量子化部３２２によって生成された量子化係数を逆量子化、及び、逆変換することで、予測誤差を生成する。このようにして、映像符号化部３２０は、量子化された予測誤差を逆量子化することで生成される予測誤差を、マスク構成部３４０に供給する。
【０１７５】
次に、マスク構成部３４０は、映像符号化部３２０によって生成された予測誤差を用いてマスク値を算出することで、画素ごとの重み係数を決定する（Ｓ２０２）。具体的には、マスク構成部３４０は、まず、画素ごとの予測誤差の絶対値を（式１）に示すように正規化し、０〜１の間の範囲にマッピングする。さらに、マッピングした予測誤差に（式２）に示すように逆処理を実行する。逆処理により得られた画素ごとのマスク値は、予測誤差が大きい画素の場合は小さい値となり、予測誤差が小さい画素の場合は大きい値となる。そして、マスク構成部３４０は、モルフォロジー演算を適用し、さらに、任意でマスクの平均値を調整する。そして、マスク構成部３４０は、以上のように算出したマスク値を、全マスク値の合計で割ることで、画素ごとに重み係数を決定する。
【０１７６】
次に、画像解析部３６０は、原画像の統計特性を解析する（Ｓ２０３）。そして、画像解析部３６０は、重み係数を用いて統計特性を画素ごとに重み付けることで、統計パラメータを算出する（Ｓ２０４）。解析により、図１３〜図１５を用いて説明した画像強調技術に利用される統計パラメータを算出する。
【０１７７】
以上のように、本実施の形態の映像符号化方法及び映像復号方法では、原画像、又は、差分画像の統計特性を解析し、所定の領域ごとに算出した予測誤差に基づいて、解析により得られた統計特性を所定の領域ごとに重み付ける。符号化歪みが発生しやすい領域の影響を抑制することができる。このようにして解析することで得られる統計パラメータを用いて画像強調処理などのポスト処理を復号画像に適用することで、符号化歪みを増幅することなく、復号画像の主観的な画質を高めることができる。
【０１７８】
以上、本発明の映像復号方法、映像符号化方法及びそれらの装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１７９】
例えば、マッピング処理部２４１は、（式１）などを用いて予測誤差の絶対値をマッピングしたのに対して、予測誤差の値の絶対値を演算し、得られた予測誤差の絶対値を、例えば、０〜２５５の値の範囲などの所定の範囲にマッピングしてもよい。そして、マッピングされた予測誤差の絶対値を２５５で割る、又は、８ビットシフトダウンすることで、予測誤差の絶対値を０から１の間の範囲にマッピングしてもよい。
【０１８０】
なお、本発明は、上述したように、映像復号方法、映像符号化方法及びそれらの装置として実現できるだけではなく、各実施の形態の映像復号方法及び映像符号化方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【０１８１】
また、本発明は、映像復号装置及び映像符号化装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。
【産業上の利用可能性】
【０１８２】
本発明の映像復号方法及び映像符号化方法は、符号化歪みの発生が抑制された高画質な画像を生成するという効果を奏し、例えば、映像復号装置、映像符号化装置、ビデオカメラ、又は、カメラ付携帯電話などに適用することができる。
【符号の説明】
【０１８３】
１００、３００、５００  映像符号化装置
１２０、３２０  映像符号化部
２００、４００、６００  映像復号装置
２２０、６２０  映像復号部
２２３、３２３、５２３、６２３  逆量子化／逆変換部
２２４、３２４、７４０  加算器
２２５、３２５、５２５  デブロッキングフィルタ
２２６、３２６  メモリ
２２７、３２７  イントラフレーム予測部
２２８、３２８  動き補償予測部
２３０、３３０  イントラ／インター切換スイッチ
２３１  エントロピー復号部
２４０、３４０  マスク構成部
２４１  マッピング処理部
２４２  逆処理部
２４３  モルフォロジー演算部
２４４  平均値調整部
２６０、４６０  画像処理部
２６１、６６０  画像強調部
２６２  重み付け加算部
３２１、７１０  差分器
３２２  変換／量子化部
３２９  動き検出部
３３１  エントロピー符号化部
３６０  画像解析部
７００  統計的画像強調装置
７２０  第１画像処理部
７３０  第２画像処理部
７５０  第３画像処理部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する映像復号方法であって、
前記符号化ストリームに含まれる予測誤差を復号する復号ステップと、
前記復号ステップで復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算ステップと、
前記加算ステップで生成された復号画像に、画質を高めるための処理を実行することで処理画像を生成する画像強調ステップと、
前記復号ステップで復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、
前記復号画像と、前記処理画像とを、前記重み係数決定ステップで決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算ステップとを含む
映像復号方法。
【請求項２】
前記重み係数決定ステップでは、前記復号ステップで復号された予測誤差の絶対値が小さい領域には、前記予測誤差の絶対値が大きい領域よりも、前記処理画像がより強く重み付けられるように、前記重み係数を決定する
請求項１記載の映像復号方法。
【請求項３】
前記重み係数決定ステップは、
前記予測誤差の絶対値を、０以上１以下の値の範囲にマッピングすることで、前記所定の領域ごとにマスク値を算出するマスク値算出ステップと、
前記マスク値算出ステップで算出されたマスク値を前記復号画像の重み係数とし、前記マスク値を１から減算した値を前記処理画像の重み係数として決定する重み係数算出ステップとを含む
請求項２記載の映像復号方法。
【請求項４】
前記マスク値算出ステップでは、さらに、前記予測誤差の標準偏差に従って、前記予測誤差の絶対値を０以上１以下の値の範囲にマッピングする
請求項３記載の映像復号方法。
【請求項５】
前記マスク値算出ステップでは、さらに、マッピングされた前記予測誤差の絶対値に、モルフォロジー処理を適用することで、前記所定の領域ごとにマスク値を算出する
請求項３記載の映像復号方法。
【請求項６】
前記マスク値算出ステップでは、さらに、算出されたマスク値の平均値を所定の目標値に調整する
請求項３記載の映像復号方法。
【請求項７】
前記符号化ストリームは、さらに、前記原画像の統計特性を示すパラメータデータを含み、
前記画像強調ステップでは、前記パラメータデータに従って、前記加算ステップによって生成される復号画像を処理することで前記処理画像を生成する
請求項２記載の映像復号方法。
【請求項８】
前記画像強調ステップでは、前記パラメータデータを用いたテクスチャ生成アルゴリズムに従って前記復号画像を処理することで前記処理画像を生成する
請求項７記載の映像復号方法。
【請求項９】
前記画像強調ステップでは、前記復号画像にシャープ化フィルタを適用する
請求項２記載の映像復号方法。
【請求項１０】
前記画像強調ステップでは、前記復号画像にハイパスフィルタ又はローパスフィルタを適用する
請求項２記載の映像復号方法。
【請求項１１】
前記重み係数決定ステップでは、前記重み係数を、画素ごとに決定する
請求項２記載の映像復号方法。
【請求項１２】
原画像と予測画像との差分である予測誤差を符号化するとともに、前記原画像の統計パラメータを算出する映像符号化方法であって、
前記予測誤差を算出する予測誤差算出ステップと、
前記予測誤差算出ステップで算出された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、
前記原画像の統計特性を解析し、前記所定の領域ごとに、前記重み係数を用いて前記統計特性を重み付けることで、統計パラメータを算出するパラメータ算出ステップとを含む
映像符号化方法。
【請求項１３】
前記重み係数決定ステップでは、前記予測誤差算出ステップで算出された予測誤差の絶対値が小さい領域は、前記予測誤差の絶対値が大きい領域よりも強く重み付けられるように、前記重み係数を決定する
請求項１２記載の映像符号化方法。
【請求項１４】
前記重み係数決定ステップは、
前記予測誤差の絶対値を、０以上１以下の値の範囲にマッピングすることで、前記所定の領域ごとにマスク値を算出するマスク値算出ステップを含む
請求項１３記載の映像符号化方法。
【請求項１５】
原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する映像復号装置であって、
前記符号化ストリームに含まれる予測誤差を復号する復号部と、
前記復号部によって復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算部と、
前記加算部によって生成された復号画像に、画質を高めるための処理を適用することで処理画像を生成する画像強調部と、
前記復号部によって復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定部と、
前記加算部によって生成された復号画像と、前記画像強調部によって処理された処理画像とを、前記重み係数決定部によって決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算部とを備える
映像復号装置。
【請求項１６】
原画像と予測画像との差分である予測誤差を符号化するとともに、前記原画像の統計パラメータを算出する映像符号化装置であって、
前記予測誤差を算出する予測誤差算出部と、
前記予測誤差算出部によって算出された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定部と、
前記原画像の統計特性を解析し、前記所定の領域ごとに、前記重み係数を用いて前記統計特性を重み付けることで、統計パラメータを算出するパラメータ算出部とを含む
映像符号化装置。
【請求項１７】
原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する映像復号方法をコンピュータに実行させるためのプログラムであって、
前記符号化ストリームに含まれる予測誤差を復号する復号ステップと、
前記復号ステップで復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算ステップと、
前記加算ステップで生成された復号画像に、画質を高めるための処理を実行することで処理画像を生成する画像強調ステップと、
前記復号ステップで復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定ステップと、
前記復号画像と、前記処理画像とを、前記重み係数決定ステップで決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算ステップとを含む
プログラム。
【請求項１８】
原画像と予測画像との差分である予測誤差を符号化することで生成された符号化ストリームを復号する集積回路であって、
前記符号化ストリームに含まれる予測誤差を復号する復号部と、
前記復号部によって復号された予測誤差と、予め生成された復号画像とを加算することで復号画像を生成する加算部と、
前記加算部によって生成された復号画像に、画質を高めるための処理を適用することで処理画像を生成する画像強調部と、
前記復号部によって復号された予測誤差に基づいて、所定の領域ごとに重み係数を決定する重み係数決定部と、
前記加算部によって生成された復号画像と、前記画像強調部によって処理された処理画像とを、前記重み係数決定部によって決定された重み係数に従って重み付け加算することで、出力画像を生成する重み付け加算部とを備える
集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009050889.tif 000032
【図２】
2009050889.tif 000033
【図３】
2009050889.tif 000034
【図４】
2009050889.tif 000035
【図５】
2009050889.tif 000036
【図６】
2009050889.tif 000037
【図７】
2009050889.tif 000038
【図８】
2009050889.tif 000039
【図９】
2009050889.tif 000040
【図１０】
2009050889.tif 000041
【図１１】
2009050889.tif 000042
【図１２】
2009050889.tif 000043
【図１３】
2009050889.tif 000044
【図１４】
2009050889.tif 000045
【図１５】
2009050889.tif 000046
【国際調査報告】
2009050889.tif 000047
2009050889.tif 000048
2009050889.tif 000049
2009050889.tif 000050