(57)【要約】【課題】  動画像の各画像を複数のブロックに分割して符号化処理した符号化データを復号する際のブロックノイズによる復号品質の劣化を低減する。【解決手段】    本発明は、動画像復号装置に関する。そして本発明の動画像復号装置は、動画像の符号化データを復号して第１の復号画像を取得する手段と、第１の復号画像に基づいて顕著性値を算出する手段と、第１の復号画像の領域ごとの境界強度を取得する手段と、第１の復号画像の領域ごとに、少なくとも顕著性値を用いて境界強度を補正する手段と補正後の境界強度を用いて、第１の復号画像からブロックノイズを除去する処理を行い、出力する手段とを有することを特徴とする。【選択図】      図１
2015080024.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第１の復号画像を取得する復号手段と、
各画像の第１の復号画像に基づいて、上記第１の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、
上記第１の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、
上記第１の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、
上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第１の復号画像からブロックノイズを除去する処理を行い、第２の復号画像を生成するブロックノイズ除去手段と、
上記第２の復号画像を当該動画像復号装置の復号結果として出力する出力手段と
を有することを特徴とする動画像復号装置。
【請求項２】
上記復号手段は、所定の仕様に従って符号化された符号化データを復号する処理を行い、
上記第１の復号画像は、上記所定の仕様に従ってブロックノイズを除去する処理を行う前の画像である
ことを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
上記復号手段は、Ｈ．２６４の仕様に従った符号化された符号化データを復号する処理を行い、
上記境界強度補正手段は、上記顕著性算出手段の検出結果に加えて、上記符号化データに含まれる上記第１の復号画像に係る量子化パラメータも利用して、上記第１の復号画像の領域ごとの境界強度を補正する
ことを特徴とする請求項２に記載の動画像復号装置。
【請求項４】
上記境界強度補正手段は、上記第１の復号画像の領域ごとに、顕著性値及び量子化パラメータを用いて、ブロック境界ノイズの度合を判定し、その判定結果に応じて、当該領域に係る境界強度を補正することを特徴とする請求項３に記載の動画像復号装置。
【請求項５】
コンピュータを、
動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第１の復号画像を取得する復号手段と、
各画像の第１の復号画像に基づいて、上記第１の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、
上記第１の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、
上記第１の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、
上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第１の復号画像からブロックノイズを除去する処理を行い、第２の復号画像を生成するブロックノイズ除去手段と、
上記第２の復号画像を当該動画像復号装置の復号結果として出力する出力手段と
して機能させることを特徴とする動画像復号プログラム。
【請求項６】
動画像復号装置が行う動画像復号方法において、
動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第１の復号画像を取得する復号工程と、
各画像の第１の復号画像に基づいて、上記第１の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出工程と、
上記第１の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得工程と、
上記第１の復号画像の領域ごとに、少なくとも上記顕著性算出工程で算出された顕著性値を用いて上記境界強度取得工程で取得された境界強度を補正する境界強度補正工程と、
上記境界強度補正工程で補正された補正後の境界強度を用いて、上記第１の復号画像からブロックノイズを除去する処理を行い、第２の復号画像を生成するブロックノイズ除去工程と、
上記第２の復号画像を当該動画像復号装置の復号結果として出力する出力工程と
を有することを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号装置、プログラム及び方法に関し、例えば、画像を複数のブロックに分割して符号化処理した動画像の符号化データを復号することに適用することができる。
【背景技術】
【０００２】
近年、インターネットの普及に伴い動画をストリーミング配信する需要が高まっている。また、現在、動画像のストリームにおいて動画像の圧縮符号化により復号画像の限られた帯域における主観劣化が課題となっている。
【０００３】
例えば、Ｈ．２６４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）（非特許文献１、２参照）では、主にブロック境界に発生する不自然な色変化であるブロックノイズを軽減するために、符号化時と復号時にデブロッキングフィルタを適用することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＩＳＯ／ＩＥＣ  １４４９６−１０、“Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ，”、ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４  ２００３．
【非特許文献２】社団法人 電波産業会、デジタル放送システム開発部会、ＣＳデジタル放送高度化作業班、映像符号化方式作業班、「情報源符号化部H.264 MPEG-4 AVC規格の概要」、[Online]、INTERNET、[２０１３年１０月１０日検索]，＜ＵＲＬ： http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/bunkakai/pdf/060720_3_1-2_sa2.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、Ｈ．２６４では、デブロッキングフィルタの強さを決定する境界強度Ｂｓが、境界を含むマクロブロックの予測情報や、量子化パラメータをフィルタ情報の一部として符号化データに含まれており、復号処理に用いられる。
【０００６】
しかしながら、Ｈ．２６４では、境界強度の決定には実際の画素値を使用しないためこの境界が実際に量子化誤差によるブロックノイズを有しているかを判定する精度が低く、ブロックノイズが弱いブロック境界に強いフィルタを適用してノイズでない成分を消してしまったり、逆にブロックノイズが強いブロック境界に弱いフィルタしか適用せずノイズが目立つままにしてしまう場合があった。
【０００７】
そのため、動画像の各画像を複数のブロックに分割して符号化処理した符号化データを復号する際のブロックノイズによる復号品質の劣化を低減することができる動画像復号装置、プログラム及び方法が望まれている。
【課題を解決するための手段】
【０００８】
第１の本発明の動画像復号装置は、（１）動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第１の復号画像を取得する復号手段と、（２）各画像の第１の復号画像に基づいて、上記第１の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、
上記第１の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、（３）上記第１の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、（４）上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第１の復号画像からブロックノイズを除去する処理を行い、第２の復号画像を生成するブロックノイズ除去手段と、（５）上記第２の復号画像を当該動画像復号装置の復号結果として出力する出力手段とを有することを特徴とする。
【０００９】
第２の本発明の動画像復号プログラムは、コンピュータを、（１）動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第１の復号画像を取得する復号手段と、（２）各画像の第１の復号画像に基づいて、上記第１の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、（３）上記第１の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、（４）上記第１の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、（５）上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第１の復号画像からブロックノイズを除去する処理を行い、第２の復号画像を生成するブロックノイズ除去手段と、（６）上記第２の復号画像を当該動画像復号装置の復号結果として出力する出力手段として機能させることを特徴とする。
【００１０】
第３の本発明は、動画像復号装置が行う動画像復号方法において、（１）動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第１の復号画像を取得する復号工程と、（２）各画像の第１の復号画像に基づいて、上記第１の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出工程と、（３）上記第１の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得工程と、（４）上記第１の復号画像の領域ごとに、少なくとも上記顕著性算出工程で算出された顕著性値を用いて上記境界強度取得工程で取得された境界強度を補正する境界強度補正工程と、（５）上記境界強度補正工程で補正された補正後の境界強度を用いて、上記第１の復号画像からブロックノイズを除去する処理を行い、第２の復号画像を生成するブロックノイズ除去工程と、（６）上記第２の復号画像を当該動画像復号装置の復号結果として出力する出力工程とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、動画像の各画像を複数のブロックに分割して符号化処理した符号化データを復号する際のブロックノイズによる復号品質の劣化を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る動画像復号装置の機能的構成について示したブロック図である。
【図２】実施形態に係る動画像復号装置の全体の動作について示したフローチャートである。
【図３】実施形態に係る動画像復号装置のポストフィルタ部の動作について示したフローチャートである。
【発明を実施するための形態】
【００１３】
（Ａ）主たる実施形態
以下、本発明による動画像復号装置、プログラム及び方法の一実施形態を、図面を参照しながら詳述する。
【００１４】
（Ａ−１）実施形態の構成
図１は、この実施形態の動画像復号装置１の機能的構成について示したブロック図である。
【００１５】
動画像復号装置１は、動画像が符号化されストリーム化されたストリームデータＳＤを復号して、復号動画像ＤＧを得るものである。ここでは、動画像復号装置１は、復号動画像ＤＧの映像信号を表示部２に入力する構成となっているものとする。ここでは、表示部２は、例えば、ＬＣＤディスプレイ（液晶ディスプレイ）等のディスプレイで構成されており、動画像復号装置１から供給された復号動画像ＤＧの映像信号に基づく映像（動画像）を表示出力する構成となっているものとする。
【００１６】
なお、動画像復号装置１において、ストリームデータＳＤが入力される方式は限定されないものである。例えば、動画像復号装置１に、図示しない動画像符号化装置からネットワーク経由でリアルタイムにストリームデータＳＤが入力されるようにしても良いし、図示しないデータ記録媒体（例えば、ＨＤＤやＤＶＤ等）を用いて、動画像復号装置１に、ストリームデータＳＤを入力するようにしてもよい。
【００１７】
また、動画像復号装置１から動画像の復号結果を出力する形式（信号形式、データ形式）については限定されないものである。例えば、動画像復号装置１は、復号動画像ＤＧに基づいた動画像データをデータ記録媒体に記録したり、通信により他の装置に送信するようにしてもよい。
【００１８】
次に、動画像復号装置１内部の構成について説明する。
【００１９】
動画像復号装置１は、ストリーム入力部１１、予測画像生成部１２、残差算出部１３、デブロッキングフィルタ部１４、参照画像蓄積部１５、及びポストフィルタ部１６を有している。また、ポストフィルタ部１６は、顕著性算出部１６１、及び補正フィルタ部１６２を有している。
【００２０】
なお、動画像復号装置１は、ＣＰＵやメモリ等を備えるコンピュータ（プログラムの実施構成）に、図１に示す各構成要素に対応する処理プログラム（実施形態の動画像復号プログラム）を含むプログラムを実行させることにより実現するようにしてもよい。また、動画像復号装置１は、一部又は全部をソフトウェアで実現するようにしてもよい。
【００２１】
なお、図１において、ストリーム入力部１１、予測画像生成部１２、残差算出部１３、デブロッキングフィルタ部１４、参照画像蓄積部１５の構成については、非特許文献１、２のデコードの構成を適用することができる。
【００２２】
ストリーム入力部１１は、入力されたストリームデータＳＤから予測情報を取り出し予測画像生成部１２へ送信する。
【００２３】
ストリーム入力部１１は入力されたストリームデータＳＤから係数情報を取り出し残差算出部１３へ送信する。
【００２４】
ストリーム入力部１１は入力されたストリームデータＳＤからフィルタ情報を取り出しデブロッキングフィルタ部１４へ送信する。
【００２５】
予測画像生成部１２は予測情報と、存在する場合は参照画像として蓄積されたフィルタ処理済みの画像（以下、「ローカルデコード画像ＬＧ２」と呼ぶ）も用いて、予測画像を生成し残差算出部１３へ送信する。
【００２６】
残差算出部１３は係数情報から残差を算出し予測画像に加算してフィルタ処理前のローカルデコード画像（以下、「ローカルデコード画像ＬＧ１」と呼ぶ）を生成しデブロッキングフィルタ部１４及びポストフィルタ部１６へ供給する。
【００２７】
デブロッキングフィルタ部１４はフィルタ情報からローカルデコード画像ＬＧ１にフィルタ処理を施し、フィルタ処理済みのローカルデコード画像ＬＧ２を、参照画像蓄積部１５に供給する。
【００２８】
参照画像蓄積部１５はフィルタ処理済みの画像を蓄積し予測画像生成部１２へ送信する。
【００２９】
ポストフィルタ部１６は、ローカルデコード画像ＬＧ１について、後述する顕著性マップを利用して、デブロッキングフィルタで用いる境界強度（ストリームデータＳＤに含まれるシンタックス要素を構成する境界強度）を補正する。そして、ポストフィルタ部１６は、補正後の境界強度を用いて、ローカルデコード画像ＬＧ１をデブロッキングフィルタ処理して、画像（以下、「ローカルデコード画像ＬＧ３」と呼ぶ）を取得する処理を行う。
【００３０】
ここで、顕著性マップについて説明する。
【００３１】
顕著性マップとは、任意の画像の領域ごとに、人間が無意識のうちに注目する（注意を引く）度合いの分布を示したものである。すなわち、人間が無意識に視覚的に注目する（注意を引く）度合いが高い場合、顕著性の度合いが高いと言える。なお、顕著性マップに関する参考文献としては、参考文献１（Ｌ．  Ｉｔｔｉ，  Ｃ．  Ｋｏｃｈ，  ａｎｄ  Ｅ．  Ｎｉｅｂｕｒ、”Ａ  Ｍｏｄｅｌ  ｏｆ  Ｓａｌｉｅｎｃｙ−ｂａｓｅｄ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ  ｆｏｒ  Ｒａｐｉｄ  Ｓｃｅｎｅ  Ａｎａｌｙｓｉｓ，”，ＩＥＥＥ  Ｔｒａｎｓ．  Ｏｎ  ＰＡＭＩ，  ｖｏｌ．  ２０，  Ｎｏ．１１，  ｐｐ．１２５４−１２５９，  Ｎｏｖ．，１９９８)、参考文献２（特開２００７−１２０４７号公報）、参考文献３（特開２０１１−３９７７８号公報）、参考文献４（「画像処理(3)  顕著性マップ」、[Online]、INTERNET、[２０１３年１０月１０日検索]，＜ＵＲＬ： http://fussy.web.fc2.com/algo/algo12-3.htm＞）等がある。
【００３２】
現在、画像処理分野において、顕著性マップ等のボトムアップ型注意を、客観指標値として算出する方法が研究されている。ボトムアップ型注意で得られる顕著性マップ（指標値）は、例えば、ロボットが物体への接近を瞬時に検出する技術（上述の参考文献２参照）や、視覚コンテンツの評価技術（上述の参考文献３参照）に利用されている。ここで、ボトムアップ型注意とは、人や動物が瞬間的に注目領域を特定する反応をいう。画像中の点や領域に対して、人間が瞬間的に注目する度合い、すなわち顕著性の高さを数値化した顕著性値を算出する方法として、上述の参考文献１に記載の顕著性モデルが存在する。参考文献１には、目の網膜にある網膜神経節細胞の中に、受容野（Ｒｅｃｅｐｔｉｖｅ  Ｆｉｅｌｄ）と呼ばれる領域があり、この受容野に光による刺激を受けると、その情報が脳に伝達される旨記載されている。また、参考文献１の記載によれば、受容野は、中央にある円形の部分（ｃｅｎｔｅｒ）とその周辺領域（ｓｕｒｒｏｕｎｄ）との２つで構成されており、受容野に置ける仕組みを応用し、Ｃｅｎｔｅｒとｓｕｒｒｏｕｎｄとの刺激により信号が強くなる箇所（注意を引く場所）を数値化するようなモデルを構築して顕著性マップとしている。
【００３３】
以上のように、顕著性マップは人間の視覚をよくモデル化するためブロックノイズの検知に期待ができる。そこで、この実施形態のポストフィルタ部１６は、ローカルデコード画像ＬＧ１について、顕著性マップを利用して、デブロッキングフィルタで用いる境界強度を補正するものとする。また、ポストフィルタ部１６は、ローカルデコード画像ＬＧ３に基づく映像信号又は画像データを表示部２に供給する。
【００３４】
顕著性算出部１６１はフィルタ処理前のローカルデコード画像ＬＧ１の各領域について顕著性値を算出して、ローカルデコード画像ＬＧ１に係る顕著性マップ（以下、「顕著性マップＭｓ」と呼ぶ）を生成する。
【００３５】
そして、顕著性算出部１６１は、ローカルデコード画像ＬＧ１及び顕著性マップＭｓを、補正フィルタ部１６２に供給する。
【００３６】
ここでは、顕著性算出部１６１は、ローカルデコード画像ＬＧ１の画素（ピクセル、ドット）単位で顕著性の度合いを示す値（以下、「顕著性値Ｖｓ」と呼ぶ）を算出し、画素ごとの顕著性値Ｖｓをまとめて顕著性マップＭｓとして生成するものとする。
【００３７】
顕著性算出部１６１は、例えば、上述の参考文献１の記載技術を用いることにより、ローカルデコード画像ＬＧ１の顕著性マップＭｓを取得することができる。
【００３８】
補正フィルタ部１６２は、供給されたローカルデコード画像ＬＧ１の各画素に係る境界強度Ｂｓについて少なくとも顕著性値Ｖｓを用いて補正する。そして、補正フィルタ部１６２は、補正後の境界強度Ｂｓを用いて、ローカルデコード画像ＬＧ１に対して、デブロッキングフィルタ処理（ブロックノイズを除去する処理）を施し、ローカルデコード画像ＬＧ３を生成し、復号動画像ＤＧとして出力（表示部２に供給）する処理を行う。
【００３９】
Ｈ．２６４に従って符号化されたストリームデータＳＤには、シンタックス要素を構成するフィルタ情報に、各画像を構成するマクロブロック（符号化側で符号化の際に適用されたブロックサイズのブロック）ごとの量子化パラメータと境界強度のデータが含まれている。そして、補正フィルタ部１６２は、ストリームデータＳＤのフィルタ情報から、ローカルデコード画像ＬＧ１を構成するマクロブロックごとの量子化パラメータの値、及び境界強度の値を取得して、ローカルデコード画像ＬＧ１の各マクロブロックに対応する量子化パラメータの値（以下、「量子化パラメータＱＰ」と呼ぶ）及び補正前の境界強度の値（以下、「境界強度Ｂｓ１」と呼ぶ）を取得することができる。
【００４０】
以下では、ローカルデコード画像ＬＧ１の各マクロブロックに係る量子化パラメータＱＰを１画像分（１フレーム分）まとめたマップを「量子化パラメータマップＭＱＰ」と呼ぶ。また、ローカルデコード画像ＬＧ１の各画素に係る補正前の境界強度Ｂｓ１を１画像分（１フレーム分）まとめたマップを「境界強度マップＭＢｓ１」と呼ぶものとする。量子化パラメータマップＭＱＰでは、各マクロブロック内では量子化パラメータＱＰは同じ値となる。また、境界強度マップＭＢｓ１についても同様に各マクロブロック内では、境界強度Ｂｓ１の値は同じとなる。
【００４１】
補正フィルタ部１６２は、境界強度マップＭＢｓ１を構成する各境界強度Ｂｓ１について、顕著性マップＭＳ及び量子化パラメータマップＭＱＰを用いて補正する。以下では、この補正後の各画素に対応する境界強度を「境界強度Ｂｓ２」と呼ぶものとする。また、画素ごとの補正後の境界強度Ｂｓ２を１画像分（１フレーム分）まとめたマップを「境界強度マップＭＢｓ２」と呼ぶものとする。補正フィルタ部１６２による境界強度マップＭＢｓ１の補正処理の詳細については後述する。
【００４２】
そして、補正フィルタ部１６２は、補正後の境界強度マップＭＢｓ２を用いて、ローカルデコード画像ＬＧ１にデブロッキングフィルタ処理を施して、ローカルデコード画像ＬＧ３を生成する。このとき、補正フィルタ部１６２が行うデブロッキングフィルタ処理は、適用する境界強度が境界強度マップＭＢｓ２となるだけで、その他の処理はデブロッキングフィルタ部１４（すなわち、Ｈ．２６４に従って種々のデブロッキングフィルタ処理）と同様の処理を適用することができる。
【００４３】
次に、補正フィルタ部１６２が行う境界強度マップＭＢｓ１の補正処理の具体例について説明する。
【００４４】
なお、ここでは、ストリームデータＳＤに係るマクロブロックのサイズは１６画素×１６画素であるものとする。そして、補正フィルタ部１６２は、４画素×４画素のブロック単位で、境界強度マップＭＢｓ１の各境界強度を補正するものとする。以下では、補正フィルタ部１６２が境界強度マップＭＢｓ１を補正する際のブロックサイズ（ここでは４画素×４画素）のブロックを「補正ブロック」と呼ぶものとする。したがって、ここでは、１つのマクロブロック内に４つの１６個の補正ブロックが存在することになる。
【００４５】
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の動画像復号装置１の動作（実施形態の動画像復号方法）を説明する。
【００４６】
まず、図１を用いて、動画像復号装置１の全体の動作を説明した後に、ポストフィルタ部１６の詳細動作について説明する。ここでは、動画像復号装置１を構成するポストフィルタ部１６以外の構成要素（ストリーム入力部１１、予測画像生成部１２、残差算出部１３、デブロッキングフィルタ部１４、及び参照画像蓄積部１５）の動作を説明した後、ポストフィルタ部１６の動作について説明する。なお、ストリーム入力部１１、予測画像生成部１２、残差算出部１３、デブロッキングフィルタ部１４、及び参照画像蓄積部１５の動作は、Ｈ．２６４に従って符号化されたストリームデータＳＤを復号する種々の処理を適用することができるため、詳細な説明については省略して説明する。
【００４７】
ストリーム入力部１１は入力されたストリームデータＳＤから予測情報を取り出し予測画像生成部１２へ供給する。
【００４８】
ストリーム入力部１１は入力されたストリームから係数情報を取り出し残差算出部１３へ供給する。
【００４９】
ストリーム入力部１１は入力されたストリームからフィルタ情報を取り出して、デブロッキングフィルタ部１４およびポストフィルタ部１６（補正フィルタ部１６２）へ供給する。
【００５０】
予測画像生成部１２は予測情報と、存在する場合は参照画像として蓄積されたフィルタ処理済みのローカルデコード画像ＬＧ２も用いて、予測画像を生成し残差算出部１３へ供給する。
【００５１】
残差算出部１３は係数情報から残差を算出し予測画像に加算してフィルタ処理前のローカルデコード画像ＬＧ１を生成しデブロッキングフィルタ部１４、及びポストフィルタ部１６（顕著性算出部１６１）へ供給する。
【００５２】
デブロッキングフィルタ部１４はフィルタ情報からフィルタ処理前のローカルデコード画像ＬＧ１にフィルタ処理を実施しフィルタ処理済みのローカルデコード画像ＬＧ２として参照画像蓄積部１５へ供給する。
【００５３】
参照画像蓄積部１５はフィルタ処理済みのローカルデコード画像ＬＧ２を蓄積し予測画像生成部１２へ供給する。
【００５４】
次に、ポストフィルタ部１６の処理について図２のフローチャートを用いて説明する。
【００５５】
ここでは、ポストフィルタ部１６では、任意のフレームに係るローカルデコード画像ＬＧ１が残差算出部１３に供給されているものとする。また、ポストフィルタ部１６（補正フィルタ部１６２）では、ストリームデータＳＤに基づいて、当該ローカルデコード画像ＬＧ１に係るマクロブロックごとの境界強度及び量子化パラメータから補正前の境界強度マップＭＢｓ１、及び量子化パラメータマップＭＱＰは得られているものとして説明する。
【００５６】
まず、顕著性算出部１６１により、ローカルデコード画像ＬＧ１に基づき各画素に対応する顕著性値ＶＳが算出され、顕著性マップＭＳが取得される（Ｓ１０１）。
【００５７】
次に、補正フィルタ部１６２により、顕著性マップＭＳ及び量子化パラメータマップＭＱＰを用いた、境界強度マップＭＢｓ１の補正処理が施され、境界強度マップＭＢｓ２が取得される（Ｓ１０２）。補正フィルタ部１６２による境界強度マップＭＢｓ１の補正処理の詳細については後述する。
【００５８】
次に、補正フィルタ部１６２により、境界強度マップＭＢｓ２を用いたローカルデコード画像ＬＧ１に対するデブロッキングフィルタ処理が実行され、デブロッキングフィルタ処理後のローカルデコード画像ＬＧ３が取得される（Ｓ１０３）。
【００５９】
次に、補正フィルタ部１６２により、ローカルデコード画像ＬＧ３に基づく映像信号又は画像データが、表示部２に復号動画像ＤＧとして供給（出力）される（Ｓ１０４）。
【００６０】
次に、上述のステップＳ１０３で、補正フィルタ部１６２が行う補正処理の詳細について図３のフローチャートを用いて説明する。
【００６１】
上述の通り、ここでは、ストリームデータＳＤに係るマクロブロックのサイズは１６画素×１６画素であり、補正フィルタ部１６２が補正処理を行う補正ブロックのサイズは４画素×４画素であるものとする。
【００６２】
まず、補正フィルタ部１６２は、補正ブロックごとに、顕著性値ＶＳの合計値を算出する（Ｓ２０１）。ここでは、各補正ブロックは４×４＝１６個の画素で構成されているため、各画素の顕著性値ＶＳの合計値が当該補正ブロックに係る顕著性値ＶＳの合計値となる。以下では、各補正ブロックに係る顕著性値ＶＳの合計値を、「合計顕著性値ＶＳｓｕｍ」と呼ぶものとする。
【００６３】
次に、補正フィルタ部１６２は、補正ブロックごとに、合計顕著性値ＶＳｓｕｍと閾値ｓとを比較する（Ｓ２０２）。閾値ｓとしては、例えば０．５を適用するようにしてもよい。
【００６４】
次に、補正フィルタ部１６２は、補正ブロックごとに、当該補正ブロックが所属するマクロブロックに係る量子化パラメータＱＰと、閾値ｔを比較する（Ｓ２０３）。なお、ここでは、補正フィルタ部１６２は、マクロブロックごとにだけ、量子化パラメータＱＰと、閾値ｔを比較し、その結果を当該マクロブロックに所属する補正ブロックに適用するようにしてもよい。また、閾値ｔとしては、例えば、３５を適用するようにしてもよい。
【００６５】
次に、補正フィルタ部１６２は、補正ブロックごとに、ステップＳ２０１、Ｓ２０２の比較結果に基づき、当該補正ブロック内に含まれるブロックノイズ成分の量を判定する（Ｓ２０４）。具体的には、補正フィルタ部１６２は、ブロックノイズの成分の量に応じて、各補正ブロックを、ブロックノイズの成分の量の多い順に、「高ノイズブロック」、「通常ブロック」、「低ノイズブロック」の３段階に分類する。なお、補正フィルタ部１６２が行う、ブロックノイズの成分の量に応じた分類の数は限定されないものである。例えば、補正フィルタ部１６２は、低ノイズブロックに係る判定をせずに、高ノイズブロック以外の補正ブロックを通常ブロックと分類するようにしてもよい。
【００６６】
補正フィルタ部１６２は、合計顕著性値ＶＳｓｕｍが閾値ｓより大きく、かつ量子化パラメータＱＰが閾値ｔより大きい補正ブロックについては、高ノイズブロックであると判定するものとする。
【００６７】
また、補正フィルタ部１６２は、合計顕著性値ＶＳｓｕｍが閾値ｓより小さく、４かつ量子化パラメータＱＰが閾値ｔより小さい補正ブロックについては、低ノイズブロックであると判定するものとする。
【００６８】
さらに、補正フィルタ部１６２は、高ノイズブロックにも、低ノイズブロックにも該当しない補正ブロックについては、通常ブロックであると判定するものとする。
【００６９】
次に、補正フィルタ部１６２は、ステップＳ２０４の分類結果に応じて、各補正ブロックに隣接する境界強度Ｂｓ１を補正する（Ｓ２０５）。
【００７０】
補正フィルタ部１６２は、通常ブロックと判定された補正ブロックに隣接する境界強度Ｂｓ１については補正（変更）せずに、境界強度Ｂｓ２とするものとする。
【００７１】
また、補正フィルタ部１６２は、高ノイズブロックと判定された補正ブロックの各画素に係る境界強度Ｂｓ１に１加算して、補正後の境界強度Ｂｓ２とするものとする。
【００７２】
さらに、補正フィルタ部１６２は、低ノイズブロックと判定された補正ブロックの各画素に係る境界強度Ｂｓ１を１減算して、補正後の境界強度Ｂｓ２とするものとする。
【００７３】
なお、Ｈ．２６４では、境界強度Ｂｓは０〜４の間のいずれかの値（整数）が適用されるため、補正フィルタ部１６２においても、境界強度Ｂｓの値をその規則に従った範囲内に設定するものとする。したがって、補正フィルタ部１６２は、境界強度Ｂｓ１を補正した値が４を越える場合は、補正後の境界強度Ｂｓ２を最大値である４とする。また、補正フィルタ部１６２は、境界強度Ｂｓ１を補正した値が０を下回る場合には、補正後の境界強度Ｂｓ２を最小値である０とする。
【００７４】
以上のように、補正フィルタ部１６２は、境界強度マップＭＢｓ１を構成する各境界強度Ｂｓ１を補正して境界強度マップＭＢｓ２を得ることがきる。
【００７５】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【００７６】
動画像復号装置１では、ポストフィルタ部１６により、顕著性マップＭＳと量子化パラメータマップＭＱＰとを用いて、ブロックノイズの成分の度合を高い確度で判定でき、その判定結果からデブロッキングフィルタで用いる境界強度を補正している。これにより、動画像復号装置１では、ポストフィルタ部１６で補正しない場合と比較して、復号画像の観者にとっての主観画質を向上させることができる。言い換えると、動画像復号装置１では、ポストフィルタ部１６により、デブロッキングフィルタ部１４が出力するローカルデコード画像ＬＧ２よりも観者の主観的な画質の高いローカルデコード画像ＬＧ３を出力することができる。
【００７７】
また、動画像復号装置１では、Ｈ．２６４に準拠した動画像復号の構成（ストリーム入力部１１、予測画像生成部１２、残差算出部１３、デブロッキングフィルタ部１４、参照画像蓄積部１５）に、ポストフィルタ部１６を追加するだけで実現することができる。例えば、既存のＨ．２６４に準拠した動画像復号装置に、ポストフィルタ部１６の処理を行う構成（プログラム又は専用チップ）を追加するだけで、容易にこの実施形態の動画像復号装置１を実現することができる。したがって、この実施形態の動画像復号装置１は、低コストで実現することができる。
【００７８】
（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【００７９】
（Ｂ−１）上記の実施形態において、補正フィルタ部１６２は、境界強度Ｂｓ１を１ずつ補正するものとして説明するが２以上補正するようにしてもよい。また、補正後の境界強度Ｂｓ２は、境界強度Ｂｓ１の値の相対的な値（境界強度Ｂｓ１を加減算した値）ではなく、定数値としてもよい。例えば、高ノイズブロックの境界強度Ｂｓ２を４、通常ブロックの境界強度Ｂｓ２を２、低ノイズブロックの境界強度Ｂｓ２を０といった定数値に設定するようにしてもよい。
【００８０】
さらに、上記の実施形態では、境界強度Ｂｓ２が、０〜４の整数値になるように修正する例で説明したが範囲修正を行わず、かつ０〜４以外の新たな値と処理内容を定義して適用してもよい。例えば、補正フィルタ部１６２は５以上の境界強度を設定するようにしてもよい。その場合、補正フィルタ部１６２は、境界強度Ｂｓ２＝５に対応するデブロッキングフィルタ処理（境界強度Ｂｓ２＝４の場合よりも強いデブロッキングフィルタ処理）を行うようにしてもよい。
【００８１】
（Ｂ−２）上記の各実施形態では、ストリームデータＳＤが、Ｈ．２６４である場合を例としたため、境界強度Ｂｓおよび量子化パラメータＱＰを用いた説明を行ったが、その他の符号化データで同様の性質のパラメータを用いて、同様の処理を行うようにしてもよい。例えば、ＭＰＥＧ−Ｈ  ＨＥＶＣ／Ｈ．２６５のような同様の性質のデブロッキングフィルタ及びパラメータ（フィルタ情報等のシンタックス要素）を備える動画像符号化方式（映像符号化方式）で符号化された符号化データの復号に本発明の動画像復号装置を適用するようにしてもよい。
【００８２】
（Ｂ−３）上記の実施形態では、補正フィルタ部１６２が量子化パラメータＱＰと比較する閾値ｓを静的な値であるものとして説明したが、動的な値を適用するようにしてもよい。例えば、補正フィルタ部１６２では、イントラマクロブロックに係る復号に用いる閾値ｓと、インターマクロブロックに係る復号に用いる閾値ｓを異なる値としてもよい。
【００８３】
（Ｂ−４）上記の実施形態では、補正ブロックサイズを４画素×４画素であるものとして説明したが、他のサイズ（例えば、８画素×８画素、１６画素×１６画素）としてもよい。
【００８４】
（Ｂ−５）上記の実施形態では、補正フィルタ部１６２は、顕著性値の算出に上述の参考文献１を適用する例について説明したが、同様の性質の値を算出することができれば、その他の顕著性算出方式を適用するようにしてもよい。
【００８５】
（Ｂ−６）上記の実施形態では、動画像復号装置１に、デブロッキングフィルタ処理を行うポストフィルタ部を付加する構成として説明したが、デブロッキングフィルタ以外の処理を行うポストフィルタ部（顕著性値を用いたパラメータの補正処理を行うポストフィルタ）を付加するようにしてもよい。例えば、動画像復号装置１において、顕著性値に応じてパラメータが変動するガウシアンフィルタを付加するようにしてもよい。なお、その場合デブロッキングフィルタとして動作するポストフィルタ部１６については省略するようにしてもよい。
【符号の説明】
【００８６】
１…動画像復号装置、１１…ストリーム入力部、１２…予測画像生成部、１３…残差算出部、１４…デブロッキングフィルタ部、１５…参照画像蓄積部、１６…ポストフィルタ部、１６１…顕著性算出部、１６２…補正フィルタ部、２…表示部。
【図１】
2015080024.tif 000003
【図２】
2015080024.tif 000004
【図３】
2015080024.tif 000005