(57)【要約】【課題】  デブロッキングフィルタ処理を適切に実行し、ローカルデコード画像若しくはデコード画像の品質を高められる画像符号化装置及び画像復号装置を提供する。【解決手段】  画像符号化装置及び画像復号装置は共に、人間がローカルデコード画像若しくはデコード画像の各部に対して瞬間的に注目する度合いを表す顕著性マップ及び量子化パラメータを取得する手段と、取得された顕著性マップ及び量子化パラメータの大きさに基づいて、一旦算出したブロック境界強度を見直して、ローカルデコード画像若しくはデコード画像に対するデブロッキングフィルタリングに適用させる手段とを有する。【選択図】      図１
2015130616.tif 000002
【特許請求の範囲】
【請求項１】
動画像の符号化時に生じるブロック境界の主観歪を減少させるデブロッキングフィルタを備え、ローカルデコード画像をデブロッキングフィルタ処理する画像符号化装置において、
人間がローカルデコード画像の各部に対して瞬間的に注目する度合いを表す顕著性マップ、及び、量子化ステップサイズに所定関数に従って対応する量子化パラメータの少なくとも一方が該当する補正判断用情報を取得する補正判断用情報取得手段と、
取得された補正判断用情報の大きさに基づいて、上記デブロッキングフィルタが決定したブロック境界強度を見直して、ローカルデコード画像に対するデブロッキングフィルタリングに適用させるブロック境界強度補正手段と
を有することを特徴とする画像符号化装置。
【請求項２】
上記ブロック境界強度補正手段は、取得された補正判断用情報の大きさが、処理対象のブロック境界がノイズを有する可能性が高いと判断する大きさの場合に、ブロック境界強度を上方修正させてローカルデコード画像に対するデブロッキングフィルタリングに適用させることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
上記ブロック境界強度補正手段は、取得された補正判断用情報の大きさが、処理対象のブロック境界がノイズを有する可能性が低いと判断する大きさの場合に、ブロック境界強度を下方修正させてローカルデコード画像に対するデブロッキングフィルタリングに適用させることを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項４】
対向する画像符号化装置における動画像の符号化時に生じるブロック境界の主観歪を減少させるデブロッキングフィルタを備え、デコード画像をデブロッキングフィルタ処理する画像復号装置において、
人間がデコード画像の各部に対して瞬間的に注目する度合いを表す顕著性マップ、及び、量子化ステップサイズに所定関数に従って対応する量子化パラメータの少なくとも一方が該当する補正判断用情報を取得する補正判断用情報取得手段と、
取得された補正判断用情報の大きさに基づいて、上記デブロッキングフィルタが決定したブロック境界強度を見直して、デコード画像に対するデブロッキングフィルタリングに適用させるブロック境界強度補正手段と
を有することを特徴とする画像復号装置。
【請求項５】
上記ブロック境界強度補正手段は、取得された補正判断用情報の大きさが、処理対象のブロック境界がノイズを有する可能性が高いと判断する大きさの場合に、ブロック境界強度を上方修正させてデコード画像に対するデブロッキングフィルタリングに適用させることを特徴とする請求項４に記載の画像復号装置。
【請求項６】
上記ブロック境界強度補正手段は、取得された補正判断用情報の大きさが、処理対象のブロック境界がノイズを有する可能性が低いと判断する大きさの場合に、ブロック境界強度を下方修正させてデコード画像に対するデブロッキングフィルタリングに適用させることを特徴とする請求項４又は５に記載の画像復号装置。
【請求項７】
動画像を符号化する画像符号化装置と、復号により動画像を復元する画像復号装置とが対向する画像符号化システムにおいて、
上記画像符号化装置として、請求項１に記載の画像符号化装置を適用すると共に、上記画像復号装置として、請求項４に記載の画像復号装置を適用したことを特徴とする画像符号化システム。
【請求項８】
上記画像符号化装置の補正判断用情報取得手段が顕著性マップを算出するものであり、及び、上記画像復号装置の補正判断用情報取得手段が顕著性マップを算出するものであり、顕著性マップの算出方法が、上記画像符号化装置及び上記画像復号装置で同一であることを特徴とする請求項７に記載の画像符号化システム。
【請求項９】
動画像の符号化時に生じるブロック境界の主観歪を減少させるデブロッキングフィルタを備え、ローカルデコード画像をデブロッキングフィルタ処理する画像符号化装置に搭載されたコンピュータを、
人間がローカルデコード画像の各部に対して瞬間的に注目する度合いを表す顕著性マップ、及び、量子化ステップサイズに所定関数に従って対応する量子化パラメータの少なくとも一方が該当する補正判断用情報を取得する補正判断用情報取得手段と、
取得された補正判断用情報の大きさに基づいて、上記デブロッキングフィルタが決定したブロック境界強度を見直して、ローカルデコード画像に対するデブロッキングフィルタリングに適用させるブロック境界強度補正手段と
して機能させることを特徴とする画像符号化プログラム。
【請求項１０】
対向する画像符号化装置における動画像の符号化時に生じるブロック境界の主観歪を減少させるデブロッキングフィルタを備え、デコード画像をデブロッキングフィルタ処理する画像復号装置に搭載されるコンピュータを、
人間がデコード画像の各部に対して瞬間的に注目する度合いを表す顕著性マップ、及び、量子化ステップサイズに所定関数に従って対応する量子化パラメータの少なくとも一方が該当する補正判断用情報を取得する補正判断用情報取得手段と、
取得された補正判断用情報の大きさに基づいて、上記デブロッキングフィルタが決定したブロック境界強度を見直して、デコード画像に対するデブロッキングフィルタリングに適用させるブロック境界強度補正手段と
して機能させることを特徴とする画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及びプログラム、画像復号装置及びプログラム、並びに、画像符号化システムに関し、特に、デブロッキングフィルタを利用する画像符号化方式に適用し得るものである。
【背景技術】
【０００２】
近年、インターネットの普及に伴い動画像をストリーミング配信する需要が高まっている。動画像のストリームにおいて、動画像の圧縮符号化により復号画像の限られた帯域における主観評価での品質劣化が課題となっている。
【０００３】
非特許文献１では、主に、ブロック境界に発生する不自然な色変化などであるブロックノイズを軽減するためにデブロッキングフィルタのオンオフが選択できるようになっている。
【０００４】
デブロッキングフィルタを適用した、非特許文献１に記載のストリーム符号化プロセス及びストリーム復号プロセスを簡単に説明する。
【０００５】
まず、ストリーム符号化プロセスを説明する。入力画像と、存在するならば参照画像（蓄積されたデブロッキングフィルタ処理後のローカルデコード画像）を用いて予測方法を決定し、決定した予測方法から予測画像を生成し、入力画像から予測画像を減算して残差情報を生成する。残差情報から係数情報（例えば直交変換係数）を生成した後に符号化（量子化）し、符号化情報と上述した予測画像からデブロッキングフィルタ処理前のローカルデコード画像（局部復号画像）を生成する。予測情報を参照しながら、デブロッキングフィルタ処理前のローカルデコード画像に対して、デブロッキングフィルタ処理を実施し、処理後のローカルデコード画像を、次の予測画像の生成に供するために蓄積する。予測情報及び符号化情報をストリームデータへ変換する。
【０００６】
次に、ストリーム復号プロセスを説明する。入力されたストリームデータから予測情報を取り出し、得られた予測情報と、存在するならば参照画像（蓄積されたデブロッキングフィルタ処理後のデコード画像）を用いて予測画像を生成する。また、入力されたストリームデータから符号化情報を取り出して係数情報に戻し、得られた係数情報から残差情報を算出し、入力されたストリームデータから得られた予測画像に加算してデブロッキングフィルタ処理前のデコード画像を生成する。予測情報を参照しながら、デブロッキングフィルタ処理前のデコード画像に対して、デブロッキングフィルタ処理を実施し、フィルタ処理後のデコード画像を、次の予測画像の生成に供するために蓄積すると共に、表示、保存、送信、印刷等の出力動作を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１２０４７
【特許文献２】特開２０１１−３９７７８
【特許文献３】特表２００７−５１５００９
【特許文献４】特表２０１０−５０６３１５
【非特許文献】
【０００８】
【非特許文献１】ＩＴＵ−Ｕ  Ｈ．２６４／ＡＶＣ
【非特許文献２】Ｌａｕｒｅｎｔ  Ｉｔｔｉ，Ｃｈｒｉｓｔｏｆ  Ｋｏｃｈ，Ｅｒｎｓｔ  Ｎｉｅｂｕｒ，“Ａ  Ｍｏｄｅｌ  ｏｆ  Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ  ｆｏｒ  Ｒａｐｉｄ  Ｓｃｅｎｅ  Ａｎａｌｙｓｉｓ，” ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２０，Ｎｏ．１１，ｐｐ．１２５４−１２５９，１９９８年１１月
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１の記載技術には以下のような課題が存在する。
【００１０】
非特許文献１の記載技術において、デブロッキングフィルタの強度を規定するブロック境界強度（Ｂｓ；Ｂｏｕｎｄａｒｙ  Ｓｔｒｅｎｇｔｈ）は、境界を含むマクロブロックの予測情報や量子化パラメータが適用されて決定される。
【００１１】
このようにブロック境界強度の決定には実際の画素値を使用しないため、ブロック境界が実際に量子化誤差によるブロックノイズを有しているかを判定する精度が低く、ブロックノイズが弱いブロック境界に強いフィルタリングを行ってノイズでない成分を消してしまったり、逆に、ブロックノイズが強いブロック境界に弱いフィルタリングしか実行せずに歪が目立つままにしてしまったりすることも生じていた。
【００１２】
そのため、デブロッキングフィルタ処理を適切に実行し、ローカルデコード画像若しくはデコード画像の品質を高めることができる画像符号化装置及びプログラム、画像復号装置及びプログラム、並びに、画像符号化システムが望まれている。
【課題を解決するための手段】
【００１３】
第１の本発明は、動画像の符号化時に生じるブロック境界の主観歪を減少させるデブロッキングフィルタを備え、ローカルデコード画像をデブロッキングフィルタ処理する画像符号化装置において、（１）人間がローカルデコード画像の各部に対して瞬間的に注目する度合いを表す顕著性マップ、及び、量子化ステップサイズに所定関数に従って対応する量子化パラメータの少なくとも一方が該当する補正判断用情報を取得する補正判断用情報取得手段と、（２）取得された補正判断用情報の大きさに基づいて、上記デブロッキングフィルタが決定したブロック境界強度を見直して、ローカルデコード画像に対するデブロッキングフィルタリングに適用させるブロック境界強度補正手段とを有することを特徴とする。
【００１４】
第２の本発明は、対向する画像符号化装置における動画像の符号化時に生じるブロック境界の主観歪を減少させるデブロッキングフィルタを備え、デコード画像をデブロッキングフィルタ処理する画像復号装置において、（１）人間がデコード画像の各部に対して瞬間的に注目する度合いを表す顕著性マップ、及び、量子化ステップサイズに所定関数に従って対応する量子化パラメータの少なくとも一方が該当する補正判断用情報を取得する補正判断用情報取得手段と、（２）取得された補正判断用情報の大きさに基づいて、上記デブロッキングフィルタが決定したブロック境界強度を見直して、デコード画像に対するデブロッキングフィルタリングに適用させるブロック境界強度補正手段とを有することを特徴とする。
【００１５】
第３の本発明は、動画像を符号化する画像符号化装置と、復号により動画像を復元する画像復号装置とが対向する画像符号化システムにおいて、上記画像符号化装置として、第１の本発明の画像符号化装置を適用すると共に、上記画像復号装置として、第２の本発明の画像復号装置を適用したことを特徴とする。
【００１６】
第４の本発明の画像符号化プログラムは、動画像の符号化時に生じるブロック境界の主観歪を減少させるデブロッキングフィルタを備え、ローカルデコード画像をデブロッキングフィルタ処理する画像符号化装置に搭載されたコンピュータを、（１）人間がローカルデコード画像の各部に対して瞬間的に注目する度合いを表す顕著性マップ、及び、量子化ステップサイズに所定関数に従って対応する量子化パラメータの少なくとも一方が該当する補正判断用情報を取得する補正判断用情報取得手段と、（２）取得された補正判断用情報の大きさに基づいて、上記デブロッキングフィルタが決定したブロック境界強度を見直して、ローカルデコード画像に対するデブロッキングフィルタリングに適用させるブロック境界強度補正手段として機能させることを特徴とする。
【００１７】
第５の本発明の画像復号プログラムは、対向する画像符号化装置における動画像の符号化時に生じるブロック境界の主観歪を減少させるデブロッキングフィルタを備え、デコード画像をデブロッキングフィルタ処理する画像復号装置に搭載されるコンピュータを、（１）人間がデコード画像の各部に対して瞬間的に注目する度合いを表す顕著性マップ、及び、量子化ステップサイズに所定関数に従って対応する量子化パラメータの少なくとも一方が該当する補正判断用情報を取得する補正判断用情報取得手段と、（２）取得された補正判断用情報の大きさに基づいて、上記デブロッキングフィルタが決定したブロック境界強度を見直して、デコード画像に対するデブロッキングフィルタリングに適用させるブロック境界強度補正手段として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、デブロッキングフィルタ処理を適切に実行し、ローカルデコード画像若しくはデコード画像の品質を高めることができる画像符号化装置及びプログラム、画像復号装置及びプログラム、並びに、画像符号化システムを提供できる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態の画像符号化装置の詳細構成を示すブロック図である。
【図２】第１の実施形態の画像復号装置の詳細構成を示すブロック図である。
【図３】第１の実施形態の画像符号化装置におけるデブロッキングフィルタ本体が実行するブロック境界強度の見直し処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
（Ａ）第１の実施形態
以下、本発明による画像符号化装置及びプログラム、画像復号装置及びプログラム、並びに、画像符号化システムの第１の実施形態を、図面を参照しながら詳述する。
【００２１】
ここで、第１の実施形態の画像符号化装置と第１の実施形態の画像復号装置とにより、第１の実施形態の画像符号化システムが構成されている。また、第１の実施形態の画像符号化方式は、Ｈ．２６４／ＡＶＣに準拠しているものである。
【００２２】
（Ａ−１）第１の実施形態で導入した技術
第１の実施形態では、上述した課題を解決するために、デブロッキングフィルタに係るブロック境界強度を、顕著性マップ（ｓａｌｉｅｎｃｙ  ｍａｐ）を利用して補正することとした。
【００２３】
画像処理分野において、ボトムアップ型注意を客観的指標値として算出する方法が研究されている。ここで、ボトムアップ型注意とは、観測者（人や動物）が特に目的もなく周囲を見渡す状態に発生する、色や輝度といった入力画像が持つ特徴に依存した視線運動のプロセスをいう。ボトムアップ型注意で得られた指標値は、例えば、ロボットが物体への接近を瞬時に検出する技術（特許文献１参照）や、視覚コンテンツの評価技術（特許文献２参照）に利用されている。
【００２４】
ボトムアップ型注意による視線移動をモデル化した研究として、非特許文献２に記載の顕著性マップモデルが存在する。顕著性マップモデルは、入力画像における領域ごとに目立ちやすさ、すなわち、視覚シーンにおける顕著さの空間分布を算出するものであり、顕著さの空間分布に基づいて視線移動を予測するモデルである。顕著性マップモデルにおける顕著性マップの算出方法は、入力画像中の点や領域に対して人間が瞬間的に注目する度合い、すなわち、顕著性の高さを数値化した顕著性値を算出する方法として適用できる。
【００２５】
目の網膜にある網膜神経節細胞の中に受容野（Ｒｅｃｅｐｔｉｖｅ  Ｆｉｅｌｄ）と呼ばれる領域があり、この受容野に光による刺激を受けると、その情報が脳に伝達される。受容野は、中央にある円形の部分（ｃｅｎｔｅｒ）とその周辺領域（ｓｕｒｒｏｕｎｄ）との２つで構成されており、受容野における仕組みを応用し、非特許文献２の著者は、Ｃｅｎｔｅｒとｓｕｒｒｏｕｎｄとの刺激により信号が強くなる箇所（注意を引く場所）を数値化するようなモデルを構築して顕著性マップとした。
【００２６】
このような顕著性マップは、人間の視覚特性を良くモデル化しているため、ブロックノイズを精度良く検知することが期待できる。そこで、第１の実施形態においては、デブロッキングフィルタに係るブロック境界強度を、顕著性マップを利用して補正する（見直す）こととし、ブロックノイズを一段と抑圧しようとした。
【００２７】
（Ａ−２）第１の実施形態の構成
図１は、第１の実施形態の画像符号化装置の詳細構成を示すブロック図である。ここで、第１の実施形態の画像符号化装置をハードウェアで構成することも可能であり、また、ＣＰＵが実行するソフトウェア（画像符号化プログラム）とＣＰＵとで実現することも可能であるが、いずれの実現方法を採用した場合であっても、機能的には図１で表すことができる。
【００２８】
図１において、第１の実施形態に係る画像符号化装置１０は、画像入力部１１、予測残差算出部１２、残差符号化部１３、デブロッキングフィルタ部１４、参照画像蓄積部１５及び送信部１６を有する。デブロッキングフィルタ部１４は、顕著性マップ算出部１７及びデブロッキングフィルタ本体１８を有する。
【００２９】
画像入力部１１は、動画像を構成する入力された画像を取込み、予測残差算出部１２に与えるものである。
【００３０】
予測残差算出部１２は、入力画像と、参照画像蓄積部１５に参照画像が存在する場合には参照画像（後述するローカルデコード画像）とを用いて予測方法（例えば、画面内予測符号化、画面間予測符号化や、量子化パラメータ等）を決定し、決定した予測方法に従い、入力画像及び又は参照画像から予測画像を生成し、入力画像から予測画像を減算して残差情報を生成するものである。予測残差算出部１２は、処理時には適宜、入力画像をマクロブロックやブロックに分割する。予測残差算出部１２は、残差符号化部１３には予測画像及び残差情報を与え、デブロッキングフィルタ部１４には予測情報と残差情報を与え、送信部１６には予測情報を与えるものである。
【００３１】
残差符号化部１３は、残差情報から係数情報（例えば、直交変換係数）を生成した後に符号化（量子化）し、得られた符号化情報を送信部１６に与えるものである。また、残差符号化部１３は、予測画像と符号化情報からローカルデコード画像を生成し、デブロッキングフィルタ部１４内の顕著性マップ算出部１７及びデブロッキングフィルタ本体１８に与えるものである。
【００３２】
デブロッキングフィルタ部１４は、残差符号化部１３が生成したローカルデコード画像に対して、顕著性マップを利用したデブロッキングフィルタ処理を施し、このフィルタ処理後のローカルデコード画像を参照画像蓄積部１５に与えるものである。
【００３３】
参照画像蓄積部１５は、デブロッキングフィルタ部１４から与えられたフィルタ処理後のローカルデコード画像を、次の入力画像に対する予測画像を生成する際に参照される参照画像として蓄積するものである。なお、予測画像の生成方法によっては、参照画像蓄積部１５は、時間軸上の位置が異なる複数のフィルタ処理後のローカルデコード画像を蓄積するものであっても良い。
【００３４】
送信部１６は、入力画像に係る符号化情報や予測情報等を多重し、送信するシーケンスを形成し、広義の送信処理（ネットワークへの送信や記録媒体への記録など）を行うものである。
【００３５】
第１の実施形態のデブロッキングフィルタ部１４は、上述したように、顕著性マップを利用する点が、従来の画像符号化装置のものと異なっている。
【００３６】
デブロッキングフィルタ部１４の顕著性マップ算出部１７は、残差符号化部１３が予測画像に対して符号化情報を適用して局部復号して得たローカルデコード画像を用いて、顕著性マップを算出し、得られた顕著性マップをデブロッキングフィルタ本体１８に与えるものである。顕著性マップ算出部１７による顕著性マップの算出方法の詳述は避けるが、例えば、特許文献２〜特許文献４、非特許文献２のいずれかに記載の算出方法を適用することができる。
【００３７】
デブロッキングフィルタ部１４のデブロッキングフィルタ本体１８は、予測情報とローカルデコード画像（フィルタ処理前のローカルデコード画像）から、ブロック境界強度Ｂｓを一旦得た後、顕著性マップに応じて、ブロック境界強度Ｂｓを見直し、見直したブロック境界強度Ｂｓを参照してローカルデコード画像にデブロッキングフィルタ処理を施して、フィルタ処理後のローカルデコード画像を得て参照画像蓄積部１５に与えるものである。顕著性マップに応じてブロック境界強度Ｂｓを見直す方法については、後述する動作説明の項で明らかにする。
【００３８】
図２は、第１の実施形態の画像復号装置の詳細構成を示すブロック図である。ここで、第１の実施形態の画像復号装置をハードウェアで構成することも可能であり、また、ＣＰＵが実行するソフトウェア（画像復号プログラム）とＣＰＵとで実現することも可能であるが、いずれの実現方法を採用した場合であっても、機能的には図２で表すことができる。
【００３９】
図２において、第１の実施形態に係る画像復号装置２０は、ストリーム入力部２１、予測画像生成部２２、残差算出部２３、デブロッキングフィルタ部２４、参照画像蓄積部２５及び画像出力部２６を有する。デブロッキングフィルタ部２４は、顕著性マップ算出部２７及びデブロッキングフィルタ本体２８を有する。
【００４０】
ストリーム入力部２１は、入力されたストリームから予測情報及び符号化情報（量子化されている係数情報）を取り出し、予測情報を予測画像生成部２２に与え、係数情報を残差算出部２３に与えるものである。
【００４１】
予測画像生成部２２は、予測情報と、参照画像蓄積部２５に参照画像が存在する場合には参照画像とを用いて予測画像を生成し、残差算出部２３及びデブロッキングフィルタ部２４に与えるものである。
【００４２】
残差算出部２３は、符号化情報（量子化されている係数情報）から残差情報を復元した後に予測画像に加算してデコード画像を生成し、デブロッキングフィルタ部２４に与えるものである。
【００４３】
デブロッキングフィルタ部２４は、残差算出部２が生成したデコード画像に対して、顕著性マップを利用したデブロッキングフィルタ処理を施し、このフィルタ処理後のデコード画像を参照画像蓄積部２５及び画像出力部２６に与えるものである。
【００４４】
参照画像蓄積部２５は、デブロッキングフィルタ部２４から与えられたフィルタ処理後のデコード画像を、次の入力ストリームに対する予測画像を生成する際に参照される参照画像として蓄積するものである。
【００４５】
画像出力部２６は、デブロッキングフィルタ部２４から与えられたフィルタ処理後のデコード画像を出力処理するものである。画像出力部２６は、例えば、表示したり、記録媒体に記録したりする。
【００４６】
デブロッキングフィルタ部２４の顕著性マップ算出部２７は、残差算出部２３が得たデコード画像（フィルタ前のデコード画像）を用いて、顕著性マップを算出し、得られた顕著性マップをデブロッキングフィルタ本体２８に与えるものである。顕著性マップ算出部２７による顕著性マップの算出方法も、画像符号化装置１０における顕著性マップ算出部１７による顕著性マップの算出方法と同様である。
【００４７】
デブロッキングフィルタ部２４のデブロッキングフィルタ本体２８は、予測情報とデコード画像（フィルタ処理前のデコード画像）から、ブロック境界強度Ｂｓを一旦得た後、顕著性マップに応じて、ブロック境界強度Ｂｓを見直し、見直したブロック境界強度Ｂｓを参照してデコード画像にデブロッキングフィルタ処理を施して、フィルタ処理後のデコード画像を得て参照画像蓄積部２５及び画像出力部２６に与えるものである。顕著性マップに応じてブロック境界強度Ｂｓを見直す方法も、画像符号化装置１０におけるデブロッキングフィルタ本体１８による見直し方法と同様である。
【００４８】
（Ａ−３）第１の実施形態の動作
次に、第１の実施形態に係る画像符号化装置１０の動作を説明する。
【００４９】
動画像を構成する１枚の画像が画像符号化装置１０に入力されると、その入力画像が画像入力部１１から予測残差算出部１２に与えられ、予測残差算出部１２において、入力画像と参照画像とが適宜用いられて予測方法が決定される。さらに、予測残差算出部１２において、決定された予測方法に従い、入力画像及び又は参照画像から予測画像が生成された後、入力画像から予測画像が減算されて残差情報が生成される。残差符号化部１３において、残差情報に対する変換処理によって係数情報が生成された後、係数情報は量子化パラメータに対応する量子化ステップで量子化（符号化）され、得られた符号化情報が送信部１６に与えられる。また、残差符号化部１３において、予測画像と符号化情報からローカルデコード画像が生成（復元）され、デブロッキングフィルタ部１４内の顕著性マップ算出部１７及びデブロッキングフィルタ本体１８に与えられる。送信部１６においては、入力画像に係る符号化情報や予測情報等が併せられて、送信するシーケンスが形成されて送信される。
【００５０】
デブロッキングフィルタ部１４においては、顕著性マップ算出部１７によって、局部復号されて得られたローカルデコード画像が用いられて、顕著性マップが算出され、デブロッキングフィルタ本体１８に与えられる。そして、デブロッキングフィルタ本体１８によって、予測情報とローカルデコード画像から、ブロック境界強度Ｂｓが一旦定められた後、顕著性マップに応じて、ブロック境界強度Ｂｓが見直され、見直されたブロック境界強度Ｂｓが参照されてローカルデコード画像にデブロッキングフィルタ処理が施される。フィルタ処理後のローカルデコード画像は、参照画像蓄積部１５に与えられて格納される。
【００５１】
デブロッキングフィルタ本体１８におけるブロック境界強度Ｂｓの見直し方法は、以下の通りである。図３は、見直し方法による処理を示すフローチャートである。
【００５２】
デブロッキングフィルタ本体１８は、処理対象の縦横４×４画素のブロックに含まれる全ての画素（ピクセル）の顕著性マップの合計値（以下、合計顕著性マップ値と呼ぶ）Ｔｍａｐを算出する（ステップＳ１００）。
【００５３】
次に、デブロッキングフィルタ本体１８は、合計顕著性マップ値Ｔｓｍａｐを予め設定されている閾値ｓと比較すると共に、処理対象の４×４ブロックを含むマクロブロックの量子化パラメータＱＰを予め設定されている閾値ｔと比較し、処理対象の４×４ブロックを分類する（ステップＳ１０１）。
【００５４】
合計顕著性マップ値Ｔｓｍａｐが大きいことは、処理対象の４×４ブロックが、人間が意識することなく注意が向く領域に属していることを意味しており、目立ちやすさの観点から周囲との相違が大きいことを表している。量子化ステップサイズと所定の関数関係がある量子化パラメータＱＰは、マクロブロックにおける残差情報のダイナミックレンジを反映しており、量子化パラメータＱＰが大きいことは残差情報のダイナミックレンジが大きく前画像との変化が大きいマクロブロックであることを表している。
【００５５】
この第１の実施形態では、合計顕著性マップ値Ｔｓｍａｐが閾値ｓより大きく、かつ、量子化パラメータＱＰが閾値ｔより大きい場合には、処理対象の４×４ブロックは高ノイズブロックであると判定する。また、合計顕著性マップ値Ｔｓｍａｐが閾値ｓより小さく、かつ、量子化パラメータＱＰが閾値ｔより小さい場合には、処理対象の４×４ブロックは低ノイズブロックであると判定する。さらに、合計顕著性マップ値Ｔｓｍａｐ及び量子化パラメータＱＰの組が、上述した２つの場合に該当しない場合には、処理対象の４×４ブロックは通常ブロックであると判定する。
【００５６】
デブロッキングフィルタ本体１８は、処理対象の４×４ブロックを通常ブロックと判定した場合には、ブロック境界強度Ｂｓの値は補正しないで維持させる（ステップＳ１０２）。
【００５７】
デブロッキングフィルタ本体１８は、処理対象の４×４ブロックを高ノイズブロックと判定した場合には、デブロッキングフィルタリングを強めるために、ブロック境界強度Ｂｓの値を１インクリメントした後（ステップＳ１０３）、補正後のブロック境界強度Ｂｓが上限値である４を超えたか否かを判別し（ステップＳ１０４）、越えた場合には、補正後のブロック境界強度Ｂｓを上限値である４にする（ステップＳ１０５）。
【００５８】
デブロッキングフィルタ本体１８は、処理対象の４×４ブロックを低ノイズブロックと判定した場合には、デブロッキングフィルタリングを弱めるために、ブロック境界強度Ｂｓの値を１デクリメントした後（ステップＳ１０６）、補正後のブロック境界強度Ｂｓが下限値である０を下回ったか否かを判別し（ステップＳ１０７）、下回った場合には、補正後のブロック境界強度Ｂｓを下限値である０にする（ステップＳ１０８）。
【００５９】
以上のようにして見直された（補正された）ブロック境界強度Ｂｓを適用して、デブロッキングフィルタ処理が実行される。
【００６０】
次に、第１の実施形態に係る画像復号装置２０の動作を説明する。
【００６１】
第１の実施形態に係る画像復号装置２０に、第１の実施形態に係る画像符号化装置１０が送信したシーケンスが到来すると、そのシーケンスがストリーム入力部２１に入力される。ストリーム入力部２１において、入力されたストリームから予測情報及び符号化情報（量子化されている係数情報）が取り出され、予測情報は予測画像生成部２２に与えられ、係数情報は残差算出部２３に与えられる。これにより、予測画像生成部２２において、予測情報と、参照画像蓄積部２５に参照画像が存在する場合には参照画像とが用いられて予測画像が生成され、残差算出部２３及びデブロッキングフィルタ部２４に与えられ、残差算出部２３において、符号化情報から残差情報を復元した後に予測画像に加算されてデコード画像が生成され、デブロッキングフィルタ部２４に与えられる。
【００６２】
デブロッキングフィルタ部２４内の顕著性マップ算出部２７において、画像符号化装置１０における顕著性マップ算出部１７と同様にして、デコード画像が適用されて顕著性マップが算出されてデブロッキングフィルタ本体２８に与えられる。そして、デブロッキングフィルタ本体２８において、予測情報とデコード画像から、ブロック境界強度Ｂｓが一旦決定された後、顕著性マップに応じて、ブロック境界強度Ｂｓが見直され、見直されたブロック境界強度Ｂｓが参照されてデコード画像にデブロッキングフィルタ処理が施される。ここでの見直し方法は、画像符号化装置１０におけるデブロッキングフィルタ本体１８による見直し方法と同様である。
【００６３】
デブロッキングフィルタ処理後のデコード画像は、参照画像蓄積部２５及び画像出力部２６に与えられる。参照画像蓄積部２５において、デブロッキングフィルタ処理後のデコード画像は、次のストリームに対する予測画像を生成する際に参照される参照画像として蓄積される。また、画像出力部２６から、デブロッキングフィルタ処理後のデコード画像が出力処理される。
【００６４】
（Ａ−４）第１の実施形態の効果
第１の実施形態によれば、顕著性マップと量子化パラメータを用いて、ノイズを有している可能性が高いブロック境界であることやノイズを有している可能性が低いブロック境界であることを高い確度で判定でき、その判定結果から、デブロッキングフィルタが適用するブロック境界強度を補正するようにしたので、デブロッキングフィルタ処理が適切に実行されて、参照画像の品質向上によって、ローカルデコード画像やデコード画像の品質を高めることができる。
【００６５】
画像符号化装置においては、参照画像から、不自然な境界画素値変化によって追加される高周波成分が取り除かれるため、符号化効率を向上させることができる。
【００６６】
また、画像符号化装置及び画像復号装置において、デブロッキングフィルタ処理前のローカルデコード画像やでコード画像に対して同様の顕著性マップの算出方法を用いるため、画像符号化装置及び画像復号装置で同様の顕著性マップが算出可能であり、ローカルデコード画像及びデコード画像として同様の内容を得ることができる。
【００６７】
（Ｂ）他の実施形態
本発明は、上述した第１の実施形態に限定されるものではなく、以下に例示するような種々の変形実施形態を挙げることができる。
【００６８】
第１の実施形態では、ブロック境界強度Ｂｓの見直し時に、ブロック境界強度Ｂｓを１インクリメント若しくは１デクリメントする場合を示したが、変更幅は１に限定されず２以上であっても良い。この場合において、合成顕著性マップ値用の閾値や量子化パラメータ用の閾値の少なくとも一方を複数設け、変更幅を１にする場合や２にする場合など、場合分けを多様にするようにしても良い。さらに、例えば、ブロック境界強度Ｂｓを増大させる場合は＋２で、ブロック境界強度Ｂｓを減少させる場合は−１にするように、変更方向で変更幅を変えるようにしても良い。
【００６９】
また、ブロック境界強度Ｂｓの変更を、変更幅だけ増減する相対的な方法ではなく、変更後のブロック境界強度Ｂｓとして予め定められている値に変更するようにしても良い。例えば、合成顕著性マップ値が属する範囲と量子化パラメータが属する範囲の組み合わせに対応させてブロック境界強度Ｂｓを記述したテーブルを用意しておき、一旦定めたブロック境界強度Ｂｓを変更することを要する場合に、テーブルを参照して、新たなブロック境界強度Ｂｓを求めるようにしても良い。
【００７０】
第１の実施形態では、変更したブロック境界強度Ｂｓが０〜４の範囲外の場合にその範囲内に戻す場合を示したが、戻すことなく、デブロッキングフィルタ処理を行うようにしても良い。例えば、ブロック境界強度Ｂｓが５の場合用のＦＩＲフィルタ等を定めておいて、ブロック境界強度Ｂｓが５の場合には、それ用のＦＩＲフィルタを適用してフィルタリングを行うようにしても良く、また、ブロック境界強度Ｂｓが−１の場合には０に戻すことなく、フィルタリングなしと扱うようにしても良い。
【００７１】
第１の実施形態では、合成顕著性マップ値用の閾値ｓはブロック境界強度Ｂｓを増大させる場合にも減少させる場合にも機能する閾値であったが、増大させるか否かを判別する閾値ｓｕと、減少させるか否かを判別する閾値ｓｄが異なる値であっても良い。量子化パラメータ用の閾値についても、同様な変形例を挙げることができる。
【００７２】
第１の実施形態では、合計顕著性マップと比較する閾値ｓが予め定められた値であってが、動的に設定するようにしても良い。例えば、処理対象の４×４ブロックが属するマクロブロックがイントラマクロブロックの場合とインターマクロブロックの場合とで閾値ｓとして異なる値を適用するようにしても良い。
【００７３】
同様に、量子化パラメータＱＰと比較する閾値ｔも、処理対象の４×４ブロックが属するマクロブロックがイントラマクロブロックの場合とインターマクロブロックの場合とで異なる値を適用するようにしても良い。
【００７４】
第１の実施形態では、ブロック境界強度Ｂｓの見直しで増大も減少も避ける場合を示したが、見直しでは増大だけをさせるようにしても良い。
【００７５】
第１の実施形態では、ブロック境界強度Ｂｓの見直しを行うブロックの大きさが縦横４×４画素である場合を示したが、他の大きさを、ブロック境界強度Ｂｓの見直しを行うブロックの大きさとするようにしても良い。例えば、８×８ブロックや８×１６ブロックを適用しても良く、また、形状も矩形に限定されるものではない。
【００７６】
第１の実施形態では、画像符号化装置と画像復号装置とで予め固定された顕著性マップ値の算出方法を用いる場合を示したが、複数の顕著性マップ値の算出方法を適用可能とし、選択できるようにしても良い。例えば、画像符号化装置が利用者等の操作に応じて算出方法を選択し、選択した算出方法の情報をストリームに含めて復号装置へ通知するようにしても良い。画像符号化装置を搭載した通信装置と画像復号装置を搭載した通信装置が、パラメータ等を整合させるために行うネゴシエーションの際に適用する算出方法を調整するようにしても良い。
【００７７】
第１の実施形態では、ブロック境界強度Ｂｓの見直しを、合成顕著性マップ値及び量子化パラメータの両者を適用して行うものを示したが、少なくとも一方を適用して見直すものであっても良い。
【００７８】
第１の実施形態では、画像符号化装置及び画像復号装置の双方が、ブロック境界強度Ｂｓの見直し機能を備えた場合を示したが、画像符号化装置及び画像復号装置の少なくとも一方だけが備えていても良い。
【００７９】
第１の実施形態は、Ｈ．２６４／ＡＶＣに準拠した画像符号化装置及び画像復号装置を示したが、ＭＰＥＧ−Ｈ  ＨＥＶＣ／Ｈ．２６５などのような同様のフィルタを持つ画像符号化方式に準拠した装置に対しても、本発明を適用することができる。
【符号の説明】
【００８０】
１０…画像符号化装置、
１１…画像入力部、１２…予測残差算出部、１３…残差符号化部、１４…デブロッキングフィルタ部、１５…参照画像蓄積部、１６…送信部、１７…顕著性マップ算出部、１８…デブロッキングフィルタ本体、
２０…画像復号装置、
２１…ストリーム入力部、２２…予測画像生成部、２３…残差算出部、２４…デブロッキングフィルタ部、２５…参照画像蓄積部、２６…画像出力部、２７…顕著性マップ算出部、２８…デブロッキングフィルタ本体。
【図１】
2015130616.tif 000003
【図２】
2015130616.tif 000004
【図３】
2015130616.tif 000005