(57)【要約】【課題】  符号化効率を向上することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供する。【解決手段】  画像復号装置は、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを含む。前記予測部は、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記補間フィルタの種類を選択する。【選択図】  図６
2020053724.tif 000002
【特許請求の範囲】
【請求項１】
参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部を備え、
前記予測部は、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを含み、
前記予測部は、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記補間フィルタの種類を選択する、画像復号装置。
【請求項２】
前記予測部は、前記量子化パラメータが大きいほど、平滑度合いが小さい補間フィルタが前記補間フィルタとして選択される機会を増大する、請求項１に記載の画像復号装置。
【請求項３】
前記予測部は、前記ブロックサイズが大きいほど、平滑度合いが大きい補間フィルタが前記補間フィルタとして選択される機会を増大する、請求項１及び請求項２のいずれか１項に記載の画像復号装置。
【請求項４】
前記予測部は、前記ブロックサイズ及び前記量子化パラメータのいずれか１つが所定条件を満たす場合に、前記補間フィルタの種類を変更せずに固定する、請求項１乃至請求項３のいずれか１項に記載の画像復号装置。
【請求項５】
前記所定条件は、前記量子化パラメータが第１閾値よりも小さいという条件及び前記量子化パラメータが第２閾値よりも大きいという条件の少なくともいずれか１つである、請求項４に記載の画像復号装置。
【請求項６】
前記予測部は、前記予測信号の予測モードに応じて、前記補間フィルタの種類を選択する、請求項１乃至請求項５のいずれか１項に記載の画像復号装置。
【請求項７】
前記予測部は、
前記予測モードの予測方向が水平方向に対して第１傾き以下である場合に、又は、前記予測モードの予測方向が垂直方向に対して第２傾き以下である場合に、第１補間フィルタを前記補間フィルタとして選択し、
前記予測モードの予測方向が水平方向に対して前記第１傾きよりも大きい場合に、又は、前記予測モードの予測方向が垂直方向に対して前記第２傾きよりも大きい場合に、前記第１補間フィルタよりも平滑度合いが大きい第２補間フィルタを前記補間フィルタとして選択する、請求項６に記載の画像復号装置。
【請求項８】
前記予測部は、前記参照小数画素の位置に応じて、前記補間フィルタのタップ長を選択する、請求項１乃至請求項７のいずれか１項に記載の画像復号装置。
【請求項９】
前記予測部は、前記参照小数画素が前記予測ブロックから離れているほど、前記補間フィルタのタップ長として短いタップ長を選択する、請求項８に記載の画像復号装置。
【請求項１０】
前記予測部は、前記量子化パラメータが大きいほど、前記補間フィルタが適用される前の参照画素に一律に適用されるスムージングフィルタを適用する機会を減少する、請求項１乃至請求項９のいずれか１項に記載の画像復号装置。
【請求項１１】
前記予測部は、前記ブロックサイズが大きいほど、前記補間フィルタが適用される前の参照画素に一律に適用されるスムージングフィルタを適用する機会を減少する、請求項１乃至請求項１０のいずれか１項に記載の画像復号装置。
【請求項１２】
参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部を備え、
前記予測部は、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを含み、
前記予測部は、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記補間フィルタの種類を選択する、画像符号化装置。
【請求項１３】
画像符号化装置及び画像復号装置を備える画像処理システムであって、
前記画像符号化装置及び前記画像復号装置は、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部を備え、
前記予測部は、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを含み、
前記予測部は、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記補間フィルタの種類を選択する、画像処理システム。
【請求項１４】
プログラムであって、コンピュータに、
参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測ステップを実行させ、
前記予測ステップは、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを選択するステップを含む、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置、画像符号化装置、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
従来、イントラ予測（フレーム内予測）又はインター予測（フレーム間予測）によって生成される予測信号と入力画像信号との差分である予測残差信号を生成し、予測残差信号の変換処理及び量子化処理を行う技術（例えば、ＨＥＶＣ；Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）が提案されている（例えば、非特許文献１）。
【０００３】
このような画像処理技術において、予測信号の生成に用いる参照信号を生成する際に、整数参照画素から生成された補間画素を参照信号として用いる技術も提案されている（例えば、特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＩＴＵ−Ｔ  Ｈ．２６５  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ
【特許文献】
【０００５】
【特許文献１】特許第５７１１０９８号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した画像処理技術では、予測ブロックのブロックサイズ及び予測ブロックの量子化パラメータに応じて、補間画素に用いる補間フィルタのタップ長が選択される。
【０００７】
しかしながら、上述した画像処理技術では、補間フィルタの種類については考慮されておらず、符号化効率の向上については改善の余地がある。
【０００８】
そこで、本発明は、上述した課題を解決するためになされたものであり、符号化効率を向上することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の特徴に係る画像復号装置は、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを含む。前記予測部は、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記補間フィルタの種類を選択する。
【００１０】
第２の特徴に係る画像符号化装置は、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを含む。前記予測部は、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記補間フィルタの種類を選択する。
【００１１】
第３の特徴に係る画像処理システムは、画像符号化装置及び画像復号装置を備える。前記画像符号化装置及び前記画像復号装置は、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを含む。前記予測部は、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記補間フィルタの種類を選択する。
【００１２】
第４の特徴に係るプログラムは、コンピュータに、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測ステップを実行させる。前記予測ステップは、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを選択するステップを含む。
【発明の効果】
【００１３】
一態様によれば、符号化効率を向上することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施形態に係る画像処理システム１０を示す図である。
【図２】図２は、実施形態に係る画像符号化装置１００を示す図である。
【図３】図３は、実施形態に係るイントラ予測部１１２を示す図である。
【図４】図４は、実施形態に係る参照画素を説明するための図である。
【図５】図５は、実施形態に係る補間フィルタの種類の選択方法を説明するための図である。
【図６】図６は、実施形態に係る画像復号装置２００を示す図である。
【図７】図７は、実施形態に係るイントラ予測部２４２を示す図である。
【図８】図８は、変更例１に係る補間フィルタの種類及びタップ長の選択方法を説明するための図である。
【図９】図９は、変更例２に係る補間フィルタの種類及びタップ長の選択方法を説明するための図である。
【図１０】図１０は、変更例３に係る補間フィルタの種類の選択方法を説明するための図である。
【図１１】図１１は、変更例４に係る補間フィルタのタップ長の選択方法を説明するための図である。
【図１２】図１２は、変更例４に係る補間フィルタのタップ長の選択方法を説明するための図である。
【図１３】図１３は、変更例６に係るスムージングフィルタの適用可否を説明するための図である。
【発明を実施するための形態】
【００１５】
以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
【００１６】
但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。
【００１７】
［開示の概要］
開示の概要に係る画像復号装置は、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを含む。前記予測部は、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記補間フィルタの種類を選択する。
【００１８】
開示の概要に係る画像復号装置では、予測ブロックのブロックサイズ及び予測ブロックの量子化パラメータに基づいて、補間フィルタの種類が選択される。このような構成によれば、符号化効率を向上することができる。
【００１９】
開示の概要に係る画像復号化装置は、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部を備える。前記予測部は、前記参照ブロックに含まれる整数参照画素の参照信号から前記参照ブロックに含まれる小数参照画素の補間信号を生成する補間フィルタを含む。前記予測部は、前記予測ブロックのブロックサイズ及び前記予測ブロックの量子化パラメータに基づいて、前記補間フィルタの種類を選択する。
【００２０】
開示の概要に係る画像符号化置では、予測ブロックのブロックサイズ及び予測ブロックの量子化パラメータに基づいて、補間フィルタの種類が選択される。このような構成によれば、符号化効率を向上することができる。
【００２１】
開示の概要としては、上述した画像復号装置の動作に係る画像復号方法が提供されてもよく、上述した画像符号化装置の動作に係る画像符号化方法が提供されてもよい。開示の概要としては、上述した画像復号装置及び画像符号化装置を有する画像処理システムが提供されてもよい。開示の概要としては、上述した画像復号装置の動作に係るプログラムが提供されてもよく、上述した画像符号化装置の動作に係るプログラムが提供されてもよい。
【００２２】
［実施形態］
（画像処理システム）
以下において、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る実施形態に係る画像処理システム１０を示す図である。
【００２３】
図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成する。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成する。符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。
【００２４】
（画像符号化装置）
以下において、実施形態に係る画像符号化装置について説明する。図２は、実施形態に係る画像符号化装置１００を示す図である。
【００２５】
図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０と、を有する。
【００２６】
インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定する。インター予測部１１１は、参照ブロック及び動きベクトルに基づいて予測ブロックに含まれる予測信号を予測ブロック毎に生成する。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力する。参照フレームは、対象フレームとは異なるフレームである。
【００２７】
イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成する。イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力する。参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
【００２８】
減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力する。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する。
【００２９】
加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算し、フィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力する。フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。
【００３０】
変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得する。さらに、変換・量子化部１３１は、係数レベル値の量子化を行ってもよい。変換処理は、予測残差信号を周波数成分信号に変換する処理である。変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。
【００３１】
逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。
【００３２】
符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力する。例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
【００３３】
符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化する。制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。
【００３４】
インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力する。例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【００３５】
フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積する。フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。
【００３６】
（イントラ予測部）
以下において、実施形態に係るイントラ予測部について説明する。図３は、実施形態に係るイントラ予測部１１２を示す図である。イントラ予測部１１２は、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部の一例である。
【００３７】
図３に示すように、イントラ予測部１１２は、予測モード設定部１１２Ａと、判定部１１２Ｂと、フィルタ選択部１１２Ｃと、フィルタ処理部１１２Ｄと、予測信号生成部１１２Ｅと、を有する。
【００３８】
予測モード設定部１１２Ａは、予測信号を生成するイントラ予測モードを設定する。イントラ予測モードとしては、ＤＣ（Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）予測モード、プレーナ予測モード、方向性予測モードが挙げられる。方向性予測モードは、予測画素に対して水平方向に位置する参照画素の参照信号から予測信号を生成する水平方向予測モードと、予測画素に対して垂直方向に位置する参照画素の参照信号から予測信号を生成する垂直方向予測モードと、予測画素に対して斜め方向に位置する参照画素の参照信号から予測信号を生成する斜め方向予測モードと、を含む。
【００３９】
図４に示すように、水平方向予測モード及び垂直方向予測モードで用いる参照画素は、整数参照画素である。一方で、斜め方向予測モードで用いる参照画素は、整数参照画素であることもあり、小数参照画素であることもある。整数参照画素及び小数参照画素は、いずれも参照ブロックに含まれる参照画素である。
【００４０】
判定部１１２Ｂは、イントラ予測モードに基づいて、小数参照画素を用いる必要があるか否かを判定する。判定部１１２Ｂは、イントラ予測モードがＤＣ予測モード、プレーナ予測モード、水平方向予測モード及び垂直方向予測モードである場合には、小数参照画素を用いる必要がないと判定し、イントラ予測モードを予測信号生成部２４２Ｅに通知する。
【００４１】
判定部１１２Ｂは、イントラ予測モードが斜め方向予測モードであり、参照画素が整数参照画素である場合には、小数参照画素を用いる必要がないと判定し、イントラ予測モードを予測信号生成部２４２Ｅに通知する。一方で、判定部１１２Ｂは、イントラ予測モードが斜め方向予測モードであり、参照画素が小数参照画素である場合には、小数参照画素を用いる必要があると判定し、イントラ予測モードをフィルタ選択部１１２Ｃに通知する。
【００４２】
フィルタ選択部１１２Ｃは、予測ブロックのブロックサイズ及び予測ブロックの量子化パラメータに基づいて、補間フィルタの種類を選択する。例えば、補間フィルタとしては、リニアフィルタ、キュービックフィルタ、ガウシアンフィルタを用いることができる。キュービックフィルタは、リニアフィルタよりも平滑度合いが大きいフィルタである。ガウシアンフィルタは、キュービックフィルタよりも平滑度合いが大きいフィルタである。
【００４３】
ブロックサイズは、予測ブロックの水平方向の画素数であってもよく、予測ブロックの垂直方向の画素数であってもよい。ブロックサイズは、水平方向及び垂直方向の小さい方の画素数であってもよい。量子化パラメータは、係数レベル値の量子化に用いるパラメータである。量子化パラメータが小さいほど、画像の圧縮率が低く、画像の品質が高い。
【００４４】
以下においては、平滑度合いが小さい補間フィルタとしてキュービックフィルタを例示し、平滑度合いが大きい補間フィルタとしてガウシアンフィルタを例示する。
【００４５】
図５に示すように、フィルタ選択部１１２Ｃは、量子化パラメータが大きいほど、平滑度合いが小さいキュービックフィルタが補間フィルタとして選択される機会を増大する。機会の増大とは、キュービックフィルタが選択されるブロックサイズの数が増大することを意味する。フィルタ選択部１１２Ｃは、ブロックサイズが大きいほど、平滑度合いが大きいガウシアンフィルタが補間フィルタとして選択される機会を増大する。機会の増大とは、ガウシアンフィルタが選択される量子化パラメータの数が増大することを意味する。
【００４６】
なお、図５において、“４−Ｇ”は、タップ長が４であるガウシアンフィルタを意味する。“４−Ｃ”は、タップ長が４であるキュービックフィルタを意味する。
【００４７】
フィルタ選択部１１２Ｃは、ブロックサイズ及び量子化パラメータのいずれか１つが所定条件を満たす場合に、補間フィルタの種類を変更せずに固定する。例えば、所定条件は、量子化パラメータが第１閾値（図５に示すＸ）よりも小さいという条件及び量子化パラメータが第２閾値（図５に示すＹ）よりも大きいという条件の少なくともいずれか１つである。具体的には、フィルタ選択部１１２Ｃは、量子化パラメータがＸよりも小さい場合に、ブロックサイズに依存せずにガウシアンフィルタを選択してもよい。フィルタ選択部１１２Ｃは、量子化パラメータがＹよりも大きい場合に、ブロックサイズに依存せずにキュービックフィルタを選択してもよい。
【００４８】
フィルタ処理部１１２Ｄは、整数参照画素の参照信号から小数参照画素の補間信号を生成する補間フィルタを含む。フィルタ処理部１１２Ｄは、フィルタ選択部１１２Ｃで選択された補間フィルタを用いて、小数参照画素の補間信号を生成する。フィルタ処理部１１２Ｄは、フィルタ選択部１１２Ｃで選択されたタップ長で補間フィルタを適用してもよい。
【００４９】
予測信号生成部１１２Ｅは、イントラ予測モードに基づいて、参照画素の参照信号から対象画素の予測信号を生成する。予測信号生成部１１２Ｅは、参照画素が整数参照画素である場合には、加算器１２２から出力される整数参照画素の参照信号（フィルタ処理前復号信号）に基づいて予測信号を生成する。予測信号生成部１１２Ｅは、参照画素が小数参照画素である場合には、フィルタ処理部１１３で生成される小数参照画素の参照信号に基づいて予測信号を生成する。
【００５０】
（画像復号装置）
以下において、実施形態に係る画像復号装置について説明する。図６は、実施形態に係る画像復号装置２００を示す図である。
【００５１】
図６に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０と、を有する。
【００５２】
復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号する。例えば、復号は、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。
【００５３】
復号部２１０は、符号化データの復号処理によって制御データを取得してもよい。上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。制御データは、第２成分の予測サンプルの生成に用いる入力ソースを示す情報要素を含んでもよい。
【００５４】
逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。
【００５５】
加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算し、フィルタ処理前復号信号をイントラ予測部２６２及びインループフィルタ処理部２５０に出力する。フィルタ処理前復号信号は、イントラ予測部２６２で用いる参照ブロックを構成する。
【００５６】
インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号に基づいて予測信号を予測ブロック毎に生成する。インター予測部２４１は、予測信号を加算器２３０に出力する。
【００５７】
イントラ予測部２６２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部２６２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成する。イントラ予測部２６２は、予測信号を加算器２３０に出力する。
【００５８】
インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力する。例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【００５９】
フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積する。フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。
【００６０】
（イントラ予測部）
以下において、実施形態に係るイントラ予測部について説明する。図７は、実施形態に係るイントラ予測部２４２を示す図である。イントラ予測部２４２は、参照ブロックに含まれる参照信号に基づいて、予測ブロックに含まれる予測信号を生成する予測部の一例である。
【００６１】
図７に示すように、イントラ予測部２４２は、予測モード設定部２４２Ａと、判定部２４２Ｂと、フィルタ選択部２４２Ｃと、フィルタ処理部２４２Ｄと、予測信号生成部２４２Ｅと、を有する。
【００６２】
予測モード設定部２４２Ａは、予測モード設定部１１２Ａと同様に、予測信号を生成するイントラ予測モードを設定する。
【００６３】
判定部２４２Ｂは、判定部１１２Ｂと同様に、イントラ予測モードに基づいて、小数参照画素を用いる必要があるか否かを判定する。
【００６４】
フィルタ選択部２４２Ｃは、フィルタ選択部１１２Ｃと同様に、予測ブロックのブロックサイズ及び予測ブロックの量子化パラメータに基づいて、補間フィルタの種類を選択する。
【００６５】
フィルタ処理部２４２Ｄは、フィルタ処理部１１２Ｄと同様に、整数参照画素の参照信号から小数参照画素の補間信号を生成する補間フィルタを含む。フィルタ処理部２４２Ｄは、フィルタ選択部２４２Ｃで選択された補間フィルタを用いて、小数参照画素の補間信号を生成する。
【００６６】
予測信号生成部２４２Ｅは、予測信号生成部１１２Ｅと同様に、イントラ予測モードに基づいて、参照画素の参照信号から対象画素の予測信号を生成する。
【００６７】
（作用及び効果）
開示の概要に係る画像符号化装置１００及び画像復号装置２００では、予測ブロックのブロックサイズ及び予測ブロックの量子化パラメータに基づいて、補間フィルタの種類が選択される。このような構成によれば、符号化効率を向上することができる。
【００６８】
詳細には、発明者等は、鋭意検討の結果、量子化パラメータが大きいほど、平滑度合いが小さいキュービックフィルタが補間フィルタとして選択される機会を増大することによって符号化効率が向上することを見出した。一方で、発明者等は、鋭意検討の結果、ブロックサイズが大きいほど、平滑度合いが大きいガウシアンフィルタが補間フィルタとして選択される機会を増大することによって符号化効率が向上することを見出した。
【００６９】
［変更例１］
以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００７０】
実施形態では、ブロックサイズ及び量子化パラメータの組合せに基づいて、補間フィルタの種類を選択するケースについて例示した。しかしながら、実施形態はこれに限定されるものではない。
【００７１】
例えば、図８に示すように、予測部（フィルタ選択部１１２Ｃ及びフィルタ選択部２４２Ｃ）は、量子化パラメータが大きいほど、平滑度合いが大きい補間フィルタを選択するように構成されてもよい。予測部（フィルタ選択部１１２Ｃ及びフィルタ選択部２４２Ｃ）は、量子化パラメータが大きいほど、補間フィルタのタップ長を増大してもよい。
【００７２】
［変更例２］
以下において、実施形態の変更例２について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００７３】
実施形態では、ブロックサイズ及び量子化パラメータの組合せに基づいて、補間フィルタの種類を選択するケースについて例示した。しかしながら、実施形態はこれに限定されるものではない。
【００７４】
例えば、図９に示すように、予測部（フィルタ選択部１１２Ｃ及びフィルタ選択部２４２Ｃ）は、ブロックサイズが大きいほど、平滑度合いが大きい補間フィルタを選択するように構成されてもよい。予測部（フィルタ選択部１１２Ｃ及びフィルタ選択部２４２Ｃ）は、ブロックサイズが大きいほど、補間フィルタのタップ長を増大してもよい。
【００７５】
［変更例３］
以下において、実施形態の変更例３について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００７６】
変更例３では、予測部（フィルタ選択部１１２Ｃ及びフィルタ選択部２４２Ｃ）は、イントラ予測モードに応じて、補間フィルタの種類を選択してもよい。
【００７７】
具体的には、図１０に示すように、予測部は、イントラ予測モードの予測方向が水平方向に対して第１傾き（図１０では、ｍ）以下である場合に、第１補間フィルタを選択する。予測部は、イントラ予測モードの予測方向が垂直方向に対して第２傾き（図１０では、ｎ）以下である場合に、第１補間フィルタを選択する。ｍは、ｎと同じ値であってもよく、ｎと異なる値であってもよい。第１補間フィルタは、平滑度合いが小さいキュービックフィルタであってもよい。
【００７８】
このような構成によれば、イントラ予測モードの予測方向が水平方向又は垂直方向に近い場合には、複雑な縞模様などの画像を予測ブロックが含む可能性が高いため、平滑度合いが小さいキュービックフィルタを選択することによって符号化効率を向上することができる。
【００７９】
一方で、予測部は、予測モードの予測方向が水平方向に対して第１傾き（図１０では、ｍ）よりも大きい場合に、第２補間フィルタを補間フィルタとして選択する。予測部は、予測モードの予測方向が垂直方向に対して第２傾き（図１０では、ｎ）よりも大きい場合に、第２補間フィルタを補間フィルタとして選択する。第２補間フィルタは、平滑度合いが大きいガウシアンフィルタであってもよい。
【００８０】
このような構成によれば、イントラ予測モードの予測方向が水平方向又は垂直方向から離れている場合には、平坦な画像を予測ブロックが含む可能性が高いため、平滑度合いが大きいガウシアンフィルタを選択することによって符号化効率を向上することができる。
【００８１】
［変更例４］
以下において、実施形態の変更例４について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００８２】
変更例４では、予測部（フィルタ選択部１１２Ｃ及びフィルタ選択部２４２Ｃ）は、参照小数画素の位置に応じて、補間フィルタのタップ長を選択してもよい。予測部は、参照小数画素が予測ブロックから離れているほど、補間フィルタのタップ長として短いタップ長を選択してもよい。
【００８３】
例えば、図１１に示すように、参照小数画素が予測ブロックから数えて２列目に位置するケースでは、参照小数画素が予測ブロックから数えて１列目に位置するケースと比べて、補間フィルタのタップ長として短いタップ長が選択されてもよい。
【００８４】
このような構成によれば、参照小数画素が予測ブロックから離れている場合に、参照小数画素を用いた予測誤差が大きくなるため、長いタップ長を選択する効果が小さいため、処理負荷及び処理時間の軽減を優先する。
【００８５】
また、図１２に示すように、２以上の参照小数画素が用いられる場合においても、参照小数画素が予測ブロックから離れているほど、補間フィルタのタップ長として短いタップ長が選択されてもよい。
【００８６】
［変更例５］
以下において、実施形態の変更例５について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００８７】
変更例４では、予測部（フィルタ選択部１１２Ｃ及びフィルタ選択部２４２Ｃ）は、参照画素がエッジ成分を含むか否かに応じて、補間フィルタの種類を選択してもよい。具体的には、予測部は、閾値を超えるエッジ成分が存在する場合に、平滑度合いが小さい補間フィルタを選択し、閾値を超えるエッジ成分が存在しない場合に、平滑度合いが大きい補間フィルタを選択してもよい。
【００８８】
［変更例６］
以下において、実施形態の変更例６について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００８９】
変更例６では、予測部（イントラ予測部１１２及びイントラ予測部２４２）は、補間フィルタが適用される前の参照画素に一律に適用されるスムージングフィルタを有する。例えば、スムージングフィルタは、３タップ長のフィルタ（１／４，１／２，１／４）である。
【００９０】
図１３に示すように、予測部は、量子化パラメータが大きいほど、補間フィルタが適用される前の参照画素に一律に適用されるスムージングフィルタを適用する機会を減少する。機会の減少とは、スムージングフィルタが選択されるブロックサイズの数が減少することを意味する。予測部は、予測部は、ブロックサイズが大きいほど、補間フィルタが適用される前の参照画素に一律に適用されるスムージングフィルタを適用する機会を減少する。機会の減少とは、スムージングフィルタが選択される量子化パラメータの数が減少することを意味する。
【００９１】
ここで、スムージングフィルタは、ブロックサイズが閾値（例えば、８）以上である場合に適用されてもよい。スムージングフィルタは、ブロックサイズが８であり、かつ、予測モードが所定予測モード（プレーナ予測モード、４５°，１３５°及び２２５°の斜め方向予測モード）である場合に適用されてもよい。スムージングフィルタは、ブロックサイズが１６であり、かつ、予測モードが所定予測モード（ＤＣ予測モード、水平予測モード及び水平予測モードから±１°の斜め方向予測モード、垂直予測モード及び垂直予測モードから±１°の斜め方向予測モード以外の予測モード）である場合に適用されてもよい。スムージングフィルタは、ブロックサイズが３２であり、かつ、予測モードが所定予測モード（ＤＣ予測モード、水平予測モード及び垂直予測モード以外の予測モード）である場合に適用されてもよい。
【００９２】
ブロックサイズは、予測ブロックの水平方向の画素数であってもよく、予測ブロックの垂直方向の画素数であってもよい。ブロックサイズは、水平方向及び垂直方向の小さい方の画素数であってもよい。
【００９３】
ここで、図１３に示すテーブルにおいて、スムージングフィルタの適用可否を判定する条件は、図５に示すテーブルにおいて、平滑度合いが小さい補間フィルタと平滑度合いが大きい補間フィルタとを使い分ける条件と連動している。例えば、図１３に示す閾値Ｘ，Ｙは、図５に示す閾値Ｘ，Ｙと同じ値であってもよい。
【００９４】
予測部は、ブロックサイズ及び量子化パラメータのいずれか１つが所定条件を満たす場合に、スムージングフィルタの適用可否を変更せずに固定してもよい。例えば、所定条件は、量子化パラメータが第１閾値（図５に示すＸ）よりも小さいという条件及び量子化パラメータが第２閾値（図５に示すＹ）よりも大きいという条件の少なくともいずれか１つである。具体的には、予測部は、量子化パラメータがＸよりも小さい場合に、ブロックサイズに依存せずにスムージングフィルタを適用してもよい。予測部は、量子化パラメータがＹよりも大きい場合に、ブロックサイズに依存せずにスムージングフィルタを適用しなくてもよい。
【００９５】
［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【００９６】
実施形態では、補間フィルタとしては、リニアフィルタ、キュービックフィルタ、ガウシアンフィルタを例示した。しかしながら、実施形態は、これに限定されるものではない。補間フィルタとしては、任意の補間フィルタを用いることが可能である。例えば、平滑度合いが小さい補間フィルタとしてキュービックフィルタを例示したが、平滑度合いが小さい補間フィルタとしては、ラプラシアンフィルタのような鮮鋭化フィルタが用いられてもよい。
【００９７】
実施形態では、補間フィルタの種類を変更せずに固定するか否かを判断するための所定条件は、量子化パラメータの条件である。しかしながら、実施形態は、これに限定されるものではない。所定条件は、ブロックサイズの条件であってもよい。例えば、所定条件は、ブロックサイズが第１閾値よりも小さいという条件及びブロックサイズが第２閾値よりも大きいという条件の少なくともいずれか１つであってもよい。
【００９８】
実施形態では特に触れていないが、量子化パラメータは、符号化ブロック単位で定められたパラメータであってもよい。対象ブロックの量子化パラメータは、対象ブロックに隣接する符号化済み（或いは復号済み）の隣接ブロックの量子化パラメータに応じて定められてもよい。量子化パラメータは、符号化済み（或いは復号済み）の隣接ブロックが存在しない場合に、スライス単位で定められたパラメータであってもよい。
【００９９】
実施形態では特に触れていないが、図５に示すテープルは、対象フレームの種類に応じて使い分けられてもよい。対象フレームの種類は、Ｉフレーム、Ｐフレーム、Ｂフレームなどである。
【０１００】
実施形態では特に触れていないが、補間フィルタは、輝度信号に適用されてもよく、色差信号に適用されてもよい。
【０１０１】
実施形態では特に触れていないが、画像符号化装置１００及び画像復号装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。
【０１０２】
或いは、画像符号化装置１００及び画像復号装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【符号の説明】
【０１０３】
１０…画像処理システム、１００…画像符号化装置、１１１…インター予測部、１１２…イントラ予測部、１１２Ａ…予測モード設定部、１１２Ｂ…判定部、１１２Ｃ…フィルタ選択部、１１２Ｄ…フィルタ処理部、１１２Ｅ…予測信号生成部、１２１…減算器、１２２…加算器、１３１…変換・量子化部、１３２…逆変換・逆量子化部、１４０…符号化部、１５０…インループフィルタ処理部、１６０…フレームバッファ、２００…画像復号装置、２１０…復号部、２２０…逆変換・逆量子化部、２３０…加算器、２４１…インター予測部、２４２…イントラ予測部、２４２Ａ…予測モード設定部、２４２Ｂ…判定部、２４２Ｃ…フィルタ選択部、２４２Ｄ…フィルタ処理部、２４２Ｅ…予測信号生成部、２５０…インループフィルタ処理部、２６０…フレームバッファ
【図１】
2020053724.tif 000003
【図２】
2020053724.tif 000004
【図３】
2020053724.tif 000005
【図４】
2020053724.tif 000006
【図５】
2020053724.tif 000007
【図６】
2020053724.tif 000008
【図７】
2020053724.tif 000009
【図８】
2020053724.tif 000010
【図９】
2020053724.tif 000011
【図１０】
2020053724.tif 000012
【図１１】
2020053724.tif 000013
【図１２】
2020053724.tif 000014
【図１３】
2020053724.tif 000015