(57)【特許請求の範囲】
【請求項１】
同一の画面内で予測信号を生成するイントラ予測を行うイントラ予測処理装置であって、
イントラ予測モードを識別するイントラ予測モード情報を取得するモード情報取得手段と、
前記イントラ予測に用いるブロックサイズを識別するブロックサイズ情報を取得するサイズ情報取得手段と、
復号画素信号を参照画素信号として設定するための復号画素位置情報を取得する位置情報取得手段と、
前記イントラ予測モード情報と前記ブロックサイズ情報とに基づいて参照画素信号に施すイントラスムージングフィルタの適用可否を判定してフィルタ使用情報を導出する導出手段と、
前記復号画素位置情報によって特定される処理対象のブロックに用いられる量子化パラメータを取得するパラメータ取得手段と、
予め定められたテーブルから前記量子化パラメータに対する閾値を読み込んで設定する設定手段と、
取得された前記量子化パラメータと前記閾値とを比較し、前記量子化パラメータが小さいときにはイントラスムージングフィルタの適用されるイントラ予測モード数を削減し、前記量子化パラメータが大きいときには前記イントラ予測モード数を増加させるようにフィルタ使用情報を修正する修正手段と、
修正された前記フィルタ使用情報に基づいて前記イントラスムージングフィルタを実施する実施手段と
を備えるイントラ予測処理装置。
【請求項２】
前記修正手段は、
複数の前記閾値を用いてイントラスムージングフィルタの適用されるイントラ予測モードの数を調整する調整手段を備える請求項１に記載のイントラ予測処理装置。
【請求項３】
請求項１または請求項２に記載のイントラ予測処理装置を備える画像符号化装置であって、
予測誤差ないしは符号化コストを最小化する前記閾値を選択し符号化して画像復号装置へ伝送する閾値伝送手段を備える画像符号化装置。
【請求項４】
請求項１または請求項２に記載のイントラ予測処理装置を有する画像復号装置であって、
予測誤差ないしは符号化コストを最小化するように選択されて符号化された前記閾値を復号して設定する閾値設定手段を備える画像復号装置。
【請求項５】
同一の画面内で予測信号を生成するイントラ予測を行うイントラ予測処理装置が行うイントラ予測処理方法であって、
イントラ予測モードを識別するイントラ予測モード情報を取得するモード情報取得ステップと、
前記イントラ予測に用いるブロックサイズを識別するブロックサイズ情報を取得するサイズ情報取得ステップと、
復号画素信号を参照画素信号として設定するための復号画素位置情報を取得する位置情報取得ステップと、
前記イントラ予測モード情報と前記ブロックサイズ情報とに基づいて参照画素信号に施すイントラスムージングフィルタの適用可否を判定してフィルタ使用情報を導出する導出ステップと、
前記復号画素位置情報によって特定される処理対象のブロックに用いられる量子化パラメータを取得するパラメータ取得ステップと、
予め定められたテーブルから前記量子化パラメータに対する閾値を読み込んで設定する設定ステップと、
取得された前記量子化パラメータと前記閾値とを比較し、前記量子化パラメータが小さいときにはイントラスムージングフィルタの適用されるイントラ予測モード数を削減し、前記量子化パラメータが大きいときには前記イントラ予測モード数を増加させるようにフィルタ使用情報を修正する修正ステップと、
修正された前記フィルタ使用情報に基づいて前記イントラスムージングフィルタを実施する実施ステップと
を有するイントラ予測処理方法。
【請求項６】
前記修正ステップでは、
複数の前記閾値を用いて前記イントラスムージングフィルタの適用されるイントラ予測モードの数を調整する調整ステップを有する請求項５に記載のイントラ予測処理方法。
【請求項７】
コンピュータを、請求項１または２に記載のイントラ予測処理装置として機能させるためのイントラ予測処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面内予測（イントラ予測）を用いて画像信号を符号化または復号する技術に関する。
【背景技術】
【０００２】
映像符号化国際規格ＨＥＶＣ（High Efficiency Video Coding、すなわちＩＴＵ−Ｔ  Ｈ．２６５またはＩＳＯ／ＩＥＣ  ２３００８−２）では、膨大な映像の情報を効率よく圧縮するために、予測と変換という２種類の処理が施される。予測に関しては、インター符号化（フレーム間予測符号化、画面間符号化とも呼ぶ）とイントラ符号化（フレーム内予測符号化、画面内符号化とも呼ぶ）の２種類に分けられる。フレーム間予測符号化は、映像内の時間方向の相関を利用して情報圧縮を図る手法である。動き補償を用いたフレーム間予測がその代表例である。
【０００３】
一方、フレーム内予測符号化は、例えばＨＥＶＣに採用されているような、符号化対象ブロックの周辺にある復号済み画素を用いて予測信号を生成する手法、すなわちフレーム内の相関を用いて情報圧縮を図る手法である。変換に関しては、静止画符号化の国際規格であるＪＰＥＧ及び映像符号化の国際規格であるＭＰＥＧ−２では、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）と呼ばれる手法が採用されている。ＪＰＥＧの後継規格であるＪＰＥＧ２０００では、離散ウェーブレット変換（Discrete Wavelet Transform：ＤＷＴ）と呼ばれる手法が採用されている。前記フレーム間及びフレーム内で予測を行った後、その予測残差信号（予測誤差信号とも呼ぶ）は前記変換及び量子化を経て、最終的にエントロピー符号化によって２値信号（ビットストリーム）となる。
【０００４】
ＨＥＶＣでは、符号化ユニット（Coding Unit：ＣＵ）と呼ばれるブロックの単位で符号化が行われ、ＨＥＶＣの参照ソフトウェア（HEVC test Model：ＨＭ）では通常６４×６４のサイズが最大のＣＵサイズとして設定されている。６４×６４のＣＵは、四分木ベースで分割され、最小単位として８×８のＣＵまで許容できる。各ＣＵは予測ユニット（Prediction Unit：ＰＵ）と呼ばれる予測を実施するブロック、及び変換ユニット（Transform Unit：ＴＵ）と呼ばれる変換を実施するブロックに分割される。これらＰＵとＴＵは、ＣＵ内で独立に定義される。ＰＵはＣＵと同様に基本的には四分木ベースで分割されるが、正方形以外の分割を適用するツールも存在する。ＰＵの非正方形分割を許すツールをAsymmetric Motion Partition（ＡＭＰ）と呼ぶ。
【０００５】
図１３は、ＨＥＶＣにおける各処理ユニットの定義を示す図である。前規格であるＡＶＣ（Advanced Video Coding、すなわちＩＴＵ−Ｔ  Ｈ．２６４またはＩＳＯ／ＩＥＣ  １４４９６−１０）ではマクロブロック（Macro Block：ＭＢ）と呼ばれる１６×１６のサイズが符号化処理の最大単位であったが、ＨＥＶＣでは６４×６４ブロックのように、より大きいブロック単位で符号化が行われる。このような、より大きいサイズでの符号化、予測、変換の処理は、特に高解像度映像での符号化効率改善に大きく寄与している。
【０００６】
ＨＥＶＣにおけるイントラ符号化では、ＡＶＣのイントラ符号化の性能を改善するため、新しい予測モードなどが追加されている。１つはＰｌａｎａｒ予測と呼ばれる予測モードであり、もう１つはより細かい予測方向を実現する予測モード（Angular Prediction）である。図１４は、ＨＥＶＣの予測ユニット（全ブロックサイズ共通）におけるイントラ予測モード番号とイントラ予測モードの対応関係を示す図である。図１５は、Ａｎｇｕｌａｒ予測モードと角度の対応関係を示す図である。ＡＶＣが８方向であるのに対し、ＨＥＶＣでは３３方向用意されており、非常に柔軟な予測が可能となっており、符号化効率改善に貢献している。
【０００７】
Ｐｌａｎａｒ予測は、予測信号をｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］（ｘ，ｙは予測対象ブロックの座標、一番左上の画素位置がｘ＝０，ｙ＝０に相当）、ブロックサイズをｎＴ、参照信号をｐ［ｘ］［ｙ］（ｘ，ｙは参照画素の位置、予測対象ブロックの左上の画素位置がｘ＝０，ｙ＝０に相当）とするとき、（１）式で定義される。
【０００８】
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（（ｎＴ−１−ｘ）×ｐ［−１］［ｙ］＋（ｘ＋１）×ｐ［ｎＴ］［−１］＋（ｎＴ−１−ｙ）×ｐ［ｘ］［−１］＋（ｙ＋１）×ｐ［−１］［ｎＴ］＋ｎＴ）＞＞（Ｌｏｇ２（ｎＴ）＋１）  ・・・（１）
【０００９】
特に右上（ｐ［ｎＴ］［−１］）と左下（ｐ［−１］［ｎＴ］）に位置する画素を利用して柔軟に予測信号を生成することが可能であり、ＨＥＶＣのイントラ符号化において、選択率が高いという特徴を有する。
【００１０】
Ａｎｇｕｌａｒ予測は、以下のように予測信号ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］（ｘ，ｙは予測対象ブロックの座標、一番左上の画素位置がｘ＝０，ｙ＝０）を生成する。
（Ａ）予測モード番号が１８以上の場合（以降、…は数値の範囲を示すものとする。）
１．参照画素の配列ｒｅｆ［ｘ］（ｘ＝−ｎＴ…２×ｎＴ、ｎＴはブロックサイズ）
ｒｅｆ［ｘ］＝ｐ［−１＋ｘ］［−１］（ｘ＝０…ｎＴ）
図１６に定義される予測モード番号に対応する角度（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）が０より小さい場合、そしてかつ（ｎＴ×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５が−１より小さい場合：
ｒｅｆ［ｘ］＝ｐ［−１］［−１＋（（ｘ×ｉｎｖＡｎｇｌｅ＋１２８）＞＞８）］（ｘ＝−１…（ｎＴ×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５）
ここでｉｎｖＡｎｇｌｅの定義は図１７に示す通りである。
図１６は、予測モードと角度の対応関係を示す図である。また、図１７は、予測モードとパラメータの対応関係を示す図である。
上記以外の場合：
ｒｅｆ［ｘ］＝ｐ［−１＋ｘ］［−１］（ｘ＝ｎＴ＋１…２×ｎＴ）
【００１１】
２．参照画素の配列ｒｅｆ［ｘ］（ｘ＝０…ｎＴ−１）
（ａ）インデックス（ｉＩｄｘ）および乗数パラメータ（ｉＦａｃｔ）を以下に定義する。
ｉＩｄｘ＝（（ｙ＋１）×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５
ｉＦａｃｔ＝（（ｙ＋１）×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＆３１
（ｂ）ｉＦａｃｔの値に応じて、以下の処理を実施する。
ｉＦａｃｔが０以外のとき：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（（３２−ｉＦａｃｔ）×ｒｅｆ［ｘ＋ｉＩｄｘ＋１］＋ｉＦａｃｔ×ｒｅｆ［ｘ＋ｉＩｄｘ＋２］＋１６）＞＞５
ｉＦａｃｔが０のとき：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｒｅｆ［ｘ＋ｉＩｄｘ＋１］
（ｃ）予測モード番号が２６（垂直予測）の場合：（処理対象信号が輝度信号で、かつｎＴ＜３２を満たす場合におけるｘ＝０，ｙ＝０…ｎＴ−１について）
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ１Ｙ（ｐ［ｘ］［−１］＋（（ｐ［−１］［ｙ］−ｐ［−１］［−１］）＞＞１））
【００１２】
（Ｂ）予測モード番号が１８未満の場合
１．参照画素の配列ｒｅｆ［ｘ］（ｘ＝−ｎＴ…２×ｎＴ）
ｒｅｆ［ｘ］＝ｐ［−１］［−１＋ｘ］（ｘ＝０…ｎＴ）
図１６に定義されるｉｎｔｒａＰｒｅｄＡｎｇｌｅが０より小さい場合、かつ（ｎＴ×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５が−１より小さい場合：
ｒｅｆ［ｘ］＝ｐ［−１＋（（ｘ×ｉｎｖＡｎｇｌｅ＋１２８）＞＞８）］［−１］（ｘ＝−１…（ｎＴ×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５）
上記以外の場合：
ｒｅｆ［ｘ］＝ｐ［−１］［−１＋ｘ］（ｘ＝ｎＴ＋１…２×ｎＴ）
【００１３】
２．参照画素の配列ｒｅｆ［ｘ］（ｘ＝０…ｎＴ−１）
（ａ）インデックス（ｉＩｄｘ）および乗数パラメータ（ｉＦａｃｔ）を以下に定義する。
ｉＩｄｘ＝（（ｘ＋１）×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５
ｉＦａｃｔ＝（（ｘ＋１）×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＆３１
（ｂ）ｉＦａｃｔの値に応じて、以下の処理を実施する。
ｉＦａｃｔが０以外のとき：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（（３２−ｉＦａｃｔ）×ｒｅｆ［ｙ＋ｉＩｄｘ＋１］＋ｉＦａｃｔ×ｒｅｆ［ｙ＋ｉＩｄｘ＋２］＋１６）＞＞５
ｉＦａｃｔが０のとき：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｒｅｆ［ｙ＋ｉＩｄｘ＋１］
（ｃ）予測モード番号が１０（水平予測）の場合：（処理対象信号が輝度信号で、かつｎＴ＜３２を満たす場合におけるｘ＝０…ｎＴ−１，ｙ＝０について）
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ１Ｙ（ｐ［−１］［ｙ］＋（（ｐ［ｘ］［−１］−ｐ［−１］［−１］）＞＞１）
【００１４】
これらの処理により、３３方向の細かい予測信号の生成が可能となり、柔軟な予測信号を作成できるため、ＨＥＶＣのイントラ符号化性能はＡＶＣよりも向上している。
【００１５】
上記ではＡｎｇｕｌａｒ予測に関して詳述した。Ａｎｇｕｌａｒ予測は方向性のあるテクスチャに対しては効率的に予測残差エネルギーを低減できる性質を有するが、平坦な領域の予測には向いていない。平坦な領域に対しては、同一の予測値でブロック内を埋めるＤＣ予測が効果的である。ＤＣ予測モードはＡＶＣに採用されており、修正が施されたＤＣ予測がＨＥＶＣに採用されている。
【００１６】
ＤＣ予測は、予測信号をｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］（ｘ，ｙは予測対象ブロックの座標、一番左上の画素位置がｘ＝０，ｙ＝０に相当）、ブロックサイズをｎＴ、参照信号をｐ［ｘ］［ｙ］（ｘ，ｙは参照画素の位置、予測対象ブロックの左上の画素位置がｘ＝０，ｙ＝０に相当）とするとき、まず（２）式で定義される予測値ｄｃＶａｌを算出する。
【数１】
0006357133.tif 000002
ここで、ｋ＝Ｌｏｇ２（ｎＴ）となる。続いて、色差を示すフラグｃＩｄｘに応じて、下記の処理を実施する。
【００１７】
（Ｃ）ｃＩｄｘ＝０のとき、すなわち対象ブロックが輝度信号でｎＴ＜３２の場合
ｐｒｅｄＳａｍｐｌｅｓ［０］［０］＝（ｐ［−１］［０］＋２×ｄｃＶａｌ＋ｐ［０］［−１］＋２）＞＞２
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［０］＝（ｐ［ｘ］［−１］＋３×ｄｃＶａｌ＋２）＞＞２  （ｘ＝１…ｎＴ−１）
ｐｒｅｄＳａｍｐｌｅｓ［０］［ｙ］＝（ｐ［−１］［ｙ］＋３×ｄｃＶａｌ＋２）＞＞２  （ｙ＝１…ｎＴ−１）
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｄｃＶａｌ  （ｘ、ｙ＝１…ｎＴ−１）
【００１８】
（Ｄ）ｃＩｄｘ≠０のとき、すなわち対象ブロックが色差信号の場合
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｄｃＶａｌ（ｘ、ｙ＝０…ｎＴ−１）
対象ブロックが輝度信号の場合、（Ｃ）に記載の通り、参照信号に隣接する予測信号は平均値であるｄｃＶａｌではなく、参照画素との重み付き和を求めて、その値を予測値としている。この重み付き和の計算はＡＶＣでは導入されておらず、ＨＥＶＣ特有の処理となっている。
【００１９】
以上、ＨＥＶＣの各イントラ予測モードおよびその予測処理方法について詳述した。続いて、イントラ予測の前に行われる参照画素の平滑化（Intra Smoothingと呼ばれる処理）について説明する。本処理はイントラ予測が実行される前に参照信号に対してスムージングフィルタを適用する処理である。以下ではブロックサイズをｎＴ、参照信号をｐ［ｘ］［ｙ］（ｘ，ｙは参照画素の位置、予測対象ブロックの左上の画素位置がｘ＝０，ｙ＝０に相当）、フィルタ後の参照信号をｐＦ［ｘ］［ｙ］とする。
【００２０】
まず、フィルタの適用にかかわるフラグｆｉｌｔｅｒＦｌａｇを定義して、以下の手順で設定する。
【００２１】
・以下の条件で１つでも満たす場合、ｆｉｌｔｅｒＦｌａｇを０にする。
予測モードがＤＣ予測である。
ブロックサイズが４である。
【００２２】
・もしそうでなければ、以下を適用する。
変数ｍｉｎＤｉｓｔＶｅｒＨｏｒを以下でセットする。
Ｍｉｎ（Ａｂｓ（ｐｒｅｄＭｏｄｅＩｎｔｒａ−２６），Ａｂｓ（ｐｒｅｄＭｏｄｅＩｎｔｒａ−１０））
変数ｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓ［ｎＴ］を以下の通り定義する。
ｎＴ＝８の場合、変数に７を代入する。
ｎＴ＝１６の場合、変数に１を代入する。
ｎＴ＝３２の場合、変数に０を代入する。
ｆｉｌｔｅｒＦｌａｇは以下で導出される。
ｍｉｎＤｉｓｔＶｅｒＨｏｒがｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓ［ｎＴ］よりも大きい場合、ｆｉｌｔｅｒＦｌａｇを１とする。
そうでなければ、ｆｉｌｔｅｒＦｌａｇを０とする。
【００２３】
・ｆｉｌｔｅｒＦｌａｇが１の場合、以下の処理を実行する。
変数ｂｉＩｎｔＦｌａｇを以下の流れで導出する。ここでｂｉＩｎｔＦｌａｇとはＨＥＶＣに導入されている強イントラスムージング（Strong Intra Smoothing）と呼ばれる線形補間による参照画素設定機構の使用可否を指し示すフラグである。
以下の全ての条件を満たす場合、ｂｉＩｎｔＦｌａｇを１にセットする。
ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である。
ｎＴが３２である。
Ａｂｓ（ｐ［−１］［−１］＋ｐ［ｎＴ×２−１］［−１］−２×ｐ［ｎＴ−１］［−１］）＜（１＜＜（ＢｉｔＤｅｐｔｈＹ−５））
Ａｂｓ（ｐ［−１］［−１］＋ｐ［−１］［ｎＴ×２−１］−２×ｐ［−１］［ｎＴ−１］）＜（１＜＜（ＢｉｔＤｅｐｔｈＹ−５））
満たさない場合、ｂｉＩｎｔＦｌａｇを０にセットする。
【００２４】
・フィルタ処理は以下のように実行される。
ｂｉＩｎｔＦｌａｇが１である場合、ｘ＝−１、ｙ＝−１…６３、そしてｘ＝０…６３、ｙ＝−１において、
ｐＦ［−１］［−１］＝ｐ［−１］［−１］
ｐＦ［−１］［ｙ］＝（（６３−ｙ）×ｐ[−１][−１]＋（ｙ＋１）×ｐ［−１］［６３］＋３２）＞＞６    （ｙ＝０…６２）
ｐＦ［−１］［６３］＝ｐ［−１］［６３］
ｐＦ［ｘ］［−１］＝（（６３−ｘ）×ｐ［−１］［−１］＋（ｘ＋１）×ｐ［６３］［−１］＋３２）＞＞６  （ｘ＝０…６２）
ｐＦ［６３］［−１］＝ｐ［６３］［−１］
【００２５】
・ｂｉＩｎｔＦｌａｇが０である場合、ｘ＝−１、ｙ＝−１…ｎＴ×２−１、そしてｘ＝０…ｎＴ×２−１、ｙ＝−１において、
ｐＦ［−１］［−１］＝（ｐ［−１］［０］＋２×ｐ［−１］［−１］＋ｐ［０］［−１］＋２）＞＞２
ｐＦ［−１］［ｙ］＝（ｐ［−１］［ｙ＋１］＋２×ｐ［−１］［ｙ］＋ｐ［−１］［ｙ−１］＋２）＞＞２  （ｙ＝０…ｎＴ×２−２）
ｐＦ［−１］［ｎＴ×２−１］＝ｐ［−１］［ｎＴ×２−１］
ｐＦ［ｘ］［−１］＝（ｐ［ｘ−１］［−１］＋２×ｐ［ｘ］［−１］＋ｐ［ｘ＋１］［−１］＋２）＞＞２  （ｘ＝０…ｎＴ×２−２）
ｐＦ［ｎＴ×２−１］［−１］＝ｐ［ｎＴ×２−１］［−１］
【００２６】
ｂｉＩｎｔＦｌａｇ＝１の場合に適用される線形補間で参照画素を導出する処理が強イントラスムージング処理、ｂｉＩｎｔＦｌａｇ＝０の場合に［１，２，１］／４の平滑化フィルタを参照画素に施す処理がイントラスムージング処理とそれぞれ一般に呼ばれる。
【００２７】
以上説明した各事項は、非特許文献１、非特許文献２、非特許文献３および非特許文献４に詳述されている。
【００２８】
なお、本明細書において、画像とは一般的な動画像、映像、静止画像を含むものである。
【先行技術文献】
【非特許文献】
【００２９】
【非特許文献１】大久保榮（監）、角野眞也、菊池義浩、鈴木輝彦（編）、「改訂三版Ｈ．２６４／ＡＶＣ教科書」、株式会社インプレスＲ＆Ｄ、ｐｐ．１１０−１１６、２００９年
【非特許文献２】ITU-T: “SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video，Advanced video coding for generic audiovisual services", Recommendation ITU-T H．264，pp.116-135, 2005
【非特許文献３】ITU-T：“SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video，High efficiency video coding”, Recommendation ITU-T H．265，pp.101-111, 2013
【非特許文献４】大久保榮（監）、鈴木輝彦、高村誠之、中條健（編）、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、ｐｐ．１１５−１２４、２０１３年
【発明の概要】
【発明が解決しようとする課題】
【００３０】
ＨＥＶＣのイントラ予測ではＡＶＣと同様に、イントラ予測信号を生成する前に参照画素信号に対してスムージングフィルタを適用する処理が存在するが、イントラ予測モード番号およびブロックサイズなどの情報に基づいてフィルタ適用有無を判断することで適応的にフィルタを実施して、参照画素信号の符号化歪などのノイズを効率的に除去して符号化性能を改善している。
【００３１】
しかしながら、イントラ予測モード番号とブロックサイズの他に復号参照画素の精度に関わる符号化パラメータを考慮してイントラスムージングフィルタの適用を判断している訳ではない。イントラ予測に用いられる参照画素は復号信号であるため、符号化歪が重畳される。特に量子化パラメータであるＱＰ（Quantization Parameter）値が小さいとき（つまり高ビットレート時）は符号量が割り当てられて復号信号の劣化が小さくなる。逆にＱＰ値が大きいとき（つまり低ビットレート時）は符号量が割り当てられなくなり、復号信号の劣化が大きくなる。
【００３２】
すなわち、ＱＰ値が小さい場合はイントラ予測に用いる復号信号の符号化歪が小さくなるため、イントラスムージングを弱くする、ないしは適用する範囲を狭めることで符号化性能を保ちつつイントラスムージングフィルタの処理を省くことによる処理高速化も達成できる可能性がある。逆にＱＰ値が大きい場合は復号信号の符号化歪が大きくなるため、イントラスムージングを強くする、ないしは適用する範囲を広げることで符号化性能を保つ、ないしはより改善することが期待できる。
【００３３】
本発明は、このような事情に鑑みてなされたもので、現行のイントラ予測のスムージングフィルタにおいて、その適用有無の判断にＱＰ値による復号信号の劣化度合いが適用されていないという課題を解決し、符号化性能と主観画質の改善、および高ビットレートにおける符号化処理と復号処理の高速化を実現することができるイントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００３４】
本発明の一態様は、同一の画面内で予測信号を生成するイントラ予測を行うイントラ予測処理装置であって、イントラ予測モードを識別するイントラ予測モード情報を取得するモード情報取得手段と、前記イントラ予測に用いるブロックサイズを識別するブロックサイズ情報を取得するサイズ情報取得手段と、復号画素信号を参照画素信号として設定するための復号画素位置情報を取得する位置情報取得手段と、前記イントラ予測モード情報と前記ブロックサイズ情報とに基づいて参照画素信号に施すイントラスムージングフィルタの適用可否を判定してフィルタ使用情報を導出する導出手段と、前記復号画素位置情報によって特定される処理対象のブロックに用いられる量子化パラメータを取得するパラメータ取得手段と、予め定められたテーブルから前記量子化パラメータに対する閾値を読み込んで設定する設定手段と、取得された前記量子化パラメータと前記閾値とを比較し、前記量子化パラメータが小さいときにはイントラスムージングフィルタの適用されるイントラ予測モード数を削減し、前記量子化パラメータが大きいときには前記イントラ予測モード数を増加させるようにフィルタ使用情報を修正する修正手段と、修正された前記フィルタ使用情報に基づいて前記イントラスムージングフィルタを実施する実施手段を備えるイントラ予測処理装置である。
【００３５】
本発明の一態様は、前記イントラ予測処理装置であって、前記修正手段は、複数の前記閾値を用いてイントラスムージングフィルタの適用されるイントラ予測モードの数を調整する調整手段を備える。
【００３６】
本発明の一態様は、前記イントラ予測処理装置を備える画像符号化装置であって、予測誤差ないしは符号化コストを最小化する前記閾値を選択し符号化して画像復号装置へ伝送する閾値伝送手段を備える画像符号化装置である。
【００３７】
本発明の一態様は、前記イントラ予測処理装置を有する画像復号装置であって、予測誤差ないしは符号化コストを最小化するように選択されて符号化された前記閾値を復号して設定する閾値設定手段を備える画像復号装置である。
【００３８】
本発明の一態様は、同一の画面内で予測信号を生成するイントラ予測を行うイントラ予測処理装置が行うイントラ予測処理方法であって、イントラ予測モードを識別するイントラ予測モード情報を取得するモード情報取得ステップと、前記イントラ予測に用いるブロックサイズを識別するブロックサイズ情報を取得するサイズ情報取得ステップと、復号画素信号を参照画素信号として設定するための復号画素位置情報を取得する位置情報取得ステップと、前記イントラ予測モード情報と前記ブロックサイズ情報とに基づいて参照画素信号に施すイントラスムージングフィルタの適用可否を判定してフィルタ使用情報を導出する導出ステップと、前記復号画素位置情報によって特定される処理対象のブロックに用いられる量子化パラメータを取得するパラメータ取得ステップと、予め定められたテーブルから前記量子化パラメータに対する閾値を読み込んで設定する設定ステップと、取得された前記量子化パラメータと前記閾値とを比較し、前記量子化パラメータが小さいときにはイントラスムージングフィルタの適用されるイントラ予測モード数を削減し、前記量子化パラメータが大きいときには前記イントラ予測モード数を増加させるようにフィルタ使用情報を修正する修正ステップと、修正された前記フィルタ使用情報に基づいて前記イントラスムージングフィルタを実施する実施ステップを有するイントラ予測処理方法である。
【００３９】
本発明の一態様は、前記イントラ予測処理方法であって、前記修正ステップでは、複数の前記閾値を用いて前記イントラスムージングフィルタの適用されるイントラ予測モードの数を調整する調整ステップを有する。
【００４０】
本発明の一態様は、コンピュータを、前記イントラ予測処理装置として機能させるためのイントラ予測処理プログラムである。
【発明の効果】
【００４１】
本発明によれば、イントラ予測において、イントラスムージング処理の実施判断にＱＰ値による復号済み参照画素信号の影響を適用することにより、復号された参照画素信号に重畳されている符号化歪などのノイズを効率的に削除して符号化効率と主観画質を改善することができる。また、高ビットレート時でのイントラスムージングフィルタを省くことにより符号化処理と復号処理を高速化することができるという効果が得られる。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態による画像符号化装置の構成を示すブロック図である。
【図２】本発明の一実施形態による画像復号装置の構成を示すブロック図である。
【図３】図１、図２に示すイントラ予測処理部１０１及びイントラ予測処理部２０２の構成例を示すブロック図である。
【図４】図３に示すイントラ予測処理部１０１が行うイントラ予測処理の動作を示すフローチャートである。
【図５】図３に示す参照画素生成部３０２の構成を示すブロック図である。
【図６】ＨＥＶＣにおけるイントラスムージングフィルタが適用される条件を示す図である。
【図７】イントラスムージングフィルタ適用範囲修正部４０５でのフィルタ使用情報の修正方法を示す説明図である。
【図８】イントラスムージングフィルタ適用範囲修正部４０５でのフィルタ使用情報の修正方法を示す説明図である。
【図９】従来技術による参照画素生成部３０２’の構成を示すブロック図である。
【図１０】図５に示す参照画素生成部３０２が行う参照画素生成処理動作を示すフローチャートである。
【図１１】イントラ予測処理部１０１を備える画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。
【図１２】イントラ予測処理部２０２を備える画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。
【図１３】ＨＥＶＣにおける各処理ユニットの定義を示す図である。
【図１４】ＨＥＶＣの予測ユニットにおけるイントラ予測モード番号とイントラ予測モードの対応関係を示す図である。
【図１５】Ａｎｇｕｌａｒ予測モードと角度の対応関係を示す図である。
【図１６】予測モードと角度の対応関係を示す図である。
【図１７】予測モードとパラメータの対応関係を示す図である。
【発明を実施するための形態】
【００４３】
以下、図面を参照して、本発明の一実施形態による画像符号化装置及び画像復号装置を説明する。図１は、同実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、符号化対象の入力映像信号を入力し、入力映像信号の各フレームを複数のブロックに分割してブロックごとに符号化し、符号化結果のビットストリームを符号化ストリームとして出力する。
【００４４】
画像符号化装置１００は、図１に示すように、イントラ予測処理部１０１、インター予測処理部１０２、予測残差信号生成部１０３、変換処理部１０４、量子化処理部１０５、逆量子化処理部１０６、逆変換処理部１０７、復号信号生成部１０８、フレームメモリ１０９、インループフィルタ処理部１１０、インター予測情報格納部１１１、イントラ予測情報格納部１１２及びエントロピー符号化処理部１１３を備えている。
【００４５】
図１に示す画像符号化装置１００においては、イントラ予測処理部１０１が特徴的な構成である。他の各機能部は、ＨＥＶＣなどのエンコーダとして用いられている一般的な画像符号化装置が備える機能部と同等である。なお、インループフィルタ処理部１１０については、複数のインループフィルタが適用されてもよい。例えば、ＨＥＶＣのようにデブロッキングフィルタおよびサンプルアダプティブオフセット（Sample Adaptive Offset：ＳＡＯ）が適用される。ＨＥＶＣ標準化において提案されていたアダプティブループフィルタ（Adaptive Loop Filter：ＡＬＦ）と呼ばれる符号化歪を除去するフィルタなどが挿入されてもよい。
【００４６】
イントラ予測処理部１０１は、入力映像信号を入力し、入力映像信号に基づいて予測信号を生成する。また、イントラ予測処理部１０１は、入力映像信号に基づいて、予測モードなどを含むイントラ予測情報を生成し、生成したイントラ予測情報をイントラ予測情報格納部１１２に記憶させて格納する。
【００４７】
インター予測処理部１０２は、入力映像信号と、インループフィルタ処理部１１０から出力する参照画像とを入力する。インター予測処理部１０２は、入力映像信号と参照画像とに基づいて、予測信号を生成する。また、インター予測処理部１０２は、入力映像信号と参照信号とに基づいて、動きベクトルを含むインター予測情報を生成し、生成したインター予測情報をインター予測情報格納部１１１に記憶させて格納する。
【００４８】
予測残差信号生成部１０３は、入力映像信号と、イントラ予測処理部１０１あるいはインター予測処理部１０２から出力される予測信号との差分を算出する。予測残差信号生成部１０３は、算出した差分を予測残差信号として変換処理部１０４に出力する。
【００４９】
変換処理部１０４は、予測残差信号生成部１０３から入力した予測残差信号に対して離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交変換を行う。変換処理部１０４は、直交変換により得られた変換係数を量子化処理部１０５に出力する。
【００５０】
量子化処理部１０５は、変換処理部１０４から入力した変換係数を量子化し、その量子化された変換係数を逆量子化処理部１０６とエントロピー符号化処理部１１３とに出力する。
【００５１】
逆量子化処理部１０６は、量子化処理部１０５から入力した変換係数を逆量子化して逆変換処理部１０７に出力する。逆変換処理部１０７は、逆量子化処理部１０６から入力した変換係数を逆直交変換する。逆変換処理部１０７は、逆直交変換により得られた予測残差復号信号を復号信号生成部１０８に出力する。
【００５２】
復号信号生成部１０８は、逆変換処理部１０７から入力した予測残差復号信号と、イントラ予測処理部１０１あるいはインター予測処理部１０２が出力する予測信号とを加算する。復号信号生成部１０８は、加算結果を符号化した符号化対象ブロックの復号信号としてフレームメモリ１０９に記憶する。この復号信号は、イントラ予測処理部１０１あるいはインター予測処理部１０２において参照画像として用いる。
【００５３】
フレームメモリ１０９は、復号信号生成部１０８が生成し出力した復号信号を記憶する。インループフィルタ処理部１１０は、フレームメモリ１０９に記憶されている復号信号を読み出し、読み出した復号信号に対してデブロッキングフィルタおよびＳＡＯ処理などを行う。インループフィルタ処理部１１０は、各種インループフィルタ処理後の画像を参照画像としてインター予測処理部１０２に出力する。
【００５４】
インター予測情報格納部１１１は、インター予測処理部１０２が生成したインター予測情報を記憶する。イントラ予測情報格納部１１２は、イントラ予測処理部１０１が生成したイントラ予測情報を記憶する。
【００５５】
エントロピー符号化処理部１１３は、量子化処理部１０５において量子化された変換係数と、インター予測情報格納部１１１に格納されているインター予測情報と、イントラ予測情報格納部１１２に格納されているイントラ予測情報とをエントロピー符号化し、符号化ストリームとして出力する。
【００５６】
画像符号化装置１００は、前述の各機能部を備えることにより、入力映像信号の各フレームを複数のブロックに分割してブロックベースの予測符号化を行い、入力映像信号を符号化して得られた符号化ストリームを出力する。
【００５７】
図２は、同実施形態における画像復号装置２００の構成を示すブロック図である。画像復号装置２００は、図１に示した画像符号化装置１００などにより符号化されて出力される符号化ストリームを入力し、符号化ストリームを復号することにより復号画像である復号映像信号を出力する。
【００５８】
画像復号装置２００は、図２に示すように、エントロピー復号処理部２０１、イントラ予測処理部２０２、インター予測処理部２０３、逆量子化処理部２０４、逆変換処理部２０５、復号信号生成部２０６、フレームメモリ２０７、インループフィルタ処理部２０８、インター予測情報格納部２０９及びイントラ予測情報格納部２１０を備えている。
【００５９】
図２に示す画像復号装置２００においては、イントラ予測処理部２０２が特徴的な構成である。他の各機能部は、ＨＥＶＣなどのデコーダとして用いられる一般的な画像復号装置が備える機能部と同等である。
【００６０】
エントロピー復号処理部２０１は、符号化ストリームを入力し、入力した符号化ストリームから復号対象ブロックの量子化変換係数をエントロピー復号するとともに、イントラ予測に関するイントラ予測情報及びインター予測に関するインター予測情報をエントロピー復号する。また、エントロピー復号処理部２０１は、量子化変換係数を逆量子化処理部２０４に出力し、インター予測情報をインター予測情報格納部２０９に記憶させて格納し、イントラ予測情報をイントラ予測情報格納部２１０に記憶させて格納する。
【００６１】
イントラ予測処理部２０２は、フレームメモリ２０７に記憶される復号信号を参照画像として読み出す。また、イントラ予測処理部２０２は、イントラ予測情報格納部２１０からイントラ予測情報を読み出す。そして、イントラ予測処理部２０２は、読み出した参照画像と、読み出したイントラ予測情報とに基づいて、予測信号を生成する。
【００６２】
インター予測処理部２０３は、インター予測情報格納部２０９からインター予測情報を読み出す。そして、インター予測処理部２０３は、インター予測情報と、インループフィルタ処理部２０８から入力した参照画像とに基づいて、予測信号を生成する。
【００６３】
逆量子化処理部２０４は、エントロピー復号処理部２０１から入力した量子化変換係数を逆量子化して復号変換係数を算出し、算出した復号変換係数を逆変換処理部２０５に出力する。
【００６４】
逆変換処理部２０５は、逆量子化処理部２０４から入力した復号変換係数に逆直交変換を施し、予測残差復号信号を算出し、算出した予測残差復号信号を復号信号生成部２０６に出力する。
【００６５】
復号信号生成部２０６は、逆変換処理部２０５から入力した予測残差復号信号と、イントラ予測処理部２０２あるいはインター予測処理部２０３が出力する予測信号とを加算する。そして、復号信号生成部２０６は、加算結果を復号対象ブロックの復号信号としてフレームメモリ２０７に記憶させて格納する。フレームメモリ２０７は、復号信号生成部２０６が算出した復号信号を記憶する。
【００６６】
インループフィルタ処理部２０８は、フレームメモリ２０７から復号信号を読み出し、読み出した復号信号により示される画像に対して符号化歪みを低減する各種インループフィルタ処理を行う。インループフィルタ処理部２０８は、各種インループフィルタ処理後の画像を復号映像信号として出力する。また、インループフィルタ処理部２０８は、フィルタ処理後の画像を参照画像としてインター予測処理部２０３に出力する。なお、画像符号化装置１００と同様に、アダプティブループフィルタなどのフィルタ処理部を本インループフィルタ処理部２０８に含んでもよい。
【００６７】
インター予測情報格納部２０９は、エントロピー復号処理部２０１が復号したインター予測情報を格納する。イントラ予測情報格納部２１０は、エントロピー復号処理部２０１が復号したイントラ予測情報を格納する。
【００６８】
画像復号装置２００は、前述の各機能部を備えることにより、ブロックベースの予測符号化により符号化された映像の符号化ストリームを入力し、入力された符号化ストリームから映像を復号して復号映像信号を出力する。
【００６９】
次に、図３を参照して、図１と図２に示すイントラ予測処理部１０１及びイントラ予測処理部２０２の構成を説明する。図３は、図１、図２に示すイントラ予測処理部１０１及びイントラ予測処理部２０２の構成例を示すブロック図である。イントラ予測処理部１０１とイントラ予測処理部２０２とは共通する処理を行い、同じ構成を備えているので、以下では、イントラ予測処理部１０１を説明し、イントラ予測処理部２０２の説明を省略する。
【００７０】
イントラ予測処理部１０１は、図３に示すように、ブロック位置同定部３０１、参照画素生成部３０２及びイントラ予測信号生成部３０３を備えている。ブロック位置同定部３０１は、処理対象となるイントラ予測するブロックの位置を同定する。また、ブロック位置同定部３０１は、ブロックの位置を同定するために、フレームやスライスにおける位置となるブロック位置情報（空間座標やＣＵ／ＰＵ／ＴＵの位置）を入力とし、参照画素を取得するための復号画素位置情報を出力する。
【００７１】
参照画素生成部３０２は、ブロック位置同定部３０１が出力する復号画素位置情報と、復号画素信号と、イントラ予測モードとを入力する。参照画素生成部３０２は、復号画素位置情報に基づいて、予測信号生成に必要となる参照画素の格納と必要なフィルタ処理などを施す。ここで述べている参照画素の格納は、例えば、前述のｐ［ｘ］［ｙ］の準備や参照画素配列ｒｅｆ［ｘ］の生成を意味する。また、必要なフィルタ処理とは、イントラスムージング、すなわち［１，２，１］／４の平滑化フィルタを参照画素にかけてそのフィルタ後の画素値を予測値に適用する処理、および、前述の（Ａ）、（Ｂ）のそれぞれの２．（ｂ）に示す３２分割上の位置の比を取るフィルタ処理などを示す。すなわち、予測信号生成に必要とされる復号画素信号のフィルタ処理は全てこの参照画素生成部３０２で行う。参照画素生成部３０２は、各種フィルタ処理後の復号画素信号を予測信号の配列にコピーするための参照画素信号として、イントラ予測信号生成部３０３に出力する。
【００７２】
イントラ予測信号生成部３０３は、参照画素生成部３０２から入力した参照画素信号、復号画素信号及びイントラ予測モードに基づいて、イントラ予測信号を生成して出力する。
【００７３】
以上のように、イントラ予測処理部１０１は、ブロック位置同定部３０１、参照画素生成部３０２及びイントラ予測信号生成部３０３により、入力となるブロック位置情報、復号画素信号、イントラ予測モードに基づき、イントラ予測信号を出力する。本発明では参照画素生成部３０２が従来法とは異なる特徴的な部位となる。
【００７４】
次に、図４を参照して、図３に示すイントラ予測処理部１０１の処理動作を説明する。図４は、図３に示すイントラ予測処理部１０１が行うイントラ予測処理の動作を示すフローチャートである。ブロック位置同定部３０１は、非特許文献３等に記載されている手順に従い、入力されたブロック位置情報に基づいて、処理対象となるイントラ予測するブロックの位置を同定し、予測に必要となる参照画素の生成のための復号画素の位置を示す情報を出力する（ステップＳ１０１）。
【００７５】
次に、参照画素生成部３０２は、ブロック位置同定部３０１が出力する復号画素位置情報に基づいて、復号画素信号を配列として格納する処理や復号画素に施すフィルタ処理などを実施する（ステップＳ１０２）。続いて、イントラ予測信号生成部３０３は、参照画素生成部３０２が出力する参照画素信号と、別途入力するイントラ予測モードと復号画素信号に基づいて、イントラ予測信号を生成して出力する（ステップＳ１０３）。
【００７６】
次に、図５を参照して、図３に示す参照画素生成部３０２の構成を説明する。図５は、図３に示す参照画素生成部３０２の構成を示すブロック図である。参照画素生成部３０２は、図５に示すように、イントラ予測モード保存部４０１、復号画素位置情報設定部４０２、ブロックサイズ取得部４０３、イントラスムージングフィルタ使用判定部４０４、イントラスムージングフィルタ適用範囲修正部４０５、イントラスムージングフィルタ実行部４０６およびＱＰ閾値設定部４０７を備えている。
【００７７】
イントラ予測モード保存部４０１は、対象ブロックの予測モードを保存し、イントラスムージングフィルタ使用判定部４０４に対してイントラ予測モード情報を提供する。
【００７８】
復号画素位置情報設定部４０２は、前記ブロック位置同定部３０１から与えられる復号画素位置情報を保存し、イントラ予測に用いるための参照画素の位置を判断するための複合画素位置情報をイントラスムージングフィルタ使用判定部４０４に対して出力する。
【００７９】
ブロックサイズ取得部４０３は、対象ブロックのブロックサイズを取得してそのブロックサイズをイントラスムージングフィルタ使用判定部４０４に対して出力する。
【００８０】
イントラ予測モード保存部４０１から与えられるイントラ予測モード情報と、復号画素位置情報設定部４０２から与えられる復号画素位置情報と、ブロックサイズ取得部４０３から与えられるブロックサイズとを用いて、イントラスムージングフィルタ使用判定部４０４では、イントラスムージングフィルタを適用するか否かの情報、すなわちｆｉｌｔｅｒＦｌａｇの判定を実施する。また、強イントラスムージングの使用判定、すなわちｂｉＩｎｔｒａＦｌａｇの判定も合わせて実施するために、必要となる復号画素信号を取得する。これらのスムージングフィルタおよび強スムージングフィルタを使用するか否かの情報を合わせてフィルタ使用情報と定義する。そのフィルタ使用情報をイントラスムージングフィルタ判定修正部４０５へ出力する。
【００８１】
ＱＰ閾値設定部４０７は、イントラスムージングの使用可否判断をする上で必要となるＱＰに関する閾値情報を読み込む。その数値をＱＰ閾値としてイントラスムージングフィルタ適用範囲修正部４０５へ出力する。
【００８２】
イントラスムージングフィルタ適用範囲修正部４０５は、イントラスムージングフィルタ使用判定部４０４が出力するフィルタ使用情報と、ＱＰ閾値設定部４０７から得られるＱＰ閾値を入力とする。ＱＰ閾値から復号信号の有する符号化歪を考慮して、ＱＰ閾値を超えるか否かを判定してイントラスムージングの必要性を再判定する。具体的な処理方法は後述する。ここでフィルタ使用情報は修正され、そのフィルタ使用修正情報がイントラスムージングフィルタ実行部４０６へ出力される。ここで、再判定の結果が修正なしとなっていれば、変更を加えずに入力されたフィルタ使用情報をそのまま出力することもできる。
【００８３】
イントラスムージングフィルタ実行部４０６は、イントラスムージングフィルタ判定修正部４０５から受け取ったフィルタ使用修正情報に基づいて、イントラスムージングフィルタなどの平滑化フィルタを実行し、参照画素のノイズを除去してイントラ予測に用いるための最終的な参照画素信号を出力する。
【００８４】
図６は、ＨＥＶＣにおけるイントラスムージングフィルタが適用される条件を示す図である。４×４のサイズが選択される場合、どの予測モードが選択されてもイントラスムージングフィルタは適用されない。８×８の場合は０，２，１８，３４の４種類のモードに対してイントラスムージングフィルタが適用される。１６×１６および３２×３２ではさらに多くの予測モードに対してイントラスムージングフィルタが適用される仕組みとなっている。ＨＥＶＣの場合、このイントラスムージングフィルタがかかる図６のテーブルはＱＰ値が変動しても同じテーブルが用いられることになっている。
【００８５】
これに対し、本発明におけるイントラスムージングフィルタの適用される条件を図７に示す。以下、イントラスムージングフィルタ適用範囲修正部４０５でのフィルタ使用情報の修正方法について図７を参照して説明する。図７は、イントラスムージングフィルタ適用範囲修正部４０５でのフィルタ使用情報の修正方法を示す説明図である。前述の通り、ＱＰ値に応じてイントラスムージングフィルタの適用範囲を切り替える。例えば、図７の上側の表に示される通り、ＱＰ値が特定の閾値よりも小さい場合にはイントラ予測に用いる参照画素に符号化歪は多く重畳されていないものとし、イントラスムージングフィルタの適用範囲を縮小する。逆に図７の下側の表に示される通り、ＱＰ値が特定の閾値以上となる場合には参照画素に符号化歪が多く重畳されていると想定して、イントラスムージングフィルタの適用範囲を拡大する。図７における表はあくまで一例であり、拡大および縮小される傾向が出れば、すなわちイントラスムージングフィルタの適用されるイントラ予測モード数が変動すればよい。
【００８６】
図７では閾値が１つの場合の事例を説明したが、閾値は複数あってもよく、例えば複数種用意した場合の事例を図８を参照して説明する。閾値をＴ１およびＴ２として２つ想定し、それぞれＴ１＞Ｔ２とする。ＱＰ値の取り得る範囲を考慮すると、ＨＥＶＣの場合であれば５１≧Ｔ１＞Ｔ２＞０となる。ここで対象ブロックに適用されるＱＰ値がＴ１以上であれば、最大の適用範囲を実現するパターンを設定し、ＱＰ値がＴ１未満Ｔ２以上であれば従来と同様の適用範囲を設定する。そしてＴ２未満であれば、従来よりもさらに小さい適用範囲を設定する。この適用も一例であり、例えば従来に依らない設定例を適用してもよい。また、閾値をさらに細かく５種類など設定しても構わない。
【００８７】
なお、閾値については、１種類でも複数種類でも、符号化器と復号器で共通のテーブルをメモリなどに所有しておけば、伝送する必要はない。ＱＰ値の取り得る範囲で設定すればよい。映像の性質などに応じて適切な閾値は異なるため、例えば映像の特定のシーン単位、ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ（ＧＯＰ）単位、スライス単位、フレーム単位などで変化させてもよい。その場合は閾値を切り替える単位で伝送する必要がある。その符号量がオーバーヘッドとして発生するが、その分適切な単位で閾値を切り替えることができ、伝送しない場合と比較して符号化性能や主観画質をより改善できる可能性がある。発生するオーバーヘッドと切り替える粒度による効果はトレードオフの関係であるため、その関係を考慮して伝送単位を決めればよい。
【００８８】
本実施形態における参照画素生成部３０２は、イントラスムージングフィルタ適用範囲修正部４０５とＱＰ閾値設定部４０７を有している点が、従来技術にはない特徴である。
【００８９】
図９は、従来技術による参照画素生成部３０２’の構成を示すブロック図である。イントラ予測モード保存部５０１と、復号画素位置情報設定部５０２と、ブロックサイズ取得部５０３と、イントラスムージングフィルタ使用判定部５０４と、イントラスムージングフィルタ実行部５０５はそれぞれ図５に示すイントラ予測モード保存部４０１と、復号画素位置情報設定部４０２と、ブロックサイズ取得部４０３と、イントラスムージングフィルタ使用判定部４０４と、イントラスムージングフィルタ実行部４０６と同じ機能を有する。図９では、図５におけるイントラスムージングフィルタ適用範囲修正部４０５とＱＰ閾値設定部４０７を持たず、イントラスムージングフィルタ使用判定部５０４から出力されるフィルタ使用情報は修正など変更を加えず、そのまま出力される。
【００９０】
次に、図１０を参照して、図５に示す参照画素生成部３０２の動作を説明する。図１０は、図５に示す参照画素生成部３０２が行う参照画素生成処理動作を示すフローチャートである。
【００９１】
参照画素生成部３０２において、イントラ予測信号導出処理のための参照画素を生成するために、まずイントラスムージングフィルタ使用判定部４０４は、イントラ予測モード保存部４０１に記憶されているイントラ予測モードを読み出し、復号画素位置情報設定部４０２から復号画素位置情報を読み出し、ブロックサイズ取得部４０３から対象ブロックのブロックサイズを読み出して取得する（ステップＳ２０１）。強イントラスムージングフィルタの場合は復号画素信号も用いることになるためそちらも取得する。そして、イントラスムージングフィルタ使用判定部４０４は、この読み出した３種の情報から、対象ブロックのイントラ予測に対するイントラスムージングフィルタを使用するかしないかの判定を実施する（ステップＳ２０２）。
【００９２】
次に、イントラスムージングフィルタ適用範囲修正部４０５は、対象ブロックに用いられるＱＰ値を読み込む（ステップＳ２０３）。さらにＱＰ閾値設定部４０７からＱＰに対する閾値を読み込む（ステップＳ２０４）。以下、図７の下側にある表での場合の事例を示す。ステップＳ２０３で得られたＱＰ値とステップＳ２０４で得られた閾値を比較してフィルタ使用情報の修正判断を行う（ステップＳ２０５）。もしＱＰ値が閾値以上となる場合（ステップＳ２０５にてＹＥＳ）、参照画素信号に強い符号化歪が含まれると判断して、イントラスムージングフィルタがより広い範囲で使われるように変更する修正を加えて、そのフィルタ使用修正情報をイントラスムージングフィルタ実行部４０６へ出力する（ステップＳ２０６）。ＱＰ値が閾値未満の場合（ステップＳ２０５にてＮＯ）、フィルタ使用情報は変更せずにそのままフィルタ使用情報をイントラスムージングフィルタ実行部４０６へ出力する。イントラスムージングフィルタ実行部４０６はイントラスムージングフィルタ適用範囲修正部４０５からのフィルタ使用修正情報に基づき、イントラスムージングフィルタを実行してイントラ予測に用いる参照画素を出力する（ステップＳ２０７）。
【００９３】
以上、本発明の実施形態において説明したイントラ予測処理部１０１、２０２と、イントラ予測処理部１０１を備える画像符号化装置１００と、イントラ予測処理部２０２を備える画像復号装置２００は、コンピュータとソフトウェアプログラムとを用いて実現することができる。
【００９４】
図１１は、イントラ予測処理部１０１を備える画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ９００、メモリ９０１、映像信号入力部９０２、プログラム記憶装置９０３及び符号化ストリーム出力部９０５を備えている。
【００９５】
ＣＰＵ９００はプログラムを実行する。メモリ９０１は、ＣＰＵ９００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。映像信号入力部９０２は、映像信号を生成するカメラなどの機器から符号化対象の入力映像信号を入力する。なお、映像信号入力部９０２は、ハードディスク装置等による入力映像信号を記憶する記憶装置であってもよい。プログラム記憶装置９０３は、前述の各実施形態において説明した符号化処理をＣＰＵ９００に実行させるソフトウェアプログラムである画像符号化プログラム９０４を格納する。符号化ストリーム出力部９０５は、ＣＰＵ９００がメモリ９０１にロードされた画像符号化プログラム９０４を実行することにより生成された符号化ストリームを出力する。符号化ストリーム出力部９０５は、ネットワークを介して、符号化ストリームを出力するようにしてもよい。また、符号化ストリーム出力部９０５は、ハードディスク装置等による符号化ストリーム記憶する記憶装置であってもよい。ＣＰＵ９００、メモリ９０１、映像信号入力部９０２、プログラム記憶装置９０３、符号化ストリーム出力部９０５は、バスを介して互いに接続されている。
【００９６】
図１２は、イントラ予測処理部２０２を備える画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ１０００、メモリ１００１、符号化ストリーム入力部１００２、プログラム記憶装置１００３及び復号映像出力部１００５を備えている。
【００９７】
ＣＰＵ１０００はプログラムを実行する。メモリ１００１は、ＣＰＵ１０００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。符号化ストリーム入力部１００２は、例えば、画像符号化装置１００が前述の処理により入力映像信号を符号化した符号化ストリームを入力する。なお、符号化ストリーム入力部１００２は、ハードディスク装置等による符号化ストリームを記憶する記憶装置であってもよい。プログラム記憶装置１００３は、前述の各実施形態において説明した復号処理をＣＰＵ１０００に実行させるソフトウェアプログラムである画像復号プログラム１００４を格納する。復号映像出力部１００５は、ＣＰＵ１０００がメモリ１００１にロードされた画像復号プログラム１００４を実行することにより、符号化ストリームを復号して得られた復号映像を再生装置などに出力する。なお、復号映像出力部１００５は、ハードディスク装置等による復号映像信号を記憶する記憶装置であってもよい。ＣＰＵ１０００、メモリ１００１、符号化ストリーム入力部１００２、プログラム記憶装置１００３、復号映像出力部１００５は、バスを介して互いに接続されている。
【００９８】
前述した実施形態におけるイントラ予測処理部の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００９９】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【０１００】
イントラ予測の処理においてイントラスムージングフィルタの適用判断にＱＰ値を加えることで参照画素信号に重畳されている符号化歪の大きさを判断して、イントラスムージングフィルタを適切に切り替えて、符号化効率および主観画質を改善すること、または高ビットレート時に符号化および復号処理の高速化が不可欠な用途に適用できる。
【符号の説明】
【０１０１】
１００…画像符号化装置、１０１…イントラ予測処理部、１０２…インター予測処理部、１０３…予測残差信号生成部、１０４…変換処理部、１０５…量子化処理部、１０６…逆量子化処理部、１０７…逆変換処理部、１０８…復号信号生成部、１０９…フレームメモリ、１１０…インループフィルタ処理部、１１１…インター予測情報格納部、１１２…イントラ予測情報格納部、１１３…エントロピー符号化処理部、２００…画像復号装置、２０１…エントロピー復号処理部、２０２…イントラ予測処理部、２０３…インター予測処理部、２０４…逆量子化処理部、２０５…逆変換処理部、２０６…復号信号生成部、２０７…フレームメモリ、２０８…インループフィルタ処理部、２０９…インター予測情報格納部、２１０…イントラ予測情報格納部、３０１…ブロック位置同定部、３０２…参照画素生成部、３０３…イントラ予測信号生成部、４０１、５０１…イントラ予測モード保存部、４０２、５０２…復号画素位置情報設定部、４０３、５０３…ブロックサイズ取得部、４０４、５０４…イントラスムージングフィルタ使用判定部、４０５…イントラスムージングフィルタ適用範囲修正部、４０６、５０５…イントラスムージングフィルタ実行部、４０７…ＱＰ閾値設定部、９００、１０００…ＣＰＵ、９０１、１００１…メモリ、９０２…映像信号入力部、９０３、１００３…プログラム記憶装置、９０４…画像符号化プログラム、９０５…符号化ストリーム出力部、１００２…符号化ストリーム入力部、１００４…画像復号プログラム、１００５…復号映像出力部
【図１】
0006357133.tif 000003
【図２】
0006357133.tif 000004
【図３】
0006357133.tif 000005
【図４】
0006357133.tif 000006
【図５】
0006357133.tif 000007
【図６】
0006357133.tif 000008
【図７】
0006357133.tif 000009
【図８】
0006357133.tif 000010
【図９】
0006357133.tif 000011
【図１０】
0006357133.tif 000012
【図１１】
0006357133.tif 000013
【図１２】
0006357133.tif 000014
【図１３】
0006357133.tif 000015
【図１４】
0006357133.tif 000016
【図１５】
0006357133.tif 000017
【図１６】
0006357133.tif 000018
【図１７】
0006357133.tif 000019