(57)【要約】【課題】  適応デブロッキングフィルターの方法およびその装置を提供する。【解決手段】適応デブロッキングフィルターの方法と装置が開示される。デブロッキングフィルターに関連する一つ以上のパラメータが決定される。その後、生成されたパラメータを用いるデブロッキングフィルターが、再構成ブロックに適用される。各組のパラメータは、各ピクチャ、スライス、符号化ツリーユニット (ＣＴＵ)、または、ＣＵ(符号化ユニット)に用いられる。パラメータは、ビデオビットストリームのＶＰＳ(画像パラメータセット)、ＳＰＳ(シーケンスパラメータセット)、ＰＰＳ(ピクチャパラメータセット)、スライスヘッダー、ＣＴＵ(coding tree unit)、または、ＣＵ(符号化ユニット)でシグナリングされる。パラメータは、スレショルドとして用いられる一つ以上の値、クリッピング境界、または、デブロッキングフィルターに用いるスレショルドとクリッピング境界両方に対応する。一実施形態において、カレントピクチャのパラメータが、カレント符号化を用いたピクチャ、または、前に符号化されたピクチャを訓練データとする訓練プロセスを用いて決定される。【選択図】図１
2018532318.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ復号における再構成ピクチャのデブロッキングフィルタリングの方法であって、前記方法は、
カレントピクチャの符号化されたデータを含むビデオビットストリームを受信する工程と、 
前記ビデオビットストリームから、前記カレントピクチャの再構成ブロックを生成する工程と、 
前記ビデオビットストリームから、デブロッキングフィルターに関連する一つ以上のパラメータを決定する工程と、 
前記一つ以上のパラメータを用いて、前記デブロッキングフィルターを前記再構成ブロックの境界に適用して、非ブロック化したブロックを生成する工程、および
前記非ブロック化したブロックに基づいて、復号されたピクチャを生成する工程、
を有する方法。 
【請求項２】
各組の前記一つ以上のパラメータは、各ピクチャ、スライス、符号化ツリーユニット(ＣＴＵ)、または、ＣＵ(符号化ユニット)に用いられることを特徴とする請求項１に記載の方法。
【請求項３】
前記一つ以上のパラメータは、前記ビデオビットストリームのＶＰＳ(画像パラメータセット)、ＳＰＳ(シーケンスパラメータセット)、ＰＰＳ(ピクチャパラメータセット)、スライスヘッダー、ＣＴＵ(coding tree unit)、または、ＣＵ(符号化ユニット)から生成されることを特徴とする請求項１に記載の方法。
【請求項４】
前記一つ以上のパラメータは、前記デブロッキングフィルターのためのスレショルド、クリッピング境界、またはスレショルドとクリッピング境界の両方として用いられる一つ以上の値に対応することを特徴とする請求項１に記載の方法。
【請求項５】
前記スレショルドは、Ｂｅｔａ０、Ｂｅｔａ１、および、Ｂｅｔａ２に対応し、前記クリッピング境界は、ＴｃＳ、Ｔｃ０、Ｔｃ１、および、ＴｃＣに対応することを特徴とする請求項４に記載の方法。
【請求項６】
異なる境界方向、異なる境界強度、または、量子化パラメータにおいて、前記一つ以上のパラメータは異なり、前記異なる境界方向は、垂直境界、および、水平境界に対応することを特徴とする請求項１に記載の方法。
【請求項７】
前記一つ以上のパラメータは、クリッピング境界ＴｃＣを有し、第一クロマ素子、および、第二クロマ素子に用いる前記クリッピング境界ＴｃＣは、異なることを特徴とする請求項１に記載の方法。
【請求項８】
前記第一クロマ素子、および、前記第二クロマ素子のうちの一方に用いられる前記クリッピング境界ＴｃＣは、前記第一クロマ素子、および、前記第二クロマ素子のうち別の方に用いられる前記クリッピング境界ＴｃＣにより予測されることを特徴とする請求項７に記載の方法。
【請求項９】
フラグが前記ビデオビットストリームから決定されて、前記一つ以上のパラメータが、前記ビデオビットストリームでシグナリングされるか否か示すことを特徴とする請求項１に記載の方法。 
【請求項１０】
前記フラグが前記ビデオビットストリームから決定されて、前記一つ以上のパラメータが、特定の境界強度、特定の境界方向、または、特定のカラーコンポーネントに用いられる前記ビデオビットストリームでシグナリングされるか否かを示し、前記特定の境界方向は、垂直境界、または、水平境界に対応し、前記特定のカラーコンポーネントは、ルマ素子、または、クロマ素子に対応することを特徴とする請求項９に記載の方法。
【請求項１１】
前記一つ以上のパラメータは、予測を用いて符号化されることを特徴とする請求項１に記載の方法。
【請求項１２】
第一境界方向の前記一つ以上のパラメータは、第二境界方向の前記一つ以上のパラメータにより予測され、前記第一境界方向、および、前記第二境界方向は、垂直境界、および、水平境界から構成される一群から選択され、前記第一境界方向、および、前記第二境界方向は、異なる境界方向であることを特徴とする請求項１１に記載の方法。
【請求項１３】
第一境界強度の前記一つ以上のパラメータは、第二境界強度の前記一つ以上のパラメータにより予測され、前記第一境界強度は、前記第二境界強度より大きい、または、小さいことを特徴とする請求項１１に記載の方法。
【請求項１４】
前記一つ以上のパラメータは、一組の所定のパラメータにより予測されることを特徴とする請求項１１に記載の方法。
【請求項１５】
カレントピクチャの前記一つ以上のパラメータは、前のピクチャの前記一つ以上のパラメータにより予測されることを特徴とする請求項１１に記載の方法。
【請求項１６】
前記一つ以上のパラメータは、前記デブロッキングフィルターのためのスレショルド、クリッピング境界、またはスレショルドとクリッピング境界の両方として用いられる一つ以上の値に対応し、一つのスレショルド値は、別のスレショルド値により予測される、または、一つのクリッピング境界値は、別のクリッピング境界値により予測されることを特徴とする請求項１１に記載の方法。  
【請求項１７】
前記一つ以上のパラメータは、Ｂｅｔａ０、Ｂｅｔａ１、および、Ｂｅｔａ２を含むスレショルドとして用いられる一つ以上の値を有し、 “d1 < Beta1”に対応する第一テストがスキップされ、前記ｄ１は、選択された境界を越える隣接したサンプルの第一境界活動測定に関連することを特徴とする請求項１に記載の方法。
【請求項１８】
“dp <Beta2”に対応する第二テスト、および、“dq < Beta2”に対応する第三テストがスキップされ、dp および dq は、前記選択された境界を越える隣接したサンプルの第二境界活動測定、および、第三境界活動測定に関連することを特徴とする請求項１７に記載の方法。
【請求項１９】
ビデオ復号における再構成ピクチャのデブロッキングフィルタリングの装置であって、前記装置は、一つ以上の電子機器、または、プロセッサを有し、
カレントピクチャの符号化されたデータを含むビデオビットストリームを受信し、
前記ビデオビットストリームから、前記カレントピクチャの再構成ブロックを生成し、
前記ビデオビットストリームから、デブロッキングフィルターに関連する一つ以上のパラメータを決定し、 
前記一つ以上のパラメータを用いて、前記デブロッキングフィルターを前記再構成ブロックの境界に適用して、非ブロック化したブロックを生成し、
前記非ブロック化したブロックに基づいて、復号されたピクチャを生成する、
ことを特徴とする装置。 
【請求項２０】
ビデオ符号化システムにおける再構成ピクチャのデブロッキングフィルタリングの方法であって、前記方法は、
カレントピクチャに対応する入力データを受信する工程と、
前記カレントピクチャを、前記カレントピクチャの符号化されたデータを含むビデオビットストリームで符号化する工程と、 
前記カレントピクチャの再構成ブロックを生成する工程と、 
デブロッキングフィルターに関連する一つ以上のパラメータを決定する工程と、 
前記一つ以上のパラメータを用いて、前記デブロッキングフィルターを前記再構成ブロックの境界に適用して、非ブロック化したブロックを生成して、その他のピクチャの予測の出力、または、参照データとする工程と、
前記一つ以上のパラメータを、前記ビデオビットストリームでシグナリングする工程、
を有することを特徴とする方法。 
【請求項２１】
前記一つ以上のパラメータは、前記ビデオビットストリームのＶＰＳ(画像パラメータセット)、ＳＰＳ(シーケンスパラメータセット)、ＰＰＳ(ピクチャパラメータセット)、スライスヘッダー、ＣＴＵ(coding tree unit)、または、ＣＵ(符号化ユニット)でシグナリングされることを特徴とする請求項２０に記載の方法。
【請求項２２】
前記カレントピクチャの前記一つ以上のパラメータは、訓練プロセスを用いて決定されることを特徴とする請求項２０に記載の方法。
【請求項２３】
カレント符号化を用いたピクチャ、または、前に符号化されたピクチャを訓練データとすることにより、一つ以上の表が用いられて、前記デブロッキングフィルターに関連するターゲット値を一覧にすることを特徴とする請求項２２に記載の方法。
【請求項２４】
前記一つ以上のパラメータは、一つ以上のスレショルドに対応し、前記一つ以上の表は、各種候補スレショルドのひずみを一覧にし、且つ、前記一つ以上のスレショルドが、最小ひずみ値を達成する候補スレショルドから決定されることを特徴とする請求項２３に記載の方法。
【請求項２５】
前記一つ以上のパラメータは、一つ以上のクリッピング境界に対応し、前記一つ以上の表は、各種クリッピング境界のひずみを一覧にし、且つ、前記一つ以上のクリッピング境界が、最小ひずみ値を達成する候補クリッピング境界から決定されることを特徴とする請求項２３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１５年９月１４日に出願されたＰＣＴ／ＣＮ２０１５／０８９５２３号の優先権を主張するものであり、参照によりその全体が本願に組み込まれる。
【０００２】
本発明は、ビデオ、および、イメージデータの符号化に関するものであって、特に、本発明は、デブロッキング(deblocking)フィルタリングを再構成に用いて、ビデオ品質を改善する技術に関するものである。
【背景技術】
【０００３】
ビデオデータは、保存するための多くの保存空間、および、送信するための広帯域幅を必要とする。高い解像度、および、高いフレームレートの成長に伴い、ビデオデータが非圧縮形式で保存、または、送信される場合、ストレージ、または、伝送帯域幅に対する要求は非常に高い。これにより、ビデオデータは、よく、ビデオ符号化技術を用いて、圧縮フォーマットで保存、または、送信される。符号化効率は、実質的に、最新の画像圧縮フォーマット、たとえば、Ｈ.２６４／ＡＶＣ、および、新興のＨＥＶＣ(高効率ビデオ符号化)標準を用いて改善されている。
【０００４】
高効率ビデオ符号化(ＨＥＶＣ)システムにおいて、Ｈ.２６４／ＡＶＣの固定サイズのマクロブロックは、符号化ユニット(ＣＵ)と称される、フレキシブルブロックにより代替される。ＣＵ中の画素は、同じ符号化パラメータを共有して、符号化効率を改善する。ＣＵは、ＨＥＶＣにおいて、符号化ツリーユニット(ＣＴＵ)とも称される最大ＣＵ(ＬＣＵ)から開始される。符号化ユニットのコンセプトに加え、予測ユニット(ＰＵ)のコンセプトも、ＨＥＶＣに導入される。ＣＵ階層木の分割が一旦行われると、各リーフＣＵは、予測タイプとＰＵ分割にしたがって、さらに、一つ以上の予測ユニット(ＰＵ)に分割される。さらに、変換符号化の基本ユニットは、変換ユニット(ＴＵ)と称される四角サイズである。 
【０００５】
ビデオ符号化標準Ｈ.２６５／ＨＥＶＣにおいて、ピクチャの再構成後、デブロッキングフィルターが適用される。符号化ユニット、予測ユニット、または、変換ユニット間の境界がフィルタリングされて、ブロックベースの符号化により生じるブロッキングアーティファクトを軽減する。境界は、垂直、または、水平境界である。垂直境界(１１０)と水平境界(１２０)のデブロッキングフィルター中に含まれる境界画素が、それぞれ、図１（Ａ）と図１（Ｂ）で示される。
【０００６】
ＨＥＶＣにおいて、ルマ画素とクロマ画素は、デブロッキングプロセス中、異なる方法で処理される。表１に示されるように、境界強度(ＢＳ)値は、二個の隣接ブロックＰとＱの符号化モードにしたがって、各境界に対して計算される:
【表１】
2018532318.tif 000003
【０００７】
2018532318.tif 000004
【数１】
2018532318.tif 000005
【０００８】
図３は、ＨＥＶＣによって、図２に示される４ラインの各ラインをフィルタリングするフローチャートである。図２において、境界２１０の一方側の４画素は、境界に一番近い画素から境界から一番遠い画素まで、p0, p1, p2 および p3 として表記される。境界２１０のもう一方側の４画素は、境界に一番近い画素から境界から一番遠い画素まで、q0, q1, q2 および q3 として表記される。図３において、上述のように生成される境界強度、および、境界画素特性に基づいた各種テスト(３１２、３１４、３１６、３１８、３２４および３２６)が実行されて、強いフィルタリング(３２０)、弱いフィルタリング(３２２、３２８と３３０)があるか否か、または、４ラインに対しフィルタリングがない(３３２)、または、１ラインに対しフィルタリングがないか否か判断する(３３４)。図３において、Ｂｅｔａ０、Ｂｅｔａ１、および、Ｂｅｔａ２はスレショルド値で、ビデオビットストリームでシグナリングされるB_Table または T_Table から決定される。図３において、ＴｃＳ、Ｔｃ０、Ｔｃ１は、クリッピング境界値、または、クリッピング境界に対応し、ビデオビットストリーム中でシグナリングされるT_Tableから決定される。  
【０００９】
強いデブロッキングフィルタリングにおいて、デブロッキングフィルターは以下のように実行され、p0′, p1′, p2′, q0′, q1′ および q2′はフィルタリングされた画素である:
【数２】
2018532318.tif 000006
【００１０】
弱いデブロッキングフィルタリングにおいて、デブロッキングフィルターは以下のように実行され、p0′, p1′, p2′, q0′, q1′ および q2′は、フィルタリングされた画素である:
【数３】
2018532318.tif 000007
【００１１】
方程式(３)中のDの絶対値は、ｄ１(つまり、d1 = |D|)と称される。便宜上、ｄ１は、第一境界活動測定と称される。上述の dp と dq は、本開示中で、それぞれ、第二境界活動測定と第三境界活動測定と称される。 
【００１２】
４ライン中のクロマ素子の単一ラインのフィルタリングが図２に示され、フィルタリングフローチャートが図４に示される。フローチャートは、輝度コンポーネントよりずっと簡単である。境界強度(ＢＳ)が１より大きいか否かが工程４１０でチェックされる。工程４２０において、結果が“Ｙ”である場合(つまり、はい)、デブロッキングフィルタリングが実行される。そうでない場合(つまり、 “いいえ”)、このラインに適用されるフィルタリングがない。図４において、ＴｃＣは、ビデオビットストリーム中でシグナリングされるT_Tableから決定されるクリッピング境界である。
【００１３】
クロマ素子のデブロッキングフィルタリングにおいて、デブロッキングフィルターは以下のように実行され、p0′と q0′は、フィルタリングされた画素である:
【数４】
2018532318.tif 000008
【００１４】
スレショルドおよびクリッピング境界は以下のように設定される:
【数５】
2018532318.tif 000009
【００１５】
上記のスレショルドとクリッピング境界において、B_Table および T_Table は、標準で定義される二個の固定の表であり、且つ、エンコーダとデコーダ両方で維持されなければならない。B_Table はスレショルド値に対応し、且つ、各種ＱＰ(量子化パラメータ)のビデオビットストリームでシグナリングされる。T_Table は、クリッピング境界に対応するとともに、各種ＱＰとＢＳ値のビデオビットストリームでシグナリングされる。スレショルド、および、クリッピング境界は、フィルター決定のためのパラメータを決定するのに用いられる。
【００１６】
現在のデブロッキングフィルタリング方法は、常に、異なる種類のシーケンスに対して最高の主観的、および、客観的パフォーマンスを達成することができない。したがって、デブロッキングフィルターを低層ピクチャ(underlying picture)、または、一部のピクチャに適応させて、パフォーマンスを改善する技術を発展させることが望まれる。
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本発明は、ビデオ符号化における進化型デブロッキングフィルターの方法およびその装置を提供する。
【課題を解決するための手段】
【００１８】
適応デブロッキングフィルターの方法と装置が開示される。本発明によると、デブロッキングフィルターに関連する一つ以上のパラメータが決定される。その後、生成されたパラメータを用いるデブロッキングフィルターが再構成ブロックに適用される。各組のパラメータは、各ピクチャ、スライス、符号化ツリーユニット(ＣＴＵ)またはＣＵ(符号化ユニット)に用いられる。パラメータは、ビデオビットストリームのＶＰＳ(画像パラメータセット)、ＳＰＳ(シーケンスパラメータセット)、ＰＰＳ(ピクチャパラメータセット)、スライスヘッダー、ＣＴＵ(coding tree unit)、または、ＣＵ(符号化ユニット)でシグナリングされる。パラメータは、デブロッキングフィルターのスレショルドとして用いられる一つ以上の値、クリッピング境界、または、スレショルドとクリッピング境界両方に対応する。たとえば、スレショルドは、Ｂｅｔａ０、Ｂｅｔａ１、および、Ｂｅｔａ２に対応し、クリッピング境界は、ＴｃＳ、Ｔｃ０、Ｔｃ１、および、ＴｃＣに対応する。
【００１９】
異なるパラメータは、異なる境界方向(つまり、垂直または水平)、異なる境界強度、または、異なる量子化パラメータに用いられる。クリッピング境界ＴｃＣにおいて、異なるＴｃＣは、ＵコンポーネントとＶコンポーネントに用いられる。
【００２０】
フラグが、ビデオビットストリームでシグナリングされて、パラメータがビデオビットストリームでシグナリングされるか否か示す。たとえば、フラグがシグナリングされて、パラメータが、特定の境界強度、特定の境界方向(つまり、垂直または水平)、または、特定のカラーコンポーネント(たとえば、ルマ素子、または、クロマ素子)のビデオビットストリームでシグナリングされるか否か示す。 
【００２１】
符号化効率を改善するため、パラメータは、予測を用いて符号化される。たとえば、第一境界方向(たとえば、垂直または水平)のパラメータが、第二境界方向 (たとえば、水平または垂直)のパラメータにより予測される。別の例において、第一境界強度のパラメータは、第二境界強度のパラメータにより予測され、第一境界強度は、第二境界強度より大きいか、または、小さい。パラメータも、一組の所定のパラメータにより予測される。カレントピクチャのパラメータは、前のピクチャの一つ以上のパラメータにより予測される。別の実施形態において、一スレショルド値は、別のスレショルド値により予測されるか、または、一クリッピング境界値は、別のクリッピング境界値により予測される。
【００２２】
デブロッキングフィルタリングに関する複雑度を減少させるため、決定工程“d1 < Beta1”がスキップされ、ｄ１は、選択された境界を越える隣接したサンプルの第一不連続境界活動測定に関連する。さらに、追加の決定工程“dp < Beta2”と“dq < Beta2”もスキップされ、dp と dq は、選択された境界を越える隣接したサンプルの第二境界活動測定、および、第三境界活動測定に関連する。
【００２３】
本発明の別の態様は、訓練プロセスを用いてパラメータを生成する方法を開示する。特に、一つ以上の表は、カレント符号化ピクチャ、または、前の符号化ピクチャを訓練データとして用いることにより、デブロッキングフィルターに関連するターゲット値を一覧にするのに用いられる。スレショルドにおいて、表は、各種候補スレショルドのひずみを一覧にし、スレショルドが、最小ひずみ値を達成する候補スレショルドから決定される。クリッピング境界において、表は、各種候補クリッピング境界のひずみを一覧にし、クリッピング境界は、最小ひずみ値を達成する候補クリッピング境界から決定される。
【発明の効果】
【００２４】
処理を簡潔にしつつ、パフォーマンスを改善することができる。
【図面の簡単な説明】
【００２５】
【図１】図１（Ａ）は、デブロッキングフィルタリングに用いる垂直境界、および、垂直境界の両側上にある二ブロック(ＰとＱ)の相関サンプルを示す図である。図１（Ｂ）は、デブロッキングフィルタリングに用いる水平境界、および、水平境界の両側にある二ブロック(ＰとＱ)の相関サンプルを示す図である。
【図２】図２は、デブロッキングフィルタリングに用いる垂直境界、および、垂直境界の両側の一ラインの相関サンプルを示す図である。
【図３】図３は、ルマ素子の単一ラインをデブロッキングフィルタリングするフローチャートの例である。
【図４】図４は、クロマ素子の単一ラインをデブロッキングフィルタリングするフローチャートの例である。
【図５】図５は、エンコーダからデコーダに送信されるデブロッキングフィルターに関連する情報の例を示す図である。
【図６】図６は、“d1<beta1”に対応する一テスト工程を除去することにより、ルマ素子の単一ラインを簡潔にデブロッキングフィルタリングするフローチャートの例である。
【図７】図７は、“dp<beta2”と “dp<beta2”に対応する追加のテスト工程を除去することにより、ルマ素子の単一ラインをさらに簡潔にデブロッキングフィルタリングするフローチャートの例である。
【図８】図８は、表を用いた訓練プロセスに基づく、最適スレショルドＴを生成する例を示す図である。
【図９】図９は、表を用いた訓練プロセスに基づく、最適クリッピング境界値Ｔｃを生成する例を示す図である。
【図１０】図１０は、本発明の一実施形態による適応デブロッキングフィルターを用いた例示的なビデオ復号のフローチャートである。
【図１１】図１１は、本発明の一実施形態による適応デブロッキングフィルターを用いた例示的なビデオ符号化フローチャートである。
【発明を実施するための形態】
【００２６】
以下の記述は、本発明を実行する最高の予定モードである。この記述は、本発明の一般概念を説明するためのものであり、範囲の限定を意図するものではない。本発明は、付加される請求項を基準とすることにより最適に決定される。
【００２７】
以下の記述において、Ｙコンポーネントはルマ素子と同一であり、ＵコンポーネントはＣｂコンポーネントと同一であり、ＶコンポーネントはＣｒコンポーネントと同一である。クロマ素子は、Ｕコンポーネント、または、Ｖコンポーネントである。 
【００２８】
デブロッキングフィルタリングのパフォーマンスをさらに改善するため、本発明において、進化した方法が開示される。従来のデブロッキングフィルタリングプロセスにおいて、底層イメージデータの局部特徴にかかわらず、全シーケンスに用いるパラメータは、通常、固定である。本発明によると、パラメータは、底層イメージデータに局部的に適用される。たとえば、デブロッキングフィルターは、ピクチャ、スライス、符号化ツリーユニット(ＣＴＵ)、または、ＣＵごとに具体的に決定することができる。パラメータは、スレショルド(たとえば、Ｂｅｔａ０、Ｂｅｔａ１、および、Ｂｅｔａ２)、クリッピング境界(たとえば、ＴｃＳ、Ｔｃ０、Ｔｃ１およびＴｃＣ)、または、両方の値に対応してもよい。
【００２９】
一実施形態において、デブロッキングフィルタリングに用いられるパラメータ(たとえば、Ｂｅｔａ０、Ｂｅｔａ１とＢｅｔａ２、および、ＴｃＳ、Ｔｃ０、Ｔｃ１とＴｃＣのようなスレショルドとクリッピング境界の値)は、エンコーダからデコーダにシグナリングされる。図５は、情報が、エンコーダ５１０からデコーダ５２０に送信される例を説明する図であり、送信される情報は、ＢＳが１に等しく、且つ、境界方向が垂直エッジ５３２に等しいパラメータ、ＢＳが２に等しく、且つ、境界方向が垂直エッジ５３４に等しいパラメータ、ＢＳが１に等しく、且つ、境界方向が水平エッジ５３６に等しいパラメータ、および、ＢＳが２に等しく、且つ、境界方向が水平エッジ５３８に等しいパラメータに対応する。スレショルドとクリッピング境界のパラメータは、選択された構文解析レベル、たとえば、画像パラメータセット(ＶＰＳ)、シーケンスパラメータセット(ＳＰＳ)、ピクチャパラメータセット(ＰＰＳ)、スライスヘッダー(ＳＨ)、符号化ツリーユニット(ＣＴＵ)、または、ＣＵ(符号化ユニット)でシグナリングされる。
【００３０】
フラグが用いられて、スレショルドとクリッピング境界のパラメータがシグナリングされるか否かを示す。パラメータがシグナリングされない場合、所定のパラメータ、たとえば、ＨＥＶＣ標準中で定義されるパラメータが適用される。
【００３１】
フラグがシグナリングされて、特定の条件のスレショルドとクリッピング境界のパラメータがシグナリングされるか否かを示す。たとえば、フラグがシグナリングされて、特定のＢＳのスレショルドとクリッピング境界のパラメータがシグナリングされるか否かを示す。パラメータがシグナリングされない場合、所定のパラメータ、たとえば、ＨＥＶＣ標準で定義されるパラメータがこのＢＳに用いられる。同様に、フラグがシグナリングされて、特定の境界方向、たとえば、垂直境界または水平境界のスレショルドとクリッピング境界のパラメータがシグナリングされるか否かを示す。パラメータがシグナリングされない場合、所定のパラメータ、たとえば、ＨＥＶＣ標準で定義されるパラメータは、この特定の境界方向のデブロッキングフィルタリングに適用される。
【００３２】
フラグがシグナリングされて、特定のコンポーネント、たとえば、ルマ素子またはクロマ素子のスレショルドとクリッピング境界のパラメータがシグナリングされるか否か示す。パラメータがシグナリングされない場合、所定のパラメータ、たとえば、ＨＥＶＣ標準で定義されるパラメータは、この特定のコンポーネントのデブロッキングフィルタリングに適用される。別の実施形態において、フラグがシグナリングされて、スレショルドとクリッピング境界のパラメータ、たとえば、一つ以上の特定のコンポーネント、たとえば、Ｕ、Ｖ、または、ＵＶコンポーネントのＴｃＣがシグナリングされるか否かを示す。パラメータがシグナリングされない場合、所定のパラメータ、たとえば、ＨＥＶＣ標準で定義されるパラメータは、この特定のコンポーネント、または、複数のコンポーネントのデブロッキングフィルタリング中に適用される。
【００３３】
さらに別の実施形態において、スレショルドとクリッピング境界のパラメータ、たとえば、Ｂｅｔａ０、Ｂｅｔａ１とＢｅｔａ２、ＴｃＳ、Ｔｃ０、Ｔｃ１とＴｃＣは、垂直および水平のデブロッキングフィルタリングに対し異なる。異なる境界強度に用いるスレショルドとクリッピング境界のパラメータも異なる場合がある。また、異なるＱＰ(量子化パラメータ)に用いるスレショルドとクリッピング境界のパラメータも異なっていてもよい。 
【００３４】
スレショルドとクリッピング境界のパラメータは、従来の任意の符号化方法、たとえば、ＨＥＶＣ標準で定義される固定長符号化、または、ＶＬＣ(variable length coding)符号化によりシグナリングされる。
【００３５】
スレショルドとクリッピングのパラメータは、予測を用いて、予測方法でシグナリングされる。たとえば、水平デブロッキングフィルタリングのパラメータは、垂直デブロッキングフィルタリングのパラメータにより予測することができる。同様に、垂直デブロッキングフィルタリングのパラメータは、水平デブロッキングフィルタリングのパラメータにより予測することができる。さらに別の実施形態において、ＢＳがＸに等しいパラメータは、ＢＳがＹに等しいパラメータにより予測され、ＸとＹは{０、１、２}に属し、且つ、ＸはＹより大きいか小さい。
【００３６】
スレショルドとクリッピングのパラメータは、ある所定の値によっても予測できる。たとえば、パラメータは、ＨＥＶＣ標準で用いられる所定の値により予測することができる。あるいは、スレショルドとクリッピングのパラメータは、前のピクチャの対応するパラメータにより予測することができる。 
【００３７】
スレショルドとクリッピング境界のパラメータ たとえば、Ｂｅｔａ０、Ｂｅｔａ１とＢｅｔａ２、および、ＴｃＳ、Ｔｃ０、Ｔｃ１とＴｃＣも、１つの方式で予測することができる。たとえば、Ｂｅｔａ２は、Ｂｅｔａ１により予測でき、および、Ｂｅｔａ１は、Ｂｅｔａ０により予測できる。別の実施形態において、ＴｃＳは、ＴｃＯにより予測でき、および、ＴｃＯは、Ｔｃ１により予測できる。別の実施形態において、ＴｃＣは、ＴｃＣにより予測される。
【００３８】
Ｔｏｃのようなスレショルドとクリッピング境界のパラメータは、コンポーネントＵおよびＶについてと異なり、それぞれ、ＴｃＣＵ、および、ＴｃＣＶとして示される。さらに、エンコーダからデコーダにシグナリングされるとき、ＴｃＣＶは、ＴｃＣＵにより予測することができる。同様に、エンコーダからデコーダにシグナリングされるとき、ＴｃＣＵはＴｃＣＶにより予測することができる。
【００３９】
処理を簡潔にして、パフォーマンスを改善、または、両方のために、本発明の一態様は、改善されたデブロッキング決定を開示する。一実施形態において、d1 < beta1の試験条件が除去することができる。この実施形態によるデブロッキングフィルタリングのフローチャートが図６で示され、フローチャートは、テスト“d1 < beta1” (３１８)が図６では省略されていることを除き、図３と実質的に同じである。 
【００４０】
一実施形態において、d1 < beta1、dp < beta2 および dq < beta2の試験条件も除去することができる。この実施形態のデブロッキングフィルタリングのフローチャートが図７で示され、フローチャートは、テスト“dp < beta2” (３２４)および “dq < beta2” (３２６)が図７では省略されていることを除き、図６と実質的に同じである。 
【００４１】
注意すべきことは、前述の実施形態で記述されるように、選択された境界を越える隣接したサンプル(たとえば、d1, dp および dq)の境界活動測定は、説明が目的であり、および、本発明の応用はこれに限定されないことである。つまり、その他の境界活動測定が用いられる場合、開示される方法にも応用することができる。
【００４２】
本発明の別の態様は、パラメータの生成を開示する。特に、デブロッキングフィルタリングに用いられるパラメータは、エンコーダ中の訓練プロセスにより得られる。訓練プロセスにおいて、表ベースのアルゴリズムは、訓練されたパラメータを獲得するのに適用され、表は、パラメータの派生に関連するターゲット値を保存するのに用いられる。たとえば、値(この開示において、ターゲット値)は、オリジナルデータ、および、処理済みデータ間のひずみに対応する。アルゴリズムは、さらに、ヒストグラムベースとしてみなすことができる。
【００４３】
最適スレショルドを探す方法に関連する問題点が以下のように記述される: 
● 各テスト条件において、d (たとえば、ＨＥＶＣ中のd0)が計算される。
● d < T の場合、ラインがフィルタリングされる。そうでなければ、フィルタリングされない。
● デブロッキングフィルタリング後に、総ひずみを最小にすることができる最適 T (つまり、スレショルド)をどのように見つけるか。 
【００４４】
本発明による上記問題を解決するアルゴリズムが以下で記述される:
● 全エントリーが０に初期化された表Ｓを作る。
● 各試験条件に対し、d が計算される。
● 非フィルタリング、および、フィルタリング状況下で、それぞれ、この境界のひずみD0 および D1 を得る。
● 全 k<=dに対し、S[k] += D0 。 全 k>d に対し、S[k] += D1  。
● 訓練中、全境界のデブロッキングフィルタリング処理後、最小 S[p]を見つけ、この p は最適 Tである。
【００４５】
上述のプロセスによると、表S[d]は、全候補スレショルド値dのひずみを保存するのに用いられる。最小ひずみを有する候補スレショルド p は、最適スレショルドとして選択される。図８は、最適Tを探す例を示す。この簡単な例において、フィルタリングされるのは、全部で３つの境界線である。図８に示されるように、３つの境界線のS 表 は、訓練により作成される。ライン０において、ｄ=５なので、インデックス０からインデックス５の表中の値はＤ０=１２０で充填され、インデックス６およびそれ以上の値はＤ１=１００で充填される。ライン１において、ｄ=７なので、インデックス０からインデックス７の値はＤ０=５０が加えられ、および、その他は、Ｄ１=６０が加えられる。ライン２において、ｄ=６なので、インデックス０からインデックス６の値は、さらに、Ｄ０=３０が加えられ、および、その他は、さらに、Ｄ１=２０が加えられる。訓練プロセス後、S(7)は最小値(つまり、１００ + ５０ + ２０=１７０)を有する。これにより、７の値が、最適 Tとして選択される。
【００４６】
最適クリッピング境界を探す方法に関連する問題点が以下のように記述される:
● 値 X (オリジナルのサンプル値がX0)であるサンプルにおいて、クリッピングがないデブロッキングフィルタリング後のサンプル値は、 X’として計算される。
● 出力フィルタリング値はClip3( X-Tc, X+Tc, X’)である。
● デブロッキングフィルタリング後の総ひずみを最小にすることができる最適Tcをどのようにして探すか？
【００４７】
本発明による上述の問題を解決するアルゴリズムが以下で記述される:
● 全エントリーが０に初期化された表Ｓを作る。
● 各サンプルに対し、d = |X-X’|を計算する。
● 全 k>=dに対し、S[k] += (X’-X0)２ 
● X <= X’の場合、全 k<dに対し、S[k] += (X+k-X0)２; X > X’の場合、全 k<d に対し、S[k] += (X-k-X0)２ 
● 全サンプルの処理後、最小S[p]を探し、このp は最適 Tcである。
【００４８】
図９は、最適 Tcを探す例を示す図である。この簡単な例において、全部で３つのサンプルがフィルタリングされる。図９に示されるように、３サンプルのＳ表が訓練により作成される。訓練プロセス後、S(1) は最小値(つまり、42 + 72 + 22=69)を有する。これにより、１の値が最適 Tcとして選ばれる。
【００４９】
デブロッキングプロセスで互いに影響されるいくつかのパラメータがある。これにより、反復戦略が、以下のように、訓練プロセスに適用することができる:
工程１:初期化:まず、フィルタリングプロセスで、オリジナルパラメータ(たとえば、ＨＥＶＣで予め定義されるパラメータ)を使用して訓練パラメータを得る。
工程２:訓練周期:フィルタリングプロセスで、古いパラメータ(最後の訓練周期中の訓練パラメータ)を使用して新しい訓練パラメータを得る。
工程３:終了:ピクチャの速度ひずみ(ＲＤ)コスト、または、総ひずみが減少しなくなるまで、工程２を繰り返す。
【００５０】
カレント符号化ピクチャ上の訓練プロセスを用いることにより、デブロッキングフィルタリングに用いられるパラメータが得られる。しかし、カレント符号化ピクチャに基づいた訓練プロセスの結果を待つので、処理遅延を生じる。したがって、別の実施形態において、前の符号化ピクチャ上の訓練プロセスにより、デブロッキングフィルタリングに用いられるパラメータが得られる。たとえば、フレーム K-1上の訓練プロセスにより、フレームＫでシグナリングされたデブロッキングフィルタリングのパラメータが得られる。 
【００５１】
一実施形態において、デコーダでの訓練プロセスにより、デブロッキングフィルタリングに用いられるパラメータが得られる。この方法で、パラメータは、エンコーダからデコーダにシグナリングされない。しかし、この場合、パラメータは、エンコーダとデコーダ両方で、同じ方法で生成されなければならない。 
【００５２】
図１０は、本発明の一実施形態による適応デブロッキングフィルターを用いた例示的なビデオ復号のフローチャートである。この方法によると、工程１０１０において、カレントピクチャの符号化されたデータを含むビデオビットストリームが受信される。工程１０２０において、カレントピクチャの再構成ブロックが、ビデオビットストリームから生成される。工程１０３０において、デブロッキングフィルターに関連する一つ以上のパラメータが、ビデオビットストリームから決定される。工程１０４０において、一つ以上のパラメータを用いて、デブロッキングフィルターが再構成ブロックの境界に適用されて、非ブロック化したブロックを生成する。工程１０５０において、非ブロック化したブロックに基づいて、復号されたピクチャが生成される。この分野で知られているように、デブロッキングフィルターの後、追加のインループ処理、たとえば、ＳＡＯ(sample adaptive offset)が起用されて、最終の復号されたピクチャを生成する。この復号されたピクチャは、出力ピクチャとして用いられるか、または、リファレンス画像バッファ中に保存される。
【００５３】
図１１は、本発明の一実施形態による適応デブロッキングフィルターを用いた例示的なビデオ符号化のフローチャートである。この方法によると、工程１１１０において、カレントピクチャに対応する入力データを受信する。工程１１２０において、カレントピクチャが、カレントピクチャの符号化されたデータを含むビデオビットストリームに符号化される。工程１１３０において、カレントピクチャの再構成ブロックが生成される。工程１１４０において、デブロッキングフィルターに関連する一つ以上のパラメータが決定される。工程１１５０において、一つ以上のパラメータを用いて、デブロッキングフィルターが再構成ブロックの境界に適用されて、デブロック化したブロックを生成して、その他のピクチャの予測に用いられる出力、または、参照データとする。工程１１６０において、前述の一つ以上のパラメータが、ビデオビットストリームでシグナリングされる。
【００５４】
示されるフローチャートは、本発明によるビデオ符号化の例を説明することを目的としている。当業者は、各工程を修正、複数の工程を再設定、工程を分割することができ、あるいは、本発明の精神を逸脱しない範囲で、工程を組み合わせて、本発明を実施することができる。この開示において、本発明の実施形態を実施するための例を説明するために、特定の構文解析、および、意味論が用いられている。当業者は、本発明の精神を逸脱しない条件下で、構文解析と意味論を、同等の構文解析と意味論で代替することにより、本発明を実施することができる。
【００５５】
上の記述は、当業者が、本発明の上下文中で提供される特定のアプリケーション、および、その要求を実現することができるように提示されている。記述される実施形態に対する各種変更は、当業者には明らかであり、および、ここで定義される一般的原理も、その他の実施形態に応用できる。これにより、本発明は、図示、および、記述される特定の実施形態に限定されることを目的としておらず、ここで開示される原理と新規特徴と一致する広い範囲が与えられる。上述の詳細な記述において、各種特定の詳細が説明されて、本発明の完全な理解を提供する。それでもなお、理解できることは、当業者なら、本発明が実施できることである。
【００５６】
上記の本発明の実施形態は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実施されてもよい。たとえば、本発明の一実施形態は、ビデオ圧縮チップに組み込まれる一つ以上の回路、または、ビデオ圧縮ソフトウェアに統合されて、ここで記述される処理を実行するプログラムコードである。本発明の一実施形態は、さらに、デジタルシグナルプロセッサ(ＤＳＰ)で実行され、ここで開示される処理を実行するプログラムコードであってもよい。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)により実行される多数の機能を含むことができる。これらのプロセッサが設置されて、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明にしたがって、特定のタスクを実行することができる。ソフトウェアコード、または、ファームウェアコードは、異なるプログミング言語、および、異なるフォーマット、または、スタイルで開発することができる。ソフトウェアコードは、さらに、異なるターゲットプラットフォームにコンパイルすることもできる。しかし、ソフトウェアコードの異なるコードフォーマット、スタイル、および、言語、および、コードを設定して、本発明にしたがってタスクを実行するその他の手段は、本発明の精神と範囲を逸脱しない。
【００５７】
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の思想を脱しない範囲内で各種の変形を加えることができる。
【図１】
2018532318.tif 000010
【図２】
2018532318.tif 000011
【図３】
2018532318.tif 000012
【図４】
2018532318.tif 000013
【図５】
2018532318.tif 000014
【図６】
2018532318.tif 000015
【図７】
2018532318.tif 000016
【図８】
2018532318.tif 000017
【図９】
2018532318.tif 000018
【図１０】
2018532318.tif 000019
【図１１】
2018532318.tif 000020
【国際調査報告】
2018532318.tif 000021
2018532318.tif 000022
2018532318.tif 000023
2018532318.tif 000024