(57)【要約】本発明においては、映像符号化／復号化方法及びそのための装置が開示される。具体的には、復号化装置が映像をフィルタリングする方法において、クワッドツリー（ｑｕａｄ−ｔｒｅｅ）とバイナリツリー（ｂｉｎａｒｙ−ｔｒｅｅ）構造に分割されたブロックの境界を導出する段階と、前記ブロックの境界の内、デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタリングが適用されるエッジを決定する段階と、前記エッジに適用されるデブロッキングフィルタリングのタイプを決定する段階及び、前記デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルデブロッキングフィルタリングを実行する段階を含み、前記ブロックの幅または高さを考慮して前記エッジまたは前記デブロッキングフィルタリングのタイプが決定されることができる。【選択図】図１
2019525671.tif 000002
【特許請求の範囲】
【請求項１】
復号化装置が映像をフィルタリングする方法において、
クワッドツリー（ｑｕａｄ−ｔｒｅｅ）とバイナリツリー（ｂｉｎａｒｙ−ｔｒｅｅ）構造に分割されたブロックの境界を導出する段階と、
前記ブロックの境界の内、デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタリングが適用されるエッジを決定する段階と、
前記エッジに適用されるデブロッキングフィルタリングのタイプを決定する段階と、
前記デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルにデブロッキングフィルタリングを実行する段階と、を含み、
前記ブロックの幅または高さを考慮して、前記エッジまたは前記デブロッキングフィルタリングのタイプが決定される、映像フィルタリング方法。
【請求項２】
前記エッジのタイプが垂直エッジである場合、前記ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記エッジが決定される、請求項１に記載の映像フィルタリング方法。
【請求項３】
前記エッジのタイプが水平エッジである場合、前記ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用された、ピクセルに基づいて、前記エッジ（ｅｄｇｅ）が決定される、請求項１に記載の映像フィルタリング方法。
【請求項４】
前記エッジのタイプが垂直エッジである場合、前記ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記デブロッキングフィルタリングのタイプが決定される、請求項１に記載の映像フィルタリング方法。
【請求項５】
前記エッジのタイプが水平エッジである場合、前記ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記デブロッキングフィルタリングのタイプが決定される、請求項１に記載の映像フィルタリング方法。
【請求項６】
前記エッジのタイプが垂直エッジである場合、前記ブロックの幅が８以上であるブロックの境界の内でのみ、前記エッジが決定される、請求項１に記載の映像フィルタリング方法。
【請求項７】
前記エッジのタイプが水平エッジである場合、前記ブロックの高さが８以上であるブロックの境界の内でのみ、前記エッジが決定される、請求項１に記載の映像フィルタリング方法。
【請求項８】
前記エッジのタイプが垂直エッジである場合、前記ブロックの幅が４以下であれば、前記デブロッキングフィルタリングのタイプは、弱いフィルタリングに決定される、請求項１に記載の映像フィルタリング方法。
【請求項９】
前記エッジのタイプが水平エッジである場合、前記ブロックの高さが４以下であれば、前記デブロッキングフィルタリングのタイプは、弱いフィルタリングに決定される、請求項１に記載の映像フィルタリング方法。
【請求項１０】
前記エッジのタイプが垂直エッジ（ｖｅｒｔｉｃａｌ  ｅｄｇｅ）である場合、前記ブロックの幅（ｗｉｄｔｈ）が４以下であれば、前記デブロッキングフィルタリングのタイプは、強いフィルタリングで決定され、
前記強いフィルタリングは、前記エッジの左側及び右側にそれぞれ隣接する２つのピクセル列のみに適用される、請求項１に記載の映像フィルタリング方法。
【請求項１１】
前記エッジのタイプが水平エッジ（ｈｏｒｉｚｏｎｔａｌ  ｅｄｇｅ）である場合、前記ブロックの高さ（ｈｅｉｇｈｔ）が４以下であれば、前記デブロッキングフィルタリングのタイプは、強いフィルタリングで決定され、
前記強いフィルタリングは、前記エッジの上側及び下側にそれぞれ隣接する２つのピクセル列のみに適用される、請求項１に記載の映像フィルタリング方法。
【請求項１２】
デブロッキングフィルタリングが適用される前に、ピクセルに基づいて、前記エッジ（ｅｄｇｅ）が決定される、請求項１に記載の映像フィルタリング方法。
【請求項１３】
デブロッキングフィルタリングが適用される前に、ピクセルに基づいて、前記デブロッキングフィルタリングのタイプが決定される、請求項１に記載の映像フィルタリング方法。
【請求項１４】
前記ブロックが属するスライスがイントラスライス（Ｉ−ｓｌｉｃｅ：Ｉｎｔｒａ  ｓｌｉｃｅ）である場合、前記ブロックが色彩ブロック（ｃｈｒｏｍａ  ｂｌｏｃｋ）かどうかとは無関係に、前記エッジ及び前記デブロッキングフィルタリングのタイプが決定される、請求項１に記載の映像フィルタリング方法。
【請求項１５】
映像をフィルタリングする復号化装置において、
クワッドツリー（ｑｕａｄ−ｔｒｅｅ）とバイナリツリー（ｂｉｎａｒｙ−ｔｒｅｅ）構造に分割されたブロックの境界を導出するブロック境界導出部と、
前記ブロックの境界の内、デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタリングが適用されるエッジ（ｅｄｇｅ）を決定するエッジ決定部と、
前記エッジに適用されるデブロッキングフィルタリングのタイプを決定するフィルタリングのタイプ決定部と、
前記デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルデブロッキングフィルタリングを実行するフィルタリング部と、を含み、
前記ブロックの幅または高さを考慮して、前記エッジまたは前記デブロッキングフィルタリングのタイプが決定される、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止映像または動映像の処理方法に関し、さらに詳細にはデブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタリングを実行する方法と、これを支援する装置に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を介して送信したり、格納媒体に適した形態で格納するための一連の信号処理技術を意味する。画像、イメージ、音声等のメディアが圧縮符号化の対象になることができ、特に、画像を対象として圧縮符号化を行う技術をビデオ画像圧縮と称する。
【０００３】
次世代ビデオコンテンツは、高解像度（ｈｉｇｈ  ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈ  ｆｒａｍｅ  ｒａｔｅ）、及び画像表現の高次元化（ｈｉｇｈ  ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  ｏｆ  ｓｃｅｎｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有するようになるであろう。そのようなコンテンツを処理するためには、メモリ格納（ｍｅｍｏｒｙ ｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙ  ａｃｃｅｓｓ  ｒａｔｅ）、及び処理電力（ｐｒｏｃｅｓｓｉｎｇ  ｐｏｗｅｒ）の側面で莫大な増加を有してくるであろう。
【０００４】
したがって、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、クワッドツリーとバイナリツリー（ＱＴＢＴ：Quad-Tree Binary-Tree）構造において後フィルタ（またはインループフィルタ）を効果的に実行するための方法及びこれを支援する装置を提案する。
【０００６】
また、本発明の目的は、明暗（輝度）成分だけでなく、色差成分で条件に応じてデブロッキングフィルタリングを適応的に適用する方法及びこれを支援する装置を提案する。
【０００７】
本発明で解決しようとする技術的課題は、以上で言及した技術的課題に限定されるものではなく、言及しないまた他の技術的課題は、下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解されることができる。
【課題を解決するための手段】
【０００８】
本発明の一様相は、復号化装置が映像をフィルタリングする方法において、クワッドツリー（quad-tree）とバイナリツリー（binary-tree）構造に分割されたブロックの境界を導出する段階と、前記ブロックの境界の内、デブロッキング（de-blocking）フィルタリングが適用されるエッジ（edge）を決定する段階と、前記エッジに適用されるデブロッキングフィルタリングのタイプを決定する段階及び、前記デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルにデブロッキングフィルタリングを実行する段階を含み、前記ブロックの幅（ｗｉｄｔｈ）または高さ（ｈｅｉｇｈｔ）を考慮して前記エッジ（ｅｄｇｅ）または前記デブロッキングフィルタリングのタイプが決定されることができる。
【０００９】
本発明の他の一様相は、映像をフィルタリングする復号化装置において、クワッドツリー（ｑｕａｄ−ｔｒｅｅ）とバイナリツリー（ｂｉｎａｒｙ−ｔｒｅｅ）構造に分割されたブロックの境界を導出するブロック境界導出部、前記ブロックの境界の内、デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタリングが適用されるエッジ（ｅｄｇｅ）を決定するエッジ決定部と、前記エッジに適用されるデブロッキングフィルタリングのタイプを決定するフィルタリングのタイプ決定部及び、前記デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルにデブロッキングフィルタリングを実行するフィルタリング部とを含み、前記ブロックの幅（ｗｉｄｔｈ）または高さ（ｈｅｉｇｈｔ）を考慮して前記エッジまたは前記デブロッキングフィルタリングのタイプが決定されることができる。
【００１０】
好ましくは、前記エッジのタイプが垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、前記ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記エッジが決定されることができる。
【００１１】
好ましくは、前記エッジのタイプが水平エッジ（ｈｏｒｉｚｏｎｔａｌ ｅｄｇｅ）である場合、前記ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記エッジが決定されることができる。
【００１２】
好ましくは、前記エッジのタイプが垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、前記ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記デブロッキングフィルタリングのタイプが決定されることができる。
【００１３】
好ましくは、前記エッジのタイプが水平エッジ（ｈｏｒｉｚｏｎｔａｌ ｅｄｇｅ）である場合、前記ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいて、前記デブロッキングフィルタリングのタイプが決定されることができる。
【００１４】
好ましくは、前記エッジのタイプが垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、前記ブロックの幅が８以上のブロックの境界の内にのみ、前記エッジが決定されることができる。
【００１５】
好ましくは、前記エッジのタイプが水平エッジである場合、前記ブロックの高さが８以上のブロックの境界の内にのみ、前記エッジが決定されることができる。
【００１６】
好ましくは、前記エッジのタイプが垂直エッジである場合、前記ブロックの幅が４以下であれば、前記デブロッキングフィルタリングのタイプは、弱いフィルタリングに決定することができる。
【００１７】
好ましくは、前記エッジのタイプが水平エッジである場合、前記ブロックの高さが４以下であれば、前記デブロッキングフィルタリングのタイプは、弱いフィルタリングに決定することができる。
【００１８】
好ましくは、前記エッジのタイプが垂直エッジである場合、前記ブロックの幅が４以下であれば、前記デブロッキングフィルタリングのタイプは、強いフィルタリングで決定され、前記強いフィルタリングは、前記エッジの左側及び右側にそれぞれ隣接する２つのピクセル列にのみ適用することができる。
【００１９】
好ましくは、前記エッジのタイプが水平エッジである場合、前記ブロックの高さが４以下であれば、前記デブロッキングフィルタリングのタイプは、強いフィルタリングで決定され、前記強いフィルタリングは、前記エッジの上側及び下側にそれぞれ隣接する２つのピクセル列にのみ適用することができる。
【００２０】
好ましくは、デブロッキングフィルタリングが適用される前に、ピクセルに基づいて、前記エッジが決定されることができる。
【００２１】
好ましくは、デブロッキングフィルタリングが適用される前に、ピクセルに基づいて、前記デブロッキングフィルタリングのタイプが決定されることができる。
【００２２】
好ましくは、前記ブロックが属するスライスがイントラスライス（Ｉ−ｓｌｉｃｅ：Ｉｎｔｒａ ｓｌｉｃｅ）である場合、前記ブロックが色彩ブロック（ｃｈｒｏｍａ ｂｌｏｃｋ）かどうかとは無関係に、前記エッジ及び前記デブロッキングフィルタリングのタイプが決定されることができる。
【発明の効果】
【００２３】
本発明の実施形態に係れば、ＱＴＢＴ構造でデブロッキングフィルタを効率的に適用することにより、静止映像または動映像の主観的画質と客観的画質を向上させることができる。
【００２４】
また、本発明の実施形態に係れば、並列化を介してデブロッキングフィルタリングの高速化を達成することができる。
【００２５】
本発明で得られる効果は、以上で言及した効果に制限されず、言及しないまた他の効果は以下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解される。
【図面の簡単な説明】
【００２６】
本発明に関する理解を助けるために、詳細な説明の一部として含まれる添付図面は、本発明に対する実施形態を提供し、詳細な説明とともに本発明の技術的特徴を説明する。
【図１】図１は、本発明が適用される実施形態として、ビデオ信号のエンコードが行われるエンコーダの概略的なブロック図である。
【図２】図２は、本発明が適用される実施形態として、ビデオ信号のデコードが行われるデコーダの概略的なブロック図を示す図である。
【図３】図３は、本発明が適用される実施形態として、コーディングユニットの分割構造を説明するための図である。
【図４】図４は、本発明が適用される実施形態として、コーディングユニットの分割構造の内、クワッドツリーバイナリツリーを説明するための図である。
【図５】図５は、本発明が適用される実施形態として、インループフィルタリング部の概略的な内部ブロック図を示す。
【図６】図６は、ＨＥＶＣのデブロッキングフィルタのフィルタリングを実行する方法を例示する図である。
【図７】図７は、ＨＥＶＣのデブロッキングフィルタリングのフィルタリングの実行境界を例示する図である。
【図８】図８は、ＨＥＶＣのフィルタリングを実行するかどうかを決定する方法を説明するための図である。
【図９】図９は、ＨＥＶＣのデブロッキングフィルタリングが適用されるピクセル領域を例示する図である。
【図１０】図１０は、本発明が適用される実施形態として、ＱＴＢＴ分割構造を例示する図である。
【図１１】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図１２】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図１３】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図１４】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図１５】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図１６】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図１７】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図１８】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図１９】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図２０】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図２１】図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【図２２】図２２は、本発明の一実施形態に係るデブロッキングフィルタの種類を決定するための方法を例示する図である。
【図２３】図２３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【図２４】図２４は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【図２５】図２５は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【図２６】図２６は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【図２７】図２７は、本発明の一実施形態に係る強いフィルタリング方法を例示する図である。
【図２８】図２８は、本発明の一実施形態に係る強いフィルタリング方法を例示する図である。
【図２９】図２９は、垂直エッジ（vertical edge）フィルタリング時に横の長さが４以下のブロックでフィルタリングの実行結果を例示する図である。
【図３０】図３０は、本発明の一実施形態に係るフィルタリングを実行するかどうか、及びフィルタの選択方法を例示する図である。
【図３１】図３１は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【図３２】図３２は、ＱＴＢＴブロック分割構造でＨＥＶＣデブロッキングフィルタリングを同様に適用する時に発生する問題点を説明するための図である。
【図３３】図３３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【図３４】図３４は、本発明の一実施形態に係るデブロッキングフィルタリング処理部を例示する図である。
【図３５】図３５は、本発明の一実施形態に係るデブロッキングフィルタリング処理部を例示する図である。
【発明を実施するための形態】
【００２７】
以下、本発明に係る好ましい実施形態を添付された図面を参照して詳細に説明する。添付された図面とともに以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施され得る唯一の実施形態を表そうとするものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかしながら、当業者は、本発明がこのような具体的な細部事項がなくとも実施され得ることが分かる。
【００２８】
いくつかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図形式で図示されることができる。
【００２９】
合わせて、本発明で使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明でその意味を明確に記載するので、本発明の説明で使用された用語の名称だけで単純に解釈されてはならず、その当該用語の意味まで把握して解釈されなければならないことを明かしておく。
【００３０】
以下の説明で使用される特定用語等は、本発明の理解を助けるために提供されたものにおいて、このような特定用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更されることができる。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適宜代替されて解釈され得るであろう。
【００３１】
以下、本明細書において「ブロック」または「ユニット」は、予測、変換及び／又は量子化などのようなエンコード／デコードの過程が行われる単位を意味し、サンプル（または、ピクセル、ピクセル）の多次元配列で構成されることができる。
【００３２】
「ブロック」または「ユニット」は、輝度（ｌｕｍａ）成分に対するサンプルの多次元配列を意味することができ、色差（ｃｈｒｏｍａ）成分に対するサンプルの多次元配列を意味することもできる。また、輝度（ｌｕｍａ）成分に対するサンプルの多次元配列と色差（ｃｈｒｏｍａ）成分に対するサンプルの多次元配列とを全て含むように総称することもできる。
【００３３】
例えば、「ブロック」または「ユニット」は、エンコード／デコードの実行対象になるサンプルの配列を意味するコーディングブロック（ＣＢ：Ｃｏｄｉｎｇ  Ｂｌｏｃｋ）、複数のコーディングブロックで構成されるコーディングツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｂｌｏｃｋ）、同じ予測が適用されるサンプルの配列を意味する予測ブロック（ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ  Ｂｌｏｃｋ）（または、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ））、同じ変換が適用されるサンプルの配列を意味する変換ブロック（ＴＢ：Ｔｒａｎｓｆｏｒｍ  Ｂｌｏｃｋ）（または、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ））を全て含む意味と解釈されることができる。
【００３４】
また、本明細書で別の言及がない限り、「ブロック」または「ユニット」は、輝度（ｌｕｍａ）成分及び／又は色差（ｃｈｒｏｍａ）成分に対するサンプルの配列をエンコード／デコードする過程で利用されるシンタックス構造（ｓｙｎｔａｘ  ｓｔｒｕｃｔｕｒｅ）を含む意味と解釈されることができる。ここで、シンタックス構造は、特定の順序でビットストリーム内に存在する０またはそれ以上のシンタックス要素（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）を意味し、シンタックス要素は、ビットストリーム内で表現されるデータの要素を意味する。
【００３５】
例えば、「ブロック」または「ユニット」は、コーディングブロックＣＢと当該コーディングブロックＣＢのエンコードのために利用されるシンタックス構造を含むコーディングユニット（ＣＵ：Ｃｏｄｉｎｇ  Ｕｎｉｔ）、複数のコーディングユニットで構成されるコーディングツリーユニット（ＣＵ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）、予測ブロックＰＢと当該予測ブロックＰＢの予測のために利用されるシンタックス構造を含む予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）、変換ブロックＴＢと当該変換ブロックＴＢの変換のために利用されるシンタックス構造を含む変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）を全て含む意味と解釈されることができる。
【００３６】
また、本明細書で「ブロック」または「ユニット」は、必ずしも正方形または長方形の形態のサンプル（または、ピクセル、ピクセル）の配列に限定されるものではなく、３個以上の頂点を有する多角形の形態のサンプル（または、ピクセル、ピクセル）の配列を意味することもできる。この場合、ポリゴン（Ｐｏｌｙｇｏｎ）ブロックまたはポリゴンユニットと呼ばれることもできる。
【００３７】
図１は、本発明が適用される実施形態として、ビデオ信号のエンコードが行われるエンコーダの概略的なブロック図を示す。
【００３８】
図１を参照すると、エンコーダ１００は、映像分割部１１０、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：Decoded picture Buffer）１７０、インター予測部１８０、イントラ予測部１８５及びエントロピーエンコード部１９０を含んで構成されることができる。
【００３９】
映像分割部１１０は、エンコーダ１００に入力された入力映像（または、ピクチャ、フレーム）を１つ以上の処理ユニットに分割することができる。例えば、前記の処理ユニットは、コーディングツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）で有り得る。
【００４０】
エンコーダ１００は、入力映像信号からインター予測部１８０またはイントラ予測部１８５から出力された予測信号を減算して残りの信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を生成することができ、生成された残りの信号は、変換部１２０に伝送される。
【００４１】
変換部１２０は、残りの信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成することができる。たとえば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−ＬｏｅｖｅＴｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ−Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ−ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）の内、少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとしたときに、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもあり、正方形ではない可変サイズのブロックにも適用することができる。
【００４２】
量子化部１３０は、変換係数を量子化してエントロピーエンコード部１９０に伝送し、エントロピーエンコード部１９０は、量子化された信号をエントロピーエンコードしてビットストリームに出力することができる。
【００４３】
量子化部１３０から出力された量子化された信号は、予測信号を生成するために利用されることがある。例えば、量子化された信号は、ループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、残りの信号を復元することができる。復元された残りの信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号に加えることで復元信号が生成されることができる。
【００４４】
フィルタリング部１６０は、復元信号にフィルタリングを適用して、これを再生装置に出力したり、復号ピクチャバッファ１７０に伝送する。復号ピクチャバッファ１７０に伝送されたフィルタリングされた信号は、インター予測部１８０から参照ピクチャとして使用することができる。このように、フィルタリングされたピクチャを画面間予測モードで参照ピクチャとして利用することにより、画質だけでなく、符号化効率も向上させることができる。
【００４５】
復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８０からの参照ピクチャとして使用するために格納することができる。
【００４６】
インター予測部１８０は、復元ピクチャを参照して時間的重複性及び／または空間的重複性を除去するために時間的予測、及び／または空間的予測を行う。このとき、インター予測モードで伝送される動き情報の量を減らすために周囲のブロックと現在のブロックの間の動き情報の相関性に基づいて動き情報を予測することができる。
【００４７】
イントラ予測部１８５は、現在符号化を進行しようとするブロックの周辺にあるサンプルを参照して、現在のブロックを予測することができる。前記イントラ予測部１８５は、イントラ予測を実行するために、次のような過程を実行することができる。まず、予測信号を生成するために必要な参照サンプルを準備することができる。そして、準備された参照サンプルを用いて予測信号を生成することができる。以後、予測モードを符号化することになる。このとき、参照サンプルは、参照サンプルパディング及び／または参照サンプルのフィルタリングを介して準備することができる。参照サンプルは、予測及び復元の過程を経たため、量子化誤差が存在することができる。したがって、このようなエラーを減らすためにイントラ予測に利用される各予測モードに対して参照サンプルのフィルタリング過程が実行されることができる。
【００４８】
前記インター予測部１８０または前記イントラ予測部１８５を介して生成された予測信号は、復元信号を生成するために利用されるか、または残りの信号を生成するために用いることができる。
【００４９】
図２は、本発明が適用される実施形態として、ビデオ信号のデコードが行われるデコーダの概略的なブロック図を示す。
【００５０】
図２を参照すると、デコーダ２００は、エントロピーデコード部２１０、逆量子化部２２０）、逆変換部２３０、フィルタリング部２４０、復号ピクチャバッファ（DPB：Decoded picture Buffer Unit）２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成されることができる。
【００５１】
そして、デコーダ２００を介して出力された復元映像信号は、再生装置を介して再生することができる。
【００５２】
デコーダ２００は、図１のエンコーダ１００から出力された信号を受信することができ、受信された信号は、エントロピーデコード部２１０を介して、エントロピーデコードすることができる。
【００５３】
逆量子化部２２０においては、量子化段階サイズ情報を用いて、エントロピーデコードされた信号から変換係数（transform coefficient）を獲得する。
【００５４】
逆変換部２３０では、変換係数を逆変換して残りの信号を獲得することになる。
【００５５】
獲得された残りの信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号に加えることで復元信号が生成される。
【００５６】
フィルタリング部２４０は、復元信号にフィルタリングを適用して、これを再生装置に出力したり、復号ピクチャバッファ部２５０に伝送する。復号ピクチャバッファ部２５０に伝送されたフィルタリングされた信号は、インター予測部２６０から参照ピクチャとして使用することができる。
【００５７】
本明細書において、エンコーダ１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施形態は、それぞれデコーダのフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも同様に適用することができる。
【００５８】
映像分割（image patitioning）
【００５９】
図３は、本発明が適用される実施形態として、コーディングユニットの分割構造を説明するための図である。
【００６０】
エンコーダは、一つの映像（またはピクチャ）を四角形の形のコーディングツリーユニット（ＣＴＵ：Coding Tree Unit）単位に分割することができる。そして、ラスタースキャン順（ｒａｓｔｅｒ ｓｃａｎ ｏｒｄｅｒ）に応じて１つのＣＴＵずつ順次エンコードする。
【００６１】
一つのＣＴＵは、クワッドツリー（ｑｕａｄｔｒｅｅ、以下「ＱＴ」と称する）の構造に分解することができる。例えば、一つのＣＴＵは正方形の形を有しながら、各辺の長さが半分ずつ減少する４つのユニットに分割されることができる。このようなＱＴ構造の分解は、再帰的に実行されることができる。
【００６２】
図３を参照すると、ＱＴのルートノード（ｒｏｏｔ ｎｏｄｅ）は、ＣＴＵと関連することができる。ＱＴはリーフノード（ｌｅａｆ ｎｏｄｅ）に到達するまで分割することができ、この時、前記リーフノードは、コーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）と称することができる。
【００６３】
図３を参照すると、ＣＴＵは、ルートノード（ｒｏｏｔ ｎｏｄｅ）に対応し、最小の深さ（ｄｅｐｔｈ）（即ち、レベル０）の値を有する。入力映像の特性に応じてＣＴＵが分割されないことがあり、この場合、ＣＴＵはＣＵに相当する。
【００６４】
ＣＴＵはＱＴ形で分解されることができ、その結果、レベル１の深さを有する下位ノードが生成されることができる。そして、レベル１の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）は、ＣＵに相当する。例えば、図３（ｂ）でノードａ、ｂ及びｊに対応するＣＵ（ａ）、ＣＵ（ｂ）、ＣＵ（ｊ）は、ＣＴＵで一度分割されており、レベル１の深さを有する。
【００６５】
一つのＣＵに対して、当該ＣＵが分割されるかどうかを示す情報がデコーダに伝達されることができる。例えば、前記情報は、分割フラグとして定義することができ、シンタックス要素（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）「ｓｐｌｉｔ＿ＣＵ＿ｆｌａｇ」で表現されることができる。前記分割フラグはＳＣＵを除外したすべてのＣＵに含まれることができる。例えば、前記分割フラグの値が「１」であれば、当該ＣＵは再び４つのＣＵに分かれ、前記分割フラグの値が「０」であれば、そのＣＵは、これ以上分かれないで、そのＣＵのコーディング（符号化）過程が実行されることができる。
【００６６】
先に図３の実施形態においては、ＣＵの分割過程について例に挙げて説明したが、変換を実行する基本単位である変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）の分割過程に対しても、前述したＱＴ構造を適用することができる。
【００６７】
ＴＵはコーディングしようとするＣＵからＱＴ構造に階層的に分割することができる。たとえば、ＣＵは変換ユニット（ＴＵ）のツリーのルートノード（root node）に対応することがある。
【００６８】
ＴＵはＱＴ構造に分割されるので、ＣＵから分割されたＴＵは再びさらに小さな下位ＴＵに分割されることができる。たとえば、ＴＵのサイズは３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４の内、いずれか１つに決まることがあるが、本発明はこれに限定されず、高解像度の映像である場合、ＴＵのサイズはさらに大きくなるか、多様化することがある。
【００６９】
一つのＴＵに対して、当該ＴＵが分割されるかどうかを示す情報がデコーダに伝達されることができる。例えば、前記情報は、分割変換フラグとして定義されることができ、シンタックス要素「ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ」で表現されることができる。
【００７０】
前記で説明したように、ＣＵは、イントラ予測またはインター予測が行われるコーディングの基本単位である。入力映像をより効果的にコーディングするためにＣＵを予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）単位に分割することができる。
【００７１】
ＰＵは予測ブロックを生成する基本単位として、１つのＣＵ内でもＰＵ単位で互いに異なるように予測ブロックを生成することができる。ＰＵはＰＵが属するＣＵのコーディングモードでイントラ予測モードが使用されるかインター予測モードが使用されるかに応じて異なるように分割することができる。
【００７２】
図４は、本発明が適用される実施形態として、コーディングユニットの分割構造の内、クワッドツリーバイナリツリーを説明するための図である。
【００７３】
エンコーダは、一つの映像（またはピクチャ）を四角形の形のコーディングツリーユニット（ＣＴＵ：Coding Tree Unit）単位に分割することができる。そして、ラスタースキャン順（raster scan order）に応じて１つのＣＴＵずつ順次エンコードする。
【００７４】
一つのＣＴＵは、クワッドツリー（ｑｕａｄｔｒｅｅ、以下「ＱＴ」と称する）の構造とバイナリツリー（ｂｉｎａｒｙｔｒｅｅ、以下ＢＴと称する）に分解されることができる。例えば、一つのＣＴＵは正方形の形を有しながら、各辺の長さが半分ずつ減少する４つのユニットに分割したり、長方形の形を有しながら、幅または高さの長さが半分ずつ減少する２つのユニットに分割することができる。このようなＱＴＢＴ構造の分解は、再帰的に実行されることができる。
【００７５】
図４を参照すると、ＱＴのルートノード（ｒｏｏｔ ｎｏｄｅ）は、ＣＴＵと関連することができる。ＱＴはＱＴリーフノード（ＱＴ ｌｅａｆ ｎｏｄｅ）に到達するまで分割することができ、ＱＴのリーフノードは、ＢＴに分割することができ、ＢＴリーフノードに到達するまでに分割されることができる。
【００７６】
図４を参照すると、ＣＴＵは、ルートノード（ｒｏｏｔ ｎｏｄｅ）に対応し、最小の深さ（ｄｅｐｔｈ）（つまり、レベル０）の値を有する。入力映像の特性に応じてＣＴＵが分割されないことがあり、この場合、ＣＴＵはＣＵに相当する。
【００７７】
ＣＴＵはＱＴ形で分解されることがあり、ＱＴリーフノードはＢＴ形で分割されることができる。その結果、レベルｎの深さを有する下位ノードが生成されることができる。そして、レベルｎの深さを有するサブノードでこれ以上分割されないノード（つまり、リーフノード）は、ＣＵに相当する。
【００７８】
一つのＣＵに対して、当該ＣＵが分割されるかどうかを示す情報がデコーダに伝達されることができる。例えば、前記情報は、分割フラグとして定義することができ、シンタックス要素「ｓｐｌｉｔ＿ＣＵ＿ｆｌａｇ」で表現されることができる。また、ＱＴリーフノードからＢＴに分割されるかどうかを示す情報がデコーダに伝達されることができる。例えば、前記情報は、ＢＴ分割フラグとして定義することができ、シンタックス要素（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）「ｂｔ＿ｓｐｌｉｔ＿ｆｌａｇ」で表現されることができる。さらにｓｐｌｉｔ＿ｂｔ＿ｆｌａｇｈによってＢＴに分割される場合、半分のサイズの幅を有する長方形または半分のサイズの高さを有する長方形の形に分割されるようにＢＴ分割形状がデコーダに伝達することができる。例えば、前記情報は、ＢＴ分割モードで定義することができ、シンタックス要素「ｂｔ＿ｓｐｌｉｔ＿ｍｏｄｅ」で表現されることができる。
【００７９】
図５は、本発明が適用される実施形態として、インループフィルタリング部の概略的な内部ブロック図を示す。
【００８０】
インループフィルタリング部はデブロッキングフィルタリング部５１０、適応的オフセットフィルタリング部５２０と適応的ループフィルタリング部５３０の内、少なくとも一つを含むことができる。
【００８１】
前記インループフィルタリング部は復元ピクチャにフィルタリングを適用して再生装置に出力したり、バッファに格納してインター予測モードで参照ピクチャとして用いることができる。
【００８２】
デブロッキングフィルタリング部５１０は、復元ピクチャの境界で発生する歪みを改善する機能を実行する。たとえば、予測ユニットや変換ユニットの境界で発生するブロッキング劣化を改善することができる。
【００８３】
まず、デブロッキングフィルタリング部５１０は、ブロック境界で復元ピクセル値が不連続かどうかを確認し、ブロッキング劣化が発生した場合、そのエッジ境界でデブロッキングフィルタリングを実行することができる。例えば、ブロック境界が８ｘ８ブロック境界でありながら、予測ユニットや変換ユニットの境界であるのかを判断し、それに基づいて境界強度（BS：Boundary Strength）値を算出することができる。前記境界強度（ＢＳ）値に基づいてフィルタリングを実行するかどうかを決定することができ、この時、フィルタリングパラメータを一緒に用いることができる。
【００８４】
デブロッキングフィルタリング部５１０のフィルタリングを実行する方法について、より詳細な説明は後述する。
【００８５】
適応的オフセットフィルタリング部５２０は、復元ピクセルにオフセットを加算して復元映像と元映像との間のエラーを最小化する機能を実行することができる。ここで、前記復元映像は、デブロッキングフィルタリングされた映像を意味することができる。エンコーダの場合、復元映像と元映像との間の誤差を補正するためのオフセットパラメータを算出して、これをデコーダに伝送し、デコーダの場合、伝送されたオフセットパラメータをエントロピー復号化した後、それに基づいてピクセル単位でフィルタリングを行うことができる。
【００８６】
適応的ループフィルタリング部５３０は、元の映像と復元映像との誤差を最小化させる最適な係数を算出してフィルタリングを行うことができる。エンコーダの場合、元映像と復元映像との誤差を最小にするフィルタ係数を誘導し、適応的にブロックごとに適応的ループフィルタリングを適用するかどうかについての情報及びフィルタ係数をデコーダに伝送することができる。デコーダの場合、伝送された適応的ループフィルタリングを適用するかどうかについての情報及びフィルタ係数に基づいてフィルタリングを行うことができる。
【００８７】
図６は、ＨＥＶＣのデブロッキングフィルタのフィルタリングを実行する方法を例示する図である。
【００８８】
図６を参照すると、デブロッキングフィルタは、デブロッキングフィルタリングを適用するための境界を決定する。
【００８９】
ただし、このとき、境界の決定は、デブロッキングフィルタリングが必要な位置（つまり、境界）だけを決定するものであり、実際のフィルタリングを実行するかは、Ｓ６０４段階でフィルタオン／オフ（filter on/off）段階で決定される。
【００９０】
デブロッキングフィルタのための境界の種類は、ＣＵ（Coding Unit）境界、ＰＵ（Prediction Unit）境界、ＴＵ（Transform Unit）境界の３つで区分されることができる。一つのＣＵ境界はＰＵまたはＴＵ境界に対応することができるので、フィルタリングを実行すべき警戒対象に該当することができる。
【００９１】
デブロッキングフィルタリングは、ＢＳを計算する（Ｓ６０２）。つまり、デブロッキングフィルタは、境界に隣接するブロックの特性に応じて、他の強度のデブロッキングフィルタを実行するために、境界強度ＢＳ（Boundary Strength）を決定する。
【００９２】
デブロッキングフィルタリングは、フィルタリングを実行するかどうか、及びフィルタリングの選択などのしきい値として使用されるパラメータであるβ、ｔ＿ｃを決定する（Ｓ６０３）。
【００９３】
デブロッキングフィルタリングは、フィルタのオン／オフ（Filter on/off decision）を行う（Ｓ６０４）。つまり、デブロッキングフィルタは、フィルタユニット単位でフィルタリングを実行するかどうかを決定する。
【００９４】
デブロッキングフィルタは、フィルタリングが実行される境界で強いフィルタ（strong filter）を適用するか、弱いフィルタ（weak filter）を適用するかを決定する（Ｓ６０５）。
【００９５】
デブロッキングフィルタは、ピクセルを決まったフィルタでフィルタリングを実行する（Ｓ６０６、Ｓ６０７）。
【００９６】
ＱＴＢＴ（Quad-Tree Binary-Tree）構造のためのデブロッキング（De-Blocking）フィルタリング方法
【００９７】
本発明の実施形態を説明する前に、ＨＥＶＣのデブロッキングフィルタの特性とＱＴＢＴ構造でデブロッキングフィルタの動作を説明しＱＴＢＴのデブロッキングフィルタの問題点について注意深く見る。
【００９８】
まずＨＥＶＣのデブロッキングフィルタは、予測ブロック（ＰＢ：Prediction Block）の境界と変換ブロック（ＴＢ：Transform Block）の境界でフィルタリングを行う。しかし、ＱＴＢＴの場合、変換ブロックと予測ブロックの境界が別にないので、コーディングブロック（ＣＢ：Coding Block）境界面でフィルタリングを行うことができる。
【００９９】
もちろんＨＥＶＣとＱＴＢＴのデブロッキングフィルタは、すべての境界面で無条件にフィルタリングを実行するのではなく、特定の条件が満たされた場合にのみ、（先の図６のＳ６０４段階で判断）強いフィルタリング（strong filtering）と弱いフィルタリング（weak filtering）を選択的に実行する。反面、条件が満たされない場合、境界面がこれに該当してもフィルタリングを実行しない。
【０１００】
図７は、ＨＥＶＣのデブロッキングフィルタのフィルタリングの実行境界を例示する図である。
【０１０１】
図７（ａ）は、デブロッキングフィルタのフィルタリングの実行境界として垂直エッジ（vertical edge）を例示し、図７（ｂ）は、デブロッキングフィルタのフィルタリングの実行境界として水平エッジ（horizontal edge）を例示する。
【０１０２】
図７から分かるようにＨＥＶＣのデブロッキングフィルタは、予測ブロックの境界と変換ブロックの境界で実行される。しかし、すべての予測ブロック境界や変換ブロック境界でフィルタリングが実行されるものではなく、８ｘ８以上のブロック境界でのみ実行される。これはデブロッキングフィルタの並列処理が考慮したと見られる。
【０１０３】
前述したように、ブロック境界でフィルタリングを実行するかどうかを決定し、フィルタリングの実行条件が満たされる時、強いフィルタと弱いフィルタを選択的に実行する。
【０１０４】
このとき、フィルタリングを実行するかどうかを決定するために、ブロック境界面に隣接するピクセルの値を確認する。これに対して、以下の図８を参照して、さらに注意深くに見る。
【０１０５】
図８は、ＨＥＶＣのフィルタリングを実行するかどうかを決定する方法を説明するための図である。
【０１０６】
図８で実線は、ブロックの境界を示し、それぞれの円は一つのピクセル（例えば、輝度（luma）成分のサンプルまたは色差（chroma）成分のサンプル）を示す。
【０１０７】
図８を参照すると、ブロック境界面に隣接する各々３ピクセル（図８の陰影表示されたピクセル）をＸ軸とＹ軸成分をブロック境界に基づいてｐ（ｘ、ｙ）（またはｑ（ｘ、ｙ））とのような形で表記して図８のように表すことができる。そして、フィルタリングを実行条件を示す下の数式１に基づいて変数（パラメータ）ｄｐ０、ｄｐ３、ｄｑ０、ｄｑ３、ｄｐｑ０、ｄｐｑ３、ｄの値が計算されることができる。
【０１０８】
【数１】
2019525671.tif 000003
【０１０９】
数式１によって計算された変数（パラメータ）ｄの値は、量子化パラメータ（Ｑ）に基づいて決まる変数（パラメータ）β値と比較してｄ値がβより小さい場合にのみ、デブロッキングフィルタリングが行われる。
【０１１０】
ここで、量子化パラメータ（Ｑ）及び変数（パラメータ）βを決定する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合（incorporated by reference）される。
【０１１１】
前述したように、特定の条件によって、当該ブロック境界のピクセルがフィルタリングが実行される条件に該当すると、以下の数式２に基づいて強いフィルタ（strong filter）を適用するか、弱いフィルタ（weak filter）を適用するかが決定される。
【０１１２】
下数式２の条件に基づいて数式２のすべての条件が満足すれば、強いフィルタが、そうでない場合には、弱いフィルタが適用される。
【０１１３】
【数２】
2019525671.tif 000004
【０１１４】
数式２で、変数（パラメータ）ｔｃ（つまり、ｔ＿ｃ）は量子化パラメータ（Ｑ）に基づいて決まられる。
【０１１５】
ここで、変数（パラメータ）ｔｃ（つまり、ｔ＿ｃ）を決定する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として引用（ｉｎｃｏｒｐｏｒａｔｅｄ ｂｙ ｒｅｆｅｒｅｎｃｅ）される。
【０１１６】
数式２の条件によって決まるフィルタの種類（つまり、強いフィルタまたは弱いフィルタ）に基づいてフィルタリングが適用されるピクセル領域は、以下のも異なる。
【０１１７】
図９は、ＨＥＶＣのデブロッキングフィルタリングが適用されるピクセル領域を例示する図である。
【０１１８】
図９のように、強いフィルタまたは弱いフィルタが適用されるそれぞれのピクセル領域は、ブロック境界に基づいて異なる。
【０１１９】
前述したように、ブロック境界に基づいて左右または上下の３ピクセルを用いて、デブロッキングフィルタリングを適用するかどうかが決定される。そして、デブロッキングフィルタリングが適用される境界面で再びブロック境界に基づいて左右または上下の４ピクセルを用いて、デブロッキングフィルタの種類が決定される。
【０１２０】
前述したＨＥＶＣデブロッキングフィルタリング方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書は、本明細書で参照として引用される。
【０１２１】
このような理由から、ＨＥＶＣは４ｘ４予測ブロックまたは変換ブロック、８ｘ４と４ｘ８サイズの予測ブロックが発生することができるにもかかわらず、並列化のために８ｘ８以上のブロック境界面でのみデブロッキングフィルタリングが適用される。
【０１２２】
反面、ＱＴＢＴの場合、イントラスライス（Ｉ−ｓｌｉｃｅ：Ｉｎｔｒａ ｓｌｉｃｅ）（つまり、イントラ予測のみが使用されてデコードされるスライス）で輝度（ｌｕｍａ）と色差（ｃｈｒｏｍａ）のブロック構造が互いに違って、クワッドツリーとバイナリツリーによって、さまざまな形やサイズの符号化ブロックが発生することができる。
【０１２３】
図１０は、本発明が適用される実施形態として、ＱＴＢＴ分割構造を例示する図である。
【０１２４】
図１０に見られるように、すべてのブロック境界面でフィルタリングを実行しＨＥＶＣのデブロッキング方法を同様に使用しているために並列化だけでなく、chroma成分のフィルタリングが効果的に行われていない。
【０１２５】
図１０によると、ＱＴＢＴによって映像は、さまざまなサイズと形状の構造に分割されることができる。
【０１２６】
これにより、本発明においては、様々なブロック分割構造（つまり、様々なブロックのサイズと形状を有する分割構造）でデブロッキングフィルタを並列的に実行するための方法を提案する。
【０１２７】
図１０で例示されたように、ＱＴＢＴのデブロッキングフィルタは、ＨＥＶＣのデブロッキングフィルタを同様に適用するが、８ｘ８以上のブロック境界だけでなく、４ｘ４、４ｘ８、８ｘ４、４ｘ１６などのブロック境界でもデブロッキングフィルタが実行されることができる。
【０１２８】
ただし、この場合、当該ブロック境界でのフィルタリングは、隣接するブロックの境界でのフィルタリングによるピクセル値の変化によって並列化条件が成立しなくなる問題が発生することができる。
【０１２９】
図１１〜図２１は、ＱＴＢＴ分割構造にＨＥＶＣデブロッキングフィルタリング方法を適用する場合の問題点を説明するための図である。
【０１３０】
ＱＴＢＴによって、図１１のような構造に分割された場合、図１２のように４ｘ１６ブロックの垂直エッジ（vertical edge）に対して例を挙げて問題点を説明する。
【０１３１】
この時、図１２に示すように最初の４ｘ１６ブロックの垂直エッジ（つまり、ブロック境界１）に強いフィルタリングが行われたと仮定する。
【０１３２】
この場合、フィルタリングによってブロック境界に隣接する３つのピクセル（図１２の陰影表示されたピクセル）は、ピクセル値の変化が生じることになる。そして、ブロック境界１からフィルタリングによってノイズが除去されたと仮定する。
【０１３３】
次に、隣接するブロック境界（つまり、ブロック境界２）でフィルタリングを実行するために、まず、図１３で点線で示されたピクセルを介してフィルタリングを実行するかどうかを決定する。
【０１３４】
しかし、図１２の例によってフィルタリングされたピクセル（図１２の陰影表示されたピクセル）とフィルタリングされないピクセル（図１２で陰影が表示されないピクセル）を参照して、フィルタリングを実行するかどうかを決定しなければならない問題が生じる。
【０１３５】
まず、並列化の問題に焦点を当ててみると、図１３のようにブロック境界１とブロック境界２のフィルタリングは、同時に実行されることができないため、並列パイプラインが崩れるという問題が発生する。
【０１３６】
もちろん、図１３の並列化を考慮しないとしても、図１４のように、重畳してフィルタリングされる問題が発生する。
【０１３７】
図１４で見られるように、ブロック境界２でフィルタリングが実行される条件に該当し、また、強いフィルタリングが適用される条件を満たせば、図１４の黒ピクセルはデブロッキングフィルタのローパスフィルタが２回適用になるのである。
【０１３８】
また、図１５のように、ブロック境界２で強いフィルタリングではなく、弱いフィルタリングが適用されるとしても、図１５の黒ピクセルは二回のローパスフィルタが適用される問題が発生する。
【０１３９】
さらに、図１６のようにブロック境界１で弱いフィルタリングが適用されたと仮定する。
【０１４０】
この場合、図１７のようにブロック境界２でフィルタリングを実行するかどうかを決定するために点線で示されたピクセルを参照する。
【０１４１】
また、ブロック境界２でフィルタリングが実行されるように決定されたとしても、強いフィルタあるいは弱いフィルタの内、どのフィルタを適用するかどうかを決定するために図１８の点線で示されたピクセルを参照して、数式２の式を介して決定しなければならない。
【０１４２】
もし、ブロック境界２で強いフィルタリングの実行条件が満たされなくてブロック境界２で弱いフィルタリングが行われれば、図１９のように重畳してフィルタリングされる問題は発生しないが、強いフィルタリングの実行条件が満たされて、ブロック境界２で強いフィルタリングが行われれば図２０のように濃く陰影表示されたピクセルは、重畳してフィルタリングされる問題が発生する。
【０１４３】
以下、本発明の説明において、主に垂直エッジ（vertical edge）を例示して説明するが、これは説明の便宜のためであり、本発明がこれに限定されるものではない。つまり、水平エッジ（horizontal edge）である場合、ピクセルがブロック境界に基づいて上下に位置する違いがあるだけで過程は同じように実行されることがある。
【０１４４】
実施形態１
【０１４５】
本発明の一実施形態は、ＱＴＢＴ構造のデブロッキングフィルタを効果的に実行するための方法を提案する。
【０１４６】
前述のように、ＱＴＢＴブロック構造でＨＥＶＣで定義されたデブロッキングフィルタリング方法をそのまま適用すれば、ＱＴＢＴはブロック境界でフィルタリングされたピクセルを参照して、フィルタリングするかどうかを計算する問題により並列処理がされない場合が発生する問題点が発生する。
【０１４７】
これを防止するために、本発明は、垂直エッジの場合、ブロックの横幅／長さが４以下であるブロック（つまり、横のサンプルの数が４以下であるブロック）境界では、水平エッジの場合、ブロックの縦サイズが４以下であるブロック（つまり、縦サンプルの数が４以下であるブロック）境界でデブロッキングフィルタリングを実行する方法を提案する。
【０１４８】
実施形態１−１
【０１４９】
本発明の一実施形態に係れば、ＱＴＢＴ構造のデブロッキングフィルタで垂直エッジ（Vertival edge）のために横の長さが４以下であるブロック、水平エッジ（Horizontal edge）のために縦の長さが４以下であるブロックのフィルタリング方法を提案する。
【０１５０】
前述のように、ＱＴＢＴ構造でデブロッキングフィルタリングを実行するときに発生することができる問題は、並列化の問題とフィルタリングするかどうか、及び適応的フィルタの選択する際の参照ピクセルのフィルタリングに区分することができる。
【０１５１】
前述したＨＥＶＣのデブロッキングフィルタリングのように、特定の条件のブロック境界（例えば、横の長さが４以下であるブロックの境界または縦の長さが４以下であるブロックの境界）でフィルタリングを実行しないのは、並列化を可能にするが、これと同時に当該ブロック境界でのフィルタリングは実行されないので、客観的及び主観的画質劣化を起こすという問題が発生することができる。
【０１５２】
このような理由から、本発明の一実施形態においては、特定の条件を満たす場合、ブロック境界でフィルタリングする方法を提案する。
【０１５３】
ここで、特定の条件は、垂直エッジ（Vertical edge）をフィルタリングする過程でブロック横の長さが４以下及び／または水平エッジ（Horizontal edge）をフィルタリングする過程でブロック縦の長さが４以下の場合を意味する。
【０１５４】
上のような特定の条件ではフィルタリングによりフィルタリングされたピクセルを参照して図１３のようにフィルタリングを実行するかどうかを決定するとき、すでにフィルタリングがされてノイズが消えたピクセルが用いられる。
【０１５５】
図２１は、本発明の一実施形態に係るデブロッキングフィルタリングを実行するかどうかを決定するための方法を例示する図である。
【０１５６】
図２１及び下の数式参を参照すると、ｄはブロック境界のピクセル値の変化量の合計を意味するとすることができる。
【０１５７】
この時、Ｐブロックのピクセル（すなわち、図２２の点線で示されるピクセルの内、陰影処理されたピクセル）は、既にフィルタリングが適用されて平滑化が行われた状態なので、フィルタリングされないピクセルの値の差分値に比べて小さい値が出てくる確率が高い。
【０１５８】
したがって、数式３に基づいて、最終的に計算されるｄ値が小さくなることができ、結局フィルタリングを実行するかどうかを検査する際に確率的にフィルタリングを行うべき割合が高くなることができる。
【０１５９】
【数３】
2019525671.tif 000005
【０１６０】
また、前記のような特定の条件では、フィルタリングによってフィルタリングされたピクセルを参照して、フィルタの種類が決定されることができる。
【０１６１】
図２２は、本発明の一実施形態に係るデブロッキングフィルタの種類を決定するための方法を例示する図である。
【０１６２】
図２２及び数式４を参照すると、強いフィルタと弱いフィルタを適応的に選択するために参照する数式もまたブロック境界のピクセル値の変化量を考慮することになる。
【０１６３】
この際、Ｐブロックのピクセル（すなわち、図２２で点線で示されたピクセルの内、陰影処理されたピクセル）は、フィルタリングが既に実行されたので、ピクセルが平滑化され、変化量が減少することができる。これにより数式４で例示される強いフィルタリングを実行するようにする条件を満足するようになるので、結果的に弱いフィルタよりは、強いフィルタが実行される場合が多く発生することができる。
【０１６４】
これは、既にフィルタリングされたピクセルに強いフィルタを適用するようになりブロック境界でむしろエッジが潰れる現象が発生することができる。
【０１６５】
【数４】
2019525671.tif 000006
【０１６６】
実施形態１−２
【０１６７】
本発明の一実施形態は、ＱＴＢＴ構造の場合、デブロッキングフィルタで垂直エッジ（Vertival edge）フィルタリングのために横の長さが４以下のブロックまたは水平エッジ（Horizontal edge）フィルタリングのために縦の長さが４以下であるブロックのフィルタリングを実行しない方法を提案する。
【０１６８】
前述したように、現在ＱＴＢＴでデブロッキングフィルタは、特定のサイズのブロックの境界をフィルタリングする過程で多くの問題点がある。このような問題を避け、デブロッキングフィルタの並列化を可能にするために、本発明の一実施形態では、図２３のような方法を提案する。
【０１６９】
図２３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【０１７０】
図２３を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ２３０１）。
【０１７１】
もし、Ｓ２３０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。
【０１７２】
一方、Ｓ２３０１段階ではコーディングユニット（またはコーディングブロック）の境界に該当すると、当該境界が垂直エッジに該当するか判断する（Ｓ２３０２）。
【０１７３】
もし、Ｓ２３０２段階で、境界が垂直エッジに該当すると、当該コーディングユニット（またはコーディングブロック）の幅（width）が８以上であるか判断する（Ｓ２３０３）。
【０１７４】
反面、Ｓ２３０２段階において、境界が垂直エッジに該当しなければ（つまり、水平エッジに該当する場合）、そのコーディングユニット（またはコーディングブロック）の高さが８以上であるか判断する（Ｓ２３０４）。
【０１７５】
Ｓ２３０３段階で、当該コーディングユニット（またはコーディングブロック）の幅が８以上である場合、またはＳ２３０４段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上である場合、デコーダは、従来（ｃｏｎｖｅｎｔｉｏｎａｌ）のデブロッキングフィルタリングを行う（Ｓ２３０５）。
【０１７６】
例えば、デコーダは、先の図６の例示のように、従来のデブロッキングフィルタリングを行うことができる。
【０１７７】
ここで、従来のデブロッキングフィルタリング方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合（ｉｎｃｏｒｐｏｒａｔｅｄ ｂｙ ｒｅｆｅｒｅｎｃｅ）される。
【０１７８】
反面、Ｓ２３０３段階において、コーディングユニット（またはコーディングブロック）の幅が８以上ではない場合、またはＳ２３０４段階で、コーディングユニット（またはコーディングブロック）の高さが８以上ではない場合、デコーダは、デブロッキングフィルタリングを終了する。
【０１７９】
図２３で例示されたように、垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、コーディングユニット（またはコーディングブロック）の横の長さが８以上のコーディングユニット（またはコーディングブロック）にのみ、水平エッジ（ｈｏｒｉｚｏｎｔａｌ ｅｄｇｅ）である場合、コーディングユニット（またはコーディングブロック）の縦の長さが８以上のコーディングユニット（またはコーディングブロック）にのみフィルタリングを行い、８以上ではない、コーディングユニット（またはコーディングブロック）には、フィルタリングを実行しないことがある。
【０１８０】
前述したように、本実施形態においては、ブロックサイズだけを考慮してフィルタリングを適用するかどうかを決定するために最も簡単にデブロッキングフィルタリングを並列化することができる効果がある。
【０１８１】
実施形態１−３
【０１８２】
本発明の一実施形態に係れば、ＱＴＢＴ構造のデブロッキングフィルタで垂直エッジ（vertical edge）フィルタリングのために横の長さが４以下のブロックまたは水平エッジ（horizontal edge）フィルタリングのために縦の長さが４以下であるブロックに対して弱いフィルタリングを実行する方法を提案する。
【０１８３】
図２４は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【０１８４】
図２４を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ２４０１）。
【０１８５】
もし、Ｓ２４０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。
【０１８６】
一方、Ｓ２４０１段階においてコーディングユニット（またはコーディングブロック）の境界に該当すると、当該境界が垂直エッジに該当するか判断する（Ｓ２４０２）。
【０１８７】
もしＳ２４０２の段階で、当該境界が垂直エッジに該当すると、当該コーディングユニット（またはコーディングブロック）の幅が８以上であるか判断する（Ｓ２４０３）。
【０１８８】
一方、Ｓ２４０２段階において、当該境界が垂直エッジに該当しなければ（つまり、水平エッジに該当する場合）は、そのコーディングユニット（またはコーディングブロック）の高さが８以上であるか判断する（Ｓ２４０４）。
【０１８９】
Ｓ２４０３段階で、コーディングユニット（またはコーディングブロック）の幅が８以上である場合、またはＳ２４０４段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上であれば、デコーダは、従来のデブロッキングフィルタリングを行う（Ｓ２４０５）。
【０１９０】
例えば、デコーダは、先の図６の例示のように、従来のデブロッキングフィルタリングを行うことができる。
【０１９１】
ここで、従来（conventional）のデブロッキングフィルタリング方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合される。
【０１９２】
一方、Ｓ２４０３段階で、当該コーディングユニット（またはコーディングブロック）の幅（width）が８以上でない場合、デコーダは、その垂直エッジに弱いフィルタを適用することができる（Ｓ２４０６）
【０１９３】
また、Ｓ２４０４段階で、当該コーディングユニット（またはコーディングブロック）の高さ（height）が８以上でない場合、デコーダは、その水平エッジに弱いフィルタを適用することができる（Ｓ２４０７）。
【０１９４】
ここで、例えば、弱いフィルタを適用する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合（ｉｎｃｏｒｐｏｒａｔｅｄ ｂｙ ｒｅｆｅｒｅｎｃｅ）されることができる。
【０１９５】
図２４で例示されたように、垂直エッジである場合、コーディングユニット（またはコーディングブロック）の横の長さが８以上のコーディングユニット（またはコーディングブロック）にのみ、水平エッジである場合、コーディングユニット（またはコーディングブロック）の縦の長さが８以上のコーディングユニット（またはコーディングブロック）については、従来のデブロッキングフィルタリングが適用され、８以上ではない、コーディングユニット（またはコーディングブロック）にたいしては、弱いフィルタが適用されることができる。
【０１９６】
前述したように、本実施形態によれば、実施形態１−２で小さなブロックサイズでフィルタリングが適用されず、主観的画質が劣化することを最小化することができるという効果がある。
【０１９７】
実施形態１−４
【０１９８】
本発明の一実施形態においては、ＱＴＢＴ構造のデブロッキングフィルタで垂直エッジ（Vertival edge）のために横の長さが４以下であるブロックの境界の左右、水平エッジ（Horizotal edge）のために縦の長さが４以下のブロック境界の上下それぞれ２ピクセルだけ強いフィルタを実行する方法を提案する。
【０１９９】
このとき、下の図２５のように横の長さが４以下であるブロック、縦の長さが４以下のブロックには、フィルタセットを選択せずに強いフィルタリングを適用する方法を提案する。
【０２００】
図２５は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【０２０１】
図２５を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ２５０１）。
【０２０２】
もし、Ｓ２５０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。
【０２０３】
一方、Ｓ２５０１段階でコーディングユニット（またはコーディングブロック）の境界に該当する場合、デブロッキングフィルタを適用する条件をチェックし（Ｓ２５０２）、デコーダは、デブロッキングフィルタを適用する条件に基づいて、その境界でデブロッキングフィルタを適用するかどうかを決定する（Ｓ２５０３）。
【０２０４】
このとき、デブロッキングフィルタの適用条件として先の数式１が用いられる。
【０２０５】
もし、Ｓ２５０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用しないように決定すると（つまり、デブロッキングフィルタの適用条件に満足していない）、デコーダは、デブロッキングフィルタリングを終了する。
【０２０６】
一方、Ｓ２５０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタリングを適用するように決定すると（つまり、デブロッキングフィルタリングの適用条件に満足）、デコーダは、その境界が垂直エッジに該当するか判断する（Ｓ２５０４）。
【０２０７】
Ｓ２５０４段階で、当該境界が垂直エッジに該当すると、当該コーディングユニット（またはコーディングブロック）の幅（width）が８以上であるか判断する（Ｓ２５０５）。
【０２０８】
一方、Ｓ２５０４段階で、当該境界が垂直エッジに該当しなければ（つまり水平エッジに該当する場合）は、そのコーディングユニット（またはコーディングブロック）の高さが８以上であるか判断する（Ｓ２５０６）。
【０２０９】
Ｓ２５０５段階で、当該コーディングユニット（またはコーディングブロック）の幅が８以上ではない場合、またはＳ２５０６段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上でない場合、デコーダは、本実施形態で提案された強いフィルタを適用することにより、デブロッキングフィルタリングを実行する（Ｓ２５０７）。
【０２１０】
本実施形態で提案された強いフィルタを適用すると、ブロック境界の左右（垂直エッジの場合）、または上下（水平エッジの場合）、それぞれ２ピクセルだけ強いフィルタを実行することになり、これに対するより詳細な説明は後述する。
【０２１１】
一方、Ｓ２５０５段階で、コーディングユニット（またはコーディングブロック）の幅が８以上である場合、またはＳ２５０６段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上である場合、デコーダは、フィルタセットの選択条件をチェックし（Ｓ２５０８）、デコーダは、フィルタセットの選択条件に基づいて、そのエッジで強いフィルタを適用するかどうかを決定する（Ｓ２５０９）。
【０２１２】
このとき、デブロッキングフィルタのセットの選択条件として数式２が用いられる。
【０２１３】
もし、Ｓ２５０９段階で強いフィルタを適用するように決定した場合（例えば、先の数式２の条件がすべて満たされる場合）、デコーダは、そのエッジで、従来の強いフィルタを適用することができる（Ｓ２５１０）。
【０２１４】
ここで、例えば、強いフィルタを適用する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合されることができる。
【０２１５】
反面、Ｓ２５０９段階で強いフィルタを適用しないように決定したら（例えば、先に数式２の条件の内、いずれか１つでも満足していなければ）、デコーダは、当該エッジで弱いフィルタを適用することができる（Ｓ２５１１）。
【０２１６】
ここで、例えば、弱いフィルタを適用する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合（ｉｎｃｏｒｐｏｒａｔｅｄ ｂｙ ｒｅｆｅｒｅｎｃｅ）されることができる。
【０２１７】
また、下記図２６のように、従来の実行構造を維持したまま、強いフィルタを適用しなければならない、ブロック境界については、本発明で提案する強いフィルタを適用する方法を提案する。
【０２１８】
図２６は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【０２１９】
図２６を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ２６０１）。
【０２２０】
もし、Ｓ２６０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。
【０２２１】
一方、Ｓ２６０１段階でコーディングユニット（またはコーディングブロック）の境界に該当すると、デブロッキングフィルタの適用条件をチェックし（Ｓ２６０２）、デコーダは、デブロッキングフィルタの適用条件に基づいて、当該境界でデブロッキングフィルタを適用するかどうかを決定する（Ｓ２６０３）。
【０２２２】
このとき、デブロッキングフィルタを適用する条件で先の数式１が用いられる。
【０２２３】
もし、Ｓ２６０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用しないように決定したら（つまり、デブロッキングフィルタの適用条件に満足しない）、デコーダは、デブロッキングフィルタリングを終了する。
【０２２４】
一方、Ｓ２６０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用するように決定したら（つまり、デブロッキングフィルタの適用条件に満足）、デコーダは、フィルタセットの選択条件をチェックして（Ｓ２６０４）、デコーダは、フィルタセットの選択条件に基づいて、当該境界で強いフィルタを適用するかどうかを決定する（Ｓ２６０５）。
【０２２５】
このとき、デブロッキングフィルタのセットの選択条件として数式２が用いられる。
【０２２６】
もし、Ｓ２６０５段階で強いフィルタを適用しないように決定したら（例えば、先の数式２の条件の内、いずれか１つでも満足しなければ）、デコーダは、当該境界で弱いフィルタを適用することができる（Ｓ２６０６）。
【０２２７】
ここで、例えば、弱いフィルタを適用する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合されることができる。
【０２２８】
一方、Ｓ２６０５段階で強いフィルタを適用するように決定したら（例えば、先の数式２の条件がすべて満たされる場合）、デコーダは、当該境界が垂直エッジに該当するか判断する（Ｓ２６０７）。
【０２２９】
Ｓ２６０７段階で、当該境界が垂直エッジに該当すると、当該コーディングユニット（またはコーディングブロック）の幅（width）が８以上であるか判断する（Ｓ２６０８）。
【０２３０】
反面、Ｓ２６０７段階で、当該境界が垂直エッジに該当しなければ（つまり、水平エッジに該当する場合）は、当該コーディングユニット（またはコーディングブロック）の高さ（height）が８以上であるか判断する（Ｓ２６０９）。
【０２３１】
Ｓ２６０９段階で、コーディングユニット（またはコーディングブロック）の幅が８以上ではない場合、またはＳ２６０８段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上でない場合、デコーダは、本実施形態で提案された強いフィルタを適用することにより、デブロッキングフィルタリングを実行する（Ｓ２６１０）。
【０２３２】
本実施形態で提案された強いフィルタを適用すると、ブロック境界の左右（垂直エッジの場合）、または上下（水平エッジの場合）、それぞれ２ピクセルだけ強いフィルタを実行することになり、これに対するさらに詳細な説明は後述する。
【０２３３】
一方、Ｓ２６０９段階で、当該コーディングユニット（またはコーディングブロック）の幅が８以上である場合、またはＳ２６０８段階で、当該コーディングユニット（またはコーディングブロック）の高さが８以上である場合には、デコーダは、当該エッジで、従来の強いフィルタを適用することができる（Ｓ２６１１）。
【０２３４】
ここで、例えば、強いフィルタを適用する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合されることができる。
【０２３５】
以下、本発明の一実施形態に係る、強いフィルタリング方法について注意深く見る。
【０２３６】
本発明で提案する強いフィルタリング方法は、以下の図２７のように、従来のＨＥＶＣのフィルタを利用するが、境界（またはエッジ）に基づいて、左右それぞれ２ピクセルだけ（垂直エッジの場合）フィルタリングを適用することができる。逆に、水平エッジの場合、境界に基づいて左右それぞれ２ピクセルのみフィルタリングを適用することができる。
【０２３７】
図２７は、本発明の一実施形態に係る強いフィルタリング方法を例示する図である。
【０２３８】
図２７（ａ）は、本発明の一実施形態に係るフィルタリング前のピクセルを例示し、図２７（ｂ）は、本発明の一実施形態に係るフィルタリング後のピクセル（陰影表示されたピクセル）を例示する。
【０２３９】
図２７及び下数式５を参照すると、垂直エッジに基づいて左右それぞれ２ピクセルだけ（つまり、Ｐ（０、０）、Ｐ（１、０）、Ｐ（０、１）、Ｐ（１、１）、Ｐ（０、２）、Ｐ（１、２）、Ｐ（０、３）、Ｐ（１、３）、Ｑ（０、０）、Ｑ（１、０）、Ｑ（０、１）、Ｑ（１、１）、Ｑ（０、２）、Ｑ（１、２）、Ｑ（０、３）、Ｑ（１、３））フィルタリングを適用することができる。
【０２４０】
【数５】
2019525671.tif 000007
【０２４１】
数式５においては説明の便宜のためにＰ（０、０）、Ｐ（１、０）、Ｑ（０、０）、Ｑ（１、０）への強いフィルタリング結果、すなわちＰ‘（０、０）、Ｐ’（１、０）、Ｑ‘（０、０）、Ｑ’（１、０）だけを例示しているが、同様の方法で、Ｐ（０、１）、Ｐ（１、１）、Ｐ（０、２）、Ｐ（１、２）、Ｐ（０、３）、Ｐ（１、３）、Ｑ（０、１）、Ｑ（１、１）、Ｑ（０、２）、Ｑ（１、２）、Ｑ（０、３）、Ｑ（１、３）にも強いフィルタリングが適用されることでＰ’（０、１）、Ｐ’（１、１）、Ｐ’（０、２）、Ｐ’（１、２）、Ｐ’（０、３）、Ｐ’（１、３）、Ｑ’（０、１）、Ｑ’（１、１）、Ｑ’（０、２）、Ｑ’（１、２）、Ｑ’（０、３）、Ｑ’（１、３）が導出されることができる。
【０２４２】
または、本発明で提案する強いフィルタリング方法は、図２８のように、新しいフィルタセットを使用する方法を提案する。
【０２４３】
図２８は、本発明の一実施形態に係る強いフィルタリング方法を例示する図である。
【０２４４】
図２８（ａ）は、本発明の一実施形態に係るフィルタリング前のピクセルを例示し、図２８（ｂ）は、本発明の一実施形態に係るフィルタリング後のピクセル（陰影表示されたピクセル）を例示する。
【０２４５】
図２８及び下の数式６を参照すると、垂直エッジに基づいて左右それぞれ２ピクセルだけ（つまり、Ｐ（０、０）、Ｐ（１、０）、Ｐ（０、１）、Ｐ（１、１）、Ｐ（０、２）、Ｐ（１、２）、Ｐ（０、３）、Ｐ（１、３）、Ｑ（０、０）、Ｑ（１、０）、Ｑ（０、１）、Ｑ（１、１）、Ｑ（０、２）、Ｑ（１、２）、Ｑ（０、３）、Ｑ（１、３））フィルタリングを適用することができる。
【０２４６】
【数６】
2019525671.tif 000008
【０２４７】
数式６においては説明の便宜のためにＰ（０、０）、Ｐ（１、０）、Ｑ（０、０）、Ｑ（１、０）の強いフィルタリング結果、すなわちＰ’（０、０）、Ｐ’（１、０）、Ｑ’（０、０）、Ｑ’（１、０）だけ例示しているが、同様の方法で、Ｐ（０、１）、Ｐ（１、１）、Ｐ（０、２）、Ｐ（１、２）、Ｐ（０、３）、Ｐ（１、３）、Ｑ（０、１）、Ｑ（１、１）、Ｑ（０、２）、Ｑ（１、２）、Ｑ（０、３）、Ｑ（１、３）にも強いフィルタリングが適用されることでＰ’（０、１）、Ｐ’（１、１）、Ｐ’（０、２）、Ｐ’（１、２）、Ｐ’（０、３）、Ｐ’（１、３）、Ｑ’（０、１）、Ｑ’（１、１）、Ｑ’（０、２）、Ｑ’（１、２）、Ｑ’（０、３）、Ｑ’（１、３）が導出されることができる。
【０２４８】
数式５及び数式６において、ｐ０、ｐ１、ｐ２は、それぞれＰ（０、０）、Ｐ（１、０）、Ｐ（２、０）に該当して、ｑ１、ｑ２、ｑ３は、それぞれＱ（０、０）、Ｑ（１、０）、Ｑ（２、０）に該当することができる。
【０２４９】
また、数式５及び数式６において、クリップ３（Clip３）は、数式７のように計算することができる。
【０２５０】
【数７】
2019525671.tif 000009
【０２５１】
また、数式５及び数式６において、ｘ>>ｙはｘの2の補数（two's complement）整数表現をｙ２進数（binary digit）だけ算出、右側シフト（Arithmetic right shift）を意味する。この関数は、ｙの負でない整数値（non-negative integer value）に対してのみ定義される。右側シフトの結果として、最上位ビット（ＭＳＢ：Most Significant  Byte）にシフトされたビットは、シフト演算の前にｘの最上位ビット（ＭＳＢ：Most Significant Byte）と同じ値を有する。
【０２５２】
また、数式５及び数式６において、変数（パラメータ）ｔｃ（つまり、ｔ＿ｃ）は量子化パラメータ（Ｑ）に基づいて決まる。
【０２５３】
ここで、変数（パラメータ）ｔｃ（つまり、ｔ＿ｃ）を決定する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として引用（incorporated by reference）される。
【０２５４】
前述したように、本実施形態もまた、従来の小さなブロックでデブロッキングフィルタが適用されないで発生することがある主観的画質劣化を最小化することができる効果があり、また、実施形態１−３とは違って、適応的にフィルタを適用できるようにすることで、画質劣化を最小化することができるという効果がある。
【０２５５】
実施形態２
【０２５６】
ＱＴＢＴブロック分割構造でフィルタリングを実行するかどうかの検査及びフィルタリングを選択する際、前のブロック境界でフィルタリングされたピクセル値を参照して、条件を検査するため、問題が発生することになる。
【０２５７】
これにより、本発明の一実施形態では、ＱＴＢＴ構造のデブロッキングフィルタで垂直エッジ（Vertival edge）フィルタリングのために横の長さが４以下であるブロック、水平エッジ（Horizontal edge）フィルタリングのために縦の長さ４以下のブロックの境界でフィルタリングされないピクセルを参照して、フィルタリングを実行するかどうかを決定する方法及び適応的フィルタ決定の方法を提案する。
【０２５８】
本発明の一実施形態においては、垂直エッジ（vertical edge）をフィルタリングする過程に基づいて説明する。水平エッジ（Horizontal edge）のフィルタリング過程は、ブロック境界に基づいて、上下ピクセルを参照する差と縦の長さを考慮する差があるだけで実行過程は同じである。
【０２５９】
図２９は、垂直エッジ（vertical edge）フィルタリング時に横の長さが４以下のブロックでフィルタリングの実行結果を例示する図である。
【０２６０】
図２９（ａ）においては、垂直エッジ（vertical edge）フィルタリング時に横の長さが４以下のブロックでフィルタリング前のピクセルを例示し、図２９（ｂ）では、フィルタリングによってフィルタリングされたピクセル（陰影表示されたピクセル）を例示する。
【０２６１】
本発明の一実施形態においては、フィルタリングを実行するかどうか、及びフィルタを選択するため、図３０のようにフィルタリングされないピクセルを用いる方法を提案する。
【０２６２】
図３０は、本発明の一実施形態に係るフィルタリングを実行するかどうか、及びフィルタの選択方法を例示する図である。
【０２６３】
デコーダは、隣接するブロックの境界の間の横の長さが４以下のブロックは、図３０（ａ）のようにフィルタリングされないピクセルを用いて、（ｂ）のフィルタリングを実行するかどうかの条件と（ｃ）の適応的フィルタの選択条件を検査する。
【０２６４】
つまり、デコーダは、垂直エッジ（vertical edge）フィルタリングの時、横の長さが４以下のブロックでは、フィルタリングが実行される前にピクセルを用いて、以下の数式８のようにフィルタリングを実行するかどうかを決定することができる。
【０２６５】
【数８】
2019525671.tif 000010
【０２６６】
また、デコーダは、垂直エッジ（vertical edge）フィルタリング時、横の長さが４以下のブロックでは、他の隣接するブロックの境界でのフィルタリングが実行される前にピクセルを用いて、以下の数式９のようにフィルタリングの種類を決定することができる。
【０２６７】
【数９】
2019525671.tif 000011
【０２６８】
一方、フィルタリングされたピクセルを参照して、フィルタリングを実行するかどうか、及びフィルタの種類を判断することになる隣接するブロックの境界の間の横の長さが４以下のブロック境界にのみ該当する。
【０２６９】
このような理由から、ブロックサイズに応じて、（例えば、横の長さが４以下のブロックの場合、または縦の長さが４以下のブロックの場合）、フィルタリングを実行するかどうか、及びフィルタの種類を判断する時、参照するピクセルを決定するよりも、下の図３１のようにすべてのブロック境界に対してフィルタリングを実行するかどうか、及びフィルタの種類を判断する時、フィルタリングされないピクセルを参照する方法を提案する。
【０２７０】
図３１は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【０２７１】
図３１を参照すると、デコーダは、コーディングユニット（またはコーディングブロック）の境界に該当するか判断する（Ｓ３１０１）。
【０２７２】
もし、Ｓ３１０１段階でコーディングユニット（またはコーディングブロック）の境界に該当しなければ、デコーダは、デブロッキングフィルタリングを終了する。
【０２７３】
反面、Ｓ３１０１段階でコーディングユニット（またはコーディングブロック）の境界に該当すると、デブロッキングフィルタの適用条件をチェックし（Ｓ３１０２）、デコーダは、デブロッキングフィルタ適用条件に基づいて、当該境界でデブロッキングフィルタを適用するかどうかを決定する（Ｓ３１０３）。
【０２７４】
このとき、デブロッキングフィルタを適用するかどうかを決定するために、デコーダはフィルタリングされないピクセルのピクチャを入力として用いられる。
【０２７５】
このとき、デブロッキングフィルタを適用する条件で先の数式８を用いることができる。
【０２７６】
もし、Ｓ３１０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用しないように決定したら（つまり、デブロッキングフィルタの適用条件に満足しない）、デコーダは、デブロッキングフィルタリングを終了する。
【０２７７】
一方、Ｓ３１０３段階でコーディングユニット（またはコーディングブロック）の境界でデブロッキングフィルタを適用するように決定したら（つまり、デブロッキングフィルタの適用条件に満足）、デコーダは、フィルタセットの選択条件をチェックし（Ｓ３１０４）、デコーダは、フィルタセットの選択条件に基づいて、その境界で強いフィルタを適用するかどうかを決定する（Ｓ３１０５）。
【０２７８】
このとき、強いフィルタを適用するかどうかを決定するために、デコーダはフィルタリングされないピクセルのピクチャを入力として用いられる。
【０２７９】
このとき、デブロッキングフィルタのセットの選択条件として数式９が用いられる。
【０２８０】
もし、Ｓ３１０５段階で強いフィルタを適用するように決定すると（例えば、先の数式９の条件がすべて満たされる場合）、デコーダは、該当境界で強いフィルタを適用することができる（Ｓ３１０６）。
【０２８１】
このとき、強いフィルタを適用するために、デコーダは、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）を入力として用いることができる。
【０２８２】
このとき、強いフィルタの適用に関連して先の実施形態１−４で提案した方法を用いることができる。
【０２８３】
または、例えば、強いフィルタを適用する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合されることができる。
【０２８４】
一方、Ｓ３１０５段階で強いフィルタを適用しないように決定したら（例えば、先の数式９の条件の内、いずれか１つでも満足しなければ）、デコーダは、その境界で弱いフィルタを適用することができる（Ｓ３１０７）。
【０２８５】
このとき、弱いフィルタを適用するために、デコーダは、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）を入力として用いることができる。
【０２８６】
ここで、例えば、弱いフィルタを適用する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合されることができる。
【０２８７】
Ｓ３１０６段階及びＳ３１０７段階で強いフィルタが適用されたピクセル、弱いフィルタが適用されたピクセルは、出力として復元ピクチャに反映されることができる。
【０２８８】
このように、図３１の例示のように、デコーダは、フィルタ適用をするかどうかと、フィルタセットを選択する条件に満足するかを決定するために、フィルタリングされないピクセルを参照して決定し、実際のフィルタリングは、復号化されたピクセルをフィルタリングすることができる。
【０２８９】
前述したように、本実施形態に係れば、デブロッキングフィルタリングの並列化のためにブロック境界でフィルタリングを決定するとき、隣接するブロック境界で既にフィルタリングが適用されたピクセルを参照せずにフィルタリングが適用されないピクセルを参照して、フィルタリングするかどうかを決定することにより並列化を可能にする効果がある。
【０２９０】
実施形態３
【０２９１】
本発明の一実施形態は、ＱＴＢＴ構造で色彩成分でデブロッキングフィルタを適応的に実行する方法を提案する。
【０２９２】
ＱＴＢＴ分割構造では、Ｉ−Ｓｌｉｃｅで輝度（ｌｕｍａ）領域と色彩（Ｃｈｒｏｍａ）領域のブロック構造が互いに異なるように分割されることができる。このように色差成分と輝度成分の間の互いに異なるブロックエッジを有しているのでフィルタリングが適用されるブロック境界を別に確認してフィルタリングが行われる。
【０２９３】
しかし、従来のＨＥＶＣデブロッキングフィルタリング方法をそのまま使用すると、輝度成分と同じ条件でＢＳを計算した後、ＢＳが２である条件に該当するブロックの境界は、フィルタリングを実行することになる問題が発生する。
【０２９４】
図３２は、ＱＴＢＴブロック分割構造でＨＥＶＣデブロッキングフィルタリングを同様に適用する時に発生する問題点を説明するための図である。
【０２９５】
図３２を参照すると、デコーダは、ピクチャループフィルタ（ｌｏｏｐＦｉｌｔｅｒＰｉｃ）過程を開始し、チャンネルタイプの輝度（ｌｕｍａ）であれば（Ｓ３２０１）、ＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２０２、Ｓ３２０３）。
【０２９６】
図３２で点線で示されているボックス内の過程がｘＤｅｂｌｏｃｋＣＵを例示する。
【０２９７】
デコーダは、スライスタイプがＩ−Ｓｌｉｃｅかどうかを判断する（Ｓ３２０４）。
【０２９８】
もし、Ｓ３２０４段階でスライスタイプがＩ−Ｓｌｉｃｅであり、チャンネルタイプが色彩（chroma）であれば（Ｓ３２０５）、ＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２０２、Ｓ３２０３）。
【０２９９】
一方、Ｓ３２０４段階でスライスタイプがＩ−Ｓｌｉｃｅでなければ、デコーダは、ピクチャループフィルタ（ｌｏｏｐＦｉｌｔｅｒＰｉｃ）過程を終了する。
【０３００】
デコーダは、現在のブロック（例えば、ＣＴＵまたはＣＴＵからＱＴＢＴに分割されたブロック）がクワッドツリー（ＱＴ）構造に分割されるか判断する（Ｓ３２０６）
【０３０１】
もし、Ｓ３２０６段階で、現在のブロックがクワッドツリー（ＱＴ）構造に分割される場合、幅の値を１だけ右側シフトし（幅>>１）、また、高さの値を１だけ右側シフトする（高さ>>１）（Ｓ３２０７）。つまり、縦と横方向に現在のブロックを半分に分割する。
【０３０２】
デコーダは、４つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２０８、３２０９）。
【０３０３】
一方、Ｓ３２０６段階において、現在のブロックがクワッドツリー（ＱＴ）構造に分割されない場合、デコーダは、現在のブロックがバイナリツリー（ＢＴ）の構造に分割されるか判断する（Ｓ３２１０）。
【０３０４】
Ｓ３２１０段階で、現在ブロックがバイナリツリー（ＢＴ）構造に分割される場合、デコーダは、ＢＴモードが水平分割かを判断する（Ｓ３２１１）。
【０３０５】
もし、Ｓ３２１１段階でＢＴモードが水平分割である場合、デコーダは、高さの値だけを１だけ右側にシフトする（高さ>>１）（Ｓ３２１２）。つまり、横方向に、現在のブロックを半分に分割する。そして、デコーダは、２つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２１３、Ｓ３２１４）。
【０３０６】
一方、Ｓ３２１１段階でＢＴモードが水平分割でない場合、デコーダは、幅（width）の値だけを１だけ右側シフトする（幅>>１）（Ｓ３２１５）。つまり、縦方向に、現在のブロックを半分に分割する。そして、デコーダは、２つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３２１６、Ｓ３２１７）。
【０３０７】
一方、Ｓ３２１０段階で、現在のブロックがバイナリツリー（ＢＴ）の構造に分割されない場合、デコーダは、境界強度（ＢＳ）または境界フィルタリング強度（boundary filtering strength）を計算する（Ｓ３２１８）。
【０３０８】
デコーダは、現在のブロックが輝度ブロックであるかを判断する（Ｓ３２１９）。
【０３０９】
もし、Ｓ３２１９段階で、現在のブロックが輝度（ｌｕｍａ）ブロックである場合、デコーダは、輝度ブロックのエッジのフィルタリング（ｘＥｄｇｅＦｉｌｔｅｒＬｕｍａ）を実行する（Ｓ３２２０）。
【０３１０】
つまり、先の式１及び２と同様に、デコーダは、デブロッキングフィルタを適用するかを決定し、デブロッキングフィルタを適用する場合、フィルタの種類を決定した後、決定されたフィルタの種類に応じてデブロッキングフィルタを実行することができる。
【０３１１】
反面、Ｓ３２１９段階で、現在のブロックが輝度ブロックではない場合、現在のブロックが色彩（Ｃｈｒｏｍａ）ブロックであるかＩ−Ｓｌｉｃｅではなく、また、色彩成分フォーマットが４：０：０でなければ（！４００）（Ｓ３２２１）、デコーダは色彩ブロックのエッジのフィルタリング（ｘＥｄｇｅＦｉｌｔｅｒＣｈｒｏｍａ）を実行する（Ｓ３２２２）。
【０３１２】
つまり、先の数式１及び２と同様に、デコーダは、デブロッキングフィルタを適用するかを決定し、デブロッキングフィルタを適用する場合は、フィルタの種類を決定した後、決定されたフィルタの種類に応じてデブロッキングフィルタリングを実行することができる。
【０３１３】
図３２で例示されたように、輝度成分と同じ条件で計算されたＢＳの値が２である場合、色彩ブロックのエッジに対して別々のフィルタリングを実行するかどうかの計算なしで、色彩ブロックのエッジに対するフィルタリング（ｘＥｄｇｅＦｉｌｔｅｒＣｈｒｏｍａ）過程が実行される。
【０３１４】
したがって、Ｉ−Ｓｌｉｃｅで色彩成分のデブロッキングフィルタが効率的に適用されない問題が発生する。
【０３１５】
このような問題を解決するために、本発明の一実施形態においては、図３３のように色彩（Chroma）成分のデブロッキングフィルタを適用する方法を提案する。
【０３１６】
図３３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【０３１７】
図３３を参照すると、デコーダは、ピクチャループフィルタ（ｌｏｏｐＦｉｌｔｅｒＰｉｃ）過程を開始し、チャンネルタイプの輝度であれば（Ｓ３３０１）、ＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３３０２、Ｓ３３０３）。
【０３１８】
図３３で点線で示されているボックス内の過程がｘＤｅｂｌｏｃｋＣＵを例示する。
【０３１９】
デコーダは、スライスタイプがＩ−Ｓｌｉｃｅかを判断する（Ｓ３３０４）。
【０３２０】
もし、Ｓ３３０４段階でスライスタイプがＩ−Ｓｌｉｃｅであり、チャンネルタイプが色彩（ｃｈｒｏｍａ）であれば（Ｓ３３０５）、ＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３３０２、Ｓ３３０３）。
【０３２１】
一方、Ｓ３３０４段階でスライスタイプがＩ−Ｓｌｉｃｅでなければ、デコーダは、ピクチャループフィルタ（ｌｏｏｐＦｉｌｔｅｒＰｉｃ）過程を終了する。
【０３２２】
デコーダは、現在のブロック（例えば、ＣＴＵまたはＣＴＵからＱＴＢＴに分割されたブロック）がクワッドツリー（ＱＴ）構造に分割されるか判断する（Ｓ３３０６）
【０３２３】
もし、Ｓ３３０６段階で、現在のブロックがクワッドツリー（ＱＴ）構造に分割される場合、幅の値を１だけ右側シフトして（幅>>１）、また、高さの値を１だけ右側シフトする（高さ>>１）（Ｓ３３０７）。つまり、縦と横方向に現在ブロックを半分に分割する。
【０３２４】
デコーダは、４つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（ｘＤｅｂｌｏｃｋＣＵ）過程を実行する（Ｓ３３０８、３３０９）。
【０３２５】
一方、Ｓ３３０６段階で、現在のブロックがクワッドツリー（ＱＴ）構造に分割されない場合、デコーダは、現在のブロックがバイナリツリー（ＢＴ）の構造に分割されるか判断する（Ｓ３３１０）。
【０３２６】
Ｓ３３１０段階で、現在のブロックがバイナリツリー（ＢＴ）の構造に分割される場合、デコーダは、ＢＴモードが水平分割かどうかを判断する（Ｓ３３１１）。
【０３２７】
もし、Ｓ３３１１段階でＢＴモードが水平分割である場合、デコーダは、高さ（height）の値だけを１だけ右側シフトする（高さ>>１）（Ｓ３３１２）。つまり、横方向に、現在のブロックを半分に分割する。そして、デコーダは、２つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（xDeblockCU）過程を実行する（Ｓ３３１３、Ｓ３３１４）。
【０３２８】
一方、Ｓ３３１１段階でＢＴモードが水平分割でない場合、デコーダは、幅（width）の値だけを１だけ右側シフトする（幅>>１）（Ｓ３３１５）。つまり、縦方向に、現在のブロックを半分に分割する。そして、デコーダは、２つに分割されたブロックのそれぞれを対象にＣＵデブロッキング（xDeblockCU）過程を実行する（Ｓ３３１６、Ｓ３３１７）。
【０３２９】
反面、Ｓ３３１０段階で、現在のブロックがバイナリツリー（ＢＴ）の構造に分割されない場合、デコーダは、境界強度（ＢＳ）または境界フィルタリング強度（boundary filtering strength）を計算する（Ｓ３３１８）。
【０３３０】
デコーダは、現在のブロックが属するスライスがＩ−Ｓｌｉｃｅかどうかを判断する（Ｓ３３１９）。
【０３３１】
もし、Ｓ３３１９段階で、現在のブロックが属するスライスがＩ−Ｓｌｉｃｅではない場合、デコーダは、現在のブロックが輝度ブロックであるかを判断する（Ｓ３３２０）。
【０３３２】
Ｓ３３１９段階で、現在のブロックが属するスライスがＩ−Ｓｌｉｃｅである場合、またはＳ３３２０段階で、現在のブロックが輝度ブロックである場合、デコーダは、輝度（luma）ブロックのエッジのフィルタリング（xEdgeFilterLuma）を実行する（Ｓ３２２１）。
【０３３３】
つまり、現在のブロックが属するスライスがＩ−スライスの場合の色彩チャンネルである場合にもかかわらず、従来の輝度成分と同様にデコーダは、ブロック境界でフィルタリングを実行するかどうかをさらに計算（判断）し、強いフィルタリングと弱いフィルタリングを選択的に適用することができる。
【０３３４】
このとき、フィルタリングを実行するかどうかの判断方法及び／またはフィルタリングのタイプ（例えば、強いフィルタリングと弱いフィルタリング）を決定する方法は、先に説明した実施形態１及び／または実施形態２で説明した方法を用いることができる。
【０３３５】
または、フィルタリングを実行するかどうかの判断方法及び／またはフィルタリングのタイプ（例えば、強いフィルタリングと弱いフィルタリング）を決定する方法に関連して、ＩＴＵ−Ｔ  Ｈ．２６５文書が、本明細書で参照として併合（incorporated by reference）されることがある。
【０３３６】
一方、Ｓ３３２０段階で、現在のブロックが輝度ブロックではない場合、現在のブロックが色彩（Chroma）ブロックであり、また、色彩成分フォーマットが４：０：０でなければ（つまり、！４００）（Ｓ３３２２）、デコーダは色彩（Chroma）ブロックのエッジのフィルタリング（xEdgeFilterChroma）を実行する（Ｓ３２２３）。
【０３３７】
つまり、輝度と色彩のブロック構造が同じである、Ｂ−スライスの場合、従来と同様にＢＳが２以上のブロック境界でフィルタリングが実行されることができる。  
【０３３８】
図３３は、本発明の一実施形態に係るデブロッキングフィルタリング方法を例示する図である。
【０３３９】
図３３を参照すると、デコーダは、クワッドツリー（ｑｕａｄ−ｔｒｅｅ）とバイナリツリー（ｂｉｎａｒｙ−ｔｒｅｅ）構造に分割されたブロックの境界を導出する（Ｓ３３０１）。
【０３４０】
デコーダは、ブロックの境界の内、デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタリングが適用されるエッジを決定する（Ｓ３３０２）。
【０３４１】
つまり、デコーダは、ブロックの境界でデブロッキングフィルタリングが適用されるエッジを決定する。
【０３４２】
この際、ブロックの幅（width）または高さ（height）を考慮して、エッジ（edge）が決定されることができる。
【０３４３】
例えば、先の実施形態１−１と同様に、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてエッジが決定されることができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてエッジが決定されることができる。
【０３４４】
また他の例として、実施形態１−２のように、エッジのタイプが垂直エッジ（vertical edge）である場合、ブロックの幅が８以上のブロックの境界の内にのみエッジが決定されることができる（つまり、ブロックの幅が４以下であるブロックの境界では、フィルタリングが適用されない）。また、エッジのタイプが水平エッジである場合、ブロックの高さが８以上のブロックの境界の内にのみエッジが決定されることができる（つまり、ブロックの高さが４以下であるブロックの境界では、フィルタリングが適用されない）。
【０３４５】
また他の例として、実施形態２のように、デブロッキングフィルタリングが適用される前、ピクセルに基づいてエッジが決定されることがある。
【０３４６】
デコーダは、エッジに適用されるデブロッキングフィルタリングのタイプを決定する（Ｓ３３０３）。
【０３４７】
例えば、デコーダは、エッジに強いフィルタリングが適用されるか、弱いフィルタリングが適用されるかを決定することができる。
【０３４８】
この際、ブロックの幅または高さを考慮して、デブロッキングフィルタリングのタイプが決定されることができる。
【０３４９】
例えば、先の実施形態１−１と同様に、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることができる。また、エッジのタイプが水平エッジ（ｈｏｒｉｚｏｎｔａｌ ｅｄｇｅ）である場合、ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることができる。
【０３５０】
また他の例として、実施形態１−３と同様に、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、デブロッキングフィルタのタイプは、弱いフィルタリングに決定することができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、デブロッキングフィルタのタイプは、弱いフィルタリングに決定することができる。
【０３５１】
また他の例として、実施形態１−４のように、エッジのタイプが垂直エッジ（vertical edge）である場合、ブロックの幅（width）が４以下であれば、デブロッキングフィルタのタイプは、強いフィルタリングで決定され、強いフィルタリングはエッジの左右にそれぞれ隣接する２つのピクセル列にのみ適用することができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、デブロッキングフィルタのタイプは、強いフィルタリングで決定され、強いフィルタリングは、エッジの上側及び下側にそれぞれ隣接する２つのピクセル列にのみ適用することができる。
【０３５２】
また他の例として、実施形態２のように、デブロッキングフィルタリングが適用される前、ピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることもある。
【０３５３】
また他の例として、実施形態３のように、ブロックが属するスライスがＩ−ｓｌｉｃｅである場合、ブロックが色彩ブロックかどうかとは無関係にＳ３３０２段階でエッジが決定され、Ｓ３３０３段階でデブロッキングフィルタリングのタイプが決定されることができる。
【０３５４】
デコーダは、デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルにデブロッキングフィルタリングを実行する（Ｓ３３０４）。
【０３５５】
図３５は、本発明の一実施形態に係るデブロッキングフィルタリング部を例示する図である。
【０３５６】
図３５を参照すると、デブロッキングフィルタリング部は前に、図６〜図３４で提案された機能、過程及び／または方法を実現する。また、デブロッキングフィルタリング部は前に、図１で例示されたエンコーダの構成要素の内、全体または一部と結合して、エンコード装置に実現されることができ、または先に図２で例示されたデコーダの構成要素の内、全体または一部と結合されてデコード装置に実現されることができる。
【０３５７】
具体的に、デブロッキングフィルタリング部はブロック境界導出部３５０１、エッジ決定部３５０２、フィルタリングタイプ決定部３５０３及びフィルタリング部３５０４を含んで構成されることができる。
【０３５８】
ブロック境界導出部３５０１は、クワッドツリー（ｑｕａｄ−ｔｒｅｅ）及びバイナリツリー（ｂｉｎａｒｙ−ｔｒｅｅ）構造に分割されたブロックの境界を導出する。
【０３５９】
エッジ決定部３５０２は、ブロックの境界の内、デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタリングが適用されるエッジを決定する。
【０３６０】
つまり、エッジ決定部３５０２は、ブロックの境界でデブロッキングフィルタリングが適用されるエッジを決定する。
【０３６１】
この際、ブロックの幅または高さを考慮して、エッジが決定されることができる。
【０３６２】
例えば、先の実施形態１−１と同様に、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてエッジが決定されることができる。また、エッジのタイプが水平エッジ（horizontal edge）である場合には、ブロックの高さ（height）が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてエッジ（edge）が決定されることができる。
【０３６３】
また他の例として、実施形態１−２のように、エッジのタイプが垂直エッジである場合、ブロックの幅が８以上のブロックの境界の内にのみエッジが決定されることができる（つまり、ブロックの幅が４以下であるブロックの境界では、フィルタリングが適用されない）。また、エッジのタイプが水平エッジである場合、ブロックの高さが８以上のブロックの境界の内にのみエッジが決定されることができる（つまり、ブロックの高さが４以下であるブロックの境界では、フィルタリングが適用されない）。
【０３６４】
また他の例として、実施形態２のように、デブロッキングフィルタリングが適用される前に、ピクセルに基づいてエッジが決定されることもある。
【０３６５】
フィルタリングタイプ決定部３５０３は、エッジに適用されるデブロッキングフィルタリングのタイプを決定する。
【０３６６】
例えば、フィルタリングタイプ決定部３５０３は、エッジに強いフィルタリングが適用されるか、弱いフィルタリングが適用されるかを決定することができる。
【０３６７】
この際、ブロックの幅または高さを考慮して、デブロッキングフィルタリングのタイプが決定されることができる。
【０３６８】
例えば、先の実施形態１−１のように、エッジのタイプが垂直エッジ（ｖｅｒｔｉｃａｌ ｅｄｇｅ）である場合、ブロックの幅が４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、既にデブロッキングフィルタリングが適用されたピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることができる。
【０３６９】
また他の例として、実施形態のように、エッジのタイプが垂直エッジである場合、ブロックの幅が４以下であれば、デブロッキングフィルタのタイプは、弱いフィルタリングに決定することができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、デブロッキングフィルタのタイプは、弱いフィルタリングに決定することができる。
【０３７０】
また他の例として、実施形態１−４のように、エッジのタイプが垂直エッジの場合には、ブロックの幅が４以下であれば、デブロッキングフィルタのタイプは、強いフィルタリングで決定され、強いフィルタリングはエッジの左右にそれぞれ隣接する２つのピクセル列にのみ適用することができる。また、エッジのタイプが水平エッジである場合、ブロックの高さが４以下であれば、デブロッキングフィルタのタイプは、強いフィルタリングで決定され、強いフィルタリングは、エッジの上側と下側にそれぞれ隣接する２つのピクセル列にのみ適用することができる。
【０３７１】
また他の例として、実施形態２のように、デブロッキングフィルタリングが適用される前にピクセルに基づいてデブロッキングフィルタリングのタイプが決定されることもある。
【０３７２】
また他の例として、実施形態３のように、ブロックが属するスライスがＩ−ｓｌｉｃｅである場合、ブロックが色彩ブロックかどうかとは無関係にＳ３３０２段階でエッジが決定され、Ｓ３３０３段階でデブロッキングフィルタリングのタイプが決定されることができる。
【０３７３】
フィルタリング部３５０４は、デブロッキングフィルタリングのタイプに応じて、復元されたピクチャのサンプルにデブロッキングフィルタリングを実行する。
【０３７４】
以上で説明された実施形態等は、本発明の構成要素等と特徴が所定形態に結合されたものなどである。各構成要素または特徴は、別の明示的言及がない限り、選択的なものと考慮されなければならない。各構成要素または特徴は、他の構成要素や特徴と結合されなかった形態で実施されることができる。また、一部構成要素等及び／又は特徴を結合して本発明の実施形態を構成することも可能である。本発明の実施形態等で説明される動作の順序は変更されることができる。ある実施形態の一部構成や特徴は、他の実施形態に含まれることができ、または、他の実施形態の対応する構成または特徴と交替されることができる。特許請求の範囲において明示的な引用関係がない請求項等を結合して実施形態を構成したり、出願後の補正により新しい請求項として含め得ることは自明である。
【０３７５】
本発明に係る実施形態は、様々な手段、例えば、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、またはそれらの組み合わせなどにより実現されることができる。ハードウェアによる実現の場合、本発明の一実施形態は、１つまたはそれ以上のＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実現されることができる。
【０３７６】
ファームウェアやソフトウェアによる実現の場合、本発明の一実施形態は、以上で説明された機能または動作を行うモジュール、手順、関数などの形態で実現されることができる。ソフトウェアコードは、メモリに格納されてプロセッサにより駆動されることができる。前記メモリは、前記プロセッサの内部または外部に位置し、既に公知の様々な手段により前記プロセッサとデータをやり取りすることができる。
【０３７７】
本発明は、本発明の必須的特徴を逸脱しない範囲で他の特定の形態で具体化され得ることは当業者に自明である。したがって、前述した詳細な説明は、あらゆる面で制限的に解釈されてはならず、例示的なことと考慮されなければならない。本発明の範囲は、添付された請求項の合理的解釈により決定されなければならず、本発明の等価的範囲内でのあらゆる変更は、本発明の範囲に含まれる。
【産業上の利用可能性】
【０３７８】
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものにおいて、当業者であれば、以下に添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施形態の改良、変更、代替、または付加などが可能であろう。
【図１】
2019525671.tif 000012
【図２】
2019525671.tif 000013
【図３】
2019525671.tif 000014
【図４】
2019525671.tif 000015
【図５】
2019525671.tif 000016
【図６】
2019525671.tif 000017
【図７】
2019525671.tif 000018
【図８】
2019525671.tif 000019
【図９】
2019525671.tif 000020
【図１０】
2019525671.tif 000021
【図１１】
2019525671.tif 000022
【図１２】
2019525671.tif 000023
【図１３】
2019525671.tif 000024
【図１４】
2019525671.tif 000025
【図１５】
2019525671.tif 000026
【図１６】
2019525671.tif 000027
【図１７】
2019525671.tif 000028
【図１８】
2019525671.tif 000029
【図１９】
2019525671.tif 000030
【図２０】
2019525671.tif 000031
【図２１】
2019525671.tif 000032
【図２２】
2019525671.tif 000033
【図２３】
2019525671.tif 000034
【図２４】
2019525671.tif 000035
【図２５】
2019525671.tif 000036
【図２６】
2019525671.tif 000037
【図２７】
2019525671.tif 000038
【図２８】
2019525671.tif 000039
【図２９】
2019525671.tif 000040
【図３０】
2019525671.tif 000041
【図３１】
2019525671.tif 000042
【図３２】
2019525671.tif 000043
【図３３】
2019525671.tif 000044
【図３４】
2019525671.tif 000045
【図３５】
2019525671.tif 000046
【国際調査報告】
2019525671.tif 000047
2019525671.tif 000048
2019525671.tif 000049
2019525671.tif 000050
2019525671.tif 000051
2019525671.tif 000052
2019525671.tif 000053
2019525671.tif 000054
2019525671.tif 000055
2019525671.tif 000056
2019525671.tif 000057
2019525671.tif 000058