(57)【要約】ＣＮＮ基盤インループフィルタを含む符号化装置及び復号化装置が開示される。一実施形態に係る符号化装置は、オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するフィルタリング部と、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、前記オリジナル映像と復元情報に基づいて前記予測映像を生成する予測部と、前記逆フィルタリング情報と前記予測映像が入力されて前記復元情報を出力するＣＮＮ基盤インループフィルタと、前記フィルタリング情報と前記予測映像の情報に基づいて符号化を行う符号化部とを含む。【選択図】図２
2019525544.tif 000002
【特許請求の範囲】
【請求項１】
オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するステップと、
前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成するステップと、
前記逆フィルタリング情報をＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップと、
前記復元情報と前記オリジナル映像に基づいたオリジナル情報の差を算出するステップと、
前記差に基づいて前記ＣＮＮ基盤インループフィルタの加重値を補正するステップと、
を含み、
前記予測映像は、前記オリジナル映像と前記復元情報に基づいて生成される、
ＣＮＮ基盤インループフィルタ学習方法。
【請求項２】
前記フィルタリング情報を生成するステップは、
前記残差映像を変換及び量子化することによってフィルタリング情報を生成するステップを含み、
前記逆フィルタリング情報を生成するステップは、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項３】
前記フィルタリング情報を生成するステップは、量子化パラメータによる量子化区間に基づいて前記残差映像をフィルタリングするステップを含み、
前記補正するステップは、前記量子化区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項４】
前記フィルタリング情報を生成するステップは、歪曲値による歪曲値区間に基づいて前記残差映像をフィルタリングするステップを含み、
前記補正するステップは、前記歪曲値区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項５】
前記フィルタリング情報を生成するステップは、映像特性のテクスチャ複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、
前記補正するステップは、前記テクスチャ複雑度区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項６】
前記フィルタリング情報を生成するステップは、映像特性の動き複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、
前記補正するステップは、前記動き複雑度区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項７】
前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、
前記復元情報は、前記オリジナル映像のような形式である、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項８】
前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含む、請求項７に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項９】
前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、
前記復元情報は、前記残差映像のような形式である、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項１０】
前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含む、請求項９に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項１１】
オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するフィルタリング部と、
前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、
前記オリジナル映像と復元情報に基づいて前記予測映像を生成する予測部と、
前記逆フィルタリング情報と前記予測映像が入力されて前記復元情報を出力するＣＮＮ基盤インループフィルタと、
前記フィルタリング情報と前記予測映像の情報に基づいて符号化を行う符号化部と、
を含む符号化装置。
【請求項１２】
前記フィルタリング部は、前記残差映像を変換及び量子化することによってフィルタリング情報を生成し、
前記逆フィルタリング部は、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成する、請求項１１に記載の符号化装置。
【請求項１３】
前記復元情報は、前記オリジナル映像のような形式であり、
前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１１に記載の符号化装置。
【請求項１４】
前記予測情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項１３に記載の符号化装置。
【請求項１５】
前記インループフィルタは、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ  ｆｉｌｔｅｒ（ＤＦ））、サンプル適応型オフセットフィルタ（ｓａｍｐｌｅ  ａｄａｐｔｉｖｅ  ｏｆｆｓｅｔ（ＳＡＯ）ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ａｄａｐｔｉｖｅ  ｌｏｏｐ  ｆｉｌｔｅｒ（ＡＬＦ））のうち少なくとも１つを含む、請求項１４に記載の符号化装置。
【請求項１６】
前記復元情報は、前記残差映像のような形式であり、
前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１１に記載の符号化装置。
【請求項１７】
前記予測情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項１６に記載の符号化装置。
【請求項１８】
前記復元情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項１１に記載の符号化装置。
【請求項１９】
符号化されたビットストリーム情報に復号化を行ってフィルタリング情報と予備予測情報を出力するエントロピー復号化部と、
前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、
前記予備予測情報に基づいて予測映像を生成する予測部と、
前記逆フィルタリング情報と前記予測映像が入力されて復元情報を出力するＣＮＮ基盤インループフィルタと、
を含む、復号化装置。
【請求項２０】
前記復元情報は、前記オリジナル映像のような形式であり、
前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１９に記載の復号化装置。
【請求項２１】
前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項２０に記載の復号化装置。
【請求項２２】
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含む、請求項２１に記載の復号化装置。
【請求項２３】
前記復元情報は、前記残差映像のような形式であり、
前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１９に記載の復号化装置。
【請求項２４】
前記復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含む、請求項２３に記載の復号化装置。
【請求項２５】
前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項２３に記載の復号化装置。
【請求項２６】
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含む、請求項２５に記載の復号化装置。
【請求項２７】
前記復元情報は、前記残差映像のような形式であり、
前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報を前記ＣＮＮ基盤インループフィルタに入力することによって残差復元情報を生成する、請求項１９に記載の復号化装置。
【請求項２８】
前記残差復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含む、請求項２７に記載の復号化装置。
【請求項２９】
前記最終復元情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項２８に記載の復号化装置。
【請求項３０】
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含む、請求項２９に記載の復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】  実施形態は、ＣＮＮ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置に関する。
【背景技術】
【０００２】  従来におけるインループフィルタリングは、量子化によって隣接符号化ブロック間の画素値の差により発生するブロック境界が視覚的に目に障ることを緩和するために、ブロック境界に沿ってブロック符号化タイプ、ブロック境界画素の強度、動き情報、量子化後の残差信号の存在情報などを用いて隣接符号化ブロックの境界を画素間の差を緩和する方法を利用した。ここで、たとえ固定されたフィルタ係数を使用することで係数を送信していないが、符号化ブロックの境界に対して画質劣化の緩和にのみ効果的であった。【０００３】  最近、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）の標準として、符号化ブロックの境界に対してブロック境界の歪曲緩和フィルタリング（ｄｅ−ｂｌｏｃｋｉｎｇ  ｆｉｌｔｅｒｉｎｇ）の適用だけではなく、追加的に量子化による映像エッジに垂直方向に発生するリンギングアーティファクト（ｒｉｎｇｉｎｇ  ａｒｔｅｆａｃｔ）及び明度差の歪曲を減らすためのサンプル適応型オフセット（Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ  Ｏｆｆｓｅｔ）フィルタリングを２次インループフィルタリングとして使用している。この場合、高周波ブラーリング歪曲（ｂｌｕｒｒｉｎｇ  ａｒｔｅｆａｃｔ）を充分に改善することができず、サンプルオフセット及びエッジ方向タイプなどをデコーダに送信しなければならないため、符号化の効率に関する向上に限界がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】  実施形態は、量子化によるブロック境界の歪曲、リンギングアーティファクト、及び高周波ブラーリングリング歪曲（ｂｌｕｒｒｉｎｇ  ａｒｔｅｆａｃｔ）などを、インループフィルタリングを用いて除去する技術を提供する。【０００５】  また、実施形態は、符号化装置及び復号化装置に訓練されたＣＮＮ基盤インループフィルタを用いてインループフィルタ係数を送信しないながらも画質の改善された技術を提供する。【０００６】  また、実施形態は符号化装置及び復号化装置が訓練されたＣＮＮ基盤インループフィルタを用いて、画質の改善されたフレームを参照フレームとして使用し、符号化の効率又は復号化の効率を大きく向上させる技術を提供する。【０００７】  また、実施形態はスライスタイプごとにインループフィルタリングを適用する技術を提供する。【０００８】  また、実施形態は、符号化ブロックごとにインループフィルタリングを適用する技術を提供する。【０００９】  また、実施形態は、指定された映像の領域ごとにインループフィルタリング適用する技術を提供する。
【課題を解決するための手段】
【００１０】  一実施形態に係るＣＮＮ基盤インループフィルタ学習方法は、オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するステップと、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成するステップと、前記逆フィルタリング情報をＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップと、前記復元情報と前記オリジナル映像に基づいたオリジナル情報の差を算出するステップと、前記差に基づいて前記ＣＮＮ基盤インループフィルタの加重値を補正するステップと、を含み、前記予測映像は、前記オリジナル映像と前記復元情報に基づいて生成される。【００１１】  前記フィルタリング情報を生成するステップは、前記残差映像を変換及び量子化することによってフィルタリング情報を生成するステップを含み、前記逆フィルタリング情報を生成するステップは、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成するステップを含み得る。【００１２】  前記フィルタリング情報を生成するステップは、量子化パラメータによる量子化区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記量子化区間に対する加重値を補正するステップを含み得る。【００１３】  前記フィルタリング情報を生成するステップは、歪曲値による歪曲値区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記歪曲値区間に対する加重値を補正するステップを含み得る。【００１４】  前記フィルタリング情報を生成するステップは、映像特性のテクスチャ複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記テクスチャ複雑度区間に対する加重値を補正するステップを含み得る。【００１５】  前記フィルタリング情報を生成するステップは、映像特性の動き複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記動き複雑度区間に対する加重値を補正するステップを含み得る。【００１６】  前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、前記復元情報は、前記オリジナル映像のような形式であり得る。【００１７】  前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含み得る。【００１８】  前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、前記復元情報は、前記残差映像のような形式であり得る。【００１９】  前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記���測情報にインループフィルタリングを行うステップを含み得る。【００２０】  一実施形態に係る符号化装置は、オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するフィルタリング部と、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、前記オリジナル映像と復元情報に基づいて前記予測映像を生成する予測部と、前記逆フィルタリング情報と前記予測映像が入力されて前記復元情報を出力するＣＮＮ基盤インループフィルタと、前記フィルタリング情報と前記予測映像の情報に基づいて符号化を行う符号化部とを含む。【００２１】  前記フィルタリング部は、前記残差映像を変換及び量子化することによってフィルタリング情報を生成し、前記逆フィルタリング部は、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成し得る。
前記復元情報は、前記オリジナル映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。【００２２】  前記装置は、前記予測情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【００２３】  前記インループフィルタは、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ  ｆｉｌｔｅｒ（ＤＦ））、サンプル適応型オフセットフィルタ（ｓａｍｐｌｅ  ａｄａｐｔｉｖｅ  ｏｆｆｓｅｔ（ＳＡＯ）ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ａｄａｐｔｉｖｅ  ｌｏｏｐ  ｆｉｌｔｅｒ（ＡＬＦ））のうち少なくとも１つを含み得る。【００２４】  前記復元情報は、前記残差映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。
前記装置は、前記予測情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【００２５】  前記装置は、前記復元情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【００２６】  一実施形態に係る復号化装置は、符号化されたビットストリーム情報に復号化を行ってフィルタリング情報と予備予測情報を出力するエントロピー復号化部と、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、前記予備予測情報に基づいて予測映像を生成する予測部と、前記逆フィルタリング情報と前記予測映像が入力されて復元情報を出力するＣＮＮ基盤インループフィルタとを含む。【００２７】  前記復元情報は、前記オリジナル映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。【００２８】  前記装置は、前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【００２９】  前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。【００３０】  前記復元情報は、前記残差映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。【００３１】  前記装置は、前記復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含み得る。【００３２】  前記装置は、前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【００３３】  前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。【００３４】  前記復元情報は、前記残差映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報を前記ＣＮＮ基盤インループフィルタに入力することによって残差復元情報を生成し得る。【００３５】  前記装置は、前記残差復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含み得る。【００３６】  前記最終復元情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【００３７】  前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
【図面の簡単な説明】
【００３８】
【図１】符号化装置及び／又は復号化装置を用いるシステムの一例を説明するための図である。
【図２Ａ】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の一例を示す。
【図２Ｂ】図１に示された予測部のブロック図の一例を示す。
【図３】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図４】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図５】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図６】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図７】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図８Ａ】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の一例を示す。
【図８Ｂ】図８Ａに示された予測部のブロック図の一例を示す。
【図９】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図１０】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図１１】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図１２】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図１３】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図１４】一実施形態に係るＣＮＮ基盤インループフィルタの構造を説明するための図である。
【図１５】一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の一例である。
【図１６】一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の他の例である。
【図１７】一実施形態に係るＣＮＮ基盤インループフィルタの訓練方法を説明するための図面の一例である。
【図１８】一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【図１９】一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【図２０】一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【図２１】一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【発明を実施するための形態】
【００３９】  本明細書に開示されている本発明の概念による実施形態について、特定の構造的又は機能的説明は、単に、本発明の概念による実施形態を説明するための目的として例示されたものであり、本発明の概念による実施形態は、様々な形態に実施され、本明細書に説明された実施形態に限定されることはない。
【００４０】  実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【００４１】  第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
【００４２】  いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。一方、いずれかの構成要素が他の構成要素に「直接連結」されているか「直接接続」されていると言及されたときには、中間に他の構成要素が存在しないものと理解されなければならない。構成要素間の関係を説明する表現、例えば「〜間に」と「直ちに〜の間に」又は「〜に直接隣接する」なども同様に解釈されなければならない。
【００４３】  本明細書で用いられる用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００４４】  異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００４５】  以下、実施形態を添付の図面を参照して詳説する。添付図面を参照して説明することにおいて、図面符号に関わらず同じ構成要素は同じ参照符号を付与し、これに関する重複説明は省略することにする。
【００４６】  図１は、符号化装置及び／又は復号化装置を用いるシステムの一例を説明するための図である。
【００４７】  図１を参照すると、符号化装置及び／又は復号化装置を用いるシステム１０は、ユーザ端末１１とサーバ端末１２を含む。ユーザ端末１１は電子装置を含み得る。電子装置は、パーソナルコンピュータ（ＰＣ）、データサーバ、テレビ（ＴＶ）、又は携帯用装置に具現され得る。
【００４８】  携帯用装置は、ラップトップコンピュータ、移動電話機、スマートフォン、タブレットＰＣ、モバイルインターネットデバイス（ＭＩＤ）、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）、デジタルスチールカメラ、デジタルビデオカメラ、ＰＭＰ（ｐｏｒｔａｂｌｅ  ｍｕｌｔｉｍｅｄｉａ  ｐｌａｙｅｒ）、ＰＳＰ（ｐｌａｙｓｔａｔｉｏｎ  ｐｏｒｔａｂｌｅ）、ＰＮＤ（ｐｅｒｓｏｎａｌ  ｎａｖｉｇａｔｉｏｎ  ｄｅｖｉｃｅ）又はｐｏｒｔａｂｌｅ  ｎａｖｉｇａｔｉｏｎ  ｄｅｖｉｃｅ、携帯用ゲームコンソール、無線通信端末、ｅブック（ｅ−ｂｏｏｋ）、又はスマートデバイスに具現される。
【００４９】  サーバ端末１２は、応用サーバ又はサービスサーバなどを含む。
【００５０】  ユーザ端末１１とサーバ端末１２は、各種の機器又は有無線通信網と通信を行うための通信モデムなどの通信装置、映像を符号化又は復号化したり、符号化及び復号化のために画面間（ｉｎｔｅｒ）又は画面内（ｉｎｔｒａ）の予測をするための各種のプログラムとデータを格納するためのメモリ１８、プログラムを実行して演算及び制御するためのプロセッサ１４などを備える様々な装置を含む。
【００５１】  また、ユーザ端末１１とサーバ端末１２は、符号化装置によってビットストリームで符号化された映像を映像復号化装置に送信する。例えば、ユーザ端末１１とサーバ端末１２は、リアルタイム又は非リアルタイムに符号化された映像を映像復号化装置に送信する。
【００５２】  ユーザ端末１１とサーバ端末１２は、有無線通信網又は様々な通信インターフェースを介して符号化された映像を映像復号化装置に送信する。例えば、有無線通信網は、インターネット、近距離無線通信網、無線ＬＡＮ網、ワイヤレスブロードバンド網、又は移動通信網などであり得る。通信インターフェースは、ケーブル又は汎用直列バス（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ（ＵＳＢ））などを含み得る。
【００５３】  また、符号化装置によってビットストリームで符号化された映像は、コンピュータで読み出し可能な記録媒体を介して符号化装置から復号化装置に伝達されてもよい。
【００５４】  復号化装置は、符号化された映像を復号化して復元された映像を再生する。
【００５５】  符号化装置と復号化装置は、それぞれ別途の装置であってもよいが、具現に応じて１つの符号化及び復号化装置に製造されてもよい。１つの符号化及び復号化装置の場合、符号化装置の予測部、逆量子化部、逆変換部、加算部、フィルタ部、及びＤＰＢは記載された順に復号化装置の予測部、逆量子化部、逆変換部、加算部、フィルタ部、及びＤＰＢと実質的に同じ技術要素として、少なくとも同じ構造を含んだり、少なくとも同じ機能を行うよう具現され得る。また、エントロピー符号化部はその機能を逆に行うときエントロピー復号化部に対応する。
【００５６】  したがって、以下の技術要素とその作動原理などに対する詳細説明について、対応する技術要素の重複する説明は省略することにする。
【００５７】  また、復号化装置は、符号化装置で行われる符号化方法を復号化に適用するコンピューティング装置に対応するため、以下の説明では符号化装置を中心に説明する。符号化装置は符号化器に、復号化装置は復号化器にそれぞれ称される。
【００５８】  図２Ａは、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の一例を示し、図２Ｂは、図１に示された予測部のブロック図の一例を示す。
【００５９】  図２Ａ及び図２Ｂを参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ａ、符号化ピクチャーバッファ（ｄｅｃｏｄｅｄ  ｐｉｃｔｕｒｅ  ｂｕｆｆｅｒ（ＤＰＢ））１６０、予測部、及び複数の加算器を含む。
【００６０】  符号化装置１００は、入力映像１１０又は入力スライス１１０に符号化（エンコーディング）を行う。例えば、符号化装置１００は、入力映像１１０又は入力スライス１１０を分割した複数のピクセルブロックｆに符号化を行う。符号化装置１００は、入力映像１１０又は入力スライス１１０を分割する分割部（図示せず）をさらに含んでもよい。分割部（図示せず）は、入力映像１１０又は入力スライス１１０を定められた大きさ（Ｍ×Ｎ）のブロックに分割する。ここで、Ｍ又はＮは、１以上の自然数であり得る。
【００６１】  分割部（図示せず）は、入力映像１１０又は入力スライス１１０の特性、又は解像度などに基づいてブロックの大きさ（Ｍ×Ｎ）を決定する。分割部（図示せず）は、ブロックの大きさ（Ｍ×Ｎ）を２のべき乗で決定される。分割部（図示せず）は、ブロックの大きさ（Ｍ×Ｎ）をまっ四角の形態又は長方形に決定される。例えば、分割部（図示せず）がまっ四角の形態に決定された場合、ブロックの大きさ（Ｍ×Ｎ）は２５６×２５６、１２８×１２８、６４×６４、３２×３２、１６×１６、８×８、又は４×４などであり得る。
【００６２】
2019525544.tif 000003
クｆに対して画面内予測又は画面間予測などを用いて生成したブロックである。変換及び量子化部１２０は、残差ブロックｅに変換及び量子化を行う。変換及び量子化部１２０がピクセルブロックｆの代わりに残差ブロックｅに対して変換及び量子化を行うことで、符号化の効率を向上させることができる。
【００６３】  変換及び量子化部１２０は、残差ブロックｅにフィルタリングを行ってフィルタ
2019525544.tif 000004
変換及び／又は量子化を行う。
【００６４】  変換及び量子化部１２０は、残差ブロックｅを周波数領域に変換する。残差ブロックｅの各画素は、変換された残差ブロックの変換係数に対応する。
【００６５】  変換及び量子化部１２０は、変換マトリックスを用いて残差ブロックｅを変換させる。変換マトリックスは、１次元、２次元、又は３次元の変換マトリックスであってもよい。例えば、変換及び量子化部１２０は、離散コサイン変換（ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ（ＤＣＴ））、離散サイン変換（ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ（ＤＳＴ））、水平、垂直単位などに変換マトリックスを使用する。変換及び量子化部１２０は、残差ブロックｅの大きさ、形態、種類（輝度／色差）、符号化モード、予測モード情報、量子化パラメータ、又は隣接ブロックの符号化情報などに基づいて、変換マトリックスの使用の有無を決定する。変換及び量子化部１２０は、残差ブロックｅを変換して変換ブロックＥを生成する。
【００６６】  変換及び量子化部１２０は、変換ブロックＥに量子化を行って量子化された残差
2019525544.tif 000005
行う。変換及び量子化部１２０は、量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ  ｐａｒａｍｅｔｅｒ（ＱＰ）による量子化区間、映像信号の特性による歪曲値区間、映像信号特性によるテクスチャ複雑度区間、及び映像信号特性による動き複雑度区間のうち少なくとも１つ以上に基づいて、残差映像ｅにフィルタリングを行う。映像信号は残差ブロックｅを含む。
【００６７】  変換及び量子化部１２０は、量子化パラメータ（ＱＰ）に基づいて量子化を行う。変換及び量子化部１２０は、変換ブロックＥのブロック単位で量子化パラメータを決定する。量子化パラメータは、シーケンス、ピクチャー、スライス、又はブロックなどの単位で設定され得る。
【００６８】  変換及び量子化部１２０は、変換ブロックＥの隣接ブロックから少なくとも１つの量子化パラメータを誘導する。変換及び量子化部１２０は、少なくとも１つの量子化パラメータを用いて変換ブロックＥの量子化パラメータを予測する。例えば、変換及び量子化部１２０は、変換ブロックＥの左側、左側の上、左側の下、上側、右側の上、右側の下、下側などの隣接ブロックから少なくとも１つの量子化パラメータを誘導してもよい。変換及び量子化部１２０は、予測した量子化パラメータと隣接ブロックから誘導した量子化パラメータの差分値を算出してエントロピー符号化部１３０に送信する。
【００６９】  変換及び量子化部１２０が変換ブロックＥの隣接ブロックから量子化パラメータを誘導できない場合、変換及び量子化部１２０は、シーケンス、ピクチャー、スライス、又はブロックなどの単位に送信された基本パラメータに基づいて量子化パラメータを設定する。変換及び量子化部１２０は、基本パラメータと量子化パラメータの差分値を算出してエントロピー符号化部１３０に送信する。
【００７０】
2019525544.tif 000006
３０及び／又は逆量子化及び逆変換部１４０に送信する。
2019525544.tif 000007
テキスト適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応２進算術コーディング（ＣＡＢＡＣ）、又は構文基盤コンテキスト適応２進算術コーディング（ＳＢＡＣ）などの符号化方式を用いてエントロピー符号化を行うことができる。
エントロピー符号化部１３０は、エントロピー符号化を行って符号化データをビットストリームに出力する。符号化データは、量子化パラメータを符号化したビットストリームと符号化されたビットストリームを復号化するために必要な様々な情報を含む。また、符号化データは、符号化されたブロックの形態、量子化パラメータ、量子化ブロックが符号化されたビットストリーム、及び予測に必要な情報などを含んでもよい。
【００７１】
2019525544.tif 000008
って逆フィルタリング情報（ｉｎｖｅｒｓｅ  ｆｉｌｔｅｒｉｎｇ  ｉｎｆｏｒｍ
2019525544.tif 000009
2019525544.tif 000010
部１４０は、変換及び量子化部１２０の動作を逆に行う。例えば、逆量子化及び逆
2019525544.tif 000011
化及び逆変換部１４０は、変換及び量子化部１２０の変換構造及び量子化構造を反対に構成してもよい。
【００７２】  図１では、説明の便宜のために変換及び量子化部１２０が変換及び量子化を行うものと図示しているが、必ずこれに限定されることなく、残差ブロックｅを変換する変換部と、残差ブロックｅを量子化する量子化部にそれぞれ具現されてもよい。
また、逆量子化及び逆変換部１４０が逆量子化及び逆変換を行うものと図示して
2019525544.tif 000012
てもよい。
【００７３】
2019525544.tif 000013
加算したブロックである。
【００７４】  ＣＮＮ基盤インループフィルタ１５０ａは、予測情報にインループフィルタリン
2019525544.tif 000014
ＣＮＮ基盤インループフィルタ１５０ａが２次予測ブロック（予備復元ブロック
2019525544.tif 000015
ロックである。
【００７５】  ＣＮＮ基盤インループフィルタ１５０ａは、深層畳み込みニューラルネットワークを使用する。すなわち、ＣＮＮ基盤インループフィルタ１５０ａは、複数のトレーニングデータに基づいて訓練される。ＣＮＮ基盤インループフィルタ１５０ａは、任意の入力映像に対して適切な出力映像を生成するよう訓練される。
【００７６】  ＣＮＮ基盤インループフィルタ１５０ａは、入力レイヤ、隠れレイヤ、及び出力レイヤを含む。入力レイヤ、隠れレイヤ、及び出力レイヤはそれぞれ複数のノードを含む。
【００７７】  隣接するレイヤ間のノードは、連結加重値を有して互いに接続されている。各ノードは、活性化モデルに基づいて動作する。活性化モデルに応じて入力値に対応する出力値が決定される。任意のノードの出力値は、該当ノードに接続された次のレイヤのノードに入力される。次のレイヤのノードは、複数のノードから出力される値が入力される。任意のノードの出力値が次のレイヤのノードに入力される過程で、連結加重値が適用される。次のレイヤのノードは、活性化モデルに基づいて入力値に対応する出力値を、該当ノードに接続されたその次のレイヤのノードに出力する。
【００７８】  出力レイヤは、インループフィルタリングに対応するノードを含む。出力レイヤのノードは、インループフィルタリングを行った映像（又はブロック）に対応する特徴値を出力する。
【００７９】
2019525544.tif 000016
に、符号化ブロックごとに、又は指定された領域ごとにフィルタリングを行う。こ
2019525544.tif 000017
を符号化することで、符号化の効率と複雑度を改善することができる。
【００８０】
2019525544.tif 000018
よい。
【００８１】
2019525544.tif 000019
バッファ１６０に送信する。
【００８２】  ＣＮＮ基盤インループフィルタ１５０ａの構成及び訓練方法などについては図面を参照して後述する。
【００８３】
2019525544.tif 000020
プレイ装置などに出力してディスプレイする。
【００８４】
2019525544.tif 000021
2019525544.tif 000022
得る。
【００８５】
2019525544.tif 000023
てもよい。
【００８６】
2019525544.tif 000024
面間動き予測モード、動きブロックタイプ、及び動きベクトルのうち少なくとも１つを含んでもよい。
【００８７】  予測部１７０は、フレーム内推定部１７１、動き推定部１７２、フレーム内予測部１７３、動き補償部１７４、モード決定部１７５、及び予測映像生成部１７６を含む。
【００８８】  フレーム内推定部１７１及び動き推定部１７２は、入力映像１１０及び（復号化
2019525544.tif 000025
【００８９】
2019525544.tif 000026
トラモードを決定し得る。フレーム内推定部１７１は、イントラモードをフレーム内予測部１７３及びエントロピー符号化部１３０に送信する。
【００９０】  フレーム内予測部１７３は、イントラモードで入力映像１１０及び復元ブロック
2019525544.tif 000027
【００９１】
2019525544.tif 000028
ル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒｓ（ＭＶｓ））を抽出する。動き推定部１７２は、動きベクトルを動き補償部１７４に送信する。
【００９２】
2019525544.tif 000029
いて画面内動きを補償し、モード決定部１７５に送信する。
【００９３】  モード決定部１７５は、フレーム内予測部１７３及び動き補償部１７４からのデータに基づいて符号化モードを決定する。例えば、符号化モードは、イントラモード（ｉｎｔｒａ  ｍｏｄｅ）、インターモード（ｉｎｔｅｒ  ｍｏｄｅ）などであってもよい。
【００９４】  予測映像生成部１７６は、モード決定部１７５が決定した符号化モードに基づい
2019525544.tif 000030
【００９５】
2019525544.tif 000031
号化部１３０に送信する。
【００９６】  図３は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【００９７】  図３を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、ＣＮＮ基盤インループフィルタ１５０ｂ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
【００９８】  図３に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図２Ａに示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ１４５及びＣＮＮ基盤インループフィルタ１５０ｂについて説明する。
【００９９】
2019525544.tif 000032
【０１００】  インループフィルタ１４５は、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ  ｆｉｌｔｅｒ（ＤＦ））、サンプル適応型オフセットフィルタ（ｓａｍｐｌｅ  ａｄａｐｔｉｖｅ  ｏｆｆｓｅｔ（ＳＡＯ）ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ａｄａｐｔｉｖｅ  ｌｏｏｐ  ｆｉｌｔｅｒ（ＡＬＦ））のうち少なくとも１つを含む。
【０１０１】  すなわち、インループフィルタ１４５が１つのフィルタを含んでいる場合、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち１つのフィルタに具現される。
【０１０２】  インループフィルタ１４５が２つのフィルタを含んでいる場合、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）及びサンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）を含むものとして具現される。又は、インループフィルタ１４５は、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）及び適応型ループフィルタ（ＡＬＦ）を含むものとして具現されてもよい。又は、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）及び適応型ループフィルタ（ＡＬＦ）を含むものとして具現されてもよい。
インループフィルタ１４５が３つのフィルタを含んでいる場合、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）を含むものとして具現されてもよい。
【０１０３】
2019525544.tif 000033
得る。ブロック間画素値は、量子化過程で発生する可能性がある。デブロックフィルタ（ＤＦ）は、決定されたフィルタ係数をフィルタリングに使用し得る。
サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）は、符号化ブロック単位でリンギングアーティファクト（ｒｉｎｇｉｎｇ  ａｒｔｅｆａｃｔ）や画素値区間の歪曲を修正する。サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌ
2019525544.tif 000034
クセルブロックｆに対して差値をオフセットに復元し得る。
【０１０４】
2019525544.tif 000035
オフセットフィルタリングされた結果に、１段線形マッピングモデルを用いてフィルタリングを行うことができる。
【０１０５】  ＣＮＮ基盤インループフィルタ１５０ｂは、予測情報にフィルタリングを行って
2019525544.tif 000036
【０１０６】
2019525544.tif 000037
【０１０７】
2019525544.tif 000038
ャーバッファ１６０に送信する。
【０１０８】  図４は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【０１０９】  図４を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｃ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
【０１１０】  図４に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図２Ａに示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ１５０ｃについて説明する。
【０１１１】  ＣＮＮ基盤インループフィルタ１５０ｃは、予測情報にフィルタリングを行って復元情報を生成する。ＣＮＮ基盤インループフィルタ１５０ｃは、加算器から予備
2019525544.tif 000039
【０１１２】
2019525544.tif 000040
【０１１３】
2019525544.tif 000041
する。
【０１１４】
2019525544.tif 000042
る。
【０１１５】  図５は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
図５を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、ＣＮＮ基盤インループフィルタ１５０ｄ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
【０１１６】  図５に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図３に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ１５０ｄについて説明する。
【０１１７】  ＣＮＮ基盤インループフィルタ１５０ｄは、予測情報にインループフィルタリングを行って復元情報を生成する。ＣＮＮ基盤インループフィルタ１５０ｄは、イン
2019525544.tif 000043
【０１１８】
2019525544.tif 000044
【０１１９】
2019525544.tif 000045
する。
【０１２０】
2019525544.tif 000046
に送信する。
【０１２１】  図６は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【０１２２】  図６を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
【０１２３】  図６に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図２Ａに示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ１５０ｅについて説明する。
【０１２４】  ＣＮＮ基盤インループフィルタ１５０ｅは、予測情報にインループフィルタリングを行って復元情報を生成する。ＣＮＮ基盤インループフィルタ１５０ｅは、逆量
2019525544.tif 000047
2019525544.tif 000048
する。
【０１２５】
2019525544.tif 000049
る。
【０１２６】  図７は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【０１２７】  図７を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、インループフィルタ１４７、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
【０１２８】  図７に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図６に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ１４７について説明する。
【０１２９】
2019525544.tif 000050
る。
【０１３０】  インループフィルタ１４７は、図３を参照して前述したように、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
【０１３１】  図８Ａは、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の一例を示し、図８Ｂは、図８Ａに示された予測部のブロック図の一例を示す。
【０１３２】  図８Ａ及び図８Ｂを参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ａ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。
【０１３３】  復号化装置２００は、図２Ａ〜図７に示された符号化装置１００で行われる符号化方法を復号化に適用するコンピューティング装置に対応する。すなわち、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器は、図２Ａに示されたエントロピー符号化部１３０、逆量子化及び逆変換部１４０、変換及び量子化部１２０、復号化ピクチャーバッファ１６０、予測部１７０、及び加算器に対応する。
【０１３４】  エントロピー復号化部２１０は、符号化されたビットストリーム情報にパーシングを行うことによって復号化を行う。エントロピー復号化部２１０は、復号化を行ってフィルタリング情報と予備予測情報を出力する。エントロピー復号化部２１０
2019525544.tif 000051
送信する。
【０１３５】
2019525544.tif 000052
【０１３６】
2019525544.tif 000053
【０１３７】  ＣＮＮ基盤インループフィルタ２３０ａは、予測情報にインループフィルタリン
2019525544.tif 000054
【０１３８】  図２Ａを参照して上述したように、ＣＮＮ基盤インループフィルタ２３０ａは、深層畳み込みニューラルネットワークを使用する。すなわち、ＣＮＮ基盤インループフィルタ２３０ａは、複数のトレーニングデータに基づいて訓練される。ＣＮＮ基盤インループフィルタ２３０ａは、任意の入力映像に対して適切な出力映像を生成するように訓練される。
【０１３９】  すなわち、ＣＮＮ基盤インループフィルタ２３０ａは、入力レイヤ、隠れレイヤ、及び出力レイヤを含む。入力レイヤ、隠れレイヤ、及び出力レイヤは、それぞれ複数のノードを含む。
【０１４０】
2019525544.tif 000055
に、符号化ブロックごとに、又は指定された領域ごとにフィルタリングを行う。こ
2019525544.tif 000056
化することによって復号化効率と複雑度を改善することができる。
【０１４１】
2019525544.tif 000057
よい。
【０１４２】
2019525544.tif 000058
バッファ２４０に送信する。
【０１４３】  ＣＮＮ基盤インループフィルタ２３０ａの構成及び訓練方法などについては図面を参照して後述する。
【０１４４】
2019525544.tif 000059
プレイ装置などに出力してディスプレイする。
【０１４５】
2019525544.tif 000060
る。
【０１４６】
2019525544.tif 000061
２５０は、フレーム内予測部２５１、動き補償部２５２、及び予測映像生成部２５３を含む。
フレーム内予測部２５１及び動き補償部２５２は、符号化ピクチャーバッファ２
2019525544.tif 000062
を受信する。
【０１４７】
2019525544.tif 000063
【０１４８】
2019525544.tif 000064
基づいて画面内動きを補償し、結果値を予測映像生成部２５３に送信する。
【０１４９】  予測映像生成部２５３は、フレーム内予測部２５１及び動き補償部２５２の結果
2019525544.tif 000065
【０１５０】  図９は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【０１５１】  図９を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、ＣＮＮ基盤インループフィルタ２３０ｂ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。
図９に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器は、図８Ａに示された復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ２２５及びＣＮＮ基盤インループフィルタ２３０ｂについて説明する。
【０１５２】
2019525544.tif 000066
【０１５３】  インループフィルタ２２５は、上述したようにデブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
【０１５４】  ＣＮＮ基盤インループフィルタ２３０ｂは、予測情報にインループフィルタリン
2019525544.tif 000067
【０１５５】
2019525544.tif 000068
【０１５６】
2019525544.tif 000069
ャーバッファ２４０に送信する。
【０１５７】  図１０は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【０１５８】  図１０を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｃ、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器を含む。
【０１５９】  図１０に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器は、図８Ａに示された復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ２３０ｃについて説明する。
【０１６０】  ＣＮＮ基盤インループフィルタ２３０ｃは、予測情報にインループフィルタリン
2019525544.tif 000070
【０１６１】
2019525544.tif 000071
【０１６２】
2019525544.tif 000072
する。
【０１６３】
2019525544.tif 000073
る。
【０１６４】  図１１は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【０１６５】  図１１を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、ＣＮＮ基盤インループフィルタ２３０ｄ、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器を含む。
【０１６６】  図１１に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、ＣＮＮ基盤インループフィルタ２３０ｄ、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器は、図９に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ２３０ｄについて説明する。
【０１６７】  ＣＮＮ基盤インループフィルタ２３０ｄは、予測情報にインループフィルタリン
2019525544.tif 000074
【０１６８】
2019525544.tif 000075
【０１６９】
2019525544.tif 000076
する。
【０１７０】
2019525544.tif 000077
に送信する。
【０１７１】  図１２は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【０１７２】  図１２を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。
【０１７３】  図１２に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器は、図８Ａに示された復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ２３０ｅについて説明する。
【０１７４】  ＣＮＮ基盤インループフィルタ２３０ｅは、予測情報にインループフィルタリン
2019525544.tif 000078
【０１７５】
2019525544.tif 000079
【０１７６】
2019525544.tif 000080
送信する。
【０１７７】
2019525544.tif 000081
信する。
【０１７８】  図１３は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【０１７９】  図１３を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、インループフィルタ２２７、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。
【０１８０】  図１３に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器は、図１２に示された復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ２２７について説明する。
【０１８１】
2019525544.tif 000082
2019525544.tif 000083
する。
【０１８２】  インループフィルタ２２７は、図９を参照して上述したように、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ  ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
【０１８３】  図１４は、一実施形態に係るＣＮＮ基盤インループフィルタの構造を説明するための図である。
【０１８４】  図１４を参照すると、ＣＮＮ基盤インループフィルタ１５０は、入力レイヤ１５１、隠れレイヤ１５２、及び出力レイヤ１５３を含む。
【０１８５】  入力レイヤ１５１は、入力映像を受信する。入力映像は、劣化された復元映像を含む。例えば、入力レイヤ１５１には、逆量子化及び逆変換部１４０によって逆量子化及び逆変換が実行された復元映像が入力されてもよい。入力映像は、ブロック境界の歪曲、リンギングアーティファクト及び高周波ブラーリング歪曲を含む。復元映像は劣化現象を含む。
【０１８６】  入力レイヤ１５１は、入力映像にイメージパッチを行って隠れレイヤ１５３に抽出する。例えば、入力レイヤ１５１は、入力映像をｆ１×ｆ１の大きさにイメージパッチを行ってもよい。
【０１８７】  隠れレイヤ１５２は、非線型マッピング（ｎｏｎ−ｌｉｎｅａｒ  ｍａｐｐｉｎｇ）を行う。隠れレイヤ１５２は、Ｎ個の畳み込みレイヤを含む。ここで、第１畳み込みレイヤ１５２−１から第Ｎ畳み込みレイヤ１５２−Ｎに進行するほど映像の画質は向上し得る。
【０１８８】  ＣＮＮ基盤インループフィルタ１５０は、隠れレイヤ１５２、出力レイヤ１５３、及び損失関数を介してＣＮＮ基盤インループフィルタの訓練が行われる。
第１畳み込みレイヤ１５２−１は数式（１）に対応する。
【０１８９】
【数１】
2019525544.tif 000084
【０１９０】  第２畳み込みレイヤは数式（２）に対応する。
【０１９１】
【数２】
2019525544.tif 000085
【０１９２】  同じ原理で、第Ｎ畳み込みレイヤ１５２−Ｎは数式（３）に対応する。
【０１９３】
【数３】
2019525544.tif 000086
【０１９４】  すなわち、隠れレイヤ１５２は、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）関数を用いて訓練の効率及び速度を高めることができる。
出力レイヤ１５３は数式（４）に対応する。
【０１９５】
【数４】
2019525544.tif 000087
【０１９６】  出力レイヤ１５３は、フィルタリングされて画質の向上した出力映像を出力できる。
損失関数は数式（５）に対応する。
【０１９７】
【数５】
2019525544.tif 000088
【０１９８】  ＣＮＮ基盤インループフィルタ１５０は、損失関数を介してフィルタリングエラーを最小化するように訓練される。
【０１９９】  図１５は、一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の一例である。
【０２００】  図１５を参照すると、ＣＮＮ基盤インループフィルタ１５０は、量子化区間ごとに訓練を行う。ＣＮＮ基盤インループフィルタ１５０は、量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ  ｐａｒａｍｅｔｅｒ（ＱＰ））により歪曲値の異なる復元映像を処理し得る。ここで、ＣＮＮ基盤インループフィルタ１５０は、量子化区間ごとに訓練を行って効果的なフィルタリングを行うことができる。
【０２０１】  量子化パラメータ（ＱＰ）は、０以上５１以下の値であってもよい。各量子化区間は、少なくとも１つの量子化パラメータ（ＱＰ）を含む。ここで、複数の量子化区間が共通として含む量子化パラメータ（ＱＰ）もあり得る。例えば、第１区間と第２区間は、量子化パラメータ（ＱＰ）５を共通として含んでもよい。
【０２０２】  符号化装置１００で符号化時に使用された量子化パラメータ（ＱＰ）は、復号化装置２００で確認できる値であり、符号化装置１００は、符号化時に使用された量子化パラメータ（ＱＰ）を復号化装置２００に送信しなくてもよい。ここで、符号化装置１００は、オーバーヘッドが発生せず、符号化の効率を高めることができる。
【０２０３】  符号化装置１００は、第Ｎ区間の量子化パラメータ（ＱＰ）を用いて復元訓練映像３００を生成する。符号化装置１００は、復元訓練映像３００をＣＮＮ基盤インループフィルタ１５０に送信する。
【０２０４】  ＣＮＮ基盤インループフィルタ１５０は、復元訓練映像３００にフィルタリングを行って出力映像を生成して加算器に送信する。
【０２０５】  加算器は、出力映像及びオリジナル入力訓練映像４００を差分してＣＮＮ基盤インループフィルタ１５０に送信する。
【０２０６】  ＣＮＮ基盤インループフィルタ１５０は、差分に基づいて隠れレイヤ１５２の加重値を調整する。例えば、ＣＮＮ基盤インループフィルタ１５０は、出力映像と入力訓練映像４００の差がないように加重値を調整し得る。ここで、ＣＮＮ基盤インループフィルタ１５０の加重値を補正するための学習は、バックプロパゲーション（ｂａｃｋ  ｐｒｏｐａｇａｔｉｏｎ）方法を用いてもよい。
【０２０７】  復元訓練映像３００及び入力訓練映像４００は、様々な実施形態に具現され得る。すなわち、ＣＮＮ基盤インループフィルタ１５０は、数多い訓練方法が存在する。ＣＮＮ基盤インループフィルタ１５０は、訓練方法によって相違に動作得る。
【０２０８】  一例として、復元訓練映像３００は、インループフィルタ１４０でフィルタリング適用前の復元映像であってもよい。ＣＮＮ基盤インループフィルタ１５０は、フィルタリング適用前の復元映像にフィルタリングを行って入力訓練映像４００に近い出力映像を生成する。この場合、ＣＮＮ基盤インループフィルタ１５０は、図２Ａに示されたＣＮＮ基盤インループフィルタ１５０ａとして動作し得る。
【０２０９】  他の例として、復元訓練映像３００は、インループフィルタ１４０でフィルタリングが適用された映像であってもよい。すなわち、ＣＮＮ基盤インループフィルタ１５０は、フィルタリングが適用された映像にフィルタリングを行ってオリジナル入力訓練映像４００にさらに近い出力映像を生成する。この場合、ＣＮＮ基盤インループフィルタ１５０は、図３に示されたＣＮＮ基盤インループフィルタ１５０ｂとして動作し得る。
【０２１０】  他の例として、復元訓練映像３００は、インループフィルタ１４０でフィルタリングが適用された映像であり、入力訓練映像４００は残差映像ｅであってもよい。ここで、ＣＮＮ基盤インループフィルタ１５０は、フィルタリングが適用された映像にフィルタリングを適用して残差映像を生成する。この場合、ＣＮＮ基盤インループフィルタ１５０は、図５に示されたＣＮＮ基盤インループフィルタ１５０ｄとして動作し得る。
【０２１１】  図１６は、一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の他の例である。
【０２１２】  図１６を参照すると、ＣＮＮ基盤インループフィルタ１５０は、歪曲値区間ごとに訓練を行う。ＣＮＮ基盤インループフィルタ１５０は、量子化パラメータ（ＱＰ）により歪曲値が互いに異なり得る。ここで、ＣＮＮ基盤インループフィルタ１５０は、歪曲値区間ごとに訓練を行って効果的なフィルタリングを行うことができる。
符号化装置１００で符号化時に使用された歪曲値区間は、復号化装置２００で確認できる値であり、符号化装置１００は、符号化時に使用されたインデックスを復号化装置２００に送信しなくてもよい。ここで、符号化装置１００はオーバーヘッドが発生せず、符号化の効率を高めることができる。
【０２１３】  歪曲値は、入力訓練映像６００及び復元訓練映像の差である。
【０２１４】  符号化装置１００は、第Ｎ区間の歪曲値に属する復元訓練映像５００を生成する。符号化装置１００は、復元訓練映像５００をＣＮＮ基盤インループフィルタ１５０に送信する。
【０２１５】  ＣＮＮ基盤インループフィルタ１５０は、復元訓練映像５００にフィルタリングを行って出力映像を生成して加算器に送信する。加算器は、出力映像及びオリジナル入力訓練映像６００を差分してＣＮＮ基盤インループフィルタ１５０に送信する。
【０２１６】  ＣＮＮ基盤インループフィルタ１５０は、差分に基づいて隠れレイヤ１５２の加重値を調整する。例えば、ＣＮＮ基盤インループフィルタ１５０は、出力映像と入力訓練映像６００の差がないように加重値を調整し得る。ここで、ＣＮＮ基盤インループフィルタ１５０の加重値を補正するための学習は、バックプロパゲーション方法を用いてもよい。
【０２１７】  復元訓練映像５００は残差映像であってもよい。残差映像は、残差映像に変換及び量子化を行い、再び逆量子化及び逆変換を行った映像である。
入力訓練映像６００は残差映像であってもよい。残差映像は、入力映像と復元映像を差分した映像である。復元映像は、インループフィルタリングが適用された映像であるか、又はインループフィルタリングが適用されていない映像である。
すなわち、ＣＮＮ基盤インループフィルタ１５０は、残差映像にフィルタリングを行って残差映像に近い出力映像を生成し得る。この場合、ＣＮＮ基盤インループフィルタ１５０は、図６に示されたＣＮＮ基盤インループフィルタ１５０ｅとして動作し得る。
【０２１８】  また、ＣＮＮ基盤インループフィルタ１５０は、映像のスライスタイプごとにフィルタリングを行う。以下は、ＣＮＮ基盤インループフィルタ１５０がスライスタイプごとにフィルタリングを行う動作について説明する。
【０２１９】  図１７は、一実施形態に係るＣＮＮ基盤インループフィルタの訓練方法を説明するための図面の一例である。
【０２２０】  図１７を参照すると、ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造（ｌｏｗ  ｄｅｌａｙ  ｃｏｎｆｉｇｕｒａｔｉｏｎ）の符号化又は復号化過程で複数の映像にフィルタリングを行う。
【０２２１】  複数の映像のスライスタイプは、イントラスライス（ｉｎｔｒａ  ｓｌｉｃｅ（Ｉ  ｓｌｉｃｅ））、又は予測スライス（ｐｒｅｄｉｃｔｉｖｅ  ｓｌｉｃｅ（Ｐ  ｓｌｉｃｅ））であり得る。
【０２２２】  イントラスライスの映像７００−１及び７００−Ｎは画面内予測を行う。予測スライスの映像７００−２〜７００−４は画面間予測を行う。
【０２２３】  例えば、予測スライスの映像７００−２は、イントラスライスの映像７００−１を参照して映像を予測する。予測スライスの映像７００−３は、イントラスライスの映像７００−１及び予測スライスの映像７００−２を参照して映像を予測する。予測スライスの映像７００−４は、イントラスライスの映像７００−１及び予測スライスの映像７００−２〜７００−３を参照して映像を予測する。
【０２２４】  ＣＮＮ基盤インループフィルタ１５０は、イントラスライスの映像７００−１及び７００−Ｎにフィルタリングを行い、歪曲の少ない映像を持続的に提供できる。ＣＮＮ基盤インループフィルタ１５０は、イントラスライスの映像７００−１及び７００−Ｎを周期的に提供できる。
【０２２５】  図１８は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【０２２６】  図１８を参照すると、ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造の符号化又は復号化過程で複数の映像８００−１〜８００−３、８００−５、及び８００−５に選択的にフィルタリングを行う。
【０２２７】  複数の映像８００−１〜８００−３、８００−５、及び８００−５のスライスタイプは、イントラスライス（Ｉ  ｓｌｉｃｅ）、又は予測スライス（Ｐ  ｓｌｉｃｅ）である。
【０２２８】  イントラスライスの映像８００−１は、画面内予測を行う。予測スライスの映像８００−２、８００−３、８００−５、及び８００−７は画面間予測を行う。
例えば、予測スライスの映像８００−２は、イントラスライスの映像８００−１を参照して映像を予測する。予測スライスの映像８００−３は、イントラスライスの映像７００−１及び予測スライスの映像８００−２を参照して映像を予測する。同じ原理で、予測スライスの映像８００−５及び８００−７は、以前のスライスの映像を参照して映像を予測する。
【０２２９】  ＣＮＮ基盤インループフィルタ１５０は、イントラスライスの映像８００−１及び予測スライスの映像８００−３、８００−５、及び８００−７にフィルタリングを行い、歪曲の少ない映像を持続的に提供できる。ＣＮＮ基盤インループフィルタ１５０は、周期的又は選択的にフィルタリングを行って予測スライスの映像８００−３、８００−５、及び８００−７を提供できる。
【０２３０】  ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造下で選択的にフィルタリングを適用するだけではなく、一連の各入力スライスごとに、また、入力スライス内で符号化単位ブロックごとに（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ（ＣＴＵ））、又は符号化ブロックごとに（Ｃｏｄｉｎｇ  Ｕｎｉｔ（ＣＵ））、又は指定された映像領域ごとに選択的に適用し得る。
【０２３１】  図１９は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【０２３２】  図１９を参照すると、ＣＮＮ基盤インループフィルタ１５０は、全画面内の構造の符号化、又は復号化過程で複数の映像９００−１〜９００−Ｎにフィルタリングを行う。
【０２３３】  複数の映像９００−１〜９００−Ｎのスライスタイプは、イントラスライス（Ｉ  ｓｌｉｃｅ）であり得る。
【０２３４】  イントラスライスの映像９００−１〜９００−Ｎは画面内予測を行う。すなわち、イントラスライスの映像９００−１〜９００−Ｎの歪曲値は他の映像に伝達されず、ＣＮＮ基盤インループフィルタ１５０は、全てのイントラスライスの映像９００−１〜９００−Ｎをフィルタリングして高画質の映像を提供することができる。
ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造下で選択的にフィルタリングを適用するだけではなく、一連の各入力スライスごとに、また、入力スライス内で符号化単位ブロックごとに（ＣＴＵ）、又は符号化ブロックごとに（ＣＵ）、又は指定された映像領域ごとに選択的に適用し得る。
【０２３５】  図２０は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例であり、図２１は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【０２３６】  図２０及び図２１を参照すると、ＣＮＮ基盤インループフィルタ１５０は、階層的なＢ画面の構造（ｈｉｅｒａｒｃｈｉｃａｌ  Ｂ−ｐｉｃｔｕｒｅ  ｃｏｎｆｉｇｕｒａｔｉｏｎ）の符号化又は復号化過程で、複数の映像１０１０−１〜１０１０−３、１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４にフィルタリングを行う。
【０２３７】  階層的なＢ画面の構造は、第１階層ないし第４階層を含む。
【０２３８】  第１階層映像１０１０−１〜１０１０−３のスライスタイプは、イントラスライス（Ｉ  ｓｌｉｃｅ）又は予測スライス（Ｐ  ｓｌｉｃｅ）であり得る。イントラスライスの映像１０１０−１〜１０１０−３は、画面内予測を行う。
【０２３９】  第２階層ないし第４階層映像１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４のスライスタイプは、両側の予測スライス（ｂｉ−ｐｒｅｄｉｃｔｉｖｅ  ｓｌｉｃｅ（Ｂ  ｓｌｉｃｅ））であり得る。両側の予測スライス（Ｂ  ｓｌｉｃｅ）の映像１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４は、下の階層の映像を参照して映像を予測する。ここで、両側の予測スライス（Ｂ  ｓｌｉｃｅ）の映像１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４は、下の階層が以前の映像（前）であっても、又は、以後の映像（後）であっても全て参照できる。例えば、第２階層の映像１０２０−１は、第１階層の映像１０１０−１及び１０１０−２を参照してもよい。第２階層の映像１０２０−２は、第１階層の映像１０１０−２及び１０１０−３を参照してもよい。
【０２４０】  同じ原理で、第４階層の映像１０４０−１は第３階層の映像１０３０−１及び第１階層の映像１０１０−１を参照し、第４階層の映像１０４０−３は第２階層の映像１０２０−１及び第３階層の映像１０３０−２を参照してもよい。
【０２４１】  ＣＮＮ基盤インループフィルタ１５０は、特定の階層を選択してフィルタリングを行う。一例として、ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１０１０−１〜１０１０−３にフィルタリングを行ってもよい。
【０２４２】  他の例として、ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１０１０−１〜１０１０−３及び２階層の映像１０２０−１及び１０２０−２にフィルタリングを行ってもよい。ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１０１０−１〜１０１０−３及び２階層の映像１０２０−１及び１０２０−２にフィルタリングを行う動作については図２０に示す通りである。
【０２４３】  他の例として、ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１１１０−１〜１１１０−３、２階層の映像１１２０−１及び１１２０−２、及び第３階層の映像１１３０−１〜１１３０−４にフィルタリングを行ってもよい。ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１１１０−１〜１１１０−３、２階層の映像１１２０−１及び１１２０−２、及び第３階層の映像１１３０−１〜１１３０−４にフィルタリングを行う動作については図２１に示す通りである。
【０２４４】  ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造下で選択的にフィルタリングを適用するだけではなく、一連の各入力スライスごとに、また、入力スライス内で符号化単位ブロックごとに（ＣＴＵ）、又は符号化ブロックごとに（ＣＵ）、又は指定された映像領域ごとに選択的に適用し得る。
【０２４５】  ＣＮＮ基盤インループフィルタ１５０は、映像内の特定領域にフィルタリングを適用する。例えば、ＣＮＮ基盤インループフィルタ１５０は、映像を複数の領域に分割し、複数の領域のうちの一部の領域だけを選択してフィルタリングを適用する。ここで、ＣＮＮ基盤インループフィルタ１５０は、一部の領域にフィルタリング適用の有無をシグナリングし得る。
【０２４６】  また、ＣＮＮ基盤インループフィルタ１５０は、映像内の動きの量とテクスチャの複雑度のうち少なくとも１つに基づいてフィルタリングを適用し得る。
【０２４７】  以上で前述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【０２４８】  ソフトウェアはコンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【０２４９】  本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【０２５０】  上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【０２５１】  したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【図１】
2019525544.tif 000089
【図２Ａ】
2019525544.tif 000090
【図２Ｂ】
2019525544.tif 000091
【図３】
2019525544.tif 000092
【図４】
2019525544.tif 000093
【図５】
2019525544.tif 000094
【図６】
2019525544.tif 000095
【図７】
2019525544.tif 000096
【図８Ａ】
2019525544.tif 000097
【図８Ｂ】
2019525544.tif 000098
【図９】
2019525544.tif 000099
【図１０】
2019525544.tif 000100
【図１１】
2019525544.tif 000101
【図１２】
2019525544.tif 000102
【図１３】
2019525544.tif 000103
【図１４】
2019525544.tif 000104
【図１５】
2019525544.tif 000105
【図１６】
2019525544.tif 000106
【図１７】
2019525544.tif 000107
【図１８】
2019525544.tif 000108
【図１９】
2019525544.tif 000109
【図２０】
2019525544.tif 000110
【図２１】
2019525544.tif 000111
【国際調査報告】
2019525544.tif 000112
2019525544.tif 000113
2019525544.tif 000114
2019525544.tif 000115
2019525544.tif 000116
2019525544.tif 000117