(57)【要約】【課題】ループ内フィルタのフィルタ性能を向上させる。【解決手段】符号化プログラムは、画面内予測または画面間予測により生成された予測画像と処理対象の入力画像との差分から予測残差を算出し、算出した予測残差に対して直交変換処理及び量子化処理を行った後、エントロピ符号化処理を行うコンピュータに、前記処理対象の入力画像を符号化する際、前記量子化処理において用いられた量子化パラメータと、前記量子化処理において生じる量子化誤差を含む信号と、前記画面内予測または画面間予測において生じる予測誤差を含む画像とをそれぞれ取得し、学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、処理を実行させる。【選択図】図７
2020198463.tif 000002
【特許請求の範囲】
【請求項１】
画面内予測または画面間予測により生成された予測画像と処理対象の入力画像との差分から予測残差を算出し、算出した予測残差に対して直交変換処理及び量子化処理を行った後、エントロピ符号化処理を行うことで、前記処理対象の入力画像を符号化するコンピュータに、
前記処理対象の入力画像を符号化する際、前記量子化処理において用いられた量子化パラメータと、前記量子化処理において生じる量子化誤差を含む信号と、前記画面内予測または画面間予測において生じる予測誤差を含む画像とをそれぞれ取得し、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、
処理を実行させるための符号化プログラム。
【請求項２】
前記量子化処理において生じる量子化誤差を含む信号とは、前記量子化処理を行った結果に対して、逆量子化処理及び逆直交変換処理を行うことで得られる信号であり、
前記予測誤差を含む画像とは、前記画面内予測または画面間予測により生成される前記予測画像である、
請求項１に記載の符号化プログラム。
【請求項３】
前記逆直交変換処理を行うことで得られる信号と、前記予測画像とを加算することで参照画像を生成し、
前記フィルタ部に、取得した前記量子化パラメータと、前記逆直交変換処理を行うことで得られる信号と、前記予測画像とを分けて入力することで推論された符号化歪みを、生成した前記参照画像に加算することで、フィルタ処理後の第１の参照画像を出力する、
請求項２に記載の符号化プログラム。
【請求項４】
生成した前記参照画像を他のフィルタ部に入力することで、フィルタ処理後の第２の参照画像を出力し、
フィルタ処理後の前記第１の参照画像とフィルタ処理後の前記第２の参照画像のうち、レート歪みの小さいいずれか一方を、フィルタ処理後の最終的な参照画像として出力する、
請求項３に記載の符号化プログラム。
【請求項５】
前記フィルタ部は、学習用の入力画像を符号化する際に取得される学習用データを用いて学習することで生成される、請求項４に記載の符号化プログラム。
【請求項６】
前記学習用データには、
画面内予測または画面間予測により生成された予測画像と、
該予測画像と学習用の入力画像との差分から算出した予測残差に対して、直交変換処理及び量子化処理を行った際に用いた量子化パラメータと、
該量子化処理の結果に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、
前記学習用の入力画像と、
が含まれる請求項５に記載の符号化プログラム。
【請求項７】
前記フィルタ部は、前記学習用データに含まれる前記予測画像と、前記量子化パラメータと、前記信号とを入力した際の出力に、該予測画像と該信号とを加算した加算結果が、前記学習用データに含まれる前記学習用の入力画像に近づくように学習することで生成される、請求項６に記載の符号化プログラム。
【請求項８】
符号化データをエントロピ復号した量子化信号に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、画面内予測または動き補償を行うことで得られた予測画像とを加算し、フィルタ処理を行うことで、前記符号化データを復号するコンピュータに、
前記符号化データを復号する際、量子化パラメータと、量子化誤差を含む信号と、前記画面内予測または動き補償において生じる予測誤差を含む画像とをそれぞれ取得し、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、
処理を実行させるための復号プログラム。
【請求項９】
前記量子化誤差を含む信号とは、前記量子化信号に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号であり、
前記予測誤差を含む画像とは、前記画面内予測または動き補償により生成される前記予測画像である、
請求項８に記載の復号プログラム。
【請求項１０】
前記逆直交変換処理を行うことで得られた信号と、前記予測画像とを加算することで参照画像を生成し、
前記フィルタ部に、取得した前記量子化パラメータと、前記逆直交変換処理を行うことで得られる信号と、前記予測画像とを分けて入力することで推論された符号化歪みを、生成した前記参照画像に加算することで、フィルタ処理後の第１の参照画像を出力し、前記符号化データを復号する、
請求項９に記載の復号プログラム。
【請求項１１】
前記フィルタ部は、学習用の入力画像を符号化する際に取得される学習用データを用いて学習することで生成される、請求項１０に記載の復号プログラム。
【請求項１２】
前記学習用データには、
画面内予測または画面間予測により生成された予測画像と、
該予測画像と学習用の入力画像との差分から算出した予測残差に対して、直交変換処理及び量子化処理を行った際に用いた量子化パラメータと、
該量子化処理の結果に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、
前記学習用の入力画像と、
が含まれる請求項１１に記載の復号プログラム。
【請求項１３】
前記フィルタ部は、前記学習用データに含まれる前記予測画像と、前記量子化パラメータと、前記信号とを入力した際の出力に、該予測画像と該信号とを加算した加算結果が、前記学習用データに含まれる前記学習用の入力画像に近づくように学習することで生成される、請求項１２に記載の復号プログラム。
【請求項１４】
画面内予測または画面間予測により生成された予測画像と処理対象の入力画像との差分から予測残差を算出し、算出した予測残差に対して直交変換処理及び量子化処理を行った後、エントロピ符号化処理を行うことで、前記処理対象の入力画像を符号化する符号化装置であって、
前記処理対象の入力画像を符号化する際、前記量子化処理において用いられた量子化パラメータと、前記量子化処理において生じる量子化誤差を含む信号と、前記画面内予測または画面間予測において生じる予測誤差を含む画像とをそれぞれ取得する第１の取得部と、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する第２の取得部と
を有する符号化装置。
【請求項１５】
符号化データをエントロピ復号した量子化信号に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、画面内予測または動き補償を行うことで得られた予測画像とを加算し、フィルタ処理を行うことで、前記符号化データを復号する復号装置であって、
前記符号化データを復号する際、量子化パラメータと、量子化誤差を含む信号と、前記画面内予測または動き補償において生じる予測誤差を含む画像とをそれぞれ取得する第１の取得部と、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する第２の取得部と
を有する復号装置。
【請求項１６】
画面内予測または画面間予測により生成された予測画像と処理対象の入力画像との差分から予測残差を算出し、算出した予測残差に対して直交変換処理及び量子化処理を行った後、エントロピ符号化処理を行うことで、前記処理対象の入力画像を符号化する符号化方法であって、
前記処理対象の入力画像を符号化する際、前記量子化処理において用いられた量子化パラメータと、前記量子化処理において生じる量子化誤差を含む信号と、前記画面内予測または画面間予測において生じる予測誤差を含む画像とをそれぞれ取得し、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、
処理をコンピュータが実行する符号化方法。
【請求項１７】
符号化データをエントロピ復号した量子化信号に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、画面内予測または動き補償を行うことで得られた予測画像とを加算し、フィルタ処理を行うことで、前記符号化データを復号する復号方法であって、
前記符号化データを復号する際、量子化パラメータと、量子化誤差を含む信号と、前記画面内予測または動き補償において生じる予測誤差を含む画像とをそれぞれ取得し、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、
処理をコンピュータが実行する復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化プログラム、復号プログラム、符号化装置、復号装置、符号化方法及び復号方法に関する。
【背景技術】
【０００２】
動画像データの圧縮符号化に関する次世代の国際標準であるＶＶＣ（Versatile  Video  Coding）規格では、ループ内フィルタとして、参照画像に含まれる符号化歪みを推論可能なＡＩ（Artificial  Intelligence）フィルタの適用が検討されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／１９９３３０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ループ内フィルタで処理される参照画像は、画面内予測または画面間予測により生成された予測画像に、予測残差（予測画像と入力画像との差分に対して量子化処理及び逆量子化処理等を行うことで得られる予測残差）を加算することで生成される。
【０００５】
このため、参照画像には、画面内予測または画面間予測の際に生じる“予測誤差”と、量子化処理の際に生じる“量子化誤差”の両方が混在することになる。この結果、参照画像を入力として学習したＡＩフィルタの場合、充分なフィルタ性能が得られないといった事態が想定される。
【０００６】
一つの側面では、ループ内フィルタのフィルタ性能を向上させることを目的としている。
【課題を解決するための手段】
【０００７】
一態様によれば、符号化プログラムは、
画面内予測または画面間予測により生成された予測画像と処理対象の入力画像との差分から予測残差を算出し、算出した予測残差に対して直交変換処理及び量子化処理を行った後、エントロピ符号化処理を行うことで、前記処理対象の入力画像を符号化するコンピュータに、
前記処理対象の入力画像を符号化する際、前記量子化処理において用いられた量子化パラメータと、前記量子化処理において生じる量子化誤差を含む信号と、前記画面内予測または画面間予測において生じる予測誤差を含む画像とをそれぞれ取得し、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、処理を実行させる。
【発明の効果】
【０００８】
ループ内フィルタのフィルタ性能を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムのシステム構成の一例を示す図である。
【図２】学習装置、符号化装置、復号装置のハードウェア構成の一例を示す図である。
【図３】学習装置における学習用データ生成部の機能構成及び生成した学習用データの一例を示す図である。
【図４】学習装置における学習部の機能構成の一例を示す図である。
【図５】学習装置による学習処理の流れを示すフローチャートである。
【図６】符号化装置における符号化部の機能構成の一例を示す図である。
【図７】符号化装置におけるループ内フィルタ部の機能構成及びＮＮフィルタ部の機能構成の一例を示す図である。
【図８】符号化装置におけるＮＮフィルタ部によるフィルタ処理の流れを示すフローチャートである。
【図９】比較例の符号化装置における符号化部の機能構成の一例を示す図である。
【図１０】比較例の符号化装置におけるループ内フィルタ部の機能構成及びＮＮフィルタ部の機能構成の一例を示す図である。
【図１１】比較例の符号化装置における量子化誤差及び予測誤差を示す図である。
【図１２】符号化装置における量子化誤差及び予測誤差を示す図である。
【図１３】復号装置における復号部の機能構成の一例を示す図である。
【図１４】復号装置におけるループ内フィルタ部の機能構成及びＮＮフィルタ部の機能構成の一例を示す図である。
【図１５】復号装置におけるＮＮフィルタ部によるフィルタ処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１１】
［実施形態］
＜画像処理システムのシステム構成＞
はじめに、画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す図である。図１に示すように、画像処理システム１００は、学習装置１１０と、符号化装置１２０と、復号装置１３０とを有する。
【００１２】
学習装置１１０は、符号化装置１２０及び復号装置１３０が有するループ内フィルタ部に搭載されるＡＩフィルタの一例である、学習済みＣＮＮＦ（Convolutional  Neural  Network  Filter）を生成する装置である。
【００１３】
学習装置１１０には、学習プログラムがインストールされており、当該プログラムが実行されることで、学習装置１１０は、学習用データ生成部１１１、学習部１１２として機能する。
【００１４】
学習用データ生成部１１１は、ＣＮＮＦの学習に用いる学習用データを生成する。学習用データ生成部１１１により生成された学習用データは、学習用データ格納部１１３に格納される。
【００１５】
学習部１１２は、学習用データ格納部１１３に格納された学習用データを用いて、ＣＮＮＦについて学習処理を行い、学習済みＣＮＮＦを生成する。学習部１１２により生成された学習済みＣＮＮＦは、符号化装置１２０に（または、符号化装置１２０と復号装置１３０とに）送信される。
【００１６】
符号化装置１２０は、画像データを符号化し、符号化データを生成する装置である。符号化装置１２０には、符号化プログラムがインストールされており、当該プログラムが実行されることで、符号化装置１２０は、画像データ取得部１２１、符号化部１２２、符号化データ出力部１２３として機能する。
【００１７】
画像データ取得部１２１は、符号化する画像データを取得する。符号化部１２２は、画像データ取得部１２１により取得された画像データを符号化し、符号化データを生成する。符号化部１２２では、符号化データを生成する際、学習済みＣＮＮＦを用いる。
【００１８】
符号化データ出力部１２３は、符号化部１２２により生成された符号化データを、復号装置１３０に送信する。また、符号化データ出力部１２３は、符号化データを送信するにあたり、量子化パラメータもあわせて送信する。なお、符号化データ出力部１２３は、符号化データ及び量子化パラメータを送信するにあたり、符号化データの生成に用いられた学習済みＣＮＮＦを送信してもよい。
【００１９】
復号装置１３０は、符号化データを受信し、受信した符号化データを復号することで、画像データを出力する装置である。復号装置１３０には、復号プログラムがインストールされており、当該プログラムが実行されることで、復号装置１３０は、符号化データ入力部１３１、復号部１３２、画像データ出力部１３３として機能する。
【００２０】
符号化データ入力部１３１は、符号化装置１２０より符号化データ及び量子化パラメータを受信する。復号部１３２は、符号化装置１２０より受信した符号化データを復号し、画像データを生成する。復号部１３２では、符号化データを復号する際、符号化装置１２０より受信した量子化パラメータと学習装置１１０（または符号化装置１２０）より送信された学習済みＣＮＮＦを用いる。画像データ出力部１３３は、復号部１３２により生成された画像データを出力する。
【００２１】
＜各装置のハードウェア構成＞
次に、学習装置１１０、符号化装置１２０、復号装置１３０の各装置のハードウェア構成について説明する。なお、本実施形態において、学習装置１１０、符号化装置１２０、復号装置１３０の各装置は、同様のハードウェア構成を有しているものとする。
【００２２】
図２は、学習装置、符号化装置、復号装置のハードウェア構成の一例を示す図である。図２に示すように、各装置は、ＣＰＵ（Central  Processing  Unit）２０１、ＲＯＭ（Read  Only  Memory）２０２、ＲＡＭ（Random  Access  Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
【００２３】
また、各装置は、補助記憶装置２０４、表示装置２０５、操作装置２０６、通信装置２０７、ドライブ装置２０８を有する。なお、各装置において各ハードウェアは、バス２０９を介して相互に接続されている。
【００２４】
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、学習プログラム、符号化プログラム、または、復号プログラム等）を実行する演算デバイスである。
【００２５】
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic  Input/Output  System）やＥＦＩ（Extensible  Firmware  Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
【００２６】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００２７】
補助記憶装置２０４は、各種プログラムやデータを格納する補助記憶デバイスである。例えば、学習用データ格納部１１３は、補助記憶装置２０４において実現される。表示装置２０５は、各装置の内部状態を表示する表示デバイスである。操作装置２０６は、各装置のユーザが各装置に対して各種指示を入力するための入力デバイスである。通信装置２０７は、各装置が他の装置との間で情報を送受信するための通信デバイスである。
【００２８】
ドライブ装置２０８は、コンピュータ読み取り可能な記録媒体をセットするためのデバイスである。ここでいう記録媒体には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。あるいは、記録媒体には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００２９】
なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体がドライブ装置２０８にセットされ、該記録媒体に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされてもよい。
【００３０】
＜学習装置の詳細＞
次に、学習装置１１０の詳細について説明する。
【００３１】
（１）学習装置における学習用データ生成部の機能構成及び学習用データの説明
はじめに、学習装置における学習用データ生成部１１１の機能構成、及び、学習用データ生成部１１１により生成される学習用データの詳細について説明する。図３は、学習装置における学習用データ生成部の機能構成及び生成した学習用データの一例を示す図である。
【００３２】
図３に示すように、学習用データ生成部１１１は、差分部３０１、直交変換部３１０、量子化部３１１、エントロピ符号化部３１２、逆量子化部３１３、逆直交変換部３１４を有する。また、学習用データ生成部１１１は、加算部３０２、バッファ部３１５、ループ内フィルタ部３１６、フレームバッファ部３１７、画面内予測部３１８、画面間予測部３１９を有する。
【００３３】
差分部３０１は、学習用の入力画像と予測画像との差分を算出し、予測残差信号を出力する。
【００３４】
直交変換部３１０は、差分部３０１により出力された予測残差信号に対して、直交変換処理を実行する。
【００３５】
量子化部３１１は、直交変換処理された予測残差信号を量子化し、量子化信号を生成する。
【００３６】
エントロピ符号化部３１２は、量子化信号に対してエントロピ符号化処理を行うことで、符号化データを生成する。
【００３７】
逆量子化部３１３は、量子化信号を逆量子化する。逆直交変換部３１４は、逆量子化された量子化信号に対して、逆直交変換処理を実行する。
【００３８】
加算部３０２は、逆直交変換部３１４より出力された信号と、予測画像とを加算することで、参照画像を生成する。バッファ部３１５は、加算部３０２により生成された参照画像を格納する。
【００３９】
ループ内フィルタ部３１６は、バッファ部３１５に格納された参照画像に対してフィルタ処理を行う。ループ内フィルタ部３１６には、
・デブロッキングフィルタ（Deblocking  filter：ＤＢ）、
・サンプルアダプティブオフセットフィルタ（Sample  Adaptive  Offset  filter：ＳＡＯ）、
・適応ループフィルタ（Adaptive  loop  filter：ＡＬＦ）、
が含まれる。
【００４０】
フレームバッファ部３１７は、ループ内フィルタ部３１６によりフィルタ処理が行われた参照画像をフレーム単位で格納する。
【００４１】
画面内予測部３１８は、参照画像に基づいて画面内予測を行い、予測画像を生成する。画面間予測部３１９は、学習用の入力画像と参照画像とを用いてフレーム間で動き補償を行い、予測画像を生成する。
【００４２】
なお、画面内予測部３１８または画面間予測部３１９により生成された予測画像は、差分部３０１及び加算部３０２に出力される。
【００４３】
ここで、学習用データ生成部１１１では、学習用の入力画像を符号化し符号化データを生成する際に各部より出力されたデータ、及び、各部での処理に用いられたデータを取得し、学習用の入力画像と対応付けて、学習用データ格納部１１３に格納する。
【００４４】
学習用データ３２０は、学習用データ格納部１１３に格納された学習用データの一例を示している。図３に示すように、学習用データ３２０は、情報の項目として、“ピクチャＩＤ”、“ＣＴＵ−ＩＤ”、“ＱＰ”、“逆直交変換部より出力された信号”、“予測画像”、“学習用の入力画像”が含まれる。
【００４５】
“ピクチャＩＤ”には、学習用の入力画像の各フレームを識別する識別子が格納される。“ＣＴＵ−ＩＤ”には、各フレームを処理する際の処理単位（ＣＴＵ）を識別する識別子が格納される。
【００４６】
“ＱＰ”には、量子化部３１１が対象となる処理単位（ＣＴＵ）について量子化信号を生成する際に用いた量子化パラメータ（ＱＰ：Quantization  Parameter）が格納される。
【００４７】
“逆直交変換部より出力された信号”には、逆直交変換部３１４が対象となる処理単位（ＣＴＵ）について、逆直交変換処理することで出力した信号が格納される。
【００４８】
“学習用の入力画像”には、学習用の入力画像が格納される。
【００４９】
（２）学習装置における学習部の機能構成の説明
次に、学習装置における学習部１１２の機能構成について説明する。図４は、学習装置における学習部の機能構成の一例を示す図である。図４に示すように、学習部１１２は、ＣＮＮＦ４１０と、加算部４１１と、比較／変更部４１２とを有する。
【００５０】
学習部１１２は、学習用データ格納部１１３より学習用データ３２０を読み出す。また、学習部１１２は、所定のピクチャＩＤ、所定のＣＴＵ―ＩＤに対応付けられた、“ＱＰ”、“逆直交変換部より出力された信号”、“予測画像”をＣＮＮＦ４１０に入力することで、ＣＮＮＦ４１０を実行させる。
【００５１】
加算部４１１は、ＣＮＮＦ４１０より出力された出力結果と、ＣＮＮＦ４１０に入力された、“逆直交変換部より出力された信号”及び“予測画像”とを加算し、加算結果を比較／変更部４１２に入力する。なお、“逆直交変換部より出力された信号”と“予測画像”とを加算することで、参照画像が生成される。つまり、加算部４１１では、ＣＮＮＦ４１０より出力された出力結果と、参照画像とを加算し、加算結果を比較／変更部４１２に入力する。
【００５２】
比較／変更部４１２は、加算部４１１より出力された加算結果と、学習用データ３２０の、所定のピクチャＩＤ、所定のＣＴＵ−ＩＤに対応付けられた、“学習用の入力画像”とを比較し、誤差を算出する。また、比較／変更部４１２は、算出した誤差を逆伝播させて、ＣＮＮＦ４１０のモデルパラメータを更新する。このように、学習部１１２は、ＣＮＮＦ４１０より出力された出力結果と参照画像とを加算した加算結果が、学習用の入力画像に近づくように、ＣＮＮＦ４１０について学習を行う。
【００５３】
なお、学習部１１２では、学習用データ格納部１１３の学習用データ３２０に格納された、複数のピクチャＩＤ、複数のＣＴＵ−ＩＤについて、同様の処理を行うことで、ＣＮＮＦ４１０について学習を行う。
【００５４】
これにより、学習部１１２は、学習用の入力画像を符号化した際の、
・量子化パラメータ、
・逆直交変換部より出力された信号、
・予測画像、
と、
・参照画像と学習用の入力画像との差分
との対応関係を学習し、学習済みＣＮＮＦを生成する。
【００５５】
なお、参照画像と学習用の入力画像との差分とは、学習用の入力画像を符号化した際の“符号化歪み”に他ならない。つまり、ＣＮＮＦ４１０より出力された出力結果とは、符号化歪みに他ならず、学習済みＣＮＮＦは、量子化パラメータ、逆直交変換部より出力された信号、予測画像を入力として符号化歪みを推論する。
【００５６】
（３）学習装置による学習処理の流れ
次に、学習装置１１０による学習処理の流れについて説明する。図５は、学習装置による学習処理の流れを示すフローチャートである。
【００５７】
ステップＳ５０１において、学習用データ生成部１１１は、学習用の入力画像を取得する。ステップＳ５０２において、学習用データ生成部１１１は、取得した学習用の入力画像を符号化して符号化データを生成する、符号化処理を行う。
【００５８】
ステップＳ５０３において、学習用データ生成部１１１は、符号化データを生成する際に取得された学習用データを格納する。
【００５９】
ステップＳ５０４において、学習用データ生成部１１１は、所定量の学習用データが格納されたか否かを判定する。ステップＳ５０４において、所定量の学習用データが格納されていないと判定した場合には（ステップＳ５０４においてＮｏの場合には）、ステップＳ５０１に戻る。一方、ステップＳ５０４において、所定量の学習用データが格納されたと判定した場合には（ステップＳ５０４においてＹｅｓの場合には）、ステップＳ５０５に進む。
【００６０】
ステップＳ５０５において、学習部１１２は、ＣＮＮＦ４１０の各モデルパラメータを初期化する。
【００６１】
続いて、ステップＳ５０６からステップＳ５０８までの処理は、学習用データの各ピクチャＩＤのピクチャ（フレーム）、各ＣＴＵ−ＩＤのＣＴＵ（処理単位）を処理対象として実行する。
【００６２】
ステップＳ５０６において、学習部１１２は、学習用データより、処理対象のＣＴＵ−ＩＤに対応付けられた“ＱＰ”、“逆直交変換部より出力された信号”、“予測画像”を読み出す。
【００６３】
ステップＳ５０７において、学習部１１２は、“ＱＰ”、“逆直交変換部より出力された信号”、“予測画像”をＣＮＮＦ４１０に入力することで、ＣＮＮＦ４１０を実行させる。また、加算部４１１は、ＣＮＮＦ４１０より出力された出力結果と参照画像とを加算し、加算結果を、比較／変更部４１２に入力する。
【００６４】
ステップＳ５０８において、比較／変更部４１２は、加算部４１１の加算結果と、“学習用の入力画像”とを比較し、誤差を算出する。また、比較／変更部４１２は、算出した誤差を逆伝播させることで、ＣＮＮＦ４１０のモデルパラメータを更新する。
【００６５】
学習用データの全てのピクチャＩＤのピクチャ（フレーム）、全てのＣＴＵ−ＩＤのＣＴＵ（処理単位）を処理対象として、ステップＳ５０６からステップＳ５０８までの処理が完了すると、学習部１１２は、学習処理を終了する。
【００６６】
＜符号化装置の説明＞
次に、符号化装置１２０の詳細について説明する。
【００６７】
（１）符号化装置における符号化部の機能構成の説明
はじめに、符号化装置１２０における符号化部１２２の機能構成の詳細について説明する。図６は、符号化装置における符号化部の機能構成の一例を示す図である。
【００６８】
図６に示すように、符号化装置１２０における符号化部１２２の機能構成は、図３を用いて説明した、学習装置１１０における学習用データ生成部１１１の機能構成と概ね同じである。学習装置１１０における学習用データ生成部１１１の機能構成との相違点は、ループ内フィルタ部６００である。そこで、以下では、ループ内フィルタ部６００について説明する。
【００６９】
ループ内フィルタ部６００は、バッファ部３１５に格納された参照画像に対してフィルタ処理を行う。ループ内フィルタ部６００には、
・デブロッキングフィルタ（ＤＢ）、
・サンプルアダプティブオフセットフィルタ（ＳＡＯ）、
・適応ループフィルタ（ＡＬＦ）、
・ＮＮフィルタ部、
が含まれる。
【００７０】
このうち、デブロッキングフィルタ、サンプルアダプティブオフセットフィルタ、適応ループフィルタは、バッファ部３１５に格納された参照画像に対して、フィルタ処理を行うことで、フィルタ処理後の参照画像を出力する。
【００７１】
一方、ＮＮフィルタ部は、学習済みＣＮＮＦを有する。学習済みＣＮＮＦは、量子化パラメータと、逆直交変換部より出力された信号と、予測画像とを入力することで、符号化歪みを推論する。
【００７２】
また、ＮＮフィルタ部は、学習済みＣＮＮＦにより推論された符号化歪みを、バッファ部３１５に格納された参照画像に加算することで、フィルタ処理後の参照画像を出力する。
【００７３】
（２）符号化装置におけるループ内フィルタ部の機能構成及びＮＮフィルタ部の機能構成
次に、符号化装置１２０におけるループ内フィルタ部６００の機能構成の詳細及びＮＮフィルタ部の機能構成の詳細について説明する。図７は、符号化装置におけるループ内フィルタ部の機能構成及びＮＮフィルタ部の機能構成の一例を示す図である。
【００７４】
図７に示すように、ループ内フィルタ部６００は、ＤＢ７００、ＳＡＯ７０１、ＡＬＦ７０２、分割部７０３、ＮＮフィルタ部７１０、分割部７１１、レート歪み最適化部７２０を有する。
【００７５】
このうち、ＤＢ（デブロッキングフィルタ）７００は、参照画像をフィルタ処理することで、入力画像を符号化した際に各ＣＴＵのブロック境界で生じた歪みを減少させる。
【００７６】
ＳＡＯ（サンプルアダプティブオフセットフィルタ）７０１は、ＤＢ７００によりフィルタ処理された参照画像を、画素単位で分類し、各画素に対して分類に応じたオフセット値を加算する。
【００７７】
ＡＬＦ（適応ループフィルタ）７０２は、ＳＡＯ７０１によりオフセット値が加算された参照画像をフィルタ処理することで、対応する入力画像との誤差を低減させる。
【００７８】
分割部７０３は、ＡＬＦ７０２によりフィルタ処理されたフィルタ処理後の参照画像を、所定の大きさ（例えば、６４画素×６４画素）のブロックに分割する。
【００７９】
ＮＮフィルタ部７１０は第１及び第２の取得部の一例であり、学習済みＣＮＮＦを有する。ＮＮフィルタ部７１０は、量子化部３１１より量子化パラメータを取得する。また、ＮＮフィルタ部７１０は、逆直交変換部３１４より出力された信号を取得する。更に、ＮＮフィルタ部７１０は、画面内予測部３１８または画面間予測部３１９より出力された予測画像を取得する。
【００８０】
また、ＮＮフィルタ部７１０は、取得した量子化パラメータ、逆直交変換部３１４より出力された信号、予測画像を、学習済みＣＮＮＦ７３０に分けて入力することで、学習済みＣＮＮＦを実行させる。これにより、学習済みＣＮＮＦでは、符号化歪みを推論する。
【００８１】
更に、ＮＮフィルタ部７１０は、学習済みＣＮＮＦにより推論された符号化歪みを、参照画像（逆直交変換部３１４より出力された信号と予測画像とを加算することで得られる参照画像）に加算する。これにより、ＮＮフィルタ部７１０は、フィルタ処理後の参照画像を出力する。
【００８２】
分割部７１１は、ＮＮフィルタ部７１０より出力された、フィルタ処理後の参照画像を、所定の大きさ（例えば、６４画素×６４画素）のブロックに分割する。
【００８３】
レート歪み最適化部７２０は、分割部７０３により分割されたブロックのレート歪みと、分割部７１１により分割されたブロックのレート歪みとをそれぞれ算出する。また、レート歪み最適化部７２０は、レート歪みが小さい方のブロックを、ループ内フィルタ部６００によるフィルタ処理後の最終的な参照画像として出力する。
【００８４】
（３）符号化装置におけるＮＮフィルタ部によるフィルタ処理の流れ
次に、符号化装置１２０におけるＮＮフィルタ部７１０によるフィルタ処理の流れについて説明する。図８は、符号化装置におけるＮＮフィルタ部によるフィルタ処理の流れを示すフローチャートである。
【００８５】
ステップＳ８０１からステップＳ８０３までの処理は、処理対象の入力画像の各ピクチャ（各フレーム）、各ＣＴＵ（各処理単位）について実行される。
【００８６】
ステップＳ８０１において、ＮＮフィルタ部７１０は、処理対象のＣＴＵの量子化パラメータ、逆直交変換部より出力された信号、予測画像を取得する。
【００８７】
ステップＳ８０２において、ＮＮフィルタ部７１０は、量子化パラメータ、逆直交変換部より出力された信号、予測画像を、学習済みＣＮＮＦ７３０に分けて入力することで、学習済みＣＮＮＦ７３０を実行させる。また、ＮＮフィルタ部７１０は、学習済みＣＮＮＦ７３０により推論された符号化歪みを取得する。
【００８８】
ステップＳ８０３において、ＮＮフィルタ部７１０は、取得した符号化歪みを、参照画像に加算することで、フィルタ処理後の参照画像を算出する。
【００８９】
処理対象の入力画像に含まれる全てのピクチャ（フレーム）、全てのＣＴＵ（処理単位）について、ステップＳ８０１からステップＳ８０３までの処理が完了すると、ＮＮフィルタ部７１０は、フィルタ処理を終了する。
【００９０】
＜比較例の符号化装置との対比＞
次に、上記符号化装置１２０における符号化部１２２の機能構成を、比較例の符号化装置の機能構成と対比することで、上記符号化装置１２０の特徴を明確にする。なお、ここでいう、比較例の符号化装置とは、ループ内フィルタ部として、参照画像に含まれる符号化歪みを推論するＡＩフィルタ（参照画像を入力として学習したＡＩフィルタ）を適用した符号化装置を指すものとする。
【００９１】
（１）比較例の符号化装置の機能構成
図９は、比較例の符号化装置における符号化部の機能構成の一例を示す図である。比較例の符号化装置における符号化部９００の場合、ループ内フィルタ部９１０に含まれるＮＮフィルタ部は、量子化パラメータ及び参照画像と、符号化歪みとの対応関係を学習することで生成された学習済みＣＮＮＦを有している。
【００９２】
このため、ＮＮフィルタ部には、デブロッキングフィルタ、サンプルアダプティブオフセットフィルタ、適応ループフィルタと同様に、バッファ部３１５に格納された参照画像が入力される。
【００９３】
ただし、ＮＮフィルタ部の場合、更に、量子化パラメータが入力されて学習済みＣＮＮＦが実行される。そして、ＮＮフィルタ部では、学習済みＣＮＮＦにより推論された符号化歪みを参照画像に加算することで、フィルタ処理後の参照画像を出力する。
【００９４】
（２）比較例の符号化装置におけるループ内フィルタ部の機能構成及びＮＮフィルタ部の機能構成
次に、比較例の符号化装置におけるループ内フィルタ部９１０の機能構成の詳細及びＮＮフィルタ部の機能構成の詳細について説明する。図１０は、比較例の符号化装置におけるループ内フィルタ部の機能構成及びＮＮフィルタ部の機能構成の一例を示す図である。
【００９５】
図７に示した符号化装置１２０のループ内フィルタ部６００との相違点は、図１０の場合、ＮＮフィルタ部１０１０に、参照画像と量子化パラメータとが入力され、学習済みＣＮＮＦ１０１１が、符号化歪みを推論している点である。
【００９６】
（３）機能構成の違いに伴う効果の違い
次に、符号化装置１２０と、比較例の符号化装置との機能構成の違いに伴う効果の違いについて図１１及び図１２を用いて説明する。図１１は、比較例の符号化装置における量子化誤差及び予測誤差を示す図である。
【００９７】
上述したように、比較例の符号化装置の場合、学習済みＣＮＮＦ１０１１に参照画像と量子化パラメータとが入力されることで、符号化歪みを推論する。ここで、図１１に示すように、参照画像は、逆直交変換部３１４より出力された信号と予測画像とを加算することで生成される。
【００９８】
このうち、逆直交変換部３１４より出力される信号は、予測残差信号を直交変換処理及び量子化処理した後に、逆量子化処理及び逆直交変換処理することで得られる。このため、逆直交変換部３１４より出力される信号には、量子化処理を行った際の量子化誤差が含まれる。
【００９９】
一方、予測画像は、画面内予測処理または画面間予測処理することで得られる画像であり、予測誤差が含まれる。
【０１００】
つまり、逆直交変換部３１４より出力される信号と、予測画像とを加算することで得られる参照画像とは、量子化誤差を含む信号と、予測誤差を含む画像とを加算することで得られる画像に他ならず、参照画像には量子化誤差と予測誤差の両方が混在することになる。
【０１０１】
このため、学習用の入力画像によっては、学習済みＣＮＮＦ１０１１を生成する際に、学習処理が収束しないといった事態が生じ得る。また、処理対象の入力画像によっては、学習済みＣＮＮＦ１０１１により推論される符号化歪みの推論精度が低く、充分なフィルタ性能が得られないといった事態が生じ得る。
【０１０２】
一方、図１２は、符号化装置における量子化誤差及び予測誤差を示す図である。上述したように、符号化装置１２０が有する学習済みＣＮＮＦ７３０は、学習処理の際、量子化誤差を含む信号と、予測誤差を含む画像とを分けて入力することで生成される。このため、学習用の入力画像によらず、学習処理が収束しないといった事態を回避することができる。
【０１０３】
また、符号化装置１２０が有する学習済みＣＮＮＦ７３０は、推論の際、量子化誤差を含む信号と、予測誤差を含む画像とを分けて入力する。このため、処理対象の入力画像によらず、符号化歪みを高い推論精度で推論することができ、フィルタ性能を向上させることができる。
【０１０４】
＜復号装置の説明＞
次に、復号装置１３０の詳細について説明する。
【０１０５】
（１）復号装置における復号部の機能構成の説明
はじめに、復号装置１３０における復号部１３２の機能構成の詳細について説明する。図１３は、復号装置における復号部の機能構成の一例を示す図である。
【０１０６】
図１３に示すように、復号装置１３０における復号部１３２は、エントロピ復号部１３１０、逆量子化部１３１１、逆直交変換部１３１２、画面内予測部１３１３、動き補償部１３１４、加算部１３０１を有する。また、復号部１３２は、ループ内フィルタ部１３１５、フレームバッファ部１３１６を有する。
【０１０７】
エントロピ復号部１３１０は、受信した符号化データを復号し、量子化信号を出力する。また、エントロピ復号部１３１０は、量子化パラメータを抽出し、ループ内フィルタ部１３１５に通知する。なお、符号化装置１２０が符号化データを送信する際、符号化データの生成に用いられた学習済みＣＮＮＦを送信していた場合にあっては、エントロピ復号部１３１０は、学習済みＣＮＮＦを取得し、ループ内フィルタ部１３１５に通知する。
【０１０８】
逆量子化部１３１１は、量子化信号を逆量子化し、逆直交変換部１３１２に出力する。逆直交変換部１３１２は、逆量子化された量子化信号に対して逆直交変換処理を行うことで、予測残差信号を得る。
【０１０９】
加算部１３０１は、逆直交変換部１３１２により得られた予測残差信号と、画面内予測部１３１３により生成された予測画像、または、動き補償部１３１４により動き補償された予測画像とを加算し、参照画像を出力する。
【０１１０】
ループ内フィルタ部１３１５は、フィルタ処理を行う。ループ内フィルタ部１３１５には、
・デブロッキングフィルタ、
・サンプルアダプティブオフセットフィルタ、
・適応ループフィルタ、
・ＮＮフィルタ部、
が含まれる。なお、ＮＮフィルタ部には、学習装置１１０より通知された学習済みＣＮＮＦ（あるいは、符号化装置１２０により送信されていた場合にあっては、エントロピ復号部１３１０より通知された学習済みＣＮＮＦ）が含まれる。
【０１１１】
また、フィルタ処理を行うにあたり、ループ内フィルタ部１３１５では、
・予測画像と予測残差信号とを加算することで生成される参照画像を取得する、あるいは、
・逆直交変換部１３１２より出力された予測残差信号と、画面内予測部１３１３または動き補償部１３１４により生成された予測画像と、エントロピ復号部１３１０より通知された量子化パラメータとを、それぞれ取得する。
【０１１２】
また、ループ内フィルタ部１３１５は、フィルタ処理後の参照画像を、復号画像として出力するとともに、フレームバッファ部１３１６に記憶する。
【０１１３】
画面内予測部１３１３は、フィルタ処理後の参照画像を用いて予測画像を生成する画面内予測を行う。動き補償部１３１４は、フィルタ処理後の参照画像の各フレームに基づいて、予測画像を生成する動き補償を行う。
【０１１４】
画面内予測部１３１３の画面内予測により生成された予測画像または動き補償部１３１４の動き補償により生成された予測画像が出力されると、加算部１３０１は、出力された予測画像と逆直交変換部１３１２により出力された予測残差信号とを加算する。
【０１１５】
（２）復号装置におけるループ内フィルタ部の機能構成及びＮＮフィルタ部の機能構成
次に、復号装置１３０におけるループ内フィルタ部１３１５の機能構成の詳細及びＮＮフィルタ部の機能構成の詳細について説明する。図１４は、復号装置におけるループ内フィルタ部の機能構成及びＮＮフィルタ部の機能構成の一例を示す図である。
【０１１６】
図１４に示すように、ループ内フィルタ部１３１５は、ＤＢ１４００、ＳＡＯ１４０１、ＡＬＦ１４０２、分割部１４０３、第１及び第２の取得部の一例であるＮＮフィルタ部１４１０、分割部１４１１、レート歪み最適化部１４２０を有する。
【０１１７】
なお、ループ内フィルタ部１３１５に含まれる各部の機能は、図７を用いて説明したループ内フィルタ部６００に含まれる各部の機能と同様であるため、ここでは説明を省略する。
【０１１８】
（３）復号装置におけるＮＮフィルタ部によるフィルタ処理の流れ
次に、復号装置１３０におけるＮＮフィルタ部１４１０によるフィルタ処理の流れについて説明する。図１５は、復号装置におけるＮＮフィルタ部によるフィルタ処理の流れを示すフローチャートである。
【０１１９】
ステップＳ１５０１からステップＳ１５０３までの処理は、処理対象の符号化データの各ピクチャ（各フレーム）、各ＣＴＵ（各処理単位）について実行される。
【０１２０】
ステップＳ１５０１において、ＮＮフィルタ部１４１０は、処理対象のＣＴＵの量子化パラメータ、逆直交変換部１３１２より出力された信号、予測画像を取得する。
【０１２１】
ステップＳ１５０２において、ＮＮフィルタ部１４１０は、量子化パラメータ、逆直交変換部１３１２より出力された信号、予測画像を、学習済みＣＮＮＦ７３０に分けて入力することで、学習済みＣＮＮＦ７３０を実行させる。また、ＮＮフィルタ部１４１０は、学習済みＣＮＮＦ７３０により推論された符号化歪みを取得する。
【０１２２】
ステップＳ１５０３において、ＮＮフィルタ部１４１０は、取得した符号化歪みを、参照画像に加算することで、フィルタ処理後の参照画像を算出する。
【０１２３】
処理対象の符号化データに含まれる全てのピクチャ（フレーム）、全てのＣＴＵ（処理単位）について、ステップＳ１５０１からステップＳ１５０３までの処理が完了すると、ＮＮフィルタ部１４１０は、フィルタ処理を終了する。
【０１２４】
以上の説明から明らかなように、本実施形態に係る学習装置は、既存のループ内フィルタ部が配された符号化部を用いて、学習用の入力画像について符号化処理を行い、符号化部の各部より出力されるデータを学習用データとして格納する。また、本実施形態に係る学習装置は、学習用データを用いて符号化歪みを学習する際、ＣＮＮＦに対して、量子化誤差を含む信号と、予測誤差を含む画像とを分けて入力する。
【０１２５】
これにより、本実施形態に係る学習装置によれば、量子化誤差と予測誤差とを分けて、符号化歪みを学習することができる。この結果、本実施形態に係る学習装置によれば、符号化歪みを学習する際に、学習処理が収束しないといった事態を回避することができる。
【０１２６】
また、本実施形態に係る符号化装置は、学習装置が学習処理を行うことで生成した学習済みＣＮＮＦを含むＮＮフィルタ部を有し、量子化誤差を含む信号と、予測誤差を含む画像とを分けて入力することで推論された、符号化歪みを取得する。
【０１２７】
これにより、本実施形態に係る符号化装置によれば、符号化歪みを高い推論精度で推論することができ、フィルタ性能を向上させることができる。
【０１２８】
また、本実施形態に係る復号装置は、学習装置が学習処理を行うことで生成した学習済みＣＮＮＦを含むＮＮフィルタ部を有し、量子化誤差を含む信号と、予測誤差を含む画像とを分けて入力することで推論された、符号化歪みを取得する。
【０１２９】
これにより、本実施形態に係る復号装置によれば、符号化歪みを高い推論精度で推論することができ、フィルタ性能を向上させることができる。
【０１３０】
このように、本実施形態によれば、ループ内フィルタ部のフィルタ性能を向上させることができる。
【０１３１】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
画面内予測または画面間予測により生成された予測画像と処理対象の入力画像との差分から予測残差を算出し、算出した予測残差に対して直交変換処理及び量子化処理を行った後、エントロピ符号化処理を行うことで、前記処理対象の入力画像を符号化するコンピュータに、
前記処理対象の入力画像を符号化する際、前記量子化処理において用いられた量子化パラメータと、前記量子化処理において生じる量子化誤差を含む信号と、前記画面内予測または画面間予測において生じる予測誤差を含む画像とをそれぞれ取得し、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、
処理を実行させるための符号化プログラム。
（付記２）
前記量子化処理において生じる量子化誤差を含む信号とは、前記量子化処理を行った結果に対して、逆量子化処理及び逆直交変換処理を行うことで得られる信号であり、
前記予測誤差を含む画像とは、前記画面内予測または画面間予測により生成される前記予測画像である、
付記１に記載の符号化プログラム。
（付記３）
前記逆直交変換処理を行うことで得られる信号と、前記予測画像とを加算することで参照画像を生成し、
前記フィルタ部に、取得した前記量子化パラメータと、前記逆直交変換処理を行うことで得られる信号と、前記予測画像とを分けて入力することで推論された符号化歪みを、生成した前記参照画像に加算することで、フィルタ処理後の第１の参照画像を出力する、
付記２に記載の符号化プログラム。
（付記４）
生成した前記参照画像を他のフィルタ部に入力することで、フィルタ処理後の第２の参照画像を出力し、
フィルタ処理後の前記第１の参照画像とフィルタ処理後の前記第２の参照画像のうち、レート歪みの小さいいずれか一方を、フィルタ処理後の最終的な参照画像として出力する、
付記３に記載の符号化プログラム。
（付記５）
前記フィルタ部は、学習用の入力画像を符号化する際に取得される学習用データを用いて学習することで生成される、付記４に記載の符号化プログラム。
（付記６）
前記学習用データには、
画面内予測または画面間予測により生成された予測画像と、
該予測画像と学習用の入力画像との差分から算出した予測残差に対して、直交変換処理及び量子化処理を行った際に用いた量子化パラメータと、
該量子化処理の結果に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、
前記学習用の入力画像と、
が含まれる付記５に記載の符号化プログラム。
（付記７）
前記フィルタ部は、前記学習用データに含まれる前記予測画像と、前記量子化パラメータと、前記信号とを入力した際の出力に、該予測画像と該信号とを加算した加算結果が、前記学習用データに含まれる前記学習用の入力画像に近づくように学習することで生成される、付記６に記載の符号化プログラム。
（付記８）
符号化データをエントロピ復号した量子化信号に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、画面内予測または動き補償を行うことで得られた予測画像とを加算し、フィルタ処理を行うことで、前記符号化データを復号するコンピュータに、
前記符号化データを復号する際、量子化パラメータと、量子化誤差を含む信号と、前記画面内予測または動き補償において生じる予測誤差を含む画像とをそれぞれ取得し、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、
処理を実行させるための復号プログラム。
（付記９）
前記量子化誤差を含む信号とは、前記量子化信号に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号であり、
前記予測誤差を含む画像とは、前記画面内予測または動き補償により生成される前記予測画像である、
付記８に記載の復号プログラム。
（付記１０）
前記逆直交変換処理を行うことで得られた信号と、前記予測画像とを加算することで参照画像を生成し、
前記フィルタ部に、取得した前記量子化パラメータと、前記逆直交変換処理を行うことで得られる信号と、前記予測画像とを分けて入力することで推論された符号化歪みを、生成した前記参照画像に加算することで、フィルタ処理後の第１の参照画像を出力し、前記符号化データを復号する、
付記９に記載の復号プログラム。
（付記１１）
前記フィルタ部は、学習用の入力画像を符号化する際に取得される学習用データを用いて学習することで生成される、付記１０に記載の復号プログラム。
（付記１２）
前記学習用データには、
画面内予測または画面間予測により生成された予測画像と、
該予測画像と学習用の入力画像との差分から算出した予測残差に対して、直交変換処理及び量子化処理を行った際に用いた量子化パラメータと、
該量子化処理の結果に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、
前記学習用の入力画像と、
が含まれる付記１１に記載の復号プログラム。
（付記１３）
前記フィルタ部は、前記学習用データに含まれる前記予測画像と、前記量子化パラメータと、前記信号とを入力した際の出力に、該予測画像と該信号とを加算した加算結果が、前記学習用データに含まれる前記学習用の入力画像に近づくように学習することで生成される、付記１２に記載の復号プログラム。
（付記１４）
画面内予測または画面間予測により生成された予測画像と処理対象の入力画像との差分から予測残差を算出し、算出した予測残差に対して直交変換処理及び量子化処理を行った後、エントロピ符号化処理を行うことで、前記処理対象の入力画像を符号化する符号化装置であって、
前記処理対象の入力画像を符号化する際、前記量子化処理において用いられた量子化パラメータと、前記量子化処理において生じる量子化誤差を含む信号と、前記画面内予測または画面間予測において生じる予測誤差を含む画像とをそれぞれ取得する第１の取得部と、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する第２の取得部と
を有する符号化装置。
（付記１５）
符号化データをエントロピ復号した量子化信号に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、画面内予測または動き補償を行うことで得られた予測画像とを加算し、フィルタ処理を行うことで、前記符号化データを復号する復号装置であって、
前記符号化データを復号する際、量子化パラメータと、量子化誤差を含む信号と、前記画面内予測または動き補償において生じる予測誤差を含む画像とをそれぞれ取得する第１の取得部と、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する第２の取得部と
を有する復号装置。
（付記１６）
画面内予測または画面間予測により生成された予測画像と処理対象の入力画像との差分から予測残差を算出し、算出した予測残差に対して直交変換処理及び量子化処理を行った後、エントロピ符号化処理を行うことで、前記処理対象の入力画像を符号化する符号化方法であって、
前記処理対象の入力画像を符号化する際、前記量子化処理において用いられた量子化パラメータと、前記量子化処理において生じる量子化誤差を含む信号と、前記画面内予測または画面間予測において生じる予測誤差を含む画像とをそれぞれ取得し、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、
処理をコンピュータが実行する符号化方法。
（付記１７）
符号化データをエントロピ復号した量子化信号に対して、逆量子化処理及び逆直交変換処理を行うことで得られた信号と、画面内予測または動き補償を行うことで得られた予測画像とを加算し、フィルタ処理を行うことで、前記符号化データを復号する復号方法であって、
前記符号化データを復号する際、量子化パラメータと、量子化誤差を含む信号と、前記画面内予測または動き補償において生じる予測誤差を含む画像とをそれぞれ取得し、
学習用の入力画像を符号化する際に生じた符号化歪みを学習したフィルタ部に、取得した前記量子化パラメータと、前記量子化誤差を含む信号と、前記予測誤差を含む画像とを分けて入力することで、前記フィルタ部により推論された符号化歪みを取得する、
処理をコンピュータが実行する復号方法。
【０１３２】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１３３】
１１０    ：学習装置
１１１    ：学習用データ生成部
１１２    ：学習部
１２０    ：符号化装置
１２１    ：画像データ取得部
１２２    ：符号化部
１２３    ：符号化データ出力部
１３０    ：復号装置
１３１    ：符号化データ入力部
１３２    ：復号部
１３３    ：画像データ出力部
３１０    ：直交変換部
３１１    ：量子化部
３１２    ：エントロピ符号化部
３１３    ：逆量子化部
３１４    ：逆直交変換部
３１５    ：バッファ部
３１６    ：ループ内フィルタ部
３１７    ：フレームバッファ部
３１８    ：画面内予測部
３１９    ：画面間予測部
３２０    ：学習用データ
４１０    ：ＣＮＮＦ
６００    ：ループ内フィルタ部
７１０    ：ＮＮフィルタ部
７３０    ：学習済みＣＮＮＦ
１３１０  ：エントロピ復号部
１３１１  ：逆量子化部
１３１２  ：逆直交変換部
１３１３  ：画面内予測部
１３１４  ：動き補償部
１３１５  ：ループ内フィルタ部
１３１６  ：フレームバッファ部
１４１０  ：ＮＮフィルタ部
【図１】
2020198463.tif 000003
【図２】
2020198463.tif 000004
【図３】
2020198463.tif 000005
【図４】
2020198463.tif 000006
【図５】
2020198463.tif 000007
【図６】
2020198463.tif 000008
【図７】
2020198463.tif 000009
【図８】
2020198463.tif 000010
【図９】
2020198463.tif 000011
【図１０】
2020198463.tif 000012
【図１１】
2020198463.tif 000013
【図１２】
2020198463.tif 000014
【図１３】
2020198463.tif 000015
【図１４】
2020198463.tif 000016
【図１５】
2020198463.tif 000017