(57)【要約】【課題】  デブロッキングフィルタ処理を伴う映像符号化処理及び映像復号処理を行う際に、画質劣化を低減し、かつ、符号化効率を高める。【解決手段】  本発明は、映像符号化装置と映像復号装置を備える映像伝送システムに関する。本発明の映像符号化装置は、対象画像をブロック単位で符号化処理を行い、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行う。また、本発明の映像復号装置は、対象画像をブロック単位で復号し、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行う。そして、デブロッキングフィルタは、対象画像のブロックエッジごとに種別を判定し、対象画像のブロックエッジごとに種別に応じたフィルタ係数をフィルタ係数セットから選択して適用することを特徴とする。【選択図】      図１
2018029311.tif 000002
【特許請求の範囲】
【請求項１】
映像を構成する各画像を符号化する映像符号化装置において、
符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行う符号化処理手段を備え、
前記デブロッキングフィルタは、
複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、
対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、
対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、
前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有する
ことを特徴とする映像符号化装置。
【請求項２】
前記符号化処理手段は、
符号化対象の対象画像を予測した予測画像を生成する予測手段と、
対象画像と予測画像との残差信号を符号化する符号化手段と、
残差信号と予測画像とを加算して第１の再構成画像を生成する加算手段とを備え、
前記フィルタ手段は、第１の再構成画像に、少なくともデブロッキングフィルタを用いたフィルタ処理を行って第1の復号画像を生成し、前記予測手段が用いる参照画像として出力する
ことを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの両側のブロックに関するブロック情報と、当該ブロックエッジの周辺画素の画素値を用いて、当該ブロックエッジの種別を判定することを特徴とする請求項２に記載の映像符号化装置。
【請求項４】
前記フィルタ処理手段は、ブロックエッジの周辺画素について、フィルタ処理前の画素値の線形結合により、フィルタ処理後の画素値を求め、
前記フィルタ係数は、前記線形結合の係数である
ことを特徴とする請求項３に記載の映像符号化装置。
【請求項５】
前記フィルタ処理手段は、対象画像のブロックエッジの種別ごとに、フィルタ処理で参照する画素の範囲、およびフィルタ処理で変更する画素の範囲を変更することを特徴とする請求項４に記載の映像符号化装置。
【請求項６】
第１の再構成画像と対象画像とを参照して、最適なフィルタ係数セットを決定するフィルタ係数決定手段をさらに備え、
前記フィルタ係数セット記憶手段は、前記フィルタ係数決定手段で決定したフィルタ係数セットを記憶する
ことを特徴とする請求項２〜５のいずれかに記載の映像符号化装置。
【請求項７】
前記符号化手段は、前記フィルタ係数決定手段で決定したフィルタ係数セットを多重化して符号化した符号化ストリームを出力することを特徴とする請求項６に記載の映像符号化装置。
【請求項８】
前記フィルタ係数決定手段は、フィルタ係数セットの決定処理に最小二乗法を用いることを特徴とする請求項６又は７に記載の映像符号化装置。
【請求項９】
前記フィルタ係数決定手段は、デブロッキングフィルタ処理による画質の改善量とフィルタ係数セットの符号化に必要となる符号量のトレードオフを評価して、フィルタ係数セットの使用／不使用を判断するレート歪最適化処理を行うことを特徴とする請求項６〜８のいずれかに記載の映像符号化装置。
【請求項１０】
映像を構成する各画像が符号化された符号化データを復号する映像復号装置において、
符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行う復号処理手段を備え、
前記デブロッキングフィルタは、
複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、
対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、
対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、
前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有する
ことを特徴とする映像復号装置。
【請求項１１】
前記復号処理手段は、
復号対象の対象画像を予測した予測画像を生成する予測手段と、
符号化データを復号して対象画像と予測画像との残差信号を取得する復号手段と、
残差信号と予測画像とを加算して第２の再構成画像を生成する加算手段と
を有し、
前記フィルタ手段は、第２の再構成画像に、少なくともデブロッキングフィルタを用いたフィルタ処理を行って第２の復号画像を生成して当該映像復号装置の復号結果として出力すると共に前記予測手段に参照画像として供給する
ことを特徴とする請求項１０に記載の映像復号装置。
【請求項１２】
映像を構成する各画像を符号化する映像符号化装置に搭載されたコンピュータを
符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行う符号化処理手段として機能させ、
前記デブロッキングフィルタは、
複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、
対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、
対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、
前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有する
ことを特徴とする映像符号化プログラム。
【請求項１３】
映像を構成する各画像が符号化された符号化データを復号する映像復号装置に搭載されたコンピュータを、
符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行う復号処理手段として機能させ、
前記デブロッキングフィルタは、
複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、
対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、
対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、
前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有する
ことを特徴とする映像復号プログラム。
【請求項１４】
映像を構成する各画像を符号化する映像符号化装置が行う映像符号化方法において、
前記映像符号化装置は、符号化処理手段を備え、
前記符号化処理手段は、符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行い、
前記デブロッキングフィルタは、フィルタ係数セット記憶手段、エッジ種別判定手段、フィルタ係数選択手段及びフィルタ処理手段を備え、
前記フィルタ係数セット記憶手段は、複数のフィルタ係数で構成されるフィルタ係数セットを記憶し、
前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定し、
前記フィルタ係数選択手段は、対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、適用するフィルタ係数セットを選択し、
前記フィルタ処理手段は、前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行う
ことを特徴とする映像符号化方法。
【請求項１５】
映像を構成する各画像が符号化された符号化データを復号する映像復号装置が行う映像復号方法において、
前記映像復号装置は、復号処理手段を備え、
前記復号処理手段は、符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行い、
前記デブロッキングフィルタは、フィルタ係数セット記憶手段、エッジ種別判定手段、フィルタ係数選択手段、フィルタ処理手段を備え、
前記フィルタ係数セット記憶手段は、複数のフィルタ係数で構成されるフィルタ係数セットを記憶し、
前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定し、
前記フィルタ係数選択手段は、対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、適用するフィルタを選択し、
前記フィルタ処理手段は、前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行う
ことを特徴とする映像復号方法。
【請求項１６】
映像を構成する各画像を符号化する映像符号化装置と、前記映像符号化装置により符号化された符号化データを復号する映像復号装置とを備える映像伝送システムにおいて、前記映像符号化装置として請求項１に記載の映像符号化装置を適用し、前記映像復号装置として請求項１０に記載の映像復号装置を適用したことを特徴とする映像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システムに関し、例えば、映像情報を圧縮符号化してストリームデータとして伝送するシステムに適用し得る。
【背景技術】
【０００２】
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下、単に「ＡＶＣ」とも呼ぶ）やＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ（以下、単に「ＨＥＶＣ」とも呼ぶ）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位（例えば、矩形のブロック）ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換（以下、単に「ＤＣＴ」とも呼ぶ）や離散サイン変換（以下、単に「ＤＳＴ」とも呼ぶ）等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。
【０００３】
図５は、従来の映像符号化装置３００の構成について示したブロック図である。
【０００４】
図５では、ＨＥＶＣを用いた映像符号化装置３００の構成の例について示したブロック図である。
【０００５】
図５に示す映像符号化装置３００では、入力映像（入力された符号化対象画像）に基づき、符号化ユニット等の処理単位領域ごとに、動き補償を伴うインター予測（画面間予測）を行うインター予測部３１０もしくは画面内の符号化済み画素等からイントラ予測（画面内予測）を行うイントラ予測部３１１により予測画像が生成される。映像符号化装置３００では、差分処理部３０１により、予測画像と入力映像の差分（以下、「予測残差信号」と呼ぶ）が出力される。映像符号化装置３００では、変換部３０２により、予測残差信号が、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）の空間変換領域の係数（以下、「変換係数」と呼ぶ）に変換される。映像符号化装置３００では、量子化部３０３により、得られた変換係数が量子化される。映像符号化装置３００では、エントロピー符号化部３０４により、量子化された変換係数に対して、エントロピー符号化処理（例えば、可変長符号や算術符号等の符号化処理）が行われ、符号化されたデータのビットストリーム（以下、「符号化ストリーム」と呼ぶ）が出力される。なお、エントロピー符号化部３０４が生成する符号化ストリームには、符号化モードの情報や動きベクトルの情報等も多重化される。
【０００６】
また、映像符号化装置３００では、量子化された変換係数が、逆量子化部３０５により逆量子化処理（量子化部３０３と逆の処理）され、さらに逆変換部３０６により逆変換（変換部３０２と逆の変換処理）される。映像符号化装置３００では、加算部３０７により、逆変換により再構成された予測残差信号と予測画像とを加算した画像（以下、「再構成画像」と呼ぶ）が生成される。映像符号化装置３００では、再構成画像に対して、ループ内フィルタ部３０８によりブロック歪等を軽減する処理（デブロッキングフィルタ等の処理）が行われ、後続の画像の符号化時のインター予測の動き補償のための参照画像として出力される。そして、映像符号化装置３００では、当該参照画像が参照画像バッファ３０９に保持される。
【０００７】
図６は、従来の映像復号装置４００の構成について示したブロック図である。
【０００８】
図６に示す従来の映像復号装置４００は、映像符号化装置３００で生成された符号化ストリームのデータを復号する処理を行う装置である。
【０００９】
映像復号装置４００では、符号化ストリームが入力されると、当該符号化ストリームのデータがエントロピー復号部４０４により復号され、量子化された変換係数等の復号データが得られる。そして、映像復号装置４００では、その量子化された変換係数について、逆量子化部４０５による逆量子化処理（映像符号化装置３００の量子化部３０３と逆の処理）が行われ、さらに、逆変換部４０６により逆変換処理（変換部３０２と逆の変換処理）処理が行われ、予測残差信号が復元される。また、映像復号装置４００では、復号データから、符号化モードの情報や動きベクトルの情報等も得られる。そして、映像復号装置４００では、イントラ予測部４１１により生成された予測画像、又はインター予測部４１０により生成された予測画像（切替部４１２により選択された何れかの予測画像）が、加算部４０７に供給される。映像復号装置４００では、加算部４０７により、復元された予測残差信号に予測画像が加算され、映像符号化装置３００と同じ再構成画像が生成される。映像復号装置４００では、ループ内フィルタ部４０８により、デブロッキングフィルタ等の処理が行われて復号画像として出力され、後続のインター予測のための参照画像として参照画像バッファ４０９に保持される。
【００１０】
上述のように、ＡＶＣやＨＥＶＣのような符号化技術では画像を処理単位のブロックごとに処浬を行うため、ブロックひずみと呼ばれるブロックの境界で不連続な性質をもつ画質劣化が生じやすい。そのため、上述のように、従来の映像符号化装置３００及び映像復号装置４００では、デブロッキングフィルタ（ループ内フィルタ部４０８、ループ内フィルタ部３０８）により、画質の劣化が軽減される。
【００１１】
図７は、ＨＥＶＣ等の符号化技術において、デブロッキングフィルタ処理の処理対象となるブロック境界の周辺（ブロック境界の周辺の画素）を表す説明図である。
【００１２】
図７におけるＬは、ブロック境界（以下、「ブロックエッジ」とも呼ぶ）を示す線（境界線）である。図７に示すように、ＨＥＶＣではブロック境界の種類（イントラブロック境界、動き補償ブロック境界、変換ブロック境界）や周辺の画素値などによって定まるブロック強度にしたがって、強輝度フィルタ、弱輝度フィルタ、色差フィルタの３種のフィルタが用いられている。例えば、従来の強輝度フィルタでは、以下の（１−１）〜（１−６）式で表されるフィルタ処理が行われる。以下の（１−１）〜（１−６）式では、再構成画像の画素値ｐｉ，ｑｉから強輝度フィルタ処理後の画素値ｐｉ’  ｑｉ’を求めている。以下の（１−１）〜（１−３）では、例として、再構成画像の画素値を構成するｐ０、ｐ１、ｐ２、ｐ３等から強輝度フィルタ処理後のｐ０’、ｐ１’、ｐ２’を求める例について示している。また、以下の（１−４）〜（１−６）では、例として、再構成画像の画素値を構成するｑ０、ｑ１、ｑ２、ｑ３等から強輝度フィルタ処理後のｑ０’、ｑ１’、ｑ２’を求める例について示している。なお、以下の（１−１）〜（１−６）式において、「Ｃｌｉｐ３（ａ，ｂ，ｘ）」は、「ｘ」をａ〜ｂの範囲にクリッピングする関数である。
【数１】
2018029311.tif 000003
【００１３】
以上のように、ＨＥＶＣ等の従来の映像符号化技術ではフィルタの種類ごとに固定のフィルタ係数が用いられており、対象画像に対して必ずしも最適ではないフィルタ処理が行われる場合があった。
【００１４】
従来のデブロッキングフィルタ処理をより適応的なものとする技術として非特許文献１の記載技術がある。非特許文献１では、従来のフィルタ処理による画素値の変化量Δに対して重みαを乗算したαΔを用いて画素値を変化させること、でフィルタ処理を行うこととし、この重みαを指定可能とすることで適応性を持たせる方法が提案されている。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Matthias Narroschke，Ann-Kathrin Seifert，“Deblocking filter using adaptive weighting factors（Document: JCTVC-F405）”，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino,July, 2011，［平成２８年７月２０日検索］、INTERNET<URL：http://phenix.it-sudparis.eu/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F405-v2.zip>
【発明の概要】
【発明が解決しようとする課題】
【００１６】
上述のように、従来の映像符号化技術におけるデブロッキングフィルタ処理では、固定のフィルタ係数を用いているため、対象画像に対して必ずしも最適ではないフィルタ処理が行われる場合があった。また、非特許文献１の記載技術のように、変化量に重みを乗算する方法を用いても、対象画像の性質に応じた十分に最適なフィルタを適応することができていないという問題があった。
【００１７】
以上のような問題に鑑みて、デブロッキングフィルタ処理を伴う映像符号化処理及び映像復号処理を行う際に、画質劣化を低減し、かつ、符号化効率を高めることができる映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システムが望まれている。
【課題を解決するための手段】
【００１８】
第１の本発明は、映像を構成する各画像を符号化する映像符号化装置において、（１）符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行う符号化処理手段を備え、（２）前記デブロッキングフィルタは、（２−１）複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、（２−２）対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、（２−３）対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、（２−４）前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有することを特徴とする。
【００１９】
第２の本発明は、映像を構成する各画像が符号化された符号化データを復号する映像復号装置において、（１）符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行う復号処理手段を備え、（２）前記デブロッキングフィルタは、（２−１）複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、（２−２）対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、（２−３）対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、（２−４）前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有することを特徴とする。
【００２０】
第３の本発明の映像符号化プログラムは、映像を構成する各画像を符号化する映像符号化装置に搭載されたコンピュータを（１）符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行う符号化処理手段として機能させ、（２）前記デブロッキングフィルタは、（２−１）複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、（２−２）対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、（２−３）対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、（２−４）前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有していることを特徴とする。
【００２１】
第４の本発明の映像復号プログラムは、映像を構成する各画像が符号化された符号化データを復号する映像復号装置に搭載されたコンピュータを、（１）符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行う復号処理手段として機能させ、（２）前記デブロッキングフィルタをは、（２−１）複数のフィルタ係数で構成されるフィルタ係数セットを記憶するフィルタ係数セット記憶手段と、（２−２）対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定するエッジ種別判定手段と、（２−３）対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、前記フィルタ係数セット記憶手段が記憶しているフィルタ係数セットから適用するフィルタ係数を選択するフィルタ係数選択手段と、（２−４）前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うフィルタ処理手段とを有することを特徴とする。
【００２２】
第５の本発明は、映像を構成する各画像を符号化する映像符号化装置が行う映像符号化方法において、（１）前記映像符号化装置は、符号化処理手段を備え、（２）前記符号化処理手段は、符号化対象の対象画像をブロック単位で符号化処理を行って符号化データを出力するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて符号化処理の過程で生成される画像にフィルタ処理を行い、（３）前記デブロッキングフィルタは、フィルタ係数セット記憶手段、エッジ種別判定手段、フィルタ係数選択手段及びフィルタ処理手段を備え、（４）前記フィルタ係数セット記憶手段は、複数のフィルタ係数で構成されるフィルタ係数セットを記憶し、（５）前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定し、（６）前記フィルタ係数選択手段は、対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、適用するフィルタ係数セットを選択し、（７）前記フィルタ処理手段は、前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うことを特徴とする。
【００２３】
第６の本発明は、映像を構成する各画像が符号化された符号化データを復号する映像復号装置が行う映像復号方法において、（１）前記映像復号装置は、復号処理手段を備え、（２）符号化データから復号対象の対象画像をブロック単位で復号するものであって、少なくともデブロッキングフィルタを用いたフィルタ処理を行うフィルタ手段を用いて復号処理の過程で生成される画像にフィルタ処理を行い、（３）前記デブロッキングフィルタは、フィルタ係数セット記憶手段、エッジ種別判定手段、フィルタ係数選択手段、フィルタ処理手段を備え、（４）前記フィルタ係数セット記憶手段は、複数のフィルタ係数で構成されるフィルタ係数セットを記憶し、（５）前記エッジ種別判定手段は、対象画像のブロックエッジごとに、当該ブロックエッジの種別を判定し、（６）前記フィルタ係数選択手段は、対象画像のブロックエッジごとに、前記エッジ種別判定手段で判定された種別に応じて、適用するフィルタを選択し、（７）前記フィルタ処理手段は、前記フィルタ係数選択手段で選択されたフィルタ係数を用いて、対象画像のブロックエッジごとに、当該ブロックエッジの周辺画素に対してフィルタ処理を行うことを特徴とする。
【００２４】
第７の本発明は、映像を構成する各画像を符号化する映像符号化装置と、前記映像符号化装置により符号化された符号化データを復号する映像復号装置とを備える映像伝送システムにおいて、前記映像符号化装置として第１の本発明の映像符号化装置を適用し、前記映像復号装置として第２の本発明の映像復号装置を適用したことを特徴とする。
【発明の効果】
【００２５】
本発明によれば、デブロッキングフィルタ処理を伴う映像符号化処理及び映像復号処理を行う際に、画質劣化を低減し、かつ、符号化効率を高めることができる。
【図面の簡単な説明】
【００２６】
【図１】実施形態に係る映像符号化装置の機能的構成について示したブロック図である。
【図２】実施形態に係る映像復号装置の機能的構成について示したブロック図である。
【図３】実施形態に係る映像符号化装置及び映像復号装置で用いられるデブロッキングフィルタの内部構成について示したブロック図である。
【図４】実施形態に係る映像伝送システムの全体構成について示したブロック図である。
【図５】従来の映像符号化装置の機能的構成について示したブロック図である。
【図６】従来の映像復号装置の機能的構成について示したブロック図である。
【図７】映像符号化装置及び映像復号装置で処理される画像のブロック境界（ブロックエッジ）の例について示した説明図である。
【発明を実施するための形態】
【００２７】
（Ａ）主たる実施形態
以下、本発明による映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システムの一実施形態を、図面を参照しながら詳述する。
【００２８】
（Ａ−１）実施形態の構成
図４は、この実施形態の映像伝送システム１の全体構成を示すブロック図である。
【００２９】
図４に示す映像伝送システム１には、符号化対象映像（入力映像）を構成する符号化対象画像（入力画像）を符号化して符号化ストリームを出力する映像符号化装置１００と、符号化ストリームを復号して、復号映像を構成する復号画像を得る映像復号装置２００が配置されている。映像符号化装置１００と映像復号装置２００との間の接続構成については限定されないものであり、例えば、ネットワークを介して通信により伝送するようにしてもよいし、オフラインでデータ供給（例えば、ＤＶＤやＨＤＤ等のデータ記録媒体で供給）するようにしてもよい。
【００３０】
映像符号化装置１００は、入力された符号化対象画像について、符号化ユニット等の所定の単位（例えば、所定のサイズのブロック）の領域（以下、「処理単位領域」と呼ぶ）ごとに符号化処理を行う。
【００３１】
次に、映像符号化装置１００の内部構成について、図１を用いて説明する。
【００３２】
図１に示すように、映像符号化装置１００は、差分処理部１０１、変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、加算部１０７、ループ内フィルタ部１０８、参照画像バッファ１０９、インター予測部１１０、イントラ予測部１１１、及び切替部１１２を有している。
【００３３】
映像符号化装置１００は、例えば、コンピュータにプログラム（実施形態にかかる映像符号化プログラムを含む）をインストールすることにより構成してもよい、がその場合でも機能的構成については、図１を用いて示すことができる。
【００３４】
インター予測部１１０は、処理単位領域に対して、参照画像バッファ１０９に格納された画像を参照して、動き補償を伴うインター予測（画面間予測処理）に基づく予測画像を生成して出力する。
【００３５】
イントラ予測部１１１は、処理単位領域に対して、画面内の符号化済の再構成画素等からの予測（イントラ予測処理）に基づく予測画像を出力する。
【００３６】
切替部１１２は、符号化モードに応じて予測画像の予測方式（インター予測又はイントラ予測のいずれか）を切り替える。
【００３７】
差分処理部１０１は、入力画像と予測画像との差分である予測残差信号を求める。
【００３８】
変換部１０２は、予測残差信号について、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）によって変換処理を行う。
【００３９】
量子化部１０３は、変換部１０２により変換された予測残差信号を量子化する。
【００４０】
エントロピー符号化部１０４は、量子化された変換係数、及びその他の付加情報（例えば、予測モード情報、動きベクトル情報等）を多重化してエントロピー符号化し、符号化処理結果としての符号化ストリームを出力する。
【００４１】
逆量子化部１０５は、量子化された変換係数について逆量子化する処理（量子化部１０３と逆の処理）を行う。
【００４２】
逆変換部１０６は、逆量子化部１０５により逆量子化された変換係数を逆変換（変換部１０２と逆の変換処理）して、予測残差信号を復元する。
【００４３】
加算部１０７は、復元された予測残差信号に予測画像を加算して再構成画像を取得する。
【００４４】
ループ内フィルタ部１０８は、加算部１０７で取得された再構成画像に１又は複数のフィルタ処理を行って、フィルタ処理後の復号画像を出力する。ループ内フィルタ部１０８は、少なくとも後述するデブロッキングフィルタ１０を用いたフィルタ処理を行う。また、ループ内フィルタ部１０８には、デブロッキングフィルタ１０のほかに、ＨＥＶＣで用いられているサンプル適応オフセットのようなフィルタを追加するようにしてもよい。
【００４５】
フィルタ係数決定部１２０は、ループ内フィルタ部１０８のデブロッキング処理に用いられるフィルタ係数群（以下、「フィルタ係数セット」と呼ぶ）を選択・決定する。フィルタ係数決定部１２０の詳細構成については後述する。フィルタ係数セットは、複数のフィルタ係数により構成されている。
【００４６】
なお、映像符号化装置１００のフィルタ係数決定部１２０で決定されたフィルタ係数セット（デブロッキングフィルタ処理に用いるフィルタ係数セット）の情報は、エントロピー符号化部１０４にも供給される。そして、エントロピー符号化部１０４は、フィルタ係数決定部１２０で決定されたフィルタ係数セットの情報を符号化情報の付加情報として、符号化ストリームに多重化して出力する。
【００４７】
参照画像バッファ１０９は、ループ内フィルタ部１０８でフィルタされた復号画像を、インター予測の動き補償のための参照画像として保持する。
【００４８】
以上のように、映像符号化装置１００では、ループ内フィルタ部１０８のデブロッキングフィルタ処理で用いられるフィルタ係数セットがフィルタ係数決定部１２０により決定される。また、エントロピー符号化部１０４は、フィルタ係数決定部１２０で決定されたフィルタ係数セットの情報が、エントロピー符号化部１０４で符号化されて符号化ストリームに多重化して出力されるものとする。
【００４９】
次に、映像復号装置２００の内部構成について、図２を用いて説明する。
【００５０】
映像復号装置２００は、エントロピー復号部２０４、逆量子化部２０５、逆変換部２０６、加算部２０７、ループ内フィルタ部２０８、参照画像バッファ２０９、インター予測部２１０、イントラ予測部２１１、及び切替部２１２を有している。
【００５１】
映像復号装置２００は、例えば、コンピュータにプログラム（実施形態にかかる映像復号プログラムを含む）をインストールすることにより構成してもよい、がその場合でも機能的構成については、図２を用いて示すことができる。
【００５２】
エントロピー復号部２０４は、入力された符号化ストリームをエントロピー復号して復号データを取得する。復号データには、量子化された変換係数（予測残差信号がＤＣＴ等により変換され、さらに量子化されたデータ）が含まれている。また、符号化ストリームには、上述の通り、その他の付加情報が含まれている。付加情報には、符号化モード情報、動きベクトル情報、及びデブロッキングフィルタ処理に用いるフィルタ係数セット（映像符号化装置１００のフィルタ係数決定部１２０で決定されたフィルタ係数セット）等が含まれるものとする。
【００５３】
逆量子化部２０５は、エントロピー復号部２０４が復号した変換係数（量子化された変換係数）について、逆量子化（映像符号化装置１００の量子化部１０３と逆の処理）を行う。
【００５４】
逆変換部２０６は、逆量子化部２０５が逆量子化した変換係数を逆変換処理（映像符号化装置１００の変換部１０２と逆の変換処理）して、復元された予測残差信号を得る。
【００５５】
インター予測部２１０は、参照画像バッファ２０９に保持された参照画像に基づいて、動き補償予測を行うインター予測処理を行い、予測画像を得る。
【００５６】
イントラ予測部２１１は、画面内の再構成画素等に基づくイントラ予測処理を行い、予測画像を得る。
【００５７】
切替部２１２は、エントロピー復号部２０４により符号化ストリームから復号された符号化モード情報にしたがって予測画像を切り替えて、加算部２０７に供給する。
【００５８】
加算部２０７は、逆変換部２０６により得られた予測残差信号と、予測画像（インター予測部２１０又はイントラ予測部２１１から供給された予測画像）とを加算して再構成画像（フィルタ処理前の復号画像）を生成する。
【００５９】
ループ内フィルタ部２０８は、加算部２０７から出力される再構成画像（フィルタ処理前の復号画像）について、１又は複数のフィルタ処理を行って、フィルタ処理後の復号画像を得る。映像復号装置２００において、ループ内フィルタ部２０８で得られた復号画像は復号処理結果（最終的な復号画像）として出力される。ループ内フィルタ部２０８は、少なくとも後述するデブロッキングフィルタ２０を用いたフィルタ処理を行う。デブロッキングフィルタ２０は、エントロピー復号部２０４の復号によって得られたフィルタ係数セットを用いてデブロッキングフィルタ処理を行う。また、ループ内フィルタ部２０８では、映像符号化装置１００と同様に、デブロッキングフィルタ２０のほかに、ＨＥＶＣで用いられているサンプル適応オフセットのようなフィルタを用いた処理を追加するようにしてもよい。
【００６０】
参照画像バッファ２０９は、ループ内フィルタ部２０８から出力された復号画像を、後続のインター予測処理（インター予測部２１０によるインター予測処理）のための参照画像として保持する。
【００６１】
次に、映像符号化装置１００（ループ内フィルタ部１０８）を構成するデブロッキングフィルタ１０の内部構成、及び、映像復号装置２００（ループ内フィルタ部２０８）を構成するデブロッキングフィルタ２０の内部構成について図３を用いて説明する。
【００６２】
この実施形態では、デブロッキングフィルタ１０、２０は、いずれも図３のように示すことができるものとする。
【００６３】
デブロッキングフィルタ１０、２０は、供給されたフィルタ係数セットに基づいたデブロッキングフィルタ処理を行う。映像符号化装置１００（ループ内フィルタ部１０８）を構成するデブロッキングフィルタ１０は、フィルタ係数決定部１２０からフィルタ係数セットの供給を受ける。また、映像復号装置２００（ループ内フィルタ部２０８）を構成するデブロッキングフィルタ２０は、エントロピー復号部２０４から復号されたフィルタ係数セットの供給を受ける。
【００６４】
図３に示すように、デブロッキングフィルタ１０、２０は、エッジフィルタ処理部１１、エッジ種別判定部１２、フィルタ係数選択部１３、及びフィルタ係数セット記憶部１４を有している。以下では、デブロッキングフィルタ１０、２０を構成する各要素の概要について説明する。デブロッキングフィルタ１０、２０を構成する各要素の詳細動作の説明については後述する動作説明の頁で行う。
【００６５】
フィルタ係数セット記憶部１４は、供給されたフィルタ係数セットを記憶する。
【００６６】
エッジ種別判定部１２は、処理対象となる画像のブロックエッジ（各ブロックのブロックエッジ）ごとに、ブロックエッジの両側（垂直方向及び水平方向のブロックエッジの両側）のブロックに関する情報（以下、「ブロック情報」とも呼ぶ）と、処理対象となるブロックの各ブロックエッジの周辺画素の画素値とを用いて、処理対象の画像の各ブロックエッジ（各ブロックのブロックエッジ）の種別を判定する。ブロック情報には、例えば、当該処理対象のブロックに対応する画面の符号化モードや、動きベクトル情報や、量子化パラメータや、変換係数の有無情報（例えば、非０の変換係数の有無を示す情報）等が含まれる。
【００６７】
フィルタ係数選択部１３は、エッジ種別判定部１２で判定されたエッジ種別に応じて、フィルタ係数セット記憶部１４に記憶されたフィルタ係数セットから、いずれかのフィルタ係数を選択する。
【００６８】
エッジフィルタ処理部１１は、フィルタ係数選択部１３により選択されたフィルタ係数を用いて、処理対象となる全てのブロックのエッジ（処理対象の画像の各ブロックに係る全ての垂直方向エッジ、及び全ての水平方向エッジ）のエッジ周辺画素に対してフィルタ処理（デブロッキングフィルタの処理）を行い、フィルタ処理結果の画素値（フィルタ処理後の画像のデータ）を出力する。
【００６９】
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態における映像伝送システム１の動作（実施形態の映像符号化方法、および映像復号方法）を説明する。
【００７０】
以下では、デブロッキングフィルタ１０、２０の処理を中心に説明する。
【００７１】
上述の通り、デブロッキングフィルタ１０、２０のエッジフィルタ処理部１１ではフィルタ処理に用いるフィルタ係数を固定値ではなく可変（供給されたフィルタ係数セットから選択したフィルタ係数）としている。上述の通り、エッジフィルタ処理部１１は、処理対象となる全てのブロックエッジ（処理対象の画像を構成する全ての垂直方向エッジ、及び全ての水平方向エッジ）について、フィルタ係数選択部１３で選択されたフィルタを用いたデブロッキングフィルタの処理を行う。
【００７２】
エッジフィルタ処理部１１は、例えば、図７に示すようなブロックエッジ（ブロック境界）の周辺の再構成画像の画素値ｐｉ  ｑｉからフィルタ処理後（デブロッキングフィルタの処理後）の画素値ｐｉ’，ｑｉ’を求める。エッジフィルタ処理部１１は、例えば、以下の（２）式及び（３）式を用いて、ブロックエッジ（ブロック境界）の周辺の再構成画像の画素値ｐｉ  ｑｉからフィルタ処理後の画素値ｐｉ’，ｑｉ’を求める。以下の（２）式及び（３）式では、再構成画像の画素値ｐｉ  ｑｉからフィルタ処理後の画素値ｐｉ’，ｑｉ’を入力画素値（フィルタ処理前の画素値ｐｉ  ｑｉ）の線形結合で求める。
【数２】
2018029311.tif 000004
【００７３】
上記の（２）式及び（３）式において、ａｉｊ，ｂｉｊ，ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉはそれぞれ、フィルタ係数選択部１３からエッジフィルタ処理部１１に供給されるフィルタ係数である。言い換えると、ａｉｊ，ｂｉｊ，ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉは、上記の（２）式及び（３）式における線形結合の係数となっている、また、上記の（２）式及び（３）式において、ｓは整数演算で固定少数演算行うためのシフト量ｓであり、ｒはシフト量ｓに基づく丸め演算のためのオフセット「ｒ＝１＜＜（ｓ−１）」を表している。さらに、上記の（２）式及び（３）式において、Ｃｌｉｐ１は画素値の値を有効な画素値の範囲にクリッピングする関数である。例えば、８ビット画像が処理対象の場合、有効な画素値の範囲は０〜２５５の範囲となる。例えば、１０ビット画像の場合、有効な画素値の範囲は０〜１０２３の範囲としてもよい。また、上記の（２）式及び（３）式において、添え字ｉはフィルタにより変更される画素を表す。
【００７４】
例えば、ＨＥＶＣの強輝度フィルタのようにブロックエッジ（ブロック境界）から３画素目まで変更する場合は、「ｉ＝０，１，２」とする。また、上記の（２）式及び（３）式において、添え字ｊはフィルタの入力となる画素を表す。例えば、ＨＥＶＣの強輝度フィルタのようにブロックエッジ（ブロック境界）から４画素目まで参照する場合は「ｊ＝０，１，２，３」とする。
【００７５】
なお、エッジフィルタ処理部１１において、フィルタの影響範囲（例えば、ブロックエッジの境界線から何画素目までの画素値を変更するか）と、参照範囲（例えば、ブロックエッジの境界線から何画素目までをフィルタの入力として参照する範囲とするか）はエッジ種別判定部１２で判定されたエッジ種別ごとに異なる範囲とすることができる。例えば、エッジフィルタ処理部１１では、ＨＥＶＣの弱輝度フィルタと同等のフィルタについては、参照範囲の画素数を３、影響範囲の画素数を２とする。また、例えば、エッジフィルタ処理部１１では、ＨＥＶＣの色差フィルタと同等のフィルタの参照範囲を２、影響範囲を１とする。
【００７６】
デブロッキングフィルタ１０、２０では、例えば、ブロックエッジ（ブロック境界）の周辺画素と、ブロックエッジの両側のブロックのブロック情報が入力されると、まずエッジ種別判定部１２でブロックエッジの種別の判定が行われる。
【００７７】
例えば、エッジ種別判定部１２は、ＨＥＶＣのように、ブロックエッジの両側のブロックのうちいずれかのブロックがイントラモードで符号化されていれば、当該ブロックエッジについて、強輝度フィルタを適用する種別として判定するようにしてもよい。また、例えば、エッジ種別判定部１２は、ブロックエッジの両側のブロックでインター符号化されているが参照している画像が異なっている場合や、ブロックエッジの両側のブロックで同じ画像を参照しているが動きベクトルが無視できない程度に異なっている場合は、当該ブロックエッジについて、弱輝度フィルタを適用する種別と判断するようにしてもよい。また、例えば、エッジ種別判定部１２は、ＨＥＶＣのように、色差成分画像のブロックエッジに対しては輝度成分とは異なる色差フィルタを適用する種別と判断するようにしても良い。以上のように、エッジ種別判定部１２は、ブロックエッジの両側のブロックに係るブロック情報に基づいて、当該ブロックエッジの種別（適用するフィルタの種別）を判定する。エッジ種別判定部１２が判定するブロックエッジの種別数は、例えば、ＨＥＶＣと同様な判定により２種の輝度フィルタ（強輝度フィルタと弱輝度フィルタ）と、１種の色差フィルタとしてもよいし、それよりも多い種別数に分類するように構成しても良い。
【００７８】
また、エッジ種別判定部１２では、デブロッキングフィルタの処理をＯＦＦとする種別を判定結果に加えるようにしてもよい。例えば、ＨＥＶＣのように、フィルタ前のエッジ周辺画素の画素値の大小関係等に対する閾値処理によりデブロッキングフィルタの処理をＯＦＦとする種別と判断してもよい。この場合、エッジフィルタ処理部１１では、エッジ種別判定部１２で、デブロッキングフィルタ処理をＯＦＦとする種別と判定されたブロックエッジの周辺画素については、フィルタ処理前の画素値をそのままフィルタ結果の画素値としてもよい。
【００７９】
フィルタ係数セット記憶部１４に記憶されるフィルタ係数セットには、各エッジ種別用のフィルタ係数ａｉｊ，ｂｉｊ，ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉの組が複数含まれている。以下では、各エッジ種別用のフィルタ係数ａｉｊ，ｂｉｊ，ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉの組を単に「フィルタ係数」とも呼ぶものとする。
【００８０】
フィルタ係数選択部１３では、このフィルタ係数セットの中からエッジ種別判定部１２の判定結果に応じて１つのフィルタ係数（ａｉｊ，ｂｉｊ，Ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉの組）をエッジフィルタ処理部１１に供給する。
【００８１】
次に、エッジフィルタ処理部１１は、フィルタ係数選択部１３で選択されたフィルタ係数を用いて上記の（２）式及び（３）式にしたがってフィルタ結果の画素値ｐｉ’，ｑｉ’を求める。なお、エッジフィルタ処理部１１は、例えば、指定された影響範囲外の画素については、フィルタ処理前の画素値をそのままフィルタ結果の画素値としてもよい。
【００８２】
エッジフィルタ処理部１１は、上述のようなエッジフィルタ処理を、すべてのブロックエッジ（全ての垂直方向エッジ、及びすべての水平方向エッジ）に対して施すことによりデブロッキングフィルタ処理を行う。なお、エッジフィルタ処理部１１では、垂直方向エッジと水平方向エッジのそれぞれに別のフィルタ係数を割り当てるように構成しても良い。
【００８３】
以上のように、映像符号化装置１００では、フィルタ係数決定部１２０で、最適なフィルタ係数の設計を行い、得られたフィルタ係数セットをループ内フィルタ部１０８に含まれるデブロッキングフィルタ１０のフィルタ係数セット記憶部１４に格納する。また、映像符号化装置１００では、フィルタ係数決定部１２０が決定したフィルタ係数セットが、エントロピー符号化部１０４により符号化ストリーム（符号化データ）に多重化されて映像復号装置２００に供給される。
【００８４】
エントロピー符号化部１０４における、フィルタ係数セットの多重化方法としては、例えば、例えば、スライスヘッダやピクチャパラメーターセット等のパラメータセットのような上位シンタックスで符号化するようにしてもよい。そして、映像復号装置２００では、エントロピー復号部２０４で、符号化ストリームに多重化されたデブロッキングフィルタで用いるフィルタ係数セットを復号し、デブロッキングフィルタ２０のフィルタ係数セット記憶部１４に格納し、フィルタ処理（デブロッキングフィルタの処理）に適用する。エントロピー符号化部１０４は、例えば、フィルタ係数セットを構成する各フィルタ係数の値は例えば可変長符号等を用いてエントロピー符号化するようにしてもよい。
【００８５】
次に、フィルタ係数決定部１２０でのフィルタ係数セットの設計処理について説明する。
【００８６】
以下では、ブロックエッジ（ブロック境界）の周辺の再構成画像の画素値ｐｉ，ｑｉ、及びフィルタ後の画素値ｐｉ’，ｑｉ’に対応する位置の入力画像の画素値をＰｉ，Ｑｉとする。
【００８７】
そして、この実施形態の例では、フィルタ係数決定部１２０は、フィルタ後の画素値ｐｉ’，ｑｉ’の入力画像の画素値Ｐｉ，Ｑｉに対する誤差が最少となるようにフィルタ係数ａｉｊ，ｂｉｊ，Ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉを設計するものとする。フィルタ係数決定部１２０において、フィルタ後の画素値ｐｉ’，ｑｉ’の入力画像の画素値Ｐｉ，Ｑｉに対する誤差（距離）が最少（または所定以下）となるように、フィルタ係数ａｉｊ，ｂｉｊ，Ｃｉ，ｄｉｊ，ｅｉｊ，ｆｉを設計することができれば、その具体的な方式については限定されないものである。フィルタ係数決定部１２０では、例えば、以下の（４）式に示す値が最少となるようなフィルタ係数を、最小二乗法を用いて求めるようにしてもよい。
【００８８】
具体的には、フィルタ係数決定部１２０は、例えば、同じフィルタ係数を用いることになるエッジ周辺画素のフィルタ処理前の画素値ｐｉ，ｑｉと、対応する入力画像の画素値Ｐｉ，Ｑｉを収集し、最小二乗法（以下の（４）式の最小化）を用いたフィルタ係数の決定を行う。例えば、フィルタ係数決定部１２０は、エッジ種別判定部１２と同様の判定処理により、対象画像における各ブロックエッジの種別を判定し、種別ごとにサンプルとなる画素値ｐｉ，ｑｉ及び画素値Ｐｉ，Ｑｉを取得し、取得したサンプルを用いて種別ごとのフィルタ係数を算出し、最新のフィルタ係数セットとして取得するようにしてもよい。この際フィルタ係数決定部１２０は、エッジ種別判定部１２の判定結果を用いて、種別ごとのサンプルを取得するようにしてもよい。また、フィルタ係数決定部１２０は、例えば、符号化対象となる全ての対象画像ごとにフィルタ係数セットを取得するようにしてもよいし、所定の間隔ごとにフィルタ係数セットを取得するようにしてもよい。また、フィルタ係数決定部１２０は、例えば、対象画像を複数のスライスに分割したスライスごとにフィルタ係数セットを取得するようにしてもよい。以上のように、フィルタ係数決定部１２０がフィルタ係数セットを取得する対象となる画像（フィルタ係数セットを取得するタイミング）については限定されないものである。
Σ（ｐｉ’−Ｐｉ）２，Σ（ｑｉ’−Ｑｉ）２  …（４）
【００８９】
以上のように、フィルタ係数決定部１２０は、ブロックエッジの種別ごとに最適設計したフィルタ係数セットを求め、最適設計したフィルタ係数セットを用いてデブロッキングフィルタ１０及び映像復号装置２００側に供給する。
【００９０】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【００９１】
この実施形態では、映像符号化装置１００のデブロッキングフィルタ１０、及び映像復号装置２００のデブロッキングフィルタ２０で用いるフィルタ係数を、任意に変更可能なフィルタ係数セットから適切なものに設定可能とした。これにより、この実施形態の映像符号化装置１００では、符号化対象の画像の性質に応じた最適なフィルタ処理を施すことが可能となり、ブロックひずみによる画質劣化が低減できるとともに、より符号化効率の高い符号化ストリームを生成することができる。
【００９２】
また、この実施形態のデブロッキングフィルタ１０、２０を構成するエッジフィルタ処理部１１では、フィルタの影響範囲と、参照範囲はエッジ種別判定部１２で判定されたエッジ種別ごとに異なる範囲を設定可能としている。これにより、この実施形態のデブロッキングフィルタ１０、２０で用いられるフィルタ係数セットごとのフィルタ係数の数を最低限とし、より符号化効率の高い符号化ストリームを生成することができる。
【００９３】
（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【００９４】
（Ｂ−１）上記の実施形態では、本発明を映像伝送システム（映像符号化装置及び映像復号装置）に適用する例について説明したが、その他のさまざまな符号化処理に利用可能である。例えば、上記の実施形態のデブロッキングフィルタ（フィルタ係数セットから適切なフィルタ係数を設定可能とする方式）について、種々の符号化に関わる予測処理や変換量子化処理との組み合わせに適用するようにしてもよい。例えば、上記の実施形態のデブロッキングフィルタにおけるフィルタ選択の方式を、様々な符号化ツールやループ内フィルタ処理を組み合わせたような符号化処理に適用するようにしてもよい。
【００９５】
（Ｂ−２）上記の実施形態の映像符号化装置１００、映像復号装置２００において、固定のフィルタ係数を用いるデブロッキングフィルタと、上記の実施形態のデブロッキングフィルタ（フィルタ係数セットから適切なフィルタ係数を設定可能とする方式）を併用するようにしてもよい。この場合、フィルタ係数決定部１２０は、対象画像ごとに固定のデブロッキングフィルタ（既定のデブロッキングフィルタ）を用いるか否かのフラグ（以下、「フィルタ係数セット適用フラグ」と呼ぶ）を設けて、フィルタ係数セット適用フラグがＯＮの場合に上記の実施形態のブロッキングフィルタを適用し、フィルタ係数セット適用フラグがＯＦＦの場合に固定のデブロッキングフィルタを適用するようにデブロッキングフィルタ１０、２０を制御するようにしてもよい。例えば、フィルタ係数決定部１２０は、フィルタ係数セット適用フラグがＯＮの場合にのみフィルタ係数セットを設計して、デブロッキングフィルタ１０、及びエントロピー符号化部１０４に供給するようにしてもよい。この場合、フィルタ係数セット適用フラグがＯＦＦの場合、フィルタ係数決定部１２０からフィルタ係数セットが供給されず、デブロッキングフィルタ１０、２０では、固定のフィルタ係数によりフィルタ処理が行われる。また、フィルタ係数決定部１２０では、ブロックエッジの種別ごとにフィルタ係数セット適用フラグを設けて、一部の種別に対応するフィルタ係数のみを含むフィルタ係数セットを生成するようにしてもよい。この場合、フィルタ係数セット適用フラグがＯＦＦに設定された種別のフィルタ係数がフィルタ係数セットに含まれないため、デブロッキングフィルタ１０、２０では、フィルタ係数セットにフィルタ係数が含まれない種別については、既定の固定のフィルタ係数が適用される。
【００９６】
（Ｂ−３）エッジフィルタ処理部１１の処理において、上記の（２）式及び（３）式で用いるシフト量ｓはＨＥＶＣと同等の３程度や、より高精度の係数が表現可能となるようなより大きな値の固定値としても良く、シフト量ｓもパラメータセット等でシグナリングすることで可変としても良い。また、例えば参照範囲と影響範囲が３，２の場合には、デブロッキングフィルタ１０、２０において、デブロッキングフィルタ処理に用いるフィルタ係数は、２８個のパラメータ（係数）で構成されることになるが、対称性等を考慮して、ａｉｊ＝ｅｉｊ，ｂｉｊ＝ｄｉｊとする制約を設けることで自由に設定可能な係数の数を削減して符号化する係数の数を削減しても良い。また、この場合、定数項ｃｉ，ｆｉについてもエッジ種別によっては常に０（定数項は持たない）とする制約を設けても良い。
【００９７】
（Ｂ−４）フィルタ係数決定部１２０では、デブロッキング処理による画質の改善量と、デブロッキング処理のための係数セットの符号化に必要な符号量等のトレードオフを評価して、本発明のデブロッキング処理の使用／不使用を判断するレート歪最適化処理を行うような構成としても良い。
【符号の説明】
【００９８】
映像伝送システム…１、デブロッキングフィルタ…１０、２０、エッジフィルタ処理部…１１、エッジ種別判定部…１２、フィルタ係数選択部…１３、フィルタ係数セット記憶部…１４、デブロッキングフィルタ…２０、映像符号化装置…１００、差分処理部…１０１、変換部…１０２、量子化部…１０３、エントロピー符号化部…１０４、逆量子化部…１０５、逆変換部…１０６、加算部…１０７、ループ内フィルタ部…１０８、参照画像バッファ…１０９、インター予測部…１１０、イントラ予測部…１１１、切替部…１１２、フィルタ係数決定部…１２０、映像復号装置…２００、エントロピー復号部…２０４、逆量子化部…２０５、逆変換部…２０６、加算部…２０７、ループ内フィルタ部…２０８、参照画像バッファ…２０９、インター予測部…２１０、イントラ予測部…２１１、切替部…２１２。
【図１】
2018029311.tif 000005
【図２】
2018029311.tif 000006
【図３】
2018029311.tif 000007
【図４】
2018029311.tif 000008
【図５】
2018029311.tif 000009
【図６】
2018029311.tif 000010
【図７】
2018029311.tif 000011