(57)【要約】【課題】圧縮性能を向上させる。【解決手段】動画像符号化装置１は、事前イントラ予測値算出部２１、誤差最小化フィルタ係数算出部２２、およびフィルタ処理部２３を備える。事前イントラ予測値算出部２１は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、イントラ予測モードに基づくイントラ予測により予測値を生成し、事前イントラ予測値ＳＩＧ１８として出力する。誤差最小化フィルタ係数算出部２２は、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差を最小化する補間フィルタ係数を算出し、補間フィルタ係数ＳＩＧ８として出力する。フィルタ処理部２３は、事前イントラ予測値ＳＩＧ１８に対して、補間フィルタ係数ＳＩＧ８を用いて誤差最小化フィルタ処理を行う。【選択図】図３
2016146572.tif 000002
【特許請求の範囲】
【請求項１】
符号化済みの局所復号画像を用いた予測符号化を許容する動画像符号化装置であって、
入力画像および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する事前予測値生成手段と、
前記入力画像と、前記事前予測値生成手段により生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出する誤差最小化フィルタ係数算出手段と、
前記事前予測値生成手段により生成された予測値に対して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段と、を備えることを特徴とする動画像符号化装置。
【請求項２】
前記誤差最小化フィルタ係数算出手段は、
前記入力画像と、前記事前予測値生成手段により生成された予測値と、の差分である予測誤差と、
前記予測誤差に対して、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行って得られた符号化誤差と、
のうちいずれかを最小化するフィルタ係数を算出することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記誤差最小化フィルタ係数算出手段は、前記フィルタ係数を、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づいて算出することを特徴とする請求項１または２に記載の動画像符号化装置。
【請求項４】
前記事前予測値生成手段は、前記入力画像および前記局所復号画像を用いて、イントラ予測により予測値を生成し、
前記誤差最小化フィルタ係数算出手段は、前記フィルタ係数を、イントラ予測モードに応じて算出することを特徴とする請求項１から３のいずれかに記載の動画像符号化装置。
【請求項５】
前記誤差最小化フィルタ係数算出手段は、イントラ予測モードをｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類し、分類したグループごとに前記フィルタ係数を算出することを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
復号済み画像を用いた予測復号を許容する動画像復号装置であって、
符号化データをエントロピー復号してフィルタ係数を取得するエントロピー復号手段と、
整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段と、を備えることを特徴とする動画像復号装置。
【請求項７】
前記エントロピー復号手段は、符号化データをエントロピー復号して、イントラ予測モードに応じて算出されたフィルタ係数を取得し、
前記フィルタ処理手段は、前記復号済み画像を用いて、イントラ予測により予測値を生成することを特徴とする請求項６に記載の動画像復号装置。
【請求項８】
前記イントラ予測モードは、予めｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類され、前記フィルタ係数は、分類されているグループごとに算出されており、
前記エントロピー復号手段は、符号化データをエントロピー復号して、前記グループごとに算出されたフィルタ係数を取得することを特徴とする請求項７に記載の動画像復号装置。
【請求項９】
動画像を符号化して符号化データを生成する動画像符号化装置と、当該動画像符号化装置により生成された符号化データを復号する動画像復号装置と、を備える動画像処理システムであって、
前記動画像符号化装置は、
入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する事前予測値生成手段と、
前記入力画像と、前記事前予測値生成手段により生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出する誤差最小化フィルタ係数算出手段と、
前記事前予測値生成手段により生成された予測値に対して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行う符号化側フィルタ処理手段と、
前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数をエントロピー符号化して、符号化データを生成するエントロピー符号化手段と、を備え、
前記動画像復号装置は、
前記エントロピー符号化手段により生成された符号化データをエントロピー復号して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を取得するエントロピー復号手段と、
整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち前記事前予測値生成手段により予測値を生成する際に用いられたものにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行う復号側フィルタ処理手段と、を備えることを特徴とする動画像処理システム。
【請求項１０】
事前予測値生成手段、誤差最小化フィルタ係数算出手段、およびフィルタ処理手段、を備え、符号化済みの局所復号画像を用いた予測符号化を許容する動画像符号化装置における動画像符号化方法であって、
前記事前予測値生成手段が、入力画像および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する第１のステップと、
前記誤差最小化フィルタ係数算出手段が、前記入力画像と、前記第１のステップにより生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出する第２のステップと、
前記フィルタ処理手段が、前記第１のステップにより生成された予測値に対して、前記第２のステップにより算出されたフィルタ係数を用いてフィルタ処理を行う第３のステップと、を備えることを特徴とする動画像符号化方法。
【請求項１１】
エントロピー復号手段およびフィルタ処理手段を備え、復号済み画像を用いた予測復号を許容する動画像復号装置における動画像復号方法であって、
前記エントロピー復号手段が、符号化データをエントロピー復号してフィルタ係数を取得する第１のステップと、
前記フィルタ処理手段が、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記第１のステップにより取得されたフィルタ係数を用いてフィルタ処理を行う第２のステップと、を備えることを特徴とする動画像復号方法。
【請求項１２】
事前予測値生成手段、誤差最小化フィルタ係数算出手段、およびフィルタ処理手段、を備え、符号化済みの局所復号画像を用いた予測符号化を許容する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
前記事前予測値生成手段が、入力画像および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する第１のステップと、
前記誤差最小化フィルタ係数算出手段が、前記入力画像と、前記第１のステップにより生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出する第２のステップと、
前記フィルタ処理手段が、前記第１のステップにより生成された予測値に対して、前記第２のステップにより算出されたフィルタ係数を用いてフィルタ処理を行う第３のステップと、をコンピュータに実行させるためのプログラム。
【請求項１３】
エントロピー復号手段およびフィルタ処理手段を備え、復号済み画像を用いた予測復号を許容する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
前記エントロピー復号手段が、符号化データをエントロピー復号してフィルタ係数を取得する第１のステップと、
前記フィルタ処理手段が、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記第１のステップにより取得されたフィルタ係数を用いてフィルタ処理を行う第２のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラムに関する。
【背景技術】
【０００２】
非特許文献１に代表される映像圧縮に関する標準方式では、予測符号化方式が採用されており、予測誤差を周波数領域に変換した上で量子化する。このため、符号化された画像には、量子化の過程で量子化誤差（ノイズ）が発生してしまう。そこで、符号化誤差を直接的または間接的に抑制する手法が提案されている。
【０００３】
例えば、非特許文献１には、ＳＡＯ（Sample  Adaptive  Offset）が提案されている。ＳＡＯは、符号化されたフレームに対して、局所領域ごとにオフセット値を制御するフィルタの一種である。
【０００４】
また、非特許文献２には、ＡＬＦ（Adaptive  Loop  Filter）が提案されている。ＡＬＦでは、符号化されたフレームに対して、局所領域ごとに誤差を最小化するフィルタ処理が施される。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】“High  Efficiency  Video  Coding  (HEVC)  text  specification  draft10,”  JCT-VC  12th  meeting,  JCTVC-L1003  v34,  Jan.  2013.
【非特許文献２】M.  Mtsumura,  Y.  Bandoh,  S.  Takamura,  H.  Jozawa,  "In-loop  filter  based  on  non-local  means  filter,"  Joint  Collaborative  Team  on  Video  Coding  (JCT-VC),  JCTVC-E206,  March,  2011.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１におけるＳＡＯや非特許文献２におけるＡＬＦは、符号化されたフレームに対する技術、すなわち既に符号化処理が行われた後のフレームに対する技術であり、予測符号化における圧縮性能に強く影響する予測性能を向上させる技術ではない。このため、圧縮性能を十分には向上させることができなかった。
【０００７】
そこで、本発明は、上述の課題に鑑みてなされたものであり、圧縮性能を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）  本発明は、符号化済みの局所復号画像（例えば、図２の局所復号画像ＳＩＧ１７に相当）を用いた予測符号化を許容する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）であって、入力画像（例えば、図２の入力画像ＳＩＧ１に相当）および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する事前予測値生成手段（例えば、図３の事前イントラ予測値算出部２１に相当）と、前記入力画像と、前記事前予測値生成手段により生成された予測値と、に基づく誤差（例えば、後述の予測誤差または符号化誤差に相当）を最小化するフィルタ係数を算出する誤差最小化フィルタ係数算出手段（例えば、図３の誤差最小化フィルタ係数算出部２２に相当）と、前記事前予測値生成手段により生成された予測値に対して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段（例えば、図３のフィルタ処理部２３に相当）と、を備えることを特徴とする動画像符号化装置を提案している。
【０００９】
この発明によれば、動画像符号化装置に、事前予測値生成手段、誤差最小化フィルタ係数算出手段、およびフィルタ処理手段を設けることとした。また、事前予測値生成手段により、入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成することとした。また、誤差最小化フィルタ係数算出手段により、入力画像と、事前予測値生成手段により生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出することとした。また、フィルタ処理手段により、事前予測値生成手段により生成された予測値に対して、誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うこととした。
【００１０】
このため、符号化される前のフレームに対して、すなわち符号化処理が行われる前のフレームに対して、フィルタ処理を行うことになる。したがって、予測符号化における圧縮性能に強く影響する予測性能を向上させることができ、その結果、圧縮性能を向上させることができる。
【００１１】
また、入力画像と整数精度の動き補償に基づくインター予測による予測値とに基づく誤差と、入力画像とイントラ予測による予測値とに基づく誤差と、のうち少なくともいずれかを最小化するフィルタ係数が算出されることになる。このため、整数画素位置の動き補償やイントラ予測における誤差を低減することができるので、その結果、圧縮性能をさらに向上させることができる。
【００１２】
（２）  本発明は、（１）の動画像符号化装置について、前記誤差最小化フィルタ係数算出手段は、前記入力画像と、前記事前予測値生成手段により生成された予測値と、の差分である予測誤差と、前記予測誤差に対して、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行って得られた符号化誤差と、のうちいずれかを最小化するフィルタ係数を算出することを特徴とする動画像符号化装置を提案している。
【００１３】
この発明によれば、（１）の動画像符号化装置において、誤差最小化フィルタ係数算出手段により、予測誤差および符号化誤差のうちいずれかを最小化するフィルタ係数を算出することとした。このため、フィルタ処理手段によるフィルタ処理により、予測誤差または符号化誤差を最小化することができる。
【００１４】
なお、予測誤差を最小化する場合には、符号化誤差を最小化する場合と比べて、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行う必要がないので、誤差最小化フィルタ係数算出手段における処理量を低減させることができる。
【００１５】
一方、符号化誤差を最小化する場合には、予測誤差だけでなく量子化誤差も考慮した上で、フィルタ係数を求めることができる。このため、予測残差の符号量の抑制と、復号画像における直接的な誤差の抑制と、を同時に実現することができる。したがって、予測誤差を最小化する場合と比べて、多くの予測残差符号量が発生するイントラ符号化や、高ビットレート符号化などにおいて、圧縮性能を特に向上させることができる。
【００１６】
（３）  本発明は、（１）または（２）の動画像符号化装置について、前記誤差最小化フィルタ係数算出手段は、前記フィルタ係数を、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づいて算出することを特徴とする動画像符号化装置を提案している。
【００１７】
この発明によれば、（１）または（２）の動画像符号化装置において、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づいてフィルタ係数を算出することができる。
【００１８】
（４）  本発明は、（１）から（３）のいずれかの動画像符号化装置について、前記事前予測値生成手段は、前記入力画像および前記局所復号画像を用いて、イントラ予測により予測値を生成し、前記誤差最小化フィルタ係数算出手段は、前記フィルタ係数を、イントラ予測モードに応じて算出することを特徴とする動画像符号化装置を提案している。
【００１９】
ここで、Ｈ．２６４やＨ．２６５に代表される映像圧縮に関する標準方式では、イントラ予測において、イントラ予測モードに応じたイントラ予測値が生成される。このため、イントラ予測値は、イントラ予測モードの影響を受けやすい。
【００２０】
そこで、この発明によれば、（１）から（３）のいずれかの動画像符号化装置において、事前予測値生成手段により、イントラ予測モードに応じてフィルタ係数を算出することとした。このため、全てのイントラ予測モードに共通する１つのフィルタ係数を算出する場合と比べて、予測誤差を小さくしたり、符号化性能を改善したりすることができる。
【００２１】
（５）  本発明は、（４）の動画像符号化装置について、前記誤差最小化フィルタ係数算出手段は、イントラ予測モードをｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類し、分類したグループごとに前記フィルタ係数を算出することを特徴とする動画像符号化装置を提案している。
【００２２】
ここで、イントラ予測モードのそれぞれに応じてフィルタ係数を算出する場合には、フィルタ係数に関する情報量が膨大になるので、その結果、符号化性能が低下してしまうおそれがある。
【００２３】
そこで、この発明によれば、（４）の動画像符号化装置において、誤差最小化フィルタ係数算出手段により、イントラ予測モードをｍ個のグループに分類し、分類したグループごとにフィルタ係数を算出することとした。このため、全てのイントラ予測モードに共通する１つのフィルタ係数を算出する場合と比べて、予測誤差を小さくしつつ、フィルタ係数に関する情報量の増加を抑制して、符号化性能を改善することができる。
【００２４】
（６）  本発明は、復号済み画像（例えば、図４のデコード画像ＳＩＧ６４に相当）を用いた予測復号を許容する動画像復号装置（例えば、図１の動画像復号装置１００に相当）であって、符号化データ（例えば、図４の符号化データＳＩＧ２に相当）をエントロピー復号してフィルタ係数（例えば、図４のイントラ予測における補間フィルタ係数ＳＩＧ５４に相当）を取得するエントロピー復号手段（例えば、図４のエントロピー復号部１１０に相当）と、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行うフィルタ処理手段（例えば、図４のイントラ予測値生成部１４０に相当）と、を備えることを特徴とする動画像復号装置を提案している。
【００２５】
この発明によれば、動画像復号装置に、エントロピー復号手段およびフィルタ処理手段を設けることとした。また、エントロピー復号手段により、符号化データをエントロピー復号してフィルタ係数を取得することとした。また、フィルタ処理手段により、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行うこととした。
【００２６】
このため、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより生成した予測値に対して、符号化データを生成する際に用いられたフィルタ係数を用いて、フィルタ処理を行うことができる。したがって、整数画素位置の動き補償やイントラ予測における誤差を低減することができるので、その結果、圧縮性能を向上させることができる。
【００２７】
（７）  本発明は、（６）の動画像復号装置について、前記エントロピー復号手段は、符号化データをエントロピー復号して、イントラ予測モードに応じて算出されたフィルタ係数を取得し、前記フィルタ処理手段は、前記復号済み画像を用いて、イントラ予測により予測値を生成することを特徴とする動画像復号装置を提案している。
【００２８】
ここで、Ｈ．２６４やＨ．２６５に代表される映像圧縮に関する標準方式では、イントラ予測において、イントラ予測モードに応じたイントラ予測値が生成される。このため、イントラ予測値は、イントラ予測モードの影響を受けやすい。
【００２９】
そこで、この発明によれば、（６）の動画像復号装置において、エントロピー復号手段により、符号化データをエントロピー復号して、イントラ予測モードに応じて算出されたフィルタ係数を取得することとした。また、フィルタ処理手段により、復号済み画像を用いて、イントラ予測により予測値を生成することとした。このため、イントラ予測モードに応じて算出されたフィルタ係数を用いてフィルタ処理を行うことができるので、全てのイントラ予測モードに共通する１つのフィルタ係数を用いてフィルタ処理を行う場合と比べて、予測誤差を小さくしたり、符号化性能を改善したりすることができる。
【００３０】
（８）  本発明は、（７）の動画像復号装置について、前記イントラ予測モードは、予めｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類され、前記フィルタ係数は、分類されているグループごとに算出されており、前記エントロピー復号手段は、符号化データをエントロピー復号して、前記グループごとに算出されたフィルタ係数を取得することを特徴とする動画像復号装置を提案している。
【００３１】
ここで、イントラ予測モードのそれぞれに応じてフィルタ係数が算出されている場合には、フィルタ係数に関する情報量が膨大になるので、その結果、符号化性能が低下してしまうおそれがある。
【００３２】
そこで、この発明によれば、（７）の動画像復号装置において、イントラ予測モードは、予めｍ個のグループに分類され、フィルタ係数は、分類されているグループごとに算出されており、エントロピー復号手段は、符号化データをエントロピー復号して、グループごとに算出されたフィルタ係数を取得することとした。このため、全てのイントラ予測モードに共通する１つのフィルタ係数を用いてフィルタ処理を行う場合と比べて、予測誤差を小さくしつつ、フィルタ係数に関する情報量の増加を抑制して、符号化性能を改善することができる。
【００３３】
（９）  本発明は、動画像を符号化して符号化データ（例えば、図２の符号化データＳＩＧ２に相当）を生成する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）と、当該動画像符号化装置により生成された符号化データを復号する動画像復号装置（例えば、図１の動画像復号装置１００に相当）と、を備える動画像処理システム（例えば、図１の動画像処理システムＡＡに相当）であって、前記動画像符号化装置は、入力画像（例えば、図２の入力画像ＳＩＧ１に相当）および局所復号画像（例えば、図２の局所復号画像ＳＩＧ１７に相当）を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する事前予測値生成手段（例えば、図３の事前イントラ予測値算出部２１に相当）と、前記入力画像と、前記事前予測値生成手段により生成された予測値と、に基づく誤差（例えば、後述の予測誤差または符号化誤差に相当）を最小化するフィルタ係数を算出する誤差最小化フィルタ係数算出手段（例えば、図３の誤差最小化フィルタ係数算出部２２に相当）と、前記事前予測値生成手段により生成された予測値に対して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行う符号化側フィルタ処理手段（例えば、図３のフィルタ処理部２３に相当）と、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数をエントロピー符号化して、符号化データを生成するエントロピー符号化手段（例えば、図２のエントロピー符号化部４０に相当）と、を備え、前記動画像復号装置は、前記エントロピー符号化手段により生成された符号化データをエントロピー復号して、前記誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を取得するエントロピー復号手段（例えば、図４のエントロピー復号部１１０に相当）と、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち前記事前予測値生成手段により予測値を生成する際に用いられたものにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行う復号側フィルタ処理手段（例えば、図４のイントラ予測値生成部１４０に相当）と、を備えることを特徴とする動画像処理システムを提案している。
【００３４】
この発明によれば、動画像処理システムに、動画像符号化装置および動画像復号装置を設け、動画像符号化装置に、事前予測値生成手段、誤差最小化フィルタ係数算出手段、符号化側フィルタ処理手段、およびエントロピー符号化手段を設けることとした。また、事前予測値生成手段により、入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成することとした。また、誤差最小化フィルタ係数算出手段により、入力画像と、事前予測値生成手段により生成された予測値と、に基づく誤差を最小化するフィルタ係数を算出することとした。また、符号化側フィルタ処理手段により、事前予測値生成手段により生成された予測値に対して、誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を用いてフィルタ処理を行うこととした。また、エントロピー符号化手段により、誤差最小化フィルタ係数算出手段により算出されたフィルタ係数をエントロピー符号化して、符号化データを生成することとした。また、動画像復号装置に、エントロピー復号手段および復号側フィルタ処理手段を設けることとした。また、エントロピー復号手段により、エントロピー符号化手段により生成された符号化データをエントロピー復号して、誤差最小化フィルタ係数算出手段により算出されたフィルタ係数を取得することとした。また、復号側フィルタ処理手段により、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち事前予測値生成手段により予測値を生成する際に用いられたものにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、エントロピー復号手段により取得されたフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
【００３５】
（１０）  本発明は、事前予測値生成手段（例えば、図３の事前イントラ予測値算出部２１に相当）、誤差最小化フィルタ係数算出手段（例えば、図３の誤差最小化フィルタ係数算出部２２に相当）、およびフィルタ処理手段（例えば、図３のフィルタ処理部２３に相当）、を備え、符号化済みの局所復号画像（例えば、図２の局所復号画像ＳＩＧ１７に相当）を用いた予測符号化を許容する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）における動画像符号化方法であって、前記事前予測値生成手段が、入力画像（例えば、図２の入力画像ＳＩＧ１に相当）および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する第１のステップと、前記誤差最小化フィルタ係数算出手段が、前記入力画像と、前記第１のステップにより生成された予測値と、に基づく誤差（例えば、後述の予測誤差または符号化誤差に相当）を最小化するフィルタ係数を算出する第２のステップと、前記フィルタ処理手段が、前記第１のステップにより生成された予測値に対して、前記第２のステップにより算出されたフィルタ係数を用いてフィルタ処理を行う第３のステップと、を備えることを特徴とする動画像符号化方法を提案している。
【００３６】
この発明によれば、入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成することとした。また、入力画像と、上述の予測値と、に基づく誤差を最小化するフィルタ係数を算出し、上述の予測値に対して、算出したフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
【００３７】
（１１）  本発明は、エントロピー復号手段（例えば、図４のエントロピー復号部１１０に相当）およびフィルタ処理手段（例えば、図４のイントラ予測値生成部１４０に相当）を備え、復号済み画像（例えば、図４のデコード画像ＳＩＧ６４に相当）を用いた予測復号を許容する動画像復号装置（例えば、図１の動画像復号装置１００に相当）における動画像復号方法であって、前記エントロピー復号手段が、符号化データ（例えば、図４の符号化データＳＩＧ２に相当）をエントロピー復号してフィルタ係数（例えば、図４のイントラ予測における補間フィルタ係数ＳＩＧ５４に相当）を取得する第１のステップと、前記フィルタ処理手段が、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記第１のステップにより取得されたフィルタ係数を用いてフィルタ処理を行う第２のステップと、を備えることを特徴とする動画像復号方法を提案している。
【００３８】
この発明によれば、符号化データをエントロピー復号してフィルタ係数を取得し、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、取得したフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
【００３９】
（１２）  本発明は、事前予測値生成手段（例えば、図３の事前イントラ予測値算出部２１に相当）、誤差最小化フィルタ係数算出手段（例えば、図３の誤差最小化フィルタ係数算出部２２に相当）、およびフィルタ処理手段（例えば、図３のフィルタ処理部２３に相当）、を備え、符号化済みの局所復号画像（例えば、図２の局所復号画像ＳＩＧ１７に相当）を用いた予測符号化を許容する動画像符号化装置（例えば、図１の動画像符号化装置１に相当）における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記事前予測値生成手段が、入力画像（例えば、図２の入力画像ＳＩＧ１に相当）および前記局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成する第１のステップと、前記誤差最小化フィルタ係数算出手段が、前記入力画像と、前記第１のステップにより生成された予測値と、に基づく誤差（例えば、後述の予測誤差または符号化誤差に相当）を最小化するフィルタ係数を算出する第２のステップと、前記フィルタ処理手段が、前記第１のステップにより生成された予測値に対して、前記第２のステップにより算出されたフィルタ係数を用いてフィルタ処理を行う第３のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００４０】
この発明によれば、コンピュータを用いてプログラムを実行することで、入力画像および局所復号画像を用いて、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより予測値を生成することとした。また、入力画像と、上述の予測値と、に基づく誤差を最小化するフィルタ係数を算出し、上述の予測値に対して、算出したフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
【００４１】
（１３）  本発明は、エントロピー復号手段（例えば、図４のエントロピー復号部１１０に相当）およびフィルタ処理手段（例えば、図４のイントラ予測値生成部１４０に相当）を備え、復号済み画像（例えば、図４のデコード画像ＳＩＧ６４に相当）を用いた予測復号を許容する動画像復号装置（例えば、図１の動画像復号装置１００に相当）における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記エントロピー復号手段が、符号化データ（例えば、図４の符号化データＳＩＧ２に相当）をエントロピー復号してフィルタ係数（例えば、図４のイントラ予測における補間フィルタ係数ＳＩＧ５４に相当）を取得する第１のステップと、前記フィルタ処理手段が、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより前記復号済み画像を用いて予測値を生成し、生成した予測値に対して、前記第１のステップにより取得されたフィルタ係数を用いてフィルタ処理を行う第２のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００４２】
この発明によれば、コンピュータを用いてプログラムを実行することで、符号化データをエントロピー復号してフィルタ係数を取得し、整数精度の動き補償に基づくインター予測と、イントラ予測と、のうち少なくともいずれかにより復号済み画像を用いて予測値を生成し、生成した予測値に対して、取得したフィルタ係数を用いてフィルタ処理を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。
【発明の効果】
【００４３】
本発明によれば、圧縮性能を向上させることができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の第１実施形態に係る動画像処理システムのブロック図である。
【図２】本発明の第１実施形態に係る動画像符号化装置のブロック図である。
【図３】本発明の第１実施形態に係る動画像符号化装置が備えるイントラ予測値生成部のブロック図である。
【図４】本発明の第１実施形態に係る動画像復号装置のブロック図である。
【図５】本発明の第２実施形態に係る動画像処理システムのブロック図である。
【図６】本発明の第２実施形態に係る動画像符号化装置のブロック図である。
【図７】本発明の第２実施形態に係る動画像符号化装置が備える整数精度ＭＣ予測値生成部のブロック図である。
【図８】本発明の第２実施形態に係る動画像復号装置のブロック図である。
【発明を実施するための形態】
【００４５】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００４６】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る動画像処理システムＡＡのブロック図である。動画像処理システムＡＡは、動画像を符号化して符号化データ（図２、４の符号化データＳＩＧ２参照）を生成する動画像符号化装置１と、動画像符号化装置１により生成された符号化データを復号する動画像復号装置１００と、を備える。これら動画像符号化装置１と動画像復号装置１００とは、上述の符号化データを、例えば伝送路を介して送受信する。
【００４７】
［動画像符号化装置１の構成および動作］
図２は、動画像符号化装置１のブロック図である。動画像符号化装置１は、インター予測値生成部１０、イントラ予測値生成部２０、ＤＣＴ／量子化部３０、エントロピー符号化部４０、逆ＤＣＴ／逆量子化部５０、およびローカルメモリ６０を備える。
【００４８】
インター予測値生成部１０は、小数精度ＭＣ予測値生成部１１および整数精度ＭＣ予測値生成部１２を備える。
【００４９】
小数精度ＭＣ予測値生成部１１は、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される後述の局所復号画像ＳＩＧ１７と、を入力とする。この小数精度ＭＣ予測値生成部１１は、まず、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、小数精度動き補償（ＭＣ：Motion  Compensation）による予測誤差を最小化する補間フィルタ係数を適応的に算出し、補間フィルタ係数ＳＩＧ３として出力するとともに、小数精度のインター予測に関する制御情報（小数精度の動きベクトルなどを含む）ＳＩＧ４を出力する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。小数精度ＭＣ予測値生成部１１は、次に、算出した補間フィルタ係数を用いて、小数精度ＭＣに基づく予測値を生成し、小数精度ＭＣに基づくインター予測値ＳＩＧ５として出力する。
【００５０】
整数精度ＭＣ予測値生成部１２は、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される局所復号画像ＳＩＧ１７と、を入力とする。この整数精度ＭＣ予測値生成部１２は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、整数精度ＭＣに基づく予測値を生成し、整数精度ＭＣに基づくインター予測値ＳＩＧ７として出力するとともに、整数精度のインター予測に関する制御情報（整数精度の動きベクトルなどを含む）ＳＩＧ６を出力する。
【００５１】
イントラ予測値生成部２０は、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される局所復号画像ＳＩＧ１７と、を入力とする。このイントラ予測値生成部２０は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、イントラ予測に基づく予測値を生成した後に後述の誤差最小化フィルタ処理を行って、イントラ予測値ＳＩＧ９を出力するとともに、後述の補間フィルタ係数ＳＩＧ８と、イントラ予測に関する制御情報（イントラ予測モードなどを含む）ＳＩＧ１０と、を出力する。イントラ予測値生成部２０について、図３を用いて以下に詳述する。
【００５２】
図３は、イントラ予測値生成部２０のブロック図である。イントラ予測値生成部２０は、事前イントラ予測値算出部２１、誤差最小化フィルタ係数算出部２２、およびフィルタ処理部２３を備える。
【００５３】
事前イントラ予測値算出部２１は、入力画像ＳＩＧ１と、局所復号画像ＳＩＧ１７と、を入力とする。この事前イントラ予測値算出部２１は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、イントラ予測モードに基づくイントラ予測により予測値を生成し、事前イントラ予測値ＳＩＧ１８として出力するとともに、上述のイントラ予測に関する制御情報ＳＩＧ１０を出力する。
【００５４】
誤差最小化フィルタ係数算出部２２は、入力画像ＳＩＧ１と、事前イントラ予測値ＳＩＧ１８と、を入力とする。この誤差最小化フィルタ係数算出部２２は、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差を最小化する補間フィルタ係数を算出し、上述の補間フィルタ係数ＳＩＧ８として出力する。
【００５５】
なお、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差とは、予測誤差または符号化誤差のことである。
【００５６】
予測誤差とは、入力画像ＳＩＧ１と事前イントラ予測値ＳＩＧ１８との差分（イントラ予測により発生する誤差）のことである。この予測誤差を最小化する補間フィルタ係数を算出する場合には、誤差最小化フィルタ係数算出部２２は、入力画像ＳＩＧ１と事前イントラ予測値ＳＩＧ１８との差分を最小化する補間フィルタ係数を算出する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。
【００５７】
一方、符号化誤差とは、上述の予測誤差と、量子化の過程で発生する量子化誤差と、を合わせた誤差のことである。符号化誤差を最小化する補間フィルタ係数を算出する場合には、誤差最小化フィルタ係数算出部２２は、まず、入力画像ＳＩＧ１と事前イントラ予測値ＳＩＧ１８との差分を求める。次に、求めた差分に対して、ＤＣＴ／量子化部３０と同様の処理を行った後に、逆ＤＣＴ／逆量子化部５０と同様の処理を行って、上述の符号化誤差を求める。次に、求めた符号化誤差を最小化する補間フィルタ係数を算出する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。
【００５８】
フィルタ処理部２３は、補間フィルタ係数ＳＩＧ８と、事前イントラ予測値ＳＩＧ１８と、を入力とする。このフィルタ処理部２３は、事前イントラ予測値ＳＩＧ１８に対して、補間フィルタ係数ＳＩＧ８を用いて誤差最小化フィルタ処理を行い、フィルタ処理後の予測値を、最終的なイントラ予測値ＳＩＧ９として出力する。
【００５９】
なお、補間フィルタ係数ＳＩＧ８を算出する手法としては、全てのイントラ予測モード（例えば、ＤＣ予測、Ｐｌａｎａｒ予測、および３３種類の方向性予測）に共通する１つの補間フィルタ係数を算出する手法と、イントラ予測モードに応じて補間フィルタ係数を算出する手法と、がある。
【００６０】
ここで、Ｈ．２６４やＨ．２６５に代表される映像圧縮に関する標準方式では、イントラ予測において、イントラ予測モードに応じたイントラ予測値が生成される。このため、イントラ予測値は、イントラ予測モードの影響を受けやすい。したがって、イントラ予測モードのそれぞれに応じて補間フィルタ係数を算出する場合には、全てのイントラ予測モードに共通する１つの補間フィルタ係数を算出する場合と比べて、予測誤差を小さくすることができるという効果や、符号化性能を改善できるという効果を、期待することができる。
【００６１】
しかし、イントラ予測モードのそれぞれに応じて補間フィルタ係数を算出する場合には、補間フィルタ係数に関する情報量が膨大になるので、その結果、符号化性能が低下してしまうおそれがある。
【００６２】
そこで、イントラ予測値生成部２０は、イントラ予測モードをｍ個（ただし、ｍは、イントラ予測モードの種類数よりも小さく、ゼロを含まない自然数）のグループに分類し、分類したグループごとに補間フィルタ係数を算出する。また、イントラ予測値生成部２０は、補間フィルタ係数ＳＩＧ８として、グループごとに算出した補間フィルタ係数だけでなく、全てのイントラ予測モードのそれぞれがｍ個のグループのうちどのグループに属するのかを示す情報も、出力する。
【００６３】
図２に戻って、ＤＣＴ／量子化部３０は、予測残差信号ＳＩＧ１２を入力とする。予測残差信号ＳＩＧ１２とは、入力画像ＳＩＧ１と、予測値ＳＩＧ１１と、の差分信号のことであり、予測値ＳＩＧ１１とは、小数精度ＭＣに基づくインター予測値ＳＩＧ５と、整数精度ＭＣに基づくインター予測値ＳＩＧ７と、イントラ予測値ＳＩＧ９と、のうち、最も高い符号化性能の期待される予測方法により算出された予測値のことである。このＤＣＴ／量子化部３０は、予測残差信号ＳＩＧ１２に対して直交変換処理を行い、この直交変換処理により得られた変換係数について量子化処理を行って、量子化された変換係数ＳＩＧ１３として出力する。
【００６４】
エントロピー符号化部４０は、量子化された変換係数ＳＩＧ１３と、補間フィルタ係数ＳＩＧ３、ＳＩＧ８と、制御情報ＳＩＧ１４と、を入力とする。制御情報ＳＩＧ１４とは、小数精度のインター予測に関する制御情報ＳＩＧ４と、整数精度のインター予測に関する制御情報ＳＩＧ６と、イントラ予測に関する制御情報ＳＩＧ１０と、のうち、上述の最も高い符号化性能の期待される予測方法において求められた制御情報のことである。このエントロピー符号化部４０は、これら入力された情報に対してエントロピー符号化処理を行って、その結果について、符号化データへの記述規則（符号化シンタックス）にしたがって符号化データに記述し、符号化データＳＩＧ２として出力する。
【００６５】
逆ＤＣＴ／逆量子化部５０は、量子化された変換係数ＳＩＧ１３を入力とする。この逆ＤＣＴ／逆量子化部５０は、量子化された変換係数ＳＩＧ１３に対して逆量子化処理を行い、この逆量子化処理により得られた変換係数に対して逆変換処理を行って、逆直交変換された変換係数ＳＩＧ１５として出力する。
【００６６】
ローカルメモリ６０は、局所復号画像ＳＩＧ１６を入力とする。局所復号画像ＳＩＧ１６とは、予測値ＳＩＧ１１と、逆直交変換された変換係数ＳＩＧ１５と、を加算した信号のことである。このローカルメモリ６０は、入力された局所復号画像ＳＩＧ１６を蓄積し、次の符号化処理単位ブロック以降において過去の局所復号画像ＳＩＧ１６を参照する必要がある場合に、適宜、小数精度ＭＣ予測値生成部１１と整数精度ＭＣ予測値生成部１２とイントラ予測値生成部２０とに局所復号画像ＳＩＧ１７として供給する。
【００６７】
［動画像復号装置１００の構成および動作］
図４は、動画像復号装置１００のブロック図である。動画像復号装置１００は、エントロピー復号部１１０、逆ＤＣＴ／逆量子化部１２０、インター予測値生成部１３０、イントラ予測値生成部１４０、およびローカルメモリ１５０を備える。
【００６８】
エントロピー復号部１１０は、符号化データＳＩＧ２を入力とする。このエントロピー復号部１１０は、符号化データＳＩＧ２に記載されている内容を符号化データ構造にしたがって解析してエントロピー復号し、残差信号ＳＩＧ５１と、小数精度ＭＣにおける補間フィルタ係数ＳＩＧ５２（補間フィルタ係数ＳＩＧ３）と、制御情報ＳＩＧ５３と、イントラ予測における補間フィルタ係数ＳＩＧ５４（補間フィルタ係数ＳＩＧ８）と、を取得して出力する。
【００６９】
逆ＤＣＴ／逆量子化部１２０は、残差信号ＳＩＧ５１を入力とする。この逆ＤＣＴ／逆量子化部１２０は、残差信号ＳＩＧ５１に対して逆量子化処理を行い、この逆量子化処理より得られた結果に対して逆変換処理を行って、逆直交変換結果ＳＩＧ５５として出力する。
【００７０】
インター予測値生成部１３０は、小数精度ＭＣ予測値生成部１３１および整数精度ＭＣ予測値生成部１３２を備える。
【００７１】
小数精度ＭＣ予測値生成部１３１は、小数精度ＭＣにおける補間フィルタ係数ＳＩＧ５２と、制御情報ＳＩＧ５３に含まれている小数精度のインター予測に関する制御情報ＳＩＧ５６（小数精度のインター予測に関する制御情報ＳＩＧ４）と、ローカルメモリ１５０から供給される後述のデコード画像ＳＩＧ６４と、を入力とする。この小数精度ＭＣ予測値生成部１３１は、まず、小数精度のインター予測に関する制御情報ＳＩＧ５６に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおける小数精度ＭＣに基づく予測値を生成する。次に、生成した小数精度ＭＣに基づく予測値に対して、小数精度ＭＣにおける補間フィルタ係数ＳＩＧ５２を用いてフィルタ処理を行い、フィルタ処理後の予測値を、小数精度ＭＣに基づくインター予測値ＳＩＧ５９として出力する。
【００７２】
整数精度ＭＣ予測値生成部１３２は、制御情報ＳＩＧ５３に含まれている整数精度のインター予測に関する制御情報ＳＩＧ５７（整数精度のインター予測に関する制御情報ＳＩＧ６）と、ローカルメモリ１５０から供給されるデコード画像ＳＩＧ６４と、を入力とする。この整数精度ＭＣ予測値生成部１３２は、整数精度のインター予測に関する制御情報ＳＩＧ５７に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおける整数精度ＭＣに基づく予測値を生成し、整数精度ＭＣに基づくインター予測値ＳＩＧ６０として出力する。
【００７３】
イントラ予測値生成部１４０は、制御情報ＳＩＧ５３に含まれているイントラ予測に関する制御情報ＳＩＧ５８（イントラ予測に関する制御情報ＳＩＧ１０）と、イントラ予測における補間フィルタ係数ＳＩＧ５４と、ローカルメモリ１５０から供給されるデコード画像ＳＩＧ６４と、を入力とする。このイントラ予測値生成部１４０は、まず、イントラ予測に関する制御情報ＳＩＧ５８に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおけるイントラ予測値を生成する。次に、生成したイントラ予測値に対して、イントラ予測における補間フィルタ係数ＳＩＧ５４を用いてフィルタ処理を行い、フィルタ処理後の予測値を、イントラ予測値ＳＩＧ６１として出力する。
【００７４】
なお、イントラ予測における補間フィルタ係数ＳＩＧ５４には、ｍ個の補間フィルタ係数と、これらｍ個の補間フィルタ係数のそれぞれが上述のｍ個のグループのうちどのグループに属するのかを示す情報と、が含まれている。このため、イントラ予測値生成部１４０は、処理ブロックのイントラ予測モードがｍ個のグループのうちどのグループに属するのかを求め、求めたグループに属する補間フィルタ係数をｍ個の補間フィルタ係数の中から選択し、選択した補間フィルタ係数を用いて、処理ブロックにおけるフィルタ処理を行うことになる。
【００７５】
逆直交変換結果ＳＩＧ５５と、予測値ＳＩＧ６２と、を加算した信号は、デコード画像ＳＩＧ６３として、動画像復号装置１００から出力されるとともに、ローカルメモリ１５０に供給される。なお、予測値ＳＩＧ６２とは、小数精度ＭＣに基づくインター予測値ＳＩＧ５９と、整数精度ＭＣに基づくインター予測値ＳＩＧ６０と、イントラ予測値ＳＩＧ６１と、のうち、最も高い符号化性能の期待される予測方法により算出された予測値のことである。
【００７６】
ローカルメモリ１５０は、デコード画像ＳＩＧ６３を入力とする。このローカルメモリ１５０は、入力されたデコード画像ＳＩＧ６３を蓄積し、次の復号処理単位ブロック以降において過去のデコード画像ＳＩＧ６３を参照する必要がある場合に、適宜、小数精度ＭＣ予測値生成部１３１と整数精度ＭＣ予測値生成部１３２とイントラ予測値生成部１４０とにデコード画像ＳＩＧ６４として供給する。
【００７７】
以上の動画像符号化装置１および動画像復号装置１００によれば、以下の効果を奏することができる。
【００７８】
動画像符号化装置１は、フィルタ処理部２３により、符号化される前のフレームに対して、すなわち符号化処理が行われる前のフレームに対して、フィルタ処理を行う。このため、予測符号化における圧縮性能に強く影響する予測性能を向上させることができ、その結果、圧縮性能を向上させることができる。
【００７９】
また、動画像符号化装置１は、誤差最小化フィルタ係数算出部２２により、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差を最小化する補間フィルタ係数を算出し、フィルタ処理部２３により、誤差最小化フィルタ係数算出部２２により算出された補間フィルタ係数を用いてフィルタ処理を行う。また、動画像復号装置１００は、イントラ予測値生成部１４０により、イントラ予測における補間フィルタ係数ＳＩＧ５４、すなわちイントラ予測値生成部２０で算出された補間フィルタ係数ＳＩＧ８を用いて、フィルタ処理を行う。このため、イントラ予測における誤差を低減することができるので、その結果、圧縮性能をさらに向上させることができる。
【００８０】
また、動画像符号化装置１は、誤差最小化フィルタ係数算出部２２により、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差として、予測誤差または符号化誤差を適用する。このため、予測誤差を適用する場合には、符号化誤差を適用する場合と比べて、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行う必要がないので、誤差最小化フィルタ係数算出部２２における処理量を低減させることができる。また、符号化誤差を適用する場合には、予測誤差を適用する場合と比べて、多くの予測残差符号量が発生するイントラ符号化や、高ビットレート符号化などにおいて、圧縮性能を特に向上させることができる。
【００８１】
また、動画像符号化装置１は、誤差最小化フィルタ係数算出部２２により、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づいてフィルタ係数を算出することができる。
【００８２】
また、動画像符号化装置１は、イントラ予測値生成部２０により、イントラ予測モードをｍ個のグループに分類し、分類したグループごとに補間フィルタ係数を算出する。このため、全てのイントラ予測モードに共通する１つのフィルタ係数を算出する場合と比べて、予測誤差を小さくしつつ、フィルタ係数に関する情報量の増加を抑制して、符号化性能を改善することができる。
【００８３】
＜第２実施形態＞
図５は、本発明の第２実施形態に係る動画像処理システムＢＢのブロック図である。動画像処理システムＢＢは、図１に示した本発明の第１実施形態における動画像処理システムＡＡとは、動画像符号化装置１の代わりに動画像符号化装置１Ａを備える点と、動画像復号装置１００の代わりに動画像復号装置１００Ａを備える点と、で異なる。
【００８４】
［動画像符号化装置１Ａの構成および動作］
図６は、動画像符号化装置１Ａのブロック図である。動画像符号化装置１Ａは、図２に示した本発明の第１実施形態に係る動画像符号化装置１とは、インター予測値生成部１０の代わりにインター予測値生成部１０Ａを備える点と、イントラ予測値生成部２０の代わりにイントラ予測値生成部２０Ａを備える点と、で異なる。なお、動画像符号化装置１Ａにおいて、動画像符号化装置１と同一構成要件については、同一符号を付し、その説明を省略する。
【００８５】
インター予測値生成部１０Ａは、小数精度ＭＣ予測値生成部１１および整数精度ＭＣ予測値生成部１２Ａを備える。
【００８６】
整数精度ＭＣ予測値生成部１２Ａは、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される局所復号画像ＳＩＧ１７と、を入力とする。この整数精度ＭＣ予測値生成部１２Ａは、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、整数精度ＭＣに基づく予測値を生成した後に、後述の誤差最小化フィルタ処理を行って、整数精度ＭＣに基づくインター予測値ＳＩＧ７として出力するとともに、後述の補間フィルタ係数ＳＩＧ２１と、整数精度のインター予測に関する制御情報ＳＩＧ６と、を出力する。整数精度ＭＣ予測値生成部１２Ａについて、図７を用いて以下に詳述する。
【００８７】
図７は、整数精度ＭＣ予測値生成部１２Ａのブロック図である。整数精度ＭＣ予測値生成部１２Ａは、事前ＭＣ予測値算出部１３、誤差最小化フィルタ係数算出部１４、およびフィルタ処理部１５を備える。
【００８８】
事前ＭＣ予測値算出部１３は、入力画像ＳＩＧ１と、局所復号画像ＳＩＧ１７と、を入力とする。この事前ＭＣ予測値算出部１３は、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、整数精度ＭＣに基づくインター予測により予測値を生成し、事前インター予測値ＳＩＧ２２として出力するとともに、上述の整数精度のインター予測に関する制御情報ＳＩＧ６を出力する。
【００８９】
誤差最小化フィルタ係数算出部１４は、入力画像ＳＩＧ１と、事前インター予測値ＳＩＧ２２と、を入力とする。この誤差最小化フィルタ係数算出部１４は、入力画像ＳＩＧ１および事前インター予測値ＳＩＧ２２に基づく誤差を最小化する補間フィルタ係数を算出し、上述の補間フィルタ係数ＳＩＧ２１として出力する。
【００９０】
なお、入力画像ＳＩＧ１および事前イントラ予測値ＳＩＧ１８に基づく誤差とは、予測誤差または符号化誤差のことである。
【００９１】
予測誤差とは、入力画像ＳＩＧ１と事前インター予測値ＳＩＧ２２との差分（インター予測により発生する誤差）のことである。この予測誤差を最小化する補間フィルタ係数を算出する場合には、誤差最小化フィルタ係数算出部１４は、入力画像ＳＩＧ１と事前インター予測値ＳＩＧ２２との差分を最小化する補間フィルタ係数を算出する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。
【００９２】
一方、符号化誤差とは、上述の予測誤差と、量子化の過程で発生する量子化誤差と、を合わせた誤差のことである。符号化誤差を最小化する補間フィルタ係数を算出する場合には、誤差最小化フィルタ係数算出部１４は、まず、入力画像ＳＩＧ１と事前インター予測値ＳＩＧ２２との差分を求める。次に、求めた差分に対して、ＤＣＴ／量子化部３０と同様の処理を行った後に、逆ＤＣＴ／逆量子化部５０と同様の処理を行って、上述の符号化誤差を求める。次に、求めた符号化誤差を最小化する補間フィルタ係数を算出する。補間フィルタ係数の算出方法としては、例えば、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づく算出方法を用いることができる。
【００９３】
フィルタ処理部１５は、補間フィルタ係数ＳＩＧ２１と、事前インター予測値ＳＩＧ２２と、を入力とする。このフィルタ処理部１５は、事前インター予測値ＳＩＧ２２に対して、補間フィルタ係数ＳＩＧ２１を用いて誤差最小化フィルタ処理を行い、フィルタ処理後の予測値を、整数精度ＭＣに基づくインター予測値ＳＩＧ７として出力する。
【００９４】
図６に戻って、イントラ予測値生成部２０Ａは、入力画像ＳＩＧ１と、ローカルメモリ６０から供給される局所復号画像ＳＩＧ１７と、を入力とする。このイントラ予測値生成部２０Ａは、入力画像ＳＩＧ１および局所復号画像ＳＩＧ１７を用いて、イントラ予測に基づく予測値を生成し、イントラ予測値ＳＩＧ９として出力するとともに、イントラ予測に関する制御情報ＳＩＧ１０を出力する。
【００９５】
［動画像復号装置１００Ａの構成および動作］
図８は、動画像復号装置１００Ａのブロック図である。動画像復号装置１００Ａは、図４に示した本発明の第１実施形態に係る動画像復号装置１００とは、エントロピー復号部１１０の代わりにエントロピー復号部１１０Ａを備える点と、インター予測値生成部１３０の代わりにインター予測値生成部１３０Ａを備える点と、イントラ予測値生成部１４０の代わりにイントラ予測値生成部１４０Ａを備える点と、で異なる。なお、動画像復号装置１００Ａにおいて、動画像復号装置１００と同一構成要件については、同一符号を付し、その説明を省略する。
【００９６】
エントロピー復号部１１０Ａは、符号化データＳＩＧ２を入力とする。このエントロピー復号部１１０Ａは、符号化データＳＩＧ２に記載されている内容を符号化データ構造にしたがって解析してエントロピー復号し、残差信号ＳＩＧ５１と、小数精度ＭＣにおける補間フィルタ係数ＳＩＧ５２（補間フィルタ係数ＳＩＧ３）と、制御情報ＳＩＧ５３と、整数精度ＭＣにおける補間フィルタ係数ＳＩＧ７１（補間フィルタ係数ＳＩＧ２１）と、を取得して出力する。
【００９７】
インター予測値生成部１３０Ａは、小数精度ＭＣ予測値生成部１３１および整数精度ＭＣ予測値生成部１３２Ａを備える。
【００９８】
整数精度ＭＣ予測値生成部１３２Ａは、制御情報ＳＩＧ５３に含まれている整数精度のインター予測に関する制御情報ＳＩＧ５７（整数精度のインター予測に関する制御情報ＳＩＧ６）と、整数精度ＭＣにおける補間フィルタ係数ＳＩＧ７１と、ローカルメモリ１５０から供給されるデコード画像ＳＩＧ６４と、を入力とする。この整数精度ＭＣ予測値生成部１３２Ａは、まず、整数精度のインター予測に関する制御情報ＳＩＧ５７に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおける整数精度ＭＣに基づく予測値を生成する。次に、生成した整数精度ＭＣに基づく予測値に対して、整数精度ＭＣにおける補間フィルタ係数ＳＩＧ７１を用いてフィルタ処理を行い、フィルタ処理後の予測値を、整数精度ＭＣに基づくインター予測値ＳＩＧ６０として出力する。
【００９９】
イントラ予測値生成部１４０Ａは、制御情報ＳＩＧ５３に含まれているイントラ予測に関する制御情報ＳＩＧ５８（イントラ予測に関する制御情報ＳＩＧ１０）と、ローカルメモリ１５０から供給されるデコード画像ＳＩＧ６４と、を入力とする。このイントラ予測値生成部１４０Ａは、イントラ予測に関する制御情報ＳＩＧ５８に基づいて、デコード画像ＳＩＧ６４を参照し、処理ブロックにおけるイントラ予測値を生成し、イントラ予測値ＳＩＧ６１として出力する。
【０１００】
以上の動画像符号化装置１Ａおよび動画像復号装置１００Ａによれば、以下の効果を奏することができる。
【０１０１】
動画像符号化装置１Ａは、フィルタ処理部１５により、符号化される前のフレームに対して、すなわち符号化処理が行われる前のフレームに対して、フィルタ処理を行う。このため、予測符号化における圧縮性能に強く影響する予測性能を向上させることができ、その結果、圧縮性能を向上させることができる。
【０１０２】
また、動画像符号化装置１Ａは、誤差最小化フィルタ係数算出部１４により、入力画像ＳＩＧ１および事前インター予測値ＳＩＧ２２に基づく誤差を最小化する補間フィルタ係数を算出し、フィルタ処理部１５により、誤差最小化フィルタ係数算出部１４により算出された補間フィルタ係数を用いてフィルタ処理を行う。また、動画像復号装置１００Ａは、整数精度ＭＣ予測値生成部１３２Ａにより、整数精度ＭＣにおける補間フィルタ係数ＳＩＧ７１、すなわち整数精度ＭＣ予測値生成部１２Ａで算出された補間フィルタ係数ＳＩＧ２１を用いて、フィルタ処理を行う。このため、整数画素位置の動き補償における誤差を低減することができるので、その結果、圧縮性能をさらに向上させることができる。
【０１０３】
また、動画像符号化装置１Ａは、誤差最小化フィルタ係数算出部１４により、入力画像ＳＩＧ１および事前インター予測値ＳＩＧ２２に基づく誤差として、予測誤差または符号化誤差を適用する。このため、予測誤差を適用する場合には、符号化誤差を適用する場合と比べて、直交変換処理、量子化処理、逆量子化処理、および逆変換処理を行う必要がないので、誤差最小化フィルタ係数算出部１４における処理量を低減させることができる。また、符号化誤差を適用する場合には、予測誤差を適用する場合と比べて、多くの予測残差符号量が発生するイントラ符号化や、高ビットレート符号化などにおいて、圧縮性能を特に向上させることができる。
【０１０４】
また、動画像符号化装置１Ａは、誤差最小化フィルタ係数算出部１４により、Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ法に基づいてフィルタ係数を算出することができる。
【０１０５】
なお、本発明の動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａに読み込ませ、実行することによって、本発明を実現できる。
【０１０６】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａに設けられたプロセッサによって行われる。
【０１０７】
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１０８】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１０９】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【０１１０】
例えば、上述の第１実施形態における動画像符号化装置１に、整数精度ＭＣ予測値生成部１２の代わりに上述の第２実施形態における整数精度ＭＣ予測値生成部１２Ａを設けるとともに、上述の第１実施形態における動画像復号装置１００に、整数精度ＭＣ予測値生成部１３２の代わりに上述の第２実施形態における整数精度ＭＣ予測値生成部１３２Ａを設けることとしてもよい。
【符号の説明】
【０１１１】
ＡＡ、ＢＢ・・・動画像処理システム
１、１Ａ・・・動画像符号化装置
１０、１０Ａ・・・インター予測値生成部
１１・・・小数精度ＭＣ予測値生成部
１２、１２Ａ・・・整数精度ＭＣ予測値生成部
１３、２１・・・事前ＭＣ予測値算出部
１４、２２・・・誤差最小化フィルタ係数算出部
１５、２３・・・フィルタ処理部
２０、２０Ａ・・・イントラ予測値生成部
４０・・・エントロピー符号化部
１００、１００Ａ・・・動画像復号装置
１１０、１１０Ａ・・・エントロピー復号部
１３０、１３０Ａ・・・インター予測値生成部
１３１・・・小数精度ＭＣ予測値生成部
１３２、１３２Ａ・・・整数精度ＭＣ予測値生成部
１４０、１４０Ａ・・・イントラ予測値生成部
【図１】
2016146572.tif 000003
【図２】
2016146572.tif 000004
【図３】
2016146572.tif 000005
【図４】
2016146572.tif 000006
【図５】
2016146572.tif 000007
【図６】
2016146572.tif 000008
【図７】
2016146572.tif 000009
【図８】
2016146572.tif 000010