(57)【要約】 【課題】元画像と基本画像との差分画像の符号化効率を向上させることが可能な符号化装置、符号化方法、復号装置、および、復号方法を提供する。【解決手段】実施形態の符号化装置は、第１の符号化部と、フィルタ処理部と、差分画像生成部と、第２の符号化部とを備える。第１の符号化部は、入力画像に対して第１の符号化処理を行って第１の符号化データを生成する。フィルタ処理部は、第１の符号化データを復号して得られた第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成する。差分画像生成部は、入力画像と基本画像との差分画像を生成する。第２の符号化部は、差分画像に対して第２の符号化処理を行って第２の符号化データを生成する。【選択図】図１
2014171097.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して第１の符号化処理を行って第１の符号化データを生成する第１の符号化部と、
前記第１の符号化データを復号して得られる第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成するフィルタ処理部と、
前記入力画像と前記基本画像との差分画像を生成する差分画像生成部と、
前記差分画像に対して第２の符号化処理を行って第２の符号化データを生成する第２の符号化部と、を備える、
符号化装置。
【請求項２】
前記フィルタ処理は、前記第１の復号画像の周波数成分のうち、遮断周波数よりも低い周波数成分を通過させるローパスフィルタ処理である、
請求項１に記載の符号化装置。
【請求項３】
前記第２の符号化データのビットレートに応じて、前記遮断周波数を決定する第１の決定部をさらに備える、
請求項２に記載の符号化装置。
【請求項４】
前記ビットレートごとの、前記遮断周波数と、前記第２の符号化データを復号して得られる第２の復号画像の客観画質を示す画質情報との関係は、それぞれ極大点を有する放物線で表され、
前記第１の決定部は、
前記ビットレートと、前記極大点に対応する前記遮断周波数を示す最大遮断周波数との関係を示す関係情報を記憶する記憶部と、
前記関係情報を用いて、指定された前記ビットレートに対応する前記最大遮断周波数を特定し、特定した前記最大遮断周波数を、前記フィルタ処理に用いられる前記遮断周波数として決定する第２の決定部と、を含む、
請求項３に記載の符号化装置。
【請求項５】
前記第１の決定部は、
前記入力画像、前記第１の符号化データ、前記第１の復号画像のうちの少なくとも１つに基づいて、前記第１の符号化処理で生じる符号化歪みを推定する推定部をさらに備え、
前記記憶部は、前記符号化歪みに応じて異なる前記関係情報を記憶し、
前記第２の決定部は、前記推定部により推定された前記符号化歪みに対応する前記関係情報を用いて、指定された前記ビットレートに対応する前記最大遮断周波数を特定し、特定した前記最大遮断周波数を、前記フィルタ処理に用いられる前記遮断周波数として決定する、
請求項４に記載の符号化装置。
【請求項６】
前記関係情報は、前記符号化歪みが大きいほど、所定の前記ビットレートに対応する前記最大遮断周波数は小さくなることを示す、
請求項５に記載の符号化装置。
【請求項７】
前記第１の符号化データが生成される前に前記入力画像の解像度を低減する画像縮小部と、
前記差分画像が生成される前に前記基本画像の解像度を高める画像拡大部と、をさらに備える、
請求項１乃至６のうちの何れか１項に記載の符号化装置。
【請求項８】
前記第２の符号化処理は、前記第１の符号化処理よりも符号化効率が高い、
請求項１乃至７のうちの何れか１項に記載の符号化装置。
【請求項９】
入力画像に対する第１の符号化処理を行って第１の符号化データを生成する第１の符号化ステップと、
前記第１の符号化データを復号して得られる第１の復号画像の周波数成分のうち所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成するフィルタ処理ステップと、
前記入力画像と前記基本画像との差分画像を生成する差分画像生成ステップと、
前記差分画像に対して第２の符号化処理を行って第２の符号化データを生成する第２の符号化ステップと、を含む、
符号化方法。
【請求項１０】
入力画像に対する第１の符号化処理により生成された第１の符号化データに対して、第１の復号処理を行って第１の復号画像を生成する第１の復号部と、
外部から、前記第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理により生成された基本画像と前記入力画像との差分画像に対する第２の符号化処理により生成された第２の符号化データと、前記所定の周波数帯域を示すフィルタ情報とを含む拡張データを取得する取得部と、
前記拡張データに含まれる前記第２の符号化データに対して、第２の復号処理を行って第２の復号画像を生成する第２の復号部と、
前記第１の復号部により生成された前記第１の復号画像の周波数成分のうち、前記拡張データに含まれる前記フィルタ情報が示す前記所定の周波数帯域を遮断する前記フィルタ処理を行って前記基本画像を生成するフィルタ処理部と、
前記フィルタ処理部により生成された前記基本画像と、前記第２の復号画像とに基づく合成画像を生成する合成画像生成部と、を備える、
復号装置。
【請求項１１】
前記フィルタ処理は、前記第１の復号画像の周波数成分のうち、遮断周波数よりも低い周波数成分を通過させるローパスフィルタ処理である、
請求項１０に記載の復号装置。
【請求項１２】
前記フィルタ情報は前記遮断周波数を示し、
前記フィルタ情報が示す前記遮断周波数は、前記第２の符号化データのビットレートに応じて決定される、
請求項１１に記載の復号装置。
【請求項１３】
前記ビットレートごとの、前記遮断周波数と、前記第第２の復号画像の客観画質を示す画質情報との関係は、それぞれ極大点を有する放物線で表され、
前記フィルタ情報が示す前記遮断周波数は、前記ビットレートと、前記極大点に対応する前記遮断周波数を示す最大遮断周波数との関係を示す関係情報を用いて決定された、指定された前記ビットレートに対応する前記最大遮断周波数である、
請求項１２に記載の復号装置。
【請求項１４】
前記関係情報は、前記第１の符号化処理で生じる符号化歪みに応じて異なり、
前記フィルタ情報が示す前記遮断周波数は、前記入力画像、前記第１の符号化データ、前記第１の復号画像のうちの少なくとも１つに基づいて推定された前記符号化歪みに対応する前記関係情報を用いて決定された、指定された前記ビットレートに対応する前記最大遮断周波数である、
請求項１３に記載の復号装置。
【請求項１５】
前記関係情報は、前記符号化歪みが大きいほど、所定の前記ビットレートに対応する前記最大遮断周波数は小さくなることを示す、
請求項１４に記載の復号装置。
【請求項１６】
前記第２の符号化処理は、前記第１の符号化処理よりも符号化効率が高い、
請求項１０乃至１５のうちの何れか１項に記載の復号装置。
【請求項１７】
前記第１の符号化データは、解像度を低減する処理が行われた前記入力画像に対する前記第１の符号化処理により生成され、
前記第２の符号化データは、解像度が高められた前記基本画像と、前記入力画像との差分画像に対する前記第２の符号化処理により生成され、
前記フィルタ処理部により生成された前記基本画像の解像度を高める画像拡大部をさらに備える、
請求項１０乃至１６のうちの何れか１項に記載の復号装置。
【請求項１８】
入力画像に対する第１の符号化処理により生成された第１の符号化データに対して、第１の復号処理を行って第１の復号画像を生成する第１の復号ステップと、
外部から、前記第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理により生成された基本画像と前記入力画像との差分画像に対する第２の符号化処理により生成された第２の符号化データと、前記所定の周波数帯域を示すフィルタ情報とを含む拡張データを取得する取得ステップと、
前記拡張データに含まれる前記第２の符号化データに対して、第２の復号処理を行って第２の復号画像を生成する第２の復号ステップと、
前記第１の復号ステップにより生成された前記第１の復号画像の周波数成分のうち、前記拡張データに含まれる前記フィルタ情報が示す前記所定の周波数帯域を遮断する前記フィルタ処理を行って前記基本画像を生成するフィルタ処理ステップと、
前記フィルタ処理ステップにより生成された前記基本画像と、前記第２の復号画像とに基づく合成画像を生成する合成画像生成ステップと、を含む、
復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、符号化装置、符号化方法、復号装置、および、復号方法に関する。
【背景技術】
【０００２】
近年、ＩＴＵ−Ｔ  ＲＥＣ．  Ｈ．２６４及びＩＳＯ／ＩＥＣ  １４４９６−１０として勧告されている動画像符号化の国際規格であるＨ．２６４／ＡＶＣ（以下、Ｈ．２６４と略す）の２倍の符号化効率を目指した動画像符号化方式Ｈｉｇｈ  Ｅｆｆｉｃｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＩＴＵ−Ｔ  ＲＥＣ．  Ｈ．２６５及びＩＳＯ／ＩＥＣ  ２３００８−２、以下、ＨＥＶＣと略す）の拡張規格として、画質や解像度などの様々なスケーラビリティを実現するスケーラブル符号化に関する規格の標準化活動が進められている。
【０００３】
従来、スケーラブル符号化の技術として、元画像（入力画像）に対する第１の符号化処理により生成された第１の符号化データを復号して得られる低画質画像を基本画像（ベース画像）とし、元画像と基本画像との差分画像に対する第２の符号化処理により生成された第２の符号化データと、第１の符号化データとをデコード側に出力し、デコード側では、第１の符号化データを復号して得られた基本画像と、第２の符号化データを復号して得られた差分画像とに基づいて、高画質な合成画像を生成する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、上記差分画像の符号化効率が悪いという問題がある。本発明が解決しようとする課題は、元画像と基本画像との差分画像の符号化効率を向上させることが可能な符号化装置、符号化方法、復号装置、および、復号方法を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の符号化装置は、第１の符号化部と、フィルタ処理部と、差分画像生成部と、第２の符号化部とを備える。第１の符号化部は、入力画像に対して第１の符号化処理を行って第１の符号化データを生成する。フィルタ処理部は、第１の符号化データを復号して得られた第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成する。差分画像生成部は、入力画像と基本画像との差分画像を生成する。第２の符号化部は、差分画像に対して第２の符号化処理を行って第２の符号化データを生成する。
【０００７】
実施形態の符号化方法は、第１の符号化ステップと、フィルタ処理ステップと、差分画像生成ステップと、第２の符号化ステップとを含む。第１の符号化ステップは、入力画像に対する第１の符号化処理を行って第１の符号化データを生成する。フィルタ処理ステップは、第１の符号化データを復号して得られた第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成する。差分画像生成ステップは、入力画像と基本画像との差分画像を生成する。第２の符号化ステップは、差分画像に対して第２の符号化処理を行って第２の符号化データを生成する。
【０００８】
実施形態の復号装置は、第１の復号部と、取得部と、第２の復号部と、フィルタ処理部と、合成画像生成部と、を備える。第１の復号部は、入力画像に対する第１の符号化処理により生成された第１の符号化データに対して、第１の復号処理を行って第１の復号画像を生成する。取得部は、外部から、第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理により生成された基本画像と入力画像との差分画像に対する第２の符号化処理により生成された第２の符号化データと、所定の周波数帯域を示すフィルタ情報とを含む拡張データを取得する。第２の復号部は、拡張データに含まれる第２の符号化データに対して、第２の復号処理を行って第２の復号画像を生成する。フィルタ処理部は、第１の復号部により生成された第１の復号画像の周波数成分のうち、フィルタ情報が示す所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成する。合成画像生成部は、フィルタ処理部により生成された基本画像と、第２の復号画像とを合成して合成画像を生成する。
【０００９】
実施形態の復号方法は、第１の復号ステップと、取得ステップと、第２の復号ステップと、フィルタ処理ステップと、合成画像生成ステップと、を含む。第１の復号ステップは、入力画像に対する第１の符号化処理により生成された第１の符号化データに対して、第１の復号処理を行って第１の復号画像を生成する。取得ステップは、外部から、第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理により生成された基本画像と入力画像との差分画像に対する第２の符号化処理により生成された第２の符号化データと、所定の周波数帯域を示すフィルタ情報とを含む拡張データを取得する。第２の復号ステップは、拡張データに含まれる第２の符号化データに対して、第２の復号処理を行って第２の復号画像を生成する。フィルタ処理ステップは、第１の復号ステップにより生成された第１の復号画像の周波数成分のうち、拡張データに含まれるフィルタ情報が示す所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成する。合成画像生成ステップは、フィルタ処理ステップにより生成された基本画像と、第２の復号画像とに基づく合成画像を生成する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る動画像符号化装置の構成例を示す図。
【図２】第１実施形態に係る第１の決定部の詳細な構成例を示す図。
【図３】実施形態に係るレート・歪み曲線を表す概念図。
【図４】実施形態に係る遮断周波数と基本ＰＳＮＲとの関係を表す概念図。
【図５】実施形態に係る遮断周波数と基本ＰＳＮＲからの改善幅との関係図。
【図６】実施形態に係る遮断周波数とＰＳＮＲとの関係を表す概念図。
【図７】実施形態に係る第１の決定部による処理の一例を示すフロー図。
【図８】変形例に係る第１の決定部の詳細な構成例を示す図。
【図９】変形例に係る符号化歪みごとの関係情報を表す概念図。
【図１０】変形例に係る第１の決定部による処理の一例を示すフロー図。
【図１１】変形例に係る第１の決定部の詳細な構成例を示す図。
【図１２】変形例に係る第１の決定部の詳細な構成例を示す図。
【図１３】第２実施形態に係る動画像復号装置の構成例を示す図。
【図１４】第３実施形態に係る動画像符号化装置の構成例を示す図。
【図１５】第４実施形態に係る動画像復号装置の構成例を示す図。
【図１６】第５実施形態に係る動画像符号化装置の構成例を示す図。
【図１７】第６実施形態に係る動画像復号装置の構成例を示す図。
【図１８】第７実施形態に係る動画像符号化装置の構成例を示す図。
【図１９】第８実施形態に係る動画像復号装置の構成例を示す図。
【図２０】第９実施形態に係る動画像符号化装置の構成例を示す図。
【図２１】第９実施形態に係るフレーム補間の例を説明するための図。
【図２２】第１０実施形態に係る動画像復号装置の構成例を示す図。
【図２３】第１１実施形態に係る動画像符号化装置の構成例を示す図。
【図２４】第１２実施形態に係る動画像復号装置の構成例を示す図。
【発明を実施するための形態】
【００１１】
本発明に係る符号化装置、符号化方法、復号装置、および、復号方法の実施の形態を説明する前に、本発明の概要を説明する。上述の従来技術のように、元画像（入力画像）に対する第１の符号化処理により生成された第１の符号化データを復号して得られる低画質画像を基本画像（ベース画像）とし、元画像と基本画像との差分画像に対する第２の符号化処理により生成された第２の符号化データと、第１の符号化データとをデコード側に出力する構成においては、第１の符号化処理で生じる符号化歪みが差分画像にそのまま重畳されることとなる。このため、この符号化歪みが、第２の符号化処理の符号化効率に影響を与えることになる。一般的な動画像符号化方式では、空間方向の冗長度を削減する技術と時間方向の冗長度を削減する技術を組み合わせた符号化が利用される。例えばＭＰＥＧ−２、Ｈ．２６４及びＨＥＶＣ等である。
【００１２】
ＭＰＥＧ−２、Ｈ．２６４及びＨＥＶＣ等の動画像符号化方式では、画像の空間方向の冗長度と時間方向の冗長度を削減するために画面内予測と画面間予測を行い、それぞれの予測により生成される残差信号を空間周波数に変換し、量子化を行うことで画質とビットレートとのバランスを制御した圧縮を行っている。人物画像あるいは自然画像等の一般的な画像は、空間相関と時間相関が高いという特徴を持つため、空間相関を利用した画面内予測により空間方向の冗長度を削減し、また画面間予測により時間方向の冗長度を削減する。一方、画面間予測は、符号化済みの画像を参照して符号化対象の画素ブロックの動き補償予測を行う。画面内予測あるいは画面間予測により生成される残差信号の空間周波数に対して量子化を行うが、人間の持つ視覚特性が低域の画質劣化に敏感で、高域の画質劣化に鈍感であることを利用して、画質に与える影響が大きい低周波成分を保護し、影響の小さい高周波成分を除去するように周波数成分毎に異なる重みを持つ量子化マトリックスを利用すれば、空間方向の冗長度を更に削減することができる。
【００１３】
これらの動画像符号化方式における符号化歪みは、量子化誤差そのものである。なお、変換・逆変換における誤差はあるが、量子化誤差と比較すると微小であるため無視することにする。一般的に、量子化誤差は無相関な雑音であるため、符号化歪みの空間方向の相関と時間方向の相関は共に非常に低い。これらの特徴を持つ差分画像は、一般的な動画像符号化方式で効率良く符号化できるものではないため、第２の符号化処理における符号化効率が悪いという問題がある。
【００１４】
本発明は、第１の符号化データを復号して得られる第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成することで、基本画像と入力画像との差分画像に対する第２の符号化処理における符号化効率が改善されることを見出したことを特徴の一つとする。以下、添付図面を参照しながら、本発明に係る符号化装置、符号化方法、復号装置、および、復号方法の実施の形態を詳細に説明する。
【００１５】
（第１実施形態）
図１は、本実施形態に係る動画像符号化装置１００の構成と、動画像符号化装置１００に係る符号化パラメータ、フレーム同期処理等を外部から制御する符号化制御部１０８とを示すブロック図である。図１に示すように、動画像符号化装置１００は、第１の符号化部１０１と、第１の復号部１０２と、第１の決定部１０３と、フィルタ処理部１０４と、差分画像生成部１０５と、第２の符号化部１０６と、多重化部１０７とを備える。
【００１６】
第１の符号化部１０１は、外部から入力された画像（以下、「入力画像」と呼ぶ）に対して、第１の符号化処理を行って第１の符号化データを生成する。そして、第１の符号化部１０１は、生成した第１の符号化データを、対応する不図示の動画像復号装置（後述の第２実施形態で説明する）へ出力するとともに、第１の復号部１０２へ送り出す。
【００１７】
第１の復号部１０２は、第１の符号化部１０１から受け取った第１の符号化データに対して、第１の復号処理を行って第１の復号画像を生成する。そして、第１の復号部１０２は、生成した第１の復号画像を、フィルタ処理部１０４へ送り出す。
【００１８】
フィルタ処理部１０４は、第１の復号部１０２から受け取った第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成する。本実施形態では、上記フィルタ処理は、第１の復号部１０２から受け取った第１の復号画像の周波数成分のうち、遮断周波数よりも低い周波数成分を通過させるローパスフィルタ処理である。より具体的には、フィルタ処理部１０４は、第１の復号部１０２から受け取った第１の復号画像の周波数成分のうち、第１の決定部１０３から受け取ったフィルタ情報が示す遮断周波数よりも低い周波数成分を通過させるローパスフィルタ処理を行って基本画像を生成する。そして、フィルタ処理部１０４は、生成した基本画像を差分画像生成部１０５へ出力する。
【００１９】
第１の決定部１０３は、符号化制御部１０８から符号化パラメータを受け取り、上記フィルタ処理により遮断される所定の周波数帯域を決定する。本実施形態では、第１の決定部１０３は、符号化制御部１０８から受け取った符号化パラメータに応じて、前述の遮断周波数を決定し、決定した遮断周波数を示すフィルタ情報を、フィルタ処理部１０４および多重化部１０７の各々へ送り出す。符号化パラメータおよび第１の決定部１０３の具体的な内容については後述する。
【００２０】
差分画像生成部１０５は、入力画像と基本画像との差分画像を生成する。より具体的には、差分画像生成部１０５は、入力画像と、フィルタ処理部１０４から受け取った基本画像との差分を計算して差分画像を生成する。そして、差分画像生成部１０５は、生成した差分画像を第２の符号化部１０６へ送り出す。
【００２１】
第２の符号化部１０６は、差分画像に対して第２の符号化処理を行って第２の符号化データを生成する。より具体的には、第２の符号化部１０６は、差分画像生成部１０５から差分画像を受け取り、その受け取った差分画像に対して第２の符号化処理を行い、第２の符号化データを生成する。そして、第２の符号化部１０６は、生成した第２の符号化データを多重化部１０７へ送り出す。
【００２２】
多重化部１０７は、第１の決定部１０３から受け取ったフィルタ情報と、第２の符号化部１０６から受け取った第２の符号化データとを多重化して拡張データを生成する。そして、多重化部１０７は、生成した拡張データを、対応する不図示の動画像復号装置へ出力する。
【００２３】
ここで、前述の符号化パラメータとは、目標ビットレート（単位時間当たりに送り出すことができるデータ量を表す指標）などに関する情報、予測符号化の方法などを示す予測情報、量子化変換係数に関する情報、及び量子化に関する情報などの符号化に必要となるパラメータである。例えば、符号化制御部１０８には、符号化パラメータが保持された内部メモリ（不図示）が設けられ、画素ブロックを符号化する際に、各処理ブロック（例えば第１の符号化部１０１や第２の符号化部１０６等）から参照される形態であってもよい。
【００２４】
また、例えば入力画像を符号化するための目標ビットレートを１Ｍｂｐｓと設定した場合、第１の符号化部１０１および第２の符号化部１０６は、この情報を参照して、量子化パラメータの値を制御し、発生符号量を制御する。例えば動画像符号化装置１００から出力されるトータルのビットレートを１Ｍｂｐｓと設定した場合、第１の符号化部１０１で発生した符号量を示す情報が符号化パラメータとして記録され、符号化制御部１０８から、都度ロードされて第２の符号化部１０６で発生する符号量のコントロールに利用できる。符号量のコントロールはレート制御と呼ばれ、例えばＭＰＥＧ−２の参照モデルであるＴＭ５などが知られている。
【００２５】
本実施形態では、符号化制御部１０８から入力される符号化パラメータには、第２の符号化データに与えられるビットレート（第２の符号化データのビットレートの目標値）が含まれ、第１の決定部１０３は、第２の符号化データに与えられるビットレートに応じて、遮断周波数を決定する。図２は、本実施形態に係る第１の決定部１０３の詳細な構成例を示すブロック図である。図２に示すように、第１の決定部１０３は、記憶部２０１と、第２の決定部２０２とを有する。
【００２６】
詳しくは後述するが、第２の符号化データのビットレートごとの、遮断周波数と、第２の符号化データを復号して得られる第２の復号画像の客観画質を示すＰＳＮＲとの関係は、それぞれ極大点を有する放物線（上に凸の曲線）で表される。そして、記憶部２０１は、ビットレートと、上記放物線の極大点に対応する遮断周波数（第２の復号画像のＰＳＮＲが最大となる遮断周波数）を示す最大遮断周波数との関係を示す関係情報を記憶する。上記ＰＳＮＲは、第２の復号画像が、元の画像である差分画像からどの程度劣化したのかを示す指標であり、その値が大きいほど、第２の復号画像の劣化度合いは少ない、つまり、第２の復号画像の客観画質は高いことを表す。この例では、ＰＳＮＲは、請求項の「画質情報」に対応しているが、これに限られるものではない。
【００２７】
第２の決定部２０２は、記憶部２０１に記憶された関係情報を用いて、指定されたビットレート（この例では、符号化制御部１０８から受け取った符号化パラメータが示す第２の符号化データのビットレート）に対応する最大遮断周波数を特定し、特定した最大遮断周波数を、フィルタ処理部１０４によるフィルタ処理に用いられる遮断周波数として決定する。記憶部２０１および第２の決定部２０２のより詳細な内容については後述する。
【００２８】
次に、本実施形態に係る動画像符号化装置１００の符号化方法の具体的な内容を説明する。まず、動画像符号化装置１００は、外部から入力画像を受け取り、受け取った入力画像を第１の符号化部１０１へ送り出す。
【００２９】
第１の符号化部１０１は、符号化制御部１０８から入力される符号化パラメータに基づいて、入力画像に対して第１の符号化処理を行い、第１の符号化データを生成する。第１の符号化部１０１は、生成した第１の符号化データを、対応する不図示の動画像復号装置に出力するとともに、第１の復号部１０２へ送り出す。なお、本実施形態における第１の符号化処理は、ＭＰＥＧ−２、Ｈ．２６４及びＨＥＶＣ等の動画像符号化方式に対応するエンコーダで行われる符号化処理であるが、これに限られるものではない。
【００３０】
第１の復号部１０２は、第１の符号化部１０１から受け取った第１の符号化データに対して、第１の復号処理を行って第１の復号画像を生成する。そして、第１の復号部１０２は、生成した第１の復号画像を、第１の決定部１０３に送り出す。第１の復号処理は、第１の符号化部１０１による第１の符号化処理と対をなすものである。なお、第１の符号化部１０１が、生成した第１の符号化データを局所復号する機能を有する場合、第１の復号部１０２をスキップして、第１の符号化部１０１から第１の復号画像を出力してもよい。つまり、第１の復号部１０２が設けられない形態であってもよい。
【００３１】
第１の決定部１０３は、符号化制御部１０８から、第２の符号化部１０６における第２の符号化処理で用いる符号化パラメータとして、第２の符号化データに与えられるビットレートを受け取る。そして、第１の決定部１０３は、このビットレートに応じて、第１の復号画像の周波数成分のうち遮断する周波数帯域を決定し、決定した周波数帯域を示すフィルタ情報を、フィルタ処理部１０４と多重化部１０７へ送り出す。遮断する周波数帯域の決定方法については、後で詳細に説明する。なお、フィルタ情報は、第１の復号画像の周波数成分のうち所定の周波数帯域だけ遮断するフィルタ係数そのものを含んでもよいし、フィルタのタップ数やフィルタ形状を更に含んでもよい。また、フィルタ係数を示す情報として、予め用意した複数のフィルタ係数から選択して、当該フィルタ係数を示すインデクスの情報をフィルタ情報に含めてもよい。この場合には、対応する動画像復号装置でも、同一のフィルタ係数を予め保持しておく必要がある。なお、予め用意したフィルタ係数が１つの場合、フィルタ係数を示すインデクスをフィルタ情報として送らなくてもよい。
【００３２】
フィルタ処理部１０４は、第１の復号部１０２から受け取った第１の復号画像に対して、第１の決定部１０３から受け取ったフィルタ情報に基づくフィルタ処理（帯域制限フィルタ処理）を行って基本画像を生成する。そして、フィルタ処理部１０４は、生成した基本画像を、差分画像生成部１０５へ送り出す。フィルタ処理部１０４によるフィルタ処理は、例えば以下の式１で表される空間フィルタ処理により実現することができる。
【数１】
2014171097.tif 000003
上記式１において、ｆ（ｘ，ｙ）は、フィルタ処理部１０４に入力される画像、つまり、第１の復号画像の座標（ｘ，ｙ）の画素値を表し、ｇ（ｘ，ｙ）は、フィルタ処理により生成された画像、つまり、基本画像の座標（ｘ，ｙ）の画素値を表す。また、ｈ（ｘ，ｙ）は、フィルタ係数を表す。この例では、座標（ｘ，ｙ）は、画像を構成するとともに、マトリクス状に配列される複数の画素のうち、最も左上に位置する画素を基準として、垂直方向の下へ向かう方向をｙ軸の正の方向、水平方向の右へ向かう方向をｘ軸の正の方向とする。上記式１における整数ｉおよびｊのそれぞれの取り得る値は、フィルタの水平方向及び垂直方向のタップ長にそれぞれ依存する。フィルタ係数ｈ（ｘ，ｙ）は、フィルタ情報が示す周波数帯域を遮断するフィルタ特性を持つものであればどんなフィルタ係数でもよいが、特定の周波数成分を強調しないフィルタ特性を持つフィルタ係数が望ましい。通過させる周波数成分のうち特定の周波数成分を強調するフィルタ特性の場合、第１の復号画像の周波数成分のうち特定の周波数成分が強調されるため、第１の符号化処理で生じた符号化歪みの周波数成分のうち特定の周波数成分も強調される。そうすると、強調された分だけ、差分画像に含まれる符号化歪みも強調されるため、第２の符号化処理における符号化効率が低下することになる。この場合、フィルタ係数の値は負の値である。
【００３３】
また、フィルタ処理部１０４によるフィルタ処理は、例えば以下の式２で表される周波数フィルタ処理により実現することもできる。
【数２】
2014171097.tif 000004
上記式２において、Ｆ（ｕ，ｖ）は、フィルタ処理部１０４に入力される画像、つまり、第１の復号画像をフーリエ変換したものを表し、Ｇ（ｕ，ｖ）は、周波数フィルタ処理の出力を表し、Ｈ（ｕ，ｖ）は周波数フィルタを表す。ｕは水平方向の周波数を表し、ｖは垂直方向の周波数を表す。周波数ｕと周波数ｖが、フィルタ情報が示す周波数帯域に含まれる場合、周波数フィルタＨ（ｕ，ｖ）の値を０にし、周波数uと周波数vが、フィルタ情報が示す周波数帯域に含まれない場合、周波数フィルタＨ（ｕ，ｖ）の値を１にすればよい。そして、Ｇ（ｕ，ｖ）を、逆フーリエ変換することで、基本画像の画素値ｇ（ｘ，ｙ）が生成される。
【００３４】
なお、フィルタ処理部１０４によるフィルタ処理は、第１の復号画像を構成する全ての画素に対して行う必要はなく、所定の領域にだけ適用してもよい。フィルタ処理が適用される領域の単位は、フレーム、フィールド、画素ブロック或いは画素単位などで切り替えることもできる。この場合、フィルタ処理を適用する領域を示す情報やフィルタ処理の適用の可否に関する情報を、フィルタ情報に更に含める必要がある。なお、例えば第１の復号画像や第１の符号化データ等から所定の判断基準に従って、所定の領域を一意に特定することができる場合は、領域を示す情報をフィルタ情報に含めなくても良い。例えば、予め定めた固定のブロックサイズ毎に領域を切り替える場合は領域を示す情報を含めなくてもよい。また、例えば第１の復号画像や第１の符号化データ等から所定の判断基準に従って、フィルタ処理の有無を一意に特定することができる場合は、フィルタ処理の有無を示す情報をフィルタ情報に含めなくても良い。例えば、符号化歪みを推定し、符号化歪みが予め定めた基準よりも大きい場合はフィルタ処理を適用し、小さい場合はフィルタ処理を適用しないとする場合は、フィルタ処理の有無を示す情報を含めなくてもよい。これらの場合、対応する不図示の動画像復号装置でも同じ判断基準に従う必要がある。
【００３５】
さらに、上述のフィルタ処理は、領域毎に異なる周波数帯域を遮断してもよい。この場合には、領域を示す情報に加えて、領域毎に遮断する周波数帯域を示す情報をフィルタ情報に含めてもよい。例えば４種類のフィルタを切り替える場合、どのフィルタを適用するかを示す情報（例えば２ビットの情報）を、フィルタ情報に含めることもできる。なお、例えば第１の復号画像や第１の符号化データ等から所定の判断基準に従って、遮断する周波数帯域を一意に特定することができる場合は、遮断する周波数帯域を示す情報をフィルタ情報に含めなくても良い。例えば、符号化歪みを推定し、符号化歪みの大きさに応じてフィルタを切り替える場合、対応する動画像復号装置でも同じ判断基準に従う必要がある。
【００３６】
本実施形態では、フィルタ処理部１０４によるフィルタ処理は、第１の復号画像の周波数成分のうち、所定の遮断周波数よりも低い周波数だけを通過させる（遮断周波数以上の周波数を遮断する）ローパスフィルタ処理である。より具体的には、フィルタ処理部１０４は、第１の復号部１０２から受け取った第１の復号画像に対して、当該第１の復号画像の周波数成分のうち、第１の決定部１０３から受け取ったフィルタ情報が示す遮断周波数よりも低い周波数だけを通過させる（遮断周波数以上の周波数を遮断する）ローパスフィルタ処理を施すことで基本画像を生成する。この場合、フィルタ情報は、所定の遮断周波数とローパスフィルタを示す情報を含んでもよい。なお、フィルタ処理部１０４によるフィルタ処理をローパスフィルタ処理に限定する場合、ローパスフィルタを示す情報をフィルタ情報に含めなくてもよい。
【００３７】
次に、差分画像生成部１０５は、フィルタ処理部１０４から基本画像を受け取り、入力画像と基本画像との差分を計算して差分画像を生成する。そして、差分画像生成部１０５は、生成した差分画像を、第２の符号化部１０６へ送り出す。ここで、本実施形態では、入力画像および基本画像の各々のビット深度は８ビットで表現されていることとする。すなわち、それぞれの画像を構成する画素は０から２５５の整数値を取り得る。この場合、入力画像と基本画像との差分を単純計算すると、差分画像を構成する画素は−２５５から２５５の値を取り、負の値を含む９ビットの範囲となる。しかしながら、一般的な動画像符号化方式では、入力として負の値の画素から構成される画像をサポートしていない。そのため、差分画像が第２の符号化部１０６でサポートされるように（差分画像の画素が、第２の符号化部１０６の符号化方法にて規定されている画素値の範囲内となるように）、差分画像を構成する画素を変換する必要がある。変換の方法は、任意の方法を用いてもよいが、差分画像を構成する各画素に所定のオフセット値を加算した後に所定の範囲に収まるようにクリッピングを行うことにより変換してもよい。例えば、第２の符号化部１０６の入力としてビット深度が８ビットの画像を想定する場合、以下の式３を用いて差分を計算することにより、差分画像を構成する画素を０から２５５の範囲に変換することができる。
【数３】
2014171097.tif 000005
【００３８】
上記式３において、Ｏｒｇ（ｘ，ｙ）は入力画像の座標（ｘ，ｙ）の画素値を表し、Ｂａｓｅ（ｘ，ｙ）は基本画像の座標（ｘ，ｙ）の画素値を表し、Ｄｉｆｆ（ｘ，ｙ）は差分画像の座標（ｘ，ｙ）の画素値を表す。上記式３において、所定のオフセット値が１２８に相当し、所定の範囲が０から２５５に相当する。この変換により、差分画像は、第２の符号化部１０６がサポートするビット深度が８ビットの画像に変換することができる。
【００３９】
上記の変換では、クリッピングにより実際の差分値と異なり、誤差が生じる場合があるが、差分画像は、第１の符号化部１０１における第１の符号化処理による符号化歪みから構成されるため、一般に差分画像を構成する画素の分散は非常に小さく、誤差が生じることは少ない。
【００４０】
また、例えば以下の式４を用いて、差分画像を構成する各画素の変換を行うこともできる。
【数４】
2014171097.tif 000006
上記式４において、「ａ＞＞ｂ」は、ａの各ビットをｂビット右へシフトすることを意味する。したがって、上記式４において、Ｄｉｆｆ（ｘ，ｙ）は、（Ｏｒｇ（ｘ，ｙ）−Ｂａｓｅ（ｘ，ｙ）＋２５５）を１ビット右へシフトしたものを表す。このように、入力画像と基本画像との差分の画素値に、所定のオフセット値（上記式４においては「２５５」）を加算し、加算後の値を、ビットシフトすることにより、画素値の変換を行うことができる。上記の変換により、差分画像Ｄｉｆｆ（ｘ，ｙ）を構成する各画素の画素値を、０から２５５の範囲内に収めることができる。
【００４１】
上記差分画像生成部１０５では、第２の符号化部１０６でサポートする画像のビット深度が８ビットであることを想定して説明したが、第２の符号化部１０６でサポートする画像のビット深度が１０ビットである場合もあり得る。この場合、入力画像と基本画像との差分を取って得られた９ビットの情報を、０〜１０２４の値にオフセットして、１０ビット情報としてエンコードするような方法も考えられる。また、上記差分画像生成部１０５では、入力画像と基本画像のビット深度が共に８ビットであることを想定して説明したが、異なるビット深度である場合もあり得る。例えば、入力画像のビット深度が８ビットであり、基本画像のビット深度が１０ビットの場合などがあり得る。このような場合、差分画像を生成する前に入力画像と基本画像のビット深度が同じになるように画素の変換を行うことが望ましい。例えば、入力画像を構成する画素を２ビット左へシフトすることにより、入力画像のビット深度が１０ビットとなり、基本画像のビット深度と同じになる。また、基本画像を構成する画素を２ビット右へシフトすることにより、基本画像のビット深度が８ビットとなり、入力画像のビット深度と同じになる。どちらのビット深度に揃えるかは、第２の符号化部１０６でサポートする画像のビット深度によって異なる。例えば、第２の符号化部１０６でサポートする画像のビット深度が８ビットであれば、入力画像と基本画像のビット深度が共に８ビットになるように変換し、先述のとおりに差分画像を生成すればよい。一方、第２の符号化部１０６でサポートする画像のビット深度が１０ビットであれば、入力画像と基本画像のビット深度が共に１０ビットになるように変換してから差分画像を生成する。この場合、差分画像のビット深度が１０ビットなるように差分画像を構成する画素の変換を行う必要がある。変換の方法は任意の方法を用いてもよいが、変換における誤差が小さくなるような方法が望ましい。
【００４２】
なお、上述したように、本実施形態では、差分画像生成部１０５が、差分画像に含まれる各画素の画素値が特定の範囲（例えば０から２５５の範囲）に含まれるように、差分画像に含まれる各画素の画素値を変換する機能を有しているが、これに限らず、例えば差分画像に含まれる各画素の画素値を変換する機能が、差分画像生成部１０５から独立して設けられる形態であってもよい。
【００４３】
次に、第２の符号化部１０６は、差分画像生成部１０５から差分画像を受け取り、符号化制御部１０８から入力される符号化パラメータに基づいて、差分画像に対する第２の符号化処理を行うことで第２の符号化データを生成する。そして、第２の符号化部１０６は、生成した第２の符号化データを、多重化部１０７へ送り出す。なお、本実施形態における第２の符号化処理は、ＭＰＥＧ−２、Ｈ．２６４及びＨＥＶＣ等の動画像符号化方式に対応するエンコーダで行われる符号化処理であるが、これに限られるものではない。また、第２の符号化処理として、スケーラブル符号化を行ってもよい。例えば、Ｈ．２６４におけるスケーラブル符号化であるＨ．２６４／ＳＶＣを利用し、差分画像をベースレイヤとエンハンスメントレイヤに分割して符号化することで、より柔軟なスケーラビリティを実現することができる。
【００４４】
また、本実施形態では、第２の符号化部１０６における第２の符号化処理は、第１の符号化部１０１における第１の符号化処理よりも符号化効率が高い。つまり、第２の符号化処理で用いる動画像符号化方式として、第１の符号化処理よりも符号化効率の高い動画像符号化方式を用いることにより、より効率の良い符号化を行うことができる。例えばデジタル放送のように第１の符号化データがＭＰＥＧ−２で符号化されている必要がある場合にも、Ｈ．２６４で符号化した第２の符号化データを拡張データとしてＩＰ伝送網などを利用して配信することで、小さなデータ量で復号画像の画質を高めることが可能になる。
【００４５】
次に、多重化部１０７は、フィルタ処理部１０４からフィルタ情報を受け取り、第２の符号化部１０６から第２の符号化データを受け取る。そして、多重化部１０７は、フィルタ処理部１０４から受け取ったフィルタ情報と、第２の符号化部１０６から受け取った第２の符号化データとを多重化し、多重化したデータを、拡張データとして出力する。なお、第１の符号化データと拡張データを別々の伝送路で送信してもよいし、それぞれを更に多重化して同一伝送路で送信してもよい。前者は、例えば第１の符号化データを地上デジタル放送で放送し、拡張データをＩＰ配信する態様である。後者は、ＩＰ等のマルチキャストで利用される態様である。
【００４６】
次に、フィルタ処理部１０４によるフィルタ処理の効果について説明する。本実施形態では、第１の復号画像に対して、所定の遮断周波数よりも低い周波数成分を通過させるローパスフィルタ処理を行うことで、差分画像の空間方向の相関と時間方向の相関を低下させている符号化歪みを含む高周波成分を除去する。ここで、第１の復号画像に対して上記ローパスフィルタ処理を施すことで生成される基本画像と、入力画像との差分画像は、第１の符号化処理で生じる符号化歪みの低周波成分と入力画像の高周波成分から構成されるが、上記ローパスフィルタ処理により、符号化歪みの高周波成分が除去され、かつ、空間方向の相関と時間方向の相関が比較的高い入力画像の周波数成分が増加したことで、空間方向の相関と時間方向の相関が共に改善し、第２の符号化処理における符号化効率が改善される。
【００４７】
以下、遮断周波数の決定方法について説明する。図３は、第２符号化データに与えられるビットレートと、第２の符号化データを復号して得られる第２の復号画像の客観画質を示すＰＳＮＲとの関係を表すレート・歪み曲線を示す概念図である。図３においては、高い遮断周波数のローパスフィルタ処理が適用された差分画像に対応する第２の符号化データ（差分画像に対する第２の符号化処理により生成された第２の符号化データ）に与えられるビットレートと、第２の復号画像のＰＳＮＲとの関係を表すレート・歪み曲線と、低い遮断周波数のローパスフィルタ処理が適用された差分画像に対応する第２の符号化データに与えられるビットレートと、第２の復号画像のＰＳＮＲとの関係を表すレート・歪み曲線の２つが例示されている。
【００４８】
なお、上記ＰＳＮＲは、第２の復号画像が、元の画像である差分画像からどの程度劣化したのかを示す指標であり、その値が大きいほど、第２の復号画像の劣化度合いは少ない、つまり、第２の復号画像の客観画質は高いことを表す。第２の復号画像のＰＳＮＲは、以下の式５で表すことができる。
【数５】
2014171097.tif 000007
【００４９】
上記式５において、Ｒｅｃ（ｘ，ｙ）は、第２の復号画像の座標（ｘ，ｙ）における画素値を表す。また、ｍは水平方向の画素数を表し、ｎは垂直方向の画素数を表す。図３に示すように、特定のビットレートで、２つのレート・歪み曲線は交差し、特定のビットレートより低いビットレートの場合、高い遮断周波数のローパスフィルタ処理が適用された差分画像を符号化した方が第２の復号画像のＰＳＮＲは高くなる。一方、特定のビットレートよりも高いビットレートの場合、低い遮断周波数のローパスフィルタ処理が適用された差分画像を符号化した方が第２の復号画像のＰＳＮＲは高くなる。そのため、第２の符号化データに与えられるビットレートに応じて、遮断周波数を適切に決定することにより、第２の符号化処理の符号化効率を改善することができる。
【００５０】
図３は、第２の符号化データに与えられるビットレートと第２の復号画像のＰＳＮＲとの関係を表すレート・歪み曲線であるが、上記式３においてクリッピングされなかった場合、第２の復号画像のＰＳＮＲは、対応する不図示の動画像復号装置で生成される合成画像（第１の符号化データを復号して得られる第１の復号画像に対して、フィルタ処理部１０４によるフィルタ処理と同一のフィルタ処理を行うことで生成される基本画像と、第２の符号化データを復号して得られる第２の復号画像との合成画像）のＰＳＮＲと同一である。このため、図３に例示するレート・歪み曲線は、第２の符号化データに与えられるビットレートと、合成画像のＰＳＮＲとの関係を表すレート・歪み曲線であると捉えることもできる。上記の通り、クリッピングされるケースは稀であるため、合成画像のＰＳＮＲと第２の復号画像のＰＳＮＲはほぼ一致する。そのため、第２の符号化処理における符号化効率を改善することにより、結果として、対応する不図示の動画像復号装置で生成される合成画像のＰＳＮＲを向上させることができる。
【００５１】
また、第２の符号化部１０６がスキップされ、第２の符号化データが出力されなかった場合、対応する動画像復号装置では、第２の符号化データの復号は行われず、対応する動画像復号装置で生成される合成画像は、基本画像そのものとなる。この場合、合成画像のＰＳＮＲは、図３におけるレート・歪み曲線においてビットレートを限りなく０に近づけた場合の第２の復号画像のＰＳＮＲとみなすことができる。ここでは、レート・歪み曲線において第２の符号化データのビットレートを限りなく０に近づけた場合の第２の復号画像のＰＳＮＲを、「基本ＰＳＮＲ」と定義する。
【００５２】
図３に例示された２つのレート・歪み曲線の各々における基本ＰＳＮＲを比較すると、高い遮断周波数のローパスフィルタ処理が適用された差分画像を符号化した場合の基本ＰＳＮＲは、低い遮断周波数のローパスフィルタ処理が適用された差分画像を符号化した場合の基本ＰＳＮＲよりもΔ１だけ高い値を示す。基本ＰＳＮＲは、以下の式６により算出することができる。
【数６】
2014171097.tif 000008
【００５３】
次に、基本ＰＳＮＲと遮断周波数との関係を説明する。遮断周波数が低くなるにつれて、第１の復号画像の周波数成分のうち遮断される周波数帯域が広がり、第１の復号画像にフィルタ処理を施すことで生成された基本画像と入力画像との差分画像に含まれる入力画像の周波数成分が増加する。一般的に、入力画像と符号化歪みの周波数成分のパワー（振幅の二乗値）を比較すると入力画像のほうが大きいため、入力画像の周波数成分が増加すると、差分画像のエネルギー（各周波数成分のパワーの合計）も増加する。つまり、遮断周波数が低くなるにつれて（入力画像の周波数成分が増加するにつれて）、入力画像Ｏｒｇ（ｘ，ｙ）と基本画像Ｂａｓｅ（ｘ，ｙ）との平均二乗誤差ＭＳＥは大きくなるので、上記式６からも理解されるように、基本ＰＳＮＲは小さくなっていく。図４は、遮断周波数と基本ＰＳＮＲとの関係を表す概念図である。図４に示すように、遮断周波数が高くなるにつれて、基本ＰＳＮＲは単調増加する。
【００５４】
一方、図３において、第２の符号化データに与えられるビットレートをｘ１に固定した場合における基本ＰＳＮＲの改善幅を比較すると、高い遮断周波数のローパスフィルタ処理が適用された差分画像を符号化した第２の符号化データを出力する場合においてはΔ２だけ改善されるのに対して、低い遮断周波数のローパスフィルタ処理が適用された差分画像を符号化した第２の符号化データを出力する場合においては、Δ２よりも大きいΔ３だけ改善される。
【００５５】
ここで、基本ＰＳＮＲからの改善幅と遮断周波数との関係について説明する。上述したように、第１の符号化処理で生じた符号化歪みは入力画像と比較して空間方向の相関と時間方向の相関が低いが、遮断周波数が低くなるにつれて入力画像の周波数成分が占める割合が増加することにより、差分画像の空間方向の相関と時間方向の相関が改善され、一般的な動画像符号化方式で圧縮しやすい画像（符号化しやすい画像）になる。圧縮しやすい画像は、圧縮しにくい画像と比較して、あるビットレートにおける基本ＰＳＮＲからの改善幅は大きい。図５は、遮断周波数と、あるビットレートにおける基本ＰＳＮＲからの改善幅との関係を表した概念図である。図５に示すように、遮断周波数が高くなるにつれて、基本ＰＳＮＲからの改善幅は単調減少する。見方を変えれば、遮断周波数が低くなるにつれて、基本ＰＳＮＲからの改善幅は単調増加する。
【００５６】
従って、遮断周波数を低く設定すると、基本ＰＳＮＲは低いが、あるビットレートにおける基本ＰＳＮＲからの改善幅は大きくなる。逆に、遮断周波数を高く設定すると、基本ＰＳＮＲは高いが、あるビットレートにおける基本ＰＳＮＲからの改善幅は小さくなる。第２の復号画像のＰＳＮＲは、基本ＰＳＮＲと基本ＰＳＮＲからの改善幅の和であることから、第２の符号化データに与えられるビットレートを固定した場合、遮断周波数と第２の復号画像のＰＳＮＲとの関係は、図６に示すような上に凸の曲線（極大点を有する放物線）で表される。したがって、遮断周波数と第２の復号画像のＰＳＮＲとの関係を表す曲線の極大点を、第２の復号画像のＰＳＮＲが最大となる遮断周波数（以下の説明では、「最大遮断周波数」と呼ぶ場合がある）として一意に決定することができる。以上のように、本実施形態では、ビットレートごとの、遮断周波数と第２の復号画像のＰＳＮＲとの関係は、それぞれ極大点を有する放物線で表されることを見出した。
【００５７】
以上より、本実施形態では、第２の符号化データに与えられるビットレートと、最大遮断周波数との関係を、様々な入力画像から予め算出し、第２の符号化データに与えられ得るビットレートごとに、最大遮断周波数を対応付けたテーブル形式の情報（以下、テーブル情報と呼ぶ場合がある）が、図２に示す記憶部２０１に保持される。本実施形態では、図２に示す第２の決定部２０２は、符号化制御部１０８から、第２の符号化データに与えられるビットレートを符号化パラメータとして受け取り、記憶部２０１に保持されたテーブル情報を参照して、第２の符号化データに与えられたビットレートに対応する最大遮断周波数を特定する。そして、第２の決定部２０２は、特定した最大遮断周波数を、フィルタ処理部１０４によるフィルタ処理に用いられる遮断周波数として決定し、決定した遮断周波数を示すフィルタ情報を、フィルタ処理部１０４および多重化部１０７の各々へ送り出す。
【００５８】
また、第２の符号化データに与えられるビットレートと、最大遮断周波数との関係を、様々な入力画像から予め算出し、数式モデル化した情報（以下、数式モデル情報と呼ぶ場合がある）を、図２に示す記憶部２０１に保持しておくこともできる。この場合、図２に示す第２の決定部２０２は、符号化制御部１０８から、第２の符号化データに与えられるビットレートを符号化パラメータとして受け取り、記憶部２０１に保持された数式モデル情報から、最大遮断周波数を特定し、特定した最大遮断周波数を、フィルタ処理に用いられる遮断周波数として決定する。そして、第２の決定部２０２は、決定した遮断周波数を示すフィルタ情報を、フィルタ処理部１０４および多重化部１０７の各々へ送り出す。
【００５９】
なお、上述のテーブル情報、および、数式モデル情報は、請求項の「関係情報」に対応しているが、これに限られるものではない。
【００６０】
図７は、第１の決定部１０３による処理の一例を示すフローチャートである。図７に示すように、まず、第２の決定部２０２は、符号化制御部１０８から、第２の符号化データに与えられるビットレートを含む符号化パラメータを取得する（ステップＳ１０１）。次に、第２の決定部２０２は、記憶部２０１に保持されたテーブル情報を参照して、フィルタ処理に用いられる遮断周波数を決定する（ステップＳ１０２）。より具体的には、第２の決定部２０２は、記憶部２０１に保持されたテーブル情報を参照して、第２の符号化データに与えられるビットレートに対応する最大遮断周波数を特定し、特定した最大遮断周波数を、フィルタ処理に用いられる遮断周波数として決定する。
【００６１】
次に、第２の決定部２０２は、フィルタ処理に用いられる遮断周波数を示すフィルタ情報を生成する（ステップＳ１０３）。そして、第２の決定部２０２は、生成したフィルタ情報を、フィルタ処理部１０４および多重化部１０７の各々へ送り出す。
【００６２】
以上に説明したように、本実施形態に係る動画像符号化装置１００は、入力画像に対する第１の符号化処理により生成された第１の符号化データを復号して得られる低画質画像を基本画像とし、入力画像と基本画像との差分画像に対する第２の符号化処理により生成された第２の符号化データと、第１の符号化データとを、対応する動画像復号装置へ出力するスケーラブル符号化を行う。そして、動画像符号化装置１００は、差分画像を生成する前に、第１の符号化データを復号して得られた第１の復号画像の周波数成分のうち、所定の遮断周波数よりも低い周波数成分を通過させるローパスフィルタ処理を行って基本画像を生成する。ここで、第１の復号画像に対して上記ローパスフィルタ処理を施すことで生成される基本画像と、入力画像との差分画像は、第１の符号化処理で生じる符号化歪みの低周波成分と入力画像の高周波成分から構成されるが、上記ローパスフィルタ処理により、符号化歪みの高周波成分が除去され、かつ、空間方向の相関と時間方向の相関が比較的高い入力画像の周波数成分が増加したことで、差分画像の空間方向の相関と時間方向の相関が共に改善し、第２の符号化処理における符号化効率が改善される。
【００６３】
（第１実施形態の変形例１）
例えば上述の第１の決定部１０３は、入力画像、第１の符号化データ、第１の復号画像のうちの少なくとも１つに基づいて、第１の符号化処理で生じる符号化歪みを推定する推定部をさらに有することもできる。この場合、記憶部２０１は、符号化歪みに応じて異なる関係情報（第２の符号化データに与えられるビットレートと最大遮断周波数との関係を示す情報）を記憶する。そして、第２の決定部２０２は、推定部により推定された符号化歪みに対応する関係情報を用いて、指定されたビットレートに対応する最大遮断周波数を特定し、特定した最大遮断周波数を、フィルタ処理に用いられる前記遮断周波数として決定することもできる。以下、具体的な内容を説明する。
【００６４】
図８は、本変形例１に係る第１の決定部１０３の詳細な構成例を示すブロック図である。図８に示すように、第１の決定部１０３は、推定部２０３をさらに備える。この例では、推定部２０３は、入力画像に基づいて符号化歪みを推定する。詳細な内容については後述する。
【００６５】
ここで、第１の符号化処理で生じた符号化歪みに応じて、前述の基本ＰＳＮＲと、あるビットレートにおける基本ＰＳＮＲからの改善幅は異なる。符号化歪みが大きいほど、上記式６における入力画像Ｏｒｇ（ｘ，ｙ）と基本画像Ｂａｓｅ（ｘ，ｙ）との平均二乗誤差ＭＳＥも増大することになるので、基本ＰＳＮＲは小さくなる。また、符号化歪みにおける空間方向の相関と時間方向の相関が低い分だけ、基本ＰＳＮＲからの改善幅も小さくなる。前述したように、遮断周波数が低くなるにつれて、基本ＰＳＮＲからの改善幅は単調増加するので、図９に示すように、符号化歪みが大きいほど、遮断周波数は低く設定され、符号化歪みが小さいほど、遮断周波数は高く設定されることが望ましい。
【００６６】
以上より、第２の符号化データに与えられるビットレートと最大遮断周波数との関係を示す関係情報は、第１の符号化処理で生じる符号化歪みに応じて可変に設定されることが望ましい。より具体的には、関係情報は、図９に示すように、符号化歪みが大きいほど、所定のビットレートに対応する最大遮断周波数が小さくなるように設定されることが望ましい。この例では、符号化歪みを１つ以上のクラスに分類し、クラス毎に、第２の符号化データに与えられるビットレートと最大遮断周波数との関係を示すテーブル情報（例えば、想定され得るビットレートごとに、最大遮断周波数を対応付けたテーブル形式の情報）を記憶部２０１に保持しておく。つまり、記憶部２０１は、クラスの数と同数のテーブル情報を保持する。
【００６７】
また、これに限らず、例えば第２の符号化データに与えられるビットレート、最大遮断周波数、第１の符号化処理で生じる符号化歪みの関係を示すテーブル情報を予め算出して保持しておいてもよい。この場合、記憶部２０１は、ひとつのテーブル情報を保持するだけで済む。また、例えば第２の符号化データに与えられるビットレート、最大遮断周波数、第１の符号化処理で生じる符号化歪みとの関係を、予め数式モデル化し、この数式モデルを示す数式モデル情報を記憶部２０１に保持しておいてもよい。この場合、上記のクラス分類はなくてもよい。要するに、記憶部２０１は、第１の符号化処理で生じる符号化歪みに応じて異なる（変化する）関係情報を記憶する形態であればよい。
【００６８】
図８に戻って説明を続ける。推定部２０３は、入力画像を受け取り、所定の判断基準に従って、第１の符号化処理で生じる符号化歪みを推定する。そして、推定部２０３は、推定した符号化歪みを１つ以上のクラスのうちの何れかのクラスに分類し、分類したクラスを示す情報を、テーブル切り替え情報として第２の決定部２０２へ送り出す。
【００６９】
前述したように、記憶部２０１は、クラス毎に、前述のテーブル情報を保持している。また、第２の決定部２０２は、符号化制御部１０８から、第２の符号化データに与えられるビットレートを符号化パラメータとして受け取り、推定部２０３から、テーブル切り替え情報を受け取る。第２の決定部２０２は、推定部２０３から受け取ったテーブル切り替え情報が示すクラスに対応するテーブル情報を記憶部２０１から読み出す。そして、第２の決定部２０２は、その読み出したテーブル情報を参照して、符号化制御部１０８から受け取った第２の符号化データに与えられるビットレート（符号化パラメータ）に対応する最大遮断周波数を特定し、特定した最大遮断周波数を、フィルタ処理に用いられる遮断周波数として決定する。
【００７０】
なお、この例では、上記所定の判断基準として、空間方向の相関と時間方向の相関を定量的に評価できる画像特徴量を用いる。例えば、隣接する画素間の相関、周波数分布等の画像特徴量を算出することで、空間方向の相関を定量的に評価できる。また、画面内の動き量を算出することで、時間方向の相関を定量的に評価できる。一般に、隣接する画素間の相関が低い、空間周波数が高い、動き量が大きいといった特徴を持つ画像は、空間方向の相関と時間方向の相関が低いため、符号化歪みが生じ易い。この例では、推定部２０３は、受け取った入力画像の画像特徴量を算出し、算出した画像特徴量に基づいて、第１の符号化処理で生じる符号化歪みを推定する。なお、符号化歪みを所定の領域ごとに推定してもよい。この場合、フィルタ処理を適用する領域を示す情報を、フィルタ情報に更に含める必要があるが、符号化歪みの大きさに応じてフィルタを切り替えることにより、差分画像の符号化効率を向上させることができる。
【００７１】
図１０は、本変形例１に係る第１の決定部１０３による処理の一例を示すフローチャートである。図１０に示すように、まず、推定部２０３は、第１の符号化処理で生じる符号化歪みを推定する（ステップＳ２０１）。より具体的には、推定部２０３は、受け取った入力画像の画像特徴量を算出し、算出した画像特徴量に基づいて、符号化歪みを推定する。推定部２０３は、推定した符号化歪みを１つ以上のクラスのうちの何れかのクラスに分類し、分類したクラスを示す情報を、テーブル切り替え情報として第２の決定部２０２へ送り出す。
【００７２】
次に、第２の決定部２０２は、推定部２０３から受け取ったテーブル切り替え情報が示すクラスに対応するテーブル情報を記憶部２０１から読み出す（ステップＳ２０２）。次に、第２の決定部２０２は、読み出したテーブル情報を参照して、フィルタ処理に用いられる遮断周波数を決定する（ステップＳ２０３）。より具体的には、第２の決定部２０２は、ステップＳ２０２で読み出したテーブル情報を参照して、符号化制御部１０８から受け取った第２の符号化データに与えられるビットレート（符号化パラメータ）に対応する最大遮断周波数を特定し、特定した最大遮断周波数を、フィルタ処理に用いられる遮断周波数として決定する。
【００７３】
次に、第２の決定部２０２は、フィルタ処理に用いられる遮断周波数を示すフィルタ情報を生成する（ステップＳ２０４）。そして、第２の決定部２０２は、生成したフィルタ情報を、フィルタ処理部１０４および多重化部１０７の各々へ送り出す。
【００７４】
以上に説明したように、この例では、第１の符号化処理で生じる符号化歪みに応じてテーブル情報を切り替え、切り替えたテーブル情報を参照して、第２の符号化データに与えられるビットレートに対応する最大遮断周波数を、フィルタ処理に用いられる遮断周波数として決定する。これにより、第１の符号化処理で生じる符号化歪みが第２の符号化処理の符号化効率に与える影響をさらに低減することができるので、第２の符号化処理の符号化効率を更に改善することができる。
【００７５】
（第１実施形態の変形例２）
上述の変形例１では、推定部２０３は、入力画像に基づいて、第１の符号化処理で生じる符号化歪みを推定しているが、例えば推定部２０３は、第１の符号化データに基づいて、符号化歪みを推定することもできる。以下、具体的な内容を説明する。
【００７６】
図１１は、本変形例２に係る第１の決定部１０３の詳細な構成例を示すブロック図である。図１１に示す推定部２０３は、第１の符号化部１０１から、第１の符号化データを受け取り、所定の判断基準に従って、第１の符号化処理で生じる符号化歪みを推定する。そして、推定部２０３は、推定した符号化歪みを１つ以上のクラスのうちの何れかのクラスに分類し、分類したクラスを示す情報を、テーブル切り替え情報として第２の決定部２０２へ送り出す。
【００７７】
上述の変形例１と同様、記憶部２０１は、クラス毎に、テーブル情報を保持している。また、上述の変形例１と同様、第２の決定部２０２は、符号化制御部１０８から、第２の符号化データに与えられるビットレートを符号化パラメータとして受け取り、推定部２０３から、テーブル切り替え情報を受け取る。第２の決定部２０２は、推定部２０３から受け取ったテーブル切り替え情報が示すクラスに対応するテーブル情報を記憶部２０１から読み出す。そして、第２の決定部２０２は、その読み出したテーブル情報を参照して、符号化制御部１０８から受け取った第２の符号化データに与えられるビットレート（符号化パラメータ）に対応する最大遮断周波数を特定し、特定した最大遮断周波数を、フィルタ処理に用いられる遮断周波数として決定する。
【００７８】
なお、この例では、上記所定の判断基準として、量子化パラメータ、動きベクトルの長さ等の第１の符号化処理で生じる符号化歪みを推定できる符号化パラメータを用いる。推定方法に関しては、任意の方法を用いても良いが、一般に量子化パラメータの値が大きい程、または、動きベクトルの長さが長い程、大きい符号化歪みが生じると推定できる。この例では、推定部２０３は、第１の符号化部１０１から受け取った第１の符号化データと、符号化制御部１０８から受け取った符号化パラメータとを用いて、第１の符号化処理で生じる符号化歪みを推定する。なお、符号化歪みを所定の領域ごとに推定してもよい。この場合、フィルタ処理を適用する領域を示す情報を、フィルタ情報に更に含める必要があるが、符号化歪みの大きさに応じてフィルタを切り替えることにより、差分画像の符号化効率を向上させることができる。
【００７９】
なお、この例における第１の決定部１０３による処理フローは、図１０の例と同様なので、詳細な説明は省略する。本変形例２でも、第１の符号化処理で生じる符号化歪みに応じてテーブル情報を切り替え、切り替えたテーブル情報を参照して、第２の符号化データに与えられるビットレートに対応する最大遮断周波数を、フィルタ処理に用いられる遮断周波数として決定するので、第２の符号化処理の符号化効率を更に改善することができる。
【００８０】
（第１実施形態の変形例３）
例えば推定部２０３は、第１の復号画像に基づいて、符号化歪みを推定することもできる。以下、具体的な内容を説明する。
【００８１】
図１２は、本変形例３に係る第１の決定部１０３の詳細な構成例を示すブロック図である。図１２に示す推定部２０３は、第１の復号部１０２から、第１の復号画像を受け取り、所定の判断基準に従って、第１の符号化処理で生じる符号化歪みを推定する。そして、推定部２０３は、推定した符号化歪みを１つ以上のクラスのうちの何れかのクラスに分類し、分類したクラスを示す情報を、テーブル切り替え情報として第２の決定部２０２へ送り出す。
【００８２】
上述の変形例１と同様、記憶部２０１は、クラス毎に、テーブル情報を保持している。また、上述の変形例１と同様、第２の決定部２０２は、符号化制御部１０８から、第２の符号化データに与えられるビットレートを符号化パラメータとして受け取り、推定部２０３から、テーブル切り替え情報を受け取る。第２の決定部２０２は、推定部２０３から受け取ったテーブル切り替え情報が示すクラスに対応するテーブル情報を記憶部２０１から読み出す。そして、第２の決定部２０２は、その読み出したテーブル情報を参照して、符号化制御部１０８から受け取った第２の符号化データに与えられるビットレート（符号化パラメータ）に対応する最大遮断周波数を特定し、特定した最大遮断周波数を、フィルタ処理に用いられる遮断周波数として決定する。
【００８３】
なお、この例では、上記所定の判断基準として、空間方向の相関と時間方向の相関を定量的に評価できる画像特徴量を用いる。例えば、隣接する画素間の相関、周波数分布等の画像特徴量を算出することで、空間方向の相関を定量的に評価できる。また、画面内の動き量を算出することで、時間方向の相関を定量的に評価できる。一般に、第１の復号画像において隣接する画素間の相関が低い、空間周波数が高い、動き量が大きいといった特徴を持つ場合、入力画像の空間方向の相関と時間方向の相関が低く、第１の符号化処理で生じる符号化歪みは大きいと推定できる。この例では、推定部２０３は、受け取った第１の復号画像の画像特徴量を算出し、算出した画像特徴量に基づいて、第１の符号化処理で生じる符号化歪みを推定する。なお、符号化歪みを所定の領域ごとに推定してもよい。この場合、フィルタ処理を適用する領域を示す情報を、フィルタ情報に更に含める必要があるが、符号化歪みの大きさに応じてフィルタを切り替えることにより、差分画像の符号化効率を向上させることができる。
【００８４】
なお、この例における第１の決定部１０３による処理フローは、図１０の例と同様なので、詳細な説明は省略する。本変形例３でも、第１の符号化処理で生じる符号化歪みに応じてテーブル情報を切り替え、切り替えたテーブル情報を参照して、第２の符号化データに与えられるビットレートに対応する最大遮断周波数を、フィルタ処理に用いられる遮断周波数として決定するので、第２の符号化処理の符号化効率を更に改善することができる。
【００８５】
（第１実施形態の変形例４）
上述の変形例１乃至３を任意に組み合わせて、第１の符号化処理で生じる符号化歪みを推定することもできる。要するに、推定部２０３は、入力画像、第１の符号化データ、第１の復号画像のうちの少なくとも１つに基づいて、第１の符号化処理で生じる符号化歪みを推定する機能を有するものであればよい。
【００８６】
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、上述の動画像符号化装置１００に対応する動画像復号装置について説明する。図１３は、上述の動画像符号化装置１００に対応する動画像復号装置４００の構成と、動画像符号化装置１００に係るフレーム同期処理等を外部から制御する復号制御部４０６とを示すブロック図である。図１３に示すように、動画像復号装置４００は、第１の復号部４０１と、取得部４０２と、第２の復号部４０３と、フィルタ処理部４０４と、合成画像生成部４０５とを備える。
【００８７】
第１の復号部４０１は、入力画像に対する第１の符号化処理により生成された第１の符号化データに対して、第１の復号処理を行って第１の復号画像を生成する。より具体的には、第１の復号部４０１は、外部（例えば上述の動画像符号化装置１００）から、入力画像に対する第１の符号化処理により生成された第１の符号化データを受け取り、受け取った第１の符号化データに対して、第１の復号処理を行って第１の復号画像を生成する。そして、第１の復号部４０１は、生成した復号画像を、フィルタ処理部４０４へ送り出す。第１の復号処理は、上述の動画像符号化装置１００（第１の符号化部１０１）で行われた第１の符号化処理の対をなすものである。例えば、上述の第１の符号化部１０１で行われた第１の符号化処理が、ＭＰＥＧ−２に基づく符号化処理である場合、第１の復号処理は、ＭＰＥＧ−２に基づく復号処理である。この例では、第１の復号部４０１による第１の復号処理は、上述の動画像符号化装置１００の第１の復号部１０２による第１の復号処理と同じである。
【００８８】
取得部４０２は、外部から、第１の復号画像の周波数成分のうち、所定の周波数帯域を遮断するフィルタ処理により生成された基本画像と入力画像との差分画像に対する第２の符号化処理により生成された第２の符号化データと、所定の周波数帯域を示すフィルタ情報とを含む拡張データを取得する。取得部４０２は、取得した拡張データを、第２の符号化データとフィルタ情報に分離する分離処理を行い、分離した第２の符号化データを第２の復号部４０３へ送り出す一方、分離したフィルタ情報をフィルタ処理部４０４へ送り出す。
【００８９】
第２の復号部４０３は、取得部４０２から受け取った第２の符号化データに対して、第２の復号処理を行って第２の復号画像を生成する。そして、第２の復号部４０３は、生成した第２の復号画像を、合成画像生成部４０５へ送り出す。第２の復号処理は、上述の動画像符号化装置１００（第２の符号化部１０６）で行われた第２の符号化処理の対をなすものである。例えば上述の第２の符号化部１０６で行われた第２の符号化処理が、Ｈ．２６４に基づく符号化処理である場合、第２の復号処理は、Ｈ．２６４に基づく復号処理である。
【００９０】
フィルタ処理部４０４は、第１の復号部４０１により生成された第１の復号画像の周波数成分のうち、取得部４０２から受け取ったフィルタ情報が示す所定の周波数帯域を遮断するフィルタ処理を行って基本画像を生成する。本実施形態では、取得部４０２から受け取ったフィルタ情報は、上述の動画像符号化装置１００の第１の決定部１０３により決定された遮断周波数を示すので、フィルタ処理部４０４は、第１の復号部４０１により生成された第１の復号画像の周波数成分のうち、取得部４０２から受け取ったフィルタ情報が示す遮断周波数よりも低い周波数成分を通過させるローパスフィルタ処理を行って基本画像を生成する。フィルタ処理部４０４によるフィルタ処理は、上述の動画像符号化装置１００のフィルタ処理部１０４によるフィルタ処理と同じである。そして、フィルタ処理部４０４は、生成した基本画像を合成画像生成部４０５へ送り出す。
【００９１】
合成画像生成部４０５は、フィルタ処理部４０４により生成された基本画像と、第２の復号画像とに基づく合成画像を生成する。より具体的には、合成画像生成部４０５は、フィルタ処理部４０４から受け取った基本画像と、第２の復号部４０３から受け取った第２の復号画像とに対して、所定の加算処理を行うことにより合成画像を生成する。例えば加算処理は、上述の動画像符号化装置１００の差分画像生成部１０５で行われた差分処理と対をなすものである。上述の差分画像生成部１０５において、上記式３に基づいて差分が計算された場合、合成画像生成部４０５は、以下の式７に基づく加算処理を行う。
【数７】
2014171097.tif 000009
上記式７において、Ｓｕｍ（ｘ，ｙ）は、合成画像の座標（ｘ，ｙ）の画素値を表し、Ｂａｓｅ（ｘ，ｙ）は、基本画像の座標（ｘ，ｙ）の画素値を表し、Ｄｉｆｆ（ｘ，ｙ）は、第２の復号画像の座標（ｘ，ｙ）の画素値を表す。
【００９２】
以上が、上述の動画像符号化装置１００に対応する動画像復号装置４００の復号方法である。
【００９３】
（第３実施形態）
次に、第３実施形態について説明する。ここでは、第１実施形態に係る動画像符号化装置１００を変形した形態について説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。
【００９４】
図１４は、本実施形態に係る動画像符号化装置５００の構成と、動画像符号化装置５００に係る符号化パラメータ、フレーム同期処理等を外部から制御する符号化制御部１０８とを示すブロック図である。図１４に示すように、動画像符号化装置５００は、画像縮小部５０１と、画像拡大部５０２とをさらに備える点で、上述の第１実施形態に係る動画像符号化装置１００と相違する。
【００９５】
画像縮小部５０１は、第１の符号化データが生成される前に入力画像の解像度を低減する機能を有する。より具体的には以下のとおりである。画像縮小部５０１は、入力画像に対して所定の画像縮小処理を行うことで、入力画像の解像度を低減した縮小入力画像を生成する。例えば、第１の符号化部１０１で生成される第１の符号化データが地上デジタル放送における放送を想定している場合、第１の符号化部１０１に入力される画像の解像度は、水平画素数（横の画素数）１４４０×垂直画素数（縦の画素数）１０８０である。一般的には、これを受像機側で画像拡大処理することで水平画素数１９２０×垂直画素数１０８０の解像度の映像として表示している。この場合、例えば入力画像の解像度が水平画素数１９２０×垂直画素数１０８０である場合には、画像縮小部５０１は、入力画像の解像度を水平画素数１４４０×垂直画素数１０８０に低減する画像縮小処理を行う。そして、画像縮小部５０１は、生成した縮小入力画像を第１の符号化部１０１へ送り出し、第１の符号化部１０１は、画像縮小部５０１から受け取った縮小入力画像（画像縮小部５０１により解像度が低減された入力画像）に対して第１の符号化処理を行う。
【００９６】
画像縮小処理は、単純なサブサンプリングに加え、バイリニアやバイキュービックによる画像縮小法等を用いてよく、また所定のフィルタ処理により行ってもよい。本実施形態における画像縮小処理としては、上述した複数の手段を切り替えて用いてもよいし、各手段のパラメータを所定の領域毎に切り替えて用いてもよい。
【００９７】
画像拡大部５０２は、差分画像が生成される前に基本画像の解像度を高める機能を有する。より具体的には以下のとおりである。画像拡大部５０２は、フィルタ処理部１０４から基本画像を受け取り、基本画像に対して、所定の画像拡大処理を行うことで、入力画像と同じ解像度の拡大基本画像を生成する。本実施形態では、フィルタ処理部１０４から出力される基本画像は、入力画像よりも解像度が低い画像として出力されるが、画像拡大部５０２において解像度を向上させて拡大基本画像を生成してから、その拡大基本画像と入力画像との差分画像を差分画像生成部１０５で生成することで、受像機にて合成画像を表示する際の画質を向上させることができる。
【００９８】
本実施形態における画像拡大処理は、バイリニアやバイキュービックによる画像拡大法等を用いてよく、また所定のフィルタ処理や、画像の自己相似性を利用した超解像を用いても良い。超解像により画像を拡大する場合には、基本画像のフレーム内で類似した領域を抽出して利用する方法や、複数のフレームから類似した領域を抽出して所望の位相を再現する方法などを用いてよい。本実施形態における画像拡大処理は、上述した複数の手段を切り替えて用いてもよいし、各手段のパラメータを所定の領域毎に切り替えて用いてもよい。その場合、予め定めた判断基準に基づいて切り替えてもよいし、また、符号化側で任意に設定した手段を示すインデクスなどの情報を、追加データとして前述の拡張データに含めてもよい。
【００９９】
なお、本実施形態における画像拡大部５０２における画像拡大処理は、フィルタ処理部１０４における帯域制限フィルタ処理に含めてもよい。この場合、帯域制限フィルタ処理と画像拡大処理を１度の処理で行うことができるため、それぞれの処理に対応したハードウェアを用意する必要がなく、また、基本画像を一時保存するためのメモリが不要になる。そのため、ハードウェア実現時の回路規模を小さくすることができる。また、ソフトウェア実行時の処理速度を向上させることができる。
【０１００】
入力画像の解像度は任意であり、例えば、一般に４Ｋ２Ｋと呼ばれる水平画素数３８４０×垂直画素数２１６０の解像度であってもよい。そして、縮小入力画像の解像度は、入力画像の解像度より小さいものであれば何でもよい。このように、入力画像の解像度と縮小入力画像の解像度との組み合わせにより、任意の解像度スケーラビリティを実現することができる。上述の第１の実施形態では、画質スケーラビリティのみ実現することができたが、本実施形態では、画像縮小部５０１と画像拡大部５０２を追加することにより、空間方向の解像度スケーラビリティを実現できる。
【０１０１】
（第４実施形態）
次に、第４実施形態について説明する。第４実施形態では、上述の第３実施形態に係る動画像符号化装置５００に対応する動画像復号装置について説明する。なお、上述の第２実施形態に係る動画像復号装置４００と共通する部分については適宜に説明を省略する。
【０１０２】
図１５は、上述の動画像符号化装置５００に対応する動画像復号装置６００の構成と、動画像符号化装置５００に係るフレーム同期処理等を外部から制御する復号制御部４０６とを示すブロック図である。図１５に示すように、動画像復号装置６００は、画像拡大部６０２をさらに備える点で、上述の第２実施形態に係る動画像復号装置４００と相違する。
【０１０３】
画像拡大部６０２は、フィルタ処理部４０４により生成された基本画像の解像度を高める機能を有する。より具体的には、画像拡大部６０２は、フィルタ処理部４０４から基本画像を受け取り、基本画像に対して所定の画像拡大処理を行うことで、第２の復号画像と同じ解像度の拡大基本画像を生成する。ここでは、画像拡大部６０２における画像拡大処理は、上述の第３実施形態に係る動画像符号化装置５００の画像拡大部５０２で行われる画像拡大処理と同一のものとする。以上が、本実施形態に係る動画像復号装置６００の復号方法である。
【０１０４】
（第５実施形態）
次に、第５実施形態について説明する。ここでは、第１実施形態に係る動画像符号化装置１００を変形した形態について説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。
【０１０５】
図１６は、本実施形態に係る動画像符号化装置７００の構成と、動画像符号化装置７００に係る符号化パラメータ、フレーム同期処理等を外部から制御する符号化制御部１０８とを示すブロック図である。図１７に示すように、動画像符号化装置７００は、インターレース変換部７０１と、プログレッシブ変換部７０２とをさらに備える点で、上述の第１実施形態に係る動画像符号化装置１００と相違する。
【０１０６】
インターレース変換部７０１は、プログレッシブ形式の入力画像を受け取り、その入力画像に対して所定のインターレース変換を行うことで、インターレース形式の入力画像（以下の説明では、「インターレース入力画像」と呼ぶ場合がある）を生成する。所定のインターレース変換は、入力画像に対して、トップフィールドとボトムフィールドが時間的に交互になるように水平方向の１画素ラインを飛び飛びに間引く（例えば偶数番目の水平走査ラインを間引く、あるいは、奇数番目の水平走査ラインを間引く）ことにより実現される。所定のインターレース変換は、入力画像の垂直方向に対して所定のローパスフィルタを適用してから間引く処理を行ってもよい。また、画像内の動きを検出して、動きがある領域に対してのみ所定のローパスフィルタを適用してから間引く処理を行ってもよい。所定のローパスフィルタの遮断周波数は、画像の垂直方向の解像度を半分にする際に、エイリアシングノイズが発生しない範囲であることが望ましい。
【０１０７】
インターレース変換部７０１によるインターレース変換により、フィルタ処理部１０４により生成される基本画像は、インターレース形式の画像となる。プログレッシブ変換部７０２は、フィルタ処理部１０４から、インターレース形式の基本画像を受け取り、その基本画像に対して、所定のプログレッシブ変換を行うことで、プログレッシブ形式の基本画像（以下の説明では、「プログレッシブ基本画像」と呼ぶ場合がある）を生成する。本実施形態では、フィルタ処理部１０４により生成される基本画像は、インターレース形式の画像として出力されるが、プログレッシブ変換部７０２においてプログレッシブ形式のプログレッシブ基本画像へ変換してから、そのプログレッシブ基本画像と入力画像との差分画像を差分画像生成部１０５で生成することで、受像機にて合成画像を表示する際の画質を向上させることができる。
【０１０８】
所定のプログレッシブ変換は、基本画像の縦方向の解像度を２倍にする画像拡大処理を用いればよい。例えば、バイリニアやバイキュービックによる画像拡大法等を用いてよく、また、所定のフィルタ処理や、画像の自己相似性を利用した超解像を用いても良い。超解像により画像を拡大する場合には、基本画像のフレーム内で類似した領域を抽出して利用する方法や、複数のフレームから類似した領域を抽出して所望の位相を再現する方法などを用いてよい。また、所定のプログレッシブ変換は、画像内の動きを検出して、動きのある領域に対して基本画像の縦方向の解像度を２倍にする画像拡大処理を行ってもよい。また、動きのない領域にのみ、前後のフレームにおいて、補間したい画素位置と同じ位置にある画素をコピーすることで補間しても良いし、更に基本画像の縦方向の解像度を２倍にすることで得られた補間画素との重み付き加算を行ってもよい。本実施形態におけるプログレッシブ変換は上述した複数の手段を切り替えて用いてもよいし、各手段のパラメータを所定の領域毎に切り替えて用いてもよい。その場合、予め定めた判断基準に基づいて切り替えてもよいし、また、符号化側で任意に設定した手段を示すインデクスなどの情報を追加データとして前述の拡張データに含めてもよい。
【０１０９】
なお、本実施形態における第１の符号化処理と第２の符号化処理では、インターレース形式の画像を入力として符号化を行ってもよいし、インターレース形式の画像をプログレッシブ形式の画像とみなして符号化を行ってもよい。上述の第１の実施形態では、画質スケーラビリティのみ実現することができたが、本実施形態では、インターレース変換部７０１とプログレッシブ変換部７０２を追加することで、画像縮小部５０１と画像拡大部５０２を追加することにより、時間方向の解像度スケーラビリティ（空間方向の解像度スケーラビリティと捉えることもできる）を実現できる。
【０１１０】
（第６実施形態）
次に、第６実施形態について説明する。第６実施形態では、上述の第５実施形態に係る動画像符号化装置７００に対応する動画像復号装置について説明する。なお、上述の第２実施形態に係る動画像復号装置４００と共通する部分については適宜に説明を省略する。
【０１１１】
図１７は、上述の動画像符号化装置７００に対応する動画像復号装置８００の構成と、動画像符号化装置７００に係るフレーム同期処理等を外部から制御する復号制御部４０６とを示すブロック図である。図１７に示すように、動画像復号装置８００は、プログレッシブ変換部８０２をさらに備える点で、上述の第２実施形態に係る動画像復号装置４００と相違する。
【０１１２】
プログレッシブ変換部８０２は、フィルタ処理部４０４から基本画像を受け取り、基本画像に対して所定のプログレッシブ変換を行うことで、プログレッシブ形式のプログレッシブ基本画像を生成する。プログレッシブ変換部７０２における所定のプログレッシブ変換は、上述の第５実施形態に係る動画像符号化装置７００のプログレッシブ変換部７０２におけるプログレッシブ変換と同一のものとする。以上が、本実施形態に係る動画像復号装置８００の復号方法である。
【０１１３】
（第７実施形態）
次に、第７実施形態について説明する。ここでは、第１実施形態に係る動画像符号化装置１００を変形した形態について説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。
【０１１４】
図１８は、本実施形態に係る動画像符号化装置９００の構成と、動画像符号化装置９００に係る符号化パラメータ、フレーム同期処理等を外部から制御する符号化制御部１０８とを示すブロック図である。図１８に示すように、動画像符号化装置９００は、符号化歪み低減処理部９０１をさらに備える点で、上述の第１実施形態に係る動画像符号化装置１００と相違する。
【０１１５】
符号化歪み低減処理部９０１は、第１の復号部１０２により生成された第１の復号画像に対して、所定の符号化歪み低減処理を行うことで、第１の符号化処理で生じる符号化歪みを低減した符号化歪み低減画像を生成する。そして、符号化歪み低減処理部９０１は、生成した符号化歪み低減画像を、フィルタ処理部１０４へ送り出す。
【０１１６】
上記の通り、第１の符号化処理で生じる符号化歪みは差分画像にそのまま重畳されるため、この符号化歪みが第２の符号化処理における符号化効率に影響を与える。また、差分画像は、一般的な動画像符号化方式で効率良く符号化できるものではない。そのため、本実施形態では、第１の復号画像に対して、所定の符号化歪み低減処理を行うことで、第２の符号化処理における符号化効率をさらに改善することができる。所定の符号化歪み低減処理としては、例えば、Ｎｏｎ  Ｌｏｃａｌ  Ｍｅａｎｓ、バイラテラルフィルタ、ε−フィルタ等を用いたフィルタ処理が挙げられる。例えば第１の符号化処理を、ＭＰＥＧ−２に基づいて行う場合、発生する符号化歪みは、主にブロックノイズやリンギングノイズである。この場合、符号化歪み低減処理部９０１において、デブロッキングフィルタ、デリンギングフィルタ等を用いたフィルタ処理を行うことで、符号化歪みを低減することができる。
【０１１７】
本実施形態における符号化歪み低減処理は、上述した複数の手段を切り替えて用いてもよいし、各手段のパラメータを所定の領域毎に切り替えて用いてもよい。その場合、予め定めた判断基準に基づいて切り替えてもよいし、また符号化側で任意に設定した手段を示すインデクスなどの情報を追加データ（符号化歪み低減処理情報）として拡張データに含めてもよい。
【０１１８】
本実施形態では、第１の符号化処理で生じた符号化歪みを、符号化歪み低減処理部９０１における符号化歪み低減処理で低減することで、第２の符号化処理における符号化効率への影響を更に小さくし、第２の符号化処理における符号化効率を更に改善することができる。
【０１１９】
（第８実施形態）
次に、第８実施形態について説明する。第８実施形態では、上述の第７実施形態に係る動画像符号化装置９００に対応する動画像復号装置について説明する。なお、上述の第２実施形態に係る動画像復号装置４００と共通する部分については適宜に説明を省略する。
【０１２０】
図１９は、上述の動画像符号化装置９００に対応する動画像復号装置１０００の構成と、動画像符号化装置９００に係るフレーム同期処理等を外部から制御する復号制御部４０６とを示すブロック図である。図１９に示すように、動画像復号装置１０００は、符号化歪み低減処理部１００１をさらに備える点で、上述の第２実施形態に係る動画像復号装置４００と相違する。
【０１２１】
符号化歪み低減処理部１００１は、フィルタ処理部４０４から基本画像を受け取り、基本画像に対して所定の符号化歪み低減処理を行うことで、第１の符号化処理で生じる符号化歪みを低減した符号化歪み低減画像を生成する。符号化歪み低減処理部１００１における所定の符号化歪み低減処理は、上述の第８実施形態に係る動画像符号化装置９００の符号化歪み低減処理部９０１における符号化歪み低減処理と同一のものとする。以上が、本実施形態に係る動画像復号装置１０００の復号方法である。
【０１２２】
（第９実施形態）
次に、第９実施形態について説明する。ここでは、第１実施形態に係る動画像符号化装置１００を変形した形態について説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。
【０１２３】
図２０は、本実施形態に係る動画像符号化装置１１００の構成と、動画像符号化装置１１００に係る符号化パラメータ、フレーム同期処理等を外部から制御する符号化制御部１０８とを示すブロック図である。図２０に示すように、動画像符号化装置１１００は、フレームレート低減部１１０１と、フレーム補間部１１０２とをさらに備える点で、上述の第１実施形態に係る動画像符号化装置１００と相違する。
【０１２４】
フレームレート低減部１１０１は、入力画像を受け取り、入力画像に対して所定のフレームレート低減処理を行うことで、入力画像のフレームレートを低減した画像（「フレームレート低下入力画像」）を生成する。フレームレート低減処理は、任意の方法を用いることができる。例えばフレームレートを半分にする場合、フレームを単純に間引くことにより実現してもよいし、動きに応じてブラーを付加してもよい。
【０１２５】
フレームレート低減部１１０１によるフレームレート低減処理により、フィルタ処理部１０４により生成される基本画像は、入力画像よりもフレームレートが低い画像として出力される。フレーム補間部１１０２は、フィルタ処理部１０４から、基本画像を受け取り、その基本画像に対して、所定のフレーム補間を行うことで、入力画像と同じフレームレートの画像（以下の説明では、「フレームレート向上基本画像」と呼ぶ場合がある）を生成する。本実施形態では、フィルタ処理部１０４により生成される基本画像は、入力画像よりもフレームレートが低い画像として出力されるが、フレーム補間部１１０２において、入力画像と同じフレームレートのフレームレート向上基本画像に変換してから、そのフレームレート向上基本画像と入力画像との差分画像を差分画像生成部１０５で生成することで、受像機にて合成画像を表示する際の画質を向上させることができる。
【０１２６】
所定のフレーム補間は、任意の方法を用いることができる。例えば補間したいフレームの前後の数フレームを参照して、単純に重み付き加算により補間してもよいし、動きを検出してから、動きに応じて補間してもよい。
【０１２７】
図２１を参照しながら、フレーム補間の一例として、前後のフレームから動き情報を解析し、中間フレームを生成する場合を例に挙げて説明する。例えば第１の符号化部１０１で生成される第１の符号化データが地上デジタル放送における放送を想定している場合、第１の符号化部１０１に入力される画像のフレームレートは２９．９７Ｈｚである。図２１の例では、入力画像のフレームレートは５９．９４Ｈｚであるため、フレームレート低減部１１０１は、奇数番目のフレームを間引くことで、第１の符号化部１０１に入力される入力画像のフレームレートを２９．９７Ｈｚに低減する。つまり、図２１の例では、フレーム番号が２ｎ（ｎは０以上の整数）となるフレームのみが、第１の符号化部１０１に入力され、フィルタ処理部１０４により生成される基本画像のフレームレートも２９．９７Ｈｚとなる。
【０１２８】
この例では、フレーム補間部１１０２は、入力される基本画像の前後のフレームから動き情報を解析し、フレーム補間画像（中間フレーム）を生成する。このフレーム補間により、フレーム番号が２ｎ＋１（ｎは０以上の整数）のフレームが生成される。なお、これに限らず、例えばフレーム補間部１１０２は、フィルタ処理部１０４によるフィルタ処理が行われる前の第１の復号画像の前後のフレームから、フレーム補間画像を生成することもできる。図２１の例では、フレーム番号が２ｎとなるフレームにおいては、基本画像と入力画像との差分が計算されて差分画像が生成される。また、フレーム番号が２ｎ＋１となるフレームにおいては、フレーム補間画像と入力画像との差分が計算されて差分画像が生成される。
【０１２９】
上述の第１の実施形態では、画質スケーラビリティのみ実現することができたが、本実施形態では、フレームレート低減部１１０１とフレーム補間部１１０２を追加することにより、時間方向の解像度スケーラビリティを実現できる。
【０１３０】
（第１０実施形態）
次に、第１０実施形態について説明する。第１０実施形態では、上述の第９実施形態に係る動画像符号化装置１１００に対応する動画像復号装置について説明する。なお、上述の第２実施形態に係る動画像復号装置４００と共通する部分については適宜に説明を省略する。
【０１３１】
図２２は、上述の動画像符号化装置１１００に対応する動画像復号装置１２００の構成と、動画像符号化装置１１００に係るフレーム同期処理等を外部から制御する復号制御部４０６とを示すブロック図である。図２２に示すように、動画像復号装置１２００は、フレーム補間部１２０２をさらに備える点で、上述の第２実施形態に係る動画像復号装置４００と相違する。
【０１３２】
フレーム補間部１２０２は、フィルタ処理部４０４から基本画像を受け取り、基本画像に対して所定のフレーム補間を行うことで、第２の復号画像と同じフレームレートの基本画像（フレームレート向上基本画像）を生成する。フレーム補間部１２０２における所定のフレーム補間は、上述の第９実施形態に係る動画像符号化装置１１００のフレーム補間部１１０２における所定のフレーム補間と同一のものとする。以上が、本実施形態に係る動画像復号装置１２００の復号方法である。
【０１３３】
（第１１実施形態）
次に、第１１実施形態について説明する。ここでは、第１実施形態に係る動画像符号化装置１００を変形した形態について説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。
【０１３４】
図２３は、本実施形態に係る動画像符号化装置１３００の構成と、動画像符号化装置１３００に係る符号化パラメータ、フレーム同期処理等を外部から制御する符号化制御部１０８とを示すブロック図である。図２３に示すように、動画像符号化装置１３００には、差分画像生成部１０５が設けられず、第２の符号化部１０６が第３の符号化部１１０２に置き換わっている点で、上述の第１実施形態に係る動画像符号化装置１００と相違する。
【０１３５】
ここで、第３の符号化部１３０２は、入力画像と、第１の復号画像に対するフィルタ処理により生成された基本画像を入力として受け取り、入力画像に対する予測符号化を行う機能を有する。すなわち、第３の符号化部１３０２は、第１の符号化部１０１をベースレイヤとし、エンハンスレイヤの符号化を行うスケーラブル符号化を実現する。
【０１３６】
例えば、ＭＰＥＧ−２やＨ．２６４などでは、異なる画像サイズやフレームレート、画質に対応するスケーラビリティに対応するスケーラブル符号化方式が導入されている。ここで、スケーラブル符号化とは、複数の階層で符号化データが多重化されており、下位のレイヤから順に復号することで、階層的に映像を復元することができる符号化方式の１つで階層符号化とも呼ばれている。なお、レイヤ毎に符号化データを分割して利用することも可能である。例えば、Ｈ．２６４の解像度スケーラビリティでは、下位のレイヤであるベースレイヤでエンハンスレイヤよりも小さい解像度の映像を符号化し、この映像のみを復号した場合は小さい解像度の映像が得られ、上位のレイヤであるエンハンスレイヤの符号化データまで復号した場合は、大きい解像度の映像が得られる。エンハンスレイヤは、ベースレイヤを復号した後に拡大処理した映像を参照画像として利用して予測符号化する。これにより、上位のエンハンスレイヤの符号化効率を高める。スケーラブル符号化することにより、解像度の異なる映像を独立に符号化した場合と比較して、解像度が小さい映像を符号化した際のビットレートと解像度が大きい映像を符号化した際のビットレートの和を小さくできる。画質スケーラビリティでは、同一解像度の映像において、画質の低い映像をベースレイヤとして、画質の高い映像をエンハンスレイヤに割り当てる。また、時間スケーラビリティでは、同一解像度の映像において、フレームレートの低い映像をベースレイヤとして、フレームレートの高い映像をエンハンスレイヤに割り当てる。この他にも８ビット長と１０ビット長の入力信号を階層的に符号化するビット長スケーラビリティやＹＵＶ信号とＲＧＢ信号の入力信号を階層的に符号化する色空間スケーラビリティなどの様々なスケーラビリティが存在する。ここでは、画質スケーラビリティを実現するスケーラブル符号化について説明するが、これらいずれのスケーラビリティについても容易に応用が可能である。
【０１３７】
例えば、上述の第３実施形態で説明したとおり、解像度スケーラビリティでは、例えば画像縮小部５０１と画像拡大部５０２等を有すればよい。また、上述の第９実施形態で説明したとおり、時間スケーラビリティでは、例えばフレームレート低減部１１０１とフレーム補間部１１０２等を有すればよい。ビット長スケーラビリティでは、ビット長削減部とビット長拡張部等を有すればよい。色空間スケーラビリティでは、ＹＵＶ／ＲＧＢ変換部とＲＧＢ／ＹＵＶ変換部等を有すればよい。なお、これらのスケーラブルの種類は任意に組み合わせて実施することもできる。また、今回は、エンハンスレイヤが１層のみの例を示しているが、複数階層のエンハンスレイヤを用いることも可能であるし、階層ごとに異なるスケーラブルの種類を適用することも可能である。
【０１３８】
次に、本実施形態に係る動画像符号化装置１３００の符号化方法について説明する。第１の符号化部１０１、第１の復号部１０２、第１の決定部１０３およびフィルタ処理部１０４の各々の機能は、上述の第１実施形態に係る動画像符号化装置１００と同一である。フィルタ処理部１０４から出力された基本画像は、入力画像とともに第３の符号化部１３０２へ入力される。ここで、第３の符号化部１３０２は、基本画像を用いた予測符号化を行って、第３の符号化データを生成する。より具体的には、基本画像を参照画像の１つとして用いて予測符号化してもよいし、基本画像を予測画像として用いるテクスチャ予測の１つとして利用してもよい。
【０１３９】
例えば基本画像を参照画像の１つとして動き補償予測を行う場合、第３の符号化部１３０２は、参照画像を用いて入力画像を画素ブロック単位（例えば４画素×４画素のブロックや８画素×８画素のブロック等）で予測し、参照画像と入力画像との差分を計算し、差分画像（予測残差）を生成する。そして、生成した差分画像に基づく第３の符号化データを生成することができる。また、テクスチャ予測を行う場合、第３の符号化部１３０２は、入力画像と、予測画像として用いる基本画像との差分を計算し、差分画像（予測残差）を生成する。そして、生成した差分画像に基づく第３の符号化データを生成することができる。この例では、第３の符号化部１３０２は、入力画像と基本画像との差分画像を生成する機能（請求項の「差分画像生成部」に対応）を有していると捉えることができる。また、この例では、第３の符号化部１３０２による符号化処理は、請求項の「第２の符号化処理」に対応し、第３の符号化部１３０２が生成する第３の符号化データは、請求項の「第２の符号化データ」に対応していると捉えることもできる。
【０１４０】
また、例えばＨ．２６４のスケーラブル符号化では、画素ブロックが取り得る予測モードとして、テクスチャ予測が利用できる。この場合、予測画素ブロックに位置的に対応する基本画像を当該ブロックにコピーすることで予測効率を高めている。一方、Ｈ．２６４の多視点符号化（Ｈ．２６４／ＭＶＣ）では、エンハンスレイヤとは異なる視差映像（ベースレイヤの映像）を復号した映像を参照画像の１つとして利用することで、画素ブロック毎に基本画像を用いたインター予測符号化を実現することが可能な枠組みが導入されている。
【０１４１】
基本画像を用いたテクスチャ予測手法の拡張として、時間方向の動き補償予測と当該基本画像とを組み合わせて予測することも可能である。この場合、時間方向の動き補償予測結果をＭＣ、当該基本画像をＢＬとすると、以下の式８により画素ブロックの予測値を計算することができる。動き補償予測は、Ｈ．２６４などで広く用いられており、既に符号化済みの参照画像と予測対象画像とを、画素ブロックごとにマッチングし、動きのずれ量を示す動きベクトルを符号化する予測手法である。
【数８】
2014171097.tif 000010
【０１４２】
上記式８において、Ｐは、当該画素ブロックの予測値を示しており、Ｗはそれぞれをどの割合で用いるかを示す重み係数である。Ｗは、０〜１までの値をとる。ＭＣは、スケーラブル符号化を用いない従来のインター予測符号化により生成された動き補償予測の予測値を意味する。時間的な動き補償予測の予測値とテクスチャ予測による空間的な予測値を組み合わせることで符号化効率の向上が期待できる。なお、予測式を整数値で実現するためにＷを予め整数化し固定小数点精度で計算することも可能である。例えば、８ビットの固定小数点演算とする場合、予め２５６を実数値のＷに乗算した値を用いる。上記式８に基づく計算後に、２５６で除算することにより、８ビット精度の重み係数の演算が可能である。
【０１４３】
また、テクスチャ予測に動き補償予測を導入することも可能である。この場合、符号化対象ピクチャとは時間的に異なる符号化済みの基準画像ＢＬＭＣを用いて、以下の式９により予測画像を生成する。
【数９】
2014171097.tif 000011
【０１４４】
ここで、スケーラブル符号化を用いない従来のインター予測符号化による動き補償予測の動きベクトルと、符号化対象ピクチャとは時間的に異なる符号化済みの基本画像（基準画像）ＢＬＭＣの動きベクトルは同一のものを用いる。これにより、符号化する動きベクトルの符号量を増加させずに、上記式８と比較して更に符号化効率を高めることが可能である。
【０１４５】
このようにして、第３の符号化部１３０２でスケーラブル符号化されて生成された第３の符号化データは多重化部１０７へと入力される。多重化部１０７は、入力されたフィルタ情報と第３の符号化データを予め定められたデータフォーマットに多重化し、拡張データとして動画像符号化装置１３００外へ出力する。ここで、第１の符号化データと拡張データを更に多重化してもよい。なお、動画像符号化装置１３００から出力されたデータは、図示しない様々な伝送路を介して伝送されたり、ＤＶＤやＨＤＤなどの外部記憶やメモリなどに蓄積されたりして出力される。伝送路としては、衛星回線、地上波デジタル放送回線、インターネット回線、無線回線、および、リムーバブルメディア等が想定される。
【０１４６】
スケーラブル符号化においても、ベースレイヤで符号化し復号した第１の復号画像に符号化歪みが重畳されると、第３の符号化部１３０２での符号化時に、符号化歪みが重畳された映像が予測画像として用いられるため、符号化効率が低下する主要因となる。上記の点を鑑みて、この符号化歪みが含まれる周波数成分を所定の帯域制限フィルタ処理によって遮断するために、第１の決定部１０３及びフィルタ処理部１０４が導入されている。より具体的には、予測符号化で用いられる前の基本画像に対して所定の周波数帯域の帯域制限フィルタ処理を行うことで、第１の符号化処理で生じる符号化歪みを除去し、差分画像の空間方向の相関と時間方向の相関を向上させ、第３の符号化処理における符号化効率を改善させることが可能となる。
【０１４７】
所定の遮断周波数は、上述の各実施形態と同様にして決定してもよいが、スケーラブル符号化では、画素ブロック単位に符号化処理が逐次的に進むため、画素ブロック毎に最適な遮断周波数を決定することができ、第３の符号化処理における符号化効率を更に改善することができる。この場合、画素ブロック毎に遮断周波数を示す情報を第３の符号化データに含める必要がある。
【０１４８】
なお、本実施形態に係る動画像符号化装置１３００の構成に、上述の第３実施形態で説明した画像縮小部５０１と画像拡大部５０２を追加して解像度スケーラビリティを実現する構成とすることもできる。また、上述の第５実施形態で説明したインターレース変換部７０１とプログレッシブ変換部７０２を追加して時間スケーラビリティを実現する構成とすることもできる。さらに、上述の第７実施形態で説明した符号化歪み低減処理部９０１を導入し、第１の符号化処理において特有のブロック歪みを低減させる構成とすることもできる。
【０１４９】
また、本実施形態では、第１の符号化部１０１と第３の符号化部１３０２が異なる符号化方法を持つような構成としてもよい。例えば、第１の符号化部１０１で行われる第１の符号化処理が、ＭＰＥＧ−２に基づく符号化処理である一方、第３の符号化部１３０２で行われる第３の符号化処理が、ＨＥＶＣに基づく符号化処理であるような構成であってもよい。ＭＰＥＧ−２は、地上波デジタル放送やＤＶＤなどの蓄積メディアに至る様々な映像フォーマットとして活用されている。一方で、ＭＰＥＧ−２はＨ．２６４やＨＥＶＣと比較して符号化性能が低い（符号化効率が低い）。スケーラブル符号化において、ベースレイヤをＭＰＥＧ−２、エンハンスレイヤをＨＥＶＣなどの構成とすることで、従来製品においては従来通り再生でき、新しいフォーマットに対応した製品では、より画質が良く、解像度が高く、フレームレートが高く、などの付加価値を持った映像を提供できる。このような下位互換性を重視する構成とすることも可能である。
【０１５０】
また、本実施形態では、フィルタ情報と第３の符号化データを多重化した拡張データを伝送する例を示している。第１の符号化データと拡張データが異なる伝送網で伝送されることにより、第１の符号化データが伝送される既存の帯域を変更することなく、システムの拡張が可能となる。例えば、第１の符号化データを地上波デジタル放送で用いる伝送帯域で伝送し、拡張データをインターネットなどで伝送することで、既存のシステムを変えることなく、容易にシステムの拡張が実現できる。また、第１の符号化データと拡張データを更に多重化して同じ伝送網で伝送することも可能である。この場合、多重化されたデータを解読し、第１の符号化データのみを復号すれば、ベースレイヤの映像が復号できる。また、拡張データまでを復号すれば、エンハンスレイヤの映像まで復号することが可能となる。この際、エンハンスレイヤの情報は、Ｈ．２６４のＡｎｎｅｘ．Ｇに記述があるようにベースレイヤのビットストリームを復号する既存システムに影響を与えないように記述しておけばよい。
【０１５１】
（第１２実施形態）
次に、第１２実施形態について説明する。第１２実施形態では、上述の第１１実施形態に係る動画像符号化装置１３００に対応する動画像復号装置について説明する。なお、上述の第２実施形態に係る動画像復号装置４００と共通する部分については適宜に説明を省略する。
【０１５２】
図２４は、上述の動画像符号化装置１３００に対応する動画像復号装置１４００の構成と、動画像符号化装置１３００に係るフレーム同期処理等を外部から制御する復号制御部４０６とを示すブロック図である。図２４に示すように、動画像復号装置１４００には、合成画像生成部４０５が設けられず、第２の復号部４０３の代わりに、上述の第３の符号化部１３０２に対応する第３の復号部１４０１が設けられる点で、上述の第２実施形態に係る動画像復号装置４００と相違する。
【０１５３】
ここで、第３の復号部１４０１は、取得部４０２で分離された第３の符号化データと、フィルタ処理部４０４により生成された基本画像を入力として受け取り、第３の符号化データに対する予測復号処理を行う機能を有する。すなわち、第３の復号部１４０１は、第１の復号部４０１で復号された第１の復号画像をベースレイヤとし、エンハンスレイヤの復号を行うスケーラブル復号を実現する。
【０１５４】
次に、本実施形態に係る動画像復号装置１４００の復号方法について説明する。第１の復号部４０１、取得部４０２、および、フィルタ処理部４０４の各々の機能は、基本的には、上述の第２実施形態に係る動画像復号装置４００と同一である。以下の説明では、上述の第２実施形態に係る動画像復号装置４００に含まれない第３の復号部１４０１の機能を中心に説明する。
【０１５５】
フィルタ処理部４０４から出力された基本画像は、第３の符号化データとともに第３の復号部１４０１へ入力される。ここで、第３の復号部１４０１は、基本画像を用いた予測復号処理を行って第３の復号画像を生成する。より具体的には、第３の復号部１４０１は、基本画像を参照画像の１つとして用いて予測復号してもよいし、基本画像を予測画像として用いるテクスチャ予測の１つとして利用してもよい。前述したように、例えばＨ．２６４のスケーラブル符号化では、画素ブロックが取り得る予測モードとして、テクスチャ予測が利用できる。基本画像を用いたテクスチャ予測手法の拡張として、上記式８で示されるような時間方向の動き補償予測と当該基本画像とを組み合わせて予測することも可能である。また、上記式９で示されるようにテクスチャ予測に動き補償予測を導入することも可能である。
【０１５６】
ここで、ベースレイヤで符号化し復号した第１の復号画像に符号化歪みが重畳されると、第３の復号部１４０１での復号時に、符号化歪みが重畳された映像が予測画像として用いられるため、復号効率が低下する主要因となる。上記の点を鑑みて、この符号化歪みを所定の周波数帯域の帯域制限フィルタ処理によって除去するために、フィルタ処理部４０４が導入されている。より具体的には、予測復号処理で用いられる前の第１の復号画像に対して所定の帯域制限フィルタ処理を行うことで符号化歪みを除去し、差分画像の空間方向の相関と時間方向の相関を向上させ、第３の復号処理における復号効率を改善させることが可能となる。
【０１５７】
なお、本実施形態に係る動画像復号装置１４００の構成に、上述の第４実施形態で説明した画像拡大部６０２を追加して解像度スケーラビリティを実現する構成とすることもできる。また、上述の第６実施形態で説明したプログレッシブ変換部７０２を追加して時間スケーラビリティを実現する構成とすることもできる。さらに、上述の第８実施形態で説明した符号化歪み低減処理部１００１を導入し、第１の符号化処理において特有のブロック歪みを低減させる構成とすることもできる。
【０１５８】
また、例えば第１の復号部１０２における復号方法と、第３の復号部１４０１における復号方法が異なる構成であってもよい。例えば、第１の復号部１０２は、ＭＰＥＧ−２に基づく復号処理を行う一方、第３の復号部１４０１は、ＨＥＶＣに基づく復号処理を行う構成であってもよい。
【０１５９】
以上が、本実施形態に係る動画像復号装置１４００の復号方法である。
【０１６０】
以上、本発明の実施形態を説明したが、上述の各実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１６１】
例えば、上述の各実施形態では、本発明が、動画像の符号化を行う装置および方法に適用される場合を例に挙げて説明したが、これに限らず、本発明は、静止画像の符号化を行う装置および方法に対しても適用可能である。また、上述の各実施形態では、本発明が、動画像の復号を行う装置および方法に適用される場合を例に挙げて説明したが、これに限らず、本発明は、静止画像の復号を行う装置および方法に対しても適用可能である。
【０１６２】
上述の各実施形態における動画像符号化装置は、ＣＰＵと、ＲＯＭ（Read  Only  Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。そして、上述の各実施形態における動画像符号化装置の各部の機能（第１の符号化部１０１、第１の復号部１０２、第１の決定部１０３、フィルタ処理部１０４、差分画像生成部１０５、第２の符号化部１０６、多重化部１０７、画像縮小部５０１、画像拡大部５０２、インターレース変換部７０１、プログレッシブ変換部７０２、符号化歪み低減処理部９０１、フレームレート低減部１１０１、フレーム補間部１１０２、第３の符号化部１３０２）は、ＣＰＵが、記憶装置に格納されたプログラムを実行することにより実現される。ただし、これに限らず、例えば上述の各実施形態における動画像符号化装置の各部の機能のうちの少なくとも一部が、ハードウェア回路（半導体集積回路等）により実現されてもよい。
【０１６３】
同様に、上述の各実施形態における動画像復号装置は、ＣＰＵと、ＲＯＭ（Read  Only  Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。そして、上述の各実施形態における動画像復号装置の各部の機能（第１の復号部４０１、取得部４０２、第２の復号部４０３、フィルタ処理部４０４、合成画像生成部４０５、画像拡大部６０２、プログレッシブ変換部８０２、符号化歪み低減処理部１００１、フレーム補間部１２０２、第３の復号部１４０１）は、ＣＰＵが、記憶装置に格納されたプログラムを実行することにより実現される。ただし、これに限らず、例えば上述の各実施形態における動画像復号装置の各部の機能のうちの少なくとも一部が、ハードウェア回路（半導体集積回路等）により実現されてもよい。
【０１６４】
また、上述の各実施形態における動画像符号化装置および動画像復号装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態における動画像符号化装置および動画像復号装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態における動画像符号化装置および動画像復号装置で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
【符号の説明】
【０１６５】
１００  動画像符号化装置
１０１  第１の符号化部
１０２  第１の復号部
１０３  第１の決定部
１０４  フィルタ処理部
１０５  差分画像生成部
１０６  第２の符号化部
１０７  多重化部
２０１  記憶部
２０２  第２の決定部
２０３  推定部
４００  動画像復号装置
４０１  第１の復号部
４０２  取得部
４０３  第２の復号部
４０４  フィルタ処理部
４０５  合成画像生成部
【図１】
2014171097.tif 000012
【図２】
2014171097.tif 000013
【図３】
2014171097.tif 000014
【図４】
2014171097.tif 000015
【図５】
2014171097.tif 000016
【図６】
2014171097.tif 000017
【図７】
2014171097.tif 000018
【図８】
2014171097.tif 000019
【図９】
2014171097.tif 000020
【図１０】
2014171097.tif 000021
【図１１】
2014171097.tif 000022
【図１２】
2014171097.tif 000023
【図１３】
2014171097.tif 000024
【図１４】
2014171097.tif 000025
【図１５】
2014171097.tif 000026
【図１６】
2014171097.tif 000027
【図１７】
2014171097.tif 000028
【図１８】
2014171097.tif 000029
【図１９】
2014171097.tif 000030
【図２０】
2014171097.tif 000031
【図２１】
2014171097.tif 000032
【図２２】
2014171097.tif 000033
【図２３】
2014171097.tif 000034
【図２４】
2014171097.tif 000035