(57)【要約】【課題】符号化性能を向上させること。【解決手段】空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置ＡＡは、非線形映像分解部１０、構造成分符号化部２０、および摂動成分符号化部３０を備える。非線形映像分解部１０は、入力映像ａを構造成分と摂動成分とに分解する。構造成分符号化部２０は、非線形映像分解部１０により分解された入力映像ａの構造成分に対して圧縮符号化処理を施す。摂動成分符号化部３０は、非線形映像分解部１０により分解された入力映像ａの摂動成分に対して圧縮符号化処理を施す。【選択図】図１
2014187580.tif 000002
【特許請求の範囲】
【請求項１】
空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置であって、
入力映像を構造成分と摂動成分とに分解する非線形映像分解手段と、
前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す構造成分符号化手段と、
前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す摂動成分符号化手段と、を備えることを特徴とする映像符号化装置。
【請求項２】
前記摂動成分符号化手段は、
前記非線形映像分解手段により分解された入力映像の摂動成分を直交変換する直交変換手段と、
前記直交変換手段により直交変換された入力映像の摂動成分に対して、周波数ドメイン上でフレーム間予測に基づく予測値を生成する予測値生成手段と、
前記直交変換手段により直交変換された入力映像の摂動成分と、前記予測値生成手段により生成された予測値と、の差分により得られる差分信号に対して量子化処理を施す量子化手段と、
前記量子化手段により量子化された差分信号をエントロピー符号化するエントロピー符号化手段と、を備えることを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記構造成分符号化手段は、前記入力映像の構造成分に対して圧縮符号化処理を施す際に、フレーム間予測に用いられる動きベクトルを求め、
前記予測値生成手段は、前記構造成分符号化手段により求められた動きベクトルの処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔に当該動きベクトルを外挿または内挿し、当該外挿または内挿した動きベクトルを用いてフレーム間予測を行うことを特徴とする請求項２に記載の映像符号化装置。
【請求項４】
前記構造成分符号化手段は、前記入力映像の構造成分に対して圧縮符号化処理を施す際に、フレーム間予測に用いられる動きベクトルを求め、
前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルに基づいて、摂動成分におけるスキャン順序を決定することを特徴とする請求項２または３に記載の映像符号化装置。
【請求項５】
前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルで張られる領域の面積を求め、当該面積に基づいて前記スキャン順序を決定することを特徴とする請求項４に記載の映像符号化装置。
【請求項６】
前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルの水平方向の変化量と垂直方向の変化量とを求め、当該変化量に基づいて前記スキャン順序を決定することを特徴とする請求項４に記載の映像符号化装置。
【請求項７】
前記構造成分符号化手段は、前記非線形映像分解手段により分解された入力映像の構造成分に対して、ピクセルドメインでの圧縮符号化処理を施すことを特徴とする請求項１から６のいずれかに記載の映像符号化装置。
【請求項８】
前記摂動成分符号化手段は、前記非線形映像分解手段により分解された入力映像の摂動成分に対して、周波数ドメインでの圧縮符号化処理を施すことを特徴とする請求項１から７のいずれかに記載の映像符号化装置。
【請求項９】
前記構造成分符号化手段は、前記圧縮符号化処理において、ブロックベースの予測符号化技術を用いることを特徴とする請求項１から８のいずれかに記載の映像符号化装置。
【請求項１０】
空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置であって、
圧縮符号化処理が施された構造成分の圧縮データを復号する構造成分復号手段と、
圧縮符号化処理が施された摂動成分の圧縮データを復号する摂動成分復号手段と、
前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する非線形映像合成手段と、を備えることを特徴とする映像復号装置。
【請求項１１】
前記摂動成分復号手段は、
前記圧縮符号化処理が施された摂動成分の圧縮データをエントロピー復号するエントロピー復号手段と、
前記エントロピー復号手段により復号された摂動成分の信号に対して、周波数ドメイン上でフレーム間予測に基づく予測値を生成する予測値生成手段と、
前記エントロピー復号手段により復号された摂動成分の信号に対して逆量子化処理を施す逆量子化手段と、
前記予測値生成手段により生成された予測値と、前記逆量子化手段により逆量子化処理が施された摂動成分の信号と、の加算情報に対して、逆直交変換を施す逆直交変換手段と、を備えることを特徴とする請求項１０に記載の映像復号装置。
【請求項１２】
前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データを復号する際に、フレーム間予測に用いられる動きベクトルを求め、
前記予測値生成手段は、前記構造成分復号手段により求められた動きベクトルの処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔に当該動きベクトルを外挿または内挿し、当該外挿または内挿した動きベクトルを用いてフレーム間予測を行うことを特徴とする請求項１１に記載の映像復号装置。
【請求項１３】
前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データを復号する際に、フレーム間予測に用いられる動きベクトルを求め、
前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルに基づいて、摂動成分におけるスキャン順序を決定することを特徴とする請求項１１または１２に記載の映像復号装置。
【請求項１４】
前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルで張られる領域の面積を求め、当該面積に基づいて前記スキャン順序を決定することを特徴とする請求項１３に記載の映像復号装置。
【請求項１５】
前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルの水平方向の変化量と垂直方向の変化量とを求め、当該変化量に基づいて前記スキャン順序を決定することを特徴とする請求項１３に記載の映像復号装置。
【請求項１６】
前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データについて、ピクセルドメインで復号することを特徴とする請求項１０から１５のいずれかに記載の映像復号装置。
【請求項１７】
前記摂動成分復号手段は、前記圧縮符号化処理が施された摂動成分の圧縮データについて、周波数ドメインで復号することを特徴とする請求項１０から１６のいずれかに記載の映像復号装置。
【請求項１８】
前記構造成分復号手段は、前記復号において、ブロックベースの予測符号化技術を用いることを特徴とする請求項１０から１７のいずれかに記載の映像復号装置。
【請求項１９】
非線形映像分解手段、構造成分符号化手段、および摂動成分符号化手段を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置における映像符号化方法であって、
前記非線形映像分解手段が、入力映像を構造成分と摂動成分とに分解する第１のステップと、
前記構造成分符号化手段が、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す第２のステップと、
前記摂動成分符号化手段が、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す第３のステップと、を備えることを特徴とする映像符号化方法。
【請求項２０】
構造成分復号手段、摂動成分復号手段、および非線形映像合成手段を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置における映像復号方法であって、
前記構造成分復号手段が、圧縮符号化処理が施された構造成分の圧縮データを復号する第１のステップと、
前記摂動成分復号手段が、圧縮符号化処理が施された摂動成分の圧縮データを復号する第２のステップと、
前記非線形映像合成手段が、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する第３のステップと、を備えることを特徴とする映像復号方法。
【請求項２１】
非線形映像分解手段、構造成分符号化手段、および摂動成分符号化手段を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置における映像符号化方法を、コンピュータに実行させるためのプログラムであって、
前記非線形映像分解手段が、入力映像を構造成分と摂動成分とに分解する第１のステップと、
前記構造成分符号化手段が、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す第２のステップと、
前記摂動成分符号化手段が、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す第３のステップと、をコンピュータに実行させるためのプログラム。
【請求項２２】
構造成分復号手段、摂動成分復号手段、および非線形映像合成手段を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置における映像復号方法を、コンピュータに実行させるためのプログラムであって、
前記構造成分復号手段が、圧縮符号化処理が施された構造成分の圧縮データを復号する第１のステップと、
前記摂動成分復号手段が、圧縮符号化処理が施された摂動成分の圧縮データを復号する第２のステップと、
前記非線形映像合成手段が、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する第３のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、撮像機器や表示機器に関する技術の進展により、放送や番組配信における映像コンテンツの高品位化が進んでいる。その代表的な例として、空間解像度の向上やフレームレート（時間解像度）の向上が挙げられる。将来的には、高い空間解像度および時間解像度の映像コンテンツが広く普及することが期待される。
【０００３】
映像圧縮技術に関しては、Ｈ．２６４（例えば、非特許文献１参照）やＨＥＶＣ（High  Efficiency  Video  Coding）に代表される標準圧縮技術が、様々な種類の映像に対して高い符号化性能を得られることが知られている。特に、これらの圧縮技術は、空間解像度の向上に対する適応性に優れており、ＨＥＶＣでは最大で７６８０画素×４３２０ライン（ハイビジョン映像の１６倍）の解像度の映像に対しても、高い符号化性能を期待できる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Joint  Video  Team（JVT）  of  ISO/IEC  MPEG  and  ITU-T  VCEG,  "Text  of  ISO/IEC  14496-10  Advanced  Video  Coding,"
【非特許文献２】J.  F.  Aujol,  G.  Gilboa,  T.  Chan  and  S.  Osher,  "Structure-Texture  Image  Decomposition  -  Modeling,  Algorithms,  and  Parameter  Selection,"  Int.  J.  Comput.  Vis.,  vol.67,  no.1,  pp.111-136,  April  2006.
【非特許文献３】齊藤,  相澤,  小松,  "色間相関を考慮した非線形画像分解法,"  電子情報通信学会論文誌D  vol.J92-D,  No.10,  pp.1733-1736,  2009.
【特許文献】
【０００５】
【特許文献１】特開２００８−１１３２９２号公報
【特許文献１】特開２００９−２６０７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の映像圧縮技術は、映像信号をフレームごとに処理して、画素値のフレーム間予測に基づいて符号化する処理をベースとしている。このため、フレームレートが高い映像に対して従来の映像圧縮技術を単純に適用すると、フレーム間での絵柄の変化が非常に僅かである一方で、照明変動や撮像機器に起因するノイズによる画素値変化がフレーム間予測に与える影響が大きくなり、結果としてフレーム間予測が困難となっていた。
【０００７】
ここで、Ｈ．２６４に基づく動き補償予測をベースとし、画素値（輝度）勾配やフレームレートおよびカメラのシャッター開口に基づいて、動き補償予測精度を向上させる技術が提案されている（例えば、特許文献１、２参照）。しかし、これら技術では、照明変動や撮像機器に起因する摂動的な画素値変化を十分には除外することができず、フレーム間予測の性能を十分には得られないことが懸念されていた。
【０００８】
そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化性能を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）  本発明は、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置（例えば、図１の映像符号化装置ＡＡに相当）であって、入力映像を構造成分と摂動成分とに分解する非線形映像分解手段（例えば、図１の非線形映像分解部１０に相当）と、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す構造成分符号化手段（例えば、図１の構造成分符号化部２０に相当）と、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す摂動成分符号化手段（例えば、図１の摂動成分符号化部３０に相当）と、を備えることを特徴とする映像符号化装置を提案している。
【００１０】
ここで、入力映像を構造成分と摂動成分とに分解した場合について、以下に検討する。入力映像の構造成分については、隣接画素間の相関性が高く、時間方向の摂動的な画素値変化が除去されているため、時間方向予測に基づく従来の映像圧縮技術により圧縮符号化処理を施しても、高い符号化性能を得ることができる。また、入力映像の摂動成分については、空間方向および時間方向の隣接画素間の相関性は低いものの、摂動成分のもたらす雑音が所定のモデルにしたがっていると仮定すれば、適切な直交変換規定を用いた空間および時間方向の３次元直交変換や、空間方向の２次元直交変換の係数を用いた変換係数の時間予測を適用することで、効率的な符号化を行うことができる。
【００１１】
そこで、この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施すこととした。このため、符号化性能を向上させることができる。
【００１２】
（２）  本発明は、（１）の映像符号化装置について、前記摂動成分符号化手段は、前記非線形映像分解手段により分解された入力映像の摂動成分を直交変換する直交変換手段（例えば、図３の直交変換部３１に相当）と、前記直交変換手段により直交変換された入力映像の摂動成分に対して、周波数ドメイン上でフレーム間予測に基づく予測値を生成する予測値生成手段（例えば、図３の予測値生成部３２に相当）と、前記直交変換手段により直交変換された入力映像の摂動成分と、前記予測値生成手段により生成された予測値と、の差分により得られる差分信号に対して量子化処理を施す量子化手段（例えば、図３の量子化部３３に相当）と、前記量子化手段により量子化された差分信号をエントロピー符号化するエントロピー符号化手段（例えば、図３のエントロピー符号化部３６に相当）と、を備えることを特徴とする映像符号化装置を提案している。
【００１３】
この発明によれば、（１）の映像符号化装置において、入力映像の摂動成分に対して周波数ドメイン上でフレーム間予測に基づく予測値を生成し、この予測値を用いて入力映像の摂動成分の圧縮データを生成することとした。このため、入力映像の摂動成分に対して圧縮符号化処理を施すことができる。
【００１４】
（３）  本発明は、（２）の映像符号化装置について、前記構造成分符号化手段は、前記入力映像の構造成分に対して圧縮符号化処理を施す際に、フレーム間予測に用いられる動きベクトルを求め、前記予測値生成手段は、前記構造成分符号化手段により求められた動きベクトルの処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔に当該動きベクトルを外挿または内挿し、当該外挿または内挿した動きベクトルを用いてフレーム間予測を行うことを特徴とする映像符号化装置を提案している。
【００１５】
この発明によれば、（２）の映像符号化装置において、入力映像の構造成分における動きベクトルを、入力映像の摂動成分に対する圧縮符号化処理に用いることとした。このため、入力映像の摂動成分における動きベクトルを、一から求める必要がないため、摂動成分の時間方向予測における符号化情報量を削減することができる。
【００１６】
また、この発明によれば、（２）の映像符号化装置において、入力映像の構造成分における動きベクトルについて、処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔にこの動きベクトルを外挿または内挿することとした。このため、入力映像の構造成分における動きベクトルを、時間方向の処理単位が構造成分とは異なる摂動成分にスケーリングすることができ、符号化性能の低下を防止できる。
【００１７】
（４）  本発明は、（２）または（３）の映像符号化装置について、前記構造成分符号化手段は、前記入力映像の構造成分に対して圧縮符号化処理を施す際に、フレーム間予測に用いられる動きベクトルを求め、前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルに基づいて、摂動成分におけるスキャン順序を決定することを特徴とする映像符号化装置を提案している。
【００１８】
この発明によれば、（２）または（３）の映像符号化装置において、入力映像の構造成分における動きベクトルを、摂動成分におけるスキャン順序の決定に用いることとした。このため、摂動成分におけるスキャン順序を適切に決定することができる。
【００１９】
（５）  本発明は、（４）の映像符号化装置について、前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルで張られる領域の面積を求め、当該面積に基づいて前記スキャン順序を決定することを特徴とする映像符号化装置を提案している。
【００２０】
この発明によれば、（４）の映像符号化装置において、入力映像の構造成分における動きベクトルで張られる領域の面積に基づいて、摂動成分におけるスキャン順序を決定することとした。このため、入力映像の構造成分における動きベクトルで張られる領域の面積により、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
【００２１】
（６）  本発明は、（４）の映像符号化装置について、前記エントロピー符号化手段は、前記構造成分符号化手段により求められたエントロピー符号化の処理ブロックに該当する領域における複数の動きベクトルの水平方向の変化量と垂直方向の変化量とを求め、当該変化量に基づいて前記スキャン順序を決定することを特徴とする映像符号化装置を提案している。
【００２２】
この発明によれば、（４）の映像符号化装置において、入力映像の構造成分における動きベクトルの水平方向の変化量と垂直方向の変化量とに基づいて、摂動成分におけるスキャン順序を決定することとした。このため、入力映像の構造成分における動きベクトルの水平方向の変化量と垂直方向の変化量とにより、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
【００２３】
（７）  本発明は、（１）から（６）のいずれかの映像符号化装置について、前記構造成分符号化手段は、前記非線形映像分解手段により分解された入力映像の構造成分に対して、ピクセルドメインでの圧縮符号化処理を施すことを特徴とする映像符号化装置を提案している。
【００２４】
この発明によれば、（１）から（６）のいずれかの映像符号化装置において、入力映像の構造成分に対して、ピクセルドメインでの圧縮符号化処理を施すこととした。このため、入力映像の構造成分について、ピクセルドメインでの圧縮符号化処理を施すことができる。
【００２５】
（８）  本発明は、（１）から（７）のいずれかの映像符号化装置について、前記摂動成分符号化手段は、前記非線形映像分解手段により分解された入力映像の摂動成分に対して、周波数ドメインでの圧縮符号化処理を施すことを特徴とする映像符号化装置を提案している。
【００２６】
この発明によれば、（１）から（７）のいずれかの映像符号化装置において、入力映像の摂動成分に対して、周波数ドメインでの圧縮符号化処理を施すこととした。このため、入力映像の摂動成分について、周波数ドメインでの圧縮符号化処理を施すことができる。
【００２７】
（９）  本発明は、（１）から（８）のいずれかの映像符号化装置について、前記構造成分符号化手段は、前記圧縮符号化処理において、ブロックベースの予測符号化技術を用いることを特徴とする映像符号化装置を提案している。
【００２８】
この発明によれば、（１）から（８）のいずれかの映像符号化装置において、ブロックベースの予測符号化技術を用いて圧縮符号化処理を施すこととした。このため、ブロックベースの予測符号化技術を用いて圧縮符号化処理を施すことができる。
【００２９】
（１０）  本発明は、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置（例えば、図７の映像復号装置ＢＢに相当）であって、圧縮符号化処理が施された構造成分の圧縮データを復号する構造成分復号手段（例えば、図７の構造成分復号部１１０に相当）と、圧縮符号化処理が施された摂動成分の圧縮データを復号する摂動成分復号手段（例えば、図７の摂動成分復号部１２０に相当）と、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する非線形映像合成手段（例えば、図７の非線形映像合成部１３０に相当）と、を備えることを特徴とする映像復号装置を提案している。
【００３０】
ここで、入力映像を構造成分と摂動成分とに分解した場合について、以下に検討する。入力映像の構造成分については、隣接画素間の相関性が高く、時間方向の摂動的な画素値変化が除去されているため、時間方向予測に基づく従来の映像圧縮技術により圧縮符号化処理を施しても、高い符号化性能を得ることができる。また、入力映像の摂動成分については、空間方向および時間方向の隣接画素間の相関性は低いものの、摂動成分のもたらす雑音が所定のモデルにしたがっていると仮定すれば、適切な直交変換規定を用いた空間および時間方向の３次元直交変換や、空間方向の２次元直交変換の係数を用いた変換係数の時間予測を適用することで、効率的な符号化を行うことができる。
【００３１】
そこで、この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施したものについて、成分ごとに復号し、復号結果を合成して復号映像を生成することとした。このため、符号化性能を向上させることができる。
【００３２】
（１１）  本発明は、（１０）の映像復号装置について、前記摂動成分復号手段は、前記圧縮符号化処理が施された摂動成分の圧縮データをエントロピー復号するエントロピー復号手段（例えば、図９のエントロピー復号部１２１に相当）と、前記エントロピー復号手段により復号された摂動成分の信号に対して、周波数ドメイン上でフレーム間予測に基づく予測値を生成する予測値生成手段（例えば、図９の予測値生成部１２２に相当）と、前記エントロピー復号手段により復号された摂動成分の信号に対して逆量子化処理を施す逆量子化手段（例えば、図９の逆量子化部１２３に相当）と、前記予測値生成手段により生成された予測値と、前記逆量子化手段により逆量子化処理が施された摂動成分の信号と、の加算情報に対して、逆直交変換を施す逆直交変換手段（例えば、図９の逆直交変換部１２５に相当）と、を備えることを特徴とする映像復号装置を提案している。
【００３３】
この発明によれば、（１０）の映像復号装置において、摂動成分の圧縮データについてエントロピー復号した後に、周波数ドメイン上でフレーム間予測に基づく予測値を生成し、この予測値を用いて復号映像の摂動成分を生成することとした。このため、復号映像の摂動成分を求めることができる。
【００３４】
（１２）  本発明は、（１１）の映像復号装置について、前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データを復号する際に、フレーム間予測に用いられる動きベクトルを求め、前記予測値生成手段は、前記構造成分復号手段により求められた動きベクトルの処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔に当該動きベクトルを外挿または内挿し、当該外挿または内挿した動きベクトルを用いてフレーム間予測を行うことを特徴とする映像復号装置を提案している。
【００３５】
この発明によれば、（１１）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルを、摂動成分の圧縮データの復号に用いることとした。このため、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルを、一から求める必要がないため、摂動成分の時間方向予測における符号化情報量を削減することができる。
【００３６】
また、この発明によれば、（１１）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルについて、処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔にこの動きベクトルを外挿または内挿することとした。このため、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルを、時間方向の処理単位が構造成分とは異なる摂動成分にスケーリングすることができ、符号化性能の低下を防止できる。
【００３７】
（１３）  本発明は、（１１）または（１２）の映像復号装置について、前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データを復号する際に、フレーム間予測に用いられる動きベクトルを求め、前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルに基づいて、摂動成分におけるスキャン順序を決定することを特徴とする映像復号装置を提案している。
【００３８】
この発明によれば、（１１）または（１２）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルを、摂動成分におけるスキャン順序の決定に用いることとした。このため、摂動成分におけるスキャン順序を適切に決定することができる。
【００３９】
（１４）  本発明は、（１３）の映像復号装置について、前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルで張られる領域の面積を求め、当該面積に基づいて前記スキャン順序を決定することを特徴とする映像復号装置を提案している。
【００４０】
この発明によれば、（１３）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルで張られる領域の面積に基づいて、摂動成分におけるスキャン順序を決定することとした。このため、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルで張られる領域の面積により、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
【００４１】
（１５）  本発明は、（１３）の映像復号装置について、前記エントロピー復号手段は、前記構造成分復号手段により求められたエントロピー復号の処理ブロックに該当する領域における複数の動きベクトルの水平方向の変化量と垂直方向の変化量とを求め、当該変化量に基づいて前記スキャン順序を決定することを特徴とする映像復号装置を提案している。
【００４２】
この発明によれば、（１３）の映像復号装置において、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルの水平方向の変化量と垂直方向の変化量とに基づいて、摂動成分におけるスキャン順序を決定することとした。このため、構造成分の圧縮データの復号においてフレーム間予測に用いられる動きベクトルの水平方向の変化量と垂直方向の変化量とにより、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
【００４３】
（１６）  本発明は、（１０）から（１５）のいずれかの映像復号装置について、前記構造成分復号手段は、前記圧縮符号化処理が施された構造成分の圧縮データについて、ピクセルドメインで復号することを特徴とする映像復号装置を提案している。
【００４４】
この発明によれば、（１０）から（１５）のいずれかの映像復号装置において、構造成分の圧縮データについて、ピクセルドメインで復号することとした。このため、構造成分の圧縮データについて、ピクセルドメインで復号することができる。
【００４５】
（１７）  本発明は、（１０）から（１６）のいずれかの映像復号装置について、前記摂動成分復号手段は、前記圧縮符号化処理が施された摂動成分の圧縮データについて、周波数ドメインで復号することを特徴とする映像復号装置を提案している。
【００４６】
この発明によれば、（１０）から（１６）のいずれかの映像復号装置において、摂動成分の圧縮データについて、周波数ドメインで復号することとした。このため、摂動成分の圧縮データについて、周波数ドメインで復号することができる。
【００４７】
（１８）  本発明は、（１０）から（１７）のいずれかの映像復号装置について、前記構造成分復号手段は、前記復号において、ブロックベースの予測符号化技術を用いることを特徴とする映像復号装置を提案している。
【００４８】
この発明によれば、（１０）から（１７）のいずれかの映像復号装置において、ブロックベースの予測符号化技術を用いて復号することとした。このため、ブロックベースの予測符号化技術を用いて復号することができる。
【００４９】
（１９）  本発明は、非線形映像分解手段（例えば、図１の非線形映像分解部１０に相当）、構造成分符号化手段（例えば、図１の構造成分符号化部２０に相当）、および摂動成分符号化手段（例えば、図１の摂動成分符号化部３０に相当）を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置（例えば、図１の映像符号化装置ＡＡに相当）における映像符号化方法であって、前記非線形映像分解手段が、入力映像を構造成分と摂動成分とに分解する第１のステップと、前記構造成分符号化手段が、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す第２のステップと、前記摂動成分符号化手段が、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す第３のステップと、を備えることを特徴とする映像符号化方法を提案している。
【００５０】
この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施すこととした。このため、符号化性能を向上させることができる。
【００５１】
（２０）  本発明は、構造成分復号手段（例えば、図７の構造成分復号部１１０に相当）、摂動成分復号手段（例えば、図７の摂動成分復号部１２０に相当）、および非線形映像合成手段（例えば、図７の非線形映像合成部１３０に相当）を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置（例えば、図７の映像復号装置ＢＢに相当）における映像復号方法であって、前記構造成分復号手段が、圧縮符号化処理が施された構造成分の圧縮データを復号する第１のステップと、前記摂動成分復号手段が、圧縮符号化処理が施された摂動成分の圧縮データを復号する第２のステップと、前記非線形映像合成手段が、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する第３のステップと、を備えることを特徴とする映像復号方法を提案している。
【００５２】
この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施したものについて、成分ごとに復号し、復号結果を合成して復号映像を生成することとした。このため、符号化性能を向上させることができる。
【００５３】
（２１）  本発明は、非線形映像分解手段（例えば、図１の非線形映像分解部１０に相当）、構造成分符号化手段（例えば、図１の構造成分符号化部２０に相当）、および摂動成分符号化手段（例えば、図１の摂動成分符号化部３０に相当）を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像符号化装置（例えば、図１の映像符号化装置ＡＡに相当）における映像符号化方法を、コンピュータに実行させるためのプログラムであって、前記非線形映像分解手段が、入力映像を構造成分と摂動成分とに分解する第１のステップと、前記構造成分符号化手段が、前記非線形映像分解手段により分解された入力映像の構造成分に対して圧縮符号化処理を施す第２のステップと、前記摂動成分符号化手段が、前記非線形映像分解手段により分解された入力映像の摂動成分に対して圧縮符号化処理を施す第３のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００５４】
この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施すこととした。このため、符号化性能を向上させることができる。
【００５５】
（２２）  本発明は、構造成分復号手段（例えば、図７の構造成分復号部１１０に相当）、摂動成分復号手段（例えば、図７の摂動成分復号部１２０に相当）、および非線形映像合成手段（例えば、図７の非線形映像合成部１３０に相当）を備え、空間的および時間的にサンプリングされた画素値空間の形式で映像信号が表現されるディジタル映像に対する映像復号装置（例えば、図７の映像復号装置ＢＢに相当）における映像復号方法を、コンピュータに実行させるためのプログラムであって、前記構造成分復号手段が、圧縮符号化処理が施された構造成分の圧縮データを復号する第１のステップと、前記摂動成分復号手段が、圧縮符号化処理が施された摂動成分の圧縮データを復号する第２のステップと、前記非線形映像合成手段が、前記構造成分復号手段により復号された構造成分の信号と、前記摂動成分復号手段により復号された摂動成分の信号と、に基づいて、復号映像を生成する第３のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００５６】
この発明によれば、入力映像を構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施したものについて、成分ごとに復号し、復号結果を合成して復号映像を生成することとした。このため、符号化性能を向上させることができる。
【発明の効果】
【００５７】
本発明によれば、符号化性能を向上させることができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の一実施形態に係る映像符号化装置のブロック図である。
【図２】前記実施形態に係る映像符号化装置が備える構造成分符号化部のブロック図である。
【図３】前記実施形態に係る映像符号化装置が備える摂動成分符号化部のブロック図である。
【図４】前記実施形態に係る映像符号化装置が備える摂動成分符号化部によるスケーリングを説明するための図である。
【図５】前記実施形態に係る映像符号化装置が備える摂動成分符号化部によるスキャン順序の決定方法を説明するための図である。
【図６】前記実施形態に係る映像符号化装置が備える摂動成分符号化部によるスキャン順序の決定方法を説明するための図である。
【図７】本発明の一実施形態に係る映像復号装置のブロック図である。
【図８】前記実施形態に係る映像復号装置が備える構造成分復号部のブロック図である。
【図９】前記実施形態に係る映像復号装置が備える摂動成分復号部のブロック図である。
【図１０】変形例に係る摂動成分符号化部によるスキャン順序の決定方法を説明するための図である。
【発明を実施するための形態】
【００５９】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００６０】
［映像符号化装置ＡＡの構成および動作］
図１は、本発明の一実施形態に係る映像符号化装置ＡＡのブロック図である。映像符号化装置ＡＡは、入力された入力映像ａについて、構造成分（Ｓｔｒｕｃｔｕｒｅ成分）と摂動成分（Ｔｅｘｔｕｒｅ成分）とに分解し、成分ごとに独立した符号化方式で符号化する。この映像符号化装置ＡＡは、非線形映像分解部１０、構造成分符号化部２０、および摂動成分符号化部３０を備える。
【００６１】
（非線形映像分解部１０の構成および動作）
非線形映像分解部１０は、入力映像ａを入力とする。この非線形映像分解部１０は、入力映像ａを構造成分と摂動成分とに分解し、構造成分入力映像ｅおよび摂動成分入力映像ｆとして出力するとともに、後述の非線形映像分解情報ｂを出力する。非線形映像分解部１０の動作について、以下に詳述する。
【００６２】
非線形映像分解部１０は、非線形映像分解により入力映像ａを構造成分と摂動成分とに分解する。非線形映像分解には、非特許文献２、３に示されているＢＶ−Ｇ非線形画像分解モデルを用いる。このＢＶ−Ｇ非線形画像分解モデルについて、画像ｚをＢＶ（有界変動）成分とＧ（振動関数）成分とに分解する場合を例に、説明する。
【００６３】
ＢＶ−Ｇ非線形画像分解モデルは、ＢＶ成分とＧ成分との和に画像を分解するものであり、ＢＶ成分をｕ、Ｇ成分をｖとしてモデル化し、２つの成分ｕ、ｖのノルムをＴＶノルムＪ（ｕ）、Ｇノルム｜｜ｖ｜｜Ｇと定義することで、この分解問題を以下の数式（１）、（２）の変分問題として定式化できる。
【００６４】
【数１】
2014187580.tif 000003
【００６５】
【数２】
2014187580.tif 000004
【００６６】
数式（１）において、パラメータηは残差電力を示し、パラメータμはＧ成分ｖのＧノルムの上限値を指定したものを示す。数式（１）、（２）の変分問題は、以下の数式（３）、（４）の等価な変分問題に変換できる。
【００６７】
【数３】
2014187580.tif 000005
【００６８】
【数４】
2014187580.tif 000006
【００６９】
数式（３）、（４）において、汎関数Ｊ＊は、空間Ｇ１のIndicator汎関数で、これら数式（３）、（４）を解くことは、以下の数式（５）、（６）の部分変分問題を同時に解くことと等価である。なお、数式（５）は、ｖが与えられたときｕを探索する部分変分問題であり、数式（６）は、ｕが与えられたときｖを探索する部分変分問題である。
【００７０】
【数５】
2014187580.tif 000007
【００７１】
【数６】
2014187580.tif 000008
【００７２】
これら数式（５）、（６）の２つの部分変分問題は、ChambolleのProjection法を用いて簡単に解くことができる。
【００７３】
非線形映像分解部１０は、以上の非線形映像分解に基づいて、Ｎフレームごとに（Ｎは、Ｎ≧１を満たす任意の整数）空間方向および時間方向に関して入力映像ａを映像分解し、構造成分入力映像ｅおよび摂動成分入力映像ｆとして出力する。また、Ｎは、時間方向に非線形分解する単位であり、非線形映像分解部１０は、このＮを上述の非線形映像分解情報ｂとして出力する。
【００７４】
（構造成分符号化部２０の構成および動作）
図２は、構造成分符号化部２０のブロック図である。構造成分符号化部２０は、入力映像ａの構造成分にあたる構造成分入力映像ｅに対して圧縮符号化処理を施して、構造成分圧縮データｃとして出力するとともに、入力映像ａの構造成分のフレーム間予測に用いられる動きベクトルの情報を含む予測情報ｇを出力する。この構造成分符号化部２０は、予測値生成部２１、直交変換／量子化部２２、逆直交変換／逆量子化部２３、ローカルメモリ２４、およびエントロピー符号化部２５を備える。
【００７５】
予測値生成部２１は、構造成分入力映像ｅと、ローカルメモリ２４から出力される後述の局所復号映像ｋと、を入力とする。この予測値生成部２１は、これら入力された情報を用いて、ピクセルドメイン上で動き補償予測を行って、予め定められた複数種類の予測方法のうち符号化効率の最も良い予測方法を選択し、選択した予測方法により、ピクセルドメイン上でフレーム間予測に基づく予測値ｈを生成する。そして、予測値ｈを出力するとともに、予測値ｈを生成するのに利用した予測方法を示す情報を、予測情報ｇとして出力する。この予測情報ｇには、入力映像ａの構造成分における処理ブロック内の動きベクトルの情報が含まれる。
【００７６】
直交変換／量子化部２２は、構造成分入力映像ｅと予測値ｈとの差分信号（残差信号）を入力とする。この直交変換／量子化部２２は、入力された残差信号に対して直交変換を行い、変換係数に対して量子化処理を施して、変換および量子化された残差信号ｉとして出力する。
【００７７】
逆直交変換／逆量子化部２３は、変換および量子化された残差信号ｉを入力とする。この逆直交変換／逆量子化部２３は、変換および量子化された残差信号ｉに対して、逆量子化および逆直交変換の処理を施して、逆量子化および逆変換された残差信号ｊとして出力する。
【００７８】
ローカルメモリ２４は、ローカルデコード映像を入力とする。このローカルデコード映像とは、予測値ｈと、逆量子化および逆変換された残差信号ｊと、の加算情報のことである。このローカルメモリ２４は、入力されたローカルデコード映像を蓄積し、局所復号映像ｋとして適宜出力する。
【００７９】
エントロピー符号化部２５は、予測情報ｇと、変換および量子化された残差信号ｉと、を入力とする。このエントロピー符号化部２５は、入力された情報を可変長符号化法または算術符号化法に基づいて符号化し、その結果を符号化シンタックスにしたがって圧縮データストリームとして書き出し、構造成分圧縮データｃとして出力する。
【００８０】
（摂動成分符号化部３０の構成および動作）
図３は、摂動成分符号化部３０のブロック図である。摂動成分符号化部３０は、入力映像ａの摂動成分にあたる摂動成分入力映像ｆに対して圧縮符号化処理を施して、摂動成分圧縮データｄとして出力する。この摂動成分符号化部３０は、直交変換部３１、予測値生成部３２、量子化部３３、逆量子化部３４、ローカルメモリ３５、およびエントロピー符号化部３６を備える。
【００８１】
直交変換部３１は、摂動成分入力映像ｆを入力とする。この直交変換部３１は、入力された摂動成分入力映像ｆに対して、ＤＳＴ（Discrete  Sine  Transform：離散サイン変換）といった直交変換を施し、変換した係数情報を直交変換係数ｍとして出力する。なお、ＤＳＴの代わりに、ＤＣＴ（Discrete  Cosine  Transform：離散コサイン変換）といった他のＫＬ変換に基づく直交変換を適用することもできる。
【００８２】
予測値生成部３２は、直交変換係数ｍと、ローカルメモリ３５から出力される後述の局所復号された直交変換係数ｒと、構造成分符号化部２０の予測値生成部２１から出力された予測情報ｇと、を入力とする。この予測値生成部３２は、これら入力された情報を用いて、周波数ドメイン上で動き補償予測を行って、予め定められた複数種類の予測方法のうち符号化効率の最も良い予測方法を選択し、選択した予測方法により、周波数ドメイン上でフレーム間予測に基づく予測値ｎを生成する。そして、予測値ｎを出力するとともに、予測値ｎを生成するのに利用した予測方法を示す情報を、予測情報ｏとして出力する。なお、予測値生成部３２は、周波数ドメイン上での動き補償予測において、構造成分符号化部２０の予測値生成部２１で生成された、入力映像ａの構造成分における処理ブロック内の動きベクトルを用いる。
【００８３】
ただし、直交変換係数ｍは、摂動成分入力映像ｆに対して時間方向に直交変換が施されたものである。このため、構造成分と摂動成分とでは、時間方向の処理単位が異なる。したがって、構造成分符号化部２０の予測値生成部２１で生成された動きベクトル、すなわち構造成分における動きベクトルを、そのまま予測値生成部３２が用いた場合、符号化性能が低下してしまうおそれがある。
【００８４】
ここで、摂動成分で時間方向予測を行う場合、予測処理を行う間隔は、時間方向に直交変換を施す単位（上述のＮフレーム）に相当する。そこで、予測値生成部３２は、構造成分における動きベクトルを用いる際に、この動きベクトルをＮフレーム先の参照となるようにスケーリングする。そして、スケーリングにより内挿または外挿した動きベクトルを用いて、摂動成分で時間方向予測を行う。例えば図４に、構造成分における動きベクトルに対して外挿する場合の例を示す。
【００８５】
図３に戻って、量子化部３３は、直交変換係数ｍと、予測値ｎと、の差分信号（残差信号）を入力とする。この量子化部３３は、入力された残差信号に対して量子化処理を施して、量子化された残差信号ｐとして出力する。
【００８６】
逆量子化部３４は、量子化された残差信号ｐを入力とする。この逆量子化部３４は、量子化された残差信号ｐに対して逆量子化処理を行って、逆量子化された残差信号ｑとして出力する。
【００８７】
ローカルメモリ３５は、ローカルデコード映像を入力とする。このローカルデコード映像とは、予測値ｎと、逆量子化された残差信号ｑと、の加算情報のことである。このローカルメモリ３５は、入力されたローカルデコード映像を蓄積し、局所復号された直交変換係数ｒとして適宜出力する。
【００８８】
エントロピー符号化部３６は、予測情報ｏと、量子化された残差信号ｐと、構造成分符号化部２０の予測値生成部２１から出力された予測情報ｇと、を入力とする。このエントロピー符号化部３６は、図２に示したエントロピー符号化部２５と同様に、摂動成分圧縮データｄを生成して出力する。
【００８９】
ただし、エントロピー符号化の対象となる量子化された残差信号ｐは、水平方向、垂直方向、および時間方向の３次元の係数情報である。そこで、エントロピー符号化部３６は、構造成分符号化部２０の予測値生成部２１で生成された動きベクトル、すなわち構造成分における動きベクトルの変化に応じて、摂動成分におけるスキャン順序を決定し、決定したスキャン順序にしたがって量子化された残差信号ｐを１次元化する。
【００９０】
具体的には、まず、エントロピー符号化部３６は、構造成分符号化部２０の予測値生成部２１から出力された予測情報ｇに基づいて、Ｎフレーム分の処理フレーム内の動きベクトルにより張られる領域の面積を求める。
【００９１】
処理フレーム内の動きベクトルにより張られる領域の面積について、Ｎ＝４の場合を例に、図５、６を用いて以下に説明する。図５において、ＭＶａ、ＭＶｂ、ＭＶｃ、ＭＶｄは、４つの各フレームにおける処理フレーム内の動きベクトルを示している。エントロピー符号化部３６は、これら動きベクトルＭＶａ、ＭＶｂ、ＭＶｃ、ＭＶｄを、図６に示すように各動きベクトルの起点を１点に合わせて配置し、これら動きベクトルＭＶａ、ＭＶｂ、ＭＶｃ、ＭＶｄに外接し、かつ、面積が最小となる多角形を求め、この多角形の面積を求める。
【００９２】
次に、エントロピー符号化部３６は、求めた面積に応じてスキャン順序を決定する。具体的には、エントロピー符号化部３６は、予め定められた閾値を複数記憶しているとともに、予め定められたスキャン順序を複数記憶しており、これら閾値と求めた面積との大小関係に基づいて、これら複数のスキャン順序の中から１つを選択し、選択したスキャン順序に決定する。予め定められたスキャン順序としては、例えば、時間方向に進みやすいスキャン順序や、空間方向に進みやすいスキャン順序などがある。そして、求めた面積が大きくなるに従って、動きが大きいと判断し、時間方向に進みやすいスキャン順序を選択する。一方、求めた面積が小さくなるに従って、動きが小さいと判断し、空間方向に進みやすいスキャン順序を選択する。
【００９３】
［映像復号装置ＢＢの構成および動作］
図７は、本発明の一実施形態に係る映像復号装置ＢＢのブロック図である。映像復号装置ＢＢは、入力映像ａの構造成分を映像符号化装置ＡＡで符号化したものにあたる構造成分圧縮データｃと、入力映像ａの摂動成分を映像符号化装置ＡＡで符号化したものにあたる摂動成分圧縮データｄと、をそれぞれ復号して、これら復号結果を合成して復号映像Ａを生成する。この映像復号装置ＢＢは、構造成分復号部１１０、摂動成分復号部１２０、および非線形映像合成部１３０を備える。
【００９４】
（構造成分復号部１１０の構成および動作）
図８は、構造成分復号部１１０のブロック図である。構造成分復号部１１０は、入力映像ａの構造成分を映像符号化装置ＡＡで符号化したものにあたる構造成分圧縮データｃを復号して、構造成分復号信号Ｂとして出力するとともに、入力映像ａの構造成分のフレーム間予測に用いられた動きベクトルの情報を含む予測情報Ｃを出力する。この構造成分復号部１１０は、エントロピー復号部１１１、予測値生成部１１２、逆直交変換／逆量子化部１１３、およびローカルメモリ１１４を備える。
【００９５】
エントロピー復号部１１１は、構造成分圧縮データｃを入力とする。このエントロピー復号部１１１は、構造成分圧縮データｃを可変長符号化法または算術符号化法に基づいて復号し、予測情報Ｃおよび残差信号Ｅを取り出して出力する。
【００９６】
予測値生成部１１２は、予測情報Ｃと、ローカルメモリ１１４から出力される後述の復号済み映像Ｈと、を入力とする。この予測値生成部１１２は、予測情報Ｃにしたがって復号済み映像Ｈから予測値Ｆを生成し、出力する。
【００９７】
逆直交変換／逆量子化部１１３は、残差信号Ｅを入力とする。この逆直交変換／逆量子化部１１３は、残差信号Ｅに対して逆直交変換および逆量子化の処理を施して、逆変換および逆量子化された残差信号Ｇとして出力する。
【００９８】
ローカルメモリ１１４は、構造成分復号信号Ｂを入力とする。この構造成分復号信号Ｂとは、予測値Ｆと残差信号Ｇとの加算情報のことである。このローカルメモリ１１４は、入力された構造成分復号信号Ｂを蓄積し、復号済み映像Ｈとして適宜出力する。
【００９９】
（摂動成分復号部１２０の構成および動作）
図９は、摂動成分復号部１２０のブロック図である。摂動成分復号部１２０は、入力映像ａの摂動成分を映像符号化装置ＡＡで符号化したものにあたる摂動成分圧縮データｄを復号して、摂動成分復号信号Ｄとして出力する。この摂動成分復号部１２０は、エントロピー復号部１２１、予測値生成部１２２、逆量子化部１２３、ローカルメモリ１２４、および逆直交変換部１２５を備える。
【０１００】
エントロピー復号部１２１は、摂動成分圧縮データｄを入力とする。このエントロピー復号部１２１は、摂動成分圧縮データｄを可変長符号化法または算術符号化法に基づいて復号し、残差信号Ｉを取り出して出力する。
【０１０１】
予測値生成部１２２は、構造成分復号部１１０のエントロピー復号部１１１から出力された予測情報Ｃと、ローカルメモリ１２４から出力される後述の処理済みフレームにおける変換係数Ｍと、を入力とする。この予測値生成部１２２は、予測情報Ｃにしたがって処理済みフレームにおける変換係数Ｍから予測値Ｊを生成し、出力する。なお、予測値生成部１２２は、予測値Ｊの生成を周波数ドメイン上で行い、その際に、図３の予測値生成部３２と同様に、構造成分復号部１１０の予測値生成部１１２で生成された動きベクトルをスケーリングして用いる。
【０１０２】
逆量子化部１２３は、残差信号Ｉを入力とする。この逆量子化部１２３は、残差信号Ｉに対して逆量子化の処理を施して、逆量子化された残差信号Ｋとして出力する。
【０１０３】
ローカルメモリ１２４は、周波数ドメイン上での摂動成分復号信号Ｌを入力とする。この周波数ドメイン上での摂動成分復号信号Ｌとは、予測値Ｊと残差信号Ｋとの加算情報のことである。このローカルメモリ１２４は、入力された周波数ドメイン上での摂動成分復号信号Ｌを蓄積し、処理済みフレームにおける変換係数Ｍとして適宜出力する。
【０１０４】
逆直交変換部１２５は、周波数ドメイン上での摂動成分復号信号Ｌを入力とする。この逆直交変換部１２５は、入力された周波数ドメイン上での摂動成分復号信号Ｌに対して、図３の直交変換部３１で施された直交変換に対する逆直交変換を施し、摂動成分復号信号Ｄとして出力する。
【０１０５】
（非線形映像合成部１３０の構成および動作）
図７に戻って、非線形映像合成部１３０は、構造成分復号信号Ｂと、摂動成分復号信号Ｄと、を入力とする。この非線形映像合成部１３０は、構造成分復号信号Ｂと摂動成分復号信号Ｄとの和をＮフレームごとに、非特許文献２、３に示されているように求めて、復号映像Ａを生成する。
【０１０６】
以上の映像符号化装置ＡＡによれば、以下の効果を奏することができる。
【０１０７】
ここで、入力映像を構造成分と摂動成分とに分解した場合について、以下に検討する。入力映像の構造成分については、隣接画素間の相関性が高く、時間方向の摂動的な画素値変化が除去されているため、時間方向予測に基づく従来の映像圧縮技術により圧縮符号化処理を施しても、高い符号化性能を得ることができる。また、入力映像の摂動成分については、空間方向および時間方向の隣接画素間の相関性は低いものの、摂動成分のもたらす雑音が所定のモデルにしたがっていると仮定すれば、適切な直交変換規定を用いた空間および時間方向の３次元直交変換や、空間方向の２次元直交変換の係数を用いた変換係数の時間予測を適用することで、効率的な符号化を行うことができる。
【０１０８】
そこで、映像符号化装置ＡＡは、入力映像ａを構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施す。このため、符号化性能を向上させることができる。そして、時間方向の摂動的な画素値変化の影響は、入力映像ａのフレームレートが高くなるに従って大きくなるので、特に高フレームレートの入力映像ａに対して、符号化性能を大きく向上させることができる。
【０１０９】
また、映像符号化装置ＡＡは、入力映像ａの摂動成分に対して周波数ドメイン上でフレーム間予測に基づく予測値ｎを生成し、この予測値ｎを用いて入力映像ａの摂動成分の圧縮データを生成する。このため、入力映像ａの摂動成分に対して圧縮符号化処理を施すことができる。
【０１１０】
また、映像符号化装置ＡＡは、入力映像ａの構造成分における動きベクトルを、入力映像ａの摂動成分に対する圧縮符号化処理に用いる。このため、入力映像ａの摂動成分における動きベクトルを、一から求める必要がないため、摂動成分の時間方向予測における符号化情報量を削減することができる。
【０１１１】
また、映像符号化装置ＡＡは、入力映像ａの構造成分における動きベクトルについて、処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔にこの動きベクトルを外挿または内挿する。このため、入力映像ａの構造成分における動きベクトルを、時間方向の処理単位が構造成分とは異なる摂動成分にスケーリングすることができ、符号化性能の低下を防止できる。
【０１１２】
また、映像符号化装置ＡＡは、入力映像ａの構造成分における動きベクトルで張られる領域の面積に基づいて、摂動成分におけるスキャン順序を決定する。このため、入力映像ａの構造成分における動きベクトルで張られる領域の面積により、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
【０１１３】
また、映像符号化装置ＡＡは、入力映像ａの構造成分について、ピクセルドメインでの圧縮符号化処理を施すことができ、入力映像ａの摂動成分について、周波数ドメインでの圧縮符号化処理を施すことができる。
【０１１４】
また、映像符号化装置ＡＡは、ブロックベースの予測符号化技術を用いて圧縮符号化処理を施すことができる。
【０１１５】
以上の映像復号装置ＢＢによれば、以下の効果を奏することができる。
【０１１６】
映像復号装置ＢＢは、入力映像ａを構造成分と摂動成分とに分解し、成分ごとに圧縮符号化処理を施したものについて、成分ごとに復号し、復号結果を合成して復号映像Ａを生成する。このため、符号化性能を向上させることができる。そして、時間方向の摂動的な画素値変化の影響は、入力映像ａのフレームレートが高くなるに従って大きくなるので、特に高フレームレートの入力映像ａに対して、符号化性能を大きく向上させることができる。
【０１１７】
また、映像復号装置ＢＢは、摂動成分圧縮データｄについてエントロピー復号した後に、周波数ドメイン上でフレーム間予測に基づく予測値Ｊを生成し、この予測値Ｊを用いて復号映像Ａの摂動成分を生成する。このため、復号映像Ａの摂動成分を求めることができる。
【０１１８】
また、映像復号装置ＢＢは、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルを、摂動成分圧縮データｄの復号に用いる。このため、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルを、一から求める必要がないため、摂動成分の時間方向予測における符号化情報量を削減することができる。
【０１１９】
また、映像復号装置ＢＢは、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルについて、処理フレームから参照フレームまでのフレーム間隔に応じて、時間方向の直交変換処理単位のフレーム間隔にこの動きベクトルを外挿または内挿する。このため、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルを、時間方向の処理単位が構造成分とは異なる摂動成分にスケーリングすることができ、符号化性能の低下を防止できる。
【０１２０】
また、映像復号装置ＢＢは、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルで張られる領域の面積に基づいて、摂動成分におけるスキャン順序を決定する。このため、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルで張られる領域の面積により、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
【０１２１】
また、映像復号装置ＢＢは、構造成分圧縮データｃについて、ピクセルドメインで復号することができ、摂動成分圧縮データｄについて、周波数ドメインで復号することができる。
【０１２２】
また、映像復号装置ＢＢは、ブロックベースの予測符号化技術を用いて復号することができる。
【０１２３】
なお、本発明の映像符号化装置ＡＡや映像復号装置ＢＢの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを映像符号化装置ＡＡや映像復号装置ＢＢに読み込ませ、実行することによって、本発明を実現できる。
【０１２４】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、映像符号化装置ＡＡや映像復号装置ＢＢに設けられたプロセッサによって行われる。
【０１２５】
また、上述のプログラムは、このプログラムを記憶装置などに格納した映像符号化装置ＡＡや映像復号装置ＢＢから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１２６】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を映像符号化装置ＡＡや映像復号装置ＢＢにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１２７】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【０１２８】
例えば、上述の実施形態では、図３のエントロピー符号化部３６は、スキャン順序を、図６を用いて説明したようにＮフレーム内の処理フレーム内の動きベクトルにより張られる領域の面積に応じて決定するものとしたが、これに限らない。例えば、図１０に示すように、Ｎフレーム内の処理フレーム内の動きベクトルの水平方向の振れ幅および垂直方向の振れ幅に応じて決定してもよい。
【０１２９】
上述のように水平方向の振れ幅および垂直方法の振れ幅を用いる場合には、エントロピー符号化部３６は、図１０に示すように各動きベクトルの基点を１点に合わせて配置し、これら動きベクトルの水平方向の変化量および垂直方向の変化量を求める。そして、これら変化量に応じて、スキャン順序を決定する。これによれば、入力映像ａの構造成分における動きベクトルの水平方向の変化量と垂直方向の変化量とにより、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。また、構造成分圧縮データｃの復号においてフレーム間予測に用いられる動きベクトルの水平方向の変化量と垂直方向の変化量とにより、動きが大きい領域であるか否かを判断し、判断結果に応じて適切なスキャン順序を決定することができる。
【符号の説明】
【０１３０】
１０・・・非線形映像分解部
２０・・・構造成分符号化部
３０・・・摂動成分符号化部
１１０・・・構造成分復号部
１２０・・・摂動成分復号部
１３０・・・非線形映像合成部
ＡＡ・・・映像符号化装置
ＢＢ・・・映像復号装置
【図１】
2014187580.tif 000009
【図２】
2014187580.tif 000010
【図３】
2014187580.tif 000011
【図４】
2014187580.tif 000012
【図５】
2014187580.tif 000013
【図６】
2014187580.tif 000014
【図７】
2014187580.tif 000015
【図８】
2014187580.tif 000016
【図９】
2014187580.tif 000017
【図１０】
2014187580.tif 000018