(57)【特許請求の範囲】
【請求項１】
入力信号の符号化を行わないで、前記入力信号を変換処理した前処理信号の符号化を行う符号化装置であって、
入力信号を再標本化し、再標本化された入力信号の標本数を削減するように変換処理を行って前処理信号を生成する前処理部と、
前記前処理信号を規格標準化された映像符号化方式により符号化して符号化信号を生成する符号化部と、
前記符号化信号を復号して局部復号信号を生成する局部復号部と、
前記局部復号信号に対して、前記局部復号信号に対し、少なくとも、最近傍補間を行うためのパラメータ、双一次補間を行うためのパラメータ、及び双三次補間を行うためのパラメータを用いて変換処理を行い、複数の後処理模擬信号を生成する後処理模擬部と、
前記入力信号との差が最小となる前記各後処理模擬信号の生成に用いられたパラメータを示す最適判定信号を符号化して補助情報符号化信号を生成する補助情報符号化部と、
前記入力信号と、前記入力信号との差が最小となる前記各後処理模擬信号との差分である残差信号を符号化して残差符号化信号を生成する残差符号化部と、を備え、
前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号の順に誤り耐性が高い信号から低い信号となるように、前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号を送信することを特徴とする符号化装置。
【請求項２】
コンピュータを、請求項１に記載の符号化装置として機能させるためのプログラム。
【請求項３】
請求項１に記載の符号化装置と、前記符号化装置から前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号を取得する復号装置と、を備えた符号化システムであって、
前記符号化信号を復号して復号信号を生成する復号部と、
前記補助情報符号化信号を復号して補助情報復号信号を生成する補助情報復号部と、
前記復号信号に対して前記補助情報復号信号により示されるパラメータを用いて変換処理を行って後処理信号を生成する後処理部と、
前記残差符号化信号を復号して残差復号信号を生成する残差復号部と、
前記後処理信号に前記残差復号信号を加算した信号を外部に出力する加算部と、
を備えることを特徴とする符号化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、符号化システム、及びプログラムに関する。
【背景技術】
【０００２】
信号の符号化方式として、波形を予測し、予測残差を符号化する手法がある。とくに映像信号を符号化する場合においては、あるフレームを符号化する際に、映像をブロックに分割し、符号化対象ブロックごとに既に符号化済みの別のフレーム又は当該フレーム内の画像から予測処理を行い、該予測処理の結果と符号化対象ブロックとの誤差に対して離散コサイン変換などの変換処理を行い、該変換処理の結果たる変換係数を量子化し、さらに該量子化結果をエントロピー符号化することによってデータ圧縮を実現する手法が用いられている。このような符号化方式は、ハイブリッド符号化あるいはＭＣ−ＤＣＴ（Motion Compensation / Discrete Cosine Transform）符号化と呼ばれている。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、及びＭＰＥＧ−Ｈ ＨＥＶＣ／Ｈ．２６５の各映像符号化方式はＭＣ−ＤＣＴ符号化に属する方式である。
【０００３】
また、特許文献１には、ＭＣ−ＤＣＴ符号化を含む既存の映像符号化方式に、前処理及び後処理を設けることで、符号化効率や主観画質を向上する手法が開示されている。この手法では、前処理に解像度削減処理を用いることで既存の映像符号化方式における圧縮率を緩和し、一方、後処理として超解像技術を応用することで、ぼやけの少ない解像度復元を実現している。このとき、解像度復元の処理を調整可能とし、入力映像を最も良く再現できる最適な調整値（パラメータ）を符号化装置で予め求めて、該最適な調整値を復号装置へ補助情報として伝送することで、高効率な圧縮伝送を可能とする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５４１９７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の手法では、解像度復元の最適な調整により符号化効率を向上できるものの、該最適な調整を行ってもなお入力信号（原画）を再現しきれない残差成分についてはまったく信号伝送を行っていない。このため、必要な画質まで復元結果を追い込みきれない場合には、画質劣化が調整の単位（例えばブロック単位）で顕在化し、ブロック歪として検知されることがあった。
【０００６】
かかる事情に鑑みてなされた本発明の目的は、特許文献１の手法のように高効率な圧縮伝送を行う際に、最適な調整を行ってもなお入力信号（原画）を再現しきれない残差成分を符号化装置から復号装置へ伝送して、復号装置の出力信号の品質を向上させることが可能な符号化装置、符号化システム、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る符号化装置は、入力信号の符号化を行わないで、前記入力信号を変換処理した前処理信号の符号化を行う符号化装置であって、入力信号を再標本化し、再標本化された入力信号の標本数を削減するように変換処理を行って前処理信号を生成する前処理部と、前記前処理信号を規格標準化された映像符号化方式により符号化して符号化信号を生成する符号化部と、前記符号化信号を復号して局部復号信号を生成する局部復号部と、前記局部復号信号に対して、前記局部復号信号に対し、少なくとも、最近傍補間を行うためのパラメータ、双一次補間を行うためのパラメータ、及び双三次補間を行うためのパラメータを用いて変換処理を行い、複数の後処理模擬信号を生成する後処理模擬部と、前記入力信号との差が最小となる前記後処理模擬信号の生成に用いられたパラメータを示す最適判定信号を符号化して補助情報符号化信号を生成する補助情報符号化部と、前記入力信号と、前記入力信号との差が最小となる前記後処理模擬信号との差分である残差信号を符号化して残差符号化信号を生成する残差符号化部と、を備え、前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号の順に誤り耐性が高い信号から低い信号となるように、前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号を送信することを特徴とする。
【０００９】
また、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。
【００１０】
また上記課題を解決するため、本発明に係る符号化システムは、上記符号化装置と、前記符号化装置から前記符号化信号、前記補助情報符号化信号、及び前記残差符号化信号を取得する復号装置と、を備えた符号化システムであって、前記符号化信号を復号して復号信号を生成する復号部と、前記補助情報符号化信号を復号して補助情報復号信号を生成する補助情報復号部と、前記復号信号に対して前記補助情報復号信号により示されるパラメータを用いて変換処理を行って後処理信号を生成する後処理部と、前記残差符号化信号を復号して残差復号信号を生成する残差復号部と、前記後処理信号に前記残差復号信号を加算した信号を外部に出力する加算部と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、高効率な圧縮伝送を行う際に、最適な調整を行ってもなお入力信号を再現しきれない残差成分を、符号化装置から復号装置へさらに伝送することができるようになるため、復号装置の出力信号の質を向上することができるようになる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る符号化装置及び復号装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。実施形態では、伝送する対象の信号が映像信号であるものとして説明するが、静止画信号や音声信号などの他の形態の信号を伝送する場合においても、同様に構成し、同様に動作させることができる。
【００１５】
図１は、本発明の一実施形態に係る符号化装置及び復号装置の構成例を示すブロック図である。符号化装置１及び復号装置２をまたぐ既存処理部３により、既存の符号化方式による信号の符号化及び復号が行われる。なお、図示は省略するが、符号化装置１及び復号装置２の間に記録媒体を介在させてもよい。その場合、符号化装置１は符号化信号を記録媒体に記録し、復号装置２は記録媒体から符号化信号を取得する。つまり、符号化装置１は符号化信号を復号装置２に、直接、又は記録媒体を介して間接的に送信する。
【００１６】
［符号化装置］
まず符号化装置１の詳細について以下に説明する。図１に示すように、符号化装置１は、前処理部１１と、後処理模擬部１２と、最適化部１３と、補助情報符号化部１４と、減算部１５と、残差符号化部１６と、符号化部３１と、局部復号部３２とを備える。
【００１７】
伝送する対象の信号が映像信号である場合、既存処理部３としては、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、ＭＰＥＧ−Ｈ ＨＥＶＣなど、規格標準化された映像符号化方式を用いることができる。
【００１８】
前処理部１１は、入力信号Ｈに対して変換処理を行って前処理信号Ｌを生成し、符号化部３１に出力する。前処理部１１は、入力信号Ｈの有するデータ量やビット深度を削減するか、各画素のデータ値を可変又は不変の変換式に代入して別のデータ値に変換する。例えば、前処理部１１は、入力信号Ｈを再標本化し、データの標本数を削減する。このとき再標本化に先だって、低域通過型フィルタなどの間引きフィルタを適用してもよい。間引きフィルタの遮断周波数は、再標本化時のナイキスト周波数に応じて決定してもよいし、再標本化対象の信号波形の変化（例えば、フレーム間での画像の変化）に応じて変化させてもよい。
【００１９】
入力信号Ｈが水平方向Ｘ画素、垂直方向Ｙ画素の大きさの画像信号の場合について説明する。ここで、入力信号Ｈの画像座標（ｘ，ｙ）における画素値をＨ（ｘ，ｙ）と表記する（他の画像についても同様）。前処理部１１は、例えば、式（１）又は（２）に示す変換により、大きさが水平方向Ｘ／２画素、垂直方向Ｙ／２画素である前処理信号Ｌ（ｘ，ｙ）を得る。
【００２０】
【数１】
0006557483.tif 000002
【００２１】
【数２】
0006557483.tif 000003
【００２２】
なお、式（２）のｇは間引きフィルタ、Ｇは間引きフィルタｇのカーネルの大きさを表す領域であり、例えば式（３）で表される。
【００２３】
【数３】
0006557483.tif 000004
【００２４】
符号化部３１は、前処理部１１により生成された前処理信号Ｌを、例えば規格標準化された映像符号化方式により符号化を行って符号化信号を生成し、局部復号部３２に出力する。また、符号化部３１は符号化信号を復号装置２に、直接、又は記録媒体を介して間接的に送信する。
【００２５】
局部復号部３２は、符号化部３１により生成された符号化信号を復号して、局部復号信号Ｄを生成し、後処理模擬部１２に出力する。局部復号信号Ｄは、後述する復号部３３により生成される復号信号と同一となる。局部復号部３２は、復号部３３と同一であってもよい。なお、符号化部３１が内部で生成した局部復号信号を外部に出力する構成である場合には、局部復号部３２を別途設ける必要は無く、符号化部３１が出力する局部復号信号を後処理模擬部１２に入力させる。
【００２６】
後処理模擬部１２は、復号装置２における後処理を模擬するために、局部復号部３２により生成された局部復号信号Ｄに対して、Ｎ個（Ｎは１以上の自然数）のパラメータを用いて信号処理を行ってＮ個の後処理模擬信号Ｅ1乃至ＥNを生成し、最適化部１３に出力する。例えば、後処理模擬部１２は、典型的には前処理部１１と逆の変換又はこれを近似する変換を行う。例えば、前処理部１１がデータの標本数を１／Ｍ倍（例えば、ＭはＭ＞１なる実数）に減ずる場合には、後処理模擬部１２はデータの標本数をＭ倍に増加する。
【００２７】
局部復号信号Ｄが画像信号である場合には、後処理模擬部１２は、例えば、局部復号信号Ｄに対し最近傍補間（パラメータ１）を用いて処理して２×２倍の解像度（標本数）に増加した信号を後処理模擬信号Ｅ1とし、局部復号信号Ｄに対し双一次補間（パラメータ２）を用いて処理して２×２倍の解像度に増加した信号を後処理模擬信号Ｅ2とし、局部復号信号Ｄに対し双三次補間（パラメータ３）を用いて処理して２×２倍の解像度に増加した信号を後処理模擬信号Ｅ3とする。このように異なる補間処理によって後処理模擬信号Ｅ1乃至ＥNを生成することができる。このほかに、あるいはこれに加えて、超解像処理により解像度変換を行ってもよい。例えば、画像信号である局部復号信号Ｄに対するウェーブレット超解像や、局部復号信号Ｄ及びその前後のフレームを用いた複数フレーム超解像などにより解像度変換を行うことができる。
【００２８】
最適化部１３は、後処理模擬部１２により生成されたＮ個の後処理模擬信号Ｅ1乃至ＥNと、入力信号Ｈとを比較し、入力信号Ｈとの差が最小となる後処理模擬信号Ｅｎ（１≦ｎ≦Ｎ）の生成に用いられたパラメータを示す最適判定信号を生成する。最適化部１３は、画面を分割した領域ごとに最適性の判定をしてもよいし、画像全体の領域を評価対象として最適性の判定をしてもよい。さらに、最適化部１３は、入力信号Ｈのそれぞれ複数の時点からなる画像列（複数フレーム）をひとまとまりにして、該ひとまとまりの単位で最適性の判定をしてもよい。一般的には、最適化部１３は、後処理模擬信号Ｅ1乃至ＥNと、入力信号Ｈについて時空間的な部分領域を定義し、該部分領域ごとに後処理模擬信号Ｅ1乃至ＥNのいずれが最適であるかを判定する。
【００２９】
例えば、最適化部１３は、画像の部分領域Ｒp（ｐは１以上Ｐ以下の自然数、Ｐは部分領域の総数であって１以上の整数。）ごとに、最適な後処理模擬信号のインデックス（Ｅ1乃至ＥNの添え字）である最適判定信号ｎopt（ｐ）を、式（４）又は（５）の判定式を用いて判定する。
【００３０】
【数４】
0006557483.tif 000005
【００３１】
【数５】
0006557483.tif 000006
【００３２】
さらに、最適化部１３は、最適判定信号ｎopt（ｐ）に基づき、後処理模擬信号Ｅ1乃至ＥNを合成して最適化信号Ｆを生成し、減算部１５に出力する。最適化信号Ｆは例えば、式（６）によって得られる。
【００３３】
【数６】
0006557483.tif 000007
【００３４】
補助情報符号化部１４は、最適化部１３により生成された最適判定信号ｎopt（ｐ）を符号化して補助情報符号化信号を生成し、復号装置２に直接、又は記録媒体を介し間接的に送信する。このとき、補助情報符号化部１４は、可逆的な圧縮符号化を適用してもよい。可逆的な圧縮符号化には、例えばハフマン符号化や算術符号化などのエントロピー符号化と、必要に応じてシンボル間の予測（例えば、シンボル間の差分など）を用いることができる。
【００３５】
減算部１５は、入力信号Ｈと、最適化部１３によって生成された最適化信号Ｆとの差分である残差信号Ｑを算出し、残差符号化部１６に出力する。入力信号Ｈが映像信号や画像信号の場合には、例えば、式（７）によって残差信号Ｑを求める。
【００３６】
【数７】
0006557483.tif 000008
【００３７】
残差符号化部１６は、減算部１５により生成された残差信号Ｑを可逆又は非可逆の圧縮符号化を施して残差符号化信号を生成し、復号装置２に直接、又は記録媒体を介して間接的に送信する。例えば、入力信号Ｈが映像信号の場合には、残差符号化部１６として、既存の映像符号化方式（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、ＭＰＥＧ−Ｈ ＨＥＶＣなど）や既存の静止画像符号化方式（ＪＰＥＧなど）を用いることができる。
【００３８】
［復号装置］
つぎに、復号装置２の詳細について以下に説明する。図１に示すように、復号装置２は、補助情報復号部２１と、後処理部２２と、残差復号部２３と、加算部２４と、復号部３３とを備える。復号装置２は符号化装置１から符号化信号、補助情報符号化信号、及び残差符号化信号を直接取得するか、あるいは符号化装置１及び復号装置２の間に記録媒体が介在する場合には記録媒体を介して取得する。
【００３９】
復号部３３は、符号化装置１の符号化部３１及び局部復号部３２とともに、既存処理部３を構成する。復号部３３は、符号化部３１と対をなし、符号化部３１により生成された符号化信号を取得し、例えば規格標準化された映像符号化方式により復号して復号信号Ｄを生成し、後処理部２２に出力する。復号部３３が生成する復号信号Ｄは、局部復号部３２が生成する局部復号信号Ｄと一致する。
【００４０】
補助情報復号部２１は、補助情報符号化部１４により符号化された補助情報符号化信号を取得し、該補助情報符号化信号を復号して補助情報復号信号である最適判定信号ｎopt（ｐ）を生成し、後処理部２２に出力する。
【００４１】
後処理部２２は、復号部３３により生成された復号信号に対して、後処理模擬部１２の実行するＮ個の処理のいずれをも実行可能なよう実装され、最適判定信号ｎopt（ｐ）によって指定されるパラメータ用いて変換処理を行って後処理信号を生成し、加算部２４に出力する。最適判定信号ｎopt（ｐ）が領域単位で最適判定を行う場合には、該領域ごとに処理結果を切り替える。この動作により、後処理部２２の出力は、最適化部１３の出力する最適化信号Ｆに一致する。例えば、後処理部２２は、後処理模擬部１２と同様の実装によりＮ個の変換処理結果をすべて演算しておき、入力された最適判定信号ｎopt（ｐ）に応じて、これらＮ個の処理結果の中から最適なものを選択するよう領域ごとに切り替えつつ出力するようしてもよい。
【００４２】
残差復号部２３は、残差符号化部１６により符号化された残差符号化信号を取得し、該残差符号化信号を復号して残差復号信号Ｒを生成し、加算部２４に出力する。
【００４３】
加算部２４は、式（８）に示すように、後処理部２２により生成される最適化信号Ｆと、残差復号部２３により生成される残差復号信号Ｒとを加算して出力信号Ｓを生成し、外部に出力する。
【００４４】
【数８】
0006557483.tif 000009
【００４５】
残差符号化部１６が非可逆符号化を行う場合には、残差復号信号Ｒと残差信号Ｑとは必ずしも完全には一致しない。一方、残差符号化部１６が可逆符号化を行う場合には、残差復号信号Ｒと残差信号Ｑとは完全に一致し、その結果、加算部２４の出力する出力信号Ｓと入力信号Ｈも完全に一致する。
【００４６】
上述したように、本発明に係る符号化装置１は、符号化部３１によって符号化された符号化信号と、補助情報符号化部１４によって符号化された補助情報符号化信号と、残差符号化部１６によって符号化された残差符号化信号とを送信し、復号装置２はこれらの信号を取得する。このため、高効率な圧縮伝送を行う場合においても、復号装置２の出力信号Ｓの品質を向上させることができる。
【００４７】
符号化装置１から復号装置２に伝送されるこれらの信号は、符号化信号、補助情報符号化信号、残差符号化信号の順で優先度を高く伝送するのが好適である。換言すれば、符号化信号のみを伝送する場合でも、後処理部２２を既定の処理によって動作させることにより、誤差は大きいものの信号再生は可能である。
【００４８】
符号化信号及び補助情報符号化信号のみを伝送する場合には、後処理部２２を最適な状態で制御することができるため、符号化信号しか伝送しない場合よりも高い精度で信号を再生することができる。
【００４９】
そして、符号化信号、補助情報符号化信号、及び残差符号化信号のすべてを伝送する場合には、符号化信号及び補助情報符号化信号のみを伝送する場合よりも高い精度で信号を再生することができる。
【００５０】
このような特性から、伝送路や伝送路符号化を考慮する場合には、符号化信号、補助情報符号化信号、残差符号化信号の順で誤り耐性を高くするのが好適である。例えば、変調多値数の少ない変調方式を用いることにより誤り耐性を高くすることができる。
【００５１】
なお、符号化信号、補助情報符号化信号、及び残差符号化信号は、すべて同じ媒体（伝送路）上で伝送してもよいし、すべて別々の媒体上で伝送してもよいし、うち二つと残り一つとで異なる媒体上で伝送してもよい。例えば、映像信号を伝送する場合においては、符号化信号を放送波の主たる伝送路において高い誤り耐性で伝送し、補助情報符号化信号を放送波の副たる伝送路上において低い誤り耐性で伝送し、さらに残差符号化信号をＩＰ（Internet Protocol）上で伝送するような構成も可能である。すなわち、符号化信号、補助情報符号化信号、及び残差符号化信号によって、品質上スケーラブルな伝送が可能となる。
【００５２】
なお、上述した符号化装置１又は復号装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１又は復号装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００５３】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態では入力信号Ｈを映像信号として説明したが、入力信号Ｈは静止画信号や音声信号であってもよい。また、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００５４】
１    符号化装置
２    復号装置
３    既存処理部
１１  前処理部
１２  後処理模擬部
１３  最適化部
１４  補助情報符号化部
１５  減算部
１６  残差符号化部
２１  補助情報復号部
２２  後処理部
２３  残差復号部
２４  加算部
３１  符号化部
３２  局部復号部
３３  復号部
【図１】
0006557483.tif 000010