(57)【要約】  【課題】画像１枚ごとでの信号間の冗長性を削減する方式により、画像をぼやけさせることなく高い符号化効率を得ることを可能にすること。  【解決手段】分離手段11は、画像信号を基準信号と被予測信号に分離する。基準信号は、変換手段12で直交変換され、量子化手段15、符号化手段16で処理されて送出される。逆変換手段18から量子化誤差を含む基準信号が出力される。予測手段14は、量子化誤差を含む基準信号を元に被予測信号を近似する予測係数を推定する。補償手段19は、量子化誤差を含む基準信号と予測係数から被予測信号の予測信号を生成する。差分手段13は、被予測信号と予測信号の差分を算出して予測誤差信号とする。予測誤差信号は変換手段12、量子化手段15、符号化手段16で処理されて送出される。  【選択図】図１
2006310941.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を画像１枚ごとに基準信号と被予測信号に分離する分離手段と、
前記基準信号または予測誤差信号を直交変換して変換係数を出力する変換手段と、
前記変換係数を量子化して量子化された変換係数を出力する量子化手段と、
前記量子化された変換係数を符号化する符号化手段と、
前記量子化された変換係数のうち基準信号に対する変換係数のみを逆量子化する逆量子化手段と、
前記逆量子化された変換係数を逆変換して量子化誤差を含む基準信号を出力する逆変換手段と、
前記量子化誤差を含む基準信号を元に前記被予測信号を近似する予測係数を推定する予測手段と、
前記量子化誤差を含む基準信号と前記予測係数から被予測信号の予測信号を生成する補償手段と、
前記被予測信号と前記予測信号の差分を算出して予測誤差信号とする差分手段を備えたことを特徴とする画像符号化装置。
【請求項２】
直交変換係数で構成されている画像信号を画像１枚ごとに基準信号と被予測信号に分離する分離手段と、
前記基準信号または予測誤差信号を量子化して量子化された変換係数を出力する量子化手段と、
前記量子化された変換係数を符号化する符号化手段と、
前記量子化された変換係数のうち基準信号に対する変換係数のみを逆量子化する逆量子化手段と、
前記逆量子化手段からの量子化誤差を含む基準信号を元に前記被予測信号を近似する予測係数を推定する予測手段と、
前記量子化誤差を含む基準信号と前記予測係数から被予測信号の予測信号を生成する補償手段と、
前記被予測信号と前記予測信号の差分を算出して予測誤差信号とする差分手段を備えたことを特徴とする画像符号化装置。
【請求項３】
前記分離手段は、入力画像信号を１つの基準信号と１つ以上の被予測信号に分離することを特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】
前記分離手段は、入力画像信号のうち変化に富んだ信号を基準信号とすることを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記分離手段は、任意の色空間に写像された信号を分離可能であることを特徴とする請求項３に記載の画像符号化装置。
【請求項６】
前記分離手段は、YUV色空間に写像された信号を分離可能であり、Y信号を基準信号とし、U信号およびV信号を被予測信号とすることを特徴とする請求項３に記載の画像符号化装置。
【請求項７】
前記予測手段は、任意の予測方式および予測係数に対応可能に構成されていることを特徴とする請求項１または２に記載の画像符号化装置。
【請求項８】
前記予測手段は、画像における小領域ごとに予測係数を推定することを特徴とする請求項１または２に記載の画像符号化装置。
【請求項９】
前記予測手段は、乗数と補正値からなる予測係数を推定することを特徴とする請求項１または２に記載の画像符号化装置。
【請求項１０】
前記予測手段は、前記量子化誤差を含む基準信号と前記被予測信号の誤差を最小にする予測係数を推定することを特徴とする請求項１または２に記載の画像符号化装置。
【請求項１１】
前記予測手段は、予測係数を推定する際の評価基準として前記量子化誤差を含む基準信号と前記被予測信号の２乗誤差を用いることを特徴とする請求項１０に記載の画像符号化装置。
【請求項１２】
前記予測手段は、前記２乗誤差を予測係数によって偏微分した式を０とする係数を、前記量子化誤差を含む基準信号と前記被予測信号の誤差を最小にする予測係数と推定することを特徴とする請求項１１に記載の画像符号化装置。
【請求項１３】
前記予測手段は、画像における小領域ごとに予測係数を推定するものであり、前記小領域について前記量子化誤差を含む基準信号の和と２乗和、前記被予測信号の和、および前記量子化誤差を含む基準信号と前記被予測信号の積和を含む連立１次方程式の係数を予測係数とする導出式を利用することを特徴とする請求項１１に記載の画像符号化装置。
【請求項１４】
前記予測手段は、前記導出式を代数的に解くことによって予測係数を推定することを特徴とする請求項１３に記載の画像符号化装置。
【請求項１５】
前記予測手段は、量子化誤差を含む予測係数を利用して他の予測係数を導出することを特徴とする請求項１３に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置に関し、特に、１枚の画像それぞれについて相関のある情報から符号化対象を予測し、予測誤差を符号化する画像符号化装置に関する。
【背景技術】
【０００２】
従来、画像符号化における符号化効率を向上させる方式として、時間的冗長性を削減する方式と空間的冗長性を削減する方式が知られている。
【０００３】
時間的冗長性を削減する方式としては、フレーム差分方式や動き補償方式がある。フレーム差分方式では、連続する２枚の画像を単純に減算し、それにより得られる差分を符号化する。また、動き補償方式は、参照フレームに対して動きベクトルを適用することで符号化対象フレームの近似画像を生成し、この近似画像と符号化対象フレームとの差分を符号化する。
【０００４】
動き補償方式は、画像間の相違を小さくした上で符号化するので、フレーム差分方式より符号化効率の面で優れる。動き補償方式で用いる動きベクトルの推定方法としては様々な方法が提案されており、動き推定に関する主要な特許は、下記ＵＲＬ(特許文献１)で公開されている。
【０００５】
一方、空間的冗長性を削減する方式としては、直交変換係数を量子化する方式がある。直交変換は、画素信号を周波数領域に写像し、低域にエネルギを集中させる。人間の視覚特性が高域に敏感でないことを利用し、高域成分を量子化で除去することで符号化効率を上げることが可能となる。直交変換に関する主要な特許は、下記ＵＲＬ(特許文献２)で公開されている。
【特許文献１】http://www.jpo.go.jp/shiryou/s_sonota/map/denki14/2/2-1-2-1.htm
【特許文献２】http://www.jpo.go.jp/shiryou/s_sonota/map/denki14/2/2-1-3.htm
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のフレーム差分方式や動き補償によれば、時間的冗長性が削減されるが、RGB信号、YUV信号あるいはYCbCr信号のように複数の信号からなる画像信号において画像１枚内での冗長性は削減されない。
【０００７】
一方、直交変換係数を量子化する方式によれば、空間的冗長性が削減されるが、高周波成分が除去されてしまうので、エッジ領域など変化が激しい画像領域での画像がぼやけてしまうという課題がある。また、この方式によっても複数の信号からなる画像信号において画像１枚内での冗長性を削減されない。
【０００８】
本発明の目的は、上記課題を解決し、画像１枚ごとでの信号間の冗長性を削減する方式により、画像をぼやけさせることなく高い符号化効率を得ることができる画像符号化装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、画像信号を画像１枚ごとに基準信号と被予測信号に分離する分離手段と、前記基準信号または予測誤差信号を直交変換して変換係数を出力する変換手段と、前記変換係数を量子化して量子化された変換係数を出力する量子化手段と、前記量子化された変換係数を符号化する符号化手段と、前記量子化された変換係数のうち基準信号に対する変換係数のみを逆量子化する逆量子化手段と、前記逆量子化された変換係数を逆変換して量子化誤差を含む基準信号を出力する逆変換手段と、前記量子化誤差を含む基準信号を元に前記被予測信号を近似する予測係数を推定する予測手段と、前記量子化誤差を含む基準信号と前記予測係数から被予測信号の予測信号を生成する補償手段と、前記被予測信号と前記予測信号の差分を算出して予測誤差信号とする差分手段を備えたことを基本的特徴としている。
【００１０】
本発明は、画像信号は、RGB信号、YUV信号あるいはYCbCr信号などの任意の色空間に写像された信号でよく、直交変換係数で構成されている画像信号を入力するように構成することもできる。また、予測手段では、任意の予測方式を利用することができる。
【発明の効果】
【００１１】
本発明は、入力画像信号を画像１枚ごとに基準信号と被予測信号に分離し、基準信号を元に被予測信号を予測して被予測信号における情報の発生量を削減する予測方式であり、基準信号と補予測信号は高い相関を持つので、高い符号化効率を得ることができる。また、画像をぼやけさせることもない。本発明は、時間冗長性などを削減する従来の予測方式と組み合わせることができ、その組合せにより、さらに高い符号化効率を得ることが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明を説明する。図１は、本発明に係る画像符号化装置の一実施形態を示すブロック図である。以下、図１の画像符号化装置の各部の機能を順に説明する。
【００１３】
分離手段11は、入力される画像信号を画像１枚ごとに複数の信号に分離する。本実施形態では画像信号は画素信号である。分離手段11で分離された信号の１つは、後述する予測手段14の基準となる基準信号となり、他は予測される被予測信号となる。被予測信号は、複数であってもよい。
【００１４】
分離手段11での分離には、例えばRGB信号、YUV信号あるいはYCbCr信号など任意の色空間に写像された信号を利用することができ、分離する信号の種類や数は限定されない。分離手段11を任意の色空間に写像された信号を分離可能とすれば、様々な入力画像信号に対応できる。予測精度向上のためには、解像度の高い信号や変化に富んだ信号を基準信号とすることが好ましい。例えばYUV信号を利用する場合にはY信号を基準信号とし、U信号およびV信号を被予測信号とするのがよい。
【００１５】
分離手段11で分離された基準信号は変換手段12に送られ、被予測信号は差分手段13および予測手段14に送られる。変換手段12は、分離手段11から送られる基準信号あるいは差分手段13から送られる予測誤差信号を直交変換によって符号化し、周波数領域の信号(直交変換係数)に変換する。直交変換にはDCTやDCTの近似変換またはDWTなどを利用することができる。変換手段12で得られた変換係数は量子化手段に送られる。
【００１６】
量子化手段15は、変換手段12から送られる変換係数を量子化する。変換手段12から送られる変換係数が基準信号に対するものである場合には、量子化によって得られた量子化値は、符号化手段16および逆量子化手段17に送られる。変換手段12から送られる変換係数が被予測信号に対するものである場合には、量子化によって得られた量子化値は、符号化手段16だけに送られる。
【００１７】
量子化手段15での量子化処理に用いる量子化パラメータは、定数値の組合せとして設定してもよいが、生成される変換係数の情報量に応じて制御することで出力されるビットレートを一定に保つようにすることもできる。
【００１８】
符号化手段16は、量子化手段15から送られる量子化済み変換係数および予測手段14から送られる予測係数を符号化し、符号化情報として出力する。符号化手段16での量子化済み変換係数の符号化には、符号間の冗長性を取り除く可変長符号化や算術符号化を利用することができる。
【００１９】
逆量子化手段17は、量子化手段15での量子化処理の逆の手順を踏むことで、量子化手段15から送られる量子化済み変換係数を逆量子化する。逆量子化手段17で逆量子化された変換係数は、逆変換手段18に送られる。この変換係数は、量子化誤差を含んでいる。
【００２０】
逆変換手段18は、変換手段12での直交変換処理の逆の手順を踏むことで、逆量子化手段17から送られる量子化誤差を含む変換係数を逆直交変換する。逆変換手段18から量子化誤差を含む基準信号が生成される。この基準信号は、予測手段14および補償手段19に送られる。
【００２１】
予測手段14は、逆変換手段18から送られる量子化誤差を含む基準信号を元に、分離手段11から送られる被予測信号を近似するための予測係数を算出する。ここでの被予測信号は、基準信号と同じ１枚の画像に対するものである。予測手段14で算出された予測係数は、補償手段19および符号化手段16に送られる。
【００２２】
予測手段14は、例えば線形結合の乗数aと補正値bを予測係数とし、小領域単位で基準信号と予測係数で被予測信号を近似する予測係数を推定する。なお、YUV信号を利用する場合であって、サブサンプリングによってYUV信号の解像度が互いに異なる場合には、解像度変換によって解像度を一致させておく必要がある。普通、Y信号の解像度が高いので、Y信号を基準信号、U信号およびV信号を被予測信号とするのがよい。
【００２３】
Y信号を基準信号、U信号およびV信号を被予測信号とした場合、ある小領域Rに属する座標(x,y)とし、YUV信号それぞれの画素値をY(x,y)、U(x,y)、V(x,y)とすると、座標(x,y)のU信号およびV信号の予測式は式(1)で与えられる。なお、基準信号Y(x,y)には量子化誤差が含まれており、これにより誤差の伝搬を防ぐことができる。
【００２４】
【数１】
2006310941.tif 000003
【００２５】
予測係数ａｕ、ｂｕ、ａｖ、ｂｖは、量子化誤差を含む基準信号Y(x,y)と被予測信号U(x,y)、V(x,y)の誤差を最小にするように推定する。予測係数を推定する際の評価基準としてとしては予測誤差の２乗を用いることができる。U信号に対する予測係数ａｕ、ｂｕを推定する場合の具体的算出方法について以下に説明する。
【００２６】
まず、予測されたU信号の２乗誤差Ｅｕ２は、式(2)で表される。
【００２７】
【数２】
2006310941.tif 000004
【００２８】
このとき、２乗誤差Ｅｕ２の予測係数ａｕ、ｂｕによる偏微分は、式(3)で表される。なお、nは小領域Rに属する画素数を表す。
【００２９】
【数３】
2006310941.tif 000005
【００３０】
２乗誤差Ｅｕ２を最小化するには式(3)が0になることが必要である。従って、式(4)を解けば予測係数ａｕ、ｂｕを算出できる。
【００３１】
【数４】
2006310941.tif 000006
【００３２】
式(4)は、各小領域について量子化誤差を含む基準信号の和と２乗和、被予測信号の和、および量子化誤差を含む基準信号と被予測信号の積和を含む連立１次方程式であり、予測係数を算出できる導出式となる。式(4)を代数的に解くと、２乗誤差Ｅｕ２を最小化する予測係数である乗数ａｕおよび補正値ｂｕは式(5)で表される。
【００３３】
【数５】
2006310941.tif 000007
【００３４】
式(5)から明らかなように、補正値ｂｕは乗数ａｕを用いて導出される。乗数ａｕを量子化して符号化する場合、量子化された乗数ａｕの量子化誤差は補正値ｂｕで吸収されるので、上記予測手法によれば予測精度を向上させることができる。つまり、量子化誤差を含む予測係数を利用して他の予測係数が導出されることで予測精度が向上される。
【００３５】
以上は、U信号に対する予測係数ａｕ、ｂｕを推定する場合の具体的算出方法であるが、V信号に対する予測係数ａｖ、ｂｖも式(5)のU(x,y)をV(x,y)に差し替えるだけで同様に推定できる。
【００３６】
補償手段19は、予測手段14から送られる予測係数と逆変換手段18から送られる量子化誤差を含む基準信号から被予測信号を近似する予測信号を生成する。上記例のように、予測手段14が線形結合を利用し、予測信号が乗数aと補正値bから構成されている場合、予測信号は式(1)に従って生成される。補償手段19で生成された予測信号は、差分手段13に送られる。
【００３７】
差分手段13は、分離手段11で分離された被予測信号と補償手段19から送られる予測信号との差を計算して予測誤差信号を生成する。ここでの被予測信号も、基準信号と同じ１枚の画像に対するものである。差分手段13で生成された予測誤差信号は、変換手段12に送られて直交変換される。
【００３８】
上記各部の機能から明らかなように、画像１枚ごとに、まず、基準信号に対する符号化を行い、被予測信号については基準信号との間の冗長性を削減した後の予測誤差信号に対して符号化を行うので、従来技術では削減されない画像１枚内での冗長性を削減することができる。なお、上記画像符号化装置による符号情報は、符号化処理と逆の手順を踏むことで復号できる。
【００３９】
以上、実施形態について説明したが、本発明は種々に変形可能である。例えば、
上記実施形態では乗数ａｕ(重み係数)と補正値ｂｕ(オフセット係数)の２つの予測係数を用いる予測方式を利用した。これは簡単な予測方式であるが、他の予測方式も利用できる。また、予測方式を様々に切り換えて利用するようにすることもできる。
【００４０】
例えば、上記実施形態において予測係数を重み係数のみとすることができる。画像信号がRGB信号である場合に、R信号とG信号を基準信号とし、B信号を予測式B(x,y)＝aR(x,y)＋bG(x,y)＋c(a,b,c:予測係数)で予測するなど、より複雑な予測式を利用することもできる。
【００４１】
また、上記実施形態では入力画像信号を画素信号としたが、入力画像信号は直交変換された変換係数であってもよい。この場合、変換手段や逆変換手段は不要であり、各部は変換符号化係数領域で処理を行うものとなる。また、変換手段や逆変換手段を機能を動作、不動作にさせて画素信号と変換係数のいずれの入力にも対応できるようにすることもできる。
【００４２】
さらに、１枚の画像それぞれについて相関のある情報から符号化対象を予測し、予測誤差を符号化する本発明の方式に、時間冗長性などを削減する予測方式を組み合わせれば、基準信号および被予測信号それぞれの時間冗長性を削減できるので、さらに高い符号化効率を得ることができる。
【図面の簡単な説明】
【００４３】
【図１】本発明に係る画像符号化装置の一実施形態を示すブロック図である。
【符号の説明】
【００４４】
１・・・分離手段、２・・・変換手段、３・・・量子化手段、４・・・符号化手段、５・・・逆量子化手段、６・・・逆変換手段、７・・・予測手段、８・・・補償手段、９・・・差分手段
【図１】
2006310941.tif 000008