(57)【要約】  照明変化補償動き予測符号化および復号化方法ならびにその装置を提供する。本発明の照明変化補償動き予測符号化装置は、現在ブロックの各画素値と現在ブロックの画素平均値との間の差分計算と、現在ブロックの動きベクトルが示す参照ブロックの各画素値と参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、照明変化補償が行われたブロックに基づいて、残余信号を生成する残余信号生成部と、照明変化が発生した隣接したブロック間の密接性を反映して、照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測部とを備える。
2009530960.tif 000002
【特許請求の範囲】
【請求項１】
現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償部と、
前記照明変化補償部によって照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する残余信号生成部と、
現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調を行う照明変化量予測部と
を備えたことを特徴とする照明変化補償動き予測符号化装置。
【請求項２】
前記残余信号を離散余弦変換および量子化する残余信号処理部をさらに備えたことを特徴とする請求項１に記載の照明変化補償動き予測符号化装置。
【請求項３】
前記動きベクトルは、
動き探索を行うインターモードである場合、現在ブロックの画素値と参照ブロックの画素値との差から前記照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）値のうち最小値に対応する参照ブロックから求められる動きベクトルであることを特徴とする請求項１に記載の照明変化補償動き予測符号化装置。
【請求項４】
前記動きベクトルは、
動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用することを特徴とする請求項１に記載の照明変化補償動き予測符号化装置。
【請求項５】
前記照明変化量予測値は、
前記現在ブロックと隣接するブロックのうち３個のブロックで既に前記照明変化補償が行われた場合、前記３個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定することを特徴とする請求項１に記載の照明変化補償動き予測符号化装置。
【請求項６】
前記残余信号は、
ＮｅｗＲ（ｉ，ｊ）は残余信号、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は前記動きベクトルに対応する参照ブロックの画素値、（ｘ´、ｙ´）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置とすると、
ＮｅｗＲ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−Ｍｃｕｒ（ｍ，ｎ）｝−｛ｒ（ｉ＋ｘ´，ｊ＋ｙ´）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝
によって求められることを特徴とする請求項１に記載の照明変化補償動き予測符号化装置。
【請求項７】
前記ＮｅｗＳＡＤは、
ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロックの（ｉ＋ｘ，ｊ＋ｙ）座標での画素値、（ｘ，ｙ）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ，ｎ＋ｙ）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置、そしてＳおよびＴはブロックマッチング時に使われるブロックのサイズとすると、
【数１】
2009530960.tif 000006
によって求められることを特徴とする請求項３に記載の照明変化補償動き予測符号化装置。
【請求項８】
前記照明変化量予測部において、
前記現在ブロックと隣接するブロックは、前記現在ブロックと同じ参照フレーム番号を持つことを特徴とする請求項１に記載の照明変化補償動き予測符号化装置。
【請求項９】
前記インターモードは、ＰスライスまたはＢスライスに適用され、前記直接モードは、Ｂスライスに適用されることを特徴とする請求項３または４に記載の照明変化補償動き予測符号化装置。
【請求項１０】
現在ブロックの符号化された残余信号と、照明変化補償を行ったか否かを表す照明変化表示情報と、現在ブロックの照明変化量と現在ブロックの照明変化量予測値との間を差分計算を実行して符号化された照明変化予測差分信号（ＤＰＣＭ＿ＤＶＩＣ）とを含むビットストリームを受信する受信部と、
前記照明変化表示情報が照明変化補償を行ったことを表す場合、前記符号化された残余信号、前記符号化された照明変化予測差分信号および前記現在ブロックの動きベクトルに基づいて前記現在ブロックを復元する復元部と
を備えたことを特徴とする照明変化補償動き予測復号化装置。
【請求項１１】
前記復元部は、
照明変化補償が既に行われた隣接ブロックの照明変化量に基づいて、現在ブロックの照明変化量を予測する照明変化量予測部と、
前記予測された照明変化量と前記照明変化予測差分信号と合算することによって求めた現在ブロックの照明変化量に基づいて照明変化補償を行う照明変化補償部と
を含むことを特徴とする請求項１０に記載の照明変化補償動き予測復号化装置。
【請求項１２】
前記照明変化量は、
現在ブロックの画素平均値と参照ブロックの画素平均値との間の差であることを特徴とする請求項１０に記載の照明変化補償動き予測復号化装置。
【請求項１３】
前記復元部において、
前記符号化された残余信号は、現在ブロックの画素値と前記現在ブロックの動きベクトルに対応する参照ブロックの画素値との差から前記照明変化差値を引いた後、符号化された残余信号であることを特徴とする請求項１０に記載の照明変化補償動き予測復号化装置。
【請求項１４】
前記動きベクトルは、
動き探索を行うインターモードである場合、各現在ブロックの各画素値と各参照ブロックの各画素値と間の差から前記照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）のうち、最小値に対応する参照ブロックから求められる動きベクトルであることを特徴とする請求項１０に記載の照明変化補償動き予測復号化装置。
【請求項１５】
前記動きベクトルは、
動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用することを特徴とする請求項１０に記載の照明変化補償動き予測復号化装置。
【請求項１６】
前記ＮｅｗＳＡＤは、
ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロックの（ｉ＋ｘ，ｊ＋ｙ）座標での画素値、（ｘ，ｙ）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ，ｎ＋ｙ）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置、ＳおよびＴはブロックマッチング時に使われるブロックのサイズとすると、
【数２】
2009530960.tif 000007
によって求められることを特徴とする請求項１４に記載の照明変化補償動き予測復号化装置。
【請求項１７】
前記復元部において、前記符号化された残余信号は、
ＮｅｗＲ（ｉ，ｊ）は残余信号、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は前記動きベクトルに対応する参照ブロックの画素値、（ｘ´、ｙ´）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置とすると、
ＮｅｗＲ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−Ｍｃｕｒ（ｍ，ｎ）｝−｛ｒ（ｉ＋ｘ´，ｊ＋ｙ´）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝
によって求められることを特徴とする請求項１０に記載の照明変化補償動き予測復号化装置。
【請求項１８】
前記復元部において、前記現在ブロックは、
ｆ´（ｉ，ｊ）は現在ブロックの（ｉ，ｊ）座標での画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は参照ブロックの（ｉ＋ｘ´，ｊ＋ｙ´）座標での画素値、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｘ´、ｙ´）は動きベクトルとすると、
ｆ´（ｉ，ｊ）＝｛ＮｅｗＲ´´（ｉ，ｊ）＋ｒ（ｉ＋ｘ´，ｊ＋ｙ´）｝＋｛Ｍｃｕｒ（ｍ，ｎ）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝
によって求められることを特徴とする請求項１０に記載の照明変化補償動き予測復号化装置。
【請求項１９】
前記照明変化補償が既に行われた隣接ブロックは、前記現在ブロックと同じ参照フレーム番号を持つことを特徴とする請求項１０に記載の照明変化補償動き予測復号化装置。
【請求項２０】
前記インターモードは、
ＰスライスまたはＢスライスに適用されることを特徴とする請求項１４に記載の照明変化補償動き予測復号化装置。
【請求項２１】
前記直接モードは、
Ｂスライスに適用されることを特徴とする請求項１５に記載の照明変化補償動き予測復号化装置。
【請求項２２】
現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行うステップと、
前記照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成するステップと、
現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップと
を備えることを特徴とする照明変化補償動き予測符号化方法。
【請求項２３】
前記残余信号を離散余弦変換および量子化する残余信号処理ステップをさらに備えることを特徴とする請求項２２に記載の照明変化補償動き予測符号化方法。
【請求項２４】
前記動きベクトルは、
動き探索を行うインターモードである場合、現在ブロックの画素値と参照ブロックの画素値との差から前記照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）値のうち、最小値に対応する参照ブロックから求められる動きベクトルであることを特徴とする請求項２２に記載の照明変化補償動き予測符号化方法。
【請求項２５】
前記動きベクトルは、
動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用することを特徴とする請求項２２に記載の照明変化補償動き予測符号化方法。
【請求項２６】
前記照明変化量予測値は、
前記現在ブロックと隣接するブロックのうち、３個のブロックで既に前記照明変化補償が既に行われた場合、前記３個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定することを特徴とする請求項２２に記載の照明変化補償動き予測符号化方法。
【請求項２７】
前記残余信号は、
ＮｅｗＲ（ｉ，ｊ）は残余信号、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は前記動きベクトルに対応する参照ブロックの画素値、（ｘ´、ｙ´）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置とすると、
ＮｅｗＲ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−Ｍｃｕｒ（ｍ，ｎ）｝−｛ｒ（ｉ＋ｘ´，ｊ＋ｙ´）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝
によって求められることを特徴とする請求項２２に記載の照明変化補償動き予測符号化方法。
【請求項２８】
前記ＮｅｗＳＡＤは、
ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロックの（ｉ＋ｘ，ｊ＋ｙ）座標での画素値、（ｘ，ｙ）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ，ｎ＋ｙ）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置、ＳおよびＴはブロックマッチング時に使われるブロックのサイズとすると、
【数３】
2009530960.tif 000008
によって求められることを特徴とする請求項２４に記載の照明変化補償動き予測符号化方法。
【請求項２９】
前記照明変化量予測ステップにおいて、
前記現在ブロックと隣接するブロックは、前記現在ブロックと同じ参照フレーム番号を持つことを特徴とする請求項２２に記載の照明変化補償動き予測符号化方法。
【請求項３０】
前記インターモードはＰスライスまたはＢスライスに適用され、前記直接モードはＢスライスに適用されることを特徴とする請求項２４または２５に記載の照明変化補償動き予測符号化方法。
【請求項３１】
動き探索を行うインターモードの場合に照明変化補償動きを予測する符号化方法であって、
現在ブロックの画素値と参照ブロックの画素値との差から、前記現在ブロックの画素平均値と前記参照ブロックの画素平均値との差である照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）に基づいて動きベクトルを設定するステップと、
現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償ステップと、
前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップと
を備えることを特徴とする照明変化補償動き予測符号化方法。
【請求項３２】
前記照明変化補償ステップにおいて、照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算によって、残余信号を生成する残余信号生成ステップと、
前記残余信号を離散余弦変換および量子化する残余信号処理ステップと
をさらに含むことを特徴とする請求項３１に記載の照明変化補償動き予測符号化方法。
【請求項３３】
前記ＮｅｗＳＡＤは、
ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロックの（ｉ＋ｘ，ｊ＋ｙ）座標での画素値、（ｘ，ｙ）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ，ｎ＋ｙ）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置、ＳおよびＴはブロックマッチング時に使われるブロックのサイズとすると、
【数４】
2009530960.tif 000009
によって求められることを特徴とする請求項３１に記載の照明変化補償動き予測符号化方法。
【請求項３４】
前記残余信号は、
ＮｅｗＲ（ｉ，ｊ）は残余信号、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は前記動きベクトルに対応する参照ブロックの画素値、（ｘ´、ｙ´）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置とすると、
ＮｅｗＲ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−Ｍｃｕｒ（ｍ，ｎ）｝−｛ｒ（ｉ＋ｘ´，ｊ＋ｙ´）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝
によって求められることを特徴とする請求項３２に記載の照明変化補償動き予測符号化方法。
【請求項３５】
前記照明変化量予測ステップは、
前記現在ブロックと隣接するブロックのうち、３個のブロックで既に前記照明変化補償が既に行われた場合、前記３個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定することを特徴とする請求項３１に記載の照明変化補償動き予測符号化方法。
【請求項３６】
前記インターモードは、ＰスライスまたはＢスライスに適用されることを特徴とする請求項３１に記載の照明変化補償動き予測符号化方法。
【請求項３７】
動き探索を行わない直接モードの場合に、照明変化補償動きを予測する符号化方法であって、
現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化補償を行う照明変化補償ステップと、
現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップと
を備えることを特徴とする照明変化補償動き予測符号化方法。
【請求項３８】
前記照明変化補償ステップで照明変化補償が行われた現在ブロックと、前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する残余信号生成ステップと、
前記残余信号を離散余弦変換および量子化する残余信号処理ステップと
をさらに備えることを特徴とする請求項３７に記載の照明変化補償動き予測符号化方法。
【請求項３９】
前記残余信号は、
ＮｅｗＲ（ｉ，ｊ）は残余信号、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は前記動きベクトルに対応する参照ブロックの画素値、（ｘ´、ｙ´）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置とすると、
ＮｅｗＲ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−Ｍｃｕｒ（ｍ，ｎ）｝−｛ｒ（ｉ＋ｘ´，ｊ＋ｙ´）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝
によって求められることを特徴とする請求項３８に記載の照明変化補償動き予測符号化方法。
【請求項４０】
前記照明変化量予測ステップは、
前記現在ブロックと隣接するブロックのうち、３個のブロックで既に前記照明変化補償が既に行われた場合、前記３個の隣接ブロック画素の平均を出した中間値を前記現在ブロックの前記照明変化量予測値に設定することを特徴とする請求項３７に記載の照明変化補償動き予測符号化方法。
【請求項４１】
前記直接モードは、Ｂスライスに適用されることを特徴とする請求項３７に記載の照明変化補償動き予測符号化方法。
【請求項４２】
現在ブロックの符号化された残余信号と、照明変化補償を行ったか否かを表す照明変化表示情報と、現在ブロックの照明変化量と現在ブロックの照明変化量予測値との間の差分計算を実行することによって符号化された照明変化予測差分信号（ＤＰＣＭ＿ＤＶＩＣ）を含むビットストリームとを受信するステップと、
前記照明変化表示情報が照明変化補償を行ったことを表す場合、前記符号化された残余信号、前記符号化された照明変化予測差分信号および前記現在ブロックの動きベクトルに基づいて前記現在ブロックを復元するステップと
を備えることを特徴とする照明変化補償動き予測復号化方法。
【請求項４３】
前記復元するステップは、
照明変化補償が既に行われた隣接ブロックの照明変化量に基づいて、現在ブロックの照明変化量を予測する照明変化量予測ステップと、
前記予測された照明変化量と前記照明変化予測差分信号と合算することによって現在ブロックの照明変化量を計算する照明変化量計算ステップと、
前記計算された照明変化量に基づいて、照明変化補償を行うステップと
を含むことを特徴とする請求項４２に記載の照明変化補償動き予測復号化方法。
【請求項４４】
前記動きベクトルは、
動き探索を行うインターモードである場合、現在ブロックの画素値と参照ブロックの画素値との差から前記照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）値のうち、最小値に対応する参照ブロックから求められる動きベクトルであることを特徴とする請求項４３に記載の照明変化補償動き予測復号化方法。
【請求項４５】
前記動きベクトルは、
動き探索を行わない直接モードである場合、時間的または空間的な予測方法により求められた動きベクトルを利用することを特徴とする請求項４４に記載の照明変化補償動き予測復号化方法。
【請求項４６】
前記ＮｅｗＳＡＤは、
ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロックの（ｉ＋ｘ，ｊ＋ｙ）座標での画素値、（ｘ，ｙ）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ，ｎ＋ｙ）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置、ＳおよびＴはブロックマッチング時に使われるブロックのサイズとすると、
【数５】
2009530960.tif 000010
によって求められることを特徴とする請求項４４に記載の照明変化補償動き予測復号化方法。
【請求項４７】
前記符号化された残余信号は、
ＮｅｗＲ（ｉ，ｊ）は残余信号、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は前記動きベクトルに対応する参照ブロックの画素値、（ｘ´、ｙ´）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置とすると、
ＮｅｗＲ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−Ｍｃｕｒ（ｍ，ｎ）｝−｛ｒ（ｉ＋ｘ´，ｊ＋ｙ´）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝
によって求められることを特徴とする請求項４３に記載の照明変化補償動き予測復号化方法。
【請求項４８】
前記復元するステップにおいて、現在ブロックは、
ｆ´（ｉ，ｊ）は現在ブロックの（ｉ，ｊ）座標での画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は参照ブロックの（ｉ＋ｘ´，ｊ＋ｙ´）座標での画素値、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｘ´、ｙ´）は動きベクトルとすると、
ｆ´（ｉ，ｊ）＝｛ＮｅｗＲ´´（ｉ，ｊ）＋ｒ（ｉ＋ｘ´，ｊ＋ｙ´）｝＋｛Ｍｃｕｒ（ｍ，ｎ）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝
によって求められることを特徴とする請求項４３に記載の照明変化補償動き予測復号化方法。
【請求項４９】
前記照明変化補償が既に行われた隣接ブロックは、前記現在ブロックと同じ参照フレーム番号を持つことを特徴とする請求項４３に記載の照明変化補償動き予測復号化方法。
【請求項５０】
前記インターモードは、
ＰスライスまたはＢスライスに適用されることを特徴とする請求項４４に記載の照明変化補償動き予測復号化方法。
【請求項５１】
前記直接モードは、
Ｂスライスに適用されることを特徴とする請求項４５に記載の照明変化補償動き予測復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明変化補償を通じた動き予測符号化および復号化方法とその装置に関する。より詳細には、動き予測および動き補償過程で照明変化の補償を通じて、照明が変わる映像に対して効率的に符号化および復号化できる方法とその装置に関する。
【背景技術】
【０００２】
従来技術によれば、ＩＴＵ−ＴとＩＳＯ／ＩＥＣでは映像の符号化効率性を向上させる過程で、Ｈ．２６ｘシリーズとＭＰＥＧ−ｘシリーズとを発表した。そして２００３年度には、Ｈ．２６４／ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を完成させられ、多くのビットを低減できるようになった。
【０００３】
これらのビデオ符号化標準が発展するにつれて、ブロックマッチング動き予測（ＢＭＭＥ：Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）に関する研究も多かったが、大部分の方法は現在フレームのブロックと参照フレームの候補ブロックとのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を求めて、最も小さなＳＡＤを示す参照フレームの候補ブロックの位置を現在フレームのブロックの動きベクトルに決定するように構成される。
【０００４】
そして、その候補ブロックと現在フレームのブロックとの差分信号を離散余弦変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）および量子化して、動きベクトルと共に可変長符号化（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）を行う。
【０００５】
ここで、動きベクトルを探すということは、現在フレームおよび参照フレームの時間的冗長性を除去して獲得することであるため、相当な符号化効率をもたらした。また、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、加重値予測を利用して、映像内の全域的な照明変化に適応的に符号化することで圧縮効率を高めている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、Ｈ．２６４の加重値予測は、局所的（ｌｏｃａｌ）な照明（ｉｌｌｕｍｉｎａｔｉｏｎ）変化に対して適応的に符号化できないという問題点を有している。例えば、映像内で局所的な照明変化が発生する場合、または複数台のカメラから得た映像を符号化する多重ビュー映像符号化の場合、獲得された映像は、全域的な照明変化だけではなく、局所的な照明変化が発生する可能性が高いため、既存のＨ．２６４／ＭＰＥＧ−４ ＡＶＣの加重値予測を通じて符号化効率を高めるには限界がある。
【０００７】
以上の問題点を解決するために、本発明は、動き予測および動き補償プロセスにおいて照明変化の補償を通じて、効率的に映像を符号化および復号化する方法ならびに装置を提供する。
【課題を解決するための手段】
【０００８】
上述の問題点を解決するために、本発明は、動き予測および動き補償過程で照明変化の補償を通じて、効率的に映像を符号化および復号化する方法および装置を提供する。本発明は、照明変化補償動き予測符号化および復号化方法とその装置に関する。本発明の照明変化補償動き予測符号化装置は、現在ブロックの画素値および前記現在ブロックの画素平均値の間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの画素値および前記参照ブロックの画素平均値の間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、照明変化補償が行われたブロックに基づいて残余信号を生成する残余信号生成部と、照明変化が発生した隣接したブロック間の密接性を反映して、照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測部とを備える。
【０００９】
本発明は、照明変化の補償を通じた動き予測および動き補償を利用して効率的に映像を符号化および復号化できる。すなわち、局所的または全域的な照明変化が発生した場合、適応的に符号化することによって照明変化発生に対して圧縮効率を高めることができる。
【００１０】
また、照明変化が発生した領域の空間的な密接性を利用して照明変化発生量を圧縮することによって、照明変化量の反映に消費されるビットをさらに減らす。
【発明を実施するための最良の形態】
【００１１】
本発明の好ましい一態様として、照明変化補償動き予測符号化装置は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、前記照明変化補償部で、照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって残余信号を生成する残余信号生成部と、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックとの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調を行う照明変化量予測部とを備える。
【００１２】
本発明の他の好ましい一態様として、動き探索を行うインターモードである場合、照明変化補償動き予測符号化装置は、現在ブロックの画素値と参照ブロックの画素値との差から、前記現在ブロックの画素平均値と前記参照ブロックの画素平均値との差である照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）に基づいて動きベクトルを設定する照明変化予測部と、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算を実行することと、前記参照ブロックの画素平均値から前記動きベクトルが示す参照ブロックの各画素値を差し引くこととによって照明変化補償を行う照明変化補償部と、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測部とを備える。
【００１３】
本発明のさらに他の一態様として、動き探索を行わない直接モードである場合、照明変化補償動き予測符号化装置は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償部と、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測部とを備える。
【００１４】
本発明のさらに他の一態様として、照明変化補償動き予測復号化装置は、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、照明変化補償が既に行われた隣接ブロックの照明変化量、および現在ブロックの照明変化量に基づいて、差分変調パルス符号変調（ＤＰＣＭ）されて符号化された照明変化予測差分信号（ＤＰＣＭ＿ＤＶＩＣ）、符号化された残余信号および照明変化補償を行ったか否かを表す照明変化表示情報を含むビットストリームを受信する受信部と、前記照明変化表示情報が照明変化補償を行ったことを表す場合、現在ブロックの画素値と動きベクトルに対応する参照ブロックの画素値との差から前記照明変化差値を引いた後、符号化された前記残余信号を復元するエントロピー復号化部と、前記復元された残余信号、前記符号化された照明変化量予測差分信号および前記動きベクトルに基づいてブロックを復元する復元部とを備える。
【００１５】
本発明のさらに他の一態様として、照明変化補償動き予測符号化方法は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行うステップと、前記照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとを差分して残余信号を生成するステップと、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップとを含む。
【００１６】
本発明のさらに他の一態様として、動き探索を行わない直接モードである場合、照明変化補償動きを予測する符号化方法は、現在ブロックの各画素値と前記現在ブロックの画素平均値との間の差分計算と、時間的または空間的予測方法により求められた動きベクトルが示す参照ブロックの各画素値と前記参照ブロックの画素平均値との間の差分計算とを実行することによって照明変化補償を行う照明変化補償ステップと、現在ブロックの画素平均値と参照ブロックの画素平均値との差を照明変化量とする時、前記現在ブロックと隣接するブロックのうち、前記照明変化補償が既に行われた隣接ブロックの照明変化量を前記現在ブロックの照明変化量予測値に設定し、前記現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う照明変化量予測ステップとを含む。
【実施例】
【００１７】
以下、添付した図面を参照しながら、本発明の望ましい実施例を説明する。図面中で同じ構成要素については、他の図面上に表示されているとしてもなるべく同じ参照番号および符号で表していることに留意せねばならない。以下、本発明を説明するに当たって、関連した周知の機能または構成についての具体的説明が本発明の趣旨を必要以上にあいまいにすると判断される場合には、その詳細な説明を省略する。
【００１８】
図１は、本発明の望ましい一実施例であって、照明変化補償動き予測符号化装置を示す図である。
【００１９】
照明変化補償動き予測符号化装置１００は、照明変化補償部１１０、残余信号生成部１２０および照明変化量予測部１３０を備える。
【００２０】
全域的または局所的な照明変化が発生した場合、本発明では照明変化の補償を通じた動き予測符号化を行う。照明変化補償を通じた動き予測符号化方法は、動き探索を行うインターブロックモードである場合、および動き探索を行わない直接予測モードの場合に提供される。
【００２１】
まず、照明変化が発生した現在マクロブロックにおいて動きベクトルを求める。動き探索を行うインターモードである場合、または現在マクロブロックが動き探索を行わない直接モードである場合に、動きベクトルは異なる方法で得ることができる。インターモードはＰスライスまたはＢスライスに適用され、直接モードはＢスライスに適用される。以下、各モードの場合について、動きベクトルを求める方法を述べる。
【００２２】
（１）インターモードの場合
動き探索を行うインターモードである場合、参照ブロックのうち現在ブロックに対応する候補ブロックに対してＮｅｗＳＡＤ値を求める。次いで、現在ブロックの画素値と参照ブロックの画素値との差から照明変化量を引いた差の絶対値の和（ＮｅｗＳＡＤ）値のうち、最小値に対応する参照ブロックから動きベクトルを求める。この場合、照明変化量はそれぞれのマクロブロックで発生した照明変化を表し、現在ブロックの画素平均値（以下、数式２参照）と参照ブロックの画素平均値（以下、数式３参照）との間の差分計算を実行することで求められる。
【００２３】
数式１で定義したＮｅｗＳＡＤは、従来に使われるＳＡＤ（絶対値差の和）に本発明の照明変化補償を反映した絶対値差の和を表す。
【００２４】
【数１】
2009530960.tif 000003
【００２５】
この場合、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロックの（ｉ＋ｘ，ｊ＋ｙ）座標での画素値、（ｘ，ｙ）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ，ｎ＋ｙ）は参照ブロックの画素平均値、（ｍ，ｎ）は現在ブロックの左側上端位置、そして、ＳおよびＴはブロックマッチング時に使われるブロックのサイズを意味する。
【００２６】
また、現在ブロックの画素平均値を意味するＭｃｕｒ（ｍ，ｎ）および参照ブロックの画素平均値を意味するＭｒｅｆ（ｐ，ｑ）は、それぞれ数式（２）および数式（３）から求められる。
【００２７】
【数２】
2009530960.tif 000004
【００２８】
【数３】
2009530960.tif 000005
【００２９】
数式（２）および数式（３）で、Ｍｃｕｒ（ｍ，ｎ）は現在フレームブロックの画素平均値、Ｍｒｅｆ（ｐ，ｑ）は参照フレームブロックの画素平均値、ｆ（ｉ，ｊ）は現在フレームの（ｉ，ｊ）座標での画素値、ｒ（ｉ，ｊ）は参照フレームの（ｉ，ｊ）座標での画素値、ＳおよびＴはブロックマッチング時に使用するブロックのサイズ、ｍおよびｎは現在フレーム内の現在ブロックの左側上端位置、ｐおよびｑは参照フレーム内の参照ブロックの左側上端位置を表す。
【００３０】
（２）直接モード
動き探索を行わない直接モードである場合、直接予測モード方法を通じて動きベクトルとそのベクトルが示す参照フレームブロックとを求める。直接予測モード方法は、空間的な直接予測モード方法と時間的な直接予測モード方法とによって行われ得る。
【００３１】
空間的な直接予測モード方法は、時間的に現在ブロックの周辺に位置したブロックの動きベクトルを利用して現在ブロックの動きベクトルを決定し、時間的な直接予測モード方法は、現在より時間的に以後に存在するフレームで、現在ブロックの位置と同じ位置にあるブロックの動きベクトルをフレーム間の距離でスケーリングして、現在ブロックの動きベクトルを決定する。
【００３２】
＊照明変化の補償
照明変化補償部１１０は、インターモードまたは直接モードそれぞれで求められた動きベクトルおよび参照ブロックを利用して、現在ブロックの画素値および動きベクトルが示す参照ブロックの画素値それぞれで、現在ブロックの画素平均値（Ｍｃｕｒ、数式（２）を参照）と参照ブロックの画素平均値（Ｍｒｅｆ、数式（３）を参照）とをそれぞれ差分して照明変化補償を行う。
【００３３】
残余信号生成部１２０は、照明変化補償部１１０で照明変化補償が行われた現在ブロックと、動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する。すなわち、数式（４）を通じて照明変化が反映された動き補償を行う。次いで、生成された残余信号は、残余信号処理部（図示せず）を通じて離散余弦変換（ＤＣＴ）および量子化を経て符号化された残余信号（ＮｅｗＲ´）になる。
【００３４】
残余信号は数式（４）を通じて計算される。
ＮｅｗＲ（ｉ，ｊ）＝｛ｆ（ｉ，ｊ）−Ｍｃｕｒ（ｍ，ｎ）｝−｛ｒ（ｉ＋ｘ´，ｊ＋ｙ´）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝    式（４）
この場合、ＮｅｗＲ（ｉ，ｊ）は残余信号、ｆ（ｉ，ｊ）は（ｉ，ｊ）座標での現在ブロックの画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は動きベクトルに対応する参照ブロックの画素値、（ｘ´、ｙ´）は動きベクトル、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、そして（ｍ，ｎ）は現在ブロックの左側上端位置である。
【００３５】
＊照明変化量の予測
一般的に、照明変化が発生する領域は、一つのマクロブロックが占める領域よりさらに広い。したがって、現在マクロブロックの照明変化量は、隣接するマクロブロックの照明変化量と相当な密接関係を持っている。したがって、照明変化量を反映するために消費されるビットをさらに減らすために、現在ブロックの照明変化量を、隣接ブロックから算出された照明変化量の予測値（ｐｒｅｄＤＶＩＣ）と差分パルス符号変調（ＤＰＣＭ）して、その結果をビットストリームに出力する。
【００３６】
照明変化量予測部１３０は、現在ブロックと、現在ブロックに隣接するブロックのうち、照明変化補償部１１０で照明変化補償が既に行われた隣接ブロックとの照明変化量を現在ブロックの照明変化量予測値に設定し、現在ブロックの照明変化量および前記照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行う。これにより、さらに少ないビットで残余信号を符号化できる。
【００３７】
図２は、現在ブロックの照明変化量を予測するために使われる隣接するマクロブロックを示した図である。
【００３８】
図２を参考にして説明すれば、照明変化量予測部１３０では、現在ブロックＥに隣接するブロックＡ、Ｂ、ＣおよびＤのうち、照明変化補償が既に行われたブロックの照明変化量を現在ブロックの照明変化量予測値に設定して照明変化量の予測に利用する。
【００３９】
より具体的には、照明変化量の予測値（ｐｒｅｄＤＶＩＣ）は次のように計算される。
ステップ１）  現在照明変化補償ブロックの上側に位置したブロックＡが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックＡの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ２）  現在照明変化補償ブロックの上側に位置したブロックＢが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックＢの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ３）  現在照明変化補償ブロックの左側上端に位置したブロックＣが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックＣの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ４）  現在照明変化補償ブロックの右側上端に位置したブロックＤが現在ブロックと同じ参照フレーム番号を持ち、照明変化補償を行った場合、ブロックＤの照明変化量を照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ５）  現在照明変化補償ブロックの上側に位置したブロックＡ、左側に位置したブロックＢ、そして右側上端に位置したブロックＣが照明変化補償を行った場合、前記３つのブロックの照明変化量を中間値フィルタリングして照明変化量予測値に決定して計算を終る。あるいは、次のステップに進む。
ステップ６）照明変化量予測値を０に決定する。
【００４０】
以上のステップを通じて求められた照明変化量予測値および現在ブロックの照明変化量に基づいて、差分パルス符号変調（ＤＰＣＭ、Ｄｉｆｆｅｒｅｎｔｉａｌ ＰＣＭ）を行ってエントロピー符号化する。上述のステップは、現在ブロックの照明変化量の復号化のために復号器でも同様に行われる。
【００４１】
図３は、動き探索を行うインターモードの場合に照明変化補償動きを予測する符号化装置を示す図である。
【００４２】
照明変化補償動き予測符号化装置は、照明変化予測部３１０、照明変化補償部３２０、残余信号生成部３３０および照明変化量予測部３４０を備える。
【００４３】
照明変化予測部３１０は、前述したインターモードの場合にＮｅｗＳＡＤを求める方式によって、数式（１）ないし（３）を利用して動きベクトルおよび参照フレームを求める。
【００４４】
照明変化補償部３２０、残余信号生成部３３０および照明変化量予測部３４０は、それぞれ図１に対応する構成要素と実質的に同じ機能を行うので、以上の内容を参考にする。
【００４５】
図４は、本発明の好ましい実施例の１つであって、照明変化補償動き予測符号化装置の一実施例を示す図である。
【００４６】
照明変化量計算部４１０は、現在ブロックの画素平均値と参照ブロックの画素平均値との間の差分計算を実行することによって、照明変化量を求める（数式（２）および（３）を参考のこと）。
【００４７】
動き探索を利用するインターモードである場合、動き予測部４２０は、照明変化量計算部４１０を通じて算出された照明変化量を利用して、動きベクトル決定部４２２で最も小さなＮｅｗＳＡＤ値を持つ地点を動きベクトルに決定する。また、照明変化補償部４２１では、現在ブロックの各画素値および前記現在ブロックの動きベクトルが示す参照ブロックの各画素値から、前記現在ブロックの画素平均値と前記参照ブロックの画素平均値とをそれぞれ差分して照明変化補償を行う。
【００４８】
動き探索を利用しない直接モードである場合、動きベクトル決定部４２２は、直接予測モード計算方法により決定された最終動きベクトルを利用して参照ブロックを決定する。次いで、照明変化補償部４２１では、現在ブロックの画素値と前記現在ブロックの画素平均値との間の差分計算と、前記現在ブロックの動きベクトルが示す参照ブロックの画素値と前記参照ブロックの画素平均値との間の差分計算と実行することによって、照明変化補償を行う。
【００４９】
動き補償部４３０は、照明変化量計算部４１０および動き予測部４２０で求めた現在ブロックの画素平均値、参照ブロックの画素平均値および動きベクトルを利用して、数式（４）に基づいて動き補償を行う。
【００５０】
次いで、照明変化量予測部４４０は、照明変化量の空間的な相関性を利用して、現在ブロックの照明変化量を隣接ブロックから算出された照明変化量の予測値（ｐｒｅｄＤＶＩＣ）との関連から差分パルス符号変調（ＤＰＣＭ）して、その結果をビットストリームに出力する。
【００５１】
以上の過程を通じて計算された符号化された残余信号と予測符号化された照明変化量とをエントロピー符号化して、符号化プロセスを終える。
【００５２】
図５は、本発明の好ましい実施例の１つであって、照明変化補償動き予測復号化装置の構成を示す図である。
【００５３】
照明変化補償動き予測復号化装置５００は、受信部５１０、エントロピー符号化部５２０および復元部５３０を備える。
【００５４】
受信部５１０は、照明変化補償動き予測符号化装置から伝送されたビットストリームを受信する。ビットストリームは、照明変化補償を行ったか否かを表す照明変化表示情報、例えば、ｍｂ＿ｉｃ＿ｆｌａｇのような表示情報を含む。本発明による照明変化表示情報は表示情報フォーマットでもあり、メタデータフォーマットでもあり、復号器が認識できる情報ならばそのフォーマットには制限がない。また、ビットストリームは、照明変化補償が既に行われた隣接ブロックの照明変化量および現在ブロックの照明変化量に基づいて、差分パルス符号変調（ＤＰＣＭ）されて符号化された照明変化量予測値、符号化された残余信号をさらに含む。
【００５５】
ｍｂ＿ｉｃ＿ｆｌａｇが０である場合、現在マクロブロックに照明変化補償が行われていないと判断して従来のデコーディングプロセスを行い、ｍｂ＿ｉｃ＿ｆｌａｇが１である場合、現在マクロブロックに照明変化補償が行われ、照明変化量（ＤＶＩＣ）に対する差分変調値を利用して復元（再生）を行う。
【００５６】
エントロピー復号化部５２０は、照明表示情報がエンコーダ側で照明変化補償を行ったことを表す場合、受信部で受信した符号化された残余信号（ＮｅｗＲ´）は、逆量子化、逆離散余弦変換を通じて復元された残余信号（ＮｅｗＲ´´）になり、これを通じて復元される。
【００５７】
復元部５３０は、エントロピー復号化部５２０で復元された残余信号、符号化された照明変化予測差分信号（ＤＰＣＭ＿ＤＶＩＣ）および動きベクトルに基づいてブロックを復元する。復号化しようとするブロックの画素値は、数式（５）によって求めることができる。
ｆ´（ｉ，ｊ）＝｛ＮｅｗＲ´´（ｉ，ｊ）＋ｒ（ｉ＋ｘ´，ｊ＋ｙ´）｝＋｛Ｍｃｕｒ（ｍ，ｎ）−Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）｝          式（５）
この場合、ｆ´（ｉ，ｊ）は現在ブロックの（ｉ，ｊ）座標での画素値、ｒ（ｉ＋ｘ´，ｊ＋ｙ´）は参照ブロックの（ｉ＋ｘ´，ｊ＋ｙ´）座標での画素値、Ｍｃｕｒ（ｍ，ｎ）は現在ブロックの画素平均値、Ｍｒｅｆ（ｍ＋ｘ´，ｎ＋ｙ´）は参照ブロックの画素平均値、（ｘ´，ｙ´）は動きベクトルを表す。
【００５８】
図６は、本発明の好ましい実施例の１つであって、照明変化補償動き予測復号化装置の一実施例を示す図である。
【００５９】
復号化プロセスでは、エンコーダで符号化された残余信号（ＮｅｗＲ´）は、エントロピー復号化部６１０および逆量子化および逆ＤＣＴ部６２０を通じて復元された残余信号（ＮｅｗＲ´´）になる。復元された残余信号を求める方式は、数式（５）を参考にする。
【００６０】
そして、照明変化補償動き予測符号化装置と同じ方法によって、復号化された以前ブロックの照明変化量値を利用して、照明変化差値予測部６３０で照明変化量の予測値を求めて照明変化量を復号化する。
【００６１】
動き補償予測部６４０では、動きベクトル、復元された残余信号（ＮｅｗＲ´´）および照明変化量を利用して、数式５に基づいて、現在復号化しようとするブロックの画素値を得る。
【００６２】
図７Ａおよび図７Ｂは、本発明の望ましい一実施例であって、Ｓｌｉｃｅ ｄａｔａ ｓｙｎｔａｘを示す図である。
【００６３】
Ｓｌｉｃｅ ｄａｔａ ｓｙｎｔａｘは、ｓｌｉｃｅ内にあるマクロブロックの符号化プロセスで得られた、データをエントロピー符号化する構文である。本発明によって、ＰピクチャーのＳｋｉｐモードであるＰ＿Ｓｋｉｐモードの場合、照明変化補償情報であるｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報が符号化されねばならない。したがって、Ｉｆ（Ｓｌｉｃｅ＿ｔｙｐｅ！＝Ｉ＆＆ｓｌｉｃｅ＿ｔｙｐｅ！＝ＳＩ）であり、Ｉｆ（！ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ）である場合にｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ（）の構文を追加して、ｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報が符号化されるようにした。
【００６４】
図８Ａおよび図８Ｂは、本発明の好ましい実施例の１つであって、Ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒ ｓｙｎｔａｘの一実施例を示す図である。
【００６５】
ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒｓｙｎｔａｘは、各マクロブロックの符号化プロセスで得られたデータをエントロピー符号化する構文である。本発明によって、ｉｆ（ｉｃ＿ｅｎａｂｌｅ＆＆ｍｂ＿ｔｙｐｅ＝＝Ｂ＿ｓｋｉｐ）である場合、照明変化補償情報であるｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報が符号化され得る構文を追加した。
【００６６】
図９Ａおよび図９Ｂは、本発明の好ましい実施例の１つであって、ｍｂ＿ｐｒｅｄ（ｍｂ＿ｔｙｐｅ）ｓｙｎｔａｘの一実施例を示す図である。
ｍｂ＿ｐｒｅｄ（ｍｂ＿ｔｙｐｅ）ｓｙｎｔａｘは、Ｉｎｔｒａモード、Ｉｎｔｅｒモード、Ｄｉｒｅｃｔ（直接）モードであるマクロブロックの符号化プロセスで得られたデータをエントロピー符号化する構文である。本発明によって、Ｉｎｔｅｒモードおよびｄｉｒｅｃｔモードである場合、照明変化補償情報であるｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報が符号化され得る構文を追加した。前半部に追加されたｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報はＩｎｔｅｒモードの場合に該当し、後半部に追加されたｍｂ＿ｉｃ＿ｆｌａｇおよびｄｐｃｍ＿ｏｆ＿ｄｉｖｃ情報はＤｉｒｅｃｔモードの場合に該当する。
【００６７】
図１０は、本発明の好ましい実施例の１つであって、照明変化補償動き予測符号化フローチャートを示す図である。
【００６８】
まず、照明変化が発生したことを認識した場合、動き探索を行うインターモードか、または動き探索モードを行わない直接モードかによって、別々に動きベクトルを求める（Ｓ１０１０、Ｓ１０２０）。次いで、現在ブロックの各画素値と現在ブロックの画素平均値との間の差分計算と、現在ブロックの動きベクトルが示す参照ブロックの各画素値と参照ブロックの画素平均値との間の差分計算とを実行することによって、照明変化の補償が行なわれる（Ｓ１０３０）。
【００６９】
次いで、照明変化補償が行われた現在ブロックと前記動きベクトルに対応する照明変化補償が行われた参照ブロックとの間の差分計算を実行することによって、残余信号を生成する（Ｓ１０４０）。
【００７０】
次いで、現在ブロックと隣接するブロックのうち、照明変化補償が既に行われた隣接ブロックの照明変化量を現在ブロックの照明変化量予測値に設定し、現在ブロックの照明変化量および照明変化量予測値に基づいて、差分パルス符号変調（ＤＰＣＭ）を行って、予測した照明変化量の照明変化予測差分信号（ＤＰＣＭ＿ＤＶＩＣ）を求める（Ｓ１０５０）。
【００７１】
図１１は、本発明の好ましい実施例の１つであって、インターモードおよび直接モードでの照明変化補償動き予測符号化のフローチャートを示す図である。
【００７２】
照明変化が発生したことを認識した後、現在マクロブロックが動き探索を行うモードであるかどうかを判断する（Ｓ１１１０）。
【００７３】
動き探索を行わない直接モードである場合、空間的予測を利用して動きベクトルを求め、参照ブロックを決定する（Ｓ１１２１）。次いで、照明変化を補償し（Ｓ１１３１）、残余信号を生成する（Ｓ１１４１）。次いで、現在ブロックと隣接するブロックとの間で既に照明変化が補償された場合、これを利用してＤＰＣＭを行って照明変化量予測値を求めた後、符号化する（Ｓ１１５１）。各ステップに対応する詳細な説明は、以上で対応する構成を参考にする。
【００７４】
動き探索を行うインターモードである場合、照明変化量に基づいてＮｅｗＳＡＤ値を求め、これに基づいて動きベクトルおよび参照ブロックを決定する（Ｓ１１２２）。次いで、照明変化を補償し（Ｓ１１３２）、残余信号を生成する（Ｓ１１４２）。次いで、現在ブロックと隣接するブロックとの間で既に照明変化が補償された場合、これを利用してＤＰＣＭを行って照明変化量の予測値を求めた後、符号化する（Ｓ１１５２）。各ステップに対応する詳細な説明は、以上で対応する構成を参考にする。
【００７５】
図１２は、本発明の実験に使われた映像を説明する表を示した図である。
【００７６】
本発明では実験は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの参照符号化器であるＪＳＶＭ（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ）３．５を利用して実行し、１６×１６ブロックモードおよび空間的な直接モードに対して適用した。また多重ビュー映像に対して実験し、ＩＳＯ／ＩＥＣ ＭＰＥＧ（以下、ＭＰＥＧ）で提案された多重ビュー符号化方法で具現された符号化器を使用した。また、本発明では、現在ＭＰＥＧで多重ビュー映像符号化標準化で使われている映像を利用した。
【００７７】
図１３は、図１２に示した実験をするための実験条件を示した図である。
【００７８】
本発明で行われたあらゆる実験では、あらかじめ設定されたビット率歪最適化技術を使用した。提案された方法は、現在ＭＰＥＧで提案された階層的なＢ構造（Ｈｉｅｒａｒｃｈｉｃａｌ Ｂ ｓｔｒｕｃｔｕｒｅ）を使用した多重ビュー符号化方式のＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）結果、そして加重値予測方法を使用したＲＤ結果と比較した。
【００７９】
図１４Ａから図１４Ｆは、本発明による照明変化補償動き予測符号化および復号化方法を利用した後の効果を説明する図である。
【００８０】
各図面に示したように、本発明の方法を通じて、最小でも０．１ｄＢ〜０．５ｄＢの性能向上を得ることができた。
【００８１】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして実施することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。
【００８２】
コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また搬送波（例えば、インターネットを通じた伝送）の形態で実現されるものも含む。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。
【００８３】
以上、図面および明細書で最適の実施例が開示された。ここで特定の用語が使われたが、単に本発明を説明するための目的であり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。
【００８４】
当業者であれば、さらに多様な変形および均等な他の実施例が可能であるという点を理解できるだろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により定められねばならない。
【図面の簡単な説明】
【００８５】
【図１】本発明の望ましい一実施例であって、照明変化補償動き予測符号化装置を示す図である。
【図２】現在ブロックの照明変化量を予測するために使われる隣接するマクロブロックを示す図である。
【図３】動き探索を行うインターモードの場合に、照明変化補償動きを予測する符号化装置を示す図である。
【図４】本発明の望ましい一実施例であって、照明変化補償動き予測符号化装置の一実施例を示す図である。
【図５】本発明の望ましい一実施例であって、照明変化補償動き予測復号化装置の構成図である。
【図６】本発明の望ましい一実施例であって、照明変化補償動き予測復号化装置の一実施例を示す図である。
【図７Ａ】本発明の望ましい一実施例であって、Ｓｌｉｃｅ ｄａｔａ ｓｙｎｔａｘを図示する。
【図７Ｂ】本発明の望ましい一実施例であって、Ｓｌｉｃｅ ｄａｔａ ｓｙｎｔａｘを図示する。
【図８Ａ】本発明の望ましい一実施例であって、Ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒ ｓｙｎｔａｘの一実施例を示す図である。
【図８Ｂ】本発明の望ましい一実施例であって、Ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒ ｓｙｎｔａｘの一実施例を示す図である。
【図９Ａ】本発明の望ましい一実施例であって、ｍｂ＿ｐｒｅｄ（ｍｙ＿ｔｙｐｅ） ｓｙｎｔａｘの一実施例を示す図である。
【図９Ｂ】本発明の望ましい一実施例であって、ｍｂ＿ｐｒｅｄ（ｍｙ＿ｔｙｐｅ） ｓｙｎｔａｘの一実施例を示す図である。
【図１０】本発明の望ましい一実施例であって、照明変化補償動き予測符号化のフローチャートである。
【図１１】本発明の望ましい一実施例であって、インターモードおよび直接モードで照明変化補償動き予測符号化のフローチャートである。
【図１２】本発明の実験に使われた映像を説明する表を示す図である。
【図１３】図１２に示した実験をするための実験条件を示す図である。
【図１４Ａ】本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。
【図１４Ｂ】本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。
【図１４Ｃ】本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。
【図１４Ｄ】本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。
【図１４Ｅ】本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。
【図１４Ｆ】本発明で提示する照明変化補償動き予測符号化および復号化方法を利用した後の効果を示す図である。
【図１】
2009530960.tif 000011
【図２】
2009530960.tif 000012
【図３】
2009530960.tif 000013
【図４】
2009530960.tif 000014
【図５】
2009530960.tif 000015
【図６】
2009530960.tif 000016
【図７Ａ】
2009530960.tif 000017
【図７Ｂ】
2009530960.tif 000018
【図８Ａ】
2009530960.tif 000019
【図８Ｂ】
2009530960.tif 000020
【図９Ａ】
2009530960.tif 000021
【図９Ｂ】
2009530960.tif 000022
【図１０】
2009530960.tif 000023
【図１１】
2009530960.tif 000024
【図１２】
2009530960.tif 000025
【図１３】
2009530960.tif 000026
【図１４Ａ】
2009530960.tif 000027
【図１４Ｂ】
2009530960.tif 000028
【図１４Ｃ】
2009530960.tif 000029
【図１４Ｄ】
2009530960.tif 000030
【図１４Ｅ】
2009530960.tif 000031
【図１４Ｆ】
2009530960.tif 000032
【国際調査報告】
2009530960.tif 000033
2009530960.tif 000034