(57)【要約】【課題】  照度補償方法及び装置、これを利用した映像の符号化、復号化方法及び装置を提供する。【解決手段】  現在ブロックの復元された周辺画素の画素値及び参照ブロックの復元された周辺画素の画素値に基づいて、現在ブロック及び参照ブロックの画素の平均値を予測し、予測された現在ブロックの画素の平均値、予測された参照ブロックの画素の平均値、現在ブロックと参照ブロックとの画素値に基づいて、照度補償パラメータを決定することを特徴とする参照ブロックの照度補償方法である。【選択図】      図１
2008306720.tif 000002
【特許請求の範囲】
【請求項１】
参照ブロックの照度補償方法において、
現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値を入力される段階と、
前記入力された現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値に基づいて、前記現在ブロック及び前記参照ブロックの画素の平均値を予測する段階と、
前記予測された現在ブロックの画素の平均値、前記予測された参照ブロックの画素の平均値、前記現在ブロックと前記参照ブロックとの画素値に基づいて、前記参照ブロックの照度補償のための照度補償パラメータを決定する段階と、
前記決定された照度補償パラメータを利用し、前記参照ブロックに対して照度補償を行う段階とを含むことを特徴とする照度補償方法。
【請求項２】
前記現在ブロック及び前記参照ブロックの画素の平均値を予測する段階は、
前記現在ブロックの周辺画素の画素値の平均値を前記現在ブロックの画素の平均値として予測し、前記参照ブロックの周辺画素の画素値の平均値を前記参照ブロックの画素の平均値として予測することを特徴とする請求項１に記載の照度補償方法。
【請求項３】
前記照度補償パラメータを決定する段階は、
前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の照度補償パラメータを乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって生成された前記照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる前記照度補償パラメータを決定する段階をさらに含むことを特徴とする請求項１に記載の照度補償方法。
【請求項４】
前記照度補償パラメータを決定する段階は、
前記照度補償パラメータをａｘ，ｙ、前記現在ブロック及び参照ブロックの大きさをＭｘＮ（Ｍ，Ｎは正の整数）、前記現在ブロック内の（ｉ，ｊ）（０≦ｉ≦Ｍ、０≦ｊ≦Ｎ、ｉ，ｊは整数）位置の画素値をｆ（ｉ，ｊ）、前記現在ブロックの（ｉ，ｊ）位置の画素値の予測値をｆＥ（ｉ，ｊ）、前記参照ブロックの（ｉ，ｊ）位置の復元された画素値をｒ’ｘ，ｙ（ｉ，ｊ）、前記現在ブロックの周辺画素の平均値をＤＣｆ、前記参照ブロックの周辺画素の平均値をＤＣｒとするとき、
【数１】
2008306720.tif 000013
を利用し、前記照度補償された参照ブロックを生成する段階と、
前記現在ブロックの各画素値ｆ（ｉ，ｊ）と前記予測値ｆＥ（ｉ，ｊ）との差の合計を計算し、前記差の合計が最小になる前記照度補償パラメータａｘ，ｙを決定する段階とを含むことを特徴とする請求項１に記載の照度補償方法。
【請求項５】
前記照度補償パラメータを決定する段階は、
あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定することを特徴とする請求項１に記載の照度補償方法。
【請求項６】
前記照度補償パラメータを決定する段階は、
所定大きさのブロックごとに互いに異なる照度補償パラメータを決定する可変モード、及び前記所定大きさのブロック内に備わったサブブロックに対して同じ照度補償パラメータを決定する固定モードのうち選択されたモードによって行われることを特徴とする請求項１に記載の照度補償方法。
【請求項７】
参照ブロックの照度補償装置において、
現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値に基づいて、前記現在ブロック及び前記参照ブロックの画素の平均値を予測する平均値予測部と、
前記予測された現在ブロックの画素の平均値、前記予測された参照ブロックの画素の平均値、前記現在ブロックと前記参照ブロックとの画素値に基づいて、前記参照ブロックの照度補償のための照度補償パラメータを決定する照度補償パラメータ計算部と、
前記決定された照度補償パラメータを利用し、前記参照ブロックに対して照度補償を行う照度補償遂行部とを備えることを特徴とする照度補償装置。
【請求項８】
前記平均値予測部は、
前記現在ブロックの周辺画素の画素値の平均値を前記現在ブロックの画素の平均値として予測し、前記参照ブロックの周辺画素の画素値の平均値を前記参照ブロックの画素の平均値として予測することを特徴とする請求項７に記載の照度補償装置。
【請求項９】
前記照度補償パラメータ計算部は、
前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の照度補償パラメータを乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって生成された照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる前記照度補償パラメータを決定することを特徴とする請求項７に記載の照度補償装置。
【請求項１０】
前記照度補償遂行部は、
前記照度補償パラメータをａｘ，ｙ、前記現在ブロック及び参照ブロックの大きさをＭｘＮ（Ｍ，Ｎは正の整数）、前記現在ブロック内の（ｉ，ｊ）（０≦ｉ≦Ｍ、０≦ｊ≦Ｎ、ｉ，ｊは整数）位置の画素値をｆ（ｉ，ｊ）、前記現在ブロックの（ｉ，ｊ）位置の画素値の予測値をｆＥ（ｉ，ｊ）、前記参照ブロックの（ｉ，ｊ）位置の復元された画素値をｒ’ｘ，ｙ（ｉ，ｊ）、前記現在ブロックの周辺画素の平均値をＤＣｆ、前記参照ブロックの周辺画素の平均値をＤＣｒとするとき、
【数２】
2008306720.tif 000014
を利用し、前記照度補償された参照ブロックを生成し、
前記照度補償パラメータ計算部は、
前記現在ブロックの各画素値ｆ（ｉ，ｊ）と前記予測値ｆＥ（ｉ，ｊ）との差の合計を計算し、前記差の合計が最小になる前記照度補償パラメータａｘ，ｙを決定することを特徴とする請求項７に記載の照度補償装置。
【請求項１１】
前記照度補償パラメータ計算部は、
あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定することを特徴とする請求項７に記載の照度補償装置。
【請求項１２】
前記照度補償パラメータ計算部は、
所定大きさのブロックごとに互いに異なる照度補償パラメータを決定する可変モード、及び前記所定大きさのブロック内に備わったサブブロックに対して同じ照度補償パラメータを決定する固定モードのうち選択されたモードによって、前記照度補償パラメータを決定することを特徴とする請求項７に記載の照度補償装置。
【請求項１３】
照度補償に基づいた映像符号化方法において、
現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する段階と、
前記決定された参照ブロックの照度補償のための照度補償パラメータを決定する段階と、
前記決定された照度補償パラメータを利用し、前記参照ブロックに対する照度補償を行う段階と、
前記照度補償された参照ブロックを利用し、前記現在ブロックの予測ブロックを生成し、前記生成された予測ブロックと前記現在ブロックとの差値を符号化してビットストリームを生成する段階と、
前記生成されたビットストリームの所定領域に前記決定された照度補償パラメータ情報を保存する段階とを含むことを特徴とする映像符号化方法。
【請求項１４】
前記照度補償パラメータを決定する段階は、
前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の加重値を乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックを生成する段階と、
前記照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる前記加重値を前記照度補償パラメータとして決定する段階とをさらに含むことを特徴とする請求項１３に記載の映像符号化方法。
【請求項１５】
前記照度補償パラメータを決定する段階は、
あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定し、
前記決定された照度補償パラメータ情報を保存する段階は、
前記決定された照度補償パラメータを示す所定のインデックス情報を前記ビットストリームに保存することを特徴とする請求項１３に記載の映像符号化方法。
【請求項１６】
照度補償に基づいた映像符号化装置において、
現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する予測部と、
前記決定された参照ブロックの照度補償のための照度補償パラメータを決定し、前記決定された照度補償パラメータを利用し、前記参照ブロックに対する照度補償を行う照度補償部と、
前記照度補償された参照ブロックを利用し、前記現在ブロックの予測ブロックを生成し、前記生成された予測ブロックと前記現在ブロックとの差値を符号化してビットストリームを生成し、前記生成されたビットストリームの所定領域に前記決定された照度補償パラメータ情報を保存する符号化部とを備えることを特徴とする映像符号化装置。
【請求項１７】
前記照度補償部は、
前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の加重値を乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックを生成し、前記照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる前記加重値を前記照度補償パラメータとして決定することを特徴とする請求項１６に記載の映像符号化装置。
【請求項１８】
前記照度補償部は、
あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定することを特徴とする請求項１６に記載の映像符号化装置。
【請求項１９】
前記照度補償部は、
あらかじめ定義された所定個数の照度補償パラメータのうちから前記照度補償された参照ブロックと前記現在ブロックとの画素値の差を最小にする照度補償パラメータを決定し、
前記符号化部は、
前記決定された照度補償パラメータを示す所定のインデックス情報を前記ビットストリームに保存することを特徴とする請求項１６に記載の映像符号化装置。
【請求項２０】
照度補償基盤の映像復号化方法において、
受信されたビットストリームから復号化される現在ブロックの予測モード情報及び照度補償パラメータを抽出する段階と、
前記抽出された予測モード情報を利用し、前記現在ブロックの参照ブロックを決定する段階と、
前記抽出された照度補償パラメータ情報を利用し、前記決定された参照ブロックに対する照度補償を行う段階とを含むことを特徴とする映像復号化方法。
【請求項２１】
前記照度補償を行う段階は、
前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に前記抽出された照度補償パラメータを乗じた後、以前に復号化された前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックを生成することを特徴とする請求項２０に記載の映像復号化方法。
【請求項２２】
照度補償基盤の映像復号化装置において、
受信されたビットストリームから抽出された予測モード情報を利用して復号化される現在ブロックの参照ブロックを決定する予測部と、
前記ビットストリームから抽出された照度補償パラメータを利用し、前記決定された参照ブロックに対する照度補償を行う照度補償部とを備えることを特徴とする映像復号化装置。
【請求項２３】
前記照度補償部は、
前記参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に前記抽出された照度補償パラメータを乗じた後、以前に復号化された前記現在ブロックの周辺画素の平均値を加えることによって照度補償された参照ブロックを生成することを特徴とする請求項２２に記載の映像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照度補償（Illumination  compensation）方法及び装置に係り、さらに詳細には映像符号化及び復号化のための照度補償方法及びその装置に関する。
【背景技術】
【０００２】
三次元ディスプレイアプリケーションのためのマルチビュー符号化（ＭＶＣ：Multi-View  Coding）は、隣接したビュー間の予測時に、不完全に補正（calibration）されたカメラ、異なる遠近投影方向（Different  perspective  projection  direction）、異なる反射効果（Different  reflection  effects）などによる隣接したビュー間の照度（illumination）変化が発生し、これは、符号化効率を落とすという問題があった。また、シングルビュー（Single  view）の場合にも、画面転換などの場合、照度変化による符号化効率が落ちるという問題があった。
【０００３】
かような問題を解決するために、Ｈ．２６４規格では、加重予測（Weighted  prediction）という技法を使用する。この加重予測技法は、スライスレベルで動き補償に適用され、適切な加重因子（Weighted  factor）Ｗと付加的なオフセットＯとによって照度が補償される。かような加重予測技法のための改善された方式として、照度変換適応動き予測及び補償（ＩＣＡ  ＭＥ／ＭＣ：Illumination  Change-Adaptive  Motion  Estimation/Compensation）がある。
【０００４】
照度変換適応動き予測及び補償方式によれば、Ｙ成分の場合、１６Ｘ１６ブロック単位でＩＣＡ  ＭＥ／ＭＣが行われ、それぞれのマクロブロックに対して照度変換の差分値（ＤＶＩＣ：Difference  Value  of  Illumination  Change）が得られる。
【０００５】
ＩＣＡ  ＭＥ／ＭＣには、二種のモードが存在する。二種のモードのうち１つのモードは、ＰまたはＢスライスで使われる、ＩＣＡ  ＭＥ／ＭＣを使用するＩＣインター１６ｘ１６モードである。他のモードは、Ｂスライスでのみ使われる、ＩＣＡ  ＭＥ／ＭＣを使用しないＩＣダイレクト１６ｘ１６モードである。ローカル照度変換を補償するためには、それぞれのインター１６ｘ１６及びそれぞれのダイレクト１６ｘ１６ブロックモード当たり１ビットのフラグ、すなわちｍｂ＿ｉｃ＿ｆｌａｇが必要である。
【０００６】
現在ブロックのＤＶＩＣと隣接したブロックのＤＶＩＣは、非常に高い相関関係が存在するので、現在ブロックのＤＶＩＣは、隣接したブロックのＤＶＩＣとの差を符号化して送る方法を取る。
【０００７】
以下では、インター１６ｘ１６モードに係るマクロブロック単位のＩＣＡ  ＭＥ／ＭＣについて説明する。
【０００８】
ＩＣＡ  ＭＥ／ＭＣのためには、新しいＳＡＤ（Sum  of  Absolute  Difference）が定義されねばならない。現在フレームの（ｉ，ｊ）位置の画素をｆ（ｉ，ｊ）とし、参照フレームの（ｉ，ｊ）位置の画素をｒ（ｉ，ｊ）とすれば、ＳｘＴサイズのブロックに対するＳＡＤは、次の式（１）のように計算される。ここで、ＳｘＴは、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８、８ｘ４、４ｘ８、４ｘ４などが可能である。
【０００９】
【数３】
2008306720.tif 000003
ここで、（ｘ，ｙ）は、候補動きベクターであり、（Ｍ，Ｎ）は、現在ブロックの位置を意味する。
【００１０】
照度変換を補償するためには、新しいＳＡＤが必要である。これは、下記の式（２）及び（３）によって求められる。
【００１１】
【数４】
2008306720.tif 000004
ここで、Ｍｃｕｒは、現在ブロック内の画素の平均値であり、Ｍｒｅｆは、参照ブロック内の画素の平均値である。また、（ｐ，ｑ）は、参照ブロックの位置である。新しいＳＡＤ、すなわちＮｅｗＳＡＤ（ｘ，ｙ）は、下記の式（３）によって求められる。
【００１２】
【数５】
2008306720.tif 000005
ＩＣＡ  ＭＥ／ＭＣ方式では、式（３）に基づいてＮｅｗＳＡＤ（ｘ，ｙ）を最小にするブロック、例えば１６ｘ１６ブロックをサーチし、これに対応するＭＶ（Motion  Vector）を探す。
【００１３】
ＮｅｗＳＡＤ（ｘ，ｙ）を最小にする動きベクターＭＶ（ｘ’，ｙ’）が決定されれば、照度補償残差信号ＮｅｗＲ（ｉ，ｊ）は、下記の式（４）により決定される。
【００１４】
【数６】
2008306720.tif 000006
このとき、１ビットフラグであるｍｂ＿ｉｃ＿ｆｌａｇがＩＣＡ  ＭＥ／ＭＣが使われたか否かを示すために、シンタックス（syntax）に保存される。ＤＶＩＣのＤＰＣＭ（Differential  Pulse  Code  Modulation）値もシンタックスに含まれる。本実施例では、ｍｂ＿ｉｃ＿ｆｌａｇが０ならば、現在ブロックに対してＩＣＡ  ＭＣが行われないということを示す。また、ｍｂ＿ｉｃ＿ｆｌａｇが１ならば、現在ブロックに対してＩＣＡ  ＭＣが行われたということを示す。
【００１５】
また、ｍｂ＿ｉｃ＿ｆｌａｇが１ならば、復号化装置のＩＣＡ  ＭＥ／ＭＣ部は、下記の式（５）を利用して復元画素を求める。
【００１６】
【数７】
2008306720.tif 000007
式（５）でＮｅｗＲ”（ｉ，ｊ）は、復元された照度補償残差信号であり、ｆ’（ｉ，ｊ）は、復元された現在フレーム内の画素を意味する。
【００１７】
かような従来のＩＣＡ  ＭＥ／ＭＣ方式では、ＤＶＩＣ情報を伝送しなければならないので、符号化効率が低下するという問題点があった。
【００１８】
かような照度補償方法を改善してＤＶＩＣ情報を省略できる照度補償方法が提案された。ＤＶＩＣ情報を省略するために、次の式（６）を利用して照度補償された参照ブロックを生成する。
【００１９】
【数８】
2008306720.tif 000008
式（６）でａｘ，ｙ及びｂｘ，ｙは、動きベクター（ｘ，ｙ）によって可変する値を有し、各動きベクターに対しては定数値を有する。また、ｒ’ｘ，ｙ（ｉ，ｊ）は、動き補償された参照ブロックを示し、
【００２０】
【数９】
2008306720.tif 000009
は、照度補償された参照ブロックを示す。式（６）を利用した照度補償方式では、現在ブロックの周辺の復元された画素を利用し、ａｘ，ｙ及びｂｘ，ｙの値を線形回帰（Linear  aggression）方式、差平均基盤予測（Average  of  difference  based  prediction）方式及び平均差基盤予測（Difference  of  average  based  prediction）方式を利用して計算するために、ＤＶＩＣ情報を省略できるという長所がある。しかし、かようなＤＶＩＣ情報を省略する照度補償方式は、現在ブロックの周辺の復元された画素からａｘ，ｙ及びｂｘ，ｙを計算するために、現在ブロックを利用してａｘ，ｙ及びｂｘ，ｙを計算する場合に比べ、照度変化の予測性能が落ちるという問題点がある。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
本発明がなそうとする技術的課題は、可能な限り現在ブロックの画素情報を利用して照度補償パラメータを決定する一方、少ない照度補償パラメータの伝送でも、照度補償の性能を向上させうる改善された照度補償方法及び装置、これを利用した映像の符号化、復号化方法及び装置を提供することである。
【課題を解決するための手段】
【００２２】
前述の技術的課題を解決するために、本発明による参照ブロックの照度補償方法は、現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値を入力される段階と、前記入力された現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値に基づいて、前記現在ブロック及び前記参照ブロックの画素の平均値を予測する段階と、前記予測された現在ブロックの画素の平均値、前記予測された参照ブロックの画素の平均値、前記現在ブロックと前記参照ブロックとの画素値に基づいて、前記参照ブロックの照度補償のための照度補償パラメータを決定する段階と、前記決定された照度補償パラメータを利用し、前記参照ブロックに対して照度補償を行う段階とを含むことを特徴とする。
【００２３】
本発明による参照ブロックの照度補償装置は、現在ブロックの復元された周辺画素の画素値及び前記参照ブロックの復元された周辺画素の画素値に基づいて、前記現在ブロック及び前記参照ブロックの画素の平均値を予測する平均値予測部と、前記予測された現在ブロックの画素の平均値、前記予測された参照ブロックの画素の平均値、前記現在ブロックと前記参照ブロックとの画素値に基づいて、前記参照ブロックの照度補償のための照度補償パラメータを決定する照度補償パラメータ計算部と、前記決定された照度補償パラメータを利用し、前記参照ブロックに対して照度補償を行う照度補償遂行部とを備えることを特徴とする。
【００２４】
本発明による照度補償に基づいた映像符号化方法は、現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する段階と、前記決定された参照ブロックの照度補償のための照度補償パラメータを決定する段階と、前記決定された照度補償パラメータを利用し、前記参照ブロックに対する照度補償を行う段階と、前記照度補償された参照ブロックを利用し、前記現在ブロックの予測ブロックを生成し、前記生成された予測ブロックと前記現在ブロックとの差値を符号化してビットストリームを生成する段階と、前記生成されたビットストリームの所定領域に前記決定された照度補償パラメータ情報を保存する段階とを含むことを特徴とする。
【００２５】
本発明による照度補償に基づいた映像符号化装置は、現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する予測部と、前記決定された参照ブロックの照度補償のための照度補償パラメータを決定し、前記決定された照度補償パラメータを利用し、前記参照ブロックに対する照度補償を行う照度補償部と、前記照度補償された参照ブロックを利用し、前記現在ブロックの予測ブロックを生成し、前記生成された予測ブロックと前記現在ブロックとの差値を符号化してビットストリームを生成し、前記生成されたビットストリームの所定領域に前記決定された照度補償パラメータ情報を保存する符号化部とを備えることを特徴とする。
【００２６】
本発明による照度補償基盤の映像復号化方法は、受信されたビットストリームから復号化される現在ブロックの予測モード情報及び照度補償パラメータを抽出する段階と、前記抽出された予測モード情報を利用し、前記現在ブロックの参照ブロックを決定する段階と、前記抽出された照度補償パラメータ情報を利用し、前記決定された参照ブロックに対する照度補償を行う段階とを含むことを特徴とする。
【００２７】
本発明による照度補償基盤の映像復号化装置は、受信されたビットストリームから抽出された予測モード情報を利用して復号化される現在ブロックの参照ブロックを決定する予測部と、前記ビットストリームから抽出された照度補償パラメータを利用し、前記決定された参照ブロックに対する照度補償を行う照度補償部とを備えることを特徴とする。
【発明の効果】
【００２８】
本発明は、参照ブロックの照度補償のための照度補償パラメータの一部を現在ブロックの画素値を利用して予測することによって、周辺画素のみを利用して照度補償パラメータを利用する場合に比べて、現在ブロックの映像特性を効率的に反映できるので、映像の符号化効率が向上する。また本発明によれば、少ないデータ量を有した照度補償パラメータだけでも、効率的に現在ブロックの画素値を予測できるので、符号化効率を向上させることができる。
【発明を実施するための最良の形態】
【００２９】
以下、添付された図面を参照しつつ、本発明の望ましい実施例について詳細に説明する。
【００３０】
図１は、本発明による照度補償装置を示したブロック図である。図１を参照するに、本発明による照度補償装置１００は、平均値予測部１１０、照度補償パラメータ計算部１２０及び照度補償遂行部１３０を備える。
【００３１】
平均値予測部１１０は、現在ブロックの復元された周辺画素値及び参照ブロックの復元された周辺画素値に基づいて、現在ブロックと参照ブロックとの画素の平均値（ＤＣ：Direct  Current）を予測する。
【００３２】
照度補償パラメータ計算部１２０は、現在ブロックの画素の予測平均値、参照ブロックの画素の予測平均値、現在ブロックと参照ブロックとの画素値に基づいて、参照ブロックの照度補償のための照度補償パラメータを決定する。具体的に、照度補償パラメータ計算部１２０は、現在ブロックの画素から現在ブロックの画素の予測平均値を差し引いた値と、参照ブロックの画素から参照ブロックの画素の予測平均値を差し引いた値とに基づいて、照度補償パラメータを決定する。すなわち、照度補償パラメータ計算部１２０は、平均値成分が除去された現在ブロックと参照ブロックとの画素に基づいて、照度補償パラメータを決定する。照度補償パラメータの具体的な決定過程については後述する。
【００３３】
照度補償遂行部１３０は、照度補償パラメータ、現在ブロックと参照ブロックとの予測平均値、参照ブロックの画素の画素値を利用し、現在ブロックの照度補償された参照ブロックを生成する。ここで、照度補償された参照ブロックは、現在ブロックの予測ブロックに該当する。また参照ブロックは、シングルビューである場合には、復元された以前フレーム内のブロック、または現在フレームですでに復元された他のカラー成分のフレーム内のブロックになることが可能であり、マルチビューコーディング（ＭＶＣ：Multi-View  Coding）方式では、隣接したビューの復元されたフレームのうち、いずれか１つのフレーム内のブロックになることが可能である。
【００３４】
以下では、図２Ａ及び図２Ｂを参照しつつ、本発明によって現在ブロック及び参照ブロックの画素の予測平均値を計算する方法及び照度補償パラメータを決定する方法について説明する。
【００３５】
図２Ａの太い実線ブロックは、参照フレーム内の動きベクター（ｘ，ｙ）に対応する１６ｘ１６サイズの復元された参照ブロック２１０を示す。動きベクター（ｘ，ｙ）に対応する参照ブロック内の（ｉ，ｊ）位置の復元された画素値は、ｒ’ｘ，ｙ（ｉ，ｊ）で表示される。ここで、添字（’）は、復元された値を意味する。一方、陰影で表示された画素は、復元された周辺画素値を示す。図２Ｂの太い実線ブロックは、１６ｘ１６サイズの現在ブロック２２０を示す。現在ブロック内の（ｉ，ｊ）位置の原画素値は、ｆ（ｉ，ｊ）で表示される。陰影で表示された周辺画素は、現在ブロックの復元された周辺画素を示す。図２Ａと同様に、添字（’）は、復元された値を意味する。
【００３６】
平均値予測部１１０は、ブロック内部の画素と周辺画素との照度差が大きくないということを考慮し、現在ブロックの周辺画素の画素値の平均値を現在ブロックの画素の平均値として予測し、参照ブロックの周辺画素の画素値の平均値を参照ブロックの画素の平均値として予測する。図２Ａ及び図２Ｂを参照するに、１６ｘ１６モードの場合、参照ブロック２１０の周辺画素の平均値ＤＣｒと現在ブロックの周辺画素の平均値ＤＣｆは、次の式（７）のように計算されうる。
【００３７】
【数１０】
2008306720.tif 000010
前述のように、ブロック内部の画素と周辺画素との照度差が大きくないということを考慮し、平均値予測部１１０は、計算された参照ブロック２１０の周辺画素の平均値ＤＣｒと現在ブロックの周辺画素の平均値をＤＣｆとをそれぞれ参照ブロックと現在ブロックとの予測平均値として決定する。
【００３８】
一方、本発明による現在ブロックと参照ブロックとの画素値の平均値を予測する過程は、可変ＤＣモードと固定ＤＣモードとに大別される。可変ＤＣモードでは、１６ｘ１６サイズのブロックを１６ｘ１６、８ｘ８及び４ｘ４サイズのブロックに分類した後で最適のモードを決定する。固定ＤＣモードでは、１６ｘ１６、８ｘ８及び４ｘ４サイズのブロックのうちから一つブロックを決定し、１つのスライスまたは１つのフレームまたは映像全体に対して決定されたブロックサイズによって平均値を予測する。前述の式（７）と同じように、８ｘ８及び４ｘ４サイズのブロック単位で、現在ブロックと参照ブロックとの画素の平均値を予測するとき、予測平均値は、それぞれ次の式（８）及び（９）を利用して予測されうる。
【００３９】
【数１１】
2008306720.tif 000011
一方、照度補償パラメータをａｘ，ｙ、現在ブロック及び参照ブロックの大きさをＭｘＮ（Ｍ，Ｎは正の整数）、現在ブロック内の（ｉ，ｊ）（０≦ｉ≦Ｍ、０≦ｊ≦Ｎ、ｉ，ｊは整数）位置の画素値をｆ（ｉ，ｊ）、現在ブロックの（ｉ，ｊ）位置の画素値の予測値をｆＥ（ｉ，ｊ）、参照ブロックの（ｉ，ｊ）位置の復元された画素値をｒ’ｘ，ｙ（ｉ，ｊ）とするとき、照度補償遂行部１３０は、現在ブロック内の画素値の予測値ｆＥ（ｉ，ｊ）を次の式（１０）を利用して予測できる。
【００４０】
【数１２】
2008306720.tif 000012
式（１０）で、現在ブロックの周辺画素の平均値のＤＣｆを左側に移項させれば、現在ブロックの画素から現在ブロックの画素の予測平均値を差し引いた値と、参照ブロックの画素から参照ブロックの画素の予測平均値を差し引いた値とに基づいて、照度補償パラメータ（ａｘ，ｙ）が決定されるということが分かる。式（１０）を介して計算された現在ブロックの予測画素値（ｆＥ（ｉ，ｊ））は、８ビット映像の場合、［０，２５５］にクリッピングされる。
【００４１】
再び図１を参照するに、前述の式（１０）のように、照度補償遂行部１３０で参照ブロックの復元された画素と参照ブロックの周辺画素の平均値との差に所定の照度補償パラメータ（ａｘ，ｙ）を乗じた後、現在ブロックの周辺画素の平均値を加えることによって、照度補償された参照ブロック、すなわち現在ブロックの照度補償された予測ブロックが生成されれば、照度補償パラメータ計算部１２０は、照度補償された参照ブロックの画素（ｆＥ（ｉ，ｊ））と現在ブロックの原画素（ｆＥ（ｉ，ｊ））との差が最小になる照度補償パラメータ（ａｘ，ｙ）を決定する。このとき、照度補償パラメータ計算部１２０は、あらかじめ定義された所定個数の照度補償パラメータ、例えばｎ個のあらかじめ決まった照度補償パラメータである｛ａ０，ａ１，…、ａｎ｝をそれぞれ適用して照度補償された参照ブロックの画素（ｆＥ（ｉ，ｊ））と現在ブロックの原画素（ｆＥ（ｉ，ｊ））との差値を計算した後、差値が最小になる照度補償パラメータを決定し、決定された照度補償パラメータを示す所定のインデックス情報だけを復号化装置に伝送できる。この場合、復号化装置では、あらかじめ定義されたインデックス情報のみを参照して、照度補償パラメータを決定できる。
【００４２】
一方、照度補償パラメータは、１６ｘ１６、８ｘ８、４ｘ４サイズなど多様な大きさのブロック単位でマクロブロックを分割し、それぞれのブロックごとに独立的な照度補償パラメータを有させることができる。図３Ａ及び図３Ｂを参照するに、８ｘ８サイズまたは４ｘ４サイズのブロック単位で、照度補償パラメータを決定する場合、左から右、上から下への方向のブロック単位で各ブロックを処理し、照度補償パラメータを決定する。
【００４３】
照度補償パラメータの決定のためのモードとしては、可変モードと固定モードとに大別される。可変モードには、１６ｘ１６モード、８ｘ８モード、４ｘ４モードの３つのモードが存在し、各モードによって、照度補償パラメータの値は変更されうる。固定モードには、１６ｘ１６モード、８ｘ８モード、４ｘ４モードの３つのモードが存在できるが、１６ｘ１６ブロックごとに１個の照度補償パラメータを有する。従って、１６ｘ１６ブロック内の各モードでの照度補償パラメータは、いずれも固定された１個の値を使用する。言い換えれば、固定モードでは、可変モードのようにスライス、フレーム、映像全体に対してブロックごとに異なる大きさのブロックモード（１６ｘ１６モード、８ｘ８モード、４ｘ４モード）を有することができる。しかし、可変モードでは、それぞれのブロックごとに可変的に異なる照度補償パラメータ値を有するが、固定モードでは、所定大きさのブロック内に備わったサブブロックは、いずれも同じ照度補償パラメータを有するという差異点がある。一例として、固定モードでは、１６ｘ１６ブロック内部のサブブロックは、１個の照度補償パラメータを共有するが、他の１６ｘ１６ブロックとは異なる照度補償パラメータを有することができる。この場合、可変モードでは、１６ｘ１６ブロック内部のサブブロックごとに異なる照度補償パラメータを有する。
【００４４】
また、１６ｘ１６サイズのブロックを符号化するとき、１６ｘ１６モード、８ｘ８モード、４ｘ４モードを適用する場合、それぞれ１つ、４つ、１６個の照度補償パラメータを伝送せねばならない。照度補償パラメータの個数が増加する場合、伝送されねばならないデータ量が増加しうるために、符号化装置と復号化装置とで、事前に照度補償パラメータセットを定義した後、照度補償パラメータセットに備わった照度補償パラメータのうち、最も適した照度補償パラメータを決定し、決定された照度補償パラメータのインデックス情報だけを伝送することによって、伝送されるデータ量を減少させることができる。また、可変モードと固定モードとのうちで適用されるブロックサイズが固定された固定モードを利用する場合には、モード情報量を減らすことができる。
【００４５】
図４は、本発明による照度補償方法を示したフローチャートである。
【００４６】
段階４１０で、現在ブロックの復元された周辺画素の画素値及び参照ブロックの復元された周辺画素の画素値を入力される。ここで、参照ブロックは、シングルビューである場合には、復元された以前フレーム内のブロック、または現在フレームですでに復元された他のカラー成分のフレーム内のブロックになることが可能であり、マルチビューコーディング（ＭＶＣ：Multi-View  Coding）方式では、隣接したビューの復元されたフレームのうち、いずれか１つのフレーム内のブロックになることが可能である。
【００４７】
段階４２０で、入力された現在ブロックの復元された周辺画素の画素値及び参照ブロックの復元された周辺画素の画素値に基づいて、現在ブロック及び参照ブロックの画素の平均値を予測する。前述のように、ブロック内の画素と周辺画素との照度差が大きくないことを考慮し、現在ブロックの周辺画素の画素値の平均値をそのまま現在ブロックの画素の平均値として予測し、参照ブロックの周辺画素の画素値の平均値をそのまま参照ブロックの画素の平均値として予測できる。
【００４８】
段階４３０で、予測された現在ブロックの画素の平均値、予測された参照ブロックの画素の平均値、現在ブロックと参照ブロックとの画素値に基づいて、参照ブロックの照度補償のための照度補償パラメータを決定する。前述の式（１０）のように、参照ブロックの復元された画素と前記参照ブロックの周辺画素との平均値の差に所定の照度補償パラメータを乗じた後、前記現在ブロックの周辺画素の平均値を加えることによって、照度補償された参照ブロック、すなわち現在ブロックの予測ブロックを生成した後、照度補償された参照ブロックの画素と現在ブロックの画素との差を最小にする照度補償パラメータを決定する。
【００４９】
段階４４０で、決定された照度補償パラメータを利用し、参照ブロックに対して照度補償を行う。
【００５０】
図５は、本発明による照度補償装置が適用された映像符号化装置の構成を示したブロック図である。図５を参照するに、本発明による映像符号化装置５００は、変換及び量子化部５１０、逆変換及び逆量子化部５２０、フレーム保存部５３０、照度補償部５４０、予測部５５０、減算部５６０及び加算部５６２を備える。
【００５１】
変換及び量子化部５１０は、映像データの空間重複性（spatial  redundancy）をなくすために、入力された映像データを変換（transform）する。また、変換符号化して得られた変換係数値を所定量子化ステップによって量子化し、量子化された変換係数値によって構成された二次元データであるＮ×Ｍデータを得る。使われる映像変換の例としては、ＤＣＴ（Discrete  Cosine  Transform）を挙げることができる。量子化は、あらかじめ決定された量子化ステップによって行われる。
【００５２】
逆変換及び逆量子化部５２０は、変換及び量子化部５１０で量子化された映像データを逆量子化し、逆量子化された映像データを逆映像変換、例えば逆ＤＣＴする。
【００５３】
加算部５６２は、予測部５５０から出力された予測映像と、逆変換及び逆量子化部５２０で復元されたデータとを加算して復元映像を生成する。フレーム保存部５３０は、加算部５６２で復元された映像をフレーム単位で保存する。
【００５４】
予測部５５０は、符号化される現在ブロックの予測ブロックを生成し、予測ブロックの生成のために参照ブロックを決定する。前述のように、参照ブロックは、シングルビューである場合には、復元された以前フレーム内のブロック、または現在フレームですでに復元された他のカラー成分のフレーム内のブロックになることが可能であり、マルチビューコーディング（ＭＶＣ：Multi-View  Coding）方式では、隣接したビューの復元されたフレームのうち、いずれか１つのフレーム内のブロックになることが可能である。
【００５５】
照度補償部５４０は、決定された参照ブロックの照度補償のための照度補償パラメータを決定し、決定された照度補償パラメータを利用して参照ブロックに対する照度補償を遂行し、照度補償された参照ブロックを出力する。出力された照度補償された参照ブロックは、現在ブロックの予測ブロックに該当し、入力された現在ブロックとの差である残差ブロックが符号化される。一方、照度補償部５４０で決定された照度補償パラメータ情報は、エントロピ符号化部５７０で生成されたビットストリームの所定領域に保存され、復号化装置での参照ブロックの照度補償のための照度補償パラメータを決定できるようにする。照度補償部５４０は、図１の照度補償装置１００と同じ機能を行うので、具体的な説明は省略する。
【００５６】
図６は、本発明による照度補償方法を適用した映像符号化方法を示したフローチャートである。図６を参照するに、段階６１０で、現在ブロックの予測ブロックを生成するのに利用される参照ブロックを決定する。
【００５７】
段階６２０で、決定された参照ブロックの照度補償のための照度補償パラメータを決定する。前述のように、参照ブロックの復元された画素と参照ブロックの周辺画素の平均値との差に所定の加重値、すなわち照度補償パラメータを乗じた後、現在ブロックの周辺画素の平均値を加えることによって、照度補償された参照ブロックを生成し、照度補償された参照ブロックの画素と現在ブロックの画素との差が最小になる加重値を照度補償パラメータとして決定する。
【００５８】
段階６３０で、決定された照度補償パラメータを利用して参照ブロックに対する照度補償を行う。
【００５９】
段階６４０で、照度補償された参照ブロックを利用して現在ブロックの予測ブロックを生成し、生成された予測ブロックと現在ブロックとの差値を符号化してビットストリームを生成する。
【００６０】
段階６５０で、生成されたビットストリームの所定領域に決定された照度補償パラメータ情報を保存する。
【００６１】
図７は、本発明による映像復号化装置の構成を示したブロック図である。図７を参照するに、本発明による映像復号化装置は、エントロピ復号化部７１０、逆量子化及び逆変換部７２０、フレーム保存部７３０、予測部７４０、照度補償部７５０、及び加算部７６０を備える。
【００６２】
エントロピ復号化部７１０は、符号化されたビットストリームをエントロピ復号化し、映像データ、予測モード情報及び照度補償パラメータ情報などを抽出する。エントロピ復号化された映像データは、逆量子化及び逆変換部７２０に入力され、予測モード情報は、予測部７４０に入力され、照度補償パラメータ情報は、照度補償部７５０に入力される。
【００６３】
逆量子化及び逆変換部７２０は、エントロピ復号化部７１０から抽出された映像データに対して逆量子化及び逆変換を行う。加算部７６０は、逆量子化及び逆変換部７２０で逆量子化及び逆変換された映像データと、照度補償部７５０で照度補償された予測ブロックとを加えて映像を復元し、フレーム保存部７３０は、復元された映像をフレーム単位で保存する。
【００６４】
予測部７４０は、ビットストリームから抽出された予測モード情報を利用し、復号化される現在ブロックの参照ブロックを決定する。
【００６５】
照度補償部７５０は、ビットストリームから抽出された照度補償パラメータを利用し、決定された参照ブロックに対する照度補償を行って照度補償された参照ブロックを生成する。照度補償された参照ブロックは、現在ブロックの予測ブロックに該当する。
【００６６】
図８は、本発明による映像復号化方法を示したフローチャートである。図８を参照するに、段階８１０で、受信されたビットストリームから復号化される現在ブロックの予測モード情報及び照度補償パラメータを抽出する。
【００６７】
段階８２０で、抽出された予測モード情報を利用して現在ブロックの参照ブロックを決定する。
段階８３０で、抽出された照度補償パラメータ情報を利用して決定された参照ブロックに対する照度補償を行う。参照ブロックに対する照度補償過程は、前述の式（１０）を利用して行える。
【００６８】
段階８４０で、照度補償された参照ブロックと復元された残差データとを加えて現在ブロックを復元する。
【００６９】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Read-Only  Memory）、ＲＡＭ（Random-Access  Memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。
【００７０】
以上、本発明についてその望ましい実施形態を中心に述べた。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されうるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして説明的な観点でもって考慮されねばならない。本発明の範囲は、前述の説明ではなくして特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれるものと解釈されるものである。
【産業上の利用可能性】
【００７１】
本発明の照度補償方法及び装置、これを利用した映像の符号化、復号化方法及び装置は、例えばディスプレイ・アプリケーション関連の技術分野に効果的に適用可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明による照度補償装置を示したブロック図である。
【図２Ａ】本発明によって、参照ブロックの画素の予測平均値を計算する方法及び照度補償パラメータを決定する方法を説明するための図である。
【図２Ｂ】本発明によって、現在ブロックの画素の予測平均値を計算する方法及び照度補償パラメータを決定する方法を説明するための図である。
【図３Ａ】８ｘ８モードの場合の符号化順序を示す図である。
【図３Ｂ】４ｘ４モードの場合の符号化順序を示す図である。
【図４】本発明による照度補償方法を示したフローチャートである。
【図５】本発明による照度補償装置が適用された映像符号化装置の構成を示したブロック図である。
【図６】本発明による照度補償方法を適用した映像符号化方法を示したフローチャートである。
【図７】本発明による映像復号化装置の構成を示したブロック図である。
【図８】本発明による映像復号化方法を示したフローチャートである。
【符号の説明】
【００７３】
１００  照度補償装置
１１０  平均値予測部
１２０  パラメータ計算部
１３０  照度補償遂行部
２１０  参照ブロック
２２０  現在ブロック
５００  映像符号化装置
５１０  変換及び量子化部
５２０  逆変換及び逆量子化部
５３０，７３０  フレーム保存部
５４０，７５０  照度補償部
５５０，７４０  予測部
５６０  減算部
５６２，７６０  加算部
５７０  エントロピ符号化部
７１０  エントロピ復号化部
７２０  逆量子化及び逆変換部
【図１】
2008306720.tif 000015
【図２Ａ】
2008306720.tif 000016
【図２Ｂ】
2008306720.tif 000017
【図３Ａ】
2008306720.tif 000018
【図３Ｂ】
2008306720.tif 000019
【図４】
2008306720.tif 000020
【図５】
2008306720.tif 000021
【図６】
2008306720.tif 000022
【図７】
2008306720.tif 000023
【図８】
2008306720.tif 000024