(57)【要約】【課題】多視点ビデオ信号デコーディング方法を提供する。【解決手段】この方法は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、多視点ビデオ信号の部分と関連したフラグ情報をビットストリームから抽出する段階と、フラグ情報によって照明補償が行われる部分に対して、部分内のセグメントと関連した値をビットストリームから抽出し、抽出された値からセグメントの照明補償が行われるか否かを決定する段階とを含み、複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、フラグ情報は、多視点ビデオ信号の部分内のセグメントに対して照明補償が行われるか否かを示すことを特徴とする。【選択図】図１６
2009523355.tif 000002
【特許請求の範囲】
【請求項１】
多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、
前記多視点ビデオ信号の部分と関連したフラグ情報を前記ビットストリームから抽出する段階と、
前記フラグ情報によって照明補償が行われる部分に対して、前記部分内のセグメントと関連した値を前記ビットストリームから抽出し、前記抽出された値から前記セグメントの照明補償が行われるか否かを決定する段階とを含み、
前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、
前記フラグ情報は、前記多視点ビデオ信号の部分内のセグメントに対して照明補償が行われるか否かを示すことを特徴とする多視点ビデオ信号デコーディング方法。
【請求項２】
前記セグメントは、イメージブロックからなることを特徴とする請求項１に記載の多視点ビデオ信号デコーディング方法。
【請求項３】
照明補償が行われることを示す値と関連した第１ブロックに対して、
前記第１ブロックに隣接した少なくとも１つの隣ブロックの照明補償オフセット値を用いて、前記第１ブロックの照明補償予測値を獲得する段階をさらに含むことを特徴とする請求項２に記載の多視点ビデオ信号デコーディング方法。
【請求項４】
隣ブロックの照明補償オフセット値は、前記隣ブロックの照明補償予測値及び差分値を加算することによって獲得されることを特徴とする請求項３に記載の多視点ビデオ信号デコーディング方法。
【請求項５】
前記第１ブロックに隣接した少なくとも１つの隣ブロックの照明補償オフセット値を用いて前記第１ブロックの照明補償予測値を獲得する段階は、
前記隣ブロックのうち、定められた順序によって前記少なくとも１つの隣ブロックを選択する段階を含むことを特徴とする請求項３に記載の多視点ビデオ信号デコーディング方法。
【請求項６】
前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、
１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする請求項５に記載の多視点ビデオ信号デコーディング方法。
【請求項７】
前記フラグ情報は、前記ブロックを含むシーケンス、視点、ピクチャのグループ、ピクチャ及びスライスのうち１つ以上に対して照明補償を可能にすることを特徴とする請求項２に記載の多視点ビデオ信号デコーディング方法。
【請求項８】
前記フラグ情報は、前記ブロックを含む前記スライスに対して照明補償を可能にすることを特徴とする請求項７に記載の多視点ビデオ信号デコーディング方法。
【請求項９】
前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報、または前記ブロックのフラグ情報からなることを特徴とする請求項７に記載の多視点ビデオ信号デコーディング方法。
【請求項１０】
前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報からなることを特徴とする請求項９に記載の多視点ビデオ信号デコーディング方法。
【請求項１１】
多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、
第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて、前記第１セグメントの照明補償予測値を獲得する段階とを含み、
前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、
前記照明補償予測値を獲得する段階は、前記隣セグメントのうち、定められた順序によって前記少なくとも１つの隣セグメントを選択する段階を含むことを特徴とする多視点ビデオ信号デコーディング方法。
【請求項１２】
前記第１セグメントと前記少なくとも１つの隣セグメントは、イメージブロックからなることを特徴とする請求項１１に記載の多視点ビデオ信号デコーディング方法。
【請求項１３】
隣ブロックの照明補償オフセット値は、前記隣ブロックの照明補償予測値及び差分値を加算することによって獲得されることを特徴とする請求項１２に記載の多視点ビデオ信号デコーディング方法。
【請求項１４】
前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、
１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする請求項１２に記載の多視点ビデオ信号デコーディング方法。
【請求項１５】
前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、
左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする請求項１４に記載の多視点ビデオ信号デコーディング方法。
【請求項１６】
１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階は、
前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする、請求項１４に記載の多視点ビデオ信号デコーディング方法。
【請求項１７】
前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする請求項１６に記載の多視点ビデオ信号デコーディング方法。
【請求項１８】
前記照明補償予測値を獲得する段階は、
１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする請求項１２に記載の多視点ビデオ信号デコーディング方法。
【請求項１９】
複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償予測値を獲得する段階をさらに含むことを特徴とする請求項１８に記載の多視点ビデオ信号デコーディング方法。
【請求項２０】
前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする請求項１９に記載の多視点ビデオ信号デコーディング方法。
【請求項２１】
多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、
参照ピクチャに関する第１セグメントの照明補償オフセット値を獲得する段階と、
前記第１セグメントの照明補償を用いて前記ビットストリームをデコーディングする段階とを含み、
前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、
前記オフセット値は、隣セグメントと関連した特性に基づいて決定された少なくとも１つの隣セグメントの照明補償オフセット値を用いて予測され、
前記デコーディング段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とする多視点ビデオ信号デコーディング方法。
【請求項２２】
前記第１セグメントと前記少なくとも１つの隣セグメントは、イメージブロックからなることを特徴とする請求項２１に記載の多視点ビデオ信号デコーディング方法。
【請求項２３】
隣ブロックの照明補償オフセット値は、前記隣ブロックの照明補償予測値及び差分値を加算することによって獲得されることを特徴とする請求項２２に記載の多視点ビデオ信号デコーディング方法。
【請求項２４】
１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする請求項２２に記載の多視点ビデオ信号デコーディング方法。
【請求項２５】
前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、
左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする請求項２４に記載の多視点ビデオ信号デコーディング方法。
【請求項２６】
１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階は、
前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする請求項２４に記載の多視点ビデオ信号デコーディング方法。
【請求項２７】
前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする請求項２６に記載の多視点ビデオ信号デコーディング方法。
【請求項２８】
少なくとも１つの隣ブロックを選択する段階は、
１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする請求項２４に記載の多視点ビデオ信号デコーディング方法。
【請求項２９】
複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償予測値を獲得する段階をさらに含むことを特徴とする請求項２８に記載の多視点ビデオ信号デコーディング方法。
【請求項３０】
前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする請求項２９に記載の多視点ビデオ信号デコーディング方法。
【請求項３１】
多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、
参照ピクチャに関する第１セグメントの照明補償予測値を獲得する段階と、
前記第１セグメントの照明補償予測値及び差分値を加算することによって前記第１セグメントの照明補償オフセット値を決定する段階と、
前記第１セグメントの照明補償を用いて前記ビットストリームをデコーディングする段階とを含み、
前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、
前記デコーディング段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とする多視点ビデオ信号デコーディング方法。
【請求項３２】
前記セグメントは、イメージブロックからなることを特徴とする請求項３１に記載の多視点ビデオ信号デコーディング方法。
【請求項３３】
前記第１セグメントの照明補償を用いる段階は、
隣ブロックの照明補償予測値及び差分値を加算することによって前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする請求項３２に記載の多視点ビデオ信号デコーディング方法。
【請求項３４】
１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする請求項３３に記載の多視点ビデオ信号デコーディング方法。
【請求項３５】
前記少なくとも１つの隣ブロックを選択する段階は、
左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする請求項３４に記載の多視点ビデオ信号デコーディング方法。
【請求項３６】
１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階は、
前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする請求項３４に記載の多視点ビデオ信号デコーディング方法。
【請求項３７】
前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする請求項３６に記載の多視点ビデオ信号デコーディング方法。
【請求項３８】
少なくとも１つの隣ブロックを選択する段階は、
１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする請求項３４に記載の多視点ビデオ信号デコーディング方法。
【請求項３９】
複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償を行うための予測値を獲得する段階をさらに含むことを特徴とする請求項３８に記載の多視点ビデオ信号デコーディング方法。
【請求項４０】
前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする請求項３９に記載の多視点ビデオ信号デコーディング方法。
【請求項４１】
多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、
第１セグメントと関連した参照ピクチャが隣セグメントと関連した参照ピクチャと同一であるか否かによって、前記第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて参照ピクチャに関する第１セグメントの照明補償予測値を獲得する段階とを含み、
前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含むことを特徴とする多視点ビデオ信号デコーディング方法。
【請求項４２】
前記セグメントは、イメージブロックからなることを特徴とする請求項４１に記載の多視点ビデオ信号デコーディング方法。
【請求項４３】
前記第１セグメントの照明補償を用いる段階は、
隣ブロックの照明補償予測値及び差分値を加算することによって前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする請求項４２に記載の多視点ビデオ信号デコーディング方法。
【請求項４４】
１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする請求項４３に記載の多視点ビデオ信号デコーディング方法。
【請求項４５】
前記少なくとも１つの隣ブロックを選択する段階は、
左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする請求項４４に記載の多視点ビデオ信号デコーディング方法。
【請求項４６】
１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階は、
前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする請求項４４に記載の多視点ビデオ信号デコーディング方法。
【請求項４７】
前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする請求項４６に記載の多視点ビデオ信号デコーディング方法。
【請求項４８】
少なくとも１つの隣ブロックを選択する段階は、
１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする請求項４４に記載の多視点ビデオ信号デコーディング方法。
【請求項４９】
複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償を行うための予測値を獲得する段階をさらに含むことを特徴とする請求項４８に記載の多視点ビデオ信号デコーディング方法。
【請求項５０】
前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする請求項４９に記載の多視点ビデオ信号デコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点ビデオの処理に関する。
【背景技術】
【０００２】
多視点ビデオコーディング（ＭＶＣ）では、複数台のカメラから取得されたビデオ映像（例えば、一連のイメージまたはピクチャ）に対する圧縮標準を扱う。前記ビデオ映像または視点は、ＭＰＥＧのような標準によってコーディングされることができる。ビデオ映像内のピクチャは、完全なビデオフレームまたはビデオフレームのフィールドを表すことができる。スライスは、前記ピクチャ内の一部または全部のマクロブロックを含むピクチャの独立的にコーディングされた部分でありうる。そして、マクロブロックは、ピクチャ要素（またはピクセル）で構成されたブロックを含むことができる。
【０００３】
これらのビデオ映像は、Ｈ．２６４／ＡＶＣコーデック技術によって多視点ビデオ映像にコーディングされることができる。そして、多くの研究員らが多視点ビデオ映像を提供するために標準の追加技術への研究を行っている。
【０００４】
現在Ｈ．２６４には、特定の機能を支援する３個のプロファイルが定義されているが、プロファイルとは、ビデオ符号化/復号化過程でアルゴリズム上用いられる技術的構成要素を規格化したものを意味する。すなわち、圧縮された映像のビット列を復号するために必要な技術要素の集合で、一種のサブ規格といえる。前記３個のプロファイルは、ベースラインプロファイル、メインプロファイル、拡張プロファイルを指し示す。デコーダがそれぞれのプロファイルと互換されるように、エンコーダとデコーダに要求される多様な事項がＨ．２６４標準で定義されている。
【０００５】
Ｈ．２６４／ＡＶＣにおけるビット列の構成を見ると、動映像符号化処理そのものを扱うＶＣＬ（ビデオ符号化階層）と符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ（ネットワーク抽象階層）との分離された階層構造で定義されている。符号化過程の出力は、ＶＣＬデータであって、転送したり保存する前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（動映像圧縮の結果データ）を含む。
【０００６】
ＮＡＬ単位は、ＮＡＬヘッダとＲＢＳＰを含む。前記ＮＡＬヘッダは、フラグ情報（例えば、ｎａｌ＿ｒｅｆ＿ｉｄｃ）と識別（ＩＤ）情報（例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含むことができる。前記フラグ情報は、前記ＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示し、前記識別情報はＮＡＬ単位の種類を示す。ＲＢＳＰには圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの最後にＲＢＳＰ埋め込みビットを加える。
【０００７】
このようなＮＡＬ単位の種類には、ＩＤＲ（瞬間復号リフラッシュ）ピクチャ、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、ＳＥＩ（補充的付加情報）などがある。
【０００８】
また、規格では、対象製品を適当な費用で具現可能なように様々なプロファイル及びレベルで制約しているが、復号器は該当のプロファイルとレベルで定められた制約を満たさなければならない。
【０００９】
このように復号器がどんな圧縮映像の範囲にまで対応可能かを示すように、復号器の機能またはパラメータを表すためのプロファイルとレベルという２種類の概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別情報とは、ビットストリームに関連したプロファイルを示すフラグを意味する。Ｈ．２６４／ＡＶＣ標準は、３つのプロファイル識別情報を含むことができる。例えば、前記プロファイル識別情報が６６であれば前記ビットストリームはベースラインプロファイルに基づくことを意味し、７７であればメインプロファイルに基づくことを意味し、８８であれば拡張プロファイルに基づくことを意味する。前記プロファイル識別情報はシーケンスパラメータセットに含まれることができる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、ブロック間または視点間の相関関係を用いてビデオ映像の符号化／復号化効率を高めることにある。
【００１１】
本発明の目的は、ビデオ映像データに效率的に符号化及び復号化を行う方法及び装置を提供することにある。
【００１２】
本発明の目的は、多視点映像に関する情報を規格化された方式で追加することによって符号化／復号化効率を高めることにある。
【００１３】
本発明の目的は、多視点映像に符号化されたデータを效率的に復号化する方法／装置及びこれを用いたディスプレイ方法を提供することにある。
【００１４】
本発明の目的は、多視点映像の符号化時に、予測順序及び方向を構造化することにおいて、多視点間の階層的符号化を行う方法を提供することにある。
【００１５】
本発明の目的は、多視点映像の復号化時に、ディスプレイに適合した階層的復号化方法を提供することにある。
【００１６】
本発明の目的は、多視点映像において、視点間の照明差を效率的に補償することにある。
【００１７】
本発明の目的は、一定階層に照明補償を適用するか否かを示す識別子を使用することによって、効率的な照明補償を行うことにある。
【００１８】
本発明の目的は、現在ブロックの照明補償を行うか否かを示す識別子とブロック間の平均画素値差を示すオフセット値を用いて照明補償を行うことによってビデオ信号のコーディング効率を高めることにある。
【００１９】
本発明の目的は、動き推定を行う時にブロック間の平均画素値差を示すオフセット値を考慮することによって、ビデオ信号のコーディング効率を高めることにある。
【課題を解決するための手段】
【００２０】
本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、前記多視点ビデオ信号の部分と関連したフラグ情報を前記ビットストリームから抽出する段階と、前記フラグ情報によって照明補償が行われる部分に対して、前記部分内のセグメントと関連した値を前記ビットストリームから抽出し、前記抽出された値から前記セグメントの照明補償が行われるか否かを決定する段階とを含み、前記複数個視点の各視点は複数個のセグメント（例えば、単一ブロックまたはマクロブロックのようなイメージブロックセグメント、またはイメージのスライスのようなセグメント）で区分された複数個のピクチャを含み、前記フラグ情報は、前記多視点ビデオ信号の部分内のセグメントに対して照明補償が行われるか否かを示すことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
【００２１】
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
【００２２】
本発明で、前記セグメントは、イメージブロックからなることを特徴とする。
【００２３】
本発明は、照明補償が行われることを示す値と関連した第１ブロックに対して、前記第１ブロックに隣接した少なくとも１つの隣ブロックの照明補償オフセット値を用いて、前記第１ブロックの照明補償予測値を獲得する段階をさらに含むことを特徴とする。
【００２４】
本発明で、隣ブロックの照明補償オフセット値は、前記隣ブロックの照明補償予測値及び差分値を加算することによって獲得されることを特徴とする。
【００２５】
本発明で、前記第１ブロックに隣接した少なくとも１つの隣ブロックの照明補償オフセット値を用いて前記第１ブロックの照明補償予測値を獲得する段階は、前記隣ブロックのうち、定められた順序によって前記少なくとも１つの隣ブロックを選択する段階を含むことを特徴とする。
【００２６】
本発明で、前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
【００２７】
本発明で、前記フラグ情報は、前記ブロックを含むシーケンス、視点、ピクチャのグループ、ピクチャ及びスライスのうち１つ以上に対して照明補償を可能にすることを特徴とする。
【００２８】
本発明で、前記フラグ情報は、前記ブロックを含む前記スライスに対して照明補償を可能にすることを特徴とする。
【００２９】
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
【００３０】
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報からなることを特徴とする。
【００３１】
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて、前記第１セグメントの照明補償予測値を獲得する段階と、を含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記予測値を獲得する段階は、前記隣セグメントのうち、定められた順序によって前記少なくとも１つの隣セグメントを選択する段階を含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
【００３２】
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
【００３３】
本発明で、前記第１セグメントと前記少なくとも１つの隣セグメントは、イメージブロックからなることを特徴とする。
【００３４】
本発明で、隣ブロックの照明補償オフセット値は、前記隣ブロックの照明補償予測値及び差分値を加算することによって獲得されることを特徴とする。
【００３５】
本発明で、前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
【００３６】
本発明で、前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
【００３７】
本発明で、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
【００３８】
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
【００３９】
本発明で、前記照明補償予測値を獲得する段階は、１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする。
【００４０】
本発明で、複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償予測値を獲得する段階をさらに含むことを特徴とする。
【００４１】
本発明で、前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする。
【００４２】
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、参照ピクチャに関する第１セグメントの照明補償オフセット値を獲得する段階と、前記第１セグメントの照明補償を用いて前記ビットストリームをデコーディングする段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記オフセット値は隣セグメントと関連した特性に基づいて決定された少なくとも１つの隣セグメントの照明補償オフセット値を用いて予測され、前記デコーディング段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
【００４３】
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
【００４４】
本発明で、前記第１セグメントと前記少なくとも１つの隣セグメントは、イメージブロックからなることを特徴とする。
【００４５】
本発明で、隣ブロックの照明補償オフセット値は、前記隣ブロックの照明補償予測値及び差分値を加算することによって獲得されることを特徴とする。
【００４６】
本発明は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
【００４７】
本発明で、前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする。
【００４８】
本発明で、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
【００４９】
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
【００５０】
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする。
【００５１】
本発明で、複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償予測値を獲得する段階をさらに含むことを特徴とする。
【００５２】
本発明で、前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする。
【００５３】
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、参照ピクチャに関する第１セグメントの照明補償予測値を獲得する段階と、前記第１セグメントの照明補償予測値及び差分値を加算することによって前記第１セグメントの照明補償オフセット値を決定する段階と、前記第１セグメントの照明補償を用いて前記ビットストリームをデコーディングする段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記デコーディング段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
【００５４】
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
【００５５】
本発明で、前記セグメントは、イメージブロックからなることを特徴とする。
【００５６】
本発明で、前記第１セグメントの照明補償を用いる段階は、隣ブロックの照明補償予測値及び差分値を加算することによって前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする。
【００５７】
本発明で、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
【００５８】
本発明で、前記少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
【００５９】
本発明で、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
【００６０】
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
【００６１】
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする。
【００６２】
本発明で、複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償を行うための予測値を獲得する段階をさらに含むことを特徴とする。
【００６３】
本発明で、前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする。
【００６４】
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、第１セグメントと関連した参照ピクチャが隣セグメントと関連した参照ピクチャと同一であるか否かによって、前記第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて参照ピクチャに関する第１セグメントの照明補償予測値を獲得する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
【００６５】
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
【００６６】
本発明で、前記セグメントは、イメージブロックからなることを特徴とする。
【００６７】
本発明で、前記第１セグメントの照明補償を用いる段階は、隣ブロックの照明補償予測値及び差分値を加算することによって前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする。
【００６８】
本発明は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
【００６９】
本発明で、前記少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
【００７０】
本発明で、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
【００７１】
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
【００７２】
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする。
【００７３】
本発明で、複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償を行うための予測値を獲得する段階をさらに含むことを特徴とする。
【００７４】
本発明で、前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする。
【００７５】
また、本発明は、それぞれのデコーディング方法に対して、前記それぞれのデコーディング方法によって前記ビデオ信号がデコーディングされうるビットストリームを生成することを特徴とするビデオ信号エンコーディング方法を提供する。
【００７６】
例えば、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、前記多視点ビデオ信号の部分と関連したフラグ情報を提供する段階と、前記フラグ情報によって照明補償が行われる部分に対して、前記部分内のセグメントと関連した値を提供し、前記提供された値から前記セグメントの照明補償が行われるか否かを決定する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記フラグ情報は、前記多視点ビデオ信号の部分内のセグメントに対して照明補償が行われるか否かを示すことを特徴とするビデオ信号エンコーディング方法を提供する。
【００７７】
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて、前記第１セグメントの照明補償予測値を提供する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記予測値を提供する段階は、前記隣セグメントのうち、定められた順序によって前記少なくとも１つの隣セグメントを選択する段階を含むことを特徴とするビデオ信号エンコーディング方法を提供する。
【００７８】
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、参照ピクチャに関する第１セグメントの照明補償オフセット値を提供する段階と、前記第１セグメントの照明補償のための情報を提供する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記オフセット値は、隣セグメントと関連した特性に基づいて決定された少なくとも１つの隣セグメントの照明補償オフセット値を用いて予測され、前記情報提供段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とするビデオ信号エンコーディング方法を提供する。
【００７９】
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、参照ピクチャに関する第１セグメントの照明補償予測値を提供する段階と、前記第１セグメントの照明補償予測値及び差分値を加算することによって前記第１セグメントの照明補償オフセット値を提供する段階と、前記第１セグメントの照明補償のための情報を提供する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記情報提供段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とするビデオ信号エンコーディング方法を提供する。
【００８０】
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、第１セグメントと関連した参照ピクチャが、隣セグメントと関連した参照ピクチャと同一であるか否かによって、前記第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて参照ピクチャに関する第１セグメントの照明補償予測値を提供する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含むことを特徴とするビデオ信号エンコーディング方法を提供する。
【００８１】
また、それぞれのデコーディング方法に対して、コンピュータで読取り可能な媒体に保存されたコンピュータプログラムは、前記それぞれのデコーディング方法を行うようにコンピュータに指示することを特徴とする。
【００８２】
また、それぞれのデコーディング方法に対して、装置で読取り可能な情報運送体に含まれたイメージデータは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができる。
【００８３】
また、それぞれのデコーディング方法に対して、デコーダは、前記それぞれのデコーディング方法を行うための手段を含むことを特徴とする。
【００８４】
また、それぞれのデコーディング方法に対して、エンコーダは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができるようにビットストリームを生成する手段を含むことを特徴とする。
【００８５】
また、本発明は、（ａ）現在ブロックに隣接したブロックと他の視点の参照映像ブロックのうち少なくとも１つのブロックに対する照明平均値を獲得する段階と、（ｂ）前記獲得された少なくとも１つのブロックに対する照明平均値から、現在ブロックの照明平均予測値を誘導する段階と、（ｃ）前記現在ブロックの照明平均予測値と現在ブロックの照明平均値間の誤差値を獲得する段階とからなることを特徴とするビデオ映像エンコーディング方法を提供する。
【００８６】
また、本発明は、（ｌ）ビデオ信号から現在ブロックの照明平均値を復元するための誤差値を獲得する段階と、（ｍ）他の視点の参照映像ブロックに基づいて現在ブロックの照明平均予測値を誘導する段階と、（ｎ）前記照明平均予測値と誤差値から前記現在ブロックの照明平均値を復元する段階とを含んでなることを特徴とするビデオ映像デコーディング方法を提供する。
【００８７】
また、本発明は、現在ブロックに隣接したブロックと他の視点の参照映像ブロックの照明平均値を獲得する照明平均値獲得部と、前記獲得された平均値から前記現在ブロックの照明平均予測値を誘導する照明平均値予測部と、前記照明平均予測値と現在ブロックの照明平均値との誤差値を求める誤差値符号化部とを含んでなることを特徴とするビデオ映像エンコーディング装置を提供する。
【００８８】
また、本発明は、受信されたビットストリームから誤差値を獲得する誤差値復号化部と、他の視点の参照映像ブロックに基づいて現在ブロックの照明平均予測値を誘導する照明平均値予測部と、前記誤差値と照明平均予測値から現在ブロックの照明平均値を復元する照明補償部とを含んでなることを特徴とするビデオ映像デコーディング装置を提供する。
【００８９】
また、本発明は、現在ブロックに隣接する隣ブロックのオフセット値を用いて前記現在ブロックの照明補償のためのプレディクタを獲得する段階と、前記プレディクタを用いて前記現在ブロックのオフセット値を復元する段階と、を含み、前記プレディクタは、現在ブロックの参照番号と前記隣ブロックの参照番号が同一であるか否かによって決定されることを特徴とするビデオ信号デコーディング方法を提供する。
【００９０】
また、本発明は、現在ブロックの照明平均値と参照ブロックの照明平均値の差を示す現在ブロックのオフセット値を復元する段階と、前記現在ブロックが２以上の参照ブロックを用いて予測コーディングされた場合、前記オフセット値を用いて前記現在ブロックの各参照ブロックに対するオフセット値を獲得する段階とを含むことを特徴とするビデオ信号デコーディング方法を提供する。
【００９１】
また、本発明は、現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得する段階と、前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元する段階とを含むことを特徴とするビデオ信号デコーディング方法を提供する。
【００９２】
また、本発明は、ビデオ信号の一定階層に対して照明補償を行うように誘導するフラグ情報を獲得する段階と、前記フラグ情報によって、照明補償が行われた前記ビデオ信号の一定階層をデコーディングする段階と、を含み、前記ビデオ信号の一定階層は、シーケンス階層、視点階層、ピクチャグループ階層、ピクチャ階層、スライス階層、マクロブロック階層またはブロック階層のうちいずれか１つであることを特徴とするビデオ信号デコーディング方法を提供する。
【００９３】
また、本発明は、現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を獲得する段階と、前記オフセット値を用いて現在ブロックと最適にマッチングされる参照ブロックをサーチする段階と、前記サーチされた参照ブロックから動きベクトルを獲得して符号化する段階とを含むことを特徴とするビデオ信号エンコーディング方法を提供する。
【００９４】
以上の実施例は、１つ以上の下記のような利点を有することができる。
【００９５】
前記ビデオ映像のエンコーディング／デコーディング方法または装置は、符号化しようとするブロックの平均値を周辺ブロックから予測し、その差分値のみを送る方式を用いることによって、照明補償のために転送しなければならない情報を最小化することができる。
【００９６】
また、本発明は、膨大なデータ量を必要とする多視点ビデオ映像において効率的な照明補償を行うことによって、符号化効率を高めることができる。また、ブロック間または視点間の相関関係を用いることによって効率的な符号化及び復号化システムを構成することが可能になる。
【００９７】
多視点ビデオデータの視点映像は互いに異なるカメラにより生成されるので、カメラの内外的要因によって照明差が発生することがある。したがって、本発明では、現在ブロックのオフセット値を隣ブロックの情報を用いて予測し、その差分値のみを転送することによって、照明補償のために転送しなければならない情報を最小化することができる。また、前記現在ブロックのオフセット値を予測する時、現在ブロックと隣ブロックの参照番号が同一であるか否かを確認することによってより正確な予測を行うことが可能になる。
【００９８】
また、本発明は、現在ブロックの照明補償を行うか否かを示すフラグ情報も予測し、その差分値のみを転送することによって、転送すべき情報を最小化することができる。同様に、現在ブロックと隣ブロックの参照番号が同一であるか否かも確認することによって、より正確な予測を行うことが可能になる。このような本発明によれば、ブロック間または視点間の相関関係を用いることによって効率的なコーディングが可能になる。
【００９９】
多視点ビデオデータの視点映像は、互いに異なるカメラにより生成されるので、カメラの内外的要因によって照明差が発生することがある。したがって、本発明では、現在ブロックのオフセット値を隣ブロックの情報を用いて予測し、その差分値のみを転送することによって、照明補償のために転送しなければならない情報を最小化することができる。本発明は、現在ブロックの照明補償を行うか否かを示すフラグ情報も予測し、その差分値のみを転送することによって、転送すべき情報を最小化することができる。
【０１００】
また、２つ以上の参照ブロックを用いて予測コーディングされた場合、オフセット値とフラグ情報をそれぞれ少なくとも１つ以上の方法で適用することによって、より効率的なコーディングが可能になる。また、ビデオ信号の各領域範囲別に照明補償技術を使用するか否かを示すフラグビットを割り当てることによって、效果的に照明補償技術を使用することができる。また、本発明は、動き推定を行う過程で照明差を反映して費用計算をするので、より正確な予測コーディングを行うことが可能になる。
【０１０１】
他の特徴と利点は、発明の詳細な説明と特許請求の範囲からより明白になる。
【発明を実施するための最良の形態】
【０１０２】
多視点映像を效率的に扱うために、入力ビットストリームは、入力ビットストリームが多視点プロファイルに関連しているか否かをデコーディング装置が判別できるようにする情報を含むことができる。前記入力ビットストリームが多視点プロファイルと関連していると判別されると、多視点映像に関する１つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、多視点プロファイル識別情報とは、Ｈ．２６４／ＡＶＣの追加技術で、多視点ビデオを扱うプロファイルモードを示すことができる。
【０１０３】
ＭＶＣ技術はＨ．２６４／ＡＶＣ技術に対する追加技術であるから、無条件的なシンタックスよりは、ＭＶＣモードである場合に対する追加情報としてシンタックスを追加することがより効率的となりうる。例えば、ＡＶＣのプロファイル識別子が多視点プロファイルを示す時、多視点映像に関する情報を追加すると符号化効率を高めることができる。
【０１０４】
シーケンスパラメータセットとは、プロファイル、レベルなど、シーケンス全体の符号化に亘る情報が含まれているヘッダ情報のことをいう。
【０１０５】
圧縮された動映像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、該パラメータセットを参照するデータよりも先に復号器に到着すべきである。シーケンスパラメータセットＲＢＳＰ（図２のＳ１）は、動映像圧縮の結果データに関するヘッダ情報としての役割を果たす。ビットストリームが入力されると、まず、プロファイル識別子は、入力されたビットストリームが複数個のプロファイルのうちどのプロファイルに基づくかを識別することとなる。
【０１０６】
したがって、入力されるビットストリームが多視点プロファイルに関するものかを判断する（例えば、“If（profile_idc==MULTI_VIEW_PROFILE）”）プロファイル識別情報をシンタックス上に含めることによって、入力されたビットストリームが多視点プロファイルに関するものか否かを判別し、多視点プロファイルに関するものと認められる場合に様々な属性情報を追加可能になる。
【０１０７】
図１は、本発明が適用される実施例であり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置を示す概略ブロック図である。
【０１０８】
この多視点ビデオシステムは、前記多視点ビデオ映像を提供するために、対応するエンコーディング装置（エンコーダ）を含むことができる。この時、前記多視点ビデオ映像は、装置で読取り可能な情報の搬送体（例えば、装置で読取り可能な保存媒体、または、送信機と受信機間で伝播される装置で読取り可能なエネルギー信号）に含まれたエンコーディングされたイメージデータを含むビットストリームとして提供されることができる。
【０１０９】
図１を参照すると、前記デコーディング装置は、大きく、パーシング部１０、エントロピーデコーディング部１１、逆量子化／逆変換部１２、画面間予測部１３、画面内予測部１４、デブロッキングフィルタ部１５、復号ピクチャバッファ部１６などを含む。
【０１１０】
画面間予測部１３は、動き補償部１７、照明補償部１８、照明補償オフセット予測部１９などを含む。
【０１１１】
パーシング部１０では、受信したビデオ映像を復号するためにＮＡＬ単位にパーシングを行う。一般的に、１つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットとが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに転送される。この時、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には様々な属性情報を含ませることができる。例えば、時間的レベル情報、視点レベル情報、アンカーピクチャ識別情報、視点識別情報などを含ませることができる。
【０１１２】
ここで、時間的レベル情報とは、ビデオ信号から時間的拡張性を提供するための階層的な構造に関する情報のことをいう。このような時間的レベル情報を通じて使用者に多様な時間帯の映像を提供できることになる。
【０１１３】
視点レベル情報とは、ビデオ信号から視点拡張性を提供するための階層的な構造に関する情報のことをいう。多視点ビデオ映像では、使用者に多様な時間及び視点の映像を提供するようにするために時間及び視点に対するレベルを定義する必要がある。
【０１１４】
このようにレベル情報を定義する場合、時間及び視点に対する拡張性を利用できるようになる。したがって、使用者は、所望の時間及び視点の映像のみを見ることもでき、他の制限条件による映像のみを見ることが可能になる。前記レベル情報は、その基準条件によって多様な方法でそれぞれ別に設定することができる。例えば、前記レベル情報は、カメラの位置によって別々に設定することができ、カメラの配列形態によって別々に設定することができる。なお、前記レベル情報は、特別な基準によらずに任意に設定しても良い。
【０１１５】
アンカーピクチャとは、全てのスライスが同一時間帯のフレームに在るスライスのみを参照する符号化されたピクチャのことを意味する。例えば、他の視点に在るスライスのみを参照し、現在視点に在るスライスは参照しない符号化されたピクチャのことをいう。多視点映像の復号化過程において、視点間のランダムアクセスが必要な場合がありうる。
【０１１６】
復号化努力を最小化しながら任意視点に対するアクセスを可能にすべきである。ここで効率的なランダムアクセスを実現するためにアンカーピクチャ識別情報が必要とされることがある。
【０１１７】
また、視点識別情報とは、現在視点に在るピクチャと他の視点に在るピクチャを区別するための情報のことをいう。ビデオ映像信号がコーディングされる時、それぞれのピクチャを識別するためにピクチャオーダカウント（ＰＯＣ）とｆｒａｍｅ＿ｎｕｍが利用されることができる。
【０１１８】
多視点ビデオ映像である場合には、視点間の予測が行われることができる。したがって、現在視点に在るピクチャと他の視点に在るピクチャを区別するために識別子が利用される。
【０１１９】
ピクチャの視点を示す視点識別子が定義されることができる。前記視点識別子を用いて現在ピクチャと他の視点に在るピクチャの情報を獲得し、前記他の視点に在るピクチャの情報を用いて前記ビデオ信号をデコーディングすることができる。このような視点識別子は、ビデオ信号のエンコーディング／デコーディング過程全般にわたって適用されることができる。また、特定の視点識別子ではなく視点が考慮されたｆｒａｍｅ＿ｎｕｍを用いて多視点ビデオコーディングにそのまま適用しても良い。
【０１２０】
一般的に多視点映像のデータ量は膨大であり、よって、これを解決するために各視点の階層的符号化（これは、ビュースケーラビリティとも呼ばれる。）機能が必要となることができる。ビュースケーラビリティ機能を行うために多視点映像の視点を考慮した予測構造を定義することができる。
【０１２１】
前記予測構造は、複数の視点映像に対して予測順序及び方向などを構造化することによって定義されることができる。例えば、符号化しようとする様々な視点の映像が与えられる時、全体配列の中央を基準視点と定め、次第に階層的に符号化しようとする視点の映像を選択することができる。または、全体配列の終わり部分やその他の部分を基準視点と定めても良い。
【０１２２】
カメラ視点の個数が２の指数乗の場合には、これを基準にして各視点映像間の階層的な予測構造を形成しても良い。または、カメラ視点の個数が２の指数乗でない場合には、実際個数よりも大きいながら最も小さい２の指数乗の場合を基準にして仮想の視点を想定し、予測構造を形成しても良い。また、カメラ配列が２次元の場合には、水平、垂直方向に交互に予測順序を定めることができる。
【０１２３】
パーシングされたビットストリームは、エントロピーデコーディング部１１を通じてエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部／逆変換部１２では、受信した量子化された値に一定の定数を乗算して変換された係数値を獲得し、該係数値を逆変換して画素値を復元することとなる。前記復元された画素値を用いて、画面内予測部１４では現在ピクチャ内のデコーディングされたサンプルから画面内予測を行う。
【０１２４】
デブロッキングフィルタ部１５は、ブロック歪み現象を減少させるためにそれぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界強さと境界周囲のイメージサンプルの変化に左右される。フィルタリングを経たピクチャは出力されたり参照ピクチャとして用いるために復号ピクチャバッファ部１６に保存される。
【０１２５】
復号ピクチャバッファ部１６では、画面間予測を行うべく、以前にコーディングされたピクチャを保存したり開放するなどの役割を果たす。この時、復号ピクチャバッファ部１６に保存したり開放するには、各ピクチャのｆｒａｍｅ＿ｎｕｍとＰＯＣが用いられることとなる。したがって、ＭＶＣにおいて前記以前にコーディングされたピクチャの中には現在ピクチャと異なる視点に在るピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、前記ｆｒａｍｅ＿ｎｕｍとＰＯＣだけでなく、ピクチャの視点を示す視点識別子も一緒に用いることができる。
【０１２６】
画面間予測部１３では、復号ピクチャバッファ部１６に保存された参照ピクチャを用いて画面間予測を行う。インターコーディングされたマクロブロックは、マクロブロックパーティションに分けられることができ、各マクロブロックパーティションは１つまたは２つの参照ピクチャから予測されることができる。
【０１２７】
動き補償部１７では、エントロピーデコーディング部１１から転送された情報を用いて現在ブロックの動きを補償する。ビデオ信号から現在ブロックに隣接するブロックの動きベクトルを抽出し、前記現在ブロックの動きベクトルプレディクタを獲得する。前記獲得された動きベクトルプレディクタとビデオ信号から抽出される差分ベクトルを用いて現在ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われても良く、複数のピクチャを用いて行われても良い。
【０１２８】
したがって、前記参照ピクチャが現在視点と異なる視点に在るピクチャである場合には、その視点を示す視点識別子を用いて動き補償を行うことができる。
また、直接予測モードは、符号化の終わったブロックの動き情報から現在ブロックの動き情報を予測する符号化モードである。このような方法は、動き情報を符号化する時に必要なビット数が軽減され、圧縮効率が向上する。
【０１２９】
例えば、時間直接予測モードは、時間方向の動き情報相関度を用いて現在ブロックの動き情報を予測する。この方法と略同様に、前記デコーダは視点方向の動き情報相関度を用いて現在ブロックの動き情報を予測できる。
【０１３０】
また、入力されたビットストリームが多視点映像に該当する場合、各視点映像は、それぞれ異なるカメラから取得された映像であるので、カメラの内外的要因によって照明差が発生することになる。これを防止するために、照明補償部１８では照明補償を行う。
【０１３１】
照明補償を行うことにおいて、ビデオ信号の一定階層に対する照明補償を行うか否かを示すフラグ情報を用いることができる。例えば、該当スライスまたは該当マクロブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行うことができる。また、前記フラグ情報を用いて照明補償を行うにおいて、様々なマクロブロックのタイプ（例えば、インター１６×１６モード、Ｂ−Ｓｋｉｐモードまたは直接予測モード等）に適用されることができる。
【０１３２】
また、照明補償を行うにおいて、現在ブロックを復元するために周辺ブロックの情報または現在ブロックと異なる視点に在るブロックの情報を用いることができ、現在ブロックのオフセット値を用いることができる。ここで、現在ブロックのオフセット値とは、現在ブロックの平均画素値とそれに対応する参照ブロックの平均画素値間の差のことをいう。前記オフセット値を用いる一例として、前記現在ブロックの隣ブロックを用いて前記現在ブロックのオフセット値のプレディクタを獲得し、前記オフセット値と前記プレディクタとの差分値を用いることができる。したがって、デコーダでは、前記差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。
【０１３３】
また、現在ブロックのプレディクタを獲得するにおいて、隣ブロックの情報を用いることができる。
【０１３４】
例えば、隣ブロックのオフセット値を用いて現在ブロックのオフセット値を予測できるが、これに先立って前記現在ブロックの参照番号と前記隣ブロックの参照番号が同一であるか否かを確認することができる。前記確認結果によって、前記照明補償部１８はどんな隣ブロックを用いるのか、またはどんな値を用いるかを決定できる。
【０１３５】
また、前記照明補償部１８は、現在ブロックのプレディクションタイプを用いて照明補償を行うことができ、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、現在ブロックのオフセット値を用いて各参照ブロックに対応するオフセット値を獲得しても良い。
【０１３６】
このように照明補償、動き補償などを用いてインター予測されたピクチャとイントラ予測されたピクチャは予測モードによって選択され、現在ピクチャを復元することになる。
【０１３７】
以下では、現在ピクチャを復元するために適用されるエンコーディング／デコーディング方法の具体的な実施例について説明する。
【０１３８】
図２は、本発明が適用された一実施例であり、ビデオ映像符号化方法を説明するためのフローチャートである。
【０１３９】
図２を参照すると、ビデオ映像符号化方法の一実施例として、現在ブロックに隣接したブロックと他の視点の参照映像ブロックのうち少なくとも１つのブロックに対する照明平均値を獲得する（Ｓ１３１）。前記獲得された値を以って複数個のモードのうち１つ以上のモードを用いて現在ブロックの照明平均予測値を誘導する（Ｓ１３２）。そして、前記現在ブロックの照明平均予測値と照明平均値との誤差値を獲得する（Ｓ１３３）。前記複数個のモードに対してそれぞれの符号化効率を測定し、最適のモードを選択する（Ｓ１３４）。前記最適のモードを選択する方法の一実施例としては、前記獲得された誤差値のうち、誤差値が最小となるモードを選択する方法、または、情報速度‐歪み（ＲＤ）関係式を用いる方法などを挙げることができる。
【０１４０】
ここで、ＲＤ関係式は、該当のブロックを符号化する時に生じる符号化ビット数だけでなく実際映像に関する誤差値を示す歪み値を見分け、これら２成分を用いて費用を計算する。具体的に、ビット数に、量子化係数により決定されるラグランジュ乗数を乗じ、歪み値を加えて求めることができる。前記最適のモードが選択された後には、前記選択されたモードを示す識別情報のみを符号化して転送したり、前記選択されたモードを示す識別情報と一緒に前記選択されたモードによって獲得された誤差値も符号化して転送することができる（Ｓ１３５）。
【０１４１】
図３は、本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を説明するためのブロック構成図である。
【０１４２】
図３を参照すると、Ｂcブロックピクセル値の平均値をＭc、Ｂr,1の平均値をＭr,1とし、残りのブロックの平均値も前記ブロック表示法に準して表現する。周辺情報を用いる方法によってＭc情報を予測する方法が多様である。説明のために、Ｂcブロックを符号化するときに、参照映像＃１が候補参照映像となる場合を考える。
【０１４３】
周辺情報を用いる方法によってＭc情報を予測する方法の一実施例として、現在ブロックに対応する他の視点の参照映像ブロックの照明平均値から予測する第１のモード方法（Ｍｏｄｅ１）を挙げることができる。すなわち、（Ｍｏｄｅ１）は、参照映像＃１のブロックＢr,1の平均値を用いてＭc情報を予測する場合である。誤差値は、下記の数式１で示される。
【０１４４】
【数１】
2009523355.tif 000003
【０１４５】
他の実施例として、現在ブロックとこれに対応する他の視点の参照映像ブロックの照明平均値との差を、現在ブロックと参照映像ブロックのそれぞれ隣接したブロック間の照明平均値差から予測する第２のモード方法（Ｍｏｄｅ２）を挙げることができる。すなわち、（Ｍｏｄｅ２）は、参照映像１のブロックＢr,lの照明平均値との差を、隣接したブロック（Ｂlc,Ｂlr,l）間の照明平均値差で予測する場合である。誤差値は下記の数式２で示される。
【０１４６】
【数２】
2009523355.tif 000004
【０１４７】
さらに他の実施例として、現在ブロックに隣接したブロックの照明平均値と現在ブロックに対応する他の視点の参照映像ブロックの照明平均値との差から予測する第３のモード方法（Ｍｏｄｅ３）を挙げることができる。すなわち、（Ｍｏｄｅ３）は、隣接したブロックＢlcの照明平均値と参照映像＃１のブロックＢr,lの照明平均値との差からＭc情報を予測する場合である。誤差値は、下記の数式３で示される。
【０１４８】
【数３】
2009523355.tif 000005
【０１４９】
さらに他の実施例として、現在ブロックに隣接したブロックが他の視点の参照映像ブロックの隣接したブロックから符号化された場合、現在ブロックに隣接したブロックの照明平均値予測差から予測する第４のモード方法（Ｍｏｄｅ４）を挙げることができる。すなわち、ブロックＢlcが既に参照映像＃２のブロックＢlr,2を参照して符号化された場合、現在ブロックＢcの照明平均値と該現在ブロックに該当する参照ブロックＢr,lとの誤差値は、現在ブロックの隣ブロックＢ1cの照明平均値と他の視点参照ブロックの隣ブロックＢlr,2の照明平均値との誤差値から予測されることができる。誤差値は、下記の数式４で示される。
【０１５０】
【数４】
2009523355.tif 000006
【０１５１】
前述のＭｏｄｅ２、Ｍｏｄｅ３、Ｍｏｄｅ４の方法で隣接したブロック情報を用いるとき、真上の１つのブロックの情報のみを用いる場合としたが、一般的に現在ブロックを囲んでる様々な隣の情報を組み合わせわせて活用することができる。
【０１５２】
図４は、本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を一般化して説明するためのブロック構成図である。
【０１５３】
図４では、現在ブロックと境界線を共有する既に符号化されたブロック、そして参照ブロックと境界線を共有するブロックを示す。この時、Ｍｏｄｅ２、Ｍｏｄｅ３、Ｍｏｄｅ４方法の式はそれぞれ、下記の数式５のように一般化することができる。
【０１５４】
【数５】
2009523355.tif 000007
【０１５５】
Ｍｏｄｅ４の一般化した式で、ｍir,kは、Ｂicブロックの参照ブロックが参照フレーム＃ｋに在る時、このブロックの照明平均値を表す。
【０１５６】
上記の式５でｗiは、加重値になり、予測に用いる隣接したブロックは、上記のように境界線を共有するものに限定されることはなく、前記隣の隣も含まれることができ、またその一部のみを用いても良い。これはｗiで調節できる。このようにして求めた誤差値（ｅ）は量子化した後、エントロピー符号化して転送する。
【０１５７】
上述のモードＭｏｄｅ１，Ｍｏｄｅ２，Ｍｏｄｅ３，Ｍｏｄｅ４の参照フレームの決定は、実際ビットストリーム段階まで計算してみた後、情報速度と歪みの側面で最適なものを選ぶ。この最適のモードを選択する方法の一実施例として、前記獲得された誤差値のうち、誤差値が最小となるモードを選択する方法、または、ＲＤ関係式を用いる方法などを挙げることができる。
【０１５８】
前記ＲＤ関係式を用いる方法は、実際に各モードに対して実際ビットストリームまで計算する段階を全て行った後、情報速度と歪みの側面で最適なモードを選択する。既存の方式と違う点は、ブロック差分値を計算する時、現在ブロック及び参照ブロックから各ブロックの平均値を除算した値からその差値を計算するという点である。すなわち、下記の数式６のようにして求める。
【０１５９】
【数６】
2009523355.tif 000008
【０１６０】
ここで、△ｘ△ｙは、変移ベクトルを表し、Ｉは、照明値を表す。〔ｍc〕は、周辺情報を通じて予測した値と、誤差値を量子化した後に復元し、該復元された値を加算して求めた値で、エンコーダとデコーダで同じ値を得るためのものである。ｍrは、参照ブロックの照明平均値であって、復号された映像であるからエンコーダとデコーダで同じ値となる。そして、実際適用では、時間領域で参照ブロックを探した後、視空間領域で最適のものを探すことになる。したがって、照明補償を適用するか否かを示す識別情報もまた各フレームと各ブロックに対して「０」または「１」と指定され、これにもエントロピー符号化が適用される。
【０１６１】
前記最適のモードが選択された後には、前記選択されたモードのみを符号化して転送することができる。また、前記選択されたモードと一緒に、前記選択されたモードによって獲得された誤差値も符号化して転送することができる。選択されたモード情報はインデックスで表現され、この情報も同様に、隣モード情報から予測することができ、現在選択されたモードのインデックスと予測されたモードのインデックス値との誤差値も符号化して転送することができる。
【０１６２】
上記のモードを全て考慮しても良く、一部を選択したり、これらモードから１つのみを選択して適用しても良い。可能な全ての場合のうち、単一方法のみを使用する場合にはモードインデックスを別に符号化しなくても良い。
【０１６３】
本発明を適用した他の実施例として、照明平均値の獲得及び照明平均予測値を誘導する場合に、参照映像と符号化しようとする映像の符号化している現在ブロックに対して、既に復号化されたピクセル値を用いることができる。
【０１６４】
基本的に、現在ブロックの照明平均値を予測する時、左側と上端のピクセルの既に復号化された値を用いる。実際のビデオ映像を符号化する時、ビデオ映像は、マクロブロックを基準にして符号化される。そして、１６×１６サイズのマクロブロックは、映像の複雑度によって、１６×８、８×１６、８×８に細分化して符号化しても良く、それぞれの８×８ブロックは再び同じ方式で８×４、４×８、４×４ブロックに細分化することができる。それぞれの場合に１つのマクロブロックを基準にして各位置に在る小さいブロックの照明平均値を予測する方法は様々である。
【０１６５】
図５は、本発明を適用した実施例であり、照明平均値の獲得及び照明平均予測値を誘導する場合に、ブロックの左側と上端に在るピクセルの既に復号化された値を用いることを説明するための１６×１６マクロブロックを示す。
【０１６６】
図５を参照すると、１６×１６マクロブロックは、上端、左側に在る全てのピクセル値を用いることができる。したがって、現在ブロックの照明平均値を予測する時、前記ブロックの上端、左側に在る全てのピクセル（ｖ１〜ｖ１６、ｈ１〜ｈ１６）の照明平均値を計算し、これから現在ブロックの照明平均値を予測することができる。この場合、Ｂ１６×１６ブロックの照明平均値は、下記の数式７で示される。
【０１６７】
【数７】
2009523355.tif 000009
【０１６８】
図６Ａ及び図６Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックをめぐるピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す。
【０１６９】
図６Ａの場合、すなわち、前記分割されたブロックを囲むピクセル全部を用いる場合、Ｂ１６×８＿０及びＢ１６×８＿１ブロックの平均値は、下記の数式８で示される。
【０１７０】
【数８】
2009523355.tif 000010
【０１７１】
図６Ｂの場合、すなわち、前記分割されたブロックを囲むピクセルのみを用いる場合、Ｂ１６×８＿０及びＢ１６×８＿１ブロックの照明平均値はそれぞれ、下記の数式９，１０で示される。
【０１７２】
【数９】
2009523355.tif 000011
【０１７３】
【数１０】
2009523355.tif 000012
【０１７４】
また、上記の図６Ａ及び図６Ｂの場合において、マクロブロックのコーナーに位置しているｈ0も含めて計算しても良い。この場合、図６Ａ及び図６Ｂ場合のＢ１６×８＿０照明平均値はそれぞれ、下記の数式１１，１２で示される。
【０１７５】
【数１１】
2009523355.tif 000013
【０１７６】
【数１２】
2009523355.tif 000014
【０１７７】
また、上記の図６Ａ及び図６Ｂの場合において、マクロブロックのコーナーに在るｈ0とｖ8も含めて計算することができる。この場合、上記の図６Ａ及び図６Ｂ場合のＢ１６×８＿１照明平均値はそれぞれ、下記の数式１３，１４で示される。
【０１７８】
【数１３】
2009523355.tif 000015
【０１７９】
【数１４】
2009523355.tif 000016
【０１８０】
図７Ａ及び図７Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す。分割された各ブロックの照明平均値を求める方法は、上記の図６Ａ及び図６Ｂにおける方法と同じである。
【０１８１】
図８Ａ及び図８Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す。分割された各ブロックの照明平均値を求める方法は、上記の図６Ａ及び図６Ｂにおける方法と同じである。
【０１８２】
上記の方法と同様に、８×８ブロックはより細部ブロックに分割することができ、同じ方法を適用することができる。
【０１８３】
上記のような方式で符号化しようとする映像の現在ブロックと参照映像における該当ブロックピクセルの照明平均値を予測し、それぞれ＜ｍc＞，＜ｍr＞という。
【０１８４】
各ブロック内の全てのピクセルに対してそれぞれの照明平均予測値を減算した後に、２ブロックの誤差値を下記の数式１５で計算できる。
【０１８５】
【数１５】
2009523355.tif 000017
【０１８６】
ここで、（△ｘ，△ｙ）は、変移ベクトルを意味し、Ｉはピクセル値を表す。このブロック誤差が最も小さい参照映像のブロックを、照明が補償された最適ブロックとして選択する。この時、推定された変移ベクトルは（△ｘ，△ｙ）となる。実際システムでは、照明補償をしなかった場合と結果を比較し、性能の良いものを選択する。
【０１８７】
上記の方式の一変形としては、参照映像ブロックの照明平均値は周囲ピクセル値によって予測するのではなく、実際ブロック内の全てのピクセルの照明平均値によって直接計算する場合がある。
【０１８８】
他の変形として、上端と左側利用ピクセルの数を増やす場合がある。すなわち、直に隣接した一層のピクセルだけでなく、隣接した２個以上の層のピクセルを用いても良い。
【０１８９】
デコーダ側では、識別情報を通じて該当ブロックの照明補償を行うか否かを決定することができる。照明補償を行うことになる場合、誤差値（ｅ）に対する復号された値をまず求め、前記予測方法によって予測値を求めることができる。そして、これら２つの値を加算することによって〔ｍc〕(＝＜ｍc＞＋ｅ)を復号できる。いわゆる前記現在ブロックの予測子と呼ばれる予測ブロックである参照ブロックから＜ｍr＞−〔ｍc〕を減算した後、差分ブロック値の復号された値に加算することによって現在ブロック値を最終的に求めることができる。前記現在ブロックは下記のようにして復元することができる。
【０１９０】
Ｂ＝予測ブロック＋差分ブロック＋(＜ｍc＞−＜ｍr＞＋ｅ)、ここで、Ｂは現在ブロック値を表し、予測ブロックは、前記現在ブロックの予測子を表す。
【０１９１】
そして、＜ｍc＞−＜ｍr＞は、前記現在ブロックの照明補償オフセット予測値である平均ピクセル値の予測された差値を表し、ｅは前記で説明した誤差値を表す。デコーディング部は、前記現在ブロックの照明補償オフセット値と予測された差分値間の誤差値を獲得できる。そして、前記獲得された誤差値と前記予測された差分値を用いて前記現在ブロックの照明補償オフセット値を復元することができる。
【０１９２】
図９は、本発明が適用される一実施例であり、現在ブロックのオフセット値を獲得する過程を説明するための図である。
【０１９３】
照明補償は、動き推定過程で行われることができる。現在ブロックと候補参照ブロックの類似性を比較する時、両ブロック間の照明差を考慮すべきである。前記照明差を補償すべく、新しい動き推定／動き補償が行われる。新しいＳＡＤは、下記の数式１６，１７を用いて求めることができる。
【０１９４】
【数１６】
2009523355.tif 000018
【０１９５】
【数１７】
2009523355.tif 000019
【０１９６】
ここで、Ｍcは、現在ブロックの平均画素値を表し、Ｍrは、参照ブロックの平均画素値を表す。Ｉc(ｘ,ｙ)は、現在ブロックの（ｘ，ｙ）座標での画素値を表し、Ｉr(ｘ＋△ｘ，ｙ＋△ｙ)は、参照ブロックの動きベクトル（△ｘ，△ｙ）の時の画素値を表す。上記数式１６の新しいＳＡＤに基づいて動き推定を行うことによって、前記現在ブロックと前記参照ブロック間の平均画素値差が獲得されることができる。前記獲得された平均画素値差をオフセット値（ＩＣ＿ｏｆｆｓｅｔ）という。
【０１９７】
照明補償が適用された動き推定が行われる場合、オフセット値と動きベクトルが求められ、照明補償は前記オフセット値と前記動きベクトルを用いて数式１８のように行うことができる。
【０１９８】
【数１８】
2009523355.tif 000020
【０１９９】
ここで、Ｒ(ｘ，ｙ)は、照明補償が行われた差分値を表す。
【０２００】
前記オフセット値（ＩＣ＿ｏｆｆｓｅｔ＝Ｍc−Ｍr）はデコーディング部に転送することができる。デコーディング部での照明補償は、下記の数式１９のように行うことができる。
【０２０１】
【数１９】
2009523355.tif 000021
【０２０２】
Ｒ'(ｘ，ｙ)は、復元された、照明補償の行われた差分値を表し、Ｉ'ｃ(ｘ，ｙ)は、復元された現在ブロックの画素値を表す。
【０２０３】
現在ブロックを復元するためには、オフセット値がデコーディング部に転送されなければならず、前記オフセット値は、隣ブロックの情報から予測することができる。前記オフセット値をコーディングするビット数をより減少させるべく、現在ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ）と隣ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ）との差値（ＲIC_offset）のみを送ることができる。これは、下記の数式２０で示される。
【０２０４】
【数２０】
2009523355.tif 000022
【０２０５】
図１０は、本発明が適用される一実施例であり、現在ブロックに対する照明補償を行う過程を説明するためのフローチャートである。
【０２０６】
現在ブロックの照明補償フラグが「０」の場合には、現在ブロックに対する照明補償が行われない。フラグが「１」の場合に、現在ブロックのオフセット値を復元する過程が行われる。この時、現在ブロックのプレディクタを獲得するにおいて、隣ブロックの情報を用いることができる。まず、現在ブロックの参照番号と隣ブロックの参照番号が同一か否かを判断する（Ｓ２１０）。前記判断結果に基づいて、現在ブロックの照明補償のためのプレディクタを獲得する（Ｓ２１１）。前記獲得されたプレディクタを用いて現在ブロックのオフセット値を復元する（Ｓ２１２）。ここで、前記現在ブロックの参照番号と隣ブロックの参照番号が同一か否かを判断し（Ｓ２１０）、その判断結果に基づいてプレディクタを獲得する段階（Ｓ２１１）についてより詳細に説明する必要がある。これについては、図１１で説明する。
【０２０７】
図１１は、本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいてプレディクタを獲得する方法を説明するためのフローチャートである。
【０２０８】
デコーディング部では、照明補償を行うべく、ビデオ信号から現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当参照ブロックの参照番号などを抽出し、このような情報を用いて現在ブロックのプレディクタを獲得することができる。そして、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元することができる。
【０２０９】
この時、現在ブロックのプレディクタを獲得するに際して、隣ブロックの情報を用いることができる。例えば、前記隣ブロックのオフセット値を用いて前記現在ブロックのオフセット値を予測できるが、これに先立って現在ブロックの参照番号と前記隣ブロックの参照番号が同一か否かを確認し、その確認結果によってどんな隣ブロックを用いるか、または、どんな値を用いるかを決定することができる。また、前記隣ブロックのフラグ情報が「真」であるか否かを確認し、その確認結果によって前記隣ブロックを用いるか否かを決定できる。
【０２１０】
第１の実施例として、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断する（Ｓ２２０）。前記判断結果、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが１個のみ存在する場合、前記参照番号が同一である隣ブロックのオフセット値を現在ブロックのプレディクタに割り当てることになる（Ｓ２２１）。上記Ｓ２２０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが２個存在する場合には、同じ参照番号を持つ２個の隣ブロックのオフセット値の平均値が、現在ブロックのプレディクタに割り当てられる（Ｓ２２２）。また、前記Ｓ２２０段階の判断結果によって、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが３個存在する場合には、同じ参照番号を持つ３個の隣ブロックのオフセット値の中間値が、現在ブロックのプレディクタに割り当てられる（Ｓ２２３）。また、前記Ｓ２２０段階の判断結果によって、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在しない場合、現在ブロックのプレディクタは「０」として割り当てられる（Ｓ２２４）。上記の参照番号の同一性を確認する過程（Ｓ２２０）で、該当の隣ブロックのフラグが「１」か否かを確認する条件を含むことができる。
【０２１１】
第二の実施例として、隣ブロックが現在ブロックの参照番号と同じ参照番号を持つか否を確認し、前記隣ブロックのフラグが「１」であるか確認する。該２つの条件をいずれも満たす隣ブロックがあると、その隣ブロックのオフセット値をプレディクタとすることができる。この時、隣ブロックをチェックする順序は、左側→上端→上右側→上左側の順にしても良く、上端→左側→上右側→上左側の順にしても良い。前記２つの条件をいずれも満たす隣ブロックがなく、前記３個の隣ブロックのフラグ（例えば、左側、上端、上右側（または上左側）に在る３個の隣ブロックのフラグ）が「１」であれば、前記３個の隣ブロックのオフセット値の中間値をプレディクタとし、これも満たさないと、現在ブロックのプレディクタは「０」として割り当てることができる。
【０２１２】
図１２は、本発明が適用される一実施例であり、現在ブロックのプレディクションタイプに基づいて照明補償を行う方法を説明するためのフローチャートである。
【０２１３】
現在ブロックのプレディクションタイプによって参照する隣ブロックが変わる。例えば、現在ブロックと隣ブロックの形状が同一である場合には、現在ブロックは隣ブロックの中間値を用いて予測を行うことができる。しかし、その形状が異なる場合には、他の方法を適用することができる。
【０２１４】
例えば、現在ブロックの左側に在るブロックが複数のブロックに分けられている場合、そのうち、最も上端に位置しているブロックを予測のために使うことができる。または、現在ブロックの上端に在るブロックが複数に分けられている場合、そのうち最も左側に位置しているブロックを予測のために使うことができる。このように、現在ブロックのプレディクションタイプはどの隣ブロックを使用するかによってその予測値が変わる。したがって、本発明の一実施例では、まず、現在ブロックのプレディクションタイプによって参照する隣ブロックを決定することができる（Ｓ２３１）。前記決定された隣ブロックの参照番号と前記現在ブロックの参照番号とが同一であるか否かを判断する（Ｓ２３２）。このとき、参照番号が同一か否かを確認する過程（Ｓ２３２）で該当の隣ブロックのフラグが「１」か否かを確認する条件も含むことができる。その判断結果に基づいて現在ブロックの照明補償のためのプレディクタを獲得できる（Ｓ２３３）。前記獲得されたプレディクタを用いて現在ブロックのオフセット値を復元することによって照明補償を行うことができる（Ｓ２３４）。ここで、前記Ｓ２３２段階の結果に基づいてＳ２３３段階を行う過程について、具体的な実施例に挙げて説明する。これについての具体的実施例は、図１１で説明した方式と類似する方式を適用することができる。
【０２１５】
例えば、現在ブロックのプレディクションタイプが現在ブロックの左側ブロックを参照して予測を行う場合では、前記現在ブロックの左側ブロックの参照番号が前記現在ブロックの参照番号と同一か否かを判断する。その判断結果、参照番号が同一である場合、前記左側ブロックのオフセット値を現在ブロックのプレディクタに割り当てる。また、現在ブロックのプレディクションタイプが現在ブロックの左側ブロックと上端ブロックの両方を参照して予測を行う場合、または、現在ブロックの左側ブロックと上端ブロック、そして右側上端ブロックの３つを参照する場合などそれぞれの場合は、図１１で説明した方式と同一の方式が適用される。
【０２１６】
図１３は、本発明が適用される一実施例であり、該当のブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う方法を説明するためのフローチャートである。
【０２１７】
図１３を参照すると、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）も用いることができる。または、図１１で説明した参照番号を確認する方法とフラグ情報を予測する方法を両方とも用いて前記プレディクタを獲得しても良い。まず、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断できる（Ｓ２４１）。前記判断結果に基づいて現在ブロックの照明補償のためのプレディクタを獲得できる。この時、隣ブロックのフラグが「１」か否かを判断基準として含むことができる（Ｓ２４２）。また、前記判断結果に基づいて現在ブロックのフラグ情報を予測できる（Ｓ２４３）。前記獲得したプレディクタと前記予測したフラグ情報を用いて現在ブロックのオフセット値を復元することによって照明補償を行うことが可能になる（Ｓ２４４）。ここで、前記Ｓ２４２段階は、前記図１１で説明した方式と同一の方式を適用することができる。そして、前記Ｓ２４３段階は、図１４で詳細に後述する。
【０２１８】
図１４は、本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいて現在ブロックのフラグ情報を予測する方法を説明するためのフローチャートである。
【０２１９】
本発明の一実施例では、まず、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断する（Ｓ２５０）。前記判断結果、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが１個のみ存在する場合、前記参照番号が同一である隣ブロックのフラグ情報から現在ブロックのフラグ情報を予測できる（Ｓ２５１）。前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが２個存在する場合には、同じ参照番号を持つ２個の隣ブロックのフラグ情報のうちいずれか１つのフラグ情報から現在ブロックのフラグ情報を予測できる（Ｓ２５２）。
【０２２０】
また、前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが３個存在する場合には、同じ参照番号を持つ３個の隣ブロックのフラグ情報のうち、中間値から現在ブロックのフラグ情報を予測できる（Ｓ２５３）。また、前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在しない場合、現在ブロックのフラグ情報予測は行われない（Ｓ２５４）。
【０２２１】
図１５は、本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
【０２２２】
照明補償を行うにおいて、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、デコーダで各参照ブロックに対応するオフセット値が直接的にわからなくなる。これは、現在ブロックのオフセット値を獲得する時に、前記２個の参照ブロックを平均した画素値を用いたためである。したがって、本発明の一実施例では、各参照ブロックごとに対応するオフセット値を獲得し、より正確な予測が可能になる。まず、現在ブロックのプレディクタと誤差値を用いて現在ブロックのオフセット値を復元する（Ｓ２６１）。現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合、下記の数式２１に示すように、前記オフセット値を用いて各参照ブロックに対応するオフセット値を獲得する（Ｓ２６２）。
【０２２３】
【数２１】
2009523355.tif 000023
【０２２４】
ここで、ｍcは、現在ブロックの平均画素値を表し、ｍr,1、ｍr,2はそれぞれ、参照ブロックの平均画素値を表す。ｗ1、ｗ2は双方向予測コーディング時の加重値係数を表す。
【０２２５】
前記照明補償方法の一実施例として、前記システムは、各参照ブロックに対応する正確なオフセット値を別途に獲得して利用できるので、より正確な予測コーディングが可能になる。前記現在ブロックのオフセット値を復元する時（Ｓ２６２）、復元されたオフセット差分値とプレディクタ値を加算してオフセット値を求めることができる。この時、Ｌｉｓｔ  ０の参照ピクチャと、Ｌｉｓｔ  １の参照ピクチャのそれぞれに対するプレディクタを求め、これらを組み合わせて現在ブロックのオフセット値を復元する時に必要なプレディクタ値を求めることができる。
【０２２６】
他の実施例として、本発明は、スキップマクロブロックの場合にも適用することができる。本実施例では、予測が照明補償に関する情報を獲得するために行われる。照明補償を行うか否かを示すフラグ情報は、周辺ブロックで予測された値を用いることができ、現在ブロックのオフセット値は、周辺ブロックで予測されたオフセット値を用いることができる。例えば、フラグ情報が「真」であれば、オフセット値は参照ブロックに加算される。具体的な例として、Ｐ−Ｓｋｉｐモードが適用されるマクロブロックの場合、左側と上端の隣ブロックのフラグとオフセット値を用いて予測し、前記マクロブロックのフラグとオフセット値を求めることができる。１個のブロックのみがフラグ「１」を持つと、前記現在ブロックのフラグとオフセット値は、前記ブロックのフラグとオフセット値に設定することができる。２つのブロックがいずれもフラグ「１」を持つと、前記現在ブロックのフラグは「１」になり、オフセット値は２つの隣ブロックのオフセット値の平均値に設定することができる。
【０２２７】
さらに他の実施例として、本発明は、直接予測モード（例えば、Ｄｉｒｅｃｔ、Ｂ−Ｓｋｉｐモード）にも適用されることができる。本実施例では、予測が照明補償に関する情報を獲得するために行われる。上記の多様なフラグ、オフセット予測方法を適用してそれぞれのプレディクタを求めることができる。この値を、現在ブロックの実際フラグ、オフセット値として設定できる。各ブロックが１対のフラグ、オフセット情報のみを持っていれば、それぞれに対して１つずつの予測値を求めればよい。この時、参照ブロックが２個である場合、参照番号チェックをするときには前記現在ブロックと隣ブロックの各参照番号がいずれも一致するか否かをチェックする。また、各参照ブロックに対してそれぞれのオフセット値を持っている場合には、予測された第１フラグ情報と予測された第１オフセット値、予測された第２フラグ情報と予測された第２オフセット値を獲得することができる。この場合、フラグ情報は周辺ブロックで予測された値を用いることができ、２個の参照ブロックのオフセット値はそれぞれ、前記予測された第１オフセット値と第２オフセット値を用いることができる。ここで、現在ブロックのオフセット値は、各参照ブロックのオフセット値の平均値とすることができる。
【０２２８】
直接予測モードとスキップマクロブロックの場合、フラグ情報を符号化／復号化しても良い。すなわち、フラグ値によってオフセット値が加算されても良く、そうでなくても良い。また、オフセット値と予測されたオフセット値間の誤差値を符号化／復号化しても良い。この場合にはより正確に復元することができ、ＲＤ側面で最適なものを選択するようにしても良い。また、本明細書で説明した予測過程で参照ピクチャの利用が不可能な場合、すなわち、参照ピクチャ番号が「１」よりも小さい場合は、フラグ情報または予測されたフラグ情報が「偽」に設定され、オフセット値または予測されたオフセット値は「０」に設定することができる。
【０２２９】
さらに他の実施例として、本発明は、エントロピーコーディングにも適用することができる。フラグ情報に対しては隣ブロック（例えば、現在ブロックの左側ブロックと上位ブロック）のフラグ値によって３個の状況（コンテクスト）が考えられる。
【０２３０】
フラグ値が「真」の場合は「１」、「偽」の場合は「０」に変換すると、各場合に対して２つの値を合わせると３つ場合が出る。このような３つのコンテクストを用いてフラグ情報を符号化／復号化できる。オフセットの予測誤差値に対しては、例えば、変換係数レベルコーディングにおけると同じ方法を使用することができる。すなわち、ＵＥＧ０によって二進化が行われ、最初のビン値に対して１つのコンテクストモデルが適用され、単項の前置部の残りのビン値に対して他のコンテクストモデルが適用されることができる。サインビットは、バイパスモードで符号化／復号化されることができる。フラグ情報に対して他の実施例として、予測されたフラグ情報の値によって２個のコンテクストが考えられ、これを用いて符号化／復号化できる。
【０２３１】
図１６は、本発明が適用された実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報と現在ブロックのオフセット値を用いて照明補償を行う過程を説明するためのフローチャートである。
【０２３２】
デコーディング部では、照明補償を行うためにビデオ信号から多様な情報、例えば、前記現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当の参照ブロックのインデックス情報などを抽出できる。そして、このような情報を用いて前記現在ブロックのプレディクタを獲得できる。前記デコーディング部は、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。ここで、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）を用いることができる。
【０２３３】
前記デコーディング部は、ビデオ信号から現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得する（Ｓ２７１）。前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元できる（Ｓ２７２）。このように、照明補償技術は、相互に異なるピクチャに属したブロックの平均画素値の差分値をコーディングする。各ブロックに照明補償技術を適用するか否かを示すフラグが用いられる時、該当のブロックがＰスライスに属したブロックである場合には、１つのフラグ情報と１つのオフセット値を符号化／復号化すればよい。しかし、該当のブロックがＢスライスに属したブロックである場合には、様々な方法が可能である。以下、これを図１７Ａ及び図１７Ｂを参照して詳細に説明する。
【０２３４】
図１７Ａ及び図１７Ｂは、本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックにフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。
【０２３５】
図１７Ａで、“Ｃ”は、現在ブロック（Ｃ）を表し、“Ｎ”は現在ブロック（Ｃ）に隣接するブロックを、“Ｒ”は現在ブロック（Ｃ）が参照するブロックを、“Ｓ”は現在ブロック（Ｃ）に隣接するブロック（Ｎ）が参照するブロックを表す。“ｍc”は現在ブロックの平均画素値を表し、“ｍr”は現在ブロックが参照するブロックの平均画素値を表す。現在ブロック（Ｃ）のオフセット値を“ＩＣ＿ｏｆｆｓｅｔ”とすれば、ＩＣ＿ｏｆｆｓｅｔ＝ｍc−ｍrとなる。
【０２３６】
同様に、隣ブロック（Ｎ）のオフセット値を“ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ”とすれば、エンコーディング部では現在ブロック（Ｃ）のオフセット値である“ＩＣ＿ｏｆｆｓｅｔ”を復元するためにその値をそのまま転送せずに、現在ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ）と隣ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ）との差分値（ＲIC_offset）のみを送ることができる。ここで、ＲIC_offsetは、上記の数式２０で示される。
【０２３７】
前記隣ブロックのフラグ情報またはオフセット値から現在ブロックのプレディクタを生成する時には、多様な方法が適用されることができる。例えば、隣ブロック１つのみの情報を用いても良く、２以上の隣ブロックの情報を用いても良い。２以上の隣ブロックの情報を用いる場合には、平均値を用いても良く、中間値を用いても良い。このように、現在ブロックが１つの参照ブロックを用いて予測コーディングされた場合には、１つのオフセット値と１つのフラグ情報を用いて照明補償を行うことができる。
【０２３８】
しかしながら、該当のブロックがＢスライスに属したブロックである場合、すなわち、現在ブロックが２以上の参照ブロックを用いて予測コーディングされた場合には、様々な方法が可能になりうる。
【０２３９】
例えば、図１７Ｂで、“Ｃ”は現在ブロック（Ｃ）を表し、“Ｎ”は現在ブロック（Ｃ）に隣接するブロックを、“Ｒ０”は現在ブロックが参照するＬｉｓｔ  ０の参照ピクチャ１に在る参照ブロックを、”Ｓ０”は隣ブロックが参照するＬｉｓｔ  ０の参照ピクチャ１に在る参照ブロックを表すと仮定する。そして、“Ｒ１”は現在ブロックが参照するＬｉｓｔ  １の参照ピクチャ３に在る参照ブロックを、“Ｓ０”は隣ブロックが参照するＬｉｓｔ１の参照ピクチャ３に在る参照ブロックを表すと仮定する。この時、現在ブロックのフラグ情報とオフセット値は各参照ブロックに対して存在するので、それぞれ２つの値が存在する。したがって、前記フラグ情報とオフセット値を用いる場合に、それぞれ少なくとも１つ以上を用いることができる。
【０２４０】
第１の例によれば、動き補償を通じて２つの参照ブロックに関する情報の組み合わせによって現在ブロックのプレディクタが求められることができる。ここで、現在ブロックに照明補償を適用するか否かを１つのフラグ情報で表し、前記フラグ情報が「真」である場合、前記現在ブロックと前記プレディクタから１つのオフセット値を獲得して符号化／復号化を行うことができる。
【０２４１】
第２の例によれば、動き補償を行う過程で２つの参照ブロックに対してそれぞれ照明補償を適用するか否かを決定することができる。それぞれの参照ブロックに対してフラグ情報が与えられ、前記フラグ情報を用いて獲得された１つのオフセット値を符号化／復号化することができる。この場合、フラグ情報は参照ブロックを基準にして２個、オフセット値は現在ブロックを基準にして１個用いることができる。
【０２４２】
第３の例では、現在ブロックを基準にして、このブロックに対して照明補償を適用するか否かを１つのフラグ情報で表すことができる。そして、２つの参照ブロックに対してそれぞれのオフセット値が符号化／復号化される。符号化過程において、いずれか一方の参照ブロックに対して照明補償を適用しない場合には、それに該当するオフセット値を「０」とする。この場合、フラグ情報は現在ブロックを基準にして１個、オフセット値は参照ブロックを基準にして２個用いることができる。
【０２４３】
第４の例では、各参照ブロックに対してそれぞれのフラグ情報とオフセット値が符号化／復号化される。この場合、フラグ情報とオフセット値はいずれも参照ブロックを基準にしてそれぞれ２個ずつ用いることができる。
【０２４４】
上記の第１から第４の例の場合に対して、オフセット値はそのまま符号化されずに、隣ブロックのオフセット値から予測した後、その誤差値のみを符号化できる。
【０２４５】
図１８は、本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
【０２４６】
現在ブロックがＢスライスに属したブロックである場合、照明補償を行うためにビデオ信号から前記現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当の参照ブロックのインデックス情報などを抽出し、このような情報を用いて現在ブロックのプレディクタを獲得できる。そして、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。この場合、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）を用いることができる。
【０２４７】
前記デコーディング部は、ビデオ信号から現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得できる（Ｓ２９１）。前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元できる（Ｓ２９２）。
【０２４８】
ところが、このように現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、デコーダで各参照ブロックに対応するオフセット値が直接的にわからなくなる。これは、現在ブロックのオフセット値を獲得する時、前記２個の参照ブロックを平均した画素値を用いたためである。したがって、本発明の一実施例では、各参照ブロックごとに対応するオフセット値を獲得し、より正確な予測を可能にすることができる。したがって、現在ブロックが２個の参照ブロックを用いて予測コーディングをした場合、下記の数式２２に示すように、前記オフセット値を用いて各参照ブロックに対応するオフセット値を獲得できる（Ｓ２９３）。
【０２４９】
【数２２】
2009523355.tif 000024
【０２５０】
ここで、ｍcは現在ブロックの平均画素値を表し、ｍr,1、ｍr,2はそれぞれ、参照ブロックの平均画素値を表す。ｗ1、ｗ2は双方向予測コーディング時の加重値係数を表す。
【０２５１】
このような方法で照明補償を行う場合、各参照ブロックに対応する正確なオフセット値が別途獲得されて利用可能になるので、より正確な予測コーディングが可能になる。前記現在ブロックのオフセット値を復元する時、復元されたオフセット差分値とプレディクタ値を加算してオフセット値を獲得できる。この時、Ｌｉｓｔ０、Ｌｉｓｔ１のそれぞれに対するプレディクタを求め、これらを組み合わせて現在ブロックのオフセット値を復元する時に必要なプレディクタ値を求めることができる。
【０２５２】
図１９は、本発明が適用される一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う過程を説明するためのフローチャートである。
【０２５３】
照明補償技術は、カメラ間の照明または色相差を補償するためのものである。この技術は、さらには、同じカメラで獲得されたシーケンス映像間においても適用できる。この技術を通じて照明や色相差が動き推定に大きく影響を及ぼさないようにすることができる。しかし、実際符号化過程では、照明補償を適用するか否かを示すフラグ情報を用いることとなる。照明補償の適用範囲は、シーケンス、視点、ＧＯＰ、ピクチャ、スライス、マクロブロック、サブブロックなどになりうる。
【０２５４】
小さい領域範囲に照明補償技術が用いられると、よりローカルな領域に対して調節が可能であるが、その分、フラグ情報のためのビットが多く必要となる。また、多くの場合に照明補償技術が要らない。したがって、各領域範囲別に照明補償技術を使用するか否かを示すフラグビットを割り当てることによって、效果的に照明補償技術を用いることができる。まず、ビデオ信号の一定階層に対して照明補償を行うように誘導するフラグ情報を獲得できる（Ｓ３０１）。
【０２５５】
例えば、各領域範囲別に次のようにフラグ情報を設定できる。シーケンス階層に対しては“ｓｅｑ＿ＩＣ＿ｆｌａｇ”、視点階層に対しては“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”、ＧＯＰ階層に対しては“ＧＯＰ＿ＩＣ＿ｆｌａｇ”、ピクチャ階層に対しては“ｐｉｃ＿ＩＣ＿ｆｌａｇ”、スライス階層に対しては“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”、マクロブロック階層に対しては“ｍｂ＿ＩＣ＿ｆｌａｇ”、ブロック階層に対しては“ｂｌｋ＿ＩＣ＿ｆｌａｇ”としてフラグビットを割り当てることができる。これについては、図２０Ａ〜図２０Ｃで詳細に説明するものとする。そして、前記フラグ情報によって照明補償が行われた前記ビデオ信号の一定階層を、デコーディング可能になる（Ｓ３０２）。
【０２５６】
図２０Ａ〜図２０Ｃは、本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
【０２５７】
照明補償を行うように誘導するフラグ情報の適用範囲を階層別に区分できる。例えば、図２０Ａ〜図２０Ｂに示すように、シーケンス階層に対しては“ｓｅｑ＿ＩＣ＿ｆｌａｇ”３１１、視点階層に対しては“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”３１２、ＧＯＰ階層に対しては“ＧＯＰ＿ＩＣ＿ｆｌａｇ”３１３、ピクチャ階層に対しては“ｐｉｃ＿ＩＣ＿ｆｌａｇ”３１４、スライス階層に対しては“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”３１５、マクロブロック階層に対しては“ｍｂ＿ＩＣ＿ｆｌａｇ”３１６、ブロック階層に対しては“ｂｌｋ＿ＩＣ＿ｆｌａｇ”３１７が割り当てられる。
【０２５８】
ここで、各フラグは１ビット情報であり、これらのフラグは少なくとも１つ以上存在できる。また、シーケンス／視点／ピクチャ／スライス範囲などのフラグは、該当のパラメータセットまたはヘッダに位置させることができ、または、他のパラメータセットにも位置させることができる。例えば、“ｓｅｑ＿ＩＣ＿ｆｌａｇ”３１１は、シーケンスパラメータセットに位置させることができ、“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”３１２は、視点パラメータセットに位置させることができ、“ｐｉｃ＿ＩＣ＿ｆｌａｇ”３１４は、ピクチャパラメータセット（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）に位置させることができる。また、“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”３１５はスライスヘッダに位置させることができる。
【０２５９】
前記フラグ情報が２以上存在する場合、２以上の一定階層のうち下位階層に照明補償を行うか否かは、上位階層の照明補償を行うか否かによって制御されることができる。すなわち、各フラグビット値が「１」と設定されると、その下位範囲で照明補償技術が適用される場合がありうるということを示す。
【０２６０】
例えば、ｐｉｃ＿ＩＣ＿ｆｌａｇ＝１の場合、該当のピクチャ範囲内の各スライスに対してｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定でき、または、各マクロブロックに対してｍｂ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定でき、または、各ブロックに対してｂｌｋ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定することができる。視点パラメータセットがある場合、ｓｅｑ＿ＩＣ＿ｆｌａｇ＝１であれば、各視点に対してｖｉｅｗ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定できることとなる。ただし、ｖｉｅｗ＿ＩＣ＿ｆｌａｇ＝１の場合には、図２０Ａに示すように、該当の視点に属する各ＧＯＰ、ピクチャ、スライス、マクロブロック、またはブロックに対するフラグビット値を「１」または「０」に設定しても良く、そうでなくても良い。ここで、そうでない場合は、図２０Ｂのように、各ＧＯＰ、ピクチャ、スライス、マクロブロック、またはブロックに対するフラグが視点に関するフラグ情報によって制御されない場合のことをいう。
【０２６１】
上位範囲のフラグビット値が「０」の場合、下位範囲のフラグビット値は自動的に「０」となる。例えば、ｓｅｑ＿ＩＣ＿ｆｌａｇ＝０の場合、該当のシーケンスに対して照明補償技術が適用されないということを意味し、したがって、ｖｉｅｗ＿ＩＣ＿ｆｌａｇ、ＧＯＰ＿ＩＣ＿ｆｌａｇ、ｐｉｃ＿ＩＣ＿ｆｌａｇ、ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ、ｍｂ＿ＩＣ＿ｆｌａｇ、ｂｌｋ＿ＩＣ＿ｆｌａｇはいずれも「０」に設定される。そして、ｍｂ＿ＩＣ＿ｆｌａｇとｂｌｋ＿ＩＣ＿ｆｌａｇは、照明補償技術の具体的な具現方法によって１つのみ用いられても良い。また、視点に関するフラグ情報（ｖｉｅｗ＿ＩＣ＿ｆｌａｇ）は多視点ビデオコーディングで視点パラメータセットが新しく適用される場合に適用することができる。最も下位単位であるマクロブロックまたはサブブロックにおけるフラグビット値によって現在ブロックのオフセット値が追加的に符号化／復号化されるであろう。
【０２６２】
また、図２０Ｃのように、ＩＣ技術適用に対するフラグがスライスとマクロブロック階層にのみ適用される実施例も考えられる。例えば、ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇが「０」の場合は、該当のスライスでＩＣが適用されないことを意味することができる。ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇが「１」の場合は、該当のスライスでＩＣが適用されることを意味し、この場合、ｍｂ＿ＩＣ＿ｆｌａｇが「１」であれば、該当のマクロブロックでＩＣ＿ｏｆｆｓｅｔが復元される。ｍｂ＿ＩＣ＿ｆｌａｇが「０」であれば、該当のマクロブロックでＩＣが適用されないことを意味する。
【０２６３】
また、本発明の他の一実施例として、マクロブロック階層より上位階層のフラグ情報が「真」である場合、現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を獲得できるが、この時、前記マクロブロック階層または前記ブロック階層に対するフラグ情報は利用しなくて良い。照明補償技術を適用する時、各ブロックに対して照明補償技術を適用するか否かをフラグ情報を通じて表すことができる。しかし、動きベクトルのように、その値のみを示すことで充分な場合もある。これは、照明補償技術の適用範囲と一緒に運用が可能で、上位範囲（即ち、シーケンス、視点、ＧＯＰ、ピクチャ）に対しては、フラグ情報を通じてその下位範囲で照明補償が適用されるか否かを示すことができる。最も下位範囲であるマクロブロック階層またはブロック階層では、フラグビットを使用せずにオフセット値だけでも充分である。これは、基本的に動きベクトルと類似な方式で予測及び符号化を行うことができるからである。例えば、現在ブロックに対して予測コーディングを行う場合、隣ブロックのオフセット値を現在ブロックのオフセット値に割り当てることとなる。そして、双方向予測コーディングである場合、Ｌｉｓｔ  ０、Ｌｉｓｔ  １から見つけられた参照ブロックとの計算を通じて各参照ブロックに対するオフセット値が獲得される。したがって、現在ブロックのオフセット値を符号化する時、隣ブロックのオフセット値を用いて前記各参照ブロックに対するオフセット値を直接符号化せずに、予測誤差のみを符号化／復号化する。オフセット値の予測方法は、上記のオフセット予測方法や動きベクトル予測時に使われる中間値を獲得する方法を用いても良い。双方向予測の直接モードの時にも、動きベクトルと同様な方法を用いて付加情報の符号化／復号化をせずに、既に与えられた情報を通じてオフセット値を求めることができる。
【０２６４】
また、本発明の他の実施例として、ＭＶＣデコーダでないデコーダ（例えば、Ｈ．２６４）を用いる場合、既存のデコーダと互換性を持つ視点映像は既存のデコーダでデコーディングされなければならないので、“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ＝ｆａｌｓｅ  ｏｒ  ０”と設定すべきである。ここで、基準視点についての概念を説明する必要がある。まず、Ｈ．２６４／ＡＶＣデコーダと互換性を持つ少なくとも１つの視点映像が要求される。したがって、独立的に復号化可能な視点を定義する必要があるが、これを基準視点という。このような基準視点は、多視点のうち符号化の基準となり、これは参照視点に該当する。ＭＶＣで基準視点に該当する映像は、従来一般的な映像符号化方式（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等）により符号化されて独立したビットストリームに形成される。基準視点に該当する映像はＨ．２６４／ＡＶＣと互換されても良く、互換されなくても良い。しかし、Ｈ．２６４／ＡＶＣと互換できる視点の映像は常に基準視点となる。
【０２６５】
図２１は、本発明が適用される一実施例であり、現在ブロックのオフセット値を考慮して動きベクトルを獲得する過程を説明するためのフローチャートである。
【０２６６】
図２１を参照すると、前記システムは、ビデオ信号から現在ブロックのオフセット値を獲得できる（Ｓ３２１）。前記システムは、前記オフセット値を用いて現在ブロックと最適にマッチングされる参照ブロックをサーチできる（Ｓ３２２）。前記システムは、前記サーチされた参照ブロックから動きベクトルを獲得して符号化できる（Ｓ３２３）。ここで、照明補償を適用する場合、動き推定を行う時に考慮すべき事項がある。例えば、ブロック間の平均画素値を相殺して２ブロックの類似性を比較する方法の場合、動き推定を行う時に、各ブロックの画素値からブロックの平均画素値を減算した値によって類似性程度を計算できる。この時、２ブロック間のオフセット値がそれぞれ符号化されるので、このような費用も動き推定過程に反映されなければならない。既存の費用（ｃｏｓｔ）計算は、下記の数式２３で行われる。
【０２６７】
【数２３】
2009523355.tif 000025
【０２６８】
照明補償を適用する場合、絶対差の合計（ＳＡＤ）は、下記の数式２４で計算されることができる。
【０２６９】
【数２４】
2009523355.tif 000026
【０２７０】
ここで、Ｉc、Ｉrはそれぞれ現在ブロックと参照ブロックの画素値を表す。Ｍc、Ｍrはそれぞれ現在ブロックと参照ブロックの平均画素値を表す。オフセット値の費用は、以下の数式２５，２６に示されるように、ＳＡＤ計算に含めて反映することができる。
【０２７１】
【数２５】
2009523355.tif 000027
【０２７２】
【数２６】
2009523355.tif 000028
【０２７３】
ここで、αは加重値を表し、その値が「１」の時に、オフセット値の絶対値が反映される。また、照明補償費用を反映する他の方法として、オフセット値を符号化するのに用いられるビット数を推定して反映する方法がある。
【０２７４】
これは、下記の数式２７に示すように、オフセット符号化ビットを推定して反映する方法である。ここで、前記符号化ビットはオフセット差分値の大きさに比例するように推定できる。
【０２７５】
【数２７】
2009523355.tif 000029
【０２７６】
この場合、新しい費用は、下記の数式２８から得られる。
【０２７７】
【数２８】
2009523355.tif 000030
【産業上の利用可能性】
【０２７８】
本発明の属する技術分野における当業者は、本発明がその技術的思想や必須特徴を変更しない範囲内で他の具体的な形態に実施できるということを理解することができる。
【０２７９】
したがって、以上説明された実施例は全ての面で例示的なものであり、限定的なものとして理解してはならない。本発明の範囲は、上記の詳細な説明ではなく後述する特許請求の範囲によって定められ、よって、特許請求の範囲の意味及び範囲そしてその等価概念から想到できるいかなる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
【図面の簡単な説明】
【０２８０】
【図１】本発明が適用される実施例であり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置の概略的なブロック図である。
【図２】本発明が適用された一実施例であり、ビデオ映像符号化方法を説明するためのフローチャートである。
【図３】本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を説明するためのブロック構成図である。
【図４】本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を一般化して説明するためのブロック構成図である。
【図５】本発明を適用した一実施例であり、照明平均値の獲得及び照明平均予測値を誘導する場合に、ブロックの左側と上端に在るピクセルの既に復号化された値を用いることを説明するための１６×１６マクロブロックを示す図である。
【図６Ａ】本発明を適用した実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す図である。
【図６Ｂ】本発明を適用した実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す図である。
【図７Ａ】本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す図である。
【図７Ｂ】本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す図である。
【図８Ａ】本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す図である。
【図８Ｂ】本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す図である。
【図９】本発明が適用される一実施例であり、現在ブロックのオフセット値を獲得する過程を説明するための図である。
【図１０】本発明が適用される一実施例であり、現在ブロックに対する照明補償を行う過程を説明するためのフローチャートである。
【図１１】本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいてプレディクタを獲得する方法を説明するためのフローチャートである。
【図１２】本発明が適用される一実施例であり、現在ブロックのプレディクションタイプに基づいて照明補償を行う方法を説明するためのフローチャートである。
【図１３】本発明が適用される一実施例であり、該当のブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う方法を説明するためのフローチャートである。
【図１４】本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいて現在ブロックのフラグ情報を予測する方法を説明するためのフローチャートである。
【図１５】本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
【図１６】本発明が適用された一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報と現在ブロックのオフセット値を用いて照明補償を行う過程を説明するためのフローチャートである。
【図１７Ａ】本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックに対してフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。
【図１７Ｂ】本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックに対してフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。
【図１８】本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
【図１９】本発明が適用される一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う過程を説明するためのフローチャートである。
【図２０Ａ】本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
【図２０Ｂ】本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
【図２０Ｃ】本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
【図２１】本発明が適用される一実施例であり、現在ブロックのオフセット値を考慮して動きベクトルを獲得する過程を説明するためのフローチャートである。
【図１】
2009523355.tif 000031
【図２】
2009523355.tif 000032
【図３】
2009523355.tif 000033
【図４】
2009523355.tif 000034
【図５】
2009523355.tif 000035
【図６Ａ】
2009523355.tif 000036
【図６Ｂ】
2009523355.tif 000037
【図７Ａ】
2009523355.tif 000038
【図７Ｂ】
2009523355.tif 000039
【図８Ａ】
2009523355.tif 000040
【図８Ｂ】
2009523355.tif 000041
【図９】
2009523355.tif 000042
【図１０】
2009523355.tif 000043
【図１１】
2009523355.tif 000044
【図１２】
2009523355.tif 000045
【図１３】
2009523355.tif 000046
【図１４】
2009523355.tif 000047
【図１５】
2009523355.tif 000048
【図１６】
2009523355.tif 000049
【図１７Ａ】
2009523355.tif 000050
【図１７Ｂ】
2009523355.tif 000051
【図１８】
2009523355.tif 000052
【図１９】
2009523355.tif 000053
【図２０Ａ】
2009523355.tif 000054
【図２０Ｂ】
2009523355.tif 000055
【図２０Ｃ】
2009523355.tif 000056
【図２１】
2009523355.tif 000057
【国際調査報告】
2009523355.tif 000058
2009523355.tif 000059