(57)【要約】【課題】残余データストリームを生成する方法及び装置、並びにイメージブロックを復元する方法及び装置を提供する。【解決手段】シーケンス内の以後のデータブロックが、以前のデータブロックよりＤＣ成分により近い空いているデータ位置を含んでいる場合、前記シーケンス内の少なくとも一つの以前のデータブロックは、１サイクルの間、スキップされるように、サイクルごとに第１ピクチャレイヤのデータストリームからデータを一連のデータブロックにパースするステップと、第２ピクチャレイヤー内のブロックの動きベクトル情報に基づいて、前記データブロックのうち少なくとも一つのブロックの基準ブロックを指示する動きベクトルを生成するステップと、前記データブロックと前記基準ブロックに基づいてイメージブロックを復元するステップと、を含み、前記第２ピクチャレイヤーは、前記第１ピクチャレイヤーのピクチャよりも低いクオリティーのピクチャを表し、前記第２ピクチャレイヤーのブロックは、前記第１ピクチャレイヤーのデータブロックと時間的に関連していることを特徴とする、第１ピクチャレイヤーのイメージブロック復元方法を提供する。【選択図】図３
2009512269.tif 000002
【特許請求の範囲】
【請求項１】
シーケンス内の以後のデータブロックが、以前のデータブロックよりもＤＣ成分により近い空いているデータ位置を含んでいる場合、前記シーケンス内の少なくとも一つの以前のデータブロックは、１サイクルの間、スキップ可能なように、サイクルごとに第１ピクチャレイヤのデータストリームからデータを一連のデータブロックにパースするステップと、
第２ピクチャレイヤ内のブロックの動きベクトル情報に基づいて、前記データブロックのうち少なくとも一つのブロックの基準ブロックを指示する動きベクトルを生成するステップと、
前記データブロックと前記レファレンスブロックに基づいてイメージブロックを復元するステップと、
を含み、
前記第２ピクチャレイヤは、前記第１ピクチャレイヤのピクチャよりも低いクオリティーのピクチャを表し、前記第２ピクチャレイヤのブロックは、前記第１ピクチャレイヤのデータブロックと時間的に関連していることを特徴とする、第１ピクチャレイヤのイメージブロック復元方法。
【請求項２】
各データブロックは複数のデータ位置を含み、これらデータ位置の順序は、前記データブロックの上端左側隅から始まってジグザグスキャン経路に従い、
第１サイクルで、前記パースするステップは、
前記ジグザグ経路に沿って前記シーケンスの第１データブロック内に第１データセクションを満たすステップと、
前記シーケンス内で連続する各ブロックに対して前記満たすステップを反復するステップと、を含み、
前記第１データセクションは、前記ジグザグ経路に沿って最初データ位置から始まって０でないデータ値に対応するデータで満たされた第１データ位置で終了する部分を表すことを特徴とする、請求項１に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項３】
前記一連のデータブロックは、ビデオデータのベースレイヤと関連したビデオデータのエンハンスドレイヤを表し、ビデオを向上させるための前記ビデオデータのエンハンスドレイヤは、前記ビデオデータのベースレイヤによって表され、
前記ビデオデータのベースレイヤにある対応するデータ位置が０でないデータ値を含む場合、前記データブロックのデータ位置は、０でないデータ値に対応することを特徴とする、請求項２に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項４】
連続する各サイクルで、前記パースする段階は、
前記シーケンス内のデータブロックが、ＤＣ成分に最も近い空いているデータ位置を持っているか決定するステップと、
各決定されたデータブロック内に、以前に満たされたデータセクションで、満たされた最後のデータ位置以降の次のデータ位置から、０でないデータ値に対応するデータで満たされた次のデータ位置まで、ジグザグ経路に沿って次のデータセクションを満たすステップと、
現在のサイクルの間、決定されなかったデータブロックに対しては、データを満たすことをスキップするステップと、
を含むことを特徴とする、請求項２に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項５】
前記一連のデータブロックは、ビデオデータのベースレイヤと関連したビデオデータのエンハンスドレイヤを表し、ビデオを向上させるための前記ビデオデータのエンハンスドレイヤは、前記ビデオデータのベースレイヤによって表され、
前記ビデオデータのベースレイヤにある対応するデータ位置が０でないデータ値を含む場合、前記データブロックのデータ位置は、０でないデータ値に対応することを特徴とする、請求項４に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項６】
連続する各サイクルで、前記パースする段階は、
前記シーケンス内の各データブロックに対して、
前記データブロック内で前記ジグザグ経路に沿って最後に満たされたデータ位置を表す、満たされた最後のデータ位置指示子と、現在のサイクルを表すサイクル指示子とを比較するステップと、
前記比較するステップで前記満たされた最後のデータ位置指示子が、前記サイクル指示子より小さい場合、前記データブロック内に、以前に満たされたデータセクションで、満たされた最後のデータ位置以降の次のデータ位置から、０でないデータ値に対応するデータで満たされた次のデータ位置まで、ジグザグ経路に沿って次のデータセクションを満たすステップと、
前記満たされた最後のデータ位置指示子が前記サイクル指示子と等しいまたは大きい場合、現在のサイクルの間、前記データブロックを満たすことをスキップするステップと、
を含むことを特徴とする、請求項４に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項７】
前記一連のデータブロックは、ビデオデータのベースレイヤと関連したビデオデータのエンハンスドレイヤを表し、ビデオを向上させるための前記ビデオデータのエンハンスドレイヤは、前記ビデオデータのベースレイヤによって表され、
前記ビデオデータのベースレイヤにある対応するデータ位置が０でないデータ値を含む場合、前記データブロックのデータ位置は、０でないデータ値に対応することを特徴とする、請求項６に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項８】
連続する各サイクルで、前記パースするステップは、
前記シーケンス内の各データブロックに対して、
前記データブロックで現在のサイクルに対応するデータ位置が満たされているかを決定するステップと、
前記データブロックで前記現在のサイクルに対応するデータ位置が満たされていない場合、前記データブロック内に、以前に満たされたデータセクションで、満たされた最後のデータ位置以降の次のデータ位置から、０でないデータ値に対応するデータで満たされた次のデータ位置まで、ジグザグ経路に沿って次のデータセクションを満たすステップと、
前記データブロックで前記現在のサイクルに対応するデータ位置が満たされている場合、前記現在のサイクルの間、前記データブロックを満たすことをスキップするステップと、
を含むことを特徴とする、請求項４に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項９】
前記一連のデータブロックは、ビデオデータのベースレイヤと関連したビデオデータのエンハンスドレイヤを表し、ビデオを向上させるための前記ビデオデータのエンハンスドレイヤは、前記ビデオデータのベースレイヤによって表され、
前記ビデオデータのベースレイヤにある対応するデータ位置が０でないデータ値を含む場合、前記データブロックのデータ位置は、０でないデータ値に対応することを特徴とする、請求項８に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１０】
前記データは、変換係数情報を表すことを特徴とする、請求項２に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１１】
第２ピクチャレイヤにあるブロックの基準ピクチャインデックスに基づいて、前記基準ブロックを含む第１ピクチャレイヤのピクチャを決定するステップをさらに含むことを特徴とする、請求項１に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１２】
前記第２ピクチャレイヤから、前記第２ピクチャレイヤにあるブロックの動きベクトル情報を獲得するステップと、
前記第１ピクチャレイヤから、前記動きベクトル差情報を獲得するステップと、
をさらに含むことを特徴とする、請求項１に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１３】
前記動きベクトル情報は、前記第２ピクチャレイヤのブロックと関連した動きベクトルを含むことを特徴とする、請求項１に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１４】
前記生成するステップは、
前記獲得された動きベクトル情報に基づいて動きベクトル予測を決定するステップと、
前記動きベクトル予測と前記動きベクトル差情報に基づいて、前記第１ピクチャレイヤの現在のブロックと関連した動きベクトルを生成するステップと、
を含むことを特徴とする、請求項１に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１５】
前記動きベクトル情報は、前記第２ピクチャレイヤのブロックと関連した動きベクトルを含み、
前記動きベクトル予測を決定するステップは、前記動きベクトル予測が、前記第２ピクチャレイヤのブロックと関連した動きベクトルと同一であるかを決定することを特徴とする、請求項１４に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１６】
前記生成するステップは、
前記現在のブロックの動きベクトルを、前記動きベクトル差情報によって指示された動きベクトル差と前記動きベクトル予測とを加えた値として生成することを特徴とする、請求項１４に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１７】
前記動きベクトル情報は、前記第２ピクチャレイヤのブロックと関連した動きベクトルを含み、
前記動きベクトル予測を決定するステップは、前記動きベクトル予測が前記第２ピクチャレイヤのブロックと関連した動きベクトルと同一かを決定することを特徴とする、請求項１６に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１８】
前記基準ブロックは、基準ピクチャ内にあり、前記基準ピクチャは、前記第１ピクチャレイヤ内にあることを特徴とする、請求項１に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項１９】
前記データブロックの基準ピクチャは、前記第２ピクチャレイヤ内の基準ピクチャと時間的に関連しており、前記第２ピクチャレイヤ内の基準ピクチャは、前記第２ピクチャレイヤ内の基準ブロックに対する基準ピクチャであることを特徴とする、請求項１８に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項２０】
前記復元するステップは、
前記イメージブロックを復元するために、前記動きベクトルによって指示された基準ブロックと前記データブロックとを結合することを特徴とする、請求項１に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項２１】
前記復元するステップは、
前記基準ブロックと前記データブロックに逆量子化と逆変換を行った後、前記基準ブロックと前記データブロックとを結合することを特徴とする、請求項２０に記載の第１ピクチャレイヤのイメージブロック復元方法。
【請求項２２】
複数個のデータブロックに対する基準ブロックを決定するステップと、
これらの基準ブロックと前記複数個のデータブロックに基づいて、一連の残余データブロックを生成するステップと、
ＤＣ成分により近いデータが、シーケンス内で以降の残余データブロック内に存在する場合、前記シーケンス内の少なくとも一つの以前の残余データブロックは、１サイクルの間、スキップされるように、サイクルごとに前記一連の残余データブロックからデータをデータストリームにパースするステップと、
を含むことを特徴とする、残余ビデオデータストリーム生成方法。
【請求項２３】
前記複数個のデータブロックのそれぞれの動きベクトルを決定するステップと、
前記動きベクトルに関する情報を前記データストリームに挿入するステップと、をさらに含み、
前記各動きベクトルは、前記複数個のデータブロックのうち、関連した一つのブロックの基準ブロックを指示することを特徴とする、請求項２２に記載の残余ビデオデータストリーム生成方法。
【請求項２４】
シーケンス内の以後のデータブロックが、以前のデータブロックよりもＤＣ成分に近い空いているデータ位置を含んでいる場合、前記シーケンス内の少なくとも一つの以前データブロックは、１サイクルの間、スキップされるように、サイクルごとに第１ピクチャレイヤのデータストリームからデータを一連のデータブロックにパースする第１デコーディング部と、
第２ピクチャレイヤ内のブロックの動きベクトル情報に基づいて、前記データブロックのうち少なくとも一つのブロックの基準ブロックを指示する動きベクトルを生成し、また、前記データブロックと前記基準ブロックに基づいてイメージブロックを復元する第２デコーディング部と、を含んでなり、
前記第２ピクチャレイヤは、前記第１ピクチャレイヤのピクチャよりも低いクオリティーのピクチャを表し、前記第２ピクチャレイヤのブロックは、前記第１ピクチャレイヤのデータブロックと時間的に関連している、第１デコーダ；及び、
前記第２ピクチャレイヤから動きベクトル情報を獲得し、前記第２デコーダに前記動きベクトル情報を送る第２デコーダ；
を含むことを特徴とする、第１ピクチャレイヤのイメージブロック復元装置。
【請求項２５】
複数個のデータブロックに対する基準ブロックを決定し、これらの基準ブロックと前記複数個のデータブロックに基づいて、一連の残余データブロックを生成する第１エンコーディング部と、
ＤＣ成分により近いデータが、シーケンス内で以降の残余データブロック内に存在する場合、前記シーケンス内の少なくとも一つの以前のレジデュアルデータブロックは、１サイクルの間、スキップされるように、サイクルごとに前記一連の残余データブロックからデータをデータストリームにパースする第２エンコーディング部と、
を含むことを特徴とする、残余ビデオデータストリーム生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号を信号対雑音比（ＳＮＲ）スケーラブル(ｓｃａｌａｂｌｅ)方式でコーディングし、このようにコーディングされたデータをデコーディングする技術に関する。
【背景技術】
【０００２】
スケーラブル映像コーデック（ＳＶＣ：Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｅｃ）方式は、ビデオ信号を最高画質でエンコーディングし、最高画質のエンコーディングの結果として生成されたピクチャシーケンスの部分シーケンス（シーケンス全体から間欠的に選択されたフレームのシーケンス）をデコーディングして使用する場合であっても低画質の画像表現を可能にする方式である。
【０００３】
スケーラブル方式でエンコーディングするエンコーディング装置は、受信するビデオ信号の各フレームに対して、動き予測及び予測された動きを用いてエンコーディングされたデータに、変換コーディング、例えば、離散余弦変換（ＤＣＴ）と量子化を行うが、量子化プロセスで情報の損失が生じてしまう。
【０００４】
したがって、エンコーディング装置の信号エンコーディング部は、図１Ａに示すように、エンコーディングされたデータに逆量子化１１と逆変換１２を行い、このエンコーディングされたデータをオリジナルデータから抽出することによって、オリジナルデータとエンコーディングされたデータとの差を求め、この差にＤＣＴ変換と量子化を行ってＤＣＴドメインのＳＮＲエンハンスメントレイヤデータ（Ｄ１０）を生成する。このようにＳＮＲエンハンスメントレイヤのデータをＳＮＲ改善のために提供することによって、ＳＮＲエンハンスメントレイヤのデータのデコーディングレベルを増加させるにつれて画質を次第に良くすることができるが、これを、ファイングレインスケーラビリティ（ＦＳＧ）という。
【０００５】
そして、ＳＮＲエンハンスメントレイヤデータに対して、図１ＡのＦＧＳコーダー１３が、データをデータストリームに変換し及びパースするためのコーディングを行うが、主要（ｓｉｇｎｉｆｉｃａｎｃｅ）データ経路（以下、‘主要経路'と略す。）と、微細（ｒｅｆｉｎｅｍｅｎｔ）データ経路（以下、‘微細経路'と略す。）とに区別してコーディングする。主要経路では、ＳＮＲベースレイヤ上の対応位置（ｃｏ−ｌｏｃａｔｅｄ）データが０値を持つＳＮＲエンハンスメントレイヤーのデータが、第１の形態でコーディングされ、微細経路では、ＳＮＲベースレイヤ上の対応位置データが０でない値を持つＳＮＲエンハンスメントレイヤーのデータが、第２の形態でコーディングされる。
【０００６】
図１Ｂは、上記主要経路上の主要経路コーディング部１３ａでデータがコーディングされるプロセスを例示する。ＳＮＲエンハンスメントレイヤ画素データに対して、サイクルごとに、図１Ｂに例示された選択順序１０１によって４ｘ４の各ブロックを選択しながら、微細データを含まないデータをリストするデータストリーム（主要データ１０３）を予め決定されたジグザグスキャン経路１０２に沿って取得するプロセスを実行する。このデータストリームは、０の実行回数を特定の方式、例えば、Ｓ３コードでコーディングする。０でないデータは、別の方式で後にコーディングする。
【０００７】
図１Ｃは、主要経路コーディング部１３ａが、サイクルごとに各ブロックを選択しながらコーディングするプロセスを具体的に例示したものである。図１Ｃに例示されたブロック上のデータ値‘１’は、実際の値を表すものではなく、ＤＣＴ係数が０でない値である場合に０以外の値の簡略された表記を表す。以降説明されるブロック内のデータ値の表記は、いずれも同様である。
【０００８】
図１Ｃに例示されたプロセスを簡略に説明すると、主要経路コーディング部１３ａが、図１Ｂに示されたブロックの選択順序にしたがって各ブロックを選択しながら、‘１’に会うまで定められたジグザグスキャニング経路に沿って読み出される‘０’のデータ（０でない値を持つ微細データは、コーディング対象でないので排除される。）を順次に羅列（１１２1、）して第１サイクルを終え、第１サイクルの終わった位置のスキャニング経路上の次の位置から各ブロックを順に選択しながら‘１’に会うまでスキャニングしながら‘０’のデータを順次に羅列（１１２2）することで、２次サイクルを終え、続いて、この方式を現在のピクチャ内の全てのデータに行ってサイクル順にデータを羅列することで、データストリーム１２０を生成する。このデータストリームには、前述したように別のコーディングプロセスが伴われる。
【０００９】
上記のようなコーディングにおいて、サイクル順序上、先にコーディングされたデータが先に転送される。ところが、ＳＮＲエンハンスメントレイヤーデータ（以下、‘ＦＧＳデータ’と略す。）は、転送チャンネルの帯域幅が減少する場合には、その転送がストリーム途中で切れる恐れがある。この場合に、画質改善に影響を与えるデータ‘１’のうち、ＤＣ成分により近いデータ‘１’の数が、切れたストリーム上に多く含まれるのが、全体的な画質において有利である。
【発明の開示】
【００１０】
本発明は、第１ピクチャレイヤのイメージブロックを復元する方法に関する。
【００１１】
また、本発明は、レジデュアルビデオデータストリームを生成する方法に関する。
【００１２】
本発明は、一実施例として、複数個のデータブロックに対する基準ブロックを決定するステップと、これらの基準ブロックと前記複数個のデータブロックに基づいて一連の残余データブロックを生成するステップと、を含むことができる。前記一連の残余データブロックのデータは、サイクルごとにデータストリームからパースされる。したがって、よりＤＣ成分に近いデータが、シーケンス内で以降のレジデュアルデータブロック内に存在する場合、前記シーケンス内の少なくとも一つの以前のレジデュアルデータブロックを、１サイクルの間、スキップすることができる。
また、本発明は、第１ピクチャレイヤのイメージブロックを復元する装置及び残余ビデオデータストリームを生成する装置に関する。
【産業上の利用可能性】
【００１３】
本発明は、移動通信端末機などに実装されたり、または、記録媒体を再生する装置に実装されることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施例について、添付の図面を参照しつつ詳細に説明する。図面中、同一の構成要素には、可能な限り同一の参照符号を付する。
【００１５】
図２Ａは、本発明によるコーディング方法を行うエンコーディング装置の構成を示す図で、同図において、エンコーダ２１０は、入力される信号をエンコーディングし、ＳＮＲベースレイヤデータとＳＮＲエンハンスメントレイヤデータ（ＦＧＳデータ）を生成する。ベースレイヤは、エンハンスメントレイヤのピクチャよりも低いクオリティーのピクチャを表すことができる。ＳＮＲベースレイヤーデータの生成は本発明と関係がないので、その説明は省略し、ＦＧＳデータの生成は、下記のような方式で行われる。
【００１６】
エンコーダ２１０は、先にエンコーディングされたＳＮＲベースレイヤデータに逆量子化１１と逆変換１２を行い(必要な場合には、逆変換されたデータを拡大し)、エンコーディングされたデータとの差（エンコーディング時に発生されたエラーを補償するデータ）を求める。そして、図２Ｂに例示するように、上記の方式によって求められたフレームの各マクロブロック２４１に対して、上記と同じ方式で求められたＳＮＲエンハンスメントレイヤーフレームについて動きの予測を行って基準ブロック２４１ａを探すとともに、動きベクトル２４１ｂを求める。基準ブロックが見つけられると、エンコーダ２１０は、その基準ブロック２４１ａ内のデータと現在のマクロブロック２４１内のデータとの差分データ（すなわち、残余（ｒｅｓｉｄｕａｌ）データ）を、現在のブロック２４１としてコーディングする。この時、現在のブロック２４１に位置対応する（ｃｏ−ｌｏｃａｔｅ）ＳＮＲベースレイヤー上のブロック２４０上のデータは、差分データコーディングに用いられない。そして、求められた動きベクトル２４１ｂには適切なコーディングを行う。このような方式で１つのフレームが残余データにコーディングされると、そのフレームにＤＣＴ変換と量子化を順次に行い、ＤＣＴドメインのＦＧＳデータを生成して後段のＦＧＳコーダー２３０に供給する。この残余データブロックを生成するより具体的な実施例は、図７〜図１０で詳細に後述される。ここで、ＦＧＳエンハンスドレイヤの基準ブロック２４１ａは、基準ブロックＲｅ'として参照される。
【００１７】
ＦＧＳコーダ２３０内の主要経路コーディング部２３は、後述するＦＧＳコーディング方法を行うために、特別にブロック上のスキャン経路の位置を追跡するための変数ｓｃａｎｉｄｘ（２３ａ）を管理する。このｓｃａｎｉｄｘは、ブロック上の位置変数（以下、‘位置変数'と略す。）の名称の単なる例に過ぎず、他のいかなる名称を使用しても構わない。
【００１８】
図２Ａの装置で、エンコーディングされたＳＮＲベースデータにも、ストリーム転送のための適切なコーディングプロセスが行われるが、そのプロセスは、本発明と直接的な関連がないので、図面上での構成及びその説明は省略する。
【００１９】
図２Ａの主要経路コーディング部２３は、一つのピクチャ（これは、フレームまたはスライス(ｓｌｉｃｅ)などでありうる。）を、図１Ｂで説明した方式を用いて４ｘ４のブロックを順次に選択し、後述する図３に例示するフローチャートにしたがって該当ブロック上のデータをコーディングする。このプロセスは、後述するように、データブロックからデータストリームにデータをパースすることである。もちろん、下記で説明する方式は、図１Ｂで説明した方式でない他の方式でブロックの選択順序を使用する場合にも、各ブロックには適用されることができるので、本発明はブロックの選択順序によって制限されることはない。
【００２０】
主要経路コーディング部２３は、先ず、位置変数２３ａを初期化（例えば、位置変数＝１）することができる(Ｓ３１)。各ブロックを、指定された順序（例えば、設計選択または基準）によって選択することができる。選択されたブロックにおいては、ジグザグスキャン経路に沿ってデータ‘１’（これを‘主要データ'ともいう。）に会うまでデータ区間をコーディングし（Ｓ３２）、各ブロックにおけるコーディングされたデータ区間の最後の位置、すなわち、データ‘１’が存在する位置の値を、コーディングされた位置変数ｓｂｉｄｘ（コーディング終了データ位置指示子、または、他の適合した名称で表すことができる）として記憶する（Ｓ３３）。ここで、ブロック内のデータ値１は、ＤＣＴ係数が０でない値を持っている場合、実際の値を表すのではなく、０でない値を単純化した表示を意味することができる。この第１サイクルが終わると、位置変数２３ａを１増加させる（Ｓ３４）。サイクルの実行回数につれて位置変数２３ａの値が増加するので、位置変数２３ａはサイクル回数を表し、また、サイクル指示子として参照することができる。
【００２１】
続いて、各ブロックを再び最初から順次に選択しながら第２サイクルを行うが、選択されたブロックのコーディングされた位置変数ｓｂｉｄｘと位置変数２３ａとを比較し、位置変数２３ａが現在指示する位置が、既にコーディングされた位置か否かを確認する（Ｓ３５）。例えば、選択されたブロックのコーディング終了データ位置指示子ｓｂｉｄｘが、サイクル指示子ｓｃａｎｉｄｘと等しいまたは大きいと、この変数ｓｃａｎｉｄｘが指示する選択されたブロックの位置がコーディングされる。この時、選択されたブロックの位置は、図１Ｂのジグザグ経路に沿った位置を表すことができる。ここで、位置‘０’は、上位左側隅を表し、ジグザグ経路に沿った各位置番号は、ジグザグ経路上の以前の位置の位置番号に１を加えた値でありうる。これは、図４に示されるもので、ブロック選択順序で２個のブロックＮとＮ＋１に適用された図３のプロセスの一例である。また、図４は、各ブロックＮとＮ＋１においてデータがコーディングされる順序を示す他、コーディングがおきる間のサイクルとスキップされるサイクルを示す。図４の実施例で、表示Ａは、２次サイクルでコーディングされるブロックＮ＋１におけるデータセクションを示す。また、図４の実施例で、ブロックＮの位置“２”は、第１サイクルでコーディングされたセクション内に存在し、したがって、ブロックＮを第２サイクルでスキップすることができる。
【００２２】
ステップＳ３５に戻り、前記位置が以前にコーディングされた位置であると現在のブロックはスキップされる。そして、スキップされたブロックが現在のピクチャ内の最後のブロックでないと（Ｓ３８）、次の順序のブロックに進行する（Ｓ３９）。もし、位置変数２３ａが指示する現在の位置が、コーディングされた位置でないと、現在のブロック上で以前にコーディングされた位置（ｓｂｉｄｘが指示する位置）に続いてデータ１がある位置までコーディングする（Ｓ３６）。もちろん、コーディングされる場合には、そのブロックのコーディングされた位置変数ｓｂｉｄｘを更新する（Ｓ３７）。また、現在コーディングされたブロックが最後のブロックでないと（Ｓ３８）、次のブロックに進行する（Ｓ３９）。
【００２３】
図４の例で、マークＡは、第２サイクルによってコーディングされるブロックＮ＋１上のデータ区間を表す。また、図４の例で、ブロックＮは、位置変数ｓｃａｎｉｄｘの値が指示する位置が第１サイクルによってコーディングされた区間にあるので、第２サイクルではコーディングされずにスキップされる。
【００２４】
主要経路コーディング部２３は、最後の全ての主要データがコーディングされるまで（Ｓ４０）、前述したステップ（Ｓ３４〜Ｓ３９）を続けて行うが、これらのステップによって図４のブロックＮは第２サイクルの後に第３及び第４サイクルでも再びスキップされ（マークＢ）、第５サイクルでスキャン経路上の位置‘７’の主要データまでの区間がコーディングされる。
【００２５】
本発明による他の実施例では、以前にコーディングされた位置を記憶する代わりに、各ブロックへの一時的な行列を生成し、コーディングされたデータに対して、その一時的な行列の該当位置にコーディングされたことをマーク（例えば、１でセッティング）しておくことができる。本実施例では、位置変数２３ａが指示する現在の位置が、コーディングされた位置か否かを判断する時（Ｓ３５）、その位置変数に該当する、一時的な行列の該当位置の値がコーディングされたものとしてマークされているか否かを検査することによって判断する。
【００２６】
前述のステップで、先行するサイクルでコーディングされたデータが、転送されるデータストリーム上で前の方に配置されるので、ブロック間を比較する時、スキャン経路上、より前の方に位置する主要データは、その頻度にかかわらず先にコーディングされて転送される確率が高い。これをより明確にするために、図５は、図４の例に提示された２つのブロック（Ｎ、Ｎ＋１）におけるコーディングされるデータの列を、従来のコーディング方法に基づくデータ列と比較して示している。
【００２７】
図５の例に示すように、従来のコーディング方法と比較し、コーディングされたストリームの始めから同じ区間内では主要データの数がほとんど一致する。しかし、主要データの属性を見ると、本発明によるコーディングでは、ブロックのスキャン経路上で前の方にある主要データが、コーディングされたストリーム上で従来の方法に比べてより前の方に位置している（５０１）。ブロック上においてスキャン経路上（図５で、各ブロックの右側上端にある数が、経路上の順序を表す。）、より前の方にあるということは、後にあるデータ（ＤＣＴ係数）よりはＤＣ成分に近いことを表すので、転送するストリーム上の任意地点で転送中断が起こる場合に、本発明は、従来の方法に比べて、ＤＣ成分に近い主要データを平均的により多く転送するようになる。
【００２８】
例えば、一連の残余データブロックのデータは、サイクルごとにデータストリームにパースされる。したがって、ＤＣ成分により近いデータがシーケンス内で以降の残余データブロック内に存在する場合、該シーケンス内の少なくとも一つの以前残余データブロックを、１サイクルの間、スキップすることができる。
【００２９】
本発明による他の実施例では、位置変数２３ａが指示する位置が、コーディングされた位置か否かを確認するステップ（Ｓ３５）で、他の値を確認することができる。例えば、位置変数２３ａの値から変換された値を確認する。位置変数値の変換のための関数としてベクトルを用いても良い。すなわち、ｖｅｃｔｏｒ［０..１５］の値を事前に指定した後、確認ステップ（Ｓ３５）で、位置変数２３ａの現在の値に対応するベクトルの成分（ｖｅｃｔｏｒ［ｓｃａｎｉｄｘ］）の値が指示する位置が、既にコーディングされた位置かを確認する。ベクトル（ｖｅｃｔｏｒ［］）の成分を、｛０、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５｝のように１ずつ単調増加する値に設定すると、前述した図３の実施例と同じプロセスとなる。しかし、ベクトル（ｖｅｃｔｏｒ［］）の成分を、例えば｛３、３、３、３、７、７、７、７、１１、１１、１１、１１、１５、１５、１５、１５｝のように、位置変数ｓｃａｎｉｄｘの値より小さくない値が変換値として指定されるようにするベクトルを設定すると、各サイクルで位置変数２３ａが指示する現在の位置が既にコーディングされているとしても、その位置変数により変換された値（ｖｅｃｔｏｒ［ｓｃａｎｉｄｘ］）が、該当ブロックのコーディングされた位置変数ｓｂｉｄｘよりも大きい場合には、そのブロックでは、コーディングされた位置に続いて次のデータ１までコーディングされる。
【００３０】
したがって、変換ベクトル（ｖｅｃｔｏｒ［］）の値を適切に設定することによって、ブロックのスキャン経路上で前の方にある主要データが、コーディングされたストリーム上で従来の方法に比べてより前の方に位置する程度を調節することができる。
【００３１】
上記のように指定されるベクトルの成分を、直接デコーダ端に転送されることなくモード情報として転送することができる。例えば、モードが‘０’なら、その時に使われたベクトルは｛０、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５｝であるということを表し、モードが‘１’なら、グルーピング値がさらに伴われ、使用されたベクトルの成分を指定する。グルーピング値が４なら、４個の成分集合別に同一値が指定される。すなわち、｛３、３、３、３、７、７、７、７、１１、１１、１１、１１、１５、１５、１５、１５｝のベクトルが使われた場合には、モードが１で、グルーピング値は４が指定され、デコーダ端に転送される。そして、モードが２なら、同一値が指定される成分グループの最後の位置の値がさらに伴われる。例えばモードが２で、さらに伴われる値の集合が｛５、１０、１５｝なら、これは、使われたベクトルが｛５、５、５、５、５、５、１０、１０、１０、１０、１０、１５、１５、１５、１５、１５｝であるということを表す。
【００３２】
以下、上記のようにコーディングされたデータストリームを受信するデコーディング装置におけるデコーディング方法について説明する。
【００３３】
図６は、図２Ａの装置によってコーディングされて転送されたデータストリームをデコーディングする装置の一実施例を示すブロック図である。図６の装置に入力されるデータストリームは、前段で適切な復号化プロセスを経て圧縮が解除されたデータである。前述の方式でコーディングされたＦＧＳデータのストリームを受信すると、ＦＧＳデコーダ６１０内の主要経路デコーディング部６１１は、主要データストリームをデコーディングして各ピクチャを構成する。微細経路デコーディング部６１２は、微細データストリームをデコーディングし、各ピクチャにデータを補充することで、完全なピクチャが構成されるようにするが、この微細データデコーディングは、本発明と関連していないので、その説明は省略する。
【００３４】
主要データストリームをデコーディングする時は、主要経路デコーディング部６１１は、図３のプロセスをそのまま行う。すなわち、図３のフローチャートにおいて、コーディングプロセスがデコーディングプロセスで取り替えられたプロセスを行う。このプロセスにおいて、主要データストリームは、デコーディングされたり、一連のデータブロックにパースされる。すなわち、受信するコーディングされたＦＧＳデータの主要データストリーム上で、データ１までのデータ区間（すなわち、“０..００１”）単位で、現在選択されたブロック上にジグザグスキャニング経路に沿って満たすプロセスを意味する。そして、データを該当のブロックに満たす時、ＳＮＲベースレイヤの対応位置にある値が‘０’でない場合には（すなわち、該当のブロック上で満たす位置が微細データに該当する場合には）、その位置にはデータを満たさずにスキップするが、このスキップされる位置は、微細経路デコーディング部６１２でデータを満たすようになる。以下の説明で、「ブロックにデータを満たす」ということは、上記のように微細データが満たされる位置をスキップしながら満たすということを意味する。
【００３５】
主要経路デコーディング部６１１は、位置変数dｓｃａｎｉｄｘ（６１ａ）をまず初期化（例えば、位置変数＝１）することができる（Ｓ３１）。この変数は、また、サイクル指示子として言及することができ、現在のサイクルを示すことができる。そして、各ブロックを指定された順序で選択しながら、選択されたブロックにおいては、ジグザグスキャン経路に沿って、主要データストリーム上のデータ１までのデータ区間（“０..００１”）を、選択されたブロック上に満たし（Ｓ３２）、各ブロックにおいてデータが満たされた最後の位置、すなわち、データ‘１’が記録された位置の値を、デコーディングされた位置変数（dｓｂｉｄｘ）として記憶する（Ｓ３３）。この変数ｄｓｂｉｄｘは、満たされた最後のデータ位置指示子（ｔｈｅ  ｆｉｌｉｎｇ  ｅｎｄ  ｄａｔａ  ｌｏｃａｔｉｏｎ  ｉｎｄｉｃａｔｏｒ）として言及することができる。
【００３６】
この第１サイクルが終わると、位置変数６１ａを１増加させる（Ｓ３４）。そして、各ブロックをはじめから再び順次に選択しながら（Ｓ３４）、第２サイクルを行うが、選択されたブロックのデコーディングされた位置変数ｄｓｂｉｄｘと位置変数６１ａとを比較し、位置変数６１ａが指示する位置が、既にデータが満たされた位置なのか確認する（Ｓ３５）。すなわち、満たされた最後のデータ位置指示子ｄｓｂｉｄｘが、サイクル指示子ｄｓｃａｎｉｄｘと等しいまたは大きいと、この位置変数ｄｓｃａｎｉｄｘで指示された位置は、デコーディングされたデータを含む。
【００３７】
この位置変数ｄｓｃａｎｉｄｘで指示された位置が、データが満たされた位置なら、現在のブロックはスキップされる。このスキップされたブロックが現在のピクチャ内の最後のブロックでなければ（Ｓ３８）、次の順序のブロックに進行する（Ｓ３９）。もし、位置変数６１ａが指示する位置が、データが満たされた位置でなければ、そのブロック上で以前に満たされた位置（ｄｓｂｉｄｘが指示する位置）に続いて、主要データストリーム上でデータ１までのデータ区間を読み出して満たす（Ｓ３６）。もちろん、デコーディングされる場合には、そのブロックに対するデコーディングされた位置変数、すなわち、データが満たされた位置値ｄｓｂｉｄｘを更新する（Ｓ３７）。続いて、現在のデコーディングされたブロックが最後のブロックでなければ（Ｓ３８）、次のブロックに進行する（Ｓ３９）。
【００３８】
一方、現在デコーディングされたブロックが最後のブロックであれば、ステップＳ３４に戻る。ここで、位置変数ｄｓｃａｎｉｄｘは増加し、他のサイクルが始まる。
【００３９】
主要経路デコーディング部６１１は、現在のピクチャにおいて最後の主要データが満たされるまで（Ｓ４０）、前述したプロセス（Ｓ３４〜Ｓ３９）を続けて行い、一つのピクチャをデコーディングし、以降の主要データストリームは、次のピクチャをデコーディングするのに使用する。
【００４０】
上述したように、上記方法は、サイクルごとにデータをデータストリームから一連のデータブロックにパースする。したがって、シーケンス内で、以降のデータブロックが以前のデータブロックよりもＤＣ成分により近い空いているデータ位置を含んでいると、該シーケンス内の少なくとも一つの以前データブロックを、１サイクルの間、スキップすることができる。
【００４１】
本発明による他の実施例では、以前にデコーディングされた位置（データが満たされた位置）を記憶する代わりに、各ブロックへの一時的な行列を生成し、コーディングされたデータに対し、その一時的な行列の該当位置にデコーディングされたことをマーク（例えば、１でセッティング）しておくことができる。本実施例では、位置変数６１ａが指示する現在の位置が、デコーディングされた位置なのか否かを判断する時（Ｓ３５）、その位置変数に該当する、一時的な行列の該当位置の値がデコーディングされたものとしてマークされているか否かを検査することによって判断する。
【００４２】
上記のエンコーディングのプロセスで説明した他の実施例によって、データが満たされた位置なのか否かを確認する時（Ｓ３５）、位置変数６１ａの値の代わりに、この値を、既に指定された変換ベクトル（ｖｅｃｔｏｒ［］）に代入して得た成分値（ｖｅｃｔｏｒ［ｓｃａｎｉｄｘ］）によって指示する位置が、既にデータが満たされた位置なのかを確認することができる。既に指定された変換ベクトルの代わりに、エンコーディング端から受信したベクトルモード値（前述の例で、０、１または２）とそのモード値に伴われる情報（モード値が１と２の時）に基づいて変換ベクトルを構成して使用しても良い。
【００４３】
上記で説明されたプロセスによってＦＧＳデータストリーム（主要データと微細データ）が両方ともＤＣＴドメインのピクチャに復元され、後段のデコーダ６２０に転送される。デコーダ６２０は、各ＳＮＲエンハンスメントフレームをデコーディングするために、まず、逆量子化と逆変換（ＩＤＣＴ）を行った後、図２Ｂに例示したように、現在のフレームのマクロブロックに対して、そのマクロブロックの残余データに、動きベクトルにより指示される、先にデコーディングされた基準ブロックのデータを加算し、現在のマクロブロックの映像データを復元する。
【００４４】
前述したデコーディング装置は、移動通信端末機などに実装されたり、記録媒体を再生する装置に実装されたりすることができる。
【００４５】
以上制限された実施例に挙げて詳細に説明された本発明は、画質改善に影響を与えるデータのうち、ＤＣ成分により近いデータが確率的により多くデコーディング端に伝達されるようにすることによって、従来に比べて、転送チャンネルの変化においても平均的に良い画質のビデオ信号を提供することができる。
【００４６】
以下、本発明の好適な実施例について、添付の図面を参照しつつ詳細に説明する。
【００４７】
本発明の一実施例では、エンコーディングプロセスにおいて、ＰＦＧＳのコーディング効率を向上させるために、ＦＧＳベースレイヤのブロックＸｂに対する動きベクトルｍｖ（Ｘｂ）を微細に調整する。
【００４８】
本実施例は、エンコーディングされたＦＧＳエンハンスドレイヤのブロックＸに対するＦＧＳエンハンスドレイヤフレームを獲得することができる。ここで、ＦＧＳエンハンスドレイヤフレームは、ＦＧＳエンハンスドレイヤのブロックＸと並んで置かれたベースレイヤーのブロックＸｂに対するベースレイヤの基準フレームと、時間的に同じ位置にある。このベースレイヤの基準フレームは、前記並んで置かれた（ｃｏｌｌｏｃａｔｅｄ）ベースレイヤのブロックＸｂの基準ピクチャインデックスによって示されることができる。しかし、動きベクトルによって示されるのと同様に、上記基準フレームを参照することは、通常の知識を持つ当業者には自明な事実である。
【００４９】
エンハンスドレイヤの基準フレームが与えられた時、ピクチャの領域（例えば、部分領域）を、このエンハンスドレイヤの基準フレームから復元することができる。この領域は、ベースレイヤのブロックＸｂの動きベクトルｍｖ（Ｘｂ）が示すブロックを含むことができる。すなわち、ｍｖ（Ｘｂ）が指示する（ブロックＸｂの動き予測の基準となる基準インデックスに該当する）基準フレーム内のｍｖ（Ｘｂ）が指示するブロックを含む領域（前記基準フレームのＦＧＳエンハンスドレイヤを復元したピクチャの一部領域）を検索し、前記ブロックＸとのイメージ差が最も小さいブロック、すなわち、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）が最小となるブロック（Ｒｅ）を選択することができる。ここで、ＳＡＤは、前記２つのブロックで、対応するピクセル間の絶対値差の和を意味する。そして、前記ブロックＸから前記選択されたブロックへの動きベクトルｍｖ（Ｘ）を計算する。
【００５０】
この時、検索の負担を減らすために、検索の範囲は、前記ｍｖ（Ｘｂ）が指示するブロックの周辺の横、縦方向に所定の画素を含む領域に限定されることができるが、例えば、横、縦方向に１画素のみをさらに含む領域に限って検索が進行されることができる。
【００５１】
また、検索の程度、すなわち、ＳＡＤが最小となるブロックを探すために、前記ブロックＸを移動させる単位は、画素単位であっても良く、または、１／２画素単位（ｈａｌｆ  ｐｅｌ）または１／４画素単位（ｑｕａｒｔｅｒ  ｐｅｌ）であっても良い。
【００５２】
特に、横、縦方向に１画素のみを含む領域に限って検索が進行され、また、画素単位で検索される場合、ＳＡＤが最小となる位置は、図７におけると同様に、９個の候補位置から選択される。
【００５３】
このように検索の範囲が制限される場合、図７に示すように、前記計算されたｍｖ（Ｘ）とｍｖ（Ｘｂ）との差（ｍｖｄ＿ｒｅｆ＿ｆｇｓ）が、ＦＧＳエンハンスドレイヤに含まれて転送される。前記獲得された動きベクトルｍｖ（Ｘ）と関連した前記ＦＧＳエンハンスドレイヤの基準ブロックは、エンハンスドレイヤの基準ブロックＲｅ'である。（図２Ｂを参照）
【００５４】
本発明の他の実施例では、前記ブロックＸのＦＧＳエンハンスドレイヤに対する最善の動きベクトル（ｍｖ＿ｆｇｓ）を求めるために、すなわち、前記ブロックＸのＦＧＳエンハンスドレイヤに対する最善の予測画像を生成するために、図８に示すように、前記ブロックＸに対応するＦＧＳベースレイヤであるブロックＸｂに対するｍｖ（Ｘｂ）とは独立して動き予測／予測された動きを行う。
【００５５】
この時、ｍｖ（Ｘｂ）が指示する基準フレーム（例えば、ブロックＸｂの基準ピクチャインデックスによって指示された基準フレーム）内で、前記ブロックＸのＦＧＳエンハンスドレイヤに対する予測画像（基準ブロック）を検索しても良く、他のフレームで前記ブロックＸに対する基準ブロックを検索しても良い。図７の実施例のように、動きベクトルｍｖ（Ｘ）と関連したＦＧＳエンハンスドレイヤの基準ブロックは、エンハンスドレイヤの基準ブロックＲｅ'である。
【００５６】
前者の場合、前記ブロックＸのＦＧＳエンハンスドレイヤに対する基準ブロックを検索するフレームは、前記ｍｖ（Ｘｂ）が指示する基準フレームに限定され、エンコーディングの負担が減り、また、ＦＧＳエンハンスドレイヤーに、前記基準ブロックを含むフレームに対する基準インデックスを転送する必要がないという長所がある。
【００５７】
後者の場合、前記基準ブロックを検索するフレームの数が増え、エンコーディングの負担が大きくなり、また、検索された基準ブロックを含むフレームに対する基準インデックスをさらに転送しなければならないという短所があるが、前記ブロックＸのＦＧＳエンハンスドレイヤに対する最善の予測映像を生成できるという長所がある。
【００５８】
動きベクトルをそのままエンコーディングする時には多くのビットが要求される。隣接するブロックの動きベクトルは、互いに高い関連関係を持つ傾向があるので、各動きベクトルを、周囲にある以前エンコーディングされたブロック（真左側、真上側、及び真右側にあるブロック）の動きベクトルから予測することができる。
【００５９】
現在の動きベクトル（ｍｖ）をエンコーディングする時、現在の動きベクトル（ｍｖ）と周囲のブロックの動きベクトルから予測された動きベクトル（ｍｖｐ）の差であるｍｖｄをエンコーディングして転送することが一般的である。
【００６０】
したがって、独立した動き予測動作によって求めた前記ブロックＸのＦＧＳエンハンスドレイヤに対する動きベクトルｍｖ＿ｆｇｓは、ｍｖｄ＿ｆｇｓ＝ｍｖ＿ｆｇｓｍｖｐ＿ｆｇｓによってエンコーディングされる。この時、周囲のブロックから予測して求めるｍｖｐ＿ｆｇｓは、ＦＧＳベースレイヤであるブロックＸｂの動きベクトルｍｖ（Ｘｂ）をエンコーディングする時に求めるｍｖｐがそのまま使用（例えば、ｍｖｐ＝ｍｖ（Ｘｂ））したり、前記ｍｖｐから誘導して使用（例えば、ｍｖｐ＝ｍｖ（Ｘｂ）のスケールされたバージョン）することができる。
【００６１】
前記Ｘに対応するＦＧＳベースレイヤのブロックＸｂに対する動きベクトルが２つである場合、すなわち、前記ブロックＸｂが２個の基準フレームを用いて予測された場合、前記ブロックＸのＦＧＳエンハンスドレイヤに対する動きベクトルのエンコーディングと関連したデータも２個求められるが、例えば、第１の実施例の場合、ｍｖｄ＿ｒｅｆ＿ｆｇｓ＿ｌ０／ｌ１となり、第２の実施例の場合、ｍｖｄ＿ｆｇｓ＿ｌ０／ｌ１となる。
【００６２】
上記の本発明の実施例では、ＦＧＳエンハンスドレイヤと関連してマクロブロック（または、それより小さい単位の映像ブロック）に対する動きベクトルが計算され、計算された動きベクトルがＦＧＳエンハンスドレイヤ内のマクロブロック階層に含まれてデコーダに転送されなければならない。しかし、従来のＦＧＳエンハンスドレイヤは、スライスレベルに基づいて、関連した情報が定義され、マクロブロック、サブマクロブロック、またはサブブロックレベルでは、関連した情報が定義されない。
【００６３】
したがって、本発明では、マクロブロック（それより小さい単位の映像ブロック）単位で計算された動きベクトルと関連したデータをＦＧＳエンハンスドレイヤ内に定義するために、マクロブロック階層及び／またはそれより小さい単位の映像ブロック階層を定義するためのシンタックス（ｓｙｎｔａｘ）、例えば、ｐｒｏｇｒｅｓｓｉｖｅ＿ｒｅｆｉｎｅｍｅｎｔ＿ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎ（）とｐｒｏｇｒｅｓｓｉｖｅ＿ｒｅｆｉｎｅｍｅｎｔ＿ｍｂ（ａｎｄ／ｏｒｓｕｂ＿ｍｂ）＿ｐｒｅｄ＿ｉｎ＿ｓｃａｌａｂｌｅ＿ｅｘｔｅｎｓｉｏｎ（）を新しく定義し、前記計算された動きベクトルを、前記新しく定義されたシンタックス内に書き込んで転送する。
【００６４】
一方、ＦＧＳエンハンスドレイヤを生成することは、相互に異なる空間的解像度を持つベースレイヤとエンハンスドレイヤ間にイントラベース（ｉｎｔｒａ  ｂａｓｅ）モードで予測し、イメージ差である残余データを生成することに類似している。
【００６５】
例えば、エンハンスドレイヤのブロックをＸ、このブロックＸに対応するベースレイヤのブロックをＸｂとする時、イントラベース予測による残余ブロックＲ＝Ｘ−Ｘｂである。ここで、Ｘはエンコーディングしようとするクオリティーエンハンスドレイヤのブロック、Ｘｂはクオリティーベースレイヤのブロック、Ｒ＝Ｘ−Ｘｂは、前記ブロックＸのＦＧＳエンハンスドレイヤにエンコーディングしようとする残余データに対応することができる。
【００６６】
本発明の他の実施例では、ＦＧＳエンハンスレイヤにエンコーディングされる残余データの量を減らすために、前記レジデュアルブロックＲにイントラモード予測方法を適用することができる。前記レジデュアルブロックＲのイントラモード予測のために、前記ブロックＸに対応するベースレイヤのブロックＸｂに使われたイントラモードのモード情報が同様に使われることができる。
【００６７】
前記残余ブロックＲに前記Ｘｂに使われたモード情報を適用し、残余データの差値を持つブロックＲｄを求めることができる。この求めたＲｄをＤＣＴ変換し、前記ブロックＸｂに対するＦＧＳベースレイヤデータを生成する時に使用した量子化サイズよりも小さく設定された量子化ステップサイズで量子化することで、前記ブロックＸに対するＦＧＳエンハンスドレイヤデータを生成することができる。
【００６８】
さらに他の実施例では、前記ブロックＸに対する適合な基準ブロックＲａ’を、前記ＦＧＳエンハンスドレイヤの基準ブロックＲｅ'と同じ方法で生成することができる。そして、前記ブロックＸに対するＦＧＳエンハンスドレイヤにエンコーディングしようとするレジデュアルデータであるＲを、Ｒ＝ＸＲａとし、前記レジデュアルブロックＲにイントラモード予測方法を適用することができる。この実施例で、前記エンハンスドレイヤの基準ブロックＲｅ'、そして前記適合な基準ブロックＲａ'は、ピクチャとして復元され、また、変換係数レベルでは適用されない。これは、図２Ｂに図示されている。
【００６９】
この場合、前記レジデュアルブロックＲに適用されるイントラモードは、前記ブロックＲ内の各ピクセルの平均値に基づくＤＣモードとなる。また、本発明の実施例による方法によってＲｅが生成される場合、デコーダで前記Ｒｅを生成するために必要な動きと関連した情報が、前記ブロックＸに対するＦＧＳエンハンスドレイヤデータに含まれなければならない。
【００７０】
図９は、本発明が適用されるビデオ信号エンコーディング装置の構成を示す図である。
【００７１】
図９の映像信号エンコーディング装置は、フレームシーケンスとして入力されるビデオ信号を所定の方法で動き予測し、ＤＣＴ変換し、所定の量子化ステップサイズで量子化して、ベースレイヤデータを生成するベースレイヤ（ＢＬ）エンコーダ１１０を含むことができる。また、このビデオ信号エンコーディング装置は、ＢＬエンコーダ１１０から提供される動き情報とベースレイヤデータ、及び現在のフレームに対する動き予測の基準となるフレーム（例えば、以前のフレーム）のＦＧＳエンハンスドレイヤデータを用いて、現在のフレームのＦＧＳエンハンスドレイヤを生成するＦＧＳエンハンスドレイヤ（ＦＧＳ＿ＥＬ）エンコーダ１２２を含むことができる。ＦＧＳエンハンスドレイヤ（ＦＧＳ＿ＥＬ）エンコーダ１２２は、例えば、図２Ａに示す要素を含むことができる。主要経路コーディング部２３の動作については既に説明したので、図９の実施例ではその説明を省く。また、このビデオ信号エンコーディング装置は、ＢＬエンコーダ１１０の出力データとＦＧＳ＿ＥＬエンコーダ１２２の出力データを所定の方法で多重化して出力するマクサ（ｍｕｘｅｒ）１３０を含むことができる。
【００７２】
ＦＧＳ＿ＥＬエンコーダ１２２は、ＢＬエンコーダ１１０から提供されるベースレイヤデータから、現在のフレームに対する動き予測の基準となる基準フレームのクオリティーベースレイヤ（または、ベースレイヤピクチャともいう。）を復元し、また、前記基準フレームのＦＧＳエンハンスドレイヤデータと前記復元される基準フレームのクオリティーベースレイヤを用いて、前記基準フレームのＦＧＳエンハンスドレイヤピクチャを復元する。
【００７３】
ここで、基準フレームは、現在のフレームのブロックＸに対応するＦＧＳベースレイヤのブロックであるＸｂの動きベクトルｍｖ（Ｘｂ）が指示するフレームになることができる。
【００７４】
前記基準フレームが現在のフレームの以前のフレームである場合、前記基準フレームのＦＧＳエンハンスドレイヤピクチャは、既にバッファに保存されている状態であっても良い。
【００７５】
その後、ＦＧＳ＿ＥＬエンコーダ１２２は、前記復元された基準フレームのＦＧＳエンハンスドレイヤピクチャ内で前記ブロックＸのＦＧＳエンハンスドレイヤに対する基準画像、すなわち、前記ブロックＸとのＳＡＤが最小となる基準ブロックまたは予測ブロック（Ｒｅ）を検索し、前記ブロックＸから前記検索された基準ブロック（Ｒｅ）への動きベクトルｍｖ（Ｘ）を計算する。
【００７６】
ＦＧＳ＿ＥＬエンコーダ１２２は、前記ブロックＸと前記検索された基準ブロックＲｅとの差に対してＤＣＴ変換を行ない、前記所定の量子化ステップサイズ（ＢＬエンコーダ１１０が前記ブロックＸｂに対するＦＧＳベースレイヤデータを生成する時に使用した量子化サイズ）よりも小さく設定された量子化ステップサイズで量子化し、前記ブロックＸに対するＦＧＳエンハンスドレイヤデータを生成する。
【００７７】
前記基準ブロックを予測する時、前記ＦＧＳ＿ＥＬエンコーダ１２２は、前述した本発明の第１の実施例と同様に、検索の負担を減らすために、検索の範囲を、前記ｍｖ（Ｘｂ）が指示するブロックの周辺の横、縦方向に所定の画素を含む領域に限定することができる。この場合には、ＦＧＳ＿ＥＬエンコーダ１２２は、前記計算されたｍｖ（Ｘ）とｍｖ（Ｘｂ）との差（ｍｖｄ＿ｒｅｆ＿ｆｇｓ）を、ＦＧＳエンハンスドレイヤ内に前記ブロックＸと関連付けて記録する。
【００７８】
または、ＦＧＳ＿ＥＬエンコーダ１２２は、前述した本発明の第２の実施例と同様に、前記ブロックＸのＦＧＳエンハンスドレイヤに対する最善の動きベクトル（ｍｖ＿ｆｇｓ）を求めるために、前記ｍｖ（Ｘｂ）とは独立して動き予測を行い、前記ブロックＸとのＳＡＤが最小となる基準ブロックまたは予測ブロック（Ｒｅ）を検索し、前記ブロックＸから前記検索された基準ブロック（Ｒｅ）への動きベクトルｍｖ＿ｆｇｓを計算する。
【００７９】
ここで、ｍｖ（Ｘｂ）が指示する基準フレーム内で前記ブロックＸのＦＧＳエンハンスドレイヤに対する基準ブロックを検索しても良く、前記基準フレームでない他のフレームで前記ブロックＸに対する基準ブロックを検索しても良い。
【００８０】
ＦＧＳ＿ＥＬエンコーダ１２２は、前記ブロックＸと前記検索された基準ブロックＲｅとの差に対してＤＣＴ変換を行い、前記所定の量子化ステップサイズよりも小さく設定された量子化ステップサイズで量子化することで、前記ブロックＸに対するＦＧＳエンハンスドレイヤデータを生成することができる。
【００８１】
そして、ＦＧＳ＿ＥＬエンコーダ１２２は、前記計算されたｍｖ＿ｆｇｓと周囲のブロックから予測して求めるｍｖｐ＿ｆｇｓとの差（ｍｖｄ＿ｆｇｓ）を、ＦＧＳエンハンスドレイヤ内に前記ブロックＸと関連付けて記録することができる。すなわち、ＦＧＳ＿ＥＬエンコーダ１２２は、ブロック（マクロブロックまたはそれより小さい単位の映像ブロック）単位で計算された動きベクトルと関連した情報を定義するシンタックスを、ＦＧＳエンハンスドレイヤに記録することができる。
【００８２】
前記ｍｖ（Ｘｂ）が指示する基準フレームでない他のフレームで前記ブロックＸに対する基準ブロックＲｅ'が検索される場合には、前記動きベクトルと関連した情報には、前記検索された基準ブロックＲｅを含むフレームに対する基準インデックスをさらに含むことができる。
【００８３】
エンコーディングされたデータストリームを、有線または無線でデコーディング装置に転送したり、記録媒体を媒介として伝達することができる。
【００８４】
図１０は、エンコーディングされたデータストリームをデコーディングする、本発明が適用される装置のブロック図である。
【００８５】
図１０のデコーディング装置は、受信するデータストリームからベースレイヤとエンハンスドレイヤを分離するデマクサ（ｄｅｍｕｘｅｒ）２１５、入力されるベースレイヤストリームを、定められた方式でデコーディングするＢＬデコーダ２２０、及び、ＢＬデコーダ２２０から提供される動き情報、復元されたクオリティーベスレイヤ（または、ＦＧＳベースレイヤデータ）、及びＦＧＳエンハンスドレイヤストリームを用いて、現在のフレームのＦＧＳエンハンスドレイヤピクチャを生成するＦＧＳ＿ＥＬデコーダ２３５を含んで構成されることができる。ＦＧＳ＿ＥＬデコーダ２３５は、例えば、図６に示された要素を含むことができる。主要経路コーディング部６１１の動作については既に説明したので、図１０の実施例ではその説明は省略される。
【００８６】
ＦＧＳ＿ＥＬデコーダ２３５は、まず、ＦＧＳエンハンスドレイヤストリームで現在のフレーム内のブロックＸに対する情報、すなわち、前記ブロックＸの動き予測に使われた動きベクトルと関連した情報を確認することができる。
【００８７】
現在のフレーム内のブロックＸのＦＧＳエンハンスドレイヤが、他のフレームのＦＧＳエンハンスドレイヤピクチャを基にエンコーディングされ、また、前記ブロックＸに対応する、現在のフレームのＦＧＳベースレイヤのブロックであるＸｂの動きベクトルｍｖ（Ｘｂ）が指示するブロックでない他のブロックが予測ブロックまたは基準ブロックとしてエンコーディングされた場合、前記現在のフレームのＦＧＳエンハンスドレイヤデータには、前記他のブロックを指示するための動き情報を含むことができる。
【００８８】
すなわち、このような場合、ＦＧＳエンハンスドレイヤは、ブロック（マクロブロックまたはそれより小さい単位の映像ブロック）単位で計算された動きベクトルと関連した情報が定義されるシンタックスを含む。この動きベクトルと関連した情報には、前記ブロックＸのＦＧＳエンハンスドレイヤに対する基準ブロックが検索された（基準ブロックを含む）基準フレームに対するインデックスをさらに含むことができる。
【００８９】
前記現在のフレーム内のブロックＸと関連した動き情報が前記現在のフレームのＦＧＳエンハンスドレイヤにある場合、ＦＧＳ＿ＥＬデコーダ２３５は、現在のフレームに対する動き予測の基準となった基準フレームのクオリティーベースレイヤ（ＢＬデコーダ２２０から復元されたＦＧＳベースレイヤピクチャが提供されるか、または、ＢＬデコーダ２２０から提供されるＦＧＳベースレイヤデータから復元されることができる）及び前記基準フレームのＦＧＳエンハンスドレイヤデータを用いて、前記基準フレームのＦＧＳエンハンスドレイヤピクチャを生成する。ここで、前記基準フレームは、前記ブロックＸｂの動きベクトルｍｖ（Ｘｂ）が指示するフレームになることができる。
【００９０】
また、前記基準フレームのＦＧＳエンハンスドレイヤが他のフレームのＦＧＳエンハンスドレイヤピクチャを用いてエンコーディングされていても良いが、この場合、前記基準フレームを復元する時に、前記他のフレームの復元されたピクチャが用いられる。また、前記基準フレームが現在のフレームより前のフレームである場合、前記ＦＧＳエンハンスドレイヤピクチャは既に生成されてバッファに保存されている状態であっても良い。
【００９１】
また、ＦＧＳ＿ＥＬデコーダ２３５は、前記ブロックＸと関連した動き情報を用いて、前記基準フレームのＦＧＳエンハンスドレイヤピクチャ内で、前記ブロックＸのＦＧＳエンハンスドレイヤに対する基準ブロック（Ｒｅ'）を求めることができる。
【００９２】
この時、前記ブロックＸから前記基準ブロックＲｅ'への動きベクトルｍｖ（Ｘ）を、前述した本発明の第１の実施例では、前記ブロックＸのＦＧＳエンハンスドレイヤストリームに含まれた動き情報ｍｖ＿ｒｅｆ＿ｆｇｓと、前記ブロックＸｂの動きベクトルｍｖ（Ｘｂ）との和として求められることができる。
【００９３】
また、本発明の第２の実施例では、前記動きベクトルｍｖ（Ｘ）を、前記ブロックＸのＦＧＳエンハンスドレイヤストリームに含まれた動き情報ｍｖｄ＿ｆｇｓと周囲のブロックから予測して求めるｍｖｐ＿ｆｇｓとの和として求める。この時、前記ｍｖｐ＿ｆｇｓには、ＦＧＳベースレイヤーのブロックＸｂの動きベクトルｍｖ（Ｘｂ）を計算する時に求められるｍｖｐをそのまま用いたり、または、前記ｍｖｐから誘導して用いることができる。
【００９４】
その後、ＦＧＳ＿ＥＬデコーダ２３５は、前記ブロックＸのＦＧＳエンハンスドレイヤデータを逆量子化及び逆ＤＣＴ変換し、これを前記求めた基準ブロックＲｅに加えることによって、前記ブロックＸに対するＦＧＳエンハンスドレイヤピクチャを生成することができる。
【００９５】
前述のデコーディング装置を、移動通信端末機などに実装したり、記録媒体を再生する装置に実装することができる。
【００９６】
以上説明したように、本発明によれば、ＦＧＳエンハンスドレイヤをエンコーディングしたりデコーディングする時に行なわれるＦＧＳエンハンスドレイヤピクチャに対する動き予測／予測された動きを效率的に行うことができ、ＦＧＳエンハンスドレイヤピクチャの復元に必要な動き情報を效率的に転送することができる。
【００９７】
以上開示した本発明の好適な実施例は、本発明を例示するためのもので、当業者にとっては、添付の特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、他の様々な実施例に改良、変更、代替または付加が可能であるということは自明である。
【図面の簡単な説明】
【００９８】
【図１Ａ】ビデオ信号をエンコーディングする装置を、ＦＧＳ（Ｆｉｎｅ  Ｇｒａｉｎｅｄ  Ｓｃａｌａｂｉｌｉｔｙ）データのコーディングを中心に簡略に示す図である。
【図１Ｂ】ＦＧＳデータを持つピクチャをコーディングするプロセスを例示する図である。
【図１Ｃ】ＦＧＳデータをデータストリームにコーディングする方法を示す図である。
【図２Ａ】本発明によってビデオ信号をエンコーディングする装置を、ＦＧＳデータのコーディングを中心に簡略に示す図である。
【図２Ｂ】図２Ａの装置が行う、ピクチャに対する予測された動きを示す図である。
【図３】本発明の一実施例によって、ピクチャ内の各ブロックをスキャンしながらコーディングする方法を例示するフローチャートである。
【図４】図３の方法によって、各ブロックがスキャンされたりスキップされるプロセスを例示する図である。
【図５】図３の方法によって、ＤＣ成分に近接するデータが、コーディングされたデータストリーム上でより前の方に位置することを、従来の方法に対応付けて示す図である。
【図６】図２Ａの装置によってエンコーディングされたデータストリームをデコーディングする装置の構成を概略的に示す図である。
【図７】現在のフレームのＦＧＳエンハンスドレイヤを予測するために、基準フレームのＦＧＳエンハンスドレイヤピクチャ内で、現在のフレームのＦＧＳベースレイヤの動きベクトルを微細に調整する本発明の一実施例を示す図である。
【図８】基準フレームのＦＧＳエンハンスドレイヤピクチャ内で、現在のフレーム内の任意のブロックのＦＧＳエンハンスドレイヤに対する基準ブロックを、その任意のブロックに対応するＦＧＳベースレイヤの動きベクトルと独立して検索する本発明の他の実施例を示す図である。
【図９】本発明が適用されるビデオ信号エンコーディング装置の構成を示す図である。
【図１０】エンコーディングされたデータストリームをデコーディングする、本発明が適用される装置のブロック図である。
【図１Ａ】
2009512269.tif 000003
【図１Ｂ】
2009512269.tif 000004
【図１Ｃ】
2009512269.tif 000005
【図２Ａ】
2009512269.tif 000006
【図２Ｂ】
2009512269.tif 000007
【図３】
2009512269.tif 000008
【図４】
2009512269.tif 000009
【図５】
2009512269.tif 000010
【図６】
2009512269.tif 000011
【図７】
2009512269.tif 000012
【図８】
2009512269.tif 000013
【図９】
2009512269.tif 000014
【図１０】
2009512269.tif 000015
【国際調査報告】
2009512269.tif 000016
2009512269.tif 000017