(57)【特許請求の範囲】
【請求項１】
イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）、前方予測符号化された画像成分（Ｐ-ＶＯＰ）及び双方向予測符号化された画像成分（Ｂ-ＶＯＰ）を有する画像シーケンスの形状符号化の改良のための方法は、以下のステップを有する、すなわち、
前記双方向予測符号化された画像成分（Ｂ-ＶＯＰ）に対して、形状符号化のために参照値としてその都度前記イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）又は前記前方予測符号化された画像成分（Ｐ-ＶＯＰ）を使用し、該イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）又は前方予測符号化された画像成分（Ｐ-ＶＯＰ）は、その都度瞬時の前記双方向予測符号化された画像成分（Ｂ-ＶＯＰ）に対して比較的小さい時間間隔を有する、イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）、前方予測符号化された画像成分（Ｐ-ＶＯＰ）及び双方向予測符号化された画像成分（Ｂ-ＶＯＰ）を有する、画像シーケンスの形状符号化の改良のための方法。
【請求項２】
瞬時の双方向予測符号化された画像成分（Ｂ-ＶＯＰ）の時間的に前にある、イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）又は前方予測符号化された画像成分（Ｐ-ＶＯＰ）が欠けている場合、前記双方向予測符号化された画像成分（Ｂ-ＶＯＰ）の時間的に後に続く、イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）又は前方予測符号化された画像成分（Ｐ-ＶＯＰ）が前記双方向予測符号化された画像成分（Ｂ-ＶＯＰ）の形状符号化のための参照値として使用され、
前記瞬時の双方向予測符号化された画像成分（Ｂ-ＶＯＰ）の時間的に後にある、イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）又は前方予測符号化された画像成分（Ｐ-ＶＯＰ）が欠けている場合、前記双方向予測符号化された画像成分（Ｂ-ＶＯＰ）の時間的に前にある、イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）又は前方予測符号化された画像成分（Ｐ-ＶＯＰ）が前記双方向予測符号化された画像成分（Ｂ-ＶＯＰ）の形状符号化のための参照値として使用されることを特徴とする、請求項１記載の方法。
【請求項３】
瞬時の双方向予測符号化された画像成分（Ｂ-ＶＯＰ）が、該画像成分（Ｂ-ＶＯＰ）の時間的に前にある又は後に続く、イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）又は前方予測符号化された画像成分（Ｐ-ＶＯＰ）から同一の間隔を有する場合、常にこれら２つの画像成分のうちの１つが、前記瞬時の双方向予測符号化された画像成分の形状符号化のための参照値として使用されることを特徴とする、請求項１記載の方法。
【請求項４】
常に、瞬時の双方向予測符号化された画像成分（Ｂ-ＶＯＰ）の時間的に後に続く、イントラフレーム技術に従って符号化された画像成分（Ｉ-ＶＯＰ）又は前方予測符号化された画像成分（Ｐ-ＶＯＰ）が、前記瞬時の双方向予測符号化された画像成分の形状符号化のための参照値として使用されることを特徴とする、請求項３記載の方法。
【発明の詳細な説明】
【０００１】
従来技術
本発明は、画像シーケンスの形状符号化の改良のための方法ならびに使用に関する。
【０００２】
ＭＰＥＧ-４Verification Model Version 8.0 (VM8.0), ISO/IEC JTC1/SC29/WG11, MPEG97/N1796では、コンテクスト・ベースド算術符号化（context based arithmetic encoding ＣＡＥ）が、Ｉ（イントラフレーム）画像成分（ＶＯＰ video object plane）、Ｐ（片側動き補償前方予測符号化）画像成分（ＶＯＰ video object plane）及びＢ（双方向予測符号化）画像成分（ＶＯＰ video object plane）のバイナリ形状符号化のために利用される。
【０００３】
図１は、Ｉ−ＶＯＰ、Ｐ-ＶＯＰ及びＢ-ＶＯＰから成る画像シーケンスに対する例として、ＭＰＥＧ-１標準におけるＧＯＦ（グループ・オブ・フレームズ）構造を示す。専らイントラフレーム技術に従って符号化された画像成分はＩで示され、片側動き補償前方予測符号化された画像成分はＰで示され、これらの間にあるそれぞれ双方向予測符号化された画像成分はＢで示されている。図１の例はＧＯＦあたり４つのＰ画像成分を示し、Ｉ画像成分及び/又はＰ画像成分の間にそれぞれ２つのＢ画像成分を示している。このＧＯＦの長さは固定的にあらかじめ設定されているではなく、その都度異なる画像タイプ個数によって決定されている。ＣＡＥアルゴリズムの基本的な特徴は、瞬時のＢ-ＶＯＰの「インター」形状符号化（INTER CAE Shape Coding）において、常に時間的に後続するＶＯＰを参照値（Backward Reference ＶＯＰ）として使用し、しかもバイナリ形状参照のためにも形状モード参照（Shape Mode Reference）のためにも使用される。しかし、任意の形状のＢ-ＶＯＰはときどき時間的にこれの前にあるＶＯＰの画像内容だけに参照（Forward Reference ＶＯＰ）としてアクセスするので、現代のＣＡＥアルゴリズムによってこのＢ-ＶＯＰのバイナリ形状はＩ-ＶＯＰと同一のやり方で符号化されなければならない。これによって、このようなＢ-ＶＯＰにおいて符号化効率の著しい低下が生じてしまう。
【０００４】
本発明の利点
請求項１記載の手段によって、とりわけ双方向予測符号化された画像成分（Ｂ-ＶＯＰ）における形状符号化に対する符号化効率が改良される。本発明の方法は、Ｂ-ＶＯＰに対するタイムアダプティブ形状符号化を提供する。コンテクスト・ベースド形状符号化の間に、Ｂ-ＶＯＰは、時間的にこのＢ-ＶＯＰの前にあるＩ-ＶＯＰ乃至はＰ-ＶＯＰ（forward reference ＶＯＰ）か又は時間的に後に続く（backward reference ＶＯＰ）Ｉ-ＶＯＰ乃至はＰ-ＶＯＰかのいずれかに形状符号化の参照値としてアクセスすることができる。
【０００５】
本発明の方法は、さらに、次のことによって際立っている。すなわち、シンタックス変化が必要でなく、従って、既存の標準、例えばＭＰＥＧ-４標準における使用が簡単なやり方で可能であることによって際立っている。
【０００６】
実施例の記述
本発明では、図１に図示されているような、画像シーケンスの様々に符号化された画像成分が使用される。この場合、Ｉ-ＶＯＰは、専らイントラフレーム技術に従って符号化された画像成分である。Ｐ-ＶＯＰは片側動き補償前方予測符号化された画像成分であり、Ｂ-ＶＯＰは双方向予測符号化された画像成分である。本発明によれば、Ｂ-ＶＯＰは時間的にこのＢ-ＶＯＰの前にあるＶＯＰか又は時間的にこのＢ-ＶＯＰの後に続くＶＯＰにＣＡＥ形状符号化の間に参照値としてアクセスする。この参照値はイントラフレーム技術に従って符号化されているか又は片側動き補償前方予測符号化されている。どのＶＯＰが参照値としてセレクトされるかは以下の選択規準によって行われる：
瞬時の双方向予測符号化された画像成分Ｂ-ＶＯＰにおいて、この瞬時の双方向予測符号化された画像成分Ｂ-ＶＯＰの時間的に前にある（forward）Ｉ-ＶＯＰ乃至はＰ-ＶＯＰ又はこの瞬時の双方向予測符号化された画像成分Ｂ-ＶＯＰの時間的に後に続く（backward）Ｉ-ＶＯＰ乃至はＰ-ＶＯＰが欠けている場合、使用可能な（forward/backward）Ｉ-ＶＯＰ乃至はＰ-ＶＯＰがバイナリ形状符号化及びＣＡＥ形状符号化方法による形状モードに対する参照値として選択される。
【０００７】
forward-ＶＯＰもbackward-ＶＯＰも参照値として自由に使用可能である場合、その都度瞬時の双方向予測符号化された画像成分Ｂ-ＶＯＰに対してより小さい時間間隔を有するＶＯＰ（Ｉ-ＶＯＰ又はＰ-ＶＯＰ）がバイナリ形状参照値及び形状モード参照値として選択される。
【０００８】
瞬時のＢ-ＶＯＰがforward参照ＶＯＰに対してもbackward参照ＶＯＰに対しても同一の時間間隔を有する場合、常にこれら２つのＶＯＰのうちの１つが参照値として選択され、しかも有利には時間的にこの瞬時のＢ-ＶＯＰの後に続くＶＯＰ（backward ＶＯＰ）が選択される。
【０００９】
任意の形状を有する画像シーケンスがあり、第１の画像成分がＢ０であり、最後の画像成分がＢ７であると仮定する。例えば、
Ｂ０  Ｂ１  Ｉ２  Ｂ３  Ｂ４  Ｐ５  Ｂ６  Ｂ７
である。上記の選択規準に従って、Ｂ０及びＢ１は参照ＶＯＰとしてＩ２（イントラ）にアクセスする。というのも、forward参照ＶＯＰが存在しないからである。Ｂ３はＩ２にアクセスする。というのも、Ｂ３はＰ５よりもＩ２に対してより小さい時間間隔を有するからである。Ｂ４はＰ５（前方予測）を参照ＶＯＰとして使用する。というのも、Ｐ５は時間的には最も近くにあるＩ-又はＰ-ＶＯＰであるからである。Ｂ６及びＢ７はＰ５を同様に参照ＶＯＰとして有する。というのも、backward ＶＯＰが使用できないからである。
【００１０】
これまで一般に使用されてきたＣＡＥアルゴリズムと比べて、本発明のタイムアダプティブ形状符号化方法はＢ-ＶＯＰにおいてより効率的なバイナリ形状符号化を有する。というのも、backward参照ＶＯＰが使用できない場合にはインターＣＡＥ形状符号化も許されるからである。さらに、通常比較的小さい時間間隔を有する２つのＶＯＰの間には比較的大きな相関があり、この結果、瞬時のＢ-ＶＯＰに対して比較的小さい時間間隔を有する参照ＶＯＰの選択は形状符号化効率を著しく改良する。
【００１１】
本発明の方法は、完全にＭＰＥＧ-４ ＣＡＥアルゴリズムに依拠する。ＶＯＰ-タイムインスタンスはＶＯＰレイヤにおいて“modulo time base”及び“ＶＯＰ time increment”によって記述され（Ｐ１９７３５６０７.９におけるこれに関連する記述を参照）、ＶＯＰが使用可能であるか否かは“ＶＯＰ coded”によって示される。そのため、ＭＰＥＧ-４標準に対するシンタックス変化は必要ではない。これによって、ＭＰＥＧ-４形状符号化プロセスは、瞬時のＢ-ＶＯＰに対する参照ＶＯＰのセレクションの際の前述の選択規準に相応して修正される。
【００１２】
どのように本発明の方法が符号化効率に作用するかを以下においてテスト画像シーケンスによるシミュレーションに基づいて示す。MoMuSys-Software VM8-971016が使用された。最も重要な符号化パラメータはテーブル１にリストアップされている。この場合、Ｑｐは量子化ステップサイズを一定の大きさとして、すなわちレート適合なしで示す。ＭはＩ-ＶＯＰ及びＰ-ＶＯＰの反復系列を示す。Ｍ＝３であるならば、画像シーケンスの３つの画像成分毎にＩ-ＶＯＰ又はＰ-ＶＯＰが現れ、これらの間にＢ-ＶＯＰがある。テーブル２には実施されるシミュレーションに対する５つのテスト画像シーケンス（Video Objects）が図示されている。各シーケンスは１００個の符号化されたフレームを有する。第１のフレームだけはイントラフレーム符号化されている（Ｉ-ＶＯＰ）。Ｍ＝３によってシーケンスは表示順序
Ｉ  Ｂ*  Ｂ  Ｐ  Ｂ*  Ｂ  Ｐ  Ｂ*  Ｂ  Ｐ  Ｂ*  Ｂ  Ｐ
で示される。形状符号化の場合には*印でマーキングされたＢ-ＶＯＰがＶＭ８.０ＣＡＥアルゴリズムとは異なるやり方で符号化される。というのも、これらの*印でマーキングされたＢ-ＶＯＰは参照値としてforward参照ＶＯＰにアクセスし、他方で他のＢ-ＶＯＰはＶＭアルゴリズムの場合のように符号化されるからである。それゆえ、以下に示す改良は*印でマーキングされたＢ-ＶＯＰに基づくことを言って置かねばならない。
【００１３】
損失なしの（可逆）形状符号化のケース及び例えば１０％の再構成損失を有する損失ありの（不可逆）形状符号化のケースにおける実験結果がテーブル３及び４に図示されている。この場合、テーブル３は「可逆」のケースを示し、テーブル４は「不可逆」のケースを示す。第１の列にはそれぞれ画像シーケンスが示されている。続く２つの列にはそれぞれＶＭ８による符号化に対するノイズ間隔（ピーク信号対ノイズ比ＰＳＮＲ）及び本発明の方法（NEW）に対するノイズ間隔（ピーク信号対ノイズ比ＰＳＮＲ）が示されている。
【００１４】
最後の列には、それぞれ本発明による構造符号化の改良がパーセントで示されている。本発明の方法を利用することによって、形状符号化において１０％までのビットレート低減が達成されうる。「不可逆」形状符号化においては、本発明の方法は形状符号化効率を高めるだけでなく、動き符号化効率及びテクスチャ符号化効率も容易に高める。これは、テーブル４において形状符号化、動き符号化、テクスチャ符号化を含んだトータルビット低減が形状符号化におけるビット低減だけよりも大きい、という事実に由来する。
【００１５】
前述のように、*印でマーキングされたＢ-ＶＯＰに基づいて改良が実現する。それゆえ、*印でマーキングされたＢ-ＶＯＰだけを考察すれば、バイナリ形状符号化においてほぼ３０％までの更なるビットレート低減が可能である。
【００１６】
【表１】
0004129120.tif 000002
【００１７】
【表２】
0004129120.tif 000003
【００１８】
【表３】
0004129120.tif 000004
【００１９】
【表４】
0004129120.tif 000005
【図面の簡単な説明】
【図１】  Ｉ−ＶＯＰ，Ｐ-ＶＯＰ及びＢ-ＶＯＰから成る画像シーケンスに対する例として、ＭＰＥＧ-１標準におけるＧＯＦ（グループ・オブ・フレーム）構造を示す。
【図１】
0004129120.tif 000006