(57)【特許請求の範囲】
【請求項１】
頂点群をデータベースとする階層的形状符号化／復号方法において、
エンコーダ６３での、
注目する画像を選択するステップと、
前記注目する画像中の注目する被写体の周りの境界を規定するステップであって、前記境界が輪郭点群の組みによって規定されるステップと、
前記輪郭点群に関連した予め定義済の突出度パラメータをもち、該突出度パラメータは階層レベルで最も突出したレイヤから最も突出していないレイヤまでのレイヤの範囲を定義し、デコーダにおいて前記レイヤの番号及び前記突出度パラメータが適宜選択可能なレイヤ数を選択するステップと、
前記境界における最も突出した輪郭点群を識別し、前記最も突出した輪郭点群の組みを前記最も突出したレイヤに入れるステップと、
前記境界における次の最も突出した輪郭点群を識別し、前記選択されたレイヤの全てがその中に輪郭点群を入れられるまで、前記次の最も突出した輪郭点群の組みを前記次の最も突出したレイヤに入れるステップと、
前記全レイヤをデータベースに階層的に記憶するステップと、
デコーダ７５での、
所定の正確度での輪郭の再構成に必要な頂点群についてのレイヤの番号を決定し、ビデオ画像に再編成するステップとからなり、
前記エンコーダ６３でレイヤ毎に前記頂点群を符号化し、最初に最も粗いレベルが生成され、次いでより密なレベルがより粗いレベルに基づいて生成されることを特徴とする頂点群をデータベースとする階層的形状符号化／復号方法。
【請求項２】
異なる正確度で形状符号化するスケーラブル形状符号化ステップをさらに含むことを特徴とする請求項１記載の頂点群をデータベースとする階層的形状符号化／復号方法。
【請求項３】
ビデオ画像の形状符号化／復号を提供する装置において、
注目する画像を含むビデオ入力の入力部５２と、
前記画像中の注目する被写体を選択し、かつそこからビデオ被写体を形成する分析器５４と、
前記ビデオ画像を形状成分、テクスチュア成分および動き成分に分離し、かつ前記注目する被写体の形状成分の周りの境界およびその境界上の輪郭点群の組みを規定する処理機構５６と、
選択された輪郭点群を同じに突出した輪郭点群のレイヤに入れる選択機構であって、各レイヤは予め定義済の突出度パラメータをもち、階層レベルを定義するとともに、最初に最も粗いレベルが生成され、次いでより密なレベルがより粗いレベルに基づいて生成される選択機構５８と、
前記ビデオ被写体の各成分を前記成分を示す信号に符号化するエンコーダ６３と、
前記各成分を示す信号を多重化するマルチプレクサ７０と、
前記多重化された符号化信号を伝送する伝送機構７２と、
前記多重化された符号化信号を多重分離するデマルチプレクサ７４と、
前記各符号化信号を復号するデコーダ７５と、
前記復号された各成分信号をビデオ画像に再構成する再構成機構であって、所定のレイヤでの輪郭の再構成を行う再構成機構８２と、
再構成されたビデオ画像を出力するビデオ出力部と、
を備えていることを特徴とするビデオ画像の形状符号化／復号を提供する装置。
【請求項４】
前記ビデオ被写体の各成分を符号化した信号を記憶するためのデータベースを備え、前記各成分が前記ビデオ被写体の少なくとも最も突出した輪郭点群のレイヤを含むことを特徴とする請求項３記載のビデオ画像の形状符号化／復号を提供する装置。
【発明の詳細な説明】
【０００１】
（発明の分野）
本発明は、ビデオに取り込まれた被写体（オブジェクト）の形状の符号化／復号に関し、特に、ビデオに取り込まれた被写体（オブジェクト）の形状輪郭に沿って頂点群を参照することによってビデオに取り込まれた被写体（オブジェクト）を符号化／復号し、しかもいろいろな階層レベルで配置する頂点群の組みを異ならせるようにしその符号化／復号を行う方法および装置に関するものである。
【０００２】
（発明の背景）
内容に基づいた（コンテントベースの）符号化や取り扱いは、実現しつつあるＭＰＥＧ４規格がサポートする中心的な機能性の中の１つである。この機能性は、任意の形状の画像被写体（イメージオブジェクト）の表現および符号化を要求し、かかる符号化問題をテクスチュアおよび形状（輪郭）符号化に分け得る。
【０００３】
既知の形状認識の方法は、画像およびビデオのデータを含むコンピュータファイルの集合をファイルの種類、すなわち、ＧＩＦ、ＭＰＥＧ、およびテキストリファレンスによって検索するＷｅｂＳＥＥＫプログラムで使用されるような方法を含んでいる。
したがって、システムは、ファイルを解凍し、カラーおよび／又はテクスチュアに対するファイルの内容を分析する。画像のミニチュア版を含むアイコンが形成され、そのアイコンにより特定の画像の種類を調べることができる。
【０００４】
他の形状認識プログラムは、ＩＢＭ（登録商標）製品である“画像内容による問い合わせ（ＱＢＩＣ）”として知られている。ＱＢＩＣは、カラー、コントラスト、きめおよび方向性について画像ファイルを調べる。
限られた形状情報だけが画像分析に役立てられ、画像が全体として分析される。既知の方法は、非常に低速で、資源集約的であるし、形状を評価基準とする検索は容易に実現できない。
本発明の方法および装置は、これらの制限を克服することを意図してなされたものである。
【０００５】
（発明の要約）
本発明は、新規な形状の符号化／復号の方法を示すものである。特に、新規な階層的輪郭表現法、およびこの表現に基づいた階層的形状符号化アルゴリズムを開示する。かかる表現は、頂点群に基づく（頂点群をデータベースとする）方式による、すなわち、輪郭は輪郭上の有限の頂点群の組によって表現される。
【０００６】
この階層的形状符号化方法は、実現しつつあるＭＰＥＧ４規格のわく内で使用されることを目的としている。ＭＰＥＧ４の形状符号化の中心的な実験（ＭＰＥＧ４‐ＳＣＣＥ）は、頂点選択ステップ、頂点符号化ステップ、最新の頂点リストによる一時的予測ステップ、多角形輪郭再構成ステップ及び再構成エラー符号化からなる非階層的頂点群をデータベースとする形状符号化方法を示している。
【０００７】
本願で提案される形状符号法は、ＭＰＥＧ４‐ＳＣＣＥにおける頂点群方式を階層的表現へ拡張したものとみなすことができる。しかしながら、ＭＰＥＧ４‐ＳＣＣＥに使用された頂点選択方法を階層的な方法で頂点を抽出するために修正したとしても、この方法は必ずしも可視的に突出した頂点を選択しない。ＭＰＥＧ４‐ＳＣＣＥの方法を本明細書に示した階層的な突出頂点選択方法に置き換えることによって、可視的に突出した頂点を選択することになる。
さらに、本発明における頂点符号化は、それに応じた階層表現に反映するように修正もなされる。特に、輪郭は、その各々が所定の階層レイヤに関連している頂点群の組みによって表現されている。
【０００８】
本発明の方法は、注目する画像を選択し、注目する画像の中の注目する被写体（オブジェクト）の周りの境界を規定することであって、前記境界が、輪郭点群の組みによって規定されていることと、各々のレイヤが関連した予め定義済の突出度パラメータをもち、前記突出度パラメータが最も突出したレイヤから最も突出していないレイヤまでの範囲で規定されているレイヤ数を選択することと、前記境界における最も突出した点を特定し、かつ前記最も突出した輪郭点群を前記最も突出したレイヤに入れることと、前記境界における次の最も突出した輪郭点群を特定し、選択されたレイヤの全てが各レイヤに入れられる輪郭点群を有するまで前記次の最も突出した輪郭点群を前記次の最も突出したレイヤに入れることと、各レイヤをデータベースに階層的に記憶することを含む。
【０００９】
本発明の装置は、注目する画像を含む画像入力と、前記画像の中の注目する被写体（オブジェクト）を選択する分析器と、前記注目する被写体の周りの境界およびこの境界の輪郭点群の組みを規定する操作機構と、選択された輪郭点群を同じ突出輪郭点群の階層レイヤに入れる選択機構とを含む。
【００１０】
本発明の目的は、被写体（オブジェクト）ベースの画像およびビデオフレームワークにおける被写体の定量化可能な形状の符号化を容易にする方法および装置を提供することにある。
本発明の他の目的は、画像を各レベルが予め定義済の突出の輪郭点群を含む複数のレベルに分割する方法を提供することにある。
本発明のさらに他の目的は、内容（コンテント）ベースのデータベースに記憶された画像の高速閲覧を提供することにある。
本発明の他の目的は、画像中の形状による該画像の認識を容易にする方法および装置を提供することにある。
本発明の他の目的および長所は、図面に関して示されている下記の説明によって、明らかになる。
【００１１】
（好ましい実施例の詳細な説明）
本発明では、形状は頂点、すなわち、形状輪郭上の点によって表現される。このような表現は頂点群をデータベースとする形状表現と呼ばれる。
図１には、階層的頂点群をデータベースとする表現を決定する主要なステップを大まかに１０として示し、注目する画像を１２として示している。形状は、注目するビデオに取り込まれた被写体（ＶＯ）１４に対応するグレイレベルが“１”の値を割り当てられ、ビデオ画像の残りの部分１６が“０”とされる２進形状マップによって先ず示すことができる。境界１８は、被写体１４と残りの部分１６との間に決められる。
輪郭をトレースするステップ２０は、注目する被写体１４の境界１８上にある全てのピクセルの座標あるいは輪郭点の座標を決定する。代表的な頂点Ｓ０、Ｓ１、Ｓ２‥Ｓｎは、この輪郭点の組みから選択される。
次の２つのステップ、すなわち階層的頂点群選択２２および階層的頂点群をデータベースとする形状表現２４は、以下に詳細に記述される。
【００１２】
ここで使用されるような階層という用語は、“可視的突出度”という用語によって規定される、すなわちビデオ被写体の輪郭を表現する際に頂点群をどう組むかが重要な意味をもつ。
ベース階層レイヤ、すなわちレイヤ“０”で、最も突出している頂点群が決定され、その頂点群が注目する被写体の形状の最も突出した部分の特徴をとらえる。その後のレイヤで、より少ない突出度の点が決定される。全てのレイヤで決定された全ての頂点群の組みは、当該ビデオ被写体の輪郭の階層的表現を形成する。
異なるレイヤに属する頂点群は異なる可視的突出度を反映する。ベース階層レイヤに属する頂点群は、突出している頂点群を可能な最も少ない頂点数をもつ輪郭で表現するために使用することができる。その後のレイヤの頂点群は、正確度の増した表現を得るために順次付加される。
【００１３】
階層表示は、各組みが、階層的頂点群選択２２とここで呼ばれる手段で、階層表現で１つのレイヤを構成する複数の頂点群の組みを選択することによって形成される。多数の頂点による表現は、より高レベルの突出度によるレイヤからの頂点を結合することによって得られる。
図２は、大まかに３０として示された５つのレイヤ表現を１つの形状を例にして示す。ベースレイヤ（レイヤ０）３２は、形状３３の最も突出している特徴をとらえた８つの頂点（Ｓ００−Ｓ７０）を有する。
次に、最も突出しているレイヤ、すなわちレイヤ１（３４）は４つの頂点（Ｓ０１〜Ｓ３１）を有する。図面における表現は、再構成状態で結合されたレイヤを示しているので、より多くの頂点を付加する効果は、形状が原形を得ていくように見えることにある。レイヤ２（３６）およびレイヤ３（３８）は個々に頂点群の組みをもち、形状に付加的な特徴を加え、順次頂点群を付加し、レイヤ４（４０）の比較的滑らかな表現がテニスプレイヤーの輪郭を示しているのが分かるまでこれを続ける。
任意の指定レイヤの頂点群は、頂点群の組み（セット）を含み、すなわち、レイヤ０はセット１における頂点群の集合を有し、レイヤ１は、セット２における頂点群の集合を有し、以下同様である。
図２に示されるように、図示の各レイヤは、このレイヤのセットからの頂点群並びにより突出度の高いレイヤのレイヤセットからの頂点群を伴う形式で示されている。
【００１４】
形状表現は、画像あるいはビデオの被写体が他の被写体から分離して符号化される場合における被写体ベースの画像およびビデオ圧縮で使用されるものである。
本発明の装置５０は図３に示されている。ビデオ入力部５２からの入力は、ブロック５４で示される分析部で、ＶＯ１（５６ａ）、ＶＯ２（５６ｂ）…ＶＯｎ（５６ｎ）のようなビデオ被写体（ＶＯ）５６に分析される。
各ＶＯは、その形状成分５８、そのテクスチュア成分６０、およびその動き成分６２で定義されている。エンコーダ機構６３は、特定の形状表現、例えば、頂点群をデータベースとする表現を符号化する形状エンコーダ６４を含んでいる。テクスチュアエンコーダ６６はＶＯのカラーあるいはテクスチュアの表現を符号化するのに対して、動きエンコーダ６８はＶＯの動きの表現を符号化する。
形状エンコーダ６４で生成されたビットストリームにおいて、異なる階層レイヤにある頂点群は単一のビットストリームの中に含められ、一緒に符号化される。代えて、各レイヤにおける頂点群を、各階層レイヤが別々に符号化される別個のビットストリームに含めることができる。異なる階層レイヤに対応する異なる組みのセットが別個のビットストリームに入れられる場合、選択されたレイヤの頂点群のセットは粗いレイヤからの頂点群を使用した予測符号化ができる。
【００１５】
符号化された形状、テクスチュアおよび動きを表現する信号は、マルチプレクサ７０に伝送され、適当な種類の伝送機構７２でデマルチプレクサ７４に、次に、デコーダ７５に転送される。デコーダ７５は、特定形状デコーダ７６と、テクスチュアデコーダ７８と、動きデコーダ８０とを含んでいる。
これらＶＯは、再構成機構８２によってビデオ画像に再編成され、ビデオ出力部８４でビデオ画像として出力する。
一旦これらの信号が符号化されると、信号はマルチプレクサ７０に伝送するか、あるいはデータベースの中に入れることによりその画像を高速閲覧するといった将来の使用のために、マルチプレクサ７０に置換するか、またはマルチプレクサ７０に加えて設けたデータベースに記憶することができることを理解すべきである。この記憶された信号は後で再構成することができる。
【００１６】
本発明の方法および装置は、形状認識を容易にし、画像の再構成に際し精細度に変化を与える。すなわち、レイヤ０にあるこれらの輪郭点群だけを使用するビデオ被写体の形状の表現は、ベースレイヤ頂点群が復号化され、被写体が再構成される場合、粗い表現による画像を結果としてもたらす。より小さい突出度のレイヤからの頂点群の取り込みは、より多くのビットを使用する再構成を必要とし、より高品質の表現を結果としてもたらす。
【００１７】
形状の表現としていろいろな異なる表現があり、２進形状マップ１２は、それだけで可能な表現である。形状輪郭１８、特に、輪郭上の頂点群（Ｓ０〜Ｓｎ）による表現は、被写体の形状を容易に記述でき、被写体を取り扱うにあたり直接使用できる。
【００１８】
階層的な頂点群をデータベースとする表現は多数の応用にとって有利である。例えば、この表示は、内容ベースによる画像およびビデオデータベースを高速閲覧することを容易にする。
画像被写体は、形状を最少数の、最も突出度の高い、ともいえる頂点群で表現されたその形状で再構成することができる。ユーザは、最も突出した形状の表現がユーザが探しているものに合わない場合、他の候補にスキップすることを迅速に決定できる。したがって、ユーザは、次の候補を考慮にいれ、照会を変更又は修正する。さもなければ、ユーザは、その形状情報の付加的なレイヤを使用し被写体の再構成を要求し、被写体全体を検索するための決定を行う。
【００１９】
内容（コンテント）ベースによる画像およびビデオデータベースは、特に形状がデータベース中の被写体において主要な識別子である場合、画像内容を示す特徴の一つとして形状を直接使用することができる。このような場合、形状は階層の多重レイヤを使用して表現し得る。形状が閲覧中、必要に応じて除々に精緻化することができる場合に、高速閲覧は、形状だけに基づいて実行できる。形状が所望の被写体に属していると決定された場合、この形状および関連テクスチュアは、その被写体をユーザに提供するためにその最高の正確度で再構成することができる。
このようなデータベースにおいて、テクスチュアは階層的な方法で表現されてもよいし表現されなくてもよい。後者の場合、テクスチュア表現は、形状の最高の性能のバージョンと関連付けられることになる。このような場合に、類似度を測ること、すなわち照合の判断は階層的な方法で実行することもできる。例えば、照合スコアは、最も突出した頂点群を使用して最初に計算することができる。この下位レベルで一致が得られるかどうかの可能性について更に考察を行う。
【００２０】
階層的頂点群表現は、スケーラブル（量が可変な）形状符号化を容易にする。実施に移されつつあるＭＰＥＧ４オーディオビジュアル符号化基準と併用することを目的としている形状符号化方法がこの後に記述される。
ビデオ被写体は、提案された階層的輪郭表現を使用することによってスケーラブルにすることができる。ビデオ被写体のためのビットストリームは、デコーダ７５のようなデコーダが最高レイヤから初めてレイヤ毎に頂点を復号化できる意味で品質スケーラブルである。輪郭レンダリングに対する正確度が所望の程度に到達した場合、デコーダは復号化を中止する。
また、デコーダはレイヤ毎に頂点群を復号化でき、異なる空間解像度で符号化形状を再構成するために頂点群を使用し得るという意味で、このビットストリームが空間的にスケーラブルであるともいえる。
デコーダは、低空間解像度で形状を再構成するために選択でき、それは、デコーダは、ベースレイヤの頂点群だけを復号化することによって実施することができる。したがって、デコーダは、復号化された頂点群の座標を量子化でき、低解像度グリッド上のその最も近いノードにその頂点群を配置できる。より高い空間解像度が必要である場合、デコーダは、それに応じて量子化器を調整でき、いくつかの上位レイヤの頂点群を復号化するために選択もできる。
【００２１】
・階層的突出点群の選択方法
階層的頂点群選択方法２２は、可視的突出度に基づいており、フィシャー（Ｆｉｓｃｈｅｒ）およびボールズ（Ｂｏｌｌｅｓ）著の文献「Ｐｅｒｃｅｐｔｕａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ａｎｄ  Ｃｕｒｖｅ  Ｐａｒｔｉｔｉｏｎｉｎｇ，ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔ．Ａｎａｌ．Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌ．Ｖｏｌ．８，Ｎｏ．１，ｐｐ１００〜１０５，１９８６．」に記載された方法の階層的な拡張である。しかしながら、本方法はより正確に輪郭表現ができる。
【００２２】
この点選択方法は、突出点群の階層的抽出ができる。各階層レイヤは予め規定された突出部に相応する。この方法によって、ユーザは、抽出される全頂点群のレイヤ数および各個別レイヤで頂点群の突出度を指定できる。頂点群の突出度は、後述されるように、輪郭点とその近くの輪郭点の弦との間の距離の測定値であるＤｍａｘと呼ばれるパラメータによって決定される。
【００２３】
形状符号化アルゴリズムは、最大突出度に対応するベースレイヤにある突出点群を最初に抽出する。その後、このアルゴリズムは、最小突出度のレイヤに達するまで、次々に抽出されるレイヤにおいて突出点群を反復的に抽出する。階層的な方法の詳細は後述される。
【００２４】
図４を参照するに、輪郭上の点群は、Ｐ０、Ｐ１、．．．ＰＮ−１として順序付けられると仮定する。抽出された突出点は、Ｓ０［ｊ］、Ｓ１［ｊ］、．．．、ＳＭ（ｊ）−１［ｊ］と呼ばれる。ここで、ｊはｊ番目のレイヤを示す。
この方法には３つの主要なステップがある。
【００２５】
0003597025.tif 000002
【００２６】
0003597025.tif 000003
【００２７】
突出度とパラメータＤｍａｘの値との間の関係は、図４に示される、ここでは、より大きなＤｍａｘを有するレイヤで選択された頂点群はより顕著な形状の特性をとらえる傾向があるのに対してより小さいＤｍａｘを有するレイヤで選択された頂点群は形状をより微細にとらえる傾向があるということが分かる。
【００２８】
この方法の１つの変更された形式は、階層的な頂点群を決定する反復精緻化法を使用するもので、それを次に示す。
0003597025.tif 000004
【００２９】
0003597025.tif 000005
【００３０】
・階層的形状符号化
次に、図５を参照すると、突出頂点群選択に基づいた階層的頂点群表現を示すブロック図は大まかに２４で示されている。前述のように、このような表現は階層的形状符号化ができる。
階層的形状符号化方法は、実現しつつあるＭＰＥＧ４規格のわく内で使用されることを目的としている。ＭＰＥＧ４−ＳＣＣＥは、多角形頂点選択（ｐｏｌｙｇｏｎａｌ  ｖｅｒｔｅｘ  ｓｅｌｅｃｔｉｏｎ）ステップと、頂点符号化（ｖｅｒｔｅｘ  ｅｎｃｏｒｄｉｎｇ）ステップと、頂点リスト（ｖｅｒｔｅｘ  ｌｉｓｔ）更新による一時的予測（ｔｅｍｐｏｒａｌ  ｐｒｅｄｉｃｔｉｏｎ）ステップと、多角形輪郭再構成（ｐｏｌｙｇｏｎａｌ  ｃｏｎｔｏｕｒ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）ステップと再構成エラー符号化（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｅｒｒｏｒ  ｅｎｃｏｒｄｉｎｇ）ステップとからなる非階層的頂点群をデータベースとする形状符号化方法を述べている。
【００３１】
本形状符号化方法は、ＭＰＥＧ４‐ＳＣＣＥにおける階層的方法の拡張とみなすことができる。しかしながら、ＭＰＥＧ４‐ＳＣＣＥで使用される頂点群選択方法は階層的方法へ変更することができたとしても、この方法は、必ずしも可視的に突出した頂点群を選択しない。
ＭＰＥＧ４‐ＳＣＣＥの方法を図１に示されたようなここに記載された階層的突出頂点群選択方法、すなわちブロック２２と取り換えることによって、可視的に突出した頂点群を選択することができる。
選択された全頂点群はレイヤ９０に抽出されて、例えば、ｎ＞３の場合、図５に示されるように、レイヤ間がｎ−１の間隔をなすレイヤ９２，９４，９６および９８毎に符号化される。
さらに、本発明における頂点符号化は、階層的表現に反映するためにそれに応じても変更もなされる。特に、輪郭は、その各々が所定の階層的レイヤに関連する頂点群の組みによって表現される。各頂点はその座標およびそのレイヤ番号によって記述される。
【００３２】
・シンタックス
スケラーブル形状符号化方法は、頂点群をデータベースとするのＭＰＥＧ４‐ＳＣＣＥシンタックスの拡張を必要とする。拡張シンタックスは下記の表１〜３に示される。
【００３３】
【表１】
0003597025.tif 000006
【００３４】
【表２】
0003597025.tif 000007
【００３５】
【表３】
0003597025.tif 000008
【００３６】
上記の表において、“ｓａａｃ”は、シンタックス適応算術符号化を示し、“ｂｓｌｂｆ”は、最初が左ビットのバイナリストリングを示し、“ｕｉｍｓｂｆ”は、最初が符号がない最上位ビット間を示し、“ｖｉｃｌｂｆ”は、最初が可変長コードの左ビットを示している。
拡張シンタックスは、ＭＰＥＧ４−ＳＣＣＥの非階層的シンタックスと逆互換性がある。ｈｉｅｒａｃｈｉｃａｌ  ｖｅｒｔｅｘ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎフラグがダウン、すなわち“１”に等しくないならば、シンタックスは非階層的方法を実行する。
【００３７】
・スケーラブル符号化
階層的頂点群表現によって、デコーダに、“正確度スケーラビリティ”とみなせる機能をもたせることができ、これは、ビットストリームを復号化する部分によっては異なる正確度で輪郭を再構成することである。デコーダは、所定の正確度を得るために必要となる各頂点へのレイヤの番号を決定し、これを輪郭の再構成で使用する。
例えば、最少頂点数を使用する最善の可能な表現に関しては、デコーダは、ベースレベルの頂点群、すなわち、最も突出した頂点だけを復号化するように選択できる。より高い正確度に関しては、より少ない突出レベルに属している頂点群もまた復号化される必要がある。
【００３８】
デコーダは、例えば、使用可能なディスプレイ解像度を考慮してこの決定をすることができる。空間的スケーラブル形状符号化を実行すべく、突出部パラメータＤｍａｘとディスプレイ解像度との関係を規定することができる。高解像度ディスプレイは、通常、形状のより密な細部を表示するため、こうした装置に対しより多くの頂点群をもつレイヤを使用するような決定をデコーダは行う。
より多くの頂点群をもつレイヤを使用することは、より小さいＤｍａｘ′に関連した頂点群のレイヤを含むことを意味する。したがって、解像度が増すにつれて、より多くの頂点群のレイヤを含ませるためにＤｍａｘをより小さな値を必要とするように突出度パラメータＤｍａｘとディスプレイ解像度との関係を規定できる。
【００３９】
空間的にスケーラブル（量が可変な）な符号化アプリケーションでは、デコーダは、空間的に下位の解像度のビデオ被写体を再構成し、したがって空間的に下位の解像度のビデオ画像を再構成する。換言すると、テクスチュアおよび形状は下位空間解像度で再構成される。
空間的にスケーラブルなデコーダでは、デコーダは、最低空間解像度で被写体形状を再構成する際にベースレイヤ頂点群を使用できる。すなわち、頂点の座標はＭだけ縮小される。ここに、Ｍは、水平および垂直の寸法の両方の空間解像度の減少係数を示している。例えば、Ｍは、２、４、あるいは任意の整数であってもよい。
【００４０】
品質スケーラビリティは“正確度スケーラビリティ”とも呼ばれる。空間スケーラビリティはこの方法のより一般的なステートメントであるＤｍａｘパラメータに結びつく。
内容（コンテント）スケーラブル形状符号化は、多数のレイヤによって輪郭の重要な部分を表すことによって得られる。輪郭の重要な部分は、人間に対する場合の顔のような被写体の重要な部分を囲むレイヤの部分である。
【００４１】
本発明の方法および装置の好ましい実施例はここに開示されているけれども、修正および変更は添付された特許請求の範囲に規定されるような発明の範囲から逸脱しないでこれに対して行うことができることが理解される。
【図面の簡単な説明】
【図１】本発明の方法を示すブロック図である。
【図２】本発明に使用される階層的レイヤの概略図である。
【図３】本発明の装置のブロック図である。
【図４】階層的頂点選択方法におけるステップの図である。
【図５】階層的形状符号化方法のブロック図である。
【符号の説明】
１２…２進形状マップ、１４…被写体（ＶＯ）、１６…ビデオ画像の残りの部分、１８…境界、２０…輪郭トレース、２２…階層的頂点群選択、２４…頂点群データベースによる階層的形状表現、３０…レイヤ表現、３２…ベースレイヤ、３３…形状、３４…レイヤ１、３６…レイヤ２、３８…レイヤ３、４０…レイヤ４、５０…本発明の装置、５２…ビデオ入力部、５４…分析部、５６…ビデオ被写体、５６ａ…ビデオオブジェクト１（ＶＯ１）、５６ｂ…ビデオオブジェクト２（ＶＯ２）、５６ｎ…ビデオオブジェクトｎ（ＶＯｎ）、５８…形状成分、６０…テクスチュア成分、６２…動き成分、６３…エンコーダ機構、６４…形状エンコーダ、６６…テクスチュアエンコーダ、６８…動きエンコーダ、７０…マルチプレクサ、７２…伝送機構、７４…デマルチプレクサ、７５…デコーダ、７６…形状デコーダ、７８…テクスチュアデコーダ、８０…動きデコーダ、８２…復号化ビデオ被写体の再構成機構、８４…ビデオ出力部、９０…階層的頂点群抽出、９２…レイヤ０における頂点群の符号化、９４…レイヤ１における頂点群の符号化、９６…レイヤ２における頂点群の符号化、９８…レイヤ（Ｎ−１）における頂点群の符号化、Ｓ１〜Ｓｎ，Ｓ００〜Ｓ７０，Ｓ０１〜Ｓ３１…頂点。
【図１】
0003597025.tif 000009
【図２】
0003597025.tif 000010
【図３】
0003597025.tif 000011
【図４】
0003597025.tif 000012
【図５】
0003597025.tif 000013