(57)【要約】  本発明は、複数のオブジェクトを備えるシーンを合成する方法に関し、オブジェクトはクロミナンス成分及びルミナンス成分を備え、クロミナンス値は少なくとも２つのルミナンス値群に関連付けられ、上記方法は、第１のオブジェクトを第２のオブジェクトと混合し、混合オブジェクトをもたらす工程を備え、該工程は、第１及び第２のオブジェクトの相当するルミナンス成分と、第１の合成関数とから混合オブジェクトのルミナンス成分を生成するサブ工程と、第１及び第２のオブジェクトの相当するクロミナンス成分と、第２の合成関数とから混合オブジェクトのクロミナンス成分を生成するサブ工程とを備え、第２の合成関数は、第１の合成関数の関連値群によって変わってくる。
2007516630.tif 000002
【特許請求の範囲】
【請求項１】
複数のオブジェクトを備えるシーンを合成する方法であって、
オブジェクトは、クロミナンス成分及びルミナンス成分を備え、
クロミナンス値は、少なくとも２つのルミナンス値群に関連付けられ、
第１のオブジェクトを第２のオブジェクトと混合し、混合オブジェクトをもたらす工程を備え、該工程は、
前記第１のオブジェクト及び前記第２のオブジェクトの相当するルミナンス成分と、第１の合成関数とから前記混合オブジェクトのルミナンス成分を生成するサブ工程と、
前記第１のオブジェクト及び前記第２のオブジェクトの相当するクロミナンス成分と、第２の合成関数とから前記混合オブジェクトのクロミナンス成分を生成するサブ工程とを備え、
前記第２の合成関数は、前記第１の合成関数の関連値群によって変わってくることを特徴とする、シーンを合成する方法。
【請求項２】
請求項1記載のシーンを合成する方法であって、
前記第１の合成関数が透明度成分に基づいていることを特徴とする、シーンを合成する方法。
【請求項３】
請求項2記載のシーンを合成する方法であって、
クロミナンス値が、４つのルミナンス値及び４つの透明度値と関連付けられ、前記第２の合成関数が、前記４つの透明度値の平均であることを特徴とする、シーンを合成する方法。
【請求項４】
請求項1記載のシーンを合成する方法であって、
前記第１の合成関数が形状成分によって変わってくることを特徴とする、シーンを合成する方法。
【請求項５】
請求項4記載のシーンを合成する方法であって、
クロミナンス値が４つのルミナンス値及び４つの形状値と関連付けられ、前記第２の合成関数が、前記４つの関連形状値間の「OR」関数であることを特徴とする、シーンを合成する方法。
【請求項６】
複数のオブジェクトを備えるシーンを合成する復号器であって、
オブジェクトは、クロミナンス成分及びルミナンス成分を備え、
クロミナンス値は、少なくとも２つのルミナンス値群に関連付けられ、
第１のオブジェクトを第２のオブジェクトと混合し、混合オブジェクトをもたらす手段を備え、該混合する手段は、
前記第１のオブジェクト及び前記第２のオブジェクトの相当するルミナンス成分と、第１の合成関数とから前記混合オブジェクトのルミナンス成分を生成するルミナンス生成手段と、
前記第１のオブジェクト及び前記第２のオブジェクトの相当するクロミナンス成分と、第２の合成関数とから前記混合オブジェクトのクロミナンス成分を生成するクロミナンス生成手段とを備え、
前記第２の合成関数は、前記第１の合成関数の関連値群によって変わってくることを特徴とする復号器。
【請求項７】
コンピュータ・プログラム・プロダクトであって、
プログラムがプロセッサによって実行されると請求項1記載の合成方法を実施するプログラム命令を備えることを特徴とするコンピュータ・プログラム・プロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のオブジェクトを備えるシーンを合成する方法に関し、オブジェクトはクロミナンス成分及びルミナンス成分を備え、クロミナンス値は少なくとも２つのルミナンス値群に関連付けられ、方法は、第１のオブジェクトを第２のオブジェクトと混合し、混合オブジェクトをもたらす工程を備える。
【０００２】
本発明は更に、復号器に関し、復号器は上記方法を実施する。そのような方法は、例えば、MPEG-4ビデオ通信システムに用い得る。
【背景技術】
【０００３】
視覚シーンは、自然ビデオや、2次元や3次元の合成画像、合成グラフィクスや合成テキストなどの各種のオブジェクトを備え得る。
【０００４】
例えば移動通信システムなどのビデオ通信システムは通常、各々が符号器と復号器とを備える第１の携帯電話機と第２の携帯電話機とを備える。第１の携帯電話機から第２の携帯電話機に視覚シーンを送信するために、別々のオブジェクトが第１の携帯電話機によって符号化され、第２の携帯電話機に別個に送信される。復号器側では、シーンは、別々のオブジェクトを復号化し、更に、復号化オブジェクトをレンダリングすることによって再合成される。レンダリングは通常、シーン上にオブジェクトをマッピングすることができる幾何変換工程と、マッピングされたオブジェクトを併せて混合し、完成シーンをもたらす工程とを備える。
【０００５】
オブジェクトは通常、オブジェクトの色を構成するクロミナンスU成分及びV成分と、ルミナンスY成分とを備える。現在のオブジェクトNのオブジェクトMとの混合工程中、透明度値NalphaをオブジェクトNに関連付けることができ、透明度値は、
Pyuv=〔(255−Nalpha)*Myuv+Nalpha_y*Nyuv〕/255
になるように混合オブジェクトPのクロミナンス及びルミナンスの値Pyuvに影響を及ぼす。
【０００６】
混合オブジェクトの画素の透明度は、画素の形状に応じて得られる。透明度によって、シーンにおいて別のオブジェクトの前又は後にあるオブジェクトを判定することが可能になる。形状は、シーンのフレームの画素と関連付けられる。それによって、画素がオブジェクトの外にあるか中にあるかが分かることが可能になる。外にある場合、形状は、零の値を有し、さもなければ、１に等しい値を有する。
【０００７】
座標(x,y)を有する画素の場合、この座標に相当する形状値0又は1が採用され、この画素のルミナンスに付与される。（ルミナンス値が交差する場合、）クロミナンス値U(x,y)又はV（x,y）は、座標(2x−1,2y−1)の画素の形状である、すなわち、2x2の画素のます目の右上画素がクロミナンス値に関連付けられる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
この解決策の不都合な点の１つとして、混合オブジェクトのクロミナンスが偽であるということがある。これによって、任意の形状を有するオブジェクトの視覚品質が劣悪なものになる。この観察は、図2a乃至図2cにおける、文字「e」を備え、斜線によって表すオブジェクトの例において示す。図2aは元のオブジェクトであり、図2cは合成の結果であり、図2bは、この結果を得る方法を説明する。各々のます目は画素を表す。座標が(4,2)である画素の場合、クロミナンス成分に形状を用いることになる画素は、図2bに示す画素(3,1)である。この形状の値は、0であり、すなわち、文字「e」の外にあり、クロミナンス値は、画素値を点で表す図2cに示すように、考慮されないことになる。その結果は偽であるが、それは、クロミナンス値を考慮に入れるべきであったからであり、結果が図2aと同じはずであったからである。
【課題を解決するための手段】
【０００９】
よって、本発明の目的は、複数のオブジェクトを備えるシーンを合成する方法及び復号器を備えることにあり、オブジェクトは、クロミナンス成分及びルミナンス成分を備え、クロミナンス値は少なくとも２つのルミナンス値群に関連付けられ、方法は、第１のオブジェクトを第２のオブジェクトと混合し、混合オブジェクトをもたらす工程を備え、それによって、混合オブジェクトの視覚品質が向上する。
【００１０】
この目的で、方法が備えられ、この方法では、混合工程が、
混合オブジェクトのルミナンス成分を、第１のオブジェクト及び第２のオブジェクトの、相当するルミナンス成分からと、第１の合成関数から生成するサブ工程と、
混合オブジェクトのクロミナンス成分を、第１のオブジェクト及び第２のオブジェクトの、相当するクロミナンス成分からと、第２の合成関数から生成するサブ工程とを備え、
第２の合成関数は、第１の合成関数の、関連付けられる値群によって変わってくるものである。
【００１１】
更に、混合手段を備える復号器が備えられ、混合手段は、
混合オブジェクトのルミナンス成分を、第１のオブジェクト及び第２のオブジェクトの、相当するルミナンス成分からと、第１の合成関数から生成するルミナンス生成手段と、
混合オブジェクトのクロミナンス成分を、第１のオブジェクト及び第２のオブジェクトの、相当するクロミナンス成分からと、第２の合成関数から生成するクロミナンス生成手段とを備え、
第２の合成関数は、第１の合成関数の、関連値群によって変わってくるものである。
【００１２】
以下で詳細に分かるように、第２の合成関数に第１の合成関数の関連値群を用いることによって、オブジェクトのクロミナンス成分の精度が向上することが可能になる。
【００１３】
第１の非限定実施例によれば、第１の合成関数は形状成分によって変わってくる。
【００１４】
この第１の非限定実施例の非限定変形では、クロミナンス値は、４つのルミナンス値及び４つの形状値と関連付けられ、第２の合成関数は、４つの関連形状値間の「OR」関数である。
【００１５】
第２の非限定実施例によれば、第１の合成関数は透明度成分に基づいている。
【００１６】
この第２の非限定実施例の非限定変形では、クロミナンス値は、４つのルミナンス値及び４つの形状値と関連付けられ、第２の合成関数は、４つの透明度値の平均である。
【発明を実施するための最良の形態】
【００１７】
本発明の更なる目的、特徴及び効果は、以下の詳細説明を検討し、添付図面を参照することによって明らかになる。
【００１８】
本発明は、シーンを合成する方法に関し、シーンは複数のオブジェクトを備え、オブジェクトはクロミナンス成分及びルミナンス成分を備え、クロミナンス値は少なくとも２つのルミナンス値群に関連付けられる。
【００１９】
以下の記載では、本発明は、ビデオ形式4:2:0の場合、すなわち、１つのクロミナンスU値又はV値が４つのルミナンスY値に相当する場合を表し、クロミナンスは水平方向及び垂直方向にサブサンプリングされているが、本発明が、クロミナンス成分がルミナンス成分と比較してサブサンプリングされている何れかのビデオ形式に適用可能であることが当業者には明らかである。
【００２０】
以下の記載では、当業者がよく分かっている関数や構成は詳細に説明していないが、それは、そうすることによって、不要な詳細で本発明が分かりにくくなるからである。
【実施例】
【００２１】
図3は、復号器構造の概要を表す。同様な復号化手法が、特定のセッションのオブジェクト全てを復号化する場合に施される。
【００２２】
復号器は、逆多重化装置DEMUX(31)と、形状復号器SHDEC(32)と、動き復号器MDEC(33)と、ルミナンス成分及びクロミナンス成分を復号化するテクスチャ復号器YUVDEC(34)とを備える。再構築オブジェクトは、当業者が分かっている原理によって、動き補償回路MC(35)と、再構築回路(36)と、画像メモリMEM(37)とによって、形状情報、テクスチャ情報及び動き情報の的確な組み合わせによって得られる。
【００２３】
特定のセッションの別々のオブジェクトの復号化後、例えば、回転、ズームや縮小などの逆アフィン変換がシーンの各オブジェクトに対して施される。この目的で、「後方マッピング」と呼ばれる周知の手法が用いられる。逆アフィン変換は、画像の各画素の座標(x,y)に対して施される。現在のオブジェクトの画素のルミナンス成分、クロミナンス成分及び透明度成分が更に、座標(x,y)を有する逆変換画素を取り囲む４つの画素の間での補間、例えば双一次補間、によって得られる。
【００２４】
逆アフィン変換後、合成とも呼ぶ混合工程が行われる。オブジェクトは、所定の順序で再帰的に混ぜられる。
【００２５】
この工程では、透明度値は、シーンの各オブジェクトに関連付けられる。実際には、それによって、別のオブジェクトの前又は後にあるオブジェクトが分かることが可能になる。各オブジェクトはそれ自身のルミナンスY値、クロミナンスU値及びV値、並びに透明度alpha値を有する。通常、オブジェクトは、シーンのバックにあるものから開始して2つ単位で合成される。例えば、第１のオブジェクトNを第２のオブジェクトM上にオーバレイして混合オブジェクトPを生成する場合。混合オブジェクトPのYUV値は、オブジェクトM及びNのYUV値と、現在のオブジェクトNの透明度値によって変わってくる。よって、
Py=〔(255−Nalpha_y)*My+Nalpha_y*Ny〕/255
Puy=〔(255−Nalpha_uv)*Muv+Nalpha_uv*Nuv〕/255
であり、そのとき、
Py及びPuvは、混合オブジェクトPのルミナンスY成分及びクロミナンスUV成分の各々であり、
My及びMuvは、例えば、シーンのバックグラウンドであり、先行混合工程で計算され、記憶されている、第２のオブジェクトM、のルミナンスY成分及びクロミナンスUV成分の各々であり、
Ny、Nuvは、処理される第１のオブジェクトNのルミナンスY成分及びクロミナンスUV成分の各々であり、
Nalpha_y及びNalpha_uvは、オブジェクトNの画素に施してPy成分及びPuv成分の各々を得る透明度成分であり、
ルミナンス値は、0以上255以下である。
【００２６】
透明度成分Nalphaは、
オブジェクトの画素全てに施される大局alpha値と、
１つの値が一画素と関連付けられるいくつかのgray-alpha値と、
１つの値が一画素と関連付けられるいくつかの２値形状値との3つの項の積である。
【００２７】
なお、透明度成分及び形状成分は、ルミナンスと同様な分解能を有する。
【００２８】
特に、混合オブジェクトPのルミナンス成分は、第１及び第２のオブジェクトN及びMの相当するルミナンス成分と、第１の合成関数とから生成される。混合オブジェクトPのクロミナンス成分は、第１及び第２のオブジェクトN及びMの相当するクロミナンス成分から生成され、第２の合成関数から生成される。
【００２９】
よって、ルミナンス成分の透明度Nalpha_yは第１合成関数の関数であり、クロミナンス成分の透明度Nalpha_uvは第２合成関数の関数である。効果的には、第２の合成関数は、第１の合成関数の関連値群によって変わってくる。それによって、クロミナンス成分Puvの計算の精度向上が可能になる。
【００３０】
本発明の第１の非限定実施例によれば、第１の合成関数は、２値形状成分に基づいており、透明度成分Nalpha_uvは、大局alpha値と、gray-alpha値と、形状値Shape_uv(x,y)との積である。
【００３１】
この場合、第２の合成関数は、
画素が１から番号付けされる場合、Shape_uv(x,y)=Shape_y(2x−1.2y−1)ORShape_y(2x,2y−1)ORShape_y(2x−1,2y)ORShape_y(2x,2y)
であるような、相当する4画素の形状のORである。
【００３２】
例えば、座標が(x,y)=(2,1)である現在の画素の場合、第２の合成関数は、
Shape_uv(2,1)=shape_y(3,1)ORshape_y(4,1)ORshape_y(3,2)ORshape_y(4,2)であり、
種々の形状値Shape_y()は値0又は１を呈する。よって、クロミナンス値は、少なくとも１つのルミナンス値が、考慮される、すなわちオブジェクトNに属する、場合に、考慮される。
【００３３】
この第２の合成関数によって、図2cの、結果として生じる混合オブジェクト「e」は、元の「e」と同様にずっと良好な品質を有する。
【００３４】
透明度Nalpha_uvのgray-alpha値の場合、現在の画素のgray-alpha値、
gray_alpha_uv(x,y)=gray_alpha_y（2x−1,2y−1）
を採用してもよく、
gray-alpha_uv(x,y)=〔gray-alpha＿y(2x−1,2y−1)+gray-alpha_y(2x,2y−1)+gray-alpha_y(2x−1,2y)+gray-alpha_y(2x,2y)〕/4
のような、４つの関連画素のgray-alpha値を採用してもよい。
【００３５】
本発明の第２の非限定実施例によれば、第１の合成関数は透明度成分に基づいている。
【００３６】
この場合、第２の合成関数は、
Nalpha_uv(x,y)=〔Nalpha_y(2x−1,2y−1)+Nalpha_y(2x,2y−1)+Nalpha_y(2x−1,2y)+Nalpha_y(2x,2y)〕/4
のような、４つの関連画素の透明度の平均である。
【００３７】
この平均は、種々の方法で、例えば、重み付け係数を用いて、計算することができる。
【００３８】
透明度の値は、0以上255以下であるので、第１の実施例のように形状のみを用いる場合よりも精度の向上をもたらす。
【００３９】
本発明は、上記実施例に限定されず、本特許請求の範囲記載の本発明の技術思想及び範囲から逸脱することなく、変更及び修正を行い得ることとする。この点で、以下のコメントを最後に記す。
【００４０】
本発明は、前述の、携帯電話機上のビデオ・アプリケーションに限定されないこととする。例えば、本発明は、何らかのテキスト・メッセージ及びビデオがあればテレビに適用することができる。
【００４１】
本発明による方法は前述の実施に限定されないこととする。
【００４２】
単一のハードウェア又はソフトウェアがいくつかの機能を行うことを前提とすれば、ハードウェアとソフトウェアとの何れか又は両方によって、本発明による方法の機能を実施する数多くの方法が存在する。これは、ハードウェア集合体とソフトウェア集合体との何れか又は両方が機能を行い、よって、本発明によって、シーンを合成する方法を修正することなく単一の機能を形成することを排除するものでない。
【００４３】
ハードウェアやソフトウェアは、いくつかの方法で、すなわち、適切にプログラムされる有線電子回路や集積回路などによって、実施することができる。集積回路はコンピュータ内又は符号器内に備え得る。第2の場合には、復号器は、混合オブジェクトのルミナンス成分を、第１及び第２のオブジェクトの相当するルミナンス成分と、第１の合成関数とから生成する生成手段と、混合オブジェクトのクロミナンス成分を、第１及び第２のオブジェクトの相当するクロミナンス成分から生成するクロミナンス生成手段とを備え、第２の合成関数は前述のように、第１の合成関数の値群によって変わってくるものであり、上記手段は、前述のようにハードウェア又はソフトウェアである。
【００４４】
集積回路は、命令群を備える。よって、例えば、コンピュータ・プログラミング・メモリや復号器メモリに備えられる命令群は、合成方法の種々の工程をコンピュータ又は復号器に行わせ得る。
【００４５】
命令群は、例えばディスクなどのデータ担体を読み取ることによってプログラミング・メモリにロードし得る。サービス・プロバイダは、例えばインターネットなどの通信ネットワークを介して命令群を利用可能にし得る。
【００４６】
本特許請求の範囲における参照符号は、本特許請求の範囲を限定するものと解されないこととする。動詞「備える(to  comprise)」とその活用形とを用いていることは、本特許請求の範囲規定のもの以外の何れかの他の工程又は構成要素が存在することを排除するものでない。構成要素又は工程に先行する冠詞「a」や「an」は、そのような構成要素や工程が複数存在することを排除するもでない。
【図面の簡単な説明】
【００４７】
【図１】4:2:0形式の場合におけるクロミナンス成分及びルミナンス成分の分布を示す図である。
【図２ａ】従来技術による、シーンの混合オブジェクトのクロミナンス計算の結果を示す図である。
【図２ｂ】従来技術による、シーンの混合オブジェクトのクロミナンス計算の結果を示す別の図である。
【図２ｃ】従来技術による、シーンの混合オブジェクトのクロミナンス計算の結果を示す更に別の図である。
【図３】復号器を示す構成図である。
【図１】
2007516630.tif 000003
2007516630.tif 000004
【図３】
2007516630.tif 000005
【国際調査報告】
2007516630.tif 000006
2007516630.tif 000007
2007516630.tif 000008