(57)【特許請求の範囲】
【請求項１】
ビデオ画像を符号化する処理方法であって、
一連の画像から得られる画像から少なくとも１つのビデオオブジェクトを、上記画像内のオブジェクトの輪郭を決めるセグメンテーションキーを形成することによって抽出する段階と、
エレメンタリストリームを形成するようＭＰＥＧ２規格に従って上記ビデオオブジェクトを符号化する段階と、
エレメンタリストリームを形成するようＭＰＥＧ２規格に従って上記ビデオオブジェクトに関する上記セグメンテーションキーを符号化する段階と、
エレメンタリストリームを形成するようＭＰＥＧ２規格に従って上記ビデオオブジェクトが挿入されるべき背景画像を符号化する段階と、
エレメンタリストリームが得られようＭＰＥＧ２規格に従って符号化される距離画像であって、上記ビデオオブジェクトの奥行きに関する相対的な位置を決める上記距離画像を計算する段階と、
ＭＰＥＧ２規格に従うプログラムストリーム又はトランスポートストリームが得られるよう１つ以上のオブジェクト、上記背景画像及び上記距離画像に関する上記エレメンタリストリームを多重化する段階とを含み、
上記画像の上記背景に関するマクロブロックは上記セグメンテーションキーに基づいて検出され、動きベクトルを等しい値にし、予測誤りがゼロとなるようにすることにより、時間的に動いているマクロブロックを符号化するためにＭＰＥＧ２規格の予測モードが使用される、
ことを特徴とする処理方法。
【請求項２】
上記距離画像は、符号化されるべきビデオ画像を供給するカメラの情報から得られることを特徴とする請求項１記載の処理方法。
【請求項３】
上記ビデオオブジェクトの符号化は、上記ビデオオブジェクト以外の画像の部分を符号化するためにＤＣ係数のみを使用し、完全な画像を符号化することによって行なわれることを特徴とする請求項１記載の処理方法。
【請求項４】
上記ビデオオブジェクトの符号化は完全な画像を符号化することによって行なわれ、上記背景を符号化するモードは符号化ビットの個数を減少するようにされることを特徴とする請求項１記載の処理方法。
【請求項５】
均一な背景の場合は、上記背景の符号化は上記ＤＣ係数のみを使用して行なわれることを特徴とする請求項４記載の処理方法。
【請求項６】
上記画像の上記背景に関するマクロブロックは上記セグメンテーションキーに基づいて検出され、
時間的に静止しているマクロブロックを符号化するためにＭＰＥＧ２規格の「スキップマクロブロック」モードが使用されることを特徴とする請求項４記載の処理方法。
【請求項７】
請求項１に記載される処理方法を実行する符号化装置であって、
ビデオオブジェクトの境界を決めるセグメンテーションキーを与えるオブジェクト抽出回路と、
エレメンタリストリームが得られるよう上記ビデオオブジェクトのテクスチャをＭＰＥＧ符号化する回路と、
エレメンタリストリームが得られるよう上記セグメンテーションキーをＭＰＥＧ符号化する回路と、
エレメンタリストリームが得られるよう背景画像をＭＰＥＧ符号化する回路及び距離画像をＭＰＥＧ符号化する回路と、
上記エレメンタリストリームを多重化させ、プログラムストリーム又はトランスポートストリームが得られる少なくとも１つの回路とを含むことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明はＭＰＥＧ２に準拠するオブジェクトに基づいた符号化処理に関する。
【背景技術】
【０００２】  ＭＰＥＧ４規格は、シーンを合成するためにオーディオビジュアルなオブジェクトを符号化することに関する。複数のオブジェクトを別々に符号化することの利点は既知である。例えば、良好なデータ圧縮は画像をセグメント化することにより得られ、関心の領域に依存する画質で符号化すること又はオブジェクトの符号化データを復号器レベルで記憶し、対応するデータの再送信を防止することが可能となる。更に、かなりの柔軟性をもってシーンを形成することが可能であり、このシーンは復号器レベルで受信した情報とは関係なく構成又は変更することが可能である。
【発明が解決しようとする課題】
【０００３】  従来技術のＭＰＥＧ２式の符号化、復号回路はビデオオブジェクトを使用することが可能ではなく、従って、ＭＰＥＧ４規格ほどは単純で柔軟性のあるような方法でシーンを構成することが出来ない。
【０００４】  本発明は上述の欠点を解消することを目的とする。
【課題を解決するための手段】
【０００５】  本発明は、ビデオ画像を符号化する処理方法であって、画像シーケンスから得られる画像から少なくとも１つのビデオオブジェクトを、その画像内のオブジェクトの輪郭を決めるセグメンテーションキーを形成することによって抽出する段階と、エレメンタリストリーム（ＥＳ）を形成するようＭＰＥＧ２規格に従って上述のビデオオブジェクトを符号化する段階と、エレメンタリストリームを形成するようＭＰＥＧ２規格に従って上述のビデオオブジェクトに関するセグメンテーションキーを符号化する段階と、エレメンタリストリームを形成するようＭＰＥＧ２規格に従って上述のオブジェクトが挿入されるべき背景画像を符号化する段階と、ＭＰＥＧ２規格に従うプログラムストリーム（ＰＳ）又はトランスポートストリーム（ＴＳ）が得られるよう１つ以上のオブジェクトに関するエレメンタリストリームと上述の背景画像に関するエレメンタリストリームとを多重化する段階とを含むことを特徴とする。
【０００６】  本発明の実施例では、上述の処理方法はビデオオブジェクトの奥行きに関する相対な配置を決める距離画像を計算する更なる段階を含み、距離画像はＭＰＥＧ２規格に従って符号化され、データトランスポートストリームで送信されるよう他のエレメンタリストリームと共に多重化されるエレメンタリストリームが得られる。
【０００７】  本発明の実施例では、距離画像は符号化されるべきビデオ画像を供給するカメラの情報から得られる。
【０００８】  本発明の実施例では、ビデオオブジェクトの符号化は、ビデオオブジェクト以外の画像の部分を符号化するためにＤＣ係数のみを使用し、完全な画像を符号化することによって行なわれる。
【０００９】  本発明の実施例ではビデオオブジェクトの符号化は完全な画像を符号化することによって行なわれ、背景の符号化のモードは符号化ビットの個数を減少させるような方法にされる。
【００１０】  本発明の実施例では、背景が均一な場合は、背景の符号化はＤＣ係数のみを使用して行なわれる。ＤＣ係数が等しい場合は、背景を符号化する費用は非常に低くなる。この処理は均一でない背景にも有効であるが、ビットレートの観点からより高い費用となる。
【００１１】  本発明の実施例では、画像の背景に関するマクロブロックが、セグメンテーションキーに基づいて検出され、これらのマクロブロックを符号化するためにＭＰＥＧ２の「スキップマクロブロック」モードにされる。
【００１２】
本発明は更に、請求項１に記載される処理方法を実施する符号化装置に係り、オブジェクトの境界を決めるセグメンテーションキーを与えるオブジェクト抽出回路と、エレメンタリストリームが得られるようビデオオブジェクトのテクスチャをＭＰＥＧ符号化する回路と、エレメンタリストリームが得られるようセグメンテーションキーをＭＰＥＧ符号化する回路と、エレメンタリストリームが得られるよう背景画像をＭＰＥＧ符号化する回路及び距離画像をＭＰＥＧ符号化する回路と、エレメンタリストリームを多重化させ、プログラムストリーム又はトランスポートストリームを供給する少なくとも１つの回路とを含むことを特徴とする。
【００１３】
本発明は更に、ＭＰＥＧ２規格に従うプログラムストリーム又はデータトランスポートストリームに係り、オブジェクトを符号化するエレメンタリストリームと、背景を符号化するエレメンタリストリームと、上記オブジェクトを決めるセグメンテーションキーを符号化するエレメンタリストリーム、距離画像を符号化するエレメンタリストリームとを含むことを特徴とする。
【００１４】  本発明は、オーディオビジュアルなオブジェクトを別々に送信するようＭＰＥＧ２に準じて多重化されたストリーム又はトランスポートストリームを使用することにある。ＭＰＥＧ２トランスポートストリームは幾つかの画像シーケンスを送信し、各画像シーケンスは符号化する前にもとの画像から抽出された例えば背景、オブジェクト、又は人のようなシーンの１つ以上の要素に対応する。従って、オブジェクトの変更すること、又はシーンの背景を変化させることは非常に単純な方法によって行なうことが可能となる。上述の要素は、特定のＭＰＥＧ２データ「プログラム」に関連する。
【００１５】  本発明の主な利点は、従来のＭＰＥＧ２符号化器及び復号器を依然として使用する一方で、ＭＰＥＧ２トランスポートストリームにおいて送信されたデータから構成されるシーンを表す画像シーケンスをより柔軟で、容易で、更に費用があまりかからない方法で形成することが可能であることである。
【００１６】  ＭＰＥＧ２データからシーンを形成すること、或いは地域、顧客等を対象とする広告を挿入する等の送信されたシーンの内容を変更することは容易にされる。
【００１７】  本発明の更なる利点は、画像を符号化する費用を、例えば画像のオブジェクトと背景の間で分けることが可能であり、それにより、オブジェクトが適当に識別されているとすると背景の質を低下させる原因となる関心のオブジェクトの符号化の品質を改善することが可能となることである。例えば、背景とオブジェクトの間のブロック効果が減衰され得る。
【００１８】  更なるエレメンタリストリームに関するデータを送信することによるビットレートの増加は、分解された画像、及び各ストリームのオブジェクトの良好な圧縮によって補償される。
【発明を実施するための形態】
【００１９】  本発明の特徴及び利点は、例によって示される以下の説明と添付図面を参照しより明確にされる。
【００２０】  ＭＰＥＧ２規格のコンテキストにおいて、ビデオオブジェクトは、ＭＥＰＧ４規格のように先験的に画成されない、つまり符号化されない。本発明は、画像オブジェクトを決めて抽出するために、例えば色相に基づきクロマキーとして既知であるような、画像をセグメント化する技術を使用することを提案する。
【００２１】  「クロマキー」技術はシーンの合成を形成するために、例えばバーチャルスタジオにおいて一般的に使用される。プレゼンタがバーチャルなセットの中を動きまわり、この背景又はセットは立体合成画像である。この技術を図１ａ、図１ｂ、図１ｃ、及び図１ｄを参照して以下に簡単に説明する。
【００２２】  図１ａは、青の背景と、前景にあるここでは犬であるビデオ「オブジェクト」から構成される画像を表す。色をフィルタリングすることによって、オブジェクトは背景から分離される。従って、クリッピングキー、セグメンテーションキー、又はαプレーンと称される画像１ｂが形成される。
【００２３】  画像１ｃは、青の背景の変わりに入れ替えられるべき新しい背景に対応する。
【００２４】  画像１ｄに示される画像では、上述の新しい背景の上にオブジェクトが重ねられる。この重ね合わせ、又はより正確にはミキシングは、例えば新しい画像の輝度／色相を以下の式に従って計算することにより行なわれる。
【００２５】  α．ａ＋（１−α）．ｃ
ただし、αは画像１ｂの、透過性とも称されるグレイレベル（例えば２５５によって割り算された輝度値）を表し、「ａ」は画像１ａの輝度／色層を表し、「ｃ」は画像１ｃの輝度／色相を表す。
【００２６】  中間的なグレイレベルは一般的にオブジェクトと背景の間の境界領域とセグメンテーションキーに対し計算され、過剰に急な遷移を防止する。このセグメンテーションキーはオブジェクトがバーチャルなオブジェクトであると非常に容易に得られる。
【００２７】  本発明のＭＰＥＧ２トランスポートストリームは各画像１ａ、１ｂ、及び１ｃに関連するエレメンタリストリームから形成される。これによって、受信レベルにおいて、ここでは犬であるオブジェクトを背景の前に置くことが可能となる。この背景はストリーム内に送信された背景である必要はなく、どこからでも得ることが可能である。
【００２８】  オブジェクト及び背景に対するテクスチャ情報と共にセグメンテーションキーに関するデータが送信される場合にのみ、中間奥行きにおいてオブジェクトを置くことが不可能となる。
【００２９】  本発明の変形では、奥行きキューをトランスポートストリームに加え、それにより上述の問題を解決する。距離画像又はｚプレーンと称される画像の符号化が行なわれ、対応するエレメンタリストリームがトランスポートストリーム内で送信される。これらの画像のグレイレベルは、関連付けられた画像の対応する画素の相対的な奥行きを表す。
【００３０】  図２は、距離画像を考慮したシーンの構成例を示す。
【００３１】  図１ａは第１のビデオオブジェクト（即ち犬）を、図１ｂは対応するセグメンテーションキーをそれぞれ表す。図２ａは原画像を表し、そこから図２ｂが得られる。図２ｂは、ここでは選手であるもう１つのビデオオブジェクトのセグメンテーションキーを表す。このセグメンテーションキーは「クロマキー」以外の処理、即ちセグメンテーションによって得られる。符号化費用が最小となるよう背景が青のクロマキーによって取って代わられた図２ｃによって、このもう１つのオブジェクトの対応するテクスチャが与えられる。図２ｄは、２つのオブジェクトの距離画像を表し、図２ｅは再合成された図である。図２ｄでは、輝度レベルが奥行きを表す。従って、白のオブジェクト（即ち選手）は最小奥行きに対応し、グレイのオブジェクト（即ち犬）は中間奥行きに対応し、黒の背景は最大奥行きに対応する。
【００３２】  図２ｅでは、犬の頭部が選手によって部分的に隠れ、このことは犬が奥行き的に、選手であるオブジェクトと競技ピッチである背景の間に置かれていることを表す。
【００３３】  距離画像を得る手段は従来技術に属する。例えば、シーンを構成する或るオブジェクトと人々の間の奥行きを測定するためにカメラに接続されたレーザの放射線を使用して対応する距離画像を得ることが可能である。
【００３４】  距離画像を使用することによって得られるシーンは「２Ｄ＋」又は「擬似３Ｄ」と称される。
【００３５】  シーンを構成するためには、６つの基本データストリームを形成することが必要であり、そのうちの３つは犬、選手、及び背景のテクスチャに係り、２つは犬と選手のセグメンテーションキーに係り、１つは完全なシーンの距離画像に関する。
【００３６】  奥行きに関する情報を付加することにより、各エレメンタリデータストリームを使用してオブジェクトを他のオブジェクトの前、又は、部分的若しくは完全に後に動かすことが可能である。
【００３７】  オブジェクトに基づいた符号化による更なるビットレートを補償する又は少なくとも制限するには、送信されるべき画像の符号化は以下に示されるように費用レベルにおいて最適化される。
【００３８】  イントラ型の画像の集まり（又はＭＰＥＧ２規格においてGroup of Picturesを表すＧＯＰ）を考慮する場合、青の背景の符号化はＤＣ係数のみを使用することによって行なわれる。実際、セグメンテーションキーが利用可能である場合は良好な品質の背景が必要ではないので、他の周波数係数を送信する必要がない。更に、これらの係数は等しい値をとるようにされ、ＤＣ係数の予測が完全となる。従って、符号化費用は最小となる。画像を符号化する際に、これらのマクロブロックはセグメンテーションキーに基づいて検出される。
【００３９】  セグメンテーションキーとビデオオブジェクトのテクスチャに関する画像については、シーンにおいて関心の点と想定される上述のビデオオブジェクトを表すためと、オブジェクトの境界を良好な精度で決めるために或る画像品質が所望される。従って、高周波係数が有利となるようフラットな重みマトリクスが使用される。セグメンテーション画像を符号化することは、非常に均一なグレイレベルを符号化することを含むので、セグメンテーション画像を符号化する費用は、全体的にオブジェクトを符号化する費用より全体的に低い。
【００４０】  時間的な圧縮が使用されると、つまりＧＯＰがインターモードで符号化されたＢ型及び／又はＰ型の画像を含む場合、均一な又は静止した背景の符号化に規格の「スキップマクロブロック」モードが使用され、このモードは符号化ビットをほとんど必要としない。同様にセグメンテーションキーとオブジェクトのテクスチャ画像の対応するマクロブロックの符号化にも使用される。
【００４１】  背景が均一でない又は静止していないが、移動が均一である場合には、全てのマクロブロックの移動ベクトルはこの移動値にされ、符号化されるべき予測誤りはゼロとなる。
【００４２】  他の場合では上述のような方法は使用されず、符号化は従来通りである。
【００４３】  一般的に、符号化データを分けることは、関心の点が一般的に１つ又は複数のビデオオブジェクトであるので背景の質を低下させる原因よりも対象に有利である。既知の原理では、様々なオブジェクトに割当てられる符号化費用を決めるために動きも考慮される場合がある。言うまでも無く、オブジェクトのセグメンテーションはＭＰＥＧ符号化、つまり画像をマクロブロックに分割することと密接に関係している。
【００４４】  このような符号化は、セグメンテーションキーとオブジェクトのテクスチャ画像を符号化する為にイントラ（Intra）画像から構成されるＧＯＰをイントラモードで５０Ｍｂｉｔ／ｓの大きさのビットレートで送信することが可能となるか、或いは双方向型のインター（Inter）符号化が使用される場合は１８Ｍｂｉｔ／ｓの大きさのビットレートで送信することが可能となる。これらのＧＯＰ構造及びビットレートはスタジオ品質の画像用に通常使用されるものである。
【００４５】  ビットレートは、送信全体に対し一定のビットレートで送信することを保証し、一方で多重化されたストリームの様々なチャネル間において可変ビットレートで送信されることを可能にするよう監視される。例えば、セグメンテーションキーに関連する画像はテクスチャよりも良好な品質で符号化され得、ビットレートは、符号化される画像の相対的な複雑さに応じて又は他のオブジェクトに対し１つのオブジェクトに与えられる意味論的な重要性に応じて様々なエレメンタリストリームに適応して割当てられ得る。
【００４６】  図３は、本発明の処理方法を実行するＭＰＥＧ２多重化装置を示す。
【００４７】  第１の画像シーケンスを表すデータストリームはオブジェクト抽出回路１の入力に送信される。この回路の第１の出力では、抽出されるオブジェクトの輪郭（αプレーン）に関するデータが得られ、ＭＰＥＧ２符号化回路２の入力に送信される。回路１の第２の出力では、抽出されるオブジェクトのテクスチャに関するデータが得られ、ＭＰＥＧ２符号化回路３の入力に送信される。符号化器２及び３の出力における（ＭＰＥＧ２規格において既知である）エレメンタリストリームＥＳはストリームマルチプレクサ回路４の第１の入力及び第２の入力に送信される。回路４は更にＭＰＥＧ２規格に従って、第３の入力から対応する音声エレメンタリトレイン（音声ＭＰＥＧ符号化器は図示せず）を受信し、更に補助入力から私的データ、サービス情報、条件付きアクセスコマンド、及びクロックを規格に従って受信し、規格はこれらの信号に関する更なる情報の為に参照される場合がある。
【００４８】  第２の画像シーケンスを表す第２のデータストリームが第３のＭＰＥＧ符号化器５に送信され、再構成されるシーケンスの背景を表す画像が符号化される。ビデオ符号化器５の出力はビデオエレメンタリストリームを第２のマルチプレクサ６の第１の入力に送信し、音声エレメンタリストリーム（音声ＭＰＥＧ符号化器は図示せず）を第２の入力に、私的データ、サービス情報、条件付きアクセスコマンド、及びクロックを補助入力に送信する。
【００４９】  様々なＭＰＥＧ２プログラムを表すマルチプレクサ回路４及び６の出力は、第３のマルチプレクサ７の入力に送信され、マルチプレクサ７の出力はトランスポートストリームＴＳとなる。
【００５０】  本実施例では、第１のマルチプレクサはオブジェクトの符号化に割当てられ、第２のマルチプレクサは背景の符号化に割当てられる。各マルチプレクサ４及び６から出て、エレメンタリストリームから構成されるプログラムは、マルチプレクサ７によって多重化され、トランスポートストリーム（ＴＳ）が得られる。
【００５１】  距離画像もトランスポートストリームで送信されることが可能である。セグメンテーション画像、つまり画像内で選択されたオブジェクトを決めるエレメンタリストリームに追加して、距離画像、つまり奥行きに関しオブジェクトのそれぞれの位置を決めるＭＰＥＧエレメンタリストリームは１つ以上のオブジェクトを決めるテクスチャストリームに関連付けられる。このエレメンタリストリームはマルチプレクサ回路７の入力に送信されて他のプログラムが得られる。
【００５２】  同一のプログラムに対し、エレメンタリストリームから形成された様々なチャネルは従って互いに完全に同期され、ＰＣＲクロック、及びＤＴＳ／ＰＴＳラベル（ＭＰＥＧ規格に記載される用語）も同様に同期される。パケット識別子ＰＩＤ（ＭＰＥＧ規格において既知である）は各チャネルに対し異なるように選択され、同じマルチプレクス内で区別ができるようにされる。
【００５３】  異なる画像シーケンスからのオブジェクトも選択することが可能である。この場合、この他の画像シーケンスに関するデータ、つまりオブジェクトのテクスチャ、この他のシーケンスのセグメンテーションキー及びビデオオブジェクトに対応する距離画像を含むプログラムを供給するよう他のマルチプレクサが使用される。距離画像は新しいオブジェクトと前のオブジェクトとを考慮することが可能である。トランスポートストリームはこのストリームと前のストリームと多重化させることによって得られる。
【００５４】  オブジェクトのテキスチャエレメンタリストリームは、例えば図１ａに対応するシーケンスのようなもとのシーケンスの符号化で有り得、青い背景の符号化は非常に低い予算で済む。
【００５５】  上述の実施例は、２つのプログラムからトランスポートストリーム（ＴＳ）を形成することを説明する。例えばデータの記憶の為の単純プログラムストリーム（ＳＰ）を形成すること、幾つかのプログラムストリームからトランスポートストリームを形成すること、又は幾つかのトランスポートストリームを形成することも考える。
【００５６】  本発明の変形では、セグメンテーションキーに関する情報は送信しない。この情報は他のデータを受信した際に再び計算される。この場合、図１を参照するに、画像１ａ及び画像１ｃのみが送信されて、画像１ｂは受信した際に再び計算される。この解決策は、送信される情報の符号化の費用を減少させること及び／又は所与の送信ビットレートに対し送信される画像の品質を改善させることが可能となる。しかし、セグメンテーションキーを符号化する費用は全体的に非常に大きいわけではないことを認識する。
【００５７】  エレメンタリストリームを得るために使用されるＭＰＥＧ符号化器は、基本的はＭＰＥＧ２符号化器であり、符号化費用を減少させるよう最適化されていることが好適である。例えば、インターモードの場合、背景を符号化する際に全てのマクロブロックの移動ベクトルが或る移動値にされ、マクロブロックをスキップさせ、従って均一な又は静止している背景の場合の符号化費用を減少させる。選択される重みマトリクスはフラットなマトリクスである。
【００５８】  説明された装置の利点は、プロダクションサイト、即ちカメラ出口において行なわれるクロマキー動作である。従って、抽出されたビデオオブジェクトを使用し異なるシーンの合成を形成することは、新しいクロマキー動作を必要とすることなく可能である。
【００５９】  本発明は、青の背景を使用すること等の、輪郭を抽出するための既知のクロマキー技術のみに制限されるものではない。セグメンテーションプレーン又は距離画像を抽出するために特定のカメラを使用すること又はカメラのパラメータを記録することも本発明の分野の一部を形成するものである。
【００６０】  本発明は、例えばバーチャルスタジオのようなスタジオ、及びビデオ送信において適用される。
【図面の簡単な説明】
【図１】  １ａ乃至１ｄは「クロマキー」技術に基づいてシーンを形成する例を示す図である。
【図２】  ２ａ乃至２ｅは距離画像を使用しシーンを形成する例を示す図である。
【図３】  本発明のトランスポートストリームを形成するためにエレメンタリストリームを多重化させる装置を示す図である。
【符号の説明】１  オブジェクト抽出回路
２、３、５  ＭＰＥＧ２符号化回路
４、６、７  ストリームマルチプレクス回路
【図１】
0005305552.tif 000002
【図２】
0005305552.tif 000003
【図３】
0005305552.tif 000004