(57)【特許請求の範囲】
【請求項１】
コンピュータ画像部分とピクセルベースの画像部分とを使用しキー信号を用いた混合の後に画像を符号化および復号化する方法において、
送信ユニット内で、スクリプトファイルおよび関連データのシンボル記述に基づいて第１のコンピュータ画像部分（ＣＢ）を形成し、該第１のコンピュータ画像部分のピクセル情報とピクセルベースの画像部分の対応するピクセル情報とをキー信号（Ｋ）に依存して混合して部分混合画像シーケンス（ＴＧＢ）とし、部分混合画像シーケンス（ＴＧＢ）のうちコンピュータ画像部分（ＣＢ）のピクセルによる完全なカバー領域を符号化前に除去し、低減された部分混合画像シーケンス（ＴＧＢ）と前記スクリプトファイルおよび関連データとを送信ユニットから受信ユニットへ伝送し、
受信ユニット内で、伝送されたスクリプトファイルおよび関連データのうち完全なカバー領域のみをレンダリングして第２のコンピュータ画像部分を形成し、該第２のコンピュータ画像部分を前記部分混合画像シーケンス（ＴＧＢ）の所定の領域へ挿入する
ことを特徴とする画像を符号化および復号化する方法。
【請求項２】
前記部分混合画像シーケンス（ＴＧＢ）のうちコーダのブロックサイズのコンピュータ画像部分（ＣＢ）のピクセルによる完全なカバー領域に一定の輝度値を割り当てる、請求項１に記載の方法。
【請求項３】
コンピュータ画像部分とピクセルベースの画像部分とを使用しキー信号を用いた混合の後に画像を符号化および復号化する方法において、
送信ユニット内で、スクリプトファイルおよび関連データのシンボル記述に基づいて第１のコンピュータ画像部分（ＣＢ）を形成し、該第１のコンピュータ画像部分のピクセル情報とピクセルベースの画像部分の対応するピクセル情報とをキー信号（Ｋ）に依存して混合して部分混合画像シーケンス（ＴＧＢ）とし、該部分混合画像シーケンス（ＴＧＢ）のうちコーダのブロックサイズのコンピュータ画像部分（ＣＢ）のピクセルによる完全なカバー領域に一定の輝度値を割り当て、該部分混合画像シーケンス（ＴＧＢ）と前記スクリプトファイルおよび関連データとを送信ユニットから受信ユニットへ伝送し、
受信ユニット内で、伝送されたスクリプトファイルおよび関連データのうち完全なカバー領域のみをレンダリングして第２のコンピュータ画像部分を形成し、該第２のコンピュータ画像部分を前記部分混合画像シーケンス（ＴＧＢ）の所定の領域へ挿入する
ことを特徴とする画像を符号化および復号化する方法。
【発明の詳細な説明】
コンピュータ画像部分とピクセルベースの画像部分との組み合わせを表示する画像を符号化する場合に、コンピュータグラフィックス（関連するデータをともなうスクリプトファイル）の入力データとピクセルベースの画像部分とを別個に符号化し伝送することが公知である。コンピュータ部分画像は例えばコンピュータグラフィックスから形成された画像部分であり、ピクセルベースの画像部分は例えばカメラにより記録された画像部分である。その場合グラフィックモデルは受信機ではじめてレンダリングされ、ピクセルベースの画像部分と混合される。この混合は２進動作ではないので、各ピクセルに対して、どのような比で混合すべきかの情報を付加的に伝送しなければならない。この情報はキー信号内に記憶され、従来のテレビジョンではカラーセグメンテーションによりカメラ信号から得られる（E.Fechter et al.,″Signal processing for a digital HDTV chroma key mixer″,Signal Processing:Image Communication 5,1993 417〜423頁およびT.Sprague,″Merging Digital Technology into an Analog World″,SMPTE Journal,Feb.1994,Vol.103,No.2 100〜104頁を参照）。
コンピュータ画像部分とピクセルベースの画像部分とを別個に送信ユニット内で符号化し、いわゆるキー信号、すなわちどのような比でコンピュータ画像部分のピクセルをピクセルベースの画像部分の対応するピクセルと混合すべきかを示す信号とともに伝送する方法が公知である。例えばブルーボックス記録では、このキー信号はピクセルベースの画像部分からのカラーセグメンテーションにより得られる。その場合、青色の強さは後の混合の比を示し、この混合比でコンピュータ画像部分のピクセル情報とピクセルベースの画像部分の対応するピクセル情報とが混合される。２つのピクセル情報の受信ユニット内での混合は２進混合ではない。
前記混合が２進で行われないので、そのつどの混合比に対する多くの情報を各点へキー信号により伝送しなければならない。これによりキー信号はきわめて大きな伝送容量を必要とする。しかしキー信号の情報は画像自体に対しての付加的な情報内容ではなく、複数の画像をどれだけの比で受信ユニットにおいて混合すべきかの情報であるにすぎない。
本発明の課題は、コンピュータ画像部分とピクセルベースの画像部分とから成る画像を送信ユニット内で適切に部分混合して符号化し、そこで通常付加的に必要となるキー信号の伝送を省略することである。
この課題は請求項１に示される方法により解決される。
本発明による方法は、画像シーケンスのうちピクセルベースの画像部分を符号化前にキー信号に依存して修正し、この画像部分を引き続いて効率的にブロックをベースにしたコーダ（例えばMPEG1、MPEG2など）により圧縮し、受信ユニット内で簡単に２進混合することができるようにする。これによりコンピュータ画像部分とピクセルベースの画像部分との混合比の情報を含むキー信号は大幅に省略される。
本発明による方法は公知の方法に対して特に、公知の方法では大きな伝送容量を必要としていたキー信号が低減され、これにより必要な伝送容量が低減されるという利点を有する。また、ブロックベースのコーダ（例えばMPEG1、MPEG2）などを使用する場合に画像シーケンスを効率的に符号化することができるという利点を有する。
受信ユニット内で２つの画像部分をキー信号に依存して２進混合できることにより、受信ユニットを格段に簡単に構成可能である。
本発明の別の実施形態は従属請求項に記載されている。
本発明の実施例を図１に示し、以下に詳細に説明する。図１には本発明による方法のブロック回路図が示されている。
図１に則して本発明による方法をさらに説明する。
いわゆるブルーボックス記録ではピクセルの青色の成分（青色部分）により、ピクセルベースの画像部分ＰＢとコンピュータ画像部分ＣＢとをどのように混合すべきかを定めている。これに関して、例えばコンピュータ画像部分ＣＢはコンピュータグラフィックスを意味する。ピクセルベースの画像部分ＰＢのそれぞれのピクセルの純粋な青色部分に基づいて、コンピュータ画像部分ＣＢに対応するピクセルを挿入するか否か、およびどれだけ挿入するかを決定する。その場合に青色の強さはピクセルベースの画像部分ＰＢのピクセル情報とコンピュータ画像部分ＣＢのピクセル情報との後の混合比を示す。ピクセルベースの画像部分ＰＢのピクセルが青色に着色されていない場合には、ピクセルベースの画像部分ＰＢのピクセルはコンピュータ画像部分ＣＢの対応するピクセルと混合されないままにとどめられる。
コンピュータ画像部分ＣＢに対して付加的にコンピュータモデルではマテリアル特性によりコンピュータモデルの面が透明であるか否かが示される。同様にコンピュータモデルの属性としての透明性の程度が記憶される。コンピュータモデルをピクセルベースの画像部分ＰＢ内に挿入する座標も示される。照明効果（影付け、反射など）の算出は別個に行う。これによりいわゆるレンダリングの際に、画像のどのピクセルを陰影化または明化するかを決定する。この情報をそのつど当該のそれぞれのピクセル内に流入させる。それによりこの情報はピクセルベースの画像部分ＰＢのピクセルとコンピュータ画像部分ＣＢの対応するピクセルとを混合する場合にも流入される。
キー信号Ｋを算出する場合にはまず、コンピュータモデルのレンダリングの際に、透明化、陰影化または明化して表示されなければならない全ての平面を、付加的にキー信号Ｋ内へもピクセル面の形で書き込む。その場合に透明性の程度は段階的に、グレースケール値として符号化される照明効果とともに示される。続いてさらにピクセルベースの画像部分ＰＢにおいて青色に着色されたピクセルは、その青色の強さに対応してキー信号Ｋに適切に付加される。
前述の手段により、所定のピクセルを混合すべきか否かを送信ユニットが簡単に決定できるキー信号が得られる。送信ユニット内でのこの決定には例えば次の規則をあてはめることができる。すなわちキー信号Ｋの所定のピクセルが白色の場合には、コンピュータ画像部分ＣＢの対応するピクセルを部分混合画像シーケンスＴＧＢ内へ挿入する。
ここで部分混合画像シーケンスＴＧＢは、コンピュータ画像部分ＣＢのピクセルおよびピクセルベースの部分画像ＰＢの対応するピクセルと混合されたピクセル情報を含む画像を有する画像シーケンスである。
キー信号Ｋの所定のピクセルが黒色の場合は、ピクセルベースの画像部分ＰＢの対応するピクセルを部分混合画像シーケンスＴＧＢ内へ挿入する。
キー信号Ｋの所定のピクセルがそれぞれのピクセルごとに別の輝度を有する場合には、コンピュータ画像部分ＣＢ内に含まれる情報のピクセルの色情報を、ピクセルベースの画像部分ＰＢの対応するピクセルの色情報に混合させる。この状況は例えばコンピュータ画像部分ＣＢの対象物にピクセルベースの画像部分の領域上で陰影を付ける場合に生じ、当該の領域のピクセルの色情報は変更される。このピクセル上にそのつどの対象物の陰が“落とされる”。
混合比をキー信号Ｋにより表し、送信ユニットにおいて専門家にとって公知の手段で算出する。
部分混合画像シーケンスＴＧＢを前述の手段により形成した後、その符号化前に、コンピュータ画像部分ＣＢの完全なカバー領域を部分混合画像シーケンスＴＧＢから除去する。コンピュータ画像部分ＣＢの或る領域が部分混合画像シーケンスＴＧＢの或る領域を完全にカバーするか否かの情報は、コンピュータ部分画像ＣＢの３Ｄモデルの属性に含まれる。
続いてシンボル記述に基づくスクリプトファイルおよび関連データを符号化し、さらに部分混合画像シーケンスＴＧＢを符号化し、これらを受信ユニットへ伝送する。
受信ユニットでは、コンピュータ画像部分ＣＢの完全なカバー領域のみをレンダリングし、部分混合画像シーケンスＴＧＢ内へ挿入する。この領域はコンピュータ画像部分ＣＢの属性により示され、例えば部分混合画像シーケンスＴＧＢ内部に挿入される対象物の位置である。
例えば挿入される対象物の陰影を新たに算出することは受信ユニット内ではもはや必要ない。なぜならこの算出はすでに送信ユニット内で実行されているからである。そのため受信ユニットでは純粋な２進混合のみが行われる。キー信号Ｋの伝送は省略される。
ブロックをベースにしたコーダ（例えばMPEG1、MPEG2など）を使用する場合には、部分混合画像シーケンスＴＧＢのうち、コンピュータ画像部分ＣＢのピクセルにより完全にカバーされた、コーダのブロックサイズの領域を一定値に設定すると有利である。これにより符号化はブロックをベースにしたコーダの場合きわめて効率的に形成される。
場合により行われる画像の後処理、例えば復号化された残りのコンピュータ画像ＣＢＲのエッジを平滑化するためのエイリアシング除去は受信機側ではじめて実行される。
0003839054.tif 000002