(57)【特許請求の範囲】
【請求項１】
第１のビデオ情報を表す、圧縮された第１のビデオ信号を受ける第１の入力端子と、
上記第１のビデオ情報は上記圧縮された第１のビデオ信号のピクチャに関連する変換パラメータを含むと共に上記圧縮された第１のビデオ信号の圧縮に関する情報を含み、
上記圧縮された第１のビデオ信号のピクチャに関連する上記変換パラメータを保存すると同時に、上記圧縮された第１のビデオ信号の全てを復号して上記第１のビデオ情報に対応するビデオ情報を生成する、復号器と、
当該復号された第１のビデオ情報に対応するビデオ情報と結合される第２のビデオ情報を表す第２のビデオ信号を受ける第２の入力端子と、
上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報とを結合して第３のビデオ情報を生成する結合器であって、上記結合される第２のビデオ情報の上記第１のビデオ信号のピクチャ内における位置および上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報との結合の割合を示すキー信号に従って、上記キー信号によって示されたピクチャ内の各位置において、下記式に従って上記第２のビデオ情報を上記復号された第１のビデオ情報に対応するビデオ情報と結合して上記第３のビデオ信号を生成する、
Ｃ＝ＡＫ＋（１−Ｋ）Ｂ
但し、Ｋはキー信号で示される上記結合の割合を示し、
０≦Ｋ≦１であり、
Ａは、上記第１のビデオ情報であり、
Ｂは、上記第２のビデオ情報であり、
Ｃは、上記第３のビデオ情報である、
結合器と、
上記第３のビデオ情報のピクチャの全てを符号化して、上記結合された第３のビデオ情報を表す第３のビデオ信号を生成する符号化器と
を有し、
上記符号化器は、上記第３のビデオ情報のピクチャの全てのうち、
上記第２のビデオ情報が結合されていない、上記復号された第１のビデオ情報に対応するビデオ情報のみの上記第３のビデオ情報については上記保存した変換パラメータを用い、
上記復号された第１のビデオ情報に対応するビデオ情報と上記第２のビデオ情報が結合されている上記第３のビデオ情報については、上記圧縮された第１のビデオ信号と同じ符号化方式で符号化する、
ビデオ信号処理装置。
【請求項２】
上記符号化器は、ＭＰＥＧ方式で符号化処理する、
請求項１に記載のビデオ信号処理装置。
【請求項３】
上記復号器は、上記符号化器における符号化処理に対応した復号方式で復号処理する、  請求項２に記載のビデオ信号処理装置。
【請求項４】
請求項１に記載のビデオ信号処理装置において、
上記第１のビデオ信号は、内符号化されたピクチャ及び相互符号化されたピクチャからなり、
上記符号化器は、上記圧縮された第１のビデオ信号の内符号化されたピクチャを、上記結合された第３のビデオ情報の内符号化されたピクチャとして再符号化すると共に、上記圧縮された第１のビデオ信号の相互符号化されたピクチャを、上記結合された第３のビデオ情報の相互符号化されたピクチャとして再符号化する、
ビデオ信号処理装置。
【請求項５】
請求項４に記載のビデオ信号処理装置において、
上記符号化器は、上記圧縮された第１のビデオ信号のみから得られた内部符号化されたピクチャの上記結合された第３のビデオ情報の上記少なくとも一部を少なくとも符号化するため、上記保存されている変換パラメータの１つを少なくとも再使用すると共に、上記第２のビデオ信号から少なくとも部分的に得られた、相互符号化されたピクチャの上記結合された第３のビデオ情報の少なくとも一部の少なくとも１つの変換パラメータを再符号化する、ビデオ信号処理装置。
【請求項６】
請求項４に記載のビデオ信号処理装置において、
上記符号化器は、Ｉ、Ｐ及びＢピクチャを含むビデオ情報を符号化処理するように構成されており、
上記符号化器は、上記第１のビデオ信号のＩ、Ｐ及びＢピクチャを、上記結合された第３のビデオ情報の第３のビデオ信号のそれぞれのＩ、Ｐ及びＢピクチャとして、符号化するように構成されている、
ビデオ信号処理装置。
【請求項７】
請求項６に記載のビデオ信号処理装置において、
上記符号化器は、上記第３のビデオ信号の対応するＩピクチャの全部を符号化するときに、上記第１のビデオ信号のＩピクチャに関連する少なくとも１つの保存された変換パラメータを再使用する、ビデオ信号処理装置。
【請求項８】
請求項７に記載のビデオ信号処理装置において、
上記少なくとも１つの変換パラメータは量子化パラメータである、ビデオ信号処理装置。
【請求項９】
請求項７に記載のビデオ信号処理装置において、
上記符号化器は、Ｐピクチャの全体に対する上記変換パラメータの少なくとも１つを再計算する、ビデオ信号処理装置。
【請求項１０】
請求項９に記載のビデオ信号処理装置において、
上記Ｐピクチャの全体に対して再計算された上記変換パラメータは、量子化パラメータである、ビデオ信号処理装置。
【請求項１１】
請求項７に記載のビデオ信号処理装置において、
上記符号化器は、上記Ｂピクチャの全体に対する上記変換パラメータの少なくとも１つを再計算して、符号化する、ビデオ信号処理装置。
【請求項１２】
請求項１１に記載のビデオ信号処理装置において、
上記Ｂピクチャの全体に対して再計算された上記変換パラメータは、量子化パラメータである、ビデオ信号処理装置。
【請求項１３】
請求項７に記載のビデオ信号処理装置において、
上記符号化器で使用するパラメータＤＣＴ型は、全てのピクチャにおいて、再使用される、ビデオ信号処理装置。
【請求項１４】
請求項６に記載のビデオ信号処理装置において、
上記符号化器は、
上記第２のビデオ信号から得られたのではない上記結合された第３のビデオ信号の上記対応するＩピクチャの部分を符号化するときは、上記第１のビデオ信号のＩピクチャに関連する上記少なくとも１つの保存された変換パラメータを再使用し、
上記復号された第１のビデオ情報に対応するビデオ情報に上記第２のビデオ情報が結合されて得られた結合された上記第３のビデオ信号の対応するＩピクチャの他の部分の少なくとも１つの保存されたパラメータを再計算する、
ビデオ信号処理装置。
【請求項１５】
請求項１４に記載のビデオ信号処理装置において、
上記符号化器は、上記キー信号を位置を示す情報を使用して、上記結合された第３のビデオ信号の上記Ｉピクチャの上記他の部分を示す、ビデオ信号処理装置。
【請求項１６】
請求項１４に記載のビデオ信号処理装置において、
上記少なくとも１つの保存された変換パラメータは、量子化パラメータであり、
上記符号化器は、
映像パラメータの閾値レベルに応じて、
上記第２のビデオ信号から得られた、上記結合された第３のビデオ信号の対応するＩピクチャの他の部分のための上記保存された変換パラメータであって、その上記映像パラメータが上記閾値レベルより小さいもの及び大きいもののうちの一方である、上記保存された変換パラメータを再使用し、
上記第２のビデオ信号から得られた、上記結合された第３のビデオ信号の対応するＩピクチャの他の部分のための量子化パラメータであって、その上記映像パラメータが上記閾値レベルより小さいもの及び大きいもののうちの他方である、量子化パラメータを再計算する、
ビデオ信号処理装置。
【請求項１７】
請求項１６に記載のビデオ信号処理装置において、
上記映像パラメータは上記第１のビデオ信号の量子化パラメータである、ビデオ信号処理装置。
【請求項１８】
請求項１６に記載のビデオ信号処理装置において、
上記映像パラメータは、アクティブティである、ビデオ信号処理装置。
【請求項１９】
請求項１６に記載のビデオ信号処理装置において、
上記映像パラメータは、動きベクトルの大きさである、ビデオ信号処理装置。
【請求項２０】
請求項１６に記載のビデオ信号処理装置において、
上記映像パラメータは、色の内容である、ビデオ信号処理装置。
【請求項２１】
請求項１４に記載のビデオ信号処理装置において、
上記符号化器は、上記第２のビデオ信号から得られたのではない上記第３のビデオ信号の上記Ｐピクチャの部分を再符号化するときは、上記Ｐピクチャに関連する上記保存された変換パラメータの上記少なくとも１つを再使用する、ビデオ信号処理装置。
【請求項２２】
請求項２１に記載のビデオ信号処理装置において、
上記符号化器は、上記第３のビデオ信号の上記Ｐピクチャの他の部分の上記変換パラメータの上記少なくとも１つを再計算する、ビデオ信号処理装置。
【請求項２３】
請求項２２に記載のビデオ信号処理装置において、
上記Ｐピクチャに関連する変換パラメータの上記少なくとも１つは、量子化パラメータである、ビデオ信号処理装置。
【請求項２４】
請求項１４に記載のビデオ信号処理装置において、
上記符号化器は、上記Ｂピクチャの全体の変換パラメータの少なくとも１つを再計算する、ビデオ信号処理装置。
【請求項２５】
請求項２４に記載のビデオ信号処理装置において、
上記Ｂピクチャの全部に対し再計算された上記変換パラメータは、量子化パラメータである、ビデオ信号処理装置。
【請求項２６】
請求項１４に記載のビデオ信号処理装置において、
上記符号化器で用いるパラメータＤＣＴ型は、全ピクチャで再使用される、ビデオ信号処理装置。
【請求項２７】
前記ビデオ信号処理装置がプログラム可能なコンピュータを用いて構成され、
当該コンピュータにおいて、請求項１乃至２６のいずれかの請求項に記載の処理を上記コンピュータに実行させる、
コンピュータプログラム。
【請求項２８】
信号のフレームに関連する変換パラメータを含むと共に、圧縮に関する第１のビデオ情報を表す、圧縮された第１のビデオ信号を受けるステップと、
上記第１のビデオ情報は、上記第１のビデオ信号のピクチャに関連する変換パラメータを含むと共に上記圧縮された第１のビデオ信号の圧縮に関する情報であり、
上記フレームに関連する上記変換パラメータを保存すると同時に、上記圧縮された第１のビデオ信号の全てを復号して第１のビデオ情報に対応するビデオ情報を生成するステップと、
当該復号された第１のビデオ情報に対応するビデオ情報と結合される第２のビデオ情報を表す第２のビデオ信号を受けるステップと、
上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報とを結合して第３のビデオ情報を生成する結合ステップであって、
上記結合される第２のビデオ情報の上記第１のビデオ信号のピクチャ内における位置および上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報との結合の割合を示すキー信号に従って、上記キー信号によって示されたピクチャ内の各位置において、下記式に従って上記第２のビデオ情報を上記復号された第１のビデオ情報に対応するビデオ情報と結合して上記第３のビデオ情報を生成する、
Ｃ＝ＡＫ＋（１−Ｋ）Ｂ
但し、Ｋはキー信号で示される上記結合の割合を示し、
０≦Ｋ≦１であり、
Ａは、上記第１のビデオ情報であり、
Ｂは、上記第２のビデオ情報であり、
Ｃは、上記第３のビデオ情報である、
結合ステップと、
上記第３のビデオ情報のピクチャの全てを符号化して、上記第３のビデオ情報を表す第３のビデオ信号を生成する符号化ステップと
を有し、
上記符号化ステップにおいて、上記第３のビデオ情報のピクチャの全てのうち、
上記復号された第１のビデオ情報に対応するビデオ情報に上記第２のビデオ情報が結合されていない上記復号された第１のビデオ情報に対応するビデオ情報のみの上記第３のビデオ情報については上記保存した変換パラメータを用い、
上記復号された第１のビデオ情報に対応するビデオ情報と上記第２のビデオ情報が結合されている上記第３のビデオ情報について符号化する、
ビデオ信号処理方法。
【請求項２９】
コンピュータに下記の手順を実行させるプログラムであって、
信号のフレームに関連する変換パラメータを含むと共に、圧縮に関する第１のビデオ情報を表す、圧縮された第１のビデオ信号を受ける手順と、
上記第１のビデオ情報は、上記第１のビデオ信号のピクチャに関連する変換パラメータを含むと共に上記圧縮された第１のビデオ信号の圧縮に関する情報であり、
上記フレームに関連する上記変換パラメータを保存すると同時に、上記圧縮された第１のビデオ信号の全てを復号して第１のビデオ情報に対応するビデオ情報を復号する手順と、
当該復号された第１のビデオ情報に対応するビデオ情報と結合される第２のビデオ情報を表す第２のビデオ信号を受ける手順と、
上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報とを結合して第３のビデオ情報を生成する結合手順であって、
上記結合される第２のビデオ情報の上記第１のビデオ信号のピクチャ内における位置および上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報との結合の割合を示すキー信号に従って、上記キー信号によって示されたピクチャ内の各位置において、下記式に従って上記第２のビデオ情報を上記復号された第１のビデオ情報に対応するビデオ情報と結合して上記第３のビデオ信号を生成する、
Ｃ＝ＡＫ＋（１−Ｋ）Ｂ
但し、Ｋはキー信号で示される上記結合の割合を示し、
０≦Ｋ≦１であり、
Ａは、上記第１のビデオ情報であり、
Ｂは、上記第２のビデオ情報であり、
Ｃは、上記第３のビデオ情報である、
結合手順と、
上記第３のビデオ情報のピクチャの全てを符号化して、上記第３のビデオ情報を表す第３のビデオ信号を生成する符号化手順であって、上記第３のビデオ情報のピクチャの全てのうち、
上記復号された第１のビデオ情報に対応するビデオ情報に上記第２のビデオ情報が結合されていない上記復号された第１のビデオ情報に対応するビデオ情報のみの上記第３のビデオ情報については上記保存した変換パラメータを用い、
上記復号された第１のビデオ情報に対応するビデオ情報と上記第２のビデオ情報が結合されている上記第３のビデオ情報について符号化する、符号化手順と、
を、コンピュータに実行させるプログラム。
【請求項３０】
請求項４に記載のビデオ信号処理装置において、
上記変換パラメータは、相互符号化されたピクチャに関し、基準ピクチャの部分に関連する動きベクトルを含み、
上記符号化器は、上記相互符号化されたピクチャ及び上記基準ピクチャを含む圧縮符号化ピクチャを生成するように構成され、
該符号化器は、上記相互符号化されたピクチャの上記第１の部分のピクチャのための保存された動きベクトルを再使用し、該相互符号化されたピクチャのための上記保存された動きベクトルは上記基準ピクチャの部分に関連し、該基準ピクチャは、上記第１のビデオ信号のみから得られると共に、上記相互符号化されたピクチャの他の部分のための新たな動きベクトルを生成する、
ビデオ信号処理装置。
【請求項３１】
請求項３０に記載のビデオ信号処理装置において、
上記新たな動きベクトルは、上記第２のビデオ信号から少なくとも部分的に得られた上記相互符号化されたピクチャの部分のために生成される、ビデオ信号処理装置。
【請求項３２】
請求項３０に記載のビデオ信号処理装置において、
上記新たな動きベクトルは、上記相互符号化されたピクチャの部分のために生成され、該相互符号化されたピクチャは上記第１のビデオ信号のみから得られ、該第１のビデオ信号がなかったら、上記保存されているベクトルは、上記第２のビデオ信号から少なくとも部分的に得られる上記基準ピクチャの部分に関連する、ビデオ信号処理装置。
【請求項３３】
請求項３０に記載のビデオ信号処理装置において、
上記符号化器は、
上記結合された第３のビデオ情報のピクチャのために、動きベクトルを計算し、
該計算され保存された動きベクトルを、基準マップに対してテストし、
該基準マップは、上記ベクトルが関連する上記基準ピクチャにおいて、上記第２のビデオ信号から少なくとも部分的に得られた情報の位置を含む、
ビデオ信号処理装置。
【請求項３４】
請求項３３に記載のビデオ信号処理装置において、
上記基準マップは、１画素の解像度を有する、ビデオ信号処理装置。
【請求項３５】
請求項３３に記載のビデオ信号処理装置において、
上記基準マップは、画素の１ブロックの解像度を有する、ビデオ信号処理装置。
【請求項３６】
請求項３５に記載のビデオ信号処理装置において、
上記ブロックはマクロブロックであり、
上記動きベクトルは１マクロブロックの解像度を有する、
ビデオ信号処理装置。
【請求項３７】
請求項３５に記載のビデオ信号処理装置において、
もし上記基準ピクチャにおいて、動きベクトルが関連するブロックが、上記第２のビデオ信号から得られた情報のどんな画素でも有していれば、新たなベクトルが、上記動きベクトルに関連する相互符号化されたピクチャのブロックのために生成される、ビデオ信号処理装置。
【請求項３８】
請求項３５又は３６に記載のビデオ信号処理装置において、
もし上記基準ピクチャにおいて、動きベクトルが関連するブロックが、上記第２のビデオ信号から得られた情報の画素の大部分を有していれば、新たなベクトルが上記動きベクトルに関連する相互符号化されたピクチャのブロックのために生成される、ビデオ信号処理装置。
【請求項３９】
請求項３３に記載のビデオ信号処理装置において、
所定の幅の境界が、上記第２のビデオ信号から得られた情報の位置を示す基準マップ内の位置の周囲に加えられる、ビデオ信号処理装置。
【請求項４０】
請求項３９に記載のビデオ信号処理装置において、
上記基準マップは、画素の１ブロックの解像度を有し、
上記所定の幅の境界は、少なくとも１ブロックの幅を有する、
ビデオ信号処理装置。
【請求項４１】
請求項３９に記載のビデオ信号処理装置において、
上記新たなベクトルが、上記符号化器において、上記保存されたベクトルが上記所定の幅の境界内の位置に関連する上記結合された第３のビデオ情報の全部分のために計算される、ビデオ信号処理装置。
【請求項４２】
請求項３０に記載のビデオ信号処理装置において、
上記符号化器は、少なくとも上記第２のビデオ信号から得られた、上記相互符号化されたピクチャの位置のため及びベクトルの大きさに関連する所定の幅の境界のための新たな動きベクトルを計算する、ビデオ信号処理装置。
【請求項４３】
請求項４２に記載のビデオ信号処理装置において、
上記所定の幅の境界は、上記最大動きベクトル範囲に対する所定の比率に等しい幅を有する、ビデオ信号処理装置。
【請求項４４】
請求項４２に記載のビデオ信号処理装置において、
上記境界の幅は少なくとも上記最大動きベクトル範囲である、ビデオ信号処理装置。
【請求項４５】
請求項４３に記載のビデオ信号処理装置において、
上記最大ベクトル範囲は上記第３のビデオ情報から計算される、ビデオ信号処理装置。
【請求項４６】
請求項４３に記載のビデオ信号処理装置において、
上記最大ベクトル範囲は、上記圧縮された第１のビデオ信号に付随するパラメータデータから決定される、ビデオ信号処理装置。
【請求項４７】
請求項４２に記載のビデオ信号処理装置において、
上記新たな動きベクトルは、上記境界内の全映像部分のために計算され、
上記保存された動きベクトルは、上記境界の外側の全映像部分のために使用される、
ビデオ信号処理装置。
【請求項４８】
請求項２８に記載のビデオ信号処理方法において、
上記変換パラメータは、相互符号化されたピクチャに関し、基準ピクチャの部分に関連する動きベクトルを含み、
当該ビデオ信号処理方法は、上記結合された第３のビデオ情報を圧縮符号化して、相互符号化されたピクチャ及び基準ピクチャを含む圧縮符号化ピクチャを生成するステップを有し、
上記符号化ステップにおいて、上記相互符号化されたピクチャの上記第１の部分のピクチャのための上記保存された動きベクトルを再使用し、該相互符号化されたピクチャのための上記保存された動きベクトルは上記基準ピクチャの部分に関連し、上記第１のビデオ信号のみから得られると共に、上記相互符号化されたピクチャの他の部分のための新たな動きベクトルを生成する、
ビデオ信号処理方法。
【請求項４９】
コンピュータに下記の手順を実行させるプログラムであって、
信号のフレームに関連する変換パラメータを含むと共に、圧縮に関する第１のビデオ情報を表す、圧縮された第１のビデオ信号を受ける手順と、
上記フレームに関連する上記変換パラメータを保存すると同時に、上記圧縮された第１のビデオ信号の全てを復号する手順と、
当該復号された第１のビデオ情報に結合される第２のビデオ情報を表す第２のビデオ信号を受ける手順と、
上記第２のビデオ情報を上記復号された第１のビデオ情報と結合して、上記第１のビデオ信号のみから得られた少なくとも１部分と、上記第２のビデオ信号から少なくとも部分的に得られた他の少なくとも１部分とからなる結合された第３のビデオ情報のピクチャを生成する結合手順であって、
上記結合される第２のビデオ情報の上記第１のビデオ信号のピクチャ内における位置および上記第２のビデオ情報と上記復号された第１のビデオ情報との結合の割合を示すキー信号に従って、上記キー信号によって示されたピクチャ内の各位置において、下記式に従って上記第２のビデオ情報を上記復号された第１のビデオ情報と結合して上記第３のビデオ信号を生成する、
Ｃ＝ＡＫ＋（１−Ｋ）Ｂ
但し、Ｋはキー信号で示される上記結合の割合を示し、
０≦Ｋ≦１であり、
Ａは、上記第１のビデオ情報であり、
Ｂは、上記第２のビデオ情報であり、
Ｃは、上記第３のビデオ情報である、
結合手順と、
上記第３のビデオ情報のピクチャの全てを符号化して、上記結合された第３のビデオ情報を表す結合された第３のビデオ信号を生成する符号化手順であって、当該符号化手順において、上記第１のビデオ信号からのみ得られた上記結合された第３のビデオ情報の上記少なくとも１部分を少なくとも符号化するための上記保存された変換パラメータの少なくとも１つを再使用し、上記変換パラメータは、相互符号化されたピクチャに関し、基準ピクチャの部分に関連する動きベクトルを含み、上記結合された第３のビデオ情報を圧縮符号化して、相互符号化されたピクチャ及び基準ピクチャを含む圧縮符号化ピクチャを生成する符号化手順と、
をコンピュータに実行させるプログラムであり、
上記符号化手順において、
上記相互符号化されたピクチャの上記第１の部分のピクチャのための上記保存された動きベクトルを再使用し、
該相互符号化されたピクチャのための上記保存された動きベクトルは上記基準ピクチャの部分に関連し、上記第１のビデオ信号のみから得られると共に、上記相互符号化されたピクチャの他の部分のための新たな動きベクトルを生成する、
コンピュータプログラム。
【請求項５０】
第１のビデオ情報を表す、圧縮されその後復号されて圧縮が解除された第１のビデオ信号及び当該第１のビデオ信号が圧縮されたときのピクチャに関連する保存された変換パラメータを受けると共に、上記第１のビデオ信号の圧縮に関する処理を行う第１の入力装置と、
上記圧縮が解除された第１のビデオ情報に結合される第２のビデオ情報を表す第２のビデオ信号を受ける第２の入力端子と、
上記第２のビデオ情報を上記圧縮が解除された第１のビデオ情報と結合して、上記第１のビデオ信号のみから得られた少なくとも１部分と、少なくとも、上記第２のビデオ信号から少なくとも部分的に得られた他の少なくとも１部分とからなる結合された第３のビデオ情報のピクチャを生成する結合器であって、
上記結合される第２のビデオ情報の上記第１のビデオ信号のピクチャ内における位置および上記第２のビデオ情報と上記復号された第１のビデオ情報との結合の割合を示すキー信号に従って、上記キー信号によって示されたピクチャ内の各位置において、下記式に従って上記第２のビデオ情報を上記復号された第１のビデオ情報と結合して上記第３のビデオ信号を生成する、
Ｃ＝ＡＫ＋（１−Ｋ）Ｂ
但し、Ｋはキー信号で示される上記結合の割合を示し、
０≦Ｋ≦１であり、
Ａは、上記第１のビデオ情報であり、
Ｂは、上記第２のビデオ情報であり、
Ｃは、上記第３のビデオ情報である、
結合器と、
上記第３のビデオ情報のピクチャの全てを圧縮符号化して、上記結合された第３のビデオ情報を表す結合された第３のビデオ信号を生成する符号化器と、
を有し、
該符号化器は、上記第１のビデオ信号のみから得られた上記結合された第３のビデオ情報の上記少なくとも１部分を少なくとも符号化するため、上記保存された変換パラメータの少なくとも１つを再使用する、
ビデオ信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ信号処理、例えば、２つ以上のビデオ信号を示す圧縮データが結合される信号処理に関する。本発明の具体例は、既知のＭＰＥＧ−２標準に従って圧縮されたビデオ信号に関するが、本発明はかかる信号に限定されるものではない。
【０００２】
【従来の技術】
２つ以上のビデオ信号をミックスし、ワイプし、又は、スーパーインポーズすることは、たいてい好ましいことである。例えば、いわゆるワイプ効果は、テレビジョン番組において、２つの異なる場面間の遷移に使用され得るし、或いは、サブタイトル、又は、その番組に関係する人達の氏名のような、いわゆるロゴ、又は、他のコンピュータ生成信号が、その下の映像を損なうことなく、ビデオ映像上にスーパーインポーズされ得る。
【０００３】
アナログビデオ信号、又は、圧縮されていないビデオ信号については、上述の処理は比較的簡単である。キー信号は、各画素位置における、構成要素である２つのビデオ信号（ビデオ信号Ａ、Ｂと称することにする）の各レベルを制御するのに、使用することができ、その２つのレベルの制御された信号は合成される。各画素位置において、キー信号のレベルＫ、２つの入力画素のレベルＡ、Ｂ及び出力画素のレベルの間には、次式の関係があり得る。
出力画素値＝Ａ（１−Ｋ）＋ＢＫ
【０００４】
この処理は、各出力画素で成立する。若し、ある特別の画素位置で、信号Ａが全部信号Ｂに置き換えられるとすると、キー信号は１（さもなければ、１００％）になり、若し、２つの画素の混合比が５０：５０であるとすると、キーの値は０．５、即ち、５０％になる。
【０００５】
いずれか一方のビデオ信号、又は、両方のビデオ信号が、圧縮されたビデオストリームであるときは、状況は遙に複雑になる。ＭＰＥＧ−２のように、圧縮されたビデオストリームでは、画素は、一般に、マクロブロックとして知られているブロックとして圧縮され、このため、圧縮されたビデオ信号から直接に特別の画素の値を得ることはできない。
【０００６】
又、圧縮されたビデオ信号は、しばしば、そのビデオ信号を伝達又は蓄積するデータの量によって、全体の制限に従うことになる。ピクチャからピクチャへ、又は、ピクチャ群（ＧＯＰ）からピクチャ群（ＧＯＰ）へと変化がある限り、時間平均データレートは、しばしば、伝送又は蓄積チャンネルの容量に束縛される。ＧＯＰ対ＧＯＰの画素から画素への許容変化量は、結合される２つのビデオ信号は、瞬時データレートが全く異なる、名目上同じデータレートを持つことができることを、意味する。１つ以上の圧縮信号を含む１群のビデオ信号から、複合ビデオ信号を生成するときは、データのオバーフロー又はアンダーフローを回避する必要があることに、十分注意しなければならない。
【０００７】
この議論に直接関連する圧縮されたビデオ信号の第３番目の特徴は、そのビデオ信号が、一時的に先行又は後行するピクチャのブロックを示す動きベクトルをしばしば利用することであり、そのピクチャのブロックは、現在のピクチャのブロックに似ており、そのため現在のピクチャを符号化する必要のあるデータ量を削ることができる。
【０００８】
これらの問題に対処する１つの方法は、圧縮された入力信号の全体を圧縮解除し、混合を実行するか、又は、非圧縮システム領域における処理に類似した処理を実行し、そして、結果として得られた複合ピクチャを再圧縮することである。
【０００９】
【発明が解決しようとする課題】
ＭＰＥＧ−２システムのような圧縮システムでは、ビデオ信号の圧縮を行うと、結果として得られる映像の質が低下する傾向にある。若し、ロゴ、又は、これに類似した情報を単に付加すると、ロゴ情報が付加されたピクチャの全体の画質が低下するので、好ましくない。
【００１０】
【課題を解決するための手段】
本発明によれば、第１のビデオ情報を表す、圧縮された第１のビデオ信号を受ける第１の入力端子と、
上記第１のビデオ情報は上記圧縮された第１のビデオ信号のピクチャに関連する変換パラメータを含むと共に上記圧縮された第１のビデオ信号の圧縮に関する情報を含み、
上記圧縮された第１のビデオ信号のピクチャに関連する上記変換パラメータを保存すると同時に、上記圧縮された第１のビデオ信号の全てを復号して上記第１のビデオ情報に対応するビデオ情報を生成する、復号器と、
当該復号された第１のビデオ情報に対応するビデオ情報と結合される第２のビデオ情報を表す第２のビデオ信号を受ける第２の入力端子と、
上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報とを結合して第３のビデオ情報を生成する結合器であって、上記結合される第２のビデオ情報の上記第１のビデオ信号のピクチャ内における位置および上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報との結合の割合を示すキー信号に従って、上記キー信号によって示されたピクチャ内の各位置において、下記式に従って上記第２のビデオ情報を上記復号された第１のビデオ情報に対応するビデオ情報と結合して上記第３のビデオ信号を生成する、
Ｃ＝ＡＫ＋（１−Ｋ）Ｂ
但し、Ｋはキー信号で示される上記結合の割合を示し、
０≦Ｋ≦１であり、
Ａは、上記第１のビデオ情報であり、
Ｂは、上記第２のビデオ情報であり、
Ｃは、上記第３のビデオ情報である、
結合器と、
上記第３のビデオ情報のピクチャの全てを符号化して、上記結合された第３のビデオ情報を表す第３のビデオ信号を生成する符号化器と
を有し、
上記符号化器は、上記第３のビデオ情報のピクチャの全てのうち、
上記第２のビデオ情報が結合されていない、上記復号された第１のビデオ情報に対応するビデオ情報のみの上記第３のビデオ情報については上記保存した変換パラメータを用い、
上記復号された第１のビデオ情報に対応するビデオ情報と上記第２のビデオ情報が結合されている上記第３のビデオ情報については、上記圧縮された第１のビデオ信号と同じ符号化方式で符号化する、
ビデオ信号処理装置が提供される。
【００１１】
また本発明によれば、上記処理を行うビデオ信号処理方法が提供される。
【００１２】
また本発明によれば、上記処理を行うプログラムが提供される。
【００１３】
動きベクトルを再計算すると画質の低下を招来するかもしれないので、保存されている動きベクトルを再使用すると、全ピクチャの質を高く維持することができる。それにより、更に、第１のビデオ信号のみから得られた映像部分のピクチャの質が高く維持される。
【００１４】
また本発明における符号化および復号化処理は、ＭＰＥＧ方式による。
【００１５】
本発明は、第１のビデオ信号から得られた結合された映像の部分のために保存された変換パラメータを再使用することによって、結合された第３のビデオ情報の再符号化による映像の品質のどんな低下も、最小にするか、又は、少なくとも減少させる。
【００１６】
本発明の具体例では、上記第１のビデオ信号は、内符号化されたピクチャ及び相互符号化されたピクチャからなり、上記符号化器は、第１のビデオ信号の内符号化されたピクチャを、結合された第３のビデオ信号の内符号化されたピクチャとして再符号化し、上記第１のビデオ信号の相互符号化されたピクチャを、結合された第３のビデオ信号の相互符号化されらピクチャとして再符号化する。
内符号化されたピクチャは、上記ピクチャに適用される符号化計画に従って符号化されたピクチャの全ビデオ情報を含む。内符号化されたピクチャは、復号されて元の全ピクチャを再生したとき、他のどんなピクチャよりの情報も必要としない。
相互符号化されたピクチャは、復号されたときに元の全ピクチャを再生する、もう１つのピクチャ、即ち、内符号化されたピクチャからの情報を必要とする。相互符号化されたピクチャは、例えば、ピクチャと、そのピクチャの予測との間の差分である。
【００１７】
ＭＰＥＧでは、Ｉフレームは、内符号化されたピクチャであり、Ｐ及びＢフレームは、相互符号化されたピクチャのバージョンである。
【００１８】
Ｉ、Ｐ及びＢピクチャを含むビデオ情報を処理する具体例では、上記符号化器は、上記第１のビデオ信号のＩ、Ｐ及びＢピクチャを、上記結合された第３のビデオ信号のそれぞれＩ、Ｐ及びＢピクチャとして、符号化するように構成されるのが、望ましい。かくして、ピクチャのタイプ（内又は相互符号化されたＩ、Ｐ又はＢ）が、映像の品質を高く保持すること及び再符号化の量を減少させることに寄与することに、変わりはない。
【００１９】
上記具体例では、上記符号化器は、上記第１のビデオ信号のみから得られた内符号化されたピクチャの上記結合された第３のビデオ情報の少なくとも１部を少なくとも符号化するための上記保存された変換パラメータの少なくとも１つを再使用し、上記第２のビデオ信号から少なくも部分的に得られた相互符号化されたピクチャの上記結合された第３のビデオ情報の少なくとも１部の少なくとも１つの変換パラメータを再符号化するのが、望ましい。
本発明の具体例では、内符号化されたピクチャ（Ｉピクチャ）が、上記第１のビデオ信号のみから得られたものの少なくとも部分のために保存された変換パラメータを使用して、再符号化されて、映像の品質が高く維持される。具体例では、上記結合された第３のビデオ信号の対応するＩピクチャの全体を符号化するとき、上記符号化器は、上記第１のビデオ信号のＩピクチャに関連する上記少なくとも１つの保存されている変換パラメータを使用する。該１つの変換パラメータは、上記量子化パラメータであることが、最も望ましい。かくして、ピクチャの品質を高く維持するのに最も重要な内符号化されたピクチャは、変換パラメータを再使用して、ピクチャの品質を高く維持する。
【００２０】
もう１つの具体例では、上記第２のビデオ信号から得られたのではない上記結合された第３のビデオ信号の上記対応するＩピクチャの部分を符号化するときに、上記符号化器は、上記第１のビデオ信号のＩピクチャに関連する上記少なくとも１つの保存されている変換パラメータを再使用し、そして、上記第２のビデオ信号から得られた上記結合された第３のビデオ信号の上記対応するＩピクチャの他の部分の上記少なくとも１つの保存されている変換パラメータを再符号化する。
該少なくとも１つの保存されている変換パラメータは、量子化パラメータであり、上記符号化器は、映像パラメータの閾値レベルに応答し、そして、上記第２のビデオ信号から得られ、その第２のビデオ信号のための上記映像パラメータは、上記閾値レベルより小さいもの及び大きいもののうちの１つである上記結合された第３のビデオ信号の上記対応するＩピクチャのこれらの他の部分のための上記保存された変換パラメータを再使用し、そして、上記第２のビデオ信号から得られ、その第２のビデオ信号のための上記映像パラメータは、上記閾値レベルより小さいもの及び大きいもののうちの１つである上記結合された第３のビデオ信号の上記対応するＩピクチャのこれらの他の部分のための上記量子化パラメータを再計算するのが、望ましい。
【００２１】
相互符号化されたピクチャ（即ち、Ｐピクチャ）は、映像の品質では、Ｉピクチャ程重要ではない。しかし、好ましい具体例では、上記第２のビデオ信号から得られたのではない上記Ｐピクチャの部分を再符号化するとき、上記符号化器は、Ｐピクチャに関連する上記保存された変換パラメータの少なくとも１つを再使用する。
上記符号化器は、上記Ｐピクチャの他の部分の上記変換パラメータの上記少なくとも１つを再計算するのが、望ましい。上記変換パラメータは、上記量子化パラメータであることが、望ましい。
【００２２】
Ｂピクチャでは、上記符号化器は、Ｂピクチャの全体の上記変換パラメータの少なくとも１つを再計算する。該変換パラメータは、上記量子化パラメータであるのが、望ましい。
【００２３】
好適な具体例では、符号化処理におけるＤＣＴ（離散コサイン変換）型は、Ｉ、Ｐ及びＢピクチャで再使用される。
【００２４】
又、本発明の具体例は、動きベクトルを再使用する。具体例では、上記変換パラメータは、相互符号化されたピクチャに関し、基準ピクチャの部分に関する動きベクトルを含み、上記符号化器は、相互符号化されたピクチャ及び基準ピクチャを含む圧縮符号化されたピクチャを生成するように構成され、該符号化器は、上記保存されている動きベクトルが得られた上記基準ピクチャの部分に関連する上記総合符号化されたピクチャの上記第１の部分のこれらのための上記保存されている動きベクトルを再使用する。
【００２５】
新たな動きベクトルは、上記第２のビデオ信号から少なくも部分的に得られた上記相互符号化されたピクチャのために生成されるのが、望ましい。新たな動きベクトルは、上記第１のビデオ信号からのみ得られる上記相互符号化されたピクチャの部分のために生成され、その第１のビデオ信号がなかったら、上記保存されているベクトルは、上記第２のビデオ信号から少なくとも部分的に得られる上記基準ピクチャの部分に関係するのが、望ましい。
【００２６】
具体例では、上記符号化器は、上記結合された第３のビデオ情報のために動きベクトルを計算し、該計算され保存された動きベクトルを、上記ベクトルに関係する上記基準ピクチャにおいて、上記第２のビデオ信号から少なくとも部分的に得られた上記第３のビデオ情報の位置を含む基準マップに対して、テストする。
【００２７】
これは、少なくとも、上記第１のビデオ信号からのみ得られる上記ピクチャの部分のためのピクチャの品質を高く維持し、基準ピクチャの部分に変わりなく関する動きベクトルを有する。
【００２８】
【発明の実施の形態】
概観
図１〜図４は、あるビデオ信号（Ａ）を他のビデオ信号（Ｂ）に結合することを実行し得るビデオ処理動作を示す。
【００２９】
図１及び図２は、スプライス動作及びディゾルブ動作をそれぞれ表す時刻表の概略図である。図１では、特定の時刻ｔにおける信号Ａから信号Ｂへの急激な変化が行われている。図２では、特定の時間に亘って、信号Ａが信号Ｂに混入されるゆるやかな変化が行われている。
【００３０】
図３及び図４は、テレビジョンピクチャ自体の概略図を示したものである。
図３は、「ロゴ」の挿入を示し、そこでは、ピクチャＡの副次的部分がピクチャＢと置換されるか、又は、混合される。
図４は、２つのピクチャがスクリーン上の挨拶部分（Complimentary Portion)を占め、２つのピクチャの境界が移動するワイプ動作を示す。
【００３１】
本説明は、図２、図３及び図４に関連して実行される必要のあるビデオ処理動作に関連して実行される必要のあるビデオ処理の形式に関するものである。言い換えれば、これらの形式は、両ピクチャＡ及びＢの部分が同時にスクリーン上にある場所の動作である。
図１の問題、即ち、あるビデオ信号のもう１つのビデオ信号へのスプライスは、本発明では取り扱わない。
【００３２】
図５〜図７は、再び概略図で、ビデオピクチャ上へのロゴの重ね合わせ、即ち、図３の詳細版を示す。
【００３３】
図５では、ビデオピクチャは、通常は、動く物１、２と、静止している物３とを含み得る元の光景を示す。図６では、テキストのロゴ６及び地図５のようなそれ以上の情報を含む付加ビデオ情報は、図５の元の映像の上に重ねられる。付加ビデオ情報の元の映像への重畳が要求され得る状況の例としては、下になっている番組をそれほど損なうことなく、特定の地域のための天候に関する警報のような差し迫った出来事の警報を放送することである。
【００３４】
図７は、図６のクローズアップ概略図で、動きのない地図５と元の映像３の部分との間の重複部分を示す。各映像がいわゆるマクロブロックに分割されるＭＰＥＧ２のように、ブロックに基礎を置く符号化システムでは、多数のマクロブロックが映像の重畳によって影響を受けることが分かる。マクロブロックは、図７に、正方形のブロック１０として示されている。
【００３５】
本説明の残りの部分は、スクリーン上に同時に存在するソースＡ及びＢからのビデオ情報の存在を処理することのできるビデオ信号処理装置を取り扱う。ビデオ信号処理装置のブロックダイアグラムは図８を参照して説明され、動作のモードを明確にする図９のフローチャートに続く。この動作の個別の特徴は、その他の図を参照して、説明される。
【００３６】
そこで、ビデオ信号処理装置の略図である図８に言及する。
【００３７】
符号化器Ｅ１は入力ビデオ信号Ａを受け、所望の出力目標ビットレートＴＢＲ及びＧＯＰフォーマットに従って、その入力ビデオ信号Ａを符号化する。２つのビデオ信号間の混合が要求されない状況では、符号化器Ｅ１によって符号化されたビデオ信号は、制御装置１００の制御の下に、切り換えスイッチＳ１を通じて、直接に出力端子に供給される。若し、入力ビデオ信号が既に所望のフォーマットに則っていれば、符号化器Ｅ１は勿論必要ない（このことを図示するために、符号化器Ｅ１に括弧を付して示しても良い）。
【００３８】
符号化器Ｅ１の出力は、符号化ビデオ信号を、圧縮されない形式、即ち、ベースバンド形式に戻すように復号する相補形復号器Ｄ１に供給される。ベースバンドビデオ信号は、混合器１１０に供給され、入力ビデオ信号Ａの各ブロック毎の元の圧縮に用いられている圧縮パラメータは、制御装置１００に供給される。
【００３９】
ビデオ信号Ａに混合されるべきビデオ信号Ｂの信号源１２０は、ビデオ信号Ｂをもう１つの符号化器Ｅ３に供給する。再び、若し、ビデオ信号Ｂが既に所望のフォーマットであれば、符号化器Ｅ３は必要でない（このことを図示するために、符号化器Ｅ３に括弧を付して示しても良い）。符号化器Ｅ３の出力は、対応するビットレート及び符号化器Ｅ１の出力のそれのＧＯＰフォーマットであって、符号化されたビデオ信号から圧縮パラメータを取得し、ビデオ信号Ｂを復号してベースバンド形式に戻して混合器１１０に供給する、もう１つの復号器Ｄ３に供給される。
【００４０】
必要であれば、符号化器−復号器の対、Ｅ１／Ｄ１又はＥ３／Ｄ３を省略しても良く、圧縮されないビデオ信号、即ち、混合器１１０の入力端子の１つに直接に供給されるようにされた「ベースバンド」のビデオ信号が、混合器１１０の他の入力端子において、復号され圧縮されたビデオ信号に加えられる。
【００４１】
又、信号源１２０は、キー信号Ｋを混合器１１０に供給する（キー信号は、勿論、外部の信号源から到来するが）。キー信号は、要求される出力映像の各画素に用いられるべきビデオ信号Ａ及びビデオ信号Ｂの相対的な結合の割合（混合比）を明確にし、それゆえに、キー信号Ｋは０（全てのビデオ信号Ａが使用される）〜１（全てのビデオ信号Ｂが使用される）の間で変化する。この変化は画素毎のベースで起こり、その画素の位置での２つのビデオ信号の間の混合比を示す、０〜１の間で変化するＫを伴う。
【００４２】
従って、混合器１１０は、一般的な慣用の方法で動作し、画素ベースでは、掛け算器１１２で、ビデオ信号Ｂの画素にキー信号Ｋを掛け、また、掛け算器１１４で、ビデオ信号Ａの画素に係数（１−Ｋ）を掛け、そして、出力混合ビデオ信号の画素を発生する加算器１１６で、上記２つの積を加算する。混合されたビデオ信号は、もう１つの符号化器Ｅ２に供給され、再び、同じ名目上のビットレート並びに符号化器Ｅ１及び符号化器Ｅ３としてのＧＯＰフォーマットに作用し、この符号化器Ｅ２は混合されたビデオ信号を符号化して、切換えスイッチＳ１を通じて、出力端子に出力するのに役立つ。
【００４３】
制御装置１００は符号化器Ｅ２の動作を制御する。基本的には、制御装置１００は、符号化器Ｅ２が、ビデオ信号Ａ及びビデオ信号Ｂのブロックの圧縮に関連する圧縮パラメータのいくつか、又は、全部を再使用するか否かを制御し、その後に、ビデオ信号Ａ及びビデオ信号Ｂが混合されるか、又は、混合されたビデオ信号Ｃのブロックを符号化するために新たな圧縮パラメータを生成する。
【００４４】
制御装置１００の動作については、後に、より大量の詳細な説明を行うことになるが、その一部を説明すると、制御装置１００は、ビデオ信号Ａの圧縮パラメータの細部、ビデオ信号Ｂの圧縮パラメータの細部及び目標出力データレート（ＴＢＲ）を受け取る。又、制御装置１００は、キー信号Ｋから取得したいくつかの情報を含む種々の情報を保存し得る記憶装置１３０にアクセスする。
【００４５】
図９は、図８の処理装置の動作を図解するフローチャートである。
【００４６】
ステップ２２０では、「ビットマップ」が、ロゴの圧縮されたフレームの位置を示すキー信号Ｋから得られる。このことについては、図１２Ａ及び図１２Ｂ、図１３Ａ及び図１３Ｂ並びに図１４Ａ〜図１４Ｄを参照して、後により詳細に説明することになる。
【００４７】
ステップ２３０では、制御装置１００は、混合（結合）されたビデオ信号Ｃの現在のフレームを符号化するのに必要な全ビット数の見積もりを確定する。これを行うために、制御装置１００は、実際には、レート制御アルゴリズムを、混合されたビデオ信号Ｃには適用しないが、その代わりに、元の個別の２つのビデオ信号Ａ及びＢの各マクロブロックを符号化するのに必要なビット数に関する履歴データの少なくとも一部から、見積もりを計算する。この処理については、後に詳述する。
【００４８】
次のステップ２４５では、Ｉ（イントラ）フレームのどのマクロブロックが完全に再符号化されるべきか並びに入力ビデオ信号の一方、又は、両方に関連するパラメータのいずれを再使用すべきかを決定するのに使用される（詳細は後述）閾値を設定する。この処理は、図１０を参照して、後述する。
【００４９】
ステップ２６０では、ビデオ信号Ａの量子化パラメータが、再符号化される１組のマクロブロックを決定する閾値と比較される。これは図１１に示されている。
【００５０】
ステップ２４５及び２６０は、ステップ２３０からステップ２７０までの破線によって示された本発明のいくつかの具体例では、使用されない。
【００５１】
ステップ２７０では、混合されたビデオ信号Ｃのマクロブロックに関連する動きベクトルが参照映像の有効な領域を指しているか否かを決定するテストが実行される。例えば、マクロブロックは、ビデオ信号Ａの完全に内側にあるものとし、しかし、それに関連する動きベクトルは、参照フレーム内のビデオ信号Ｂによって、置換された領域を指しているかもしれない。これらの周囲の状況の中で、上述の動きベクトルを使用することは、不適当である。この処理については、図１２、１３及び１４を参照して、後に詳述する。
【００５２】
一旦このテストが完了すれば、再符号化又は再使用パラメータ情報のフルセットは、制御装置１００によって、符号化器Ｅ２に送られ、その符号化器Ｅ２は、この情報のフルセットに従って、混合されたビデオ信号Ｃを符号化する。ビデオ信号Ａ及びビデオ信号Ｂ間に混合が生じた場合は、制御装置１００はスイッチＳ１を操作して、全体のフレームのために、符号化器Ｅ２の出力を選択する。
【００５３】
符号化器Ｅ２は、レート制御アルゴリズムを含んでいる。このアルゴリズムは、例えば、ＭＰＥＧシステムのいわゆる「テストモデル５」のような予測レート制御アルゴリズムでもよいし、又は、英国特許出願、ＧＢ−Ａ−２３０６８３１に述べられているように、前置符号化、又は、リハーサル型のレート制御アルゴリズムでもよい。とにかく、パラメータが再使用されるべきマクロブロックの場合及びパラメータが再使用されるべきでないマクロブロックの場合には、制御装置１００によって、レート制御アルゴリズムに適用されたパラメータは、復号器Ｄ１及び復号器Ｄ２から受け取った元の圧縮パラメータに等しく、又、新しいパラメータが取得されるレート制御アルゴリズムを示す指示フラグが用いられる。
【００５４】
挿入されたロゴの特別な状況があり、その状況では、ロゴそれ自体のピクチャの高品質を維持するために、量子化処理の厳しさの最大範囲を設定するためのロゴ素材を含むブロックに使用される量子化パラメータの限界を明確にすることが要求され得る。再び、その条件は、制御装置１００から、最初の、又は、全てのビデオＢ素材を含むことが決定されたマクロブロックに関するレート制御アルゴリズムに、信号で伝えられる。（これは、勿論、挿入されたビデオ信号は、ロゴ、又は、他の素材からなるか否かについての主観的な決定に依存し、これは、勿論、操作者、即ち、ユーザによりなされた決定である。）
【００５５】
符号化器Ｅ２のレート制御アルゴリズムは、再符号化されるこれらのマクロブロックのための圧縮パラメータを生成し、そして、符号化器Ｅ２は、受け取ったか、即ち、取得したパラメータに基づいて、混合器１１０から出力されるビデオ信号Ｃの全フレームを符号化する。
【００５６】
以下の説明では、一例として、図３にビデオ信号Ｂとして示されているロゴ情報（テキストロゴ及び地図のような）が、ビデオ信号Ａに重ねられるものと仮定する。又、図８の符号化器Ｅ３及び復号器Ｄ３は、省略されているものと仮定する。
【００５７】
ビットマップ
上述したように、キー信号Ｋは、既知の方法で、画素毎に発生せしめられる。そのキー信号は、上述したように、ロゴ情報を、元の光景のある位置に、ある割合で重ね合わせる情報を含む。ビットマップは、制御装置１００によって、キー信号から発生せしめられる。
【００５８】
ビットマップは、画素毎、ロゴ情報を含む画素位置を示す画素解像度を有しても良い。
【００５９】
あるいはまた、ビットマップは、ロゴ情報を含むマクロブロックを示すマクロブロック解像度を有しても良い。
【００６０】
かくして、ビットマップは、ロゴ情報（ロゴ領域）を含み、又、含まない（ロゴのない領域）画素、又は、マクロブロックを示す。
【００６１】
変換パラメータ
後に論述する本発明の具体例は、下記の変換(transcoding) パラメータについて言及する。
１）フレームに適用される、量子化スケールを明確にするパラメータＱと、
２）ＤＣＴ（離散コサイン変換、Discrete Cosine Transform)処理のタイプ（フィールド又はフレーム）を明確にするパラメータＤＣＴ型及び
３）動きベクトル
【００６２】
最初のビットストリームＡは、Ｉ、Ｐ及びＢフレームを有する。これらフレームは、復号器Ｄ１で復号され、そして、符号化器Ｅ２で再符号化される。最初のビットストリームＡのＩフレームがストリームＣのＩフレームとして再符号化され、ＰフレームがＰフレームとして再符号化され、ＢフレームがＢフレームとして再符号化されるように、符号化器Ｅ２は、制御装置１００によって制御される。
【００６３】
パラメータＱ及びＤＣＴ型は、混合された元の情報及び第１の手法、又は、第２の手法に応じたロゴの再符号化に適用される。
【００６４】
第１の手法
Ａ）混合されたビデオ信号ＣのＩフレームは、変更されない元の初めのビデオビットストリームＡのＩフレームから得られたパラメータＱ及びＤＣＴ型パラメータを再使用して、符号化器Ｅ２によって再符号化される。再符号化されたＩフレームは、重ね合わされたロゴ情報のために、元のビットストリームの対応するフレームより多くのデータを持つ傾向がある。
【００６５】
Ｂ及びＣ）Ｐ及びＢフレームは、符号化器Ｅ２で再符号化される。混合されたビデオ信号ＣのＰ及びＢフレームの量子化パラメータＱは、符号化器Ｅ２で再計算される。
【００６６】
Ｄ）ビットストリームＡのＤＣＴ型タイプは、符号化器Ｅ２において、再符号化され混合されたビデオ信号Ｃの全フレームの全てのマクロブロックにおいて再使用される。
【００６７】
Ｅ）各フレームの目標ビット数の見積値は、上述のステップ２３０の通りに、即ち、ビットストリームＡのフレームを符号化するの必要な履歴ビット数から、計算される。レート制御は、再符号化されたビデオ信号ＣのＧＯＰのＩ、Ｐ及びＢフレームに対するビットを、目標ビットレート（ＴＢＲ）に一致させるように配分する。
【００６８】
第２の手法
Ａ）Ｉフレーム，パラメータＱ
図１０及び図１１を参照するに、元のビットストリーム（ロゴなし）のために、マクロブロック中のＱスケールの配分が決定される。パラメータＱの閾値ＱThは経験的に決定される。
【００６９】
図１１を参照するに、各Ｉフレームの全マクロブロックからのパラメータＱ値が、Ｑ閾値計算機３５０によって与えられ、記憶装置１３０に記憶される。そして、Ｑ閾値計算機は、Ｑ値を昇順に並べ、そして、重要なマクロブロック上の各可能なＱ値の発生率を取得する。この処理の概略を示すヒストグラムを図１０に示す。
【００７０】
そして、閾値比率ｘ％は、この分布に適用され、その結果、そのＱ値までの累積発生率が、閾値比率ｘ％内にある最も高いＱ値が、閾値ＱThとして確定される。
閾値比率ｘ％は、例えば、２５％〜６０％の範囲内にあり、５０％が望ましく、３０％はもっと望ましい。
【００７１】
符号化器Ｅ２によるロゴ情報を含むビデオ信号ＣのＩフレームの再符号化は、下記の基準に従って生じる。
【００７２】
混合されたビデオ信号Ｃ（即ち、ロゴを含む）のＩフレームにおいて、元のビットストリームＡから得て保存したパラメータＱ値が、ロゴ情報を含まない映像領域（ロゴのない領域）において、再使用される。若し、ロゴ情報が、閾値ＱTh以下のＱ値を有する元の映像のマクロブロック内にある場合は、元のビットストリームＡから得て保存されたＱ値は再使用される。Ｉフレーム内の全ての他のロゴ情報は、再計算される。ロゴ領域及びロゴなし領域は、ビットマップによって、明確にされる。
【００７３】
かくして、パラメータＱ値を有し、その最も高いＱ値ＱThを含む、元のビットストリームのマクロブロックは、たとえそのマクロブロックがロゴ情報を含んでいても、その元のＱ値を再使用して、符号化される。ロゴ情報を含み、元のビットストリームＡのＱ値が閾値ＱThを越えるマクロブロックは、十分に再符号化される。
【００７４】
この符号化システムは、数値的に小さいパラメータＱは、それほど粗くない量子化を必然的に伴うという傾向があることに、ここでは注意すべきである。再使用するＱ値を上限の閾値ＱThまで上げると、元々あまり粗くなく圧縮されたこれらのマクロブロック（考慮中のものの）のピクチャの品質を低下させないという効果がある。
【００７５】
一旦閾値ＱThが確定されたら、元のビットストリームＡのＱ値が、記憶装置１３０から読出され、比較器３６０で、ＱThと比較される。再符号化を行うか再使用を行うかの決定は、再符号化されたビットストリームがロゴ情報を含むマクロブロックでは、以下のように行われる。ロゴ情報を含むマクロブロックは、ビットマップによって示される。
【００７６】
Ｂ）Ｐフレームは、符号化器Ｅ２によって再符号化される。Ｐフレームでは、保存されているＱ値がロゴなし領域で再使用される。ロゴ領域では、Ｑ値は再計算される。
【００７７】
Ｃ）Ｂフレームは、符号化器Ｅ２によって再符号化される。Ｂフレームでは、Ｑ値はフレームじゅうで再計算される。
【００７８】
Ｄ）保存されているＤＣＴ型は、全フレームで再使用される。
【００７９】
Ｅ）レート制御
再符号化は、レート制御が下記のように変更されたテストモデル５（ISO-IEC/JCT1/SC29/WG11/NO44)を用いるのが望ましい。
【００８０】
Ｉフレームのロゴなし領域では、各マクロブロックＭＢのために発生せしめられたビットは、集められて再使用ビット値を形成する。Ｉフレームのロゴ領域では、この再使用ビット値は、下記のようなレート制御のための目標値を変更するフレームにおけるその点に対して、ロゴＭＢの数と共同して、使用される。
【００８１】
新たな目標値＝再使用ビット＋｛（目標ビットフレーム）＊（ここまでのロゴＭＢ）／（総ＭＢ）｝
【００８２】
これは、下記のレート制御の方程式に影響を及ぼす。
【００８３】
新しい仮想buf ＝ init 仮想buf ＋（発生されたピクチャビット）−（新しい目標値）
但し、「発生されたピクチャビット」は、フレーム内の現在の点に対して発生されたビット数であり、再使用により発生されたビット及びロゴ領域のレート制御によって発生されたビットからなる。
なお、「 init 仮想buf 」は、仮想バッファの初期値である。
【００８４】
即ち、
（発生されたピクチャビット）＝ロゴビット＋再使用ビット
である。
【００８５】
かくして、新たな目標値は、Ｉフレームのロゴ領域の目標ビット数における再使用の効果を取消し、レート制御を、あたかも全フレームが再符号化されたままのように実行する。
【００８６】
閾値ＱThを用いる意図は、「低いＱ」を有する領域では、パラメータ「Ｑ」を再使用し、「高いＱ」の領域では、「レート制御」を動作させることである。「背景」とロゴの組み合わせがある「低いＱ」の領域では、背景の高品質を維持するため、「マクロブロックＱ」を再使用する。これについては、対象物が透かして見える、例えば、地図５の部分を示す図７を参照のこと。パラメータ「Ｑ」を再使用する「ロゴマクロブロック」の数を減少させると、「レート制御」に、「Ｐ」及び「Ｂ」フレームに、より多くのビットを利用させるようにする。
【００８７】
変形態様
この第２の手法において、若し、マクロブロックのパラメータＱが基準閾値ＱThより小さかったら、保存されているパラメータＱの値は、再使用される。その閾値は、下記の内の１つになる。
【００８８】
ａ）ピクチャの動きに比例した閾値
ｂ）動きベクトルの長さに比例した閾値
ｃ）色内容に比例した閾値
【００８９】
保存されたパラメータＱの値は、映像ノイズを減少させるのに用いられる。動きベクトルが大きいか、動きが速いか、又は、いくらか色があるときは、ノイズはあまり目立たない。
【００９０】
動きベクトル処理
概観
図１２〜１５は、図９のステップ２２０及び２７０で実行される処理を示し、即ち、ピットマップを生成し、２つのビデオソースからの領域間の境界を確定し、そして、再使用されて、保存されている動きベクトルが同じビデオソースからの素材の妥当な部分を指定するかどうかを決定する保存されている動きベクトルをテストすることを示す。
【００９１】
図３を参照するに、符号化パラメータを再使用する決定がなされたとき、ビデオ信号Ａの領域のマクロブロックのために再使用されるべき保存された動きベクトルが、実際に、ビデオ信号Ａによって形成された映像の一部を示すこと、即ち、ビデオ信号Ａが、混合、ワイプ、又は、挿入処理の部分として、ビデオ信号Ｂによって置き換えられていないことを、確実にすることが重要である。これと同じことが、ビデオ信号Ｂにも適用される。
【００９２】
図１４及び図１５を参照するに、１つの境界（図１４Ｄの１マクロブロック幅の）が、新たに挿入された素材の周囲に創設される。これの利点は、ベクトルテストが、新しく挿入された素材（ソース）の回りで実行されることを、許容することである。境界が広いと、もしそうでなければ、このより粗いスケールの接近によって導入される誤りを回避するための安全の余裕を増加させるので、これの利点は、ベクトルテストが、画素のスケール（図１２及び１３のように）よりも、むしろ、マクロブロックのスケールで実行されることを、許容することである。
【００９３】
かくして、例えば、境界が領域Ａから完全に得られたのではない全マクロブロックの回りに、境界が創設されても良く、又、領域Ｂから完全に得られたのではない全マクロブロックの回りに、境界が創設されても良い。
【００９４】
このように、若し、領域Ｂからのマクロブロックに関連する保存された動きベクトルが、
ａ）領域Ａ、
ｂ）完全に領域Ｂからではないマクロブロック、又は、
ｃ）完全に領域Ｂからではないこれらのマクロブロックの回りに創設された境界、
を指すのであれば、その保存された動きベクトルは再使用されずに、その代わりに、新しい動きベクトルが、その場所から生成される。
同様に、若し、領域Ａからのマクロブロックに関連する動きベクトルが、
ａ）領域Ｂ、
ｂ）完全に領域Ａからではないマクロブロック、又は、
ｃ）完全に領域Ａからではないこれらのマクロブロックの回りに創設された境界
を指すのであれば、その動きベクトルは、再使用されずに、その代わりに、新しい動きベクトルが、その場所から生成される。
【００９５】
具体例
動きベクトルは、後述する説明で明らかにする手法Ａ、Ｂ及びＣのいずれかによって処理されても良い。これらの手法Ａ、Ｂ及びＣのいずれかには、上述した第１及び第２の手法が用いられても良い。
【００９６】
上述したように、元のビットストリームＡの動きベクトルＶ1は、再使用されるように、符号化器Ｅ２に保存されている。新しい動きベクトルＶ2は、ロゴ情報及び元のビデオ情報を含む混合されたビデオ情報のために計算される。動きベクトルＶ1、Ｖ2の組は、動きベクトルが適用するマクロブロックを示す指示と共にファイルに記憶される。下記の手法Ａ、Ｂ及びＣでは、動きベクトルはＰ及びＢのみに関連する。Ｂフレームのファイルは、前方予測及び後方予測の両方のベクトルを含む。
【００９７】
ビットマップ
上述したように、ビットマップは生成される。ビットマップは、そのフレーム内で、ロゴ情報がある場所を示すどのフレームのためにも生成される。
【００９８】
ビットマップは、Ｉフレームのために生成される。
【００９９】
各Ｂフレームは、Ｂフレームの動きベクトルが指す前方及び後方フレームのビットマップである、２つの基準ビットマップを使用する。
【０１００】
各Ｐフレームは２枚までのビットマップを有する。一方のビットマップは、そのフレーム自体のビットマップである。他方のビットマップは、基準ビットマップ、即ち、Ｐフレームの動きベクトルが指すフレームビットマップである。
【０１０１】
手法Ａ
ビットマップは、どの画素のためにも、画素がロゴ情報を含んでいるか否かを示す論理ビット「１」又は「０」を含む。
「１」＝ロゴあり、「０」＝ゴゴなし
【０１０２】
図１２Ａを参照して、混合されたビデオ情報のＰ又はＢフレームにおけるマクロブロックＭＢ（ｎ）について考える。
【０１０３】
マクロブロックＭＢ（ｎ）の保存された動きベクトルは、画素解像度で、ロゴビットマップに対してテストされる。かくして、図１２Ｂを参照するに、この図では、ｘｘｘｘによって示された１６画素×１６画素に対してテストされる。
【０１０４】
若し、領域ｘｘｘｘにおけるどんな画素も１に等しければ、その領域はロゴ情報を有する。そして、新しいベクトルＶ2はＭＢ（ｎ）のために使用される。
【０１０５】
若し、領域ｘｘｘｘにおけるどんな画素も０に等しければ、その領域はロゴなし情報を有する。そして、保存されているベクトルＶ1はＭＢ（ｎ）のために使用される。
【０１０６】
変形態様として、新しいベクトルＶ2を使用する代わりに、若し、領域ｘｘｘｘにおけるどんな画素もロゴ情報を含んでいれば、保存されているベクトルＶ1は、若し、領域ｘｘｘｘにおける少数の画素がロゴ情報を含んでいれば、使用され得る。
【０１０７】
手法Ｂ
この手法Ｂでは、Ｐ及びＢフレームのビットマップは、マクロブロックの解像度を有する。各マクロブロックにおいて、
「１」は、ロゴ情報を有するマクロブロックを示し、
「０」は、ロゴ情報を有しないマクロブロックを示す。
【０１０８】
若し、マクロブロックが１６×１６の画素を有するとすれば、ベクトルは、たった１つのマクロブロックの解像度、例えば、１６画素の解像度に対して、テストされる。
【０１０９】
図１３Ａ及び１３Ｂの状況を考察されたい。
【０１１０】
図１３Ａは、ロゴ情報を有しないＰ及びＢフレームのマクロブロックＭＢ（ｎ）を示す。その動きベクトルは、図１３Ｂに示すように、もう１つのフレームにおけるベストマッチの領域ｘｘｘを指す。領域ｘｘｘは、マクロブロック（ｎ）の隣にある。かくして、それがＭＢ（ｎ）の１６画素内にある。
【０１１１】
若し、マクロブロックＭＢ（ｎ）が、右方向に向かって、０から１５画素までの範囲の値の水平ベクトルを有するものとすれば、若し、その水平ベクトルがロゴ領域を指すのであれば、ロゴ画素を正しく選択するすることができない。
【０１１２】
図１３Ｂに対応するビットマップは、図１４Ｂに示されている。図１３Ａ及び１３に関して検討した状況に対して保護するために、基準フレームでは、１つのマクロブロックに等しい幅の境界は、図１４Ｃ及び１４Ｄに示されるようなロゴ情報を含む各マクロブロックの回りに加えられる。
この第２の手法の具体例では、境界は、常に１つのマクロブロックであり、その境界はベクトル範囲及びピクチャタイプに依存しない。
【０１１３】
境界は、ベクトル処理のために、ロゴ情報を含むようになされている。
【０１１４】
図１４ＣのマクロブロックＭＢ（ｎ）を参照するに、その動きベクトルは、ビットマップファイルのにおけるマクロブロックに対する１６画素の倍数の解像度に対してテストされる。
【０１１５】
若し、動きベクトルが指すどんなマクロブロックもロジック１（即ち、マクロブロックがロゴ情報を含んでいるか、又は、境界である）であれば、新しいベクトルはマクロブロックＭＢ（ｎ）のために使用される。
【０１１６】
若し、ベクトルがテストされた全てのマクロブロックＭＢ（ｎ）が、ロゴのない情報を含んでいれば、保存されているベクトルＶ1は、ＭＢ（ｎ）のために使用される。
【０１１７】
Ｂフレームは、上述したように、２つの基準ビットマップを有する。Ｂフレームは、前方及び後方の両基準フレームを指す動きベクトルを伴うマクロブロックを有しても良く、そして、２つの基準ビットマップに対して、一方向の１つの動きベクトルは、ロゴなし情報と他のロゴ情報を指すようにしても良い。このような状況において、本発明の一具体例は、ロゴなし情報を含む基準フレームを選択しても良く、又、マクロブロックのために保存されているベクトルＶ1を再使用しても良いが、他の基準フレームは無視される。
【０１１８】
手法Ｃ
図１５を参照するに、Ｂ及びＰフレームのビットマップは、ロゴ情報４を有するように、示されている。境界２２は、処理中の現在のフレーム（上述の手法Ａ及びＢにおける基準フレームとは異なる）におけるロゴ情報の周囲に設けられている。境界は、最大ベクトル範囲に依存した幅ｗを有する。幅ｗは、例えば、水平方向に６４画素及び垂直方法に３２画素である。
【０１１９】
幅ｗは、最大ベクトル範囲の２倍が望ましい。
【０１２０】
手法Ｃの変形例では、最大ベクトル範囲は、元のビデオビットストリームのＭＰＥＧパラメータから検出されるか、又は、各フレームのために測定される。
【０１２１】
境界の外側の全マクロブロックが、その境界の内側で、ロゴ情報を含んでいるマクロブロックに属する動きベクトルを持つことができないような幅ｗを、その境界が持つことが望ましい。
【０１２２】
かくして、保存された動きベクトルＶ1は、境界の外側の全マクロブロックのために使用され、そして、新しい動きベクトルはＶ2は、境界の内側の全マクロブロックのために計算される。
【０１２３】
上述の記述では、「フレーム」への言及は、例のみのためであると理解されるかもしれないが、一般的には、符号化はピクチャ毎であり、そのピクチャは、フレーム、フィールド、結合、又は、他のピクチャであり得た。
【０１２４】
上述したビデオ信号処理装置は、適当なソフトウェア上で動作する汎用コンピュータによって、少なくとも部分的に、実行されても良いことは、当業者によって理解されるであろう。そのようなソフトウェアや、そのようなソフトウェアが記憶された記憶媒体は、両方とも、本発明の具体例として考えられる。
【図面の簡単な説明】
【図１】  ビデオスプライスの動作を図示する。
【図２】  ビデオディゾルブの動作を図示する。
【図３】  ビデオロゴ挿入の動作を図示する。
【図４】  ビデオワイプの動作を図示する。
【図５】  ビデオロゴ挿入の動作を一層細大もらさず示す。
【図６】  ビデオロゴ挿入の動作を一層細大もらさず示す。
【図７】  挿入されたロゴ及び背景ビデオ間の重なりを示す図６の拡大部分図である。
【図８】  ビデオ信号処理装置の略図である。
【図９】  図８の処理装置の動作を示すフローチャートである。
【図１０】  １つのピクチャ内の量子化パラメータ値の分布を示すヒストグラムである。
【図１１】  量子化パラメータ値の閾値との比較を図示する。
【図１２】  ビットマップを図示する。
【図１３】  ビットマップを図示する。
【図１４】  ビットマップを図示する。
【図１５】  もう１つのビットマップを図示する。
【図１】
0004689001.tif 000002
【図２】
0004689001.tif 000003
【図３】
0004689001.tif 000004
【図４】
0004689001.tif 000005
【図５】
0004689001.tif 000006
【図６】
0004689001.tif 000007
【図７】
0004689001.tif 000008
【図８】
0004689001.tif 000009
【図９】
0004689001.tif 000010
【図１０】
0004689001.tif 000011
【図１１】
0004689001.tif 000012
【図１２】
0004689001.tif 000013
【図１３】
0004689001.tif 000014
【図１４】
0004689001.tif 000015
【図１５】
0004689001.tif 000016