(57)【要約】      （修正有）【課題】文字やＣＧで発生した図形などをビデオに挿入して効率よく圧縮符号化する。【解決手段】例えばキャプションまたはロゴを描いた合成的なビデオデータを含む非圧縮ビデオデータは、ビデオデータの生成または修正の間に用いられる、オペレータの動作または制御データから得た圧縮符号化パラメータを伴う。これら関連する圧縮符号化パラメータの少なくとも１つが非圧縮ビデオデータの圧縮に用いられる。【選択図】図１
2007329906.tif 000002
【特許請求の範囲】
【請求項１】
オペレータの動作または受け取った制御データに応答してビデオが生成または修正されるビデオ生成装置であって、非圧縮ビデオ出力と、複数の圧縮符号化パラメータの出力とを有し、前記複数の圧縮符号化パラメータの少なくとも１つは、前記オペレータ動作または前記受け取った制御データから得られる、ビデオ生成装置。
【請求項２】
第１の非圧縮ビデオ入力信号が、オペレータの動作または受け取った制御データに応答して生成または修正された少なくとも第２の非圧縮ビデオ信号と組み合わされるビデオ修正装置であって、前記第１と第２の非圧縮ビデオ信号の前記組み合わせを有している非圧縮ビデオ出力と、複数の圧縮符号化パラメータの出力とを有し、前記複数の圧縮符号化パラメータの少なくとも１つは前記オペレータ動作または前記受け取った制御データから得られる、ビデオ修正装置。
【請求項３】
前記複数の圧縮符号化パラメータはＭＰＥＧピクチャタイプ情報を有している、請求項１または２に記載の装置。
【請求項４】
前記複数の圧縮符号化パラメータは少なくとも１つの動きベクトルを有している、請求項１または２に記載の装置。
【請求項５】
前記複数の圧縮符号化パラメータは複数の定められたフレームに、または複数のフレームの複数の定められた部分に適用される複数の予測モードを有している、請求項１または２に記載の装置。
【請求項６】
前記複数の圧縮符号化パラメータは量子化パラメータを有している、請求項１または２に記載の装置。
【請求項７】
ビデオ生成装置の非圧縮出力が圧縮されるビデオ圧縮方法であって、前記ビデオ生成装置の前記非圧縮出力はオペレータの動作または受け取った制御データに応答して生成または修正され、前記非圧縮出力は前記オペレータ動作または前記受信制御データから得られた少なくとも１つの圧縮符号化パラメータに従って圧縮される、ビデオ圧縮方法。
【請求項８】
ビデオ修正装置の非圧縮出力が圧縮されるビデオ圧縮方法であって、第１の非圧縮ビデオ入力信号が、オペレータの動作または受け取った制御データに応答して生成または修正された少なくとも第２の非圧縮ビデオ信号と組み合わされ、前記非圧縮出力は前記オペレータ動作または前記受け取った制御データから得られた少なくとも１つの圧縮符号化パラメータに従って圧縮される、ビデオ圧縮方法。
【請求項９】
前記第１の非圧縮ビデオ信号入力には複数の関連している圧縮符号化パラメータが付随しており、前記非圧縮出力は前記第１の非圧縮ビデオ信号入力に関連している前記複数の圧縮符号化パラメータから得られた少なくとも１つの符号化パラメータに従って圧縮されている、請求項８に記載のビデオ圧縮方法。
【請求項１０】
文字またはコンピュータグラフィックス入力を受け取る手段と、前記文字またはコンピュータグラフィックスに付随している少なくとも１つの制御パラメータを受け取る手段と、前記文字またはコンピュータグラフィックスと前記制御パラメータの少なくとも一部分によってビデオ出力を合成する手段と、前記文字またはコンピュータグラフィックスまたは前記制御パラメータから前記ビデオ出力の圧縮符号化に使用する少なくとも１つの圧縮符号化パラメータを得る手段と、を有する、ビデオ生成装置。
【請求項１１】
前記制御パラメータは、スクロール速度、スクロールの方向、反復率、方向、画素寸法、およびブロック位置から選択される、請求項１０に記載のビデオ生成装置。
【請求項１２】
文字またはコンピュータグラフィックス入力を受け取るステップと、前記文字またはコンピュータグラフィックスに付随している少なくとも１つの制御パラメータを受け取るステップと、前記文字またはコンピュータグラフィックスと前記制御パラメータの少なくとも一部分によってビデオ出力を合成するステップと、前記文字またはコンピュータグラフィックスまたは前記制御パラメータから前記ビデオ出力の圧縮符号化に使用する少なくとも１つの圧縮符号化パラメータを得るステップと、を有するビデオ処理の方法。
【請求項１３】
前記制御パラメータは、スクロール速度、スクロールの方向、反復率、方向、画素寸法、およびブロック位置から選択される、請求項１２に記載のビデオ処理の方法。
【請求項１４】
請求項７から９、１２、または１３のいずれか１項に記載の方法を実装するように構成されているコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオのデータの生成および圧縮に関し、特に、ＭＰＥＧおよびそれと同様なビデオ圧縮方法に関する。
【背景技術】
【０００２】
通常のビデオ圧縮エンコーダ（例えば、ＩＳＯ／ＩＥＣ  １３８１８−２標準によるＭＰＥＧ−２エンコーダ）は、その入力ビデオを解析することにより、ビデオを符号化する方法を決定する。これらの決定には、特定のフレームが予測との差分として記述されことになるかどうか、またその場合、その予測を構成するために他のどの複数のフレームが使用されるのか、そして、送信されたデータがどのように量子化されるのか、が含まれる。動き補償予測には、動きを解析して複数の動きベクトルを生成するエンコーダが必要である。符号化されたビデオの品質（つまり符号化処理の透過性）は、符号化の決定および動きの計測の品質に依存している。
【０００３】
特許文献１は、符号化についての決定事項と関連する情報とを、どのようにして圧縮デコーダ内に保持することが可能かということと、以降の処理で使用するために符号化されたビデオと共にどのようにして搬送できるかということについて説明しており、特許文献２は、以前に符号化されていないビデオをどのように解析することができるかということと、圧縮エンコーダで使用するためにその結果をビデオと共にどのようにして搬送できるかということについて説明している。
【特許文献１】欧州特許出願公開  第０  ９１３  ０５８号明細書
【特許文献２】欧州特許出願公開  第１  ０５１  ８５１号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
発明者は、圧縮エンコーダでの高品質ビデオ解析を必要とせずに、より高品質の圧縮を可能にする複数の符号化パラメータをビデオ生成処理の一部として生成することができる場合があることを認識していた。特に、カメラを使用せずに大量のビデオコンテンツが作られている。例えば、字幕は文字と形式指定用データから合成されており、チャンネル識別ロゴおよび時計は保存されているデータから合成されており、動いている図形または静止している図形はコンピュータワークステーション上で作ることができる。
【課題を解決するための手段】
【０００５】
本発明は、オペレータの動作または受け取った制御データに応答してビデオが生成されるまたは修正されるビデオ生成装置であって、非圧縮ビデオ出力と、複数の圧縮符号化パラメータの出力とを有し、複数の圧縮符号化パラメータの少なくとも１つがオペレータ動作または受け取った制御データから得られることを特徴とするビデオ生成装置の態様にある。
【０００６】
他の態様では、本発明は、第１の非圧縮ビデオ入力信号が、オペレータの動作または受け取った制御データに応答して生成または修正された少なくとも第２の非圧縮ビデオ信号と組み合わされるビデオ修正装置であって、第１と第２の非圧縮ビデオ信号の組み合わせを有している非圧縮ビデオ出力と、複数の圧縮符号化パラメータの出力とを有し、複数の圧縮符号化パラメータの少なくとも１つはオペレータ動作または受け取った制御データから得られることを特徴とするビデオ修正装置からなる。
【０００７】
複数の圧縮符号化パラメータはＭＰＥＧピクチャタイプ情報を有していてもよい。複数の圧縮符号化パラメータは少なくとも１つの動きベクトルを有していてもよい。複数の圧縮符号化パラメータは複数の定められたフレームまたは複数の定められたフレームの複数の部分に適用される複数の予測モードを有していてもよい。複数の圧縮符号化パラメータは量子化パラメータを有していてもよい。
【０００８】
さらなる態様において、本発明は、ビデオ生成装置の非圧縮出力が圧縮されるビデオ圧縮方法であって、ビデオ生成装置の非圧縮出力はオペレータの動作または受け取った制御データに応答して生成または修正され、非圧縮出力はオペレータの動作または受け取った制御データから得られた少なくとも１つの圧縮符号化パラメータに従って圧縮されることを特徴とするビデオ圧縮方法に存する。
【０００９】
さらなる他の態様において、本発明は、ビデオ修正装置の非圧縮出力が圧縮されるビデオ圧縮方法であって、第１の非圧縮ビデオ信号が、オペレータの動作または受け取った制御データに応答して生成または修正された少なくとも第２の非圧縮ビデオ信号と組み合わされ、非圧縮出力はオペレータの動作または受け取った制御データから得られた少なくとも１つの圧縮符号化パラメータに従って圧縮されることを特徴とするビデオ圧縮方法に存する。
【００１０】
第１の非圧縮ビデオ信号入力には複数の関連している圧縮符号化パラメータが付随しており、非圧縮出力は第１の非圧縮ビデオ信号入力に関連している複数の圧縮符号化パラメータから得られた少なくとも１つの符号化パラメータに従って圧縮されることが適当である。
【００１１】
本発明は図面を参照した例によって説明される。
【発明を実施するための最良の形態】
【００１２】
本発明の第１の実施形態を図１に示している。ビデオ生成装置１はビデオ信号２と情報ストリーム３とを生成する。ビデオ生成装置１は、キャプション／ロゴ生成器またはグラフィックスワークステーションとすることができ、そのビデオ出力は、動画であっても静止画であってもよい。ビデオ信号２はシリアルデジタルコンポーネントデータストリームまたは任意の他の非圧縮ビデオ形式であってもよい。
【００１３】
情報ストリーム３は、ビデオ信号２の圧縮を支援する情報を有している。この情報は以下の複数の要素の少なくとも何れかを有することができる。
−ビデオの複数の空間的または時間的なセグメントに適用される複数の予測方法。
−ビデオの複数の空間的または時間的なセグメントから得られるデータに適用される複数の量子化パラメータ。
−ビデオの全部または一部に該当する複数の動きベクトル。これらの複数の動きベクトルは、絶対的であっても、つまり動きの速度と方向を記述していてもよいし、相対的であっても、つまり２つの定められたフレーム間の動きを記述していてもよい。
−ビデオがインターレース走査であるかプログレッシブ走査であるか。
−「フィールドドミナンス」つまり３：２プルダウンシーケンス情報などのビデオの時間的なサンプリングについての情報。
【００１４】
この情報は、キャプションまたはロゴを生成するのに使用されるデータと同じデータから作られ、通常、ビデオ生成装置１はそのようなデータについての予備知識を有することになる。例えば、スクロールするキャプションが生成されると、オペレータによって要求される動きの速度と方向とを、キャプションの複数の画素の複数の動きベクトルの生成に使用することができる。この情報は、ビデオ信号２の解析によって得られる同等の情報よりもより正確で、そしてより容易に得られることになる。同様に、複数の予測モードと量子化についての決定を、キャプションまたはロゴの正確で明白な知識から得ることができる。
【００１５】
情報ストリーム３は、ビデオの内容の性質には関係しない圧縮に関する情報、例えば所望のＭＰＥＧ  ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）シーケンスを有していてもよい。
【００１６】
情報ストリーム３は、ＳＭＰＴＥ標準３２７Ｍで定められている「再符号化データセット」の形式をとることができる。情報ストリーム３は、色の最下位ビットを置き換えてビデオ信号２と同じ信号内で搬送したり、ビデオ信号２に付随している別個の信号とすることができる。付随させたり、符号化することによって、ストリーム内の情報を、フレーム、符号化ブロック、または画素などのビデオの適切な空間と時間の複数の要素に関連づけることができなければならないことは明らかであろう。
【００１７】
圧縮エンコーダ４は圧縮出力５を出力するようにビデオ信号２を圧縮する。この出力は、ＭＰＥＧデータなどのストリーミングデータや、関連する記憶装置内のファイルであってもよい。
【００１８】
エンコーダ４がその符号化についての決定内容、複数の動きベクトル、およびビデオ形式情報の全てを情報ストリーム３から得ることができれば、エンコーダ４の構造を簡素化できる（すなわちエンコーダ４を「ダム（ｄｕｍｂ）」エンコーダとすることができる）。いくつかのパラメータだけを、おそらくは、複数の動きベクトルだけを情報ストリーム３から得ることもできる。情報ストリーム３は、ビデオ符号化を定めるために必要な全てのパラメータを含んでいないことがあり、情報ストリーム３から得られるパラメータもあれば、エンコーダ４内で決定されているパラメータもある。情報ストリーム３がエンコーダ４で使用できるようにするには、情報ストリーム３に対して何らかの処理が必要な可能性もあり、例えば、複数の絶対動きベクトルを定められた２つのフレーム間の複数の動きベクトルに変換することが必要になることがある。最適な構成は、システムの検討事項に、特に最適な構成がすべての関連情報をビデオ生成装置１が利用できるようにできるどうかに依存することになる。
【００１９】
本発明の第２の実施形態を図２に示している。
【００２０】
キャプション／ロゴ生成器の出力が画像領域全体を占める必要がないことが多い。キャプション／ロゴ生成器によって定められる画像の領域がその出力によって置き換えられるように、キャプションまたはロゴはビデオ信号に「キーイング入力」されることが非常に一般的である。置き換えられる領域の形状と大きさとは、挿入されるキャプションまたはロゴの動きによって変化する。
【００２１】
図２では、ビデオカメラなどのビデオ源２０からキャプション／ロゴ生成／挿入器２１に対して入力が行われる。キャプション／ロゴ生成／挿入器２１はキャプションまたはロゴをビデオ源２０から受け取ったビデオ信号に挿入する。キャプション／ロゴ生成／挿入器２１は、組み合わされたキャプションとビデオとの信号２２だけではなく、組み合わされたキャプションとビデオとの信号２２の複数のキャプション要素またはロゴ要素の圧縮符号化を支援する情報を含んでいる情報ストリーム２３も出力する。情報ストリーム２３は、キャプションまたはロゴだけを指すが、これはキャプション／ロゴ生成／挿入器２１が画像の他の部分の情報を有しておらず、そのビデオ出力を分析しないためである。
【００２２】
圧縮エンコーダ２４は、圧縮されたビデオストリームまたはファイル出力２５を生成するようにビデオ信号２２を圧縮する。この圧縮エンコーダ２４は、ビデオ信号２２の、キャプション／ロゴ生成／挿入器２１によって生成され挿入されたキャプションまたはロゴを含んでいない複数の部分を分析しなければならないが、キャプションまたはロゴをどのように符号化するかを決定するために情報ストリーム２３を使用することができる。
【００２３】
第３の実施形態を図３に示している。
【００２４】
圧縮ビデオ入力３０は、復号されたビデオ信号３２と、圧縮ビデオ入力３０の圧縮に使用された複数のパラメータについての情報を含んでいる情報ストリーム３３との両方を出力する圧縮デコーダ３１内で圧縮解除される。ミックス／エフェクト処理３４はビデオ信号３２をビデオ生成装置３６からの第２のビデオ信号３５と組み合わせる。この組み合わせは、はめ込み（ｉｎｌａｙ）、ワイプ、他のキーイング技法、ミキシング、非加算ミキシング等の任意の公知のビデオ組み合わせ技法とすることができる。キーイングが行われる場合、ビデオ信号３５がキー信号を含んでいてもよいし、キー信号をビデオ信号３５に関連づけてミックス／エフェクト処理３４に入力してもよい。
【００２５】
ビデオ生成装置３６は、ビデオ信号３５の符号化を支援する複数のパラメータを含んでいる情報ストリーム３７を出力する。これらのパラメータは、ビデオ生成処理から直接得られるものであり、ビデオ信号３５の分析によって得られるものではない。
【００２６】
ミックス／エフェクト処理３４は、組み合わされたビデオ出力３８と情報ストリーム３９とを出力する。情報ストリーム３９は圧縮エンコーダ４０でのビデオ３８の圧縮を支援する複数のパラメータを含んでいる。情報ストリーム３９は情報ストリーム３３と３７からのすべての情報を含んでいてもよいし、情報ストリーム３３と３７のうちビデオ信号３８に関連する部分だけを含んでいてもよい。いずれにしても、情報ストリーム３９の複数の要素が、ビデオ信号３８の対象としている空間的および時間的なセグメントに対応していることが必要となる。これは、情報ストリーム３９がビデオ３８内で（例えば下位ビットとして）符号化されている場合には、自動的に達成される。他の選択肢としては、情報ストリーム３３と３７とをキー信号と組み合わせ、組み合わされた情報ストリーム３３と３７とキー信号とを情報ストリーム３９として出力することがある。
【００２７】
圧縮エンコーダ４０は、ビデオ３８の分析の必要性を無くすか減少させるように、そしてビデオ信号３８の以前に圧縮された複数の部分（つまりビデオ信号３８に寄与しているビデオ信号３２の複数の部分）が圧縮ビデオ入力３０において圧縮されていたのと同じように圧縮されることを保証することによって累積的な圧縮による障害を回避するように情報ストリーム３９を使用してビデオ信号３８を圧縮する。
【００２８】
本発明のすべての前述の実施形態では、以下のように圧縮エンコーダ用の２つ以上の符号化パラメータの供給源が存在する。
−圧縮エンコーダ自体によるビデオ分析、および圧縮エンコーダ自体への制御入力
−圧縮エンコーダのビデオ入力に埋め込まれているか関連づけられている情報
−図３に示しているシステムの場合には、ビデオ入力に埋め込まれているか関連づけられている情報の２つの別個の組が存在してもよい
装置は、最適な符号化されたビデオ出力を実現するように、通常、複数の符号化パラメータの複数の供給源の１つに「優位性（ｐｒｉｍａｃｙ）」を与えることによって、情報のこれらの供給源に優先順位を付けることが好ましいであろう。その代わりに、圧縮エンコーダは圧縮エンコーダが使用可能な複数の符号化パラメータの全ての供給源を評価し、符号化された出力に関連している品質尺度に基づいて、最も適切な供給源を決定してもよい。
【００２９】
前述の説明では、様々な機能ブロックつまり実体を参照した。各ブロックの機能は、専用ハードウェア、いくつかの専用要素といくつかのプログラム可能要素とを有しているハードウェア、またはビデオ装置または一般的なデータ処理装置上で実行可能なソフトウェアで実施されてもよいことが理解されるであろう。特定の、しかし限定的ではない例では、本発明はマイクロプロセッサまたはロゴまたはキャプション発生器に備わっている他のプログラム可能な要素上で実行されるソフトウェア内のロゴまたはキャプション発生ソフトウェアの符号構成部分として、デジタル特殊エフェクト発生器内のソフトウェアとして、またはコンピュータ生成フィルム環境またはコンピュータ生成ビデオ環境内のソフトウェアとして実装可能である。
【図面の簡単な説明】
【００３０】
【図１】第１の実施形態のビデオ生成装置の出力を示している図である。
【図２】第２の実施形態のロゴ／キャプション生成器とインサータの出力の圧縮を示している図である。
【図３】第３の実施形態のビデオ生成装置から入力を受けるビデオミックス／エフェクトプロセッサの出力の圧縮を示している図である。
【図１】
2007329906.tif 000003
【図２】
2007329906.tif 000004
【図３】
2007329906.tif 000005
【外国語明細書】
2007329906.tif 000006
2007329906.tif 000007
2007329906.tif 000008
2007329906.tif 000009
2007329906.tif 000010
2007329906.tif 000011
2007329906.tif 000012
2007329906.tif 000013
2007329906.tif 000014
2007329906.tif 000015
2007329906.tif 000016
2007329906.tif 000017
2007329906.tif 000018