(57)【要約】本発明は、小さいフォーマットの１次ビデオ・オブジェクトからアップスケーリングされた２次元グラフィック要素を含むビデオフレームを得る方法及び装置に関する。ここにおいて本発明は、前記２次元グラフィック要素の画質が低下しないことを保証する。この目的にしたがって、ビデオフレームと２次元グラフィック要素とについてはそれぞれ別個のプロセスが並行して実施される。このうちの第１プロセスは、前記１次ビデオ・オブジェクトフレームからレンダリングされたフレームを生成する過程から構成され、ここにおいて前記レンダリングされたフレームは、後に所望の出力ビデオフォーマットにアップスケーリングされる。第２のプロセスは、２次元グラフィック要素を前記出力フォーマットに直接レンダリングする過程から構成される。さらにこのプロセスでは描画アルゴリズムが用いられ、これは２次元グラフィック要素の画質が低下しないことを保証する。そして最終的なステップにおいて、レンダリングされた２次元グラフィック要素はアップスケーリングされたビデオフレーム上にマッピングされる。２次元グラフィック要素を含んだビデオフレームをアップスケーリングしたのでは、画質が低下した２次元グラフィック要素を含むビデオフレームが生成されてしまうのに対して、この方法では、優良な解像度を有する２次元グラフィック要素を含むビデオフレームが生成される。適用：ビデオシーン作成。
2004513578.tif 000002
【特許請求の範囲】
【請求項１】
１組のグラフィック要素と１次ビデオ・オブジェクトとからビデオシーンを作成する方法であって：
―前記１次ビデオ・オブジェクトをレンダリングして、第１フォーマットにレンダリングされたビデオフレームを提供するステップと；
―前記レンダリングされたビデオフレームをアップスケーリングして、第２フォーマットにアップスケーリングされたビデオフレームを提供するステップと；
―前記グラフィック要素をレンダリングして、前記第２フォーマットにレンダリングされたグラフィック要素を提供するためにステップと；
―前記レンダリングされたグラフィック要素を前記アップスケーリングされたビデオフレーム上にマッピングして、ビデオシーンを定義するフレームを作成するステップと；
から構成されることを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、前記１次ビデオ・オブジェクトは復号されたＭＰＥＧ−４ビデオ・オブジェクトであることを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、前記グラフィック要素は文字や幾何学模様であることを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、前記グラフィック要素をレンダリングするステップは、描画アルゴリズムを用いる方法によって実施されることを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、前記アップスケーリング・ステップには、前記第１フォーマットを有するレンダリングされたフレームを定義するピクセルの複製が伴うことを特徴とする方法。
【請求項６】
１組のグラフィック要素と１次ビデオ・オブジェクトとからビデオシーンを作成するためのセット・トップボックス製品であって：
―前記１次ビデオ・オブジェクトに適用するレンダリング手段であり、第１フォーマットにレンダリングされたビデオフレームを提供するためのレンダリング手段と；
―前記レンダリングされたビデオフレームに適用されるアップスケーリング手段であり、第２フォーマットにアップスケーリングされたビデオフレームを提供するためのアップスケーリング手段と；
―前記グラフィック要素に適用されるレンダリング手段であり、前記第２フォーマットにレンダリングされたグラフィック要素を提供するためのレンダリング手段と；
―前記レンダリングされたグラフィック要素を前記アップスケーリングされたビデオフレーム上にマッピングするためのマッピング手段であり、ビデオシーンを定義するフレームが生成されるようなマッピング手段と；
から構成されることを特徴とするセット・トップボックス製品。
【請求項７】
請求項６に記載のセット・トップボックス製品であって：
前記レンダリング手段とマッピング手段においては、信号処理装置あるいはメモリにロードされた専用のプログラム指示が信号処理装置によって実施され；
前記アップスケーリング手段においては、信号共同処理装置のハードウェア機能が実施される；
ことを特徴とするセット・トップボックス製品。
【請求項８】
請求項６に記載のセット・トップボックス製品であって、前記１次ビデオ・オブジェクトがレンダリングされている間にその相対的空間位置を変更するためのユーザー対話手段から構成されることを特徴とするセット・トップボックス製品。
【請求項９】
請求項６に記載のセット・トップボックス製品であって、ＭＰＥＧ−４ビデオ・オブジェクトが前記１次ビデオ・オブジェクトを定義するという結果をもたらすような入力ＭＰＥＧ−４ストリームを復号するための復号手段から構成されることを特徴とするセット・トップボックス製品。
【請求項１０】
請求項６に記載のセット・トップボックス製品であって、前記アップスケーリングされたビデオフレームの上にマッピングされた前記グラフィック要素は、文字及び幾何学模様であることを特徴とするセット・トップボックス製品。
【発明の詳細な説明】
【０００１】
本発明は、１組のグラフィック要素と１次ビデオ・オブジェクトとからビデオシーンを作成する方法に関する。
【０００２】
本発明は、あらゆるビデオ符号システムにおいて、グラフィック要素をビューアーにとってより見心地よくするために利用されることが可能である。
【０００３】
対話型のテレビやエレクトロニック・プログラム・ガイド（ＥＰＧ）などといったマルチメディア・アプリケーションの出現によって、イメージの画質は１つの重要な様相になってきている。実際に、画像、ビデオ及びグラフィック要素が優良な解像度を有すると同時に大きなディスプレイフォーマットを有することは、今ではエンドユーザーにとっての必須条件である。こうして彼らは最良の見心地でこのようなアプリケーションとの通信や対話を行うことができる。最近ではより多くのこれらマルチメディア・アプリケーションのコンテンツが１次ビデオコンテンツから構成され、この１次ビデオコンテンツ内に付加的な情報が挿入されるようになっている。このような付加的な情報は、エンドユーザーによるリクエストへの応答に対応するか、あるいはエンドユーザーのグラフィックのパーソナル化に対応することができる。この結果として、前記１次ビデオコンテンツのビデオフレーム上にテキストや幾何学模様などの２次元グラフィック要素がマッピングされる。
【０００４】
米国特許５，８７７，７７１は、ディスプレイされたフレームの表面をより鮮明に表示するための２次元テクスチャ・マッピングの方法及び装置を記載する。この目的において、１次ビデオフレーム内の宛先ピクセルのためのマルチ解像テクスチャデータは、縦と横のスクリーン空間においてスーパーサンプルされる。ここでのサンプルレートはテクスチャのローカル変化レートに基づく。もしグラフィック要素がテクスチャとみなされるのであれば、上述の方法は２次元グラフィック要素をビデオフレーム上にマッピングするためにも用いられることが可能である。
【０００５】
本発明の課題は、２次元グラフィック要素及びビデオ・オブジェクトからビデオシーンを作成する方法を改善しかつ低価格にし、ビデオシーンの中で良質の２次元グラフィック要素を得られるようにすることである。
【０００６】
実際に従来の技術には厳格な制限がある。まずこの方法は、２次元グラフィック要素を１次ビデオフレーム上にマッピングする際に出力されるビデオフレームが前記１次ビデオフレームよりも大きなフォーマットを必要とする場合に、このマッピング操作と一緒に前記１次ビデオフレームのアップスケーリングが組み合わされなければならないことを考慮していない。したがってこのような状況では、エイリアジングによって２次元グラフィック要素の画質が低下し、ビューアーが読むことのできない粗くてギザギザのシンボルが表示されてしまう可能性がある。またこの方法では、マッピング操作において多大な処理パワーが要されるためコストが高くなってしまう。
【０００７】
本発明にしたがった方法は、従来技術の方法における制限から生じる問題の解決策を提供する。本発明による方法は、小さいフォーマットの１次ビデオ・オブジェクトからアップスケーリングされた２次元グラフィック要素を含むビデオフレームを得ることを可能にし、さらにここで前記２次元グラフィック要素の画質が低下されないことを保証する。この目的において本発明に従った方法は、
―前記１次ビデオ・オブジェクトをレンダリングして、第１フォーマットにレンダリングされたビデオフレームを提供するステップと、
―前記レンダリングされたビデオフレームをアップスケーリングして、第２フォーマットにアップスケーリングされたビデオフレームを提供するステップと、
―前記グラフィック要素をレンダリングして、前記第２フォーマットにレンダリングされたグラフィック要素を提供するためにステップと、
―前記レンダリングされたグラフィック要素を前記アップスケーリングされたビデオフレーム上にマッピングして、ビデオシーンを定義するフレームを作成するステップと、
から構成されることを特徴とする。
【０００８】
本発明に従ったこの方法の利点は、出力されたデータが、ビデオ・オブジェクトに関するものと、２次元グラフィック要素に関するものと、２つの別々のデータから構成されるという点から生じる。こうして、ビデオ・オブジェクトと、２次元グラフィック要素とについてそれぞれ別々のプロセスが並行して実行される。このうちの第１プロセスは、ビデオ・オブジェクトフレームからフレームを作成する過程から構成され、ここにおいて前記フレームは後に所望の出力ビデオフォーマットにアップスケーリングされる。第２プロセスは、２次元グラフィック要素を前記出力フォーマットに直接レンダリングする過程から構成される。さらにこのプロセスでは描画アルゴリズムが用いられ、これは２次元グラフィック要素の画質が低下しないことを保証する。そして最終的なステップにおいて、レンダリングされた２次元グラフィック要素はアップスケーリングされたビデオフレームの上にマッピングされる。この方法では、優良な解像度を有する２次元グラフィック要素を含むビデオフレームが生成される。これに比べて２次元グラフィック要素を含んだビデオフレームをアップスケーリングしたのでは、画質が低下した２次元グラフィック要素を含むビデオフレームが生成されることになる。
【０００９】
本発明の詳細は以下の実施形態の説明において添付の図面を参照しながら示される。
【００１０】
本発明は１組のビデオデータと２次元グラフィック要素とからのビデオシーン作成における改善された方法に関する。
【００１１】
以下で説明される本発明の実施形態は、ＭＰＥＧ−４ビデオ標準に従って符号化された２次元グラフィック要素及びビデオデータから構成されるビデオシーンのためのものであるが、当業者には自明であるように本発明の範囲は、この実施形態に限定されることはなく、その他のオブジェクト指向のビデオ標準や、ＭＰＥＧ−２もしくはＨ．２６３ビデオ標準、または符号化されていないビデオデータに適用されることも可能である。
【００１２】
図１は、２つのビデオと２次元グラフィック要素からビデオシーンを作成するという状況の中での本発明に従った方法における一連のステップを示す。この一連のステップには以下のものが含まれる。
―ＭＰＥＧ−４ビデオ標準に従って符号化された入力ビデオ・オブジェクト１０２を復号して、復号されたビデオ・オブジェクト１０３を提供する復号ステップ１０１。ここで１つのビデオ・オブジェクトは、例えばＣＩＦフォーマット（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）などの第１フォーマットの背景ビデオに対応する。２つ目のビデオ・オブジェクトは、例えばＳＱＣＩＦフォーマット（Ｓｕｂ Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）などのより小さなフォーマットのビデオに対応する。これらの入力ビデオ・オブジェクトは、別々のＭＰＥＧ−４デコーダによって復号される。
―復号されたビデオ・オブジェクト１０３からレンダリングされたビデオフレーム１０５を得るためのビデオ・レンダリング・ステップ１０４。このステップは、パラメータをアセンブルすることに関して前記ビデオ１０３をアセンブルするという操作から構成される。例えば、この結果ＳＱＣＩＦビデオフレームがＣＩＦビデオフレーム上にオーバーレイされることが可能である。このようなパラメータは例えば、シーンの中の各々のビデオ・オブジェクトの空間位置や、ＳＱＣＩＦとＣＩＦビデオフレームとの間の透明率を表すことができる。これらのパラメータは、各々のビデオ・オブジェクトか、あるいはＢＩＦＳシンタックス（Ｂｉｎａｒｙ Ｆｏｒｍａｔ Ｆｏｒ Ｓｃｅｎｅ）に従って符号化されかつシーンの構成を示す働きをするストリーム１０６から直接抽出される。このステップはさらにユーザーの対話に対する応答として、アセンブルされるパラメータを修正することについてのＭＰＥＧ−４レイヤの修正能力を考慮することができる。ユーザーの対話としては例えば、マウス１０６もしくはキーボード１０７などの手段、またはレンダリングされるシーン中のビデオ・オブジェクトから選択される空間位置を変更するなどといったＢＩＦＳストリーム１０６内のＢＩＦＳアップデートの使用による対話などがある。
―レンダリングされたフレームから拡大されたフレーム１０９を縦軸及び／または横軸に沿って提供するためのアップスケーリング・ステップ１０８。この目的において、フレーム１０５の輝度及び色度ピクセルはスケールファクターに従って縦及び／または横に複製される。もちろんここでピクセル補間法に基づいた技法など別のアップスケーリング技法を用いることも可能である。例えばスケールファクターを２に設定した場合、ＣＩＦフォーマットのフレーム１０５をアップスケーリングした結果フレーム１０９はＣＣＩＲフォーマットになる。
―２次元グラフィック要素１１１からレンダリングされた２次元グラフィック要素１１２を得るためのグラフィック・レンダリング・ステップ１１０。この目的において、前記グラフィック要素１１１をアップスケーリングせずにフレーム１０９上に直接マッピングできるようなフォーマットにレンダリングするために描画アルゴリズムが用いられる。このような方法では、２次元グラフィック要素の画質低下が生じることがない。この２次元グラフィック要素は、テキスト及び／またはグラフィック模様から構成されることができる。このグラフィック・レンダリング・ステップ１１０において、各要素１１１はそれぞれ別個の単位としてレンダリングされる。
―レンダリングされた２次元グラフィック要素１１２をフレーム１０９上にマッピングすることによってフレーム１１５を生じさせるマッピング・ステップ１１３。このステップは、信号１１４あるいはＢＩＦＳストリーム１０６内のシーンの記述によって定義されるフレーム１０９内の各々の２次元グラフィック要素１１２の位置を考慮する。これらの位置はフレーム１０９において定義される直角座標のリファレンスシステム上での縦軸座標と横軸座標に対応する。信号１１４は、あらかじめ設定されているか、あるいは前記リファレンスシステム上での２次元グラフィック要素の空間位置を選択するに当たってユーザーが２次元グラフィック要素と対話することを可能にするマウスもしくはキーボードによって発信される。あるグラフィック要素の位置が一旦定義されると今度はマッピング操作１１３が、フレーム１０９のピクセルと、前記グラフィック要素を定義するピクセルとを置き換える。より改善された実施形態においては、グラフィック要素とフレーム１０９との間の透過性を、フレーム１０９のピクセルと前記グラフィック要素を定義するピクセルとの間の平均を取ることによって得られるようにすることが可能である。
【００１３】
図２は、本発明の実施形態に従った種々のステップを実行するためのハードウェア構造２００を示す。この構造は、種々の処理実行ハードウェアユニット相互のデータ交換を保証するためのデータバス２０１の周囲に構築される。まずこの構造は、入力ビデオ・オブジェクトと２次元グラフィック要素との両方を受信するための入力周辺装置２０２を含む。これらの入力ビデオ・オブジェクトと２次元グラフィック要素とは大量記憶装置２０３内に記憶される。前記ビデオ・オブジェクトは、信号処理装置２０４（図においてはＣＰＵと表示）によって復号される。この信号処理装置２０４は、高速呼び出し記憶装置２０５内に記憶される復号アルゴリズムに属する指示を実行する。一旦復号されると、ビデオ・オブジェクトは第１ビデオバッファー２０６に記憶される。前記ビデオ・レンダリング・ステップも、信号処理装置２０４が記憶装置２０５に記憶されるレンダリング・アルゴリズムに属する指示を実行することによって実施されるが、ここで信号処理装置２０４はマウス２０７、キーボード２０８、大量記憶装置２０３に記憶されるＢＩＦＳファイル、あるいはビデオシーン内の各々のビデオ・オブジェクトを位置づけるための入力周辺装置２０２からのＢＩＦＳストリーム、から発信されるデータをも考慮する。復号されたビデオ・オブジェクトからレンダリングされた各フレームは、前記第１バッファー２０６に記憶され、信号共同処理装置２０９（図においてはＩＣＰと表示）の手段によってアップスケーリングされる。信号共同処理装置をこのようなタスクのために利用することで、迅速な処理とＣＰＵの占有の極小化が可能になる。これはアップスケーリング・ハードウェア機能がこのような装置に含まれることができるからである。この結果として得られたアップスケーリングされたフレームは、前記バッファー２０６に記憶される。これに並行して、信号処理装置２０４は、記憶装置２０５に記憶される描画アルゴリズムに属する指示を実行することによって２次元グラフィック要素をレンダリングする。ここで各グラフィック要素は、順々にレンダリングされ、順々にバッファー２０６内のレンダリングされたフレームの上にマッピングされる。もしレンダリングされたフレームと２次元グラフィック要素との間に透過性が求められるならば、レンダリングされたグラフィック要素はまず臨時バッファー２１０に記憶され、プロセッサー２０４によって、前記バッファー２０６に記憶されたフレームに属するピクセルと、前記レンダリングされた２次元グラフィック要素に属するピクセルとを平均する操作が実施され、その結果得られたフレームがバッファー２０６に記憶されるようにする。２次元グラフィック要素を含むレンダリングされた最終フレームが準備されると、バッファー２０６のコンテンツは第２バッファー２１１に送信され、出力ビデオ周辺装置２１２に供給され、前記レンダリングされた最終フレームがディスプレイ２１３上に表示されるようにする。このスイッチングのメカニズムは、現在バッファー２１１内にあるフレームがディスプレイされている間に次のフレームのレンダリングを開始させることを可能にする。このプロセスは２次元グラフィック要素を含む各フレームのレンダリングについて繰り返される。
【００１４】
図３は、本発明に従った実施形態を示す。この実施形態は、電子プログラムガイド・アプリケーション（ＥＰＧ）に対応し、これはユーザーがビデオプレビューやテキストデータなどのテレビ番組についてのさまざまな情報を受信することを可能にする。この目的において、図１及び図２を参照にして説明された本発明の実施形態に従った一連のステップは、外部３０２（例えば放送者）からリンク３０３を介して１次データを受信するセット・トップボックス・ユニット３０１に実装される。前記１次データは、本発明の実施形態におけるステップに従って処理され、その結果１次ビデオ・オブジェクトよりも大きいフォーマットで、２次元グラフィック要素を含み、ディスプレイ３０４上に表示されるビデオフレームが形成される。この適用例においてユーザーは、スクリーンをナビゲートし、チャンネル空間３０６と時間空間３０７上における閲覧ウィンドウ３０８とこれに連係する棒線ターゲット３１０の位置に対応するプレビューを見ることができる。閲覧ウィンドウ３０８は、フルスクリーンのテレビ番組３０９上に上乗せされて組み込まれる。こうしてユーザーは、現在放映中のテレビ番組を背景に時間３０７とチャンネル３０６との空間をブラウジングすることができる。ここにおける対話機能はマウスのようなポインター装置３０５（例えばマルチ機能のリモコン装置など）によって提供される。本発明は、本適用例において表示されたフレーム中のグラフィック及びテキスト要素３０６，３０７，３１０がはっきりと読めるように表示されることを保証する。
【００１５】
もちろん本発明の範囲から外れることなく、別のグラフィックデザインを用いて例えば映画に出演する俳優の紹介や番組の詳細な説明などのより詳しい情報を提供することも可能である。
【図面の簡単な説明】
【図１】
本発明の実施形態に従った一連のステップを示す。
【図２】
本発明の実施形態のハードウェアへの実装例を示す。
【図３】
本発明の実施形態の一例を示す。
【図１】
2004513578.tif 000003
【図２】
2004513578.tif 000004
【国際公開パンフレット】
2004513578.tif 000005
2004513578.tif 000006
2004513578.tif 000007
2004513578.tif 000008
2004513578.tif 000009
2004513578.tif 000010
2004513578.tif 000011
2004513578.tif 000012
2004513578.tif 000013
2004513578.tif 000014
2004513578.tif 000015
2004513578.tif 000016
【国際公開パンフレット（コレクトバージョン）】
2004513578.tif 000017
【国際調査報告】
2004513578.tif 000018
2004513578.tif 000019
2004513578.tif 000020