(57)【要約】【課題】一方の映像（例えば主映像）に他方の映像（例えば副映像）を重ね合わせる或は合成する場合、双方の映像データの時間軸を合わせ込むことができる。【解決手段】任意のフレームレートを持つ第１の映像データを生成する第１の映像生成手段と、第１の映像データとは異なる任意のフレームレートを持つ第２の映像データを生成する第２の映像生成手段と、前記第１の映像生成手段の映像生成手段が管理する映像再生時間を基準時間とし、この基準時間に対して前記第２の映像生成手段の映像再生時間のずれを定期的に補正する手段とを有する。【選択図】      図１０
2005341132.tif 000002
【特許請求の範囲】
【請求項１】
任意のフレームレートを持つ第１の映像データを生成する第１の映像生成手段と、
第１の映像データとは異なる任意のフレームレートを持つ第２の映像データを生成する第２の映像生成手段と、
前記第１の映像生成手段が管理する映像生成時間を基準時間とし、この基準時間に対して前記第２の映像生成手段の映像生成時間のずれが生じた分を第２の映像データの繰り返し利用により補正し、フレーム同期を得る手段と
を有することを特徴とする映像データ処理装置。
【請求項２】
前記第２の映像生成手段が出力する前記第２の映像データには前記第１の映像データとアルファブレンディングを実施するためのアルファ値を含み、前記第１、第２の映像データを前記アルファ値に基づいて合成する手段を有することを特徴とする請求項１記載の映像データ処理装置。
【請求項３】
前記第１の映像データと第２の映像データとの合成を、ピクセルレベルで行う手段を有することを特徴とする請求項１記載の映像データ処理装置。
【請求項４】
前記第１の映像生成手段は、ハードウエア処理により生成した前記第１の映像データを出力し、
前記第２の映像生成手段は、ソフトウエア処理により生成した前記第２の映像データを出力していることを特徴とする請求項１記載の映像データ処理装置。
【請求項５】
前記第２の映像生成手段は、前記ソフトウエア処理によりファイル内コンテンツの符号化状態を復号化して、前記第２の映像データを生成して出力していることを特徴とする請求項４記載の映像データ処理装置。
【請求項６】
前記第１の映像生成手段による映像生成処理を優先的に実施させる手段を有し、
前記第１の映像生成手段の映像生成処理の映像生成時間に対して、前記第２の映像生成手段の映像生成処理が間に合わない場合には、間に合わなかった映像フレームの生成処理を省略する手段を有し、
前記優先的に実施される映像生成処理の映像生成時間に対して、もう一方の映像データの映像生成時間の遅れが生成時間の進みに従って広がらないようにしたことを特徴とする請求項１記載の映像データ処理装置。
【請求項７】
ハードウエアの処理により生成される、任意のフレームレートを持つ第１の映像データと、ソフトウエアの処理により生成される、第１の映像データとは異なる任意のフレームレートを持つ第２の映像データと、を合成する映像データの処理方法であって、
前記第２の映像データの同じフレームを、複数回前記第１の映像データの連続する各フレームに合成し、フレームレートの相違を補うことを特徴とする
映像データ処理方法。
【請求項８】
前記第２の映像データのフレーム生成が、遅れたときは、前記第２の映像データの同じフレームを、複数回前記第１の映像データの連続する各フレームに合成する合成回数を増加し、フレームレートの相違を補うことを特徴とする請求項７記載の映像データ処理方法。
【請求項９】
前記第１と第２の映像データの合成は、ピクセルレベルで実行されることを特徴とする請求項７記載の映像データ処理方法。
【請求項１０】
任意のフレームレートを持つ第１の映像データをハードウエア処理により生成する第１の映像生成手段と、
第１の映像データとは異なる任意のフレームレートを持つ第２の映像データをソフトウエア処理により生成する第２の映像生成手段と、
前記第１の映像生成手段が管理する映像生成時間を基準時間とし、この基準時間に対して前記第２の映像生成手段の映像生成時間のずれが生じた分を第２の映像データの繰り返し利用により補正し、フレーム同期を得る手段と、
前記第２の映像生成手段の映像生成が、前記第１の映像生成手段の映像生成に対して遅れ所定時間内に間に合わなかった場合、間に合わなかった映像フレームの生成処理を省略する手段と、
を有することを特徴とする映像データ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像データを合成或は重ね合わせる技術に関するもので、特に複数の映像データ間の時間軸調整方法に工夫を施した映像データ処理装置及び処理方法に関する。
【背景技術】
【０００２】
複数の映像データを合成する技術は従来より知られている。しかし通常は、合成する第１と第２の映像データは、元々同じ周波数の同期信号を有する映像データであることが多い。また、動画としての第１の映像データに静止画である第２の映像データを多重する技術として、第２の映像データ（例えばＯＳＤ信号）をメモリから読み出して多重する方式のものもある。しかしこの場合も、第２の映像データの読出しタイミングが予め第１の映像データの所定のタイミングに設定されている。そして、第１と第２の映像データは、ハードウエアで再生処理されることが想定されている。
【特許文献１】特願２００１−１６５０１８
【発明の開示】
【発明が解決しようとする課題】
【０００３】
動画である主映像の表示或は表現上で多様性、豊富性を得るために、主映像に対して、ある時間帯のイベントとして、副映像を重ねて表示したいという要望がある。例えば、動画である主映像と副映像とを重ね合わせて、主映像と副映像の透過率を変化させるような画面効果を要望されることもある。また、主映像が映画である場合、登場人物の台詞に合わせて翻訳したテキストを表示するような場合である。
【０００４】
この場合、副映像としては、従来の如くハードウエアで処理する映像ソースではなく、副映像の映像ソースとしてはソフトウエアで再生すべきものであることが考えられる。副映像の映像ソースがソフトウエアで再生されると、その再生時間は、コンピュータの基準クロックに依存する。したがって、副映像のフレームレートが、他方のハードウエアで再生処理されている主映像のフレームレートに必ずしも一致するとは限らない。単純に動画である主映像の一部の矩形領域に、ソフトウエアにより再現した副映像を主映像の変化とは関係なく、はめ込み表示するのであれば問題はない。
【０００５】
しかし主映像と副映像との表示内とを密接に関係させて、両者のフレームレートを同期させるという技術はない。
【０００６】
そこでこの発明は、一方の映像（例えば主映像）に他方の映像（例えば副映像）を重ね合わせる或は合成する場合、双方の映像データの時間軸を合わせ込むことができる映像データ処理装置及び処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明は、上記の問題を解決するために、任意のフレームレートを持つ第１の映像データを生成する第１の映像生成手段と、第１の映像データとは異なる任意のフレームレートを持つ第２の映像データを生成する第２の映像生成手段と、前記第１の映像生成手段が管理する映像生成時間を基準時間とし、この基準時間に対して前記第２の映像生成手段の映像生成時間のずれが生じた分を第２の映像データの繰り返し利用により補正し、フレーム同期を得る手段とを有することを特徴とする。
【発明の効果】
【０００８】
上記の手段により、第１と第２の映像データのフレームレートが異なる場合でも両者の時間軸が整合するような補正が行われるために、合成対象とする映像データを種々拡張することができる。このために、主映像に対して、ある時間帯のイベントとして、種々の副映像を重ねて表示することができ、主映像の表示或は表現上での多様性、豊富性を得ることができ。また、前記種々の副映像は、予めダウンロードしたもの、さらには放送データより取り込まれたものなどを利用することができる。
【発明を実施するための最良の形態】
【０００９】
以下この発明の実施の形態を図面を参照して説明する。図１は本発明で取り扱う画像プレーンの重ね合わせの基本構成例を示す図である。
【００１０】
グラフィクスプレーン１１は例えば中央演算処理装置（ＣＰＵ）によって計算され生成される画像イメージであり、ビデオプレーン１２は例えば、ＭＰＥＧ２デコーダによってデコードされた動画像の一枚一枚の画像イメージである。これらはそれぞれ独立して生成され、例えば、ＭＰＥＧ２デコーダの出力フレームレートに合わせて定期的に重ねあわされ出力プレーン１３が生成される。重ね合わせは合成部１４で行われ、ピクセルレベルでのアルファブレンディング処理である。
【００１１】
図２は本発明を実現するハードウェアの構成例を示す図である。ＣＰＵ２１は、システムメモリ２２上にロードされた実行プログラムに従い、システムに接続された各種デバイスの制御を行い、またグラフィクス出力のための画像イメージを生成する。
【００１２】
バスブリッジ２３は、ＣＰＵ２１、システムメモリ２２、グラフィクスコントローラ２４、ＰＣＩバス２５に接続されており、各デバイス、バス間のデータの送受処理を制御、中継する。
【００１３】
システムメモリ２２は、ＩＤＥコントローラ２９の先に接続されたハードディスクドライブ（ＨＤＤ）装置３０に格納された実行プログラムのコピーを格納したり、計算やデータ転送に必要な変数やバッファ領域として利用される。
【００１４】
グラフィクスコントローラ２４は、ＣＰＵ２１によって計算された画像イメージの、システムメモリ２２からグラフィクスメモリ２６への転送を制御したり、また処理の複雑な画像処理計算をＣＰＵ２１の指示に従い実行したり、さらにはＭＰＥＧデコーダ２８の出力タイミングと合わせて画像情報をビデオミキサー２７に出力する。
【００１５】
ビデオミキサー２７は、ＭＰＥＧデコーダ２８からのＮＴＳＣ信号情報と、グラフィクスコントローラ２４からの画像情報の重ね合わせ処理を実施する。このとき、グラフィクスコントローラ２４から出力された画像情報内のα値を用いて実施し、ＮＴＳＣに合わせた画像信号を再生して出力する。
【００１６】
ＭＰＥＧデコーダ２８は、オプティカルドライブ３１から読み込んだデータから抽出されたＭＰＥＧ２データを、ＣＰＵ２１の制御に基づき取り込み、画像データに変換してビデオミキサー２７に対して出力する。
【００１７】
ＰＣＭデコーダ３２は、オプティカルドライブ３１から読み込んだデータから抽出されたオーディオデータから、ＣＰＵ２１の計算によりＰＣＭに変換されたデータを、定期的に取り込み、アナログ音声信号に変換して出力する。
【００１８】
ＩＤＥコントローラ２９はオプティカルドライブ３１とＨＤＤ装置３０と接続し、それぞれの機器内のデータをＣＰＵ２１の制御に基づき、メモリに読み込むための制御を行う。
【００１９】
オプティカルドライブ３１は、たとえばＤＶＤドライブであり、ビデオプレーン１２とグラフィクスプレーン１１を生成するためのデータを格納したＤＶＤディスクからデータの読み込みを実施する。
【００２０】
ＨＤＤ装置は、本機器を動作させるための実行プログラムなどを格納する。ＩＲレシーバ３３は、本機器を制御するためのリモコン装置からの信号の受信制御を実施する。ネットワークインターフェースコントローラ（ＮＩＣ）２４はネットワーク接続するための通信データの制御を実施する。
【００２１】
図３はグラフィクスフレームとビデオフレームとの重ね合わせの例を示す図である。本発明では、ビデオフレームＶ１，Ｖ２，Ｖ３、…とグラフィクスフレームＧＡ，ＧＢ，ＧＣ，…のフレームレートは異なっていても対応できる。図３の例ではビデオフレームが４フレーム進む間にグラフィクスフレームが３フレーム進む例を示している。出力フレームはビデオフレームのフレームレートに同期し、ビデオフレームとグラフィクスフレームの出力タイミングがずれている場合には、ビデオフレームに対して、直前に生成されたグラフィクスフレームを重ね合わせることを示している。したがって、ビデオフレームＶ１とグラフィックスフレームＧＡとの関係では、両者を重ね合わせた出力フレーム（Ｖ１＋ＧＡ）が得られる。そして、次の出力フレームは，ビデオフレームＶ２とグラフィックスフレームＧＡとを重ね合わせた出力フレーム（２＋Ａ）が得られる。さらに次の出力フレームでは、ビデオフレームＶ３とグラフィックスフレームＧＢとを重ね合わせた出力フレーム（Ｖ３＋ＧＢ）が得られる。そして次の出力フレームでは、ビデオフレームＶ４とグラフィックスフレームＧＣとが時間軸で一致しており、両者を重ね合わせた出力フレーム（Ｖ４＋ＧＣ）が得られる。このようなフレーム合成が繰り返し実行される。
【００２２】
上記のように本発明では、任意のフレームレートを持つ第１の映像データ（ビデオフレーム）を生成する第１の映像生成手段と、第１の映像データとは異なる任意のフレームレートを持つ第２の映像データ（グラフィックスフレーム）を生成する第２の映像生成手段とがある。そして、第１の映像生成手段が管理する映像生成時間を基準時間としている。この基準時間に対して第２の映像生成手段の映像生成時間のずれが生じた分を第２の映像データの繰り返し利用により補正し、フレーム同期を得るのである。ここでは、上記の「ずれ」はフレーム単位である。しかし、「ずれ」は後述するがフレーム同期を得るのに、第２の映像データの生成が間に合わない場合も含む。
【００２３】
図４は、ピクセルデータフォーマット（Pixel Data Format）の例を示している。
【００２４】
Pixel Data Formatは、グラフィクスフレームの画素毎のデータの構造を示す。R、G、B、αは、それぞれ、赤、緑、青、重ね合わせのアルファ値を示し、それぞれ１バイト、合計４バイトのデータで構成される。
【００２５】
図５はピクセルレベルでの画素の重ね合わせ計算の例を示す図である。G00,0〜G33,100はグラフィクスフレームの画素値を表し、カンマの前は画素位置におけるRGB値、カンマの後はα値を示す。V00〜V33はビデオフレームの画素毎のRGB値を表す。
【００２６】
この時、出力されるフレーム毎の画素値はグラフィクスの画素値とビデオの画素値をグラフィクスのアルファ値の比率で計算し、重ね合わせたものになる。
【００２７】
図面の左上のグラフィックスの画素Ｇ００，０と、ビデオの画素Ｖ００との重ねあわせでは、(Ｇ００×０)＋(Ｖ００×（１−０）)の計算が行われる。グラフィックスの比率は０であり、ビデオの比率が１である。またグラフィックスの画素Ｇ１０，３３と、ビデオの画素Ｖ１０との重ねあわせでは、(Ｇ１０×0.33)＋(Ｖ1０×（１−0.33）)の計算が行われる。
【００２８】
図２の例では、ビデオフレームからの出力が輝度Ｙ、色差Ｃｂ，色差Ｃｒの信号になっているため、ビデオミキサー２７ではグラフィクスフレームから出力された画素値をＹ，Ｃｂ，Ｃｒに変換してから重ね合わせても良い。
【００２９】
図６はグラフィクスフレームの計算が間に合わなかった場合のフレームの重ね合わせの例を示す図である。この例では、グラフィックスフレームＧＤの生成が遅れた場合の例を示している。つまり本発明では、グラフィックスフレームは、ソフトウエアに基づいて再生処理される。すると、再生フレームの中には、複雑な合成や演算処理の結果、再生しなければならないようなフレームも含むことになる。このようなフレームは完成するまでに時間がかかる。また、ＣＰＵを含むシステム全体の性能が十分でなかったり、グラフィクスの特定のフレームの計算が非常に複雑である等の理由により、グラフィクスフレームの生成が間に合わない場合もある。
【００３０】
すると、グラフィックスフレームＧＤと、本来の対応関係にあるビデオフレームＶ６とのように、時間が不一致になることはよくあることである。
【００３１】
このような場合は、本発明では、ビデオフレームの生成処理を優先して実施する。図６ではグラフィクスフレームの”ＧＤ”のフレームの計算が間に合わなかった場合を示している。この時、本来であればビデオフレームの”Ｖ６”とグラフィクスフレームの”ＧＤ”と重ね合わせるはずであった出力フレームは、既に生成されているグラフィクスフレームの”ＧＣ”と重ね合わせて生成される。
【００３２】
上記のように本発明では、第１の映像生成手段または第１の映像生成手段の何れかの映像生成手段の生成処理を優先的に実施する仕組みを持つのである。そして優先的に実施される映像生成処理の再生時間に対して、もう一方の映像生成手段の映像生成処理が間に合わない場合には、間に合わなかった映像フレームの生成処理を省略する機能を有する。これにより、優先的に実施される映像生成処理の再生時間に対して、もう一方の映像データの再生時間の遅れが再生時間の進みに従って広がらないようにしている。優先的に実施される映像生成処理は、ハードウエアにより実行される。ここでハードウエア処理とは、予めＭＰＥＧ処理、ＰＣＭ処理などの機能単位が、所定の専用の信号処理用の半導体チップと電子部品との組み合せで構成されているようなものを言う。
【００３３】
図７は、本発明を実現するソフトウェアの構成を示すものである。映像再生制御部１１１は、本発明のソフトウェア全体の振る舞いを制御するモジュールであり、ファイルシステム１１２からのデータの読み込み、リモコン受信部１１３からのユーザオペレーションの受信、ビデオ再生を制御するＤＶＤ再生制御部１１４、グラフィクスフレームの生成を制御するナビゲーション制御部１１５等の動作を制御する。
【００３４】
ナビゲーション制御部１１５は、ファイルシステム１１２から読み込んだナビゲーション制御用のデータを用いて、グラフィクスフレームにナビゲーション向けの画像を生成する。またこのナビゲーション制御部１１５は、その画像の出力タイミングの制御をＤＶＤ再生制御部１１４の時間情報に基づきディスプレイドライバ１２１を通して実施する。またユーザイベントなどに合わせて効果音を出力するためオーディオデコーダ１２２を制御する。
【００３５】
ディスプレイドライバ１２１は、ナビゲーション制御部１１５で生成したグラフィクスフレームデータを取り込み、グラフィクスコントローラ１２３を制御して出力する。オーディオデコーダ１２２、１２４はナビゲーション制御部１１５やＤＶＤ再生制御部１１４から供給されるオーディオデータをデコードし、ＰＣＭデータとしてオーディオミキサー１２５に出力する。
【００３６】
オーディオミキサー１２５はオーディオデコーダから入力されたＰＣＭデータを重ね合わせて一つのＰＣＭ出力データに変換しＰＣＭデコーダドライバ１２６に出力する。ＰＣＭデコーダドライバ１２６はオーディオミキサー１２５から入力されたＰＣＭデータをＰＣＭデコーダ１２７に供給し、音声再生を制御する。
【００３７】
ＤＶＤ再生制御部１１４は、ファイルシステム１１２を通して読み込んだＤＶＤデータを取り込み、映像データ、音声データ、その他のデータに分離し、夫々の再生制御を実施する。ＭＰＥＧデコーダドライバ１３０はＤＶＤ再生制御部１１４から入力されたＭＰＥＧデータをＭＰＥＧデコーダ１３１に供給し、適切なタイミングで出力するための制御を行う。リモコン受信部１１３は、ＩＲドライバ１４１から挙げられた、リモコンスイッチのイベントを解釈し、映像再生制御部１１１へメッセージとして通知する処理を行う。ＩＲドライバ１４１は、ＩＲコントローラ１４２の割り込みを制御し、リモコンのどのスイッチが押されたかを検出し、リモコンドライバに通知する。ファイルシステム１１２はＨＤＤ装置３０やオプティカルドライブ装置３１上のファイルシステムを管理する。
【００３８】
ＡＴＡＰＩドライバ１５１は、ファイルシステム１１２により制御され、ＩＤＥコントローラ１４２を制御して、ＨＤＤ装置３０、オプティカルドライブ装置３１からのデータの読み込みを実施する。
【００３９】
図８は実行プログラムのタスク優先度を示す例である。本発明では、マルチタスクＯＳ上でビデオ再生の処理を優先的に実施するために、タスクの優先度を図７に示すように設定する。すなわち、カーネルサービス２１１は、ＯＳの基本処理を行うもので、タスクスイッチ、ファイルシステムへのアクセスなどを受け持つ。ビデオ処理２１２は、ビデオデータの解析と抽出、ビデオ制御部、オーディオ制御部の制御を行う。オーディオ処理２１３は、オーディオデータの重ね合わせとその出力制御を行う。グラフィクス処理２１４は、ナビゲーション用の画像データの生成を行う。
【００４０】
図８のような優先度を設定し、プライオリティの高い処理が残っている場合には必ず、その処理を優先するようなタスクスイッチのポリシーで運用された場合、タスクスイッチはカーネルサービスやビデオ処理のタスクがアイドルになるまで、優先的に処理を割り当て、それらの処理が何らかのイベントを待つだけの状態になったときのみ、オーディオやグラフィクスの処理にタスクを割り当てることになる。
【００４１】
図９はグラフィクス再生処理の流れを示すフローチャートである。ステップＳ０１はフローチャートの起点であり、グラフィクス再生の開始状態を示す。ステップＳ０２では再生するグラフィクスのフレーム番号を格納する変数”ｎ”の値を”０”に初期化する。次のステップＳ０３では、自動インクリメントするグラフィクス再生向けのタイマカウンタの値を、オーバーレイ対象のビデオの現在の再生時間に初期化/補正する。
【００４２】
ステップＳ０４では、グラフィクスのｎ番目のフレームを再生する時間情報”PTｎ”を取得する。ステップＳ０５では、現在のタイマカウンタの値”Ct”を取得する。ステップＳ０６では、ｎ番目のグラフィクスフレームの再生時間”PTｎ”と直前に取得したタイマカウンタ値”Ct”を比較する条件判断である。
【００４３】
ステップＳ０７では、ｎ番目のグラフィクスフレームの再生時間”PTｎ”が直前に取得したタイマカウンタ値”Ct”より小さい場合、つまり既に再生する時間を経過してしまっている場合、ステップＳ１３までの処理でｎ番目のフレームデータをデコードし表示した後に、参照するフレーム番号ｎの値を一つインクリメントする
ステップＳ０８では、ｎ番目のグラフィクスフレームの再生時間”PTｎ”が直前に取得したタイマカウンタ値”Ct”より大きい場合、つまり、現在のビデオの再生時刻がｎ番目のフレームの再生時間を超過していない場合に、ｎ番目のグラフィクスフレームを生成するために必要なデータを取得する。
【００４４】
ステップＳ０９では、ステップＳ０８で取得したグラフィクスフレームデータから画面表示のための画像フレームにデコードする。ステップＳ１０は現在のタイマカウンタの値”Ct”を取得する。ステップＳ１１は、ｎ番目のグラフィクスフレームの再生時間”PTｎ”と直前に取得したタイマカウンタ値”Ct”を比較する条件判断である。
【００４５】
ステップＳ１２では、ｎ番目のグラフィクスフレームの再生時間”PTｎ”よりも直前に取得したタイマカウンタ値”Ct”が大きい場合、つまりｎ番目のグラフィクスフレームの再生時間に達していない場合に、微小期間待ち時間を入れる。
【００４６】
ステップＳ１３ではｎ番目のグラフィクスフレームの再生時間”PTｎ”が直前に取得したタイマカウンタ値”Ct”と等しいか小さい場合、つまりｎ番目のグラフィクスフレームの再生時間に達しているか超過している場合に、ｎ番目のフレームを画面表示する。ステップＳ１４は、全てのグラフィクスフレームの処理を終えたか否かを判定する条件処理である。ステップＳ１５は、ステップＳ１４において全てのグラフィクスフレームの処理を終えた場合、グラフィクスの再生処理を終了するフローチャートの終点である。
【００４７】
図１０は本発明の時間補正システムのモデルを示す図である。デマルチプレクサ（Demux）３０１は複数のデータストリームがマルチプレックス（Multiplex）された一つのデータストリームから、それぞれのデータストリームを抽出し、それぞれのバッファに投入する。
【００４８】
ビデオバッファ（Video Buffer）３０２は、分離されたデータストリームのうち、主映像のデータの一時保管場所である。オーディオバッファ（Audio buffer）３０３は分離されたデータストリームのうち、主映像と同期して再生する音声データの一時保管場所である。他のストルーム用のバッファ（Other Stream 1〜n Buffer）３０４、３０５、３０５はその他のデータストリームのそれぞれの一時保管場所である。その他のデータストリームでは、別の音声データや、主映像の台詞に合わせて表示するテキストデータ等がある。
【００４９】
ビデオデコーダ（Video Decoder）３１２はビデオバッファ３０２から主映像のデータストリームを読み込み、デコードし、画像フレームを生成する。画像フレーム毎に定義されている出力時間にクロック（CLOCK1）３２１の時間が達すると、デコードした映像データを出力する。オーディオデコーダ（Audio Decoder）３１３は、オーディオバッファ３０３からの音声のデータストリームを読み込み、デコードし、ＰＣＭデータを生成する。ＰＣＭデータはそれぞれの音声フレーム毎に定義されている出力時間にクロック（CLOCK１）３２１の時間が達すると、アナログ音声出力に変換され出力される。
【００５０】
他のストリームデコーダ３１４−３１６は、それぞれの対応するバッファ３０４−３０６からデータストリームを読み込み、任意の方式で定義されている出力形式に従い、デコード処理を行い、任意の方式で定義されている出力時間にクロック（CLOCK1）３２１の時間が達すると、その出力処理を実施する。
【００５１】
グラフィックスバッファ（Graphics Buffer）３４１は、副映像やコンピュータグラフィクス等のデータストリームの一時保管場所である。グラフィックでコーダ（Graphics Decoder）３４２は、副映像やコンピュータグラフィクス等のデータストリームをデータストリーム内に格納された出力タイミングにクロック（CLOCK2）３２２の時間が達すると、映像フレームを出力したり、新たな画面に書き換えたりする。
【００５２】
クロック（CLOCK1）３２１は、主映像とそれに伴う音声やその他のデータストリームを出力するために参照する、タイマーである。これに対してクロック（CLOCK2）３２２は、副映像やコンピュータグラフィクス等のデータストリームを出力するために参照する、クロック（CLOCK1）３２１とは異なるタイマーである。
【００５３】
クロック同期化部（Clock Synchronizer）３２３は、クロック（CLOCK1）３２１の時間の進みにクロック（CLOCK2）３２２の時間の進みを合わせるよう補正するための機能である。アルファブレンディング（Alpha Blending）３４３は、ビデオデコーダ３１２の出力とグラフィックデコーダ３４２の出力とを、グラフィックデコーダ出力に含まれるα値に基づきブレンディングし出力する。なお他のストリームには、ＤＶＤで規定されている副映像ストリームも含まれる。
【００５４】
本発明に係るグラフィックバッファ３４１に格納される副映像データ（グラフィックデータ）は、コンピュータによりソフトウエアで再生されたデータが主な対称である。
【００５５】
図１１には、この発明が適用された例えば情報記録再生装置について示している。図１１の情報記録再生装置４００は、光ディスク４０１に対して情報を記録再生することができ、またハードディスク装置を内蔵しており、ハードディスク４０２に対しても情報記録再生することができる。
【００５６】
受信装置又はネットワークインターフェース５００を介して、グラフィック情報が取り込まれ、一旦、光ディスク４０１又はハードディスク４０２に記録される例を示している。ここで、グラフィック情報は、例えば暗号化及び又は符号化されているものとする。今、光ディスク４０１の情報を再生中に、グラフィック情報を再生して主映像に合成しなさいというフラッグが光ディスク４０１の管理情報（再生制御情報）から検出されたとする。すると、グラフィック情報は、光ディスク４０１或はハードディスク４０２から読み出され、特定のソフトウエアに基づきＣＰＵが動作し、暗号解凍及び又は復号化によるデコード処理が実行される（図１０の３４２に相当）。このとき、グラフィックデータは、ＣＰＵのシステムクロックにより再生されるために、主映像のフレームに対して非同期状態となることがある。
【００５７】
このような場合に、本発明のシステムが動作し、アルファブレンディングが実行される。上記のシステムであると、既に販売された外国語音声の光ディスク（ＤＶＤ）に対して、例えば翻訳台詞の副映像をネットワークを介して取得することが可能となる。翻訳台詞の副映像情報を、一旦、ハードディスクに記録し保存する。次に、特定のＤＶＤが再生される。このときＤＶＤの再生制御情報に、ハードディスクに記録されている副映像情報の再生を指令する命令が記述されていると、翻訳台詞の副映像が再生され、主映像に対してアルファブレンディング処理が行われる。
【００５８】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明で取り扱う画像プレーンの重ね合わせの例を示す説明図。
【図２】本発明に係るハードウエアのブロック構成例を示す図。
【図３】本発明の装置の動作を説明するためにグラフィックスフレームとビデオフレームとの重ね合わせの例を示す説明図。
【図４】ピクセルのデータフォーマットの一例を示す図。
【図５】ピクセルレートでのブレンディングを原理的に示す説明図。
【図６】本発明の装置の動作を説明するためにグラフィックスフレームとビデオフレームとの重ね合わせの例を示し、スキップが行われたときの説明図。
【図７】本発明を実現するためのソフトウエアの構成例を示す説明図。
【図８】実行プログラムのタスク優先度の一例を示す図。
【図９】グラフィックス再生処理の流れを示すフローチャート。
【図１０】本発明に係る時間補正システムのモデルを示す説明図。
【図１１】本発明が適用された情報記録再生装置の説明図。
【符号の説明】
【００６０】
２１…中央演算処理装置（ＣＰＵ）、２２…システムメモリ、２３…バスブリッジ、２４…グラフィックスコントローラ、２６…グラフィックスメモリ、２７…ビデオミキサー、２８…ＭＰＥＧデコーダ、２９…ＩＤＥコントローラ、３０…ハードディスク装置、３１…オプティカルドライブ、３２…ＰＣＭデコーダ、３３…ＩＲレシーバ。
【図１】
2005341132.tif 000003
【図２】
2005341132.tif 000004
【図３】
2005341132.tif 000005
【図４】
2005341132.tif 000006
【図５】
2005341132.tif 000007
【図６】
2005341132.tif 000008
【図７】
2005341132.tif 000009
【図８】
2005341132.tif 000010
【図９】
2005341132.tif 000011
【図１０】
2005341132.tif 000012
【図１１】
2005341132.tif 000013