(57)【特許請求の範囲】
【請求項１】
リアルタイム・デジタル映像効果を発生する回路であって、
同期パルスのないデジタル静止画像の第１シーケンスについての画素を定めるデジタル映像情報を受け取り、記憶し、通信する第１バッファであって、動き映像情報の１フレーム未満の容量を有する前記第１バッファと、
同期パルスのないデジタル静止画像の第２シーケンスについての画素を定めるデジタル映像情報を受け取り、記憶し、通信する第２バッファであって、動き映像情報の１フレーム未満の容量を有する前記第２バッファと、
デジタル映像効果にしたがって、前記デジタル静止画像の第１および第２のシーケンス内の画像を組み合わせて、同期パルスのないデジタル静止画像の第３シーケンスについての画素を定める出力デジタル映像情報を供給する組合せ手段と、
第１および第２の状態を有する制御信号を受け取る入力を有し、前記制御信号が前記第１状態にあるとき前記組合せ手段からの出力を禁止し、その他の場合前記出力を許可する制御器と、
から成る回路。
【請求項２】
請求項１記載の回路であって、更に、前記制御器内に、前記第１および第２の受け取り手段が入力を受け取り可能か否かを示す第２制御信号を発生する手段を含むこと、を特徴とする回路。
【請求項３】
請求項１または２に記載の回路において、前記制御器が受け取る前記制御信号は、前記デジタル静止画像の第３シーケンスを受け取るパイプライン状表示システムが、デジタル映像情報の表示を停止したか否かを示す信号であること、を特徴とする回路。
【請求項４】
請求項１または２または３に記載の回路において、前記制御器が受け取る前記制御信号は、前記デジタル静止画像の第３シーケンスを受け取るパイプライン状表示システムが満杯のパイプラインを有するか否かを示す信号であること、を特徴とする回路。
【発明の詳細な説明】
発明の背景
デジタル映像を操作する技術は、コンピュータ上で容易に処理し、取り扱うことができるようになるところまで発展してきている。例えば、マサチューセッツ州、テュークスバリーのアヴィッド・テクノロジー社（Avid Technology.Inc.）から入手可能なアヴィッド・ワン・メディア・コンポーザ（Avid/1 Media Composer）は、テレビジョン放送およびフィルムや映像プログラムのポスト製作（post−production）のような種々の目的のために、デジタル映像を容易に捕獲し、編集し、表示することができるシステムである。
アヴィッド・ワン・メディア・コンポーザは、メディア・パイプライン（media pipeline）を使用して、コンピュータ表示装置上に、リアルタイムのデジタル映像出力を発生する。このメディア・パイプライン30を図１に示す。この詳細は、1991年９月３日に発行された米国特許第5,045,940号により詳しい記載がある。このメディア・パイプライン30では、永久記憶装置40が、デジタル映像を表わしそして映像の出現が得られる速度で再生されるデジタル静止映像の各シーケンスを記憶する。デジタル静止画像のこれらシーケンスは、フレーム同期、またはテレビジョン信号に通常見られる他のタイプのタイミング情報を全く含まない。また、それら静止画像は、通常、圧縮した形態で記憶されている。この記憶されたシーケンスは、これにアクセスすることによりデータ・バッファ42に配置し、そしてここから圧縮／伸張システム44に供給する。圧縮／伸張システム44の出力は、フレーム・バッファ46に供給し、そしてこれは静止画像を典型的な映像信号に変換して、更にこれを入出力部48に供給する。このメディア・パイプライン30内のシステム40,42,44,46,および48の各々は、双方向的に動作する。上記の出力プロセスを逆にして、ビデオ信号を入出力部48を介してフレーム・バッファ46に入力し、そこでそれらをデジタル静止画像のシーケンスに変換することも可能である。このシーケンス内の各画像は、圧縮／伸張システム44によって圧縮し、データ・バッファ42に記憶し、そして永久記憶装置40に転送する。
このようなシステムでは、１画像情報ストリームのみに関する、カットやフェードのような単純な効果ができるに過ぎない。しかしながら、より複雑な任意のデジタル映像効果、特に三次元効果は、通常他のシステム（以下で図２を参照して説明する）を使用して当該効果を作成し、次いでこの作成した効果を永久記憶装置40に記憶することによって得ている。このような三次元デジタル映像効果を行うために、種々のシステムが入手可能である。このようなシステムを、一般的に、オンライン制御器（OCL:on−line controller）と呼ぶ。OCLの一例は、1992年６月２日に発行された米国特許第5,119,432号に見ることができる。
典型的なOCL55のブロック図を図２に示す。OLC55は、典型的には、フレーム同期とそしてその他のタイミング情報とを含む、デジタル映像信号を使用する。したがって、これらは、通常、処理対象の映像信号を記憶するために、50,54および56に示すような、フレーム・バッファを必要とする。OLC55はまた、所望の効果を行うデジタル映像効果DVE部52も含む。DVE部52は、第１および第２入力51および53を有し、それぞれ、フレーム・バッファ56および50の出力57および59に接続している。DVE部52は、フレーム・バッファ54の入力63に接続した出力61を有する。ビデオ・テープ・デッキのような入力映像源65および67が、それぞれ、映像信号出力69および71を供給し、それぞれ、フレーム・バッファ56および60の入力73および75に入力する。フレーム・バッファ54の出力77は、ビデオ・テープ・デッキのような、出力映像記憶装置79に入力する。このような典型的なOLC55に伴う問題の１つに、フル・レートの映像信号を使用して動作するために、効果を作成するプロセス中は停止が不可能であることがあげられる。
映像信号を扱う際に必要となる複雑なハードウエア、特に、フレーム・バッファ50,56および54のために、OLC55も通常高価である。したがって、複雑な任意の三次元映像効果の作成は、一般的な消費者向けマルチメディア編集用製品では不可能であった。
また、このような効果の準備および編集プロセスは、時間がかかるので、費用のかかるものとなる。標準的なOLCでは、１つの効果を作成するのに、２本のビデオ・テープを入力映像源65および67として用意して、入力映像信号を供給する。これらのテープは、互いに同期を取らなければならない。更に、出力映像記憶装置79として出力テープを用意し、出力した効果を受け取る。次に、DVE部52を使用して、入力ビデオ・テープをDVE部52を通して再生し、そしてその結果を出力テープに記憶することによって、効果を作成する。編集者が得られた効果を見るためには、出力テープを再生しなければならない。結果が望ましいものではなかった場合、適切な調節を行った後、先のプロセスを繰り返さなければならない。この記録／再生／調節サイクルの繰り返しは、コストのかかるものとなる。
チェン外（Chen et al.）による、“JPEG圧縮パケット映像のミキシングおよび再生（Mixing and Playback of JPEG（Compressed Packet Videos）”（Proceedings of the IEEE Global Telecommunications Conference 1992）において、画面内の異なったウインドウに現われる異なった映像ストリームに対し、JPEG圧縮映像情報パケットを送信するシステムが開示されている。ウインドウを使用して複数の映像ストリームを１つの映像ストリームに組み合わせる際に、圧縮データを使用する。伸張はミキシングの後に行う。ミキシングは伸張ドメインで実施できる、とチェンは述べているが、各映像ウインドウの少なくとも１フレームを保持するのに十分な画素バッファが必要であり、また画素データに対する処理は少なくとも映像の速度程度に速くすべきである、ということをチェンは示している。
発明の概要
本発明は、デジタル静止画像シーケンスの出力チャンネルを２本備えたメディア・パイプラインを設け、制御信号の受信時には出力を禁止するように適合させたDVE部にシーケンスを入力することによって、従来技術を改良するものである。また、入力を受け取ることができないとき、または出力を供給していないとき、制御信号を供給して、入力を禁止する。DVE部は、フレーム・バッファを除去し、FIFOのようなデジタル静止画像のシーケンスを記憶するメモリを追加することによって、従来技術に対する改良を図るものである。
【図面の簡単な説明】
図面において、
図１は、従来技術で使用する、メディア・パイプラインのブロック図である。
図２は、映像信号から特殊効果を生成するための、従来のオンライン制御器のブロック図である。
図３は、本発明による、変更型メディア・パイプラインのブロック図である。
図４は、本発明による、メディア・パイプラインの変更型圧縮／伸張サブシステムのより詳細なブロック図である。
図５は、本発明による、変更型デジタル映像効果システムのより詳細なブロック図である。
詳細な説明
本発明について、添付図面を参照しながら以下の詳細な説明を読むことによって、より完全な理解が得られよう。尚、図面において、同じ参照番号は、同じ構造を示すものとする。また、ここで引用する全ての文献は、その引用によって、本願に明示的に含まれるものとする。
リアルタイム・デジタル映像効果を供給するには、制御情報を伴ったときに映像情報を表わすデジタル静止画像シーケンスについての出力チャンネルを２本有するメディア・パイプラインを使用する。このようなシステムは、米国特許第5,045,950号に開示されたメディア・パイプラインを変更することによって得ることができる。デジタル画像の２本のチャンネルは、典型的なOLCに使用しているような、デジタル映像効果（DVE）部への入力として使用する。したがって、この変更型メディア・パイプラインは、これらの効果を得るためのシステムのコストを低減することになる。
これより、リアルタイム・デジタル映像効果を有する、メディア・パイプライン35について、図３を参照して説明する。図１に示したメディア・パイプライン30に変更を加えて、圧縮／伸張（CODEC）部58を含ませてある。これは、圧縮／伸張システム44の変更である。ここで行った変更は、図３においてＡおよびＢで示した２本の出力を備えた点である。圧縮データは必ずしも使用しなくてもよいが、記憶容量を減らすためには、圧縮が好ましい場合もある。この変更について、1993年４月13日に付与された米国の外国出願免許第504287号の下で、1993年４月16日に出願された、英国の仮明細書第9307894.7号に、より詳細な説明がある。これらの変更点について、図４に関連して、以下でも詳細に説明する。
従技術のOLC55は、VDEシステム59を形成するようにも変更してあり、このDVEシステム59は、フレーム・バッファから制御信号S1も受け、そしてCODEC部58に制御信号S2を供給する。これらの変更については、図５に関連して説明する。
この変更においては、OLC55（図２）のフレーム・バッファ50,54および56を、メモリ素子80,82および84で置き換えてある。好ましくは、これらは、先入れ先出し（FIFO）素子である。これらのメモリ素子80,82,84（図５）は、置き換えたフレーム・メモリように大きい必要はない。例えば、フレーム・バッファは、通常数十万サンプルを保持し（ここで、１サンプルは１画素を表わす）、１フレーム内の各画素を表わすようにしている。したがって、640×480画素の画像は、約300K画素を記憶するフレーム・バッファを必要とする。対称的に、メモリ素子80,82および84は、数千サンプル、例えば、2000だけ保持すればよい。
各メモリ素子80,82,84は、それぞれ、制御部88に接続したステータス線90,92および94を有する。制御部88は、CODEC部58内のメモリ部（以下で説明する）からデジタル画像がアクセスされそしてメモリ素子80および82に記憶されるのを確保するために設けてある。
制御信号S1は、DVE部59から下流のパイプラインが殆ど満杯で、これ以上データを出力すべきでないことを示す。この機構については、米国特許第5,045,940号に記載がある。DYE部52は、この信号S1を使用して、処理を一時的に停止したり、あるいは処理は継続するが一時的に出力を禁止する。DVE部52の制御は、システム・クロックで行って、当該分野では公知のように、入力シーケンスに対する順次動作を行うようにする。論理ゲート86を使用して、信号S1によってシステム・クロック信号をゲートすることにより、信号S1に応答して処理を停止する。制御部88がCODEC58へ出力信号S2を発生するのは、DVE52が最大能力で処理中でありこれ以上データを受け入れることができないとき、またはフレーム・バッファ46からの“WAIT"信号を受けたことによって処理を停止したときのいずれかである。例えば、入力FIFOメモリ素子80および82が満杯またはほぼ満杯のとき、信号S2を送出する。このようなステータスの検出は、ステータス線90,92または94を使用して、またはカウンタを使用してメモリ素子への読み出しおよび書き込みのアクセスを監視することによって行う。このようなデジタル映像効果システム59への変更は、直接的である。
これより、英国の仮出願第9307894.7号に記載されている変更型CODEC部58について、図４を参照しながら説明する。この図では、制御部60は、２チャンネルのコーダ／デコーダを制御する。メディア・パイプライン30への変更は、制御部60において、圧縮データ・バッファ42の異なる部分を各チャンネルに割り当てたことにある。１つのシーケンスを１つのチャンネルに割り当てるようにする。したがって、そのシーケンスは、圧縮データ・バッファ42に読み込むと、当該シーケンスのためのチャンネルに割り当ててある部分に入力される。このように、CODEC66および68のためのFIFO62および64に対するデータの読み出しおよび書き込みは、ある選択した静止画像シーケンスへのチャンネルの割り当てに基づいて行う。
各チャンネルは、別個のCODEC、即ち第1CODEC66または第2CODEC68のいずれかを有する。各CODECは、それぞれの先入れ先出しメモリ（FIFO）62および64を有する。FIFO62および64は、それぞれ、CODEC66および68への供給を行い、そしてその出力はフィールド・バッファに入力される。これらのバッファも、FIFO70および72であることが好ましい。これら２チャンネルは、混合器（blender）74を使用して混合してよい。混合器74は、あるアドレシングおよびアルファ情報76にしたがって、制御するようにする。しかしながら、本発明の目的のためには、混合は行わない。したがって、第１出力シーケンスは、CODEC66用のFIFO70からの出力Ａによって供給する。また、第２出力シーケンスは、出力Ｂとして、混合器の出力に供給する。このように、FIFO70および混合器74は、デジタル静止画像シーケンスの第１および第２供給源として作用する。出力ＡおよびＢは、図３に示したデジタル映像効果システム59に入力する。CODEC58は、その制御部60によって、デジタル映像効果システム59からの制御信号S2を受ける。制御部60は、適切にCODEC66および68のパイプラインを満たし、必要に応じて出力を停止させまたは開始させる。例えば、FIFO70および72への読み出し信号によって、書き込み信号をメモリ素子80および82に供給するようにすることは、理解されよう。
上述の変更によって、パイプライン制御信号およびデジタル静止画像シーケンスを扱うように適切に変更したOLC55に基づく、任意のデジタル映像効果システム59に、本システム35を容易に接続することができる。したがって、本発明は、デジタル映像効果システムのコストのみならず、リアルタイム・デジタル映像効果を供給する際のコストをも低減するものである。
本システムは、映像信号ではなくデジタル静止画像シーケンスを供給するメディア・パイプラインを使用して動作するので、効果の表示および発生は、どの時点においても停止することが可能である。したがって、編集者は、作成した効果の中の任意の画素に停止してそれを見ることができる。また、本発明のパイプライン的な性質のために、編集者は、その効果全体にわたって、フレーム毎に正方向または逆方向にステップさせることもできる。所望の任意の三次元映像効果のビデオ・テープを作成しそれを見る必要は、もはやなくなった。
以上、本発明のいくつかの実施例について説明したが、これまで述べてきたことは、限定的のものではなく単なる例示であり、１例として提示したに過ぎないことは、当業者には明白であろう。多数の変更およびその他の実施例は、当該分野の通常の知識の範囲内のことであり、添付の請求の範囲によって定めた本発明の範囲およびその均等物に該当するものである。
【図１】
0003560614.tif 000002
【図２】
0003560614.tif 000003
【図３】
0003560614.tif 000004
【図５】
0003560614.tif 000005
【図４】
0003560614.tif 000006