(57)【特許請求の範囲】
【請求項１】
生テレビジョン放送信号の音声部分をほぼリアルタイムに変更する方法であって、
（ａ）同期化された音声部分および映像部分を含む前記生テレビジョン放送信号を受け取る１８工程と、
（ｂ）前記生テレビジョン放送信号の映像部分と音声部分とを別々のチャネルで供給する工程と、
（ｃ）前記生テレビジョン放送信号の映像部分を遅延させる２８工程と、
（ｄ）前記生テレビジョン放送信号の音声または映像部分の中のイベントを認識する７２工程と、
（ｅ）前記イベントに基づいて前記生テレビジョン放送信号の音声部分を変更する６８，７０工程と、
（ｆ）前記生テレビジョン放送信号の映像部分と音声部分とを再び同期させる８０工程と、
（ｇ）音声が変更された生テレビジョン放送信号を出力する５０工程と、
を有する前記方法。
【請求項２】
前記変更する６８工程（ｅ）は、選択的に、所定の音声クリップ８４を備えた第２の音声チャネルを前記生テレビジョン放送音声チャネルの中に入れてミキシングすることを含む請求項１記載の方法。
【請求項３】
前記音声チャネルは、音量、トーン、ピッチ、同期、エコー、残響、周波数プロフィールのような音声属性を含む請求項２記載の方法。
【請求項４】
前記変更する７０工程（ｅ）は、前記音声属性の中の少なくとも１つを修正する請求項３記載の方法。
【請求項５】
前記認識する７２工程（ｄ）は、前記イベントの音声パターン認識に基づいている請求項４記載の方法。
【請求項６】
前記認識する７２工程（ｄ）は、前記イベントの映像パターン認識に基づいている請求項４記載の方法。
【請求項７】
前記認識する７２工程（ｄ）は、オペレータの直接入力６６に基づいている請求項４記載の方法。
【請求項８】
生テレビジョン放送信号の音声部分をほぼリアルタイムに変更するシステムであって、
同期化された音声部分および映像部分を含む前記生テレビジョン放送信号の映像部分と音声部分とを独立に操作可能な別々のチャネルで供給する供給手段と、
前記生テレビジョン放送信号の音声部分の中のイベントを認識する音声パターン認識手段７２と、
前記生テレビジョン放送信号の前記音声部分を受け取り前記イベントに基づいて変更する音声処理手段６０と、
前記生テレビジョン放送信号音声部分が変更された後、前記生テレビジョン放送信号の映像部分と音声部分とを再び同期させる再同期手段と、を有する前記システム。
【請求項９】
前記音声処理手段６０は、さらに、
前記生テレビジョン放送信号音声部分を記憶し遅延させる第１音声記憶手段８０と、
挿入可能な音声クリップを記憶する第２音声記憶手段８４と、
前記イベントに関する情報を受け取り前記生テレビジョン放送信号音声部分の変更のタイプとタイミングを制御する音声調整手段６２と、
前記音声調整手段による制御を受けて、前記挿入可能な音声クリップと前記生テレビジョン放送信号音声部分とを選択的に混合する音声混合手段６８と、
前記音声調整手段による制御を受けて、前記生テレビジョン放送信号音声部分および前記混合生テレビジョン放送信号音声部分の属性を選択的に変更する音声効果手段７０と、
を有する請求項８記載のシステム。
【請求項１０】
前記イベント情報は、さらに、前記音声処理手段６０の外部のソースから前記音声調整手段６２の中に受け取られた信号を含む請求項９記載のシステム。
【請求項１１】
前記外部ソースは、オペレータ入力手段６６、映像パターン認識手段６４、フィールド同期手段７６、外部トリガー手段７８、外部クロック手段７８、またはこれらの任意の組合せからなる請求項１０記載のシステム。
【請求項１２】
前記属性は、音量、トーン、ピッチ、同期、エコー、残響、周波数プロフィールを含む請求項１１記載のシステム。
【発明の詳細な説明】
関連出願の参照
この特許出願は、“映像への電子的な指標の挿入が強化されたオーディオ”と名付けられた１９９６年４月２９日に出願された米国の暫定的な特許出願番号６０／０１６，４１９号の優先権と利点を要求する。
発明の背景
１．発明の技術分野
本発明は、映像シーケンス内に、現実的な指標を挿入する装置の改良された性能に関し、特に、挿入に関連する音声効果の付加による強化に関するものである。
２．関連技術の説明
生映像信号中に電子的な画像を挿入するための装置は、ロッサー他による米国特許５，２６４，９３３号、クレイトマン他による米国特許５，４９１，５１７号に開示され、広告や他の指標をスポーツ競技の生放送を含む映像シーケンス内に挿入する目的で商業的に使用され、発展してきた。成功の程度を変化させるため、これらの装置は、指標を継ぎ目なく実際的にオリジナル映像中にリアルタイムで結合する。リアリズムは、オリジナルの背景がズームされ、パンされ、サイズや遠近が他の状態に変わったとしても、維持される。
ロッサー他による米国特許５，２６４，９３３号は、イベントの音声に応答して映像を挿入すること、たとえば、群衆ノイズの増加に応じて映像挿入パルスまたは色変化をすることを述べている。しかしながら、それは映像挿入に一致させるための音に確実な効果を付加する、たとえば、挿入パルスに一致するプログラムサウンドにビートを付加することや、プログラム内のまたはオペレータの指示に応答する音や視覚の指示に応じてプログラムオーディオを変更するという逆の可能性は開示していない。
映像挿入技術に関する他の特許、クレイトマン他による米国特許５，４９１，５１７号、ルグエト他による米国特許５，３５３，３９２号、ハンナによる米国特許５，４８８，６７５号、あるいは、シャリーとタミーのＰＣＴ出願ＰＣＴ／ＵＳ９４／０１６７９号、ＰＣＴ／ＵＳ９４／１１５２７号は、それら自身、放送の映像部分に厳しく制限される。前記した特許や用途のどれも、同期された音声の効果を加えることによって挿入された指標がより現実的に見えるようにする方法は開示されていない。
発明の要約
本発明は、放送の映像部分と同じく放送の音声部分を変更することによって、映像内にリアルタイムで指標を挿入する性能を強化した方法と装置から成る。本発明は、パターン認識技術の手段、イベントを記録しているカメラに取り付けられたカメラ挙動センサの手段、またはパター認識とカメラ挙動センサの組み合わせによって成し遂げられるリアルタイム映像指標挿入と全く同じものを適用している。
本発明において、生映像中に挿入しようとするそれぞれの静止画または動画映像シーケンスは、付随する音声シーケンスを有する。静止画像、動画像シーケンス、または映像シーケンスが挿入されるとき、付随する音声シーケンスもまたアクティブになる。音声の起動は、挿入の開始によって、映像部分への挿入の作用によって、放送局の映像または音声チャンネルのいずれかの作用によって、音声と映像チャンネルの作用の組み合わせによって、オペレータによるこれらの部分的または全体的な組み合わせによってトリガされる。加えて、トリガ、再生、音量、変調、終了または付随する音声シーケンスの他のいずれの属性も、挿入された画像、動画または映像、またはイベントの映像チャンネル、オペレータによる部分的または全体的なイベントの音声と映像チャンネルとの組み合わせによって影響される。
付随する音声シーケンスは、映像シーケンスが保存されるのと同じようにして、ディジタル的にあるいはアナログとディジタルの両方に分けてシステムのメモリに保存される。
生映像挿入システムは、映像プログラムと映像挿入用のチャネルの他に、強化された音声プロセッサが音声チャンネル内で付加されるために強化される。標準の生映像挿入システムにおいては、音声チャンネルは、ビデオ処理中の音声処理を遅延させる単なる遅延線に過ぎない。強化された音声プロセッサは、パターン認識と生映像挿入システム（ＬＶＩＳ  商標）の追跡部分とに相互に作用する。音声のミキシングがディジタル的に行なわれるとすれば、音声プログラムをアナログからディジタルに変換する手段と、ミキシングされた後に、アナログに戻す手段とを有している。
また、強化されたオーディオプロセッサは、放送の音声に音声シーケンスを付加するため、あるいは別の方法で放送の音声を変更するための音声パターン認識用の手段を含む。音声パターン認識は、単独でまたは映像パターン認識およびＬＶＩＳ（商標）の追跡モジュールからのコマンドと共に使用できる。また、オペレータのコマンドと共にも使用できる。
挿入された指標があたかもオリジナル映像場面の実際の一部であるかのように見せることが技術の重要な見地である。妥当な音声の合図は、オリジナル場面の一部に挿入された映像指標の視覚の錯覚を相当に高めることができる。音声による錯覚の強化は、挿入された指標が動画の一連の場面であり、付加された音声が動画の特徴的な動きと時期が調和しているときに特に効果的である。たとえば、挿入される映像指標は、パルスのオン、オフでプログラムすることができる。この錯覚を高めるため、音声の効果をパルス的に映像を挿入することに同期する音量で増加させたり減少させたりすることができる。他の例は、挿入された映像の変化に同期して挿入した音声のピッチ、トーン、残響、付加されたエコー、話された対話、または音楽のジングルを変化させることを含む。
分離した音声挿入を付加するよりもオリジナルプログラムサウンドの変更が同様に行なわれる。たとえば、群衆のノイズは、挿入されたロゴの変化に一致するように人為的に修正される。チームマスコットのアニメ版を考慮する。人為的に挿入されたチームマスコットがその腕を上げ下げすると、群衆の音量は増減し、それゆえにマスコットが実際にスタジアムにいるかのような錯覚を与える。
さらなる強化は、放送局のイベントの作用で起こっている音声のまたは視覚の合図によって音声の付加や実際の放送局の音声に同期させることを含む。たとえば、野球の試合において、漫画のキャラクターを挿入することは、キャラクターの独特な声による適切な言葉と一緒にバットの鋭い音のような音声イベントに反応させることができる。または、その反応をバットを振るというような視覚的な合図に同期させることができる。視覚または音声の合図の組み合わせは、部分的にまたは全体的にオペレータが起動し、また、回の初めまたは終わりのようなイベントに同期する。その上、そのボールが打たれるかのように見える野球の試合に挿入される場合、感情が害されるような適切な音が音声プログラムに付加される。既知の音声認識技術の利用では、音声の合図は、コマンド、良く知られたフレーズ、チーム名である。
付加された音声は、結果として映像挿入の移動を辿ることができる。たとえば、カメラがズームインし挿入サイズが大きくなるにつれて、挿入に関連する音量を大きくすることができる。ステレオ放送については、挿入が端にパンオフされるにつれて音声がその挿入を辿るように左右のチャネル比を変化させることができる。
【図面の簡単な説明】
図１は、強化されたオーディオプロセッサを含むように変更された生映像挿入システムの平面図を示す。
図２は、それぞれの映像の場面が処理されるときのシステムのデータの流れを示すフロー図である。
図３は、強化されたオーディオプロセッサのより詳細を示す図である。
好適な実施例の詳細な説明
この説明の過程中、本発明を図示する異なる図に関して、等しい番号は等しい要素を示すのに用いられる。
代表的な生映像挿入システムＬＶＩＳ（商標）は、「テレビジョンディスプレイに画像を挿入する装置と方法」と称される１９９５年６月１６日に出願された暫定的な米国特許出願Ｎｏ．６０／０００，２７９号、「生映像放送中に静止画像と動画像を挿入する装置と方法」と称される１９９５年１１月２８日に出願された米国特許出願、「生映像挿入システム」と称される１９９５年１月３１日に出願された米国特許出願Ｎｏ．０８／３８１，０８８号、「生映像挿入システムのための場面追跡運動の方法」と称される１９９５年１２月１２日に出願された米国特許出願Ｎｏ．０８／５８０，８９２号といった幾つかの関連出願で詳細に説明され、ここでの教えはこれらの公報に含まれている。
図１に模式的に示されているような代表的なＬＶＩＳ（商標）４０では、イベントを認識しているカメラ３２からの映像信号は、サーチ／追跡／検査モジュール４２に導かれる。サーチ／追跡／検査モジュール４２は、シャリーとタミーの係続中のＰＣＴ出願ＰＣＴ／ＵＳ９４／０１６７９号とＰＣＴ／ＵＳ９４／１１５２７号のカメラパラメータ抽出モジュールと同じである。サーチ／追跡／検査モジュール４２は、どのカメラがその場面を見ているかを決定するために、パターン認識、カメラに取り付けられたセンサからの情報、放送スイッチャからの計数信号、これら３つの情報源の幾つかの組み合わせを用いる。モジュール４２は、現在のカメラの視界を参照視界に関係付けるゆがみパラメータ２０（図２）のモデルとしてそれらを表すカメラの方向と視野を計算する。ゆがみパラメータ２０はパターン認識に由来し、そのカメラからの参照視界に関するアファイン変換として表される。しかしながら、そのゆがみパラメータは、完全な遠近変換のようなモデルを含む、しかしそれに限定されない、適切な数学的変換であるかも知れない。
図２を参照すると、ゆがみパラメータ２０は、オクルージョンプロセッサ４４内の合成参照画像２２とともに、ロゴ２６が挿入されようとしている生映像２８のどの部分がロゴ２６の目立つ対象であるかを示すキー３２を発生させるために用いられる。
従来のブルースクリーンのオクルージョン処理技術を大きく強化することにより、本システムのオクルージョンを織地の表面上に実行することができる。挿入プロセッサ４６（図１）は、キー３２およびロゴ画像２６を選択し、ロゴ画像２６がそれが本来の場面の一部であるかのように見えるように、生映像２８の中にロゴ画像２６を配置する。
ロゴ画像２６は、映像記憶装置３６からの動画の切り取りを含む他の映像源でもよい。映像記憶装置３６は、デジタルテープレコーダ、デジタルビデオディスク、または他の適切な記憶媒体である。映像記憶装置３６は、サーチ／追跡／検査モジュール４２からの情報またはシステムオペレータによって、適当な動画が選択され、そして生映像放送における動作に調和する適当なときにスタートされるように制御される。たとえば、野球の試合において、動画の一連場面として、バッターがボールを打とうとした直後に、チームマスコットの中にスポンサのロゴを形態化することができる。異なる動画の一連場面は、スウィングの試みが成功したかどうか、またはピッチングがストライクかボールかに従い、オペレータにより選択することができる。
本発明においては、典型的な生映像挿入システム（ＬＶＩＳ  商標）は、図１に概略で示すように、強化音声プロセッサ６０の付加により変形される。強化音声プロセッサ６０は、画像認識からの入力を解釈し応答するマイクロプロセッサであり、ＬＶＩＳ（商標）システムの追跡モジュール４２である。音声調整器６２（図３）は、サーチ／追跡／検査ユニット４２の一部である映像パターン認識ユニット６４からの入力に対して解釈し応答するためにプログラムされる。
強化音声プロセッサユニット６０は、さらに、音声調整器６２がまた、ユーザインタフェースの一部を形成するオペレータ入力ユニット６６に対して解釈し応答するときに、直接的なオペレータの制御に応答する。
加えて、強化音声プロセッサ６０は、いずれかの制御信号を用いて放送音声に関連音声の挿入を同期をとって付加したりミックスする。これには、音声調整器６２および音声ミキサーユニット６８がプログラム可能なマイクロプロセッサなので、パターン識別モジュール自身からの信号が含まれる。音声ミキサユニット６８は、例えば、完全にプログラム可能でコンピュータ制御可能な音声ミキシングマシンである、ニューヨーク州“ＭＩＸ−４４”，ロチェスターのホィールウィンド  インコーポレイテッド（the WhirlWind Inc.,of Rochester,NY“MIX-44”）の商用ユニットでもよい。
強化音声プロセッサ６０はまた、放送音声の音量、トーン、ピッチを変更することができ、エコー、反響および他の同様な音声効果を創成することができる。音声効果ユニット７０は、例えば、すぐに入手可能な、完全にプログラム可能でコンピュータ制御可能な音声マルチ効果マシンである、ニューヨーク州“イフェクツ  ネットワーク”，ロチェスターのアプライド  リサーチ  テクノロジー  インコーポレイテッド（the Applied Research Technology Inc.,of Rochester,NY“Effects Network”）の商用ユニットとすることができる。
また、強化音声プロセッサ６０は、音声認識を含むところの、放送音声における音の音声パターン認識のための手段を有する。音声パターン認識ユニット７２は、たとえば、デイビス（Davis）の米国特許４，８０２，２３１号、またはベーカー（Baker）の米国特許４，７１３，７７８号において論議されている周知の音声パターン識別アルゴリズムの一またはそれ以上を使用するプログラム可能なマイクロプロセッサである。
別の代替的な実施態様において、強化音声プロセッサ６０の簡易化されたバージョンは、これらの主要な特質のいずれかの部分的集合を有してもよい。
本発明の技術革新は、映像記憶装置３６に保存された映像挿入動画に関連した音声効果を保存する音声記憶装置３８の付加を含んでいる。強化音声プロセッサ６０は、もはや、標準的なＬＶＩＳ（商標）システムにおけるような、単なる遅延ルートではない。強化音声プロセッサ６０の心臓部は、音声調整器６２である。音声調整器６２は、トラッキングや、他のコンピュータにより生じた情報、オペレータ入力、プログラムにより生じたパラメータ、あるいはそれらのいくつかの組み合わせを用いて、音声記憶装置３８からの音声の切り取りを放送音声１６にミックスする。強化音声プロセッサ６０は、システムを通して中継される放送音声、および音声効果ユニット７０によって放送音声の中にミックスされる関連付けられた音声の双方の全ての必要な特性に作用を及ぼすことができる。前記特性には、限定されるものではないが、音量、トーン、エコー、ひずみ、フェイド、反響、および周波数プロフィールが含まれる。それに加えて、音声コーディネータ６２は、開始、終了、再生スピード、同期、および関連付けられた音声の切り取りの他の類似の特性に作用することが可能である。全ての音声操作は、コンピュータから、他の適切な外部クロックやトリガから、オペレータから、またはそれらの組合わせのいずれかから、の入力の作用に同期される。
また、強化音声プロセッサ６０には、デイビス（Davis）の米国特許４，８０２，２３１号、またはベーカー（Baker）の米国特許４，７１３，７７８号に開示されたもののような信号処理能力を有する音声パターン認識ユニット７２が組み入れられている。強化音声プロセッサ６０は、放送音声の中にミックスされた関連付けられた音声の切り取りを制御または変更するために、簡単な言葉や他の顕著な音声信号を認識し、それらのレベルや他の特性をモニターして、それらの特質を使用することができる。前記特性には、限定されるものではないが、開始、終了、再生スピード、同調、音量、トーン、ピッチ、エコー、反響、および周波数プロフィールが含まれる。また、音声調整器６２は、たとえば音量、トーン、ピッチ、エコー、反響、および周波数プロフィール等の放送音声の一定の特質を変更するために、認識された音声パターンを使用することができる。
本発明の好適な実施態様では、サーチ／追跡／検査モジュール４２は、指標を全てのシーンに継ぎ目なく挿入するために対象や目印、組織を認識し追跡することができるのに加えて、同じ技術を用いてシーンの中で起こっているイベントの動きを認識および／または追跡することができるように強化されている。そのようなイベントには、野球のバットのスイングまたはテニスボールの軌跡があるが、これに限定されるわけではない。サーチ／追跡／検査モジュール４２は、上述した方法で関連音声と放送音声のいずれか一方または両方を制御しまたは修正するために、この情報を音声調整器６２に送る。
また、音声調整器６２は、オペレータの直接の命令によって挿入に関連した音声や放送音声を調整することもできる。これは、ＬＶＩＳ（商標）ユーザインタフェースの一部であるオペレータユニット６６によって達成される。また、音声調整器６２は、オペレータ、視覚画像認識追跡部、および音声信号認識監視部の組合せに応じて作動し、これらの組合せ、これは時間中１以上の従属発生を含んでもよい、を用いて関連音声と放送音声の両方の属性を修正し、同期させ、あるいは調整することもできる。修正には、放送音声の音量、トーン、ピッチ、同期、エコー、残響、周波数プロフィールの変更や、関連挿入音声の開始、終了、再生スピード、音量、トーンピッチ、同期、エコー、残響、周波数プロフィールの変更があるが、これらに限定されるわけではない。
強化された音声プロセッサ６０の好適な実施態様の概略図は、図３に示されている。放送音声は、音声Ａ／Ｄ変換器７４を用いてまずデジタル化される。デジタル化されたプログラム音声は、従来のＬＶＩＳ（商標）音声経路（図２）内の音声遅延ユニット１６に対応するプログラム音声記憶装置７６に記憶される。その後、音声信号は、音声調整器６２の制御下で、言葉を含む音声パターンを認識することができる音声パターン認識ユニット７２を通過する。音声パターン認識ユニット７２によるパターンまたは言葉の認識は、音声ミキサー６８や音声効果ユニット７０による放送音声や関連音声の調整のタイプとタイミングを制御するため、音声調整器６２によって利用される。
また、音声調整器６２は、音声ミキサー６８や音声効果ユニット７０による放送音声や関連音声の調整のタイプとタイミングを制御するため、映像パターン認識ユニット６４、フィールド同期装置７６、オペレータ入力６６からの情報や、外部クロックトリガーインタフェースユニット７８からの情報を受け取る。プログラム音声に加えられる音声シーケンスは、これもまた音声調整器６２の制御下にある関連音声記憶装置８４に記憶される。音声調整器６２は何が音声ミキサー６８に伝達されいつその伝達が起こるのかを決定する。その結果得られる混合されたプログラム音声は音声効果ユニット７０を通過し、ここで音声調整器６２の制御の下、例えば音量、トーン、ピッチ、エコー、残響、周波数プロフィールのような属性に対する調整がさらに行われる。
その結果得られる音声は、その後、適当な期間（二三の映像フィールド）の間多フィールドプログラム音声記憶装置８０に記憶され、音声Ｄ／Ａ変換器８２を用いてもとのアナログ形式に変換する前にビデオ画像と同期させられる。その後、アナログ音声出力は映像信号に合体され、ＮＴＳＣまたはＰＡＬ放送のような標準放送信号が形成される。
上記した好適な実施態様では音声をデジタル領域で混合したが、周知の適当な技術を用いて全ての音声処理をアナログ領域で行うことも可能である。
図２に示す好適な実施態様には、ＬＶＩＳ（商標）サイクル全体の第５フィールドで使用されている音声ミキサー６８と第６フィールドで使用されている音声効果発生器７０とが記載されている。しかし、音声ミキサー６８と音声効果発生器７０は両方とも、映像挿入記憶装置３６に記憶される映像フィールドと関連音声記憶装置３８に記憶される音声フィールドとの間で適当なオフセットが用いられる限り、処理サイクル中のどこにでも使用することができる。特に、音声ミキサー６８と音声効果発生器７０は両方とも、映像出力３０を形成するためのロゴ、最終キー、および映像の組合せと同時に、処理の最終フィールドで使用することができる。これによって、多フィールドプログラム音声記憶装置８０を２つ必要とする図３に示す音声プロセッサ６０のレイアウトに対して、単にそのような装置８０をたった１つしか必要としないという利点が得られる。
ここに教示した処理装置および方法は本発明を例示したものであることは理解されるべきである。当業者であれば本発明の精神または範囲を逸脱することなく容易に変形例を案出できるであろう。
【図１】
0004482161.tif 000002
【図２】
0004482161.tif 000003
【図３】
0004482161.tif 000004