(57)【特許請求の範囲】
【請求項１】
オーディオデータを処理するための装置であって、
オーディオデータから該オーディオデータの可聴時間変化音響特性を表す特性データを導出するための手段（１１３０）と、
同期的にストリーミング可能なビデオ及びオーディオデータを表すデータから該ストリーミング可能なデータのストリームの一部分を表すデータを選択して、該オーディオデータの可聴時間変化音響特性の持続時間とその特性を包含する間隔とを測定するための手段（４１０）と、
前記選択及び測定するための手段によって与えられたデータ及び測定値でデータベースを埋めるための手段（４１０、４５０）と、
を含むことを特徴とする装置。
【請求項２】
前記選択及び測定するための手段によって与えられた前記データ及び測定値に関連するテキストで前記データベースを埋めるための手段（４１０、４５０）を更に含むことを特徴とする請求項１に記載の装置。
【請求項３】
オーディオデータを処理する方法であって、
同期的にストリーミング可能なビデオ及びオーディオデータを表すデータから該ストリーミング可能なデータのストリームの一部分を表す場面データを選択する段階（４１０）と、
前記オーディオデータの可聴時間変化音響特性の持続時間とその特性を包含する間隔とを測定する段階（４１０）と、
前記場面データから選択されて測定された場面データ及び測定値でデータベースを埋める段階（４１０、４５０）と、
を含むことを特徴とする方法。
【請求項４】
前記場面データ及び測定値に関連したテキストデータを作成して、該テキストデータで前記データベースを埋める段階を更に含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記場面データから静止ビデオデータを表す静止データを抽出して、該静止データで前記データベースを埋める段階を更に含むことを特徴とする請求項３又は請求項４に記載の方法。
【請求項６】
オーディオ及びビデオデータに対する処理システムを準備する方法であって、
ビデオデータストリームと同期したオーディオデータストリームを準備するためのデジタル化したオーディオ及びビデオデータを記憶する段階（４２０）と、
前記同期したオーディオ及びビデオデータストリームを実行する際の複数の選択された時間を表すタイミングデータを記憶する段階（４３０）と、
前記オーディオデータストリームの少なくとも一部分を選択する段階（４４０）と、
時間変化特性のデータストリームを準備するために、前記オーディオデータストリームの前記選択された部分からオーディオ特性データを取り出す段階（１１３０）と、
前記取り出されたオーディオ特性データを記憶する段階（１１２０）と、
時間変化特性の対応するストリームを入力オーディオデータストリームから取り出すための音響特性アナライザを記憶する段階（４５０）と、
前記時間変化特性のデータストリームと入力オーディオデータストリームから取り出された対応する特性との間のタイミング差を判断するようになったタイミング分析及び波形編集プロセッサを記憶する段階（４５０）と、
前記同期したオーディオデータストリーム及びビデオデータストリームを、前記選択された部分を置換する前記プロセッサからの編集した入力オーディオデータと共に実行することを制御するための再生制御モジュールを記憶する段階（４５０）と、
を含むことを特徴とする方法。
【請求項７】
前記オーディオデータストリームの前記選択された部分のタイミングを表すキュー出しデータを記憶する段階、
を更に含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記ビデオデータストリームと同期した更に別のオーディオデータストリームを準備するための付加的なデジタル化されたオーディオデータを記憶する段階、
を更に含むことを特徴とする請求項６又は請求項７に記載の方法。
【請求項９】
前記タイミングデータは、前記同期オーディオ及びビデオデータストリームの実行中に選択された時間にオーディオ利得を制御するようになった利得制御データを更に含むことを特徴とする請求項６又は請求項７又は請求項８に記載の方法。
【請求項１０】
オーディオ及びビデオデータのためのデータ処理システムであって、
ビデオデータストリームと同期したオーディオデータストリームを準備するためのデジタル化されたオーディオ及びビデオデータ（４４０）と、
前記同期オーディオ及びビデオデータストリームを実行する際の複数の選択された時間を表すタイミングデータ（８５４）と、
前記オーディオデータストリームの少なくとも選択された部分から抽出された時間変化特性のデータストリームを準備するためのオーディオ特性データ（８５５）と、
入力オーディオデータストリームから時間変化特性の対応するストリームを取り出すためのオーディオ特性アナライザ（１１３０）と、
前記時間変化特性のストリーム間のタイミング差を判断し、該タイミング差を利用して前記入力オーディオデータストリームを編集し、編集した入力オーディオデータを生成するようになったタイミング分析及び波形編集プロセッサ（１１６０、１１７０）と、
前記同期オーディオデータストリーム及びビデオデータストリームを、前記選択された部分を置換する前記編集した入力オーディオデータと共に実行することを制御するようになった再生制御モジュール（８１２、８２０、８２４、８２８、８４０）と、
を含むことを特徴とするシステム。
【請求項１１】
前記オーディオデータストリームの前記選択された部分のタイミングを表すキュー出しデータを更に含むことを特徴とする請求項１０に記載のデータ処理システム。
【請求項１２】
前記ビデオデータストリームと同期した更に別のオーディオデータストリームを準備するための付加的なデジタル化されたオーディオデータを更に含むことを特徴とする請求項１０又は請求項１１に記載のデータ処理システム。
【請求項１３】
オーディオデータを処理する方法であって、
第１のオーディオデータから該第１のオーディオデータの可聴時間変化音響特性を表す第１の特性データを導出する段階（１１３０）と、
第２のオーディオデータから該第２のオーディオデータの可聴時間変化音響特性を表す第２の特性データを導出する段階（１１３０）と、
前記第１及び第２の特性データを比較して（１１６０）、該第１及び第２の特性データ間のタイミング差を判断する段階と、
前記第１のオーディオデータと同期した関係を有する編集した第２のオーディオデータを準備するなどのために、前記タイミング差に基づいて前記第２のオーディオデータを編集する段階（１１７０）と、
前記第１のオーディオデータの音を消しながら、前記編集した第２のオーディオデータを、該第１のオーディオデータと同期した関係を有するビデオデータと同期的に出力する段階（８４０）と、
を含むことを特徴とする方法。
【請求項１４】
ビデオデータストリームと同期されているオーディオデータストリームの少なくとも一部分を選択するためのセレクタ（４１０）と、
前記オーディオデータストリームの前記選択された部分から時間変化特性のストリームを取り出し、入力オーディオデータストリームから対応する時間変化特性を取り出すためのオーディオ特性アナライザ（１１３０）と、
前記時間変化特性のストリームと前記対応する時間変化特性との間のタイミング差を判断し、該タイミング差を利用して前記入力オーディオデータストリームを編集するようになったタイミング分析及び波形編集プロセッサ（１１６０、１１７０）と、
前記同期オーディオデータストリーム及びビデオデータストリームを、前記選択された部分を置換する前記編集した入力オーディオデータストリームと共に実行することを制御するようになった再生制御モジュール（８１２、８２０、８２４、８２８、８４０）と、  を含むことを特徴とするオーディオ及びビデオデータプロセッサ。
【請求項１５】
オーディオデータを処理する方法であって、
ビデオデータストリームと同期したオリジナルオーディオデータストリームを準備する段階（４２０）と、
前記オリジナルオーディオデータストリームの少なくとも一部内を選択する段階（４４０）と、
前記オリジナルオーディオデータストリームの前記選択された部分に対応する前記ビデオデータストリームの一部分と実質的に同期した入力オーディオデータストリームを記憶する段階（８５６）と、
前記入力オーディオデータストリームから該入力オーディオデータストリームの時間変化特性のストリームを取り出す段階（１１３０）と、
前記時間変化特性の取り出されたストリームを、前記オリジナルオーディオデータストリームの前記選択された部分から取り出された時間変化特性の対応するストリームと比較し（１１６０）、前記時間変化特性のストリーム間のタイミング差を判断する段階と、
前記タイミング差を利用して（１１７０）、前記入力オーディオデータストリームを編集し、編集された入力オーディオデータを生成する段階と、
前記同期したオリジナルオーディオデータストリーム及びビデオデータストリームを、前記選択された部分を置換する前記編集した入力オーディオデータと共に実行する段階（８４０、８１６、８１８）と、
を含むことを特徴とする方法。
【請求項１６】
前記オリジナルオーディオデータストリームの１つよりも多い部分が選択されることを特徴とする請求項１５に記載の方法。
【請求項１７】
オーディオデータを処理するための装置であって、
オーディオデータから該オーディオデータの可聴時間変化音響特性を表す特性データを導出するための手段（１１３０）と、
ビデオデータと同期的に関連付けられた第１のオーディオデータから導出された第１の特性データを、第２のオーディオデータから導出された第２の特性データと比較し、該第１及び第２特性データ間のタイミング差を判断するための手段（１１６０）と、
編集した第２のオーディオデータを前記第１のオーディオデータと同期した関係で準備するなどのために、前記タイミング差に基づいて前記第２のオーディオデータを編集するための手段（１１７０）と、
前記第１のオーディオデータの音を消しながら、前記ビデオデータと前記編集した第２のオーディオデータとを同期的に出力するための手段（８１０、８２０、８２４、８２８、８５０、８４０）と、
を含むことを特徴とする装置。
【請求項１８】
置換のためのオーディオデータを選択する方法であって、
ビデオデータのストリームと同期したオーディオデータのストリームを準備するためのオーディオ及びビデオデータを選択する段階と、
前記ビデオデータストリームの開始から前記オーディオデータストリームの一部分の開始点まで、及び該一部分の終点又は終点後の後の点までの時間間隔を測定する段階と、
前記開始時間間隔の測定値及び前記後の点の時間間隔の測定値に関連して、少なくとも前記一部分に対応する持続時間に亘ってオーディオデータストリームの音を消すようになった利得制御データを記憶する段階と、
を含むことを特徴とする方法。
【請求項１９】
前記オーディオデータストリームの前記一部分を処理して、そこから可聴時間変化音響特性を表す特性データを導出する段階と、
前記開始点及び後の点の時間間隔測定値に関連して前記特性データを記憶する段階と、
を含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記開始点の時間間隔測定値及び前記後の点の時間間隔測定値に関連して、前記持続時間に亘って更に別のオーディオデータストリームを有効にするようになった更に別の利得制御データを記憶する段階を含むことを特徴とする請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２００２年１１月１日出願の米国特許仮出願第６０／４２３０５５号及び２００２年１１月７日出願の米国特許仮出願第６０／４２４４２７号の優先権を請求するものであり、その特許の開示内容全体は、引用により本明細書に組み込まれている。
本発明は、画像と自動同期させるサウンド置換に使用する方法及び装置に関するものであり、より具体的には、デジタルフィルム又はビデオにおける元の役者又は歌手の声を、会話又は歌唱のユーザの録音から自動的に作成された置換唇同期バージョンで置換する方法及び装置に関する。
【背景技術】
【０００２】
固定式又は取外し可能なディスク上に記憶されたか又はストリーミングメディアとしてインターネット上からダウンロードされたデータからのデジタル映画として、デジタルビデオと同期したデジタルオーディオの再生をサポートするコンピュータシステムは公知である。更に、サウンドカードを有するコンピュータは、一般的にマイクからのサウンド入力を録音することができる。「完全二重」サウンドカードを有するコンピュータシステムは、予め録音されたコンピュータビデオ及びオーディオファイルからサウンド及びビデオ信号を同時に再生しながらサウンド入力を録音することができる。
【０００３】
添付図面の図１においては、ＣＰＵ（中央演算処理装置）１１２と、ＲＡＭ（ランダム・アクセス・メモリ）１１８と、マウス、キーボード１２５、及びディスプレイスクリーン１３０のようなポインティングデバイス１２０を一般的に含むユーザインタフェースハードウエアと、ハードディスク又は更に別のＲＡＭのような内部記憶装置１４０と、「ＣＤ  ＲＯＭ」又は「ＤＶＤ  ＲＯＭ」のような固定式又は取外し可能な記憶メディア１６５上のデータにアクセスするための装置１６０と、任意的にインターネット１７５へのアクセスを提供するモデム又はネットワークインタフェース１７０とを有するコンピュータ１１０から成る従来のコンピュータシステム１００が示されている。ポインティングデバイス１２０は、表示されたスクリーンカーソル（図示せず）の位置及びスクリーン１３０上に表示された機能の選択を制御する。
【０００４】
コンピュータ１１０は、ＰＣ又は「アップルマッキントッシュ」のような任意の従来のホームコンピュータ又はビジネスコンピュータ、又は代替的に、ポインティングデバイス１２０がその時にはゲームコントローラ装置である「マイクロソフト（登録商標）Ｘｂｏｘ（登録商標）」又は「ソニープレーステーション２（登録商標）」のような最新の専用「ゲーム機」の１つとすることができる。図１に示す一部の構成要素は、特定のゲーム機にはなくてもよいものである。図２は、コンピュータ１１０にインストールすることができるソフトウエアを示している。
以下の説明においては、用語「マウス」及び「クリック」は、便宜上、スクリーンカーソル制御装置及びスクリーンオブジェクト選択作動の一般的な用語として使用する。
【０００５】
ユーザは、「ＣＤ  ＲＯＭ」、インターネット、又は他の手段からオーディオ及びビデオクリップを含むデジタルデータファイル１１５を取得することができ、これは、例えば、「ａｖｉ」又は「Ｑｕｉｃｋ  Ｔｉｍｅ（登録商標）」映画フォーマットのような一般的なフォーマットとすることができ、それはまた、例えば、ハードディスク１４０上又はＲＡＭの中にコピー及び記憶される。コンピュータ１１０は、「マイクロソフト（登録商標）ウィンドウズ（登録商標）」又は「Ｍａｃ（登録商標）ＯＳ」の利用可能なバージョンのいずれかによってもたらされるもののような公知のオペレーティングシステム１３５と、オーディオソフトウエアと、録音用マイクロ１５９が接続されたＡＤＣ（アナログ／デジタル変換器）を含み、かつオーディオを再生するための１つ又はそれ以上のスピーカ１５６が接続されたＤＡＣ（デジタル／アナログ変換器）を含むサウンドカード１５０又はコンピュータのマザーボード上の同等ハードウエアという形態のハードウエアとを有する。図２に示すように、このようなオペレーティングシステム１３５は、一般的に、「ウィンドウズ（登録商標）」と共に出荷される「サウンドレコーダ」アプリケーションプログラムのようなサウンドカード１５０及び編集機能を通じてオーディオ録音をサポートするオーディオ録音及び編集ソフトウエア１８０付きで出荷される。録音プログラムは、サウンドカード１５０を使用して着信アナログオーディオ信号をデジタルオーディオデータに変換し、そのデータをハードディスクドライブ１４０上のコンピュータファイル内に録音することができる。「ウィンドウズ（登録商標）」と共に出荷される「ウィンドウズメディアプレーヤ」のようなオーディオ／ビデオプレーヤソフトウエア１９０は、サウンドカード１５０、更には内蔵ビデオハードウエア及びソフトウエア、ディスプレイスクリーン１３０、及びスピーカ１５６を通じて、複合デジタルビデオ及びオーディオファイル又は単にオーディオファイルを再生するために使用される。複合ビデオ及びオーディオファイルは、ビデオデータと、オーディオデータの１つ又はそれ以上の並列同期トラックとから構成される。代替的に、オーディオデータは、オーディオデータの複数のストリームを記憶するように割り当てられた別々のファイルとして保持することができる。オーディオデータは、会話又は歌唱、楽器音楽、又は「音響効果」、又はこれらの３つの形式の任意の組合せのような音声データとすることができる。
【０００６】
大部分の現在のゲームシステムは、サウンド録音を行うための機能を提供しない。しかし、これらの機能を使用しても、ユーザは、複合ビデオ及びオーディオファイル内のオーディオ信号をハードディスク上に録音されたオーディオデータと簡単な方法で同期させてそれで置換することはできないであろう。
また、システム１００のような従来のコンピュータシステムにインストールして「オーディオ録音及び編集ソフトウエア」１８０と「オーディオ／ビデオプレーヤソフトウエア」１９０の両方の機能を提供することができる市販のコンピュータベースのデジタルオーディオ及びビデオ編集プログラムも存在する。このようなプログラムの代表的な例は、「Ｄｉｇｉｄｅｓｉｇｎ」の「Ｐｒｏ  Ｔｏｏｌｓ（登録商標）」システム、「ソニー・ピクチャーズ・デジタル」からの「Ｓｏｕｎｄ  Ｆｏｒｇｅ（登録商標）」プログラム、又は「Ｓｙｎｔｒｉｌｌｉｕｍ  Ｓｏｆｔｗａｒｅ  Ｃｏｒｐｏｒａｔｉｏｎ」の「Ｃｏｏｌ  Ｅｄｉｔ  Ｐｒｏ」（現在は、「Ａｄｏｂｅ  Ｓｙｓｔｅｍｓ  Ｉｎｃｏｒｐｏｒａｔｅｄ」からの「Ａｄｏｂｅ  Ａｕｄｉｔｉｏｎ」）である。これらの公知の編集プログラムは、熟練ユーザがデジタル複合オーディオ−ビデオファイルを編集プログラム内にインポートし、ビデオトラック及びオリジナル会話信号を再生し、かつ任意的に、任意の音楽及び音響効果トラックを同時に一緒に再生することを可能にするものである。
【０００７】
十分な練習をすれば、熟練ユーザは、ビデオトラックだけを再生すると同時に新しい音声の録音を可能にしかつ実行することができる。この録音によって生成された新しいオーディオデータは、編集プログラムによってビデオトラックと共に再生することができるが、そのタイミングは、ビデオトラックと共に録音された時に達成される。そのようにする前に、一般的に、ユーザは、マニュアルでファイル上のオリジナル会話トラックの音を消し、新しい会話トラックが再生されるのを可能する必要がある。
【０００８】
役者が発話されるラインの予め録画済みのビデオ表現に十分に同期して会話のラインの正確な繰返しを行うことは困難であり、また、このような状況で録音されたオーディオトラックは、オリジナルオーディオトラックのものと同期したその開始及び詳細音響特性を有する可能性が非常に低いということは公知である。
同期には、新たに録音されたオーディオの波形の詳細をマニュアルで編集するか、又はＧＢ２１１７１６８及びＵＳ４５９１９２８（Ｂｌｏｏｍ他）で説明されているもののような特化された自動オーディオ同期ソフトウエアを取得し、設定し、及び応用して、新たに整合したオーディオトラックをもたらす第３のオーディオ信号を作成する更に別の段階が必要である。しかし、後者の場合でさえも、熟練ユーザは、オリジナルオーディオ信号の音を消して新しい整合したトラックを可能にするという更に別の段階を実行する必要がある。ビデオと新しく同期したオーディオの最終的な組合せを視聴するためには、ユーザは、編集プログラムの再生の開始を制御し、その再生が新しいオーディオ録音の前に始まってその終点で停止することを保証する必要がある。この手順は、非常に複雑かつ時間の掛かるものであり、技能及び専門家としての知識が必要である上に、置換されるオーディオシーケンス毎に、例えばビデオ又は歌の各行に対して繰り返す必要がある。最終の選択された同期録音の各々は、新しい録音と共に場面全体を再生するために、編集プログラムにおいてオリジナル又は中間録音の再生を無効にしながらマニュアルで選択して再生可能にする必要がある。一般的に編集プログラムの異なるトラック上に保持されているいくつかの代替録音がある場合、これらの各々のうちの選択されたものは、選択されて編集及び同期したオーディオ録音の中断のない再生を可能にするために、マニュアルで更に別の１つ又は複数のトラックに移動させなければならない。更に、ユーザは、置換オーディオがない区域又はユーザが置換ではなくオリジナルオーディオを選択するために選択した区域でオリジナルオーディオの再生を可能にする必要がある。最後に、望ましい目的を達成するためには、複数の望ましいソース間で切り換えを行い、これらの選択信号の全てをオリジナル背景オーディオと混合し、ビデオがオーディオと同期して再生される間にこの混合をオーディオ出力システムに供給するための手段がなければならない。
【０００９】
特化された自動会話置換及び同期サービスを映画又はビデオ業界向けに提供するように装備されたプロのスタジオにおいてさえも、上述のマニュアル手順の大部分を行う必要があり、複数の望ましい同期置換録音のシーケンスを選択し、これらをビデオと共に順番に再生し、置換録音が選択されなかった時には、代わりにオリジナルオーディオを再生するという一般的な便利な方法は存在しない。
既存の会話又は歌唱を伴うオーディオ／ビデオプログラムに対してオリジナルオーディオ録音に取って代わる一連の新しいオーディオ録音を自動的に作成することができるシステムに対する必要性が存在しており、この新しいオーディオ録音は、ビデオと同期したユーザの録音の編集バージョンからユーザによって選択されるものである。
【００１０】
本発明の目的は、例えば、デジタルビデオ内の画像と正確に唇同期して再生されるように自動的に編集かつ順序付けされたユーザ選択の置換音声録音と同時にデジタルビデオを作成かつ再生する簡単かつ迅速な手段を提供する、ＰＣ又はゲームシステムで実行されるコンピュータプログラムを提供することである。望ましい簡便性をもたらすために、プログラムは、第一に、そのユーザが別々に取得してその後に一緒に組立てる必要がある複数の構成要素を有するのではなく、単一の統合プログラムであるべきであり、第二に、馴染みのある単純な制御を使用すべきである。更なる簡便性をもたらすために、置換信号を記録する時期をユーザに示し、かつ、言葉のような主たる音響イベントのタイミングに対する視覚的キューを与えるための自動的な手段があるべきである。更に別の目的は、ａ）新たに録音されたオーディオ信号を自動的に編集して、その主たる音響特性を予め録音されたオリジナルオーディオ信号内の対応する特性と同期させることにより、新しい置換オーディオ信号を作成し、ｂ）正しく新しい置換オーディオ信号を自動的に選択し、ｃ）選択された新しい信号に自動的に切り換えて正しい時間にデジタルビデオと共に再生し、ｄ）ビデオと同期したバックミュージック又は音響効果トラックのような任意の望ましい背景オーディオを再生する、ための手段をエンドユーザに提供することである。換言すると、ビデオプログラム内の関連のクリップを選択する段階、いくつかの単純かつ馴染のある制御を作動してこのクリップの一部又は全てからラインを選択し、かつ任意的に稽古する段階、置換オーディオをその区域に関して録音する段階、及び、オーディオビデオプログラムの選択区域又はクリップ全体を、自動的に編集及び同期した１つ又は複数の置換オーディオクリップと共に再生する段階を取る必要がある以外は、エンドユーザがビデオ及びオーディオ信号を操作する必要性はなくなるべきである。
【００１１】
【特許文献１】米国特許仮出願第６０／４２３０５５号
【特許文献２】米国特許仮出願第６０／４２４４２７号
【特許文献３】ＧＢ２１１７１６８
【特許文献４】ＵＳ４５９１９２８
【特許文献５】米国特許第６，１８５，５３８号
【非特許文献１】Ｅｒｉｋ  Ｔ．Ｒａｙ著「ＸＭＬを学ぶ」、Ｏ’Ｒｅｉｌｌｙ  ＆  Ａｓｓｏｃｉａｔｅｓ、第１版、２００１年
【非特許文献２】Ｂｊａｍｅ  Ｓｔｒｏｕｓｔｒｕｐ著「Ｃ＋＋プログラミング言語」（特別第３版）、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ、２０００年
【非特許文献３】Ｊ．Ｓ．Ｌｉｍ編「発話強調」、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、１９８３年
【発明の開示】
【００１２】
本発明の第１の態様によれば、オーディオデータからオーディオデータの可聴時間変化音響特性を表す特性データを導出するための手段と、ビデオデータと同期的に関連付けられた第１のオーディオデータから導出された第１の特性データを第２のオーディオデータから導出された第２の特性データと比較して、第１及び第２特性データ間のタイミング差を判断するための手段と、この第１のオーディオデータに対して同期した関係で編集された第２のオーディオデータを準備するなどのために、このタイミング差に基づいて第２のオーディオデータを編集するための手段と、この第１のオーディオデータの音を消しながらこのビデオデータ及びこの編集された第２のオーディオデータを同期的に出力するための手段とを含むオーディオデータを処理するための装置が提供される。
【００１３】
本発明の第２の態様によれば、オーディオデータからオーディオデータの可聴時間変化音響特性を表す特性データを導出するための手段と、同期的にストリーミング可能なビデオ及びオーディオデータを表すデータからストリーミング可能なデータのストリームの一部分を表すデータを選択して、オーディオデータの可聴時間変化音響特性の持続時間及びその特性を包含する間隔を測定するための手段と、この選択及び測定する手段によって与えられたデータ及び測定値でデータベースを埋めるための手段とを含む、オーディオデータを処理するための装置が提供される。
この装置は、更に、選択及び測定するための手段によって与えられた上述のデータ及び測定値に関連したテキストで上述のデータベースを埋めるための手段を含むことができる。
【００１４】
１つの態様において、本発明によるオーディオ及びビデオデータ処理ソフトウエアは、オーディオデータからオーディオデータの可聴時間変化音響特性を表す特性データを導出するようになった特性分析プログラムと、ビデオデータと同期的に関連付けられた第１のオーディオデータから導出された第１の特性データを第２のオーディオデータから導出された第２の特性データと比較して、第１及び第２特性データ間のタイミング差を判断するようになった比較及びタイミングプログラムと、この第１のオーディオデータに対して同期した関係で編集された第２のオーディオデータを準備するなどのために、このタイミング差に基づいて第２のオーディオデータを編集するようになった編集プログラムと、この第１のオーディオデータの音を消しながらこのビデオデータ及びこの編集された第２のオーディオデータを同期的に出力するようになったストリーミングプログラムとを含むものである。
【００１５】
本発明の別の態様によるオーディオ及びビデオデータ処理ソフトウエアは、オーディオデータからオーディオデータの可聴時間変化音響特性を表す特性データを導出するようになった特性分析プログラムと、同期的にストリーミング可能なビデオ及びオーディオデータを表すデータからストリーミング可能なデータのストリームの一部分を表すデータを選択して、オーディオデータの可聴時間変化音響特性の持続時間及びその特性を包含する間隔を測定するようになった選択及び測定プログラムと、この選択及び測定プログラムによって与えられたデータ及び測定値でデータベースを埋めるようになったデータベースプログラムとを含むものである。
このデータベースプログラムは、更に、上述の選択及び測定プログラムによって与えられたデータ及び測定値に関連したテキストで上述のデータベースを埋めることを可能にするようになっている。
【００１６】
本発明はまた、同期的にストリーミング可能なビデオ及びオーディオデータを表すデータからストリーミング可能なデータのストリームの一部分を表す場面データを選択して、このデータ内のオーディオデータの可聴時間変化音響特性の持続時間及びその特性を包含する間隔を測定するための手段と、この選択及び測定するための手段によって与えられた場面データ及び測定値でデータベースを埋めるための手段とを含む、オーディオ及びビデオデータを処理するための装置を提供するものである。
この装置は、更に、上述の場面データ及び測定値に関連したテキストで上述のデータベースを埋めるための手段と、この場面データから抽出可能な静止ビデオデータを表す静止データでこのデータベースを埋めるための手段とを含むことができる。
【００１７】
本発明は、更に、同期的にストリーミング可能なビデオ及びオーディオデータを表すデータからストリーミング可能なデータのストリームの一部分を表す場面データを選択して、この場面データ内のオーディオデータの可聴時間変化音響特性の持続時間及びその特性を包含する間隔を測定するようになった選択及び測定プログラムと、この選択及び測定プログラムによって与えられた場面データ及び測定値でデータベースを埋めるようになったデータベースプログラムとを含むオーディオ及びビデオデータ処理ソフトウエアを提供する。このオーディオ及びビデオデータ処理ソフトウエアは、このデータベースプログラムが、更に、この場面データ及び測定値に関連したテキストでこのデータベースを埋めるようになっており、このデータベースプログラムが、更に、この場面データから抽出可能な静止ビデオデータを表す静止データでこのデータベースを埋めるようになっているようなものとすることができる。
【００１８】
本発明はまた、第１のオーディオデータから第１のオーディオデータの可聴時間変化音響特性を表す第１の特性データを導出する段階と、第２のオーディオデータから第２のオーディオデータの可聴時間変化音響特性を表す第２の特性データを導出する段階と、この第１及び第２の特性データを比較して第１及び第２特性データ間のタイミング差を判断する段階と、この第１のオーディオデータに対して同期的な関係を有する編集した第２のオーディオデータを準備するなどのために、このタイミング差に基づいて第２のオーディオデータを編集する段階と、この第１のオーディオデータの音を消しながら、この第１のオーディオデータと同期的な関係を有するビデオデータと共にこの編集した第２のオーディオデータを同期的に出力する段階とを含むオーディオデータを処理する方法を提供する。
【００１９】
更に、本発明は、同期的にストリーミング可能なビデオ及びオーディオデータを表すデータからストリーミング可能なデータのストリームの一部分を表す場面データを選択する段階と、オーディオデータの可聴時間変化音響特性の持続時間及びその特性を包含する間隔を測定する段階と、場面データ及び場面データから選択されて場面データ内で測定された測定値でデータベースを埋める段階とを含むオーディオデータを処理する方法を提供する。
【００２０】
本方法は、場面データ内のオーディオデータからオーディオデータの可聴時間変化音響特性を表す特性データを導出する段階と、この特性データでデータベースを埋める段階と、この場面データと測定値とに関連したテキストデータを作成して、このテキストデータでこのデータベースを埋める段階と、この場面データから静止ビデオデータを表す静止データを抽出する段階と、この静止データでこのデータベースを埋める段階とを含むことができる。
【００２１】
本発明の好ましい実施形態では、グラフィカル・ユーザ・インタフェース・ソフトウエアは、ビデオデータのストリームに応答して動画を表示し、複数のグラフィック的に形成された制御区域をスクリーン上に表示するように表示スクリーンを制御するようになったビデオ及びグラフィック表示プログラムと、カーソル位置決めとポインティングデバイスの作動との一致によって制御区域の選択を検出し、このような選択に応答してそれぞれの制御信号を生成するようになった制御モジュールと、ビデオデータ及びオーディオデータの選択された同期ストリームを出力することによってこの制御信号に応答し、この同期ストリームの間にもたらされた入力オーディオストリームを録音するようになった出力プログラムとを含む。
【００２２】
本発明の別の態様によれば、未熟なユーザが、最初に演技者の発話又は歌唱を包含するデジタルビデオクリップを見ながら自分の声のデジタル録音を行うことを可能にする方法及び装置が提供される。ユーザによる録音が行われた状態で、装置は、ユーザの声の録音を処理してその主な音響特性を演技者の声のものに整合させるために自動的に編集した新しいデジタルオーディオ信号を作成する。最後に、ユーザが元の演技者の声に代えて整合したユーザの声でデジタルビデオクリップを再生するように装置に命令した時に、ユーザの声は、オリジナルビデオと正確に唇同期して聞こえ、ビデオの登場人物がユーザの声で発話又は歌唱しているという確固たる印象をもたらすことになる。
【００２３】
本発明のこの態様に関連して、本明細書に開示されるのは、ユーザの編集した録音とオリジナル音声トラックなしに再生されるオリジナルビデオクリップを利用するその後の再生段階において、編集したユーザ録音の主な時間変化オーディオ特性が、音消しされたオリジナル音声トラック内の対応する特性と正確に時間が整合し、従って対応する演技者のビデオ画像と実質的に正確に唇同期されたように見えるように、元々はデジタルビデオクリップ内の演技者と唇同期した１つ又はそれ以上の音声トラックのいずれかを、録音中又は録音後に自動的に処理及び編集されるユーザ自身の声の録音と置換するための使いやすい手段を訓練を受けていないユーザに提供する方法及び装置である。音声録音し、整合し、元の演技者の音声トラックの音を消しながらビデオ再生中に元の演技者と正確に同期されたこの整合置換音声を再生するこの方法は、本明細書ではリボイシングと呼ぶことにする。従って、本発明は、非当業者のユーザが、デジタルビデオ信号を伴うデジタルオーディオ信号の区域を自分の声と非常に簡単かつ迅速に置換することを可能にするためのシステムを提供する。このシステムにおいては、ユーザが自分の声を録音すると、この録音は、その時間変化特性の大部分のタイミングがそれが置換するオリジナルオーディオ信号の同じ特性と時間が整合するように自動的に編集される。新しい音声録音を録音及び処理した後のビデオの再生の最終段階の間、編集したオーディオ録音は、オリジナルオーディオの代わりにビデオと共に適切な時間に再生され、オリジナルオーディオに合うように既に編集及び位置決めされていることにより実質的にビデオとの同期を維持するものである。
【００２４】
本発明の一実施形態で開示する方法は、多くて３組の装置又はシステムを提供するものである。第１のものは、メディアデータ及び他の関連データを選択してそれをマニュアルで準備するための手段を熟練メディアエディタにもたらすＰＣベースのシステムである。第２のものは、選択メディアデータ及び他の関連データをコンピュータプログラムと組み合わせてエンドユーザのＰＣに転送してそこで実行することができるマルチメディア製品を作るシステムである。このエンドユーザＰＣは、第２のシステムにおいて作られたマルチメディア製品と共に、リボイシング機能を実行するための手段をユーザにもたらす第３のシステムである。最初の２つのシステムは、同じＰＣとすることができる。
【００２５】
本発明におけるユーザのリボイシングシステムは、マイク入力及びオーディオ及びビデオ出力を伴う従来のパーソナルコンピュータを利用するものである。未熟なユーザが、グラフィカル・ユーザ・インタフェースと音声置換タスクを実行するためにグラフィカル・ユーザ・インタフェースにおいて実施されるいくつかの単純な制御を有するポインティングデバイスとを通じてリボイシングプログラムを作動して、唇同期した結果を達成するための手段が提供される。このシステムの利点は、それがリボイシングシステムで行われるオーディオ操作及びデータ処理の複雑さからエンドユーザを隔離するための手段を提供することである。
代替的に、メディア準備段階の一部又は全ては、適切な公知のコンピュータベースの信号及びデータ処理技術を適用することによって自動化することができる。更に別の実施形態では、メディア準備段階は、代替的に、エンドユーザのシステムにおいて全体的又は部分的に実行される処理によって置き換えることができると考えられる。
【００２６】
本発明の好ましい実施形態では、ユーザが複数のリボイスされたラインの選択されたシーケンスを再生するための手段がユーザのリボイシングシステムに提供され、各処理済みユーザ録音は、ビデオと正確に同期して連続的に再生され、システムは、ユーザの録音が再生用に選択された時にオリジナル音声の音を消し、それ以外は、演技者のオリジナル音声を再生する。必要に応じて上に重なるユーザの処理済み録音を再生し、並びにオリジナル音声を伴ったオリジナル背景オーディオ又は音楽トラックを再生するための更に別の手段が提供される。
【００２７】
本発明は、エンドユーザが必要とする機能性の全てが、いくつかの単純な制御を有する単一の統合コンピュータベースのシステムに設けられるという利点を有する。従来的に、同期した音声置換を作成する方法は、同様の結果を達成するために多くの複雑かつ長い作動シーケンスを実行する熟練オペレータによるいくつかの複雑なオーディオ編集及び処理プログラムの作動を通じてのみ利用可能であった。
【００２８】
好ましい実施形態におけるメディア準備の方法の主な段階は、以下のものである。
１）デジタル複合ビデオ及びオーディオメディアファイルへの望ましいオリジナルオーディオ及びビデオ原資料クリップのデジタル化、及びコンピュータへのこれらのメディアファイルの入力、
２）会話置換と各場面に対する所要のメディアを包含するデジタルビデオファイルの作成とに関してエンドユーザに利用可能にされることになるデジタルクリップ内の場面、ライン、登場人物、及び言葉の選択、
３）置換されるオリジナル会話信号、及び／又は会話信号の時間変化特性データを時間整合アルゴリズムが処理するのに適切な形態で表すデータを含む別々のデジタルオーディオ信号ファイルの、それがまだ存在しない場合の作成、及び
４）転写した選択テキストを含むデータ、並びに言葉、ライン、場面、及びオーディオ及びビデオデータの位置を指示するデータのタイミング及び他の特性に関係しかつそれらを説明するデータを包含するメディア関連データファイルの作成。
【００２９】
エンドユーザコンピュータプログラムの作成の次の段階は、デジタルメディアファイル、予め処理された信号、及び関連データにアクセスしてそれらを使用し、先に概説し以下でより詳細に説明するユーザインタフェース及び処理機能性を提供するものである。このプログラムは、編集したメディアデータ及びメディア関連データと組み合わされ、家庭用マルチメディアＰＣのようなコンピュータベースの処理システムに転送してそこで実行することができ、自分の声又は他のユーザの声で元の会話のラインをリボイスするための使いやすい統合システムをエンドユーザに提供するものである。
【００３０】
本発明の好ましい実施形態では、エンドユーザがグラフィカル・ユーザ・インタフェースを通じて以下の主な作動的段階及び機能（この実行は、必ずしも示したシーケンスである必要はない）を制御及び／又は開始するための手段がエンドユーザのシステムに提供される。
１．任意的に、デジタルオーディオ／ビデオプログラム（唇同期した会話を発話する役者を示すフィルムからのクリップなど）からリボイスすべき１つ又は複数の場面を選択する。
２．デジタルオーディオ／ビデオプログラムからリボイスすべき１つ又は複数のラインを選択する。
３．任意的に、リボイスすべき登場人物を選択する。
４．任意的に、ビデオを見て元の登場人物のオーディオを聞きながら１つ又は複数の選択ラインを稽古する。
５．発話を開始する時期及び各ラインの元の言葉又は音声を言う時期に関する視覚的キューが既に与えられた選択された１つ又は複数のライン（又は代替的な言葉）を発話するユーザの声を録音する。録音後又は録音中に、エンドユーザの介入なしに、システムは、エンドユーザの録音済みラインを自動的に処理及び編集し、時間変化特性が元の登場人物のオーディオのそれに整合され、従って対応するオリジナルビデオと同期して再生された時に、一般的にビデオで登場人物の目に見える対応する唇に動きに同期して聞こえることになるリボイスされたバージョンを作成する。自動オーディオ同期及び編集は、ＧＢ２１１７１２６８及びＵＳ４５９１９２８で説明されているようなアルゴリズムを通じて実施することができる。
６．オリジナルビデオに同期したエンドユーザの選択されたリボイスされたラインを再生する。再生中にシステムによって音が消された元の会話の代わりに、リボイスしたオーディオが聞こえる。
７．任意的に、各ラインの複数のオーディオユーザ録音のどれを再生中に再生すべきかを選択する。
８．エンドユーザ録音又は任意的に元の会話の録音のいずれかを選択して、任意的に、複数の選択ラインを有する場面全体を再生する。
【００３１】
任意的に、システムはまた、オリジナルオーディオ／ビデオクリップの音楽伴奏又は音響的雰囲気をそれぞれ再現するために、エンドユーザのラインの再生中に、ビデオ及びリボイスしたオーディオと同期して対応する背景音楽及び効果オーディオトラックを自動的に再生することになる。
本発明の更に別の実施形態によれば、複数のラインを有するシーケンスを録音することができ、本発明は、編集した置換録音ラインが必要に応じて上に重なり、正しい時間に正しいシーケンスで依然として再生されることを可能にするものである。ラインの一部が録音されなかった場合、システムは、それらのオーディオラインの元のものを正しい時間に再生する段階に復帰する。
【００３２】
本発明の一例として、デジタルビデオフィルムクリップ内の会話を置換する方法及び装置について本明細書で説明するが、本発明は、音楽ビデオ内の歌声を置換し、ビデオ又はフィルムクリップ内の時間一致の対応するビジュアルイベントを有する音響効果及び他の非言語サウンドを置換するためにも適用することができることが当業者には明らかであろう。更に、本発明を組み込むシステムがプロのサウンドエンジニアによって使用され、汎用消費者用及びプロ用デジタルオーディオ編集システムで現在可能であるよりも迅速かつ効率的に置換録音を作成することができる。
【００３３】
更なる実施形態では、連続的整合処理のための手段も提供され、エンドユーザは、録音の停止を選択するまで自分の声を録音し、その後に、エンドユーザは、何が同期されたかを調べ、次に、連続的処理が行われている状態でプログラム内の任意のポイントから録音を再開することができる。このような更なる実施形態では、システムが全てのこのように任意に録音及び処理されたテークを正しい順番及び時間的位置で再生するための手段も提供される。
【００３４】
更に、本発明による方法は、インターネットに亘ってストリーミングされるオーディオ／ビデオ信号に適用することができ、オーディオ処理は、１つのサーバ内で行われており、又は、タスクの一部がサーバ上で行われ、一部がユーザのＰＣ上で行われることを可能にするために分割されることが明らかであるべきである。
また、本発明による方法は、いくつかのユーザを別々であるが同時に録音及び処理することを可能にするために、複数の並列ストリームで実行されるように適用することができる。これによって、例えば、和声部分を同時に同期及び再生することができると考えられる。
【００３５】
更に、本発明による方法は、エンドユーザ音声を別々の録音及び再生パスに代えて単一パスで連続的に録音、処理、及び再生することを可能にするように適用することができる。これは、ビデオ出力スクリーンがビデオメディアの等しく遅延及び同期した第２のストリームを表示する第２のオーディオ及びビデオ再生システムを通じて、処理されたエンドユーザ音声の再生に遅延を導入するだけで録音中に達成することができる。例えば、遅延及び処理オーディオ信号及び遅延ビデオ信号をエンドユーザから遠隔の聴衆が見聞きするように送信することができる。必要とされる遅延は、エンドユーザの音声を録音及び処理して遅延オリジナルビデオプログラムストリームと同期させるほど十分に長いものでなければならない。
【００３６】
更に別の実施形態では、メディア準備の一部として先に示した段階（２）の全て又は一部は、エンドユーザによって実行することができ、また、段階（３）及び（４）の全て又は一部は、公知の音声認識及びオーディオ及び画像信号処理技術を用いてエンドユーザプログラム内で行われるようにプログラム及び自動化することができる。エンドユーザプログラム内で行われない段階（３）及び（４）の部分は、他のコンピュータシステム、例えばインターネットサーバ上で行うことができる。
【００３７】
更に別の実施形態では、会話テキストのマークアップ、それをデータとして含めること、及びユーザを案内するためのカラオケ型強調表示を用いる出力は、リボイシング機能性をもたらすために行う必要があるものではない。これは、利便性が低下してユーザに元の会話を記憶させる場合があるが、実現可能な手法である。
本発明の他の目的、特徴、及び利点は、添付図面及び以下の詳細説明から明らかになるであろう。
本明細書で説明する方法及び装置は一例であるが、当業者は、特許請求の範囲で定められる本発明に従って他の方法及び装置を実施することができることを認識するであろう。
【発明を実施するための最良の形態】
【００３８】
本発明の本実施形態によれば、エンドユーザのための単純な作動を行うために、一例において、オリジナルオーディオ及びビデオデータを準備してまとめるだけでなく、エンドユーザが置換を録音したいと思う可能性があるオリジナル会話オーディオ内の言葉のテキスト及びタイミングを説明するデータファイルのような補助データを作成する熟練エディタが作ることができるデータ準備段階がある。このような補助的なテキストタイミングデータは、稽古パス及び録音パス中に発話内容及び発話時期に関してキューをエンドユーザに与えるために使用される。
【００３９】
他の実施形態では、このような準備は、コンピュータによるタイミング測定及び結果データベース生成を伴う音声認識システムの組合せによって自動的に行うことができる。
更に別の実施形態では、置換されるオーディオを音声に限定する必要はない。本発明の原理及び方法は、歌唱、楽器、及び音響効果の置換に適用することができる。
【００４０】
ユーザインタフェース及び作動の説明
図３は、デジタルフィルム又はビデオクリップについてリボイシングシステムを作動するのに必要とされる基本的な制御を含むグラフィカル・ユーザ・インタフェースの一例を示す概略図である。同様のインタフェースを歌唱又は音響効果の置換に使用することができ、様々な制御及びスクリーン区域に付された名称は、通常、置換されるコンテンツの形式の要素を説明する際に関連付けられた業界用語に合うように変更されている。
【００４１】
専ら便宜的に、以下の定められた用語をここの説明で使用することとする。
・プログラム（コンピュータプログラムとは異なる）とは、１つ又はそれ以上のデジタルビデオ及びオーディオタイトルから、例えば、単一又は複数の映画又はテレビ著作物からの場面を集めたものである。場面は、著作物の連続的又は非連続的な区域からのものとすることができる。
・場面とは、１人又はそれ以上の登場人物によって発話された会話のいくつか  の連続的なラインである。
・ラインとは、場面内の１人の登場人物によって発話される連続的な言葉又は発せられる音のシーケンスである。同一登場人物によって為されない音又は言葉は、ラインの一部に上に重なる可能性がある。
・デジタルビデオファイルとは、オリジナルオーディオファイルと共に再生された時に、元の形態でプログラムから場面を再構成するビデオコンテンツのデジタル化されて一般的に圧縮されたバージョンである。一般的な圧縮オーディオ及びビデオファイルフォーマットは、コンピュータシステムにおいて「．ａｖｉ」又は「．ｍｏｖ」という拡張子によって表される。
・オリジナル録音とは、音声であるか又は他の登場人物のアクションに関係する音であるかを問わず、デジタルビデオで置換されてラインに対応する登場人物が発した内容のデジタルで記憶されたバージョンである。
・リボイステーク（又は単にテーク）とは、エンドユーザが録音作動を開始し、マイクを通じてコンピュータ記憶装置に自分の音声又は他の音を録音し、記憶されたデジタルオーディオが、オリジナル録音の時間変化特性を実質的に合わせるように時間整合アルゴリズムからの指示に従って自動的に編集された結果物である。
・リボイシングとは、ユーザの音声を録音して自動的に時間整合し、納得できるほどにプログラム内でオリジナル音声を置換するという作動である。
以下の説明においては、本発明の第２の態様を実施する第１のシステムによって製作されたソフトウエアによって本発明の１つの態様を実施するように修正された図１のコンピュータシステムを参照することにする。
【００４２】
本実施形態で表示スクリーン１３０上に表示された時のグラフィカル・ユーザ・インタフェース３２０を図３に示す。インタフェース３２０は、５つの主要区域、すなわち、場面表示及び選択区域３４０、主ビデオ表示ウィンドウ３３０、ライン表示及び選択ウィンドウ３５０、ライン作動ボタン３６１から３６３、停止ボタン３６４、及び、エンドユーザに対しては「レコーダ」と説明されるリボイステーク表示、及びセレクタ又はレコーダセクション３７０に分割される。主ビデオ表示３３０ウィンドウのみが制御として機能しないものである。レコーダセクション３７０は、３７１、３７３、及び３７４のような可能なユーザリボイステーク及びオリジナル録音３７２を示す。ポインティングデバイス１２０は、以下に説明する方法で示す制御のいずれかの上にカーソル（図示せず）を位置決めしたり、選択して作動する（例えば、マウスの場合はクリックすることによって）のに使用される。
【００４３】
ユーザは、任意の順番でインタフェース制御を作動することができるが、一般的な初期シーケンスは、以下の通りになる。
最初に、ユーザは、場面を選択し、場面選択区域３４０で作動するか又は場面選択区域３４０で選択することによって調べる。場面を選択するために、ユーザは、その場面の静止画像３４１を示す小さなウィンドウをクリックする。画像３４１の回りの太い境界は、関連の場面が選択されていることを示すものである。代替的に、ユーザは、スライダ３４２の境界内の装置１２０で場面選択スライダコントロール３４３を上下にドラッグして、全ての可能な場面から選択することができる。場面が選択された時、ユーザは、その場面の静止画像が主ビデオ表示ウィンドウ３３０に表示されているのを見ることになる。
【００４４】
ユーザが選択場面ウィンドウを２回目にクリックした場合、修正されたコンピュータシステム１００は、その場面のデジタルビデオを再生してビデオウィンドウ３３０にビデオ表示を行い、コンピュータのオーディオシステム１５０及びスピーカ１５６を通じてオリジナルオーディオを再生する。各場面は、一般的に、１人又はそれ以上の登場人物について会話の１つ又はそれ以上のライン上に延びる。同時に、その場面の会話のラインのテキストは、ライン表示及び選択ウィンドウ３５０に表示される。
【００４５】
第２に、ユーザは、テキストの任意の見えるラインをクリックすることにより、ライン選択ウィンドウ３５０においてその場面のラインを選択することができる。現在選択されているライン、この例においてはライン３５３は、強調表示状態（図３において太文字テキストによって表されている）であることによって選択された状態で示されている。ユーザは、スライダコントロール３５１の境界内のライン選択コントロール３５２をドラッグすることにより、隠れているラインをライン選択ウィンドウに表示させて選択することができる。ラインが選択された時、オリジナルオーディオ及びビデオトラックでそのラインを言う登場人物の画像が登場人物ウィンドウ３５５に表示され、更に、誰なのかが分るようにその登場人物の名前（任意的）が画像の下に表示される。
【００４６】
第３に、ユーザは、リボイシングしたいと思う場面及びラインを選択すると、稽古ボタン３６１をクリックすることにより、ビデオ及び元の登場人物の録音済みの音声と共に、選択ラインを再生することができる。ユーザが稽古ボタン３６１をクリックした時、選択されたラインの始まりの少し前の時点でビデオ及びオリジナルオーディオが再生され始める。最初の言葉が始まる時、更に重要なこととして、録音段階中に発話し始める時をユーザに正確に示すために、コンピュータシステムは、インタフェース３２０内に、番号「３」、「２」、「１」のシーケンス上の秒読み及び言葉「ＧＯ」を自動的に生成してグラフィックで呈示する。連続的な秒読み画像は、等しい時間周期（０．７５秒など）による隔たりがあり、選択ラインの会話の最初の言葉（又は音）が始まる寸前に表示されるように計時される。本システムが表示された言葉をウィンドウ３５０内で更に強調表示（下線３５４を付けることによって表される）して示すことにより、選択ラインにおいて現れる時の言葉及び音のタイミングの更に別のガイドが与えられる。更に別の言葉の強調表示は、オリジナルオーディオトラック内でその言葉に遭遇した時に行われる（オリジナルオーディオ信号が再生されて聞こえるか否かを問わず）。ライン内の言葉の更に別の強調表示は、オーディオトラック内のその言葉の持続時間に亘って続く。これによって、ユーザは、稽古段階中及び次に説明する録音段階において、その両方でライン内のイベントのタイミングの必要に応じて随時行われる視覚的ガイドが得られる。稽古段階においては、ビデオ及びオリジナルオーディオは、ライン終了後間もなく再生が停止する。
【００４７】
第４に、ユーザが選択ラインの自分の担当箇所を録音する準備ができた時、録音ボタン３６２をクリックする。ユーザが録音ボタン３６２をクリックした時、ビデオ及びオリジナルオーディオは、稽古段階と同じ箇所で、選択されたラインか始まる寸前に再生され始める。本システムは、ここでもまた、稽古段階と同様にユーザに視覚的なグラフィックによる秒読みを行って発話し始める時を示し、また、オリジナル録音で行われるように、更に言葉の移動による強調表示をウィンドウ３５０を表示する。しかし、録音段階中、オリジナル会話トラックオーディオは、スピーカ１５６を通じては再生されないのでマイク１５９では拾われない。しかし、オリジナル会話オーディオは、ユーザが着用することができるヘッドホーン（図示せず）を通じて可聴ガイドとして再生することができる。更に別のキュー及び正しいオーディオ環境をもたらすために、選択ラインが始まる前に（ただしその最中ではない）発生する元の音楽及び音響効果トラック及び／又は元の登場人物の音声は、録音段階中にスピーカ１５６を通じて再生される。
その結果、録音段階中に、ユーザが秒読みに従って発話を開始、つまり「ＧＯ」で発話を開始して、その後強調表示された言葉のタイミングに従った場合、これは、オリジナル録音内のものと似ているが正確に合ったものではないタイミングを有する言葉及び音声による録音を作成する手助けとなる。
【００４８】
この例においては、ユーザによってこのようにして作られたデジタル録音を一時的にハードディスク１４０又はＲＡＭ１１８に記憶し、例えばＵＳ４５９１９２８による方法を用いてそのオーディオデータを自動的に処理及び編集して、処理された、すなわちリボイスしたオーディオ録音を作成及び記憶する。ここで、オリジナル録音、従ってオリジナルビデオの対応する区域と正確に同期することになる整合したオーディオと以下で呼ぶものは、この処理されたバージョンである。
【００４９】
この実施形態では、整合したオーディオは、ハードディスク１４０（又はＲＡＭ１１８）に記憶され、その存在及びアイデンティティは、レコーダセクション３７０の先に「空」となっているテーク録音ホルダ３７１、３７３、及び３７４の１つに表示される。図３に示すように、例えば、ユーザは、ここでは「録音Ｍ＋１」と説明した選択録音ホルダ３７１の位置にある名前を見る。実際は、ディスク１４０上（又はＲＡＭ内）の整合したオーディオの位置へのデータ位置決めだけが保持される。ユーザは、任意的に、ポインティングデバイス１２０を通じて指令を生成し、例えば、装置１２０がマウスである場合は正しいクリックメニューを用いることにより、これらの録音のいずれかを視聴、「抹消」、又は指名することができる。装置１２０によって選択されたネーミングモードで、キーボード１２５を使用して名前を入力する。
【００５０】
ユーザは、テーク録音ホルダ３７１、３７３、及び３７４の１つをクリックすることにより、再生ボタン３６３でライン再生時に、又は場面再生ボタン３４４で場面再生時に再生されるようにどれが選択されるかを選択することができる。この例においては、リボイスされる各ラインついてユーザが録音して選択することができる３つのテーク録音ホルダ３７１、３７３、及び３７４がある。ゼロ以外の任意の個数のこれらの録音ホルダを設けることができる。使いやすいように、新しい録音が開始された時に、システムは、録音ホルダのどれが空（すなわち、可能）であるかを自動的に見つけてそれを使用することになる。新しいテークが作成された時、選択テークに自動的に移る。
【００５１】
場面再生ボタン３４４が作動された場合、表示スクリーン１３０内のインタフェース画像は、ビデオ表示ウィンドウ３３０のフルスクリーンバージョンに入れ替えられる。
他の再生の任意選択肢が可能であり、すなわち、ユーザが全て再生ボタン３４６を押した場合、各場面の各ラインについて選択されたテークを用いて、全ての場面のビデオが通常の実行順に再生される。
このシステムの１つの利点は、ライン及び場面が特定の順番で録音されなくてもよく、場面が再生された時、システムは、正しい元のシーケンスで場面のラインを再生するということである。同様に、全てを再生（ボタン）３４６では、元の順番で場面が再生される。
【００５２】
停止ボタン３６４は、いつでも押すと稽古、録音、ライン再生モードによるオーディオ及びビデオ再生を停止することができる。更に、場面再生モード及び全再生モードの場合に、スペースバーなどのキーボード１２５上のキーは、これらの再生モード中にフルスクリーンビデオ映像を停止して、グラフィカル・ユーザ・インタフェース３２０を復帰させることができるように、停止キーとして指定することができる。
【００５３】
改良された作動では、ユーザは、３８３で示すマイクレベル制御範囲の境界内でマイクレベル制御スライダ３８２をクリックしてドラッグすることによってマイク入力レベルを調節することができる。マイク入力のレベルは、グラフィックマイクレベルメータ３８１によってリアルタイムでスクリーン上に「使用中」と表示される。また、ユーザは、ボリューム制御範囲３８５の境界内でボリュームレベル制御スライダ３８４をドラッグすることによって全体的なオーディオ再生レベルを調節することができる。
【００５４】
図３で示すインタフェースは、各々が異なる場面及び録音済みの音声特性を変えるための更に別のオーディオ信号処理の追加を含む異なるプログラムの選択のようなより多くの任意選択肢を提供するように拡張することができる。更に、録音済みのテークを、例えば、時系列ブロック又は波形を含む多くの方法で示すことができる。
本実施形態では、メディアデータ、メディア関連データ、及び上述の作動を実行する実行時間適用プログラムはまとめて組み込まれ、「ＣＤ  ＲＯＭ」又は「ＤＶＤ  ＲＯＭ」１６５（図１）又は他の高容量装置でユーザのシステム１００に送出される。これらの構成要素の一方又は両方、又は任意の部分に向けた代替送出方法として、インターネット１７５を使用することができる。また、ユーザのシステム１００は、データを受信し、グラフィカルインタフェースを表示し、デジタル信号を録音、再生、及び処理し、データを作動することができる他の形態の接続した電子構成要素の組によってもたらすことができる。
【００５５】
準備段階及びリボイシングコンピュータプログラム作成の概要
オリジナルオーディオ視覚メディア録音内の音声オーディオストリームがビデオ内の唇の動きに正確に同期するという保証はない。例えば、オーディオは、外国語でダビングされた会話トラックを含む可能性がある。しかし、本発明で使用されるように選択されたメディアは、特に、オリジナルオーディオ及びビデオトラック間で十分に正確に唇同期した適切な部分を有してリボイシングを娯楽という点で価値あるものにするように選択されるべきである。
【００５６】
メディアデータ準備及びリボイシングコンピュータプログラム作成を図４に概略的に示す。メディアデータ準備により、エンドユーザ向けにリボイシング作動が簡単化される。
一例において、図１に示すシステム１００のような個人用コンピュータシステムとすることができるメディア準備コンピュータ１０５ａを図４に示す。第２の類似のコンピュータ１０５ｂ及びそのハードディスク１４０が示されており、コンピュータ１０５ａで作成されたデータは、取外し可能なディスク又はネットワークを含む通常のデータ転送手段を通じてコンピュータ１０５ｂに転送することができる。この場合、コンピュータ１０５ｂを使用して、プログラム及びメディアをエンドユーザコンピュータ１００に転送することができる取外し可能なメディア１６５上にプログラムのコピーを作成する前に、このメディアに対してプログラム作動を試験してメディアが正しく編集されていることを確認することができる。一部の環境においては、コンピュータ１０５ａ及び１０５ｂが同じコンピュータであることは効率的である場合があり、その結果、同じコンピュータ内で必要に応じてプログラムの試験及びメディア編集及びマークアップの精緻化が可能になる。
【００５７】
この実施形態では、メディア準備エディタというメディアデータ処理の当業者は、様々なメディア準備プログラム４１０を用いてメディアデータ準備段階を実施する。メディア準備プログラム４１０としては、上述のオーディオ編集プログラムのような公知のソフトウエア、「Ａｄｏｂｅ  Ｓｙｓｔｅｍｓ」製「Ｐｒｅｍｉｅｒｅ」のようなビデオ及びオーディオ編集プログラム、「Ａｄｏｂｅ  Ｓｙｓｔｅｍｓ」製「Ｐｈｏｔｏｓｈｏｐ」のような静止画像編集プログラム、及び「ＣｙｂｅｒＬｉｎｋ」製「ＰｏｗｅｒＤＶＤ」、又は「Ｐｒｅｍｉｅｒｅ」のようなデジタルビデオファイル（例えば、ＭＰＥＧ）再生及び静止画像生成プログラムがある。
【００５８】
この好ましい実施形態では、メディア準備は以下のように達成することができる。最初に、プログラム用ビデオ及びオーディオソースメディアをデジタル化して、デジタルオリジナルオーディオ及びビデオデータ４２０としてメディア準備コンピュータ１０５Ａに記憶させる。「Ｐｒｅｍｉｅｒｅ」又は「Ｓｏｕｎｄ  Ｆｏｒｇｅ」のようなプログラムを使用してデジタルビデオファイルをトリミング及びサイズ決めし、「ｉｎｄｅｏ（登録商標）Ｖｉｄｅｏ５」等のコーデックを使用して圧縮し、上述の適切なオリジナルオーディオトラックをビデオファイルに追加して「．ａｖｉ」フォーマットファイルにする。その後、メディア準備エディタは、デジタルオリジナルオーディオ及びビデオデータ４２０のどの区域を場面として使用すべきかを判断し、デジタルオリジナルオーディオ及びビデオデータ４２０のうちの場面を含む部分を選択する。場面の範囲は、主としてメディア準備エディタ側の芸術的及び独創的な判断で決まり、また、当然のことながら、プログラムコンテンツを基本とするものである。「Ｓｏｕｎｄ  Ｆｏｒｇｅ」、「Ｐｒｅｍｉｅｒｅ」、又は他のデジタルオーディオ及び／又はビデオ編集プログラムを使用して、望ましい場面及びラインの関連の開始及び終了時間、及びデジタルメディア内でこれらのバージョンを定義及び特定する他のメディア関連のデータは、後で使用するためにメディア関連データファイル４３０に記録して含められる。デジタルオーディオ及びビデオデータ４２０のうちの場面を含まない部分は、廃棄することができる。
【００５９】
場面を特定するために使用するスナップショットとしてビデオファイルから代表的なデジタル静止画像を作成し、類似の静止画像を作成して元の登場人物を特定する。これらの画像をメディア関連データファイル４３０に含める。他のメディア関連データとしては、メディアファイル名がある。更に別のメディア関連データの準備について、これ以降に図１１を参照して説明する。これ以降により詳細に説明する要領で、メディア関連データを１つ又はそれ以上のＸＭＬデータファイルに入力する。
【００６０】
この実施形態において、この準備には、マニュアルによるものもあれば自動的に実行可能なものもある。メディアデジタル化、メディア測定、及びメディア準備のこのような段階は、エンドユーザプログラムの試験及び構築が達成されるコンピュータ１０５ｂに得られるメディアデータ及び／又は他のデータを転送したり又は提供できる限り、複数のマルチメディアＰＣ内で行うことができる。マニュアルによる準備段階は、代替的実施形態では自動化することができ、エンドユーザＰＣシステム１００内で実行することさえ可能である。
【００６１】
アプリケーション特定モジュールがＣ＋＋で書かれる実行時間コンピュータプログラム４５０では、データ４４０及び４３０が利用され、かつ、エンドユーザコンピュータシステム１００内でシステムに関する作動が実行される。
コンピュータ１０５ｂ内で更に別の任意的な方法をデータ４３０及び４４０及びプログラム４５０で実行して、これらの要素を商業的な発売に向けてコンパクトなフォーマットにデータを再構成する段階も含む形態にコンパイルすることができる。また、この段階は、リバースエンジニアリングの危険性を小さくするものである。
【００６２】
また、プログラム及びデータのこのまとめられたバージョンを取外し可能なメディア１６５にコピーすることができ、そのバージョンは、エンドユーザＰＣシステム１００で効率的に実行されることになる。
いずれの場合も、メディア１６５上のプログラムは、取外し可能なメディア記憶装置１６５から直接的又はハードディスク１４０にコピーされた後に実行されるようにユーザシステム１００に取り込まれる。
【００６３】
メディア準備段階の詳細
メディア準備の第１の段階は、フィルムつまり標準的なアナログビデオ及びオーディオフォーマットで供給されることが多いプログラムのメディアを、この方法に適切なデジタルメディアファイルに変換することである。
ソースプログラムがファイルフォーマットになっている場合、市販のオーディオ及びビデオ転送機器では、フィルムのコンテンツを標準的なテレビ映画方法を通じてテープ上のアナログフォーマット又は「ＮＴＳＣ」又は「ＰＡＬ  Ｄｉｇｉｔａｌ  Ｂｅｔａｃａｍ（登録商標）」テープのようなデジタルビデオフォーマットに変換することができる。テープ上のアナログビデオ及びオーディオ信号をデジタルビデオ及びオーディオデータにするために、市販のビデオ転送機器では、専用ハードウエアでファイルを作成することができ、又は、これを特化されたＰＣ上で達成することができる。適切なビデオ及びオーディオハードウエアカード及びソフトウエアコーデックが公知である。このような方法は、オーディオ及びビデオ変換技術に携わる当業者には公知のものである。
【００６４】
デジタルメディアファイルは、例えば、「ＣＤ  ＲＯＭ」又はネットワークを通じてプログラム準備コンピュータ１０５ａに転送することができ、その結果、メディア準備エディタがこれらのファイルにアクセスしてリボイシング処理に必要とされる準備済みデータを作成することができる。適切なファイルフォーマットの例をこれ以降に表で示す。
ビデオと共に以下のオーディオトラックを同じビデオテープか別々のデジタル又はアナログオーディオテープ上に、又は「ＣＤ  ＲＯＭ」又はデジタルネットワークのような他のオーディオデータ転送手段によって別々のトラックとして取得することは好ましい。このような別々のトラックは、本発明を適用することができるオリジナルプログラムの大部分の作成中に、別々のオーディオトラックをデジタルオーディオ録音及び編集システムでマルチトラックテープに又はマルチトラックフォーマットで録音及び／又は生成して保持するので一般的に利用可能である。これらの場合、以下のオーディオトラックが取得可能であり、その後、標準的なスタジオ技術を通じてデジタル化することができる。
・同時に任意の登場人物達が発話している場合には最適には別々に各登場人物の会話トラック、又はこのような重複がない場合は結合された会話トラック（又は複数のトラック）。
・ミキシングしてステレオ対又は単一の単声トラックにすることができる音楽及び音響効果（Ｍ＆Ｅ）トラック。柔軟性が高められるように、音楽トラック及び効果トラックは分離状態のままとすることができるが、これであれば必要とされる機能性は変えられない。
・全ての会話及び「Ｍ＆Ｅ」トラックの「最終的」ミキシングを含むミキシング後のオリジナルトラック（完全ミキシング）。
・歌唱リボイシング処理に関して、和声トラック及び／又はバッキングトラックのみとのミキシングを取得し、リボイシング対象の主要音声なしとすることも有益である。
【００６５】
ソースメディアがマルチトラック形式では利用不能である場合、所要のバッキングトラック又はソロボーカルトラックを必要とされるフォーマットで正確に再現するか、又はデジタルオーディオ信号処理技術を適用して必要とされる要素の一部又は全てを取得することが可能である。例えば、時には、ステレオ録音の一方のチャンネルの単純な位相反転と他方のチャンネルとのその合計は、両方のチャンネル上に等しく存在していた音声を除去し、バッキングトラックの位相外れの成分を残すことができる。
下表は、各場面について説明した信号をデジタル化するために本実施形態で使用されるファイルフォーマット及びコーデックの例を示すものである。
【００６６】
0004695392.tif 000002
【００６７】
各場面用の一組のこのようなデジタルメディアファイルは、場面データのライブラリになり、このライブラリから、１つの場面がユーザによって選択された時に適切なデータをコンピュータソフトウエアモジュールによって結合して、デジタルオーディオ及びビデオデータの同期ストリームにすることができ、この同期ストリームは、ユーザのコンピュータビデオ及びサウンドシステムを通じて供給された時に、ユーザには完全なオリジナル「ビデオ」クリップに見える。
音楽ビデオについては、ボーカルという用語が、会話という用語の代わりに使用され、音楽及び効果データストリームは、単に、バッキング音楽になる。また、極めて正確に歌唱を再現するために、ユーザのボーカルで再生されるように、バッキング音楽及び任意の背景ボーカル及び和声ボーカルを含む追加の任意的な音楽トラックを作成することができる。
【００６８】
ビデオがオーディオのない「ａｖｉ」フォーマットファイルになっている場合、メディア準備エディタは、図４にコンピュータ１０５ａとして使用される現行の標準的なＰＣ上で「ａｖｉ」ファイルに（「Ｓｏｎｉｃ  Ｆｏｕｎｄｒｙ（登録商標）」製「Ｓｏｕｎｄ  Ｆｏｒｇｅ（登録商標）」プログラムバージョン４．５のようなサウンド及びビデオ編集プログラムを使用して）オーディオストリーム（上表に示す）の１つ又はそれ以上を挿入して場面に関連したデジタルメディアデータの全て又は大部分を伴う単一の「ａｖｉ」ファイルを作成することができる。これによって、データ管理の便宜上の利点を有する多重化オーディオ及びビデオファイルが作成され、ストリーミング中のデータアクセスが向上する。
【００６９】
「ａｖｉ」ファイルは、更に、所要のコーデックをもたらす「マイクロソフトウィンドウズ（登録商標）」オペレーティングシステムと共に「マイクロソフト（登録商標）」から販売されている「ＤｉｒｅｃｔＸ（登録商標）」構成要素を使用すれば、取外し可能なメディア１６５上でエンドユーザに供給されたリボイシング用コンピュータプログラムにおいて、正しいサンプリング速度及び／又はフレーム速度で「ｗａｖ」ファイルと同時かつ同期的に「ａｖｉ」ファイルを作成、選択、復号化、及び再生するようにエンドユーザＰＣ１００内の標準的な「マイクロソフト」ソフトウエアモジュールに指示することができるという利点を有する。また、必要に応じて、メディアデータファイルの開始からの指定されたオフセットから再生を開始することができる。一般的に、各ファイル内の第１のサンプル又はビデオフレームは、そのファイルに存在するか又は対応するデータベース内の他の場所に維持されている開始時間オフセットを表すデータがない限り、その信号の時間ゼロと定められる。
上述の利点は別として、選択オーディオ及びビデオデータが単一のデータファイルに結合されるか又は複数のファイルのままであるか否かは、十分な情報をデータベース内に維持し、必要に応じて確実にエンドユーザコンピュータシステム１００を通じてこのようなメディアデータを探し、結合し、かつ同期して再生することができるようにする限り、機能的に重大なことではない。
【００７０】
プログラム用デジタルオーディオ及びビデオファイルが作成されてメディア準備エディタに対してアクセス可能になった状態で、データ準備の次の段階は、信号の特定の詳細を測定して記録することである。
データ準備段階においては、メディア準備エディタは、各場面についてＸＭＬ内部参照名、及び必要に応じて他の名称を決める。その後、プログラム準備コンピュータ１０５ａ上のソフトウエアを使用して、場面の開始時間及び終了時間をマニュアルで測定及び記録し、その後、場面内の各登場人物のラインについて同じことを行う。場面の持続時間は、一般的に２０秒又は３０秒から１分又は２分であると考えられる。メディア準備エディタは、「Ｓｏｕｎｄ  Ｆｏｒｇｅ」又は「Ｐｒｏ  Ｔｏｏｌｓ」のような市販のＰＣベースのデジタルオーディオエディタを使用し、オーディオ及びビデオファイル（「ａｖｉ」ファイル）及び対応する同期デジタルオーディオストリームを見て及び／又は視聴することによってこれらの測定を行うものである。これについて更に以下で説明する。
【００７１】
何がラインセグメント化及び境界を決めるかは、多少任意のものであるが、エラーなく繰り返すためにその特定の会話をリボイシング処理する一般的なユーザに対してどの長さが容易であるかを判断すべきであるメディア準備エディタによる当業者たる判断を基本とするものである。従って、ラインは、時には単一の言葉又は音ほどの短いものになり、又は、文又は複数の文ほどの長さになることもある。一般的に、１つのラインは、文中の慣用句又は文全体である。
【００７２】
図５においては、一例として、「場面Ｎ」の範囲は既に判断されており、オーディオトラック５２０及び５３０に５つのラインを含むように示されている。上述の信号データファイル内に存在すると考える時の様々なデジタルメディアストリーム内の信号の関係は、登場人物音声による２つの会話ストリームから転写されたサンプルテキストで概略的に示されている。この場面を含むデジタルオリジナルオーディオ及びビデオデータのストリームの長さは、図５のオリジナルビデオストリーム５１０によって示されている。
【００７３】
例示的な「場面Ｎ」の長さを若干超える長さに対応するオリジナルビデオストリーム５１０の開始は、ビデオストリーム及び関連のオーディオストリームの両方について基準開始時間Ｔ＝０を定めるものである。オリジナルオーディオストリーム５２０である登場人物音声１は、３つの分離されたラインを含むように示され、オリジナルオーディオストリーム５３０である登場人物音声２は、２つのラインで示されている。この例においては、登場人物音声２の第１のラインの終了部は、登場人物音声１の第２のラインに上に重なる。最後に、「Ｍ＆Ｅ」（音楽及び音響効果）ストリーム５４０は、このストリーム内に実際にオーディオがあるか否かに関係なく、一続きの信号として示されている。図５の「場面Ｎ」は、開始時間ＴSTARTTIME（Ｎ）で開始して停止時間ＴSTOPTIME（Ｎ）で終了するように記されている。ライン開始時間及びライン停止時間は、オーディオストリーム５２０及び５３０内の斜線付きブロックの境界近傍となるように、ただし、開始時にビデオストリームからの追加の視覚的キュー、及び終了時にスピル・オーバー時間をユーザにそれぞれ与えるようにリードイン時間及びリードアウト時間の追加を可能にするように選ばれる。メディア準備エディタは、オーディオ編集ソフトウエアプログラム内で信号を聞きかつその波形を観察することによってこれらの境界時間を判断する。その後、彼は、以下で更に説明するように、ファイルの開始Ｔ＝０から測定されたオフセットに注目することができる。
【００７４】
登場人物音声は、一般的にビデオ内の唇の動きに密接に同期されるので、オリジナル登場人物オーディオは、ここの説明で頻繁に「ガイド」信号と呼ぶ「ガイド」信号としての役目をし、編集後のバージョンが結果的にビデオと同期されるように、この「ガイド」信号に合わせて置換（ユーザ録音つまり「ＤＵＢ」）が編集される。
メディア準備中は、図４を参照すると、場面セレクタ３４０（図３）で使用される場面を表す画像、又は登場人物ウィンドウ３５５内で登場人物を表す画像は、ＰＣ１０５ａ上で市販のデジタルビデオ及び画像編集プログラムを使用してデジタルビデオファイルから捕捉することができる。どの画像を捕捉するかは、メディア準備エディタ側の芸術的な判断に基づいている。捕捉された画像は、「．ｊｐｇ」又は「．ｂｍｐ」ファイルフォーマットでグラフィック画像データファイルとして保存され、メディア関連データ４３０に含められる。代替的に、コンピュータプログラム４５０では、主ビデオ表示ウィンドウ３３０に必要とされるスナップショットを自動的に作成するために、場面又はラインの開始に対応する時間に４４０にある適切なオリジナルビデオデータからビデオデータのフレームを「横取りする」ことができる。
【００７５】
メディア準備エディタは、波形を測定するだけではなく、メディア準備プログラム４１０によって実行される方法の一部としてメディア関連データ４３０の一部を構成し、上述の作動結果を得るためにアプリケーションコンピュータプログラム４５０によって入力データとして最終的に使用されることになる名前、データ記述子、及び測定値のデータベースを作成する。この実施形態では、メディア準備エディタは、ｗｗｗ．ａｌｔｏｖａ．ｃｏｍから入手可能な「ｘｍｌｓｐｙ（登録商標）」のような市販のＸＭＬ編集プログラムを使用し、このようなデータをＸＭＬ（拡張マークアップ言語）ファイルに入力することによってメディア関連データファイル４３０のデータベースを埋める。
【００７６】
ＸＭＬデータ構造は容易に形成することができ、そのようにして形成された変数を認識してそれらの変数で機能するように書かれたコンピュータプログラム４５０によってデータを処理することができる手段を促進する。Ｅｒｉｋ  Ｔ．Ｒａｙ著「ＸＭＬを学ぶ」、Ｏ’Ｒｅｉｌｌｙ  ＆  Ａｓｓｏｃｉａｔｅｓ、第１版（２００１年）のような参考文献で十分に説明されているようにコンピュータプログラマーがデータ構造及び変数をＤＴＤファイル内に形成した状態で、「ｘｍｌｓｐｙ」プログラムにより、メディア準備エディタは、所要のデータを定められた構造に効率的に入力することができる。
【００７７】
エディタが各オーディオ及びビデオプログラムについて記入するＸＭＬ変数（太文字、大文字又は頭文字、及びブラケット＜＞間で示す）の主な定義を以下に示す。時間測定値は、特記のない限り、Ｔ＝０と見なされるビデオ開始時間に対して行うものである。以下に示す説明内容における字下げは、字下げされた変数が直前の字下げされていない変数に関するものであり、その親変数に関する更に別の情報を定めることを示すものである。太文字表記されていない参照名は、実際のファイルに言及するようなこのような変数の特定の例を表すものである。これについては、以下の説明以降に示す例示的な「．ｘｍｌ」ファイルで更に明確にする。
【００７８】
＜ＰＲＯＧＲＡＭ＞−データを処理して本実施形態で説明する作動を行うためにエンドユーザアプリケーションプログラムによって使用される形態に変形される全ての情報及び静止データを含む。「ＰＲＯＧＲＡＭ．ＸＭＬ」ファイルは、一般的に、単一のフィルム、ビデオ、又は音楽ビデオからの１つ又はそれ以上の場面に関係する情報を含む。
＜ＴＡＫＥ＿ＤＩＲ＞−処理された（整合後の）ユーザオーディオデータ録音をアプリケーションを実行するコンピュータ上に記憶するために使用されるディレクトリを特定する。
＜ＶＩＤＥＯＳ＞−アプリケーションプログラムによって使用されるビデオファイルのリスト。
＜ＶＩＤＥＯ＞−以下の情報は、プログラムによって使用されるビデオファイルを定義する。
＜ＶＩＤＥＯ＿ＲＥＦ＞−「ＰＲＯＧＲＡＭ．ＸＭＬ」ファイルの他の部分からこのエントリを参照するために使用される固有の識別子ストリング。
＜ＶＩＤＥＯＦＩＬＥ＞−ビデオファイルの名前及び経路。この経路は、「ＰＲＯＧＲＡＭ．ＸＭＬ」文書の位置に関する。
＜ＧＵＩＤＥＳ＞−アプリケーションプログラムによって使用されるガイドファイル名のリスト。
＜ＧＵＩＤＥ＞−以下の情報は、ユーザ録音をビデオファイル内の動画に整合させるためにそのコンテンツが使用されるデータファイルを定義する。
＜ＧＵＩＤＥ＿ＲＥＦ＞−「ＰＲＯＧＲＡＭ．ＸＭＬ」ファイルの他の部分からこのエントリを参照するために使用される固有の識別子ストリング。
＜ＧＵＩＤＥＦＩＬＥ＞−整合情報を含むファイルの名前及び経路。この経路は、「ＰＲＯＧＲＡＭ．ＸＭＬ」ファイルの位置に関する。
＜ＳＴＩＬＬＳ＞−インタフェースで使用される静止画像データファイルのリスト。
＜ＳＴＩＬＬ＞−以下の情報は、静止画像を定義する。画像は、会話がユーザによって置換されることになる各場面又は登場人物の代表的なスナップショットである。
＜ＳＴＩＬＬ＿ＲＥＦ＞−「ＰＲＯＧＲＡＭ．ＸＭＬ」ファイルの他の部分からこのエントリを参照するために使用される固有の識別子ストリング。
＜ＳＴＩＬＬＦＩＬＥ＞−画像を含むファイルの名前及び経路。経路は、「ＰＲＯＧＲＡＭ．ＸＭＬ」ファイルに関する。
＜ＷＩＤＴＨ＞−ユーザインタフェース内に表示された時のピクセル単位の画像の幅。
＜ＨＥＩＧＨＴ＞−ユーザインタフェース内に表示された時のピクセル単位の画像の高さ。
＜ＳＣＥＮＥＳ＞−プログラム内の場面のリスト。
＜ＳＣＥＮＥ＞−場面に関連した作動を制御するためにアプリケーションによって必要とされる情報を含む。
＜ＳＣＥＮＥ  ＲＥＦ＞−「ＰＲＯＧＲＡＭ．ＸＭＬ」ファイルの他の部分からこのエントリを参照するために使用される固有の識別子ストリング。
＜ＮＡＭＥ＞−ユーザインタフェース内で表示される場面の名前。
＜ＶＩＤＥＯ＿ＲＥＦ＞−この場面のビデオ及び編集したオーディオデータストリームのソースファイルを参照する＜ＶＩＤＥＯ＞アレイ内でエントリを選択するために使用される識別子。
＜ＳＴＩＬＬ＿ＲＥＦ＞−場面セレクタ内で場面を表す静止画像ファイルを参照する＜ＳＴＩＬＬ＞アレイにおいてエントリを選択するために使用される識別子。
＜ＳＴＡＲＴＴＩＭＥ＞及び＜ＳＴＯＰＴＩＭＥ＞−ソースビデオファイル内の場面のそれぞれ開始時間及び終了時間である。これらは、ユーザが場面再生コントロールを押した時に表示される場面のビデオ及びオーディオデータの限界値を定める。
＜ＣＨＡＲＡＣＴＥＲＳ＞−場面内で使用される登場人物のリスト。
＜ＣＨＡＲＡＣＴＥＲ＞−以下に続く情報は、場面内で使用される登場人物に関するものである。
＜ＣＨＡＲ＿ＲＥＦ＞−「ＰＲＯＧＲＡＭ．ＸＭＬ」ファイルの他の部分からこのエントリを参照するために使用される固有の識別子ストリング。
＜ＮＡＭＥ＞−図３において３５５に示すようにユーザに表示される登場人物の名前。
＜ＳＴＩＬＬ＿ＲＥＦ＞−図３において３５５に登場人物を表すのに使用される静止画像への参照。
＜ＬＩＮＥＳ＞−場面を構成するラインのリスト。
＜ＬＩＮＥ＞−以下の情報は、個々のラインに関するものである。
＜ＣＨＡＲ＿ＲＥＦ＞−ラインを言っている＜ＣＨＡＲＡＣＴＥＲＳ＞アレイ内で登場人物を選択するのに使用される識別子。
＜ＳＴＡＲＴＴＩＭＥ＞及び＜ＳＴＯＰＴＩＭＥ＞−ソースビデオ内のラインの再生開始時間及び停止時間。これらは、リードイン及びリードアウトを可能にするためのエディタの追加拡張部を含む。
＜ＧＵＩＤＥ＿ＲＥＦ＞−ユーザ録音を調節するために使用されるガイドデータを含む＜ＧＵＩＤＥＳ＞アレイ内でエントリを選択するために使用される識別子。
＜ＧＵＩＤＥ＿ＳＴＡＲＴ＞及び＜ＧＵＩＤＥ＿ＳＴＯＰ＞−整合処理が行われた時、これらの変数は、ガイドファイルで使用するデータの開始時間及び停止時間を定める。（これらの時間は、ガイドファイルの開始に対するものである）
＜ＤＵＢ＿ＳＴＡＲＴ＞−ユーザ入力を録音時に、この時間以降のオーディオのみが整合処理で使用される。また、この時間は、図１０及び図１２において完全ミキシング信号をオフにしたり、「Ｍ＆Ｅ」信号をオンにするのに使用される。
＜ＤＵＢ＿ＳＴＯＰ＞−ユーザ入力を録音時に、これによってユーザ入力の廃棄が開始される時間が指定される。また、この時間は、図１０及び図１２において完全ミキシング信号をオンにしたり、「Ｍ＆Ｅ」信号をオフにするのに使用される。
＜ＳＴＯＰ＿ＴＩＭＥ＞−図１２に示すように、得られるラインを選択された場面内で再生時に整合したユーザテークを再生し始めるビデオ再生開始に対する時間。
＜ＷＯＲＤ＞−録音のタイミングに関するキューを与えるためにユーザに視覚的に表される言葉又は音群に関する以下に続く情報を定義する。これは、時には数語又は言葉の一部となる場合がある。
＜ＴＥＸＴ＞−図３において３５３でユーザに表示される、登場人物によって成された会話テキスト又は音の転写部のストリング。
＜ＳＴＡＲＴ＞−言葉又は発声の開始時間。これは、ビデオがこの時間に到達した時にユーザインタフェース内でその言葉を強調表示するために使用される。
＜ＤＵＲＡＴＩＯＮ＞−テキストが強調表示される時間の長さ。テキストエントリについて「ＤＵＲＡＴＩＯＮ」が定められていなかった場合、そのエントリは、次のテキストストリングが始まる時まで続く。
【００７９】
ガイド及びダブ識別子及び時間は、音声置換機能の多くを実行する上で必要とされる。これらの変数の使用法についてこれ以降に更に説明する。
先に定めた変数を使用するＸＭＬファイル構造のサンプルを以下に示す。メディア準備エディタは、「ｘｍｌｓｐｙ」相当を使用して変数名＜Ｖａｒｉａｂｌｅｎａｍｅ＞と「変数の終了」マーカー＜／Ｖａｒｉａｂｌｅｎａｍｅ＞との間にデータ定義又は測定値を入れる。
メディアコンテンツ及びタイミング変数を伴うサンプルＸＭＬプログラムファイルコンテンツは以下の通りである。
【００８０】
0004695392.tif 000003
0004695392.tif 000004
【００８１】
図５の場面＜ＳＴＡＲＴＴＩＭＥ＞は、Ｔ＝０を定めるビデオファイルの開始から正のオフセットにあることが認められるであろう。
２つのラインの「ＳＴＡＲＴＴＩＭＥ」及び「ＳＴＯＰＴＩＭＥ」を測定して記録するためにメディアエディタにより「Ｓｏｕｎｄ  Ｆｏｒｇｅ」のような市販のサウンド編集プログラムを使用するＰＣの表示スクリーン１３０上の出力表示の一例を図６に示す。場面（図６では図示せず）、ライン、及び言葉のタイミング測定値は、ビデオ開始時間、すなわちＴ＝０．０に対して行われる。この例の記録されたエントリを以下に示す。
【００８２】
0004695392.tif 000005
【００８３】
各ラインの「ＳＴＡＲＴＴＩＭＥ」は、始めは、登場人物が会話の区域に関連した音を発し始める直前に、Ｔ＝０から測定された時間としてマーク付けされ、同じラインの「ＳＴＯＰＴＩＭＥ」は、同じ登場人物が会話の同じラインに関連した音を発し終えた直後にＴ＝０から測定された時間として定められる。しかし、エディタは、ラインの開始時及び終了時に延長時間を入れて、ユーザが前の会話からキューを取得し、終了時に時間超過をすることを可能にすることができる。記録されたライン（オーディオは、リードイン及び任意的にリードアウト中は録音されない）のうち、処理用に提出すべき領域は、「ＤＵＢ＿ＳＴＡＲＴ」時間及び「ＤＵＢ＿ＳＴＯＰ」時間として上述のように判断して記録される。
各ラインにおける各言葉又は登場人物の音の開始／終了時間の測定値は、同様にオーディオを聞いたり波形を観察することによって行われる。
「Ｓｏｕｎｄ  Ｆｏｒｇｅ」のような波形エディタを使用する２つの言葉の「ＳＴＡＲＴＴＩＭＥ」及び「ＤＵＲＡＴＩＯＮ」の測定及び記録を図７に示し、記録されたエントリを以下に示す。
【００８４】
0004695392.tif 000006
【００８５】
米国特許第６，１８５，５３８号（Ｓｃｈｕｌｚ）の構成要素として説明されているもののような自動言葉タイミング抽出プログラムと共に音声認識ソフトウエアを使用する技術を代替的に用いて、この言葉マークアップ準備段階を自動化することができる。
マークアップが完了した状態で、いくつかの場面のデータを含むことができる各プログラムのファイルをＸＭＬフォーマットによるメディア関連データファイル４３０として保存する。その後にコンピュータプログラム４５０で使用されるのはこのデータである。
【００８６】
メディア準備段階を要約すると、この時点で、メディア準備エディタは、各場面用データ４４０として保持された「．ａｖｉ」ファイルを作成済みであり、各場面ファイルは、オリジナルビデオの選択部分及びオーディオトラックの対応する部分、すなわち「Ｍ＆Ｅ」トラックを含み、１つのトラックは、「Ｍ＆Ｅ」トラックとミキシングされたオリジナル会話トラック（完全ミキシング）及びデータ４４０としても保持された各登場人物のオリジナル会話オーディオ用の別々の「．ｗａｖ」ファイルを含む。また、全てがプログラム４５０のデータベース情報としての役目をする各場面、ライン、及び登場人物の全ての記録済みデータ及びテキストを含む、ファイル４３０内に保持されたＸＭＬデータファイルが作成済みである。
【００８７】
ユーザのコンピュータプログラムモジュール
コンピュータプログラムモジュールは、この実施形態では、上述のメディア及び処理されたＸＭＬデータを使用してシステム制御機能、データ処理機能、及び録音及び再生機能を提供し、また、モジュールとエンドユーザのコンピュータハードウエアとの間の相互作動可能性をもたらすものである。
図８は、「ＣＤ  ＲＯＭ」１６５からコピーされて「ＣＤ  ＲＯＭ」１６５からユーザＰＣシステム１００（図１）に取り込まれる実行可能なＰＣアプリケーションプログラムとして組み込まれた実行時間コンピュータプログラム４５０及びデータ４３０及び４４０の主作動ソフトウエアモジュール８１０から８４０を含む概略ブロック図である。この実施形態では、システム１００で実行時のプログラム４５０は、図３のグラフィカル・ユーザ・インタフェース３２０と関連して上述のリボイシングシステムのユーザによって開始される作動を実行する。
【００８８】
モジュールブロック８４０内のコンピュータプログラムモジュール８１０から８３０及びアプリケーション特定「ＤｉｒｅｃｔＳｈｏｗ」モジュールは、Ｃ＋＋で書くことができ、Ｃ＋＋は、Ｂｊａｍｅ  Ｓｔｒｏｕｓｔｒｕｐ著「Ｃ＋＋プログラミング言語」（特別第３版）、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ、２０００年のような書籍で説明されている。同じ又は類似の機能を他のプログラミング言語及び環境で書かれたモジュールで同等に実行することができる。
【００８９】
図８においては、実線で境界が付けられたブロックは、Ｃ＋＋で書かれたオリジナルアプリケーション特定ソフトウエアモジュールを表し、オリジナルアプリケーション特定ソフトウエアモジュールは、図４のユーザコンピュータシステム１００又はコンピュータ１０５ｂ上でコンパイルかつ実行時に、ａ）グラフィカル・ユーザ・インタフェース３２０を提供し、ｂ）オーディオ、ビデオ、及び他のデータにアクセスし、ｃ）全ての所要のデータ処理を実行する。破線で境界が付けられたブロックは、ハードウエア１３０、１５１、及び１５２、データ記憶モジュール８５０、又は他の本質的な機能の中で複数のデジタルオーディオ及びビデオ信号ストリーム及びオーディオ録音の同期再生をサポートする通常はＰＣオペレーティングシステムであり、又は、オペレーティングシステムへの追加として設けられたモジュールブロック８４０内に含まれた市販のソフトウエアモジュールを表すものである。
【００９０】
ブロック８４０のソフトウエアモジュールの一例は、「マイクロソフト（登録商標）ＤｉｒｅｃｔＸ（登録商標）」バージョン８．０以上及び「ウィンドウズ（登録商標）」の範囲のオペレーティングシステム内で提供される構成要素及びドライバである。「ＤｉｒｅｃｔＸ」は、マルチメディアストリームをローカルファイルから再生してマイク１５９のようなサウンド入力装置からオーディオデータストリームを捕捉するのに使用される「マイクロソフト（登録商標）ＤｉｒｅｃｔＳｈｏｗ（登録商標）」サービスへのアクセスを提供している。また、これらのモジュールは、圧縮ビデオ及びオーディオコンテンツの再生を可能にするものである（オーディオ−ビデオインターリーブド（ａｖｉ）及び「ｗａｖ」を含む様々なフォーマットで圧縮）。「ＤｉｒｅｃｔＳｈｏｗ」サービスは、フィルタ・グラフ・マネージャによってフィルタ・グラフという構成に配置されるフィルタというソフトウエア構成要素のモジュール式システムとなっており、フィルタ・グラフ・マネージャは、これらのフィルタの接続をモニタしてデータストリームフローを制御するブロック８４０のモジュール中の構成要素である。アプリケーションプログラムモジュール８２４は、フィルタ・グラフ・マネージャと通信することによってフィルタグラフの作動を制御する。これらのマイクロソフトモジュール及びその文書は、「ｈｔｔｐ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ」から取得することができる。この実施形態では、「ＤｉｒｅｃｔＳｈｏｗ」モジュール及び「ウィンドウズ」オペレーティングシステムは、主として、モジュールブロック８４０内のビデオ及びオーディオメディア処理機能を提供している。しかし、一部のアプリケーション特定「ＤｉｒｅｃｔＳｈｏｗ」モジュールは、「ＤｉｒｅｃｔＳｈｏｗ」サービスの「マイクロソフト」ライブラリで用意されていない機能をもたらすためにＣ＋＋で書かれたものである。これらのモジュールは、ブロック８４０内にあり、これ以降に説明する。
他のコンピュータオペレーティングシステムは、一般的に、機能的に同等なソフトウエアモジュールを有するか、又はそれらのシステムにそのようなモジュールを設けることができる。
【００９１】
ユーザインタフェースソフトウエアモジュール８１０は、図３に示すグラフィカル・ユーザ・インタフェース３２０のコンテンツを作成及び表示し、インタフェース３２０の制御を修復及び更新し、ビデオ及びサウンド入力／出力をサポートする。モジュール８１０内のサブモジュール８１２から８１８は、特定のイインタフェースプログラムになっており、サブモジュール８１２は、グラフィカル・ユーザ・インタフェース３２０のスクリーン上の制御作動をサポートし、サブモジュール８１６は、表示ハードウエア・モニタ１３０を通じてユーザに呈示されるビデオ及びグラフィック表示出力を調整する。他のサブモジュール８１４及び８１８は、それぞれ、協働して図１のサウンド入力／出力ハードウエア１５０を形成するＰＣサウンド入力及び出力システム１５１及び１５２を通じて、ユーザによって開始されるオーディオ録音及びオーディオ再生を制御する。サウンド入力ハードウエアモジュール１５１は、アナログ／デジタル変換を含み、オーディオ出力ハードウエアモジュール１５２は、デジタル／アナログ変換を含む。制御サブモジュール８１２は、グラフィカル・ユーザ・インタフェース３２０内の制御の作動に応答してユーザインタフェース指令を生成する。これらのアプリケーション特定モジュール及びサブモジュールの全ては、従来のプログラミング技術を用いて当業者が実施することができる。
【００９２】
指令解釈モジュール及び主プログラム８２０は、ユーザインタフェースによって生成された制御サブモジュール８１２からの指令に応答して、所要のプログラム作動及びメディア出力を生成するためにどのデータソースを結合すべきかを判断する。異なるメディアソース結合を必要とする主な指令は、稽古指令、録音指令、再生指令、場面再生指令、全て再生指令であり、これらの使用法については、図３を参照して上述のように説明したものである。
【００９３】
データベース管理モジュール８２８は、編集したオーディオ及びビデオファイル４４０、テキストデータ８５３、ＸＭＬデータ及び画像ファイルが導出されたタイミングデータを含む場面及びラインデータ８５４、ガイド信号特性データ８５５を含む静止データ、及び、一時的なユーザ会話録音８５６及び整合済みユーザ会話８５８（すなわち、テーク）を含む動的に作成されたデータを含むファイル及びディレクトリのデータベースを維持し、そのデータベースにアクセスするものである。データ８５３、８５４、及び８５５は、上述のように図４を参照して説明したメディア関連データ４３０である。この実施形態では、選択オーディオ及びビデオファイル４４０、及びメディア関連データ４３０は、ＣＤ又は「ＣＤ  ＲＯＭ」又は他の取外し可能な記憶装置１６５で供給され、ユーザ録音８５６は、ハードディスク１４０上又は適切なものとしてＲＡＭを含む他の形態のデータ記憶装置内に書き込まれて維持される。図８においては、データ記憶区域は、一般的にデータ記憶装置８５０として示されており、このような様々な又は複数の形態のデータ記憶装置を用いて実行することができる。
【００９４】
本明細書で説明する作動において不可欠なのは、再生及び録音中に全てのデジタルメディア間の正確なタイミング関係を維持するための手段である。これを可能にする主モジュールは、再生及び録音エンジンとして協働して機能し、実際には、システムの他のモジュールを駆動するモジュール８２４及び８４０である。モジュールブロック８４０内の「ＤｉｒｅｃｔＳｈｏｗ」モジュールは、稽古作動、録音作動、及び再生作動に関連してこれ以降に説明するように、ユーザによって指示された作動に基づいて異なる方法から成るものである。
【００９５】
モジュール８２４は、指令解釈モジュール８２０から指示を受け取り、任意の所要のタイミングデータを計算し、モジュールブロック８４０内のオーディオ及びビデオサブシステムに指示する制御データのリストを組み立て、記憶されたデータから選択済みソースデータストリームのシーケンスを構築する。制御データは、要求されたメディアデータコンテンツのファイル名、関連のタイミング、及び位置を含む。制御データ及びメディアデータストリームは、モジュールブロック８４０に供給され、モジュールブロック８４０では、メディアデータは、正しい時間的順番でメディアデータを所要数の出力及び／又は入力データストリームに組み立て、ユーザ向けの適切なオーディオ出力、ビデオ出力、及びグラフィック出力にする構成要素１３０及び１５２にそれぞれモジュール８１６及び８１８を通じて供給される時に相対的な同期性が維持される。また、モジュールブロック８４０では、以下でより詳細に説明するように、異なるオーディオストリームに向けてミキシング及び利得処理が行われる。
モジュール８２４内の更に別のソフトウエア構成要素は、最初にＸＭＬファイルに記録されかつ記憶装置８５０内にテキストバイナリデータとして記憶されたテキストデータ及びタイミングデータ、及びモジュール８１６を通じてオーディオと同期したディスプレイ１３０上の現在の強調表示されたテキストにデータベース管理モジュール８２８を通じてアクセスする。
【００９６】
各ユーザ開始作動段階におけるシステムモジュールのアクション
以下の説明は、図３のグラフィカル・ユーザ・インタフェース３２０内の稽古制御、録音制御、及び再生制御のユーザによる作動に応答してシステムのハードウエアモジュール及びソフトウエアモジュールが実行して得られるアクションについて概説するものである。これらのアクションは、ユーザインタフェース３２０で起こるように上述したことを実施するものである。
インタフェース３２０内のボタン領域及び選択領域における状態変化は、図８のモジュール８１２によって検出され、得られるシステム作動は、モジュール８２４内で計算された適切なタイミング及びデータアクセス要求でデータ記憶装置８５０内のメディア及びメディア関連データに対して指令解釈及び主モジュールプログラム８２０によって開始される。図９、図１０、及び図１２は、この実施形態において、ユーザが見聞きするオーディオ出力、ビデオ出力、及びグラフィック出力のシーケンスを作成するために稽古段階、録音段階、及び再生段階における様々なメディアソース及びデータソースが結合される様子を概略的に示すものである。
【００９７】
稽古段階
ユーザが図３の稽古ボタン３６１を作動した時、図８のデータベース管理モジュール８２８は、選択場面及びラインの所要のメディアデータ、テキストデータ、及びタイミングデータにアクセスする。
図９は、データソース、メディアイベントタイミング、及び出力装置の間の関係を概略的に示すものである。モジュール８２４は、ラインＮの「ＳＴＡＲＴＴＩＭＥ」（ＴSTARTTIME（Ｎ））を使用して、選択ビデオデータストリーム９１０及び同期した状態である付随の完全ミキシングオーディオデータストリーム９２０の再生をモジュールブロック８４０を通じて開始する。
【００９８】
また、図９の乗算器９２５、及び、同じく図１０及び図１２の１０２６、１０２７、１０２８、及び１０２９によって表される「ＤｉｒｅｃｔＳｈｏｗ」アプリケーション特定ソフトウエアモジュールを通じて、オーディオ利得指令を出力オーディオに適用する利得制御信号９３０が計算される。このようなソフトウエア乗算器には、作動が始まる前に制御データとして利得時間イベントのリストが与えられ、イベント時間を秒単位の時間からオーディオストリームのデータ速度でのサンプルオフセットに変換する。再生中、ソフトウエア乗算器は、着信オーディオデータストリームに指定されたサンプル時間で定められた適切な利得係数を掛けて、対応する制御データ内の次の利得イベントが発生するまでその利得係数を維持する。
【００９９】
図９では、ＴSTARTTIME（Ｎ）において、完全ミキシングオーディオ信号は、１．０の利得に設定される。これは、ユーザに、オーディオ出力システム１５２を通じてオリジナルラインを聞いたり、対応するビデオアクションを選択ラインの前及びその最中にビデオディスプレイ１３０上で見たりさせるものであり、これは、ユーザが自分の演技を準備及び洗練する上での手助けとなる。システムは、ＴSTOPTIME（Ｎ）でラインのメディアの再生を停止する。一般的に、ユーザに自分の読み上げを完了する正確な時間を示すために、ＴSTOPTIME（Ｎ）は、完全ミキシングでは、オリジナル会話の終了を１秒ほど超えて設定される。
【０１００】
また、モジュール８２４は、秒読み文字「３」、「２」、「１」、及び「ＧＯ」のグラフィック表示９４０を開始する時間ＴCUE（Ｎ）を計算し、「ＧＯ」が実際のラインが始まる時間に表示されるように個々に順番に秒読み文字の表示を計時する（ＴSPOT_TIME（Ｎ）で定義）。これは、ユーザに発話を開始するキューを与えるものである。これらのグラフィックキューは、本実施形態では、ライン表示及び選択ウィンドウ３５０内に表示される。また、任意的に、「ビープ音」のような可聴信号は、その後に録音段階で録音と干渉することになることから、グラフィック３、２、１と同時に発することができるが「ＧＯ」ではできない。また、ライン開始時間に、システムは、９５０で示すように、ライン表示及び選択ウィンドウ区域３５０において、オリジナルオーディオ信号と個々に同期しているラインの言葉の試験又は転写された音を強調表示し、ユーザにこの稽古パス中に更に別のタイミングキューを与える。この段階及び残りの段階において使用される全てのタイミング及びテキストは、準備段階においてＸＭＬファイルに入力されたデータ測定値及びテキストから導出される。
【０１０１】
録音段階
ユーザが録音ボタン３６２（図３）を作動した時、図８のモジュール８１２及び８２０は、データベース管理モジュール８２８を参照する際にモジュール８２４に応答してそれに関与し、これが、次に、稽古段階でアクセスされたのと同じ選択場面及びライン用メディアデータ、テキストデータ、及びタイミングデータにアクセスする。ここでもまた、システムは、図１０に概略的に示すように、モジュールブロック８４０が同期されている状態でビデオ９１０及び完全ミキシングオーディオ９２０データストリームの再生を開始するように指示されるリードイン時間を含むラインＮの「ＳＴＡＲＴＴＩＭＥ」（ＴSTARTTIME（Ｎ））を使用する。
【０１０２】
この段階においては、稽古段階と異なり、指令解釈及び主プログラムモジュール８２０は、ユーザのオーディオの録音を制御し、ＴSPOT_TIME（Ｎ）で以下の追加の機能を実行する。
モジュール８２４によって計算されかつソフトウエアモジュール乗算器１０２６を通じてモジュールブロック８４０に供給された完全ミキシング信号利得制御データ９３０を使用する、完全ミキシング信号９２０の利得の０．０すなわちゼロへの低減。
乗算器１０２７に適用された更に別の「Ｍ＆Ｅ」信号利得制御データ１０４０は、ユーザが録音段階中にオリジナル会話を聞かずに背景オーディオの残りを聞くように、「Ｍ＆Ｅ」（音楽及び効果）信号１０３０の利得を０．０から１．０に上げる。
尚、ユーザは、録音中に背景オーディオを聞くことができるが、マイクによって受け取られた空気伝達背景（Ｍ＆Ｅ）信号が音声のレベルと比較して無視することができるものであり、従って、背景オーディオがテークにおいてほとんど聞こえないように、マイクは、ユーザの口に十分に接近した状態に保持される。
【０１０３】
モジュール８２４は、ここでもまた、９４０でグラフィックで表された秒読み文字「３」、「２」、「１」、及び「ＧＯ」を表示する時間ＴCUE（Ｎ）を計算し、会話が始まってユーザが発話し始めるべき時間ＴSPOT_TIME（Ｎ）で「ＧＯ」が表示されるように秒読み文字のシーケンスを計時する。実際には、ユーザ録音１０６０の開示に表示されるように録音は既に始まっており、これによって、ユーザは、発話開始が早すぎたとしても録音することができる。この段階中、モジュール８２４は、ここでもまた、音消しされた会話オーディオ信号と同期したラインの言葉の表示テキスト５９０又は音の強調表示を制御して、録音段階中にユーザに更に別のタイミングキューを与えるものである。
【０１０４】
サウンド入力１５１に接続したマイク１５９を通じたユーザ録音１０６０の録音は、ＴSTARTTIME（Ｎ）で開始し、ＴSTOPTIME（Ｎ）で終了する。録音では、モジュールブロック８４０において「ＤｉｒｅｃｔＳｈｏｗ」録音モジュールを使用する入力オーディオプロセッサモジュール８１４が使用される。モジュール８２４は、ＴSTOPTIME（Ｎ）でラインのビデオ及びオーディオメディアのモジュールブロック８４０を通じた再生を停止するが、読み上げを完了するために延長時間をユーザに与え、ＴSTOPTIME（Ｎ）は、通常、ライン内のオリジナル会話よりも一秒ほど超えたところに設定される。また、これらの録音モジュールは、デジタルユーザ入力オーディオのタイミングを他のモジュール８１６及び８１８内のオーディオ及びビデオの再生と同期するものである。
【０１０５】
ユーザの音声録音は、その後に整合処理用のダブデータのソースとして使用される一時的なオーディオファイル８５６として記憶される。録音及び整合処理モジュール８３０は、完全ミキシングオーディオ出力９２０開始の開始時間ＴSTARTTIME（Ｎ）とユーザ録音の実際の開始時間との時間オフセットを測定して記憶する。この実施形態では、一時的なオーディオデータファイルは、以下で説明する方法に従って直ちに処理される。
ラインの更に別の録音が開始された場合、図８の管理モジュール８２８は、テークの録音を維持し、図３を参照して上述したように、表示サブモジュール８１６を通じてスクリーン上にそのラインの追加のテーク３７３及び３７４の表現を呈示する。
【０１０６】
整合済み置換オーディオストリームの作成
オリジナル会話の正確かつ納得のいく置換（唇同期という点で）としての役目をするためのユーザ会話録音のバージョンを作成する方法について次に説明する。時間変化特性は、整合処理を案内するために使用されることになるので、オリジナル会話オーディオは、ガイドオーディオと呼ばれる。各信号内の対応する開始信号から測定された時、置換信号内の主可聴時間変化音響特性の大部分がガイドオーディオ内の対応する特性と同じ相対時間で発生する場合に、ユーザの編集したオーディオ信号は、ガイドオーディオに「整合」されていると説明される。
【０１０７】
ユーザ録音のこのような整合を達成するために、両方のオーディオ信号を分析して図８の一時的ユーザ録音を自動的に編集し、ガイドオーディオに整合させる自動オーディオ整合アルゴリズムを使用する（「ダブ」オーディオは、オーディオポストプロダクション業界で公知の用語であるために、本明細書ではその１つを「ダブ」オーディオと呼ぶ）。このようなアルゴリズムは、ＧＢ２１１７１６８及びＵＳ４５９１９２８（Ｂｌｏｏｍ他）で既に説明されている。このアルゴリズムは、（ａ）ガイドオーディオ及びダブオーディオの両方の同一時間変化特性を測定してこれらの測定値をデジタル特性データして保存する段階と、（ｂ）得られる時間変化特性データを処理してダブオーディオ特性をガイドオーディオ特性に最良に整合させる時間歪み経路を判断する段階と、ｃ）新しい整合済み波形内に成された編集が可聴アーチファクトを導入しないように、ダブオーディオの波形データの特性も考慮に入れながら、時間歪み経路に従ってダブオーディオの波形を編集する自動波形エディタに時間歪み経路を通す段階という本質的な段階を含むものである。
【０１０８】
最も単純な場合には、ラインは、「Ｍ＆Ｅ」オーディオに加えて単一の登場人物による中断なしのオリジナル対話のみを含む。このような場合のガイドオーディオの一例は、図５においても登場人物音声１、及びオーディオストリーム５２０として示したものである。このガイドオーディオストリームは、ラインビデオデータで再生された場合（これは本実施形態では行われないが）、対応するビデオデータと同期的に実行され、かつ登場人物の唇の動きの画像と同期する。
【０１０９】
図８の整合アルゴリズム８３０の使用法について、ここで図１１を参照して説明する。この実施形態では、図１１の選択ラインの編集したオリジナル登場人物オーディオ４４０は、ガイドオーディオの役目をし、データ記憶装置１１１０からアクセスされる。
この実施形態では、ガイドオーディオを予め処理して時間変化特性データを抽出し、従って、データ記憶装置１１１０は、図４のコンピュータ１０５ｂ内のディスク記憶装置１１１０を表すものである。ガイドオーディオは、ユーザＰＣにおいて整合中に再生されないので、時間変化ガイド信号データ８５５だけは、エンドユーザコンピュータプログラムにおいて整合中にガイドオーディオを表す必要がある。メディア・プログラム準備段階中の予処理は、図４の取外し可能なメディア１６５上のコンピュータプログラム画像内のオーディオデータ記憶量とユーザがプログラムを実行時に必要とされる処理とを低減するのに有利である。ガイドオーディオのこの任意的な予処理に関わる要素は、破線１１５０によるボックス内に示されている。図４においてユーザＰＣ１００で１１５０内の作動を実行することになる予処理の代案については後述する。
【０１１０】
予処理の一例において、メディア準備エディタは、図１１においてはオーディオデータ４４０のオリジナル登場人物ラインＮとして、図５においてはストリーム５２０内の第１の斜線付きブロックとして示される、第１のライン「Ｉ  ａｍ  ｔｈｅ  ｆｉｒｓｔ」のデジタルバージョンのコンピュータベースの処理を開始する。このデジタルオーディオストリームは、最初に特性分析コンピュータプログラム１１３０に通され、この実施形態では、４バンドデジタルフィルタバンク（２５０Ｈｚ、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚで始まるオクターブ幅バンドを有する）によって実行され、測定済み４バンドオーディオスペクトルを１０ｍｓ毎にサンプリングする（ＵＳ４５９１９２８で説明されているように）。このガイドオーディオ分析からの出力は、ＦG（Ｎ，ｎ）であり、ただし、Ｇはガイドを表し、ＮはラインＮを示し、ｎは、ｎ番目の１０ｍｓ分析時間フレームｎであり、ここでｎは０から始まる。分析データは、図４においてメディア関連データ４３０で示すように、ガイド信号特定、ラインデータ、及びメディア準備エディタによってマニュアルで測定された「ＧＵＩＤＥ＿ＳＴＡＲＴ」及び「ＧＵＩＤＥ＿ＳＴＯＰ」タイミング情報を含む他の上述のメディア関連データと共にそのプログラム用にシステムのデータ記憶装置１１２０内にデータファイル８５５として記憶される。データ記憶装置１１２０は、予処理された場合はＰＣ１０５内の記憶装置１４０、又は、ＲＡＭ又はハードディスク１４０などのユーザＰＣ１００内のデータ記憶装置内とすることができる。
【０１１１】
更に別の実施形態では、図４の記憶装置１４０内のプログラム及びデータをバイナリ形態にコンパイルする場合、ＸＭＬデータを使用して、メディアエディタによってＸＭＬファイルに入力されたガイド関連のデータに基づき、予処理すべきファイル名及びファイル内のオーディオの範囲を定め、ＰＣ１０５ｂ内でコンパイル段階中に行われるように、上述のような特性分析データを作成するための予処理を自動化することができる。
【０１１２】
ガイドオーディオを予処理したか否かを問わず、整合処理の大部分は、この実施形態では、図１０及び図８を参照して上述したラインＮ８５６のユーザバージョンのデジタル録音の完了後に行うことになる。図８の主プログラム８２０は、所要のメディアのアクセス及び処理された結果の記憶を制御するデータベース管理モジュール８２８と協働して整合処理モジュール８３０を制御する。
このユーザのオーディオ録音のデジタル波形データ及びその停止時間及び開始時間情報を図１１においてブロック８５６としてデータ記憶装置１４０に記憶する。代替的に、ユーザＰＣ内のＲＡＭのような他の形態のデータ記憶装置も使用することができる。デジタルユーザオーディオデータの全て又は一部分でも利用可能になった状態で、それは、ガイドオーディオに対して使用されるものと同じか又は同一の特性分析コンピュータプログラム１１３０によって処理することができる。従って、特性分析コンピュータプログラム１１３０に対応するプログラム１１３０は、図８に示す録音及び整合処理モジュール８３０の一部を形成する。
【０１１３】
追加の時間変数「ＤＵＢ＿ＳＴＡＲＴ」及び「ＤＵＢ＿ＳＴＯＰ」（上述のようにメディアエディタによって測定されデータとして記録）は、データベース管理モジュール８２８によって記憶装置８５０内の場面及びラインデータ８５４から図８の録音及び整合処理モジュール８３０に供給され、これは、ラインの「ＳＴＡＲＴＴＩＭＥ」変数及び「ＳＴＯＰＴＩＭＥ」変数を使用する代わりにユーザ録音を処理する範囲を選択するためであり、ラインの「ＳＴＡＲＴＴＩＭＥ」変数及び「ＳＴＯＰＴＩＭＥ」変数は、ラインのガイドオーディオの多少前及び後で発生するように設定済みとすることができる。通常、「ＤＵＢ＿ＳＴＡＲＴ」は、「ＳＰＯＴ＿ＴＩＭＥ」の若干手前に（例えば、０．２秒分）設定し、「ＤＵＢ＿ＳＴＯＰ」は、通常、ラインの「ＳＴＯＰＴＩＭＥ」に設定する。「ＧＵＩＤＥ＿ＳＴＡＲＴ」及び「ＧＵＩＤＥ＿ＳＴＯＰ」の値は、録音及び整合処理モジュール８３０に供給される。
【０１１４】
選択されたガイド範囲ＦG（Ｎ，ｎ）及び選択されたユーザ録音範囲ＦU（Ｎ，ｎ）からのラインＮの時間変化特性データストリームをデジタル時間整合分析プログラム１１６０（ＵＳ４５９１９２８で説明）によって処理し、時間整合経路Ｐ（Ｎ，Ｎ）１１６５を作成する。ただし、ｎは、ここでもまた、特性ストリームサンプル時間である。ここで使用するｎのサンプリング期間は、０．０１秒である。ユーザ録音８５６の選択範囲に適用して測定済み時間変化特性をガイドオーディオ４４０の時間変化特性に最も良好に適合させる必要がある時間歪みを定める整合経路データ（Ｎ，ｎ）をＵＳ４５９１９２８で説明されている方法で作動する自動波形編集プログラムモジュール１１７０に入力する。時間整合分析プログラム１１６０及び自動波形編集プログラムモジュール１１７０は、録音及び整合処理モジュール８３０の更なる部分である。
【０１１５】
自動波形編集モジュール１１７０の機能は、ラインＮのユーザオーディオ録音８５６を編集し、Ｐ（Ｎ，ｎ）１１６５に従ってユーザオーディオ録音８５６が必要とされる場所でオーディオ信号波形を時間圧縮又は時間延長することであるが、出力波形を作成するのに使用される各編集には、信号が接続点で測定可能なピッチを有する場合はいつでも同期的にピッチさせるという追加の条件が課せられる。別の言い方をすれば、オリジナルユーザの波形の区域を時間圧縮又は時間延長するためにそれぞれ切断又は繰り返す時に、モジュール１１７０は、提案された省略点及び重ね継ぎ点で信号波形を分析して編集地点を整合し、可聴アーチファクトを導入しないように２つの波形の位相を最良に整合させる地点で確実に信号ブロックの終わりが次の非連続的信号ブロックの始まりと接続させるものである。この方法の更なる詳細は、ＵＳ４５９１９２８又はＪ．Ｓ．Ｌｉｍ編「発話強調」、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、１９８３年における発話の時間縮尺による修正に関する論文で入手可能である。オーディオ信号波形を時間歪み処理する他の方法又は分析及び再合成技術を用いて、所要の時間整合済み波形を作成することができる。
得られる時間整合済みデジタルオーディオユーザ録音データは、次に、新しいオーディオの開始及び終了のタイミングを定める付随のデータと共に、デジタル記憶装置１４０内に波形データファイル８５８として記憶される。ファイル８５８及び他のこのようなファイルは、図８において集合的にテーク８５８として表されている。
【０１１６】
先の例では、ラインに含まれた単一の登場人物オーディオストリームがある単純な状況について説明した。図５に示すように、第２のオリジナル登場人物の会話ストリーム５３０が第１の登場人物の上に重なる更に複雑な状況においては、別のデータファイルが、第２の登場人物のオリジナル会話ストリームとなることができる。また、この第２のストリームは、ビデオの開始に対して定められたライン「ＳＴＡＲＴＴＩＭＥ」を有するが、多量のゼロ値オーディオデータを有することを回避するように単に使用するデータ記憶データスペースを少なくするために、ビデオデータの開始に対して測定される非ゼロオフセット変数とこの第２のストリームの「ＳＴＡＲＴＴＩＭＥ」とを結合させることができる。第２の登場人物のオーディオストリームは、簡単な算術を用いてオフセット値を加えてデータアクセス及び処理の開始点を計算し、第１の登場人物のオーディオストリームと同じように処理することができる。
【０１１７】
簡単化のために、録音段階中、ユーザは、スクリプト内の言葉を正しく読み上げて録音するが、オリジナル会話オーディオ内のオリジナル登場人物の音声及び対応する唇の動きとの完全な同期は達成していないと仮定された。また、ユーザがテキストを読み上げる際にかなりのエラーが起こった場合、ユーザは中断し、タイミングは別として本質的にそのエラーを訂正するまで更に試行すると仮定される。しかし、読み取りにエラーがあるか、又はユーザがスクリプト内の言葉と異なる言葉を録音し、オーディオ整合アルゴリズムがＵＳ４５９１９２８のアルゴリズムにおいて目指した結果と類似の結果を達成した場合、置換オーディオのかなりの時間変化特性は、依然としてオリジナルオーディオの他の重要な時間変化特性に整合され、それによってある程度の唇同期がもたらされる可能性が高い。
【０１１８】
最後に、明確にすべき点として、ガイドオーディオの予処理は必要とされるものでもなければ、更には常に可能であるわけでもなく、本発明の代替的実施形態では、ガイドオーディオの特性分析は、録音パスの最中又はその後である可能性があるダブオーディオの特性分析と同時に行うことができる。特に、予処理は、ガイドオーディオが予め判断れていない状況では実施可能ではないであろう。
例えば、この一例としては、図４のプログラム４５０が、リボイスされるオーディオ及びビデオメディアなしで供給され、ユーザが、リボイスするメディアを選択することができる更なる実施形態である。この実施形態では、ユーザは、デジタルオーディオ及びビデオメディアデジタルオーディオ及びビデオメディアをコンピュータベースのデジタル信号分析技術によって分析することを可能にする適切な特性を有するデジタルオーディオ及びビデオメディアに本明細書で説明するリボイシング方法及び装置を適用し、本発明で説明するようにリボイシングに使用されるデータを作成するのに必要とされる情報を抽出することができる。このような分析及びデータ作成は、音声認識及びタイミング測定（マニュアルによる転写及びテキスト入力段階を自動化するため）、必要な時に行われるノイズ又は不要な背景オーディオからの音声信号の抽出（ガイドオーディオを作成するため）、及び背景オーディオからの音声信号の除去、又は、合成又は他の技術による背景オーディオ音楽及び効果の生成（置換「Ｍ＆Ｅ」トラックを作成するため）を含む公知の技術を使って実施可能である。
【０１１９】
このような手順は、一例として、別々に分析してガイドオーディオ抽出及び除去、音声から試験への生成、及び再生段階中の音声なし背景オーディオの供給の品質及び効果を向上させることができる複数のオーディオトラックがあることが多いＤＶＤ上の特定のフィルム又は音楽ビデオに適用することができる。類似の手順を他のデジタルオーディオ及びビデオメディア搬送波に適用することもできる。
同様に、上述の処理段階内の個々の段階をユーザＰＣ及び他のコンピュータ、例えばインターネット上のサーバをベースとしたプログラムの間に分配することができる。
【０１２０】
他の実施形態では、音声からテキストへの転写又は背景オーディオ置換のいずれか又はその両方が実施可能ではない場合も、リボイシング方法は、依然として、整合目的だけのために可能ガイドオーディオ（もしあれば背景信号を含む）を分析し、整合済みユーザ録音を作成し、整合済みユーザオーディオのみをビデオと共に再生することによってその最も基本的な形態で適用することができるが、背景音楽及び効果オーディオはない。換言すると、強調表示されたテキストを供給してリボイシング方法の一部としてオリジナルオーディオ及びビデオプログラム内にあるオーディオ背景を再現することは、好ましいが絶対に必須というものではない。
【０１２１】
置換用整合済みオーディオの再生
ユーザインタフェース３２０内の指令、再生、場面再生、及び全て再生を通じてユーザが開始することができる整合済みオーディオを使用する３つの主な再生モードがある。
図１２は、場面再生指令に応答して行われるものを概略的に示すが、より単純なライン再生機能内のイベントも含むものである。図１２は、録音パスについては図１０で説明したが、出力用の可能メディアとして２つの整合済みユーザ録音１２７０及び１２７１を含む単純な場面の要素となる同じデータソース、メディアファイル、及び出力装置間の関係を改めて示すものである。これらの様々なメディアファイルが再生段階中にどのように結合されるかについて次に説明する。
【０１２２】
ライン再生
ユーザがユーザインタフェース３２０（図３）のラインセレクタ３５０を通じてラインＮを選択して再生ボタン３６３をクリックした場合、これによって、ライン再生機能が開始される。ライン再生中、イベントのシーケンスの結果、ユーザは、オリジナルビデオ９１０及び「Ｍ＆Ｅ」１０３０トラックと同時に再生されるラインＮの単一の整合済みユーザ録音１２７０（図１２）を聞くが、オリジナル会話は、完全ミキシング９２０には含まれていない。詳細なイベントは、以下の通りである。
【０１２３】
ユーザが再生制御３６３を作動させた後、図８の指令解釈モジュール及び主プログラム８２０は、データベース管理モジュール８２８にアクセスして記憶装置８５０から録音段階と同じ選択ラインＮ用メディアデータ、データデータ、及びタイミングデータを取得する。次に、図８のモジュール８２４は、８４０を通じてオリジナルビデオ９１０及び同期した完全ミキシングオーディオ９２０データストリームを再生し始める時間をＴ「STARTTIME」（Ｎ）（図１２）用ラインＮデータから計算する。完全ミキシングオーディオ９２０上のゲートとして完全ミキシング信号利得制御信号９３０が、利得制御ソフトウエア乗算器１０２６に印加される。これによって、置換済みオーディオ前の任意のオーディオは、ソフトウエアミキシング装置１０２８を通じて聞くことができ、これは、モジュール８４０内の「ＤｉｒｅｃｔＳｈｏｗ」において実施され、また、着信オーディオ信号を合計して、図８の出力オーディオプロセッサモジュール８１８（図１２では図示せず）を通じて合計信号をオーディオ出力１５２に供給するものである。
【０１２４】
図１２のラインＮ用整合済みユーザ録音１２７０は、図８の記憶装置８５０からデータベース管理モジュール８２８によって検索され、モジュール８４０を通じて記憶タイミングデータＴSPOT_TIME（Ｎ）から再生され、対応する時間（及び、フェードイン及びフェードアウトが行われることを可能にするのに必要とされる任意の追加のサンプル量）で、それぞれ、「Ｍ＆Ｅ」トラック１０３０及び整合済みユーザ録音１２７０用の２つの利得制御信号１０４０及び１２８０が１．０までランプしてこれらの信号を混合し、オーディオ出力１５２を通じて聞かれるようにする。２つの利得制御信号１０４０及び１２８０が１．０までランプすると同時に、完全ミキシング利得９３０は、０．０にランプすることによってオフになる。整合済みユーザ録音ストリーム１２７０が終了した時、それぞれ、「Ｍ＆Ｅ」ストリーム１０３０及び整合済みユーザ録音１２７０の利得制御信号１０４０及び１２８０は、ランプして０．０に戻り、完全ミキシング９２０（同期して実行を継続していた）の利得制御信号９３０は１．０にランプし、これによってこのトラックを再び聞くことができる。この実施形態では、利得制御ランプは、遷移時に長さ１０ｍｓのフェードアップ又はフェードダウンを提供して滑らかなクロスオーバーを保証するものである。ＴSPOT_TIME（Ｎ）のような計算スイッチング時間で、利得制御ランプは０．５という値である。従って、スイッチング時間「ＴＳＷＩＴＣＨ」で計算されるスイッチングについては、利得遷移は、図１２に概略的に示すように、ＴSWITCH−５ｍｓで始まり、ＴSWITCH＋５ｍｓで停止するように計算される。
完全ミキシング信号９２０及び「Ｍ＆Ｅ」信号１０３０は、完全ミキシング信号内に含まれた「Ｍ＆Ｅ」信号波形及び別の「Ｍ＆Ｅ」信号波形の両方が位相ロックされることを保証するために、メディア準備エディタによって十分なサンプル精度までに編集され、ミキサ１０２８の合計出力が、オーディオ出力にアーチファクトをもたらす位相相殺を含まないことを保証する。
【０１２５】
場面再生
場面再生段階により、ユーザは、ビデオに関連して利用可能な時の整合済みユーザ録音付きラインのシーケンス、「Ｍ＆Ｅ」オーディオ、及び、ユーザ録音がない時のオリジナル音声付き完全ミキシングを聞くことができる。
図３のユーザインタフェース３２０により、ユーザは、場面内のライン３５３のようなラインの各々について１つ又はそれ以上のテーク３７１、３７３、及び３７４を録音することができる。図８のデータベース管理モジュール８２８は、各ラインの最終ユーザ選択テークを追跡し、場面再生作動中に選択テークの連続再生を取り込みかつ制御し、場面再生作動は、ユーザがインタフェース３２０の場面再生ボタン３４４をクリックすることによって開始される。場面内のラインが録音されておらずにテークセレクタが「空」（すなわち、テーク未録音）を指すか、又は、ユーザがテーク３７２をクリックしてオリジナル音声録音を特定のライン用選択テークとして選択した場合、指令解釈及び主モジュール８２０は、そのラインについてオリジナル音声録音３７２を再生する。
【０１２６】
図１２は、図８のシステムが、例示的な場面再生中にＴSCENESTART（Ｍ）とＴSCENESTOP（Ｍ）の間の時間に、ラインＮのオーディオブロック１２７０及びラインＮ＋１のオーディオブロック１２７１として示される２つの整合済みユーザ録音を順番に組み込む時のイベントのタイミングを概略的に示すものである。ここでもまた、整合済みユーザ録音利得制御信号１２８０は、整合済みユーザオーディオがある時に整合済みユーザ録音及び「Ｍ＆Ｅ」トラックの両方を利得＝１．０までフェードアップして（すなわち、ＯＮ）、これらの時間に完全ミキシングを利得＝０．０にランプし（すなわち、ＯＦＦ）、上述のようにクロスフェードを適用するために使用される。
【０１２７】
場面がストリーム５２０及びストリーム５３０で図５において示すように上に重なることがある複数の登場人物音声を有する場合、モジュール８２０及び８４０は、ブロック１２７０及び１２７１を含むストリームのような整合済みユーザ録音の付加的な同時発生ストリーム及び録音段階中に作成される信号１２８０のような対応する利得制御信号を有効にして、ゲート付きオーディオ信号の全ては、場面再生段階中にオーディオ出力装置１５２を通じて聞かれるオーディオ出力を形成するように図１２のミキサ１０２８で合計される。複数の上に重なるユーザ録音の区域で、図８のモジュールブロック８４０は、同時同期オーディオストリームの再生を維持し、１．０でＯＮである１つよりも多いユーザ録音利得を有する。
異なる開始及び停止時間の使用と重複が並列に制御されている可能な複数の整合済みユーザ録音ストリームとは別にして、場面再生指令の残りの詳細のいずれも、本質的に上述のライン再生段階と同じである。
【０１２８】
全て再生
ユーザが図３の全て再生ボタン３４６を選択した時、図８のモジュール８２４は、場面１で（又は、場面セレクタ３４０内で選択された任意の特定の場面から）始まりかつ場面セレクタ３４０内に示す場面の全てを通して再生を続ける場面再生指令のシーケンスを開始する。各場面再生中、場面再生段階で上述したように、選択テークは、各場面内の各連続的なラインに使用される。全て再生ボタン３４６の選択後に、図８のシステムは、この実施形態では、ユーザがキーボード上の停止指令（すなわち、スペースバー）を押すか又は最終場面の再生が完了するまで場面を再生し続ける。
【０１２９】
メディアの形式により、全て再生指令は、どの場面がその歌唱又は映画に含まれるかを説明するデータを含む「歌唱」又は「映画」のような更に別のより高度に構造化されたデータ編成を利用することができる。「全て再生」が機能する時、歌唱又は映画の再生では、その構造内の全ての場面の連続再生は連続的に開始され、その結果、それは、ラインの選択テークと共に各場面内の各連続的ラインの連続再生をトリガするであろう。
本実施形態では、全て再生は、場面の全てが単一の連続的なビデオファイルからのものである場合に限って利用可能であるが、このような制限は、更に別の実施形態では取り除くことができる。更に別の実施形態（図示せず）においては、より高度なオーディオ編成、例えば「ジュークボックス」と似たように再生される歌唱又は映画のシーケンスを構成することが可能である。
【０１３０】
再生中のシステムデータ処理作動の詳細
ここで、再び図８を参照し、特に、録音作動及び再生作動の両方において再生用オーディオストリームを作成するモジュール８２４及びモジュールブロック８４０を参照する。
ラインは、再生用に選択することができる最小の要素であり、他の全ての形態の再生及び録音の「建築ブロック」に当たるものである。場面内の全てのラインについて、データベース管理モジュール８２８は、他のデータの中でもとりわけ、各整合済みユーザ録音のファイル名への参照、並びにどのテークが再生用選択テークであるかを指定するデータを含むテークのデータアレイを動的に維持するものである。
【０１３１】
ユーザが録音されたラインを有する状態で、上述のように、各ラインについて、ユーザインタフェース３２０は、その回りのグラフィックフレームによってどれが再生３７１用の選択テークであるかを示すものである。ユーザは、オリジナル登場人物の録音を含むライン用の利用可能なテークの任意の１つ、すなわち、選択テークをマニュアルで作ることができる。
各場面については、データベース管理モジュール８２８は、ライン及びその場面に関連したテークのアレイを動的に含むデータを維持してアクセスするものである。
【０１３２】
任意の再生指令においては、図８のアプリケーションモジュール８２４は、単一のライン（選択テークを伴う）、又は場面（少なくとも１つのラインを含む）、又は歌唱又は映画（１つ又はそれ以上の場面を含む）、又は他のより高度の歌唱又は映画のコレクションを出力すべきであるかを指定する指示を受け取る。これらの場合のいずれにおいても、アプリケーションモジュール８２４は、要求に関連したデータ構造のリストを隈なく調べ、最終的にライン単位で全ての要求選択テークのリストを構築する。タイミング及びメディアファイル名を定める所要の静止データは、オリジナルＸＭＬデータファイルから作成された図４のＣＤ／「ＤＶＤ  ＲＯＭ」上のデータ構造、及び図８のデータベース管理モジュール８２８によって作成及び維持されたユーザテークに関連した他の動的作成データから得られる。
【０１３３】
再生リスト構成処理中に、テークのファイル名は、図１３に示す１つ又はそれ以上のテークファイル読取モジュール１３３０に通される。テークファイル読取モジュール１３３０は、本実施形態では、再生すべきユーザテークファイルのリストを維持し、適切なファイルにアクセスし、その後、関連した予め計算された時間スロットが発生した時にオーディオデータを次のモジュール（更に以下に説明）にストリングするアプリケーション特定プログラムである。テークファイル読取モジュール１３３０は、アプリケーションプログラムモジュール８２４によって作成され、モジュールブロック８４０内のデータ記憶装置８５０とメディアストリーム作成モジュールとの間のアクティブバッファとして機能する。
【０１３４】
テークファイル読取モジュール１３３０は、以下のように作動する。再生の前に、再生用に選択されたテークが、上述のように、存在する関連のデータファイルを有する場合、モジュール８２４は、適切なデータをテークファイル読取装置によって再生されるテークリストに追加する。
再生中、テークファイル読取装置１３３０は、単一の連続整合済みユーザテークオーディオデータストリーム１３３５を作成する。再生前、モジュール８２４は、必要とされる各選択テークの開始及び終了時間データを検証し、再生要求の開始又は終了時間によって１つのテークが時間と共に別のテークと上に重なる場合、別のテークファイル読取装置の付加的な事例を配備して並列テークデータストリームを提供する。
【０１３５】
モジュール８２４は、各テークファイル読取装置が連続的に（すなわち、重複なしに）テークを再生することしかできないという制約事項に従い、全ての選択テークを所要の時間で再生することを可能にする最少数のテークファイル読取装置１３３０を作成かつ配備する。図１３に示すテークファイル読取装置１３３０の使用法をこの実施形態で用いて、所要の重複（並列）再生をサポートする。同じ結果を達成するように他の再生用機構を考慮することができる。
再生開始の要求が受け入れられると、選択テークの名称がテークファイル読取装置１３３０に通される。テークファイル読取装置は、オペレーティングシステム機能呼び出しを用いて、テークファイルからデジタルサンプルのストリームを読み取り、このデータをモジュールブロック８４０内の「ＤｉｒｅｃｔＳｈｏｗ」データストリームに適するフォーマットにするものである。
【０１３６】
当業者は、説明した方法がデマンド供給式出力システムとして実施されることを理解するであろう。テークファイル読取装置１３３０が、データをライン内の次のモジュールに供給するように指示された時、テークファイル読取装置１３３０は、処理されたサンプルの個数を読み取り、求められた各サンプルについて、このテークファイル読取装置は、要求を満たすのに必要とされるデータと共にファイルが存在するか否か試験する。データが存在する場合、読取装置１３３０は、データと共に要求を供給し、ファイルのデータの端部に到達するまでサンプルを数える。サンプルがそれ以上ない場合、モジュールは、ストリーム終了メッセージを「ＤｉｒｅｃｔＳｈｏｗ」フィルタオブジェクトに送り、全てのアクティブストリームがこのメッセージを送った時、アプリケーションプログラムモジュール８２４は、再生機能を終了する。
【０１３７】
データの下流側要求を満たすために、テークファイル読取装置１３３０が何らかの持続時間に亘ってテークオーディオデータがない状態に残された場合、テークファイル読取装置は、デジタルゼロデータを供給し、ストリームを同期的に実行して、後の時間にテークデータを注入して出力する準備完了状態に維持することになる。再生要求中に必要とされるテークデータがないこれらの時間に、アプリケーションモジュール８２４は、モジュール８４０に対して、特定の再生モードに適切なものとしてオリジナル完全ミキシングデータ又は音楽及び効果トラックの再生に戻るように指示する。
【０１３８】
また、デマンド駆動式データストリームを作成及び出力するための同じ機構は、図１３において多重ビデオ及びオーディオ記憶装置４４０からアクセスされるビデオデータ、完全ミキシング、及び音楽及び効果オーディオストリームにも使用される。ここで、メディアデータは、この実施形態では多重化された状態として示されており、これは、任意的な事柄であるが効率的なデータアクセス及びストリングには有利である。
【０１３９】
ＡＶＩデマルチプレクサ１３１０は、個々のメディアデータストリームを再構築する。得られる圧縮ビデオは、ビデオデコンプレッサ１３２０を通った後にビデオ表示ソフトウエア及びハードウエア１３５０（図８の８１６と１３０の両方を組み込む）に出力される。得られる完全ミキシングと音楽及び効果オーディオとは、別々のオーディオデコンプレッサ１３２５を通過した後に、ストリングされて個々のオーディオ利得制御１０２６及び１０２７を通り、１０２８において任意のユーザテークオーディオと共に合計される。１０２８からの合計オーディオストリームは、図８のモジュール、つまり出力オーディオプロセッサソフトウエア８１８及びオーディオ出力ハードウエア１５２を含むオーディオ出力システム１３６０を通じて出力される。
この処理では、図１２に概略的に示すデータストリームが再生用に再び作成され、ユーザテークデータ８５８及び関連のテークファイル読取装置が関与していなかった場合、残りのモジュール及びデータストリームは、稽古機能を示すことになる。
【０１４０】
モジュールブロック８４０内の「ＤｉｒｅｃｔＳｈｏｗ」フィルタオブジェクトモジュールは、元はＸＭＬプログラマーデータファイル内で供給されたタイミングデータのリストからスイッチング時間リストを構築する。利用可能なテークがなかった時は、リストに入れられた指示により、モジュールブロック８４０の出力オーディオデータストリームは、適切な時間の長さが得られる正しい時間位置でオリジナル会話ストリーム（すなわち、完全ミキシングオーディオデータ）に切り換えられる。また、スイッチング時間リスト構築時に、フィルタオブジェクトモジュールは、各ストリームのオーディオ利得制御のために利得値が変わる時間を計算し、これらの値を更に別のリストに入力して、図９、図１０、及び図１２に示す利得制御信号を駆動する。
【０１４１】
録音中のシステムデータ処理作動の詳細
ラインの録音中に、モジュールブロック８４０は、上述の再生中のその構成と若干異なって構成される。その違いを図１４に示すが、図１３に示すユーザテーク再生処理モジュールの代わりに、入力オーディオプロセッサ８１４からデータを受け取って仮ユーザ録音８５６を作成するオーディオ録音モジュール１４２０が使用される。しかし、図１４の上部のビデオ及びオーディオ出力ストリーム処理は、図１３と同一であるので、図１３のこれらのモジュール及びデータストリームの先の説明がここでも適用される。
【０１４２】
出力メディアのクロッキング及び同期化
図８のオーディオ出力ハードウエア１５２は、録音作動及び再生作動の両方の最中にメディアのクロッキングを行って、全ての他のオーディオメディアデータ処理モジュール及び方法を通じてデマンド駆動チェーンを作成する。
出力処理を開始する指令がアプリケーションモジュール８２４において受け取られた時、各形式のメディアに対する最終出力モジュールは、その出力モジュールの入力バッファを充填するのに十分なデータを要求する。最終モジュールの前のチェーン内の個々のモジュールは、現在の出力「時間」を知っておく必要はない。チェーン内の各モジュールは、モジュールが処理する形式のデータを供給する要求に応答してその要求を満たすだけである。
【０１４３】
データ要求に応答するモジュールの全ては、下流側からより多くのデータを要求する必要があるか否かを判断するために、出力シーケンスチェーン内の次のモジュールに通されるサンプル数を独自に数える。これには、テークオーディオデータに加えて、ビデオデータ及び会話の有無に関わらずオリジナル場面オーディオ（完全ミキシング及び「Ｍ＆Ｅ」）が含まれる。
１つ又はそれ以上のラインに関係するメディアの出力の前に再生又は録音開始要求が受け取られた時、出力サブモジュール８１６及び８１８に供給するモジュールブロック８４０内のバッファは、モジュールブロック８４０内の「ＤｉｒｅｃｔＳｈｏｗ」オペレーティングシステムモジュールによって所要のオーディオ及びビデオデータで満たされる。
【０１４４】
ビデオ及びオーディオ出力データの同期化は、この実施形態では、モジュールブロック８４０内の「ＤｉｒｅｃｔＳｈｏｗ」によって実行されるいわゆるオペレーティングシステムモジュールによって処理される。これらのＯＳモジュールはまた、システムバッファ処理及び出力要求を実行するものである。モジュール８４０内の他のモジュールは、「ＤｉｒｅｃｔＳｈｏｗ」のクライアントである。「ＤｉｒｅｃｔＳｈｏｗ」機能及び作動は、マイクロソフト・インコーポレーテッドにより提供されて文書化された「ＤｉｒｅｃｔＸ  ＳＤＫ」（ソフトウエア開発キット）、及び他の文献で説明されている。
【０１４５】
上述の方法及び装置は、訓練を受けていないユーザに単一の統合した簡単なシステムを提供するものであり、これは、一般人の一員が、ビデオクリップに付随する登場人物又は歌手の音声を、表示される唇の動きに正確に同期するように再生中に自動的に処理されて配置される自分自身の音声で置換することを可能にするものである。
【図面の簡単な説明】
【０１４６】
【図１】一般的な家庭用ＰＣシステムにある一般的な構成要素のブロック図である。
【図２】一般的なＰＣ環境における従来技術のソフトウエア構成要素を示すブロック図である。
【図３】本発明の一実施形態によりリボイシングシステムアプリケーションソフトウエアがＰＣモニタ上で未熟なシステムエンドユーザに呈示する制御を有するグラフィカル・ユーザ・インタフェースの一例を示す図である。
【図４】本発明の一実施形態により取外し可能なメディアによってユーザのＰＣに転送されて組込メディアのリボイシングを提供するエンドユーザプログラムの作成に関わる様々なコンピュータシステム内の主な要素を概略的に示すブロック図である。
【図５】本発明の一実施形態により選択オーディオビデオクリップ内に存在する様々なメディアデータストリーム間の関係を概略的に示す図である。
【図６】２つのラインの開始及び停止時間が二対の点線によってマーク付けされて示された「メディア準備エディタ」によって使用される一般的な市販オーディオ編集システム内のオーディオ波形表示の一例を示す図である。
【図７】１つのラインの２つの言葉の開始及び停止時間が点線によってマーク付けされて示された「メディア準備エディタタ」によって使用される一般的な市販オーディオ編集システム内のオーディオ波形表示の一例を示す図である。
【図８】本発明の一実施形態によりＰＣベースのリボイシングシステムにおいてユーザ音声の稽古、録音、処理、及び再生の作動を実施する主な作動的ソフトウエアモジュール、データ記憶装置、及びハードウエア構成要素をブロック形態で示す図である。
【図９】本発明の一実施形態により稽古段階作動に関わる様々なメディアソース、これらのソースを用いるアクション、メディア内のイベントの相対的タイミング、及び出力宛先を概略的に示す図である。
【図１０】本発明の一実施形態により録音段階作動に関わる様々なメディアソース、これらのソースを用いるアクション、メディア内のイベントの相対的タイミング、及び出力宛先を概略的に示す図である。
【図１１】本発明の一実施形態により録音及び整合処理ブロック８３０を実施してユーザ録音の時間整合バージョンを作成する図８の要素の更なる詳細をブロック形態で示す図である。
【図１２】本発明の一実施形態により再生段階作動に関わる様々なメディアソース、これらのソースを用いるアクション、メディア内での主なイベントの相対的タイミング、及び出力宛先を概略的に示す図である。
【図１３】本発明の一実施形態により場面及びライン再生中に図８のブロック８４０において行われるデータストリーム処理の更なる詳細をブロック形態で示す図である。
【図１４】本発明の一実施形態によりライン録音中に図８のブロック８４０において行われるデータストリーム処理の更なる詳細をブロック形態で示す図である。
【符号の説明】
【０１４７】
４４０  デジタルオーディオ及びビデオファイル
８１０、８２０、８２４、８２８、８３０、８４０  処理システム
８５３  会話のテキスト
【図１】
0004695392.tif 000007
【図２】
0004695392.tif 000008
【図３】
0004695392.tif 000009
【図４】
0004695392.tif 000010
【図５】
0004695392.tif 000011
【図６】
0004695392.tif 000012
【図７】
0004695392.tif 000013
【図８】
0004695392.tif 000014
【図９】
0004695392.tif 000015
【図１０】
0004695392.tif 000016
【図１１】
0004695392.tif 000017
【図１２】
0004695392.tif 000018
【図１３】
0004695392.tif 000019
【図１４】
0004695392.tif 000020