(57)【要約】状況的に関連するサウンド・イベント（例：審判の吹く笛）が識別され、選択され、遅延オーディオ・ミックス内でブロードキャストされることを許可するため、図１は、複数の指向性マイク（ＤＭ１−ＤＭ１２）が、各マイクによってカバーされたスタジアム（１２）の領域内の特定のロケーション（１４）からのサウンド・イベント（１６−２０）をキャプチャするシステムを示す。プロセッサ（３４）は、各チャンネルについて、キャプチャされたサウンド・イベントの信号処理及びサンプリングを実行する。サンプルは、データベース（４０）に記憶された、予め識別されたサウンド・イベントに対応する、参照フィーチャ・テンプレート（１５２）と比較される。サンプルをフィーチャ・テンプレートと比較した結果、対応する場合、対応するバッファされたオーディオが、最終オーディオ・ミックスに導入される。サウンド・イベントは、他のサウンド・イベントに対して、立体的な関係を有するように配置されてもよい。追加的な自動オーディオ処理は、オーディオ・ミックスに挿入された場合、各チャンネルのオリジナル・サウンド・イベントを増大または変更してもよい。【選択図】  図１
2018501743.tif 000002
【特許請求の範囲】
【請求項１】
ミキシング・システムであって、
多数のマイクと、前記多数のマイクのそれぞれにはチャンネルが割り当てられており、且つ、前記多数のマイクのそれぞれは、該マイクのカバー領域内の複数のリアルタイム・サウンド・イベントをキャプチャするように構成されており、
前記多数のマイクのそれぞれがキャプチャした前記複数のリアルタイム・サウンド・イベントを記憶するバッファと、
予め定められた所望のサウンド・イベントを示す少なくとも１つの参照フィーチャ・テンプレートを記憶するメモリと、
制御アルゴリズムを実行するように構成されたプロセッサとを備え、
前記制御アルゴリズムは、
前記チャンネルのそれぞれについて、キャプチャされた前記複数のリアルタイム・サウンド・イベントを処理して、信号特性を有する複数のサンプルにし、
前記チャンネルのそれぞれについて、前記複数のサンプルのそれぞれの信号特性を、前記少なくとも１つの参照フィーチャ・テンプレートと比較して、キャプチャされた前記リアルタイム・サウンド・イベントが前記少なくとも１つの参照フィーチャ・テンプレートに実質的に対応する信号特性を有しているか否かを識別し、
比較の結果、前記チャンネルについて、前記所望のサウンド・イベントと、前記キャプチャされたリアルタイム・サウンド・イベントとに相関関係が存在することが示された場合に、(i)そのチャンネルについて、前記キャプチャされたリアルタイム・サウンド・イベント、及び、(ii)前記キャプチャされたリアルタイム・サウンド・イベントの代わりに、代替または増幅したオーディオ出力、のうち少なくとも１つを含む最終オーディオ・ミックスを生成するように構成されていることを特徴とするミキシング・システム。
【請求項２】
前記制御アルゴリズムは、前記所望のサウンド・イベントと、そのチャンネルの前記キャプチャされたリアルタイム・サウンド・イベントのいずれにも相関関係が存在しないと評価された場合に、前記最終オーディオ・ミックスに対する前記チャンネルのそれぞれのオーディオ寄与度を自動的に制限するように構成されている請求項１または２に記載のミキシング・システム。
【請求項３】
前記制御アルゴリズムは、チャンネル内に含まれると識別された、所望のサウンド・イベントを、他のサウンド・イベントに対して立体的な関係を有するように、最終オーディオ・ミックス内に配置するように構成されている請求項１，２または３に記載のミキシング・システム。
【請求項４】
前記代替のオーディオ出力は、予め定められたサウンド，異なるオーディオ・トラックのみからなるグループ内から選択される請求項１，２または３に記載のミキシング・システム。
【請求項５】
前記最終オーディオ・ミックスは、ビデオ映像と同期している請求項１乃至４のいずれか１項に記載のミキシング・システム。
【請求項６】
前記制御アルゴリズムは、前記所望のサウンド・イベントと、前記キャプチャされたリアルタイム・サウンド・イベントとの間に相関関係が存在する場合に、前記最終オーディオ・ミックスまたは前記ビデオ映像にメッセージを挿入するように構成されている請求項５に記載のミキシング・システム。
【請求項７】
前記メッセージは、前記プロセッサによってアクセスされる広告データベースから取得されるものであり、
前記メッセージは、少なくともいくつかのオーディオ・コンテンツを含む請求項６に記載のミキシング・システム。
【請求項８】
時間領域で前記キャプチャされたリアルタイム・サウンド・イベントは、周波数領域表現に変換される請求項１乃至７のいずれか１項に記載のミキシング・システム。
【請求項９】
前記サウンド・イベントは、単語、フレーズ、ある物が他の物をたたくことによって生成される音、楽器の音、変わりのオーディオ・ソースのための音、及び、警告音のうち少なくとも１つである請求項１乃至８のいずれか１項に記載のミキシング・システム。
【請求項１０】
前記制御アルゴリズムは、前記チャンネルのそれぞれの前記キャプチャされた複数のリアルタイム・サウンド・イベントを処理して、前記キャプチャされたリアルタイム・サウンド・イベント毎に複数のサンプルにし、
前記複数のサンプルのそれぞれは、同じ前記キャプチャされたリアルタイム・サウンド・イベントに対して、異なる評価基準を提供する請求項１乃至９のいずれか１項に記載のミキシング・システム。
【請求項１１】
ブロードキャスト向けの同期サウンド・ステージのアセンブル方法であって、
多数のマイクでリアルタイム・サウンド・イベントをキャプチャし、前記多数のマイクのそれぞれには、チャンネル及びカバー領域が割り当てられており、
前記多数のマイクのそれぞれでキャプチャされた複数のサウンド・イベントをバッファし、
前記チャンネルのそれぞれについて、キャプチャされた複数のリアルタイム・サウンド・イベントを信号処理して、信号特性を有する複数のサンプルにし、
前記チャンネルのそれぞれについて、前記複数のサンプルのそれぞれの信号特性を、前記少なくとも１つの参照フィーチャ・テンプレートと比較して、キャプチャされた前記リアルタイム・サウンド・イベントが前記少なくとも１つの参照フィーチャ・テンプレートに実質的に対応する信号特性を有しているか否かを識別し、前記参照フィーチャ・テンプレートのぞれぞれは、予め定められた所望のサウンド・イベントを示すものであり、
比較の結果、前記チャンネルについて、前記所望のサウンド・イベントと、前記キャプチャされたリアルタイム・サウンド・イベントとに相関関係が存在することが示された場合に、(i)そのチャンネルについて、前記キャプチャされたリアルタイム・サウンド・イベント、及び、(ii)前記キャプチャされたリアルタイム・サウンド・イベントの代わりに、代替のオーディオ出力、のうち少なくとも１つを含む最終オーディオ・ミックスを生成するアセンブル方法。
【請求項１２】
前記所望のサウンド・イベントと、そのチャンネルの前記キャプチャされたリアルタイム・サウンド・イベントのいずれにも相関関係が存在しないと評価された場合に、前記最終オーディオ・ミックスに対する前記チャンネルのそれぞれのオーディオ寄与度を自動的に制限するように構成されている請求項１１に記載のアセンブル方法。
【請求項１３】
チャンネル内に含まれると識別された、所望のサウンド・イベントを、他のサウンド・イベントと立体的な関係を有するように、最終オーディオ・ミックス内に配置するように構成されている請求項１１または１２に記載のアセンブル方法。
【請求項１４】
前記代替のオーディオ出力は、予め定められたサウンド，異なるオーディオ・トラックのみからなるグループ内から選択される請求項１１，１２または１３に記載のアセンブル方法。
【請求項１５】
前記最終オーディオ・ミックスは、ビデオ映像と同期している請求項１１乃至１４のいずれか１項に記載のアセンブル方法。
【請求項１６】
前記所望のサウンド・イベントと、前記キャプチャされたリアルタイム・サウンド・イベントとの間に相関関係が存在する場合に、前記最終オーディオ・ミックスまたは前記ビデオ映像にメッセージを挿入するように構成されている請求項１５に記載のアセンブル方法。
【請求項１７】
時間領域の前記キャプチャされたリアルタイム・サウンド・イベントを周波数領域表現にフーリエ変換する請求項１６に記載のアセンブル方法。
【請求項１８】
プロセッサによって実行された場合に、請求項１１乃至１７のいずれか１項に記載のオーディオ・ミキシング機能を実行するコードを含むコンピュータ・プログラム・プロダクト。
【請求項１９】
添付の図に関連して、実質的に上述したミキシング・システム。
【請求項２０】
プロセッサによって実行された場合に、添付の図に関連して、実質的に上述したオーディオ・ミキシング機能を実行するコードを含むコンピュータ・プログラム・プロダクト。
【請求項２１】
添付の図に関連して、実質的に上述したブロードキャスト向けの同期サウンド・ステージのアセンブル方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、オーディオ・ミキシングに関するするものであり、排他的ではないが、具体的には、リアルタイム録音の自動システム、及び、テレビ放送されたサッカーの試合のような、ブロードキャストされるライブのスタジアム・ベースのイベント（stadia-based events）のアシスト立体オーディオ・ミキシングに適用可能なものである。
【背景技術】
【０００２】
従来、サッカーの試合のようなスタジアム・ベースのイベントのテレビ放送やラジオ放送のオーディオは、i)典型的には、ピッチの縁に沿って、名目上（nominally）、等間隔に配置され、主に特定の関心事項（specific interest）の個々のオン・ピッチ／アクション・サウンド（on-pitch/action sounds）をキャプチャ（capture）するように構成された１２台の（指向性（directional））ショットガン・マイク（shotgun microphones）、及び、ii)拡散した周囲の群衆ノイズ（diffuse ambient crowd noise）をキャプチャするのに用いられる高所に取り付けられたＳｏｕｎｄｆｉｅｌｄ（登録商標）マイク（またはステレオ・ペア（stereo pair））の組み合わせで録音されている。高所に取り付けられていることで、観客からのノイズ・レベル内の一般的なサージ（surges）を容易に制御できる。
【０００３】
スタジアムの瞬間的な雰囲気やイベントのサウンド・ステージ全体の表現を示すため、専門的な知識を有するサウンド・エンジニアがミキシング・デスク（mixing desk）を操作し、これらのマイクから得られたミックス（mix）内での群衆ノイズのレベルを制御する。制御は、オンフィールド・アクション（on-field action）の監視、ゲーム・フィールドの特定部分内の瞬間的なプレイが全体のオーディオ・ミックスに含める価値のある関連したオーディオを生成した場合に、識別されたショットガン・マイクからのオーディオ寄与度を調整する（すなわち、増大または減少させる）手動によるフェーダー（faders）の適切な動的制御（dynamic control）を伴う。ライブ・アクション・イベント（live action events）を見なければならないことに加えて、さらに、フェーダーを上げるまたは下げるサウンド・エンジニアの判断は、典型的には、プロデューサーから供給されている、そのときのビジュアル／ビデオカメラ映像の影響を受ける。
【０００４】
オーディオ・レベルのミキシング制御は、いくつかの理由から行われる。例えば、(i)群衆ノイズのレベルを制御する、(ii)場面における全てのいわゆるダイジェティック・サウンド（diegetic sounds）（すなわち、スクリーン上で音源が見えている音、または、アクションによって音源が存在することが暗示されている音（例えば、プレイヤの声やボールを蹴った音））を含めながら、いわゆるノン・ダイジェティック・サウンド（non-diegetic sounds）（例えば、ナレーターの解説）がミックスに加わることを避ける。もし全てのマイクが単純に"高（high）"に設定されたままになっていたとすると、群衆ノイズが大きすぎて、特定の関心事項と被ってしまい、聞くことができなくなってしまう。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Henry Bourne and Joshua D. Reiss: "Evaluating iBall - An intuitive interface and assistive audio mixing algorithm for live soccer events", 135th Conv. Audio Eng. Soc, New York, 2013
【非特許文献２】Cengarle, G., Mateos, T., Olaiz, N., and Arumi, P. (2010): "A New Technology for the Assisted Mixingof Sport Events: Application to Live Football Broadcasting" published in Proceedings of the 128th Conv. Audio Eng. Soc. London, UK
【非特許文献３】Dr Rob Oldfield and Dr Ben Shirley: "Automatic Mixing and Tracking of On-Pitch Football Action for Television Broadcasts" published in 2011 in Proc. 130th Convention of the Audio Engineering Society, AES, London, UK
【非特許文献４】Dr Rob Oldfield and Dr Ben Shirley: "Demo paper: Audio object extraction for live sports broadcast" published inMultimedia and Expo Workshops (ICMEW), 2013 IEEE International Conference on', IEEE, San Jose, US
【非特許文献５】Dr Rob Oldfield and Dr Ben Shirley: "Object- based audio for interactive football broadcast" published in 2012 in Multimedia Tools and Applications. DOI: 10.1007/s11042-013-1472-2
【非特許文献６】Dr Rob Oldfield and Dr Ben Shirley: "Format Agnostic Recording and Spatial Audio Reproduction of Football Broadcasts for the Television" published in 2011 in the Proceedings of the Institute of Acoustics, Reproduced Sound, Brighton, UK
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ライブイベントのテレビ及びラジオ放送のオーディオ・ミキシングの標準的慣行は、所定の時間において、サウンド・エンジニアが動的に、関心領域（region(s) of interest）内のマイクに対応したミキシング・デスクのフェーダーを上げたり下げたりすることを伴う。さらに具体的には、ピッチ上の関連したアクションが所定のマイクの近傍である場合に、特定のマイクのフィードの特定のフェーダーのレベルのみを上げること（すなわち、そのマイクのチャンネル（channel）をミックスに含めること）が目的である。したがって、サウンド・エンジニアは、主観的にオーディオ入力ミックスを選択すること、及び、さらに、各タッチラインに沿った潜在的なものを含む、グラウンド（field of play）の周囲で広く（また、ある程度ランダムに）発生する、素早く展開するイベントを追随するように高度に集中することの２つのことに専心しなければならない。そのため、イベントを逃すことになる。
【０００７】
オーディオ・ミキシングに関する既知の技術としては、Ｃａｌｒｅｃ（登録商標）Ａｕｄｉｏ  ＬｉｍｉｔｅｄのｉＢａｌｌアプリケーションは、サッカーの試合のブロードキャストのアシスト・オーディオ・ミキシング（assisted mixing of the audio）にｉＰａｄを利用する。この方法は、Henry Bourne and Joshua D. Reiss: "Evaluating iBall - An intuitive interface and assistive audio mixing algorithm for live soccer events", 135th Conv. Audio Eng. Soc, New York, 2013（非特許文献１）のカンファレンス・ペーパーに示されている。
【０００８】
他の手動ベースのミキシング技術は、128th Conv. Audio Eng. Soc. London, UKの予稿集（proceedings）にて発行されたCengarle, G., Mateos, T., Olaiz, N., and Arumi, P. (2010): "A New Technology for the Assisted Mixingof Sport Events: Application to Live Football Broadcasting"（非特許文献２）に示されている。この論文では、サウンド・エンジニアにはユーザ・インターフェイスが提示されている。サウンド・エンジニアは、ピッチを示すスクリーン上で関心点（point of interest）を特定し、動的に動かすことができ、一方で、アプリケーションがブロードキャスト・コンソールのフェーダーを制御する。
【０００９】
オーディオ・ミキシングに関する他の技術論文は、Dr Rob Oldfield及びDr Ben Shirleyによる共著である次のものを含む：i) "Automatic Mixing and Tracking of On-Pitch Football Action for Television Broadcasts" published in 2011 in Proc. 130th Convention of the Audio Engineering Society, AES, London, UK（非特許文献３）; ii) "Demo paper: Audio object extraction for live sports broadcast" published inMultimedia and Expo Workshops (ICMEW), 2013 IEEE International Conference on', IEEE, San Jose, USA（非特許文献４）; iii) "Object- based audio for interactive football broadcast" published in 2012 in Multimedia Tools and Applications. DOI: 10.1007/s11042-013-1472-2（非特許文献５）; and iv) "Format Agnostic Recording and Spatial Audio Reproduction of Football Broadcasts for the Television" published in 2011 in the Proceedings of the Institute of Acoustics, Reproduced Sound, Brighton, UK（非特許文献６）。
【課題を解決するための手段】
【００１０】
本発明の第１の態様では、ミキシング・システムであって、多数のマイクと、多数のマイクのそれぞれにはチャンネルが割り当てられており、且つ、多数のマイクのそれぞれは、該マイクのカバー領域内の複数のリアルタイム・サウンド・イベント（real-time sound events）をキャプチャするように構成されており、多数のマイクのそれぞれがキャプチャした複数のリアルタイム・サウンド・イベントを記憶するバッファ（buffer）と、予め定められた所望のサウンド・イベントを示す少なくとも１つの参照フィーチャ・テンプレート（reference feature template）を記憶するメモリと、制御アルゴリズム（control algorithm）を実行するように構成されたプロセッサとを備え、制御アルゴリズムは、チャンネルのそれぞれについて、キャプチャされた複数のリアルタイム・サウンド・イベントを処理して、信号特性（signal characteristics）を有する複数のサンプルにし、チャンネルのそれぞれについて、複数のサンプルのそれぞれの信号特性を、少なくとも１つの参照フィーチャ・テンプレートと比較して、キャプチャされたリアルタイム・サウンド・イベントが少なくとも１つの参照フィーチャ・テンプレートに実質的に対応する信号特性を有しているか否かを識別し、比較の結果、チャンネルについて、所望のサウンド・イベントと、キャプチャされたリアルタイム・サウンド・イベントとに相関関係（correlation）が存在することが示された場合に、(i)そのチャンネルについて、キャプチャされたリアルタイム・サウンド・イベント、及び、(ii)キャプチャされたリアルタイム・サウンド・イベントの代わりに、代替または増幅したオーディオ出力（substitute or enhanced audio output）、のうち少なくとも１つを含む最終オーディオ・ミックス（final audio mix）を生成するように構成されていることを特徴とするミキシング・システムを提供する。
【００１１】
本発明の第２の態様では、ブロードキャスト向けの同期サウンド・ステージのアセンブル方法であって、多数のマイクでリアルタイム・サウンド・イベントをキャプチャし、多数のマイクのそれぞれには、チャンネル及びカバー領域が割り当てられており、多数のマイクのそれぞれでキャプチャされた複数のサウンド・イベントをバッファし、チャンネルのそれぞれについて、キャプチャされた複数のリアルタイム・サウンド・イベントを信号処理して、信号特性を有する複数のサンプルにし、チャンネルのそれぞれについて、複数のサンプルのそれぞれの信号特性を、少なくとも１つの参照フィーチャ・テンプレートと比較して、キャプチャされたリアルタイム・サウンド・イベントが少なくとも１つの参照フィーチャ・テンプレートに実質的に対応する信号特性を有しているか否かを識別し、参照フィーチャ・テンプレートのぞれぞれは、予め定められた所望のサウンド・イベントを示すものであり、比較の結果、チャンネルについて、所望のサウンド・イベントと、キャプチャされたリアルタイム・サウンド・イベントとに相関関係が存在することが示された場合に、(i)そのチャンネルについて、キャプチャされたリアルタイム・サウンド・イベント、及び、(ii)キャプチャされたリアルタイム・サウンド・イベントの代わりに、代替のオーディオ出力、のうち少なくとも１つを含む最終オーディオ・ミックスを生成するアセンブル方法を提供する。
【００１２】
本発明の他の態様では、プロセッサによって実行された場合に、請求項１１乃至１７のいずれか１項に記載のオーディオ・ミキシング機能を実行するコードを含むコンピュータ・プログラム・プロダクトを提供する。
【００１３】
本発明は、ライブ・イベントのブロードキャストのためのオーディオのミキシングを自動的にアシストする有益なソフトウェア・ソリューションを提供する。未熟な操作者でも質の高いオーディオ・ミックスを提供することを可能とする。様々な実施の形態の制御アルゴリズムは、検知されたオーディオ・イベントに対して反応し、遡及して対応するマイク・フィードをミックス（オーディオ信号としてブロードキャストするもの、または、コンポジット・オーディオ−ビデオ／ＴＶブロードキャスト）に追加することをサポートする。さらに具体的には、制御アルゴリズムは、ミックスを生成するために、状況的に関連のあるサウンド・イベント（contextually relevant sound events）が（スタジアム等のステージ内の）どこで発生しているのか表現するのに、人間による入力を必要とせず有益であり、各マイクによってキャプチャされた受信したオーディオ・コンテンツのみに基づいてオーディオ・ミキシングが決定される。そのため、本発明は、熟練した操作者を必要とせずに生成された、全ての顕著な（salient）イベントを含む、ブロードキャストのための質の高いオーディオ・ミックスを提供する。
【００１４】
キャプチャされたオーディオの信号処理は、伝達される最終コンポジット（ミックス）オーディオ出力に含まれるべき、状況的に関連のあるサウンド・イベントを反映する、キャプチャされたサウンド・イベント内の特徴（characteristic traits）を引き立たせる（accentuate）ように、設計及び選択されている。データベースに記憶された参照オーディオ・フィーチャ・テンプレートは、状況的に関連する、予め定義されたサウンド・イベントと対応する。サンプル（または、ときに"チャンク（chunks）"と呼ばれる、複数のサンプルのグループ）を１以上のフィーチャ・テンプレートと比較することによって、存在することがいったん識別されると、オリジナルのキャプチャされた状況的に関連するサウンド・イベントは、バッファから抽出され、時間が同期した（また、選択的に、立体的に同期した）オーディオ出力にアセンブルされる。
【００１５】
本発明の実施の態様を、添付の図を参照して示す：
【図面の簡単な説明】
【００１６】
【図１】好ましい実施の形態のオーディオ・ミキシング・システムの機能ブロック図である。
【図２】時間領域の第１のキャプチャされたオーディオ・イベントから、周波数領域において認識可能な特徴を有する、対応するスペクトル・プロファイルへの変換を示す図である。
【図３】時間領域の第２のキャプチャされたオーディオ・イベントから、時間領域において認識可能な特徴を有する、対応するスペクトル・プロファイルへの変換を示す図である。
【図４】図１に示したシステムのマイク処理チェーン１５０の概略及び機能ブロック図である。
【図５】図１のシステムで利用されている、好ましいマルチチャンネル・オーディオ処理アルゴリズム、及び、図２のマイク処理チェーンである。
【発明を実施するための形態】
【００１７】
図１は、好ましい実施の形態のオーディオ・ミキシング・システムの機能ブロック図である。システム１０は、サッカーのピッチ１２のようなスポーツ・フィールドに関して示してある。システム１０は、多数の（この例では、１２台）指向性マイク（ＤＭ1，ＤＭ2・・・ＤＭ12）を備えている。指向性マイクは、ピッチ１２の周辺に配置されており、ピッチの区分に向けられたサウンド・キャプチャ領域を有している。システムが備える指向性マイクは、もっと少なくてもよく（例えば、４台）、また、もっと多くの指向性マイクを備えてもよい。図１の例の１２台の場合、通常は、ピッチの４つのサイドのそれぞれについて、等間隔に配置されている。ピッチ１２上に適用された点線入りグリッド・パターン（dotted grid pattern）は、各指向性マイクのおおよそのサウンド・カバー領域を反映する。これらの領域は、名目的には、長方形と考えられているが、実際には、理解されるように通常は、浅裂型（lobed-shaped）をしている。
【００１８】
説明のために、指向性マイクＤＭ6によってカバーされる領域内にあるサッカーボール１４を図示している。ボールとの接触に関連する音波（sound waves）１６は、主に指向性マイクＤＭ6によって拾われる（picked up）。これら音波は、最も早く到達し、かつ、最も音エネルギが強い。カバー領域内のボールの正確な位置と、グリッド・ラインによって示される名目上のサウンドの認識の境界線との近さによって、比較的近い位置にある他の指向性マイク（例えば、ＤＭ7及びＤＭ10）が音波１８−２０を拾うのはもちろんである。音波１８−２０は、ボールから指向性マイクまでの音波の伝搬時間（propagation times）がわずかにオフセット（offset）／遅延（delayed）している。通常のケースでは、奥に（progressively farther）配置された指向性マイクによって拾われた音波の音エネルギのレベルは、サウンド・イベントと最も近いマイク（図１に示した例では、指向性マイクＤＭ6）によって拾われた場合と比較して下がるのはもちろんである。そのため、オーディオ・ミックスのマイクのフィード（microphone feed）を選択する際は、異なる指向性マイクによって検知された同じサウンド・イベントと関連付けるため、信号エンベロープ分析（signal envelope analysis）を利用してもよい。イベント・ノイズの検知は、優勢な気象条件（例えば、風）、及び、他のチャンネルと関連する特定のチャンネル内の処理（コンプレッサ（compressor）またはリミッター（limiters）の存在によって生じたフィルタリング（filtering））によって影響を受ける、また、作用されることは理解されるであろう。
【００１９】
従来、後ろ方向及びピッチ１２から離れる方向へ延びる座席エリア２４（図の明確性のために、一部のみ図示）のような、広域の、拡散したサウンドをキャプチャするために、システム１０は、Ｓｏｕｎｄｆｉｅｌｄ（登録商標）マイク（またはステレオ・ペア）をさらに備えている。上述のように、少なくとも１つのＳｏｕｎｄｆｉｅｌｄ（登録商標）マイクは、ピッチ及び／または座席エリア１２の上の比較的高所（及び通常は中央位置）に配置されている。Ｓｏｕｎｄｆｉｅｌｄ（登録商標）マイク２２は、典型的には、固定のレベルにセットされており、Ｓｏｕｎｄｆｉｅｌｄ（登録商標）マイク２２によって提供されるアンビエント背景音（ambient background）に指向性マイクからのサウンド・オブジェクトが動的にミックスされる。
【００２０】
オーディオ・ミキシング・ユニット３０は、少なくとも１つのマイクロプロセッサ３４によって操作が制御されている。オーディオ・ミキシング・ユニット３０は、ライン入力（line inputs）３２として指向性マイク（ＤＭ1からＤＭn）からキャプチャされたサウンド表現（captured representations of sounds）１６−２０を受信するようにカップリングされている。マイクロプロセッサ３４は、メモリ３６とカップリングされている（または備えている）。メモリ３６は、サウンド処理及びフェーダー制御のための制御アルゴリズム３８を記憶している。メモリ３８は、さらに、各指向性マイクＤＭnのサウンド・イベントのサウンド・バッファリングをサポートしており、さらに、典型的には、ビデオ・バッファリングもサポートしている。バッファリングは、信号伝搬、及び、信号処理によって生じるレイテンシ（latency）を処理することが求められている。また、バッファリングは、アクティブな指向性マイクのオーディオ・チャンネルの同期、及び／またはＡＶブロードキャスト（ワイヤを通じてストリーミングされるもの、または、ワイヤレス通信技術を用いて送信されるもの）用のキャプチャされたビデオ・イメージとの同期を可能とすることに使用されている。最大オーディオ・レイテンシは、アレイ内の各指向性マイクによってキャプチャされたオーディオ・イベントを検知するまでどれだけかかるかによって決定される。
【００２１】
マイクロプロセッサ３４とカップリングされたテンプレート・データベース（template database）４０は、指向性マイクによってキャプチャされ検知したサウンド・イベントと、オーディオ・ミックス内に含まれることの根拠となる（warrant）特定の関心事項（specific interest）のサウンド・イベントの間の相関関係を示す、予め記憶されたサウンド・プロファイル（pre-stored sound profile）を含む。予め記憶されたサウンド・プロファイルは、モデル（model）をフィーチャする、または、そうでなければ、特定のイベントと関連する実際のサウンドを示す。特定のイベントとは、例えば（サッカーの試合に関するものであれば）、審判の笛（referee's whistle）や様々なレベルの力によってサッカーボールが蹴られた際に発生する音である。
【００２２】
概観すると、制御アルゴリズム３８は、状況から判断してイベントの録音物（recording）として（そして、最終的にブロードキャストとして）適切であるとして検知したイベントに基づいて、マイク及び／またはミックス・レベルを選択することで、オーディオ・ミキシング処理を自動的に制御する。制御アルゴリズムは、ブロードキャスト用にキー・オンピッチ・サウンド（key on-pitch sounds）（例えば、ボールのキック音、笛の音、または、その他の可聴アラートまたは警告音）をミックスし、好ましくは（ただし、任意に）、音を拾ったマイクからの入力に基づいてピッチ上の位置を決定する。抽出された"オーディオ・オブジェクト（audio objects）"（笛、または、ボールのキック、及び／または、スピーチとは別の音源であってもよい）は、再現（reproduction）のため、任意の立体オーディオ・システム（spatial audio system）を用いて、（少なくともオーディオ・ミックス内に含まれる）空間（space）に位置決めされてもよい。すなわち、オーディオ・ラウドスピーカー再現システム（audio loudspeaker reproduction system）の状況に応じた指向性マイクのフィードの重み付け（weighting）があってもよい。オーディオ・ミックスは、ステレオ・ペアのラウドスピーカー（または３．１，５．１及び７．１スピーカー構成からのモノ出力（mono-output））から、デュアル・モノ・オーディオ・サウンド・ステージ（dual mono audio sound stage）を生成してもよいのはもちろんである。本発明によるオーディオ・ミックス制御は、オンピッチ・サウンドが前方中央（frontcentre）にパンされる（panned）だけの従来のシステムにとっては、パラダイム・シフト（paradigm shift）である。制御アルゴリズムによって、サウンド・エンジニアによる監視及び手動の指向性マイクの選択によらず、オーディオ・ミックス内に含めるオーディオ・オブジェクトの識別及び選択が可能となる。他の言葉で言い換えると、本発明による様々な実施の形態によれば、オーディオ・ミックスを生成するためにサウンドがどこに存在するのかを表現するために、人間による入力を必要としない。各マイクで受けたオーディオ・コンテンツのみに基づいてミキシングの決定を行う、完全にソフトウェア・ベースのソリューションである。制御アルゴリズム３８は、サウンド・オブジェクト（ボールのキックや笛のように、状況から判断して関連のあるイベント）のスループット（throughput）を制御し、合成サウンド・ステージに送信する、フェーダーの位置（図１の符号３９）の選択及び制御を通じて、例えば、サッカーボールを立体的に追跡するように機能する。上述のように、サウンド・オブジェクトは特定のラウドスピーカーのオーディオ・ミックスに対する寄与度に重み付けをすることで、サウンド再現システム内で立体的にずらすことが可能である。同様に、トータル・サウンドは、オーディオ・ミキシングによって、特に、各指向性マイクのチャンネルのオーディオ・コンポーネント（audio component）の寄与度を決める相対的なフェーダー位置によって生成された、全てのサウンド・ステージの中央に位置決めされてもよい。したがって、制御アルゴリズム３８は、技術（arts）やスポーツで普通に行われている、イベントのブロードキャストにおいてアシスト・ミキシングを提供する���
【００２３】
制御アルゴリズム３８は、（実質的に）リアルタイムで、指向性マイクのフィードを'聴いて（listen）'から分析を行う。この分析は、認識可能な（discernible）特徴を含むスペクトル表現（spectral representation）を生成するのに、各時間領域信号（time domain signal）の信号処理を必要とする。認識可能な特徴の有無が、高い確度（dicision confidence）をサポートする。さらに具体的には、各スペクトル表現と、予め定義されたオーディオ・フィーチャ・テンプレートとを比較し、プロセッサ３６が、予め定められた閾値レベルを超えたか否かを判定する。スペクトル表現に基づくと、比較結果による確度のレベルを変化させるように、閾値レベルを設定／調整することが可能である。予め定められた閾値レベルを超えると、有意な（significant）関心事項のオーディオ・イベントが発生したことが示され、また、オーディオ・ミックスにその有意なオーディオ・イベントが含められる根拠となる。
【００２４】
信号処理には有限時間（finite time）が必要であるため、ブロードキャストには、リアルタイムに関連した、内在するレイテンシが存在する。そのため、（様々な、自動的に選択された指向性マイクのフィードからの）サウンド・ステージのアセンブルは、任意の最終ブロードキャストから遅れが生じる。言い換えると、有意なオーディオ・イベントが発生すると、制御アルゴリズムは、遡及して（retrospectively）、対応するマイク・チャンネルをオーディオ・ミックスに追加する。
【００２５】
操作上の観点からすると、制御アルゴリズム３８が関心事項のオーディオ・イベントを検知すると、まず、ミキシング・デスク３０のフェーダーを自動的に上げるように構成されており、続いて、さらなるイベントが検知されなければ、所定の時間経過後、そのフェーダーを下げる。フェーダーの作動は、ミキシング・デスクにモータ駆動のフェーダー制御を使用することで容易になることは理解されるであろう。制御アルゴリズムは、（ミキシング・デスク３０を受け持っている）サウンド・エンジニアが簡単に自動ミキシングを選択的にオーバーライド（over-riding）できるように構成されていることが好ましい。例えば、サウンド・エンジニアが関連するフェーダーを触って、そのフェーダーの自動制御を解除するようにしてもよい。選択制のオーバーライドによって、完全な自動ミキシングではなく、アシスト・オーディオ・ミキシングを提供できる。
【００２６】
図２は、時間領域５２の第１のキャプチャされたオーディオ・イベント５０から、対応するスペクトル・プロファイル５４への変換（transposition）を示す図である。スペクトル・プロファイルは、周波数領域６２において認識可能な特徴５６−６０を有している。
【００２７】
笛（例えば、空気圧のみを利用して音を出すＦｏｘ  ４０  ｐｅａｌｅｓｓ  ｗｈｉｓｔｌｅ）を単純な例（サッカーのようなスポーツ・コンテスト（sporting contest）の典型例）とすると、笛は、かなり狭帯域の基本周波数（fairly narrowband fundamental frequency）６４、（笛を吹く時間に関連する）固定の持続期間（fixed duration）６６、及び、複数の顕著な第１次調波から第３次調波６８−７２を有している。各調波は、同じ持続期間を有している。実際、図２に示したスペクトログラム（spectrograms）は、笛の持続期間において、基本周波数、及び、基本周波数の整数倍の調波成分（harmonic components）を示している。残念ながら、通常の背景音があると、時間領域の観点からは、アンビエント背景音のパワー内の大きなサージを笛の音（whistle blow）と区別することができない。しかしながら、時間に関してフーリエ変換等の適切な信号処理を行い、［１／周波数］８４に対するケプストラム（cepstrum）８２のプロット（plot）８０は、周波数領域の特徴を生成する。サンプリングした時間領域信号内において、十分な調波（harmonic content）がある場合に、スパイクを有している。この例では、フーリエ変換を実施することで、時間領域内の周波数成分の周期性を抽出し、スパイク５６を生成する。言い換えれば、個々の笛のようなイベントの場合、信号処理をすることにより、全ての調波を示す認識可能な特徴を有するプロファイル５４を生成する。
【００２８】
テンプレート・データベースには、（同様に周波数領域でモデル化された）笛のフィーチャ・テンプレートが含まれているため、制御アルゴリズム３８は、記憶された各フィーチャ・テンプレートと、信号処理した各オーディオ・オブジェクトとを対照させ、プロファイルが合致する否かを決定する。実際は、合致するか否かは、予め定められた閾値レベル９０を超える周波数成分に基づいて判断する。図２の時間領域６２の場合には、スパイク５６が、最終オーディオ・ミックスにキャプチャされたオーディオを含める根拠となる認識できる特徴である。
【００２９】
実際には、（時間のオフセットはあるが）複数の指向性マイクが笛を拾うため、複数の指向性マイク音源がキャプチャした一時的にバッファされたサウンド・イベントは、選択されたサウンド・イベントが正しいという全体の信頼性（confidence）を向上させるため、（選択的にフェーダーを操作することで）並べて使用することができる。代わりに、識別した他の指向性マイク音源からの遅延したイベントを捨てて、主な音源１つのみを使用することもできる。
【００３０】
サウンド・イベント・フィーチャの他の例として、図３は、時間領域のキャプチャされたオーディオ・イベント（このケースでは、ボールが強く蹴られたことによって発生したノイズ）から、時間領域において認識可能な特徴を有する対応するスペクトル・プロフィールへの変換を示している。ボールのキックをモデリングすると、ボールのキックのノイズのイベントは持続時間が短く、周波数成分は、中程度に低周波数（moderately low frequency）であるが、比較的広帯域の連続した周波数帯１０２に広がっている。必然的に、リアルタイムでは、１以上の指向性マイクによって検知される、背景音を超える"鈍い音（thud）"が現れる。信号処理によって周波数領域に変換するこの場合では、ボールのキックについて、アンビエント背景音に対する認識可能なプロファイルを生じないが、時間（ｔ）に対するエネルギ変化率（ｄＥ／ｄｔ）の異なる周波数についてのプロットは、時間領域において認識可能なエネルギ・スパイク１１０を有する特徴のあるプロファイルを有するオーディオ・イベントが生じる。また、対応する予め記憶されたフィーチャ・テンプレートと比較することで（または、単に予め定められた閾値を参照することで）、プロセッサ３６が、顕著な（notable）サウンド・イベント／サウンド・オブジェクトが存在するか識別し、そして、遅延したブロードキャスト内にキャプチャされたサウンド・イベント／サウンド・オブジェクトを含むミックス・サウンド・ステージのアセンブリを生じる。したがって、アセンブルされたサウンド・ステージは、少なくとも１つの識別された指向性マイクによってキャプチャされ、且つ、バッファされた、例えば、ボールのキック音を含み、家のスピーカーから再現した際、サウンドの相対位置（例えば、前方中央パンに対して、右手方向及び後方）を提示することができるように、このボールのキックは、サウンド・ステージ内に潜在的に（所望の場合）立体的に配置される。
【００３１】
例えば、ゲームに参加しているプレイヤやサイドラインにいるコーチからの大声による指示のような声認識（voice detection）の観点からは、当業者であれば、キャプチャされた（また、バッファされた）時間領域の声信号（voice signal）に、他の信号処理技術が適用できることを望むであろう（appreciate）。声の場合のフィーチャ・テンプレートは、通常の話声や、もちろん、特定の言葉（例えば、ののしりの言葉（expletives））を示すことが知られているゼロポイント・クロス率（zero-point crossing rates）によってモデル化が可能である。代わりに、スペクトログラムの特有のパターンを識別するために、例えば、ニューラル・ネットワーク処理によって実現される機械学習技術（machine learning techniques）を採用することもできる。これらは、例えば、その指向性マイクによって検知された、検知された特定領域のサウンド・イベントの潜在的な重要性を強調する、大声（shouting）を示すエネルギの増加と共に使用することができる。
【００３２】
信号処理アプローチ及び信号サンプリング・アプローチの組み合わせは、キャプチャされたサウンド・オブジェクトを分析することにも使用することが可能である。これらのサンプルは、合致状況（match condtion）を判断するため、プロセッサ３６によって、予め記憶されたフィーチャ・テンプレートと適切に比較される。したがって、予め記憶されたフィーチャ・テンプレートは、ブロードキャスト内にサウンド・ステージ内でキャプチャされたオーディオ・オブジェクトを含める根拠となる、十分な決断の確度をサポートする、サンプルとテンプレートの間の高レベルの一致（例えば、統計的に著しい一致、または、絶対レベルの比較）を有する、サンプル・データが比較される参照標準（reference standard）のセットを表す。
【００３３】
モデル化され、または、実証的に計測されたイベント・フィーチャ、及び、その対応するプロファイルは、本来的に包括的（expansive）であり、声、調波を有する狭帯域周波数、または、複数の周波数コンポーネントを有するサウンド・オブジェクトを含んでもよく、特徴（characteristic traits）を識別するため、異なる信号処理技術を用いて、時間領域または周波数領域において評価されてもよい。したがって、所望のイベント・フィーチャの識別は、イベントの状況、及び、ブロードキャストのためにアセンブルされたサウンド・ステージ全体にとって状況的に重要であるサウンド・オブジェクトの識別に依存する。
【００３４】
図４には、図１に示したシステムのマイク処理チェーン１５０の概略及び機能ブロック図を示してある。特定のオーディオ・チャンネル（例えば、指向性マイクＤＭ１）からのキャプチャされたオーディオは、（制御アルゴリズム２８を実行しているプロセッサ３６によって）評価され、サンプリングされた（及び適切に信号処理された）オーディオのバイト（bytes）が、データベース４０に記憶された予め記憶されたフィーチャ・テンプレート１５２と、十分な相関関係を有するか識別される（１５１）。合致毎に（サンプルに対応する）バッファされたオーディオは、単一チャンネル処理（single channel processing）１５４の対象となる。単一チャンネル処理は、i)将来のブロードキャストから、キャプチャされたオーディオ・マテリアルを取り除く（１５８）（例えば、不愉快な（offending）言葉を省く場合に必要となる）、ii)キャプチャされたオーディオ・マテリアルを置き換える、及び／または、強調する（１６０）（例えば、バッファされたオーディオを増大させる効果音（sound effect）を含める、新たな効果音で代替（substitution）、追加的な信号処理及び／または予め録音しておいたフレーズ等を被せるまたは挿入する）、iii)キャプチャされたオーディオを別個のオーディオ・パーツに分割する（１６２）（制御アルゴリズムが、オーディオ・オブジェクトをベースとしたブロードキャスト・システムの一部として使用されている場合）（この場合、エンドユーザは、所有のローカル・オーディオ・ラウドスピーカー・システムを通じて、あつらえの（bespoke）サウンド・ステージをアセンブルし、再現することが可能である）のうち１以上の形態をとることができる。
【００３５】
続く取り除きまたは置き換えによって、制御アルゴリズムは、（必要に応じて、及び、コンプリメンタリな（complimentary）バッファされたビデオが存在する場合には特に）オーディオの同期を生じさせ、適合されたオーディオ・ミックス１６４を生成する。
【００３６】
図４に示したように、各（アンビエントではなく）指向性マイクからの各チャンネルは、完全なサウンド・ステージを生成するために、同様の方法で処理されている。サウンド・ステージは、立体的な重み付けをされていてもよく、または、モノラルでの再現に効果的で適切であってもよい。
【００３７】
図５を参照すると、図５は、図１のシステムで利用されている、好ましいマルチチャンネル・オーディオ処理アルゴリズム、及び、図２のマイク処理チェーン（microphone processing chain）を示している。まず、サウンド・イベントはバッファされ（１９０）、各チャンネルで検知されたサウンド・イベントを直接的に比較するために、サンプリングされ、適切な信号表現に変換される（１９２）。
【００３８】
各チャンネル、すなわち、マイク入力（ＤＭ1からＤＭn）について、アルゴリズムは、（図１のデータベース４０に記憶された）各フィーチャ・テンプレートを参照し、各フィーチャ・テンプレートに対して、識別した、キャプチャされ、処理されたオーディオのビットを、システマチックにテストする（２００）。次に、各チャンネル・フィードが１以上の予め定められたフィーチャ・テンプレートと合致するオーディオを含むか否か評価を行う（２０２）。合致するものがない場合（２０４）、そのチャンネル・フィードを考慮から除くことができ、すなわち、取り除く（remove）ことができ、また、最終アセンブリ／ミックス・オーディオから省略することができる。言い換えると、ミキサー上の対応するチャンネルのフェーダーは、サウンド・エンジニアによって特定の手動のオーバーライドが行われない限り、自動的に低（low）にセットされる。合致するものがある場合（２０６）、制御アルゴリズムは、(i)分析されたオーディオ・セグメント内で検知された、ののしりの言葉（swear words）のようなオーディオ・マテリアルを取り除く（２０８）、または、(ii)分析されたオーディオ・セグメント内で検知されたオーディオ・コンテンツを置き換える、強調する、増大させる、または、そのままにする（２１０）のいずれかを選択的に行う。
【００３９】
サンプリングしたオーディオとフィーチャ・テンプレートが合致する（２０６）（手動でオーバーライドされていない）全てのケースにおいて、各チャンネルのバッファされた合致したオーディオは、ブロードキャストのためにオーディオ出力と同期して、オーディオ出力に追加される（２１２）。各チャンネルからのオーディオは、同期及び結合（combined）されている必要はないのはもちろんである。時には、一般的に複数のマイクによって検知されるサウンド・オブジェクトは、合致確度が最も高いマイクを単純に選択することで最終ミックスに含められてもよい。この場合、そのマイクの信号は、ブロードキャストされる一方、他のマイクの信号（一般的に検知されたサウンド・オブジェクト）は、最終ミックスの全体のコンテンツから省略される。
【００４０】
好ましい実施の形態では、状況から判断して適切なオーディオ・イベントを捕捉し、異なる個々のチャンネルからの適切なサウンドが相対的に配置され、ダイジェティック効果（diegetic effect）を生成するように、任意に、これらのオーディオ・イベントを立体オーディオ・コンテキスト内に示す、アシストされた、及び／または、完全自動化されたチャンネルのミキシングをサポートしている。最小の場合には、最終アセンブル・オーディオ出力に状況から判断して適切なオーディオ・イベントが含まれている。
【００４１】
アプリケーションの潜在的なフィールドの観点からは、立体オーディオ・ミキシング・システム（特に、コンピュータ読み取り可能なメディアまたはダウンロードによってコードの形態で提供される、制御アルゴリズム及びオーディオ・テンプレート）は、遡及的に、既存の（インストール済みの）マイク・システムに適合することができる。オーディオ・イベントの状況的な及び／または立体的聴覚意識（spatial auditory awareness）を強調し、さらに、オーディオ・ブロードキャストにおいて、リアリズム（realism）及び質（quality）を高めることができる。本オーディオ・ミキシング・システムは、群衆音がオーディオ・フィーチャを損ない、イベントの話部分（narrative）よりもオンピッチ／グランド・サウンドの方が重要である、特にスタジアムベースのスポーツ・ブロードキャストのようなライブ・イベントのブロードキャストのサポートに使用することができる。本システムは、ブロードキャスト前にマイク・フィードから、特定のオーディオ・コンポーネントを取り除くのに使用することができる。すなわち、フィーチャ・テンプレートをモデル化することで、スピーチで使用されるマイクによって拾われる可能性のある、ののしり言葉（expletives）を反映し、遅延ブロードキャストから取り除くことができる。さらに、ライブのブロードキャストにおいて、ＰＡシステムからの騒々しい構内放送（public address announcement）の望まない妨害性（interfering nature）を本システムで検知し、ミックス内において、対応するマイクからの関連するフィードを自動的に低くすることができる。
【００４２】
いったんサウンド・イベントの検知が成し遂げられると、本実施の形態のシステムは、増大した特別な効果の目的で、ミックスに対して、識別したサウンドの追加及び／またはスワップアウト（swapping out）を許可する。例えば、自動化されたサウンド・フィーチャ識別アルゴリズムは、特定のサウンドを、新規（novelty）サウンド・エフェクト等の他のサウンド・エフェクトで置き換えることに使うことができる。テニス・プレーヤがボールを打つ度に、または、ののしり言葉を流してしまう代わりに、ビープ音（beep）を挿入することができる。スクリーンを半分程度の人しか見ていないような、バー（bar）のような場所で放映されている野球のようなイベントの場合、検知したサウンド・エンベロープが、例えば、野球のボールが特にクリーンに（cleanly）及び／または強く打たれたような（ホームランを打つような）、ストライク・イベントと関連付けられた、特有の定義された特徴を有している場合、従来の'バット・クラック（bat-crack）'サウンドを他のサウンドや強調したサウンドで置き換えることができる。これらの状況の場合、強調された、または、代替のサウンドによって、バーにいる人の注意をブロードキャスト、及び、潜在的に識別されたイベントに紐づけられたターゲット広告（targeted advertising）に向けることができる。代替は、言語的な翻訳を含む、代替の言葉でもよい。典型的には、強調された、または、代替のサウンドは、アクセス可能なメモリ内のデータベースに記憶されていてもよく、強調された、または、代替のサウンドは、それ自体がサウンド・バイトの形態であってもよく、または、"ピクチャ・イン・ピクチャ（picture-in-picture）"オーバーレイ・フレーム（overlay frame）としてコンポジット・ビデオ・フレームに挿入可能なビデオ・クリップであってもよい。ブロードキャストの遅延リリースの場合、キーボード入力、口述（dictation）、または、予め記憶させておいた解説（commentary）による他の形態の情報コンテンツを提供することもできる。サウンド・イベントの識別及び増大、並びに、そのような識別されたサウンド・イベントのオーディオ・レベルの強調または代替によって、ユーザをブロードキャスト・サウンド・ステージに熱中させる、または、識別されたサウンドと何らかの関連性を有する関心事項の活動（activity）の売り込みが可能となる。言い換えると、ある実施の形態では、識別されたサウンドは、ライブ・ストリーム／ブロードキャストにミックスされる補足的情報（complementary information）（サウンド及び／またはビデオ）のトリガ（trigger）として機能する。
【００４３】
特有の好ましい実施の形態が互いに相容れないと明確に確認されていない限り、または、周囲の状況が相互排他的（mutually exclusive）であり、補足的及び／またはサポート・センス（supportive sense）において、容易に組み合わせることができない場合に限り、本発明による開示の全体は、これらの補足的実施の形態の特定の特徴を、選択的に組み合わせて、わずかに異なるが、１以上の包括的な技術的なソリューションを提供できることが期待できる（contemplates）及び想像できる（envisions）ことはさらに理解されるであろう。
【００４４】
文脈的にさらに限定的な解釈が必要でない限り、用語"サウンド・オブジェクト（sound object(s)）"、"関心事項のサウンド（sound(s) of interest）"、"サウンド・イベント（sound event(s)）"及びこれらのバリエーションは、同義であると解釈される。用語"ブロードキャスト（broadcast）"は、オーディオの遅延した伝達として理解されるべきである。ブロードキャストは、数秒遅延してもよく、または、著しく長い時間遅延してもよく、ストリーミングまたはワイヤレス送信原理によるもの、または、最終オーディオ・アウトプットがコードされた読み取り可能なメディアによる流通によるオーディオ出力の提供を含んでもよい。
【００４５】
上記実施の形態は、例示としてのみ示されている。添付の請求の範囲に規定されている発明の範囲を逸脱することなく、多くの変形例が可能である。例えば、図は、サッカーの試合のＴＶブロードキャストのためのビデオ信号を有する同期オーディオ・ミキシングに関するものであるが、本実施の形態は、ラジオのオーディオ・ブロードキャストにのみ、及び／または、スタジオ、アリーナ等で開催される複数の異なるオーディオ・イベントに適用したりすることもできる。同様に、制御アルゴリズムによって扱われるサウンド・オブジェクトは異なってもよく、結果的に、ボールのキックや審判の笛は、関心事項のサウンドの単に例示に過ぎない。予め記憶されたフィーチャ・テンプレートは、予め識別された参照基準（reference）、少なくとも時間領域及び／または周波数領域で示された、信号処理された関心事項のサウンドのフィーチャ・テンプレートを有する、例えば、笛、個々のノイズ、または、ののしりの言葉等のイベントのいかなる状況的に関心のある（contextual interest）サウンドをモデル化してもよい。適用される信号処理は、（各フィーチャ・テンプレート内の）結果物（resulting）である信号プロファイルに、関心事項のサウンド・オブジェクトの信号処理されたバージョンとフィーチャ・テンプレートによって識別された参照サウンドとの間の相関関係を評価する（すなわち、実質的な近似性）のに使用できる、識別可能なトリガ（例えば、ピーク、比変更（rates of change）、絶対値（absolute values）、発生（occurrences））が含まれるように選択される。
【図１】
2018501743.tif 000003
【図２】
2018501743.tif 000004
【図３】
2018501743.tif 000005
【図４】
2018501743.tif 000006
【図５】
2018501743.tif 000007
【国際調査報告】
2018501743.tif 000008
2018501743.tif 000009
2018501743.tif 000010
2018501743.tif 000011
2018501743.tif 000012