(57)【要約】      （修正有）【課題】ビデオ遠隔会議において、遠隔のオーディオ装置を管理し、会議室全体の把握するカメラ出力の情報を利用し、音を正確に獲得する方法を提供する。【解決手段】オーディオ装置管理システム（ＡＤＭＳ）は、ユーザ要求に従ってカスタマイズされた双方向オーディオ・リンクを形成し、ユーザによる操作からオーディオ・ピックアップに関する戦略及びカメラ管理に関する戦略を学習することによって、音を採取する利用可能なマイクロホンを自動的に管理する。また、リモート・ユーザのためのＡＤＭＳコントロール・インタフェースは、概観用ウインドウと選択用表示ウィンドウを提供するマルチ・ウィンドウＧＵＩを提供する。【選択図】図３
2005045779.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ装置を管理する方法であって、
少なくとも１つのオーディオ装置に関連する画素を有するビデオ内容を提供するステップと、
前記ビデオ内容内にありユーザが選択した第１の画素グループを受信するステップと、
前記第１の画素グループに基づいてオーディオ装置を選択するステップと、
前記オーディオ装置から音を前記ユーザに提供するステップと
を備える方法。
【請求項２】
請求項１に記載の方法であって、前記ビデオ内容を提供するステップは、
第１の場所におけるライブイベントのビデオ内容を捕捉するステップと、
前記ビデオ内容を遠隔の場所に提供するステップと
を含む方法。
【請求項３】
請求項１に記載の方法であって、前記オーディオ装置を選択するステップは、
前記選択された第１の画素グループに関連している物理的な場所にあるオーディオ装置を選択するステップ
を含む方法。
【請求項４】
請求項１に記載の方法であって、前記オーディオ装置を選択するステップは、
前記選択された第１の画素グループに関連している場所から音を採取するよう構成されるオーディオ装置を選択するステップ
を含む方法。
【請求項５】
請求項１に記載の方法であって、前記オーディオ装置を選択するステップは、
前記第１の画素グループに関連している複数のオーディオ装置を選択するステップと、
各々のオーディオ装置のパラメータを比較するステップと、
前記複数のオーディオ装置から１つを選択するステップと
を含む方法。
【請求項６】
請求項５に記載の方法であって、前記パラメータが信号対雑音比を含む方法。
【請求項７】
請求項１に記載の方法であって、前記オーディオ装置を選択するステップは、
前記選択された第１の画素グループに関連しているオーディオ装置がないかを決定するステップと、
前記選択された第１の画素グループに関連している前記オーディオ装置として作動する代替的なオーディオ装置を決定するステップとを含み、前記代替的なオーディオ装置が、前記第１の画素グループを選択するステップに関連している音を捕捉するよう構成されている方法。
【請求項８】
請求項１に記載の方法であって、前記音を提供するステップは、
前記ユーザと別のユーザとの間で音を双方向に提供するステップを含み、前記ユーザが遠隔の場所におり、また前記ユーザが前記ビデオ内容に関連している中央の場所にいる方法。
【請求項９】
請求項１に記載の方法であって、
第２の画素グループを自動的に選択するステップをさらに備え、前記第２の画素グループが第２の重み付けに関連づけられて、前記ビデオ内容における動きを検知するステップの結果として選択され、前記第１の画素グループが第１の重み付けと関連づけられている方法において、
前記音を提供するステップが、最も高い重み付けと関連づけられる前記画素グループに関連している音を提供するステップを含む方法。
【請求項１０】
オーディオ装置を管理する方法であって、
少なくとも１つのオーディオ装置に関連している画素を有するビデオ内容を提供するステップと、
前記ビデオ内容内にある第１の画素グループを選択するステップと、
前記第１の画素グループに基づいて、少なくとも１つのオーディオ装置を自動的に選択するステップと、
前記自動的に選択されたオーディオ装置から音を前記ユーザに提供するステップと
を備える方法。
【請求項１１】
請求項１０に記載の方法であって、前記少なくとも１つのオーディオ装置を自動的に選択するステップは、
適切なオーディオ装置を選択するステップであって、前記適切なオーディオ装置各々を前記第１の画素グループに対応する場所に関連づけられる音を捕捉するよう構成するステップと、
前記適切なオーディオ装置各々の信号対雑音比を決定するステップと、
最も高い信号対雑音比を有する前記適切なオーディオ装置を選択するステップと
を含む方法。
【請求項１２】
オーディオ装置を管理するインターフェース・ツールであって、
遠隔の場所において捕捉された第１のビデオ内容を提供するよう構成され、前記インターフェース・ツールがユーザからの入力を受けるよう構成され、前記入力が、選択された前記第１のビデオ内容の領域を示す概観用ウインドウと、
第２のビデオ内容を提供するよう構成され、前記第２のビデオ内容が、前記選択された領域のビデオを含み、前記第２のビデオ内容が、前記第１のビデオ内容より高い解像度を有する選択用表示ウィンドウと、
選択された領域に関連している音を出力するよう構成されるオーディオ出力装置とを備えるツール。
【請求項１３】
請求項１２に記載のインターフェース・ツールであって、前記音が前記遠隔の場所において捕捉されるインターフェースツール。
【請求項１４】
オーディオ装置を管理するコンピュータが実行するコンピュータ・プログラム製品であって、
少なくとも１つのオーディオ装置に関連している画素を有するビデオ内容を提供するコンピュータ・コードと、
ユーザによって選択された、前記ビデオ内容内にある第１の画素グループを受信するコンピュータ・コードと、
前記第１の画素グループに基づいてオーディオ装置を選択するコンピュータ・コードと、
前記オーディオ装置からの音を前記ユーザに提供するコンピュータ・コードと
を備えるコンピュータ・プログラム製品。
【請求項１５】
請求項１４に記載のコンピュータ・プログラム製品であって、前記オーディオ装置を選択するコンピュータ・コードは、
前記選択された第１の画素グループに関連している物理的な場所にあるオーディオ装置を選択するコンピュータ・コードを含む製品。
【請求項１６】
請求項１４に記載のコンピュータ・プログラム製品であって、前記オーディオ装置を選択するコンピュータ・コードは、
前記選択された第１の画素グループに関連している場所からの音を採取するよう構成されているオーディオ装置を選択するコンピュータ・コードを含む製品。
【請求項１７】
請求項１４に記載のコンピュータ・プログラム製品であって、前記オーディオ装置を選択するコンピュータ・コードは、
前記第１の画素グループに関連している複数のオーディオ装置を選択するコンピュータ・コードと、
オーディオ装置各々の信号対雑音比を比較するコンピュータ・コードと、
前記複数のオーディオ装置の内の１つを選択するコンピュータ・コードとを含む製品。
【請求項１８】
請求項１４に記載のコンピュータ・プログラム製品であって、前記オーディオ装置を選択するコンピュータ・コードは、
前記選択された第１の画素グループに関連しているオーディオ装置がないことをを決定するコンピュータ・コードと、
選択された第１の画素グループに関連しているオーディオ装置として作動する代替えのオーディオ装置を決定するコンピュータ・コードであって、前記代替えのオーディオ装置が前記選択された第１の画素グループに関連している音を捕捉するよう構成されているコンピュータ・コードと
を含む製品。
【請求項１９】
請求項１４に記載のコンピュータ・プログラム製品であって、
第２の画素グループを自動的に選択するコンピュータ・コードであって、前記第２の画素グループが、第２の重み付けと関連づけられ、また前記ビデオ内容における動きを検知するステップの結果として選択されており、前記第１の画素グループが第１の重み付けと関連づけられているコンピュータ・コードをさらに備え、
前記音を提供するステップが、
最も高い重み付けと関連づけられる前記画素グループに関連している音を提供するステップを含む製品。
【請求項２０】
オーディオ装置を管理するためのオーディオ装置管理システムであって、
前記オーディオ装置に接続されているオーディオ・サーバと、
環境情報をモニタするセンサと、
前記センサによりモニタされた前記環境情報を記憶する記憶手段を有し、該記憶手段に記憶された前記環境情報と該センサにより検出された環境情報とに基づいて、管理対象であるオーディオ装置に対する制御方法を決定する自動制御ユニットとを含むコンピュータと、
前記コンピュータと接続され、ユーザによる決定と前記自動制御ユニットによる決定が異なる場合に、ユーザによる決定を優先させて前記オーディオ・サーバへの指示を行うコーディネータ・ユニットと、を有する前記システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、オーディオ信号とビデオ信号の処理に関し、特に、オーディオ信号を得ることと、遠隔地にいる複数のリモート・ユーザに、カスタマイズされた高品質オーディオ信号を提供することに関する。
【背景技術】
【０００２】
ネットワーク上で遠く離れてオーディオ信号とビデオ信号をやり取りするリモート・オーディオ／ビデオ通信がますます普及してきて、いろいろな用途に供されている。リモート・オーディオ／ビデオアクセスによって、学生らは、寮にいながら授業に出席することができたり、科学者らは、外国で開催されているセミナーに参加することができたり、企業経営者らは、執務室にいながら重要な問題を議論することができたり、また、ウェブサーファーらは、ウエブカメラを通じて興味のあるイベント（事象）を見ることができる。この技術が発達し、カスタマイズされた音を複数のユーザらに提供することが挑戦の一部となっている。
【０００３】
これまでに、多くの、例えば、ビーム形成、及びブラインド・ソース分離法に基づくＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ（独立成分解析））のようなオーディオ・エンハンスメント技術が開発されてきた。現実の環境でこれらの技術を使用するためには、ユーザの興味に合う空間パラメータを知っていることが重要である。例えば、もし、システムが高性能ビーム形成器（ビームフォーマ）を不正確な方向に向けると、高性能なビーム形成器によって所望の音が大きく減衰することがある。ＩＣＡアプローチによっても同様の結果となる。ＩＣＡシステムが、ユーザが聞きたいことに関連する情報に基づいて構成されていなければ、そのシステムは、ユーザが所望する音を含まない再構築されたソース信号を提供することがある。
【０００４】
双方向リモート・オーディオ通信の１つの代表的な形態は電話である。電話システムによって、電話とのカスタマイズされたオーディオ・リンクを形成する機会が与えられる。様々な協力者と電話リンクを形成するためには、ユーザは、大量の電話番号を覚えなければならない。新式の高度な電話は、これらの電話番号と対応する協力者の名前を電話メモリに記録することによってユーザを支援しようとするが、それでも、長い名前のリストに直面することは、厄介な作業である。そのうえ、あるユーザが、所望する協力者の電話番号が分かっていても、その協力者に時間があって電話で会話ができるかどうかをそのユーザは知らない。
【０００５】
従来技術による多くのオーディオ・ピックアップシステムは遠方界（ｆａｒ−ｆｉｅｌｄ）マイクロホンを使用する。遠方界マイクロホンは、環境内のいずれの場所からでもオーディオ信号を採取する。オーディオ信号があらゆる方向から到来するので、ユーザが聞きたくない雑音、又はオーディオ信号が採取されることがある。この特性のために、遠方界マイクロホンは、接話マイクロホンと比較して、より好ましくない信号対雑音比を有するのが一般的である。遠方界マイクロホンは、信号対雑音比が劣るという欠点があるが、テレビ会議の目的にまだ広く使用されている。その理由は、リモート・ユーザが環境全体の音を容易にモニタすることができるからである。
【０００６】
いくつかの音源から同時に到来するオーディオ信号を採取する、又は捕捉するといった遠方界マイクロホンのいくつかの欠点を克服するために、音響品質の改善のため無分別に音響信号を切り離すＩＣＡアプローチを使用することを提案している研究者もいる。ＩＣＡアプローチは、多くの制限付き実験において改善を示したものもあった。しかしながら、遠方界マイクロホンを使用した場合、このアプローチもまた新しい問題を提起する。ＩＣＡは、ブラインドソース分離問題を解決するためには、音源の数より多い数のマイクロホンを必要とする。マイクロホンの数が増加するにつれて、コンピュータのコストは、リアルタイム・アプリケーションにとって法外に高いものになる。また、ＩＣＡアプローチは、そのユーザが適切な非線形マッピングを選択することを必要とする。これらの非線形マッピングが、入力確率分布密度関数に適合できないならば、その結果は信頼性のあるものとはならないだろう。
【０００７】
異なるマイクロホンによって得られる独立した雑音を取り除くことが、ＩＣＡアプローチにとっては更に問題となる。逆に、基礎オーディオ混合マトリクスが特異ならば、ＩＣＡのための逆マトリクスが安定しない。これらのすべての問題のほかに、古典的なＩＣＡアプローチでは音源の位置情報が排除されている。位置情報が排除されているので、最終的なユーザの中には、位置情報に基づいてＩＣＡ結果を選択することが困難になるユーザもいる。例えば、理想的なＩＣＡマシンは、１０個のオーディオ・ソースから信号を切り離すことができ、１０個のチャネルをユーザに提供する。この場合、ユーザは、１０個のすべてのチャネルをチェックして、ユーザが聞きたいソースを選択しなければならない。これは、リアルタイム・アプリケーションには非常に不便である。
【０００８】
ＩＣＡアプローチのほかに、他の研究者のなかには、ビーム形成技術を使用して特定の方向の音を強化する研究者もいる。ＩＣＡアプローチと比較して、ビーム形成アプローチは、信頼性がより高く、音源方向情報に依存している。これらの特性は、ビーム形成技術をテレビ会議用のアプリケーションに適したものにする。特定の方向からのオーディオ信号を採取するときに、ビーム形成技術を使用することができるが、まだ、遠方界マイクロホンの多くの欠点を克服するものではない。ビーム形成システムによって使用される遠方界マイクロホン・アレイの配置分布は選ばれた指示に沿ってまだ雑音を拾っているかもしれない。マイクロホン・アレイによって形成されたオーディオ「ビーム」は、それほど狭くないのが通常である。必要以上に広いオーディオ「ビーム」は、オーディオ信号の雑音レベルを一層増加することがある。さらに、ビーム形成器を適切な方向に指向させないならば、ユーザが聞きたい信号を減衰させることがある。
【０００９】
図１は、従来技術による自動ビーム形成器制御システムの代表的な制御構造１００を示している。ここでは、制御ユニット１４０（コンピュータ、又はプロセッサによって実行される）が、マイクロホンやビデオカメラのようなセンサ１２０を使用して環境情報１１０を取得する。制御に使用されるマイクロホンは、ビーム形成に使用されるマイクロホンであってもよい。制御構造を明確にするために、音響／視覚センサ両者を表すのに、単一のセンサ表現を行っている。音響／視覚センサ情報に基づいて、制御ユニット１４０は、興味の対象の領域を極限化し、そして、ビーム形成器１３０の方向を興味の対象のスポットに向けることができる。このシステムでは、センサと制御ビーム形成器は、適切に位置決めされて高品質のオーディオ出力を実現しなければならない。また、このシステムは、オーディエンス・メンバーの興味の対象である領域を正確に予測するコントロール・アルゴリズムを必要としている。興味の対象である領域をコンピュータにより予測することは、かなりの問題である。
【００１０】
図２は、従来技術による、人間が操作するオーディオ管理システムの制御構造２００を示している。ここでは、人間であるオペレータ２３０が、オーディオ／ビデオセンサ２２０を経由して環境変化を常にモニタし、環境変化に基づいて、様々なマイクロホンの倍率を調整する。現状の自動マイクロホン管理システムと比較すると、重要な高品質のオーディオ信号を選択するときには、人間によって制御されるオーディオ・システムがより優れていることが多い。しかしながら、人間により制御されるオーディオシステムにおいては、オーディオ・ミキサやその他の機器を人が連続してモニタしたり、制御することが必要とされる。
【特許文献１】米国特許出願公開第２００４／００１７３８６号明細書
【特許文献２】米国特許第６４５２６２８号
【非特許文献１】ドン及びアティック（Dong，Atick）著「自然時変画像の統計（Statistics  of  Natural  Time Varying Images）」ネットワーク：神経システムにおける計算（Ｎｅｔｗｏｒｋ：Ｃｏｍｐｕｔａｔｉｏｎ  ｉｎ  Ｎｅｕｒａｌ  Ｓｙｓｔｅｍｓ），第６（３）巻，ｐ．３４５〜３５８、１９５５年
【非特許文献２】ハリーＦ．シルバーマン（Harry F. Silverman）等著「資源位置及び大規模なマイクロフォンアレイによる音捕捉のためのディジタルプロセッシングシステム（A Digital Processing System For Source Location and Sound Capture by Large Microphone Arrays）」（ドイツ），１９９７年４月，ミュンヘン（Munich），ＩＣＡＳＳＰ９７予稿集，ｐ．４〜
【非特許文献３】ダニエルＶ．ラビンキン（Daniel V. Rabinkin）等著「ディジタルハードウェア及びビーム形成マイクロフォンアレイの制御（Digital Hardware and Control for a Beam-Forming Microphone Array）」（米国），１９９４年１月，ニューブランスウィック（New Brunswick），ニュージャージー（New Jersey），ルトガー大学（Rutgers University），電気及びコンピュータ技術（Electrical and Computer Engineering），修士論文，ｐ．1〜７０
【非特許文献４】ビル・カプラロ（Bill Kapralos）等著「ビデオ電話会議装置における、複数発言のオーディオ・ビジュアル・ロケーション（Audio-Visual Location of Multiple Speaker In a Video Teleconference Setting）」（カナダ），２００２年６月１５日，ヨーク大学（York University）コンピュータ科学部（Department of Computer Science），テクニカルリポート（Technical Report）CS-2002-02，ｐ．１〜７０
【発明の開示】
【発明が解決しようとする課題】
【００１１】
必要なことは、人間の提案を使用し、ユーザの操作及び入力から、オーディオ・ピックアップ戦略及びカメラ管理戦略を学習することによって、獲得された音の品質を高めるオーディオ装置管理システムである。
【００１２】
オーディオ装置管理システム（ＡＤＭＳ）は、ビデオ・リンク内のユーザ選択を経由して遠隔のオーディオ装置を管理する。人間の提案を受信・処理し、ユーザ要求に従ってカスタマイズされた双方向オーディオ・リンクを形成し、そしてユーザによる操作からオーディオ・ピックアップに関する戦略及びカメラ管理に関する戦略を学習することによって、音を獲得する性能をシステムが強化する。
【課題を解決するための手段】
【００１３】
ＡＤＭＳは、マイクロホン、スピーカー、及びビデオカメラを使用して組み立てられる。リモート・ユーザのためのＡＤＭＳコントロールインタフェースは、概観用ウインドウと選択用表示ウィンドウを提供するマルチウィンドウＧＵＩを提供する。ＡＤＭＳと共に、ＧＵＩのリモート・ユーザは、概観用ウインドウ内の興味の対象となる領域を選択することによって、視覚的な注目対象を示すことができる。
【００１４】
ＡＤＭＳは、ユーザの必要性に応じてオーディオ信号を強化するために、より高い柔軟性をユーザに提供し、ユーザが電話番号のリストを覚える必要なしに、カスタマイズされた双方向オーディオ・リンクをより容易に形成する。また、ビデオ・ウインドウに必ずしも明白な注意を払うことなく、ユーザが構造化されたオーディオ環境をモニタするとき、ＡＤＭＳは、マイクロホンの音響品質とシステムの過去の経験に基づいて、音を採取する利用可能なマイクロホンを自動的に管理する。これらの点で、ＡＤＭＳは、完全に自動化されたオーディオ・ピックアップシステム、既存の電話システム、及びオペレータが制御するオーディオ・システムと異なっている。
【００１５】
本発明の第１の態様は、オーディオ装置を管理する方法であって、少なくとも１つのオーディオ装置に関連する画素を有するビデオ内容を提供するステップと、前記ビデオ内容内にありユーザが選択した第１の画素グループを受信するステップと、前記第１の画素グループに基づいてオーディオ装置を選択するステップと、前記オーディオ装置から音を前記ユーザに提供するステップとを備える。
【００１６】
本発明の第２の態様は、オーディオ装置を管理する方法であって、少なくとも１つのオーディオ装置に関連している画素を有するビデオ内容を提供するステップと、前記ビデオ内容内にある第１の画素グループを選択するステップと、前記第１の画素グループに基づいて、少なくとも１つのオーディオ装置を自動的に選択するステップと、前記自動的に選択されたオーディオ装置から音を前記ユーザに提供するステップとを備える。
【００１７】
本発明の第３の態様は、オーディオ装置を管理するインタフェース・ツールであって、  遠隔の場所において捕捉された第１のビデオ内容を提供するよう構成され、前記インターフェース・ツールがユーザからの入力を受けるよう構成され、前記入力が、選択された前記第１のビデオ内容の領域を示す概観用ウインドウと、第２のビデオ内容を提供するよう構成され、記第２のビデオ内容が、前記選択された領域のビデオを含み、前記第２のビデオ内容が、前記第１のビデオ内容より高い解像度を有する選択用表示ウィンドウと、選択された領域に関連している音を出力するよう構成されるオーディオ出力装置とを備える。
【００１８】
本発明の第４の態様は、オーディオ装置を管理するコンピュータが実行するコンピュータ・プログラム製品であって、少なくとも１つのオーディオ装置に関連している画素を有するビデオ内容を提供するコンピュータ・コードと、ユーザによって選択された、前記ビデオ内容内にある第１の画素グループを受信するコンピュータ・コードと、前記第１の画素グループに基づいてオーディオ装置を選択するコンピュータ・コードと、前記オーディオ装置からの音を前記ユーザに提供するコンピュータ・コードとを備える。
【００１９】
本発明の第５の態様は、オーディオ装置を管理するためのオーディオ装置管理システムであって、前記オーディオ装置に接続されているオーディオ・サーバと、環境情報をモニタするセンサと、前記センサによりモニタされた前記環境情報を記憶する記憶手段を有し、該記憶手段に記憶された前記環境情報と該センサにより検出された環境情報とに基づいて、管理対象であるオーディオ装置に対する制御方法を決定する自動制御ユニットとを含むコンピュータと、前記コンピュータと接続され、ユーザによる決定と前記自動制御ユニットによる決定が異なる場合に、ユーザによる決定を優先させて前記オーディオ・サーバへの指示を行うコーディネータ・ユニットと、を有する前記システム。
【発明を実施するための最良の形態】
【００２０】
使用されるオーディオ・ピックアップ装置を、遠方界マイクロホン、又は接話（近傍界）マイクロホンとして分類することができる。本発明の１つの実施形態によるオーディオ装置管理システム（ＡＤＭＳ）では、オーディオ信号を得るのに両タイプのマイクロホンを使用する。遠方界マイクロホンは、周囲環境にある近傍のいかなる場所からも、オーディオ信号をピックアップ、又は捕捉する。オーディオ信号は複数の方向から到来するので、該遠方界マイクロホン・ピックアップは、ユーザが聞きたくない雑音、又はオーディオ信号をピックアップすることもある。この特性のために、信号対雑音比については、遠方界マイクロホンは、一般に接話マイクロホンよりも劣る。遠方界マイクロホンには信号対雑音比の点で劣るという欠点があるが、遠隔地にいるリモート・ユーザが全体の環境をモニタするのに便利なので遠隔会議にはやはり広く使用されている。
【００２１】
遠方界マイクロホンの固有の欠点を補うためには、会議におけるオーディオ・システムでは、接話マイクロホンを使用することが望ましい。通常、接話マイクロホンは近接する場所からのオーディオ信号を捕捉する。マイクロホンの設計仕様によって、このタイプのマイクロホンから比較的離れた場所で発生するオーディオ信号は大きく減衰する。従って、通常、接話マイクロホンは、遠方界マイクロホンよりもはるかに高い信号対雑音比を達成するので、音を高精度に捕捉し、高品質の音を提供するのに使用される。また、接話マイクロホンは、信号対雑音比が高いことのほかに、システムが高次元のＩＣＡ問題を複数の低次元の問題に切り分けたり、また、場所情報をそれらの低次元の問題と関連づけるのに役立つことができる。接話マイクロホンを適切に使用するならば、オーディオ・システムがユーザの選択した方向に沿って捕捉する雑音を低減するのに役立つことがある。
【００２２】
接話マイクロホンには、遠方界マイクロホンより多くの利点があるが、いろいろな理由により、状況によっては、遠方界マイクロホンの代わりに接話マイクロホンを使ってはならない場合がある。まず第一に、普通の環境では、人々は、様々な場所で立ったり、座ったりする。これらの場所すべてからのオーディオ信号を得るには、わずかな数の接話マイクロホンでは十分でないこともある。次に、あらゆる場所に徹底的に接話マイクロホンを配置するにはコストがかかる。最後に、オーディオ・システムにあまりに多くのマイクロホンを接続する、システムを複雑にすることがある。これらの問題により、ＡＤＭＳ構造では接話マイクロホンと遠方界マイクロホンの両方が使用される。同様に、ＡＤＭＳ構造では、ヘッドホンやスピーカーのような様々なオーディオ再生装置を使用する。
【００２３】
様々な装置を取り付けた後、本発明のオーディオ管理システムは、リモート・ユーザの興味に関する選択に合わせて、様々なマイクロホンからの音響信号の中から選択的に信号を増幅することがある。マイクロホンの物理的な場所は、マイクロホンを１つ１つ区別するのに便利なパラメータである。ユーザはマイクロホンの座標を入力したり、形状モデル内のマイクロホン位置をマークしたり、又は、マイクロホンの場所を選択するのに使用できる他の形式の方法で入力したりして、上記の制御パラメータを使用できる。上記のやり方では、オーディオ環境との対応関係が十分ではないのでリモート・ユーザにとって、気軽に使えるインタフェースではない。本発明の１つの実施形態では、配置分布されるマイクロホン・アレイを管理するユーザ・インタフェースとしてビデオ・ウインドウを使用する。このように、リモート・ユーザは、イベント（例えば、スピーカーの場所）の視覚コンテキストを見ることができ、その視覚コンテキストによってマイクロホンの配置分布を管理する。例えば、ユーザが、ビデオ形式の視覚コンテキスト内にいるプレゼンタを見つけて、そのプレゼンタを選択するとすれば、システムは、高品質の音を聞くためにプレゼンタの近くにあるマイクロホンの作動を開始する。１つの実施形態では、マイクロホン・アレイを管理するこのアプローチをサポートするために、ＡＤＭＳは、オーディオ管理システム内でパノラマ式カメラ機能と高解像度カメラ機能を有するハイブリッド・カメラを使用する。１つの実施形態では、その全体が参照され援用されている米国特許出願公開第２００４／００１７３８６（特許文献１）に開示されているように、ハイブリッド・カメラはＦｌｙＳＰＥＣタイプカメラであってもよい。これらのカメラは、確実にビデオ信号がオーディオ信号とマイクロホン位置に密接に関連するようにマイクロホンと同じ環境に取り付けられる。
【００２４】
現実の環境においてこれらの構成を利用する例として、会議室の例に関連づけてオーディオ管理システムを検討する。図３は、本発明の１つの実施形態によるＡＤＭＳ内において使用されるセンサ装置を有する会議室３１０の上面図を示す。会議室３１０は、前方スクリーン３０５、演壇３０７、及びテーブル３０９を含む。示されている実施形態では、部屋中のテーブル３０９や演壇３０７の上に接話マイクロホン３２０が分散配置される。１つの実施形態では、接話マイクロホンは、９１ｃｍ（３６インチ）以内で作動するＧＮ  Ｎｅｔｃｏｍ  Ｖｏｉｃｅ  Ａｒｒａｙ  Ｍｉｃｒｏｐｈｏｎｅでも、又は他の近傍界マイクロホンと組み合わせてもよい。示されているオーディオ・システムでは、多くの近傍界マイクロホンがテーブル３０９の上に配置されて、テーブル３０９近辺の音声及びその他の音を捕捉する。遠方界マイクロホン・アレイ３３０は部屋全体からの音響を捕捉できる。リモート・ユーザが、会議室で起こるイベントを熟視できるように、カメラ・システム３４０が配置される。１つの実施形態では、カメラ３４０は、ＦｌｙＳｐｅｃカメラである。以下に詳細に検討されるように、個々の議論のために、ヘッドホン３５０を部屋内の１つの場所又は複数の場所に配置してもよい。１つ、又は複数のリモート・ユーザが会議室でヘッドホンを使って話すことができるように拡声器３６０を備えてもよい。別の実施形態では、１人の人、複数の人々、又は自動化されたシステムが拡声器によって会議室内の人及びオーディオ処理機器に音を提供することができる。必要なら、ＡＤＭＳを拡大してＰＤＡ（携帯情報端末）、又は他の装置を通してテキストを交換することも可能である。
【００２５】
１つの実施形態では、ＧＵＩ（グラフィカル・ユーザ・インターフェース）、又は他のいくつかの形式のインタフェース・ツールを利用して本発明によるＡＤＭＳを使用することもある。図４は、本発明の１つの実施形態によるＡＤＭＳ  ＧＵＩ４００を示す。ＡＤＭＳ  ＧＵＩ４００は、ウェブ・ブラウザ・ウインドウ４１０を備える。ウェブ・ブラウザ・ウインドウ４１０には、概観用ウインドウ４２０と選択用表示ウインドウ４３０が含まれる。概観用ウインドウ４２０によって、ユーザがモニタしている環境の画像、又はビデオを供給してもよい。選択表示ウィンドウは、概観用ウインドウ領域内のクローズアップ画像、又はビデオを供給する。ビデオセンサがＦｌｙＳｐｅｃカメラなどのハイブリッド・カメラを含む１つの実施形態では、概観用ウインドウ４２０がハイブリッド・カメラのパノラマ式カメラ機能によって捕捉したビデオ内容を表示し、選択用表示ウインドウ４３０がハイブリッド・カメラの高解像度カメラ機能によって捕捉されたビデオ内容を表示する。
【００２６】
このＧＵＩを使用して、概観用ウインドウ内の興味のある領域を選択するよう入力を行って、人間であるオペレータが選択用表示ビデオを調整することもできる。このようにして、ユーザが行うジェスチャによって選択される概観用ウインドウ内の領域は選択用表示ウィンドウ内に、より高い解像度で表示される。１つの実施形態では、入力はジェスチャであってもよい。マウス、タッチ・スクリーンモニタ、赤外線センサ、キーボード、又は他の入力装置などの単一の又は複数の入力装置を使用して本発明によるシステムが１つのジェスチャを受信することもある。興味のある領域を何らかの方法で選択した後、選択された領域を選択用表示ウィンドウに示すのが普通である。同時に、通常は、選択された領域の近くにあるオーディオ装置の作動を開始して通信を行う。１つの実施形態では、通常、選択された領域の周囲に線や円を描くなど何らかの方法で、ユーザが選択した領域を概観用ウインドウ内で視覚的に強調する。ＡＤＭＳにおける単なるオーディオ管理としては、選択された領域を概観用ウインドウ内に示すだけで十分である。インタフェース内の選択結果用ウィンドウによって、ユーザは、上方にあるウインドウ内のユーザの興味の対象である領域を選択するよう動機付けられ、環境内のオーディオ管理システムがハイブリッド・カメラを制御するようになる。ユーザが選択結果用ウィンドウをより詳細に熟視することによてオーディオ管理が容易になる。
【００２７】
１つの実施形態では、インタフェースとして２つのモードを構成することができる。第１のモードでは、関係者、又はユーザが、センサを有する中央の場所からの一方向音を受信する。図３に示される実施形態では、中央の場所は、通常、マイクロホンとビデオカメラを有する会議室である。関係者がこのモードを選択するとき、通常、ビデオ・ウインドウ内における自身の選択をオーディオ・ピックアップとして使用する。第２のモードでは、リモート関係者、又は、ユーザが別の関係者との双方向オーディオ通信に参加することがある。１つの実施形態では、オーディオ通信が、中央の場所にいる別の関係者とのものであることがある。その別の関係者は、中央の場所にいる関係者であればだれでもよい。リモート関係者がこのモードを選択するとき、ビデオ・ウインドウ内での自身の選択を、選択された方向に近いピックアップ装置と再生装置の両者（例えば、携帯電話）の作動を開始するために使用するのが通常である。
【００２８】
１つの実施形態では、複数のユーザが同じ環境内でカメラとオーディオ装置を共有することができる。複数のユーザが同じ概観用ウィンドウの内容を見て、選択結果用ウィンドウに表示されるべき自身の内容を選択できる。図５は、本発明の１つの実施形態による、ＡＤＭＳ制御システムの作動方法５００を示す。方法５００は、スタートステップ５０５から始まる。次に、システムは、音に対するユーザ要求をステップ５１０で受信したかどうかを判断する。１つの実施形態では、ＡＤＭＳ  ＧＵＩ４００内の概観用ウインドウにおける領域をユーザが選択することによって、ユーザ要求を受信することもある。マウス、又は他の方法で領域を選択してウインドウ座標を入力することによって選択を行うこともある。ユーザ要求を受信したならば、ステップ５２０におけるユーザ要求に基づいて要求を行っているユーザに音を提供する。ステップ５２０については、後で図６を参照しながらより詳細に検討する。ステップ５１０においていかなるユーザ要求も受信されていないと決定されると、操作はステップ５３０に進む。ステップ５３０では、ルール・ベースシステムを通じてユーザに音を提供する。以下、そのルール・ベースシステムについてより詳細に検討する。
【００２９】
図６は、ユーザから受信した要求に基づいて、ユーザに音を提供する方法６００を示す。方法６００は、開始ステップ６０５で始まる。次に、ステップ６１０において、ユーザが行う選択と関連づけられる領域を探索して対応するオーディオ装置を見つける。１つの実施形態では、ユーザがＧＵＩウインドウの一部を選択すると、選択領域が決定される。ウインドウはある環境の表現方法であり得る。環境の表現方法は、ある位置のビデオ供給、１つの場所の静止画像、一連の更新画像のスライド表示、又は環境に関するある種の抽象表現であってもよい。図４に示されているＧＵＩでは、ユーザは概観用ウインドウの一部を選択する。いずれにしても、環境表現の異なった部分を異なったオーディオ装置と関連づけることができる。ＧＵＩウインドウにおける特定の座標と関連づけるように、オーディオ装置をテーブル形式、又はデータベース形式で記載してもよい。例えば、ウインドウが、ウインドウの中央領域にある演壇にいるスピーカーを表示する、会議室の環境表現方法では、ウインドウの中央領域と関連づけられる画素を、演壇に位置しているマイクロホンに関する出力信号情報と関連づけることもある。選択領域を受信すると、ＡＤＭＳは、選択された領域に関連するオーディオ装置に関するテーブル、データベース、又は他の情報源を探索することがあり得る。もし、オーディオ装置を、発生する音に向ける、音に方向づける、又は、発した音を受信するように構成する、又は、別の方法で選択された領域と関連づけるよう構成するならば、１つのオーディオ装置を選択された領域と関連づけることがあり得る１つの実施形態もある。
【００３０】
次に、システムは、選択された領域と関連づけられたオーディオ装置があったかどうかをステップ６２０において決定する。選択された領域と関連づけられるオーディオ装置がある場合、次に、ステップ６３０において双方向通信を行い、ステップ６６０において方法６００を終了する。以下では、図７を参照して、てステップ６３０における双方向通信を検討する。特定の領域と関連づけられるオーディオ装置がないことが分かると、操作は、代替的な装置を選択するステップ６４０に進む。代替的な装置は、必ずしも、選択された領域を目標とするものではなく、その領域と双方向通信を行う、近くにある電話などの装置であってもよい。また、代替的な通信装置は対象環境全体に放送を行う拡声器、又はその他の装置であってもよい。代替的なオーディオ装置を選択すると、ステップ６５０において代替的なオーディオ装置を構成する。ユーザ通信を行う装置の構成には、ユーザが中央位置にいる別の関係者との双方向オーディオ通信に従事できるように装置の能力を構成することを含む。ステップ６５０の後、ステップ６５５で操作は終了する。
【００３１】
図７は、ユーザ選択と関連するオーディオ装置を選択する、本発明の１つの実施形態による方法７００を示す。方法７００は、開始ステップ７０５で始まる。次に、ＡＤＭＳは、ステップ７１０で、複数のオーディオ装置が、ユーザが選択した領域と関連づけられているか判断する。１つの装置だけが、ユーザが選択した領域と関連づけられているならば、操作はステップ７４０に進む。複数の装置が選択された領域と関連づけられているならば、操作は、ステップ７２０に進む。ステップ７２０では、パラメータが比較されて、複数の装置の内どの装置が最良の装置であるかを決定する。１つの実施形態では、あらかじめ設定されたセキュリティ・レベル、音響品質、及び装置要求に関するパラメータを考慮することがある。複数のパラメータを比較するとき、各装置を全体的に格付けするよう、各パラメータの重み付けを行ってもよい。別の実施形態では、パラメータを特定の順序で比較してもよい。この場合、もし、前に比較したパラメータに差又は利点が関連づけられていないと、後続の比較されたパラメータだけが比較される。オーディオ装置と関連づけられたパラメータが比較されると、ステップ７３０で最適のオーディオ装置が選択され、操作は、ステップ７４０に進む。
【００３２】
ステップ７４０では、装置を起動する。１つの実施形態では、装置の起動は、装置のオーディオ能力を、装置を選択しているユーザに提供することを意味する。そして、ステップ７５０でユーザ・コンタクト情報が提供されることがある。１つの実施形態では、オーディオ装置との接続が可能となる形式でユーザ・コンタクト情報をオーディオ装置自身に提供する。別の実施形態では、コンタクト情報を提供することは、そのオーディオ装置の近くにいる別の関係者がその特定のオーディオ装置に対応する領域を選択した第１のリモート関係者とのオーディオ通信に従事できるようオーディオ装置に識別情報とコンタクト情報を供給することを意味する。コンタクト情報が提供されると、方法７００の操作はステップ７５５で終了する。
【００３３】
図８は、シングルユーザが制御する、本発明の１つの実施形態によるＡＤＭＳ８００を示す。ＡＤＭＳ８００は、環境情報８１０、センサ８２０、コンピュータ８３０、人間８４０、コーディネータ８５０、及びオーディオ・サーバ８６０を含む。ここで、コンピュータ８３０は図示しない自動制御ユニットと記憶手段（メモリ）を含み、オーディオ・サーバ８６０は管理対象であるオーディオに接続されている。
【００３４】
このシステムでは、人間であるオペレータ（すなわち、システムユーザ）、及び自動制御ユニットの両者が、センサ８２０からのデータにアクセスすることができる。本発明の１つの実施形態では、センサ８２０にパノラマ式カメラ、マイクロホン、及びその他のビデオ／オーディオ感知装置を含んでもよい。このシステムを使用して、ユーザと自動制御ユニットとは、環境情報８１０に基づいて別々の決定を行うことができる。１つの実施形態では、ユーザと自動制御ユニットによる決定は、互いに異なることがある。不一致を解決するために、人間による決定と制御ユニットによる決定を、オーディオ・サーバ８６０に送る前にコーディネータ・ユニット８５０に送る。好ましい実施形態では、人間による選択が、自動選択よりも望ましく、重要であると考えられている。この場合、コーディネータ・ユニット８５０の中では、自動ユニットによる決定と異なる人間による決定が自動ユニットによる決定よりも優先する。別の実施形態では、各々のユーザ、及び自動的に選択された領域とは重み付けと関連づけられている。選択各々の重み付けを決定する際のファクターには、各選択と関連づけられる音における信号対雑音比、その選択の信頼性、各選択に関連するビデオの内容のゆがみ、及びその他の要素を含んでもよい。この実施形態では、通常、コーディネータ・ユニット８５０は、最も高い重み付けに関連する選択を選択して、重み付けされた選択に対応する音をユーザに提供する。ある時間内ユーザがいかなる選択も行わない１つの実施形態では、自動選択により高い重み付けを与えるようユーザによる選択の重み付けを下げる。
【００３５】
ＡＤＭＳ８００では、ユーザは、オーディオ・サーバを連続的に操作する代わりに、マイクロホン・アレイの管理状況をモニタする。自動システムが興味の対象となる方向を誤ると、人間であるオペレータはシステムを調整する必要があるだけである。従って、人間であるオペレータが誰も制御用の入力を行わない場合にはシステムは完全に自動となる。オーディオ・エンハンスメントのための正しい方向を誤ることがある自動的なシステムに対して、人間であるオペレータは、誤り率を抜本的に減らすことができる。手動によるマイクロホン・アレイ管理システムと比較して、本システムでは、要求される人間であるオペレータの努力を実質的に減少させることができる。ＡＤＭＳ８００によって、ユーザはオペレータ努力とオーディオ品質との間でトレード・オフを行うことができる。
【００３６】
図８に示した制御構造に関する構成を使用して、オーディオ管理を行って、ユーザが選択した方向においてオーディオ品質を最大化する。複数のユーザが同時にＡＤＭＳにアクセスするので、ＡＤＭＳは、ユーザ各々の要求に従って様々なユーザに対する複数のオーディオ信号のストリームを発生する。１つの実施形態では、本発明によるＡＤＭＳは、信号対雑音比によってオーディオ品質を測定する。ｉは、マイクロホンのインデックスであり、ｓiは、マイクロホンｉが採取したた生の信号であり、ｎiはマイクロホンｉが採取した雑音であり、（ｘi，ｙi）はビデオ・ウインドウ内のマイクロホンｉの画像の座標であり、そして  Ｒuは、ビデオ・ウインドウ内におけるユーザｕの選択に関連する領域であるとする。ユーザｕがマイクロホンを選択する簡単な方法を式（１）で定義する。
【数１】
2005045779.tif 000003
【００３７】
すなわち、式（１）によって、ユーザが選択した領域、又は方向に関し最良の信号対雑音比（ＳＮＲ）を有するマイクロホン、又は他のオーディオ信号捕捉装置が選択される。このようにして、マイクロホンはユーザによって選択された領域に対応する領域内に位置する、又はユーザによって選択された領域内に存在しているオーディオ信号を捕捉するように方向付けられる。上式では、Ｒuを、静的、又は動的な方法で定義する。Ｒuの最も簡単な定義はユーザが選択した領域である。図３に示すマイクロホン３２０のような固定の接話マイクロホンの場合、ウインドウ内のマイクロホンの座標は固定される。図３に示すマイクロホン３３０などのビデオカメラに近い遠方界マイクロホン・アレイの座標は、図３内のカメラ３４０によってサポートされるビデオ・ウインドウ内ならどこでもよい。カメラの近くにない遠方界マイクロホンは、どこにでも移動可能なマイクロホンであると考えられる。従って、式（１）の最適化には、遠方界マイクロホンと近傍界マイクロホンの双方を考慮する。別の実施形態では、Ｒuのより巧妙な定義は、選択された領域の中心の周りにあるｋマイクロホンを含む最も小さい領域であることがある。ユーザがいかなる選択もしない場合、システムは、式（２）によりそのユーザのためのマイクロホンを選ぶ。
【数２】
2005045779.tif 000004
【００３８】
これは、ユーザのすべての選択｛Ｒu1，Ｒu2，・・・，ＲuM｝の中で最良のチャネルである。ユーザがマイクロホン管理システムにいかなる入力もしない場合、全てのマイクロホンを選択対象とすることができる。この選択を式（３）で記述することができる。
【数３】
2005045779.tif 000005
【００３９】
本発明のオーディオ・システムは、ＩＣＡやビーム形成などのような他のオーディオ装置選択技術を使用してもよい。ＩＣＡを実行する選択された領域の近くで、例えば、Ｋ個のマイクロホンを使用することができる。Ｋ個の信号を、位相に従って偏位させることができ、これらの信号を加え合わせて望ましくない雑音を減少させることができる。ＩＣＡ、及びビーム形成によって発生したすべての出力と、オリジナルのＫ個の信号と比較されてもよい。用いられる方法に関係なく、最終的な出力の決定は、やはりＳＮＲに基づいて行われてもよい。
【００４０】
式（１）〜（３）から各マイクロホンについては、信号と雑音が既知であるとする。マイクロホンに対する信号と雑音が既知ではない実施形態では、そのマイクロホンに対して閾値を設定することができる。１つの実施形態では、その閾値を実験によって設定してもよく、獲得データが閾値より小さければその獲得したデータを雑音であると考える。このように、いかなるイベントも行なわれていないとき、又は、最小量のオーディオ信号がマイクロホンと他の装置によって捕捉されているとき、システムは雑音スペクトルｎi（ｆ）を推定する。マイクロホンがデータａi（ｆ）を獲得して、それが閾値よりも大きいとき、信号スペクトルｓi（ｆ）を式（４）を使用して推定する。
【数４】
2005045779.tif 000006
【００４１】
あらゆるマイクロホンについて雑音推定が可能であるとき、その処理工程は、すべてのＩＣＡ出力とビーム形成出力すべてからの雑音と信号の推定と同様の工程である。１つの実施形態では、本発明によるＡＤＭＳは、時間がたつにつれてユーザが行う選択から学習することもある。ユーザの操作によって、ユーザの好みに関する貴重なシステム・データが得られる。そのシステム・データを利用して、ＡＤＯは徐々に改良される。ＡＤＭＳは、自動制御ユニットと平行して学習システムが作動することがあり、従って、人間であるユーザの操作からオーディオ・ピックアップの使用方法を学ぶことができる。１つの実施形態では、ａ1、ａ2、・・・、ａRは、環境センサの測定値と、興味がある位置に対応する捕捉された主な画像上の（ｘ，ｙ）を表す。１つの実施形態では、主な画像が、パノラマ式の画像であってもよい。そして、オーディオ・ピックアップのための目的位置（Ｘ，Ｙ）を式（５）で推定することができる。
【数５】
2005045779.tif 000007
【００４２】
ａ1、ａ2、・・・、ａRが条件付きで独立しているとすると、カメラ位置は、式（６）で推定できる。
【数６】
2005045779.tif 000008
【００４３】
式（６）の確率をオンラインで推定することができる。例えば、図４は、確率ｐ（ｘ，ｙ）が推定される会議の延長期間におけるユーザの選択を示す。会議の間に記録された代表的な画像を、会議室の空間的な配置を示すバックグラウンドとして使用する。この図において、ユーザが行った選択を箱印で表す。画像内の多くの箱が、プレゼンタが立ち、壁サイズのディスプレイがある画像の中央部分にある一群のユーザ選択を形成している。この一群のユーザ選択に基づいて、ｐ（ｘ，ｙ）を推定するのは簡単である。
【００４４】
漸進学習法を利用すると、本発明のシステムを環境変化により適応させることが可能になる。ある場合には、いくつかのセンサの信頼性が低くなることがある。例えば、移動される机が、マイクロホン・アレイの音響経路の妨げとなることがある。これらの変化に適応するには、１つの機構において各センサがいかに有益であるかを学ぶことができる。（Ｕ，Ｖ）がセンサ（カメラ、マイクロホン・アレイ、又は他のオーディオ捕捉装置）によって推定される対象の位置であり、（Ｘ，Ｙ）はユーザが決定したカメラ位置であるとする。センサがいかに有益であるかは、次のようなオンライン推定で評価することができる。
【数７】
2005045779.tif 000009
【００４５】
式（７）によって、（Ｕ，Ｖ）と（Ｘ，Ｙ）との間の相互の情報が得られる。値が高ければ高いほど、自動制御にとってセンサはますます重要になる。何らかの理由で、センサが壊れる、無能になる、又は、十分な情報が得られなくなると、センサと人間の選択との間の相互情報が少なくなって、非常に小さい価値しかもたなくなり、制御ソフトウェアがセンサを無視するようになるのが普通である。これは、計算能力を有効なセンサに割り当てるときに役立つ。学習システムがカメラをよりうまく操作することができるときには、同様の技術で、システムによって、ルール・ベースの自動制御システムを無能にすることができる。
【００４６】
捕捉されたオーディオ信号の信号品質をいろいろな方法で処理して、測定することができる。１つの実施形態では、捕捉されるオーディオ信号のゆがみを減少させる試みによって、オーディオ信号の信号品質を改良することがある。
【００４７】
概念的には、与えられた点で受信される理想的な信号を、ｆ（ψ，θ，ｔ）で表わすことがある。ここで、ψ、及びθは、到来する信号の方向を識別するのに使用される空間的な角度であり、ｔは時間である。図１０に示す円筒座標系１０００を信号を記述するのに使用して以降のアプリケーションを導く。図１０では、原点と円筒表面上の点とを通る線を、信号の方向を定義するのに使用する。円筒の表面上の点は、座標（ｘ，ｙ）を有する。ここで、ｘは、（ｘ＝０，ｙ＝０）と、ｙ＝０上のその点の投影点との間の弧長であり、ｙは、その点の面ｙ＝０からの高さである。この座標系を使用すると、理想的な信号は、ｆ（ｘ，ｙ，ｔ）で表される。１つの実施形態では、信号獲得システムによって、センサの限界のため、理想的な信号ｆ（ｘ，ｙ，ｔ）の近似値ｆ＾（ｘ，ｙ，ｔ）が得られることがある。１つの実施形態におけるセンサ制御の戦略は、獲得された信号ｆ＾（ｘ，ｙ，ｔ）の品質を最大にすることである。
【００４８】
ｆをｆ＾で表す場合の情報損失は式（８）で定義される。
【数８】
2005045779.tif 000010
ここで、｛Ｒi｝は重なりのない小領域の集合であり、Ｔは短い時間期間であって、ｐ（Ｒi，ｔ｜Ｏ）は、領域Ｒiの細部（ｄｅｔａｉｌ）（環境観測空間がＯであることを条件とする）の方向における細部を要求する確率である。
【００４９】
直接ユーザの要求に基づいて、上記確率を入手してもよい。そこでは、ｔからｔ＋Ｔまでの期間、領域Ｒiを見る要求がｎi（ｔ）個であると仮定する。このとき、観測空間Ｏが提示され、ｐとＯは、この期間中変化しない。従って、ｐ（Ｒi，ｔ｜Ｏ）は式（９）で推定される。
【数９】
2005045779.tif 000011
【００５０】
2005045779.tif 000012
は、周波数領域において推定しやすい。ωxとωyが、各々ｘとｙに対応する空間周波数を表し、ωtが時間周波数とすると、ゆがみ（ディストーション）は式（１０）で推定される。
【数１０】
2005045779.tif 000013
【００５１】
高品質の信号を入手することを実現することは、Ｄ［ｆ＾，ｆ］を減少させることと同等である。ｆ＾（ｘ，ｙ，ｔ）は、ｆ（ｘ，ｙ，ｔ）の帯域幅制限表現であると仮定する。Ｄ［ｆ＾，ｆ］を減少させることは、操縦可能なセンサを移動させて様々な領域｛Ｒi｝において遮断周波数ｆ＾（ｘ，ｙ，ｔ）を調整することによって実現されることがある。ｆ＾（ｘ，ｙ，ｔ）の領域ｉは、空間遮断周波数ａx,i（ｔ）、ａy,i（ｔ）、及び時間遮断周波数ａｔ,i（ｔ）であると仮定する。
2005045779.tif 000014
の推定は、簡素化されて式（１１）のようになる。
【数１１】
2005045779.tif 000015
【００５２】
この実施形態では、最適なセンサ・コントロール戦略は、全体のゆがみＤ［ｆ＾，ｆ］を最小にするような期間と場所に高解像度（すなわち、スペース及び時間の面で）センサを動かすことである。
【００５３】
式（８）〜（１１）では、関係者の要求が有効であるときにゆがみを計算する方法を説明している。関係者の要求が有効ではないときには、ｐ（Ｒi，t｜Ｏ）の推定が問題となることがある。この問題を、ユーザの要求に関するシステムの過去の経験を利用して克服してもよい。詳細には、領域を選択する確率は時間ｔに依存しないと仮定して、確率を式（１２）として推定する。
【数１２】
2005045779.tif 000016
【００５４】
Ｏは、ｆ＾の観測空間と見なせる。低次元の観測空間を用いることにより、限定されたデータによりｐ（Ｒi,t｜Ｏ）を推定することがより容易になる。この確率の推定では、リモート・ユーザがシステムを制御する意志がないとき、又は制御できないとき、システムは信号獲得工程を自動化してもよい。
【００５５】
式（８）〜（１２）を直接使用して、能動センサ管理を行うことができる。１つの実施形態によって本発明をより理解するために、会議室のカメラコントロールの例を使用して、本発明のこの実施形態によるセンサ管理の方法を示す。パノラマ式のカメラを使用して、会社の会議室において１０個のプレゼンテーションを記録する。そして、１４人のユーザが、図４に示されるインタフェースを使用して、２〜３の一様に分配されたビデオフレーム上の興味のある領域を選択するように依頼される。図１１は、代表的なビデオフレームを示し、そして、対応する選択対象を箱印で強調した。図１２はこれらの選択に基づく確率の推定を示す。図１２では、より明るい色は、より高い確率値に対応しており、より暗い色は、より低い値に対応している。
【００５６】
式（８）で定義されるゆがみを計算するためにシステムは式（１１）からの結果を必要とする。Ｆ（ωx，ωy，ωt）の完全な情報を得るのが不可能なので、システムは、結果を推定する固有の数学的なモデルを必要とする。ドン及びアティック（Ｄｏｎｇ，Ａｔｉｃｋ）著「自然時変画像の統計（Ｓｔａｔｉｓｔｉｃｓ  ｏｆ  Ｎａｔｕｒａｌ  Ｔｉｍｅ  Ｖａｒｙiｎｇ  Ｉｍａｇｅｓ）」、ネットワーク：神経システムにおける計算（Ｎｅｔｗｏｒｋ：Ｃｏｍｐｕｔａｔｉｏｎ  ｉｎ  Ｎｅｕｒａｌ  Ｓｙｓｔｅｍｓ）、第６（３）巻、３４５〜３５８頁、１９５５年（非特許文献１）によれば、システムが、距離ゼロから無限に移動する対象物を捕捉するならば、Ｆ（ωx，ωy，ωt）は、統計的には、式（１３）に従って、時間周波数ωi、及び回転空間周波数ωxyとともに減少する。
【数１３】
2005045779.tif 000017
ここで、Ａは画像エネルギーに関連する正の値である。
【００５７】
１つの実施形態では、ｂxyとｂtをパノラマ式のカメラの空間及び時間遮断周波数として表記することができ、ａxy及びａtをＰＴＺカメラの空間及び時間遮断周波数として表記できる。ここで、式（１４）と定義する。
【数１４】
2005045779.tif 000018
【００５８】
システムが、領域Ｒiを捕捉するのに、パノラマ式のカメラの代わりにＰＴＺカメラを使用するならば、その代替え使用によって得られるビデオのゆがみ減少量は、式（１５）によって推定される。
【数１５】
2005045779.tif 000019
【００５９】
座標（Ｘ，Ｙ，Ｚ）を、センサの特徴パン／チルト／ズームに対応させて、カメラ又はセンサの最良のポーズと関連させることができる。式（８）と式（１５）とともに、式（１６）を使用して、（Ｘ，Ｙ，Ｚ）を推定することができる。
【数１６】
2005045779.tif 000020
【００６０】
上記で検討した実験では、パノラマ式のカメラは、１２００ｘ４８０の解像度を有し、ＰＴＺカメラの解像度は、６４０ｘ４８０である。パノラマ式のカメラと比較すると、ＰＴＺカメラは、実際に工学的なズームを実行することによって最大１０倍までのより高い空間サンプリング率を実現することができる。カメラフレーム・レートは時間がたつにつれて、ユーザの数とネットワーク・トラフィックに従って変化する。パノラマ式のカメラのフレーム・レートを１フレーム／秒であると仮定し、ＰＴＺカメラのフレーム・レートを５フレーム／秒であると仮定する。図１１に示される上記の最適化手順とユーザの提案とともに、システムは、ＰＴＺカメラの視点として図１３内の長方形の箱を選択する。
【００６１】
システムにおいてユーザの選択が可能ではないとき、式（１３）に従って、システムは、確率条件を推定（すなわち、ユーザの選択を予測）しなければならない。確率推定の欠点のために、ユーザの入力を伴わないゆがみ推定は、ユーザの入力を伴うゆがみ推定と少し異なっている。この推定の差によって、システムは図１４に示すように、ＰＴＺカメラによる異なる視点を提案することになる。目視により長いビデオ系列上で自動選択による結果を点検すると、これらの自動ＰＴＺ視点による選択がユーザの提案で推定されたＰＴＺ視点による選択に非常に近い。この実験におけるパノラマ式のカメラとＰＴＺカメラを低空間解像度マイクロホンと操縦可能な一方向性マイクロホンに置き換えると、操縦可能なマイクロホンを使用してＰＴＺカメラを制御するように、提案された制御戦略を操縦可能なマイクロホンを制御するのに使用できる。
【００６２】
図面及び請求項を検討すれば、本発明によるその他の特徴、態様、及び目的を得ることができる。本発明のその他の実施形態を展開することができるが、それらの実施形態は本発明の趣旨及び範囲内にあることが分かる。
【００６３】
これまでに行われた本発明の好ましい実施形態の記載は、図を示しての記載を行う目的ためのものである。網羅的であるように意図されたものでもなく、また、開示されている正確な形態に本発明を制限するものでもない。当然ながら、多くの修正と変更が可能なことは、熟練した当業者にとっては明らかである。本発明の原理とその実際の適用例を最も精巧に説明するために上記の実施形態が選択され記述された。その結果、熟練した他の当業者は、様々な実施形態を有し、予想される特定の用途に適した様々な変更を伴った本発明を理解することが可能となる。本発明の範囲は特許請求の範囲及び同等の範囲で定義されるよう意図されている。
【００６４】
コンピュータ技術に熟練した当業者には明らかなように、特別仕様の集積回路、又は他のエレクトロニクス製品から構成される実施形態に加えて、開示されている本発明の教示に従ってプログラムされた、従来の汎用の、又は専用のディジタル・コンピュータ、又はマイクロプロセッサを使用して、本発明は簡便に実施される。
【００６５】
ソフトウェア技術に熟練した当業者には明らかなように、開示されている本発明の教示に基づいて熟練したプログラマは適切なソフトウェア・コーディングを準備することができる。また、当業者には容易に分かるように、特定用途向け集積回路を備える、又は従来の構成回路の適切なネットワークを内部連絡することによって本発明を実施してもよい。
【００６６】
本発明は、その上及び／又はその中に記録されたインストラクションを有し、コンピュータが本発明の処理のいずれをも実行できるようにプログラムするのに使用することができる記録媒体（または複数の記録媒体）であるコンピュータ・プログラム製品を含む。その記憶媒体は、限定されるわけではないが、フロッピー（登録商標）・ディスク、光学ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び光磁気ディスクを含むすべてのタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気又は光学カード，ナノシステム（分子メモリＩＣを含む）、又はインストラクション及び／又はデータを記録するのに適したすべてのタイプのメディア又はデバイスを含むことができる。
【００６７】
本発明は、コンピュータ読み出し可能な媒体（または複数の媒体）のいずれか１つに保存されて、汎用、又は専用コンピュータ、又はマイクロ・プロセッサの両ハードウェアを制御し、また、コンピュータ、又はマイクロプロセッサが、人間ユーザ、又は本発明の結果を利用する他のメカニズムと対話できるソフトウェアを含む。そのようなソフトウェアは、限定しないが、デバイス・ドライバ、オペレーティング・システム、及びユーザ・アプリケーションを含むことがある。
【００６８】
限定しないが、遠隔で管理するオーディオ装置を含む本発明の教示を実現するために、ソフトウェア・モジュールが汎用、又は専用コンピュータ、又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれる。
【図面の簡単な説明】
【００６９】
【図１】従来技術によるビーム・形成器自動制御システムの説明図。
【図２】従来技術による人間であるオペレータ制御オーディオ管理システムの説明図。
【図３】本発明の１つの実施形態によるオーディオ／ビデオセンサを有する環境の説明図。
【図４】オーディオ／ビデオをユーザに提供する、本発明の１つの実施形態によるグラフィカル・ユーザ・インターフェースの説明図。
【図５】本発明の１つの実施形態によるオーディオ装置選択方法の説明図。
【図６】本発明の１つの実施形態によるユーザ入力に基づく音提供方法の説明図。
【図７】本発明の１つの実施形態によるオーディオ・ソース選択方法の説明図。
【図８】本発明の１つの実施形態による単一ユーザ制御オーディオ装置管理システムの説明図。
【図９】ある時間帯におけるオーディオ要求に関する、本発明の１つの実施形態によるユーザ選択の説明図。
【図１０】本発明の１つの実施形態による円筒座標システムの説明図。
【図１１】本発明の１つの実施形態による、ユーザ選択を強調したビデオ・フレームの説明図。
【図１２】本発明の１つの実施形態による、ユーザ選択に関する確率推定の説明図。
【図１３】本発明の１つの実施形態による、システム選択を強調したビデオ・フレームの説明図。
【図１４】本発明の１つの実施形態による、システム選択を代替的に強調したビデオ・フレームの説明図。
【符号の説明】
【００７０】
１１０  環境
１２０  センサ
１３０  ビーム形成器
１４０  コンピュータ
２１０  環境
２２０  センサ
２３０  人間
２４０  オーディオ・ミキサ
８１０  環境
８２０  センサ
８３０  コンピュータ
８４０  人間
８５０  コーディネータ
８６０  オーディオ・サーバ
【図１】
2005045779.tif 000021
【図２】
2005045779.tif 000022
【図５】
2005045779.tif 000023
【図６】
2005045779.tif 000024
【図７】
2005045779.tif 000025
【図８】
2005045779.tif 000026
【図１０】
2005045779.tif 000027
【図３】
2005045779.tif 000028
【図４】
2005045779.tif 000029
【図９】
2005045779.tif 000030
【図１１】
2005045779.tif 000031
【図１２】
2005045779.tif 000032
【図１３】
2005045779.tif 000033
【図１４】
2005045779.tif 000034