(57)【要約】本発明はテレビ会議で有効発言者の位置決めをする配置及び方法を開示している。本発明の好ましい実施例によれば位置決め装置が１以上のマイクロフォンをカメラに対して位置決めする。その一方で、マイクロフォンがそれ自体の位置に対して音源を位置決めする。テレビ会議では、通常、音源がマイクロフォンの近くに位置しているので、マイクロフォン（又は、マイクロフォンの要素）間の距離対テーブル・マイクロフォンと音源の間の距離の比が小さくなる。それゆえ、カメラの近くに位置している場合と比較して、マイクロフォンは音源の位置を高い解像度で決定できる。カメラ及び音源に対するマイクロフォンの相対的位置が判明したとき、カメラに対する音源の位置が幾何学的に決定される。
2006525743.tif 000002
【特許請求の範囲】
【請求項１】
１以上のマイクロフォン又はマイクロフォン要素のアレーに対する音源の位置を決定することによりカメラに対する音源の位置を位置決めする方法で、
１以上のマイクロフォン又はアレーのひとつに対する音源の位置からカメラと音源の間の第一の距離及び(又は)方向を、及び、カメラと１以上のマイクロフォン又はアレーのひとつの間の第二の距離及び(又は)方向を幾何学的に得ること
を特徴とする方法。
【請求項２】
１以上のマイクロフォン又はアレーに対する音源の位置を決定するステップが、１以上のペアのマイクロフォン又はマイクロフォン要素のためのマイクロフォン又はマイクロフォン要素への音源からの音響信号を受けるそれぞれの時間差を検出することにより実行されることを特徴とする請求項１に基づく方法。
【請求項３】
カメラと１以上のマイクロフォン又はアレーのひとつとの間の前記第二の距離及び(又は)方向が固定されていることを特徴とする請求項１又は２に基づく方法。
【請求項４】
カメラと１以上のマイクロフォン又はアレーのひとつの間の前記第二の距離及び(又は)方向を、
以下のステップ：
カメラに対する既知又は検出可能な位置から音響信号を伝送すること、
２以上のマイクロフォン又はアレーの要素で音響信号をそれぞれ受けること、
カメラと１以上のマイクロフォン又はマイクロフォン・アレーのひとつの間の前記第二の距離及び(又は)方向を計算するために、受けた音響信号を処理すること、
により決定することを特徴とする請求項１又は２に基づく方法。
【請求項５】
カメラと１以上のマイクロフォン又はアレーの間の前記第二の距離及び(又は)方向を、以下のステップ：
前記１以上のマイクロフォン又はアレーのひとつに認識可能なパターンを供給すること、
カメラが捕捉した画像内で認識可能なパターンを特定すること、
画像内のパターンの寸法及び(又は)位置により前記第二の距離及び(又は)方向を決定すること、
により決定することを特徴とする請求項１又は２に基づく方法。
【請求項６】
１以上のマイクロフォン又はアレーに対する音源の位置を決定するステップに、さらに以下のステップ：
事前定義をされた位置群の各位置について、マイクロフォン又はマイクロフォン要素のそれぞれ可能なペアの各マイクロフォン又はマイクロフォン要素への音源から受けた音響信号に対する第一の時間差を計算すること、
マイクロフォン又はマイクロフォン要素のそれぞれの可能なペアの各マイクロフォン又はマイクロフォン要素への音源からの音響信号を受けるための第二の時間差を測定すること、
全ての可能なマイクロフォン又はマイクロフォン要素のペアのための対応する第一及び第二の時間差の間の差の自乗の合算により事前定義された位置群の各位置に対する誤差関数の値を計算すること、
音源の位置として誤差関数の最小値と関連する位置を選択すること、
を含むことを特徴とする請求項２−５のひとつに基づく方法。
【請求項７】
以下のステップ：
種々の距離と方向を対応するカメラのズーミングの量と向きにそれぞれ関連付ける表の中で前記第一の距離及び(又は)方向の一覧を行なうこと、
前記一覧の結果に基づいてカメラのズーミング及び(又は)方向決定を行なうこと、
を特徴とする前記各請求項のひとつに基づく方法。
【請求項８】
１以上のマイクロフォン又はマイクロフォン要素のアレーに対する音源の位置を決定するのに適したカメラに対する音源の位置を決定する配置で、
１以上のマイクロフォン又はアレーのひとつに対する音源の位置からカメラと音源の間の第一の距離及び(又は)方向を、及び、カメラと１以上のマイクロフォン又はマイクロフォン・アレーのひとつの間の第二の距離及び(又は)方向を幾何学的に得ることに適した制御装置、
を特徴とする配置。
【請求項９】
さらに、その制御装置がマイクロフォン又はマイクロフォン要素の１以上のペアのためのマイクロフォン又はマイクロフォン要素への音源からの音響信号を受けるそれぞれの時間差を検出するのに適していることを特徴とする請求項８に基づく配置。
【請求項１０】
カメラと１以上のマイクロフォン又はアレーのひとつの間の前記第二の距離及び(又は)方向を固定していることを特徴とする請求項８又は９に基づく配置。
【請求項１１】
前記カメラに対する既知の又は検出可能な位置内に位置する音響信号を伝送するのに適した第一の手段、
２以上のマイクロフォン又は要素のアレー内で第二の信号をそれぞれ受けて、又、その受けた音響信号をその制御装置に伝送するのに適した第二の手段で、それはカメラと１以上のマイクロフォン又はマイクロフォン・アレーのひとつの間で前記第二の距離及び(又は)方向を計算するために受けた音響信号を処理するのに適していること、
を特徴とする請求項８又は９に基づく配置。
【請求項１２】
前記１以上のマイクロフォン又はアレーのひとつには認識可能なパターンが設けられ、カメラ及び(又は)制御装置が、そのカメラが捕捉した画像内の認識可能なパターンを識別するのに適していて、その制御装置がその画像内のパターンの寸法及び(又は)位置により前記第二の距離及び(又は)方向を決定するのに適していることを特徴とする請求項８又は９に基づく配置。
【請求項１３】
事前定義された位置群の各位置について、
マイクロフォン又はマイクロフォン要素のそれぞれ可能なペアの各マイクロフォン又はマイクロフォン要素への音源から受けた音響信号の間の第一の時間差を計算すること、
マイクロフォン又はマイクロフォン要素のそれぞれ可能なペアの各マイクロフォン又はマイクロフォン要素への音源から受けた音響信号の間の第二の時間差を測定すること、
全ての可能なマイクロフォン又はマイクロフォン要素のペアのための対応する第一及び第二の時間差の間の差の自乗の合算により事前定義された位置群の各位置に対する誤差関数の値を計算すること、
音源の位置として誤差関数の最小値と関連する位置を選択すること、
に制御装置が適していることを特徴とする請求項９−１２に基づく配置。
【請求項１４】
制御装置には、種々の距離と方向を対応するカメラのズーミングの量と向きをそれぞれ関連付ける一覧表が含まれること、及び、その制御装置が前記第一の距離及び(又は)方向に関連しているズーミングの量及び(又は)向きに基づいてカメラのズーミング及び(又は)方向決定を行なうことに適していることを特徴とする請求項８−１３のひとつに基づいた配置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は信号源の位置決め、特にテレビ会議内の有効発言者を空間的に位置決めする配置及び方法に関する。
【背景技術】
【０００２】
信号の位置決めはいくつかの用途で用いられている。最も有名な用途は多分テレビの番組製作である。例えば、討論番組で、視聴者が体験し、理解度を高めるために、現時点の発言者を有効なカメラが位置決めをし、好ましくはズーミング(zooming)をすることが重要である。しかしながら、これは伝統的にプロジューサー(producer)により手で操作されている。カメラ(camera)とマイクロフォン(microphone)が数人の画像と音声を捕捉している他の用途では、専任者が機能を制御することは不可能であり、又は、好ましくない。
【０００３】
そのような用途の一例はテレビ会議システムの中でのカメラの自動位置決めである。テレビ会議の発言で、末端位置での典型的状況はテーブル(table)の周りに数人の参加者が座っていて、その末端位置の表示装置を見ている会議室であり、その一方で、その表示装置の近くに位置しているカメラがその会議室の画像を捕捉している。その部屋に多くの参加者がいる場合、会議室の遠方端側の画像を見ている人が、発言者を決定すること、又は、発言者の議論を追跡することは困難であろう。それゆえ、部屋の中で有効発言者を位置決めし、かつ、その参加者にカメラを自動的に向けて、及び(又は)、ズーミングを行なうことが好ましい。カメラの撮影範囲内の特定位置に置かれたカメラの方向決定とズーミングを自動的に行なうことは当該分野で良く知られているので、詳細には示さない。問題は、容認できるテレビ会議の自動番組作成を行なうために、空間的及び時間的の両方で、有効発言者を十分正確に位置決めすることである。
【０００４】
公知の音源位置決め用配置は複数の空間的に離したマイクロフォンを使用し、多くの場合、受話器の出力で信号間の遅延の差を決定することに基づいている。マイクロフォンの位置及び音源と各マイクロフォンの間の伝達経路間の遅延の差が判明している場合、音源の位置を決定できる。２個のマイクロフォンを用いる場合、それらの間の基準線に対する方向を決定できる。３個のマイクロフォンを用いる場合、２次元の平面内で音源の位置を決定できる。単一平面に置かれていない３個を超えるマイクロフォンが用いられている場合、音源の三次元位置を決定できる。
【０００５】
音源の位置決めの一例は特許文献１に示されている。特許文献１は音源の方向と位置を得るために、空間的に離れた一対のマイクロフォンを用いた方法とシステムを教示している。同じ音源の音を代表している各マイクロフォンの信号の始まりを検出することにより、その音響信号の間の時間遅延を決定でき、音源に対する距離と方向を計算しうる。
【０００６】
音源の位置決めについてのこれら及び他の公知の解決策では、方向及び距離の計算をするために用いられるマイクロフォンはカメラの近くに置かれる。そのカメラの位置は通常会議用テーブルの端部を超えて、スクリーンの上部にある。少なくとも参加者の一部はマイクロフォンの設置位置から遠い距離（ｒ）に座っている。この設置位置は以下で論じるようないくつかの短所を有する。
【０００７】
発言者とマイクロフォンの設置位置の間の距離が遠いことにより、方向角に期待される拡がりは小さく、かつ、それに応じて、音の到達時間の差の拡がりが小さい。これが位置決めのアルゴリズム(algorithm)の精度を低くする。しかしながら、距離が遠いことにより、そのアルゴリズムは正確になるはずである。
【０００８】
到達時間の差を大きくするひとつの方法は、Dと示したマイクロフォン間の距離を大きくすることである。しかしながら、従来技術は、各マイクロフォンへの信号が、Ｄの大きすぎる値とは相関性が無くなる傾向があるので、Dをあまり大きくできないことを示している。従来技術では２０−２５ｃｍの距離のDが最も良い結果を与えることを示している。
【０００９】
特に、伝統的システムでは、距離の計算が誤差を生じやすい。なぜなら、この距離が比較的接近して配置された一対のマイクロフォンの間の小さな角度差を用いて計算されているからである。即ち、この方法はマイクロフォン・システムの近距離音場内に発言者がいることを想定しているが、多くの場合、この想定には疑問がある。
【００１０】
（方向を計算するために用いられる音としての）直接来た音のレベル(level)が距離ｒに逆比例する。発言者とマイクロフォンの間の距離が遠いことにより、発言者からの信号が弱くなる。それゆえ、周辺雑音とマイクロフォン及び電子機器の自己雑音に敏感になる。
【００１１】
遠距離になることにより、発言者からの音の反射がマイクロフォンの設置位置へ直接来た音とほぼ同じ高さのレベルで達する。それゆえ、不正確で低精度の決定が生じうる。
【００１２】
これらの欠点が常に障害になっているが、長い時間枠に亘って音を積分することにより補償しうる。しかしながら、これもまた、遅い応答システムという欠点を有している。これは既存の音響追跡システムの典型的弱点になっている。
【特許文献１】米国特許第5,778,082号明細書
【特許文献２】国際特許出願第WO 00/28740号明細書
【非特許文献１】"Acoustic Location of voice sources in a video conferencing environment", 1997, by Erik Leenderts
【発明の開示】
【課題を解決するための手段】
【００１３】
添付した独立請求項に定義された機能がこの配置と方法の特徴を示している。
【００１４】
特に、本発明は、１以上のマイクロフォン又はマイクロフォン要素のアレー(array)に対する音源の位置を決定すること、及び、１以上のマイクロフォン又はアレーのうちのひとつに対する音源の位置からカメラと音源の間の第一の距離及び(又は)方向を、そして、カメラとその１以上のマイクロフォン又はアレーのひとつの間の第二の距離及び(又は)方向を幾何学的に決定することによりカメラに対する音源の位置決めをする配置と方法を開示している。
【００１５】
本発明を理解しやすくするために、以後の議論では添付の図面を参照している。
【実施例１】
【００１６】
以下では、好ましい実施例を示すことにより、又、添付図面を参照することにより本発明を論じている。しかしながら、当該分野の技術者であれば添付した独立請求項に定義されている本発明の範囲内で他の応用と変更を実現するであろう。
【００１７】
本発明に基づくと、マイクロフォン・システムをカメラのある位置に配置する代わりに
、会議室のテーブルに、通常参加者グループ(group)の中央に配置する。それで、参加者までの距離が通常短縮され、近距離音場にあるという想定がより正確になる。
【００１８】
本発明は音源の位置決めをするために２分割方式を開示している。位置決め装置は好ましくは可能なかぎり使用しているカメラに近づけて配置し、１以上のマイクロフォンの位置決めをする。そのマイクロフォンはできるだけ参加者に近づけて配置することが望ましい。その一方で、そのマイクロフォン（今後、テーブル・マイクロフォンという）がそれ自体の位置に対して音源の位置決めをする。そのテーブル・マイクロフォンには２以上のマイクロフォン要素が設けられている。又は、代わりに２以上の別個のテーブル・マイクロフォンを使用しうる。テーブル・マイクロフォンは音源近くに配置されるので、テーブル・マイクロフォンと音源の間の距離に対するマイクロフォン要素間の距離の比が小さくなる。それで、マイクロフォンがカメラ付近に配置されている場合と比較して、テーブル・マイクロフォンは高解像度かつ高速で音源の位置を決定できる。
【００１９】
カメラ及び音源に対するテーブル・マイクロフォンの各位置が判明しているとき、カメラに対する音源の位置を極めて直接的に求められる。この方法で、結果の精度が、カメラに対する音源の位置に依存する度合いが、テーブル・マイクロフォンを音源にどのように近づけるか、及び、カメラに対するテーブル・マイクロフォンの位置決めの精度と速度に依存する度合いと比較して、低くなる。カメラと音源を直接関連づけるよりも後者ははるかに制御可能になる。
【００２０】
既に示したように、本アイデア(idea)は有効発言者を位置決めするために２以上の協調するシステムを組合わせることである。１以上の協調するシステムをカメラ側に配置し、かつ、１以上の協調するシステムをマイクロフォン側に配置する。カメラに対するテーブル・マイクロフォンの位置と方向を（テーブル・マイクロフォンの位置が固定されている場合に）手操作の測定値により、テーブル・マイクロフォンでの音、赤外線、高周波電波等の信号源を用いた、ある種のパターン(pattern)認識により、又は、カメラ側に１以上の信号源を持たせ、それをテーブル・マイクロフォンにより受信できることにより計算できる。本発明は、カメラとテーブル・マイクロフォンの間の相対位置が、カメラに対する音源の位置を直接検出するのと比較して、高精度になりやすいという事実を利用している。さらに、本アイデアは追跡すべき参加者の近くに検出装置を置いて、正確な測定になるように遠距離音場の計算の代わりに近距離音場の計算を行なえるようにし、カメラと協調するシステムに対するこの装置の方向と距離を計算する。最後に、これらの計算を統合して、カメラから参加者への直接の方向と距離を見いだす。
【００２１】
音源の方向を計算するひとつの方法を図２に示す。マイクＢ及びマイクＡに達する音響信号の間での時間遅延は最新の技術に基づいて決定される。例えば、特許文献１に示されている発生信号の検出により、又は、特許文献２に示されたように、マイクＢ及びマイクＡへの各音波経路のインパルス(impulse)応答の相互相関性を求めることによる。
【００２２】
時間遅延の信号ｔが発生すると、マイクＢ及びマイクＡに対する音源Ｃの方位角は以下に基づいて決定しうる。
【００２３】
【数１】
2006525743.tif 000003
【００２４】
ここで、ｖは音速であり、ｔは時間遅延である。Ｄはテーブル・マイクロフォン間の距離である。この音源の方向を推定する方法は、遠距離音場の近似に基づいていて、その場
合、音響信号は平坦な即ち平面波の形でマイクＡ及びマイクＣに達すると仮定している。もし、平面波の仮定が特定の用途に適当でない場合、他の技術を用いて、マイクＡ及びマイクＢに対する音源Ｃの方向又は位置を決定する。そのような技術には、例えば、システム内に追加のマイクロフォンを組込むこと、及び、上記の方法に基づいてマイクロフォンの追加のペア(pair)での信号の到着時点の差に対応した遅延を発生させることが含まれる。そして、音源Cの方向と位置を決定するために、公知の技術に基づいて、多数の時間遅延を使用しうる。
【００２５】
上記の方法は遠距離音場の条件でのみ一平面内の音源からの方向を推定する。この方式で三次元推定を行なうため、他の２個と並んでいない第三のマイクロフォン又はマイクロフォン要素、マイクCを追加しなければならない。このマイクロフォンはマイクA及びマイクCと共に２対の追加のマイクロフォン・ペアを配置する。
【００２６】
テーブル・マイクロフォンに対する音源の位置を知るために、近距離音場の条件を考慮して、より高度の方法を必要とする。この例には非特許文献１に示されている最大尤度(Maximum Likelihood, ML)位置決め法である。MLは全ての可能なマイクロフォン・ペア全部を組合わせる統計的利点を利用している。この方法の目的は、いくつかの位置で期待される時間遅延と組合わせて（例えば、特許文献１に基づくある種の時間遅延推定法により）テーブル・マイクロフォンが与えうる全ての遅延情報を用いることにより、最も可能性がある音源位置を見いだすことである。
【００２７】
室内の全ての位置  P = (XP,YP, ZP)  に対して、関連する時間遅延の期待値を全てのマイクロフォン・ペアについて計算できる。マイクロフォンMi及びMk から成るペアについて、そのマイクロフォンの位置が判明しているとき、τｉｋ（Ｐ）と呼ばれているＰから見た相対遅延を正確に計算できる。この計算は当該分野で良く知られているので、詳細には示さない。その方法は、Ｐが音源Ｓ０とは異なる場所である場合、τｉｋ（Ｐ）がτｉｋとは異なることを想定している。以下の数までのＮmics個のマイクロフォンを用いて、
【００２８】
【数２】
2006525743.tif 000004
【００２９】
種々のマイクロフォン・ペアを配置でき、それぞれがPごとに関連する時間遅延の推定値を有している。これらの推定値を組合わせて、室内の全ての位置Ｐについて、誤差配置関数(error-placement function)Ｅ（Ｐ）を発生する。
【００３０】
【数３】
2006525743.tif 000005
【００３１】
ここで、τ^ikはMiとMkに対して期待される時間遅延である。この関数はP=Ｓ０で最小値を生じると期待できる。
【００３２】
正確な音源位置が見いだされた場合、P=Ｓ０となり、かつ、誤差関数が以下のようになる。
【００３３】
【数４】
2006525743.tif 000006
【００３４】
理想的環境では、E(Ｓ０) = 0になる。
【００３５】
示されている方法は、幾何学的誤差を導入しないで、全てのマイクロフォン・ペアを組合わせられる。
【００３６】
雑音と反響音に基づき、一部の遅延の推定値は他と比較して信頼度が高い。一部の推定値は全く有用でないだろう。それぞれの時間遅延の推定値(Time Delay Estimation: TDE)の信頼度が判明している場合、重み関数を誤差関数に含めることができる。
【００３７】
【数５】
2006525743.tif 000007
【００３８】
ここで、βikは遅延推定値τ^ikに対する重み係数である。
【００３９】
ここで、一部の遅延推定値は完全に却下されるので、残りの遅延推定値が幾何学的に音源を位置付けできるかどうかチェックしなければならない。もしそうなら、その推定値は全ての遅延推定値を考慮している場合よりもその推定値はずっと正確になるだろう。これが事実でなければ、いずれにせよ、位置決めは不正確になるだろう。
【００４０】
βikの発見方法は完全な調査を必要とするが、ここでは、それ以上検討しない。
【００４１】
E(P)関数の最小点及びそれによる最も可能性のある音源位置を見いだすことは、一組のPに対して、E値を計算して、これらのうちの最小値を見いだすことにより、又は、勾配調査法を用いることにより、行なえる。
【００４２】
（テーブル・マイクロフォンの位置に対して）可能性があり、かつ、推定しうる音源の位置の事前定義された選択が用いられた場合、位置決めを行なう前に全てのτｉｋ（Ｐ）の値を計算できる。遅延が推定されたとき、E関数での最小点を見いだすために、事前計算された位置の遅延と比較できる。可能性のある位置は全ての方向で１０ｃｍ単位に分割されている。そのシステムは以下の数値未満を単位とする実際の音源を見逃すことが予想される。
【００４３】
【数６】
2006525743.tif 000008
【００４４】
会議の状況内に予想される参加者領域は限定されている。参加者がテーブル・マイクロフォンの前方１−５メートル以内に、かつ、両側それぞれで最大３メートルに位置すると予想される場合。このことは、１０ｃｍの網目の寸法を用いるとき、(400/10 + 1) * (600/10 + 1) = 2501個所となることを意味している。テレビ会議用の別の妥当な近似は、音源が床の上方１００ｃｍから１８０ｃｍの間に位置していると期待することである。
【００４５】
これらの条件で、計算する位置の総数は、現在依然として１０ｃｍの網目の寸法であれ
ば、2501 * (80/10 + 1) = 22509 になる。
【００４６】
「合法的な」音源の位置となる領域がさらに制限されるが、依然として、計算すべき数千のE値が残っている。この理由で、勾配調査の時間効率は高いと期待しうる。
【００４７】
テーブル・マイクロフォンに対する音源の位置を決定するのに多くの他の方法が可能である。その多くは、マイクロフォン要素間の距離（D)に対して、テーブル・マイクロフォンから音源までの距離（ｒ）を短くした方が精度と解像度が高くなる。しかしながら、Dが大きくなりすぎた場合、同じ音源からそれぞれが受けた音が（反射等により）大きな違いとなるので、遅延の測定が不可能になることを留意すべきである。それで、Dは使用時の上限を有する。従来技術では、最適距離Ｄが２０−２５ｃｍの範囲になることを示している。
【００４８】
本発明は、近距離音場で操作する利点を全体として遠距離音場でのにカメラに対する音源の位置の計算に移している。もちろん、既に述べた計算方法は遠距離音場の一部で、即ち、カメラに対するテーブル・マイクロフォンの位置を決定することで使用しうる。しかし、この場合、関係する位置がさらに制御可能であれば、遠距離音場の計算でさえ、計算が迅速かつ正確になる。さらに、マイクロフォン／音源の場合と異なり、この位置決めプロセスは一方向計算に限定されない。即ち、テーブル・マイクロフォンがカメラの位置を検出するだけでなく、カメラがテーブル・マイクロフォンの位置を検出する。さらに、多くの用途で、テーブル・マイクロフォンとカメラが固定されているので、複雑ではなくて、速度を求められる方法が必要になる。一部の用途では、テーブル・マイクロフォンとカメラの両方を固定したとき、距離と方向について事前定義された値も使用しうる。
【００４９】
本発明の好ましい実施例では、テレビ会議の機器に関連する他の機器の調節を限定するために、テーブル・マイクロフォンが全ての位置決め機能を提供する。本実施例では、テーブル・マイクロフォンでの調節を除く唯一の調節は、カメラに、又は、その近くに、（又は、カメラに対して既知になるように又は検出可能に）取付けられた補助音源とする。テーブル・マイクロフォンはこの補助音源からの既知の信号を認識するのに適当である。補助音源は人間の可聴周波数範囲以外の周波数の音及び(又は)進行中の会議の障害にならないように人間の耳で検出できない振幅の音を発する。さらに、補助音源はテレビ会議の設備として使用する拡声器としうる。その場合、カメラに対する拡声器の位置が判明していなければならない。又は、そのつど検出できなければならない。
【００５０】
以前に示したように、位置決めすべき音源を制御できれば、発言者のような制御できない音源と比較して、その位置決めはずっと正確になり、短時間で行なえる。拡声器からマイクロフォン・システムまでの伝搬遅延を対応する伝達関数から得られる。拡声器からマイクロフォンまでの伝達関数を測定するために一般的に用いられる技術は最長シーケンス(Maximum-Length Sequences: MLS)技術である。ＭＬＳ信号は一定特性を有するタイプの信号群である。この立場で最も重要な特性は、システム入力に供給されたとき、システム出力との相互相関性がシステムのインパルス応答を正確に与えるという事実である。以下の式の群から得られる。ここでｈがシステムのインパルス応答、yは入力としてMLS信号ｘを有するシステムの出力信号である。ｒは相互相関関数であり、δはデルタ関数である。
【００５１】
【数７】
2006525743.tif 000009
【００５２】
本発明のシステムの補助音源（例えば、拡声器）にＭＬＳ信号を入力し、かつ、マイクロフォンの各出力を測定するとき、補助音源−音響的環境−マイクロフォンから成るシステムのインパルス応答を決定できる。そのインパルス応答が信号の絶対遅延を示し、さらに、音源とマイクロフォンの間の絶対距離を暗示的に示す。それぞれのマイクロフォン又はマイクロフォン要素で信号を受ける時間の間の相対的遅延及びそれらの間の距離により、その音源に対するテーブル・マイクロフォンの方向及び向きを推定できる。
【００５３】
本発明の別の実施例では、カメラの画像機能を用いている。そして、テーブル・マイクロフォンには、カメラに事前に記憶され、かつ、アクセスできて、容易に認識できる形状又はパターンが供給される。この方法で、カメラ自体（又はその制御装置）が、そのカメラが捕捉した画像内で認識できるパターンの寸法と位置を求めることによりテーブル・マイクロフォンの位置を計算できる。代わりに、そのパターンには２以上の制御可能な光源を含めて、カメラがテーブル・マイクロフォンを認識して、位置決めすることを支援する。さらに、制御装置を調節して、テーブル・マイクロフォンからカメラへ光が移動する時間を測定し、それにより位置を得る。
【００５４】
本発明の別の実施例では、カメラとテーブル・マイクロフォンがＲＦ（無線周波数）検出機能を用いて、局部的位置決めシステム内でお互いの位置決めをする。もちろん、テーブル・マイクロフォンとカメラの間の相対的位置も固定しうる。
【００５５】
テーブル・マイクロフォンと音源の間だけでなくカメラとテーブル・マイクロフォンの間の相対位置を見いだしたとき、カメラと音源の間の相対的位置を見いだすために単調な幾何学的計算のみが残る。図３を参照すると、角度α1とα２及び距離ａ及びｂを与えられた場合に角度α３と距離ｃを計算する問題になる。幾何学的条件は垂直面内のカメラと音源の間の距離ｃと角度についての以下の表現になる：
【００５６】
【数８】
2006525743.tif 000010
【００５７】
水平面についての対応する値は全く同じ方法で計算できる。カメラの位置を考慮して、音源の三次元位置を例えばピタゴラスの定理により容易に計算しうる。
【００５８】
有効発言者への方向についての情報を用いて、電動カメラを正しい方向に位置することができる。距離についての情報を用いて、正しいズーム比と焦点を調節できる。
【００５９】
そして、図１のビデオ会議システムの動作は以下の通りである。ステーション(station)Ａで参加者の一人が話し始めたときに、参加者の発言により発生した音響信号をテーブル・マイクロフォンが取得して、制御装置に送り、そこで、公知の方法で処理される。そして、伝送システムを経由してステーションＢに伝送する。ステーションBで受信した音響信号を拡声器で再生する。
【００６０】
発言する参加者が発生する音響信号もマイクロフォン・アレー内のマイクロフォンにより取得される。取得した信号は制御装置に送られ、そこで、マイクロフォンの種々のペアからの信号を好ましく処理する。そして、発言する参加者の最も可能性の高い位置が上記の方法に基づいて決定される。テーブル・マイクロフォンとカメラ内の補助音源の間の相対的な方向及び距離を同様に決定することにより、カメラと音源の間の相対的な方向と距離が幾何学的計算により決定される。そして、この情報はカメラの方向及び(又は)ズームを自動的に向け又は調節するのに使用される。
【００６１】
例えば、決定された方向は、音源の位置に向けるために、カメラの向きを直接又は間接に調節するのに使用される。自動ズーミングは最初の画像に対するパーセンテージ(percentage)単位のズーミング量に距離を関連付けることにより行なわれる。距離（又は距離の刻み）とパーセンテージの間の関連性が制御装置内の表に記憶され、新しい音源を検出したとき又は有効発言者が移動したときの特別の問い合せに利用できる。
【００６２】
本発明の別の実施例では、カメラの向きとズーミングの微調節のために音響検出と画像による署名を組合わせうる。音響検出の後で、有効発表者がカメラにより捕捉された画像内に入る可能性が特に高い。そして、カメラ又は制御装置が事前に記憶されている発言者の画像による署名により画像内の有効発言者を識別する。そして、有効発言者に対するカメラのズーミング／向きが不正確であることが判明した場合、画像内で特定された有効発言者の位置に基づいてこれを調節する。別の改善は画像による署名を対応する音響による署名に関連づけることであろう。１を超える画像による署名が音響検出後に捕捉した画像内にある場合、微調整時に有効発言者の音響による署名を調査することにより、画像による署名のどれを選択するかをカメラ又は制御装置が知る。中断する不連続の動きを防ぐために音響検出により、画像及び（又は）音響による署名によりこの微調整をすることをカメラの動きに滑らかに組込むことが望ましい。
【００６３】
本発明に基づく方法及び（又は）配置を用いるのにはいくつかの利点がある。その一部を以下で論じている。
【００６４】
第一に、ｒが小さくなると共に、D/rの比が大きくなる。このことは角度の差があれば到着時点の差が大きくなることを意味する。さらに、角度の有効な広がりが水平面で360度まで大きくなる。このことは、到着時点の差が大きくなることを意味している。
【００６５】
第二に、発言者からの信号が強くなり、信号対反響音が大きくなって、計算を改善できる。
【００６６】
第三に、ｒが小さいので、時間差及びそれによる角度の計算誤差による実際の位置の誤差が、（ｒに）比例して小さくなる。
【００６７】
さらに、D/rが小さいことは真の近距離音場の仮定になりうることを意味する。そして、距離の計算の精度が高くなる。
【００６８】
これらの利点があれば、マイクロフォン・システムと発言者の間の相対位置を高精度かつ高速で発見できる。
【００６９】
しかしながら、カメラに対するマイクロフォン・システムの位置は依然として高精度で決定しなければならない。この位置付けに音響を用いて、かつ、カメラの場所に拡声器を置くと、以下により、これは問題を単純化する。
【００７０】
このシステムは静止型となる傾向がある（移動しない）。それゆえ、全ての計算を長時間に亘って積分でき、非常に正確な測定値を得る。
【００７１】
拡声器で発した音響は制御可能である。そして、適当な統計を用いて信号を選択することにより、到着時点の差及びそれゆえ方向／角度を正確に測定することが容易になる。
【００７２】
拡声器の制御が可能なことで、拡声器からマイクロフォン・システムへ音響が伝搬する絶対時間を発見できる。音速が知られているので、絶対距離を発見できる。それゆえ、拡声器とマイクロフォン・システムの間の近距離音場について疑いがない仮定が必要である。
【００７３】
適切なアルゴリズム、例えば、ＭＬＳ（最長シーケンス）技術はノイズ(noise)に対して非常に頑丈である。それゆえ、拡声器とマイクロフォン・システムの間の距離が長いこと（即ち、信号対ノイズの比が低いこと）は大きな問題にはならない。ＭＬＳ技術も直接来る音と反射音を識別できる。それゆえ、信号対反響音の比は大きな問題にならない。
【図面の簡単な説明】
【００７４】
【図１】本発明に基づくテレビ会議を示すブロック線図である。
【図２】遠方領域に想定された音源からの音響信号を受信している一対のマイクに関する角度決定例の幾何学を示す。
【図３】垂直面内のカメラと音源の間の角度と距離を決定している幾何学を示す。
【図１】
2006525743.tif 000011
【図２】
2006525743.tif 000012
【図３】
2006525743.tif 000013
【手続補正書】
【提出日】平成16年9月7日(2004.9.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音源と１以上のマイクロフォン又はマイクロフォン要素のアレーの間の第一の距離及び方向を決定することによりカメラに対する音源の位置を位置決めする方法で、
カメラと１以上のマイクロフォン又はアレーのひとつの間の第二の距離及び方向を決定すること、
音源と１以上のマイクロフォン又はアレーの間の第一の距離及び方向、及び、カメラと１以上のマイクロフォン又はアレーのひとつの間の第二の距離及び方向からカメラに対する音源の位置を幾何学的に得ること
を特徴とする方法。
【請求項２】
音源と１以上のマイクロフォン又はアレーの間の第一の距離及び方向を決定するステップが、１以上のペアのマイクロフォン又はマイクロフォン要素のためのマイクロフォン又はマイクロフォン要素への音源からの音響信号を受けるそれぞれの時間差を検出することにより実行されることを特徴とする請求項１に基づく方法。
【請求項３】
カメラと１以上のマイクロフォン又はアレーのひとつとの間の前記第二の距離及び方向が固定されていることを特徴とする請求項１又は２に基づく方法。
【請求項４】
カメラと１以上のマイクロフォン又はアレーのひとつの間の前記第二の距離及び方向を、
以下のステップ：
カメラに対する既知又は検出可能な位置から音響信号を伝送すること、
２以上のマイクロフォン又はアレーの要素で音響信号をそれぞれ受けること、
カメラと１以上のマイクロフォン又はマイクロフォン・アレーのひとつの間の前記第二の距離及び(又は)方向を計算するために、受けた音響信号を処理すること、
により決定することを特徴とする請求項１又は２に基づく方法。
【請求項５】
カメラと１以上のマイクロフォン又はアレーの間の前記第二の距離及び方向を、
以下のステップ：
前記１以上のマイクロフォン又はアレーのひとつに認識可能なパターンを供給すること、
カメラが捕捉した画像内で認識可能なパターンを特定すること、
画像内のパターンの寸法及び(又は)位置により前記第二の距離及び(又は)方向を決定すること、
により決定することを特徴とする請求項１又は２に基づく方法。
【請求項６】
音源と１以上のマイクロフォン又はアレーの間の第一の距離を決定するステップに、さらに以下のステップ：
事前定義をされた位置群の各位置について、マイクロフォン又はマイクロフォン要素のそれぞれ可能なペアの各マイクロフォン又はマイクロフォン要素への音源から受けた音響信号に対する第一の時間差を計算すること、
マイクロフォン又はマイクロフォン要素のそれぞれの可能なペアの各マイクロフォン又はマイクロフォン要素への音源からの音響信号を受けるための第二の時間差を測定すること、
全ての可能なマイクロフォン又はマイクロフォン要素のペアのための対応する第一及び第二の時間差の間の差の自乗の合算により事前定義された位置群の各位置に対する誤差関数の値を計算すること、
音源の位置として誤差関数の最小値と関連する位置を選択すること、
を含むことを特徴とする請求項２−５のひとつに基づく方法。
【請求項７】
以下のステップ：
カメラに対する種々の位置を対応するカメラのズーミングの量と向きにそれぞれ関連付ける表の中でカメラに対する音源の位置の一覧を行なうこと、
前記一覧の結果に基づいてカメラのズーミング及び(又は)方向決定を行なうこと、
を特徴とする前記各請求項のひとつに基づく方法。
【請求項８】
音源と１以上のマイクロフォン又はマイクロフォン要素のアレーの間の第一の距離及び方向を決定するのに適したカメラに対する音源の位置を決定する配置で、
カメラと１以上のマイクロフォン又はアレーのひとつの間の第二の距離及び方向を決定するのに適していて、かつ、音源と１以上のマイクロフォン又はアレーの間の第一の距離及び(又は)方向、及び、カメラと１以上のマイクロフォン又はアレーのひとつの間の第二の距離及び方向からカメラに対する音源の位置を幾何学的に得ることに適した制御装置、
を特徴とする配置。
【請求項９】
さらに、その制御装置がマイクロフォン又はマイクロフォン要素の１以上のペアのためのマイクロフォン又はマイクロフォン要素への音源からの音響信号を受けるそれぞれの時間差を検出するのに適していることを特徴とする請求項８に基づく配置。
【請求項１０】
カメラと１以上のマイクロフォン又はアレーのひとつの間の前記第二の距離及び方向を固定していることを特徴とする請求項８又は９に基づく配置。
【請求項１１】
前記カメラに対する既知の又は検出可能な位置内に位置する音響信号を伝送するのに適した第一の手段、
２以上のマイクロフォン又は要素のアレー内で第二の信号をそれぞれ受けて、又、その受けた音響信号をその制御装置に伝送するのに適した第二の手段で、それはカメラと１以上のマイクロフォン又はマイクロフォン・アレーのひとつの間で前記第二の距離及び方向を計算するために受けた音響信号を処理するのに適していること、
を特徴とする請求項８又は９に基づく配置。
【請求項１２】
前記１以上のマイクロフォン又はアレーのひとつには認識可能なパターンが設けられ、カメラ及び(又は)制御装置が、そのカメラが捕捉した画像内の認識可能なパターンを識別するのに適していて、その制御装置がその画像内のパターンの寸法及び(又は)位置により前記第二の距離及び方向を決定するのに適していることを特徴とする請求項８又は９に基づく配置。
【請求項１３】
事前定義された位置群の各位置について、
マイクロフォン又はマイクロフォン要素のそれぞれ可能なペアの各マイクロフォン又はマイクロフォン要素への音源から受けた音響信号の間の第一の時間差を計算すること、
マイクロフォン又はマイクロフォン要素のそれぞれ可能なペアの各マイクロフォン又はマイクロフォン要素への音源から受けた音響信号の間の第二の時間差を測定すること、
全ての可能なマイクロフォン又はマイクロフォン要素のペアのための対応する第一及び第二の時間差の間の差の自乗の合算により事前定義された位置群の各位置に対する誤差関数の値を計算すること、
音源の位置として誤差関数の最小値と関連する位置を選択すること、
に制御装置が適していることを特徴とする請求項９−１２に基づく配置。
【請求項１４】
制御装置には、カメラに対する種々の位置に対応するカメラのズーミングの量と向きをそれぞれ関連付ける一覧表が含まれること、及び、その制御装置がカメラに対する音源の位置と関連しているズーミングの量及び(又は)向きに基づいてカメラのズーミング及び(又は)方向決定を行なうことに適していることを特徴とする請求項８−１３のひとつに基づいた配置。
【国際調査報告】
2006525743.tif 000014
2006525743.tif 000015
2006525743.tif 000016