(57)【要約】システムは、様々な可能な音源から出る音に対応する標的とされる装置を目的とする。会議若しくは討論において、例えば、システムは、ビデオカメラ（４）若しくは光を現在のスピーカー（６Ｂ）に照準化する。制御システムは、音の新しい源（６Ａ）、及び現在の標的（６Ｂ）と音の新しい源（６Ａ）の間の角度の差からの連続的な音の発散の継続期間に反応する。各々が閾値を越える場合、カメラ（４）は再度照準化される。音は、短い一時停止（呼吸に関しては）が連続するスピーチを破壊するものとして反応されないように、完全に連続する必要性はない。
2004505560.tif 000002
【特許請求の範囲】
【請求項１】
音声源を標的化するための方法であって、
現在の音声源からの音の測定によって決定される該現在の音声源の第一座標の保存と、
角度閾値のメモリへの保存と、
メモリに保存された以前の音声源の前記第一座標及び第二座標との間の角度差の計算と、及び
前記角度差及び前記角度閾値に応対する前記現在の音声源の標的化と
からなることを特徴とする方法。
【請求項２】
前記標的化段階が、前記角度閾値と前記角度差との比較を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記角度差が前記角度閾値を超過する場合のみ、前記標的化段階が、標的化する前記現在の音声源を含有することを特徴とする請求項１に記載の方法。
【請求項４】
前記標的化段階が、前記現在の音声源の音の出力レベルに応対して標的化する前記現在の音声源を含有することを特徴とする請求項１に記載の方法。
【請求項５】
前記標的化段階が、所定の音の出力閾値に対する前記現在の音声源の音の出力の比較を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記標的化段階が、前記現在の音声源に応対する低域でフィルターする音の出力信号を含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記低域でフィルターする段階が、
音の出力レベルの入力信号の受理と、
前記入力信号が閾値レベルよりも低い場合でのタイマーのリセット及び開始と、
前記入力信号が前記閾値レベルを超過する以前に、前記タイマーが時間切れ状態に達した場合の、第一出力信号の出力と、及び
前記タイマーが前記時間切れ状態に達するまでに、前記閾値レベルより低い前記入力信号を維持する場合における第二出力信号の出力と
を含有することを特徴とする請求項６に記載の方法。
【請求項８】
前記標的化段階が、照準化する装置を含むことを特徴とする請求項１に記載の方法。
【請求項９】
音声源を標的化するための方法であって、
現在のスピーカーメモリでの現在のスピーカーの座標の保存と、
第一音声源の座標の検出と、
前記現在のスピーカーの保存された座標及び前記第一音声源の前記座標との間の角度差の決定と、及び
前記角度差に応対する前記第一音声源と
からなることを特徴とする方法。
【請求項１０】
音声源を標的化するための方法であって、
現在の音声源の検出と、
音声源の保存された座標及び前記現在の音声源の座標との間の角度差の決定と、
前記現在の音声源の音の出力レベルのメンテナンスの継続期間の測定と、及び
前記継続期間及び前記角度差に応対する前記音声源の標的化と
からなることを特徴とする方法。
【請求項１１】
音声源を標的化するための方法であって、
現在の音声源の検出と、
音声源の保存された座標及び前記現在の音声源の保存された座標との間の角度差の決定と、
前記現在の音声源の音の出力レベルの継続期間の時間積分の測定と、及び
所定の角度閾値を超過する前記継続期間の時間積分及び前記角度差に応対する前記音声源の標的化と
からなることを特徴とする方法。
【請求項１２】
標的化システムであって、
前記音源の座標及び音の出力レベルを表現する第一及び第二信号をそれぞれ産出する音の変換器と、及び
前記第一及び第二信号を受け取るために接続されたコントローラーであって、前記第一の音の信号の座標及び事前の音源の保存された座標との間の角度差を計算するためにプログラムされて、前記角度差に応対して照準化される装置の位置の制御にさらに接続されることを特徴とするコントローラーと
からなることを特徴とする標的化システム。
【請求項１３】
前記音源の前記音の出力レベルを受け取るために接続された低域フィルターをさらに含有し、前記低域フィルターが前記音源の前記音の出力レベルをフィルターするためにプログラムされて、前記コントローラーによって受け取られるフィルター化された音の出力レベル信号を出力することを特徴とする請求項１２の標的化システム。
【請求項１４】
標的化システムであって、
音源の位置を表現する第一信号及び前記音源の音の出力レベルを表現する第二信号を提供するためにアレンジされた少なくとも二つのマイクロホンを使用する音声の検出器と、
前記第一及び第二信号を受け取るために接続されたコントローラー装置であって、該コントローラーが
前記音源の前記座標及び以前の音源の保存された座標との間の角度差を計算するために、
角度閾値に対する前記角度差を比較するために、及び
前記角度閾値を超過する前記角度差に応対して照準化する前記コントローラー装置に接続された標的化装置の制御するために
プログラムされたことを特徴とする標的化システム。
【請求項１５】
前記コントローラー装置が、前記音源の前記音の出力レベルを受け取るためにプログラムされた低域フィルターを含み、前記音源のフィルター化された音の出力レベルを出力することを特徴とする請求項１４に記載の標的化システム。
【請求項１６】
前記コントローラー装置が、前記音源の前記音の出力レベルを受け取るために接続された閾値検出器を含み、該閾値検出器が音の閾値に対する前記音源の前記音の出力レベルと比較するようにプログラムされ、それによって前記標的化装置が前記所定の閾値を超過する前記音の出力及び前記角度閾値を超過する前記角度差に応対して照準化されることを特徴とする請求項１４に記載の標的化システム。
【発明の詳細な説明】
【０００１】
本発明の分野
本発明は、一般的に、ビデオ会議システムに使用されるビデオトラッキングのような、自動照準化システムの分野に関する。
【０００２】
本発明の背景
自動カメラトラッキングシステムは、動き、色、画像処理等のような数多の判定基準を基にしたカメラの視野内に標的を自動的に獲得し維持する。例えば、ビデオ会議システムは、パン−チルト−ズームカメラ（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ　ｃａｍｅｒａ）を用いて所望の標的をトラックするかもしれない。かかる装置の一つのクラスは、グループ内の現在のスピーカーを自動的に決定すること及び現在のスピーカーに焦点化することにより現在のスピーカーのトラックを維持する。新しいスピーカーが話を始める場合は常に、自動的に騒音レベル及び／若しくは他の判定規準によって新しいスピーカーを検知し、引き続き新しいスピーカーに集中する。
【０００３】
従来、現在のスピーカーを決定するための多くの異なる技術が提案されている。かかる技術では自動カメラが新しいスピーカーの存在を決定し、かつ従って新しいスピーカーに集中することを可能にする一方で、かかる技術は著しい欠点に苦しむ。かかるシステムは、スピーカーからスピーカーへと非常にゆっくりと切り替わり、それによって会話の大部分を省略し、若しくは、急速に切り替わりすぎて、カメラのトラッキングを混乱する。
【０００４】
この問題の一つの解決策は、米国特許出願番号５２０６７２１によって提案されている。かかる特許は、各スピーカーが個別のマイクロホンを有するシステムにおける現在のスピーカーに照準化するための方法を記載している。このシステムにおいて、入力信号は、各スピーカーの、数多のマイクロホンの各々から集められる。話している総合時間は、連続する間隔を通して各スピーカーで累積される。与えられた時点において、最も長く累積した話す時間を伴う現在のスピーカーが決定される。
【０００５】
上記のアプローチでの問題は、現在のスピーカーの決定が複数のマイクロホンを必要とすることである。複数のマイクロホンの使用は、マイクロホンの通常の相互接近、及び囲まれたスペース内若しくは分離と物体を備えた内のエコー及び外来の雑音発生により現在のスピーカーを区別することを困難にする。加えて、開示された方法は、隣接して位置している二人のスピーカー間の連続したカメラの動きの望まない影響を効果的に防げない。
【０００６】
このようにして、従来技術の欠点を克服する、自動ビデオ会議技術での自動カメラが集中化し続ける現在のスピーカーを決定する方法の必要性がある。
【０００７】
本発明の概要
本発明は、独立した請求項によって定義される一方で、従属の請求項は有用な実施態様を定義する。
【０００８】
要約すると、システムは、様々な可能な音源から出る音に対応して標的とされる装置を目的とする。例えば、会議や討論において、システムは、ビデオカメラ若しくは光を現在のスピーカーに照準化するために使用されるであろう。制御システムは、音の新しい源、及び現在の標的と音の新しい源との間の角度差からの連続的な音の発散の継続期間に反応する。各々が閾値を超過する場合、カメラは再度照準化される。音は、短い一時停止（呼吸に関しては）が連続するスピーチを破壊するものとして反応されないように、完全に連続する必要性はない。
【０００９】
システムは、カメラや光のような装置の制御を可能にする、音源のグループから、スピーカーのような、現在の音源を決定する。システムは、新しい源を獲得する以前に二つの判断基準を課してあり、第一は、供給源が、所定の間隔において実質的に連続し、第二としては、装置が照準化される現在の座標とは実質上異なる位置の座標（照準化される装置に関する角度）を有するべきである。ビデオ会議の環境において、新しいスピーカーと以前のスピーカー間の角度距離が閾値を超過する場合のみ、及び新しいスピーカーが最小時間で連続して話しをする場合のみにおいて、以前のスピーカーから新しいスピーカーへの変更になる。
【００１０】
アプローチは、ＷＯ−Ａ−９９／２７５２２（弁理士の事件要領書ＰＨＮ１６．６３８）に記載のような音の変換器を用いて実行されるであろう。上記の音の変換器は、音の出力レベル（ＲＭＳ若しくは任意の他の適切な指示するもの）及び音の現在の源の座標を示唆する座標の信号を産出する。上記の機能性を達成するための制御は、下記の手順によって獲得されるであろう：
・もしも音の源の現在の座標が、現在の標的を表現する座標からの最低の角度の閾値によって異なる音の変換器によって産出される場合、現在の座標を標的獲得に対する候補であると確認する。
【００１１】
・もしも現在の一時的な座標が特定の間隔において与えられた範囲（つまり、一定の音源を構成するように考慮された閾値を超過して変化しない）に留まる場合は、新しい標的を獲得し、現在の標的を表現する座標としての候補の座標を保存する。
【００１２】
短い中断を備えたそのスピーチを保証するために、例えば、その伴う時々の呼吸及び休止は、連続的なスピーチ、低域フィルタ、時間ラッチあるいは音響出力レベル信号に適用されて使用される他のフィルタ・メカニズムのギャップとして応答されない。
【００１３】
その後、時間閾値要求に備えるために、候補スピーカーが連続的に話す時間間隔（低域フィルタによってフィルター化されるように）は累積され、所定の時間閾値と連続的に比較される。一旦タイマーが連続的なスピーチの切れ目あるいは方向のある座標の変化のない（許容差内）時間閾値に達すれば、候補スピーカーは現在のスピーカーになり、したがって、カメラや光である装置は照準化される。
【００１４】
代替としての適用において、本発明はスピーカーや俳優のような音源に照準化するスポットライトのような光として用いられるかもしれない。
【００１５】
図面の詳細な記述
図１及び２に言及すると、音の変換器１は、スピーカー６Ｂからの音声の信号を受け取り、音の出力レベル（ＲＭＳ若しくは同類の）及び方向の両者を示す出力を産出する。音の出力レベル信号は、一時的な短い低いレベルを除去するために、低域フィルタ１９に適用される。フィルターを通された音の出力レベル信号は、次いで、音声源（スピーカー６Ｂ）の音の出力が与えられた瞬時における特定のレベルよりも高いか若しくは低いかを示す、単一のビット（時間とともに）信号を産出するために、閾値検出器２０（つまり、コンパレーター）に適用される。
【００１６】
閾値検出器２０の出力は、音の変換器１からの方向信号を受け取る、角度コンピューター２１に適用される。角度コンピューターは、音の現在の源の方向を示すベクトルを出力して、ベクトルを位置制御器２２に適用する。閾値検出器２０の出力は、方向信号から計算された角度で掛け合わせられ、もしも閾値が低く、無効でない方向ベクトルか、そうでない場合、角度コンピューター２１の出力は、無効ベクトルである。
【００１７】
位置制御器２２は、カメラ４を向ける位置加速器２３を制御する、処理を連続して実行する。位置制御器２２によって実行された処理の結果は、音の設計された源の連続する獲得である。もしもスピーカー６Ｂが静かな期間で、スピーカー６Ａが続く期間において連続的に話しをする場合、別のスピーカーが話しを取って代わるまで、カメラ４は後者６Ａに向けられるであろう。
【００１８】
そうでなければ連続的なスピーチの中で簡潔な休止がある場合、低域フィルタが信号の変更の回避に起因する総括的な過程であることに注意する。低域フィルタは総括的な記載として意図され、デジタル若しくはアナログ信号でのデジタル処理でありえる。それは短い休止あるいは他の適切な処理をスキップする、数字で表した低域フィルタ若しくは時間遅延処理か、若しくは装置（つまり、タイマーを伴うラッチ）でありえる。同様に閾値検出器２０。後者は、アナログ装置若しくはデジタル処理である。低域フィルター、閾値検出器、及び角度コンピューター１９乃至２１の機能は、単一のアルゴリズム若しくは複数のスレッドによる上記の処理をすべて実行する単一のプロセッサー装置によって実行される。すなわち、上記の記載は、純粋に機能的になるように意図され、個別のハードウェア若しくはソフトウェア構成部分への分画処理を意図されない。
【００１９】
図３に言及すると、本発明を実行するために使用されるであろう制御アルゴリズムは、新しい音声の信号（Ｖ）の受け取りで開始する。一旦、音声信号（Ｖ）が段階９にてノンゼロ（ｎｏｎｚｅｒｏ）になると、９−９ループ及び段階１０へ通過する制御が存在する。新しい音声信号の角度の位置は、現在のスピーカー（Ｓ）メモリ１０に保存される。次いで、カメラが段階１１にて現在のスピーカー（Ｓ）にしたがって照準化される。現在のスピーカー（Ｓ）ベクトルと瞬間の音声源（Ｖ）ベクトル（角度コンピューター２１の出力）間の角度差は、段階１２にて計算され、もしも瞬時の音声源（Ｖ）がノン−ゼロで、差異が閾値（｜Ｖ−Ｓ｜＜Ｔａ）を超過する場合、コントロールは停止するために１０に通過する。もしもそうでなければ、制御の流れはループ１２−１２で待機する。段階１０において、瞬時の音声源（Ｖ）ベクトルは、対応する音声源の候補のメモリに保存される。次いで、タイマーはリセットされ、段階１４で開始する。次いで、制御の流れのループが、
１．瞬時の音声源（Ｖ）ベクトルがゼロ（段階１５）；
２．瞬時の音声源（Ｖ）ベクトルと候補の（Ｃ）ベクトル（｜Ｖ−Ｓ｜＞ＴＡ）が閾値ＴＫよりも下がる（段階１５）；若しくは
３．タイマーは時間切れ（段階１６）。
の場合に脱出されて実施される。
【００２０】
もしもタイマーが時間切れの場合、制御は段階１７を通過して、候補（Ｃ）ベクトルは、現在のスピーカー（Ｓ）に対応するメモリに保存され、カメラは段階１７にて再度照準化される。段階１５での状況の何れも合致しない場合、ループは段階１２に脱出される。
【００２１】
示されて上記に記載された特定の実施態様が、パン−チルト−ズームカメラを用いるビデオ会議の目的のためのスピーカーの変化の決定に有用であることが証明され、ここに開示された本発明のさらなる修正は、本発明に関係する当業者に考えられるであろうし、また、そのような修正はすべて、添付された請求項によって確定された本発明の範囲内であると考えられる。
【００２２】
請求項において、括弧間の任意の参照サイン場所も請求項の限定として解釈されないものとする。言葉としての“からなる（含んでいる・含有する）”は、請求項にリスト化されたもの以外の要素若しくは段階の存在を除外しない。要素の前に先行する言葉である“一つの”は、かかる要素の複数の存在を除外しない。本発明は、数多の個別の要素からなるハードウェアの手段及び適切にプログラムされたコンピューターの手段によって実行できる。数多の方法を数えあげる装置の請求項では、ハードウェアの全く同一のアイテムにより、これら方法の数多のものは具体化することができる。ある手段が相互に異なり依存する請求項で語られるという単なる事実は、これらの手段の組み合わせが利点として使用されることができないことを示さない。
【図面の簡単な説明】
【図１】本発明の一の実施態様の応用の比喩的な表現である。
【図２】本発明の一の実施態様の機能的なブロック図形である。
【図３】図２における実施態様を実行するために使用されるかもしれないコントロールアルゴリズムについて記述する工程図である。
【図３】
2004505560.tif 000003
【国際公開パンフレット】
2004505560.tif 000004
2004505560.tif 000005
2004505560.tif 000006
2004505560.tif 000007
2004505560.tif 000008
2004505560.tif 000009
2004505560.tif 000010
2004505560.tif 000011
2004505560.tif 000012
2004505560.tif 000013
2004505560.tif 000014
2004505560.tif 000015
2004505560.tif 000016
【国際調査報告】
2004505560.tif 000017
2004505560.tif 000018