(57)【要約】      （修正有）【課題】超音波カメラトラッキングシステム及び方法を提供する。【解決手段】システムは制御可能カメラと、マイクロホンアレイと、コントローラとを含む。マイクロホンは制御可能カメラに近接して配置され、音源が放射する超音波に応答する。マイクロホンは、さらに、音声に応答できるものであってもよい。コントローラは、音源が放射した超音波に応答してマイクロホンから伝送される超音波信号を受け取り、処理して、その音源の近似位置を決定する。コントローラは制御可能カメラにコマンドを送り、音源の位置に制御可能カメラを向ける。カメラトラッキングシステムは、音源が動いても超音波を放射し続ける間は、その音源をトラッキングする。信号源は、１つ以上の超音波トランスデューサを有する発信源であり、そのトランスデューサは約２４ｋＨｚから約４０ｋＨｚまでをスイープ（sweep）する超音波を発生する。【選択図】図１
2008113431.tif 000002
【特許請求の範囲】
【請求項１】
カメラトラッキング装置であって、
制御可能カメラと、
信号源から放射された超音波に少なくとも応答する複数のレシーバと、
前記制御可能カメラと前記レシーバとに通信可能に結合されたコントローラであって、
前記信号源から放射された超音波に応答して前記レシーバから送られた超音波信号を受け取り、
前記超音波信号を処理して前記信号源の少なくとも近似位置を決定し、
前記制御可能カメラを制御して前記信号源の前記決定した位置に少なくとも近似的に向けるように構成されたコントローラとを有する装置。
【請求項２】
前記制御可能カメラを制御するため、前記コントローラは前記信号源の前記決定された位置に少なくとも近似的にチルトするように前記制御可能カメラに命令する、請求項１に記載の装置。
【請求項３】
前記制御可能カメラを制御するため、前記コントローラは前記信号源の前記決定された位置に少なくとも近似的にパンするように前記制御可能カメラに命令する、請求項１に記載の装置。
【請求項４】
前記制御可能カメラを制御するため、前記コントローラは前記信号源の前記決定された位置に少なくとも近似的にズームするように前記制御可能カメラに命令する、請求項１に記載の装置。
【請求項５】
前記レシーバはそれぞれ約２４ｋＨｚから約４０ｋＨｚの範囲で実質的にフラットな周波数応答を有するマイクロホンを有する、請求項１に記載の装置。
【請求項６】
前記信号源から放射される超音波は、約２４ｋＨｚから約４０ｋＨｚの間の範囲をスイープする音を有する、請求項５に記載の装置。
【請求項７】
前記マイクロホンはそれぞれ可聴範囲内で周波数応答をさらに有する、請求項５に記載の装置。
【請求項８】
前記超音波を放射する前記信号源として、１つ以上の超音波トランスデューサを有するポータブルエミッタをさらに有する、請求項１に記載の装置。
【請求項９】
前記超音波信号を処理して前記信号源の少なくとも近似的位置を決定するために、前記コントローラは、
前記超音波信号をダウンサンプリングし、
前記ダウンサンプリングされた信号をフィルタして実質的にインパルスとし、
前記フィルタされた信号の一部をゼロにして反射により生じた超音波信号の部分を除去するように構成された、請求項１に記載の装置。
【請求項１０】
前記レシーバのうち少なくとも２つは前記信号源に対して実質的に水平に配置された軸に沿って配置され、前記超音波信号を処理して前記信号源の前記少なくとも近似的位置を決定するために、前記コントローラは、
前記少なくとも２つのレシーバ間の前記超音波信号の位相差を用いて前記信号源の近似的水平位置を計算し、
前記近似的水平位置に基づいて前記制御可能カメラのパン変数を決定するように構成された、請求項１に記載の装置。
【請求項１１】
前記レシーバのうち少なくとも２つは前記信号源に対して実質的に垂直に配置された軸に沿って配置され、前記超音波信号を処理して前記信号源の前記少なくとも近似的位置を決定するために、前記コントローラは、
前記少なくとも２つのレシーバ間の前記超音波信号の位相差を用いて前記信号源の近似的垂直位置を計算し、
前記近似的垂直位置に基づいて前記制御可能カメラのチルト変数を決定するように構成された、請求項１に記載の装置。
【請求項１２】
前記レシーバのうち少なくとも２つは１つの軸に沿って配置され、前記超音波信号を処理して前記信号源の前記少なくとも近似的位置を決定するために、前記コントローラは、
前記少なくとも２つのレシーバが受け取った前記超音波信号の波面の曲率を用いて前記信号源の近似的距離を計算し、
前記近似的距離に基づいて前記制御可能カメラのズーム変数を決定するように構成された、請求項１に記載の装置。
【請求項１３】
候補位置の複数の変数を格納するメモリをさらに有し、前記コントローラは前記メモリに通信可能に結合され、前記変数を用いて前記超音波信号を処理し、前記信号源の前記少なくとも１つの近似的位置を決定する、請求項１に記載の装置。
【請求項１４】
カメラトラッキング方法であって、
複数の分かれたチャンネルで信号源から放射された超音波を受信する段階と、
前記分かれたチャンネルで受信した前記超音波を処理することにより、前記信号源の少なくとも近似的位置を決定する段階と、
前記信号源の前記決定した位置に少なくとも近似的にカメラを向けるように制御する段階とを有する、
【請求項１５】
前記複数の分かれたチャンネルで超音波を受信する段階は、前記分かれたチャンネルのそれぞれにおいて約２０ｋＨｚから約４０ｋＨｚまでの範囲で超音波に応答する段階を有する、請求項１４に記載の方法。
【請求項１６】
前記分かれたチャンネルで受信した前記超音波を処理する段階は、
前記分かれたチャンネルのそれぞれにおいて前記超音波の信号をダウンサンプリングする段階と、
前記ダウンサンプリングされた信号をフィルタして実質的にインパルスとする段階と、
前記フィルタされた信号の一部をゼロにして反射により生じた超音波信号の部分を除去する段階とを有する、請求項１４に記載の方法。
【請求項１７】
前記信号源の前記少なくとも近似的位置を決定する段階は、前記信号源に対して水平に配置された前記分かれたチャンネルの少なくとも２つにより受信された超音波信号の位相差に基づいて前記カメラのパン変数を計算する段階を有する、請求項１４に記載の方法。
【請求項１８】
前記信号源の前記少なくとも近似的位置を決定する段階は、前記信号源に対して垂直に配置された前記分かれたチャンネルの少なくとも２つにより受信された超音波信号の位相差に基づいて前記カメラのチルト変数を計算する段階を有する、請求項１４に記載の方法。
【請求項１９】
前記信号源の前記少なくとも近似的位置を決定する段階は、１つの軸に沿って配置された前記分かれたチャンネルの少なくとも２つにより受信された超音波信号の波面の曲率に基づいて前記カメラのズーム変数を計算する段階を有する、請求項１４に記載の方法。
【請求項２０】
プログラマブル制御デバイスにより読み取り可能なプログラム記憶デバイスであって、前記プログラマブル制御デバイスに請求項１４に記載の方法を実行させる、前記プログラム記憶デバイスに格納された命令を有するデバイス。
【請求項２１】
カメラトラッキングシステムであって、
超音波を放射する少なくとも１つの超音波トランスデューサを有するエミッタユニットと、
可動カメラと、
前記カメラに隣接して配置された、前記少なくとも１つの超音波トランスデューサにより放射された超音波に少なくとも応答可能な複数のマイクロホンと、
前記可動カメラと前記マイクロホンに通信可能に結合された、前記少なくとも１つの超音波トランスデューサから検出した超音波に応答して前記マイクロホンから送られた超音波信号を受け取り、前記超音波信号を処理して前記少なくとも１つの超音波トランスデューサの少なくとも近似的位置を決定し、前記決定された位置に少なくとも近似的に向くように前記可動カメラを制御する制御ユニットとを有するシステム。
【請求項２２】
カメラトラッキング装置であって、
信号源から放射された超音波を受信する手段と、
前記受信した超音波から前記信号源の少なくとも近似的位置を決定する手段と、
前記信号源の前記決定した位置に少なくとも近似的に向けるようにカメラを制御する手段とを有する装置。
【請求項２３】
前記信号源から放射された超音波を受信する手段は、複数の分かれたチャンネルで前記超音波を受信する手段を有し、前記分かれたチャンネルの少なくとも２つは第１の軸に沿って配置され、前記分かれたチャンネルの少なくとも２つは前記第１の軸に実質的に直交する第２の軸に沿って配置されている、請求項２２に記載の装置。
【請求項２４】
前記受信した超音波から前記信号源の前記すくなくとも近似的位置を決定する手段は、複数の分かれたチャンネルで受信した超音波の位相差に少なくとも部分的に基づき、前記少なくとも近似的位置を決定する手段を有する、請求項２２に記載の装置。
【請求項２５】
前記信号源の少なくとも近似的に前記決定された位置に前記カメラを向けるように制御する手段は、前記決定された位置に前記カメラをパン、チルト、及びズームする手段を有する、請求項２２に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラのトラッキングに関し、特にカメラトラッキング装置、カメラトラッキング方法等に関する。
【背景技術】
【０００２】
［関連出願との相互参照］
この出願は、２００６年１０月１９日に出願された米国仮出願第６０／８６２，１３２号（発明の名称「超音波カメラトラッキングシステム及びそれに関連する方法」）の利益を主張するものである。この出願をここに参照援用し、その優先権を主張する。
【０００３】
プレゼンテーションをする人は、一般的に、ハンドヘルドのリモコンを使ってテレビ会議システムのカメラを制御する。しかし、テレビ会議が目標とするのは、参加者に自然な体験をしてもらうことである。それゆえ、プレゼンテーションをする人やその他の参加者が、カメラの制御や複雑な入力機器の取扱に時間を取られるようなことは望ましくない。
【０００４】
カメラをトラッキング（tracking）する先行技術が米国特許公報第５，８４４，５９９号、第６，７３１，３３４号、第６，９８０，４８５号に開示されている。例えば、米国特許公報第６，９８０，４８５は、ポリコム社（Polycom,  Inc.）に譲渡されているが、ビームフォーミング（beamforming）を用いる自動カメラトラッキング技術を開示している。また、ポリコム社はそのＶＳＸテレビ会議システムのためのボイストラッキングシステム（voice  tracking  system）を提供しており、このシステムを「自動カメラポジショニング（Automatic  Camera  Positioning）」またはＡＣＰと呼んでいる。先行技術の他の一システムは、カラーコードベーストラッキング（color  code-based  tracking）やビジョン分析を使って、カメラで目標をトラッキングする。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
先行技術システムの一部には、有効ではあるが、いくつかの点で制約があり、保持する（maintain）ことが難しいものもある。例えば、ボイストラッキングでは、反射やその他の理由で、カメラが壁やテーブルを向いてしまうことがある。また、カメラは、人が動いている間に話していなければ、その人をトラッキング（track）することができない。さらに、これらの先行技術は、複数の音声（voices）や相異なるカラーコードがある状況において問題が生じる。
【０００６】
本発明は上記の問題を解消し、または少なくともその効果を低減することに関する。
【課題を解決するための手段】
【０００７】
カメラトラッキングシステムは、制御可能カメラと、マイクロホンアレイ（an  array  of  microphones）と、コントローラとを含む。マイクロホンは制御可能カメラに近接して配置され、音源（source）が放射する超音波に少なくとも応答する。マイクロホンは、さらに、可聴スペクトルにある音声（sound）に応答できるものであってもよい。コントローラは、音源が放射した超音波に応答してマイクロホンから伝送される超音波信号を受け取り、その超音波信号を処理して、その音源の少なくとも近似位置（approximate  location）を決定する。次に、コントローラは制御可能カメラにコマンド信号を送り、決定されたその音源の位置に少なくとも近似的にその制御可能カメラを向ける。カメラトラッキングシステムは、音源が動いても超音波を放射（emit）し続ける間は、その音源をトラッキング（track）する。音源は人が身につけたエミッタパック（emitter  pack）であってもよい。エミッタパックは１つ以上の超音波トランスデューサを有し、そのトランスデューサは約２４ｋＨｚから約４０ｋＨｚまでをスイープ（sweep）する超音波を発生する。
【０００８】
上記の要約は、本発明の潜在的な各実施形態やすべての態様を要約することを意図したものではない。
【発明を実施するための最良の形態】
【０００９】
上記の要約、好ましい実施形態、本発明の他の態様は、添付した図面を参照しつつ、以下に記載した具体的な実施形態の詳細な説明を読めばよく理解できるであろう。
【００１０】
本開示の主題はいろいろな修正を施したり代替的形式を取ったりすることもできるが、その具体的な実施形態を図面において実施例で示し、ここに詳細に説明する。図面と説明は、いかなる方法によっても発明コンセプトの範囲を限定することを意図したものではない。むしろ、図面と説明を提供して、具体的な実施形態を参照して当業者に発明コンセプトを例示する。これは米国特許法第１１２条の規定に従うものである。
【００１１】
図１を参照するに、本開示の一教示によるカメラトラッキングシステム１００の一実施形態を近似的に示している。カメラトラッキングシステム１００は、カメラユニット１２０と、制御ユニット１３０と、エミッタユニット１４０とを含む。プレゼンテーションをする人（プレゼンター）はエミッタユニット１４０を身につけているか、担っている。そのエミッタユニット１４０はビーコン（beacon）として機能し、カメラユニット１２０が放射されたビーコン信号を検出してプレゼンターを追うことができる。
【００１２】
様々な実施形態では、カメラトラッキングシステム１００は、リモコン（remote  control）１５０で使用でき、テレビ会議システム（videoconferencing  system）その他のシステムである外部装置１６０で使用できる。カメラユニット１２０と制御ユニット１３０は、図示したように別々のコンポーネントでもよいし、１つのユニットに一体化されていてもよい。また、外部装置１６０は別々のコンポーネントとして示したが、カメラユニット１２０と制御ユニット１３０の一方または両方が、外部装置１６０と一体になっていてもよい。
【００１３】
本実施形態では、制御ユニット１３０がシステム１００のカメラトラッキングその他の機能を制御する。制御ユニット１３０は、ここに開示するカメラトラッキング（camera  tracking）方法を実行するために必要な計算を行うプロセッサ（図示せず）を含む。プロセッサは必要な計算を行うことができればいかなる装置であってもよく、例えば中央処理ユニット（ＣＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等である。制御ユニット１３０は、第１の接続１１０を介してカメラユニット１２０から送られた標準的なＮＴＳＣ、ＰＡＬ、Ｓビデオ、その他のビデオ信号を受信できる。制御ユニット１３０は、接続１１０を介してカメラユニット１２０から送られた複数チャンネル（例えば４チャンネル）のラインレベルのオーディオ信号も受け取る。
【００１４】
第２の接続１１２を介して、接続ユニット１３０はカメラユニット１２０の制御信号を伝送することができる。第３の接続１１４を介して、制御ユニット１３０はテレビ会議ユニット等の外部装置１６０に接続することができる。この第３の接続１１４は外部装置１６０にビデオ、オーディオ、その他の信号を送るために使用できる。この第３の接続１１４により、外部装置１６０は、テレビ会議にカメラユニット１２０を使用して制御することができる。例えば、制御ユニット１３０は、ＰｏｗｅｒＣａｍアプリケーションプログラミングインターフェイス（ＡＰＩ）またはソニーＥＶＩ  Ｄ−１００ＡＰＩをサポートし、外部装置１６０とカメラユニット１２０の間でパケットをやりとりすることができる。第３の接続１１４と第４の接続１１６を用いて、カメラユニット１２０からのビデオをのみを含むビデオ、またはそのビデオと制御ユニット１３０により付加されたグラフィカルユーザインターフェイスのオーバーレイ（overlay）と含むビデオを出力することができる。
【００１５】
カメラユニット１２０は、制御可能カメラ１２２とマイクロホン１２６のアレイ１２６とを含む。制御可能カメラ１２２は、パン（panning）、チルト（tilting）、ズーム（zooming）等ができ、機械的なパン・チルト・ズームカメラであっても電子的なパン・チルト・ズームカメラであってもよい。一実施形態では、制御可能カメラ１２２はＰｏｌｙｃｏｍ  ＰｏｗｅｒＣａｍ  Ｐｌｕｓであり、約±４５°のパン、中心点から約＋１０°、−３０°のチルトができる。カメラユニット１２０は、接続１１０を介して制御ユニット１３０にＳビデオ（ＰＡＬまたはＮＴＳＣ）またはその他の形式のビデオ信号を提供する。カメラユニット１２０は、接続１１２を介して制御ユニット１３０から送られるコマンドに応答し、制御可能カメラ１２２のパン、チルト、ズームを変更する。また、カメラユニット１２２は赤外線（ＩＲ）レシーバ１２５を含んでもよく、ＩＲリモコン１５０から受け取った信号を接続１１０を介して制御ユニット１３０に送ることができる。
【００１６】
一実施形達では、マイクロホンアレイ１２４には４つのマイクロホン１２６が含まれる。少なくとも２つのマイクロホン１２６は、エミッタユニット１４０の位置を決定するために水平に配置され、水平軸に沿ったカメラ１２２のパン（panning）を制御する。同様に、少なくとも２つのマイクロホン１２６は、エミッタユニット１４０の位置を決定するために垂直に配置され、垂直軸に沿ったカメラ１２２のチルト（tilting）を制御する。言うまでもなく、マイクロホン１２６のうちの２つのマイクロホンを、十分な水平トラッキング（horizontal  tracking）ができるように、当業者には分かる許容誤差で実質的に水平に配置することができる。さらに、マイクロホン１２６のうちの２つのマイクロホンを、十分な垂直トラッキング（vertical  tracking）ができるように、当業者には分かる許容誤差で実質的に垂直に配置することができる。
【００１７】
マイクロホンアレイ１２４のマイクロホン１２６は、エミッタユニット１４０が放射する超音波スペクトル中の超音波に応答する。一実施形態では、マイクロホンアレイ１２４のマイクロホン１２６は、特に超音波スペクトルで応答するように構成され、システム１００は可聴スペクトルの音声に応答する別のマイクロホンを有してもよい。可聴スペクトルは、一般的には、約２０Ｈｚから２０，０００Ｈｚである。他の実施形態では、マイクロホンアレイ１２４のマイクロホン１２６は、可聴スペクトルに応答し、超音波スペクトルにも好適な周波数応答を示す。そのため、マイクロホン１２６を通常のテレビ会議のオーディオにも、超音波１８０によるカメラトラッキングにも使用できる。また、カメラユニット１２０は、デュアルユースマイクロホン１２６を、米国特許第６，９８０，４８５号で開示され、Ｐｏｌｙｃｏｍ社の製品ｉＰｏｗｅｒ、ＶＳＸ、ＨＤＸシリーズで使用されているテレビ会議システムに関連するボイストラッキング方法と共に使用できる。
【００１８】
エミッタユニット１４０は信号ジェネレータ回路１４２と、パワーアンプ１４３と、再充電可能バッテリ１４４と、１つ以上のトランスデューサまたはスピーカ１４６−１４８とを有する。上で簡単に触れたように、エミッタユニット１４０は、カメラ１２２がトラッキング（track）する人が担うか身につけている。従って、エミッタユニット１４０はベルト、クリップ、飾りひも（lanyard）その他の手段（図示せず）を有し、人が身につけたり担ったりできるようになっている。
【００１９】
動作中、エミッタユニット１４０は超音波１８０を発生し、アレイ１２４のマイクロホン１２６が検出する。好ましくは、超音波１８０は１００ｍｓより大きい時間で２４ｋＨｚから４０ｋＨｚの周波数をスイープする音を繰り返し、音の間には約１００ｍｓの短い無音時間がある。超音波１８０の好ましいスイープ音（sweep  tone）を発生するために、信号ジェネレータ１４２のサンプリング周波数は９６ｋＨｚであり、信号ジェネレータ回路１４２は２４．５７６ＭＨｚ、５０ｐｐｍで発信するクロック発信器（例えば、エプソンＳＧ−７１０ＥＣＫ２４．５７６０ＭＢ、ＲＡＬＴＲＯＮ  ＣＯ４３０５−２４．５７６０、ＳＡＲＯＮＩＸ  Ｓ１６１３Ｂ−２４．５７６０Ｔ等）を含む。好ましくは、エミッタユニット１４０は、デジタル・アナログ・コンバータ用のローパスフィルタを有し、５６ｋＨｚより高い周波数では、少なくとも６０ｄＢストップバンド減衰率を使用することが好ましい。遷移帯域は４０ｋＨｚから５６ｋＨｚであり、デジタル・アナログ・コンバータはＡＫＭセミコンダクタ社のＡＫ４３８６を使用することができる。
【００２０】
エミッタユニット１４０は超音波トランスデューサを１つだけ（１４６）有してもよいし、２つ以上（１４６−１４８）有してもよい。いずれにしても、超音波トランスデューサ１４６／１４８はワイヤによりエミッタユニット１４０に接続されており、圧電型トランスデューサ（電圧を印加すると圧電性結晶が形状を変えて音を発するもの）や、磁歪トランスデューサ（磁歪物質が磁気エネルギーを機械的エネルギーに変換、またはその逆変換をするもの）であってもよい。例えば、エミッタユニット１４０が２つ以上のトランスデューサ１４６−１４８を含む実施形態では、プレゼンターはトランスデューサの１つ（１４６）を体の正面に付け、もう１つ（１４８）を体の背面に付けることができる。あるいは、両肩にトランスデューサを１つずつ（１４６と１４８）付けてもよい。一実施形態では、各トランスデューサ１４６、１４８は同期して同じ超音波信号１８０を放射する。別の実施形態では、トランスデューサ１４６、１４８は相異なる超音波信号１８０を放射でき、人の体がマイクロホン１２６のアレイ１２４に対していろいろな方向を向いている場合にも、カメラ１２２がその人をトラッキング（track）する能力を向上させることができる。
【００２１】
放射された超音波１８をマイクロホン１２６で捉えた時、カメラユニット１２０は各マイクロホン１２６の超音波信号を接続１１０を介して制御ユニット１３０に送る。制御ユニット１３０は、受け取った信号を処理して、音が発せられたエミッタユニット１４０の少なくとも近似位置（approximate  location）を決定する。後でより詳しく説明するように、制御ユニット１３０のソフトウェアは、受け取った信号を処理してエミッタユニット１４０の位置を特定する。位置を決定すると、制御ユニット１３０は１つ以上のコマンド信号をカメラユニット１２０に送り、カメラ２２を制御してエミッタユニット１４０を少なくとも近似的にトラッキング（track）する。
【００２２】
エミッタユニット１４０の位置の決定は、パン、チルト、ズーム等を当業者には分かる許容範囲で近似的でよく、カメラ２２はエミッタユニット１４０を身につけているプレゼンターの方向に十分向くことができる。さらに、エミッタユニット１４０を有するプレゼンターにカメラ２２を向け、そのプレゼンターをトラッキングするのは、パン、チルト、ズーム等を当業者には分かる許容範囲で近似的でよく、カメラ２２はプレゼンターの画像を十分取ることができる。そのために、少なくとも４つのマイクロホン１２６が、許容誤差に応じて、２つの対角軸上に設定される。制御ユニット１００は、決められたトラッキングエリア内でのみシステムが動作し、そのエリア外にはカメラ２２が向かないようにさらに設定することもできる。また、制御ユニット１００は、カメラ２２を、それがプレゼンターのタイトビュー（tight  view）またはワイドビュー（wide  view）を捉えるように設定することもできるし、捉えた画像の中央、右、または左にプレゼンターがいる（すなわち、エミッタユニットの位置がある）ビューを捉えるように設定することもできる。
【００２３】
例えば、プレゼンテーションやテレビ会議の間に、制御ユニット１３０はカメラ１２２を制御してエミッタユニット１４０を身につけている人をトラッキング（track）する。トラッキングされている人が動いて止まった時、カメラ１２２の動き（例えば、パンやチルト）は、好ましくは、まずゆっくりになってから止まり、その人に向くように制御される。例えば、カメラ１２２は２秒間で止まってその人に向き、カメラの動きがスムースになるようにして、その人がまた動き出してもぎくしゃく動かないようにする。これらのパラメータはユーザが設定できる。
【００２４】
その人が少し動いたが、まだカメラ１２２のフレームまたは視野内にいる場合がある。好ましくは、このような場合にも、カメラ１２２は、その人を追ってぎくしゃく動かず、静止している。こうするために、制御ユニット１３０は、カメラ１２２の視野角を決めて、視野角をその人の位置と相関（correlate）することができる。この相関に基づき、制御ユニット１３０は、その人がカメラ１２２のフレーム外に動いたか判断してから、カメラ１２２を動かすコマンドを発してその人をトラッキングすることができる。また、その人がカメラ１２２のフレームの外に出たとき、カメラ１２２は約５００ｍｓの遅延時間が過ぎるまで動かされなくてもよい。
【００２５】
カメラトラッキングシステム１００を詳細に説明したので、図２に移り、制御ユニット１３０のソフトウェアについて説明する。図２に示したように、制御ユニットのソフトウェアフレームワーク２００の一実施形態は、ユーザインターフェイスモジュール２１０と、メッセージハンドラ２２０と、カメラ制御モジュール２３０と、オーディオサブシステム２４０と、設定モジュール２５０と、記憶モジュール２５５と、シリアルドライバ２６０と、オーディオハードウェアマネージャ２６５と、ＴＣＰ／ＩＰモジュール２７０と、ＦＰＧＡ（Field  Programmable  Gate  Array）２８０とを含む。
【００２６】
ユーザインターフェイス（ＵＩ）モジュール２１０は、メッセージハンドラ２２０を介して、フレームワーク２００の他のモジュールとサブシステムとにコマンドメッセージストリングを送る。ＵＩモジュール２１０は、ユーザがＩＲリモコンのボタンを押すと、それを処理して、ビデオ出力にテキストとグラフィックスとをオーバーレイ（overlay）して、ユーザに対してオンスクリーンメニューシステムを表示する。例えば、ＵＩモジュール２１０はユーザ入力を処理して、プリセットの設定と呼び出し、自動トラッキングのオンとオフ、メニューモードの選択等をすることができる。また、ＵＩモジュール２１０は、様々な警告画面、設定画面、調整画面、情報画面等を生成してユーザに表示することができる。
【００２７】
オーディオサブシステム２４０は、インターフェイス２８６とＦＰＧＡ２８０とオーディオハードウェアマネージャ２６５とを介して、カメラのマイクロホン１２６から超音波入力を受け取る。以下に詳しく説明する方法を用いて、オーディオサブシステム２４０は、マイクロホン１２６からの超音波信号をフィルタし、分析し、水平方向と垂直方向における信号源の超音波エミッタ（エミッタユニット）（図２には図示せず）の角度位置を決定する。オーディオサブシステム２４０は、カメラ１２２からのエミッタの近似距離も決定する。オーディオサブシステム２４０は、この位置情報をカメラ制御モジュール２３０に定期的に送るので、カメラ制御モジュール２３０はカメラ１２２を適宜制御できる。
【００２８】
カメラ制御モジュール２３０は、マニュアル動作モードと自動動作モードの両方において、カメラに関するすべての動きを処理する。自動動作モード中、信号源は自動的にトラッキングされるが、カメラ制御モジュール２３０は、オーディオサブシステム２４０から信号源の位置情報を受け取り、その位置情報をカメラ動きコマンドに変換する。カメラ制御モジュール２３０は、シリアルドライバ２６０とＦＰＧＡ２８０とインターフェイス２８４とを介して、カメラ１２２にカメラ動きコマンドを送る。コマンドは、好ましくは、カメラをスムースに動かして目標の信号源を追跡するものである。外部装置（例えば、テレビ会議ユニット１６０）に対して任意的インターフェイス２８２を使用するとき、カメラ制御モジュール２３０は、外部装置１６０から受け取ったカメラシリアルコマンド（camera  serial  commands）を他のインターフェイス２８４を介してカメラ１２２に転送し、カメラ１２０の応答を外部装置１６０に返すこともできる。
【００２９】
制御ユニットのソフトウェアを説明したので、図３Ａに移り、カメラトラッキングシステム３００のコンポーネントに関して例示したカメラユニット３１０の好ましい実施形態を説明する。上で説明したように、カメラユニット３１０は制御ユニット３６０と通信可能に結合している。また、制御ユニット３６０は、テレビ会議ユニット、ビデオモニタ、コンピュータ等の外部装置（図示せず）に接続されていてもいなくてもよい。
【００３０】
カメラユニット３１０は、様々なコンポーネントのためのハウジング３１２と、ハウジングに接続されたブーム（boom）３１８と、アレイ上に配置された複数のマイクロホンレシーバ３２０と、ハウジング上の可動カメラ３４０と、図示していないその他のコンポーネントとを有する。
【００３１】
３つのマイクロホンレシーバ３２０（すなわち、レシーバ３２２、３２４、３２６）がハウジング３１２上に水平に配置されている。また、１つのマイクロホンレシーバ３２０（すなわち、レシーバ３２８）がブーム３１８に配置され、ハウジング３１２上の中央のマイクロホンレシーバ３２４に対して垂直に配置されている。カメラユニット３１０に対する超音波トランスデューサ３５０の空間的位置は、デカルト座標系（Ｘ，Ｙ，Ｚ）を用いて示すことができる。超音波トランスデューサ３５０が超音波３５２を放射し、その超音波をマイクロホンレシーバ３２０がピックアップする。制御ユニット３６０が少なくとも部分的に実行する処理により、超音波トランスデューサ３５０の位置が決定され、カメラ３４０を動かして、その超音波トランスデューサ３５０の位置をトラッキング（track）する。以下に説明する位置決定アルゴリズムを用いて、水平に配置されたマイクロホンレシーバ３２２、３２４、３２６が受け取る超音波の位相差により、カメラユニット３１０に対する超音波トランスデューサ３５０の水平位置が決定される。この水平位置はカメラ３４０のパン位置（pan  position）Ｐに対応する。垂直に配置されたマイクロホンレシーバ３２４、３２８が受け取る超音波の位相差により、カメラユニット３１０に対する超音波トランスデューサ３１０の垂直位置を決定する。この垂直位置は、カメラ３４０のチルト位置（tilt  position）Ｔに対応する。一実施形態では、以下に説明する位置決定アルゴリズムを用いて、パン位置とチルト位置の両方で約０．１２５°の精度を実現することができる。
【００３２】
また、水平に配置されたマイクロホンレシーバ３２２、３２４、３２６が受け取る超音波３５２の波面曲率を用いて、カメラユニット３１０からの超音波トランスデューサ３１０の距離を決定できる。この距離は、カメラ３４０のズーム位置（zoom  position）Ｚに対応する。追加的に、または代替的に、他の方法を用いて超音波トランスデューサ３５０のカメラユニット３１０からの距離を決定することができる。別の実施形態において後で説明するように、例えば、無線周波数（ＲＦ）信号と無線マイクロホン信号を使用することもできる。カメラ３４０のフォーカスは本技術分野で知られている方法を用いて制御できる。
【００３３】
図３Ｂにおいて、図３Ａのカメラトラッキングシステム３００の信号チェイン（signal  chain）を概略的に示した。この信号チェインにおいて、トランスデューサ３５０を身につけているまたは担っている目標の信号源（すなわち、ユーザ）がマイクロホンレシーバ３２０に対して動く時、超音波トランスデューサ３５０が超音波３５２を放射する。各マイクロホンレシーバ３２０が受け取る超音波３５２の信号は制御ユニット３６０に送られ、制御ユニット３６０は４つのチャネルの入力信号を受け取る。次に、制御ユニット３３０は、１つ以上のデジタルシグナルプロセッサ（ＤＳＰ）を有し、その信号を処理する（ブロック３６２）。その処理の詳細は図４Ａと図４Ｂを参照して後で説明する。
【００３４】
制御ユニット３６０は、位置決定アルゴリズムを使って、レシーバ３２０に対する超音波トランスデューサ３５０の垂直位置と水平位置と距離と（例えば、Ｘ，Ｙ，Ｚ）を近似的に決定する（ブロック３６４）。位置決定アルゴリズムは図５を参照して詳しく説明する。決定した位置（Ｘ，Ｙ，Ｚ）を用いて、制御ユニット３６０はカメラ制御コマンドを構成し（ブロック３６６）、それらのコマンドをカメラに送る（ブロック３６８）。カメラ制御コマンドを構成するために、制御ユニット３６０は超音波トランスデューサ３５０の決定された位置（例えば、Ｘ，Ｙ，Ｚ）を、カメラ３４０のアクチュエータ、サーボ３４２等のパン、チルト、ズーム情報に変換する。カメラコンポーネント３３０は、コマンドを受け取り、それを使って超音波トランスデューサ３５０の決定された位置にカメラ３４０を向ける（ブロック３４４）。
【００３５】
ここに開示するトラッキングシステム３５０の超音波トランスデューサ３５０は、好ましくは、帯域幅が広く、感度がよく、歪みが小さく、厚みが小さい圧電型超音波トランスデューサである。一実施形態では、例えば、超音波トランスデューサ３５０の周波数応答は２４ｋＨｚから４０ｋＨｚの周波数範囲において適度に平坦であるが、言うまでもなく、カメラトラッキングシステム３００は２４ｋＨｚから４０ｋＨｚの帯域幅には限定されない。適度に平坦であるとは、例えば、周波数応答がそのレベルの±５％以内に入るか、実施形態に応じた好適な許容幅以内に入ることである。さらに、２４ｋＨｚから４０ｋＨｚまでの帯域幅の限度は、±数ｋＨｚだけ違ってもよいし、実施形態に応じた好適な量だけ違ってもよい。
【００３６】
超音波レシーバ３２０の周波数応答は、好ましくは、少なくとも４０ｋＨｚまでほぼ平坦である。ここに開示したカメラトラッキングシステム３００の好適な超音波レシーバ３２０は、パナソニックのＷＭ６１ＢレシーバとＷＭ６４レシーバであり、これらの周波数応答は４０ｋＨｚまでほぼ平坦である。周波数応答がどのくらい平坦であるか、またはどのくらい平坦である必要があるかは、本開示の利益を有する当業者の相対的スキルによる。
【００３７】
制御ユニット３００によるブロック３６２における処理は、好ましくは、ダウンサンプリングを含み、信号に対する他のフィルタ処理により、マイクロホンレシーバ３２０はその信号の後の処理段階を改善することができる。図４Ａは、超音波信号を可聴範囲にして信号特性を改善するダウンサンプリング・フィルタリング処理４００を示すブロック図である。最初に、超音波トランスデューサ（３５０）が２４ｋＨｚから４０ｋＨｚの範囲をスイープする超音波を放射する。第１段階４０１において、各マイクロホンレシーバ（３２０）がこのスイープ音（sweep  tone）をピックアップする。帯域を限定したホワイトノイズではなくスイープ音を使用する利点は、スイープ音とすることにより、非線形歪みにより超音波トランスデューサ（３５０）の音をより聞こえにくくできることである。他の利点は、スイープ音を使用することにより、ホワイトノイズよりも信号雑音比が高くなることである。この第１の段階４０１において、２４ｋＨｚから４０ｋＨｚまでのスイープ音が各マイクロホンレシーバ（３２１）によりピックアップされ、９６ｋＨｚでデジタル的にサンプリングされる。これは、図４Ｂのグラフ４１０に示した。
【００３８】
各マイクロホンレシーバ（３２０）がスイープ音をピックアップ（pick  up）するので、制御ユニット３６０は、各マイクロホンレシーバ（３２０）からの信号に別々に処理を実行でき、全レシーバ（３２０）からの信号の合計に別の処理を実行できる。しかし、その後の段階では、好ましくは処理は各レシーバ（３２０）からの信号に別々に実行される。最初の処理が完了してから、信号が足し合わされる。
【００３９】
第２の段階４０２において、制御ユニット（３６０）の２対１リサンプラ・変調モジュールがサンプリングされたスイープ音信号のスペクトルを、２４〜４８ｋＨｚから０〜２４ｋＨｚにシフトして、出力サンプリングレートを４８ｋＨｚとする。これは、図４Ｂのグラフ４２０に示した。第３の段階４０３において、制御ユニット（３６０）の３対２リサンプラが０ｋＨｚから１６ｋＨｚの周波数範囲にある信号を発生する。これは図４Ｂのグラフ４３０に示した。３対２リサンプラの出力は段階４０１で受信した元の信号と同じ情報を含むが、この段階４０３の出力のサンプリングレートは非常に低く３２ｋＨｚであり、後段での処理に必要な計算量を減らすことができる。
【００４０】
第４の段階４０４において、マッチフィルタ（match  filter）が一定時間にわたり各スイープ音信号のエネルギーを圧縮し、エネルギーがレシーバ（３２０）の各信号のインパルス状波形に集中させる。このように、マッチフィルタにより、信号雑音比が改善され、システム（３００）の潜在的なトラッキング範囲を拡大することができる。マッチングフィルタ法（matching  filtering  techniques）は本技術分野において知られており、ここでは詳しく説明しない。
【００４１】
マッチフィルタ段階４０４後の理想的な出力信号はインパルス波形か、インパルスに非常に近い波形である。ダウンサンプリング・フィルタ処理４００の場合、元の受け取った信号の形状に応じて６通りのインパルス形状が可能である。サンプリングレート９６ｋＨｚの時、スイープ音は帯域幅が制限された信号であり、ダウンサンプリングされると多相出力となるからである。
【００４２】
第５の段階４０５において、反射除去アルゴリズムが、段階４０４のマッチフィルタ処理後のインパルス状波形出力の反射により生じた部分を除去する。反射除去アルゴリズムは、好ましくは、超音波トランスデューサ（３５０）への直接パスにほぼ対応する信号のインパルスを残し、一定時間中にそのインパルスに続く信号部分を除去する。一実施例では、反射除去では、信号のインパルスの０．５ｍｓ分を残し、そのインパルスに続く約３９ｍｓ分をゼロ設定（zero-out）する。好ましくは、反射除去アルゴリズムは、動的閾値を使って、トランスデューサ（３５０）への直接パスに対応する信号のインパルスを特定する。時間領域信号のダイナミックレンジは変化し得るからである。ダイナミックレンジの時間的な変化は、超音波トランスデューサ（３５０）が広い部屋を動いて、時々マイクロホンレシーバ（３２０）に対してターン（turn）した時に起こる。反射除去アルゴリズムは、経過した短い時間中の信号の最大値をトラッキングして、動的閾値をそれらの最大値の約１／８に設定する。
【００４３】
反射除去に加えて、好ましくは、マッチフィルタ段階４０４から受け取った信号の波形をイコライズ（equalized）する。例えば、マッチフィルタ段階４０４からの出力信号は、周波数応答が完全ではないなどの理由により、インパルス波形より複雑である。マッチフィルタ段階４０４からの出力信号をよりパルス状にするため、好ましくは信号に波形等化（waveform  equalization）を行って、超音波トランスデューサ（３５０）とレシーバ（３２０）の不完全な周波数応答を補償する。
【００４４】
さらに、留意すべきこととして、マイクロホンレシーバ（３２０）が背景のスプリアス（spurious）な超音波音もピックアップしてしまい、その超音波音は雑音レベルより２０ｄＢから３０ｄＢ大きいことがある。背景ノイズは、周辺にあるデスクトップコンピュータやテレビ等の電子機器から発生し、測定精度をある程度低下させる。背景雑音を除去する第６の段階４０６において、制御ユニット（３６０）は、背景雑音エスティメータ（background  noise  estimator）と適応的ノッチフィルタ（adaptive  notch  filter）とを使って、背景雑音の一部を除去する。動作中、エスティメータは、自動的に、超音波トランスデューサ（３５０）がオンかオフか、すなわち超音波を放射しているかいないか判断する。その判断は、受信した信号を統計的に分析することにより行う。いろいろな間隔でエスティメータは信号を捉えて、背景雑音レベルを推定する。このプロセスには約１秒あれば十分である。次に、好ましくは適応的ノッチフィルタ（adaptive  notch  filter）を使って、少なくとも背景音の一部を除去する。
【００４５】
ダウンサンプリング・フィルタ処理４００を実行すると、処理されたマイクロホンレシーバ（３２０）からの信号は、位置決定アルゴリズム５００に入力される。簡単にいうと、位置決定アルゴリズム５００は、可能性のある複数の位置である候補位置（candidate  location）に超音波トランスデューサ（３５０）が位置している最大尤度（maximum  likelihood）を推定する。このアプローチでは、超音波トランスデューサ（３５０）は、その環境（例えば、部屋）の中の可能性のある多数の候補位置の各々にあると最初に仮定する。各候補位置に対して、マイクロホンレシーバ（３２０）からの信号は、相互に少し遅延され、遅延・合計演算（delay-sum  operation）を用いて合計される。その結果、利用可能な周波数について最強ビームエネルギーが求まる。
【００４６】
次に、各周波数と各マイクロホンレシーバ（３２０）にホワイトニングフィルタ（whitening  filter）をかけて、合計して総エネルギーを求める際に各周波数と各マイクロホンレシーバ（３２０）が等しく重要であるようにする。次に、様々な候補位置をサーチして、最大ビームエネルギーとなる１つの候補位置を求める。この候補位置をトランスデューサ（３５０）の推定位置とする。一般的に、マイクロホンレシーバ（３２０）からのサンプルを合計するのに必要ないろいろな遅延は小数値であり、サーチする候補位置は数百から数千あってもよい。好ましくは、計算コストを低減するため、候補位置のサーチには計算効率がよいプロセスを使用する。
【００４７】
超音波トランスデューサ（３５０）の候補位置を推定する位置決定アルゴリズム５００の一実施形態を、フローチャートにして図５Ａに示す。アルゴリズム５００は、４チャンネルの信号を入力として受け取る（ブロック５０２）。本実施形態では、各チャンネルは、４つのマイクロホンレシーバ（３２０）から受け取った超音波信号（３５２）をダウンサンプリングしてフィルタをかけたものである。次に、アルゴリズム５００は、規格化最大ビームエネルギーを生ずる水平チャネル（すなわち、水平に配置された各マイクロホンレシーバ（３２０））の位相差を決定する（ブロック５０４）。ブロック５０４のステップは、図５Ｂを参照してより詳細に説明する。次に、決定した位相差を使って、トランスデューサ（３５０）の水平位置を決定し、それによりカメラ（３４０）のパン位置（pan  position）を決定する（ブロック５０６）。
【００４８】
次に、アルゴリズム５００は、垂直レシーバ３２０に対して図５Ｂのステップを繰り返して、規格化最大ビームエネルギーを生ずる垂直チャネル（すなわち、垂直に配置された各マイクロホンレシーバ（３２０））の位相差を決定する（ブロック５０８）。決定した位相差を使って、トランスデューサ（３５０）の垂直位置を決定し、それによりカメラ（３４０）のチルト位置（tilt  position）を決定する（ブロック５１０）。
【００４９】
次に、アルゴリズム５００は、水平に配置されたマイクロホンレシーバ（３２０）で検出した超音波（３５２）の波面の曲率を計算し（ブロック５１２）、その曲率を使って、トランスデューサ（３５０）の距離を計算し、それによりカメラ（３４０）のズーム位置を計算する（ブロック５１４）。最後に、制御ユニット（３６０）は、カメラに、決定されたエミッタ（３５０）の位置に向くように指示する（ブロック５１６）。
【００５０】
図５Ｂにおいて、規格化最大ビームエネルギーを生じるチャネルの位相差を決定するステップ５５０を例示した。最初に、各チャネルに対してフィルタリング分析（filtering  analysis）を実行する（ブロック５５２）。合計したビームエネルギーを全てのチャンネルの各サブバンドにおいて計算する（ブロック５５４）。合計したエネルギーを所定の閾値と比較し（ブロック５５６）、帯域数が必要数よりも多いか判断する（ブロック５５８）。多くなければ、サブルーチンは完全にバイパスする（ブロック５６０）。処理する信号情報が十分ないからである。
【００５１】
帯域数が必要数より多い場合、サブバンド信号を帯域とチャンネルとにわたり規格化する（ブロック５６２）。位相の角度範囲をスイープサーチ（sweeping  search）し、複数の第１の位相角におけるビームエネルギーを求める（ブロック５６４）。そのサーチから、規格化最大ビームエネルギーに対応する第１の位相角を見つける（ブロック５６６）。次に、先に見つかった第１の位相角に関して、より細かい位相角の角度範囲でスイープサーチを行い、複数の第２の位相角におけるビームエネルギーを求める（ブロック５６８）。その細かいサーチから、規格化最大ビームエネルギーに対応する第２の位相角を見つける（ブロック６７０）。最後のブロック５７２において、この第２の位相角を、水平配置と垂直配置のいずれを分析しているかに応じて、図５Ａのブロック５０４またはブロック５０８に返す。
【００５２】
ここで、位置決定アルゴリズムをより詳細に説明する。図５Ｂのブロック５５２において各チャンネルのフィルタリング分析を実行するため、Ｍ個のチャンネルの超音波レシーバ信号を同数のアナログ・デジタル（Ａ／Ｄ）コンバータに送る。Ａ／Ｄコンバータは、超音波レシーバ信号をデジタルサンプルに変換する。各超音波レシーバチャンネルに対して、Ｎ個のサンプルのブロックを蓄積して処理する。好ましい実施形態では、サンプル数Ｎは６４０である。その結果の入力データを次式（１）で示す：
【００５３】
【数１】
2008113431.tif 000003
ここで、ｍ＝０，１，．．．，Ｍ−１（Ｍはチャンネル数）であり、ｎ＝０，１，．．．，Ｎ−１（Ｎは各チャンネルのサンプル数）である。次に、Ｎ個のサンプルのブロックＭ個を、オーバーラップ・加算フィルタバンクに送る。このオーバーラップ・加算フィルタバンクは、一実施形態では、各チャンネルについてＮ個の複素周波数（complex  frequencies）を発生する。その結果、時間領域の超音波レシーバ信号は、フィルタバンク出力に変換され、次式（２）で示される：
【００５４】
【数２】
2008113431.tif 000004
フィルタバンク出力Ｈｍ（ｋ）は、実数成分と虚数成分とを有する複素数である。ここで、ｋは周波数帯域であり、周波数ビン数（frequency  bin  number）に変換することができる。毎回、所定の時間領域においてＮ個のサンプルのブロックが求まり、新しいフィルタバンク出力Ｈｍ（ｋ）の組が求められる。ある超音波レシーバＸｍ（ｎ）の入力信号がフィルタバンク出力Ｈｍ（ｋ）の１つの帯域（ｋ′と呼ぶ）の中心周波数の正弦波であれば、その中心帯域ｋ′のフィルタバンク出力Ｈｍ（ｋ′）は大きく、ｋ≠ｋ′であるその他のＨｍ（ｋ）は小さい。
【００５５】
ブロック５５４のところで説明したように、すべてのチャンネルの各サブバンドにおいて合計ビームエネルギーを計算する。最初に、信号を規格化する。式（３）により、規格化信号を計算し、ビームエネルギーの計算では複素信号の位相角のみを使用する：
【００５６】
【数３】
2008113431.tif 000005
【００５７】
次に、上で触れた遅延・合計演算を各周波数領域に対して実行する。サブバンドは十分狭ければ正弦波（sinusoid）とみなせ、遅延（time-delay）は複素信号にフェーザ（phasor）ｅｊθをかけることにより近似できる。すると、
【００５８】
【数４】
2008113431.tif 000006
ここで、θは正弦波を所望時間だけ遅延したときの適当な位相角である。ある周波数サブバンドｋに対して、遅延・合計演算は次式（５）により計算される：
【００５９】
【数５】
2008113431.tif 000007
ここで、θｍは、トランスデューサ（３５０）の位置を（ｘ，ｙ，ｚ）と仮定したときに、合計値Ｇｘ，ｙ，ｚ（ｋ）の大きさを最大にする位相角を表す。音声はマイクロホンレシーバ（３２０）に相異なる到達時間で到達するので、式（５）は、これらの相異なる時間を補償して、信号がすべてのマイクロホンレシーバ（３２０）にまったく同時に到達したように、異なる超音波レシーバ信号を加算することができる。
【００６０】
式（５）について、トランスデューサ（３５０）が位置（ｘ，ｙ，ｚ）にあると仮定して、合計値Ｇｘ，ｙ，ｚ（ｋ）の大きさを最大にする適当な位相角θｍを計算するため、トランスデューサ（３５０）がデカルト座標系の位置Ｘｓ，Ｙｓ，Ｚｓに位置し、Ｍ個（例えば、４個）のマイクロホンレシーバ（３２０）が位置Ｘｍ，Ｙｍ，Ｚｍに位置すると仮定する。次に、トランスデューサ（３５０）とｍ番目のマイクロホンレシーバ（３２０）との間の距離を計算する：
【００６１】
【数６】
2008113431.tif 000008
マイクロホンレシーバ（３２０）の１つ（例えば、ｍ′）を基準として、基準レシーバｍ′と他のレシーバとの間の距離の差を示すと：
【００６２】
【数７】
2008113431.tif 000009
また、基準レシーバｍ′と他のレシーバとの間の、帯域ｋの周波数ビンの位相角の差を示すと：
【００６３】
【数８】
2008113431.tif 000010
ここで、ｂはサブバンドフィルタのヘルツ／ビン（Hertz-per-bin）であり、サブバンドフィルタの中心周波数は２４，０００＋ｋｂヘルツである。数２４，０００は、図４Ａ−図４Ｂを参照して上で説明したスペクトルシフトから求まる。Δｍ項はレシーバ（３２０）間の距離差（インチ）であり、νは音速の逆数（１／（１３．５４×１０００））に比例する定数である。式（８）の位相シフトをキャンセルするために、式（５）のθｍを次式（９）のように設定する：
【００６４】
【数９】
2008113431.tif 000011
一般的に、帯域ｋの各周波数ビン（frequency  bin）と各超音波レシーバｍにおいて、式（９）のθｍは異なる。
【００６５】
最低周波数ビンから最高周波数ビンまでの帯域ｋに対して（すなわち、２４ｋＨｚから４０ｋＨｚまで、変換すると周波数ビン数の０から６３９の範囲にわたる）、式（５）のトランスデューサ（３５０）の仮定的位置Ｇｘ，ｙ，ｚ（ｋ）を見つける。次の位置重みづけ関数を最終的に決定する：
【００６６】
【数１０】
2008113431.tif 000012
式（１０）の位置重みづけ関数Ｗ（ｘ，ｙ，ｚ）を最大値とするトランスデューサの候補位置（ｘ，ｙ，ｚ）をそのトランスデューサ（３５０）の推定された位置とする。
【００６７】
計算コストを低減し、また検出精度を高めるために、式（１０）の位置重みづけ関数Ｗ（ｘ，ｙ，ｚ）は時々（例えば、Ｐブロックごとに）計算する。好ましい実施形態では、Ｐは５であり、これは約０．１秒ごとの計算に対応する。さらに、周波数サブバンドデータＨｍ（ｋ）は時間と周波数の両方で省略（trim）して、最新のＰ個のブロックにわたる最も有用なデータのみを使用して、Ｐブロックの時間の終わりに、位置重み付け関数Ｗ（ｘ，ｙ，ｚ）を計算する。
【００６８】
従って、周波数サブバンドデータを省略（trim）して位置重み付け関数Ｗ（ｘ，ｙ，ｚ）を時々しか計算しないステップをここで説明する。Ｐ個のブロックの時間にわたり、帯域ｋの各周波数ビンについて、Ｍ個の超音波レシーバ（３２０）からのデータは次式（１１）で示される：
【００６９】
【数１１】
2008113431.tif 000013
ここで、ｐ＝０，１，．．．，Ｐ−１であり、ｍ＝０，１，．．．，Ｍ−１である。
【００７０】
帯域ｋの周波数ビンの仮定的位置Ｇ（ｘ，ｙ，ｚ）を見つけるために、ｐ′のある時間で
［外１］
2008113431.tif 000014
を選択する。ここで、
［外２］
2008113431.tif 000015
は、単一の超音波レシーバｍ′とインデックスｐ′についてｐ＝０，１，．．．，Ｐ−１にわたって最大である。ここで、ｐ′は０からＰ−１までの範囲にある。この大きさをその周波数ビンの背景雑音の大きさと比較する。この強さが背景雑音に近すぎると、規格化された信号
［外３］
2008113431.tif 000016
はすべてのｍについてゼロに設定される。このデータを含めると、単に結果を間違いやすくするだけだからである。このように、ある周波数ビンｋについて、仮定的位置を次式（１２）で示す：
【００７１】
【数１２】
2008113431.tif 000017
式（１２）を式（１０）で使用して、位置重み付け関数Ｗ（ｘ，ｙ，ｚ）の最大値を見つける。信号エネルギーが雑音エネルギーに近い帯域ｋの周波数ビンでは、位置Ｇｘ，ｙ，ｚ（ｋ）はゼロとなる。非ゼロ周波数ビンの数が少なすぎる場合、その計算を全体としてバイパスする。最新のＰ個のブロックのデータは雑音のみによるものである可能性が高いからである。
【００７２】
式（１２）において、フェーザ項ｅｊθｍは超越関数であり、虚部と実部とを有し、各周波数ビンｋと各仮定的信号源位置ｘ，ｙ，ｚについて異なる。従って、そのフェーザ項を制御ユニットで実行中に計算することは効率的ではない。好ましくは、値を事前に計算してメモリ中のルックアップテーブルに格納しておき、制御ユニット（３６０）が実行時にそのテーブルにアクセスして計算を行う。
【００７３】
ルックアップテーブルを事前に計算する実施形態では、時間ブロックサイズはＮ＝６４０であり、周波数ビンの数も６４０であり、低周波数から高周波数までの周波数範囲は６４０周波数であり、超音波レシーバの数Ｍは４であり、仮定的信号源位置の数は８６４０（すなわち、４８通りの距離にある、１／４°ごとに１８０°（１８０-degrees  in  １/４  degree  increments  at  ４８  distances））であり得る。結果として、テーブルのエントリー数は：
エントリー数＝２×６４０×１６×８６４０＝１７６，９４７，２００    (１３)
精度を１６ビットとするには、このテーブルを格納するために必要なメモリは約３５０メガバイトであり、一般的な実施形態ではメモリサイズの点で手が出せない。
【００７４】
テーブルサイズを小さくするには、式（１２）のフェーザ項ｅｊθｍの実部を次式（１４）とする：
【００７５】
【数１３】
2008113431.tif 000018
ここで、ｃはすべてのｋとｍについて定数である。余弦関数は引数が２πごとに同じ値に戻るので、ｃｏｓ（θｍ）を計算するには、最初に積ｋΔｍｃを計算し、この積のモジュロ（modulo）２πを求め、その結果を余弦関数のテーブルで探すと効率的である。
【００７６】
式（１４）を独立に計算するのではなく、事前に計算した２つのルックアップテーブルを制御ユニット（３６０）のメモリに格納し、計算を少なくするために使用する。カメラトラッキングシステム（３００）に対して事前に計算した第１のルックアップテーブルＤ（ｒ，ｍ）を作る。ここで、ｒは３次元空間内のトランスデューサ（３５０）の仮定的位置（ｘ，ｙ，ｚ）を一意的に指定するインデックスであり、ｍは超音波レシーバのインデックスである。この事前に計算したルックアップテーブルＤ（ｒ，ｍ）のエントリーは次式（１５）の通りである：すべてのｒ及びｍ＝０，１，．．．，Ｍ−１に対して、
【００７７】
【数１４】
2008113431.tif 000019
式（１５）において、ｂ＝（ビンの中心周波数）／ｋであり、Δｒ，ｍはインデックスｒの信号源位置に関するマイクロホンｍと基準マイクロホンとの間の信号パス差（インチ単位）である。
【００７８】
事前に計算された第２のモジュロ余弦テーブルcos_table(i)も作られ、次式（１６）のようになる：
【００７９】
【数１５】
2008113431.tif 000020
【００８０】
これらのテーブルＤ（ｒ，ｍ）とｃｏｓ＿ｔａｂｌｅ（ｉ）を用いて、トランスデューサ（３５０）の候補位置ｒと周波数ビンｋに対するｃｏｓ（θｍ）の値は、次式（１７）のようになる：
【００８１】
【数１６】
2008113431.tif 000021
ここで、＆は「ａｎｄ」関数（０ｘ１ＦＦでマスク）であり、「ｉｎｔ」は「最も近い整数に丸める」ことを意味する。
【００８２】
このように、制御ユニット（３６０）は、好ましくは、これらの２つのテーブルＤ（ｒ，ｍ）とｃｏｓ＿ｔａｂｌｅ（ｉ）を使用して、式（１４）のｃｏｓ（θｍ）に対する解を計算する。本実施例では、Ｄ（ｒ，ｍ）テーブルは８６４０×４すなわち３４，５６０通りの位置を有し、ｃｏｓ＿ｔａｂｌｅ（ｉ）は５１２通りの位置を有する。ｓｉｎ（θｍ）を計算するため、式（１７）と同様の手続を使用して、他のテーブル（ｓｉｎ＿ｔａｂｌｅ（ｉ）と呼ぶ）を作る。このテーブルは５１２通りの位置を有する。このように、これらのテーブルは全部で３５，５８４個のエントリーを有する。これは、カメラトラッキングシステムの一実施形態として現実的なサイズである。
【００８３】
ルックアップテーブルにより決定された結果として得られるｃｏｓ（θｍ）とｓｉｎ（θｍ）の値を使用して、式（１２）のフェーザ（phasor）項ｅｊθｍを推定し、周波数ビンｋの候補位置Ｇｘ，ｙ，ｚ（ｋ）を計算する。次に、位置重み付け関数Ｗ（ｘ，ｙ，ｚ）の式（１０）において候補位置Ｇｘ，ｙ，ｚ（ｋ）の値を用いて、候補位置の位置重みを計算する。結局、式（１０）の位置重みづけ関数Ｗ（ｘ，ｙ，ｚ）を最大値とする位置（ｘ，ｙ，ｚ）を、トランスデューサ（３５０）の推定された位置とする。究極的には、トランスデューサ（３５０）の推定位置を、カメラユニット（３１０）のカメラで信号源をトラッキングするために使用する。
【００８４】
図５Ｂのブロック５６４のところで説明したように、計算量を減らすために、第１のサーチをして、上記の式と方法を用いて、複数の第１の候補位置におけるビームエネルギーを決定する。好ましくは、この第１のサーチは計算コストを低減するための粗いものであり、ブロック５６６において、トランスデューサの少なくとも近似的な位置を粗く推定することができる。粗い第１のサーチに続いて、ブロック５６４の粗い推定にフォーカスした、より細かい第２のサーチを行い、上記の式と方法を用いて、規格化ビームエネルギーが最大となる細かい位置を見つける。サーチを、マイクロホンレシーバ（３２０）の水平配置と垂直配置の両方に対して行い、カメラユニットのパン角度とチルト角度に対するトランスデューサ（３５０）の位置をそれぞれ決定する。カメラユニット（３１０）のカメラを、決定した位置に向ける操作（すなわち、パン、チルト、ズーム）をできる。
【００８５】
図６Ａと図６Ｂを参照して、本開示のカメラトラッキングシステムの追加的実施形態と代替的実施形態を説明する。一般的に、上記のカメラトラッキングシステムの実施形態では、図３Ａのユニット３１０等のカメラユニットは４つのマイクロホンレシーバ３２０を有すると説明した。レシーバ３２０からのトラッキング範囲は、それらがカメラユニット３１０上でどのくらい近いかにより決まる。それゆえ、カメラユニット３１０の一実施形態では、サイズを大きくして、マイクロホンレシーバ３２０の間隔をさらに広くする。別の実施形態では、４個より多い（例えば、８個以上）マイクロホンレシーバ３２０を使用して、レシーバ３２０がより広いエリア（例えば、約７５×７５フィートのエリア）をカバーできるようにする。超音波を用いてカメラでトラッキングするのに加え、超音波カメラトラッキングシステムの実施形態では、例えば、米国特許第６，９８０，４８５号に開示されているようなボイストラッキング法（voice  tracking  technique）も使用できる。この文献は、ここに参照援用する。
【００８６】
さらに、開示したカメラトラッキングシステムの他の実施形態では、複数のリモートレシーバが広い場所において相互により遠く離れて配置された超音波レシーバシステムを使用することもできる。例えば、図６Ａは、カメラトラッキングシステム６００Ａの一実施形態を示し、このシステムはカメラユニット６１０と、制御ユニット６３０と、エミッタユニット６４０とともに、超音波レシーバシステム６２０を有する。超音波レシーバシステム６２０は、部屋の周りに配置された３つ以上のレシーバユニット６２２、６２４、６２６を有し、制御ユニット６３０上にマイクロホンのアレイを有するのとは対照的である。レシーバユニット６２２、６２４、６２６は固定され、相互の距離が計算され、制御ユニット６３０と無線または有線で通信することができる。
【００８７】
一実施形態では、エミッタユニット６４０に接続された１つ以上の無線周波数（ＲＦ）デバイスからのＲＦ信号を、トランスデューサ６４２、６４４からの超音波と同期させることができ、レシーバユニット６２２、６２４、６２６はそれらからエミッタ６４０までの距離を決定することができる。部屋の周りに配置した複数のレシーバユニット６２２、６２４、６２６でＲＦ信号と超音波とを同期させて使用することにより、エミッタ６４０の位置計算をより正確にできる。例えば、超音波信号と同期したＲＦ信号は、トランスデューサ６４２、６４４のレンジ検出（range  detection）の精度を向上でき、カメラユニット６１０の自動ズームを改善することができる。
【００８８】
一実施形態では、ＲＦ無線マイクロホンは、エミッタユニット６４０と一体とし、テレビ会議の音声だけでなく、トラッキングとレンジ検出（range  detection）にも使用するＲＦ信号も送信することができる。図７Ａは、エミッタユニット７００Ａを示し、このユニットは、１つ以上のトランスデューサ７０２、７０４と、ＲＦトランスミッタ７１０と、一体型マイクロホン７２０（ラペルマイクロホン（lapel  microphone）でもよい）とを有する。ＲＦ信号を使ってプレゼンターの音声を送信し、エミッタユニット７００Ａのレンジ検出（range  detection）をする。一体型のラペルマイクロホン７２０を有するので、他の代替用途にも使用できる。例えば、図６Ａのシステム６００Ａは、一体型ラペルマイクロホン（７２０）がプレゼンターの音声を検出するとイネーブル（enabled）されるトランスデューサ６４２、６４４からの超音波と併せて、ボイスマイクゲーティング法（voice  mic  gating  techniques）に基づいて、カメラユニット６１０のカメラの方向を制御することができる。
【００８９】
図６Ａに示したように、プレゼンターは前と後にトランスデューサ６４２、６４４を有し、カメラトラッキングシステム６００Ａはプレゼンターが向きを変えてもそのプレゼンターをトラッキングできる。また、図６Ａに別に示したように、プレゼンターは両肩にトランスデューサ６４２、６４４をそれぞれ有し、カメラトラッキングシステム６００Ａはプレゼンターが向きを変えてもそのプレゼンターをトラッキングできる。
【００９０】
上記の実施形態において、開示したカメラトラッキングシステムは、超音波エミッタユニットを身につけた１人の人をトラッキングすることを参照して説明した。他の実施形態では、複数の参加者がエミッタユニットを身につけ、どの参加者をトラッキングするかの決定を様々な方法を用いて制御することができる。例えば、図６Ｂは複数のエミッタユニット６４０−Ａ、６４０−Ｂを使用するカメラトラッキングシステム６００Ｂを示す。上記と同様に、システム６００Ｂはカメラユニット６１０と、超音波レシーバ６２０と、制御ユニット６３０とを有する。複数のエミッタユニット６４０−Ａ、６４０−Ｂはそれぞれ少なくとも１つの超音波トランスデューサ６４２を含む。エミッタユニット６４０−Ａ、６４０−Ｂは自動的または手動でアクティベートされ、超音波を放射し、カメラユニット６１０がアクティベートされたトランスデューサ６４２を有するプレゼンターをトラッキングする。
【００９１】
一実施形態では、プレゼンターが話したときに、エミッタユニット６４０−Ａ、６４０−Ｂがアクティベートされる。例えば、図７Ａのエミッタ７００Ａは、一体のマイクロホン７２０がプレゼンターが話しているのをピックアップしたときに、アクティベートされる。他の実施形態では、図７Ｂに示したエミッタユニット７００Ｂは、タグ７３０等の上にボタンを有し、プレゼンターが押すとユニット７００Ｂがアクティベートされ、トランスデューサ７０２、７０４が超音波を放射する。
【００９２】
図６Ｂに戻り、２つ以上のエミッタユニット６４０−Ａ、６４０−Ｂが同時に放射してもよい。例えば、エミッタユニット６４０−Ａ、６４０−Ｂはアクティベートされ、参加者が話しているのをラペルマイクロホンが検出したとき、超音波を放射してもよい。二人以上の参加者が同時に話しているとき、一実施形態の制御ユニット６３０はカメラユニット６１０を制御して、エミッタユニット６４０−Ａ、６４０−Ｂがアクティブなプレゼンターを両方ともフレームに入れる（frame）。
【００９３】
別の実施形態では、エミッタユニット６４０−Ａ、６４０−Ｂは、ＲＦ信号またはＩＲ信号を用いて互いに通信できるか、または制御ユニット６３０と通信でき、一度に１つのエミッタユニットのみ（６４０−Ａまたは６４０−Ｂ）が超音波を放射する。一実施形態では、駆動されたエミッタユニット６４０−ＡはＲＦ信号を他のエミッタユニット６４０−Ｂに送信し、そのエミッタユニット６４０−Ｂは超音波の送信を停止する。
【００９４】
他の実施例では、システム６００−Ｂは制御ユニット６３０に結合したＲＦユニット６７０を含む。プレゼンターがそのエミッタユニット６４０−Ａを起動すると、エミッタユニット６４０−Ａ上のＲＦトランスミッタ（図示せず）からＲＦユニット６７０にＲＦ信号が送信され、制御ユニット６３０はこのプレゼンターをトラッキングすることが分かる。制御ユニット６３０は、ＲＦユニットからのＲＦ信号を他のエミッタユニット６４０−Ｂに中継し、そのエミッタユニット６４０−Ｂが超音波を放射するのを止める。このように、一度に１つのエミッタユニット６４０−Ａのみが超音波を発生し、制御ユニット６３０は２つ以上のエミッタユニット６４０からの超音波を区別しようとする必要がなくなる。ＲＦ信号ではなく、ＩＲ信号その他を使って通信してもよい。
【００９５】
さらに別の実施形態では、制御ユニット６３０は、放射された超音波の特性に応じて、エミッタユニット６４０−Ａ、６４０−Ｂから複数の超音波信号源を区別することもできる。例えば、各エミッタユニット６４０は、他とは異なる周波数の超音波を放射し、相互に識別（isolate）できる。あるいは、各エミッタユニット６４０は、他とは異なる時間に超音波を放射し、相互に識別（isolate）できる。複数のエミッタ６４０−Ａ、６４０−Ｂが同時に動作するとき、制御ユニット６３０は、両方のエミッタユニット６４０−Ａ、６４０−Ｂが超音波を放射し続けていても、どのエミッタユニット６４０が起動されておりトラッキングされるべきかを示すＲＦ信号を受け取る必要がある。
【００９６】
さらに別の実施形態では、同一環境において複数の独立なトラッキングシステム６００Ｂを使用して、１つが１人のプレゼンターをトラッキングし、もう１つがもう１人のプレゼンターをトラッキングする。独立な各システム６００Ｂは、位相シフトキーイング（ＰＳＫ）／周波数シフトキーイング（ＦＳＫ）を用いる異なるシード（seeds）を有し、各システムの超音波を区別する。
【００９７】
好ましい実施形態その他の上記の記載は、出願人が認識している発明概念の範囲や適用性を限定または制限することを意図したものではない。垂直、水平、右、左等の用語は、１つの方向に対する相対的な方向を示すために使っており、他の方向に対する相対的な方向を示すこともある。言うまでもなく、ここに開示した実施形態を修正することができ、本開示の教示に基づいて別の実施形態を実施することもできる。テレビ会議においてカメラでプレゼンターをトラッキングするのに加え、例えば、本開示のカメラトラッキングシステム及びそれに関連する方法を、舞台パフォーマンスのスポットライトの制御や、他の環境でのカメラの制御等の他の実施形態で用いることもできる。ここに含まれる発明概念を開示するのと引き替えに、出願人は添付した請求項に記載されたすべての特許を望む。よって、添付した請求項は、その請求項またはその均等の範囲内にある全ての修正と変更を含むことを意図している。
【図面の簡単な説明】
【００９８】
【図１】本開示の一教示による、カメラトラッキングシステムの一実施形態を示す図である。
【図２】図１のカメラトラッキングシステムの制御ユニットのソフトウェアフレームワークの一実施形態を示す図である。
【図３Ａ】カメラトラッキングシステムのカメラユニットの一実施形態を示す図である。
【図３Ｂ】図３Ａのカメラトラッキングシステムの信号チェイン（signal  chain）の一実施形態を示す図である。
【図４Ａ】開示したカメラトラッキングシステムにおいて、超音波信号を可聴範囲にダウンサンプリングする方法の一実施形態を示す図である。
【図４Ｂ】図４Ａのダウンサンプリング方法の段階における信号スペクトルを示すグラフである。
【図５Ａ】開示したカメラトラッキングシステムにおいて、目標音源の候補位置を推定する位置決定アルゴリズムの一実施形態を示すフローチャートである。
【図５Ｂ】開示したカメラトラッキングシステムにおいて、目標音源の候補位置を推定する位置決定アルゴリズムの一実施形態を示すフローチャートである。
【図６Ａ】カメラトラッキングシステムの他の一実施形態を示す図である。
【図６Ｂ】カメラトラッキングシステムのさらに他の一実施形態を示す図である。
【図７Ａ】開示したカメラトラッキングシステムのためのエミッタユニットの他の実施形態を示す図である。
【図７Ｂ】開示したカメラトラッキングシステムのためのエミッタユニットの他の実施形態を示す図である。
【符号の説明】
【００９９】
１２０  カメラユニット
１２２  カメラ
１２６  マイクロホン
１３０  制御ユニット
１４０  エミッタユニット
１４２  信号ジェネレータ
１４３  アンプ
１４４  バッテリ
１５０  リモコン
１６０  テレビ会議ユニット
１８０  超音波
１９０  赤外線
２１０  ユーザインターフェイスモジュール
２２０  メッセージハンドラ
２３０  カメラ制御モジュール
２５０  設定
２５５  不揮発性記憶装置
２６５  オーディオハードウェアマネージャ
３６０  制御ユニット
【図１】
2008113431.tif 000022
【図２】
2008113431.tif 000023
【図３Ａ】
2008113431.tif 000024
【図３Ｂ】
2008113431.tif 000025
【図４Ａ】
2008113431.tif 000026
【図４Ｂ】
2008113431.tif 000027
【図５Ａ】
2008113431.tif 000028
【図５Ｂ】
2008113431.tif 000029
【図６Ａ】
2008113431.tif 000030
【図６Ｂ】
2008113431.tif 000031
【図７Ａ】
2008113431.tif 000032
【図７Ｂ】
2008113431.tif 000033