(57)【要約】【課題】本願発明は、モバイルプラットフォームでの可変ビーム形成を提供する。【解決手段】モバイルプラットフォームは、マイクロフォンアレイを含み、音源からの可聴音情報を増幅または抑圧するためにビーム形成を行うことができる。音源は、モバイルプラットフォームを音源の方向に向けるなどのユーザ入力、または、タッチスクリーンディスプレイインターフェースによって示される。さらにモバイルプラットフォームは、モバイルプラットフォームの動きを検出することができる方位センサを含む。モバイルプラットフォームが音源に対して動くと、音源の方向にビーム形成が連続して行われるように、方位センサからのデータに基づきビーム形成が調整される。音源からの可聴音情報は、電話またはテレビ電話の会話に含めることもでき、またはその会話から抑圧することもできる。方位センサからのデータに基づいて、カメラからの画像または映像が同様に制御されてもよい。【選択図】図３
2015167408.tif 000002
【特許請求の範囲】
【請求項１】
モバイルプラットフォームを音源に向けるとともに、前記モバイルプラットフォームの動きを使用して、可聴音情報を増幅または抑圧するための前記モバイルプラットフォームに対する前記音源の方向を選択するステップと、
前記音源からの可聴音情報を増幅または抑圧するために、前記音源の方向に前記モバイルプラットフォームによってビーム形成を行うステップと、
前記音源に対する前記モバイルプラットフォームの動きを決定するステップと、
前記決定された動きを用いて前記ビーム形成を調整し、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向にビーム形成を行い続けるステップと
を含むモバイルプラットフォームによって実行される方法。
【請求項２】
前記音源が、第1の方向における第1の音源であり、前記方法はさらに、
前記モバイルプラットフォームに対する第2の音源の第2の方向を示すステップと、
前記第2の音源からの可聴音情報を増幅または抑圧するために、前記第2の音源の前記第2の方向に前記モバイルプラットフォームによってビーム形成を行うステップと、
前記決定された動きを用いて前記ビーム形成を調整し、前記モバイルプラットフォームが動いた後、前記第1の音源の前記第1の方向と前記第2の音源の前記第2の方向とにビーム形成を行い続けるステップと
をさらに含む、請求項1に記載の方法。
【請求項３】
前記モバイルプラットフォームに対する前記第2の音源の前記第2の方向を示すステップが、
前記第2の音源に前記モバイルプラットフォームを向け、可聴音情報の増幅または抑圧するための前記モバイルプラットフォームに対する前記第2の音源の前記第2の方向を選択するステップを含む、請求項2に記載の方法。
【請求項４】
前記第2の音源の前記第2の方向を示すステップが、前記第1の音源の前記第1の方向にビーム形成を行った後に実行される、請求項2に記載の方法。
【請求項５】
ビーム形成を行うステップが、前記モバイルプラットフォームにおけるマイクロフォンアレイからのマルチチャネル信号を処理するステップを含む、請求項1に記載の方法。
【請求項６】
ビーム形成を行った後、前記音源の方向からの可聴音情報をワイヤレスで送信するステップをさらに含む、請求項1に記載の方法。
【請求項７】
前記可聴音情報が、電話の通話においてワイヤレスで送信される、請求項6に記載の方法。
【請求項８】
ビーム形成を行った後、前記音源の方向からの可聴音情報の翻訳文を取得するステップをさらに含む、請求項1に記載の方法。
【請求項９】
前記モバイルプラットフォームにおけるカメラを制御して、前記音源の方向からの映像および画像の少なくとも一方を取り込むステップと、
前記決定された動きを用いて前記カメラの制御を調整して、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向からの映像および画像の少なくとも一方を取り込み続けるステップと
をさらに含む、請求項1に記載の方法。
【請求項１０】
マイクロフォンアレイと、
方位センサと、
前記マイクロフォンアレイおよび前記方位センサに接続されたプロセッサと、
を備え、
前記プロセッサが、モバイルプラットフォームが音源の方向に向けられることと、前記モバイルプラットフォームの動きとに基づいて、可聴音情報を増幅または抑圧するための前記音源の方向を選択し、前記音源の方向における前記マイクロフォンアレイによって受信された可聴音情報を増幅または抑圧するためにビーム形成を行い、前記方位センサによって提供されたデータを用いてモバイルプラットフォームの動きを決定し、前記決定された動きを用いて前記ビーム形成を調整して、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向にビーム形成を行い続けるように構成されるモバイルプラットフォーム。
【請求項１１】
前記音源が第1の方向における第1の音源であり、
前記プロセッサが、ユーザ入力に基づいて第2の音源の第2の方向を選択し、前記第2の音源の前記第2の方向における前記マイクロフォンアレイによって受信された可聴音情報を増幅または抑圧するためにビーム形成を行わせ、前記決定された動きを用いて前記ビーム形成を調整して、前記モバイルプラットフォームが動いた後、前記第1の音源の第1の方向と前記第2の音源の前記第2の方向とにビーム形成を行い続けるようにさらに構成される、請求項10に記載のモバイルプラットフォーム。
【請求項１２】
前記プロセッサが、前記マイクロフォンアレイからのマルチチャネル信号を処理することによってビーム形成を行うようにさらに構成される、請求項10に記載のモバイルプラットフォーム。
【請求項１３】
前記プロセッサに結合されたワイヤレストランシーバをさらに備えるモバイルプラットフォームであって、前記プロセッサが、ビーム形成が行われた後、前記音源の方向から得られた可聴音情報を送信するように前記ワイヤレストランシーバを制御するようにさらに構成される、請求項10に記載のモバイルプラットフォーム。
【請求項１４】
前記可聴音情報が、電話の通話において送信される、請求項13に記載のモバイルプラットフォーム。
【請求項１５】
前記ワイヤレストランシーバが、前記送信された可聴音情報に応じて前記可聴音情報の翻訳文を受信する、請求項13に記載のモバイルプラットフォーム。
【請求項１６】
前記プロセッサに結合されたカメラをさらに備えるモバイルプラットフォームであって、前記プロセッサが、前記音源の方向からの映像および画像の少なくとも一方を取り込み、前記カメラの制御を調整して、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向からの映像および画像の少なくとも一方を取り込み続けるようにカメラを制御するように構成される、請求項10に記載のモバイルプラットフォーム。
【請求項１７】
モバイルプラットフォームが音源の方向に向けられることと、前記モバイルプラットフォームの動きとに基づいて、可聴音情報を増幅または抑圧するための前記モバイルプラットフォームに対する前記音源の方向を選択するための手段と、
前記音源からの可聴音情報を増幅または抑圧するために、前記音源の方向に前記モバイルプラットフォームによってビーム形成を行うための手段と、
前記音源に対する前記モバイルプラットフォームの動きを決定するための手段と、
前記決定された動きを用いて前記ビーム形成を調整して、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向にビーム形成を行い続けるための手段とを備えるシステム。
【請求項１８】
プロセッサにより実行可能なプログラムコードを記録するコンピュータ可読記録媒体であって、
マイクロフォンアレイが音源の方向に向けられることと、モバイルプラットフォームの動きとに基づいて、可聴音情報を増幅または抑圧するための前記音源の方向を選択するためのプログラムコードと、
前記音源の方向における前記マイクロフォンアレイによって受信された可聴音情報を増幅または抑圧するためにビーム形成を行うためのプログラムコードと、
前記マイクロフォンアレイの動きを決定するためのプログラムコードと、
前記決定された動きを用いて前記ビーム形成を調整して、前記マイクロフォンアレイが前記音源に対して動いた後、前記音源の方向にビーム形成を行い続けるためのプログラムコードと
を記録する、コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般に、モバイルプラットフォームでの可変ビーム形成に関する。
【背景技術】
【０００２】
ラップトップ、デスクトップコンピュータ、ならびに、スマートフォンおよびタブレットコンピュータなどの現在のコンピュータは、指向性マイクロフォンまたはマイクロフォンアレイを含む場合でも、通話中のプライマリユーザ以外の別の人が部屋の別の位置にいる場合には、その別の人を容易に含める能力を有していない。一般に、部屋の中のすべての音源の単純な増幅は、不要な大量のバックグランドノイズをもたらす。電話またはテレビ電話の通話(video-telephony call)に加わることを望む個人は、通常、マイクロフォンの近く、またはカメラの前に物理的に移動して座る必要がある。したがって、座っているか気持ちよく休んでいる場合でも通話中に少しだけ喋りたい人は、マイクロフォンおよび/またはカメラに近づくことを余儀なくされるか、そうでない場合には、はっきりと聞き取られないか、または見られないことになる。
【０００３】
高ノイズ抑圧技法などの、マイクロフォンアレイを用いるビーム形成技法は公知であり、音声通話、ボイスオーバーインターネットプロトコル(VOIP)、またはその他の方法の最中に気を散らす周囲のノイズとビットレート要件を低減することができる一方、一般にこれらの技法は、時間ベース、空間ベース、周波数ベース、および振幅ベースのいくつかの手がかり(cue)に基づいて一人の話者の特定を試み、話者を高速に切り替える際の減衰を引き起こし、また上記のような複数話者の状況を妨げるビームステアリングアルゴリズム(beam steering algorithm)に依存している。さらに、不十分な信号対雑音比(SNR)の状況下では、到来方向を特定する作業が困難となり、音声のこもり、バックグランドノイズの変調、および他のアーチファクトの原因となる。その上、コンピュータタブレットまたはスマートフォンなどのモバイルデバイスの場合、そのデバイスは会話中に動かされる可能性があり、それにより到来方向を特定する作業がさらにより困難になる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、電話またはテレビ電話の会話(または、そのような他の用途)において、ユーザが部屋にいる他の人を最小の労力で容易に含めることができるシステムを開発することが有益となる。
【課題を解決するための手段】
【０００５】
モバイルプラットフォームは、マイクロフォンアレイを含み、音源の方向からの可聴音情報を増幅または抑圧するためにビーム形成を行う。さらにモバイルプラットフォームは、モバイルプラットフォームの動きを検出するために用いられる方位センサを含み、この方位センサは、モバイルプラットフォームが音源に対して動く間に、音源の方向からの可聴音情報を増幅または抑圧し続けるようにビーム形成を調整するために用いられる。音源の方向は、ユーザ入力を通じて提供され得る。たとえば、モバイルプラットフォームは、音源の方向を特定するために音源に向けられてもよい。付加的または代替的には、音源の位置は、マイクロフォンアレイを用いて特定され、ユーザに表示されてもよい。次いでユーザは、たとえばタッチスクリーンディスプレイなどを用いて音源の方向を特定することができる。モバイルプラットフォームが音源に対して動くと、方位センサはその動きを検出する。次いで、方位センサによって検出されると、モバイルプラットフォームの測定された動きに基づいて、ビーム形成が行われる方向が調整され得る。したがって、ビーム形成は、音源に対するモバイルプラットフォームの動きにかかわらず、音源の所望の方向に連続的に行われ得る。方位センサからのデータに基づいて、カメラからの画像または映像が同様に制御されてもよい。
【図面の簡単な説明】
【０００６】
【図１Ａ】モバイルプラットフォームの前面部を示す図である。
【図１Ｂ】モバイルプラットフォームの背面部を示す図である。
【図２Ａ】2つの音源に対してある向きを有し、両方の音源に対するビーム形成を連続的に行うモバイルプラットフォームを示す図である。
【図２Ｂ】2つの音源に対して別の向きを有し、両方の音源に対するビーム形成を連続的に行うモバイルプラットフォームを示す図である。
【図２Ｃ】音源に対するモバイルプラットフォームの動きに対する補償を行わずにビーム形成を行うモバイルプラットフォームを示す図である。
【図３】音源に対してモバイルプラットフォームが動く間にビーム形成を行うためのフローチャートである。
【図４Ａ】モバイルプラットフォームを音源に向けることによって音源の方向を示す図である。
【図４Ｂ】モバイルプラットフォームを音源に向けることによって音源の方向を示す図である。
【図４Ｃ】モバイルプラットフォームを音源に向けることによって音源の方向を示す図である。
【図５】タッチスクリーンディスプレイ上のグラフィカルユーザインターフェースを用いて音源の方向を示す図である。
【図６】図1に示されているマイクロフォンアレイの方向に対する可聴音応答を示す図である。
【図７】音源に対するモバイルプラットフォームの動きに応じたカメラの制御を示す図である。
【図８】方位センサからのデータに基づいてビーム形成が行われる方向を調整可能なモバイルプラットフォームのブロック図である。
【発明を実施するための形態】
【０００７】
図1Aおよび図1Bは、電話通信またはテレビ電話通信が可能な携帯電話、スマートフォン、コンピュータタブレット、または他のワイヤレス通信デバイスなどの任意の携帯型電子デバイスでもよいモバイルプラットフォーム100の前面部および背面部をそれぞれ示す。このモバイルプラットフォーム100は、ハウジング101、タッチスクリーンディスプレイでもよいディスプレイ102、ならびに、イヤーピーススピーカ104および2つのラウドスピーカ106L、106Rを含む。また、モバイルプラットフォーム100は、マイクロフォン108A、108B、108C、108D、および108Eの(まとめてマイクロフォンアレイ108と呼ばれることもある)アレイと、特定方向からの音を抑圧または増幅するためにビーム形成を行うことができる、たとえばマイクロフォンアレイ108に接続されたマイクロフォンアレイコントローラ192などのビーム形成システムとを含む。ビーム形成は、本明細書における譲渡人に譲渡された米国特許出願第12/796,566号に記載されている。マイクロフォンは、たとえば圧電性の微小電気機械システム(MEMS)型のマイクロフォンなどでもよい。さらに、モバイルプラットフォーム100は、3軸ジャイロスコープおよび/またはデジタルコンパスに結合された3軸加速度計などの方位センサ110を含む。モバイルプラットフォーム100は、方位センサを用いて、音源に対してモバイルプラットフォーム100が動く間にその音源を増幅または抑圧するように形成ビームを向けることができる。音源を抑圧する、すなわち拒絶するための形成されたビームは、ヌルビーム(null beam)と呼ばれる場合があり、一方、音源を増幅するためのビームは、本明細書では単にビームと呼ばれる場合がある。しかし、「ビーム」および「ビーム形成」という用語は、特に示されていなければ、増幅と抑圧(すなわち、「ヌルビーム」と「ヌルビーム形成」)の両方を指すために用いられ得ることを理解されたい。
【０００８】
また、モバイルプラットフォーム100は、ワイヤレストランシーバ112と、たとえばモバイルプラットフォーム100の前面部におけるカメラ114、および(図1Bに示されている)モバイルプラットフォーム100の背面部におけるカメラ116である、1つまたは複数のカメラとを含み得る。個々の要素の正確な位置と数は、必要に応じて変更され得ることを理解されたい。たとえば、マイクロフォンアレイ108は、ハウジング101の側面などの、モバイルプラットフォーム100の別の位置に配置されてもよい、追加または比較的少ない数のマイクロフォンを含み得る。
【０００９】
本明細書で用いられる場合、モバイルプラットフォームは、携帯電話、スマートフォン、タブレットコンピュータ、または他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、または他の好適なモバイルデバイス等の任意の携帯型電子デバイスを指す。モバイルプラットフォームは、ワイヤレス通信情報を送信および受信することが可能である。また、モバイルプラットフォームという用語は、短距離ワイヤレス接続、赤外線接続、有線接続、または他の接続などによってパーソナルナビゲーションデバイス(PND)と通信するデバイスを含むように考えられており、衛星信号の受信、補助データの受信、および/または、位置関係の処理が、そのデバイスで行われるか、またはPNDで行われるかにかかわらない。また、「モバイルプラットフォーム」は、インターネット、WiFi、または他のネットワークを介してなどしてサーバと通信することができる、ワイヤレス通信デバイス、コンピュータなどを含むすべてのデバイスを含むように考えられており、衛星信号の受信、補助データの受信、および/または、位置関係の処理が、そのデバイスで行われるか、サーバで行われるか、またはネットワークに関連する別のデバイスで行われるかにかかわらない。上記における動作可能な任意の組合せもまた「モバイルプラットフォーム」と考えられる。
【００１０】
さらに、モバイルプラットフォーム100は、トランシーバ112を介して、セルラータワー(cellular tower)またはワイヤレス通信アクセスポイントなどから、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)など、またはこれらの任意の組合せなどの、任意のワイヤレス通信ネットワークにアクセスすることができる。「ネットワーク」および「システム」という用語は、しばしば交換可能に用いられる。WWANは、符号分割多元接続(CDMA)のネットワーク、時間分割多元接続(TDMA)のネットワーク、周波数分割多元接続(FDMA)のネットワーク、直交周波数分割多元接続(OFDMA)のネットワーク、単一搬送波周波数分割多元接続(SC-FDMA)のネットワーク、ロングタームエボリューション(LTE)などでもよい。CDMAのネットワークは、cdma2000、広帯域CDMA(WCDMA(登録商標))などの、1つまたは複数の無線アクセス技術(RAT)を実装することができる。Cdma2000は、IS-95、IS-2000、およびIS-856の規格を含む。TDMAのネットワークは、モバイル通信に向けたグローバルシステム(GSM(登録商標))、デジタル先進移動電話システム(D-AMPS)、または何らかの他のRATを実装することができる。GSM(登録商標)およびWCDMA(登録商標)は、「第3世代パートナーシッププロジェクト」(3GPP)という名称のコンソーシアムからのドキュメントに記載されている。Cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称のコンソーシアムからのドキュメントに記載されている。3GPPおよび3GPP2のドキュメントは、公的に利用可能である。WLANは、IEEE 802.11xのネットワークでもよく、WPANは、Bluetooth(登録商標)のネットワーク、IEEE 802.15x、または何らかの他の種類のネットワークでもよい。
【００１１】
モバイルプラットフォーム100は、マイクロフォンアレイ108および方位センサ110を用いることによって、モバイルプラットフォームの向きを音源に対して変化させるモバイルプラットフォーム100の動きにかかわらず、1つまたは複数の音源のビーム形成を行うことができる。本明細書で用いられる場合、音源は、人、動物、または物体を含む、可聴音情報を生み出すあらゆるものを含む。図2Aおよび図2Bは、音源Aおよび音源Bである2つの音源に対して異なる向きを有し、両方の音源に対するビーム形成を連続的に行うモバイルプラットフォーム100を例として示す。音源Aは、たとえば人でもよく、湾曲部122によって示されているように、音源Aからの可聴音情報がモバイルプラットフォーム100を介する電話またはテレビ電話の会話に含まれるようにマイクロフォンアレイ108によって増幅される。他方、音源Bは、ハッチングをかけられた湾曲部124によって示されているように、音源Bからの可聴音情報がモバイルプラットフォーム100を介する電話またはテレビ電話の会話から排除されるか、または少なくとも低減されるようにマイクロフォンアレイ108によって抑圧されることになる、ノイズを伴う物体でもよい。図2Bに見られるように、音源Aの増幅および音源Bの抑圧は、音源Aおよび音源Bに対するモバイルプラットフォーム100の向きの変化にかかわらず維持されており、これは、図1Aに示されている方位センサ110からのデータの利用によるものである。このように、モバイルプラットフォーム100は、ヌルのビームを拒絶される音源Bに向け(ヌルビーム形成と呼ばれる場合がある)、メインローブを所望の音源Aに向ける(単にビーム形成と呼ばれる場合がある)。図2Cは、比較として、音源Aおよび音源Bに対するモバイルプラットフォーム100の動きに対する補償を行わずにビーム形成を行うモバイルプラットフォーム100を示す。図2Cに見られるように、モバイルプラットフォーム100は、モバイルプラットフォーム100の回転を調整せず、音源Aおよび音源Bの方向にもはやビーム形成を行わないことになる。
【００１２】
図3は、音源に対してモバイルプラットフォームが動く間に、音源の方向にビーム形成を連続的に行うためのフローチャートを示す。図示されているように、たとえば、電話またはテレビ電話の会話の際に音源からの可聴音情報をプライマリユーザが含めること、または少なくとも部分的に排除することを望む場合、モバイルプラットフォームに対する音源の方向が示される(202)。音源の方向の指示は、たとえば、モバイルプラットフォームを所望の方向に向けてボタンを押すことによって行われてもよく、または、タッチスクリーンディスプレイ上のグラフィカルユーザインターフェースもしくは他の同様の種類のインターフェースを用いることによって行われてもよい。
【００１３】
図4A、図4B、および図4Cは、モバイルプラットフォームを音源に向けることによって音源の方向を示すことを例示している。図4Aは、ディスプレイ102の中の音源Aの画像によって示されている、音源Aの方向に向けられたモバイルプラットフォーム100を例として示す。ユーザは、音源Aの方に向けられたモバイルプラットフォーム100を用いて、たとえばボタンを押すか、またはタッチスクリーンディスプレイ102をタップする(tap)か、または、モバイルプラットフォーム100のジェスチャもしくは急な動きなどの他の適切なユーザインターフェースによって、ビーム形成のために音源Aの方向を選択することができる。図4Aに示されているように、音源Aは、矢印130によって示されている増幅のために選択され、それによりたとえば、プライマリユーザからの可聴音情報とともに音源Aからの可聴音情報が電話またはテレビ電話の会話に含まれ得る。モバイルプラットフォーム100は、音源Aの方向を指示した後、図4Bに示されているように異なる位置に移動または回転させられ、それによりプライマリユーザにとって快適な位置に置かれることになる場合がある。矢印130によって示されているように、モバイルプラットフォーム100は、音源Aからの可聴音情報がビーム形成システムによって増幅され続けるように、モバイルプラットフォーム100の動きに対する補償を行い続けることになる。さらに、図4Cに示されているように、モバイルプラットフォーム100は、ディスプレイ102の中に現れている音源Bの画像によって示されているように、音源Bの方向に向くように動かされてもよい。図4Cでは、音源Bは、たとえば異なるボタンを押すか、異なる方法でディスプレイ102をタップするか、または他の適切なユーザインターフェースによって、(記号132によって示されている)抑圧に向けて選択される。この音源Bは、音源Bからの可聴音情報が電話またはテレビ電話の会話において少なくとも部分的に低減されるよう、抑圧されるために選択される。
【００１４】
図5は、タッチスクリーンディスプレイ102上のグラフィカルユーザインターフェース260を用いてモバイルプラットフォームに対する音源Aの方向を指し示しているプライマリユーザ250の手を示している。たとえば、このグラフィカルユーザインターフェースは、モバイルプラットフォーム100の中心にある「レーダ」マップ262の上に音源Aと音源Bを示す。これらの音源は、たとえばマイクロフォンアレイ108を用いて所定のゲインレベルを超える音を拾い、次いでマップ262上に表示され得る音源の方向と距離を決定することによって検出されてもよい。音源の方向と距離の決定は、本明細書における譲渡人に譲渡された米国特許出願第12/796,566号に記載されている。ユーザ250は、たとえば濃い線264によって示されている音源Aである、増幅のための1つまたは複数の音源と、たとえばハッチング線によって示されている音源Bである、抑圧のための1つまたは複数の音源とを選択することができる。当然ながら、グラフィカルユーザインターフェース260の代わりに他の種類のグラフィックスが用いられてもよい。
【００１５】
図3を再度参照すると、ビーム形成は音源の方向において行われる(204)。ビーム形成は、ある所望の方向からの音を増幅し、他の方向からの音を抑圧するために、マイクロフォンアレイ108における個々のマイクロフォンに対する遅延とゲインを変化させるマイクロフォンアレイコントローラ192によって行われる。マイクロフォンアレイを用いるビーム形成は、本明細書における譲渡人に譲渡された米国特許出願第12/796,566号に記載されている。概して、ビーム形成では、抑圧されることになる音源の方向に「ヌルビーム」を生成し、または別の方向からの音源を増幅するために、マイクロフォンアレイ108における個々のマイクロフォンに対する遅延とゲインが変更される。マイクロフォンアレイ108は、音響環境に対するマイクロフォンのうちの対応するマイクロフォンの応答に各チャネルが基づいているマルチチャネル信号を生成する。不要な位相差特性(たとえば、周波数と相関がなく、かつ/または、周波数と相関があるものの不要な方向にコヒーレンスを示す位相差)を示す時間-周波数ポイント(time-frequency point)を特定するために、位相ベースまたは位相相関ベースの方式が用いられてもよい。そのような特定には、記録されたマルチチャネル信号に対して方向性マスク処理(directional masking operation)を行うことが含まれ得る。信号における大量の時間-周波数ポイントを除くため、方向性マスク処理には、たとえばマルチチャネル信号における位相解析の結果に方向性マスク関数(directional masking function)(または「マスク」)を適用することが含まれ得る。図6は、図1に示されているマイクロフォンアレイの方向に対する可聴音応答を例として示す。理解されるように、マイクロフォンアレイ108は、任意の所望の方向における所望の角度のビーム幅からの可聴音を拾うように向けられてもよい。
【００１６】
従来の複数のマイクロフォンアレイベースのノイズ抑圧システムでは、アルゴリズムは、各マイクロフォンに到達した一連の時間ベース、空間ベース、周波数ベース、および振幅ベースの音響情報を処理することによって話者の方向の特定を試みる。タブレットコンピュータおよびネットブックにおけるマイクロフォンは、多くの使用事例では、口のスピーカ(mouth speaker)から十分に離れているため、音響エネルギーの経路損失は、口の基準ポイント(mouth reference point)に対して30dBを上まわる場合がある。この経路損失によって、デジタル変換に先立ち、CODECにおける高いゲインが必要となる。このように、タブレットコンピュータまたはネットブックに用いられる場合のある従来のノイズ抑圧アルゴリズムは、所望のスピーチと同じゲイン係数だけバックグランドノイズも増幅される点を克服する必要がある。したがって、従来のノイズキャンセルアルゴリズムでは、所望の話者の方向を計算し、その話者の方に細いビームを向ける。ビーム幅は、周波数と、マイクロフォンアレイ108の構成との関数であり、このうち細いビーム幅は強いサイドローブを伴う。音源を含めるかまたは排除するためにビームが適切な幅となるように、可変幅のビームのデータバンクが設計され、モバイルプラットフォーム100に記憶され、自動的に、またはユーザインターフェースによって選択されてもよい。
【００１７】
モバイルプラットフォーム100の動きは、コンパス、ジャイロスコープ、または、固定されたノイズ源から作られた到達基準角(reference-angle-of-arrival)などの方位センサ110を用いて決定される(206)。一般に、モバイルプラットフォーム100は音源に対して動かされると想定され得る。方位または位置の変更を含む動きを方位センサまたは固定されたノイズ源を用いて決定することは、当技術分野においては周知である。
【００１８】
ビーム形成は、モバイルプラットフォームが動いた後、音源の方向にビーム形成を行い続けるように、決定された動きに基づいて調整される(208)。したがって、たとえば図4Aおよび図4Bに示されているように、音源Aの方向が示された後、たとえばモバイルプラットフォーム100を音源Aの方向に向け、ボタンまたは他の適切な選択機構を押すことによって、矢印130で示されているように音源Aの方向にビーム形成が行われる。次いでユーザは、たとえばモバイルプラットフォームを(図4Bに示されている)快適な位置に置くために、音源Aに対するモバイルプラットフォーム100の向きを変えることができる。モバイルプラットフォーム100の動きは、方位センサ110によって検出される。たとえば、方位センサ110は、モバイルプラットフォーム100が50度回転したことを決定することができる。次いで、音源Aからの可聴音情報を拾い続けるために、たとえばマイクロフォンアレイ108を制御して、この場合には50度だけビーム形成の方向を変更することによって、測定された動きを用いてビーム形成が調整される。マイクロフォンアレイ108は、測定されたモバイルプラットフォーム100の動きに基づいてビーム形成の方向を調整することによって、音源Bからの可聴音情報を抑圧し続けるように同様に制御されてもよい。言い換えれば、現在の音源の方向にビーム形成を行い続けることができるように、測定されたモバイルプラットフォームの動きに基づいて方向性マスク動作が調整される。したがって、ユーザは、動くモバイルプラットフォームによる電話またはテレビ電話の会話において、異なる場所にいる可能性のある複数の人(または、他の音源)を含めることができ、また不要な音源を抑圧することができる。
【００１９】
さらに、テレビ電話の会話中には、ユーザとともに所望の音源の画像が表示されて送信されることが望ましい場合がある。モバイルプラットフォーム100は、そのモバイルプラットフォーム100を保持しているユーザに対しては比較的動かない可能性がある一方、ユーザの動きは、モバイルプラットフォーム100が他の音源に対して動く原因となり得る。そのため、他の音源の画像は揺れる可能性があり、または、ユーザの十分な動きによって、カメラが他の音源からパンする可能性がある。したがって、カメラ116は、カメラ116を制御して、示された音源の方向からの映像または画像を取り込み、また決定された動きを用いて、モバイルプラットフォームが動いた後、音源の方向における画像または映像を取り込み続けるようにカメラの制御を調整することによって、たとえば方位センサ110からの測定された動きを用いてモバイルプラットフォーム100の動きに対する補償を行うように制御されてもよい。
【００２０】
カメラ116は、調整された方向に向けて、モバイルプラットフォームの動きの後、音源の映像または画像を取り込み続けるために、たとえばカメラ116のPTZ(パン、チルト、ズーム)を調整することによって制御されてもよい。図7は、音源Aおよび音源Bを含む、カメラ116の全視野302を例として示す。しかし、点線で示されているように、全視野302のうちの切取り部分304だけがモバイルプラットフォーム100によって表示される。言い換えれば、全視野302は、テレビ電話の会話中に音源Aが切取り部分304に表示され得るように切り取られる。モバイルプラットフォーム100が動かされ、それが方位センサ110によって検出されると、その動きに対する補償を行うために、矢印306で示されているように切取り部分304が全視野302の中で動かされる。したがって、たとえばモバイルプラットフォーム100が右に2度だけ回転させられると、切取り部分304は、音源Aが画像に残るように左に2度シフトされる。当然ながら、切取り部分304のシフトは、水平だけでなく垂直であってもよい。
【００２１】
さらに、マイクロフォンアレイ108は、電話またはテレビ電話型の用途以外の用途に用いられる、特定方向からの可聴音情報を拾うために用いられてもよい。たとえば、可聴音情報は、記録および記憶されるだけでもよい。あるいは、可聴音情報は、たとえば、モバイルプラットフォーム100自体によって、または、可聴音情報をトランシーバ112を介してサーバなどの別のデバイスに送信することによって、リアルタイムまたはほぼリアルタイムに翻訳されてもよく、別のデバイスの場合には、可聴音情報は、翻訳されてモバイルプラットフォーム100に再度送信され、Mobile Technologies, LLCによるJibbigoなどのトランシーバ112によって受信される。
【００２２】
図8は、方位センサからのデータに基づいてモバイルプラットフォームが動く間に、音源の方向に連続的にビーム形成を行うことが可能なモバイルプラットフォーム100のブロック図である。モバイルプラットフォーム100は、複数の圧電性の微小電気機械システム(MEMS)型のマイクロフォンを含み得るマイクロフォンアレイ108などの、受信された音響信号に応じてマルチチャネル信号を生成するための手段を含む。さらに、モバイルプラットフォーム100は、3軸ジャイロスコープおよび/またはデジタルコンパスに結合され得る3軸加速度計でもよい方位センサ110などの、モバイルプラットフォームの動きを決定するための手段を含む。モバイルプラットフォーム100は、固定されたノイズ源から生成された到達基準角を用いて動きを代替的または付加的に決定してもよい。さらに、モバイルプラットフォーム100は、たとえばアンテナ172を介してセルラータワーに通信情報を送り、かつセルラータワーから通信情報を受信することが可能なセルラーモデム、または、アンテナ172を介してワイヤレスアクセスポイントに通信情報を送り、かつワイヤレスアクセスポイントから通信情報を受信することが可能なワイヤレスネットワーク無線レシーバ/トランスミッタのワイヤレストランシーバ112を含むことができる。また、モバイルプラットフォームは、1つまたは複数のカメラ114、116を含むことができる。
【００２３】
さらに、モバイルプラットフォーム100は、たとえばスピーカ104、ラウドスピーカ106Lおよび106R、ならびに、LCD(液晶ディスプレイ)技術またはLPD(発光ポリマーディスプレイ)技術などでもよいディスプレイ102を含むとともに、静電容量式または抵抗式のタッチセンサなどの、ディスプレイのタッチを検出するための手段を含み得るユーザインターフェース160を含む。ユーザインターフェース160は、キーパッド162、または、ユーザがモバイルプラットフォーム100に情報を入力することのできる他の入力デバイスをさらに含み得る。必要に応じて、タッチセンサを有するディスプレイ102に仮想キーパッドを組み込むことによって、キーパッド162を除くことができる。また、ユーザインターフェース160は、図1に示されているマイクロフォン108Bなどの、マイクロフォンアレイ108における1つまたは複数のマイクロフォンを含む。さらに、方位センサ110は、モバイルプラットフォーム100の動きの形態であるジェスチャを検出することによって、ユーザインターフェース160の一部として用いられてもよい。モバイルプラットフォーム100は、たとえばユーザがモバイルプラットフォーム100を音源の方に向ける際の方位センサ、または、タッチスクリーンディスプレイ102上のグラフィカルユーザインターフェースでもよい、モバイルプラットフォームに対する音源の方向を示すための手段を含む。
【００２４】
モバイルプラットフォーム100は、方位センサ110からのデータを受け入れて処理するために接続されている制御部150、マイクロフォンアレイ108、トランシーバ112、カメラ114および116、ならびにユーザインターフェース160を含む。また、制御部150は、マイクロフォンアレイ108を含むデバイスの動作を制御し、それにより、ビーム形成を行い、また、方位センサによって検出された動きを用いてビーム形成を調整し、モバイルプラットフォームが音源に対して動いた後、その音源の方向にビーム形成を行い続けるための手段として働く。制御部150は、プロセッサ152および関連するメモリ154、ハードウェア156、ソフトウェア158、ならびにファームウェア157によって提供されてもよい。制御部150は、マイクロフォンアレイコントローラ192として示されている、ビーム形成を行うための手段と、方位センサコントローラ194として示されている、モバイルプラットフォームの動きを測定するための手段とを含む。固定されたノイズ源から生成された到達基準角に基づいて動きが決定される場合には、マイクロフォンアレイコントローラ192が用いられて動きを決定してもよい。マイクロフォンアレイコントローラ192および方位センサコントローラ194は、プロセッサ152、ハードウェア156、ファームウェア157、またはソフトウェア158、すなわちメモリ154に記憶され、プロセッサ152によって実行されるコンピュータ可読媒体、あるいは、それらの組合せの中に埋め込まれてもよいが、説明を簡単にするために別々に示されている。
【００２５】
本明細書では、プロセッサ152は、1つまたは複数のマイクロプロセッサ、組込み型プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得るが、必ずしもそれらを含む必要がないことが理解されよう。「プロセッサ」という用語は、特定のハードウェアではなく、システムによって実装される機能を説明するように考えられている。さらに、本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォームに関連する他のメモリを含む任意の種類のコンピュータ記憶媒体を指し、メモリのいかなる特定の種類、またはメモリの数、あるいはメモリ内容が記憶される媒体の種類に限定されない。
【００２６】
本明細書で説明される方法は、用途に応じて様々な手段によって実装され得る。たとえば、これらの方法は、ハードウェア156、ファームウェア157、ソフトウェア158、またはそれらの任意の組合せで実装されてもよい。ハードウェアの実装形態の場合、処理部は、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明される機能を実行するように設計された他の電子ユニット、あるいはそれらの組合せの中に実装されてもよい。
【００２７】
ファームウェアおよび/またはソフトウェアの実装形態の場合、これらの方法は、本明細書で説明される機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。本明細書で説明される方法を実施する際に、命令を有形に具現化する任意の機械可読媒体が用いられてもよい。たとえば、ソフトウェアコードがメモリ154に記憶され、プロセッサ152によって実行されてもよい。メモリは、プロセッサ部の中に実装されてもよく、またはプロセッサ部の外部に実装されてもよい。本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリのいずれかの種類を指し、メモリのいかなる特定の種類、またはメモリの数、あるいはメモリ内容が記憶される媒体の種類に限定されない。
【００２８】
たとえば、ソフトウェア158は、メモリ154に記憶され、プロセッサ152によって実行されるプログラムコードを含むことができ、またプロセッサを動作させて本明細書で説明されたようなモバイルプラットフォーム100の動作を制御するために用いられてもよい。メモリ154などのコンピュータ可読媒体に記憶されるプログラムコードは、ユーザ入力に応じて音源の方向を特定するためのプログラムコードと、音源の方向におけるマイクロフォンアレイによって受信された可聴音情報を増幅または抑圧するためにビーム形成を行うためのプログラムコードと、マイクロフォンアレイの動きを決定するためのプログラムコードと、決定された動きを用いてビーム形成を調整して、マイクロフォンアレイが音源に対して動いた後、その音源の方向にビーム形成を行い続けるためのプログラムコードとを含み得る。さらに、コンピュータ可読媒体に記憶されるプログラムコードは、プロセッサに、本明細書で説明されたモバイルプラットフォーム100の任意の動作を制御させるためのプログラムコードを含み得る。
【００２９】
ファームウェアおよび/またはソフトウェアで実装される場合、機能は、コンピュータ可読媒体上に1つもしくは複数の命令またはコードとして記憶されてもよい。この例には、データ構造によって符号化されたコンピュータ可読媒体、および、コンピュータプログラムによって符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含み、一時的な伝播信号を指すものではない。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体でもよい。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは、所望のプログラムコードを命令またはデータ構造の形で記憶するのに使用することができ、かつコンピュータからアクセスすることのできる任意の他の媒体を含むことができ、本明細書で使用されるディスク(diskおよびdisc)には、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フレキシブルディスク、およびブルーレイディスクが含まれ、このうちディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００３０】
説明のために本発明を特定の実施形態に関連して例示したが、本発明はそれらの実施形態に限定されない。本発明の範囲から逸脱せずに様々な適合および変更がなされてもよい。したがって、添付の特許請求の範囲における趣旨および範囲は、上記の説明に限定されるべきではない。
【符号の説明】
【００３１】
100  モバイルプラットフォーム
102  ディスプレイ
108  マイクロフォンアレイ
110  方位センサ
112  ワイヤレストランシーバ
114  カメラ
116  カメラ
160  ユーザインターフェース
192  マイクロフォンアレイコントローラ
260  グラフィカルユーザインターフェース
302  全視野
304  切取り部分
【図１Ａ】
2015167408.tif 000003
【図１Ｂ】
2015167408.tif 000004
【図２Ａ】
2015167408.tif 000005
【図２Ｂ】
2015167408.tif 000006
【図２Ｃ】
2015167408.tif 000007
【図３】
2015167408.tif 000008
【図４Ａ】
2015167408.tif 000009
【図４Ｂ】
2015167408.tif 000010
【図４Ｃ】
2015167408.tif 000011
【図５】
2015167408.tif 000012
【図６】
2015167408.tif 000013
【図７】
2015167408.tif 000014
【図８】
2015167408.tif 000015
【外国語明細書】
2015167408000001.pdf