(57)【要約】【課題】テレビの視聴者、騒がしい環境の作業者、又はＡＲ／ＶＲシステムのユーザに取り付けられた小さい光センサの方向出力に基づいて、スピーカアレイ又はマイクロフォンアレイを誘導する方法を提供する。【解決手段】ライトプロジェクタが天井に配置され、ピクセルごとに異なる順次オン／オフ信号を送出する。２つの光センサが各スピーカアレイ又はマイクロフォンアレイに取り付けられ、１又は複数の光センサが各ユーザに取り付けられる。各プロジェクタピクセルは特定の方向に対応するので、光センサがプロジェクタから順次信号を受信すると、光センサはプロジェクタに対応するその方向を特定し、それを中央局に報告することができる。スピーカ／マイクロフォンアレイの方向及びユーザの方向が知られると、システムは異なるスピーカ信号のための適切な位相シフトを生成し、個人ごとに指向性のある音声を生成することができる。同様に、中央局は、異なるマイクロフォンからの音声を組み合わせるための位相シフトを決定することができる。【選択図】図５
2020010329.tif 000002
【特許請求の範囲】
【請求項１】
ａ．時間的プロジェクタ光信号を投影するように構成されたプロジェクタであって、前記時間的プロジェクタ光信号が、前記プロジェクタのピクセルごとに、前記プロジェクタの各ピクセルのピクセル座標を含む情報セグメントとともに符号化される、プロジェクタと、
ｂ．コンピュータに動作可能に結合された少なくとも１つの光センサであって、前記光センサが、前記時間的プロジェクタ光信号を検出し、センサ信号を生成するように構成され、前記コンピュータが、前記光センサからセンサ信号を受信して、前記検出された時間的プロジェクタ光信号に基づいて方向情報を計算し、前記計算された方向情報に基づいて複数のマイクロフォン又は複数のスピーカを誘導するように構成される、光センサと、
を備える、システム。
【請求項２】
前記コンピュータが、前記検出された時間的プロジェクタ光信号に基づいて前記方向情報を定期的に再計算するようにさらに構成される、請求項１に記載のシステム。
【請求項３】
前記計算された方向情報が、前記複数のマイクロフォンに対するユーザの方向を含む、請求項１に記載のシステム。
【請求項４】
前記計算された方向情報が、前記複数のスピーカに対するユーザの方向を含む、請求項１に記載のシステム。
【請求項５】
前記計算された方向情報が、複数のビデオストリームを表示する複数のビデオモニタに対するユーザの頭部の方向を含み、前記ユーザの前記頭部が前記複数のビデオモニタのうちの第１のビデオモニタに向いていると判断されると、前記コンピュータが、前記複数のスピーカを使用して、前記複数のビデオストリームのうちの前記第１のビデオモニタに表示されたビデオストリームに対応するオーディオストリームを前記ユーザの方向に導くように構成される、請求項１に記載のシステム。
【請求項６】
前記計算された方向情報が部屋の中の各ユーザの方向を含み、前記コンピュータが、前記複数のスピーカを使用して、ユーザごとに特定のパラメータを有するオーディオストリームを各ユーザの方向に導くように構成される、請求項１に記載のシステム。
【請求項７】
前記特定のパラメータが音響レベルを含む、請求項６に記載のシステム。
【請求項８】
前記少なくとも１つの光センサが各ユーザに配置されている、請求項６に記載のシステム。
【請求項９】
前記計算された方向情報が部屋の中のユーザの方向を含み、前記コンピュータが、複数のマイクロフォンを前記ユーザに向けるように構成される、請求項１に記載のシステム。
【請求項１０】
前記複数のマイクロフォン又は前記複数のスピーカが、位相シフトを使用して操作される、請求項１に記載のシステム。
【請求項１１】
ａ．時間的プロジェクタ光信号を投影するためにプロジェクタを使用し、前記時間的プロジェクタ光信号が、前記プロジェクタのピクセルごとに、前記プロジェクタの各ピクセルのピクセル座標を含む情報セグメントとともに符号化され、
ｂ．コンピュータに動作可能に結合された光センサを使用して前記時間的プロジェクタ光信号を検出し、対応するセンサ信号を生成し、
ｃ．前記コンピュータを使用して、前記センサ信号を受信し、前記検出された時間的プロジェクタ光信号に基づいて方向情報を計算し、前記計算された方向情報に基づいて複数のマイクロフォン又は複数のスピーカを誘導すること
を含む、方法。
【請求項１２】
前記コンピュータが、前記検出された時間的プロジェクタ光信号に基づいて前記方向情報を定期的に再計算するようにさらに構成される、請求項１１に記載の方法。
【請求項１３】
前記計算された方向情報が、前記複数のマイクロフォンに対するユーザの方向を含む、請求項１１に記載の方法。
【請求項１４】
前記計算された方向情報が、前記複数のスピーカに対するユーザの方向を含む、請求項１１に記載の方法。
【請求項１５】
前記計算された方向情報が、複数のビデオストリームを表示する複数のビデオモニタに対するユーザの頭部の方向を含み、前記ユーザの前記頭部が前記複数のビデオモニタのうちの第１のビデオモニタに向いていると判断されると、前記コンピュータが、前記複数のスピーカを使用して、前記複数のビデオストリームのうちの前記第１のビデオモニタに表示されたビデオストリームに対応するオーディオストリームを前記ユーザの方向に導くように構成される、請求項１１に記載の方法。
【請求項１６】
前記計算された方向情報が部屋の中の各ユーザへの方向を含み、前記コンピュータが、前記複数のスピーカを使用して、ユーザごとに特定のパラメータを有するオーディオストリームを各ユーザの方向に導くように構成される、請求項１１に記載の方法。
【請求項１７】
前記特定のパラメータが音響レベルを含む、請求項１６に記載の方法。
【請求項１８】
少なくとも１つの光センサが各ユーザに配置されている、請求項１６に記載の方法。
【請求項１９】
前記計算された方向情報が部屋の中のユーザの方向を含み、前記コンピュータが、複数のマイクロフォンを前記ユーザに向けるように構成される、請求項１１に記載の方法。
【請求項２０】
前記複数のマイクロフォン又は前記複数のスピーカが、位相シフトを使用して操作される、請求項１１に記載の方法。
【請求項２１】
ａ．時間的プロジェクタ光信号を投影するためにプロジェクタを使用し、前記時間的プロジェクタ光信号が、前記プロジェクタのピクセルごとに、前記プロジェクタの各ピクセルのピクセル座標を含む情報セグメントとともに符号化され、
ｂ．コンピュータに動作可能に結合された光センサを使用して前記時間的プロジェクタ光信号を検出し、対応するセンサ信号を生成し、
ｃ．前記コンピュータを使用して、前記センサ信号を受信し、前記検出された時間的プロジェクタ光信号に基づいて方向情報を計算し、前記計算された方向情報に基づいて複数のマイクロフォン又は複数のスピーカを誘導すること
を含む、方法をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示される実施形態は、全体として音響システムに関し、より詳細には、符号化された光線を用いてスピーカアレイ及びマイクロフォンアレイを誘導するシステム、方法、及びプログラムに関する。
【背景技術】
【０００２】
テレビの視聴者が他の家族を邪魔することなく番組を楽しみたい場合や、他のテレビの視聴者が異なる音量レベルを好む場合、従来のヘッドフォン又はイヤホンはいまだにあまり便利ではない。ユビキタスの高品質拡張現実若しくは仮想現実（ＡＲ／ＶＲ）環境、複数の参加者による騒音が大きい環境、又は複数の出席者及び複数のビデオフィードによるハイエンド電話会議環境では、従来の音声キャプチャ手法は、きれいな望ましい音声をキャプチャするには不十分である。同様に、従来の音声生成手法も、実世界環境における人間の体験のような、きれいな指向性音を生成するには不十分である。ＡＲ／ＶＲ環境では、ヘッドセットの方向が適切な音響効果とうまく一致できない場合、結果として、ＡＲ／ＶＲの参加者が混乱したり、不快になったりする場合がある。
【０００３】
したがって、従来の音響技術の上述及び他の欠点を考慮して、システムがすべての参加者からより良い音声を拾い、より正確な指向性音響効果の生成を介して各個人により良い音響経験を提供できるように、スピーカアレイ又はマイクロフォンアレイを誘導する、新しい改良されたシステム、方法、及びプログラムが必要とされる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】H. Mizoguchi; Y. Tamai; K. Shinoda; S. Kagami; K. Nagashima, Invisible messenger: visually steerable sound beam forming system based on face tracking and speaker array, IEEE IROS2004, 日本国仙台
【非特許文献２】T. F. Bergli, Speaker Tracking Based on Face Detection and Voice Activity Detection Using a Microphone Array, IEEE PIN (Indoor Positioning and indoor Navigation) ２０１４年, 韓国釜山
【非特許文献２】Wikipedia, HTC Vive, https://en.wikipedia.org/wiki/HTC Vive
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書に記載された実施形態は、従来の音響システム及び方法に関連付けられた上述及び他の問題のうちの１又は複数を実質的に回避するシステム、方法、及びプログラムに関する。本発明は、テレビの視聴者、騒がしい環境の作業者、又はＡＲ／ＶＲシステムのユーザに取り付けられた小さい光センサの方向出力に基づいて、スピーカアレイ又はマイクロフォンアレイを誘導する方法を提供する。
【課題を解決するための手段】
【０００６】
本明細書に記載された実施形態の一態様によれば、時間的プロジェクタ光信号を投影するように構成されたプロジェクタであって、時間的プロジェクタ光信号が、プロジェクタのピクセルごとに、プロジェクタの各ピクセルのピクセル座標を含む情報セグメントとともに符号化される、プロジェクタと、コンピュータに動作可能に結合された少なくとも１つの光センサであって、時間的プロジェクタ光信号を検出し、センサ信号を生成するように構成される、光センサと、を備え、コンピュータが、光センサからセンサ信号を受信して、検出された時間的プロジェクタ光信号に基づいて方向情報を計算し、計算された方向情報に基づいて複数のマイクロフォン又は複数のスピーカを誘導するように構成される、システムが提供される。
【０００７】
１又は複数の実施形態では、コンピュータは、検出された時間的プロジェクタ光信号に基づいて方向情報を定期的に再計算するようにさらに構成される。
【０００８】
１又は複数の実施形態では、計算された方向情報は、複数のマイクロフォンに対するユーザの方向を含む。
【０００９】
１又は複数の実施形態では、計算された方向情報は、複数のスピーカに対するユーザの方向を含む。
【００１０】
１又は複数の実施形態では、計算された方向情報は、複数のビデオストリームを表示する複数のビデオモニタに対するユーザの頭部の方向を含み、ユーザの頭部が複数のビデオモニタのうちの第１のビデオモニタに向いていると判断されると、コンピュータは、複数のスピーカを使用して、複数のビデオストリームのうちの第１のビデオモニタに表示されたビデオストリームに対応するオーディオストリームをユーザの方向に導くように構成される。
【００１１】
１又は複数の実施形態では、計算された方向情報は部屋の中の各ユーザの方向を含み、コンピュータは、複数のスピーカを使用して、ユーザごとに特定のパラメータを有するオーディオストリームを各ユーザの方向に導くように構成される。
【００１２】
１又は複数の実施形態では、特定のパラメータは音響レベルを含む。
【００１３】
１又は複数の実施形態では、少なくとも１つの光センサが各ユーザに配置されている。
【００１４】
１又は複数の実施形態では、計算された方向情報は部屋の中のユーザの方向を含み、コンピュータは、複数のマイクロフォンをユーザに向けるように構成される。
【００１５】
１又は複数の実施形態では、複数のマイクロフォン又は複数のスピーカは、位相シフトを使用して誘導される。
【００１６】
本明細書に記載された実施形態の別の態様によれば、時間的プロジェクタ光信号を投影するためにプロジェクタを使用し、時間的プロジェクタ光信号が、プロジェクタのピクセルごとに、プロジェクタの各ピクセルのピクセル座標を含む情報セグメントとともに符号化され、コンピュータに動作可能に結合された光センサを使用して時間的プロジェクタ光信号を検出して対応するセンサ信号を生成し、コンピュータを使用してセンサ信号を受信し、検出された時間的プロジェクタ光信号に基づいて方向情報を計算し、計算された方向情報に基づいて複数のマイクロフォン又は複数のスピーカを誘導することを含む、方法が提供される。
【００１７】
１又は複数の実施形態では、コンピュータは、検出された時間的プロジェクタ光信号に基づいて方向情報を定期的に再計算するようにさらに構成される。
【００１８】
１又は複数の実施形態では、計算された方向情報は、複数のマイクロフォンに対するユーザの方向を含む。
【００１９】
１又は複数の実施形態では、計算された方向情報は、複数のスピーカに対するユーザの方向を含む。
【００２０】
１又は複数の実施形態では、計算された方向情報は、複数のビデオストリームを表示する複数のビデオモニタに対するユーザの頭部の方向を含み、ユーザの頭部が複数のビデオモニタのうちの第１のビデオモニタに向いていると判断されると、コンピュータは、複数のスピーカを使用して、複数のビデオストリームのうちの第１のビデオモニタに表示されたビデオストリームに対応するオーディオストリームをユーザの方向に導くように構成される。
【００２１】
１又は複数の実施形態では、計算された方向情報は部屋の中の各ユーザの方向を含み、コンピュータは、複数のスピーカを使用して、ユーザごとに特定のパラメータを有するオーディオストリームを各ユーザの方向に導くように構成される。
【００２２】
１又は複数の実施形態では、特定のパラメータは音響レベルを含む。
【００２３】
１又は複数の実施形態では、少なくとも１つの光センサが各ユーザに配置されている。
【００２４】
１又は複数の実施形態では、計算された方向情報は部屋の中のユーザの方向を含み、コンピュータは、複数のマイクロフォンをユーザに向けるように構成される。
【００２５】
１又は複数の実施形態では、複数のマイクロフォン又は複数のスピーカは、位相シフトを使用して誘導される。
【００２６】
本明細書に記載された実施形態のさらに別の態様によれば、方法を実施する１組の命令を具体化する有形コンピュータ可読媒体が提供され、当該方法は、時間的プロジェクタ光信号を投影するためにプロジェクタを使用し、時間的プロジェクタ光信号が、プロジェクタのピクセルごとに、プロジェクタの各ピクセルのピクセル座標を含む情報セグメントとともに符号化され、コンピュータに動作可能に結合された光センサを使用して時間的プロジェクタ光信号を検出し、対応するセンサ信号を生成し、コンピュータを使用してセンサ信号を受信し、検出された時間的プロジェクタ光信号に基づいて方向情報を計算し、計算された方向情報に基づいて複数のマイクロフォン又は複数のスピーカを誘導することを含む。
【００２７】
本発明に関連するさらなる態様は、以下の説明に部分的に記載され、部分的にはその説明から明らかになるか、又は本発明の実践によって理解されることができる。本発明の態様は、以下の発明を実施するための形態及び添付の特許請求の範囲において特に指摘される要素及び様々な要素と態様の組合せによって実現及び達成されることができる。
【００２８】
上述及び以下の説明は共に例示的かつ説明的なものにすぎず、特許請求される発明又はその用途をいかなる方法でも限定するものではないことを理解されたい。
【００２９】
本明細書に組み込まれ、その一部を構成する添付の図面は、本発明の実施形態を例示し、明細書と共に本発明の技術の原理を説明及び例示するものである。
【図面の簡単な説明】
【００３０】
【図１】複数のビデオフィードが複数のビデオモニタ及び複数の人間の参加者に表示された制御センタの例示的な実施形態を示す図である。
【図２Ａ】プロジェクタによって生成された例示的な時間的符号化光信号を示す図である。
【図２Ｂ】プロジェクタによって生成された例示的な時間的符号化光信号を示す図である。
【図３】スピーカ／マイクロフォンアレイシステムの例示的な実施形態を示す図である。
【図４】スピーカ間又はマイクロフォン間の距離が対応するスピーカアレイ間及びマイクロフォンアレイ間の距離よりもはるかに小さい場合、大きい近似誤差なしに音声が同じ方向から出入りすると見なされてもよいことを示す図である。
【図５】本明細書に記載された本発明の技術を実装するために使用され得るコンピュータシステムの例示的な実施形態を示す図である。
【発明を実施するための形態】
【００３１】
以下の発明を実施するための形態では、添付図面に対して参照が行われ、添付図面では、同一の機能要素は同様の番号で指定されている。前述の添付図面は、限定ではなく例示として、本発明の原理と一致する具体的な実施形態及び実装形態を示す。これらの実装形態は、当業者が本発明を実践することを可能にするように十分詳細に記載され、他の実装形態が利用されてもよいこと、並びに本発明の範囲及び趣旨から逸脱することなく、様々な要素の構造的変更及び置換の少なくとも一方が行われもよいことを理解されたい。したがって、以下の発明を実施するための形態は、限定的な意味で解釈されるべきではない。さらに、記載された本発明の様々な実施形態は、汎用コンピュータ上で動作するソフトウェアの形態、特殊ハードウェアの形態、又はソフトウェアとハードウェアの組合せで実装されてもよい。
【００３２】
本明細書に記載された実施形態の一態様によれば、テレビの視聴者、騒々しい環境の作業者、又はＡＲ／ＶＲシステムのユーザに取り付けられた小さい光センサの方向出力に基づいて、スピーカアレイ又はマイクロフォンアレイを誘導する本発明の技術が提供される。より具体的には、一実施形態では、プロジェクタは部屋の天井に設置され、ピクセルごとに異なる順次オン／オフ信号を送出するように構成される。各スピーカアレイ又はマイクロフォンアレイに取り付けられた２つの光センサ、及び各ユーザに取り付けられた１又は複数の光センサも存在する。各プロジェクタピクセルは特定の方向に対応するので、光センサがプロジェクタから順次信号を受信すると、光センサはプロジェクタに対応するその方向を特定し、この方向情報を中央局に報告することができる。スピーカ／マイクロフォンアレイの方向及びユーザの方向が既知となると、システムは異なるスピーカ信号に適切な位相シフトを与え、個人ごとに指向性のある音声を生成することができる。同様に、中央局は、異なるマイクロフォンからの音声（オーディオ）出力を組み合わせるための位相シフトを決定することができる。マイクロフォンアレイベースの音源位置特定とは異なり、記載された方法は、ブラインド信号源（音源）分離問題がなく、より信頼性が高く正確である。これらの特性は、マイクロフォンアレイに基づいて高品質の音声信号をキャプチャすることに有効である。同様に、それは、テレビの視聴者、又はＡＲ／ＶＲヘッドセットのユーザ、及び他の同様のアプリケーション向けの高品質の指向性スピーカ信号を生成することにも有効である。この構成では、ＡＲ／ＶＲヘッドセットは高品質の音声信号を送受信するよりもはるかに小さい帯域幅で済む。このことは、環境内に多数のヘッドセットが存在するときに重要である。その上、記載された技法は、スピーカ／マイクロフォンアレイの誘導速度を高めることができる。また、記載された技術は、マイクロフォン、スピーカ、及び関連する回路を取り除くことにより、ＡＲ／ＶＲヘッドセットの重量及び電力消費を削減することができる（光センサによって使用される電力は、通話用のマイクロフォン及びイヤホンよりもはるかに小さい）。さらに、ヘッドセットからマイクロフォン及びイヤホンを取り外すことにより、ユーザは、通話中のマイクロフォン又はイヤプラグを装着するよりも自然に感じることができる。
【００３３】
図１は、複数のビデオフィードが複数のビデオモニタ１０１及び複数の人間の参加者１０２に表示された制御センタの例示的な実施形態を示す。このタイプの環境では、視聴覚システムの望ましい動作は以下の通りである。１又は複数のローカルな人間の出席者１０２がモニタ１０１に示された特定のビデオフィードのほうを向くと、彼らはビデオフィードの対応する音声をはっきり聴くことができるはずであり、彼らの音声はビデオフィード内の団体によってはっきり聞かれるはずである。この望ましい動作モードは既存の技術ではまだ実現することができない。
【００３４】
この状況では、すべてのビデオフィードを一様に増幅すると、制御センタが非常に騒々しくなり、すべての参加者の体験を傷つける可能性がある。たとえば、『Ｈ．Ｍｉｚｏｇｕｃｈｉ、Ｙ．Ｔａｍａｉ、Ｋ．Ｓｈｉｎｏｄａ、Ｓ．Ｋａｇａｍｉ、Ｋ．Ｎａｇａｓｈｉｍａ、Ｉｎｖｉｓｉｂｌｅ  ｍｅｓｓｅｎｇｅｒ：ｖｉｓｕａｌｌｙ  ｓｔｅｅｒａｂｌｅ  ｓｏｕｎｄ  ｂｅａｍ  ｆｏｒｍｉｎｇ  ｓｙｓｔｅｍ  ｂａｓｅｄ  ｏｎ  ｆａｃｅ  ｔｒａｃｋｉｎｇ  ａｎｄ  ｓｐｅａｋｅｒ  ａｒｒａｙ（見えないメッセンジャー：顔追跡及びスピーカアレイに基づく視覚的誘導可能な音焦点形成システム）、ＩＥＥＥ  ＩＲＯＳ２００４、仙台、日本』に記載されているように、複数のスピーカアレイを誘導するために顔検出が使用される場合、ビデオフィード間のクロストークはある程度まで減少する可能性がある。しかしながら、ローカルな人間の参加者は、どの方向を向いていてもすべてのビデオフィードが聞こえるため、やはり騒々しい状況に陥る可能性がある。言うまでもなく、これはローカルな参加者にとって自然な感情ではない。一方、『Ｔ．Ｆ．Ｂｅｒｇｈ、Ｓｐｅａｋｅｒ  Ｔｒａｃｋｉｎｇ  Ｂａｓｅｄ  ｏｎ  Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｖｏｉｃｅ  Ａｃｔｉｖｉｔｙ  Ｄｅｔｅｃｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｍｉｃｒｏｐｈｏｎｅ  Ａｒｒａｙ（マイクロフォンアレイを使用した顔検出及び音声活動検出に基づく話者追跡）、ＩＥＥＥ  ＩＰＩＮ（Ｉｎｄｏｏｒ  Ｐｏｓｉｔｉｏｎｉｎｇ  ａｎｄ  Ｉｎｄｏｏｒ  Ｎａｖｉｇａｔｉｏｎ）２０１４年、釜山、韓国』に記載された最先端のマイクロフォンアレイシステムが、参加者の位置を特定するために使用される場合、これらのローカルな参加者は、良好な音源位置検出のために彼らはかなり声を張り上げなければならない。ローカルな参加者はすべてのビデオフィードのラウドスピーカと張り合わなければならないので、マイクロフォンアレイの「注意」を得ることは非常に困難な作業である。
【００３５】
当業者なら理解されるように、人間の声は接話マイクロフォンで拾われてもよい。個人への明瞭な音声は、個人用のイヤプラグを通して送ることができる。しかしながら、高品質のＢｌｕｅｔｏｏｔｈ（登録商標）マイクロフォン及びヘッドセットが多すぎると高価になり、ネットワークトラフィックのために音声品質が低下する可能性がある。イヤプラグを長時間使用すると、ローカルな参加者の聴力が低下する可能性もある。公共空間での個人用のマイクロフォン又はイヤプラグの代わりになるのが、ソフトウェアで操作可能なスピーカアレイ及びマイクロフォンアレイである。ソフトウェアで誘導可能なスピーカアレイ及びマイクロフォンアレイ、並びに適切な出席者検出手法を用いて、システムは、ビームフォーミング技術を使用して音声を分離及び増幅することができ、その結果、その性能は前の段落に記載された望ましい動作モードに近づくことができる。
【００３６】
従来のマイクロフォンアレイ手法は、マイクロフォンアレイを使用して音源を検出し、ブラインド音源分離を行い、より良い音声をキャプチャするために特定の音源にマイクロフォンアレイを誘導する。この手法では、音源の数がマイクロフォンの数より多いとき、すべての音源を特定する簡単な方法はない。騒音が大きい環境では、音源の方向を特定することも難しく、信頼性がない。これらの信頼性がない音源推定により、ビームフォーミング結果が低下する可能性がある。さらに、マイクロフォンアレイベースの音源位置特定及びビームフォーミングアルゴリズムは、現在のビームフォーミング方向を推定するために過去の音声信号を使用しなければならない。この手法は、マイクロフォンアレイを誘導して移動する音源を追跡することに適していない。さらに、スピーカアレイ用途の場合、ユーザの正確な位置を検出するために生成されるユーザ音声が存在しない。
【００３７】
上述及び他の問題を克服するために、記載されたシステムの一実施形態は、各々のスピーカアレイ、マイクロフォンアレイ、及びユーザに取り付けられた複数のミニ光センサと一緒に、部屋の天井に取り付けられた赤外線（ＩＲ）ライトプロジェクタを配置する。この構成では、空間全体が、異なるプロジェクタピクセルに対応する立体角に基づいて区分化される。各プロジェクタピクセルは、固有のデジタルシーケンシャルコードで変調される。
【００３８】
図２Ａ及び図２Ｂは、プロジェクタ２００によって生成された２つの例示的な時間的符号化光信号２０１及び２０５を示す。一実施形態では、プロジェクタ２００は、当業者によく知られているＤＬＰプロジェクタである。時間的光信号２０１及び２０５は、プロジェクタ２００の２つの異なるピクセル２０３及び２０７に対応する。方向２０２に伝搬する時間的光信号２０１は、時間的光パルスの対応する第１の一意シーケンスを使用して、第１のプロジェクタピクセル２０３の一意の位置情報で符号化される。一方、方向２０６に伝播する時間的光信号２０５は、時間的光パルスの対応する第２の一意シーケンスを使用して、第２のプロジェクタピクセル２０７の一意の位置情報で符号化される。図２Ａ及び図２Ｂでは、プロジェクタピクセル２０３及び２０７は、対応する投影により、仮想投影面２０４上に示されている。光パルスの前述の第１及び第２のシーケンスは異なり、それぞれのプロジェクタピクセルに関する情報を搬送する。
【００３９】
当業者なら理解されるように、光信号に埋め込まれたコードと立体角との間の対応関係はあらかじめ定義されているので、システムは、光センサ受信コードを使用して、光源に向かうその方向を容易に特定することができる。このようにして、システムは、ユーザの位置並びにスピーカアレイ又はマイクロフォンアレイの方向を特定することができる。ユーザ／スピーカアレイ／マイクロフォンアレイの関係は、次いで、スピーカアレイ及びマイクロフォンアレイを誘導するために使用することができる。現在の技術では、光センサは０．１ｍｍ×０．１ｍｍ程度に小さくすることができるので、小型の光センサは、通話用のマイクロフォン及びイヤプラグよりも携帯性が高い。さらに、ユーザ位置変更周波数は音声周波数よりもはるかに低いので、位置データ送信のＢｌｕｅｔｏｏｔｈ（登録商標）／ＷＩＦＩ帯域幅消費は、高品質音声信号を送信するよりもはるかに低い。これにより、ウェアラブルセンサのより多くの電力及び帯域幅を節約することができる。
【００４０】
別の例では、ある人が他の家族を邪魔することなく自宅でテレビを視たいと思う。記載された構成では、ユーザに配置された光センサは、受信した方向信号を復号し、他の家族又はユーザ自身の聴力に影響を与えることなく、その情報を使用して高品質の音声のためにスピーカアレイをシステムに誘導させることができる。聴力が異なる家族のために、異なる光センサを装着する人々に異なる音量を提供することも可能である。スピーカアレイは光センサの方向に基づいて誘導することができるので、テレビユーザ又は家族は、テレビの前を自由に移動しても、個人別の音量を受信することができる。光センサは７０Ｈｚ以上の周波数で追跡することができるので、ユーザの動きが個人別の音声ビームフォーミングに影響を与えることはない。
【００４１】
図３は、スピーカ／マイクロフォンアレイシステムの例示的実施形態を示す。話しているユーザ３０２の間又はマイクロフォン３０１の間の距離が、対応する話しているユーザとマイクロフォンアレイとの間の距離Ｄよりもはるかに小さいとき、音声は大きな近似誤差なしに同じ方向から出入りすると見なされてもよい。図４を参照されたい。２つのマイクロフォン３０１の間又は２つのスピーカ４０１の間の距離をｄとすると、２つのマイクロフォン３０１又は２つのスピーカ４０１の間の音声の移動距離の差ｓは、以下の式によって決定される：
【００４２】
【数１】
2020010329.tif 000003
【００４３】
この距離ｓは、当業者によく知られているように、対応する位相シフトを計算するために使用することができる。１又は複数の実施形態では、このパラメータは、上述された方式でのマイクロフォンアレイ又はスピーカアレイのビームフォーミングに使用することができる。
コンピュータシステムの例示的な実施形態
【００４４】
図５は、本明細書に記載された技術を実装するために使用され得るコンピュータシステム５００の例示的な実施形態を示す。１又は複数の実施形態では、コンピュータ５００は、当業者によく知られているモバイルコンピューティング装置のフォームファクタ内で実装されてもよい。代替的実施形態では、コンピュータ５００は、ラップトップコンピュータ又はノートブックコンピュータに基づいて実装されてもよい。さらに代替的実施形態では、コンピュータ５００は、専用のコンピューティングシステムであってもよい。
【００４５】
コンピュータ５００は、コンピュータ５００の様々なハードウェア構成要素間に亘ってそれらの間で情報を通信するためのデータバス５０４又は他の相互接続若しくは通信機構、並びに情報を処理するためにデータバス５０４と結合され、他の計算及び制御タスクを実行する中央処理装置（ＣＰＵ又は単にプロセッサ）５０１を含んでいてよい。コンピュータ５００はまた、様々な情報並びにプロセッサ５０１によって実行されるべき命令を記憶するためにデータバス５０４に結合された、ランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶装置などのメモリ５１２を含む。メモリ５１２はまた、磁気ディスク、光ディスク、半導体フラッシュメモリデバイス、又は他の不揮発性半導体記憶装置などの永続的記憶装置を含んでいてよい。
【００４６】
１又は複数の実施形態では、メモリ５１２はまた、プロセッサ５０１による命令の実行中に一時変数又は他の中間情報を記憶するために使用されてもよい。所望により、コンピュータ５００は、コンピュータ５００の動作に必要なファームウェア、基本入出力システム（ＢＩＯＳ）、並びにコンピュータ５００の様々な構成パラメータなどの、静的情報及びプロセッサ５０１用の命令を記憶するための、データバス５０４に結合された読取り専用メモリ（ＲＯＭ若しくはＥＰＲＯＭ）５０２又は他の静的記憶装置をさらに含んでもよい。
【００４７】
１又は複数の実施形態では、コンピュータ５００は、プロジェクタ２００によって生成された符号化光信号を検出するための２つ以上の光度センサ５０９及び５１０をさらに組み込んでもよい。一実施形態では、光度センサ５０９及び５１０は、高周波位置検出を実現するために速い応答時間を有する。加えて、コンピュータ５００は、音声信号を生成するための複数のサウンドプロセッサ５０６、並びに音声を拾うための複数のマイクロフォン５１１を組み込んでもよい。
【００４８】
１又は複数の実施形態では、コンピュータ５００は、データバス５０４に結合されたネットワークインターフェース５０５などの通信インターフェースをさらに含んでもよい。ネットワークインターフェース５０５は、ＷＩＦＩインターフェース５０７及びセルラネットワーク（ＧＳＭ（登録商標）又はＣＤＭＡ）アダプタ５０８のうちの少なくとも１つを使用して、コンピュータ５００とインターネット５２４との間の接続を確立するように構成されてもよい。ネットワークインターフェース５０５は、コンピュータ５００とインターネット５２４との間の双方向データ通信を実現するように構成されてもよい。ＷＩＦＩインターフェース５０７は、当業者によく知られている８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、及び８０２．１１ｎプロトコルの少なくとも一つ、並びにＢｌｕｅｔｏｏｔｈ（登録商標）プロトコルに従って動作することができる。例示的な実装形態では、ＷＩＦＩインターフェース５０７及びセルラネットワーク（ＧＳＭ（登録商標）又はＣＤＭＡ）アダプタ５０８は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号又は電磁気信号を送受信する。
【００４９】
１又は複数の実施形態では、インターネット５２４は、通常、１又は複数のサブネットワークを介して他のネットワークリソースへのデータ通信を提供する。したがって、コンピュータ５００は、リモートメディアサーバ、ウェブサーバ、他のコンテンツサーバ、並びに他のネットワークデータストレージリソースなどの、インターネット５２４上の任意の場所に位置する様々なネットワークリソースにアクセスすることが可能である。１又は複数の実施形態では、コンピュータ５００は、ネットワークインターフェース５０５により、インターネット５２４を含む様々なネットワークを介して、メッセージ、メディア、及びアプリケーションプログラムコードを含む他のデータを送受信するように構成される。インターネットの例では、コンピュータ５００がネットワーククライアントとして機能するとき、コンピュータ５００は、コンピュータ５００内で実行されているアプリケーションプログラムのためのコード又はデータを要求することができる。同様に、コンピュータ５００は、様々なデータ又はコンピュータコードを他のネットワークリソースに送信することができる。
【００５０】
１又は複数の実施形態では、本明細書に記載された機能は、メモリ５１２に含まれる１又は複数の命令の１又は複数のシーケンスを実行するプロセッサ５０１に応答して、コンピュータ５００によって実施される。このような命令は、別のコンピュータ可読媒体からメモリ５１２に読み込まれてもよい。メモリ５１２に含まれる命令のシーケンスを実行すると、本明細書に記載された様々なプロセス工程をプロセッサ５０１に実行させる。代替的実施形態では、本発明の実施形態を実装するために、ソフトウェア命令の代わりに又はそれと組み合わせて、ハードウェア組み込み回路が使用されてもよい。したがって、本発明の実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組合せにも限定されない。
【００５１】
本明細書で使用される「コンピュータ可読媒体」という用語は、実行のためにプロセッサ５０１に命令を提供することに関与する任意の媒体を指す。コンピュータ可読媒体は機械可読媒体のほんの一例であり、機械可読媒体は、本明細書に記載された方法及び技術のうちの少なくともいずれかを実装するための命令を搬送することができる。このような媒体は、不揮発性媒体及び揮発性媒体を含むがそれらに限定されない、多くの形態を取ることができる。
【００５２】
一般的な形態の非一時的コンピュータ可読媒体には、たとえば、フロッピーディスク（登録商標）、フレキシブルディスク、ハードディスク、磁気テープ、若しくは任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、任意の他のメモリチップ若しくはメモリカートリッジ、又はコンピュータが読み取ることができる任意の他の媒体が含まれる。様々な形態のコンピュータ可読媒体は、実行のためにプロセッサ５０１に１又は複数の命令の１又は複数のシーケンスを搬送することに関与してもよい。たとえば、命令は、最初はリモートコンピュータから磁気ディスク上に搬送されてもよい。あるいは、リモートコンピュータがその動的メモリに命令をロードし、インターネット５２４を介して命令を送信してもよい。具体的には、コンピュータ命令は、当技術分野でよく知られている様々なネットワークデータ通信プロトコルを使用して、インターネット５２４を介して、前述のリモートコンピュータからコンピュータ５００のメモリ５１２にダウンロードされてもよい。
【００５３】
１又は複数の実施形態では、コンピュータ５００のメモリ５１２は、以下のソフトウェアプログラム、アプリケーション、及び／又はモジュールのうちのいずれかを記憶することができる。
【００５４】
１．基本的なシステムサービスを実施し、コンピュータ５００の様々なハードウェア構成要素を管理するためのモバイルオペレーティングシステムであってもよい、オペレーティングシステム（ＯＳ）５１３。オペレーティングシステム５１３の例示的な実施形態は当業者によく知られており、現在知られている又は今後開発される任意のモバイルオペレーティングシステムを含んでもよい。さらに、ネットワークインターフェース５０５を使用してネットワーク通信を可能にするためのネットワーク通信モジュール５１４が提供されてもよい。
【００５５】
２．ソフトウェアモジュール５１５は、たとえば、コンピュータ５００のプロセッサ５０１によって実行される１組のソフトウェアモジュールを含んでもよく、それらは、サウンド制御モジュール５１６を使用するサウンドプロセッサ５０６を使用して音声を生成すること、マイクロフォン制御モジュール５１７の制御下でマイクロフォン５１１を使用して音声を記録することなどのいくつかの所定の機能をコンピュータ５００に実行させる。
【００５６】
３．データストレージ５１８が、たとえば、様々なパラメータ及び閾値５１９を記憶するために使用されてもよい。
【００５７】
最後に、本明細書に記載されたプロセス及び技法は、いかなる特定の装置にも本質的に関連しておらず、構成要素の任意の適切な組合せによって実施されてもよいことを理解されたい。さらに、本明細書に記載された教示に従って、様々なタイプの汎用装置が使用されてもよい。本明細書に記載された方法工程を実行するために、特殊な装置を構築することも有利であることが証明され得る。特定の例に関して本発明が記載されたが、それらはあらゆる点で限定的ではなく例示的であることが意図されている。当業者は、ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組合せが本発明を実践することに適していることを理解するであろう。たとえば、記載されたソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ−Ｃ（登録商標）、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、並びに現在知られている又は今後開発されるプログラミング言語又はスクリプト言語などの多種多様なプログラミング言語又はスクリプト言語で実装されてもよい。
【００５８】
その上、本発明の他の実装形態は、本明細書の考察及び本明細書に開示された本発明の実践から当業者に明らかであろう。記載された実施形態の様々な態様及び／又は構成要素は、音響システム及び方法において単独又は任意の組合せで使用されてもよい。明細書及び例は例示としてのみ考慮されることを意図しており、本発明の真の範囲及び趣旨は、以下の特許請求の範囲によって示される。
【図１】
2020010329.tif 000004
【図２Ａ】
2020010329.tif 000005
【図２Ｂ】
2020010329.tif 000006
【図３】
2020010329.tif 000007
【図４】
2020010329.tif 000008
【図５】
2020010329.tif 000009