(57)【要約】      （修正有）【課題】ユーザーが効果的にオーディオイベントを聴取できる、車載ジェスチャ相互作用空間オーディオシステムを提供する。【解決手段】ジェスチャに基づいてオーディオパラメータを変更する方法において、ユーザの手に関連付けられたセンサデータを取得すること９１０と、少なくとも１つの手位置を判定するためにセンサデータを分析すること９２０と、少なくとも１つの手位置に基づいて、オーディオイベントに対応する第１の仮想物体とユーザの手に対応する第２の仮想物体との間の相互作用を判定すること９３０と、相互作用に基づいて、変更されたオーディオストリームを生成するためにオーディオイベントに関連付けられた空間オーディオパラメータを変更すること９４０と、変更されたオーディオストリームをユーザに出力するために再生させること９６０とを備える。【選択図】図９
2015143987.tif 000002
【特許請求の範囲】
【請求項１】
ジェスチャに基づいてオーディオパラメータを変更する方法において、
ユーザの手に関連付けられたセンサデータを取得することと、
少なくとも１つの手位置を判定するために前記センサデータを分析することと、
前記少なくとも１つの手位置に基づいて、オーディオイベントに対応する第１の仮想物体と前記ユーザの手に対応する第２の仮想物体との間の相互作用を判定することと、
前記相互作用に基づいて、変更されたオーディオストリームを生成するために前記オーディオイベントに関連付けられた空間オーディオパラメータを変更することと、
前記変更されたオーディオストリームを前記ユーザに出力するために再生させることとを備える、方法。
【請求項２】
前記空間オーディオパラメータを変更することが、音響空間内の第１の位置から前記音響空間内の第２の位置まで前記オーディオイベントを移動させることを備える、請求項１に記載の方法。
【請求項３】
さらに、前記第１の仮想物体の視覚的表現を表示することと、前記相互作用に基づいて、前記音響空間内の前記第１の位置に関連付けられた第１の表示位置から前記音響空間内の前記第２の位置に関連付けられた第２の表示位置へと前記視覚的表現を移動させることとを備える、請求項２に記載の方法。
【請求項４】
前記視覚的表現が３次元画像を備え、前記センサデータが３次元空間における前記ユーザの手に関連付けられた座標を備える、請求項３に記載の方法。
【請求項５】
前記相互作用を判定することが、前記ユーザの手に関連付けられた前記座標に基づいて、前記第２の仮想物体が前記第１の仮想物体に近接している旨を検出することを備える、請求項４に記載の方法。
【請求項６】
前記相互作用を判定することが、前記第２の仮想物体が前記第１の仮想物体に近接している旨を検出することを備える、請求項３に記載の方法。
【請求項７】
さらに、前記第２の仮想物体が前記第１の仮想物体に近接している旨を検出することに応答して、少なくとも１つの聴覚フィードバック及び触覚フィードバックを生成させることを備える、請求項６に記載の方法。
【請求項８】
前記センサデータを分析することが、把持ジェスチャが開始された第１の手の位置を判定することと、前記把持ジェスチャが終了した第２の手の位置を判定することとを備え、前記第１の手の位置が前記音響空間内の前記第１の位置に関連付けられ、前記第２の手の位置が前記音響空間の前記第２の位置に関連付けられる、請求項３に記載の方法。
【請求項９】
前記オーディオイベントが前記音響空間の一部に及ぶ周囲音源を備え、前記視覚的表現が前記音響空間の一部に対応するディスプレイの一部に及ぶ、請求項３に記載の方法。
【請求項１０】
さらに、
前記少なくとも１つの手位置に基づいて、前記第１の仮想物体と前記第２の仮想物体との間の第２の相互作用を判定することと、
前記第２の相互作用に基づいて、第２の変更されたオーディオストリームを生成するために前記ユーザに関連付けられた第１の音響空間から第２のユーザに関連付けられた第２の音響空間へと前記オーディオイベントを移動させることと、
前記第２の変更されたオーディオストリームを前記第２の音響空間内で再生させることとを備える、請求項１に記載の方法。
【請求項１１】
ジェスチャに基づいてオーディオパラメータを変更するシステムにおいて、
ユーザの手に関連付けられたセンサデータを取得するように構成された少なくとも１つのセンサと、
前記少なくとも１つのセンサと結合され、
少なくとも１つの手位置を判定するために前記センサデータを分析し、
前記少なくとも１つの手位置に基づいて、オーディオイベントに対応する第１の仮想物体と前記ユーザの手に対応する第２の仮想物体との間の相互作用を判定し、
前記相互作用に基づいて、変更されたオーディオストリームを生成するために前記オーディオイベントに関連付けられた空間オーディオパラメータを変更し、
前記変更されたオーディオストリームを前記ユーザに出力するために再生させる
ように構成されたプロセッサと、
前記プロセッサに結合され、前記第１の仮想物体の視覚的表現を表示するように構成されたディスプレイとを備える、システム。
【請求項１２】
前記プロセッサが、音響空間内の第１の位置から前記音響空間内の第２の位置まで前記オーディオイベントを移動させることにより、前記空間オーディオパラメータを変更するように構成されている、請求項１１に記載のシステム。
【請求項１３】
前記プロセッサが、さらに、前記相互作用に基づいて、前記音響空間内の前記第１の位置に関連付けられた前記ディスプレイ上の第１の位置から前記音響空間内の前記第２の位置に関連付けられた前記ディスプレイ上の第２の位置へと前記視覚的表現を移動させるように構成されている、請求項１２に記載のシステム。
【請求項１４】
前記ディスプレイがボリュメトリックディスプレイを備え、前記視覚的表現が３次元画像を備える、請求項１１に記載のシステム。
【請求項１５】
前記センサデータが３次元空間における前記ユーザの手に関連付けられた第１の座標を備え、前記プロセッサが、前記ユーザの手に関連付けられた前記第１の座標が前記第２の仮想物体に関連付けられた第２の座標に近接している旨を判定することによって前記相互作用を判定するように構成されている、請求項１４に記載のシステム。
【請求項１６】
前記プロセッサが、前記ユーザの手が前記３次元画像に近接してジェスチャを行っている旨を判定することによって前記相互作用を判定するように構成されている、請求項１４に記載のシステム。
【請求項１７】
前記少なくとも１つの手位置が、前記ユーザに関連付けられた第１の手の位置と、第２のユーザに関連付けられた第２の手の位置とを備え、前記プロセッサが、さらに、
前記第２の手の位置に基づいて、第２のオーディオイベントに対応する第３の仮想物体と、前記第２のユーザの手に対応する第４の仮想物体との間の第２の相互作用を判定し、
前記第２の相互作用に基づいて、前記第２のユーザに関連付けられた第２の音響空間から前記ユーザに関連付けられた第１の音響空間へと前記第２のオーディオイベントを移動させるように構成されている、請求項１１に記載のシステム。
【請求項１８】
前記プロセッサが、さらに、前記少なくとも１つの手位置に基づいて、前記第２の仮想物体が前記第１の仮想物体に近接している旨を検出し、これに応答して、視覚フィードバック、聴覚フィードバック及び触覚フィードバックのうちの少なくとも１つを生成させるように構成されている、請求項１１に記載のシステム。
【請求項１９】
前記オーディオイベントが周囲音源を備え、前記プロセッサが、前記オーディオイベントが及ぶ音響空間の一部を変更することによって前記空間オーディオパラメータを変更するように構成されている、請求項１１に記載のシステム。
【請求項２０】
プロセッサによって実行されたとき、
ユーザの手に関連付けられたセンサデータを取得するステップと、
少なくとも１つの手位置を判定するために前記センサデータを分析するステップと、
前記少なくとも１つの手位置に基づいて、オーディオイベントに対応する第１の仮想物体と前記ユーザの手に対応する第２の仮想物体との間の相互作用を判定するステップと、
前記相互作用に基づいて、変更されたオーディオストリームを生成するために前記オーディオイベントが及ぶ音響空間の一部をリサイズするステップと、
前記変更されたオーディオストリームを前記ユーザに出力するために再生させるステップ
を行うことによってジェスチャに基づいて前記プロセッサにオーディオパラメータを変更させる命令を含む持続性コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本特許出願は、２０１４年１月３日に出願された出願番号６１／９２３，５６０号及び代理人整理番号ＨＲＭＮ／００７８ＵＳＬを有する米国仮特許出願と、２０１４年１月３日に出願された出願番号６１／９２３，５７１及び代理人整理番号ＨＲＭＮ／００８０ＵＳＬを有する米国仮特許出願との利益を主張する。これらの関連出願の主題は、参照することによって本願明細書に組み込まれる。
【０００２】
本発明の実施形態の分野
本発明の実施形態は、一般に、オーディオ信号処理、具体的には、車載ジェスチャ相互作用空間オーディオシステムに関する。
【背景技術】
【０００３】
関連技術の説明
ナビゲーションシステム、通信装置及びメディアプレーヤなどの電子機器の使用は、日常生活のあらゆる面でますます人気が高まっている。そのような機器は、ナビゲーション指示、並びに、音楽、ニュース及びポッドキャストなどのメディアコンテンツなどの情報コンテンツへの便利なアクセスをユーザに提供する。さらに、そのような機器は、その多くがオーディオ、ビデオ及び／又はテキストインターフェースを介して互いに相互作用することをユーザに可能とする通信サービスの広い範囲へのアクセスをユーザに提供する。
【０００４】
電子機器のユーザによってしばしば遭遇する問題は、電子機器がその機器のユーザのために複数のオーディオイベントを同時に再生する際に発生する。例えば、同じ機器上で複数のソフトウェアアプリケーションを操作しているユーザ（例えば、マルチタスク）は、１つのソフトウェアアプリケーションによって生成されているオーディオコンテンツと他のソフトウェアアプリケーションによって生成されているオーディオコンテンツとの間を区別するのが困難であることがある。従って、いくつかの状況において、ユーザは、ソフトウェアアプリケーションに関連付けられている音を知らないことがあり、及び／又は、ユーザは、複数のオーディオイベントの同時提示によって気を取られることがあり、特定のソフトウェアアプリケーションと効果的に相互作用するユーザの能力を阻害することがある。さらに、別個のソフトウェアアプリケーション（例えば、メディアプレーヤ）も使用しながら通信サービスを介して１人以上と話をしているユーザは、別個のオーディオイベントが（例えば、音楽）が再生されている間に会話に注意を払うのが困難なことがある。
【０００５】
上述したように、ユーザがより効果的にオーディオイベントを聴取するのを可能とする技術が有益であろう。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の１つの実施形態は、ジェスチャに基づいてオーディオパラメータを変更する方法を記載している。本方法は、ユーザの手に関連付けられたセンサデータを取得することと、センサデータを分析して少なくとも１つの手の位置を判定することとを含む。本方法は、さらに、少なくとも１つの手の位置に基づいて、オーディオイベントに対応する第１の仮想物体とユーザの手に対応する第２の仮想物体との間の相互作用を判定することを含む。本方法は、さらに、相互作用に基づいて、オーディオイベントに関連付けられた空間オーディオパラメータを変更し、変更されたオーディオストリームを生成することと、変更されたオーディオストリームをユーザに対する出力のために再生させることとを含む。
【０００７】
さらなる実施形態は、とりわけ、上述した方法を実施するように構成されたシステム及び持続性コンピュータ読み取り可能な媒体を提供する。
【０００８】
開示された技術の少なくとも１つの利点は、オーディオイベントが仮想音響空間内で再生されている位置をユーザが変更するのを可能とするということである。例えば、ユーザは、オーディオイベントに関連付けられた仮想物体を把持して仮想３次元空間内の所望の位置に仮想物体を再配置するようにボリュメトリックディスプレイと相互作用することができる。さらに、視覚、聴覚及び／又は触覚フィードバックが、ユーザがオーディオイベントと相互作用するときに（例えば、ボリュメトリックディスプレイを介して）ユーザに提供されることができる。従って、オーディオイベントは、音響空間内に再配置されることができ、ユーザが同時に複数のオーディオイベントをより効果的に聴取し及び／又は相互作用するのを可能とする。
本発明は、例えば、以下の項目を提供する。
（項目１）
ジェスチャに基づいてオーディオパラメータを変更する方法において、
ユーザの手に関連付けられたセンサデータを取得することと、
少なくとも１つの手位置を判定するために前記センサデータを分析することと、
前記少なくとも１つの手位置に基づいて、オーディオイベントに対応する第１の仮想物体と前記ユーザの手に対応する第２の仮想物体との間の相互作用を判定することと、
前記相互作用に基づいて、変更されたオーディオストリームを生成するために前記オーディオイベントに関連付けられた空間オーディオパラメータを変更することと、
前記変更されたオーディオストリームを前記ユーザに出力するために再生させることとを備える、方法。
（項目２）
前記空間オーディオパラメータを変更することが、音響空間内の第１の位置から前記音響空間内の第２の位置まで前記オーディオイベントを移動させることを備える、上記項目に記載の方法。
（項目３）
さらに、前記第１の仮想物体の視覚的表現を表示することと、前記相互作用に基づいて、前記音響空間内の前記第１の位置に関連付けられた第１の表示位置から前記音響空間内の前記第２の位置に関連付けられた第２の表示位置へと前記視覚的表現を移動させることとを備える、上記項目のいずれかに記載の方法。
（項目４）
前記視覚的表現が３次元画像を備え、前記センサデータが３次元空間における前記ユーザの手に関連付けられた座標を備える、上記項目のいずれかに記載の方法。
（項目５）
前記相互作用を判定することが、前記ユーザの手に関連付けられた前記座標に基づいて、前記第２の仮想物体が前記第１の仮想物体に近接している旨を検出することを備える、上記項目のいずれかに記載の方法。
（項目６）
前記相互作用を判定することが、前記第２の仮想物体が前記第１の仮想物体に近接している旨を検出することを備える、上記項目のいずれかに記載の方法。
（項目７）
さらに、前記第２の仮想物体が前記第１の仮想物体に近接している旨を検出することに応答して、少なくとも１つの聴覚フィードバック及び触覚フィードバックを生成させることを備える、上記項目のいずれかに記載の方法。
（項目８）
前記センサデータを分析することが、把持ジェスチャが開始された第１の手の位置を判定することと、前記把持ジェスチャが終了した第２の手の位置を判定することとを備え、前記第１の手の位置が前記音響空間内の前記第１の位置に関連付けられ、前記第２の手の位置が前記音響空間の前記第２の位置に関連付けられる、上記項目のいずれかに記載の方法。
（項目９）
前記オーディオイベントが前記音響空間の一部に及ぶ周囲音源を備え、前記視覚的表現が前記音響空間の一部に対応するディスプレイの一部に及ぶ、上記項目のいずれかに記載の方法。
（項目１０）
さらに、
前記少なくとも１つの手位置に基づいて、前記第１の仮想物体と前記第２の仮想物体との間の第２の相互作用を判定することと、
前記第２の相互作用に基づいて、第２の変更されたオーディオストリームを生成するために前記ユーザに関連付けられた第１の音響空間から第２のユーザに関連付けられた第２の音響空間へと前記オーディオイベントを移動させることと、
前記第２の変更されたオーディオストリームを前記第２の音響空間内で再生させることとを備える、上記項目のいずれかに記載の方法。
（項目１１）
ジェスチャに基づいてオーディオパラメータを変更するシステムにおいて、
ユーザの手に関連付けられたセンサデータを取得するように構成された少なくとも１つのセンサと、
前記少なくとも１つのセンサと結合され、
少なくとも１つの手位置を判定するために前記センサデータを分析し、
前記少なくとも１つの手位置に基づいて、オーディオイベントに対応する第１の仮想物体と前記ユーザの手に対応する第２の仮想物体との間の相互作用を判定し、
前記相互作用に基づいて、変更されたオーディオストリームを生成するために前記オーディオイベントに関連付けられた空間オーディオパラメータを変更し、
前記変更されたオーディオストリームを前記ユーザに出力するために再生させる
ように構成されたプロセッサと、
前記プロセッサに結合され、前記第１の仮想物体の視覚的表現を表示するように構成されたディスプレイとを備える、システム。
（項目１２）
前記プロセッサが、音響空間内の第１の位置から前記音響空間内の第２の位置まで前記オーディオイベントを移動させることにより、前記空間オーディオパラメータを変更するように構成されている、上記項目のいずれかに記載のシステム。
（項目１３）
前記プロセッサが、さらに、前記相互作用に基づいて、前記音響空間内の前記第１の位置に関連付けられた前記ディスプレイ上の第１の位置から前記音響空間内の前記第２の位置に関連付けられた前記ディスプレイ上の第２の位置へと前記視覚的表現を移動させるように構成されている、上記項目のいずれかに記載のシステム。
（項目１４）
前記ディスプレイがボリュメトリックディスプレイを備え、前記視覚的表現が３次元画像を備える、上記項目のいずれかに記載のシステム。
（項目１５）
前記センサデータが３次元空間における前記ユーザの手に関連付けられた第１の座標を備え、前記プロセッサが、前記ユーザの手に関連付けられた前記第１の座標が前記第２の仮想物体に関連付けられた第２の座標に近接している旨を判定することによって前記相互作用を判定するように構成されている、上記項目のいずれかに記載のシステム。
（項目１６）
前記プロセッサが、前記ユーザの手が前記３次元画像に近接してジェスチャを行っている旨を判定することによって前記相互作用を判定するように構成されている、上記項目のいずれかに記載のシステム。
（項目１７）
前記少なくとも１つの手位置が、前記ユーザに関連付けられた第１の手の位置と、第２のユーザに関連付けられた第２の手の位置とを備え、前記プロセッサが、さらに、
前記第２の手の位置に基づいて、第２のオーディオイベントに対応する第３の仮想物体と、前記第２のユーザの手に対応する第４の仮想物体との間の第２の相互作用を判定し、
前記第２の相互作用に基づいて、前記第２のユーザに関連付けられた第２の音響空間から前記ユーザに関連付けられた第１の音響空間へと前記第２のオーディオイベントを移動させるように構成されている、上記項目のいずれかに記載のシステム。
（項目１８）
前記プロセッサが、さらに、前記少なくとも１つの手位置に基づいて、前記第２の仮想物体が前記第１の仮想物体に近接している旨を検出し、これに応答して、視覚フィードバック、聴覚フィードバック及び触覚フィードバックのうちの少なくとも１つを生成させるように構成されている、上記項目のいずれかに記載のシステム。
（項目１９）
前記オーディオイベントが周囲音源を備え、前記プロセッサが、前記オーディオイベントが及ぶ音響空間の一部を変更することによって前記空間オーディオパラメータを変更するように構成されている、上記項目のいずれかに記載のシステム。
（項目２０）
プロセッサによって実行されたとき、
ユーザの手に関連付けられたセンサデータを取得するステップと、
少なくとも１つの手位置を判定するために前記センサデータを分析するステップと、
前記少なくとも１つの手位置に基づいて、オーディオイベントに対応する第１の仮想物体と前記ユーザの手に対応する第２の仮想物体との間の相互作用を判定するステップと、
前記相互作用に基づいて、変更されたオーディオストリームを生成するために前記オーディオイベントが及ぶ音響空間の一部をリサイズするステップと、
前記変更されたオーディオストリームを前記ユーザに出力するために再生させるステップ
を行うことによってジェスチャに基づいて前記プロセッサにオーディオパラメータを変更させる命令を含む持続性コンピュータ読み取り可能な記憶媒体。
（摘要）
本発明の１つの実施形態は、ジェスチャに基づいてオーディオパラメータを変更するための技術を記載している。本技術は、ユーザの手に関連付けられたセンサデータを取得することと、少なくとも１つの手の位置を判定するためにセンサデータを分析することとを含む。本技術は、さらに、少なくとも１つの手の位置に基づいて、オーディオイベントに対応する第１の仮想物体とユーザの手に対応する第２の仮想物体との間の相互作用を判定することを含む。本技術は、さらに、相互作用に基づいて、変更されたオーディオストリームを生成するためにオーディオイベントに関連付けられた空間オーディオパラメータを変更することと、変更されたオーディオストリームをユーザに出力するために再生させることとを含む。
【図面の簡単な説明】
【０００９】
本発明の上記記載された特徴が詳細に理解されることができるように、上記簡単に要約された本発明のより具体的な説明は、いくつかが添付図面に示される実施形態を参照することによって得ることができる。しかしながら、ここで留意すべきは、添付図面は、本発明の典型的な実施形態を示し、従って、本発明が他の等しく有効な実施形態を許容することができるためにその範囲を限定するものと考えられるべきではないということである。
【００１０】
【図１】図１Ａは、様々な実施形態にかかる、ユーザのジェスチャを認識してオーディオストリームの空間オーディオパラメータを変更するジェスチャ相互作用空間オーディオシステム（「ジェスチャシステム」）を示している。図１Ｂは、様々な実施形態にかかる、１つ以上のジェスチャを介して空間オーディオパラメータを順次変更する図１Ａのジェスチャシステムと相互作用するユーザを示している。図１Ｃは、様々な実施形態にかかる、分割ジェスチャに応答して図１Ａのジェスチャシステムによって変更されるオーディオイベントの空間オーディオパラメータを示している。
【図２】図２は、様々な実施形態にかかる、図１Ａのジェスチャシステムとともに実装されることができる又はそれに結合されることができる計算機器のブロック図である。
【図３】図３は、様々な実施形態にかかる、自動車環境において図１Ａのジェスチャシステムと相互作用するユーザを示している。
【図４】図４Ａは、様々な実施形態にかかる、通信サービスによって生成されるオーディオイベントの位置を再配置するために図１Ａのジェスチャシステムと相互作用するユーザを示している。図４Ｂは、様々な実施形態にかかる、通信サービスによって生成されるオーディオイベントの位置を再配置するために図１Ａのジェスチャシステムと相互作用するユーザを示している。図４Ｃは、様々な実施形態にかかる、通信サービスによって生成されるオーディオイベントの位置を再配置するために図１Ａのジェスチャシステムと相互作用するユーザを示している。
【図５】図５Ａは、様々な実施形態にかかる、オーディオイベントを再配置するために仮想物体と相互作用するユーザを示している。図５Ｂは、様々な実施形態にかかる、オーディオイベントを再配置するために仮想物体と相互作用するユーザを示している。図５Ｃは、様々な実施形態にかかる、オーディオイベントを再配置するために仮想物体と相互作用するユーザを示している。図５Ｄは、様々な実施形態にかかる、オーディオイベントを再配置するために仮想物体と相互作用するユーザを示している。図５Ｅは、様々な実施形態にかかる、オーディオイベントを再配置するために仮想物体と相互作用するユーザを示している。
【図６】図６Ａは、様々な実施形態にかかる、２つの異なる音響空間の間においてオーディオイベントを渡すために別個のジェスチャシステムと相互作用する２人のユーザを示している。図６Ｂは、様々な実施形態にかかる、２つの異なる音響空間の間においてオーディオイベントを渡すために別個のジェスチャシステムと相互作用する２人のユーザを示している。
【図７】図７Ａは、様々な実施形態にかかる、図１Ａのジェスチャシステムとともに実装されることができるボリュメトリックディスプレイを示している。図７Ｂは、様々な実施形態にかかる、図１Ａのジェスチャシステムとともに実装されることができるボリュメトリックディスプレイを示している。
【図８】図８Ａは、様々な実施形態にかかる、オーディオイベントを再配置するためにボリュメトリックディスプレイと相互作用するユーザを示している。図８Ｂは、様々な実施形態にかかる、オーディオイベントを再配置するためにボリュメトリックディスプレイと相互作用するユーザを示している。図８Ｃは、様々な実施形態にかかる、オーディオイベントを再配置するためにボリュメトリックディスプレイと相互作用するユーザを示している。図８Ｄは、様々な実施形態にかかる、オーディオイベントを再配置するためにボリュメトリックディスプレイと相互作用するユーザを示している。図８Ｅは、様々な実施形態にかかる、オーディオイベントを再配置するためにボリュメトリックディスプレイと相互作用するユーザを示している。
【図９】図９は、様々な実施形態にかかる、ジェスチャに基づいてオーディオパラメータを変更するための方法ステップのフロー図である。
【図１０】図１０は、様々な実施形態にかかる、仮想物体の位置に基づいてオーディオパラメータを変更するための方法ステップのフロー図である。
【発明を実施するための形態】
【００１１】
以下の説明において、本発明の実施形態のより完全な理解を提供するために多数の具体的な詳細が記載される。しかしながら、本発明の実施形態は、これらの具体的な詳細のうちの１つ以上がなくても実施されることができることは当業者には明らかであろう。
【００１２】
図１Ａは、様々な実施形態にかかる、ユーザのジェスチャを認識してオーディオストリームの空間オーディオパラメータを変更するためのジェスチャ相互作用空間オーディオシステム１００（「ジェスチャシステム１００」）を示している。ジェスチャシステム１００は、１つ以上のセンサ１４０を含む。センサ１４０は、ユーザによって行われるジェスチャに関連付けられたデータを取得するか及び／又はジェスチャシステム１００が環境に対するユーザの位置及び／又は向きを追跡するのを可能とするデータを取得するように構成されている。センサ１４０は、様々な実施形態にかかる、１つ以上のジェスチャを介して空間オーディオパラメータを順次変更する図１Ａのジェスチャシステム１００と相互作用するユーザを示している図１Ｂに示されるようにユーザの手、腕及び／又は指の画像を取得するように構成されることができる。いくつかの実施形態において、センサ１４０は、カメラなどの視覚センサを含む。さらに、いくつかの実施形態において、センサ１４０は、飛行時間型センサ、構造化光センサなどの超音波センサ、レーダセンサ、レーザセンサ、熱センサ及び／又は深さセンサを含む。
【００１３】
いくつかの実施形態において、センサ１４０は、ユーザの素手によって行われる１つ以上のジェスチャを検出し、ジェスチャに応答して、オーディオストリームに関連付けられた１つ以上のオーディオパラメータを変更するように構成されている。そのような実施形態において、センサ１４０によって取得されたデータは、ユーザの指先、関節、手、手首及び／又は腕の位置を判定するために分析される。例えば、限定されるものではないが、図１Ｂに示されるように、センサ１４０によって取得されたデータは、ユーザの指が（例えば、人差し指及び中指又は任意の他の指の組み合わせを使用してＶ字にすることによって）「Ｖ字」の手の位置を形成していることを判定するために分析されることができる。そして、「Ｖ字」の手の位置に応答して、ジェスチャシステム１００は、仮想音響空間の側に１つ以上のオーディオイベントを移動（例えば、分割）させることができる。
【００１４】
具体的な例は、様々な実施形態にかかる、分割ジェスチャに応答して図１Ａのジェスチャシステム１００によって変更されるオーディオイベントの空間オーディオパラメータを示している図１Ｃに示されている。示されるように、ユーザが通信サービスを介して２人に話しているとき、ジェスチャシステム１００は、（例えば、「Ｖ字」の手の位置を検出することに基づいて）分割ジェスチャが実行されたことを検出し、応答において、第１の人の声に関連付けられた第１のオーディオイベントを音響空間の一方側に移動させ、第２の人の声に関連付けられた第２のオーディオイベントを音響空間の他方側に移動させることができる。さらに、分割ジェスチャは、音響空間の両側に他の種類のオーディオイベント（例えば、音楽、ポッドキャスト、通知など）を移動するために使用されることができる。さらに、いくつかの実施形態において、他の種類のジェスチャは、音響空間内のオーディオイベントを均等に配信するために、所定のパターンに従って音響空間内のオーディオイベントを配信するために、複数の位置からオーディオイベントを再生するために、及び／又は、１つ以上のオーディオイベントをミュートするために使用されることができる。
【００１５】
いくつかの実施形態において、センサ１４０は、ユーザに取り付けられた追加の機器の位置を追跡することにより、ユーザによって行われる１つ以上のジェスチャを検出するように構成されている。例えば、限定されるものではないが、ユーザの腕に連結された１つ以上の機器の位置は、ユーザによって行われているジェスチャを検出するために追跡されることができる。２つのセンサ１４０が図１Ａ及び図１Ｂに示されているが、ジェスチャシステム１００における任意の位置に配置された任意の数のセンサ１４０がユーザのジェスチャを検出するために使用されることができる。いくつかの実施形態において、少なくとも２つのセンサ１４０が、ステレオ画像が取得されるのを可能とし、それゆえに、ユーザの指、手、腕などの深さがより正確に判定されるのを可能とするようにジェスチャシステム１００に含まれている。他の実施形態において、ジェスチャは、画像を撮像して深さの測定値を取得して位置を算出する単一のセンサなどを使用して検出される。さらに、様々な実施形態において、センサ１４０は、車両の内側及び／又は外側表面などのセンサ１４０が配設される機器本体１０２以外の物体上に配置されることができ、及び／又は、眼鏡、時計、ウェアラブル機器、ユーザの身体（例えば、Ｔｈａｌｍｉｃ  Ｌａｂｓ（商標）によるａｒｍ−ｗｏｒｎ  Ｍｙｏ（商標））など、ユーザに連結されることができる。
【００１６】
図２は、様々な実施形態にかかる、図１Ａのジェスチャシステム１００とともに実装されることができる又はそれに結合されることができる計算機器２００のブロック図である。示されるように、計算機器２００は、処理ユニット２１０と、入力／出力（Ｉ／Ｏ）装置２２０と、記憶装置２３０とを含む。記憶装置２３０は、データベース２３４と相互作用するように構成されたアプリケーション２３２を含む。
【００１７】
スピーカ１３０は、ジェスチャシステム１００と一体化又は結合された電子機器によって出力されるマルチチャンネル・オーディオストリームなどのオーディオストリームを再生するように構成されている。例えば、限定されるものではないが、スピーカ１３０は、音響空間内の特定の位置におけるオーディオストリームに含まれるオーディオイベント（例えば、ボイス、通知、音楽、ナビゲーション方向など）をレンダリングすることができる２つ以上のスピーカを含むことができる。いくつかの実施形態において、複数のスピーカは、音響空間内の特定の位置においてオーディオイベントをレンダリングするために、環境（例えば、車室）内に配信される。同一又は他の実施形態において、オーディオ信号処理技術は、２つ以上のスピーカを使用して音響空間における特定の位置においてオーディオイベントを事実上レンダリングするために使用されることができる。
【００１８】
処理ユニット２１０は、中央処理ユニット（ＣＰＵ）、ディジタル信号処理ユニット（ＤＳＰ）などを含むことができる。様々な実施形態において、処理ユニット２１０は、ユーザのジェスチャを検出するか及び／又は車両環境に対するユーザの位置及び／又は向きを判定するために、センサ１４０によって取得されたセンサデータを分析するように構成されている。さらに、処理ユニット２１０は、ジェスチャシステム１００によってスピーカ１３０に出力されているオーディオストリームに関連付けられた空間オーディオパラメータを変更するように構成されることができる。例えば、限定されるものではないが、処理ユニット２１０は、スピーカ１３０によって生成される音響空間における特定の位置においてオーディオイベントをレンダリングするために、オーディオストリームに含まれる１つ以上のオーディオイベントを処理するアプリケーション２３２を実行することができる。
【００１９】
様々な実施形態において、処理ユニット２１０は、ユーザによって行われている１つ以上のジェスチャを検出するためのセンサ１４０によって取得されたデータの分析を行う。そして、ジェスチャの検出に応答して、処理ユニット２１０は、ジェスチャシステム１００によって再生されるオーディオストリームの空間オーディオパラメータを変更する。例えば、限定されるものではないが、処理ユニット２１０は、音響空間内のオーディオイベントの知覚位置を変更するために空間オーディオパラメータを変更することができる。いくつかの実施形態において、処理ユニット２１０は、両耳キュー（例えば、両耳間時間差、両耳間強度差）、スペクトルキュー、ダイナミックレンジキュー、頭部伝達関数（例えば、どのように音波が聴取者の身体と相互作用するかを記述する空間フィルタ）、残響などに基づいて、オーディオストリームの空間オーディオパラメータを変更する。例えば、限定されるものではないが、処理ユニット２１０は、オーディオイベントが再生される角度分解能を高めるために、ユーザの耳、外耳道及び／又は頭部の形状に関連付けられた１つ以上のパラメータに基づいてオーディオストリームを処理することができる。同一又は他の実施形態において、処理ユニット２１０は、オーディオイベントを再生しているスピーカ１３０及び／又はオーディオイベントが１つ以上のスピーカ１３０によって再生されるレベルを変更することによってオーディオストリームの空間オーディオパラメータを変更する。例えば、限定されるものではないが、処理ユニット２１０は、特定のスピーカ１３０がオーディオイベントを再生しているレベルを増加及び／又は減少させることによって音響空間内のオーディオイベントの知覚位置を変更することができる。いくつかの実施形態において、オーディオ信号処理は、ＯｐｅｎＡＬなどのミドルウェアを介して処理ユニット２１０によって実行される。
【００２０】
Ｉ／Ｏ装置２２０は、入力装置、出力装置、及び、入力の受信及び出力の提供の双方が可能な装置を含むことができる。例えば、限定されるものではないが、Ｉ／Ｏ装置２２０は、ジェスチャシステム１００及び／又はジェスチャシステム１００に結合されたスピーカ１３０に含まれるセンサ１４０に対するデータの送信及び／又はデータの受信を行う有線及び／又は無線通信装置を含むことができる。さらに、いくつかの実施形態において、Ｉ／Ｏ装置２２０は、スピーカ１３０によって再生されることになる（例えば、ローカルエリアネットワーク及び／又はインターネットなどのネットワークを介して）オーディオストリームを受信する１つ以上の有線又は無線通信装置を含む。さらに、図７Ａ及び図７Ｂとともにさらに詳細に説明されるように、Ｉ／Ｏ装置２２０は、オーディオイベントが音響空間内で再生されている位置をユーザが視認及び変更することを可能とするボリュメトリックディスプレイを含むことができる。
【００２１】
記憶ユニット２３０は、メモリモジュール又はメモリモジュールの集合体を含むことができる。記憶ユニット２３０内のソフトウェアアプリケーション２３２は、計算機器２００の全体的な機能を実装し、それゆえに、全体としてジェスチャシステム１００の動作を調整するために、処理ユニット２１０によって実行されることができる。データベース２３４は、ディジタル信号処理アルゴリズム、オーディオストリーム、ジェスチャ認識データ、ボリュメトリックディスプレイデータなどを記憶することができる。
【００２２】
計算機器２００は、全体として、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、タブレットコンピュータや携帯電話機などのモバイル計算機器、メディアプレーヤなどとすることができる。一般に、計算機器２００は、ジェスチャシステム１００の全体動作を調整するように構成されることができる。他の実施形態において、計算機器２００は、ジェスチャシステム１００に結合されることができるが、分離することができる。そのような実施形態において、ジェスチャシステム１００は、車両ヘッドユニット、ナビゲーションシステム、スマートフォン、ポータブルメディアプレーヤ、パーソナルコンピュータなどの民生用電子機器に含まれることができる、計算機器２００からデータ（例えば、オーディオストリーム）を受信して計算機器２００にデータ（例えば、センサデータ）を送信する別個のプロセッサを含むことができる。しかしながら、本願明細書に開示された実施形態は、ジェスチャシステム１００の機能を実装するように構成された任意の技術的に実現可能なシステムを企図している。
【００２３】
図３は、様々な実施形態にかかる、自動車環境において図１Ａのジェスチャシステム１００と相互作用するユーザを示している。上述したように、オーディオストリームに含まれるオーディオイベントは、スピーカ１３０によって生成される音響空間における特定の場所においてオーディオイベントをレンダリングするために（例えば、処理ユニット２１０によって）処理されることができる。例えば、限定されるものではないが、示されるように、処理ユニット２１０は、音響空間の左側において周囲音源及び音響空間の右側において点音源をレンダリングするために、周囲音源（例えば、音楽）及び点音源（例えば、音声通話）に関連付けられた空間オーディオパラメータを変更することができる。５つのスピーカ１３０が図３には示されているが、他の実施形態においては、２つ以上のスピーカ１３０が聴取環境において２次元又は３次元音響空間を生成するために使用されることができる。
【００２４】
上述したように、ジェスチャシステム１００は、ユーザによって行われるジェスチャを検出し、これに応答して、スピーカ１３０によって再生されるオーディオストリームの１つ以上のパラメータを変更する。いくつかの実施形態において、ユーザは、音響空間内の１人以上の人間の声を選択的に再配置するために１つ以上のジェスチャを行う。具体例として、様々な実施形態にかかる、通信サービスによって生成されるオーディオイベントの位置を再配置するために図１Ａのジェスチャシステム１００と相互作用するユーザを示している図４Ａ−図４Ｃに示される。
【００２５】
図４Ａに示されるように、最初に（例えば、音声通話が開始されたときに）、ユーザが話していると人の音声は、音響空間内の類似又は同一の位置からレンダリングされることができる。そして、ユーザは、音声に関連付けられた位置に手を移動させ、音声を音響空間内に再配置させるように各音声に対応する仮想物体と相互作用することができる。例えば、限定されるものではないが、図４Ｂ及び図４Ｃに示されるように、ユーザは、仮想物体と相互作用するように音響空間内で左又は右及び／又は上、前又は後に（例えば、２次元Ｘ、Ｙ平面内又は３次元Ｘ、Ｙ、Ｚ空間内）手を移動させることによってオーディオイベントを再配置することができる。そして、ハンドジェスチャ及び仮想物体の新たな位置は、センサ１４０によって取得されて処理ユニット２１０に渡されたデータによって判定される。これに応答して、処理ユニット２１０は、ユーザが（例えば、複数の異なる点音源として）新たな位置に位置しているような音声を感知するように、オーディオイベントと関連付けられた１つ以上のパラメータを変更する。従って、ジェスチャシステム１００は、複数の人々がユーザに対して異なる位置に配置されている場合のライブの会話を正確にシミュレートすることができ、それにより、ユーザがより容易に複数の音声を区別するのを可能とする。
【００２６】
処理ユニット２１０は、ユーザが様々な技術を使用してオーディオイベントを再配置しようとしているかどうかを判定するように構成されている。１つの技術において、処理ユニット２１０は、オーディオイベントに関連付けられている第１の仮想物体の位置（例えば、３次元空間内の座標）を追跡し、（例えば、センサ１４０によって）ユーザの指、手及び／又は腕に関連付けられた第２の仮想物体が第１の仮想物体と相互作用している（例えば、把持している）ときを判定する。そして、処理ユニット２１０は、第２の仮想物体との相互作用に基づいて第１の仮想物体の新たな位置を判定するための物理モデルを実装する。例えば、限定されるものではないが、いくつかの実施形態において、処理ユニット２１０は、ユーザがオーディオイベントに関連付けられている仮想物体を把持、押圧、牽引、スワイプなどしたときを判定するためにユーザの手の位置を検出する。そして、処理ユニット２１０は、（例えば、把持、押圧、牽引及び／又はスワイプの速度、距離及び／又は持続時間に基づいて）オーディオイベントの新たな位置を判定するための物理モデルを実装する。そして、オーディオストリームの１つ以上のパラメータは、ユーザが新たな位置に配置されるのにともないオーディオイベントを知覚するように変更されることができる。
【００２７】
いくつかの実施形態において、ユーザは、音響空間内のオーディオイベント（例えば、点音源）の知覚位置に関連付けられた位置に手を移動させ、オーディオイベントに対応する仮想物体を把持するための把持ジェスチャを行う。そして、ユーザが把持ジェスチャを行っている間、ユーザは、（例えば、図４Ｂ及び図４Ｃに示されるように）所望の位置にオーディオイベントを移動させる。これに応答して、処理ユニット２１０は、ユーザに対して所望の角度及び／又は距離の位置からレンダリングされるようなオーディオイベントをユーザが知覚するように、オーディオストリームに関連付けられた１つ以上のパラメータ（例えば、空間オーディオパラメータ）を変更する。
【００２８】
さらに、ユーザは、様々な実施形態にかかる、オーディオイベントを再配置するために仮想物体と相互作用するユーザを示している図５Ａ−図５Ｅに示されるように、オーディオイベントを再配置するために、スワイプジェスチャなどの他の種類のジェスチャを使用することができる。説明を明確にするために、図５Ａ−図５Ｅは、特定のオーディオイベント（例えば、周囲の音楽や音声通話）に関連付けられた仮想物体の視覚的表現を含む。しかしながら、いくつかの実施形態において、これらの視覚的表現は、ジェスチャシステム１００のユーザにはみえない。
【００２９】
図５Ａ及び図５Ｂに示されるように、ユーザがメディアプレーヤによって生成される周囲音源（例えば、２つ以上のスピーカ１３０を使用してユーザの周囲の全てのレンダリングされた音楽）を聴取しているとき、ユーザは、通信サービスから着信の通知を受信することができる。そして、ユーザは、図５Ｃ及び図５Ｄに示されるように、音響空間の左側に対して音楽に関連付けられた仮想物体をスワイプすることを選択することができる。これに応答して、処理ユニット２１０は、ユーザの手の位置を追跡し、スワイプジェスチャの速度、距離及び／又は持続時間に基づいて、音楽に関連付けられた仮想物体の新たな位置を判定するための物理モデルを必要に応じて実装する。いくつかの実施形態において、処理ユニット２１０は、スワイプジェスチャが開始された場所及び／又はジェスチャが終了した場所を判定するために、センサ１４０から受信したデータを分析する。そして、処理ユニット２１０は、リサイズされることになるオーディオイベントがまたがる音響空間の一部を引き起こすために、仮想物体の新たな位置に基づいて、周囲音源の１つ以上のパラメータ（例えば、音のバランス及び／又は方向）を変更する。従って、図５Ｅに示されるように、音楽などの周囲音源は、音響空間の左側から再生を継続する一方で、着信などの点音源は、音響空間の右側に配置することができる。従って、音楽は、着信を実質的に妨げず、ユーザがより効果的に聴取し及び／又は同時に複数のオーディオイベントと相互作用することを可能とする。
【００３０】
上述したように、音響空間内の１つ以上のオーディオイベントの位置は、個々のオーディオイベントを把持、押圧、牽引、スワイプなどするために腕を使用することをユーザに要求することなく、単一の手の位置（例えば、静止ジェスチャ）に基づいて変更されることができる。そのような実施形態において、静止した手の位置と関連付けられた１つ以上の指の向きは、音響空間内の１つ以上のオーディオイベントの位置が変更されることになる方法をジェスチャシステム１００に示すことができる。例えば、限定されるものではないが、ユーザは、１つ以上のオーディオイベントを音響空間の側に分割移動させるために上述した「Ｖ字」の手の位置（例えば、分割ジェスチャ）を使用することができる。
【００３１】
様々な実施形態において、ユーザがユーザのリーチを超えている仮想物体に関連付けられたオーディオイベントを再配置することを可能とするために、ジェスチャの効果は、ジェスチャが行われる１つ以上の方向に延びてもよい。例えば、ユーザは、限定されるものではないが、ユーザがユーザのリーチの範囲外にあるオーディオイベントを再配置するためのスワイプジェスチャを行うとき、手ベクトル５１０は、ジェスチャシステム１００によって判定されることができる。いくつかの実施形態において、手ベクトル５１０は、ユーザのリーチの範囲外にあるオーディオイベントを再配置することを可能とするために、ユーザの指、手及び／又は腕の方向に延びている。
【００３２】
音響空間内に配設された手ベクトル５１０と１つ以上のオーディオイベント（例えば、仮想物体）との間の相互作用は、例えば、限定されるものではないが、物理モデル及び／又は本願明細書に記載された技術のいずれかに基づいて、処理ユニット２１０によって判定される。そして、処理ユニット２１０は、手ベクトル５１０と１つ以上のオーディオイベントとの間の相互作用に基づいてオーディオイベントの１つ以上のパラメータを変更する。例えば、限定されるものではないが、ユーザがスワイプジェスチャを行うとき、処理ユニット２１０は、ユーザの手から延びる１次元線又は２次元平面を含む手ベクトル５１０を生成することができる。そして、ユーザがスワイプジェスチャを実行したとき、処理ユニット２１０は、手の変化位置に基づいて、線又は平面の位置を更新することができる。そして、音響空間に含まれる線又は平面と１つ以上のオーディオイベントとの間の相互作用（例えば、交差、衝突）は、オーディオイベントの新たな位置を判定するために判定されることができる。例えば、限定されるものではないが、処理ユニット２１０は、ユーザの手に関連付けられている面が音響空間を横切って移動した旨を判定することができ、図５Ｃ及び図５Ｄに示されるように、オーディオイベントが音響空間の一方側から音響空間の他方側へとスワイプさせられる。さらに、提供される例は、スワイプジェスチャ及び周囲音源（例えば、音楽）を参照して説明されているが、手ベクトル５１０は、ユーザのリーチの外側にある任意の種類のオーディオイベント（例えば、周囲音源、点音源など）と相互作用することを可能とするように、任意の他の種類のジェスチャ（例えば、把持、押圧又は牽引ジェスチャ）を行うために使用されることができる。
【００３３】
いくつかの実施形態において、処理ユニット２１０は、音響空間内にオーディオイベントを再配置する前に個々のオーディオイベントを識別するために１つ以上のアルゴリズムを実装する。例えば、限定されるものではないが、処理ユニット２１０は、通信サービスを介して受信した２つ以上の音声を識別するためにアルゴリズムを使用することができる。そして、各音声に関連付けられた特性（例えば、基本ピッチ、周波数スペクトル、リズム、抑揚など）が識別されると、各音声に関連付けられた空間オーディオパラメータは、音響空間において音声を再配置するように変更されることができる。同様の技術は、他の種類のオーディオイベント（例えば、音楽、通知など）を識別して音響空間内にオーディオイベントを再配置するために使用されることができる。それゆえに、個々のオーディオイベントは、オーディオイベントが処理ユニット２１０によって受信されて処理される前に単一のオーディオチャンネルにマージされたときであっても、分離されて音響空間内に再配置されることができる。
【００３４】
上述したように、いくつかの実施形態において、センサ１４０は、ユーザの環境内でユーザの位置及び／又は向きを追跡するように構成されている。そのような実施形態において、ユーザの位置及び／又は向きは、ユーザの環境に対するオーディオイベントの位置を維持するためにジェスチャシステム１００によって使用されることができる。例えば、限定されるものではないが、ユーザが音響空間の一方側に最初に配置されたオーディオイベントに向かって頭部を向けたとき、ジェスチャシステム１００は、環境に対するユーザの頭部の向きの変化を追跡することができ、これに応答して、オーディオイベントがユーザの前に再配置されるように、オーディオイベントに関連付けられた空間オーディオパラメータを変更することができる。それゆえに、オーディオイベントは、ユーザの環境に対して比較的静的な角度位置及び／又は距離でユーザのために再生される。さらに、ユーザが周囲環境内でユーザの位置を変更したとき、ジェスチャシステム１００は、ユーザの環境内で物体に対してユーザが向かっているか（例えば、より大きく）又は離れているか（例えば、より静かに）に基づいて、特定のオーディオイベントの大きさを変更することができる。
【００３５】
図６Ａは、様々な実施形態にかかる、２つの異なる音響空間の間においてオーディオイベントを渡すために別個のジェスチャシステム１００と相互作用する２人のユーザを示している。様々な実施形態において、１つ以上のジェスチャシステム１００は、複数の音響空間内で音響イベントを生成するか及び／又は複数の音響空間内で１つ以上のユーザによって行われるジェスチャを追跡するように構成されることができる。例えば、限定されるものではないが、示されるように、ジェスチャシステム１００は、第１のユーザ（又はユーザのセット）についての第１の音響空間６０２、第２のユーザについての第２の音響空間６０４、第３のユーザについての第３の音響空間などを生成することができた。いくつかの実施形態において、音響空間６０２、音響空間６０４などは、音響空間内に位置する各ユーザ（又はユーザのセット）が実質的にその音響空間に関連付けられている音響イベントのみを聞くように、スピーカ１２０、センサ１４０、処理ユニット２１０などの異なるセットを含むことができる。例えば、限定されるものではないが、音響空間６０２は、ジェスチャシステム１００−１を介して実装されることができ、音響空間６０４は、ジェスチャシステム１００−２を介して実装されることができる。さらに、ジェスチャシステム１００−１及びジェスチャシステム１００−２は、必要に応じて、互いに及び／又は他の音響空間を実装する１つ以上の他のジェスチャシステム１００と通信することができる。
【００３６】
いくつかの実施形態において、１つ以上の構成要素は、様々な実施形態にかかる、２つの異なる音響空間の間においてオーディオイベントを渡すために単一のジェスチャシステム１００と相互作用する２人のユーザを示している図６Ｂに示されるように、複数の音響空間の間で共有することができるか及び／又は１つ以上の他の音響空間に含まれる構成要素と通信することができる。（例えば、図６Ｂに示されるように）複数の音響空間の間で構成要素を共有すること及び／又は（例えば、図６Ａに示されるように）異なる音響空間に関連付けられた構成要素間における通信を可能とすることは、ジェスチャが音響空間にわたって行われるのを可能とするか及び／又はオーディオイベントが音響空間の間において渡されるのを可能とする。例えば、限定されるものではないが、１つ以上の処理ユニット２１０を含む単一の計算機器２００は、（例えば、ジェスチャを追跡し、オーディオパラメータを変更し、ディスプレイを更新することによって）音響空間６０２及び音響空間６０４を実装することができる。さらに、音響空間６０２及び音響空間６０４は、共通のセンサ１４０及び／又はスピーカ１２０を使用することができる。例えば、限定されるものではないが、センサ１４０は、音響空間６０２及び音響空間６０４の双方に関連付けられたジェスチャを追跡するために使用されることができた。さらに、共有センサ１４０は、ユーザが第１の音響空間から第２の音響空間へとオーディオイベントを渡すためにジェスチャを行ったときなどに（例えば、図６Ａ及び図６Ｂに示される音声通話）、２つ以上の音響空間に関連付けられたジェスチャを追跡するために使用されることができた。いくつかの実施形態において、音響空間６０２は、車両の運転者などの第１のユーザに関連付けられることができ、音響空間６０４は、車両の乗員などの第２のユーザに関連付けられることができる。
【００３７】
図６Ａ及び図６Ｂに示されるように、点音源（例えば、音声通話）又は周囲音源（例えば、音楽）などのオーディオイベントは、第１のユーザ（又はユーザのセット）に関連付けられた音響空間６０２内で最初に生成されることができる。そして、第１のユーザは、第２のユーザ（又はユーザのセット）に関連付けられた音響空間６０２から音響空間６０４へとオーディオイベントを渡すためにジェスチャ（例えば、把持ジェスチャ、スワイプジェスチャ、静止ジェスチャなど）を行うことができる。さらに、ユーザは、第１の音響空間（例えば、音響空間６０２）内で現在生成される−オーディオイベントを、−第２の音響空間（例えば、音響空間６０４）内に位置する１人以上のユーザと共有するためにジェスチャを行うことができ、オーディオイベントが双方の音響空間内で生成させられる。上述したように、各音響空間６０２、６０４は、特定の音響空間内に位置するユーザが自己の音響空間内で生成されたオーディオイベントを聞くように、異なるセットのスピーカ１２０（及び、必要に応じて、１つ以上の共有スピーカ）を含むことができるが、他の音響空間内で生成されたオーディオイベントは実質的に聞こえない。従って、オーディオイベントが異なる音響空間の間において渡される及び／又は共有されるのを可能とすることにより、各ユーザは、近くの音響空間において生成されるオーディオイベントによって大幅に邪魔されることなく、自己の聴取体験をカスタマイズすることができる。
【００３８】
ユーザの指、手、腕などがオーディオイベントの現在の位置（例えば、オーディオイベントに関連付けられた仮想物体）に近いとき、ジェスチャシステム１００は、１つ以上のフィードバック装置を介して、オーディオ通知、振動、超音波、空気圧などの聴覚及び／又は触覚フィードバックを生成することができる。聴覚及び／又は触覚フィードバックを生成することは、ユーザがより容易にオーディオイベントと相互作用して再配置することを可能とする。同一又は他の実施形態において、ジェスチャシステム１００は、ユーザが仮想物体を解放したときなど、ジェスチャの開始時に及び／又はジェスチャの終了時に聴覚及び／又は触覚フィードバックをユーザに提供することができる。さらに、ユーザがより容易にオーディオイベントと相互作用すること、及び／又は、どのように自己のジェスチャが音響空間内に含まれるオーディオイベントに影響を与えているかを視認することを可能とするために視覚的フィードバックが提供されてもよい。そのような技術は、図７Ａ−図８Ｅとともに以下においてさらに詳細に記載される。
【００３９】
図７Ａ及び図７Ｂは、図１Ａのジェスチャシステム１００とともに実装されることができるボリュメトリックディスプレイを示している。示されるように、いくつかの実施形態において、ジェスチャシステム１００は、ユーザにとっての視覚的フィードバックを生成するボリュメトリックディスプレイ７１０を含む。様々な実施形態において、ボリュメトリックディスプレイ７１０は、スピーカ１３０によって再生される１つ以上のオーディオイベントに対応する仮想物体（例えば、３次元画像）を表示するために、電子ホログラフィ及び／又は類似のディスプレイ技術を実装することができる。図７Ａ−図８Ｅに示されるボリュメトリックディスプレイ７１０は、自動車環境において実装されるものとして示されているが、類似の種類のディスプレイが、家庭、オフィス、モバイル設定などの任意の他の種類の聴取環境において実施されてもよい。
【００４０】
動作時において、ボリュメトリックディスプレイ７１０は、スピーカ１３０によって生成される音響空間内に含まれるオーディオイベントに対応する１つ以上の視覚的表現を表示する。従って、ユーザは、オーディオイベントの位置を視認することができ、その後にジェスチャシステム１００に結合されたセンサ１４０によって検出される１つ以上のジェスチャを介してオーディオイベントとより効果的に相互作用することができる。例えば、限定されるものではないが、ボリュメトリックディスプレイ７１０は、様々な実施形態にかかる、オーディオイベントを再配置するためにボリュメトリックディスプレイ７１０と相互作用するユーザを示している図８Ａ−図８Ｅに示されるように、周囲音源（例えば、音楽）及び点音源（例えば、音声通話）を表示することができる。いくつかの実施形態において、オーディオイベントが音響空間の一部に及ぶ周囲音源であるとき、視覚的表現は、ボリュメトリックディスプレイ７１０の対応する部分に及ぶ。同一又は他の実施形態において、オーディオイベントが音響空間の特定の位置にレンダリングされている点音源であるとき、視覚的表現は、音響空間内の位置に対応するボリュメトリックディスプレイ７１０上の表示位置に位置している。従って、オーディオイベントの視覚的表現は、音響空間内でのオーディオイベントの位置を実質的に反映又は一致させることができる。
【００４１】
図８Ａ及び図８Ｂに示されるように、ユーザが周囲の音楽ソースを聴取している間、ユーザは、音声通話の着信の通知を受信することができる。そして、ユーザは、ボリュメトリックディスプレイ７１０によって表示される１つ以上のオーディオイベントに対して所望の位置に手を置き、スワイプジェスチャなどのジェスチャを行うことができる。ユーザがジェスチャを行うのにともない、センサ１４０は、ユーザの手の位置を追跡し、オーディオイベントの位置を更新する。さらに、ボリュメトリックディスプレイ７１０におけるオーディオイベントの視覚的表現の位置は、図８Ｃ及び図８Ｄに示されるように、ユーザの手とオーディオイベントに関連付けられた仮想物体との間の相互作用を反映するように更新される。そして、図８Ｅに示されるように、ユーザは、ボリュメトリックディスプレイ７１０上でユーザの右に対して点音源として表示されることができる音声通話に答えることができる。従って、ユーザは、オーディオイベントとの自己の相互作用を反映する視覚的フィードバックを受信することができ、ユーザがより効果的に音響空間内にオーディオイベントを再配置するのを可能とする。
【００４２】
様々な実施形態において、ユーザは、上述した技術の１つ以上を使用してボリュメトリックディスプレイ７１０と相互作用する。例えば、限定されるものではないが、処理ユニット２１０は、オーディオイベントに関連付けられた第１の仮想物体の位置を追跡し、（例えばセンサ１４０を介して）ユーザの指、手及び／又は腕に関連付けられた第２の仮想物体が第１の仮想物体と相互作用している（例えば、把持している）ときを判定することができる。同一又は他の実施形態において、ジェスチャシステム１００は、ユーザの指、手、腕などが近接しているときを検出することにより又はボリュメトリックディスプレイ７１０によって生成された画像を交差させることにより、ユーザとオーディオイベントとの間の相互作用を判定することができる。いくつかの実施形態において、ユーザとボリュメトリックディスプレイ７１０によって生成された画像との間の相互作用は、センサ１４０を介して検出される。例えば、限定されるものではないが、１つ以上のセンサ１４０は、ユーザの手がボリュメトリックディスプレイ７１０によって生成される３次元画像に近接している（又は交差しているとき）ジェスチャを行っている旨を検出することができる。そして、処理ユニット２１０は、３次元画像に対応するオーディオイベントに関連付けられた１つ以上のオーディオパラメータ及び／又は表示位置を変更することができる。
【００４３】
上記提供された例は、スワイプジェスチャを介して特定の種類のオーディオイベントと相互作用するための視覚的フィードバックを提供するために使用されるものとしてボリュメトリックディスプレイ７１０を説明しているが、ボリュメトリックディスプレイ７１０は、上述したジェスチャ、相互作用技術及び／又はオーディオイベントのいずれかについての視覚的フィードバックを提供するために使用されることができる。例えば、限定されるものではないが、ボリュメトリックディスプレイ７１０は、図４Ａ−図４Ｃに示される点音源など、ユーザが音響空間内で把持して移動させている１つ以上のオーディオイベント（例えば、点音源）を表示することによってフィードバックを提供することができる。さらに、ボリュメトリックディスプレイ７１０は、個々のオーディオイベントを把持、押圧、牽引、スワイプなどするためにユーザの腕を使用することをユーザに要求することなく、１つの手の位置によって開始されるアクション（例えば、静止ジェスチャ）のための視覚的フィードバックを提供するために使用されることができる。さらに、ボリュメトリックディスプレイ７１０は、ジェスチャシステム１００によって提供される他の種類のフィードバック（例えば、触覚、聴覚など）とともに視覚的フィードバックを提供してもよい。
【００４４】
図９は、様々な実施形態にかかる、ジェスチャに基づいてオーディオパラメータを変更するための方法ステップのフロー図である。方法ステップは、図１Ａ−図８Ｂのシステムとともに説明されるが、当業者は、任意の順序で方法ステップを実行するように構成された任意のシステムが、本発明の範囲内に含まれることを理解するであろう。
【００４５】
示されるように、方法９００は、ステップ９１０において始まり、処理ユニット２１０上で実行されるアプリケーション２３２は、センサ１４０を介して（例えば、ユーザの手、腕、指など）ユーザに関連付けられたセンサデータを取得する。ステップ９２０において、アプリケーション２３２は、ユーザの手、指、腕などの位置及び／又は向きに基づいて１つ以上の手の位置を判定するためにセンサデータを分析する。そして、ステップ９３０において、アプリケーション２３２は、ジェスチャ（例えば、分割ジェスチャ）が１つ以上の手の位置に基づいて行われたかどうかを判定する。ジェスチャがユーザによって行われていない場合、方法９００は、ステップ９１０に戻り、アプリケーション２３２は、センサデータを取得し続ける。
【００４６】
ジェスチャがユーザによって行われた場合、方法９００は、ステップ９４０へと進み、アプリケーション２３２は、オーディオストリームに関連付けられた１つ以上のパラメータを変更する。例えば、限定されるものではないが、ジェスチャが分割ジェスチャである場合、アプリケーション２３２は、１つ以上のオーディオイベントを音響空間の両側に移動させるようにオーディオストリームに関連付けられた１つ以上の空間オーディオパラメータを変更することができる。そして、ステップ９５０において、アプリケーション２３２は、任意のディスプレイ上に表示されるオーディオイベントの視覚的表現を更新する。例えば、限定されるものではないが、アプリケーション２３２は、ボリュメトリックディスプレイ７１０を介して生成された１つ以上の３次元画像の位置を変更させることができる。次に、ステップ９６０において、アプリケーション２３２は、変更されたオーディオストリームを、変更された空間オーディオパラメータに基づいてスピーカ１３０を介してユーザのために再生させる。そして、方法９００は終了する。
【００４７】
図１０は、様々な実施形態にかかる、仮想物体の位置に基づいてオーディオパラメータを変更するための方法ステップのフロー図である。方法ステップは、図１Ａ−図８Ｂのシステムとともに説明されるが、当業者は、任意の順序で方法ステップを実行するように構成された任意のシステムが、本発明の範囲内に含まれることを理解するであろう。
【００４８】
示されるように、方法１０００は、ステップ１０１０で始まり、ディスプレイ（例えば、ボリュメトリックディスプレイ７１０）は、オーディオストリームに含まれる１つ以上のオーディオイベントの視覚的表現を表示する。そして、ステップ１０２０において、処理ユニット２１０上で実行されるアプリケーション２３２は、センサ１４０を介してユーザ（例えば、ユーザの手、腕、指など）に関連付けられたセンサデータを取得する。ステップ１０３０において、アプリケーション２３２は、ユーザの手、指、腕などの位置及び／又は向きに基づいて、１つ以上の手の位置を判定するためにセンサデータを分析する。
【００４９】
ステップ１０４０において、アプリケーション２３２は、オーディオイベントに関連付けられた仮想物体が１つ以上の手の位置（例えば、ユーザの手、指、腕などの位置）に近接して配置されているかどうかを判定する。仮想物体が手の位置に近接して配置されていない場合、方法１０００は、ステップ１０２０に戻り、アプリケーション２３２は、センサデータを取得し続ける。仮想物体が手の位置に近接して配置されている場合、方法１０００は、ステップ１０５０へと進み、アプリケーション２３２は、ユーザが手の位置に基づいてジェスチャ（例えば、把持ジェスチャ）を行っているかどうかを検出する。
【００５０】
ジェスチャがユーザによって行われていない場合、方法１０００は、ステップ１０２０に戻り、アプリケーション２３２は、センサデータを取得し続ける。ジェスチャがユーザによって行われている場合、方法１０００は、ステップ１０６０へと進み、アプリケーション２３２は、ユーザと仮想物体との間の相互作用を判定する。例えば、限定されるものではないが、アプリケーション２３２は、ユーザが仮想物体を移動している位置を判定するために、センサデータを取得して追加の手／腕／指などの位置を判定し続けることができる。
【００５１】
そして、ステップ１０７０において、アプリケーション２３２は、ユーザと仮想物体との相互作用に基づいてオーディオストリームに関連付けられた１つ以上のパラメータを変更する。例えば、限定されるものではないが、ユーザがオーディオイベントに関連付けられた仮想物体を把持したとき、アプリケーション２３２は、ユーザが音響空間内の第１の位置から音響空間内の第２の位置まで移動されたオーディオイベントを聞くことができるように、オーディオイベントに関連付けられた空間オーディオパラメータを動的に変更することができる。ステップ１０８０において、アプリケーション２３２は、第１の表示位置から第２の表示位置まで仮想表現を移動させるなどにより、ユーザと仮想物体との相互作用に基づいて、ディスプレイに１つ以上のオーディオイベントの視覚的表現を更新させる。
【００５２】
次に、ステップ１０９０において、アプリケーション２３２は、（例えば、仮想物体を解放することによって）ユーザがジェスチャを終了したかどうかを判定する。ユーザがジェスチャを終了していない場合、方法１０００は、ステップ１０６０に戻る。ユーザがジェスチャを終了していた場合、アプリケーション２３２は、オーディオイベントに関連付けられたパラメータ及び視覚的表現の変更を停止し、方法１０００は終了する。
【００５３】
要するに、オーディオイベントの視覚的表現は、ユーザに表示される。そして、処理ユニット上で実行されるアプリケーションは、１つ以上のセンサを介してユーザによって行われるジェスチャを検出する。ジェスチャに応答して、アプリケーションは、オーディオストリームに関連付けられた１つ以上のパラメータを変更し、視覚的表現の位置を更新する。そして、ジェスチャシステムは、変更されたパラメータに基づいてユーザのためのオーディオストリームを再生する。さらに、ジェスチャシステムは、オーディオイベントの３次元視覚的表現を表示し、物理モデルを介してユーザとオーディオイベントに関連付けられた仮想物体との間の相互作用を判定することができる。そして、オーディオストリームに関連付けられた３次元視覚的表現及び１つ以上のオーディオパラメータは、相互作用に基づいて変更されることができる。
【００５４】
本願明細書に記載された技術の少なくとも１つの利点は、オーディオイベントが仮想音響空間内で再生されている位置をユーザが変更することができるということである。例えば、ユーザは、オーディオイベントに関連付けられた仮想物体を把持し、仮想３次元空間内の所望の位置に仮想物体を再配置するようにボリュメトリックディスプレイと相互作用することができる。さらに、ユーザがオーディオイベントと相互作用するとき、（例えば、ボリュメトリックディスプレイを介して）視覚、聴覚及び／又は触覚フィードバックがユーザに提供されることができる。従って、オーディオイベントは、音響空間内に再配置されることができ、ユーザがより効果的に聴取し及び／又は同時に複数のオーディオイベントと相互作用することを可能とする。
【００５５】
様々な実施形態の説明が例示の目的で提示されてきたが、網羅的であることを意図するものではなく又は開示された実施形態に限定することを意図するものではない。多くの変更及び変形が、説明された実施形態の範囲及び精神から逸脱することなく、当業者には明らかであろう。
【００５６】
本発明の実施形態の態様は、システム、方法又はコンピュータプログラム製品として具現化されることができる。従って、本開示の態様は、全て一般に「回路」、「モジュール」又は「システム」として本願明細書において称することができる、完全にハードウェアの実施形態、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態又はソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態を取ることができる。さらにまた、本開示の態様は、それに具現化されるコンピュータ読み取り可能なプログラムコードを有する１つ以上のコンピュータ読み取り可能な媒体に具現化されるコンピュータプログラム製品の形態を取ることができる。
【００５７】
１つ以上のコンピュータ読み取り可能な媒体の任意の組み合わせが利用可能である。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体とすることができる。コンピュータ読み取り可能な記憶媒体は、例えば、これらに限定されるものではないが、コンピュータ読み取り可能な記憶媒体は、例えば、これらに限定されるものではないが、電子、磁気、光学、電磁気、赤外線若しくは半導体システム、装置若しくは機器又は上記の任意の適切な組み合わせとすることができる。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、以下のものを含む。１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯用コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置又は上記の任意の適切な組み合わせ。この文書の文脈において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又は機器によって又はそれらとともに使用されるプログラムを含むか又は記憶することができる任意の有形媒体とすることができる。
【００５８】
本開示の態様は、本開示の実施形態にかかる方法、装置（システム）及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照しながら上述されている。フローチャート図及び／又はブロック図の各ブロック並びにフローチャート図及び／又はブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令がフローチャート及び／又はブロック図の１つ又は複数のブロックに記載された機能／動作の実装を可能とするように、機械を生成するために、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに提供されることができる。そのようなプロセッサは、限定されるものではないが、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ又はフィールドプログラマブルプロセッサとすることができる。
【００５９】
図面におけるフローチャート及びブロック図は、本開示の様々な実施形態にかかるシステム、方法及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能及び動作を示している。これに関して、フローチャート又はブロック図の各ブロックは、特定の論理的機能を実装するための１つ以上の実行可能な命令を含むモジュール、セグメント又はコードの一部を表すことができる。また、いくつの代替的実装において、ブロックに記載された機能は、図面に記載された順序を外れて起こってもよいことに留意すべきである。例えば、含まれる機能に応じて、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、そのブロックは、時々逆順に実行されてもよい。また、ブロック図及び／又はフローチャート図の各ブロック並びにブロック図及び／又はフローチャート図におけるブロックの組み合わせは、指定された機能若しくは動作を実行する専用のハードウェアベースのシステム、又は、専用ハードウェアとコンピュータ命令との組み合わせによって実装されることができることに留意すべきである。
【００６０】
本発明は、特定の実施形態を参照しながら説明された。しかしながら、当業者は、様々な変更及び変形が添付の特許請求の範囲に記載された本発明のより広い精神及び範囲から逸脱することなく行われ得ることを理解するであろう。例えば、限定されるものではないが、本願明細書における説明の多くは、ユーザのジェスチャ及び／又はユーザの環境に関連付けられたデータを取得及び処理することができる特定の種類のセンサ及びアルゴリズムに言及しているが、当業者は、本願明細書において記載されたシステム及び技術が他の種類のセンサ及びアルゴリズムに適用可能であることがわかるであろう。従って、上記説明及び図面は、限定的な意味ではなくむしろ例示としてみなされるべきである。
【００６１】
先行したものは本開示の実施形態に関するものであるが、本開示の他のさらなる実施形態がその基本的な範囲から逸脱することなく考案されてもよく、本発明の範囲は、以下の特許請求の範囲によって判定される。
【図１】
2015143987.tif 000003
【図２】
2015143987.tif 000004
【図３】
2015143987.tif 000005
【図４】
2015143987.tif 000006
【図５】
2015143987.tif 000007
【図６】
2015143987.tif 000008
【図７】
2015143987.tif 000009
【図８】
2015143987.tif 000010
【図９】
2015143987.tif 000011
【図１０】
2015143987.tif 000012
【外国語明細書】
2015143987000001.pdf