(57)【要約】【課題】非オーディオデータを用いたヘッドホン上でのハプティックのレンダリングを提供する。【解決手段】ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングすることは、非オーディオデータに基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成することと、ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用してハプティック信号で指定されたハプティックエフェクトをレンダリングすることとを含む。【選択図】図１
2019050558.tif 000002
【特許請求の範囲】
【請求項１】
ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングする方法であって、
非オーディオデータに基づいて前記ハプティック対応ヘッドホンシステムにおけるハプティック信号を生成するステップと、
前記ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用して前記ハプティック信号で指定されたハプティックエフェクトをレンダリングするステップと
を含む、方法。
【請求項２】
前記非オーディオデータを前記ハプティック対応ヘッドホンシステムにおける非オーディオイベントから生成するステップをさらに含む、請求項1に記載の方法。
【請求項３】
前記非オーディオデータは、前記ハプティック対応ヘッドホンシステム内のアプリケーション処理インターフェース(API)または物理ベースのデータジェネレータを使用して生成される、請求項2に記載の方法。
【請求項４】
前記ハプティック対応ヘッドホンシステム内の検出センサを使用して前記非オーディオイベントを検出するステップをさらに含む、請求項2に記載の方法。
【請求項５】
前記センサを使用して前記非オーディオイベントを検出するステップは、ユーザインターフェースまたはデータソースデバイスのコントローラとのインタラクションを検出するステップであって、前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの内部または外部にある、ステップを含む、請求項4に記載の方法。
【請求項６】
前記非オーディオデータを仮想現実または拡張現実ベースのシステムにおけるインタラクションまたは環境変化に由来する非オーディオイベントから生成するステップをさらに含む、請求項1に記載の方法。
【請求項７】
データソースデバイスから前記ハプティック対応ヘッドホンシステムにおいて前記非オーディオデータを受信するステップであって、前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの外部にある、ステップをさらに含む、請求項1に記載の方法。
【請求項８】
アプリケーション処理インターフェース(API)または前記データソースデバイス内の物理ベースのデータジェネレータを使用して前記非オーディオデータを生成するステップをさらに含む、請求項7に記載の方法。
【請求項９】
前記データソースデバイスは、モバイルデバイス、視覚ディスプレイ、またはリモートセンシングデバイスである、請求項7に記載の方法。
【請求項１０】
前記ハプティックエフェクトの前記レンダリングは、振動ハプティックエフェクト、変形ハプティックエフェクト、熱ハプティックエフェクト、エアベースハプティックエフェクト、静電摩擦ハプティックエフェクト、または超音波表面摩擦ハプティックエフェクトをレンダリングすることを含む、請求項1に記載の方法。
【請求項１１】
ハプティック対応ヘッドホンシステムであって、
非オーディオデータに基づいて前記ハプティック対応ヘッドホンシステムにおけるハプティック信号を生成する、ハプティック信号ジェネレータと、
前記ハプティック信号で指定されたハプティックエフェクトをレンダリングする、ハプティック出力デバイスと
を含む、ハプティック対応ヘッドホンシステム。
【請求項１２】
前記ハプティック出力デバイスは、振動デバイス、変形デバイス、熱デバイス、エアベースデバイス、静電摩擦デバイス、または超音波表面摩擦デバイスから選択された1つである、請求項11に記載のハプティック対応ヘッドホンシステム。
【請求項１３】
前記非オーディオデータを非オーディオイベントから生成する、非オーディオデータジェネレータをさらに含み、
前記非オーディオデータジェネレータは、アプリケーション処理インターフェース(API)または物理ベースのデータジェネレータである、請求項11に記載のハプティック対応ヘッドホンシステム。
【請求項１４】
ユーザインターフェースまたはデータソースデバイスのコントローラとのインタラクションを検出することによって前記非オーディオイベントを検出する、検出センサをさらに含み、
前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの内部または外部にある、請求項13に記載のハプティック対応ヘッドホンシステム。
【請求項１５】
前記非オーディオデータは、データソースデバイスから前記ハプティック対応ヘッドホンシステムにおいて受信され、
前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの外部にあり、モバイルデバイス、視覚ディスプレイ、またはリモートセンシングデバイスから選択された1つである、請求項11に記載のハプティック対応ヘッドホンシステム。
【請求項１６】
命令を記憶する非一時的コンピュータ可読媒体であって、プロセッサによって実行されると、前記命令は、前記プロセッサに、
非オーディオデータに基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成することと、
前記ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用して前記ハプティック信号で指定されたハプティックエフェクトをレンダリングすることと
を含む動作を行わせる、非一時的コンピュータ可読媒体。
【請求項１７】
前記プロセッサは、
前記非オーディオデータを前記ハプティック対応ヘッドホンシステムにおける非オーディオイベントから生成することを含む前記動作をさらに行う、請求項16に記載の非一時的コンピュータ可読媒体。
【請求項１８】
前記プロセッサは、
前記ハプティック対応ヘッドホンシステム内の検出センサを使用して前記非オーディオイベントを検出することを含む前記動作をさらに行い、
前記センサを使用して前記非オーディオイベントを検出することは、ユーザインターフェースまたはデータソースデバイスのコントローラとのインタラクションを検出することであって、前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの内部または外部にある、ことを含む、請求項17に記載の非一時的コンピュータ可読媒体。
【請求項１９】
前記プロセッサは、
前記非オーディオデータを仮想現実または拡張現実ベースのシステムにおけるインタラクションまたは環境変化に由来する非オーディオイベントから生成することを含む前記動作をさらに行う、請求項16に記載の非一時的コンピュータ可読媒体。
【請求項２０】
前記ハプティックエフェクトの前記レンダリングは、振動ハプティックエフェクト、変形ハプティックエフェクト、熱ハプティックエフェクト、エアベースハプティックエフェクト、静電摩擦ハプティックエフェクト、または超音波表面摩擦ハプティックエフェクトをレンダリングすることを含む、請求項16に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
例示的な実施形態は、ハプティックをレンダリングすることを目的としており、より詳細には、ヘッドホン上で非オーディオデータを用いたハプティックをレンダリングすることを目的としている。
【背景技術】
【０００２】
従来のヘッドホンシステムにおいては、ハプティックは、オーディオデータまたはオーディオデータに基づいた信号から生成されるハプティック信号に基づいてレンダリングされる。オーディオデータまたは信号は、スピーカなどのオーディオ出力デバイスから検出されるサウンドに一般的に由来する。
【発明の概要】
【課題を解決するための手段】
【０００３】
ある実施形態は、非オーディオデータに基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成し、ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用してハプティック信号で指定されたハプティックエフェクトをレンダリングすることによって、ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングする。
【０００４】
例示的な実施形態は、添付の図面と併用される以下の詳細な説明からより明確に理解されよう。図1〜3は、本明細書にて説明しているような非限定的で例示的な実施形態を表している。
【図面の簡単な説明】
【０００５】
【図１】例示的な実施形態による、非オーディオデータを用いてハプティックをレンダリングするフロー図である。
【図２】別の例示的な実施形態による、非オーディオデータを用いてハプティックをレンダリングするフロー図である。
【図３】例示的な実施形態による、ハプティック対応ヘッドホンシステムのブロック図である。
【発明を実施するための形態】
【０００６】
例示的な実施形態は、ハプティックをレンダリングすることを目的としており、より詳細には、ヘッドホン上で非オーディオデータを用いたハプティックをレンダリングすることを目的としている。
【０００７】
例示的な実施形態は、非オーディオデータまたは非オーディオデータに基づいた信号に基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成することによって、ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングすることを目的としている。
【０００８】
ハプティック信号をサウンドまたはオーディオデータ以外のデータから生成することによって、ヘッドホンシステムは、オーディオデータに由来するイベントに加えて、オーディオデータに由来していないイベントもハプティック処理することによって、個人により深い没入体験を提供している。
【０００９】
例えば、ビデオゲーム内でのレースカーの衝突がモバイルデバイスの視覚ディスプレイ上で個人に表示されると、ハプティック信号が、視覚ディスプレイ上に表示された衝突に基づいて、モバイルデバイスに接続されたハプティック対応ヘッドホンシステムによって生成される。その後、ハプティック対応ヘッドホンシステムは、衝突が視覚ディスプレイ上に表示される際に、個人に、ハプティック信号で指定されたハプティックエフェクト(例えば、振動)をレンダリングする。ハプティックエフェクトは、例えば、オーディオデータ内にはキャプチャされていないが視覚データまたはいくつかの他の形式のデータ内にキャプチャされている衝突中に、レースカー内のドライバの経験を反映し得る。
【００１０】
ハプティックとは、個人の触覚を使用して個人に対して、力、振動、およびモーションなどのハプティックフィードバックエフェクト(「ハプティックフィードバック」または「ハプティックエフェクト」としても知られている)を生成する触覚および力フィードバック技術である。ハプティックエフェクトは、離散的または連続的であり得る。ハプティック対応デバイスは、ハプティックエフェクトを適用するように構成される組み込みハードウェア(例えば、アクチュエータまたは他の出力機構)を含み得る。組み込みハードウェアは、一般的に、ハプティックエフェクトの特定のセットを適用(または再生)するようにプログラムされている。どのハプティックエフェクトが再生されるかを指定するハプティック信号がハプティック対応ヘッドホンシステム内の組み込みハードウェアによって受信されると、ハプティック対応ヘッドホンシステムは、指定されたハプティックエフェクトをレンダリングする。例えば、個人がハプティックイベントを経験する意図がある場合には、ハプティック対応ヘッドホンシステムの組み込みハードウェアは、制御回路を介して再生コマンドを受信する。その後、組み込みハードウェアは、適切なハプティックエフェクトを適用する。
【００１１】
図1は、例示的な実施形態による、非オーディオデータを用いてハプティックをレンダリングするフロー図である。図1中のコンポーネントの一部またはすべてはまた、図3の要素のいずれかを実施するために使用され得る。
【００１２】
図1を参照すれば、ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングする処理は、110において、ヘッドホンシステム内の内部検出センサを使用して非オーディオイベントを検出するステップを含み得る。内部検出センサを使用して非オーディオイベントを検出するステップは、ヘッドホンシステムの内部検出センサに接続されている(または、通信する)データソースデバイスのユーザインターフェースまたはコントローラ(例えば、アイコン、物理または仮想ボタン、スライダまたは他のウィジェット)とのインタラクション(例えば、タッチ動作)を検出するステップを含み得る。
【００１３】
例示的な実施形態によれば、非オーディオイベントは、サウンドデータを有していないイベントである。非オーディオイベントは、個人のアクションとは無関係に発生し得る(例えば、アラート、アラーム、テキストメッセージ、または検出センサ、ここで、サウンドは生じないまたは生じることが意図されていない)。また、あるいは、非オーディオイベントは、個人のアクションに応答し得る(例えば、サウンドが生じないまたは生じることが意図されていない視覚イベントにおいて)。さらに、非オーディオイベントは、受動的な(または間接的な)個人/オブジェクトのインタラクションに応答し得る。例えば、仮想現実または拡張現実ベースのシステムにおける受動的なインタラクションおよびイベントが、ハプティック処理され得る、たとえば、アバターが真夏日に外で歩く場合に発生する輝度の変化が、熱ハプティックエフェクトによってハプティック処理され得る、または、アバター/オブジェクトの移動の結果として発生するイベント(草原を抜けて歩く際の草の葉の感触、雪の中を踏みしめる際の冷たさまたは湿度、アバターの肩に当たる木の枝、雨の感触、または雷による振動など)がハプティック処理され得る。あるいは、非オーディオイベントは、仮想現実または拡張現実ベースのシステムにおいて個人があるオブジェクトまたはアバターを操作している場合などの、個人/オブジェクトによる能動的(直接的)インタラクションに応答し得る。
【００１４】
非オーディオイベントは、リアルタイムに発生するイベント、遠隔で発生するイベント、仮想イベント、視覚(例えば、画像)、またはその組合せであり得る。例えば、非オーディオイベントは、仮想現実ベースのシステムまたは拡張現実ベースのシステムを介して発生し得る。別の例としては、非オーディオイベントは、スポーツイベントの放送中など、リアルタイムではあるが遠隔地で発生し得る。そのため、非オーディオイベントは、ゲーム中、スポーツイベントの放送中、手術中、または環境がユーザナビゲーションしている間に、発生し得る。
【００１５】
例示的な実施形態によれば、データソースデバイスは、モバイルデバイス(例えば、mp3、セルラ電話、タブレット、カメラなど)、表示デバイスの視覚ディスプレイ(例えば、テレビ、タブレットなど)、またはリモートセンシングデバイス(例えば、仮想現実または拡張現実ベースのシステム、医療機器、または検出センサなど)であり得る。データソースデバイスは、ヘッドホンシステムの内部または外部に存在し得る。
【００１６】
ハプティックのレンダリングは、120において、ヘッドホンシステムにおいて非オーディオイベントから非オーディオデータを生成するステップをさらに含み得る。非オーディオデータは、ヘッドホンシステム内の非オーディオデータジェネレータを使用して生成され得る。非オーディオデータは、サウンドデータ以外の任意の形式のデータ(例えば、センサデータ、視覚データなど)を含む。
【００１７】
非オーディオデータジェネレータは、ヘッドホンシステム内のアプリケーション処理インターフェース(「API」)または物理ベースのデータジェネレータであり得る。APIは、データソースデバイスおよび/または内部検出センサ内のリソース(例えば、ユーザインターフェース、グラフィックユーザインターフェースなど)の利用を制御または行うことによって、非オーディオデータを生成する。例えば、ユーザがユーザインターフェース上でアイコン(アプリケーションに対応)をタッチすると、第1のAPIがユーザインターフェースとのユーザのインタラクションを検出し得るし、その後、第2のAPIがヘッドホン上にハプティックエフェクトの再生を作成し得る。物理ベースのデータジェネレータは、シミュレーションしたエフェクト、または内部検出センサによって検出された非オーディオイベントによってトリガされてリアルタイム生成したエフェクトに基づいて非オーディオデータを生成する。
【００１８】
ハプティックのレンダリングは、ハプティック信号ジェネレータを使用して、140において、ヘッドホンシステムにおいて非オーディオデータに基づいてハプティック信号を生成するステップを含む。
【００１９】
ハプティックのレンダリングは、150において、ヘッドホンシステム内のハプティック出力デバイスを使用してハプティック信号で指定された1つまたは複数のハプティックエフェクトをレンダリングするステップをさらに含む。
【００２０】
ハプティックのレンダリングは、振動ハプティックエフェクト、変形ハプティックエフェクト、熱ハプティックエフェクト、エアベースハプティックエフェクト、静電摩擦ハプティックエフェクト、超音波表面摩擦ハプティックエフェクト、神経刺激、または電気刺激のうちの少なくとも1つをレンダリングするステップを含み得る。
【００２１】
図2は、別の例示的な実施形態による、非オーディオデータを用いてハプティックをレンダリングするフロー図である。図2中のコンポーネントの一部またはすべてはまた、図3の要素のいずれかを実施するために使用され得る。
【００２２】
図2を参照すれば、別の例示的な実施形態によるハプティックのレンダリングは、230において、ヘッドホンシステムの外部にあるデータソースデバイスにおいておよび/または外部検出センサにおいて非オーディオイベントから非オーディオデータを生成するステップを含み得る。例えば、非オーディオデータは、仮想現実または拡張現実ベースのシステムにおけるインタラクションまたは環境の変化から導出されてもよい。
【００２３】
非オーディオデータを生成することは、非オーディオデータジェネレータを使用することを含み得る。非オーディオデータジェネレータは、データソースデバイス内にまたは別個のデバイス内にあり得る。非オーディオデータジェネレータを使用して非オーディオデータを生成するステップは、APIまたはヘッドホンシステム内の物理ベースのデータジェネレータを使用するステップを含み得る。APIは、データソースデバイスおよび/または外部検出センサ内のリソース(例えば、ユーザインターフェース、グラフィックユーザインターフェースなど)の利用を制御または行うことによって、非オーディオデータを生成する。物理ベースのデータジェネレータは、シミュレーションしたエフェクト、またはデータソースデバイスおよび/または外部検出センサによって検出された非オーディオイベントによってトリガされてリアルタイム生成したエフェクトに基づいて非オーディオデータを生成する。
【００２４】
非オーディオデータジェネレータは、非オーディオデータをヘッドホンシステムに送信する。
【００２５】
ハプティックのレンダリングは、235において、非オーディオデータジェネレータからヘッドホンシステムにおいて非オーディオデータを受信するステップを含み得る。
【００２６】
ハプティックのレンダリングは、ハプティック信号ジェネレータを使用して、240において、非オーディオデータに基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成するステップを含む。
【００２７】
ハプティックのレンダリングは、250において、ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用してハプティック信号で指定された1つまたは複数のハプティックエフェクトをレンダリングするステップをさらに含む。
【００２８】
ハプティックのレンダリングは、振動ハプティックエフェクト、変形ハプティックエフェクト、熱ハプティックエフェクト、エアベースハプティックエフェクト、静電摩擦ハプティックエフェクト、超音波表面摩擦ハプティックエフェクト、神経刺激、または電気刺激のうちの少なくとも1つをレンダリングするステップを含み得る。
【００２９】
図3は、例示的な実施形態による、ハプティック対応ヘッドホンシステムのブロック図である。
【００３０】
図3を参照すれば、例示的な実施形態によるハプティック対応ヘッドホンシステム310の内部には、非オーディオデータに基づいてヘッドホンシステム310上にハプティックエフェクトを生成するハプティックフィードバックシステムが存在する。一例示的な実施形態における非オーディオデータは、サウンド(例えば、視覚データ、センサデータなど)に由来しないデータである。
【００３１】
ヘッドホンシステム310のハプティックフィードバックシステムは、ヘッドホンセット311を含む。ヘッドホンセット311は、オーディオとともにハプティックエフェクトを提供して個人に対する没入体験を作成する。ヘッドホンセット311は、有線または無線接続を介してデータソースデバイス(例えばモバイル電話、仮想現実または拡張現実ベースのシステムなど)に電気的に接続され得る。
【００３２】
データソースデバイスは、個人にグラフィカル表現またはユーザインターフェースを表示するための発光ディスプレイ(「LED」)または液晶ディスプレイ(「LCD」)を有するデバイスであり得る。表示デバイスは、ハプティックフィードバックシステムのプロセッサまたはコントローラ312から信号を送受信するように構成されるタッチセンサ型入力デバイス(すなわち、タッチスクリーン)であり得るし、マルチタッチタッチスクリーンであり得る。
【００３３】
プロセッサ312は、メモリ320およびハプティック出力デバイス318に接続されている駆動回路316に接続されている。
【００３４】
プロセッサ312は、汎用プロセッサの任意のタイプであり得る、または、特定用途向け集積回路(「ASIC」)などのハプティックエフェクトを提供するように特に設計されたプロセッサであり得る。プロセッサ312は、全ヘッドホンシステム310を動作させる同一のプロセッサであり得る、または別個のプロセッサであり得る。プロセッサ312は、どのようなハプティックエフェクトを再生すべきか、高レベルパラメータに基づいてエフェクトを再生する順番を決定し得る。一般に、特定のハプティックエフェクトを定義する高レベルパラメータは、大きさ、周波数、および期間を含む。ストリーミングモータコマンドなどの低レベルパラメータはまた、特定のハプティックエフェクトを決定するために使用され得る。ハプティックエフェクトが、ハプティックエフェクトを生成する際のこれらのパラメータのいくつかの変形または個人のインタラクションに基づいたこれらのパラメータの変形を含む場合には、「動的」とみなし得る。
【００３５】
プロセッサ312は、ハプティック出力デバイス318に所要の電流および電圧(すなわち、「モータ信号」)を供給して所望のハプティックエフェクトが生成されるようにするために使用される電子コンポーネントおよび回路を含む、駆動回路316に制御信号を出力する。ヘッドホンシステム310は、複数のハプティック出力デバイス318を含み得るし、各ハプティック出力デバイス318は、別個の駆動回路316を含み得るし、そのすべてがプロセッサ312に接続されている。メモリデバイス320は、ランダムアクセスメモリ(「RAM」)もしくはリードオンリーメモリ(「ROM」)、フラッシュメモリ、ROM、消去可能プログラマブルリードオンリーメモリ(「EPROM」)、または電気的消去可能プログラマブルリードオンリーメモリ(「EEPROM」)といった、レジスタといった、リムーバブルディスク、磁気もしくは光学ディスクなどの静的ストレージといった、コンパクトディスクリードオンリーメモリ(「CD-ROM」)といった、または従来技術において周知の任意の他の形式のストレージメディアといった、任意のタイプの一時的または非一時的ストレージデバイスまたはコンピュータ可読媒体であり得る。
【００３６】
コンピュータ可読媒体は、プロセッサ312によってアクセスされ得る任意の利用可能な媒体であり得るし、揮発性および不揮発性双方のメディア、リムーバブルおよび非リムーバブルメディア、通信媒体、およびストレージメディアを含み得る。通信媒体は、搬送波もしくは他の伝送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを含み得るし、従来技術において周知の任意の他の形式の情報配信メディアを含み得る。
【００３７】
メモリデバイス320は、オペレーティングシステム命令などの、プロセッサ312によって実行される命令を記憶する。その命令のうち、メモリデバイス320は、非オーディオデータおよび本明細書に開示のすべての他の機能性に基づいてハプティック信号を生成するハプティック信号ジェネレータ322を含む。ハプティック信号は、ヘッドホンシステム310上にレンダリングされることになるハプティックエフェクトを指定する。メモリデバイス320はまた、プロセッサ312または内部および外部メモリの任意の組合せの内部に位置し得る。
【００３８】
メモリデバイス320は、非オーディオイベントから非オーディオデータを生成する非オーディオデータジェネレータ324を含み得る。非オーディオデータジェネレータ324は、APIまたは物理ベースのデータジェネレータであり得る。APIは、データソースデバイスおよび/または検出センサ内のリソース(例えば、ユーザインターフェース、グラフィックユーザインターフェースなど)の利用を制御または行うことによって、非オーディオデータを生成する。物理ベースのデータジェネレータは、シミュレーションしたエフェクト、またはデータソースデバイスおよび/または検出センサによって検出された非オーディオイベントによってトリガされてリアルタイム生成したエフェクトに基づいて非オーディオデータを生成する。
【００３９】
非オーディオイベントは、任意の対応するサウンドデータを有していないイベントである。例えば、非オーディオイベントは、サウンドが生じない、視覚キュー、アラート、アラーム、テキストメッセージ、またはセンサにおいて、発生し得る。
【００４０】
非オーディオイベントは、リアルタイムに発生するイベント、遠隔で発生するイベント、仮想イベント、視覚(例えば、画像)、またはその組合せであり得る。例えば、非オーディオイベントは、仮想現実ベースのシステムまたは拡張現実ベースのシステムを介して発生し得る。別の例としては、非オーディオイベントは、スポーツイベントの放送中など、リアルタイムではあるが遠隔地で発生し得る。そのため、非オーディオイベントは、ゲーム中、スポーツイベントの放送中、手術中、または環境がユーザナビゲーションしている間に、発生し得る。
【００４１】
代替の例示的な実施形態においては、非オーディオデータは、データソースデバイスからヘッドホンシステム310において受信され得る。例えば、非オーディオデータは、仮想現実または拡張現実ベースのシステムにおけるインタラクションまたは環境変化に由来する非オーディオイベントから生成され得るし、その後、非オーディオデータは、ヘッドホンシステム310のプロセッサ312に送信され得る。
【００４２】
例示的な実施形態によれば、データソースデバイスは、モバイルデバイス(例えば、mp3、セルラ電話、タブレット、カメラなど)、表示デバイスの視覚ディスプレイ(例えば、テレビ、タブレットなど)、またはリモートセンシングデバイス(例えば、仮想現実または拡張現実ベースのシステム、医療機器、検出センサなど)であり得る。データソースデバイスは、ヘッドホンシステムの内部または外部に存在し得る。
【００４３】
視覚キューから生成された非オーディオデータは、視覚-ハプティック変換アルゴリズムを使用してハプティック信号ジェネレータ322によってハプティック処理され得る。例えば、米国特許第9,368,005号に開示されているようなビデオ-ハプティック変換アルゴリズムを使用してもよい。例示的な実施形態によれば、キュー全体というより視覚キューのある一部のみがハプティック処理され得る。したがって、例示的な実施形態は、これら視覚キューの一部が改善されたハプティック信号を提供するように構成されるハプティック変換アルゴリズムを使用し得る。
【００４４】
ハプティック出力デバイス318は、ハプティック信号で指定されたハプティックエフェクトを生成する任意のタイプのデバイスであり得るし、ヘッドホンセット311の任意の領域に物理的に位置し、個人の肉体の所望の領域に所望のハプティックエフェクトを作成することが可能とし得る。いくつかの例示的な実施形態においては、ヘッドホンシステム310は、10個または100個さえものハプティック出力デバイス318を含み、ハプティック出力デバイス318は、個人の肉体の一般的にどのエリアでもハプティックエフェクを生成することを可能にし、任意のタイプのハプティックエフェクトを生成することを可能にする、異なるタイプのものであり得る。
【００４５】
例示的な実施形態においては、ハプティック出力デバイス318は、振動触覚または振動ハプティックエフェクトを生成するアクチュエータであり得る。本目的に対して使用されるアクチュエータは、偏心質量がモータによって移動されるEccentric Rotating Mass(「ERM」)などの電磁気アクチュエータ、バネに取り付けられた質量が前後に駆動されるLinear Resonant Actuator(「LRA」)、または圧電、電気活性ポリマーもしくは形状記憶合金などの「スマートマテリアル」を含み得る。ハプティック出力デバイス318はまた、静電摩擦(「ESF」)デバイスもしくは超音波表面摩擦(「USF」)デバイスなどのデバイス、または超音波ハプティックトランスデューサを用いて音響放射圧を誘導するデバイスであり得る。他のデバイスは、ハプティック回路基板および可撓性のあるまたは変形可能な表面を使用し得るし、デバイスは、エアジェットなどを使用した一陣のエアなどの投射型ハプティック出力を提供し得る。ハプティック出力デバイス318は、熱ハプティックエフェクト(例えば、加温または冷却)、神経刺激または電気刺激を提供するデバイスでさらにあり得る。
【００４６】
ハプティック出力デバイス318は、ヘッドホンセット311のスピーカ内に位置してもよい。スピーカは、ヘッドホンセット311の左側および/または右側にあってもよい。スピーカ内のハプティック出力デバイス318によってレンダリングされるハプティックエフェクトは、ステレオサウンドを構築する方式と空間的に類似し得る。あるいは、ハプティックエフェクトは、2つのスピーカのうちの1つにレンダリングしてもよい。ヘッドホンシステム310が仮想現実または拡張現実ベースのシステムに接続して使用される場合には、個人の視覚の範囲の左に落ちたオブジェクトは、左のスピーカのみで再生されるハプティックエフェクトでハプティック処理され得る。別の例としては、仮想現実または拡張現実ベースのシステム内で、ユーザの前方で左から右に移動する車は、左のスピーカから始まって左右両方のスピーカに遷移して右のスピーカで終了するハプティックエフェクトでハプティック処理され得る。
【００４７】
例示的な実施形態においては、すべてのハプティックエフェクトは、ヘッドホンセット311のスピーカを介して直接レンダリングされ得る。
【００４８】
ヘッドホンシステム310は、プロセッサ312に接続されているセンサ328をさらに含む。センサ328は、非オーディオイベント(例えば、ビデオゲームイベント、アラート、アラーム、電話の呼び出し、テキストメッセージ、物理プロパティ、エネルギーなど)を検出するために使用され得る。センサ328は、データソースデバイスのユーザインターフェースまたはコントローラとのインタラクションを検出することによって、非オーディオイベントを検出するために使用され得る。センサ328は、ヘッドホンシステム310の内部または外部に存在し得る。例えば、ヘッドホンシステム310の外部にあるセンサ328は、ヘッドホンシステムに接続または通信し得るし、データソースデバイス内にあり得る。
【００４９】
センサ328は、これらに限定されないが、移動、加速度、生理学的信号、距離、流量、力/圧力/歪み/曲げ、湿度、線形位置、方向/傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度などのある形式のエネルギーまたは他の物理プロパティを検出するように構成され得る。センサ328は、検出したエネルギーまたは他の物理プロパティを電気信号または仮想センサ情報を表す任意の信号に変換するようにさらに構成され得る。センサ328は、これらに限定されないが、加速度計、心電図、脳電図、筋電計、眼電図、電子口蓋図、電気皮膚反応センサ、電気容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、歪みセンサ(または屈曲センサ)、力感知抵抗、付加セル、LuSense CPS2 155、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形ポテンショメータ(またはスライダ)、線形可変差動変圧器、コンパス、傾斜計、磁気タグ(または無線周波数識別タグ)、回転エンコーダ、回転式ポテンショメータ、ジャイロスコープ、オンオフスイッチ、温度センサ(サーモメータ、熱電対、抵抗温度検出器、サーミスタ、または温度変換集積回路など)、光度計、高度計、生物学的モニタ、カメラ、または光依存性抵抗などの任意のデバイスであり得る。
【００５０】
センサ328は、個人がランニングしている場合およびヘッドホンシステム310が個人に身に着けているバッグやポケット内にある場合のヘッドホンシステム310の加速度の検出などといった、ヘッドホンシステム310周辺の環境をセンシングし得る。検出された加速度は、速度/テンポを決定するために使用され、より速い/より遅い速度を示すハプティックフィードバックの形式で、例えば、仮想訓練器内で、個人に伝達される。
【００５１】
センサ328は、どれくらい個人またはデバイスがウォールポストまたは別の個人に近接しているかを検出し、潜在的な衝突を警告するためにセンサデータを提供する、近接センサであり得る。
【００５２】
代替の例示的な実施形態においては、センサ328は、ヘッドホンシステム310内に、またはデバイスの上またはモノのインターネット(「IoT」)セットアップにおいて見られるような個人が身に着けている衣服の上などのヘッドホンシステム310の外部にあり得る、ここで、個人によって身に着けられているヘッドホンセット311は、衝突が差し迫っていることをウォールポストまたは別の個人から通信/メッセージを受信し、潜在的な衝突を警告するためにセンサデータをヘッドホンシステム310に提供する。前記IoTセットアップでは、すべてのコンピューティングデバイスが接続(または、ネットワーク化)されており、ウォールポストがインテリジェントであると仮定する。
【００５３】
ヘッドホンシステム310は、ヘッドホンシステム310がインターネット/クラウド350上で通信することを可能にする通信インターフェース325をさらに含む。インターネット/クラウド350は、ヘッドホンシステム310のためのリモートストレージおよびプロセッシングを提供し、ヘッドホンシステム310が同様または異なるタイプのデバイスと通信することを可能にし得る。さらに、本明細書に記載の処理の機能性のいずれもが、ヘッドホンシステム310からプロセッサ/コントローラリモートによって行われ、通信インターフェース325を介して通信され得る。
【００５４】
代替の例示的な実施形態においては、通信インターフェース325は、赤外線のための無線ネットワーク通信、無線、Wi-Fi、またはセルラネットワーク通信を提供するネットワークインターフェースカードであり得る。あるいは、通信インターフェース325は、有線ネットワーク接続(例えば、ケーブル/Ethernet/光ファイバ接続、またはモデム)を提供し得る。
【００５５】
例示的な実施形態によれば、ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングすることは、非オーディオデータまたは非オーディオデータに基づいた信号に基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成することを含む。
【００５６】
例示的な実施形態は、オーディオデータに由来するイベントに加えて、オーディオデータに由来していないイベントもハプティック処理することによって、個人により深い没入体験を提供するハプティック対応ヘッドホンシステムを目的としている。
【００５７】
前述のことは、様々な例示的な実施形態の一例に過ぎず、限定するものとして解釈すべきではない。それゆえ、そのような変更のすべては、特許請求の範囲に定義されているように、開示の範囲内に含まれることを意図している。
【符号の説明】
【００５８】
310  ハプティック対応ヘッドホンシステム
311  ヘッドホンセット
312  プロセッサ
316  駆動回路
318  ハプティック出力デバイス
320  メモリ
322  ハプティック信号ジェネレータ
324  非オーディオデータジェネレータ
325  通信インターフェース
328  センサ
350  クラウド
【図１】
2019050558.tif 000003
【図２】
2019050558.tif 000004
【図３】
2019050558.tif 000005
【外国語明細書】
2019050558000001.pdf