(57)【要約】      （修正有）【課題】センサ情報に基づいて触覚を出力することができる触覚出力システムを提供する。【解決手段】被追跡実体からセンサ情報を受信し、被追跡実体のセンサ情報に基づいて、イベントを決定する。決定されたイベントのタイプに基づいて、イベントＩＤをイベントに割り当て、イベントＩＤを触覚対応デバイスに送信し、触覚対応デバイスはイベントＩＤから決定される触覚効果を出力する。【選択図】図１
2017059206.tif 000002
【特許請求の範囲】
【請求項１】
イベント識別子（ＩＤ）を生成する方法であって、
被追跡実体からセンサ情報を受信するステップと、
前記センサ情報に基づいてイベントを決定するステップと、
前記イベントに対応するイベントＩＤを割り当てるステップと、
前記イベントＩＤを、前記イベントＩＤから決定される触覚効果の出力のために触覚対応デバイスに送信するステップと、を含む方法。
【請求項２】
１つ以上の被追跡実体との関連性に基づいて前記イベントを分類するステップと、
分類ＩＤを前記イベントに割り当てるステップであって、前記分類ＩＤは個別の被追跡実体に関連付けられる特定の人または対象物を指定する、ステップと、
少なくとも１つの分類ＩＤを前記イベントＩＤに関連付けるステップと、を更に含む請求項１に記載の方法。
【請求項３】
前記送信するステップは、前記イベントＩＤと共に前記少なくとも１つの分類ＩＤを、前記イベントＩＤ及び前記分類ＩＤから決定される触覚効果の出力のために送信するステップを更に含む、請求項２に記載の方法。
【請求項４】
前記触覚効果は、分類好み設定を指定し、前記分類ＩＤを一致させて、前記一致した分類ＩＤに対応する前記イベントＩＤを選択するユーザの好み設定から更に決定される、請求項３に記載の方法。
【請求項５】
前記イベントＩＤを他のイベントＩＤと共にマルチチャネル・フィードにマージするステップを更に含む請求項１に記載の方法。
【請求項６】
前記送信するステップは、前記マルチチャネル・フィードを第２の処理サーバに処理のため送信するステップと、触覚対応デバイスに提供するステップとを更に含む、請求項５に記載の方法。
【請求項７】
被追跡実体から前記センサ情報を受信する前記ステップの前に、前記センサ情報をソースによってグループ化するステップと、
前記センサ情報をマルチチャネル・フィードにマージするステップと、
前記マルチチャネル・フィードを被追跡実体のセンサ情報として提供するステップと、を更に含む請求項２に記載の方法。
【請求項８】
前記イベントＩＤを送信するステップの前に、意図的なブロードキャースト遅延及びイベントＩＤ処理時間に基づいてある時間だけ前記送信するステップを遅延するステップを更に備える請求項１に記載の方法。
【請求項９】
イベント識別子（ＩＤ）を生成するシステムであって、
被追跡実体からセンサ情報を受信するように構成されるセンサ情報インタフェースと、
前記センサ情報に基づいてイベントを決定し、前記イベントに対応するイベントＩＤを割り当て、前記イベントＩＤを、前記イベントＩＤから決定される触覚効果の出力のために触覚対応デバイスに送信するように構成されるイベント処理サーバと、を備えるシステム。
【請求項１０】
前記イベント処理サーバは、
１つ以上の被追跡実体との関連性に基づいて前記イベントを分類し、
分類ＩＤを前記イベントに割り当て、前記分類ＩＤは個別の被追跡実体に関連付けられる特定の人または対象物を指定し、
少なくとも１つの分類ＩＤを前記イベントＩＤに関連付けるように更に構成される、請求項９に記載のシステム。
【請求項１１】
前記送信することは、前記イベントＩＤと共に前記少なくとも１つの分類ＩＤを、前記イベントＩＤ及び前記分類ＩＤから決定される触覚効果の出力のために送信することを更に含む、請求項１０に記載のシステム。
【請求項１２】
前記イベントＩＤ及び分類好み設定を指定するユーザの好み設定から前記触覚効果を決定するように構成される第２の処理サーバをさらに備え、前記第２の処理サーバは前記分類ＩＤを一致させ、且つ前記一致した分類ＩＤに対応する前記イベントＩＤを選択する、請求項１１に記載のシステム。
【請求項１３】
前記イベントＩＤを他のイベントＩＤと共にマルチチャネル・フィードにマージするように構成されるイベントＩＤマージャーを更に備える請求項９に記載のシステム。
【請求項１４】
前記マルチチャネル・フィードを受信し、前記フィードを処理し、１つ以上のイベントＩＤを触覚対応デバイスに提供するように構成される第２の処理サーバを更に備える請求項１３に記載のシステム。
【請求項１５】
前記センサ情報インタフェースは、前記センサ情報をソースによってグループ化し、前記センサ情報をマルチチャネル・フィードにマージし、前記マルチチャネル・フィードを被追跡実体のセンサ情報として提供するように更に構成される、請求項１０に記載のシステム。
【請求項１６】
前記イベント処理サーバは、
前記イベントＩＤを送信する前に、意図的なブロードキャースト遅延及びイベントＩＤ処理時間に基づいてある時間だけ前記送信を遅延するように更に構成される請求項９に記載のシステム。
【請求項１７】
イベント識別子（ＩＤ）から触覚効果を生成する方法であって、
ユーザから出力好み設定の選択を受信するステップと、
イベントＩＤを受信するステップであって、前記イベントＩＤはイベントにより決定され、前記イベントは被追跡実体によって提供されるセンサ情報に基づいて決定されるステップと、
前記イベントＩＤ及び前記出力好み設定に基づいて触覚効果を選択するステップと、
前記触覚効果を触覚出力デバイス上に出力するステップと、を含む方法。
【請求項１８】
前記イベントＩＤと共に、１つ以上の実体センサとの関連性に基づく分類ＩＤを受信するステップを更に含む請求項１７に記載の方法。
【請求項１９】
前記出力好み設定は、前記分類ＩＤを一致させて、前記一致した分類ＩＤに対応する前記触覚効果を選択させる分類を指定する、請求項１８に記載の方法。
【請求項２０】
前記イベントＩＤは、他のイベントＩＤを有するマルチチャネル・フィードから選択され、前記選択は前記出力好み設定に基づく、請求項１７に記載の方法。
【請求項２１】
異なるイベントＩＤを前記マルチチャネル・フィードから選択させるように前記出力好み設定を更新するステップを更に含む請求項２０に記載の方法。
【請求項２２】
イベント識別子（ＩＤ）から触覚効果を生成するシステムであって、
ユーザから出力好み設定の選択を受信し、
イベントＩＤを受信し、前記イベントＩＤはイベントにより決定され、前記イベントは被追跡実体によって提供されるセンサ情報に基づいて決定され、
前記イベントＩＤ及び前記出力好み設定に基づいて触覚効果を選択し、
前記触覚効果を触覚出力デバイス上に出力するように構成されるデバイスを備えるシステム。
【請求項２３】
前記デバイスは、
前記イベントＩＤと共に、１つ以上の実体センサとの関連性に基づく分類ＩＤを受信するように更に構成される、請求項２２に記載のシステム。
【請求項２４】
前記出力好み設定は、前記分類ＩＤを一致させて、前記一致した分類ＩＤに対応する前記触覚効果を選択させる分類を指定する、請求項２３に記載のシステム。
【請求項２５】
前記イベントＩＤは、他のイベントＩＤを有するマルチチャネル・フィードから選択され、前記選択は前記出力好み設定に基づく、請求項２２に記載のシステム。
【請求項２６】
前記デバイスは、
異なるイベントＩＤを前記マルチチャネル・フィードから選択させるように前記出力好み設定を更新するように更に構成される、請求項２５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
１つの実施形態は触覚出力システムに向けられる。より具体的には、１つの実施形態は、センサ情報に基づいて触覚を出力することができる触覚出力システムに向けられる。
【背景技術】
【０００２】
聴衆は、一般的に、大きな画面、洗練された音響効果などの没入型エンタテインメントを高く評価する。センサをライブ・イベントにおける参加者に付加することができ、振動触覚効果などの触覚効果を、センサの出力に基づいて視聴者に提供することができる。
【０００３】
従来のシステムは、センサからの触覚情報を未加工のセンサ・データに基づいて提供する。例えば、センサが打たれる、あるいは衝突される場合、センサの衝撃特性に対応する振動を、視聴者または聴衆の構成員に提供することができるであろう。
【発明の概要】
【０００４】
実施形態は、イベント識別子を生成する方法を含み、その方法は、被追跡実体からのセンサ情報を受信するステップを含む。被追跡実体のセンサ情報に基づいて、イベントが決定される。決定されたイベントのタイプに基づいて、イベントＩＤをそのイベントに割り当てることができる。イベントＩＤを触覚対応デバイスに送信することができ、触覚対応デバイスはイベントＩＤから決定される触覚効果を出力する。
【図面の簡単な説明】
【０００５】
【図１】本発明の１つの実施形態に係る触覚対応システムのブロック図である。
【図２】本発明の１つの実施形態に係る触覚対応システムのブロック図である。
【図３】１つの実施形態に係るイベントＩＤを提供するフロー図である。
【図４】１つの実施形態に係るイベントＩＤを提供するフロー図である。
【図５】１つの実施形態に係る触覚出力デバイスにおいて触覚出力を提供するフロー図である。
【図６】幾つかの実施形態に係るマージしたセンサ・パケット・フォーマット例を示す。
【図７】他のブロードキャースト・データとの触覚イベントＩＤの同期を示す時系列図である。
【図８】１つの実施形態に係るセンサ情報に基づいてイベントを決定するフロー図である。
【図９】ヒットの後にサンプリングされることができるｚ加速度値の出力例を示す。
【発明を実施するための形態】
【０００６】
実施形態は、スポーツ・イベントの自宅視聴者などのイベントの視聴者または聴衆が、イベント会場で起きているアクションに基づいて聴衆の構成員に触覚フィードバックを提供することによって、より没入してイベントを体験することを可能にする。例えば、選手がタックルを行う時に聴衆の構成員に提供される触覚フィードバックは、聴衆の構成員に高度の視聴体験を与えることができる。
【０００７】
以下に説明する実施形態は、聴衆の構成員（すなわち、ユーザ）にイベント会場での出来事に関連する触覚フィードバックを受ける機会を提供する。更に、実施形態は、ユーザが触覚フィードバックを生成するソースを示す好み設定を提供することを可能にする。言い換えれば、ユーザは、だれがそのアクションを行っているか、またはどのアクションが行われているかに基づいて、触覚フィードバックを受けるイベントを選択する好み設定を提供することができる。ユーザは、追いかけたい実体を、それが１試合における１チーム全体などのグループ実体であろうと、スポーツ・イベントでの単一の選手などの単一実体であろうと、選択することができる。例えば、ユーザは、ユーザが興味のあるイベントの分類またはソースを指定することにより、実体、対象物、選手、チームなどに関連するイベントに対してフィードバックを受けることができる。更に、実施形態は、実体、対象物、選手、人などのセンサの追跡を提供することができる。センサ出力に基づいて、実施形態はセンサ出力に対応するイベントを決定し、そのイベントに識別子（「ＩＤ」）を割り当てることができる。
【０００８】
従って、実施形態は、感知したアクションを直接、触覚効果に変換しない。センサの読み取り値を直接、触覚効果に変換することに関する潜在的な問題は、接続の問題、情報の潜在的な紛失、及び同期の問題を含む可能性がある。接続の問題は、センサ情報を無線接続のセンサから触覚出力エンジンへ提供するための広い送信帯域幅の要件により起こり得る。接続の問題はまた、特に大量のセンサ・データが一度に送信されている時には、データ送信の脱落があり得るので、情報の紛失及び触覚の質の低下を引き起こす可能性もある。送信遅延または他の問題に起因する同期の問題も、触覚と映像／音声データとの間で生じる。感知されるアクションに関連付けられるイベント識別子を決定することは、未加工のセンサ・データよりはるかに狭い帯域幅を必要とし、ライブの環境で行うことができる。
【０００９】
幾つかの実施形態では、センサ情報のソースは分類することができ、分類情報はイベントＩＤにメタデータとして含まれることができる。メタデータは、分類ＩＤもしくはソースＩＤまたは分類もしくはソースに対応するＩＤタイプを含むことができる。例えば、スポーツ・イベントで、各選手上に配置されるセンサはセンサＩＤで識別され、各選手上のセンサＩＤは選手ＩＤとして一緒に関連付けられることができる。選手ＩＤは、どの選手が特定のイベントに係わっているかを示すためにイベントＩＤと関連付けられることができる。
【００１０】
分類は階層構成も含むことができる。例えば、ソース分類は選手ＩＤ及びチームＩＤを含むことができ、チームＩＤは、その選手がどのチームに属するかに応じて決定され、複数の選手が同一のチームＩＤに関連付けられることができる。他の例では、分類は「得点対象物」を含むことができ、副分類は「ボール」または「チームのゴール」を含むことができる。前者の例では、フットボールの試合で選手が他の選手をタックルする場合、タックルのイベントＩＤを各チーム及び各選手に対する分類ＩＤまたはソースＩＤと共に作成することができる。後者の例では、ボールがゴールラインを超える場合、得点のイベントＩＤを、チームのゴール、ボール、及びボールがゴールラインを超える時にボールを抱えている選手に対する分類ＩＤまたはソースＩＤと共に作成することができる。
【００１１】
実施形態では、イベントＩＤ（及び任意選択的に分類またはソースＩＤ）情報を、例えば触覚出力デバイスを有するハンドヘルド・デバイスを介してまたは触覚出力デバイスを含む着用可能デバイスと相互作用するテレビを介して見ている遠隔ユーザに送信することができる。幾つかの実施形態では、イベントＩＤ（及び任意選択的に分類またはソースＩＤ）を、ブロードキャースト・データと、そのブロードキャースト・データに対してサブチャネル化された、多重化された、または追加されたストリームとしてマージすることができる。幾つかの実施形態では、イベントＩＤ（及び任意選択的に分類またはソースＩＤ）を、Ｗｉ−Ｆｉ、ブルートゥース（登録商標）などの任意の利用可能な無線技術を介して送信及び受信されることができるマルチチャネル・ストリームとマージすることができる。
【００１２】
実施形態では、イベントＩＤ（及び任意選択的に分類またはソースＩＤ）情報を、イベント情報を対応する触覚効果に変換するために使用することができる。例えば、イベントＩＤは、強度レベル３を有するタックル・イベントに対応する識別子とすることができる。イベントＩＤを、触覚再生トラックなどの触覚出力デバイス上で再生される触覚効果情報を見つけるために、または触覚出力デバイスにイベントＩＤに基づいて触覚効果をフィードバックとして生成させる他のそのような情報を見つけるために使用することができる。
【００１３】
本明細書で使用される場合、着用可能デバイスは、ユーザが着用することができ、且つユーザの身体の一部と直接的にまたは間接的に、恒久的にまたは断続的に接触している任意のデバイスとすることができる。（手で）掴むことが可能なデバイスも、椅子の肘掛または電話機のように、それがたとえ掴まれている限りにおいて「着用可能」であっても、着用可能なデバイスであると見做される。
【００１４】
図１は、本発明の１つの実施形態に係る触覚対応システム１０のブロック図である。システム１０は、イベント会場で実体、対象物、人、選手などに付けるまたは組み込むことができるセンサ２０を含む。センサによって提供されるセンサ情報がどのセンサがそのセンサ情報を提供したかということを含むように、センサの各々はセンサＩＤを含むことができる。センサＩＤを、実体、選手、人、対象物などの名前と関連付けることができる。例えば、センサＩＤ「ＡＢＣ」は、「Ａチームの選手」上に置かれるセンサに対応することができる。センサＩＤ「ＡＢＣ」から受信されるセンサ情報は、「Ａチームの選手」に割り当てられることができる。以下でより詳細に説明するように、実体、対象物、人、選手などのリストへのセンサＩＤの割り当ては、分類またはソースがセンサ・データから見つけられるイベントに対して決定されることを可能にする。イベントが起きると、センサは、そのイベントを識別し、且つ誰及び何がそのイベントに関与したかを識別するために使用されることができる。
【００１５】
センサ２０は、環境状態を取り込むための温度／湿度／気圧センサ、実体の動き、速度、加速度、及び向きを特徴付けるための加速度計、ジャイロスコープ、及び磁力計を有する内部フィールド測定ユニット（「ＩＭＵ」ｉｎｎｅｒ  ｆｉｅｌｄ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ）、音声または環境音響情報を取り込むためのマイクロフォン、生体センサ（例えば、血圧センサ、皮膚抵抗など）を含むことができる。センサは、無線で、他のデバイスから／他のデバイスへ情報を受信／送信するための無線送信機（図示せず）を使用することができる。当業者は、センサが単独でまたは任意の組み合わせで使用されることができることを理解するであろう。
【００１６】
システム１０は、センサ情報を受信し、そのセンサ情報からイベントを決定するイベント処理サーバ２２を含む。イベント処理サーバ２２は、センサ情報を使用し、どんな種類のイベントが起きたかを決定することができる。イベントＩＤをイベントに割り当てることができる。例えば、センサ情報がイベント処理サーバ２２によって分析され、チームＡの選手３がゴールラインを横切る突進によってタッチダウンを獲得したことを決定することができる。イベントＩＤは、触覚効果を直接指定する情報を送信するのではなく、イベントＩＤがユーザ側で使用され、触覚出力デバイス上で適切な触覚効果を再生させるように、そのイベントに割り当てられることができる。イベント・カテゴリの例には、ボールがヒットされること、得点すること、タックルすることなどが含まれる。イベントＩＤは、触覚効果を提供することが有利であり得る通常の流れの中の如何なるもののような如何なるイベントに割り当てられることができる。イベントからイベントＩＤへの変換は、センサ情報に基づいてイベント・カテゴリを決定し、その後そのカテゴリ内にあるイベントのタイプを決定することによって、行うことができる。例えば、フットボールの試合で、フットボールに配置されているセンサからの情報を分析してボール動きイベントが発生したことを決定するためにセンサ情報を使用することができる。センサ情報を更に分析して、ボールについてのセンサ情報及びそのボールに近接している選手についてのセンサ情報に基づいて得点イベントが発生したことを決定することができる。
【００１７】
起きているアクションのタイプを決定するのではなく、イベント処理サーバ２２は、センサの読み取り値及びセンサの状況に基づいてイベントＩＤを割り当てるために、センサ・データを使用することができる。イベントＩＤは、加速度（Ｘ、Ｙ、Ｚ）、ジャイロスコープ（Ｘ、Ｙ、Ｚ）、磁力計（Ｘ、Ｙ、Ｚ）などのＮ個の入力センサ信号の、イベントＩＤを分類するＭ個の出力への変換とすることができる。例えば、ボールに関連するセンサＩＤは、加速度及びジャイロスコープのセンサ出力に急激な変化を有することができ、イベントＩＤを、それらの加速度及びジャイロスコープのパラメータを有するボールに対して選択することができる。従って、ボールがキックされたことを決定するのではなく、データを、センサの幾つかの状況を更に使用しながら、センサＩＤまたは他の分類もしくはソースＩＤなどの適切なイベントＩＤに、より直接的に変換することができる。
【００１８】
如何なるタイプのイベントが発生したかを決定するアルゴリズムは、イベントの会場及びタイプに依存する可能性がある。フットボールの試合に関連するイベントはゴルフまたはサッカーに関連するイベントと異なるであろう。幾つかの実施形態では、センサＩＤ情報を、そのアクションまたは関与がセンサ情報を生成した実体、対象物、人、選手などの分類またはソースを決定するために使用することができる。分類またはソースＩＤをイベントに割り当てることができる。例えば、バスケットボールをダンク・シュートする選手には、選手の識別のためのソースＩＤ及びその選手が属するチームのソースＩＤを割り当てることができる。幾つかの実施形態では、「ソース」は、分類されているものに置き換えられることができる。例えば、ソースＩＤは、「選手ＩＤ」、「チームＩＤ」、「ゴールＩＤ」、「ホールＩＤ」、「対象物ＩＤ」、「サイドラインＩＤ」などとすることができるであろう。
【００１９】
例えば、チーム・スポーツのイベントにおいて、各チームはチームＩＤで識別されることができる。各選手の１つ以上のセンサに関連付けられる選手ＩＤを、チーム内の全ての選手を識別する副ＩＤとして提供することができる。各選手に固有の器具を用いるスポーツでは、選手に対する実体識別は、その選手に関連付けられる器具のセンサＩＤに基づくとすることができる。サッカーのような共有の器具を用いるスポーツでは、選手上の実体センサは選手を識別することができ、ボール上の実体センサは、ボール（及びイベントが発生する時にボールの近くにいる選手）に関係するアクション及びイベントを識別することができる。
【００２０】
幾つかの実施形態では、センサ情報を、イベント処理サーバが受信する前にマルチチャネル・フィードにマージすることができる。例えば、センサ・インタフェース２１は、全ての利用可能なセンサ情報を受信し、センサ情報をマルチチャネル・フィードにマージし、それをイベント処理サーバに送信することができる。
【００２１】
マージの一例として、所与のブロードキャーストのイベントでの全ての可能なＩＤは、例えば、選手ＩＤ１、選手ＩＤ２、・・・、選手ＩＤ＿Ｎ、チームＩＤ１、チームＩＤ２、対象物ＩＤ１、対象物ＩＤ２、・・・、対象物ＩＤ＿Ｎとして表すことができると仮定する。しかしながら、対象物、選手などの全てのセンサがイベントをトリガするわけではないので、センサ・インタフェース２１が所与の時間に全てのＩＤを受信することはないであろう。インタフェース２１は、一般的に、「アクティブ」であるＩＤのみを受信することになる。言い換えれば、センサを、データが各センサに対して特定の閾値を満たすまでデータを送信しないように構成することができる。ここで、全ての可能なＩＤのリストから、インタフェース２１が次のＩＤ：選手ＩＤ２、チームＩＤ１、対象物ＩＤ１、対象物ＩＤ２を受信すると仮定する。センサ・インタフェース２１は、例えば異なるＩＤを連結することによって、これらのＩＤを単一のパケットにマージすることができる。１つの可能な実施形態は、図６の次の例のパケット・フォーマットで示される。
【００２２】
図６は、幾つかの実施形態に係るマージしたセンサ・パケット・フォーマット例を示す。構成要素６１０は、全体の長さ、符号化、速度などの、パケットに関する情報及び通信プロトコールを含むことができるパケット・ヘッダーである。構成要素６２０は、そのパケットで送信されるＩＤの数を示すフィールドである。構成要素６３０は、イベントにおけるアクティブＩＤの１つに対応する第１のＩＤのためのフィールドである。構成要素６４０は第１のＩＤのデータのためのフィールドである。このデータはそのセンサに特有のデータに対応するであろう。ＩＤ及びデータが最後のデータ・フィールドまで繰り返す。構成要素６５０は、パケットの終わりを示すパケット・テール・フィールドである。パケットは、ＷｉＦｉ、ブルートゥース、モバイル・データ・ネットワーク技術などの公知の無線技術を使用して送信することができる。
【００２３】
上記の選手ＩＤ２、チームＩＤ１、対象物ＩＤ１、及び対象物ＩＤ２からのアクティブＩＤのリストにおいて、第１のＩＤ６３０は選手ＩＤ２に対応し、第２のＩＤはチームＩＤ１に対応し、第３のＩＤは対象物ＩＤ１に対応し、第４のＩＤは対象物ＩＤ２に対応するであろう。この実装は、情報をセンサ・インタフェース２１からイベント処理サーバ２２に送信するために、パケットをどのように作成することができるかを検討していることに留意されたい。当業者は、パケットは特定の実装に適切な任意の他の方法で配列することができること及び図６に関連して説明した配列は単なる一例であることを理解するであろう。
【００２４】
マージすることの１つの目的は、センサ・インタフェース２１とイベント処理サーバ２２との間の通信時間及び／または帯域幅を低減することである。１つの実施形態では、センサ・インタフェース２１は、センサ２０からのデータを高速度で取り込み、一束のセンサ情報を作成し、それをより低速度で（例えば、おそらくテレビ情報が定期的に放送される速度で）送信することができる。
【００２５】
センサ・インタフェースをセンサが配置されている場所の近くに有することは好都合であり得る。近くのセンサ・インタフェースのゆえに、各センサから要求される送信エネルギーを低減することができる。イベント処理サーバ２２は所望に応じて近接にまたは遠隔に配置することができる。更に、幾つかの実施形態では、複数のセンサを、例えばソースまたは分類によって一緒にグループ化することができる。例えば、選手が複数の実体センサを有する場合、これらのセンサからの情報をグループ化することができる。
【００２６】
幾つかの実施形態では、イベント処理サーバ２２の機能を分散して処理することができる。例えば、スマート・テニス・ラケットは、そのラケットのためだけのイベント処理サーバによって処理される幾つかのセンサを含むことができる。スポーツ器具などのデバイスは、ブルートゥースまたはＩｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓの枠組みを使用して、センサ情報を中継する、またはセンサ情報を処理してイベントＩＤ情報を提供するセンサを含むことができる。例えば、リモートインタフェース及びセンサの設定を行う能力を提供するスマート・プログラマブル・センサを使用することができる。センサは、幾つかの処理能力を扱うローカル・プロセッサを備えることができる。幾つかの実施形態では、センサ・インタフェース２１は、センサ情報を管理する構成点としての役割を果たし、且つセンサ設定を変更するためのリモート・インタフェースを提供することができる。
【００２７】
システム１０は、イベントＩＤをマルチチャネル・フィードにマージすることができるイベント・マージャー２４を含むことができる。マルチチャネル・フィードにおける各チャネルは、イベントＩＤ及びそのイベントＩＤに関連付けられる分類またはソースＩＤを提供する触覚チャネルに対応することができる。各チャネルは特定のチーム、選手、または他の実体に対応することができる。システム１０はイベントＩＤを送信する送信機／アンテナ２６を含むことができる。幾つかの実施形態では、イベントＩＤは１つ以上の音声及び１つ以上の映像フィードと共にブロードキャーストされることができる。データがストリーミングされることになっているような幾つかの実施形態では、イベントＩＤを有線及び無線技術を含むコンピュータ・ネットワークを使用して送信することができる。
【００２８】
多くの生放送のイベントでは、遅延が不適切な放送内容またはＮＧ集を選別するために意図的に追加される。触覚情報の処理がリアルタイム処理（または映像／音声信号の処理）を超える実施形態では、イベント処理を実行するために、意図的な遅延を使用することができる。以下に説明するように、触覚イベントＩＤを映像／音声信号と同期することができる。
【００２９】
図７は、他のブロードキャースト・データとの触覚イベントＩＤの同期を示す時系列図である。タイムライン７１０は、１つ以上の映像信号及び１つ以上の音声信号を有するマルチメディア信号などのライブ・イベントの信号のブロードキャーストのタイムラインである。ライブ・イベントが時間７２０に発生する。ライブ・イベントの映像及び音声が時間７３０に処理される。センサ２０からのデータなどのセンサ・データが、イベントＩＤの割り当て及びイベント・マージャー２４でマージすることを含めて、時間７４０に処理される。時間７５０に、映像、音声、及び触覚データを含む情報をブロードキャーストすることができる。時間７６０にその情報を受信することができる。この時系列の進行では、タイムライン７１０の下に示されている特定の時間差が設定される。時間ｔ１は、ライブ・イベント７２０とそのイベントに関連付けられる映像及び音声が処理され、７３０でブロードキャーストしようとしている時間との間に発生する時間経過である。時間ｔ２は、米国のテレビ放送で通常使用される７秒の遅延などの意図的な遅延とすることができる。時間ｔ３は、ライブ・イベント７２０から７４０でセンサ・データを触覚イベントＩＤ情報へ処理するまでの間の時間経過とすることができる。この説明では、この処理は映像／音声処理より長くかかる。従って、ｔ２の遅延を、処理を完了するために使用することができる。触覚信号及び映像／音声データを、触覚信号に、ｔ１＋ｔ２−ｔ３に等しい対応する遅延ｔ４を追加することによって同期することができる。この同じ式を、触覚情報をｔ１における遅延より迅速に処理する状況において、言い換えればｔ３＜ｔ１の場合に、使用することができる。あるいは、ｔ３＜ｔ１の場合に、その代わりに、ｔ１−ｔ３に等しい遅延を触覚情報信号に追加し、両方の信号を任意選択的な共通の遅延時間ｔ２だけ遅延することができる。時間ｔ５は、ブロードキャーストによる時間経過であり、それは、ブロードキャーストの方式及び技術に応じて異なる。幾つかの実施形態では、意図的な遅延が追加されない場合、映像／音声信号を、触覚信号と同期させるためにｔ３−ｔ１に等しい遅延時間だけ遅延させることができる。
【００３０】
幾つかの実施形態では、遅延ｔ１は、リアルタイム処理の結果として、非常にゼロに近いと仮定することができる。幾つかの実施形態では、遅延ｔ２は、ライブ・イベントの米国のテレビ放送で使用される標準の７秒であると仮定することができる。幾つかの実施形態では、遅延ｔ３は、分析すべき情報のためのセンサの読み取りの期間の数を増加または減少することで制御することができる。例えば、センサの読み取りの期間の各々が同じ期間、すなわち同じサンプル・レート、である場合、センサの読み取りの期間の数を増加させることは、センサ・データをイベントＩＤに処理する場合に遅延を大きくすることになる。
【００３１】
システム１０は、イベントＩＤを受信し処理するための第２の処理サーバ２８を含むことができる。処理サーバ２８は、マージされたイベントＩＤを個別のイベントＩＤに分離することができる。幾つかの実施形態では、処理サーバ２８は、出力好み設定またはデバイスの能力に基づいてイベントＩＤをフィルタリングすることができる。処理サーバ２８はイベントＩＤまたはフィルタリングされたイベントＩＤをデバイス３０などのデバイスに送信することができる。出力好み設定に基づくフィルタリングは、例えば、特定の分類またはソースに関連付けられるイベントＩＤに対する好み設定を含むことができる。幾つかの実施形態では、処理サーバ２８は、ユーザの好み設定に基づいてフィルタリングを実行するためにイベントＩＤと共に送信される分類またはソースＩＤを使用することができる。出力好み設定を使用して、ユーザは、チーム、選手、イベント・カテゴリなどに対して触覚を有効にすることができる。好み設定は、出力好み設定でのユーザの選択に対応する触覚効果を出力するために、利用可能なイベントＩＤをフィルタリングする役割を果たすことができる。複数の映像または音声のフィードが利用可能な場合、出力好み設定は、ライブ・イベントのための特定の映像または音声のフィードの選択も含むことができる。デバイスの能力に基づくフィルタリングは、特定の触覚出力デバイス上で再生されることが意図されている触覚効果に対応するイベントＩＤを選択することを含むことができる。
【００３２】
デバイス３０などのデバイスは、処理サーバ２８から１つ以上のイベントＩＤを受信し、そのイベントＩＤと関連付けられる１つ以上の触覚効果を決定することができる。デバイス３０は、振動触覚または運動感覚アクチュエータなどの触覚出力デバイス上で触覚効果を触覚フィードバックとして出力することができる。
【００３３】
幾つかの実施形態では、処理サーバ２８または処理サーバ２８に関して上記で説明した処理サーバ２８の機能の態様は、デバイス３０に組み込まれることができる。例えば、１つの実施形態では、イベントＩＤのマージされたストリームは、デバイス３０によって受信されることができ、デバイス３０は、デバイス３０上で、ストリームを個別のイベントＩＤに分離し、且つそれらをフィルタリングして、出力好み設定に基づいてフィルタリングされたＩＤを選択することができる。
【００３４】
図１は、レフトハーフ５０、ライトハーフ６０、及びサッカー・ボール７０を有するサッカー・フィールドを、チームＡ選手５１、チームＢ選手６１、ゴール６２、及びボール７０の実体へのシステム１０のセンサ２０の可能な配置の例として図示する。上述したように、センサ２０は、実体が相互作用する時に、センサ情報をイベント処理サーバ２２に送信することができる。
【００３５】
図２は、本発明の１つの実施形態に係る触覚対応システム２１０のブロック図である。システム２１０は、触覚出力デバイス２１８を含む図２のハンドヘルドまたは着用可能デバイス３０を含むことができる。システム２１０上に触覚を生成する触覚フィードバック・システムがシステム２１０に内在する。１つの実施形態では、触覚効果は触覚出力デバイス２１８により生成される。
【００３６】
触覚フィードバック・システムはプロセッサまたはコントローラ２１２を含む。プロセッサ２１２に結合されているのは、メモリ２２０及び触覚出力デバイス駆動回路２１６であり、それは、ハンドヘルドまたは着用可能デバイス３０上に配置される触覚出力デバイス２１８に結合される。触覚出力デバイス２１８は、モータ、アクチュエータ、静電摩擦（「ＥＳＦ」ｅｌｅｃｔｒｏｓｔａｔｉｃ  ｆｒｉｃｔｉｏｎ）デバイス、超音波周波数（「ＵＳＦ」Ｕｌｔｒａｓｏｎｉｃ  ｆｒｅｑｕｅｎｃｙ）デバイス、及びユーザに触覚フィードバックを提供するために使用されることができる任意の他の触覚出力デバイスを含む任意のタイプの触覚出力デバイスを含むことができる。
【００３７】
他の触覚出力デバイス２１８は、スマート流体アクチュエータ、流動学的流体アクチュエータ、マクロ・ファイバー・コンポジット（「ＭＦＣ」Ｍａｃｒｏ−Ｆｉｂｅｒ  Ｃｏｍｐｏｓｉｔｅ）アクチュエータ、形状記憶合金（「ＳＭＡ」Ｓｈａｐｅ  Ｍｅｍｏｒｙ  Ａｌｌｏｙ）アクチュエータ、圧電アクチュエータ、及び微小電気機械システム（「ＭＥＭＳ」Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）アクチュエータを含むフレキシブル、セミリジッド、またはリジッド材料を含むことができる。
【００３８】
プロセッサ２１２は如何なるタイプの汎用プロセッサであってもよく、特定用途向け集積回路（「ＡＳＩＣ」ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）などの、触覚効果を提供するために特に設計されたプロセッサでもよいであろう。プロセッサ２１２はシステム２１０全体を動作させるプロセッサと同じものでもよいし、または別個のプロセッサでもよい。プロセッサ２１２は、高レベルのパラメータに基づいて、再生されるべき触覚効果及びその触覚効果が再生される順序を決定することができる。触覚効果は、触覚出力デバイス間での触覚効果の生成におけるある程度の変動、あるいはハンドヘルドもしくは着用可能デバイス３０とのユーザの相互作用または特定のタイプのイベントＩＤをフィルタリングするユーザの好み設定などのシステム２１０の他の態様に基づく触覚効果の生成における変動を含む場合、「動的」と考えることができる。
【００３９】
プロセッサ２１２は、所望の触覚効果を引き起こすために触覚出力デバイス２１８に必要な電流及び電圧を供給するために使用される電子部品及び回路を含む触覚出力デバイス駆動回路２１６に制御信号を出力する。システム２１０は複数の触覚出力デバイス２１８を含むことができ、各触覚出力デバイスは個別の駆動回路２１６を含むことができ、全ては共通のプロセッサ２１２に結合される。メモリ・デバイス２２０は、ランダム・アクセス・メモリ（「ＲＡＭ」ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）または読み取り専用メモリ（「ＲＯＭ」Ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）などの如何なるタイプの記憶デバイスまたはコンピュータ可読媒体とすることができる。メモリ２２０はプロセッサ２１２（１２）によって実行される命令を格納する。メモリ２２０は、それらの命令の中に、触覚効果モジュール２２２を含み、命令は、上で説明し下でより詳細に開示されるように、プロセッサ２１２によって実行される時に、イベントＩＤに対応する触覚効果を提供する触覚出力デバイス２１８向けの駆動信号を生成する命令である。メモリ２２０は、プロセッサ２１２内に位置してもよいし、または内部メモリ及び外部メモリの如何なる組み合わせでもよい。
【００４０】
本明細書で考察される特定の実施形態は、使用の状況例を供給するために提供されるイベント例を含む可能性があるが、当業者は、各実施形態に関連して説明された技術が、ライブ・イベント、予め記録されたイベント、演劇、（バレーなどの）パフォーマンス、遠隔出席イベント、（例えば、着用可能触覚出力デバイスを有する）現地出席イベント、及び没入型映画館での映画などのイベントを含む他の用途の使用に適応され得ることを理解するであろう。
【００４１】
図３は１つの実施形態に係るイベントＩＤを提供するフロー図である。１つの実施形態では、図３（及び以下の図４、５）のフロー図の機能は、メモリまたは他のコンピュータ可読もしくは有形媒体に格納され、プロセッサによって実行されるソフトウェアで実装される。他の実施形態では、その機能は、ハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ」ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、プログラマブル・ゲート・アレイ（「ＰＧＡ」ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）などの使用による）またはハードウェア及びソフトウェアの任意の組み合わせで実行されることができる。
【００４２】
３１０において、被追跡実体のセンサ情報を受信することができる。センサ情報は、物理的なまたは環境の特性などの、センサまたはそのセンサ及びセンサ出力に関連付けられる実体を識別する情報を含むことができる。３２０において、センサ情報を、センサ情報に基づいてイベントを決定するために使用することができる。例えば、フットボールの試合で、特定のセンサからのセンサ情報を特徴付けて、そのセンサに関連する実体がフットボールの搬送者をタックルしたことを決定することができるであろう。別の例では、テニスの試合で、スマート・ラケットは、ヒットを検出し、且つ分類することができるように、様々なセンサ及び接続性を含むことができる。スマート・ラケットは、テニスボールが選手のラケットの「スイートスポット」に当たっているかどうかを検出し、そのような種類のヒットをイベントＩＤに関連付けることができる。
【００４３】
脇に外れて図８を見ると、図８は、１つの実施形態に係るセンサ情報に基づいてイベントを決定する（例えば、図の構成要素３２０）フロー図である。センサ情報は複数の実体に割り当てられる複数のセンサを含むことができる。フィールド・ラインまたはゴール上の境界センサなどの幾つかの実体は固定されている可能性がある。動いている選手または器具などの幾つかの実体は動いている可能性がある。８０５において、センサの第１の読み取りが行われることができる。センサからのデータは収集され保存されることができる。幾つかの実施形態では、センサ・データをセンサからポーリングすることができる。幾つかの実施形態では、センサは、センサ・データを間隔を置いて、例えばサンプリング・レートで能動的に送信することができる。保存されたセンサ・データは、例えば不揮発性メモリに無期限に保存され、または、例えばキャッシュ・メモリに一時的に保存されることができる。
【００４４】
８１０において、センサ・データを調べることができる。特に、幾つかのセンサは、意味のある瞬時値を提供する瞬間的なセンサ情報（すなわち、センサのサンプリング）を有することができる。例えば、加速度計は加速度の値である瞬時値を提供することができる。他のセンサは、それらの値がどのように変化するかを見るために時間をかけて監視する必要がある可能性がある。例えば、位置センサ情報は、動きを推測することができる位置の経時的変化を示すことができる。センサは、両方の局面においても有用な情報を提供することができる。例えば、加速度計の読み取り値は、１つのサンプルから別のサンプルへの変化の分析において有用な情報を提供することができる。８１５において、有用な瞬時値を提供するセンサの値を、そのセンサの閾値と比較することができる。例えば、ボール上の加速度センサは、ボールが（加速度センサの位置に対してＸまたはＹ角などの）ある方位角においてある値で加速していることを示す瞬時値を提供することができる。この値が閾値より上にある場合、それは、触覚応答が所望される可能性があるイベント情報を示すことができるであろう。その値が閾値より小さい場合、触覚応答は、（あるイベントが、おそらく、その値と関連付けられることができるであろう場合でさえも）保証されない可能性がある。従って、その値が閾値を満たす場合、フローは８４０に進み、そうでない場合、フローは８３５に進むことになる。
【００４５】
瞬時値に加えて、センサは、１つのセンサのサンプルと次のセンサのサンプルとの間で比較されることができる値を提供することができる。例えば、位置センサは、速度を決定するために１つのサンプルと次のサンプルとの間で比較されることができるであろう。８２０において、センサの第２のサンプルが取られることができる。センサからのデータは収集され、保存される。幾つかの実施形態では、センサ・データはセンサからポーリングされることができる。幾つかの実施形態では、センサはセンサ・データを周期的サンプリング間隔で能動的に送信することができる。保存されたセンサ・データは、例えば不揮発性メモリに無期限に保存され、またはキャッシュ・メモリに一時的に保存されることができる。８２５において、第１及び第２の読み取りからのデータが比較されることができる。言い換えれば、センサによって提供される１つのサンプル内のデータは、同じセンサによって提供される別のサンプル内のデータと比較されることができる。当業者は、センサの第２のサンプリングは、必ずしも、比較の目的のための次の利用可能なサンプリングではない可能性があることを理解するであろう。更に、８０５、８１０、及び８１５のフローの構成要素を、経時的に意味のある比較を提供するために、必要に応じて、繰り返すことができる。例えば、温度センサは急速に変化しない可能性があるが、しかし、ある温度から１時間経過後の別の温度への変化は閾値条件を満たす可能性がある。
【００４６】
８３０において、センサ・データ・サンプル間の比較値が閾値に比較される。例えば、サンプル間の差を閾値と比較することができる。幾つかの実施形態では、センサの比較は直接の比較ではなく、閾値に比較されるある他の統計的尺度である可能性がある。閾値条件も時間の尺度から成ることができる。例えば、温度センサが１時間内に５度上昇する場合に、閾値条件が満たされてもよい。別の例では、サンプル値の標準偏差が任意の５０個の連続したサンプルにわたって１０％を超えて変化する場合に、閾値条件が満たされてもよい。
【００４７】
閾値が満たされない場合、フローは８３５に進む。８３５において、センサ情報はイベント決定に関しては無視される。もちろん、将来の検討のためにセンサ情報を保持することは有用であり得る。
【００４８】
閾値が満たされる場合、フローは８４０に進む。８４０において、イベント情報がセンサ・データから決定されることになる。イベント情報がどのように決定されるかに関して２つの筋道の例を示す。他のアルゴリズムを、イベント情報をセンサ・データから決定するために使用することができる。幾つかの実施形態と合致する第１の例のアルゴリズムでは、データが特定のルールに適合しているかどうかを確認するためにセンサ・データを調べる目的で、ルール・ベースの手法を使用することができる。幾つかの実施形態では、「ルール」ではなく、「パターン」が、パターン・マッチングまたは予測分析型アルゴリズムで使用されるであろうように、使用されることができる。８４５において、ルール・データが読み出される。ルール・データは、行われているライブ・イベント（例えば、フットボールの試合、テニスの試合、大統領候補討論会など）のタイプに固有であることができる。幾つかの実施形態では、任意のライブ・イベントに一般化され得るルールの基本セットを開発することができる。幾つかの実施形態では、ルール・データは、参加者（例えば、チーム）、位置（例えば、スタジアム）、時間（例えば、夜）、年月日または季節（例えば、冬）、センサ情報入力（例えば、温度）などに固有であり得る、またはそれらに基づいてカスタマイズされ得る。ルール・データは、特定のセンサのタイプに対してセンサ・データの値の範囲を特定し、１つ以上のセンサの値の範囲を特定のイベントに関連付けることができる。例えば、１つのルールは、もしセンサｘ＝１、センサｙ＝５、センサｚ＝１０ならば、イベントＩＤ４、５、及び６を設定する、とすることができる。この例では、センサｘはボールに関連付けられ、センサｙは第１の選手に関連付けられ、センサｚは第２の選手に関連付けられ、イベントＩＤ４、５、６、及び７は、それぞれ、第１の選手のキックオフ、チーム１のキック、第２の選手のレシーブ、チーム２のレシーブに対応する可能性がある。
【００４９】
パターン・マッチングが使用される幾つかの実施形態では、パターンを既知の動作をモデル化して使用することができる。例えば、センサを選手及び器具などの実体に配置することができ、そして、センサからのデータが既知のイベントに対して取得され、且つそのようなイベントに関連付けられることができるので、異なるイベント向けのパターン・プロファイルを作ることができる。パターン・プロファイルは将来のセンサ・データと比較され、将来のセンサ・データにおいて検出されたパターンに対する１つ以上のイベントを決定することができる。
【００５０】
８５０において、センサ情報を分析することができる。如何なるルールまたはパターンにも一致しないセンサ情報は無視することができるが、幾つかのルールに対して基礎的なベースとしての役割を果たすセンサ情報は、使いやすくするために強調表示または前処理をすることができる。例えば、加速度計の読み取りは、前処理されて、ダウンサンプリングされる、アップサンプリングされる、または絶対値に変換されることができる。幾つかの実施形態では、センサ値は、他のセンサ値の分析を引き起こすことができる関心のある条件を見つけるために前処理されることができる。例えば、加速度値が第１の閾値より大きい場合、ヒットが前処理で検出され、ジャイロスコープ値及び他の加速度値が更なるルール分析またはパターン分析のために保存されることができる。８５５において、センサ情報はルール基準と比較されることができる。
【００５１】
８６０において、ルールをイベントと関連付けることができる。例えば、次のテーブルはルールをイベントまでたどる。
【００５２】
【表１】
2017059206.tif 000003
【００５３】
ルール基準は複数のイベントを満たすことができる。例えば、表１において、ルールＩＤ３が満たされる場合、（２チームのスポーツと仮定すると）ルールＩＤ１またはＩＤ２の１つも満たされることになる。
【００５４】
幾つかの実施形態と合致する、センサ・データからイベント情報を決定する別のアルゴリズムの例は、センサ・データを調べてセンサ・データをイベントの中に特徴付けるために特徴ベースの手法を使用することができる。８６５において、センサ情報が分析されることができる。幾つかの実施形態では、これは、８５０に関連して上記で説明したように、そのデータを前処理することを含むことができる。８７０において、センサ情報はセンサ入力に基づいて特徴付けられることができる。センサ入力はイベント情報の中に特徴付けられ、イベントは、ライブ・イベントではなく、触覚効果で直接表されることができる。言い換えれば、センサ入力を野外のイベントまたは会場でのイベントではなく触覚信号イベントの中に評価するために、パラダイムを使用することができる。ここでの考え方は、触覚出力のために、入力センサ信号のイベント・データのサブセットへの直接変換に近づくことである。瞬間的センサ情報または比較センサ情報は異なる範囲に分類されることができ、各範囲は特定の触覚応答に対応する。例えば、ボール上の加速度センサは、５〜１０、１０〜１５、１５〜２０などの瞬間的センサ値に対して定義された範囲を有することができる。加速度計が値１２を出力する場合、それは第２の範囲に入るであろう。８７５において、その特性がイベントと関連付けられることができる。この例を続けると、第２の範囲は、それと関連付けられ、特定の触覚効果を提供するであろう触覚イベントを有することができる。従って、センサ・データの粒度はイベントにまで低減されることができ、結果として、以下に更に説明するように、イベントＩＤに関連付けられることができる。
【００５５】
図８のフローの一例は、テニス・ラケットに関連するイベントを検知することを含むことができる。センサ２０などのセンサは、加速度計、ジャイロスコープ、及び磁力計を含むＩＭＵとすることができる。加速度計及びジャイロスコープの測定の読み取り値は分析され、テニス・ラケットに係わるイベントを決定することができる。センサの読み取り値は、テニス・ラケットがボールをヒットすることを、バックハンド・ショット、フォアハンド・ショット、スイートスポット（ラケットの中心）ヒット、及び／またはエッジ（ラケットのエッジ）ヒットなどのイベントに分類するために使用されることができる。例えば、ヒットはラケットのスイートスポット上のフォアハンド・ショットに分類されることができるであろう。イベントＩＤが、以下に説明するように、これらのイベントに割り当てられ、最終的には、触覚効果がユーザのデバイスの触覚出力デバイス上で再生されることができる。
【００５６】
ヒットを分類することは、８６５でのようにヒットの検出で開始することができる。上記で説明したような前処理では、絶対値のみを考慮する必要があるので、ｙ方向の加速度値を絶対値に変換することができる。ｙ加速度が第１の閾値より大きい場合、８７０でのようにヒットが検出される。ジャイロスコープ及び加速度の値が格納される。更なる前処理では、ｚ加速度値のデータをサンプリングして、８５０でのように、第１の閾値を超えるｙ加速度の検出の直後に到達した最小値を決定することができる。最小値を確立することは、イベントを特徴付けるために、値の最小から最大までの範囲内での値の異なる閾値との比較を可能にすることになる。センサ値はヒットの性質に依存して変わるであろう。
【００５７】
図９はヒットの後にサンプリングされることができるｚ加速度値の出力例を示す。期間９０５はヒットに先行する。時間９１０で、瞬間的値は高いピークの最大値を示す。ｙ加速度方向において、同様な応答値が閾値を超え、センサ・データの更なるサンプリングを引き起こすことができる。期間９１５で、ｚ加速度のセンサ値はわずかに減衰している。期間９２０で、ラケットはほぼ正常に戻り、ｚ加速度値はほぼゼロである。期間９２５で、ラケットは、もはやヒットの結果としての振動はしていない。９０５から９２５までの期間は１００ミリ秒内に起こり得る。
【００５８】
イベントは、上で説明したもの及びジャイロスコープ軸からの値を含むセンサの利用可能な値を使用して分類されることができる。例えば、上で説明したイベントは、次の疑似コードで概説されるように、８５５及び８６０でのような手順を実装することによって検出されることができる。
【数１】
2017059206.tif 000004
【００５９】
疑似コードの中に見られるように、前処理から見つけられるｚ加速度の最小値は、ヒットの直後に始まって発生する各データ・パターンが異なるので、ヒットのスイートスポット対エッジ位置の検出を可能にする。その違いはモデル化することができ、そのモデル化からのパターンを使用して、閾値４及び５の値が決定され、ヒットの位置を推定することができる。同様に、ジャイロスコープｘ軸値に関連する閾値２及び３の値はモデル化を使用して見つけ出され、ヒットがフォアハンド・ヒットであるかまたはバックハンド・ヒットであるかを決定することができる。
【００６０】
ヒット強度も、最終的には触覚出力デバイス上に出力される触覚効果に影響を与えることができる。ヒットが「ソフト」、「ミディアム」、または「ハード」であったかを見出すために、センサの軸上の１つ以上の加速度パラメータの関数がソフト閾値及びハード閾値と比較されることができる。パラメータが、ヒットがソフト閾値より下であったことを示す場合、ヒットの強度はソフトとして分類される。パラメータが、ヒットがハード閾値より上であったことを示す場合、ヒットの強度はハードと分類される。どちらでもない場合、ヒットの強度はミディアムと分類される。
【００６１】
次の疑似コードは、ヒット強度をイベントの特徴化の別のパラメータとして使用して、ヒットＩＤ（ｈｉｔＩＤ）を割り当てる１つの方法を示す。
【数２】
2017059206.tif 000005
ヒットＩＤはイベントＩＤに変換されることができる。フォアハンドまたはバックハンドも追加されて他のヒットＩＤを作成することができる。
【００６２】
当業者は、異なるセンサ及び異なるアプリケーションが、テニス・ラケット・ヒット向けに上記で説明したものと異なるイベント及びイベントのモデル化を必要とするであろうことを理解するであろう。活動の性質が、どのセンサ値が評価され、どの閾値がイベント活動をモデル化するまたはイベント活動のパターン・マッチを行うために見つけられるかを決定づけるであろう。幾つかの実施形態では、人間のオペレータが、評価されるべき活動の性質またはタイプを考慮すると、どのセンサまたはどのセンサに関連するどのデータ・ストリームが、使用されるべきかを選択することができる。幾つかの実施形態では、情報エントロピーのレベルなどの幾つかの判断基準を考慮すると、人工知能技術を、全てのデータを見て、関心対象のデータを選択することによって使用することができる。
【００６３】
上述したように、前処理を、閾値に対しての評価の前に、データを強調または調整するために使用することができる。前処理は、より多くのデータ点（またはセンサ・パラメータ）がヒットなどの検出されたイベントに対するイベントＩＤを決定するために必要となる時にも、有用であり得る。例えば、センサ情報の利用可能なデータ帯域幅がより狭い場合に、追加の前処理は、センサ情報を分析するために追加のパラメータを検討することができる。別の例では、センサが不十分なデータを提供している可能性があるであろう。前処理は、異なるセンサの値間の関連を調べるために他のパラメータを分析することができる。例えば、ｙ方向の加速度の現在の値を、ｙ方向の加速度の過去の値と比較することができる。同じことをｚ方向の加速度に対して行うことができる。ｚ軸がより顕著である場合、ｚ加速度値が、ヒットを決定するために前処理の段階で代入されることができる。現在のセンサ・データと以前のセンサ・データとの関係が、どちらの軸がヒットによって最も影響を受けるかを示すことができる。不十分なデータが１つの軸上でヒットを検出することを妨害する場合、別の軸上でその軸の加速値を使用してヒットを検出することができるであろう。センサが誤動作もしくは位置ずれしている可能性がある、または器具が予期せぬ方法で使用されている可能性があるので、センサ・データは期待の方向において不十分である可能性があるであろう。
【００６４】
図３に戻ると、３３０において、センサ情報から決定されたイベントＩＤがイベントに割り当てられる。イベントＩＤは、フットボールの試合などの特定のタイプのライブ・イベントに関連付けられる特定のイベントを示すＩＤとすることができるであろう。幾つかの実施形態では、５００ミリ秒間７５％の強度レベルで振動触覚アクチュエータを作動させることに対応するイベントＩＤなどのイベントＩＤは、所望の触覚フィードバックの汎用のタイプを示すことができる。イベントＩＤは、加速度（Ｘ、Ｙ、Ｚ）、ジャイロスコープ（Ｘ、Ｙ、Ｚ）、磁力計（Ｘ、Ｙ、Ｚ）などのＮ個の入力センサ信号の、イベントＩＤを分類するＭ個の出力への変換に由来することができる。
【００６５】
３４０において、イベントＩＤはユーザの触覚対応デバイスに送信される。以下で説明するように、イベントＩＤはユーザに着く前に他の処理を伴う可能性がある。
【００６６】
図４は１つの実施形態に係るイベントＩＤを提供するフロー図である。４０２において、センサ情報は分類またはソースによってグループ化されることができる。分類またはソースは、センサ情報を受信する実体または実体のタイプに対応することができる。例えば、実体の分類またはソースは、選手、チーム、人、対象物、ボール、ゴール、境界、審判などとすることができる。複数のセンサも１つの実体に関連付けられることができる。例えば、複数のセンサが一人の選手上に配置され、全てのセンサが一人の選手に関連付けられることができる。４０４において、センサ情報がマルチチャネル・フィードにマージされることができる。センサ・インタフェース２１などのセンサ・インタフェースは全てのセンサ情報を受信し、それをグループ化することができる。センサ・インタフェースはセンサの近くに位置し（すなわち、イベントに近接している）、センサ情報をマルチチャネル・フィードにマージすることができる。幾つかの実施形態では、センサ・インタフェースは遠隔に位置する（すなわち、イベントから遠く離れている）ことができる。４０６において、マルチチャネル・フィードを、マージされたセンサ情報としてイベント処理プロセッサに提供することができる。
【００６７】
４１０において、被追跡実体のセンサ情報を受信することができる。センサ情報は、センサまたはセンサに関連付けられる実体を識別する識別情報を含むことができ、センサによって測定されるような物理的特性または環境特性などのセンサ出力を含むことができる。４２０において、センサ情報は、センサ情報に基づいてイベントを決定するために使用されることができる。図８のフローは、上述したように、イベントを決定するために使用されることができる。例えば、フットボールの試合で、特定のセンサからのセンサ情報は特徴付けられて、センサに関連付けられる実体がフットボールの搬送者をタックルしている選手であると決定することができる。４３０において、イベントＩＤは、センサ情報から決定されたイベントに割り当てられることができる。イベントＩＤは、フットボールの試合のような特定のタイプのライブ・イベントに関連付けられる特定のイベントを示すＩＤとすることができる。幾つかの実施形態では、５００ミリ秒間７５％の強度レベルで振動触覚アクチュエータを作動させることに対応するイベントＩＤなどのイベントＩＤは、所望の触覚フィードバックの汎用のタイプを示すことができる。
【００６８】
４３２において、１つ以上の任意選択的な分類またはソースＩＤをイベントに割り当てることができる。例えば、バスケットボールをダンク・シュートする選手は、選手の識別のための分類またはソースＩＤ及びその選手が属するチームの分類またはソースＩＤを割り当てられることができる。「分類」または「ソース」は、物の分類またはソースに置き換えることができる。例えば、分類またはソースＩＤは、「選手ＩＤ」、「チームＩＤ」、「ゴールＩＤ」、「ホールＩＤ」、「対象物ＩＤ」、「境界ＩＤ」などとすることができるであろう。４３４において、１つ以上の分類またはソースＩＤは、イベントＩＤに関連付けられることができる。分類またはソース情報は、任意選択的に、強さ情報を含むことができる。強さ情報は、触覚効果が再生されるべき強度（例えば、弱い、ミディアム、強い）を示す絶対パラメータとすることができる、またはそれは、触覚効果が、触覚効果の基準値から変動（例えば、より弱く、より強く、著しくより強く）されるべき強度を示す変動パラメータとすることができる。イベントＩＤは、加速度（Ｘ、Ｙ、Ｚ）、ジャイロスコープ（Ｘ、Ｙ、Ｚ）、磁力計（Ｘ、Ｙ、Ｚ）などのＮ個の入力センサ信号の、イベントＩＤ、強さ、選手、チームなどを分類するためのＭ個の出力への変換に基づくものとすることができる。
【００６９】
４３６において、イベントＩＤ（及び任意選択的に分類またはソースＩＤ）をマルチチャネル・フィードにマージすることができる。４３８において、図７に関して上記で説明したように、任意選択的な遅延を、マルチチャネル・フィードを送信する前に使用することができる。４４０において、イベントＩＤ（及び任意選択的にソースまたは分類ＩＤ）をユーザに送信することができる。幾つかの実施形態では、マルチチャネル・フィードをライブ・イベントの音声及び映像と共にブロードキャーストすることができる。他の実施形態では、マルチチャネル・フィードを、他の有線または無線技術を使用して送信することができる。
【００７０】
図５は、１つの実施形態に係る触覚出力デバイスで触覚出力を提供するフロー図である。５１０において、ユーザの出力好み設定を受信することができる。幾つかの実施形態では、出力好み設定は好みのイベントＩＤを含むことができる。幾つかの実施形態では、出力好み設定は、イベントＩＤを、対応する分類またはソースＩＤによってフィルタリングする好みの分類またはソースを含むことができる。５２０において、イベントＩＤを受信することができる。幾つかの実施形態では、イベントＩＤは、スタンドアロンのマシン、システム２１０の一部、またはネットワーク・デバイスなどの受信デバイスの一部とすることができる処理サーバ２８で受信される。５３０において、触覚効果が１つ以上のイベントＩＤに基づいて選択される。幾つかの実施形態では、出力好み設定は、特定のイベントＩＤのみがプロセッサ２１２で受信されるようにフィルタリングを提供することができる。他の実施形態では、イベントＩＤ及び任意選択的に分類またはソースＩＤは、フィルタリングのためにプロセッサ２１２で受信されることができる。幾つかの実施形態では、出力好み設定は、ユーザが、イベント処理サーバ２２によって提供される種々の触覚チャネルを有効または無効にすることを可能にすることができ、ここで、各触覚チャネルはイベントＩＤに対応する。プロセッサ２１２は、イベントＩＤに基づいてどの触覚効果を出力するかを決定するためにモジュール２２２を使用することができる。モジュール２２２は、次の表のような、イベントＩＤ及び任意選択的に分類またはソースＩＤ（チームＩＤまたは選手ＩＤなど）を特定の触覚効果に関連付けるルックアップ・テーブルを含むことができる。
【００７１】
【表２】
2017059206.tif 000006
【００７２】
幾つかの実施形態では、強さの成分は、イベントＩＤに対してメタデータとして指定される別個のパラメータとすることができる、または、幾つかの実施形態では、イベントＩＤは、表３にあるような別個の強さパラメータを指定することができる。
【００７３】
【表３】
2017059206.tif 000007
【００７４】
チーム及び選手はフィルタとして機能することができる。ユーザがイベントＩＤ１及び２を同時に受信し、ＩＤ１がチームＡとして指定されるチームを有し、ＩＤ２がチームＢとして指定されるチームを有し、且つ出力好み設定がチームＡを有効にし、チームＢを無効にする場合、ＩＤ１向けの効果のみが出力されることになる（効果１）。
【００７５】
５４０において、選択された触覚効果が触覚出力デバイス２１８上に出力される。５５０において、ユーザは任意選択的に出力好み設定を更新することができる。例えば、出力好み設定を、更新された出力好み設定に基づいて調整するためにイベントＩＤフィルタリングを変更することによって、異なる分類またはソースに集中するように更新することができる。出力好み設定の更新は、たとえイベントＩＤを生じさせるイベントが、１つのイベントＩＤが選択された別のイベントに著しく類似していても、異なるイベントＩＤを選択させることができる。例えば、フットボールの試合でのタッチダウンの得点に対して、得点チーム向けの触覚フィードバックは、「陽気な」感じの高周波数振動触覚フィードバックとするように設計されるのに対して、非得点チーム向けの触覚フィードバックは、「陰気な」感じの低周波数振動触覚フィードバックとするように設計されることができる。２つのイベントＩＤ、フィードバックの各タイプに対して１つ、を送信することができ、各々は２つのそれぞれのチームに対応する分類またはソースＩＤを指定する。１つのチームに対する出力好み設定は、１つのイベントＩＤに対応するフィードバックを提供するであろうが、一方他のチームを指定する出力好み設定は、異なるイベントＩＤに対応するフィードバックを提供するであろう。イベントＩＤを生成するイベント、すなわちタッチダウン、は同じであっても、結果として生じる触覚フィードバックは各イベントＩＤに対して異なるであろう。
【００７６】
システム１０の実施形態の一例では、ユーザがタブレットなどのデバイス３０上でロスアンジェルス・レイカーズのバスケットボールの試合を観ることができる。ユーザはレイカーズの熱心なファンであると仮定する。彼は、ライブの試合のために触覚効果を有効にし、レイカーズの動きに基づいて触覚フィードバックを受け取るように好み設定を指定する。レイカーズが試合を始めると、実体センサ２０は、ゴール、選手、境界、競技役員、ボールなどのコート上の種々の実体に関連付けられるセンサＩＤからセンサ情報を提供する。システム１０はセンサ情報２０を受信し、センサ情報に基づいてイベントを決定することができる。そのようなイベントは、ドリブル、ボールのシュート、得点などのボール関連のイベント、またはブロッキング、ランニング、ジャンプなどの選手関連のイベントを含むことができる。イベントの各々を、実体のソースまたはイベントに関連付けられる実体によって分類することができるので、レイカーズに関連付けられる全てのイベントはそのように分類される。イベントＩＤ及びソースＩＤはイベントに割り当てられることができる。イベントＩＤ及びソースＩＤの全てを、ユーザのタブレットなどの触覚対応デバイスに送信することができる。
【００７７】
ユーザのタブレットはイベントＩＤを受信し、レイカーズのソースＩＤをも有するイベントＩＤのみを使用するようにそれらをフィルタリングすることができる。触覚効果を、レイカーズに対応するイベントＩＤの各々に対して選択することができる。触覚効果をタブレット上で再生することができる。これは全く起こり得ることであり、その結果触覚効果を画面上の映像に合わせるために、イベントＩＤが映像フィードと同時に処理される。
【００７８】
ハーフタイム後、ユーザはコービー・ブライアント（Ｋｏｂｅ  Ｂｒｙａｎｔ）などの特定の選手により集中することを決定することができる。ユーザはその選手に対してのみ触覚効果を有効にする。システム１０は、その選手に対応するソースＩＤについてフィルタリングすることによって応答することができる。この時点で、ユーザは、その選手が何をしているかに基づいて触覚フィードバックのみを受け取ることになる。
【００７９】
別の例では、別のユーザがライブのテニスの試合を観ている。ユーザはこの試合のために触覚効果を活性化させる。ユーザは選手のラケットのヒットの独特な効果を感じることができる。彼女はヒットの強さ及びタイプを感じることができ、これが彼女をより興奮させ、試合により没入させる。その後、彼女はサービス・ショットのみに対して触覚効果を有効にすることを決定する。彼女は、選手のファースト・サービスの試行とセカンド・サービス（通常、選手は精度を高めたくて弱めにサーブする）の試行との間の触覚効果の強度の差を感じることができる。
【００８０】
別の例では、別のユーザが自分の電話機上でライブのサッカーの試合をストリーミングしている。ユーザは、同時に複数の仕事をしているので画面を見ることができない。ユーザは自分の膝の上に電話機を置き、ボールがゴールの射程距離内にあり且つ得点可能なチームの支配下にある場合に対して触覚効果を有効にする。彼は他の仕事に集中することができ且つ試合でのゴールを見逃すことはない。
【００８１】
別の例では、別のユーザがライブのサッカーの試合をストリーミングしている。ユーザは、選手が自分の足または頭を使用してシュートする時の好みの触覚効果のタイプを選択することができる。どの触覚効果が再生されるかをカスタマイズすることにより、ユーザは特殊な経験をすることができる。
【００８２】
開示されているように、実施形態では、イベントＩＤに基づいて、イベントに対する触覚効果を生成するシステムが提供される。センサは情報を収集し、それを、イベントＩＤを決定するためにイベント処理サーバに送信し、イベントＩＤを、ハンドヘルドまたは着用可能デバイスに、そこに収容されている触覚出力デバイス上での出力のために提供することができる。イベントＩＤは、触覚ロジックをイベント開催地から視聴者現場に直接提供する必要がないように、特定の触覚効果に対応することができる。幾つかの実施形態では、触覚効果を引き起こすセンサ情報のソースの特性に基づいて提供される触覚出力をユーザが選択することを可能にするイベントＩＤに関連付けられる分類またはソースＩＤが指定される。
【００８３】
幾つかの実施形態が本明細書に具体的に図示及び／または説明されている。しかしながら、開示されている実施形態の修正及び変形が、本発明の精神及び意図している範囲から逸脱することなく、上記の教示によってカバーされ、且つ添付の特許請求の範囲内に存在することが理解されるであろう。
【図１】
2017059206.tif 000008
【図２】
2017059206.tif 000009
【図３】
2017059206.tif 000010
【図４】
2017059206.tif 000011
【図５】
2017059206.tif 000012
【図６】
2017059206.tif 000013
【図７】
2017059206.tif 000014
【図８】
2017059206.tif 000015
【図９】
2017059206.tif 000016
【外国語明細書】
2017059206000001.pdf