(57)【要約】      （修正有）【課題】メディア・コンテンツ及び触覚フィードバックをカスタマイズするために用いられる一又は複数の外部パラメータに基づいて触覚フィードバックを提供する。【解決手段】メディア・コンテンツのみを用いて決定された触覚フィードバックを修正又は変更してもよい。すなわち、このシステムはメディア・コンテンツ及び外部パラメータの両方を用いて、ユーザなどに対して出力される触覚フィードバックを決定する。この外部パラメータは、センサ情報、カスタマイズ情報、及び／又は触覚フィードバックをカスタマイズするために用いられる他の外部パラメータを含む。【選択図】図４
2014229315.tif 000002
【特許請求の範囲】
【請求項１】
触覚フィードバックを生成する方法であって、
プロセッサによってメディア・コンテンツを受信する工程と、
少なくとも１つの外部パラメータを受信する工程と、
触覚フィードバックを発生させるように構成された制御信号を、前記メディア・コンテンツ及び前記少なくとも１つの外部パラメータに基づいて生成する工程と、
前記制御信号を触覚出力装置に提供する工程と、
を含む方法。
【請求項２】
前記少なくとも１つの外部パラメータがセンサ情報からなる、請求項１に記載の方法。
【請求項３】
前記センサ情報がユーザの生物測定値からなる、請求項２に記載の方法。
【請求項４】
前記センサ情報が環境の環境測定値からなる、請求項２に記載の方法。
【請求項５】
前記センサ情報に基づいてユーザのアクティビティのレベルを決定する工程をさらに含み、
前記制御信号が前記ユーザの前記アクティビティのレベルに基づいて生成される、
請求項２に記載の方法。
【請求項６】
前記センサ情報の後に第２のセンサ情報を受信する工程と、
前記第２のセンサ情報に基づいて前記制御信号を中止又は変更する工程と、
をさらに含む請求項２に記載の方法。
【請求項７】
前記メディア・コンテンツを処理する工程と、
前記処理する工程に基づいて前記メディア・コンテンツの固有情報を決定する工程と、
をさらに含み、
前記固有情報が前記メディア・コンテンツの特性を示し、
前記制御信号が前記固有情報に基づいて生成される、
請求項２に記載の方法。
【請求項８】
前記制御信号を生成する工程が、
前記固有情報に基づいて前記触覚フィードバックの第１のパラメータ用の第１の値を決定する工程と、
前記センサ情報に基づいて前記触覚フィードバックの第２のパラメータ用の第２の値を決定する工程と、
を含む、請求項７に記載の方法。
【請求項９】
前記第１のパラメータが前記触覚フィードバックの周期を含み、前記固有情報が前記メディア・コンテンツのテンポを含む、請求項８に記載の方法。
【請求項１０】
前記第２のパラメータが、前記センサ情報に基づいて変化する触覚フィードバックの量、大きさ、又は種類を含む、請求項８に記載の方法。
【請求項１１】
前記制御信号を生成する工程が、
前記固有情報に基づいて触覚フィードバックを決定する工程と、
前記固有情報に基づく前記触覚フィードバックが前記センサ情報に基づいて拡大又は縮小されるように、前記制御信号を生成する工程と、
を含む、請求項７に記載の方法。
【請求項１２】
前記制御信号を触覚出力装置に提供する工程が、
前記制御信号を
（ｉ）前記プロセッサとともに収容された触覚出力装置、又は
（ｉｉ）前記プロセッサから離隔され別々に収容された触覚出力装置
に対して提供する工程、
を含む請求項１に記載の方法。
【請求項１３】
前記少なくとも１つの外部パラメータが前記触覚フィードバックをカスタマイズするために使用されるカスタマイズ情報からなる、請求項１に記載の方法。
【請求項１４】
前記カスタマイズ情報が、ユーザによる選択が可能なプリファレンスを指示するプロファイル情報を含み、前記触覚フィードバックがユーザによる選択が可能な前記プリファレンスに基づいてカスタマイズされる、請求項１３に記載の方法。
【請求項１５】
前記カスタマイズ情報を受信する工程が、ユーザから前記プロファイル情報を受信する工程を含み、前記プロファイル情報が複数のプロファイルからユーザによって選択可能である、請求項１４に記載の方法。
【請求項１６】
前記カスタマイズ情報が前記触覚出力装置の種類の指示を含み、前記触覚フィードバックが前記触覚出力装置の前記種類に基づいてカスタマイズされるように、前記制御信号が生成される、請求項１３に記載の方法。
【請求項１７】
前記カスタマイズ情報が、前記メディア・コンテンツの種類を指示する使用事例情報を含み、前記触覚フィードバックが前記メディア・コンテンツの前記種類に基づいてカスタマイズされる、請求項１３に記載の方法。
【請求項１８】
前記メディア・コンテンツの前記種類が、動画、一連の２以上の静止画像、音声、又はビデオ・ゲーム・コンテンツを含む、請求項１７に記載の方法。
【請求項１９】
前記カスタマイズ情報を受信する工程が、前記メディア・コンテンツの前記種類を自動的に検出する工程を含む、請求項１７に記載の方法。
【請求項２０】
前記メディア・コンテンツの前記種類を自動的に検出する工程が、フォアグラウンドで実行中のアプリケーションを決定する工程を含む、請求項１９に記載の方法。
【請求項２１】
前記カスタマイズ情報が、ユーザによる選択が可能なプリファレンスを指示するプロファイル情報及び前記触覚出力装置の種類を含み、前記触覚フィードバックがユーザによる選択が可能な前記プリファレンス及び前記触覚出力装置の前記種類に基づいてカスタマイズされる、請求項１３に記載の方法。
【請求項２２】
前記カスタマイズ情報が、ユーザによる選択が可能なプリファレンスを指示するプロファイル情報及び前記メディア・コンテンツの種類を含み、前記触覚フィードバックがユーザによる選択が可能な前記プリファレンス及び前記メディア・コンテンツの前記種類に基づいてカスタマイズされる、請求項１３に記載の方法。
【請求項２３】
前記カスタマイズ情報が、前記触覚出力装置の種類の指示を含み、前記触覚フィードバックが、ユーザによる選択が可能な前記プリファレンス、前記メディア・コンテンツの前記種類、及び前記触覚出力装置の前記種類に基づいてカスタマイズされる、請求項２２に記載の方法。
【請求項２４】
前記制御信号を生成する工程が、前記メディア・コンテンツに基づいて触覚フィードバックを決定するために各々用いられる複数の処理命令から、前記カスタマイズ情報に対応する処理命令を識別する工程を含む、請求項１３に記載の方法。
【請求項２５】
前記少なくとも１つの外部パラメータが前記メディア・コンテンツの少なくとも１つの特性に基づく、請求項１に記載の方法。
【請求項２６】
触覚フィードバックを生成するように構成された装置であって、
プロセッサを備え、
当該プロセッサが、
メディア・コンテンツを受信し、
少なくとも１つの外部パラメータを受信し、
触覚フィードバックを発生させるように構成された制御信号を、前記メディア・コンテンツ及び前記少なくとも１つの外部パラメータに基づいて生成し、
前記制御信号を触覚出力装置に提供する
ようにプログラムされた、装置。
【請求項２７】
前記少なくとも１つの外部パラメータがセンサ情報及び／又はカスタマイズ情報を含む、請求項２６に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２０１３年５月２４日に出願された米国特許仮出願第６１／８２７，３４１号、及び２０１３年９月６日に出願された米国特許仮出願第６１／８７４，９２０号からの優先権を主張するものであり、これらの出願の全内容は参照ににより本明細書に組み入れられる。
【０００２】
本発明は、メディア・コンテンツ及び触覚フィードバックをカスタマイズするために用いられる外部パラメータに基づいて、触覚フィードバックを提供するシステム及び方法に関する。
【背景技術】
【０００３】
メディア・コンテンツに基づいて自動的に触覚フィードバックを決定すると、力強く没入感のある体験をユーザに提供することができる。しかし、従来このような触覚フィードバックを自動的に決定する際には、メディア・コンテンツ自体の特性（例えば、テンポ、周波数、振幅など）のみを考慮に入れていた。外部パラメータ、すなわちメディア・コンテンツの特性以外の情報は、通常無視される。よって、メディア・コンテンツの特性のみに基づいて触覚フィードバックを自動的に決定する従来のシステムは、リッチな触覚フィードバックを提供するためのフレキシブルで、設定可能で、及び／又は拡張性がある解決策を提供できない。
【発明の概要】
【０００４】
本発明は、メディア・コンテンツ及び触覚フィードバックをカスタマイズするために用いられる一又は複数の外部パラメータに基づいて触覚フィードバックを提供するシステム及び方法に関する。例えば、メディア・コンテンツのみを用いて決定された触覚フィードバックを修正又は変更するように、計算装置をプログラムしてもよい。すなわち、この計算装置はメディア・コンテンツ及び外部パラメータの両方を用いて、ユーザに対して出力される触覚フィードバックを決定する。このような外部パラメータは、例えば、センサ情報、カスタマイズ情報、及び／又は触覚フィードバックをカスタマイズするために用いられる他の外部パラメータを含む。
【０００５】
センサ情報は、環境に関する感知された状態（例えば、周囲気温）、空間情報（例えば、運動、位置、方位など）、感知されている（かつ触覚フィードバックを受ける）ユーザの生体情報生体情報、及び／又はユーザ、オブジェクト、及び／又は環境に関して感知又は別途決定されるその他の情報を含む。このように、この計算装置はメディア・コンテンツに基づいて触覚フィードバックを決定する際に、環境の状態、空間情報、ユーザの状態、及び／又はその他の感知された状態を考慮にいれる。
【０００６】
例えば、この計算装置は（例えば、ユーザが音楽を聴きながら電車に乗っているときに）センサ情報を用いて検出される周囲振動を相殺し、ユーザの位置、運動、又は生体情報生体情報に基づいて異なる触覚フィードバックを決定し、及び／又は同じメディア・コンテンツが触覚フィードバックを自動的に決定するためのベースとして用いられるとしても、触覚フィードバックを別途変更する。別の例では、周囲振動が存在する電車に乗車中にビデオ・ゲームを実行するユーザは、ゲームの実行に基づいて第１の触覚フィードバックを与えられ、周囲振動がより顕著でない、存在しない、又は振動の閾値よりも低いレベルである場所で同じビデオ・ゲームを実行している間に、ゲームの実行に基づいて第２のより弱い触覚フィードバックを与えられる。これは電車に乗車中に存在する周囲振動を、計算装置が電車に乗車中に相殺するからである。
【０００７】
カスタマイズ情報は、ユーザ・プロファイル情報、計算装置の状態情報、触覚出力装置の種類情報、及び／又は触覚フィードバックをカスタマイズするために用いられるその他の情報を含む。ユーザ・プロファイル情報は、メディア・コンテンツに基づいて触覚フィードバックを決定するために用いられる一又は複数のユーザ・プリファレンスを示す。例えば、触覚フィードバックを受けるユーザは、計算装置が触覚フィードバックを決定するために用いる一又は複数のプリファレンス又は設定を提供する。このような設定はユーザがユーザ・プリファレンスを指定できる異なるコンテキスト（例えば、使用事例）を特定し、このユーザ・プリファレンスよってメディア・コンテンツに基づいて異なる触覚フィードバックが決定される。
【０００８】
このように、ユーザが映画を見ている場合、音楽を聴いている場合、運動している場合、及び／又はその他のコンテキストを用いてメディア・コンテンツに基づく触覚フィードバックを自動的に決定してもよい。このようなコンテキストは、センサ情報、ユーザによる入力、計算装置の状態情報（例えば、フォアグラウンドで実行されるアプリケーション）、及び／又はその他の情報に基づいて決定される。一部の実施形態において、カスタマイズ情報は、触覚フィードバックを出力するために用いられる触覚出力装置の種類及び／又は数を示す。このように、計算装置は、触覚フィードバックを決定する際に触覚出力装置の種類及び／又は数を考慮に入れる。
【０００９】
一部の実施形態において、コンテキストは本明細書で説明される外部パラメータのうちの任意の数を含んでもよい。例えば、触覚出力装置の種類及び／又は数、再生中のメディア・コンテンツの種類、センサ情報、及び／又はその他の情報を用いて自動的に触覚フィードバックを決定してもよい。これらの実施形態のうちの一部において、所与の外部パラメータに重み付けを行って対応する重要度のレベルを示し、それによって当該所与の外部パラメータが触覚フィードバックに変更を加えてもよい。
【００１０】
触覚フィードバックを自動的に決定するために外部パラメータが使用されない場合には、任意の外部パラメータを他の一又は複数の外部パラメータと組み合わせて、決定された触覚フィードバックに変更を加えてもよい。このように、システムは、メディア・コンテンツ及び一又は複数の外部パラメータに基づいて自動的に決定される、より豊かで、充実し、カスタマイズが可能な触覚フィードバックを促進する。
【００１１】
動作時において、計算装置は、メディア・コンテンツに基づいて触覚フィードバックを自動的に決定する際に、外部パラメータのうちの一又は複数を考慮に入れてもよい。例えば、ユーザは、ユーザの生体情報生体情報、環境の状態、運動、位置、及び／又はユーザ又は環境に関するその他の情報を感知するウェアラブル装置を身につけていてもよい。計算装置又はその他の装置を用いて、ユーザが音楽を聴いている間に、その計算装置に様々な外部パラメータが提供されてもよい。この計算装置は、音楽（又は他のコンテキスト）向けの触覚フィードバックを自動的に決定するための設定を含む、ユーザ定義プロファイルを用いてもよい。この計算装置は、ユーザ・プロファイル、その他の外部パラメータ、及びこの音楽を用いて触覚フィードバックを自動的に決定してもよく、この触覚フィードバックは、この計算装置、一又は複数のウェアラブル装置、及び／又はその他の装置とともに含まれる一又は複数の触覚出力装置を介して、ユーザに対して出力されてもよい。このように、この計算装置は、この音楽の再生に関連付けられた様々な情報（ユーザが運動しているか、ユーザの生物測定状態、など）を考慮に入れて、この音楽に基づく触覚フィードバックを決定してもよい。
【図面の簡単な説明】
【００１２】
【図１】本発明の一態様に従い、メディア・コンテンツ及び触覚フィードバックをカスタマイズするために用いられる外部パラメータに基づいて触覚フィードバックを提供するためのシステムを模式的に示す図である。
【００１３】
【図２】本発明の一態様に従い、メディア・コンテンツに基づいて触覚フィードバックを自動的に決定するために計算装置が用いる、様々な種類の外部パラメータを模式的に示す図である。
【００１４】
【図３】本発明の一態様に従い、メディア・コンテンツに基づいて触覚フィードバックを自動的に決定するために計算装置が用いる、様々なプロファイルを模式的に示す図である。
【００１５】
【図４】本発明の一態様に従い、メディア・コンテンツ及び外部パラメータに基づいて触覚フィードバックを自動的に決定するための処理の一例を模式的に示す図である。
【００１６】
【図５】本発明の一態様に従い、自動的に決定された触覚フィードバックを外部パラメータに基づいて拡大・縮小するための処理の一例を模式的に示す図である。
【００１７】
【図６】本発明の一態様に従い、メディア・コンテンツ及び外部パラメータに基づいて触覚フィードバックを自動的に決定するための処理の一例を模式的に示す図である。
【発明を実施するための形態】
【００１８】
本発明は、メディア・コンテンツ及び触覚フィードバックをカスタマイズするために用いられる外部パラメータに基づいて、触覚フィードバックを提供するシステム及び方法に関する。
【００１９】
図１は、本発明の一態様に従い、メディア・コンテンツ及び触覚フィードバックをカスタマイズするために用いられる外部パラメータに基づいて触覚フィードバックを提供するためのシステム１００を模式的に示す。システム１００は、メディア・コンテンツ１２２を提供するメディア・ソース１２０、一又は複数の外部パラメータ１３２を提供する外部パラメータ・ソース１３０、計算装置１４０、触覚出力装置１６２、画像出力装置１６４、音声出力装置１６６、及び／又はその他の構成要素を備える。図１には、上記の構成要素が一つだけ示されているが、２以上の構成要素を用いることが可能である。
【００２０】
以下で述べるとおり、計算装置１４０は、一又は複数の触覚出力装置１６２に触覚フィードバックを出力させる一又は複数の制御信号を自動的に生成するようにプログラムされている。計算装置１４０は、外部パラメータ１３２を考慮しながら、音声コンテンツのテンポのようなメディア・コンテンツ１２２の様々な特性に基づいて、制御信号を自動的に生成する。例えば、計算装置１４０は、メディア・コンテンツ１２２及び一又は複数の外部パラメータ１３２の組合せに基づいて、提供される触覚フィードバックを自動的に決定してもよい。一部の実施形態においては、計算装置１４０はメディア・コンテンツ１２２に基づいて、提供される触覚フィードバックを自動的に決定し、その後、外部パラメータ１３２に基づいて、自動的に決定された触覚フィードバックを修正（例えば、特性を変更）してもよい。
【００２１】
メディア・コンテンツ１２２は、音声コンテンツ、画像コンテンツ（例えば、動画、静止画、ビデオ・ゲームの視覚表現など）、及び／又はその他のコンテンツを含んでもよい。メディア・コンテンツ１２２は、動画、音声、ビデオ・ゲーム表現、及び／又はその他の再生又は別途出力できるメディアとして構成されてもよい。外部パラメータ１３２は、センサ情報、カスタマイズ情報、及び／又は符号化されたメディアを再現するために用いられるメディア・コンテンツ１２２の特性（本明細書では「属性」と言い換えることもある。）とは別個のその他の情報（上記のうちの任意のものの組合せを含む）を含んでもよい。
【００２２】
センサ情報は、環境（例えば、周囲温度、大気圧など）、運動又は方位（加速度、方位、コンパスなど）、生体情報（例えば、心拍数、体温など）、を測定する一又は複数のセンサからの情報、及び／又は感知又は別途検出されるその他の情報を含んでもよい。カスタマイズ情報は、ユーザ・プリファレンス（例えば、異なる種類のメディア・コンテンツに対する触覚フィードバックのカスタマイズに関するユーザ・プリファレンス）を特定するユーザ・プロファイル、触覚フィードバックを提供するために用いられている触覚出力装置の種類及び／又は数の表示、装置の状態の表示（例えば、フォアグラウンドで実行中のアプリケーション、バッテリ・レベルなど）、及び／又はメディア・コンテンツ１２２に基づいて自動的に決定される触覚フィードバックをカスタマイズするために用いられるその他のカスタマイズ情報を含んでもよい。
【００２３】
センサ情報、カスタマイズ情報、及び／又はその他の情報のいずれが用いられる場合も、メディア・コンテンツ１２２及び、センサ情報、カスタマイズ情報、及び／又はその他の情報に基づいてユーザに対して触覚フィードバックを提供する制御信号を自動的に生成するように、計算装置１４０をプログラムしてもよい。
【００２４】
例えば、計算装置１４０は、音楽のテンポに基づいて触覚フィードバックを自動的に決定してもよく、アクティビティのレベルが所定の閾値よりも低いことをセンサ情報が示す場合には、決定された触覚フィードバックを加速（周波数を増加）するしてもよい。上記の例においては、アクティビティのレベルは、音楽を聴いているユーザによる運動のペースが低下したことを示し、触覚フィードバックはペースを上げるように促すために加速されてもよい。
【００２５】
これに代えて、又はこれに加えて、計算装置１４０は、様々なコンテキストで用いられる特定の種類のアルゴリズムを示すユーザ・プロファイルに基づいて、触覚フィードバックを自動的に決定してもよい。例えば、ユーザ・プロファイルは、ユーザが映画を見ているときに所与のアルゴリズムを使用することを指定し、ユーザが音楽を聴いているときに別のアルゴリズムを使用することを指定して、これにより触覚フィードバックを自動的に決定してもよい。
【００２６】
このように、計算装置１４０は、メディア・コンテンツ１２２を一又は複数の外部パラメータ１３２とともに処理して自動的に触覚フィードバックを生成するようにプログラムされてもよく、これにより、メディア・コンテンツだけでなく触覚フィードバックをカスタマイズするために用いられるその他の情報にも基づいて、触覚フィードバックを自動的に決定するための設定可能で動的な方法を提供することができる。
【００２７】
一部の実施態様において、計算装置１４０は、一又は複数のコンピュータ・プログラム・モジュールでプログラムされ、上記及びその他の機能を実行する一又は複数のプロセッサ１４２を備える。一又は複数のコンピュータ・プログラム・モジュールが一又は複数の記憶装置１４４に記憶されてもよい。これらのモジュールは、メディア処理モジュール１４６、センサ情報モジュール１４８、カスタマイズ情報モジュール１５０、触覚フィードバック・モジュール１５２、メディア出力モジュール１５４、コーディネーション・モジュール１５６、及び／又はその他のモジュールを含んでもよい。
【００２８】
一部の実施形態において、メディア処理モジュール１４６は、メディア・ソース１２０、記憶装置１４４（例えば、メディア・コンテンツ１２２が計算装置１４０にローカルに記憶されている場合）、及び／又はメディア・コンテンツ１２２のその他のソースから、メディア・コンテンツ１２２を受信するように構成されてもよい。例えば、メディア・コンテンツ１２２は、メディア処理モジュール１４６によって、ストリーミングされ、ダウンロードされ、コピーされ、ローカルに記憶され、（例えば、図１に示されないメディア取込装置を介して）ローカルに生成され、又は別途取得される。いずれの態様でメディア・コンテンツ１２２が取得されようとも、メディア処理モジュール１４６は、メディア・コンテンツ１２２をメモリにバッファすることによって、触覚フィードバックを自動的に決定するためにメディア・コンテンツ１２２を処理するように構成されてもよい。
【００２９】
メディア処理モジュール１４６は、動画出力装置１６４及び／又は音声出力装置１６６にメディアを出力させる信号を分析することによって、メディア・コンテンツ１２２を処理するように構成されてもよい。これらの信号は、様々な画像／動画属性、音声属性、及び／又は出力されるメディアを生じるその他の属性を含んでもよい。
【００３０】
このような画像／動画属性は、例えば、色調、明度、彩度、フレームごとのピクセル数、動画サイズ、ビット・レート、及び／又は従来の画像／動画処理技術を用いて検出されるその他の画像／動画属性を含んでもよい。
【００３１】
音声属性は、例えば、周波数、サンプリング・レート又はビット・レート、ビット深度、振幅、及び／又は従来の音声処理技術を用いて検出できるその他の音声属性を含んでもよい。一部の実施形態において、メディア処理モジュール１４６は、メディア・コンテンツ１２２に含まれる複数のチャネルを処理してもよい。このような個別のチャネルを個別に又は互いに組み合わせて用いて、触覚フィードバックを自動的に決定してもよい。メディア処理モジュール１４６は音声処理の様々な技術を用いてもよい。その例は、米国特許出願公開第２０１２／０２０６２４６号明細書（公開日：２０１２年８月１６日）として公開された、共有の米国特許出願第１３／３６５，９８４号明細書（出願日：２０１２年２月３日、発明の名称：「振幅値を用いた音声触覚効果変換システム」）、及び米国特許出願公開第２０１２／０２０６２４７号明細書（公開日：２０１２年８月１６日）として公開された、米国特許出願第１３／３６６，０１０号明細書（出願日：２０１２年２月３日、発明の名称：「波形を用いた音声触覚効果変換システム」）に公開されており、これらは参照により全内容が本明細書に組み込まれる。
【００３２】
一部の実施形態において、センサ情報モジュール１４８は、（触覚フィードバックを発生させる制御信号を生成することによって）触覚フィードバックを自動的に決定するために用いられるセンサ情報を受信するように構成されてもよい。センサ情報は有線又は無線のネットワークを介して受信されるが、これらのネットワークには、インターネット、ローカル・ネットワーク、及び／又は本明細書に記載されるその他のネットワークを含む。センサ情報には、環境を記述する環境情報、オブジェクト／装置を記述する位置／方位／運動情報、ユーザの生理的／心理的な状態を記述する生体情報、及び／又はその他の情報を含んでもよい。よって、外部パラメータ・ソース１３０は、加速度計、ジャイロスコープ、磁石計、温度計、心拍数モニタ、心電図検査（「ＥＣＧ」）センサ、電気的皮膚反応（「ＥＤＲ」）センサ、電気皮膚反応（「ＧＳＲ」）センサ、精神電流反射（「ＰＧＲ」）センサ、血圧センサ、グルコース・モニタ、及び／又はセンサ情報を生成し得るその他のセンサを含んでもよい。一部の実施形態において、外部パラメータ・ソース１３０は、着用者を観測する一又は複数のウェアラブル装置として構成されてもよく、それによって運動、ユーザの状態、環境の状態、及び／又はユーザに関するその他の情報を感知する。
【００３３】
一部の実施形態において、カスタマイズ情報モジュール１５０は、触覚フィードバックを自動的に決定するために用いるカスタマイズ情報を受信するように構成されてもよい。カスタマイズ情報は、例えば、ユーザ・プロファイル情報、触覚出力装置情報、装置の状態情報（例えば、計算装置１４０又は他の装置の現在の状態を示す情報）、及び／又はその他の情報を含んでもよい。このように、外部パラメータ・ソース１３０は、ユーザがユーザ・プロファイルを提供及び／又は保存する計算装置、メディア・コンテンツが表示される計算装置（例えば、計算装置１４０）、及び／又はカスタマイズ情報を提供するその他の装置を含んでもよい。
【００３４】
一部の実施形態において、触覚フィードバック・モジュール１５２は、一又は複数の触覚出力装置１６２に触覚フィードバックを提供させる、メディア・コンテンツ１２２に基づく制御信号を生成するように構成されてもよい。一部の実施形態において、メディア・コンテンツ１２２からメタデータが得られれば、このメタデータも触覚フィードバックの決定に用いることができる。例えば、触覚フィードバック・モジュール１５２によって決定される触覚フィードバックの全体を導くために、音楽のテンポなどの情報を取得してもよい。
【００３５】
触覚フィードバック・モジュール１５２は、メディア・コンテンツ１２２（例えば、メディア・コンテンツ１２２の処理に基づいてメディア処理モジュール１４６によって取得される情報）を用いて、触覚フィードバックを決定し、センサ情報モジュール１４８及び／又はカスタマイズ情報モジュール１５０によって受信された外部パラメータを監視する。例えば、触覚フィードバック・モジュール１５２は、ローパス・フィルタを用いて、触覚フィードバックを提供する音楽の特定の部分（例えば、拍子）を識別してもよい。音楽のこの部分を、（一又は複数の外部パラメータ１３２とともに）触覚フィードバックを決定するために用い（及び／又は外部パラメータに基づいて修正し）てもよい。
【００３６】
一部の実施形態において、触覚フィードバック・モジュール１５２は、メディア・コンテンツ１２２及び一又は複数の外部パラメータ１３２を同時に考慮に入れることにより、触覚フィードバックを決定してもよい。処理の一例は、メディア・コンテンツ１２２及び外部パラメータ１３２（本明細書に記載する一又は複数の異なる種類の外部パラメータを含む）の各々に、触覚フィードバックを決定する際に相対的な重要度を決定するために用いる重みファクターを設定する工程を含んでもよい。
【００３７】
例えば、メディア・コンテンツ１２２のテンポには第１の重みを設定し、外部パラメータ１３２から取得した生物測定値には第２の重みを設定してもよい。触覚フィードバック・モジュール１５２は、テンポに基づいて触覚フィードバックの第１の周波数を決定し、生物測定値に基づいて触覚フィードバックの第２の周波数を決定してもよい。触覚フィードバック・モジュール１５２は、第１の周波数、第１の重み、第２の周波数、第２の重みに基づいて最終的な周波数を決定してもよい。例えば、触覚フィードバック・モジュール１５２は、重み付けされた第１の周波数（例えば、第１の重みによって乗算又は別途重み付けされた第１の周波数）及び重み付けされた第２の周波数（例えば、第２の重みによって同様に重み付けされた第２の周波数）の平均を算出する。
【００３８】
データ値の相対的な重要度を考慮に入れる他の方法を用いてもよい。さらに、他の外部パラメータを用い、これら各々にそれぞれ対応する重みを設定してもよい。さらに、触覚フィードバックの周波数以外の一又は複数の属性又は特性を同様に処理してもよく、メディア・コンテンツ１２２からの信号のテンポ以外の特性を用い、これら各々にそれぞれ対応する重みを設定してもよい。
【００３９】
一部の実施形態において、触覚フィードバック・モジュール１５２は、最初に外部パラメータ１３２を用いずメディア・コンテンツ１２２に基づいて触覚フィードバックを決定することにより、触覚フィードバックを決定してもよい。これらの実施形態において、触覚フィードバック・モジュール１５２は、一又は複数の外部パラメータ１３２に基づいて、決定された触覚フィードバックを修正してもよい。上記の非限定的な例について説明を続けると、触覚フィードバック・モジュール１５２は、メディア・コンテンツ１２２のテンポを用いて触覚フィードバックを決定してもよい。その後、一又は複数の外部パラメータ１３２を用いて、触覚フィードバックを修正してもよい。
【００４０】
一部の実施形態において、触覚フィードバック・モジュール１５２は、メディア・コンテンツ１２２及び一又は複数の外部パラメータ１３２（上記のように各々重み付けされている）のうちの第１の組を同時に用いて、触覚フィードバックを決定してもよい。その後、触覚フィードバック・モジュール１５２は、一又は複数の外部パラメータ１３２のうちの第２の組に基づいて、決定された触覚フィードバックを修正してもよい。例えば、触覚フィードバック・モジュール１５２は、メディア・コンテンツ１２２のテンポ及び生体情報に重み付けすることによって、触覚フィードバックを決定してもよい。その後、触覚フィードバック・モジュール１５２は、周囲温度などの環境情報に基づいて、決定された触覚フィードバックを修正してもよい。
【００４１】
どの情報がいつ用いられるかに関係なく、触覚フィードバック・モジュール１５２は、上記の情報を用いて修正ファクターを算出し、触覚フィードバックを決定する。
【００４２】
触覚フィードバック・モジュール１５２は様々な方法で修正ファクターを操作することができる。例えば、修正ファクターは、規模ファクター、閾値ファクター、及び／又は触覚フィードバックを修正又は別途決定するために用いられるその他の情報を含んでもよい。規模ファクターは触覚フィードバックの特性を上方又は下方に調整するために用いられる。閾値ファクターは、情報（例えば、メディア・コンテンツ１２２又は外部パラメータ１３２を記述する情報）に対してフィルタリングを行うために用いられ、この情報は閾値ファクターを越えない限り除去される。
【００４３】
一部の実施形態において、触覚フィードバック・モジュール１５２は、第１の種類の情報に基づいて触覚フィードバックの第１の特性を決定し、第２の種類の情報に基づいて触覚フィードバックの第２の特性を決定するように構成されてもよい。例えば、触覚フィードバック・モジュール１５２は、音楽の低音域又は動画内の爆発を示すローパス・フィルタのデータに基づいて、触覚フィードバックの大きさを決定してもよい。触覚フィードバック・モジュール１５２は、モニタリングされるとともにシステム１００を使用しているユーザの心拍数などの生体情報に基づいて、触覚フィードバックの周波数を決定してもよい。触覚フィードバック・モジュール１５２は、本明細書で記載される他の外部パラメータ１３２（例えば、外部パラメータと組み合わされ、及び／又は後に外部パラメータによって修正されるローパス周波数データ）に基づいて、触覚フィードバックの第１及び／又は第２の特性を決定してもよい。
【００４４】
一部の実施形態において、触覚フィードバック・モジュール１５２は、特定の種類のメディアとともに用いるためにプログラムされたアルゴリズムなどの命令に対するアクセスが可能である（例えば、ハードコードされた命令を有する、及び／又は命令を受信又は取得する）。例えば、触覚フィードバック・モジュール１５２は、第１のアルゴリズムを用いて音楽を触覚フィードバックに加工し、第２のアルゴリズムを用いて動画を触覚フィードバックに加工してもよい。その他の種類のメディア・コンテンツ１２２には他のアルゴリズムを用いてもよい。ユーザは、例えば、記憶装置１４４又は他の実在の記憶場所に保存されるユーザ・プロファイルを介して、システム１００を構成し、異なる種類のメディアに異なるアルゴリズムを用いてもよい。これらの実施形態において、触覚フィードバック・モジュール１５２は、ユーザ・プロファイルに基づいて、及び再生中のメディア・コンテンツの種類に基づいて、適切なアルゴリズムを用いてもよい。
【００４５】
一部の実施形態において、触覚フィードバック・モジュール１５２は、開発者及び／又は計算装置１４０のユーザによって構成されたルールを用いて、触覚フィードバックを特定してもよい。例えば、これらのルールは、触覚フィードバックの修正が提供されるトリガとなる一又は複数の閾値を含んでもよい。これらの閾値は任意の一又は複数の外部パラメータ１３２に関するものであってもよい。特定の例において、外部パラメータには高度情報が含まれてもよい。これにより、ユーザは閾値高度を設定し、この閾値高度よりも高くなると、触覚フィードバックは特定のアルゴリズム（例えば、高度が高くなるにつれて触覚フィードバックの周波数を高めるように設計されたアルゴリズム）に基づいて触覚フィードバックが決定され、及び／又はこの閾値高度よりも高くなると、触覚フィードバックは特定の修正ファクターで修正される。他の外部パラメータ１３２には他の閾値を、それ単独でも、他の閾値との組み合わせでも、用いることができる。
【００４６】
一部の実施態様において、メディア出力モジュール１５４は、メディア・コンテンツ１２２を出力するように構成されてもよい。メディア出力モジュール１５４は、従来のメディア形式を用いてメディア・コンテンツ１２２を、例えば画像出力装置１６４、音声出力装置１６６、及び／又はその他のメディア出力装置に提供してもよい。
【００４７】
一部の実施態様において、コーディネーション・モジュール１５６は、メディア出力及び制御信号出力をそれぞれメディア出力装置（例えば、画像出力装置１６４及び音声出力装置１６６）及び触覚出力装置１６２に整合させるように構成されてもよい。一部の実装態様において、コーディネーション・モジュール１５６は、メディア・コンテンツ１２２に埋め込まれた同期コードおよび／または動画出力、音声出力、および触覚フィードバックの各々の出力時刻を設定するタイムスタンプに基づいて、画像出力、制御信号（例えば、当該制御信号によって発生する触覚フィードバック）、および音声出力を同期させる。
【００４８】
理解されるように、メディア・コンテンツ１２２は音声コンテンツ及び動画コンテンツを含んでもよい。計算装置１４０は、音声、動画、及び／又はメディア・コンテンツのその他のメディアを本明細書に記載のように処理し、空間的に変化する触覚フィードバックを提供する。
【００４９】
以上、様々なシステム構成要素の概観を説明した。次に、メディア・コンテンツ１２２に基づいて触覚フィードバックを自動的に決定するために、計算装置１４０によって使用及び処理される様々な種類の外部パラメータ１３２について説明する。
【００５０】
図２は、本発明の一態様に従い、メディア・コンテンツ１２２に基づいて触覚フィードバックを自動的に決定するために計算装置１４０が用いる、様々な種類の外部パラメータ１３２を模式的に示す。計算装置１４０は、メディア・コンテンツ及び一又は複数の外部パラメータ１３２に基づいて、自動的に触覚フィードバックを決定するように、図１に示されるモジュールのうちの一又は複数によってプログラムされている。一部の実施形態において、外部パラメータ１３２は、センサ情報２１０、カスタマイズ情報２２０、その他の外部パラメータ２３０、及び／又はその他の情報を含んでもよい。
【００５１】
センサ情報２１０は、ユーザ、オブジェクト、環境などを感知する一又は複数のセンサからの情報を含んでもよい。例えば、センサ情報２１０は、環境情報２１２、空間情報２１４、生物計測情報２１６、及び／又はその他の情報を含んでもよい。
【００５２】
環境情報２１２は、周囲温度、大気圧、高度、及び／又は環境の状態を記述するその他の情報を含んでもよい。これらの実施形態において、図１に示す外部パラメータ・ソース１３０は、温度センサ、気圧センサ、高度計、及び／又は環境情報２１２を感知できるその他の装置を含んでもよい。
【００５３】
計算装置１４０は、メディア・コンテンツ１２２に基づいて提供される触覚フィードバックを決定する際に、環境情報２１２を考慮に入れるようにプログラムされてもよい。計算装置１４０は様々な環境情報２１２に基づいて、メディア・コンテンツ１２２に基づく触覚フィードバックを様々に決定してもよい。非制限的な例おいて、計算装置１４０は、周囲温度が第１の温度の場合に所与の歌に対して第１の触覚フィードバックを決定し、周囲温度が第２の（異なる）温度の場合に同じ歌に対して第２の（異なる）触覚フィードバックを決定する。上記の例において、本明細書に記載するように触覚フィードバックを決定するためのベースとして同じ音楽を用いた場合でも、周囲温度が第１の温度の場合にこの音楽に合わせて運動しているユーザには、周囲温度が第２の温度の場合とは異なる触覚フィードバックが提供されてもよい。このように、計算装置１４０は環境情報２１２によって変化する触覚フィードバックを決定してもよい。
【００５４】
計算装置１４０は、メディア・コンテンツに基づく触覚フィードバックを決定する際に空間情報２１４を用いてもよい。空間情報２１４は、運動、方位、位置、及び／又は空間内のオブジェクトを記述するその他の情報を含んでもよい。これらの実施形態において、図１に示す外部パラメータ・ソース１３０は、加速度計、ジャイロスコープ、磁石計、全地球測位システム（ＧＰＳ）センサ又は位置情報を提供するために用いられるその他の装置、及び／又は空間情報２１４を感知できるその他の装置を含んでもよい。
【００５５】
計算装置１４０は様々な空間情報２１４に基づいて、メディア・コンテンツに基づく触覚フィードバックを様々に決定してもよい。計算装置１４０は、一又は複数の操作モードに従って空間情報２１４を使用してもよい。
【００５６】
第１の操作モードにおいて、装置１４０は空間情報２１４の少なくとも一部を用いて、触覚フィードバックの周波数、大きさ、及び／又はその他の特性を向上させることによって、振動性の「雑音」を相殺してもよい。例えば、振動性雑音が生じにくいソファに座って計算装置１４０で映画を見ているとする。計算装置１４０は、映画及び空間情報２１４（例えば、加速度計やジャイロスコープによって検出された微小な振動性雑音、及び／又はその他のセンサによる空間情報）に基づいて第１の触覚フィードバックを決定するようにプログラムされてもよい。ユーザは同じ映画を電車内で観ることで、振動性雑音が検出されるようにしてもよい。計算装置１４０は、同じ映画に基づく場合であっても、第１の触覚フィードバックよりも（例えば）大きい第２の触覚フィードバックを発生させることによって、この振動性雑音を相殺してもよい。このように、計算装置１４０は空間情報２１４によって変化する触覚フィードバックを決定してもよい。
【００５７】
他の動作モードにおいて、計算装置１４０は空間情報２１４の少なくとも一部を用いてアクティビティのレベルを決定してもよい。例えば、運動又はその他のセンサによる情報に基づいて、計算装置１４０はアクティビティのレベルを決定し、これを用いて、決定された触覚フィードバックを調整してもよい。このように、計算装置１４０は、ユーザ・アクティビティのレベルに従い、メディア・コンテンツに基づいて提供される触覚フィードバックを調整（例えば、触覚フィードバックの周波数、大きさ、及び／又はその他の特性を向上させて動作を促進）してもよい。
【００５８】
他の動作モードにおいて、計算装置１４０は空間情報２１４の少なくとも一部を用いてユーザの位置を決定してもよい。このように、ユーザの様々な地理的な位置を用いて、メディア・コンテンツ１２２に基づく様々な触覚フィードバックを決定してもよい。非制限的な例において、同じ（触覚フィードバックを決定するのに用いられる）音楽を聴く場合でも、運動をしながらこの音楽を聴いているユーザには、第１の場所にいるときには第１の触覚フィードバックが提供され、第２の（異なる）場所にいるときには第２の（異なる）触覚フィードバックが提供されてもよい。このように、ユーザがどこにいるかによって、計算装置１４０は、ユーザの位置に基づいて変化する、メディア・コンテンツ１２２に基づく触覚フィードバックを決定するようにプログラムされてもよい。他の例において、メディア・コンテンツ１２２に基づく触覚フィードバックは、ある位置までの距離によって変化してもよい。一部の実施形態において、空間情報２１４は近接状態情報を含み、あるオブジェクトに対する近接状態が触覚フィードバックの決定に影響するようにしてもよい。これらの実施形態において、メディア・コンテンツ１２２に基づく触覚フィードバックは、あるオブジェクトが接近している、又は近くにあることに対する警告として変化してもよい。
【００５９】
計算装置１４０は、メディア・コンテンツに基づく触覚フィードバックを決定する際に生体情報２１６を用いてもよい。生体情報２１６は、心拍数、（例えば、皮膚水分レベル／汗を検出するための）皮膚伝導性、血圧、体温、グルコース・レベル、及び／又はユーザの生物学的な状態を記述するその他の情報を含んでもよい。これらの実施形態において、図１に示す外部パラメータ・ソースは、心電図検査（「ＥＣＧ」）センサ、電気皮膚反応（「ＧＳＲ」）センサ、精神電流反射（「ＰＧＲ」）センサ、血圧センサ、体温センサ、グルコース・モニタ、及び／又は成分測定情報２１６を感知できるその他のセンサを含んでもよい。
【００６０】
計算装置１４０は様々な生体情報２１６に基づいて、メディア・コンテンツ１２２に基づく触覚フィードバックを様々に決定してもよい。非制限的な例において、計算装置１４０は、生体情報２１６を用いてユーザの疲労又はその他の生物学的状態を決定し、この生物額的な状態に従ってメディア・コンテンツ１２２に基づく触覚フィードバックを決定するようにプログラムされてもよい。ユーザの生物学的な状態を分析することによって、計算装置１４０は、ユーザの疲労レベルが高く、その結果動作レベルが低下していることを検出してもよい。疲労の影響を取り消すために、計算装置１４０は、触覚フィードバックの周期性を音楽又はその他のメディア・コンテンツ１２２の全体のリズムと同期させながら、通常は音楽に反応して提供される触覚フィードバックのテンポを向上させて、運動を継続するようにユーザを動機付けてもよい。上記の例において、触覚フィードバックは音楽と同期されたままでもよいが、ある瞬間に提供される触覚フィードバックの量を増加させることによって、ユーザが運動を継続するように促してもよい。このように、計算装置１４０は、ユーザの生物学的な状態に従って変化する、メディア・コンテンツ１２２に基づく触覚フィードバックを決定してもよい。
【００６１】
カスタマイズ情報２２０は、ユーザ・プロファイル情報２２２、計算装置の状態情報２２４、触覚出力装置の種類情報２２６、及び／又はその他のカスタマイズ情報を含んでもよい。
【００６２】
ユーザ・プロファイル情報２２２は、触覚フィードバックを自動的に生成するアルゴリズム又は技術をユーザが決定できるようにする、ユーザ設定可能な設定を含んでもよい。ユーザ設定可能な設定は、ユーザ・プロファイル情報２２２として、触覚フィードバックを自動的に決定する際に計算装置１４０が用いるために保存される。このように、計算装置１４０は、低レベル音声触覚変換アルゴリズムをユーザに理解できる方法で開示し、触覚フィードバックを自動的に決定するために用いられるユーザ・プリファレンスを保存する。
【００６３】
一部の実施形態において、例えば、ユーザ・プロファイル情報２２２は、異なる種類のアプリケーション／アクティビティに対して異なるアルゴリズムが用いられることを指示してもよい。特定の例において、ユーザは、計算装置が映画に対しては特定の音声触覚変換アルゴリズムを用い、音楽に対しては別の音声触覚変換アルゴリズムを用い、ビデオ・ゲームなどに対してはさらに別の音声触覚変換アルゴリズムを用いることを指示してもよい。
【００６４】
これらの実施形態の一部において、計算装置１４０は計算装置の状態情報２２４を用いて、触覚フィードバックを提供するために用いられる装置のフォアグラウンドでアプリケーションが実行中であることを判定してもよい。例えば、計算装置１４０が（提供する触覚フィードバックを決定するだけでなく）触覚フィードバックを出力する場合、計算装置の状態情報２２４は計算装置１４０の状態を表す。
【００６５】
計算装置の状態情報２２４は、ユーザが操作する計算装置１４０及び／又は触覚フィードバックを出力するその他の装置から受信するか、又は自動的に決定されてもよい。ユーザから受信する場合、ユーザは、どのアルゴリズムを用いて触覚フィードバックを決定するかを制御してもよい。例えば、ユーザが音楽を聴いており、触覚フィードバックを自動的に決定するために音楽プロファイルを用いるという表示を、ユーザが入力（及び計算装置１４０が受信）してもよい。
【００６６】
計算装置の状態情報２２４が自動的に決定される一部の実施形態において、計算装置１４０は、フォアグラウンドで実行中のアプリケーションを自動的に決定してもよい。このような情報を用いて、例えば再生中のメディアの種類を推定してもよい。特に、マルチメディア再生アプリケーションは動画／映画が再生中であることを示唆し、音楽再生アプリケーションは音楽が再生中であることを示唆し、ゲーム・アプリケーションは動画が再生中であることを示唆してもよい。フォアグラウンドで実行中の他の種類のアプリケーションを用いて、同様に計算装置１４０又は触覚フィードバックを提供する他の装置の現在の状態を決定してもよい。例えば、フォアグラウンドで運動アプリケーションが実行中の場合、計算装置１４０は、装置の状態が運動しているユーザに対応することを決定してもよい。計算装置１４０又は触覚フィードバックが出力されるその他の装置は、運動しているユーザによって持ち運ばれ、身に付けられ、又は別途このユーザに関連付けられており、計算装置１４０は触覚フィードバックを自動的に決定するために用いられる一又は複数の運動プロファイルを選択してもよい。
【００６７】
従って、計算装置１４０は、様々なコンテキスト及び状態における計算装置の状態情報２２４及び／又はユーザ・プロファイル情報２２２に基づいて、触覚フィードバックを自動的に決定するために用いられてもよい。
【００６８】
一部の実施形態において、計算装置１４０は触覚フィードバックを自動的に決定する際に、触覚フィードバックを出力するために用いる触覚出力装置の種類及び／又は数を考慮に入れる。例えば、計算装置１４０は、触覚フィードバックを自動的に決定する際に、触覚出力装置の種類情報２２６を用いてもよく、この種類情報２２６は、触覚フィードバックを提供するために用いられる触覚出力装置の数及び／又は種類を示す。
【００６９】
一部の実施形態において、触覚出力装置の種類情報２２６は、ユーザによって設定可能であり、自動的に決定され、及び／又は触覚フィードバックを出力する所与のシステム用の触覚出力装置の特性（例えば、種類及び／又は数）を特定する触覚出力装置情報のデータベースに基づいている。計算装置１４０が触覚フィードバックの出力も行う実施形態において、計算装置１４０は触覚出力装置の種類情報２２６を事前保存する。触覚出力装置の設定及びユーザが選択したアルゴリズム／プロファイルに基づいて、計算装置１４０は適切なアルゴリズムを用いる。例えば、リニア共振アクチュエータ（「ＬＲＡ」）を用いて触覚フィードバックを出力する場合、計算装置１４０は、ＬＲＡ型の触覚出力装置によって生成されるように特別に改変された触覚フィードバックを自動的に決定してもよい。他の種類及び／又は数の触覚出力装置は、同様に、触覚フィードバックを生成するために用いられる各々のアルゴリズムと関連付けられている。さらに、上記の情報を組み合わせて、触覚フィードバックを自動的に生成するために用いられる特定のアルゴリズムを識別してもよい。例えば、ユーザによって定義された、音楽用の「超低音」のプロファイルを、所与の種類及び／又は数の触覚出力装置を示す情報と組み合わせて、触覚フィードバックを自動的に決定してもよい。
【００７０】
一部の実施形態において、計算装置１４０及び／又は触覚フィードバックを出力するその他の装置は、ユーザによる介入や選択なしで触覚フィードバックを自動的に決定してもよい。これらの実施形態において、計算装置１４０は、触覚フィードバックを自動的に生成するために用いられる処理技術と関連付けられる一又は複数のプロファイルを含んでもよい。
【００７１】
一部の実施形態において、他の外部パラメータ２３０はユーザによって手動で入力されるため、触覚出力装置１６２に対する制御信号は、メディア・コンテンツ１２２の少なくとも１つの特性に基づいて手動でカスタマイズされてもよい。一部の実施形態において、計算装置１４０は、メディア・コンテンツ１２２の少なくとも１つの特性に基づいて触覚出力装置１６２に対する制御信号をカスタマイズするようにプログラムされてもよい。
【００７２】
再度図１を参照すると、一部の実施形態において、触覚出力装置１６２が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置１６２は、非機械的または非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板および可撓性もしくは変形可能な表面を用いる装置、またはエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。
【００７３】
一部の実施形態において、画像出力装置１６４は、タッチスクリーン・ディスプレイ、モニタ、及び／又は動画、静止画、ゲーム表現などの画像コンテンツを表示できるその他のディスプレイなどのディスプレイを含んでもよい。一部の実施形態において、音声出力装置１６６には、スピーカ、ヘッドフォン、または音声を発生可能なその他の装置が含まれる。一部の実装態様において、画像出力装置１６４、触覚出力装置１６２、及び／又は音声出力装置１６６は、計算装置１４０と一体に構成されてもよい。一部の実装態様において、画像出力装置１６４、触覚出力装置１６２、及び／又は音声出力装置１６６は、計算装置１４０とは別体に収容されてもよい。
【００７４】
記憶装置１４４には、計算装置１４０と一体に（すなわち、実質的に着脱不能に）設けられたシステムストレージ、及び、例えばポート（例えばＵＳＢポート、ファイヤーワイヤーポート等）やドライブ（例えばディスクドライブ等）を介して計算装置１４０と着脱可能に接続されたリムーバブルストレージの少なくとも一方が含まれる。記憶装置１４４には、光学的に読み取り可能な記憶メディア（例えば光学ディスク等）、磁気的に読み取り可能な記憶メディア（例えば磁気テープ、磁気ハードドライブ、フロッピードライブ等）、電荷型ストレージメディア（例えばＥＥＰＲＯＭ、ＲＡＭ等）、ソリッドステート・ストレージメディア（例えばフラッシュドライブ等）、及び／又は前記以外の電子的に読み取り可能な不揮発性ストレージメディアが含まれる。記憶装置１４４には、一又は複数の仮想ストレージリソース（例えば、クラウドストレージ、仮想プライベートネットワーク、及び／又はこれら以外の仮想ストレージリソース）が含まれる。記憶装置１４４は、ソフトウェアアルゴリズム、単数又は複数のプロセッサ１４２によって決定された情報、計算装置１４０から受信した情報、及び／又は計算装置１４０が本明細書で説明したように機能できるようにする前記以外の情報を記憶することができる。
【００７５】
単数又は複数のプロセッサ１４２は、計算装置１４０における情報処理能力を提供するように構成される。したがって、単数又は複数のプロセッサ１４２は、デジタルプロセッサ、アナログプロセッサ、情報処理用のデジタル回路、情報処理用のアナログ回路、ステートマシン、及び／又は電子的に情報を処理する前記以外のメカニズムの一又は複数を備えることができる。図１においては、単数又は複数のプロセッサ１４２は単一の要素として示されているが、これは説明の便宜上に過ぎない。一部の実装態様においては、プロセッサ１４２は複数のプロセッシングユニットを備えることができる。これらのプロセッシングユニットは物理的に同じ装置に配置されてもよいし、単数又は複数のプロセッサ１４２は、連携して動作する複数の装置の処理機能を表すことができる。単数又は複数のプロセッサ１４２は、モジュールを実行する際に、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、及び／またはファームウェア、及び／または単数又は複数のプロセッサ１４２の処理能力を構成する他の機構を用いてもよい。
【００７６】
本明細書で説明されるモジュールは例示に過ぎない。説明した以外の構成や数のモジュールを用いることもできるし、一又は複数の物理的なプロセッサが本明細書の機能を実現するためにプログラムされる限りにおいては、モジュール化しないアプローチを取ることもできる。図１において様々なモジュールが単一の処理装置内の同じ位置に配置されるものとして示されるが、プロセッサ１４２が複数の処理装置を含む実施形態においては、一又は複数のモジュールを他のモジュールとは分離して配置してもよい。以下の異なるモジュールによって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュールはいずれも記述されるよりも多くの、または少ない機能を提供してもよい。例えば、当該モジュールのうちの一または複数を取り除き、その機能の一部またはすべてを、当該モジュールのうちの他のモジュールで提供してもよい。他の例として、以下でモジュールのうちの１つに帰せられる機能の一部またはすべてを実行する１または複数の追加的なモジュールを実行するように、プロセッサ１４２が構成されてもよい。
【００７７】
図１に示される構成要素は、ネットワーク等の様々な通信リンクを介して互いに通信可能に結合される。当該ネットワークには、有線接続又は無線接続が含まれる。本発明の一部の態様において、当該ネットワークは、例えば、インターネット、イントラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ネットワーク、セルラー通信ネットワーク、公衆交換電話網、および／またはこれら以外のネットワークの一又は複数である。
【００７８】
様々な入力、出力、設定、および／または本明細書で記憶され（ｓｔｏｒｅｄ）又は記憶可能（ｓｔｏｒａｂｌｅ）として説明される前記以外の情報は、一又は複数のデータベース（図１には示されていない）に記憶することができる。かかるデータベースは、例えば、オラクルコーポレーションによって市販されているオラクル（商標）リレーショナル・データベースであり、当該リレーショナル・データベースを含み、または当該リレーショナル・データベースと接続することができる。これ以外のデータベース、たとえば、Ｉｎｆｏｒｍｉｘ（商標）、ＤＢ２（Ｄａｔａｂａｓｅ  ２）、又はこれら以外のデータストレージを使用し、組み込み、又はこれらにアクセスすることができる。このデータストレージには、ファイルベースのもの、クエリフォーマット、またはＯＬＡＰ（Ｏｎ  Ｌｉｎｅ  Ａｎａｌｙｔｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ）、ＳＱＬ（Ｏｎ  Ｌｉｎｅ  Ａｎａｌｙｔｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ）、ＳＡＮ（Ｓｔｏｒａｇｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｍｉｃｒｏｓｏｆｔ  Ａｃｃｅｓｓ（商標）又は前記以外のリソースが含まれる。このデータベースは、一又は複数の物理的な装置および一又は複数の物理的な場所に配置されるようなデータベースを含む。このデータベースは、複数の種類のデータおよび／もしくはファイル、並びに／または、関連するデータ記述もしくはファイル記述、管理情報、または前記以外の任意の情報を記憶することができる。
【００７９】
図３は、本発明の一態様に従い、メディア・コンテンツ１２２に基づいて触覚フィードバックを自動的に決定するために計算装置１４０が用いる、様々なプロファイル３００（図３においてプロファイル３００Ａ、３００Ｂ、３００Ｎとして記載）を模式的に示す。各プロファイル３００は、例えば開発者（例えば、図１に示す計算装置１４０によって使用されるモジュールを開発する人）、及び／又は触覚フィードバックを受けるユーザによって、設定可能である。プロファイル３００は、触覚フィードバックを自動的に決定するためのパラメータ（例えば、音楽中の特定のレベルの低音は触覚フィードバックの特定の振幅に関連付けられ、映画中の特定のレベルの低音は触覚フィードバックの異なる振幅に関連付けられるようにする）、触覚フィードバックを自動的に決定する際に用いる特定のアルゴリズム又は処理、及び／又は触覚フィードバックの自動的な決定に影響するその他の設定、を特定する情報を含んでもよい。
【００８０】
一部の実施形態において、プロファイル３００は異なるコンテキストに関連してもよい。例えば、図示するように、映画ユーザ・プロファイル３００Ａは、（例えば映画が再生されているときに）映画コンテンツに対する触覚フィードバックを自動的に決定するために使用される情報を含み、音楽ユーザ・プロファイル３００Ｂは、（例えば音楽が再生されているときに）音楽コンテンツに対する触覚フィードバックを自動的に決定するために使用される情報を含み、ゲーム・ユーザ・プロファイル３００Ｎは、（例えばゲームが実行されているときに）ゲーム・コンテンツに対する触覚フィードバックを自動的に決定するために使用される情報を含んでもよい。
【００８１】
一部の実施形態において、各プロファイル３００は異なる種類の触覚出力装置に対する設定を含んでもよい。言い換えれば、プロファイル３００は、触覚フィードバックを出力するために用いられる触覚出力装置の種類に基づいて、触覚フィードバックの自動的な決定を改変するために用いられてもよい。例えば、各プロファイル３００は、圧電材料３１０Ａ型の触覚出力装置向けの設定３１２、ＥＲＭ３２０型の触覚出力装置向けの設定３１４、ＬＲＡ３３０型の触覚出力装置向けの設定３１６、及び／又はその他の種類の触覚出力装置向けの設定を含んでもよい。各設定は、本明細書に記載のように触覚フィードバックを自動的に決定するために用いられるパラメータ、アルゴリズムなどに関係している。
【００８２】
他のプロファイル（図示せず）は、他のコンテキストにおいて触覚フィードバックを自動的に決定するために用いられる情報を含んでもよい。この情報は、例えばユーザがいつ運動、ドライブ、及び／又はその他のアクティビティをするかであり、これは本明細書に記載される外部パラメータから推論することができる。このように、プロファイル３００は図３に示したものに限られない。計算装置１４０（図１に示す）は、各プロファイル３００を用いて触覚フィードバックの自動的な決定のし方をカスタマイズしてもよい。このカスタマイズは、再生中のメディア・コンテンツの種類などのメディア・コンテンツが再生される際のコンテキスト、メディア・コンテンツが再生される際のユーザ・アクティビティ、触覚フィードバックを出力するために用いられる触覚出力装置の種類、及び／又はその他のコンテキスト、に基づいている。
【００８３】
一部の実施形態において、プロファイル３００は、提供する触覚フィードバックを自動的に決定する計算装置１４０からアクセス可能であるか、又は計算装置１４０に含まれる記憶装置に記憶される。一部の実施形態において、プロファイル３００は、ハードコードされるか、又は計算装置１４０にプログラムを組み込むためのモジュールとして含まれている。一部の実施形態において、プロファイル３００は、触覚フィードバックを受けるユーザによって設定できる場合もあればできない場合もある。
【００８４】
図４は、本発明の一態様に従い、メディア・コンテンツ及び外部パラメータに基づいて触覚フィードバックを自動的に決定するための処理４００の一例を示す。図４のフローチャートおよび他の図面に示された様々な処理工程が以下で詳細に説明される。説明される工程は、上述したシステム構成要素の一部または全部を使用して実現される。本発明の一態様に従って、様々な工程が異なるシーケンスで実行され得る。他の実装態様においては、図４および他の図面に示した工程の一部または全部とともに追加的な工程を実行することができ、一部の工程を省略することができる。さらに別の実施形態において、一又は複数の工程が同時に実行されてもよい。また、図示された（また以下で詳細に説明する）工程は、本質的に例示に過ぎず、限定的なものと理解されるべきではない。
【００８５】
工程４０２において、メディア・コンテンツが受信されてもよい。メディア・コンテンツは、ストリーム（例えば、インターネットなどのネットワーク経由で伝達されるコンテンツ）、ダウンロード、処理４００がアクセス可能なローカル・ストレージ（ストリーム又はダウンロードされたものを記憶する）、及び／又はメディア・コンテンツが受信又は取得可能な他の態様を介して受信される。メディア・コンテンツがどのように受信されるかに関わらず、メディア・コンテンツは、メディア・コンテンツの一又は複数の特性を決定するために処理されてもよい。このような特性を提供される触覚フィードバックを決定するためのファクターとして用いてもよい。
【００８６】
工程４０４において、外部パラメータはメディア・コンテンツと同様の態様で受信されてもよい。これに加えて、又はこれに代えて、外部パラメータはセンサなどの接続された装置から受信されてもよく、この装置は生物計測センサ、姿勢／方位／位置センサ、及び／又はその他の種類のセンサを含んでもよい。外部パラメータがどのように受信されるかに関わらず、外部パラメータを用いて、提供される触覚フィードバックを変更又は自動的に決定してもよい。
【００８７】
工程４０６において、メディア・コンテンツ及び外部パラメータに基づいて制御信号が生成されてもよい。この制御信号は、一又は複数の触覚出力装置に触覚フィードバックを出力させるように構成されてもよい。このように処理４００は、提供される触覚フィードバックを自動的に決定するために用いられ、この触覚フィードバックを符号化して制御信号を生成してもよい。この制御信号は、触覚出力装置に適用される駆動信号、及び／又は触覚出力装置に触覚フィードバックを出力させるために用いられる命令を含むことができる。
【００８８】
一部の実施形態において、メディアの特性を用いて、提供される触覚フィードバックを自動的に決定してもよく、その後、外部パラメータを用いて、提供される触覚フィードバックを拡大・縮小又は修正してもよい。一部の実施形態において、触覚フィードバック及び外部パラメータを同時に用いて、触覚フィードバックを自動的に決定してもよい。一部の実施形態において、メディアの特性及び／又は外部パラメータの各々に重み付けを行い、メディアの特性及び／又は外部パラメータが提供される触覚フィードバックに影響を与える程度を示すようにしてもよい。このような重み付けはプロファイルの一部として記憶されるか、又は外部パラメータに関連付けられてもよい。
【００８９】
工程４０８において、制御信号は一又は複数の触覚出力装置に提供されてもよい。一部の実施形態において、制御信号は、有線又は無線接続を介して遠隔装置に提供されてもよい。その他の実施形態において、制御信号は、内部バスなどの内部接続を介して提供されてもよい。
【００９０】
図５は、本発明の一態様に従い、自動的に決定された触覚フィードバックを外部パラメータに基づいて拡大・縮小するための処理４０６Ａの一例を示す図である。工程５０２において、提供される触覚フィードバックはメディア・コンテンツに基づいて自動的に決定されてもよい。このような触覚フィードバックを自動的に決定する際に使用できるシステム及び方法は、米国特許出願公開第２０１２／０２０６２４６号明細書（公開日：２０１２年８月１６日）として公開された、共同所有の米国特許出願第１３／３６５，９８４号明細書、及び米国特許出願公開第２０１２／０２０６２４７号明細書（公開日：２０１２年８月１６日）として公開された、米国特許出願第１３／３６６，０１０号明細書に公開されており、これらは参照により全内容が本明細書に組み込まれる。
【００９１】
工程５０４において、外部パラメータが取得可能か否かの判定が行われる。外部パラメータが取得可能でない（例えば、入力されていないか又は見つからない）場合、触覚フィードバックを発生させる制御信号を工程５０６で生成してもよい。一方、外部パラメータが取得可能である場合、次の外部パラメータが工程５０８で処理される。
【００９２】
工程５１０において、当該次の外部パラメータに重みが付与されているか否かの判定が行われる。当該次の外部パラメータに重みが付与されていない場合、工程５１２において、触覚フィードバックは当該次の外部パラメータに基づいて拡大・縮小される。例えば、当該次の外部パラメータは、触覚フィードバックの特性を向上又は低下させる設定を指定してもよく、及び／又は触覚フィードバックを変更するためのアルゴリズム又は処理命令を含んでもよい。
【００９３】
当該次の外部パラメータに重みが付与されている場合、工程５１４において、この重み付けされた外部パラメータを用いて触覚フィードバックを拡大・縮小する。例えば、重み付けされた外部パラメータは、触覚フィードバックが拡大・縮小される比率を指示してもよい。このように、各外部パラメータを他の外部パラメータと比較した相対的な重要性を考慮に入れて、触覚フィードバックを拡大・縮小してもよい。
【００９４】
工程５１６において、さらに外部パラメータが取得可能か否かの判定が行われる。さらに外部パラメータが取得可能な場合、処理４０６Ａは工程５０８に戻り、さらに次の外部パラメータが処理される。さらに取得可能な外部パラメータが存在しない場合、工程５１８において、拡大・縮小された触覚フィードバック用の制御信号が生成されてもよい。この制御信号は従来の信号処理技術に基づいて生成されており、提供される触覚フィードバックの特性を指定することができる。このような特性は、本明細書に記載したように、メディア・コンテンツ及び外部パラメータに基づいて自動的に決定されてもよい。
【００９５】
図６は、本発明の一態様に従い、メディア・コンテンツ及び外部パラメータに基づいて触覚フィードバックを自動的に決定するための処理４０６Ｂの一例を示す。工程６０２において、外部パラメータが取得可能か否かの判定が行われる。取得できる外部パラメータが存在しない場合、工程６０４において、この触覚フィードバック用の制御信号が生成される。一方、外部パラメータが取得可能である場合、次の外部パラメータが工程６０６で処理される。
【００９６】
工程６０８において、当該次の外部パラメータに重みを付与するか否かの判定が行われる。当該次の外部パラメータに重み付けをするか否かによって、重み付けされていない当該次の外部パラメータ又は重み付けされた当該次の外部パラメータが、工程６１０又は６１２においてメモリにバッファされる。工程６１４において、処理する外部パラメータがさらに存在するか否かの判定が行われる。さらに外部パラメータが取得可能な場合、処理４０６Ｂは工程６０６に戻り、さらに次の外部パラメータが処理される。
【００９７】
さらに取得できる外部パラメータが存在しない場合、工程６１６において、メディア・コンテンツ及びバッファされた外部パラメータに基づいて触覚フィードバックが決定される。例えば、本明細書に記載された、メディア・コンテンツに基づく触覚フィードバックを自動的に決定するためのシステム及び方法を修正して、バッファされた外部パラメータを考慮に入れてもよい。特に、提供される触覚フィードバックの特性を決定する際に、このようなシステム及び方法を修正して、触覚フィードバックの特性を変更（例えば、拡大又は縮小）してもよい。工程６１８において、決定された触覚フィードバック用に制御信号が生成される。
【００９８】
本発明の他の態様、使用、および有利な効果は、明細書を考慮し、本明細書に記載された発明の実施を通じて、当業者に明らかなものとなる。本明細書は例示的なものに過ぎず、本発明の趣旨は以下の特許請求の範囲に基づいてのみ限定されることが意図されている。
【図２】
2014229315.tif 000003
【図３】
2014229315.tif 000004
【図４】
2014229315.tif 000005
【図５】
2014229315.tif 000006
【図６】
2014229315.tif 000007
【図１】
2014229315.tif 000008
【外国語明細書】
2014229315000001.pdf