(57)【要約】  端末機器は、処理部と、触覚情報出力部と、検出部とを具備する。前記処理部は、振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成し、この切り出し波形データに基づく波形データを生成するように構成される。前記触覚情報出力部は、前記処理部により生成された前記波形データに応じた触覚情報を生成して出力するように構成される。前記検出部は、ユーザーアクションによる入力信号を検出し、検出した入力信号を前記振動波形データとして前記処理部へ出力するように構成される。
2018047475.tif 000002
【特許請求の範囲】
【請求項１】
振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成し、この切り出し波形データに基づく波形データを生成するように構成された処理部と、  前記処理部により生成された前記波形データに応じた触覚情報を生成して出力するように構成された触覚情報出力部と、  ユーザーアクションによる入力信号を検出し、検出した入力信号を前記振動波形データとして前記処理部へ出力するように構成された検出部と  を具備する端末機器。
【請求項２】
請求項１に記載の端末機器であって、  前記処理部は、前記検出部により検出された前記入力信号に応じた振動波形データの複数の切り出し波形データを重畳することにより重畳波形データを生成するように構成され、  前記触覚情報出力部は、前記重畳波形データに応じた触覚情報を生成して出力するように構成される  端末機器。
【請求項３】
請求項１に記載の端末機器であって、  前記振動波形データまたは前記切り出し波形データを送受信するように構成された通信部をさらに具備する端末機器。
【請求項４】
請求項３に記載の端末機器であって、  前記処理部は、前記検出部により検出された前記入力信号に応じた第１振動波形データの切り出し波形データと、前記通信部を介して取得した第２振動波形データの切り出し波形データとを重畳することにより重畳波形データを生成するように構成され、  前記触覚情報出力部は、前記重畳波形データに応じた触覚情報を生成して出力するように構成される  端末機器。
【請求項５】
請求項４に記載の端末機器であって、  前記処理部は、前記通信部を介して取得した、別の第２の端末機器から送信された第２振動波形データの切り出し波形データと、前記振動波形データの切り出し波形データとを重畳することにより重畳波形データを生成するように構成される  端末機器。
【請求項６】
請求項１に記載の端末機器であって、  前記検出部は、前記触覚情報出力部による触覚情報の生成を開始するためのセンシング機能を有し、  前記処理部は、前記センシング機能による検出値に基づき、前記切り出しの処理を実行するように構成され、  前記触覚情報出力部は、前記波形データに基づく前記触覚情報を生成して出力するように構成される  端末機器。
【請求項７】
請求項１に記載の端末機器であって、  前記処理部は、前記触覚情報出力部による触覚情報の生成を開始するためのアプリケーションプログラムを有し、前記アプリケーションプログラムを起動した場合、前記切り出しの処理を実行するように構成され、  前記触覚情報出力部は、前記波形データに基づく前記触覚情報を生成して出力するように構成される  端末機器。
【請求項８】
通信部と、  前記通信部により受信された振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成するように構成された処理部とを具備し、  前記処理部は、前記通信部により受信された第１の端末機器からの送信要求に応じて、前記振動波形データまたは前記切り出し波形データを、前記通信部を介して前記第１の端末機器に送信するように構成される  サーバー。
【請求項９】
請求項８に記載のサーバーであって、  前記第１の端末機器が、ユーザーアクションによる入力信号を検出し、検出した入力信号を第１振動波形データとして、前記サーバーに送信する機能を有する場合、  前記処理部は、前記第１の端末機器とは別の第２の端末機器から送信された第２振動波形データの切り出し波形データと、前記第１振動波形データの切り出し波形データとを重畳することにより重畳波形データを生成し、前記重畳波形データを前記第１の端末機器に送信するように構成される  サーバー。
【請求項１０】
請求項９に記載のサーバーであって、  前記処理部は、前記通信部により受信された前記第２の端末機器からの送信要求に応じて、前記重畳波形データを前記第２の端末機器にさらに送信するように構成される  サーバー。
【請求項１１】
サーバーと、端末機器とを具備し、  前記サーバーは、    サーバー側通信部と、    前記端末機器からの送信要求に応じて、前記サーバー側通信部により、振動波形データを送信するように構成されサーバー側処理部とを有し、  前記端末機器は、    前記サーバーから送信された前記振動波形データを受信する通信部と、    受信した前記振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成し、この切り出し波形データに基づく波形データを生成するように構成された処理部と、  前記処理部により生成された前記波形データに応じた触覚情報を生成して出力するように構成された触覚情報出力部と、  ユーザーアクションによる入力信号を検出し、検出した入力信号を前記振動波形データとして前記処理部へ出力するように構成された検出部と  情報処理システム。
【請求項１２】
サーバーと、端末機器とを具備し、  前記サーバーは、    サーバー側通信部と、    前記通信部により受信された前記端末機器からの送信要求に応じて、前記通信部により受信された振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成し、この切り出し波形データに基づく波形データを生成し、この波形データを前記端末機器に送信するように構成された処理部とを有し、  前記端末機器は、    前記波形データをを受信するように構成された通信部と、    前記通信部により受信した波形データに応じた触覚情報を生成して出力するように構成された触覚情報出力部とを有する  情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本技術は、触覚提示デバイスを利用した情報処理の技術に関する。
【背景技術】
【０００２】  特許文献１に記載の情報処理システムは、ユーザーが画像を視るという視覚の情報に加えて、画像に対応された触覚の情報を提供する。具体的には、この情報処理システムにおける情報処理装置は、動画または静止画を含む画像情報に対応付けられた触覚提示用の触覚情報を、受信側装置へ送る。触覚情報とは、振動の切り出し波形データである。受信側装置はその触覚情報を受信し、画像の提示とともに、例えば圧電素子等の触覚発生手段を用いて触覚をユーザーに提示する。このような情報処理システムは、例えば触覚テレビ電話システムや、感動触覚電話システム、触覚ネットショッピングシステム、触覚機能付きゲーム配信システムに応用される（例えば、特許文献２の明細書段落［００２６］、［００２７］、［００３１］等を参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2006-163579号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  上記のように触覚提示の技術を利用して多様な装置やサービスが期待されており、ユーザーの興趣を向上させる新たなシステムが求められている。【０００５】  本開示の目的は、触覚提示技術を利用してユーザーの興趣を向上させる情報処理システム、これに含まれる端末機器およびサーバーを提供することにある。
【課題を解決するための手段】
【０００６】  上記目的を達成するため、本技術に係る端末機器は、処理部と、触覚情報出力部と、検出部とを具備する。  前記処理部は、振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成し、この切り出し波形データに基づく波形データを生成するように構成される。  前記触覚情報出力部は、前記処理部により生成された前記波形データに応じた触覚情報を生成して出力するように構成される。  前記検出部は、ユーザーアクションによる入力信号を検出し、検出した入力信号を前記振動波形データとして前記処理部へ出力するように構成される。【０００７】  この端末機器は、振動波形データから１または複数の周期に基づくタイミングで切り出された切り出し波形データに基づく波形データを生成する。これにより、端末機器は、振動波形データに応じた、またはこれに基づく触覚情報を触覚情報出力部により生成して、いつでもその触覚を再現することができる。また、端末機器は、ユーザーが自らこの端末機器に入力したユーザーアクションに応じた振動波形データを処理することができる。したがって、ユーザーの興趣の向上を図ることができる。【０００８】  前記処理部は、前記検出部により検出された前記入力信号に応じた振動波形データの複数の切り出し波形データを重畳することにより重畳波形データを生成するように構成されていてもよい。  前記触覚情報出力部は、前記重畳波形データに応じた触覚情報を生成して出力するように構成されていてもよい。【０００９】  前記端末機器は、前記振動波形データまたは前記切り出し波形データを送受信するように構成された通信部をさらに具備してもよい。これにより、端末機器と外部機器との間で波形データを送受信することができる。【００１０】  前記処理部は、前記検出部により検出された前記入力信号に応じた第１振動波形データの切り出し波形データと、前記通信部を介して取得した第２振動波形データの切り出し波形データとを重畳することにより重畳波形データを生成するように構成されていてもよい。  前記触覚情報出力部は、前記重畳波形データに応じた触覚情報を生成して出力するように構成されていてもよい。【００１１】  これにより、ユーザーは、自らのユーザーアクションに基づく第１振動波形データと、別の第２振動波形データとが重畳された重畳波形データに応じた触覚の提示を受けることができる。したがってユーザーは、例えば第２振動波形データによる触覚との一体感、あるいはその第２振動波形データを生成した他のユーザーとの共有感や一体感を得ることができる。【００１２】  「通信部を介して取得した第２振動波形データの切り出し波形データ」とは、次の２つの意味を含む。通信部が、第２振動波形データに基づき生成された切り出し波形データを取得してもよいし、あるいは、通信部が、第２振動波形データを取得して、処理部がその第２振動データから切り出し波形データを切り出してもよい。以下、同様である。【００１３】  前記処理部は、前記通信部を介して取得した、別の第２の端末機器から送信された第２振動波形データの切り出し波形データと、前記振動波形データの切り出し波形データとを重畳することに���り重畳波形データを生成するように構成されていてもよい。【００１４】  これにより、ユーザーは、自らのユーザーアクションに基づく第１振動波形データと、第２の端末機器からの第２振動波形データとが重畳された重畳波形データに応じた触覚の提示を受けることができる。したがってユーザーは、例えば第２振動波形データによる触覚との一体感、あるいはその第２振動波形データを生成した他のユーザーとの共有感や一体感を得ることができる。【００１５】  前記検出部は、前記触覚情報出力部による触覚情報の生成を開始するためのセンシング機能を有していてもよい。  前記処理部は、前記センシング機能による検出値に基づき、前記切り出しの処理を実行するように構成されていてもよい。  前記触覚情報出力部は、前記波形データに基づく前記触覚情報を生成して出力するように構成されていてもよい。【００１６】  これにより、端末機器が所定の状態にある場合に、ユーザーは重畳波形データに基づく触覚の提示を受けることができる。【００１７】  前記処理部は、前記触覚情報出力部による触覚情報の生成を開始するためのアプリケーションプログラムを有し、前記アプリケーションプログラムを起動した場合、前記切り出しの処理を実行するように構成されていてもよい。  前記触覚情報出力部は、前記波形データに基づく前記触覚情報を生成して出力するように構成されていてもよい。【００１８】  これにより、ユーザーがアプリケーションプログラムを起動した場合に、重畳波形データに基づく触覚の提示を受けることができる。【００１９】  一形態に係るサーバーは、通信部と、処理部とを具備する。  前記処理部は、前記通信部により受信された振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成するように構成される。  前記処理部は、前記通信部により受信された第１の端末機器からの送信要求に応じて、前記振動波形データまたは前記切り出し波形データを、前記通信部を介して前記第１の端末機器に送信するように構成される。【００２０】  前記第１の端末機器が、ユーザーアクションによる入力信号を検出し、検出した入力信号を第１振動波形データとして、前記サーバーに送信する機能を有する場合、前記処理部は、次のように構成されていてもよい。すなわち、前記処理部は、前記第１の端末機器とは別の第２の端末機器から送信された第２振動波形データの切り出し波形データと、前記第１振動波形データの切り出し波形データとを重畳することにより重畳波形データを生成し、前記重畳波形データを前記第１の端末機器に送信するように構成される。【００２１】  前記処理部は、前記通信部により受信された前記第２の端末機器からの送信要求に応じて、前記重畳波形データを前記第２の端末機器にさらに送信するように構成されていてもよい。【００２２】  一形態に係る情報処理システムは、上記サーバーと、上記端末機器とを具備する。
【発明の効果】
【００２３】  以上、本技術によれば、触覚提示技術を利用してユーザーの興趣を向上させることができる。【００２４】  なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２５】
【図１】図１は、本技術の概念を示すシステム構成図である。
【図２】図２は、本技術の一実施形態に係る情報処理システムの構成を示すブロック図である。
【図３】図３は、情報処理システムの動作例１−１を説明するための図である。
【図４】図４は、切り出し処理を行わない動作例１−１を示すフローチャートである。
【図５】図５は、切り出し処理を行わない動作例１−２を示すフローチャートである。
【図６】図６は、切り出し処理および重畳処理を行う動作例２−１を示すフローチャートである。
【図７】図７は、動作例２−１においてＡ／Ｄ変換された振動波形データの例を示す。
【図８】図８は、切り出し処理および重畳処理を行う動作例２−２において、サーバーへのデータのアップロード時の動作を説明するための図である。
【図９】図９は、上記動作例２−２において、サーバーからのデータのダウンロード時の動作を説明するための図である。
【図１０】図１０は、上記動作例２−２を示すフローチャートである。
【図１１】図１１は、切り出し処理および重畳処理を行う動作例２−４を示すフローチャートである。
【発明を実施するための形態】
【００２６】  以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２７】  １．本技術の概念
【００２８】  図１は、本技術の概念を示す。本技術は、例えば複数のユーザー（例えば、Ｕ１、Ｕ２とする）にとってバーチャルな世界としての共有世界を、ユーザーＵ１、Ｕ２がそれぞれ端末機器２０を用いて実現する。共有世界は、例えばサーバー５０等を含むクラウドにより実現される。各端末機器２０は、共有世界をコピーし、その共有世界を触覚（力覚も触覚と同じ意味とする）の情報としてユーザーＵ１、Ｕ２に提示する。
【００２９】  なお、後にも述べるが、サーバー５０は必須の要素ではなく、端末機器２０がピア・トゥ・ピアで接続されることにより共有世界が実現される場合もある。また、必ずしもユーザー（端末機器２０）は複数に限られず、１人のユーザーが利用する１つの端末機器２０がサーバー５０に接続されている情報処理システムも、本技術の範囲に含まれる。あるいは、サーバー５０に接続されていない当該１つの端末機器２０による処理も本技術の範囲に含まれる。
【００３０】  ２．情報処理システムの構成
【００３１】  図２は、本技術の一実施形態に係る情報処理システムの構成を示すブロック図である。情報処理システムは、クラウド内のサーバー５０と、このサーバー５０に接続された複数の端末機器２０とを有する。端末機器２０としては、公知のあらゆる触覚提示デバイスが利用され得る。
【００３２】  ユーザーＵ１が使用する端末機器２０Ａと、ユーザーＵ２が使用する端末機器２０Ｂの基本構成は同一であるので、１つの端末機器２０について説明する。以下では、それら端末機器２０Ａ、２０Ｂを区別して説明する必要がある場合、ユーザーＵ１が使用する端末機器２０を端末機器２０Ａと称し、ユーザーＵ２が使用する端末機器２０を端末機器２０Ｂとする。
【００３３】  端末機器２０は、通信部２１、シミュレーター２２、センサー部２３、出力デバイス２４、インプット変換器２５、およびアウトプット変換器２６を備える。
【００３４】  通信部２１は、典型的にはＩＰ（Internet Protocol）により接続が可能な通信インターフェースである。
【００３５】  センサー部２３は、ユーザーによる「ユーザーアクション」による端末機器２０への入力信号を検出する。ユーザーアクションとは、ユーザーＵ１が端末機器２０Ａを把持して意図的に動かことにより、その動きをユーザーＵ２（の端末機器２０Ｂ）と共有するための、ユーザーＵ１による端末機器２０Ａへの入力のアクションである。もちろん、ユーザーＵ２による端末機器２０Ｂへのユーザーアクションも同じ意味である。
【００３６】  センサー部２３は、様々な１種類以上のセンサーで構成される。センサーとしては、例えばモーションセンサー（ジャイロセンサー、加速度センサー、地磁気センサーのうちの少なくとも１つ）、感圧センサー、または接触センサー等が挙げられる。
【００３７】  インプット変換器２５は、センサー部２３で検出されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。
【００３８】  センサー部２３、または、センサー部２３およびインプット変換器２５は、「検出部」として機能する。
【００３９】  出力デバイス２４は、互いに直交する１〜３軸のうち少なくとも１軸の方向に偏加速度を発生するように構成されるデバイスである。これにより、出力デバイス２４は、触覚情報をユーザーに提示する。出力デバイス２４は、図示しないが、典型的にはアクチュエーターとこのアクチュエーターによって駆動される錘とを有する。この出力デバイス２４としては、本出願人が出願した例えば国際公開第2015/151380号に開示された触覚提示デバイスのアクチュエーターを利用可能である。
【００４０】  出力デバイス２４としては、圧電アクチュエーターに限られず、リニア共振アクチュエーター、磁歪アクチュエーター、静電アクチュエーター等が挙げられる。
【００４１】  上記センサー部２３は、ユーザーアクションによる端末機器２０への入力信号の前段階において、触覚情報の生成を開始するため、あるいは後述するように、振動波形データから切り出し処理を開始するためのセンシング機能を有する。このセンシングの対象となる、ユーザーによる端末機器２０への入力動作を以降では「ユーザートリガーアクション」と言い、「ユーザーアクション」とは概念的に区別する。
【００４２】  ユーザートリガーアクションは、例えば、ユーザーが端末機器２０を把持する、把持して所定の姿勢にする、所定の力で握る、端末機器２０の所定領域を押す、などのアクションが挙げられる。端末機器２０の後述する処理部は、センサー部２３がそれによる検出値に基づき（例えば検出値が閾値を超えた時など）、振動波形データに基づき後述する切り出し処理を実行するように構成される。
【００４３】  あるいは、ユーザートリガーアクションは、センサー部２３のセンシングによらず、出力デバイス２４による、触覚情報の生成または切り出し処理を開始するためのアプリケーションプログラムを起動することであってもよい。
【００４４】  アウトプット変換器２６は、シミュレーター２２からのデジタル信号をアナログ信号に変換するＤ／Ａ変換器である。
【００４５】  センサー部２３、または、センサー部２３およびアウトプット変換器２６は、「触覚情報出力部」として機能する。
【００４６】  シミュレーター２２は、振動波形データの１または複数の周期に基づくタイミングで、この振動波形データを切り出すことで切り出し波形データを生成する。また、シミュレーター２２は、生成した切り出し波形データを図示しない記憶部に記憶するようにしてもよいる。また、シミュレーター２２は、後述するように切り出し波形データに基づく波形データ（例えば重畳波形データ）を生成する機能も有する。この場合、主にシミュレーターが「処理部」として機能する。
【００４７】  振動波形データは、センサー部２３によって検出されるユーザーアクションによる端末機器２０の動きを示すデータである。また、端末機器２０は、振動波形データ、切り出し波形データ、または重畳波形データをサーバー５０から取得する場合もある。すなわち、端末機器２０Ａは、ユーザーＵ１により入力されたユーザーアクションに基づく振動波形データ（第１振動波形データ）をサーバー５０を介して端末機器２０Ｂに送ることができる。また、端末機器２０Ｂも、ユーザーＵ２より入力されたユーザーアクションに基づく振動波形データ（第２振動波形データ）をサーバー５０を介して端末機器２０Ａに送ることができる。
【００４８】  端末機器２０は、ハードウェアとしては、図示しないが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備える。ＣＰＵに加えて、あるいは、ＣＰＵに代えて、ＤＳＰ（Digital Signal Processor）、ＰＬＤ(Programmable Logic Device)が用いられてもよい。上記した記憶部は、書き換え可能なＲＯＭや、ハードディスクドライブ、その他のメモリにより構成される。
【００４９】  サーバー５０も同様に、ＣＰＵ（サーバー側処理部）、ＲＡＭ、ＲＯＭ、通信インターフェース（サーバー側通信部）等のハードウェアを備える。また、サーバー５０は、端末機器２０から送られた振動波形データや、生成した切り出し波形データを記憶する記憶部を備える。
【００５０】  ３．情報処理システムの動作例
【００５１】  ３．１）動作例１（振動波形データに基づく切り出し波形データを生成しない例）
【００５２】  動作例１では、振動波形データの切り出し波形データおよびそれに基づく波形データ（例えば重畳波形データ）を生成しない例について説明する。
【００５３】  ３．１．１）動作例１−１
【００５４】  動作例１−１では、同時動作の例を示す。同時動作では、ユーザーが同時に端末機器２０を持ち、一方のユーザーがユーザーアクションを入力して他方のユーザーがそれに応じた情報を受け取る。すなわちこの動作例１では、ユーザー同士がリアルタイムで触覚情報を共有する例について説明する。ここでの「同時」とは、一方のユーザーがユーザーアクションを入力している間に、他方のユーザーがユーザートリガーアクション（例えば端末機器２０を持ち上げるなど）を入力した場合を意味する。以下、同様である。
【００５５】  図３は、この動作例１−１を説明するための図であり、図４は、その動作を示すフローチャートである。
【００５６】  ユーザーアクションの例としては、例えば端末機器２０を握る、上下に振る、トントンと叩く、押す、回す、擦る、または、これらのうち少なくとも２つの組み合わせなどが挙げられる。例えば端末機器２０を握った状態で、上下に振ると、握手の感覚を二人のユーザーの間で共有される。
【００５７】  ユーザーＵ２が端末機器２０Ｂにユーザーアクションを入力する。端末機器２０Ｂのセンサー部２３がそれを検出してＡ／Ｄ変換が実行される（ステップ１０１、１０２）。これにより、端末機器２０Ｂのシミュレーター２２は、その振動波形データを取得し、その振動波形を通信部２１を介してサーバー５０に送信する（ステップ１０３）。サーバー５０は、この振動波形データを受信する（ステップ１０４）。
【００５８】  この時、サーバー５０は、ユーザーＵ１の端末機器２０Ａからの振動波形データの送信要求を受信しているか否かを検出する（ステップ１０５）。つまり、端末機器２０Ｂにユーザーアクションが入力されている時にリアルタイムで、ユーザーＵ１が端末機器２０Ａを使用しているか否かが検出される。具体的には、ユーザーＵ１が端末機器２０Ａにユーザートリガーアクションを入力することにより、端末機器２０Ａは当該送信要求をサーバー５０に送信する。
【００５９】  サーバー５０は、送信要求を受信すると、端末機器２０Ｂから受信している振動波形を、リアルタイムで端末機器２０Ａに送信する（ステップ１０６）。サーバー５０は、送信要求を受信しない場合、その振動波形データを記憶する（ステップ１０７）。この場合、サーバー５０は、振動波形データを受信してから所定時間長の振動波形データを記憶してもよいし、所定データ量の振動波形データを記憶するようにしてもよい。あるいはサーバー５０は、振動波形データから後述する切り出し波形データを生成し、これを記憶してもよい。
【００６０】  端末機器２０Ａは、サーバー５０から送れらた振動波形データを受信し（ステップ１０８）、シミュレーター２２は、その振動波形データを取得する。端末機器２０Ａは、Ｄ／Ａ変換を実行し（ステップ１０９）、出力デバイス２４が、その振動波形データに応じた触覚情報を生成し、その触覚情報に応じてアクチュエーターを駆動することにより、ユーザーＵ１にその触覚を提示する（ステップ１１０）。
【００６１】  この動作例１によれば、このように、ユーザーＵ２が端末機器２０Ｂに入力したユーザーアクションの情報をユーザーＵ１の端末機器２０Ａがリアルタイムに受信し、ユーザＵ１が触覚の提示を受ける。その結果、ユーザーＵ１は、ユーザーＵ２によるユーザーアクションの情報を触覚でリアルタイムに共有することができる。
【００６２】  ３．１．２）動作例１−２
【００６３】  動作例１−２では、非同時動作の例を示す。非同時動作では、上記動作例１のようにリアルタイムではないが、一方のユーザーが端末機器２０に入力したユーザーアクションの情報を、他方のユーザーの端末機器２０が時間をおいて受け取る。図５は、その動作を示すフローチャートである。この動作例１−２は、上記動作例１−１におけるステップ１０７の後の動作である。以降においては、上記動作例１と同様の部分については、その説明を省略する。
【００６４】  サーバー５０は、ステップ１０７で振動波形データを記憶している。サーバー５０は、端末機器２０Ｂによる振動波形データの、端末機器２０Ａへの送信要求を受信したか否かを検出する（ステップ２０１）。サーバー５０が送信要求を受信すると、その後の処理は上記ステップ１０６〜１１０と同様の処理となる（ステップ２０２〜２０５）。
【００６５】  この動作例１−２によれば、リアルタイムでなくても、サーバー５０が記憶した端末機器２０Ｂの振動波形データを端末機器２０Ａが受信することで、ユーザーＵ１が触覚の提示を受けることができる。
【００６６】  ３．２）動作例２（振動波形データに基づき切り出し処理を実行して波形データを生成する例）
【００６７】  動作例２では、振動波形データを切り出し、重畳波形データ（波形データ）を生成する例について説明する。
【００６８】  ３．２．１）動作例２−１
【００６９】  動作例２−１では、例えば１人のユーザーが入力したユーザーアクションに基づく振動波形データと、その後そのユーザーが継続してそのユーザーアクションを入力した場合に得られる振動波形データとを重畳して重畳波形データを生成する例について説明する。本動作例２−１では、サーバー５０が不要であるため、本動作２−１を端末機器２０内の処理として説明する。図６は、その端末機器２０の動作を示すフローチャートである。
【００７０】  ステップ３０１、３０２の処理は、動作例１のステップ１０１、１０２の処理と同じである。図７は、ステップ３０２でＡ／Ｄ変換された振動波形データWtの例を示す。端末機器２０のシミュレーター２２は、振動波形データWtの周波数fを判定し（ステップ３０３）、判定した周波数fの周期T（=1/f）に基づくタイミングで、受信した振動波形データを切り出していく（ステップ３０４）。周波数の判定は、例えばフーリエ変換等により行われる。これにより切り出し波形データが生成される。
【００７１】  切り出し波形データをW(n)tと表す。振動波形データの最初に得られる周期をT(1)、・・・、n-1番目の周期をT(n-1)、n番目の周期をT(n)、n+1番目の周期をT(n+1)、・・・と表す。１周期ごとに切り出されたそれぞれの切り出し波形データは、・・・、W(n-2)t、W(n-1)t、W(n)t、W(n+1)t、・・・である。かっこ内は、得られる周期の順番（回数）を示す。
【００７２】  n-1番目の１つの切り出し波形データW(n-1)tを、T(n-1)-1（n-1番目の周期のデータが得られている時点から１つ前の周期の終わりのタイミング）で切り出された波形データとして表す。同様に、n番目の１つの切り出し波形データW(n)tを、T(n)-1で切り出された波形データとして表す。同様に、n+1番目の１つの切り出し波形データW(n+1)tを、T(n+1)-1で切り出された波形データとして表す。
【００７３】  シミュレーター２２は、ステップ３０３および３０４を繰り返すことで、上記のように１周期ごとのタイミングで切り出された繰り返しの数の分の切り出し波形データを生成する。シミュレーター２２は、切り出した少なくとも１つの切り出し波形データを記憶部に記憶しておいてもよい。
【００７４】  シミュレーター２２は、以下の式(1)により、繰り返し生成したそれぞれの切り出し波形データW(n)tを順次重畳していくことにより重畳波形データWB(n)tを取得する（ステップ３０５）。式(1)では、例えば10回分の移動平均処理が行われることにより、重畳波形データが得られる。
【００７５】  WB(n)t=WB(n-1)t+(W(n)t-W(n-10)t)/10 ・・・(1)
【００７６】  以下の式(2)は、重畳波形データの周期（ループ周期）TT(n)を示す。
【００７７】  TT(n)=TT(n-1)+(T(n)-T(n-10))/10 ・・・(2)
【００７８】  シミュレーター２２は、重畳波形データをt=0〜TT(n)-1の周期でループ出力する（ステップ３０６）。
【００７９】  ステップ３０７、３０８は、ステップ１０９、１１０と同じ処理である。
【００８０】  これにより、ユーザーは、自分の端末機器２０にユーザーアクションを継続して入力することで、それがリアルタイムで増幅され、増幅された振動波形データに応じた触覚の提示を受けることができる。その結果、ユーザーの興趣を向上を図ることができる。
【００８１】  なお、重畳波形データの振幅の上限値は所定の値に定められていればよい。また、上記の説明では移動平均処理のサンプリング数は10であったが、これより少なくても、多くてもよい。
【００８２】  ３．２．２）動作例２−２
【００８３】  動作例２−２では、例えば図８に示すように、２人のユーザーが同時動作で入力したユーザーアクションに基づく振動波形データを重畳する例について説明する。そして、図９に示すように２人のユーザーがその重畳された振動波形データに応じた触覚の提示を受ける例について説明する。図１０は、その時の情報処理システムの動作を示すフローチャートである。
【００８４】  一方のユーザー、例えばユーザーＵ２が端末機器２０Ｂにユーザーアクションを入力すると、ステップ１０１〜１０５（図４参照）と同様の処理が実行される（ステップ４０１〜４０５）。
【００８５】  本動作例２−２では、同時動作でユーザーＵ１もユーザーアクションを入力しているため、サーバー５０は、端末機器２０Ａから送信要求を受けている（ステップ４０５のYes）。すなわちサーバー５０は、端末機器２０Ａからも振動波形データを受信している状態にある。この場合、ステップ４０６へ進む。送信要求がない場合、非同時動作であり、サーバー５０は振動波形データを記憶部に記憶する（ステップ４０７）。
【００８６】  サーバー５０の処理部は、動作例２−１で示したステップ３０３〜３０６と同様の処理を実行する（ステップ４０６、４０８〜４１０）。ここで、端末機器２０Ａ、２０Ｂの振動波形データのそれぞれの切り出し波形データの重畳波形データWB(n)tは、以下の式(3)で表される。端末機器２０Ａによる振動波形データの切り出し波形データをWX(n)tとする。端末機器２０Ｂによる振動波形データの切り出し波形データをWY(n)tとする。移動平均処理のサンプリング数は10である。
【００８７】  WB(n)t=WB(n-1)t+(WX(n)t+WY(n)t-WX(n-10)t-WY(n-10)t)/20・・・(3)
【００８８】  ループ周期TT(n)は、以下の式(4)で表される。
【００８９】  TT(n)=TT(n-1)+(TX(n)+TY(n)-TX(n-10)-TY(n-10))/20 ・・・(4)
【００９０】  例えば端末機器２０（振動波形データの切り出し波形データWZ(n)t）がさらに１つ増えて、３つの切り出し波形データの重畳波形データWB(n)tおよびそのループ周期TT(n)は、以下の式(5)、(6)でそれぞれ表される。
【００９１】  WB(n)t=WB(n-1)t+(WX(n)t+WY(n)t+WZ(n)t-WX(n-10)t-WY(n-10)t-WZ(n-10)t)/30・・・(5)
【００９２】  TT(n)=TT(n-1)+(TX(n)+TY(n)+TZ(n)-TX(n-10)-TY(n-10)-TZ(n-10))/30 ・・・(6)
【００９３】  サーバー５０は、その重畳波形データを端末機器２０Ａおよび端末機器２０Ｂの両方にそれぞれ送信する（ステップ４１０）。端末機器２０Ａ、２０Ｂは、それぞれその重畳波形データを受信し、ユーザーＵ１、Ｕ２にリアルタイムでその重畳波形データに応じた触覚をそれぞれ提示する（ステップ４１１〜４１３）。
【００９４】  本動作例２−２により、ユーザーＵ１、Ｕ２は重畳波形データに基づく触覚を、リアルタイムで共有することができ、共有感や一体感を得ることができる。
【００９５】  ３．２．３）動作例２−３
【００９６】  動作例２−３では、振動波形データの切り出し波形データを重畳する場合に、非同時動作の例について説明する。この動作例２−３は、上記動作例２−２におけるステップ４０７の後の動作である。ここでは、フローチャートを示さない。
【００９７】  ステップ４０７の後、サーバー５０は端末機器２０Ａからの送信要求を受信した場合、ステップ４０６〜４０９を実行する。すなわち、サーバー５０は、記憶した端末機器２０Ｂの切り出し波形データと、現在受信している、ユーザーＵ１のユーザーアクションに基づく端末機器２０Ａの切り出し波形データとの重畳波形データを生成する。サーバー５０は、この重畳波形データを端末機器２０Ａに送信し、端末機器２０Ａはその重畳波形データを受信し、その重畳波形データに基づく触覚をユーザーＵ１に提示する。
【００９８】  この動作例２−３によれば、リアルタイムでなくても、サーバー５０が記憶した振動波形データと、現在のユーザーＵ１によるユーザーアクションに基づく振動波形データとの重畳波形データに応じた触覚の提示を、ユーザーＵ１が受けることができる。
【００９９】  ３．２．４）動作例２−４
【０１００】  動作例２−２、２−３では、サーバー５０が２つの振動波形データ（切り出し波形データ）を重畳したが、動作例２−４では、同時動作で、端末機器２０のシミュレーター２２が、互いに振動波形データを重畳する例について説明する。図１１は、その動作を示すフローチャートである。
【０１０１】  ステップ５０１〜５０５、５０７は、動作例２−２のステップ４０１〜４０５、４０７と同じ処理である。ステップ５０５において、サーバー５０が端末機器２０Ａからの送信要求を受信する場合、端末機器２０Ａから振動波形データを受信している状態にある。この場合、サーバー５０は、端末機器２０Ｂによる振動波形データを端末機器２０Ａへ送信し、端末機器２０Ａによる振動波形データを端末機器２０Ｂへ送信する（ステップ５０６）。
【０１０２】  端末機器２０Ａ、２０Ｂは、それらの振動波形データを受信する。端末機器２０Ａのシミュレーター２２は、受信した端末機器２０Ｂの振動波形データの切り出し波形データと、現在端末機器２０Ａに入力されているユーザーＵ１による振動波形データの切り出し波形データとを生成し、それらを重畳する（ステップ５０９〜５１１）。同じく、端末機器２０Ｂのシミュレーター２２は、受信した端末機器２０Ａの振動波形データの切り出し波形データと、現在端末機器２０Ｂに入力されているユーザーＵ２による振動波形データの切り出し波形データとを生成し、それらを重畳する（ステップ５０９〜５１１）。
【０１０３】  端末機器２０Ａは、その重畳波形データに応じた触覚をユーザーＵ１に提示し（ステップ５１２〜５１４）、同じく端末機器２０Ｂは、その重畳波形データに応じた触覚をユーザーＵ２に提示する（ステップ５１２〜５１４）。
【０１０４】  なお、ステップ５０７以降の、非同時動作の例（動作例２−５）については、各端末機器２０Ａのシミュレーター２２が重畳処理を実行する以外は、動作例２−３と同様であり、その説明を省略する。
【０１０５】  ４．本技術の応用例
【０１０６】  上記動作例２を実行する本技術に係る情報処理システムは、例えば、２人のユーザーが端末機器２０を持ち、手をつないで歩くという触覚を提示できる。この場合、ユーザーの手を振る周期が一致すれば、それらの振幅が増幅されるので、それらの重畳波形データも増幅される結果、触覚も増幅される。
【０１０７】  本技術に係る情報処理システムは、スポーツ観戦やライブ観戦に適用可能である。例えば、現場の会場にいる複数のユーザーが端末機器２０を持ち、応援時の波形データに応じた触覚を共有することができる。これにより、ユーザー間で高揚感の臨場感の一体感を得ることができる。あるいは、端末機器２０を持つユーザーが現場から離れた地域でインターネットやＴＶで観戦を行う場合、現場や会場にいるユーザーの端末機器２０で生成された波形データが、当該地域にいるユーザーの端末機器２０に送られる。これにより、離れた地域にいるユーザーも、現場の臨場感やユーザーの高揚感を共有することができる。
【０１０８】  このことは、動作例２で示したようにリアルタイムでも非リアルタイムでも実現可能である。非リアルタイムの場合、ユーザーは録画された映像を観ながら、ユーザーアクションの入力および触覚の提示を受けることができる。
【０１０９】  本技術に係る情報処理システムは、教育や習い事にも適用可能である。例えば、サーバー５０または端末機器２０が、教師が手本となる動きを振動波形データとして記憶しておく。生徒は、端末機器２０を用いて、その手本となる振動波形データに応じた動きやリズムを端末機器２０で再現したり、その動きやリズムに合わせてユーザーアクションを入力したりすることができる。もちろん、これもリアルタイムでも非リアルタイムでも可能である。  ５．他の種々の実施形態
【０１１０】  本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【０１１１】  例えば図１１に示したように、端末機器２０が切り出し波形データを重畳して重畳波形データを「波形データ」として生成する例を示した。しかし、切り出し波形データに基づき、重畳波形データを生成するのではなく別の波形データを生成するようにしてもよい。具体的には、例えば端末機器２０は、全体的または部分的にその切り出し波形データの振幅および／または周波数等を変えることによって別の波形データを生成するようにしてもよい。このとこは、サーバー５０にも適用可能である。
【０１１２】  上記実施形態において、サーバー５０の処理部、またはシミュレーター２２は、１周期ごとのタイミングで切り出し波形データを生成したが、複数周期ごとのタイミングでそれを生成するように構成されていてもよい。
【０１１３】  例えば図１０に示した動作例２−２（および２−３）において、サーバー５０が、切り出し波形データおよび重畳波形データの生成を実行した。これに対し、サーバー５０は、切り出し波形データを生成してこれを端末機器２０に送信し、端末機器２０は受信したその切り出し波形データに基づき、重畳波形データを生成してもよい。このような処理は、図１１に示した動作例２−４（および２−５）にも適用可能である。
【０１１４】  サーバー５０が予め振動波形データ（第２振動波形データ）またはその切り出しデータをサンプルデータとして記憶しておいてもよい。この場合、１以上の端末機器２０がそれにアクセスして、そのサンプルデータを端末機器２０で再現することができる。あるいは、１以上の端末機器２０が、サンプルデータとその１以上の端末機器２０に入力されるユーザーアクションに基づく振動波形データ（の切り出し波形データ）との重畳波形データを生成するように構成されていてもよい。
【０１１５】  上記サンプルデータとして、例えばコップの中の液体やビー玉が動くときの振動波形データがある。例えばサーバー５０は、そのコップの中で液体やビー玉が動く時の映像データとともに、そのサンプルデータを、端末機器２０に提供することができる。１人または複数のユーザーは、端末機器２０へのユーザーアクションの入力により、その動きに自身のユーザーアクションの振動波形データを重複させて、増幅することもできる。サーバー５０がこのような映像データおよび振動波形データを提供する場合に限られず、端末機器２０がそれらの映像データおよびサンプルデータを予め保持していてもよい。
【０１１６】  上記実施形態に係る情報処理システムは、サーバー５０を備えており、ワイドエリアネットワークによりシステムが構築された。しかし、サーバー５０がなく、ピア・トゥ・ピアで接続やローカルエリアネットワーク接続で、複数の端末機器２０が接続されてもよい。この場合、端末機器２０の主にシミュレーター２２が、上記切り出し波形データや重畳波形データの生成を実行するように構成される。
【０１１７】  以上説明した実施形態や各動作例の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。
【０１１８】  なお、本技術は以下のような構成もとることができる。（１）  振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成し、この切り出し波形データに基づく波形データを生成するように構成された処理部と、  前記処理部により生成された前記波形データに応じた触覚情報を生成して出力するように構成された触覚情報出力部と、  ユーザーアクションによる入力信号を検出し、検出した入力信号を前記振動波形データとして前記処理部へ出力するように構成された検出部と  を具備する端末機器。（２）  前記（１）に記載の端末機器であって、  前記処理部は、前記検出部により検出された前記入力信号に応じた振動波形データの複数の切り出し波形データを重畳することにより重畳波形データを生成するように構成され、  前記触覚情報出力部は、前記重畳波形データに応じた触覚情報を生成して出力するように構成される  端末機器。（３）  前記（１）に記載の端末機器であって、  前記振動波形データまたは前記切り出し波形データを送受信するように構成された通信部をさらに具備する端末機器。（４）  前記（３）に記載の端末機器であって、  前記処理部は、前記検出部により検出された前記入力信号に応じた第１振動波形データの切り出し波形データと、前記通信部を介して取得した第２振動波形データの切り出し波形データとを重畳することにより重畳波形データを生成するように構成され、  前記触覚情報出力部は、前記重畳波形データに応じた触覚情報を生成して出力するように構成される  端末機器。（５）  前記（４）に記載の端末機器であって、  前記処理部は、前記通信部を介して取得した、別の第２の端末機器から送信された第２振動波形データの切り出し波形データと、前記振動波形データの切り出し波形データとを重畳することにより重畳波形データを生成するように構成される  端末機器。（６）  前記（１）から（５）のうちいずれか１項に記載の端末機器であって、  前記検出部は、前記触覚情報出力部による触覚情報の生成を開始するためのセンシング機能を有し、  前記処理部は、前記センシング機能による検出値に基づき、前記切り出しの処理を実行するように構成され、  前記触覚情報出力部は、前記波形データに基づく前記触覚情報を生成して出力するように構成される  端末機器。（７）  前記（１）から（５）のうちいずれか１項に記載の端末機器であって、  前記処理部は、前記触覚情報出力部による触覚情報の生成を開始するためのアプリケーションプログラムを有し、前記アプリケーションプログラムを起動した場合、前記切り出しの処理を実行するように構成され、  前記触覚情報出力部は、前記波形データに基づく前記触覚情報を生成して出力するように構成される  端末機器。（８）  通信部と、  前記通信部により受信された振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成するように構成された処理部とを具備し、  前記処理部は、前記通信部により受信された第１の端末機器からの送信要求に応じて、前記振動波形データまたは前記切り出し波形データを、前記通信部を介して前記第１の端末機器に送信するように構成される  サーバー。（９）  前記（８）に記載のサーバーであって、  前記第１の端末機器が、ユーザーアクションによる入力信号を検出し、検出した入力信号を第１振動波形データとして、前記サーバーに送信する機能を有する場合、  前記処理部は、前記第１の端末機器とは別の第２の端末機器から送信された第２振動波形データの切り出し波形データと、前記第１振動波形データの切り出し波形データとを重畳することにより重畳波形データを生成し、前記重畳波形データを前記第１の端末機器に送信するように構成される  サーバー。（１０）  前記（９）に記載のサーバーであって、  前記処理部は、前記通信部により受信された前記第２の端末機器からの送信要求に応じて、前記重畳波形データを前記第２の端末機器にさらに送信するように構成される  サーバー。（１１）  サーバーと、端末機器とを具備し、  前記サーバーは、    サーバー側通信部と、    前記端末機器からの送信要求に応じて、前記サーバー側通信部により、振動波形データを送信するように構成されサーバー側処理部とを有し、  前記端末機器は、    前記サーバーから送信された前記振動波形データを受信する通信部と、    受信した前記振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成し、この切り出し波形データに基づく波形データを生成するように構成された処理部と、  前記処理部により生成された前記波形データに応じた触覚情報を生成して出力するように構成された触覚情報出力部と、  ユーザーアクションによる入力信号を検出し、検出した入力信号を前記振動波形データとして前記処理部へ出力するように構成された検出部と  情報処理システム。（１２）  サーバーと、端末機器とを具備し、  前記サーバーは、    サーバー側通信部と、    前記通信部により受信された前記端末機器からの送信要求に応じて、前記通信部により受信された振動波形データの１または複数の周期に基づくタイミングでこの振動波形データを切り出すことにより切り出し波形データを生成し、この切り出し波形データに基づく波形データを生成し、この波形データを前記端末機器に送信するように構成された処理部とを有し、  前記端末機器は、    前記波形データをを受信するように構成された通信部と、    前記通信部により受信した波形データに応じた触覚情報を生成して出力するように構成された触覚情報出力部とを有する  情報処理システム。
【符号の説明】
【０１１９】  ２０（２０Ａ，２０Ｂ）…端末機器  ２１…通信部  ２２…シミュレーター  ２３…センサー部  ２４…出力デバイス  ２５…インプット変換器  ２６…アウトプット変換器  ５０…サーバー
【図１】
2018047475.tif 000003
【図２】
2018047475.tif 000004
【図３】
2018047475.tif 000005
【図４】
2018047475.tif 000006
【図５】
2018047475.tif 000007
【図６】
2018047475.tif 000008
【図７】
2018047475.tif 000009
【図８】
2018047475.tif 000010
【図９】
2018047475.tif 000011
【図１０】
2018047475.tif 000012
【図１１】
2018047475.tif 000013
【国際調査報告】
2018047475.tif 000014
2018047475.tif 000015
2018047475.tif 000016
2018047475.tif 000017