(57)【要約】【課題】映像や音声等と振動とを同期させることができるシステム、装置およびプログラムを提供する。【解決手段】このシステムは、映像もしくは音声またはその両方のデータを再生しつつ、振動を発生させる制御を行う再生制御システムであり、データに対して設定されている該データの再生のタイミングを示す再生タイミング情報に基づき、データおよび振動に関する情報を送出する送出部４０と、送出されたデータを、該データを再生する再生手段に出力するデータ出力部４２と、送出部４０から送出されるデータ量と再生手段が再生したデータ量との差に基づく時間を、再生遅延時間として計測する遅延計測部４３と、計測された再生遅延時間に基づき、振動に関する情報を振動発生手段に出力する情報出力部４４とを含む。【選択図】図４
2018019393.tif 000002
【特許請求の範囲】
【請求項１】
音声データと映像データの少なくとも一方のデータを再生しつつ、振動に関する情報に基づき振動を発生させる制御を行う再生制御システムであって、
前記データの再生タイミングおよび振動の発生タイミングに基づき、前記データおよび前記振動に関する情報を送出する送出部と、
前記データを再生する再生部と、
前記振動に関する情報に基づいて振動を発生させる振動部と、
前記送出部から送出される前記データの送出量と前記再生部が再生した前記データの再生量との差に基づく時間を、再生遅延時間として計測する遅延計測部と、
前記遅延計測部により計測された前記再生遅延時間だけ遅らせたタイミングで、前記振動に関する情報を前記振動部に出力する情報出力部と、を含むことを特徴とする再生制御システム。
【請求項２】
サーバと、該サーバと通信可能な通信端末と、を備え、
前記サーバは、
前記送出部と、
該送出部から送出される前記データの送出量をカウントするとともに、前記通信端末から通知される前記データの再生量を受け取り、前記データの送出量と前記データの再生量との作業者に基づく前記再生遅延時間を計測する第１遅延計測部と、を有し、
前記通信端末は、
前記再生部と、
前記振動部と、
前記情報出力部と、
前記再生部が再生した前記データの再生量をカウントする第２遅延計測部と、を有する請求項１記載の再生制御システム。
【請求項３】
前記遅延計測部による前記再生遅延時間の計測は、初期化処理中に実行され、
前記音声データは、無音の音声データである請求項１または請求項２に記載の再生制御システム。
【請求項４】
前記データは、前記映像データと前記音声データとから構成され、
前記遅延計測部は、前記映像データについての第１の再生遅延時間と、前記音声データについての第２の再生遅延時間とを計測し、
前記情報出力部は、設定されたデータの種類に応じて、前記第１の再生遅延時間と前記第２の再生遅延時間のいずれか一方に基づき、前記振動に関する情報を出力する請求項１から請求項３のいずれか１項に記載の再生制御システム。
【請求項５】
前記送出部は、複数回データを送出し、
前記遅延計測部は、前記送出部より複数回送出される前記データに基づいて、前記再生遅延時間を複数回計測し、最大の時間を前記再生遅延時間とする請求項１から請求項４のいずれか１項に記載の再生制御システム。
【請求項６】
音声データと映像データの少なくとも一方のデータを再生しつつ、振動に関する情報に基づき振動を発生させる制御を行う情報処理装置であって、
前記データの再生タイミングおよび振動の発生タイミングに基づき、前記データおよび前記振動に関する情報を送出する送出部と、
前記データを再生する再生部と、
前記振動に関する情報に基づいて振動を発生させる振動部と、
前記送出部から送出される前記データの送出量と前記再生部が再生した前記データの再生量との差に基づく時間を、再生遅延時間として計測する遅延計測部と、
前記遅延計測部により計測された前記再生遅延時間だけ遅らせたタイミングで、前記振動に関する情報を前記振動部に出力する情報出力部と、を含むことを特徴とする情報処理装置。
【請求項７】
音声データと映像データの少なくとも一方のデータを再生しつつ、振動に関する情報に基づき振動を発生させる制御を行うプログラムであって、
コンピュータに、
前記データの再生タイミングおよび振動の発生タイミングに基づき、前記データおよび前記振動に関する情報を送出する送出処理と、
前記データを再生する再生処理と、
前記振動に関する情報に基づいて振動を発生させる振動処理と、
前記送出処理により送出される前記データの送出量と前記再生処理で再生した前記データの再生量との差に基づく時間を、再生遅延時間として計測する遅延計測処理と、
前記遅延計測処理により計測された前記再生遅延時間だけ遅らせたタイミングで、前記振動に関する情報を振動部に出力する情報出力処理と、を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データを再生しつつ、振動を発生させる制御を行う再生制御システム、情報処理装置およびその制御をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
ゲーム等のソフトウェアにおいて、映像や音声を再生しながらデバイスを振動させる技術が知られている（例えば、特許文献１参照）。また、動画撮影時に発生した振動強さのデータを検出し、動画再生時にそのデータにより振動を発生させ動画再生を行う技術も知られている（例えば、特許文献２〜５参照）。さらに、再生中のトラックに同期して、再生中のトラックのビートのあるタイミングで振動子を振動させる技術も知られている（例えば、特許文献６）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３５４２１号公報
【特許文献２】特開２００６−２６１８３６号公報
【特許文献３】特開２０１２−６０６７３号公報
【特許文献４】特開２０１５−５９６７号公報
【特許文献５】特開２０１５−１２１９１８号公報
【特許文献６】特開２０１０−５５２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術は、映像や音声を再生しながらデバイスを振動させる技術であって、映像や音声の再生時刻や再生遅延を考慮して映像や音声と振動とを同期させるものではない。映像や音声の再生遅延時間は、デバイス毎に異なる。このため、同じアプリケーションであっても、デバイスによっては映像や音声と振動とを同期させることができない場合があった。
【０００５】
そこで、上記した事情を鑑みてなされたものであり、映像や音声等と振動とを同期させることができる音声再生システム、情報処理装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、音声データと映像データの少なくとも一方のデータを再生しつつ、振動に関する情報に基づき振動を発生させる制御を行う再生制御システムであって、データの再生タイミングおよび振動の発生タイミングに基づき、データおよび振動に関する情報を送出する送出部と、データを再生する再生部と、振動に関する情報に基づいて振動を発生させる振動部と、送出部から送出されるデータの送出量と再生部が再生したデータの再生量との差に基づく時間を、再生遅延時間として計測する遅延計測部と、遅延計測部により計測された再生遅延時間だけ遅らせたタイミングで、振動に関する情報を振動部に出力する情報出力部と、を含むことを特徴とする再生制御システムを提供する。
【０００７】
また、本発明は、サーバと、該サーバと通信可能な通信端末と、を備え、サーバは、送出部と、該送出部から送出されるデータの送出量をカウントするとともに、通信端末から通知されるデータの再生量を受け取り、データの送出量とデータの再生量との作業者に基づく再生遅延時間を計測する第１遅延計測部と、を有し、通信端末は、再生部と、振動部と、情報出力部と、再生部が再生したデータの再生量をカウントする第２遅延計測部と、を有する構成でもよい。
【０００８】
また、本発明は、遅延計測部による再生遅延時間の計測は、初期化処理中に実行され、音声データは、無音の音声データであってもよい。また、データは、映像データと音声データとから構成され、遅延計測部は、映像データについての第１の再生遅延時間と、音声データについての第２の再生遅延時間とを計測し、情報出力部は、設定されたデータの種類に応じて、第１の再生遅延時間と第２の再生遅延時間のいずれか一方に基づき、振動に関する情報を出力する構成でもよい。
【０００９】
また、送出部は、複数回データを送出し、遅延計測部は、送出部より複数回送出されるデータに基づいて、再生遅延時間を複数回計測し、最大の時間を再生遅延時間とする構成でもよい。
【００１０】
また、本発明は、音声データと映像データの少なくとも一方のデータを再生しつつ、振動に関する情報に基づき振動を発生させる制御を行う情報処理装置であって、データの再生タイミングおよび振動の発生タイミングに基づき、データおよび振動に関する情報を送出する送出部と、データを再生する再生部と、振動に関する情報に基づいて振動を発生させる振動部と、送出部から送出されるデータの送出量と再生部が再生したデータの再生量との差に基づく時間を、再生遅延時間として計測する遅延計測部と、遅延計測部により計測された再生遅延時間だけ遅らせたタイミングで、振動に関する情報を振動部に出力する情報出力部と、を含むことを特徴とする情報処理装置を提供する。
【００１１】
また、本発明は、音声データと映像データの少なくとも一方のデータを再生しつつ、振動に関する情報に基づき振動を発生させる制御を行うプログラムであって、コンピュータに、データの再生タイミングおよび振動の発生タイミングに基づき、データおよび振動に関する情報を送出する送出処理と、データを再生する再生処理と、振動に関する情報に基づいて振動を発生させる振動処理と、送出処理により送出されるデータの送出量と再生処理で再生したデータの再生量との差に基づく時間を、再生遅延時間として計測する遅延計測処理と、遅延計測処理により計測された再生遅延時間だけ遅らせたタイミングで、振動に関する情報を振動部に出力する情報出力処理と、を実行させることを特徴とするプログラムを提供する。
【発明の効果】
【００１２】
本発明によれば、映像や音声等と振動とを同期させることができる。
【図面の簡単な説明】
【００１３】
【図１】通信システムの構成例を示した図である。
【図２】情報処理装置のハードウェア構成を例示した図である。
【図３】情報処理装置のソフトウェア構成を例示した図である。
【図４】情報処理装置の機能ブロック図である。
【図５】情報処理装置により実行されるデータ再生処理の流れを示したフローチャートである。
【図６】第２実施形態の再生制御システムの構成を示す機能ブロック図である。
【図７】第２実施形態の再生制御システムの動作を説明するためのシーケンス図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現することがある。
【００１５】
＜第１実施形態＞
図１は、通信システムの構成例を示した図である。通信システムは、利用者（ユーザ）が所持し、使用する情報処理装置としての通信端末１０と、通信端末１０からの要求に対して応答する情報提供装置としてのサーバ１１とを含んで構成される。サーバ１１は、ネットワーク１２に接続され、ネットワーク１２には、通信端末１０と無線通信を行うためのアクセスポイント１３が接続されている。なお、通信端末１０は、ネットワーク１２に直接接続されていてもよい。
【００１６】
ネットワーク１２は、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットのいずれであってもよく、１つのネットワークであってもよいし、ルータやプロキシサーバ等の中継装置により接続された２以上のネットワークから構成されていてもよい。また、ネットワーク１２は、有線ネットワークであってもよいし、無線ネットワークであってもよい。
【００１７】
通信端末１０は、サーバ１１に対し、データを要求し、サーバ１１は、その要求を受けて、該当するデータを通信端末１０に送信する。データは、映像データもしくは音声データまたはこれらを１つのファイルにまとめた多重化されたデータであり、再生時刻等のデータの再生のタイミングを示す情報が設定される。映像データとしては、例えばＭＰＥＧ(Moving Picture Experts Group)-2、ＭＰＥＧ-4やＭＰ４等の符号化方式、音声データとしては、例えばＡＡＣ(Advanced Audio Coding)、ＭＰ３やＯＧＧ等の符号化方式を採用することができる。このため、サーバ１１は、符号化されたデータを、ネットワーク１２およびアクセスポイント１３を介して通信端末１０に送信することができる。このように符号化することで、ネットワーク１２上を伝送するデータの容量を減少させ、ネットワーク負荷等を軽減することができる。
【００１８】
音声データに関しては、上記のような符号化したデータであってもよいが、符号化すると、データ量が減少するため、音の臨場感が低下する。このため、リニアＰＣＭ(Pulse Code Modulation)と呼ばれる、符号化せず、取り込んだ音を全てそのまま記録する方式を採用することも可能である。ちなみに、リニアＰＣＭでは、１秒間に何回音のデータを記録し、１回分のデータをどれだけ詳細に記録するかにより、音質が決定される。
【００１９】
サーバ１１は、通信端末１０に対し、データとともに、通信端末１０に振動を発生させるための振動に関する情報を送信する。振動に関する情報は、振動の強さやパターン等の情報とされ、例えば予め設定された振動の種類を表すプリセット番号等とすることができる。
【００２０】
通信端末１０は、コーデックと呼ばれる符号化されたデータを復号するためのソフトウェアを実装しており、サーバ１１から符号化されたデータを受信すると、そのコーデックにより復号し、復号されたデータを再生する。符号化されていない音声データについては、音声データがアナログ信号である場合、離散値としてのデジタルデータに変換し、そのデジタルデータを再生する。そのデータの再生の際、通信端末１０は、振動に関する情報に基づき振動を発生させる。
【００２１】
通信端末１０は、バイブレータ等の振動発生手段である振動デバイスを搭載したスマートフォン、タブレット端末、ゲーム機等とされ、映像や音声とともに振動を発生させ、視覚的効果および聴覚的効果に触覚的効果を加えることで、臨場感を高めることができる。
【００２２】
ここでは、通信システムとし、サーバ１１にデータを要求し、サーバ１１からデータを取得して再生する例で説明したが、これに限られるものではない。データを保持する機器は、サーバ１１以外の機器、例えばデジタルカメラ、ビデオカメラ、電子黒板、テレビ、ブルーレイレコーダ等であってもよい。また、通信端末１０に装着可能なＳＤカード等の記録媒体や通信端末１０に内蔵されるメモリやＨＤＤ等の記憶装置であってもよい。
【００２３】
通信端末１０では、データに設定された再生タイミング情報の再生時刻通りにデータを出力しても、データはバッファと呼ばれる所定量のデータを蓄積する蓄積手段に蓄積された後に出力されるため、実際の出力までに時間的な遅延が生じてしまう。また、データを再生するにあたって、後述するＣＰＵやメモリ等のリソースを必要とすることから、リソースの確保のための時間や、上記の復号、変換、その他の処理を行う時間等が必要で、これらも遅延となる。
【００２４】
このような遅延時間は、映像と音声とで異なり、通信端末１０毎に異なる。一方、振動は、振動デバイスに振動に関する情報を与えるだけで発生させることができるため、ほとんど遅延は生じない。このことから、本当は、この音声を出力しているときに振動を発生させたいが、音声に遅延が生じるため、振動が先に発生してしまい、不自然な振動になってしまうことがあった。これは、映像や音声と振動とが同期していないことによるものである。
【００２５】
そこで、通信端末１０は、再生制御システムを実装し、映像や音声に合わせて振動を発生させることができるようにする。この再生制御システムの構成について説明する前に、通信端末１０のハードウェア構成およびソフトウェア構成について簡単に説明する。
【００２６】
図２は、通信端末１０のハードウェア構成を例示した図である。通信端末１０は、ハードウェアとして、ＣＰＵ２０、ＲＯＭ２１、ＲＡＭ２２、フラッシュメモリ２３、通信Ｉ／Ｆ２４、バイブレータ等の振動デバイス２５、入出力Ｉ／Ｆ２６、表示装置２７、入力装置２８、音声出力装置２９を備え、これらはシステムバス３０を介して互いに接続されている。通信端末１０は、必要に応じて、音声を入力するための音声入力装置、映像を撮像するための撮像装置、加速度センサや近接センサ等の各種のセンサを実装することができる。
【００２７】
ＣＰＵ２０は、通信端末１０全体を制御する。ＲＯＭ２１は、通信端末１０を起動させるためのブートプログラムやフラッシュメモリ２３等を制御するファームウェア等を記憶する。ＲＡＭ２２は、ＣＰＵ２０に対して作業領域を提供する。フラッシュメモリ２３は、データを表示装置２７や音声出力装置２９へ出力し、振動に関する情報を振動デバイス２５に出力し、映像や音声に合わせて振動を発生させるためのプログラム、ＯＳやその他のプログラム、各種の設定データ等を記憶する。
【００２８】
通信Ｉ／Ｆ２４は、通信端末１０をネットワーク１２に接続し、サーバ１１や他の機器との通信を制御する。振動デバイス２５は、例えばモータと、モータに取り付けられる回転軸と、回転軸に重心を偏らせて取り付けられた錘とを含む。なお、この構成は一例であるので、適切に振動を発生させることができれば、これ以外の構成とされていてもよい。
【００２９】
入出力Ｉ／Ｆ２６は、入力装置２８からの情報の入力、表示装置２７への映像データの出力、音声出力装置２９への音声データの出力を制御する。入力装置２８は、入力ボタンやタッチパネル等で、表示装置２７は、ディスプレイ等で、音声出力装置２９は、スピーカー等である。
【００３０】
図３は、通信端末１０のソフトウェア構成を例示した図である。通信端末１０は、データの再生を要求するアプリケーション３１と、通信端末１０の基本的機能を提供するＯＳ３２と、アプリケーション３１とＯＳ３２との中間に位置し、アプリケーション３１からＯＳ３２への要求、ＯＳ３２からアプリケーション３１の応答を仲介するミドルウェアとしてのライブラリ３３とを含む。ＯＳ３２は、バッファ３４や振動デバイス２５等のハードウェアとともにプラットフォーム３５を構成する。図３に示すように、通信端末１０のソフトウェアの構造は、階層構造とされている。
【００３１】
アプリケーション３１は、サーバ１１に対し、データを要求し、データを取得する。その際、ライブラリ３３、プラットフォーム３５を介してサーバ１１にアクセスし、それらを介して所望のデータを取得する。このとき、アプリケーション３１は、振動に関する情報も取得する。アプリケーション３１は、ライブラリ３３に対し、取得したデータの再生を要求し、データおよび振動に関する情報を渡す。
【００３２】
ライブラリ３３は、アプリケーション３１からデータの再生要求を受け付け、リソースを確保し、必要な処理を行った後、適切のタイミングでデータおよび振動に関する情報をプラットフォーム３５に出力する。プラットフォーム３５は、受け取ったデータをバッファ３４に蓄積し、再生手段で順に再生する。
【００３３】
ＯＳ３２は、振動デバイス２５等のハードウェアを制御するドライバを含む。このため、プラットフォーム３５は、振動に関する情報に従って、ＯＳ３２が振動デバイス２５を制御し、振動デバイス２５が振動を発生させる。
【００３４】
図４は、通信端末１０に実装される再生制御システムの機能構成の一例を示した図である。再生制御システムが備える機能部は、ＣＰＵ２０がＯＳ３２上でライブラリ３３を実行することにより生成される。ここでは、再生制御システムが備える機能部を、ライブラリ３３により実現することを説明するが、これに限られるものではなく、その機能部の一部または全部を回路等の専用のハードウェアにより実現してもよい。
【００３５】
再生制御システムは、機能部として、送出部４０と、データ管理部４１と、データ出力部４２と、遅延計測部４３と、情報出力部４４とを含んで構成される。アプリケーション３１から再生要求としてデータおよび振動に関する情報を取得すると、送出部４０が、データに対して設定されている再生タイミング情報に基づき、データおよび振動に関する情報を、データ管理部４１へ送出する。
【００３６】
再生制御システムの初期化の際、送出部４０の動作周期を設定することができ、送出部４０は、設定された動作周期で動作し、データ等を送出することができる。動作周期としては、例えば１／６０秒周期とすることができる。
【００３７】
データには、再生タイミング情報として、再生時刻が設定されているため、その再生時刻に基づき、データおよび振動に関する情報を送出する。再生時刻は、最初のデータを時刻０とし、次のデータを１／６０秒後や１／３０秒後の時刻等として設定される。振動に関する情報は、データに関連付けられており、関連付けられたデータを送出する際、一緒に送出される。
【００３８】
データ管理部４１は、データを再生するのに必要なリソースを確保し、符号化されたデータの復号、デジタルデータへの変換、エフェクト付与等の処理を行い、データをデータ出力部４２に、また、振動に関する情報を情報出力部４４に渡す。エフェクトは、音量や音の高さの調整、特定の音域をカットするフィルタ処理、エコー処理等を一例として挙げることができる。
【００３９】
遅延計測部４３は、送出部４０から送出されるデータ量と、再生手段が再生したデータ量との差に基づく時間を、再生遅延時間として計測する。すなわち、送出部４０によるデータ送出量と、再生手段が再生に使用したデータの使用量、すなわちデータ消費量との差を、再生中に複数回計測し、その差から導出される時間が最大となる時間を再生遅延時間として計測する。
【００４０】
再生遅延時間は、再生制御システムを初期化した際に、遅延計測部４３が、無音データを生成し、その無音データの離散値（サンプル数）を使用し、送出されたサンプル数と再生されたサンプル数との差を計測する。両者のサンプル数が同数であれば、差が０であるため、再生遅延時間は０である。一方、差が生じていれば、その分だけ遅延が生じているため、その分の時間が再生遅延時間として計測される。遅延計測部４３は、計測された遅延時間をデータ管理部４１に出力する。
【００４１】
データ出力部４２は、データ管理部４１から渡されたデータを、プラットフォーム３５のバッファ３４に出力する。データ管理部４１は、情報出力部４４に対し、上記の振動に関する情報とともに遅延時間の情報も渡す。情報出力部４４は、データ管理部４１から渡された遅延時間の情報に基づき、送出部４０からデータが送出されてから遅延時間が経過するタイミングで、振動に関する情報を振動要求としてプラットフォーム３５の振動デバイス２５に出力する。
【００４２】
バッファ３４は、蓄積されたデータを順に再生手段に出力して再生させ、振動デバイス２５は、振動要求を受けて、その振動要求において指定された情報に基づき、振動を発生させる。具体的には、振動デバイス２５は、指定された強さ、指定されたパターンの振動を発生させる。
【００４３】
なお、振動に関する情報は、データと別個に取得され、送出してもよいし、再生タイミング情報と同様、データに含まれていてもよい。データは、映像データと音声データの両方があり、振動に関する情報と同様、遅延計測部４３により遅延時間を計測し、データ管理部４１に渡しておき、データ出力部４２がデータを出力する際、その遅延時間だけ遅延して出力することができる。この場合、プラットフォーム３５は、映像データのバッファと音声データのバッファを別個に備え、データ出力部４２は、各バッファに出力することができる。
【００４４】
また、情報出力部４４は、設定されたデータの種類、すなわち映像データか、音声データかに応じて、その設定されたデータについて計測された遅延時間だけ遅延させて振動要求を出力することができる。
【００４５】
遅延時間は、通信端末１０毎に計測し、振動に関する情報を遅延させて出力するために使用されるので、通信端末１０毎に振動の発生タイミングを調整することができ、端末固有の映像等と振動とのタイミングのずれを吸収することができる。
【００４６】
このような制御により、振動を映像に同期させることもできるし、音声に同期させることも可能である。このため、状況によって同期させるデータを変更することができる。例えば、電車の中では、音を消してアプリケーション３１を動作させる場合、使用しない音声ではなく、映像に振動を同期させ、より適切な振動を発生させることができる。
【００４７】
また、再生タイミング情報には、振動を発生させるタイミングを示す情報を含むことができる。これにより、データの再生に合わせて振動を発生させるのではなく、データの再生を開始する少し前、あるいは少し後にずらして振動を発生させることができる。
【００４８】
データは、一定時間ごとに記録されたデータで、記録された順に取得され、送出部４０がその順に再生タイミング情報に従って送出するものとして説明してきた。しかしながら、これに限られるものではなく、複数のデータをまとめて取得し、順に送出してもよい。
【００４９】
振動に関する情報は、振動を発生させることにより映像や音声に演出を付与する演出者が、調整ツールと呼ばれるソフトウェアを使用し、振動の強さやパターン等の情報として作成することができる。上記のように、データの再生と同期して振動させるのではなく、少しタイミングを遅らせる等の制御を行い、例えばゲーム等の演出において、演出者の意図に従った高品質な体験を実現することができる。一例としては、爆発シーンにおいて、爆発音に対し、振動タイミングを遅らせることで、より迫力のある爆発シーンを実現することができる。
【００５０】
図５を参照して、再生制御システムにより実行される処理について詳細に説明する。ステップ５００から処理を開始し、アプリケーション３１からデータおよび振動に関する情報を再生要求として取得すると、ステップ５０５で、送出部４０が、データに対して設定されている再生タイミング情報に基づき、データおよび振動に関する情報を、データ管理部４１へ送出する。ステップ５１０では、データ管理部４１が、データを再生するのに必要な処理を行い、遅延計測部４３が計測した遅延時間を取得する。必要な処理は、上記の復号、デジタルデータへの変換、エフェクト付与等の処理である。
【００５１】
ステップ５１５では、データ管理部４１が、データをデータ出力部４２に、また、振動に関する情報と遅延時間とを情報出力部４４に渡す。ステップ５２０では、データ出力部４２が、データ管理部４１から受け取ったデータを、プラットフォーム３５のバッファ３４に出力する。
【００５２】
ステップ５２５では、情報出力部４４が、データ管理部４１から受け取った振動に関する情報と遅延時間の情報のうち、遅延時間の情報を使用して、ステップ５０５のデータが送出されてから遅延時間が経過したかを判断する。経過していない場合、経過するまで、このステップ５２５の判定処理を繰り返す。経過した場合、ステップ５３０へ進む。
【００５３】
ステップ５３０では、情報出力部４４が、プラットフォーム３５の振動デバイス２５に振動要求を出力し、ステップ５３５でこの処理を終了する。
【００５４】
振動要求は、再生制御システムにおける処理およびバッファ３４のデータ蓄積による遅延を考慮して出力されるため、映像や音声に合わせて振動を発生させることが可能となる。これにより、映像や音声に合わせた自然な効果を与えることができる。
【００５５】
＜第２実施形態＞
上述した第１実施形態では、通信端末１０において再生遅延時間を計測していたが、この第２実施形態では、サーバ１１において再生遅延時間を計測する。
【００５６】
図６は、第２実施形態の再生制御システムＳＹＳの構成を示す機能ブロック図である。第２実施形態の再生制御システムＳＹＳは、図１に示した通信システムと同様、通信端末１０と、サーバ１１とを備える。また、図１に示した通信システムと同様、通信端末１０とサーバ１１とは、ネットワーク１２やアクセスポイント１３などを介してデータの送受信が可能である。
【００５７】
図６に示すように、サーバ１１は、通信部１０１、管理部１０２、及びサーバ側記憶部１０３を有している。通信部１０１は、ネットワーク１２と接続され、ネットワーク１２などを介して通信端末１０との間でデータ通信を行う処理部である。管理部１０２は、サーバ１１の各種制御を司る処理部である。この管理部１０２は、通信端末１０に対して送出する音声データのデータ量（データ送出量）をカウントするサーバ側カウンタ１０２ａを備えている。サーバ側記憶部１０３は、サーバ１１を制御するためのプログラム１０３ａ、音声データ１０３ｂ、振動に関する情報１０３ｃ（振動を発生させるタイミングを示す情報）などの各種情報を記憶する。
【００５８】
本実施形態において、ＣＰＵなどがサーバ側記憶部１０３に記憶されているプログラム１０３ａに基づいて処理・制御を実行することにより、通信部１０１及び管理部１０２が行う処理・制御が実現される。
【００５９】
通信端末１０は、バイブレータ等の振動発生手段である振動部２０５を搭載したスマートフォン、タブレット端末、ゲーム機等である。なお、本実施形態では、通信端末１０がスマートフォンであることを想定した場合について説明する。図６に示すように、通信端末１０は、通信部２０１、制御部２０２、端末側記憶部２０３、再生部２０４、及び振動部２０５を有している。通信部２０１は、アクセスポイント１３（例えば基地局）を介してネットワーク１２と接続され、ネットワーク１２などを介してサーバ１１との間でデータ通信を行う処理部である。この通信部２０１は、図２の通信Ｉ／Ｆ２４に対応する。
【００６０】
制御部２０２は、通信端末１０の制御を司る処理部である。この制御部２０２は、再生部２０４が再生した音声データのデータ量（データ再生量）をカウントする端末側カウンタ２０２ａを備えている。この制御部２０２が行う処理・制御は、図２のＣＰＵ２０が実行する処理・制御に対応する。
【００６１】
端末側記憶部２０３は、アプリケーション２０３ａ、ＯＳ２０３ｂなどの各種情報を記憶する。この端末側記憶部２０３は、図２のＲＯＭ２１やＲＡＭ２２、フラッシュメモリ２３に対応する。また、アプリケーション２０３ａは、図３及び図４のアプリケーション３１に対応し、ＯＳ２０３ｂは、図３のＯＳ３２に対応する。再生部２０４は、音声データを再生（すなわち音声出力）する処理部である。この再生部２０４は、図２の音声出力装置２９に対応する。振動部２０５は、通信端末１０を振動させるデバイスである。この振動部２０５は、図２の振動デバイス２５に対応する。
【００６２】
次に、第２実施形態における再生制御システムＳＹＳの動作について説明する。図７は、第２実施形態の再生制御システムＳＹＳの動作を説明するためのシーケンス図である。まず、制御部２０２は、アプリケーション２０３ａが起動すると、初期化処理が開始される（ステップＳ６００）。なお、アプリケーション２０３ａが起動して初期化処理が実行されている間、アプリケーション２０３ａのタイトル画面などが表示装置２７に表示される。そして、制御部２０２は、アプリケーション２０３ａに組み込まれたライブラリの機能に基づいて、通信部２０１を介して遅延推測時間（再生遅延時間ともいう）を知らせてほしい旨の問い合わせ（遅延推測時間の要求）をサーバ１１に行う（ステップＳ６０５）。
【００６３】
サーバ１１では、通信部１０１は、通信端末１０からの遅延推測時間の問い合わせを受けると、その問い合わせを管理部１０２に渡す。管理部１０２は、遅延推測時間の問い合わせを受けると、音声データを通信部１０１を介して通信端末１０に送出する。また、管理部１０２のサーバ側カウンタ１０２ａは、通信端末１０に対して送出した音声データのデータ量（データ送出量）をカウントする（ステップＳ６１０）。なお、ステップＳ６１０で送出される音声データは、音声データの遅延推測時間を求めるために送出されるデータであるので、無音の音声データとされる。ただし、音声データは有音の音声データであってもよい。
【００６４】
通信端末１０において、通信部２０１は、ネットワーク１２を介して送出された音声データを受信すると、受信した音声データを制御部２０２に渡す。制御部２０２は、音声データを受け取ると、ＯＳ２０３ｂのサウンド再生機能（音声再生機能）に基づいて、再生部２０４を制御することで音声データを再生する。なお、音声データが符号化されている場合は、制御部２０２は、符号化された音声データを復号化した上で、音声データを再生する。また、制御部２０２の端末側カウンタ２０２ａは、再生した音声データのデータ量（データ再生量）をカウントする（ステップＳ６１５）。
【００６５】
サーバ１１の管理部１０２は、ステップＳ６１０で音声データの送出を開始してから所定のデータ量の音声データを送出するまでの時間をサーバ側の再生時刻としてサーバ側記憶部１０３に記憶する。そして、管理部１０２は、通信端末１０に対して再生時刻の問い合わせを行う（ステップＳ６２０）。
【００６６】
通信端末１０の制御部２０２は、ＯＳ２０３ｂの制御に基づいて、ステップＳ６１５で音声データの再生を開始してから所定のデータ量の音声データを再生するまでの時間を端末側の再生時刻として端末側記憶部２０３に記憶する。そして、制御部２０２は、サーバ１１から再生時刻の問い合わせを受けると、ＯＳ２０３ｂの制御に基づいて端末側記憶部２０３に記憶した端末側の再生時刻を通信部２０１を介してサーバ１１に通知する（ステップＳ６２５）。
【００６７】
サーバ１１において、通信部１０１は、通信端末１０から送信された端末側の再生時刻の情報を受信すると、その情報を管理部１０２に渡す。管理部１０２は、端末側の再生時刻の情報を受け取ると、その情報をサーバ側記憶部１０３に記憶する。また、管理部１０２は、サーバ側記憶部１０３に記憶したサーバ側の再生時刻と、受け取った端末側の再生時刻との差を算出し、その差を遅延推測時間としてサーバ側記憶部１０３に記憶する（ステップＳ６３０）。
【００６８】
サーバ１１と通信端末１０は、上記したステップＳ６１０からステップＳ５３０の処理を複数回（例えば１０回）繰り返し実行することにより、サーバ１１の管理部１０２は複数回分の遅延推測時間を取得する。管理部１０２は、複数回分の遅延推測時間のうち最大の時間を遅延推測時間と決定する。そして、管理部１０２は、決定した遅延推測時間を通信部１０１を介して通信端末１０に通知（送信）する（ステップＳ６３５）。
【００６９】
アプリケーション２０３ａの初期化処理が終了すると、管理部１０２は、音声データの再生のタイミングや振動の発生タイミングを示すタイミング情報に基づき、アプリケーション２０３ａに対応した音声データや振動に関する情報を通信部１０１を介して通信端末１０に送出（送信）する（ステップＳ６４０）。通信端末１０の制御部２０２は、ＯＳ２０３ｂのサウンド再生機能に基づき再生部２０４（音声出力装置２９）を制御して、サーバ１１から送出された音声データに再生し、また、ＯＳ２０３ｂの制御に基づき振動部２０５（振動デバイス２５）を制御して、サーバ１１から送出された振動に関する情報に応じたタイミングで通信端末１０を振動させる（ステップＳ６４５）。このとき、制御部２０２は、音声データの再生（音声出力）と振動とを同期させるために、音声データの再生が遅延推測時間だけ遅延することを想定して、振動部２０５による振動を行うタイミングを遅延推測時間分だけ遅延させる。
【００７０】
なお、上記第２実施形態では、音声データの再生と振動の発生とを同期させる構成であったが、映像データの再生と振動の発生とを同期させる構成でもよい。この場合、上記の構成において、音声データに代えて映像データを適用する。また、音声データ及び映像データの再生と振動とを同期させる構成でもよい。この場合、上記の構成において、音声データに代えて音声データ及び映像データを適用する。
【００７１】
以上のように、この実施形態２によれば、再生部２０４による音声データの再生と振動部２０５による振動の発生とを同期させることができる。
【００７２】
これまで本発明のシステム、装置およびプログラムについて詳細に説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態や、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００７３】
したがって、上記のプログラムが記録されたＣＤ-ＲＯＭやＳＤカード等の記録媒体、そのプログラムを保持し、ダウンロード要求に応じてそのプログラムを提供するプログラム提供サーバ等も提供することができるものである。
【符号の説明】
【００７４】
１０  通信端末
１１  サーバ
１２  ネットワーク
１３  アクセスポイント
２０  ＣＰＵ（遅延計測部、第２遅延計測部）
２１  ＲＯＭ
２２  ＲＡＭ
２３  フラッシュメモリ
２４  通信Ｉ／Ｆ（通信部）
２５  振動デバイス（振動部）
２６  入出力Ｉ／Ｆ
２７  表示装置（再生部）
２８  入力装置
２９  音声出力装置（再生部）
３１，２０３ａ  アプリケーション
３２，２０３ｂ  ＯＳ
３３  ライブラリ
４０  送出部
４１  データ管理部
４２  データ出力部
４３  遅延計測部
４４  情報出力部
１０２  管理部（遅延計測部、第１遅延計測部）
２０２  制御部（遅延計測部、第２遅延計測部）
２０４  再生部
２０５  振動部
【図１】
2018019393.tif 000003
【図２】
2018019393.tif 000004
【図３】
2018019393.tif 000005
【図４】
2018019393.tif 000006
【図５】
2018019393.tif 000007
【図６】
2018019393.tif 000008
【図７】
2018019393.tif 000009