(57)【特許請求の範囲】
【請求項１】
プロセッサが、対象のセンシングデータに基づいて、前記対象に発生するアクションおよび前記アクションの発生時刻を特定することと、
前記特定されたアクションに応じて、提供されるフィードバックを決定することと、
前記発生時刻に対応する時刻に前記フィードバックを提供することと、
を含み、
前記アクションを特定することは、前記アクションに対応するセンシングデータのパターンを認識することを含み、
前記アクションおよび前記発生時刻を特定することは、
前記アクションの発生時刻前の前記センシングデータと前記パターンとのマッチングによって、前記アクションを特定し、前記センシングデータとマッチングされた前記パターンに基づいて、前記アクションの前記発生時刻を特定することを含む、
フィードバック提供方法。
【請求項２】
前記アクションおよび前記発生時刻を特定することは、
前記センシングデータと前記パターンとの部分的なマッチングによって、前記発生時刻よりも前の第１の時刻に前記アクションを特定することと、
前記第１の時刻以降の前記センシングデータが前記パターンに従うと仮定することによって前記発生時刻を特定することと
を含む、請求項１に記載のフィードバック提供方法。
【請求項３】
前記アクションを特定することは、前記アクションのクラスを特定することを含み、
前記フィードバックを決定することは、前記アクションのクラスごとに用意されたフィードバックの中から前記提供されるフィードバックを選択することを含む、請求項１又は２に記載のフィードバック提供方法。
【請求項４】
前記アクションのクラスは、前記アクションの種類、または前記アクションの巧拙に対応して定義される、請求項３に記載のフィードバック提供方法。
【請求項５】
前記センシングデータは、第１の装置に含まれるセンサによって提供され、
前記フィードバックを提供することは、前記第１の装置に含まれる出力装置を用いてフィードバックを提供することを含む、請求項１〜４のいずれか１項に記載のフィードバック提供方法。
【請求項６】
前記センシングデータは、第１の装置に含まれるセンサによって提供され、
前記フィードバックを提供することは、前記第１の装置とは異なる第２の装置に含まれる出力装置を用いてフィードバックを提供することを含む、請求項１〜４のいずれか１項に記載のフィードバック提供方法。
【請求項７】
前記フィードバックは、過去に取得されたセンシングデータに基づいて生成される、請求項１〜６のいずれか１項に記載のフィードバック提供方法。
【請求項８】
前記フィードバックは、過去に取得された第１のユーザのセンシングデータに基づいて生成され、前記第１のユーザ自身に提供される、請求項７に記載のフィードバック提供方法。
【請求項９】
前記フィードバックは、過去に取得された第１のユーザのセンシングデータに基づいて生成され、前記第１のユーザとは異なる第２のユーザに提供される、請求項７に記載のフィードバック提供方法。
【請求項１０】
前記フィードバックは、前記過去に取得されたセンシングデータを拡張することによって生成される、請求項７〜９のいずれか１項に記載のフィードバック提供方法。
【請求項１１】
前記フィードバックは、前記過去に取得されたセンシングデータに含まれる振動波形をイコライジングまたは増幅することによって生成される、請求項１０に記載のフィードバック提供方法。
【請求項１２】
前記フィードバックは、前記過去に取得されたセンシングデータから抽出される抽象的な情報に基づいて生成される、請求項７〜９のいずれか１項に記載のフィードバック提供方法。
【請求項１３】
前記フィードバックは、前記抽象的な情報を表現する記号的な情報を含む、請求項１２に記載のフィードバック提供方法。
【請求項１４】
対象のセンシングデータを取得するセンサ装置と、
前記センシングデータに基づいて、前記対象に発生するアクションおよび前記アクションの発生時刻を特定するセンシングデータ解析部と、前記特定されたアクションに応じて、提供されるフィードバックを決定するフィードバック決定部と、前記発生時刻に対応する時刻に前記フィードバックを提供するためのコマンドを生成するフィードバックコマンド生成部とを備える解析装置と、
前記コマンドに従って前記フィードバックを出力する出力装置と
を含み、
前記センシングデータ解析部による、前記アクションを特定することは、前記アクションに対応するセンシングデータのパターンを認識することを含み、
前記アクションおよび前記発生時刻を特定することは、
前記アクションの発生時刻前の前記センシングデータと前記パターンとのマッチングによって、前記アクションを特定し、前記センシングデータとマッチングされた前記パターンに基づいて、前記アクションの前記発生時刻を特定することを含む、
システム。
【請求項１５】
対象のセンシングデータに基づいて、前記対象に発生するアクションおよび前記アクションの発生時刻を特定するセンシングデータ解析部と、
前記特定されたアクションに応じて、提供されるフィードバックを決定するフィードバック決定部と、
前記発生時刻に対応する時刻に前記フィードバックを提供するためのコマンドを生成するフィードバックコマンド生成部と
を備え、
前記センシングデータ解析部による、前記アクションを特定することは、前記アクションに対応するセンシングデータのパターンを認識することを含み、
前記アクションおよび前記発生時刻を特定することは、
前記アクションの発生時刻前の前記センシングデータと前記パターンとのマッチングによって、前記アクションを特定し、前記センシングデータとマッチングされた前記パターンに基づいて、前記アクションの前記発生時刻を特定することを含む、
解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、フィードバック提供方法、システム、および解析装置に関する。
【背景技術】
【０００２】
これまでに、センシングや解析を利用してユーザのスポーツの上達を支援する技術が多く開発されてきている。例えば、特許文献１には、モーションセンサの出力データに基づいてスイングの特徴情報を抽出する技術が記載されている。このような技術を利用して、ユーザは、スポーツのプレーを客観的に振り返り、その結果を上達のために役立てることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１５７６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、スポーツでは、試合などにおける実際のプレー以外にも、プレーの追体験または仮想的なプレーをすることが一般的である。プレーの追体験は、例えばプレーの様子を記録した映像を観ることによってプレーを振り返ることを含む。仮想的なプレーは、例えば素振りまたはシャドウプレイと呼ばれるような練習を含む。このような場面では、実際のプレーと同じ、または類似した時間軸でユーザの体験が進行する。しかしながら、上記の特許文献１などでは、主に静的なデータとしてプレーを振り返るための技術が提案されているにすぎず、プレーの追体験や仮想的なプレーをより充実したものにするための技術は十分には提案されていない。
【０００５】
そこで、本開示では、センシングデータを利用して、例えばスポーツにおけるプレーの追体験や仮想的なプレーといったような場面におけるユーザの体験をより充実したものにすることが可能な、新規かつ改良されたフィードバック提供方法、システム、および解析装置を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、プロセッサが、対象のセンシングデータに基づいて、上記対象に発生するアクションおよび上記アクションの発生時刻を特定することと、上記特定されたアクションに応じて、提供されるフィードバックを決定することと、上記発生時刻に対応する時刻に上記フィードバックを提供することとを含むフィードバック提供方法が提供される。
【０００７】
また、本開示によれば、対象のセンシングデータに基づいて、上記対象に発生するアクションおよび上記アクションの発生時刻を特定するセンシングデータ解析部と、上記特定されたアクションに応じて、提供されるフィードバックを決定するフィードバック決定部と、上記発生時刻に対応する時刻に上記フィードバックを提供するフィードバック提供部とを備える解析装置が提供される。
【０００８】
また、本開示によれば、対象のセンシングデータに基づいて、上記対象に発生するアクションおよび上記アクションの発生時刻を特定する機能と、上記特定されたアクションに応じて、提供されるフィードバックを決定する機能と、上記発生時刻に対応する時刻に上記フィードバックを提供する機能とをコンピュータに実現させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、センシングデータを利用して、例えばスポーツにおけるプレーの追体験や仮想的なプレーといったような場面におけるユーザの体験をより充実したものにすることができる。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の第１の実施形態に係るシステムの構成例を示す図である。
【図２】本開示の第１の実施形態に係るセンサ装置の構成を示す概略的なブロック図である。
【図３】本開示の第１の実施形態における解析処理のための機能構成を示す概略的なブロック図である。
【図４】本開示の第１の実施形態におけるセンシングデータの解析処理について説明するための図である。
【図５】本開示の第１の実施形態におけるセンシングデータの解析処理の例を示すフローチャートである。
【図６】本開示の第２の実施形態に係るシステムの構成例を示す図である。
【図７】本開示の第２の実施形態に係るスマートフォンの構成を示す概略的なブロック図である。
【図８】本開示の第２の実施形態における解析処理のための機能構成を示す概略的なブロック図である。
【図９】本開示の第１の実施形態において観測されるセンシングデータと解析によって得られる情報との関係を示す図である。
【図１０】本開示の第１の実施形態におけるセンシングデータに基づくフィードバックの生成処理について説明するための図である。
【図１１】本開示の第２の実施形態における画像のフィードバックの例を示す図である。
【図１２】本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．システム構成
１−２．機能構成および処理フロー
１−３．変形例
２．第２の実施形態
２−１．システム構成
２−２．機能構成
３．フィードバックの例
４．ハードウェア構成
５．補足
【００１４】
（１．第１の実施形態）
（１−１．システム構成）
図１は、本開示の第１の実施形態に係るシステムの構成例を示す図である。図１を参照すると、システム１０は、センサ装置１００を含む。システム１０は、さらに、スマートフォン２００および／またはサーバ３００を含んでもよい。なお、センサ装置１００およびスマートフォン２００は、例えば後述する情報処理装置のハードウェア構成によって実現されうる。サーバ３００は、後述する情報処理装置のハードウェア構成を有する単一のサーバ装置、またはそのような構成を有する複数のサーバ装置の協働によって実現されうる。
【００１５】
センサ装置１００は、テニスのラケットＲに装着される。センサ装置１００は、センサを備える。センサは、ラケットＲ、またはラケットＲを使用するユーザのセンシングデータを提供する。図示された例において、ラケットＲまたはユーザは、センシングの対象として扱われる。また、センサ装置１００は、出力装置を備える。出力装置は、例えば映像、音声、または振動などによってユーザへのフィードバックを提供する。さらに、センサ装置１００は、センシングデータに基づいてフィードバックを提供するための解析処理を実行するプロセッサを備えてもよい。あるいは、センサ装置１００は、センシングデータをスマートフォン２００またはサーバ３００に送信し、センシングデータに基づいてフィードバックを提供するための解析処理を依頼してもよい。この場合、センサ装置１００は、スマートフォン２００またはサーバ３００から、フィードバックに関する情報を受信する。
【００１６】
スマートフォン２００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によって、センサ装置１００から送信されたセンシングデータを受信する。また、スマートフォン２００は、センシングデータの解析処理によって得られるフィードバックに関する情報を、無線通信によってセンサ装置１００に送信する。スマートフォン２００は、自ら解析処理を実行してもよいし、サーバ３００に解析処理を依頼してもよい。前者の場合、スマートフォン２００が備えるプロセッサが解析処理を実行する。後者の場合、ネットワーク通信によってセンシングデータがスマートフォン２００からサーバ３００に送信され、フィードバックに関する情報がサーバ３００からスマートフォン２００に送信される。なお、スマートフォン２００は、ユーザが所持する、センサ装置１００とは異なる端末装置の例である。従って、スマートフォン２００は、例えばタブレットやパーソナルコンピュータなど、他の種類の端末装置によって代替されてもよい。
【００１７】
サーバ３００は、ネットワーク通信によって、センサ装置１００またはスマートフォン２００から送信されたセンシングデータを受信する。センサ装置１００は、スマートフォン２００を介することなく、直接的にサーバ３００と通信可能であってもよい。また、サーバ３００は、センシングデータの解析処理によって得られるフィードバックに関する情報を、ネットワーク通信によってセンサ装置１００またはスマートフォン２００に送信する。システム１０がサーバ３００を含む場合、サーバ３００を実現する１または複数のサーバ装置の備えるプロセッサが解析処理を実行する。
【００１８】
図２は、本開示の第１の実施形態に係るセンサ装置の構成を示す概略的なブロック図である。図２を参照すると、センサ装置１００は、センサ１１０と、処理部１２０と、記憶部１３０と、送信部１４０と、出力部１５０と、受信部１６０とを含む。なお、処理部１２０は、ＣＰＵなどのプロセッサがプログラムに従って動作することによって実現される。記憶部１３０は、メモリまたはストレージ装置によって実現される。送信部１４０および受信部１６０は、通信装置によって実現される。出力部１５０は、出力装置によって実現される。以下、それぞれの構成要素についてさらに説明する。
【００１９】
センサ１１０は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、および／または振動センサを含む。本明細書では、これらのセンサを総称してモーションセンサともいう。また、センサ１１０は、温度センサ、湿度センサ、音センサ、または照度センサなどを含んでもよい。センサ１１０は、ラケットＲ、またはラケットＲを使用するユーザを対象として、センシングデータを提供する。ラケットＲを使用するユーザは、スポーツをプレーするユーザでありうる。また、ラケットＲは、ユーザによって使用される道具でありうる。
【００２０】
処理部１２０は、例えば、センサ１１０によって提供されるセンシングデータを前処理する。前処理は、例えばサンプリングやノイズ除去などを含み、必要に応じて実行される。処理部１２０は、センシングデータを、記憶部１３０に少なくとも一時的に蓄積してもよい。処理部１２０は、センシングデータに基づいてフィードバックを提供するための解析処理を実行してもよい。この場合、処理部１２０が、後述する解析処理のための機能構成を実現する。あるいは、処理部１２０は、送信部１４０を介してセンシングデータをスマートフォン２００またはサーバ３００に送信し、受信部１６０を介してフィードバックに関する情報を受信してもよい。
【００２１】
さらに、処理部１２０は、自ら実行した解析処理によって得られた、またはスマートフォン２００もしくはサーバ３００から受信された情報に基づいて、出力部１５０を制御する。これによって、出力部１５０は、ユーザにフィードバックを提供する。例えば、出力部１５０はバイブレータを含み、ラケットＲに振動を伝達することによってユーザにフィードバックを提供する。また、例えば、出力部１５０はスピーカを含み、音声を出力することによってユーザにフィードバックを提供する。
【００２２】
上記の通り、本実施形態では、システム１０がスマートフォン２００および／またはサーバ３００を含みうる。この場合、上記の例においてセンサ装置１００の処理部１２０によって実行された解析処理は、スマートフォン２００またはサーバ３００のプロセッサによって実行される。従って、この場合、スマートフォン２００またはサーバ３００のプロセッサが、後述する解析処理のための機能構成を実現する。
【００２３】
（１−２．機能構成および処理フロー）
図３は、本開示の第１の実施形態における解析処理のための機能構成を示す概略的なブロック図である。図３を参照すると、機能構成は、センシングデータ解析部５０１と、フィードバック決定部５０３と、フィードバックコマンド生成部５０５とを含む。上記の通り、これらの機能構成は、センサ装置１００、スマートフォン２００、またはサーバ３００のプロセッサによって実現される。また、上記の機能構成は、パターンＤＢ（データベース）５０７およびフィードバックＤＢ５０９を参照してもよい。パターンＤＢ５０７およびフィードバックＤＢ５０９は、センサ装置１００、スマートフォン２００、またはサーバ３００のメモリまたはストレージ装置によって実現される。
【００２４】
（センシングデータ解析部）
センシングデータ解析部５０１は、対象のセンシングデータに基づいて、対象に発生するアクションおよびアクションの発生時刻を特定する。本実施形態において、センシングの対象は、ラケットＲ、またはラケットＲを使用するユーザである。センシングデータは、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、および／または振動センサによって提供されるデータを含む。また、センシングデータは、温度センサ、湿度センサ、音センサ、または照度センサなどによって提供されるデータを含んでもよい。アクションは、例えば、ラケットＲを用いたテニスのプレーにおいて発生するイベント、より具体的にはラケットＲを用いたショットを含む。
【００２５】
本実施形態において、センシングデータ解析部５０１は、ショット（アクション）に対応するセンシングデータのパターンを認識することによって、発生したショットを特定する。ラケットＲを用いたテニスのショットでは、例えばフォアハンドストローク、バックハンドストローク、サーブ、スマッシュなどといったショットの種類ごとに特有のセンシングデータのパターンが観察される。例えば、モーションセンサによって提供されるセンシングデータの場合、ラケットＲにおけるセンサ装置１００の取り付け位置が既知であれば、提供されるセンシングデータからショットの種類を特定することができる。センシングデータのパターンは、例えば実際のショットの際に観測されたセンシングデータの波形から統計的に抽出され、パターンＤＢ５０７に格納されている。センシングデータ解析部５０１は、パターンＤＢ５０７に格納されたパターンと取得されたセンシングデータとをマッチングすることによって、ショットを特定する。
【００２６】
ここで、本実施形態において、センシングデータ解析部５０１は、センシングデータとパターンとの部分的なマッチングによって、ショット（アクション）の発生時刻よりも前にショットを特定する。センシングデータ解析部５０１は、取得されるセンシングデータＤをリアルタイムで解析している。この点について、図４および図５を参照してさらに説明する。図４には、時系列ｔに沿って取得されたセンシングデータＤが例示されている。図５は、このようなセンシングデータＤについてセンシングデータ解析部５０１が実行するパターンマッチングの例を示すフローチャートである。
【００２７】
図４および図５を参照すると、センシングデータ解析部５０１は、長さｔＬのタイムウインドウＷ分のセンシングデータが入力された場合に、解析処理を開始する（Ｓ１０１）。センシングデータ解析部５０１は、タイムウインドウＷ内のセンシングデータＤについて、パターンマッチングを実行する（Ｓ１０３）。タイムウインドウＷ内のセンシングデータＤがパターンにマッチする確率が閾値を超える場合（Ｓ１０５のＹＥＳ）、センシングデータ解析部５０１は、その時点で、当該パターンに対応するショットが発生することを検出する（Ｓ１０７）。Ｓ１０５でセンシングデータＤがパターンにマッチする確率が閾値を超えなかった場合、センシングデータ解析部５０１は、タイムウインドウＷを（例えば最新の位置まで）進めて（Ｓ１０９）、再びパターンマッチングを実行する（Ｓ１０３）。
【００２８】
図示された例では、時刻ｔ１までのセンシングデータＤが取得されており、時刻ｔ１−ｔＬから時刻ｔ１までのタイムウインドウＷ内のセンシングデータＤのパターンマッチングが実行されている。センシングデータＤがパターンにマッチする確率が閾値を超えた場合、この時点（時刻ｔ１の時点）で、当該パターンに対応するショットが発生することが特定される。この場合、センシングデータ解析部５０１は、時刻ｔ１以降のセンシングデータＤＥが特定されたパターンに従うと仮定することによって、ショットの発生時刻ｔｓを特定することができる。ショットの発生時刻は、例えばラケットへのボールのインパクトが発生する時刻として、センシングデータのパターンに関連付けて定義されうる。これによって、本実施形態では、ラケットＲで実際にショットが発生する前に、発生するショットおよびショットの発生時刻を特定することができる。
【００２９】
本実施形態では、上記のようなセンシングデータ解析部５０１の構成によって、ラケットＲにおいて実際にショットが発生するか否かに関わらず、発生の前段階でショットおよびショットの発生時刻を特定することができる。従って、例えば、ラケットＲが素振りまたはシャドウプレイに使用され、実際にはボールのインパクトが発生しない場合でも、ラケットＲのスイングに対応したショットを特定し、当該ショットに対応するフィードバックを提供することができる。なお、続くフィードバック決定部５０３およびフィードバックコマンド生成部５０５の処理は、ラケットＲで実際にはボールのインパクトが発生しない場合にフィードバックを提供することを前提として説明される。
【００３０】
（フィードバック決定部）
再び図３を参照して、フィードバック決定部５０３は、センシングデータ解析部５０１によって特定されたアクションに応じて、提供されるフィードバックを決定する。上記の通り、本実施形態においてアクションはテニスのプレーにおいて発生するショットである。例えば、センシングデータ解析部５０１は、センシングデータの解析によってショットのクラスを特定してもよい。この場合、フィードバックＤＢ５０９には、特定されるショットのクラスに対応したフィードバックを示すデータが格納されている。フィードバック決定部５０３は、格納されたデータの中から、適切なフィードバックのデータを選択する。あるいは、アクション（ショット）はクラス分けされておらず、フィードバック決定部５０３は、発生するショットに共通のフィードバックを提供することを決定してもよい。
【００３１】
ここで、本実施形態におけるショット（アクション）のクラスは、ショットの種類に対応して定義されてもよい。ショットの種類は、例えばフォアハンドストローク、バックハンドストローク、サーブ、スマッシュなどを含む。また、ショットのクラスは、ショットの巧拙に対応して定義されてもよい。例えば、上記のショットの種類のそれぞれについて、上級者のショット、中級者のショット、および下級者のショットに対応するパターンがパターンＤＢ５０７に格納され、センシングデータ解析部５０１がショットの巧拙を判定してもよい。
【００３２】
本実施形態では、振動または音声によってフィードバックが提供されうる。より具体的には、例えば、センシングデータ解析部５０１によって何らかのショットの発生が特定された場合に、ショットの発生時刻に、ショットを示す振動および／または効果音が出力されてもよい。この振動および／または音声は、ショットのクラスに関わらず共通であってもよいし、ショットのクラスごとに異なっていてもよい。例えば、上記のようにショットのクラスがショットの種類および巧拙に対応して定義される場合、ショットの種類と巧拙との組み合わせごとに異なるフィードバックが提供されてもよいし、ショットの種類に関わらずショットの巧拙に応じて異なるフィードバックが提供されてもよい。
【００３３】
上記の例において、フィードバックとして提供される振動または音声は、例えば、ラケットＲのユーザが過去に実際にショットしたとき（ラケットへのボールのインパクトが発生したとき）に観測された振動や音声のセンシングデータに基づいて生成されてもよい。つまり、フィードバックは、過去に取得された第１のユーザのセンシングデータに基づいて生成され、第１のユーザ自身に提供されてもよい。この場合、ユーザ自身の過去のショットが再現されることによって、過去のプレーを追体験することができる。
【００３４】
あるいは、フィードバックとして提供される振動または音声は、ラケットＲのユーザとは異なるユーザが過去に実際にショットしたときに観測された振動や音声のセンシングデータに基づいて生成されてもよい。つまり、フィードバックは、過去に取得された第１のユーザのセンシングデータに基づいて生成され、第１のユーザとは異なる第２のユーザに提供されてもよい。この場合、例えば初級者（第２のユーザ）に、上級者（第１のユーザ）のセンシングデータに基づいて生成されたフィードバックを提供することによって、正しいショットのタイミングや、正確にボールをとらえた時の感触を仮想的に体験し、上達のための指標にすることができる。
【００３５】
また、フィードバックとして提供される振動または音声は、ユーザに（仮想的な）ショットの発生が理解されやすいように、実際のショット時の振動や音声のセンシングデータとは別に生成されてもよい。
【００３６】
（フィードバックコマンド生成部）
フィードバックコマンド生成部５０５は、フィードバック決定部５０３によって決定されたフィードバックを、センシングデータ解析部５０１によって特定されたアクションの発生時刻に提供するためのコマンドを生成する。例えば、フィードバックが振動によって提供される場合、コマンドは、バイブレータの制御信号を含みうる。また、フィードバックが音声によって提供される場合、コマンドは、スピーカに入力される音声信号を含みうる。上記の通り、本実施形態では、センシングデータ解析部５０１によって、アクション（ショット）の発生の前段階で発生時刻が特定される。従って、フィードバックコマンド生成部５０５は、特定された発生時刻にフィードバックが出力されるように、コマンドの出力タイミングを制御する。例えばフィードバックコマンド生成部５０５がスマートフォン２００またはサーバ３００のプロセッサによって実現されるような場合、コマンドの出力タイミングの制御では、通信による遅延が考慮されてもよい。
【００３７】
なお、以上で説明したような処理によって、発生するアクション（ショット）およびそれに対応するフィードバック、ならびにショットの発生時刻が特定された後も、センシングデータ解析部５０１、フィードバック決定部５０３、およびフィードバックコマンド生成部５０５は、同様の処理を継続して実行してもよい。つまり、センシングデータ解析部５０１は、発生するショットおよびショット発生時刻が特定された後も、引き続きタイムウインドウＷを進めながらセンシングデータＤのパターンマッチングを実施してもよい。
【００３８】
例えば、タイムウインドウＷを進めた結果、センシングデータＤがパターンにマッチする確率が閾値を下回った場合、センシングデータ解析部５０１はショットの発生予測を取り消し、フィードバックコマンド生成部５０５によるコマンドの生成および出力が中止されてもよい。あるいは、タイムウインドウＷを進めた結果、センシングデータＤが別のパターンにマッチする確率が閾値を超えた場合、センシングデータ解析部５０１がショットの発生予測を修正し、フィードバック決定部５０３が別のフィードバックを選択してもよい。また、タイムウインドウＷを進めた結果、ショットの予測発生時刻が変化した場合、センシングデータ解析部５０１はショットの発生時刻の予測を修正し、フィードバックコマンド生成部５０５がコマンドを出力するタイミングが変更されてもよい。
【００３９】
（１−３．変形例）
以上、本開示の第１の実施形態について説明した。なお、上記で説明された例に限らず、本実施形態ではさまざまな変形例が可能である。例えば、上記の例では、ラケットＲに取り付けられるセンサ装置１００が、センサ１１０に加えて出力部１５０を含んでいた。他の例では、センサ１１０を含む装置と、フィードバックを提供する出力部１５０を含む装置とが別個であってもよい。例えば、出力部１５０および受信部１６０を含まないセンサ装置１００と、出力部１５０および受信部１６０を含む別の装置とが提供されてもよい。当該別の装置は、受信部１６０によって受信された情報に従って出力部１５０を制御するためのプロセッサをさらに含みうる。あるいは、センサ装置１００と他の装置とのそれぞれに出力部１５０が含まれてもよい。
【００４０】
上記の変形例における他の装置は、例えば、ラケットＲに取り付けられるバイブレータユニットでありうる。センサ１１０によってラケットＲのモーションを検出するために適切な位置と、出力部１５０に含まれるバイブレータによってラケットＲに振動を発生させるために適切な位置とは異なりうる。そこで、バイブレータユニットは、センサ装置１００とは独立して、ラケットＲ上の適切な位置に取り付けられる。また、他の装置は、例えば、スマートフォン２００のような端末装置であってもよい。この場合、ショット時に発生するフィードバックの音声や振動が、ユーザによって携帯されたスマートフォン２００のような端末装置によって出力される。この場合、スマートフォン２００が既に有しているスピーカやバイブレータを利用して、センサ装置１００に出力装置を組み込んだり、出力用の新たな装置を用意したりすることなく、簡便にフィードバックを提供することができる。
【００４１】
あるいは、フィードバックを提供する他の装置は、ラケットＲのユーザによって装着されるウェアラブル装置であってもよい。ウェアラブル装置は、例えば、眼鏡型や腕時計型の端末装置であり、ユーザがスポーツのプレー中でも装着可能である。例えば、腕時計型のウェアラブル装置の場合、上記のスマートフォン２００の例と同様に、音声や振動によってフィードバックを提供することができる。また、例えば、眼鏡型のウェアラブル装置の場合、音声や振動によるフィードバックを提供することができる他、画像によるフィードバックを提供することも可能である。
【００４２】
なお、眼鏡型のウェアラブル装置以外の場合でも、例えばＬＥＤ（Light  Emitting  Diode）を利用することによって、視覚的なフィードバックを提供することが可能である。このようなフィードバックは、ラケットＲを把持してスイングしているユーザには限らず、例えばそれを見ている友人やコーチなどのために提供されてもよい。また、上述した視覚的、聴覚的、および／または触覚的なフィードバックは、組み合わせて提供されてもよい。この場合、例えば、センサ装置１００から振動が、スマートフォン２００から音声が、といったように、複数の装置がそれぞれ有する出力部を利用して、複数の種類のフィードバックが提供されてもよい。また、複数の装置がそれぞれ有する出力部を利用して、同じ種類のフィードバックが提供されてもよい。例えば、複数の装置が出力部として有するバイブレータを連動させることによって、ユーザに効果的に振動を感じさせることができる場合がありうる。また、複数の装置が出力部として有するスピーカを連動させることによって、ステレオ効果をもった音声のフィードバックを提供できる場合がありうる。
【００４３】
上記の例では、センサ装置１００がラケットＲに取り付けられていたが、他の例では、センサ装置１００が独立してユーザによって把持されていてもよい。この場合、センサ装置１００は、仮想的なラケットのグリップ部分に見立てられる。上述のように、本実施形態は、ユーザがスイングするラケットＲで、実際にはボールのインパクトが発生しない場合にフィードバックを提供することを前提としている。従って、ユーザがスイングするのは、ボールを打つことができるラケットＲ（打具）には限られず、把持してスイングの動作ができるものであればどのようなオブジェクトであってもよい。
【００４４】
また、上記の例では、対象のアクションがテニスのショットである場合について説明したが、他の例では、テニス以外のスポーツや、スポーツ以外のアクションが対象になってもよい。例えば、テニス以外のスポーツでも、打具（バット、クラブ、ラケットなど）やユーザの身体を用いたショットや、ジャンプ、着地、などといったイベントを、センサデータから検出することが可能でありうる。また、スポーツ以外でも、製造業や建設業などで実施される訓練などで、アクションの発生を前もって予測し、発生するアクションに対応するフィードバックを仮想的な発生時刻に提供することは有用でありうる。
【００４５】
（２．第２の実施形態）
（２−１．システム構成）
図６は、本開示の第２の実施形態に係るシステムの構成例を示す図である。図６を参照すると、システム２０は、センサ装置６００と、スマートフォン７００とを含む。システム２０は、さらに、サーバ８００を含んでもよい。なお、センサ装置６００およびスマートフォン７００は、例えば後述する情報処理装置のハードウェア構成によって実現されうる。サーバ８００は、後述する情報処理装置のハードウェア構成を有する単一のサーバ装置、またはそのような構成を有する複数のサーバ装置の協働によって実現されうる。
【００４６】
センサ装置６００は、テニスのラケットＲに装着される。センサ装置６００は、ラケットＲ、またはラケットＲを使用するユーザのセンシングデータを提供するセンサを備える点では、上記の第１の実施形態におけるセンサ装置１００と同様である。ただし、本実施形態において、センサ装置６００は、出力装置を有さなくてもよい。センサ装置６００は、センシングデータをスマートフォン２００またはサーバ３００に送信する。このとき、センサ装置６００のプロセッサによって、センシングデータが前処理されてもよい。
【００４７】
スマートフォン７００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によって、センサ装置１００から送信されたセンシングデータを受信する。スマートフォン７００は、センシングデータに基づいてフィードバックを提供するための解析処理を実行するプロセッサを備えてもよい。あるいは、スマートフォン７００は、センシングデータをネットワーク通信によってサーバ８００に送信し、センシングデータに基づいてフィードバックを提供するための解析処理を依頼してもよい。また、スマートフォン７００は、カメラなどの撮像部を備え、ラケットＲのユーザがテニスをプレーしている様子を映像として撮影する。
【００４８】
本実施形態において、スマートフォン７００は、上記のような解析処理またはデータの転送処理に加えて、ユーザによるプレーの振り返りにも使用される。より具体的には、スマートフォン７００は、撮像部によって撮影されたユーザのプレーの映像を再生してディスプレイに映し出す。これによって、ユーザは、プレーの終了後に、プレーを振り返ることができる。さらに、このとき、スマートフォン７００は、画像、音声または振動などによって、映像として再生されているプレーに対応したフィードバックを提供する。スマートフォン７００は、このようなフィードバックの提供のための出力装置を備える。フィードバックに関する情報は、スマートフォン７００自身が実行する解析処理によって得られるか、解析処理を依頼したサーバ８００から受信される。
【００４９】
なお、図示された例では、便宜上、センシングデータの解析処理または転送処理を実行する機能と、ユーザのプレーを映像として撮影する機能と、撮影された映像を再生する機能と、映像として再生されているプレーに対応したフィードバックを提供する機能とをスマートフォン７００に集約しているが、本実施形態はこのような例には限られない。上記の機能の一部または全部は、別々の装置によって実現されてもよい。例えば、ユーザのプレーを映像として撮影するために、デジタルカメラが別途用意されてもよい。また、撮影された映像を再生するために、テレビが別途用意されてもよい。さらに、フィードバックを提供する機能は、出力装置を備えるセンサ装置６００によって実現されてもよい。また、上記の第１の実施形態と同様に、スマートフォン７００は、例えばタブレットやパーソナルコンピュータなど、他の種類の端末装置によって代替されてもよい。
【００５０】
サーバ８００は、ネットワーク通信によって、センサ装置６００またはスマートフォン７００から送信されたセンシングデータを受信する。センサ装置６００は、スマートフォン７００を介することなく、直接的にサーバ８００と通信可能であってもよい。また、サーバ８００は、センシングデータの解析処理によって得られるフィードバックに関する情報を、ネットワーク通信によってセンサ装置６００またはスマートフォン７００に送信する。システム２０がサーバ８００を含む場合、サーバ８００を実現する１または複数のサーバ装置の備えるプロセッサが解析処理を実行する。
【００５１】
図７は、本開示の第２の実施形態に係るスマートフォンの構成を示す概略的なブロック図である。図７を参照すると、スマートフォン７００は、受信部７１０と、処理部７２０と、記憶部７３０と、送信部７４０と、出力部７５０と、撮像部７６０とを含む。出力部７５０は、ディスプレイ７５１、スピーカ７５２、および／またはバイブレータ７５３を含む。なお、処理部７２０は、ＣＰＵなどのプロセッサがプログラムに従って動作することによって実現される。記憶部７３０は、メモリまたはストレージ装置によって実現される。受信部７１０および送信部７４０は、通信装置によって実現される。出力部７５０は、出力装置によって実現される。撮像部７６０は、撮像装置によって実現される。以下、それぞれの構成要素についてさらに説明する。
【００５２】
なお、上述のように、スマートフォン７００の機能は、複数の装置に分散して実現されてもよい。そのような場合、図７に示されたブロック図は、それらの装置によって実現される機能の集合体を示すものと解釈される。
【００５３】
受信部７１０は、センサ装置６００から、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、および／または振動センサによって提供されるセンシングデータを受信する。また、受信部７１０は、センサ装置６００から、温度センサ、湿度センサ、音センサ、または照度センサなどによって提供されるセンシングデータを受信してもよい。上記の第１の実施形態と同様に、センサ装置６００が備えるセンサは、ラケットＲ、またはラケットＲを使用するユーザを対象として、センシングデータを提供する。また、受信部７１０は、サーバ３００から、解析処理によって得られたフィードバックに関する情報を受信してもよい。
【００５４】
処理部７２０は、例えば、センサ装置６００から受信されたセンシングデータに基づいて、フィードバックを提供するための解析処理を実行する。この場合、処理部７２０が、後述する解析処理のための機能構成を実現する。第１の実施形態とは異なり、解析処理は事後的に実行されうる。従って、処理部７２０は、受信されたセンシングデータを記憶部７３０に蓄積した上で、解析処理のために読み出してもよい。あるいは、処理部７２０は、受信されたセンシングデータを必要に応じて記憶部７３０に一時的に蓄積した上で、解析処理のために送信部７４０を介してサーバ８００に送信してもよい。
【００５５】
また、処理部７２０は、撮像部７６０によるプレー映像の撮影を制御する。プレー映像は、センシングデータの取得と並行して撮影される。撮影されたプレー映像は、記憶部７３０に格納される。本実施形態では、プレー映像の再生時に、センシングデータの解析結果に基づいてフィードバックが提供される。従って、プレー映像とセンシングデータとは、同期していることが望ましい。処理部７２０は、例えば、センサ装置６００から受信されたセンシングデータと撮像部７６０によって撮影されたプレー映像とに共通するタイムスタンプを与える。あるいは、処理部７２０は、センシングデータまたはプレー映像のいずれかまたは両方のタイムスタンプを補正することによって同期させる。
【００５６】
さらに、処理部７２０は、ディスプレイ７５１およびスピーカ７５２によるプレー画像の再生と、ディスプレイ７５１、スピーカ７５２、および／またはバイブレータ７５３によるフィードバックの提供とを制御する。より具体的には、処理部７２０は、例えばユーザ操作に従って、記憶部７３０に格納されたプレー映像を、ディスプレイ７５１およびスピーカ７５２を用いて再生する。このとき、処理部７２０は、自ら実行した解析処理によって得られた、またはセンサ装置６００またはサーバ８００から受信された情報に基づいて、ディスプレイ７５１、スピーカ７５２、および／またはバイブレータ７５３を制御する。これによって、ユーザにフィードバックが提供される。
【００５７】
例えば、フィードバックは、バイブレータ７５３がスマートフォン７００の筐体に振動を伝達することによって提供される。あるいは、フィードバックは、スピーカ７５２が音声を出力したり、ディスプレイ７５１が画像を表示したりすることによって提供されてもよい。フィードバックは、再生されているプレー映像において発生するアクションの発生時刻に対応する時刻に提供される。従って、本実施形態において、フィードバックを提供するための情報は、プレー画像に対応付けられている。
【００５８】
上記の通り、本実施形態では、スマートフォン７００の処理部７２０に代えて、センサ装置６００またはサーバ８００のプロセッサによって、センシングデータに基づいてフィードバックを提供するための解析処理が実行されてもよい。この場合、センサ装置６００またはサーバ８００のプロセッサが、後述する解析処理のための機能構成を実現する。
【００５９】
（２−２．機能構成）
図８は、本開示の第２の実施形態における解析処理のための機能構成を示す概略的なブロック図である。図８を参照すると、機能構成は、センシングデータ解析部５３１と、フィードバック決定部５３３と、フィードバックコマンド生成部５３５とを含む。上記の通り、これらの機能構成は、スマートフォン７００、センサ装置６００、またはサーバ８００のプロセッサによって実現される。また、上記の機能構成は、センシングデータＤＢ５３７、パターンＤＢ５３９、およびフィードバックＤＢ５４１を参照してもよい。さらに、フィードバックコマンド生成部５３５によって生成されたフィードバックコマンドは、フィードバックコマンドＤＢ５４３に格納されてもよい。センシングデータＤＢ５３７、パターンＤＢ５３９、フィードバックＤＢ５４１、およびフィードバックコマンドＤＢ５４３は、スマートフォン７００、センサ装置６００、またはサーバ８００のメモリまたはストレージ装置によって実現される。
【００６０】
（センシングデータ解析部）
センシングデータ解析部５３１は、第１の実施形態と同様に、ショット（アクション）に対応するセンシングデータのパターンを認識することによって、発生したショットを特定する。センシングデータのパターンは、例えば実際のショットの際に観測されたセンシングデータの波形から統計的に抽出され、パターンＤＢ５３９に格納されている。センシングデータ解析部５０１は、パターンＤＢ５０７に格納されたパターンと取得されたセンシングデータとをマッチングすることによって、ショットを特定する。解析されるセンシングデータは、センシングデータＤＢ５３７に予め格納されていてもよい。
【００６１】
ここで、第１の実施形態との相違として、本実施形態において、センシングデータ解析部５３１は、センシングデータＤＢ５３７に予め格納されたセンシングデータについて、事後的にセンシングデータのパターンマッチングを実行することができる。この場合、センシングデータ解析部５３１は、パターンの全体とセンシングデータとをマッチングして、センシング対象においてパターンに対応するショット（アクション）が発生したか否かを判定する。パターンの全体を使用してマッチングが実行されるため、ショットの発生時刻についても、実際のセンシングデータの波形に基づいて正確に特定することが可能である。
【００６２】
なお、センシングデータ解析部５３１が解析を実施するタイミングは任意である。センシングデータ解析部５３１は、第１の実施形態と同様に、受信されたセンシングデータについてリアルタイムに近いタイミングで解析を実施してもよいし、センシングデータの受信後（プレー終了後）、すぐに解析を実施してもよい。また、センシングデータ解析部５３１は、プレー映像の再生時または再生中に解析を実施してもよい。あるいは、センシングデータ解析部５３１が、センシングデータＤＢ５３７に蓄積されているセンシングデータについて、定期的なバッチ処理として解析を実施してもよい。
【００６３】
（フィードバック決定部）
フィードバック決定部５３３は、第１の実施形態と同様に、センシングデータ解析部５３１によって特定されたアクションに応じて、提供されるフィードバックを決定する。フィードバックＤＢ５４１には、例えば、センシングデータ解析部５３１によって特定されるショットのクラスに対応したフィードバックを示すデータが格納されている。フィードバック決定部５３３は、格納されたデータの中から、適切なフィードバックのデータを選択する。
【００６４】
ここで、本実施形態では、プレー映像の再生中にフィードバックが提供されるため、プレー映像とともに表示されるアイコンなどの画像としてフィードバックを提供することも可能である。従って、本実施形態では、振動、音声、または画像によってフィードバックが提供されうる。より具体的には、例えば、センシングデータ解析部５３１によって何らかのショットの発生が特定された場合に、ショットの発生時刻に、ショットを示す振動および／または効果音が出力されたり、ショットを示すアイコンが表示されたりしてもよい。この振動、音声、および／または効果音は、ショットのクラスに関わらず共通であってもよいし、ショットのクラスごとに異なっていてもよい。ショットのクラスは、第１の実施形態と同様に、ショットの種類や巧拙などを含みうる。
【００６５】
上記の例において、フィードバックとして提供される振動または音声は、例えば、ラケットＲのユーザ、または別のユーザが実際にショットしたときに観測された振動や音声のセンシングデータに基づいて生成されてもよい。また、フィードバックとして提供される振動または音声は、ユーザに（仮想的な）ショットの発生が理解されやすいように、実際のショット時の振動や音声のセンシングデータとは別に生成されてもよい。フィードバックとして画像を提供する場合は、基本的に、実際のショット時のセンシングデータとは別にアイコンなどの画像が生成されうる。
【００６６】
（フィードバックコマンド生成部）
フィードバックコマンド生成部５３５は、第１の実施形態と同様に、フィードバック決定部５３３によって決定されたフィードバックを、センシングデータ解析部５３１によって特定されたアクションの発生時刻に提供するためのコマンドを生成する。つまり、フィードバックコマンド生成部５３５は、センシングデータとともに取得されたプレー映像が再生されるときに、映像においてアクション（ショット）が発生した時刻にフィードバックが提供されるようにコマンドを生成する。例えば、フィードバックが振動によって提供される場合、コマンドは、スマートフォン７００のバイブレータ７５３の制御信号を含みうる。また、フィードバックが音声によって提供される場合、コマンドは、スピーカ７５２に入力される音声信号を含みうる。フィードバックが画像によって提供される場合、コマンドは、ディスプレイ７５１でプレー映像とともに表示されるアイコンなどの画像データを含みうる。フィードバックコマンド生成部５３５は、生成したコマンドを、例えばプレー画像のタイムスタンプに関連付けて、フィードバックコマンドＤＢ５４３に格納してもよい。
【００６７】
上記の通り、本実施形態では、プレー映像の再生時にフィードバックが提供される。従って、フィードバックコマンド生成部５３５がコマンドを生成する時点で、プレーの時系列は確定している。それゆえ、本実施形態では、例えば上記の第１の実施形態で説明したようなコマンドの出力タイミングの制御やリアルタイムでの継続的なパターンマッチングは必ずしも必要ではなく、例えばプレー映像のタイムスタンプによってアクション（ショット）の発生時刻を特定し、当該発生時刻に対応するタイムスタンプで実行されるようにフィードバックのためのコマンドを生成することが可能である。従って、フィードバックコマンド生成部５３５による処理も、フィードバックの提供時にリアルタイムで実行されなくてもよく、例えば予めコマンドを生成してフィードバックコマンドＤＢ５４３に格納しておくことが可能である。
【００６８】
以上で説明した本開示の第２の実施形態では、プレー映像を事後的に参照するときに、プレー時のセンシングデータに基づいて生成されたフィードバックが提供される。これによって、過去のプレーを、より臨場感をもって追体験することが可能になる。なお、本実施形態でも、第１の実施形態と同様に、フィードバックが複数の装置から出力されてもよい。また、対象のアクションはテニスのショットには限られず、テニス以外のスポーツや、スポーツ以外のアクションが対象になってもよい。
【００６９】
（３．フィードバックの例）
次に、上記の２つの実施形態を含む本開示の実施形態において提供されるフィードバックの例について説明する。上述の通り、フィードバックとして提供される振動、音声、または画像は、例えば、過去にラケットＲのユーザ、または他のユーザが実際にショットしたときに取得されたセンシングデータに基づいて生成される。以下では、まず、そのようなフィードバックの生成の例について説明する。
【００７０】
（フィードバックの生成）
図９は、センシングデータの解析処理の例について説明するための図である。図９を参照すると、センシングによって１次データ（センシングデータ）が得られ、１次データを所定のアルゴリズムで解析することによって２次データが得られる。２次データは、１次データから抽出される抽象的な情報ともいえる。
【００７１】
１次データは、例えば、センサの生データ、または生データを前処理（サンプリングやノイズ除去など）したものである。より具体的には、１次データは、時刻、加速度や角速度などの検出値、および振動の検出値などを含みうる。このような生データに対して、例えばパターン認識や、ラケットＲの周波数応答関数（ＦＲＦ：Frequency  Response  Function）などの振動特性を利用した解析が実行される。この解析処理は、上記の実施形態においてセンサデータ解析部５０１，５３１によって実行された解析処理とは異なり、フィードバックを生成するためのセンシングデータの特徴を抽出する処理でありうる。解析によって得られる２次データは、例えば、ボールのインパクトが発生したラケットＲ上の位置や、インパクトの強さ、ショット（またはスイング）の種類、およびスイング速度などなどを含みうる。
【００７２】
なお、ショット時のセンサデータのパターン認識を利用した技術については、例えば国際公開第２０１３／１３６７１２号などに記載されている。また、ＦＲＦを用いてインパクトの位置を特定する技術については、例えば国際公開第２０１３／０６９４４７号などに記載されている。
【００７３】
図１０は、センシングデータの解析結果を利用したフィードバック生成処理の例について説明するための図である。図１０を参照すると、上記の１次データおよび２次データを含むプレーデータ（ユーザがラケットＲを用いてテニスをプレーしたときに生成されるデータ）と、設定値とに基づいて、フィードバックの生成処理が実行される。設定値は、例えば、フィードバックの強さ、継続時間、および拡張レベルなどを含む。
【００７４】
上記の例において、フィードバックは、例えば１次データを拡張することによって生成されてもよい。例えば、１次データに、振動センサによって提供される振動波形が含まれる場合、この振動波形をイコライジングすることによって振動のフィードバックを生成することができる。イコライジングでは、例えば、出力装置であるバイブレータからラケットＲに伝達された振動をユーザが感知しやすいように、振動波形の振幅が周波数帯域ごとに調整される。場合によっては、イコライジングを経ずに、振動波形の単純な増幅によって振動のフィードバックが生成されてもよい。
【００７５】
また、上記の例において、フィードバックは、２次データに基づいて生成されてもよい。例えば、２次データは、ボールのインパクトが発生したラケットＲ上の位置を示すデータを含みうる。この場合、アクション（打具（ラケットＲ）にインパクトを発生させる）のクラスをインパクトの位置に対応させて定義し、位置ごとに異なる音声または振動のフィードバックを用意することができる。ガットの中央部付近でインパクトが発生した場合と、ガットの端、またはフレーム付近でインパクトが発生した場合とでは、実際のショット時に発生する音やユーザの感じる振動が異なる。従って、それぞれの音または振動に対応したフィードバックを生成することによって、ユーザにスイングの状態を認識させることができる。
【００７６】
ここで生成される音声または振動のフィードバックは、例えば、実際のショット時の音または振動を模式的に再現したものであってもよい。あるいは、生成されるフィードバックは、２次データとして抽出された抽象的な情報を表現する記号的な音声または振動であってもよい。例えば、ガットの中央部付近でインパクトが発生した場合には「PERFECT！」、ガットの端、またはフレーム付近でインパクトが発生した場合には「NOT  GOOD！」などというような音声メッセージがフィードバックとして出力されてもよい。同様にして、２次データによって示される、スイング（ショット）の種類やスイング（ショット）の巧拙、スイング速度などに対応させてアクションのクラスを定義し、これらのクラスごとに異なるフィードバックを用意することも可能である。
【００７７】
上記の例において、フィードバックが１次データに基づいて生成される場合も、２次データに基づいて生成される場合も、提供されるフィードバックがセンシングデータに基づいて決定されていることは同じである。ここで、上記の通り、フィードバックは、フィードバックを提供されるユーザ自身のセンシングデータ、例えば以前のプレー時に取得されたセンシングデータに基づいて生成されてもよいし、別のユーザのセンシングデータに基づいて生成されてもよい。
【００７８】
（フィードバックの出力）
本開示の実施形態において、音声のフィードバックは、例えばスピーカによって出力される。また、振動のフィードバックは、バイブレータによって出力される。バイブレータは、例えば、偏心モータ、リニアモータ、および／またはピエゾ素子を利用したものでありうる。バイブレータの種類は、例えばラケットＲの振動特性を考慮して、ユーザがよりリアルな振動を感じられるように選択されうる。あるいは、効果的な振動のフィードバックを実現するために、ラケットＲ上の複数の位置に取り付けられたバイブレータが連動してもよい。
【００７９】
また、第１の実施形態においてウェアラブル装置を利用する場合や、第２の実施形態では、画像のフィードバックを提供することも可能である。画像のフィードバックについては、例えば図１１に示すようなアイコンとして表示することができる。図１１に示された例では、第２の実施形態において、プレー映像を再生する画面１０００に、ガットの中央部付近でインパクトが発生した場合には「PERFECT！」、ガットの端、またはフレーム付近でインパクトが発生した場合には「NOT  GOOD！」などというようなテキストを含むアイコン１００１がフィードバックとして表示されている。また、画像のフィードバックは、インパクトの位置やスイング種類を示すアイコンや、スイング速度などを示す数値を含んでもよい。このように、上記の実施形態において生成される画像のフィードバックは、２次データとして抽出された抽象的な情報を表現する記号的なテキストまたはアイコンを含んでもよい。
【００８０】
（４．ハードウェア構成）
次に、図１２を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１２は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるセンサ装置、スマートフォン、およびサーバを実現しうる。
【００８１】
情報処理装置９００は、ＣＰＵ（Central  Processing  unit）９０１、ＲＯＭ（Read  Only  Memory）９０３、およびＲＡＭ（Random  Access  Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、またはＦＰＧＡ（Field-Programmable  Gate  Array）などの処理回路を有してもよい。
【００８２】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral  Component  Interconnect/Interface）バスなどの外部バス９１１に接続されている。
【００８３】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
【００８４】
出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid  Crystal  Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、または振動などとして出力する。
【００８５】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard  Disk  Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【００８６】
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
【００８７】
接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
【００８８】
通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、またはＷＵＳＢ（Wireless  USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric  Digital  Subscriber  Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
【００８９】
撮像装置９３３は、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）またはＣＣＤ（Charge  Coupled  Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【００９０】
センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global  Positioning  System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳ受信機を含んでもよい。
【００９１】
以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
【００９２】
（５．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置（センサ装置、スマートフォン、またはサーバ）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
【００９３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００９５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）プロセッサが、対象のセンシングデータに基づいて、前記対象に発生するアクションおよび前記アクションの発生時刻を特定することと、
前記特定されたアクションに応じて、提供されるフィードバックを決定することと、
前記発生時刻に対応する時刻に前記フィードバックを提供することと
を含むフィードバック提供方法。
（２）前記アクションを特定することは、前記アクションに対応するセンシングデータのパターンを認識することを含む、前記（１）に記載のフィードバック提供方法。
（３）前記アクションおよび前記発生時刻を特定することは、
前記センシングデータと前記パターンとの部分的なマッチングによって、前記発生時刻よりも前の第１の時刻に前記アクションを特定することと、
前記第１の時刻以降の前記センシングデータが前記パターンに従うと仮定することによって前記発生時刻を特定することと
を含む、前記（２）に記載のフィードバック提供方法。
（４）前記アクションを特定することは、前記アクションのクラスを特定することを含み、
前記フィードバックを決定することは、前記アクションのクラスごとに用意されたフィードバックの中から前記提供されるフィードバックを選択することを含む、前記（１）〜（３）のいずれか１項に記載のフィードバック提供方法。
（５）前記アクションのクラスは、前記アクションの種類、または前記アクションの巧拙に対応して定義される、前記（４）に記載のフィードバック提供方法。
（６）前記アクションは、打具にインパクトを発生させるアクションを含み、
前記アクションのクラスは、前記インパクトが発生した前記打具上の位置に対応して定義される、前記（４）または（５）に記載のフィードバック提供方法。
（７）前記センシングデータは、第１の装置に含まれるセンサによって提供され、
前記フィードバックを提供することは、前記第１の装置に含まれる出力装置を用いてフィードバックを提供することを含む、前記（１）〜（６）のいずれか１項に記載のフィードバック提供方法。
（８）前記センシングデータは、第１の装置に含まれるセンサによって提供され、
前記フィードバックを提供することは、前記第１の装置とは異なる第２の装置に含まれる出力装置を用いてフィードバックを提供することを含む、前記（１）〜（６）のいずれか１項に記載のフィードバック提供方法。
（９）前記フィードバックを提供することは、前記センシングデータとともに取得された映像が再生されるときに、前記映像において前記アクションが発生した時刻にフィードバックを提供することを含む、前記（１）〜（８）のいずれか１項に記載のフィードバック提供方法。
（１０）前記フィードバックは、過去に取得されたセンシングデータに基づいて生成される、前記（１）〜（９）のいずれか１項に記載のフィードバック提供方法。
（１１）前記フィードバックは、過去に取得された第１のユーザのセンシングデータに基づいて生成され、前記第１のユーザ自身に提供される、前記（１０）に記載のフィードバック提供方法。
（１２）前記フィードバックは、過去に取得された第１のユーザのセンシングデータに基づいて生成され、前記第１のユーザとは異なる第２のユーザに提供される、前記（１０）に記載のフィードバック提供方法。
（１３）前記フィードバックは、前記過去に取得されたセンシングデータを拡張することによって生成される、前記（１０）〜（１２）のいずれか１項に記載のフィードバック提供方法。
（１４）前記フィードバックは、前記過去に取得されたセンシングデータに含まれる振動波形をイコライジングまたは増幅することによって生成される、前記（１３）に記載のフィードバック提供方法。
（１５）前記フィードバックは、前記過去に取得されたセンシングデータから抽出される抽象的な情報に基づいて生成される、前記（１０）〜（１２）のいずれか１項に記載のフィードバック提供方法。
（１６）前記フィードバックは、前記抽象的な情報を表現する記号的な情報を含む、前記（１５）に記載のフィードバック提供方法。
（１７）対象のセンシングデータを取得するセンサ装置と、
前記センシングデータに基づいて、前記対象に発生するアクションおよび前記アクションの発生時刻を特定するセンシングデータ解析部と、前記特定されたアクションに応じて、提供されるフィードバックを決定するフィードバック決定部と、前記発生時刻に対応する時刻に前記フィードバックを提供するためのコマンドを生成するフィードバックコマンド生成部とを備える解析装置と、
前記コマンドに従って前記フィードバックを出力する出力装置と
を含むシステム。
（１８）対象のセンシングデータに基づいて、前記対象に発生するアクションおよび前記アクションの発生時刻を特定するセンシングデータ解析部と、
前記特定されたアクションに応じて、提供されるフィードバックを決定するフィードバック決定部と、
前記発生時刻に対応する時刻に前記フィードバックを提供するためのコマンドを生成するフィードバックコマンド生成部と
を備える解析装置。
【符号の説明】
【００９６】
１０    システム
１００，６００    センサ装置
１１０    センサ
１２０    処理部
１３０    記憶部
１４０    送信部
１５０    出力部
１６０    受信部
２００，７００    スマートフォン
７１０    受信部
７２０    処理部
７３０    記憶部
７４０    送信部
７５０    出力部
７６０    受信部
７７０    撮像部
３００，８００    サーバ
５０１，５３１    センサデータ解析部
５０３，５３３    フィードバック決定部
５０５，５３５    フィードバックコマンド生成部
【図１】
0006354461.tif 000002
【図２】
0006354461.tif 000003
【図３】
0006354461.tif 000004
【図４】
0006354461.tif 000005
【図５】
0006354461.tif 000006
【図６】
0006354461.tif 000007
【図７】
0006354461.tif 000008
【図８】
0006354461.tif 000009
【図９】
0006354461.tif 000010
【図１０】
0006354461.tif 000011
【図１１】
0006354461.tif 000012
【図１２】
0006354461.tif 000013