(57)【要約】【課題】キャリブレーション時の影響を抑制して、運動対象の動作の類似度を求める方法を提供する。【解決手段】動作の類似度を求める方法は、第１運動対象及び第２運動対象が有する複数の部位の位置情報及び回転情報を有する時系列データに基づいて、第１時間間隔毎に２つの運動対象の複数の部位の回転情報同士を比較して第１類似度を求めことと、第２時間間隔における２つの運動対象の部位の回転情報の変化量同士を比較して第２類似度を求めるか、又は、第３時間間隔における２つの運動対象の一の部位の位置情報の変化量同士を比較して第３類似度を求めることと、第１類似度と、第２の類似度又は第３類似度との組み合わせに基づいて、動作の類似度を求めることと、を含む。【選択図】図７
2019088469.tif 000002
【特許請求の範囲】
【請求項１】
第１の運動対象と第２の運動対象の動作の類似度を求める方法であって、
前記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成することと、
前記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データを作成することと、
前記第２の時系列データ及び前記第４の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求めることと、
前記第２の時系列データ及び前記第４の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、
前記第２の時系列データ及び前記第４の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めることと、
前記第１の類似度と、前記第２の類似度及び前記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、前記動作の類似度を求めることと、
を含むことを特徴とする方法。
【請求項２】
更に、前記第２の時系列データ及び前記第４の時系列データに基づいて、初期時点と当該初期時点から第４の時間経過後の時点との間における前記第１の運動対象の第２の部位の位置情報の変化量と前記第２の運動対象の第２の部位の位置情報の変化量とを比較する事によって第４の類似度を求めことを含み、
前記第１の類似度を求めることは、前記第２の時系列データ及び前記第４の時系列データに基づいて、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって前記第１の類似度を求め、
前記動作の類似度を求めることは、前記第１の類似度と、前記第２の類似度及び前記第３の類似度の内の少なくとも１つと、前記第４の類似度との組み合わせに基づいて、前記動作の類似度を求める請求項１に記載の方法。
【請求項３】
前記第２の類似度を求めることは、
前記第２の時系列データ及び前記第４の時系列データに基づいて、前記第２の時間間隔における前記第１の運動対象が有する複数の部位のそれぞれの回転情報の変化量と前記第２の運動対象が有する複数の部位のそれぞれの回転情報の変化量とを比較する事によって、複数の部位のそれぞれについての部位類似度を求め、複数の部位のそれぞれの当該部位類似度と当該部位類似度に対する重みとの積の和を、前記第２の類似度として求めることを含む、請求項１又は２に記載の方法。
【請求項４】
前記第２の時系列データでは、前記第１の運動対象が有する複数の部位の角度を示す回転情報が、クォータニオンを用いて表されており、
前記第４の時系列データでは、前記第２の運動対象が有する複数の部位の角度を示す回転情報が、クォータニオンを用いて表されており、
前記第２の類似度を求めることは、前記第２の時間間隔における前記第１の運動対象が有する複数の部位のそれぞれのクォータニオンの変化量と前記第２の運動対象が有する複数の部位のそれぞれのクォータニオンの変化量とのコサイン類似度を、複数の部位のそれぞれについての前記部位類似度として求めることを含む、請求項３に記載の類似度を求める方法。
【請求項５】
前記第３の類似度を求めることは、
前記第２の時系列データ及び前記第４の時系列データに基づいて、前記第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量を示す距離Ｄ１と前記第２の運動対象の第１の部位の位置情報の変化量を示す距離Ｄ２とを用いて、前記第３の類似度として１／（１＋ｆ×｜Ｄ１―Ｄ２｜）を求めることを含み、ここでｆはゼロよりも大きく且つ１未満の数である、請求項１〜３の何れか一項に記載の方法。
【請求項６】
前記動作の類似度を求めることは、
前記第１の類似度と第１の重みとの積と、前記第２の類似度と第２の重みとの積との和を、前記動作の類似度として求めるか、又は、
前記第１の類似度と第１の重みとの積と、前記第３の類似度と第３の重みとの積との和を、前記動作の類似度として求めるか、又は、
前記第１の類似度と第１の重みとの積と、前記第２の類似度と第２の重みとの積と、前記第３の類似度と第３の重みとの積との和を、前記動作の類似度として求めるか、又は、
前記第１の類似度と第１の重みとの積と、前記第２の類似度と第２の重みとの積と、前記第３の類似度と第３の重みとの積と、前記第４の類似度と第４の重みとの積との和を、前記動作の類似度として求めることを含む、請求項１〜５の何れか一項に記載の方法。
【請求項７】
第１の運動対象と第２の運動対象の動作の類似度を求めるシステムであって、
前記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する端末と、
前記端末と通信可能に接続された通信部と、
前記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データを記憶する記憶部と、
前記通信部を用いて前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、
前記通信部を用いて前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、
前記通信部を用いて前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めて、前記第１の類似度と、前記第２の類似度及び前記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、前記動作の類似度を求め、前記通信部を用いて前記動作の類似度を前記端末へ送信する、処理部と、
を有するサーバと、
を備えることを特徴とするシステム。
【請求項８】
第１の運動対象と第２の運動対象の動作の類似度を求めるシステムであって、
前記第１の運動対象に配置された複数のセンサから、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第１の時系列データを受信する端末と、
前記端末と通信可能に接続された通信部と、
前記第２の運動対象に配置された複数のセンサにより作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを記憶する記憶部と、
前記通信部を用いて前記端末から受信した前記第１の時系列データ及び前記第２の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、
前記通信部を用いて前記端末から受信した前記第１の時系列データ及び前記第２の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、
前記通信部を用いて前記端末から受信した前記第１の時系列データ及び前記第２の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めて、前記第１の類似度と、前記第２の類似度及び前記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、前記動作の類似度を求め、前記通信部を用いて前記動作の類似度を前記端末へ送信する、処理部と、
を有するサーバと、
を備えることを特徴とするシステム。
【請求項９】
第１の運動対象と第２の運動対象の動作の類似度を表示する端末であって、
前記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する処理部と、
前記第２の時系列データを外部へ送信し、
前記第２の時系列データ、及び、前記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する前記第４の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって求められた第１の類似度と、前記第２の時系列データ及び前記第４の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって求められた第２の類似度か、又は、前記第２の時系列データ及び前記第４の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって求められた第３の類似度の内の少なくとも１つとの組み合わせに基づいて求められた前記動作の類似度を、外部から受信する通信部と、
前記動作の類似度を表示する表示部と、
を備えることを特徴とする端末。
【請求項１０】
第１の運動対象と第２の運動対象の動作の類似度を表示する端末であって、
前記第１の運動対象に配置された複数のセンサから、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第１の時系列データを受信して、当該第１の時系列データを外部へ送信し、
前記第１の時系列データ、及び、前記第２の運動対象に配置された複数のセンサにより作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって求められた第１の類似度と、前記第１の時系列データ及び前記第２の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって求められた第２の類似度か、又は、前記第１の時系列データ及び前記第２の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって求められた第３の類似度の内の少なくとも１つとの組み合わせに基づいて求められた前記動作の類似度を、外部から受信する、通信部と、
前記動作の類似度を表示する表示部と、
を備えることを特徴とする端末。
【請求項１１】
第１の運動対象と第２の運動対象の動作の類似度を求めることを、前記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、前記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する端末から、前記第２の時系列データを受信するサーバに実行させるプログラムであって、
前記端末から受信した前記第２の時系列データ、及び前記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、前記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データに基づいて、第１の時間間隔毎に前記第１の運動対象が有する複数の部位の位置情報と前記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、前記第１の時間間隔毎に前記第１の運動対象が有する複数の部位の回転情報と前記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、
前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第２の時間間隔における前記第１の運動対象が有する複数の部位の回転情報の変化量と前記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、
前記端末から受信した前記第２の時系列データ及び前記第４の時系列データに基づいて、第３の時間間隔における前記第１の運動対象の第１の部位の位置情報の変化量と前記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求め、前記第１の類似度と、前記第２の類似度及び前記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、前記動作の類似度を求め、前記動作の類似度を前記端末へ送信することを、前記サーバに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作の類似度を求める方法、システム、端末及びプログラムに関する。
【背景技術】
【０００２】
従来、運動対象の動作を記録するモーションキャプチャ技術が用いられている。
【０００３】
モーションキャプチャ技術では、人物等の運動対象の複数の部位にセンサを装着して、運動対象の時系列の位置情報又は回転情報を記録することが行われている。例えば、記録された運動対象の位置情報又は回転情報の時系列データに基づいて、運動対象をモデル化した３次元画像を生成して表示することが行われている。
【０００４】
また、モーションキャプチャ技術を用いて、ダンス、舞踊、スポーツ等の動作を習得することが提案されている。
【０００５】
例えば、特許文献１は、舞踏を習得する学習者の動作を記録した動作データと、舞踏の模範者の動作を記録した動作データとを用いて、時間軸上で分割されたパートごとに運動対象の各部位の軌跡の長さ同士を比較して、学習者の動作データを評価することを提案している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−１３３０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した学習者等の動作データ及び模範者の動作データを記録する時には、運動対象の複数の部位に装着されたセンサのキャリブレーションが行われる。
【０００８】
通常、学習者等は、複数のセンサが配置されたスーツを装着する。そして、スーツを装着した学習者等に配置された各センサの位置は、スーツの装着の仕方によって、本来各センサが配置されるべき所定の位置とは異なる場合がある。
【０００９】
キャリブレーションは、学習者等がＴポーズ等の所定の姿勢をした状態で、各センサが出力する回転情報を測定して、各センサの配置されている位置と、本来各センサが配置されるべき所定の位置とのずれを検出する処理である。例えば、各センサが同じ方向を向くように配置されるべきところが、そのように配置されていないことが検出される。
【００１０】
ここで、キャリブレーション時にとる学習者の姿勢と模範者の姿勢とは、同じとは限らない。例えば、両足の開く角度が異なっていたり、上体が前傾したりすることがある。
【００１１】
キャリブレーション処理によって、各センサの配置されている位置と、本来各センサが配置されるべき所定の位置とのずれは補正されるが、キャリブレーション時にとる学習者等の姿勢と所定の姿勢とが異なっている影響は、キャリブレーション処理によっては補正されないので、学習者等の動作データの全体に及ぶ。
【００１２】
そのため、学習者の舞踏動作と、模範者の舞踏動作とが仮に一致していても、キャリブレーション時にとる学習者等の姿勢と所定の姿勢と異なっていると、学習者の動作データは、模範者の動作データとは異なったデータであると評価されるおそれがある。
【００１３】
本明細書では、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を求めることができる方法、システム及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１４】
本明細書が開示する動作の類似度を求める方法によれば、第１の運動対象と第２の運動対象の動作の類似度を求める方法であって、上記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成することと、上記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データを作成することと、上記第２の時系列データ及び上記第４の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求めることと、上記第２の時系列データ及び上記第４の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、上記第２の時系列データ及び上記第４の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めることと、上記第１の類似度と、上記第２の類似度及び上記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、上記動作の類似度を求めることと、を含むことを特徴とする。
【００１５】
また、本明細書が開示する動作の類似度を求めるシステムによれば、第１の運動対象と第２の運動対象の動作の類似度を求めるシステムであって、上記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する端末と、上記端末と通信可能に接続された通信部と、上記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データを記憶する記憶部と、上記通信部を用いて上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、上記通信部を用いて上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、上記通信部を用いて上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めて、上記第１の類似度と、上記第２の類似度及び上記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、上記動作の類似度を求め、上記通信部を用いて上記動作の類似度を上記端末へ送信する、処理部と、を有するサーバと、を備えることを特徴とする。
【００１６】
また、本明細書が開示する動作の類似度を求める他のシステムによれば、第１の運動対象と第２の運動対象の動作の類似度を求めるシステムであって、上記第１の運動対象に配置された複数のセンサから、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第１の時系列データを受信する端末と、上記端末と通信可能に接続された通信部と、上記第２の運動対象に配置された複数のセンサにより作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを記憶する記憶部と、上記通信部を用いて上記端末から受信した上記第１の時系列データ及び上記第２の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、上記通信部を用いて上記端末から受信した上記第１の時系列データ及び上記第２の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、上記通信部を用いて上記端末から受信した上記第１の時系列データ及び上記第２の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求めて、上記第１の類似度と、上記第２の類似度及び上記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、上記動作の類似度を求め、上記通信部を用いて上記動作の類似度を上記端末へ送信する、処理部と、を有するサーバと、を備えることを特徴とする。
【００１７】
また、本明細書が開示する動作の類似度を求める端末によれば、第１の運動対象と第２の運動対象の動作の類似度を表示する端末であって、上記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する処理部と、上記第２の時系列データを外部へ送信し、上記第２の時系列データ、及び、上記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する上記第４の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって求められた第１の類似度と、上記第２の時系列データ及び上記第４の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって求められた第２の類似度か、又は、上記第２の時系列データ及び上記第４の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって求められた第３の類似度の内の少なくとも１つとの組み合わせに基づいて求められた上記動作の類似度を、外部から受信する通信部と、上記動作の類似度を表示する表示部と、を備えることを特徴とする。
【００１８】
また、本明細書が開示する動作の類似度を求める他の端末によれば、第１の運動対象と第２の運動対象の動作の類似度を表示する端末であって、上記第１の運動対象に配置された複数のセンサから、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第１の時系列データを受信して、当該第１の時系列データを外部へ送信し、上記第１の時系列データ、及び、上記第２の運動対象に配置された複数のセンサにより作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって求められた第１の類似度と、上記第１の時系列データ及び上記第２の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって求められた第２の類似度か、又は、上記第１の時系列データ及び上記第２の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって求められた第３の類似度の内の少なくとも１つとの組み合わせに基づいて求められた上記動作の類似度を、外部から受信する、通信部と、上記動作の類似度を表示する表示部と、を備えることを特徴とする。
【００１９】
更に、本明細書が開示する動作の類似度を求めるプログラムによれば、第１の運動対象と第２の運動対象の動作の類似度を求めることを、上記第１の運動対象に配置された複数のセンサから受信した第１の時系列データに基づいて、上記第１の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第２の時系列データを作成する端末から、上記第２の時系列データを受信するサーバに実行させるプログラムであって、上記端末から受信した上記第２の時系列データ、及び上記第２の運動対象に配置された複数のセンサから受信した第３の時系列データに基づいて作成された、上記第２の運動対象が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する第４の時系列データに基づいて、第１の時間間隔毎に上記第１の運動対象が有する複数の部位の位置情報と上記第２の運動対象が有する複数の部位の位置情報とを比較するか、又は、上記第１の時間間隔毎に上記第１の運動対象が有する複数の部位の回転情報と上記第２の運動対象が有する複数の部位の回転情報とを比較する事によって第１の類似度を求め、上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第２の時間間隔における上記第１の運動対象が有する複数の部位の回転情報の変化量と上記第２の運動対象が有する複数の部位の回転情報の変化量とを比較する事によって第２の類似度を求めるか、又は、上記端末から受信した上記第２の時系列データ及び上記第４の時系列データに基づいて、第３の時間間隔における上記第１の運動対象の第１の部位の位置情報の変化量と上記第２の運動対象の第１の部位の位置情報の変化量とを比較する事によって第３の類似度を求め、上記第１の類似度と、上記第２の類似度及び上記第３の類似度の内の少なくとも１つとの組み合わせに基づいて、上記動作の類似度を求め、上記動作の類似度を上記端末へ送信することを、上記サーバに実行させることを特徴とする。
【発明の効果】
【００２０】
上述した本明細書が開示する動作の類似度を求める方法によれば、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を求めることができる。
【００２１】
また、上述した本明細書が開示する動作の類似度を求めるシステムによれば、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を求めることができる。
【００２２】
また、上述した本明細書が開示する動作の類似度を表示する端末によれば、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を表示することができる。
【００２３】
更に、上述した本明細書が開示する動作の類似度を求めるプログラムによれば、キャリブレーション時の影響を抑制して、運動対象の動作の類似度を求めることができる。
【図面の簡単な説明】
【００２４】
【図１】本明細書に開示するシステムの一実施形態を示す図である。
【図２】サーバを説明する図である。
【図３】（Ａ）は、サーバの処理部を説明する図であり、（Ｂ）は、サーバのメモリを説明する図である。
【図４】端末を説明する図である。
【図５】運動対象に装着されるセンサの配置を説明する図である。
【図６】各部位の回転情報の階層構造を説明する図である。
【図７】本明細書に開示するシステムの動作を説明するフローチャートである。
【図８】運動対象のキャリブレーション時の姿勢を説明する図である。
【図９】第１類似度を求める処理を説明するフローチャートである。
【図１０】第２類似度を求める処理を説明するフローチャートである。
【図１１】第３類似度を求める処理を説明するフローチャートである。
【図１２】第４類似度を求める処理を説明するフローチャートである。
【図１３】動作の類似度の経時変化を示す図である。
【図１４】実施例１の動作の類似度を求めるのに使用された重みを説明する図である。
【図１５】実施例及び比較例により求められた動作の類似度を説明する図である。
【図１６】実施例２の動作の類似度を求めるのに使用された重みを説明する図である。
【図１７】実施例３の動作の類似度を求めるのに使用された重みを説明する図である。
【図１８】実施例４の動作の類似度を求めるのに使用された重みを説明する図である。
【図１９】比較例の動作の類似度を求めるのに使用された重みを説明する図である。
【発明を実施するための形態】
【００２５】
以下、本明細書で開示するシステムの好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。
【００２６】
図１は、本明細書に開示するシステムの一実施形態を示す図である。
【００２７】
本実施形態のシステム１は、端末２０と、ネットワークＮを介して端末２０と通信可能に接続されるサーバ１０を備える。
【００２８】
端末２０は、運動対象３０の動作のモーションデータを記録し、ネットワークＮを介して、モーションデータをサーバ１０へ送信する。サーバ１０は、端末２０から受信したモーションデータと、記憶している他のモーションデータとを比較して、両者の動作の類似度を求める。そして、サーバ１０は、ネットワークＮを介して、動作の類似度を端末２０へ送信する。
【００２９】
図２は、サーバを説明する図である。
【００３０】
サーバ１０は、処理部１１と、メモリ１２と、表示部１３と、入力インターフェース１４と、通信部１５を有する。
【００３１】
処理部１１は、一つまたは複数の中央演算回路と、レジスタと、キャッシュメモリと、インターフェース等の周辺回路とを有する。処理部１１は、メモリ１２に予め記憶されている所定のコンピュータプログラム１２ａに従い、サーバ１０の各ハードウェア構成要素の制御及び各種処理を行い、処理中に生じるデータを一時的に保存するためにメモリ１２を利用する。
【００３２】
図３（Ａ）に示すように、上述した処理部１１は、類似度算出部１１ａ及び３次元画像生成部１１ｂを有する。
【００３３】
処理部１１が有する各部は、例えば、処理部１１上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、処理部１１が有するこれらの各部は、それぞれ、別個の回路として、サーバ１０に実装されてもよい。各部の動作については、後述する。
【００３４】
メモリ１２は、ランダムアクセスメモリ（ＲＡＭ）若しくはリードオンリーメモリ（ＲＯＭ）等の半導体メモリ、又は磁気ディスク若しくはフラッシュメモリ等の不揮発性メモリを有していてもよい。また、メモリ１２は、非一時的な記憶媒体１２ｃに記憶されたコンピュータプログラムを、読み出し可能なドライブ（図示せず）を有していてもよい。
【００３５】
図３（Ｂ）は、情報処理装置のメモリを説明する図である。
【００３６】
図３（Ｂ）に示すように、メモリ１２は、所定のコンピュータプログラム１２ａと、第１モーションデータ１２ｂを記憶する。
【００３７】
第１モーションデータ１２ｂは、端末２０から送信されたモーションデータと比較するために参照される運動対象の複数の部位の位置情報及び回転情報の時系列データである。
【００３８】
表示部１３は、処理部１１に制御されて、サーバ１０の動作に伴う各種の情報を画面上に表示可能である。表示部１３として、例えば、液晶ディスプレイを用いることができる。
【００３９】
入力インターフェース１４は、サーバ１０のユーザにより操作されて、操作を入力可能である。入力インターフェース１４として、例えばキーボード又はマウスを用いることができる。
【００４０】
通信部１５は、ネットワークＮを介して、端末２０との間で情報の送受信を行う。通信部１５は、信号の送受信を行う通信回路及び通信線を有する。なお、サーバ１０は、表示部及び入力インターフェースを有していなくてもよい。
【００４１】
図４は、端末を説明する図である。
【００４２】
端末２０は、処理部２１と、メモリ２２と、表示部２３と、入力インターフェース２４と、通信部２５を有する。
【００４３】
処理部２１は、一つまたは複数の中央演算回路と、レジスタと、キャッシュメモリと、インターフェース等の周辺回路とを有する。処理部２１は、メモリ２２に予め記憶されている所定のコンピュータプログラムに従い、端末２０の各ハードウェア構成要素の制御及び各種処理を行い、処理中に生じるデータを一時的に保存するためにメモリ２２を利用する。
【００４４】
メモリ２２は、ランダムアクセスメモリ（ＲＡＭ）若しくはリードオンリーメモリ（ＲＯＭ）等の半導体メモリ、又は磁気ディスク若しくはフラッシュメモリ等の不揮発性メモリを有していてもよい。また、メモリ２２は、非一時的な記憶媒体２２ａに記憶されたコンピュータプログラムを、読み出し可能なドライブ（図示せず）を有していてもよい。
【００４５】
表示部２３は、処理部２１に制御されて、端末２０の動作に伴う各種の情報を画面上に表示可能である。表示部２３として、例えば、液晶ディスプレイを用いることができる。
【００４６】
入力インターフェース２４は、端末２０のユーザにより操作されて、操作を入力可能である。入力インターフェース２４として、例えばキーボード又はマウスを用いることができる。
【００４７】
通信部２５は、ネットワークＮを介して、サーバ１０との間で情報の送受信を行う。また、通信部２５は、運動対象３０に装着された複数のセンサとの間で情報の送受信を行う。通信部２５は、信号の送受信を行うアンテナ、通信回路及び通信線を有する。
【００４８】
端末２０は、人物等の運動対象３０に配置された複数のセンサから受信した時系列データに基づいて、運動対象３０が有する複数の部位の位置情報及び当該複数の部位の角度を示す回転情報を有するモーションデータを作成する。このモーションデータは、運動対象３０の複数の部位の位置情報及び回転情報を有する時系列データである。
【００４９】
図５は、運動対象に装着されるセンサの配置を説明する図である。
【００５０】
本実施形態のシステム１では、運動対象３０の人物に対して１５個のセンサＳ１〜Ｓ１５が配置される。通常、運動対象３０は、センサＳ１〜Ｓ１５が装着されたスーツ（図示せず）を着用する。
【００５１】
センサＳ１は仙骨に配置され、センサＳ２は右上腿に配置され、センサＳ３は右下腿に配置され、センサＳ４は右足の甲に配置され、センサＳ５は左上腿に配置され、センサＳ６は左下腿に配置され、センサＳ７は左足の甲に配置される。また、センサＳ８は胸部に配置され、センサＳ９は左上腕に配置され、センサＳ１０は左前腕に配置され、センサＳ１１は左手の甲に配置され、センサＳ１２は右上腕に配置され、センサＳ１３は右前腕に配置され、センサＳ１４は右手の甲に配置され、センサＳ１５は、頭部に配置される。なお、図５に示す例は一例であり、運動対象に装着されるセンサの数及び配置はこれに限定されるものではない。
【００５２】
センサＳ１〜Ｓ１５のそれぞれは、３軸方向の加速度と、３軸回りの角速度と、３軸方向の向きを検知する。センサＳ１〜Ｓ１５のそれぞれは、所定の時間間隔で、加速度、角速度及び向きを端末２０へ送信する。所定の時間間隔として、例えば３３ミリ秒（３０Ｈｚ）とすることができる。
【００５３】
センサＳ１〜Ｓ１５は、加速度、角速度及び向きを検知できるものであれば、特に制限されない。例えば、センサＳ１〜Ｓ１５として、慣性式、磁気式又は機械式のものを用いることができる。なお、加速度、角速度及び向きのそれぞれを検知する検知要素は、一体であってもよいし、別体であってもよい。
【００５４】
まず、端末２０は、センサＳ１〜Ｓ１５のそれぞれから受信した加速度、角速度及び向きを、時系列データとして記憶する。
【００５５】
端末２０は、センサＳ１〜Ｓ１５から受信した時系列データに基づいて、位置情報及び部位の角度を示す回転情報を有する時系列データＡを生成する。端末２０は、センサＳ１〜Ｓ１５から受信した時系列データに基づいて、部位の角度を示す回転情報を生成する所定のアルゴリズムとして、例えば、Ｍａｄｇｗｉｃｋアルゴリズム又はＭａｈｏｎｙアルゴリズムを用いることができる。なお、運動対象３０に配置された１５個のセンサのそれぞれが、各部位の位置情報及び回転情報を作成し、時系列データＡとして端末２０へ送信して、端末２０は、時系列データＡをセンサから受信するようにしてもよい。
【００５６】
【数１】
2019088469.tif 000003
【００５７】
Ａ（０）は時点０のデータであり、Ａ（１）は時点１のデータであり、Ａ（ｔ）時点ｔのデータである。
【００５８】
ここで、時点ｔのデータＡ（ｔ）は、下記式（２）で表される。
【００５９】
【数２】
2019088469.tif 000004
【００６０】
ｐ１（ｔ）は、第１の運動対象の時点ｔにおける位置情報であり、ｑ１（ｔ）は、第１の運動対象の時点ｔにおける回転情報である。システム１は、第１の運動対象と第２の運動対象の動作の類似度を求めるので、第１の運動対象の位置情報及び回転情報には添え字「１」を付け、第２の運動対象の位置情報及び回転情報には添え字「２」を付けて、運動対象を識別する。
【００６１】
時点ｔの位置情報ｐ１（ｔ）は、下記式（３）で表される。
【００６２】
【数３】
2019088469.tif 000005
【００６３】
ｐ１１（ｔ）は、第１の運動対象の部位１の時点ｔにおける位置情報であり、ｐ１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける位置情報であり、ｐ１ｉｍａｘ（ｔ）は、第１の運動対象の部位ｉｍａｘの時点ｔにおける位置情報である。システム１では、第１の運動対象の１５の部位の位置情報を検知するので、ｉｍａｘ＝１５である。端末２０は、運動対象の各部位の位置情報を、各部位の加速度を２回積分して求める。
【００６４】
ここで、第１の運動対象の部位ｉの時点ｔにおける位置情報ｐ１ｉ（ｔ）は、下記式（４）で表される。
【００６５】
【数４】
2019088469.tif 000006
【００６６】
ｘ１ｉ（ｔ）、ｙ１ｉ（ｔ）、ｚ１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける３次元直交座標系で示されるｘ、ｙ及びｚ座標である。この３次元直交座標系の原点は、キャリブレーションを行った時の第１の運動対象の仙骨の位置とすることができる。
【００６７】
また、時点ｔの回転情報ｑ１（ｔ）は、下記式（５）で表される。
【００６８】
【数５】
2019088469.tif 000007
【００６９】
ｑ１１（ｔ）は、第１の運動対象の部位１の時点ｔにおける回転情報であり、ｑ１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける回転情報であり、ｑ１ｉｍａｘ（ｔ）は、第１の運動対象の部位ｉｍａｘの時点ｔにおける回転情報である。ここで、ｉは１〜１５の整数である。
【００７０】
ここで、第１の運動対象の部位ｉの時点ｔにおける回転情報ｑ１ｉ（ｔ）は、下記式（６）に示すクォータニオンで表される。
【００７１】
【数６】
2019088469.tif 000008
【００７２】
ａ１ｉ（ｔ）、ｂ１ｉ（ｔ）、ｃ１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける回転軸の向きを示す虚数部であり、ｊ、ｋ、ｌは虚数単位である。ｄ１ｉ（ｔ）は、第１の運動対象の部位ｉの時点ｔにおける回転軸の回りの角度を示す実部である。
【００７３】
図６は、各部位の回転情報の階層構造を説明する図である。
【００７４】
運動対象の各部位の回転情報は、仙骨をルートとする階層構造で関係付けられている。回転情報の階層構造では、子の部位の回転情報は、親の部位に対して相対的な回転情報としてクォータニオンで表される。例えば、左上腿、右上腿、胸部の回転情報は、仙骨に対して相対的な回転情報としてクォータニオンで表される。図６には、部位の名称と共に、各部位の回転情報を検知するセンサを識別する符号を示す。
【００７５】
上述した位置情報及び回転情報の説明は、第２の運動対象の位置情報及び回転情報に対して適宜適用される。
【００７６】
次に、システム１の動作を図７に示すフローチャートを参照しながら以下に説明する。
【００７７】
まず、ステップＳ７０１において、端末２０は、第１の運動対象３０に対するキャリブレーション処理を行った後、第１の運動対象３０に配置された１５個のセンサから受信した時系列データに基づいて、第１の運動対象３０が有する１５の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する時系列データである第１モーションデータを作成する。そして、端末２０は、第１モーションデータを、ネットワークＮを介してサーバ１０へ送信する。サーバ１０は、受信した第１モーションデータ１２ｂをメモリ１２に記憶する。ここで、第１モーションデータ１２ｂは、ある人物がダンスをしている動作を記録したデータである。なお、第１の運動対象３０に配置された１５個のセンサのそれぞれが、各部位の位置情報及び回転情報を作成し、第１モーションデータとして端末２０へ送信して、端末２０は、第１モーションデータをセンサから受信するようにしてもよい。
【００７８】
図８は、第１の運動対象のキャリブレーション時の姿勢を説明する図である。
【００７９】
ここで、第１の運動対象３０は、図８の実線で示すように、Ｔポーズの姿勢をした状態で行われる。端末２０は、各センサＳ１〜Ｓ１５が出力する回転情報を測定して、各センサの配置されている位置（又は向き）と、本来各センサが配置されるべき所定の位置とのずれを検出する。端末２０は、各センサＳ１〜Ｓ１５が出力する回転情報に対して、このずれを補正して第１モーションデータを作成する。端末２０は、１５の部位の位置情報を、キャリブレーションを行った時の第１の運動対象の仙骨の位置を原点とする３次元直交座標系（以下、ワールド座標系ともいう）を用いて表して、第１モーションデータを作成する。また、端末２０は、標準体型を有する人物の１５の部位の位置情報及び回転情報として、第１モーションデータを生成する。
【００８０】
次に、ステップＳ７０３において、端末２０は、第２の運動対象３１に対するキャリブレーション処理を行った後、第２の運動対象３１に配置された１５個のセンサから受信した時系列データに基づいて、第２の運動対象３１が有する１５の部位の位置情報及び当該複数の部位の角度を示す回転情報を有する時系列データである第２モーションデータを作成する。そして、端末２０は、第２モーションデータを、ネットワークＮを介してサーバ１０へ送信する。なお、第２の運動対象３１に配置された１５個のセンサのそれぞれが、各部位の位置情報及び回転情報を作成し、第２モーションデータとして端末２０へ送信して、端末２０は、第２モーションデータをセンサから受信するようにしてもよい。
【００８１】
図８は、第２の運動対象のキャリブレーション時の姿勢を説明する図である。
【００８２】
ここで、第２の運動対象３１は、図８の鎖線で示すように、Ｔポーズの姿勢をした状態で行われる。しかし、第２の運動対象３１は、キャリブレーション時の姿勢であるＴポーズに対して、両足の間隔が拡がっており、また、上体が前傾している。ここで、第２モーションデータは、第２の運動対象３１の人物が、第１の運動対象３０と同じダンスをしている動作を記録したデータである。第２の運動対象３１の人物は、第１の運動対象３０の人物と同じであってもよいし、異なっていてもよい。キャリブレーション時にとる第２の運動対象３１の姿勢が、Ｔポーズの姿勢と異なっている影響は、キャリブレーション処理によっては補正されないので、第２モーションデータの全体に及ぶことになる。
【００８３】
そして、サーバ１０の処理部１１の類似度算出部１１ａは、第１モーションデータ及び第２モーションデータのそれぞれに対して、動作の比較を開始するデータの始点及び終点をユーザから入力する。類似度算出部１１ａは、以下の動作の類似度を求める処理において、第１モーションデータ１２ｂの入力した始点ｔ１と終点ｔ２との間のデータと、第２モーションデータの入力した始点ｔ３と終点ｔ４との間のデータを比較する。ここで、始点ｔ１と始点ｔ３とは同じとは限らないが、始点と終点との間のデータの数は同じである。本明細書では、説明を分かり易くするために、第１モーションデータの始点ｔ１をｔ＝０と置き直し、且つ第２モーションデータの始点ｔ２もｔ＝０と置き直して、動作の比較を行う部分のデータだけを抽出して作り直した第１モーションデータ及び第２モーションデータを用いて以下の説明を行う。
【００８４】
次に、サーバ１０は、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０の動作と第２の運動対象３１の動作との第１類似度を求める。サーバ１０は、第１の運動対象３０が有する複数の部位の位置情報と第２の運動対象３１が有する複数の部位の位置情報とを比較して、位置の第１類似度を求めるか、及び／又は、第１の運動対象３０が有する複数の部位の回転情報と第２の運動対象３１が有する複数の部位の回転情報とを比較して、回転の第１類似度を求め得る。本実施形態では、サーバ１０は、位置の第１類似度及び回転の第１類似度を求める。以下、図９に示すフローチャートを参照しながら、サーバ１０が第１類似度を求める処理を説明する。
【００８５】
まず、ステップＳ９０１において、類似度算出部１１ａは、第１の運動対象３０及び第２の運動対象３１のそれぞれについて、第１モーションデータ及び第２モーションデータの位置情報及び回転情報を補正処理する。
【００８６】
具体的には、類似度算出部１１ａは、初期時点（ｔ＝０）における第１モーションデータの仙骨の位置を、ワールド座標系の原点に一致させるように、仙骨の位置情報を補正する。また、類似度算出部１１ａは、初期時点（ｔ＝０）における第１モーションデータの他の部位の位置情報に対して、仙骨の位置をワールド座標系の原点に移動させたのと同様の補正を行う。更に、類似度算出部１１ａは、初期時点以降の第１モーションデータの各部位の位置情報に対して同様の補正を行う。キャリブレーション時には、運動対象の仙骨の位置はワールド座標系の原点と一致しているが、動作の比較を開始する始点の時点における運動対象の仙骨の位置は、ワールド座標系の原点と一致しているとは限らないので、このような補正を行う。
【００８７】
また、類似度算出部１１ａは、初期時点（ｔ＝０）における第２モーションデータの仙骨の位置を、ワールド座標系の原点に一致させるように、仙骨の位置情報を補正する。また、類似度算出部１１ａは、初期時点（ｔ＝０）における第２モーションデータの他の部位の位置情報に対して、仙骨の位置をワールド座標系の原点に移動させたのと同様の補正を行う。更に、類似度算出部１１ａは、初期時点以降の第２モーションデータの各部位の位置情報に対して同様の補正を行う。
【００８８】
更に、類似度算出部１１ａは、初期時点（ｔ＝０）における第２モーションデータの仙骨の回転情報を、初期時点（ｔ＝０）における第１モーションデータの仙骨の回転情報と一致させるように補正する。また、類似度算出部１１ａは、初期時点以降の第２モーションデータの仙骨の回転情報に対して、同様の補正を行う。
【００８９】
次に、ステップＳ９０３において、類似度算出部１１ａは、所定の時間間隔毎に、第１の運動対象３０が有する１５の部位の位置と、第２の運動対象３１が有する１５の部位の位置との間の距離を求める。所定の時間間隔として、隣接する２つの時点の間隔、又は、隣接しない２つの時点の間隔を用いることができるが、本実施形態では、所定の時間間隔として、隣接する２つの時点の間隔を用いる。即ち、本実施形態では、類似度算出部１１ａは、時系列データの各時点において、第１の運動対象３０が有する１５の部位の位置と、第２の運動対象３１が有する１５の部位の位置との間の距離を求める。
【００９０】
具体的には、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、各時点において、第１の運動対象３０及び第２の運動対象３１の対応する部位間の距離を、下記式（７）を用いて求める。
【００９１】
【数７】
2019088469.tif 000009
【００９２】
ここで、ｄｐ（ｐ１ｉ（ｔ）、ｐ２ｉ（ｔ））は、第１の運動対象３０の部位ｉの時点ｔにおける位置情報ｐ１ｉ（ｔ）と、第２の運動対象３１の部位ｉの時点ｔにおける位置情報ｐ２ｉ（ｔ）との間の変化量を示す距離を求める関数である。距離としては、例えば、ユークリッド距離、マンハッタン距離、シェビチェフ距離を用いることができる。また、ここで、ｉは１〜１５の整数である。
【００９３】
次に、ステップＳ９０５において、類似度算出部１１ａは、各時点において、第１の運動対象３０及び第２の運動対象３１の対応する部位の位置の類似度を、下記式（８）を用いて求める。
【００９４】
【数８】
2019088469.tif 000010
【００９５】
ここで、ｆ１は０よりも大きく且つ１未満の数である。本明細書では、ｆ１として０．１を用いる。部位間の位置の類似度ｓｐｉ（ｔ）は、類似度が高い程１に近い値を有し、類似度が低い程０に近い値を有する。
【００９６】
次に、ステップＳ９０７において、類似度算出部１１ａは、各時点において、位置の第１類似度を、下記式（９）を用いて求める。
【００９７】
【数９】
2019088469.tif 000011
【００９８】
ここで、ｗ１ｐｉは、部位ｉの重みを表しており、下記式（１０）により規格化されている。また、ｉｍａｘは１５である。
【００９９】
【数１０】
2019088469.tif 000012
【０１００】
次に、ステップＳ９０９において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、各時点において、第１の運動対象３０及び第２の運動対象３１の対応する部位の回転（向き又は角度）の類似度を、下記式（１１）を用いて求める。
【０１０１】
【数１１】
2019088469.tif 000013
【０１０２】
ここで、ｓｑｉ（ｔ）は、第１の運動対象３０の部位ｉの時点ｔにおける回転情報を表すクォータニオンと、第２の運動対象３１の部位ｉの時点ｔにおける回転情報を表すクォータニオンとのコサイン類似度を示す。コサイン類似度は、向きが近い程１に近い値を有し、向きが離れている程０に近い値を有する。ここで、ｉは１〜１５の整数である。なお、回転の類似度を求める方法は、コサイン類似度に限定されず、他の方法を用いてもよい。
【０１０３】
次に、ステップＳ９１１において、類似度算出部１１ａは、各時点において、回転の第１類似度を、下記式（１２）を用いて求める。
【０１０４】
【数１２】
2019088469.tif 000014
【０１０５】
ここで、ｗ１ｑｉは、部位ｉの重みを表しており、下記式（１３）により規格化されている。また、ｉｍａｘは１５である。
【０１０６】
【数１３】
2019088469.tif 000015
【０１０７】
以上が、類似度算出部１１ａが位置の第１類似度及び回転の第１類似度を求める処理の説明である。
【０１０８】
次に、ステップＳ７０７において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０の動作と第２の運動対象３１の動作との第２類似度を求める。以下、図１０に示すフローチャートを参照しながら、類似度算出部１１ａが第２類似度を求める処理を説明する。
【０１０９】
まず、ステップＳ１００１において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、所定の時間間隔における第１の運動対象３０が有する１５の部位の回転情報の変化量と、第２の運動対象３１が有する１５の部位の回転情報の変化量を求める。所定の時間間隔として、隣接する２つの時点の間隔、又は、隣接しない２つの時点の間隔を用いることができるが、本実施形態では、所定の時間間隔として、隣接する２つの時点の間隔を用いる。即ち、本実施形態では、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、各時点間において、第１の運動対象３０が有する１５の部位の回転情報の変化量と、第２の運動対象３１が有する１５の部位の回転情報の変化量を求める。
【０１１０】
具体的には、類似度算出部１１ａは、各時点間において、第１の運動対象３０の部位のそれぞれの回転情報の変化量を、下記式（１４）を用いて求める。
【０１１１】
【数１４】
2019088469.tif 000016
【０１１２】
ここで、ｄｑ（ｑ１ｉ（ｔ−１）、ｑ１ｉ（ｔ））は、第１の運動対象３０の部位ｉの時点ｔ−１における回転情報を表すクォータニオンと、第１の運動対象３０の部位ｉの時点ｔにおける回転情報を表すクォータニオンとの差を求める関数である。ここで、ｉは１〜１５の整数である。
【０１１３】
同様に、類似度算出部１１ａは、各時点間において、第２の運動対象３１の部位のそれぞれの回転情報の変化量を、下記式（１５）を用いて求める。
【０１１４】
【数１５】
2019088469.tif 000017
【０１１５】
ｄｑ２ｉ（ｔ）は、第２の運動対象３１の部位ｉの時点ｔ−１における回転情報を表すクォータニオンと、第２の運動対象３１の部位ｉの時点ｔにおける回転情報を表すクォータニオンとの差を示す。ここで、ｉは１〜１５の整数である。
【０１１６】
次に、ステップＳ１００３において、類似度算出部１１ａは、各時点において、第１の運動対象３０及び第２の運動対象３１の対応する部位の回転（向き又は角度）の変化量の類似度を、下記式（１６）を用いて求める。
【０１１７】
【数１６】
2019088469.tif 000018
【０１１８】
ここで、ｓｑｉ（ｔ）は、第１の運動対象３０の部位ｉの時点ｔにおける回転情報を表すクォータニオンの変化量と、第２の運動対象３１の部位ｉの時点ｔにおける回転情報を表すクォータニオンの変化量とのコサイン類似度を示す。コサイン類似度は、向きの変化量が近い程１に近い値を有し、向きの変化量が離れている程０に近い値を有する。ここで、ｉは１〜１５の整数である。なお、回転の類似度を求める方法は、コサイン類似度に限定されず、他の方法を用いてもよい。
【０１１９】
次に、ステップＳ１００５において、類似度算出部１１ａは、各時点において、第２類似度を、下記式（１７）を用いて求める。
【０１２０】
【数１７】
2019088469.tif 000019
【０１２１】
ここで、ｗ２ｑｉは、部位ｉの重みを表しており、下記式（１８）により規格化されている。また、ｉｍａｘは１５である。
【０１２２】
【数１８】
2019088469.tif 000020
【０１２３】
以上が、類似度算出部１１ａが第２類似度を求める処理の説明である。
【０１２４】
次に、ステップＳ７０９において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０の動作と第２の運動対象３１の動作との第３類似度を求める。以下、図１１に示すフローチャートを参照しながら、類似度算出部１１ａが第３類似度を求める処理を説明する。
【０１２５】
まず、ステップＳ１１０１において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、所定の時間間隔における第１の運動対象３０の仙骨の位置情報の変化量と、第２の運動対象３１の仙骨の位置情報の変化量とを求める。所定の時間間隔として、隣接する２つの時点の間隔、又は、隣接しない２つの時点の間隔を用いることができるが、本実施形態では、所定の時間間隔として、隣接する２つの時点の間隔を用いる。なお、本実施形態では、第１の運動対象３０の仙骨と、第１の運動対象３０の仙骨との位置情報を比較しているが、他の部位同士の位置情報を比較してもよい。
【０１２６】
具体的には、類似度算出部１１ａは、各時点間において、第１の運動対象３０の仙骨の位置情報の変化量を、下記式（１９）を用いて求める。
【０１２７】
【数１９】
2019088469.tif 000021
【０１２８】
ここで、ｄｐ（ｐ１１（ｔ）、ｐ２１（ｔ））は、第１の運動対象３０の部位１（仙骨）の時点ｔ−１における位置情報と、第２の運動対象３１の部位１（仙骨）の時点ｔにおける位置情報との間の変化量を示す距離を求める関数である。距離としては、例えば、ユークリッド距離、マンハッタン距離、シェビチェフ距離を用いることができる。
【０１２９】
同様にして、類似度算出部１１ａは、各時点間において、第２の運動対象３１の仙骨の位置情報の変化量を、下記式（２０）を用いて求める。
【０１３０】
【数２０】
2019088469.tif 000022
【０１３１】
ここで、ｄｐ２１（ｔ）は、第２の運動対象３１の部位１（仙骨）の時点ｔ−１における位置情報と、第２の運動対象３１の部位１（仙骨）の時点ｔにおける位置情報との間の変化量を示す距離である。
【０１３２】
次に、ステップＳ１１０３において、類似度算出部１１ａは、各時点において、第１の運動対象３０の仙骨位置の変化量を示す距離と、第２の運動対象３１の仙骨位置の変化量を示す距離との差の絶対値を、下記式（２１）を用いて求める。
【０１３３】
【数２１】
2019088469.tif 000023
【０１３４】
ｄｄｐ１（ｔ）は、時点ｔ−１と時点ｔとの間における第１の運動対象３０の仙骨位置の変化量を示す距離と、第２の運動対象３１の仙骨位置の変化量を示す距離との差の絶対値を示す。
【０１３５】
次に、ステップＳ１１０５において、類似度算出部１１ａは、各時点において、第１の運動対象３０及び第２の運動対象３１の仙骨の位置の変化量の類似度である第３類似度を、下記式（２２）を用いて求める。
【０１３６】
【数２２】
2019088469.tif 000024
【０１３７】
ここで、ｆ３は０よりも大きく且つ１未満の数である。本明細書では、ｆ３として０．１を用いる。部位間の位置の類似度Ｗ３（ｔ）は、類似度が高い程１に近い値を有し、類似度が低い程０に近い値を有する。
【０１３８】
以上が、類似度算出部１１ａが第３類似度を求める処理の説明である。
【０１３９】
次に、ステップＳ７１１において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０の動作と第２の運動対象３１の動作との第４類似度を求める。以下、図１２に示すフローチャートを参照しながら、類似度算出部１１ａが第４類似度を求める処理を説明する。なお、サーバ１０は、第４類似度を求めずに、第１〜第３類似度を用いて、動作の類似度を求めてもよい。
【０１４０】
まず、ステップＳ１２０１において、類似度算出部１１ａは、第１モーションデータ及び第２モーションデータに基づいて、所定の時間間隔における第１の運動対象３０の仙骨の位置情報の変化量と、第２の運動対象３１の仙骨の位置情報の変化量とを求める。本実施形態では、所定の時間間隔として、初期時点（ｔ＝０）と時点ｔとの間隔を用いる。なお、本実施形態では、第１の運動対象３０の仙骨と、第１の運動対象３０の仙骨との位置情報を比較しているが、他の部位同士の位置情報を比較してもよい。また、所定の時間間隔として、初期時点以外の時点、例えば、ｔ＝２又は３と、それ以降の時点との間隔を用いてもよい。
【０１４１】
そして、類似度算出部１１ａは、各時点間において、第１の運動対象３０の仙骨の位置情報の変化量を、下記式（２３）を用いて求める。
【０１４２】
【数２３】
2019088469.tif 000025
【０１４３】
ここで、ｄｐ（ｐ１１（ｔ）、ｐ２１（ｔ））は、第１の運動対象３０の部位１（仙骨）の時点０（初期時点）における位置情報と、第１の運動対象３０の部位１（仙骨）の時点ｔにおける位置情報との間の変化量を示す距離を求める関数である。距離としては、例えば、ユークリッド距離、マンハッタン距離、シェビチェフ距離を用いることができる。
【０１４４】
同様にして、類似度算出部１１ａは、各時点間において、第２の運動対象３１の仙骨の位置情報の変化量を、下記式（２４）を用いて求める。
【０１４５】
【数２４】
2019088469.tif 000026
【０１４６】
ここで、ｄｐ２１（ｔ）は、第２の運動対象３１の部位１（仙骨）の時点０（初期時点）における位置情報と、第２の運動対象３１の部位１（仙骨）の時点ｔにおける位置情報との間の変化量を示す距離である。
【０１４７】
次に、ステップＳ１２０３において、類似度算出部１１ａは、各時点において、第１の運動対象３０の仙骨位置の変化量を示す距離と、第２の運動対象３１の仙骨位置の変化量を示す距離との差の絶対値を、下記式（２５）を用いて求める。
【数２５】
2019088469.tif 000027
【０１４８】
ここで、ｄｄｐ１（ｔ）は、初期時点（ｔ＝０）と時点ｔとの間における第１の運動対象３０の仙骨位置の変化量を示す距離と、第２の運動対象３１の仙骨位置の変化量を示す距離との差の絶対値を示す。
【０１４９】
次に、ステップＳ１２０５において、類似度算出部１１ａは、各時点において、第１の運動対象３０及び第２の運動対象３１の仙骨の位置の変化量の類似度である第４類似度を、下記式（２６）を用いて求める。
【０１５０】
【数２６】
2019088469.tif 000028
【０１５１】
ここで、ｆ４は０よりも大きく且つ１未満の数である。本明細書では、ｆ４として０．１を用いる。部位間の位置の類似度Ｗ４（ｔ）は、類似度が高い程１に近い値を有し、類似度が低い程０に近い値を有する。
【０１５２】
以上が、類似度算出部１１ａが第４類似度を求める処理の説明である。
【０１５３】
次に、ステップＳ７１３において、類似度算出部１１ａは、各時点において、動作の類似度を下記式（２７）を用いて求める。
【０１５４】
【数２７】
2019088469.tif 000029
【０１５５】
ここで、ｍｊは、第１類似度〜第４類似度の重みを表しており、下記式（２８）により規格化されている。また、ｊｍａｘは４である。
【０１５６】
【数２８】
2019088469.tif 000030
【０１５７】
上述したように、本実施形態では、動作の類似度を、第１類似度Ｗ１と重みｍ１との積と、第２類似度Ｗ２と重みｍ２との積と、第３類似度Ｗ３と重みｍ３との積と、第４類似度Ｗ４と重みｍ４との積との和で求めているが、動作の類似度は、第１類似度と第２類似度及び第３類似度の内の少なくとも１つとの組み合わせに基づいて求めていればよい。
【０１５８】
例えば、動作の類似度を、第１類似度と重みとの積と、第２類似度と重みとの積との和で求めてもよい。また、動作の類似度を、第１類似度と重みとの積と、第３類似度と重みとの積との和で求めてもよい。また、動作の類似度を、第１類似度と重みとの積と、第２類似度と重みとの積と、第３類似度と重みとの積との和で求めてもよい。また、動作の類似度を、第１類似度と重みとの積と、第３類似度と重みとの積と、第４類似度と重みとの積との和で求めてもよい。
【０１５９】
そして、類似度算出部１１ａは、求めた動作の類似度の時系列データを、通信部１５を用いて、ネットワークＮを介して、端末２０へ送信する。
【０１６０】
次に、ステップＳ７１５において、サーバ１０の処理部１１の３次元画像生成部１１ｂは、第１モーションデータ及び第２モーションデータに基づいて、所定の時点において、第１の運動対象３０及び第２の運動対象３１の３次元画像を生成する。所定の時点として、動作の類似度の時系列データにおいて局所的なピークを示している時点を用いることができる。そして、３次元画像生成部１１ｂは、生成した３次元画像を、通信部１５を用いて、ネットワークＮを介して、端末２０へ送信する。なお、端末２０が、第１モーションデータ及び第２モーションデータに基づいて、第１の運動対象３０及び第２の運動対象３１の３次元画像を生成するようにしてもよい。
【０１６１】
次に、ステップＳ７１７において、端末２０の処理部２１は、サーバ１０から受信した動作の類似度の時系列データに基づいて、動作の類似度の経時変化を示すグラフを生成して、表示部２３に表示する。また、端末２０は、処理部２１は、サーバ１０から受信した第１の運動対象３０及び第２の運動対象３１の３次元画像（図示せず）を、動作の類似度の経時変化を示すグラフの所定の時点に表示する。なお、サーバ１０が、動作の類似度の経時変化を示すグラフ及び第１の運動対象３０及び第２の運動対象３１の３次元画像を表示するようにしてもよい。
【０１６２】
図１３は、動作の類似度の経時変化を示す図である。
【０１６３】
図１３には、複数の時点において、第１の運動対象３０及び第２の運動対象３１の３次元画像が、動作の類似度と共に示されるようにしてもよい。これにより、第１の運動対象３０及び第２の運動対象３１の動作の類似度が、数値と共に、３次元画像を用いて視覚化されるので、動作の類似度の比較がより分かり易くなる。
【０１６４】
上述した本実施形態のシステムによれば、第１類似度と共に、第２類似度及び第３類似度の内の少なくとも１つとの組み合わせに基づいて、動作の類似度が求められるので、キャリブレーション時の影響を抑制して、２つの運動対象の動作の類似度を求めることができる。特に、本実施形態では、第１類似度と、第２類似度〜第４類似度との組み合わせに基づいて動作の類似度が求められるので、キャリブレーション時の影響を十分に抑制して、２つの運動対象の動作の類似度が求められる。
【０１６５】
次に、第１類似度だけを用いて２つの運動対象の動作の類似度を求めた場合と、第１類似度と共に、第２類似度及び第３類似度の内の少なくとも１つとの組み合わせに基づいて、２つの運動対象の動作の類似度を求める場合について、実施例及び比較例を用いて説明する。
【実施例】
【０１６６】
以下、本明細書に開示するシステムについて、実施例を用いて更に説明する。ただし、本発明の範囲はかかる実施例に制限されるものではない。
【０１６７】
（実施例１）
Ｘｓｅｎｓ社製のモーションキャプチャシステムＭＶＮ−ａｗｉｎｄａの慣性式センサを、第１の運動対象である人物の仙骨、右上腿、右下腿、右足の甲、左上腿、左下腿、左足の甲、胸部、左上腕、左前腕、左手の甲、右上腕、右前腕、右手の甲、頭部の１５部位に装着した。
【０１６８】
そして、第１の運動対象である人物が両足の間を１０ｃｍ開いて直立した気をつけの姿勢で、第１の運動対象のキャリブレーションが行われた。そして、第１の運動対象はラジオ体操第１の動作を行って、第１モーションデータが取得された。
【０１６９】
また、第２の運動対象である第１の運動対象と同一の人物に対して、同じ１５の部位に慣性式センサを装着した。
【０１７０】
そして、第２の運動対象である人物が両足の間を３０ｃｍ開いて、３０度の角度で前傾した気をつけの姿勢で、第２の運動対象のキャリブレーションが行われた。そして、第２の運動対象は、第１の運動対象と同様にラジオ体操第１の動作を行って、第２モーションデータが取得された。
【０１７１】
そして、第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第２類似度Ｗ２を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第３類似度Ｗ３を、各時点において、仙骨の類似度と重みの積として求めた。第１類似度Ｗ１〜第３類似度Ｗ４を求める時の所定の時間間隔として、隣接する２つの時点の間隔を用いた。また、第４類似度を、各時点において、仙骨の類似度と重みの積として求めた。第４類似度を求める所定の時間間隔として、初期時点（ｔ＝０）と各時点ｔとの間隔を用いた。
【０１７２】
そして、動作の類似度を、各時点において、第１類似度Ｗ１と、第２類似度Ｗ２と、第３類似度と、第４類似度との和として求めて、実施例１とした。なお、実施例１では、動作の類似度を求める時に、第１類似度Ｗ１と重みとの和との積は求められていない。上述したように、第１類似度Ｗ１は、各部位の回転の類似度と部位の重みの積の和として求められている。このことは、第２類似度Ｗ２についても同様である。
【０１７３】
実施例１の第１類似度Ｗ１を求めるのに使用された各部位の重みと、第２類似度Ｗ２を求めるのに使用された各部位の重みと、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを、図１４に示す。また、図１４には、第１類似度Ｗ１を求めるのに使用された各部位の重みの和と、第２類似度Ｗ２を求めるのに使用された各部位の重みの和と、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを比較して示す。
【０１７４】
各部位の重みは、以下のように決定された。まず、第１の運動対象及び第１の運動対象がダンスを行う動作を人間が見て、各時点における２つの運動対象の類似度を０〜１の間で５段階に官能評価した。そして、第１類似度Ｗ１を求めるのに使用された各部位の重みと、第２類似度Ｗ２を求めるのに使用された各部位の重みと、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みをそれぞれ変化させて、各時点における動作の類似度を求めて、官能評価の結果と近くなるように、それぞれの重みを決定した。
【０１７５】
図１５に示すように、実施例１では、動作の類似度は、各時点において０．６５〜０．７７の範囲で変化していて、動作の類似度の平均値は０．７３であった。
【０１７６】
（実施例２）
第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第２類似度Ｗ２を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第４類似度Ｗ４を、各時点において、仙骨の類似度と重みの積として求めた。
【０１７７】
実施例２の第１類似度Ｗ１を求めるのに使用された各部位の重みと、第２類似度Ｗ２を求めるのに使用された各部位の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを、図１６に示す。また、図１６には、第１類似度Ｗ１を求めるのに使用された各部位の重みの和と、第２類似度Ｗ２を求めるのに使用された各部位の重みの和と、第４類似度Ｗ４を求めるのに使用された仙骨の重みを比較して示す。
【０１７８】
そして、動作の類似度を、各時点において、第１類似度Ｗ１と、第２類似度Ｗ２と、第４類似度との和として求めた。
【０１７９】
図１５に示すように、実施例２では、動作の類似度は、各時点において０．６２〜０．７５の範囲で変化していて、動作の類似度の平均値は０．６９であった。
【０１８０】
（実施例３）
第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。また、第２類似度Ｗ２を、各時点において、各部位の回転の類似度と部位の重みの積として求めた。
【０１８１】
実施例３の第１類似度Ｗ１を求めるのに使用された各部位の重みと、第２類似度Ｗ２を求めるのに使用された各部位の重みを、図１７に示す。また、図１７には、第１類似度Ｗ１を求めるのに使用された各部位の重みの和と、第２類似度Ｗ２を求めるのに使用された各部位の重みの和を比較して示す。
【０１８２】
そして、動作の類似度を、各時点において、第１類似度Ｗ１と、第２類似度Ｗ２との和として求めた。
【０１８３】
図１５に示すように、実施例３では、動作の類似度は、各時点において０．５８〜０．７４の範囲で変化していて、動作の類似度の平均値は０．６３であった。
【０１８４】
（実施例４）
第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の位置の類似度と部位の重みの積として求めた。また、第３類似度Ｗ３を、各時点において、仙骨の類似度と重みの積として求めた。また、第４類似度Ｗ４を、各時点において、仙骨の類似度と重みの積として求めた。
【０１８５】
実施例４の第１類似度Ｗ１を求めるのに使用された各部位の重みと、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを、図１８に示す。また、図１８には、第１類似度Ｗ１を求めるのに使用された各部位の重みの和と、第３類似度Ｗ３を求めるのに使用された仙骨の重みと、第４類似度Ｗ４を求めるのに使用された仙骨の重みを比較して示す。
【０１８６】
そして、動作の類似度を、各時点において、第１類似度Ｗ１と、第３類似度Ｗ３と、第４類似度Ｗ４の和として求めた。
【０１８７】
図１５に示すように、実施例４では、動作の類似度は、各時点において０．３１〜０．７２の範囲で変化していて、動作の類似度の平均値は０．５５であった。
【０１８８】
（比較例）
第１モーションデータ及び第２モーションデータに基づいて、第１類似度Ｗ１を、各時点において、各部位の回転の類似度と部位の重みの積として求めて、比較例の動作の類似度とした。
【０１８９】
比較例の第１類似度Ｗ１を求めるのに使用された各部位の重みを、図１９に示す。
【０１９０】
図１５に示すように、比較例では、動作の類似度は、各時点において０．４９〜０．６９の範囲で変化していて、動作の類似度の平均値は０．５５であった。
【０１９１】
第１モーションデータ及び第２モーションデータは、同一人物の同じ動作を記録したデータであるので、比較的高い類似度を有していることが期待される。しかし、第１モーションデータ及び第２モーションデータでは、キャリブレーション時の姿勢が異なるので、キャリブレーション時における運動対象の姿勢が異なっている影響は、キャリブレーション処理によっては補正されないため、動作データの全体に及ぶと考えられる。
【０１９２】
そして、実施例１〜３の動作の類似度の平均値は、比較例よりも高い値を示した。これにより、実施例１〜３は、キャリブレーション時の影響を抑制して、２つの運動対象の動作の類似度をより正確に求めていると考えられる。比較例では、実施例１〜３と比べて、キャリブレーション時における運動対象の姿勢が異なっている影響を受けるので、動作の類似度に対して十分な精度が得られないと考えられる。
【０１９３】
実施例４は、実施例１〜３と比べて、低い類似度を示した。この理由として、実施例４では、各部位の位置の類似度に基づいて、第１類似度Ｗ１を求めているのに対して、実施例１〜３では、各部位の回転の類似度に基づいて、第１類似度Ｗ１を求めていることが考えられる。このことから、キャリブレーション時の影響を抑制して、２つの運動対象の動作の類似度を正確に求める観点からは、各部位の回転の類似度に基づいて、第１類似度Ｗ１を求めることが好ましいと考えられる。
【０１９４】
本発明では、上述した実施形態の動作の類似度を求める方法、システム及びプログラムは、本発明の趣旨を逸脱しない限り適宜変更が可能である。
【符号の説明】
【０１９５】
１    システム
１０    サーバ
１１    処理部
１１ａ    類似度算出部
１１ｂ    ３次元画像生成部
１２    メモリ
１２ａ    コンピュータプログラム
１２ｂ    第１モーションデータ
１２ｃ    記憶媒体
１３    表示部
１４    入力インターフェース
１５    通信部
２０    端末
２１    処理部
２２    メモリ
２３    表示部
２４    入力インターフェース
２５    通信部
３０    第１の運動対象
３１    第２の運動対象
Ｓ１〜Ｓ１５    センサ
Ｎ    ネットワーク
【図１】
2019088469.tif 000031
【図２】
2019088469.tif 000032
【図３】
2019088469.tif 000033
【図４】
2019088469.tif 000034
【図５】
2019088469.tif 000035
【図６】
2019088469.tif 000036
【図７】
2019088469.tif 000037
【図８】
2019088469.tif 000038
【図９】
2019088469.tif 000039
【図１０】
2019088469.tif 000040
【図１１】
2019088469.tif 000041
【図１２】
2019088469.tif 000042
【図１３】
2019088469.tif 000043
【図１４】
2019088469.tif 000044
【図１５】
2019088469.tif 000045
【図１６】
2019088469.tif 000046
【図１７】
2019088469.tif 000047
【図１８】
2019088469.tif 000048
【図１９】
2019088469.tif 000049