(57)【要約】      （修正有）【課題】ユーザーが動作を習得するための個人練習に有効な情報端末、サーバー、システム、プログラム、及び記録媒体を提供する。【解決手段】情報端末２０は、教師の動作のセンシングデータと、教師の動作のセンシングデータと対応付けられた教師の動作の動画像データとを、ネットワークを介して受信する受信処理部２１と、教師の動作の動画像データをユーザーへ提示する提示処理部２１と、教師の動作の動画像データを提示しているときに、ユーザーの動作のセンシングデータと、教師の動作のセンシングデータとを用いて、ユーザーの動作の評価を行う評価部２１と、動画像データを提示しているときに、評価の結果を前記ユーザーへ通知する通知処理部２１と、を含む。【選択図】図２
2017136142.tif 000002
【特許請求の範囲】
【請求項１】
教師の動作のセンシングデータと、前記教師の動作のセンシングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信する受信処理部と、
前記教師の動作の動画像データをユーザーへ提示する提示処理部と、
前記教師の動作の動画像データを提示しているときに、前記ユーザーの動作のセンシングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行う評価部と、
前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知する通知処理部と、
を含む情報端末。
【請求項２】
前記ユーザーの動作のセンシングデータは、
前記ユーザーの身体の互いに異なる部位に装着された２以上のセンサーを用いて生成される、
請求項１に記載の情報端末。
【請求項３】
前記教師の動作のセンシングデータは、
前記教師の身体の互いに異なる部位に装着された２以上のセンサーを用いて生成される、
請求項２に記載の情報端末。
【請求項４】
前記ユーザーの動作の動画像データを取得する撮像部を更に含み、
前記提示処理部は、
前記教師の動作の動画像データと共に前記ユーザーの動作の動画像データを提示する、
請求項３に記載の情報端末。
【請求項５】
前記提示処理部は、
前記教師の動作の動画像データと前記ユーザーの動作の動画像データとを並べて提示、又は重ねて提示する、
請求項４に記載の情報端末。
【請求項６】
前記ユーザーの動作の動画像データは、前記ユーザーに装着された前記２以上のセンサーにそれぞれ対応する、互いに異なる色の情報を含む、
請求項４または５の何れか一項に記載の情報端末。
【請求項７】
前記教師の動作の動画像データは、前記教師に装着された前記２以上のセンサーにそれぞれ対応する、互いに異なる色の情報を含む、
請求項４〜６に記載の情報端末。
【請求項８】
前記ユーザーの動作のセンシングデータと前記ユーザーの動作の動画像データとを対応付けて前記ネットワークを介して送信する送信部を更に含む、
請求項４〜７の何れか一項に記載の情報端末。
【請求項９】
前記教師は、前記ユーザーとは異なるユーザーである、
請求項１〜８の何れか一項に記載の情報端末。
【請求項１０】
前記教師の動作の動画像データには、音の情報が付与される、
請求項１〜９の何れか一項に記載の情報端末。
【請求項１１】
前記センシングデータには、
加速度センサー及び角速度センサーの少なくとも一方の出力が含まれる、
請求項１〜１０の何れか一項に記載の情報端末。
【請求項１２】
ユーザーの動作をセンシングするセンサーと、
教師の動作のセンシングデータと、前記教師の動作のセンシングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信する受信処理部と、
前記教師の動作の動画像データをユーザーへ提示する提示処理部と、
前記教師の動作の動画像データを提示しているときに、前記センサーを用いて生成された前記ユーザーの動作のセンシングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行う評価部と、
前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知する通知処理部と、
を含む情報端末と、
を含む動作評価システム。
【請求項１３】
教師の動作のセンシングデータと、前記教師の動作のセンシングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信することと、
前記教師の動作の動画像データをユーザーへ提示することと、
前記教師の動作の動画像データを提示しているときに、前記ユーザーの動作のセンシングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行うことと、
前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知することと、
を含む動作評価方法。
【請求項１４】
教師の動作のセンシングデータと、前記教師の動作のセンシングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信することと、
前記教師の動作の動画像データをユーザーへ提示することと、
前記教師の動作の動画像データを提示しているときに、前記ユーザーの動作のセンシングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行うことと、
前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知することと、
をコンピューターに実行させる動作評価プログラム。
【請求項１５】
教師の動作のセンシングデータと、前記教師の動作のセンシングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信することと、
前記教師の動作の動画像データをユーザーへ提示することと、
前記教師の動作の動画像データを提示しているときに、前記ユーザーの動作のセンシングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行うことと、
前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知することと、
をコンピューターに実行させる動作評価プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
特許文献１には、集団で行う体操やダンスにおいて各ユーザーの身体部位毎の動きの一致具合あるいはズレ具合（同調性）を演算してフィードバック出力を行うシステムが開示されている。このシステムでは基本運動リズムをユーザーに触覚刺激としてフィードバックし、動きのずれが大きいユーザーほど触覚刺激が大きくなるようにしている。また、あらかじめ登録しておいたテンプレートと自分との違いを振り返ることができるようにしてもよいことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８７７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、他のユーザーとの間又はテンプレートとの間でリズムを一致させただけではユーザーの動きが必ずしも理想的な動きになったとはいえない。上記システムのフィードバックによれば、タイミングのずれをユーザーへ通知することは可能かもしれないが、空間的なずれをユーザーへ通知するのは難しいと考えられる。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、本発明のいくつかの態様によれば、ユーザーが動作を習得するための個人練習に有効な情報端末、動作評価システム、動作評価プログラム、及び記録媒体を提供する。
【課題を解決するための手段】
【０００６】
本発明は前述の課題の少なくとも一部を解決するためになされたものであり、以下の態様または適用例として実現することが可能である。
【０００７】
［適用例１］
本適用例に係る情報端末は、教師の動作のセンシングデータと、前記教師の動作のセンシングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信する受信処理部と、前記教師の動作の動画像データをユーザーへ提示する提示処理部と、前記教師の動作の動画像データを提示しているときに、前記ユーザーの動作のセンシングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行う評価部と、前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知する通知処理部と、を含む。
【０００８】
評価部は、教師の動作の動画像データの再生中に、ユーザーの動作のセンシングデータと教師の動作のセンシングデータとを用いて、ユーザーの動作の評価を行い、通知処理部は、教師の動作の動画像データの提示中に、評価の結果をユーザーへ通知する。従って、本適用例に係る情報端末は、教師の動作をユーザーへ提示することでユーザーに教師と同じ動作を促し、しかも、教師の動作とユーザーの動作とを用いた評価の結果を、教師の動作の提示中にユーザーへ通知することができる。
【０００９】
従って、ユーザーは、教師の動作を眼で確認しながら動作の練習をすることができ、その動作の最中に、教師の動作を基準とした自分の動作の評価結果を認識することができる。従って、ユーザーは、自分の動作の如何なる部分を改善すれば教師の動作に近づけるのかを、練習中にかつ容易に把握することができる。従って、本適用例の情報端末は、ユーザーが教師の動作を習得するための個人練習に有効である。
【００１０】
［適用例２］
本適用例に係る情報端末において、前記ユーザーの動作のセンシングデータは、前記ユーザーの身体の互いに異なる部位に装着された２以上のセンサーを用いて生成されてもよい。
【００１１】
情報端末は、ユーザーの身体の互いに異なる部位に装着された２以上のセンサーを用いるので、例えば、ユーザーの関節の動き、ユーザーの手足の位置関係の動き、ユーザーの両手の位置関係の動きなど、ユーザーの複数の部位の動きを、ユーザーのセンシングデータに反映させることができる。
【００１２】
［適用例３］
本適用例に係る情報端末において、前記教師の動作のセンシングデータは、前記教師の身体の互いに異なる部位に装着された２以上のセンサーを用いて生成されてもよい。
【００１３】
情報端末は、教師の身体の互いに異なる部位に装着された２以上のセンサーを用いるので、例えば、教師の関節の動き、教師の手足の位置関係の動き、教師の両手の位置関係の動きなど、ユーザーの複数の部位の動きを、教師のセンシングデータに反映させることができる。
【００１４】
［適用例４］
本適用例に係る情報端末は、前記ユーザーの動作の動画像データを取得する撮像部を更に含み、前記提示処理部は、前記教師の動作の動画像データと共に前記ユーザーの動作の動画像データを提示してもよい。
【００１５】
従って、ユーザーは、教師の動作と自分の動作とを眼で比較しながら動作の練習をすることができる。
【００１６】
［適用例５］
本適用例に係る情報端末において、前記提示処理部は、前記教師の動作の動画像データと前記ユーザーの動作の動画像データとを並べて提示、又は重ねて提示してもよい。
【００１７】
教師の動作の動画像データとユーザーの動作の動画像データとが並べて提示された場合、ユーザーは、教師の動作と自分の動作との各々を見比べて確認することが可能である。一方、教師の動作の動画像データとユーザーの動作の動画像データとが重ねて提示された場合、ユーザーは、教師の動作と自分の動作とのずれを直感的に認識することができる。
【００１８】
［適用例６］
本適用例に係る情報端末において、前記ユーザーの動作の動画像データは、前記ユーザーに装着された前記２以上のセンサーにそれぞれ対応する、互いに異なる色の情報を含んでもよい。
【００１９】
このように動画像データがセンサーに対応する互いに異なる色の情報を含めば、センサーと、センサーを装着したユーザーの体の部位と、色と、が対応するので、ユーザーが動
画像を見たときに、自身の動作と動画像における体の部位との対応関係が理解しやすい。従って、色を用いない場合よりも、ユーザーが自身の動作を容易に認識できる。
【００２０】
［適用例７］
本適用例に係る情報端末において、前記教師の動作の動画像データは、前記教師に装着された前記２以上のセンサーにそれぞれ対応する、互いに異なる色の情報を含んでもよい。
【００２１】
このように動画像データがセンサーに対応する互いに異なる色の情報を含めば、センサーと、センサーを装着した教師の体の部位と、色と、が対応するので、ユーザーが動画像を見たときに、自身の動作と動画像における教師の体の部位との対応関係が理解しやすい。従って、色を用いない場合よりも、ユーザーが自身の動作を容易に認識できる。
【００２２】
［適用例８］
本適用例に係る情報端末は、前記ユーザーの動作のセンシングデータと前記ユーザーの動作の動画像データとを対応付けて前記ネットワークを介して送信する送信部を更に含んでもよい。
【００２３】
従って、ユーザーは、自分の動作のセンシングデータ及び動画像データを互いに対応付けてサーバーへ保管することができる。
【００２４】
［適用例９］
本適用例に係る情報端末において、前記教師は、前記ユーザーとは異なるユーザーであってもよい。
【００２５】
従って、本適用例に係る情報端末は、或るユーザーが他のユーザーの動作と同じ動作を習得したい場合に有効である。例えば、インターネット上で著名なユーザーの動作を、他のユーザーが真似したい場合に有効である。
【００２６】
［適用例１０］
本適用例に係る情報端末において、前記教師の動作の動画像データには、音の情報が付与されてもよい。
【００２７】
従って、ユーザーは、動画像データから得られる教師の動作に加えて、音の情報も確認することができるので、例えば、音の情報が無い動画像データを利用する場合よりも、動作の習得を容易に行うことができる。
【００２８】
［適用例１１］
本適用例に係る情報端末において、前記センシングデータには、加速度センサー及び角速度センサーの少なくとも一方の出力が含まれてもよい。
【００２９】
したがって、情報端末は、例えば、教師の身体の加速度、速度、位置、姿勢変化、姿勢の少なくとも１つをセンシングデータに含めることができる。
【００３０】
［適用例１２］
本適用例に係る動作評価システムは、ユーザーの動作をセンシングするセンサーと、教師の動作のセンシングデータと、前記教師の動作のセンシングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信する受信処理部と、前記教師の動作の動画像データをユーザーへ提示する提示処理部と、前記教師の動作の動画像データを提示しているときに、前記センサーを用いて生成された前記ユーザーの動作のセン
シングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行う評価部と、前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知する通知処理部と、を含む情報端末と、を含む。
【００３１】
［適用例１３］
本適用例に係る動作評価方法は、教師の動作のセンシングデータと、前記教師の動作のセンシングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信することと、前記教師の動作の動画像データをユーザーへ提示することと、前記教師の動作の動画像データを提示しているときに、前記ユーザーの動作のセンシングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行うことと、前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知することと、を含む。
【００３２】
本適用例に係る動作評価方法では、教師の動作の動画像データの再生中に、ユーザーの動作のセンシングデータと教師の動作のセンシングデータとを用いて、ユーザーの動作の評価を行い、教師の動作の動画像データの提示中に、評価の結果をユーザーへ通知する。従って、本適用例に係る動作評価方法は、教師の動作をユーザーへ提示することでユーザーに教師と同じ動作を促し、しかも、教師の動作とユーザーの動作とを用いた評価の結果を、教師の動作の提示中にユーザーへ通知することができる。
【００３３】
従って、ユーザーは、教師の動作を眼で確認しながら動作の練習をすることができ、その動作の最中に、教師の動作を基準とした自分の動作の評価結果を認識することができる。従って、ユーザーは、自分の動作の如何なる部分を改善すれば教師の動作に近づけるのかを、練習中にかつ容易に把握することができる。従って、本適用例の動作評価方法は、ユーザーが教師の動作を習得するための個人練習に有効である。
【００３４】
［適用例１４］
本適用例に係る動作評価プログラムは、教師の動作のセンシングデータと、前記教師の動作のセンシングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信することと、前記教師の動作の動画像データをユーザーへ提示することと、前記教師の動作の動画像データを提示しているときに、前記ユーザーの動作のセンシングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行うことと、前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知することと、をコンピューターに実行させる。
【００３５】
本適用例に係るプログラムは、教師の動作の動画像データの再生中に、ユーザーの動作のセンシングデータと教師の動作のセンシングデータとを用いて、ユーザーの動作の評価を行い、教師の動作の動画像データの提示中に、評価の結果をユーザーへ通知する。従って、本適用例に係るプログラムは、教師の動作をユーザーへ提示することでユーザーに教師と同じ動作を促し、しかも、教師の動作とユーザーの動作とを用いた評価の結果を、教師の動作の提示中にユーザーへ通知することができる。
【００３６】
従って、ユーザーは、教師の動作を眼で確認しながら動作の練習をすることができ、その動作の最中に、教師の動作を基準とした自分の動作の評価結果を認識することができる。従って、ユーザーは、自分の動作の如何なる部分を改善すれば教師の動作に近づけるのかを、練習中にかつ容易に把握することができる。従って、本適用例のプログラムは、ユーザーが教師の動作を習得するための個人練習に有効である。
【００３７】
［適用例１５］
本適用例に係る記録媒体は、教師の動作のセンシングデータと、前記教師の動作のセン
シングデータと対応付けられた前記教師の動作の動画像データとを、ネットワークを介して受信することと、前記教師の動作の動画像データをユーザーへ提示することと、前記教師の動作の動画像データを提示しているときに、前記ユーザーの動作のセンシングデータと、前記教師の動作のセンシングデータとを用いて、前記ユーザーの動作の評価を行うことと、前記動画像データを提示しているときに、前記評価の結果を前記ユーザーへ通知することと、をコンピューターに実行させる動作評価プログラムを記録する。
【００３８】
コンピューターは、教師の動作の動画像データの再生中に、ユーザーの動作のセンシングデータと教師の動作のセンシングデータとを用いて、ユーザーの動作の評価を行い、教師の動作の動画像データの提示中に、評価の結果をユーザーへ通知する。従って、コンピューターは、教師の動作をユーザーへ提示することでユーザーに教師と同じ動作を促し、しかも、教師の動作とユーザーの動作とを用いた評価の結果を、教師の動作の提示中にユーザーへ通知することができる。
【００３９】
従って、ユーザーは、教師の動作を眼で確認しながら動作の練習をすることができ、その動作の最中に、教師の動作を基準とした自分の動作の評価結果を認識することができる。従って、ユーザーは、自分の動作の如何なる部分を改善すれば教師の動作に近づけるのかを、練習中にかつ容易に把握することができる。従って、コンピューターは、ユーザーが教師の動作を習得するための個人練習に有効である。
【図面の簡単な説明】
【００４０】
【図１】センサーユニットの装着例を示す図。
【図２】ダンス解析システムの構成例を示す図。
【図３】同一楽曲の同一区間に関する教師の腰部の姿勢データとユーザーの腰部の姿勢データとを比較するグラフ。
【図４】同一楽曲の別の同一区間に関する教師の腰部の姿勢データとユーザーの腰部の姿勢データとを比較するグラフ。
【図５】同一楽曲の別の同一区間に関する教師の腰部の姿勢データとユーザーの腰部の姿勢データとを比較するグラフ。
【図６】同一楽曲の別の同一区間に関する教師の腰部の加速度データと、３人のユーザーの腰部の加速度データとを比較するグラフ。
【図７】データ選択用のタブと、ダンス解析用のタブと、アフターフィードバック用のタブとを含む選択画面の一例。
【図８】ユーザー２に所定のポーズをとるように指示する画面の一例。
【図９】ダンス開始の許可をユーザーに通知する画面の一例。
【図１０】ダンス解析モードにおいて楽曲の再生中に表示される画面の一例。
【図１１】ダンス解析モードにおいて楽曲の再生中に表示される画面の別の例。
【図１２】シンクロ率を表示する画面の一例。
【図１３】アフターフィードバックモードにおける楽曲の再生中に表示される画面の一例。
【図１４】データ選択モードにおける情報端末のフローチャート。
【図１５】データ選択モードにある情報端末と通信を行うサーバーのフローチャート。
【図１６】ダンス解析モードにおける情報端末のフローチャート。
【図１７】アフターフィードバックモードにおける情報端末のフローチャート。
【発明を実施するための形態】
【００４１】
以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
【００４２】
以下では、ダンスの解析を行うダンス解析システムを例に挙げて説明する。
【００４３】
１．ダンス解析システム
１−１．ダンス解析システムの概要
図１は、本実施形態のダンス解析システムの構成例を示す図である。図１に示すように、本実施形態のダンス解析システムは、ユーザー２の身体に装着される１又は複数のセンサーユニット１０と、スマートフォンやタブレットＰＣ（PC: personal computer）などで構成された情報端末２０とを含んで構成されている。なお、情報端末２０は、不図示のネットワークを介して不図示のサーバーとの間で情報通信することが可能な情報端末である。情報端末２０は、例えば本体と操作部（コントローラ）との２つの装置で構成されてもよいが、ここでは情報端末２０が単体の装置であると仮定して説明する。
【００４４】
１−２．センサーユニットの装着具
図１に示すとおり、センサーユニット１０は、ユーザー２の身体に装着される。ここでは、１０個のセンサーユニット１０がユーザー２の身体の互いに異なる１０個の部位へ個別に装着される例を説明する。１０個のセンサーユニット１０の各々は、以下の（１）乃至（１０）である。
【００４５】
（１）ユーザー２の頭部に装着されたセンサーユニット１０−１
（２）ユーザー２の左肘に装着されたセンサーユニット１０−２
（３）ユーザー２の左手首に装着されたセンサーユニット１０−３
（４）ユーザー２の腰部に装着されたセンサーユニット１０−４
（５）ユーザー２の左膝に装着されたセンサーユニット１０−５
（６）ユーザー２の左足首に装着されたセンサーユニット１０−６
（７）ユーザー２の右足首に装着されたセンサーユニット１０−７
（８）ユーザー２の右膝に装着されたセンサーユニット１０−８
（９）ユーザー２の右手首に装着されたセンサーユニット１０−９
（１０）ユーザー２の右肘に装着されたセンサーユニット１０−１０
これら１０個のセンサーユニット１０−１、１０−２、１０−３、１０−４、１０−５、１０−６、１０−７、１０−８、１０−９、１０−１０の間では、構成は共通しているので、以下ではセンサーユニット１０−１、１０−２、１０−３、１０−４、１０−５、１０−６、１０−７、１０−８、１０−９、１０−１０（互いに異なる部位に装着された２以上のセンサー、またはセンサーユニットの一例）の各々を、適宜に「センサーユニット１０」と称す。１０個のセンサーユニット１０の各々は、装着具（例えばベルト状又はテープ状の装着具）を介して各部位に装着されている。
【００４６】
ここで、後述する動画像（図１０、図１１など）においてセンサーユニット１０の装着先となった部位が強調されるように、センサーユニット１０の装着具には、例えば予め決められた色が付与されている。また、後述する動画像（図１０、図１１など）においてユーザー２の各部位が区別されるように、互いに異なる部位に装着される装着具には、例えば互いに異なる色が割り当てられる。例えば、頭部に装着される装着具には赤色、左肘に装着される装着具には青色、左手首に装着される装着具には緑色、…などが割り当てられる。また、ユーザー間での比較が容易となるように、各部位に対する色の割り当て方は、予め決められている。そのために、各装着具は、各部位に専用の装着具として例えば以下のとおり構成されている。
【００４７】
センサーユニット１０−１に専用の装着具には、頭部用の装着具である旨が記載されており、かつ、頭部用の色が付与されている。
【００４８】
また、センサーユニット１０−２に専用の装着具には、左肘用の装着具である旨が記載されており、かつ、左肘用の色が付与されている。
【００４９】
また、センサーユニット１０−３に専用の装着具には、左手首用の装着具である旨が記載されており、かつ、左手首用の色が付与されている。
【００５０】
また、センサーユニット１０−４に専用の装着具には、腰部用の装着具である旨が記載されており、かつ、腰部用の色が付与されている。
【００５１】
また、センサーユニット１０−５に専用の装着具には、左膝用の装着具である旨が記載されており、かつ、左膝用の色が付与されている。
【００５２】
また、センサーユニット１０−６に専用の装着具には、左足首用の装着具である旨が記載されており、かつ、左足首用の色が付与されている。
【００５３】
また、センサーユニット１０−７に専用の装着具には、右足首用の装着具である旨が記載されており、かつ、右足首用の色が付与されている。
【００５４】
また、センサーユニット１０−８に専用の装着具には、右膝用の装着具である旨が記載されており、かつ、右膝用の色が付与されている。
【００５５】
また、センサーユニット１０−９に専用の装着具には、右手首用の装着具である旨が記載されており、かつ、右手首用の色が付与されている。
【００５６】
また、センサーユニット１０−１０に専用の装着具には、右肘用の装着具である旨が記載されており、かつ、右肘用の色が付与されている。
【００５７】
なお、ここでは身体の互いに異なる部位に装着される装着具に対して互いに異なる色を割り当てたが、互いに異なる部位に装着されるセンサーユニット１０又は装着具に対して互いに異なる色を発する発光部（発光ダイオードなど）を設けてもよい。但し、ユーザー２の身体によって発光部が隠れるのを避けるため、１つのセンサーユニットに設けられる発光部の個数は２以上に設定されることが望ましい。
【００５８】
また、ここでは、センサーユニット１０の装着具に色を付したが、センサーユニット１０に色を付してもよい。つまり、センサーユニットに色を付すこと、及び、装着具に色を付すことは、それぞれセンサーユニット１０に色を付すことの一例である。
【００５９】
また、ここでは身体の互いに異なる部位に装着される装着具に対して互いに異なる色を割り当てたが、互いに異なる部位に装着されるセンサーユニット１０に対して互いに異なる色を付与してもよい。
【００６０】
したがって、後述するユーザーダンス解析データ２４３には、ユーザー２に装着された２以上のセンサーにそれぞれ対応する、互いに異なる色の情報が含まれることになる。
【００６１】
なお、ここでは、２以上のセンサーの各々の装着先が予め決められている例を説明したが、２以上のセンサーの各々の装着先が予め決められていない場合には、個々のセンサーの色と装着先との対応関係を示すデータがユーザーダンス解析データ２４３に付加される。その場合は、当該対応関係を示すデータをユーザー２が情報端末２０へ手動で入力すればよい。
【００６２】
また、ここでは、ユーザー２が１０個のセンサーユニット１０を１０個の部位へ装着する例を説明するが、ユーザー２は、何れか１又は複数のセンサーユニット１０の装着を省略することもできる。つまり、ユーザー２が所有するセンサーユニット１０の個数が１０に満たない場合には、ユーザー２の身体に装着されるセンサーユニット１０の個数が１０に満たなくても構わない。また、ユーザー２の習熟度などによっては、例えば、腰部に対するセンサーユニット１０を省略することも可能であるし、ダンスの種類などによっては、例えば、足に対するセンサーユニット１０の装着を省略することも可能である。
【００６３】
１−３．センサーユニットの構成
１０個のセンサーユニット１０の各々の構成は、例えば以下のとおりである。
【００６４】
センサーユニット１０には、少なくとも１つのセンサーが含まれる。例えば、３軸加速度センサーと３軸ジャイロセンサー（角速度センサー）と、通信部とが含まれる。３軸加速度センサーは、３軸（ｘ軸、ｙ軸、ｚ軸）方向の加速度を所定周期で繰り返し検出する。３軸角速度センサーは、３軸（ｘ軸、ｙ軸、ｚ軸）方向の角速度を所定周期で繰り返し検出する。なお、検出軸は３軸以上あってもよい。
【００６５】
センサーは、加速度や角速度等の慣性量を計測可能なセンサーであればよく、例えば、加速度や角速度を計測可能な慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）でもよい。
【００６６】
センサーユニット１０の通信部は、所定周期で取得した時系列の計測データ（時系列の加速度データ、時系列の角速度データ）を、所定周期で情報端末２０へ送信する。時系列の加速度データと時系列の角速度データとの少なくとも一方を含む計測データは、センシングデータの一例である。
【００６７】
なお、センサーユニット１０の通信部と情報端末２０の通信部との間の通信は、例えば近距離無線通信などの所定の通信規格に基づき行われる。例えば、情報端末２０の通信部は、センサーユニット１０の通信部へ時刻情報を送信し、センサーユニット１０の通信部は、計測データを時刻情報に同期して情報端末２０の通信部へ送信する。また、センサーユニット１０の通信部は、情報端末２０の通信部へ計測データを送信する際に、当該計測データに対して自己のセンサー識別情報を付与する。
【００６８】
一方、ユーザー２は、予め、センサーユニット１０の装着先となった部位を示すセンサー装着位置情報と、センサーユニット１０のセンサー識別情報とを、センサーユニットごとに情報端末２０へ入力したものと仮定する。因みに、センサー識別情報の入力は、近距離無線通信において一般に「ペアリング」と呼ばれるものである。入力後、情報端末２０の記憶部には、１０個のセンサーユニット１０の各々のセンサー識別情報と１０個のセンサーユニット１０の各々のセンサー装着位置情報とが対応付けて記憶される。
【００６９】
従って、情報端末２０は、或るセンサーユニット１０から受信した計測データの取得元（つまり身体の部位の種類）を、記憶部に記憶された情報に基づき認識することが可能である。また、ユーザー２が一部の部位に対するセンサーユニット１０の装着を省略した場合には、その旨を情報端末２０が認識することもできる。
【００７０】
なお、センサーユニット１０には、信号処理部が備えられてもよい。センサーユニット１０の信号処理部は、センサーユニット１０の加速度センサー及び角速度センサーから、それぞれ加速度データ及び角速度データ（計測データ）を受け取ると、時刻情報を付すと共に通信用のフォーマットとしてセンサーユニット１０の通信部に出力する。
【００７１】
また、センサーユニット１０の信号処理部は、センサーユニット１０の取り付け角誤差に応じてあらかじめ算出された補正パラメーターを用いて、加速度データ及び角速度データをｘｙｚ座標系のデータに変換する処理を行う。なお、信号処理部が用いるべき補正パラメーターは、後述するキャリブレーションによって決定される（つまり、ユーザー２が所定のポーズで静止したときの計測データに基づき決定される）。
【００７２】
また、センサーユニット１０の信号処理部は、加速度センサー及び角速度センサーの温度補正処理を行ってもよい。あるいは、加速度センサー及び角速度センサーに温度補正の機能が組み込まれていてもよい。
【００７３】
また、センサーユニット１０の加速度センサー及び角速度センサーは、アナログ信号を出力するものであってもよく、この場合は、センサーユニット１０の信号処理部が、加速度センサーの出力信号と角速度センサーの出力信号をそれぞれＡ／Ｄ変換（Ａ／Ｄ：Analog to Digital）して計測データ（加速度データと角速度データ）を生成し、これらを用いて通信用のデータを生成すればよい。
【００７４】
また、センサーユニット１０の通信部は、センサーユニット１０の信号処理部から受け取ったデータを情報端末２０の通信部へ送信する処理や、情報端末２０の通信部から計測開始コマンド等の各種の制御コマンドを受信してセンサーユニット１０の信号処理部に送る処理等を行う。センサーユニット１０の信号処理部は、制御コマンドに応じた各種処理を行う。
【００７５】
なお、センサーユニット１０は、適宜、これらの構成要素の一部が削除又は変更され、あるいは、他の構成要素が付加された構成であってもよい。
【００７６】
また、ここでは、１０個のセンサーユニット１０に上位装置又は下位装置の関係を設けることなく上位装置（マスター装置）としての機能を情報端末２０に付与するが、１０個のセンサーユニット１０の何れか１つにマスター装置としての機能を付与してもよい。
【００７７】
１−４．システムの構成
図２は、ダンス解析システムの構成例を示す図である。
【００７８】
図２に示すように、ダンス解析システムは、例えば、１０個のセンサーユニット１０と、情報端末２０と、サーバー３０とを含む。情報端末２０とサーバー３０とはインターネットなどのネットワーク４０を介して情報通信することが可能である。以下、ユーザー２の身体に装着されたセンサーユニット１０の個数を１０と仮定する。
【００７９】
まず、情報端末２０は、処理部２１（受信処理部、送信部、提示処理部、評価部、通知処理部の各機能部を実現する）、通信部２２、操作部２３、記憶部２４、表示部２５、音出力部２６、通信部２７、及び撮像部２８を含んで構成されている。ただし、情報端末２０は、適宜、これらの構成要素の一部が削除又は変更され、あるいは、他の構成要素が付加された構成であってもよい。
【００８０】
処理部２１は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）等により構成される。処理部２１は、記憶部２４に格納されたプログラムと、操作部２３を介してユーザーが入力した各種のコマンドとに従い各種の処理を行う。処理部２１による処理には、センサーユニット１０が生成するデータに対するデータ処理、表示部２５へ画像を表示させる表示処理、音出力部２６に音を出力させる音出力処理、撮像部２８が取得した画像への画像処理などが含まれる。なお、処理部２１は、単一のプロセッサー（Processor）で構成されて
もよいし、複数のプロセッサー（Processor）により構成されてもよい。
【００８１】
通信部２２は、センサーユニット１０から送信されたデータ（計測データ）を受信し、処理部２１に送る処理や、処理部２１からの制御コマンドをセンサーユニット１０に送信する処理等を行う。
【００８２】
操作部２３は、ユーザー２の操作に応じたデータを取得し、処理部２１に送る処理を行う。操作部２３は、例えば、タッチパネル型ディスプレイ、ボタン、キー、マイクなどであってもよい。なお、本実施形態においては、操作部２３はタッチパネル型ディスプレイであり、ユーザーが手指で操作する例を説明する。
【００８３】
記憶部２４は、例えば、ＲＯＭ（Read Only Memory）やフラッシュＲＯＭ、ＲＡＭ（Random Access Memory）等の各種ＩＣメモリー(IC: Integrated Circuit)やハードディスクやメモリーカードなどの記録媒体等により構成される。記憶部２４は、処理部２１が各種の計算処理や制御処理を行うためのプログラムや、アプリケーション機能を実現するための各種プログラムやデータ等を記憶している。
【００８４】
また、記憶部２４は、処理部２１の作業領域として用いられ、操作部２３が取得したデータ、処理部２１が各種プログラムに従って実行した演算結果等を一時的に記憶する。さらに、記憶部２４は、処理部２１の処理により生成されたデータのうち、長期的な保存が必要なデータを記憶してもよい。なお、記憶部２４に格納された情報の詳細については後述する。
【００８５】
表示部２５は、処理部２１の処理結果を文字、グラフ、表、アニメーション、その他の画像として表示するものである。表示部２５は、例えば、ＣＲＴ(CRT: Cathode Ray Tube
)、ＬＣＤ(LCD: liquid crystal display)、タッチパネル型ディスプレイ、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）などであってもよい。なお、１つのタッチパネル型ディスプレイで操作部２３と表示部２５の機能を実現するようにしてもよい。
【００８６】
音出力部２６は、処理部２１の処理結果を音声やブザー音等の音として出力するものである。音出力部２６は、例えば、スピーカーやブザーなどであってもよい。
【００８７】
通信部２７は、ネットワーク４０を介してサーバー３０の通信部との間でデータ通信を行うものである。例えば、通信部２７は、ダンス解析処理の終了後、処理部２１からダンス解析データを受け取って、サーバー３０の通信部に送信する処理を行う。また、例えば、通信部２７は、画面の表示に必要な情報をサーバー３０の通信部３２から受信して処理部２１に送る処理や、各種の情報を処理部２１から受け取ってサーバー３０の通信部に送信する処理を行う。
【００８８】
撮像部２８は、レンズ、カラー撮像素子、焦点調節機構などを備えたいわゆるカメラであって、レンズが形成する被写界の像を撮像素子により画像化する。撮像素子が取得した画像のデータ（画像データ）は、処理部２１へ送られ、記憶部２４へ保存されたり表示部２５へ表示されたりする。例えば、ユーザー２のダンス中に撮像部２８の撮像素子が所定周期で繰り返し取得した複数フレームの画像データ（カラー動画像データの一例）は、所定のフォーマットでユーザーダンス解析データ２４３の一部として記憶部２４へ保存される。また、ユーザー２のダンス中に撮像部２８の撮像素子が所定周期で繰り返し取得する複数フレームの画像データ（カラー動画像データの一例）は、逐次にライブ映像として表示部２５へ表示される。
【００８９】
処理部２１は、各種プログラムに従い、通信部２２を介してセンサーユニット１０に制御コマンドを送信する処理や、通信部２２を介してセンサーユニット１０から受信したデータに対する各種の計算処理を行う。また、処理部２１は、各種プログラムに従い、記憶部２４からユーザーダンス解析データ２４３を読み出して、通信部２７を介してサーバー３０に送信する処理を行う。また、処理部２１は、各種プログラムに従い、通信部２７を介して、サーバー３０に各種の情報を送信し、サーバー３０から受信した情報に基づいて各種の画面を表示する処理等を行う。また、処理部２１は、その他の各種の制御処理を行う。
【００９０】
例えば、処理部２１は、通信部２７が受信した情報、通信部２２が受信した情報、記憶部２４に格納された情報の少なくとも一部に基づき、表示部２５へ画像（画像、動画像、文字、記号等）を表示させる処理を実行する。
【００９１】
例えば、処理部２１は、通信部２７が受信した情報、通信部２２が受信した情報、記憶部２４に格納された情報の少なくとも一部に基づき、音出力部２６に音（楽器の音、音声、ビート、メトロノーム音、手拍子音、アラーム音、ビープ音（ブザー音）、アナウンス音声など）を出力させる処理を実行する。
【００９２】
なお、情報端末２０あるいはセンサーユニット１０に振動機構を設けておいて、当該振動機構により各種の情報を振動情報に変換してユーザー２に通知してもよい。
【００９３】
次に、サーバー３０は、処理部３１、通信部３２（送信部の一例）、記憶部３４を含んで構成されている。ただし、サーバー３０は、適宜、これらの構成要素の一部が削除又は変更され、あるいは、他の構成要素が付加された構成であってもよい。
【００９４】
記憶部３４は、例えば、ＲＯＭやフラッシュＲＯＭ、ＲＡＭ等の各種ＩＣメモリーやハードディスクやメモリーカードなどの記録媒体等により構成される。記憶部３４は、処理部３１が各種の計算処理や制御処理を行うためのプログラムや、アプリケーション機能を実現するための各種プログラムやデータ等を記憶している。
【００９５】
また、記憶部３４は、処理部３１の作業領域として用いられ、処理部３１が各種プログラムに従って実行した演算結果等を一時的に記憶する。さらに、記憶部３４は、処理部３１の処理により生成されたデータのうち、長期的な保存が必要なデータを記憶してもよい。なお、記憶部３４に格納された情報の詳細については後述する。
【００９６】
通信部３２は、ネットワーク４０を介して情報端末２０の通信部２７との間でデータ通信を行うものである。例えば、通信部３２は、情報端末２０の通信部２７からダンス解析データを受け取って、処理部３１に送る処理を行う。また、例えば、通信部３２は、画面の表示に必要な情報を情報端末２０の通信部２７に送信する処理や、情報を情報端末２０の通信部２７から受信して処理部３１に送る処理を行う。
【００９７】
処理部３１は、各種プログラムに従い、通信部３２を介して情報端末２０からダンス解析データを受信して、記憶部３４に記憶させる（ダンス解析データリストに追加する）処理を行う。また、処理部３１は、各種プログラムに従い、通信部３２を介して、情報端末２０から各種の情報を受信し、各種の画面の表示に必要な情報を情報端末２０に送信する処理等を行う。また、処理部３１は、その他の各種の制御処理を行う。
【００９８】
１−５．情報端末の記憶部に格納される情報
情報端末２０の記憶部２４には、処理部２１によって読み出され、ダンス解析処理を実行するための不図示のダンス解析プログラムが記憶されている。ダンス解析プログラムは
、あらかじめ不揮発性の記録媒体（コンピューターに読み取り可能な記録媒体）に記憶されていてもよいし、処理部２１がネットワークを介して不図示のサーバーあるいはサーバー３０からダンス解析プログラムを受信して記憶部２４に記憶させてもよい。
【００９９】
また、記憶部２４には、図２に示すとおり、身体情報２４１の記憶領域、センサー装着位置情報２４２の記憶領域、ユーザーダンス解析データ２４３の記憶領域、教師ダンス解析データ２４４の記憶領域が設けられる。
【０１００】
身体情報２４１は、ユーザー２が情報端末２０へ予め入力した情報であって、例えば、ユーザー２の腕の長さ、ユーザー２の足の長さ、ユーザー２の身長、ユーザー２の肘から手首までの長さ、ユーザー２の膝から足首までの長さなどの情報を含む。なお、ユーザー２による身体情報の入力は、例えば操作部２３を介して行われる。
【０１０１】
センサー装着位置情報２４２は、ユーザー２がセンサーユニットごとに情報端末２０へ予め登録した情報であって、センサーユニット１０の装着先となった部位を示すセンサー装着位置情報とセンサーユニット１０のセンサー識別情報との対応関係をセンサーユニットごとに表す情報である。なお、ユーザー２によるセンサー識別情報の入力は、例えば近距離無線通信（ペアリング）によって行われ、ユーザー２によるセンサー装着位置情報の入力は、例えば操作部２３を介して行われる。
【０１０２】
ユーザーダンス解析データ２４３は、処理部２１によるダンス解析処理（後述）により所定フォーマットで作成されたデータである。具体的に、ユーザーダンス解析データ２４３は、ユーザー２のダンス中にセンサーユニット１０が取得した計測データ（ユーザーの動作のセンシングデータの一例）と、当該ダンス中に情報端末２０の撮像部２８が取得したユーザー２の動画像データとを、時系列順に対応付けたものである（動画像データの各時刻のフレームには、同じ時刻に取得された計測データが対応付けられている。）。ここで、動画像データは、いわゆる音声付きの動画像データであって、ビデオトラックとオーディオトラックとを含む。ビデオトラックには、ユーザー２による当該ダンスの動画像データが書き込まれており、オーディオトラックには、当該ダンスに用いられた楽曲の音データが書き込まれている。また、ユーザーダンス解析データ２４３には、当該ダンスが行われた時刻（日時）、ユーザー２のユーザー識別情報、当該ダンスに用いられた楽曲の楽曲識別情報などが付与される。
【０１０３】
なお、ユーザーダンス解析データ２４３は、例えばダンス解析処理（後述）が実行される度に作成され、情報端末２０からネットワーク４０を介してサーバー３０へアップロードされる。
【０１０４】
教師ダンス解析データ２４４は、ユーザー２にとって理想的なダンスをする他のユーザー（以下、「教師」という。異なるユーザーの一例である。）のダンス解析データである。教師ダンス解析データ２４４は、ユーザーダンス解析データ２４３と同じフォーマットで作成されており、当該教師のダンス中にセンサーユニット１０が取得した計測データ（教師の動作のセンシングデータの一例）と、当該ダンス中に当該教師の情報端末の撮像部が取得した教師の動画像データ（教師の動作の動画像データの一例）とを、時系列順に対応付けたものである（動画像データの各時刻のフレームには、同じ時刻に取得された計測データが対応付けられている。
【０１０５】
なお、教師ダンス解析データ２４４の生成も、ユーザーダンス解析データ２４３と同様、例えば教師の情報端末を用いて生成することが可能であり、その生成の際には、例えばユーザー２の身体に装着されたのと同様の１０個のセンサーユニット１０が教師の身体の互いに異なる１０個の部位へ個別に装着される。
【０１０６】
この場合、教師ダンス解析データ２４４には、教師に装着された２以上のセンサーにそれぞれ対応する、互いに異なる色の情報が含まれることになる。
【０１０７】
なお、ここでは、２以上のセンサーの各々の装着先が予め決められている例を説明したが、２以上のセンサーの各々の装着先が予め決められていない場合には、個々のセンサーの色と装着先との対応関係を示すデータが教師ダンス解析データ２４４に付加される。その場合は、当該対応関係を示すデータを教師が教師の情報端末へ手動で入力すればよい。
【０１０８】
なお、ここでは、教師ダンス解析データ２４４を実在のユーザーのダンス解析データとするが、コンピューターで生成された仮想ユーザーのダンス解析データであってもよいし、サーバー３０が用意したプロダンサーのダンス解析データやインストラクターのダンス解析データなどであってもよい。
【０１０９】
なお、教師ダンス解析データ２４４は、例えばダンス解析処理（後述）の実行前に、サーバー３０からネットワーク４０を介して情報端末２０へダウンロードされたものである。
【０１１０】
以下では、所定フォーマットで記憶部２４に格納された動画像（ここではダンス解析データに含まれる動画像データに基づく動画像）を表示部２５へ表示させる処理を「動画像の再生」という。
【０１１１】
また、以下では、所定フォーマットで記憶部２４に格納された楽曲（ここではダンス解析データに含まれる音データに基づく楽曲）を音出力部２６から出力させる処理を「楽曲の再生」という。
【０１１２】
また、ここでいう「楽曲」は、複数の音を含む楽曲のみならず、手拍子のみからなるもの、メトロノーム音のみからなるものも含まれる。すなわち、ここでは、少なくとも所定周期で発せられる音が含まれるものを楽曲とする。また、当該音の周期は楽曲の途中で揺らいでもよいし、楽曲の途中で切り替わってもよい。また、以下では、作曲者が同じであってもテンポの異なる２つの楽曲は、異なる楽曲として扱うものとする。
【０１１３】
また、ここでは、情報端末２０の記憶部２４に格納されるユーザーダンス解析データ２４３の数は「１」であり、記憶部２４に格納される教師ダンス解析データ２４４の数は「１」であり、ユーザー２にとって必要なダンス解析データは適宜に上書きされると仮定して説明する。
【０１１４】
１−６．サーバーの記憶部に格納される情報
サーバー３０の記憶部３４には、ダンス解析データリスト３４１がユーザー識別情報ごと（ユーザーＩＤごと）に保管されている。つまり、ダンス解析データリスト３４１には、登録ユーザーの数と同じ数（Ｎ個）のダンス解析データリスト３４１１、３４１２、３４１３、…、３４１Ｎが存在する。
【０１１５】
ダンス解析データリスト３４１１には、ユーザーＩＤ「０００１」が割り当てられたユーザーがサーバー３０にアップロードした、当該ユーザー自身についての１又は複数のダンス解析データが含まれる。なお、１又は複数のダンス解析データの各々には、公開フラグが付与されている。この公開フラグは、当該ユーザーが当該ダンス解析データの公開を許可するか否かを示すフラグである。また、公開フラグの設定（オンとオフとの区別）は、当該ユーザーがサーバー３０へアクセスした際（例えばアップロードの際）に当該ユーザー自身の選択によって行われるものとする。
【０１１６】
ダンス解析データリスト３４１２には、ユーザーＩＤ「０００２」が割り当てられたユーザーがサーバー３０にアップロードした、当該ユーザー自身についての１又は複数のダンス解析データが含まれる。なお、１又は複数のダンス解析データの各々には、公開フラグが付与されている。この公開フラグは、当該ユーザーが当該ダンス解析データの公開を許可するか否かを示すフラグである。また、公開フラグの設定（オン／オフ）は、当該ユーザーがサーバー３０へアクセスした際（例えばアップロードの際）に当該ユーザー自身の選択によって行われるものとする。
【０１１７】
ダンス解析データリスト３４１３には、ユーザーＩＤ「０００３」が割り当てられたユーザーがサーバー３０にアップロードした、当該ユーザー自身についての１又は複数のダンス解析データが含まれる。なお、１又は複数のダンス解析データの各々には、公開フラグが付与されている。この公開フラグは、当該ユーザーが当該ダンス解析データの公開を許可するか否かを示すフラグである。また、公開フラグの設定（オン／オフ）は、当該ユーザーがサーバー３０へアクセスした際（例えばアップロードの際）に当該ユーザー自身の選択によって行われるものとする。
【０１１８】
ダンス解析データリスト３４１Ｎには、ユーザーＩＤ「０００Ｎ」が割り当てられたユーザーがサーバー３０にアップロードした、当該ユーザー自身についての１又は複数のダンス解析データが含まれる。なお、１又は複数のダンス解析データの各々には、公開フラグが付与されている。この公開フラグは、当該ユーザーが当該ダンス解析データの公開を許可するか否かを示すフラグである。また、公開フラグの設定（オン／オフ）は、当該ユーザーがサーバー３０へアクセスした際（例えばアップロードの際）に当該ユーザー自身の選択によって行われるものとする。
【０１１９】
なお、サーバー３０の処理部３１は、何れかのユーザーの情報端末からネットワーク４０及び通信部３２を介して登録要求を受信すると、新規のユーザーＩＤの使用許可を当該ユーザーに与えると共に、当該ユーザーＩＤに対応するダンス解析データリストの書き込み領域を記憶部３４に設ける。これによって、当該ユーザーのサーバー３０への登録手続きが完了する。
【０１２０】
また、サーバー３０の処理部３１は、登録済みである何れかのユーザーの情報端末からネットワーク４０及び通信部３２を介してアップロード要求を受信すると、当該ユーザーの情報端末に対してダンス解析データの送信を許可する。その後、サーバー３０の処理部３１は、当該ユーザーの情報端末から当該ダンス解析データを受信すると、当該ユーザーのユーザーＩＤに対応するダンス解析データリストに対して受信したダンス解析データを追加する。
【０１２１】
１−７．情報端末のモードについて
情報端末２０のモードには、例えば、ダンス解析モード（リアルタイムフィードバックモード）、データ選択モード、アフターフィードバックモード、編集モードなどがある。
【０１２２】
なお、図７には、データ選択用のタブと、ダンス解析用のタブと、アフターフィードバック用のタブとを含む選択画面が表示部２５に表示された例を示した。この場合、データ選択用のタブをユーザー２が手指でタップすると、情報端末２０はデータ選択モードに設定され、ダンス解析用のタブをユーザー２が手指でタップすると、情報端末２０はダンス解析モードに設定され、アフターフィードバック用のタブをユーザー２が手指でタップすると、情報端末２０はアフターフィードバックモードに設定される。なお、図７では、編集モードのタブを省略した。また、情報端末２０のモードを切り替えるためのユーザー２の操作は、タブのタップに限定されることはない。また、タブを用いない表示形式を採用
することも可能である。
【０１２３】
１−７−１．ダンス解析モード
ダンス解析モードは、ユーザー２がダンストレーニングを行いつつ自分のダンス解析データを情報端末２０へ記録するモードである。
【０１２４】
ダンス解析モードにおける情報端末２０の処理部２１は、教師ダンス解析データ２４４に含まれる動画像及び楽曲を再生する（動画像データをユーザーへ提示することの一例）。
【０１２５】
また、再生中に、情報端末２０の処理部２１は、センサーユニット１０から送信される計測データを逐次に受信すると共に、撮像部２８を駆動してユーザー２の動画像データを取得する。
【０１２６】
また、再生中に、情報端末２０の処理部２１は、教師ダンス解析データ２４４に含まれる計測データと受信した計測データとのうち、楽曲における現在の再生箇所に対応する計測データ同士のずれ（計測データのずれは、例えば図３に示す２つの波形の縦軸方向の差分が反映された値である。計測データのずれの計算の方法については、後述する。）を計算し（評価の一例）、当該ずれが閾値を超過した場合には、その旨（評価の結果の一例）をユーザー２へ通知（リアルタイムフィードバック）する。フィードバックの態様の例については後述する。なお、ここでは計測データのずれを評価に用いるが、計測データのずれの代わりに計測データの相関度（一致度）を評価に用いてもよい。
【０１２７】
また、再生中に、情報端末２０の処理部２１は、表示部２５に表示中の教師の動画像に重畳して又は並べてユーザー２のライブ映像（撮像部２８が生成する動画像データに基づく動画像である。）を表示する。なお、図１０には、教師の動画像に並べてユーザー２のライブ映像が表示された例を示した。
【０１２８】
また、再生が終了すると、情報端末２０の処理部２１は、楽曲の全区間におけるずれの割合をシンクロ率として算出し、例えば図１２に示すとおり文字イメージとして表示部２５へ表示する（シンクロ率の計算方法については、後述する。）。
【０１２９】
また、情報端末２０の処理部２１は、再生中にセンサーユニット１０から送信された計測データと、再生中に撮像部２８が生成した動画像データとに基づき、ユーザーダンス解析データ２４３を生成して記憶部２４へ所定フォーマットで保存する。なお、ユーザーダンス解析データ２４３に盛り込まれる楽曲の音データは、教師ダンス解析データ２４４に含まれる楽曲の音データと同じである。
【０１３０】
このように、ダンス解析モードにおける情報端末２０の処理部２１は、ユーザーの計測データと教師の計測データとのずれを、ユーザー２に対して適当な態様かつ適当なタイミングで通知することで、ユーザー２による単独での動作習得を容易にする。
【０１３１】
なお、ダンス解析モードにおける処理部２１は、ユーザー２が指定した部分（練習または確認したい部分）を繰り返し再生できるようにしてもよい。
【０１３２】
繰り返しの再生の方法としては、例えば、以下の（１）、（２）の少なくとも一方が採用可能である。
【０１３３】
（１）教師の動画像とユーザー２の動画像の少なくとも一方を処理部２１が繰り返し再生する（例えば、教師の動画像とユーザー２の動画像との両方を繰り返し再生する）。
【０１３４】
（２）教師の動画像とユーザー２の動画像の少なくとも一方のうち、ユーザー２が希望する部分を処理部２１が繰り返し再生する。
【０１３５】
また、繰り返し部分の選択の方法としては、例えば、以下の（ａ）、（ｂ）の少なくとも一方が採用可能である。
【０１３６】
（ａ）処理部２１がユーザーに希望の個所を指定させる。
【０１３７】
（ｂ）楽曲（動画像）の中でずれが閾値を超過した部分を処理部２１がユーザー２に提示して、ユーザー２が該当箇所を選択すると、処理部２１が該当箇所を繰り返し再生する。
【０１３８】
なお、ダンス解析モードにおける情報端末２０の動作のフローは後述する。
【０１３９】
１−７−２．データ選択モード
データ選択モードは、サーバー３０に保管されているダンス解析データの１つをユーザー２が選択して情報端末２０へダウンロードするためのモードである。
【０１４０】
ここでは、ダンス解析モードに先立ち、ユーザー２以外のユーザーのダンス解析データの１つを教師ダンス解析データとしてユーザー２が選択する場合を例に挙げて説明する。
【０１４１】
データ選択モードにおける情報端末２０の処理部２１は、ネットワーク４０を介してサーバー３０へアクセスし、ユーザー２以外のユーザーのダンス解析データのうち、公開フラグがオンされているダンス解析データの一覧情報を、サーバー３０から受信する。
【０１４２】
次に、情報端末２０の処理部２１は、受信した一覧情報に含まれる１又は複数の楽曲名（図７参照）を表示部２５へ表示し、ユーザー２に所望の楽曲名を選択させる。次に、情報端末２０の処理部２１は、ユーザー２が選択した楽曲名に該当するダンス解析データの一覧を表示し、ユーザー２に所望のダンス解析データを選択させる。なお、図７には、ユーザー２が選択可能なダンス解析データの一覧が表示部２５に表示された様子を示した。この一覧の中からユーザー２が所望のダンス解析データを１つ選択する。ユーザー２による選択は、操作部２３を介して行われる。
【０１４３】
そして、情報端末２０の処理部２１は、ネットワーク４０を介してサーバー３０へアクセスし、ユーザー２が選択したダンス解析データをサーバー３０からダウンロードする。つまり、処理部２１は、ユーザー２が選択したダンス解析データをサーバー３０から受信し、記憶部２４へ教師ダンス解析データ２４４として書き込む。
【０１４４】
但し、情報端末２０の処理部２１は、書き込むべき教師ダンス解析データと同じ内容の教師ダンス解析データ２４４が記憶部２４に格納済みである場合は、ダウンロードを省略する。
【０１４５】
また、サーバー３０が一覧情報に視聴用のデータ（サムネイル）を付与しておくことで、ユーザーがダンス解析データをダウンロードする前に当該ダンス解析データの内容を確認できるようにしてもよい。
【０１４６】
なお、ここでは、ダンス解析モードに先立ち情報端末２０が他のユーザーのダンス解析データの１つを教師ダンス解析データとしてユーザー２に選択させる場合を説明したが、同様に、アフターフィードバックモードに先立ち情報端末２０がユーザーのダンス解析デ
ータの１つをアフターフィードバックの対象としてユーザー２に選択させることも可能である。
【０１４７】
また、ダンス解析モードにおける情報端末２０及びサーバー３０の動作のフローは後述する。
【０１４８】
１−７−３．アフターフィードバックモード
アフターフィードバックモードは、ダンストレーニング後に、ユーザー２が自分のダンスを振り返るモードである。
【０１４９】
アフターフィードバックモードにおける情報端末２０の処理部２１は、教師ダンス解析データ２４４に含まれる動画像及び楽曲を再生しながら、ユーザーダンス解析データ２４３に含まれる動画像を再生する。
【０１５０】
再生中に、情報端末２０の処理部２１は、表示部２５に表示中の教師の動画像に重畳して又は並べてユーザー２の動画像を表示する。なお、図１３には、教師の動画像に重畳してユーザー２の動画像が表示された例を示した。
【０１５１】
なお、教師の動画像データと、ユーザー２の動画像データとの少なくとも一方は、実在のユーザーを写した実写動画像データであってもよいが、人型モデルを含んだＣＧアニメーションデータ(CG: computer graphics)であってもよい。
【０１５２】
また、再生が終了すると、情報端末２０の処理部２１は、楽曲の全区間におけるずれの割合をシンクロ率として算出し、例えば図１２に示すとおり文字イメージとして表示部２５へ表示する。なお、シンクロ率の計算方法については後述する。
【０１５３】
また、再生中に、情報端末２０の処理部２１は、教師ダンス解析データ２４４に含まれる計測データとユーザーダンス解析データ２４３に含まれる計測データとのうち、楽曲における現在の再生箇所に対応する計測データ同士のずれを計算し、当該ずれが閾値より大きい場合には、その旨をユーザー２へ通知（アフターフィードバック）する。フィードバックの態様の例については後述する。
【０１５４】
また、図１３に示すとおり、アフターフィードバックモードにおける表示部２５には、再生ボタン、一時停止ボタン、などの制御ボタン２５Ａが配置されている。ユーザー２は、制御ボタン２５Ａを手指で操作することにより、楽曲における現在の再生箇所を変化させたり、再生速度を調節したり、再生を停止したりすることができる。なお、制御ボタン２５Ａは、操作部２３の一部である。
【０１５５】
なお、アフターフィードバックモードにおける情報端末２０の動作のフローは後述する。
【０１５６】
１−７−４．編集モード
編集モードは、ユーザーダンス解析データ２４３又は教師ダンス解析データ２４４の編集をユーザー２が行うモードである。
【０１５７】
編集モードにおける情報端末２０の処理部２１は、ユーザーダンス解析データ２４３又は教師ダンス解析データ２４４に含まれる楽曲の音データをユーザー２に編集させる。
【０１５８】
ここでいう編集には、例えば、楽曲の一部の区間を抽出することや、楽曲に含まれる一部のパートを変更したりすることなどが含まれる。例えば、パートの変更とは、楽曲に含
まれる手拍子のリズムを別のリズムに変更することや、楽曲に含まれるベースパートの音色を別の音色に変更することなどを指す。
【０１５９】
また、情報端末２０の処理部２１は、ユーザーダンス解析データ２４３に含まれる音データの一部の区間（ここでいう区間とは時間方向の区間のことである）が抽出された場合には、ユーザーダンス解析データ２４３に含まれる計測データ及び動画像データの同じ区間を抽出し、抽出した音データ、計測データ、動画像データにより、新たなダンス解析データを作成して記憶部２４へ記憶する。
【０１６０】
１−８．フィードバックの態様
フィードバックの態様の例を幾つか説明する。
【０１６１】
情報端末２０の処理部２１がユーザー２に行うフィードバックには、（１）音によるフィードバック、（２）動画像によるフィードバック、（３）振動によるフィードバック、（３）触覚によるフィードバックなどがある。例えば、ユーザー２は、予めフィードバックの態様として予め（１）〜（４）のうち１又は複数を選択し、情報端末２０へ指定することができる。ユーザー２による指定は、情報端末２０の操作部２３を介して行われる。
【０１６２】
以下、フィードバック（１）〜（４）を順に説明する。
【０１６３】
（１）音によるフィードバック
情報端末２０の処理部２１は、１０個のセンサーユニット１０のうち、前述したずれが閾値を超過したセンサーユニット１０が存在する場合に、ビープ音（ブザー音）を音出力部２６に出力させ、存在しない場合に、ビープ音（ブザー音）を音出力部２６に出力させない。また、情報端末２０の処理部２１は、当該ずれの絶対値が大きいときほど、大きなビープ音（ブザー音）を音出力部２６に出力させる。
【０１６４】
なお、再生中の楽曲に含まれる音と区別できるよう、ビープ音（ブザー音）は、特徴的な音（ピッチが不安定な音、不協和音など）に設定される。
【０１６５】
なお、ビープ音（ブザー音）の代わりに、アラーム音、アナウンス音声が用いられてもよいし、楽曲に含まれる手拍子とは異なるリズムパターンの手拍子が用いられてもよい。また、アナウンス音声としては、「右手首がずれています」など、ずれが閾値を越えたセンサーユニット１０の装着先を示す音声が用いられてもよい。また、アナウンス音声としては、「大きくずれています」など、ずれの程度を示す音声が用いられてもよい。
【０１６６】
（２）動画像によるフィードバック
情報端末２０の処理部２１は、１０個のセンサーユニット１０のうち、前述したずれが閾値を超過したセンサーユニット１０が存在する場合に、ライブ映像における当該センサーユニット１０の装着先（装着先となった部位）を強調表示し（図１０、図１１を参照）、存在しない場合に、強調表示を行わない。また、情報端末２０の処理部２１は、当該ずれの絶対値が大きいときほど、強調度を高める。
【０１６７】
ここで、ライブ映像における当該部位の強調は、例えば次のとおり行われる。すなわち、情報端末２０の処理部２１は、当該センサーユニット１０の装着具と同じ色の領域をライブ映像の各フレームから検出し、検出した領域の輝度を各フレームにおいて向上させる。なお、各フレームに対する検出の処理及び輝度向上の処理に要する時間は、ライブ映像のフレーム周期よりも短いものとする。この場合、ライブ映像における当該部位の強調は、逐次に（リアルタイムに）行われることになる。
【０１６８】
なお、ライブ映像の他の部分と区別できるよう、当該領域の輝度は十分に高い値に設定される。また、当該領域の輝度を高める代わりに、当該領域の彩度を高めてもよいし、当該領域と共に当該領域の周辺領域を強調してもよい。また、ライブ映像のほかの部分と区別できるよう、当該領域を点滅表示してもよい。
【０１６９】
図１０は、ユーザー２の右手首及び右肘の位置が理想位置から外れており、右手首の近傍と右肘の近傍とが表示部２５の画面上で強調された様子を示している。
【０１７０】
図１１は、ユーザー２の左手首及び左肘の位置が理想位置から外れており、左手首の近傍と左肘の近傍とが表示部２５の画面上で強調された様子を示している。
【０１７１】
なお、図１０、図１１では、ユーザー２を背中側から見たライブ映像（撮像部２８が取得したライブ映像を左右反転させたもの）が表示部２５に表示された例を示しているが、ユーザー２を正面側から見たライブ映像（撮像部２８が取得したライブ映像を左右反転させないもの）を表示部２５に表示させてもよい。
【０１７２】
また、図１０、図１１では、教師の動画像とユーザー２のライブ映像とを並べて表示させた例を示したが、教師の動画像とユーザー２のライブ映像とは重ねて表示させてもよい。
【０１７３】
（３）振動によるフィードバック
振動によるフィードバックを行うために、１０個のセンサーユニット１０の各々には予め振動機構が設けられる。情報端末２０の処理部２１は、近距離無線通信などを介してセンサーユニット１０へ振動機構の駆動信号を与えることにより、センサーユニット１０の振動機構を振動させる。
【０１７４】
情報端末２０の処理部２１は、１０個のセンサーユニット１０のうち、前述したずれが閾値を超過したセンサーユニット１０が存在する場合に、当該センサーユニット１０に対して駆動信号を与え、存在しない場合に、駆動信号を与えない。また、情報端末２０の処理部２１は、当該ずれの絶対値が大きいときほど、強い駆動信号（強く振動するための駆動信号）を与える。
【０１７５】
なお、ずれの絶対値に応じて振動の強度を変化させる代わりに、ずれの絶対値に応じて振動パターンを変化させてもよい。また、振動の強度と振動のパターンとの組み合わせを、ずれの絶対値に応じて変化させてもよい。
【０１７６】
（４）触覚によるフィードバック
触覚によるフィードバックを行うために、１０個のセンサーユニット１０の各々には予め触覚技術（haptic technology）による触覚フィードバック機能が搭載される。
【０１７７】
触覚技術は、動き（振動）による刺激、電気的刺激、などの刺激を発生させることでユーザー２へ皮膚感覚フィードバックを与える公知の技術である。情報端末２０の処理部２１は、近距離無線通信などを介してセンサーユニット１０へ駆動信号を与えることにより、センサーユニット１０の触覚フィードバック機能をオンする。
【０１７８】
情報端末２０の処理部２１は、１０個のセンサーユニット１０のうち、前記ずれが閾値を超過したセンサーユニット１０が存在する場合に、当該センサーユニット１０に対して駆動信号を与え、存在しない場合に、駆動信号を与えない。また、情報端末２０の処理部２１は、当該ずれの大きさに応じた駆動信号を与えることにより、当該ずれが圧縮される方向に触覚フィードバックを発生させる。これによって、当該センサーユニット１０の装
着先となった部位の位置が理想的な位置へ移動するようユーザー２を誘導することができる。
【０１７９】
１−９．キャリブレーション
上述したダンス解析モードの当初（楽曲の再生前）において、情報端末２０の処理部２１は、ユーザー２に装着されたセンサーユニット１０の各々のキャリブレーションを行う。
【０１８０】
センサーユニット１０のキャリブレーションは、センサーユニット１０に搭載された信号処理の補正パラメーターを設定する処理のことである。補正パラメーターを正しく設定すると、ユーザー２に対するセンサーユニット１０の取り付け誤差や、ユーザー２と教師との間の体格差に依らずに、ユーザーの計測データと教師の計測データとを正しく比較すること（つまり、ユーザー２のダンスを正しく評価すること）が可能である。
【０１８１】
センサーユニット１０のキャリブレーションは、例えば以下の手順で行われる。
【０１８２】
先ず、情報端末２０の処理部２１は、表示部２５に対するライブ映像の表示を開始し、かつ、センサーユニット１０に計測開始コマンドを送信して計測データの取得を開始すると、ユーザー２に対して所定のポーズをとるように指示する。例えば、処理部２１は、図８に示すように所定のポーズをした人型の輪郭線（図８の点線枠を参照。以下、「ガイド枠」と称す。）を表示部２５へ表示する。図８には「人型に収まるようにカメラをセットしてポーズをとってください」という文字イメージが表示部２５に表示された例を示した。
【０１８３】
ユーザー２は、表示部２５の画面を確認しつつ、当該ガイド枠（図８の点線枠）に自分の身体が収まるように、情報端末２０の位置、姿勢、自分の姿勢を調節することで、簡単かつ確実に所定のポーズをとることができる。
【０１８４】
ユーザー２が所定のポーズをとって静止すると、センサーユニット１０から情報端末２０へ送信される計測データの値は安定し、かつ、ライブ映像に写っている装着具（部位ごとに異なる色が付与されている）が人型のガイド枠内に収まるはずである。
【０１８５】
そこで、情報端末２０の処理部２１は、センサーユニット１０から受信する計測データの値を監視すると共に、ライブ映像に写っている装着具（部位ごとに異なる色が付与されている）を画像処理によって検出する（画像処理はパターン認識などと呼ばれる処理である。）。
【０１８６】
そして、情報端末２０の処理部２１は、計測データの値が安定し、かつ、装着具が人型のガイド枠内に収まっている場合に、ユーザー２が所定のポーズで静止したと判定し、ユーザー２が所定のポーズで静止している期間中にセンサーユニット１０から受信した計測データの値と、ユーザー２の身体情報とを用いて、センサーユニット１０の補正パラメーターを決定し、近距離無線通信などを介してセンサーユニット１０へ送信する。
【０１８７】
補正パラメーターを受信したセンサーユニット１０は、補正パラメーターをセンサーユニット１０の信号処理部に設定する。これによって、センサーユニット１０のキャリブレーションは完了である。
【０１８８】
ユーザー２の身体に装着された全てのセンサーユニット１０についてのキャリブレーションが完了すると、情報端末２０の処理部２１は、教師ダンス解析データ２４４に含まれる楽曲及び動画像の再生を開始すると共に、ユーザー２に対してダンス開始の許可を通知
する。図９には、「曲に合わせて踊ってください」という文字イメージを表示部２５へ表示することによりダンス開始の許可がユーザー２に通知された様子を示している。なお、この通知は、他の態様により行われてもよい。
【０１８９】
１−１０．ずれの計算
以下、教師ダンス解析データ２４４に含まれる計測データと、センサーユニット１０から送信される計測データ又はユーザーダンス解析データ２４３に含まれる計測データとの間のずれの計算（ユーザーの動作の評価の一例）の方法について説明する。
【０１９０】
ここでは、教師ダンス解析データ２４４に含まれる計測データを「教師の計測データ」と称し、センサーユニット１０から送信される楽曲１つ分の計測データ又はユーザーダンス解析データ２４３に含まれる計測データを「ユーザーの計測データ」と称す。また、ここでは、楽曲の区間ごと（例えば１／２拍ごと、１／６０秒ごと、１小節ごとなど）にずれが計算されると仮定する。
【０１９１】
先ず、或る１つの教師の計測データには、最大で１０種類の部位に関する計測データが含まれる。また、１０種類の部位の各々の計測データには、３軸加速度データ及び３軸角速度データという６種類の計測データが含まれる。よって、教師の計測データには、部位又は計測量の異なる６０種類の計測データが含まれる。
【０１９２】
同様に、或る１つのユーザーの計測データには、最大で１０種類の部位に関する計測データが含まれる。また、１０種類の部位の各々の計測データには、３軸加速度データ及び３軸角速度データという６種類の計測データが含まれる。よって、ユーザーの計測データには、部位又は計測量の異なる６０種類の計測データが含まれる。
【０１９３】
情報端末２０の処理部２１は、楽曲の同一タイミングに対応付けられた教師の計測データとユーザーの計測データとの間の差分を、部位ごとかつ計測量ごとに計算する。そして、情報端末２０の処理部２１は、当該タイミングについて部位ごとかつ計測量ごとに計算した差分の大きさの総計を、当該タイミングのずれとして計算する。
【０１９４】
図３に示すのは、同一楽曲の同一区間に関する教師の腰部の姿勢データ（角速度データの時間積分値である。以下も同様。）とユーザーの腰部の姿勢データとを比較するグラフである。図３の横軸は、時間軸であり、縦軸は、姿勢データの軸である。図３に示す２つの曲線の一方が教師の姿勢データであり、他方がユーザーの姿勢データである。
【０１９５】
図４に示すのは、同一楽曲の別の同一区間に関する教師の腰部の姿勢データとユーザーの腰部の姿勢データとを比較するグラフである。図４の横軸は、時間軸であり、縦軸は、姿勢データの軸である。図４に示す２つの曲線の一方が教師の姿勢データであり、他方がユーザーの姿勢データである。
【０１９６】
図３に示す例では、教師の計測データとユーザーの計測データとの間で、縦軸方向に若干のずれがあるものの、横軸方向にはほとんどずれが無い。
【０１９７】
一方、図４に示す例では、教師の計測データとユーザーの計測データとの間で、横軸方向に大幅なずれがある。
【０１９８】
このため、図３に示す例では、区間内の各タイミングのずれは、図４に示す例と比較して小さく計上され、図４に示す例では、区間内の各タイミングのずれは、図３に示す例と比較して大きく計上されるはずである。
【０１９９】
図５に示すのは、同一楽曲の別の同一区間に関する教師の腰部の姿勢データとユーザーの腰部の姿勢データとを比較するグラフである。図５の横軸は、時間軸であり、縦軸は、姿勢データの軸である。図５に示す２つの曲線の一方が教師の姿勢データであり、他方がユーザーの姿勢データである。
【０２００】
図５に示す例では、教師の計測データとユーザーの計測データとの間で、縦軸方向にも横軸方向にもほとんどずれが無い。
【０２０１】
したがって、図５に示す例では、区間内の各タイミングのずれは、図３又は図４に示す例と比較して小さく計上されるはずである。
【０２０２】
図６に示すのは、同一楽曲の別の同一区間に関する教師の腰部の加速度データと、３人のユーザーの腰部の加速度データとを比較するグラフである。図６の横軸は、時間軸であり、縦軸は、加速度データの軸である。図６に示す４つの曲線のうち１つ（「教師」）が教師の加速度データであり、他の３つ（「Ａさん」，「Ｂさん」，「Ｃさん」）が３人のユーザーＡ，Ｂ，Ｃの加速度データである。
【０２０３】
図６に示す例では、ユーザーＡ，Ｂ，Ｃの加速度データは、教師の加速度データとはずれているものの、ユーザーＡの加速度データのカーブの凹凸パターンは、教師の加速度データの凹凸パターンと類似しているので、ユーザーＡについてのずれは、他のユーザーＢ，Ｃについてのずれよりも小さく計上されるはずである。
【０２０４】
１−１１．シンクロ率の計算
シンクロ率は、以下の手順で算出することが可能である。
【０２０５】
先ず、情報端末２０の処理部２１は、前述した楽曲の再生中に、各区間について算出した計測データのずれの絶対値を、ずれを算出する度に累積する。
【０２０６】
また、処理部２１は、絶対値の累積を楽曲の再生が完了するまで繰り返し、完了の時点における累積値を、楽曲の全体についての絶対値の総和として求める。
【０２０７】
次に、処理部２１は、当該総和を所定の理想値で除算することにより、シンクロ率を算出する。
【０２０８】
ここで、所定の理想値は、ゼロに近い値であるが、ユーザー２に装着されたセンサーユニット１０の個数が多いほど、また、ダンスに用いられた楽曲の区間数が多いときほど、大きな値に設定されることが望ましい。
【０２０９】
そこで、情報端末２０の処理部２１は、楽曲の再生に当たり、センサーユニット１０の個数と楽曲の区間数とを所定の関数へ当てはめることで、当該理想値を算出するものとする。また、所定の関数は、ダンス解析システムの製造者などによって予め用意され、記憶部２４に保管されているものとする。
【０２１０】
１−１２．データ選択モードにおける情報端末のフロー及びサーバーのフロー
図１４は、データ選択モードにおける情報端末のフローチャートであり、図１５は、データ選択モードにある情報端末と通信を行うサーバーのフローチャートである。
【０２１１】
情報端末２０の処理部２１は、記憶部２４に記憶されているプログラムを実行することにより、図１４のフローチャートの手順で処理を実行する。また、サーバー３０の処理部３１は、記憶部３４に記憶されているプログラムを実行することにより、図１５のフロー
チャートの手順で処理を実行する。以下、図１４及び図１５のフローチャートについて説明する。
【０２１２】
まず、情報端末２０の処理部２１は、サーバー３０に、ユーザー２に割り当てられたユーザー識別情報（ユーザーＩＤ）を送信する（図１４のＳ１００）。
【０２１３】
次に、サーバー３０の処理部３１は、ユーザー識別情報を受信し、ユーザー識別情報に対応するダンス解析データの一覧情報（ユーザー２のダンス解析データの一覧情報）と、ユーザー２以外のユーザーのダンス解析データのうち公開フラグがオンされているものの一覧情報（他のユーザーのダンス解析データの一覧情報）とを送信する（図１５のＳ２００）。
【０２１４】
次に、情報端末２０の処理部２１は、ユーザー２のダンス解析データの一覧情報及び他のユーザーのダンス解析データの一覧情報を受信し、ユーザー２のダンス解析データの一覧と、他のユーザーのダンス解析データの一覧との少なくとも一方を、表示部２５に表示させる（図１４のＳ１１０）。
【０２１５】
なお、処理部２１は、ダンス解析データの一覧を表示させる前に、一覧情報に含まれる１又は複数の楽曲名を表示部２５へ表示し、ユーザー２に所望の楽曲名を選択させることで、表示部２５に表示させるダンス解析データの一覧から、ユーザー２が選択しなかった楽曲名に該当するダンス解析データを除外してもよい。これによって、表示すべき一覧の情報量を削減することができる。
【０２１６】
そして、情報端末２０の処理部２１は、ダンス解析データが選択されるまで待機し（図１４のＳ１２０のＮ）、選択されると（図１４のＳ１２０のＹ）、サーバー３０にダンス解析データの選択情報（ユーザー２による選択結果）を送信する（図１４のＳ１３０）。
【０２１７】
次に、サーバー３０の処理部３１は、ダンス解析データの選択情報を情報端末２０から受信する（図１５のＳ２１０）。
【０２１８】
次に、サーバー３０の処理部３１は、選択情報によって示される、ユーザー２の選択したダンス解析データを、情報端末２０へ送信し（図１５のＳ２４０）、処理を終了する。
【０２１９】
次に、情報端末２０の処理部２１は、ダンス解析データをサーバー３０から受信すると、ダンス解析データを記憶部２４へ保存し（図１４のＳ１４０）、処理を終了する。
【０２２０】
なお、図１４のフローチャートにおいて、可能な範囲で各工程の順番を適宜変えてもよいし、一部の工程を削除あるいは変更してもよいし、他の工程を追加してもよい。同様に、図１５のフローチャートにおいて、可能な範囲で各工程の順番を適宜変えてもよいし、一部の工程を削除あるいは変更してもよいし、他の工程を追加してもよい。
【０２２１】
１−１３．ダンス解析モードにおける情報端末のフロー
図１６は、ダンス解析モードにおける処理部２１の処理（ダンス解析処理）の手順の一例を示すフローチャート図である。処理部２１は、記憶部２４に記憶されているプログラムを実行することにより、例えば、図１６のフローチャートの手順で処理を実行する。以下、図１６のフローチャートについて説明する。
【０２２２】
まず、処理部２１は、ユーザー２による計測開始操作が行われるまで待機し（Ｓ１０のＮ）、計測開始操作が行われると（Ｓ１０のＹ）、ユーザー２の身体に装着された全てのセンサーユニット１０へ計測開始コマンドを送信し、それらセンサーユニット１０からの
計測データの受信と、ユーザー２の動画像データの取得と、ライブ映像の表示とをそれぞれ開始する（Ｓ１２）。
【０２２３】
次に、処理部２１は、ユーザー２に所定ポーズをとるように指示する（Ｓ１４）。ユーザー２は、この指示に従い、所定ポーズをとって静止する。
【０２２４】
次に、処理部２１は、センサーユニット１０から取得した計測データ及びライブ映像に基づきユーザー２が所定ポーズで所定期間に亘って静止したか否かを判定（Ｓ１６）し、静止したと判定した場合（Ｓ１６Ｙ）に、センサーユニット１０のキャリブレーションを行い（Ｓ１８）、そうでない場合（Ｓ１６Ｎ）に待機する。
【０２２５】
次に、処理部２１は、撮像部２８が生成する動画像データの記憶部２４への蓄積（すなわち記録）を開始し、センサーユニット１０から受信する計測データの記憶部２４への蓄積（すなわち記録）を開始する（Ｓ２０）。
【０２２６】
次に、処理部２１は、教師ダンス解析データ２４４に含まれる楽曲及び動画像の再生を開始し、ダンス開始の許可をユーザー２へ通知する（Ｓ２２）。
【０２２７】
なお、ステップＳ２２における処理部２１は、表示部２５に対してユーザー２のライブ映像と共に教師の動画像を並べて又は重畳して表示する（図１０には、教師の動画像とユーザー２のライブ映像とが並べて表示された例を示した。）。ユーザー２は、楽曲の再生開始又は許可の通知を確認すると、ダンス動作を開始する。
【０２２８】
なお、ユーザー２は、楽曲の再生が開始されたことによりダンス開始が許可される旨を認識できるので、ステップＳ２２における処理部２１は、ユーザー２に対する許可の通知を省略してもよい。
【０２２９】
次に、処理部２１は、ユーザー２の身体に装着された全てのセンサーユニット１０の各々から受信する計測データと教師ダンス解析データ２４４に含まれる計測データとのずれの算出を開始する（Ｓ２４）。
【０２３０】
次に、処理部２１は、ずれが閾値を超過したセンサーユニット１０が存在するか否かの判定（ユーザーの動作の評価の一例）を行い（Ｓ２６）、存在すると判定した場合（Ｓ２６Ｙ）には、その旨をユーザー２へ通知し（Ｓ２８）、そうでない場合（Ｓ２６）には、通知を行わない。つまり、処理部２１はリアルタイムフィードバックを行う。
【０２３１】
次に、処理部２１は、楽曲の再生（及び動画像の再生）が終了したか否かを判定し、終了したと判定した場合（Ｓ３０Ｙ）には、ダンス解析データの生成処理（Ｓ３２）へ移行し、そうでない場合（Ｓ３０Ｎ）には、ずれの判定処理（Ｓ２６）へ戻る。
【０２３２】
ダンス解析データの生成処理（Ｓ３２）において、処理部２１は、シンクロ率を算出して表示部２５へ表示する。また、処理部２１は、記憶部２４に蓄積された動画像データ及び計測データと、教師ダンス解析データ２４４に含まれる楽曲の音データとに基づきユーザーダンス解析データ２４３を所定フォーマットで生成して記憶部２４へ保存すると、フローを終了する。
【０２３３】
なお、ステップＳ３２における処理部２１は、生成したユーザーダンス解析データ２４３をサーバー３０へ自動的にアップロードしてもよい。
【０２３４】
また、図１６のフローチャートにおいて、可能な範囲で各工程の順番を適宜変えてもよ
いし、一部の工程を削除あるいは変更してもよいし、他の工程を追加してもよい。
【０２３５】
１−１４．アフターフィードバックモードにおける情報端末のフロー
図１７は、アフターフィードバックモードにおける情報端末のフローチャートである。
【０２３６】
図１７は、アフターフィードバックモードにおける情報端末のフローチャートである。処理部２１は、記憶部２４に記憶されているプログラムを実行することにより、例えば、図１７のフローチャートの手順で処理を実行する。以下、図１７のフローチャートについて説明する。
【０２３７】
まず、処理部２１は、ユーザー２による再生開始操作が行われるまで待機し（Ｓ１０１のＮ）、再生開始操作が行われると（Ｓ１０１のＹ）、ユーザーダンス解析データ２４３に含まれる動画像の再生、教師ダンス解析データ２４４に含まれる動画像の再生、及び教師ダンス解析データ２４４に含まれる楽曲の再生を、それぞれ開始する（Ｓ１０２）。
【０２３８】
なお、ステップＳ１０２における処理部２１は、教師ダンス解析データ２４４に含まれる楽曲を再生する代わりに、ユーザーダンス解析データ２４３に含まれる楽曲を再生してもよい。
【０２３９】
次に、処理部２１は、ユーザーダンス解析データ２４３に含まれる計測データと、教師ダンス解析データ２４４に含まれる計測データとのずれの算出を開始する（Ｓ１０４）。
【０２４０】
次に、処理部２１は、ずれが閾値を超過したセンサーユニット１０が存在するか否かを判定し（Ｓ１０６）、存在すると判定した場合（Ｓ１０６Ｙ）には、その旨をユーザー２へ通知する（Ｓ１０８）。つまり、処理部２１はアフターフィードバックを行う。
【０２４１】
次に、処理部２１は、ユーザー２による再生終了操作が行われたか否かを判定し（Ｓ２００）、行われたと判定した場合（Ｓ２００Ｙ）には、シンクロ率を算出して表示部２５へ表示してから（Ｓ２０３）フローを終了し、そうでない場合（Ｓ２００Ｎ）には、ずれの判定処理（Ｓ１０６）へ戻る。
【０２４２】
なお、ステップＳ２０３における処理部２１は、楽曲の最後で再生が終了した場合には、楽曲の全区間のシンクロ率を算出して表示し、楽曲の途中で再生が終了した場合は、楽曲の冒頭から再生が終了した箇所までの区間のシンクロ率を算出して表示してもよい。
【０２４３】
また、図１７のフローチャートにおいて、可能な範囲で各工程の順番を適宜変えてもよいし、一部の工程を削除あるいは変更してもよいし、他の工程を追加してもよい。
【０２４４】
また、図１７のフローチャートでは、再生の一時停止、再生の再開、再生速度の調節などに関するステップを省略した。
【０２４５】
１−１５．実施形態の作用効果
以上に説明したように、本実施形態の情報端末２０は、教師の計測データと、教師の計測データに対応付けられた教師の動画像データとを、ネットワーク４０を介してサーバー３０から受信する受信処理部と、教師の動画像データをユーザー２へ提示する提示処理部と、動画像データの提示中に、ユーザー２の計測データと、教師の計測データとを用いて、ユーザー２の動作の評価を行う評価部と、評価の結果を動画像データの提示中にユーザー２へ通知する通知処理部とを含む。
【０２４６】
具体的に、評価部は、教師の動画像データの再生中に、ユーザー２の計測データと教師
の計測データとのずれが閾値を超過したか否か判定する。また、通知処理部は、教師の動画像データの再生中に、判定の結果をユーザー２へ逐次に通知（リアルタイムフィードバック）する。従って、本実施形態の情報端末２０は、教師の動作をユーザー２へ提示することでユーザー２に教師と同じ動作を促し、しかも、教師の動作とユーザー２の動作とのずれが閾値を超過したタイミングで、その旨をユーザー２へ通知する（リアルタイムフィードバックする）ことができる。
【０２４７】
従って、ユーザー２は、教師の動作を眼で確認しながらそれを真似することができ、その真似する動作の最中に、自分の動作が教師の動作と一定以上ずれたときには、動作がずれたタイミングでずれたという事実を認識することができる。従って、ユーザー２は、自分の動作の如何なる部分を改善すれば教師の動作に近づけることができるのか練習中にかつ容易に把握すること（即座かつ正確に把握すること）ができる。従って、情報端末２０は、ユーザー２が教師の動作と同じ動作を習得するための個人練習に有効である。
【０２４８】
また、本実施形態の情報端末２０は、教師の身体の互いに異なる部位に装着された２以上のセンサーユニット１０を用いるので、教師の関節の動き、教師の手足の位置関係の動き、教師の両手の位置関係の動きなどを、教師の計測データに反映させることができる。
【０２４９】
また、本実施形態の情報端末２０は、ユーザー２の身体の互いに異なる部位に装着された２以上のセンサーユニット１０を用いるので、ユーザー２の関節の動き、ユーザー２の手足の位置関係の動き、教師の両手の位置関係の動きなどを、ユーザーの計測データに反映させることができる。
【０２５０】
また、本実施形態のダンス解析システムでは、ユーザー２の身体におけるセンサーユニット１０の装着先と、教師の身体におけるセンサーユニット１０の装着先とが一致している（つまり、装着先となる身体の部位が予め決められている）ので、情報端末２０は、教師の動きを基準としたユーザー２の動きの評価を正確に行うことができる。
【０２５１】
２．変形例
本発明は本実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。
【０２５２】
２−１．サーバーの機能について
上述した実施形態のサーバー３０は、複数のユーザーのダンス解析データを楽曲ごとに解析することにより、集団で行うダンス練習などに有益な情報を生成し、当該複数のユーザーの少なくとも一部へ提供してもよい。
【０２５３】
また、上述した実施形態のサーバー３０は、ダンス解析データを情報端末へダウンロード配信したが、ストリーミング配信してもよい。
【０２５４】
また、上述した実施形態のサーバー３０は、ダンス解析データをダウンロード又はストリーミング再生するユーザーへ課金（利用料の支払い義務を課すこと）を行ってもよい。なお、課金は、ダウンロード回数又はストリーミング再生数が所定数に達する度にされてもよいし、契約中の一定期間ごとにされてもよい。
【０２５５】
また、自分のダンス解析データを公開したユーザーに対して当該ダンス解析データのダウンロード回数又はストリーミング再生回数に応じた額の利用料を運営者が支払ってもよい。
【０２５６】
また、本実施形態では、ダンス解析データを情報端末２０へダウンロード又は閲覧する
際に、サーバーを経由しているが、サーバーを経由せずに例えば情報端末間で直接的にダンス解析データを送受信してもよい。
【０２５７】
２−１．人体モデルについて
上述したダンス解析データに含まれる動画像データは、実在のユーザーの動きを写した実写動画像データであってもよいし、仮想のユーザー（人型モデル）を含んだＣＧアニメーションであってもよい。また、人型モデルの代わりに、キャラクター、アバターなどを用いてもよい。実在のユーザーの動画像データを仮想のユーザーの動画像データへ変換する処理の機能が上述した情報端末２０とサーバー３０との少なくとも一方に搭載されてもよい。
【０２５８】
２−２．センサー装着について
上述した実施形態では、センサーユニット１０の装着先となる部位として上記１０個の部位を想定したが、想定する部位に、ユーザー２の肩、ユーザー２の胸、ユーザー２の腹部、ユーザー２の臀部、ユーザー２の指先などの他の部位を加えてもよいし、一部の部位の想定を省略してもよい。
【０２５９】
また、上述した実施形態では、センサーユニット１０の装着先として、ユーザー２の身体の部位を想定したが、ユーザー２の被服（ポケット、帽子、グローブ、靴下、耳あてなど）、ユーザー２のアクセサリー（ネックレス、ブレスレット、アンクレット、指輪、イヤリング、ヘアバンド、ヘッドホン、イヤホンなど）、ユーザー２の道具（こん棒、手具輪、ボール、リボン、スティック、バトンなど）を想定してもよい。
【０２６０】
また、装着具の形状は、ベルト状又はテープ状ではなく他の形状（台状、シート状）などでもよい。また、センサーユニット１０を装着具でユーザー２の身体へ装着する代わりに、被服に設けられたポケットなどへ収納してもよいし、ユーザー２が手で握ってもよいし、道具、被服、又はアクセサリーに予め内蔵されてもよい。
【０２６１】
また、本実施形態では、センサーユニットに色を付与しているが、色が付与されていないセンサーユニットが少なくとも１つ用いられてもよい。すなわち、全てのセンサーユニットの色を共通として装着先の識別に色を利用しないことも可能であるし、一部のセンサーユニットの色を無彩色（又は無発光）としてもよいし、何れか２以上のセンサーユニットの色を共通にしてもよい。因みに、無彩色（又は無発光）とするセンサーユニットの個数が「１」である場合は、前述した実施形態と同様に、複数のセンサーユニットの装着先の識別を行うことが可能である。
【０２６２】
２−３．キャリブレーションについて
上述したキャリブレーションにおいて、情報端末２０は、人型のガイド枠を表示部２５へ表示したが、教師であるユーザーがキャリブレーションをしたときの画像（教師の身体の画像）をガイド枠の代わりに用いてもよい。
【０２６３】
また、情報端末２０は、表示部２５へ表示する人型のガイド枠のサイズを、ユーザー２の身体情報に応じて調節してもよい。
【０２６４】
２−４．センサー非装着部位について
上述した実施形態において、ユーザー２の所有するセンサーユニット１０の個数が少ない場合などには、ユーザー２の身体の部位によっては、教師の同じ部位とのずれを検出できない可能性もある。
【０２６５】
そこで、上述した実施形態の情報端末２０の処理部２１は、ユーザー２の身体のうち、
センサーユニット１０の装着されていない部位のずれを、他の部位の計測データ又は他の部位のずれに基づく補間演算により算出してもよい。
【０２６６】
また、上述した実施形態の情報端末２０の処理部２１は、当該補間演算に、ユーザー２のライブ映像と教師の動画像とに基づく画像処理を利用してもよい。
【０２６７】
また、上述した実施形態の情報端末２０の処理部２１は、センサーユニット１０の装着された部位のずれの計算に、当該画像処理を組み合わせることで、ずれの算出精度を向上させてもよい。
【０２６８】
２−５．フィードバックについて
上述した実施形態の情報端末２０の処理部２１は、互いに異なる複数の部位のずれが同じタイミングで閾値を超過した場合に、当該複数の部位の全てについてユーザー２への通知（フィードバック）を行ってもよいが、フィードバックの対象を、最もずれの大きい部位のみに制限してもよい。このようにすれば、ユーザー２は、著しくずれている部位の動きに集中してダンス練習することができる。
【０２６９】
２−６．画面のカスタマイズについて
上述した実施形態の情報端末２０の処理部２１は、楽曲の再生中にユーザー２の動画像と教師の動画像とを並べて又は重ねて表示したが、ユーザーの動画像と教師の動画像との表示位置関係を、ユーザー２に予め設定（選択）させてもよい。また、ユーザー２の動画像と教師の動画像との一方の非表示をユーザー２に予め選択させてもよい。
【０２７０】
また、上述した実施形態の情報端末２０の処理部２１は、ユーザー２の動画像と教師の動画像との一方の向きを、正面から見た向きと背面から見た向きとの間で切り替え可能であってもよい。また、上述した実施形態の情報端末２０の処理部２１は、当該切り替えをユーザー２に行わせてもよい。
【０２７１】
２−７．他の通知態様
上記の実施形態における処理部２１は、ユーザー２に何れかの情報を通知する態様として、各種の態様を用いることができる。通知する態様としては、例えば、画像、光、音、振動、画像の変化パターン、光の変化パターン、音の変化パターン、振動の変化パターンのうち少なくとも１つを用いることができる。
【０２７２】
２−８．他の入力態様
上記の実施形態における処理部２１は、ユーザー２からの１又は複数の情報入力を主に手指の接触（タッチパネルへのタップ操作、ボタン操作）によって行ったが、１又は複数の情報入力の態様としては、各種の態様を用いることができる。情報入力の態様としては、例えば、手指の接触による入力、音声による入力、ジェスチャーによる入力のうち少なくとも１つを用いることができる。
【０２７３】
上記の実施形態における処理部２１は、例えば、センサーユニット１０を装着した右手で右回りに円を描くジェスチャーを再生開始指示とし、センサーユニット１０を装着した左手で左回りに円を描くジェスチャーを再生終了指示とすることもできる。
【０２７４】
２−９．表示部の変形例
また、上述した実施形態では、１又は複数の画像の表示先として、例えばリスト型の表示部、或いは、頭部装着型の表示部（ＨＭＤ：ヘッドマウントディスプレイ）を使用することもできる。ヘッドマウントディスプレイは、ユーザー２の頭部に装着され、かつ、ユーザー２の一方の眼又は双方の眼に対して画像を表示するディスプレイである。
【０２７５】
２−１０．他の分野について
また、上記の実施形態では、個人によるダンスの動作を解析する例を説明したが、本発明は、集団によるダンス、隊列行進、チアリーディング、シンクロナイズドスイミングの地上練習、ライブ会場での集団の動き、などの各種の動作解析に有効である。
【０２７６】
２−１１．その他
上記の実施形態において、センサーユニット１０の機能の一部又は全部は、情報端末２０又はサーバー３０の側に搭載されてもよい。また、情報端末２０の機能の一部又は全部は、センサーユニット１０又はサーバー３０の側に搭載されてもよい。また、サーバー３０の機能の一部又は全部は、情報端末２０又はセンサーユニット１０の側に搭載されてもよい。
【０２７７】
上記の実施形態では、加速度センサーと角速度センサーが、センサーユニット１０に内蔵されて一体化されているが、加速度センサーと角速度センサーは一体化されていなくてもよい。あるいは、加速度センサーと角速度センサーが、センサーユニット１０に内蔵されずに、ユーザー２に直接装着されてもよい。また、上記の実施形態では、センサーユニット１０と情報端末２０とが別体であるが、これらを一体化してユーザー２に装着可能にしてもよい。また、センサーユニット１０が、慣性センサー（例えば、加速度センサーあるいは角速度センサー）とともに、情報端末２０の一部の構成要素を備えていてもよい。
【０２７８】
上述した実施形態および変形例は一例であって、これらに限定されるわけではない。例えば、各実施形態および各変形例を適宜組み合わせることも可能である。
【０２７９】
本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【０２８０】
１…ダンス解析システム、２…ユーザー、１０…センサーユニット、１２…加速度センサー、１４…角速度センサー、１６…信号処理部、１８…通信部、２０…ダンス解析装置、２１…処理部、２２…通信部、２３…操作部、２４…記憶部、２５…表示部、２６…音出力部、２７…通信部、３０…サーバー、３１…処理部、３２…通信部、３４…記憶部、４０…ネットワーク
【図１】
2017136142.tif 000003
【図２】
2017136142.tif 000004
【図３】
2017136142.tif 000005
【図４】
2017136142.tif 000006
【図５】
2017136142.tif 000007
【図６】
2017136142.tif 000008
【図７】
2017136142.tif 000009
【図８】
2017136142.tif 000010
【図９】
2017136142.tif 000011
【図１０】
2017136142.tif 000012
【図１１】
2017136142.tif 000013
【図１２】
2017136142.tif 000014
【図１３】
2017136142.tif 000015
【図１４】
2017136142.tif 000016
【図１５】
2017136142.tif 000017
【図１６】
2017136142.tif 000018
【図１７】
2017136142.tif 000019