(57)【要約】【課題】  楽曲に適合させるべく行われる身体の動作におけるアクセントを適切に評価する。【解決手段】  拍情報取得部３１０が楽曲の拍タイミングに関する拍タイミング情報ＢＴＤを取得するとともに、動作情報取得部３２０が身体の動作に関する動作情報ＰＳＤを取得する。そして、評価部３３０が、動作情報ＰＳＤから得られた位置情報Ｐ（Ｔ）に基づいて、当該動作のアクセントに関する第１固有振動モード成分Ｘ（Ｔ）を抽出する。引き続き、評価部３３０が、第１固有振動モード成分Ｘ（Ｔ）から得られる当該アクセントに関する特徴タイミングと拍タイミングとの関係として、当該特徴タイミングと拍タイミングとの一致度を評価する。【選択図】  図１
2017006286.tif 000002
【特許請求の範囲】
【請求項１】
身体の動作に関する動作情報を取得する第１取得部と；
楽曲の拍タイミングに関する拍タイミング情報を取得する第２取得部と；
前記動作情報から前記動作のアクセントに関する固有情報を抽出し、前記固有情報から得られる前記アクセントに関する特徴タイミングと前記拍タイミングとの関係を評価する第１評価を行う評価部と；
を備えることを特徴とする評価装置。
【請求項２】
前記動作情報は、前記身体における少なくとも１つの部位の時系列位置座標データであり、
前記固有情報は、前記時系列位置座標データに対し経験的モード分解を行うことで抽出される第１固有振動モードである、
ことを特徴とする請求項１に記載の評価装置。
【請求項３】
前記評価部は、
前記第１固有振動モードに対してヒルベルト変換を施し、
前記第１固有振動モードと、前記ヒルベルト変換の結果とに基づいて位相関数を算出し、
前記位相関数の時間変化率を瞬時周波数として算出し、
前記拍タイミングの時間的近傍で前記瞬時周波数が極値となる第１タイミングを前記特徴タイミングとして抽出する、
ことを特徴とする請求項２に記載の評価装置。
【請求項４】
前記評価部は、
前記経験的モード分解により、前記第１固有振動モードの次に抽出される第２固有振動モードにおける振幅が、前記拍タイミングの時間的近傍で極値となる第２タイミングを更に抽出し、
前記第２タイミングと前記拍タイミングとの関係を評価する第２評価を更に行う、
ことを特徴とする請求項３に記載の評価装置。
【請求項５】
前記評価部は、前記第１評価の結果及び前記第２評価の結果に基づいて、前記楽曲と前記身体の動作との関係を評価する第３評価を更に行う、ことを特徴とする請求項４に記載の評価装置。
【請求項６】
前記評価部は、前記第１評価の結果に対して前記第２評価の結果よりも高い重み付けをして、前記第３評価を行う、ことを特徴とする請求項５に記載の評価装置。
【請求項７】
身体の動作と楽曲との関係を評価する評価装置において使用される評価方法であって、
前記身体の動作に関する動作情報を取得する第１取得工程と；
前記楽曲の拍タイミングに関する拍タイミング情報を取得する第２取得工程と；
前記動作情報から前記動作のアクセントに関する固有情報を抽出し、前記固有情報から得られる前記アクセントに関する特徴タイミングと前記拍タイミングとの関係を評価する評価工程と；
を備えることを特徴とする評価方法。
【請求項８】
評価装置が有するコンピュータに、請求項７に記載の評価方法を実行させる、ことを特徴とする評価プログラム。
【請求項９】
評価装置が有するコンピュータにより読み取り可能に、請求項８に記載の評価プログラムが記録されている、ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価装置、評価方法及び評価プログラム、並びに、当該評価プログラムが記録された記録媒体に関する。
【背景技術】
【０００２】
従来から、楽曲の再生と並行して行われる身体の動作と当該楽曲との関係を評価する技術が提案されている。こうした提案技術の一つとして、当該楽曲に適合させるべく行われる身体の部位の位置に関する情報を取得し、当該部位の位置変化と楽曲の拍タイミングとに基づいて、身体の動作と当該楽曲との適合度を評価する技術がある（特許文献１参照：以下、「従来例」と呼ぶ）。
【０００３】
この従来例の技術では、身体の部位の位置に関する情報に基づいて、動作における方向転換タイミングを特定する。引き続き、方向転換タイミングと拍タイミングとの比較を行う。そして、当該比較の結果に基づいて、身体の動作と当該楽曲との適合度を評価するようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１５４１２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来例の技術では、拍タイミングに忠実な動作ほど、すなわち、方向転換タイミングと拍タイミングとの一致の程度（以下、「タイミング一致度」という）が高いほど、高い評価がなされることになる。この結果、機械的で直線的なロボットのような正確な動作が高く評価される。
【０００６】
ところで、楽曲に適合させるべく行われる身体の動作が、例えば、ダンス等の場合、特にストリートダンスの場合には、動作のいわゆるメリハリやキレ（以下、「アクセント」という）が、タイミング一致度に勝るとも劣らず重要視される。これは、動作のアクセントには、動作により音楽を表現しようとする者の個性や技能が含まれているからである。しかしながら、従来例の技術では、動作のアクセントを評価することができなかった。
【０００７】
このため、楽曲に適合させるべく行われる身体の動作のアクセントを適切に評価することができる技術が望まれている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、身体の動作に関する動作情報を取得する第１取得部と；楽曲の拍タイミングに関する拍タイミング情報を取得する第２取得部と；前記動作情報から前記動作のアクセントに関する固有情報を抽出し、前記固有情報から得られる前記アクセントに関する特徴タイミングと前記拍タイミングとの関係を評価する第１評価を行う評価部と；を備えることを特徴とする評価装置である。
【０００９】
請求項７に記載の発明は、身体の動作と楽曲との関係を評価する評価装置において使用される評価方法であって、前記身体の動作に関する動作情報を取得する第１取得工程と；前記楽曲の拍タイミングに関する拍タイミング情報を取得する第２取得工程と；前記動作情報から前記動作のアクセントに関する固有情報を抽出し、前記固有情報から得られる前記アクセントに関する特徴タイミングと前記拍タイミングとの関係を評価する評価工程と；を備えることを特徴とする評価方法である。
【００１０】
請求項８に記載の発明は、評価装置が有するコンピュータに、請求項７に記載の評価方法を実行させる、ことを特徴とする評価プログラムである。
【００１１】
請求項９に記載の発明は、評価装置が有するコンピュータにより読み取り可能に、請求項８に記載の評価プログラムが記録されている、ことを特徴とする記録媒体である。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の評価装置の概略的な構成を示すブロック図である。
【図２】本発明の一実施例の評価装置の概略的な構成を示すブロック図である。
【図３】図２の評価装置による処理を説明するためのフローチャートである。
【図４】図３の経験的モード分解処理を説明するためのフローチャートである。
【図５】図４の経験的モード分解処理による分解結果の例を示す図である。
【図６】図３のアクセント解析を説明するためのフローチャートである。
【図７】図６のアクセント解析に際して算出されるタイミング差の例を示す図である。
【図８】図３のタイミング解析を説明するためのフローチャートである。
【図９】図８のタイミング解析に際して算出されるタイミング差の例を示す図である。
【図１０】図３の適合度評価処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
［楽曲に関連する身体の動作のアクセントについて］
本発明の実施形態の説明に先立って、本発明者が、研究及び開発の結果として、楽曲に関連して行われる身体の動作のアクセントについて得た知見について説明する。
【００１４】
楽曲に関連して行われる身体の動作、特にストリートダンス動作等のような楽曲に適合させるべく行われる身体の動作では、動作のアクセントは、拍タイミングの周期より迅速に変化する非定常的な成分（以下、「アクセント成分」）に関係している。そして、当該アクセント成分の瞬時周波数の時間変化が極大値となるタイミングと、拍タイミングとがほぼ一致している場合に、アクセント（すなわち、メリハリやキレ）があると感じることが、本発明者の研究及び開発の結果として、見出された。
【００１５】
このようにアクセント成分の瞬時周波数の時間変化が極大値となるタイミングが拍タイミングとほぼ一致する場合には、一般に、拍タイミングの後に方向転換等の動作が行われることになる。こうした場合には、楽曲に適合した身体の動作を行うダンス分野等において評価が高い、いわゆる「遅取り」の動作となる。
【００１６】
また、身体の部位の位置変化の時系列データに対して、経験的モード分解（Empirical Mode Decomposition）の手法（N. E. Huang et.al. : The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis, Proc. R. Soc. London, Ser. A, 454, 903-995, 1998. 等参照）を適用した場合には、１番目に得られる第１固有振動モード成分として、ストリートダンス動作等の身体の動作におけるアクセント成分が抽出されることが、本発明者の研究及び開発の結果として見出された。また、２番目に得られる第２固有振動モード成分として、方向転換タイミング等を反映した定常的な動作成分（以下、「タイミング成分」ともいう）が抽出されることが、本発明者の研究及び開発の結果として、見出された。
【００１７】
さらに、楽曲に身体の動作がある程度適合しているといえる場合には、第１固有振動モード成分及び第２固有振動モード成分を身体の部位の位置変化から除いた残差成分が十分に小さいことも、本発明者の研究及び開発の結果として、見出された。以下に記載する一実施形態は、本発明者が研究及び開発の結果として得た上述の知見に基づいている。
【００１８】
［構成］
図１には、本発明の一実施形態の評価装置３００の構成が、ブロック図にて示されている。この図１に示されるように、評価装置３００は、拍情報供給装置２１０及び動作情報測定装置２２０と接続されている。
【００１９】
上記の拍情報供給装置２１０は、利用者により指定された楽曲の楽曲音を周囲空間に出力する。また、拍情報供給装置２１０は、出力中の楽曲音が拍タイミングとなると、その旨を、例えば、２値のデジタル信号において信号レベルを一時的に「１」とする拍タイミング情報ＢＴＤとして、評価装置３００へ送信する。なお、本実施形態では、当該楽曲は、ストリートダンスに適した楽曲となっている。
【００２０】
上記の動作情報測定装置２２０は、拍情報供給装置２１０から出力された楽曲音に対応して動作が行われている身体の少なくとも１つの部位の位置を周期的に検出する。そして、動作情報測定装置２２０は、検出結果を、動作情報ＰＳＤとして、評価装置３００へ送信する。このため、動作情報ＰＳＤは、時系列位置座標データとなっている。
【００２１】
なお、本実施形態では、楽曲に適合させるべく行われる身体の動作は、ストリートダンス動作であるものとする。また、少なくとも１つの部位の位置は、腰の周りの複数の位置であり、当該複数の位置のほぼ同時刻における検出結果が、検出後直ちに、一連のデータとして、評価装置３００へ送信されるようになっているものとする。
【００２２】
上記の評価装置３００は、図１に示されるように、拍情報取得部３１０と、動作情報取得部３２０とを備えている。また、評価装置３００は、評価部３３０と、提示部３４０とを備えている。
【００２３】
上記の拍情報取得部３１０は、拍情報供給装置２１０から送信された拍タイミング情報ＢＴＤを受信する。そして、拍情報取得部３１０は、拍タイミング情報ＢＴＤを受信した時点の時刻Ｔiを示す拍タイミング時刻情報ＢＴＴを生成し、生成された拍タイミング時刻情報ＢＴＴを評価部３３０へ送る。
【００２４】
上記の動作情報取得部３２０は、動作情報測定装置２２０から逐次送信された動作情報ＰＳＤを受信する。引き続き、動作情報取得部３２０は、動作情報ＰＳＤに含まれる複数の位置から、少なくとも１つの代表位置を算出する。そして、動作情報取得部３２０は、算出された代表位置と、動作情報ＰＳＤを受信した時刻との組み合わせを、ノイズ除去処理（例えば、ローパスフィルタリング処理）を施したうえで、位置情報Ｐ（Ｔ）として評価部３３０へ送る。ここで、本実施形態では、代表位置は、腰の中央位置となっている。
【００２５】
なお、上記の拍タイミング時刻情報ＢＴＴで示される時刻と、上記の位置情報Ｐ（Ｔ）に含まれる時刻とは、不図示の同一の時計機構による計時結果に基づいて特定されるようになっている。
【００２６】
上記の評価部３３０は、拍情報取得部３１０から送られた拍タイミング時刻情報ＢＴＴ、及び、動作情報取得部３２０から送られた位置情報Ｐ（Ｔ）を受ける。そして、評価部３３０は、拍情報供給装置２１０から出力された楽曲音に対応して行われるストリートダンス動作を評価する。
【００２７】
かかる機能を有する評価部３３０は、分解処理部３３１と、アクセント解析部３３２とを備えている。また、評価部３３０は、タイミング解析部３３３と、適合度評価部３３４とを備えている。
【００２８】
上記の分解処理部３３１は、動作情報取得部３２０から送られた位置情報Ｐ（Ｔ）を受ける。そして、分解処理部３３１は、時系列情報である位置情報Ｐ（Ｔ）に対して、上述した経験的モード分解処理を施して、第１固有振動モード成分Ｘ（Ｔ）、第２固有振動モード成分Ｓ（Ｔ）、及び、位置情報Ｐ（Ｔ）から第１固有振動モード成分Ｘ（Ｔ）及び第２固有振動モード成分Ｓ（Ｔ）を差し引いた残差成分の量を反映した残差量ＲＳＤを算出する。
【００２９】
こうして算出された第１固有振動モード成分Ｘ（Ｔ）は、アクセント解析部３３２へ送られる。また、算出された第２固有振動モード成分Ｓ（Ｔ）は、タイミング解析部３３３へ送られる。さらに、残差量ＲＳＤは、アクセント解析部３３２、タイミング解析部３３３及び適合度評価部３３４へ送られる。
【００３０】
なお、分解処理部３３１により実行される経験的モード分解処理の詳細については、後述する。
【００３１】
上記のアクセント解析部３３２は、分解処理部３３１から送られた第１固有振動モード成分Ｘ（Ｔ）及び残差量ＲＳＤ、並びに、拍情報取得部３１０から送られた拍タイミング時刻情報ＢＴＴを受ける。そして、アクセント解析部３３２は、第１固有振動モード成分Ｘ（Ｔ）、残差量ＲＳＤ及び拍タイミング時刻情報ＢＴＴに基づいて、アクセント解析処理を行う。かかるアクセント解析処理による解析結果ＡＡＲは、適合度評価部３３４へ送られる。
【００３２】
なお、アクセント解析部３３２により実行されるアクセント解析処理の詳細については、後述する。
【００３３】
上記のタイミング解析部３３３は、分解処理部３３１から送られた第２固有振動モード成分Ｓ（Ｔ）及び残差量ＲＳＤ、並びに、拍情報取得部３１０から送られた拍タイミング時刻情報ＢＴＴを受ける。そして、タイミング解析部３３３は、第２固有振動モード成分Ｓ（Ｔ）、残差量ＲＳＤ及び拍タイミング時刻情報ＢＴＴに基づいて、タイミング解析処理を行う。かかるタイミング解析処理による解析結果ＴＡＲは、適合度評価部３３４へ送られる。
【００３４】
なお、タイミング解析部３３３により実行されるタイミング解析処理の詳細については、後述する。
【００３５】
上記の適合度評価部３３４は、アクセント解析部３３２から送られた解析結果ＡＡＲ、タイミング解析部３３３から送られた解析結果ＴＡＲ、及び、分解処理部３３１から送られた残差量ＲＳＤを受ける。そして、適合度評価部３３４は、解析結果ＡＡＲ、解析結果ＴＡＲ及び残差量ＲＳＤに基づいて、拍情報供給装置２１０から出力される楽曲音に対応して行われたストリートダンス動作の楽曲に対する適合度を評価する。かかる適合度の評価結果を含む評価情報ＰＲＤは、提示部３４０へ送る。
【００３６】
上記の提示部３４０は、表示装置等を備えて構成されている。この提示部３４０は、評価部３３０から送られた評価結果に関連する評価情報ＰＲＤを受ける。そして、提示部３４０は、評価情報ＰＲＤの内容を提示する。この結果、拍情報供給装置２１０から出力される楽曲音に対応して行われたストリートダンス動作の当該楽曲に対する適合度の評価情報が、利用者に提供される。
【００３７】
［動作］
次に、上記のように構成された評価装置３００の動作について説明する。
【００３８】
なお、拍情報供給装置２１０は、楽曲音を出力するとともに、上述した拍タイミング情報ＢＴＤを、逐次、評価装置３００へ送信しているものとする。また、動作情報測定装置２２０は、上述した動作情報ＰＳＤを、逐次、評価装置３００へ送信しているものとする（図１参照）。
【００３９】
評価装置３００では、拍情報取得部３１０が拍タイミング情報ＢＴＤを受信する。拍タイミング情報ＢＴＤを受信すると、拍情報取得部３１０は、今回の拍タイミング情報ＢＴＤにより拍タイミングである旨が示された時刻を特定する。そして、拍情報取得部３１０は、特定された時刻Ｔiを、拍タイミング時刻情報ＢＴＴとして、評価部３３０におけるアクセント解析部３３２及びタイミング解析部３３３へ送る（図１参照）。
【００４０】
また、評価装置３００では、動作情報取得部３２０が動作情報ＰＳＤを受信する。動作情報ＰＳＤを受信すると、動作情報取得部３２０は、今回の動作情報ＰＳＤの受信時刻を特定するとともに、今回の動作情報ＰＳＤの内容に基づいて、腰の中心位置を代表位置として算出する。そして、動作情報取得部３２０は、算出された代表位置と、動作情報ＰＳＤを受信した時刻との組み合わせを、位置情報Ｐ（Ｔ）として、評価部３３０における分解処理部３３１へ送る（図１参照）。
【００４１】
＜経験的モード分解処理＞
位置情報Ｐ（Ｔ）を受けると、分解処理部３３１が、所定期間長ごとの位置情報Ｐ（Ｔ）に対して、上述した経験的モード分解の手法を利用した経験的モード分解処理を施す。
【００４２】
かかる経験的モード分解処理に際して、分解処理部３３１は、まず、位置情報Ｐ（Ｔ）から第１固有振動モード成分Ｘ（Ｔ）を抽出する。引き続き、分解処理部３３１は、位置情報Ｐ（Ｔ）から第１固有振動モード成分Ｘ（Ｔ）を差し引いた第１残差成分Ｒ1（Ｔ）（＝Ｐ（Ｔ）−Ｘ（Ｔ））を算出する。
【００４３】
次に、分解処理部３３１は、第１残差成分Ｒ1（Ｔ）から第２固有振動モード成分Ｓ（Ｔ）を抽出する。引き続き、分解処理部３３１は、第１残差成分Ｒ1（Ｔ）から第２固有振動モード成分Ｓ（Ｔ）を差し引いた第２残差成分Ｒ2（Ｔ）（＝Ｒ1（Ｔ）−Ｓ（Ｔ）＝Ｐ（Ｔ）−Ｘ（Ｔ）−Ｓ（Ｔ））を算出する。
【００４４】
次いで、分解処理部３３１は、第２残差成分Ｒ2（Ｔ）の量を反映した残差量ＲＳＤを算出する。なお、本実施形態では、分解処理部３３１は、残差量ＲＳＤとして、第２残差成分Ｒ2（Ｔ）の時系列データの二乗平均平方根（ＲＭＳ：Root Mean Square）を算出するようにしている。
【００４５】
そして、分解処理部３３１は、算出された残差量ＲＳＤを、アクセント解析部３３２、タイミング解析部３３３及び適合度評価部３３４へ送る。この後、分解処理部３３１は、抽出された第１固有振動モード成分Ｘ（Ｔ）をアクセント解析部３３２へ送るとともに、抽出された第２固有振動モード成分Ｓ（Ｔ）を、タイミング解析部３３３へ送る（図１参照）。
【００４６】
＜アクセント解析処理＞
次に、アクセント解析部３３２により実行されるアクセント解析処理について説明する。
【００４７】
かかるアクセント解析処理では、残差量ＲＳＤを受けると、アクセント解析部３３２は、今回の残差量ＲＳＤが所定閾値ＶTH以下であるか否かを判定する。ここで、所定閾値ＶTHは、楽曲に適合すべく行われた身体の動作であるストリートダンス動作が、楽曲との適合度の評価に値するか否かを判別するとの観点から、実験、シミュレーション、経験等に基づいて予め定められる。
【００４８】
当該判定の結果が否定的であった場合には、アクセント解析部３３２は、新たな残差量ＲＳＤを受ける前に第１固有振動モード成分Ｘ（Ｔ）を受けても、当該第１固有振動モード成分Ｘ（Ｔ）に対するアクセント解析を行わずに、新たな残差量ＲＳＤを受けるのを待つ。一方、当該判定の結果が肯定的であった場合には、アクセント解析部３３２は、新たな残差量ＲＳＤを受ける前に受けた第１固有振動モード成分Ｘ（Ｔ）に基づくアクセント解析を行う。
【００４９】
このアクセント解析に際して、アクセント解析部３３２は、まず、第１固有振動モード成分Ｘ（Ｔ）に対してヒルベルト変換を施し、第１固有振動モード成分Ｘ（Ｔ）に対応する虚数振幅成分Ｙ（Ｔ）を算出する。引き続き、第１固有振動モード成分Ｘ（Ｔ）及び虚数振幅成分Ｙ（Ｔ）を採用して得られる複素振幅Ｚ（Ｔ）（＝Ｘ（Ｔ）＋ｉ・Ｙ（Ｔ））（ｉ：虚数単位）を下記の（１），（２）式で表現した場合における位相関数θ（Ｔ）を、下記の（３）式により算出する。
Ｚ（Ｔ）＝Ａ（Ｔ）・ｅｘｐ（ｉ・θ（Ｔ））            …（１）
Ａ（Ｔ）＝（（Ｘ（Ｔ）2＋（Ｙ（Ｔ）2）1/2               …（２）
θ（Ｔ）＝ａｒｃｔａｎ（Ｙ（Ｔ）／Ｘ（Ｔ））          …（３）
【００５０】
次に、アクセント解析部３３２は、次の（４）式により、瞬時周波数ｆ（Ｔ）を算出する。
ｆ（Ｔ）＝（ｄθ（Ｔ）／ｄＴ）／（２π）              …（４）
【００５１】
次いで、アクセント解析部３３２は、評価対象期間における拍タイミング時刻情報で示される拍タイミング時刻ごとに、最も近接している瞬時周波数ｆ（Ｔ）の極大値に対応する時刻ＴＡj（ｊ＝１，２，…）を特定する。引き続き、アクセント解析部３３２は、時刻ＴＡjと、当該時刻ＴＡjに近接している拍タイミング時刻ＴＢjとのタイミング差ΔＴＡj（＝（ＴＡj−ＴＢj））を算出する。
【００５２】
次に、アクセント解析部３３２は、タイミング差ΔＴＡjの平均値δTA、及び、タイミング差［ΔＴＡ1，ΔＴＡ2，…］の標準偏差σTAを算出する。そして、アクセント解析部３３２は、算出された平均値δTA及び標準偏差σTAを、解析結果ＡＡＲとして適合度評価部３３４へ送る。
【００５３】
＜タイミング解析処理＞
次いで、タイミング解析部３３３により実行されるタイミング解析処理について説明する。
【００５４】
かかるタイミング解析処理では、残差量ＲＳＤを受けると、タイミング解析部３３３は、今回の残差量ＲＳＤが上述した所定閾値ＶTH以下であるか否かを判定する。当該判定の結果が否定的であった場合には、タイミング解析部３３３は、新たな残差量ＲＳＤを受ける前に第２固有振動モード成分Ｓ（Ｔ）を受けても、当該第２固有振動モード成分Ｓ（Ｔ）に対する解析を行わずに、新たな残差量ＲＳＤを受けるのを待つ。一方、当該判定の結果が肯定的であった場合には、タイミング解析部３３３は、新たな残差量ＲＳＤを受ける前に受けた第２固有振動モード成分Ｓ（Ｔ）に基づくタイミング解析を行う。
【００５５】
このタイミング解析に際して、タイミング解析部３３３は、評価対象期間における拍タイミング時刻情報で示される拍タイミング時刻ごとに、最も近接している第２固有振動モード成分Ｓ（Ｔ）の極値に対応する時刻ＴＴkを特定する。引き続き、タイミング解析部３３３は、時刻ＴＴkと、当該時刻ＴＴkに近接している拍タイミング時刻ＴＢkとのタイミング差ΔＴＴk（＝（ＴＴk−ＴＢk））を算出する。
【００５６】
次に、タイミング解析部３３３は、タイミング差ΔＴＴk（＝（ＴＴk−ＴＢk））の平均値δTT、及び、タイミング差［ΔＴＴ1，ΔＴＴ2，…］の標準偏差σTTを算出する。そして、タイミング解析部３３３は、算出された平均値δTT及び標準偏差σTTを、解析結果ＴＡＲとして適合度評価部３３４へ送る。
【００５７】
＜適合度評価処理＞
次いで、適合度評価部３３４により実行される適合度評価処理について説明する。
【００５８】
かかる適合度評価処理では、残差量ＲＳＤを受けると、適合度評価部３３４は、今回の残差量ＲＳＤが上述した所定閾値ＶTH以下であるか否かを判定する。当該判定の結果が否定的であった場合には、楽曲に対する適合度の評価対象となった今回の身体の動作は、評価に値しない動作であったと評価する。
【００５９】
一方、当該判定の結果が肯定的であった場合には、適合度評価部３３４は、当該残差量ＲＳＤに引き続いて受けた解析結果ＡＡＲ（δTA，σTA），ＴＡＲ（δTT，σTT）に基づいて、評価対象となった今回の身体の動作の楽曲に対する適合度評価を行う。
【００６０】
この適合度評価では、適合度評価部３３４は、まず、解析結果ＡＡＲ（δTA，σTA）に基づく第１評価を行う。かかる第１評価に際しては、本実施形態では、平均値δTAの絶対値が小さく、かつ、標準偏差σTAが小さいほど高い評価がなされるようになっている。そして、平均値δTAの絶対値が大きくなるほど、また、標準偏差σTAが大きくなるほど、低い評価がなされるようになっている。すなわち、身体の動作におけるアクセント成分の瞬時周波数ｆ（Ｔ）が極大値となる時刻が拍タイミング時刻に安定して近いほど、高い評価がなされるようになっている。
【００６１】
次に、適合度評価部３３４は、解析結果ＴＡＲ（δTT，σTT）に基づく第２評価を行う。かかる第２評価に際しては、本実施形態では、平均値δTTの絶対値が小さく、かつ、標準偏差σTTが小さいほど高い評価がなされるようになっている。そして、平均値δTTの絶対値が大きくなるほど、また、標準偏差σTTが大きくなるほど、低い評価がなされるようになっている。すなわち、身体の動作におけるタイミング成分が極値となる時刻が拍タイミング時刻に安定して近いほど、高い評価がなされるようになっている。
【００６２】
さらに、第２評価に際しては、平均値δTTの絶対値が同一のときには、平均値δTTが正値の場合の方が、平均値δTTが負値の場合よりも高い評価がなされるようになっている。これは、ストリートダンス動作においては、上述したように、「遅取り」が「早取り」よりも高く評価されることによる。
【００６３】
次いで、適合度評価部３３４は、第１評価の結果及び第２評価の結果に基づいて、第３評価を行う。かかる第３評価に際しては、第１評価の結果に対して第２評価の結果よりも高い重み付けをして、第３評価が行われる。これは、機械的で直線的なロボットのような正確な動作よりも、動作により音楽を表現しようとする者の個性や技能が含まれている動作を高く評価するためである。
【００６４】
こうして第３評価までが終了すると、適合度評価部３３４は、当該第３評価の結果を含む今回の動作評価の結果の情報である評価情報ＰＲＤを提示部３４０へ送る（図１参照）。なお、本実施形態では、評価情報ＰＲＤには、第３評価の結果に加えて、第１及び第２評価の結果、解析結果ＡＡＲ（δTA，σTA）、並びに、解析結果ＴＡＲ（δTT，σTT）が含まれるようになっている。
【００６５】
評価部３３０から送られた評価情報ＰＲＤを受けると、提示部３４０は、評価情報ＰＲＤの内容を表示する。この結果、拍情報供給装置２１０から出力された楽曲音に対応して行われるストリートダンス動作の楽曲に対する適合度の評価情報が、利用者に提供される。
【００６６】
以上説明したように、本実施形態では、拍情報取得部３１０が楽曲の拍タイミングに関する拍タイミング情報ＢＴＤを取得するとともに、動作情報取得部３２０が身体の動作に関する動作情報ＰＳＤを取得する。そして、評価部３３０が、動作情報ＰＳＤから得られた位置情報Ｐ（Ｔ）に基づいて、当該動作のアクセントに関する第１固有振動モード成分Ｘ（Ｔ）を、アクセント成分として抽出する。引き続き、評価部３３０が、第１固有振動モード成分Ｘ（Ｔ）から得られる当該アクセントに関する特徴タイミングと拍タイミングとの関係として、当該特徴タイミングと拍タイミングとの一致度を評価する第１評価を行う。
【００６７】
したがって、本実施形態によれば、楽曲に適合させるべく行われるストリートダンス動作におけるアクセントを適切に評価することができる。
【００６８】
また、本実施形態では、評価部３３０における分解処理部３３１が、位置情報Ｐ（Ｔ）に対する経験的モード分解により最初に得られる固有振動モード成分である第１固有振動モード成分Ｘ（Ｔ）として抽出する。このため、評価対象の動作のアクセント成分を簡易かつ確実に抽出することができる。
【００６９】
また、本実施形態では、評価部３３０におけるアクセント解析部３３２が、第１固有振動モード成分Ｘ（Ｔ）に対してヒルベルト変換を施して、第１固有振動モード成分Ｘ（Ｔ）に対応する虚数振幅成分Ｙ（Ｔ）を算出する。引き続き、アクセント解析部３３２が、第１固有振動モード成分Ｘ（Ｔ）と虚数振幅成分Ｙ（Ｔ）とに基づいて位相関数θ（Ｔ）を算出した後、位相関数θ（Ｔ）の時間変化率（ｄθ／ｄＴ）を瞬時周波数ｆ（Ｔ）として算出する。引き続き、アクセント解析部３３２は、拍タイミングの時間的近傍で瞬時周波数ｆ（Ｔ）が極大値となるタイミング（アクセント成分の特徴タイミング）を、第１タイミングとして抽出する。そして、評価部３３０における適合度評価部３３４が、第１タイミングと拍タイミングとの関係であり、ストリートダンス動作において特に重要なアクセント成分の特徴タイミングと拍タイミングとの一致度に基づいて、ストリートダンス動作の楽曲に対する適合度の第１評価を行う。このため、ストリートダンス動作のアクセントの評価を適切に行うことができる。
【００７０】
また、本実施形態では、評価部３３０におけるタイミング解析部３３３が、分解処理部３３１の経験的モード分解処理により、第１固有振動モード成分Ｘ（Ｔ）の次に抽出される第２固有振動モード成分Ｓ（Ｔ）を受ける。引き続き、タイミング解析部３３３が、第２固有振動モード成分Ｓ（Ｔ）が拍タイミングの時間的近傍で極値となるタイミング（タイミング成分の特徴タイミング）を、第２タイミングとして抽出する。そして、適合度評価部３３４は、上述した第１評価に加えて、第２タイミングと拍タイミングとの関係である第２タイミングと拍タイミングとの一致度に基づいて、ストリートダンス動作の楽曲に対するタイミングに関する適合度の第２評価を行う。このため、ストリートダンス動作のタイミング適合度の評価を適切に行うことができる。
【００７１】
また、本実施形態では、適合度評価部３３４が、第１評価の結果及び第２評価の結果に基づいて、楽曲とストリートダンス動作との関係を評価する第３評価を更に行う。このため、楽曲と身体のストリートダンス動作との適合度を総合的に評価することができる。
【００７２】
ここで、本実施形態では、適合度評価部３３４が、第１評価の結果に対して第２評価の結果よりも高い重み付けをして第３評価を行う。このため、動作により音楽を表現しようとする者の個性や技能が含まれている動作のアクセントを、動作のタイミング適合度よりも重視した評価を行うことできる。
【００７３】
［実施形態の変形］
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
【００７４】
例えば、上記の実施形態では、タイミング解析に際して、経験的モード分解により第２番目に抽出される第２固有振動モードの振動振幅が拍タイミングの時間的近傍で極値となるタイミングを第２タイミングとし、第２タイミングと拍タイミングとの一致度に基づいて、ストリートダンス動作の楽曲に対するタイミングに関する適合度の第２評価を行うようにした。これに対し、位置情報Ｐ（Ｔ）が拍タイミングの時間的近傍で極値となるタイミングを第２タイミングとして採用し、ストリートダンス動作の楽曲に対する適合度の第２評価を行うようにしてもよい。
【００７５】
また、上記の実施形態では、アクセント解析に利用するアクセント成分を、経験的モード分解により第１番目に抽出される第１固有振動モードの成分として抽出するようにした。これに対し、位置情報Ｐ（Ｔ）に含まれるアクセント成分の抽出を他の手法により行うようにしてもよい。
【００７６】
また、上記の実施形態では、アクセント解析及びタイミング解析においてタイミング差の平均値及び標準偏差を算出するようにした。これに対し、タイミング差の平均値に代えてタイミング差の中央値を算出するようにしてもよいし、タイミング差の標準偏差に代えてタイミング差の最大値と最小値との差分を算出するようにしてもよい。
【００７７】
また、上記の実施形態では、腰の周りの複数の位置の検出結果から腰の中心位置を算出し、その算出結果に基づいてストリートダンス動作を評価するようにした。これに対し、腰の周りの複数の位置に代えて又は加えて他の身体部位の位置の検出結果から、腰の中心位置に代えて又は加えて他の位置を算出し、その少なくとも１つの算出結果に基づいてストリートダンス動作を評価するようにした。
【００７８】
また、上記の実施形態では、本発明を、ストリートダンス動作の楽曲に対する適合度の評価に対して適用するようにした。これに対し、ストリートダンス以外のダンスの動作の楽曲に対する適合度の評価に対して本発明を適用するようにしてもよい。
【００７９】
さらに、ダンスの動作以外の身体の動作と楽曲との関係の評価にするようにしてもよい。こうした場合には、楽曲に対する適合度を評価するようにしてもよいし、適合度以外を評価するようにしてもよい。
【００８０】
ここで、楽曲に対する適合度の評価を行う場合には、瞬時周波数及びタイミング成分が極大となるタイミングと拍タイミングとの一致度に限らず、例えば、瞬時周波数及び／又はタイミング成分が極大となるタイミングと拍タイミングとの当該適合度を反映する安定したタイミング差等に基づいて、楽曲に対する適合度の評価を行うようにすればよい。
【００８１】
また、楽曲に対する不適合度の評価を行う場合には、例えば、瞬時周波数及び／又はタイミング成分が極大となるタイミングと拍タイミングとのタイミング差の不安定度に基づいて、楽曲に対する適合度の評価を行うようにすればよい。
【００８２】
また、上記の実施形態では、ストリートダンス動作の楽曲に対する適合度を評価するとの観点から、アクセント成分に関する第１評価の結果の重みを、タイミング成分に関する第２評価の結果の重みより高くして、総合的な評価である第３評価を行うようにした。これに対し、評価対象となる身体の動作と楽曲との関係の種類に対応して、第１評価の結果の重みと第２評価の結果の重みとの相対関係を変更してもよい。
【００８３】
また、上記の実施形態では、アクセント解析に際して、アクセント成分の極大値に着目するようにしたが、評価対象の動作の種類に応じて、アクセント成分の極小値に着目する
ようにしてもよい。
【００８４】
また、上記の実施形態では、所定期間長ごとに身体の動作の楽曲に対する適合度の評価を行うようにした。これに対し、利用者による評価開始指定から評価終了指定までの期間における身体の動作の楽曲に対する適合度の評価を行うようにしてもよい。
【００８５】
また、上記の実施形態では、拍情報供給装置及び動作情報測定装置が評価装置の外部に用意されているものとした。これに対し、利用できる拍情報供給装置又は動作情報測定装置が存在しない場合には、当該存在しない装置を評価装置の構成要素としてもよい。また、上記の実施形態における拍情報供給装置の機能のうちの楽曲音出力機能のみ有する装置が用意される場合には、拍タイミングを検出する拍タイミング検出部を評価装置の構成要素としてもよい。
【００８６】
なお、上記の実施形態における提示部を除く評価装置の構成要素を、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等を備えた演算手段としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、上記の実施形態における提示部を除く評価装置の構成要素の機能を実行するようにしてもよい。このプログラムはハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体から読み出されて実行される。また、このプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。
【実施例】
【００８７】
次に、本発明の一実施例を、図２〜図１０を主に参照して説明する。なお、以下の説明においては、上述した実施形態を含めて、同一又は同等の要素には同一の符号を付し、重複する説明を極力省略する。
【００８８】
［構成］
図２には、一実施例に係る評価装置１００の構成が概略的に示されている。この評価装置１００は、上述した実施形態の評価装置３００の一態様となっている。
【００８９】
図２に示されるように、評価装置１００は、処理制御ユニット１１０と、記憶ユニット１２０とを備えている。また、評価装置１００は、表示ユニット１３０と、音出力ユニット１４０と、入力ユニット１５０とを備えている。
【００９０】
なお、処理制御ユニット１１０には、上述した拍情報供給装置２１０及び動作情報測定装置２２０が接続されている。
【００９１】
上記の処理制御ユニット１１０は、演算部としての中央処理装置（ＣＰＵ）、ＤＳＰ（Digital Signal Processor）を備えて構成される。この処理制御ユニット１１０は、プログラムを実行することにより、上述した実施形態における拍情報取得部３１０、動作情報取得部３２０及び評価部３３０としての機能を果たすようになっている。
【００９２】
処理制御ユニット１１０が実行するプログラムは、記憶ユニット１２０に記憶され、記憶ユニット１２０からロードされて実行される。このプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。
【００９３】
なお、処理制御ユニット１１０が実行する処理については、後述する。
【００９４】
上記の記憶ユニット１２０は、不揮発性の記憶素子を備えて構成されている。この記憶ユニット１２０は、上述したプログラム等の処理制御ユニット１１０が利用する様々な情報データが記憶される。
【００９５】
上記の表示ユニット１３０は、表示装置を備えて構成されている。この表示ユニット１３０は、処理制御ユニット１１０から送られた表示データＩＤＴを受ける。そして、表示ユニット１３０は、当該表示データＩＤＴに従った画像を表示する。
【００９６】
なお、表示データＩＤＴには、処理制御ユニット１１０による評価結果に関連して表示すべき情報を表示するためのデータが含まれている。
【００９７】
上記の音出力ユニット１４０は、スピーカを備えて構成されている。この音出力ユニット１４０は、処理制御ユニット１１０から送られた音データＡＤＴを受ける。そして、音出力ユニット１４０は、当該音データＡＤＴに従った音を出力する。
【００９８】
なお、音データＡＤＴには、処理制御ユニット１１０による評価結果に関連して音声出力すべき情報を出力するためのデータが含まれている。
【００９９】
上記の入力ユニット１５０は、キー部、及び／又は、キー部を備えるリモート入力装置等により構成される。この入力ユニット１５０を操作することにより、利用者が、評価装置１００の動作指定を入力することができる。入力ユニット１５０に操作入力された内容は、入力データＩＰＤとして、処理制御ユニット１１０へ送られる。
【０１００】
なお、利用者による評価装置１００の動作指定には、評価処理の開始指定及び終了指定が含まれている。
【０１０１】
［動作］
次に、上記のように構成された評価装置１００の動作について、処理制御ユニット１１０が実行する評価処理に主に着目して説明する。
【０１０２】
なお、拍情報供給装置２１０は、楽曲音を出力するとともに、上述した拍タイミング情報ＢＴＤを、逐次、評価装置１００へ送信しているものとする。また、動作情報測定装置２２０は、上述した動作情報ＰＳＤを、逐次、評価装置１００へ送信しているものとする（図２参照）。
【０１０３】
こうした状態で、評価動作の開始指定を、入力データＩＰＤとして、入力ユニット１５０から受けると、処理制御ユニット１１０は、評価処理を開始する。かかる評価処理に際しては、図３に示されるように、まず、ステップＳ１１において、処理制御ユニット１１０が、新たに所定期間長の拍タイミング情報ＢＴＤ及び動作情報ＰＳＤを受信したか否かを判定する。ステップＳ１１における判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。
【０１０４】
なお、処理制御ユニット１１０は、拍タイミング情報ＢＴＤを受信するたびに、拍タイミング情報ＢＴＤにより拍タイミングである旨が示された時刻を特定する。そして、処理制御ユニット１１０は、特定された時刻Ｔiを、拍タイミング時刻情報ＢＴＴとして、記憶ユニット１２０内に格納する。
【０１０５】
また、処理制御ユニット１１０は、動作情報ＰＳＤを受信するたびに、動作情報ＰＳＤの受信時刻を特定するとともに、動作情報ＰＳＤの内容に基づいて、腰の中心位置を代表位置として算出する。そして、処理制御ユニット１１０は、算出された代表位置と、動作情報ＰＳＤを受信した時刻との組み合わせを、位置情報Ｐ（Ｔ）として、記憶ユニット１２０内に格納する。
【０１０６】
ステップＳ１１における判定の結果が肯定的となると（ステップＳ１１：Ｙ）、処理はステップＳ１２へ進む。このステップＳ１２では、処理制御ユニット１１０が、経験的モード分解処理を行って、第１固有振動モード成分Ｘ（Ｔ）、第２固有振動モード成分Ｓ（Ｔ）及び残差量ＲＳＤを算出する。
【０１０７】
なお、ステップＳ１２において実行される経験的モード分解処理の詳細については、後述する。
【０１０８】
次に、ステップＳ１３において、処理制御ユニット１１０が、今回の残差量ＲＳＤが上述した所定閾値ＶTH以下であるか否かを判定する。ステップＳ１３における判定の結果が否定的であった場合（ステップＳ１３：Ｎ）には、処理制御ユニット１１０が、楽曲に対する適合度の評価対象となった今回の身体の動作が評価に値しない動作であったと評価する。そして、処理はステップＳ１１へ戻る。
【０１０９】
ステップＳ１３における判定の結果が肯定的であった場合（ステップＳ１３：Ｙ）には、処理はステップＳ１４へ進む。このステップＳ１４では、処理制御ユニット１１０が、第１固有振動モード成分Ｘ（Ｔ）に基づいて、アクセント解析を行う。
【０１１０】
なお、ステップＳ１４において実行されるアクセント解析の詳細については、後述する。
【０１１１】
次いで、ステップＳ１５において、処理制御ユニット１１０が、第２固有振動モード成分Ｓ（Ｔ）に基づいて、タイミング解析を行う。なお、ステップＳ１５において実行されるタイミング解析の詳細については、後述する。
【０１１２】
次に、ステップＳ１６において、処理制御ユニット１１０が、ステップＳ１４におけるアクセント解析の結果、及び、ステップＳ１５におけるタイミング解析の結果に基づいて、評価対象となった今回の期間のストリートダンス動作の楽曲に対する適合度評価処理を行う。なお、ステップＳ１６において実行される適合度評価処理の詳細については、後述する。
【０１１３】
そして、処理制御ユニット１１０は、評価結果に関連して表示すべき情報を表示するためのデータを生成し、生成されたデータを表示データＩＤＴとして表示ユニット１３０へ送る。また、処理制御ユニット１１０は、評価結果に関連して音声出力すべき情報を出力するためのデータを生成し、生成されたデータを音データＡＤＴとして音出力ユニット１４０へ送る。
【０１１４】
この結果、表示データＩＤＴに従って、評価結果に関連して表示すべき情報が、表示ユニット１３０において表示される。また、音データＡＤＴに従って、評価結果に関連して音声出力すべき情報が、音出力ユニット１４０から出力される。
【０１１５】
ステップＳ１６の処理が終了すると、処理はステップＳ１１へ戻る。以後、入力ユニット１５０に評価処理の終了指定が入力されるまで、上述したステップＳ１１〜Ｓ１６の処理が繰り返される。そして、入力ユニット１５０に評価処理の終了指定が入力されると、上述した評価処理が終了する。
【０１１６】
＜経験的モード分解処理＞
次に、上述したステップＳ１２において実行される経験的モード分解処理について説明する。
【０１１７】
かかる経験的モード分解処理に際しては、図４に示されるように、まず、ステップＳ２１において、処理制御ユニット１１０が、記憶ユニット１２０内における今回の評価対象の位置情報Ｐ（Ｔ）から第１固有振動モード成分Ｘ（Ｔ）を、上述した経験的モード分解の手法を用いて抽出する。引き続き、処理制御ユニット１１０は、位置情報Ｐ（Ｔ）から第１固有振動モード成分Ｘ（Ｔ）を差し引いた第１残差成分Ｒ1（Ｔ）（＝Ｐ（Ｔ）−Ｘ（Ｔ））を算出する。
【０１１８】
次に、ステップＳ２２において、処理制御ユニット１１０が、第１残差成分Ｒ1（Ｔ）から第２固有振動モード成分Ｓ（Ｔ）を、経験的モード分解の手法を用いて抽出する。引き続き、処理制御ユニット１１０は、第１残差成分Ｒ1（Ｔ）から第２固有振動モード成分Ｓ（Ｔ）を差し引いた第２残差成分Ｒ2（Ｔ）（＝Ｒ1（Ｔ）−Ｓ（Ｔ）＝Ｐ（Ｔ）−Ｘ（Ｔ）−Ｓ（Ｔ））を算出する。
【０１１９】
次いで、ステップＳ２３において、第２残差成分Ｒ2（Ｔ）の量を反映した残差量ＲＳＤを算出する。ここで、処理制御ユニット１１０は、第２残差成分Ｒ2（Ｔ）の時系列データの二乗平均平方根（ＲＭＳ：Root Mean Square）を算出することにより、残差量ＲＳＤを算出するようになっている。
【０１２０】
ステップＳ２３の処理が終了すると、ステップＳ１２における経験的モード分解処理が終了する。そして、処理は、上述した図３のステップＳ１３へ進む。
【０１２１】
なお、図５には、位置情報Ｐ（Ｔ）の例と、当該位置情報Ｐ（Ｔ）の例から抽出される第１固有振動モード成分Ｘ（Ｔ）の例及び第２固有振動モード成分Ｓ（Ｔ）の例とが示されている。
【０１２２】
＜アクセント解析＞
次に、ステップＳ１４において実行されるアクセント解析について説明する。
【０１２３】
かかるアクセント解析では、図６に示されるように、まず、ステップＳ３１において、処理制御ユニット１１０が、ステップＳ１２において抽出された第１固有振動モード成分Ｘ（Ｔ）に対してヒルベルト変換を施し、第１固有振動モード成分Ｘ（Ｔ）に対応する虚数振幅成分Ｙ（Ｔ）を算出する。引き続き、ステップＳ３２において、処理制御ユニット１１０が、第１固有振動モード成分Ｘ（Ｔ）及び虚数振幅成分Ｙ（Ｔ）を採用して得られる複素振幅Ｚ（Ｔ）（＝Ｘ（Ｔ）＋ｉ・Ｙ（Ｔ））を上述した（１），（２）式で表現した場合における位相関数θ（Ｔ）を、上述した（３）式により算出する。そして、ステップＳ３３において、処理制御ユニット１１０が、上述した（４）式により、瞬時周波数ｆ（Ｔ）を算出する。
【０１２４】
次に、ステップＳ３４において、処理制御ユニット１１０が、タイミング差ΔＴＡjを算出する。かかるタイミング差ΔＴＡjの算出に際して、処理制御ユニット１１０は、まず、記憶ユニット１２０内の評価対象期間における拍タイミング時刻情報で示される拍タイミング時刻ごとに、最も近接している瞬時周波数ｆ（Ｔ）の極大値に対応する時刻ＴＡjを特定する。引き続き、処理制御ユニット１１０が、時刻ＴＡjと、当該時刻ＴＡjに近接している拍タイミング時刻ＴＢjとのタイミング差ΔＴＡj（＝（ＴＡj−ＴＢj））を算出する。
【０１２５】
次いで、ステップＳ３５において、処理制御ユニット１１０が、タイミング差ΔＴＡjの平均値δTAを算出する。引き続き、処理制御ユニット１１０が、タイミング差［ΔＴＡ1，ΔＴＡ2，…］の標準偏差σTAを算出する。
【０１２６】
こうしてステップＳ３５が終了すると、ステップＳ１４が終了する。そして、処理は、上述した図３におけるステップＳ１５へ進む。
【０１２７】
なお、図７には、ステップＳ３４において算出されるタイミング差［ΔＴＡ1，ΔＴＡ2，…］の例が示されている。
【０１２８】
＜タイミング解析＞
次に、ステップＳ１５において実行されるタイミング解析について説明する。
【０１２９】
かかるタイミング解析に際しては、図８に示されるように、まず、ステップＳ４１において、処理制御ユニット１１０が、記憶ユニット１２０内の評価対象期間における拍タイミング時刻情報で示される拍タイミング時刻ごとに、最も近接している第２固有振動モード成分Ｓ（Ｔ）の極値に対応する時刻ＴＴkを特定する。引き続き、処理制御ユニット１１０が、時刻ＴＴkと、当該時刻ＴＴkに近接している拍タイミング時刻ＴＢkとのタイミング差ΔＴＴk（＝（ＴＴk−ＴＢk））を算出する。
【０１３０】
次に、ステップＳ４２において、処理制御ユニット１１０が、タイミング差ΔＴＴkの平均値δTTを算出する。引き続き、処理制御ユニット１１０が、タイミング差［ΔＴＴ1，ΔＴＴ2，…］の標準偏差σTTを算出する。
【０１３１】
こうしてステップＳ４２が終了すると、ステップＳ１５が終了する。そして、処理は、上述した図３におけるステップＳ１６へ進む。
【０１３２】
なお、図９に、ステップＳ４１において算出されるタイミング差［ΔＴＴ1，ΔＴＴ2，…］の例が示されている。
【０１３３】
＜適合度評価処理＞
次いで、ステップＳ１６において実行される適合度評価処理について説明する。
【０１３４】
かかる適合度評価処理に際しては、図１０に示されるように、まず、ステップＳ５１において、処理制御ユニット１１０が、アクセント解析結果（δTA，σTA）に基づく第１評価を行う。かかる第１評価では、処理制御ユニット１１０は、平均値δTAの絶対値が小さく、かつ、標準偏差σTAが小さいほど、高い評価とする。一方、処理制御ユニット１１０は、平均値δTAの絶対値が大きくなるほど、また、標準偏差σTAが大きくなるほど、低い評価とする。すなわち、拍タイミング時刻の近傍において、身体の動作におけるアクセント成分の瞬時周波数ｆ（Ｔ）が極大値となる時刻が拍タイミング時刻に安定して近いほど、高い評価がなされるようになっている。
【０１３５】
次に、ステップＳ５２において、処理制御ユニット１１０が、タイミング解析結果（δTT，σTT）に基づく第２評価を行う。かかる第２評価では、処理制御ユニット１１０は、平均値δTTの絶対値が小さく、かつ、標準偏差σTTが小さいほど、高い評価とする。一方、処理制御ユニット１１０は、平均値δTTの絶対値が大きくなるほど、また、標準偏差σTTが大きくなるほど、低い評価とする。すなわち、身体の動作における定常的なタイミング成分が極値となる時刻が拍タイミング時刻に安定して近いほど、高い評価がなされるようになっている。
【０１３６】
さらに、第２評価に際して、処理制御ユニット１１０は、平均値δTTの絶対値が同一のときには、平均値δTTが正値の場合の方が、平均値δTTが負値の場合よりも高い評価がなされるようになっている。これは、上述したように、ストリートダンス動作においては、「遅取り」が「早取り」よりも高く評価されることによる。
【０１３７】
次いで、ステップＳ５３において、処理制御ユニット１１０が、第１評価の結果及び第２評価の結果に基づいて、第３評価を行う。かかる第３評価に際しては、処理制御ユニット１１０は、第１評価の結果に対して第２評価の結果よりも高い重み付けをして、第３評価を行う。
【０１３８】
こうしてステップＳ５３が終了すると、ステップＳ１６が終了する。そして、処理は、上述した図３におけるステップＳ１１へ戻る。
【０１３９】
以上説明したように、本実施例では、処理制御ユニット１１０が、楽曲の拍タイミングに関する拍タイミング情報ＢＴＤを取得するとともに、身体の動作に関する動作情報ＰＳＤを取得する。そして、処理制御ユニット１１０が、動作情報ＰＳＤから得られた位置情報Ｐ（Ｔ）に基づいて、経験的モード分解処理を行って、当該動作のアクセントに関する第１固有振動モード成分Ｘ（Ｔ）及び第２固有振動モード成分Ｓ（Ｔ）を抽出するとともに、残差量ＲＳＤを算出する。そして、第１固有振動モード成分Ｘ（Ｔ）から得られる瞬時周波数ｆ（Ｔ）、第２固有振動モード成分Ｓ（Ｔ）及び残差量ＲＳＤに基づいて、楽曲に適合させるべく行われるストリートダンス動作の当該楽曲に対する適合度を評価する。
【０１４０】
したがって、本実施例によれば、上述した実施形態について記載した効果と同様の効果を奏することができる。
【０１４１】
なお、本実施例については、上述した実施形態の場合と同様の変形を行うことができる。
【符号の説明】
【０１４２】
１００  …  評価装置
１１０  …  処理制御ユニット（拍情報取得部、動作情報取得部、評価部）
３００  …  評価装置
３１０  …  拍情報取得部（第２取得部）
３２０  …  動作情報取得部（第１取得部）
３３０  …  評価部
【図１】
2017006286.tif 000003
【図２】
2017006286.tif 000004
【図３】
2017006286.tif 000005
【図４】
2017006286.tif 000006
【図５】
2017006286.tif 000007
【図６】
2017006286.tif 000008
【図７】
2017006286.tif 000009
【図８】
2017006286.tif 000010
【図９】
2017006286.tif 000011
【図１０】
2017006286.tif 000012