(57)【要約】      （修正有）【課題】いずれの楽曲に対するダンスであっても、より正確な評価を行うことができる情報処理装置、情報処理システム、プログラム及び情報処理方法を提供する。【解決手段】情報処理システム１００は、スマートフォン１（端末装置）と、ダンスセンサ（ウェアラブル端末）２と、を備えて構成され、各装置が通信接続される。スマートフォン１は、音楽データを取得し、取得された音楽データに基づいて、音楽データに合わせたユーザの体の動き情報における評価対象区間を決定するＣＰＵ１０１を備える。【選択図】図１
2019054900.tif 000002
【特許請求の範囲】
【請求項１】
音楽データを取得する音楽データ取得手段と、
前記音楽データ取得手段により取得された音楽データに基づいて、前記音楽データに合わせたユーザの体の動き情報における評価対象区間を決定する評価対象区間決定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記音楽データ取得手段により取得される音楽データにおける拍情報を取得する拍情報取得手段を備え、
前記評価対象区間決定手段は、前記拍情報取得手段により取得された前記拍情報に基づいて、前記動き情報における前記評価対象区間を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記音楽データ取得手段により取得される音楽データに合わせたユーザの体の動き情報を取得する動き情報取得手段を備え、
前記評価対象区間決定手段は、前記動き情報取得手段により取得された前記動き情報に基づいて、前記動き情報における前記評価対象区間を決定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記評価対象区間決定手段により決定された前記評価対象区間における前記動き情報を評価する評価手段をさらに備えることを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
【請求項５】
前記評価手段は、前記評価対象区間において、前記動き情報における動きのピークのタイミングと前記拍情報に基づく拍のタイミングとの差異に基づき、前記動き情報を評価することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記音楽データ取得手段により取得される音楽データに合わせた第２動き情報を取得する第２動き情報取得手段をさらに備え、
前記評価手段は、前記評価対象区間において、前記動き情報取得手段により取得された前記動き情報と、前記第２動き情報取得手段により取得された前記第２動き情報との差異に基づき、前記動き情報を評価することを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記評価対象区間決定手段は、前記拍情報に基づく拍単位で、前記動き情報において所定強度以上の動きが所定時間以上継続する周期動作区間を前記評価対象区間として決定することを特徴とする請求項１から６のいずれか一項に記載の情報処理装置。
【請求項８】
前記動き情報取得手段は、前記動き情報として、ユーザの体の位置又は角度の所定方向における変化量を示す時間単位の信号波形を取得し、
前記評価対象区間決定手段は、前記拍情報に基づく拍単位で、前記信号波形に対して時間周波数解析を行い、周波数ごとの強度分布の時間変化を取得し、特定の周波数が所定強度以上である時間が所定時間以上継続する周期動作区間を前記評価対象区間として決定することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記動き情報取得手段は、前記動き情報として、ユーザの体の位置又は角度の所定方向における変化量を示す時間単位の信号波形を取得し、
前記評価対象区間決定手段は、前記拍情報に基づく拍単位における前記信号波形の分散の、前記信号波形全体の分散に対する比が所定値以上である特徴動作区間を前記評価対象区間として決定することを特徴とする請求項１から８のいずれか一項に記載の情報処理装置。
【請求項１０】
ユーザが装着可能なウェアラブル端末と、前記ウェアラブル端末と通信接続可能な端末装置と、を備える情報処理システムであって、
音楽データを取得する音楽データ取得手段と、
前記音楽データ取得手段により取得された音楽データに基づいて、前記音楽データに合わせたユーザの体の動き情報における評価対象区間を決定する評価対象区間決定手段と、
を備えることを特徴とする情報処理システム。
【請求項１１】
コンピュータを、
音楽データを取得する音楽データ取得手段、
前記音楽データ取得手段により取得された音楽データに基づいて、前記音楽データに合わせたユーザの体の動き情報における評価対象区間を決定する評価対象区間決定手段、
として機能させるためのプログラム。
【請求項１２】
音楽データを取得する音楽データ取得工程と、
前記音楽データ取得工程で取得された音楽データに基づいて、前記音楽データに合わせたユーザの体の動き情報における評価対象区間を決定する評価対象区間決定工程と、
を有することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、プログラム及び情報処理方法に関する。
【背景技術】
【０００２】
従来、ユーザのダンスを採点する家庭用ゲームやアーケードゲーム、スマートフォンアプリ等が知られている。それらにおける採点方法は様々であるが、その多くがあらかじめ設定されたモーションデータにどれだけ近い動きができたかという観点で採点が行われている。
【０００３】
具体的には、例えば、ユーザにより選択された音楽等をスピーカ等から流し、これに合わせてユーザにより行われたダンスを、判定データとの類似度に基づき採点するゲーム装置が提供されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２２４７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の技術にあっては、あらかじめ記憶された楽曲ごとに類似度を判定するタイミングが設定されており、そのタイミングにおいて判定された類似度に基づきダンスを採点するため、ユーザ自身が自由に楽曲を選択し、選択された楽曲に合わせて踊った場合にはこれを評価することができない。
【０００６】
そこで、本発明は、いずれの楽曲に対するダンスであっても、より正確な評価を行うことができる情報処理装置、情報処理システム、プログラム及び情報処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
以上の課題を解決するため、請求項１に記載の発明の情報処理装置は、
音楽データを取得する音楽データ取得手段と、
前記音楽データ取得手段により取得された音楽データに基づいて、前記音楽データに合わせたユーザの体の動き情報における評価対象区間を決定する評価対象区間決定手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、いずれの楽曲に対するダンスであっても、より正確な評価を行うことができる情報処理装置、情報処理システム、プログラム及び情報処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の情報処理システムの機能構成を示すブロック図である。
【図２】本実施形態に係るダンス評価処理の一例を示すフローチャートである。
【図３】各動きにおける時間ごとの加速度変化及び角速度変化を示す信号波形の一例を示す図である。
【図４】総合採点結果の一例を示す図である。
【図５】本実施形態に係る評価対象区間決定処理の一例を示すフローチャートである。
【図６】本実施形態に係る拍一致度評価処理の一例を示すフローチャートである。
【図７】特徴動作区間における動きの信号波形と拍のタイミングとを比較した図である。
【図８】周期動作区間における動きの信号波形と拍のタイミングとを比較した図である。
【図９】本実施形態に係る正解動き一致度評価処理の一例を示すフローチャートである。
【図１０】特徴動作区間におけるユーザの動き情報に基づく信号波形と正解動き情報に基づく信号波形とを比較した図である。
【図１１】本実施形態に係る比較動き一致度評価処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
【００１１】
《情報処理システム１００の構成》
まず、図１を参照して、本実施形態の構成を説明する。図１は、本実施形態の情報処理システム１００の機能構成を示すブロック図である。
【００１２】
本実施形態の情報処理システム１００は、楽曲の拍情報とユーザの動き情報に基づいて、動き情報の評価対象区間を決定するシステムである。
【００１３】
図１に示すように、情報処理システム１００は、スマートフォン１（端末装置）と、ダンスセンサ（ウェアラブル端末）２と、を備えて構成され、各装置が通信接続される。なお、本実施形態においては、スマートフォン１を備えて構成されているものとしたがこれに限られるものではない。すなわち、スマートフォン１の代わりに、例えば、タブレット端末、ＰＣ（personal computer）等の端末装置を備えているものとしても良い。
【００１４】
情報処理システム１００は、ユーザがダンスセンサ２を身に着けた状態で所望のダンスを踊ることで、スマートフォン１により当該ダンスの評価対象区間を決定し、これに基づいた正確な評価を行うことができる。
【００１５】
《スマートフォン１の構成》
次いで、スマートフォン１の内部構成を説明する。
【００１６】
図１に示すように、スマートフォン１は、ＣＰＵ（Central Processing Unit）１０１と、操作入力部１０２と、ＲＡＭ（Random Access Memory）１０３と、表示部１０４と、記憶部１０５と、通信部１０６と、を備えて構成され、各部がバス１０７を介して接続されている。
【００１７】
ＣＰＵ１０１は、記憶部１０５に記憶されているシステムプログラムを読み出し、ＲＡＭ１０３のワークエリアに展開し、当該システムプログラムに従って各部を制御する。また、ＣＰＵ１０１は、記憶部１０５に記憶されている処理プログラムを読み出してワークエリアに展開し、後述するダンス評価処理を始めとする各種処理を実行し、音楽データ取得手段、評価対象区間決定手段、拍情報取得手段、動き情報取得手段、評価手段及び第２動き情報取得手段として機能する。
【００１８】
操作入力部１０２は、押しボタンスイッチや、表示部１０４上に設けられるタッチセンサ等を有して構成され、ユーザの入力操作を受け付けて、操作内容を電気信号に変換してＣＰＵ１０１に出力する。
【００１９】
ＲＡＭ１０３は、揮発性のメモリーである。また、ＲＡＭ１０３は、実行される各種プログラムやこれら各種プログラムに係るデータ等を格納するワークエリアを有する。
【００２０】
表示部１０４は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等で構成され、ＣＰＵ１０１からの表示制御信号に従って画面表示を行う。上記したように、表示部１０４の表示画面上にはタッチセンサが設けられていても良い。
【００２１】
記憶部１０５は、磁気記録媒体を有するＨＤＤ（Hard Disk Drive）等により構成される。記憶部１０５には、ＣＰＵ１０１で実行されるシステムプログラムや処理プログラム、Ｗｅｂサーバプログラム等のアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。処理プログラムには、後述するダンス評価処理を始めとする各種処理を実行するためのプログラムが含まれる。
これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態で記憶部１０５に格納されている。ＣＰＵ１０１は、当該プログラムコードに従った動作を逐次実行する。
【００２２】
また、記憶部１０５は、ユーザにより入力される各種データや、ダンスセンサ２から送信される各種データを記憶する。例えば、記憶部１０５は、取得された動き情報、比較動き情報、音楽データ、拍情報、評価対象区間情報、各種評価処理にて得られる評価結果、それらに基づく総合評価結果等を記憶することが可能に構成されている。
【００２３】
通信部１０６は、所定の無線通信回線（例えば、Bluetooth（登録商標）等の無線ＰＡＮ（Personal Area Network））を介して接続されたダンスセンサ２や、通信ネットワーク上のＰＣやサーバ装置等の外部機器（図示略）との通信制御を行う。
【００２４】
《ダンスセンサ２の構成》
次いで、ダンスセンサ２の内部構成を説明する。
【００２５】
図１に示すように、ダンスセンサ２は、ＣＰＵ２０１と、操作入力部２０２と、ＲＡＭ２０３と、表示部２０４と、記憶部２０５と、通信部２０６と、音声入力部２０７と、加速度センサ２０８と、角速度センサ２０９と、を備えて構成され、各部がバス２１０を介して接続されている。
【００２６】
ＣＰＵ２０１、操作入力部２０２、ＲＡＭ２０３、表示部２０４、記憶部２０５及び通信部２０６は、それぞれ、スマートフォン１のＣＰＵ１０１、操作入力部１０２、ＲＡＭ１０３、表示部１０４、記憶部１０５及び通信部１０６の構成と同様であり、異なる部分を主として説明する。
【００２７】
ＣＰＵ２０１は、記憶部２０５に記憶されているシステムプログラムを読み出し、ＲＡＭ２０３のワークエリアに展開し、当該システムプログラムに従って各部を制御する。また、ＣＰＵ２０１は、記憶部２０５に記憶されている処理プログラムを読み出してワークエリアに展開し、各種処理を実行する。
【００２８】
記憶部２０５は、磁気記録媒体を有するＨＤＤ等により構成される。記憶部２０５には、ＣＰＵ２０１で実行されるシステムプログラムや処理プログラム、Ｗｅｂブラウザ等のアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。処理プログラムには、後述するダンス評価処理を始めとする各種処理を実行するためのプログラムが含まれる。
【００２９】
通信部２０６は、上記スマートフォン１や、通信ネットワーク上のＰＣやサーバ装置等の外部機器（図示略）との通信制御を行う。
【００３０】
音声入力部２０７は、マイク等により構成され、入力された音声・楽曲等を電気信号からなる音声情報に変換してＣＰＵ２０１に出力する。
【００３１】
加速度センサ２０８は、ユーザの動きに起因して変動する所定軸方向の加速度の情報を取得する。具体的には、加速度センサ２０８は、例えば、ダンスセンサ２の互いに直交する３軸方向の加速度をそれぞれ検出する３軸加速度センサで構成され、上下軸、前後軸及び左右軸方向の各々の加速度をそれぞれ検出する。
【００３２】
角速度センサ２０９は、ユーザの動きに起因して変動する所定軸を中心とする回動の角速度を検出する。具体的には、角速度センサ２０９は、例えば、ダンスセンサ２の互いに直交する３軸を中心とする回動の角速度をそれぞれ検出する３軸角速度センサで構成され、上下軸、前後軸及び左右軸を中心とする回動の角速度をそれぞれ検出する。
【００３３】
これら加速度センサ２０８及び角速度センサ２０９が内蔵された当該ダンスセンサ２をユーザが携持することで、ダンスセンサ２はユーザの動きを検出することができる。なお、ダンスセンサ２は、ユーザの洋服のポケットやバッグに収容されたりしても良いし、手に持ったり手首等に装着されたりしても良い。
【００３４】
《スマートフォン１の動作》
（ダンス評価処理）
本実施形態のスマートフォン１により行われるダンス評価処理について、図２〜図４を参照して説明する。図２は、本実施形態に係るダンス評価処理の一例を示すフローチャートである。図３は、各動きにおける時間ごとの加速度変化及び角速度変化を示す信号波形の一例を示す図である。図４は、総合採点の結果の一例を示す図である。
【００３５】
図２に示すように、まず、ＣＰＵ１０１は、各種データを取得する（ステップＳ１０１）。ステップＳ１０１で取得する各種データとしては、ダンスセンサ２を装着したユーザが楽曲に合わせてダンスを踊ることで加速度センサ２０８及び角速度センサ２０９により検出されて通信部１０６を介して取得される動き情報や、音声入力部２０７により入力される当該楽曲が変換されて通信部１０６を介して取得される音楽データ等が含まれる。ここで取得される動き情報と音楽データは時間的な同期が取れているものとする。また、動き情報には、図３に示すように、加速度センサ２０８により検出される時間経過に伴う上下軸、前後軸及び左右軸方向の加速度から計算される動きの変化（以下、それぞれ上下の動き、前後の動き、左右の動きともいう）、並びに角速度センサ２０９により検出される時間経過に伴う上下軸、前後軸及び左右軸を中心とする回動の角速度から計算される傾きの変化（以下、上下軸に対する傾き、前後軸に対する傾き、左右軸に対する傾きともいう）が含まれる。なお、音楽データとしては、あらかじめ記憶部１０５に記憶され、当該記憶部１０５から取得されるものとしても良いし、通信ネットワークを介して接続される外部サーバ（図示略）等から通信部１０６を介して取得されるものとしても良い。また、これらの場合には、ダンスセンサ２は、音声入力部２０７を備えていなくても良い。
【００３６】
次に、ＣＰＵ１０１は、ステップＳ１０１で取得される音楽データに対応する、楽曲の拍のタイミングを示す拍情報の有無を判定する（ステップＳ１０２）。音楽データがあらかじめ記憶部１０５に記憶されている場合には、記憶部１０５に拍情報が併せて記憶されているか否かを判定し、音楽データが外部サーバ等から取得される場合には、拍情報が併せて取得されているか否かを判定する。なお、音声入力部２０７により音楽データが取得された場合には、拍情報はないと判定される。
【００３７】
ここで、上記ステップＳ１０１の処理にて例えば図３に示す動き情報が取得された場合、図３において拍のタイミングは一点鎖線で示される。また、以下の説明において、各拍のタイミングを基準とした前後半拍分の区間を拍区間とする。図３において拍区間は、２本の破線で挟まれる区間である。
【００３８】
拍情報がないと判定されると（ステップＳ１０２；ＮＯ）、ＣＰＵ１０１は、ステップＳ１０１で取得される音楽データにおける楽曲の拍情報を導出する（ステップＳ１０３）。具体的には、一般に楽曲においては拍のタイミングでその音量が増大するという特徴があることから、ＣＰＵ１０１は、ステップＳ１０１で取得された音楽データに対して周波数解析を行って拍のタイミングを推定し、拍情報を導出する。なお、拍情報の導出方法としては、これに限られるものではなく、従来公知のいずれの方法であっても良い。
【００３９】
拍情報があると判定されると（ステップＳ１０２：ＹＥＳ）、ＣＰＵ１０１は、記憶部１０５や外部サーバ等から拍情報を取得し、上記ステップＳ１０３の処理を省略する。
【００４０】
次に、ＣＰＵ１０１は、評価対象区間を示す評価対象区間情報の有無を判定する（ステップＳ１０４）。具体的には、上記ステップＳ１０１の処理で取得されるユーザの動き情報及び音楽データに対応する評価対象区間情報が記憶部１０５に記憶されているか否かや、外部サーバに記憶されているか否か等を判定する。例えば、過去に評価したことのあるダンスと同一内容のダンスを評価する場合には、対応する評価対象区間情報が記憶部１０５や外部サーバ等に記憶されている。
【００４１】
評価対象区間情報がないと判定されると（ステップＳ１０４；ＮＯ）、ＣＰＵ１０１は、取得された動き情報及び音楽データに基づいて、評価対象区間を決定する評価対象区間決定処理を行う（ステップＳ１０５）。これにより、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、左右軸に対する傾きの各動きのそれぞれに対して、評価対象区間として後述する周期動作区間、特徴動作区間及びシンクロ動作区間が決定され、さらに決めポーズの有無が特定される。なお、評価対象区間決定処理の詳細については後述する。
【００４２】
評価対象区間情報があると判定されると（ステップＳ１０４；ＹＥＳ）、ＣＰＵ１０１は、記憶部１０５や外部サーバ等から評価対象区間情報を取得し、上記ステップＳ１０５の処理を省略する。
【００４３】
次に、ＣＰＵ１０１は、ユーザの動き情報における動きのピークのタイミングと、拍情報に基づく拍のタイミングとの差異を導出する拍一致度評価処理を行う（ステップＳ１０６）。動きのピークとは、時間経過に伴う各軸の動きの変化や傾きの変化の極値をいう。拍一致度評価処理により、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、左右軸に対する傾きの各動きのそれぞれについて、特徴動作区間における動きのピークのタイミングと拍のタイミングとの時間差、並びに周期動作区間における動きのピークのタイミングと拍のタイミングとの時間差の平均値及び分散を評価結果として取得することができる。なお、拍一致度評価処理の詳細については後述する。
【００４４】
次に、ＣＰＵ１０１は、正解動き情報（第２動き情報）の有無を判定する（ステップＳ１０７）。具体的には、上記ステップＳ１０１の処理で取得されるユーザの動き情報及び音楽データに対応する正解動き情報が記憶部１０５に記憶されているか否かや、外部サーバ等に記憶されているか否か等を判定する。ここで、正解動き情報とは、ユーザの動き情報が示す動きと同一内容であって、楽曲に対する動きのタイミングや大きさ、キレ等が高水準にある動きを示す情報である。正解動き情報は、実際にダンス講師等がダンスを踊った場合に取得される動きを示す情報であっても良いし、人工的に作成された動きを示す情報であっても良い。また、正解動き情報は、ユーザの操作により適宜設定変更可能である。
【００４５】
正解動き情報があると判定されると（ステップＳ１０７；ＹＥＳ）、ＣＰＵ１０１は、上記ステップＳ１０１の処理で取得されたユーザの動き情報と、正解動き情報とを比較して評価する正解動き一致度評価処理を行う（ステップＳ１０８）。これにより、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、左右軸に対する傾きの各動きのそれぞれについて、周期動作区間・特徴動作区間の時間差、信号波形の極値の振幅の差異、及び信号波形の形状の差異を評価結果として取得することができる。なお、正解動き一致度評価処理の詳細については後述する。
【００４６】
正解動き情報がないと判定されると（ステップＳ１０７；ＮＯ）、ＣＰＵ１０１は、上記ステップＳ１０８の処理を省略する。
【００４７】
次に、ＣＰＵ１０１は、比較動き情報（第２動き情報）の有無を判定する（ステップＳ１０９）。具体的には、上記ステップＳ１０１の処理で取得される動き情報及び音楽データに対応する比較動き情報が記憶部１０５に記憶されているか否かや、外部サーバ等に記憶されているか否か等を判定する。ここで、比較動き情報とは、ユーザの動き情報が示す動きと一部が同一内容であって、それ以外の部分が異なる内容の動きを示す情報である。比較動き情報は、他のユーザがダンスを踊った場合に取得される動きを示す情報であっても良いし、人工的に作成された動きを示す情報であっても良い。比較動き情報は、ユーザの操作により適宜設定変更可能である。
【００４８】
比較動き情報があると判定されると（ステップＳ１０９；ＹＥＳ）、ＣＰＵ１０１は、上記ステップＳ１０１の処理で取得されたユーザの動き情報と、比較動き情報とを比較して評価する比較動き一致度評価処理を行う（ステップＳ１１０）。これにより、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、及び左右軸に対する傾きの各動きのそれぞれについて、シンクロ動作区間の時間差、信号波形の極値の振幅の差異、及び信号波形の形状の差異を評価結果として取得することができる。なお、比較動き一致度評価処理の詳細については後述する。
【００４９】
比較動き情報がないと判定されると（ステップＳ１０９；ＮＯ）、ＣＰＵ１０１は、上記ステップＳ１１０の処理を省略する。
【００５０】
次に、ＣＰＵ１０１は、拍一致度評価処理、正解動き一致度評価処理及び比較動き一致度評価処理の各評価結果に基づき、総合採点を行う（ステップＳ１１１）。
【００５１】
図４を参照して、正解動き一致度評価処理及び比較動き一致度評価処理がともに行われた場合の総合評価の結果の一例について説明する。図４は、拍１〜拍８の計８拍で構成される楽曲に合わせて踊ったダンスを評価した場合の評価結果の例であり、１００点満点であるものとする。なお、点数が「−」で表されている拍は、評価対象区間でないことを表している。
【００５２】
まず、ＣＰＵ１０１は、拍一致度評価処理において得られる評価結果を重み付けして、拍区間ごと、すなわち拍単位で点数を算出する。例えば、評価結果の種類、評価対象区間の種類（特徴動作区間又は周期動作区間）やその長さ、動きの種類（上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、又は左右軸に対する傾き）等に応じて、評価結果を重み付けする。重み付けの割合は、あらかじめ設定されたものであっても良いし、ダンスジャンル（例えば、フラダンスやヒップホップ等）に応じて設定するものであっても良いし、ユーザの入力操作に応じて設定するものであっても良い。これらの重み付けについては、以下の正解動き一致度評価処理及び比較動き一致度評価処理においても同様であり、各評価処理で同一に評価結果を重み付けしても良いし、各評価処理で互いに異なるように評価結果を重み付けしても良い。
【００５３】
図４に示す例においては、拍１が「−」、拍２が「４０」点、拍３が「５５」点、拍４が「６５」点、拍５が「−」、拍６が「−」、拍７が「５０」点、拍８が「７５」点と採点されている。拍４のタイミングで決めポーズが存在しており、決めポーズが存在する拍においては、点数が３倍になるように重み付けする。したがって、拍の点数の平均値を算出すると、（４０＋５５＋６５×３＋５０＋７５）／７＝５９点となる。
【００５４】
同様に、ＣＰＵ１０１は、正解動き一致度評価処理において得られる評価結果を重み付けして、拍単位で点数を算出する。図４に示す例において、上記拍一致度評価処理で得られる評価結果に基づく採点と同様にして拍の点数の平均値を算出すると、（８５＋７０＋４０×３＋１５＋９５）／７＝５５点となる。
【００５５】
同様に、ＣＰＵ１０１は、比較動き一致度評価処理において得られる評価結果を重み付けして、拍単位で点数を算出する。図４に示す例において、上記拍一致度評価処理で得られる評価結果に基づく採点と同様にして拍の点数の平均値を算出すると、（３０＋２５＋４５×３＋３０＋６０）／７＝４０点となる。
【００５６】
ＣＰＵ１０１は、上記算出した各評価処理の評価結果に基づき算出される拍の点数の平均値をさらに重み付けして、それらの平均値を算出する。ここでの重み付けの割合は、あらかじめ設定されたものであっても良いし、ダンスジャンルに応じて設定するものであっても良いし、ユーザの入力操作に応じて設定するものであっても良い。
図４に示す例において、拍一致度評価を０．２、正解動き一致度評価を０．５、比較動き一致度評価を０．３と重み付けしている。したがって、最終的な総合評価点は、５９×０．２＋５５×０．５＋４０×０．３＝５１点となる。
なお、図４に示すように、拍単位の総合評価点を算出するものとしても良い。例えば、拍２の総合評価点は、４０×０．２＋８５×０．５＋３０×０．３＝６０点となる。
以上のようにして、ダンス評価処理を行う。
【００５７】
（評価対象区間決定処理）
次に、本実施形態のスマートフォン１により行われる評価対象区間決定処理について、図５等を参照して説明する。図５は、評価対象区間決定処理の一例を示すフローチャートである。
【００５８】
図５に示すように、まず、ＣＰＵ１０１は、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、及び左右軸に対する傾きの各動きのうち、評価対象区間未決定の動きを選定する（ステップＳ２０１）。すなわち、本実施形態においては、評価対象区間は各動きについてそれぞれ決定される。
【００５９】
次に、ＣＰＵ１０１は、選定された動きの信号波形から分散を算出する（ステップＳ２０２）。具体的には、ＣＰＵ１０１は、例えば、図３に示す信号波形のうち、上記ステップＳ２０１の処理にて選定された動きの信号波形における全体の分散と、拍区間ごと、すなわち各拍単位の分散とをそれぞれ算出する。
【００６０】
次に、ＣＰＵ１０１は、選定された動きの信号波形から、非動作区間を特定する（ステップＳ２０３）。具体的には、ＣＰＵ１０１は、例えば、選定された動きの信号波形における各拍区間から、上記ステップＳ２０２の処理で算出された拍区間ごとの分散が所定値以下である拍区間を選定し、選定された拍区間を非動作区間と特定する。当該所定値としては、全体の分散に対して１０％が例示される。したがって、このステップＳ２０３の処理にて特定される非動作区間は、動きが全くない区間というわけではなく、動きがあったとしても小さな動きである区間である。
これにより、ダンスの評価に不必要な区間を特定し、除外することで、評価対象区間を精度良く特定することができる。
【００６１】
次に、ＣＰＵ１０１は、評価対象区間として、アップダウンの繰り返しや腰振りの繰り返し等の周期的な動作を行っている区間（周期動作区間）を特定する（ステップＳ２０４）。具体的には、ＣＰＵ１０１は、選定された動きの信号波形に対して、上記ステップＳ２０３の処理にて特定された非動作区間を除外した上で、ウェーブレット変換や短時間フーリエ変換等の時間周波数解析を行う。そして、ＣＰＵ１０１は、周波数ごとの強度分布の時間変化を取得し、特定の周波数が所定強度以上である時間が所定時間以上継続する、連続する複数の拍区間を周期動作区間と特定する。当該特定の周波数としては１〜４Ｈｚの範囲内が例示され、当該所定時間としては２拍区間分の時間が例示される。例えば、図３に示す例においては、上下の動き、及び前後軸に対する傾きの各信号波形において、周期動作区間が特定される。
また、ステップＳ２０４の処理により、複数の拍区間が連続して周期動作区間として特定された場合には、それらを連結して一つの周期動作区間として特定する。
ＣＰＵ１０１は、特定された周期動作区間を評価対象区間情報として記憶部１０５や外部サーバ等に記憶させる。
【００６２】
なお、ステップＳ２０４の処理においては、時間周波数解析を行って周期動作区間を特定するものとしたがこれに限られるものではない。例えば、選定された動きの信号波形において自己相関関数を求めることにより周期動作区間を特定する方法であっても良いが、ＣＰＵ１０１の処理負荷の軽減の観点から、上記時間周波数解析を行う方法が好ましい。
【００６３】
次に、ＣＰＵ１０１は、評価対象区間として、周期的ではないが特徴的な動作を行っている区間（特徴動作区間）を特定する（ステップＳ２０５）。具体的には、ＣＰＵ１０１は、選定された動きの信号波形から、上記ステップＳ２０３及びＳ２０４の処理にて特定された非動作区間及び周期動作区間を除外した上で、各拍区間から、上記ステップＳ２０２の処理で算出された拍区間ごとの分散が所定値以上である拍区間を選定し、選定された拍区間を特徴動作区間と特定する。当該所定値としては、全体の分散の２倍が例示される。例えば、図３に示す例においては、左右の動き、及び左右軸に対する傾きの各信号波形において、特徴動作区間が特定される。
また、ステップＳ２０５の処理により、複数の拍区間が連続して特徴動作区間として特定された場合には、それらを連結して一つの特徴動作区間として特定する。
ＣＰＵ１０１は、特定された特徴動作区間を評価対象区間情報として記憶部１０５や外部サーバ等に記憶させる。
【００６４】
次に、ＣＰＵ１０１は、比較動き情報の有無を判定する（ステップＳ２０６）。具体的には、ＣＰＵ１０１は、上記ステップＳ１０９の処理と同様、上記ステップＳ１０１の処理で取得されるユーザの動き情報及び音楽データに対応する比較動き情報が記憶部１０５に記憶されているか否かや、外部サーバ等に記憶されているか否か等を判定する。
【００６５】
比較動き情報があると判定されると（ステップＳ２０６；ＹＥＳ）、ＣＰＵ１０１は、比較動き情報と同じ動きをしている区間（シンクロ動作区間）を特定する（ステップＳ２０７）。具体的には、まず、ＣＰＵ１０１は、記憶部１０５や外部サーバ等から比較動き情報を取得する。ここで取得する比較動き情報としては、上記ステップＳ１０１の処理で取得されたユーザの動き情報と時間的な同期が取れているものとする。そして、ＣＰＵ１０１は、ユーザの動き情報における信号波形と、取得された比較動き情報における信号波形との間で、上記ステップＳ２０４及びＳ２０５の処理で特定された周期動作区間及び特徴動作区間ごとに、それらの区間の前後１拍区間分の相互相関関数の最大値から相関係数を算出する。さらに、ＣＰＵ１０１は、算出された相関係数が所定値以上である場合に、当該周期動作区間又は特徴動作区間をシンクロ動作区間と特定する。当該所定値としては、０．８が例示される。
ＣＰＵ１０１は、特定されたシンクロ動作区間を評価対象区間情報として記憶部１０５や外部サーバ等に記憶させる。
【００６６】
比較動き情報がないと判定されると（ステップＳ２０６；ＮＯ）、ＣＰＵ１０１は、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、及び左右軸に対する傾きの各動きのうち、評価対象区間未決定の動きの有無を判定する（ステップＳ２０８）。
【００６７】
評価対象区間未決定の動きがあると判定されると（ステップＳ２０８；ＹＥＳ）、ＣＰＵ１０１は、再び上記ステップＳ２０１の処理を行う。
【００６８】
評価対象区間未決定の動きがないと判定されると（ステップＳ２０８；ＮＯ）、ＣＰＵ１０１は、決めポーズの有無を特定する（ステップＳ２０９）。具体的には、ＣＰＵ１０１は、上記ステップＳ２０４又はＳ２０５の処理にて特定された周期動作区間又は特徴動作区間の直後に、上記ステップＳ２０３の処理にて特定された非動作区間が存在するか否かを判断し、非動作区間が存在する場合に決めポーズがあると特定する。ここで、当該非動作区間が存在するか否かの判断は、動き情報に含まれる全ての動きについて行われる。すなわち、例えば、上下の動きについて特定された特徴動作区間の直後に、上下の動きについて非動作区間が存在していたとしても、前後の動きについて非動作区間が存在していない場合には、決めポーズはないと判断する。
以上のようにして、評価対象区間決定処理を行う。
【００６９】
（拍一致度評価処理）
次に、本実施形態のスマートフォン１により行われる拍一致度評価処理について、図６〜図８等を参照して説明する。図６は、拍一致度評価処理の一例を示すフローチャートである。図７は、特徴動作区間における動きの信号波形と拍のタイミングとを比較した図である。図８は、周期動作区間における動きの信号波形と拍のタイミングとを比較した図である。なお、図７及び図８において拍のタイミングを一点鎖線で示す。
【００７０】
図６に示すように、まず、ＣＰＵ１０１は、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、及び左右軸に対する傾きの各動きのうち、評価完了前の動きを選定する（ステップＳ３０１）。すなわち、本実施形態においては、各動きについてそれぞれ評価を行う。
【００７１】
次に、ＣＰＵ１０１は、上記評価対象区間決定処理にて特定された特徴動作区間における、選定された動きの信号波形の極値と、拍情報が示す拍のタイミングとの時間差を算出する（ステップＳ３０２）。これは、一般にダンスにおいては、拍のタイミングには動きの移行過程ではなく、動きの完了点が一致することが多い傾向を利用したものであり、ＣＰＵ１０１は、特定された特徴動作区間における波形の極値を抽出し、抽出された極値と拍のタイミングの時間差を算出する。ここでの拍のタイミングとは、抽出された極値の前後の拍のタイミングのうち当該極値に対して時間的に近い方の拍のタイミングである。例えば、図７（ａ）に示す例においては、特徴動作区間における波形の極値が拍のタイミングよりも早く、動きが楽曲のリズムに対して早いことを示しており、図７（ｂ）に示す例においては、特徴動作区間における波形の極値が拍のタイミングよりも遅く、動きが楽曲のリズムに対して遅いことを示している。なお、上記評価対象区間決定処理にて特定された特徴動作区間が複数ある場合には、それらの特徴動作区間のそれぞれについて時間差を算出する。
【００７２】
次に、ＣＰＵ１０１は、上記評価対象区間決定処理にて特定された周期動作区間における、選定された動きの信号波形の複数の極値と、拍情報が示す拍のタイミングとの時間差の平均値及び分散を算出する（ステップＳ３０３）。ここでの拍のタイミングとは、抽出された極値の前後の拍のタイミングのうち当該極値に対して時間的に近い方の拍のタイミングであり、複数の極値ごとに対象となる拍のタイミングが同一であっても良い。ここで得られた拍情報が示す拍のタイミングとの時間差の平均値及び分散により、例えば図８に示すような波形の極値と拍のタイミングとの関係が分かり、その結果によって評価される。図８（ａ）に示す例においては、周期動作区間における波形の極値が拍のタイミングよりも早く、動きが楽曲のリズムに対して早いことを示しており、図８（ｂ）に示す例においては、周期動作区間における波形の極値が拍のタイミングよりも遅く、動きが楽曲のリズムに対して遅いことを示している。また、図８（ｃ）に示す例においては、周期動作区間における波形の極値が拍のタイミングに対してバラバラであり、動きが楽曲のリズムに合っていないことを示しており、図８（ｄ）に示す例においては、周期動作区間における波形の極値が拍のタイミングに対して早くかつバラバラであり、動きが楽曲のリズムに対して早くかつリズムに合っていないことを示しており、図８（ｅ）に示す例においては、周期動作区間における波形の極値が拍のタイミングに対して遅くかつバラバラであり、動きが楽曲のリズムに対して遅くかつリズムに合っていないことを示している。なお、上記評価対象区間決定処理にて特定された周期動作区間が複数ある場合には、それらの周期動作区間のそれぞれについて平均値及び分散を算出する。
【００７３】
次に、ＣＰＵ１０１は、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、及び左右軸に対する傾きの全ての動きについて評価が完了したか否かを判定する（ステップＳ３０４）。
【００７４】
全ての動きについて評価が完了していないと判定されると（ステップＳ３０４；ＮＯ）、ＣＰＵ１０１は、再び上記ステップＳ３０１の処理を行う。
全ての動きに付いて評価が完了したと判定されると（ステップＳ３０４；ＹＥＳ）、ＣＰＵ１０１は、拍一致度評価処理を終了する。
以上のようにして、拍一致度評価処理を行う。
【００７５】
なお、上記ステップＳ３０２の処理においては、特徴動作区間における信号波形の極値と拍のタイミングとの時間差を算出するものとしたが、これに限られるものではない。例えば、信号波形の極値が拍のタイミングよりも早いか遅いかや、その時間差の程度等によって特徴動作区間における信号波形の類型を特定するものとしても良い。この場合には、上記ステップＳ１１１の処理において、特定された類型に応じて採点を行うものとしても良い。
また、上記ステップＳ３０３の処理においては、周期動作区間における信号波形の極値と拍のタイミングとの時間差の平均値及び分散を算出するものとしたが、これに限られるものではない。例えば、信号波形の極値が拍のタイミングよりも早いか遅いかや、時間差の程度、各時間差の分散等によって周期動作区間における信号波形の類型を特定するものとしても良い。この場合には、上記ステップＳ１１１の処理において、特定された類型に応じて採点を行うものとしても良い。
【００７６】
また、上記ステップＳ３０３の処理では、周期動作区間における周期的な動作が拍のタイミングと一致している、すなわち周期的な動作が一つの拍区間で一回行われる場合について説明したが、これに限られるものではない。例えば、周期動作区間における周期的な動作が一つの拍区間で複数回行われる場合には、一つの拍区間で複数回行われる動作のそれぞれについて拍のタイミングとの時間差を算出し、それら複数の時間差ごとに各拍区間同士で平均値及び分散を算出するものとしても良い。
【００７７】
（正解動き一致度評価処理）
次に、本実施形態のスマートフォン１により行われる正解動き一致度評価処理について、図９及び図１０等を参照して説明する。図９は、正解動き一致度評価処理の一例を示すフローチャートである。図１０は、特徴動作区間におけるユーザの動き情報に基づく信号波形と正解動き情報に基づく信号波形とを比較した図である。
【００７８】
図９に示すように、まず、ＣＰＵ１０１は、記憶部１０５や外部サーバ等から正解動き情報を取得する（ステップＳ４０１）。ここで取得する正解動き情報としては、上記ステップＳ１０１の処理で取得された動き情報と時間的な同期が取れているものとする。
【００７９】
次に、ＣＰＵ１０１は、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、及び左右軸に対する傾きの各動きのうち、評価完了前の動きを選定する（ステップＳ４０２）。すなわち、本実施形態においては、各動きについてそれぞれ評価を行う。
【００８０】
次に、ＣＰＵ１０１は、上記評価対象区間決定処理にて特定された特徴動作区間及び周期動作区間のそれぞれについて、時間差と相関係数を算出する（ステップＳ４０３）。具体的には、上記ステップＳ１０１の処理で取得された動き情報における信号波形と、取得された正解動き情報における信号波形との間で、特徴動作区間及び周期動作区間ごとに、それらの区間の時間差及び相関係数を算出する。例えば、図１０（ａ）に示す例においては、特徴動作区間において動き情報における信号波形Ｗ１が、正解動き情報における信号波形Ｗ２よりも早く、ＣＰＵ１０１は、その時間差ｔ１と相関係数を算出する。
なお、以下のステップＳ４０４〜Ｓ４０８の処理においては、上記ステップＳ４０２で選定された動きについて特定された特徴動作区間及び周期動作区間のそれぞれについて行い、各特徴動作区間及び周期動作区間ごとに評価結果を取得する。
【００８１】
次に、ＣＰＵ１０１は、上記ステップＳ４０３の処理にて算出された相関係数が所定値より大きいか否かを判定する（ステップＳ４０４）。
【００８２】
上記ステップＳ４０３の処理にて算出された相関係数が所定値以下であると判定されると（ステップＳ４０４；ＮＯ）、ＣＰＵ１０１は、後述するステップＳ４０５〜Ｓ４０８の処理を省略する。これは、算出された相関係数が所定値以下である場合には、その特徴動作区間又は周期動作区間において、動き情報における動きと正解動き情報における動きとが全く別の動作であると推定される。したがって、その場合にはＣＰＵ１０１は、後述するステップＳ４０５〜Ｓ４０８の処理を行わずに、信号波形の極値の振幅の差異、及び信号波形の形状の差異を導出することなく、選定された動きについての評価を完了させる。これにより、その特徴動作区間又は周期動作区間については、評価結果が一部取得されないこととなるため、上記ステップＳ１１１の処理における評価が下がることとなる。
【００８３】
上記ステップＳ４０３の処理にて算出された相関係数が所定値より大きいと判定されると（ステップＳ４０４；ＹＥＳ）、ＣＰＵ１０１は、上記ステップＳ４０３の処理にて算出された時間差に基づき、動き情報における信号波形を正規化する（ステップＳ４０５）。例えば、図１０（ａ）に示すように、動き情報における信号波形Ｗ１及び正解動き情報における信号波形Ｗ２を、算出された時間差ｔ１に基づき正規化すると、図１０（ｂ）に示す信号波形Ｗ１ａ、Ｗ２ａが得られる。
【００８４】
次に、ＣＰＵ１０１は、特徴動作区間及び周期動作区間における信号波形の極値の振幅の差を算出する（ステップＳ４０６）。例えば、上記ステップＳ４０５の処理にて図１０（ｂ）に示す信号波形Ｗ１ａ、Ｗ２ａが得られた場合には、ＣＰＵ１０１は、その振幅の差Ａ１を算出する。これにより、動き情報におけるユーザの動きの大きさと、正解動き情報における動きの大きさとの違いを判断することができる。
【００８５】
次に、ＣＰＵ１０１は、上記ステップＳ４０６で算出された振幅の差に基づき、動き情報の信号波形を正規化する（ステップＳ４０７）。例えば、図１０（ｂ）に示す信号波形Ｗ１ａ、Ｗ２ａを、算出された振幅の差Ａ１に基づき正規化すると、図１０（ｃ）に示す信号波形Ｗ１ｂ、Ｗ２ｂが得られる。
【００８６】
次に、ＣＰＵ１０１は、特徴動作区間及び周期動作区間における信号波形の形状の差異を導出する（ステップＳ４０８）。具体的には、例えば、動き情報に基づく信号波形の領域から、正解動き情報に基づく信号波形の領域を差し引いて得られる領域が、二つの信号波形の極値よりも時間的に前側に存在する場合には、ユーザの動きにキレがないと判断することができる。したがって、例えば、上記ステップＳ４０７の処理にて図１０（ｃ）に示す信号波形Ｗ１ｂ、Ｗ２ｂが得られた場合には、ＣＰＵ１０１は、ユーザの動き情報に基づく信号波形Ｗ１ｂの領域から、正解動き情報に基づく信号波形Ｗ２ｂの領域を差し引いて得られる領域Ｌ１の位置を示す情報を導出する。図１０（ｃ）に示す例においては、領域Ｌ１が極値よりも前側に存在するため、ユーザの動きにキレがないと判断され、上記ステップＳ１１１の処理における評価が下がることとなる。
【００８７】
次に、ＣＰＵ１０１は、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、及び左右軸に対する傾きの全ての動きについて評価が完了したか否かを判定する（ステップＳ４０９）。
【００８８】
全ての動きについて評価が完了していないと判定されると（ステップＳ４０９；ＮＯ）、ＣＰＵ１０１は、再び上記ステップＳ４０２の処理を行う。一方、全ての動きについて評価が完了したと判定されると（ステップＳ４０９；ＹＥＳ）、ＣＰＵ１０１は、正解動き一致度評価処理を終了する。
以上のようにして、正解動き一致度評価処理を行う。
【００８９】
なお、上記ステップＳ４０６の処理では、信号波形の極値の振幅の差を算出するものとしたが、信号波形の振幅の差異を導出することができれば、これに限られるものではない。例えば、ＣＰＵ１０１は、二つの信号波形の面積差を算出するものとしても良く、この場合には、算出された面積差を上記ステップＳ１１１の処理における総合採点に用いるものとしても良い。
【００９０】
また、上記ステップＳ４０８の処理では、動き情報に基づく信号波形の領域から、正解動き情報に基づく信号波形の領域を差し引いて得られる領域の位置を示す情報を導出するものとしたが、これに限られるものではない。例えば、ＣＰＵ１０１は、動き情報に基づく信号波形の滑らかさを示す情報を導出するものとしても良く、この場合には、導出された滑らかさを示す情報を上記ステップＳ１１１の処理における総合採点に用いるものとしても良い。
【００９１】
（比較動き一致度評価処理）
次に、本実施形態のスマートフォン１により行われる比較動き一致度評価処理について、図１１等を参照して説明する。図１１は、比較動き一致度評価処理の一例を示すフローチャートである。
なお、比較動き一致度評価処理は、評価対象区間をシンクロ動作区間とし、比較対象を比較動き情報とする以外は、上記正解動き一致度評価処理と同様にして行われる。
【００９２】
図１１に示すように、まず、ＣＰＵ１０１は、記憶部１０５や外部サーバ等から比較動き情報を取得する（ステップＳ５０１）。ここで取得する比較動き情報としては、上記ステップＳ１０１の処理で取得された動き情報と時間的な同期が取れているものとする。
【００９３】
次に、ＣＰＵ１０１は、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、及び左右軸に対する傾きの各動きのうち、評価完了前の動きを選定する（ステップＳ５０２）。すなわち、本実施形態においては、各動きについてそれぞれ評価を行う。
【００９４】
次に、ＣＰＵ１０１は、上記評価対象区間決定処理にて特定されたシンクロ動作区間について、時間差と相関係数を算出する（ステップＳ５０３）。具体的には、上記ステップＳ１０１の処理で取得された動き情報における信号波形と、取得された比較動き情報における信号波形との間で、シンクロ動作区間ごとに、それらの区間の時間差及び相関係数を算出する。
なお、以下のステップＳ５０４〜Ｓ５０８の処理においては、上記ステップＳ５０２で選定された動きについて特定されたシンクロ動作区間のそれぞれについて行い、各シンクロ動作区間ごとに評価結果を取得する。
【００９５】
次に、ＣＰＵ１０１は、上記ステップＳ５０３の処理にて算出された相関係数が所定値より大きいか否かを判定する（ステップＳ５０４）。
【００９６】
上記ステップＳ５０３の処理にて算出された相関係数が所定値以下であると判定されると（ステップＳ５０４；ＮＯ）、ＣＰＵ１０１は、後述するステップＳ５０５〜Ｓ５０８の処理を省略する。これは、算出された相関係数が所定値以下である場合には、そのシンクロ動作区間において、動き情報における動きと比較動き情報における動きとが全く別の動作であると推定される。したがって、その場合にはＣＰＵ１０１は、後述するステップＳ５０５〜Ｓ５０８の処理を行わずに、信号波形の極値の振幅の差異、及び信号波形の形状の差異を導出することなく、選定された動きについての評価を完了させる。これにより、そのシンクロ動作区間については、評価結果が一部取得されないこととなるため、上記ステップＳ１１１の処理における評価が下がることとなる。
【００９７】
上記ステップＳ５０３の処理にて算出された相関係数が所定値より大きいと判定されると（ステップＳ５０４；ＹＥＳ）、ＣＰＵ１０１は、上記ステップＳ５０３の処理にて算出された時間差に基づき、動き情報の信号波形を正規化する（ステップＳ５０５）。
【００９８】
次に、ＣＰＵ１０１は、シンクロ動作区間における信号波形の極値の振幅の差を算出する（ステップＳ５０６）。これにより、動き情報におけるユーザの動きの大きさと、比較動き情報における動きの大きさとの違いを判断することができる。
【００９９】
次に、ＣＰＵ１０１は、上記ステップＳ５０６で算出された振幅の差に基づき、動き情報の信号波形を正規化する（ステップＳ５０７）。
【０１００】
次に、ＣＰＵ１０１は、シンクロ動作区間における信号波形の形状の差異を導出する（ステップＳ５０８）。具体的には、例えば、動き情報に基づく信号波形の領域から、比較動き情報に基づく信号波形の領域を差し引いて得られる領域が、二つの信号波形の極値よりも時間的に前側に存在する場合には、ユーザの動きにキレがないと判断することができる。したがって、ＣＰＵ１０１は、動き情報に基づく信号波形の領域から、比較動き情報に基づく信号波形の領域を差し引いて得られる領域の位置を示す情報を導出する。
【０１０１】
次に、ＣＰＵ１０１は、上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、及び左右軸に対する傾きの全ての動きについて評価が完了したか否かを判定する（ステップＳ５０９）。
【０１０２】
全ての動きについて評価が完了していないと判定されると（ステップＳ５０９；ＮＯ）、ＣＰＵ１０１は、再び上記ステップＳ４０２の処理を行う。一方、全ての動きについて評価が完了したと判定されると（ステップＳ５０９；ＹＥＳ）、ＣＰＵ１０１は、比較動き一致度評価処理を終了する。
以上のようにして、比較動き一致度評価処理を行う。
【０１０３】
なお、上記ステップＳ５０６の処理では、信号波形の極値の振幅の差を算出するものとしたが、信号波形の振幅の差異を導出することができれば、これに限られるものではない。例えば、ＣＰＵ１０１は、二つの信号波形の面積差を算出するものとしても良く、この場合には、算出された面積差を上記ステップＳ１１１の処理における総合採点に用いるものとしても良い。
【０１０４】
また、上記ステップＳ５０８の処理では、動き情報に基づく信号波形の領域から、比較動き情報に基づく信号波形の領域を差し引いて得られる領域の位置を示す情報を導出するものとしたが、これに限られるものではない。例えば、ＣＰＵ１０１は、動き情報に基づく信号波形の滑らかさを示す情報を導出するものとしても良く、この場合には、導出された滑らかさを示す情報を上記ステップＳ１１１の処理における総合採点に用いるものとしても良い。
【０１０５】
《本実施形態の技術的効果》
本実施形態によれば、スマートフォン１が、音楽データを取得し、取得された音楽データに基づいて、音楽データに合わせたユーザの体の動き情報における評価対象区間を決定するＣＰＵ１０１を備えるので、動き情報ごとに評価対象区間を決定することができ、いずれの楽曲に対するダンスであっても評価することができる。また、動き情報そのものを評価対象とするのではなく、動き情報の一部を評価対象区間に決定するため、評価に適さない区間を除外してより正確な評価を行うことができる。
【０１０６】
また、ＣＰＵ１０１が、取得される音楽データにおける拍情報を取得し、取得された拍情報に基づいて、動き情報における前記評価対象区間を決定するので、より精度良く評価対象区間を決定することができる。
【０１０７】
また、ＣＰＵ１０１が、取得される音楽データに合わせたユーザの体の動き情報を取得し、取得された動き情報に基づいて、動き情報における評価対象区間を決定するので、新たに取得したユーザの動き情報に対しても評価対象区間を決定することができる。
【０１０８】
また、ＣＰＵ１０１が、評価対象区間において、動き情報における動きのピークのタイミングと拍情報に基づく拍のタイミングとの差異に基づき、動き情報を評価するので、ユーザのダンスが楽曲のリズムに合っているかどうか等を評価することができる。
【０１０９】
また、ＣＰＵ１０１が、取得される音楽データにおける楽曲に合わせた正解動き情報又は比較動き情報を取得し、評価対象区間において、取得された動き情報と、取得された正解動き情報又は比較動き情報との差異に基づき、動き情報を評価するので、ユーザのダンスが正しい動きであるかどうかや、他のユーザのダンスとの間で動きのタイミングや大きさ等が合っているかどうか等を評価することができる。
【０１１０】
また、ＣＰＵ１０１が、拍情報に基づく拍単位で、動き情報において所定強度以上の動きが所定時間以上継続する周期動作区間を評価対象区間として決定するので、ユーザのダンスにおけるアップダウンの繰り返しや腰振りの繰り返し等の周期的な動作を評価対象とすることができる。
【０１１１】
また、ＣＰＵ１０１が、動き情報として、ユーザの体の位置又は角度の所定方向における変化量を示す時間単位の信号波形を取得し、拍情報に基づく拍単位で、信号波形に対して時間周波数解析を行い、周波数ごとの強度分布の時間変化を取得し、特定の周波数が所定強度以上である時間が所定時間以上継続する周期動作区間を評価対象区間として決定するので、ユーザのダンスにおけるアップダウンの繰り返しや腰振りの繰り返し等の周期的な動作を評価対象とすることができるとともに、ＣＰＵ１０１の処理負荷を軽減することができる。
【０１１２】
また、ＣＰＵ１０１が、動き情報として、ユーザの体の位置又は角度の所定方向における変化量を示す時間単位の信号波形を取得し、拍情報に基づく拍単位における信号波形の分散の、信号波形全体の分散に対する比が所定値以上である特徴動作区間を評価対象区間として決定するので、ユーザのダンスにおける特徴的な動作を評価対象とすることができる。
【０１１３】
《その他》
なお、上記実施形態及び変形例における記述は、本発明に係る好適な情報処理システムの一例であり、これに限定されるものではない。
【０１１４】
例えば、上記した実施形態では、ダンスセンサ２により検出された動き情報に基づいてスマートフォン１がダンス評価処理等の各種処理を行うものとしたが、これに限られるものではない。例えば、ダンスセンサ２のＣＰＵ２０１がダンス評価処理等の各種処理を行うように構成されていても良く、この場合にはダンスセンサ２が情報処理装置として機能し、情報処理システム１００がスマートフォン１を備えていなくても良い。また、スマートフォン１が加速度センサ、角速度センサ等を備え、それらにより検出された動き情報に基づいてダンス評価処理等の各種処理を行うものとしても良く、この場合には情報処理システム１００がダンスセンサ２を備えていなくても良い。
【０１１５】
また、上記した実施形態では、動き情報に上下の動き、前後の動き、左右の動き、上下軸に対する傾き、前後軸に対する傾き、左右軸に対する傾きの各動きが含まれるものとしたが、これに限られるものではない。これらのうちいずれかの動きが含まれていなくても良いし、これら以外の他の方向の動きやこれら以外の他の方向を軸とする傾き等が含まれているものとしても良い。
【０１１６】
また、上記した実施形態では、評価対象区間決定処理において、ＣＰＵ１０１が、取得される音楽データにおける拍情報を取得し、取得された拍情報に基づいて、ユーザの動き情報における評価対象区間を決定するものとしたが、これに限られるものではない。例えば、ＣＰＵ１０１が、音楽データのサビ部分や最も盛り上がる部分等を、音量や曲調の変化等により特定し、これに基づき評価対象区間を決定するものとしても良い。
【０１１７】
また、上記した実施形態では、評価対象区間決定処理において、ＣＰＵ１０１が、各動きについて評価対象区間の有無を決定するものとしたが、これに限られるものではない。
例えば、ＣＰＵ１０１が、単に評価対象区間の有無を決定するのみでなく、その評価対象区間の重要度を併せて決定するものとしても良い。また、当該重要度は、例えば、特定された評価対象区間の時間的な長さや、動き情報の信号波形の振幅の大きさ等に基づいて決定されるものとしても良い。さらに、ＣＰＵ１０１は、決定された重要度に応じてその評価対象区間における評価点を重み付けし、総合採点を行うものとしても良い。
また、例えば、ＣＰＵ１０１が、音楽データ及び動き情報におけるタイミングごとに重要度を決定し、決定された重要度に基づいて、そのタイミングごとの動き情報の評価点を重み付けして総合採点を行うものとしても良い。この場合には、ＣＰＵ１０１がタイミングごとの重要度を決定することで、結果として動き情報における評価対象区間が決定されることとなる。
【０１１８】
また、上記した実施形態では、正解動き一致度評価処理を１回行うものとしたが、これに限られるものではなく、複数回行うものとしても良い。例えば、互いに異なる正解動き情報を複数取得し（例えば、異なるダンス講師がそれぞれ踊ったダンスに基づく正解動き情報等）、取得された正解動き情報ごとに正解動き一致度評価処理を行うものとしても良い。
【０１１９】
また、上記した実施形態では、比較動き一致度評価処理を１回行うものとしたが、これに限られるものではなく、複数回行うものとしても良い。この場合には、評価対象区間決定処理において、各比較動き一致度評価処理において比較する比較動き情報ごとに、シンクロ動作区間を特定するものとしても良い。
【０１２０】
また、上記した実施形態では、ＣＰＵ１０１が、動き情報における評価対象区間を決定し、決定された評価対象区間における動き情報を評価するものとしたが、これに限られるものではない。例えば、ＣＰＵ１０１が、動き情報における評価対象区間の決定のみを行い、動き情報の評価自体は行わないものとしても良い。
【０１２１】
また、上記した実施形態では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も適用される。
【０１２２】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
音楽データを取得する音楽データ取得手段と、
前記音楽データ取得手段により取得された音楽データに基づいて、前記音楽データに合わせたユーザの体の動き情報における評価対象区間を決定する評価対象区間決定手段と、
を備えることを特徴とする情報処理装置。
＜請求項２＞
前記音楽データ取得手段により取得される音楽データにおける拍情報を取得する拍情報取得手段を備え、
前記評価対象区間決定手段は、前記拍情報取得手段により取得された前記拍情報に基づいて、前記動き情報における前記評価対象区間を決定することを特徴とする請求項１に記載の情報処理装置。
＜請求項３＞
前記音楽データ取得手段により取得される音楽データに合わせたユーザの体の動き情報を取得する動き情報取得手段を備え、
前記評価対象区間決定手段は、前記動き情報取得手段により取得された前記動き情報に基づいて、前記動き情報における前記評価対象区間を決定することを特徴とする請求項１又は２に記載の情報処理装置。
＜請求項４＞
前記評価対象区間決定手段により決定された前記評価対象区間における前記動き情報を評価する評価手段をさらに備えることを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
＜請求項５＞
前記評価手段は、前記評価対象区間において、前記動き情報における動きのピークのタイミングと前記拍情報に基づく拍のタイミングとの差異に基づき、前記動き情報を評価することを特徴とする請求項４に記載の情報処理装置。
＜請求項６＞
前記音楽データ取得手段により取得される音楽データに合わせた第２動き情報を取得する第２動き情報取得手段をさらに備え、
前記評価手段は、前記評価対象区間において、前記動き情報取得手段により取得された前記動き情報と、前記第２動き情報取得手段により取得された前記第２動き情報との差異に基づき、前記動き情報を評価することを特徴とする請求項４又は５に記載の情報処理装置。
＜請求項７＞
前記評価対象区間決定手段は、前記拍情報に基づく拍単位で、前記動き情報において所定強度以上の動きが所定時間以上継続する周期動作区間を前記評価対象区間として決定することを特徴とする請求項１から６のいずれか一項に記載の情報処理装置。
＜請求項８＞
前記動き情報取得手段は、前記動き情報として、ユーザの体の位置又は角度の所定方向における変化量を示す時間単位の信号波形を取得し、
前記評価対象区間決定手段は、前記拍情報に基づく拍単位で、前記信号波形に対して時間周波数解析を行い、周波数ごとの強度分布の時間変化を取得し、特定の周波数が所定強度以上である時間が所定時間以上継続する周期動作区間を前記評価対象区間として決定することを特徴とする請求項７に記載の情報処理装置。
＜請求項９＞
前記動き情報取得手段は、前記動き情報として、ユーザの体の位置又は角度の所定方向における変化量を示す時間単位の信号波形を取得し、
前記評価対象区間決定手段は、前記拍情報に基づく拍単位における前記信号波形の分散の、前記信号波形全体の分散に対する比が所定値以上である特徴動作区間を前記評価対象区間として決定することを特徴とする請求項１から８のいずれか一項に記載の情報処理装置。
＜請求項１０＞
ユーザが装着可能なウェアラブル端末と、前記ウェアラブル端末と通信接続可能な端末装置と、を備える情報処理システムであって、
音楽データを取得する音楽データ取得手段と、
前記音楽データ取得手段により取得された音楽データに基づいて、前記音楽データに合わせたユーザの体の動き情報における評価対象区間を決定する評価対象区間決定手段と、
を備えることを特徴とする情報処理システム。
＜請求項１１＞
コンピュータを、
音楽データを取得する音楽データ取得手段、
前記音楽データ取得手段により取得された音楽データに基づいて、前記音楽データに合わせたユーザの体の動き情報における評価対象区間を決定する評価対象区間決定手段、
として機能させるためのプログラム。
＜請求項１２＞
音楽データを取得する音楽データ取得工程と、
前記音楽データ取得工程で取得された音楽データに基づいて、前記音楽データに合わせたユーザの体の動き情報における評価対象区間を決定する評価対象区間決定工程と、
を有することを特徴とする情報処理方法。
【符号の説明】
【０１２３】
１      スマートフォン（情報処理装置、端末装置）
２      ダンスセンサ（ウェアラブル端末）
１００  情報処理システム
１０１  ＣＰＵ（音楽データ取得手段、評価対象区間決定手段、拍情報取得手段、動き情報取得手段、評価手段、第２動き情報取得手段）
【図１】
2019054900.tif 000003
【図２】
2019054900.tif 000004
【図３】
2019054900.tif 000005
【図４】
2019054900.tif 000006
【図５】
2019054900.tif 000007
【図６】
2019054900.tif 000008
【図７】
2019054900.tif 000009
【図８】
2019054900.tif 000010
【図９】
2019054900.tif 000011
【図１０】
2019054900.tif 000012
【図１１】
2019054900.tif 000013