(57)【要約】【課題】ユーザの運動レベルに応じて、ユーザが楽しみながら運動及び歌唱を行うことができるように演出することを可能とする。【解決手段】情報処理装置は、ユーザの運動レベルを、複数の運動レベルから決定し、楽曲情報を出力手段により出力させ、運動動作が行われる映像を示す映像情報を表示手段に表示させ、運動レベルが第１レベルである場合、指導情報を出力手段及び表示手段の少なくとも何れかにより出力させ、運動レベルが、第１レベルよりも高い第２レベルである場合、歌詞情報を出力手段及び表示手段の少なくとも何れかにより出力させ、運動レベルが、第２レベルよりも高い第３レベルである場合、歌詞情報を出力手段及び表示手段の少なくとも何れかにより出力させ、且つ、効果音情報を出力手段により出力させる。【選択図】図２
2014200338.tif 000002
【特許請求の範囲】
【請求項１】
楽曲を示す楽曲情報と、運動動作を示す動作情報と、運動を音声及び表示の少なくとも何れかにより指導する指導情報と、前記楽曲の歌詞を示す歌詞情報と、効果音を示す効果音情報とを記憶する記憶手段と、
ユーザの運動レベルを、複数の運動レベルから決定する決定手段と、
前記記憶手段に記憶された前記楽曲情報を出力手段により出力させる第１制御手段と、
前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記動作情報に基づいて、前記運動動作が行われる映像を示す映像情報を表示手段に表示させる第２制御手段と、
前記決定手段により決定された前記運動レベルが、前記複数の運動レベルのうち第１レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記指導情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させる第３制御手段と、
前記決定手段により決定された前記運動レベルが、前記第１レベルよりも高い第２レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させる第４制御手段と、
前記決定手段により決定された前記運動レベルが、前記第２レベルよりも高い第３レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させ、且つ、前記記憶手段に記憶された前記効果音情報を前記出力手段により出力させる第５制御手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記記憶手段は、歌詞の文字を示す第１の前記歌詞情報と、歌詞の音声を示す第２の前記歌詞情報とを記憶し、
前記第４制御手段は、前記記憶手段に記憶された前記第１の歌詞情報を表示手段に表示させ、且つ、前記記憶手段に記憶された前記第２の歌詞情報を前記出力手段により出力させ、
前記第５制御手段は、前記効果音情報を前記出力手段により出力させ、前記記憶手段に記憶された前記第１の歌詞情報を表示手段に前記表示させ、且つ、前記記憶手段に記憶された前記第２の歌詞情報を前記出力手段により出力させないことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２レベルは、第４レベルと、前記第４レベルよりも高い第５レベルとを含み、
前記第４制御手段は、前記記憶手段に記憶された前記第１の歌詞情報を前記表示手段に表示させ、前記決定手段により決定された前記運動レベルが前記第４レベルである場合、前記記憶手段に記憶された前記第２の歌詞情報を前記出力手段により出力させ、前記決定手段により決定された前記運動レベルが前記第５レベルである場合、前記第２の歌詞情報を前記出力手段により出力させないことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１レベルは、第６レベルと、前記第６レベルよりも高い第７レベルとを含み、
前記記憶手段は、前記運動を指導する文字を示す第１の前記指導情報と、前記運動を指導する音声を示す第２の前記指導情報とを記憶し、
前記第３制御手段は、前記記憶手段に記憶された前記第１の指導情報を前記表示手段に表示させ、前記決定手段により決定された前記運動レベルが前記第６レベルである場合、前記記憶手段に記憶された前記第２の指導情報を前記出力手段により出力させ、前記決定手段により決定された前記運動レベルが前記第７レベルである場合、前記第２の指導情報を前記出力手段により出力させないことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記記憶手段は、運動するときの身体の動きの基準を示す基準情報を更に記憶し、
前記出力手段により前記楽曲情報が出力されているとき、運動するユーザの身体の動きを検出する検出手段により検出される前記動きを示す第２動作情報を取得する取得手段を更に備え、
前記決定手段は、前記出力手段により前記楽曲情報が出力されているとき、所定のタイミングで、前記記憶手段に記憶された前記基準情報と、前記取得手段により取得された前記第２動作情報とを比較し、比較の結果に基づいて前記運動レベルを決定し、
前記決定手段により前記運動レベルが決定されたとき、決定された前記運動レベルに応じて、前記第３制御手段、前記第４制御手段又は前記第５制御手段が動作することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
ユーザの運動レベルを、複数の運動レベルから決定する決定ステップと、
楽曲を示す楽曲情報と、運動動作を示す動作情報と、運動を音声及び表示の少なくとも何れかにより指導する指導情報と、前記楽曲の歌詞を示す歌詞情報と、効果音を示す効果音情報とを記憶する記憶手段に記憶された前記楽曲情報を出力手段により出力させる第１制御ステップと、
前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記動作情報に基づいて、前記運動動作が行われる映像を示す映像情報を表示手段に表示させる第２制御ステップと、
前記決定ステップにより決定された前記運動レベルが、前記複数の運動レベルのうち第１レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記指導情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させる第３制御ステップと、
前記決定ステップにより決定された前記運動レベルが、前記第１レベルよりも高い第２レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させる第４制御ステップと、
前記決定ステップにより決定された前記運動レベルが、前記第２レベルよりも高い第３レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させ、且つ、前記記憶手段に記憶された前記効果音情報を前記出力手段により出力させる第５制御ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが楽曲を歌唱しながら行う運動を支援するための運動コンテンツを生成する技術分野に関する。
【背景技術】
【０００２】
例えば、特許文献１には、演奏される楽曲に対応して運動の身振りと楽曲の歌詞とを表示することにより、ユーザに歌唱しながら運動を行わせ、ユーザの歌唱及び運動をそれぞれ採点する技術が開示されている。身振りと歌詞とを表示することは、運動コンテンツを出力することの一例である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１９３０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザが歌唱しながら運動するというレッスンを行うとき、同じ内容のレッスンを行うに従って、ユーザの運動レベルが上がる。しかしながら、同じ内容のレッスンを何度も行うことにより、レッスンに慣れたユーザは、レッスンに飽きることがある。特許文献１に記載の技術では、運動が行われるとき、身振りと歌詞とを表示するという画一的な演出だけが行われるため、ユーザが次第に飽きてしまう。従って、ユーザは、楽しみながら運動及び歌唱を行うことができない。
【０００５】
本発明は、以上の点に鑑みてなされたものであり、ユーザの運動レベルに応じて、ユーザが楽しみながら運動及び歌唱を行うことができるように演出することを可能とする情報処理装置及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、楽曲を示す楽曲情報と、運動動作を示す動作情報と、運動を音声及び表示の少なくとも何れかにより指導する指導情報と、前記楽曲の歌詞を示す歌詞情報と、効果音を示す効果音情報とを記憶する記憶手段と、ユーザの運動レベルを、複数の運動レベルから決定する決定手段と、前記記憶手段に記憶された前記楽曲情報を出力手段により出力させる第１制御手段と、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記動作情報に基づいて、前記運動動作が行われる映像を示す映像情報を表示手段に表示させる第２制御手段と、前記決定手段により決定された前記運動レベルが、前記複数の運動レベルのうち第１レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記指導情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させる第３制御手段と、前記決定手段により決定された前記運動レベルが、前記第１レベルよりも高い第２レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させる第４制御手段と、前記決定手段により決定された前記運動レベルが、前記第２レベルよりも高い第３レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させ、且つ、前記記憶手段に記憶された前記効果音情報を前記出力手段により出力させる第５制御手段と、を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、前記記憶手段は、歌詞の文字を示す第１の前記歌詞情報と、歌詞の音声を示す第２の前記歌詞情報とを記憶し、前記第４制御手段は、前記記憶手段に記憶された前記第１の歌詞情報を表示手段に表示させ、且つ、前記記憶手段に記憶された前記第２の歌詞情報を前記出力手段により出力させ、前記第５制御手段は、前記効果音情報を前記出力手段により出力させ、前記記憶手段に記憶された前記第１の歌詞情報を表示手段に前記表示させ、且つ、前記記憶手段に記憶された前記第２の歌詞情報を前記出力手段により出力させないことを特徴とする。
【０００８】
請求項３に記載の発明は、前記第２レベルは、第４レベルと、前記第４レベルよりも高い第５レベルとを含み、前記第４制御手段は、前記記憶手段に記憶された前記第１の歌詞情報を前記表示手段に表示させ、前記決定手段により決定された前記運動レベルが前記第４レベルである場合、前記記憶手段に記憶された前記第２の歌詞情報を前記出力手段により出力させ、前記決定手段により決定された前記運動レベルが前記第５レベルである場合、前記第２の歌詞情報を前記出力手段により出力させないことを特徴とする。
【０００９】
請求項４に記載の発明は、前記第１レベルは、第６レベルと、前記第６レベルよりも高い第７レベルとを含み、前記記憶手段は、前記運動を指導する文字を示す第１の前記指導情報と、前記運動を指導する音声を示す第２の前記指導情報とを記憶し、前記第３制御手段は、前記記憶手段に記憶された前記第１の指導情報を前記表示手段に表示させ、前記決定手段により決定された前記運動レベルが前記第６レベルである場合、前記記憶手段に記憶された前記第２の指導情報を前記出力手段により出力させ、前記決定手段により決定された前記運動レベルが前記第７レベルである場合、前記第２の指導情報を前記出力手段により出力させないことを特徴とする。
【００１０】
請求項５に記載の発明は、前記記憶手段は、運動するときの身体の動きの基準を示す基準情報を更に記憶し、前記出力手段により前記楽曲情報が出力されているとき、運動するユーザの身体の動きを検出する検出手段により検出される前記動きを示す第２動作情報を取得する取得手段を更に備え、前記決定手段は、前記出力手段により前記楽曲情報が出力されているとき、所定のタイミングで、前記記憶手段に記憶された前記基準情報と、前記取得手段により取得された前記第２動作情報とを比較し、比較の結果に基づいて前記運動レベルを決定し、前記決定手段により前記運動レベルが決定されたとき、決定された前記運動レベルに応じて、前記第３制御手段、前記第４制御手段又は前記第５制御手段が動作することを特徴とする。
【００１１】
請求項６に記載の発明は、ユーザの運動レベルを、複数の運動レベルから決定する決定ステップと、楽曲を示す楽曲情報と、運動動作を示す動作情報と、運動を音声及び表示の少なくとも何れかにより指導する指導情報と、前記楽曲の歌詞を示す歌詞情報と、効果音を示す効果音情報とを記憶する記憶手段に記憶された前記楽曲情報を出力手段により出力させる第１制御ステップと、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記動作情報に基づいて、前記運動動作が行われる映像を示す映像情報を表示手段に表示させる第２制御ステップと、前記決定ステップにより決定された前記運動レベルが、前記複数の運動レベルのうち第１レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記指導情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させる第３制御ステップと、前記決定ステップにより決定された前記運動レベルが、前記第１レベルよりも高い第２レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させる第４制御ステップと、前記決定ステップにより決定された前記運動レベルが、前記第２レベルよりも高い第３レベルである場合、前記出力手段により前記楽曲情報が出力されているとき、前記記憶手段に記憶された前記歌詞情報を前記出力手段及び前記表示手段の少なくとも何れかにより出力させ、且つ、前記記憶手段に記憶された前記効果音情報を前記出力手段により出力させる第５制御ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
請求項１又は６に記載の発明によれば、運動レベルが第１レベルである場合、運動を指導する情報が出力又は表示される。そのため、ユーザの運動の習得を支援することができる。運動レベルが第１レベルよりも高い第２レベルである場合、歌詞情報が出力又は表示される。そのため、運動に慣れてきたユーザが、運動しながら歌唱を習得することができる。運動レベルが第２レベルよりも高い第３レベルである場合、歌詞情報が出力又は表示され、且つ、効果音情報が出力される。そのため、より運動に慣れて、歌唱しながら運動するユーザの気分を盛り上げることができる。このように、ユーザの運動レベルに応じて、ユーザが楽しみながら運動及び歌唱を行うことができるように演出することができる。
【００１３】
請求項２に記載の発明によれば、運動レベルが第２レベルである場合、歌詞情報が文字として表示され且つ音声として出力されるので、歌詞の習得を促すことができる。運動レベルが第３レベルである場合、歌詞が文字としてのみ表示されるので、歌唱に慣れたユーザは、歌詞の音声を気にしないで歌唱することができる。
【００１４】
請求項３に記載の発明によれば、運動レベルが、第２レベルの中でも低いレベルである場合、歌詞情報が文字として表示され且つ音声として出力されるので、歌詞の習得を促すことができる。運動レベルが、第２レベルの中でも高いレベルである場合、歌詞情報が文字としてのみ表示されるので、歌唱に慣れたユーザは、歌詞の音声を気にしないで歌唱することができる。
【００１５】
請求項４に記載の発明によれば、運動レベルが、第１レベルの中でも低いレベルである場合、指導情報が文字として表示され且つ音声として出力されるので、運動の習得を促すことができる。運動レベルが、第１レベルの中でも高いレベルである場合、指導情報が音声としてのみ出力される。そのため、運動に慣れてきたユーザは、指導情報を見ないことにより、指導情報の音声を聴きながら運動に集中することができる。
【００１６】
請求項５に記載の発明によれば、ユーザが運動を行っているときに、ユーザの動きを基準の動きと比較することにより、運動レベルが決定される。そのため、運動中に動的に変わるユーザの運動レベルに応じて、指導情報、歌詞情報又は効果音情報を出力させることができる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態の運動コンテンツ生成システム１の概要構成例を示す図である。
【図２】（Ａ）は、運動レッスンの設定例を示す図であり、（Ｂ）は、運動レッスンの別の設定例を示す図である。
【図３】（Ａ）は、Ａメロ１が出力される時点の運動コンテンツの内容を示す図であり、（Ｂ）は、Ｂメロ１が出力される時点の運動コンテンツの内容を示す図であり、（Ｃ）は、サビ１が出力される時点の運動コンテンツの内容を示す図であり、（Ｄ）は、サビ２が出力される時点の運動コンテンツの内容を示す図である。
【図４】（Ａ）は、出力端末５のＣＰＵ５１のレッスン処理の処理例を示すフローチャートであり、（Ｂ）は、出力端末５のＣＰＵ５１のレッスン生成の処理例を示すフローチャートである。
【図５】（Ａ）は、出力端末５のＣＰＵ５１のレッスン実行処理の処理例を示すフローチャートであり、（Ｂ）は、出力端末５のＣＰＵ５１のレッスン更新処理の処理例を示すフローチャートであり、（Ｃ）は、出力端末５のＣＰＵ５１のレッスン評価処理の処理例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施の形態は、運動を支援するための運動コンテンツを生成する運動コンテンツ生成システムに本発明を適用した場合の実施形態である。運動コンテンツは、運動を支援するための映像及び音声を含む。
【００１９】
［１．運動コンテンツ生成システム１の構成］
始めに、図１を参照して、本実施形態の運動コンテンツ生成システム１の構成について説明する。図１は、本実施形態の運動コンテンツ生成システム１の概要構成例を示す図である。図１に示すように、運動コンテンツ生成システム１は、配信サーバ２と１つ以上の出力端末５とを含んで構成されている。配信サーバ２と出力端末５とは、ネットワーク１０を介して接続可能になっている。ネットワーク１０は、例えば、インターネットを含む。配信サーバ２には、データベース３が接続されている。データベース３には、運動に関する情報や楽曲に関する情報が登録されている。配信サーバ２は、データベース３に登録されている情報等を、定期的に又は出力端末５からの要求に応じて出力端末５に配信する。
【００２０】
出力端末５は、例えば、施設４に設置される端末装置である。出力端末５は、本発明の情報処理装置の一例である。出力端末５は、施設４の利用者４１により利用される。施設４は、例えば、スポーツ施設であってもよい。利用者４１は、スポーツ施設において、運動レッスンを受ける。運動レッスンは、複数の運動動作と歌唱により構成されるレッスンである。この場合の出力端末５は、例えばパーソナルコンピュータであってもよい。施設４は、例えば、カラオケ店舗であってもよい。カラオケ店舗において、利用者４１は、カラオケの楽曲を歌唱する。この場合の出力端末５は、例えば、カラオケ装置である。以下では、施設４がスポーツ施設である場合を例にして説明する。
【００２１】
出力端末５は、モニタ５７と接続可能である。モニタ５７は、複数のスピーカ６４とディスプレイ６７とを備える表示装置であってもよい。この場合、出力端末５は、ディスプレイ６７と接続可能である。また、出力端末５は、スピーカ６４と接続可能である。ディスプレイ６７は、本発明の表示手段の一例である。また、スピーカ６４は、本発明の出力手段の一例である。出力端末５がモニタ５７へ音声信号を出力することにより、スピーカ６４により楽曲等が出力される。出力端末５がモニタ５７へ映像信号を出力することにより、ディスプレイ６７に運動映像等が表示される。運動映像は、動作を行うフィギュア８３を映し出した動画である。フィギュア８３は、例えば、人、動物、仮想上の生き物、ロボット等のかたちをした仮想物である。フィギュア８３は、三次元仮想空間に配置される。施設４がカラオケ店舗である場合、ディスプレイ６７には、例えば、カラオケの楽曲に対応した踊りの動作を行うフィギュア８３が表示される。運動映像は、本発明における映像の一例である。出力端末５は、スピーカ６４から出力される楽曲と、ディスプレイ６７に表示されるフィギュア８３の動きとが同期するように、信号を出力する。楽曲と運動映像とを出力することは、運動コンテンツを出力することの一例である。利用者４１は、スピーカ６４により出力される楽曲を聴きながら、楽曲を歌唱することができる。また、利用者４１は、楽曲を聴きながら、ディスプレイ６７に表示されるフィギュア８３を見て、運動を行うことができる。これにより、利用者４１は、歌唱しながら運動を行うことができる。操作者４２は、リモコン６６等を用いて出力端末５を操作することができる。利用者４１と操作者４２とは同一人物であってもよい。施設４がスポーツ施設である場合、操作者４２は、例えば、インストラクターであってもよい。
【００２２】
運動レッスンを行うとき、利用者４１は、例えば、複数の加速度センサＡＳを装着することができる。加速度センサＡＳは、利用者４１が運動しているときの利用者４１の所定の身体部位の加速度を検出する。例えば、利用者４１は、手首、肘、肩、足の付け根、膝、足首等に加速度センサＡＳを装着してもよい。出力端末５は、加速度センサＡＳにより検出された加速度に基づいて、利用者４１の運動の評価値と、運動による利用者４１の消費カロリーとを計算する。例えば、出力端末５は、利用者４１の運動動作が、ディスプレイ６７に表示されるフィギュア８３の運動動作に近いほど、評価値を高くしてもよい。例えば、利用者４１が加速度センサＡＳを装着するのではなく、運動しているときの利用者４１を撮影するためのビデオカメラが施設４に設置されてもよい。この場合、出力端末５は、ビデオカメラにより撮影された利用者４１の映像に基づいて、評価値及び消費カロリーを計算してもよい。また、運動レッスンを行うとき、利用者４１は、マイク６８に対して歌唱することができる。出力端末５は、マイク６８に入力された歌唱音声に基づいて、利用者４１の歌唱の評価値と、歌唱による利用者４１の消費カロリーとを計算する。例えば、出力端末５は、利用者４１の歌唱音声の音高が、スピーカ６４により出力されている楽曲に対応する基準となる歌唱音声の音高に近いほど、評価値を高くしてもよい。運動レッスンが終了すると、出力端末５は、運動の評価値、運動による消費カロリー、歌唱の評価値及び歌唱による消費カロリーを、ディスプレイ６７に表示させる。
【００２３】
［２．運動コンテンツ］
運動レッスンが行われるときにモニタ５７が出力する運動コンテンツは、少なくとも楽曲と運動映像とを含む。楽曲は、複数の演奏パートで構成される。スピーカ６４から、楽曲の構成に従ったパートの順で楽曲が出力される。例えば、Ａメロ、Ｂメロ、サビ、間奏、Ａメロ、Ｂメロ、サビ等の順で、楽曲が出力されてもよい。なお、１つの運動レッスンで複数の楽曲が順次スピーカ６４から出力されてもよい。楽曲を構成する各演奏パートに、それぞれ運動動作が割り当てられる。出力端末５は、運動コンテンツを出力するとき、スピーカ６４により出力されている演奏パートに割り当てられた運動動作をフィギュア８３が行う運動映像をディスプレイ６７に表示させる。
【００２４】
運動動作は、例えば、身体を鍛えるための動作である。運動動作として、例えば、体操の動作と踊りの動作とがある。体操は、例えば、健康の増進、体力の増強、筋力の強化等のために行われる運動である。体操の種類として、例えば、有酸素運動、無酸素運動、ストレッチ等がある。有酸素運動の運動動作として、例えば、マーチ、フロントランジ等がある。無酸素運動の運動動作として、例えば、ショルダープレス、チェストプレス等がある。ストレッチの運動動作として、例えば、上腕部ストレッチ、首ストレッチ等がある。踊りの動作は、楽曲に合わせて踊るために楽曲に対して振り付けられた動作である。
【００２５】
出力端末５は、運動コンテンツに、利用者４１の運動動作を指導するナレーションや、楽曲の歌詞、効果音等を含めることができる。ナレーションにより、例えば、運動動作が説明されたり、身体の動かし方が指示されたりする。ナレーションとして、ナレーション文章とナレーション音声とがある。ナレーション文章は、ナレーションを示す文章である。ナレーション音声は、ナレーションを示す音声である。歌詞として、歌詞のテロップとガイドボーカルとがある。歌詞のテロップは、歌詞を示す文字である。ガイドボーカルは、例えば、楽曲の歌詞を、模範となる音高で歌手等が歌唱する音声である。効果音は、例えば、運動レッスンを行う利用者４１の気分を盛り上げるための音声である。例えば、効果音は、手拍子の音、拍手の音、歓声等であってもよい。効果音として、基本効果音と追加効果音とがある。効果音が出力されるとき、基本効果音と追加効果音とのうち、少なくとも基本効果音が出力される。追加効果音は、基本効果音に追加して出力される効果音である。利用者４１の気分を更に盛り上げる場合に、基本効果音と追加効果音との両方が出力される。基本効果音に含まれる効果音の種類と追加効果音に含まれる効果音の種類は異なっていてもよい。例えば、基本効果音は手拍子の音を含み、追加効果音は拍手の音及び歓声を含んでいてもよい。また、基本効果音と追加効果音との間で、含まれる効果音の種類の全部又は一部が同一であってもよい。
【００２６】
運動レッスンの内容を決める要素として、例えば、利用者４１が歌唱する楽曲と、利用者４１が行う複数の運動動作とがある。利用者４１は、同じ内容の運動レッスンを何度も行うことによって、運動レッスンに慣れていく。利用者４１運動レッスンに慣れていくことにより、利用者４１は、運動レッスンを構成する運動動作に熟練していく。利用者４１の運動の熟練の度合いを、運動レベルという。同じ内容の運動レッスンを行うことにより運動レッスンに慣れてくると、利用者４１は、運動レッスンに飽きることがある。そこで、出力端末５は、同じ内容の運動レッスンであっても、ユーザの運動レベルに応じて、ユーザが楽しみながら運動及び歌唱を行うことができるように演出を行う。演出に用いられる情報として、ナレーション、歌詞及び効果音がある。
【００２７】
先ず、出力端末５は、運動レッスンを行う利用者４１の運動レベルを決定する。例えば、出力端末５は、利用者４１の過去の運動の評価値に基づいて、運動レベルを決定してもよい。この場合、出力端末５は、評価値が高いほど運動レベルを高くしてもよい。また、出力端末５は、例えば、利用者４１が運動レッスンを行った回数に基づいて、運動レベルを決定してもよい。この場合、出力端末５は、回数が多いほど運動レベルを高くしてもよい。また、出力端末５は、例えば、利用者４１により選択された運動レベルを、その利用者４１の運動レベルに決定してもよい。本実施形態では、運動レベルは、３段階ある。例えば、運動レベルとして、初級、中級及び上級があってもよい。中級は初級よりも運動レベルが高い。また、上級は中級よりも運動レベルが高い。初級は、本発明における第１レベルの一例である。中級は、本発明における第２レベルの一例である。上級は、本発明における第３レベルの一例である。なお、本実施形態では、運動レベルは、３段階であったが、運動レベルは２段階であってもよいし、４段階以上あってもよい。
【００２８】
運動レベルを決定すると、出力端末５は、運動レベルに応じて運動レッスンの設定を行う。運動レッスンの設定は、ナレーションの出力の有無、歌詞の出力の有無、効果音の出力の有無を、少なくとも決定することである。また、運動レッスンの設定は、運動コンテンツの内容を決定することでもある。運動レベルが初級である場合、出力端末５は、ナレーションを出力させる。これにより、出力端末５は、運動レベルが低いときに、利用者４１の運動の習得を支援することができる。一方、出力端末５は、歌詞及び効果音を出力させない。運動の習得には必要のない情報は出力されないので、利用者４１は、運動の習得に集中することができる。
【００２９】
運動レベルが中級である場合、出力端末５は、歌詞を出力させる。これにより、運動に慣れてきた利用者４１が、運動しながら歌唱を習得することができる。一方、出力端末５は、ナレーション及び効果音を出力させない。運動に慣れてきた利用者４１にナレーションは不要である。また、歌唱の習得には必要のない情報は出力されないので、利用者４１は、運動しながら歌唱の習得に集中することができる。
【００３０】
運動レベルが上級である場合、出力端末５は、歌詞及び効果音を出力させる。これにより、より運動に慣れて歌唱にも慣れてきた利用者４１が歌唱しながら運動するとき、利用者４１の気分を盛り上げることができる。一方、出力端末５は、ナレーションを出力させない。運動に慣れた利用者４１にナレーションは不要である。
【００３１】
図２（Ａ）は、運動レッスンの設定例を示す図である。図２（Ａ）は、運動負荷と運動レベルとの組み合わせに応じて、運動レッスンを設定する場合の例を示す。運動負荷と運動レベルとの組み合わせを、コンテンツタイプという。コンテンツタイプは、例えば、運動コンテンツの種類、類型等を示す。運動負荷は、例えば、運動動作により利用者４１の身体にかかる負荷である。例えば、ある演奏パートにステップ運動が割り当てられているとする。出力端末５は、例えば、運動負荷が高いほど、ステップ運動を行うフィギュア８３の動作が大きくなるように、運動映像をディスプレイ６７に表示させてもよい。動作が大きいほど、身体にかかる負荷が大きくなる。運動負荷は、例えば、利用者４１が選択してもよい。図２（Ａ）の例では、運動負荷として、負荷１、負荷２及び負荷３がある。負荷２は負荷１よりも運動負荷が大きく、負荷３は負荷２よりも運動負荷が大きい。負荷１、負荷２及び負荷３の間で、演奏パートに割り当てられる運動動作の種類は同じである。例えば、ある演奏パートにステップ運動が割り当てられるとする。この場合、負荷１のステップ運動、負荷２のステップ運動、又は、負荷３のステップ運動が割り当てられる。このように、同じ運動動作のステップ運動であるが、負荷が異なるステップ運動が割り当てられる。また、ステップ運動の種類は同じであるが、負荷により運動動作が異なるステップ運動が割り当てられても良い。
【００３２】
出力端末５は、コンテンツタイプに応じて、運動レッスンの設定を行う。具体的に、図２（Ａ）に示すように、出力端末５は、運動負荷、ナレーション文章の表示の有無、ナレーション音声の出力の有無、歌詞のテロップの表示の有無、ガイドボーカルの出力の有無、基本効果音の出力の有無、追加効果音の出力の有無を決定する。図２（Ａ）において、「○」は、出力又は表示があることを示し、「×」は、出力又は表示がないことを示す。練習タイプとして、例えば、図２（Ａ）に示すように、負荷１初級、負荷１中級、負荷１上級、負荷２初級、負荷２中級、負荷２上級、負荷３初級、負荷３中級、負荷３上級がある。運動レベルが同一である複数の練習タイプは、運動負荷が異なるのみで、その他の内容は同一である。一例として、負荷１初級、負荷２初級及び負荷３初級は、運動負荷のみが異なる。そのため、初級、中級及び上級についてのみ説明する。
【００３３】
初級の場合、ナレーション文章の表示及びナレーション音声の出力が、「あり」に設定される。また、歌詞のテロップの表示、ガイドボーカルの出力、基本効果音の出力及び追加効果音の出力は、「なし」に設定される。中級の場合、歌詞のテロップの表示及びガイドボーカルの出力が、「あり」に設定される。また、ナレーション文章の表示、ナレーション音声の出力、基本効果音の出力及び追加効果音の出力は、「なし」に設定される。上級の場合、歌詞のテロップの表示、基本効果音の出力及び追加効果音の出力が、「あり」に設定される。また、ナレーション文章の表示、ナレーション音声の出力及びガイドボーカルの出力は、「なし」に設定される。運動レベルが上級である利用者４１は、或る程度歌唱を習得している蓋然性がある。そのため、利用者４１は、ガイドボーカルが出力されなくても、歌詞を見れば、歌唱することができる。また、歌唱に慣れた利用者４１は、ガイドボーカルを気にしないで、運動しながら歌唱することができる。
【００３４】
図２（Ｂ）は、運動レッスンの別の設定例を示す図である。図２（Ｂ）は、各運動レベルをそれぞれ更に２つの運動レベルに分けた場合の例である。図２（Ｂ）の例においても、運動レベルが同一である複数の練習タイプは、運動負荷が異なるのみで、その他の内容は同一である。運動レベルとして、例えば、初級Ａ、初級Ｂ、中級Ａ、中級Ｂ、上級Ａ及び上級Ｂがある。初級Ｂは初級Ａよりも運動レベルが高い。また、中級Ｂは中級Ａよりも運動レベルが高い。また、上級Ｂは上級Ａよりも運動レベルが高い。初級Ａは、本発明における第６レベルの一例である。初級Ｂは、本発明における第７レベルの一例である。中級Ａは、本発明における第４レベルの一例である。中級Ｂは、本発明における第５レベルの一例である。なお、初級、中級及び上級がそれぞれ３つ以上の運動レベルに分けられてもよい。
【００３５】
初級Ａの場合、ナレーション文章の表示及びナレーション音声の出力が、「あり」に設定される。また、歌詞のテロップの表示、ガイドボーカルの出力、基本効果音の出力及び追加効果音の出力は、「なし」に設定される。初級Ｂの場合、ナレーション音声の出力が、「あり」に設定される。また、ナレーション文章の表示、歌詞のテロップの表示、ガイドボーカルの出力、基本効果音の出力及び追加効果音の出力は、「なし」に設定される。運動レベルが初級Ａから初級Ｂに上がり、利用者４１が或る程度運動動作に慣れてくると、ナレーション文章及びナレーション音声のうち何れかが出力されれば十分である。ここで、音声の方が文章よりも、利用者４１に伝えるナレーションの情報の量を多くすることができる。そのため、ナレーション文章は表示されず、ナレーション音声は出力される。これにより、利用者４１は、ナレーション文章を見ないことにより、ナレーション音声を聴きながら運動に集中することができる。
【００３６】
中級Ａの場合、歌詞のテロップの表示及びガイドボーカルの出力が、「あり」に設定される。また、ナレーション文章の表示、ナレーション音声の出力、基本効果音の出力及び追加効果音の出力は、「なし」に設定される。中級Ｂの場合、歌詞のテロップの表示が、「あり」に設定される。また、ナレーション文章の表示、ナレーション音声の出力、ガイドボーカルの出力、基本効果音の出力及び追加効果音の出力は、「なし」に設定される。運動レベルが中級Ａから中級Ｂに上がり、利用者４１が歌唱を習得してくる。すると、ガイドボーカルがなくても、利用者４１は、歌詞を見ながら或る程度正しい音程で歌唱することができる。また、歌唱に慣れてきた利用者４１は、ガイドボーカルを気にしないで、運動しながら歌唱することができる。
【００３７】
上級Ａの場合、歌詞のテロップの表示、及び基本効果音の出力が、「あり」に設定される。また、ナレーション文章の表示、ナレーション音声の出力、ガイドボーカルの出力及び追加効果音の出力は、「なし」に設定される。上級Ｂの場合、歌詞のテロップの表示、基本効果音の出力及び追加効果音の出力が、「あり」に設定される。また、ナレーション文章の表示、ナレーション音声の出力、及びガイドボーカルの出力は、「なし」に設定される。上級においては、運動レベルが上がることに従って、効果音が増える。これにより、利用者４１の気分を段階的に盛り上げることができる。
【００３８】
次に、図３を用いて、運動レベルに応じた実際の運動コンテンツの内容の決定例について説明する。本実施形態において、出力端末５は、運動レッスンにおいて楽曲が出力されているとき、１つの演奏パートの出力が終了するごとに、利用者４１の運動の評価値を計算する。出力端末５は、評価値に基づいて運動レベルを決定する。そして、出力端末５は、運動レベルに基づいて、次の演奏パートが出力される間の運動コンテンツの内容を決定する。例えば、図２（Ｂ）に示す設定例に従って、運動コンテンツの内容が決定されるものとする。なお、出力端末５は、例えば、演奏パートの出力が終了するタイミングと異なるタイミングで、運動レベルを決定してもよい。また、出力端末５は、例えば、運動レッスンが開始されるときにのみ、運動レベルを決定してもよい。そして、ＣＰＵ５１は、最初に決定された運動レベルに基づいて、楽曲を構成する全ての演奏パートが順次出力される間の運動コンテンツの内容を決定してもよい。
【００３９】
ある楽曲Ｘは、例えば、Ａメロ１、Ｂメロ１、サビ１、間奏１、Ａメロ２、Ｂメロ２、サビ２の順で、演奏パートが出力されるとする。本実施形態においては、楽曲と演奏パートの種類との組み合わせに対応する運動動作が予め定められている。図３の例では、楽曲ＸのＡメロ１及びＡメロ２には、運動動作１が割り当てられる。楽曲ＸのＢメロ１及びＢメロ２には、運動動作２が割り当てられる。楽曲Ｘのサビ１には、運動動作３が割り当てられる。楽曲Ｘの間奏１には、運動動作４が割り当てられる。楽曲Ｘのサビ２には、運動動作５が割り当てられる。楽曲の中で演奏順が最後のサビ部分の運動動作は、他のサビ部分の運動動作と部分的に異なっていてもよい。また、本実施形態においては、運動動作と運動負荷との組み合わせごとに、組み合わせに対応するナレーション文章、ナレーション音声、基本効果音及び追加効果音がある。また、演奏パートごとに、演奏パートに対応する歌詞のテロップ及びガイドボーカルがある。
【００４０】
図３（Ａ）は、Ａメロ１が出力される時点の運動コンテンツの内容を示す。運動レッスンを開始するとき、操作者４２は、例えば、楽曲Ｘを指定し、運動負荷として負荷１を指定したとする。運動レッスンを開始するときは、例えば、出力端末５が、予め設定された運動レベルを、運動レッスンを行う利用者４１の運動レベルとして決定したとする。例えば、出力端末５は、運動レベルとして中級Ｂを決定する。Ａメロ１が出力され、運動負荷が負荷１である運動動作１の運動映像が表示されているとき、出力端末５は、Ａメロ１に対応する歌詞のテロップを表示させる。一方、出力端末５は、ナレーション文章、ナレーション音声、ガイドボーカル、基本効果音及び追加効果音を出力させない。
【００４１】
図３（Ｂ）は、Ｂメロ１が出力される時点の運動コンテンツの内容を示す。Ａメロ１の出力が終了したとき、出力端末５は、利用者４１により行われた運動動作１の評価値を計算する。そして、出力端末５は、評価値に基づいて、運動レベルとして初級Ｂを決定したとする。この場合、Ｂメロ１が出力され、運動負荷が負荷１である運動動作２の運動映像が表示されているとき、出力端末５は、負荷１の運動動作２に対応するナレーション音声を出力させる。一方、出力端末５は、ナレーション文章、歌詞のテロップ、ガイドボーカル、基本効果音及び追加効果音を出力させない。
【００４２】
図３（Ｃ）は、サビ１が出力される時点の運動コンテンツの内容を示す。Ｂメロ１の出力が終了したとき、出力端末５は、利用者４１により行われた運動動作２の評価値を計算する。そして、出力端末５は、評価値に基づいて、運動レベルとして中級Ａを決定したとする。この場合、サビ１が出力され、運動負荷が負荷１である運動動作３の運動映像が表示されているとき、出力端末５は、サビ１に対応する歌詞のテロップを表示させ、且つ、ガイドボーカルを出力させる。一方、出力端末５は、ナレーション文章、ナレーション音声、基本効果音及び追加効果音を出力させない。
【００４３】
図３（Ｄ）は、サビ２が出力される時点の運動コンテンツの内容を示す。サビ１からＢメロ２までの各演奏パートの出力が終了するごとに、出力端末５は、運動レベルとして上級Ａを決定したとする。この場合、各演奏パートの出力中、出力端末５は、演奏パートに対応する歌詞のテロップを表示させ、且つ、演奏パートに割り当てられた負荷１の運動動作に対応する基本効果音を出力させる。一方、出力端末５は、ナレーション文章、ナレーション音声、ガイドボーカル及び追加効果音を出力させない。
【００４４】
［３．各装置の構成］
次に、図１を参照して、運動コンテンツ生成システムに含まれる各装置の構成について説明する。
【００４５】
［３−１．配信サーバ２の構成］
図１に示すように、配信サーバ２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、バス２４、Ｉ／Ｏインタフェイス２５、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０及びＨＤＤ（ハードディスクドライブ）３７を備える。ＣＰＵ２１は、バス２４を介して、ＲＯＭ２２、ＲＡＭ２３及びＩ／Ｏインタフェイス２５に接続されている。ＣＰＵ２１は、ＲＯＭ２２やＨＤＤ３７に記憶されプログラムを実行することにより、配信サーバ２の各部を制御する。Ｉ／Ｏインタフェイス２５には、データベース３、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０、キーボード３１、マウス３２及びＨＤＤ３７が接続されている。ＣＰＵ２１は、Ｉ／Ｏインタフェイス２５を介してデータベース３にアクセスする。表示制御部２６は、ＣＰＵ２１の制御に基づいて映像信号をモニタ５７に出力する。ディスクドライブ２８は、記録媒体２９に対するデータの書き込み及び読み出しを行う。ネットワーク通信部３０は、配信サーバ２がネットワーク１０に接続するための制御を行う。ＨＤＤ３７には、ＯＳや各種制御プログラム等が記憶されている。
【００４６】
データベース３には、楽曲データ、モーションデータ、ナレーション文章データ、ナレーション音声データ、歌詞データ、ガイドボーカルデータ、基本効果音データ、追加効果音データ、教師音高データ、教師座標データ、レッスン設定表等のデータが登録されている。
【００４７】
楽曲データは、スピーカ６４により楽曲を出力するための演奏データである。楽曲データは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであってもよい。楽曲データは、楽曲ＩＤ、楽曲名、アーティスト名、オリジナルのテンポ、楽曲の演奏パートの構成、歌詞等の情報を含む。楽曲ＩＤは、楽曲の識別情報である。また、楽曲データは、演奏パートの切り替わりのタイミング等を規定する。例えば、楽曲データがＭＩＤＩ形式のデータである場合、楽曲データには、実際の演奏データとしてのＭＩＤＩイベントに加えて、メタイベントを含めることができる。メタイベントとしては、例えば、演奏パートを示すマーカーイベント等がある。そのため、演奏パートを識別するパートＩＤや演奏パートの種類を示すパート種別をイベントとして楽曲データに記述することが可能である。例えば、出力端末５には、後述のミュージックシーケンサがインストールされている。出力端末５は、ミュージックシーケンサを実行することにより、楽曲データを再生するとともに、楽曲データからメタイベント等を読み出すと、読み出したイベントを出力する。例えば、マーカーイベントが出力されるタイミングが、そのマーカーイベントが示す演奏パートが開始されるタイミングとなる。本実施形態においては、マーカーイベントを、演奏パート開始イベントという。演奏パート開始イベントは、演奏パートの演奏開始を通知するイベントである。演奏パート開始イベントは、パートＩＤ及びパート種別を含む。楽曲データは、本発明における楽曲情報の一例である。
【００４８】
モーションデータは、三次元仮想空間におけるフィギュア８３の動作を定義するデータである。モーションデータは、ディスプレイ６７にフィギュア８３の運動動作を表示させるためのデータである。モーションデータは、運動動作の進行に応じたフィギュア８３の身体の各部の座標を含む。モーションデータは、各運動動作について運動負荷ごとに登録される。モーションデータは、例えば、モーションＩＤと対応付けて登録される。モーションＩＤは、運動動作と運動負荷との組み合わせを識別する識別情報である。モーションＩＤは、例えば、運動負荷、楽曲ＩＤ及びパート種別から構成されてもよい。運動負荷は、運動動作により身体に与える負荷の大きさを示す。運動負荷として、例えば、負荷１、負荷２等が設定される。楽曲ＩＤ及びパート種別は、運動動作が割り当てられる楽曲及び演奏パートの種類を示す。モーションデータは、本発明における動作情報の一例である。
【００４９】
ナレーション文章データは、ナレーション文章を表示するためのデータである。ナレーション文章データは、例えば、ナレーション文章のテキスト、テキストの表示タイミング等を含む。表示タイミングは、例えば、ナレーションに対応する運動動作が割り当てられた演奏パートの演奏が開始されてからの経過時間で示されてもよい。ナレーション文章データは、例えば、ナレーション文章ＩＤとモーションＩＤとに対応付けて登録される。ナレーション文章ＩＤは、ナレーション文章の識別情報である。モーションＩＤは、ナレーション文章が表示される運動動作を示す。ナレーション文章データは、本発明における第１の指導情報の一例である。
【００５０】
ナレーション音声データは、ナレーション音声を出力するためのデータである。ナレーション音声データのデータ形式は、例えば、ＷＡＶ（RIFF waveform Audio Format）、ＡＡＣ（Advanced Audio Coding）、ＭＰ３（MPEG Audio Layer-3）等であってもよい。例えば、ナレーション音声の再生時間が、ナレーション音声に対応する運動動作が割り当てられる演奏パートの再生時間と一致するように、ナレーション音声データが予め作成されてもよい。ナレーション音声データは、例えば、ナレーション音声ＩＤとモーションＩＤとに対応付けて登録される。ナレーション音声ＩＤは、ナレーション音声の識別情報である。モーションＩＤは、ナレーション音声が出力される運動動作を示す。ナレーション音声データは、本発明における第２の指導情報の一例である。
【００５１】
歌詞データは、歌詞のテロップを表示するためのデータである。歌詞データは、例えば、歌詞のテキスト、テキストの表示タイミング等を含む。表示タイミングは、例えば、演奏パートの演奏が開始されてからの経過時間で示されてもよい。歌詞データは、例えば、歌詞ＩＤ、楽曲ＩＤ及びパートＩＤに対応付けて登録される。歌詞ＩＤは、歌詞の識別情報である。楽曲ＩＤ及びパートＩＤは、歌詞が対応する楽曲及び演奏パートを示す。歌詞データは、本発明における第１の歌詞情報の一例である。
【００５２】
ガイドボーカルデータは、ガイドボーカルを出力するためのデータである。ガイドボーカルデータのデータ形式は、例えば、ＷＡＶ、ＡＡＣ、ＭＰ３等であってもよい。例えば、ガイドボーカルの再生時間が、ガイドボーカルに対応する演奏パートの再生時間と一致するように、ガイドボーカルデータが予め作成されてもよい。ガイドボーカルデータは、例えば、ガイドボーカルＩＤ、楽曲ＩＤ及びパートＩＤに対応付けて登録される。ガイドボーカルＩＤは、ガイドボーカルの識別情報である。楽曲ＩＤ及びパートＩＤは、ガイドボーカルが対応する楽曲及び演奏パートを示す。ガイドボーカルデータは、本発明における第２の歌詞情報の一例である。
【００５３】
基本効果音データは、基本効果音を出力するためのデータである。基本効果音データのデータ形式は、例えば、ＷＡＶ、ＡＡＣ、ＭＰ３等であってもよい。例えば、基本効果音の再生時間が、基本効果音に対応する運動動作が割り当てられる演奏パートの再生時間と一致するように、基本効果音データが予め作成されてもよい。基本効果音データは、例えば、基本効果音ＩＤ、楽曲ＩＤ及びパートＩＤに対応付けて登録される。基本効果音ＩＤは、基本効果音の識別情報である。楽曲ＩＤ及びパートＩＤは、基本効果音が対応する楽曲及び演奏パートを示す。
【００５４】
追加効果音データは、追加効果音を出力するためのデータである。追加効果音データのデータ形式は、例えば、ＷＡＶ、ＡＡＣ、ＭＰ３等であってもよい。例えば、追加効果音の再生時間が、追加効果音に対応する運動動作が割り当てられる演奏パートの再生時間と一致するように、追加効果音データが予め作成されてもよい。追加効果音データは、例えば、追加効果音ＩＤ、楽曲ＩＤ及びパートＩＤに対応付けて登録される。追加効果音ＩＤは、追加効果音の識別情報である。楽曲ＩＤ及びパートＩＤは、追加効果音が対応する楽曲及び演奏パートを示す。
【００５５】
教師音高データは、楽曲を歌唱するときの歌唱音声の音高の基準を示すデータである。教師音高データは、利用者４１の歌唱の評価値を計算するために用いられる。教師音高データは楽曲ごとに登録される。例えば、教師音高データには、楽曲の演奏開始からの経過時間と、その経過時間における歌唱音声の正しい音高値とが、予め定められた時間間隔ごとに対応付けて登録される。この時間間隔を、設定時間間隔という。教師音高データは、例えば、楽曲ＩＤに対応付けて登録される。楽曲ＩＤは、教師音高データが用いられる楽曲を示す。
【００５６】
教師座標データは、利用者４１が運動するときの身体の動きの基準を示す。教師座標データは、運動動作を行うときの利用者４１の各身体部位の三次元空間における座標の基準を示すデータである。教師座標データは、利用者４１の運動の評価値を計算するために用いられる。教師座標データは、各運動動作について運動負荷ごとに登録される。例えば、教師座標データには、運動動作の開始からの経過時間と、その経過時間における各身体部位の正しい座標とが、予め定められた時間間隔ごとに対応付けて登録される。この間隔は、例えば、教師音高データの設定時間間隔と同じであってもよい。例えば、配信サーバ２が、モーションデータに基づいて、教師座標データを生成してもよい。教師座標データは、例えば、モーションＩＤに対応付けて登録される。モーションＩＤは、教師座標データが用いられる運動動作を示す。教師座標データは、本発明における基準情報の一例である。
【００５７】
レッスン設定表は、運動レッスンを設定するための設定値が登録されるテーブルである。レッスン設定表は、例えば、図２（Ａ）や図２（Ｂ）に示す表に相当する情報である。レッスン設定表には、コンテンツタイプごとに設定値が登録される。具体的に、コンテンツタイプに対応付けて、運動負荷、ナレーション文章有無、ナレーション音声有無、歌詞有無、ガイドボーカル有無、基本効果音有無、追加効果音有無等が登録される。ナレーション文章有無は、ナレーション文章の表示があるかないかを示す。ナレーション音声有無は、ナレーション音声の出力があるかないかを示す。歌詞有無は、歌詞の表示があるかないかを示す。ガイドボーカル有無は、ガイドボーカルの出力があるかないかを示す。基本効果音有無は、基本効果音の出力があるかないかを示す。追加効果音有無は、追加効果音の出力があるかないかを示す。
【００５８】
［３−２．出力端末５の構成］
図１に示すように、出力端末５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、バス５４、Ｉ／Ｏインタフェイス５５、表示制御部５６、ディスクドライブ５８、ネットワーク通信部６０、音声出力部６３、信号受信部６５、センサ情報受信部６９及びＨＤＤ７を備える。ＣＰＵ５１は、バス５４を介して、ＲＯＭ５２、ＲＡＭ５３及びＩ／Ｏインタフェイス５５に接続されている。ＣＰＵ５１は、時計機能及びタイマー機能を有する。ＣＰＵ５１は、ＲＯＭ５２やＨＤＤ７に記憶されプログラムを実行することにより、出力端末５の各部を制御する。Ｉ／Ｏインタフェイス５５には、ＨＤＤ７、表示制御部５６、音声出力部６３、ディスクドライブ５８、ネットワーク通信部６０、キーボード６１、マウス６２、マイク６８、信号受信部６５及びセンサ情報受信部６９が接続されている。表示制御部５６は、ＣＰＵ５１の制御に基づいて映像信号をモニタ５７に出力する。音声出力部６３は、ＣＰＵ５１の制御に基づいて音声信号をモニタ５７に出力する。ディスクドライブ５８は、記録媒体５９に対するデータの書き込み及び読み出しを行う。信号受信部６５は、リモコン６６から出力される信号を受信する。リモコン６６は、操作者４２が出力端末５を操作するためのものである。センサ情報受信部６９は、各加速度センサＡＳから送信される加速度情報を受信する。加速度情報は、加速度センサＡＳが検出した加速度を含む。
【００５９】
ＨＤＤ７は、本発明の記憶手段の一例である。ＨＤＤ７には、配信サーバ２から配信された楽曲データ、モーションデータ、ナレーション文章データ、ナレーション音声データ、歌詞データ、ガイドボーカルデータ、基本効果音データ、追加効果音データ、教師音高データ、教師座標データ、レッスン設定表等のデータが登録される。
【００６０】
また、ＨＤＤ７には、レッスン情報が記憶される。レッスン情報は、運動レッスンの構成及び運動コンテンツの内容を定めた情報である。レッスン情報は、例えば、図３（Ａ）〜（Ｄ）に示すような運動レッスンの構成を表す。例えば、操作者４２の操作に基づいて、出力端末５がレッスン情報を生成してもよい。レッスン情報は、例えば、楽曲ＩＤを含む。楽曲ＩＤは、運動レッスンが行われるときに出力される楽曲を示す。また、レッスン情報は、複数のパート情報を含む。パート情報は、楽曲ＩＤが示す楽曲を構成する演奏パートに関連する情報である。パート情報は、演奏パートごとに登録される。パート情報は、例えば、パートＩＤ、パート種別、モーションＩＤ、ナレーション文章有無、ナレーション文章ＩＤ、ナレーション音声有無、ナレーション音声ＩＤ、歌詞有無、歌詞ＩＤ、ガイドボーカル有無、ガイドボーカルＩＤ、基本効果音有無、基本効果音ＩＤ、追加効果音有無、追加効果音ＩＤ等を含む。パートＩＤは、演奏パートの識別情報である。パート種別は、パートＩＤが示す演奏パートの種類を示す。モーションＩＤは、演奏パートに割り当てられた運動動作を示す。ナレーション文章ＩＤは、表示されるナレーション文章の識別情報である。ナレーション文章ＩＤは、ナレーション文章有無が「あり」に設定されている場合に登録される。ナレーション音声ＩＤは、出力されるナレーション音声の識別情報である。ナレーション音声ＩＤは、ナレーション音声有無が「あり」に設定されている場合に登録される。歌詞ＩＤは、表示される歌詞の識別情報である。歌詞ＩＤは、歌詞有無が「あり」に設定されている場合に登録される。ガイドボーカルＩＤは、出力されるガイドボーカルの識別情報である。ガイドボーカルＩＤは、ガイドボーカル有無が「あり」に設定されている場合に登録される。基本効果音ＩＤは、表示される基本効果音の識別情報である。基本効果音ＩＤは、基本効果音有無が「あり」に設定されている場合に登録される。追加効果音ＩＤは、表示される追加効果音の識別情報である。追加効果音ＩＤは、追加効果音有無が「あり」に設定されている場合に登録される。
【００６１】
ＨＤＤ７には、更に、ＯＳ、運動支援プログラム、３Ｄエンジン、ミュージックシーケンサ等の各種プログラム等が記憶されている。運動支援プログラムは、利用者４１の運動を支援するためのプログラムである。運動支援プログラムは、コンピュータとしてのＣＰＵ５１に、決定ステップ、第１制御ステップ、第２制御ステップ、第３制御ステップ、第４制御ステップ、第５制御ステップを少なくとも実行させる。３Ｄエンジンは、モーションデータに基づいて、三次元仮想空間で運動動作するフィギュア８３を二次元平面に投影した画像を生成するためのプログラムである。画像を生成する処理は、射影変換、クリッピング、隠面消去、シェーディング、テクスチャマッピング等を含む。ＣＰＵ５１は、３Ｄエンジンを実行して、静止画像を順次生成する。生成された静止画像をＣＰＵ５１が表示制御部５６へ順次出力することで、ディスプレイ６７には、運動映像が表示される。
【００６２】
ミュージックシーケンサは、楽曲データを再生するためのプログラムである。ＣＰＵ５１は、ミュージックシーケンサを実行することにより、楽曲データに対応する音声信号を生成する。また、ＣＰＵ５１は、ミュージックシーケンサを実行することにより、各種のイベントを発生させる。イベントとして、例えば、テンポに応じて所定時間間隔で発生するイベントがある。このイベントは、ＭＩＤＩクロックや同期イベントと呼ばれる。また、イベントとして、例えば、演奏パート開始イベントがある。
【００６３】
各種プログラムは、例えば、配信サーバ２等のサーバからネットワーク１０を介してダウンロードされるようにしてもよい。また、各種プログラムは、記録媒体５９に記録されてディスクドライブ５８を介して読み込まれるようにしてもよい。なお、３Ｄエンジンやミュージックシーケンサは、プログラムではなく、専用のハードウェアであってもよい。そして、出力端末５は、ハードウェアとしての３Ｄエンジンやミュージックシーケンサを備えてもよい。
【００６４】
ＣＰＵ５１は、設定されたテンポに従って、楽曲データに対応する音声信号を音声出力部６３へ出力させるとともに、生成した画像に対応する映像信号を表示制御部５６から出力させる。ＣＰＵ５１は、同期イベントに基づいて、楽曲の音声信号の出力タイミングと運動映像の映像信号の出力タイミングとを同期させる。これにより、スピーカ６４から出力される楽曲に同期して歌唱動作又は運動動作を行うフィギュア８３がディスプレイ６７に表示される。また、ＣＰＵ５１は、演奏パート開始イベントに基づいて、楽曲の演奏パートの切り替わり及び演奏が開始される演奏パートを検出する。
【００６５】
［４．運動コンテンツ生成システム１の動作］
次に、図４及び図５を参照して、運動コンテンツ生成システム１の動作を説明する。図４（Ａ）は、出力端末５のＣＰＵ５１のレッスン処理の処理例を示すフローチャートである。例えば、操作者４２が、リモコン６６等により、運動レッスンを開始させるための操作を行う。すると、ＣＰＵ５１は、レッスン処理を開始する。
【００６６】
図４（Ａ）に示すように、ＣＰＵ５１は、レッスン生成処理を実行する（ステップＳ１）。レッスン生成処理において、ＣＰＵ５１は、操作者４２の指示に基づいて、レッスン情報を生成する。レッスン生成処理の詳細は後述する。次いで、ＣＰＵ５１は、レッスン実行処理を実行する（ステップＳ２）。レッスン実行処理において、ＣＰＵ５１は、生成されたレッスン情報に基づいて、運動コンテンツを再生する。利用者４１は、再生される運動コンテンツに合わせて、運動レッスンを行う。レッスン実行処理の詳細は後述する。次いで、ＣＰＵ５１は、レッスン評価処理を実行する（ステップＳ３）。レッスン評価処理において、ＣＰＵ５１は、運動レッスンにおける利用者４１の歌唱及び運動を評価する。レッスン評価処理の詳細は後述する。ＣＰＵ５１は、ステップＳ３の処理を終えると、レッスン処理を終了させる。
【００６７】
図４（Ｂ）は、出力端末５のＣＰＵ５１のレッスン生成処理の処理例を示すフローチャートである。図４（Ｂ）に示すように、ＣＰＵ５１は、運動レッスンに用いる楽曲の楽曲ＩＤを取得する（ステップＳ１１）。具体的に、ＣＰＵ５１は、ディスプレイ６７に楽曲の一覧を表示させる。操作者４２は、例えば、リモコン６６を操作して、一覧の中から楽曲を選択する。ＣＰＵ５１は、リモコン６６からセンサ情報受信部６９を介して受信された信号に基づいて、操作者４２が選択した楽曲の楽曲ＩＤを特定する。
【００６８】
次いで、ＣＰＵ５１は、運動負荷を取得する（ステップＳ１２）。具体的に、ＣＰＵ５１は、運動負荷を選択するための画面を表示する。操作者４２は、例えば、リモコン６６を操作して選択を行う。すると、リモコン６６は、操作に応じた信号を送信する。ＣＰＵ５１は、リモコン６６から受信される信号に基づいて、運動負荷を特定する。
【００６９】
次いで、ＣＰＵ５１は、運動レッスンを行う利用者４１の運動レベルを決定する（ステップＳ１３）。例えば、ＣＰＵ５１は、ＨＤＤ７に予め記憶された運動レベルを、運動レッスンを行う利用者４１に決定する。
【００７０】
次いで、ＣＰＵ５１は、運動レッスンの設定値を取得する（ステップＳ１４）。具体的に、ＣＰＵ５１は、運動負荷と運動レベルからコンテンツタイプを生成する。そして、ＣＰＵ５１は、レッスン設定表から、コンテンツタイプに対応する運動負荷、ナレーション文章有無、ナレーション音声有無、歌詞有無、ガイドボーカル有無、基本効果音有無、追加効果音有無を取得する。
【００７１】
次いで、ＣＰＵ５１は、レッスン情報を生成する（ステップＳ１５）。具体的に、ＣＰＵ５１は、ステップＳ１１で取得した楽曲ＩＤを含むレッスン情報をＨＤＤ７に記憶させる。次いで、ＣＰＵ５１は、取得した楽曲ＩＤに対応する楽曲データから、演奏順が１番目の演奏パート開始イベントを読み出す。次いで、ＣＰＵ５１は、取得した演奏パート開始イベントからパートＩＤ及びパート種別を取得する。次いで、ＣＰＵ５１は、取得したパートＩＤ及びパート種別を含むパート情報を生成する。次いで、ＣＰＵ５１は、運動負荷、楽曲ＩＤ及びパート種別から、モーションＩＤを生成する。次いで、ＣＰＵ５１は、生成したモーションＩＤをパート情報に追加する。次いで、ＣＰＵ５１は、取得したナレーション文章有無、ナレーション音声有無、歌詞有無、ガイドボーカル有無、基本効果音有無、追加効果音有無をパート情報に追加する。
【００７２】
ナレーション文章有無が「あり」に設定されている場合、ＣＰＵ５１は、モーションＩＤに対応するナレーション文章ＩＤをＨＤＤ７から取得して、パート情報に追加する。ナレーション音声有無が「あり」に設定されている場合、ＣＰＵ５１は、モーションＩＤに対応するナレーション音声ＩＤをＨＤＤ７から取得して、パート情報に追加する。歌詞有無が「あり」に設定されている場合、ＣＰＵ５１は、楽曲ＩＤ及びパートＩＤに対応する歌詞ＩＤをＨＤＤ７から取得して、パート情報に追加する。ガイドボーカル有無が「あり」に設定されている場合、ＣＰＵ５１は、楽曲ＩＤ及びパートＩＤに対応するガイドボーカルＩＤをＨＤＤ７から取得して、パート情報に追加する。基本効果音有無が「あり」に設定されている場合、ＣＰＵ５１は、モーションＩＤに対応する基本効果音ＩＤをＨＤＤ７から取得して、パート情報に追加する。追加効果音有無が「あり」に設定されている場合、ＣＰＵ５１は、モーションＩＤに対応する追加効果音ＩＤをＨＤＤ７から取得して、パート情報に追加する。ＣＰＵ５１は、必要な情報を追加したパート情報をレッスン情報に追加する。ＣＰＵ５１は、ステップＳ１５の処理を終えると、レッスン生成処理を終了させる。
【００７３】
図５（Ａ）は、出力端末５のＣＰＵ５１のレッスン実行処理の処理例を示すフローチャートである。図５（Ａ）に示すように、ＣＰＵ５１は、初期設定を行う（ステップＳ２１）。具体的に、ＣＰＵ５１は、センサＡＳを装着して規定の姿勢で静止するよう利用者４１に指示するメッセージをディスプレイ６７に表示させる。規定の姿勢は、例えば、気を付けの姿勢であってもよい。例えば、ＨＤＤ７には、規定の姿勢をとった場合の利用者４１の各身体部位の三次元空間における座標が予め記憶されている。メッセージの表示から所定秒経過した後、ＣＰＵ５１は、ＨＤＤ７に記憶されている座標を、利用者４１の身体部位の座標の初期値としてＲＡＭ５３に記憶させる。次いで、ＣＰＵ５１は、時計機能から現在時刻を取得する。そして、ＣＰＵ５１は、現在時刻を、楽曲の再生開始時刻としてＲＡＭ５３に記憶させる。また、ＣＰＵ５１は、現在時刻を、演奏順が１番目の演奏パートの再生開始時刻としてＲＡＭ５３に記憶させる。また、ＣＰＵ５１は、生成されたレッスン情報から、演奏順が１番目である演奏パートのパート情報を取得する。また、ＣＰＵ５１は、レッスン情報に含まれる楽曲ＩＤに対応する楽曲データから、楽曲のテンポを取得する。
【００７４】
ＣＰＵ５１は、ステップＳ２１の処理を終えると、運動コンテンツを再生する。先ず、ＣＰＵ５１は、３Ｄエンジンにより、運動映像表示処理を実行する（ステップＳ２２）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれるモーションＩＤに対応するモーションデータに基づいて、運動映像の静止画像を生成する。このとき、ＣＰＵ５１は、楽曲のテンポと、演奏パートの再生開始時刻から現時点までの経過時間とに基づいて、生成する静止画像を決定する。ＣＰＵ５１は、生成した静止画像を表示制御部５６に出力する。表示制御部５６は、静止画像に応じた映像信号をディスプレイ６７に出力する。これにより、ディスプレイ６７には、フィギュア８３が動作する運動映像が表示される。
【００７５】
次いで、ＣＰＵ５１は、歌詞表示処理を実行する（ステップＳ２３）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれる歌詞有無が「あり」に設定されているか否かを判定する。このとき、歌詞有無が「なし」に設定されている場合、ＣＰＵ５１は、歌詞を表示させないで、歌詞表示処理を終了させる。一方、歌詞有無が「あり」に設定されている場合、ＣＰＵ５１は、パート情報に含まれる歌詞ＩＤに対応する歌詞データに基づいて、歌詞のテロップを表示させる。このとき、ＣＰＵ５１は、演奏パートの再生開始時刻から現時点までの経過時間に基づいて、歌詞データに含まれるテキストの中から、表示させるテキストを決定する。そして、ＣＰＵ５１は、決定したテキストを表示制御部５６に出力する。この場合、表示制御部５６は、テキストが示す文字と運動映像の静止画像とを合成する。そして、ＣＰＵ５１は、合成した画像に応じた映像信号をディスプレイ６７に出力する。これにより、ディスプレイ６７には、運動動作するフィギュア８３と歌詞とが表示される。
【００７６】
次いで、ＣＰＵ５１は、ナレーション文章表示処理を実行する（ステップＳ２４）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれるナレーション文章有無が「あり」に設定されているか否かを判定する。このとき、ナレーション文章有無が「なし」に設定されている場合、ＣＰＵ５１は、ナレーション文章を表示させないで、ナレーション文章表示処理を終了させる。一方、ナレーション文章有無が「あり」に設定されている場合、ＣＰＵ５１は、パート情報に含まれるナレーション文章ＩＤに対応するナレーション文章データに基づいて、ナレーション文章を表示させる。このとき、ＣＰＵ５１は、演奏パートの再生開始時刻から現時点までの経過時間に基づいて、ナレーション文章データに含まれるテキストの中から、表示させるテキストを決定する。そして、ＣＰＵ５１は、決定したテキストを表示制御部５６に出力する。この場合、表示制御部５６は、テキストが示す文字と運動映像の静止画像とを合成する。そして、ＣＰＵ５１は、合成した画像に応じた映像信号をディスプレイ６７に出力する。これにより、ディスプレイ６７には、運動動作するフィギュア８３とナレーション文章とが表示される。
【００７７】
次いで、ＣＰＵ５１は、ミュージックシーケンサにより、楽曲再生処理を実行する（ステップＳ２５）。具体的に、ＣＰＵ５１は、生成されたレッスン情報に含まれる楽曲ＩＤに対応する楽曲データに基づいて、楽曲を出力させる。このとき、ＣＰＵ５１は、楽曲データから、楽曲の再生開始時刻から現時点までの経過時間に対応するイベントを読み出す。そして、ＣＰＵ５１は、読み出したイベントに基づいて、音声出力部６３による音声信号の出力を制御する。これにより、ＣＰＵ５１は、音声出力部６３からスピーカ６４へ、楽曲の音声信号を出力させる。そして、スピーカ６４から楽曲が出力される。なお、楽曲データには、例えば、デルタタイムとイベントとの組が記述されている。デルタタイムは、あるイベントを出力してから、次のイベントを出力するまでの時間を示す。そのため、ＣＰＵ５１は、例えば、楽曲データからイベントを読み出すタイミングを、デルタタイムと楽曲のテンポとに従って決定する。
【００７８】
次いで、ＣＰＵ５１は、ガイドボーカル再生処理を実行する（ステップＳ２６）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれるガイドボーカル有無が「あり」に設定されているか否かを判定する。このとき、ガイドボーカル有無が「なし」に設定されている場合、ＣＰＵ５１は、ガイドボーカルを出力させないで、ガイドボーカル再生処理を終了させる。一方、ガイドボーカル有無が「あり」に設定されている場合、ＣＰＵ５１は、パート情報に含まれるガイドボーカルＩＤに対応するガイドボーカルデータに基づいて、ガイドボーカルを出力させる。このとき、ＣＰＵ５１は、ガイドボーカルデータから、演奏パートの再生開始時刻から現時点までの経過時間に対応するデータ部分を読み出す。そして、ＣＰＵ５１は、読み出したデータ部分に基づいて、音声出力部６３による音声信号の出力を制御する。この場合、音声出力部６３は、ガイドボーカルの音声信号と楽曲の音声信号とを合成する。そして、音声出力部６３は、合成された音声信号をスピーカ６４に出力する。これにより、スピーカ６４から楽曲とガイドボーカルとが出力される。
【００７９】
次いで、ＣＰＵ５１は、ナレーション音声再生処理を実行する（ステップＳ２７）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれるナレーション音声有無が「あり」に設定されているか否かを判定する。このとき、ナレーション音声有無が「なし」に設定されている場合、ＣＰＵ５１は、ナレーション音声を出力させないで、ナレーション音声再生処理を終了させる。一方、ナレーション音声有無が「あり」に設定されている場合、ＣＰＵ５１は、パート情報に含まれるナレーション音声ＩＤに対応するナレーション音声データに基づいて、ナレーション音声を出力させる。このとき、ＣＰＵ５１は、ナレーション音声データから、演奏パートの再生開始時刻から現時点までの経過時間に対応するデータ部分を読み出す。そして、ＣＰＵ５１は、読み出したデータ部分に基づいて、音声出力部６３による音声信号の出力を制御する。この場合、音声出力部６３は、ナレーション音声の音声信号と楽曲の音声信号とを合成する。そして、音声出力部６３は、合成された音声信号をスピーカ６４に出力する。これにより、スピーカ６４から楽曲とナレーション音声とが出力される。
【００８０】
次いで、ＣＰＵ５１は、効果音再生処理を実行する（ステップＳ２８）。具体的に、ＣＰＵ５１は、取得したパート情報に含まれる基本効果音有無が「あり」に設定されているか否かを判定する。このとき、基本効果音有無が「なし」に設定されている場合、ＣＰＵ５１は、基本効果音を出力させないで、効果音再生処理を終了する。一方、基本効果音有無が「あり」に設定されている場合、ＣＰＵ５１は、パート情報に含まれる基本効果音ＩＤに対応する基本効果音データに基づいて、基本効果音を出力させる。このとき、ＣＰＵ５１は、基本効果音データから、演奏パートの再生開始時刻から現時点までの経過時間に対応するデータ部分を読み出す。そして、ＣＰＵ５１は、読み出したデータ部分に基づいて、音声出力部６３による音声信号の出力を制御する。この場合、音声出力部６３は、基本効果音の音声信号と楽曲の音声信号とを合成する。そして、音声出力部６３は、合成された音声信号をスピーカ６４に出力する。これにより、スピーカ６４から楽曲と基本効果音とが出力される。また、ＣＰＵ５１は、追加効果音についても、基本効果音と同様に処理する。これにより、追加効果音有無が「あり」に設定されている場合、スピーカ６４から楽曲と追加効果音とが出力される。
【００８１】
次いで、ＣＰＵ５１は、利用者４１の歌唱データ及び運動データの取得タイミングであるか否かを判定する（ステップＳ２９）。歌唱データは、利用者４１の歌唱音声の音高値及び音量である。運動データは、利用者４１の各身体部位の三次元空間における座標及び各身体部位の移動量である。例えば、利用者４１は、予め設定された設定時間間隔が経過するごとに、歌唱データ及び運動データを取得する。このとき、ＣＰＵ５１は、取得タイミングではないと判定した場合には（ステップＳ２９：ＮＯ）、ステップＳ３２に進む。一方、ＣＰＵ５１は、取得タイミングであると判定した場合には（ステップＳ２９：ＹＥＳ）、ステップＳ３０に進む。
【００８２】
ステップＳ３０において、ＣＰＵ５１は、利用者４１の歌唱データを取得する。具体的に、ＣＰＵ５１は、マイク６８から入力された音声信号を分析して、歌唱音声の音高値及び音量を取得する。そして、ＣＰＵ５１は、取得した音高値及び音量を、楽曲の再生開始時刻からの経過時間と対応付けてＲＡＭ５３に記憶させる。次いで、ＣＰＵ５１は、利用者４１の運動データを取得する（ステップＳ３１）。具体的に、ＣＰＵ５１は、各加速度センサＡＳから送信されてくる加速度情報をセンサ情報受信部６９を介して取得する。次いで、ＣＰＵ５１は、取得した加速度情報と、設定時間間隔前に取得した利用者４１の各身体部位の座標とに基づいて、現在の利用者４１の各身体部位の座標及び移動量を計算する。そして、ＣＰＵ５１は、計算した座標及び移動量を、パート情報に含まれるモーションＩＤと、演奏パートの再生開始時刻からの経過時間と対応付けてＲＡＭ５３に記憶させる。利用者４１の各身体部位の座標は、本発明における第２動作情報の一例である。
【００８３】
次いで、ＣＰＵ５１は、レッスン更新処理を実行する（ステップＳ３２）。レッスン更新処理において、ＣＰＵ５１は、レッスン情報を更新するタイミングであるとき、利用者４１の運動レベルを改めて決定する。そして、ＣＰＵ５１は、新しい運動レベルに基づいて、レッスン情報を更新する。レッスン情報を更新するタイミングは、例えば、演奏パートが切り替わるタイミングである。レッスン更新処理の詳細については、後述する。
【００８４】
次いで、ＣＰＵ５１は、運動コンテンツの再生が終了したか否かを判定する（ステップＳ３３）。例えば、ＣＰＵ５１は、ミュージックシーケンサから、楽曲データの終端が検出されたことを示すイベントが出力された場合には、運動コンテンツの再生が終了したと判定する。このとき、ＣＰＵ５１は、運動コンテンツの再生が終了していないと判定した場合には（ステップＳ３３：ＮＯ）、ステップＳ２２に進む。一方、ＣＰＵ５１は、運動コンテンツの再生が終了したと判定した場合には（ステップＳ３３：ＹＥＳ）、レッスン実行処理を終了させる。
【００８５】
図５（Ｂ）は、出力端末５のＣＰＵ５１のレッスン更新処理の処理例を示すフローチャートである。図５（Ｂ）に示すように、ＣＰＵ５１は、レッスン情報の更新タイミングであるか否かを判定する（ステップＳ４１）。例えば、ＣＰＵ５１は、ミュージックシーケンサから演奏パート開始イベントが出力されたとき、レッスン情報の更新タイミングであると判定してもよい。このとき、ＣＰＵ５１は、更新タイミングではないと判定した場合には（ステップＳ４１：ＮＯ）、レッスン更新処理を終了させる。一方、ＣＰＵ５１は、更新タイミングであると判定した場合には（ステップＳ４１：ＹＥＳ）、ステップＳ４２に進む。
【００８６】
ステップＳ４２において、ＣＰＵ５１は、演奏パートの切り替わりによって出力が終了した演奏パートに割り当てられた運度動作の評価値を算出する。具体的に、ＣＰＵ５１は、出力が終了した演奏パートのパート情報から、モーションＩＤを取得する。次いで、ＣＰＵ５１は、モーションＩＤに対応する利用者４１の各身体部位の座標と、モーションＩＤに対応する教師座標データに登録されている各身体部位の座標との差を、経過時間ごとに計算する。これにより、ＣＰＵ５１は、利用者４１の各身体部位の座標と、教師座標データに登録されている各身体部位の座標とを比較する。次いで、ＣＰＵ５１は、座標の差が、ＨＤＤ７に予め記憶された運動閾値以下であるか否かを判定する。そして、ＣＰＵ５１は、差が運動閾値以下である利用者４１の身体部位の座標の数をカウントする。次いで、ＣＰＵ５１は、差が運動閾値以下である座標の数を、利用者４１の身体部位の座標の総数で割ることにより、差が運動閾値以下である座標の割合を計算する。そして、ＣＰＵ５１は、計算した割合に１００を掛けて、評価値を計算する。次いで、ＣＰＵ５１は、計算した評価値に基づいて、運動レベルを決定する（ステップＳ４３）。例えば、ＣＰＵ５１は、評価値が高いほど、運動レベルを高くする。
【００８７】
次いで、ＣＰＵ５１は、運動レッスンの設定値を再取得する（ステップＳ４４）。具体的に、ＣＰＵ５１は、レッスン設定表から、レッスン生成処理で取得した運動負荷及びステップＳ４３で決定した運動レベルから、コンテンツタイプを生成する。そして、ＣＰＵ５１は、レッスン設定表から、コンテンツタイプに対応する運動負荷、ナレーション文章有無、ナレーション音声有無、歌詞有無、ガイドボーカル有無、基本効果音有無、追加効果音有無を取得する。
【００８８】
次いで、ＣＰＵ５１は、レッスン情報を更新する（ステップＳ４５）。具体的に、ＣＰＵ５１は、ミュージックシーケンサから出力された演奏パート開始イベントから、パートＩＤ及びパート種別を取得する。次いで、ＣＰＵ５１は、パート情報を生成して、レッスン情報に追加する。パート情報の生成方法は、レッスン生成処理のステップＳ１５と同様である。次いで、ＣＰＵ５１は、次の演奏パートの再生開始時刻としてＲＡＭ５３に記憶させる。ＣＰＵ５１は、ステップＳ４５の処理を終えると、レッスン更新処理を終了させる。レッスン実行処理において、ＣＰＵ５１は、新しく追加されたパート情報及び次の演奏パートの再生開始時刻に基づいて、ステップＳ２２〜３１を実行する。
【００８９】
図５（Ｃ）は、出力端末５のＣＰＵ５１のレッスン評価処理の処理例を示すフローチャートである。図５（Ｃ）に示すように、ＣＰＵ５１は、歌唱の評価値を算出する（ステップＳ５１）。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶された利用者４１の歌唱音声の音高値と、レッスン情報に含まれる楽曲ＩＤに対応する教師音高データに登録されている音高値との差を、経過時間ごとに計算する。次いで、ＣＰＵ５１は、音高値の差が、ＨＤＤ７に予め記憶された歌唱閾値以下であるか否かを判定する。そして、ＣＰＵ５１は、差が歌唱閾値以下である利用者４１の音高値の数をカウントする。次いで、ＣＰＵ５１は、差が歌唱閾値以下である音高値の数を、利用者４１の音高値の総数で割ることにより、差が歌唱閾値以下である音高値の割合を計算する。そして、ＣＰＵ５１は、計算した割合に１００を掛けて、評価値を計算する。
【００９０】
次いで、ＣＰＵ５１は、運動の評価値を算出する（ステップＳ５２）。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶された利用者４１の各身体部位の座標と、教師座標データに登録されている各身体部位の座標との差を、経過時間ごとに計算する。このとき、ＣＰＵ５１は、利用者４１の身体部位の座標に対応付けられているモーションＩＤと同一のモーションＩＤに対応する教師音高データを用いる。次いで、ＣＰＵ５１は、座標の差が、ＨＤＤ７に予め記憶された運動閾値以下であるか否かを判定する。そして、ＣＰＵ５１は、差が運動閾値以下である利用者４１の身体部位の座標の数をカウントする。次いで、ＣＰＵ５１は、の差が運動閾値以下である座標の数を、利用者４１の身体部位の座標の総数で割ることにより、差が運動閾値以下である座標の割合を計算する。そして、ＣＰＵ５１は、計算した割合に１００を掛けて、評価値を計算する。
【００９１】
次いで、ＣＰＵ５１は、歌唱による消費カロリーを計算する（ステップＳ５３）。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶された利用者４１の歌唱音声の音量ごとに、音量に対応するカロリーを決定する。このとき、ＣＰＵ５１は、音量が大きいほど、カロリーを高くする。そして、ＣＰＵ５１は、計算したカロリーの合計値を、歌唱による消費カロリーとして計算する。
【００９２】
次いで、ＣＰＵ５１は、運動による消費カロリーを計算する（ステップＳ５４）。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶された利用者４１の各身体部位の移動量ごとに、移動量に対応するカロリーを決定する。このとき、ＣＰＵ５１は、移動量が大きいほど、カロリーを高くする。そして、ＣＰＵ５１は、計算したカロリーの合計値を、運動による消費カロリーとして計算する。
【００９３】
次いで、ＣＰＵ５１は、ステップＳ５１〜Ｓ５４で算出した評価値及び消費カロリーをディスプレイ６７に表示させる（ステップＳ５５）。ＣＰＵ５１は、ステップＳ５５の処理を終えると、レッスン評価処理を終了させる。
【００９４】
以上説明したように、本実施形態によれば、ＣＰＵ５１が、利用者４１の運動レベルを決定する。次いで、ＣＰＵ５１が、運動レベルが初級である場合、ナレーション文章を表示させること、及び、ナレーション音声を出力させることの少なくとも何れかを行う。また、ＣＰＵ５１が、運動レベルが中級である場合、歌詞のテロップを表示させること、及び、ガイドボーカルを出力させることの少なくとも何れかを行う。また、ＣＰＵ５１が、運動レベルが上級である場合、歌詞のテロップを表示させること、及び、ガイドボーカルを出力させることの少なくとも何れかを行い、且つ、効果音を出力させる。そのため、利用者４１の運動レベルに応じて、利用者４１が楽しみながら運動及び歌唱を行うことができるように演出することができる。
【００９５】
なお、本実施形態においては、出力端末５は、運動レッスンにおいて、１つの演奏パートの出力が終了するごとに運動レベルを決定していた。つまり、出力端末５は、運動レッスン中に運動レベルを動的に変化させていた。しかしながら、出力端末５は、例えば、運動レッスン中は、運動レベルを変化させなくてもよい。具体的に、図４（Ｂ）に示すレッスン生成処理のステップＳ１３において、出力端末５は、運動レッスンの最初から最後まで通して適用される運動レベルを決定する。例えば、出力端末５は、利用者４１の過去の運動の評価値に基づいて、運動レベルを決定してもよい。また、出力端末５は、例えば、利用者４１に運動レベルを選択させてもよい。次いで、出力端末５は、決定した運動レベルに対応する設定値を取得し（ステップＳ１４）、取得した設定値に基づいてレッスン情報を生成する（ステップＳ１５）。このとき、出力端末５は、楽曲を構成する全ての演奏パートのパート情報を含むレッスン情報を生成する。つまり、出力端末５は、楽曲を構成する全ての演奏パートに対して、ステップＳ１３で決定した運動レベルにより、運動コンテンツの内容を決定する。図５（Ａ）に示すレッスン実行処理において、出力端末５は、ステップＳ３２のレッスン更新処理を実行しない。レッスン実行処理において、出力端末５は、演奏パートが切り替わるごとに、レッスン情報から次の演奏順の演奏パートのパート情報を取得する。そして、出力端末５は、取得したパート情報に基づいて、運動コンテンツの出力を制御する。
【００９６】
また、上記実施形態においては、本発明の情報処理装置が出力端末５に適用されていた。しかしながら、本発明の情報処理装置が配信サーバ２に適用されてもよい。例えば、配信サーバ２が、利用者４１の運動レベルを決定して、レッスン情報を生成してもよい。そして、配信サーバ２は、レッスン情報に基づいて、音声データ及び動画データを生成してもよい。この場合の音声データは、楽曲、ガイドボーカル、ナレーション音声、効果音を出力するためのデータである。また、動画データは、運動映像、歌詞及びナレーション文章を表示するためのデータである。運動レッスンが行われるとき、配信サーバ２は、音声データ及び動画データを、例えばストリーミング方式で出力端末５に送信する。これにより、配信サーバ２は、出力端末５により楽曲を出力させ、且つ、運動映像を表示させる。また、本発明の情報処理装置が出力端末５及び配信サーバ２に適用されてもよい。そして、出力端末５及び配信サーバ２は協働して処理を行ってもよい。
【符号の説明】
【００９７】
１  運動コンテンツ生成システム
２  配信サーバ
３  データベース
５  出力端末
７  ＨＤＤ
５１  ＣＰＵ
５６  表示制御部
６３  音声出力部
【図１】
2014200338.tif 000003
【図２】
2014200338.tif 000004
【図３】
2014200338.tif 000005
【図４】
2014200338.tif 000006
【図５】
2014200338.tif 000007