(57)【要約】【課題】運動重視のレッスンであるか、楽曲重視のレッスンであるかに応じて、映像による仮想物の表現を自動的に変える。【解決手段】三次元仮想空間に配置される仮想物を用いた、運動動作を行う映像の表示及び楽曲の出力に応じて行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定手段と、判定手段により運動レッスンが第１運動レッスンであると判定された場合、仮想物による運動動作を第１の仮想カメラで写した映像と、第１の仮想カメラで写した運動動作と同一の運動動作を第１の仮想カメラの位置とは異なる位置に配置された第２の仮想カメラで写した映像とを、所定の表示手段に表示させる第１制御手段と、判定手段により運動レッスンが第２運動レッスンであると判定された場合、同一の運動動作を行う複数の仮想物を第１の仮想カメラで写した映像を表示手段に表示させる第２制御手段と、を備える。【選択図】図３
2014046019.tif 000002
【特許請求の範囲】
【請求項１】
三次元仮想空間に配置される仮想物を用いた、運動動作を行う映像の表示及び楽曲の出力に応じて行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定手段と、
前記判定手段により前記運動レッスンが前記第１運動レッスンであると判定された場合、前記仮想物による運動動作を第１の仮想カメラで写した映像と、前記第１の仮想カメラで写した運動動作と同一の運動動作を前記第１の仮想カメラの位置とは異なる位置に配置された第２の仮想カメラで写した映像とを、所定の表示手段に表示させる第１制御手段と、
前記判定手段により前記運動レッスンが第２運動レッスンであると判定された場合、同一の運動動作を行う複数の前記仮想物を前記第１の仮想カメラで写した映像を前記表示手段に表示させる第２制御手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記第２制御手段は、楽曲を構成する複数の演奏パートの中でサビ部分が出力されるとき、同一の運動動作を行う複数の前記仮想物を前記第１の仮想カメラで写した映像を表示させ、前記サビ部分とは異なる演奏パートが出力されるとき、前記複数の仮想物として、所定の運動負荷が身体にかかる運動動作を行う前記仮想物と、前記所定の運動負荷よりも小さい負荷が身体にかかる運動動作を行う前記仮想物とを、前記第１の仮想カメラで写した映像を表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２制御手段は、楽曲を構成する複数の演奏パートの中でサビ部分が出力されるとき、前記サビ部分とは異なる演奏パートが出力されるときよりも前記表示手段に表示される前記仮想物の数を多くすることを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記第２制御手段は、楽曲を構成する演奏パートの中でサビ部分が出力されるときに前記表示手段に表示される前記仮想物の数を、前記サビ部分が出力されるごとに増加させることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記第２運動レッスンにおいて楽曲を構成する演奏パートの中でサビ部分とは異なる演奏パートが出力されるときの前記第１の仮想カメラの位置の変更を許可する許可手段を更に備え、
前記第２制御手段は、前記第１の仮想カメラの位置に応じて少なくとも２つの前記仮想物の表示位置が重なる場合、少なくとも１つの前記仮想物の位置を、前記第１の仮想カメラの位置に応じた位置に変更することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記判定手段は、前記運動レッスンが、運動が動作されるテンポに従って楽曲が出力される前記第１運動レッスンと、楽曲のオリジナルのテンポに従って前記楽曲が出力される前記第２運動レッスンとの何れであるかを判定することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
情報処理装置により実行される情報処理方法であって、
三次元仮想空間に配置される仮想物を用いた、運動動作を行う映像の表示及び楽曲の出力に応じて行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定ステップと、
前記判定手段により前記運動レッスンが前記第１運動レッスンであると判定された場合、前記仮想物による運動動作を第１の仮想カメラで写した映像と、前記第１の仮想カメラで写した運動動作と同一の運動動作を前記第１の仮想カメラの位置とは異なる位置に配置された第２の仮想カメラで写した映像とを、所定の表示手段に表示させる第１制御ステップと、
前記判定ステップにより前記運動レッスンが第２運動レッスンであると判定された場合、同一の運動動作を行う複数の前記仮想物を前記第１の仮想カメラで写した映像を前記表示手段に表示させる第２制御ステップと、
を含むことを特徴とする情報処理方法。
【請求項８】
情報処理装置に含まれるコンピュータに、
三次元仮想空間に配置される仮想物を用いた、運動動作を行う映像の表示及び楽曲の出力に応じて行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定ステップと、
前記判定手段により前記運動レッスンが前記第１運動レッスンであると判定された場合、前記仮想物による運動動作を第１の仮想カメラで写した映像と、前記第１の仮想カメラで写した運動動作と同一の運動動作を前記第１の仮想カメラの位置とは異なる位置に配置された第２の仮想カメラで写した映像とを、所定の表示手段に表示させる第１制御ステップと、
前記判定ステップにより前記運動レッスンが第２運動レッスンであると判定された場合、同一の運動動作を行う複数の前記仮想物を前記第１の仮想カメラで写した映像を前記表示手段に表示させる第２制御ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが楽曲を聴きながら行う運動を支援するためのコンテンツとして、三次元仮想空間に配置される仮想物が運動動作を行う運動映像を生成する技術分野に関する。
【背景技術】
【０００２】
例えば、特許文献１には、ユーザにより決定された複数の運動動作に対応する楽曲を、運動動作に合わせて決定することで、運動コンテンツを生成する技術が開示されている。一方、特許文献２には、楽曲の構成要素に対応する運動動作を、楽曲の構成要素に合わせて決定することで、運動コンテンツを生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−４５４７７号公報
【特許文献２】特開２０１２−６５９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
生成された運動コンテンツは、例えば、映像としてディスプレイに表示されたり、楽曲としてスピーカから出力されたりする。ユーザは、出力される運動コンテンツに合わせて運動動作することにより、複数の運動動作を組み合わせた運動レッスンを行うことができる。運動レッスンとして、例えば、複数の運動動作に対応する楽曲を、運動動作に合わせて決定する運動レッスンが考えられる。この運動レッスンは、楽曲よりも運動を重視した運動レッスンであると考えられる。ユーザが運動を重視する場合、運動の詳細な動きを映像で見ながら運動を行いたいという要望がある。一方、運動レッスンとして、例えば、楽曲の構成要素に対応する運動動作を、楽曲の構成要素に合わせて決定する運動レッスンが考えられる。この運動レッスンは、運動よりも楽曲を重視した運動レッスンであると考えられる。ユーザが楽曲を重視する場合、運動の詳細な動きを見るよりも、楽曲に合わせて運動を楽しみたいという要望がある。しかしながら、従来の技術では、運動重視のレッスンであるか、楽曲重視のレッスンであるかに応じて、映像による仮想物の表現を自動的に変えることはできなかった。
【０００５】
本発明は、以上の点に鑑みてなされたものであり、運動重視のレッスンであるか、楽曲重視のレッスンであるかに応じて、映像による仮想物の表現を自動的に変えることができる情報処理装置、情報処理方法及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、三次元仮想空間に配置される仮想物を用いた、運動動作を行う映像の表示及び楽曲の出力に応じて行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定手段と、前記判定手段により前記運動レッスンが前記第１運動レッスンであると判定された場合、前記仮想物による運動動作を第１の仮想カメラで写した映像と、前記第１の仮想カメラで写した運動動作と同一の運動動作を前記第１の仮想カメラの位置とは異なる位置に配置された第２の仮想カメラで写した映像とを、所定の表示手段に表示させる第１制御手段と、前記判定手段により前記運動レッスンが第２運動レッスンであると判定された場合、同一の運動動作を行う複数の前記仮想物を前記第１の仮想カメラで写した映像を前記表示手段に表示させる第２制御手段と、を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、前記第２制御手段は、楽曲を構成する複数の演奏パートの中でサビ部分が出力されるとき、同一の運動動作を行う複数の前記仮想物を前記第１の仮想カメラで写した映像を表示させ、前記サビ部分とは異なる演奏パートが出力されるとき、前記複数の仮想物として、所定の運動負荷が身体にかかる運動動作を行う前記仮想物と、前記所定の運動負荷よりも小さい負荷が身体にかかる運動動作を行う前記仮想物とを、前記第１の仮想カメラで写した映像を表示させることを特徴とする。
【０００８】
請求項３に記載の発明は、前記第２制御手段は、楽曲を構成する複数の演奏パートの中でサビ部分が出力されるとき、前記サビ部分とは異なる演奏パートが出力されるときよりも前記表示手段に表示される前記仮想物の数を多くすることを特徴とする。
【０００９】
請求項４に記載の発明は、前記第２制御手段は、楽曲を構成する演奏パートの中でサビ部分が出力されるときに前記表示手段に表示される前記仮想物の数を、前記サビ部分が出力されるごとに増加させることを特徴とする。
【００１０】
請求項５に記載の発明は、前記第２運動レッスンにおいて楽曲を構成する演奏パートの中でサビ部分とは異なる演奏パートが出力されるときの前記第１の仮想カメラの位置の変更を許可する許可手段を更に備え、前記第２制御手段は、前記第１の仮想カメラの位置に応じて少なくとも２つの前記仮想物の表示位置が重なる場合、少なくとも１つの前記仮想物の位置を、前記第１の仮想カメラの位置に応じた位置に変更することを特徴とする。
【００１１】
請求項６に記載の発明は、前記判定手段は、前記運動レッスンが、ユーザの運動動作に適したテンポに従って楽曲が出力される前記第１運動レッスンと、楽曲のオリジナルのテンポに従って前記楽曲が出力される前記第２運動レッスンとの何れであるかを判定することを特徴とする。
【００１２】
請求項７に記載の発明は、情報処理装置により実行される情報処理方法であって、三次元仮想空間に配置される仮想物を用いた、運動動作を行う映像の表示及び楽曲の出力に応じて行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定ステップと、前記判定手段により前記運動レッスンが前記第１運動レッスンであると判定された場合、前記仮想物による運動動作を第１の仮想カメラで写した映像と、前記第１の仮想カメラで写した運動動作と同一の運動動作を前記第１の仮想カメラの位置とは異なる位置に配置された第２の仮想カメラで写した映像とを、所定の表示手段に表示させる第１制御ステップと、前記判定ステップにより前記運動レッスンが第２運動レッスンであると判定された場合、同一の運動動作を行う複数の前記仮想物を前記第１の仮想カメラで写した映像を前記表示手段に表示させる第２制御ステップと、を含むことを特徴とする。
【００１３】
請求項８に記載の発明は、情報処理装置に含まれるコンピュータに、三次元仮想空間に配置される仮想物を用いた、運動動作を行う映像の表示及び楽曲の出力に応じて行われる運動レッスンが、楽曲よりも運動が重視される第１運動レッスンと、運動よりも楽曲が重視される第２運動レッスンとの何れであるかを判定する判定ステップと、前記判定手段により前記運動レッスンが前記第１運動レッスンであると判定された場合、前記仮想物による運動動作を第１の仮想カメラで写した映像と、前記第１の仮想カメラで写した運動動作と同一の運動動作を前記第１の仮想カメラの位置とは異なる位置に配置された第２の仮想カメラで写した映像とを、所定の表示手段に表示させる第１制御ステップと、前記判定ステップにより前記運動レッスンが第２運動レッスンであると判定された場合、同一の運動動作を行う複数の前記仮想物を前記第１の仮想カメラで写した映像を前記表示手段に表示させる第２制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００１４】
請求項１、７又は８に記載の発明によれば、運動重視の運動レッスンでは、仮想物による同一の運動動作を様々な視点から見た映像が表示される。そのため、ユーザは、運動動作を詳細に見ることができる。一方、楽曲重視の運動レッスンでは、同一の運動動作を行う複数の仮想物の映像が表示される。ユーザが同一の運動動作を行う複数の仮想物を見ることにより、ユーザの気分が高揚することが期待される。そのため、ユーザは、楽曲に合わせて運動を楽しむことができる。このように、運動重視のレッスンであるか、楽曲重視のレッスンであるかに応じて、映像による仮想物の表現を自動的に変えることができる。
【００１５】
請求項２に記載の発明によれば、楽曲の中でも盛り上がるサビ部分では、同一の運動動作を行う複数の仮想物の映像が表示されるので、楽曲の盛り上がりとともにユーザの気分を高揚させることができる。サビ部分と異なる演奏パートのうち少なくとも一部の演奏パートでは、行われる運動動作の運動負荷が異なる複数の仮想物が表示される。そのため、ユーザは、複数の仮想物のうち、自分の運動技能に応じた運動動作を行う仮想物の映像を見ながら運動を行うことができる。
【００１６】
請求項３に記載の発明によれば、楽曲の中でも盛り上がるサビ部分で、運動動作を行う仮想物の数が多くなるので、ユーザの気分をより盛り上げることができる。
【００１７】
請求項４に記載の発明によれば、楽曲が終わりに近づくほど、ユーザの気分を高揚させることができる。
【００１８】
請求項５に記載の発明によれば、サビ部分と異なる演奏パートでは、仮想カメラの位置を変更可能とすることで、様々な視点からの映像を表示することができる。そのため、ユーザは、運動動作を詳細に見ることができる。仮想カメラの位置が変更されることによって、仮想物の表示位置が重なる場合がある。その場合であっても、仮想カメラの位置に応じて、仮想物の位置が変更される。そのため、仮想物の表示位置が重ならないようにすることができる。
【図面の簡単な説明】
【００１９】
【図１】一実施形態の運動支援システム１の概要構成例を示す図である。
【図２】三次元仮想空間９０の様子の一例を示す図である。
【図３】（Ａ１）乃至（Ａ３）は、運動重視レッスンの運動映像の一例を示す図であり、（Ｂ１）乃至（Ｂ３）は、楽曲重視レッスンの運動映像の一例を示す図である。
【図４】（Ａ）は、モーションデータの一例を示す図であり、（Ｂ）は、視点情報の構成例を示す図であり、（Ｃ）は、運動重視レッスンの運動レッスン情報の構成例を示す図であり、（Ｄ）は、楽曲重視レッスンの運動レッスン情報の構成例を示す図である。
【図５】出力端末５のＣＰＵ５１の運動映像出力制御処理である。
【図６】出力端末５のＣＰＵ５１の運動映像出力制御処理である。
【図７】出力端末５のＣＰＵ５１の運動映像出力制御処理である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施の形態は、運動を支援するための運動コンテンツを自動で生成する運動支援システムに本発明を適用した場合の実施形態である。運動コンテンツは、運動を支援するための映像及び音声を含む。
【００２１】
［１．運動支援システム１の構成］
始めに、図１を参照して、本実施形態の運動支援システム１の構成について説明する。図１は、本実施形態の運動支援システム１の概要構成例を示す図である。図１に示すように、運動支援システム１は、配信サーバ２と１つ以上の出力端末５とを含んで構成されている。配信サーバ２と出力端末５とは、ネットワーク１０を介して接続可能になっている。ネットワーク１０は、例えば、インターネットを含む。配信サーバ２には、データベース３が接続されている。データベース３には、運動に関する情報や楽曲に関する情報が登録されている。配信サーバ２は、データベース３に登録されている情報等を、定期的に又は出力端末５からの要求に応じて出力端末５に配信する。
【００２２】
出力端末５は、例えば、施設４に設置される端末装置である。出力端末５は、本発明の情報処理装置の一例である。出力端末５は、例えばパーソナルコンピュータであってもよい。施設４は、例えば、スポーツ施設である。出力端末５は、施設４の利用者４１により利用される。また、出力端末５は、モニタ５７と接続可能である。モニタ５７は、複数のスピーカ６４とディスプレイ６７とを備える表示装置であっても良い。この場合、出力端末５は、ディスプレイ６７と接続可能である。また、出力端末５は、スピーカ６４と接続可能である。ディスプレイ６７は、本発明の表示手段の一例である。出力端末５がモニタ５７へ音声信号を出力することにより、スピーカ６４により楽曲やインストラクターの音声等が出力される。出力端末５がモニタ５７へ映像信号を出力することにより、ディスプレイ６７に運動映像等が表示される。運動映像は、運動動作を行うフィギュア８３を映し出した映像である。フィギュア８３は、例えば、人、動物、仮想上の生き物、ロボット等のかたちをした仮想物である。出力端末５は、スピーカ６４から出力される楽曲と、ディスプレイ６７に表示されるフィギュア８３の動きとが同期するように、信号を出力する。１人以上の利用者４１は、スピーカ６４により出力される楽曲を聴きながら、ディスプレイ６７に表示されるフィギュア８３を見て、運動を行うことができる。操作者４２は、リモコン６６等を用いて出力端末５を操作することができる。操作者４２は、例えば、インストラクターである。
【００２３】
［２．運動レッスン］
利用者４１は、出力端末５を利用して運動を行うとき、運動レッスンの選択を行う。運動レッスンは、１つ以上の運動動作から構成されるレッスンである。ディスプレイ６７には、選択された運動レッスンに従った順序で運動動作を行うフィギュア８３が表示される。利用者４１により選択可能な運動レッスンの種類として、運動重視レッスンと楽曲重視レッスンとがある。運動重視レッスンは、本発明の第１運動レッスンの一例である。楽曲重視レッスンは、本発明の第２運動レッスンの一例である。
【００２４】
［２−１．運動重視レッスン］
運動重視レッスンは、楽曲よりも運動が重視される運動レッスンである。運動重視レッスンは、利用者４１の身体の訓練を主目的とする。運動重視レッスンにおいては、運動が動作されるテンポに従って楽曲が出力される。運動重視レッスンの内容を決定する場合、例えば、楽曲よりも先に運動動作が選択される。例えば、利用者４１又は操作者４２が、所望する運動動作を選択する。そして、例えば、選択された運動動作又は選択された運動動作の運動テンポに応じて楽曲が選択される。運動テンポは、利用者４１が運動動作を行う速度を表す。例えば、利用者４１が運動動作ごとに運動テンポを設定する。運動重視レッスンでは、運動テンポに従った再生速度でスピーカ６４により楽曲が出力される。また、運動テンポに従った速度で運動動作を行うフィギュア８３の運動映像がディスプレイ６７に表示される。そのため、利用者４１は運動テンポに従って運動を行う。利用者４１の運動動作に適した運動テンポが設定されることで、利用者４１は、効果的な運動を行うことができる。また、運動重視レッスンでは、楽曲を構成する複数の演奏パートのうち、一部の演奏パートのみが繰り返し出力される。例えば、楽曲のサビ部分が繰り返し出力されたり、イントロ部分とサビ部分とが繰り返し出力されたりする。
【００２５】
運動重視レッスンにおいて選択可能な運動動作は、例えば、体操の動作である。体操は、例えば、健康の増進、体力の増強、筋力の強化等のために行われる運動である。体操の種類として、例えば、有酸素運動、無酸素運動、ストレッチ等がある。有酸素運動の運動動作として、例えば、マーチ、フロントランジ等がある。無酸素運動の運動動作として、例えば、ショルダープレス、チェストプレス等がある。ストレッチの運動動作として、例えば、上腕部ストレッチ、首ストレッチ等がある。
【００２６】
［２−２．楽曲重視レッスン］
楽曲重視レッスンは、運動よりも楽曲が重視される運動レッスンである。楽曲重視レッスンにおいても、利用者４１の身体を訓練することができる。しかしながら、利用者４１が運動を楽しむことの方が重視される。楽曲重視レッスンにおいては、楽曲のオリジナルのテンポに従って楽曲が出力される。楽曲重視レッスンの内容を決定する場合、例えば、運動動作よりも先に楽曲が選択される。例えば、利用者４１又は操作者４２が、所望する楽曲を選択する。例えば、利用者４１又は操作者４２が、所望する運動動作を選択する。そして、選択された楽曲の演奏パートごとに運動動作が選択される。楽曲重視レッスンでは、楽曲に適したテンポに従った再生速度でスピーカ６４により楽曲が出力される。楽曲に適したテンポは、例えば、楽曲のオリジナルのテンポである。また、楽曲に適したテンポに従った速度で運動動作を行うフィギュア８３の運動映像がディスプレイ６７に表示される。また、楽曲重視レッスンにおいては、楽曲の構成に従ったパートの順で、楽曲が出力される。例えば、イントロ、Ａメロ、Ｂメロ、サビ、Ａメロ、Ｂメロ、サビ、間奏、サビ、エンディング等の順で、楽曲が出力される。利用者４１は、楽曲に適したテンポで楽曲の構成に従って出力される楽曲を聴きながら運動を行うことで、楽曲を楽しむことができる。楽曲を楽しむことは、運動を楽しむことに繋がる。なお、イントロとエンディングは出力されなくてもよい。
【００２７】
楽曲重視レッスンにおいて選択可能な運動動作として、体操の動作と、楽曲に対応する踊りの動作とがある。踊りの動作は、楽曲に合わせて踊るために楽曲に対して振り付けられた動作である。例えば、楽曲のサビ部分では踊りの動作が選択され、サビ部分と異なる演奏パートでは、体操の動作が選択される。楽曲のサビ部分以外の演奏パートについても、踊りの動作が選択されても良い。楽曲に応じた踊りを踊ることにより、利用者４１は、運動を楽しむことができる。また、楽曲のサビ部分でサビ部分に対応する踊りを利用者４１が踊ることで、利用者４１の気分を盛り上げることができる。
【００２８】
［３．三次元仮想空間］
次に、図２を参照して、運動映像を生成するために用いられる三次元仮想空間９０を説明する。運動支援システム１においては、３ＤＣＧ（3 Dimensional Computer Graphics）により、出力端末５が、三次元仮想空間９０に配置されたフィギュア８３が運動動作を行う運動映像を生成する。図２は、三次元仮想空間９０の様子の一例を示す図である。図２に示すように、三次元仮想空間９０には、１体以上のフィギュア８３が配置される。また、三次元仮想空間９０には、１台以上の仮想カメラが配置される。仮想カメラは、三次元仮想空間９０内の映像を撮影する。仮想カメラは、三次元仮想空間９０内の物体を投影面に写すための視点及び視線の方向を表す。投影面に映った映像が、運動映像になる。仮想カメラの位置は視点に対応する。仮想カメラは、通常、フィギュア８３に向けられている。
【００２９】
仮想カメラの位置は変更可能である。例えば、リモコン６６の操作により、仮想カメラの位置を、図２のＬ１〜Ｌ１７のいずれかに変更することができる。また、運動動作に応じて仮想カメラの位置Ｌ１〜Ｌ１７のいずれかが決定されてもよい。仮想カメラが配置可能な位置は、例えば、予め定められていてもよい。視点Ｌ１〜Ｌ１７は、仮想カメラが配置可能な位置を示す。視点Ｌ１は、フィギュア８３の正面に位置する。
【００３０】
仮想カメラとして、メインカメラ９１とサブカメラ９２とがある。メインカメラ９１は、常に配置されている仮想カメラである。メインカメラ９１のデフォルトの位置は、視点Ｌ１である。サブカメラ９２は、必要に応じて配置される仮想カメラである。図２の例では、サブカメラ９２は、メインカメラ９１が配置される視点Ｌ１を除いた視点Ｌ２〜Ｌ１７の何れかが設定される。なお、サブカメラ９２は複数台存在してもよい。メインカメラ９１は、本発明の第１の仮想カメラの一例である。サブカメラ９２は、本発明の第２の仮想カメラの一例である。
【００３１】
［４．運動映像］
次に、図３を参照して、運動映像の詳細を説明する。運動支援システム１においては、運動重視レッスンと楽曲重視レッスンとで、運動映像におけるフィギュア８３の表現が異なる。
【００３２】
［４−１．運動重視レッスン］
身体の訓練を主目的とする運動重視レッスンでは、利用者４１が運動動作を習得することが大切である。従って、利用者４１がフィギュア８３の運動動作を詳細に見たいという要望がある。１つの運動動作における一連の動作の中に、複雑な動作、覚えることが難しい動作、特に重要な動作等が存在する場合がある。運動重視レッスンにおいては、そのような動作が行われる間、ディスプレイ６７において、フィギュア８３が表示される領域が２つの領域に分割される。２つの領域には、互いに異なる視点から見た同一のフィギュア８３が運動動作を行う映像が表示される。利用者４１は、複数の視点から見たフィギュア８３を見ることができる。従って、利用者４１は、運動動作を詳細に見ることができるので、運動動作の習得を促進することができる。
【００３３】
図３（Ａ１）乃至図３（Ａ３）は、運動重視レッスンの運動映像の一例を示す図である。例えば、図３（Ａ１）は、１体のフィギュア８３が背中ストレッチを行っている運動映像である。この運動映像は、視点Ｌ１に配置されたメインカメラにより写された映像である。その後、背中ストレッチにおいて複雑な動作が始まると、図３（Ａ２）に示すように、画面の領域が領域９５と領域９６とに分割される。領域９５には、視点Ｌ１に配置されたメインカメラにより写された映像が表示される。領域９６には、例えば視点Ｌ３に配置されたサブカメラにより写された映像が表示される。何れの領域にも、フィギュア８３が表示される。その後、背中ストレッチの複雑な動作が終了すると、画面の領域の分割が終了する。そして、図３（Ａ３）に示すように、視点Ｌ１に配置されたメインカメラにより写された映像のみが表示される。
【００３４】
なお、これまで説明した例は、同一の三次元仮想空間に配置された同一のフィギュアを、異なる視点の仮想カメラから写した場合の例である。しかしながら、例えば、別々の三次元仮想空間に配置された別々のフィギュアが互いに同一の運動動作を行ってもよい。そして、別々の三次元仮想空間に配置された別々の仮想カメラによりそれぞれフィギュアを写した映像が、別々の領域に表示されてもよい。この場合、撮影対象とするフィギュアからの相対的な位置が互いに異なるように、それぞれの仮想カメラが配置されればよい。
【００３５】
［４−２．楽曲重視レッスン］
運動を楽しむ楽曲重視レッスンでは、同一の三次元仮想空間９０に複数体のフィギュア８３が配置される。そして、複数のフィギュア８３をメインカメラ９１で写した運動映像が表示される。そのため、利用者４１が同一空間にいる複数のフィギュア８３を見ることで、利用者４１の気分を高揚させることができる。これにより、利用者４１は運動を楽しむことができる。
【００３６】
楽曲重視レッスンにおいて、楽曲のサビ部分と異なる演奏パートでは、例えば、体操の動作が行われる。利用者４１は、体操の動作を行うときには、身体を訓練するために効果的な運動を行いたい。しかしながら、楽曲重視レッスンにおいては、利用者４１は楽曲のオリジナルのテンポに従って運動を行う。楽曲のテンポが利用者４１に適していない場合、利用者４１は効果的な運動を行うことができない場合があるかもしれない。そのため、運動動作が対応付けられた演奏パートが出力されるとき、ディスプレイ６７には、身体にかかる負荷が互いに異なる運動動作を行う複数のフィギュア８３が表示されても良い。利用者４１は、複数のフィギュア８３のうち利用者４１の運動技能に適した運動動作を行うフィギュア８３を見ながら運動することにより、効果的な運動を行うことができる。
【００３７】
図３（Ｂ１）乃至図３（Ｂ３）は、楽曲重視レッスンの運動映像の一例を示す図である。図３（Ｂ１）は、Ａメロ部分が出力されているときの運動映像である。図３（Ｂ１）に示すように、ディスプレイ６７には、フィギュア８３Ａとフィギュア８３Ｂとが表示される。フィギュア８３Ａは、一般運動動作を行うフィギュアである。フィギュア８３Ｂは、軽減運動動作を行うフィギュアである。一般運動動作と軽減運動動作とは、基本的な運動動作の内容は同じである。例えば、Ａメロ部分ではマーチを行うとする。この場合、フィギュア８３Ａが行う一般運動動作も、フィギュア８３Ｂが行う軽減運動動作も、マーチである。一般運動動作は、所定の負荷が身体にかかる運動動作である。一般運動動作は、運動重視レッスンの場合にフィギュア８３が行う運動動作である。これに対し、軽減運動動作は、一般運動動作よりも身体にかかる負荷が小さい運動動作である。従って、軽減運動動作は一般運動動作よりも簡単な運動動作である。例えば、図３（Ｂ１）に示すように、軽減運動動作は一般運動動作よりも手足の振り幅が小さい。図３（Ｂ２）は、Ｂメロ部分が出力されているときの運動映像である。この場合にも、一般運動動作を行うフィギュア８３Ａと軽減運動動作を行うフィギュア８３Ｂとが表示される。なお、身体にかかる負荷が互いに異なる運動動作を行う３体以上のフィギュア８３が表示されてもよい。また、一般運動動作を行うフィギュア８３と、一般運動動作よりも身体にかかる負荷が大きい運動動作を行うフィギュア８３とがディスプレイ６７に表示されてもよい。
【００３８】
サビ部分と異なる演奏パートが出力されているとき、出力端末５は、リモコン６６の操作によるメインカメラ９１の位置の変更を許可する。メインカメラ９１の位置によっては、運動映像において、フィギュア８３Ａとフィギュア８３Ｂとの表示位置が重なる場合がある。表示位置とは、ディスプレイ６７の画面におけるフィギュア８３の映像の位置である。表示位置が重なる場合、３ＤＣＧにおける隠面消去により、フィギュア８３Ａ又はフィギュア８３Ｂの何れかの映像の少なくとも一部がディスプレイ６７に表示されない。従って、フィギュア８３Ａ及びフィギュア８３Ｂのうち何れかの運動動作の少なくとも一部を利用者４１が見ることができない。そのために、利用者４１は、運動動作を詳細に見ることができないことがある。そこで、出力端末５は、メインカメラ９１の視点に対応する投影面上におけるフィギュア８３Ａの映像及びフィギュア８３Ｂの映像の少なくとも何れか一方の映像の位置を変更する。例えば、フィギュア８３Ａ及びフィギュア８３Ｂのそれぞれの重心となる位置のデフォルトのワールド座標が予め定められていてもよい。ワールド座標は、三次元仮想空間９０における位置を示す座標である。デフォルトのワールド座標で、例えば、メインカメラ９１の投影面にフィギュア８３Ａ及びフィギュア８３Ｂの映像が投影されたときに映像同士が重ならない場合、出力端末５は、投影面上における映像の位置を変更しない。一方、例えば、メインカメラ９１の投影面上における映像同士が重なる場合、出力端末５は、投影面上における映像の位置を変更する。例えば、視点Ｌ１〜Ｌ１７のそれぞれについて、投影面上におけるフィギュア８３Ａ及びフィギュア８３Ｂの映像の位置が予め決定されてもよい。例えば、三次元仮想空間内のフィギュア８３Ａの重心のワールド座標と、三次元仮想空間９０内のフィギュア８３Ｂの重心のワールド座標とを、メインカメラ９１が配置される視点に対応する投影面に投影することにより、ワールド座標を投影面上の座標に変換する。投影面上におけるフィギュア８３Ａの座標とフィギュア８３Ｂの座標との距離が所定の閾値以上となるように、投影面におけるフィギュア８３Ａ及びフィギュア８３Ｂの重心の座標が設定される。例えば、フィギュア８３Ａ及びフィギュア８３Ｂのあらゆる動作を想定して、投影面におけるフィギュア８３Ａの映像とフィギュア８３Ｂの映像とが重ならないように、閾値が定められる。
【００３９】
楽曲のサビ部分では、同一の運動動作を行う複数のフィギュア８３が表示される。複数のフィギュア８３が同一の運動動作を行うことにより、一体感が生まれる。一体感が生まれることにより、利用者４１の気分を高揚させることができる。そのため、利用者４１は運動を楽しむことができる。
【００４０】
図３（Ｂ３）は、サビ部分が出力されているときの運動映像である。図３（Ｂ３）に示すように、同一の運動動作を行う５体のフィギュア８３が表示されている。このように、サビ部分が出力されるときに表示されるフィギュア８３の数が、サビ部分と異なる演奏パートが出力されるときに表示されるフィギュア８３の数よりも多くてもよい。また、サビ部分が繰り返して出力されるごとに、フィギュア８３の数が増加してもよい。例えば、１回目のサビ部分が出力されるときに５体のフィギュア８３が表示され、２回目のサビ部分が出力されるときに７体のフィギュア８３が表示される。フィギュア８３の数の初期値及びサビ部分が出力されるごとにフィギュア８３増加する数は任意である。
【００４１】
なお、サビ部分と異なる演奏パートの出力からサビ部分の出力に切り替わるとき、出力端末５は、メインカメラ９１の位置を視点Ｌ１に戻してもよいし、戻さなくてもよい。また、出力端末５は、サビ部分が出力されているときに、メインカメラ９１の位置の変更を許可してもよい。また、出力端末５は、サビ部分が出力されているときに、少なくとも２体のフィギュア８３の表示位置が重なる場合、メインカメラ９１の位置に応じてフィギュア８３の位置を変更してもよいし変更しなくてもよい。
【００４２】
［５．各装置の構成］
次に、図１及び図４を参照して、運動支援システムに含まれる各装置の構成について説明する。
【００４３】
［５−１．配信サーバ２の構成］
図１に示すように、配信サーバ２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、バス２４、Ｉ／Ｏインタフェイス２５、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０及びＨＤＤ（ハードディスクドライブ）３７を備える。ＣＰＵ２１には、バス２４を介して、ＲＯＭ２２、ＲＡＭ２３、バス２４及びＩ／Ｏインタフェイス２５に接続されている。ＣＰＵ２１は、ＲＯＭ２２やＨＤＤ３７に記憶されプログラムを実行することにより、配信サーバ２の各部を制御する。Ｉ／Ｏインタフェイス２５には、データベース３、表示制御部２６、ディスクドライブ２８、ネットワーク通信部３０、キーボード３１、マウス３２及びＨＤＤ３７が接続されている。ＣＰＵ２１は、Ｉ／Ｏインタフェイス２５を介してデータベース３にアクセスする。表示制御部２６は、ＣＰＵ２１の制御に基づいて映像信号をモニタ２７に出力する。ディスクドライブ２８は、記録媒体２９に対するデータの書き込み及び読み出しを行う。ネットワーク通信部３０は、配信サーバ２がネットワーク１０に接続するための制御を行う。ＨＤＤ３７には、ＯＳや各種制御プログラム等が記憶されている。
【００４４】
データベース３には、モーションデータ、楽曲データ、視点情報、フィギュア位置情報等のデータが登録されている。図４（Ａ）は、モーションデータの一例を示す図である。モーションデータは、三次元仮想空間９０におけるフィギュア８３の運動動作を定義するデータである。モーションデータは、ディスプレイ６７にフィギュア８３の運動動作を表示させるためのデータである。モーションデータは、運動動作の進行に応じたフィギュア８３の身体の各部の座標を含む。モーションデータは、モーション情報と対応付けて登録される。モーション情報は、運動動作を示す識別情報である。図４（Ａ）に示すように、体操の動作のモーションデータとして、一般運動動作用のモーションデータと、軽減運動動作用のモーションデータとがある。体操の動作を示すモーション情報として、例えば、「ハーフ・スクワット」、「マーチ」等がある。踊りの動作を示すモーション情報として、例えば、「楽曲ＸのＡメロ」、「楽曲ＸのＢメロ」、「楽曲Ｘのサビ」、「楽曲ＹのＡメロ」等がある。踊りの動作のモーションデータは、楽曲の演奏パートごとに存在する。
【００４５】
楽曲データは、スピーカ６４により楽曲を出力するための演奏データである。楽曲データは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであってもよい。楽曲データは、楽曲ＩＤ、楽曲名、アーティスト名、オリジナルのテンポ、楽曲の演奏パートの構成、歌詞等の情報を含む。楽曲ＩＤは、楽曲の識別情報である。また、楽曲データは、演奏パートの切り替わりのタイミング、歌詞テロップの表示タイミング、歌詞テロップの色を変化させるタイミング等を規定する。例えば、楽曲データがＭＩＤＩ形式のデータである場合、楽曲データには、実際の演奏データとしてのＭＩＤＩメッセージに加えて、メタメッセージを含めることができる。メタメッセージとしては、例えば、演奏パートを示すマーカーメッセージ、歌詞メッセージ等がある。そのため、演奏パートを識別するパートＩＤや歌詞をメッセージとして楽曲データに記述することが可能である。例えば、出力端末５には、後述のミュージックシーケンサがインストールされている。出力端末５は、ミュージックシーケンサを実行することにより、楽曲データを再生するとともに、楽曲データからメタメッセージ等を読み出すと、読み出したメッセージを出力する。例えば、マーカーメッセージが出力されるタイミングが、そのマーカーメッセージが示す演奏パートが開始されるタイミングとなる。本実施形態においては、マーカーメッセージを、演奏パート開始メッセージという。演奏パート開始メッセージは、演奏パートの演奏開始を通知するメッセージである。また、例えば、歌詞メッセージが出力されるタイミングが、歌詞の表示タイミングとなる。
【００４６】
視点情報は、運動重視レッスンにおける仮想カメラの位置及び撮影角度を定める情報である。視点情報は、運動動作ごとに登録される。図４（Ｂ）は、視点情報の構成例を示す図である。図４（Ｂ）に示すように、視点情報は、対応する運動動作のモーション情報を含む。また、視点情報は、１つ以上の分割視点情報を含む。経過時間の範囲ごとに分割視点情報が設定される。各分割視点情報は、経過時間の範囲及び画面分割フラグを含む。経過時間とは、運動動作が開始されてから経過する時間である。視点情報に定義される経過時間は、例えば、運動テンポが６０ｂｐｍである場合の経過時間を示す。従って、運動テンポによって、実際の経過時間は長くなったり短くなったりする。例えば、運動テンポが６０ｂｐｍであるときの経過時間が１秒である場合、運動テンポが１２０ｂｐｍであるときの経過時間は０．５秒に変更される。画面分割フラグには、「なし」または「あり」が設定される。「なし」は、運動映像の画面が分割されないことを示し、「あり」は、運動映像の画面が２つの領域９５及び９６に分割されることを示す。画面分割フラグが「なし」に設定されている分割視点情報は、メインカメラ９１の位置情報を含む。画面分割フラグが「あり」に設定されている分割視点情報は、メインカメラ９１及びサブカメラ９２の位置情報を含む。位置情報は、例えば、視点Ｌ１〜Ｌ１７のうち何れかの視点の視点ＩＤである。視点ＩＤは、３Ｄ空間中の夫々の視点を識別可能な識別情報である。視点によって、仮想カメラの三次元仮想空間９０における位置及び撮影角度が予め定められている。撮影角度は、例えば、視点から仮想カメラが向けられる方向を示す。つまり、撮影角度は、三次元仮想空間９０内の物体を投影面に写すための視線の方向を示す。例えば、撮影角度は、ベクトルで表されてもよい。なお、メインカメラ９１の位置が常に視点Ｌ１で固定されている場合、視点情報は、メインカメラ９１の位置情報を含まなくてもよい。また、視点情報は、仮想カメラの位置情報として、座標及び撮影角度を含んでいてもよい。
【００４７】
フィギュア位置情報は、仮想カメラの三次元仮想空間９０における位置に応じたフィギュア８３の三次元仮想空間９０における位置を示す情報である。具体的に、フィギュア位置情報には、視点ごとに、視点ＩＤと、フィギュア８３Ａのワールド座標と、フィギュア８３Ｂのワールド座標とが対応付けて設定されている。
【００４８】
［５−２．出力端末５の構成］
図１に示すように、出力端末５は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、バス５４、Ｉ／Ｏインタフェイス５５、表示制御部５６、ディスクドライブ５８、ネットワーク通信部６０、音声出力部６３、信号受信部６５及びＨＤＤ７を備える。ＣＰＵ５１には、バス５４を介して、ＲＯＭ５２、ＲＡＭ５３、バス５４及びＩ／Ｏインタフェイス５５に接続されている。ＣＰＵ５１は、ＲＯＭ５２やＨＤＤ７に記憶されプログラムを実行することにより、出力端末５の各部を制御する。Ｉ／Ｏインタフェイス５５には、ＨＤＤ７、表示制御部５６、音声出力部６３、ディスクドライブ５８、ネットワーク通信部６０、キーボード６１、マウス６２、マイク６８、信号受信部６５が接続されている。表示制御部５６は、ＣＰＵ５１の制御に基づいて映像信号をモニタ５７に出力する。音声出力部６３は、ＣＰＵ５１の制御に基づいて音声信号をモニタ５７に出力する。ディスクドライブ５８は、記録媒体５９に対するデータの書き込み及び読み出しを行う。信号受信部６５は、リモコン６６から出力される信号を受信する。リモコン６６は、操作者４２が出力端末５を操作するためのものである。
【００４９】
ＨＤＤ７には、配信サーバ２から配信されたモーションデータ、楽曲データ、視点情報、フィギュア位置情報等が記憶される。また、ＨＤＤ７には、運動レッスン情報が記憶される。図２は、運動レッスン情報の構成例を示す図である。運動レッスン情報は、運動レッスンの構成を定めた情報である。出力端末５が運動レッスン情報を生成する。
【００５０】
図４（Ｃ）は、運動重視レッスンの運動レッスン情報の構成例を示す図である。運動重視レッスンの運動レッスン情報は、１以上のモーション情報を含む。モーション情報は、運動動作が行われる順に並べられている。運動重視レッスンの運動レッスン情報は、同一のモーション情報を複数含んでいてもよい。また、運動レッスン情報においては、モーション情報と、運動テンポ及び楽曲ＩＤとが、運動動作ごとに対応付けられている。楽曲ＩＤは、楽曲を示す識別情報である。モーション情報に対応付けられる楽曲ＩＤは、モーション情報が示す運動動作を行うときに出力される楽曲を示す。上述したように、実際には、楽曲の一部の演奏パートのみが出力される。なお、複数の運動動作に対して同一の楽曲が対応付けられてもよい。
【００５１】
ＣＰＵ５１は、運動重視レッスンが行われるとき、運動重視レッスンの運動レッスン情報から、モーション情報、運動テンポ及び楽曲ＩＤを取得する。ＣＰＵ５１は、運動レッスン情報から取得した楽曲ＩＤに対応する楽曲データを取得する。そして、ＣＰＵ５１は、運動レッスン情報から取得した運動テンポに従って、楽曲データを再生する。また、ＣＰＵ５１は、運動レッスン情報から取得したモーション情報に対応するモーションデータに基づいて運動映像を生成し、生成した運動映像をディスプレイ６７に表示させる。
【００５２】
図４（Ｄ）は、楽曲重視レッスンの運動レッスン情報の構成例を示す図である。楽曲重視レッスンの運動レッスン情報は、１つの楽曲ＩＤを含む。この楽曲ＩＤは、楽曲重視レッスンが行われている間に出力される楽曲を示す。また、楽曲重視レッスンの運動レッスン情報は、複数のパートＩＤを含む。複数のパートＩＤは、楽曲ＩＤが示す楽曲の演奏パートの構成を示す。複数のパートＩＤは、演奏パートの演奏順に並べられている。また、楽曲重視レッスンの運動レッスン情報においては、パートＩＤとモーション情報とが、演奏パートごとに対応付けられている。パートＩＤに対応付けられるモーション情報は、パートＩＤが示す演奏パートが出力されるときに行われる運動動作を示す。基本的に、サビ部分に対しては、サビ部分の踊りの動作が対応付けられる。また、サビ部分と異なる演奏パートに対しては、体操の動作が対応付けられる。同一の演奏パートが２回以上演奏される場合があってもよい。この場合、同一の演奏パートのパートＩＤに対しては、同一のモーション情報が対応付けられる。従って、同一の演奏パートでは同一の運動動作が行われる。なお、同一の演奏パートであっても、演奏回数に応じて運動動作が異なってもよい。
【００５３】
ＣＰＵ５１は、楽曲重視レッスンが開始されると、楽曲重視レッスンの運動レッスン情報から楽曲ＩＤを取得する。ＣＰＵ５１は、運動レッスン情報から取得した楽曲ＩＤに対応する楽曲データを取得する。そして、ＣＰＵ５１は、楽曲データ内に設定されているオリジナルのテンポに従って、楽曲データを再生する。ＣＰＵ５１は、ミュージックシーケンサから演奏パート開始メッセージを受信すると、運動レッスン情報から、演奏パート開始メッセージに含まれるパートＩＤに対応するモーション情報を取得する。ＣＰＵ５１は、運動レッスン情報から取得したモーション情報に対応するモーションデータに基づいて運動映像を生成し、生成した運動映像をディスプレイ６７に表示させる。
【００５４】
運動重視レッスン及び楽曲重視レッスンに共通して、運動レッスン情報は、レッスンＩＤ、レッスン名、レッスン種別等を含む。レッスンＩＤは、運動レッスンの識別情報である。レッスン種別は、運動レッスンが運動重視レッスン及び楽曲重視レッスンの何れであるかを示す情報である。
【００５５】
ＨＤＤ７には、更に、ＯＳ、運動支援プログラム、３Ｄエンジン、ミュージックシーケンサ等の各種プログラム等が記憶されている。運動支援プログラムは、利用者４１の運動を支援するためのプログラムである。運動支援プログラムは、コンピュータとしてのＣＰＵ５１に、判定ステップ、第１制御ステップ及び第２制御ステップを少なくとも実行させる。３Ｄエンジンは、モーションデータに基づいて、三次元仮想空間で運動動作するフィギュア８３を二次元平面に投影した画像を生成するためのプログラムである。画像を生成する処理は、射影変換、クリッピング、隠面消去、シェーディング、テクスチャマッピング等を含む。ＣＰＵ５１は、３Ｄエンジンを実行して、静止画像を順次生成する。生成された静止画像をＣＰＵ５１が表示制御部５６へ順次出力することで、ディスプレイ６７には、運動映像が動画として表示される。
【００５６】
ミュージックシーケンサは、楽曲データを再生するためのプログラムである。ＣＰＵ５１は、ミュージックシーケンサを実行することにより、楽曲データに対応する音声信号を生成する。また、ＣＰＵ５１は、ミュージックシーケンサを実行することにより、各種のメッセージを発生させる。メッセージとして、例えば、テンポに応じて所定時間間隔で発生するメッセージがある。このメッセージは、ＭＩＤＩクロックや同期メッセージと呼ばれる。また、メッセージとして、例えば、演奏パート開始メッセージや歌詞メッセージがある。サビ部分の演奏パート開始メッセージを、サビ開始メッセージという。また、サビ部分の演奏が終了して別の演奏パートの演奏が開始するときに出力される演奏パート開始メッセージを、サビ終了メッセージという。
【００５７】
各種プログラムは、例えば、配信サーバ２等のサーバからネットワーク１０を介してダウンロードされるようにしても良い。また、各種プログラムは、記録媒体５９に記録されてディスクドライブ５８を介して読み込まれるようにしても良い。なお、３Ｄエンジンやミュージックシーケンサは、プログラムではなく、専用のハードウェアであってもよい。そして、出力端末５は、ハードウェアとしての３Ｄエンジンやミュージックシーケンサを備えてもよい。
【００５８】
ＣＰＵ５１は、設定されたテンポに従って、楽曲データに対応する音声信号を音声出力部６３へ出力させるとともに、生成した画像に対応する映像信号を表示制御部５６から出力させる。ＣＰＵ５１は、同期メッセージに基づいて、楽曲の音声信号の出力タイミングと運動映像の映像信号の出力タイミングとを同期させる。これにより、スピーカ６４から出力される楽曲に同期して運動動作を行うフィギュア８３がディスプレイ６７に表示される。また、ＣＰＵ５１は、演奏パート開始メッセージに基づいて、楽曲の演奏パートの切り替わり及び演奏が開始される演奏パートを検出する。ＣＰＵ５１は、楽曲の演奏パートの切り替わりを検出することにより、運動動作の切り替わりをも検出することができる。
【００５９】
［６．運動支援システム１の動作］
次に、図５乃至図７を参照して、運動支援システム１の動作を説明する。図５乃至図７は、出力端末５のＣＰＵ５１の運動映像出力制御処理である。操作者４２が、キーボード６１やマウス６２を操作して、運動レッスンの実行を選択する。すると、ＣＰＵ５１は、ＨＤＤ７に記憶された運動レッスン情報に基づいて、運動レッスンの一覧をディスプレイ６７に表示させる。操作者４２が、一覧の中から所望の運動レッスンを選択する。すると、運動映像出力制御処理が開始される。
【００６０】
図５に示すように、ＣＰＵ５１は、選択された運動レッスンの種類が、楽曲重視レッスンであるか否かを判定する（ステップＳ１）。具体的に、ＣＰＵ５１は、操作者４２により選択された運動レッスンに対応する運動レッスン情報に含まれるレッスン種別に基づいて、運動レッスンの種類が楽曲重視レッスンであるか否かを判定する。このとき、ＣＰＵ５１は、運動レッスンの種類が運動重視レッスンであると判定した場合には（ステップＳ１：ＮＯ）、ステップＳ２に進む。一方、ＣＰＵ５１は、運動レッスンの種類が楽曲重視レッスンであると判定した場合には（ステップＳ１：ＹＥＳ）、ステップＳ３１に進む。運動レッスンが選択されると、運動レッスンが開始される。
【００６１】
ステップＳ２において、ＣＰＵ５１は、ミュージックシーケンサによる楽曲の再生処理を開始する。そこで、ＣＰＵ５１は、ミュージックシーケンサから最初の同期メッセージが出力されるまで待機する（ステップＳ３）。最初の同期メッセージが出力されると、ＣＰＵ５１は、３ＤＣＧによる前回の運動映像の静止画の描画から１フレーム分の時間が経過したか否かを判定する（ステップＳ４）。例えば、フレームレートが６０ｆｐｓである場合、１フレーム分の時間は、６０分の１秒である。ＣＰＵ５１は、１フレーム分の時間が経過していないと判定した場合には（ステップＳ４：ＮＯ）、ステップＳ４の判定を再度行う。一方、ＣＰＵ５１は、１フレーム分の時間が経過したと判定した場合には（ステップＳ４：ＹＥＳ）、ステップＳ５に進む。
【００６２】
ステップＳ５において、ＣＰＵ５１は、正確な経過フレームを求める。経過フレームは、１つの運動動作の開始から経過したフレームの数である。例えば、６０分の６６秒が経過している場合、経過フレームは１．１である。
【００６３】
次いで、ＣＰＵ５１は、ミュージックシーケンサによる全ての楽曲の再生が終了するか否かを判定する（ステップＳ６）。例えば、ＣＰＵ５１は、ミュージックシーケンサにおける再生処理において、１つの楽曲の再生が完了すると、運動レッスン情報から、次の運動動作のモーション情報に対応する楽曲ＩＤを取得する。ＣＰＵ５１は、取得した楽曲ＩＤに対応する楽曲データに基づいて、楽曲の再生処理を行う。そして、ＣＰＵ５１は、運動レッスン情報に設定されている全ての楽曲ＩＤに対応する楽曲の再生処理が終了した場合に、全ての楽曲の再生が終了したと判定する。このとき、ＣＰＵ５１は、全ての楽曲の再生が終了すると判定した場合には（ステップＳ６：ＹＥＳ）、運動映像出力制御処理を終了させる。一方、ＣＰＵ５１は、全ての楽曲の再生が終了しないと判定した場合には（ステップＳ６：ＮＯ）、ステップＳ７に進む。
【００６４】
ステップＳ７において、ＣＰＵ５１は、運動映像の画面分割があるか否かを判定する。具体的に、ＣＰＵ５１は、選択された運動レッスンの運動レッスン情報から、現在の運動動作のモーション情報を特定する。現在再生中の楽曲の楽曲ＩＤに対応するモーション情報が、現在の運動動作モーション情報である。ＣＰＵ５１は、特定したモーション情報に対応する視点情報から、経過フレームに対応する経過時間の範囲を特定する。そして、ＣＰＵ５１は、特定した経過時間に対応する画面分割フラグに基づいて、判定を行う。ＣＰＵ５１は、画面分割がないと判定した場合には（ステップＳ７：ＮＯ）、ステップＳ８に進む。一方、ＣＰＵ５１は、画面分割があると判定した場合には（ステップＳ７：ＹＥＳ）、ステップＳ１１に進む。
【００６５】
ステップＳ８において、ＣＰＵ５１は、メインカメラ９１の位置を視点Ｌ１に設定する。次いで、ＣＰＵ５１は、フィギュア８３の描画処理を行う（ステップＳ９）。具体的に、ＣＰＵ５１は、現在の運動動作のモーション情報に対応する一般運動動作のモーションデータを特定する。ＣＰＵ５１は、特定したモーションデータと、経過フレームと、に基づいて、フィギュア８３の身体の各部の現在のワールド座標を特定する。ＣＰＵ５１は、フィギュア８３の身体の各部のワールド座標と、メインカメラ９１のワールド座標及び撮影角度とに基づいて、３ＤＣＧによるフィギュア８３の静止画を、ＲＡＭ５３に確保された描画領域に描画する。次いで、ＣＰＵ５１は、運動映像の背景を描画領域に描画する（ステップＳ１０）。こうして、ＣＰＵ５１は、運動映像の静止画を生成する。ＣＰＵ５１は、ステップＳ１８に進む。
【００６６】
ステップＳ１１において、ＣＰＵ５１は、描画領域を２つに分割する。次いで、ＣＰＵ５１は、メインカメラ９１の設定を行う（ステップＳ１２）。具体的に、ＣＰＵ５１は、視点情報から、経過フレームに応じた経過時間の範囲に対応するメインカメラ９１の位置情報を取得する。次いで、ＣＰＵ５１は、２つの描画領域のうち１番目の描画領域に、フィギュア８３を描画する（ステップＳ１３）。次いで、ＣＰＵ５１は、１番目の描画領域に背景を描画する（ステップＳ１４）。ステップＳ１３及びＳ１４の処理内容は、ステップＳ９及びＳ１０の処理内容と同様である。
【００６７】
次いで、ＣＰＵ５１は、サブカメラ９２の設定を行う（ステップＳ１５）。具体的に、ＣＰＵ５１は、視点情報から、経過フレームに応じた経過時間の範囲に対応するサブカメラ９２の位置情報を取得する。次いで、ＣＰＵ５１は、２つの描画領域のうち２番目の描画領域に、フィギュア８３を描画する（ステップＳ１６）。次いで、ＣＰＵ５１は、２番目の描画領域に背景を描画する（ステップＳ１７）。ステップＳ１６及びＳ１７の処理内容は、ステップＳ９及びＳ１０の処理内容と基本的には同様である。ただし、ステップＳ１６において、ＣＰＵ５１は、サブカメラ９２のワールド座標及び撮影角度に基づいて、フィギュア８３を描画する。ＣＰＵ５１は、２つの描画領域に描画された画像を接続合成することにより、運動映像の静止画を生成する。ＣＰＵ５１は、ステップＳ１８に進む。
【００６８】
ステップＳ１８において、ＣＰＵ５１は、生成した静止画像を表示制御部５６へ出力する。これにより、ＣＰＵ５１は、運動映像をディスプレイ６７に表示させる。次いで、ＣＰＵ５１は、ステップＳ４に進む。
【００６９】
ステップＳ３１において、ＣＰＵ５１は、図６に示すように、サビフラグにＦＡＬＳＥを設定する。ＣＰＵ５１は、サビフラグをＲＡＭ５３に記憶させる。サビフラグはサビ部分が再生中であるか否かを示す情報である。次いで、ＣＰＵ５１は、ミュージックシーケンサによる楽曲の再生処理を開始する（ステップＳ３２）。次いで、ＣＰＵ５１は、最初の同期メッセージが出力されるまで待機する（ステップＳ３３）。
【００７０】
次いで、ＣＰＵ５１は、操作者４２からメインカメラ９１の視点の変更要求があったか否かを判定する（ステップＳ３４）。操作者４２は、リモコン６６等を操作することにより、視点の変更を要求することができる。このとき、ＣＰＵ５１は、視点の変更要求がなかったと判定した場合には（ステップＳ３４：ＮＯ）、ステップＳ３８に進む。一方、ＣＰＵ５１は、視点の変更要求があったと判定した場合には（ステップＳ３４：ＹＥＳ）、ステップＳ３５に進む。
【００７１】
ステップＳ３５において、ＣＰＵ５１は、変更要求に応じて、メインカメラ９１の位置を変更する。次いで、ＣＰＵ５１は、サビフラグがＴＲＵＥであるか否かを判定する（ステップＳ３６）。このとき、ＣＰＵ５１は、サビフラグがＴＲＵＥではないと判定した場合には（ステップＳ３６：ＮＯ）、ステップＳ３８に進む。一方、ＣＰＵ５１は、サビフラグがＴＲＵＥであると判定した場合には（ステップＳ３６：ＹＥＳ）、ステップＳ３７に進む。
【００７２】
ステップＳ３７において、ＣＰＵ５１は、フィギュア８３Ａ及び８３Ｂのうち少なくとも何れかの位置を変更する。具体的に、ＣＰＵ５１は、フィギュア位置情報から、変更後の視点の視点ＩＤに対応するフィギュア８３Ａ及び８３Ｂのワールド座標を取得する。そして、ＣＰＵ５１は、ＲＡＭ５３に記憶されているフィギュア８３Ａ及び８３Ｂの現在のワールド座標を、視点ＩＤに対応するワールド座標に変更する。ステップＳ３７は、変更された視点位置の仮想カメラの投影面上における映像同士が重なる場合、変更されたフィギュア８３Ａ及びフィギュア８３Ｂの重心のワールド座標に基づいて、上述したように、フィギュア８３Ａの映像とフィギュア８３Ｂの映像とが重ならない位置に配置されて、フィギュア８３Ａ及びフィギュア８３Ｂが描画されて表示される。次いで、ＣＰＵ５１は、ステップＳ３８に進む。
【００７３】
ステップＳ３８において、ＣＰＵ５１は、ミュージックシーケンサからサビ開始メッセージを受信したか否かを判定する。このとき、ＣＰＵ５１は、サビ開始メッセージを受信していないと判定した場合には（ステップＳ３８：ＮＯ）、ステップＳ４３に進む。一方、ＣＰＵ５１は、サビ開始メッセージを受信したと判定した場合には（ステップＳ３８：ＹＥＳ）、ステップＳ３９に進む。
【００７４】
ステップＳ３９において、ＣＰＵ５１は、今回で、サビ開始メッセージの受信回数が２回以上であるか否かを判定する。このとき、ＣＰＵ５１は、サビ開始メッセージの受信回数が２回以上ではないと判定した場合には（ステップＳ３９：ＮＯ）、ステップＳ４０に進む。一方、ＣＰＵ５１は、サビ開始メッセージの受信回数が２回以上であると判定した場合には（ステップＳ３９：ＹＥＳ）、ステップＳ４１に進む。
【００７５】
ステップＳ４０において、ＣＰＵ５１は、フィギュア数に初期値を設定する。次いで、ＣＰＵ５１は、ステップＳ４２に進む。フィギュア数は、サビ部分が出力されるときに表示されるフィギュア８３の数である。フィギュア数に初期値は、例えば、３以上である。ステップＳ４１において、ＣＰＵ５１は、フィギュア数に所定数を加算する。所定数は、０より大きい数である。次いで、ＣＰＵ５１は、ステップＳ４２に進む。ステップＳ４２において、ＣＰＵ５１は、サビフラグにＴＲＵＥを設定する。次いで、ＣＰＵ５１は、ステップＳ４３に進む。
【００７６】
ステップＳ４３において、ＣＰＵ５１は、ミュージックシーケンサからサビ終了メッセージを受信したか否かを判定する。このとき、ＣＰＵ５１は、サビ終了メッセージを受信していないと判定した場合には（ステップＳ４３：ＮＯ）、ステップＳ５１に進む。一方、ＣＰＵ５１は、サビ終了メッセージを受信したと判定した場合には（ステップＳ４３：ＹＥＳ）、ステップＳ４４に進む。ステップＳ４４において、ＣＰＵ５１は、サビフラグにＦＡＬＳＥを設定する。次いで、ＣＰＵ５１は、ステップＳ５１に進む。
【００７７】
ステップＳ５１において、ＣＰＵ５１は、図７に示すように、３ＤＣＧによる前回の運動映像の静止画の描画から１フレーム分の時間が経過したか否かを判定する。このとき、ＣＰＵ５１は、１フレーム分の時間が経過していないと判定した場合には（ステップＳ５１：ＮＯ）、ステップＳ５１の判定を再度行う。一方、ＣＰＵ５１は、１フレーム分の時間が経過したと判定した場合には（ステップＳ５１：ＹＥＳ）、ステップＳ５２に進む。
【００７８】
ステップＳ５２において、ＣＰＵ５１は、正確な経過フレームを求める。次いで、ＣＰＵ５１は、ミュージックシーケンサによる楽曲の再生が終了するか否かを判定する（ステップＳ５３）。例えば、楽曲データには、終了メッセージが記述されている。終了メッセージは、楽曲全体の演奏の終了を示すメッセージである。ＣＰＵ５１は、ミュージックシーケンサから終了メッセージを受信した場合に、楽曲の再生が終了したと判定する。このとき、ＣＰＵ５１は、楽曲の再生が終了すると判定した場合には（ステップＳ５３：ＹＥＳ）、運動映像出力制御処理を終了させる。一方、ＣＰＵ５１は、楽曲の再生が終了しないと判定した場合には（ステップＳ５３：ＮＯ）、ステップＳ５４に進む。
【００７９】
ステップＳ５４において、ＣＰＵ５１は、サビフラグがＴＲＵＥであるか否かを判定する。このとき、ＣＰＵ５１は、サビフラグがＴＲＵＥではないと判定した場合には（ステップＳ５４：ＮＯ）、ステップＳ５５に進む。一方、ＣＰＵ５１は、サビフラグがＴＲＵＥであると判定した場合には（ステップＳ５４：ＹＥＳ）、ステップＳ５９に進む。
【００８０】
ステップＳ５５において、ＣＰＵ５１は、一般運動動作を行うフィギュア８３Ａの三次元仮想空間における位置を設定する。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶されているフィギュア８３Ａの重心のワールド座標を、三次元仮想空間９０におけるフィギュア８３Ａの現在の位置を示す座標として設定する。次いで、ＣＰＵ５１は、フィギュア８３Ａを描画する（ステップＳ５６）。具体的に、ＣＰＵ５１は、選択された運動レッスンの運動レッスン情報から、現在出力されている演奏パートに対応するモーション情報を特定する。ＣＰＵ５１は、特定したモーション情報に対応する一般運動動作のモーションデータを特定する。ＣＰＵ５１は、特定したモーションデータと、経過フレームと、フィギュア８３の重心のワールド座標とに基づいて、フィギュア８３Ａの身体の各部の現在のワールド座標を特定する。ＣＰＵ５１は、フィギュア８３Ａの重心のワールド座標と、身体の各部のワールド座標と、メインカメラ９１のワールド座標及び撮影角度とに基づいて、フィギュア８３Ａの静止画を、ＲＡＭ５３に確保された描画領域に描画する。次いで、ＣＰＵ５１は、軽減運動動作を行うフィギュア８３Ｂの位置を設定する（ステップＳ５７）。具体的に、ＣＰＵ５１は、ＲＡＭ５３に記憶されているフィギュア８３Ｂの重心のワールド座標を、三次元仮想空間９０におけるフィギュア８３Ｂの現在の位置を示す座標として設定する。次いで、ＣＰＵ５１は、フィギュア８３Ｂを描画する（ステップＳ５８）。ステップＳ５８の処理内容はステップＳ５６の処理内容と基本的に同様である。ただし、ＣＰＵ５１は、軽減運動動作のモーションデータに基づいて描画を行う。次いで、ＣＰＵ５１は、ステップＳ６４に進む。
【００８１】
ステップＳ５９において、ＣＰＵ５１は、インデックスＮに１を設定する。次いで、ＣＰＵ５１は、Ｎ体目のフィギュア８３の三次元仮想空間９０における位置を設定する（ステップＳ６０）。例えば、フィギュア数に応じて、各フィギュア８３の三次元仮想空間９０における位置が予め定められている。次いで、ＣＰＵ５１は、Ｎ体目のフィギュア８３を描画する。ステップＳ６１の処理内容はステップＳ５６の処理内容と基本的に同様である。ただし、ＣＰＵ５１は、サビ部分の踊りの動作のモーションデータに基づいて描画を行う。
【００８２】
次いで、ＣＰＵ５１は、インデックスＮに１を加算する（ステップＳ６２）。次いで、ＣＰＵ５１は、インデックスＮの値がフィギュア数よりも大きいか否かを判定する（ステップＳ６３）。このとき、ＣＰＵ５１は、インデックスＮの値がフィギュア数以下であると判定した場合には（ステップＳ６３：ＮＯ）、ステップＳ６０に進む。一方、ＣＰＵ５１は、インデックスＮの値がフィギュア数よりも大きいと判定した場合には（ステップＳ６３：ＹＥＳ）、ステップＳ６４に進む。
【００８３】
ステップＳ６４において、ＣＰＵ５１は、描画領域に背景を描画する。次いで、ＣＰＵ５１は、描画領域に生成された運動映像の静止画像を表示制御部５６へ出力する（ステップＳ６５）。これにより、ＣＰＵ５１は、運動映像をディスプレイ６７に表示させる。次いで、ＣＰＵ５１は、ステップＳ３４に進む。
【００８４】
以上説明したように、本実施形態によれば、ＣＰＵ５１が、運動レッスンが運動重視レッスンと楽曲重視レッスンの何れであるかを判定する。ＣＰＵ５１が、運動レッスンが運動重視レッスンであると判定した場合、フィギュア８３による運動動作をメインカメラ９１で写した映像と、メインカメラ９１で写した運動動作と同一の運動動作を、メインカメラ９１の位置とは異なる位置に配置されたサブカメラ９２で写した映像とを、ディスプレイ６７に表示させる。ＣＰＵ５１が、運動レッスンが楽曲重視レッスンであると判定した場合、同一の運動動作を行うフィギュア８３をメインカメラ９１で写した映像をディスプレイ６７に表示させる。そのため、運動重視のレッスンであるか、楽曲重視のレッスンであるかに応じて、映像によるフィギュア８３の表現を自動的に変えることができる。
【００８５】
なお、上記実施形態においては、本発明の情報処理装置が出力端末５に適用されていた。しかしながら、本発明の情報処理装置が配信サーバ２に適用されてもよい。例えば、運動レッスン情報が生成されたときに、配信サーバ２は、運動レッスン情報に基づいて、運動映像の動画データを予め生成してもよい。運動レッスンが行われるとき、配信サーバ２は、動画データをストリーミング方式で出力端末５に送信する。これにより、配信サーバ２は、出力端末５に運動映像を表示させる。
【符号の説明】
【００８６】
１  運動支援システム
２  配信サーバ
３  データベース
５  出力端末
７  ＨＤＤ
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５６  表示制御部
６０  ネットワーク通信部
６３  音声出力部
６８  マイク
５７  モニタ
６４  スピーカ
６７  ディスプレイ
【図１】
2014046019.tif 000003
【図２】
2014046019.tif 000004
【図３】
2014046019.tif 000005
【図４】
2014046019.tif 000006
【図５】
2014046019.tif 000007
【図６】
2014046019.tif 000008
【図７】
2014046019.tif 000009