(57)【要約】【課題】一般的な映像ＤＶＤ等の再生装置やテレビモニターを用いた場合でも、ユーザへの報知を可能とする。【解決手段】ＤＶＤ等の映像再生媒体に音響透かしとして記録されたモーションＩＤとタイミング情報とを音響透かしデコード部４０によりデコードして登録する。動作判定部２０は、ユーザの身体に取り付けたホスト１００、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、第３スレーブ１１０ｃのモーションセンサー１０及びモーションセンサー１１１の検知結果と、モーションライブラリ７０に記憶された動作の内容の情報とに基づいて解析を行いモーションＩＤを判定する。タイミング動作判定部５０は、登録されたタイミング情報が示すタイミングで、登録されたモーションＩＤと判定結果のモーションＩＤとの合致を判定する。フィードバック生成部６０は判定結果に基づいて音等のフィードバックを発生させる。【選択図】図１
2015171472.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも映像及び音のいずれかに埋め込まれ、少なくとも同期情報を含む透かし情報をデコードするデコード部と、
基準となる動作の内容を特定する情報と当該動作のタイミングを示すタイミング情報とを登録する登録部と、
動作の内容を示す情報と当該情報を識別する識別情報とが記憶されたモーションライブラリと、
前記登録したタイミング情報が示すタイミングに到達したか否かを前記同期情報に基づいて判断し、到達したと判断した場合に、少なくとも前記モーションライブラリに記憶されたいずれかの情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行うタイミング動作判定部と、
前記判定の結果に基づいて報知を行う報知部と、
を備えることを特徴とする動作報知システム。
【請求項２】
使用者の動作を検知するモーションセンサーと、
前記モーションセンサーによる検知結果と前記モーションライブラリに記憶された前記動作の内容を示す情報とから、前記モーションライブラリに記憶された前記識別情報を判定する動作判定部と、をさらに備え、
前記タイミング動作判定部は、
前記登録したタイミング情報が示すタイミングに到達したか否かを前記同期情報に基づいて判断し、到達したと判断した場合に、前記判定された前記識別情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、前記基準となる動作と前記検知結果としての使用者の動作との関係について判定を行う、
ことを特徴とする請求項１に記載の動作報知システム。
【請求項３】
少なくとも、前記デコード部と、前記登録部と、前記モーションライブラリと、前記動作判定部と、前記タイミング動作判定部と、前記報知部とを備えるホストと、
少なくとも前記モーションセンサーを備えるスレーブとを備え、
前記ホストと前記スレーブが通信可能である、
ことを特徴とする請求項２に記載の動作報知システム。
【請求項４】
個人データを記憶する個人データライブラリをさらに備え、
前記動作判定部は、前記判定を行う際に、個人データライブラリに記憶された個人データを参照して判定の基準を補正する、
ことを特徴とする請求項２又は請求項３に記載の動作報知システム。
【請求項５】
前記透かし情報には、基準となる動作の内容を特定する情報と当該情報を識別する識別情報とが含まれ、
前記デコード部は、デコードした前記基準となる動作の内容を特定する情報と当該情報を識別する識別情報とを前記モーションライブラリに記憶させる、
ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の動作報知システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動作の内容や動作のタイミングに関する判定を行い、判定の結果に応じて報知を行う動作報知システムに関する。
【背景技術】
【０００２】
フィットネス系のゲーム、あるいは、ダンス系ゲームにおいては、ユーザがゲームの画面に合わせて動くと、ユーザの動きを検出してフィードバックをかけ、画面から「ＯＫ」などの映像を音声と共に報知するシステムが開発されている。このようなシステムでは、センサーとしてカメラを備え、カメラによりユーザの動きを画像解析したり、あるいは、専用の台等にセンサーを備えておき、センサーのオン・オフによりユーザの動きを解析していた（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１７８９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のシステムにおいては、専用のゲーム装置が必要であり、一般的な映像ＤＶＤ再生装置やテレビモニターを用いてユーザへの報知を行うことはできなかった。
【０００５】
また、従来のシステムでは、手本となる動作とユーザの動作との比較は、手本となる動作ごとに個別に行われていたため、例えば、上半身のトレーニングの映像を下半身のトレーニング用に流用する等の汎用的な使い方はできなかった。
【０００６】
本発明は、上述した事情に鑑みてなされたものであり、一般的な映像ＤＶＤ等の再生装置やテレビモニターを用いた場合でも、ユーザへの報知を行うことができる動作報知システムを提供することを解決課題とする。また、手本となる動作のコンテンツによることなく汎用的な使用が可能な動作報知システムを提供することを解決課題とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するため、本発明の動作報知システムは、少なくとも映像及び音のいずれかに埋め込まれ、少なくとも同期情報（例えばタイミング情報または同期タイミング）を含む透かし情報をデコードするデコード部（例えば音響透かしデコード部４０）と、基準となる動作の内容を特定する情報（例えばモーションＩＤまたはコマンド的な情報）と当該動作のタイミングを示すタイミング情報とを登録する登録部（例えばタイミング動作判定部５０，５１）と、動作の内容を示す情報（例えば図３に示す動作の内容を示す情報）と当該情報を識別する識別情報（例えばモーションＩＤ）とが記憶されたモーションライブラリ（例えばモーションライブラリ７０）と、前記登録したタイミング情報が示すタイミングに到達したか否かを前記同期情報に基づいて判断し、到達したと判断した場合に、少なくとも前記モーションライブラリに記憶されたいずれかの情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定（例えばモーションＩＤが一致しているかどうかの判定、または、モーションＩＤが示す動作の内容の判定）を行うタイミング動作判定部（例えばタイミング動作判定部５０，５１）と、前記判定の結果に基づいて報知を行う報知部（例えばフィードバック生成部６０）とを備えることを特徴とする。
【０００８】
この発明によれば、少なくとも映像及び音のいずれかに埋め込まれた少なくとも同期情報を含む透かし情報は、デコード部によりデコードされる。タイミング動作判定部は、前記同期情報に基づいて、登録部に登録したタイミング情報が示すタイミングに到達したと判断した場合に、少なくともモーションライブラリに記憶されたいずれかの情報と、登録部に登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行う。報知部は前記判定の結果に基づいて報知を行う。したがって、一般的なＤＶＤ等の映像音声媒体に前記透かし情報を埋め込んでおくことにより、当該映像音声媒体の再生装置やテレビモニターを用いた場合でも、使用者に対して基準となる動作に関する情報を報知できる。例えば、報知する手段として振動等を採用することにより、映像音声媒体を視聴しただけでは分りにくい基準となる動作に関する情報を使用者に振動等により報知できる。また、このシステムにセンサー等を含めた場合には、使用者による動作と基準となる動作との比較判定の結果を使用者に振動等により報知できる。センサー等を含めた場合の詳細は以下に示される。
【０００９】
上述した動作報知システムにおいて、使用者の動作を検知するモーションセンサー（例えばモーションセンサー１０，１１１）と、前記モーションセンサーによる検知結果と前記モーションライブラリ（例えばモーションライブラリ７０）に記憶された前記動作の内容を示す情報とから、前記モーションライブラリに記憶された前記識別情報（例えばモーションＩＤ）を判定する動作判定部（例えば動作判定部２０）とをさらに備え、前記タイミング動作判定部（例えばタイミング動作判定部５０）は、前記登録したタイミング情報が示すタイミングに到達したか否かを前記同期情報に基づいて判断し、到達したと判断した場合に、前記判定された前記識別情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、前記基準となる動作と前記検知結果としての使用者の動作との関係について判定（例えばモーションＩＤが一致しているかどうかの判定）を行うようにしてもよい。
【００１０】
この場合には、動作判定部は、モーションセンサーによる使用者の動作の検知結果と、モーションライブラリに記憶された前記動作の内容を示す情報とから、前記モーションライブラリに記憶された前記識別情報を判定する。タイミング動作判定部は、デコードされた前記同期情報に基づいて、登録部に登録したタイミング情報が示すタイミングに到達したと判断した場合に、前記動作判定部により判定された前記識別情報と、登録部に登録した基準となる動作の内容を特定する情報とを参照して、前記基準となる動作と前記検知結果としての使用者の動作との関係、例えば、使用者の動作が前記基準となる動作に一致しているかどうか等の判定を行う。そしてこの判定結果は、報知部により使用者に報知される。したがって、一般的なＤＶＤ等の映像音声媒体に前記透かし情報を埋め込んでおくことにより、当該映像音声媒体の再生装置やテレビモニターを用いた場合でも、使用者の動作が基準となる動作に一致していかどうか等の情報を使用者に報知できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る動作報知システムを示すブロック図である。
【図２】モーションセンサーを示すブロック図である。
【図３】モーションライブラリに記憶されるモーション情報の一例を示す図である。
【図４】個人データライブラリに記憶される個人データの一例を示す図である。
【図５】音響透かしデコード部の動作を示すフローチャートである。
【図６】動作判定部の動作を示すフローチャートである。
【図７】タイミング動作判定部の動作を示すフローチャートである。
【図８】本発明の第２実施形態に係る動作報知システムを示すブロック図である。
【図９】本発明の第３実施形態に係る動作報知システムを示すブロック図である。
【図１０】本発明の第４実施形態に係る動作報知システムを示すブロック図である。
【図１１】本発明の第５実施形態に係る動作報知システムを示すブロック図である。
【図１２】本発明の第６実施形態に係る動作報知システムを示すブロック図である。
【発明を実施するための形態】
【００１２】
＜第１実施形態＞
以下、本発明の実施形態について図面を参照しつつ説明する。図１は第１実施形態に係る動作報知システム１を示すブロック図である。動作報知システム１は、一例として、１台のホスト１００と、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃの３台のスレーブとから構成されている。なお、動作報知システム１はこのような構成に限定されるものではなく、１台のホスト１００のみで構成されていても良いし、スレーブの台数も任意に設定することができる。本実施形態では、例えば、ホスト１００をユーザの右手、第１スレーブ１１０ａをユーザの左手、第２スレーブ１１０ｂをユーザの右足、第３スレーブ１１０ｃをユーザの左足に装着して使用する。
【００１３】
ホスト１００は、モーションセンサー１０と、動作判定部２０と、受信部３０と、音響透かしデコード部４０と、タイミング動作判定部５０と、フィードバック生成部６０と、モーションライブラリ７０と、個人データライブラリ８０と、設定部９０とを備えている。
【００１４】
モーションセンサー１０は、図２に示すように、地磁気センサー１１、加速度センサー１２、ジャイロセンサー１３等の異なる種類の複数のセンサーの出力を、結果統合部１４により統合し、その検知結果を出力する。即ち、モーションセンサー１０は、ユーザの動作を検知するモーションセンサーとして機能する。結果統合部１４は、例えば、ＤＳＰ等から構成される。モーションセンサー１０から出力される検知結果は、動作判定部２０に入力される。
【００１５】
モーションセンサー１０は、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃにも備えられている。第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃのそれぞれは、ホスト１００に備えられたモーションセンサー１０と同様の構成のモーションセンサー１１１と、送信部１１２とを備える。送信部１１２は、例えば、ＣＰＵ等により構成される。第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃのモーションセンサー１１１から出力されるそれぞれの検知結果は、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃの送信部１１２によってそれぞれホスト１００へ送信される。
【００１６】
第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃとホスト１００は、有線または無線により接続されており、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃから送信されたそれぞれの検知結果は、ホスト１００の受信部３０にて受信される。受信部３０は、例えば、ＣＰＵ等により構成される。受信部３０は、受信したそれぞれの検知結果を、動作判定部２０に出力する。
【００１７】
動作判定部２０は、例えば、ＣＰＵ等により構成され、モーションセンサー１０、及び受信部３０から出力される各モーションセンサーの結果と、モーションライブラリ７０に記憶されているモーション情報と、個人データライブラリ８０に記憶されている個人データとに基づいて、いずれかのモーションＩＤを特定して出力する。即ち、動作判定部２０は、モーションセンサーによる検知結果とモーションライブラリに記憶された動作の内容を示す情報とから、モーションライブラリに記憶された識別情報を判定する動作判定部として機能する。
【００１８】
モーションライブラリ７０は、図３に示すようなモーション情報から構成され、例えば、半導体メモリまたはメモリカード等に記憶される。モーション情報は、ホスト１００のモーションセンサー１０の検知結果と、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃのそれぞれのモーションセンサー１１１の検知結果との組み合わせに対して、モーションＩＤが一対一に割り当てられている。例えば、ホスト１００のモーションセンサー１０の検知結果が「左横移動」、第１スレーブ１１０ａのモーションセンサー１１１の検知結果が「右横移動」で、第２スレーブ１１０ｂと第３スレーブ１１０ｃのモーションセンサー１１１の検知結果が「移動なし」の場合には、モーションＩＤとして「ＩＤ１」が割り当てられている。モーションセンサー１０とモーションセンサー１１１の検知結果は、移動の仕方として記憶されているだけでなく、例えば、「ＩＤ５」のモーションＩＤの場合のように、「回転」という移動の仕方と、「ＩＤ１」のモーションＩＤとの組み合わせとして記憶されている。つまり、ホスト１００のモーションセンサー１０の検知結果が、「ＩＤ１」のモーションＩＤに対応する「左横移動」で、かつ、「回転」であり、第１スレーブ１１０ａのモーションセンサー１１１の検知結果が、「ＩＤ１」のモーションＩＤに対応する「右横移動」で、かつ、「回転」であり、第２スレーブ１１０ｂと第３スレーブ１１０ｃのモーションセンサー１１１の検知結果が「移動なし」の場合には、モーションＩＤとして「ＩＤ５」が割り当てられている。モーションライブラリ７０に記憶されるモーションＩＤの数及びその内容は、固定されている訳ではなく、適宜変更可能である。以上のように、モーションライブラリ７０は、動作の内容を示す情報と、この情報を識別する識別情報とが記憶されたモーションライブラリとして機能する。
【００１９】
個人データライブラリ８０は、図４に示すような個人データから構成され、例えば、半導体メモリまたはメモリカード等に記憶される。個人データは、例えば、性別、年齢、身長、体重等の情報から構成されている。個人データの項目の数及びその内容は、固定されている訳ではなく、適宜変更可能である。以上のように、個人データライブラリ８０は、個人データを記憶する個人データライブラリとして機能する。
【００２０】
設定部９０は、例えば、ＣＰＵ等から構成されており、モーションライブラリ７０及び個人データライブラリ８０と接続されている。設定部９０には、パーソナルコンピュータ等の外部入力機器２００が接続されており、外部入力機器２００によって入力されたライブラリデータをモーションライブラリ７０及び個人データライブラリ８０に反映させる。つまり、設定部９０は、外部入力機器２００によってモーション情報が入力された場合には、当該モーション情報をモーションライブラリ７０に反映させる。また、設定部９０は、外部入力機器２００によって個人データが入力された場合には、当該個人データを個人データライブラリ８０に反映させる。なお、設定部９０をタッチパネル等で構成した場合には、外部入力機器２００を省略することも可能である。
【００２１】
音響透かしデコード部４０は、例えば、ＤＳＰ等から構成され、音声データに重畳された非可聴帯域の音響透かしをデコードする。音響透かしデコード部４０には、マイク２０１が接続されており、マイク２０１で集音したＤＶＤ等の映像媒体の再生音を入力するようになっている。ＤＶＤ等の映像媒体の例としては、例えば、フィットネス系のＤＶＤ等、ダンス系のＤＶＤ等、スポーツや音楽の教則用のＤＶＤ等が挙げられる。
【００２２】
ＤＶＤ等の映像媒体には、音響透かしの技術を用いて、本来記録されるべきコンテンツの音に、符号変換された情報符号が重畳されている。重畳される情報符号としては、例えば、正解の動きの情報としてのモーションＩＤを符号変換した情報符号と、正解の動きのタイミング情報を符号変換した情報符号とが含まれる。但し、重畳される情報符号は、これらの情報符号に限定されるものではなく、適宜変更及び追加することが可能である。以上のように、透かし情報には、基準となる動作の内容を特定する情報と動作のタイミングを示すタイミング情報とが含まれる。
【００２３】
ＤＶＤ等の映像媒体に記憶される音響透かしについて更に説明する。符号変換された情報符号は変調されて音声信号（変調信号）として生成される。変調方式としては、例えば、Ｍ系列などの疑似ノイズ信号を情報符号で位相変調するスペクトラム拡散変調、情報符号でキャリア信号をＦＳＫ変調またはＡＭ変調する方式等種々の方式を用いることができる。
【００２４】
前記コンテンツの音と前記変調信号は加算合成され、合成音としてＤＶＤ等の映像媒体に記録される。変調方式、キャリア周波数等を適当に選択することにより、変調信号の周波数帯域を高音域に配置することができ、周波数スペクトルが前記コンテンツの音と重なりあわないようにすることが可能である。前記コンテンツの音を可聴帯域に配置し変調信号を非可聴帯域に配置してこれらの占有周波数帯域を分離することにより、変調信号による情報伝達の信頼度を向上することができる。特に、ノイズに弱い変調方式を用いた場合にはこのようにすることが好ましい。
【００２５】
なお、前記コンテンツの音が、楽音でなくノイズの一種と考えられるような音である場合には、前記コンテンツの音の周波数帯域と変調信号の周波数帯域とを重なり合わせるようにしてもよい。ノイズの一種と考えられるような音の場合には、変調信号が重なり合っていても聴取者に殊更に不快感を与えることはないためである。
【００２６】
音響透かしデコード部４０には、マイク２０１で収音された前記コンテンツの音と前記変調信号を含む音が入力される。入力された音は、ＡＤ変換されデジタル信号に変換された後、復調部に入力される。復調部では、例えば、Ｍ系列などの疑似ノイズ信号を情報符号で位相変調するスペクトラム拡散変調、情報符号でキャリア信号をＦＳＫ変調またはＡＭ変調する方式等種々の変調方法に対応した復調方法で、復調が行われる。具体的な変調方法、復調方法は、例えば特開２０１１−０３７３５０号公報に開示されている方法を用いればよいため、詳しい説明は省略する。復調部からは、復調された情報符号が出力される。このようにして、本来記録されるべきコンテンツの音に重畳されＤＶＤ等の映像媒体に記憶された情報符号が取得できる。本実施形態の場合、情報符号には、モーションＩＤに対応した情報符号とタイミング情報に対応した情報符号が含まれる。以上のように、音響透かしデコード部４０は、少なくとも映像及び音のいずれかに埋め込まれ、少なくとも同期情報（タイミング情報）を含む透かし情報をデコードするデコード部として機能する。
【００２７】
タイミング動作判定部５０は、例えば、ＣＰＵ等から構成される。タイミング動作判定部５０は、音響透かしデコード部４０から出力されるモーションＩＤ及びタイミング情報をメモリ等に登録し、モーションＩＤ及びタイミング情報と、動作判定部２０から所定のタイミングで出力されるモーションＩＤとに基づいて、ユーザの動作が正解の動作かどうか、また、その動作が適正なタイミングで行われたかどうかを判定し、その結果を出力する。即ち、タイミング動作判定部５０は、基準となる動作の内容を特定する情報と動作のタイミングを示すタイミング情報とを登録する登録部として機能する。また、タイミング動作判定部５０は、登録したタイミング情報が示すタイミングに到達したか否かを同期情報（タイミング情報）に基づいて判断し、到達したと判断した場合に、少なくともモーションライブラリに記憶されたいずれかの情報（モーションＩＤ）と、登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行うタイミング動作判定部として機能する。さらに、タイミング動作判定部５０は、登録したタイミング情報が示すタイミングに到達したか否かを同期情報（タイミング情報）に基づいて判断し、到達したと判断した場合に、判定された前記識別情報（モーションＩＤ）と、登録した基準となる動作の内容を特定する情報とを参照して、基準となる動作と検知結果としての使用者の動作との関係について判定を行うタイミング動作判定部として機能する。
【００２８】
フィードバック生成部６０は、例えば、ＣＰＵ等から構成される。フィードバック生成部６０は、タイミング動作判定部５０から出力される判定結果をフィードバックする情報に変換する。例えば、「ＯＫ」等の音声を返す場合には、フィードバック生成部６０を音声再生部や音声合成部で構成すればよい。また、フィードバックを光で返す場合には、フィードバック生成部６０をＬＥＤコントローラで構成すればよい。フィードバックを振動で返す場合には、フィードバック生成部６０を振動部で構成すればよい。また、フィードバックとして、ログを残す場合には、フィードバック生成部６０を記録部と送信部とで構成すればよい。以上のようにフィードバック生成部６０は、判定の結果に基づいて報知を行う報知部として機能する。
また、以上のように、ホスト１００は、少なくとも、デコード部と、登録部と、モーションライブラリと、動作判定部と、タイミング動作判定部と、報知部とを備えるホストとして機能する。更に、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、及び第３スレーブ１１０ｃは、少なくともモーションセンサーを備えるスレーブとして機能する。
【００２９】
次に、図５乃至図７を参照して、本実施形態の動作報知システム１の動作について説明する。まず、音響透かしデコード部４０においては、図５に示すように、透かし情報タイマーの割り込みが所定期間ごとに発生するように構成されている。音響透かしデコード部４０は、透かし情報タイマーの割り込みが発生するごとに、入力した音に透かし情報（変調信号）が重畳されているかどうかの判定を行う（ステップＳ１０）。判定の方法は、例えば、変調信号が非可聴帯域に配置されている場合には、この非可聴帯域に信号が存在するかどうかを判定するようにすればよい。音響透かしデコード部４０は、透かし情報が重畳されていない場合には（ステップＳ１０；ＮＯ）、処理を終了する。一方、音響透かしデコード部４０は、透かし情報が重畳されている場合には（ステップＳ１０；ＹＥＳ）、上述した方法により透かし情報のデコードを行い（ステップＳ１１）、デコードの結果として得られたタイミング情報とモーションＩＤを出力する（ステップＳ１２）。音響透かしデコード部４０から出力されたタイミング情報とモーションＩＤは、タイミング動作判定部５０によって、図示しないメモリに登録される。なお、ＤＶＤ等の映像媒体に記録されたタイミング情報と、動作判定部２０からのモーションＩＤの出力タイミングとの同期を取るためには、例えば、ＤＶＤ等の映像媒体の再生開始を示すタイミング情報を音響透かしとしてＤＶＤ等の映像媒体に記録しておき、音響透かしデコード部４０から出力される当該再生開始を示すタイミング情報をタイミング動作判定部５０において入力した際に、タイミング動作判定部５０がタイミング動作判定部５０の内部の同期用クロックをスタートさせる。そして、動作判定部２０から出力されるモーションＩＤを入力した際に、同期用クロックで計測したタイミングを当該モーションＩＤと共にメモリに記憶させるようにすればよい。
【００３０】
以上のような音響透かしデコード部４０及びタイミング動作判定部５０の動作と並行して、動作判定部２０においては、動きタイマーの割込みが所定周期で発生するように構成されている。図６に示すように、動作判定部２０は、動きタイマーの割込みが発生すると、モーションセンサーの出力があるかどうかを判定する（ステップＳ２０）。この場合のモーションセンサーには、ホスト１００に備えられているモーションセンサー１０と、各スレーブのモーションセンサー１１１の双方が含まれる。動作判定部２０は、モーションセンサーの出力がない場合には（ステップＳ２０；ＮＯ）、処理を終了する。一方、モーションセンサーの出力がある場合には（ステップＳ２０；ＹＥＳ）、モーションライブラリ７０のモーション情報と、個人データライブラリ８０の個人データとを参照して、当該モーションセンサーから出力された検知結果を解析する（ステップＳ２１）。具体的には、動作判定部２０は、検知結果が示す動作の内容が、モーションライブラリ７０のモーション情報として記憶されたどのモーションＩＤに対応する内容であるかを判定する。この判定の際、動作判定部２０は、個人データライブラリ８０の個人データを参照して、適宜、判定基準の補正を行う。例えば、あるモーションＩＤに対応する動作の内容が、「３０ｃｍジャンプする」のような内容であり、実際の検知結果が３０ｃｍに満たない場合でも、個人データの年齢、身長等を参照して、判定基準の補正を行う。即ち、動作判定部２０は、判定を行う際に、個人データライブラリに記憶された個人データを参照して判定の基準を補正する動作判定部として機能する。動作判定部２０は、以上のように解析が終了すると、その結果としてのモーションＩＤを出力する（ステップＳ２２）。タイミング動作判定部５０は、動作判定部２０からのモーションＩＤを入力すると、上述した同期クロックを参照して、入力したタイミング情報と共にモーションＩＤをメモリに記憶させる。
【００３１】
以上のような動作判定部２０及びタイミング動作判定部５０の動作と並行して、タイミング動作判定部５０においては、タイミングチェックタイマーの割込みが所定周期で発生するように構成されている。図７に示すように、タイミング動作判定部５０は、タイミングチェックタイマーの割込みが発生すると、音響透かしデコード部４０から出力され、メモリに登録しておいたタイミングになったかどうかを、上述した同期クロックを参照して判定する（ステップＳ３０）。タイミング動作判定部５０は、まだ登録しておいたタイミングになっていない場合には（ステップＳ３０；ＮＯ）、処理を終了する。一方、タイミング動作判定部５０は、登録しておいたタイミングになった場合には（ステップＳ３０；ＹＥＳ）、登録しておいたデコード結果のモーションＩＤ（音響すかしデコード部４０から入力したモーションＩＤ）と、解析結果のモーションＩＤ（動作判定部２０から入力したモーションＩＤ）が一致するかどうかを判定する（ステップＳ３１）。また、タイミング動作判定部５０は、デコード結果のモーションＩＤと共に登録しておいたタイミング情報と、記憶させておいた解析結果のモーションＩＤの入力タイミングとを比較して、解析結果のモーションＩＤの入力タイミングが、登録しておいたタイミング情報とどの程度ずれているかを判定する（ステップＳ３２）。そして、タイミング動作判定部５０は、モーションＩＤの判定結果とタイミングの判定結果とをフィードバック生成部６０に出力する（ステップＳ３３）。例えば、モーションＩＤが一致し、タイミングのずれが少ない場合にはレベル１、モーションＩＤが一致し、タイミングのずれが大きい場合にはレベル２、モーションＩＤが一致していない場合にはレベル３のように、判定結果を段階に分けて出力するようにしてもよい。フィードバック生成部６０は、この判定結果を入力して、レベル１の場合には「ＶＥＲＹ  ＧＯＯＤ」、レベル２の場合には「ＧＯＯＤ」、レベル３の場合には「ＮＧ」のようなフィードバックを音や光等の信号として出力する。
【００３２】
なお、上述した説明においては、動作判定部２０での解析結果のモーションＩＤをタイミング動作判定部５０に入力したタイミングと、デコード結果のモーションＩＤと共に登録しておいたタイミング情報と比較判定する（ステップＳ３２）例について説明したが、本発明はこのような例に限定されるものではない。例えば、ステップＳ３２の処理を省略し、モーションＩＤの一致のみの判定（ステップＳ３１）を行って、判定結果を出力するようにしてもよい。
【００３３】
以上説明したように、本実施形態によれば、フィットネスのＤＶＤ等の映像音声媒体に、正しい動きを示すモーションＩＤとタイミング情報を音響透かしにより記録しておき、当該映像音声媒体の再生音から音響透かしの情報をデコードし、ユーザの身体に取り付けたホストと各スレーブのモーションセンサーの検知結果をモーションライブラリに基づいてモーションＩＤとして解析し、デコードしたモーションＩＤと解析したモーションＩＤとの一致判定の結果についてフィードバックを与えるようにしたので、通常のＤＶＤ等の映像音声媒体の再生機器を用いて、より効果的で一方的ではないシステムを提供することができる。
【００３４】
また、本実施形態においては、モーションライブラリ７０に記憶させる情報を、外部入力機器２００により更新あるいは差替え可能としたので、例えば、ＤＶＤ等の映像音声媒体に記録するコンテンツや、ホスト１００や各スレーブ１１０ａ〜１１０ｃの取り付け位置を変更した場合でも、モーションライブラリ７０に記憶させる情報の更新により容易に対応することが可能となる。さらに、上半身トレーニング用のコンテンツを、下半身トレーニング用として使用する場合等、特定のコンテンツの用途を変更する場合でも、モーションライブラリ７０に記憶させる情報の変更のみで、容易に対応することが可能となる。すなわち、ＤＶＤ上のコンテンツに記憶されたモーションＩＤはそのままで、モーションライブラリ７０に記憶されているモーションＩＤに対応している上半身トレーニング用の情報を、下半身トレーニング用の情報に変更すればよい。このようにすれば、ＤＶＤで再生するコンテンツは同じだが、下半身トレーニング用のコンテンツとしても使用できる。また、モーションライブラリ７０の更新をユーザに開放することも可能であり、この場合にはユーザが自由に好みのライブラリを作成することができる。また、インターネット配信等によりモーションライブラリを共有することも可能である。
【００３５】
＜第２実施形態＞
次に、本発明の第２実施形態について図８を参照して説明する。第１実施形態においては、ホスト１００をユーザの身体に取り付ける例について説明したが、本実施形態は、ホスト１００はユーザの身体に取り付けず、第１スレーブ１１０ａ、第２スレーブ１１０ｂ、第３スレーブ１１０ｃをユーザの身体に取り付ける例である。
【００３６】
図８に本実施形態の動作報知システム１ａを示す。本実施形態においては、図８に示すように、ホスト１００にはモーションセンサーは備えられていない。スレーブの数を適宜変更可能なところは第１実施形態と同様である。本実施形態のように構成した場合でも、ユーザの身体に取り付けた各スレーブのモーションセンサーの検知結果をモーションライブラリに基づいてモーションＩＤとして解析し、デコードしたモーションＩＤと解析したモーションＩＤとの一致判定の結果についてフィードバックを与えることができるので、通常のＤＶＤ等の映像音声媒体の再生機器を用いて、より効果的で一方的ではないシステムを提供することができる。
【００３７】
＜第３実施形態＞
次に、本発明の第３実施形態について図９を参照して説明する。上述した各実施形態においては、モーションライブラリ７０に予めモーション情報を記録しておいた例について説明したが、本実施形態は、ＤＶＤ等の映像音声媒体に音響透かしとしてモーション情報を記録しておき、ＤＶＤ等の映像音声媒体の再生音をデコードして、モーション情報をモーションライブラリ７０に記憶させる例である。
【００３８】
図９に本実施形態の動作報知システム１ｂを示す。図９に示すように、本実施形態においては、音響透かしデコード部４０によってモーションライブラリ７０へのアクセスが可能に構成されている。モーションライブラリ７０に記憶させるモーション情報（具体的には図３に示す情報、すなわち、モーションＩＤと基準となる動作の内容を特定する情報。）は、例えば、本編が始まる前のタイトルの部分に音響透かしとして重畳させておく。ＤＶＤ等の映像音声媒体の再生が開始され、タイトルの部分が再生されると、音響透かしデコード部４０は音響透かしとして重畳されているモーション情報をデコードし、モーションライブラリ７０に記憶させる。即ち、音響透かしデコード部４０は、デコードした基準となる動作の内容を特定する情報と当該情報を識別する識別情報とをモーションライブラリに記憶させるデコード部として機能する。これ以降は、第１実施形態と同様に、モーションＩＤとタイミング情報をデコードしてタイミング動作判定部５０に出力する。また、動作判定部２０はモーションライブラリ７０のモーション情報を参照してモーションＩＤを出力する。
【００３９】
本実施形態によれば、モーション情報についてもＤＶＤ等の映像音声媒体に音響透かしとして記録するようにしたので、モーションライブラリ７０を手動で更新又は変更する必要がなく、利便性を高めることができる。なお、本実施形態においても、第２実施形態のようにホスト１００からモーションセンサー１０を取り除いてもよい。
【００４０】
＜第４実施形態＞
次に、本発明の第４実施形態について図１０を参照して説明する。上述した各実施形態においては、解析結果のモーションＩＤとデコード結果のモーションＩＤとの一致判定の結果、更にはタイミングの判定結果をフィードバックする例について説明したが、本実施形態は、解析結果のモーションＩＤについても出力する。
【００４１】
図１０に本実施形態の動作報知システム１ｃを示す。図１０に示すように、本実施形態においては、動作判定部２０の出力がハードディスクドライブ等の外部出力機器２０２に入力されるように構成されている。本実施形態は、動作判定部２０から解析結果のモーションＩＤが出力されると、当該モーションＩＤは、タイミング動作判定部５０と外部出力機器２０２の双方に入力される。外部出力機器２０２は入力したモーションＩＤをタイミング動作判定部５０が出力する時間情報と共に記憶するように構成されている。したがって、本実施形態によれば、ユーザの動作に対するフィードバックが可能なだけでなく、ユーザの動作をログとして蓄積することができる。したがって、ログを解析することにより、ユーザの動作が正解の動作とどのように違ったのかを確認することができる。また、モーションＩＤを外部に出力することにより、ユーザの動作に応じて情報を出力するモーションインターフェースとしても使用することが可能になる。なお、本実施形態においても、第２実施形態のようにホスト１００からモーションセンサー１０を取り除いてもよい。また、第３実施形態のようにモーションライブラリを映像音響媒体の音響透かしで設定してもよい。さらに、第２、第３実施形態のように、ホスト１００からモーションセンサー１０を取り除いて、モーションライブラリを映像音響媒体の音響透かしで設定してもよい。
【００４２】
＜第５実施形態＞
次に、本発明の第５実施形態について図１１を参照して説明する。上述した各実施形態においては、手本となる映像等の動作及び音は、ＤＶＤ等の映像音声媒体に記録される例について説明したが、本実施形態においては、ホスト１００内に手本となるモーションＩＤとタイミング情報を出力する出力部を備える例である。
【００４３】
図１１に本実施形態の動作報知システム１ｄを示す。図１１に示すように、ホスト１００には、手本となるモーションＩＤとタイミング情報を出力するモーションＩＤ出力部３００が備えられている。モーションＩＤ出力部３００は、単にモーションＩＤとタイミング情報だけを出力するのではなく、例えば、テンポを示す音や光を出力するように構成してもよい。このように構成すれば、ＤＶＤ等の映像音声媒体の再生音を収音することなく、動作報知システム１ｄのみで、手本となる音や光に対するユーザの反応をフィードバックすることができる。なお、本実施形態においても、第２実施形態のようにホスト１００からモーションセンサー１０を取り除いてもよい。また、モーションＩＤ出力部３００と外部入力機器２００または別の外部入力機器とを接続可能に構成し、モーションＩＤ出力部３００に記憶されているモーションＩＤとタイミング情報を書き換えるようにしてもよい。
【００４４】
＜第６実施形態＞
次に、本発明の第６実施形態について図１２を参照して説明する。上述した各実施形態においては、モーションセンサーを用いてユーザの動作を解析する例について説明したが、本実施形態では、モーションセンサーを使用せず、手本となる動きを報知情報生成部によりユーザに知らせる例である。
【００４５】
図１２に本実施形態の動作報知システム１ｅを示す。図１２に示すように、本実施形態の動作報知システム１ｅは、複数の受信装置１２０を備えている。受信装置１２０は、音響透かしデコード部４０と、タイミング動作判定部５１と、報知情報生成部６１と、モーションライブラリ７０と、装置位置入力部４００とを備えている。
【００４６】
装置位置入力部４００は、受信装置１２０をユーザの身体のどの部分に装着したのかを入力する機能を有する。本実施形態においては、例えば、受信装置１２０をユーザの両手両足に取り付け、ユーザが装置位置入力部４００を用いて、受信装置１２０を取り付けた位置を、「右手」、「左手」、「右足」、「左足」のように入力する。装置位置入力部４００は、スイッチ、あるいはタッチパネル等で実現することができる。
【００４７】
音響透かしデコード部４０は、上述した各実施形態のホスト１００における音響透かしデコード部４０と同様に、ＤＶＤ等の映像音声媒体の再生音に含まれる音響透かしをデコードし、モーションＩＤとタイミング情報を出力する。
【００４８】
タイミング動作判定部５１は、上述した各実施形態のホスト１００におけるタイミング動作判定部５０と同様に、音響透かしデコード部４０から出力されるモーションＩＤとタイミング情報を登録する機能を有する。しかし、各実施形態のホスト１００におけるタイミング動作判定部５０のように、解析結果のモーションＩＤとの比較判定は行わない。本実施形態のタイミング動作判定部５１は、モーションライブラリ７０のモーション情報を参照し、登録したタイミングになった時に、登録したモーションＩＤの動作の内容を読み取り、その内容が、装置位置入力部４００によって入力された位置の動作に該当する場合には、フィードバックの生成指示信号を報知情報生成部６１に出力する。例えば、あるモーションＩＤの動作の内容が「右手を右側に移動させる」という内容を含み、装置位置入力部４００によって入力された位置が「右手」であった場合には、フィードバック信号の生成指示信号を報知情報生成部６１に出力する。
【００４９】
報知情報生成部６１は、上述した各実施形態のホスト１００におけるフィードバック生成部６０と同様の構成である。即ち、タイミング動作判定部５１から出力される生成指示信号に応じて、例えば振動を発生させることによりユーザに対して動作に関する報知を行う。但し、報知情報生成部６１は、音声再生部や音声合成部、ＬＥＤコントローラ、あるいは記録部と送信部で構成してもよい。
【００５０】
以上のような本実施形態の動作報知システム１ｅの受信装置１２０をユーザの両手両足に装着し、例えばフィットネス系のＤＶＤ等の映像音声媒体を再生すると、音響透かしとして記録されたモーションＩＤとタイミング情報がデコードされ、当該タイミング情報が示すタイミングにおいて、動かすべき位置の受信装置１２０が振動する。したがって、ユーザは、両手両足のうちのいずれかを、どのタイミングで動かすのかを知ることができる。このように、本実施形態によれば、ＤＶＤ等の映像音声媒体を視聴しただけでは分り難い動きの場合でも、的確にユーザに対して動かす箇所とタイミングを知らせることができる。
【００５１】
なお、受信装置１２０は常に複数台を使用する必要はなく、１台のみを使用してもよい。また、１台の受信装置１２０をホストとして使用すると共に、他の受信装置１２０をスレーブとして使用し、ホストからスレーブに対して通信によりフィードバックの生成指示信号を送信するようにしてもよい。また、第３実施形態のように、モーションライブラリ７０を音響透かしにより書き換えられるように構成してもよい。
【００５２】
＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、以下に述べる各種の変形が可能である。また、各変形例と上述した実施形態は適宜組み合わせることができる。
【００５３】
（１）上述した各実施形態においては、音響透かしを用いてモーションＩＤやタイミング情報、あるいはモーション情報を、本来のコンテンツの音声に重畳する例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、映像透かしを用いることができる。映像透かしとしては、例えば、視聴者が気付かない程度の濃淡の差を映像に表すような方式が挙げられる。映像透かしを採用する場合には、音響透かしデコード部の代わりに、再生映像から映像透かしをデコードする映像透かしデコード部を備える必要がある。
【００５４】
（２）上述した各実施形態においては、音響透かしを用いて、モーションＩＤやタイミング情報を、本来のコンテンツの音声に重畳する例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、正解のタイミング情報と正解のモーションＩＤについてはホスト１００や受信装置１２０に記憶させておき、音響透かし等を用いて適宜同期タイミングのみをＤＶＤ等の映像音声媒体の再生音または再生映像に含ませるようにしてもよい。
【００５５】
（３）上述した各実施形態においては、ＤＶＤ等の映像音声媒体の映像を伴う再生音に、モーションＩＤやタイミング情報を含ませる例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、例えばラジオ体操のように音声または音楽だけのコンテンツにモーションＩＤやタイミング情報を含ませるようにしてもよい。あるいは、音声を伴わない映像のみのコンテンツにモーションＩＤやタイミング情報を含ませるようにしてもよい。また、音響透かしを埋め込んだ非可聴音を映像のみのコンテンツと一緒に再生してもよい。
【００５６】
（４）上述した各実施形態においては、フィードバックとして、音や光の他、振動を用いる例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、タイミングと動作の正確さ、あるいは動作の大きさ等に応じて、何等かの特典を与えるようなフィードバックを採用してもよい。
【００５７】
（５）上述した各実施形態においては、デコード結果のモーションＩＤと、解析結果のモーションＩＤとを比較することにより、正しい動きが出来ているかどうかを判定する例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、「右の腰を上げる」などのコマンド的な情報をＤＶＤ等の映像音声媒体に音響透かしや映像透かしで記録しておき、解析結果のモーションＩＤ又はモーションＩＤの組み合わせにより、前記コマンド的な情報が示す動きに合致しているかどうかを判定するようにしてもよい。この場合には、前記コマンド的な情報と前記モーションＩＤとの関係を予めタイミング動作判定部５０に記憶させておけばよい。
【００５８】
（６）上述した各実施形態においては、音響透かしデコード部４０に情報を入力する手段として、マイクを用いた例について説明したが、本発明はこのような例に限定されるものではない。例えば、映像透かしを用いる場合には、カメラや光センサーを用いてもよい。
【００５９】
（７）上述した各実施形態においては、モーションセンサーをホストやスレーブの内部に備える例について説明したが、本発明はこのような例に限定されるものではない。例えば、外付けのモーションセンサーを、ホストやスレーブに取り付けるようにしてもよい。
【００６０】
（８）上述した各実施形態においては、フィードバックとして、ホストやスレーブから音や光を出力したり、あるいは受信装置を振動させる例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、ホストやスレーブ、あるいは受信装置に、スピーカやライト等の外部機器を接続してフィードバックの出力を行うようにしてもよい。
【符号の説明】
【００６１】
１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ…動作報知システム、１０，１１１…モーションセンサー、２０…動作判定部、３０…受信部、４０…音響透かしデコード部、５０，５１…タイミング動作判定部、６０…フィードバック生成部、７０…モーションライブラリ、８０…個人データライブラリ、９０…設定部、１００…ホスト、１１０ａ，１１０ｂ，１１０ｃ…スレーブ、１１２…送信部、１２０…受信装置、２００…外部入力機器、２０１…マイク、２０２…外部出力機器、３００…モーションＩＤ出力部、４００…装置位置入力部。
【図１】
2015171472.tif 000003
【図２】
2015171472.tif 000004
【図３】
2015171472.tif 000005
【図４】
2015171472.tif 000006
【図５】
2015171472.tif 000007
【図６】
2015171472.tif 000008
【図７】
2015171472.tif 000009
【図８】
2015171472.tif 000010
【図９】
2015171472.tif 000011
【図１０】
2015171472.tif 000012
【図１１】
2015171472.tif 000013
【図１２】
2015171472.tif 000014