(57)【要約】      （修正有）【課題】１人または複数人の学習者の全身運動が的確に表示・評価されるダンス教習装置の提供。【解決手段】楽曲データ、キャラクターデータ及びその動作データを記憶する記憶手段、学習者の身体各部の動きを認識するセンサー手段、キャラクターによる模範ダンスと学習者のダンスを併せて表示可能な表示手段、楽曲を音として提示する、音響手段、通信回線を介してサーバーから前記各データを受信し、必要に応じて学習者のダンスを送信する通信手段、入出力手段及びこれらの制御手段を備える。【選択図】なし【特許請求の範囲】
【請求項１】
楽曲データ、キャラクターデータ及びその動作データを記憶する記憶手段、学習者の身体各部の動きを認識するセンサー手段、キャラクターによる模範ダンスと学習者のダンスを併せて表示可能な表示手段、楽曲を音として提示する、音響手段、通信回線を介してサーバーから前記各データを受信し、必要に応じて学習者のダンスを送信する通信手段、入出力手段及びこれらの制御手段を備えるダンス教習装置。
【請求項２】
学習者を認識するセンサー手段が学習者の身体各部の動きを検知・識別する機能と深度センサーを備えており、これにより、学習者の身体各部の動きを３次元的に認識可能である請求項１に記載のダンス教習装置。
【請求項３】
さらに学習者のダンスを撮影する撮影手段を備えている請求項１または２に記載のダンス教習装置。
【請求項４】
学習者のダンススペースとして床及びこれを囲む壁または柱を備え、前記撮影手段として複数個所から学習者のダンスを撮影する複数の撮影手段を備えている請求項３に記載のダンス教習装置。
【請求項５】
表示手段に表示される学習者が、撮影手段により撮影された映像であるか前記センサー手段により認識された学習者の身体各部の動きを３次元的に再構成して学習者またはキャラクターの動きとして表示した映像である請求項１〜４のいずれかに記載のダンス教習装置。
【請求項６】
撮影手段により撮影された映像または前記センサー手段により認識された学習者の身体各部の動きを模範ダンスの動作データと比較して得点を付与する請求項１〜５のいずれかに記載のダンス教習装置。
【請求項７】
撮影手段により撮影された映像であるか前記センサー手段により認識された学習者の身体各部の動きを３次元的に再構成して学習者またはキャラクターの動きとして表示した映像が、ユーザー映像、模範映像またはコンテスト参加映像としてサーバーに登録可能である請求項１〜６のいずれかに記載のダンス教習装置。
【請求項８】
前記ユーザー映像、模範映像またはコンテスト参加映像としてサーバーに登録された映像に対し、会員ユーザーがコメントをつけることができる請求項７に記載のダンス教習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一人または複数人の学習者が実演可能なダンス教習装置に関する。
【背景技術】
【０００２】
２０１２年度からダンスが中学校保健体育の必修授業に組み込まれることになり、ダンス練習への需要が高まっている。特に楽しみながら練習できる手段が求められている。
【０００３】
従来、ダンスを楽しみながら練習できるゲームとして、ダンスゲームがアーケイドゲーム機、家庭用ゲーム機で実用化されている。こうしたダンスゲームは、曲に合わせて、画面上を移動する矢印等のサインが表示され、ステップを示すマークと重なった瞬間に、対応する床のボタンを踏んだり押したりことで得点となるものである。曲中にはさまざまなステップが組み合わされており、学習者は曲に合わせて、正確にステップを踏めないと、ゲームオーバーになったり、減点となったりするように構成されている。また、最近は上半身の動きを含め全身運動に対応したものもある。
【０００４】
しかし、近年は、複数のアーティストによる集団的なダンスが多く、また、複数の学習者が同時にダンス練習をする場合には、上記のゲームでは十分に対応できない。また、家庭用ゲーム機では、いくつかの曲をまとめてパッケージで販売するのが通常であり、新しい曲の練習をしようとすると新しいソフトやハードを購入しなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、学習者の全身運動が的確に表示・評価されるダンス教習装置が求められている。また、複数人の学習者が同時に実演しても各人の全身運動が的確に表示・評価されるダンス教習装置が求められている。さらに、専用ハード・ソフトを購入する必要なしで、新しい曲を次々と練習できることが好ましい。本発明は、上記課題の解決を目的とするものである。
【課題を解決するための手段】
【０００６】
本発明者らは、上記課題の解決手段を検討し、以下の発明を完成するに至った。
［１］  楽曲データ、キャラクターデータ及びその動作データを記憶する記憶手段、学習者の身体各部の動きを認識するセンサー手段、キャラクターによる模範ダンスと学習者のダンスを併せて表示可能な表示手段、楽曲を音として提示する、音響手段、通信回線を介してサーバーから前記各データを受信し、必要に応じて学習者のダンスを送信する通信手段、入出力手段及びこれらの制御手段を備えるダンス教習装置。
［２］  学習者を認識するセンサー手段が学習者の身体各部の動きを検知・識別する機能と深度センサーを備えており、これにより、学習者の身体各部の動きを３次元的に認識可能である前記［１］に記載のダンス教習装置。
［３］  さらに学習者のダンスを撮影する撮影手段を備えている前記［１］または［２］に記載のダンス教習装置。
［４］  学習者のダンススペースとして床及びこれを囲む壁または柱を備え、前記撮影手段として複数個所から学習者のダンスを撮影する複数の撮影手段を備えている前記［３］に記載のダンス教習装置。
［５］  表示手段に表示される学習者が、撮影手段により撮影された映像であるか前記センサー手段により認識された学習者の身体各部の動きを３次元的に再構成して学習者またはキャラクターの動きとして表示した映像である前記［１］〜［４］のいずれかに記載のダンス教習装置。
［６］  撮影手段により撮影された映像または前記センサー手段により認識された学習者の身体各部の動きを模範ダンスの動作データと比較して得点を付与する前記［１］〜［５］のいずれかに記載のダンス教習装置。
［７］  撮影手段により撮影された映像であるか前記センサー手段により認識された学習者の身体各部の動きを３次元的に再構成して学習者またはキャラクターの動きとして表示した映像が、ユーザー映像、模範映像またはコンテスト参加映像としてサーバーに登録可能である前記［１］〜［６］のいずれかに記載のダンス教習装置。
［８］  前記ユーザー映像、模範映像またはコンテスト参加映像としてサーバーに登録された映像に対し、会員ユーザーがコメントをつけることができる前記［７］に記載のダンス教習装置。
【発明の効果】
【０００７】
ダンスを楽しみながら練習できるダンス練習手段を提供することができる。
【発明を実施するための形態】
【０００８】
以上の目的を達成するため、下記の発明を開示する。  
【０００９】
本発明のダンス教習装置は、記憶手段、センサー手段、表示手段、音響手段、通信手段、入出力手段及びこれらの制御手段を備え、以下のように構成される。  
【００１０】
記憶手段は、楽曲データ、キャラクターデータ及びその動作データを記憶する。
【００１１】
楽曲データは、典型的には、ＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）形式やＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３）形式、Ｏｇｇ  Ｖｏｒｂｉｓ形式など、音の波形をコンピューターで扱えるようなデータにしたデータ列である。ただし、本発明の音響装置が電子楽器音源を備える場合は、ＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）形式など、電子楽器に演奏指示を出すためのコマンド列を楽曲データとしてもよい。
【００１２】
キャラクターデータは、表示手段においてダンスの模範演技を行ったり、学習者の代わりに表示されるキャラクターのデータである。キャラクターはＣＧで描かれ人体に類似した骨格を有するイメージであり、現実の男性または女性を模した姿、動物、ロボット、映画や小説、アニメやマンガの登場人物、ボーカロイド等が挙げられる。
【００１３】
動作データは、楽曲ごとに、身体各部の動きを曲の進行に応じて記録したデータである。例えば、主要な関節等、骨格の要部を示す３次元座標とそれらから身体末端に伸びる四肢や頭部、指先等の角度データ等が含まれる。
【００１４】
記憶手段は以上のほか、様々なインストラクションや後述するコメントデータや学習者を識別したり課金情報等の装置運用上のデータを記憶してもよい。ここで、インストラクションとは、例えば、装置の操作に関するチュートリアルや、各楽曲データに応じた学習者のダンス動作を案内する指示情報等である。
【００１５】
センサー手段は、学習者の身体各部の動きを認識するものであり、例えば、赤外線センサー、超音波センサー、可視光センサー等を含む。床にもセンサーを設ける場合は圧力センサーも含まれる。なお、ここでいうセンサー手段は、その名称に関わらず前記のようなセンサーから得た情報を解析する手段を含んでもよいが、センサー手段で得たデータを後述する制御手段で解析する構成としてもよい。
【００１６】
センサー手段は、第一に学習者を認識する。これは、学習者がセンサー手段の前に正立したり動くことによりその身体像を把握することにより行われる。身体像の把握は慣用の画像認識方法を用いて行われる。例えば、頭部、両肩、肘関節、手関節、指関節、腰、膝関節、足首関節等の座標を取得して人体モデルを構築する。第二にセンサー手段は学習者の動きを、前記各部の動きとして把握し、ダンス動作中、学習者の身体各部の動きを検知・識別する（以下、「トラッキング」ともいう）。この際、センサー手段と学習者との間の距離は深度センサーにより推定することが望ましい。深度センサーの構成は特に限定されるものではないが、赤外線の点パターンを照射しそれを撮影することで、対象の形状変化をそのパターン変化から取得する、深度（各点の奥行き）を含めた画像である「距離画像」の取得方法が挙げられる。ダンス中の学習者の動きは、上記センサーで得られた一定時間ごとの検出データを用いて、運動力学的な拘束と、時間的な一貫性が保たれるように、３次元での各部位の配置（関節結合）を抽出し、関節結合の仮説モデルを複数構築し、最終的に実際の人間の骨組み（スケルトン）の動きを推定する。このようなセンサー手段の例としては、Ｋｉｎｅｃｔが挙げられるが、経時的、３次元的に学習者の動きをトラッキングできるのであれば、他の、または将来的に開発されるセンサー手段も含まれる。
【００１７】
なお、センサー手段は、学習者ごとにスケルトンモデルを構築することにより、複数の学習者を認識してその動きをトラッキングできるが、複数の同体形の学習者が錯綜して動く場合には完全な個別のトラッキングは難しい。そのため、学習者のダンススペースとして床及びこれを囲む壁または柱を備え、前記撮影手段として複数個所から学習者のダンスを撮影する複数の撮影手段を備えることにより、深度センサー以外の補助データを加えることが好ましい。床に圧力センサーを設けてもよいことは前述の通りである。この床はマット状の移動可能なものとすることもできる。
【００１８】
また、センサー手段自体が撮影手段であってもよいが、センサー手段とは別に撮影手段を備えてもよい。このような撮影手段としてはＣＣＤ等を備えたデジタルビデオカメラが挙げられる。
【００１９】
表示手段は、キャラクターによる模範ダンスと学習者のダンスを併せて表示可能な表示装置であり、液晶ディ実演、プラズマディスプレイその他の平面ディスプレイが挙げられる。キャラクターによる模範ダンスと学習者のダンスとは任意の形態で表示できる。典型的には、左右や上下に両者を並べて表示するが、いずれか一方をワイプ表示したり、複数表示したりしてもよい。また、模範ダンスについては、次に来る１または複数の動きを先行して表示してもよい。
【００２０】
また、表示は、３Ｄ映像やＡＲ映像でもよい。
【００２１】
音響手段は楽曲を音として提示する装置であり、典型的にはスピーカーやヘッドフォン等である。楽曲がＭＩＤＩデータで記憶されている場合は音響手段として電子楽器音源を用いることもできる。
【００２２】
通信手段は、前述の様々なデータをサーバーからダウンロードしたり、学習者のダンス映像をサーバーにアップロードするためのものであり、通常、インターネットを通じて通信が行われる。これらの他に個人認識や課金情報等の通信にも用いられる。なお、本発明においてサーバーとは、インターネット等の通信可能なネットワーク上に設置されたデータの記憶・送受信が可能な１以上のコンピューターを指し、特定の１台のコンピューターを指すものではない。
【００２３】
入出力手段は、本発明の装置に対し、上記のセンサー手段や撮影手段、表示手段や通信回線以外の入出力インターフェースであり、例えば、プリンターへの出力、キーボードからの入力を含む。好ましくは、専用リモコン、携帯電話、スマートフォン、タブレット等の携帯端末からのリモコン操作を受け入れるための入出力インターフェースである。このようなリモコン操作は、専用リモコンの場合は、直感的なアイコンボタン等により、携帯端末の場合は、直感的なアイコンを備えたアプリ等により実現されることが好ましい。
【００２４】
制御手段は、上記の一連の装置の制御をなすものであり、典型的には、記憶手段通信手段、入出力手段とともに一体をなすコンピューターである。もっとも、制御手段と他の手段との組み合わせは特に限定されるものではない。
【００２５】
以下、制御手段による本発明の装置の動作について説明する。
まず、本発明の装置は会員モード及びゲストモードとして動作可能である。会員モードとは、予め登録された学習者による実演であり、ゲストモードは一時的に実演する学習者のためのモードである。
【００２６】
制御手段は、基本的には、会員モード及びゲストモードの別をリモコン操作等で受け付ける。会員モードの場合、会員番号やパスワード等のログインデータを要求する。ログインデータを受け付けるとその認証を行い（必要に応じて認証サーバーにアクセスする）、以後は特定の会員と関連づけて操作を行う。ゲストモードの場合、ログインはない。
【００２７】
いずれにせよ、練習手段開始の信号（一般的には前記のリモコン操作による）を受け付けると、記憶手段から再生可能な楽曲データを検索し、表示手段へ出力する。学習者はその中から希望のものを選択し、あるいは、検索操作を行う（これも一般的には前記のリモコン操作による）。検索の結果、希望のダンス楽曲がない場合は、前記通信手段を通じてサーバーに接続し、サーバーにおいてダンス楽曲を検索し、データがある場合にはダウンロードを行い、ない場合にはその旨を表示手段に表示する。
【００２８】
また、本発明では、学習者のダンス動作を案内する指示情報（模範ダンス）と学習者自身の映像が、特定のキャラクターにより表示可能であるが、学習者は設定段階でそのようなキャラクターを選択する。模範ダンスと仮想学習者のキャラクターは同一でも異なっていてもよい。ここで、仮想学習者とは、学習者（複数の学習者がいる場合には学習者ごと）が選択したキャラクターにより、表示手段上に、制御手段にて生成された当該キャラクター情報で再構成された学習者を言う。仮想学習者は、学習者自身が、自ら選べるようになっており、前述のように様々なキャラクターを含む。さらに、性別、身長などの変更や、服装やアクセサリーまで、学習者自身が決めることができる。なお、これらの情報は、会員モードでは記憶手段に格納されているか、サーバーを介して受信可能であり、その情報に基づいて、使用するダンス練習手段に関わらず、常に一定のキャラクターを再現できる。同様に、実演画面も、ステージ上、街中、水上、砂漠等、さまざまなステージを学習者自身が、選択することができる。  
【００２９】
なお、本発明のダンス教習装置は、複数の学習者のダンスを受け付けるモードと、１人の学習者のダンスを受け付けるモードとを有する。また、模範ダンスの種類（１楽曲に対し模範ダンスデータが複数ある場合）、ダンス評価の難易度や楽曲のスピードその他の設定を行う。
【００３０】
かくして、学習者が望むダンス楽曲が見つかり、上記の諸設定が完了すると、これを再生するとともに、その楽曲データに応じた、かつ、学習者のダンス動作を案内する指示情報を伴う画面データ（キャラクターの模範ダンス）を表示手段へ出力する。すなわち、制御手段は、記憶手段から音響データを（典型的には先頭から）順次読み出し、必要があれば圧縮された音響データを展開し、あるいは、コマンドとして解釈した後、波形データを得て、これをスピーカー等の音響手段から出力する。ここで再生される音波形が、本練習手段において学習者に与えられるダンス楽曲である。
【００３１】
なお１人の学習者のダンスを受け付けるモードが選択された場合には、撮影手段による学習者の実映像や制御手段が生成した仮想学習者のダンスデータを表示手段に出力する。この際、複数の学習者（ダンスメイト）のダンス動作として表示してもよい。複数学習者モードが選択された場合には、画面表示は、複数の学習者に対応する複数の仮想学習者（キャラクターによって再構成された複数学習者）情報を含む。もっとも、制御手段は、複数の学習者のうちから１人の学習者のキャラクターを選択して、時間ごとに当該キャラクターについてのみ情報を出力してもよい。
【００３２】
学習者がダンスを踊っている間、センサー手段は学習者の動きをトラッキングし、表示手段に仮想学習者像として表示する。また、撮影手段が別にある場合には学習者の動きを実映像として表示してもよい。
【００３３】
制御手段は、キャラクターの模範ダンスと学習者のダンスとをポイントごとに比較する。比較ポイントは、例えば、ステップや上半身の動きのうちダンスのポイントとなる動き等である。これらの比較ポイントは、一致する場合には加点され、あるいは不一致の場合は減点される。さらに、動きの切れや複雑な一連の動きについて加点される特別ポイントを設けてもよい。これらの加点や減点は該当するタイミングにおいて「Ｅｘｃｅｌｌｅｎｔ！」「Ｇｏｏｄ！」や「Ｂａｄ！」といった文字やキャラクターの表情等で実演中、リアルタイムに表示することが望ましい。また、これらの表示タイミングに合わせてチャイムのような評価音を発生させてもよい。
【００３４】
最終的に、楽曲データおよび動作データに基づいて作成されているダンスデータと、学習者のダンスデータを比較して、学習者のダンス動作の評価データを作成し、当該評価データ（スコア）を表示手段に出力し、当該評価データに応じたコメントを、表示手段に出力する。複数の学習者モードでは、学習者ごとにコメントやスコアを表示する。複数の学習者のダンスが、所定の期間中において、同じタイミングで、かつ、同じ方向の動作が所定のタイミングで生じた場合に、シンクロ率として全体評価するようにしてもよい。同様に、本来、複数のダンサーによって踊られる楽曲に関しては、それぞれのダンサーごとの動作との比較を行って、ダンスチームとしての全体評価を行ってもよい。
【００３５】
また、ダンスの終了後、制御手段は、学習者の操作に基づいたり、または特定のきっかけに応じて、学習者や模範ダンス映像をリ実演したり、別の角度から表示したり、パンやズームアップ等の映像編集を行うこともできる。
【００３６】
ダンス教習装置は、レベルに応じたモードの選択機能があり、当該選択により、制御手段は、楽曲データの曲中の所定箇所の動作を予め定義している判定データを、変更してもよい。  また、学習者のダンス結果（成績）は前記の記憶手段やサーバーに記憶され、学習者のダンス動作の所定期間の履歴情報を基に、コメントを表示手段に出力してもよいし、当該装置の登録データやサーバーに登録された地域または全国データに基づいてランキングを表示してもよい。
【００３７】
本発明のダンス教習装置では、学習者のダンスの実映像や仮想学習者（キャラクターによって再構成された学習者）のダンス映像が好ましくはユーザー映像、模範映像またはコンテスト参加映像としてサーバーに登録可能である。ユーザー映像は、例えば、動画サイト等に公開できるようにしたり、所定のサークルにおいて相互に鑑賞できるようにするものである。模範映像も基本的には同様であるが、この場合、そのデータをダンス練習手段自体の模範ダンスとして登録できる点が異なる。このように構成することで、学習者は、楽曲データに合わせて予め定められたダンス実演を行うだけではなく、学習者自身が、楽曲に合わせてまったく自由に踊り、さらに、他のユーザーに対して自らのダンス（振付）を提案することが可能になる。また、コンテスト参加映像は、一定の課題ダンスやフリーダンスについてその優劣を競うためのものである。あるいは、インターネットで接続されたダンス練習手段が、ネットに接続した他の学習者やチームと対戦するように構成してもよい。このように構成することで、よりインタラクティブなダンス練習手段が可能となる。  
【００３８】
また、これらの映像に対し、一定の会員が他の会員の実演に対し、歓声や拍手、コメント等を投稿できるようにしてもよい。従って、本発明は、ダンス映像を中心としたＳＮＳをも提供する。
【００３９】
なお、本発明のダンス教習装置は家庭用ダンス教習装置として構成してもよいし、アーケイド練習手段装置として構成してもよい。これらの機器構成に応じて、本発明の装置は、慣用の変形や修正を含むことができる。例えば、家庭用ダンス教習装置の場合、学習者が、家庭用練習手段の電源を入れると、本発明は搭載された記録メディア（例えば、ＤＶＤ）の読み取りを受けて制御手段が処理を開始する。アーケイド練習手段装置では、学習者が、硬貨投入口から所定枚数の硬貨を投入して、それらの硬貨が真正なものと硬貨確認装置にて判断されると、硬貨確認装置は、制御手段へ練習手段開始信号を出力し、それを受けて制御手段は処理を開始する。
【産業上の利用可能性】
【００４０】
本発明のダンス教習装置は家庭においても、練習手段センターにおいても、また、ダンス教室においても設置可能なものであり、幅広い応用が可能である。
フォームの始まり