(57)【要約】【課題】耳の不自由な人が手軽に音楽に合わせてダンスを踊ったり、合奏を楽しむことができるリズム把握支援システムを提供すること。【解決手段】ユーザーがリズムを把握するのを支援するリズム把握支援システムであって、楽曲データが入力される入力部と、前記入力部に入力された前記楽曲データに基づいて、カウントパーソンが、前記楽曲データが再生された楽曲のリズムに誘導する補助動作を行うシミュレーション動画を生成するシミュレーション動画生成部と、前記シミュレーション動画生成部が生成した前記シミュレーション動画を表示する表示制御部と、を備えることを特徴とするリズム把握支援システム。【選択図】図１
2022003382.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーがリズムを把握するのを支援するリズム把握支援システムであって、
楽曲データが入力される入力部と、
前記入力部に入力された前記楽曲データに基づいて、カウントパーソンが、前記楽曲データが再生された楽曲のリズムに誘導する補助動作を行うシミュレーション動画を生成するシミュレーション動画生成部と、
前記シミュレーション動画生成部が生成した前記シミュレーション動画を表示する表示制御部と、を備えることを特徴とするリズム把握支援システム。
【請求項２】
前記補助動作は、前記楽曲のリズムに対し、時間的に先行してリズムを示す動作である請求項１に記載のリズム把握支援システム。
【請求項３】
前記シミュレーション動画生成部は、前記シミュレーション動画において、前記カウントパーソンの衣装、前記カウントパーソンの表情、前記カウントパーソンの種類、前記カウントパーソンの大きさ、前記カウントパーソンの声質、および、背景のうちの少なくとも１つを前記楽曲データに合わせて変更する請求項１または２に記載のリズム把握支援システム。
【請求項４】
前記シミュレーション動画は、前記カウントパーソンとともに、前記カウントパーソンとは別のメインパーソンが前記楽曲データのリズムに合わせてダンスを行う動画である請求項１に記載のリズム把握支援システム。
【請求項５】
前記シミュレーション動画は、前記カウントパーソンと前記メインパーソンとが並んでいる動画である請求項４に記載のリズム把握支援システム。
【請求項６】
前記補助動作は、前記楽曲データのリズムに合わせて前記カウントパーソンが体の少なくとも一部を左右に揺動させる動作である請求項１ないし５のいずれか１項に記載のリズム把握支援システム。
【請求項７】
前記リズム把握支援システムは、聴覚障がい者が楽曲に合わせてダンスを踊る、または、合奏するのを支援するためのシステムである請求項１ないし６のいずれか１項に記載のリズム把握支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リズムを把握するためのリズム把握支援システムに関する。
【背景技術】
【０００２】
耳の不自由な人が音楽に合わせてダンスを踊るために、楽曲のリズムに誘導するような動作を行うカウントマンと呼ばれる人が知られている（例えば、非特許文献１参照）。
【０００３】
非特許文献１に示すカウントマンは、耳の不自由な人に対して、流れている楽曲のリズムに合わせるような動作、または、次の動作を示すようなジェスチャーを行う。耳の不自由な人は、カウントマンのジェスチャーを見ながらダンスを行うことにより、楽曲が十分に聞こえていなくても楽曲のリズムに合わせてダンスを行うことができる。
【０００４】
しかしながら、カウントマンが行うジェスチャーは、特殊な知識が必要な動作であり、誰しもがそのジェスチャーを行うことができる訳ではない。このため、カウントマンを用意し、耳の不自由な人が上述したようなダンスを手軽に踊って楽しむことが難しい。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】日本放送協会、［令和２年４月１５日検索］、インターネット＜ＵＲＬ：http://www6.nhk.or.jp/baribara/lineup/single.html?i=282＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、例えば耳の不自由な人が手軽に音楽に合わせてダンスを踊ったり、合奏を楽しむことができるリズム把握支援システムを提供することにある。
【課題を解決するための手段】
【０００７】
このような目的は、下記（１）〜（７）の本発明により達成される。
（１）  ユーザーがリズムを把握するのを支援するリズム把握支援システムであって、
楽曲データが入力される入力部と、
前記入力部に入力された前記楽曲データに基づいて、カウントパーソンが、前記楽曲データが再生された楽曲のリズムに誘導する補助動作を行うシミュレーション動画を生成するシミュレーション動画生成部と、
前記シミュレーション動画生成部が生成した前記シミュレーション動画を表示する表示制御部と、を備えることを特徴とするリズム把握支援システム。
【０００８】
（２）  前記補助動作は、前記楽曲のリズムに対し、時間的に先行してリズムを示す動作である上記（１）に記載のリズム把握支援システム。
【０００９】
（３）  前記シミュレーション動画生成部は、前記シミュレーション動画において、前記カウントパーソンの衣装、前記カウントパーソンの表情、前記カウントパーソンの種類、前記カウントパーソンの大きさ、前記カウントパーソンの声質、および、背景のうちの少なくとも１つを前記楽曲データに合わせて変更する上記（１）または（２）に記載のリズム把握支援システム。
【００１０】
（４）  前記シミュレーション動画は、前記カウントパーソンとともに、前記カウントパーソンとは別のメインパーソンが前記楽曲データのリズムに合わせてダンスを行う動画である上記（１）ないし（３）のいずれかに記載のリズム把握支援システム。
【００１１】
（５）  前記シミュレーション動画は、前記カウントパーソンと前記メインパーソンとが並んでいる動画である上記（４）に記載のリズム把握支援システム。
【００１２】
（６）  前記補助動作は、前記楽曲データのリズムに合わせて前記カウントパーソンが体の少なくとも一部を左右に揺動させる動作である上記（１）ないし（５）のいずれかに記載のリズム把握支援システム。
【００１３】
（７）  前記リズム把握支援システムは、聴覚障がい者が楽曲に合わせてダンスを踊る、または、合奏するのを支援するためのシステムである上記（１）ないし（６）のいずれかに記載のリズム把握支援システム。
【発明の効果】
【００１４】
本発明によれば、例えば耳の不自由な人が手軽に音楽に合わせてダンスを踊ったり、合奏を楽しむことができるリズム把握支援システムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明のリズム把握支援システム（第１実施形態）の概略構成図である。
【図２】図２は、図１に示すリズム把握支援システムのブロック図である。
【図３】図３は、シミュレーション動画の一例を示す図である。
【図４】図４は、シミュレーション動画の一例を示す図である。
【図５】図５は、シミュレーション動画の一例を示す図である。
【図６】図６は、シミュレーション動画の一例を示す図である。
【図７】図７は、シミュレーション動画の一例を示す図である。
【図８】図８は、本発明のリズム把握支援システム（第２実施形態）の概略構成図である。
【発明を実施するための形態】
【００１６】
以下、本発明のリズム把握支援システムを添付図面に示す好適な実施形態に基づいて詳細に説明する。
【００１７】
＜第１実施形態＞
図１は、本発明のリズム把握支援システム（第１実施形態）の概略構成図である。図２は、図１に示すリズム把握支援システムのブロック図である。図３〜図７は、シミュレーション動画の一例を示す図である。
【００１８】
図１に示すリズム把握支援システム１は、健常者（以下、「ユーザー１００」と言う）と、耳の不自由な人（軽度、重度問わず）、例えば加齢性難聴等による難聴者を含む聴覚障がい者（以下、「ユーザー２００」と言う）と、が楽曲に合わせてダンス（ラジオ体操等の体操等を含む）を踊る、または、合奏するのを支援するシステムである。換言すれば、リズム把握支援システム１は、ユーザー２００がダンスを踊る、または、合奏するのを支援するためのシステムである。なお、以下では、一例として、ユーザー２００がダンスを踊る場合について説明する。また、本発明は、耳が不自由でないが、ダンスが苦手な人、楽器の演奏でうまくリズムを把握することができない人が、リズムを把握するために用いることもできる。
【００１９】
なお、メインパーソンＡおよびカウントパーソンＢは、体の動きだけでは無く、楽器演奏音は勿論、歌声合成技術や、声合成技術による発話、発声による歌唱、号令、説明等を伴ってもよく、実際の人間による発話、発声による歌唱、号令、説明等を伴ってもよい。また、体の動きに合わせて、チャイム音などの効果音、または楽器演奏ロボットにより、ウッドブロックやトライアングル、タンバリン等の楽器が鳴っていてもよい。
【００２０】
また、耳が不自由な場合でも、空気や床などの振動などにより体でリズムを感じ取ることが出来る場合があるので、本システムで音を一緒に鳴らすことは、極めて意味があり、システムの機能として重要であり、そうしたことが出来ることは必要である。
【００２１】
図１および図２に示すように、リズム把握支援システム１は、楽曲を再生する再生部２と、楽曲に合わせて動画を表示する表示装置３と、これらの作動を制御する制御装置４と、設定入力装置５と、を備える。また、制御装置４は、ユーザー２００が楽曲のリズムを把握することができるように、再生部２が再生する楽曲に合わせたリズムに誘導する動画を生成し、表示装置３に表示させる。これにより、ユーザー２００でも楽曲に合わせてダンスを楽しむことができる。
【００２２】
なお、本明細書における「リズム」とは、テンポの変化は、もちろん、強弱の変化（徐々に強く、徐々に弱く等）を含む概念とする。
以下、詳細に説明する。
【００２３】
［再生部］
図１および図２に示すように、再生部２は、スピーカー２１を有する。
【００２４】
スピーカー２１は、制御装置４と電気的に接続されており、制御装置４から送信された楽曲データの電気信号を物理信号に変換して音を発して楽曲を再生するものである。この再生において、歌声合成技術や、声合成技術による発話、発声による歌唱、号令、説明等を伴ってもよく、実際の人間による発話、発声による歌唱、号令、説明等を伴ってもよい。
【００２５】
このスピーカー２１と制御装置４との通信は、無線、有線の何れであってもよい。また、スピーカー２１には、音量を調節する調節部が設けられていてもよい。
【００２６】
また、図示の構成では、再生部２が有するスピーカー２１は１つであるが、これに限定されず、再生部２が有するスピーカー２１は複数であってもよい。
【００２７】
また、再生部２は、スピーカー２１に代えて、例えば、イヤホンやヘッドホン等、ユーザーが装着する機器を用いてもよい。なお、この構成の場合、イヤホンやヘッドホンが接続されるジャックは、制御装置４が収納された筐体（図示せず）や、スピーカー２１に設けられた構成とすることができる。
【００２８】
［表示装置］
図１および図２に示すように、表示装置３は、投影装置３１と、スクリーン３２と、を有する。
【００２９】
投影装置３１は、例えば、光源を有する光出射装置である。この方式としては、特に限定されないが、液晶方式、ＤＬＰ方式、ＬＣＯＳ方式等が挙げられる。
【００３０】
図１に示すように、スクリーン３２は、投影装置３１から出射した映像光が投影される投影面を有する。スクリーン３２は、図示の構成では、折り畳み、または、巻回して収納、展開可能なシート状をなしている。
【００３１】
また、スクリーン３２は、図示のような反射型に限定されず、光と相互作用（反射、屈折、回折、発光、蛍光、燐光等）して、投影された映像が認識可能なものであれば、透過型であってもよい。
【００３２】
なお、本発明では、上記に限定されず、スクリーン３２の代わりに、例えば、ミストスクリーンを用いてもよく、建造物の壁等の壁面に投影する構成であってもよい。また、スクリーン３２を省略して、空中で映像光を結像させる構成であってもよい。また、映像は、プロジェクションマッピングの手法により透過型スクリーン中の対象物に投影してもよい。また、プロジェクションマッピングの手法を交えて、現実の物体の表面、蒸気、ミスト、飛沫、粉末、や液面にマッピングして投影してもよい。
【００３３】
また、表示装置３は、上記構成に限定されず、液晶、有機ＥＬ等の表示装置や、ヘッドマウントディスプレイ等のウェアラブルデバイスであってもよい。また、表示装置３は、映画等で用いる映写機であってもよい。
【００３４】
［制御装置］
図１および図２に示すように、制御装置４は、ＣＰＵ（Central Processing Unit）４１と、Ｉ／Ｏインターフェース（受信部）４２と、メモリー（記憶部）４３とを有している。
【００３５】
ＣＰＵ４１は、メモリー４３に記憶された複数のモジュールや、各種プログラム等を実行する。複数のモジュールは、論理ゲート、半導体デバイス、集積回路または他のどのような個別部品を含むハードウエア回路における内蔵コンポーネントを含んでいてもよい。また、モジュールは、ソフトウェアプログラムの一部であってもよい。ソフトウェアプログラムとしてのモジュールの実行は、ＣＰＵ４１または他のどのようなハードウェアエンティティによって実行されるべき論理演算命令のセットを含んでいてもよい。また、モジュールは、インターフェースを用いて、命令やプログラムのセットで具現化されていてもよい。
【００３６】
Ｉ／Ｏインターフェース４２は、他の通信機器（再生部２、表示装置３等）と通信を行うためのものである。Ｉ／Ｏインターフェース４２としては、特に限定されないが、音声、アナログ、デジタル、モノラル、ＲＣＡ、ステレオ、ＩＥＥＥ−１３９４、シリアルバス、ユニバーサルシリアルバス（ＵＳＢ）、赤外線、ＰＳ／２、ＢＮＣ、同軸コンポーネント、コンポジット、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）（登録商標）、ＲＦアンテナ、Ｓ−ビデオ、ＶＧＡ、ブルートゥース（登録商標）、Ｃｅｌｌｕｌａｒ（例えば、ＣＤＭＡ（Ｃｏｄｅ−Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ＨＳＰＡ＋（Ｈｉｇｈ−Ｓｐｅｅｄ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）（登録商標）、ＬＴＥ（Ｌｏｎｇ−Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、ＷｉＭａｘ等）、Ｗｉ−Ｆｉ規格、無線ＬＡＮ等の通信プロトコル／方法を採用してもよい。
【００３７】
このＩ／Ｏインターフェース４２は、外部から楽曲データを取り込む機能を有する。すなわち、Ｉ／Ｏインターフェース４２は、外部から楽曲データが入力される入力部として機能する。
【００３８】
楽曲データとしては、特に限定されないが、例えば、ＷＡＶＥ（ＲＩＦＦ  ｗａｖｅｆｏｒｍ  Ａｕｄｉｏ  Ｆｏｒｍａｔ）、ｍｐ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−3）等の音声ファイルフォーマットからなるオーディオデータや、ＭＩＤＩデータ（ＭＩＤＩ規格（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）（登録商標）の楽曲データ）等が挙げられる。楽曲データは楽器による演奏音だけではなく、歌声合成技術や、声合成技術による発話、発声による歌唱、号令、説明等を伴ってもよく、実際の人間による発話、発声による歌唱、号令、説明等を伴ってもよい。以下では、ＭＩＤＩデータとして説明する。ＭＩＤＩデータを用いることにより、後述するように、シミュレーション動画を生成する際、楽曲のリズムを容易に把握することができ、シミュレーション動画を生成しやすくすることができる。また、ＭＩＤＩデータは、例えば、楽曲データにマーカー信号を埋め込むという簡単な方法により、後述するシミュレーション動画のデータと同期させることができる。また、シミュレーション動画には、楽器演奏だけではなく、歌声合成技術や、声合成技術による発話、発声による歌唱、号令、説明、実際の人間による発話、発声による歌唱、号令、説明等を同期しやすくすることができる。また、メモリー４３に楽曲データを加工して取り込む際、データの容量が増大してしまうのを抑制することができる。
【００３９】
メモリー４３は、例えば不揮発性半導体メモリーの一種であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等で構成されている。メモリー４３に記憶されたモジュールは、再生モジュール４３１と、表示制御モジュール４３２（表示制御部）と、動画生成モジュール４３３（シミュレーション動画生成部）と、通信モジュール４３４と、を含む。
【００４０】
再生モジュール４３１は、ＣＰＵ４１によって実行されたとき、再生部２に対する通電条件を制御することにより、Ｉ／Ｏインターフェース４２が取り込んだ楽曲データを、再生部２によって再生するよう構成されている。
【００４１】
表示制御モジュール４３２（表示制御部）は、ＣＰＵ４１によって実行されたとき、表示装置３に対する通電条件を制御することにより、表示装置３の光源装置の作動を制御して、動画生成モジュール４３３が生成したシミュレーション動画を再生（表示）する。
【００４２】
動画生成モジュール４３３は、ＣＰＵ４１によって実行されたとき、楽曲データの情報に基づいてシミュレーション動画を生成する。動画生成モジュール４３３は、人が設定入力装置５を用いて指示を行うことにより、その指示を実行する構成であってもよい。また、楽曲データの種類ごとに予め生成したシミュレーション動画をメモリー４３に記憶しておき、入力された楽曲データに基づいて、その楽曲データに対応するシミュレーション動画を選択する構成であってもよい。また、ビートトラッキングにより、音楽等の音に合わせて指示を実行する構成であってもよい。
【００４３】
動画生成モジュール４３３によって生成されたシミュレーション動画は、表示制御モジュール４３２の作動により、表示装置３に表示される。また、シミュレーション動画が表示される際、再生モジュール４３１の作動により、楽曲とシミュレーション動画とが同期され、再生部２から楽曲が再生される。また、必要に応じて、歌声合成技術や、声合成技術、実際の人間による発話や発声による歌唱や号令、説明等が同期再生される。シミュレーション動画に関しては、後に詳述する。
【００４４】
なお、シミュレーション動画の形式は、特に限定されず、例えば、ＡＶＩ、ＭＰ４、ＭＯＶ、ＭＰＥＧ２−ＴＳ、ＭＰＥＧ２−ＰＳ、ＭＫＶ、ＷＭＶ、ＦＬＶ、ＡＳＦ、ＶＯＢ、ＷｅｂＭ、ＯＧＭ等が挙げられる。また、ファイルフォーマットは、特に限定されず、例えば、ａｖｉ、ｍｐ４、ｍ４Ａ、ｍｏｖ、ｑｔ、ｍ２ｔｓ、ｔｓ、ｍｐｅｇ、ｍｐｇ、ｍｋｖ、ｆｌｖ、ｆ４ｖ、ａｓｆ、ｗｍｖ、ｗｅｂｍ、ｏｇｍ等が挙げられる。また、映像コーディックは、特に限定されず、例えば、ＶＰ６、Ｈ．２６３、Ｈ．２６４、Ｘｖｉｄ、Ｄｉｖｘ、ＭＰＥＧ−４、ＭＰＥＧ−２、ＭＰＥＧ−１、ＷＭＶ９、ＶＰ９、ＶＰ８等が挙げられる。また、音声コーディックとしては、特に限定されず、ＡＡＣ、ＭＰ３、ＬＰＣＭ、Ｖｏｒｉｂｉｓ、ＡＣ−３、ＦＬＡＣ、ＷＭＡ、ＡＤＰＣＭ、ＭＰ２等が挙げられる。
【００４５】
通信モジュール４３４は、ＣＰＵ４１によって実行されたとき、他の通信機器の信号出力インターフェース等と通信を行うよう構成されている。
【００４６】
また、メモリー４３には、上記の他に、後述するような制御プログラム等が記憶されている。このような制御装置４は、表示装置３または設定入力装置５に内蔵されていてもよく、表示装置３または設定入力装置５とは異なる筐体に内蔵されたものであってもよい。
【００４７】
［設定入力装置］
設定入力装置５は、制御装置４と通信し、制御装置４に対して各種設定を入力する機能を有する。設定入力装置５が行う各種設定に関しては、後に詳述する。この設定入力装置５としては、特に限定されず、例えば、スマートフォン、タブレット端末、パーソナルコンピューター等が挙げられる。
【００４８】
［照明装置、演出装置、通信装置］
また、図１に示すように、リズム把握支援システム１は、照明装置１１と、演出装置１２と、通信装置１３と、を有する。
【００４９】
照明装置１１としては、特に限定はされないが、ミラーボール、カラーボール、スポットライト、ホリゾントライト、フラットライト、ムービングヘッド、ブルートライト、スモークマシン、バブルマシン、レーザープロジェクター、レーザービーム、レーザーライト、ストロボ、ブラックライト、ＬＥＤテープライト、ＤＭＸ、スイングライト、スピンナー等、指向性の高いレーザー光、拡散光の照明等、視覚的な演出を行うものを用いることができる。また、照明装置１１により、光の強弱、色、パターン、タイミング等を曲調に合わせて変化させることができる。照明装置１１は、制御装置４によってその作動が制御される。
【００５０】
演出装置１２は、スモーク、花火、火炎、紙吹雪、テープ、クラッカーや、特に限定はされず、視覚的な演出や、香りなどの嗅覚的な演出を行う機能を有する。また、強弱、量、タイミング等を曲調に合わせて変化させることができる。演出装置１２は、制御装置４によってその作動が制御される。
【００５１】
通信装置１３は、ブレスレット、クリップ等ウェアラブルデバイスで構成され、振動や光を発生させる機能を有する。通信装置１３は、前記Ｉ／Ｏインターフェース４２として例示した通信プロトコル／方法により制御装置４と通信を行うことができる。これにより、別会場の演奏システム（即ち上述のリズム把握支援システム１の複製を別会場でも設置）と通信し、リモートで複数の会場で、同時に同期演奏等を行うことにより、より多くの人が同時に楽しむことができる。また、別会場との通信を行う状況では、一人、少人数、大人数等、人数は問わない。
【００５２】
以上、リズム把握支援システム１の構成について説明した。
ここで、前述したように、動画生成モジュール４３３が生成するシミュレーション動画は、図１、図３〜図６に示すように、メインパーソンＡと、カウントパーソンＢとが、それぞれ、異なる動作を行う動画である。
【００５３】
シミュレーション動画では、メインパーソンＡは、楽曲のリズムに合わせてダンスを行う。例えば、メインパーソンＡは、足、腰、腕、首等のうちの少なくとも１つを動かしてダンスを踊るメイン動作を行う。また、必要に応じて、歌声合成技術や声合成技術により発声や発話により歌を歌ったり、号令し、また説明してもよい。また、必要により、実際の人間が歌を歌ったり、号令し、また説明してもよい。ユーザーは、再生されている楽曲を聞きながら、表示装置３に表示されたメインパーソンＡを見て、メインパーソンＡと同じダンスを踊って楽しむことができる。
【００５４】
シミュレーション動画では、カウントパーソンＢは、楽曲のリズムに誘導する補助動作を行う。必要に応じて、歌声合成技術や声合成技術により発声や発話により歌を歌ったり、号令し、また説明してもよい。また、必要により、人間が歌を歌ったり、号令し、また説明してもよい。カウントパーソンＢが行う補助動作は、耳の不自由なユーザー２００でも、その動作を見ることにより、再生されている楽曲のリズムを把握することができる動作のことである。補助動作は、再生されている楽曲よりも時間的に先行してまたは遅れて行われる動作であってもよく、再生されている楽曲のリズムと同じリズムで行われる動作であってもよく、これらを組み合わせた動作であってもよい。また、カウントパーソンＢによる時間的に遅れた動作は、演奏中に、リアルタイムに、リズムの緩急や強弱がどのように時間的に推移していくかを伝えることができる。
【００５５】
補助動作が、再生されている楽曲よりも時間的に先行して行われる動作である場合、補助動作は、図３に示すような動作が挙げられる。図３では、スクリーン３２中、左側に表示されたメインパーソンＡがリズムに合わせてダンスを踊る。一方、スクリーン３２中右側のカウントパーソンＢは、メインパーソンＡが踊るダンスの動作とは異なり、再生される楽曲のリズムに対し時間的に先行した動作である。また、時間的に先行して、カウントパーソンＢが、体の少なくとも一部を大きく動かし、例えば、小節の頭、四分音符、曲調の変わり目等、緩急のニュアンス、強弱のニュアンスをわかりやすく伝える、表現するような動作を行う。すなわち、カウントパーソンＢが、指揮者がタクトを振るように、楽曲のニュアンスを身振り手振りで伝えるような動作を行う。
【００５６】
また、照明装置１１によって演出を補助することができる。すなわち、光の強弱、色、パターン、タイミング等を曲調に合わせて変化させることにより、楽曲のニュアンスをさらにわかりやすく伝えることができる。
【００５７】
また、演出装置１２によって演出を補助することができる。すなわち、演出装置１２による演出の強弱、量、タイミング等を曲調に合わせて変化させることにより、楽曲のニュアンスをさらにわかりやすく伝えることができる。
【００５８】
また、ユーザー２００が通信装置１３を装着した状態で、振動の強弱、振動のタイミング、振動のパターン等を曲調に合わせて変化させることにより、楽曲のニュアンスをさらにわかりやすく伝えることができる。こうした装置とカウントパーソンＢとの連動は、視覚障がい者が、カウントパーソンＢの動きを把握するのに役立つ。
【００５９】
このように、カウントパーソンＢが行う補助動作は、楽曲のリズムに対し、時間的に先行してリズムを示す動作である。これにより、ユーザー２００は、楽曲が十分に聞こえないにも関わらず、カウントパーソンＢを見ながら、リズムを先行して把握することができる。よって、ユーザー２００がユーザー１００とともにダンスを踊り、楽しむことができる。
【００６０】
一方、補助動作が、再生されている楽曲のリズムと同じリズムで行われる動作である場合、補助動作は、例えば、図４および図５に示すような動作が挙げられる。図４では、カウントパーソンＢが体を図４中右側に傾けた状態であり、図５では、カウントパーソンＢが体を図４中左側に傾けた状態である。このような動作を楽曲のリズムに合わせて繰り返すことにより、ユーザー２００は、楽曲が十分に聞こえないにも関わらず、カウントパーソンＢを見ながら再生されている楽曲のリズムを明確に把握することができる。必要に応じて、歌声合成技術や声合成技術により発声や発話により歌を歌ったり号令し、また説明していることで、健常者も一緒に楽しむことができる。
【００６１】
また、図４および図５に示す構成では、カウントパーソンＢは、メトロノームのような役割を果たす。既存のメトロノームは、例えば、四分音符ごとに第１音を鳴らし、小節ごとに第１音とは異なる第２音を鳴らす構成であるのが一般的である。このような既存のメトロノームを用いた場合、ユーザー２００は、リズムを把握することはできるが、曲調、強弱、場面転換等、曲の流れを把握することが困難である。また、音だけでは、瞬時に何拍目の音かはわかりにくい。これに対し、本発明では、前述したように、カウントパーソンＢがリズムに合わせて視覚的に左右に体を揺らし、小節ごとに大きくリズムを示し、かつ、体を左右に往復させつつ、腕、首、腰等の動きや、顔の表情で、四分音符のリズム、または、小節内や複数の小節にまたがってのリズムを細かく示すことができる。また、変拍子等のリズムも表現し、このリズムをユーザー２００が把握することができる。これは、キャラクターの動きを目で追って予測することができるので、把握することが可能となる。
【００６２】
例えば、次の小節における曲調が穏やかな曲調になる場合、四分音符のリズムを示す動作を控えめな動作にすることにより、ユーザー２００が、次の展開が穏やかな曲調になる旨を予測することができる。また、例えば、次の小節における曲調が激しい曲調になる場合、四分音符のリズムを示す動作を激しい動作にすることにより、ユーザー２００が、次の展開が激しい曲調になる旨を予測することができる。このように、リズム把握支援システム１によれば、カウントパーソンＢが単にメトロノームの役割を果たすだけでなく、表現豊かにリズムを示すことができる。また、必要に応じて、歌声合成技術や声合成技術により発声や発話により歌を歌ったり、号令し、また説明してもよい。また、必要により、実際の人間が歌を歌ったり、号令し、また説明してもよい。
【００６３】
また、再生されている楽曲ごとにカウントパーソンＢの衣装を変更してもよく、再生されている楽曲の途中で、曲調に合わせて、または、例えば、転調部分や間奏部分、サビの部分、Ａメロ、Ｂメロ等の場面に応じて、カウントパーソンＢの衣装を変更してもよい。衣装の変更のパターンとしては、例えば、色、種類、描かれているキャラクター等を変更すること等が挙げられる。
【００６４】
また、再生されている楽曲ごとに、カウントパーソンＢの歌声や号令、説明の声を変更してもよく、再生されている楽曲の途中で、曲調に合わせて、または、例えば、転調部分や間奏部分、サビの部分、Ａメロ、Ｂメロ等の場面に応じて、カウントパーソンＢの歌声や号令、説明の声を変更してもよい。声の変更のパターンとしては、例えば、声質、音高、強弱、イントネーション、別のキャラクターの声などに変更すること等が挙げられる。
【００６５】
また、再生されている楽曲ごとにカウントパーソンＢの表情を変更してもよく、再生されている楽曲の途中で、曲調に合わせてカウントパーソンＢの表情を変更してもよい。表情は、笑顔、悲しい顔等が挙げられる。
【００６６】
また、再生されている楽曲ごとにカウントパーソンＢの種類を変更してもよく、再生されている楽曲の途中で、曲調に合わせてカウントパーソンＢの種類を変更してもよい。すなわち、異なるキャラクターに変更してもよい。視覚的効果をねらって、必要に応じて透明になって消えてもよい。
【００６７】
また、再生されている楽曲ごとにカウントパーソンＢの大きさ（体型、体の部位の大きさ）を変更してもよく、再生されている楽曲の途中で、曲調に合わせてカウントパーソンＢの前述したような大きさを変更してもよい。
【００６８】
また、図６に示すように、再生されている楽曲ごとに背景を変更してもよく、再生されている楽曲の途中で、曲調に合わせて背景を変更してもよい。また、背景は、実写の背景であってもよく、コンピューターグラフィックスであってもよい。
【００６９】
このように、シミュレーション動画生成部としての動画生成モジュール４３３は、シミュレーション動画において、カウントパーソンＢの衣装、カウントパーソンＢの表情、カウントパーソンＢの種類、カウントパーソンＢの大きさ、カウントパーソンＢの声質、および、背景のうちの少なくとも１つを楽曲データに合わせて変更してもよい。これにより、再生される楽曲がさらに表現豊かになるとともに、ユーザー２００が、どのようなダンスを踊ればよいか、想起しやすくすることができる。
【００７０】
このような変更は、人が設定入力装置５を操作して行われてもよく、予め設定されたプログラムによって行われてもよい。
【００７１】
また、設定入力装置５を操作することにより、楽曲のテンポが変更可能に構成されていてもよい。この場合、テンポの変更に合わせて、シミュレーション動画の再生速度も同等に変更される。
【００７２】
また、前述したように、シミュレーション動画は、カウントパーソンＢとともにカウントパーソンＢとは別のメインパーソンＡが楽曲データのリズムに合わせてダンス（メイン動作）を行う動画である。これにより、ユーザー１００およびユーザー２００がダンスを楽しむことができる。
【００７３】
また、シミュレーション動画は、カウントパーソンＢとメインパーソンＡとが並んでいる動画である。これにより、ユーザー２００は、メインパーソンＡおよびカウントパーソンＢの双方を見ながらダンスを踊ることができる。よって、ユーザー２００がダンスをより楽しむことができる。
【００７４】
なお、このような構成に限定されず、シミュレーション動画は、図７に示すように、カウントパーソンＢのみが表示される動画であってもよい。その動画は通信装置により他会場に配信してもよい。また、携帯電話やスマホ、タブレット、パソコン端末などで表示できるように配信してもよい。図７では、タブレット端末にシミュレーション動画を表示している。このような構成の場合、ユーザー２００が、自宅等において、一人でダンスを踊って楽しんだり、練習を行ったりすることができる。また、他会場にいるユーザー２００が、スマホや携帯端末などでそのカウントパーソンＢの映像をみながら、また、号令にあわせて、一緒になってダンスを踊ることができる。健常者、障がいを持つ方々が自分の好きな場所で、一緒になってダンスを同時刻に踊ることを実現できるので、一体感が生まれる効果や楽しさがある。
【００７５】
また、図７に示す構成では、カウントパーソンＢが行う補助動作は、楽曲データのリズムに合わせてカウントパーソンＢが体の少なくとも一部を左右に揺動させる動作である。これにより、キャラクターの左右の動きをメトロノームとして使うこともできる。テンポを一定に保ったり、変えたりすることで、これを見ながら楽器演奏や、歌の練習等に利用することができる。
【００７６】
また、図７に示す構成において、左右の体の動きの速さを可変出来る機能や、左右の動きに合わせて歌声合成技術や、声合成技術により発音、発声させて、歌唱、号令、説明できる機能を有していてもよい。
【００７７】
また、無音にすることで、楽器演奏や、歌の練習等の時以外に、本番の演奏会で、画面のカウントパーソンの動きに合わせて演奏タイミングや演奏意図（演奏開始ポイント、テンポやクレッシェンド、演奏時の注意点）を確認することに使える。特に静粛性の問われる演奏会での無音での使用が要求される場合、上述の様に、キャラクターの色や大きさ、衣装などの変化を利用することで、視覚的に効果的なメトロノームとして使用できる。
【００７８】
また、シミュレーション動画において、メインパーソンＡおよびカウントパーソンＢに加え、動作を説明する文言、歌詞、作曲者、作詞者、編曲者等の情報を表示してもよいし、歌声合成技術や声合成技術による発話、発声によりこれらを説明させてもよい。楽曲毎に声質を変えても良い。
【００７９】
このように、リズム把握支援システム１は、ユーザー２００がリズムを把握するのを支援するものである。また、リズム把握支援システム１は、楽曲データが入力されるＩ／Ｏインターフェース４２（入力部）と、Ｉ／Ｏインターフェース４２に入力された楽曲データに基づいて、カウントパーソンＢが、楽曲データが再生された楽曲のリズムに誘導する補助動作を行うシミュレーション動画を生成する動画生成モジュール４３３（シミュレーション動画生成部）と、動画生成モジュール４３３が生成したシミュレーション動画を表示する表示制御モジュール４３２（表示制御部）と、を備える。このような構成によれば、ユーザー２００が楽曲のリズムに合わせてダンスを踊って楽しむことができる。また、シミュレーション動画では、カウントパーソンＢが体を使ってリズムに誘導するため、ユーザー２００にとってわかりやすく、リズムに誘導しやすい。特に、カウントパーソンを実際に用意する必要がなく、シミュレーション動画としてカウントパーソンを表示することができる。よって、耳の不自由な人、すなわち、ユーザー２００が手軽に音楽に合わせてダンスを踊って楽しむことができる。
【００８０】
また、メインパーソンＡおよびカウントパーソンＢは、体の動きだけでは無く、楽器演奏音は勿論、歌声合成技術や、声合成技術による発話、発声による歌唱、号令、説明等を伴ってもよく、実際の人間による発話、発声による歌唱、号令、説明等を伴ってもよい。また、体の動きに合わせて、チャイム音などの効果音が鳴ったり、または楽器演奏ロボットにより、ウッドブロックやトライアングル、タンバリン等の楽器が鳴っていてもよい。
【００８１】
また、メインパーソンＡおよびカウントパーソンＢは、ダンスを踊りつつ、歌を歌ったり、掛け声を発したりしてもよい。アニメーションの場合、キャラクターの口を動かしてもよい。ユーザー２００は、口元の動きを見て、現在、曲のどの部分が再生されているかを把握することができたり、次にどのような動作を行うかを把握しやすくなる。
【００８２】
また、本実施形態では、メインパーソンＡおよびカウントパーソンＢは、バーチャルキャラクターである場合について説明したが、本発明ではこれに限定されず、例えば、実写の人間であってもよい。必要により、歌声合成技術や声合成技術により発声や発話により歌を歌ったり、号令し、また説明して体が動いてもよい。また、必要に応じて実際の人間が発声や発話により歌を歌ったり、号令し、また説明してもよい。
【００８３】
また、本実施形態では、メインパーソンＡおよびカウントパーソンＢは、人型のキャラクターである場合について説明したが、本発明ではこれに限定されず、動物や、アニメーションのキャラクターや、外見が初音ミク（登録商標）のようなコンピュータアニメーション、コンピューターグラフィックス（CG）、３ＤＣＧ、３ＤＣＧ動画によるキャラクター等であってもよい。具体的には、バーチャルユーチューバー（バーチャルＹｏｕＴｕｂｅｒ）、ブイチューバー（ＶＴｕｂｅｒ）、バーチャルライバー、バーチャルアイドル、バーチャルタレント、バーチャルシンガー、バーチャルサインシンガー等が挙げられる。また、これらのキャラクターは、歌声合成技術、声合成技術、音声合成技術、ボーカロイド（登録商標）、VOCALOID(登録商標)、歌声シンセサイザー等により、歌、号令、説明、効果音などの合成音声や音を発してもよい。実際の人間の音声を使ってしゃべっているような効果を出しても良い。また、声以外に、見ている人に合図や意図を知らせるために、そうした合図となるような効果音、ビープ音などを発しても良い。
【００８４】
また、このようなリズム把握支援システム１は、アミューズメントパーク、コンサート会場、舞台、カラオケ、体育の授業、ダンス教室、音楽教室、各種学校、自宅でのダンス、楽器の演奏の練習等で用いることができる。このため、幅広く、様々な場面で、健常者と聴覚障がい者とがダンス、音楽を楽しむことができる。
【００８５】
＜第２実施形態＞
図８は、本発明のリズム把握支援システム（第２実施形態）の概略構成図である。
【００８６】
以下、この図を参照しつつ、本発明の第２実施形態について説明するが、前述した第１実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。
【００８７】
図８に示すように、本実施形態のリズム把握支援システム１は、第１実施形態で説明した再生部２、表示装置３、制御装置４および前記実施形態で述べた設定入力装置５に加え、楽器６と、楽器６を演奏する演奏装置７と、動作検出部８と、をさらに備える。
【００８８】
図８に示す演奏装置７は、楽器６を演奏する演奏装置である。
楽器６としては、特に限定されず、例えば、後述するような打楽器、弦楽器、鍵盤楽器、管楽器等が挙げられるが、本実施形態では、一例として、打楽器であるドラム（スネアドラム、バスドラム、ハイハット、ライドシンバル、クラッシュシンバル）として説明する。
【００８９】
なお、本明細書中では、楽器とは、自身が音を発するものや、自身が発した音を増幅させてスピーカー等から出力するものや、自身は音を出さないが電気信号が入力されることによってスピーカー等から音を出力するものを含む。
【００９０】
演奏装置７は、ドラムの各部（スネアドラム、バスドラム、ハイハット、ライドシンバル、クラッシュシンバル）にそれぞれ設けられた打撃部と、打撃部を駆動する駆動部とを有している。打撃部および駆動部は、特開２０１９−１４４３６０号公報に記載されているような構成とすることができる。
【００９１】
また、演奏装置７は、制御装置４によって通電条件が制御されることにより、作動が制御される。
【００９２】
このような演奏装置７によれば、例えば、スピーカー等では再現できない楽器の倍音等の臨場感を演出することができる。
【００９３】
また、演奏速度を、前記実施形態で説明した楽曲の再生速度およびシミュレーション動画と同期させることにより、再生部２から再生される楽曲に対し、楽器６の演奏を加えて厚みを持たせることができる。
【００９４】
このように、本実施形態では、楽曲は、予め作成された楽曲データを再生した楽曲（再生部２から再生される楽曲）、および、リアルタイムで楽器を演奏して得られた楽曲である。これにより、楽曲に厚みを持たせることができる。なお、この構成に限定されず、予め作成された楽曲データを再生した楽曲、および、リアルタイムで楽器を演奏して得られた楽曲が流れていればよい。
【００９５】
図示の構成では、楽器６は、ドラム、コンガであるが、楽器６としては、特に限定されず、例えば、その他の打楽器、弦楽器、鍵盤楽器、鍵盤打楽器、管楽器、気鳴楽器等が挙げられる。
【００９６】
なお、その他の打楽器としては、電子ドラム、和太鼓、カホン、ジャンベ、タンバリン、トライアングル、カスタネット、ウッドブロック、カウベル、拍子木、クラベス、木魚、ボンゴ、ティンパニ、コンサートチャイム、ウインドチャイム、カバサ、スレイベル、ティンパレス、アゴゴ等が挙げられる。
【００９７】
弦楽器としては、アコースティックギター、エレキギター、アコースティックベース、エレキベース、ハープ、マンドリン、ヴァイオリン、ヴィオラ、チェロ、コントラバス等が挙げられる。
【００９８】
鍵盤楽器としては、ピアノ、ホンキートンクピアノ、エレクトリックピアノ、キーボード、チェンバロ、チェレスタ、オルガン、電子オルガン、パイプオルガン、リードオルガン、エレクトーン、鍵盤ハーモニカ、アコーディオン、シンセサイザー等が挙げられる。
【００９９】
鍵盤打楽器としては、シロフォン、ザイロフォン、シロリンバ、マリンバ、グロッケンシュピール、ビブラフォン、アンティークシンバル、グラス・ハープ、アルモニカ等が上げられる。
【０１００】
管楽器としては、フルート、リコーダー、オカリナ、尺八、クラリネット、オーボエ、サクスフォーン、ファゴット、笙、バグパイプ等の木管楽器や、トランペット、トロンボーン、ホルン、ユーフォニアム、チューバ、ホイッスル、サンバホイッスル等の金管楽器等が挙げられる。
【０１０１】
気鳴楽器としては、ハーモニカ、バグパイプ、ホイッスル、調律用笛、気鳴の玩具等が挙げられる。
【０１０２】
［動作検出部］
図８に示す動作検出部８は、ユーザー２００の体の一部に装着され、ユーザー２００の動作を検出する機能を有する。動作検出部８は、本実施形態では、角速度を検出する角速度センサーで構成されている。角速度センサーは、図示しない筐体と、筐体に内蔵された図示しないセンサー素子と、制御装置４と通信を行う図示しない通信部とを有する。
【０１０３】
筐体は、例えば、ユーザー２００の手首にリストバンドによって装着することができる。なお、この構成に限定されず、指、頭部、腹部、足等、任意の部位に装着してもよい。
【０１０４】
センサー素子は、静電容量式、歪みゲージ式、圧電式、渦電流式、電磁誘導式、光式のいずれのタイプのものであってもよい。センサー素子が検出した角速度の情報は、電気信号に変換されて通信部によって制御装置４に送信される。通信部と制御装置４との通信は、無線、有線の何れであってもよい。
【０１０５】
ユーザー２００がシミュレーション動画を見ながらダンスを踊った際、手に装着された動作検出部８が移動する。この移動の際の、動作検出部８が検出する角速度の情報を制御装置４に送信する。そして、制御装置４は、角速度のピークを検出し、各ピークの間隔に基づいて、ユーザー２００が踊っているテンポを推測することができる。よって、例えば、ユーザー２００が踊っているテンポに、楽曲のテンポや、シミュレーション動画の再生速度を合わせるように、再生部２および表示装置３の作動を制御することができる。その結果、ユーザー２００が、自分自身が踊っているダンスのテンポが楽曲のテンポと合っているかどうかを気にせずにダンスを楽しむことができる。
【０１０６】
なお、本実施形態では、動作検出部８が、角速度センサーである場合について説明したが、本発明ではこれに限定されず、加速度センサー、角加速度センサー、磁気センサー、感圧センサー、変位センサー等を用いてもよい。こうした筐体や、センサーは、特に限定されないが、ユーザー２００の身体や、衣装や靴などの物体に取り付けて、ユーザーの動きを検出する構成であってもよい。この場合、振る速さや、振る幅等から、ユーザー２００は制御装置４に意図を伝えることができる。
【０１０７】
また、動作検出部８は視線入力装置であってもよい。眼球の動きや、まばたきなどを利用して、ユーザ−２００は視線により制御装置４に意図を伝えることができる。
【０１０８】
以上、本発明のリズム把握支援システムを図示の実施形態について説明したが、本発明は、これに限定されるものではなく、リズム把握支援システムを構成する各部は、同様の機能を発揮し得る任意の構成のものと置換することができる。また、任意の構成物やステップが付加されていてもよい。
【０１０９】
また、前記実施形態では、記憶部（メモリー）は、制御装置に内蔵されたものであったが、本発明ではこれに限定されず、外部の機器（例えば、ＵＳＢフラッシュメモリー）に記憶された構成であってもよい。この場合、外部の装置を制御装置に接続することにより、前記実施形態で述べたような制御を行うことができる。
【符号の説明】
【０１１０】
１          リズム把握支援システム
２          再生部
３          表示装置
４          制御装置
５          設定入力装置
６          楽器
７          演奏装置
８          動作検出部
１１        照明装置
１２        演出装置
１３        通信装置 
２１        スピーカー
３１        投影装置
３２        スクリーン
４１        ＣＰＵ
４２        Ｉ／Ｏインターフェース
４３        メモリー
４３１      再生モジュール
４３２      表示制御モジュール
４３３      動画生成モジュール
４３４      通信モジュール
１００      ユーザー
２００      ユーザー
Ａ          メインパーソン
Ｂ          カウントパーソン
【図１】
2022003382.tif 000003
【図２】
2022003382.tif 000004
【図３】
2022003382.tif 000005
【図４】
2022003382.tif 000006
【図５】
2022003382.tif 000007
【図６】
2022003382.tif 000008
【図７】
2022003382.tif 000009
【図８】
2022003382.tif 000010