(57)【要約】【課題】電子機器を用いて、カラオケにおいて楽曲のリズムに合わせて視聴者が行う身体動作やかけ声、楽器演奏等の合いの手をより有効に演出し提供する【解決手段】カラオケで演奏する楽曲に対して使用するデータとして特定された合いの手データＳ６および手本データＳ８に基づき楽曲の演奏に合わせて映像データ、画像データ、音声データを再生しＳ１４、視聴者が行った合いの手の情報を合いの手入力装置および音声入力装置により収集してＳ１６合いの手データを生成しＳ１８これに対応する映像データ、画像データ、音声データを再生しＳ２０、生成された合いの手データに対する評価を行いＳ２２、生成された合いの手データや評価の情報等をサーバー装置に送信し別のカラオケ装置からの照会に応じてこれを送信するＳ２６。【選択図】図１
2014123085.tif 000002
【特許請求の範囲】
【請求項１】
電子機器を用いてカラオケにおいて楽曲のリズムに合わせて視聴者が行う身体動作やかけ声、楽器演奏等の合いの手をより有効に演出し提供する方法であって、
予めカラオケ装置に設定されまたはユーザーから指定された条件に従い、カラオケ装置に記録された手本データの中から表示する手本データを特定するステップと、
手本データの表示方法を、予めカラオケ装置に設定されまたはユーザーから指定されたた条件に従い決定するステップと、
楽曲の進行状況に合わせて、上記データのうち、その時点で視聴者が行うべき合いの手が記録された部分、およびその時点以降に視聴者が行うべき合いの手が記録された部分の全部または一部を決定された表示方法に従い表示装置の画面上に表示するステップとを含む方法。
【請求項２】
予めカラオケ装置に設定されまたはユーザーから指定された条件に従い、視聴者の合いの手を表示装置および音声再生装置で表現するにあたって使用する画像データ、映像データ、および音声データを特定し、これらの再生方法を決定するステップと、
視聴者が行った合いの手の内容に関する情報を音声入力装置ないし合いの手入力装置により収集するステップと、
収集された情報に基づき合いの手データを生成し、カラオケ装置に記録するステップと、
上記合いの手データの内容に応じて、カラオケ装置に記録されている画像データまたは映像データを決定された再生方法に従い表示装置の画面上に表示しあるいはカラオケ装置に記録されている音声データを決定された再生方法に従い音声再生装置から再生させるステップと、
上記データをカラオケ装置からネットワーク回線を介してサーバー装置に送信し、サーバー装置に集積するステップと
をさらに含む請求項１に記載の方法。
【請求項３】
歌唱者の歌唱内容にする評価の情報に基づき、カラオケ装置またはサーバー装置に記録されている合いの手データから、予めカラオケ装置に登録された条件に基づき適切と判断されたデータを抽出するステップと、
抽出された合いの手データの内容に基づき、予めカラオケ機器に設定されまたはユーザーから指定された条件に従い、音声再生装置から再生されている楽曲の進行状況に合わせて、カラオケ装置に記録されている画像データまたは映像データを表示装置の画面上に表示しあるいはカラオケ装置に記録されている音声データを音声再生装置から再生させるステップと、
をさらに含む請求項１および請求項２に記載の方法。
【請求項４】
予めカラオケ機器に登録された条件が満たされた場合に、カラオケ装置またはサーバー装置に記録されている合いの手データから該条件が指定する合いの手データを抽出するステップと、
抽出された合いの手データの内容に基づき、予めカラオケ機器に登録された条件に従い、音声再生装置から再生されている楽曲の進行状況に合わせて、カラオケ装置に記録されている画像データまたは映像データを表示装置の画面上に表示しあるいはカラオケ装置に記録されている音声データを音声再生装置から再生させるステップと、
をさらに含む請求項１および請求項２に記載の方法。
【請求項５】
ユーザーから指示が有り、または予めカラオケ機器に設定された条件が満たされた場合に、ユーザーからの指示ないし予めカラオケ機器に設定された条件に従って、カラオケ機器に記録されたデータから、合いの手の表現として表示装置の画面上に表示すべき画像データまたは映像データ、ないし音声再生装置が再生すべき音声データを決定するステップと、
予めカラオケ機器に設定されまたはユーザーから指定された条件に従い、上記画像データ、映像データ、および音声データの再生方法を決定するステップと、
音声再生装置から再生されている楽曲の進行状況に合わせて、上記決定された再生方法で、上記画像データ、映像データ、および音声データを再生するステップと、
をさらに含む請求項１および請求項２に記載の方法。
【請求項６】
視聴者に対し示した合いの手の手本データから、手本となる合いの手の情報を読み出すステップと、
合いの手データと上記手本となる合いの手の情報とを対照し、予めカラオケ機器に登録された評価基準に基づく評価を行うステップと、ユーザーから指示が有り、または予めカラオケ機器に登録された条件が満たされた場合に、歌唱内容に対する採点にあたって上記合いの手データに対する評価の内容を加味するステップと、
ユーザーから指示が有り、または予めカラオケ機器に登録された条件が満たされた場合に、上記合いの手データに対する評価にあたって歌唱に対する評価の内容を加味するステップと、
をさらに含む請求項１および請求項２に記載の方法。
【請求項７】
請求項１ないし６のうちいずれか１項に記載の方法をコンピュータに実行させるプログラム。
【請求項８】
電子機器を用いてカラオケにおいて楽曲のリズムに合わせて視聴者が行う身体動作やかけ声、楽器演奏等の合いの手をより有効に演出し提供する装置であって、請求項１から請求項６までに記載されたステップを手段として含む装置。
【発明の詳細な説明】
【技術分野】
【技術分野】
【０００１】  本発明は、電子機器においてカラオケの歌唱者を視聴する者が行った合いの手の情報を収集しその内容に応じた画像、映像、音声を再生する装置、方法およびそのプログラムに関する
【背景技術】
【０００２】  一般に聴衆を伴う歌唱においては、カラオケのような小規模なものからコンサートのような大規模なものに至るまで、歌唱をする者の歌唱や振り付けに合わせて自身は歌唱せず視聴をする者が歌唱にあわせて特定の身体動作をしたり声を出したり楽器を鳴らしたりする、いわゆる「合いの手」がしばしば行われる。【０００３】  合いの手は、合いの手を受ける歌唱をする者に対して「他人が自分の歌唱に合わせて一斉に反応している」という承認欲求の充足によって高揚感を高める効果を及ぼすだけでなく、歌唱に合わせて合いの手をしている視聴をする者自身に対しても単なる受動的な楽曲の聞き手ではなく他の視聴をする者と一緒に楽曲に参加する能動的な立場に置くことによって楽曲への没入感を高める効果を及ぼしている。その点で合いの手は、ライブやコンサートをはじめとする歌唱をする者と視聴をする者が一体となるエンタテインメントにおいて、重要な構成要素となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】  通常、合いの手を行うには視聴する者が歌唱をする者の面前にいる必要があるため、歌唱をする者と視聴する者が同じ時間、同じ場所を共有していなければならない（時間的・場所的制約）。すなわち、歌唱をする者が大多数の視聴をする者が一斉に行う合いの手を受けることで歌唱をする者が味わえる高揚感は、本来大多数の視聴をする者を同時に同じ場所に集めることができなければ実現することができないのであり、大観衆を集めたライブにおける歌唱をする者が体感するような高揚感を、例えばカラオケのような狭い空間の中で歌唱をする者に提供することは本来困難である。また合いの手の身振り手振りや発声・楽器演奏等は視聴をする者自身の身体あるいは視聴をする者の所持する楽器によって行われることから、その内容や規模には自ずと制約や限界が生じる（物理的制約）。すなわち、大多数の視聴をする者が一斉に行う合いの手はそれだけの数の視聴をする者が合いの手をしなければ実現できないし、視聴をする者が合いの手によって出せる音の音量や種類はその視聴をする者自身がその能力や技術によって発することのできる声や楽器の音に限定されるのである。さらに、カラオケにおいては、視聴をする者に対してどのような合いの手を行えばより高揚感や没入感が高まるかの手本が提示されていない。【０００５】  本発明は、カラオケにおいて、サーバー技術およびネットワーク技術による情報の集積・配信、および電子機器による映像と音声の演出を組み合わせて合いの手の手本を提示することで、上記の時間的・場所的・物理的制約に関わらず、より効果的かつより容易に、合いの手がもたらす高揚感および没入感をカラオケにおいて歌唱をする者（以下「歌唱者」という）およびカラオケにおいて歌唱を視聴する者（以下「視聴者」という）に提供する（以下、歌唱者と視聴者を包括して「ユーザー」という）ためのものである。【０００６】
【課題を解決するための手段】
【０００７】  本発明においては、カラオケで歌唱されている楽曲に対応した合いの手の手本を表示する装置および方法、視聴者が行った合いの手の表現を検知し情報として記録しサーバー装置との間で送受信する装置および方法、ならびに上記の合いの手の情報に対応した画像・映像や音声を再生する装置および方法ならびにプログラムが提供される。【０００８】  すなわち、電子機器を用いてカラオケにおいて楽曲のリズムに合わせて視聴者が行う身体動作やかけ声や楽器演奏等の合いの手をより有効に演出し提供する方法であって、手本データをカラオケ装置に読み込むステップと、予めカラオケ装置に設定されまたはユーザーから指定された条件に従い該手本データの表示方法を決定するステップと、音声再生装置から再生されている楽曲の進行状況に合わせて該手本データのうちその時点で視聴者が行うべき合いの手の内容が記録された部分およびその時点以降に視聴者が行うべき合いの手の内容が記録された部分の全部または一部を決定された表示方法に従い表示装置の画面上に表示するステップと、視聴者が行った合いの手に関する情報を音声入力装置ないし合いの手入力装置により収集し合いの手入力装置により視聴者が行った合いの手の内容を検知するステップと、検知した合いの手の内容に基づき合いの手データを生成しカラオケ装置に記録するステップと、生成した合いの手データの内容に応じて予めカラオケ機器に登録されまたはユーザーが指示した条件に従いカラオケ装置に記録されている画像データまたは映像データを表示装置の画面上に表示しあるいはカラオケ装置に記録されている音声データを音声再生装置で再生するステップと、ユーザーがカラオケ装置に対して指示した場合には指示内容に従い表示する画像または映像あるいは再生すべき音声の内容を変更して表示装置の画面上への表示あるいは音声再生装置での再生を行うステップと、生成した合いの手データをカラオケ装置からネットワーク回線を介してサーバー装置に送信し、サーバー装置に蓄積するステップと、歌唱者の歌唱内容に対する評価に基づきしカラオケ装置またはサーバー装置に記録されている合いの手データから予めカラオケ装置に登録された条件に基づき適切と判断されたデータを抽出するステップと、抽出された合いの手データの内容に基づき予めカラオケ機器に登録された条件に従い音声再生装置から再生されている楽曲の進行状況に合わせてカラオケ装置に記録されている画像データまたは映像データを表示装置の画面上に表示しあるいはカラオケ装置に記録されている音声データを音声再生装置から再生させるステップと、予めカラオケ機器に登録された条件が満たされた場合に、カラオケ装置またはサーバー装置に記録されている合いの手データから該条件が指定する合いの手データを抽出するステップと、抽出された合いの手データの内容に基づき予めカラオケ機器に登録された条件に従い音声再生装置から再生されている楽曲の進行状況に合わせてカラオケ装置に記録されている画像データまたは映像データを表示装置の画面上に表示しあるいはカラオケ装置に記録されている音声データを音声再生装置から再生させるステップと、ユーザーから指示が有りまたは予めカラオケ機器に登録された条件が��たされた場合にユーザーからの指示ないし登録された条件の内容に従ってカラオケ機器に記録されたデータから表示装置の画面上に表示すべき画像または映像のデータないし音声再生装置が再生すべき音声のデータを決定するステップと、予めカラオケ機器に設定されまたはユーザーから指定された条件に従い上記画像・映像おおよび音声データの再生方法を決定するステップと、音声再生装置から再生されている楽曲の進行状況に合わせて決定された再生方法に従い画像または映像のデータを表示装置の画面上に表示しあるいは上記加工された音声のデータを音声再生装置から再生させるステップと、視聴者に対し示した合いの手の手本データから合いの手の手本の情報を読み出すステップと、合いの手データと上記手本の情報とを対照し、予めカラオケ機器に登録された評価基準に基づく評価を行うステップと、ユーザーから指示が有り、または予めカラオケ機器に登録された条件が満たされた場合に、歌唱内容に対する採点にあたって上記合いの手データに対する採点の内容を加味するステップと、ユーザーから指示が有りまたは予めカラオケ機器に登録された条件が満たされた場合に上記合いの手データに対する採点にあたって歌唱に対する採点の内容を加味するステップを含む方法またはプログラム、または、電子機器を用いてカラオケにおいて楽曲のリズムに合わせて視聴者が行う身体動作やかけ声、楽器演奏等の合いの手をより有効に演出し提供する装置であって上記の各ステップを手段として含む装置が提供される。【０００９】  本発明が提供される電子機器は単一の機器で構成される必要は無く、有線または無線により他の電子機器と情報をやりとりできる機能を備えた複数の電子機器の集合であってもよい。【００１０】  本発明は画像・映像および音声のデータを記録し再生する機能を持つ電子機器に提供される。【００１１】  カラオケ装置は、後述の各装置と有線または無線で接続され、画像データ・映像データや音声データを記録することができ、歌唱者の歌唱および視聴者の合いの手の情報を解析してその結果に応じた画像データ・映像データや音声データを再生させることができる。【００１２】  本発明で使用される画像・映像データおよび音声のデータは該データを再生する際に電子機器に記録されていればよく、いわゆるストリーミング再生のように再生を行う都度必要なデータをネットワーク回線を介して受信するのでも、カラオケ装置が内蔵しているハードディスクやフラッシュメモリ等のデータを記録できる装置に常時データを蓄積しておくのでもよい。【００１３】  本発明では、歌唱者の歌唱および視聴者の音声による合いの手の情報を収集するためのマイク等の音声入力装置が使用される。音声入力装置は歌唱者および視聴者の発した音声を情報として収集できるものであればよく、カラオケで一般的に使用されるマイクであってもよい。また、本発明では歌唱者と視聴者とで別個の音声入力装置を使用させるのが通常であるが、音声入力装置ないしカラオケ装置が歌唱者と視聴者の音声を区別して収集ないし記録できる機能を備えている場合には、歌唱者と視聴者とで１台の音声入力装置を共有させ使用させてもよい。【００１４】  本発明では、視聴者が行った合いの手の情��を収集し視聴者が行った合いの手の内容を検知するするための入力装置（以下「合いの手入力装置」という）が使用される。合いの手入力装置が収集する情報には、合いの手入力装置自体によって収集された情報だけでなく、音声入力装置が収集した情報も含めることができる。合いの手入力装置は視聴者が歌唱に対して行った動作の情報を収集し何らかの合いの手として検知できるものであればよく、人体の動作を撮影し解析して動作内容を検出するカメラ装置や人体に装着してその位置変化から人体の動作内容を検出するセンサー装置のような高度なものから、視聴者がどのタイミングでどのボタンを押したかのみを検出するボタン装置のような単純なものまで、その形態を問わない。【００１５】  本発明では、ユーザーが合いの手その他各種機能の実施方法等についてカラオケ機器に対し指示を行うための指示入力装置が使用される。指示入力装置は例えばタッチパネル装置や操作ボタン付入力装置などが典型であるが、これらに限定されない。【００１６】  本発明が使用する表示装置は、カラオケ装置から送信された画像データや映像データを表示できる画面を備えたものであればよく、例えば液晶ディスプレイなどが典型であるが、これに限定されない。【００１７】  本発明が使用する音声再生装置はカラオケ装置から送信された音声データを音として再生できるものであればよく、例えばスピーカーなどが典型であるが、これに限定されない。【００１８】  本発明が使用する画像データは、例えば、ビットマップ、ＪＰＥＧ、ＪＰＥＧ２０００、ＧＩＦ、ＴＩＦＦ等任意のデータ形式や、その他の独自のデータ形式である電子的な画像であり、予め制作された画像を記録したデータでも、カラオケ装置においてレンダリングにより表示する画像のデータを都度生成するためのパラメータ情報が包含されたデータでもよい。【００１９】  本発明が使用する映像データは、例えば、ＭＰＥＧ２、ＦＬＶ、ＡＶＣＨＤ等の任意のデータ形式や、その他の独自のデータ形式である電子的な映像であり、予め制作された映像を記録したデータでも、カラオケ装置においてレンダリングにより表示する映像のデータを都度生成するためのパラメータ情報が包含されたデータでもよい。【００２０】  本発明が使用する音声データは、例えば、ＭＰ３、ＷＡＶＥ、ＡＡＣ等の任意のデータ形式や、その他の独自のデータ形式である電子的な音声であり、予め制作された音声を記録したデータでも、ＭＩＤＩデータのようにカラオケ装置に内蔵された音源装置によって再生する音声のデータを都度生成するためのパラメータ情報が包含されたデータでもよい。【００２１】  手本データとは、視聴者に対し合いの手の手本として示す画像または映像の内容およびそれらと対応するカラオケ楽曲との再生時間上の対応関係、ならびに手本となる合いの手の情報、すなわち楽曲のどのタイミングにおいてどの合いの手を行うのが理想であるかの情報などを記録したデータである。カラオケ機器はカラオケ楽曲の演奏に合わせて手本データに含まれる画像または映像を再生する際、カラオケ楽曲の現在再生されている箇所に対応する合いの手の内容だけでなく、それ以降において視聴者が行うべき合いの手の内容の全部または一部を表示装置の画面上に同時に表示することができる。これは、視聴者がカラオケ楽曲の現在再生されている箇所以降において行うべき合いの手の内容を予め認識できるようにすることで、合いの手の内容を記憶していない視聴者であっても容易にカラオケ楽曲に合わせて合いの手を行うことができるようにするための工夫である。【００２２】  合いの手データとは、合いの手入力装置が検知した視聴者がどの楽曲に対してどのような身体動作やかけ声等の合いの手を楽曲のどのタイミングにおいて行ったのかの情報、ならびにこれに付随する情報（たとえば該合いの手に対してカラオケ機器が行った評価の内容や、合いの手に参加した視聴者の人数や性別など）を包括したデータである。カラオケ装置は、合いの手データを参照し、視聴者が行ったとされる合いの手の内容に応じた画像データ・映像データや音声データを視聴者がその合いの手を行ったのと同じタイミングで再生することで、視聴者が行った合いの手の内容を、該視聴者が合いの手を行うのと同時に表現し、あるいは事後に再現することができる。【００２３】  手本データには手本として表示装置の画面上に表示する画像・映像データの他、該データが対応するカラオケ楽曲の情報や演奏されている楽曲のどの時点においてどの合いの手をすべきかの情報などが含まれている。一つの楽曲に対する手本データは必ずしも一つである必要は無く、合いの手の実施にあたってどの手本データを使用するかは予めカラオケ装置に設定されまたはユーザーの指定した条件に従って決定してもよい。これにより、例えば上級者の視聴者にはより細かく実演が難しい合いの手を行わせ、初心者の視聴者にはより簡略で実演が容易な合いの手を行わせることで、視聴者の技量に応じた適切な難易度の合いの手の手本を提示することができる。手本データには、対応するカラオケ楽曲との再生時間上の対応関係、すなわち楽曲のどの時点においてどの画像・映像データのどの部分を表示すべきかの情報が含まれているので、視聴者が行うべき合いの手を楽曲の演奏に同期させて画像や映像を表示することができる。【００２４】  本発明は一般的なカラオケ装置に提供されている歌唱に対する評価機能と組み合わせて利用することができる。本発明と組み合わせることができる歌唱に対する評価機能は、歌唱者の音声の内容を解析して予め定められた評価基準に従って点数その他の評価が行える機能を備えるものであればよい。【００２５】  本発明で使用される合いの手に対する評価機能は、合いの手入力装置が検知した視聴者の合いの手の内容および合いの手を行ったタイミングを、該合いの手の手本とされた手本データに記録されている、手本となる合いの手の情報すなわち楽曲においてどの合いの手をどのタイミングにおいてすべきかの情報と対照し、視聴者の行った合いの手がどの程度手本となる合いの手に適合していたかカラオケ装置に予め設定された評価基準に従って評価することができる。カラオケ装置に設定される評価基準は必ずしも単一である必要は無く、ユーザーに各自の技量に合わせて、たとえば手本に対する厳密さの程度や評価上重視される要素等が異なる複数の評価基準から選択できるようにすることもできる。合いの手に対する評価は、楽曲の演奏終了後に行���だけでなく、楽曲の演奏途中にその時点での中間評価として行うこともできる。【００２６】  カラオケ装置は、カラオケ楽曲の演奏中に、視聴者が特定の合いの手を行ったことを合いの手入力装置が検知すると、該合いの手の内容を合いの手入力装置から受信して合いの手データとして記録するとともに、予めカラオケ装置に設定されまたはユーザーから指定された条件に従って該合いの手の内容に対してカラオケ装置に記録されている画像・映像データや音声データを割り当て、そのデータを表示装置の画面上や音声再生装置上で再生することができる。たとえば、視聴者が「手拍子」の合いの手をしていることを検知した場合には、それに合わせて表示装置の画面上に「手拍子」の画像や映像を表示し、また音声再生装置で「手拍子」の効果音を再生することができる。なお、再生する映像・画像や音声の内容は視聴者の行った合いの手の内容を必ずしも忠実に反映している必要は無く、予めカラオケ装置に設定されまたはユーザーからの指定が有った場合には、演出として視聴者の行った合いの手を誇張・翻案等した表現を行うことも可能である。例えば、視聴者が「手拍子」の合いの手をしていることを検知した際には音声再生装置で「歓声」の効果音を再生するよう設定することで、通常の手拍子による合いの手とは異なる高揚感や没入感をユーザーに与える事ができる。また、一つの合いの手に対応する画像・映像データや音声データは必ずしも一つである必要は無く、データを再生するタイミングも視聴者が合いの手を行うのと厳密に同時である必要は無い。これにより、たとえば一つの合いの手に対して画面上の表示位置や再生する時点をすこしづつずらして多数同時に画像・映像データや音声データを再生することで、歌唱者に対してあたかも大勢の視聴者から一斉に合いの手を送ってもらったかのような高揚感を与えることもできる。【００２７】  合いの手入力装置が視聴者の行った合いの手を検知した場合、カラオケ装置が該合いの手に対応する表現としてどの映像データ・画像データや音声データを再生するかは、予めカラオケ装置に設定された条件またはユーザーからの指定によって定められるが、［００２５］で述べた合いの手の評価機能によって行われた評価の結果を加味して定めることもできる。例えば、視聴者の合いの手に対して高い評価がされた場合には低い評価がされた場合よりも盛大な映像・画像や音声を再生することにより、視聴者のより高い評価を得たいという意欲を刺激し、高い評価を得たという高揚感をより高めることなどができる。【００２８】  カラオケ楽曲の演奏終了後、カラオケ装置は視聴者が行った合いの手の内容の情報と、これに付随する情報（たとえば、合いの手が供された楽曲名、合いの手を送った視聴者の人数・性別・年齢等、合いの手に対する評価の度合いなど）を包括した最終的な合いの手データを生成し、これをネットワーク回線を介してサーバー装置に送信・集積することができる。ネットワーク回線によりサーバー装置に接続されたカラオケ装置は、カラオケ楽曲を再生するにあたり、該楽曲に対して行われた合いの手を記録した合いの手データを送信するようサーバー装置に対し照会することができる。カラオケ装置は、該合いの手データを受���し、該楽曲の演奏に合わせて、受信した合いの手データに基づき映像データ・画像データや音声データを再生して合いの手の内容を表現することで、歌唱者に対してあたかも面前に視聴者がいて自らの歌唱に合わせて合いの手を送っているかのような高揚感を与える事ができる。なお、サーバー装置に集積される合いの手データは必ずしも実際に視聴者が行った合いの手の情報に基づくものでなくてもよく、制作者の意図した演出通りに合いの手の映像・画像や音声が再生されるようデータ数値を調整して制作されたデータであってもよい。【００２９】  カラオケ装置は、複数の合いの手データを同時に使用して映像・画像や音声を表示装置や音声再生装置で再生することができる。たとえば、現に視聴者が行っている合いの手の情報を収集して生成した合いの手データとサーバー装置から送信された合いの手データを同時に使用したり、サーバー装置から送信された複数の合いの手データを同時に使用したりして、それぞれのデータに基づく映像・画像や音声を同時に再生することができる。これにより、あたかも多数の視聴者による多様な合いの手が歌唱者に対して送られているかのような演出を行うことができる。【００３０】  サーバー装置がカラオケ装置からの求めに応じて合いの手データを送信するにあたり複数の合いの手データが候補となった場合、カラオケ機器は該複数のデータの全部または一部を受信することができる。合いの手データの候補が複数存在する場合、どのデータを使用するかはカラオケ楽曲の演奏に先だって予めカラオケ装置に設定された条件またはユーザーからの指定によって決定されるが、カラオケ楽曲の演奏中に必要に応じて合いの手を映像・画像や音声で表現するために使用する合いの手データを切り替えてることもできる。たとえば、カラオケ楽曲の演奏途中に歌唱者の歌唱を評価し、該評価が一定水準以上であれば、元となった合いの手の実演がより高く評価されていた合いの手データに切り替えて該合いの手データの内容に基づく映像データ・画像データや音声データを再生することで、歌唱者に対してあたかも自分の歌唱によって視聴者がより盛り上がって合いの手を送っているかのような高揚感を与えることができる。【００３１】  合いの手データには合いの手の内容だけでなく付随情報（たとえば元となった合いの手の実演に対する評価の結果や合いの手を送った視聴者の人数や性別など）を記録すことができ、これらの情報を表示装置の画面上に表示することができる。これにより、合いの手データの候補が複数存在しどの合いの手データを使用して合いの手の映像・画像や音声を再生するかをユーザーの選択に委ねる場合に、ユーザーは、各合いの手データの内容を確認した上で、自分の好みや気分に合致した合いの手を選択して歌唱を行うことができる。また、サーバー装置に記録されている合いの手データの元になった合いの手の実演に対する評価を楽曲ごとに集計して順位を付けてカラオケ装置に送信し、ユーザーに対して自分の実演した合いの手の順位を示すこともできる。かかる順位の集計は、合いの手が送られた楽曲全体について行うのはもちろん、合いの手データの付随情報に含まれる視聴者の属性情報ごと（例えば難易度別、男女別、年齢別、地域別���ど）に行うこともできる。【００３２】  合いの手データ候補が複数ある場合にどの合いの手データを使用するかをユーザーの選択に委ねる場合であっても、カラオケ装置に予め設定することで、選択にあたってユーザーが満たすべき一定の条件を設けることができる。これにより、たとえばある楽曲を所定の回数歌唱した履歴のあるユーザーのみが使用できる合いの手や、別途使用権利を購入したユーザーのみが使用できる合いの手を提供することができる。【００３３】  カラオケ装置が、視聴者の行った合いの手の内容に応じて映像・画像ないし音声を再生する方法は、ユーザーからの指定に応じて変更することができる。再生方法の変更は、ユーザーがカラオケ装置の提示する映像・画像データないし音声データの候補から再生するデータを選択する方法や、特定の映像・画像データないし音声データに対してユーザーの選択した加工処理（たとえば、映像・画像であれば表示サイズの拡縮や色調変更やアニメーション効果の付与が、また音声であれば音量や音程の変更などであり、これらに限られない）を行う方法などが想定されるが、これらに限られない。また、これらの方法を複数同時に組み合わせることでより多様な再生方法を提供することもできる。【００３４】  本発明は、［００２１］で述べた通り、手本データを表示装置の画面上に表示するにあたって、カラオケ楽曲の現に再生されている箇所に対応する合いの手の内容と、それ以降において視聴者が行うべき合いの手の内容の全部または一部とを同時に表示装置の画面上に表示できるが、その際、ユーザーが両者を容易に区別できるように表示することができる。かかる表示の方法はユーザーが両者を視覚的に区別できるものであればよく、たとえば現に再生されている合いの手の内容を示す映像・画像と、それ以降において視聴者が行うべき合いの手の内容を示す映像・画像とを異なる色調で表示したり、表示されている映像・画像のうちどれが現に再生されている合いの手の内容を示すのかを指し示す映像・画像を補足したり、画面上に現に再生されている合いの手の内容を示す画像・映像を表示する領域とそれ以降において視聴者が行うべき合いの手の内容を示す映像・画像を表示する領域とを設けて各領域に手本データの映像・画像を表示したりするなどが想定されるが、これらに限られるものではない。また、どのような方法によって両者を区別できるようにするかは、カラオケ装置に予め設定された条件に従い定めるだけでなく、カラオケ装置の提示する候補からユーザーに選択させて定めることもできる。【００３５】  カラオケ機器は、視聴者の合いの手を評価するにあたって歌唱者の歌唱に対する評価の内容を、また歌唱者の歌唱を評価するにあたって視聴者の合いの手に対する評価の内容を加味することができる。これにより、たとえば視聴者が高く評価される合いの手を行った場合には歌唱者の歌唱にもより高い評価を行うことができる。これは、本来概念的・抽象的なものにとどまる、合いの手が歌唱者および視聴者の心理に及ぼす効果を、合いの手や歌唱に対する評価結果という形で明確かつ具体的に表現しユーザーに提示することで、合いの手に対するユーザーの意識を高め、カラオケをより盛り上げるための工夫である。
【発明の効果】
【００３６】  本発明においては、カラオケにおいて合いの手を行う視聴者に対し、合いの手の内容を記憶していなくても画面上の手本を見ながら演奏に合わせて容易に合いの手を行うことができる装置、プログラムまたは方法が提供される。【００３７】  本発明においては、カラオケにおいて視聴者が行った合いの手が手本となる合いの手と比較してどの程度適合であったかを評価するとともに、かかる評価を歌唱者の歌唱に対する評価と連動させることで、歌唱者と視聴者の一体感をより高める演出を提供できる装置、プログラムまたは方法が提供される。【００３８】  本発明においては、カラオケにおいて視聴者が行った合いの手を映像・画像や音声で表現し、また合いの手の表現にあたって様々な演出を付加することで、合いの手が歌唱者および視聴者の心理に及ぼす効果を高めカラオケをより盛り上げる装置、プログラムまたは方法が提供される。【００３９】  本発明においては、カラオケにおいて視聴者が行った合いの手の情報をサーバー装置に記録してカラオケ装置に配信することで、視聴者がその場にいない状態で歌唱する歌唱者に対しても歌唱者に合いの手を提供できる装置、プログラムまたは方法が提供される。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施の形態にかかる電子機器の構成を示す構成図である。
【図２】本発明の実施の形態にかかる処理ステップのフローを示すフローチャートである。
【図３】本発明の実施の形態にかかる画像データを用いて視聴者に現時点で行うべき合いの手と以後行うべき合いの手の内容を理解させる方法を示す説明図である。
【図４】本発明の実施の形態にかかる映像データを用いて視聴者に現時点で行うべき合いの手と以後行うべき合いの手の内容を理解させる方法を示す説明図である。
【図５】本発明の実施の形態にかかるカメラ装置を合いの手入力装置とした合いの手の入力と表現の様子を示す説明図である。
【図６】本発明の実施の形態にかかる加速度センサーを合いの手入力装置とした合いの手の入力と表現の様子を示す説明図である。
【図７】本発明の実施の形態にかかる視聴者の合いの手を演出を付加して表現する方法を示す説明図である。
【図８】本発明の実施の形態にかかるタブレット型端末を合いの手入力装置とした合いの手の入力と表現の様子を示す説明図である。
【図９】本発明の実施の形態にかかるネットワーク回線を介して合いの手データを共有する方法を示す説明図である。
【発明を実施するための形態】
【００４１】  以下、図面を参照して、本発明の実施の形態について説明する。
本発明の電子機器の構成を図１に示す。電子機器１には、表示装置２、音声再生装置３、指示入力装置４と、合いの手入力装置５、音声入力装置６、カラオケ装置７と、手本データ８と、合いの手入力装置５と音声入力装置６が収集した視聴者の合いの手の内容の情報に基づき生成された合いの手データ９と、カラオケ装置に記録された合いの手として再生する映像データ１０・画像データ１１や音声データ１２、カラオケの実施に辺り演奏する楽曲の楽曲データ１３、ならびにカラオケ装置７にネットワーク接続されたサーバー装置１４とカラオケ装置７で生成されサーバー装置１４に送信された合いの手データ１５に加え、サーバー装置１４にネットワーク接続されたカラオケ装置７とは別の装置であるカラオケ装置１６が備えられる。
【実施例】
【００４２】  次に、図２に本発明の処理の実施の形態を、フローチャートを用いて説明する。まず、ユーザーが指示入力装置４によりカラオケ装置７に対し演奏を希望する楽曲を指定し演奏する楽曲に対応する楽曲データ１３が決定される（Ｓ２）。【００４３】  カラオケ装置７はサーバー装置１４に対し該楽曲に対応する合いの手データ１５を照会し、その全部または一部を受信する（Ｓ４）。ただしカラオケ装置７が既に保有している合いの手データを使用する場合この手順は省略される。該楽曲に対応する合いの手データが複数存在する場合、指示入力装置４によるユーザーの指定または予め設定された基準に基づくカラオケ装置７の判断により使用する合いの手データ９が決定される（Ｓ６）。ただし該楽曲に対応する合いの手データが１個のみの場合この手順は省略される。【００４４】  指示入力装置４によるユーザーの指定または予め設定された基準に基づくカラオケ装置７の判断により、使用する手本データ８を特定する（Ｓ８）。【００４５】  指示入力装置４によるユーザーの指定または予め設定された基準に基づくカラオケ装置７の判断により、手本データ８および合いの手データ９・合いの手データ１５の表示方法およびこれらの表示にあたって使用す映像データ１０、画像データ１１、および音声データ１２を決定する（Ｓ１０）。【００４６】  ユーザーにより指定された楽曲の楽曲データ１３に記録された音声が音声出力装置３から再生される（Ｓ１２）。【００４７】  カラオケ装置７は、Ｓ１０で決定された条件に従い、カラオケ楽曲の演奏に合わせ、表示装置２の画面上で手本データ８および合いの手データ９に対応する映像データ１０や画像データ１１を、また音声再生装置３で合いの手データ９に対応する音声データ１２を再生する（Ｓ１４）。【００４８】  視聴者がカラオケ楽曲の演奏に合わせて行っている合いの手の内容の情報を、合いの手入力装置５および音声入力装置により収集する（Ｓ１６）【００４９】  カラオケ装置７は、合いの手入力装置５および音声有力装置により収集された情報をもとに合いの手データ１５を生成する（Ｓ１８）。【００５０】  カラオケ装置７は、Ｓ１０で決定された条件に従い、視聴者の行っている合いの手に合わせ、表示装置２の画面上で合いの手データ１５に対応する映像データ１０や画像データ１１を、また音声再生装置３で合いの手データ１５に対応する音声データ１２を再生する（Ｓ２０）。【００５１】  カラオケ装置７は、楽曲の演奏中ないし楽曲の演奏終了後に、予めカラオケ装置７に設定された基準および手本データ８に記録されている演奏されている楽曲のどの時点においてどの合いの手をすべきかの情報に基づき、視聴者の行った合いの手に対する評価を行う（Ｓ２２）。なお、ユーザーが指示入力装置４によって指示をすれば、歌唱者の歌唱に対する評価に合いの手に対する評価の内容を加味したり、合いの手に対する評価の内容を歌唱者の歌唱に対する評価に加味することもできる。【００５２】  カラオケ装置７は、楽曲の演奏中ないし楽曲の演奏終了後に、視聴者の行った合いの手に対する評価の内容を表示装置２の画面上に表示する（Ｓ２４）。【００５３】  カラオケ装置７は、楽曲の演奏終了後に、最終的な合いの手データの内容、および合いの手に対する評価等の付随情報を包含した合いの手データを確定し、サーバー装置１４に送信する。サーバー装置１４は受信したデータを合いの手データ１５として記録し、カラオケ装置７とは別のカラオケ装置１６から照会があった場合、該当する合いの手データ１５の全部または一部をカラオケ装置１６に送信する（Ｓ２６）。【００５４】  図３および図４は、請求項１により実現する、手本データのうち、視聴者がその時点で行うべき合いの手が記録された部分およびその時点以降に視聴者が行うべき合いの手が記録された部分を表示装置の画面上に表示する方法の具体例である。【００５５】  図３は合いの手の内容を画像で記録した手本データを使用する方法の一例を示す。表示装置の画面３００に手本データに記録された合いの手の内容の一部を左から右に並べた画像３１０が表示される。文字３２０は演奏されているカラオケ楽曲の歌詞であり、一般的なカラオケと同様、楽曲の進行にあわせて文字の色調が変わっていく。本発明により、合いの手データの画像も歌詞と同様、画像３１０から画像３３０のように、楽曲の進行にあわせてその色調を変えていくことができるので、視聴者に対し、画像３１０により楽曲の演奏が「空を〜」に達した時点で「手を叩く合いの手」をすることを理解させることができ、また画像３３０により楽曲の演奏が「Ｗｅ〜」に達した時点で『腕を突き上げて「ＦＬＹ！」と声を上げる合いの手』をすることを理解させることができる。また、画像３１０によって視聴者は、『腕を突き上げて「ＦＬＹ！」と声を上げる合いの手』をすることを楽曲の演奏が「Ｗｅ〜」に達するより前の時点で理解することができ、楽曲の演奏が「Ｗｅ〜」に達するタイミングに備えることができるので、合いの手の内容を記憶していなくても容易に合いの手を行うことができる。なお、合いの手の手本の画像の色調の変化が画像の右端に達した場合は、手本データに含まれる画像の以降の合いの手を示す箇所に表示が切り替わる。【００５６】  図４は合いの手の内容を画像で記録した手本データを使用する方法の一例を示す。表示装置の画面４００に手本データに記録された合いの手の内容である映像４１０が表示される。映像４１０は合いの手の内容が左から右に並ぶよう記録しており、視聴者が行うべき振付の内容が、固定された位置に表示されている図形４２０のちょうど内側にくるよう映像の変移の速度が調整されている。視聴者は、映像４１０および図形４２０により楽曲の演奏が「空を〜」に達した時点で「手を叩く合いの手」をすることを理解させることができ、また映像４３０および図形４２０により楽曲の演奏が「Ｗｅ〜」に達した時点で『腕を突き上げて「ＦＬＹ！」と声を上げる合いの手』をすることを理解させることができる。また、視聴者は、映像４１０によって『腕を突き上げて「ＦＬＹ！」と声を上げる合いの手』をすることを楽曲の演奏が「Ｗｅ〜」に達するより前の時点で理解することができ、また映像４３０によってあと２回『腕を突き上げて「ＦＬＹ！」と声を上げる合いの手』をすることを楽曲の演奏が「ｃａｎ  ｆｌｙ〜」に達するより前の時点で理解することができ、そのタイミングに備えることができるので、合���の手の内容を記憶していなくても容易に合いの手を行うことができる。【００５７】  図５は、合いの手装置として人体の動作を撮影して解析してデータ化するカメラ装置を使用する方法の一例を示す。カメラ装置５００はカラオケ楽曲の演奏中、視聴者５１０の動作を撮影して解析し、視聴者５１０が手拍子の合いの手をしたのを検知した場合、その情報をカラオケ機器５２０に送信する。情報を受信したカラオケ機器５２０は、手拍子の合いの手に対応した映像データ５３０を表示装置５４０の画面上に表示するとともに、手拍子の合いの手に対応した音声データ５５０を音声再生装置５６０で再生する。【００５８】  図６は、合いの手装置として人体に装着してその位置変化から人体の動作を算出するセンサー装置を使用する方法の一例を示す。視聴者６００が手首に装着するセンサー装置６１０はリストバンドの形状をしており、内蔵された加速度センサーによって装置の位置変化および傾きを検出することができる。カラオケ楽曲の演奏に先立ち、センサー装置６１０は表示装置６２０の画面上に表示された画像６３０と同じポーズを視聴者に取らせることで、視聴者の人体の位置変化および傾きの検出の基礎となるセンサー装置の初期位置を確定することができる。カラオケ楽曲の演奏が開始され、視聴者が「手拍子」の合いの手の動作を行うと、センサー装置６１０は初期位置と比較したセンサー装置の位置および傾きの変化の情報に基づいて視聴者の両手の動きを算出して視聴者の行った合いの手の内容を「手拍子」として検知し、カラオケ機器６４０に送信する。視聴者が「手拍子」の合いの手を行ったとの情報を合いの手入力装置から受信したカラオケ機器６４０は「手拍子」の合いの手に対応した映像データ６５０を表示装置６２０の画面上に表示するとともに、「手拍子」の合いの手に対応した音声データ６６０を音声再生装置６７０で再生する。【００５９】  図７は、演出として視聴者の合いの手より誇張した表現を行う方法の一例を示す。視聴者７００が手拍子の合いの手を行ったことを検知した合いの手入力装置７１０は、その情報をカラオケ装置７２０に送信する。情報を受信したカラオケ装置７２０は、予めの設定またはユーザーからの指定に従い、手拍子に対応した映像データ７３０を多数同時に表示装置７４０の画面上に表示するとともに、手拍子に対応した音声データ７５０を多数同時に音声再生装置７６０で再生する。これにより、１人の視聴者が合いの手を行っただけで、あたかも多数の視聴者が一斉に合いの手を行ったかのような演出が可能となる。【００６０】  図８は、視聴者の合いの手に応答して再生される画像・映像や音声の内容をユーザーに指定させる方法の一例である。合いの手入力装置８００はタッチパネル型の表示装置およびカラオケ装置８１０との通信機能を備えている。カラオケ楽曲の演奏が開始されると、合いの手入力装置８００の画面上に視聴者が指定できる合いの手の画像・映像や音声の内容として、合いの手の種類を示す画像８２０と合いの手の実行方法を示す画像８３０が表示される。視聴者８４０が希望する合いの手の種類と実行方法としてタッチパネルに表示された「マラカス」の「右」の画像を指定すると、その情報が合いの手入力装置８��０からカラオケ装置８１０に送信される。情報を受信したカラオケ装置８１０は、マラカスを右手で振る動作に対応した映像データ８５０を表示装置８６０の画面上に表示するとともに、マラカスを右手で振る動作に対応した音声データ８７０を音声再生装置８８０で再生する。なお、画像８２０および画像８４０として記載した合いの手の種類と実行方法はあくまで一例であり、その内容はこれらに限られるものではない。【００６１】  図９は、あるカラオケ装置で生成された合いの手データを、ネットワーク回線を介して別のカラオケ装置に送信することで、別の場所で別の時間に歌唱している歌唱者に対して合いの手を提供する方法の一例である。歌唱者９００がカラオケ楽曲を歌うのに合わせて視聴者９０５が合いの手を行うと、合いの手入力装置９１０が合いの手の内容を検知してその情報をカラオケ装置９１５に送り、表示装置９２０の画面上に視聴者９０５が行った合いの手に対応する映像データ９２５が表示され、音声再生装置９３０で視聴者９０５が行った合いの手に対応する音声データ９３５が再生される。歌唱者９００の歌唱が終了するとカラオケ装置９１５は視聴者９０５が行った合いの手の情報を合いの手に対する評価等の付随情報を包含した合いの手データ９４０を生成し、ネットワーク回線を介してサーバー装置９４５に送信する。そして、歌唱者９００および視聴者９０５とは別の場所・別の時間に別のカラオケ装置９５５を使用して同じカラオケ楽曲を歌おうとしている歌唱者９５０が合いの手データの利用をカラオケ装置９５５に指示すると、カラオケ装置９５５はサーバー装置９４５に対し該カラオケ楽曲の合いの手データを送信するよう照会を行い、照会を受けたサーバー装置９４５は該当する合いの手データ９４０をネットワーク回線を介してカラオケ装置９５５に送信する。カラオケ装置９５５は、受信した合いの手データ９４０の内容に基づき、カラオケ楽曲の演奏に合わせ、表示装置９６０の画面上に合いの手の内容に対応した映像データ９６５を表示し、音声再生装置９７０で合いの手の内容に対応した音声データ９７５を再生する。これにより、歌唱者９５０は、面前に視聴者が居なくても実際に視聴者が行ったのと同様の合いの手を受けながらカラオケ楽曲を歌唱することができる。【００６２】  以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形、変更および組み合わせが可能である。
【符号の説明】
【００６３】１  電子機器
２  表示装置
３  音声出力装置
４  指示入力装置
５  合いの手入力装置
６  音声入力装置
７  カラオケ装置
８  手本データ
９  合いの手データ
１０  画像データ
１１  映像データ
１２  音声データ
１３  楽曲データ
１４  サーバー装置
１５  合いの手データ
１６  カラオケ装置
【図１】
2014123085.tif 000003
【図２】
2014123085.tif 000004
【図３】
2014123085.tif 000005
【図４】
2014123085.tif 000006
【図５】
2014123085.tif 000007
【図６】
2014123085.tif 000008
【図７】
2014123085.tif 000009
【図８】
2014123085.tif 000010
【図９】
2014123085.tif 000011