(57)【特許請求の範囲】
【請求項１】
歌唱者毎に歌唱パートを分担して歌唱するための二重唱楽曲を保有し、各二重唱楽曲にはそれぞれ複数の採点区間が設定されていると共に、歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段とを有してなり、
（ア）歌唱力採点手段は、二重唱楽曲における各歌唱パートに対応したカラオケマイク毎に予め設定されたリファレンスに基づき、それぞれの歌唱パートの採点区間毎に採点値を算出し、
（イ）リファレンス置換手段は、一方の歌唱パートにおける連続した所定数の採点区間にて、その算出された採点値が何れも予め設定された基準値を下回った場合、他方の歌唱パートのカラオケマイクに設定されたリファレンスを、前記一方の歌唱パートのカラオケマイクに設定されたリファレンスに置換し、かつ、前記一方の歌唱者の歌唱パートに対応する連続した所定数の採点区間にて、その算出された採点値が何れも前記基準値を上回った場合、あるいは、楽曲演奏が他方の歌唱者の歌唱パートを含む歌唱部分に切り替わった場合、前記置換されたカラオケマイクのリファレンスを前記設定されたリファレンスに戻し、
（ウ）アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートを歌唱した採点区間の採点値および／または前記基準値が下回った時点から前記基準値が上回った時点までの時間と、を判断要素として評価する、
ことを特徴とするカラオケ装置。
【請求項２】
（エ）アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートにおける各採点区間の歌唱に対する平均採点値と、前記基準値が下回った時点から前記基準値が上回った時点までの時間に加え、さらに、前記基準値が下回った時点から前記他方の歌唱者による前記一方の歌唱パートの歌唱開始時点までの時間と、を判断要素として評価する、
ことを特徴とする請求項１記載のカラオケ装置。
【請求項３】
前記歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段に加え、さらに、アシスト通知手段とを有してなり、
（オ）アシスト通知手段は、前記基準値が下回った時点にて、画面表示および／または音声出力をもって、歌唱者に対してアシスト要求の通知をさせる、
ことを特徴とする請求項１記載ないし請求項２記載のカラオケ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二重唱楽曲（以下、デュエット曲という）を、カラオケマイクを利用して歌唱するにあたり、一方の歌唱者が歌唱中に歌い方を失念してしまった際、他方の歌唱者による歌唱補助に対するアシスト能力を評価できるようにしたカラオケ装置に関する。
【背景技術】
【０００２】
周知のようにカラオケ装置は、カラオケ楽曲の演奏音にカラオケマイクから入力した歌唱者の音声を合成して再生するようにしており、音程やテンポなどを歌唱者の歌唱力に対応させて予め設定することができ、また、歌唱力を評価して歌唱力採点するなどの機能が知られている。このようなカラオケ装置では、歌唱者が選定した楽曲が自動演奏され、歌唱者はこの楽曲の演奏音の流れに合わせて歌唱（以下、ボーカルという）を進行するようにしている。
【０００３】
このようなカラオケ装置において、歌唱中に歌唱者が歌い方を失念して歌唱者のボーカルが途絶えると演奏音のみが継続して再生されることになる。かかる不具合を解決するため、予めシステムの記憶手段にボーカル音を記憶しておき、ボーカルの音量と演奏音の音量を演算する手段を備え、歌唱者の歌唱力が低下してボーカルが途絶えたとき、前記記憶手段からボーカル音を読み出し、演奏音とともにボーカル音を再生するようにしたシステムが知られている（例えば、特許文献１）。
【０００４】
かかるシステムは、歌唱者の音声が途絶えたとき、自動的にボーカル付き演奏に切り替わり、一方、歌唱者が歌唱を再開して音声が生じると自動的にカラオケ演奏となるため、歌唱内容を完全にマスターしなくてもカラオケを楽しむことができるとするもので、スイッチの切り替えにより行われていたそれまでの困難で煩わしい操作を払拭するものとされている。
【特許文献１】特開平０４−２９８７９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したようなシステムでは、歌唱者の歌い方の失念に対して、装置技術によりアシストするものであり、歌唱者が単独で歌唱する曲目において有効となる。ところが、デュエット曲のように同一曲目を異なる歌唱者が歌唱区分（以下、歌唱パートという）毎に歌唱するような場合、普通に行われる行為として、一方の歌唱者が歌唱中に歌い方を失念してしまった際には、他方の歌唱者がアシストするのが自然であり、装置技術によるアシストは違和感を生じ好まれないのが実情である。
【０００６】
また、デュエット曲においても歌唱力採点が可能となるが、装置技術によるアシストを介在させた場合、歌唱者の正確な歌唱力採点をすることができなくなり、全パートが双方の歌唱者により歌唱され、歌唱力採点されることが望ましいことになる。そして、デュエット曲では、必ずしも双方の歌唱者の歌唱力が揃って優れていることはなく、一方の歌唱者を他方がアシストしつつ楽曲が進行する場合もある。その際、他方の歌唱者のアシストが優れている場合でも、アシストを受けた歌唱者の採点結果は向上するものの、従来では、アシストを行った歌唱者の評価をする仕組みがなかった。即ち、アシスト能力は無視される状態となっていた。
【０００７】
本発明は、かかる従来の問題に鑑みなされたものであり、カラオケ装置によりデュエット曲を歌唱するにあたり、一方の歌唱者が歌唱中に歌い方を失念してしまった際、アシストを行った歌唱者のアシスト能力を評価できるようにし、好ましくは、アシストの要求を正確に認識でき、歌唱者同士でアシストのタイミングが明確になるカラオケ装置の提供を目的とするものである。
【課題を解決するための手段】
【０００８】
そこで、本発明は、一方の歌唱者が歌い方を失念したことを、予め設定した歌唱力採点の基準値に基づき判断し、これに対し、他方の歌唱者が一方の歌唱者の代わりに、その歌唱パートを正確に歌唱したか否かを、各歌唱パートのそれぞれのカラオケマイクに設定されたリファレンスを置換して、その他方の歌唱者の採点結果から求め、さらに、この歌唱補助によって、一方の歌唱者が歌唱に復帰したことを、先の歌唱力採点に基づき判断し、その復帰時間を含めて総合的に評価することで、他方の歌唱者のアシスト能力を判断するような仕組みを構築することで、上記目的を達成することを見出し、本発明のカラオケ装置を想到した。
【０００９】
即ち、本発明の請求項１記載のカラオケ装置では、
歌唱者毎に歌唱パートを分担して歌唱するための二重唱楽曲を保有し、各二重唱楽曲にはそれぞれ複数の採点区間が設定されていると共に、歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段とを有してなり、
（ア）歌唱力採点手段は、二重唱楽曲における各歌唱パートに対応したカラオケマイク毎に予め設定されたリファレンスに基づき、それぞれの歌唱パートの採点区間毎に採点値を算出し、
（イ）リファレンス置換手段は、一方の歌唱パートにおける連続した所定数の採点間にて、その算出された採点値が何れも予め設定された基準値を下回った場合、他方の歌唱パートのカラオケマイクに設定されたリファレンスを、前記一方の歌唱パートのカラオケマイクに設定されたリファレンスに置換し、かつ、前記一方の歌唱者の歌唱パートに対応する連続した所定数の採点区間にて、その算出された採点値が何れも前記基準値を上回った場合、あるいは、楽曲演奏が他方の歌唱者の歌唱パートを含む歌唱部分に切り替わった場合、前記置換されたカラオケマイクのリファレンスを前記設定されたリファレンスに戻し、
（ウ）アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートを歌唱した採点区間の採点値および／または前記基準値が下回った時点から前記基準値が上回った時点までの時間と、を判断要素として評価する。
【００１０】
また、本発明の請求項２記載のカラオケ装置では、
（エ）アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートにおける各採点区間の歌唱に対する平均採点値と、前記基準値が下回った時点から前記基準値が上回った時点までの時間に加え、さらに、前記基準値が下回った時点から前記他方の歌唱者による前記一方の歌唱パートの歌唱開始時点までの時間と、を判断要素として評価するようにした。
【００１１】
さらに、本発明の請求項３記載のカラオケ装置では、前記歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段に加え、さらに、アシスト通知手段とを有してなり、
（オ）アシスト通知手段は、前記基準値が下回った時点にて、画面表示および／または音声出力をもって、歌唱者に対してアシスト要求の通知をさせるようにした。
【発明の効果】
【００１２】
本発明の請求項１記載のカラオケ装置によれば、一方の歌唱者の歌唱パートにおいて、歌い方を失念（採点値が予め設定された基準値を下回った状態）した際、他方の歌唱者が成した歌唱補助の正確さの程度や、その歌唱補助による一方の歌唱者の歌唱への復帰時間の長さを評価の判断要素とすることで、好適かつ客観性をもってアシストを行った歌唱者のアシスト能力を評価できるといった効果を奏する。
【００１３】
また、請求項２記載のカラオケ装置によれば、さらに、一方の歌唱者が歌い方を失念してから他方の歌唱者が歌唱補助を始めるまでの時間を判断要素に組み入れることにより、アシストするリスポンスの速さもアシスト評価の対象とされ、さらに詳細に歌唱者のアシスト能力を評価できるといった効果を奏する。
【００１４】
さらに、請求項３記載のカラオケ装置によれば、デュエット曲を歌唱するにあたり、一方の歌唱者の歌唱パートにおいて、歌い方を失念した際、モニター画面表示または音声により他方の歌唱者がアシストの要求を正確に認識でき、歌唱者同士のアシストのタイミングが明確になるといった効果を奏する。
【００１５】
そして、請求項１乃至請求項３記載のカラオケ装置によれば、デュエット曲における歌唱力採点を正確に実行でき、カラオケ装置のアミューズメント性を向上するとともに、歌唱者の歌唱力向上に資するカラオケ装置とすることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は、本発明の全体の構成の概略を示すもので、本発明の理解を容易とするため、まず、同図の各部の構成を具体的に説明する。
【００１７】
図１における符号５０はカラオケ装置の各部を制御する中央演算処理装置（以下、ＣＰＵという）であり、このＣＰＵ５０には、システムバスＢＵＳを介してＲＯＭ５１、ＲＡＭ５２、通信制御部５３、ハードディスク装置（以下、ＨＤＤという）５４、リモコン受信部５５、音源装置５６、文字表示部５７、表示制御部５８、音声データ処理分６０、歌唱力採点部６８、アシスト要否判定部６９が接続されている。
【００１８】
前記ＲＯＭ５１には、本発明のカラオケ装置の電源投入時に初期設定を行う起動プログラムが記憶されており、装置の電源が投入されると、この起動プログラムによりＨＤＤ５４に記憶されているシステムプログラムおよびアプリケーションプログラムがＲＡＭ５２にロードされる。また、前記ＨＤＤ５４には、前記システムプログラムおよびアプリケーションプログラムのほか、カラオケ演奏時に再生される楽曲データファイルが記憶されている。
【００１９】
ここで、図２乃至図４を参照して楽曲データの内容について説明する。図２は、ＨＤＤ５４に数万曲記憶されている楽曲データの１曲分の楽曲データのフォーマットを示し、図３、図４に楽曲データの各トラックの内容を示す。図２の楽曲データの内容は、ヘッダ、楽音トラック、ガイドメロディトラック、歌詞トラック、音声トラック、効果トラック、音声データ部により構成されている。ヘッダには、楽曲データに関する種々の情報が書き込まれており、例えば、曲番号、曲名、ジャンル、発売日、演奏時間などのデータが書き込まれている。
【００２０】
楽音トラックから効果トラックの各トラックは、図３および図４に示すように、複数のイベントデータと各イベント間の時間間隔を示すデュレーションデータΔｔからなるシーケンスデータで構成されている。ＣＰＵ５０は、カラオケ演奏時にシーケンスプログラムに基づき全トラックのデータを平行して読み出す。シーケンスプログラムは、所定のテンポクロックでデュレーションデータΔｔをカウントし、カウントを終了したときにこれに続くイベントデータを読み出し、所定の処理部へ出力する。
【００２１】
図３に示す楽音トラックには、メロディトラック、リズムトラックをはじめとして種々のパートのトラックが形成されている。図４に示すガイドメロディトラックには、このカラオケ曲の旋律、即ち、歌唱者が歌うべき旋律のシーケンスデータが書き込まれている。ＣＰＵ５０は、このデータに基づいてリファレンスの音高データ、音量データを生成し、歌唱音声と比較する。なお、デュエット曲のように複数の歌唱パートがある場合は、各歌唱パートに対応してガイドメロディトラック（リファレンス）が存在するか、あるいは、同じトラック内でも、それぞれの歌唱パートが区分されており、これらに基づき、それぞれの歌唱パートの歌唱力採点が行われる。
【００２２】
また、歌詞トラックは、モニター装置５９の画面に歌詞を表示するためのシーケンスデータを記憶したトラックである。このシーケンスデータは、楽音データではないが、インプリメンテーションの統一をとって作業工程を容易にするため、このトラックはＭＩＤＩデータで記述され、データの種類は、システムエクスクルーシブメッセージである。
【００２３】
この歌詞トラックは、通常、モニター装置５９の画面上に表示される１行分の歌詞を１つの歌詞表示データとして扱う。歌詞表示データは、１行の歌詞の文字データ（文字コードおよびその文字の表示座標）、表示時間、およびワイプシーケンスデータからなる。このワイプシーケンスデータは、曲の進行に合わせて歌詞の表示色を変更してゆくためのシーケンスデータであり、表示色を変更するタイミング（歌詞が表示されてからの時間）と変更位置（座標）が１行分の長さにわたって順次記録されているデータである。
【００２４】
音声トラックは、音声データ部に記憶されている音声データｎ（ｎ＝１，２，３，・・・・）の発生タイミングなどを指定するシーケンストラックである。音声トラックには、音声指定データと、音声指定データの読出間隔、即ち、音声データを音声データ処理部６０に出力して音声信号を形成するタイミングを指定するデュレーションデータΔｔが書き込まれている。音声指定データは、音声データ番号、音程データおよび音量データからなり、前記音声データ番号は、音声データ部に記録されている各音声データの識別番号ｎである。
【００２５】
音程データ、音量データは、形成すべき音声データの音程や音量を指示するデータである。即ち、言葉を伴わないバックコーラスは、音程や音量を変化させることにより汎用的に利用できるため、基本的な音程、音量で１つ記憶しておき、このデータに基づいて音程や音量をシフトして繰り返し使用する。音声データ処理部６０は、音量データに基づいて出力レベルを設定し、音程データに基づいて音声データの読出間隔をを変えることによって音声信号の音程を設定する。
【００２６】
ここで、ＲＡＭ５２のメモリマップの内容を図５を参照して説明する。同図に示すように、ガイドメロディを一時記憶するＭＩＤＩバッファ５２０のほか、このガイドメロディから抽出されたリファレンスデータを記憶するリファレンスデータレジスタ３２１、およびリファレンスと歌唱音声を比較することによって求められた差分データを蓄積記憶する差分データ記憶エリア５２２、この差分データを歌唱技巧データと比較することによって求められたポイントを記憶するポイント記憶エリア５２３、カラオケ演奏のための楽曲データを記憶する実行データ記憶エリア５２４、ロードしたシステムプログラムやアプリケーションプログラムを記憶するプログラム記憶エリア５２５が設定されている。なお、前記リファレンスデータレジスタ３２１は、音高データレジスタ５２１ａおよび音量データレジスタ５２１ｂからなり、差分データ記憶エリア５２２は、音高差分データ記憶エリア５２２ａ、音量差分データ記憶エリア５２２ｂおよびリズム差分データ記憶エリア５２２ｃからなる。
【００２７】
つぎに、通信制御部５３は、情報通信ネットワークを介してホストステーションから楽曲データなどをダウンロードし、内蔵しているＤＭＡコントローラにより受信した楽曲データをＣＰＵを介さずに直接ＨＤＤ５４に書き込む。リモコン受信部５５は、リモコン送信機６１から送られてくる赤外線コード信号を受信して入力データを復元する。リモコン送信機６１は、選曲スイッチなどのコマンドスイッチやテンキースイッチなどを備えており、利用者がこれらのスイッチを操作すると、その操作に応じたコードで変調された赤外線コード信号を送信する。
【００２８】
音源装置５６は、楽曲データの楽音トラックデータに基づいて楽音信号を形成する。楽曲データは、カラオケ演奏時にＣＰＵ５０によって読み出され、楽音トラックとともに比較用データであるガイドメロディトラックも並行して読み出される。楽音トラックは、図３に示すように複数トラックで構成されており、音源装置５６はこのデータに基づいて複数パートの楽音信号を同時に形成する。
【００２９】
音声データ処理部６０は、楽曲データに含まれる音声データに基づき、指定された長さ、指定された音高の音声信号を形成する。この音声データ処理部６０および前記音源装置５６の各々が形成した音声信号がカラオケ演奏音となる。そして、このカラオケ演奏音は、Ｄ／Ａ変換器６２によりアナログ信号に変換された後、音響装置６３へ出力され、スピーカシステム６４から発音される。
【００３０】
歌唱用のカラオケマイク６５ａ・６５ｂから入力した歌唱音声信号は、プリアンプ６６ａ・６６ｂで増幅された後、前記音響装置６３およびＡ／Ｄ変換器６７ａ・６７ｂへ入力する。音響装置６３へ入力した歌唱音声信号は、増幅されてスピーカシステム６４から発音され、Ａ／Ｄ変換器６７ａ・６７ｂは、入力した歌唱音声信号をデジタル化して出力する。
【００３１】
文字表示部５７は、入力される文字コードに基づいてフォントデータを読み出し、曲名や歌詞などの文字パターンを生成して表示制御部５８へ出力する。また、ＨＤＤ５４は、入力された映像選択データ（チャプタナンバ）に基づき、対応する背景映像を再生し、表示制御部５８へ出力する。映像選択データは、選択されたカラオケ曲のジャンルデータに基づいて決定されるもので、このジャンルデータは、楽曲データのヘッダに書き込まれており、カラオケ演奏の開始時にＣＰＵ５０により読み出される。
【００３２】
ＣＰＵ５０は、ジャンルデータに基づいて再生する背景映像を選択し、その背景映像を指定する映像選択データによりＨＤＤ５４から背景映像が選択され、映像データとして出力される。この映像データと文字表示部５７から出力される歌詞などのフォントデータは、表示制御部５８においてスーパーインポーズされ、その合成画像がモニター装置５９の画面に表示される。
【００３３】
つぎに、歌唱力採点部６８は、歌唱者の歌唱力を評価するもので、ＣＰＵ５０などのハードウエアと採点用のソフトウェアによって構成される。図６は、この歌唱力採点部６８の構成を具体的に示すもので、Ａ／Ｄ変換器６７ａ・６７ｂからデジタル信号に変換されて出力した歌唱音声信号は、データ抽出部６８０ａ・６８０ｂへ入力する。データ抽出部６８０ａ・６８０ｂは、デジタル化された歌唱音声信号から５０ｍｓ毎に音高データと音量データを抽出して差分演算部６８１ａ・６８１ｂへ出力する。
【００３４】
差分演算部６８１ａ・６８１ｂは、各歌唱音声信号から抽出された音高データ、音量データ（以下、歌唱音声データという）と、リファレンス置換部６８３から出力されたガイドメロディの音高データ、音量データ（以下、リファレンスデータという）とを入力し、歌唱音声データが入力されるタイミングに合わせて５０ｍｓ毎にリファレンスデータとの差が算出され、リアルタイムの差分データ（音高差分データ、音量差分データ）として出力される。また、差分演算部６８１ａ・６８１ｂは、歌唱音声データの音量の立ち上がりタイミングと、リファレンスデータの音量の立ち上がりタイミングのずれを検出し、これをリズム差分データとして出力する。
【００３５】
検出された音高差分データ、音量差分データ、リズム差分データは採点部６８２ａ・６８２ｂへ入力する。採点部６８２ａ・６８２ｂは、これらの差分データを、本発明に関わる二重唱楽曲を含む各楽曲にそれぞれ設定されている採点区間単位毎に集計して記憶するとともに、これらの差分データを入力した歌唱技巧データと比較する。この歌唱技巧データは、音源装置５６の動作に微妙な変化を与えて単調とならないようにするとともに音楽的な表現を付与するためのデータであるため、リファレンスデータと歌唱音声データとのずれを示すデータである差分データがこの歌唱技巧データに近似していれば、その曲に合った歌唱がなされていると判断し、その類似度を加算ポイントとして定量化する。この加算ポイント、音高、音量、リズムの各音楽要素毎に求められ、前記採点区間毎に集計され記憶される。
【００３６】
つぎに、かかる処理の概要を図７〜図１１に示すフローチャートを参照して説明する。図７は、データの取込処理を示すフローチャートであり、デュエット曲の歌唱の場合は、２つのカラオケマイク６５ａ・６５ｂからそれぞれの歌唱音声信号が入力すると（ステップＳａ１）、各歌唱音声信号はＡ／Ｄ変換器６７ａ・６７ｂによりデジタルデータに変換される（ステップＳａ２）。各々のデジタルデータは、それぞれデータ抽出部６８０ａ・６８０ｂに入力し、５０ｍｓのフレーム単位で周波数のカウント（ステップＳａ３）および平均音量の算出（ステップＳａ４）が行われる。この周波数カウント値および平均音量値は、５０ｍｓ毎にＣＰＵ５０により読み取られる
【００３７】
図８は、楽曲データの入力処理を示すフローチャートである。この処理は、カラオケ演奏を実行するシーケンスプログラムからガイドメロディトラックのイベントデータおよび制御トラックのイベントデータが受け渡されたとき実行される。まず、シーケンスプログラムから渡されたＭＩＤＩデータをＭＩＤＩバッファ５２０に取り込み（ステップＳｂ１）、このデータが区間分割データであるか否かを判断する（ステップＳｂ２）。前記ステップにより区間分割データと判断された場合、この内容を区間レジスタに記憶し（ステップＳｂ３）、リターンする。一方、取り込んだデータがリファレンスデータであれば、このデータを音高データおよび音量データに変換する（ステップＳｂ４）。
【００３８】
これは、ＭＩＤＩフォーマットのノートオンデータのノートナンバやピッチベンドデータを音高データに変換し、ノートオンデータのベロシティデータやアフタタッチ（キープレッシャ）データを音量データに変換する処理である。このようにして変換された音高データ、音量データでＲＡＭ５２のリファレンスデータレジスタ５２１を更新する（ステップＳｂ５）。したがって、リファレンスデータレジスタ５２１は、新たなガイドメロディデータが入力される毎に更新される。
【００３９】
なお、リファレンスデータがＭＩＤＩデータではなく音高データ、音量データとして記憶されている場合には、この変換処理を行わずにそのままリファレンスデータレジスタ５２１に記憶すればよい。また、音高データ、音量データの記述フォーマットをＭＩＤＩフォーマットにすることも可能であり、この場合、これらをシステムエクスクルーシブメッセージ（例えば、ノートオンデータ、ピッチベンドデータ、チャンネルキープレッシャデータなど）で代用してもよい。
【００４０】
図９は、データ変換処理を示すフローチャートである。この処理は歌唱音声信号の周波数カウント値および平均音量値を取り込んで歌唱音声の音高データ、周波数データに変換する処理であり、歌唱音声信号の１フレーム時間である５０ｍｓ毎に実行される。まず、ＣＰＵ５０は平均音量値を読み取り（ステップＳｃ１）、その値が閾値（ＳＨ）以上であるか否かを判断する（ステップＳｃ２）。このとき、閾値以上であればこの平均音量値に基づいて音量データを生成する（ステップＳｃ３）。つぎに、周波数カウント値を読み取り（ステップＳｃ４）、この周波数カウント値に基づいて音高データを生成し（ステップＳｃ５）、比較処理へ進む。なお、ステップＳｃ２において平均音量値が閾値未満であると判断された場合には、歌唱者が歌唱（発声）していないとして音量０データを生成し（ステップＳｃ６）、音高データを生成せずに比較処理へ進む。以上によるデータ変換処理は、カラオケマイク６５ａ・６５ｂから入力される各歌唱音声についてそれぞれ行われる。
【００４１】
つぎに、比較処理について図１０に示すフローチャートに基づいて説明する。この比較処理は図８のデータ変換処理で生成された歌唱音声の音高データ、音量データと、図７のリファレンス入力処理で求められたリファレンスの音高データ、音量データを比較して差分データを求める処理であり、データ変換処理に同期して５０ｍｓ毎に実行される。この比較処理では、まず、リファレンスの音量データおよび歌唱音声の音量データの双方が閾値以上（発音中）であるかを判断する（ステップＳｄ１）。ここで、双方が発音中でなければ比較処理は無意味となるため、ステップＳｄ１６以下の処理へ進み、一方、双方が発音中の場合には、発音フラグがセットされているかを判断する（ステップＳｄ２）。
【００４２】
前記発音フラグとは、リファレンスと歌唱音声の双方が立ち上がったとき（発音中となったとき）、ステップＳｄ３でセットされるフラグである。したがって、立ち上がった当初は発音フラグはまだセットされたままであるため、、ステップＳｄ２からステップＳｄ３へ進み、ステップＳｄ３において発音フラグがセットされる。そして、リファレンスと歌唱音声の立ち上がりタイミングの差を算出し（ステップＳｄ４）、これをリズム差分データとしてリズム差分データ記憶エリア５２２ｃ内の現在の区間に対応する記憶エリアに記憶する（ステップＳｄ５）。なお、現在の区間は、図８に示すステップＳｂ３でセットされる区間レジスタにより判断することができる。
【００４３】
つぎに、前記リズム差分データを歌唱技巧データと比較し（ステップＳｄ６）、この一致の程度を加算ポイントとしてポイント記憶エリア５２３内の現在の区間に対応する記憶エリアに蓄積記憶する（ステップＳｄ７）。ここで、このタイミングの差を表す歌唱技巧データとして楽音トラックのノートオンイベントデータを用いることができる。即ち、ノートオンイベントデータの正確なビートタイミングの差が楽曲を巧く演奏するための技巧を表しているとみなすことができる。なお、ステップＳｄ７の処理の後、ステップＳｄ８へ進むが、既に、発音中で発音フラグがセットされている場合は、ステップＳｄ２の判断の後、直接ステップＳｄ８へ進む。
【００４４】
ステップＳｄ８以下では、歌唱音声とリファレンスの音量データを比較してその差を算出し（ステップＳｄ８）、この差を音量差分データとして音量差分データ記憶エリア５２２ｂ内の現在の区間に対応する記憶エリアに記憶する（ステップＳｄ９）。そして、この音量差分データを歌唱技巧データと比較し、その一致の程度、即ち、歌唱が技巧を有しているか否かを判断し（ステップＳｄ１０）、一致の程度を加算ポイントとしてポイント記憶エリア５２３内の現在の区間に対応する記憶エリアに記憶する（ステップＳｄ１１）。
【００４５】
つぎに、歌唱音声およびリファレンスの音高データを比較してその差を算出し（ステップＳｄ１２）、この差を音高差分データとして音高差分データ記憶エリア５２２ａ内の現在の区間に対応する記憶エリアに記憶する（ステップＳｄ１３）。そして、この音高差分データを歌唱技巧データと比較してその一致の程度を判断する（ステップＳｄ１４）。そして、この一致の程度を音高ポイントとしてポイント記憶エリア５２３に蓄積記憶する（ステップＳｄ１５）。
【００４６】
一方、ステップＳｄ１において双方が発音中と判断されなかった場合には、ステップＳｄ１６へ進み、リファレンス、歌唱音声の双方が消音しているか否かを判断する。ステップＳｄ１６で双方が消音していると判断された場合には消音期間であるとして発音フラグをリセットし（ステップＳｄ１７）、リターンする。また、双方が消音中でない場合は、歌唱タイミングのずれであるとしてそのままリターンする。以上の処理により。３つの区間別に３要素毎の差分データおよびポイントを求めることができる。
【００４７】
つぎに、採点処理の一例を図１１に基づいて説明する。この処理は楽曲の終了して後に行われるもので、まず、楽曲の演奏が終了すると、演奏中に蓄積記憶された各パートの音量差分データを各々集計し（ステップＳｅ１）、減点値を算出する（ステップＳｅ２）。そして、この減点値を満点（１００点）から減算して音量の得点を算出する（ステップＳｅ３）。同様に、音高差分データ、リズム差分データを各々集計して減算値を算出し、音高、リズムの得点を算出する（ステップＳｅ４〜Ｓｅ９）。そして、これら３つの音楽要素の得点を平均して総合得点を算出し（ステップＳｅ１０）、これを表現する文字情報をモニター装置５９の画面に表示する（ステップＳｅ１１）。
【００４８】
以上は、歌唱力採点の通常の処理の流れであり、デュエット曲の場合、個々の歌唱者の歌唱パート毎に歌唱力が採点されるが、一方の歌唱者が他方の歌唱者をアシストした場合のアシスト評価処理について以下に説明する。かかる処理の前提として、個々の歌唱者が歌唱すべき歌唱パートにおける歌唱力が設定した基準以下となったことを判断し、他方の歌唱者へ一方の歌唱者をアシストして歌唱する指示を行わなければならない。前記基準は、リアルタイムで発生する各差分データあるいは歌唱力採点の結果に基づいて可能となる。また、一方の歌唱者の歌唱力が低下し、他方の歌唱者がアシストを行う場合、一方の歌唱者のリファレンスデータが他方の歌唱者のリファレンスデータともなるように、このリファレンスデータの置換を行わなければならない。
【００４９】
図１２は、上記処理を行うためのリファレンス置換部６８３の構成を具体的に示したものである。このリファレンス置換部６８３は、リファレンスデータバッファ６８３ａ・６８３ｂ・６８３ｃ・６８３ｄを備え、歌唱者毎のリファレンスデータＲ１／Ｒ２を設定することができるようにしている。前記リファレンスデータバッファ６８３ａ・６８３ｂ・６８３ｃ・６８３ｄはバスＢＵＳに接続され、各歌唱者のリファレンスデータＲ１／Ｒ２が入力可能となるようにしており、ＣＰＵ５０の指示に基づいて送出される選択信号Ｓ１・Ｓ２・Ｓ３・Ｓ４に基づいて選択されたリファレンスデータＲ１／Ｒ２が入力するようにしている。
【００５０】
図１３は、リファレンス置換部６８３の処理によりリファレンスデータＲ１／Ｒ２が置換される状態を示すものである。同図に示す例では、デュエット曲を歌唱する歌唱者Ａの歌唱パートにはリファレンスデータＲ１が割り振られ、歌唱者ＢにはリファレンスデータＲ２が割り振られている状態を示す。かかる状態において、この楽曲の演奏が継続され、時刻ｔ１から歌唱者Ｂの歌唱パートとなり、時刻ｔ２でこの歌唱者Ｂの歌唱力が設定された基準以下となったとき、ＣＰＵ５０はこれをアシストが必要な状態と判断してアシストの要求をモニター装置５９などで通知する。
【００５１】
同時にＣＰＵ５０は、時刻ｔ２でリファレンス置換部６８３のリファレンスデータバッファ６８３ｂにリファレンスデータＲ２を出力し、差分演算部６８１ａにおいて歌唱者Ａのカラオケマイク６５ａから入力する歌唱音声データの差分データの抽出が可能となり、時刻Ｔ２から開始された歌唱者Ａの歌唱力の採点が採点部６８２ａにおいて開始される。このとき、歌唱パートは依然歌唱者Ｂが歌唱すべき範囲にあるので、リファレンスデータＲ２はリファレンスデータバッファ６８３ｄに設定されている。
【００５２】
このようにして歌唱者Ａによるアシストが進行し、このアシストを受けた歌唱者Ｂがそのアシストにより時刻ｔ３で歌唱力を回復し、歌唱を再開するとリファレンスデータバッファ６８３ｂに設定されていたリファレンスデータＲ２の設定を終了するとともに、歌唱者Ａの歌唱によるアシストを終了する。そして、歌唱者Ｂは担当する歌唱パートの残る部分を時刻ｔ４まで歌唱する。
【００５３】
前記のように時刻ｔ２〜ｔ３において歌唱者Ａがアシストした歌唱力の結果は、採点部６８２ａからアシスト評価部６９へ入力する。このアシスト評価部６９では、歌唱者Ａがアシストした部分の採点値に基づく採点結果をバスＢＵＳへ出力し、アシストの優劣をモニター装置５９に文言表現する。なお、歌唱者Ａのアシストが複数回である場合は採点値を平均し、アシストの優劣を判断する。また、このアシストの優劣の判断要素として、歌唱者Ｂの歌唱力が回復するまでの時間、即ち、時刻ｔ２〜ｔ３の時間が短いほどアシストの効果があったものとして評価の基準に加えるよえにしてもよい。
【００５４】
なお、図１３に示す例では、時刻ｔ４から歌唱者Ａの歌唱パートとなり、この歌唱者Ａの歌唱力が時刻ｔ５で設定された基準以下となり、歌唱者Ｂの差分演算部６８１ｂにリファレンスデータＲ１が設定された状態を示す。この場合も、前述と同様に時刻ｔ５から歌唱者Ｂがアシストを開始し、時刻ｔ６で歌唱者Ａの歌唱力が回復して歌唱者Ｂの担当する歌唱パートの残る部分を時刻ｔ７まで歌唱した状態を示す。したがって、歌唱者Ｂがアシストした時刻ｔ５〜ｔ６のカラオケマイク６５ｂから入力した歌唱音声データから差分演算部６８１ｂにおいて差分データが抽出され、アシスト評価部６９へ出力され、前述と同様にアシストの採点が実行される。
【図面の簡単な説明】
【００５５】
【図１】本発明のカラオケ装置の構成を示すブロック図である。
【図２】楽曲データのフォーマットを示す図である。
【図３】楽曲データのトラックの内容を示す図である。
【図４】楽曲データのトラックの内容を示す図である。
【図５】メモリマップの内容を示す図である。
【図６】歌唱力採点部の構成を示すブロック図である。
【図７】データの取込処理を示すフローチャートである。
【図８】楽曲データの入力処理を示すフローチャートである。
【図９】データ変換処理を示すフローチャートである。
【図１０】比較処理を示すフローチャートである。
【図１１】採点処理の一例を示すフローチャートである。
【図１２】リファレンス置換部の構成を示すブロック図である。
【図１３】本発明の機能を説明する図である。
【符号の説明】
【００５６】
５０・・・・・・ＣＰＵ（中央演算処理装置）
５１・・・・・・ＲＯＭ
５２・・・・・・ＲＡＭ
５３・・・・・・通信制御部
５４・・・・・・ＨＤＤ（ハードディスク装置）
５５・・・・・・リモコン受信部
５６・・・・・・音源装置
５７・・・・・・文字表示部
５８・・・・・・表示制御部
５９・・・・・・モニター装置
６０・・・・・・音声データ処理部
６１・・・・・・リモコン送信機
６２・・・・・・Ｄ／Ａ変換器
６３・・・・・・音響装置
６４・・・・・・スピーカシステム
６５ａ・・・・・カラオケマイク
６５ｂ・・・・・カラオケマイク
６７ａ・・・・・Ａ／Ｄ変換器
６７ｂ・・・・・Ａ／Ｄ変換器
６８・・・・・・歌唱力採点部
６８０ａ・・・・データ抽出部
６８０ｂ・・・・データ抽出部
６８１ａ・・・・差分演算部
６８１ｂ・・・・差分演算部
６８２ａ・・・・採点部
６８２ｂ・・・・採点部
６８３・・・・・リファレンス置換部
６９・・・・・・アシスト評価部
【図１】
0004452671.tif 000002
【図２】
0004452671.tif 000003
【図３】
0004452671.tif 000004
【図４】
0004452671.tif 000005
【図５】
0004452671.tif 000006
【図６】
0004452671.tif 000007
【図７】
0004452671.tif 000008
【図８】
0004452671.tif 000009
【図９】
0004452671.tif 000010
【図１０】
0004452671.tif 000011
【図１１】
0004452671.tif 000012
【図１２】
0004452671.tif 000013
【図１３】
0004452671.tif 000014