(57)【特許請求の範囲】
【請求項１】
選択手段と、第１比較手段と、第２比較手段と、供給手段と、演算手段と、評価手段を備え、曲データを演奏するカラオケ装置であって、
曲データは、第１基準値、第２基準値を含むと共に、混成歌唱区間、第１単独歌唱区間、第２単独歌唱区間が識別可能にされ、
選択手段は、
演奏が混声歌唱区間にある場合は、第１マイクロホンから入力される歌唱音声信号を第１出力端子から出力し、第２マイクロホンから入力される歌唱音声信号を第２出力端子から出力し、
演奏が第１単独歌唱区間にある場合は、第１マイクロホンから入力される歌唱音声信号を第１および第２出力端子から出力し、
演奏が第２単独歌唱区間にある場合は、第２マイクロホンから入力される歌唱音声信号を第１および第２出力端子から出力し、
第１比較手段は、第１出力端子から出力される歌唱音声信号の特徴量を供給される第１または第２基準値と比較し、
第２比較手段は、第２出力端子から出力される歌唱音声信号の特徴量を供給される第１または第２基準値と比較し、
供給手段は、
演奏が混声歌唱区間にある場合は、第１基準値を第１比較手段に、第２基準値を第２比較手段に供給し、
演奏が第１単独歌唱区間にある場合は、第１基準値を第１比較手段および第２比較手段に供給し、
演奏が第２単独歌唱区間にある場合は、第２基準値を第１比較手段および第２比較手段に供給し、
演算手段は、第１比較手段と第２比較手段の比較結果の平均値を算出出力し、
評価手段は、演算手段の出力に基づいて歌唱力を評価する
カラオケ装置。
【請求項２】
第１、第２比較手段のそれぞれは、歌唱音声信号が入力されない場合を非歌唱期間として検出し、
演算手段は、非歌唱期間が検出された場合、平均値に代えて非歌唱期間でない第１若しくは第２比較手段の比較結果をそのまま出力する
請求項１に記載のカラオケ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、利用者の歌唱力を採点する機能を有するカラオケ装置に関する。
【０００２】
【従来の技術】
従来より、歌い手の歌唱力を採点する機能を備えたカラオケ装置が各種開発されている。一般に、この種のカラオケ装置においては、歌い手の歌唱音声とカラオケの楽曲情報に含められたボーカルパートのリファレンスとの間で音量や音程（ピッチ）等を比較し、その一致の程度に応じて歌唱力を採点するようになっている。
【０００３】
【発明が解決しようとする課題】
ところで、従来のカラオケ装置において、デュエット曲のように複数のボーカルパートからなる曲が歌唱される場合、その歌唱力の採点は、複数のマイクロホン（以下、マイクという）から入力される歌唱音声を混合した信号を、ボーカルパートのリファレンス（通常、メインボーカルの基準値）と比較して行われる。したがって、各パートの歌唱音声について正当な評価をすることができず、正確な採点結果を得ることができなかった。
【０００４】
このような場合に歌唱力の採点を、各歌唱音声を各パートのガイドメロディと比較し、両者の採点結果の合計で行うことも考えられるが、二人の協調の程度を加味した総合的な採点を行う場合には、以下の問題がある。
まず、一方の歌い手が正しく歌唱して、他方の歌い手が歌唱しなかった場合、単純に両者の採点結果を加算して総合的な採点としたのでは、歌唱しなっかた他方の歌い手の影響を受けて、正しく歌唱した歌い手者の歌唱力が採点結果に正当反映されない。
また、デュエット曲には、男性と女性が同時に歌唱する混成歌唱区間の他、男性のみが歌唱する男性歌唱区間や女性のみが歌唱する女性歌唱区間があるが、一方の歌い手のみが歌唱する区間において、両者の採点結果の合計を取ると、本来歌唱すべきでない他方の歌唱音声も採点対象となり、正確な採点結果を得ることができない。
【０００５】
さらに、上記したデュエット曲に対応するカラオケ装置においては、各パートを同時に採点する必要があるため、採点機を２系統用意することが前提となる。一方、カラオケ装置で歌唱される曲は、デュエット曲ばかりでなく、むしろ単独のボーカルパートからなる通常の曲の方が多い。この場合に、一方の採点機を用いれば歌唱力の採点を行うことができるが、他方の採点機を利用して採点の精度を高めることができれば便利である。
【０００６】
この発明は、このような背景の下になされたもので、デュエット曲のように複数のボーカルパートが歌唱される場合に、各パートの歌唱音声について正当な評価をし正確な採点結果を得ることができるカラオケ装置を提供することを目的とする。また、他の目的は歌唱力の採点精度を向上させることにある。
【０００７】
【課題を解決するための手段】
上述した課題を解決するために、請求項１記載の発明は、選択手段と、第１比較手段と、第２比較手段と、供給手段と、演算手段と、評価手段を備え、曲データを演奏するカラオケ装置であって、曲データは、第１基準値、第２基準値を含むと共に、混成歌唱区間、第１単独歌唱区間、第２単独歌唱区間が識別可能にされ、選択手段は、演奏が混声歌唱区間にある場合は、第１マイクロホンから入力される歌唱音声信号を第１出力端子から出力し、第２マイクロホンから入力される歌唱音声信号を第２出力端子から出力し、演奏が第１単独歌唱区間にある場合は、第１マイクロホンから入力される歌唱音声信号を第１および第２出力端子から出力し、演奏が第２単独歌唱区間にある場合は、第２マイクロホンから入力される歌唱音声信号を第１および第２出力端子から出力し、第１比較手段は、第１出力端子から出力される歌唱音声信号の特徴量を供給される第１または第２基準値と比較し、第２比較手段は、第２出力端子から出力される歌唱音声信号の特徴量を供給される第１または第２基準値と比較し、供給手段は、演奏が混声歌唱区間にある場合は、第１基準値を第１比較手段に、第２基準値を第２比較手段に供給し、演奏が第１単独歌唱区間にある場合は、第１基準値を第１比較手段および第２比較手段に供給し、演奏が第２単独歌唱区間にある場合は、第２基準値を第１比較手段および第２比較手段に供給し、演算手段は、第１比較手段と第２比較手段の比較結果の平均値を算出出力し、評価手段は、演算手段の出力に基づいて歌唱力を評価することを特徴とする。
【００１０】
また、請求項２に記載の発明は、請求項１に記載のカラオケ装置において、第１、第２比較手段のそれぞれは、歌唱音声信号が入力されない場合を非歌唱期間として検出し、演算手段は、非歌唱期間が検出された場合、平均値に代えて非歌唱期間でない第１若しくは第２比較手段の比較結果をそのまま出力することを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照して、この発明の実施形態について説明する。
Ａ：実施形態の全体構成
図１は、この発明の一実施形態によるカラオケ装置の全体構成を示すブロック図である。同図において、３０は装置各部を制御するＣＰＵである。このＣＰＵ３０には、バスＢＵＳを介してＲＯＭ３１、ＲＡＭ３２、ハードディスク装置（ＨＤＤ）３７、通信制御部３６、リモコン受信部３３、表示パネル３４、パネルスイッチ３５、音源装置３８、音声データ処理部３９、効果用ＤＳＰ４０、文字表示部４３、ＬＤチェンジャ４４、表示制御部４５および音声処理用ＤＳＰ４９が接続されている。
【００１２】
ＲＯＭ３１には、当該カラオケ装置を起動するために必要なイニシャルプログラムが記憶されている。装置の電源がオンされると、このイニシャルプログラムによってＨＤＤ３７に記憶されたシステムプログラムおよびアプリケーションプログラムがＲＡＭ３２にロードされる。ＨＤＤ３７には、上記システムプログラムおよびアプリケーションプログラムのほか、カラオケ演奏時に再生される約１万曲分の楽曲データを記憶する楽曲データファイル３７０が記憶されている。
【００１３】
ここで、図２〜図４を参照し、楽曲データの内容について説明する。図２は、１曲分の楽曲データのフォーマットを示す図である。また、図３、図４は楽曲データの各トラックの内容を示す図である。
図２において、楽曲データは、ヘッダ、楽音トラック、ガイドメロディトラック、歌詞トラック、音声トラック、効果トラックおよび音声データ部からなっている。ヘッダには、その楽曲データに関する種々の情報が書き込まれており、例えば曲番号、曲名、ジャンル、発売日、曲の演奏時間（長さ）等のデータが書き込まれている。
【００１４】
楽音トラックないし効果トラックの各トラックは、図３および図４に示すように、複数のイベントデータと各イベント間の時間間隔を示すデュレーションデータΔｔからなるシーケンスデータで構成されている。ＣＰＵ３０は、カラオケ演奏時にシーケンスプログラム（カラオケ演奏のためのアプリケーションプログラム）によって各トラックのデータを並行して読み出すようになっている。各トラックのシーケンスデータを読み出す場合、所定のテンポクロックによりΔｔをカウントし、カウントを終了したしたときこれに続くイベントデータを読み出し、所定の処理部へ出力する。楽音トラックには、図３に示すように、メロディトラック、リズムトラックをはじめとして種々のパートのトラックが形成されている。
【００１５】
また、図４に示すように、ガイドメロディトラックには、このカラオケ曲のボーカルパートのメロディすなわち歌唱者が歌うべきメロディのシーケンスデータが書き込まれている。ＣＰＵ３０は、このデータに基づきリファレンスの音高データ、音量データを生成し、歌唱音声と比較する。デュエット曲のように複数のボーカルパート（例えば、メインメロディとコーラスメロディ）がある場合には、各パートに対応してガイドメロディトラックが存在する。
【００１６】
また、歌詞トラックは、モニタ４６上に歌詞を表示するためのシーケンスデータからなっている。このシーケンスデータは、楽音データではないが、インプリメンテーションの統一を図り作業工程を容易にするため、このトラックもＭＩＤＩデータ形式で記述される。データの種類は、システムエクスクルーシブメッセージである。歌詞トラックは、通常はモニタに表示される１行分の歌詞に相当する文字コード、そのモニタ画面上の表示座標、表示時間、およびワイプシーケンスデータからなっている。ワイプシーケンスデータとは、曲の進行に合わせて歌詞の表示色を変更していくためのシーケンスデータであり、表示色を変更するタイミング（この歌詞が表示されてからの時間）と変更位置（座標）が１行分の長さにわたって順次記録されているデータである。
【００１７】
音声トラックは、音声データ部に記憶されている音声データｎ（ｎ＝１，２，３，……）の発生タイミング等を指定するシーケンストラックである。音声データ部には、音源装置３８では合成し難いバックコーラス等の人声が記憶されている。音声トラックには、音声指定データと、音声指定データの読み出し間隔、すなわち、音声データを音声データ処理部３９に出力して音声信号を形成するタイミングを指定するデュレーションデータΔｔが書き込まれている。音声指定データは、音声データ番号、音程データおよび音量データからなっている。音声データ番号は、音声データ部に記録されている各音声データの識別番号ｎである。音程データ、音量データは、形成すべき音声データの音程や音量を指定するデータである。すなわち、言葉を伴わない「アー」や「ワワワワッ」等のバックコーラスは、音程や音量を変化させれば何度も利用できるため、基本的な音程、音量で１つ記憶しておき、このデータに基づいて音程や音量をシフトして繰り返し使用する。音声データ処理部３９は、音量データに基づいて出力レベルを設定し、音程データに基づいて音声データの読み出し間隔を変えることによって音声信号の音程を設定する。
【００１８】
効果トラックには、効果用ＤＳＰ４０を制御するためのＤＳＰコントロールデータが書き込まれている。効果用ＤＳＰ４０は、音源装置３８、音声データ処理部３９から入力される信号に対してリバーブなどの残響系の効果を付与する。ＤＳＰコントロールデータは、このような効果の種類を指定するデータおよびディレータイム、エコーレベル等の効果付与の程度を指定するデータからなっている。
【００１９】
このような楽曲データは、カラオケの演奏開始時にＨＤＤ３７から読み出され、ＲＡＭ３２にロードされる。
【００２０】
次に、図５を参照し、ＲＡＭ３２のメモリマップの内容を説明する。同図に示すように、ＲＡＭ３２には、ロードしたシステムプログラムやアプリケーションプログラムを記憶するプログラム記憶エリア３２４のほか、カラオケ演奏のための楽曲データを記憶する実行データ記憶エリア３２３、ガイドメロディを一時記憶するＭＩＤＩバッファ３２０、このガイドメロディから抽出されたリファレンスデータを記憶するリファレンスデータレジスタ３２１、およびリファレンスと歌唱音声を比較することによって求められた差分データを蓄積記憶する差分データ記憶エリア３２２が設定されている。リファレンスデータレジスタ３２１は、音高データレジスタ３２１ａおよび音量データレジスタ３２１ｂからなっている。また、差分データ記憶エリア３２２は、音高差分データ記憶エリア３２２ａ、音量差分データ記憶エリア３２２ｂからなっている。
【００２１】
さて、再び図１を参照し、当該カラオケ装置の構成の説明を進める。同図において、通信制御部３６は、ＩＳＤＮ回線を介して図示しないホストコンピュータから楽曲データ等をダウンロードし、内部のＤＭＡコントローラによって受信した楽曲データをＣＰＵ３０を介さずに直接ＨＤＤ３７へ転送する。
リモコン受信部３３は、リモコン５１から送られてくる赤外線信号を受信して入力データを復元する。リモコン５１は、選曲スイッチなどのコマンドスイッチやテンキースイッチ等を備えており、利用者がこれらのスイッチを操作するとその操作に応じたコードで変調された赤外線信号を送信する。
表示パネル３４は、このカラオケ装置の前面に設けられており、現在演奏中の曲コードや予約曲数などを表示するものである。パネルスイッチ３５は、カラオケ装置の前面に設けられており、曲コード入力スイッチやキーチェンジスイッチ等を含んでいる。また、リモコン５１またはパネルスイッチ３５によって採点機能のオン／オフが指定できるようになっている。
【００２２】
音源装置３８は、楽曲データの楽音トラックのデータに基づいて楽音信号を形成する。楽曲データは、カラオケ演奏時にＣＰＵ３０によって読み出され、楽音トラックとともに比較用データであるガイドメロディトラックも並行して読み出される。音源装置３８は、楽音トラックの各トラックのデータを並行して読み出し、複数パートの楽音信号を同時に形成する。
【００２３】
音声データ処理部３９は、楽曲データに含まれる音声データに基づき、指定された長さ、指定された音高の音声信号を形成する。音声データは、バックコーラス等の音源装置３８で電子的に発生し難い信号波形をそのままＡＤＰＣＭデータ化して記憶したものである。音源装置３８が形成した楽音信号および音声データ処理部３９が形成した音声信号がカラオケ演奏音であり、これらは、効果用ＤＳＰ４０に入力される。効果用ＤＳＰ４０は、このカラオケ演奏音に対してリバーブやエコー等の効果を付与する。効果を付与されたカラオケ演奏音は、Ｄ／Ａコンバータ４１によってアナログ信号に変換された後、アンプスピーカ４２へ出力される。
【００２４】
また、４７ａ，４７ｂは各々歌唱用のマイクであり、各マイク４７ａ，４７ｂから入力される歌唱音声信号Ｖ１，Ｖ２は、図示せぬプリアンプで増幅された後、アンプスピーカ４２およびセレクタ４８に各々入力される。
【００２５】
セレクタ４８は、ＣＰＵ３０の制御の下、各歌唱音声信号Ｖ１，Ｖ２を選択して音声処理用ＤＳＰ４９を出力する。この場合、セレクタ４８の切換には、入力端子Ｘ１に供給される歌唱音声信号Ｖ１を出力端子Ｙ１から、入力端子Ｘ２に供給される歌唱音声信号Ｖ２を出力端子Ｙ２から各々出力するストレートモードと、入力端子Ｘ１，Ｘ２に供給される歌唱音声信号Ｖ１，Ｖ２を混合した後、出力端子Ｙ１，Ｙ２に出力するミックスモードがある。
ここで、モードの選択は楽曲データおよびリモコン５１の操作の組み合わせによって決定される。例えば、楽曲によっては、ハモリパートのデータを有するものがあるが、ハモリ機能を用いるか否かは、利用者の判断に委ねられている。具体的には、利用者がハモリ機能を利用して歌唱したい場合には、リモコン５１を操作してその旨を入力すると、ハモリパートとメインボーカルパートの演奏が行われ、一方、特に操作の行わない場合には、メインボーカルパートのみによる演奏が行われる。この場合に、ハモリ機能を利用する場合にはストレートモードとされ、それを利用しない場合にはミックスモードとされる。換言すれば、各種の効果を含め、利用者によって設定された楽曲データによってモードの選択が行われる。
【００２６】
音声処理用ＤＳＰ４９に入力された各歌唱音声信号Ｖ１，Ｖ２は、各々ディジタル信号に変換された後、採点処理のための信号処理が施される。この音声処理用ＤＳＰ４９とＣＰＵ３０を含む構成によって採点処理部５０の機能が実現される。これについては後述する。
アンプスピーカ４２は、入力されたカラオケ演奏音および各歌唱音声信号を増幅し、かつ、各歌唱音声信号にエコー等の効果を付与した後、スピーカから放音する。
【００２７】
文字表示部４３は、文字コードが入力されるとこれに対応する曲名や歌詞等のフォントデータを内部のＲＯＭ（図示略）から読み出し、該データを出力する。また、ＬＤチェンジャ４４は、入力された映像選択データ（チャプタナンバ）に基づき、対応するＬＤの背景映像を再生する。映像選択データは、当該カラオケ曲のジャンルデータに基づいて決定される。このジャンルデータは、楽曲データのヘッダに書かれており、カラオケ演奏スタート時にＣＰＵ３０によって読み出される。ＣＰＵ３０は、ジャンルデータに基づいてどの背景映像を再生するかを決定し、その背景映像を指定する映像選択データをＬＤチェンジャ４４に対して出力する。ＬＤチェンジャ４４には、５枚程度のレーザディスクが内蔵されており、約１２０シーンの背景映像を再生することが可能である。映像選択データによってこの中から１つの背景映像が選択され、映像データとして出力される。この映像データと文字表示部４３から出力される歌詞等のフォントデータは、表示制御部４５にてスーパーインポーズされ、その合成画像がモニタ４６に表示される。また、採点処理部５０によって採点結果が算出されると、これに応じたキャラクタが文字表示部４３から出力され、モニタ４６に表示されるようになっている。
【００２８】
Ｂ：採点処理部５０について
次に、本実施形態の採点処理部５０について説明する。この採点処理部５０は、上述した音声処理用ＤＳＰ４９、ＣＰＵ３０等のハードウェアと採点用のソフトウェアによって構成される。図６は、採点処理部５０の構成を示すブロック図である。同図において、採点処理部５０は、第１の採点部５０Ａ、第２の採点部５０Ｂ、合成部５０Ｃおよび評価部５０Ｄからなる。
第１，第２の採点部５０Ａ，５０Ｂは、一対のＡ／Ｄコンバータ５０１ａ，５０１ｂ、データ抽出部５０２ａ，５０２ｂ、比較部５０３ａ，５０３ｂ、およびフィルタ５０４ａ，５０４ｂによって構成される。
【００２９】
Ａ／Ｄコンバータ５０１ａ，５０１ｂは、セレクタ４８から出力される歌唱音声信号を各々ディジタル信号に変換する。データ抽出部５０２ａ，５０２ｂは、ディジタル化された各歌唱音声信号から１００ｍｓ毎に音高データと音量データを抽出する。比較部５０３ａ，５０３ｂは、各歌唱音声信号から抽出された音高データおよび音量データとリファレンスメロディデータ＃Ａ，＃Ｂの音高データおよび音量データとを各々比較し、それらの差分を算出して、差分データＤｉｆｆａ，Ｄｉｆｆｂとして出力する。
【００３０】
ここで、差分データＤｉｆｆａ，Ｄｉｆｆｂは、以下のデータから構成される。
Ｔｉ：計測時刻データ（演奏クロックの相対時間で計測）
ΔＴ：持続時間データ（前回の計測時刻からの時間）
Ｍｉ：リファレンスメロディ状態データ
（歌唱が必要な区間か否か、歌唱区間で「１」、非歌唱区間で「０」）
Ｓｉ：歌唱状態データ（歌唱の有無、歌唱中で「１」、非歌唱中で「０」）
Ｆｉ：音高差データ（音高の差分をログスケール（ｃｅｎｔ単位）で指示）
Ｌｉ：音量差データ（音量の差分をログスケール（ｄＢ単位）で指示）
ただし、「ｉ」は、ｉ番目のサンプルであることを示している。
【００３１】
この場合、音高差データＦｉと音量差データＬｉはログスケールで表されているので、後段にある合成部５０Ｃの演算を簡略化することができる。
また、リファレンスメロディ状態データＭｉは、ガイドメロディトラックに記録されている各パートに対応した楽曲データに基づいて、ＣＰＵ３０が生成する。具体的には、当該楽曲データ中のノートオンステータス、ノートオフステータスから生成される。
また、歌唱状態データＳｉは、データ抽出部５０２ａ，５０２ｂから供給される各音量データを予め定められた閾値と比較することによって、各比較部５０３ａ，５０３ｂが生成する。この場合、閾値は、利用者が歌唱しているか否かを判別可能なレベルに設定される。
【００３２】
ここで、図７を参照し、歌唱音声データ、リファレンスデータ、差分データＤｉｆｆについて説明する。図７（Ａ），（Ｂ）はリファレンスであるガイドメロディの例を示す図である。同図（Ａ）はガイドメロディを五線譜によって示したもので、同図（Ｂ）はこの五線譜の内容を約８０パーセントのゲートタイムで音高データ、音量データ化したものを示している。音量はｍｐ→クレッシェンド→ｍｐの指示に従って上下している。これに対し、同図（Ｃ）は歌唱音声の例を示している。音高、音量ともリファレンスが示す値から若干変動している。この場合の歌唱状態データＳｉは、図に示すように音量データが、閾値を上回った場合に「１」となり、それ以下の場合に「０」となる。後述する評価部５０Ｄは、歌唱状態データＳｉが「０」となっているサンプルについては、有効なサンプルとして扱わないようにしている。このように音量の小さな部分を無視するのは、この区間では、音高差データＦｉあるいは音量差データＬｉに占めるノイズ成分の割合が大きくなるため、採点精度が劣化してしまうからである。
【００３３】
ところで、音高差データＦｉと音量差データＬｉは、ある範囲内で変動するのが通常であり、これらの値が突発的に変動する場合は、ノイズによる誤動作等によって誤った演算が行われたと考えることができる。ノイズの影響を受けた音高差データＦｉと音量差データＬｉとに基づいて歌唱力の採点を行ったのでは、歌い手の歌唱力を正当に評価することはできない。フィルタ５０４ａ，５０４ｂは、このような場合の音高差データＦｉと音量差データＬｉとを無効にするために設けられたものである。
【００３４】
フィルタ５０４ａ，５０４ｂは、その内部にバッファ、減算器およびコンパレータを有している。バッファには、１つ前のサンプルで算出された音高差データＦｉ-1，音量差データＬｉ-1が格納される。そして、現在のサンプルに対応した音高差データＦｉ，音量差データＬｉが入力されると、減算器において、ΔＬｉ＝｜Ｌｉ−Ｌｉ-1｜、ΔＦｉ＝｜Ｆｉ−Ｆｉ-1｜が算出される。コンパレータは、ΔＬｉ、ΔＦｉを予め定められた閾値Ｌｒ、Ｆｒと各々比較して、各閾値を上回る場合に「１」となり、下回る場合に「０」となる制御信号を出力する。ここで、各閾値は、各種の実測データから無効なサンプルと判定できるように定める。そして、フィルタ５０４ａ，５０４ｂは、制御信号が「１」の場合に、現在の音高差データＦｉと音量差データＬｉと無効とする。
これにより、前回のサンプルと比較して変化の大きいサンプルを無効にして、歌い手の歌唱力を正当に評価することが可能となる。
【００３５】
次に、合成部５０Ｃは、計測時刻データＴｉを参照することにより、同時刻の差分データＤｉｆｆａ，Ｄｉｆｆｂを合成し、合成差分データＤｉｆｆｃを生成する。合成差分データＤｉｆｆｃは、計測時刻データＴｉ、持続時間データΔＴの他、合成リファレンスメロディ状態データＭｉ’、合成歌唱状態データＳｉ’、合成音高差データＦｉ’および合成音量差データＬｉ’から構成される。
【００３６】
ここで、差分データＤｉｆｆａを構成する各データに添字「１」、差分データＤｉｆｆｂに係わる各データに添字「２」を付して表すこととすると、合成リファレンスメロディ状態データＭｉ’はＭｉ１とＭｉ２の論理和として、合成歌唱状態データＳｉ’はＳｉ１とＳｉ２の論理和として算出される。また、合成音高差データＦｉ’と合成音量差データＬｉ’は、Ｍｉ１とＭｉ２、Ｓｉ１とＳｉ２に応じて以下に示す式に従って算出される。
【００３７】
１）Ｍｉ１＊Ｍｉ２＊Ｓｉ１＊Ｓｉ２＝１の場合
この場合は、いずれの採点部で行われる採点にあっても、有効な歌唱区間であって、かつ歌い手が歌唱している期間である。このため、差分データの平均値を算出する。
Ｆｉ’＝（Ｆｉ１＋Ｆｉ２）／２
Ｌｉ’＝（Ｌｉ１＋Ｌｉ２）／２
【００３８】
２）Ｍｉ１＊Ｓｉ１＝１、Ｍｉ２＊Ｓｉ２＝０
この場合、第２の採点部５０Ｂで行われる採点は、非歌唱区間かあるいは歌唱中でない。一方、第１の採点部５０Ａで行われる採点は、有効歌唱区間において歌い手が歌唱中である期間である。このため、差分データＤｉｆｆｂは無視される。Ｆｉ’＝Ｆｉ１
Ｌｉ’＝Ｌｉ１
【００３９】
３）Ｍｉ１＊Ｓｉ１＝０、Ｍｉ２＊Ｓｉ２＝１
この場合、第１の採点部５０Ａで行われる採点は、非歌唱区間かあるいは歌唱中でない。一方、第２の採点部５０Ｂで行われる採点は、有効歌唱区間において歌い手が歌唱中である期間である。このため、差分データＤｉｆｆａは無視される。
Ｆｉ’＝Ｆｉ２
Ｌｉ’＝Ｌｉ２
【００４０】
このよう合成部５０Ｃを構成することによって、例えば、デュエット曲の混成歌唱区間で、男子の歌い手が正しく歌唱して、女性の歌い手が歌唱しなかった場合、女性の歌い手が歌唱しなかった部分については採点の対象外とされ、正しく歌唱した男性の歌い手の歌唱力をもって両者の歌唱力とすることが可能となる。
また、デュエット曲の単独歌唱区間において、本来歌唱すべきでない歌唱音声は採点対象とならず、本来予定されている歌唱音声のみに基づいて、正確な採点結果を得ることができる。
【００４１】
次に、評価部５０Ｄは、記憶部等（図示せず）から構成されており、差分データＤｉｆｆａ，Ｄｉｆｆｂまたは合成差分データＤｉｆｆｃに基づいて  、採点結果を算出する。差分データＤｉｆｆａ，Ｄｉｆｆｂまたは合成差分データＤｉｆｆｃが入力されると、記憶部（すなわち、ＲＡＭ３２の差分データ記憶エリア３２２）に蓄積記憶される。この場合、Ｄｉｆｆａ，ＤｉｆｆｂまたはＤｉｆｆｃのうちどのデータを記憶部に蓄積するかは、ＣＰＵ３０によって制御される。この蓄積は曲の演奏中随時行われる。
【００４２】
曲の演奏が終了すると、評価部５０Ｄは、記憶部に蓄積された差分データを順次読み出してこれらを音高、音量の各音楽要素毎に累算し、各累算値に基づいて各々採点のための減算値を求める。そして、各減算値を満点（１００点）から減算して各音楽要素毎の得点を求め、これらの平均値を採点結果として出力する。
【００４３】
Ｃ：実施形態の採点動作
次に、本実施形態による採点動作（すなわち、採点処理部５０の動作）について説明する。なお、この例においては、特に断らない限り、歌い手は歌唱すべき区間で歌唱中であり、歌唱状態データＳｉ＝１であったものとする。
Ｃ−１：バトル曲を歌唱する場合の採点動作
まず、二人の歌い手が、バトル曲を歌唱する場合について説明する。この場合には、セレクタ４８はストレートモードに設定され、第１の採点部５０Ａと第２の採点部５０Ｂには、同一のリファレンスメロディデータ＃Ａが供給される。これにより、第１，第２の採点部５０Ａ，５０Ｂに各歌唱音声信号Ｖ１，Ｖ２が入力されると、第１の採点部５０Ａと第２の採点部５０Ｂは、差分データＤｉｆｆａ，Ｄｉｆｆｂを生成する。この場合の採点は各歌い手毎に行う必要があるので、評価部５０Ｄは、差分データＤｉｆｆａに基づく採点結果と差分データＤｉｆｆｂに基づく採点結果を各々生成する。
【００４４】
Ｃ−２：通常の曲を歌唱する場合の採点動作
次に、一人の歌い手が通常の曲を歌唱する場合について説明する。この場合には、いずれか一方の採点部によって、差分データを生成してもよいが、本実施形態では、ノイズの低減を図るために、第１，第２の採点部５０Ａ，５０Ｂで同時に処理を行い、その平均値に基づいて採点を行うようにしている。
このため、セレクタ４８はミックスモードに設定され、第１の採点部５０Ａと第２の採点部５０Ｂには、同一のリファレンスメロディデータ＃Ａが供給される。そして、合成部５０Ｃは差分データＤｉｆｆａと差分データＤｉｆｆｂの平均値を算出し、合成差分データＤｉｆｆｃとして出力する。
【００４５】
一般に、ノイズ成分はランダムノイズであるから、平均をとることによってその成分は３ｄＢ減少する。これに対して、信号成分は平均をとっても変化しない。したがって、合成差分データＤｉｆｆｃ中の合成音高差データＦｉ’および合成音量差データＬｉ’のＳＮ比は、差分データＤｉｆｆａ，差分データＤｉｆｆｂのそれと比較して、３ｄＢ改善される。
これにより、Ａ／Ｄコンバータ５０１ａ，５０１ｂにおいて、量子化する際に発生する誤差や、音高を検出する際の誤差等によって生じるノイズ成分を低減して、歌唱力を精度の良く採点することが可能となる。
【００４６】
Ｃ−３：デュエット曲を歌唱する場合の採点動作
次に、男女の歌い手がデュエット曲を歌唱する場合について説明する。デュエット曲中には、一般に、男性のみが歌唱する男性歌唱区間、女性のみが歌唱する女性歌唱区間、男性と女性が同時に歌唱する混成歌唱区間、および両者がともに歌唱しない前奏・間奏区間がある。混成区間にあっては、両者が同時に歌唱するため、歌唱力の採点は、第１，第２の採点部５０Ａ，５０Ｂの各々で行う必要がある。これに対して、男性歌唱区間あるいは女性歌唱区間では、いずれか一方で差分データを生成すれば、採点を行うことができるが、本実施形態にあっては、採点精度を向上させる目的で、この場合にも両方の採点部を用いて差分データを生成し、これを合成部５０Ｃで平均して合成差分データを得ている。
【００４７】
この点について、図８を参照しつつ具体的に説明する。なお、この例では、男性がマイク４７ａで歌唱し、女性がマイク４７ｂで歌唱するものとする。図８（Ａ）は、デュエット曲の進行の一例を示したものである。この例のデュエット曲は、前奏区間Ｔ１→男性歌唱区間Ｔ２→女性歌唱区間Ｔ３→混成歌唱区間Ｔ４→間奏区間Ｔ５の順に進行する。また、図８（Ｂ）はセレクタ４８のモードを示したものであり、図８（Ｃ）は第１の採点部５０Ａに供給されるリファレンスメロディデータを、図８（Ｄ）は第２の採点部５０Ｂに供給されるリファレンスメロディデータを示したものである。なお、＃Ｍは男性パート、＃Ｗは女性パートに各々対応したリファレンスメロディデータを示している。
【００４８】
まず、前奏区間Ｔ１と間奏区間Ｔ５は、本来の歌唱区間でないから、図８（Ｂ），（Ｃ）に示すようにガイドメロディは存在しておらず、採点の対象外とされる。このため、セレクタ４８の切換モードは、スレートモード、ミックスモードのどちらであってもよい。
【００４９】
次に、男性歌唱区間Ｔ２にあっては、セレクタ４８はミックスモードに設定される。この場合、ＣＰＵは、セレクタ４８の入力端子Ｘ１と出力端子Ｙ１，Ｙ２を接続状態にし、セレクタ４８の入力端子Ｘ２を開放状態にするように制御する。このため、マイク４７ａから出力される男性の歌唱音声信号Ｖ１は、第１の採点部５０Ａと第２の採点部５０Ｂに供給される。この区間にあっては、第１，第２の採点部５０Ａ，５０Ｂに、リファレンスメロディデータ＃Ｍが供給されているので、男性の歌唱音声信号Ｖ１と男性パートのリファレンスメロディデータ＃Ｍが二つの採点部５０Ａ，５０Ｂによって比較され、その平均値が合成部５０Ｃにおいて生成される。評価部５０Ｄは合成部５０Ｃからの合成差分データＤｉｆｆｃに基づいて当該区間の採点を行う。この場合の合成差分データＤｉｆｆｃは、差分データＤｉｆｆａｔ，Ｄｉｆｆｂと比較してＳＮ比が改善されたものとなる。
【００５０】
次に、女性歌唱区間Ｔ３にあっては、男性歌唱区間Ｔ２と同様にセレクタ４８はミックスモードに設定される。ただし、セレクタ４８の内部の接続状態は男性歌唱区間Ｔ２と相違する。この場合、ＣＰＵは、セレクタ４８の入力端子Ｘ２と出力端子Ｙ１，Ｙ２を接続状態にし、セレクタ４８の入力端子Ｘ１を開放状態にするように制御する。このため、男性の歌唱音声信号Ｖ１は、セレクタ４８から出力されない。二人の歌い手のうち一方のみが歌唱すべき区間において、両方の歌唱音声信号を混合して出力端子Ｙ１，Ｙ２に出力せず、他方のマイクからの入力を開放としたのは、例えば、女性歌唱区間Ｔ３において、男性が手拍子を行うと、それがノイズとして混入され、女性の歌唱力を正当に評価することができないからである。
【００５１】
こうして、女性の歌唱音声信号Ｖ２が第１，第２の採点部５０Ａ，５０Ｂに供給されると、第１，第２の採点部５０Ａ，５０Ｂは、リファレンスメロディデータ＃Ｗに基づいて比較を行なう。この比較結果が合成部５０Ｃによって平均化され、合成差分データＤｉｆｆｃとして出力されると、評価部５０Ｄは合成差分データＤｉｆｆｃに基づいて当該区間の採点を行う。この場合も、男性歌唱区間Ｔと同様に、合成差分データＤｉｆｆｃは、差分データＤｉｆｆａｔ，Ｄｉｆｆｂと比較してＳＮ比が改善されたものとなる。
【００５２】
次に、混成歌唱区間にあっては、セレクタ４８はストレートモードに設定される。この場合、ＣＰＵ３０は、セレクタ４８の入力端子Ｘ１と出力端子Ｙ１を接続状態にし、その入力端子Ｘ２を出力端子Ｙ１を接続状態にするように制御する。このため、男性の歌唱音声信号Ｖ１が第１の採点部５０Ａに、女性の歌唱音声信号Ｖ２が第２の採点部５０Ｂに供給される。この区間にあっては、第１，第２の採点部５０Ａ，５０Ｂに、リファレンスメロディデータ＃Ｍ，＃Ｗが各々供給されているので、第１，第２の採点部５０Ａ，５０Ｂからは、異なる差分データＤｉｆｆａ，Ｄｉｆｆｂが出力される。合成部５０Ｃは、両者の平均値を算出して合成差分データＤｉｆｆｃを生成する。
【００５３】
ここで、当該区間の一部（Ｔ４’）において、女性が歌唱しなっかたとすると、第２の採点部５０Ｂに係る歌唱状態データＳｉ２は、図８（Ｅ）に示すものとなる。このため、当該期間Ｔ４’にあっては、合成部５０Ｃは、平均値を算出するのではなく、第１の採点部５０Ａによって生成された音高差データＦｉ１、音量差データＬｉ１を合成差分データＤｉｆｆｃとして出力するから、男性の歌唱力によって総合的な採点を行うことができる。
【００５４】
このように、本実施形態によれば、楽曲データとリモコン５１の操作の組み合わせに基づいて、ＣＰＵ３０は、セレクタ４８の切換と第１，第２の採点部５０Ａ，５０Ｂに供給するリファレンスガイドメロディデータを制御するので、第１，第２の採点部５０Ａ，５０Ｂを有効に活用して、精度の良くかつ妥当な採点結果を算出することが可能となる。
すなわち、一人の歌い手が歌唱する場合には、ＳＮ比を改善した合成差分データＤｉｆｆｃに基づいて採点結果を得ることができ、デュエット曲においては、歌唱区間の性質に応じて、合成部５０Ｃの動作を切り替えることによって精度の良くかつ妥当な採点結果を算出することができる。
【００５５】
Ｄ：変形例
なお、本発明は、上述した実施形態には限定されず、以下のような各種の変形が可能である。
（１）例えば、実施形態では、デュエット曲をカラオケ演奏する場合を例としたが、これに限らず、３つ以上のボーカルパートからなるコーラスの歌唱に対応すべく拡張することも可能である。この場合、採点処理部５０をパートの数に対応した系統に拡張し、ガイドメロディもパートの数に対応したトラック数だけ用意すればよい。
（２）また、実施形態のように、採点結果として各音楽要素の平均値を求めるのではなく、音高、音量あるいはリズムの得点を各音楽要素毎の採点結果として出力してもよい。
（３）また、採点処理は、曲が終了した後にまとめて採点を行っているが、フレーズ単位、音符単位で基本評価を行い、曲終了後にそれを集計するようにしてもよい。さらに、フレーズ単位毎に採点結果をモニタ４６に表示し、曲終了後に最終的な採点結果を表示してもよい。
（４）また、実施形態では、デュエット曲においてボーカルのパート毎に得られる得点の平均値を出力したが、個別に出力するようにしてもよいし、あるいは、両方を出力するようにしてもよい。個別に出力する場合は、差分データＤｉｆｆａ，Ｄｉｆｆｂ各々に基づいて採点結果を評価部５０Ｄで算出すればよい。
（５）その他、複数の歌唱音声のうち採点結果の最も高い者の点数を強調表示するなど、種々の表示態様を採用することによって利用者の楽しみをさらに増すことができる。
【００５６】
【発明の効果】
以上説明したように、この発明によれば、例えばデュエット曲のように複数のボーカルパートが歌唱される場合に、総合的な歌唱力を採点することができ、しかも、単独歌唱期間の採点について、その採点精度を向上させることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態によるカラオケ装置の構成を示すブロックである。
【図２】同実施形態における楽曲データのデータフォーマットを示す図である。
【図３】同楽曲データの楽音トラックの構成を示す図である。
【図４】同楽曲データの楽音トラック以外のトラックの構成を示す図である。
【図５】同カラオケ装置におけるＲＡＭのメモリマップの内容を示す図である。
【図６】同カラオケ装置における採点処理部の構成を示すブロック図である。
【図７】（Ａ）は同実施形態におけるガイドメロディの例を五線譜で示す図、（Ｂ）は同ガイドメロディに基づくリファレンスの音高データおよび音量データを示す図、（Ｃ）は歌唱音声の音高データ、音量データおよび歌唱状態データを示す図である。
【図８】同カラオケ装置においてデュエット曲を歌唱する場合のタイミングチャートである。
【符号の説明】
３０…ＣＰＵ（制御手段、採点手段）、３１…ＲＯＭ、３２…ＲＡＭ、３７…ハードディスク装置、３８…音源装置、４７ａ，４７ｂ…マイク（第１，第２のマイクロホン）、４９…音声処理用ＤＳＰ、５０…採点処理部、５０１ａ，５０１ｂ…Ａ／Ｄコンバータ、５０２ａ，５０２ｂ…データ抽出部（第１，第２の抽出手段）、５０３ａ，５０３ｂ…比較部（第１，第２の比較手段）。
【図１】
0003562223.tif 000002
【図２】
0003562223.tif 000003
【図３】
0003562223.tif 000004
【図４】
0003562223.tif 000005
【図５】
0003562223.tif 000006
【図６】
0003562223.tif 000007
【図７】
0003562223.tif 000008
【図８】
0003562223.tif 000009