(57)【要約】【課題】カラオケ装置における歌唱採点をより適切に行う。【解決手段】マイクから入力された歌唱音声の音高データと、ガイドメロディから抽出した音高データとを比較して差分データを求める。また、歌唱率＝実際に歌唱した部分／歌唱すべき部分（＝楽譜の音符の長さ）として全体の歌唱率を求め、全体歌唱率に基づいて減点を算出する。この減点は全体歌唱率と減点（減点すべき値の意味）との対応関係を示す減点テーブルを用いて行う。このようにして算出した減点（値）を、通常の音高差に基づく採点による得点から差し引くことで最終的な得点を算出する。このように、歌った割合（歌唱率）に応じて時間軸方向の重み付けを行うことで、例えば少しの時間だけ上手く歌って、あと歌わないような場合に高得点になってしまう、といった不適切な事態を防ぐことができる。【選択図】図２
2005215493.tif 000002
【特許請求の範囲】
【請求項１】
カラオケ演奏用データと、カラオケ曲の歌唱旋律の音高データとを含む楽曲データを記憶する楽曲データ記憶手段と、
指定されたカラオケ曲の楽曲データを前記楽曲データ記憶手段から読み出してカラオケ演奏を再生するカラオケ演奏再生手段と、
カラオケ歌唱の音声信号を入力するための音声信号入力手段と、
前記音声信号入力手段を介して入力された音声信号をサンプリングしてカラオケ歌唱の音高データを抽出する音高抽出手段と、
前記カラオケ演奏再生手段によるカラオケ演奏と同期してその演奏曲に対応する前記音高データを前記楽曲データ記憶手段から読み出し、その読み出された音高データと前記音高抽出手段によって抽出した音高データとに基づいて採点する採点手段と、
を備えるカラオケ装置であって、
前記採点手段は、
前記音高抽出手段によって抽出された音高データと前記楽曲データ記憶手段から読み出された音高データとの差を算出する音高差算出手段と、
前記カラオケ演奏再生手段により読み出された音高データが再生されている期間において、前記音高抽出手段によって抽出された音高データが存在している期間の比率である歌唱率を求める歌唱率算出手段と、を有し、
前記音高差算出手段によって算出された音高差及び前記歌唱率算出手段によって算出した歌唱率に基づいて採点を行うこと
を特徴とするカラオケ装置。
【請求項２】
請求項１に記載のカラオケ装置において、
前記歌唱率算出手段は、
歌唱旋律全体の歌唱率または歌唱旋律全体を複数に区切った所定区間毎の歌唱率の少なくとも何れか一方を算出し、
前記採点手段は、前記歌唱率算出手段によって算出された歌唱旋律全体の歌唱率または所定区間毎の歌唱率の少なくとも何れか一方に基づいて採点を行うこと
を特徴とするカラオケ装置。
【請求項３】
請求項１または２に記載のカラオケ装置において、
前記採点手段は、歌唱率に応じた減点によって採点を行う際、歌唱率が低いほど減点度合いを大きくした採点を行うこと
を特徴とするカラオケ装置。
【請求項４】
請求項３に記載のカラオケ装置において、
前記採点手段は、歌唱率に応じた減点によって採点を行う際、歌唱率が所定値以上の場合には減点を零とすること
を特徴とするカラオケ装置。
【請求項５】
請求項１〜４の何れかに記載のカラオケ装置において、
前記音高抽出手段は、前記音声信号入力手段を介して入力された音声信号をサンプリングしてカラオケ歌唱の音高データを抽出すると共に、そのサンプリングした音声信号を所定期間平均化して平均音量も算出し、
前記音高差算出手段は、前記音高抽出手段によって算出された平均音量が所定の基準値以上の場合にのみ、前記音高抽出手段によって抽出された音高データと前記読み出された音高データとの差を算出すること
を特徴とするカラオケ装置。
【請求項６】
請求項１〜５の何れかに記載のカラオケ装置における前記採点手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ装置における歌唱採点に関し、より適切な採点結果を得ることができるようにする技術に関する。
【背景技術】
【０００２】
従来、カラオケ装置の付帯機能として採点機能が良く知られている。この採点機能は、マイクロフォンから入力された歌唱者の音声信号をサンプリングすることで歌唱者が発声した音高や声量あるいはテンポなどの歌唱状態を示す歌唱データを生成する。この歌唱データとカラオケデータ中の主旋律データなどの採点基準データとを比較し、その比較結果に基づいて所定の得点を付与して採点データを生成する。そして、歌唱パートが終了するとこの採点データ中の得点を集計して総合得点を算出する。総合得点はそのままの得点をスコアボードやディスプレイに表示したり、所定のメッセージや所定の表現内容を含む映像など総合得点を反映した映像をディスプレイに出力したりする。（例えば特許文献１参照）。
【０００３】
また採点にはさまざまなモードが存在し、たとえば通常採点モード、チャレンジモードなどが知られている。このうち、通常採点モードは、例えば１コーラス、２コーラス、フルコーラスなど設定した種類のコーラス部分を歌い終えたときに総合得点を出すものである。また、チャレンジモードは、随時採点を行い、その時点での累積得点が所定得点（例えば７５点）を下回った時には曲の演奏を中断して強制的に終了させる、といったゲーム性の高いモードである。
【特許文献１】特許第３２６１９９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような従来手法では、次のような問題があった。
（１）従来の歌唱採点方式では採点基準データ（リファレンス）と歌唱音声の両方のデータがそろっている時間帯のみを有効データ区間としているため、歌った部分のみを採点対象とすることになり歌った部分は正確に採点処理がなされる。しかしながら、例えば少しの部分を正確に歌っただけでその後は歌わなかったとしても、高得点となってしまい、適切な採点とは言えないという問題点があった。
【０００５】
（２）声量は発声する語彙、性別、年齢などによってばらつきが大きいため実際の歌唱の巧拙とかけ離れた得点が出る場合がある。また上記の理由により声量のリファレンスを作成するのが非常に難しい。
【０００６】
（３）チャレンジモードにおいて、しばらく正常に歌った後に歌うのを全くやめてしまったとしても、なかなか所定得点を下回らないという問題があった。これは少しの間歌っていない区間があっても、曲が長い場合はそれまでの累積得点を全体における歌唱率はあまり低くはならないので点数が悪くならない傾向にあった。
【０００７】
歌唱率＝実際に歌唱した部分／歌唱すべき部分
歌唱すべき部分とは楽譜の音符の長さをあらわす。
（４）チャレンジモードにおいてしばらく正常に歌った後にかなり下手に歌ってもなかなか所定得点を下回らないという問題があった。これは、曲が長い場合には、少しの間下手に歌ったとしても従来の平均を取る方法においては累積点数が急には下がらない傾向にあるためである。
【０００８】
そこで本発明は、カラオケ装置における歌唱採点に関し、より適切な採点結果を得ることができるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上述した問題点を解決するためになされた本発明のカラオケ装置は、楽曲データ記憶手段が記憶する楽曲データ中にはカラオケ演奏データとカラオケ曲の歌唱旋律の音高データが含まれており、カラオケ演奏再生手段が、指定されたカラオケ曲の楽曲データを楽曲データ記憶手段から読み出してカラオケ演奏再生を行なう。また、音声信号入力手段を介してカラオケ歌唱の音声信号が入力されると、音高抽出手段が、その音声信号をサンプリングしてカラオケ歌唱の音高データを抽出する。そして採点手段は、カラオケ演奏再生手段によるカラオケ演奏と同期してその演奏曲に対応する音高データを楽曲データ記憶手段から読み出し、その読み出された音高データと音高抽出手段によって抽出した音高データとに基づいて採点するのであるが、さらに詳しくは次のような採点を行う。
【００１０】
つまり、音高差算出手段が、音高抽出手段によって抽出された音高データと楽曲データ記憶手段から読み出された音高データとの差を算出する。また、歌唱率算出手段が、読み出された音高データがカラオケ演奏再生手段により再生されている期間において、音高抽出手段によって抽出された音高データが存在している期間の比率である歌唱率を求める。そして、音高差算出手段によって算出された音高差及び歌唱率算出手段によって算出した歌唱率に基づいて採点を行うのである。
【００１１】
ここで、歌唱率を加味した採点に関しては次のような工夫ができる。例えば、歌唱率算出手段が、歌唱旋律全体の歌唱率または歌唱旋律全体を複数に区切った所定区間毎の歌唱率の少なくとも何れか一方を算出する。そして、その歌唱率算出手段によって算出された歌唱旋律全体の歌唱率または所定区間毎の歌唱率の少なくとも何れか一方に基づいて採点を行うのである。
【００１２】
上述のように、歌唱率を何ら考慮せずに同じような採点を行うと種々の問題が生じるが、本発明のように歌唱率を加味すれば、歌唱採点に関し、より適切な採点結果を得ることができる。例えば少しの部分を正確に歌っただけでその後は歌わないという状況であれば全体の歌唱率が低下するため、歌唱率が低い場合に得点を下げるようにすれば、より適切な採点が実現される。なお、この場合は所定区間毎の歌唱率に基づく場合であっても、やはり歌唱率が零（０）の区間が続くこととなり、歌唱率が低い場合に得点を下げるようにすれば、やはりより適切な採点が実現される。また、上述のように、声量は発声する語彙、性別、年齢などによってばらつきが大きいため実際の歌唱の巧拙とかけ離れた得点が出る場合があり、さらに声量のリファレンスデータを作成するのが非常に難しいが、本発明の場合には、音高差はもちろん、歌唱率についても音高データを用いて算出しており、それを用いて採点するため、発声する語彙、性別、年齢などによるばらつきの影響を受けず、その点でも適切な採点が実現される。
【００１３】
また、所定区間毎の歌唱率を加味することは、特にチャレンジモードにおける適切な採点の上で効果的である。つまり、チャレンジモードにおいて、しばらく正常に歌った後に歌うのを止めたり、あるいはかなり下手に歌った状況であっても、従来手法の場合はなかなか所定得点を下回らないという問題があった。それに対して、所定区間毎の歌唱率を加味すれば、例えばある所定区間における歌唱率が零（０）であれば、その時点で演奏を中断して強制的に終了させることもでき、その方がチャレンジモードの趣旨に沿うものとなる。
【００１４】
なお、採点は例えば減点方式が考えられ、歌唱率が低いほど大きく減点することが考えられる。この場合、歌唱率が低くなるにつれて減点度合いもリニアに大きくなるようにしてもよいし、あるいは歌唱率が低くなるほど減点度合いが大きくなるような傾斜減点であってもよい。また、歌唱率が所定値以上の場合には減点を零とすることも考えられる。つまり、減点に対する不感帯を設けるのである。
【００１５】
また、歌唱率と減点度合いの関係については、例えば通常モードとチャレンジモードとで変更しても良い。つまりチャレンジモードの場合は、そのゲーム性等を勘案すると、歌唱内容が悪くなったらそれまでの経緯は別にして早期に終了させた方がよいため、相対的には厳しめの減点となるようにする。一方、通常モードの場合には、相対的にはゆるめでよい。具体的には、所定区間の歌唱率が零（０）であった場合、チャレンジモードの場合には採点不能として強制的に終了させるような採点とするが、通常モードの場合は例えば減点２０点というように、相対的には最大の減点ではあるが採点自体は継続するよう工夫することが考えられる。
【００１６】
ところで、採点に用いる音高データに関しては、実際にはある程度の音量があるものに絞るのが好ましい。あまりに音量が小さな入力音声は歌唱者が実際に歌唱しているのかどうかも不明で、採点に用いるのが適切でない場合もあるからである。したがって、音高抽出手段が、音声信号入力手段を介して入力された音声信号をサンプリングしてカラオケ歌唱の音高データを抽出すると共に、そのサンプリングした音声信号を所定期間平均化して平均音量も算出するようにし、音高差算出手段が、音高抽出手段によって算出された平均音量が所定の基準値以上の場合にのみ、音高抽出手段によって抽出された音高データと採点基準データ中の対応する音高データとの差を算出すればよい。
【００１７】
但し、このように平均音量にて採点に用いる音高データを絞った場合、その絞るための基準値が相対的に高く、且つ例えば入力音量が相対的に小さなマイクを用いて歌唱した場合には、実際には歌唱しているのにもかかわらず平均音量が基準値以上とならず、結果的に減点してしまう可能性もある。この場合は、上述した歌唱率が所定値以上の場合に減点を零とする採点を実行することが考えられる。このような不感帯を設ければ上述の不都合は解消できる。
【００１８】
また、請求項６に示すように、請求項１〜５の何れかに記載のカラオケ装置における採点手段をコンピュータにて実現する場合、例えばコンピュータで実行するプログラムとして備えることができる。このようなプログラムは、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして実行したり、ネットワークを介してロードして実行することにより、採点手段としての機能を実現できる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明が適用された実施例について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施例に何ら限定されることなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００２０】
［カラオケ装置の構成］
図１は本実施例のカラオケ装置の機能を中心とした概略構成を示す図である。本実施例のカラオケ装置は採点機能を備えており、カラオケ歌唱の音声信号をディジタル化して取り込み、歌唱旋律であるガイドメロディの音高と比較することによってその歌唱の正確さを判定する。音量は発声する語彙、性別、年齢などによってばらつきが大きいため実際の歌唱の巧拙とかけ離れた得点が出る場合がある。また上記の理由により音量のリファレンスデータを作成することが非常に難しい。さらに音量を判定に使わないことによりアルゴリズムを簡略化でき、短時間で歌唱の正確さを判定することが可能になる。そのため、音高を比較することにより歌唱の正確さを判定する。
【００２１】
図１に示すように、歌唱者がカラオケ歌唱の音声を入力するためのマイクＭ２は、アンプＭ１８に接続されるとともにＡ／ＤコンバータＭ４に接続されている。また、カラオケ演奏用データ、（音高データとしての）ガイドメロディデータを含む楽曲データがデータ格納部Ｍ１０に記憶されている。楽曲データのうち、カラオケ歌唱者に選択された１曲分が実行メモリＭ１２に読み出され、演奏時にはシーケンサＭ１４によって順次読み出される。シーケンサＭ１４によって読み出されたカラオケ演奏用データは楽曲発生部Ｍ１６に入力される。また、シーケンサＭ１４により順次読み出されたガイドメロディデータは比較部Ｍ８に入力される。楽音発生部Ｍ１６は入力されたカラオケ演奏用データに基づいてカラオケ曲の演奏音を発生し、この演奏音はアンプＭ１８に入力される。アンプＭ１８はカラオケ演奏音およびマイクＭ２から入力された歌唱音声信号を増幅してスピーカＭ２０に出力する。これがカラオケ装置の基本機能である。なお、このガイドメロディデータは、カラオケ曲の歌唱旋律に対応するものであるため、いわゆるガイドメロディ機能として、相対的に小さな音量で伴奏楽音と共にスピーカＭ２０から出力される機能を実現する場合にも用いられる。このガイドメロディ機能についてはユーザ（カラオケ歌唱者）がその機能のオン／オフを切り替え可能であり、その機能が必要であると考えたユーザが図示しない操作パネルやリモコンなどを操作することによって機能オンとすれば、カラオケ伴奏だけでなく歌唱旋律がガイドメロディとしてスピーカＭ２０から出力され、それを参考にして歌唱することができる。一方、機能オフとすれば、ガイドメロディがスピーカＭ２０から出力されることはなく、ガイドメロディデータは、採点のためにのみ用いられることとなる。
【００２２】
一方、Ａ／Ｄコンバータ（ＡＤＣ）Ｍ４に入力された歌唱音声信号はディジタル信号に変換されたのち、データ抽出部Ｍ６に入力される。データ抽出部Ｍ６は例えば５０ｍｓ毎にこのディジタル化された歌唱音声信号から音高を割り出し、音高データとして比較部Ｍ８に入力する。比較部Ｍ８では、データ抽出部Ｍ６から入力されるカラオケ歌唱者の歌唱音声信号の音高データ（以下、単に歌唱音声ともいう）とシーケンサＭ１４から入力されるガイドメロディの音高データ（以下、単にリファレンスともいう）とをリアルタイムに比較する。なお、５０ｍｓは１２０のメトロノームテンポで３２分音符に相当し、歌唱の特徴を抽出するために十分な分解能である。
【００２３】
比較部Ｍ８では、歌唱音声が入力されるタイミングにあわせて５０ｍｓ毎に歌唱音声とリファレンスとの差を算出する。これはリアルタイムの差分データ（音高差分データ）として採点部Ｍ２４へ出力される。採点部Ｍ２４では、この音高差分データをカラオケ曲の区間毎に集計しデータ格納部Ｍ１０へ記憶する。そして採点部Ｍ２４では、各区間の差分データの集計を行って総合得点を求める。
【００２４】
そして、その得点は表示部Ｍ２６に表示される。なお、この表示は採点モードにあわせた表示を行う。本実施例では、通常採点モードとチャレンジモードがあり、通常採点モードは各コーラス（１コーラス、２コーラス、フルコーラスなどが設定できる）を歌い終えたときにその全体の総合得点を出すものである。また、チャレンジモードは所定得点（例えば７５点）を下回ったときに曲の演奏を中断して強制終了するゲーム性の高いモードである。このチャレンジモードの場合、基準点以上であれば「完奏、おめでとう」、基準点を下回れば「まだまだ残念」「おしいあと一歩」などのメッセージを表示部Ｍ２６に表示し、通常採点モードの場合は総合得点を表示する。
【００２５】
次に、図２を参照して、歌唱音声、リファレンス、差分データについて説明する。図２（Ａ）はリファレンスであるガイドメロディを音高データ化したものであり、一般的なガイドメロディのデータは機械的に非常に正確なものである。これに対して、図２（Ｂ）はカラオケ歌唱者の歌唱音声の一例を示している。音高はリファレンスが示す値から上下に変動しており、各音の音量データの立ち上がりタイミングもリファレンス音高データの立ち上がりタイミングから少しずれている。
【００２６】
また、リファレンスにおいては発声すべき時間（ノートオンステータス：Ｔ１）であるのに歌唱音声が入力されない（発声されていない）場合や、リファレンスにおいて発声しない時間（ノートオフステータス：Ｔ２）であるのに歌唱音声が入力されている場合がある。このノートオンステータスＴ１，ノートオフステータス：Ｔ２は比較対象である歌唱音声の音高データと音量データの一方が欠けている時間帯であるので、その時間帯の音高差分データとしては採用せず、両方のデータが揃っている時間帯のみを有効な区間（Ｔ３）の音高差分データとして採用するようにしている。
【００２７】
図１ではカラオケ装置の機能を中心とした概略構成を示したが、図３は同カラオケ装置の具体的なハード構成を示すブロック図である。このカラオケ装置は、図１に示した機能部を主としてＣＰＵおよびソフトウェアで実現している。
【００２８】
装置全体の動作を制御するＣＰＵ３０には、バスを介してＲＯＭ３２、ＲＡＭ３４、ハードディスク記憶装置（ＨＤＤ）４４、通信制御部４２、リモコン受信部３６、表示パネル３８、パネルスイッチ４０、音源装置４６、音声データ処理部４８、効果用ＤＳＰ５０、ネットワークインターフェース５６、文字表示部５７、表示制御部５８および音声処理用ＤＳＰ６８が接続されている。
【００２９】
ＲＯＭ３２には、この装置を起動するために必要な起動プログラムなどが記憶されている。この装置の動作を制御するシステムプログラム、アプリケーションプログラムなどはＨＤＤ４４に記憶されており、装置の電源がオンされると上記起動プログラムによってＲＡＭ３４に読み込まれる。
【００３０】
ＲＡＭ３４には、このプログラム記憶エリアのほか図４（Ａ）に示すように種々の記憶エリアが設定されている。すなわち、図４（Ａ）に示すように、ＲＡＭ３４にはプログラムを記憶するプログラム記憶エリア３２８、カラオケ演奏する楽曲データを記憶する実行データ記憶エリア３２６、読み出されたガイドメロディを一時記憶するＭＩＤＩバッファ３２０、このガイドメロディから抽出されたリファレンス（つまり、ガイドメロディの音高データ）を記憶するリファレンスデータレジスタ３２２、リファレンスと歌唱音声との差分データを記憶する差分データ記憶エリア３２４が設定されている。なお、リファレンスデータレジスタ３２２は音高データレジスタからなっており、また、差分データ記憶エリア３２４は音高差分データ記憶エリアからなっている。
【００３１】
一方、ＨＤＤ４４には、図４（Ｂ）に示すように、上記プログラム記憶エリア３７６のほか（約４万曲分の）楽曲データを記憶する楽曲データファイル３７０、歌唱から抽出された音高データや差分データを記憶する歌唱データ記憶エリア３７４、背景動画を記憶する背景動画記憶エリア３７２が設けられている。
【００３２】
通信制御部４２は、ＩＳＤＮ回線を介してホストステーションから楽曲データなどをダウンロードし、内蔵しているＤＭＡ回路を用いて、この楽曲データを（ＣＰＵ３０を介さずに）直接ＨＤＤ４４に書き込む。なお、ホストステーションとの間の通信回線としてＩＳＤＮ回線を例に説明したが、電話一般回線であってもよいし、ＡＤＳＬおよび光通信などのブロードバンド回線であってもよい。
【００３３】
リモコン受信部３６は、リモコン７０から送られてくる赤外線信号を受信してデータを復元する。リモコン７０は選曲スイッチなどのコマンドスイッチやテンキースイッチなどを備えており、利用者がこれらのスイッチを操作するとその操作に応じたコードで変調された赤外線信号を送信する。表示パネル３８はこのカラオケ装置の前面に設けられており、現在演奏中の曲コードや予約曲数などを表示するものである。
【００３４】
パネルスイッチ４０はカラオケ装置の前面操作部に設けられており、曲コード入力スイッチやキーチェンジスイッチなどを含んでいる。また、上記リモコン７０を用いて採点機能をオン／オフできるようにしてもよい。
【００３５】
音源装置４６は、楽曲データの楽音トラックのデータに基づいて楽音信号を形成する。楽曲データはカラオケ演奏時にＣＰＵ３０によって読み出され、この楽音トラックとともに比較用データであるガイドメロディトラックも並行して読みだされる。楽音トラックは複数トラックで構成されており、音源装置４６はこのデータに基づいて複数パートの楽音信号を同時に形成する。
【００３６】
音声データ処理部４８は、楽曲データに含まれる音声データに基づき、指定された長さ、指定された音高の音声信号を形成する。音声データは、バックコーラスや模範歌唱音などの音源装置４６で電子的に発生しにくい信号波形をそのままＡＤＰＣＭデータ化して記憶したものである。この音源装置４６が形成した楽音信号および音声データ処理部４８が形成した音声信号がカラオケ演奏音であり、これらは効果用ＤＳＰ５０に入力される。
【００３７】
効果用ＤＳＰ５０は、このカラオケ演奏音に対してリバーブやエコーなどの効果を付与する。効果を付与されたカラオケ演奏音はＤ／Ａコンバータ５２によってアナログ信号に変換されたのち、外付け装置であるアンプスピーカ５４へ出力される。アンプスピーカ５４は、入力されたカラオケ演奏音および後述の歌唱音声信号を増幅し、且つ、歌唱音声信号にエコーなどの音響効果を付与した後、スピーカから放音する。
【００３８】
一方、歌唱用のマイク６２から入力された歌唱音声信号は、プリアンプ６４で増幅された後、アンプスピーカ５４およびＡ／Ｄコンバータ６６へ出力される。アンプスピーカ５４に出力された信号はカラオケ歌唱音として増幅出力される。一方、Ａ／Ｄコンバータ６６は、入力された歌唱音声信号をディジタル化し、これを音声処理用ＤＳＰ６８に出力する。音声処理用ＤＳＰ６８は、入力された歌唱音声信号を５０ｍｓずつのフレームに区切り、フレーム毎に周波数をカウントするとともに平均音量を算出する。このフレーム毎の周波数カウント値および平均音量値はＣＰＵ３０によって５０ｍｓ毎に読み取られる。ＣＰＵ３０はこの周波数カウント値および平均音量値に基づいて、上述の音高データおよび音量データを割り出す。
【００３９】
文字表示部５７は、入力される文字データに基づいて曲名や歌詞などの文字パターンを生成する。また、映像選択データ（チャプタナンバ）に基づき、対応する背景映像をＨＤＤ４４の背景動画記憶エリア３７２から対応する背景映像データが表示制御部５８に入力される。映像選択データは当該カラオケ曲のジャンルデータなどに基づいて決定される。ジャンルデータは楽曲データのヘッダに書き込まれており、カラオケ演奏スタート時にＣＰＵ３０によって読み出される。表示制御部５８ではこれらのデータをスーパーインポーズで合成してモニタ６０に表示する。
【００４０】
ネットワークインターフェース５６はＬＡＮに接続するためのものであり、ＬＡＮを介して図示しない他の通信カラオケ装置と接続されている。
なお、本実施例においては、ＨＤＤ４４が「楽曲データ記憶手段」に相当し、ＣＰＵ３０及び音源装置４６が「カラオケ演奏再生手段」に相当する。また、マイク６２が「音声信号入力手段」に相当する。また、ＣＰＵ３０は「音高抽出手段」、「採点手段」にも相当する。
［採点動作例その１］
次に、本実施例のカラオケ装置にて実行される採点動作について説明する。この採点に関する動作プログラムは、カラオケ演奏を実行するシーケンスプログラムと並行して実行され、シーケンスプログラムとのデータの交換も行われる。
【００４１】
図５はデータの取り込み動作を示すフローチャートである。
まず、図５（Ａ）はＡ／Ｄコンバータ６６および音声処理用ＤＳＰ６８で実行される動作を示している。マイク６２から歌唱音声信号が入力されると（Ｓ２）、Ａ／Ｄコンバータ（ＡＤＣ）６６はこの音声信号をディジタルデータに変換する（Ｓ４）。そして音声処理用ＤＳＰ６８は、このディジタルデータを用いて、５０ｍｓのフレーム単位で周波数のカウント（Ｓ６）を行うと共に、平均音量の算出（Ｓ８）を行う。この算出された周波数カウント値および平均音量値は５０ｍｓ毎にＣＰＵ３０によって読み取られる。なお、この点については、図６の比較動作１を示すフローチャートを用いて後述する。
【００４２】
また、図５（Ｂ）は楽曲データ入力処理を示すフローチャートである。この動作はカラオケ演奏を実行するシーケンスプログラムからガイドメロディトラックのイベントデータおよび制御トラックのイベントデータが受け渡されたときＣＰＵ３０にて実行される。まず、シーケンスプログラムから渡されたＭＩＤＩデータをＭＩＤＩバッファ３２０に取り込む（Ｓ１０）。ＭＩＤＩデータはカラオケ演奏用データとガイドメロディデータの両方を含んでいるため、その取り込んだＭＩＤＩデータがガイドメロディデータの場合は、そのＭＩＤＩデータから音高データ（つまり、リファレンス）を抽出する（Ｓ１２）。そして、このようにして抽出した音高データでＲＡＭ３４のリファレンスデータレジスタ３２２を更新する（Ｓ１４）。したがって、リファレンスデータレジスタ３２２は新たなガイドメロディデータが入力される毎に更新される。
【００４３】
図６は比較動作１を示すフローチャートである。この動作は、ＣＰＵ３０が音声処理用ＤＳＰ６８から歌唱音声信号の周波数カウント値および平均音量値を取り込んで歌唱音声の音高データ、周波数データに変換し、図５（Ｂ）のリファレンスデータ入力動作で求められたリファレンスデータの音高データと比較して差分データを求める動作である。なお、本比較動作１は、歌唱音声信号の１フレーム時間である５０ｍｓ毎に実行される。
まず、リファレンスが更新されたかどうかが判断され（Ｓ２０）、リファレンスが更新されない場合はリターンされる。リファレンスが更新された場合はリファレンスカウンタ（全体）をインクリメントする（Ｓ２２）。そして、音声処理用ＤＳＰ６８から平均音量値を読み取り（Ｓ２４）、その値が閾値以上であるかを判断する（Ｓ２６）。閾値以上でない場合（Ｓ２６：ＮＯ）は、以降の処理を実行せずに本比較動作１の処理を終了してリターンされる。
【００４４】
一方、閾値以上の場合（Ｓ２６：ＹＥＳ）は、発音カウンタ（全体）をインクリメントする。次に音声処理用ＤＳＰ６８から周波数カウント値を読み取り（Ｓ３０）、この周波数カウント値に基づいて音高データを生成する（Ｓ３２）。次に、歌唱音声およびリファレンスの音高データを比較してその差を算出し（Ｓ３４）、この算出した差を、音高差分データとして差分データ記憶エリア３２４の現在の区間に対応する記憶エリアに記憶する（Ｓ３６）。
【００４５】
次に、図６の比較動作１を含む、チャレンジモードの採点動作を図７及び図８のフローチャートを参照して説明する。
まず、リファレンスカウンタ（全体）および発音カウンタ（全体）の初期化を行う（Ｓ４０）。チャレンジモードの場合、所定得点を下回ったとき時強制終了させるため定期的に一定の間隔で採点を行う必要がある。そこでタイマの初期化を行う（Ｓ４２）。
【００４６】
次に、図６を参照して説明した５０ｍｓ毎の比較動作１を行う（Ｓ４４）。例えば１５秒おきに採点を行うようにするのであれば、タイマが１５秒以上かどうか判定し（Ｓ４６）、タイマが所定時間（１５秒）未満ならば（Ｓ４６：ＮＯ）比較動作を繰り返し（Ｓ４４）、タイマが１５秒以上ならば（Ｓ４６：ＹＥＳ）全体歌唱率の計算を行う（Ｓ４８）。
【００４７】
なお、歌唱率＝実際に歌唱した部分／歌唱すべき部分である。歌唱すべき部分とは楽譜の音符の長さを表す。実際に歌唱した部分は発音カウンタ値×５０ｍｓからその長さを求めることができる。また、歌唱すべき部分はリファレンスカウンタ値×５０ｍｓからその長さを求めることができる。よって歌唱率は発音カウンタ／リファレンスカウンタにより求められる。
【００４８】
続くＳ５０では、Ｓ４８にて求めた全体歌唱率に基づいて減点を算出する。この減点算出に際しては、図９に示す減点テーブルを用いる。この減点テーブルは、全体歌唱率と減点（減点すべき値の意味）との対応関係を示すものであり、例えば図９に示すように、３０％未満の場合は採点不能、３０％以上４０%未満の場合は２０点減点、４０％以上５０％未満の場合は１５点減点、５０％以上６０％未満の場合は１０点減点、６０％以上の場合は減点無しという対応関係になっている。
【００４９】
なお、一般に、楽譜の音符の長さに対して実際に歌唱する部分というのは声の大きさによりばらつき（発声する語彙、性別、年齢に影響大）が大きく、実験の結果５０％から９０％程度とばらつくことが分かっている。そのため、歌唱率が１００％でなければ即減点するようにしてしまうと、人間が感じるレベルでは特に減点すべきものでないケースであっても減点されてしまうこととなり、適切でない。そこで、ここでは６０％以上の歌唱率の場合には、特に減点すべき程度の内容でないとして「減点無し」にしている。
【００５０】
図９に示す減点テーブルにおける歌唱率、減点値は一例であり、さらに厳しい採点、あるいは逆に甘い採点となるよう歌唱率と減点との対応関係を設定しておいてもよい。また、歌唱率や減点値の設定を固定的にするのではなく、設置作業者や装置の運用者（例えばカラオケボックスのオーナーなど）が任意に設定可能な構成としても良い。
【００５１】
次に、差分データ記憶エリア３２４に記憶された音高差分データを得点化して集計し（Ｓ５２〜Ｓ５８）、さらにＳ５０で算出した減点を用いて総合得点を算出する（Ｓ５８）。ここでＳ５２〜Ｓ５８の処理について補足説明する。差分データ記憶エリア３２４から全体の音高差分データを取り出し（Ｓ５２）、全体の音高差分データの合計を発音カウンタ値で割って音高差分データを平均化する（Ｓ５４）。そして、図１０に示す得点テーブルを用いて音高差分データの平均値を得点化する（Ｓ５６）。なお、図１０の得点テーブルは、音高差分データの平均値と得点との対応関係を示すものであり、例えば図１０に示すように、音高差分データの平均値０，１，２，３，４，５，６（単位はセミトーン）に対して、それぞれ得点が１００，８０，６０，４０，２０，１０，０（単位は点）という対応関係になっている。そして、音高の得点値から全体歌唱率の減点分を差し引くことで総合得点を集計する（Ｓ５８）。
【００５２】
このような総合得点の算出をすることで、例えば音高差分データを得点化して集計したものが例えば８０点のとき、歌唱率が６０％以上のときに減点はないが、歌唱率が５８％の場合は減点が１０点となり、総合得点が８０点から７０点へ減算されることとなる。
【００５３】
次に、総合得点が基準点以上かどうかが判断される（Ｓ６２）。基準点を下回った場合は（６２：ＮＯ）、「残念」（あるいは「まだまだ残念」「おしいあと一歩」など）をモニタ６０に表示させて曲の途中で強制終了させる（Ｓ６４）。先ほどの例の場合は総合得点が７０点なので基準点７５点を下回っており強制終了となる。一方、基準点以上ならば曲が終了したか否かが判断され（Ｓ６６）、曲が終了した場合（Ｓ６６：ＹＥＳ）は、例えば「やったおめでとう」（あるいは「完奏おめでとう」など）をモニタ６０に表示させたのち採点動作を終了する。曲が終了していない場合（Ｓ６６：ＮＯ）は、Ｓ４２に戻ってタイマを初期化させ、Ｓ４４の比較動作１を行う。
【００５４】
このように、歌った割合（歌唱率）に応じて時間軸方向の重み付けを行うことにより、例えば少しの時間だけ上手く歌って、あと歌わないような場合に高得点になってしまうような不適切な事態を防ぐことができる。
【００５５】
また音高データの比較を行って歌唱巧拙を判断している。つまり、音量の大小を得点に反映させていない。これは、音量は発声する語彙、性別、年齢などによってばらつきが大きいため実際の歌唱の巧拙とかけ離れた得点が出る場合があることを考慮したためである。また、音量を採点に使わないことによってアルゴリズムを簡略化でき、短時間で歌唱の正確さを判定することができる。
【００５６】
以上説明した採点動作例その１によれば、全体の歌唱率に応じて時間軸方向の重み付けを行うことにより、曲の途中で歌わない部分があっても歌っている部分において上手く歌った場合は高得点になる、という不適切な事態を防ぐことができる。しかしながら、チャレンジモードにおいて、曲の大部分を歌った後、全く歌わなかったり下手に歌っても点数がなかなか下がらずなかなか強制終了にならないという問題があった。これは、得点が平均化されてしまうため、曲の大部分を歌ってしまっているとその後の少しの時間全く歌わなかったり、下手に歌ってもあまり点数が落ちないためである。また、全体の歌唱率による重み付けに関しても、大部分歌ってしまっていると歌唱率があまり落ちないため重み付けされないという問題があった。
【００５７】
そこで、全体の歌唱率による重み付けだけでなく、区間の歌唱率による重み付けと区間における音高データ差分から求めた得点による重み付けを行うことによって、上述する問題を解決することを考えた。その場合の採点動作例を２例説明する。
【００５８】
［採点動作例その２］
図１１〜１４を参照して、採点動作例その２について説明する。なお、上述した採点動作例その１と異なる部分だけ説明する。
【００５９】
図１１に示すフローチャートは、採点動作例その１における図６の比較動作１に対して、区間リファレンスカウンタのインクリメント（Ｓ７０）、区間発音カウンタのインクリメント（Ｓ７２）が追加された比較動作２を示すフローチャートである。その他のステップ番号Ｓ２０〜Ｓ３６で示す処理は図６に示す処理と同じ内容である。Ｓ７０の区間リファレンスカウンタのインクリメントはＳ２２の処理後に実行され、また、Ｓ７２の区間発音カウンタのインクリメントはＳ２８の処理後に実行される。これら区間リファレンスカウンタ、区間発音カウンタは、区間の歌唱率を計算するために用いられるものであり、区間歌唱率＝区間発音カウンタ／区間リファレンスカウンタで求められる。
【００６０】
図１１の比較動作２を含む、チャレンジモードの採点動作を示すものが図１２及び図１３のフローチャートである。採点動作例その１におけるチャレンジモードの採点動作を示す図７及び図８のフローチャートとの違いを中心に説明する。
【００６１】
図７においてはリファレンスカウンタ（全体）および発音カウンタ（全体）の初期化を行い（Ｓ４０）、その後、タイマの初期化（Ｓ４２）を行ったが、図１２においては、これらＳ４０とＳ４２の間に区間カウンタの初期化（Ｓ８０）が追加されている。
【００６２】
また、図７のＳ４４における比較動作１に代えて図１２においては比較動作２（Ｓ８１）を実行する。この比較動作２では上述した図１１に示す処理を行う。
そして、図７においてはタイマが１５秒以上ならば（Ｓ４６：ＹＥＳ）、全体歌唱率の計算を行ったが（Ｓ４８）、図１２においては、Ｓ４８での全体歌唱率の計算の前に、区間歌唱率の計算（Ｓ８２）及びその区間歌唱率に基づく減点算出（Ｓ８４）を実行する。この区間歌唱率に基づく減点算出に際しては、図１４に示す減点テーブルを用いる。この減点テーブルは、区間歌唱率と減点（減点すべき値の意味）との対応関係を示すものであり、例えば図１４に示すように、３０％未満の場合は２０点減点、３０％以上４０%未満の場合は１５点減点、４０％以上５０％未満の場合は１０点減点、５０％以上６０％未満の場合は５点減点、６０％以上の場合は減点無しという対応関係になっている。
【００６３】
また、図８のＳ５８における総合得点集計に代えて、図１３においては、Ｓ１５８の総合得点集計を実行する。すなわち、Ｓ５８では音高の得点値から全体歌唱率の減点分を差し引くことで総合得点を集計していたが、図１３のＳ１５８では、音高の得点値から区間歌唱率の減点分及び全体歌唱率の減点分を差し引くことで総合得点を集計する。
【００６４】
これらＳ８０，Ｓ８１，Ｓ８２，Ｓ８４及びＳ１５８以外のステップの処理については、図７及び図８に示す同じステップ番号の処理と同じである。なお、図１３のＳ６６で否定判断の場合には、図１２のＳ８０へ戻る。
【００６５】
このように、採点動作例２においては、全体の歌唱率による重み付けだけでなく各区間における歌唱率による重み付けを行うことにより、全体を平均化してしまうと反映されにくい局所的な低得点（例えば一部分全く歌わない状況）の場合にも総合点数に反映させることができる。
【００６６】
［採点動作例その３］
図１５〜１７を参照して、採点動作例その３について説明する。なお、上述した採点動作例その１におけるチャレンジモードの採点動作を示す図７及び図８のフローチャートとの違いを中心に説明する。
【００６７】
図７においてはリファレンスカウンタ（全体）および発音カウンタ（全体）の初期化を行い（Ｓ４０）、その後、タイマの初期化（Ｓ４２）を行ったが、図１５においては、これらＳ４０とＳ４２の間に区間カウンタの初期化（Ｓ８０）が追加されている。
【００６８】
また、図７のＳ４４における比較動作１に代えて図１２においては比較動作２（Ｓ８１）を実行する。この比較動作２は上採点動作例その２で説明した図１１に示す処理を行う。
【００６９】
そして、図７においてはタイマが１５秒以上ならば（Ｓ４６：ＹＥＳ）、全体歌唱率の計算を行ったが（Ｓ４８）、図１５においては、Ｓ４８での全体歌唱率の計算の前に、Ｓ２０２，Ｓ２０４，Ｓ２０６，Ｓ２０８の処理を実行する。すなわち、差分データ記憶エリア３２４から区間の音高差分データを取り出し（Ｓ２０２）、区間の音高差分データの合計を区間発音カウンタ値で割って音高差分データを平均化する（Ｓ２０４）。そして、図１０に示す得点テーブルを用いて区間の音高差分データの平均値を得点化する（Ｓ２０６）。さらに、図１７の区間減点テーブルを用いて区間得点から減点を算出する（Ｓ２０８）。この区間減点テーブルは、区間得点と減点（減点すべき値の意味）との対応関係を示すものであり、例えば図１７に示すように、５０点未満の場合は２０点減点、５０点以上６０点未満の場合は１０点減点、６０点以上７０点未満の場合は５点減点、７０点以上の場合は減点無しという対応関係になっている。
【００７０】
この後、全体歌唱率の計算（Ｓ４８）、全体歌唱率から減点算出（Ｓ５０）、差分データ記憶エリア３２４から全体の音高差分データ取り出し（Ｓ５２）、全体の音高差分データの合計を発音カウンタ値で割って音高差分データを平均化（Ｓ５４）、図１０に示す得点テーブルを用いて音高差分データの平均値を得点化（Ｓ５６）の各処理に関しては採点動作例１と同じであるが、その後の総合得点集計の内容が異なっている。つまり、本採点動作例３においては、図１３のＳ２５８において、全体の音高の得点値から区間の音高の減点分及び全体歌唱率の減点分を差し引くことで総合得点を集計している。
【００７１】
これらＳ８０，Ｓ８１，Ｓ２０２，Ｓ２０４，Ｓ２０６及びＳ２５８以外のステップの処理については、図７及び図８に示す同じステップ番号の処理と同じである。なお、図１６のＳ６６で否定判断の場合には、図１５のＳ８０へ戻る。
【００７２】
このように、採点動作例３においては、全体の歌唱率による重み付けだけでなく各区間における音高差分データから求めた得点による重み付けを行うことにより、全体を平均化してしまうと反映されにくい局所的な低得点（例えば一部分を下手に歌った状況）の場合にも総合点数に反映させることができる。
【００７３】
なお、上述した採点動作例２及び採点動作例３に関しては、それぞれ別個に実施してもよいが、両方を実施することにより、歌の巧拙がより適切に点数に反映されることになる。
【００７４】
また、上述した採点動作例においては、図６に示す比較動作１や図１１に示す比較動作２におけるＳ２６において、歌唱音声の平均音量値が閾値以上でない場合（Ｓ２６：ＮＯ）は、以降の処理を実行せずに比較動作１（または２）の処理を終了するようにしている。つまり、採点に用いる音高データに関して、実際にはある程度の音量があるものに絞っている。この理由は、あまりに音量が小さな入力音声は歌唱者が実際に歌唱しているのかどうかも不明で、採点に用いるのが適切でない場合もあるからである。但し、このように平均音量にて採点に用いる音高データを絞った場合、その絞るための基準値が相対的に高く、且つ例えば入力音量が相対的に小さなマイク６２を用いて歌唱した場合には、実際には歌唱しているのにもかかわらず平均音量が基準値以上とならず、結果的に減点してしまう可能性もある。しかしながら、上述した実施例では、例えば図９の減点テーブルにおいて全体歌唱率が６０％以上の場合は減点無し、また図１４の減点テーブルにおいても区間歌唱率が６０％以上の場合は減点無しというように不感帯を設けている。したがって、実際には歌唱しているのにもかかわらず平均音量が基準値以上とならない状態が多少発生しても、そのことは減点に結びつかず、より適切な採点に寄与する。
【００７５】
なお、音高差分データを平均化する区間は５０ｍｓ毎でなくてもよい。例えばカラオケ演奏開始時から採点時までの間の音高差分データの平均値を用いてもよい。このようにすれば、区間カウンタを使用しないためカウンタの計測処理が不要となり、ソフトウェアの設計が簡単になるというメリットが得られる。
【図面の簡単な説明】
【００７６】
【図１】実施例のカラオケ装置の機能を中心とした概略構成を示す図である。
【図２】歌唱音声、リファレンス、差分データについての説明図である。
【図３】実施例のカラオケ装置の具体的なハード構成を示すブロック図である。
【図４】実施例のカラオケ装置のＲＡＭ、ＨＤＤにおける記憶エリアの説明図である。
【図５】実施例のカラオケ装置において実施されるデータの取り込み動作を示すフローチャートである。
【図６】実施例のカラオケ装置において実行される採点動作例その１に関する処理の内、比較動作１のアルゴリズムを説明するフローチャートである。
【図７】図６の比較動作１を含む採点動作例その１に関する処理の前半を示すフローチャートである。
【図８】図６の比較動作１を含む採点動作例その１に関する処理の後半を示すフローチャートである。
【図９】全体歌唱率と減点との対応関係を示す減点テーブルの説明図である。
【図１０】音高差分データの平均値と得点との対応関係を示す得点テーブルの説明図である。
【図１１】採点動作例その２に関する処理の内、比較動作２のアルゴリズムを説明するフローチャートである。
【図１２】図１１の比較動作２を含む採点動作例その２に関する処理の前半を示すフローチャートである。
【図１３】図１１の比較動作２を含む採点動作例その２に関する処理の後半を示すフローチャートである。
【図１４】区間歌唱率と減点との対応関係を示す減点テーブルの説明図である。
【図１５】採点動作例その３に関する処理の前半を示すフローチャートである。
【図１６】採点動作例その３に関する処理の後半を示すフローチャートである。
【図１７】採点動作例その３に関する処理で用いられる、区間得点と減点との対応関係を示す減点テーブルの説明図である。
【符号の説明】
【００７７】
３０…ＣＰＵ、３２…ＲＯＭ、３４…ＲＡＭ、３６…リモコン受信部、３８…表示パネル、４０…パネルスイッチ、４２…通信制御部、４４…ＨＤＤ、４６…音源装置、４８…音声データ処理部、５０…効果用ＤＳＰ、５２…Ｄ／Ａコンバータ、５４…アンプスピーカ、５６…ネットワークインターフェース、５７…文字表示部、５８…表示制御部、６０…モニタ、６２…マイク、６４…プリアンプ、６６…Ａ／Ｄコンバータ、６８…音声処理用ＤＳＰ、７０…リモコン、３２０…ＭＩＤＩバッファ、３２２…リファレンスデータレジスタ、３２４…差分データ記憶エリア、３２６…実行データ記憶エリア、３２８…プログラム記憶エリア、３７０…楽曲データファイル、３７２…背景動画記憶エリア、３７４…歌唱データ記憶エリア、３７６…プログラム記憶エリア
【図１】
2005215493.tif 000003
【図２】
2005215493.tif 000004
【図３】
2005215493.tif 000005
【図４】
2005215493.tif 000006
【図５】
2005215493.tif 000007
【図６】
2005215493.tif 000008
【図７】
2005215493.tif 000009
【図８】
2005215493.tif 000010
【図９】
2005215493.tif 000011
【図１０】
2005215493.tif 000012
【図１１】
2005215493.tif 000013
【図１２】
2005215493.tif 000014
【図１３】
2005215493.tif 000015
【図１４】
2005215493.tif 000016
【図１５】
2005215493.tif 000017
【図１６】
2005215493.tif 000018
【図１７】
2005215493.tif 000019