(57)【要約】【課題】カラオケ曲のどの部分が上手く歌えて、どの部分が上手く歌えなかったかったかを後から振り返って見直すことのできるカラオケ装置を提供する。【解決手段】カラオケ曲の演奏と並行して歌唱者の歌唱音声を採点する。その採点結果に基づいて所定時間毎に決定される採点マーク５２を、モニタに表示される歌詞テロップ５１の上に、その採点対象の歌詞に重ねて表示する。採点マークはその評価に応じて赤、黄、緑に色分けされているため、歌唱者は歌詞テロップ上に時系列に表示されている採点マークを見ることにより、直観的にどの部分が上手く歌えて、どの部分が良くなかったかを知ることができる。【選択図】  図３
2008052302.tif 000002
【特許請求の範囲】
【請求項１】
カラオケ曲を演奏する演奏手段と、
カラオケ曲の進行に同期して色変えされる歌詞テロップを表示する歌詞表示手段と、
歌唱音声を入力する歌唱音声入力手段と、
カラオケ曲の演奏に同期してリファレンスデータを出力するリファレンスデータ出力手段と、
前記歌唱音声と前記リファレンスデータとを比較することにより、カラオケ曲の演奏と並行して前記歌唱音声を採点する採点手段と、
前記採点手段の採点結果を表す採点マークを、一定時間ごとに、前記歌詞テロップに重なるまたはその近傍の位置であって、前記歌詞テロップのその時点での色変え位置から採点遅れの時間分遡った位置に、時系列に表示する採点結果表示手段と、
を備えたカラオケ装置。
【請求項２】
前記採点結果表示手段は、前記歌詞テロップの文字に対応づけて、前記歌詞テロップの表示軸上または該表示軸に並行に、前記採点マークを一定時間ごとに時系列に表示し、
カラオケ曲の進行において前記歌詞テロップ中の１文字が前記一定時間以上伸ばされる場合は、その文字に対応づけられる複数の採点マークを、前記歌詞テロップの表示軸に垂直にずらして表示する
請求項１に記載のカラオケ装置。
【請求項３】
前記演奏手段は、カラオケ曲の演奏を巻き戻して既に演奏した箇所を再演奏する巻き戻し手段を有し、
前記採点結果表示手段は、前記再演奏の開始点以後の前記採点結果の表示を消去する請求項１または請求項２に記載のカラオケ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、歌唱採点機能を備えたカラオケ装置、および、カラオケ装置やゲーム装置などにおける採点結果表示装置に関する。
【背景技術】
【０００２】
従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。この従来より実用化されている採点機能は、カラオケ曲の終了後に採点結果を表示するものが一般的である（たとえば特許文献１参照。）。
【０００３】
また、カラオケ曲の演奏中に採点結果をリアルタイムに表示するものも提案されている（たとえば特許文献２参照。）。
【０００４】
【特許文献１】特開平１０−４９１８３号公報
【特許文献２】特開平１０−１６１６７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、カラオケ曲の演奏が終わってから採点結果を表示するカラオケ装置では、歌唱者は曲全体の歌唱の巧拙は分かっても、曲中のどの部分の歌唱が良くて、どの部分の歌唱が悪いのかを知ることができなかった。
【０００６】
また、カラオケ曲の歌唱中に採点結果を表示するカラオケ装置であっても、１つの表示がその時々の歌唱の巧拙に応じて変化するものであったため、カラオケ曲の進行とともに変化してしまい、過去の歌唱の巧拙、すなわちどの部分の歌唱が良くて、どの部分の歌唱が悪かったかを振り返って確認することができないという欠点があった。
【０００７】
この発明は、カラオケ曲のどの部分が上手く歌えて、どの部分が上手く歌えなかったかったかを振り返って見渡すことのできるカラオケ装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１の発明は、カラオケ曲を演奏する演奏手段と、カラオケ曲の進行に同期して色変えされる歌詞テロップを表示する歌詞表示手段と、歌唱音声を入力する歌唱音声入力手段と、カラオケ曲の演奏に同期してリファレンスデータを出力するリファレンスデータ出力手段と、前記歌唱音声と前記リファレンスデータとを比較することにより、カラオケ曲の演奏と並行して前記歌唱音声を採点する採点手段と、前記採点手段の採点結果を表す採点マークを、一定時間ごとに、前記歌詞テロップに重なるまたはその近傍の位置であって、前記歌詞テロップのその時点での色変え位置から採点遅れの時間分遡った位置に、時系列に表示する採点結果表示手段と、を備えたことを特徴とする。
【０００９】
この発明では、演奏手段がカラオケ曲を演奏するのと並行して、採点手段が歌唱音声を採点し、採点結果が連続的にまたは所定間隔で時系列に出力される。そして、採点結果表示手段が、この時系列に出力された採点結果を採点マークとしてカラオケ曲の進行に同期して色変えされる歌詞テロップに重なるまたはその近傍の位置に一定時間ごとに時系列に表示する。歌詞テロップはカラオケ曲の進行に対応して改行、改ページがされ、また、歌唱をガイドするようにワイプ処理がされるものである。これに対応づけて採点結果を表示すれば、歌唱のどの部分が上手く歌えて、どの部分が上手く歌えなかったかを歌唱者に分かりやすく表示することができる。また、採点結果の表示を文字やグラフでなくマークで表示するようにしたことにより、歌唱中であっても直観的にその採点結果を理解できるという利点がある。
【００１０】
請求項２の発明は、請求項１の発明において、前記採点結果表示手段は、前記歌詞テロップの文字に対応づけて、前記歌詞テロップの表示軸上または該表示軸に並行に、前記採点マークを一定時間ごとに時系列に表示し、カラオケ曲の進行において前記歌詞テロップ中の１文字が前記一定時間以上伸ばされる場合は、その文字に対応づけられる複数の採点マークを、前記歌詞テロップの表示軸に垂直にずらして表示することを特徴とする。
【００１１】
請求項３の発明は、請求項１、２の発明において、前記演奏手段に、カラオケ曲の演奏を巻き戻して既に演奏した箇所を再演奏する巻き戻し手段を設け、前記採点結果表示手段は、前記再演奏の開始点以後の前記採点結果の表示を消去することを特徴とする。
【００１２】
カラオケ曲の演奏の巻き戻し技術は、本出願人の特開２０００−９９０４４号公報に詳細に記載されている。このような技術を適用して演奏を巻き戻ししたときには、先の歌唱で付された採点結果の表示を消去する（それ以前の採点結果の表示は残す）ようにした。これにより、巻き戻し演奏が可能になるとともに、採点をその演奏再開位置からやり直すことができる。
【発明の効果】
【００１３】
以上のようにこの発明によれば、カラオケ曲の歌唱を継続的に採点し、その採点結果をカラオケ曲の進行に同期して色変えされる前記歌詞テロップに重なるまたはその近傍の、前記歌詞テロップのその時点での色変え位置から採点遅れの時間分遡った位置に一定時間ごとに表示するため、どの部分が上手く歌唱できて、どの部分が上手く歌唱できなかったかを歌唱者に対して分かりやすく、後から確認できるように、表示することができる。
【発明を実施するための最良の形態】
【００１４】
図面を参照してこの発明の実施形態であるカラオケ装置について説明する。このカラオケ装置は、カラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力するという通常モードの動作を行うだけでなく、採点モードの動作も実行する。このカラオケ装置の採点モードは、歌唱の上手さをほぼリアルタイムに採点し、その採点結果を歌詞テロップ上に採点マークとして表示して残してゆく機能であり、どの部分の歌唱が良くてどの部分の歌唱が良くなかったかを後で振り返って見ることができるものである。
【００１５】
図１は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するＣＰＵ１０と、これに接続された各種機器で構成されている。ＣＰＵ１０には、ハードディスク１１、ＲＡＭ１２、音源１３、ミキサ（エフェクタ）１４、採点器１９、ＭＰＥＧデコーダ２０、合成回路２１、操作部２３が接続されている。ハードディスク１１は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。ＲＡＭ１２は、プログラムや曲データを読み出すエリアを備えるとともに、採点モード時に採点結果等を記録する採点ログエリアが設定されている。
【００１６】
音源１３は、ＣＰＵ１０が実行する曲シーケンサ３１の処理によって入力された曲データ（ノートイベントデータ等）に応じて楽音信号を形成する。形成した楽音信号はミキサ１４に入力される。ミキサ１４は、音源１３が発生した複数の楽音信号、および、マイク１７−Ａ／Ｄコンバータ１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム１５に入力される。サウンドシステムはＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１６から放音する。ミキサ１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。
【００１７】
また、Ａ／Ｄコンバータ１８によってデジタル信号に変換された歌唱音声信号は、採点器１９にも入力される。採点器１９は、この入力された歌唱音声信号の周波数をリファレンスと比較してそのずれ量を割り出し、これをずれデータとしてＣＰＵ１０に入力する。リファレンスは曲データに含まれるガイドメロディデータが用いられる。
【００１８】
なお、この実施形態では、採点器１９は、歌唱音声信号の音高（周波数）とリファレンスの音高とを比較してそのずれを求めるようにしているが、比較する対象は音高に限定されない。たとえば、音量やリズムなどを比較してもよく、これら複数の要素を比較するようにしてもよい。
【００１９】
ＨＤＤ１１に記憶されている背景映像データ４１は、ＭＰＥＧ２形式にエンコードされており、ＣＰＵ１０が実行する背景映像再生プログラム３３は、これを読み出してＭＰＥＧデコーダ２０に入力する。ＭＰＥＧデコーダ２０は、入力されたＭＰＥＧデータをＮＴＳＣの映像信号に変換して合成回路２１に入力する。合成回路２１は、この背景映像の映像信号の上に歌詞テロップや種々のＯＳＤを合成する回路である。この合成された映像信号はモニタディスプレイ２２に表示される。
【００２０】
操作部２３は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をＣＰＵ１０に入力する。ＣＰＵ１０は、操作入力処理プログラム３５によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム３５はシステムプログラムに含まれるものである。
【００２１】
パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。また、カラオケ曲の演奏中に演奏箇所を後戻りさせる（巻き戻しする）ためのＲＷボタンも備えている。
【００２２】
パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム３５がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ３０に伝達する。シーケンサ３０は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク１１の曲データ記憶エリア４０から読み出す。シーケンサ３０は、曲シーケンサ３１および歌詞シーケンサ３２からなっており、歌詞シーケンサ３２は、文字パターン作成プログラム３２ａを含んでいる。曲シーケンサ３１は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源１３を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ３２は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路２１に出力する。また、背景映像再生プログラム３３は、シーケンサ３０からの指示に応じて所定の背景映像データを読み出してＭＰＥＧデコーダ２０に入力する。
【００２３】
ここで、図２を参照してハードディスク１１に記憶されている曲データについて説明する。曲データは、同図（Ａ）に示すように、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲中の区切りを示すマークデータが書き込まれるマークデータトラックなどからなっている。曲データは、これ以外にヘッダ、音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。
【００２４】
各トラックは、ＭＩＤＩフォーマットに従って記述され、同図（Ｂ）に示すように、イベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。楽音トラック、ガイドメロディトラックのイベントデータは、楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源１３に入力することにより、音源１３はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、メインメロディをガイドするためのメインメロディトラック、上／下のハモリメロディをガイドするための上／下ハモリメロディトラックなどで構成されている。
【００２５】
また、マークデータトラックには、カラオケ曲の曲中の種々の区切り点を示すマークデータが書き込まれる。マークデータとしては、序奏と１コーラス目の区切りに書き込まれる１コーラス目マーク、１コーラス目と間奏の区切りに書き込まれる間奏マーク、間奏と２コーラス目の区切りに書き込まれる２コーラス目マーク、２コーラス目とエンディングの区切りに書き込まれるエンディングマークなどがあり、また、各コーラス中のサビの開始・終了点に書き込まれるサビ開始マーク、サビ終了マークなどがある。このマークは上記演奏トラック、ガイドメロディトラックが発生する楽音と同期しており、システムエクスクルーシブメッセージとして記述される。
【００２６】
一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、同図（Ｃ）に示すように、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。
【００２７】
歌詞表示データは、１行分の歌詞テロップを表示するための各種データからなっている。ページ区切りデータは、１行単位の歌詞表示データを２〜４つずつ区切るデータであり、このページ区切りデータで区切られた歌詞表示データの歌詞テロップが１ページとして同時にモニタ２２に表示される。このページ区切りデータで区切られる歌詞が一般的にはカラオケ曲の音楽的なフレーズに対応している。
【００２８】
歌詞表示データは、表示オンタイミング、表示オフタイミング、文字列データ、色１データ、色２データ、ワイプデータ（ワイプ関数）などからなっている。文字列データは、文字のテキストデータに加えて、各テキストの表示ポイント数、表示座標、文字間データなどを含んでいる。ここで、ワイプとは、歌詞テロップの文字色を歌唱の進行に合わせて左から右に滑らかに色変えしてゆく処理であり、同図（Ｄ）に示すワイプデータ（ワイプ関数）に応じて行われる。色１データ、色２データは、歌詞テロップの文字のワイプ前およびワイプ後の文字色である。
【００２９】
同図（Ｄ）のワイプ関数におけるｔ＝０でこの歌詞テロップが表示され、全て色１でｔｓの時間だけ表示されたのちｔ1 でワイプがスタートする。そしてこのワイプ関数に基づいてワイプが進行してゆき、ｔ2 で全ての文字のワイプが終了する。そののちｔｅ間だけ全て色２で表示されたのちこの歌詞テロップは消去される。この歌詞テロップの画像の作成およびワイプ処理は、文字パターン作成プログラム３２ａが行い、テロップの表示スタートおよび消去は合成回路２１が行う。
【００３０】
通常モードのカラオケ曲の演奏では、シーケンサ３０により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム３４により、以下のような処理が実行される。
【００３１】
まず図３、図４を参照して、採点モード時の画面表示の内容について説明する。採点モードのカラオケ演奏時には、モニタ２２に図３に示すような内容が表示される。モニタ２２の画面全体に背景映像５０が表示され、その上に歌詞テロップ５１がスーパーインポーズ合成で表示される点は、通常モードのカラオケ演奏時と同様である。
【００３２】
採点モードでは、さらに歌詞の上に採点マーク５２が表示される。採点マーク５２は、曲の進行に対応して歌詞テロップ上に並べて表示されるボール形のマークである。採点器１９および採点モード処理プログラム３４は、歌唱者の歌唱の巧拙を所定時間毎（たとえば１５０ｍｓ毎）に採点し、その採点結果を採点マークとしてその採点対象となった歌唱に対応する歌詞の上に表示してゆく。
【００３３】
この実施形態では、歌唱の巧拙を、歌唱者の歌唱周波数とリファレンス（ガイドメロディデータ）が指示する音高とのずれ（セント値）の大小で判定するようにしており、そのずれの程度に応じて図４（Ａ）に示すような採点マーク決定テーブルに基づいて採点マークを決定し、その採点対象となった歌唱の歌詞の位置に採点マークを表示する。
【００３４】
ここで、図４（Ａ）の採点マーク決定テーブルでは、ずれの大きさに応じて、赤マーク（ずれ大）、橙マーク（ずれ中）、黄マーク（ずれ小）、緑マーク（ずれ無）の色のボール形のマークを表示する。この表において、イージーモード、ノーマルモード、ハードモードは、難易度（採点の厳格さ）を設定するモードであり、通常モードから採点モードに移行するとき、同時にこの難易度のモードも選択することができる。
なお、上手く歌唱できているときには歌唱者に注意を喚起しなくてもよいため、緑マークを表示しないようにすることも可能である。
【００３５】
また、マークの形状はボール形としているが、マークの形状は球形に限定されず、ブタなどのキャラクタ形状にしてもよい。
さらに、ずれの大きさ（採点結果）をマークの色で区別するようにしているが、この区別をマークの形状やサイズで行うようにしてもよい。また、色、形状、サイズによる区別を併用するようにしてもよい。
【００３６】
なお、この採点マーク決定テーブルは、採点器１９が５０ｍｓ毎に歌唱音声信号とリファレンスとの周波数ずれを表すずれデータを出力し、採点モード処理プログラム３４がこのずれデータを３回分積算して１５０ｍｓ毎に採点マークを決定・表示する場合のテーブルである。したがって、イージーモードの赤マーク（ずれ大）のずれ量が３００以上というのは、１回平均１００セント（半音）以上のずれがある場合ということになる。採点マークの表示間隔が１５０ｍｓ以外の場合には、その表示間隔に応じて値を増減すればよい。
【００３７】
また、画面上部には、採点モードである旨を示すＯＳＤである採点モード表示５８、上記イージーモード、ノーマルモードまたはハードモードのモード表示５３、マイク入力レベル５６、ガイドメロディ設定５７、繰り返し操作回数５９、および、採点メータ５４が表示される。
【００３８】
ガイドメロディ設定５７は、ガイドメロディの音量や曲データのガイドメロディトラックの選択内容を表示するためのインジケータである。リモコン装置または操作パネルのガイドメロディボタンの操作により、利用者がガイドメロディの設定を切り換えることができ、その設定がこのインジケータの表示に反映される。ガイドメロディの設定は、図４（Ｃ）に示すように、「切」、「（メインメロディ）音量１」、「（メインメロディ）音量２」、「（メインメロディ）音量３」、「（上ハモメロディ）音量３」、「（下ハモメロディ）音量３」の６種類である。ガイドメロディボタンをオンする毎に上記設定がトグルで切り換えられる。
【００３９】
繰り返し操作回数５９は、利用者がＲＷ（巻き戻し）ボタンを操作して演奏を巻き戻し、曲の一部区間を繰り返し演奏させた回数を示している。巻き戻し機能については後述する。
【００４０】
採点メータ５４は、曲全体にわたって歌唱の巧拙を表示する棒グラフ状のインジケータである。採点モードでは、カラオケ曲を３０の区間に分割し、各区間毎に歌唱の巧拙を判定し、採点メータ５４上に設定された各区間の区間評価マーク表示エリア５５に、各区間の判定結果に対応する区間評価マーク（５５）を順次表示してゆく。区間評価マークは、図４（Ｂ）に示すように７種類あり、その区間における採点結果の集計結果に応じてどの区間評価マークを表示するかが演奏の進行に応じて決定され、その区間の歌唱が評価される毎にその区間の表示エリア５５に表示されるマークが更新される。
【００４１】
採点メータ５４の下部には、カラオケ曲の１コーラス目、２コーラス目、サビなどの開始点（または終了点）を示す区切りマーク６１が表示される。また、採点メータの上部には、現在演奏中の区間を示す赤色の横線であるカーソル６０がカラオケ曲の演奏の進行に対応して表示される。
【００４２】
採点メータ５４の区間分割は、イントロの最初からエンディングの最後までの全曲を時間的に均等に３０に分割する方式のほか、たとえば音符の数（ガイドメロディトラックのイベントデータの数）が均等になるように分割するなど、時間的に均等でなくてもよい。また、分割の対象（採点メータ５４の表示対象）が全演奏時間である必要はない。たとえば、歌唱のある部分（ガイドメロディデータ（イベントデータ））の存在する部分のみを分割対象にしてもく、１コーラス目のみなど曲の一部であってもよい。さらに、分割数は３０に限定されない。
【００４３】
ここで、図４（Ｂ）を参照して区間評価マークについて説明する。区間評価マークは、７種類あり、採点ログに記録するためにそれぞれ６〜０のコードが付されている。そのうち青マーク（コード０）はまだ評価していない区間を表す未評価マークである。カラオケ曲の演奏のスタート時には全区間がこの青マークになる。また、青緑マーク（コード１）は現在その区間を演奏していて歌唱を評価していることを表す評価中マークである。また、紺マーク（コード２）は前奏、間奏、後奏など歌唱すべきところのない区間（評価外）であることを示すマークである。
【００４４】
クラウンマーク（コード６）、緑マーク（コード５）、ピンクマーク（コード４）、赤マーク（コード３）が実際の歌唱に対する評価を示す区間評価マークである。
【００４５】
クラウンマークは、区間中に採点マークの赤マーク（ずれ大）、橙マーク（ずれ中）、黄マーク（ずれ小）が全くない場合に決定・表示れる区間評価マークであり、この区間の歌唱が優秀であったことを意味している。
【００４６】
緑マークは、赤の採点マークがなく、且つ、橙、黄の採点マークが区間内の歌唱すべき時間の５パーセント以下、すなわち黄カウンタの値が採点カウンタの値の５パーセント以下の場合に決定・表示される区間評価マークであり、この区間の歌唱が合格であることを意味している。
【００４７】
ピンクマークは、赤の採点マークが１個または２個の場合、または、橙、黄の採点マークが区間内の歌唱すべき時間の５パーセント以上、すなわち黄カウンタの値が採点カウンタの値の５パーセント以上の場合に決定・表示される区間評価マークであり、この区間の歌唱が要努力であることを意味している。
【００４８】
そして赤マークは、赤の採点マークが３個以上ある場合に決定・表示される区間評価マークであり、この区間の歌唱が不合格であることを意味している。
【００４９】
なお、歌唱すべきところ（ガイドメロディがあるところ）であるのに歌唱音声が入力されない場合には非歌唱であるとして採点マークは表示しないが、区間評価マークの決定においては赤の採点マークと同様の扱いとする。
【００５０】
図５は、採点モード時における各プログラムの処理の流れを示す図である。この図では主として採点マークを表示するための処理について説明している。カラオケ曲を演奏するとき、曲シーケンサ３１と歌詞シーケンサ３２は同期して動作する。曲シーケンサ３１は、演奏トラックのイベントデータを読み出して音源１３に入力し、楽音を発生させる。また、選択されたガイドメロディトラックのイベントデータを読み出して音源１３に入力し、ガイドメロディを発生させる。一方、歌詞シーケンサ３２は、歌詞トラックのイベントデータ（歌詞表示データ）を読み出し、これに基づいて歌詞を表示するとともに、ワイプ関数に基づき曲の進行に従って歌詞の文字色を変化させてゆく。
【００５１】
また、曲シーケンサ３１は、選択されたガイドメロディトラックのイベントデータ（音高情報）をリファレンスとして採点器１９に入力する。また、採点器１９には、カラオケ曲の演奏音や歌詞テロップの表示に応じて歌唱する歌唱者の歌唱音声も入力される。採点器１９は、この歌唱音声から検出した音高とリファレンスの音高情報とを比較し、その比較結果（ずれ量のセント値）であるずれデータを５０ｍｓ毎に出力する。このずれデータは採点モード処理プログラム３４に読み取られる。採点モード処理プログラム３４は、複数回（通常は３回＝１５０ｍｓ）のずれデータを集計し、その集計結果に基づいてどの採点マークを表示するかを決定する。
【００５２】
図４（Ａ）の採点マーク決定テーブルでは、ずれデータの合計値に基づいて採点マークを決定するようにしているが、採点マークの決定方式は、これに限らず、たとえば、ずれデータの平均値、所定値よりも大きいずれデータが入力された回数などに基づいて決定するようにしてもよい。
【００５３】
採点モード処理プログラム３４は、採点マークを決定したとき、歌詞シーケンサ３２から、そのときのワイプ位置情報を取得する。そして、このワイプ位置情報に基づいて採点マークの表示位置を決定する。そして、作成した採点マークの図形パターンデータをこの表示位置に形成して合成回路２１に出力することにより、歌詞テロップ５１の上に採点マーク５２を表示させる。同時にこの決定した採点マークおよびその絶対時刻を採点ログに記録する。
【００５４】
なお、採点対象となる歌唱区間（ガイドメロディが発音される区間）であっても、歌唱者の歌唱音声信号が入力されない場合は、採点器１９は非歌唱信号を出力する。この場合、採点モード処理プログラム３４は、採点不可能であるとして採点マークを表示しない。
【００５５】
ここで、図６を参照して採点マークの表示位置の決定方式について説明する。同図（Ａ）において、採点マークが決定されたとき、そのとき歌詞シーケンサ３２から取得したワイプ位置がＡであったとする。このワイプ位置は図２（Ｄ）のワイプ関数によって求められるものである。一般的に歌詞テロップのワイプは歌唱をガイドするように演奏（歌唱）に先行して行われるため、ワイプ位置がＡのときには、Ｂの位置が演奏位置であると考えられる。すなわち、Ｂの位置に表示されている歌詞を歌唱するところを曲シーケンサ３１が演奏していると考えられる。一方、採点マークの決定は、採点器１９による採点所要時間（５０ｍｓ）、および、採点モード処理プログラム３４による複数回のずれデータの蓄積（１５０ｍｓ）などにより、今回の採点マークの採点対象となった歌唱音声（の先頭部分）の入力から数百ｍｓ程度遅れるため、採点マークが決定されたとき、採点対象の歌唱に対応する歌詞は、演奏位置からこの遅れ時間分さかのぼったＣの位置に表示されている歌詞であると考えられる。そこで、採点モード処理プログラム３４は、採点マークを決定したとき歌詞シーケンサ３２から取得したワイプ位置Ａから、ワイプの先行分および採点遅れの時間分だけ左に移動したＣの位置を採点対象位置であるとして、この位置に採点マークを表示する。
【００５６】
なお、歌詞テロップのワイプが改行した場合には、２行にわたって上記の距離だけ移動した位置に採点マークを表示するようにすればよい。また、歌詞テロップのページが切り換わった場合には、前のページにさかのぼって採点マークを表示することができないため、ページの切換直後の採点マークは、新たな行の先頭に表示するようにすればよい。なお、歌詞テロップを改ページする位置は、丁度フレーズの切れ目で歌唱が一旦途切れることが多いためこの箇所の採点マークの表示を省略するようにしても大過はない。
【００５７】
なお、採点モード処理プログラム３４からワイプ位置情報の問い合わせがあったとき、歌詞シーケンサ３２が、上記ワイプの演奏からの先行分および採点による遅れ分遡ったワイプ位置を返すようにすれば、上記表示位置の演算は不要となる。
【００５８】
また、同図（Ｂ）はワイプの進行が停止している場合の採点マークの表示方式を説明する図である。
たとえば、歌詞の１つの発音を伸ばして歌う場面などでは、曲は進行するが歌詞は進行しない。このような場合には、曲が進行して複数の採点マークが順次決定されるが、歌詞テロップが進行していないため、採点マークの表示位置も進行せず同じ位置に決定される。しかし、採点マークを完全に重ねて表示してしまうと、先に表示した採点マークが完全に隠れてしまい、過去の採点マークを振り返って見ることができないくなる。そこで、ワイプが進んでいないときに複数の採点マークを表示する場合には、新たな採点マークの表示位置を少しずつ上方向に移動させてゆくようにする。これにより、複数の採点マークが（左右の位置で）重なっても上下にずれているため、複数の採点マークの全てを後で見ることができるようになる。
【００５９】
ここで、図７を参照して採点ログ４２について説明する。採点マークのログは図７（Ａ）に示すように、その採点マークを表示した絶対時刻（曲スタート時からの時間）とそのマークの内容を記録するものである。これにより、曲の演奏を巻き戻し、逆ジャンプで繰り返したとき、採点マークの再表示が可能になる。また、図７（Ｂ）は、採点メータのログを示す図である。このログには、３０分割された各区間の区間番号（１〜３０）に対応して各区間の開始時刻、終了時刻、および、その区間の評価（区間評価マークのコード）が記録される。
【００６０】
以下、フローチャートを参照してこのカラオケ装置の採点モード時の動作について説明する。
図８は、採点モードでカラオケ曲を演奏するときのメイン動作を示すフローチャートである。リクエストがあると、このリクエストに対応する曲データを読み出す（ｓ１）。そして、この曲データの全演奏時間を３０の区間に分割する（ｓ２）。そしてこの分割した各区間の開始時刻・終了時刻を採点ログ（図７（Ｂ））に記録する（ｓ３）。そして曲データのマークデータトラックを読み出し、採点メータ５４上の１コーラス目、２コーラス目のスタート位置などの区切りの位置に区切りマーク６１を表示する（ｓ４）。
【００６１】
次に、歌詞トラックのイベントデータである歌詞表示データを全てスキャンして歌詞の全文字数を割り出し、この全文字数と演奏時間との比率に基づいて演奏中の歌詞（ワイプ）の進行速度を割り出す。そして、この歌詞の進行速度に基づいて採点マークをどの時間間隔で表示するかを決定する（ｓ５）。すなわち、歌詞の進行が遅い曲で短い間隔で採点マークを表示すると、採点マーク同士が重なってしまってそれぞれの採点マークの視認性が悪くなる。また、歌詞の進行の速い曲で長い間隔で採点マークを表示すると、採点マークの表示が間延びしてしまう。そこで、歌詞の文字数と演奏時間に基づいて、演奏中の歌詞の進行速度を割り出し、こに基づいて採点マークの表示（時間）間隔を決定する。なお、標準的な表示間隔は１５０ｍｓである。
【００６２】
こののち、カラオケ曲の演奏をスタートし、曲シーケンサ３１がテンポクロックにしたがって演奏トラック、ガイドメロディトラックのデータを読み出して音源１３に入力するとともに歌詞シーケンサ３２が歌詞トラックのデータを読み出して歌詞テロップを形成するなどの所定の演奏処理を実行する（ｓ６）。この演奏処理と並行して採点器１９や採点モード処理プログラム３４なども動作しており、図５に示す採点マークの決定表示処理（ｓ７）、および採点メータの決定表示処理（ｓ８）を実行する。曲が終了するまで、この演奏処理（ｓ６）、採点マーク処理（ｓ７）、採点メータ処理（ｓ８）を並行して実行し、曲が終了すると（ｓ９）、動作を終了する。
【００６３】
図９〜図１１は採点メータ処理を示すフローチャートである。
図９はカーソル表示処理を示すフローチャートである。曲がスタートすると演奏中区間を表す区間番号レジスタｍに１をセットし（ｓ４０）、この区間番号ｍで指示されるブロック（区間評価マーク表示エリア）５４の上に赤いカーソルを表示する（ｓ４１）。この区間が経過するまでこの表示を続け（ｓ４２）、区間が経過すると区間番号レジスタｍに１を加算して（ｓ４４）、この区間番号ｍで指示されるブロックにカーソルを移動させる（ｓ４１）。ｍ＝３０になって区間が終了すると（ｓ４３）、カーソルを消去して（ｓ４５）動作を終了する。
これにより、カーソルは、常にそのとき演奏中の区間に対応するブロック上に表示される。
【００６４】
図１０、図１１は、区間評価マーク表示動作を示すフローチャートである。曲がスタートすると評価対象区間を指示する区間番号レジスタｎに１をセットし（ｓ４９）、各種カウンタをクリアするとともに（ｓ５０）、この区間番号ｎの区間評価マーク表示エリア（ブロック）５５に評価中マーク（青緑マーク）を表示する（ｓ５１）。そして採点マーク処理モジュールから採点マークまたは非歌唱信号が入力されるまで（ｓ５２、ｓ６０）、あるいはこの区間が経過するまで（ｓ６５）待機する。
【００６５】
採点マークまたは非歌唱信号が入力されると（ｓ５２）、採点マークの個数をカウントする採点カウンタに１を加算し（ｓ５３）、この採点マークの色を判断する（ｓ５４）。色が緑（ずれ無し）の場合にはそのままｓ５２の待機ルーチンに戻る。色が橙（ずれ中）または黄（ずれ小）の場合には黄カウンタに１を加算したのち（ｓ５５）、ｓ５２の待機ルーチンに戻る。
【００６６】
一方、採点マークの色が赤（ずれ大）であった場合または非歌唱信号が入力された場合には、赤カウンタに１を加算し（ｓ５６）、１が加算された赤カウンタのカウント値、すなわちこの区間で現れた赤マークの個数（非歌唱信号を含む）を判断する（ｓ５７）。赤マークの個数が２個以下、すなわち１個または２個であった場合には区間途中であっても区間評価マークとして（評価中マークに代えて）ピンクマーク（要努力マーク）を表示する（ｓ５８）。こののちｓ５２の待機ルーチンにもどる。また、赤マークの個数が３個以上であった場合には区間評価マークとしてピンクマークに代えて赤マーク（不合格マーク）を表示し（ｓ５９）、区間途中であってもこの区間の評価を終了してｓ６４に進む。これは赤マークになった場合には、その区間の評価がそれ以外に変ることがないからである。なお、区間途中に評価を終了しても採点マークは継続して決定・表示される。  
なお、採点マーク処理モジュールは採点器１９から非歌唱信号が３回連続して入力されたとき、このフローチャートで説明している採点メータ処理モジュールに対して非歌唱信号を出力するものとする。
【００６７】
赤カウンタのカウント値が３にならずに区間が経過した場合にはｓ６５からｓ６６に進む。ｓ６６では図４（Ｂ）で説明したルール区間評価マークを決定する。すなわち、赤、橙、黄の採点マークが全くない場合にはクラウン（または星）マーク（優秀）に決定し、赤の採点マークがなく、且つ、橙、黄の採点マークが区間内の歌唱すべき時間の５パーセント以下、すなわち黄カウンタの値が採点カウンタの値の５パーセント以下の場合には緑マーク（合格マーク）に決定し、赤の採点マークが１個または２個の場合（ｓ５７，ｓ５８で処理）、または、橙、黄の採点マークが区間内の歌唱すべき時間の５パーセント以上、すなわち黄カウンタの値が採点カウンタの値の５パーセント以上の場合にはピンクマーク（要努力）に決定する。
【００６８】
ただし、歌唱すべき時間が区間全体の時間の３０パーセント未満の場合には、緑マークまたはピンクマークのいずれかを判定する上記黄カウンタの比率を、５パーセントから１０パーセントに変更して少しのミスでピンクマークにならないようにしている。
【００６９】
このようにして決定された区間評価マークを、採点メータ５４の対応する区間評価マーク表示エリア５５に表示する（ｓ６７）。そして評価対象区間を指示する区間番号ｎに１を加算して（ｓ６９）、ｓ５１にもどる。
このとき、現在の区間が最後の区間（ｎ＝３０）で次の区間がない場合には（ｓ６８）、動作を終了する。
【００７０】
また、区間番号ｎに１を加算して（ｓ６９）、この区間番号で指定される，次の区間に歌唱すべきところがない場合、たとえば間奏や後奏の区間で歌唱がない区間の場合には（ｓ７１）、この区間に紺マーク（歌唱なし・評価外）を表示して（ｓ７２）、その次の区間の歌唱の有無をチェックするためにｓ６８にもどる。なお、歌唱の有無は、曲データ中のガイドメロディトラックをチェックすることによって判断することができる。
【００７１】
歌唱すべきところのある区間を発見するまでｓ６９〜ｓ７１の処理を繰り返し、歌唱すべきところのある区間が見つかった場合には（ｓ７１）、シーケンサ３０が演奏しているカラオケ曲の区間が評価対象区間（区間番号ｎ）に追いつくまで待機し（ｓ７３）、演奏区間が評価対象区間に入ったときにｓ５１に戻って評価を再開する。なお、ｓ６８〜ｓ７１の処理を繰り返している間に区間が終了してしまった場合（後奏の区間であった場合）には、区間番号ｎ＝３０になったときこの処理（採点メータの区間評価マーク表示処理）を終了する。
【００７２】
以上の処理により、カラオケ曲の演奏が間奏に入った場合には、間奏が終了するところまで評価外マークが演奏よりも先に表示され、歌唱者はどこまで歌唱を休むことができるかが分かる。また、カラオケ曲の歌唱が終わって後奏になった場合には、曲の最後まで評価外マークを表示するため、歌唱者はこれで歌唱が終了したことが分かる。
【００７３】
以上の動作により、カラオケ曲の演奏（歌詞テロップの表示）と並行して採点マークを表示するとともに、区間の進行に応じて採点メータに区間評価マークを表示することができる。
【００７４】
また、上述したように、このカラオケ装置は巻き戻し機能を備えている。巻き戻し機能は、カラオケ曲の演奏中にＲＷボタン（巻き戻しボタン）をオンすることにより、カラオケ曲の一部（または全部）を繰り返して演奏させることができる機能であるが、採点モード時にこの機能を用いた場合、採点マークも巻き戻しに応じて消去および再表示される。また、巻き戻しのジャンプ機能を用いて、既に歌った区間で評価の良くなかった区間に自動的にジャンプさせることもできる。
【００７５】
以下、図１２を参照してＲＷボタンを押したときのＣＰＵ１０の動作について説明する。ＲＷボタンがオンされると、そのとき発生している楽音を全てオフする（ｓ２０）。この処理は、ＲＷボタンのオンイベントを操作入力処理プログラム３５が検出してシーケンサ３０（曲シーケンサ３１）に通知することで実行される。
【００７６】
そしてこのＲＷボタンのオン状態が１秒以上継続したか１秒未満でオフされたかにより、ジャンプ操作であるか巻き戻し操作であるかを判定する（ｓ２１，ｓ２２）。すなわち、オン状態が１秒以上継続した場合には通常の巻き戻し操作であると判断し、１秒未満でオフされた場合には分割された区間単位でジャンプさせるジャンプ操作であると判断する。採点モードでジャンプ操作が行われると、直近の区間の先頭ではなく、評価が良くなかった区間の先頭へ自動的にジャンプする。
【００７７】
ジャンプ操作が行われた場合には、採点メータのログ（図７（Ｂ））を参照して、そのときの演奏時刻に最も近い赤マーク（不合格）の区間を検索する（ｓ２３）。そして、ログに記録されているこの区間の先頭時刻から３秒遡った位置を演奏再開時刻とする。３秒遡らせるのは、区間の先頭から突然演奏を再開したのでは、区間の先頭を歌唱者が歌唱できないためである。なお、遡る時間は３秒に限定されない。
【００７８】
このようにして演奏再開時刻を決定したのち、この演奏再開時刻の歌詞を表示する歌詞表示データをこのイベントデータの読出タイミングを指示するタイミングデータを参照して検索し、このページの歌詞テロップ全部をモニタ２２にするとともに（ｓ２５）、上記演奏再開時刻まで一気にワイプを進行させる（ｓ２６）。そして、この歌詞テロップのページに表示されていた採点マークを一旦全部表示する（ｓ２７）。これによって、演奏再開するところの前の歌唱がどのようであったかを歌唱者に知らせることができる。こののち、演奏再開時刻以後の採点マークを消去するとともに（ｓ２８）、この演奏再開時刻以後の採点マークのログを消去する（ｓ２９）。こののち、演奏再開時刻からの演奏をスタートする（ｓ３０）。
【００７９】
なお、各採点マークの表示位置は、それぞれの表示時刻でワイプ関数を参照することにより、図６の方式で再度割り出すことができるが、図７（Ａ）のログに表示位置情報も記録しておくことにより、この再表示を速やかにすることができる。
【００８０】
一方、ＲＷボタンを１秒以上押し続けた場合には、ジャンプ操作ではなくて、任意の時間の巻き戻しであるため、ＲＷボタンのオンが継続されている時間をｓ３２でカウントする。ボタンがオフされると（ｓ２２）、オンされていた時間に対応する時間をそのときの演奏時刻から減算して演奏再開時刻とする（ｓ３３）。たとえば、オンされていた時間の４倍の時間を減算して演奏再開時刻とする。このように、オンされていた時間よりも大きい時間を減算することにより、高速巻き戻しが可能になる（なお、カラオケ演奏の巻き戻し技術は、本出願人の先行出願である特開２０００−９９０４４に詳細に開示されている）。この演奏再開時間の算出ののちｓ２５に進む。
【００８１】
なお、巻き戻し操作がされた場合でも区間評価マークの表示およびログは消去していないが、消去するようにしてもよい。消去しない場合でも、巻き戻しにより、同じ区間に新たに区間評価マークが決定された場合には、表示およびログは上書きされる。
【００８２】
この場合において、新たに決定された区間評価マークを先に表示・ログされているものと比較し、新たに決定されたものが先に表示・ログされている区間評価マークよりも低い評価のものであった場合には、上書きせずにこれを捨てるようにしてもよい。
【００８３】
なお、図６（Ｂ）で説明したように、歌詞が進行しない状態で歌唱のみが進行する場合に、採点マークを少しずつ上に移動させて表示するようにしているが、移動させる方向は下であってもよい。また、この場合において、表示位置を移動させる代わりに採点マークの形状を少しずつ変化させることによって複数の採点マークが完全に重ならないようにすることも可能である。たとえば、採点マークを徐々に小さくしてゆくことで、下になった採点マークが見えるようにすることができる。
【００８４】
また、この実施形態では、歌唱音声信号の周波数をリファレンスが指示する周波数と比較し、そのずれによって歌唱を採点するようにしているが、採点の対象は、歌唱の周波数に限定されず、歌唱の音量、歌唱のリズムなど歌唱のいかなる要素も採点の対象とすることが可能である。また、複数の要素を個別にまたは総合して採点するようにしてもよい。
【００８５】
また、この実施形態では、本願の発明をカラオケ装置の採点モードの機能に適用したが、採点や評価の内容を時系列に表示するものであればカラオケ装置以外のものにも適用可能である。たとえば、楽器の演奏やダンスのステップの正確さを競うテレビゲームやアーケードゲームに適用すれば、その瞬間毎の正確さだけでなく時系列にどこが良くてどこが良くなかったかを、ゲーム中およびゲーム終了後に振り返って見ることが可能になる。
≪実施形態に記載された発明≫
なお、上記実施形態には、特許請求の範囲に記載した請求項１〜請求項３の発明に加えて、これら各請求項に従属する以下のような発明も開示されている。
【００８６】
請求項１の発明において、前記採点結果表示手段は、カラオケ曲が進行しても歌詞テロップの進行がない箇所では、複数の採点マークを、前記歌詞テロップの進行方向とは別の方向に徐々に移動させながら、または、徐々に変形させながら表示するカラオケ装置。
【００８７】
たとえば、歌詞の１つの発音を長く伸ばして歌唱するところ（のばし）では、カラオケ曲の演奏は進行するが歌詞テロップは進行しない。このような箇所でも、のばしで歌唱されているため、これを採点した採点マークが決定され表示される。歌詞テロップの進行に対応づけて採点マークを表示する場合、歌詞テロップが進行しない場合には採点マークは同じ位置に表示されることになる。これでは、先に表示した採点マークが後で表示した採点マークに隠されてしまい後で見ることができなくなるため、この発明では、このような場合には、歌詞テロップの進行方向とは別の方向に徐々に移動させながら、または、徐々に変形させながら表示するようにした。これにより、先に表示した採点マークが先に表示した採点マークに隠されることがなく、後で見ることができる。
【００８８】
各発明において、前記リファレンスデータは、カラオケ曲の演奏に用いる曲データに含まれるガイドメロディトラックのデータであるカラオケ装置。
【００８９】
カラオケ曲のガイドメロディデータをリファレンスデータに用いることにより、リファレンスデータを別途用意する必要がなく、カラオケ曲の曲データの配信（オンライン配信）と同時にその曲の歌唱の採点が可能になる。また、一般的なカラオケ装置は、カラオケ曲の演奏に並行してガイドメロディを発音させることができるため、これを参考にして歌唱することにより、歌唱者は良い採点結果を得ることができるようになる。
【００９０】
各発明において、前記採点手段は、歌唱音声およびリファレンスデータの周波数、音量、リズムを含む複数の歌唱要素のうち１または複数を比較し、その一致の程度により歌唱を採点する手段であるカラオケ装置。
【００９１】
歌唱の要素は、周波数、音量、リズムのほかビブラートやこぶしなどの技術的な要素、声質などの波形的な要素など種々のものがあるが、このうち１または複数を採点することにより、カラオケ曲の歌唱を上達させるために適した採点機能の実現が可能になる。
【図面の簡単な説明】
【００９２】
【図１】この発明の実施形態であるカラオケ装置のブロック図
【図２】同カラオケ装置で用いられる曲データの構成例を示す図
【図３】同カラオケ装置の採点モード時の画面表示の例を示す図
【図４】同カラオケ装置で表示される採点マーク、区間評価マーク、ガイドメロディ設定を説明する図
【図５】同カラオケ装置の採点マーク表示動作の流れを説明する図
【図６】同カラオケ装置の採点マークの表示位置の決定方式を説明する図
【図７】同カラオケ装置の採点ログを示す図
【図８】同カラオケ装置のカラオケ演奏の手順を示すフローチャート
【図９】同カラオケ装置のカーソル表示動作を示すフローチャート
【図１０】同カラオケ装置の区間評価マーク表示動作を示すフローチャート
【図１１】同カラオケ装置の区間評価マーク表示動作を示すフローチャート
【図１２】同カラオケ装置においてＲＷ（巻き戻し）ボタンが押されたときの処理を示すフローチャート
【符号の説明】
【００９３】
１０…ＣＰＵ、１１…ハードディスク、１２…ＲＡＭ、１３…音源、１４…ミキサ、１５…サウンドシステム、１６…スピーカ、１７…マイク、１８…Ａ／Ｄコンバータ、１９…採点器、２０…ＭＰＥＧデコーダ、２１…合成回路、２２…モニタ、２３…操作部、
３０…シーケンサ、３１…曲シーケンサ、３２…歌詞シーケンサ、３２ａ…文字パターン作成プログラム、３３…背景映像再生プログラム、３４…採点モード処理プログラム、３５…操作入力処理プログラム、
４０…曲データ記憶エリア、４１…背景映像記憶エリア、４３…採点ログ、
５０…背景映像、５１…歌詞テロップ、５２…採点マーク、５３…（難易度）モード表示、５４…採点メータ、５５…区間評価マーク、５６…マイク入力レベル表示、５７…ガイドメロディ設定、５８…採点モード表示、５９…繰り返し操作回数表示、６０…カーソル、６１…区切りマーク
【図１】
2008052302.tif 000003
【図２】
2008052302.tif 000004
【図３】
2008052302.tif 000005
【図４】
2008052302.tif 000006
【図５】
2008052302.tif 000007
【図６】
2008052302.tif 000008
【図７】
2008052302.tif 000009
【図８】
2008052302.tif 000010
【図９】
2008052302.tif 000011
【図１０】
2008052302.tif 000012
【図１１】
2008052302.tif 000013
【図１２】
2008052302.tif 000014