(57)【要約】  【課題】本発明は、ガイドボーカル生成機能を備えるカラオケシステムに関し、利用者による特別で面倒な操作を要することなく、歌唱タイミングや音程の他に、歌唱者本人が模範通りに歌った場合に、どのような歌唱になっているのかを本人に効果的に知らしめ、また、不自然さが少ないガイドボーカルを再生することを目的とする。  【解決手段】任意の利用者による任意の楽曲の歌唱時にその音声データが取得されて抽出された利用者別音素データ５６が記憶されると共に、楽曲毎の音符データ及び歌詞データに基づいて作成されたスコアデータ５７を記憶しておき、選曲された楽曲について、当該楽曲のスコアデータ５７に、利用者別音素データ５６の当該楽曲に附帯された利用者ＩＤに対応する音素データを合成させたガイドボーカルを生成して出力可能とさせる構成とする。  【選択図】  図２
2009244789.tif 000002
【特許請求の範囲】
【請求項１】
利用者ＩＤが附帯されて選曲された楽曲の演奏に際してガイドボーカルを歌唱音声合成して出力するガイドボーカル生成機能を備えるカラオケシステムであって、
利用者特定手段、利用者別音声データ採取手段、利用者別音素データ抽出手段、スコアデータ作成手段及びガイドボーカル生成手段を有し、
前記利用者特定手段は、ログイン要求の利用者より利用者ＩＤを取得して当該利用者を特定し、
前記利用者別音声データ採取手段は、任意の利用者による任意の楽曲の歌唱時にその音声データを採取し、
前記利用者別音素データ抽出手段は、利用者ＩＤ別に、前記取得した音声データから少なくとも発声音の基本単位となる本人の音素データを抽出して利用者別音素データベースに格納し、
前記スコアデータ作成手段は、所定の楽曲の音符データ及び歌詞データに基づいて歌唱音声合成用のスコアデータを作成し、
前記ガイドボーカル生成手段は、利用者ＩＤが附帯されて選曲された楽曲について、前記作成された当該楽曲のスコアデータに、当該利用者ＩＤに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせる、
ことを特徴とするガイドボーカル生成機能を備えるカラオケシステム。
【請求項２】
請求項１記載のガイドボーカル生成機能を備えるカラオケシステムであって、
前記スコアデータ作成手段は、任意の楽曲の演奏の際に、楽曲の音符データ及び歌詞データに基づいてスコアデータを作成し、
前記ガイドボーカル生成手段は、前記作成された当該楽曲のスコアデータに、当該利用者ＩＤに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせることを特徴とするガイドボーカル生成機能を備えるカラオケシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱者の音声データに基づいてガイドボーカルを歌唱音声合成して出力させるガイドボーカル生成機能を備えるカラオケシステムに関する。
【背景技術】
【０００２】
近年、カラオケシステムの高機能化が進み、演奏中にガイドボーカル（所謂「模範ボーカル」）を出力して歌唱支援することが行われている。従来、ガイドボーカルは、楽曲の歌唱を得意とする模範歌唱者の歌唱音声を予め録音しておき、当該楽曲の演奏中に、その歌唱音声を再生可能とすることで、利用者に理想的な歌唱（採点機能にて高得点が出せる歌唱）を導くことができる。
【０００３】
このようなカラオケシステムが付帯するガイドボーカル機能に関連し、従来、様々な技術が想到されている。例えば、特許文献１では、歌唱者が演奏について行けているのか否かを、マイクロホンからの歌唱音声の入力有無を検出することで自動的に判別し、入力が無い場合にガイドボーカルを再生するカラオケ装置が開示されている。あるいは、特許文献２では、マイクロホンからの入力音量を測定してこの入力音量が伴奏音楽の音量に比べて小さい時に、その不足分を補うような音量でガイドボーカルを再生するカラオケ装置が開示されている。このように、ガイドボーカルは、歌唱中の利用者に対して理想的な歌唱を導くツールとして活用されている。
【０００４】
【特許文献１】特開平３−２９５９８号公報
【特許文献２】特開平４−２９８７９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、人の声質は千差万別であり、歌唱者によってはガイドボーカルの模範歌唱者の声質と著しくかけ離れていることもあり、この場合には、歌唱者本人が上手く歌えた場合の「歌唱の雰囲気」が非常につかみ難い。すなわち、従来の技術では、歌唱タイミングや音程については良く認識できるものの、歌唱者本人が模範通りに歌った場合、どのような歌唱になるのかは分からない。さらに、同じカラオケの場で、歌唱者の他に利用者（聴衆）がいた場合、歌唱の途中で声質の異なるガイドボーカルが再生されると、他の利用者にとって非常に不自然に聴こえてしまう。勿論、歌唱者本人の歌唱音声にてガイドボーカルが再生されれば、ガイドボーカルのみは当然のことながら、例え、ガイドボーカルと本人の歌唱音声とが一部重なっても「ユニゾン」のように聴こえるため、不自然さがない。したがって、このような課題については、従来技術の範囲では、歌唱者本人がガイドボーカルを予め歌って録音すれば良いのであるが、本来、歌唱を上手く歌えていないが故、ガイドボーカルを活用するのであるから、本末転倒であり得ないことである。
【０００６】
ところで、最近、歌唱音声合成の技術が進歩し、本来、歌唱していないにも拘わらず、個人の発声をサンプリングして、歌唱を再現できる歌唱音声合成装置が高性能となっている。具体的には、例えば、特開２００７−２４０５６４号公報では、音声素片データベースに各種の音声素片を示す音声素片データをサンプリングして記憶しておき、ユーザから入力される音符データ及び歌詞データを含む曲データに基づいて、歌唱歌唱音声合成に用いる複数の音声素片、発生タイミング、ピッチを指定する情報を曲の進行の時系列化した歌唱音声合成スコアを生成し、当該歌唱音声合成スコアで指定される音声素片に対応する音声素片データを上記音声素片データベースから読み出し、所定のピッチ変換、素片連結を行うことで歌唱音声を歌唱音声合成することが開示されている。
【０００７】
そこで、本発明は、この歌唱音声合成技術を好適に利用し、利用者による音声素片（音素）データのサンプリングなど、特別で面倒な操作を要することなく、歌唱タイミングや音程については勿論、歌唱者本人が模範通りに歌った場合に、どのような歌唱になっているのかを本人に効果的に知らしめることができ、さらに、同じカラオケの場に、歌唱者の他に利用者がいたとしても、例え、ガイドボーカルと本人の歌唱音声とが一部重なっても「ユニゾン」のように聴こえ、不自然さが少ないガイドボーカルを再生可能とするガイドボーカル生成機能を備えるカラオケシステムの提供を目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１の発明では、利用者ＩＤが附帯されて選曲された楽曲の演奏に際してガイドボーカルを歌唱音声合成して出力するガイドボーカル生成機能を備えるカラオケシステムであって、利用者特定手段、利用者別音声データ採取手段、利用者別音素データ抽出手段、スコアデータ作成手段及びガイドボーカル生成手段を有し、前記利用者特定手段は、ログイン要求の利用者より利用者ＩＤを取得して当該利用者を特定し、前記利用者別音声データ採取手段は、任意の利用者による任意の楽曲の歌唱時にその音声データを採取し、前記利用者別音素データ抽出手段は、利用者ＩＤ別に、前記取得した音声データから少なくとも発声音の基本単位となる本人の音素データを抽出して利用者別音素データベースに格納し、前記スコアデータ作成手段は、所定の楽曲の音符データ及び歌詞データに基づいて歌唱音声合成用のスコアデータを作成し、前記ガイドボーカル生成手段は、利用者ＩＤが附帯されて選曲された楽曲について、前記作成された当該楽曲のスコアデータに、当該利用者ＩＤに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせる、構成とする。
【０００９】
請求項２の発明では、前記スコアデータ作成手段は、任意の楽曲の演奏の際に、楽曲の音符データ及び歌詞データに基づいてスコアデータを作成し、前記ガイドボーカル生成手段は、前記作成された当該楽曲のスコアデータに、当該利用者ＩＤに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせる構成である。
【発明の効果】
【００１０】
本発明によれば、任意の利用者による任意の楽曲の歌唱時にその音声データが採取され、利用者別音素データベースに当該音声データから少なくとも発声音の基本単位となる本人の音素データが抽出されて利用者ＩＤ別に格納し、所定の楽曲音符データ及び歌詞データに基づいて歌唱音声合成用のスコアデータを作成し、利用者ＩＤが附帯されて選曲された楽曲について、当該楽曲のスコアデータに、当該利用者ＩＤに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせる構成とすることにより、利用者による特別で面倒な操作を要することなく、歌唱タイミングや音程については勿論、歌唱者本人が模範通りに歌った場合に、どのような歌唱になっているのかを本人に効果的に知らしめることができ、また、不自然さが少ないガイドボーカルを再生することができるものである。
【００１１】
また、任意の楽曲の演奏の際に、当該楽曲のスコアデータを作成し、当該スコアデータに当該利用者ＩＤに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせることにより、楽曲歌唱のキーやテンポなどの設定を当該ガイドボーカルに反映させることができるものである。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の最良の実施形態を図により説明する。
図１に、本発明に係るカラオケシステムの系統構成図を示す。図１（Ａ）は通信ネットワークを使用して本システムを構成させた場合のネットワーク模式図、図１（Ｂ）はホスト装置の概要ブロック構成図、図１（Ｃ）は利用者別音素ＤＢの登録内容の説明図である。
【００１３】
図１（Ａ）において、ホスト装置１１はカラオケシステムの一部を構成するものとして、通信ネットワーク１２を介して所定数のカラオケ演奏端末１３（１３Ａ〜１３Ｎ）を管理するものであり、相互にデータ授受自在に接続されたものである。上記通信ネットワーク１２としては、例えば、一般公衆電話回線やこれを用いたＡＤＳＬや光通信回線或いはインターネット、さらにはＬＡＮがあるが、インターネット上に構築されるＶＰＮが好ましい。
【００１４】
ホスト装置１１は、図１（Ｂ）に示すように、少なくとも送受信手段２１、制御手段２２、利用者別音素データ抽出手段２３及び利用者別音素データベース（ＤＢ）２４を備える。上記送受信手段２１は、各カラオケ演奏端末１３（１３Ａ〜１３Ｎ）との通信（データ授受）を行うために、通信ネットワーク１２の通信方式と整合性をとるための例えば物理的な通信用回路やプラットフォーム等のソフトウエアにより構成される。
【００１５】
上記制御手段２２は、当該ホスト装置１１を統括的に制御するもので、例えば物理的なＣＰＵであり、図示しないＲＯＭに格納されているプログラムのアルゴリズム処理を行う。上記利用者別音素データ抽出手段２３は、所定のカラオケ演奏端末１３より利用者ＩＤに基づいて音声データが送信されてきたときに、音声データから少なくとも発声音の基本単位となる本人の音素データを抽出して利用者別音素ＤＢ２４に利用者ＩＤを関連付けて格納する。ここでは、上記音素データの他に、音声データから歌唱者の歌唱技術をデータ化した歌唱唱法データをも抽出して利用者ＩＤに関連付けて格納する。
【００１６】
すなわち、上記利用者別音素ＤＢ２４は、図１（Ｃ）に示すように、利用者ＩＤ別に、発声音の基本単位となる本人の音素データ及び当該本人の歌唱唱法データを格納したものであるが、少なくとも音素データが格納される。音素データとは、総ての発声音を、母音、先頭子音、末尾子音、子音から母音への変化、母音から子音への変化の五つの音声素片に区分してデータ化したものである。歌唱唱法データとは、ビブラートや抑揚などの歌に特徴を付ける歌唱技術を周波数情報などによりデータ化したものであり、これをもガイドボーカルの生成の要件に加えることにより、ガイドボーカルに歌唱技術を反映させることができるものである。また、当該歌唱唱法データに対応して、後述の楽曲ＤＢ（４５）に模範的な唱法をデータ化した楽曲唱法データ（６３）を備えさせて歌唱音声合成用のスコアデータ作成の一要素とされる。本実施形態では、上記音素データのみについて説明するが、当該唱法データを含ませてもよい。
【００１７】
続いて、図２に、本発明のカラオケシステムにおけるカラオケ演奏端末のブロック構成図を示す。図２において、カラオケ演奏端末１３は、主要装置としてのカラオケ演奏装置３１に有線又は無線で外部接続されるものとして、表示部３２、ミキシングアンプ３３、マイク３４、スピーカ３５を備える。また、有線又は無線で遠隔入出力端末３６が接続される。当該遠隔入出力端末３６は、楽曲検索手段３７、利用者特定手段３８及び端末表示部３９を備える。
【００１８】
上記表示部３２は、通常の楽曲選曲表示やカラオケ演奏時の映像、歌詞テロップを表示するもので、例えば液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、その他種々のディスプレイを採用することができる。上記ミキシングアンプ３３は、カラオケ演奏装置３１より送られてくる演奏音声信号と、マイク３４からの音声信号、後述のガイドボーカル生成手段（５３）より送られてくるガイドボーカルとをミキシングし、増幅してスピーカ３５より出力する。
【００１９】
遠隔入出力端末３６は、図示しない端末送受信部により、カラオケ演奏装置３１に対して有線方式ないし無線方式（ＩＲ方式やブルートゥース（登録商標）機構のピコネット接続方式など）を利用してデータ授受を行うためのもので、楽曲検索手段３７、利用者特定手段３８及び端末表示部３９を適宜備える。
【００２０】
上記楽曲検索手段３７は、後述するユーザインタフェース機能により利用者に楽曲を検索させ、選曲させるプログラムである。上記利用者特定手段３８は、ログイン要求の利用者より利用者ＩＤを取得して当該利用者を特定するプログラムである。当該利用者の特定は、利用者の所持するＩＣカードからの利用者ＩＤの取得、ユーザＩＤやパスワードの入力、声紋、指紋などの生体認証等による。なお、利用者特定手段３８を、カラオケ演奏装置３１に備えさせてもよい。
【００２１】
上記端末表示部３９は、液晶ディスプレイ（ＬＣＤ）とタッチセンサとを積層して入出力用とし、表示されるアイコン等に対応して当該タッチセンサにより楽曲の選択などのデータを入力することができるＧＵＩのユーザインタフェース機能を有するものである。
【００２２】
上記カラオケ演奏装置３１は、バス４１、中央制御部４２、ＲＯＭ４３、ＲＡＭ４４、楽曲ＤＢ４５、映像ＤＢ４６、映像再生制御部４７、音楽演奏制御部４８、Ａ／Ｄ変換部４９、利用者別音声データ採取手段５０、利用者別音素データ取得手段５１、スコアデータ作成手段５２、ガイドボーカル生成手段５３及び送受信部５４Ａ，５４Ｂを適宜備える。また、ＲＡＭ４４には、利用者別音声データ５５、利用者別音素データ５６、楽曲別スコアデータ５７及び予約待ち行列５８の記憶領域が形成される。なお、上記各構成について、本発明の要旨と直接関連しない要素部分であっても、従前のカラオケ装置においても大部分が適用可能であることを示すために、装置全体を説明する。
【００２３】
上記中央制御部４２は、このシステムを統括的に処理制御する物理的なＣＰＵであり、ＲＯＭ４３に記憶されているプログラムに基づくアルゴリズム処理を行う。上記ＲＡＭ４４は、利用者別音声データ５５、利用者別音素データ５６、楽曲別スコアデータ５７及び予約待ち行列５８の記憶領域が形成される他に、上記種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。
【００２４】
上記楽曲ＤＢ４５は、楽曲毎に、音符データ、歌詞データを格納し、適宜当該楽曲についての歌唱技術（ビブラートや抑揚等）を周波数などでデータ化した楽曲唱法データを格納する（図４参照）。具体的には、楽曲ＩＤ、曲名及びアーチストＩＤ（アーチスト名）が関連付けられた楽曲テーブルを有し、楽曲毎に、楽曲ＩＤで管理される所定データ形式のカラオケ楽曲の音符データ（例えば、ＭＩＤＩ（登録商標）形式の音符データ）及び歌詞データ（歌詞テロップデータ）が同期されて構成される楽曲データ（ファイル）について楽曲コードをファイル名としてそれぞれ格納したデータベースであり、映像ＤＢ４６に格納された当該楽曲毎の背景映像を表示するための所定数のシーン映像を割り当てる割当データが関連付けられる。
【００２５】
当該映像ＤＢ４６は、背景映像表示のための所定数のシーン映像データを所定数格納するデータベースである。なお、この楽曲ＤＢ４５及び映像ＤＢ４６を、カラオケ演奏装置３１ではなく、上記ホスト装置１１に備えさせることとしてもよい。
【００２６】
上記映像再生制御部４７は、演奏時に、映像ＤＢ４６より抽出された所定数のシーン映像データ及び楽曲コードで楽曲ＤＢ４５より抽出された歌詞テロップデータ（歌詞文字データ）を当該楽曲の音符データに同期させて表示部３２に出力する電子回路である。上記音楽演奏制御部４８は、楽曲コードで楽曲ＤＢ４５より抽出された音符データをデジタル再生し、アナログ変換してミキシングアンプ３３に出力する電子回路である。
【００２７】
上記Ａ／Ｄ変換部４９は、マイク３４から入力される歌唱時の歌唱音声をデジタル変換して利用者別音声データ採取手段５０に送出する電子回路である。上記利用者別音声データ採取手段５０は、任意の利用者による任意の楽曲の歌唱時にその音声データを採取し、利用者ＩＤを附帯させてＲＡＭ４４の利用者別音声データ５５として記憶するプログラムである。なお、記憶された利用者別の音声データ５５は、例えば中央制御部４２が所定タイミング（例えばログアウト後）にホスト装置１１に送信するもので、ホスト装置１１では、上述のように利用者別音素データ抽出手段２３が、当該音声データより少なくとも音素データや適宜歌唱唱法データを抽出し、利用者ＩＤに関連付けて利用者別音素ＤＢ２４に格納するものである。
【００２８】
上記利用者別音素データ取得手段５１は、上記利用者特定手段３８で取得した利用者ＩＤに基づいてホスト装置１１に対して少なくとも当該利用者の音素データを要求し、当該ホスト装置１１より送信されてきた当該利用者の音素データをＲＡＭ４４の利用者別音素データ５６として利用者ＩＤを関連付けて記憶するプログラムである。
【００２９】
上記スコアデータ作成手段５２は、所定の楽曲の音符データ及び歌詞データに基づいて歌唱音声合成用のスコアデータを作成し、当該スコアデータをＲＡＭ４４の楽曲別スコアデータ５７に記憶するプログラムである。当該スコアデータの作成のタイミングは種々あるが、本実施形態では、任意の楽曲が予約待ち行列５８に登録されたときに、当該楽曲のスコアデータが作成されるものとして説明する。他のタイミングは後述する。
【００３０】
上記ガイドボーカル生成手段５３は、利用者ＩＤが附帯されて選曲された楽曲について、作成された当該楽曲のスコアデータに、当該利用者ＩＤに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせるプログラムである。一例として、予約待ち行列５８の登録楽曲について、楽曲別スコアデータ５７から当該楽曲のスコアデータを取得すると共に、選曲された当該楽曲に附帯された利用者ＩＤに基づいて対応の音素データを利用者別音素データ５６より取得し、取得されたスコアデータに音素データを歌唱音声合成させるものである。なお、ガイドボーカル生成は、例えば前述の特開２００７−２４０５６４号公報で示されたピッチ変換や素片連結等を適用することができる。ここで、出力可能とは、出力のタイミングを利用者の操作等により適宜選択できることを意味する。
【００３１】
上記送受信部５４Ａは、遠隔入出力端末３６との間で有線方式ないし無線方式（ＩＲ方式やブルートゥース（登録商標）機構のピコネット接続方式など）を利用してデータ授受を行うためのもので、そのための電子回路及びプログラムである。上記送受信部５４Ｂは、上記ホスト装置１１と上記通信ネットワーク１２を介してデータ授受を行うためのもので、通信方式と整合性をとるための例えば物理的な通信用回路やプラットフォーム等のソフトウエアにより構成されるものである。また、遠隔入出力端末３６は、送受信部５４Ａ，５４Ｂを介してホスト装置１１と通信可能とされる。
【００３２】
上記ＲＡＭ４４に形成される予約待ち行列５８は、遠隔入出力端末３６で選曲された楽曲ＩＤが送受信部５４Ａを介して送信されてきたときに、中央制御部４２が当該送信されてきた利用者ＩＤの附帯された楽曲ＩＤを予約順に記憶させていくデータ記憶領域である。
【００３３】
なお、図示しないが、当該カラオケ演奏装置３１には、利用者が楽曲番号を直接入力したり、演奏楽曲のテンポや、歌唱音声に対する種々の調節を行うためのボタンやツマミ類が可変抵抗器等の電子素子に直結された操作パネルも接続される。ところで、カラオケ演奏端末１３をスタンドアローンのカラオケシステムとして適用させる場合には上記ホスト装置１１の利用者別音素データ抽出手段２３及び利用者別音素ＤＢ２４を備えさせる構成とすることにより実現することができるものである。
【００３４】
そこで、図３に図２のカラオケ演奏装置における歌唱音声データの取得及び選曲時の処理フローチャートを示すと共に、図４に図３における選曲時の説明図を示す。図３（Ａ）は音素データのサンプリングの処理フローチャート、図３（Ｂ）はスコアデータ作成等の処理フローチャートである。
【００３５】
図３（Ａ）において、まず、利用者別音声データ採取手段５０が、演奏中における歌唱者の利用者ＩＤを予約待ち行列５８より認識し、マイク３４からＡ／Ｄ変換部４９を介して歌唱音声データを採取し、ＲＡＭ４４に利用者ＩＤに関連付けた利用者別音声データ５５として一旦記憶する（ステップ（Ｓ）１）。記憶した利用者別音声データ５５は、例えば中央制御部４２が利用者ＩＤに関連付けて所定タイミング（例えばログアウト後）にホスト装置１１に送信する（Ｓ２）。そして、ホスト装置１１では、上記利用者別音素データ抽出手段２３が利用者毎の音声データより音素データを抽出して利用者ＩＤを関連付けて利用者別音素ＤＢ２４に格納するものである（Ｓ３）。
【００３６】
このように、所定の利用者の歌唱時に歌唱音声を取得し、当該音声データを利用者別音素データ抽出手段２３で抽出して利用者別音素ＤＢ２４に格納させることにより、歌唱者に意識させることなく音素データの取得を容易とさせることができるものである。
【００３７】
続いて、選曲時のスコアデータ作成については、図３（Ｂ）において、まず、遠隔入出力端末３６で利用者ＩＤが取得された利用者から、例えば図示しないメニュー表示より「楽曲検索」が選択されて楽曲検索の要求があると（Ｓ１１）、楽曲検索選曲手段３７が実行されて検索画面を表示され、当該利用者による検索結果として、例えば図４（Ａ）に示すような選曲画面が表示される（Ｓ１２）。
【００３８】
当該利用者により、ガイドボーカルの設定欄４０で当該ガイドボーカルの再生の出力が適宜選択され、「転送」ボタンが選択されると（Ｓ１３）、選曲された楽曲の曲名（楽曲ＩＤ）及びガイドボーカルのフラグ情報（ガイドフラグの有無）に利用者ＩＤが附帯されてＲＡＭ４４の予約待ち行列５８に登録される（Ｓ１４）。上記ガイドボーカルの設定欄４０でガイドボーカルが選択されず、ガイドフラグが「無」の場合には終了する（Ｓ１５）。
【００３９】
一方、上記ガイドボーカルが「有」の場合には（Ｓ１５）、スコアデータ作成手段５２が、図４（Ｂ）に示すように、楽曲ＤＢ４５より選曲された楽曲の音符データ６１、歌詞データ６２を取得してスコアデータを作成し、当該楽曲ＩＤを附帯させてＲＡＭ４４の楽曲別スコアデータ５７に記憶する（Ｓ１６）。なお、図４（Ａ）の楽曲表示画面に示すガイドボーカル選択機能を設けない構成として、選曲可能な全部の楽曲について、スコアデータを作成しておいてもよい。
【００４０】
そして、ガイドボーカル生成手段５３が、図４（Ｃ）に示すように、予約待ち行列５８から演奏対象の楽曲ＩＤ及び選曲者の利用者ＩＤを特定し、楽曲ＩＤに基づいて楽曲別スコアデータ５７よりスコアデータを取得すると共に、利用者ＩＤに基づいて利用者別音素データ５６に記憶されている選曲者の音素データを取得しておくものである（Ｓ１７）。
【００４１】
そこで、図５に図２のカラオケ演奏装置におけるガイドボーカル生成の処理フローチャートを示すと共に、図６に図５におけるガイドボーカル生成の説明図を示す。ここではガイドボーカルの生成を、演奏開始の際に、例えば音楽演奏制御部４８より得られる演奏同期信号に基づいて処理するものとして説明する。
【００４２】
図５及び図６において、上記予約待ち行列５８に登録されて順番に演奏された楽曲のうち、ガイドフラグが附帯された楽曲の演奏が開始されると（Ｓ２１）、ガイドボーカル生成手段５３が、図６に示すように、取得された当該楽曲のスコアデータに、当該利用者ＩＤの音素データを、音楽演奏制御部４８からの演奏同期信号に応じて歌唱音声合成することによりガイドボーカルデータを作成し、ミキシングアンプ３３を介して出力するものである（Ｓ２２）。
【００４３】
このように、利用者による音声素片（音素）データのサンプリングなど、特別で面倒な操作を要することなく、歌唱タイミングや音程については勿論、歌唱者本人が模範通りに歌った場合に、どのような歌唱になっているのかを本人に効果的に知らしめることができ、さらに、同じカラオケの場に、歌唱者の他に利用者がいたとしても、例え、ガイドボーカルと本人の歌唱音声とが一部重なっても「ユニゾン」のように聴こえ、不自然さが少ないガイドボーカルを再生することができるものである。さらに、選曲された楽曲の演奏の際に、演奏対象の楽曲のスコアデータに、当該楽曲に附帯された利用者ＩＤに対応する音素データを歌唱音声合成させたガイドボーカルを生成して出力可能とさせることで、選曲時の楽曲歌唱の音程などの設定を当該ガイドボーカルに反映させることができるものである。
【００４４】
ところで、選曲した利用者が歌唱しなければ、演奏及びガイドボーカルのみが出力されることとなるが、利用者としては自分の音声で理想的な歌唱を、いわゆるお手本として聴取することができる。また、複数人での利用の場合に、ガイドボーカルを出力させ、選曲者が歌唱しているようによそおうことで他人に模範的な歌唱をあたかも本人が歌唱しているように見せかけることもできる。
【００４５】
なお、予約待ち行列５８に登録された総ての楽曲について、スコアデータ作成手段５２がスコアデータを作成して楽曲別スコアデータ５７に記憶しておき、選曲時に上記「ガイドボーカル」の設定欄４０で設定がなされなかった場合（ガイドフラグ「無」）に、当該楽曲の歌唱中に表示部３２又は遠隔入出力端末３６の端末表示部３９の少なくとも何れかに、ガイドボーカルを出力させる選択ボタンを表示させることとしてもよい。このことは、図４（Ａ）の選曲画面に「ガイドボーカル」の設定欄４０を設けなかった場合も同様である。
【００４６】
次に、図７に、本発明のカラオケシステムにおけるカラオケ演奏端末の他の説明図を示す。この実施形態は、カラオケ演奏装置３１に歌唱監視手段７１を備えさせ、Ａ／Ｄ変換部４９より歌唱音声を取得させる構成としたものである。当該歌唱監視手段７１は、楽曲演奏中の歌唱者の歌唱状態に応じて、ガイドボーカル生成手段５３に対し、ガイドボーカル合成処理の処理開始、あるいは処理停止の信号を出力させるプログラムである。
【００４７】
ここで、上記歌唱状態とは、歌唱につまって無音となった場合、歌唱音声が小さくなって所定レベル以下になった場合、また、新たに歌唱採点処理を設けて所定の歌唱区間で採点値が基準値以下となった場合などをいう。ここでは、歌唱音声が小さくなって所定レベル以下になった場合について説明する。
【００４８】
すなわち、図７（Ｂ）において、演奏が開始されると（Ｓ３１）、歌唱監視手段７１が、歌唱音声のマイク入力レベルが所定値以下か否かを監視する（Ｓ３２）。当該マイク入力レベルが所定値以下となった場合には（Ｓ３３）、ガイドボーカルが出力中か否かを判断し（Ｓ３４）、出力されていなければガイドボーカル生成手段５３に対し、処理開始の信号を出力する（Ｓ３５）。そして、以降の演奏について、取得されたスコアデータに、当該利用者ＩＤの音素データを、音楽演奏制御部４８からの演奏同期信号に応じて歌唱音声合成することによりガイドボーカルデータを生成し、ミキシングアンプ３３を介して出力する（Ｓ３６）。
【００４９】
一方、Ｓ３３において、歌唱者のマイク入力レベルが所定値を越えている場合には、ガイドボーカルが出力中か否かを判断し（Ｓ３７）、出力中の場合には歌唱監視手段７１がガイドボーカル生成手段５３に対し、処理停止の信号を出力することにより（Ｓ３８）、当該ガイドボーカル生成手段５３がガイドボーカル合成の処理を停止する（Ｓ３９）。また、上記Ｓ３４においてガイドボーカルが出力中の場合、また、上記Ｓ３７においてガイドボーカルが出力されていない場合には、何も処理を行わず、以降、演奏終了までＳ３２〜Ｓ３９が繰り返えされるものである（Ｓ４０）。
【００５０】
このように、歌唱者の歌唱状態に応じてガイドボーカルを生成して出力可能状態とさせ、利用者の操作等によりガイドボーカルを出力させることから、歌唱者を好適にアシストすることができるものである。
【００５１】
ところで、上記実施形態では、楽曲別スコアデータ５７を楽曲が予約待ち行列５８に登録されたときに作成し、演奏の際にガイドボーカル生成手段５３がガイドボーカルの生成を行う場合を示したが、他に、以下のスコア作成、ガイドボーカル生成の手法がある。
【００５２】
第１に、楽曲別スコアデータ５７を、予め全楽曲について作成しておき、例えばホスト装置１１でデータベース化して管理しておくもので、利用者のログイン時にホスト装置１１より全曲分のスコアデータを取得し、ガイドボーカル生成手段５３が予約待ち行列５８に楽曲が登録されたときにガイドボーカルを生成して記憶しておいて演奏時に出力させ、若しくは、演奏開始時にガイドボーカルを生成させて出力させるものである。
【００５３】
第２に、楽曲別スコアデータ５７を、予め全楽曲について作成しておき、例えばホスト装置１１でデータベース化して管理しておくもので、予約待ち行列５８に楽曲が登録されたときに、該当楽曲のスコアデータをホスト装置１１より取得し、ガイドボーカル生成手段５３が予約待ち行列５８に楽曲が登録されたときにガイドボーカルを生成して記憶しておいて演奏時に出力させ、若しくは、演奏開始時にガイドボーカルを生成させて出力させるものである。
【００５４】
第３に、楽曲別スコアデータ５７を、演奏開始時に、予約待ち行列５８から楽曲ＩＤを取得してスコアデータを作成させ、作成されたスコアデータを基づいてガイドボーカル生成手段５３がガイドボーカルを生成させるものである。
【００５５】
第４に、楽曲別スコアデータ５７を、予約待ち行列５８に楽曲が登録されたときに、予約待ち行列５８から楽曲ＩＤを取得してスコアデータを作成させ、作成されたスコアデータに基づいてガイドボーカル生成手段５３がガイドボーカルを生成させて記憶しておき、演奏開始時に出力させるものである。
【産業上の利用可能性】
【００５６】
本発明のガイドボーカル生成機能を備えるカラオケシステムは、カラオケの基本的機能を備えるカラオケ装置の分野に利用可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明に係るカラオケシステムの系統構成図である。
【図２】本発明のカラオケシステムにおけるカラオケ演奏端末のブロック構成図である。
【図３】図２のカラオケ演奏装置における歌唱音声データの取得及び選曲時の処理フローチャートである。
【図４】図３における選曲時の説明図である。
【図５】図２のカラオケ演奏装置におけるガイドボーカル生成の処理フローチャートである。
【図６】図５におけるガイドボーカル生成の説明図である。
【図７】本発明のカラオケシステムにおけるカラオケ演奏端末の他の説明図である。
【符号の説明】
【００５８】
１１            ホスト装置
１３            カラオケ演奏端末
２３            利用者別音素データ抽出手段
２４            利用者別音素ＤＢ
３１            カラオケ演奏装置
３６            遠隔入出力端末
４５            楽曲ＤＢ
５０            利用者別音声データ採取手段
５２            スコアデータ作成手段
５３            ガイドボーカル生成手段
５５            利用者別音声データ
５６            利用者別音素データ
５７            楽曲別スコアデータ
５８            予約待ち行列
６１            音符データ
６２            歌詞データ
６３            楽曲唱法データ
７１            歌唱監視手段
【図１】
2009244789.tif 000003
【図２】
2009244789.tif 000004
【図３】
2009244789.tif 000005
【図４】
2009244789.tif 000006
【図５】
2009244789.tif 000007
【図６】
2009244789.tif 000008
【図７】
2009244789.tif 000009