(57)【特許請求の範囲】
【請求項１】
曲の所定の旋律を構成する各音の音高および発音レベルを示す音楽要素、および前記各音の発音タイミングを示す演奏データを記憶する演奏データ記憶手段と、
表示手段に表示する各文字を指定するとともに、前記表示手段に表示される各文字の色替えのタイミングを指定する歌詞データを記憶する歌詞データ記憶手段と、
各文字に対応した音声波の特徴を符号化したフォルマントパラメータを記憶するフォルマントパラメータ記憶手段と、
前記演奏データに基づいて、前記各音の発音タイミングを判断する音判断手段と、
前記歌詞データに基づいて、前記表示手段に表示される各文字の色替えタイミングを判断し、前記表示手段に表示される各文字の色替えを制御する色替え制御手段と、
前記音判断手段によって判断した前記各音の発音タイミングに、前記色替え制御手段によって色替えを制御される文字を判断する文字判断手段と、
時刻の進行に伴い、前記音判断手段によって判断された各発音タイミングにおいて、前記文字判断手段によって判断された前記各発音タイミングに色替えを制御される文字に対応した前記フォルマントパラメータを前記フォルマントデータ記憶手段から読み出して音声信号を生成し、前記音声信号に対して前記各発音タイミングに対応する音の前記音楽要素を与えることにより歌唱音声信号を生成する生成手段と
を具備することを特徴とする自動歌唱装置。
【請求項２】
曲の所定の旋律を構成する各音の音高および発音レベルを示す音楽要素、および前記各音の発音タイミングを示す演奏データを記憶する演奏データ記憶手段と、
表示手段に表示する各文字を指定するとともに、前記表示手段に表示される各文字の色替えのタイミングを指定する歌詞データを記憶する歌詞データ記憶手段と、
各文字に対応した音声波の特徴を符号化したフォルマントパラメータを記憶するフォルマントパラメータ記憶手段と、
前記演奏データに基づいて、前記各音の発音タイミングを判断する音判断手段と、
前記歌詞データに基づいて、前記表示手段に表示される各文字の色替えタイミングを判断し、前記表示手段に表示される各文字の色替えを制御する色替え制御手段と、
前記音判断手段によって判断した前記各音の発音タイミングの所定時間前のタイミングに、前記色替え制御手段によって色替えを制御される文字を判断する文字判断手段と、
時刻の進行に伴い、前記音判断手段によって判断された各発音タイミングにおいて、前記文字判断手段によって判断された前記各発音タイミングの所定時間前のタイミングに色替えを制御される文字に対応した前記フォルマントパラメータを前記フォルマントデータ記憶手段から読み出して音声信号を生成し、前記音声信号に対して前記各発音タイミングに対応する音の前記音楽要素を与えることにより歌唱音声信号を生成する生成手段と
を具備することを特徴とする自動歌唱装置。
【請求項３】
前記演奏データ記憶手段によって記憶される演奏データは、さらに前記各音の発音時間を示し、
前記生成手段が生成する歌唱音声信号は、前記各発音タイミングに対応する音の発音時間に合致する
ことを特徴とする請求項１または請求項２に記載の自動歌唱装置。
【請求項４】
コンピュータを、
曲の所定の旋律を構成する各音の音高および発音レベルを示す音楽要素、および前記各音の発音タイミングを示す演奏データを記憶する演奏データ記憶手段と、
表示手段に表示する各文字を指定するとともに、前記表示手段に表示される各文字の色替えのタイミングを指定する歌詞データを記憶する歌詞データ記憶手段と、
各文字に対応した音声波の特徴を符号化したフォルマントパラメータを記憶するフォルマントパラメータ記憶手段と、
前記演奏データに基づいて、前記各音の発音タイミングを判断する音判断手段と、
前記歌詞データに基づいて、前記表示手段に表示される各文字の色替えタイミングを判断し、前記表示手段に表示される各文字の色替えを制御する色替え制御手段と、
前記音判断手段によって判断した前記各音の発音タイミングに、前記色替え制御手段によって色替えを制御される文字を判断する文字判断手段と、
時刻の進行に伴い、前記音判断手段によって判断された各発音タイミングにおいて、前記文字判断手段によって判断された前記各発音タイミングに色替えを制御される文字に対応した前記フォルマントパラメータを前記フォルマントデータ記憶手段から読み出して音声信号を生成し、前記音声信号に対して前記各発音タイミングに対応する音の前記音楽要素を与えることにより歌唱音声信号を生成する生成手段
として機能させることを特徴とする自動歌唱プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項５】
コンピュータを、
曲の所定の旋律を構成する各音の音高および発音レベルを示す音楽要素、および前記各音の発音タイミングを示す演奏データを記憶する演奏データ記憶手段と、
表示手段に表示する各文字を指定するとともに、前記表示手段に表示される各文字の色替えのタイミングを指定する歌詞データを記憶する歌詞データ記憶手段と、
各文字に対応した音声波の特徴を符号化したフォルマントパラメータを記憶するフォルマントパラメータ記憶手段と、
前記演奏データに基づいて、前記各音の発音タイミングを判断する音判断手段と、
前記歌詞データに基づいて、前記表示手段に表示される各文字の色替えタイミングを判断し、前記表示手段に表示される各文字の色替えを制御する色替え制御手段と、
前記音判断手段によって判断した前記各音の発音タイミングの所定時間前のタイミングに、前記色替え制御手段によって色替えを制御される文字を判断する文字判断手段と、
時刻の進行に伴い、前記音判断手段によって判断された各発音タイミングにおいて、前記文字判断手段によって判断された前記各発音タイミングの所定時間前のタイミングに色替えを制御される文字に対応した前記フォルマントパラメータを前記フォルマントデータ記憶手段から読み出して音声信号を生成し、前記音声信号に対して前記各発音タイミングに対応する音の前記音楽要素を与えることにより歌唱音声信号を生成する生成手段
として機能させることを特徴とする自動歌唱プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、特にカラオケに用いて好適な、歌詞データおよび演奏データから音声信号を生成して自動的に歌唱することのできる自動歌唱装置および自動歌唱プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来より、伴奏となる音楽を自動演奏するカラオケ装置が広く知られている。このようなカラオケ装置では、使用者が容易に歌唱できるように、歌詞やその歌詞を歌唱するタイミング、さらには歌唱すべき旋律等を使用者に指示するようになっている。
例えば、歌詞やその歌詞を歌唱するタイミングを使用者に指示するためには、歌詞に対応する複数の文字を画面に表示し、表示した文字の色を曲の進行に応じて替えていく手段が知られている。
また、歌唱すべき旋律を使用者に指示するためには、主旋律を示す音楽をガイドメロディーとして演奏する手段が知られている。
【０００３】
このようなカラオケ装置において用いられるカラオケ曲データ中には、通常、歌詞表示のための歌詞データや、主旋律を演奏するための演奏データが含まれている。そして、カラオケ装置は、これらのデータに従って文字表示および主旋律を示す音楽の演奏を行う。
このような歌詞表示のための歌詞データには、文字データおよび、文字を表示するタイミングや色替えタイミングを示す時間データなどが含まれている。また、主旋律を演奏するための演奏データには、音高や強弱などを示す音楽データや、発音や消音タイミングを示す時間データなどが含まれている。ここで、音楽データは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に基づいたデータである。
【０００４】
さらに、従来のカラオケ装置では、歌唱を盛り上げたり、歌唱を上手に聞かせるために、バックコーラスやハーモニー用の音声を再生する技術が提案されている。例えば、特開平４−１２８７９６号公報には、バックコーラスデータとしてのＡＤＰＣＭ（適応差分ＰＣＭ）データおよび、バックコーラスデータを再生するタイミングを与えるバックコーラス起動データを、カラオケ曲データ中に含める技術が開示されている。
図５は、ＡＤＰＣＭデータを用いてバックコーラスを再生する技術を説明する図である。図５中（１）は、従来技術の構成を示すブロック図であり、（２）は、従来技術におけるカラオケ曲データの構成を示す図である。
図５（２）に示すように、カラオケ曲データは、上述した歌詞データおよび演奏データの他、バックコーラスを再生するためのＡＤＰＣＭデータ、ＡＤＰＣＭコントロールデータによって構成されている。ここで、ＡＤＰＣＭデータは、複数種類のバックコーラス音声をデジタル的に符号化したデータであり、ＡＤＰＣＭコントロールデータは、ＡＤＰＣＭデータを再生する開始時刻を指定するデータである。
【０００５】
図５（１）に示すシーケンサ１０は、カラオケ曲データに含まれる時間データに従って、歌詞データを表示制御部５に供給してモニタ６に歌詞表示させる他、音源７に音楽データを供給して音楽を出力させる。
すなわち、伴奏や主旋律を示す音楽の再生は、シーケンサ１０が演奏データ中の時間データに従って音源７に音楽データを供給し、音源７が音楽データに基づいて音楽信号を生成することによって行われる。
一方、バックコーラス音声の再生は、ＡＤＰＣＭデータに基づいてＤＳＰ（Digital Signal Processor）８が音声信号を生成して出力することによって行われる。シーケンサ１０は、図５（２）に示すＡＤＰＣＭコントロールデータによって示される時刻指定に基づいて、ＤＳＰ８にＡＤＰＣＭデータを供給する制御を行う。
そして、音源７から出力された音楽信号およびＤＳＰ８から出力された音声信号は、ミキサ９によって合成される。
【０００６】
【発明が解決しようとする課題】
ところで、上述した従来技術によるカラオケ装置を用いて、音声を再生することによって自動歌唱を行うことを想定すると、再生しようとする音声のすべてをＡＤＰＣＭデータとして構成しなければならず、１曲当たりのデータサイズが非常に大きくなってしまうという問題が生じる。従って、カラオケ曲データを記憶しておくための容量が増大するという問題が生じる。また、通信回線を用いてカラオケ曲データを配信する場合には、通信コストも高くなってしまうという問題が生じてしまう。
【０００７】
本発明は、上述した課題を解決するためになされたものであり、小さなサイズのデータを用いて自動歌唱を可能とすることを目的としている。
【０００８】
【課題を解決するための手段】
上述した問題を解決するために請求項１に記載の自動歌唱装置は、曲の所定の旋律を構成する各音の音高および発音レベルを示す音楽要素、および前記各音の発音タイミングを示す演奏データを記憶する演奏データ記憶手段と、表示手段に表示する各文字を指定するとともに、前記表示手段に表示される各文字の色替えのタイミングを指定する歌詞データを記憶する歌詞データ記憶手段と、各文字に対応した音声波の特徴を符号化したフォルマントパラメータを記憶するフォルマントパラメータ記憶手段と、前記演奏データに基づいて、前記各音の発音タイミングを判断する音判断手段と、前記歌詞データに基づいて、前記表示手段に表示される各文字の色替えタイミングを判断し、前記表示手段に表示される各文字の色替えを制御する色替え制御手段と、前記音判断手段によって判断した前記各音の発音タイミングに、前記色替え制御手段によって色替えを制御される文字を判断する文字判断手段と、時刻の進行に伴い、前記音判断手段によって判断された各発音タイミングにおいて、前記文字判断手段によって判断された前記各発音タイミングに色替えを制御される文字に対応した前記フォルマントパラメータを前記フォルマントデータ記憶手段から読み出して音声信号を生成し、前記音声信号に対して前記各発音タイミングに対応する音の前記音楽要素を与えることにより歌唱音声信号を生成する生成手段とを具備することを特徴とする。また、請求項２に記載の自動歌唱装置は、曲の所定の旋律を構成する各音の音高および発音レベルを示す音楽要素、および前記各音の発音タイミングを示す演奏データを記憶する演奏データ記憶手段と、表示手段に表示する各文字を指定するとともに、前記表示手段に表示される各文字の色替えのタイミングを指定する歌詞データを記憶する歌詞データ記憶手段と、各文字に対応した音声波の特徴を符号化したフォルマントパラメータを記憶するフォルマントパラメータ記憶手段と、前記演奏データに基づいて、前記各音の発音タイミングを判断する音判断手段と、前記歌詞データに基づいて、前記表示手段に表示される各文字の色替えタイミングを判断し、前記表示手段に表示される各文字の色替えを制御する色替え制御手段と、前記音判断手段によって判断した前記各音の発音タイミングの所定時間前のタイミングに、前記色替え制御手段によって色替えを制御される文字を判断する文字判断手段と、時刻の進行に伴い、前記音判断手段によって判断された各発音タイミングにおいて、前記文字判断手段によって判断された前記各発音タイミングの所定時間前のタイミングに色替えを制御される文字に対応した前記フォルマントパラメータを前記フォルマントデータ記憶手段から読み出して音声信号を生成し、前記音声信号に対して前記各発音タイミングに対応する音の前記音楽要素を与えることにより歌唱音声信号を生成する生成手段とを具備することを特徴とする。また、請求項３に記載の発明は、請求項１または請求項２に記載の自動歌唱装置において、前記演奏データ記憶手段によって記憶される演奏データは、さらに前記各音の発音時間を示し、前記生成手段が生成する歌唱音声信号は、前記各発音タイミングに対応する音の発音時間に合致することを特徴とする。また、請求項４に記載の自動歌唱プログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、曲の所定の旋律を構成する各音の音高および発音レベルを示す音楽要素、および前記各音の発音タイミングを示す演奏データを記憶する演奏データ記憶手段と、表示手段に表示する各文字を指定するとともに、前記表示手段に表示される各文字の色替えのタイミングを指定する歌詞データを記憶する歌詞データ記憶手段と、各文字に対応した音声波の特徴を符号化したフォルマントパラメータを記憶するフォルマントパラメータ記憶手段と、前記演奏データに基づいて、前記各音の発音タイミングを判断する音判断手段と、前記歌詞データに基づいて、前記表示手段に表示される各文字の色替えタイミングを判断し、前記表示手段に表示される各文字の色替えを制御する色替え制御手段と、前記音判断手段によって判断した前記各音の発音タイミングに、前記色替え制御手段によって色替えを制御される文字を判断する文字判断手段と、時刻の進行に伴い、前記音判断手段によって判断された各発音タイミングにおいて、前記文字判断手段によって判断された前記各発音タイミングに色替えを制御される文字に対応した前記フォルマントパラメータを前記フォルマントデータ記憶手段から読み出して音声信号を生成し、前記音声信号に対して前記各発音タイミングに対応する音の前記音楽要素を与えることにより歌唱音声信号を生成する生成手段として機能させることを特徴とする。また、請求項５に記載の自動歌唱プログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、曲の所定の旋律を構成する各音の音高および発音レベルを示す音楽要素、および前記各音の発音タイミングを示す演奏データを記憶する演奏データ記憶手段と、表示手段に表示する各文字を指定するとともに、前記表示手段に表示される各文字の色替えのタイミングを指定する歌詞データを記憶する歌詞データ記憶手段と、各文字に対応した音声波の特徴を符号化したフォルマントパラメータを記憶するフォルマントパラメータ記憶手段と、前記演奏データに基づいて、前記各音の発音タイミングを判断する音判断手段と、前記歌詞データに基づいて、前記表示手段に表示される各文字の色替えタイミングを判断し、前記表示手段に表示される各文字の色替えを制御する色替え制御手段と、前記音判断手段によって判断した前記各音の発音タイミングの所定時間前のタイミングに、前記色替え制御手段によって色替えを制御される文字を判断する文字判断手段と、時刻の進行に伴い、前記音判断手段によって判断された各発音タイミングにおいて、前記文字判断手段によって判断された前記各発音タイミングの所定時間前のタイミングに色替えを制御される文字に対応した前記フォルマントパラメータを前記フォルマントデータ記憶手段から読み出して音声信号を生成し、前記音声信号に対して前記各発音タイミングに対応する音の前記音楽要素を与えることにより歌唱音声信号を生成する生成手段として機能させることを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００１０】
１．実施形態の構成
本実施形態は、本発明にかかる自動歌唱装置として機能するカラオケ装置であり、図１は、実施形態の構成を示すブロック図である。
ＣＰＵ１は、ＲＯＭ２に格納されたプログラムに従って、バスを介して接続された各部を制御する。ＲＯＭ２には、本カラオケ装置のシステムプログラムやアプリケーションプログラム等が格納されている。なお、アプリケーションプログラムには、ＣＰＵ１をシーケンサとして機能させるためのシーケンスプログラムや、ＤＳＰ８に歌唱音声信号を生成させるためのフォルマント合成プログラムなどがある。
ハードディスク４は、後に説明するカラオケ曲データやフォルマントデータ等を格納するものであり、大容量の記録媒体が用いられる。ＲＡＭ３は、再生するカラオケ曲データをハードディスク４から読み出して記憶しておくためなどに用いられる。
【００１１】
また、表示制御部５は、モニタ６に歌詞や背景映像を表示するための制御を行うものである。モニタ６には、例えばＣＲＴディスプレイや液晶ディスプレイなどを用いる。
音源７は、音楽信号を生成して出力するものである。また、ＤＳＰ８は、デジタル信号を処理するものであり、本実施形態では、カラオケ曲データおよびフォルマントデータに基づいて歌唱音声信号を生成するために用いる。
ミキサ９は、音源７から出力された音楽信号と、ＤＳＰ８から出力された歌唱音声信号とを合成して出力するものである。
【００１２】
１−２．データ構成
（１）カラオケ曲データ
次に、本実施形態で用いられるカラオケ曲データの構成について説明する。図２は、カラオケ曲データの構成を示す図である。図示するように、カラオケ曲データは、主旋律データ、伴奏データ、および歌詞データを備えて構成されている。  主旋律データおよび伴奏データは、ＭＩＤＩ（Musical Instrument Digital Interface）規格に基づく音楽データに時間データを付加したデータ（演奏データ）である。音楽データは、音高、発音レベル等の音楽要素を示すデータであり、付加されている時間データは、発音タイミングや発音時間の指定を行うデータである。
図示した例では、各音楽データは音高および発音レベルを示しており、時間データは開始時刻や発音時間を示している。開始時刻とは、曲演奏開始からの経過時間によって発音タイミングを指定するデータであり、発音時間とは、発音する時間の長さを指定するデータである。
【００１３】
また、歌詞データは、モニタ６に文字を表示させるためのデータであり、表示する文字を指定する文字データおよび時間データから構成される。時間データには、表示を開始するタイミングや表示時間を示すデータや、表示文字の色替えを指定するワイプ情報などがある。
文字データは、例えばＪＩＳ（日本規格協会）規格に基づいたキャラクタコードであり、各文字に対応してそれぞれキャラクタコードが定められている。
【００１４】
従来技術において説明したように、カラオケ曲データを通常のカラオケに用いて再生を行う場合は、歌詞データは文字をモニタ６に表示させるために用いられる。また、伴奏データは伴奏用の音楽として再生し、主旋律データはガイドメロディー用の音楽として再生するために用いられる。
一方、カラオケ曲データを自動歌唱に用いて再生を行う場合は、カラオケ曲データ中の歌詞データおよび主旋律データを、次に説明するフォルマントデータと併せて歌唱音声信号を生成する。
【００１５】
（２）フォルマントデータ
次に、フォルマントデータについて説明する。フォルマントデータとは、各文字に対応した音声信号を生成するための示す音声データであり、フォルマントデータは、各文字に対応した音声波の特徴を符号化したパラメータによって構成されている。
各文字に対応した音声波の特徴は、個人の声道の特性によって異なるので、本実施形態では、特定人の音声の特徴を各文字毎に符号化してフォルマントパラメータとしている。
ここで、図３は、上記キャラクタコードとフォルマントパラメータとの対応を示す図である。図示した波形は、「あ」、「い」、「う」、「え」、「お」と発音した場合の各文字に対応する波形であり、各波形の特性を符号化したデータが、フォルマントパラメータＰａ、Ｐｉ、Ｐｕ、Ｐｅ、Ｐｏである。このように、各文字ごとにフォルマントパラメータが記憶されており、キャラクタコードからフォルマントパラメータを特定することができるようになっている。
例えば、カラオケ曲データの歌詞データ中に文字「あ」を指定するキャラクタコード（ＪＩＳコードであれば、平仮名は「８２Ａ０」）があれば、それに対応するパラメータＰａを特定することができる。
なお、歌詞に漢字やアルファベット等が含まれている場合は、ルビ（振り仮名）が付されているものとし、ルビを指定するキャラクタコードからフォルマントパラメータを特定できるものとする。
【００１６】
２．実施形態の動作
次に、上記構成を有する実施形態の動作について説明する。
【００１７】
２−１．実施形態の動作の詳細な説明
２−１−１．全体説明
まず、実施形態の動作の詳細について説明する。図４は、ＣＰＵ１の動作を説明するブロック図である。ＣＰＵ１は、ＲＯＭ２に記憶されたシーケンスプログラムに従って動作することにより、図中のシーケンサ１０として機能する。
そして、表示制御部５、音源７、ＤＳＰ８の各部の動作をシーケンサ１０が制御することによって、モニタ６に歌詞が表示され、音源７で音楽信号が生成され、ＤＳＰ８で歌唱音声信号が生成される。
このような、シーケンサ１０の制御に基づいた、表示制御部５、音源７、ＤＳＰ８の各部における動作は、並行して行われるので、まずそれぞれの各部の動作について説明する。
【００１８】
２−１−２．各部の動作
（１）表示制御部５の動作
表示制御部５のモニタ６へ歌詞を表示する動作は、シーケンサ１０によって制御される。すなわち、シーケンサ１０は、歌詞データ中の時間データを読み取り、歌詞を表示すべきタイミングであると判定すると、歌詞を構成するキャラクタコードを表示制御部５に出力する。
表示制御部５は、入力されたキャラクタコードに対応するフォントデータをハードディスク４から読み出し、モニタ６に表示させる。
また、シーケンサ１０は、歌詞データ中のワイプ情報に基づいて、文字の色替えタイミングを判断し、色替え制御信号を表示制御部５に出力する。表示制御部５は、色替え制御信号に従って、モニタ６に表示した文字の色を替える制御を行う。
【００１９】
（２）音源７の動作
音源７の音楽信号を生成する動作は、シーケンサ１０によって制御される。すなわち、シーケンサ１０は、伴奏データ中の時間データを読み取り、ある音楽データに対応した発音タイミングであると判断すると、音高、レベルなどを示すＭＩＤＩ信号を音源７に出力する。音源７は、指示された音楽信号を生成し、ミキサ９に出力する。
【００２０】
（３）ＤＳＰ８の動作
ＤＳＰ８の歌唱音声信号生成動作は、シーケンサ１０によって制御される。すなわち、シーケンサ１０は、歌詞データおよび主旋律データ中の時間データを読み取り、ある文字データおよび音楽データに対応した発音タイミングであると判断すると、文字データおよび主旋律データをＤＳＰ８に出力する。
ＤＳＰ８は、入力された文字データおよび主旋律データと、文字データに基づいて読み出したフォルマントパラメータとから歌唱音声信号を生成し、ミキサ９に出力する。
【００２１】
ところで、歌詞データは、複数の文字を同時に表示した後で、表示した文字色の一部を時間進行に伴って替えていくことを指示するように構成されている。一方、主旋律データは、音楽データと、音高データによって指示される音高とが一対一で対応するように構成されている。
しかし、必ずしも表示した一文字に対して一の音楽データが対応するとは限らない。例えば、「あ」という一文字を、音程を変えながら「あー」と発音するような場合は、表示した一文字に対して複数の音楽データが対応することになる。従って、シーケンサ１０は、各文字毎の発音のタイミングを判断して、ＤＳＰ８に対して、歌唱音声信号を生成させなくてはならない。
そこで、シーケンサ１０は、文字データによって指示される複数の文字のうちのいずれの文字について発音すべきかを、色替え制御信号に基づいて判断する。すなわち、主旋律データ中の時間データからある音高の発音タイミングであると判断した場合に、色替え制御信号からどの文字の色を替えているかについて判断する。このようにして、シーケンサ１０は、各文字ごとの発音タイミングと音高を特定する。
【００２２】
そして、ある文字の発音タイミングであると判断したときは、ＤＳＰ８にその文字に対応する歌唱音声信号の生成を指示する。ＤＳＰ８は、歌唱音声信号の生成が指示されると、その文字に対応するフォルマントパラメータをハードディスク４から読み出して、主旋律データによって指示される音高、レベル、出音時間に合致するように歌唱音声信号の生成を行う。
ここで、歌唱音声信号の生成方法について説明する。フォルマントパラメータからは音声信号の波形を特定することができるので、ＤＳＰ８は、文字データに対応したフォルマントパラメータを読み出して音声信号を生成する。
次に、生成した音声信号に対して音楽要素（ここでは、音高および強弱）を与える。すなわち、ＤＳＰ８は、生成した音声信号の基本周波数を、音楽データが示す音高に対応した基本周波数に変換し、基本周波数を変換した音声信号を音楽データが示すレベルで出力する。
このようにして、ＤＳＰ８は、文字データ、フォルマントデータ、音楽データから所望する音高および強さの歌唱音声信号を生成してミキサ９に出力する。
【００２３】
２−２．実施形態の具体的動作
次に、図２、図４を参照しながら、本実施形態の具体的な動作について説明する。
まず、図２に例示したカラオケ曲データの再生を開始すると、開始時刻”０：３２：４７”に対応する歌詞データは、「ねむらない  まちに」を表示することを指示しているので、シーケンサ１０は、表示制御部５に対して、演奏開始から３２秒４７が経過するタイミングで、モニタ６に「ねむらない  まちに」という文字を表示させる制御を行う。
【００２４】
一方、シーケンサ１０は、歌詞データ中のワイプ情報Ｗから、「ね」の文字を開始時刻”０：３５：０４”に色替えを開始し、「む」の文字を開始時刻”０：３５：１８”に色替えを開始することを判断して、色替え制御信号を生成する。
また、主旋律データ中の音楽データから、開始時刻”０：３５：０４”に音高Ｃ３でレベル１１０の発音を開始し、開始時刻”０：３５：１８”に音高Ｄ３でレベル１０５の発音を開始することを判断する。
そして、これらの情報から、開始時刻”０：３５：０４”に、「ね」を音高Ｃ３・レベル１１０で発音すると判断する。
ＤＳＰ８は、シーケンサ１０の制御に従って、「ね」に対応するフォルマントパラメータを読み出して音声信号を生成し、音高Ｃ３に対応した基本周波数に変換した後、レベル１１０の歌唱音声信号として出力する。
以下、同様に「ら」、「な」、「い」、「ま」、「ち」、「に」の発音時間および音高やレベルが判断され、歌唱音声信号が生成されて出力される。このようにして本実施形態にかかるカラオケ装置は、カラオケ曲データの再生に伴って「ねむらない  まちに」と自動歌唱する。
また、伴奏データに基づいて、開始時刻”０：３５：０４”では、音源７から音高Ｄ３の音楽信号が生成され、開始時刻”０：３５：１８”では音源５から音高Ｅ３の音楽信号が生成されて出力される。以下同様に順次音楽信号が出力される。
また、歌詞データに基づいて、モニタ６には「ねむらないまちに」という文字が表示されて、曲の進行にあわせて文字の色が替えられる。
【００２５】
このように、予めカラオケ装置にフォルマントデータ（音声データ）を記憶しておくことによって、カラオケ曲データ中の主旋律データ（演奏データ）および歌詞データから歌唱音声信号を生成し、自動歌唱ができるようになる。従って、従来のようにＡＤＰＣＭデータをカラオケ曲データ中に挿入する必要がなく、カラオケ曲データのサイズを小さくすることができる。
【００２６】
３．変形例
なお、本発明は既述した実施形態に限定されるものではなく、以下のような各種の変形が可能である。
【００２７】
上記実施形態では、主旋律を自動歌唱するようにしているが、これに限らず、他のパートを歌唱させるようにしてもよい。例えば、デュエット曲であれば、男性パートと女性パートとに分かれて曲データが作成されているので、いずれかのパートについて自動歌唱させることによって、一人デュエットや、いわゆるハモりが可能になる。
また、例えば特開平８−２３４７７１号公報に記載されているように、マイクから入力された音声のタイミングに合わせて、自動歌唱を行うようにしてもよい。このようにすれば、使用者は特定の歌手になりきって歌唱することができる。
さらに、このような複数の機能の中から任意の機能を選択して実行できるようにしてもよい。
【００２８】
また、フォルマントデータを、複数の特定人について記憶しておき、所望のもの指定できるようにしてもよい。例えば、男性・女性・年代別等に分けて記憶してもよいし、特定の歌手のデータを記憶してもよい。また、フォルマントパラメータは、一人の特徴につき一つのパターンで記憶するだけでなく、例えばオクターブ別に記憶しておいてもよい。このようにすれば、ピッチ変換による違和感を和らげることができる。
【００２９】
上記実施形態では、説明を簡略化するため、文字（キャラクタコード）データとフォルマントパラメータは一対一で対応させているが、平仮名と片仮名のように異なる文字でも同じ発音をするものや、漢字にように一つの文字に対して複数の発音が対応する場合にも、文字とパラメータとを対応付けることができるようにしてもよい。
例えば、ワードプロセッサに用いられている辞書機能のようなプログラムを用いて、ある文字に対して最適なフォルマントパラメータを判断できるようにしてもよい。
【００３０】
また、文字と発音のタイミングの判定方法は、上述した実施形態に限定されず、例えば表示した文字の色替えを発音に先行して行うような場合は、先行する時間を考慮するようにしてもよい。例えば、色替え制御が、その文字を発音するよりも０．５秒速く開始する場合は、文字の色を替え初めてから０．５秒後に、その文字の発音を始めるように判断する。
【００３１】
また、上記実施形態では、音楽データにはＭＩＤＩ規格のデータを用いているが、これに限らず、音楽情報をデジタル信号によって扱うことができる規格であればどのようなものでもよく、独自の規格のデータであってもよい。
【００３２】
また、本発明の用途は上記実施形態のようにカラオケ装置に限定されるものではなく、様々な目的に用いることができる。例えば、本発明を、ＭＩＤＩデータ入力機能、ワードプロセッサ機能、シーケンサ機能などを備えた装置に適用して、作詞作曲装置として用いてもよい。この場合は、歌詞として入力した文字データと、音高を指示するために入力したＭＩＤＩデータとに従って、作詞作曲した歌を自動歌唱させることができる。
【００３３】
また、上記実施形態では、カラオケ装置の動作を制御するプログラムはＲＯＭ２に記憶されているが、これに限らず、不揮発性メモリカード、ＣＤ−ＲＯＭ、フロッピーディスク、光磁気ディスク、および磁気ディスク等の可搬型の記録媒体に記録されたデータをハードディスク４に転送できるように構成してもよい。このようにすれば、プログラム等の追加（インストール）や更新（バージョンアップ）の際に便利である。また、可搬型の記録媒体から直接ＲＡＭ３へデータを転送するようにしてもよい。
さらに、可搬型の記録媒体経由ではなく、図示せぬ通信インターフェイス経由で、ハードディスク等の記録装置上のプログラム等を通信ネットワーク側からダウンロードするようにしてもよい。
【００３４】
また、上記プログラムやフォルマントパラメータ等をインストールした市販のパーソナルコンピュータ等によって本発明を実現してもよい。例えば、パーソナルコンピュータ自体に音源やＤＳＰ等の機能を有するボードを実装させて自動歌唱装置として使用できるようにしてもよい。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、歌詞データおよび演奏データに基づいて歌唱音声信号を生成することができるので、小さなサイズのデータを用いて音声を再生し、自動歌唱を行うことができるようになる。
【図面の簡単な説明】
【図１】  実施形態の構成を示すブロック図である。
【図２】  カラオケ曲データの構成を示す図である。
【図３】  フォルマントデータを説明する図である。
【図４】  実施形態の動作を説明するブロック図である。
【図５】  従来の技術を説明する図である。
【符号の説明】
１……ＣＰＵ、
２……ＲＯＭ、
３……ＲＡＭ、
４……ハードディスク、
５……表示制御部、
６……モニタ、
７……音源、
８……ＤＳＰ
９……ミキサ、
１０……シーケンサ
【図１】
0004147668.tif 000002
【図２】
0004147668.tif 000003
【図３】
0004147668.tif 000004
【図４】
0004147668.tif 000005
【図５】
0004147668.tif 000006