(57)【特許請求の範囲】
【請求項１】
歌詞データが示す歌詞を複数の断片に区切り、各断片から合成歌唱音のフレーズの発声態様を各々示す複数のフレーズデータを生成して記憶手段に書き込むフレーズデータ生成手段と、
表示手段と、
指示位置検出手段と、
所望のフレーズデータを対象とする再生指示に応じて、当該フレーズデータを前記記憶手段から読み出し、読み出したフレーズデータを用いて合成歌唱音を生成する手段であって、複数のフレーズデータに各々対応した複数のブロックを前記表示手段に表示させ、前記表示手段に表示されたブロックの中のいずれかのブロックが指示されるのを前記指示位置検出手段が検知することにより、当該ブロックに対応したフレーズデータを用いて合成歌唱音を生成し、前記表示手段に表示されたブロックを傾ける操作が行われた場合、当該ブロックに対応したフレーズデータの再生指示に応じて合成歌唱音を生成するときに、当該ブロックの傾きに対応した変化を合成歌唱音に与えるフレーズ再生手段と
を具備することを特徴とする歌唱合成装置。
【請求項２】
歌詞データが示す歌詞を複数の断片に区切り、各断片から合成歌唱音のフレーズの発声態様を各々示す複数のフレーズデータを生成して記憶手段に書き込むフレーズデータ生成手段と、
表示手段と、
指示位置検出手段と、
所望のフレーズデータを対象とする再生指示に応じて、当該フレーズデータを前記記憶手段から読み出し、読み出したフレーズデータを用いて合成歌唱音を生成する手段であって、ピッチ軸を有するブロックレイアウトエリアを前記表示手段に表示させ、歌詞データから得られた各フレーズデータを示す各ブロックを前記表示手段に表示させ、ユーザによって行われる操作に従って、これらのブロックのうち所望のフレーズデータに対応したブロックを前記ブロックレイアウトエリア内にレイアウトし、前記ブロックレイアウトエリア内のブロックが指示されたのを前記指示位置検出手段が検知したとき、当該ブロックに対応したフレーズデータを用いて合成歌唱音を生成し、その際に当該ブロックの前記ピッチ軸方向の位置に基づいて合成歌唱音のピッチを制御するフレーズ再生手段と
を具備することを特徴とする歌唱合成装置。
【請求項３】
歌詞データが示す歌詞を複数の断片に区切り、各断片から合成歌唱音のフレーズの発声態様を各々示す複数のフレーズデータを生成して記憶手段に書き込むフレーズデータ生成過程と、
所望のフレーズデータを対象とする再生指示に応じて、当該フレーズデータを前記記憶手段から読み出し、読み出したフレーズデータを用いて合成歌唱音を生成する過程であって、複数のフレーズデータに各々対応した複数のブロックを表示手段に表示させ、前記表示手段に表示されたブロックの中のいずれかのブロックが指示されるのを指示位置検出手段が検知することにより、当該ブロックに対応したフレーズデータを用いて合成歌唱音を生成し、前記表示手段に表示されたブロックを傾ける操作が行われた場合、当該ブロックに対応したフレーズデータの再生指示に応じて合成歌唱音を生成するときに、当該ブロックの傾きに対応した変化を合成歌唱音に与えるフレーズ再生過程と
を具備することを特徴とする歌唱合成方法。


【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、歌唱合成技術に係り、特にラップのための歌唱合成に好適な装置およびプログラムに関する。
【背景技術】
【０００２】
歌唱合成装置では、曲を構成する個々の音符を示す情報と音符に合わせて歌唱する歌詞を示す情報とに基づいて歌唱音声を合成する（例えば、特許文献１）。従って、歌唱合成装置に歌唱合成を行わせるためには、曲を構成する音符毎に音符に合わせて歌唱する歌詞を指定する必要がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１２８１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、ラップと呼ばれる歌唱法が流行している。このラップは、小節の終わりなどで韻を踏みながら、あまりメロディを付けずに、リズミカルに喋るように歌う歌唱法である。従来、このようなラップのための歌唱合成に適した歌唱合成装置は提供されていなかった。仮に従来の歌唱合成装置にラップの歌唱合成を行わせるものとすると、１つの音符に対して比較的多数の音韻列を含む歌詞を対応付ける必要があり、そのための操作が面倒なものとなる。
【０００５】
この発明は以上のような事情に鑑みてなされたものであり、ラップの歌唱合成に適した歌唱合成装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この発明は、歌詞データが示す歌詞を複数の断片に区切り、各断片から合成歌唱音のフレーズの発声態様を各々示す複数のフレーズデータを生成して記憶手段に書き込むフレーズデータ生成手段と、所望のフレーズデータを対象とする再生指示に応じて、当該フレーズデータを前記記憶手段から読み出し、読み出したフレーズデータを用いて合成歌唱音を生成するフレーズ再生手段とを具備することを特徴とする歌唱合成装置を提供する。
【０００７】
かかる発明によれば、フレーズデータ生成手段により歌詞が複数の断片に区切られ、各断片から合成歌唱音のフレーズの発声態様を各々示す複数のフレーズデータが生成され、記憶手段に記憶される。そして、所望のフレーズデータを対象とする再生指示が発生した場合、フレーズ再生手段により、当該フレーズデータが記憶手段から読み出され、このフレーズデータを用いて合成歌唱音が生成される。従って、ラップの際の素材となるフレーズデータを容易に生成し、そのフレーズデータを利用したラップを容易に行うことができる。
【０００８】
この発明は、ラップのためのシーケンスデータを生成するシーケンスデータ編集装置としても実現され得る。このシーケンス編集装置は、操作手段と、表示手段と、時間軸を有するシーケンスデータ編集エリアを前記表示手段に表示させ、前記操作手段の操作に従って、歌詞の断片の合成歌唱音であるフレーズを示すブロックを前記シーケンスデータ編集エリア内にレイアウトし、前記シーケンスデータ編集エリア内のブロックの時間軸方向の位置に基づいて、当該ブロックに対応したフレーズの再生タイミングを決定し、前記シーケンスデータ編集エリア内の各ブロックに対応したフレーズの再生指示を時系列化したシーケンスデータを生成するシーケンスデータ生成手段とを具備する。
【０００９】
この態様によれば、フレーズを示すブロックをシーケンスデータ編集エリア内にレイアウトする簡単な操作により、ラップ演奏のためのシーケンスデータを作成することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の第１実施形態である歌唱合成装置の構成を示すブロック図である。
【図２】同実施形態におけるフレーズデータ生成部１００の構成を示すブロック図である。
【図３】同実施形態における歌唱合成部２００の構成を示すブロック図である。
【図４】同実施形態の動作を説明する図である。
【図５】この発明の第２実施形態である歌唱合成装置の構成を示すブロック図である。
【図６】同実施形態の動作を示すタイムチャートである。
【図７】この発明の第３実施形態である歌唱合成装置の構成を示すブロック図である。
【図８】同実施形態におけるシーケンスデータの編集処理を示す図である。
【図９】この発明の他の実施形態において用いられるピアノロール表示を示す図である。
【図１０】この発明の他の実施形態におけるフレーズの音量操作を説明する図である。
【図１１】この発明の他の実施形態において行われるブロックレイアウトを説明する図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照し、この発明の実施形態について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態である歌唱合成装置の構成例を示すブロック図である。この歌唱合成装置は、例えば、携帯型ゲーム機、携帯電話あるいはスマートフォンなど音声を出力する機能を備えた携帯端末に歌唱合成用のプログラム類をインストールしたものである。図１に示すように、歌唱合成装置は、ＣＰＵ１０、不揮発性メモリ２０、ＲＯＭ３０、ＲＡＭ４０、表示入力部５０、サウンドシステム６０および外部インタフェース群７０を有する。
【００１２】
ＣＰＵ１０は、この歌唱合成装置の各部を制御する制御中枢である。ＲＯＭ３０は、ローダなど、この歌唱合成装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。ＲＡＭ４０は、ＣＰＵ１０によってワークエリアとして使用される揮発性メモリである。
【００１３】
表示入力部５０は、例えばタッチパネルであり、装置の動作状態や入力データおよび操作者（ユーザ）に対するメッセージなどを表示する表示機能と、ユーザによって行われる操作を受け付ける入力機能とを有するユーザインタフェースである。ユーザが行う操作の内容には、歌詞を示す情報の入力、音符を示す情報の入力、１フレーズ分の合成歌唱音の再生指示の入力などが含まれる。なお、表示入力部５０は、タッチパネルのように表示機能と入力機能とが一体となった構成のもののほか、例えば、ディスプレイとキーボードのように表示機能と入力機能とを分離した構成のものであってもよい。
【００１４】
外部インタフェース群７０は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、フラッシュメモリなどの外部記憶媒体との間でデータの授受を行うためのドライバなどを含む。
【００１５】
サウンドシステム６０は、この歌唱合成装置により得られる合成歌唱音の波形を示す時系列デジタルデータを音声として出力する手段であり、合成歌唱音の波形を示す時系列デジタルデータをアナログ音声信号に変換するＤ／Ａ変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカ等により構成されている。
【００１６】
不揮発性メモリ２０は、各種のプログラムやデータベースなどの情報を記憶するための記憶装置であり、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ；電気的に消去および書き込みが可能なＲＯＭ）が用いられる。不揮発性メモリ２０の記憶内容のうち本実施形態に特有のものとして、歌唱合成プログラム２１、辞書２５、フレーズデータベース２６および音声素片データベース２８がある。ＣＰＵ１０は、表示入力部５０を介して入力される指示に従い、不揮発性メモリ２０内のプログラムをＲＡＭ４０にロードして実行する。
【００１７】
なお、不揮発性メモリ２０に記憶されているプログラム等は、ネットワークを介してダウンロードにより取引されても良い。この場合、プログラム等は、インターネット内のサイトから外部インタフェース群７０の中の適当なものを介してダウンロードされ不揮発性メモリ２０内にインストールされる。また、プログラム等は、コンピュータ読み取り可能な記憶媒体に記憶された状態で取引されても良い。この場合、プログラム等は、フラッシュメモリなどの外部記憶媒体を介して不揮発性メモリ２０内にインストールされる。
【００１８】
本実施形態の特徴は、歌唱合成プログラム２１にある。この歌唱合成プログラム２１は、フレーズデータ生成部１００と、歌唱合成部２００を有する。フレーズデータ生成部１００は、ユーザインタフェースたる表示入力部５０を介して歌詞データを受け取り、歌詞データが示す歌詞を複数の断片に分割し、各断片から発音記号列を各々生成し、各発音記号列に基づいて、複数のフレーズに対応した複数のフレーズデータを各々生成するプログラムである。ここで、フレーズは、ラップによる歌唱の際に一気に早口に発音する断片的な歌唱音声であり、フレーズデータはこのフレーズの発声態様を指示する時系列データである。本実施形態では、辞書２５がこのフレーズデータの生成の際に参照される。このフレーズデータ生成部１００により生成された各フレーズデータは、フレーズデータベース２６に格納される。歌唱合成部２００は、フレーズデータから歌唱音の合成を行う手段である。
【００１９】
図２は、フレーズデータ生成部１００の構成を示すブロック図である。なお、この図２では、フレーズデータ生成部１００の各部の機能の理解を容易にするため、これらの各部と関連する辞書２５、フレーズデータベース２６等も併せて図示されている。
【００２０】
本実施形態におけるフレーズデータ生成部１００は、図２に示す歌詞解析部１０１と、発音記号生成部１０２と、フレーズデータ合成部１０３とを有する。歌詞解析部１０１は、表示入力部５０の操作により入力される歌詞データをＲＡＭ４０内のワークエリアに格納し、この歌詞データが示す歌詞を断片、具体的には文節に区切る。ここで、文節とは、自立語（名詞、動詞など）に接語（助詞など）がつながった（接語は無いこともある）発音上の単位である。
【００２１】
歌詞解析部１０１は、歌詞を文節に区切るに当たって、辞書２５を参照する。この辞書２５は、単語データおよびルールベースの集合体である。単語データは、名詞、動詞あるいは助詞などの単語の品詞を示す情報および単語に対応する発音記号情報を含む。さらに単語データは、その単語を発音するときの通常のピッチ変化を示すピッチモデルを含む。また、辞書２５は、このような単語毎に定義された情報の他、各種の文の構成に基づいて、人が通常その文を発声するときの発声音のピッチ軌跡を求めるためのルールを含む。
【００２２】
そして、歌詞解析部１０１は、辞書２５の単語データと歌詞を構成する文字列を比較して歌詞に含まれる各単語の先頭位置を求める。次いで、歌詞解析部１０１は、辞書２５の単語データに含まれる品詞情報から、歌詞に含まれる各単語の品詞を判断し、単語を自立語と接語に区別する。そして、区別した自立語と接語の並び順から歌詞における文節の区切り位置を判断し、歌詞を文節に区切る。さらに歌詞解析部１０１は、辞書２５を参照することにより、人が通常その歌詞を発声するときの発声音のピッチ軌跡を求め、そのピッチ軌跡を文節毎に区分する。
【００２３】
歌詞解析部１０１により歌詞から生成された複数の文節は、発音記号生成部１０２に引き渡される。本実施形態では、この文節がラップの際に歌唱するフレーズの素材となる。発音記号生成部１０２は、辞書２５を参照することにより、歌詞解析部１０１から引き渡された各文節を各々発音記号列に変換する。
【００２４】
フレーズデータ合成部１０３は、歌詞を分割した各文節について、発音記号生成部１０２により得られた発音記号列を用いてフレーズデータを合成する。このフレーズデータは、時間軸を共通にする発音記号トラックとピッチトラックとにより構成されている。発音記号トラックは、発音記号列における各発音記号の発音タイミングを指定するトラックである。フレーズデータ合成部１０３は、発音記号列を構成する各発音記号を発音記号トラックに例えば一定の時間間隔を空けてマッピングする。ピッチトラックは、フレーズの期間中のピッチの時間変化を示すトラックである。このピッチトラックの生成方法は、どのようなラップを歌唱合成装置に行わせるかにより異なったものとなる。
【００２５】
本実施形態による歌唱合成装置は、３種類のラップを行うことが可能である。ピッチをあまり変化させない通常のラップである第１のラップと、ピッチを変化させて歌唱らしく発声する第２のラップと、喋りのように発声する第３のラップである。ユーザは、いずれの種類のラップを行わせるかを表示入力部５０の操作により指定することが可能である。
【００２６】
ユーザが第１のラップを指示した場合、フレーズデータ合成部１０３は、フレーズの始点から終点まで一定のピッチをピッチトラックにマッピングする。好ましい態様では、ラップを自然なものにするため、各フレーズデータのピッチトラックにマッピングするピッチを擬似乱数等を利用して変化させ、フレーズ間にピッチの微妙なばらつきを持たせる。
【００２７】
ユーザが第２のラップを指示した場合、フレーズデータ合成部１０３は、フレーズデータの元となる文節と辞書２５とを参照し、その文節に含まれる単語を発音するときのピッチ変化を示すピッチモデルを辞書２５から読み出し、このピッチモデルをピッチトラックにマッピングする。
【００２８】
ユーザが第３のラップを指示した場合、フレーズデータ合成部１０３は、歌詞解析部１０１が生成した各文節のピッチ軌跡のうちフレーズデータの元となる文節のピッチ軌跡をピッチトラックにマッピングする。
【００２９】
このように本実施形態では、歌詞データが示す歌詞を区分した文節毎にフレーズデータが生成される。各文節とそれらの文節から得られたフレーズデータはそれらの元となった歌詞データとともにフレーズデータベース２６に格納される。
【００３０】
図２に示すように、フレーズデータベース２６を記憶するためのエリアは、歌詞データエリアとフレーズデータエリアに区分されている。歌詞データエリアには、フレーズデータ生成部１００の処理対象となった歌詞データがその歌詞データを識別するためのＩＤとともに記憶される。また、フレーズデータエリアには、歌詞データが示す歌詞を区分した文節毎に、当該文節が属する歌詞データのＩＤと、当該文節の歌詞内での通番ＦＮと、当該文節と、当該文節から得られたフレーズデータが記憶される。
【００３１】
図１において、歌唱合成部２００は、ユーザインタフェースたる表示入力部５０を介して所望のフレーズデータを対象とする再生指示を受け取り、当該再生指示の対象であるフレーズデータをフレーズデータベース２６から読み出し、このフレーズデータを用いてフレーズの合成歌唱音の波形を示す時系列デジタルデータを合成するプログラムである。本実施形態では、音声素片データベース２８がこのフレーズの時系列デジタルデータの生成の際に参照される。
【００３２】
この音声素片データベース２８は、歌声の素材となる各種の音声素片を示す音声素片データの集合体である。これらの音声素片データは、実際の人間が発した音声波形から抽出された音声素片に基づいて作成されたデータである。音声素片データベース２８では、声質の異なった歌手毎に、各歌手の歌唱音声波形から得られた音声素片データのグループが用意されている。歌唱合成部２００による歌唱合成の際、ユーザは、各種の音声素片データのグループの中から歌唱合成に使用する音声素片データのグループを選択することができる。
【００３３】
図３は歌唱合成部２００の構成を示すブロック図である。図３に示すように、歌唱合成部２００は、読出制御部２２０、ピッチ変換部２３０、素片連結部２４０、音量制御部２５０の各ソフトウェアモジュールを含む。
【００３４】
読出制御部２２０は、フレーズデータの再生指示を受け取るためのＧＵＩを表示入力部５０を介してユーザに提供する機能と、このＧＵＩを介して所望のフレーズデータを対象とする再生指示を受け取り、その再生指示の対象であるフレーズデータをフレーズとして再生するための制御を行う機能とを有している。
【００３５】
まず、前者の機能について説明する。読出制御部２２０は、ユーザがラップによる歌唱を望んでいる歌詞データを特定するための処理を行う。この処理の態様には各種考えられるが、例えばこれまでにフレーズデータの生成を行った各歌詞データが示す歌詞の例えば先頭の所定文字数分の文字列をメニューとして表示入力部５０に表示させ、その中の所望の歌詞データをユーザに選択させてもよい。あるいは所望の歌詞の一部をキーワードとして入力させ、そのキーワードを含む歌詞データを表示入力部５０にメニュー表示させ、その中から所望の歌詞データを選択させてもよい。
【００３６】
読出制御部２２０は、このようにしてユーザによって選択された歌詞データのＩＤをフレーズデータベース２６の歌詞データエリアから読み出し、このＩＤと同じＩＤに対応付けられた文節およびフレーズデータの各組をフレーズデータベース２６のフレーズデータエリアから読み出し、ＲＡＭ４０内のワークエリアに格納する。そして、ワークエリア内の各文節の内容を視覚的に示すブロックを表示入力部５０に表示させる。これによりユーザは、表示入力部５０に表示された所望の文節のブロックを指示することにより所望の文節のフレーズデータを対象とする再生指示を入力することができる。
【００３７】
次に後者の機能について説明する。読出制御部２２０は、表示入力部５０に表示された各ブロックの中の１つが指示されたことを検知すると、その指示されたブロックに対応したフレーズデータを特定し、ワークエリア内のこのフレーズデータの発音記号トラックおよびピッチトラックから発音記号およびピッチデータを各々読み出す。また、読出制御部２２０は、読み出した発音記号に対応した音声素片データを音声素片データベース２８から読み出す。そして、読出制御部２２０は、これら読み出した音声素片データとピッチデータをピッチ変換部２３０に送る。
以上が読出制御部２２０の機能である。
【００３８】
ピッチ変換部２３０は、読出制御部２２０によって読み出された音声素片データにピッチ変換を施す手段である。ピッチ変換部２３０は、音声素片データとともに読出制御部２２０によって読み出されたピッチデータに従って音声素片データのピッチ変換を行い、このピッチデータが示すピッチを持った音声素片データを生成する。
【００３９】
素片連結部２４０は、ピッチ変換部２３０の処理を経た音声素片データを滑らかに繋ぐ処理を行い、歌唱音声波形を示す時系列データとして出力する手段である。
【００４０】
音量制御部２５０は、例えば表示入力部５０を利用して行われる音量設定操作に従い、素片連結部２４０から出力される時系列データの音量を制御し、最終的な合成歌唱音を示す時系列データとしてサウンドシステム６０に出力する手段である。
以上が本実施形態による歌唱合成装置の構成である。
【００４１】
図４は本実施形態の動作例を示す図である。以下、この図４を参照し、本実施形態の動作を説明する。ユーザは、所望の歌詞によるラップを歌唱合成装置に実行させたい場合、まず、その歌詞を示す歌詞データを表示入力部５０の操作により入力する。図４（Ａ）は、この操作により入力された歌詞データが示す歌詞「英治は走った。そして英治は全力で飛んだ。ああっ。」を示している。この歌詞データは、ＲＡＭ４０内のワークエリアに格納される。
【００４２】
歌詞データの入力を終えると、ユーザは、表示入力部５０の操作により上述した第１〜第３のラップのうち所望のものを指定してフレーズデータの生成指示を入力する。この結果、フレーズデータ生成部１００の歌詞解析部１０１は、辞書２５を参照し、ワークエリア内の歌詞データを図４（Ｂ）に示すように文節に区切るとともに、上述した文節毎のピッチ軌跡を求める。図４（Ｂ）において、記号“｜”は文節の区切りを示す。
【００４３】
このように区切られたそれぞれの文節は、発音記号生成部１０２に引き渡される。発音記号生成部１０２では、歌詞解析部１０１から引き渡された各文節が発音記号列に各々変換される。
【００４４】
そして、フレーズデータ合成部１０３では、各文節毎に、フレーズデータが生成される。その際、フレーズデータのピッチトラックには、上述したように、ユーザによって指示されたラップの種類により異なった方法でピッチのマッピングが行われる。図４（Ｃ）には、このように文節毎に生成されるフレーズデータのピッチトラックの内容が例示されている。そして、各文節と、各文節に対応したフレーズデータは、歌詞データとともにフレースデータベース２６に格納される。
【００４５】
ラップによる歌唱を歌唱合成装置に実行させる場合、ユーザは、表示入力部５０を利用して、歌詞データを選択するための操作を行う。そして、ユーザが図４（Ａ）に示す歌詞データを選択すると、歌唱合成部２００の読出制御部２２０は、図４（Ａ）に示す歌詞データが示す歌詞の各文節と各文節に対応したフレーズデータをフレーズデータベース２６から読み出し、ＲＡＭ４０内のワークエリアに格納する。そして、ワークエリアに格納した各文節を視覚的に示すブロックを表示入力部５０に表示させる。この例では、図４（Ｄ）に例示するように、文節「英治は」を示すブロックＢ１、文節「走った」を示すブロックＢ２、文節「そして」を示すブロックＢ３、文節「英治は」を示すブロックＢ４、文節「全力で」を示すブロックＢ５、文節「飛んだ」を示すブロックＢ６、文節「ああっ」を示すブロックＢ７が表示入力部５０に表示される。このようにしてユーザからの再生指示に応じるための準備が完了する。
【００４６】
この状態において、ユーザは表示入力部５０に表示された所望のフレーズ（文節）を示すブロックをタップすることによりラップによる歌唱を歌唱合成装置に実行させることができる。ここで、タップとは、表示されたブロックを指先で軽く叩く操作である。
【００４７】
図４（Ｅ）はこのタップに応じて実行されるフレーズの歌唱合成の実行例を示すものである。この例では、時刻Ｔ１０、Ｔ１１、Ｔ１２、Ｔ１３、Ｔ１４、Ｔ１５において、ブロックＢ１、Ｂ１、Ｂ５、Ｂ７、Ｂ７、Ｂ６が各々タップされている。
【００４８】
時刻Ｔ１０において、文節「英治は」を示すブロックＢ１がタップされると、読出制御部２２０は、そのタップされたブロックＢ１に対応した文節「英治は」のフレーズデータを特定し、ワークエリア内のこのフレーズデータの発音記号トラックおよびピッチトラックから発音記号およびピッチデータを各々読み出す。また、読出制御部２２０は、読み出した発音記号に対応した音声素片データを音声素片データベース２８から読み出す。そして、読出制御部２２０は、これら読み出した音声素片データとピッチデータをピッチ変換部２３０に送る。
【００４９】
ピッチ変換部２３０は、読出制御部２２０によって読み出された音声素片データにピッチ変換を施し、読出制御部２２０によって読み出されたピッチデータが示すピッチを持った音声素片データを生成する。素片連結部２４０は、このピッチ変換部２３０の処理を経た音声素片データを滑らかに繋ぐ処理を行い、歌唱音声波形を示す時系列データを出力する。音量制御部２５０は、この素片連結部２４０から出力される時系列データの音量を制御し、最終的な合成歌唱音を示す時系列データとして出力する。このようにして文節「英治は」の合成歌唱音が放音される。
【００５０】
以下同様であり、時刻Ｔ１１においてブロックＢ１がタップされると、文節「英治は」の合成歌唱音が放音され、時刻Ｔ１２においてブロックＢ５がタップされると、文節「全力で」の合成歌唱音が放音され、…、時刻Ｔ１５においてブロックＢ６がタップされると、文節「飛んだ」の合成歌唱音が放音される。
【００５１】
なお、あるブロックがタップされ、そのタップされたブロックに対応したフレーズデータを合成歌唱音として放音している途中に次のタップが行われた場合、前のフレーズデータの発音は次のタップの時点で終了し、次のタップにより指示されたフレーズデータに基づく合成歌唱音を発音するようにしても良い。例えば、「英治は」を示すブロックＢ１がタップされて「英」まで発音した時点で再度「英治は」を示すブロックＢ１がタップされたたとき、「英英治は」というように発音する。このようにすると、スクラッチ（ディスクジョッキーで使われる同じ部分を反復再生させる技法）に似た効果を得ることができ、よりリズム感のある曲に合わせて容易にラップを行うことができる。
【００５２】
以上説明したように、本実施形態によれば、ユーザが所望の歌詞の歌詞データを歌唱合成装置に入力すると、歌唱合成装置のフレーズデータ生成部１００により歌詞データが示す歌詞の各文節からフレーズデータが生成される。そして、歌唱合成装置は、ラップ演奏を所望するユーザのために、歌詞の各文節を示すブロックを表示入力部５０に表示させる。この状態において、ユーザは、所望のタイミングにおいて所望の文節を示すブロックをタップすることにより、そのブロックに対応した文節のフレーズデータを合成歌唱音として放音させることができる。従って、ユーザは、本実施形態による歌唱合成装置を用いて、ラップを行うことができる。
【００５３】
＜第２実施形態＞
次にこの発明の第２実施形態である歌唱合成装置について説明する。本実施形態における歌唱合成装置は、上記第１実施形態における歌唱合成プログラムの歌唱合成部２００を図５に示す歌唱合成部２００Ａに置き換えたものである。この歌唱合成部２００Ａは、上記第１実施形態における歌唱合成部２００に対してピッチ変化制御部３２０を追加した構成となっている。
【００５４】
上記第1実施形態による歌唱合成部２００は、表示入力部５０に表示されたブロックをタップする再生指示に応じて、そのブロックに対応したフレーズデータを合成歌唱音として出力した。これに対し、本実施形態による歌唱合成部２００Ａは、表示入力部５０に表示されたブロックをフリックする再生指示に応じて、そのブロックに対応したフレーズデータを合成歌唱音として出力する。ここで、フリックとは、表示入力部５０に表示されたブロックを軽く払うような動作である。本実施形態における歌唱合成部２００Ａは、フリックされたブロックに対応したフレーズデータを用いて合成歌唱音を生成する際、フリックの向きに応じた方向のピッチ変化を合成歌唱音に対して与える。歌唱合成部２００Ａに設けられたピッチ変化制御部３２０は、このフリックの向きに応じたピッチ変化を合成歌唱音に対して与えるための手段である。
【００５５】
本実施形態において、読出制御部２２０とピッチ変化制御部３２０には、表示入力部５０の画面における指の接触位置を示す情報が供給される。あるブロックがフリックされた場合、読出制御部２２０は、そのフリックにより最初に発生する接触位置情報に基づき、フリックされたブロックを特定し、そのブロックに対応したフレーズデータを再生対象とする。このように本実施形態では、あるブロック内に指が最初に接触したときに、そのブロックに対応したフレーズデータが再生指示の対象に確定される。この確定後は、指が表示入力部５０の画面から離れない限り、指の接触位置がどのように移動しようと、再生指示の対象は変わらない。従って、ユーザは、ブロックの枠の制約を受けることなく、フリックを行うことが可能である。
【００５６】
このようにして再生指示の対象であるフレーズデータが定まると、読出制御部２２０は、そのフレーズデータの発音記号トラックとピッチトラックから発音記号とピッチデータを読み出し、発音記号に対応した音声素片データを音声素片データベース２８から読み出す。そして、読出制御部２２０は、音声素片データをピッチ変換部２３０に送り、ピッチデータをピッチ変化制御部３２０に送る。
【００５７】
ピッチ変化制御部３２０は、接触位置情報が示す接触位置の変化に基づき、フリックの向きを求め、このフリックの向きに応じた時間勾配で変化するピッチ変化量を発生する。具体的には、フリックの向きが右斜め上方向である場合、ピッチ変化制御部３２０は、正の時間勾配で変化するピッチ変化量を発生する。また、フリックの向きが右斜め下方向である場合、ピッチ変化制御部３２０は、負の時間勾配で変化するピッチ変化量を発生する。また、フリックの向きが水平方向である場合、ピッチ変化制御部３２０は、ピッチ変化量として０を発生する。右斜め上方向または右斜め下方向にフリックされた場合において、フリックの向きが水平方向に対してなす角度が大きくなる程、ピッチ変化量の時間勾配の絶対値を大きくしてもよい。そして、ピッチ変化制御部３２０は、読出制御部２２０から与えられたピッチデータにこのピッチ変化量を加算したピッチデータをピッチ変換部２３０に対して出力する。ピッチ変換部２３０、素片連結部２４０および音量制御部２５０の機能は上記第1実施形態において説明した通りである。
【００５８】
図６は本実施形態の動作例を示すタイムチャートである。この例では、時刻Ｔ２０、Ｔ２１、Ｔ２２、Ｔ２３において、ブロックＢ１、Ｂ３、Ｂ１、Ｂ７が各々フリックされている。時刻Ｔ２０およびＴ２２では、ブロックＢ１が水平方向にフリックされている。従って、この時刻Ｔ２０およびＴ２２では、ブロックＢ１に対応した文節「英治は」の合成歌唱音として、フレーズデータのピッチトラックにより指定された通りのピッチを持った合成歌唱音が発音される。時刻Ｔ２１では、ブロックＢ３が斜め右下方向にフリックされている。従って、この時刻Ｔ２１では、負の時間勾配を持ったピッチ変化量が発生され、ブロックＢ３に対応した文節「そして」の合成歌唱音として、語尾に向かってピッチが低下する合成歌唱音が発音される。時刻Ｔ２３では、ブロックＢ７が斜め右上方向にフリックされている。従って、この時刻Ｔ２３では、正の時間勾配を持ったピッチ変化量が発生され、ブロックＢ７に対応した文節「ああっ」の合成歌唱音として、語尾に向かってピッチが上昇する合成歌唱音が発音される。
【００５９】
このように本実施形態によれば、画面に表示されているブロックをフリックすると、そのフリックされたブロックに対応するフレーズが、そのフレーズデータのピッチを基準としてフリックの向きに従ったピッチ変化がなされて発音される。このため、フレーズの語尾のピッチを上昇あるいは下降して発音させることができ、ユーザは、フリックという簡単な操作によりフレーズの発音に抑揚を付けてライブ演奏を行うことができる。
【００６０】
なお、フリックによりフレーズのピッチを変化させる場合に、フレーズの先頭から最後尾に向かってピッチを変化させるようにしてもよいが、フレーズの途中のピッチ変化開始点から最後尾に向かってピッチを変化させるようにしても良い。後者の場合、フレーズの先頭からピッチ変化開始点までの部分はフレーズデータのピッチトラックにより指定されたピッチで発音され、フレーズのピッチ変化開始点から最後尾までの部分はフリック操作に従ったピッチ変化が与えられて発音される。この場合、ユーザが表示入力部５０の操作によりフレーズにおけるピッチ変化開始点を指定することができるようにしてもよい。
【００６１】
また、フリックの速さ（速いあるいは遅い）を検出してフレーズの発音のパラメータとしてもよい。例えば、フリックの速さをフレーズを再生させる速さに対応させるなどである。また、フリックの距離を検出して発音のパラメータとしてもよい。例えば、長い距離に亙るフリックを検出した場合は文節のフレーズを最後まで再生させ、短い距離のフリックを検出した場合は文節のフレーズの途中まで再生させるなどである。
【００６２】
また、水平方向や右斜め上下方向の単純なフリック動作の他、種々のフリック動作を認識してピッチ変化に反映するようにしてもよい。例えば、フリックの途中まで右横方向に指の接触位置を移動させ、途中から右斜め上方向へ移動させることにより、フレーズの途中からピッチを上昇させるようにしてもよい。また、波状に指の接触位置を移動させることにより、ビブラートのような小刻みに上昇下降を繰り返すピッチ変化をフレーズに与えてもよい。この場合、フリックの継続時間（指が表示入力部５０の画面に接触し続ける時間）だけフレーズの発音を持続させるようにしてもよい。例えば文節「英治は」に対応したブロックがフリックされ、そのフリックの継続時間が長くなる場合には、「英治は」の「は」の母音である「あ」を長く延ばしてフレーズの発音継続時間を長くし、その間、複雑なフリック動作に応じて「あ」の音声に複雑なピッチの変化を与えればよい。
【００６３】
＜第３実施形態＞
図７はこの発明の第３実施形態である歌唱合成装置の構成を示すブロック図である。本実施形態による歌唱合成装置において、不揮発性メモリ２０には歌唱合成プログラム２１Ｂおよびシーケンスデータベース２７が記憶されている。歌唱合成プログラム２１Ｂは、上記第1および第２実施形態におけるフレーズデータ生成部１００と、上記第２実施形態における歌唱合成部２００Ａと、シーケンスデータ編集部３００と、シーケンスデータ再生部４００とを有する。
【００６４】
シーケンスデータ編集部３００は、表示入力部５０の操作に応じて、シーケンスデータを編集し、シーケンスデータベース２７に格納するプログラムである。このシーケンスデータは、フレーズデータの再生指示を時間軸上にマッピングした時系列データである。本実施形態において、1個のフレーズデータの再生指示は、当該フレーズデータを特定する情報（例えば上記第1実施形態における歌詞ＩＤと通番ＦＮの組）と、上記第２実施形態において説明したピッチ変化量の発生を指示する情報を含む。シーケンスデータ再生部４００は、ユーザによって指定されたシーケンスデータをシーケンスデータベース２７から読み出し、このシーケンスデータを再生し、シーケンスデータ中のフレーズデータの再生指示に従って、再生指示の対象であるフレーズデータを合成歌唱音として出力するプログラムである。
【００６５】
ここで、図８を参照し、本実施形態におけるシーケンスデータ編集部３００の機能を説明する。本実施形態におけるシーケンスデータ再生部４は、後述するように、フレーズデータベース２６内のフレーズデータを用いてシーケンスデータの再生を行う。従って、シーケンスデータが再生可能なものであるためには、そのシーケンスデータにおいて再生が指示されているフレーズデータがフレーズデータベース２６に格納されていなければならない。一方、フレーズデータベース２６の歌詞データエリアには、フレーズデータエリア内のフレーズデータの元となった歌詞データが格納されている（図２参照）。そこで、本実施形態におけるシーケンスデータ編集部３００は、ユーザに所望のフレーズ（文節）を含む歌詞データを選択するための操作を行わせる。そして、ユーザが例えば前掲図４（Ａ）の歌詞データを選択すると、シーケンスデータ編集部３００は、この歌詞データに関連した文節とフレーズデータの組をフレーズデータベース２６のフレーズデータエリアから読み出し、図８に例示するように、文節「英治は」を示すブロックＢ１、文節「走った」を示すブロックＢ２、文節「そして」を示すブロックＢ３、文節「英治は」を示すブロックＢ４、文節「全力で」を示すブロックＢ５、文節「飛んだ」を示すブロックＢ６、文節「ああっ」を示すブロックＢ７を表示入力部５０に表示させる。また、シーケンスデータ編集部３００は、これらのブロックの表示エリアの下にシーケンスデータ編集エリアを表示させる。このシーケンスデータ編集エリアは、横軸を時間、縦軸をピッチとするエリアである。
【００６６】
このシーケンスデータ編集エリアが表示された状態において、ユーザは、シーケンスデータの編集を行うことができる。具体的には、ユーザが所望のフレーズに対応したブロックに指を接触させ、その接触位置を移動させると、そのブロックのコピーが接触位置に追従して移動する。そして、ユーザは、ブロックのコピーをシーケンスデータ編集エリアの時間軸上の所望の位置に移動させることにより、そのブロックに対応したフレーズデータの再生指示の発生タイミングをシーケンスデータ編集部３００に対して指示することができる。
【００６７】
この状態において、ユーザが時間軸上のブロックのコピーの右端部分を上から下に向けてフリックすると、ブロックのコピーは右下がりに傾く。このようにしてユーザは、負の勾配で変化するピッチ変化量の発生指示をそのブロックのコピーが示すフレーズデータの再生指示に付加することができる。また、ユーザが時間軸上のブロックのコピーの左端部分を上から下に向けてフリックすると、ブロックのコピーは右上がりに傾く。このようにしてユーザは、正の勾配で変化するピッチ変化量の発生指示をそのブロックのコピーが示すフレーズデータの再生指示に付加することができる。
【００６８】
図８に示す例では、時間軸上、左から順にブロックＢ１のコピーであるブロックＣＢ１ａ、ブロックＢ１のコピーであるブロックＣＢ１ｂ、ブロックＢ５のコピーであるブロックＣＢ５、ブロックＢ７のコピーであるブロックＣＢ７ａ、ブロックＢ７のコピーであるブロックＣＢ７ｂ、ブロックＢ６のコピーであるブロックＣＢ６が配置されている。ここで、ブロックＣＢ１ａ、ＣＢ５、ＣＢ７ｂは、時間軸上への配置後、フリック操作が行われておらず、水平な姿勢を保っている。従って、これらに対応したフレーズデータの再生指示にはピッチ変化量＝０の発生指示が付加される。ブロックＣＢ１ｂ、ＣＢ６は、時間軸上への配置後のフリック操作により、右下がりに傾いている。従って、これらに対応したフレーズデータの再生指示には負の勾配で変化するピッチ変化量の発生指示が付加される。ブロックＣＢ７ａは、時間軸上への配置後のフリック操作により、右上がりに傾いている。従って、これに対応したフレーズデータの再生指示には正の勾配で変化するピッチ変化量の発生指示が付加される。
【００６９】
シーケンスデータ編集部３００は、このようにしてシーケンスデータ編集エリア内にレイアウトされたブロックに基づいて、シーケンスデータを生成し、シーケンスデータベース２７に格納する。すなわち、各ブロックの時間軸方向における位置に基づいて各ブロックに対応したフレーズデータの再生指示の発生タイミングを決定し、各ブロックの向きに基づいて各ブロックのフレーズデータに付加するピッチ変換量の発生指示の内容を決定し、このようにして得られるフレーズデータの再生指示を時系列化してシーケンスデータを生成するのである。
【００７０】
シーケンスデータ再生部４００は、表示入力部５０の操作により指定されたシーケンスデータをシーケンスデータベース２７から読み出し、このシーケンスデータを先頭から走査してフレーズデータの再生指示を取り出し、歌唱合成部２００Ａ（図５参照）の読出制御部２２０に与える。また、再生指示に含まれるピッチ変化量の発生指示をピッチ変化制御部３２０に与える。
【００７１】
上記第２実施形態では、ピッチ変化制御部３２０は、フリック方向に基づいてピッチ変化量を発生した。これに対し、本実施形態におけるシーケンスデータの再生時においてピッチ変化制御部３２０は、フリック方向の代わりに、フレーズデータの再生指示から取り出されたピッチ変化量の発生指示に従ってピッチ変化量を発生する。ピッチ変化制御部３２０は、読出制御部２２０から与えられたピッチデータにこのピッチ変化量を加算したピッチデータをピッチ変換部２３０に送る。ピッチ変換部２３０、素片連結部２４０、音量制御部２５０の動作は既に説明した通りである。
【００７２】
本実施形態によれば、図８を参照して説明したように、簡単なブロックの移動操作および回転操作を行うことにより、所望のタイミングにおいて所望のフレーズを所望のピッチ変化を与えて再生させることができるシーケンスデータを生成することができ、このシーケンスデータを用いてラップの再生を行うことができる。
【００７３】
＜他の実施形態＞
以上、この発明の第１〜第３実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。
【００７４】
（１）上記各実施形態では、歌詞を文節に区切り、各文節からフレーズを各々生成した。しかし、ユーザが設定または編集を行うことにより、複数の文節を繋いだものから１つのフレーズを生成しても良い。また、上記各実施形態では、歌詞を文節に区切ったが、歌詞の区切り方はこれに限定されるものではない。また、例えば英語の歌詞の場合に、歌詞を単語に区切り、各単語からフレーズを生成してもよい。すなわち、歌詞を任意のルールに従って断片に区切り、各断片からフレーズを生成すればよい。
【００７５】
（２）上記第３実施形態において、シーケンスデータの入力を受け付けるための手段として、図９に示すように、ピアノ鍵盤画像３０１とその右横のシーケンスデータ編集エリア３０２からなるピアノロール表示を採用してもよい。ここで、シーケンスデータ編集エリア３０２は、横軸が時間、縦軸がピッチ（ピアノ鍵盤の各鍵）となっている。
【００７６】
図９に示す例では、文節「英治は」を示すブロックＣＢ２１、文節「全力で」を示すブロックＣＢ２２、文節「飛んだ」を示すブロックＣＢ２３がシーケンスデータ編集エリア３０２に配置されている。そして、この態様においてシーケンスデータ編集部は、ピッチ変化量の発生指示に加えて、ピッチオフセットの発生指示を含んだフレーズデータの再生指示を時系列化したシーケンスデータを発生する。
【００７７】
ここで、各ブロックに対応したフレーズデータの再生指示において、ピッチオフセットの発生指示により指示されるピッチオフセットは、各ブロックの五線譜上における上下方向位置（あるいは各ブロックの左横に位置するピアノの鍵）に基づいて決定され、ピッチ変化量の発生指示により指示されるピッチ変化量の時間勾配は、各ブロックの傾きに基づいて決定される。
【００７８】
シーケンスデータの再生時、歌唱合成部２００Ａのピッチ変化制御部３２０（図５参照）は、シーケンスデータから取り出された再生指示に含まれるピッチオフセットの発生指示に従ってピッチオフセットを発生し、ピッチ変化量の発生指示に従ってピッチ変化量を発生する。そして、再生対象であるフレーズデータのピッチトラックを無視して、ピッチオフセットおよびピッチ変化量を加算し、この加算結果であるピッチデータをピッチ変換部２３０に対して出力する。
【００７９】
この態様によれば、シーケンスデータ再生時、ブロックＣＢ２１に基づいて生成されたフレーズデータの再生指示がシーケンスデータから読み出されると、文節「英治は」のフレーズが黒鍵ＫＹ１のピッチで発音される。また、ブロックＣＢ２２に基づいて生成されたフレーズデータの再生指示がシーケンスデータから読み出されると、文節「全力で」のフレーズが、黒鍵ＫＹ２のピッチから始まり、語尾に向かって低下するピッチで発音される。また、ブロックＣＢ２３に基づいて生成されたフレーズデータの再生指示がシーケンスデータから読み出されると、文節「飛んだ」のフレーズが白鍵ＫＹ３のピッチで発音される。この態様によれば、シーケンス再生においてフレーズのピッチを大きく変化させることができ、ラップ演奏の幅を広げることができる。
【００８０】
（４）上記第２実施形態において、ブロックをフリックする速度を検出し、この速度に応じてフレーズを発音する際の音量を制御するようにしてもよい。
【００８１】
（５）上記第３実施形態において、シーケンスデータの編集の際に、ユーザによって行われる操作に従って、シーケンスデータ編集エリアにレイアウトするブロックの形状を変化させ、このブロックの形状に合わせて、ブロックに対応したフレーズを発音する際の音量を変化させるようにしてもよい。
【００８２】
図１０はこのブロックの変形による音量制御を説明する図である。この例において、シーケンスデータ編集部３００は、２種類の音量変化指示ボタンＳＢ１およびＳＢ２を表示入力部５０に表示させる。
【００８３】
ここで、ユーザがシーケンスデータ編集エリア内の例えば文節「英治は」を示すブロックＣＢ３０を指示した後、音量変化指示ボタンＳＢ１を指示したとする。この場合、シーケンスデータ編集部３００は、ブロックＣＢ３０を右に向かう程太くなるブロックＣＢ３０ａに変形させるとともに、フレーズの語尾に向かって音量を増大させる音量制御データを発生し、フレーズデータの再生指示に付加する。
【００８４】
これに対し、ユーザがシーケンスデータ編集エリア内のブロックＣＢ３０を指示した後、音量変化指示ボタンＳＢ２を指示したとする。この場合、シーケンスデータ編集部３００は、ブロックＣＢ３０を右に向かう程細くなるブロックＣＢ３０ｂに変形させるとともに、フレーズの語尾に向かって音量を小さく絞る音量制御データを発生し、フレーズデータの再生指示に付加する。
【００８５】
そして、シーケンスデータの再生時には、このようにしてフレーズデータの再生指示に付加された音量制御データに従ってフレーズの音量を制御するのである。この態様によれば、ピッチ変化に加えて、音量変化をフレーズに与えることができ、迫力のあるラップ演奏を行うことができる。
【００８６】
（６）上記第１実施形態および第２実施形態を組み合わせた態様が考えられる。この態様において表示入力部５０に表示されたブロックがタップされたとき、歌唱合成部は、上記第１実施形態のように、タップされたブロックに対応したフレーズデータを用いてフレーズを生成する。また、表示入力部５０に表示されたブロックがフリックされたとき、歌唱合成部は、上記第２実施形態のように、フリックされたブロックに対応したフレーズデータを用いてフレーズを生成し、その際にフリック方向に応じたピッチ変化をフレーズに与えるのである。また、この態様において歌唱合成部は、ブロックがタップされたときは、そのブロックに対応したフレーズデータにより定まる時間長のフレーズを生成し、ブロックがフリックされたときは、そのブロックに対応したフレーズデータを用いてフリックの継続時間に相当する時間だけ継続するフレーズを生成してもよい。
【００８７】
（７）上記第１および第２実施形態において、ユーザがブロックをタップまたはフリックするタイミングが適切であるかどうか（例えば一定のリズムに同期してタップまたはフリックしているかどうか）を評価し、評価結果を表示する機能を歌唱合成装置に設けてもよい。あるいは、適切でないタイミングにタップまたはフリックが行われた場合に、その直後の適切なタイミングにおいてタップまたはフリックが行われたものとして扱う補正機能を歌唱合成装置に設けてもよい。
【００８８】
（８）上記第１実施形態に上記第３実施形態の技術を導入した態様が考えられる。この態様では、前掲図４（Ｄ）のように表示入力部５０にブロックが表示された状態において、所望のブロックを傾かせる操作を行うことができる。そして、ブロックが傾けられた場合に、歌唱合成部は、そのブロックの傾きに対応した時間勾配で変化する時系列のピッチ変化量を生成し、この時系列のピッチ変化量をそのブロックに対応したフレーズデータのピッチトラックのピッチデータに加えるのである。
【００８９】
このブロックがタップされたときには、このブロックの傾きに対応したピッチ変化を持ったフレーズが生成される。このようにブロックを傾かせる操作を行うことにより、所望のピッチ変化を持ったフレーズを生成することができる。また、この態様において、ブロックのコピーを生成し、このコピーであるブロックを傾かせる操作を行えるようにしてもよい。このように傾いたブロックのコピーが生成された場合、元のブロックに対応したフレーズデータのコピーを生成し、このコピーであるフレーズデータのピッチトラックにブロックの傾きに応じたピッチ変化量を加えるのである。そして、元のブロックがタップされた場合には、元のブロックに対応したフレーズデータを用いてフレーズを合成し、傾いたコピーのブロックがタップされた場合には、コピーのフレーズデータを用いてフレーズを合成するのである。この態様によれば、同じ文節のフレーズを各種のピッチ変化で合成することができ、多彩な演奏が可能になる。
【００９０】
（９）上記第１実施形態に上記第３実施形態の技術を導入した他の態様として次のようなものが考えられる。まず、図１１に示すようにピアノ鍵盤画像３０１とその右横のブロックレイアウトエリア３０３を表示入力部５０に表示させる。ここで、ブロックレイアウトエリア３０３は、縦軸がピッチ（あるいはピアノ鍵盤の各鍵）であるが、横軸はない。このブロックレイアウトエリア３０３は、複数のブロックを横に並べて配置することができるように横方向の広がりを持っている。この態様において、ユーザは所望のフレーズに対応したブロックをブロックレイアウトエリア３０３に配置することができる。その際にブロックを傾かせることもできる。図１１に示す例では、ブロックＣＢ２１〜ＣＢ２６がブロックレイアウトエリア３０３内に配置されている。
【００９１】
この状態において、ユーザが文節「全力で」のフレーズに対応したブロックＣＢ２５をタップしたとする。この場合、歌唱合成部は、ブロックＣＢ２５の左横の白鍵ＫＹ３に対応したピッチオフセットを発生する。また、ブロックＣＢ２５が水平方向を向いているので、歌唱合成部は、ピッチ変化量として０を発生する。そして、歌唱合成部は、ブロックＣＢ２５に対応したフレーズの歌唱音を合成する場合に、ブロックＣＢ２５に対応したフレーズデータのピッチトラックを無視し、白鍵ＫＹ３に対応したピッチオフセットとピッチ変化量＝０を加算し、この加算結果に相当するピッチを持った歌唱音を合成する。従って、この場合、白鍵ＫＹ３のピッチでフレーズ「全力で」が発音される。
【００９２】
また、ユーザが文節「全力で」のフレーズに対応したブロックであって、右下がりに傾いたブロックＣＢ２２をタップしたとする。この場合、歌唱合成部は、ブロックＣＢ２２の左横の黒鍵ＫＹ２に対応したピッチオフセットを発生する。また、ブロックＣＢ２２が右下がりに傾いているので、歌唱合成部は、負の時間勾配で変化するピッチ変化量を発生する。そして、歌唱合成部は、ブロックＣＢ２２に対応したフレーズの歌唱音を合成する場合に、黒鍵ＫＹ２に対応したピッチオフセットと負の時間勾配で変化するピッチ変化量を加算し、この加算結果に相当するピッチを持った歌唱音を合成する。従って、この場合、黒鍵ＫＹ２のピッチから始まり、語尾に向かってピッチが低下するフレーズ「全力で」が発音される。
【００９３】
（１０）上記各実施形態では、フレーズの再生指示が与えられたときに、歌唱合成部がフレーズデータから歌唱音声波形を示す時系列データを合成した。しかし、このように再生時に歌唱合成を行う代わりに、歌詞を断片に区分した際に、各断片のフレーズデータとして、その断片の歌唱音声波形を示す時系列データを生成し、これをフレーズデータとして記憶し、再生指示が発生したときには、その対象であるフレーズデータをそのままサウンドシステムから音として出力してもよい。
【００９４】
（１１）上記各実施形態において、フリックによりブロックが１８０度回転された場合に、そのブロックに対応したフレーズを逆転再生させるようにしてもよい。
【００９５】
（１２）上記第３実施形態では、フレーズデータ生成機能、タップまたはフリックに応じたフレーズデータの再生機能、シーケンスデータ編集機能、シーケンスデータ再生機能を備えた歌唱合成装置を説明した。しかし、シーケンスデータ編集機能のみを備えたシーケンスデータ編集装置を構成してもよい。
【００９６】
（１３）上記各実施形態における歌唱合成装置は、辞書２５、フレーズデータベース２６、音声素片データベース２８、シーケンスデータベース２７を不揮発性メモリ２０内に記憶した。しかし、このような歌唱合成装置に設けられた記憶手段ではなく、外部の記憶手段に辞書２５、フレーズデータベース２６、音声素片データベース２８、シーケンスデータベース２７を記憶させ、インターネット等のネットワークを介してこれらのデータにアクセスすることにより歌唱合成を行う歌唱合成装置を構成してもよい。
【００９７】
（１４）上記第２実施形態では、ブロックのフリックが行われるのに応じて、そのブロックに対応したフレーズの発声時のピッチを変化させた。しかし、ピッチ以外のフレーズの発声態様を変化させてもよい。例えばブロックのフリックが行われるのに応じて、そのブロックに対応したフレーズの音量や再生スピードを変化させてもよい。
【００９８】
（１５）上記第３実施形態では、ブロックを傾ける操作が行われた場合、そのブロックに対応したフレーズの発声時のピッチにブロックの傾きに応じた時間変化を与えた。しかし、ピッチ以外のフレーズの発声態様にブロックの傾きに応じた時間変化を与えてもよい。例えばそのブロックに対応したフレーズの音量や再生スピードにブロックの傾きに応じた時間変化を与えてもよい。
【符号の説明】
【００９９】
１０…ＣＰＵ、２０…不揮発性メモリ、２１，２１Ｂ…歌唱合成プログラム、１００…フレーズデータ生成部、２００，２００Ａ…歌唱合成部、３００…シーケンスデータ編集部、４００…シーケンスデータ生成部、２５…辞書、２６…フレーズデータベース、２７…シーケンスデータベース、２８…音声素片データベース、３０…ＲＯＭ、４０…ＲＡＭ、５０…表示入力部、６０…サウンドシステム、７０…外部インタフェース群、１０１…歌詞解析部、１０２…発音記号生成部、１０３…フレーズデータ合成部、２２０…読出制御部、２３０…ピッチ変換部、２４０…素片連結部、２５０…音量制御部、３２０…ピッチ変化制御部、３０１…ピアノ鍵盤画像、３０２…シーケンスデータ編集エリア、３０３…ブロックレイアウトエリア。
【図１】
0006003195.tif 000002
【図２】
0006003195.tif 000003
【図３】
0006003195.tif 000004
【図４】
0006003195.tif 000005
【図５】
0006003195.tif 000006
【図６】
0006003195.tif 000007
【図７】
0006003195.tif 000008
【図８】
0006003195.tif 000009
【図９】
0006003195.tif 000010
【図１０】
0006003195.tif 000011
【図１１】
0006003195.tif 000012