(57)【要約】【課題】  任意の音韻に対応した歌唱音声をリアルタイムに合成する技術的手段を提供する。【解決手段】  ＭＩＤＩイベント生成部１２０は、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）に与えられる押鍵操作に基づきノートオンイベントを生成する。音声合成部１３０の音韻情報合成部１３１は、ノートオンイベントに含まれるベロシティに基づき、合成対象の歌唱音声の音韻を指定する音韻情報を生成する。音声合成部１３０は、ノートオンイベントのベロシティから得られた音韻情報が示す音韻に対応し、かつ、ノートオンイベントのノートナンバが示す音高を有する歌唱音声を合成する。【選択図】図１
2016080827.tif 000002
【特許請求の範囲】
【請求項１】
操作子に与えられる操作強度を示す情報を取得する操作強度情報取得部と、
前記操作強度情報取得部から供給される操作強度を示す情報に基づいて、合成対象である歌唱音声の音韻を指定する音韻情報を出力する音韻情報生成部と
を有することを特徴とする音韻情報合成装置。
【請求項２】
前記音韻情報は、前記操作強度を示す情報に対応付けられており、
前記音韻情報生成部は、前記操作強度情報取得部から操作強度を示す情報を取得すると、前記操作強度を示す情報に対応付けられた音韻情報を出力することを特徴とする請求項１に記載の音韻情報合成装置。
【請求項３】
２個の音韻情報を連続して出力させる操作子の操作が行われ、かつ、先発の音韻情報を出力させる操作子の操作の期間と後発の音韻情報を出力させる操作子の操作の期間が重複する場合に、後発の音韻情報として、先発の音韻情報が示す音韻から子音を省略した音韻を示す音韻情報を出力することを特徴とする請求項１または２に記載の音韻情報合成装置。
【請求項４】
請求項１〜３のいずれか１の請求項に記載の音韻情報合成装置が出力する音韻情報が示す音韻に対応した歌唱音声であって、前記操作子の操作により指定される音高を有する歌唱音声を合成する音声合成部を有することを特徴とする音声合成装置。
【請求項５】
前記操作子として鍵盤を有することを特徴とする請求項４に記載の音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成技術に関し、特に、操作子の操作に応じてリアルタイムに歌唱音声を合成する技術に関する。
【背景技術】
【０００２】
近年、音声合成技術の普及に伴い、シンセサイザ等の電子楽器が出力する楽音信号と音声合成装置が出力する歌唱音声信号とをミキシングして放音させることで、「歌の演奏」を実現したいというニーズが高まっている。そこで、種々の音声合成技術を採用した音声合成装置が提案されている。
【０００３】
ここで、各種の音韻と音高を有する歌唱音声を合成するためには、合成対象である歌唱音声の音韻と音高を指定する必要がある。そこで、第１の技術では、予め歌詞データを記憶しておき、押鍵操作に応じて歌詞データを順次読み出し、歌詞データが示す音韻に対応した歌唱音声であって、押鍵操作により指定された音高を有する歌唱音声を合成する。この種の技術は、例えば特許文献１および２に記載されている。また、第２の技術では、押鍵操作が行われる度に、例えば「ラ」といった特定の表音文字に対応した歌唱音声であって、押鍵操作により指定された音高を有する歌唱音声を合成する。また、第３の技術では、押鍵操作が行われる毎に、予め用意された複数の候補の中から文字をランダムに選択し、選択した文字が示す音韻に対応した歌唱音声であって、押鍵操作により指定された音高を有する歌唱音声を合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−０８３５６９号公報
【特許文献２】特開２０１２−０８３５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、第１の技術では、パーソナルコンピュータなど、文字入力が可能な装置が必要になる。このため、装置が大型化するだけでなく、その分コストも増加する。また、日本語が分からない外国人にとって、日本語の歌詞を入力することは困難である。さらに、英語では状況によって同一文字が異なる音韻で発音される場合（例えばｈａｖｅの後にｔｏが続く場合、ｖｅの音韻はｆとなる）があるが、このような単語を入力した場合、所望の音韻で発音されるかを事前に確認することは困難である。
【０００６】
第２の技術は、単に同じ音声（例えば、「ラ」）を繰り返すだけで、表現力豊かな歌詞を生成することはできない。このため、聴衆は、「ラ」という音声を繰り返しただけの退屈な音声を聴かされることになる。
【０００７】
第３の技術は、ユーザが望んでもいない意味のない歌詞が生成される虞がある。また、演奏時において、「同音連打」や「同じ旋律に戻る」といった繰り返し性をもたせたいシーンは多い。しかし、第３の技術では、ランダムに音声を再生するため、同じ歌詞が繰り返し再生される保証はない。
【０００８】
また、第１〜３の技術は、音韻を任意に決定し、任意の音高を持った歌唱音声としてリアルタイムに合成することができないため、即興的な歌唱合成を行うことができないという問題があった。
【０００９】
この発明は、以上説明した事情に鑑みてなされたものであり、任意の音韻に対応した歌唱音声をリアルタイムに合成する技術的手段を提供することを目的としている。
【課題を解決するための手段】
【００１０】
ジャズの分野では、歌唱者が簡単な言葉（例えば、「ダバダバ」「ドゥビドゥビ」）をメロディに合わせて即興的に歌うスキャットという歌唱法がある。このスキャットでは、他の歌唱法と異なり、意味のある言葉（例えば、「さいたさいたさくらのはなが」）を数多く生成する技術は必要ないものの、演奏者の希望に沿った音声をメロディに合わせつつリアルタイムに生成する技術が要求される。そこで、この発明では、このスキャットに最適な歌唱音声を合成する技術を提供する。
【００１１】
すなわち、この発明は、操作子に与えられる操作強度を示す情報を取得する操作強度情報取得部と、前記操作強度情報取得部から供給される操作強度を示す情報に基づいて、合成対象である歌唱音声の音韻を指定する音韻情報を出力する音韻情報生成部とを有することを特徴とする音韻情報合成装置を提供する。
【００１２】
かかる発明によれば、操作子に与える操作強度に基づき合成すべき歌唱音声の音韻を指定する音韻情報が出力される。従って、ユーザは操作子に与える操作強度を適宜調整することにより、合成対象である歌唱音声の音韻を任意に変えることができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の一実施形態である音声合成装置１の構成を示すブロック図である。
【図２】同実施形態において鍵盤の各鍵に対応付けられたノートナンバの一例を示す図である。
【図３】同実施形態においてチャネル０〜８から出力される検出電圧の一例を示す図である。
【図４】同実施形態においてノートオンイベントおよびノートオフイベントの一例を示す図である。
【図５】同実施形態における音声合成部１３０の構成を示すブロック図である。
【図６】同実施形態における歌詞変換テーブルの一例を示す図である。
【図７】同実施形態において音韻情報合成部１３１および音高情報抽出部１３２が実行する処理を示すフローチャートである。
【図８】スラーの演奏に対応した音声合成装置１において、チャネル０〜８から出力される検出電圧の一例を示す図である。
【図９】スラーの演奏に対応した音声合成装置１の効果を説明する図である。
【図１０】マレットで鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を打撃した際に、各チャネルから出力される検出電圧の一例を示す図である。
【図１１】鍵１５０＿ｋ（ｋ＝０〜ｎ−１）に与えられる操作圧力、および音声合成装置１から放音される音声の音量を示す図である。
【図１２】マレット用に設けた歌詞変換テーブルの一例を示す図である。
【図１３】歌詞変換テーブルの選択時に使用する調整つまみの例を示す図である。
【発明を実施するための形態】
【００１４】
図１は、この発明の一実施形態である音声合成装置１の構成を示すブロック図である。図１に示すように音声合成装置１は、鍵盤１５０と、操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）と、ＭＩＤＩイベント生成部１２０と、音声合成部１３０と、スピーカ１４０とを有する。
【００１５】
鍵盤１５０は、ｎ個（ｎは複数であり、例えばｎ＝８８）の鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を備えている。これらの鍵１５０＿ｋ（ｋ＝０〜ｎ−１）には、音高を指定するノートナンバが割り当てられており、ユーザは合成対象である歌唱音声の音高を指定するために、所望の音高に対応した鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を押鍵する。図２は、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の中の９個の鍵１５０＿０〜１５０＿８に割り当てられたノートナンバが例示されている。この例では、各鍵１５０＿ｋ（ｋ＝０〜ｎ−１）にＭＩＤＩ形式のノートナンバが割り当てられている。
【００１６】
操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）は、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）に与えられる操作強度を示す情報を各々出力する。ここで、操作強度とは、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）に与えられる操作圧力や、押鍵時における鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の操作速度のことをいう。本実施形態において操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）は、操作強度として、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）に与えられる操作圧力を示す検出信号を各々出力する。この操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）は、各々感圧センサを有する。各操作強度検出部１１０＿ｋの感圧センサには、各鍵１５０＿ｋの押鍵の際に各鍵に与えられる操作圧力が伝達される。各操作強度検出部１１０＿ｋは、各々の感圧センサに与えられる操作圧力に応じた検出電圧を出力する。なお、各々の感圧センサのキャリブレーションや各種設定を行うために、操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）に、別途感圧センサを設けてもよい。
【００１７】
ＭＩＤＩイベント生成部１２０は、操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）が出力する検出電圧に基づいて、歌唱音声の合成を制御するＭＩＤＩイベントを生成する装置であり、ＣＰＵおよびＡ／Ｄ変換器を含むモジュールにより構成されている。
【００１８】
ＭＩＤＩイベント生成部１２０が生成するＭＩＤＩイベントは、ノートオンイベントとノートオフイベントとを含む。これらのＭＩＤＩイベントの生成方法は、次の通りである。
【００１９】
まず、操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）が出力する各検出電圧は、チャネル０〜ｎ−１を各々介してＭＩＤＩイベント生成部１２０のＡ／Ｄ変換器に供給される。Ａ／Ｄ変換器は、時分割制御により、チャネル０〜ｎ−１を順次選択し、チャネル毎に検出電圧を一定のサンプリングレートでサンプリングし、１０ビットのデジタル値に変換する。
【００２０】
ＭＩＤＩイベント生成部１２０は、あるチャネルｋの検出電圧（デジタル値）が所定の閾値を上回ったとき鍵盤１５０＿ｋのノートオンがあったとみなし、ノートオンイベントおよびノートオフイベントを生成する処理を実行する。
【００２１】
図３（ａ）は、チャネル０〜８を介して得られる検出電圧を例示している。この例では、サンプリング周期が１０ｍｓ、基準電圧が３．３ＶのＡ／Ｄ変換器によりＡ／Ｄ変換された検出電圧が、１０ビットのデジタル値で示されている。図３（ｂ）は、図３（ａ）に示す測定値をグラフ化したものである。このグラフの縦軸は検出電圧を示し、横軸は時刻を示している。
【００２２】
例えば閾値が５００であるとすると、図３（ｂ）に示す例では、チャネル４および５から出力される検出電圧が閾値５００を越えている。従って、ＭＩＤＩイベント生成部１２０は、チャネル４および５について、ノートオンイベントとノートオフイベントを生成する。
【００２３】
また、ＭＩＤＩイベント生成部１２０は、あるチャネルｋの検出電圧が所定の閾値を上回った場合、その検出電圧がピークに達した時刻をノートオン時刻とし、そのノートオン時刻における検出電圧に基づいてノートオンのベロシティを算出する。より詳細には、以下の算出式を用いてベロシティを算出する。以下の式において、ＶＥＬはベロシティ、Ｅはノートオン時刻における検出電圧（デジタル値）、ｋは変換係数（ただし、ｋ＝０．０００１２１）である。この算出式から求まるベロシティＶＥＬは、ＭＩＤＩ規格で規定されたベロシティのとり得る範囲である０〜１２７の間の値をとる。
ＶＥＬ＝Ｅ×Ｅ×ｋ                        ……（１）
【００２４】
また、ＭＩＤＩイベント生成部１２０は、あるチャネルｋの検出電圧が所定の閾値を上回った後、ピークに達し、その後、低下を開始した時刻をノートオフ時刻とし、そのノートオフ時刻における検出電圧に基づいてノートオフのベロシティを算出する。ベロシティの算出式は、ノートオンの場合と同様である。
【００２５】
また、ＭＩＤＩイベント生成部１２０は、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）に対して割り当てられたノートナンバ（図２参照）を示すテーブルを記憶している。ＭＩＤＩイベント生成部１２０は、あるチャネルｋの検出電圧から鍵１５０＿ｋのノートオンを検知したとき、このテーブルを参照することにより、鍵１５０＿ｋのノートナンバを求める。また、ＭＩＤＩイベント生成部１２０は、あるチャネルｋの検出電圧から鍵１５０＿ｋのノートオフを検知したとき、このテーブルを参照することにより、鍵１５０＿ｋのノートナンバを求める。
【００２６】
そして、ＭＩＤＩイベント生成部１２０は、あるチャネルｋの検出電圧に基づいて、鍵１５０＿ｋのノートオンを検知したとき、ノートオン時刻におけるベロシティおよびノートナンバを含むノートオンイベントを生成し、音声合成部１３０に与える。また、ＭＩＤＩイベント生成部１２０は、あるチャネルｋの検出電圧に基づいて、鍵１５０＿ｋのノートオフを検知したとき、ノートオフ時刻におけるベロシティおよびノートナンバを含むノートオフイベントを生成し、音声合成部１３０に与える。
【００２７】
図４は、ＭＩＤＩイベント生成部１２０により生成されたノートオンイベントおよびノートオフイベントの一例を示す図である。図４に示すベロシティは、図３（ｂ）に示した検出電圧の測定値を基に生成されたものである。図４に示すように、時刻１３において発生したノートオンイベントが示すベロシティは１００、ノートナンバは０ｘ３５である。また、時刻１５において発生したノートオフイベントが示すベロシティは１０５、ノートナンバは０ｘ３５である。また、時刻１７において発生したノートオンイベントが示すベロシティは６８、ノートナンバは０ｘ３７である。また、時刻１８において発生したノートオフイベントが示すベロシティは６８、ノートナンバは０ｘ３７である。
【００２８】
図５は、本実施形態における音声合成部１３０の構成を示すブロック図である。音声合成部１３０は、ノートオンイベントのベロシティから得られた音韻情報が示す音韻に対応し、かつ、ノートオンイベントのノートナンバが示す音高を有する歌唱音声を合成する手段である。図５に示すように、音声合成部１３０は、音声合成パラメータ生成部１３０Ａ、音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎ、記憶部１３０Ｃおよび出力部１３０Ｄを有する。音声合成部１３０は、歌唱音声信号の合成を行うｎ個の音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎを利用して同時に最大ｎ個の歌唱音声信号を合成することが可能である。
【００２９】
音声合成パラメータ生成部１３０Ａは、音韻情報合成部１３１および音高情報抽出部１３２を有する。音声合成パラメータ生成部１３０Ａは、歌唱音声信号を合成するための音声合成パラメータを生成する。
【００３０】
音韻情報合成部１３１は、操作強度情報取得部１３１Ａと音韻情報生成部１３１Ｂを有する。操作強度情報取得部１３１Ａは、操作強度を示す情報、すなわち、ベロシティを含むＭＩＤＩイベントをＭＩＤＩイベント生成部１２０から取得する。操作強度情報取得部１３１Ａは、取得したＭＩＤＩイベントがノートオンイベントである場合、ｎ個の音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎの中から空いている音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎを選択し、取得したノートオンイベントに対応した音声合成処理を当該音声合成チャネルに割り当てる。また、操作強度情報取得部１３１Ａは、選択した音声合成チャネルのチャネルナンバと、その音声合成チャネルに割り当てた音声合成のノートオンイベントのノートナンバを対応付けて記憶する。操作強度情報取得部１３１Ａは、上記処理を実行すると、取得したノートオンイベントを音韻情報生成部１３１Ｂに出力する。
【００３１】
音韻情報生成部１３１Ｂは、操作強度情報取得部１３１Ａからノートオンイベントを受け取ると、当該ノートオンイベントに含まれるベロシティ（すなわち、操作子である鍵に与えられる操作強度）に基づいて、合成対象である歌唱音声の音韻を指定する音韻情報を生成する。
【００３２】
音声合成パラメータ生成部１３０Ａは、ノートオンイベントのベロシティから音韻情報を生成するために、ベロシティの大きさ毎に音韻情報を設定した歌詞変換テーブルを記憶している。図６は、歌詞変換テーブルの一例を示す図である。図６に示すように、ベロシティは大きさに応じて、ＶＥＬ＜５９、５９≦ＶＥＬ≦７９、８０≦ＶＥＬ≦９９、９９＜ＶＥＬの４つの範囲に区分されている。そして、これら４つの範囲に対して、合成すべき歌唱音声の音韻が設定されている。また、各々の範囲に設定された音韻は、歌詞１〜歌詞５でそれぞれ異なっている。歌詞１〜歌詞５は、それぞれ曲のジャンル別に用意されたものであり、各ジャンルの曲で使用するのに最もふさわしい音韻が歌詞１〜歌詞５に含まれている。例えば、歌詞５は、「ダ」「デ」「ドゥ」「バ」といった比較的強い印象を与える音韻が含まれており、ジャズを演奏する際に使用するのが望ましい。また、歌詞２は、「ダ」「ラ」「ラ」「ン」といった比較的優しい印象を与える音韻が含まれており、バラードを演奏する際に使用するのが望ましい。
【００３３】
好ましい態様では、歌詞１〜歌詞５のうち、いずれの歌詞を採用するかをユーザが適宜選択できるように、歌詞選択用の調整つまみ等が音声合成装置１に設けられている。この態様において、ユーザにより歌詞１が選択された場合、音声合成パラメータ生成部１３０Ａの音韻情報生成部１３１Ｂは、ノートオンイベントから取り出したベロシティＶＥＬが、ＶＥＬ＜５９を満たす場合は「ン」を、５９≦ＶＥＬ≦７９を満たす場合は「ル」を、８０≦ＶＥＬ≦９９の場合は「ラ」を、ＶＥＬ＞９９を満たす場合は「パ」を指定する音韻情報を出力する。このようにしてノートオンイベントから音韻情報が得られると、音韻情報生成部１３１Ｂは、ノートオンイベントに対応した音声合成処理が割り当てられた音声合成チャネルの読出制御部１３４に当該音韻情報を出力する。
【００３４】
また、音韻情報生成部１３１Ｂは、ノートオンイベントからベロシティを抽出すると、ノートオンイベントに対応した音声合成処理が割り当てられた音声合成チャネルのエンベロープ生成部１３７に当該ベロシティを出力する。
【００３５】
音高情報抽出部１３２は、音韻情報生成部１３１Ｂからノートオンイベントを受け取ると、当該ノートオンイベントに含まれるノートナンバを抽出し、合成対象である歌唱音声の音高を指定する音高情報を生成する。音高情報抽出部１３２は、ノートナンバを抽出すると、ノートオンイベントに対応した音声合成処理が割り当てられた音声合成チャネルのピッチ変換部１３５に当該ノートナンバを出力する。
以上が音声合成パラメータ生成部１３０Ａの構成である。
【００３６】
記憶部１３０Ｃは、素片データベース１３３を有する。素片データベース１３３は、無音から子音への遷移部分、子音から母音への遷移部分、母音の伸ばし音、母音から無音への遷移部分等、歌唱音声の素材となる各種の音声素片の波形を示す音声素片データの集合体である。素片データベース１３３には、音韻情報が示す音韻を生成するために必要な素片データが記憶されている。
【００３７】
音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎは、読出制御部１３４、ピッチ変換部１３５、素片波形出力部１３６、エンベロープ生成部１３７および乗算部１３８を有する。音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎは、音声合成パラメータ生成部１３０Ａから取得した音韻情報、ノートナンバ、ベロシティ等の音声合成パラメータを基に歌唱音声信号を合成する。図５に示す例では、図面が煩雑になるのを防止するため、音声合成チャネル１３０Ｂ＿２〜１３０Ｂ＿ｎの図示を簡略化している。しかし、これらの音声合成チャネルも音声合成チャネル１３０Ｂ＿１と同様に、音声合成パラメータ設定部１３０Ａから取得した各種音声合成パラメータを基に歌唱音声信号を合成する。音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎが実行する各種処理は、ＣＰＵに実行させてもよいし、別途設けたハードウェアに実行させてもよい。
【００３８】
読出制御部１３４は、音韻情報生成部１３１Ｂから供給された音韻情報が示す音韻に対応する素片データを素片データベース１３３から読み出し、当該素片データをピッチ変換部１３５に出力する。
【００３９】
ピッチ変換部１３５は、読出制御部１３４から素片データを取得すると、当該素片データを、音高情報抽出部１３２から供給されたノートナンバが示す音高を有する素片データ（ピッチ変換の施された素片波形のサンプルデータ）に変換する。そして、素片波形出力部１３６はピッチ変換部１３５が順次生成する素片データを時間軸上において滑らかに接続して乗算部１３８に出力する。
【００４０】
エンベロープ生成部１３７は、音韻情報生成部１３１Ｂから取得したベロシティを基に、合成対象である歌唱音声信号のエンベロープ波形のサンプルデータを生成し、乗算部１３８に出力する。
【００４１】
乗算部１３８は、素片波形出力部１３６から供給される素片データと、エンベロープ生成部１３７から供給されるエンベロープ波形のサンプルデータを乗算し、乗算結果である歌唱音声信号（デジタル信号）を出力部１３０Ｄに出力する。
【００４２】
出力部１３０Ｄは加算器１３９を有し、音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎから歌唱合成信号を受け取ると各々を加算する。加算結果である歌唱音声信号は図示しないＤ／Ａ変換器によってアナログ信号に変換され、スピーカ１４０から音声として放音される。
【００４３】
一方、操作強度情報取得部１３１Ａは、ＭＩＤＩイベント生成部１２０からノートオフイベントを受け取ると、そのノートオフイベントからノートナンバを取り出す。そして、操作強度情報取得部１３１Ａは、この取り出したノートナンバの音声合成処理が割り当てられた音声合成チャネルを特定し、その音声合成チャネルのエンベロープ生成部１３７に減衰指令を送る。これにより、エンベロープ生成部１３７は、乗算器１３８に供給するエンベロープ波形を減衰させる。この結果、当該音声合成チャネルによる歌唱音声信号の出力が停止する。
【００４４】
図７は、音韻情報合成部１３１および音高情報抽出部１３２が実行する処理を示すフローチャートである。操作強度情報取得部１３１Ａは、ＭＩＤＩインベント生成部１２０からＭＩＤＩイベントを受信したか否かを判断し（ステップＳ１）、判断結果が「ＹＥＳ」になるまで同判断を繰り返す。
【００４５】
操作強度情報取得部１３１Ａは、ステップＳ１の判断結果が「ＹＥＳ」になると、当該ＭＩＤＩイベントがノートオンイベントか否かを判断する（ステップＳ２）。操作強度情報取得部１３１Ａは、ステップＳ２の判断結果が「ＹＥＳ」の場合、音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎの中から空いている音声合成チャネルを選択し、取得したノートオンイベントに対応した音声合成処理を当該音声合成チャネルに割り当てる（ステップＳ３）。また、操作強度情報取得部１３１Ａは、取得したノートオンイベントが含むノートナンバを、選択した音声合成チャネル１３０Ｂ＿１〜１３０Ｂ＿ｎのチャネルナンバに対応付ける（ステップＳ４）。ステップＳ４の処理が完了すると、操作強度情報取得部１３１Ａは、当該ノートオンイベントを音韻情報生成部１３１Ｂに供給する。音韻情報生成部１３１Ｂは、操作強度情報取得部１３１Ａからノートオンイベントを受け取ると、当該ノートオンイベントからベロシティを抽出する（ステップＳ５）。そして、音韻情報生成部１３１Ｂは、歌詞変換テーブルを参照し当該ベロシティに対応した音韻情報を取得する（ステップＳ６）。
【００４６】
ステップＳ６の処理が完了すると、音高情報抽出部１３２は、音韻情報生成部１３１Ｂからノートオンイベントを取得し、当該ノートオンイベントからノートナンバを抽出する（ステップＳ７）。
【００４７】
音韻情報生成部１３１Ｂは、以上のようにして得られた音韻情報、ノートナンバ、ベロシティを音声合成パラメータとして、それぞれ読出制御部１３４、ピッチ変換部１３５およびエンベロープ生成部１３７に出力する（ステップＳ８）。ステップＳ８の処理が完了すると、ステップＳ１に戻り、以上説明したステップＳ１〜Ｓ８の処理を繰り返す。
【００４８】
一方、ＭＩＤＩイベントとしてノートオフイベントが受信されると、ステップＳ１の判断結果が「ＹＥＳ」、ステップＳ２の判断結果が「ＮＯ」となってステップＳ１０に進む。このステップＳ１０において、操作強度情報取得部１３１Ａは、ノートオフイベントからノートナンバを取り出し、そのノートナンバの音声合成処理を割り当てた音声合成チャネルを特定する（ステップＳ１０）。そして、当該音声合成チャネルのエンベロープ生成部１３７に減衰指令を出力する（ステップＳ１１）。
【００４９】
本実施形態における音声合成装置１によれば、音声合成部１３０の音韻情報合成部１３１は、鍵１５０＿ｋの押鍵によりノートオンイベントが与えられた場合に、そのノートオンイベントから鍵１５０＿ｋに与えられる操作強度を示すベロシティを取り出し、このベロシティの大きさに基づいて、合成対象である歌唱音声の音韻を示す音韻情報を生成する。このため、ユーザは、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）に与える押圧操作の操作強度を適宜調整することにより、合成対象である歌唱音声の音韻を任意に変えることができる。
【００５０】
また、音声合成装置１によると、ユーザが鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の押圧操作を開始してから合成すべき音声の音韻が決まる。すなわち、ユーザは鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を押圧する直前まで、合成すべき音声の音韻を選択する余地がある。従って、音声合成装置１によると、即興性に富んだ歌声を提供することができるため、スキャットを演奏したいユーザのニーズに応えることができる。
【００５１】
また、音声合成装置１によると、歌詞変換テーブルには、ジャズやバラード等の様々なジャンルの演奏に対応した歌詞が用意されている。従って、ユーザは、自身が演奏するジャンルに応じた歌詞を適宜選択することにより、聴いていて心地の良い歌声を聴衆に提供することができる。
【００５２】
＜他の実施形態＞
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば、以下の通りである。
【００５３】
（１）図３（ｂ）に示す例では、最初に鍵１５０＿４が押鍵され、同鍵１５０＿４が離鍵盤された後、鍵１５０＿５が押鍵されている。しかし、鍵盤演奏では、必ずしもこのように先行するノートオンと対をなすノートオフがあってから、後続のノートオンが発生するとは限らない。例えば、アーティキュレーションの一例としてスラーを演奏する場合、ある鍵が押鍵された後、当該鍵の離鍵が行われる前に、他の鍵が押鍵される。このように先発の音韻情報を出力させる押鍵操作の期間と後発の音韻情報を出力させる押鍵操作の期間が重複する場合、最初に押鍵された鍵の押鍵に基づき放音される歌唱音声と、その後に押鍵された鍵の押鍵に基づき放音される歌唱音声が滑らかにつながると、表現豊かな歌唱となる。そこで、上記実施形態において、ある鍵が押鍵された後、当該鍵の離鍵が行われる前に、他の鍵が押鍵された場合、音韻情報合成部１３１は、後発のノートオンイベントに対応した音韻情報として、先行のノートオンイベントのベロシティから発生した音韻情報が示す音韻から子音を省略した音韻を示す音韻情報を出力するようにしてもよい。これにより、先に放音される音声の音韻と、後に放音される音声の音韻が滑らかにつながり、スラーが実現される。
【００５４】
図８（ａ）および（ｂ）は、スラー演奏に対応した音声合成装置１において、各チャネルから出力される検出電圧の一例を示す図である。この例では、図８（ｂ）に示すように、チャネル４の検出電圧が減衰する前に、チャネル５の検出電圧が上昇している。このため、鍵１５０＿４のノートオフイベントの発生前に、鍵１５０＿５のノートオンイベントが発生する。
【００５５】
図９（ａ）〜（ｃ）には、音声合成装置１に放音させる歌唱音声の音高を示した楽譜が図示されている。ただし、図９（ｃ）に示す楽譜にのみ、スラーがかかっている音階がある。また、図９（ａ）には、ベロシティが示されている。音韻情報合成部１３１は、このベロシティに基づき合成すべき歌唱音声の音韻を決定する。図９（ｂ）および（ｃ）には、図９（ａ）に示すベロシティに基づき、音声合成装置１が合成すべき音声の音韻が図示されている。図９（ｂ）および（ｃ）を対比すると、スラーがかかっていない音階では、図９（ｂ）および（ｃ）ともに、合成すべき歌唱音声の音韻は同一である。一方、スラーがかかっている音階では、合成すべき音声の音韻が異なっている。より具体的には、図９（ｃ）に示すように、スラーがかかっている音階では、後に放音される音声の音韻の子音が省略された結果、先に放音される音声の音韻と後に放音される音声の音韻が滑らかにつながっている。例えばスラー演奏でない場合は、「ランララル」と歌唱音声が放音されているが（図９（ｂ）参照）、この部分の最後から２番目の「ラ」に対応した音符と最後の「ル」に対応した音符のスラー演奏が行われると、先行のノートオンイベントのベロシティから生成した音韻情報が示す音韻「ラ」から子音を省略した音韻「ア」を示す音韻情報が後発のノートオンに対応した音韻情報として出力される。このため、図９（ｃ）に示すように「ランララー」という歌唱が行われる。
【００５６】
（２）上記実施形態では、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を指で押圧することにより、操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）が有する感圧センサに操作圧力を与えた。しかし、例えば、音声合成装置１をグロッケンやシロフォン等の鍵盤打楽器に設け、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）をマレットで打撃する際の操作圧力を操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）が有する感圧センサに与えてもよい。ただし、この場合、以下の２点に留意する必要がある。
【００５７】
まず、マレットで鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を打撃して感圧センサに操作圧力を与える場合、指で鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を押鍵する場合よりも、感圧センサを押圧している時間が短くなる。このため、ノートオンからノートオフまでの時間が短くなり、音声合成装置１は、わずかな時間しか歌唱音声を放音することができない。図１０（ａ）および（ｂ）は、マレットで鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を打撃した際に、各チャネルから出力される検出電圧の一例を示す図である。この例では、図１０（ｂ）に示すように、チャネル４および５ともに、打撃による操作圧力の変化は、約２０ミリ秒間で完結している。従って、何ら策を講じないと、音声合成装置１が歌唱音声を放音することができる時間は約２０ミリ秒間となる。
【００５８】
そこで、音声合成装置１に、より長い時間音声を放音させるため、ＭＩＤＩイベント生成部１２０の構成を変更し、打撃による操作圧力が閾値を越えることによりノートオンイベントを発生し、操作圧力が閾値を下回ってから所定時間遅れてノートオフイベントを発生するようにする。図１１は、感圧センサに与えられる操作圧力、および音声合成装置１から放音される音声の音量を示す図である。図１１に示すように、ノートオンイベントが発生してから十分な時間が経過した後にノートオフイベントが発生しているため、急激に操作圧力が変化したとしても音量が急激に減衰することはなく、しばらくの間持続していることが分かる。
【００５９】
次に、マレットで鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を打撃する場合、指で鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を押鍵するよりも、感圧センサに瞬間的に高い操作圧力が加わる傾向がある。このため、操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）で検出される検出電圧の値が大きくなり、大きな値のベロシティが算出される傾向がある。この結果、音声合成装置１から放音される音声の音韻は、ベロシティが大きいときに合成すべき音声の音韻として決定される「パ」や「ダ」が多くなる。
【００６０】
そこで、図６に示した歌詞変換テーブルにおいて、ベロシティの設定値を変更し、マレット用の歌詞変換テーブルを別途作成する。図１２は、マレット用に作成した歌詞変換テーブルの一例を示す図である。図１２に示す歌詞変換テーブルでは、図６に示した歌詞変換テーブルよりも、「パ」や「ラ」の音韻に対するベロシティの設定値が大きくなっている。このように、「パ」や「ラ」の音韻に対するベロシティの設定値を大きくすることにより、「パ」や「ラ」の音韻が、音韻情報合成部１２０により合成すべき音声の音韻として決定される機会を強制的に減少させるのである。なお、ユーザがマレット用の歌詞変換テーブルと通常の歌詞変換テーブルを適宜選択できるよう、歌詞変換テーブル選択用の調整つまみ等を音声合成装置１に設けてもよい。また、歌詞変換テーブルのベロシティの設定値を変更する代わりに、前述したベロシティの算出式を変更し、算出されるベロシティの値が小さくなるようにしてもよい。
【００６１】
（３）上記実施形態では、操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）に設けた感圧センサにより操作圧力を検出した。そして、感圧センサが検出する操作圧力に基づき、ベロシティを求めた。しかし、操作強度検出部１１０＿ｋ（ｋ＝０〜ｎ−１）は、操作強度として、押鍵時における鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の操作速度を検出してもよい。この場合、例えば、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の各々について、各々異なる押鍵深度においてＯＮとなる複数の接点を設け、それらの接点のうち、２つの接点のＯＮになる時間差を利用して当該鍵の操作速度（押鍵速度）を示すベロシティを求めてもよい。あるいは、このような複数の接点と感圧センサとを併用して、操作速度と操作圧力の両方を測定し、例えば操作速度と操作圧力の重み付け加算等を行うことにより操作強度を算出し、ベロシティとして出力するようにしてもよい。
【００６２】
（４）合成すべき音声の音韻として、日本語にない音韻を歌詞変換テーブルに設定してもよい。例えば、英語等で発音される「ア」と「イ」の中間的な音韻や、「ア」と「ウ」の中間的な音韻や、「ダ」と「ディ」の中間的な音韻を設定してもよい。これにより、表現豊かな音声をユーザに提供することができる。
【００６３】
（５）上記実施形態では、ユーザからの操作圧力を取得するための手段として鍵盤を用いた。しかし、ユーザからの操作圧力を取得するための手段は鍵盤に限定されない。例えば、エレクトーンのフットペダルに加わる足圧を操作強度として検出し、検出した操作強度に基づき合成すべき音声の音韻を決定してもよい。あるいはタッチパネルに加わる指の接触圧、ボールのような操作子を握る手の握力、管のような物に吹きこまれる息の圧力を操作強度として検出し、検出した操作強度に基づき合成すべき音声の音韻を決定してもよい。
【００６４】
（６）歌唱合成テーブルに設定された曲のジャンルを設定したり、合成すべき音声の音韻をユーザが視認するための手段を設けてもよい。図１３は、歌詞変換テーブルの選択時に使用する調整つまみの例を示す図である。図１３に示すように、曲のジャンル（歌詞１〜歌詞５）を選択するための調整つまみＳと、調整つまみＳを用いて選択した曲のジャンルや合成すべき音声の音韻を表示する表示画面Ｄを音声合成装置１に設ける。これにより、ユーザは調整つまみを回すことで曲のジャンルを設定することができるとともに、設定した曲のジャンルと合成すべき音声の音韻を視認することができる。
【００６５】
（７）歌唱合成装置１にインターネット等の通信ネットワークに接続するための通信手段を設けてもよい。これにより、ユーザは歌唱合成装置１を用いて合成した音声をインターネット配信し、多くの視聴者に音声を配信することができる。この場合、合成した音声が視聴者の好みに合うものであれば視聴者数が多くなるが、合成した音声が視聴者に好みに合うものでなければ視聴者数は減少する。そこで、視聴者数に応じて歌詞変換テーブルの音韻の内容を変更してもよい。これにより、視聴者の希望に合った音声を提供することができる。
【００６６】
（８）音声合成部１３０は、ベロシティの大きさに基づき合成すべき音声の音韻を決定するだけでなく、合成すべき音声の音量を決定してもよい。例えば、ベロシティが小さい場合（例えば、１０）は非常に小さな音量で「ン」を発音し、ベロシティが大きい場合（例えば、１２７）は非常に大きい音量で「パ」を発音する。これにより、ユーザは表現豊かな音声を得ることができる。
【００６７】
（９）上記実施形態では、ユーザが指で鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を押圧した際に発生する操作圧力を感圧センサで検出し、検出した操作圧力を基にベロシティを算出した。しかし、ユーザが鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を押圧した際の、指と鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の間の接触面積を基にベロシティを算出してもよい。この場合、ユーザが強く鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を押鍵した際には接触面積が大きくなり、ユーザが弱く鍵１５０＿ｋ（ｋ＝０〜ｎ−１）を押鍵した際には接触面積が小さくなる。このように、操作圧力と接触面積の間には相関関係があるため、接触面積の変化量に基づきベロシティを算出することができる。
【００６８】
上記方法を用いてベロシティを算出する場合、鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の代わりにタッチパネルを用い、指とタッチパネルの間の接触面積や、その変化率を基にベロシティを算出してもよい。
【００６９】
（１０）鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の各部に位置センサを設けてもよい。例えば、位置センサを鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の手前側と奥側に設置する。この場合、ユーザが鍵１５０＿ｋ（ｋ＝０〜ｎ−１）の手前側を押鍵した際には、「ダ」や「パ」といった強い印象を与える音声を放音し、奥側を押鍵した際には「ラ」や「ン」といった弱い印象を与える音声を放音してもよい。これにより、音声合成装置１が放音する音声のバリエーションを増やすことができる。
【００７０】
（１１）上記実施形態では、音声合成部１３０が音韻情報合成部１３１を含んでいたが、操作子に対する操作強度に基づいて、合成対象である歌唱音声の音韻を指定する音韻情報を出力する音韻情報合成装置を独立した装置として構成してもよい。例えば、この音韻情報合成装置が、ＭＩＤＩ楽器からＭＩＤＩイベントを受け取り、ＭＩＤＩイベントのノートオンイベントのベロシティから音韻情報を生成し、この音韻情報をノートオンイベントとともに音声合成装置に供給するようにしてもよい。この態様においても上記実施形態と同様な効果が得られる。
【００７１】
（１２）上記実施形態における音声合成装置１を鍵盤電子楽器や電子パーカッションに設け、通常の鍵盤電子楽器や電子パーカッションとして機能させるか、スキャットを歌唱する音声合成装置として機能させるかを切り換えられるように構成してもよい。なお、電子パーカッションに音声合成装置１を設ける場合、歌詞１に対応した電子パーカッション、歌詞２に対応した電子パーカッション、…、歌詞ｎに対応した電子パーカッションを設けることにより、ユーザに一度に複数の歌詞に対応した電子パーカッションを演奏させてもよい。
【００７２】
（１３）上記実施形態では、図６に示すようにベロシティをその大きさに応じて４つの範囲に区分し、各区分に対し音韻を設定した。そして、ユーザは、所望の音韻を指定するために、当該音韻に対応するベロシティの範囲に入るように操作圧力を調整した。しかし、ベロシティを区分する範囲は４つに限定されるものではなく、適宜変更してもよい。例えば、本装置の操作に不慣れなユーザにとっては、ベロシティをその大きさに応じて２つや３つの範囲に区分するのが望ましい。これにより、ユーザは操作圧力を細かく調整する必要がなくなる。一方、操作に習熟したユーザにとっては、ベロシティを区分する範囲をさらに細かくするのが望ましい。ベロシティを区分する範囲が増加するほど、設定される音韻も増加するため、ユーザはより多くの音韻を指定することができるからである。
【００７３】
また、歌詞毎にベロシティの設定値を変更してもよい。すなわち、全ての歌詞において、ベロシティの範囲を、ＶＥＬ＜５９、５９≦ＶＥＬ≦７９、８０≦ＶＥＬ≦９９、９９＜ＶＥＬとする必要はなく、ベロシティの範囲を分ける閾値を歌詞毎に変更してもよい。
【００７４】
また、図６に示す歌詞変換テーブルでは、歌詞１〜歌詞５の５種類の歌詞を設定したが、さらに多くの歌詞を設定してもよい。
【００７５】
（１４）上記実施形態では、図６に示すように、歌詞変換テーブルには５０音の音韻を設定したが、５０音にはない音韻を設定してもよい。例えば、日本語にはない音韻や、２つの音韻の中間的な音韻（２つの音韻をモーフィングした音韻）を設定してもよい。後者の例として、次のような態様が考えられる。まず、ＶＥＬ≧９９の範囲には音韻「パ」を、ＶＥＬ＝８０の範囲には音韻「ラ」を、ＶＥＬ≦４９の範囲には音韻「ン」を設定するものとする。ここで、ベロシティＶＥＬが９９＞ＶＥＬ＞８０の範囲内である場合には、ベロシティＶＥＬの閾値９９までの距離に応じた強度の音韻「パ」とベロシティＶＥＬの閾値８０までの距離に応じた強度の音韻「ラ」とを合成した中間的な音韻を合成音の音韻とする。また、ベロシティＶＥＬが８０＞ＶＥＬ＞４９の範囲内である場合には、ベロシティＶＥＬの閾値８０までの距離に応じた強度の音韻「ラ」とベロシティＶＥＬの閾値４９までの距離に応じた強度の音韻「ン」とを合成した中間的な音韻を合成音の音韻とする。この態様によれば、操作強度を徐々に変化させていくことにより、音韻を滑らかに変化させることができる。
【００７６】
後者の例として、次のような他の態様も考えられる。上記態様と同様、ＶＥＬ≧９９の範囲には音韻「パ」を、ＶＥＬ＝８０の範囲には音韻「ラ」を、ＶＥＬ≦４９の範囲には音韻「ン」を設定するものとする。ここで、ベロシティＶＥＬが９９＞ＶＥＬ＞８０の範囲内である場合には、音韻「パ」と音韻「ラ」とを所定の強度比で合成した中間的な音韻を合成音の音韻とする。また、ベロシティＶＥＬが８０＞ＶＥＬ＞４９の範囲内である場合には、音韻「ラ」と音韻「ン」とを所定の強度比で合成した中間的な音韻を合成音の音韻とする。この態様な演算量が少なくて済む利点がある。
【００７７】
（１５）上記実施形態における音韻情報合成装置をネットワークに接続されたサーバに設け、ネットワークに接続されたパーソナルコンピュータ等の端末がサーバ内の音韻情報合成装置を利用して、操作強度を示す情報を音韻情報に変換するようにしてもよい。あるいは音韻情報合成装置を含む音声合成装置をサーバに設け、端末がこのサーバ内の音声合成装置を利用するようにしてもよい。
【００７８】
（１６）この発明は、コンピュータを上記実施形態における音韻情報合成装置または音声合成装置として機能させるプログラムとして実施することも可能である。
【符号の説明】
【００７９】
１…音声合成装置、１１０＿ｋ（ｋ＝０〜ｎ−１）…操作強度検出部、１２０…ＭＩＤＩイベント生成部、１３０…音声合成部、１３０Ａ…音声合成パラメータ生成部、１３０Ｂ＿１〜１３０Ｂ＿ｎ…音声合成チャネル、１３０Ｃ…記憶部、１３０Ｄ…出力部、１３１…音韻情報合成部、１３１Ａ…操作強度情報取得部、１３１Ｂ…音韻情報生成部、１３２…音高情報生成部、１３３…素片データベース、１３４…読出制御部、１３５…ピッチ変換部、１３６…素片波形出力部、１３７…エンベロープ生成部、１３８…乗算部、１３９…加算器、１４０…スピーカ、１５０…鍵盤、１５０＿ｋ（ｋ＝０〜ｎ−１）…鍵、Ｓ…調整つまみ、Ｄ…表示画面。
【図１】
2016080827.tif 000003
【図２】
2016080827.tif 000004
【図３】
2016080827.tif 000005
【図４】
2016080827.tif 000006
【図５】
2016080827.tif 000007
【図６】
2016080827.tif 000008
【図７】
2016080827.tif 000009
【図８】
2016080827.tif 000010
【図９】
2016080827.tif 000011
【図１０】
2016080827.tif 000012
【図１１】
2016080827.tif 000013
【図１２】
2016080827.tif 000014
【図１３】
2016080827.tif 000015