(57)【要約】      （修正有）【課題】意図したタイミングにおいて容易に音声の発音指示を発生することができる技術的手段を提供する。【解決手段】音声合成システム１において、演奏支援装置１０の制御部１１は、吹奏楽器のマウスピースを模した呼気検出部１３に設けられた呼気検出センサ１４からＡＤＣ１２を介して呼気を示す呼気検出信号を取得する。制御部１１は、呼気検出信号が表す呼気波形の様相が変化する前の呼気波形の特徴量を抽出し、音素変換テーブル１６２を参照して、呼気波形の特徴量のパターンに割り当てられた子音を示す音韻情報を生成して出力する。その後、制御部１１は、呼気検出信号が表す呼気波形の様相の変化を検知したことを契機として、合成対象の音声の母音を示す音韻情報を出力する。【選択図】図１
2016177275.tif 000002
【特許請求の範囲】
【請求項１】
入力信号を取得する入力信号取得手段と、
前記入力信号の波形の特徴量を抽出し、抽出した前記特徴量に応じて発音指示を出力する制御手段を具備することを特徴とする演奏支援装置。
【請求項２】
前記入力信号取得手段は、呼気波形を示す入力信号を取得する呼気検出手段を含み、
前記制御手段は、前記入力信号から呼気波形の特徴量を抽出し、抽出した前記特徴量に応じて音声の発音指示を出力することを特徴とする請求項１に記載の演奏支援装置。
【請求項３】
前記制御手段は、前記呼気波形の様相が変化する前の呼気波形の特徴量を抽出し、抽出した前記特徴量に応じて生成対象の音声の子音を示す音韻情報を生成して出力することを特徴とする請求項２に記載の演奏支援装置。
【請求項４】
前記制御手段は、特徴量の傾向が前記呼気波形の様相が変化する前の呼気波形と似たような音声波形の子音を示す音韻情報を生成して出力することを特徴とする請求項３に記載の演奏支援装置。
【請求項５】
前記制御手段は、前記呼気波形の様相の変化を検知したことを契機として、生成対象の音声の母音を示す音韻情報を出力することを特徴とする請求項２〜４のいずれか１の請求項に記載の演奏支援装置。
【請求項６】
前記入力信号取得手段は、打撃音波形を示す入力信号を取得する打撃手段を含み、
前記制御手段は、前記入力信号から打撃音波形の特徴量を抽出し、抽出した前記特徴量に応じて生成対象の音声の発音の発音指示を出力することを特徴とする請求項１に記載の演奏支援装置。
【請求項７】
前記制御手段は、前記入力信号における特定の周波数の信号の有無に応じて、生成対象の音声の音韻を制御することを特徴とする請求項６に記載の演奏支援装置。
【請求項８】
入力信号を取得する入力信号取得過程と、
前記入力信号の波形の特徴量を抽出し、抽出した前記特徴量に応じて発音指示を出力する制御過程と
を具備することを特徴とする演奏支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音の発生を指示する演奏操作を支援する演奏支援装置および演奏支援方法に関する。
【背景技術】
【０００２】
演奏操作に応じて音声を発生させる音声の演奏では、演奏対象である音声の音韻と、その音声の音高と、その音声の発音タイミングとを指定する必要がある。音声の音高と音声の発音タイミングは、例えば、鍵盤等の操作により指定可能である。具体的には、鍵の押鍵操作に応じて、押鍵された鍵に対応付けられた音高の音高情報と音声の発音タイミングを指示するノートオンイベントとを発生することにより実現することができる。また、音声の音韻は、例えば、その音韻を示す音韻情報を予めメモリに記憶させておき、鍵の押鍵操作に応じて順次読み出すことにより指定可能である。このようにして音声の演奏を実現する装置の例が、非特許文献１に開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“歌うキーボード  ポケット・ミク”、［ｏｎｌｉｎｅ］、大人の科学．ｎｅｔ、［２０１５年２月１８日検索］、インターネット＜ＵＲＬ：http://otonanokagaku.net/nsx39/＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献１に開示の装置には、歌詞に相当する時系列の音韻情報を予め記憶させる事前準備が必要であるといった問題や、記憶された歌詞通りにしか音声を発生することができないといった問題があった。このため、演奏対象の音声の音韻を任意に決定するような音声の演奏を行いたい場合には、何らかの操作により音韻情報を発生する必要がある。
【０００５】
ここで、複数種類の音韻に対応付けられた複数の操作子を有し、その操作子の操作に応じて所望の音韻の音韻情報を発生する構成が考えられる。しかし、演奏対象となる音声の音韻は、音節が「子音＋母音」からなるものも含んでおり、その種類が多い。このため、複数種類の音韻に対応付けられた複数の操作子の操作は、極めて複雑なものとなる。従って、このような構成では、ユーザ（演奏者）が意図したタイミングに間に合うように音韻情報を発生することが困難である。
【０００６】
この発明は以上のような事情に鑑みてなされたものであり、意図したタイミングにおいて容易に音声の発音指示を発生することができる技術的手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明は、入力信号を取得する入力信号取得手段と、前記入力信号の波形の特徴量を抽出し、抽出した前記特徴量に応じて発音指示を出力する制御手段を具備することを特徴とする演奏支援装置を提供する。
【０００８】
この発明によれば、入力信号取得手段が取得する入力信号の波形の特徴量に応じた音声の発音指示が発生する。従って、この発明によれば、意図したタイミングにおいて容易に音声の発音指示を発生することができる。
【０００９】
好ましい態様において、前記入力信号取得手段は、呼気波形を示す入力信号を取得する呼気検出手段を含み、前記制御手段は、前記入力信号から呼気波形の特徴量を抽出し、抽出した前記特徴量に応じて音声の発音指示を出力する。
【００１０】
この態様によれば、呼気波形の特徴量に応じた音声の発音指示が発生する。従って、意図したタイミングにおいて容易に音声の発音指示を発生することができる。
【００１１】
好ましい態様において、前記制御手段は、前記呼気波形の様相が変化する前の呼気波形の特徴量を抽出し、抽出した前記特徴量に応じて合成対象の音声の子音を示す音韻情報を生成して出力することを特徴とする。
【００１２】
この態様によれば、呼気波形の様相が変化する前に合成対象の音声の子音の発音指示が発生する。演奏支援装置のユーザは、通常の吹奏楽器の吹奏と同様に、呼気波形の様相が変化するタイミングが曲の演奏タイミングに合致するように音声の演奏を行う。このため、この態様の演奏支援装置によれば、演奏対象の音声の音節が「子音＋母音」であっても、自然な発音の音声の演奏をリアルタイムに行うことができる。
【００１３】
他の好ましい態様において、前記入力信号取得手段は、打撃音波形を示す入力信号を取得する打撃手段を含み、前記制御手段は、前記入力信号から打撃音波形の特徴量を抽出し、抽出した前記特徴量に応じて生成対象の音声の発音の発音指示を出力する。
【００１４】
この態様においても、意図したタイミングにおいて容易に音声の発音指示を発生することができる。
【図面の簡単な説明】
【００１５】
【図１】この発明の第１実施形態である演奏支援装置１０を含む音声合成システム１の構成を示すブロック図である。
【図２】マウスピースに唇を当てて息を吹き込みつつ唇を振動させる動作（いわゆるバジング）によって発生した音を収音して得られた波形の一例を示す図である。
【図３】同演奏支援装置１０における呼気検出信号が表す他の呼気波形の例を示す図である。
【図４】同演奏支援装置１０における呼気検出信号が表す他の呼気波形の例を示す図である。
【図５】同演奏支援装置１０における音素変換テーブル１６２の一例を示す図である。
【図６】同演奏支援装置１０の制御部１１が実行する処理の流れを示すフローチャートである。
【図７】この発明の第２実施形態である演奏支援装置１０Ａを含む音声合成システム１Ａの構成を示すブロック図である。
【図８】同実施形態における演奏部１３Ａの構成を示す図である。
【図９】同実施形態における補助入力装置４０Ａに設けられたミキシング比指定用操作子を示す斜視図である。
【図１０】同補助入力装置４０Ａに設けられた調指定用操作子を示す斜視図である。
【図１１】同実施形態における機能構成を示すブロック図である。
【図１２】同実施形態における変換部６２ａの処理内容を示す図である。
【図１３】同変換部６２ａの処理における調と音高との関係を示す図である。
【図１４】同実施形態において演奏部１３Ａから出力される演奏信号の波形を例示する波形図である。
【図１５】同実施形態において音声合成装置２０Ａによって合成される音信号の波形を示す波形図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照し、この発明の実施形態について説明する。
＜第１実施形態＞
図１は、この発明の第１実施形態による演奏支援装置１０を含む音声合成システム１の構成を示すブロック図である。音声合成システム１は、演奏支援装置１０、音声合成装置２０および放音装置３０を含んでいる。演奏支援装置１０は、制御部１１、アナログデジタルコンバータ（以下、ＡＤＣという）１２、呼気検出部１３および記憶部１６を含んでいる。音声合成システム１では、合成対象の音声の子音がユーザの呼気によって指定される。また、音声合成システム１では、子音に後続する母音の発音タイミングがユーザの呼気によって指定される。演奏支援装置１０は、音の発生を指示する演奏操作を支援する装置である。演奏支援装置１０は、ユーザによって指定された子音を示す音韻情報を生成して出力する。また、演奏支援装置１０は、ユーザによって指定された発音タイミングで母音を示す音韻情報を出力する。音声合成装置２０は、演奏支援装置１０から与えられる音韻情報に従った音声を合成する手段である。放音装置３０は、例えばスピーカであり、音声合成装置２０が合成した音声を放音する手段である。
【００１７】
呼気検出部１３は、例えば、吹奏楽器のマウスピースを模した装置である。本実施形態による演奏支援装置１０のユーザは、この呼気検出部１３に息を吹き込むことによって演奏操作を行う。本明細書では、息を吹き込むことによって演奏操作を行うことを「呼気の演奏操作」と呼ぶ。呼気検出部１３は、呼気検出センサ１４を有している。呼気検出センサ１４は、ユーザの呼気を検出して検出結果である呼気検出信号を出力する呼気検出手段である。呼気検出センサ１４は、例えば、マイクロフォンである。この場合の呼気検出センサ１４は、呼気に起因して発生する音を収音することによって呼気を検出する。
【００１８】
図２は、マウスピースに唇を当てて息を吹き込みつつ唇を振動させる動作（いわゆるバジング）によって発生した音を収音して得られた波形の一例を示す図である。図２の波形は、呼気を示す波形（以下、呼気波形という）である。呼気検出センサ１４は、図２に例示したような呼気波形を表す呼気検出信号を出力する。図２の横軸は時間であり、縦軸は収音した音の音圧レベルである。図２を見ると、音の検知開始から約１５ｍｓ後までの区間の呼気波形は、それ以降の呼気波形と比べ、その様相が異なっている。具体的には、例えば、音の検知開始から約１５ｍｓ後までの区間の呼気波形は、それ以降の呼気波形と比べ、その振幅が小さくなっている。また、音の検知開始から約１５ｍｓ後までの区間の呼気波形には、高周波成分が多く含まれている一方、それ以降の呼気波形には、高周波成分が多く含まれていない。このように、呼気波形は、所定時間を境にしてその呼気波形の様相が変化しており、この呼気波形の様相の変化は、演奏操作による呼気波形の特徴のひとつである。呼気波形の様相が変化する前の呼気波形は、バジングにおける予備的な吹き込み動作に起因するものである。このことから、本明細書では、音の検知開始から呼気波形の様相が変化するまでの区間（図２では、音の検知開始から約１５ｍｓ後までの区間）を「予備動作区間」と呼ぶ。また、呼気波形の様相が変化した後の呼気波形は、バジングにおける本格的な吹き込み動作に起因するものであり、バジングの音を印象付けるものである。このことから、本明細書では、呼気波形の様相が変化してから当該音の検知終了までの区間を「本動作区間」と呼ぶ。バジングを例に呼気波形の様相が変化する特徴を説明したが、マウスピースが装着されている通常の吹奏楽器の吹奏の場合も同様である。そして、このような吹奏楽器を演奏する奏者は、通常、本動作区間の先頭（換言すると、予備動作区間から本動作区間へ移るタイミング）が曲の演奏タイミングに合致するように吹奏楽器の吹奏を行う。従って、演奏支援装置１０のユーザは、本動作区間の先頭が曲の演奏タイミングに合致するように呼気の演奏操作を行う。
【００１９】
図２の予備動作区間の呼気波形には、以下の三つの特徴を発見することができる。第１の特徴として、予備動作区間の呼気波形には、当該呼気波形の先頭部分（具体的には、音の検知開始から約１ｍｓ程度までの期間）において音圧レベルが急激に立ち上がる特徴がある。以後、この特徴を「先頭部分の立ち上がり」と呼ぶ。第２の特徴として、予備動作区間の呼気波形には、２５０Ｈｚ程度の低周波成分が含まれる特徴がある。以後、この特徴を「予備動作区間の低周波成分」と呼ぶ。第３の特徴として、予備動作区間の呼気波形には、１０ｋＨｚ程度の高周波成分が含まれる特徴がある。以後、この特徴を「予備動作区間の高周波成分」と呼ぶ。これら、「先頭部分の立ち上がり」、「予備動作区間の低周波成分」および「予備動作区間の高周波成分」は、演奏操作による呼気波形の特徴量である。そして、演奏支援装置１０の呼気検出センサ１４が出力する呼気検出信号には、上記の特徴量が含まれている。
【００２０】
図３および図４は、呼気検出信号が表す他の呼気波形の例を示す図である。図３は、図２の呼気波形に比べ、予備動作区間の高周波成分が大きい呼気波形の一例を示している。図４は、図２の呼気波形に比べ、先頭部分の立ち上がりが小さく、予備動作区間から本動作区間へ移る際の呼気波形の様相の変化が緩やかな呼気波形の一例を示している。図３および図４に示すように、ユーザの呼気の演奏操作の仕方（具体的には、息の吹き込み方など）によって、呼気波形の特徴量の大きさ（具体的には、「先頭部分の立ち上がり」、「予備動作区間の低周波成分」および「予備動作区間の高周波成分」の音圧レベル）が変わる。また、ユーザの呼気の演奏操作の仕方によって、予備動作区間と本動作区間の境界時間が変わる。
【００２１】
図１に示すＡＤＣ１２は、入力されるアナログ信号をデジタル信号に変換して出力する回路である。より詳細に説明すると、ＡＤＣ１２には、呼気検出センサ１４が出力する呼気検出信号（アナログ信号）が入力される。ＡＤＣ１２は、呼気検出信号を一定のサンプリングレートでサンプリングしてデジタル信号に変換する。そして、ＡＤＣ１２は、デジタル信号に変換した呼気検出信号を制御部１１へ出力する。
【００２２】
記憶部１６は、不揮発性記憶装置および揮発性記憶装置を含む記憶装置である。記憶部１６には、制御プログラム１６１と音素変換テーブル１６２が記憶されている。音素変換テーブル１６２は、呼気波形の予備動作区間の特徴量のパターン毎に合成対象の音声の子音を示す音韻情報を関連付けたテーブルである。
【００２３】
図５は、音素変換テーブル１６２の一例を示す図である。図５には、呼気波形の予備動作区間の特徴量として、「先頭部分の立ち上がり」、「予備動作区間の高周波成分」および「予備動作区間の低周波成分」が示されている。これらの特徴量の大きさは、それぞれ「大」、「中」および「小」の３段階に分けられている。より詳細には、「先頭部分の立ち上がり」は、当該特徴量の音圧レベルが−１２ｄＢ以下の「小」と、音圧レベルが−１２ｄＢよりも大きく−６ｄＢ以下の「中」と、音圧レベルが−６ｄＢよりも大きい「大」とに分けられている。「予備動作区間の高周波成分」および「予備動作区間の低周波成分」は、当該特徴量の音圧レベルが−２４ｄＢ以下の「小」と、音圧レベルが−２４ｄＢよりも大きく−１８ｄＢ以下の「中」と、音圧レベルが−１８ｄＢよりも大きい「大」とに分けられている。図５には、このように分けられた各特徴量の大きさを組み合わせた各パターンが示されている。具体的には、３種類の特徴量が各々３段階の大きさに分けられて組み合わされているため、図５には、２７パターンの組み合わせが示されている。
【００２４】
図５の音素変換テーブル１６２によれば、このような特徴量の各パターンに子音が割り当てられている。より詳細には、「先頭部分の立ち上がり」が大きいパターンには、破裂音を表す子音（例えば、［ｐ］［ｂ］［ｄ］［ｋ］［ｇ］など）が割り当てられている。このように割り当てたのは、実際に発音される破裂音を表す子音の音声波形にもその先頭部分において音圧レベルが急激に立ち上がる特徴量があり、当該子音の音声波形は、当該先頭部分の立ち上がりが大きいという傾向があるからである。また、「予備動作区間の低周波成分」が大きいパターンには、有声音を表す子音（例えば、［ｐ］［ｄ］［ｇ］）が割り当てられている。このように割り当てたのは、実際に発音される有声音を表す子音の音声波形にも低周波成分の特徴量があり、当該子音の音声波形は、当該低周波成分が大きいという傾向があるからである。また、「予備動作区間の高周波成分」が大きいパターンには、破裂音を表す子音（例えば、［ｐ］［ｂ］［ｄ］）や摩擦音を表す子音（［ｚ］［ｓ］）が割り当てられている。このように割り当てたのは、実際に発音される破裂音や摩擦音を表す子音の音声波形にも高周波成分の特徴量があり、当該子音の音声波形は、当該高周波成分が大きいという傾向があるからである。すなわち、音素変換テーブル１６２では、特徴量の傾向（「大」、「中」、「小」など）が予備動作区間の呼気波形と似たような音声波形の子音が呼気波形の特徴量の各パターンに割り当てられている。具体的には、「先頭部分の立ち上がり」、「予備動作区間の高周波成分」および「予備動作区間の低周波成分」のすべてが「大」のパターンには、子音［ｄ］が割り当てられる、といった具合である。なお、図５に示すように、複数のパターンに共通の子音が割り当てられていても良い。また、図５に示すように、子音が割り当てられていないパターンがあっても良い。
【００２５】
制御部１１は、例えば、ＣＰＵ（中央演算装置）である。制御部１１は、記憶部１６に記憶されているプログラムを実行することにより演奏支援装置１０の制御中枢として機能する。より詳細には、制御部１１は、制御プログラム１６１を実行することにより、呼気検出手段によって検出された呼気波形の特徴量を抽出し、抽出した特徴量に応じて合成対象の音声の音素の発音指示を出力する制御手段として機能する。制御部１１が行う処理の内容は、動作の説明において詳述する。また、制御部１１は、音素の発音指示と共に、合成対象の音声の音高を示す音高情報も出力する。
【００２６】
音声合成装置２０は、演奏支援装置１０から与えられる合成対象の音声の音素の発音指示である音韻情報と、合成対象の音声の音高情報とから音声を合成して放音装置３０へ出力する。
以上が、演奏支援装置１０を含む音声合成システム１の構成である。
【００２７】
次に、演奏支援装置１０を含む音声合成システム１の動作例を説明する。
図６は、制御部１１が実行する処理の流れを示すフローチャートである。制御部１１は、まず、ＡＤＣ１２からデジタル信号に変換された呼気検出信号（以下、単に呼気検出信号という）が与えられるのを待ち受ける。制御部１１は、与えられた呼気検出信号から呼気波形の予備動作区間が始まったか否かを判定する（ＳＡ１１０）。具体的には、制御部１１は、ノイズよりも大きな音圧レベルの呼気検出信号が与えられたか否かにより判定する。制御部１１は、呼気波形の予備動作区間が始まるまでステップＳＡ１１０の処理を繰り返す（ＳＡ１１０：Ｎｏ）。制御部１１は、呼気波形の予備動作区間が始まった場合、制御プログラム１６１の実行を開始し、ステップＳＡ１２０以降の処理を行う。
【００２８】
呼気波形の予備動作区間が始まると（ＳＡ１１０：Ｙｅｓ）、制御部１１は、与えられた呼気検出信号をバッファに蓄積する（ＳＡ１２０）。次に、制御部１１は、予備動作区間の開始から所定時間（例えば、１０ｍｓ）が経過したか否かを判定する（ＳＡ１３０）。所定時間が経過していない場合（ＳＡ１３０：Ｎｏ）、制御部１１は、所定時間が経過するまで順次与えられる呼気検出信号をバッファに蓄積してゆく（ＳＡ１２０）。このようにして、制御部１１は、予備動作区間の開始から当該所定時間までの呼気検出信号を取得する。なお、ステップＳＡ１３０における所定時間は、予備動作区間内の時間に設定される。
【００２９】
次に、予備動作区間の開始から所定時間が経過すると（ＳＡ１３０：Ｙｅｓ）、制御部１１は、バッファに蓄積された呼気検出信号を用いて、予備動作区間の開始から当該所定時間までの呼気波形の特徴量を抽出する（ＳＡ１４０）。具体的には、制御部１１は、当該呼気波形の「先頭部分の立ち上がり」、「予備動作区間の低周波成分」および「予備動作区間の高周波成分」を抽出する。
【００３０】
「先頭部分の立ち上がり」を抽出する具体例を説明する。制御部１１は、呼気検出信号の音圧レベルが、予備動作区間の開始からステップＳＡ１３０における所定時間よりも短い他の所定時間（例えば、１ｍｓ）までの期間において、この特徴における第１の閾値ｔｈ＿Ｐ１（例えば、−１２ｄＢ）を越えたか否かを判定し、第１の閾値ｔｈ＿Ｐ１を越えた場合、第１の閾値ｔｈ＿Ｐ１よりも大きなこの特徴における第２の閾値ｔｈ＿Ｐ２（例えば−６ｄＢ）を越えたか否かを判定する。制御部１１は、当該音圧レベルが第１の閾値ｔｈ＿Ｐ１以下であった場合、「先頭部分の立ち上がり」の大きさを「小」に決定し、当該音圧レベルが第１の閾値ｔｈ＿Ｐ１よりも大きく第２の閾値ｔｈ＿Ｐ２以下であった場合、「先頭部分の立ち上がり」の大きさを「中」に決定し、当該音圧レベルが第２の閾値ｔｈ＿Ｐ２よりも大きい場合、「先頭部分の立ち上がり」の大きさを「大」に決定する。
【００３１】
次に、「予備動作区間の低周波成分」を抽出する具体例を説明する。制御部１１は、呼気検出信号にデジタル信号処理によるローパスフィルタを施すことにより低周波成分を抽出する。より具体的には、まず、制御部１１は、バッファに蓄積した期間分の呼気検出信号の移動平均を算出する。次に、制御部１１は、算出した移動平均の実効値を算出する。次に、制御部１１は、この移動平均の実効値が、この特徴における第１の閾値ｔｈ＿Ｌ１（例えば、−２４ｄＢ）を越えたか否かを判定し、第１の閾値ｔｈ＿Ｌ１を越えた場合、第１の閾値ｔｈ＿Ｌ１よりも大きなこの特徴における第２の閾値ｔｈ＿Ｌ２（例えば、−１８ｄＢ）を越えたか否かを判定する。制御部１１は、当該移動平均の実効値が第１の閾値ｔｈ＿Ｌ１以下であった場合、「予備動作区間の低周波成分」の大きさを「小」に決定し、当該移動平均の実効値が第１の閾値ｔｈ＿Ｌ１よりも大きく第２の閾値ｔｈ＿Ｌ２以下であった場合、「予備動作区間の低周波成分」の大きさを「中」に決定し、当該移動平均の実効値が第２の閾値ｔｈ＿Ｌ２よりも大きい場合、「予備動作区間の低周波成分」の大きさを「大」に決定する。
【００３２】
次に、「予備動作区間の高周波成分」を抽出する具体例を説明する。制御部１１は、呼気検出信号にデジタル信号処理によるハイパスフィルタを施すことにより高周波成分を抽出する。より具体的には、制御部１１は、バッファに蓄積した期間分の呼気検出信号の移動平均を算出し、当該期間分の呼気検出信号から当該算出した移動平均を減算する。次に、制御部１１は、先の減算結果の実効値を算出する。次に、制御部１１は、この減算結果の実効値が、この特徴における第１の閾値ｔｈ＿Ｈ１（例えば、−２４ｄＢ）を越えたか否かを判定し、第１の閾値ｔｈ＿Ｈ１を越えた場合、第１の閾値ｔｈ＿Ｈ１よりも大きなこの特徴における第２の閾値ｔｈ＿Ｈ２（例えば、−１８ｄＢ）を越えたか否かを判定する。制御部１１は、当該減算結果の実効値が第１の閾値ｔｈ＿Ｈ１以下であった場合、「予備動作区間の高周波成分」の大きさを「小」に決定し、当該減算結果の実効値が第１の閾値ｔｈ＿Ｈ１よりも大きく第２の閾値ｔｈ＿Ｈ２以下であった場合、「予備動作区間の高周波成分」の大きさを「中」に決定し、当該減算結果の実効値が第２の閾値ｔｈ＿Ｈ２よりも大きい場合、「予備動作区間の高周波成分」の大きさを「大」に決定する。
以上が、ステップＳＡ１４０の具体例である。
【００３３】
次に、制御部１１は、音素変換テーブル１６２を参照して、ステップＳＡ１４０において抽出した各特徴量の大きさの組み合わせから子音を決定し、その子音を示す音韻情報を生成する（ＳＡ１５０）。例えば、制御部１１は、先のステップＳＡ１４０において、「先頭部分の立ち上がり」、「予備動作区間の高周波成分」および「予備動作区間の低周波成分」を各々「大」に決定した場合、ステップＳＡ１５０では、図５に示す音素変換テーブル１６２を参照して、このパターンに割り当てられた子音［ｄ］を示す音韻情報を生成する、という具合である。
【００３４】
次に、制御部１１は、生成した子音を示す音韻情報を合成対象の音声の子音の発音指示として出力する（ＳＡ１６０）。また、制御部１１は、子音を示す音韻情報の出力に合わせて、当該子音に対応する音高情報も出力する（ＳＡ１６０）。例えば、制御部１１は、子音を示す音韻情報の生成を契機として、記憶部１６に予め記憶されている音高情報を決められた順に読み出して出力する。なお、音高情報は、他の操作子からの入力に応じて生成されても良い。
【００３５】
次に、制御部１１は、ステップＳＡ１６０の後に与えられる呼気検出信号を用いて、呼気波形の様相が変化したか否かを判定する（ＳＡ１７０）。制御部１１は、このステップＳＡ１７０の処理を呼気波形の様相が変化するまで繰り返す（ＳＡ１７０：Ｎｏ）。すなわち、ステップＳＡ１５０は、呼気波形が予備動作区間から本動作区間へ移行したか否かを判定する処理である。具体的には、制御部１１は、呼気検出信号の音圧レベルが予備動作区間と本動作区間とを区分する所定の閾値（以下、動作移行閾値、という）を越えたか否かなどの判定を行う。
【００３６】
制御部１１は、呼気波形の様相が変化したのを検知した場合（ＳＡ１７０：Ｙｅｓ）、合成対象の音声の母音を示す音韻情報を当該音声の母音の発音指示として出力する（ＳＡ１８０）。具体的には、制御部１１は、呼気検出信号の音圧レベルが前述の動作移行閾値を越えたのを検知した場合にステップＳＡ１８０の処理を行う。また、制御部１１は、母音を示す音韻情報の出力に合わせて、当該母音に対応する音高情報も出力する（ＳＡ１８０）。例えば、制御部１１は、記憶部１６に予め記憶されている母音を示す音韻情報と音高情報とを決められた順に読み出して出力する。なお、母音を示す音韻情報および音高情報は、他の操作子からの入力に応じて生成されても良い。そして、ステップＳＡ１８０の後、制御部１１は、制御プログラム１６１の処理を終了する。
【００３７】
音声合成装置２０は、演奏支援装置１０から供給される子音を示す音韻情報とそれに合わせて供給される音高情報とから子音の音声を合成して放音装置３０へ出力し、それに後続して、演奏支援装置１０から供給される母音を示す音韻情報とそれに合わせて供給される音高情報とから母音の音声を合成して放音装置３０へ出力する。このようにして、当該子音と当該母音とからなる合成対象の音声が発音される。
【００３８】
以上のように、演奏支援装置１０の制御部１１は、呼気検出センサ１４が検出した呼気を表す呼気波形の特徴量を抽出し、抽出した特徴量に応じて合成対象の音声の音素の発音指示を出力する。演奏支援装置１０によれば、ユーザによる呼気の演奏操作によってその呼気波形の特徴量に応じた音素を含む音声の発音指示が発生する。このため、ユーザは、呼気の演奏操作を行うタイミングで音声の演奏を行うことができる。また、呼気波形の特徴量の大きさは、ユーザの呼気の演奏操作（具体的には、息の吹き込み方など）に従って変化する。このため、演奏支援装置１０によれば、ユーザは、呼気の演奏操作によって所望の音韻を指定することができる。従って、演奏支援装置１０によれば、意図したタイミングにおいて容易に音声の発音指示を発生することができる。
【００３９】
また、演奏支援装置１０の制御部１１は、呼気波形の様相が変化する前の呼気波形の特徴量を抽出し、抽出した特徴量に応じて合成対象の音声の子音を示す音韻情報を生成して出力する。呼気波形の様相が変化する前とは、呼気検出センサ１４から与えられる呼気検出信号が表す呼気波形の本動作区間に先行する予備動作区間のことである。この演奏支援装置１０のユーザは、吹奏楽器と同様に、予備動作区間から本動作区間へ移るタイミング、すなわち、呼気波形の様相が変化するタイミングが曲の演奏タイミングに合致するように呼気の演奏操作を行って音声の演奏を行う。このため、演奏支援装置１０によれば、曲の演奏タイミング以前に合成対象の音声の子音を発音することができる。従って、演奏支援装置１０によれば、演奏対象の音声の音節が「子音＋母音」であっても、自然な発音の音声の演奏をリアルタイムに簡単に行うことができる。
【００４０】
また、演奏支援装置１０の制御部１１は、呼気波形の様相の変化を検知したことを契機として、合成対象の音声の母音を示す音韻情報を出力する。換言すると、制御部１１は、呼気検出センサ１４から与えられる呼気検出信号が表す呼気波形の予備動作区間から本動作区間へ移るタイミングにおいて母音を示す音韻情報を出力する。このため、演奏支援装置１０によれば、曲の演奏タイミングに合わせて合成対象の音声の母音を発音することができる。このことからも、上述と同様に、自然な発音の音声の演奏をリアルタイムに簡単に行うことができる。
【００４１】
また、演奏支援装置１０の制御部１１は、特徴量の傾向が呼気波形の様相が変化する前の呼気波形と似たような音声波形の子音を示す音韻情報を生成して出力する。このため、演奏支援装置１０によれば、呼気検出信号を生じさせるユーザの演奏操作の感覚に近い子音が発音される。従って、ユーザは、演奏操作において所望の音韻を直感的に指定することができる。
【００４２】
＜第２実施形態＞
図７は、この発明の第２実施形態による演奏支援装置１０Ａを含む音声合成システム１Ａの構成を示すブロック図である。音声合成システム１Ａは、演奏支援装置１０Ａ、音声合成装置２０Ａ、放音装置３０Ａおよび補助入力装置４０Ａを含んでいる。
【００４３】
演奏支援装置１０Ａは、演奏操作に基づいて振動波形を示す演奏信号を発生し、その演奏信号が示す振動波形の特徴量に基づいて音声合成装置２０Ａに対する音生成指示を生成する装置である。音声合成装置２０Ａは、演奏支援装置１０Ａからの音生成指示に従って歌唱音声の音信号を合成する装置である。
【００４４】
音声合成装置２０Ａは、この音生成指示に基づいて合成した音信号を他の信号とミキシングして出力する機能を備えている。演奏支援装置１０Ａには、この音声合成装置２０Ａのミキシング機能を利用するための機能が設けられている。具体的には、演奏支援装置１０Ａは、演奏操作に基づいて生成した演奏信号と、この演奏信号と音声合成装置２０Ａが合成した音信号とのミキシング比を指示する信号を音声合成装置２０Ａに供給する機能を備えている。
【００４５】
放音装置３０Ａは、音声合成装置２０Ａの出力信号を音として出力するスピーカ等により構成されている。補助入力装置４０Ａは、ユーザによって行われる操作に従って、演奏支援のための各種の制御情報を演奏支援装置１０Ａに供給する装置である。
【００４６】
図７に示すように、演奏支援装置１０Ａは、制御部１１Ａ、ＡＤＣ部１２Ａ、演奏部１３Ａおよび記憶部１６Ａを含んでいる。
【００４７】
演奏部１３Ａは、ユーザによって行われる演奏操作によって発生する振動波形を示す演奏信号を出力する装置であり、収音部１４Ａを含む。ここで、収音部１４Ａは、演奏操作によって演奏部１３Ａに発生する音（空気振動）を検出し、その音波形（すなわち、振動波形）を示す演奏信号を出力する。また、本実施形態における演奏部１３Ａは、打撃音波形を示す入力信号を取得する打撃手段であり、この打撃音波形を示す入力信号を演奏信号としてＡＤＣ部１２Ａに供給するものである。
【００４８】
図８（ａ）〜（ｃ）は、演奏部１３Ａの構成を示すものである。ここで、図８（ａ）は演奏部１３Ａの斜視図、図８（ｂ）は図８（ａ）のＩａ−Ｉａ’線断面図、図８（ｃ）は図８（ａ）のＩｂ−Ｉｂ’線断面図である。
【００４９】
図８（ａ）に示すように、演奏部１３Ａは、６枚の木製の板１３１１〜１３１６により囲まれた中空の直方体形状をなしており、カホンと呼ばれる打楽器に近似した構成を有している。
【００５０】
演奏部１３Ａにおける板１３１３には、サウンドホール１３１が開口している。また、演奏部１３Ａにおいて板１３１３と対向する板１３１１の内面には、図８（ｂ）および（ｃ）に示すようにスネア１３２が張られている。このスネア１３２は、板１３１１の振動に共鳴する弦であり、響き線とも呼ばれる。図示は省略したが、演奏部１３Ａには、このスネア１３２の張力を調整する機構が設けられている。
【００５１】
そして、演奏部１３Ａの内部には、収音部１４Ａを構成するマイクロフォン１４０が配置されている。第１の形態では、板１３１１、１３１２、１３１４の外面が打面となっている。ユーザがこれらの打面のいずれかを手で打撃すると、その打撃により演奏部１３Ａ内に打撃音（空気振動）が発生し、その音波形を示す演奏信号がマイクロフォン１４０から出力される。
【００５２】
ここで、演奏信号の波形や振幅は、演奏部１３Ａにおける打撃位置、打撃の強さにより異なったものとなる。また、打撃位置によっては、演奏信号にスネア１３２の共鳴周波数（この例では５ｋＨｚ）の成分（以下、スネア音成分という）が現れる場合がある。従って、この第１の形態によれば、演奏部１３Ａに対する打撃の態様を変えることにより、多彩な演奏信号を生成することができる。図７におけるＡＤＣ部１２Ａは、この演奏信号をデジタル信号に変換して制御部１１Ａに供給する。
【００５３】
制御部１１Ａは、記憶部１６Ａに記憶された制御プログラム１６１Ａを実行することにより、演奏部１３ＡからのＡＤＣ部１２Ａを介して供給される信号（演奏信号）に基づいて、音声合成装置２０Ａに供給する音生成指示を生成する。この音生成指示は、生成対象である音声の音韻、音高、音色、音量等を指定するパラメータを含む。また、制御部１１Ａは、音生成指示を生成するために用いた演奏信号を音声合成装置２０Ａに供給するとともに、この演奏信号と音生成指示に基づいて生成した音声の音信号とのミキシングを指示する。なお、音生成指示の生成等の制御部１１Ａの機能の詳細については後述する。
【００５４】
補助入力装置４０Ａは、この制御部１１Ａの動作に関連した各種の制御情報を入力するための操作子が設けられている。図９および図１０はそのような操作子の例を示す斜視図である。図９に示す操作子は、音声合成装置２０Ａが合成する音信号と演奏支援装置１０Ａが出力する演奏信号とのミキシング比を指定する操作子である。また、図１０に示す操作子は、音声合成装置２０Ａに合成させる音信号の調を指定する操作子である。
【００５５】
次に演奏支援装置１０Ａにおける制御部１１Ａの機能の詳細について説明する。図１１は制御プログラム１６１Ａの実行により実現される機能の構成を示すブロック図である。図１１に示すように、制御プログラム１６１Ａの実行により実現される機能には、信号解析部６１ａと変換部６２ａとがある。信号解析部６１ａは、演奏部１３ＡからＡＤＣ部１２Ａを介して供給される演奏信号の解析を行い、演奏信号が示す振動波形の特徴量、具体的には演奏信号のピーク近傍での振幅とその周波数を求める。変換部６２ａは、信号解析部６１ａによる演奏信号の解析結果である特徴量に基づいて、音声合成装置２０Ａに生成を指示する音韻、その音高、音量、うなり声の程度を示す情報を生成し、これらの情報を含む音生成指示を音声合成装置２０Ａに供給する。
【００５６】
図１２はこの変換部６２ａの処理内容を例示する図である。図１２において、振幅ｘは、演奏部１３Ａからの演奏信号の振幅を演奏部１３Ａから出力可能な演奏信号の最大振幅により正規化した値であり、０〜１の範囲の値となる。変換部６２ａは、演奏信号の振幅ｘが０．３より小さい場合にはＦ３、０．３〜０．５の範囲ではＧ３、０．５〜０．７の範囲ではＡ３、０．７より大きい範囲ではＣ４という具合に、演奏信号の振幅ｘに応じて生成対象である音声の音高を決定する。この例では、演奏信号の振幅ｘが大きくなる程、生成対象である音声の音高は高くなる。
【００５７】
ここで、変換部６２ａは、生成対象である音声の音高を補助入力装置４０Ａの調指定用操作子（図１０参照）により指定された調に適した音高とする。従って、変換部６２ａにより決定される音高は、演奏信号の振幅ｘが同じであっても、調指定用操作子により指定される調により異なったものとなる。図１３（ａ）は、調（ＫＥＹ）がＣである場合に演奏信号の振幅ｘに基づいて決定される音高を示しており、図１３（ｂ）は、調（ＫＥＹ）がＤである場合に演奏信号の振幅ｘに基づいて決定される音高を示している。
【００５８】
また、変換部６２ａは、演奏信号の振幅ｘと、演奏信号における５ｋＨｚのスネア音成分の有無とに基づき、生成対象である音声の音韻を決定する。具体的には、変換部６２ａは、演奏信号にスネア音成分が含まれている場合において、演奏信号の振幅ｘが０．５より小さい場合には、生成対象である音韻を濁音である「ざ」、演奏信号の振幅ｘが０．５より大きい場合には、生成対象である音韻を濁音である「だ」とする。また、変換部６２ａは、演奏信号にスネア音成分が含まれていない場合において、演奏信号の振幅ｘが０．５より小さい場合には、生成対象である音韻を非濁音である「と」、演奏信号の振幅ｘが０．５より大きい場合には、生成対象である音韻を非濁音である「て」とする。このように変換部６２ａは、演奏信号に５ｋＨｚのスネア音成分が含まれているか否かにより、生成対象の音声を濁音とするか非濁音とするかの制御を行う。
【００５９】
また、変換部６２ａは、演奏信号の振幅ｘに基づき、生成対象である音声の音量を決定する。具体的には、変換部６２ａは、演奏信号の振幅ｘが０．３より小さい場合は生成対象である音声の音量（ＭＩＤＩのダイナミックス値に相当）を７０とし、演奏信号の振幅ｘが０．７より大きい場合は生成対象である音声の音量を１２０とする。また、変換部６２ａは、演奏信号の振幅ｘが０．３〜０．７の範囲内にある場合、ｘ＊１００＋５０（＊は乗算）なる演算により音量を決定する。
【００６０】
また、変換部６２ａは、演奏信号の振幅ｘに基づき、生成対象である音声のうなり声の程度を示す情報を決定する。具体的には、変換部６２ａは、演奏信号の振幅ｘが０．５より小さい場合は生成対象である音声のうなり声の程度を０とし、演奏信号の振幅ｘが０．８より大きい場合は生成対象である音声のうなり声の程度を１２０とする。また、変換部６２ａは、演奏信号の振幅ｘが０．５〜０．８の範囲内にある場合、（ｘ−０．６）＊２００＋２０なる演算によりうなり声の程度を決定する。
【００６１】
変換部６２ａは、以上のようにして決定した生成対象の音声の音高、音韻、音量、うなり声の程度を示す情報を含む音生成指示を生成して音声合成装置２０Ａに出力する。音声合成装置２０Ａでは、この音生成指示により指定された音高、音韻、音量、うなり声の程度を有する音声の音信号が合成される。そして、この音信号と演奏支援装置１０Ａを経由した演奏信号とがミキシングされ、放音装置３０Ａから音として出力される。
【００６２】
図１４は本実施形態において演奏部１３Ａから出力される演奏信号の波形を示す波形図である。また、図１５は制御部１１Ａからの音生成指示に基づいて音声合成装置２０Ａが合成する音信号の波形を示す波形図である。これらの図に示すように、本実施形態では、演奏支援装置１０Ａにより、演奏信号のピーク近傍での振幅、周波数に基づいて、生成対象の音声の音高、音韻、音量、うなり声の程度が決定され、そのような音声の音信号が音声合成装置２０Ａによって合成される。従って、ユーザは、意図したタイミングにおいて、所望の音声を発音させることができる。
【００６３】
＜他の実施形態＞
以上、この発明の第１および第２実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。
【００６４】
（１）上記第１実施形態の演奏支援装置１０では、図５に例示した内容の音素変換テーブル１６２を有していた。しかし、呼気波形の予備動作区間の特徴量の各パターンに割り当てられる子音は、図５に例示したものに限らない。
【００６５】
（２）上記第１実施形態の音素変換テーブル１６２では、「先頭部分の立ち上がり」、「予備動作区間の高周波成分」および「予備動作区間の低周波成分」の各パターンに子音を割り当てていた。しかし、呼気波形の予備動作区間の特徴量の種類は、これらに限らない。また、呼気の予備動作区間の特徴量の数は３種類に限らない。
【００６６】
（３）上記第１実施形態の音素変換テーブル１６２では、呼気波形の予備動作区間の特徴量の大きさが各々３段階に分けられていた。しかし、これらの特徴量の大きさは、２段階に分けられていても良いし、４以上の段階に分けられていても良い。また、これらの特徴量の大きさの分けられる数は、すべての特徴量において同数であっても良いし、異なっていても良い。
【００６７】
（４）上記第１実施形態の演奏支援装置１０の制御部１１は、呼気波形の様相が変化する前の呼気波形の特徴量に応じて合成対象の音声の子音を示す音韻情報を生成して出力するとともに、呼気波形の様相の変化を検知したことを契機として、合成対象の音声の母音を示す音韻情報を出力していた。しかし、演奏支援装置１０の制御部１１は、呼気波形の様相が変化する前の呼気波形の特徴量に応じて合成対象の音声の子音を示す音韻情報を生成して出力する制御と、呼気波形の様相の変化を検知したことを契機として、合成対象の音声の母音を示す音韻情報を出力する制御のいずれか一方のみを行っても良い。
【００６８】
（５）上記第１実施形態の演奏支援装置１０は、予備動作区間の呼気波形の特徴量に応じて合成対象の音声の子音を示す音韻情報を生成して出力していた。しかし、予備動作区間の呼気波形の特徴量に応じて生成される音韻情報は、子音を示すものに限らない。例えば、当該音韻情報は、発音記号で表されるような発音を示すものであっても良いし、仮名で表されるような複数の音素が含まれる発音を示すものであっても良い。また、例えば、当該音韻情報は、複数の音素の中間的な発音を示すものであっても良い。また、例えば、当該音韻情報は、音節単位やモーラ単位の発音を示すものであっても良い。これらの態様は、音素変換テーブル１６２において、呼気波形の特徴量の各パターンに上記の発音を割り当てることにより実現することができる。
【００６９】
また、上記第１実施形態の演奏支援装置１０は、呼気波形の様相の変化を検知したことを契機として、合成対象の音声の母音を示す音韻情報を出力していた。しかし、呼気波形の様相の変化を検知したことを契機として出力する音韻情報は、母音を示すものに限らない。当該音韻情報は、上述と同様に、各種の発音を示すものであっても良い。
【００７０】
従って、演奏支援装置は、呼気検出手段が検出した呼気を表す呼気波形の特徴量を抽出し、抽出した特徴量に応じて合成対象の音声の発音の発音指示を出力するものであれば良い。すなわち、合成対象の音声の音素の発音指示を出力する第１実施形態の演奏支援装置は、合成対象の音声の発音の発音指示を出力する演奏支援装置の一実施形態である。音素は、発音の一態様だからである。
【００７１】
（６）上記第１実施形態の呼気検出手段の具体例は、マイクロフォンであった。しかし、呼気検出手段はマイクロフォンに限らない。例えば、マイクロフォンに代えて気圧センサを呼気検出手段として機能させても良い。また、マイクロフォンと気圧センサなどの他のセンサとを組み合わせて呼気検出手段として機能させても良い。
【００７２】
（７）上記第１実施形態の呼気検出手段は、ユーザの呼気を検出してその検出結果を出力していた。しかし、呼気検出手段は、ユーザの吸気を検出してその検出結果を出力しても良いし、ユーザの呼気と吸気の両方を検出してその検出結果を出力しても良い。例えば、呼気検出手段としてマイクロフォンを用いた場合、呼気検出手段は、呼気に起因して発生する音に加え、吸気に起因して発生する音を収音することで、呼気に加え吸気を検出することができる。この態様によれば、ユーザは、息を吹き込むことによる演奏操作に加え、息を吸い込むことによる演奏操作を行うことができ、より多様な演奏を行うことができる。
【００７３】
（８）上記第１実施形態の音声合成システム１としてユーザに提供するだけでなく、上記音声合成システム１に含まれる演奏支援装置１０単体でユーザに提供しても良い。演奏支援装置１０をＵＳＢケーブルなどの信号線を介して既存の音声合成装置に接続することで、上記各実施形態の音声合成システム１を構築することができるからである。また、演奏支援装置１０を音声合成装置２０に組み込んで一体の装置にしてユーザに提供しても良い。上記第２実施形態についても同様である。
【００７４】
（９）上記第１実施形態では、呼気検出手段が検出した呼気の特徴量を抽出し、抽出した特徴量に応じて合成対象の音声の音素の発音指示を出力する制御手段をソフトウェアモジュールで実現する場合について説明したが、それらを電子回路などのハードウェアで実現しても良い。上記第２実施形態を電子回路などのハードウェアで実現しても良い。
【００７５】
（１０）上記第２実施形態では、演奏部１３Ａの内側の空洞内に配置されたマイクロフォン１４０により空気振動波形を示す演奏信号を取得したが、演奏部１３Ａの打面に歪センサを固定し、この歪センサにより、演奏部１３Ａの打面の振動波形を示す演奏信号を取得して、音生成指示の生成に利用してもよい。
【００７６】
（１１）上記第２実施形態では、１種類の特定周波数（５ｋＨｚ）の有無により生成対象である音韻を切り換えた。しかし、例えば第１の周波数成分が演奏信号に含まれていた場合には生成対象を第１の音韻とし、第２の周波数成分が演奏信号に含まれていた場合には生成対象を第２の音韻とし、…という具合に、複数種類の特定周波数を用いて生成対象である音韻の制御を行ってもよい。演奏信号に含ませる特定周波数の成分の周波数をどのようにして変えるかに関しては各種の方法が考えられる。例えば、スネア１３２の張力を変えることにより特定周波数の成分の周波数を変える方法が考えられる。また、他の方法として、演奏部１３Ａの複数の打面に共鳴周波数の異なったスネアを張る方法が考えられる。この方法を採用した場合、ユーザは手で叩く打面を変えることにより、異なる音韻の発音を行わせることができる。
【符号の説明】
【００７７】
１，１Ａ…音声合成システム、１０，１０Ａ…演奏支援装置、２０，２０Ａ…音声合成装置、３０，３０Ａ…放音装置、１１，１１Ａ…制御部、１２…ＡＤＣ、１２Ａ…ＡＤＣ部、１３…呼気検出部、１４…呼気検出センサ、１６，１６Ａ…記憶部、１６１，１６１Ａ…制御プログラム、１６２…音素変換テーブル、６１ａ…信号解析部、６２ａ…変換部。
【図１】
2016177275.tif 000003
【図２】
2016177275.tif 000004
【図３】
2016177275.tif 000005
【図４】
2016177275.tif 000006
【図５】
2016177275.tif 000007
【図６】
2016177275.tif 000008
【図７】
2016177275.tif 000009
【図８】
2016177275.tif 000010
【図９】
2016177275.tif 000011
【図１０】
2016177275.tif 000012
【図１１】
2016177275.tif 000013
【図１２】
2016177275.tif 000014
【図１３】
2016177275.tif 000015
【図１４】
2016177275.tif 000016
【図１５】
2016177275.tif 000017