(57)【要約】【課題】  演奏者の意図したタイミングにおいて所望の音声を発音し、その音声を所望の態様で持続させる。【解決手段】  演奏支援装置１Ａの制御部１１Ａは、演奏部１３Ａに発生する打撃音波形を示す演奏信号に基づいて、音声についての音生成指示を生成し、その後、演奏部１３Ａの打面に対する圧力を示す圧力信号が閾値以上である期間、音生成指示により生成された音声を継続させる。【選択図】  図１
2017146556.tif 000002
【特許請求の範囲】
【請求項１】
演奏部に発生する振動波形を示す演奏信号を取得し、前記演奏信号が示す前記振動波形の特徴量に基づいて音生成指示を生成する音生成指示手段と、
前記演奏部に加わる圧力を示す圧力信号に基づいて、前記音生成指示により生成される音信号の持続を制御する持続制御手段と
を具備することを特徴とする演奏支援装置。
【請求項２】
前記音生成指示手段は、前記演奏部の複数個所における圧力を示す複数の圧力信号の中から圧力値が最大である１つの圧力信号を選択し、選択した圧力信号に基づいて前記音信号の持続を制御することを特徴とする請求項１に記載の演奏支援装置。
【請求項３】
前記持続制御手段は、前記圧力信号に基づいて、前記音信号の変調の指示を生成することを特徴とする請求項１または２に記載の演奏支援装置。
【請求項４】
演奏部に発生する振動を示す演奏信号を取得し、前記演奏信号が示す前記振動波形の特徴量に基づいて音生成指示を生成する音生成指示過程と
前記演奏部に加わる圧力を示す圧力信号に基づいて、前記音生成指示により生成される音信号の持続を制御する持続制御過程と
を具備することを特徴とする演奏支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音の発生を指示する演奏操作を支援する装置および方法に関する。
【背景技術】
【０００２】
演奏操作に応じて音声を発生させる音声の演奏では、演奏対象である音声の音韻と、その音声の音高と、その音声の発音タイミングとを指定する必要がある。音声の音高と音声の発音タイミングは、例えば、鍵盤等の操作により指定可能である。具体的には、鍵の押鍵操作に応じて、押鍵された鍵に対応付けられた音高の音高情報と音声の発音タイミングを指示するノートオンイベントとを発生することにより実現することができる。また、音声の音韻は、例えば、その音韻を示す音韻情報を予めメモリに記憶させておき、鍵の押鍵操作に応じて順次読み出すことにより指定可能である。このようにして音声の演奏を実現する装置の例が、非特許文献１に開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“歌うキーボード  ポケット・ミク”、［ｏｎｌｉｎｅ］、大人の科学．ｎｅｔ、［２０１６年１月２９日検索］、インターネット＜ＵＲＬ：http://otonanokagaku.net/nsx39/＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献１に開示の装置には、歌詞に相当する時系列の音韻情報を予め記憶させる事前準備が必要であるといった問題や、記憶された歌詞通りにしか音声を発生することができないといった問題があった。このため、演奏対象の音声の音韻を任意に決定するような音声の演奏を行いたい場合には、何らかの操作により音韻情報を発生する必要がある。
【０００５】
ここで、例えば鍵盤のように複数種類の音韻に対応付けられた複数の操作子を有する演奏部を利用し、その操作子の操作に応じて所望の音韻の音韻情報を発生する構成が考えられる。このような演奏部は、操作子を自由に選択することができるので、所望の音韻情報を発生することが可能になる。また、この演奏部を利用した場合、操作子を自由に操作することができるので、例えば押圧操作の継続時間を調整することにより、音声の持続時間を調整することが可能である。しかし、演奏対象となる音声の音韻は、音節が「子音＋母音」からなるものも含んでおり、その種類が多い。このため、複数種類の音韻に対応付けられた複数の操作子の操作は、極めて複雑なものとなる。従って、このような構成では、ユーザ（演奏者）が意図したタイミングに間に合うように音韻情報を発生することが困難である。
【０００６】
この発明は以上のような事情に鑑みてなされたものであり、演奏者の意図したタイミングにおいて、単純な演奏操作により所望の音声を発音し、かつ、その音声を所望の態様で持続させることを可能にする技術的手段を提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明は、演奏部に発生する振動波形を示す演奏信号を取得し、前記演奏信号が示す前記振動波形の特徴量に基づいて音生成指示を生成する音生成指示手段と、前記演奏部に加わる圧力を示す圧力信号に基づいて、前記音生成指示により生成される音信号の持続を制御する持続制御手段とを具備することを特徴とする演奏支援装置を提供する。
【０００８】
この発明によれば、演奏部の打撃等により演奏部に振動を発生させ、これにより音を発生させることができる。そして、演奏部に圧力を加えることにより、発生した音の持続の態様を制御することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の一実施形態である演奏支援装置を含む音声合成システムの構成を示すブロック図である。
【図２】同実施形態における演奏部の第１の形態を示す図である。
【図３】同実施形態における演奏部の第２の形態を示す図である。
【図４】同実施形態における演奏部の第３の形態を示す図である。
【図５】同実施形態における演奏部の第４の形態を示す図である。
【図６】同第４の形態における距離センサの特性を例示する図である。
【図７】同実施形態における補助入力装置に設けられたミキシング比指定用操作子を示す斜視図である。
【図８】同実施形態における補助入力装置に設けられた調指定用操作子を示す斜視図である。
【図９】同実施形態における制御部の第１のモードの機能構成を示すブロック図である。
【図１０】同第１のモードにおける変換部の処理内容を示す図である。
【図１１】同変換部の処理における調と音高との関係を示す図である。
【図１２】同実施形態において演奏部から出力される演奏信号の波形を例示する波形図である。
【図１３】同実施形態において音声合成装置によって合成される音信号の波形を示す波形図である。
【図１４】同実施形態における制御部の第２のモードの機能構成を示すブロック図である。
【図１５】同第２のモードにおける変換部の処理内容を示す図である。
【図１６】同実施形態における制御部の第３のモードの機能構成を示すブロック図である。
【図１７】同実施形態において演奏部において発生する演奏信号と圧力信号の波形を例示する波形図である。
【図１８】同実施形態における制御部の第４のモードの機能構成を示すブロック図である。
【図１９】同実施形態において演奏部において発生する演奏信号と距離信号の波形を例示する波形図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ本発明の実施の形態について説明する。
図１は、この発明の一実施形態による演奏支援装置１０Ａを含む音声合成システム１Ａの構成を示すブロック図である。音声合成システム１Ａは、演奏支援装置１０Ａ、音声合成装置２０Ａ、放音装置３０Ａおよび補助入力装置４０Ａを含んでいる。
【００１１】
演奏支援装置１０Ａは、演奏操作に基づいて振動波形を示す演奏信号を発生し、その演奏信号が示す振動波形の特徴量に基づいて音声合成装置２０Ａに対する音生成指示を生成する装置である。音声合成装置２０Ａは、演奏支援装置１０Ａからの音生成指示に従って歌唱音声の音信号を合成する装置である。
【００１２】
音声合成装置２０Ａは、この音生成指示に基づいて合成した音信号を他の信号とミキシングして出力する機能を備えている。演奏支援装置１０Ａには、この音声合成装置２０Ａのミキシング機能を利用するための機能が設けられている。具体的には、演奏支援装置１０Ａは、演奏操作に基づいて生成した演奏信号と、この演奏信号と音声合成装置２０Ａが合成した音信号とのミキシング比を指示する信号を音声合成装置２０Ａに供給する機能を備えている。
【００１３】
放音装置３０Ａは、音声合成装置２０Ａの出力信号を音として出力するスピーカ等により構成されている。補助入力装置４０Ａは、ユーザによって行われる操作に従って、演奏支援のための各種の制御情報を演奏支援装置１０Ａに供給する装置である。
【００１４】
図１に示すように、演奏支援装置１０Ａは、制御部１１Ａ、アナログデジタルコンバータ部（以下、ＡＤＣ部という）１２Ａ、演奏部１３Ａおよび記憶部１６Ａを含んでいる。
【００１５】
演奏部１３Ａは、ユーザによって行われる演奏操作によって発生する振動波形を示す演奏信号を出力する装置であり、収音部１４Ａを含む。ここで、収音部１４Ａは、演奏操作によって演奏部１３Ａに発生する音（空気振動）を検出し、その音波形（すなわち、振動波形）を示す演奏信号を出力する。
【００１６】
本実施形態では、各種の形態の演奏部１３Ａが用意されている。ユーザは、それらの中の所望の演奏部１３Ａを演奏支援装置１０ＡのＡＤＣ部１２Ａに接続することができる。
【００１７】
図２（ａ）〜（ｃ）は、演奏部１３Ａの第１の形態である演奏部１３Ａ１の構成を示すものである。ここで、図２（ａ）は演奏部１３Ａ１の斜視図、図２（ｂ）は図２（ａ）のＩａ−Ｉａ’線断面図、図２（ｃ）は図２（ａ）のＩｂ−Ｉｂ’線断面図である。
【００１８】
図２（ａ）に示すように、演奏部１３Ａ１は、６枚の木製の板１３１１〜１３１６により囲まれた中空の直方体形状をなしており、カホンと呼ばれる打楽器に近似した構成を有している。
【００１９】
演奏部１３Ａ１における板１３１３には、サウンドホール１３１が開口している。また、演奏部１３Ａ１において板１３１３と対向する板１３１１の内面には、図２（ｂ）および（ｃ）に示すようにスネア１３２が張られている。このスネア１３２は、板１３１１の振動に共鳴する弦であり、響き線とも呼ばれる。図示は省略したが、演奏部１３Ａ１には、このスネア１３２の張力を調整する機構が設けられている。
【００２０】
そして、演奏部１３Ａ１の内部には、収音部１４Ａを構成するマイクロフォン１４０が配置されている。第１の形態では、板１３１１、１３１２、１３１４の外面が打面となっている。ユーザがこれらの打面のいずれかを手で打撃すると、その打撃により演奏部１３Ａ１内に打撃音（空気振動）が発生し、その音波形を示す演奏信号がマイクロフォン１４０から出力される。
【００２１】
ここで、演奏信号の波形や振幅は、演奏部１３Ａ１における打撃位置、打撃の強さにより異なったものとなる。また、打撃位置によっては、演奏信号にスネア１３２の共鳴周波数（この例では５ｋＨｚ）の成分（以下、スネア音成分という）が現れる場合がある。従って、この第１の形態によれば、演奏部１３Ａ１に対する打撃の態様を変えることにより、多彩な演奏信号を生成することができる。
【００２２】
図３は、演奏部１３Ａの第２の形態である演奏部１３Ａ２の構成を示す断面図である。この図３は図２（ｃ）と同様な断面において演奏部１３Ａ２を切断した断面図である。なお、図３において、前掲図２に示された部分と対応する部分には同一の符号が付けられている。
【００２３】
上記第１の形態では、１個のマイクロフォン１４０により収音部１４Ａが構成されていた。しかし、この第２の形態では、演奏部１３Ａ２内の板１３１２および１３１４の近傍の各位置に配置されたマイクロフォン１４２および１４４により収音部１４Ａが構成されている。この第２の形態によれば、演奏部１３Ａ２における打撃位置のマイクロフォン１４２までの距離とマイクロフォン１４４までの距離とのバランスによりマイクロフォン１４２から得られる演奏信号とマイクロフォン１４４から得られる演奏信号の振幅のバランスが変化する。このように第２の形態によれば、演奏部１３Ａ２における打撃位置を反映した２つの演奏信号がマイクロフォン１４１および１４２から得られる。
【００２４】
図４は、演奏部１３Ａの第３の形態である演奏部１３Ａ３の構成を示す断面図である。この図４は図２（ｃ）と同様な断面において演奏部１３Ａ３を切断した断面図である。なお、図４において、前掲図２に示された部分と対応する部分には同一の符号が付けられている。
【００２５】
この第３の形態では、上記第１の形態の構成に加えて、打面である板１３１１、１３１２および１３１４の外面に圧力センサ１３３１、１３３２および１３３４が各々固定されている。この第３の形態において、ユーザが演奏部１３Ａ３の例えば板１３１２の外面を手で打撃した場合、その打撃音の音波形を示す演奏信号がマイクロフォン１４０から出力される。また、その際に、ユーザの手によって演奏部１３Ａ３の板１３１２に与えられる圧力が圧力センサ１３３２によって検出され、その圧力波形を示す圧力信号が圧力センサ１３３２から出力される。演奏者が板１３１１、１３１４の外面を手で打撃した場合も同様であり、その打撃音の音波形を示す演奏信号がマイクロフォン１４０から出力され、板１３１１または１３１４の外面に与えられる圧力波形を示す圧力信号が圧力センサ１３３１または１３３４から出力される。このように第３の形態では、演奏部１３Ａ３の打面の打撃の際、打撃音波形を示す演奏信号に加えて、打面に加わる圧力波形を示す圧力信号が得られる。
【００２６】
図５は、演奏部１３Ａの第４の形態である演奏部１３Ａ４の構成を示す断面図である。この図５は図２（ｃ）と同様な断面において演奏部１３Ａ３を切断した断面図である。なお、図５において、前掲図２に示された部分と対応する部分には同一の符号が付けられている。
【００２７】
この第４の形態では、上記第１の形態の構成に加えて、打面である板１３１１、１３１２および１３１４の外面に距離センサ１３４１、１３４２および１３４４が各々固定されている。これらの距離サンサ１３４１、１３４２および１３４４は、当該距離センサから障害物、例えば演奏部１３Ａ４の打面を打撃するユーザの手までの距離を示す距離信号を出力するセンサである。この種の距離センサとしては各種のセンサが提供されているが、この第４の形態では、赤外線を放射する光源と、障害物からの反射光を受光する受光素子と、受光素子の受光量に基づいて、障害物までの距離を示す距離信号を発生する回路とを備えた距離センサ１３４１、１３４２および１３４４が設けられている。
【００２８】
図６はこの第４の形態において用いられる距離センサの特性を例示する図である。この図６において、横軸は距離センサから障害物までの距離であり、縦軸は距離センサが出力する距離信号の電圧値である。この図６に示すように、距離信号の電圧値は、距離約５ｃｍ以上の範囲では、障害物までの距離が短くなる程大きくなり、距離約５ｃｍ以内の範囲では、障害物までの距離が短くなる程小さくなる。
【００２９】
従って、第４の形態によれば、距離センサ１３４１、１３４２および１３４４が出力する距離信号に基づいて、ユーザによる演奏部１３Ａ４の打面の打撃が開始されることを事前に検知することができる。また、第４の形態によれば、距離センサ１３４１、１３４２および１３４４が出力する距離信号に基づいて、ユーザが演奏部１３Ａ４の打面を手で打撃するときの手の速度等、ユーザの手の打面への接近の態様を検知することができる。
以上が演奏部１３Ａの諸形態である。
【００３０】
図１において、ＡＤＣ部１２Ａは、複数のＡＤＣにより構成されている。ＡＤＣ部１２Ａは、第１の形態の演奏部１３Ａ１が接続された場合、マイクロフォン１４０から出力される演奏信号をデジタル信号に変換して制御部１１Ａに供給する。また、ＡＤＣ部１２Ａは、第２の形態の演奏部１３Ａ２が接続された場合、マイクロフォン１４２および１４４から出力される各演奏信号をデジタル信号に各々変換して制御部１１Ａに供給する。また、ＡＤＣ部１２Ａは、第３の形態の演奏部１３Ａ３が接続された場合、マイクロフォン１４０から出力される演奏信号と圧力センサ１３３１、１３３２および１３３４から出力される各圧力信号をデジタル信号に各々変換して制御部１１Ａに供給する。また、ＡＤＣ部１２Ａは、第４の形態の演奏部１３Ａ４が接続された場合、マイクロフォン１４０から出力される演奏信号と距離センサ１３４１、１３４２および１３４４から出力される各距離信号をデジタル信号に各々変換して制御部１１Ａに供給する。
【００３１】
制御部１１Ａは、記憶部１６Ａに記憶された制御プログラム１６１Ａを実行することにより、演奏部１３ＡからのＡＤＣ部１２Ａを介して供給される信号（演奏信号、圧力信号、距離信号）に基づいて、音声合成装置２０Ａに供給する音生成指示を生成する。この音生成指示は、生成対象である音声の音韻、音高、音色、音量等を指定するパラメータを含む。また、制御部１１Ａは、音生成指示を生成するために用いた演奏信号を音声合成装置２０Ａに供給するとともに、この演奏信号と音生成指示に基づいて生成した音声の音信号とのミキシングを指示する。なお、音生成指示の生成等の制御部１１Ａの機能の詳細については後述する。
【００３２】
補助入力装置４０Ａは、この制御部１１Ａの動作に関連した各種の制御情報を入力するための操作子が設けられている。図７および図８はそのような操作子の例を示す斜視図である。図７に示す操作子は、音声合成装置２０Ａが合成する音信号と演奏支援装置１０Ａが出力する演奏信号とのミキシング比を指定する操作子である。また、図８に示す操作子は、音声合成装置２０Ａに合成させる音信号の調を指定する操作子である。
【００３３】
次に演奏支援装置１０Ａにおける制御部１１Ａの機能の詳細について説明する。制御部１１Ａの機能は、第１〜第４のモードに大別することができる。ここで、第１のモードは、第１の形態による演奏部１３Ａ１（図２参照）がＡＤＣ部１２Ａに接続された状態での制御部１１Ａの動作モード、第２のモードは第２の形態による演奏部１３Ａ２（図３参照）がＡＤＣ部１２Ａに接続された状態での制御部１１Ａの動作モード、第３のモードは、第３の形態による演奏部１３Ａ３（図４参照）がＡＤＣ部１２Ａに接続された状態での制御部１１Ａの動作モード、第４のモードは第４の形態による演奏部１３Ａ４（図５参照）がＡＤＣ部１２Ａに接続された状態での制御部１１Ａの動作モードである。以下、これらの各モードでの機能の詳細について説明する。
【００３４】
＜第１のモード＞
図９は制御プログラム１６１Ａの実行により実現される機能のうち第１のモードに関連した機能の構成を示すブロック図である。図９に示すように、第１のモードに関連した機能には、信号解析部６１ａと変換部６２ａとがある。信号解析部６１ａは、演奏部１３Ａ１からＡＤＣ部１２Ａを介して供給される演奏信号の解析を行い、演奏信号が示す振動波形の特徴量、具体的には演奏信号のピーク近傍での振幅とその周波数を求める。変換部６２ａは、信号解析部６１ａによる演奏信号の解析結果である特徴量に基づいて、音声合成装置２０Ａに生成を指示する音韻、その音高、音量、うなり声の程度を示す情報を生成し、これらの情報を含む音生成指示を音声合成装置２０Ａに供給する。
【００３５】
図１０はこの変換部６２ａの処理内容を例示する図である。図１０において、振幅ｘは、演奏部１３Ａ１からの演奏信号の振幅を演奏部１３Ａ１から出力可能な演奏信号の最大振幅により正規化した値であり、０〜１の範囲の値となる。変換部６２ａは、演奏信号の振幅ｘが０．３より小さい場合にはＦ３、０．３〜０．５の範囲ではＧ３、０．５〜０．７の範囲ではＡ３、０．７より大きい範囲ではＣ４という具合に、演奏信号の振幅ｘに応じて生成対象である音声の音高を決定する。この例では、演奏信号の振幅ｘが大きくなる程、生成対象である音声の音高は高くなる。
【００３６】
ここで、変換部６２ａは、生成対象である音声の音高を補助入力装置４０Ａの調指定用操作子（図８参照）により指定された調に適した音高とする。従って、変換部６２ａにより決定される音高は、演奏信号の振幅ｘが同じであっても、調指定用操作子により指定される調により異なったものとなる。図１１（ａ）は、調（ＫＥＹ）がＣである場合に演奏信号の振幅ｘに基づいて決定される音高を示しており、図１１（ｂ）は、調（ＫＥＹ）がＤである場合に演奏信号の振幅ｘに基づいて決定される音高を示している。
【００３７】
また、変換部６２ａは、演奏信号の振幅ｘと、演奏信号における５ｋＨｚのスネア音成分の有無とに基づき、生成対象である音声の音韻を決定する。具体的には、変換部６２ａは、演奏信号にスネア音成分が含まれている場合において、演奏信号の振幅ｘが０．５より小さい場合には、生成対象である音韻を「ざ」、演奏信号の振幅ｘが０．５より大きい場合には、生成対象である音韻を「だ」とする。また、変換部６２ａは、演奏信号にスネア音成分が含まれていない場合において、演奏信号の振幅ｘが０．５より小さい場合には、生成対象である音韻を「と」、演奏信号の振幅ｘが０．５より大きい場合には、生成対象である音韻を「て」とする。
【００３８】
また、変換部６２ａは、演奏信号の振幅ｘに基づき、生成対象である音声の音量を決定する。具体的には、変換部６２ａは、演奏信号の振幅ｘが０．３より小さい場合は生成対象である音声の音量（ＭＩＤＩのダイナミックス値に相当）を７０とし、演奏信号の振幅ｘが０．７より大きい場合は生成対象である音声の音量を１２０とする。また、変換部６２ａは、演奏信号の振幅ｘが０．３〜０．７の範囲内にある場合、ｘ＊１００＋５０（＊は乗算）なる演算により音量を決定する。
【００３９】
また、変換部６２ａは、演奏信号の振幅ｘに基づき、生成対象である音声のうなり声の程度を示す情報を決定する。具体的には、変換部６２ａは、演奏信号の振幅ｘが０．５より小さい場合は生成対象である音声のうなり声の程度を０とし、演奏信号の振幅ｘが０．８より大きい場合は生成対象である音声のうなり声の程度を１２０とする。また、変換部６２ａは、演奏信号の振幅ｘが０．５〜０．８の範囲内にある場合、（ｘ−０．６）＊２００＋２０なる演算によりうなり声の程度を決定する。
【００４０】
変換部６２ａは、以上のようにして決定した生成対象の音声の音高、音韻、音量、うなり声の程度を示す情報を含む音生成指示を生成して音声合成装置２０Ａに出力する。音声合成装置２０Ａでは、この音生成指示により指定された音高、音韻、音量、うなり声の程度を有する音声の音信号が合成される。そして、この音信号と演奏支援装置１０Ａを経由した演奏信号とがミキシングされ、放音装置３０Ａから音として出力される。
【００４１】
図１２は本実施形態において演奏部１３Ａ１から出力される演奏信号の波形を示す波形図である。また、図１３は制御部１１Ａからの音生成指示に基づいて音声合成装置２０Ａが合成する音信号の波形を示す波形図である。これらの図に示すように、本実施形態では、演奏支援装置１０Ａにより、演奏信号のピーク近傍での振幅、周波数に基づいて、生成対象の音声の音高、音韻、音量、うなり声の程度が決定され、そのような音声の音信号が音声合成装置２０Ａによって合成される。従って、ユーザは、意図したタイミングにおいて、所望の音声を発音させることができる。
【００４２】
＜第２のモード＞
図１４は制御プログラム１６１Ａの実行により実現される機能のうち第２のモードに関連した機能の構成を示すブロック図である。図１４に示すように、第２のモードに関連した機能には、信号解析部６１ｂと変換部６２ｂとがある。信号解析部６１ｂは、演奏部１３Ａ２（図３参照）のマイクロフォン１４２からＡＤＣ部１２Ａを介して供給される第１の演奏信号と、マイクロフォン１４４からＡＤＣ部１２Ａを介して供給される第２の演奏信号の解析を行い、第１および第２の演奏信号が示す各振動波形の特徴量、具体的には第１および第２の演奏信号のピーク近傍での振幅とその周波数を求める。変換部６２ｂは、信号解析部６１ｂによる第１および第２の演奏信号の解析結果である特徴量に基づいて、音声合成装置２０Ａに生成を指示する音韻、その音高、音量、うなり声の程度を示す情報を生成し、これらの情報を含む音生成指示を音声合成装置２０Ａに供給する。
【００４３】
図１５はこの変換部６２ｂの処理内容を例示する図である。この図１５には２つの表が示されている。左側の表は、第１の演奏信号の振幅、周波数から生成対象の音声の音高、音韻、音量、うなり声の程度を示す情報を決定するための第１の変換ルールを定めるものである。また、右側の表は、第２の演奏信号の振幅、周波数から生成対象の音声の音高、音韻、音量、うなり声の程度を示す情報を決定するための第２の変換ルールを定めるものである。
【００４４】
第２のモードにおいて変換部６２ｂは、第１および第２の演奏信号についての解析結果を信号解析部６１ｂから受け取ると、第１の演奏信号の振幅と第２の演奏信号の振幅とを比較する。そして、変換部６２ｂは、第１の演奏信号の振幅が第２の演奏信号の振幅よりも大きい場合には、図１５の左側の第１の変換ルールに従い、第１の演奏信号の振幅、周波数から生成対象の音声の音高、音韻、音量、うなり声の程度を示す情報を決定する。また、変換部６２ｂは、第１の演奏信号の振幅が第２の演奏信号の振幅よりも小さい場合には、図１５の右側の第２の変換ルールに従い、第２の演奏信号の振幅、周波数から生成対象の音声の音高、音韻、音量、うなり声の程度を示す情報を決定する。以上のように、第２のモードにおいて信号解析部６１ｂおよび変換部６２ｂは、演奏部１３Ａ２の複数個所における振動波形を示す複数の演奏信号を取得し、複数の演奏信号が示す各振動波形の特徴量に基づいて、生成対象である音信号を特定し、音信号についての音生成指示を生成する音生成指示手段として機能する。
【００４５】
この第２のモードにおいても、ユーザは、意図したタイミングにおいて、所望の音声を発音させることができる。
【００４６】
また、本実施形態では、第１の変換ルールと第２の変換ルールとで、演奏信号の振幅が同じであっても、生成対象の音韻、音量、音高、うなり声の程度を異ならせている。そして、第１の演奏信号の振幅と第２の演奏信号の振幅との大小関係は、ユーザによる演奏部１３Ａ２の打撃位置により異なったものとなる。従って、第２のモードによれば、ユーザは、演奏部１３Ａ２における打撃位置を各種変えることにより、音声合成装置２０Ａによって合成される音信号を多彩に変化させることができる。
【００４７】
＜第３のモード＞
図１６は制御プログラム１６１Ａの実行により実現される機能のうち第３のモードに関連した機能の構成を示すブロック図である。図１６に示すように、第３のモードに関連した機能には、信号解析部６１ｃと変換部６２ｃがある。信号解析部６１ｃには、演奏部１３Ａ３（図４参照）のマイクロフォン１４０からＡＤＣ部１２Ａを介して演奏信号が供給されるとともに、圧力センサ１３３１、１３３２、１３３４からＡＤＣ部１２Ａを介して第１〜第３の圧力信号が供給される。信号解析部６１ｃは、演奏信号の解析を行い、演奏信号が示す振動波形の特徴量、具体的には演奏信号のピーク近傍での振幅とその周波数を示す情報を変換部６２ｃに供給する。また、信号解析部６１ｃは、第１〜第３の圧力信号の中から圧力値が最大である圧力信号を選択し、その圧力信号と、その圧力信号の圧力値が閾値以上である期間だけＯＮとなる圧力フラグを変換部６２ｃに供給する。
【００４８】
変換部６２ｃは、演奏信号についての解析結果である特徴量（振幅、周波数）を受け取ると、その特徴量に基づいて、生成対象である音声の音高、音韻、音量、うなり声の程度を示す情報を生成し、それらの情報を含む音生成指示を音声合成装置２０Ａに供給する。このように信号解析部６１ｃおよび変換部６２ｃは、演奏部１３Ａ３に発生する振動波形を示す演奏信号を取得し、演奏信号が示す振動波形の特徴量に基づいて音生成指示を生成する音生成指示手段として機能する。ここで、生成対象である音声の音高、音韻、音量、うなり声の程度を示す情報を生成する機能は、上述した第１のモードと同様である。従って、第３のモードによれば、第１のモードと同様、ユーザは、意図したタイミングにおいて、所望の音声を発音させることができる。これに加えて、第３のモードにおいて変換部６２ｃは、音生成指示により音声合成装置２０Ａに合成させた音声を持続させる制御を行う。
【００４９】
さらに詳述すると、変換部６２ｃは、例えば生成対象が母音からなる音声である場合あるいは子音および母音からなる音声である場合、母音の発音を開始させる音生成指示を音声合成装置２０Ａに供給した後、圧力フラグがＯＮからＯＦＦに切り換わるまで待機する。そして、圧力フラグがＯＮからＯＦＦに切り換わると、変換部６２ｃは、上記音生成指示により発音を開始した母音の消音を音声合成装置２０Ａに指示する。これにより音声合成装置２０Ａは、母音の音信号の合成を終了する。このように変換部６２ｃは、演奏部１３Ａ３に加わる圧力を示す圧力信号に基づいて、音生成指示により生成される音信号の持続を制御する持続制御手段として機能する。
【００５０】
図１７は演奏部１３Ａ３において発生する演奏信号と圧力信号の波形を示す波形図である。ユーザが演奏部１３Ａ３のいずれかの打面を打撃すると、演奏部１３Ａ３において打撃音が発生し、その打撃音波形を示す演奏信号が発生する。第３のモードでは、この演奏信号のピーク近傍での周波数、振幅に基づいて、音生成指示が音声合成装置２０Ａに供給され、音声の音信号の合成が開始される。ここで、演奏信号は、演奏部１３Ａ３の打面の打撃により発生するものであるため、その持続時間が短くなる場合が多い。しかしながら、ユーザが演奏部１３Ａ３の打面を打撃した後、その打面を押し続ければ、その押している期間、圧力信号は閾値以上の高い圧力値を維持し、その間、音声合成装置２０Ａによる音信号の合成が継続される。従って、第３のモードによれば、ユーザは、意図したタイミングにおいて所望の音声を発音させた後、所望の時間だけ音声を継続させることができる。
【００５１】
第３のモードが選択されている状態において、ユーザは、補助入力装置４０Ａの操作により振幅変調または周波数変調の指示を制御部１１Ａに入力することができる。振幅変調の指示が入力された場合、変換部６２ｃは、母音の音生成指示を音声合成装置２０Ａに供給した後、圧力フラグがＯＮからＯＦＦになるまでの期間、合成中の母音の音信号の音量を圧力信号に応じて上下させる制御を行う。すなわち、圧力信号の圧力値がその移動平均よりも増加している期間は合成中の母音の音量をその増加分だけ上昇させる指示を音声合成装置２０Ａに供給し、圧力信号の圧力値がその移動平均よりも減少している期間は合成中の母音の音量をその減少分だけ低下させる指示を音声合成装置２０Ａに供給するのである。
【００５２】
また、周波数変調の指示が入力された場合、変換部６２ｃは、母音の音生成指示を音声合成装置２０Ａに供給した後、圧力フラグがＯＮからＯＦＦになるまでの期間、合成中の母音の音信号の音高を圧力信号に応じて上下させる制御を行う。すなわち、圧力信号の圧力値がその移動平均よりも増加している期間は合成中の母音の音高をその増加分だけ上昇させる指示を音声合成装置２０Ａに供給し、圧力信号の圧力値がその移動平均よりも減少している期間は合成中の母音の音高をその減少分だけ低下させる指示を音声合成装置２０Ａに供給するのである。
【００５３】
第３のモードにおいて、ユーザは、この振幅変調あるいは周波数変調を利用することにより、合成される音声に豊かな表情付けをすることができる。
【００５４】
＜第４のモード＞
図１８は制御プログラム１６１Ａの実行により実現される機能のうち第４のモードに関連した機能の構成を示すブロック図である。図１８に示すように、第４のモードに関連した機能には、信号解析部６１ｄと変換部６２ｄがある。
【００５５】
信号解析部６１ｄには、演奏部１３Ａ４（図５参照）のマイクロフォン１４０からＡＤＣ部１２Ａを介して演奏信号が供給されるとともに、距離センサ１３４１、１３４２、１３４４からＡＤＣ部１２Ａを介して第１〜第３の距離信号が供給される。
【００５６】
信号解析部６１ｄは、演奏信号の解析を行い、演奏信号が示す振動波形の特徴量、具体的には演奏信号のピーク近傍での振幅とその周波数を示す情報を変換部６２ｄに供給する。
【００５７】
また、信号解析部６１ｄは、第１〜第３の距離信号の中からユーザの手までの距離を反映していると考えられる距離信号を選択する。この距離信号の選択に関しては各種の方法が考えられるが、第１〜第３の距離信号の中から例えば信号値の移動平均が最大である距離信号を選択してもよい。そして、信号解析部６１ｄは、選択した距離信号に基づき、ユーザの手の演奏部１３Ａ４の打面への接近タイミングと接近の態様を示す情報を変換部６２ｄに供給する。
【００５８】
具体的には、信号解析部６１ｄは、選択した距離信号がピークとなるタイミング（図６の例ではユーザの手と打面との距離が５ｃｍとなるタイミング）を接近タイミングとし、その接近タイミングを変換部６２ｄに指示する。また、信号解析部６１ｄは、選択した距離信号がピークとなる前の距離信号の時間勾配を求め、その時間勾配を接近の態様を示す情報として変換部６２ｄに供給する。
【００５９】
変換部６２ｄは、ユーザの手の打面への接近タイミングが指示されると、そのタイミングにおいて子音を合成すべき旨の音生成指示（子音生成指示）を音声合成装置２０Ａに供給する。すなわち、変換部６２ｄは、演奏部１３Ａ４と物体（ユーザの手）との距離を示す距離信号に基づいて、子音生成指示を生成する子音生成指示手段として機能する。
【００６０】
ここで、生成対象である子音の決定方法に関しては２種類の方法が用意されており、ユーザは補助入力装置４０Ａを操作することにより所望の方法を制御部１１Ａに指示することができる。第１の方法は、補助入力装置４０Ａの所定の操作子を使用した子音指定操作により予め指定された子音を生成対象とする方法である。この第１の方法が選択された場合、変換部６２ｄは、指示された接近タイミングにおいて、予め指定された子音についての音生成指示を音声合成装置２０Ａに供給する。第２の方法は、接近の態様、すなわち、接近タイミングに至るまでの距離信号の時間勾配に基づいて、生成対象の子音を決定する方法である。この第２の方法が選択された場合、変換部６２ｄは、指示された接近タイミングにおいて、例えば距離信号の時間勾配が最低の第１の範囲内にある場合は子音ｚ、距離信号の時間勾配が第１の範囲よりも大きい第２の範囲内にある場合は子音ｄ、距離信号の時間勾配が第２の範囲よりも大きい第３の範囲内にある場合は子音ｔ、…という具合に、距離信号の時間勾配に応じて子音を決定し、その子音についての音生成指示を音声合成装置２０Ａに供給する。この子音についての音生成指示が与えられることにより、音声合成装置２０Ａでは、子音の音信号の合成が行われる。
【００６１】
次に変換部６２ｄは、演奏信号についての解析結果である特徴量（周波数、振幅）を信号解析部６１ｄから受け取ると、その特徴量に基づいて、生成対象の音声の母音部分についての音高、音韻（この場合、母音のみ）、音量、うなり声の程度を示す情報を生成し、それらの情報を含む母音についての音生成指示を音声合成装置２０Ａに供給する。このように変換部６２ｄは、演奏部１３Ａ４に発生する振動波形を示す演奏信号に基づいて、母音生成指示を生成する母音生成指示手段として機能する。そして、母音についての音生成指示が与えられることにより、音声合成装置２０Ａでは、母音の音信号の合成が行われる。
【００６２】
図１９は演奏部１３Ａ４において発生する演奏信号と距離信号の波形を示す波形図である。ユーザの手が演奏部１３Ａ４の打面の手前から所定距離の位置に近づくと、その打面に設けられた距離センサから出力される距離信号の信号値がピークとなる。第４のモードでは、この距離信号の信号値がピークとなる接近タイミングにおいて子音についての音生成指示が音声合成装置２０Ａに供給され、子音の音信号が合成される。その後、ユーザの手によって演奏部１３Ａ４の打面が打撃され、その打撃音波形を示す演奏信号が発生すると、その演奏信号に基づいて、母音についての音生成指示が音声合成装置２０Ａに供給され、母音の音信号が合成される。このように第４のモードによれば、演奏部１３Ａ４の打面の打撃に先立って子音を発生させ、演奏部１３Ａ４の打撃により母音を発生させることができる。従って、音声の演奏の演奏感を高めることができる。
【００６３】
＜他の実施形態＞
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。
【００６４】
（１）第１〜第４のモードでは、演奏部の内側の空洞内に配置されたマイクロフォンにより空気振動波形を示す演奏信号を取得したが、演奏部の打面に歪センサを固定し、この歪センサにより、演奏部の打面の振動波形を示す演奏信号を取得して、音生成指示の生成に利用してもよい。
【００６５】
（２）第２のモードにおいて、第１の演奏信号の振幅と第２の演奏信号の振幅との大小関係に応じて、生成対象の音声の音色を変えてもよい。例えば第１の演奏信号の振幅が第２の演奏信号の振幅よりも大きい場合には男性の音声についての音生成指示を生成し、第１の演奏信号の振幅が第２の演奏信号の振幅よりも小さい場合には女性の音声についての音生成指示を生成する、といった態様が考えられる。この態様によれば、演奏部における打撃位置を変えることにより、男性の音声と女性の音声を発音し分けることができる。また、音声合成装置２０Ａに合成させる音信号は人間の音声の音信号でなくてもよい。例えば演奏部の第１〜第３の打面の近傍に配置された各マイクロフォンから第１〜第３の演奏信号を取得し、第１の演奏信号の振幅が最大である場合には例えば豚の鳴き声の音信号を合成させ、第２の演奏信号の振幅が最大である場合には例えば牛の鳴き声の音信号を合成させ、第３の演奏信号の振幅が最大である場合には例えば山羊の鳴き声の音信号を合成させるようにしてもよい。
【００６６】
（３）第２のモードでは、第１の演奏信号の振幅と第２の演奏信号の振幅との大小関係に応じて、音生成指示の生成態様を２通りに変えたが、第１の演奏信号の振幅と第２の演奏信号の振幅との比率に応じて、音生成指示の生成態様を３通り以上に変えてもよい。
【００６７】
（４）演奏部に圧力センサと距離センサを設け、第３のモードの機能と第４のモードの機能を併せ持ったモードを追加してもよい。すなわち、距離センサが出力する距離信号に基づいて接近タイミングを検知し、子音についての音生成指示を生成し、次に演奏信号に基づいて母音についての音生成指示を生成し、圧力フラグがＯＮである期間、母音の音信号の合成を継続させるのである。このモードによれば、演奏の表現力をさらに高めることができる。
【００６８】
（５）第３のモードにおいて、複数の圧力信号において、いずれの圧力信号の圧力値が最大であるかにより、生成対象の音声の音韻や音色等を異ならせてもよい。
【符号の説明】
【００６９】
１Ａ……音声合成システム、１０Ａ……演奏支援装置、２０Ａ……音声合成装置、３０Ａ……放音装置、４０Ａ……補助入力装置、１１Ａ……制御部、１２Ａ……ＡＤＣ部、１３Ａ，１３Ａ１，１３Ａ２，１３Ａ３，１３Ａ４……演奏部、１４Ａ……収音部、１６Ａ……記憶部、１６１Ａ……制御プログラム、１３１１〜１３１６……板、１３１……サウンドホール、１３２……スネア、１４０，１４２，１４４……マイクロフォン、１３３１，１３３２，１３３４……圧力センサ、１３４１，１３４２，１３４４……距離センサ、６１ａ，６１ｂ，６１ｃ，６１ｄ……信号解析部、６２ａ，６２ｂ，６２ｃ，６２ｄ……変換部。
【図１】
2017146556.tif 000003
【図２】
2017146556.tif 000004
【図３】
2017146556.tif 000005
【図４】
2017146556.tif 000006
【図５】
2017146556.tif 000007
【図６】
2017146556.tif 000008
【図７】
2017146556.tif 000009
【図８】
2017146556.tif 000010
【図９】
2017146556.tif 000011
【図１０】
2017146556.tif 000012
【図１１】
2017146556.tif 000013
【図１２】
2017146556.tif 000014
【図１３】
2017146556.tif 000015
【図１４】
2017146556.tif 000016
【図１５】
2017146556.tif 000017
【図１６】
2017146556.tif 000018
【図１７】
2017146556.tif 000019
【図１８】
2017146556.tif 000020
【図１９】
2017146556.tif 000021