(57)【要約】【課題】  音声の演奏をリアルタイムに簡単に行うことができる技術的手段を提供する。【解決手段】  演奏支援装置１０Ｇの制御部１１は、トランペットのピストンバルブを模した複数の操作子１４−ｎの各々から当該操作子１４−ｎの操作を示す操作検出信号を取得する。制御部１１は、取得した各操作検出信号から各操作子１４−ｎの操作の組み合わせを特定し、音韻変換テーブル１６２を参照して、各操作子１４−ｎの操作の組み合わせに割り当てられた音韻を示す音韻情報を生成して音声合成装置２０に出力する。加えて、制御部１１は、操作子１４−ｎの操作に応じて合成音にエフェクトを付与するためのエフェクト情報を生成してエフェクタ５０に出力する。【選択図】図１８
2016180906.tif 000002
【特許請求の範囲】
【請求項１】
複数の操作対象の操作を各々検出する操作検出手段と、
前記操作検出手段によって検出された前記複数の操作対象の操作に基づいて音声の演奏に関連する複数種類の演奏情報を生成して出力する制御手段と、
を有することを特徴とする演奏支援装置。
【請求項２】
前記操作検出手段は、複数の操作子の操作を検出し、前記複数の操作子の操作に応じて連続的に変化する操作検出信号を各々出力し、
前記制御手段は、前記操作検出手段から取得した前記操作検出信号の各々を１または複数の閾値によって複数の信号レベルに区分し、前記複数の操作子の各々に対応する前記操作検出信号の信号レベルの組み合わせに基づいて音声の演奏に関連する第１の種類の演奏情報を生成して出力するとともに、前記閾値によって区分された各信号レベルの範囲内における前記操作検出信号の変化に応じて音声の演奏に関連する第２の種類の演奏情報を生成して出力することを特徴とする請求項１に記載の演奏支援装置。
【請求項３】
前記制御手段は、前記第１の種類の演奏情報として合成対象の音声の発音を示す音韻情報を生成して出力するとともに、前記第２の種類の演奏情報として合成対象の音声にエフェクトを付与するエフェクト情報を生成して出力することを特徴とする請求項２に記載の演奏支援装置。
【請求項４】
前記制御手段は、前記第１の種類の演奏情報として合成対象の音声の発音を示す音韻情報を生成して出力するとともに、前記第２の種類の演奏情報として前記音韻情報が表す発音の変化を示す音韻変化情報を生成して出力することを特徴とする請求項２に記載の演奏支援装置。
【請求項５】
前記制御手段は、前記操作検出手段によって検出された前記複数の操作対象の操作の組み合わせに基づいて合成対象の音声の発音を示す音韻情報を生成して出力することを特徴とする請求項１に記載の演奏支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音の発生を指示する演奏操作を支援する演奏支援装置に関する。
【背景技術】
【０００２】
音の発生を指示する演奏操作を支援する演奏支援装置の一例として、非特許文献１〜３の各文献に開示の装置が挙げられる。以下では、演奏操作に応じて音声を発生させることを「音声の演奏」と呼ぶ。
【０００３】
非特許文献１には、音声合成技術を利用して音声の演奏をリアルタイムに行うことを可能にする「あいうえおキーボード」と呼ばれる装置が開示されている。音声合成技術では、合成対象である音声の音韻と音高を指定する必要がある。この装置は、音韻として日本語を指定する日本語入力インタフェース部と、音高を指定する音高入力部とを有している。日本語入力インタフェース部は、日本語の五十音（あいうえお・・・）の各々に対応する複数のボタンを有しており、音高入力部は、ピアノ鍵盤を模した複数の鍵を有している。この装置のユーザは、一方の手（例えば、左手）で日本語入力インタフェース部を操作して日本語を指定すると共に、他方の手（例えば、右手）で音高入力部を操作して音高を指定することで音声の演奏を行うことができる。
【０００４】
非特許文献２には、予め歌詞をプリセットしておき、それらの歌詞のうちから演奏に使用するものを選択することで音声の演奏を実現する装置が開示されている。また、非特許文献３には、ユーザの声の音高および音量を検知し、それら検知した音高および音量に応じたトランペット音を放音する装置が開示されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】“ヤマハの超高性能音源ＩＣ、ＮＳＸ−１誕生秘話”、［ｏｎｌｉｎｅ］、２０１４年６月７日、ＶＯＣＡＬＯＩＤテクノロジー、［２０１５年２月１８日検索］、インターネット＜ＵＲＬ：http://www.dtmstation.com/archives/51900082.html＞
【非特許文献２】“歌うキーボード  ポケット・ミク”、［ｏｎｌｉｎｅ］、大人の科学．ｎｅｔ、［２０１５年２月１８日検索］、インターネット＜ＵＲＬ：http://otonanokagaku.net/nsx39/＞
【非特許文献３】“歌う！トランペット  ＥＺ−ＴＰ”、［ｏｎｌｉｎｅ］、ＹＡＭＡＨＡ、［２０１５年２月１８日検索］、インターネット＜ＵＲＬ：http://jp.yamaha.com/products/musical-instruments/entertainment/ez-trumpets/ez-tp/＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１〜３の各文献に開示の技術には、以下のような問題があった。
非特許文献１に開示の装置には、日本語の五十音の数だけボタンがあるため、日本語インタフェース部の占有面積を広くしなければならない、といった問題があった。また、非特許文献１に開示の装置には、多数のボタンの中から演奏すべき日本語をリアルタイムに指定しなければならないため演奏するのが困難であり、特に、早いテンポで演奏することが極めて困難である、という問題があった。非特許文献２に開示の装置には、予め歌詞をプリセットするといった事前準備が必要となるといった問題や、プリセットされた歌詞通りにしか音声を発音することができないといった問題があった。また、非特許文献３に開示の装置には、放音されるのはトランペット音であり、音韻を指定することができないといった問題があった。
【０００７】
このように、従来の音声の演奏では、音韻をリアルタイムに指定するだけでも大変であるため、さらに表現の豊かな音声の演奏を行うのは極めて困難である。
【０００８】
この発明は以上のような事情に鑑みてなされたものであり、音声の演奏をリアルタイムに簡単に行うことができる技術的手段を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明は、複数の操作対象の操作を各々検出する操作検出手段と、前記操作検出手段によって検出された前記複数の操作対象の操作に基づいて音声の演奏に関連する複数種類の演奏情報を生成して出力する制御手段と、を有することを特徴とする演奏支援装置を提供する。
【００１０】
この発明によれば、操作対象の操作に基づいて複数種類の演奏情報が生成されるため、少ない数の操作対象の操作で、多くの種類の演奏表現を行うことができる。このため、音声の演奏をリアルタイムに簡単に行うことができる。
【００１１】
好ましい態様において、前記操作検出手段は、複数の操作子の操作を検出し、前記複数の操作子の操作に応じて連続的に変化する操作検出信号を各々出力し、前記制御手段は、前記操作検出手段から取得した前記操作検出信号の各々を１または複数の閾値によって複数の信号レベルに区分し、前記複数の操作子の各々に対応する前記操作検出信号の信号レベルの組み合わせに基づいて音声の演奏に関連する第１の種類の演奏情報を生成して出力するとともに、前記閾値によって区分された各信号レベルの範囲内における前記操作検出信号の変化に応じて音声の演奏に関連する第２の種類の演奏情報を生成して出力する。
【００１２】
この態様によれば、演奏支援装置は、複数の操作子の操作に応じて、第１の種類の演奏情報を生成して出力しつつ、第２の種類の演奏情報を生成して出力する。このため、例えば、第１の種類の演奏情報として音韻を示す音韻情報を生成して出力するとともに、第２の種類の演奏情報として第１の種類の演奏情報以外の他の演奏情報を生成して出力するようにすれば、ユーザは、音韻を指定しつつ、さらに表現の豊かな音声の演奏を行うこともできる。
【図面の簡単な説明】
【００１３】
【図１】この発明の第１実施形態である演奏支援装置１０を含む音声合成システム１の構成を示すブロック図である。
【図２】同演奏支援装置１０におけるトランペットのピストンバルブを模した操作子１４−ｎの構成を例示する透視図である。
【図３】同演奏支援装置１０における複数の操作子１４−ｎの操作の組み合わせを例示する図である。
【図４】同演奏支援装置１０における音韻変換テーブル１６２の一例を示す図である。
【図５】同演奏支援装置１０の制御部１１が実行する処理の流れを示すフローチャートである。
【図６】同演奏支援装置１０を用いたユーザによる音声の演奏の一例を示す図である。
【図７】この発明の第２実施形態である演奏支援装置１０Ａを含む音声合成システム１Ａの構成を示すブロック図である。
【図８】この発明の第３実施形態である音声合成システム１Ｂの演奏支援装置１０Ｂにおける操作子１４−１〜１４−３の操作の組み合わせを例示する図である。
【図９】同演奏支援装置１０Ｂにおける音韻変換テーブル１６２Ｂの一例を示す図である。
【図１０】この発明の第４実施形態である音声合成システム１Ｃの演奏支援装置１０Ｃにおける操作子１４−ｎの操作の組み合わせを例示する図である。
【図１１】同演奏支援装置１０Ｃにおける音韻変換テーブル１６２Ｃの一例を示す図である。
【図１２】この発明の第５実施形態である音声合成システム１Ｄの演奏支援装置１０Ｄにおける操作部１３Ｄの構成を例示する図である。
【図１３】この発明の第６実施形態である音声合成システム１Ｅの演奏支援装置１０Ｅの操作部１３Ｅの構成を示す図である。
【図１４】この発明の第７実施形態である演奏支援装置１０Ｆを含む音声合成システム１Ｆの構成を示すブロック図である。
【図１５】この発明の変形例（１）における音韻変換テーブルの他の例を示す図である。
【図１６】図１５に例示する音韻変換テーブルを有する演奏支援装置を用いて行った音声の演奏の一例を示す図である。
【図１７】この発明の変形例（２）における操作子１４−ｎの操作の組み合わせに英語の音韻を割り当てた音韻変換テーブルの一例を示す図である。
【図１８】この発明の第８実施形態である演奏支援装置１０Ｇを含む音声合成システム１Ｇの構成を示すブロック図である。
【図１９】同演奏支援装置１０Ｇにおいて、ユーザによる操作子１４−ｎの操作の一例を示す操作部１３の概略図である。
【図２０】この発明の第９実施形態である演奏支援装置１０Ｈにおいて、母音「ａ」、「ｉ」、「ｕ」、「ｅ」および「ｏ」を発音したときの各母音についての第１ホルマント周波数と第２ホルマント周波数との関係を示した図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照し、この発明の実施形態について説明する。
＜第１実施形態＞
図１は、この発明の第１実施形態による演奏支援装置１０を含む音声合成システム１の構成を示すブロック図である。音声合成システム１は、演奏支援装置１０、音声合成装置２０および放音装置３０を含んでいる。演奏支援装置１０は、制御部１１、アナログデジタルコンバータ（以下、ＡＤＣという）１２、操作部１３、記憶部１６およびトリガ生成部１７を含んでいる。演奏支援装置１０の操作部１３は、合成対象の音声の音韻をユーザが指定するための装置である。演奏支援装置１０は、音の発生を指示する演奏操作を支援する装置であり、ユーザによって指定された音韻を示す音韻情報を生成して音声合成装置２０に出力する手段である。音声合成装置２０は、演奏支援装置１０から与えられる音韻情報が示す音韻に対応する音声を合成する手段である。放音装置３０は、例えばスピーカであり、音声合成装置２０が合成した音声を放音する手段である。
【００１５】
演奏支援装置１０の操作部１３は、例えば、トランペットを模した装置である。操作部１３は、複数個（Ｎ個）の操作子１４−ｎ（ｎ＝１、２、・・・、Ｎ）を有している。図１の例では、操作部１３は、３個の操作子１４−１、１４−２および１４−３を有している。例えば、操作子１４−１は、トランペットの第１ピストンバルブを模した装置であり、操作子１４−２は、トランペットの第２ピストンバルブを模した装置であり、操作子１４−３は、トランペットの第３ピストンバルブを模した装置である。なお、操作子１４−１〜１４−３を区別しないときは、操作子１４−ｎと表記する。
【００１６】
図２は、トランペットのピストンバルブを模した操作子１４−ｎの構成を例示する透視図である。操作子１４−ｎは、ケーシング１４１、ピストン管１４２、板状部材１４３、棒状部材１４４を有している。円筒状のピストン管１４２は、円筒状のケーシング１４１内に収容されて、その長手方向に移動可能に支持されている。ピストン管１４２には、ケーシング１４１外に露出する板状部材１４３が棒状部材１４４を介して固定されている。ピストン管１４２は、ユーザによる板状部材１４３のケーシング１４１側への押下に応じてケーシング下部１４１１側へ移動する。また、ピストン管１４２は、図示しない圧力付与機構によって、当該ピストン管１４２を図２の上方に持ち上げる圧力が与えられるようになっている。これにより、ピストン管１４２は、ユーザによる板状部材１４３の押下がなくなるのに応じてケーシング上部１４１２側へ移動する。以下、このようなユーザによる板状部材１４３およびピストン管１４２に対する操作のことを「操作子１４−ｎの操作」と呼び、板状部材１４３の押下のことを「操作子１４−ｎの押下」と呼ぶ。操作子１４−ｎの構成がこのようになっているため、ユーザは、操作子１４−ｎの操作をトランペットと同様に行うことができる。
【００１７】
操作子１４−ｎは、ユーザによる演奏操作を検出するための操作対象としての役割を果たす。そして、操作子１４−ｎは、この役割を果たすために、当該操作子１４−ｎの操作を検出して検出結果である操作検出信号を出力する操作検出手段を有している。トランペットのピストンバルブを模した操作子１４−ｎでは、例えば、ピストン管１４２のケーシング１４１に対する位置を検出する手段を操作検出手段として有している。図２の例では、操作子１４−ｎは、固定抵抗１４５、摺動子１４６および電源１４７を含んでおり、これらが操作検出手段として機能する。
【００１８】
固定抵抗１４５は、ケーシング１４１の内壁に長手に沿って固定された抵抗体である。固定抵抗１４５のケーシング下部側端１４５１は、電極１４７の正極に接続されており、固定抵抗１４５のケーシング上部側端１４５２は、電極１４７の負極およびグランドに接続されている。摺動子１４６は、ピストン管１４２の外壁に固定された電極であり、固定抵抗１４５に接触しており、出力端子１４６１に接続されている。出力端子１４６１には、固定抵抗１４５に印加される電源１４７の電圧を摺動子１４６によって分圧した電圧が与えられる。操作子１４−ｎは、この出力端子１４６１に与えられる電圧を操作検出信号として出力する。ピストン管１４２の移動と共に摺動子１４６が固定抵抗１４５の長手に沿って移動するため、例えば、操作子１４−ｎは、板状部材１４３が押下された状態では電源１４７の電圧に近い電圧を操作検出信号として出力し、板状部材１４３が押下されていない状態ではグランド電圧に近い電圧を操作検出信号として出力する。なお、操作検出手段の具体的な構成は、図２の例に限らない。
【００１９】
ＡＤＣ１２は、入力されるアナログ信号をデジタル信号に変換して出力する回路である。より詳細に説明すると、ＡＤＣ１２には、各操作子１４−１〜１４−３が出力する操作検出信号（アナログ信号）が各チャネル１５−１〜１５−３を介して入力される。ＡＤＣ１２は、時分割制御により、チャネル１５−１〜１５−３を順次選択し、チャネル毎に操作検出信号を一定のサンプリングレートでサンプリングしてデジタル信号に変換する。そして、ＡＤＣ１２は、デジタル信号に変換した操作検出信号を制御部１１へ出力する。
【００２０】
記憶部１６は、不揮発性記憶装置および揮発性記憶装置を含む記憶装置である。記憶部１６には、制御プログラム１６１と音韻変換テーブル１６２が記憶されている。音韻変換テーブル１６２は、複数の操作子１４−ｎの操作の組み合わせ毎に合成対象の音声の音韻を示す音韻情報を関連付けたテーブルである。
【００２１】
図３は、複数の操作子１４−ｎの操作の組み合わせを例示する図である。図３（Ａ）は、操作子１４−１〜１４−３のすべてが押下されていない組み合わせを示している。図３（Ｂ）は、操作子１４−２が押下されており、かつ、操作子１４−１および１４−３が押下されていない組み合わせを示している。図３（Ｃ）は、操作子１４−１が押下されており、かつ、操作子１４−２および１４−３が押下されていない組み合わせを示している。図３（Ｄ）は、操作子１４−１および１４−２が押下されており、かつ、操作子１４−３が押下されていない組み合わせを示している。図３（Ｅ）は、操作子１４−２および１４−３が押下されており、かつ、操作子１４−１が押下されていない組み合わせを示している。図３（Ｆ）は、操作子１４−１および１４−３が押下されており、かつ、操作子１４−２が押下されていない組み合わせを示している。図３（Ｇ）は、操作子１４−１〜１４−３のすべてが押下されている組み合わせを示している。このように、複数の操作子１４−ｎの操作の組み合わせの数は、操作子１４−ｎの個数以上にある。
【００２２】
図４は、音韻変換テーブル１６２の一例を示す図である。図４には、図３に示す操作子１４−ｎの操作の組み合わせと、その組み合わせに割り当てられた音韻とが示されている。具体的には、図３（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）および（Ｇ）の操作子１４−ｎの操作の各組み合わせ（図４では、単にＡ〜Ｇと表記）に対して、音韻「ん」「ら」「る」「た」「て」「だ」および「で」が各々割り当てられている。
【００２３】
なお、トランペットでは、第１ピストンバルブと第２ピストンバルブの両方を押下して鳴らした音と、第３ピストンバルブのみを押下して鳴らした音とがほぼ同じである。このため、トランペット奏者は、通常、第１ピストンバルブと第２ピストンバルブの両方を押下する操作と第３ピストンバルブのみを押下する操作のいずれか一方の操作を行う。このような実態に合わせて、図４の音韻変換テーブル１６２では、操作子１４−３が押下され、かつ、操作子１４−１および１４−２が押下されない組み合わせに対して音韻を割り当てていなかった。しかし、音韻変換テーブル１６２は、このような組み合わせに対しても音韻を割り当てたものであっても勿論良い。
【００２４】
制御部１１は、例えば、ＣＰＵ（中央演算装置）である。制御部１１は、記憶部１６に記憶されているプログラムを実行することにより演奏支援装置１０の制御中枢として機能する。より詳細には、制御部１１は、制御プログラム１６１を実行することにより、操作検出手段によって検出された複数の操作子１４−ｎの操作の組み合わせに基づいて合成対象の音声の音韻を示す音韻情報を生成して出力する制御手段として機能する。制御部１１が行う処理の内容は、動作の説明において詳述する。
【００２５】
図１に示すトリガ生成部１７は、制御部１１に対して音韻情報の出力タイミングを指示するトリガを生成して出力する装置である。トリガ生成部１７は、例えば、ユーザによる発音操作を検出してトリガを生成する。具体的には、トリガ生成部１７は、ユーザの息圧を検出する息圧センサを備え、所定値を越える息圧の検出に応じてトリガを生成する、という具合である。この場合、トリガ生成部１７は、トランペットのマウスピースも模したものであるとなお良い。
【００２６】
音声合成装置２０は、演奏支援装置１０から与えられる音韻情報と、別途取得する音高を示す音高情報とから音声を合成して放音装置３０へ出力する。例えば、音声合成装置２０は、音韻情報の取得を契機として記憶装置に予め記憶されている音高情報を順次読み出して音声を合成する。
以上が、演奏支援装置１０を含む音声合成システム１の構成である。
【００２７】
次に、演奏支援装置１０を含む音声合成システム１の動作例を説明する。
図５は、制御部１１が実行する処理の流れを示すフローチャートである。制御部１１は、トリガ生成部１７からトリガが与えられるのを待ち受ける（ＳＡ１１０：Ｎｏ）。制御部１１は、トリガ生成部１７からトリガが与えられると（ＳＡ１１０：Ｙｅｓ）、制御プログラム１６１の実行を開始し、ステップＳＡ１２０以降の処理を行う。
【００２８】
制御部１１は、トリガ生成部１７からトリガが与えられると（ＳＡ１１０：Ｙｅｓ）、
その時点における各操作子１４−ｎの操作検出信号（より正確には、デジタル信号に変換された各操作子１４−ｎの操作検出信号）をＡＤＣ１２から取得する（ＳＡ１２０）。次に、制御部１１は、各操作検出信号から操作子１４−ｎの操作の組み合わせを特定した操作情報を生成する（ＳＡ１３０）。
【００２９】
ステップＳＡ１３０の処理の具体例を説明する。ステップＳＡ１３０では、制御部１１は、まず、操作子１４−ｎ毎に操作検出信号が所定の閾値を越えているか否かを判定する。制御部１１は、操作検出信号が所定の閾値以下の場合、当該操作子１４−ｎが押下されていないことを表すビット「０」を生成し、操作検出信号が所定の閾値を越えている場合、当該操作子１４−ｎが押下されていることを表すビット「１」を生成する。そして、制御部１１は、各操作子１４−ｎの操作検出信号の判定結果を示す各ビットを決められた順に並べて操作情報を示すビット列を生成する。具体的には、制御部１１は、操作子１４−１の操作検出信号の判定結果を示すビットを１ケタ目に配置し、操作子１４−２の操作検出信号の判定結果を示すビットを２ケタ目に配置し、操作子１４−３の操作検出信号の判定結果を示すビットを３ケタ目に配置したビット列を生成する。
【００３０】
次に、制御部１１は、音韻変換テーブル１６２を参照して、ステップＳＡ１３０において生成した操作情報が示す操作子１４−ｎの操作の組み合わせに割り当てられた音韻を示す音韻情報を生成する（ＳＡ１４０）。例えば、制御部１１は、先のステップＳＡ１３０において、「０１０」という内容の操作情報を生成したとすると、ステップＳＡ１４０では、音韻変換テーブル１６２を参照して、「０１０」が表す図３（Ｂ）の組み合わせに割り当てられた音韻「ら」を示す音韻情報を生成する、という具合である。そして、制御部１１は、生成した音韻情報を音声合成装置２０へ出力して（ＳＡ１５０）、制御プログラム１６１の処理を終了する。
【００３１】
このように、制御部１１は、トリガが与えられた時点の各操作子１４−ｎの操作の組み合わせが表す音韻情報を生成して出力する。例えば、ユーザは、各操作子１４−１〜１４−３を図３（Ｂ）の組み合わせで操作して音韻「ら」を指定し、トリガ生成部１７の息圧センサに息を吹きかけたとする。この場合、トリガ生成部１７は、ユーザによる息の吹きかけに応じてトリガを生成して制御部１１へ出力し、制御部１１は、当該トリガが与えられた時点における各操作子１４−１〜１４−３の図３（Ｂ）の組み合わせから音韻「ら」を示す音韻情報を生成して音声合成装置２０へ送信する。
【００３２】
図６は、ユーザによる音声の演奏の一例を示す図である。図６の上段は、図３（Ａ）〜（Ｇ）の各操作子１４−１〜１４−３の操作の組み合わせを時系列に並べたものである。なお、図６では、図３（Ａ）〜（Ｇ）を単に「Ａ〜Ｇ」と表記している。図６に示すように、ユーザは、各操作子１４−１〜１４−３を図３（Ｂ）のように操作して息を吹きかけ、後続して図３（Ａ）のように操作して息を吹きかけ、・・・（中略）・・・後続して図３（Ｆ）のように操作して息を吹きかけたとする。この場合、図６の下段に示すように、「らん・・・（中略）・・・だ」の順に音声が発音される。
【００３３】
以上のように、演奏支援装置１０の制御部１１は、操作子１４−ｎの操作の組み合わせに基づいて音韻情報を生成する。このため、演奏支援装置１０は、操作対象である操作子１４−ｎの数よりも多い数の音韻情報を生成することができる。すなわち、演奏支援装置１０のユーザは、少数の操作子１４−ｎの各々を操作することで多数の音韻を指定することができる。従って、ユーザは、所望の音韻の音声の演奏をリアルタイムに簡単に行うことができる。また、操作子１４−ｎの個数が少ないため、ユーザは、早いテンポで演奏することもできる。
【００３４】
また、演奏支援装置１０では、息を吹きかけるなどの発音操作をすることで音韻情報を出力するため、ユーザは、演奏の直前まで演奏すべき音声の音韻を選択する余地がある。このため、演奏支援装置１０によると、スキャットのような即興性に富んだ音声の演奏を提供することができる。
【００３５】
また、演奏支援装置１０の操作子１４−ｎは、トランペットのピストンバルブを模したものであるため、ユーザは、トランペットを演奏するかのような操作で所望の音韻を指定することができる。すなわち、演奏支援装置１０によれば、ユーザは、直感的に瞬時に所望の音韻を選択することが可能である。
【００３６】
＜第２実施形態＞
図７は、この発明の第２実施形態による演奏支援装置１０Ａを含む音声合成システム１Ａの構成を示すブロック図である。本実施形態の音声合成システム１Ａは、演奏支援装置１０に代えて演奏支援装置１０Ａを、音声合成装置２０に代えて音声合成装置２０Ａを有し、音高入力装置４０を追加した点において第１実施形態の音声合成システム１と異なる。演奏支援装置１０Ａは、ＡＤＣ１２に代えてＡＤＣ１２Ａを、制御部１１に代えて制御部１１Ａを有し、トリガ生成部１７を削除した点において第１実施形態の演奏支援装置１０Ａと異なる。
【００３７】
音高入力装置４０は、合成対象の音声の音高をユーザが指定するための装置である。例えば、音高入力装置４０は、複数個（Ｍ個）の鍵から構成される鍵盤を有する装置である。音高入力装置４０の各鍵には、音高に対応するＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）形式のノートナンバが各々割り当てられている。また、音高入力装置４０は、押鍵による音高の入力指示を検出して、その検出結果である音高検出信号を出力する音高入力検出手段（図示略）を鍵毎に有している。各鍵の音高入力検出手段は、各々、チャネル４１−ｍ（ｍ＝１、２・・・Ｍ）に接続されている。すなわち、音高入力装置４０は、各鍵の音高検出信号を各鍵に対応するチャネル４１−ｍ（ｍ＝１、２・・・Ｍ）を介して演奏支援装置１０Ａに出力する。
【００３８】
演奏支援装置１０ＡのＡＤＣ１２Ａは、操作子１４−ｎから操作検出信号が入力されるのに加え、音高入力装置４０から音高検出信号が入力される点においてＡＤＣ１２と異なる。ＡＤＣ１２Ａは、時分割制御により、チャネル１５−１〜１５−３とチャネル４１−ｍ（ｍ＝１、２・・・Ｍ）を順次選択し、チャネル毎に操作検出信号と音高検出信号とを一定のサンプリングレートでサンプリングしてそれらをデジタル信号に変換する。そして、ＡＤＣ１２は、デジタル信号に変換した操作検出信号と音高検出信号とを制御部１１Ａへ出力する。
【００３９】
制御部１１Ａは、操作子１４−ｎの操作検出信号に基づいた音韻情報を音声合成装置２０Ａへ出力するのに加え、音高入力装置４０の音高検出信号に基づいた音高情報（具体的にはＭＩＤＩ形式のノートメッセージ）を音声合成装置２０Ａへ出力する点において第１実施形態の制御部１１と異なる。制御部１１Ａは、あるチャネル４１−ｍの音高検出信号が所定の閾値を上回ったとき、当該チャネル４１−ｍに対応する鍵のノートオンを検知してノートオンイベントを生成し、当該チャネル４１−ｍの音高検出信号がノートオンの後に所定の閾値を下回ったとき、当該チャネル４１−ｍに対応する鍵のノートオフを検知してノートオフイベントを生成する。また、制御部１１Ａは、あるチャネル４１−ｍの音高検出信号からノートオンあるいはノートオフを検知したとき、当該チャネル４１−ｍに対応する鍵のノートナンバイベントを生成する。この際、制御部１１Ａは、ノートナンバイベントを、記憶部１６に記憶されている各チャネル４１−ｍ（換言すると各鍵）と各ノートナンバとを関連付けたノートナンバテーブル（図示略）を参照して生成する。そして、制御部１１Ａは、ノートナンバイベントとノートオンイベントまたはノートオフイベントとを含むノートメッセージを音高情報として生成する。
【００４０】
また、制御部１１Ａは、ノートオンを検知したことをトリガとして音韻情報を生成して出力する点において第１実施形態の制御部１１と異なる。より詳細に説明すると、制御部１１Ａは、いずれかのチャネル４１−ｍにおいて音高検出信号からノートオンを検知すると、その時点における各操作子１４−ｎの操作検出信号（より正確には、デジタル信号に変換された各操作子１４−ｎの操作検出信号）をＡＤＣ１２Ａから取得する。そして、制御部１１Ａは、第１実施形態と同様にして、取得した操作検出信号から各操作子１４−ｎの操作の組み合わせを特定し、音韻変換テーブル１６２を参照して音韻情報を生成する。
【００４１】
制御部１１Ａは、このようにして生成した音韻情報とノートメッセージ（音高情報）とを音声合成装置２０Ａに出力する。
【００４２】
音声合成装置２０Ａは、音韻情報に加え、音高情報としてのノートメッセージも演奏支援装置１０Ａから与えられる点において第１実施形態の音声合成装置２０と異なる。音声合成装置２０Ａは、演奏支援装置１０Ａから与えられる音韻情報とノートメッセージとから音韻情報が示す音韻の音声を合成する。
【００４３】
本実施形態による演奏支援装置１０Ａは、操作子１４−ｎの操作の組み合わせに基づいて音韻情報を生成する点において第１実施形態の演奏支援装置１０と同様であるため、第１実施形態と同様の効果が得られる。
【００４４】
また、本実施形態の音高入力装置４０は、音高入力の演奏操作を指定させる役割を担うのに加え、演奏支援装置１０Ａが音韻情報を出力するタイミングを指定させる役割も担う。このため、音声合成システム１Ａでは、第１実施形態の音声合成システム１に比べ、より簡単で自由な演奏をユーザにさせることができる。例えば、ユーザは、一方の手（例えば、左手）で各操作子１４−ｎを操作して音韻を指定すると共に、他方の手（例えば、右手）で音高入力装置４０を操作して音高および発音タイミングを指定することで音声の演奏を行うことができる。
【００４５】
＜第３実施形態＞
第１実施形態の演奏支援装置１０の制御部１１は、一の操作子１４−ｎに対して二つの操作状態（具体的には押下されたか否か）を認識していた。しかし、制御部１１は、一の操作子１４−ｎに対して二つよりも多い操作状態を認識しても良い。この発明の第３実施形態による音声合成システム１Ｂの演奏支援装置１０Ｂは、制御プログラム１６１に代えて制御プログラム１６１Ｂを有する点において第１実施形態の演奏支援装置１０と異なる。制御プログラム１６１Ｂは、一の操作子１４−ｎに対して三つの操作状態を制御部１１に認識させる機能を付与した点において制御プログラム１６１と異なる。
【００４６】
図８は、演奏支援装置１０Ｂにおける操作子１４−１〜１４−３の操作の組み合わせを例示する図である。操作子１４−２に着目すると、図８（Ａ１）は、当該操作子１４−２が押下されていない組み合わせの例を示しており、図８（Ａ２）は、当該操作子１４−２が約半分だけ押下されている組み合わせの例を示しており、図８（Ｂ１）は、当該操作子１４−２がほぼ完全に押下されている組み合わせの例を示している。
【００４７】
本実施形態の制御部１１は、制御プログラム１６１Ｂを実行することにより、この図８の操作子１４−２によって例示した三つの操作状態のいずれであるかを各操作子１４−ｎについて判定して操作情報を生成する。例えば、まず、制御部１１は、操作子１４−ｎ毎に操作検出信号が第１の閾値を越えているか否かを判定し、第１の閾値を越えている場合、第１の閾値よりも大きな第２の閾値を越えているか否かを判定して、三つの操作状態の何れであるかを表す判定結果（例えばビット列）を生成する。そして、制御部１１は、各操作子１４−ｎの操作検出信号の各判定結果（ビット列）を決められた順に並べて操作情報を示すビット列を生成する。
【００４８】
演奏支援装置１０Ｂの記憶部１６には、音韻変換テーブル１６２Ｂが記憶されている。図９は、音韻変換テーブル１６２Ｂの一例を示す図である。図９には、本実施形態における操作子１４−ｎの操作の組み合わせと、その組み合わせに割り当てられた音韻とが示されている。例えば、図８（Ａ１）、（Ａ２）および（Ｂ１）の各組み合わせ（図９では、単にＡ１、Ａ２およびＢ１と表記）に対して、音韻「あ」「か」および「い」が各々割り当てられている。このように、音韻変換テーブル１６２Ｂでは、操作子１４−ｎが約半分だけ押下された操作を含む組み合わせ（具体的には、図９（Ａ２）のような組み合わせなど）に対しても音韻が割り当てられている。なお、図９では、一部の組み合わせのみを表示している。
【００４９】
制御部１１は、操作子１４−１〜１４−３の操作検出信号から操作子１４−１〜１４−３の操作の組み合わせを特定する操作情報を生成し、その操作情報から音韻変換テーブル１６２Ｂを参照して音韻情報を生成する。
【００５０】
本実施形態の演奏支援装置１０Ｂは、複数の操作子１４−ｎの操作の組み合わせに基づいて音韻情報を生成する点において第１実施形態の演奏支援装置１０と同様であるため、第１実施形態と同様の効果が得られる。また、演奏支援装置１０Ｂでは、第１実施形態の演奏支援装置１０に比べ、操作子１４−ｎの個数を増加させることなく合成対象の音韻の数を増加させることができる。具体的には、本実施形態では、最大２７（３の３乗）個の音韻を操作子１４−１〜１４−３の操作の各組み合わせに割り当てることができる。このため、演奏支援装置１０Ｂは、演奏支援装置１０に比べ、より多数の音韻の中から合成対象の音韻をユーザに指定させることができ、より自由な演奏をユーザにさせることができる。また、トランペットには、ピストンバルブを１／２だけ押下する演奏技法（いわゆるハーフバルブという演奏技法）があるため、ユーザは、違和感なく操作子１４−ｎを操作することができる。
【００５１】
＜第４実施形態＞
この発明の第４実施形態による音声合成システム１Ｃの演奏支援装置１０Ｃは、制御プログラム１６１および１６１Ｂに代えて制御プログラム１６１Ｃを有する点において第１実施形態の演奏支援装置１０および第３実施形態の演奏装置１０Ｂと異なる。制御プログラム１６１Ｃは、一の操作子１４−ｎに対して五つの操作状態を制御部１１に認識させる機能を付与した点において制御プログラム１６１および１６１Ｂと異なる。
【００５２】
図１０は、演奏支援装置１０Ｃにおける操作子１４−ｎの操作の組み合わせを例示する図である。操作子１４−２に着目すると、図１０（Ａ１）は、当該操作子１４−２が押下されていない組み合わせを示しており、図１０（Ａ２）は、当該操作子１４−２が約１／４だけ押下されている組み合わせを示しており、図１０（Ａ３）は、当該操作子１４−２が約半分だけ押下されている組み合わせを示しており、図１０（Ａ４）は、当該操作子１４−２が約３／４だけ押下されている組み合わせを示しており、図１０（Ｂ１）は、当該操作子１４−２がほぼ完全に押下されている組み合わせを示している。
【００５３】
本実施形態の制御部１１は、制御プログラム１６１Ｃを実行することにより、この図１０の操作子１４−２によって例示した五つの操作状態のいずれであるかを各操作子１４−ｎについて判定して操作情報を生成する。具体的には、四つの閾値を設定しておき、制御部１１は、第３実施形態と同様にして、操作子１４−ｎ毎に操作検出信号をそれら四つの閾値と比較し、その結果を決められた順に並べることで操作情報を生成する。
【００５４】
演奏支援装置１０Ｃの記憶部１６には、音韻変換テーブル１６２Ｃが記憶されている。図１１は、音韻変換テーブル１６２Ｃの一例を示す図である。図１１には、本実施形態における操作子１４−ｎの操作の組み合わせと、その組み合わせに割り当てられた音韻とが示されている。例えば、図１０（Ａ１）、（Ａ２）、（Ａ３）、（Ａ４）および（Ｂ１）の各組み合わせ（図１１では、単にＡ１、Ａ２、Ａ３、Ａ４およびＢ１と表記）に対して、音韻「あ」「か」「さ」「た」および「な」が各々割り当てられている。このように、音韻変換テーブル１６２Ｃでは、操作子１４−ｎが約１／４だけ押下された操作を含む組み合わせ（具体的には、図１１（Ａ２）のような組み合わせなど）、操作子１４−ｎが約半分だけ押下された操作を含む組み合わせ（具体的には、図１１（Ａ３）のような組み合わせなど）および操作子１４−ｎが約３／４だけ押下された操作を含む組み合わせ（具体的には、図１１（Ａ４）のような組み合わせなど）に対しても音韻が割り当てられている。なお、図１１では、一部の組み合わせのみを表示している。
【００５５】
制御部１１は、操作子１４−１〜１４−３の操作検出信号から操作子１４−１〜１４−３の操作の組み合わせを特定する操作情報を生成し、その操作情報から音韻変換テーブル１６２Ｃを参照して音韻情報を生成する。
【００５６】
本実施形態の演奏支援装置１０Ｃは、複数の操作子１４−ｎの操作の組み合わせに基づいて音韻情報を生成する点において第１実施形態の演奏支援装置１０と同様であるため、第１実施形態と同様の効果が得られる。また、演奏支援装置１０Ｃでは、第３実施形態の演奏支援装置１０Ｂに比べ、操作子１４−ｎの個数を増加させることなく合成対象の音韻の数をさらに増加させることができる。具体的には、本実施形態では、最大１２５（５の３乗）個の音韻を操作子１４−１〜１４−３の操作の各組み合わせに割り当てることができる。このため、演奏支援装置１０Ｃは、演奏支援装置１０および１０Ｂに比べ、より多数の音韻の中から合成対象の音韻をユーザに指定させることができ、より自由な演奏をユーザにさせることができる。また、トランペットには、ピストンバルブを１／４だけ押下する演奏技法（いわゆるクォータバルブという演奏技法）があるため、ユーザは、違和感なく操作子１４−ｎを操作することができる。
【００５７】
＜第５実施形態＞
この発明の第５実施形態による音声合成システム１０Ｄの演奏支援装置１０Ｄは、操作部１３に代えて操作部１３Ｄを有する点および制御プログラム１６１に代えて制御プログラム１６１Ｄを有する点において第１実施形態の演奏支援装置１０と異なる。図１２は、演奏支援装置１０Ｄにおける操作部１３Ｄの構成を例示する図である。図１２に示すように、操作部１３Ｄは、操作子１４−１〜１４−３に加えて操作子１４−４を有する点において第１実施形態の操作部１３と異なる。
【００５８】
操作子１４−４は、ピストンバルブを４個有するトランペットの第４ピストンバルブを模したものであり、操作子１４−１〜１４−３と同様の構成となっている。また、操作子１４−４は、操作子１４−１〜１４−３と同様に、操作検出信号をＡＤＣ１２を介して制御部１１に出力する。
【００５９】
制御プログラム１６１Ｄは、３個の操作子１４−１〜１４−３の各操作検出信号から操作情報を生成する機能に代えて、４個の操作子１４−１〜１４−４の各操作検出信号から操作情報を生成する機能を有する点において制御プログラム１６１と異なる。制御部１１は、制御プログラム１６１Ｄを実行することにより、各操作子１４−１〜１４−４の操作検出信号からの操作子１４−１〜１４−４の操作の組み合わせを特定する操作情報を生成する。具体的には、制御部１１は、操作子１４−ｎ毎に操作検出信号を所定の閾値と比較し、操作子１４−１〜１４−３の操作検出信号の判定結果を１ケタ目〜３ケタ目に配置し、操作子１４−４の操作検出信号の判定結果を４ケタ目に配置したビット列を操作情報として生成する。
【００６０】
演奏支援装置１０Ｄの記憶部１６には、操作子１４−１〜１４−４の操作の組み合わせ毎に音韻を割り当てた音韻変換テーブル１６２Ｄが記憶されている。制御部１１は、音韻変換テーブル１６２Ｄを参照して、操作情報から音韻情報を生成する。
【００６１】
本実施形態の演奏支援装置１０Ｄは、複数の操作子１４−ｎの操作の組み合わせに基づいて音韻情報を生成する点において第１実施形態の演奏支援装置１０と同様であるため、第１実施形態と同様の効果が得られる。また、演奏支援装置１０Ｄでは、第１実施形態の演奏支援装置１０に比べ、操作子１４−ｎの個数が多いため、操作子１４−ｎの操作の組み合わせが多く、合成対象の音韻の数を演奏支援装置１０よりも増加させることができる。具体的には、本実施形態では、最大１６（２の４乗）個の音韻を操作子１４−１〜１４−４の操作の各組み合わせに割り当てることができる。このため、演奏支援装置１０Ｄは、演奏支援装置１０に比べ、より多数の音韻の中から合成対象の音韻をユーザに指定させることができ、より自由な演奏をユーザにさせることができる。また、ピストンバルブが４個のトランペットも存在するため、ユーザは、違和感なく操作子１４−ｎを操作することができる。
【００６２】
また、本実施形態と第３実施形態の技術的特徴を組み合わせても良い。この場合の演奏支援装置は、操作子１４−ｎを４個有し、一の操作子１４−ｎに対して三つの操作状態を認識する。このため、この場合の演奏支援装置における操作子１４−ｎの操作の組み合わせにより指定可能な音韻の数は、最大８１（３の４乗）個となる。従って、この場合の演奏支援装置は、第３実施形態の演奏支援装置１０Ｂに比べ、より多数の音韻の中から合成対象の音韻をユーザに指定させることができ、より自由な演奏をユーザにさせることができる。
【００６３】
また、本実施形態と第４実施形態の技術的特徴を組み合わせても良い。この場合の演奏支援装置は、操作子１４−ｎを４個有し、一の操作子１４−ｎに対して五つの操作状態を認識する。このため、この場合の演奏支援装置における操作子１４−ｎの操作の組み合わせにより指定可能な音韻の数は、最大６２５（５の４乗）個となる。従って、この場合の演奏支援装置は、第４実施形態の演奏支援装置１０Ｃに比べ、より多数の音韻の中から合成対象の音韻をユーザに指定させることができ、より自由な演奏をユーザにさせることができる。
【００６４】
＜第６実施形態＞
上記第１〜第５実施形態の演奏支援装置１０〜１０Ｄは、トランペットを模した操作部１３を有していた。この発明の第６実施形態による演奏支援装置１０Ｅは、トランペットを模した操作部１３に代えてリコーダー（縦笛）を模した操作部１３Ｅを有する点および制御プログラム１６１に代えて制御プログラム１６１Ｅを有する点において第１実施形態の演奏支援装置１０と異なる。
【００６５】
図１３は、演奏支援装置１０Ｅの操作部１３Ｅの構成を示す図である。図１３に示すように、操作部１３Ｅには、リコーダーと同様に、複数の音孔Ｌ０〜Ｌ７が設けられている。なお、図１３では、操作部１３Ｅの隣に音孔Ｌ０を表示しているが、音孔Ｌ０は、操作部１３Ｅの背面に設けられるものである。本実施形態では、この音孔Ｌ０〜Ｌ７がユーザによる演奏操作を検出するための操作子、すなわち、操作対象としての役割を果たす。各音孔Ｌ０〜Ｌ７部分には、音孔Ｌ０〜Ｌ７が操作子としての役割を果たすために、ユーザの手指などによって当該音孔Ｌ０〜Ｌ７が塞がれるのを検出する操作検出手段が設けられている（図示略）。例えば、操作検出手段は、操作部１３の内部から当該音孔Ｌ０〜Ｌ７を介して外部に光を放射し、放射した光の反射光を検出する光学式のセンサなどを含む装置である。この態様の操作検出手段は、音孔Ｌ０〜Ｌ７が開放されている場合には、反射光をほとんど検出しないため低い電圧の操作検出信号をＡＤＣ１２へ出力し、音孔Ｌ０〜Ｌ７が塞がれている場合には、反射光を多く検出するため高い電圧の操作検出信号をＡＤＣ１２へ出力する。また、操作検出手段は、当該音孔Ｌ０〜Ｌ７が約半分だけ塞がれている場合には、完全に音孔Ｌ０〜Ｌ７が塞がれている場合に比べ反射光の検出量が少ないため、音孔Ｌ０〜Ｌ７が開放されている場合の電圧と音孔Ｌ０〜Ｌ７が完全に塞がれている場合の電圧との間の電圧の操作検出信号をＡＤＣ１２へ出力する。
【００６６】
また、操作子のひとつである音孔Ｌ６は、音孔Ｌ６ａと音孔Ｌ６ｂとから構成されている。音孔Ｌ６ａおよびＬ６ｂ部分の操作検出手段は、音孔Ｌ６ａとＬ６ｂの両方が塞がれた場合には、音孔Ｌ６が塞がれたものとして高い電圧の操作検出信号を出力する。一方、音孔Ｌ６ａおよびＬ６ｂ部分の操作検出手段は、音孔Ｌ６ａまたはＬ６ｂのいずれか一方が塞がれた場合には、音孔Ｌ６ａおよびＬ６ｂの両方が開放されている場合の電圧と音孔Ｌ６ａおよびＬ６ｂの両方が塞がれた場合の電圧との間の電圧の操作検出信号を出力する。音孔Ｌ７も音孔Ｌ６と同様である。
【００６７】
制御プログラム１６１Ｅは、操作子１４−１〜１４−３の各操作検出信号から操作情報を生成する機能に代えて、音孔Ｌ０〜Ｌ７の各操作検出信号から操作情報を生成する機能を有する点において制御プログラム１６１と異なる。制御部１１は、制御プログラム１６１Ｅを実行することにより、各音孔Ｌ０〜Ｌ７の操作検出信号から音孔Ｌ０〜Ｌ７の操作の組み合わせを特定する操作情報を生成する。
【００６８】
演奏支援装置１０Ｅの記憶部１６には、音孔Ｌ０〜Ｌ７の操作の組み合わせ毎に音韻を割り当てた音韻変換テーブル１６２Ｅが記憶されている。制御部１１は、音韻変換テーブル１６２Ｅを参照して、操作情報から音韻情報を生成する。
【００６９】
本実施形態の演奏支援装置１０Ｅは、複数の操作子（具体的には音孔Ｌ０〜Ｌ７）の操作の組み合わせに基づいて音韻情報を生成する点において第１実施形態の演奏支援装置１０と同様であるため、第１実施形態と同様の効果が得られる。また、演奏支援装置１０Ｅでは、第１実施形態の演奏支援装置１０に比べ、操作子１４−ｎの個数が多いため、操作子１４−ｎの操作の組み合わせが多く、合成対象の音韻の数を演奏支援装置１０よりも増加させることができる。このため、演奏支援装置１０Ｅは、演奏支援装置１０に比べ、より多数の音韻の中から合成対象の音韻をユーザに指定させることができ、より自由な演奏をユーザにさせることができる。また、演奏支援装置１０Ｄの操作部１３はリコーダーを模したものであるため、ユーザは、リコーダーを演奏するかのような操作で所望の音韻を指定することができる。
【００７０】
また、演奏支援装置１０Ｅでは、すべての音孔Ｌ０〜Ｌ７を音韻の指定に用いても良いし、音孔Ｌ０〜Ｌ７のうちの一部の音孔Ｌ０〜Ｌ７を音韻の指定に用いても良い。例えば、音孔Ｌ０〜Ｌ３のみを音韻の指定に用いても良いし、音孔Ｌ４〜Ｌ７のみを音韻の指定に用いても良い。リコーダーの演奏では、通常、音孔Ｌ０〜Ｌ３の開閉を左手の各指で行い、音孔Ｌ４〜Ｌ７の開閉を右手の各指で行う。このため、音孔Ｌ０〜Ｌ３のみを音韻の指定に用いた場合には、ユーザは、左手のみで合成対象の音韻を指定することができ、音孔Ｌ４〜Ｌ７のみを音韻の指定に用いた場合には、ユーザは、右手のみで合成対象の音韻を指定することができる。
【００７１】
また、演奏支援装置１０Ｅのトリガ生成部１７は、ユーザの息圧を検出する息圧センサを備え、リコーダーの唄口を模したものであるとなお良い。
【００７２】
＜第７実施形態＞
第１〜第６実施形態の演奏支援装置１０〜１０Ｅでは、トランペットのピストンバルブやリコーダーの音孔を模した操作子によってユーザの演奏操作を直接的に検出していた。この発明の第７実施形態による演奏支援装置１０Ｆは、ユーザの演奏操作を間接的に検出するものである。
【００７３】
図１４は、本実施形態の演奏支援装置１０Ｆを含む音声合成システム１Ｆの構成を示すブロック図である。本実施形態の音声合成システム１Ｆは、演奏支援装置１０に代えて演奏支援装置１０Ｆを有する点において第１実施形態の演奏支援装置１０と異なる。演奏支援装置１０Ｆは、操作部１３に代えて操作検出装置１９を有する点において演奏支援装置１０と異なる。
【００７４】
操作検出装置１９は、ユーザの演奏操作を間接的に検出する装置である。操作検出装置１９は、ユーザの各手指を複数の操作対象として、それら複数の操作対象の操作を各々検出する操作検出手段として機能する。操作検出装置１９は、例えば、カメラなどの撮像装置１９１と、撮像装置１９１が撮像した画像を処理する画像処理装置１９２とを含んでいる。撮像装置１９１は、操作対象であるユーザの各手指を撮像する。画像処理装置１９２は、撮像したユーザの各手指の３次元位置座標を算出し、ユーザの各手指の操作状態を判断する。そして、画像処理装置１９２は、判断した操作状態に応じた操作検出信号を操作対象毎に出力する。例えば、画像処理装置１９２は、手指の３次元位置座標から当該手指の屈曲度合いが大きい場合、当該手指が仮想的な操作子を押下した状態であるとした操作検出信号（例えば高い電圧の操作検出信号）を出力する。一方、画像処理装置１９２は、手指の３次元位置座標から当該手指の屈曲度合いが小さい場合、当該手指が仮想的な操作子を押下していない状態であるとした操作検出信号（例えば低い電圧の操作検出信号）を出力する。
【００７５】
制御部１１は、第１実施形態と同様にして、操作対象である手指毎の操作検出信号から当該手指の操作の組み合わせを特定する操作情報を生成し、その操作情報から音韻変換テーブル１６２を参照して音韻情報を生成する。
【００７６】
本実施形態の演奏支援装置１０Ｆは、操作検出手段によって検出された複数の検出対象の操作の組み合わせに基づいて音韻情報を生成する点において第１実施形態の演奏支援装置１０と同様であるため、第１実施形態と同様の効果が得られる。また、演奏支援装置１０Ｆのユーザは、仮想的な楽器（例えば仮想的なトランペット）を演奏するかのような操作で所望の音韻を指定することができる。
【００７７】
＜第８実施形態＞
図１８は、本実施形態による演奏支援装置１０Ｇを含む音声合成システム１Ｇの構成を示すブロック図である。音声合成システム１Ｇは、演奏支援装置１０に代えて演奏支援装置１０Ｇを有する点およびエフェクタ５０をさらに有する点において第１実施形態の音声合成システム１と異なる。演奏支援装置１０Ｇは、制御プログラム１６１に代えて制御プログラム１６１Ｇが記憶部１６に格納されている点において演奏支援装置１０と異なる。制御プログラム１６１Ｇは、合成音にエフェクト（具体的には、ビブラート）を付与するためのエフェクト情報を生成して出力する機能が付加された点において制御プログラム１６１と異なる。すなわち、制御部１１は、制御プログラム１６１Ｇを実行することにより、音韻情報を生成して出力するとともに、エフェクト情報をユーザの操作子１４−ｎの操作に基づいて生成してエフェクタ５０へ出力する。
【００７８】
エフェクタ５０には、音声合成装置２０が出力する合成音信号と演奏支援装置１０Ｇの制御部１１が出力するエフェクト情報とが与えられる。エフェクタ５０は、合成音信号が表す音声にエフェクト情報に従ったエフェクトを付与する装置である。具体的には、エフェクタ５０は、ビブラートを付与する装置であり、合成音信号の周波数をエフェクト情報が表す周波数変化量に応じて合成音信号の周波数を変化させる。
【００７９】
図１９は、ユーザによる操作子１４−ｎの操作の一例を示す操作部１３の概略図である。図１９の例では、操作子１４−１の板状部材１４３−１の天面は、最も高い位置ＴＸにある。この位置ＴＸは、操作子１４−ｎが押下されていない場合における所定の位置である。また、操作子１４−２の板状部材１４３−２の天面は、最も低い位置ＢＸにある。この位置ＢＸは、操作子１４−ｎが押下された場合における所定の位置である。すなわち、位置ＴＸおよび位置ＢＸは、ユーザが音韻を指定するための各操作子１４−ｎの所定の位置である。
【００８０】
また、図１９の例では、操作子１４−３は、その板状部材１４３−３の天面が位置ＴＸと位置ＢＸの中間の位置ＣＸを越えない程度に押下されている。そして、操作子１４−３には、図１９の上下方向（操作子１４−ｎの摺動可能な方向）に板状部材１４３−３が往復移動する操作（以下、往復操作という）がユーザによって与えられる。図１９の例における往復操作は、操作子１４−３の板状部材１４３−３の天面が位置ＴＸと位置ＣＸとの間に収まる範囲で行われる。操作子１４−ｎに与えられるこのような往復操作は、合成音にエフェクト（具体的には、ビブラート）を付与するための演奏操作である。
【００８１】
図１９の位置ＣＸは、操作子１４−ｎが押下されたか否かを判定するための境界に対応付けられている。すなわち、位置ＣＸは、操作子１４−ｎの操作の組み合わせにより音韻を指定するための閾値（具体的には、図５のフローチャートのステップＳＡ１３０の所定の閾値。以下、音韻判定閾値という）に対応付けられた位置である。このため、操作子１４−ｎの往復操作が位置ＣＸを越えるものでなければ、操作子１４−ｎの操作の組み合わせによって指定される音韻は変わらない。図１９の例では、制御部１１は、当該往復操作に関わらず、第１実施形態と同様に音韻変換テーブル１６２を参照して、音韻「ら」を示す音韻情報を生成して音声合成装置２０へ出力する。
【００８２】
次に、エフェクトの付与に関する動作を中心に説明する。
ユーザは、例えば、トリガ生成部１７の息圧センサに息を吹きかけつつ、図１９のように操作子１４−３を往復操作したとする。このとき、演奏支援装置１０Ｇのトリガ生成部１７は、息圧センサが息を検知している期間中、トリガを出力する。制御部１１は、トリガ生成部からトリガが与えられている期間中、ＡＤＣ１２を介して各操作子１４−ｎから操作検出信号を継続して取得する。制御部１１は、このように操作検出信号を取得している期間中、以下の処理を繰り返し行う。
【００８３】
まず、制御部１１は、各操作子１４−ｎから操作検出信号を取得すると、操作検出信号が音韻判定閾値よりも大きいか否かを判定することでエフェクト情報を算出するための基準位置を決定する。制御部１１は、操作検出信号が音韻判定閾値以下の場合、位置ＴＸを基準位置に決定し、操作検出信号が音韻判定閾値よりも大きい場合、位置ＢＸを基準位置に決定する。すなわち、制御部１１は、操作子１４−ｎにおける音韻を指定するための複数の所定位置のなかから、音韻を指定するための一の所定位置を、エフェクト情報を算出するための基準位置に決定する。
【００８４】
次に、制御部１１は、決定した基準位置が表す電圧から操作検出信号が表す電圧を減算し、その減算結果をエフェクト情報として出力する。図１９の例では、制御部１１は、位置ＴＸが表す電圧から、操作子１４−３の操作検出信号が表す電圧を減算してエフェクト情報を生成して出力する。すなわち、演奏支援装置１０Ｇでは、音韻を指定するための所定の位置（例えば位置ＴＸ）を基準とした操作子１４−ｎの操作量をエフェクト情報に対応付けている。
【００８５】
ユーザによって操作子１４−ｎに往復操作がなされれば、操作検出信号は時間的に変化する。このため、エフェクト情報は、操作子１４−ｎの往復操作に応じて時間的に変化する。エフェクト情報が時間的に変化するため、エフェクタ５０は、合成音信号の周波数を時間的に変化させた信号を出力する。これにより、操作子１４−ｎの往復操作に応じて周波数が高くなったり低くなったりするビブラートが付与された合成音が放音される。
【００８６】
以上のように、演奏支援装置１０Ｇは、複数の操作対象の操作を各々検出する操作検出手段と、操作検出手段によって検出された複数の操作対象の操作に基づいて音声の演奏に関連する複数種類の演奏情報を生成して出力する制御手段と、を有している。具体的には、演奏支援装置１０Ｇの操作検出手段は、複数の操作子１４−ｎの操作を検出し、複数の操作子１４−ｎの操作に応じて連続的に変化する操作検出信号を各々出力し、演奏支援装置１０Ｇの制御手段（具体的には、制御部１１）は、操作検出手段から取得した操作検出信号の各々を１または複数の閾値（具体的には、音韻判定閾値）によって複数の信号レベルに区分し、複数の操作子の各々に対応する操作検出信号の信号レベルの組み合わせに基づいて音声の演奏に関連する第１の種類の演奏情報（具体的には、音韻情報）を生成して出力するとともに、その閾値によって区分された各信号レベルの範囲内における操作検出信号の変化に応じて音声の演奏に関連する第２の種類の演奏情報（具体的には、エフェクト情報）を生成して出力する。
【００８７】
このように、演奏支援装置１０Ｇの操作子１４−ｎは、合成対象の音声の音韻の指定と、合成音にエフェクトを付与する操作の２種類の操作を担う。そして、演奏支援装置１０Ｇは、音韻情報とエフェクト情報という音声の演奏に関連する複数種類の演奏情報を出力する。このため、本実施形態の演奏支援装置１０Ｇは、第１実施形態の演奏支援装置１０に比べ、少ない数の操作子１４−ｎでより多彩な音声の演奏をユーザに行わせることができる。
【００８８】
なお、上記ではエフェクトを付与するための演奏操作が操作子１４−３に与えられていた。しかし、演奏支援装置１０Ｇは、このような演奏操作が操作子１４−３に与えられる態様に限らない。例えば、エフェクトを付与するための演奏操作が操作子１４−１や１４−２に与えられても良い。また、エフェクトを付与するための演奏操作は、操作子１４−３の板状部材１４３−３の天面が位置ＴＸと位置ＣＸとの間に収まる範囲で行われる往復操作に限らず、操作子１４−ｎの板状部材１４３−ｎの天面が位置ＢＸと位置ＣＸとの間に収まる範囲で行われる往復操作であっても良い。少なくとも、操作子１４−ｎの板状部材１４３−ｎの天面が位置ＣＸを越えなければ、操作子１４−ｎの操作の組み合わせにより指定される音韻が変わらないからである。
【００８９】
また、制御プログラム１６１Ｇは、コンピュータを、複数の操作子の操作を検出し、複数の操作子の操作に応じて連続的に変化する操作検出信号を各々出力する操作検出手段から取得した操作検出信号の各々を１または複数の閾値によって複数の信号レベルに区分し、複数の操作子の各々に対応する操作検出信号の信号レベルの組み合わせに基づいて音声の演奏に関連する第１の種類の演奏情報を生成して出力する第１の演奏情報生成手段と、閾値によって区分された各信号レベルの範囲内における操作検出信号の変化に応じて音声の演奏に関連する第２の種類の演奏情報を生成して出力する第２の演奏情報生成手段、として機能させることを特徴とする演奏支援プログラムである。
【００９０】
＜第９実施形態＞
この発明の第９実施形態の演奏支援装置１０Ｈは、音声の演奏に関する複数種類の演奏情報を出力する点において第８実施形態と同様であるが、その音声の演奏に関する演奏情報の種類が第８実施形態の演奏支援装置１０Ｇと異なる。本実施形態の演奏支援装置１０Ｈは、ユーザの操作子１４−ｎの操作に応じて音韻情報とその音韻情報が表す音韻の変化を示す音韻変化情報とを音声合成装置２０へ出力する。
【００９１】
本実施形態の演奏支援装置１０Ｈは、制御プログラム１６１に代えて制御プログラム１６１Ｈが記憶部１６に格納されている点において第１実施形態の演奏支援装置１０と異なる。制御プログラム１６１Ｈは、操作子１４−ｎの操作検出信号から音韻変化情報を生成して出力する機能が付加された点において制御プログラム１６１と異なる。すなわち、制御部１１は、制御プログラム１６１Ｈを実行することにより、音韻情報を生成して出力するとともに、音韻を変化させる演奏操作に応じた音韻変化情報を生成して音声合成装置２０へ出力する。音韻を変化させる演奏操作は、例えば、第８実施形態におけるエフェクトを付与する演奏操作と同様の操作である。
【００９２】
図２０は、母音「ａ」、「ｉ」、「ｕ」、「ｅ」および「ｏ」を発音したときの各母音についての第１ホルマント周波数と第２ホルマント周波数との関係を示した図である。図２０の母音「ａ」、「ｉ」、「ｕ」、「ｅ」および「ｏ」の各位置は、音韻変化情報の最小値に対応付けられるとともに、操作子１４−ｎにおける音韻を指定するための所定位置（例えば図１９の位置ＴＸおよびＢＸ）に対応付けられる。また、図２０には、母音「ａ」、「ｉ」、「ｕ」、「ｅ」および「ｏ」によって形成された図形の重心Ｇが示されている。図２０の重心Ｇは、音韻変化情報の最大値に対応付けられるとともに、操作子１４−ｎにおける音韻判定閾値に対応する位置（例えば図１９の位置ＣＸ）に対応付けられる。このため、演奏支援装置１０Ｈは、操作子１４−ｎの音韻判定閾値を越えない範囲での操作量に応じて、母音「ａ」、「ｉ」、「ｕ」、「ｅ」および「ｏ」の各位置と重心Ｇとの間の各位置に対応する音韻変化情報を生成する。より詳細には、演奏支援装置１０Ｈは、操作子１４−ｎの操作の組み合わせによって音韻が指定されているため、そのようにして指定された音韻の母音の位置と重心Ｇとの間の各位置に対応する音韻変化情報を生成する。図１９の例では、操作子１４−ｎの操作の組み合わせによって音韻「ら」が指定されているため、演奏支援装置１０Ｈは、その音韻「ら」の母音である「ａ」の位置と重心Ｇとの間の各位置において、操作子１４−３の位置ＴＸからの操作量に応じた音韻変化情報を生成する。音韻変化情報は、例えば、位置ＴＸが表す電圧から操作検出信号が表す電圧を減算して、その減算結果を位置ＣＸと位置ＴＸ間の電圧で除算するなどして算出すれば良い。
【００９３】
音声合成装置２０は、演奏支援装置１０Ｈから音韻情報と音韻変化情報とが与えられ、合成すべき音声の音韻をこの音韻情報と音韻変化情報とから決定する。より詳細には、音声合成装置２０は、音韻情報が表す音韻に、当該音韻情報が表す音韻の母音（例えば「ａ」）以外の母音（例えば「ｉ」、「ｕ」、「ｅ」および「ｏ」）を、音韻変化情報が表す量だけ混ぜ合わせる。これにより、音声合成装置２０は、音韻変化情報に応じて、音韻情報が表す音韻の母音を中間的な母音とした音韻の音声を合成する。従って、演奏支援装置１０Ｈによれば、ユーザは、操作子１４−ｎの操作に応じて、はっきりした発音の音声の演奏に加え、あいまいな発音の音声の演奏も行うことができる。
【００９４】
以上のように、演奏支援装置１０Ｈの制御部１１は、各操作子１４−ｎの操作の組み合わせに基づいた音韻情報を音声合成装置２０へ出力するとともに、各操作子１４−ｎの操作に基づいた音韻変化情報を音声合成装置２０へ出力する。このように、演奏支援装置１０Ｈは、第８実施形態の演奏支援装置１０Ｇと同様に、音韻情報と音韻変化情報という音声の演奏に関連する複数種類の演奏情報を出力している。このため、本実施形態の演奏支援装置１０Ｈも第８実施形態の演奏支援装置１０Ｇと同様に、第１実施形態の演奏支援装置１０に比べ、少ない数の操作子１４−ｎでより多彩な音声の演奏をユーザに行わせることができる。
【００９５】
なお、本実施形態の音声合成装置２０における音韻を決定する態様は、音韻情報が表す音韻に当該音韻情報が表す音韻の母音以外の母音を混ぜ合わせる態様に限らない。例えば、音声合成装置２０は、音韻変化情報が表す量に対応する分だけ、音韻情報が表す音韻の母音の第１ホルマント周波数および第２ホルマント周波数を、重心Ｇが表す第１ホルマント周波数および第２ホルマント周波数に近づけるようにシフトして音韻を決定しても良い。
【００９６】
＜他の実施形態＞
以上、この発明の各実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。
【００９７】
（１）上記第１実施形態の演奏支援装置１０では、図４に例示した内容の音韻変換テーブル１６２を有していた。しかし、操作子１４−ｎの操作の組み合わせに割り当てる音韻は、図４に例示したものに限らない。図１５は、音韻変換テーブルの他の例を示す図である。図１５に示す例では、図３（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）および（Ｆ）の各組み合わせ（図１５では、単にＡ〜Ｆと表記）に対して、音韻「あ」「い」「う」「え」「お」および「ん」が各々割り当てられている。また、図１５に示す例では、図３（Ｇ）の組み合わせ（図１５では、単にＧと表記）に対しては、音韻が割り当てられていない。ユーザが図１５の「Ｇ」の組み合わせのような音韻が割り当てられていない組み合わせの操作を行って発音操作をした場合には、制御部１１は、例えば、音韻情報を出力しないようにすれば良い。
【００９８】
図１６は、図１５に例示する音韻変換テーブルを有する演奏支援装置を用いて行った音声の演奏の一例を示す図である。図１６に示すように、ユーザは、各操作子１４−１〜１４−３を図３（Ａ）のように操作して息を吹きかけ、後続して図３（Ｃ）のように操作して息を吹きかけ、・・・（中略）・・・後続して図３（Ａ）のように操作して息を吹きかけたとする。この場合、図１６の下段に示すように、「あう・・・（中略）・・・あ」の順に音声が発音される。
【００９９】
また、演奏支援装置は、複数種の音韻変換テーブルを有し、ユーザの設定操作によって参照される音韻変換テーブルが選択されても良い。
【０１００】
（２）上記各実施形態の演奏支援装置１０〜１０Ｈでは、日本語の音韻を示す音韻情報を生成して出力していた。しかし、演奏支援装置が生成する音韻情報が示す音韻は、日本語の音韻に限らない。例えば、演奏支援装置は、英語の音韻を示す音韻情報を生成して出力しても良い。図１７は、操作子１４−ｎの操作の組み合わせに英語の音韻を割り当てた音韻変換テーブルの一例を示す図である。例えば、図１７に示す音韻変換テーブルを有する演奏支援装置のユーザが、各操作子１４−ｎを図３（Ｄ）、（Ｂ）、（Ｆ）、（Ｅ）の組み合わせ（図１７では、単にＤ、Ｂ、Ｆ、Ｅと表記）の順に操作したとする。この場合、この演奏支援装置の制御部は、図１７に示す音韻変換テーブルを参照して、「ｓ」「ｔａｒ」「ｄａｒ」「ｔ」の順に音韻情報を生成して出力する。これにより、「ｓｔａｒ  ｄａｒｔ」の音声が合成されて放音される。なお、英語では、「ｓｔａｒ」のように、単語の先頭に子音が２つ以上つづく場合や、「ｄａｒｔ」のように、単語の語尾に子音が来る場合もある。
【０１０１】
（３）図４および図１５に例示した音韻変換テーブルは、操作子の操作の組み合わせに日本語の五十音のいずれかを割り当てたものであった。しかし、音韻変換テーブルは、操作子の操作の組み合わせに子音を割り当てたものであっても良いし、操作子１４−ｎの操作の組み合わせに母音を割り当てたものであっても良い。
【０１０２】
例えば、演奏支援装置は、子音の音韻変換テーブルと母音の音韻変換テーブルとが記憶部１６に記憶されており、子音を指定させるための一組の子音操作子と、母音を指定させるための他の一組の母音操作子とを別個に備えているとする。この場合、制御部は、子音操作子の操作の組み合わせから子音の音韻変換テーブルを参照して子音の音韻情報を生成して出力するとともに、母音操作子の操作の組み合わせから母音の音韻変換テーブルを参照して母音の音韻情報を生成して出力する。音声合成装置は、与えられた子音の音韻情報と母音の音韻情報とから合成対象の音声を合成する、という具合である。この態様では、例えば、ユーザは、一方の手（例えば、左手）で各子音操作子を操作して子音を指定するとともに、他方の手（例えば、右手）で各母音操作子を操作して母音を指定することで、音声の演奏を行うことができる。これは、例えば、トランペットを模した操作部１３を２組有し、一方の操作部１３の操作子１４−ｎを子音操作子として機能させ、他方の操作部１３の操作子１４−ｎを母音操作子として機能させることで実現することができる。また、例えば、第６実施形態における音孔Ｌ０〜Ｌ３を子音操作子として機能させ、音孔Ｌ４〜Ｌ７を母音操作子として機能させることで実現することができる。
【０１０３】
（４）トランペットには、第３抜き差し管をスライドさせるための第３トリガという部分がある。演奏支援装置は、音韻を指定するための操作子として、ピストンバルブを模した操作子に加え、この第３トリガを模した操作子を有していても良い。この態様の演奏支援装置は、第３トリガを模した操作子を有さない演奏支援装置に比べ、合成対象の音韻の数を増加させることができる。
【０１０４】
（５）上記第２実施形態における音高入力装置４０は、複数個の鍵から構成される鍵盤を有する装置であった。しかし、音高入力装置４０は、合成対象である音声の音高をユーザが指定可能な装置であれば良く、鍵盤を有する装置に限らない。例えば、音高入力装置は、鍵盤に代えてリボン状の感圧センサを有していても良い。この態様では、例えば、感圧センサの各位置に各チャネルが対応付けられる。そして、音高入力装置は、ユーザによって感圧センサ上に圧力が加えられると、圧力が加えられた当該位置のチャネルを介して音高検出信号を演奏支援装置へ出力する、という具合である。これにより、演奏支援装置は、当該チャネルに対応付けられた音高のノートメッセージを出力し、音声合成装置は、感圧センサの各位置に対応する音高の音声を合成する。
【０１０５】
また、音高入力装置は、鍵盤に代えてユーザの音声などを収音するマイクを有していても良い。この態様の音高入力装置では、例えば、収音した音声の周波数に各チャネルが対応付けられる。そして、音高入力装置は、ユーザによって発せられた音声を収音すると、収音した音声の周波数に対応付けられたチャネルを介して音高検出信号を演奏支援装置へ出力する。これにより、演奏支援装置は、当該チャネルに対応付けられた音高のノートメッセージを出力し、音声合成装置は、収音した音声の周波数の対応する音高の音声を合成する。
【０１０６】
（６）上記各実施形態の演奏支援装置１０〜１０Ｈの制御部１１は、トリガが与えられたことを契機として音韻情報を生成して出力していた。しかし、演奏支援装置の制御部は、各操作子から操作検出信号を常に取得して音韻情報を生成してバッファに保持し、トリガが与えられたことを契機としてバッファに保持した音韻情報を音声合成装置に出力しても良い。また、演奏支援装置の制御部１１は、各操作子から操作検出信号を常に取得して音韻情報を生成し、生成した都度その音韻情報を音声合成装置に出力しても良い。この場合、例えば、音声合成装置は、音韻情報とは別個に取得するノートオンイベントなどの発音指示に応じてその時点で与えられた音韻情報の音声を合成するようにすれば良い。
【０１０７】
また、演奏支援装置の制御部１１には、音韻情報を出力するタイミングを指示するトリガとは別個に、音韻を確定させて音韻情報を生成するタイミングを指示する音韻確定情報が与えられても良い。この態様では、例えば、制御部は、ユーザによる操作によって音韻確定情報が与えられると、その時点の音韻を指定させる操作子の操作の組み合わせに基づいて音韻情報を生成してバッファにスタックする。制御部は、音韻確定情報が与えられる都度、同様にして音韻情報を生成してバッファに順次スタックしてゆく。そして、制御部は、ユーザによる発音操作などによりトリガが与えられるごとに、スタックした順にバッファの音韻情報を音声合成装置に出力する、という具合である。
【０１０８】
（７）上記各実施形態の演奏支援装置１０〜１０Ｈの制御部１１は、トリガが与えられた時点の複数の操作子の操作の組み合わせに基づいて音韻情報を生成していた。しかし、制御部は、モールス符号などのような操作子の押下時間の時系列の組み合わせに基づいて音韻を生成しても良い。
【０１０９】
（８）上記各実施形態の演奏支援装置では、操作対象の操作の組み合わせに基づいて音韻情報を生成して出力していた。しかし、操作対象の操作の組み合わせに基づいて生成される音韻情報は、発音記号で表されるような発音を示すものであっても良いし、仮名で表されるような複数の音素が含まれる発音を示すものであっても良い。また、例えば、当該音韻情報は、複数の音素の中間的な発音を示すものであっても良い。また、例えば、当該音韻情報は、音節単位やモーラ単位の発音を示すものであっても良い。これらの態様は、音韻変換テーブル１６２において、上記の発音を割り当てることにより実現することができる。従って、演奏支援装置は、合成対象の音声の音韻を示す音韻情報に限らず、合成対象の音声の発音を示す音韻情報を生成して出力するものであれば良い。すなわち、合成対象の音声の音韻を示す音韻情報を生成して出力する上記各実施形態の演奏支援装置は、合成対象の音声の発音を示す音韻情報を生成して出力する演奏支援装置の一実施形態である。
【０１１０】
（９）演奏支援装置および音声合成システムは、上記各実施形態および各変形例の技術的特徴を組み合わせたものであっても良い。例えば、第６実施形態と第８実施形態とを組み合わせても良い。この態様では、音孔を塞ぐ程度に応じてエフェクト情報を生成すれば良い。また、例えば、第２実施形態と第８実施形態とを組み合わせても良い。この態様では、音高検出信号からノートオンを検知したのを契機として、音韻情報を出力するとともに、エフェクト情報を生成して出力すれば良い。
【０１１１】
（１０）上記各実施形態の音声合成システム１〜１Ｈとしてユーザに提供するだけでなく、上記音声合成システム１〜１Ｈに含まれる演奏支援装置１０〜１０Ｈ単体でユーザに提供しても良い。演奏支援装置１０〜１０ＨをＵＳＢケーブルなどの信号線を介して既存の音声合成装置に接続することで、上記各実施形態の音声合成システム１〜１Ｈを構築することができるからである。また、演奏支援装置１０〜１０Ｈを音声合成装置２０〜２０Ａに組み込んで一体の装置にしてユーザに提供しても良い。
【０１１２】
（１１）上記各実施形態では、複数の検出対象の操作の組み合わせに基づいて音韻情報を生成する制御手段をソフトウェアモジュールで実現する場合について説明したが、それらを電子回路などのハードウェアで実現しても良い。
【符号の説明】
【０１１３】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ，１Ｇ，１Ｈ…音声合成システム、１０，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，１０Ｅ，１０Ｆ，１０Ｇ，１０Ｈ…演奏支援装置、１１，１１Ａ…制御部、１２，１２Ａ…ＡＤＣ、１３…操作部、１４−ｎ…操作子、１４１…ケーシング、１４１１…ケーシング下部、１４１２…ケーシング上部、１４２…ピストン管、１４３…板状部材、１４４…棒状部材、１４５…固定抵抗、１４５１…ケーシング下部側端、１４５２…ケーシング上部側端、１４６…摺動子、１４６１…出力端子、１４７…電源、１５−ｎ，４１−ｍ…チャネル、１６…記憶部、１６１，１６１Ｂ，１６１Ｃ，１６１Ｄ，１６１Ｅ，１６１Ｇ，１６１Ｈ…制御プログラム、１６２，１６２Ｂ，１６２Ｃ，１６２Ｄ，１６２Ｅ…音韻変換テーブル、１７…トリガ生成部、１９…操作検出装置、１９１…撮像装置、１９２…画像処理装置、２０，２０Ａ…音声合成装置、３０…放音装置、４０…音高入力装置、５０…エフェクタ。
【図１】
2016180906.tif 000003
【図２】
2016180906.tif 000004
【図３】
2016180906.tif 000005
【図４】
2016180906.tif 000006
【図５】
2016180906.tif 000007
【図６】
2016180906.tif 000008
【図７】
2016180906.tif 000009
【図８】
2016180906.tif 000010
【図９】
2016180906.tif 000011
【図１０】
2016180906.tif 000012
【図１１】
2016180906.tif 000013
【図１２】
2016180906.tif 000014
【図１３】
2016180906.tif 000015
【図１４】
2016180906.tif 000016
【図１５】
2016180906.tif 000017
【図１６】
2016180906.tif 000018
【図１７】
2016180906.tif 000019
【図１８】
2016180906.tif 000020
【図１９】
2016180906.tif 000021
【図２０】
2016180906.tif 000022