(57)【要約】【課題】音声合成装置に母音、子音、および音高を簡単な操作で入力する。【解決手段】音声合成制御装置１０は、ユーザーの第１の手により保持される第１被保持部１１と、第１被保持部１１に設けられ、ユーザーの指により操作される第１操作部１２と、ユーザーの第２の手により保持される第２被保持部１３と、第２被保持部１３に設けられ、ユーザーの指により操作される第２操作部１４と、第１操作部１２における操作を検知する第１検知手段１５１と、第２操作部１４における操作を検知する第２検知手段１５２と、第１被保持部１１および第２被保持部１３の相対位置に関する操作を検知する第３検知手段１５３と、第１検知手段１５１により検知された操作、第２検知手段１５２により検知された操作、第３検知手段１５３により検知された操作に応じて、合成音声の子音、母音、および音高を決定する決定手段１５４とを有する。【選択図】図１
2017173591.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの第１の手により保持される第１被保持部と、
前記第１被保持部に設けられ、前記ユーザーの指により操作される第１操作部と、
前記ユーザーの第２の手により保持される第２被保持部と、
前記第２被保持部に設けられ、前記ユーザーの指により操作される第２操作部と、
前記第１操作部における操作を検知する第１検知手段と、
前記第２操作部における操作を検知する第２検知手段と、
前記第１被保持部および前記第２被保持部の相対位置に関する操作を検知する第３検知手段と、
前記第１検知手段により検知された操作、前記第２検知手段により検知された操作、前記第３検知手段により検知された操作に応じて、合成音声の子音、母音、および音高を決定する決定手段と
を有する音声合成制御装置。
【請求項２】
前記第３検知手段は、前記第１被保持部および前記第２被保持部の距離を検知する
請求項１に記載の音声合成制御装置。
【請求項３】
前記決定手段は、前記第１検知手段により検知された操作に応じて前記母音を、前記第２検知手段により検知された操作に応じて前記子音を、前記第３検知手段により検知された操作に応じて前記音高を、それぞれ決定する
請求項１または２に記載の音声合成制御装置。
【請求項４】
請求項１ないし３のいずれか一項に記載の音声合成制御装置と、
前記決定手段により決定された前記子音、母音、および音高を有する合成音声を生成する音声合成手段と
を有する音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーの操作に応じてリアルタイムで歌唱音声を合成する技術に関する。
【背景技術】
【０００２】
ユーザーによる演奏および歌詞の入力に応じて、リアルタイムで歌唱音声を合成および再生する技術が知られている。例えば、特許文献１には、歌詞を入力するための５０音のキー、および演奏を入力するためのキーを有する歌唱音声合成装置が記載されている。また、非特許文献１には、母音を入力するためのキー、および演奏を入力するためのキーを有する歌唱音声合成装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−８３５６９号公報
【非特許文献】
【０００４】
【非特許文献１】“歌うキーボード  ポケットミク”、［online］、平成２６年４月３日、［２０１６年３月９日検索］、インターネット＜URL：http://otonanokagaku.net/nsx39/＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術においては、歌詞を入力するための操作子の数が多く、歌詞の入力が難しいという問題があった。特許文献２に記載の技術においては、入力できる歌詞が母音のみであり、合成される歌唱音声が単調であるという問題があった。
【０００６】
これに対し本発明は、音声合成装置に母音、子音、および音高を簡単な操作で入力する技術を提供する。
【課題を解決するための手段】
【０００７】
本発明は、ユーザーの第１の手により保持される第１被保持部と、前記第１被保持部に設けられ、前記ユーザーの指により操作される第１操作部と、前記ユーザーの第２の手により保持される第２被保持部と、前記第２被保持部に設けられ、前記ユーザーの指により操作される第２操作部と、前記第１操作部における操作を検知する第１検知手段と、前記第２操作部における操作を検知する第２検知手段と、前記第１被保持部および前記第２被保持部の相対位置に関する操作を検知する第３検知手段と、前記第１検知手段により検知された操作、前記第２検知手段により検知された操作、前記第３検知手段により検知された操作に応じて、合成音声の子音、母音、および音高を決定する決定手段とを有する音声合成制御装置を提供する。
【０００８】
前記第３検知手段は、前記第１被保持部および前記第２被保持部の距離を検知してもよい。
【０００９】
前記決定手段は、前記第１検知手段により検知された操作に応じて前記母音を、前記第２検知手段により検知された操作に応じて前記子音を、前記第３検知手段により検知された操作に応じて前記音高を、それぞれ決定してもよい。
【００１０】
また、本発明は、上記のいずれか一項に記載の音声合成制御装置と、前記決定手段により決定された前記子音、母音、および音高を有する合成音声を生成する音声合成手段とを有する音声合成装置を提供する。
【発明の効果】
【００１１】
本発明によれば、音声合成装置に母音、子音、および音高を簡単な操作で入力することができる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係る音声合成装置１の概略構成を例示する図。
【図２】音声合成装置１の具体的構成を例示する図。
【図３】第２被保持部１３および第２操作部１４の構造を例示する図。
【図４】母音入力の割り当て例を示す図。
【図５】子音入力の割り当て例を示す図。
【図６】ハードウェア構成を例示する図。
【図７】音声合成装置１の一実施形態に係る動作を示すフローチャート。
【図８】音声合成装置１の別の例に係るフローチャート。
【図９】音声合成装置のシステム構成の別の例を示す図。
【図１０】音声合成装置のシステム構成のさらに別の例を示す図。
【図１１】第２被保持部１３の構造の別の例を示す図。
【図１２】第２被保持部１３の構造のさらに別の例を示す図。
【図１３】音高の指定方法の別の例を示す図。
【図１４】連結部１６の構造の別の例を示す図。
【発明を実施するための形態】
【００１３】
１．構成
図１は一実施形態に係る音声合成装置１の概略構成を例示する図である。音声合成装置１は、ユーザーの操作に応じてリアルタイムで歌唱音声を合成するものである。この例では、ユーザーの操作によって、少なくとも歌詞の母音および子音、並びに音高が指定される。
【００１４】
音声合成装置１は、音声合成制御装置１０、音声合成エンジン１８、および音声出力部１９を有する。音声合成制御装置１０は、音声合成装置１における音声合成を制御する。音声合成制御装置１０は、第１被保持部１１、第１操作部１２、第２被保持部１３、第２操作部１４、および制御部１５を有する。第１被保持部１１は、ユーザーの第１の手により保持される。第１操作部１２は、第１被保持部１１に設けられ、ユーザーの指により操作される。第２被保持部１３は、ユーザーの第２の手により保持される。第２操作部１４は、第２被保持部１３に設けられ、ユーザーの指により操作される。
【００１５】
制御部１５は、歌詞および音高の入出力を制御する。制御部１５は、第１検知手段１５１、第２検知手段１５２、第３検知手段１５３、および決定手段１５４を有する。第１検知手段１５１は、第１操作部１２における操作を検知する。第２検知手段１５２は、第２操作部１４における操作を検知する。第３検知手段１５３は、第１被保持部１１および第２被保持部１３の相対位置に関する操作を検知する。決定手段１５４は、第１検知手段１５１により検知された操作、第２検知手段１５２により検知された操作、第３検知手段１５３により検知された操作に応じて、合成音声の子音、母音、および音高を決定する。
【００１６】
決定手段１５４は、歌詞決定手段１５４１、発音記号変換手段１５４２、音高決定手段１５４３、および合成指示生成手段１５４４を有する。この例で、歌詞決定手段１５４１は、歌詞を決定する。より詳細には、歌詞決定手段１５４１は、第１検知手段１５１検知結果に応じて子音を決定し、第２検知手段１５２の検知結果に応じて母音を決定する。発音記号変換手段１５４２は、歌詞決定手段１５４１により決定された歌詞を発音記号に変換する。音高決定手段１５４３は、第３検知手段１５３の検知結果に応じて音高を決定する。合成指示生成手段１５４４は、発音記号変換手段１５４２により得られた発音記号および音高決定手段１５４３により得られた音高の音声を合成する指示を生成する。
【００１７】
音声合成エンジン１８は、制御部１５から入力された指示に従って歌唱音声を合成し、合成された歌唱音声を示す音信号を出力する。音信号とは、音の波形の信号である。音声出力部１９は、音声合成エンジン１８から出力された音信号に従って音を出力する。音声出力部１９は、例えば、信号処理回路、増幅器、およびスピーカを有する。
【００１８】
図２は、音声合成装置１の具体的構成を例示する図である。音声合成装置１は、第１被保持部１１、第１操作部１２、第２被保持部１３、第２操作部１４、および連結部１６を有する。この例で、第１被保持部１１および第２被保持部１３は、手のひらサイズのほぼ半球形状を有しており、ある程度の剛性を有する材料、例えば、樹脂や金属で形成されている。第１操作部１２は、ユーザーが右手で第１被保持部１１を保持したときに各指があたる位置に設けられた合計で５つのスイッチを含む。第２操作部１４は、ユーザーが左手で第２被保持部１３を保持したときに各指があたる位置に設けられた合計で５つのスイッチを含む。連結部１６は、第１被保持部１１と第２被保持部１３とを連結するものであり、伸縮性を有する材料で形成されているかまたは伸び縮みする構造を有している。この例で、連結部１６は、いわゆる蛇腹（ベローズ）構造を有している。
【００１９】
この例では、第１操作部１２により歌詞の子音が、第２操作部１４により歌詞の母音が、第１被保持部１１と第２被保持部１３との距離により音高が、それぞれ指定される。
【００２０】
図３は、第２被保持部１３および第２操作部１４の構造を例示する図である。第２被保持部１３は、本体１３１およびストラップ１３２を有する。本体１３１はユーザーの左手の手のひらで保持される部分であり、左手の手のひらにフィットする形状を有する。ストラップ１３２は、ユーザーの左手を本体１３１に固定するための固定具である。
【００２１】
第２操作部１４は、操作子としてスイッチ１４１〜１４５を有する。スイッチ１４１〜１４５は、ストラップ１３２により左手を固定したときに、各指があたる位置に設けられている。スイッチ１４１〜１４５は、例えばモーメンタリ型のプッシュ式スイッチである。スイッチ１４１〜１４５によれば、これらのスイッチを押している間はオンが入力され、スイッチが押されていない間はオフが入力される。
【００２２】
図４は、母音入力の割り当て例を示す図である。図４のテーブルにおいて、親指（１）、人差し指（２）、中指（３）、薬指（４）、および小指（５）に対応するスイッチへの母音の割り当てが例示されている。なおここでは「ｙａ」、「ｙｕ」、「ｙｏ」、「ｗａ」、および「ｗｏ」は母音として扱われている。このテーブルにおいて、各列は主として操作されるスイッチを、各行は主として操作されるスイッチと併せて操作されるスイッチを示している。例えばテーブルの第１行のセルは、各スイッチが単独で操作されることを示している。この例では、各スイッチに、
１：ｉ    ２：ｕ    ３：ａ    ４：ｏ    ５：ｅ
が割り当てられている。さらに、
１＋２：ｙｕ    １＋３：ｙａ    １＋４：ｙｏ
２＋３：ｗａ    ２＋４：ｗｏ
が割り当てられている。なおここで、「１＋２」は親指と人差し指のボタンを同時に押すことを意味している。
【００２３】
第１被保持部１１および第１操作部１２も、第２被保持部１３および第２操作部１４と同様の構造を有している。ただし、第１被保持部１１は、右手で保持したときにフィットする形状を有している。
【００２４】
図５は、子音入力の割り当て例を示す図である。テーブルの構造は図４と同様である。この例では、各スイッチに、
１：ｐ      ２：ｋ      ３：ｓ      ４：ｔ      ５：ｈ
１＋２：ｇ  １＋３：ｚ  １＋４：ｄ  １＋５：ｂ
２＋３：ｎ  ２＋４：ｍ  ２＋５：ｒ
が割り当てられている。
【００２５】
図６は、第１被保持部１１および第２被保持部１３のハードウェア構成を例示する図である。第１被保持部１１は、入力検知部１１１、送信ＩＦ１１２、およびミラー１１３を有する。第２被保持部１３は、入力検知部１３４、受信ＩＦ１３５、測距センサー１３６、音声合成部１８１、および音声出力部１９１を有する。入力検知部１１１は、第１操作部１２に対して行われた操作入力を検知し、検知された操作入力に応じた信号を出力する。例えば、入力検知部１１１は、スイッチ１２１〜１２５のうち押されているスイッチを特定するための信号を出力する。送信ＩＦ１１２は、入力検知部１１１において検知された操作入力を示す情報を送信する。受信ＩＦ１３５は、送信ＩＦ１１２から送信された情報を受信し、受信された情報を示す信号を出力する。入力検知部１３４は、第２操作部１４に対して行われた操作入力を検知し、検知された操作入力に応じた信号を出力する。例えば、入力検知部１３４は、スイッチ１４１〜１４５のうち押されているスイッチを特定するための信号を出力する。測距センサー１３６は、距離を測定するための光を出力する。この光は、第１被保持部１１のミラー１１３で反射され、測距センサー１３６はこの反射光を受光する。測距センサー１３６は、例えばこの反射光が受光されるまでの時間により第１被保持部１１と第２被保持部１３との距離を測定し、測定された距離を示す信号を出力する。音声合成部１８１は、入力検知部１３４から出力された信号、受信ＩＦ１３５から出力された信号、および測距センサー１３６から出力された信号に応じて歌唱音声を合成し、この歌唱音声を示す音信号を出力する。音声出力部１９１は、音声合成部１８１から出力された音信号に従って音を出力する。
【００２６】
入力検知部１１１は、第１検知手段１５１の一例である。入力検知部１３４は、第２検知手段１５２の一例である。測距センサー１３６は、第３検知手段１５３の一例である。
【００２７】
音声合成部１８１は、プロセッサーおよびメモリーを有するコンピュータ装置である。このメモリーには、コンピュータ装置を音声合成装置として機能させるためのプログラムおよびデータが記憶されている。プロセッサーがこのプログラムを実行することにより、図１に示した機能が実装される。このプログラムを実行しているプロセッサーは、決定手段１５４の一例である。
【００２８】
２．動作
図７は、音声合成装置１の一実施形態に係る動作を示すフローチャートである。この例で、歌唱音声の合成は、母音に対応するスイッチ（スイッチ１４１〜１４５。以下「母音スイッチ」という）が押されたことを契機として開始される。図７のフローは、例えば、音声合成装置１が起動されたことを契機として開始される。
【００２９】
ステップＳ１１において、決定手段１５４（音声合成部１８１）は、母音スイッチが押されたか判断する。母音スイッチが押されたか否かは、入力検知部１３４の出力信号から判断される。母音スイッチが押されていないと判断された場合（Ｓ１１：ＮＯ）、決定手段１５４は、母音スイッチが押されるまで待機する。母音スイッチが押されたと判断された場合（Ｓ１１：ＹＥＳ）、決定手段１５４は、処理をステップＳ１２に移行する。
【００３０】
ステップＳ１２において、決定手段１５４は、歌唱合成する母音、子音および音高を指定する情報を取得する。母音を指定する情報は入力検知部１３４の出力信号から、子音を指定する情報は受信ＩＦ１３５の出力信号から、音高を指定する情報は測距センサー１３６の出力信号から、それぞれ得られる。具体的には、歌詞決定手段１５４１が、第２操作部１４において押されているスイッチを入力検知部１３４の出力信号から特定し、押されているスイッチにより指定される母音を図４のテーブルから特定する。また、歌詞決定手段１５４１が、第１操作部１２において押されているスイッチを受信ＩＦ１３５の出力信号から特定し、押されているスイッチにより指定される子音を図５のテーブルから特定する。なお第１操作部１２においてどのスイッチも押されていない場合は、子音が無いと特定される。歌詞決定手段１５４１は、特定された母音と子音の組み合わせから、歌唱合成する歌詞（文字）を特定する。発音記号変換手段１５４２は、歌詞決定手段１５４１により特定された歌詞を発音記号に変換する。発音記号変換手段１５４２は、文字を発音記号に変換するための情報（例えば変換テーブル）を記憶しており、この情報を参照して文字を発音記号に変換する。また、音高決定手段１５４３は、第１被保持部１１と第２被保持部１３との距離を測距センサー１３６の出力信号から特定し、距離に応じた音高を特定する。音高決定手段１５４３は、第１被保持部１１と第２被保持部１３との距離を音高に変換するための情報（例えばテーブルや関数）を記憶しており、この情報を参照して距離を音高に変換する。
【００３１】
ステップＳ１３において、決定手段１５４は、歌唱音声の合成開始を指示する。具体的には、合成指示生成手段１５４４が、発音記号変換手段１５４２により得られた発音記号、および音高決定手段１５４３により得られた音高を用いて、歌唱音声の合成指示を生成する。この合成指示は、発音記号および音高を示す情報を含んでいる。決定手段１５４は、合成指示生成手段１５４４により生成された合成指示を、音声合成エンジン１８に出力する。
【００３２】
音声合成エンジン１８は、入力された合成指示に従って歌唱音声を合成する。歌唱音声の合成には公知の技術を用いることができるのでここではその概要だけ説明する。音声合成エンジン１８は、素片ライブラリを有している。素片ライブラリは、ある特定の歌唱者の声からサンプリングした音楽素片（歌声の断片）を含むデータベースである。素片ライブラリには、その歌唱者の歌唱音声波形から採取された素片データが複数含まれている。素片データとは、歌唱音声波形から、音声学的な特徴部分を切り出して符号化した音声データである。
【００３３】
ここで、素片データについて、「さいた」という歌詞の歌唱音声を合成する場合を例として説明する。「さいた」という歌詞は発音記号で「ｓａｉｔａ」と表される。発音記号「ｓａｉｔａ」で表される音声の波形を特徴により分析すると、「ｓ」の音の立ち上がり部分→「ｓ」の音→「ｓ」の音から「ａ」の音への遷移部分→「ａ」の音…と続き、「ａ」の音の減衰部分で終わる。各素片データは、これらの音声学的な特徴部分に対応する音声データである。素変ライブラリには、あらゆる音および音の組み合わせに関する素片データが格納されている。以下の説明において、ある発音記号で表される音の立ち上がり部分に対応する素片データを、その発音記号の前に「＃」を付けて、「＃ｓ」のように表す。また、ある発音記号で表される音の減衰部分に対応する素片データを、その発音記号の後に「＃」を付けて、「ａ＃」のように表す。また、ある発音記号で表される音から他の発音記号で表される音への遷移部分に対応する素片データを、それらの発音記号の間に「−」を入れて、「ｓ−ａ」のように表す。
【００３４】
例えば、「ぱ」という音声は、「＃ｐ」、「ｐ」、「ｐ−ａ」、および「ａ」という素片データを順番に並べて繋げることにより合成される。音声合成エンジン１８は、これらの素片データを組み合わせた後、音高を調整する。音声合成エンジン１８は、音高を調整した合成音声の音信号を出力する。音声合成エンジン１８は、新たな歌唱音声の合成が指示されるまでは、ステップＳ１２において特定された歌詞（文字）の合成音声を出力し続ける。具体的には、音声合成エンジン１８は、最後の母音（先の例では「ａ」）を伸ばし続ける音信号を出力する。
【００３５】
ステップＳ１４において、決定手段１５４は、子音に対応するスイッチ（スイッチ１２１〜１２５。以下「子音スイッチ」という）の状態が変更されたか判断する。子音スイッチの状態は、受信ＩＦ１３５の出力信号（すなわち入力検知部１１１の出力信号）により示される。押されているスイッチが変更されたことが受信ＩＦ１３５の出力信号により示された場合、決定手段１５４は、子音スイッチの状態が変更されたと判断する。子音スイッチの状態が変更されたと判断された場合（Ｓ１４：ＹＥＳ）、決定手段１５４は、処理をステップＳ１５に移行する。子音スイッチの状態が変更されていないと判断された場合（Ｓ１４：ＮＯ）、決定手段１５４は、処理をステップＳ１６に移行する。
【００３６】
ステップＳ１５において、決定手段１５４は、歌詞を変更する。具体的には、歌詞決定手段１５４１が、入力検知部１３４の出力信号および受信ＩＦ１３５の出力信号から母音および子音を特定する。歌詞決定手段１５４１は、特定された母音と子音の組み合わせから、歌唱合成する歌詞（文字）を特定する。発音記号変換手段１５４２は、歌詞決定手段１５４１により特定された歌詞を発音記号に変換する。合成指示生成手段１５４４は、発音記号変換手段１５４２により得られた発音記号、および既に音高決定手段１５４３により得られている音高を用いて、歌唱音声の合成指示を生成する。なおこの合成指示は、この時点で発音中の合成音声の発音を終了するための指示、および新たな歌詞の合成音声の発音を開始するための指示を含んでいる。決定手段１５４は、生成した合成指示を音声合成エンジン１８に出力する。合成指示を出力すると、決定手段１５４は、処理をステップＳ１４に移行する。
【００３７】
ステップＳ１６において、決定手段１５４は、音高を変更する操作が行われたか判断する。音高を変更する操作の有無は、測距センサー１３６の出力信号から判断される。例えば、測距センサー１３６の出力信号により、第１被保持部１１と第２被保持部１３との距離が、この時点で発音中の合成音声の音高と異なる音高に対応する距離に変化したことが示された場合、決定手段１５４は、音高を変更する操作が行われたと判断する。音高を変更する操作が行われたと判断された場合（Ｓ１６：ＹＥＳ）、決定手段１５４は、処理をステップＳ１７に移行する。音高を変更する操作が行われていないと判断された場合（Ｓ１６：ＮＯ）、決定手段１５４は、処理をステップＳ１８に移行する。
【００３８】
ステップＳ１７において、決定手段１５４は、音高を変更する。具体的には、音高決定手段１５４３が、第１被保持部１１と第２被保持部１３との距離を測距センサー１３６の出力信号から特定し、距離に応じた音高を特定する。合成指示生成手段１５４４は、既に発音記号変換手段１５４２により得られている発音記号、および音高決定手段１５４３により得られた音高を用いて、歌唱音声の合成指示を生成する。なおこの合成指示は、この時点で発音中の合成音声から新たな合成音高まで音高を滑らかに変化させる指示を含んでいる。決定手段１５４は、生成した合成指示を音声合成エンジン１８に出力する。合成指示を出力すると、決定手段１５４は、処理をステップＳ１４に移行する。
【００３９】
ステップＳ１８において、決定手段１５４は、母音スイッチが離されたか判断する。母音スイッチが離されたか否かは、入力検知部１３４の出力信号から判断される。母音スイッチが離されていないと判断された場合（Ｓ１８：ＮＯ）、決定手段１５４は、処理をステップＳ１４に移行する。母音スイッチが離されたと判断された場合（Ｓ１８：ＹＥＳ）、決定手段１５４は、処理をステップＳ１９に移行する。
【００４０】
ステップＳ１９において、決定手段１５４は、音声合成の終了を指示する。具体的には、合成指示生成手段１５４４が、この時点で発音中の合成音声の発音を終了するための合成指示を生成し、この合成指示を音声合成エンジン１８に出力する。音声合成エンジン１８は、この合成指示に従って、合成音声の発音を終了する。
【００４１】
音声合成装置１によれば、左手の操作により歌詞の母音を、右手の操作により歌詞の子音を、左手と右手との距離により音高を、それぞれ簡単に指定し、指定された歌詞および音高の合成音声を出力することができる。
【００４２】
３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
【００４３】
３−１．動作フロー
図８は、音声合成装置１の別の例に係るフローチャートを示す図である。図７の例では母音スイッチの操作により音声合成が開始されたが、この例では母音スイッチの操作だけでなく、子音スイッチの操作または第１被保持部１１と第２被保持部１３との距離を変更する操作により音声合成が開始される。
【００４４】
ステップＳ２１において、決定手段１５４は、新たな操作を検知したか判断する。ここでいう新たな操作とは、押されている母音スイッチの変更、押されている子音スイッチの変更、または第１被保持部１１と第２被保持部１３との距離の変更、のいずれかである。新たな操作を検知していないと判断された場合（Ｓ２１：ＮＯ）、決定手段１５４は、新たな操作が検知されるまで待機する。新たな操作を検知したと判断された場合（Ｓ２１：ＹＥＳ）、決定手段１５４は、処理をステップＳ２２に移行する。
【００４５】
ステップＳ２２において、決定手段１５４は、新たな操作に関する情報を記憶する。押されている母音スイッチが変更された場合、決定手段１５４は、新たに押された母音スイッチを特定する情報をメモリーに記憶する。押されている子音スイッチが変更された場合、決定手段１５４は、新たに押された子音スイッチを特定する情報をメモリーに記憶する。第１被保持部１１と第２被保持部１３との距離が変更された場合、決定手段１５４は、変更後の距離をメモリーに記憶する。
【００４６】
ステップＳ２３において、決定手段１５４は、歌詞および音高さを指定する情報を取得する。具体的には、歌詞決定手段１５４１が、母音および子音を特定する情報をメモリーから読み出す。歌詞決定手段１５４１は、読み出された母音と子音の組み合わせから、歌唱合成する歌詞（文字）を特定する。発音記号変換手段１５４２は、歌詞決定手段１５４１により特定された歌詞を発音記号に変換する。また、音高決定手段１５４３は、第１被保持部１１と第２被保持部１３との距離をメモリーから読み出し、距離に応じた音高を特定する。
【００４７】
ステップＳ２４において、決定手段１５４は、歌唱音声の合成開始を指示する。具体的には、合成指示生成手段１５４４が、発音記号変換手段１５４２により得られた発音記号、および音高決定手段１５４３により得られた音高を用いて、歌唱音声の合成指示を生成する。決定手段１５４は、合成指示生成手段１５４４により生成された合成指示を、音声合成エンジン１８に出力する。音声合成エンジン１８は、この合成指示に従って、合成音声の発音を開始する。この時点で既に発音中の合成音声があれば、合成指示生成手段１５４４は発音中の合成音声の発音を終了させてから、新たな合成音声の発音を開始させる指示を生成する。
【００４８】
ステップＳ２５おいて、決定手段１５４は、操作が行われなくなったか判断する。「操作が行われなくなった」とは、どの母音スイッチもどの子音スイッチも押されていない状態になったことをいう。まだ操作が行われていると判断された場合（Ｓ２５：ＮＯ）、決定手段１５４は、操作が行われなくなったと判断されるまで待機する。操作が行われなくなったと判断された場合（Ｓ２５：ＹＥＳ）、決定手段１５４は、処理をステップＳ２６に移行する。なお、決定手段１５４は、どの母音スイッチもどの子音スイッチも押されておらず、かつ第１被保持部１１と第２被保持部１３との距離が変化していない状態になったときに、「操作が行われなくなった」と判断してもよい。
【００４９】
ステップＳ２６において、決定手段１５４は、音声合成の終了を指示する。具体的には、合成指示生成手段１５４４が、この時点で発音中の合成音声の発音を終了するための合成指示を生成し、この合成指示を音声合成エンジン１８に出力する。音声合成エンジン１８は、この合成指示に従って、合成音声の発音を終了する。
【００５０】
この例によれば、母音スイッチの操作だけでなく、子音スイッチの操作または第１被保持部１１と第２被保持部１３との距離の変化に応じて合成音声の発音を開始することができる。
【００５１】
３−２．システム構成
図９は、音声合成装置のシステム構成の別の例を示す図である。図６の例では音声合成および合成音声の出力に係る機能が第２被保持部１３に含まれていたが、この例では、音声合成および合成音声の出力に係る機能は外部装置である音声合成装置２に含まれている。
【００５２】
図６の例との相違点を説明すると、第２被保持部１３は、音声合成部１８１および音声出力部１９１を有しておらず、送信ＩＦ１３７を有している。音声合成装置２は、受信ＩＦ２０１、音声合成部１８１、および音声出力部１９１を有している。送信ＩＦ１３７は、入力検知部１３４の出力信号、受信ＩＦ１３５の出力信号、および測距センサー１３６の出力信号を、音声合成装置２に送信する。音声合成装置２において、受信ＩＦ２０１が、送信ＩＦ１３７の出力信号を受信する。音声合成部１８１は、受信ＩＦ２０１の出力信号に応じて歌唱音声を合成する。音声出力部１９１は、音声合成部１８１により合成された歌唱音声を出力する。
【００５３】
図１０は、音声合成装置のシステム構成のさらに別の例を示す図である。図９の例では送信ＩＦ１１２から送信される信号を第２被保持部１３が中継して音声合成装置に送信したが、この例では、第１被保持部１１から送信される信号を音声合成装置２が直接受信する。
【００５４】
図９の例との相違点を説明すると、第２被保持部１３は、受信ＩＦ１３５を有していない。送信ＩＦ１３７は、入力検知部１３４の出力信号および測距センサー１３６の出力信号を、音声合成装置２に送信する。音声合成装置２において、受信ＩＦ２０１が、送信ＩＦ１１２の出力信号および送信ＩＦ１３７の出力信号を受信する。音声合成部１８１は、受信ＩＦ２０１の出力信号に応じて歌唱音声を合成する。音声出力部１９１は、音声合成部１８１により合成された歌唱音声を出力する。
【００５５】
図９および図１０の例によれば、図６の例と比較して、第１被保持部１１および第２被保持部１３の構成を簡素にし、小型、軽量、および低コスト化することができる。
【００５６】
３−３．第１被保持部１１および第２被保持部１３の構造
図１１は、第２被保持部１３の構造の別の例を示す図である。この例では、第２被保持部１３は、ストラップ１３２を有しておらず、代わりに保持部１３８を有している。保持部１３８は本体１３１から人間の手の形に合わせて突出しており、ユーザーは、指と指の間に保持部１３８を挟むことによって第２被保持部１３を手に固定する。
【００５７】
図１２は、第２被保持部１３の構造のさらに別の例を示す図である。この例では、図３や図１１の例と比較すると本体１３１が手のひらに収まる程度の小さい形状を有する。ユーザーは、本体１３１を握ることによりこれを保持する。スイッチ１４１〜１４５は指の末節部に相当する位置に設けられており、ユーザーは各指の末節部でスイッチ１４１〜１４５を押す。図１１の例および図１２の例の双方について、第１被保持部１１も同様の構造を有している。
【００５８】
３−４．第１操作部１２および第２操作部１４の構造
第１操作部１２および第２操作部１４の構造は実施形態で例示したものに限定されない。例えば、スイッチ１４１〜１４５は、モーメンタリ型のプッシュ式スイッチではなく、オルタネイト型のプッシュ式スイッチ、タッチ式スイッチ、スライド式スイッチ、またはトグル式スイッチであってもよい。スイッチは機械式のスイッチであってもよいし、タッチセンサーであってもよい。スライド式スイッチまたはトグル式スイッチが採用された場合、例えば、これらのスイッチを、本体１３１の表面に平行な方向に握りこむことによりオンオフが切り替えられる。第１操作部１２についても同様である。
【００５９】
なお、第１操作部１２および第２操作部１４は、操作の状態としてオンおよびオフの２値を検知するものに限定されない。第１操作部１２および第２操作部１４は、３値以上の状態を連続的に検知可能な構造を有していてもよい。この場合、検知された操作状態に応じて、音量等のパラメーターを変化させてもよい。
【００６０】
なお、第１操作部１２および第２操作部１４が有する操作子（例えばスイッチ）は、ユーザーの指の数と同数のものに限定されない。これらの操作子は、ユーザーの指の数より多くてもよいし少なくてもよい。
【００６１】
３−５．第３検知手段１５３の具体例
第３検知手段１５３の具体例は測距センサー１３６に限定されない。例えば、第３検知手段１５３として歪みゲージが用いられてもよい。この場合、連結部１６は弾性体（例えばバネ）で形成される。歪みゲージはこの弾性体の復元力による、第１被保持部１１または第２被保持部１３の本体の変形を検知する。
【００６２】
別の例で、第３検知手段１５３としてロータリーエンコーダーが用いられてもよい。この場合、連結部１６は紐で形成される。この紐の一端は第１被保持部１１および第２被保持部１３の一方に固定され、他端は他方に設けられたリールに固定される。このリールは、紐がたるまず張力を保つように、十分な速度で紐の巻き取りを行う。このリールには、回転量を計測するためのスリットが設けられ、ロータリーエンコーダーで観点量を算出する。
【００６３】
さらに別の例で、第３検知手段１５３としてカメラが用いられてもよい。この場合、連結部１６は不要である。第１被保持部１１および第２被保持部１３の一方の本体表面にカメラが設けられ、他方の本体表面には特定の形状のマーカーが形成される。このカメラにより撮影した画像はプロセッサーにより処理される。プロセッサーは、この画像に写っているマーカーの像の大きさ等から、第１被保持部１１と第２被保持部１３との距離を算出する。
【００６４】
さらに別の例として、第３検知手段として加速度センサーや地磁気センサーが用いられてもよい。加速度センサーや地磁気センサーを用いると、第１被保持部１１および第２被保持部１３の相対位置だけでなく、重力方向に対する音声合成装置１全体の傾きを検出することができる。この場合において、音声合成装置１全体の傾きに応じて、オクターブを指定してもよい。あるいは、音声合成装置１全体の傾きに応じて、音声合成に係る歌詞および音高以外のパラメーター（ブレシネス、ブライトネス、クリアネス、オープニング、ジェンダーファクター、グロウル、クロスシンセシス等）が変更されてもよい。
【００６５】
３−６．音高の指定方法
図１３は、音高の指定方法の別の例を示す図である。図１３（Ａ）は連結部の反りにより音高が指定される例、図１３（Ｂ）は連結部１６のねじりにより音高が指定される例、および図１３（Ｃ）は第１被保持部１１および第２被保持部１３のシェイク（小刻みな振動）により音高が指定される例を、それぞれ示している。例えば、図１３（Ａ）の例では例えば反りが大きいほど音高が高く、図１３（Ｂ）の例ではねじりが大きいほど音高が高く、図１３（Ｃ）の例では振動が高速であるほど音高が高い。
【００６６】
音高の指定方法として連結部１６のねじり以外の方法が採用される場合において、第１被保持部１１および第２被保持部１３の一方を他方に対してねじることにより、音階のオクターブが指定されてもよい。例えば、第２被保持部１３の本体部分が、連結部１６に連結された連結部分と、ユーザーの手により保持される保持部分との２つに分かれており、連結部分の保持部分に対する回転角により音階のオクターブが指定されてもよい。
【００６７】
ある方法で指定された音高を、それと別の方法で変化させてもよい。例えば、第１被保持部１１と第２被保持部１３との距離により指定された音高を、連結部１６の反りに応じてベンドさせたり、第１被保持部１１および第２被保持部１３のシェイクに応じてビブラートさせたりしてもよい。
【００６８】
３−７．連結部１６の構造
連結部１６は、蛇腹構造のものに限定されず、径の異なる筒が重ねられた構造、または、可撓性または収縮性を有する材料で形成された単一の筒の構造を有していてもよい。要は、第１被保持部１１と第２被保持部１３との相対位置を変化させることができるものであれば、連結部１６はどのような構造を有していてもよい。
【００６９】
図１４は、連結部１６の構造の別の例を示す図である。この例で、連結部１６は、第１被保持部１１の回転軸と第２被保持部１３の回転軸とが同一直線上に乗るように、第１被保持部１１および第２被保持部１３を連結する。例えば、連結部１６はシャフト１６１を有しており、第１被保持部１１および第２被保持部１３はシャフト１６１を支持する軸受を有する。シャフト１６１により、第１被保持部１１および第２被保持部１３は回転軸が同一直線上にある状態を保ったまま操作される。この場合、連結部１６を、第１被保持部１１および第２被保持部１３の一方とともに回転する構成とし、他方と連結部１６との回転各をロータリーエンコーダーや回転式可変抵抗で測定することにより、音高を変化させてもよい。
【００７０】
なお、例えば第１被保持部１１と第２被保持部１３との距離により音高を指定する構成が採用された場合には、連結部１６は省略されてもよい。
【００７１】
３−８．他の変形例
母音、子音、および音高と、これらを指定する操作との組み合わせは実施形態で例示したものに限定されない。例えば、第１被保持部１１と第２被保持部１３との距離により母音が指定され、第１操作部１２により音高が指定され、操作部１４により子音が指定されてもよい。要は、第１検知手段１５１、第２検知手段１５２、および第３検知手段１５３により検知される３つの異なる操作により、母音、子音、および音高が指定されるものであればその組み合わせはどのようなものであってもよい。
【符号の説明】
【００７２】
１…音声合成装置、１０…音声合成制御装置、１１…第１被保持部、１２…第１操作部、１３…第２被保持部、１４…第２操作部、１５…制御部、１６…連結部、１８…音声合成エンジン、１９…音声出力部、１１１…入力検知部、１１２…送信ＩＦ、１１３…ミラー、１２１…スイッチ、１２２…スイッチ、１２３…スイッチ、１２４…スイッチ、１２５…スイッチ、１３１…本体、１３２…ストラップ、１３４…入力検知部、１３５…受信ＩＦ、１３６…測距センサー、１３７…送信ＩＦ、１３８…保持部、１４１…スイッチ、１４２…スイッチ、１４３…スイッチ、１４４…スイッチ、１４５…スイッチ、１５１…第１検知手段、１５２…第２検知手段、１５３…第３検知手段、１５４…決定手段、１８１…音声合成部、１９１…音声出力部、１５４１…歌詞決定手段、１５４２…発音記号変換手段、１５４３…音高決定手段、１５４４…合成指示生成手段
【図１】
2017173591.tif 000003
【図２】
2017173591.tif 000004
【図３】
2017173591.tif 000005
【図４】
2017173591.tif 000006
【図５】
2017173591.tif 000007
【図６】
2017173591.tif 000008
【図７】
2017173591.tif 000009
【図８】
2017173591.tif 000010
【図９】
2017173591.tif 000011
【図１０】
2017173591.tif 000012
【図１１】
2017173591.tif 000013
【図１２】
2017173591.tif 000014
【図１３】
2017173591.tif 000015
【図１４】
2017173591.tif 000016