(57)【特許請求の範囲】
【請求項１】
各々異なる音高を割り当てられる複数の鍵の各々に対して、歌詞の発音を表す１または複数の文字よりなる候補文字列を割り当てる割り当て手段と、
前記複数の鍵の何れかに対して選択操作が為されたことを契機として、当該選択操作の為された鍵に割り当てられていた候補文字列の表す音を当該鍵に対応する音高で発音する音声の合成指示を、歌唱合成装置に与える発音制御手段と、
前記割り当て手段により前記複数の鍵の各々に割り当てる候補文字列を、前記選択操作の為された鍵に割り当てられていた候補文字列に応じて選択し直す選択手段と、
を有することを特徴とする演奏支援装置。
【請求項２】
前記割り当て手段により前記複数の鍵の各々に割り当てられた候補文字列を表示装置に表示させる表示制御手段を有する
ことを特徴とする請求項１に記載の演奏支援装置。
【請求項３】
選択操作の為された鍵の履歴を記憶する記憶手段を備え、
前記選択手段は、前記記憶手段に記憶されている履歴の示す候補文字列の並びに応じて前記複数の鍵の各々に割り当てる候補文字列を選択する
ことを特徴とする請求項２に記載の演奏支援装置。
【請求項４】
前記割り当て手段は、前記記憶手段に記憶されている履歴の示す音高の推移を加味して前記複数の鍵の各々に候補文字列を割り当てる
ことを特徴とする請求項３に記載の演奏支援装置。
【請求項５】
前記割り当て手段による割り当てのリセットをユーザに指示させる操作子を有し、
前記割り当て手段は、前記操作子に対する操作によりリセットを指示されたことを契機として前記複数の鍵の各々に対する候補文字列の割り当てを変更する
ことを特徴とする請求項１〜４の何れか１項に記載の演奏支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽器を演奏するかのような操作で歌唱音声を発生させる技術に関する。
【背景技術】
【０００２】
近年、楽器を演奏するかのような操作で歌唱音声を発生させる電子楽器がある。例えば、ピアノ鍵盤を模した入力装置に対する押鍵操作に応じて、押下された鍵に対応する音高の歌唱音声を発生させる、といった具合である。以下では、押鍵などの演奏操作に応じて歌唱音声を発生させることを「歌声の演奏」或いは「歌声を演奏する」と呼ぶ。このような歌声の演奏においては、演奏操作に応じて発生させる歌唱音声の歌詞は予め決められていることが多く、面白みに欠ける。そこで、演奏者が歌詞を指定しつつ歌声の演奏を行えるようにする技術が種々提案されており、その一例としては非特許文献１〜３の各文献に開示の技術が挙げられる。
【０００３】
非特許文献１には、歌唱合成を利用して歌声の演奏を可能にするリアルタイム日本語歌唱鍵盤楽器である「VOCALOIDキーボード」が開示されている。このVOCALOIDキーボードは、子音、母音、濁点、および半濁点の各々に対応する１６個のボタンを有する日本語入力インタフェースと、１２音階のピアノ鍵盤を模した音高入力装置とを有している。日本語入力インタフェースは、片手での操作が可能なようにボタン配置が最適化されており、ローマ字入力とかな入力とを組み合わせて任意の日本語文字を入力することができる。このVOCALOIDキーボードのユーザは一方の手（例えば、左手）で日本語入力インタフェースを操作して歌詞を入力するのと同時に、音高入力装置に対してその歌詞を発音する際の音高を指定する操作を他方の手で行うことで歌声の演奏を行うことができる。非特許文献２には、ピアノ鍵盤の左側の鍵（例えば、左半分の鍵）を日本語入力などの歌詞入力に用いる技術が開示されている。そして、非特許文献３には、予め歌詞をプリセットしておき、それらの歌詞のうちから演奏に使用するものを選択することで歌声の演奏を実現する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】[ｏｎｌｉｎｅ]、インターネット＜ＵＲＬ：http://www.interaction-ipsj.org/2012/catalogue/catalogue_interactive3.html＞
【非特許文献２】[ｏｎｌｉｎｅ]、インターネット＜ＵＲＬ：http://www.nicovideo.jp/watch/sm22254895＞
【非特許文献３】[ｏｎｌｉｎｅ]、インターネット＜ＵＲＬ：http://otonanokagaku.net/nsx39/＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１〜３の各文献に開示の技術には、夫々以下のような問題があった。まず、非特許文献１および非特許文献２の各文献に開示の技術には、母音と子音を同時に打鍵しなければならず、演奏するのが難しく、特に、即興で作詞しながら演奏することは極めて困難である、という問題があった。非特許文献３に開示の技術には、予め歌詞をプリセットするといった事前準備が必須となるといった問題や、プリセットされた歌詞の範囲でしか作詞を行えず、作詞の自由度が低いといった問題があった。加えて、非特許文献３には、プリセットされた歌詞を一括して閲覧することができず、歌詞の選択に支障が生じる、といった問題もあった。
【０００６】
本発明は上記課題に鑑みて為されたものであり、歌詞のプリセットなどの事前準備を要することなく、作詞の自由度の高い歌声の演奏を手軽に行うことを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、各々異なる音高を割り当てられる複数の鍵の各々に対して、歌詞の発音を表す１または複数の文字よりなる候補文字列を割り当てる割り当て手段と、前記複数の鍵の何れかに対して選択操作が為されたことを契機として、当該選択操作の為された鍵に割り当てられていた候補文字列の表す音を当該鍵に対応する音高で発音する音声の合成指示を、歌唱合成装置に与える発音制御手段と、前記割り当て手段により前記複数の鍵の各々に割り当てる候補文字列を、前記選択操作の為された鍵に割り当てられていた候補文字列に応じて選択し直す選択手段と、を有することを特徴とする演奏支援装置、を提供する。
【０００８】
上記候補文字列は、ひらがなやカタカナ、アルファベットなどの表音文字よりなる文字列であっても良く、また発音記号よりなる文字列であっても良い。本発明の演奏支援装置では、選択操作（複数の鍵を具備し、ピアノ鍵盤を物理的に模したユーザインタフェースであれば押鍵操作、同ピアノ鍵盤を表す画像とタッチパネル等とでピアノ鍵盤を仮想的に模したユーザインタフェースであれば鍵に対するタッチ操作）の為された鍵に割り当たられていた候補文字列の表す音が歌詞の発音とされるとともに、当該鍵に対応する音高が当該歌詞を発音する際の音高とされる。このように、本発明によれば、歌詞の発音と音高とを１つの鍵に対する選択操作で指定することができるため、各々別個の操作で指定することが必要となる非特許文献１や非特許文献２の各文献に開示の技術に比較して手軽に歌声の演奏を行うことが可能になる。加えて、本発明では、複数の鍵に割り当てられている各候補文字列のうちから歌詞の発音を選択しなければならないといった制約はあるものの、鍵の選択操作が為される毎に各鍵に対する候補文字列の割り当てが更新されるため、非特許文献３に開示の技術よりは作詞の自由度が高く、予め歌詞をプリセットしておくなどの事前準備を行う必要もない。つまり、本発明によれば、歌詞のプリセットなどの事前準備をすることなく、作詞の自由度の高い歌声の演奏を手軽に行うことが可能になる。
【０００９】
より好ましい態様においては、上記演奏支援装置は、前記割り当て手段により前記複数の鍵の各々に割り当てられた候補文字列を表示装置に表示させる表示制御手段を有する。このような態様によれば、上記演奏支援装置のユーザは、表示装置の表示内容を通じて各鍵に割り当てられている候補文字列を把握し、即興で作詞（或いは作詞に加えて作曲）する際の参考としながら歌声を演奏することが可能になる。ここで、上記表示装置は、上記複数の鍵とは別個の装置であっても良いし、各鍵に設けられた表示枠（鍵毎に設けられた小型の液晶ディスプレイ）であっても良い。後者の態様であれば、表示制御手段は、割り当て手段により割り当てられた候補文字列を各鍵の表示枠に表示させる、といった具合である。このような態様であれば、上記演奏支援装置のユーザは、上記複数の鍵から目を逸らさずに各鍵に割り当てられている候補文字列を把握することができる。これに対して前者の態様であれば、各鍵に上記表示枠が設けられていない一般的なＭＩＤＩキーボード等を用いて歌声の演奏を行う際に、各鍵に割り当てられている候補文字列を把握しつつその演奏を行うことができる。なお、上記前者の態様における表示装置としては、一般的な液晶ディスプレイを用いることができることは勿論、タブレット端末を用いることも可能である。この態様における候補文字列の表示態様としては、表示装置に仮想キーボードを表示させるとともに当該仮想キーボードにおける各鍵に表示枠を設定し、図２と同様にそれら表示枠内に候補文字列を表示する態様が挙げられる。
【００１０】
より好ましい態様においては、選択操作の為された鍵の履歴（選択順）を記憶する記憶手段を備え、選択手段は、記憶手段に記憶されている履歴の示す候補文字列の並びに応じて複数の鍵の各々に割り当てる候補文字列を選択することを特徴とする。上記履歴の示す候補文字列の並びに基づいて各鍵に新たに割り当てる候補文字列を選択する態様の具体例としては、上記履歴の示す各候補文字列をその選択順に並べて得られる文字列に後続させた場合に辞書的に不整合の生じない１または複数の文字よりなる文字列を、各鍵に対して新たに割り当てる候補文字列として選択する態様が挙げられる。このような態様によれば、１または複数の候補文字列を連ねて得られる単語単位では辞書的な意味を有するものの、文全体では特段の意味を為さない歌詞となる場合があるが、その反面、以下の例１〜例３に示すように、普段であれば思いつかないような歌詞を発想することが可能となる。
例１：  ゴメスが左バッターボックスに...
例２：  ５メートルの猫がもしいたら....
例３：  ごめりんごんだめりんご....
また、本態様によれば、「作詞はできるが作曲はできない」というようなユーザであっても、単に歌詞を選んで打鍵をするだけで、自然にメロディを作成することが可能になる（すなわち、作曲の知識のない人であっても、容易にオリジナル曲の歌声を演奏することが可能になる）。さらに好ましい態様としては、選択手段は、記憶手段に記憶されている履歴の示す音高の推移を加味して複数の鍵の各々に割り当てる候補文字列を選択する態様が考えられる。例えば、辞書的（或いは言語的）に不整合の生じない１または複数の文字よりなる文字列のなかから、音高の推移（イントネーション）の面から見ても不整合の生じないものを絞り込むといった具合である。
【００１１】
また、別の好ましい態様においては、前記割り当て手段は、前記記憶手段に記憶されている履歴の示す音高の推移を加味して前記複数の鍵の各々に候補文字列を割り当てることを特徴とする。後述するように、各鍵を順次選択することで奏でられる旋律（すなわち、音高の推移）のなかには、好ましいものと、好ましくないものとが有り得る。そこで、それまでに奏でられた旋律に基づいて、次に選択した場合に好ましい旋律となる音高に対応する鍵についての候補文字列の表示態様を他のものとは異ならせる（例えば、表示色を異ならせる、文字フォントを異ならせる、他の鍵には候補文字列を表示しないなど）ことで、好ましい旋律となる音高をユーザに提示することができ、作曲に不慣れなユーザであっても、即興で作詞および作曲しながら歌声を演奏することが可能になる。また、上記表示態様を手掛かりに鍵の選択操作を順次行うことで、作詞に頭を悩ませることなく、好ましい旋律の歌声を演奏することが可能になる。
【００１２】
さらに別の好ましい態様においては、前記割り当て手段による割り当てのリセットをユーザに指示させる操作子を有し、前記割り当て手段は、前記操作子に対する操作によりリセットを指示されたことを契機として前記複数の鍵の各々に対する候補文字列の割り当てを変更することを特徴とする。このような態様によれば、歌詞と音高の対応付けの幅が広がり、歌詞の言語的な意味と音高の自然な推移の両方に留意しつつ歌声の演奏を行うことが可能になる。
【００１３】
また、上記課題を解決するための別の態様としては、ＣＰＵ（Central Processing Unit）などの一般的なコンピュータを、上記割り当て手段、発音制御手段および選択手段として機能させるプログラムを提供する態様が考えられる。このようなプログラムにしたがってコンピュータを作動させることで、当該コンピュータを本発明の演奏支援装置として機能させることができるからである。なお、このようなプログラムの具体的な提供態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に当該プログラムを書き込んで配布する態様や、インターネットなどの電気通信回線経由のダウンロードにより配布する態様が考えられる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態の演奏支援装置１０を含む歌唱合成システム１の構成例を示す図である。
【図２】同演奏支援装置１０のユーザインタフェース部１２０の外観の一例を示す図である。
【図３】同演奏支援装置１０の構成例を示す図である。
【図４】同演奏支援装置１０の制御部１１０が演奏支援プログラム１３４ａにしたがって実行する処理の流れを示すフローチャートである。
【図５】歌における歌詞の広がりの一例を示す図である。
【図６】同演奏支援装置１０の動作例を説明するための図である。
【図７】同演奏支援装置１０の動作例を説明するための図である。
【図８】変形例（１）を説明するための図である。
【図９】変形例（１）を説明するための図である。
【図１０】変形例（１）を説明するための図である。
【図１１】変形例（２）を説明するための図である。
【図１２】変形例（２）を説明するための図である。
【図１３】変形例（３）を説明するための図である。
【図１４】変形例（３）を説明するための図である。
【図１５】変形例（３）を説明するための図である。
【図１６】変形例（３）を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しつつ本発明の実施形態を説明する。
図１は、本発明の一実施形態の演奏支援装置１０を含む歌唱合成システム１の構成例を示す図である。この歌唱合成システム１は、図１に示すように、演奏支援装置１０と、歌唱合成エンジン２０と、を含んでいる。演奏支援装置１０は、ピアノ鍵盤を模した入力デバイス１２２とスピーカ１２４とからなるユーザインタフェース（以下、「Ｉ／Ｆ」）部１２０（図２参照）を有している。演奏支援装置１０は、入力デバイス１２２に対して為された操作に応じて歌唱音声の合成を指示する制御信号を生成し、歌唱合成エンジン２０に与える。歌唱合成エンジン２０は、例えば素片接続方式などの既存の歌唱合成アルゴリズムにしたがって歌唱音声を表すデータ（例えば、歌唱音声の波形データ）を生成し出力する装置である。歌唱合成エンジン２０は演奏支援装置１０から与えられる制御信号に応じて歌唱音声を表す波形データを生成し、演奏支援装置１０に与える。演奏支援装置１０は、歌唱合成エンジン２０から与えられる波形データの表す音をスピーカ１２４に出力させる。
【００１６】
本実施形態の歌唱合成システム１では、入力デバイス１２２に含まれる複数の鍵には各々異なる音高が割り当てられているとともに、歌詞の発音を表す文字列（本実施形態では、図２に示すように「ひらがな一文字」）が各々割り当てられている。各鍵に割り当てられる文字列はユーザが歌声の演奏を行おうとする楽曲の歌詞の候補となる。このため、以下では、上記文字列を「候補文字列」と呼ぶ。演奏支援装置１０は、何れかの鍵に対する選択操作（入力デバイス１２２がピアノ鍵盤を物理的に模したものであれば押鍵操作）が為されたことを契機として、当該選択操作の為された鍵に割り当てられている候補文字列の表す音を当該鍵に対応する音高で発音する歌唱音声の合成を指示する制御信号を生成し、歌唱合成エンジン２０に与える。このような構成としたため、本実施形態によれば、鍵を順次押下するといった演奏操作を行うことで歌声の演奏が実現される。以下、本実施形態の特徴を顕著に示す演奏支援装置１０を中心に説明する。
【００１７】
図３は、演奏支援装置１０の構成例を示す図である。図３に示すように、演奏支援装置１０は、前述したユーザＩ／Ｆ部１２０の他に、制御部１１０、記憶部１３０、外部機器Ｉ／Ｆ部１４０およびこれら構成要素間のデータ授受を仲介するバス１５０を含んでいる。
【００１８】
制御部１１０は例えばＣＰＵである。制御部１１０は記憶部１３０（より正確には不揮発性記憶部１３４）に記憶されている演奏支援プログラム１３４ａを実行することで演奏支援装置１０の制御中枢として機能する。演奏支援プログラム１３４ａにしたがって制御部１１０が実行する処理の詳細については後に明らかにする。外部機器Ｉ／Ｆ部１４０は、例えばＵＳＢインタフェースやパラレルインタフェースであり、ＵＳＢケーブルなどの信号線を介して歌唱合成エンジン２０に接続されている。
【００１９】
前掲図２に示すように、ユーザＩ／Ｆ部１２０は、前述した入力デバイス１２２、スピーカ１２４の他にホイール１２６を有している。ホイール１２６は、図２において矢印で示す方向に回転させることができる。ユーザは、ホイール１２６の回転方向および回転量を操作することで、スピーカ１２４の出力音量の調整やスピーカ１２４から出力する音声にピッチベンドなどの音響効果を付与する際の音響効果の強さの調整を行うことができる。図２に示すように、入力デバイス１２２は、複数の鍵を有しており、何れかの鍵に対する選択操作（例えば、押鍵）が為されると、当該選択操作の為された鍵を示す信号を制御部１１０に与える。入力デバイス１２２の有する複数の鍵の各々には、各々異なる音高が割り当てられているとともに、白鍵であるか黒鍵であるかを問わずに表示枠１２２ａが設けられている（図２では、左端の白鍵の表示枠のみに符号１２２ａが付されている）。表示枠１２２ａは小型の液晶ディスプレイであり、各鍵の表示枠１２２ａには、その鍵に割り当てられている候補文字列が表示される。例えば、図２に示す例では、一番左端の白鍵には候補文字列として「い」が、同左端の黒鍵には候補文字列として「あ」が割り当てられているといった具合である。歌唱合成システム１を用いて歌声の演奏を行うユーザは、各鍵の表示枠１２２ａの表示内容を通じて各鍵に割り当てられている候補文字列を把握することができる。
【００２０】
記憶部１３０は、揮発性記憶部１３２と不揮発性記憶部１３４とを含んでいる。揮発性記憶部１３２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１３２は、演奏支援プログラム１３４ａを実行する際のワークエリアとして制御部１１０によって利用される。また、揮発性記憶部１３２には、選択操作の為された鍵の履歴を示す履歴データが格納される。履歴データは、選択操作の為された鍵、当該鍵に対応する音高および当該選択操作の為された時点で当該鍵に割り当てられていた候補文字列の各々を示す情報を互いに対応付けて、選択操作の為された順に配列したデータである。この履歴データは、入力デバイス１２２に対する選択操作を契機として、当該選択操作により発音させた歌詞に後続する歌詞の候補（前述した候補文字列）を選択し直して入力デバイス１２２の各鍵に割り当てる際に利用される。
【００２１】
不揮発性記憶部１３４は例えばハードディスクやフラッシュＲＯＭ（Read Only Memory）である。不揮発性記憶部１３４には、演奏支援プログラム１３４ａの他に、言語辞書データベース（図３では、「ＤＢ」と略記）１３４ｂと音名辞書ＤＢ１３４ｃが予め格納されている。言語辞書ＤＢ１３４ｂには、歌詞の構成要素となる各種単語を表す文字列が登録されている。言語辞書ＤＢ１３４ｂは、前述した履歴データと同様に、鍵の選択操作が為されたことを契機として、各鍵に新たなに割り当てる候補文字列を選択する際に利用される。音名辞書ＤＢ１３４ｃには、入力デバイス１２２の各鍵に対応する音高を表す情報（すなわち、音名）が各鍵と対応づけて登録されている。
【００２２】
制御部１１０は、演奏支援装置１０の電源（図１では図示略）投入またはリセットを契機として演奏支援プログラム１３４ａを不揮発性記憶部１３４から揮発性記憶部１３２に読み出し、その実行を開始する。図４は、演奏支援プログラム１３４ａにしたがって制御部１１０が実行する処理の流れを示すフローチャートである。図４に示すように、演奏支援プログラム１３４ａにしたがって作動している制御部１１０は、候補文字列割り当て処理１３４ａ１、発音制御処理１３４ａ２、および候補文字列選択処理１３４ａ３を繰り返し実行する。これら各処理の概要は以下の通りである。
【００２３】
候補文字列割り当て処理１３４ａ１は、入力デバイス１２２の複数の鍵の各々に対して候補文字列を割り当て、両者の対応を示す情報（以下、割り当て情報）を揮発性記憶部１３２に書き込む処理である。各鍵に割り当てる候補文字列については、例えば、歌唱合成システム１の電源投入またはリセット直後であれば、言語辞書ＤＢ１３４ｂの格納内容を参照してランダムに選択すれば良く、一回でも鍵の選択操作が為された後であれば後述する候補文字列選択処理１３４ａ３により選択すれば良い。また、各鍵への候補文字列の割り当てについても疑似乱数等を利用してランダムに行えば良い。なお、本実施形態の候補文字列割り当て処理１３４ａ１には、各鍵に割り当てた候補文字列をその鍵の表示枠１２２ａに表示させる表示制御処理が含まれている。つまり、演奏支援プログラム１３４ａにしたがって作動している制御部１１０は、候補文字列割り当て処理１３４ａ１を実行する割り当て手段として機能するとともに、上記表示制御処理を実行する表示制御手段として機能する。
【００２４】
発音制御処理１３４ａ２は、鍵の選択操作に応じて実行される処理である。より詳細に説明すると、制御部１１０は、候補文字列割り当て処理１３４ａ１の実行を完了すると入力待ち受け状態となり、何れかの鍵の選択を示す信号を入力デバイス１２２から受け取ったことを契機として発音制御処理１３４ａ２を実行する。この発音制御処理１３４ａ２では、制御部１１０は、入力デバイス１２２から出力された信号の示す鍵に割り当てられていた候補文字列を上記割り当て情報を参照して特定するとともに、当該鍵に対応する音高を音名辞書ＤＢ１３４ｃを参照して特定する。そして、制御部１１０は、当該候補文字列の表す音を当該音高で発音する音声の合成を指示する制御信号を生成し、歌唱合成エンジン２０に出力するとともに、当該候補文字列および当該音高を示す情報を履歴データに追記する。つまり、演奏支援プログラム１３４ａにしたがって作動している制御部１１０は、発音制御処理１３４ａ２を実行する発音制御として機能する。
【００２５】
候補文字列選択処理１３４ａ３は、発音制御処理１３４ａ２の実行完了を契機として実行される処理である。候補文字列選択処理１３４ａ３では、制御部１１０は、候補文字列割り当て処理１３４ａ１にて各鍵に割り当てる候補文字列を、それまでに出力した歌唱音声の歌詞（すなわち、履歴データの示す候補文字列の並びの表す歌詞）に応じて選択し直す処理である。このように、演奏支援プログラム１３４ａにしたがって作動している制御部１１０は、候補文字列選択処理１３４ａ３を実行する選択手段として機能する。
【００２６】
歌における歌詞の可能性は、図５に示すように樹形図状に広がっている。この中から、歌詞を構成する文字を選択し、その文字を発音する際の音高を指定して行くのが「歌声の演奏」であると言える。図５に示す樹形図にしたがって選択される文字を連ねて得られる歌詞の中には、言語的な意味を有するものもあれば、意味を有さないものもある。歌の演奏を行う際の歌詞は、言語的な意味を有するものであっても良く、また、スキャットやハミングにおける歌詞のように言語的な意味を有さないものであっても良い。全く意味のない歌詞では、聞いているほうは飽きてしまいやすい反面、 即興で意味のある歌詞を考えながら演奏するのは難しい。これら２つの背反する問題に対して、「意味のある歌詞生成」を補助するのが本実施形態の目的であり、候補文字列選択処理１３４ａ３は、この目的の達成に中心的な役割を果たす処理である。
【００２７】
候補文字列選択処理１３４ａ３における候補文字列の選択アルゴリズムとしては種々の態様が考えられる。例えば、以下の５つの態様が考えられる。第１に、言語辞書ＤＢ１３４ｂから無作為に単語を選択する態様である。具体的には、直前の押鍵操作までで選択された各候補文字列をその選択順に連ねて得られる文字列から始まる単語を言語辞書ＤＢ１３４ｂから読み出し、それら単語において上記文字列に後続する文字以降の１または複数文字（本実施形態では、１文字）を新たな候補文字列とする態様である。第２の態様は、上記第１の態様により得られる候補文字列に、助詞（「が」「を」「に」など）のみからなる文字列を候補文字列として追加する態様である。上記第１の態様では、図５に示す樹形図を辿って得られる歌詞が名詞等の特定の品詞に偏る虞があるが、本態様によればこのような偏りが発生することを回避できる。第３の態様は、歌詞が言語的な意味を有する文章になるように、「連想辞書」や「類義語辞書」を用いるなどの作文アルゴリズムを用いて候補文字列を選定する態様である。例えば、直前の押鍵操作までで演奏された歌詞が「あさは」という文字列である場合には「連想辞書」や「類義語辞書」を用いて「ねむい」や「さむい」といった単語を抽出し、これら単語の先頭一文字等をそれぞれ候補文字列とする態様である。第４の態様は、突飛な（無意味な）歌詞も作ることができるよう、無意味な単語になる歌詞を一定割合で混ぜる態様である。そして、第５の態様は、差別言辞などの公序良俗に反する単号等の特定の単語（以下、ＮＧワード）を含む歌詞の演奏が回避されるように、ＮＧワードを予め登録しておき、直前の押鍵操作までで演奏された歌詞と第１〜第４の態様の何れかにより得られた候補文字列とを連結した場合に連結後の文字列が予め登録されたＮＧワードと一致する候補文字列を除外する態様である。
【００２８】
例えば、候補文字列割り当て処理１３４ａ１により、図２に示すように入力デバイス１２２の各鍵に候補文字列が割り当てられている状況下で、ユーザが最初の歌詞および音高を示すものとして候補文字列「ご」を割り当てられている鍵を押下したとする。制御部１１０は、当該鍵の押下を契機として発音制御処理１３４ａ２を実行し、当該候補文字列（すなわち、「ご」）を当該鍵に対応する音高（例えば、Ｂ３）で発音する歌唱音声の合成を指示する制御信号を歌唱合成エンジン２０に出力し、当該歌唱音声の出力が行われる。
【００２９】
発音制御処理１３４ａ２に後続する候補文字列選択処理１３４ａ３では、制御部１１０は、出力した歌詞（本動作例では、「ご」）から始まる単語を言語辞書ＤＢ１３４ｂから読み出し、それら単語において上記候補文字列に後続する各文字を新たな候補文字列とする。例えば、「ご」から始まる単語として、「ごご」、「ごぜん」、「ごめんね」、「ごかい」、「ごちそう」・・・といった単語が読み出されたとすると、制御部１１０は、これら単語の２文字目（すなわち、「め」、「ぜ」、「か」、「ち」、「ご」・・・）を新たな候補文字列して選択する。そして、このようにして選択された候補文字列は候補文字列割り当て処理１３４ａ１によって入力デバイス１２２の各鍵に割り当てられ、各鍵の表示枠１２２ａの表示内容は図６のように更新される。
【００３０】
図６に示すように入力デバイス１２２の各鍵に候補文字列が割り当てられている状況下で、ユーザが次の歌詞に対応するものとして候補文字列「め」を割り当てられている鍵を押下したとする。制御部１１０は、当該鍵の押下を契機として発音制御処理１３４ａ２を実行し、当該候補文字列の表す音を当該鍵に対応する音高（例えば、Ｃ４）で発音する歌唱音声の合成を指示する制御信号を歌唱合成エンジン２０に出力し、当該歌唱音声の出力が行われる。この発音制御処理１３４ａ２に後続する候補文字列選択処理１３４ａ３では、制御部１１０は、出力済の歌詞（本動作例では、「ごめ」）から始まる単語を言語辞書１３４ｂから読み出し、それら単語において上記候補文字列に後続する各文字を新たな候補文字列とする。例えば、「ごめ」から始まる単語として、「ごめんね」、「ごめんなさい」、「ごめんください」、「ごめえ」、「ごめす」・・・といった単語が読み出されたとする。これら単語の３文字目について「ん」の出現率が６０％、「え」の出現率が１０％、「す」の出現率が１０、その他が２０であったとすると、制御部１１０は、「ん」が６０％、「え」が１０％、「す」が１０％、その他の文字が２０％となるように新たな候補文字列を選択する。このようにして選択された候補文字列は候補文字列割り当て処理１３４ａ１によって入力デバイス１２２の各鍵に割り当てられることで、各鍵の表示枠１２２ａの表示内容は図７のように更新される。
【００３１】
以上説明したように本実施形態によれば、非特許文献３に開示の技術のように予め歌詞をプリセットするなどの事前準備を行う必要はなく、即興で作詞しながら演奏するなどの歌詞の自由度の高い歌声の演奏を行うことが可能になる。ここで、ユーザが次に発音する歌詞（或いは音高）を選択する際の選択の仕方としては、表示されている候補文字列をもとに次の音を選択する態様（作詞を優先する態様）、希望の音高を選択することで次の歌詞を選択する態様（作曲を優先する態様）、音高と歌詞の両方を勘案してふさわしい歌詞および音高を選択する態様、でたらめに選択する態様が考えられ、ユーザの好みに応じて適宜使い分けるようにすれば良い。なお、本実施形態の候補文字列割り当て処理１３４ａ１では、ユーザの所望する歌詞が所望の音高の鍵に割り当てられるとは限らないため、ホイール１２６に対する操作で、各鍵に対する候補文字列の割り当てを変更（例えば、サイクリックに変更）できるようにしても良い。
【００３２】
また、本実施形態によれば、歌詞の発音とその音高とを１つの鍵に対する押鍵操作で指定することができるため、非特許文献１や非特許文献２に開示の技術のように両者を各々別個に指定することが必要な技術に比較して、手軽に歌声の演奏を行うことが可能になる。つまり、本実施形態によれば、歌詞のプリセットなどの事前準備をすることなく、作詞の自由度の高い歌声の演奏を手軽に行うことが可能になる。
【００３３】
以上本発明の一実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。
（１）歌唱合成装置１を用いて歌声の演奏を行おうとする演奏者が作曲に慣れていない場合、どの音高を選べばよいかが難しい場合がある。当然ながら、好ましい（自然な）旋律と、好ましくない（不自然な）旋律は存在する。たとえば、図８の譜例（ａ）〜（ｄ）
は、7番目の音の選択に関するサンプルである。この場合、メロディが自然かどうかという観点で評価すると、以下のようなスコアをつけることができる。
譜例Ａ：１００点
譜例Ｂ：  １０点
譜例Ｃ：  １５点
譜例Ｄ：
３０点
そこで、ユーザの演奏操作により指定された音高を基に複数の鍵の各々について当該音高の音に後続した場合に好ましい（自然な）旋律となるか否かについてのスコア（換言すれば、次の音として推奨する度合いを示す値）を算出し、スコアに応じて候補文字列の表示態様を鍵毎に異ならせるようにしても良い。具体的には、上記スコアが所定の閾値未満の鍵には候補文字列を表示しない（或いは、候補文字列を括弧で括って表示する、候補文字の表示色を変えるなど）ようにすることが考えられる。このような態様によれば、作曲初心者であっても、どの音高を選べばよいか戸惑うことなく、好ましい（自然な）旋律の歌声を演奏することが可能となる。なお、上記スコアは、伴奏の和音（Ｃｍ、Ｄ７など）や調性（ハ長調、ニ短調など）によって異なる。このため、伴奏の和音を示す情報や調性を示す情報など上記スコアを算出するための付加情報を演奏支援装置１０に入力できるようにしておくことが好ましい。
【００３４】
また、伴奏データにしたがって伴奏音を同時に演奏または再生する場合には、伴奏の音と合わない音が選択されることを回避するため、当該伴奏音におけるコード進行に応じて上記スコアを算出しても良い。例えば、図９（ａ）に示すように、ある小節のコードがＦ（Ｆメジャー、 構成音：Ｆ、Ａ、Ｃ）の場合、一般的な音楽においては、Ｆ＃や、Ｂなどが用いられる可能性は非常に小さいため、これらのスコアを充分に小さな値とし、図９（ｂ）に示すように、これらに割り当てられた候補文字列の表示態様を他のものとは異ならせるのである。図９（ｂ）に示す例では、表示枠１２２ａ内のハッチングの有無で表示態様の相違が表現されている。こういった機能を実装することにより、即興演奏に慣れていない人でも、即興演奏を楽しむことができる。また、それぞれの音に音楽的な「機能」があることを学習することができる。ただし、音楽においての「禁則」は、厳密なルールとして存在する訳ではないので、上記スコアの算出および上記スコアに応じた候補文字列の表示態様の制御は、あくまで、「どの音を選べばよいかわからない」という状態を回避するための補助ツールであり、スコアの小さな音の発音を指示されたからといってその発音を禁止する必要はない。
【００３５】
また、上記実施形態では、次に発音させる歌詞とその音高とをユーザに自由に指定させて歌声の演奏を行う場合（すなわち、ユーザが作曲と作詞とを同時に行いつつ歌声の演奏を行う場合）について説明した。しかし、歌声の演奏対象の楽曲が予め決まっている場合（図１０（ａ）に示すように歌詞とメロディが予め決まっている場合）には、メロディを奏でるための鍵操作が為される毎に、次に発音させる音高に応じた鍵のみに次に発音させる歌詞の文字列を表示させても良く、また、図１０（ｂ）に示すように当該文字列にだけ下線を付与するなど表示態様を異ならせても良い。
【００３６】
（２）上記実施形態では、言語辞書の格納内容を参照し、演奏済の歌声に後続したときに言語的に自然な候補文字列を選定したが、さらに単語のイントネーションを利用して候補文字列の選択および各鍵への割り当てを行うようにしても良い。具体的には、候補文字列割り当て処理１３４ａ１において、イントネーションの情報を加味して候補文字列の割り当てを行うようにすれば良い。図１１は、「あさ」で始まる歌詞と、イントネーションの例を示す図である。図１２は、上記イントネーションを元にして選択した候補文字列と各鍵への割り当て例を示す図である。図１２に示す例では、「朝には」、「朝まで」、「朝から」、「浅い」、「あさがお」の各単語をひらがな書き下した場合の３文字目が入力デバイス１２２の複数の鍵の左側から順に割り当てられている。この図１２に示す例では、図１１に示したイントネーションの２音目から３音目の変化を元にしている。例えば、「あさがお」では、２音目から３音目が上昇傾向にあるため、高音部（＝右側の鍵盤）に、次の歌詞「が」が割り当てられている。
【００３７】
（３）上記実施形態では、歌詞が日本語で記述された楽曲についての歌声の演奏支援への本発明の適用例を説明し、候補文字列としてひらがな一文字よりなる文字列を用いたが、カタカナ一文字よりなる文字列を候補文字列して用いても勿論良い。ひらがなと同様にカタカナも表音文字だからである。また、候補文字列として、表音文字一文字よりなる文字列を用いるのではなく、図１３に示すように、X-SAMPAなどにより定義されている発音記号よりなる文字列を候補文字列として用いても良い。候補文字列として発音記号よりなる文字列を用いることで、母音省略などの表現ができるようになるといった効果も奏される。
【００３８】
また、本発明の適用対象は、歌詞が日本語で記述された楽曲についての歌声の演奏支援に限定されるものではなく、英語などの日本語以外の言語で歌詞が記述された楽曲についての歌声の演奏支援にも適用可能である。図１４〜図１６は、歌詞が英語で記述された楽曲についての歌声の演奏支援への本発明の適用例を説明するための図である。例えば、図１４に示す初期状態から、候補文字列"dis-"が表示されている鍵をユーザが選択したとする。この場合、これに続く歌詞の候補として辞書的には“able”（すなわち、disable）、“card”（すなわち、discard）、“count”（すなわち、discount）、“cuss”（すなわち、discuss）、“tance”（すなわち、distance）、“play”（すなわち、display）・・・といった単語があげられる。これらを元に次の歌詞を表示すると図１５に示すようになる。このように、英語の場合は、歌詞を構成する単語を音節ごとに区切り、音節単位で候補文字列を表示することが望ましい。また、図１４および図１５に示す例は、「初期状態」から２音節の単語を選択した場合であるが、別の歌詞を選択すれば別の表示となる。例えば、「I」を選んだ場合には、I can,  I like,  I love,   I am,   I play,  
I got・・・といった歌詞が考えられる。この場合は、“can”、“like”、“love”、“am”、“play”、“got”等が各鍵に割り当てられる候補文字列となり、「Ｉ」に対応する鍵の押下を契機として各鍵に割り当てられる候補文字列は図１６に示すように更新される。
【００３９】
（４）上記実施形態では、各鍵の表示枠１２２ａにその鍵に割り当てられた候補文字列を表示したが、表示枠１２２ａへの候補文字列の表示制御処理を省略しても良く、また、表示枠１２２ａを省略しても良い。このような態様によれば、鍵盤として従来のＭＩＤＩキーボード等を流用することができる。候補文字列の表示制御を全く行わない態様であっても、鍵を押下するまでどのような歌詞が発音されるか判らず、ユーザの予期せぬ歌詞が発音されるなど、即興演奏の面白みが向上するといった効果が期待される。なお、鍵盤として従来のＭＩＤＩキーボード等を流用する場合には、上記表示制御処理に代えて、演奏支援装置１０とは別個の表示装置（一般的な液晶ディスプレイやタブレット端末等）に各鍵の候補文字列を表示させる表示制御処理を制御部１１０に実行させるようにしても良い。上記表示制御処理の具体例としては、表示装置に仮想キーボードを表示させるとともに当該仮想キーボードにおける各鍵に表示枠を設定し、図２と同様にそれら表示枠内に候補文字列を表示する処理が挙げられる。
【００４０】
（５）上記実施形態では、歌唱合成システム１に本発明の一実施形態の演奏支援装置１０が含まれている場合について説明したが、演奏支援装置１０単体で提供しても良い。演奏支援装置１０をＵＳＢケーブルなどの信号線を介して既存の歌唱合成エンジンに接続することで、上記実施形態の歌唱合成システムを構築することが可能になるからである。なお、演奏支援装置１０を信号線経由で歌唱合成エンジンに接続するのではなく、インターネットなどの電気通信回線経由で接続しても良く、また、両者を無線接続しても良い。また、本実施形態の演奏支援装置１０を、歌唱合成エンジンを有する歌唱合成装置に組み込んで提供しても良い。また、上記実施形態では、割り当て手段、表示制御手段、発音制御手段および選択手段の各手段をソフトウェアモジュールで実現する場合について説明したが電子回路などのハードウェアで実現しても勿論良い。
【符号の説明】
【００４１】
１…歌唱合成システム、１０…演奏支援装置、１１０…制御部、１２０…ユーザＩ／Ｆ部、１２２…入力デバイス、１２２ａ…表示枠、１２４…スピーカ、１２６…ホイール、１３０…記憶部、１３２…揮発性記憶部、１３４…不揮発性記憶部、１３４ａ…演奏支援プログラム、１３４ｂ…言語辞書、１３４ｃ…音名辞書、１４０…外部機器Ｉ／Ｆ部、１５０…バス、２０…歌唱合成エンジン。
【図１】
0006341050.tif 000002
【図２】
0006341050.tif 000003
【図３】
0006341050.tif 000004
【図４】
0006341050.tif 000005
【図５】
0006341050.tif 000006
【図６】
0006341050.tif 000007
【図７】
0006341050.tif 000008
【図８】
0006341050.tif 000009
【図９】
0006341050.tif 000010
【図１０】
0006341050.tif 000011
【図１１】
0006341050.tif 000012
【図１２】
0006341050.tif 000013
【図１３】
0006341050.tif 000014
【図１４】
0006341050.tif 000015
【図１５】
0006341050.tif 000016
【図１６】
0006341050.tif 000017