(57)【特許請求の範囲】
【請求項１】
記憶手段に記憶された音声素片データから変数の設定値に応じた歌唱音を合成する歌唱合成手段と、
前記歌唱音の明瞭度が低下するように前記変数の設定値を制御する手段であって、前記変数の指示値と前記設定値との関係を、前記歌唱音の複数の周波数帯域の各々について個別に設定する明瞭度低減手段と
を具備する歌唱合成装置。
【請求項２】
記憶手段に記憶された音声素片データから変数の設定値に応じた歌唱音を合成する歌唱合成手段と、
前記歌唱音の明瞭度が低下するように前記変数の設定値を制御する手段であって、前記変数の指示値と前記設定値との関係を、前記歌唱音のうち音素の遷移の態様が相違する複数の区間の各々について個別に設定する明瞭度低減手段と
を具備する歌唱合成装置。
【請求項３】
記憶手段に記憶された音声素片データから歌唱音を合成する歌唱合成手段と、
前記歌唱音の明瞭度が低下するように前記歌唱音の包絡線の強度の設定値を制御する明瞭度低減手段とを具備し、
前記明瞭度低減手段は、前記音声素片データが示す音声の包絡線の強度の指示値を前記設定値に低下させることで前記歌唱音の明瞭度を低下させ、前記指示値が閾値を下回る場合に前記設定値をゼロに設定する
歌唱合成装置。
【請求項４】
前記明瞭度低減手段は、前記歌唱音の複数の周波数帯域の各々について前記閾値を個別に設定する
請求項３の歌唱合成装置。
【請求項５】
記憶手段に記憶された音声素片データから歌唱音を合成する手段であって、音素の変化時に音量または音高を第１設定値から第２設定値に変化させる歌唱合成手段と、
前記第１設定値から前記第２設定値までの範囲を縮小することで前記歌唱音の明瞭度を低下させる明瞭度低減手段と
を具備する歌唱合成装置。
【請求項６】
記憶手段に記憶された音声素片データから伴奏音の歌唱音と旋律音の歌唱音とを含む合唱音を合成する歌唱合成手段と、
前記歌唱音の合成に関する変数の設定値を制御することで前記伴奏音の歌唱音について明瞭度を低下させ、前記旋律音の歌唱音については明瞭度を低下させない明瞭度低減手段と
を具備する歌唱合成装置。
【請求項７】
記憶手段に記憶された音声素片データから変数の設定値に応じた歌唱音を合成する歌唱合成処理と、
前記歌唱音の明瞭度が低下するように前記変数の設定値を制御する処理であって、前記変数の指示値と前記設定値との関係を、前記歌唱音の複数の周波数帯域の各々について個別に設定する明瞭度低減処理と
をコンピュータに実行させるプログラム。
【請求項８】
記憶手段に記憶された音声素片データから変数の設定値に応じた歌唱音を合成する歌唱合成処理と、
前記歌唱音の明瞭度が低下するように前記変数の設定値を制御する処理であって、前記変数の指示値と前記設定値との関係を、前記歌唱音のうち音素の遷移の態様が相違する複数の区間の各々について個別に設定する明瞭度低減処理と
をコンピュータに実行させるプログラム。
【請求項９】
記憶手段に記憶された音声素片データから歌唱音を合成する歌唱合成処理と、
前記歌唱音の明瞭度が低下するように前記歌唱音の包絡線の強度の設定値を制御する明瞭度低減処理とをコンピュータに実行させるプログラムであって、
前記明瞭度低減処理では、前記音声素片データが示す音声の包絡線の強度の指示値を前記設定値に低下させることで前記歌唱音の明瞭度を低下させ、前記指示値が閾値を下回る場合に前記設定値をゼロに設定する
プログラム。
【請求項１０】
記憶手段に記憶された音声素片データから歌唱音を合成する処理であって、音素の変化時に音量または音高を第１設定値から第２設定値に変化させる歌唱合成処理と、
前記第１設定値から前記第２設定値までの範囲を縮小することで前記歌唱音の明瞭度を低下させる明瞭度低減処理と
をコンピュータに実行させるプログラム。
【請求項１１】
記憶手段に記憶された音声素片データから伴奏音の歌唱音と旋律音の歌唱音とを含む合唱音を合成する歌唱合成処理と、
前記歌唱音の合成に関する変数の設定値を制御することで前記伴奏音の歌唱音について明瞭度を低下させ、前記旋律音の歌唱音については明瞭度を低下させない明瞭度低減処理と
コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を合成する技術に関する。
【背景技術】
【０００２】
音声素片を表す音声素片データを利用して所望の歌詞および音高の歌唱音を合成する技術が従来から提案されている。例えば特許文献１には、相異なる音声の音声素片データから生成された複数の歌唱音を混合することで合唱音を合成する技術が開示されている。
【特許文献１】特開２００４−７７６０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１の技術では主旋律の歌唱音（以下「旋律音」という）と補助的な旋律（対旋律ないし副旋律）のコーラス音（以下「伴唱音」という）とが区別されないから、合成音にて旋律音と伴唱音とが対立して音楽的に不自然な印象となる場合がある。聴感上で伴唱音が旋律音に馴染むように合成用の変数（例えば音量）の数値を利用者が適切に調整することも可能ではあるが、利用者の作業の負担が大きいという問題がある。なお、以上においては旋律音および伴唱音の双方が合成される場合を例示したが、例えば、音声素片データから合成された伴唱音に並行して歌唱者が実際に旋律音を歌唱する場合にも同様に、伴唱音が旋律音に対立するという問題は発生する可能性がある。以上の事情を考慮して、本発明は、合成音と他の音声（例えば他の合成音や実際の歌唱音）との対立を抑制することをひとつの目的とする。
【課題を解決するための手段】
【０００４】
以上の課題を解決するために、本発明の第１態様に係る歌唱合成装置は、記憶手段に記憶された音声素片データから変数の設定値に応じた歌唱音を合成する歌唱合成手段と、歌唱音の明瞭度が低下するように変数の設定値を制御する手段であって、変数の指示値と設定値との関係を、歌唱音の複数の周波数帯域の各々について個別に設定する明瞭度低減手段とを具備する。以上の構成においては、歌唱音の明瞭度が低下するように歌唱合成手段による合成の変数の設定値が制御されるから、歌唱合成手段が合成した歌唱音と他の音声との対立が抑制されるという利点がある。また、歌唱音の複数の周波数帯域の各々について変数の指示値と設定値との関係が個別に設定されるから、音声の明瞭度に特に寄与する周波数帯域について設定値を適切に変化させることで、歌唱音の明瞭度を効果的に低下させることが可能である。
【０００５】
本発明の第２態様に係る歌唱合成装置は、記憶手段に記憶された音声素片データから変数の設定値に応じた歌唱音を合成する歌唱合成手段と、歌唱音の明瞭度が低下するように変数の設定値を制御する手段であって、変数の指示値と設定値との関係を、歌唱音のうち音素の遷移の態様が相違する複数の区間の各々について個別に設定する明瞭度低減手段とを具備する。以上の構成においては、歌唱音の明瞭度が低下するように歌唱合成手段による合成の変数の設定値が制御されるから、歌唱合成手段が合成した歌唱音と他の音声との対立が抑制されるという利点がある。また、歌唱音のうち音素の遷移の態様が相違する複数の区間（例えば発音部や移行部や定常部や消音部）の各々について指示値と設定値との関係が個別に設定されるから、音声の明瞭度に特に寄与する区間について設定値を適切に変化させることで、歌唱音の明瞭度を効果的に低下させることが可能である。
【０００６】
本発明の第３態様に係る歌唱合成装置は、記憶手段に記憶された音声素片データから歌唱音を合成する歌唱合成手段と、歌唱音の明瞭度が低下するように歌唱音の包絡線の強度の設定値を制御する明瞭度低減手段とを具備し、明瞭度低減手段は、音声素片データが示す音声の包絡線の強度の指示値を設定値に低下させることで歌唱音の明瞭度を低下させ、指示値が閾値を下回る場合に設定値をゼロに設定する。更に好適な態様において、明瞭度低減手段は、歌唱音の複数の周波数帯域の各々について閾値を個別に設定する。以上の構成においては、歌唱音の明瞭度が低下するように歌唱合成手段による合成の変数の設定値が制御されるから、歌唱合成手段が合成した歌唱音と他の音声との対立が抑制されるという利点がある。また、変数の指示値が閾値を下回る場合に設定値がゼロに設定されるから、設定値がゼロまで低下しない場合と比較して、歌唱音の明瞭度を効果的に低減することが可能である。
【０００７】
本発明の第４態様に係る歌唱合成装置は、記憶手段に記憶された音声素片データから歌唱音を合成する手段であって、音素の変化時に音量または音高を第１設定値（例えば図１０の設定値ＶAや図１１の設定値ＰA）から第２設定値（例えば図１０の設定値ＶBや図１１の設定値ＰB）に変化させる歌唱合成手段と、第１設定値から第２設定値までの範囲（例えば図１０の範囲ΔＶ2や図１１の範囲ΔＰ2）を縮小することで歌唱音の明瞭度を低下させる明瞭度低減手段とを具備する。以上の構成においては、歌唱音の明瞭度が低下するように歌唱合成手段による合成の変数の設定値が制御されるから、歌唱合成手段が合成した歌唱音と他の音声との対立が抑制されるという利点がある。
【０００８】
本発明の第５態様に係る歌唱合成装置は、記憶手段に記憶された音声素片データから伴奏音の歌唱音と旋律音の歌唱音とを含む合唱音を合成する歌唱合成手段と、歌唱音の合成に関する変数の設定値を制御することで伴奏音の歌唱音について明瞭度を低下させ、旋律音の歌唱音については明瞭度を低下させない明瞭度低減手段とを具備する。以上の構成によれば、伴奏音の歌唱音と旋律音の歌唱音との対立（衝突）を緩和することが可能である。
【００１１】
以上の各態様に係る歌唱合成装置は、歌唱音の合成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【発明を実施するための最良の形態】
【００１２】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る歌唱合成装置のブロック図である。図１に示すように、歌唱合成装置１００は、制御装置１０と記憶装置１２と入力装置２２と表示装置２４と音出力装置２６とを具備するコンピュータシステムで実現される。
【００１３】
制御装置１０は、記憶装置１２に格納されたプログラムを実行する演算処理装置である。本形態の制御装置１０は、歌唱音の波形を表す音声信号ＳOUTを生成するための複数の要素（情報生成部３２、表示制御部３４、歌唱合成部４２、明瞭度低減部４４）として機能する。なお、制御装置１０が実現する各要素を複数の装置（集積回路）に分散的に搭載した構成や、音声信号ＳOUTの処理に専用される電子回路（ＤＳＰ）が各要素を実現する構成も採用される。
【００１４】
記憶装置１２は、制御装置１０が実行するプログラムや制御装置１０が使用する各種のデータを記憶する。半導体記憶装置や磁気記憶装置などの公知の記録媒体が記憶装置１２として任意に採用される。本形態の記憶装置１２は、複数の音声データＤを記憶する。複数の音声データＤの各々は、音響的な特性が相違する別個の音声（例えば、別個の歌唱者による歌唱音やひとりの歌唱者による別個の歌唱音）から生成される。複数の歌唱者による合唱音（コーラス音）から抽出された音声データＤも記憶装置１２に格納される。
【００１５】
音声データＤは、各々が別個の音声素片に対応する複数の音声素片データＤSで構成される。本形態の音声素片データＤSは、音声素片の周波数スペクトルＳP0と周波数スペクトルＳP0の包絡線ＥNV0とを含んで構成される。音声素片は、聴覚上で区別できる最小の単位である音素または複数の音素を連結した音素連鎖である。
【００１６】
入力装置２２は、歌唱合成装置１００に対する指示の入力のために利用者が操作する機器（例えばマウスやキーボード）である。表示装置（例えば液晶表示装置）２４は、制御装置１０（表示制御部３４）による制御のもとに各種の画像を表示する。音出力装置２６は、制御装置１０から供給される音声信号ＳOUTに応じた音波を放射する放音機器（例えばスピーカやヘッドホン）である。
【００１７】
制御装置１０の情報生成部３２は、歌唱音の合成に使用される音楽情報（スコアデータ）Ｍおよび種別情報Ｔを入力装置２２に対する操作に応じて生成または編集して記憶装置１２に格納する。図２は、音楽情報Ｍを例示する模式図である。音楽情報Ｍは、歌唱音を構成する複数の音声（以下「指定音」という）を時系列に指定するデータ系列である。図２に示すように、音楽情報Ｍにおいては、時系列に配列された複数の指定音の各々について、音高と発音時間（発音の始点および終点）と音声素片と識別子Ｉ（Ｉ1，Ｉ2）とが設定される。識別子Ｉは、記憶装置１２に格納された複数の音声データＤの何れか（あるいは音声データＤの抽出元の音声の発声者）を指定する情報である。各指定音の識別子Ｉで指定される音声データＤが当該指定音の合成に使用される。識別子Ｉは指定音毎に個別に設定される。
【００１８】
種別情報Ｔは、歌唱音の各指定音が旋律音および伴唱音の何れに該当するかを指定する情報（フラグ）である。本形態においては、合成に使用される音声データＤが共通する複数の指定音の集合（すなわち歌唱音のひとつのパート）を単位として旋律音または伴唱音が指定される。したがって、本形態の種別情報Ｔは、音楽情報Ｍにて各指定音に割当てられた音声データＤ毎に旋律音および伴唱音の何れかを指定する。
【００１９】
図１の表示制御部３４は、画像を生成して表示装置２４に表示させる。例えば、表示制御部３４は、利用者が音楽情報Ｍを編集（作成）または確認するための編集画像５０を表示装置２４に表示させる。図３は、編集画像５０の模式図である。図３に示すように、編集画像５０は、音高に対応する縦軸（以下「音高軸」という）と時間に対応する横軸（以下「時間軸」という）とが設定されたピアノロール型の作業領域５２を含む。
【００２０】
利用者は、編集画像５０を確認しながら入力装置２２を適宜に操作することで各指定音の音高と発音時間とを指定する。表示制御部３４は、利用者が指示した指定音に対応する図形（以下「指示子」という）Ｃを作業領域５２内に配置する。音高軸の方向における指示子Ｃの位置は、利用者が指定した音高に応じて選定され、時間軸の方向における指示子Ｃの位置や寸法は、利用者が指定した発音時間（発音点や時間長）に応じて選定される。利用者が指定音を指示するたびに、情報生成部３２は、利用者が指示した音高と発音時間とを音楽情報Ｍにおける当該指定音の音高および発音時間として記憶装置１２に格納する。
【００２１】
また、利用者は、入力装置２２を適宜に操作することで、作業領域５２内の各指示子Ｃについて歌詞の文字と音声データＤとを指定する。情報生成部３２は、利用者が指定音に指示した文字に対応する音声素片と利用者が指定音について指示した音声データＤの識別子Ｉとを当該指定音に関連させて音楽情報Ｍに格納する。さらに、利用者は、入力装置２２を適宜に操作することで、各指定音に割当てた音声データＤ（各指定音のパート）について音声種別（旋律音／伴唱音）を指定する。情報生成部３２は、音声データＤの識別子Ｉと利用者が指定した音声種別とを対応させて種別情報Ｔに格納する。
【００２２】
図３に示すように、表示制御部３４は、旋律音に指定された指定音の指示子Ｃと、伴唱音に指定された指定音の指示子Ｃとを相異なる態様で表示装置２４に表示させる。指示子Ｃの態様とは、利用者が視覚的に認識できる指示子Ｃの状態を意味する。例えば、指示子Ｃのサイズや表示色（色相，明度，彩度）や形状などが指示子Ｃの態様の典型例である。なお、各指示子Ｃの態様を利用者が任意に変更できる構成も好適である。図３に示すように、別個の音声データＤを割当てた各指示子Ｃが時間軸上で重複し得るように各指定音（指示子Ｃ）は指定される。例えば、旋律音が指定された各指定音の系列（旋律音の歌唱音）と伴唱音が指定された各指定音の系列（伴唱音の歌唱音）とは時間軸上で重複するように設定され得る。すなわち、音声信号ＳOUTが表す歌唱音は、旋律音と伴唱音とが並列に発生する合唱音となる。
【００２３】
図１の歌唱合成部４２は、音声素片データＤSと音楽情報Ｍとを利用して歌唱音（音声信号ＳOUT）を合成する。さらに詳述すると、歌唱合成部４２は、音楽情報Ｍの発音時間の順番で各指定音（以下では特に「選択指定音」という）を順次に選択する一方、音楽情報Ｍにて選択指定音に指定された識別子Ｉの音声データＤのうち選択指定音に指定された音声素片の音声素片データＤSを記憶装置１２から取得する。そして、歌唱合成部４２は、記憶装置１２から取得した音声素片データＤSの音高（ピッチ）を、音楽情報Ｍにて選択指定音に指定された音高に調整することで音声信号ＳOUTを合成する。
【００２４】
歌唱合成部４２が音声素片データＤSから歌唱音（音声信号ＳOUT）を合成する処理の具体例を以下に説明する。図４の部分(A)に示すように、音声素片データＤSが表す周波数スペクトルＳP0には、音声素片の基本周波数（ピッチ）Ｐ0と各倍音周波数とに相当する各周波数に局所的ピークｐが存在する。歌唱合成部４２は、選択指定音の音声素片データＤSの周波数スペクトルＳP0から局所的ピークｐを検出するとともに、周波数スペクトルＳP0のうち各局所的ピークｐを周波数軸上の中心として所定の帯域幅にわたる分布（以下「局所的ピーク分布」という）Ａを特定する。
【００２５】
歌唱合成部４２は、音高変換処理と強度調整処理とを実行する。音高変換処理は、周波数スペクトルＳP0を周波数軸の方向に伸長または短縮する処理である。すなわち、歌唱合成部４２は、音楽情報Ｍにて選択指定音に指定された音高ＰXを周波数スペクトルＳP0の基本周波数Ｐ0で除算した変換比ｋ（ｋ＝ＰX／Ｐ0）を算定し、図４の部分(B)に示すように、周波数スペクトルＳP0を変換比ｋに応じた比率で周波数軸の方向に伸長（変換比ｋが「１」を上回る場合）または短縮（変換比ｋが「１」を下回る場合）することで周波数スペクトルＳP1を生成する。例えば、歌唱合成部４２は、周波数スペクトルＳP0の各局所的ピークｐが当該局所的ピークｐの周波数と変換比ｋとの乗算値の周波数に位置するように周波数スペクトルＳP0の各局所的ピーク分布Ａを周波数軸上で移動するとともに、移動前の各局所的ピーク分布Ａの間隙の成分を周波数軸に沿って伸長または縮小したうえで移動後の各局所的ピーク分布Ａの間隙に配置することで周波数スペクトルＳP1を生成する。なお、以上に例示した音高変換処理については特開2007-240564号公報に開示されている。
【００２６】
強度調整処理は、伸縮後の周波数スペクトルＳP1の強度（振幅）を調整することで周波数スペクトルＳP2を生成する処理である。強度調整処理には包絡線ＥNV1が使用される。さらに詳述すると、歌唱合成部４２は、図４の部分（C1）または部分(C2)に示すように、周波数スペクトルＳP2の各局所的ピークｐを連結した曲線が包絡線ＥNV1に合致する（つまり、局所的ピークｐの頂点が包絡線ＥNV1の線上に位置する）ように周波数スペクトルＳP1の強度を局所的ピーク分布Ａ毎に増減することで周波数スペクトルＳP2を生成する。すなわち、周波数スペクトルＳP1の各局所的ピークｐの強度は、包絡線ＥNV1のうち当該局所的ピークｐに相当する周波数での強度に合致するように調整される。以上の手順で生成された周波数スペクトルＳP2を時間領域の波形に変換（逆フーリエ変換）したうえで時間軸に沿って連結することで音声信号ＳOUTが生成される。
【００２７】
図１の明瞭度低減部４４は、種別情報Ｔにて伴唱音に設定された各指定音（伴唱音の歌唱音）の聴感上の明瞭度が低下するように、歌唱合成部４２が歌唱音の合成に使用する変数を可変に制御する。本形態の明瞭度低減部４４が制御する変数は、強度調整処理に使用される包絡線ＥNV1の強度である。すなわち、明瞭度低減部４４は、選択指定音について記憶装置１２から取得した音声素片データＤSが示す包絡線ＥNV0から種別情報Ｔ（旋律音／伴唱音）に応じた包絡線ＥNV1を設定する。さらに詳述すると、明瞭度低減部４４は、種別情報Ｔにて伴唱音に指定された音声データＤから合成される各指定音（伴唱音の歌唱音）の聴感上の明瞭度が旋律音の歌唱音に対して相対的に低下するように包絡線ＥNV1を設定する。
【００２８】
図５は、音声素片データＤSが表す包絡線ＥNV0の強度の数値（変数の指示値）ｅ0と明瞭度低減部４４が設定する包絡線ＥNV1の強度の数値（変数の設定値）ｅ1との関係を旋律音（Ｒ1）および伴唱音（Ｒ2）について図示したグラフである。種別情報Ｔにて選択指定音が旋律音に指定されている場合（すなわち、歌唱合成部４２が旋律音を合成する場合）、図５に関係Ｒ1として図示したように、明瞭度低減部４４は、音声素片データＤSが示す包絡線ＥNV0の指示値ｅ0をそのまま包絡線ＥNV1の強度の設定値ｅ1として採用する（すなわち明瞭度低減部４４は指示値ｅ0に対して何ら処理を実行しない）。したがって、図４の部分(C1)に示すように、強度調整処理に使用される包絡線ＥNV1は初期的な包絡線ＥNV0に合致する。すなわち、旋律音に指定された指定音については、音声素片データＤSが表す包絡線ＥNV0に合致する強度の周波数スペクトルＳP2が生成される（聴感上の明瞭度は低減されない）。
【００２９】
一方、種別情報Ｔにて選択指定音の音声データＤが伴唱音に指定されている場合（すなわち、歌唱合成部４２が伴唱音を合成する場合）、明瞭度低減部４４は、音声素片データＤSの包絡線ＥNV0の指示値ｅ0に対して図５の関係Ｒ2を満たすように包絡線ＥNV1の強度の設定値ｅ1を設定する。関係Ｒ2において、設定値ｅ1は、指示値ｅ0を下回るように指示値ｅ0に対して非線形（曲線的）に変化する。ただし、設定値ｅ1の最大値は指示値ｅ0の最大値に合致する。また、指示値ｅ0が閾値ＴＨを下回る場合には設定値ｅ1はゼロに設定される。以上のように伴唱音の強度指定処理に使用される包絡線ＥNV1は、図４の部分（C2）に示すように、初期的な包絡線ＥNV0の強度を低減した曲線となる。したがって、伴唱音の音声信号ＳOUTの生成に使用される周波数スペクトルＳP2は、旋律音の周波数スペクトルＳP2と比較して低強度となる（すなわち聴感上の明瞭度が低減される）。
【００３０】
以上のように本形態においては、伴唱音の包絡線ＥNV1の強度が包絡線ＥNV0と比較して低減されるとともに旋律音の包絡線ＥNV1は包絡線ＥNV0の強度に維持されるから、伴唱音の明瞭度は旋律音の明瞭度に対して相対的に低下する。したがって、歌唱合成装置１００が合成した合唱音において伴唱音と旋律音との対立が抑制され、聴感上において自然で調和的な合唱音を合成することが可能である。また、伴唱音が旋律音に馴染むように合成用の変数を利用者が調整するといった作業は不要であるから、利用者の作業の負担を軽減することが可能である。
【００３１】
なお、伴唱音の明瞭度を旋律音の明瞭度に対して相対的に低下させるという観点のみからすると、旋律音の明瞭度を伴唱音の明瞭度に対して上昇させるという方法（以下「対比例」という）も採用される。しかし、充分に明瞭な歌唱音を合成できるように元々の音声データＤ（音声素片データＤS）が生成されているとすれば、さらに明瞭度を上昇させることは技術的に困難である。本形態においては旋律音の明瞭度を維持しながら伴唱音の明瞭度が低減されるから、音声データＤの表す音声が充分に明瞭な場合であっても、伴唱音と旋律音との対立を有効に抑制できるという利点がある。
【００３２】
また、旋律音と伴唱音とで構成される合唱音を生成する場合、利用者は、旋律音の曲調や印象を念頭において音楽情報Ｍを作成または編集するから、旋律音の明瞭度を変化（上昇）させることで旋律音と伴唱音との対立を抑制する対比例においては、実際に合成された歌唱音の旋律音が利用者の想定した曲調や印象とは相違する可能性がある。本形態においては伴唱音の明瞭度が低減されるから、旋律音の明瞭度（曲調や印象）は作成時のまま維持される。したがって、音楽情報Ｍの編集時に利用者の念頭にある旋律音の音楽的な印象と実際に歌唱合成装置１００が合成した旋律音の印象との乖離が抑制されるという利点もある。
【００３３】
＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、以下の各形態において第１実施形態と共通する要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
【００３４】
図６は、音声素片データＤSが示す包絡線ＥNV0と伴唱音の合成に使用される包絡線ＥNV1（明瞭度低減部４４による処理後の包絡線ＥNV1）との模式図である。図６に示すように、包絡線ＥNV0（ＥNV1）は周波数軸上で複数（３個）の周波数帯域Ｂ（ＢL，ＢM，ＢH）に区分される。周波数帯域ＢMは周波数帯域ＢLよりも高域側であり、周波数帯域ＢHは周波数帯域ＢMよりも高域側である。
【００３５】
図７は、音声素片データＤSが示す包絡線ＥNV0の強度の指示値ｅ0と強度調整処理に使用される包絡線ＥNV1の強度の設定値ｅ1との関係を図示したグラフである。図７に示すように、包絡線ＥNV0の強度の指示値ｅ0と包絡線ＥNV1の強度の設定値ｅ1とについては、旋律音の合成時に適用される関係Ｒ1のほかに、相異なる複数の関係Ｒ（ＲL，ＲM，ＲH）が定義される。何れの関係Ｒ（ＲL，ＲM，ＲH）においても、第１実施形態の関係Ｒ2と同様に、設定値ｅ1は、指示値ｅ0を下回るとともに指示値ｅ0に対して非線形に変化する。旋律音の合成時における指示値ｅ0と設定値ｅ1との関係Ｒ1は第１実施形態と同様である。
【００３６】
歌唱合成部４２が伴唱音を合成する場合、明瞭度低減部４４は、包絡線ＥNV0を区分した複数の周波数帯域Ｂ（ＢL，ＢM，ＢH）の各々について指示値ｅ0と設定値ｅ1との関係を個別に設定する。すなわち、明瞭度低減部４４は、図６に示すように、包絡線ＥNV0のうち周波数帯域ＢL内の強度の各指示値ｅ0に対して図７の関係ＲLを満たすように包絡線ＥNV1のうち周波数帯域ＢL内の強度の各設定値ｅ1を設定する。同様に、包絡線ＥNV0のうち周波数帯域ＢM内の各指示値ｅ0に対して図７の関係ＲMを満たすように包絡線ＥNV1のうち周波数帯域ＢM内の各設定値ｅ1が設定され、包絡線ＥNV0のうち周波数帯域ＢH内の各指示値ｅ0に対して図７の関係ＲHを満たすように包絡線ＥNV1のうち周波数帯域ＢH内の各設定値ｅ1が設定される。したがって、伴唱音の合成に使用される包絡線ＥNV1の強度は高音域ほど包絡線ＥNV0からの低下の度合が大きい。
【００３７】
図７に示すように、関係ＲMにて各指示値ｅ0に対応する設定値ｅ1は、関係ＲLにて当該指示値ｅ0に対応する設定値ｅ1を下回る。同様に、関係ＲHにて各指示値ｅ0に対応する設定値ｅ1は、関係ＲMにて当該指示値ｅ0に対応する設定値ｅ1を下回る。さらに、設定値ｅ1がゼロに設定される指示値ｅ0の閾値ＴＨ（ＴＨ_L，ＴＨ_M，ＴＨ_H）に着目すると、関係ＲMにおける閾値ＴＨ_Mは関係ＲLにおける閾値ＴＨ_Lを上回り、関係ＲHにおける閾値ＴＨ_Hは関係ＲMにおける閾値ＴＨ_Mを上回る。
【００３８】
高音域の強度が高い歌唱音ほど聴取者に明確に知覚されるという傾向がある。本形態においては、伴唱音の生成に使用される包絡線ＥNV1の強度を包絡線ＥNV0から低下させる度合が高音域ほど高く、しかも、設定値ｅ1がゼロに設定される閾値ＴＨは高音域ほど高い。したがって、伴唱音の明瞭度を効果的に低減することが可能である。一方、包絡線ＥNV1の全帯域にわたって図７の関係ＲHを適用した場合、高音域の強度が低減されることで伴唱音の明瞭度は確かに低減されるが、伴唱音の音量が過度に低下する可能性がある。本形態において包絡線ＥNV1の強度を包絡線ＥNV0から低下させる度合は低音域ほど低い（強度の低下が抑制される）から、伴唱音の全体としての音量は充分に維持される。以上のように本形態においては、包絡線ＥNV0の強度の指示値ｅ0と包絡線ＥNV1の強度の設定値ｅ1との関係Ｒ（ＲL，ＲM，ＲH）が複数の周波数帯域Ｂ（ＢL，ＢM，ＢH）の各々について個別に設定されるから、設定値ｅ1の決定に１種類の関係Ｒ2のみを適用する第１実施形態と比較して、音声信号ＳOUTが表す歌唱音の強度（音量）を維持しながら伴唱音の明瞭度を確実に低減できるという利点がある。
【００３９】
＜Ｃ：第３実施形態＞
図８は、「さいた（saita）」という音素（音韻）が指定された場合に連結される複数の音声素片の配列を例示する模式図である。図８における「sil」は無音を意味する。図８に示すように、歌唱音における音素の遷移の態様は４種類（発音部ＳA、定常部ＳS、移行部ＳT、消音部ＳR）に区別される。発音部（アタック部）ＳAは、音素が無音から有声音に遷移する区間であり、消音部（リリース部）ＳRは、音素が有声音から無音に遷移する区間である。定常部ＳSは、母音の音素が継続する区間であり、移行部（トランジション部）ＳTは、音素が有声音から他の有声音に遷移する区間である。
【００４０】
図９は、音声素片データＤSが指定する包絡線ＥNV0の強度の指示値ｅ0と明瞭度低減部４４による包絡線ＥNV1の強度の設定値ｅ1との関係を図示したグラフである。図９に示すように、包絡線ＥNV0の強度の指示値ｅ0と包絡線ＥNV1の強度の設定値ｅ1とについては、旋律音の合成時に適用される関係Ｒ1のほかに、相異なる複数の関係Ｒ（ＲA，ＲS，ＲT，ＲR）が定義される。何れの関係Ｒ（ＲA，ＲS，ＲT，ＲR）においても、設定値ｅ1は、第１実施形態と同様に、指示値ｅ0を下回るとともに指示値ｅ0に対して非線形に変化する。旋律音の合成時における指示値ｅ0と設定値ｅ1との関係Ｒ1は第１実施形態と同様である。
【００４１】
明瞭度低減部４４は、歌唱合成部４２による伴唱音の合成時に、当該伴唱音における音素の遷移の態様に応じて指示値ｅ0と設定値ｅ1との関係を個別に設定する。すなわち、選択指定音が発音部ＳAに該当する場合、明瞭度低減部４４は、包絡線ＥNV0の強度の指示値ｅ0に対して図９の関係ＲAを満たすように包絡線ＥNV1の強度の設定値ｅ1を設定する。同様に、明瞭度低減部４４による設定値ｅ1の決定には、選択指定音が定常部ＳSに該当する場合には関係ＲSが適用され、選択指定音が移行部ＳTに該当する場合には関係ＲTが適用され、選択指定音が消音部ＳRに該当する場合には関係ＲRが適用される。
【００４２】
図９に示すように、移行部ＳTに適用される関係ＲTの各設定値ｅ1は消音部ＳRに適用される関係ＲRの各設定値ｅ1を下回る。同様に、定常部ＳSに適用される関係ＲSの各設定値ｅ1は移行部ＳTに適用される関係ＲTの各設定値ｅ1を下回り、発音部ＳAに適用される関係ＲAの各設定値ｅ1は定常部ＳSに適用される関係ＲSの各設定値ｅ1を下回る。さらに、設定値ｅ1がゼロに設定される指示値ｅ0の閾値ＴＨ（ＴＨ_R，ＴＨ_T，ＴＨ_S，ＴＨ_A）に着目すると、関係ＲTの閾値ＴＨ_Tは関係ＲRの閾値ＴＨ_Rを上回り、関係ＲSの閾値ＴＨ_Sは関係ＲTの閾値ＴＨ_Tを上回り、関係ＲAの閾値ＴＨ_Aは関係ＲSの閾値ＴＨ_Sを上回る。
【００４３】
消音部ＳRの強度の高低が音声の明瞭性に与える影響は小さい。また、定常部ＳSの強度が高い歌唱音は移行部ＳTの強度が高い歌唱音と比較して明確に知覚され易く、発音部ＳAの強度が高い歌唱音は定常部ＳSの強度が高い歌唱音と比較して明確に知覚され易いという傾向がある。本形態においては、包絡線ＥNV0の強度の指示値ｅ0に対する包絡線ＥNV1の強度の設定値ｅ1が消音部ＳR→移行部ＳT→定常部ＳS→発音部ＳAの順番で減少し、しかも、設定値ｅ1がゼロに設定される範囲の指示値ｅ0の上限値（閾値ＴＨ）が消音部ＳR→移行部ＳT→定常部ＳS→発音部ＳAの順番で増加するように、音素の遷移の態様毎に関係Ｒが個別に設定される。したがって、設定値ｅ1の決定に１種類の関係Ｒ2のみを適用する第１実施形態と比較して、音声信号ＳOUTが表す歌唱音の強度（音量）の過度な低下を抑制しながら伴唱音の明瞭度を効果的に低減できるという利点がある。
【００４４】
＜Ｄ：第４実施形態＞
図１０は、歌唱合成部４２が合成する歌唱音の音量の変化を音素の遷移とともに図示した模式図である。図１０の部分(A)には、歌唱音の音素が無声音の音素[s]から母音の音素[a]に変化する境界の時点（発音部ＳA内）ｔ1と、歌唱音の音素が母音の音素［a］から他の母音の音素［i］に変化する境界の時点（移行部ＳT内）ｔ2とが図示されている。図１０の区間Δ1は、音素[s]の始点から時点ｔ1（音素[a]の始点）までの区間である。また、図１０の区間Δ2Aは、時点ｔ2の直前の区間（時点ｔ2よりも所定の時間だけ手前の時点から時点ｔ2までの区間）であり、区間Δ2Bは、時点ｔ2の直後の区間（時点ｔ2から所定の時間にわたる区間）である。音素[a]の音量は設定値Ｖ1に設定され、音素[i]の音量は設定値Ｖ2に設定される。ただし、図１０においては設定値Ｖ1と設定値Ｖ2とが同等である場合が想定されている。
【００４５】
発音部ＳA内の合成音の音量は以下のように制御される。まず、旋律音を合成する場合、歌唱合成部４２は、図１０の部分(B)に示すように、区間Δ1の始点から終点（時点ｔ1）にかけて、合成音の音量を、設定値Ｖ0から設定値Ｖ1までの範囲ΔＶ1にわたって連続的に変化させる。以上のように発音の直後に音量を増加させることで、受聴者には発音が明瞭に知覚される。
【００４６】
一方、歌唱合成部４２が伴唱音を合成する場合、明瞭度低減部４４は、図１０の部分(C)に示すように、発音部ＳA内における音量の変化の範囲（変化量）ΔＶ1を旋律音の合成時と比較して狭める。すなわち、発音の始点における音量の設定値Ｖ0を旋律音の合成時と比較して上昇させる。したがって、発音部ＳAにおける合成音の明瞭度は低下する。
【００４７】
移行部ＳT内の合成音の音量は以下のように制御される。まず、旋律音を合成する場合、歌唱合成部４２は、図１０の部分(B)に示すように、合成音の音量を、設定値Ｖ1を下回る設定値ＶAから設定値Ｖ2を上回る設定値ＶBまでの範囲ΔＶ2にわたって連続的に変化させる。さらに詳述すると、合成音の音量は、区間Δ2Aにて直前の設定値Ｖ1から設定値ＶAに低下するとともに、時点ｔ2の経過後の区間Δ2Bにて設定値ＶBまで上昇し、区間Δ2Bの終点にかけて設定値Ｖ2まで低下して維持される。以上のように音素が遷移する時点ｔ2の直前で瞬間的に音量を低下させるとともに時点ｔ2の直後で瞬間的に音量を上昇させる（音量にメリハリを付ける）ことで、合成音における音素の境界を受聴者が明確に知覚できる。
【００４８】
一方、歌唱合成部４２が伴唱音を合成する場合、明瞭度低減部４４は、図１０の部分(C)に示すように、移行部ＳT内における音量の変化の範囲ΔＶ2を旋律音の合成時と比較して狭める。すなわち、区間Δ2A内の設定値ＶAを旋律音の合成時よりも上昇させるとともに、区間Δ2B内の設定値ＶBを旋律音の合成時よりも低下させる。したがって、移行部ＳTにおける合成音の明瞭度は低下する。
【００４９】
以上のように本形態においては、伴唱音の合成に使用される変数（音量）の変化の範囲（ΔＶ1，ΔＶ2）が旋律音の合成時と比較して狭められることで歌唱音の明瞭度が低減される。したがって、第１実施形態と同様の効果が実現される。
【００５０】
＜Ｅ：第５実施形態＞
図１１は、歌唱合成部４２が合成する歌唱音の音高の変化を例示した模式図である。図１１においては、図１０と同様の音素の変化（[s]→[a]→[i]）が想定されている。音素[a]の音高は設定値Ｐ1に設定され、音素[i]の音高は設定値Ｐ2に設定される。
【００５１】
発音部ＳA内の合成音の音高は以下のように制御される。まず、旋律音を合成する場合、歌唱合成部４２は、区間Δ1の始点から終点（時点ｔ1）にかけて、合成音の音高を、設定値Ｐ0から設定値Ｐ1までの範囲ΔＰ1にわたって連続的に変化させる。以上のように発音の直後に音高を変化させることで、受聴者には発音が明瞭に知覚される。
【００５２】
一方、歌唱合成部４２が伴唱音を合成する場合、明瞭度低減部４４は、図１１の部分(B)に示すように、発音部ＳA内における音高の変化の範囲（変化量）ΔＰ1を旋律音の合成時と比較して狭める。さらに詳述すると、発音の始点における音高の設定値Ｐ0を旋律音の合成時と比較して上昇させる。したがって、発音部ＳAにおける合成音の明瞭度が低下する。
【００５３】
移行部ＳT内の合成音の音高は以下のように制御される。まず、旋律音を合成する場合、歌唱合成部４２は、図１１の部分(B)に示すように、合成音の音高を、設定値Ｐ1を下回る設定値ＰAから設定値Ｐ2を上回る設定値ＰBまでの範囲ΔＰ2にわたって連続的に変化させる。さらに詳述すると、合成音の音高は、区間Δ2Aにて直前の設定値Ｐ1から設定値ＰAに低下するとともに、時点ｔ2の経過後の区間Δ2Bにて設定値ＰBまで上昇し、区間Δ2Bの終点にかけて設定値Ｐ2まで低下する。以上のように音素が遷移する時点ｔ2の前後で合成音の音高を変化させることで、合成音における音素の境界を受聴者が明確に知覚できる。
【００５４】
一方、歌唱合成部４２が伴唱音を合成する場合、明瞭度低減部４４は、図１１の部分(C)に示すように、移行部ＳT内における音高の変化の範囲ΔＰ2を旋律音の合成時と比較して狭める。すなわち、設定値ＰAを上昇させるとともに設定値ＰBを低下させる。以上のように範囲ΔＰ2を狭めることで移行部ＳTにおける合成音の明瞭度は低下する。
【００５５】
以上のように本形態においては、伴唱音の合成に使用される変数（音高）の変化の範囲（ΔＰ1，ΔＰ2）が旋律音の合成時と比較して狭められることで歌唱音の明瞭度が低減される。したがって、第１実施形態と同様の効果が実現される。
【００５６】
＜Ｆ：変形例＞
以上の各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以上の各形態や以下の各変形例から２以上の態様を任意に選択して組合わせてもよい。
【００５７】
（１）変形例１  
歌唱音の明瞭度を低減するために制御される変数は以上の例示に限定されない。例えば、受聴者が知覚する歌唱音の明瞭度は当該歌唱音の子音の時間長が短いほど低下するという傾向を考慮すると、歌唱合成部４２による伴唱音の合成時に、明瞭度低減部４４が旋律音の合成時と比較して子音の時間長を短縮するという構成も採用される。また、歌唱合成部４２による歌唱音の合成には公知の技術が任意に採用され、明瞭度低減部４４による制御の対象となる変数は、歌唱合成部４２による歌唱音の合成の方法（合成に使用する変数）に応じて適宜に選定される。以上の説明から理解されるように、歌唱合成部４２が歌唱音の合成に使用する変数の調整の結果として歌唱音の明瞭度が制御される構成が本発明では好適であり、変数の具体的な内容は不問である。
【００５８】
（２）変形例２  
第１実施形態から第３実施形態における指示値ｅ0と設定値ｅ1との関係Ｒを利用者が入力装置２２の操作で任意に変更できる構成も好適である。また、第４実施形態や第５実施形態における変数（音量や音高）の変化の態様を利用者が入力装置２２の操作で任意に変更できる構成も採用される。
【００５９】
（３）変形例３  
第４実施形態においては歌唱音の全体の音量の制御を例示したが、第２実施形態と同様に、歌唱音の各周波数帯域毎に音量を個別に制御する構成も採用される。例えば、移行部ＳT内の音素の変化を想定すると、図１２に示すように、歌唱合成部４２による歌唱音のうち周波数帯域ＢMの成分の音量の範囲ΔＶ2_Mを周波数帯域ＢLの成分の音量の変化の範囲ΔＶ2_Lよりも狭い範囲に設定し、周波数帯域ＢHの成分の音量の範囲ΔＶ2_Hを周波数帯域ＢMの成分の音量の範囲ΔＶ2_Mよりも狭い範囲に設定するといった具合である。以上の構成によれば、歌唱音の明瞭度に寄与する高域の周波数帯域の音量ほど変化の範囲（メリハリ）が低減されるから、伴唱音の明瞭度を効果的に低減することが可能である。
【００６０】
（４）変形例４  
以上の形態においては、旋律音と伴唱音との合唱音を合成する場合を例示したが、旋律音の合成は本発明において必須ではない。例えば、歌唱合成部４２が合成した伴唱音に並行して歌唱者が実際に旋律音を歌唱する場合にも旋律音と伴唱音との対立という問題は発生するから、伴唱音の明瞭度を低減する以上の各形態が好適に採用される。
【００６１】
（５）変形例５  
音声素片データＤSの内容は以上の例示（周波数スペクトルＳP0および包絡線ＥNV0）に限定されない。例えば、音声素片の時間軸上の波形を表す音声素片データＤSも歌唱音の合成に使用される。音声素片データＤSが音声素片の波形を表す場合、歌唱合成部４２は、例えば離散フーリエ変換を含む周波数分析を音声素片データＤSに実行することで周波数スペクトルＳP0や包絡線ＥNV0を算定したうえで歌唱音の合成に使用する。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１実施形態に係る歌唱合成装置のブロック図である。
【図２】音楽情報の模式図である。
【図３】編集画像の模式図である。
【図４】歌唱合成部の動作を説明するための概念図である。
【図５】包絡線の強度の指示値と設定値との関係を示すグラフである。
【図６】本発明の第２実施形態の動作を説明するための概念図である。
【図７】包絡線の強度の指示値と設定値との関係を示すグラフである。
【図８】本発明の第３実施形態の動作を説明するための概念図である。
【図９】包絡線の強度の指示値と設定値との関係を示すグラフである。
【図１０】本発明の第４実施形態における複数の音素の配列と音量の変化とを例示する模式図である。
【図１１】本発明の第５実施形態における複数の音素の配列と音高の変化とを例示する模式図である。
【図１２】変形例における変数（音量）の変化を例示する模式図である。
【符号の説明】
【００６３】
１００……歌唱合成装置、１０……制御装置、１２……記憶装置、２２……入力装置、２４……表示装置、２６……音出力装置、３２……情報生成部、３４……表示制御部、４２……歌唱合成部、４４……明瞭度低減部、Ｄ……音声データ、ＤS……音声素片データ、ＳOUT……音声信号、Ｍ……音楽情報、Ｔ……種別情報。
【図１】
0005092905.tif 000002
【図２】
0005092905.tif 000003
【図３】
0005092905.tif 000004
【図４】
0005092905.tif 000005
【図５】
0005092905.tif 000006
【図６】
0005092905.tif 000007
【図７】
0005092905.tif 000008
【図８】
0005092905.tif 000009
【図９】
0005092905.tif 000010
【図１０】
0005092905.tif 000011
【図１１】
0005092905.tif 000012
【図１２】
0005092905.tif 000013