(57)【要約】【課題】楽曲の各音符について実際の傾向に整合した自然な変動量を設定する。【解決手段】変動量設定部は、対象楽曲における各音符の位置に応じた分散σの確率分布Ｄで発生する乱数λに応じて、当該音符の発音時点の変動量を設定する。例えば、変動量設定部は、楽曲の拍点Ｂを包含する拍点範囲Ｒの内側に音符の発音時点が位置する場合に、数値ｄ1に設定された分散σの確率分布Ｄで発生する乱数λに応じて変動量を設定し、音符の発音時点が拍点範囲Ｒの外側に位置する場合に、数値ｄ1を上回る数値ｄ2に設定された分散σの確率分布Ｄで発生する乱数λに応じて変動量を設定する。【選択図】図５
2015148663.tif 000002
【特許請求の範囲】
【請求項１】
楽曲の各音符について、前記楽曲における当該音符の位置に応じた散布度の確率分布で発生する乱数に応じて、当該音符の発音時点の変動量を設定する変動量設定手段
を具備する楽曲処理装置。
【請求項２】
前記変動量設定手段は、前記楽曲の拍点を包含する拍点範囲の内側に一の音符の発音時点が位置する場合に、第１散布度の確率分布で発生する乱数に応じて前記一の音符の発音時点の変動量を設定し、前記一の音符の発音時点が前記拍点範囲の外側に位置する場合に、前記第１散布度を上回る第２散布度の確率分布で発生する乱数に応じて前記一の音符の発音時点の変動量を設定する
請求項１の楽曲処理装置。
【請求項３】
前記変動量設定手段は、可変の補正値に対応した乱数の発生確率が最大となる前記確率分布で発生する乱数に応じて、前記音符の発音時点の変動量を設定する
請求項１または請求項２の楽曲処理装置。
【請求項４】
前記変動量設定手段は、前記変動量に応じた調整後の一の音符の発音時点が、前記一の音符の消音時点と比較して前方に位置し、かつ、前記一の音符の直前の他の音符の発音時点と比較して後方に位置するように、前記一の音符の発音時点の変動量を設定する
請求項１から請求項３の何れかの楽曲処理装置。
【請求項５】
前記変動量設定手段は、前記楽曲の第１音符の発音期間と直後の第２音符の発音期間とが時間軸上で相互に連続する場合に、前記第２音符について設定した発音時点の変動量に応じて、前記第１音符の消音時点の変動量を設定する
請求項１から請求項４の何れかの楽曲処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲の各音符を制御する技術に関する。
【背景技術】
【０００２】
現実の歌唱や演奏の場面では、楽曲の各音符の発音時点が、楽譜上の正確な位置から多少は変動する。以上の傾向を加味して聴感的に自然な音響を生成する観点から、例えば特許文献１には、楽曲の各音符の発音の時点を楽譜上の既定の位置から前後に変動させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２５８２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、現実の歌唱や演奏では、各音符の発音時点が変動する度合が、楽曲内での当該音符の位置に応じて相違するという傾向がある。例えば、楽曲の拍点の近傍で発音される音符は、歌唱者や演奏者が発音時点を把握し易いため、発音時点が拍点から離間した音符と比較して発音時点の変動の度合が抑制されるという傾向がある。したがって、楽曲内の各音符の位置とは無関係に各音符の発音時点の変動量を設定する構成では、各音符の発音時点の変動が実際の傾向から乖離する可能性がある。なお、以上の説明では便宜的に、各音符の発音時点に着目したが、各音符の消音時点や各音符の各種の音楽情報（例えばビブラートの特性）についても同様の事情が妥当する。以上の事情を考慮して、本発明は、楽曲の各音符について実際の傾向に整合した自然な変動量を設定することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の楽曲処理装置は、楽曲の各音符について、楽曲における当該音符の位置に応じた散布度の確率分布で発生する乱数に応じて、当該音符の発音時点の変動量を設定する変動量設定手段を具備する。以上の構成では、楽曲における音符の位置に応じた散布度の確率分布で発生する乱数に応じて当該音符の発音時点の変動量が設定されるから、楽曲における各音符の位置とは無関係に発音時点の変動量を設定する構成（例えば特許文献１）と比較して、実際の歌唱や演奏における各音符の発音時点の変動量（誤差）と各音符の楽曲内の位置との関係を反映した自然な変動量を設定できるという利点がある。
【０００６】
本発明の好適な態様において、変動量設定手段は、楽曲の拍点を包含する拍点範囲の内側に一の音符の発音時点が位置する場合に、第１散布度の確率分布で発生する乱数に応じて一の音符の発音時点の変動量を設定し、一の音符の発音時点が拍点範囲の外側に位置する場合に、第１散布度を上回る第２散布度の確率分布で発生する乱数に応じて一の音符の発音時点の変動量を設定する。以上の態様では、音符の発音時点が拍点範囲に包含されるか否かに応じて確率分布の散布度が変更されるから、楽曲の拍点と各音符の発音時点との距離に応じて発音時点の変動量（誤差）が変動するという傾向を反映した自然な変動量を設定することが可能である。また、散布度が２値的に設定されるから、例えば散布度を連続的に変化させる構成と比較して変動量の設定の処理が簡素化されるという利点もある。
【０００７】
本発明の好適な態様において、変動量設定手段は、可変の補正値に対応した乱数の発生確率が最大となる確率分布で発生する乱数に応じて、音符の発音時点の変動量を設定する。以上の態様では、確率分布にて発生確率が最大となる乱数（例えば確率分布の中心）が補正値に応じて可変に設定されるから、各音符の発音時点の先行／遅延（前ノリ／後ノリ）の傾向を反映した自然な変動量を設定することが可能である。なお、以上の態様の具体例は例えば第２実施形態として後述される。
【０００８】
本発明の好適な態様において、変動量設定手段は、変動量に応じた調整後の一の音符の発音時点が、一の音符の消音時点と比較して前方に位置し、かつ、一の音符の直前の他の音符の発音時点と比較して後方に位置するように、一の音符の発音時点の変動量を設定する。以上の態様では、変動量に応じた調整後の音符の発音時点が、当該音符の消音時点と直前の音符の発音時点との間に位置するように、各音符の変動量の範囲が制限される。したがって、各音符の発音時点の変動に起因した当該音符や直前の音符の消失（楽曲内容の破綻）を防止できるという利点がある。なお、以上の態様の具体例は例えば第３実施形態として後述される。
【０００９】
本発明の好適な態様において、変動量設定手段は、楽曲の第１音符の発音期間と直後の第２音符の発音期間とが時間軸上で相互に連続する場合に、第２音符について設定した発音時点の変動量に応じて、第１音符の消音時点の変動量を設定する。以上の態様では、第２音符の変動量に応じて第１音符の消音時点の変動量が設定されるから、各変動量を適用した調整後にも、第１音符と第２音符とが連続した状態が維持されるという利点がある。なお、以上の態様の具体例は例えば第４実施形態として後述される。
【００１０】
本発明の好適な態様において、変動量設定手段は、楽曲の相異なる複数の声部の各々における各音符の発音時点の変動量を声部毎に個別に設定する。以上の態様では、楽曲の複数の声部の各々について各音符の発音時点の変動量が設定される。したがって、声部毎の各音符の発音時点を時間軸上で分散させることが可能である。なお、楽曲の各声部に対応する音符列（旋律）の異同は不問である。
【００１１】
以上の各態様は、音符について設定される各種の音楽情報の変動量の設定にも適用され得る。本発明の好適な態様に係る楽曲処理装置は、楽曲の各音符について、楽曲における当該音符の位置に応じた散布度の確率分布で発生する乱数に応じて、当該音符の音楽情報の変動量を設定する変動量設定手段を具備する。
【００１２】
以上の各態様に係る楽曲処理装置は、ＤＳＰ（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、CD-ROM等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。本発明のプログラムは、例えば通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、本発明は、以上に説明した各態様に係る楽曲処理装置の動作方法（楽曲処理方法）としても特定される。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における音声合成装置の構成図である。
【図２】楽曲データの模式図である。
【図３】編集画面の模式図である。
【図４】変動量設定処理のフローチャートである。
【図５】変動量設定処理の説明図である。
【図６】第２実施形態における変動量設定処理のフローチャートである。
【図７】第２実施形態における変動量設定処理の説明図である。
【図８】第３実施形態における変動量設定処理の説明図である。
【図９】第４実施形態における変動量設定処理の説明図である。
【図１０】第４実施形態における変動量設定処理の説明図である。
【図１１】第４実施形態において各音符の消音時点の変動量を設定する処理のフローチャートである。
【発明を実施するための形態】
【００１４】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００の構成図である。音声合成装置１００は、任意の楽曲（以下「対象楽曲」という）の歌唱音声の音響信号Ｖを生成する信号処理装置であり、演算処理装置１０と記憶装置１２と表示装置１４と入力装置１６と放音装置１８とを具備するコンピュータシステム（例えば携帯情報端末やパーソナルコンピュータ等の情報処理装置）で実現される。
【００１５】
表示装置１４（例えば液晶表示パネル）は、演算処理装置１０から指示された画像を表示する。入力装置１６は、音声合成装置１００に対する各種の指示のために利用者が操作する操作機器であり、例えば利用者が操作する複数の操作子を含んで構成される。表示装置１４と一体に構成されたタッチパネルを入力装置１６として採用することも可能である。放音装置１８（例えばスピーカやヘッドホン）は、音響信号Ｖに応じた音響を再生する。なお、音響信号Ｖをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。
【００１６】
記憶装置１２は、演算処理装置１０が実行するプログラムや演算処理装置１０が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１２として任意に採用される。第１実施形態の記憶装置１２は、複数の音声素片群Ｌと対象楽曲の楽曲データＭとを記憶する。
【００１７】
各音声素片群Ｌは、特定の発声者の発声音から事前に採取された複数の音声素片の集合（音声ライブラリ）である。各音声素片の音響特性は音声素片群Ｌ毎に相違する。具体的には、音声素片群Ｌ毎に各音声素片の発声者が相違する。各音声素片は、言語的な意味の区別の最小単位である音素（例えば母音や子音）、または、複数の音素を連結した音素連鎖（例えばダイフォンやトライフォン）である。
【００１８】
楽曲データＭは、対象楽曲を構成する複数の音符の時系列を指定するデータであり、図２に例示される通り、対象楽曲の相異なる声部（パート）に対応する複数の音楽データＭPを含んで構成される。任意の１個の声部の音楽データＭPは、対象楽曲のうち当該声部の音符の時系列を指定する。なお、第１実施形態では、対象楽曲の共通の旋律を複数の発声者が歌唱した合唱音声の音響信号Ｖを生成する場合（ユニゾン）を想定する。すなわち、楽曲データＭの複数の音楽データＭPで指定される音符列（旋律）は共通し、声部毎に別個の音声素片群Ｌが音声合成の素材として利用される。ただし、音楽データＭPで指定される音符列を声部毎に相違させることも可能である。また、各音楽データＭPに対応する複数の声部について共通の音声素片群Ｌを利用することで、合成音声に自然な厚みを付与すること（ダブリング効果）も可能である。
【００１９】
図２に例示される通り、任意の１個の声部に対応する音楽データＭPは、音符情報ＱNと制御情報ＱCとを当該声部の音符毎に指定する。音符情報ＱNは、音符を指定する情報であり、第１実施形態では音高Ｘ1と発音期間Ｘ2と音声符号Ｘ3とを包含する。音高Ｘ1は、例えばMIDI（Musical Instrument Digital Interface）規格に準拠したノートナンバーである。発音期間Ｘ2は、音符の発音が維持される期間であり、例えば音符の発音時点（音符の発音が開始される時点）と消音時点（音符の発音が終了する時点）とで指定される。なお、音符の発音時点と継続長（音価）とで発音期間Ｘ2を指定することも可能である。音声符号Ｘ3は、合成音声の発音内容（すなわち対象楽曲の歌詞）を指定する。
【００２０】
他方、制御情報ＱCは、合成音声の音楽的な特性（例えば発声者の歌唱の傾向や表現等）を制御するための情報である。第１実施形態の制御情報ＱCは、音符の発音時点の変動量Δを包含する。変動量Δは、各音符の音符情報ＱNで指定される発音期間Ｘ2の発音時点（すなわち楽譜上で規定される所期の発音時点）に対する時間的な誤差（ばらつき）である。変動量Δは正数または負数に設定され得る。例えば変動量Δが正数である場合には発音時点が時間軸上で後方に変動し、変動量Δが負数である場合には発音時点が時間軸上で前方に変動する。
【００２１】
図１の演算処理装置１０は、記憶装置１２に記憶されたプログラムを実行することで、楽曲データＭの編集や音響信号Ｖの生成のための複数の機能（表示制御部２２，情報管理部２４，音声合成部２６，変動量設定部２８）を実現する。なお、演算処理装置１０の各機能を複数の装置に分散した構成や、専用の電子回路（例えばDSP）が演算処理装置１０の一部の機能を実現する構成も採用され得る。表示制御部２２および情報管理部２４は、楽曲編集用のソフトウェア（エディタ）で実現され、音声合成部２６は、音声合成用のソフトウェア（音声合成エンジン）で実現される。変動量設定部２８は、例えば、楽曲編集用または音声合成用のソフトウェアに対するプラグインソフトウェアで実現される。もっとも、各機能に対応するソフトウェアの切分けは任意であり、例えば、楽曲編集用のソフトウェアのひとつの機能として変動量設定部２８の機能を内包することも可能である。
【００２２】
表示制御部２２は、各種の画像を表示装置１４に表示させる。第１実施形態の表示制御部２２は、楽曲データＭが指定する対象楽曲の内容を利用者が確認および編集するための図３の編集画面４０を表示装置１４に表示させる。編集画面４０は、相互に交差する時間軸および音高軸が設定された楽譜領域４２に、楽曲データＭの各音楽データＭPで指定される各音符を表象する音符図像４４を配置したピアノロール型の画像である。音高軸の方向における音符図像４４の位置は当該音符の音高Ｘ1に応じて設定され、時間軸の方向における音符図像４４の位置および表示長は当該音符の発音期間Ｘ2に応じて設定される。具体的には、図３に例示される通り、音符図像４４の前縁（左端）の位置は、音符情報ＱNで指定される発音期間Ｘ2の発音時点に制御情報ＱCの変動量Δを付加した位置に設定され、音符図像４４の後縁（右端）の位置は、音符情報ＱNで指定される消音時点に応じて設定される。また、各音符の音声符号Ｘ3の文字が各音符図像４４に付加される。なお、第１実施形態では複数の声部の音符図像４４が編集画面４０に表示される。各音符図像４４を利用者が声部毎に視覚的に区別できるように、音符図像４４の表示態様（色彩や形状等の態様）を声部毎に相違させる構成が好適である。
【００２３】
図１の情報管理部２４は、記憶装置１２に記憶された楽曲データＭを管理する。具体的には、情報管理部２４は、入力装置１６に対する利用者からの指示に応じて楽曲データＭの各音楽データＭP（音高Ｘ1，発音期間Ｘ2，音声符号Ｘ3）を更新する。第１実施形態の情報管理部２４は、利用者が１個の声部について指示した音符の時系列を表現する音楽データＭPを複製することで、相異なる音声素片群Ｌに対応する複数の声部の音楽データＭP（楽曲データＭ）を生成する。
【００２４】
音声合成部２６は、記憶装置１２に記憶された各音声素片群Ｌと楽曲データＭとを利用した音声合成処理で音響信号Ｖを生成する。第１実施形態の音声合成部２６は、対象楽曲の楽曲データＭの各音楽データＭPで指定される歌唱音声を表す基礎信号を対象楽曲の声部毎に生成し、複数の声部の基礎信号を混合することで音響信号Ｖを生成する。具体的には、音声合成部２６は、各声部の音楽データＭPが音符毎に指定する音声符号Ｘ3に対応した音声素片を当該声部の音声素片群Ｌから順次に選択し、当該音声素片を音高Ｘ1に調整するとともに発音期間Ｘ2と変動量Δとに応じて時間長を調整し、調整後の各音声素片を時間軸上で相互に連結することで声部毎に基礎信号を生成する。各声部の音符毎の発音時点は、当該音符の音符情報ＱNが指定する発音期間Ｘ2の発音時点から、当該音符の制御情報ＱCが指定する変動量Δに応じて調整される。具体的には、音符情報ＱNで指定される発音時点が変動量Δだけ変更される。音声合成部２６が生成した音響信号Ｖが放音装置１８に供給されることで対象楽曲の合唱音声が再生される。
【００２５】
図１の変動量設定部２８は、対象楽曲の各声部の音符毎に発音時点の変動量Δ（制御情報ＱC）を設定する。具体的には、変動量Δは乱数λに応じて音符毎に設定される。第１実施形態の変動量設定部２８は、対象楽曲での当該音符の位置に応じて可変に設定された散布度（分散）の確率分布Ｄで発生する乱数λに応じて変動量Δを設定する。実際の歌唱に着目すると、発音時点が対象楽曲の拍点の近傍に位置する音符は、発音時点が拍点から離間した音符と比較して発音時点の変動が抑制される（発音時点の誤差が低減される）という傾向が観察される。以上の傾向を考慮して、第１実施形態では、対象楽曲の拍点の近傍に位置する音符の発音時点の分布幅が、拍点から離間した音符の発音時点の分布幅を下回る（発音時点の分散が抑制される）ように、各音符の発音時点の変動量Δが設定される。
【００２６】
図４は、変動量設定部２８が変動量Δを設定する処理（変動量設定処理）のフローチャートであり、図５は、変動量設定処理の具体例の説明図である。図４の変動量設定処理は、編集画面４０に対する利用者からの指示に応じて対象楽曲の楽曲データＭが生成された状態で、入力装置１６に対する利用者からの指示（変動量Δの設定用のプラグインソフトウェアの実行指示）を契機として実行される。変動量設定部２８が開始される段階では、各音符の変動量Δは初期値（例えばゼロ）に設定される。図５では、前述の編集画面４０と同様の形式で対象楽曲の音符Ｎ1および音符Ｎ2が図示され、対象楽曲の拍点Ｂが便宜的に併記されている。
【００２７】
変動量設定処理を開始すると、変動量設定部２８は、記憶装置１２に記憶された楽曲データＭから１個の音楽データＭP（声部）を選択し（ＳA1）、当該音楽データＭPの各音符情報ＱNで指定される１個の音符（以下「選択音符」という）を選択する（ＳA2）。
【００２８】
変動量設定部２８は、音符情報ＱNで指定される選択音符の発音時点が対象楽曲の拍点範囲Ｒの内側に位置するか否かを判定する（ＳA3）。図５に例示される通り、拍点範囲Ｒは、対象楽曲の拍点Ｂを包含する時間軸上の範囲である。具体的には、拍点Ｂを中心とする所定幅の範囲が拍点範囲Ｒとして設定される。図５に例示される通り、対象楽曲の音符Ｎ1の発音時点は拍点範囲Ｒの内側に位置し（ＳA3：YES）、音符Ｎ2の発音時点は拍点範囲Ｒの外側に位置する（ＳA3：NO）。以上の説明から理解される通り、ステップＳA3の判定は、選択音符の発音時点が対象楽曲の拍点Ｂの近傍に位置するか否かを判定する処理（対象楽曲における選択音符の位置を判別する処理）に相当する。
【００２９】
図５に例示される通り、変動量設定部２８は、確率分布Ｄで発生する乱数λに応じて選択音符の変動量Δを設定する（ＳA4〜ＳA7）。第１実施形態では、ゼロを平均とする正規分布を確率分布Ｄとして利用した場合を例示する。確率分布Ｄに応じた変動量Δの設定について以下に詳述する。なお、確率分布Ｄは正規分布に限定されない。
【００３０】
変動量設定部２８は、音符情報ＱNで指定される選択音符の発音時点が拍点範囲Ｒの内側に位置するか否かに応じて確率分布Ｄの分散（散布度）σを可変に設定する。具体的には、選択音符の発音時点が拍点範囲Ｒの内側に位置する場合（ＳA3：YES）、すなわち選択音符が拍点Ｂに近接する場合、変動量設定部２８は、確率分布Ｄの分散σを数値ｄ1（第１散布度）に設定する（ＳA4）。他方、選択音符が拍点範囲Ｒの外側に位置する場合（ＳA3：NO）、すなわち選択音符が拍点Ｂから離間する場合、変動量設定部２８は、確率分布Ｄの分散σを数値ｄ2（第２散布度）に設定する（ＳA5）。図５から理解される通り、数値ｄ2は数値ｄ1を上回る（ｄ2＞ｄ1）。例えば、所定の数値ｄ1に係数ｋ（ｋ＞１）を乗算することで数値ｄ2を算定する構成や、所定の数値ｄ2を係数ｋで除算することで数値ｄ1を算定する構成が採用される。
【００３１】
図５に例示される通り、変動量設定部２８は、以上の手順で設定した分散σの確率分布Ｄのもとで乱数（すなわち正規乱数）λを発生する（ＳA6）。乱数λの発生には公知の技術が任意に採用され得るが、全数値が同確率で発生する一様乱数にボックス=ミュラー（Box-Muller）法を適用することで正規乱数λを生成することが可能である。第１実施形態の確率分布Ｄは、ゼロを平均とする正規分布であるから、乱数λは正数または負数に設定され得る。
【００３２】
変動量設定部２８は、乱数λに応じて発音時点の変動量Δを設定する（ＳA7）。具体的には、乱数λを変動量Δとして採択する構成や、乱数λを変数とする所定の演算で変動量Δを算定する構成が採用され得る。すなわち、第１実施形態の変動量設定部２８は、対象楽曲における選択音符の位置に応じた分散σの確率分布Ｄで発生する乱数λに応じて選択音符の発音時点の変動量Δを設定する。以上の説明から理解される通り、音符情報ＱNで指定される発音時点が拍点範囲Ｒの内側に位置する音符は、発音時点が拍点範囲Ｒの外側に位置する音符と比較して、変動量Δを適用した調整後の発音時点が広範囲に分散される。すなわち、拍点Ｂの近傍に位置する音符は拍点Ｂから離間した音符と比較して発音時点が分散し難い（ばらつき難い）という現実の歌唱の傾向が再現される。
【００３３】
選択音符について変動量Δを設定すると、変動量設定部２８は、現段階の処理対象の音楽データＭPで指定される全部の音符（すなわち１個の声部の全部の音符）について変動量Δを設定したか否かを判定する（ＳA8）。変動量Δの未設定の音符が存在する場合（ＳA8：NO）、変動量設定部２８は、直後の音符を選択音符として選択（ＳA2）したうえで変動量Δの設定（ＳA3〜ＳA7）を実行する。他方、全部の音符について変動量Δの設定が完了した場合（ＳA8：YES）、変動量設定部２８は、楽曲データＭの全部の音楽データＭPについて処理が完了したか否かを判定し（ＳA9）、未処理の音楽データＭPが存在する場合（ＳA9：NO）には未処理の音楽データＭPを選択（ＳA1）したうえで以上の処理（ＳA2〜ＳA8）を実行する。楽曲データＭに包含される全部の音楽データＭPについて処理が完了する（ＳA9：YES）ことで変動量設定処理が終了する。以上の説明から理解される通り、各音符の変動量Δの設定は音楽データＭP毎（対象楽曲の声部毎）に別個に実行されるから、音符情報ＱNで指定される音符の発音時点が複数の声部にわたり共通する場合でも、音響信号Ｖにおける当該音符の発音時点は声部毎に相違し得る。すなわち、各声部の発音時点が適度に分散された自然な合成音声が生成される。
【００３４】
以上に説明した通り、第１実施形態では、対象楽曲の音符の位置に応じて分散σが可変に設定された確率分布Ｄで発生する乱数λに応じて当該音符の発音時点の変動量Δが設定されるから、対象楽曲における各音符の位置とは無関係に発音時点の変動量が設定される特許文献１の構成と比較すると、実際の歌唱や演奏における各音符の発音時点の変動量（誤差）と各音符の楽曲内の位置との関係を反映した自然な変動量Δを設定できるという利点がある。
【００３５】
例えば第１実施形態では、音符情報ＱNで指定される発音時点が拍点範囲Ｒに包含されるか否かに応じて確率分布Ｄの分散σが変動するから、楽曲の拍点Ｂから離間した音符は拍点Ｂの近傍の音符と比較して発音時点が分散し易いという現実の歌唱の傾向を再現した自然な変動量Δを設定できる。また、分散σが２値的（ｄ1，ｄ2）に設定されるから、例えば拍点Ｂと音符の発音時点との距離に応じて分散σを連続的に変化させる構成と比較して変動量設定処理が簡素化されるという利点もある。
【００３６】
＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００３７】
図６は、第２実施形態の変動量設定部２８が実行する変動量設定処理の部分的なフローチャートであり、図７は、第２実施形態における変動量設定処理の説明図である。図６に例示される通り、第２実施形態の変動量設定部２８は、音楽データＭP毎（声部毎）に補正値Ａを可変に設定する（ＳA11）。具体的には、補正値Ａは、例えば入力装置１６に対する利用者からの指示に応じて声部毎に正数または負数に設定され得る。
【００３８】
図７から理解される通り、変動量設定部２８は、選択音符の位置に応じた分散σの確率分布Ｄの中心（平均値）を補正値Ａに応じて制御する。具体的には、変動量設定部２８は、補正値Ａを平均値とする分散σの確率分布Ｄ（すなわち補正値Ａの発生確率が最大となる確率分布Ｄ）のもとで乱数λを発生させる（ＳA6）。乱数λに応じた変動量Δの設定（ＳA7）は第１実施形態と同様である。以上の説明から理解される通り、補正値Ａは、確率分布Ｄのオフセット値に相当する。なお、以上に例示した正規分布では確率分布Ｄの中心（発生確率が最大となる数値）が平均値に相当するが、他の種類の確率分布（例えば対数正規分布）では、発生確率が最大となる数値（最頻値）と平均値とは相違し得る。
【００３９】
補正値Ａが正数に設定された場合、変動量Δを適用した調整後の各音符の発音時点は、音符情報ＱNで指定される初期的な発音時点と比較して後方の時点を中心として分散される。したがって、各音符の発音時点が所期の時点（楽譜上の発音時点）と比較して遅延する歌唱の傾向（いわゆる後ノリ）が再現される。他方、補正値Ａが負数に設定された場合、変動量Δを適用した調整後の各音符の発音時点は、音符情報ＱNで指定される初期的な発音時点と比較して前方の時点を中心として分散される。したがって、各音符の発音時点が所期の時点と比較して先行する歌唱の傾向（いわゆる前ノリ）が再現される。
【００４０】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、確率分布Ｄの中心の位置（平均値）が補正値Ａに応じて可変に設定されるから、各音符の発音時点の先行／遅延の傾向（前ノリ／後ノリ）を反映した変動量Δを設定できるという利点がある。また、第２実施形態では、対象楽曲の声部毎に補正値Ａが個別に設定されるから、各音符の発音時点の先行／遅延の傾向を声部毎（歌唱者毎）に相違させることが可能である。
【００４１】
＜第３実施形態＞
図８は、第３実施形態における変動量設定部２８の動作（変動量設定処理）の説明図である。図８には、対象楽曲の１個の声部に包含される音符Ｎ1と音符Ｎ1の直後の音符Ｎ2とが例示されている。
【００４２】
図８から理解される通り、第３実施形態の変動量設定部２８は、変動量Δを適用した調整後の音符Ｎ2の発音時点が所定の範囲（以下「変動許容範囲」という）Ｐの内側に位置するように音符Ｎ2の変動量Δを制限する。変動許容範囲Ｐの端部（前縁）ｐ1は、例えば、音符Ｎ2の直前の音符Ｎ1の発音時点（音符Ｎ1の変動量Δを適用した調整後の発音時点）に設定される。すなわち、変動量Δを適用した調整後の音符Ｎ2の発音時点が直前の音符Ｎ1の発音時点と比較して時間軸上で後方に位置するように、変動量設定部２８は音符Ｎ2の変動量Δを制限する。
【００４３】
他方、変動許容範囲Ｐの端部（後縁）ｐ2は、例えば音符情報ＱNで指定される音符Ｎ2の消音時点に設定される。すなわち、変動量Δを適用した調整後の音符Ｎ2の発音時点が当該音符Ｎ2の消音時点と比較して時間軸上で前方に位置するように、変動量設定部２８は音符Ｎ2の変動量Δを制限する。
【００４４】
以上の構成によれば、変動量Δを適用した調整後の各音符の発音時点が変動許容範囲Ｐ内に位置するように各音符の発音時点の変動量Δが制限される。したがって、対象楽曲の音符の消失（楽曲内容の破綻）を発生させずに各音符の発音時点を調整することが可能である。
【００４５】
なお、図８の例示では、変動許容範囲Ｐの端部ｐ1を音符Ｎ1の発音時点に設定したが、音符Ｎ1の発音時点から所定の時間長（例えば１６分音符に相当する時間長）だけ後方の時点を端部ｐ1として設定することも可能である。以上の構成によれば、音符Ｎ2の発音時点が過度に前方に変動された場合でも、直前の音符Ｎ1に所定の時間長を確保できるという利点がある。同様に、図８の例示では、変動許容範囲Ｐの端部ｐ2を音符Ｎ2の消音時点に設定したが、音符Ｎ2の消音時点から所定の時間長（例えば１６分音符に相当する時間長）だけ前方の時点を端部ｐ2として設定することも可能である。以上の構成によれば、音符Ｎ2の発音時点が過度に後方に変動された場合でも、当該音符Ｎ2に所定の時間長を確保できるという利点がある。
【００４６】
＜第４実施形態＞
図９および図１０は、第４実施形態における変動量設定部２８の動作（変動量設定処理）の説明図である。図９および図１０には、対象楽曲の１個の声部にて相前後する音符Ｎ1および音符Ｎ2が例示されている。図９では、音符情報ＱNで指定される初期的な発音期間Ｘ2が音符Ｎ1と音符Ｎ2とで相互に連続する場合（音符Ｎ1の消音時点と直後の音符Ｎ2の発音時点とが合致する場合）が想定され、図１０では、音符情報ＱNで指定される初期的な発音期間Ｘ2が音符Ｎ1と音符Ｎ2とで相互に間隔をあけて離間する場合が想定されている。
【００４７】
第４実施形態の変動量設定部２８は、第１実施形態と同様の変動量設定処理で対象楽曲の各音符の発音時点の変動量Δを設定するほか、各音符の消音時点について変動量ΔEを設定する。具体的には、第４実施形態の変動量設定部２８は、選択音符の発音時点の変動量Δの設定（ＳA7）毎に図１１の処理を実行することで、選択音符の直前の音符（以下「先行音符」という）の消音時点の変動量ΔEを設定する。
【００４８】
図１１の処理を開始すると、変動量設定部２８は、選択音符（音符Ｎ2）と先行音符（音符Ｎ1）とが時間軸上で相互に連続するか否かを判定する（ＳB1）。音符Ｎ1と音符Ｎ2とが相互に連続する場合（ＳB1：YES）、変動量設定部２８は、図９に例示される通り、音符Ｎ2の発音時点について設定した変動量Δに応じて直前の音符Ｎ1の消音時点の変動量ΔEを設定する（ＳB2）。具体的には、変動量Δを適用した音符Ｎ2の発音時点の調整と変動量ΔEを適用した音符Ｎ1の消音時点の調整との実行後にも音符Ｎ1と音符Ｎ2とが相互に連続するように、変動量ΔEは変動量Δと同等の数値に設定される。
【００４９】
他方、音符Ｎ1と音符Ｎ2とが時間軸上で相互に間隔をあけて離間する場合（ＳB1：NO）、変動量設定部２８は、図１０に例示される通り、音符Ｎ1の消音時点の変動量ΔEを所定の確率分布ＤEに応じて設定する（ＳB3）。すなわち、発音時点の変動量Δの設定と同様に、変動量設定部２８は、確率分布ＤEで発生する乱数λに応じて変動量ΔEを設定する。ただし、確率分布ＤEの分散は所定値に固定される。変動量設定部２８が各音符について設定した変動量ΔEは、当該音符の変動量Δとともに音楽データＭPの制御情報ＱCに包含される。なお、音符Ｎ1と音符Ｎ2とが相互に離間する場合に確率分布ＤEの分散を可変に設定することも可能である。
【００５０】
音声合成部２６は、音響信号Ｖを生成する音声合成処理において、各音符の音符情報ＱNが指定する発音期間Ｘ2の消音時点を、当該音符の制御情報ＱCが指定する変動量ΔEに応じて調整する。例えば、音声合成部２６は、音符情報ＱNで指定される音符の消音時点を時間軸上で変動量ΔEだけ変動させる。
【００５１】
第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、音符情報ＱNで指定される発音期間Ｘ2が音符Ｎ1と音符Ｎ2とで相互に連続する場合に、音符Ｎ2の発音時点の変動量Δに応じて音符Ｎ1の消音時点の変動量ΔEが設定される。したがって、音符Ｎ1と音符Ｎ2との関係（連続／離間）を調整の前後で維持することが可能である。他方、発音期間Ｘ2が音符Ｎ1と音符Ｎ2とで相互に離間する場合には、音符Ｎ1の消音時点の変動量ΔEが確率分布ＤEに応じて設定される。したがって、各音符の消音時点を適度に分散させた自然な合成音声を生成することが可能である。
【００５２】
＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。
【００５３】
（１）前述の各形態では、確率分布Ｄで発生する乱数λに応じて各音符の発音時点の変動量Δを設定したが、対象楽曲での音符の位置に応じて分散σが可変に設定された確率分布Ｄを利用して変動量が設定される変数（音楽情報）の種類は任意である。例えば、各音符の消音時点の変動量ΔEを、対象楽曲での当該音符の位置（例えば消音時点が拍点範囲Ｒに包含されるか否か）に応じた分散σの確率分布Ｄで発生する乱数λに応じて設定することも可能である。また、以下に例示される通り、発音期間Ｘ2の端点（発音時点，消音時点）以外で音符毎に設定される変数の変動量を、当該音符の位置に応じた分散σの確率分布Ｄで発生する乱数λに応じて設定することも可能である。
【００５４】
例えば、対象楽曲の各音符の音響のうち強度が経時的に減衰する減衰区間（ディケイ）の特性を制御するための変数（以下「減衰変数」という）の変動量を、第１実施形態と同様に、対象楽曲での当該音符の位置に応じた分散σの確率分布Ｄの乱数λに応じて設定することも可能である。減衰変数は、各音符の音響のうち減衰区間における強度の時間変化（単位時間毎の減衰量）を制御するための変数である。なお、直後の音符に連続する音符や音価が相応に長い音符については減衰特性の変動が少ないという傾向がある。以上の傾向を考慮すると、例えば、対象楽曲内で直後の音符に連続しない音符と、所定値を下回る音価の音符（例えば１６分音符未満の音符）とについて確率分布Ｄの乱数λに応じて減衰変数の変動量を設定する構成が好適である。他方、条件に合致しない音符（直後に連続する音符や音価が相応に長い音符）については、減衰変数の変動量をゼロに設定した構成や、分散σが小さい確率分布Ｄの乱数λに応じて変動量を設定する構成が採用される。
【００５５】
各音符の音楽的な表情を制御するための変数（表情変数）の変動量を、第１実施形態と同様に、対象楽曲での当該音符の位置に応じた分散σの確率分布Ｄの乱数λに応じて設定することも可能である。表情変数としては、例えば、音量（ベロシティ，ダイナミクス）のほか、ピッチベンドを制御する変数や、ビブラートを制御する変数（例えばビブラートの速度や深度）が例示される。
【００５６】
以上の例示から理解される通り、前述の各形態における変動量設定部２８は、対象楽曲の各音符について、対象楽曲での当該音符の位置に応じた分散σの確率分布Ｄで発生する乱数λに応じて、当該音符の音楽情報の変動量を設定する要素（変動量設定手段）として包括的に表現され、音楽情報は、音符の発音時点や消音時点のほかに前述の減衰変数や表情変数が包含され得る。
【００５７】
（２）前述の各形態では、音符情報ＱNで指定される各音符の発音時点が拍点範囲Ｒに包含されるか否かに応じて確率分布Ｄの分散σを制御したが、確率分布Ｄの分散σの設定方法は以上の例示に限定されない。具体的には、確率分布Ｄの分散σを経時的に変化させることも可能である。例えば、対象楽曲の所定の拍数を周期として分散σを連続的または段階的に変化させる構成が採用される。また、対象楽曲の拍点とは無関係に分散σを変化させることも可能である。例えば、対象楽曲の始点から終点にかけて分散σを増加または減少させる構成や、対象楽曲の特定の区間（例えばサビ区間）と他の区間とで分散σを相違させる構成が採用される。
【００５８】
（３）前述の各形態では、歌唱音声の音響信号Ｖを生成する場合（音声合成）を想定したが、対象楽曲を楽器で演奏した演奏音の音響信号Ｖを生成する場合（自動演奏）にも、前述の各形態と同様に本発明が適用される。また、前述の各形態では、複数の声部の各々について別個に各音符の変動量Δを設定する場合を例示したが、１個の声部について各音符の変動量Δを設定する場合にも本発明は適用される。
【００５９】
（４）前述の各形態では、楽曲データＭの編集と音響信号Ｖの生成とを実行する音声合成装置１００を例示したが、楽曲データＭの編集（表示制御部２２，情報管理部２４）と音響信号Ｖの生成（音声合成部２６）とを省略した楽曲処理装置としても本発明は特定される。楽曲処理装置は、対象楽曲の各音符について音楽情報の変動量（例えば発音時点の変動量Δ）を設定する装置（変動量設定装置）であり、前述の各形態で例示した変動量設定部２８を含んで構成される。前述の各形態の音声合成装置１００は、楽曲データＭの編集および音響信号Ｖの生成の機能を楽曲処理装置に追加した装置として把握される。
【００６０】
（５）前述の各形態では、拍点範囲Ｒの範囲幅を所定値に固定したが、拍点範囲Ｒの範囲幅（時間長）を可変に設定することも可能である。例えば、対象楽曲のジャンルや演奏テンポに応じて拍点範囲Ｒの範囲幅を可変に設定する構成（例えば演奏テンポが速いほど拍点範囲Ｒの範囲幅を縮小する構成）や、分散の数値（ｄ1，ｄ2）に応じて拍点範囲Ｒの範囲幅を可変に設定する構成も採用され得る。また、入力装置１６に対する利用者からの指示に応じて拍点範囲Ｒの範囲幅を可変に設定することも可能である。
【００６１】
（６）前述の各形態では、全部の音楽データＭP（全声部）について各音符の発音時点の変動量Δを設定したが、複数の声部のうち特定の声部については、発音時点を、音楽データＭPで規定された時点とする（すなわち変動量Δを設定しない（Δ＝０））ことも可能である。歌唱音声の音高や発音時点が正確な歌唱者が多人数での合唱に包含されると合唱音声が全体的に纏まった印象になる、という傾向を再現することが可能である。
【００６２】
（７）複数の声部（音楽データＭP）の各々について変数を個別に設定することも可能である。例えば、確率分布Ｄの分散σの数値（ｄ1，ｄ2）や拍点範囲Ｒの範囲幅等の変数を声部毎に個別に設定した構成が好適である。
【００６３】
（８）移動通信網やインターネット等の通信網を介して端末装置と通信するサーバ装置で楽曲処理装置（音声合成装置１００）を実現することも可能である。具体的には、楽曲処理装置は、端末装置から通信網を介して受信した楽曲データＭについて前述の各形態にて例示した処理を実行することで音符毎の発音時点の変動量Δを設定し、各音符の変動量Δを時系列に指定するデータや、各音符情報ＱNで指定される発音期間Ｘ2の発音時点を変動量Δに応じて調整した楽曲データＭを、通信網から端末装置に送信する。
【符号の説明】
【００６４】
１００……楽曲処理装置、１０……演算処理装置、１２……記憶装置、１４……表示装置、１６……入力装置、１８……放音装置、２２……表示制御部、２４……情報管理部、２６……音声合成部、２８……変動量設定部。
【図１】
2015148663.tif 000003
【図２】
2015148663.tif 000004
【図３】
2015148663.tif 000005
【図４】
2015148663.tif 000006
【図５】
2015148663.tif 000007
【図６】
2015148663.tif 000008
【図７】
2015148663.tif 000009
【図８】
2015148663.tif 000010
【図９】
2015148663.tif 000011
【図１０】
2015148663.tif 000012
【図１１】
2015148663.tif 000013