(57)【要約】【課題】音声表現に関する専門的な知識および煩雑な作業を必要とすることなく、音声表現が適切に付加された聴感的に自然な音声を生成する。【解決手段】特定処理部２０は、音符を表す音符データＮに応じて、音符に付加されるべき音声表現を表す表現サンプルＥaと当該音声表現が付加される表現期間Ｅbとを特定し、音声信号Ｘのうち表現期間Ｅb内の部分に音声表現を付加する表現付加処理に関する処理パラメータＥcを、表現サンプルＥaおよび表現期間Ｅbに応じて特定する。【選択図】図３
2019168542.tif 000002
【特許請求の範囲】
【請求項１】
音符を表す音符データに応じて、前記音符に付加されるべき音声表現を表す表現サンプルと当該音声表現が付加される表現期間とを特定し、
音声信号のうち前記表現期間内の部分に前記音声表現を付加する表現付加処理に関する処理パラメータを、前記表現サンプルおよび前記表現期間に応じて特定する
コンピュータにより実現される情報処理方法。
【請求項２】
前記表現サンプルおよび前記表現期間の特定においては、前記音符データを第１学習済モデルに入力することで、前記表現サンプルおよび前記表現期間を特定し、
前記処理パラメータの特定においては、前記表現サンプルおよび前記表現期間を表す制御データを第２学習済モデルに入力することで、前記処理パラメータを特定する
請求項１の情報処理方法。
【請求項３】
前記表現期間の特定においては、前記音符の始点を含むアタック部、または、前記音符の終点を含むリリース部を、前記表現期間として特定する
請求項１または請求項２の情報処理方法。
【請求項４】
前記表現サンプルと前記表現期間と前記処理パラメータとに応じた前記表現付加処理を実行する
請求項１から請求項３の何れかの情報処理方法。
【請求項５】
前記表現付加処理においては、
前記音声信号のうち前記表現期間内の基本周波数を、前記表現サンプルに対応する基本周波数と前記処理パラメータとに応じて変更し、
前記音声信号のうち前記表現期間内のスペクトル包絡概形を、前記表現サンプルに対応するスペクトル包絡概形と前記処理パラメータとに応じて変更する
請求項４の情報処理方法。
【請求項６】
音符データが表す音符に付加されるべき音声表現を表す表現サンプルと当該音声表現が付加される表現期間とに応じて、音声信号のうち前記表現期間内の部分に前記音声表現を付加する表現付加処理に関する処理パラメータを特定する
コンピュータにより実現される情報処理方法。
【請求項７】
音符を表す音符データに応じて、前記音符に付加されるべき音声表現を表す表現サンプルと当該音声表現が付加される表現期間とを特定する第１特定部と、
音声信号のうち前記表現期間内の部分に前記音声表現を付加する表現付加処理に関する処理パラメータを、前記表現サンプルおよび前記表現期間に応じて特定する第２特定部と
を具備する情報処理装置。
【請求項８】
前記第１特定部は、前記音符データを第１学習済モデルに入力することで、前記表現サンプルおよび前記表現期間を特定し、
前記第２特定部は、前記表現サンプルおよび前記表現期間を表す制御データを第２学習済モデルに入力することで、前記処理パラメータを特定する
請求項７の情報処理装置。
【請求項９】
前記第１特定部は、前記音符の始点を含むアタック部、または、前記音符の終点を含むリリース部を、前記表現期間として特定する
請求項７または請求項８の情報処理装置。
【請求項１０】
前記表現サンプルと前記表現期間と前記処理パラメータとに応じた前記表現付加処理を実行する表現付加部
を具備する請求項７から請求項９の何れかの情報処理装置。
【請求項１１】
前記表現付加部は、
前記音声信号のうち前記表現期間内の基本周波数を、前記表現サンプルに対応する基本周波数と前記処理パラメータとに応じて変更し、
前記音声信号のうち前記表現期間内のスペクトル包絡概形を、前記表現サンプルに対応するスペクトル包絡概形と前記処理パラメータとに応じて変更する
請求項１０の情報処理装置。
【請求項１２】
音符データが表す音符に付加されるべき音声表現を表す表現サンプルと当該音声表現が付加される表現期間とに応じて、音声信号のうち前記表現期間内の部分に前記音声表現を付加する表現付加処理に関する処理パラメータを特定する特定処理部
を具備する情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱音声等の音響に表現を付加するための技術に関する。
【背景技術】
【０００２】
歌唱表現等の音声表現を音声に付加する各種の技術が従来から提案されている。例えば特許文献１には、各種の音声表現が付加された音声を表す音声信号を生成する技術が開示されている。音声信号が表す音声に付加される音声表現は、複数の候補から利用者により選択される。また、音声表現の付加に関するパラメータは、利用者からの指示に応じて調整される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−４１２１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、音声に付加される音声表現を複数の候補から適切に選択し、音声表現の付加に関するパラメータを適切に調整するためには、音声表現に関する専門的な知識が必要である。利用者に専門的な知識がある場合でも、音声表現の選択および調整という煩雑が作業が必要である。以上の事情を考慮して、本発明の好適な態様は、音声表現に関する専門的な知識および煩雑な作業を必要とすることなく、音声表現が適切に付加された聴感的に自然な音声を生成することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る情報処理方法は、音符を表す音符データに応じて、前記音符に付加されるべき音声表現を表す表現サンプルと当該音声表現が付加される表現期間とを特定し、音声信号のうち前記表現期間内の部分に前記音声表現を付加する表現付加処理に関する処理パラメータを、前記表現サンプルおよび前記表現期間に応じて特定する。本発明の他の態様に係る情報処理方法は、音符データが表す音符に付加されるべき音声表現を表す表現サンプルと当該音声表現が付加される表現期間とに応じて、音声信号のうち前記表現期間内の部分に前記音声表現を付加する表現付加処理に関する処理パラメータを特定する。
【０００６】
本発明の好適な態様に係る情報処理装置は、音符を表す音符データに応じて、前記音符に付加されるべき音声表現を表す表現サンプルと当該音声表現が付加される表現期間とを特定する第１特定部と、音声信号のうち前記表現期間内の部分に前記音声表現を付加する表現付加処理に関する処理パラメータを、前記表現サンプルおよび前記表現期間に応じて特定する第２特定部とを具備する。本発明の他の態様に係る情報処理装置は、音符データが表す音符に付加されるべき音声表現を表す表現サンプルと当該音声表現が付加される表現期間とに応じて、音声信号のうち前記表現期間内の部分に前記音声表現を付加する表現付加処理に関する処理パラメータを特定する特定処理部を具備する。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る情報処理装置の構成を例示するブロック図である。
【図２】スペクトル包絡概形の説明図である。
【図３】情報処理装置の機能的な構成を例示するブロック図である。
【図４】表現付加処理の具体的な手順を例示するフローチャートである。
【図５】表現付加処理の説明図である。
【図６】情報処理装置の動作を例示するフローチャートである。
【発明を実施するための形態】
【０００８】
図１は、本発明の好適な形態に係る情報処理装置１００の構成を例示するブロック図である。本実施形態の情報処理装置１００は、楽曲の歌唱により発音される音声（以下「歌唱音声」という）に対して各種の音声表現を付加する音声処理装置である。音声表現は、歌唱音声に付加される音響特性である。楽曲の歌唱に着目すると、音声表現は、音声の発音（すなわち歌唱）に関する音楽的な表現または表情である。具体的には、ボーカルフライ、唸り声、または嗄れ声のような歌唱表現が、音声表現の好適例である。なお、音声表現は、声質とも換言される。
【０００９】
音声表現は、発音の始点側の部分（以下「アタック部」という）と、発音の終点側の部分（以下「リリース部」という）とにおいて顕在化する傾向がある。以上の傾向を考慮して、本実施形態では、歌唱音声のうち特にアタック部およびリリース部に対して音声表現を付加する。したがって、音声表現に関する実際の傾向に沿った適切な位置に音声表現を付加することが可能である。なお、アタック部は、発音の開始の直後に音量が増加していく部分であり、リリース部は、発音の終了の直前に音量が減少していく部分である。
【００１０】
図１に例示される通り、情報処理装置１００は、制御装置１１と記憶装置１２と操作装置１３と放音装置１４とを具備するコンピュータシステムで実現される。例えば携帯電話機もしくはスマートフォン等の可搬型の情報端末、またはパーソナルコンピュータ等の可搬型または据置型の情報端末が、情報処理装置１００として好適に利用される。操作装置１３は、利用者からの指示を受付ける入力機器である。例えば、利用者が操作する複数の操作子、または利用者による接触を検知するタッチパネルが、操作装置１３として好適に利用される。
【００１１】
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、各種の演算処理および制御処理を実行する。本実施形態の制御装置１１は、歌唱音声に音声表現を付加した音声（以下「加工音声」という）を表す音声信号Ｚを生成する。放音装置１４は、例えばスピーカまたはヘッドホンであり、制御装置１１が生成した音声信号Ｚが表す加工音声を放音する。なお、制御装置１１が生成した音声信号Ｚをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。なお、情報処理装置１００が放音装置１４を具備する構成を図１では例示したが、情報処理装置１００とは別体の放音装置１４を情報処理装置１００に有線または無線で接続してもよい。
【００１２】
記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成されたメモリであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、情報処理装置１００とは別体の記憶装置１２（例えばクラウドストレージ）を用意し、制御装置１１が通信網を介して記憶装置１２に対する書込および読出を実行してもよい。すなわち、記憶装置１２を情報処理装置１００から省略してもよい。
【００１３】
本実施形態の記憶装置１２は、音声信号Ｘと楽曲データＤと複数の表現サンプルＹとを記憶する。音声信号Ｘは、楽曲の歌唱により発音された歌唱音声を表す音響信号である。楽曲データＤは、歌唱音声が表す楽曲を構成する音符の時系列を表す音楽ファイルである。すなわち、音声信号Ｘと楽曲データＤとの間で楽曲は共通する。具体的には、楽曲データＤは、楽曲を構成する複数の音符の各々について音高と発音期間と発音強度とを指定する。例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）が楽曲データＤとして好適である。
【００１４】
音声信号Ｘは、例えば利用者の歌唱を収録することで生成される。なお、配信装置から配信された音声信号Ｘを記憶装置１２に記憶してもよい。楽曲データＤは、音声信号Ｘを解析することで生成される。ただし、音声信号Ｘおよび楽曲データＤの生成方法は以上の例示に限定されない。例えば、操作装置１３に対する利用者からの指示に応じて楽曲データＤを編集し、当該楽曲データＤを利用した公知の音声合成処理により音声信号Ｘを生成してもよい。配信装置から配信された楽曲データＤを音声信号Ｘの生成に利用してもよい。
【００１５】
複数の表現サンプルＹの各々は、歌唱音声に付加されるべき音声表現を表すデータである。具体的には、各表現サンプルＹは、音声表現を付加して歌唱された音声（以下「参照音声」という）の音響特性を表す。音声表現の種類（例えば唸り声または嗄れ声等の分類）は複数の表現サンプルＹについて共通するが、音量の時間的な変化または時間長等の特性が表現サンプルＹ毎に相違する。複数の表現サンプルＹには、参照音声のアタック部の表現サンプルＹとリリース部の表現サンプルＹとが包含される。なお、複数種の音声表現の各々について記憶された複数の表現サンプルＹを選択的に利用してもよい。
【００１６】
本実施形態の情報処理装置１００は、表現サンプルＹが表す参照音声の音声表現を音声信号Ｘの歌唱音声に付加することで、歌唱音声の音韻および音高を維持した加工音声の音声信号Ｚを生成する。なお、基本的には歌唱音声の発声者と参照音声の発声者とは別人であるが、歌唱音声の発声者と参照音声の発声者とは同一人でもよい。例えば、歌唱音声は、音声表現を付加せずに利用者が歌唱した音声であり、参照音声は、当該利用者が音声表現を付加して歌唱した音声である。
【００１７】
図１に例示される通り、各表現サンプルＹは、基本周波数Ｆyの時系列とスペクトル包絡概形Ｇyの時系列とを含んで構成される。スペクトル包絡概形Ｇyは、図２に例示される通り、参照音声の周波数スペクトルＱ1の概形であるスペクトル包絡Ｑ2を周波数領域で更に平滑化した強度分布を意味する。具体的には、音韻性（音韻に依存した差異）および個人性（発声者に依存した差異）が知覚できなくなる程度にスペクトル包絡Ｑ2を平滑化した強度分布がスペクトル包絡概形Ｇyである。例えばスペクトル包絡Ｑ2を表すメルケプストラムの複数の係数のうち低次側に位置する所定個の係数によりスペクトル包絡概形Ｇyが表現される。なお、以上の説明では表現サンプルＹのスペクトル包絡概形Ｇyに着目したが、歌唱音声を表す音声信号Ｘについても同様の定義のスペクトル包絡概形Ｇxを観念できる。
【００１８】
図３は、制御装置１１の機能的な構成を例示するブロック図である。図３に例示される通り、制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、音声信号Ｚを生成するための複数の機能（特定処理部２０および表現付加部３０）を実現する。なお、相互に別体で構成された複数の装置で制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。
【００１９】
＜表現付加部３０＞
表現付加部３０は、記憶装置１２に記憶された音声信号Ｘについて、歌唱音声に音声表現を付加するための処理（以下「表現付加処理」という）Ｓ3を実行する。音声信号Ｘに対する表現付加処理Ｓ3により加工音声の音声信号Ｚが生成される。図４は、表現付加処理Ｓ3の具体的な手順を例示するフローチャートであり、図５は、表現付加処理Ｓ3の説明図である。
【００２０】
図５に例示される通り、音声信号Ｘにおける１個以上の各期間（以下「表現期間」という）Ｅbに対して、記憶装置１２に記憶された複数の表現サンプルＹから選択された表現サンプルＥaが付加される。表現期間Ｅbは、楽曲データＤが指定する各音符の発音期間のうちアタック部またはリリース部に対応する期間である。図５においては、音声信号Ｘのアタック部に表現サンプルＥaを付加する場合が例示されている。
【００２１】
図４に例示される通り、表現付加部３０は、複数の表現サンプルＹから選択された表現サンプルＥaを、表現期間Ｅbに応じた伸縮率Ｒで時間的に伸縮する（Ｓ31）。そして、表現付加部３０は、音声信号Ｘのうち表現期間Ｅb内の部分を、伸縮後の表現サンプルＥaに応じて変形する（Ｓ32，Ｓ33）。音声信号Ｘの変形は、表現期間Ｅb毎に実行される。具体的には、表現付加部３０は、以下に詳述する通り、音声信号Ｘと表現サンプルＥaとの間で、基本周波数の合成（Ｓ32）とスペクトル包絡概形の合成（Ｓ33）とを実行する。なお、基本周波数の合成（Ｓ32）とスペクトル包絡概形の合成（Ｓ33）との順序は任意である。
【００２２】
＜基本周波数の合成（Ｓ32）＞
表現付加部３０は、以下の数式(1)の演算により表現期間Ｅb内の各時刻ｔにおける音声信号Ｚの基本周波数Ｆ(t)を算定する。
Ｆ(t)＝Ｆx(t)−αx（Ｆx(t)−ｆx(t)）＋αy（Ｆy(t)−ｆy(t)）  …(1)
【００２３】
数式(1)の基本周波数Ｆx(t)は、時間軸上の時刻ｔにおける音声信号Ｘの基本周波数（ピッチ）である。基準周波数ｆx(t)は、基本周波数Ｆx(t)の時系列を時間軸上で平滑化した周波数である。また、数式(1)の基本周波数Ｆy(t)は、伸縮後の表現サンプルＥaのうち時刻ｔにける基本周波数Ｆyである。基準周波数ｆy(t)は、基本周波数Ｆy(t)の時系列を時間軸上で平滑化した周波数である。数式(1)の係数αxおよび係数αyは、１以下の非負値（０≦αx≦１，０≦αy≦１）に設定される。
【００２４】
数式(1)から理解される通り、数式(1)の第２項は、歌唱音声の基本周波数Ｆx(t)と基準周波数ｆx(t)との差分を、係数αxに応じた度合で、音声信号Ｘの基本周波数Ｆx(t)から低減する処理である。また、数式(1)の第３項は、表現サンプルＥaの基本周波数Ｆy(t)と基準周波数ｆy(t)との差分を、係数αyに応じた度合で、音声信号Ｘの基本周波数Ｆx(t)に付加する処理である。以上の説明から理解される通り、表現付加部３０は、歌唱音声の基本周波数Ｆx(t)と基準周波数ｆx(t)との差分を、参照音声の基本周波数Ｆy(t)と基準周波数ｆy(t)との差分に置換する。すなわち、音声信号Ｘの表現期間Ｅb内における基本周波数Ｆx(t)の時間変化が、表現サンプルＥaにおける基本周波数Ｆy(t)の時間変化に近付く。
【００２５】
＜スペクトル包絡概形の合成（Ｓ33）＞
表現付加部３０は、以下の数式(2)の演算により表現期間Ｅb内の各時刻ｔにおける音声信号Ｚのスペクトル包絡概形Ｇ(t)を算定する。
Ｇ(t)＝Ｇx(t)−βx（Ｇx(t)−ｇx）＋βy（Ｇy(t)−ｇy）  …(2)
【００２６】
数式(2)のスペクトル包絡概形Ｇx(t)は、時間軸上の時刻ｔにおける音声信号Ｘのスペクトル包絡の概形である。基準スペクトル包絡概形ｇxは、表現期間Ｅb内の特定の時点における音声信号Ｘのスペクトル包絡概形Ｇx(t)である。例えば、表現期間Ｅbの端点（例えば始点または終点）におけるスペクトル包絡概形Ｇx(t)が基準スペクトル包絡概形ｇxとして利用される。なお、表現期間Ｅb内におけるスペクトル包絡概形Ｇx(t)の代表値（例えば平均）を基準スペクトル包絡概形ｇxとして利用してもよい。
【００２７】
数式(2)のスペクトル包絡概形Ｇy(t)は、時間軸上の時点ｔにおける表現サンプルＥaのスペクトル包絡概形Ｇyである。基準スペクトル包絡概形ｇyは、表現期間Ｅb内の特定の時点における音声信号Ｘのスペクトル包絡概形Ｇy(t)である。例えば、表現サンプルＥaの端点（例えば始点または終点）におけるスペクトル包絡概形Ｇy(t)が基準スペクトル包絡概形ｇyとして利用される。なお、表現サンプルＥa内におけるスペクトル包絡概形Ｇy(t)の代表値（例えば平均）を基準スペクトル包絡概形ｇyとして利用してもよい。
【００２８】
数式(2)の係数βxおよび係数βyは、１以下の非負値（０≦βx≦１，０≦βy≦１）に設定される。数式(2)の第２項は、歌唱音声のスペクトル包絡概形Ｇx(t)と基準スペクトル包絡概形ｇxとの差分を、係数βxに応じた度合で、音声信号Ｘのスペクトル包絡概形Ｇx(t)から低減する処理である。また、数式(2)の第３項は、表現サンプルＥaのスペクトル包絡概形Ｇy(t)と基準スペクトル包絡概形ｇyとの差分を、係数βyに応じた度合で、音声信号Ｘのスペクトル包絡概形Ｇx(t)に付加する処理である。以上の説明から理解される通り、表現付加部３０は、歌唱音声のスペクトル包絡概形Ｇx(t)と基準スペクトル包絡概形ｇxとの差分を、表現サンプルＥaのスペクトル包絡概形Ｇy(t)と基準スペクトル包絡概形ｇyとの差分に置換する。
【００２９】
表現付加部３０は、以上に例示した処理の結果（すなわち基本周波数Ｆ(t)およびスペクトル包絡概形Ｇ(t)）を利用して、加工音声の音声信号Ｚを生成する（Ｓ34）。具体的には、表現付加部３０は、音声信号Ｘの各周波数スペクトルを数式(2)のスペクトル包絡概形Ｇ(t)に沿うように調整し、かつ、音声信号Ｘの基本周波数Ｆx(t)を基本周波数Ｆ(t)に調整する。音声信号Ｘの周波数スペクトルおよび基本周波数Ｆx(t)の調整は、例えば周波数領域で実行される。表現付加部３０は、以上に例示した調整後の周波数スペクトルを時間領域に変換することで音声信号Ｚを生成する（Ｓ35）。
【００３０】
以上に例示した通り、表現付加処理Ｓ3では、音声信号Ｘのうち表現期間Ｅb内の基本周波数Ｆx(t)の時系列が、表現サンプルＥaに対応する基本周波数Ｆy(t)の時系列と係数αxおよび係数αyとに応じて変更される。また、表現付加処理Ｓ3では、音声信号Ｘのうち表現期間Ｅb内のスペクトル包絡概形Ｇx(t)の時系列が、表現サンプルＥaに対応するスペクトル包絡概形Ｇy(t)の時系列と係数βxおよび係数βyとに応じて変更される。表現付加処理Ｓ3の具体的な手順は以上の通りである。
【００３１】
＜特定処理部２０＞
特定処理部２０は、楽曲データＤが指定する各音符について表現サンプルＥaと表現期間Ｅbと処理パラメータＥcとを特定する。具体的には、楽曲データＤが指定する複数の音符のうち音声表現が付加されるべき各音符について、表現サンプルＥaと表現期間Ｅbと処理パラメータＥcとが特定される。処理パラメータＥcは、表現付加処理Ｓ3に関するパラメータである。具体的には、処理パラメータＥcは、図４に例示される通り、表現サンプルＥaの伸縮（Ｓ31）に適用される伸縮率Ｒと、基本周波数Ｆx(t)の調整（Ｓ32）に適用される係数αxおよび係数αyと、スペクトル包絡概形Ｇx(t)の調整（Ｓ33）に適用される係数βxおよび係数βyとを含む。
【００３２】
図３に例示される通り、本実施形態の特定処理部２０は、第１特定部２１と第２特定部２２とを具備する。第１特定部２１は、楽曲データＤが指定する各音符を表す音符データＮに応じて表現サンプルＥaと表現期間Ｅbとを特定する。具体的には、第１特定部２１は、表現サンプルＥaを示す識別情報と、表現期間Ｅbの始点および／または終点の時刻を表す時刻データとを出力する。音符データＮは、楽曲データＤが表す楽曲を構成する１個の音符の状況（コンテキスト）を表すデータである。具体的には、各音符の音符データＮは、例えば当該音符自体に関する情報（音高，時間長，発音強度）と、他の音符との関係に関する情報（例えば前後の無音期間の時間長，前後の音符との音高差）とを指定する。本実施形態の第１特定部２１は、音符データＮが指定する音符について音声表現を付加するか否かを特定し、音声表現を付加する各音符について表現サンプルＥaと表現期間Ｅbとを特定する。なお、特定処理部２０に供給される各音符の音符データＮは、当該音符に関する情報（音高，時間長，発音強度）のみを指定するデータでもよい。他の音符との関係に関する情報は、各音符に関する情報から生成されて第１特定部２１および第２特定部２２に供給される。
【００３３】
第２特定部２２は、音声表現が付加される音符毎に、第１特定部２１による特定の結果（表現サンプルＥaおよび表現期間Ｅb）を表す制御データＣに応じて処理パラメータＥcを特定する。本実施形態の制御データＣは、第１特定部２１が１個の音符について特定した表現サンプルＥaおよび表現期間Ｅbを表すデータと、当該音符の音符データＮとを含んで構成される。第１特定部２１が特定した表現サンプルＥaおよび表現期間Ｅbと、第２特定部２２が特定した処理パラメータＥcとが、前述の通り、表現付加部３０による表現付加処理Ｓ3に適用される。なお、第１特定部２１が、表現期間Ｅbの始点および終点の一方のみを表す時刻データを出力する構成では、第２特定部２２が、表現期間Ｅbの始点と終点との時間差（すなわち継続長）を処理パラメータＥcとして特定してもよい。
【００３４】
特定処理部２０による各情報の特定には学習済モデル（Ｍ1，Ｍ2）が利用される。具体的には、第１特定部２１は、各音符の音符データＮを第１学習済モデルＭ1に入力することで、表現サンプルＥaおよび表現期間Ｅbを特定する。第２特定部２２は、音声表現が付加される各音符の制御データＣを第２学習済モデルＭ2に入力することで、処理パラメータＥcを特定する。
【００３５】
第１学習済モデルＭ1および第２学習済モデルＭ2は、機械学習により生成された統計的推定モデルである。例えば決定木またはニューラルネットワーク等の各種の統計的推定モデルが、第１学習済モデルＭ1および第２学習済モデルＭ2として好適に利用される。第１学習済モデルＭ1および第２学習済モデルＭ2の各々は、入力データから出力データを生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数との組合せで実現される。複数の係数は、多数の教師データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に保持される。
【００３６】
第１学習済モデルＭ1は、音符データＮを入力データとして、表現サンプルＥaと表現期間Ｅbとを出力する。第１学習済モデルＭ1は、音符データＮと表現サンプルＥaおよび表現期間Ｅbとを対応させた複数の教師データを利用した機械学習により生成される。具体的には、教師データに含まれる音符データＮを暫定的な構成および係数のモデルに入力したときに出力される表現サンプルＥaおよび表現期間Ｅbと、当該教師データが指定する表現サンプルＥaおよび表現期間Ｅbとの差異（すなわち損失関数）が、複数の教師データについて低減（理想的には最小化）されるように各係数を調整することで、第１学習済モデルＭ1の複数の係数が設定される。なお、係数が小さいノードを省略することでモデルの構成を簡素化してもよい。以上に例示した機械学習により、第１学習済モデルＭ1は、複数の教師データにおける音符データＮと表現サンプルＥaおよび表現期間Ｅbとの間に潜在する関係のもとで、未知の音符データＮに対して統計的に妥当な表現サンプルＥaおよび表現期間Ｅbを特定する。すなわち、音符データＮが指定する各音符の状況（コンテキスト）に適合した表現サンプルＥaおよび表現期間Ｅbが特定される。
【００３７】
第１学習済モデルＭ1の機械学習に利用される複数の教師データのなかには、表現サンプルＥaおよび表現期間Ｅbに代えて、音声表現を付加しないことを意味するデータが音符データＮに対応付けられた教師データも存在する。したがって、第１学習済モデルＭ1は、各音符の音符データＮに対して、当該音符に音声表現を付加しないという結果を出力する場合もある。例えば、発音期間の時間長が短い音符には音声表現は付加されない。
【００３８】
第２学習済モデルＭ2は、第１特定部２１による特定結果と音符データＮとを含む制御データＣを入力データとして処理パラメータＥcを出力する。第２学習済モデルＭ2は、制御データＣと処理パラメータＥcとを対応させた複数の教師データを利用した機械学習により生成される。具体的には、教師データに含まれる制御データＣを暫定的な構成および係数のモデルに入力したときに出力される処理パラメータＥcと、当該教師データが指定する処理パラメータＥcとの差異（すなわち損失関数）が、複数の教師データについて低減（理想的には最小化）されるように各係数を調整することで、第２学習済モデルＭ2の複数の係数が設定される。なお、係数が小さいノードを省略することでモデルの構成を簡素化してもよい。以上に例示した機械学習により、第２学習済モデルＭ2は、複数の教師データにおける制御データＣと処理パラメータＥcとの間に潜在する関係のもとで、未知の制御データＣ（表現サンプルＥa，表現期間Ｅbおよび音符データＮ）に対して統計的に妥当な処理パラメータＥcを特定する。すなわち、音声表現が付加される各表現期間Ｅbについて、当該表現期間Ｅbに付加される表現サンプルＥaと、当該表現期間Ｅbが属する音符の状況（コンテキスト）とに適合した処理パラメータＥcが特定される。
【００３９】
図６は、情報処理装置１００の具体的な動作の手順を例示するフローチャートである。例えば操作装置１３に対する利用者からの操作に応じて図６の処理が開始され、楽曲データＤが時系列に指定する複数の音符の各々について図６の処理が順次に実行される。
【００４０】
図６の処理を開始すると、特定処理部２０は、各音符の音符データＮに応じて表現サンプルＥaと表現期間Ｅbと処理パラメータＥcとを特定する（Ｓ1，Ｓ2）。具体的には、第１特定部２１は、音符データＮに応じて表現サンプルＥaと表現期間Ｅbとを特定する（Ｓ1）。第２特定部２２は、制御データＣに応じて処理パラメータＥcを特定する（Ｓ2）。表現付加部３０は、特定処理部２０が特定した表現サンプルＥaと表現期間Ｅbと処理パラメータＥcとを適用した表現付加処理により加工音声の音声信号Ｚを生成する（Ｓ3）。表現付加処理Ｓ3の具体的な手順は前述の通りである。表現付加部３０が生成した音声信号Ｚが放音装置１４に供給されることで加工音声が放音される。
【００４１】
以上に説明した通り、本実施形態においては、表現サンプルＥaと表現期間Ｅbと処理パラメータＥcとが音符データＮに応じて特定されるから、表現サンプルＥaおよび表現期間Ｅbの指定と処理パラメータＥcの設定とを利用者が実行する必要はない。したがって、音声表現に関する専門的な知識、または、音声表現に関する煩雑な作業を必要とせずに、音声表現が適切に付加された聴感的に自然な音声を生成できる。
【００４２】
本実施形態においては、音符データＮを第１学習済モデルＭ1に入力することで表現サンプルＥaおよび表現期間Ｅbが特定され、表現サンプルＥaおよび表現期間Ｅbを含む制御データＣを第２学習済モデルＭ2に入力することで処理パラメータＥcが特定される。したがって、未知の音符データＮについて表現サンプルＥaと表現期間Ｅbと処理パラメータＥcとを適切に特定できる。また、音声信号Ｘの基本周波数Ｆx(t)およびスペクトル包絡概形Ｇx(t)が表現サンプルＥaに応じて変更されるから、聴感的に自然な音声の音声信号Ｚを生成できる。
【００４３】
＜変形例＞
以上の態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
【００４４】
（１）前述の形態で例示した音符データＮは、例えば音符自体に関する情報（音高，時間長，発音強度）と、他の音符との関係に関する情報（例えば前後の無音期間の時間長，前後の音符との音高差）とを指定する。音符データＮが表す情報は、以上の例示に限定されない。例えば、楽曲の演奏速度、または、音符に指定された音韻（例えば歌詞を表す文字）を指定する音符データＮを利用してもよい。
【００４５】
（２）前述の形態では、特定処理部２０が第１特定部２１と第２特定部２２とを具備する構成を例示したが、第１特定部２１による表現サンプルＥaおよび表現期間Ｅbの特定と、第２特定部２２による処理パラメータＥcの特定とを区分した構成は必須ではない。すなわち、特定処理部２０が、学習済モデルに音符データＮを入力することで、表現サンプルＥaと表現期間Ｅbと処理パラメータＥcとを特定してもよい。
【００４６】
（３）前述の形態では、表現サンプルＥaおよび表現期間Ｅbを特定する第１特定部２１と、処理パラメータＥcを特定する第２特定部２２とを具備する構成を例示したが、第１特定部２１および第２特定部２２の一方を省略してもよい。例えば第１特定部２１を省略した構成では、操作装置１３に対する操作で利用者が表現サンプルＥaおよび表現期間Ｅbを指示する。また、例えば第２特定部２２を省略した構成では、操作装置１３に対する操作で利用者が処理パラメータＥcを設定する。以上の説明から理解される通り、情報処理装置１００は、第１特定部２１および第２特定部２２の一方のみを具備してもよい。
【００４７】
（４）前述の形態では、各音符に音声表現を付加するか否かを音符データＮに応じて判定したが、音符データＮ以外の情報も参酌して、音声表現を付加するか否かを判定してもよい。例えば、音声信号Ｘの表現期間Ｅbにおける特徴量の変動が大きい場合（すなわち、歌唱音声に音声表現が充分に付加されている場合）には音声表現を付加しない構成も想定される。
【００４８】
（５）前述の形態では、歌唱音声を表す音声信号Ｘに音声表現を付加したが、表現が付加されるべき音響は歌唱音声に限定されない。例えば、楽器の演奏により発音される楽音に対して各種の演奏表現を付加する場合にも本発明は適用される。すなわち、表現付加処理Ｓ3は、音響を表す音響信号（例えば音声信号または楽音信号）のうち表現期間内の部分に音表現（例えば歌唱表現または演奏表現）を付加する処理として包括的に表現される。
【００４９】
（６）前述の形態では、伸縮率Ｒ，係数αx，係数αy，係数βxおよび係数βyを含む処理パラメータＥcを例示したが、処理パラメータＥcに含まれるパラメータの種類または総数は以上の例示に限定されない。例えば、係数αxおよび係数αyの一方を第２特定部２２が特定し、当該係数を１から減算することで他方を算定してもよい。同様に、係数βxおよび係数βyの一方を第２特定部２２が特定し、当該係数を１から減算することで他方を算定してもよい。また、伸縮率Ｒが所定値に固定された構成では、第２特定部２２が特定する処理パラメータＥcから伸縮率Ｒが除外される。
【符号の説明】
【００５０】
１００…情報処理装置、１１…制御装置、１２…記憶装置、１３…操作装置、１４…放音装置、２０…特定処理部、２１…第１特定部、２２…第２特定部、３０…表現付加部。
【図１】
2019168542.tif 000003
【図２】
2019168542.tif 000004
【図３】
2019168542.tif 000005
【図４】
2019168542.tif 000006
【図５】
2019168542.tif 000007
【図６】
2019168542.tif 000008