(57)【要約】【課題】リアルタイムに合成音声を編集可能な技術を提供する。【解決手段】音声合成装置は、合成する合成音声の発語対象を、予め定めた表示領域に表示する表示制御部と、発語対象を、指定されたパラメータを用いて音声合成する合成部と、予め用意されたデバイスを操作することによって選択される表示領域内における特定の位置を移動する指示入力部と、特定される位置の座標と移動速度と移動形状との少なくとも一つにより、パラメータを編集する編集部と、を備え、パラメータは発語対象の表現の態様に関するパラメータであり、発語対象の少なくとも発語の速度を調整する第１パラメータと発語対象の発語の速度以外の要素を調整する第２パラメータと、を含む。【選択図】図５
2020042258.tif 000002
【特許請求の範囲】
【請求項１】
音声合成装置であって、
合成する合成音声の発語対象を、予め定めた表示領域に表示する表示制御部と、
前記発語対象を、指定されたパラメータを用いて音声合成する合成部と、
予め用意されたデバイスを操作することによって選択される前記表示領域内における特定の位置を移動する指示入力部と、
前記特定される位置の座標と移動速度と移動形状との少なくとも一つにより、前記パラメータを編集する編集部と、を備え、
前記パラメータは前記発語対象の少なくとも発語の速度を調整する第１パラメータを含む、音声合成装置。
【請求項２】
請求項１に記載の音声合成装置であって、
前記合成部は、前記合成音声を統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行う音声合成装置。
【請求項３】
請求項１または請求項２に記載の音声合成装置であって、更に、
前記合成音声を再生する再生部を備え、
前記合成部は、前記編集部より取得した前記デバイスによる操作を反映したパラメータを用いて逐次音声合成を行い、合成した前記合成音声を前記再生部より再生する、音声合成装置。
【請求項４】
請求項１から請求項３までいずれか一項に記載の音声合成装置であって、
前記表示制御部は、ポインタを表示可能で有り、
前記指示入力部は、前記特定の位置の移動を前記ポインタの位置の移動として実現する、音声合成装置。
【請求項５】
請求項４に記載の音声合成装置であって、
前記デバイスは、前記表示制御部に表示された前記ポインタを移動するポインティングデバイスである、音声合成装置。
【請求項６】
請求項１から請求項５までいずれか一項に記載の音声合成装置であって、
前記デバイスは前記表示領域を有する、音声合成装置。
【請求項７】
請求項１から請求項６までいずれか一項に記載の音声合成装置であって、
前記編集部は、前記デバイスの感圧に応じて、前記発語対象の表現の態様に関するパラメータであり、前記発語対象の発語の速度以外の要素を調整する第２パラメータを編集する、音声合成装置。
【請求項８】
音声合成方法であって、
合成する合成音声の発語対象を、予め定めた表示領域に表示する工程と、
前記発語対象を、指定されたパラメータを用いて音声合成する工程と、
予め用意されたデバイスを操作することによって選択される前記表示領域内における特定の位置を移動する工程と、
前記特定される位置の座標と移動速度と移動形状の少なくとも一つにより、前記パラメータを編集する工程と、を備え、
前記パラメータは前記発語対象の少なくとも発語の速度を調整するパラメータを含む、音声合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成装置、および音声合成方法の技術に関する。
【背景技術】
【０００２】
従来の音声合成装置として、発語対象であるテキスト情報に基づいて音声合成を行うものが知られている（例えば、特許文献１）。この技術を用いて仮想的な歌い手がコンサートを行うといったライブ活動や、動画配信サイトを利用したライブ配信も行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１０２７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
こうしたライブでは、環境や聴衆に合わせて歌い方や話し方を変えることで聴衆との一体感を生み、ライブならではの価値をもたらしている。しかしながら、リアルタイムで歌い方や話し方を変えるためにはパラメータ等の煩雑な編集が必要となり、実際にライブ等で音声合成を活用することは困難であった。そのため、リアルタイムに編集可能な音声合成技術が望まれていた。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００６】
（１）本発明の一形態によれば、音声合成装置が提供される。この音声合成装置は、合成する合成音声の発語対象を、予め定めた表示領域に表示する表示制御部と；前記発語対象を、指定されたパラメータを用いて音声合成する合成部と；予め用意されたデバイスを操作することによって選択される前記表示領域内における特定の位置を移動する指示入力部と；前記特定される位置の座標と移動速度と移動形状との少なくとも一つにより、前記パラメータを編集する編集部と、を備え；前記パラメータは前記発語対象の少なくとも発語の速度を調整する第１パラメータを含む。この形態の音声合成装置によれば、例えば発語対象をなぞることで、リアルタイムに合成音声を編集できる。
【０００７】
（２）上記形態の音声合成装置において、前記合成部は、前記合成音声を統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行ってもよい。この形態の音声合成装置によれば、少ないデータ量で合成音声を生成する事ができる。
【０００８】
（３）上記形態の音声合成装置において、更に、前記合成音声を再生する再生部を備え、前記合成部は、前記編集部より取得した前記デバイスによる操作を反映したパラメータを用いて逐次音声合成を行い、合成した前記合成音声を前記再生部より再生してもよい。この形態の音声合成装置によれば、リアルタイムに合成音声を編集・再生できる。
【０００９】
（４）上記形態の音声合成装置において、前記表示制御部は、ポインタを表示可能で有り、前記指示入力部は、前記特定の位置の移動を前記ポインタの位置の移動として実現してもよい。この形態の音声合成装置によれば、より視覚的にパラメータを編集することができる。
【００１０】
（５）上記形態の音声合成装置において、前記デバイスは、前記表示制御部に表示された前記ポインタを移動するポインティングデバイスとしてもよい。この形態の音声合成装置によれば、視覚的にパラメータを編集することができる。
【００１１】
（６）上記形態の音声合成装置において、前記デバイスは前記表示領域を有してもよい。この形態の音声合成装置によれば、例えば、接触した座標および感圧を取得できるタッチパネルを用いて合成音声を編集できる。
【００１２】
（７）上記形態の音声合成装置において、前記編集部は、前記デバイスの感圧に応じて、前記発語対象の表現の態様に関するパラメータであり、前記発語対象の発語の速度以外の要素を調整する第２パラメータを編集してもよい。この形態の音声合成装置によれば、複数のパラメータを同時に編集できるため、リアルタイムに合成音声を編集できる。
【００１３】
なお、本発明は、種々の態様で実現することが可能である。例えば、この形態の音声合成装置を利用した音声合成システム、音声合成装置や音声合成システムの機能を実現するために情報処理装置において実行される方法、コンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。
【図面の簡単な説明】
【００１４】
【図１】音声合成装置の概要を示す説明図である。
【図２】表示制御部により表示される表示領域の一例である。
【図３】音響モデルによりモデル化する各種の音響パラメータの一例を示す図である。
【図４】音声合成装置を用いたライブでの合成音声再生処理を表すフローチャートである。
【図５】音声合成処理を表すフローチャートである。
【図６】指示入力部がなぞった軌跡の一例を示した図である。
【図７】指示入力部がなぞった軌跡の他の一例を示した図である。
【図８】第２実施形態における音声合成装置の概要を示す説明図である。
【図９】第２実施形態における音声合成処理のフローチャートである。
【図１０】第２実施形態で表示制御部により表示される表示領域の一例である。
【発明を実施するための形態】
【００１５】
Ａ．第１実施形態：
図１は、本発明の一実施形態における音声合成装置１００の概要を示す説明図である。音声合成装置１００は、合成部１０と、再生部２０と、表示制御部３０と、指示入力部４０と、編集部５０と、制御部６０と、を備える。
【００１６】
合成部１０は、音響モデル１１と、合成エンジン１２と、を含む。合成部１０は、発語対象であるテキスト情報に基づいて音声合成を行う。本実施形態において、合成エンジン１２は、統計的手法により音響パラメータを学習した音響モデル１１と、後述する編集部５０より編集されたパラメータ１３とを用いて音声合成を行う。より具体的には、隠れマルコフモデル（以下、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）とも記載する）や、ディープニューラルネットワーク（以下、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）とも記載する）を用いて、合成音声を生成する。音響モデルの学習に用いる音響パラメータの詳細については後述する。
【００１７】
再生部２０は、合成部１０によって生成された合成音声をスピーカ７０に出力する。
【００１８】
表示制御部３０は、合成音声の発語対象を予め定めた表示領域３１に表示する。図２は、表示制御部３０により表示される表示領域３１の一例である。表示領域３１は、それぞれ発語対象の異なる表示領域３１Ａ、３１Ｂ、３１Ｃを含む。本実施形態において、表示領域３１は予め用意されたデバイスであるタッチパネル８０が有する。タッチパネル８０は、タッチペン８５が接触した座標および感圧を取得できる。なお、タッチパネル８０が取得できる情報は、座標や感圧に限らず、例えばタッチペン８５の傾きを取得出来るようにしてもよい。また、表示制御部３０は、タッチパネル８０に限らず、通常のディスプレイや、音声合成装置１００が有するディスプレイに表示してもよい。本実施形態において、例えば、表示領域３１Ａに表示される発語対象は「こんにちは」であり、表示領域３１Ｂに表示される発語対象は「ありがとう」であり、表示領域３１Ｃに表示される発語対象は「さようなら」である。
【００１９】
指示入力部４０は、予め用意されたデバイスであるタッチパネル８０およびタッチペン８５を操作することによって、表示領域３１Ａ〜３１Ｃから選択される表示領域内における特定の位置を移動する。指示入力部４０は、マウスや指による操作や、ハンドトラッキング等の非接触デバイスからの入力によって、選択される表示領域内における特定の位置を移動してもよい。なお、特定の位置は、表示領域内等にポインタなどを表示して視覚的に表してもよい。また、特定の位置の移動は、タッチペン８５でなぞっている位置であるとして軌跡として表してもよい。
【００２０】
編集部５０は、特定される位置に基づき、発語対象の表現の態様に関するパラメータを編集する。本実施形態において、パラメータは、発語対象の少なくとも発語の速度を調整する第１パラメータ（以下、「話速パラメータ」という）と、発語対象の発語の速度以外の要素である音量を調整する第２パラメータ（以下、「音量パラメータ」という）と、発語対象の発語の速度以外の要素である音高を調整する第３パラメータ（以下、「音高パラメータ」という）とを含む。なお、発語対象の発語の速度以外の要素のパラメータとしては、他にも、感情やくせ等の発話スタイル、ビブラートの深さや周期、話者補間比率、ジェンダーパラメータ（幼い女性的な声から老人男性的な声までの変化）等が挙げられる。パラメータは、話速パラメータを含むことが好ましい。また、発話対象を、表示領域３１Ａ〜３１Ｃをまたいで特定される位置を移動させることにより、発話中であっても変更できるようにしてもよい。
【００２１】
制御部６０は、ＣＰＵとメモリとを備えたコンピュータとして構成されている。ＣＰＵは、メモリに記憶された制御プログラムを実行することにより、合成部１０、再生部２０、表示制御部３０、指示入力部４０および編集部５０を制御して、後述する音声合成処理を実現する。
【００２２】
図３は、音響モデルによりモデル化する各種の音響パラメータの一例を示す図である。基本周波数は、一般に対数基本周波数ｐｔとして扱われており、その関連パラメータとしては、有声／無声の区別、対数基本周波数の一次微分（Δｐｔ）や二次微分（Δ２ｐｔ）が考えられる。これらは音源情報と呼ばれることがある。なお、無声部分は対数基本周波数ｐｔの値を持たない。このため、無声部分に所定の定数を入れる等の方法によって有声／無声の区別を行う。また、スペクトルパラメータとしては、メルケプストラムｃｔやその一次微分（Δｃｔ）、二次微分（Δ２ｃｔ）などがある。これらは、スペクトル情報と呼ばれることがある。更に、こうした音源情報、スペクトル情報の他に、歌声を合成する場合には、歌唱表現情報を扱う。
【００２３】
歌唱表現情報には、音高のビブラートの周期Ｖ１ｆｔおよび振幅Ｖ１ａｔと、音の大きさのビブラートの周期Ｖ２ｆｔおよび振幅Ｖ２ａｔとが、音素やフレーム等の単位でモデル化されて含まれている。音高のビブラートの周期、音高のビブラートの振幅、音の大きさのビブラートの周期、音の大きさのビブラートの振幅についても、それぞれに対応する一次微分（Δ）と、二次微分（Δ２）とを持つが、図示の便宜上、図３ではこれら周期および振幅についての一次微分、二次微分の図示を省略している。上記パラメータのうち、メルケプストラムｃｔを初めとする各パラメータの一次微分や二次微分は、時間変動を考慮するために用いられる。動的特徴を考慮することにより、音声の合成時における音と音のつながりが滑らかなものとなる。動的特徴を用いた音声合成の手法については、説明を省略する。
【００２４】
また、音響モデルとしてＤＮＮを用いた場合には、メルケプストラムｃｔの代わりにスペクトルをモデル化してもよいし、上記音響パラメータの代わりに音声波形を音響パラメータとしてモデル化してもよい。
【００２５】
図４は、本実施形態における音声合成装置１００を用いたライブでの合成音声再生処理を表すフローチャートである。まず、制御部６０は、再生するデータを取得する（ステップＳ１００）。再生するデータとは、予め作成されている発語対象のテキストデータや楽曲の楽譜情報である。取得するデータは、ユーザが直接指定してもよく、また、演奏する曲や発話内容の一覧を順番に記したセットリストに基づいて、自動で取得されてもよい。なお、ステップＳ１００の処理を省略し、その場で発語対象をキーボード等により入力してもよい。次に、制御部６０は、指示入力部４０を制御して、ステップＳ１００で取得したデータを表示させる（ステップＳ１１０）。
【００２６】
続いて、制御部６０は、データを表示させた後、音声合成処理を行う（ステップＳ１２０）。音声合成処理については後述する。最後に、制御部６０は、ライブが終了したか否か判定する（ステップＳ１３０）。ライブの終了は、例えば、セットリストの最後の楽曲および発話内容が再生されたか否かで判定することが出来る。ライブ終了でないと判定した場合（ステップＳ１３０：ＮＯ）、ステップＳ１００の処理に戻り、次のデータを取得する。
【００２７】
図５は、本実施形態における音声合成処理を表すフローチャートである。音声合成処理は、ユーザによるタッチペン８５の操作に応じて合成音声を合成するための処理である。より具体的には、タッチペン８５を操作することによって表示領域３１内において特定される位置の移動に応じて合成音声を合成するための処理である。指示入力部４０は、まず、タッチペン８５による操作があるか否か判定する（ステップＳ２００）。タッチペン８５による操作が無い場合（ステップＳ２００：ＮＯ）、指示入力部４０は、終了指示があったか否か判定する（ステップＳ２４０）。一方、タッチペン８５による操作がある場合（ステップＳ２００：ＹＥＳ）、指示入力部４０は、表示領域３１における特定の位置の移動とその移動軌跡の座標を取得する（ステップＳ２１０）。
【００２８】
図６および図７を用いて、表示領域３１Ａを例として説明する。軌跡は左から右へ矢印方向になぞられたものである。合成部１０は、軌跡の矢印方向に発話するようパラメータを生成する。なお、逆方向に発語対象を指定した場合に、発語対象を逆再生されるようパラメータを生成してもよい。図６に示すように、軌跡Ｌ１は、「こ」が表示されている表示領域３１Ａの略矩形状の横幅に対して左から１／３程度の箇所から開始している。編集部５０は、予め定められた「こ」の発話の長さに対して、発話開始より１／３程度再生した箇所より再生されるようパラメータを生成する。また、図７に示すように、指示入力部４０が、軌跡Ｌ２をなぞった後に、軌跡Ｌ３をなぞっている場合、編集部５０は、指示入力部４０が一方向になぞって指定した発語対象である「おん」「ちは」を発話するようパラメータを生成する。
【００２９】
次に、編集部５０は、ステップＳ２１０で取得した軌跡の座標から合成音声のパラメータを編集する（図５、ステップＳ２２０）。本実施形態では、編集部５０は、特定される位置の座標に応じてパラメータを編集する発語対象を定め、特定される位置の移動速度に応じて話速パラメータを定め、特定される位置の移動形状に応じて音高パラメータを定め、タッチペン８５のタッチパネル８０を操作する接触の強さ（感圧）に応じて、音量パラメータを定める。より具体的には特定される位置の移動速度が早い場合には、遅い場合よりも短い時間で発話されるよう話速パラメータが設定される。また、特定される位置の移動形状が表示領域３１の上下方向における上に向かって移動した場合は音高をあげていき、下に向かって移動した場合は音高を下げていくように音高パラメータが設定される。また、タッチパネル８０の感圧が強い場合には、弱い場合よりも大きい音量で発話されるよう音量パラメータが設定される。なお、各パラメータの割り当ては、上述した例に限られず、例えば、編集部５０は、特定される位置の移動形状によって話速パラメータや音量パラメータを定めてもよい。また、本実施形態において、編集部５０は、特定される位置の移動速度や移動形状にかかわらず、表示領域３１の上下方向における上部が選択された場合に、下部が選択された場合よりも音高を高く設定する。
【００３０】
続いて、合成部１０は、ステップＳ２２０で編集したパラメータを用いて合成音声を合成し、再生する（ステップＳ２３０）。最後に、合成部１０は、終了指示があったか否か判定する（ステップＳ２４０）。終了指示は、例えば、ユーザによる終了ボタンの押下である、終了指示があった場合（ステップＳ２４０：ＹＥＳ）、合成部１０は音声合成処理を終了する。一方、終了指示がない場合（ステップＳ２４０：ＮＯ）、合成部１０は、ステップＳ２００の処理に戻る。
【００３１】
以上で説明した本実施形態の音声合成装置１００によれば、発語対象をなぞることで、話速パラメータと音高パラメータと音量パラメータを同時に編集できるため、リアルタイムに合成音声を編集できる。
【００３２】
また、本実施形態では、合成部１０は、統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行っている。そのため、発語対象毎に音声を収録すること無く、合成音声を生成する事ができる。
【００３３】
また、本実施形態では、編集部５０は、タッチペン８５のタッチパネル８０を操作する感圧に応じて音量パラメータを定めている。そのため、音の大きさを感覚的に編集することができる。
【００３４】
Ｂ．第２実施形態：
図８は、第２実施形態における音声合成装置１００Ａの概要を示す説明図である。図８に示す第２実施形態の音声合成装置１００Ａは、伴奏が記憶された記憶部９０を備える点が第１実施形態と異なり、他の構成は同一である。記憶部９０に記憶された伴奏は再生部２０によって読み出され、スピーカ７０に出力される。記憶部９０に記憶された伴奏は、例えば、ＭＩＤＩ規格で作成された伴奏楽音の演奏データである。
【００３５】
図９は、第２実施形態における音声合成処理のフローチャートである。図８に示す第２実施形態の音声合成処理は、伴奏が再生されると同時に開始される点と、合成音声が歌声である点が第１実施形態と異なる。第２実施形態の音声合成装置の構成は、第１実施形態の音声合成装置の構成と同一であるため、音声合成装置の構成の説明は省略する。
【００３６】
音声合成装置１００は、まず、記憶部９０に記憶された伴奏を再生する（ステップＳ３００）。第２実施形態における音声合成処理を開始するタイミングは、例えば、ユーザによる再生ボタンの押下を処理の開始の契機とし、伴奏の再生と同時に音声合成が再生されてもよい。伴奏の再生速度は、後述する合成音声の編集にかかわらず、予め定められた再生速度であることが好ましい。なお、伴奏の再生タイミングを予め発語対象の再生タイミングに対応付けることで、合成音声の話速パラメータの変化に応じて再生速度や再生タイミングを変化させて、合成音声と同期するように再生してもよい。また、伴奏の代わりに動画が再生されてもよい。次に、指示入力部４０は、タッチペン８５による操作があるか否か判定する（ステップＳ３１０）。タッチペン８５による操作が無い場合（ステップＳ３１０：ＮＯ）、指示入力部４０は、終了指示があったか否か判定する（ステップＳ３５０）。一方、タッチペン８５による操作がある場合（ステップＳ３１０：ＹＥＳ）、指示入力部４０は、表示領域３１における特定の位置の座標および特定の位置の移動とその移動軌跡の座標を取得する（ステップＳ３２０）。
【００３７】
図１０は、第２実施形態で表示制御部３０により表示される表示領域３１Ｄの一例である。本実施形態において、発語対象は「さいたさ」である。本実施形態の表示制御部３０は、ポインタＰを表示してもよく、指示入力部４０は特定の位置の移動をポインタＰの位置の移動とする。タッチペン８５は、ポインタＰを移動するポインティングデバイスである。表示領域３１Ｄの発語対象は、合成音声の再生と同時に、テンポに応じた速度で左（矢印方向）にスクロールしていく。基準位置ｐ０は予め定められたテンポで再生した場合の再生位置であり、固定されている。なお、スクロール速度をテンポによらず一定速度にして、表示領域３１Ｄに表示される内容の幅を変更してもよい。
【００３８】
次に、編集部５０は、ステップＳ３２０で取得したポインタＰの動作と座標から合成音声のパラメータを編集する（図９、ステップＳ３３０）。編集部５０は、例えば、以下のポインタＰの動作に応じて、パラメータを編集する。
【００３９】
＜動作１＞ポインタＰが特定の位置を選択する
＜動作２＞ポインタＰが表示領域３１Ｄを左方向になぞる
＜動作３＞ポインタＰが表示領域３１Ｄを右方向になぞる
【００４０】
上述した動作１の場合、編集部５０は、基準位置ｐ０に対してポインタＰで特定される位置（以下、特定位置ｐ１）に応じて、再生位置を定める。より具体的には特定位置ｐ１が基準位置ｐ０より右にずれている場合には、ずれの大きさに応じて先にシークするよう再生位置が設定される。現在の再生箇所から特定位置ｐ１に直接移動して再生してもよく、現在の再生箇所から特定位置ｐ１までを補間してなめらかに発語対象が再生されるようパラメータを設定してもよい。また、現在の再生箇所から特定位置ｐ１までの間の発語対象を不連続に再生してもよい。
【００４１】
上述した動作２の場合、編集部５０は、ポインタＰが表示領域３１Ｄを左方向に発語対象のスクロール速度より遅くなぞった場合には、予め定められたテンポより長い時間で発話されるよう話速パラメータを定める。また、発語対象のスクロール速度より早くなぞった場合には、逆再生されるよう話速パラメータを設定する。つまり、話速パラメータは、発語対象のスクロール速度とポインタＰが左方向になぞる速度の差により定められる。
【００４２】
上述した動作３の場合、編集部５０は、ポインタＰが表示領域３１Ｄを右方向になぞった場合には、なぞる速度に応じて、予め定められたテンポより短い時間で発話されるよう話速パラメータを定める。
【００４３】
続いて、合成部１０は、ステップＳ３３０で編集したパラメータを用いて合成音声を合成し、再生する（ステップＳ３４０）。合成部１０は、終了指示があったか否か判定する（ステップＳ３５０）。終了指示は、例えば、ユーザによる終了ボタンの押下である。終了指示がない場合（ステップＳ３５０：ＮＯ）、合成部１０は、伴奏の再生が完了したかどうか判定する（ステップＳ３６０）。再生が完了していない場合（ステップＳ３６０：ＮＯ）、ステップＳ３１０から処理を繰り返す。再生が完了した場合（ステップＳ３６０：ＹＥＳ）、音声合成処理は終了する。なお、合成部１０は、ステップＳ３６０において伴奏の再生が完了したと判断した場合においても、指示入力部４０への入力が続いている場合に、指示入力部４０への入力がなくなるまで合成音声の再生を続けてもよい。例えば、合成音声の最後の歌詞をロングトーンで伸ばすような再生をしてもよい。
【００４４】
なお、本実施形態において、指示入力部４０への入力をしていない間は、再生部２０は、指示入力部４０へ再度入力があるまで、合成音声を消音で再生するが、予め定められた話速パラメータを用いて再生させるよう音声合成を行ってもよい。また、合成部１０は、合成音声の再生を途中で停止するよう音声合成を行ってもよい。例えば、合成部１０は、指示入力部４０への入力が予め定められた時間、無かった場合に、予定していた合成音声の再生が完了する前に、合成音声の再生を停止するようフェードアウトするように音声合成を行い、その後合成音声の再生を停止してもよい。また、再生部２０は、予定していた合成音声の再生が完了する前に、消音で再生してもよい。なお、伴奏は再生を継続していてもよく、合成音声と同時に停止や消音で再生してもよい。
【００４５】
以上で説明した本実施形態の音声合成装置１００によれば、再生している発語対象をなぞることで、話速パラメータを編集できるため、リアルタイムに合成音声を編集・再生できる。
【００４６】
Ｃ．その他の実施形態：
上記実施形態において、合成部１０は、統計的手法により音響パラメータを学習した音響モデルを用いて音声合成を行っている。この代わりに、合成部１０は、波形接続方式を用いて音声合成を行ってもよい。
【００４７】
また、上記実施形態において、合成部１０は、生成したパラメータ値を記憶し、次回の合成音声の再生時には、記憶したパラメータ値を用いて音声合成を行い再生してもよい。ここで「次回」の合成音声の再生とは、音声合成処理を終えた以降に合成音声を再生する事を意味する。
【００４８】
また、上記実施形態において、編集部５０は、指示入力部４０のなぞった軌跡の形状と速度と感圧に応じて、それぞれパラメータに含まれるパラメータ値を定めている。この代わりに、合成部１０は、タッチペン８５の傾きや予め用意したデバイスである外部コントローラ等の値を用いて、各パラメータに含まれるパラメータ値を定めてもよい。
【００４９】
また、上記実施形態において、表示制御部３０は、発語内容や楽譜の各パートに対応するような音程が異なる複数の発語領域が表示されていてもよい。この形態によれば、各発語領域を指示入力部４０により選択することで、様々な音声をずらしながら合成することができる。また、１つの発語領域への指示入力部４０の入力を他の指示入力部４０にも反映されてもよい。
【００５０】
また、上記第２実施形態において、編集部５０は、特定位置ｐ１に応じて、再生位置を定めている。この代わりに、編集部５０は、特定位置ｐ１に応じて話速パラメータを定めてもよい。例えば、特定位置ｐ１が基準位置ｐ０より右にずれている場合には、ずれの大きさに応じて話速が早くなるように話速パラメータを設定してもよい。
【００５１】
また、上記第２実施形態において、編集部５０は、ポインタＰのなぞる速度に応じて、話速パラメータを定めているが、発語対象のスクロール速度を併せて変更してもよい。
【００５２】
本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。
【符号の説明】
【００５３】
１０…合成部、１１…音響モデル、１２…合成エンジン、１３…パラメータ、２０…再生部、３０…表示制御部、３１、３１Ａ、３１Ｂ、３１Ｃ、３１Ｄ…表示領域、４０…指示入力部、５０…編集部、６０…制御部、７０…スピーカ、８０…タッチパネル、８５…タッチペン、９０…記憶部、１００、１００Ａ…音声合成装置、Ｌ１、Ｌ２、Ｌ３…軌跡、Ｐ…ポインタ、ｐ０…基準位置、ｐ１…特定位置
【図１】
2020042258.tif 000003
【図２】
2020042258.tif 000004
【図３】
2020042258.tif 000005
【図４】
2020042258.tif 000006
【図５】
2020042258.tif 000007
【図６】
2020042258.tif 000008
【図７】
2020042258.tif 000009
【図８】
2020042258.tif 000010
【図９】
2020042258.tif 000011
【図１０】
2020042258.tif 000012