(57)【要約】【課題】操作者の操作負担を増加させることなく、より簡単に操作者の希望する合成音を編集することのできる音声編集装置を提供する。【解決手段】テキストに対して生成された合成音を修正する修正手段１１０，１１２と、修正手段１１０，１１２により得られた修正音を示す修正情報を格納する修正情報格納手段１３１と、修正情報格納手段１３１が格納する修正情報と修正前の合成音との関係を示す履歴構造情報を生成する履歴構造生成手段１３６と、履歴構造生成手段１３６が生成した履歴構造情報において対応付けられた修正情報と合成音との対応関係を表示する表示手段１４０と、表示手段１４０に表示された修正情報の選択を受け付ける選択受付手段１２０と、選択受付手段１２０によって選択された修正情報に基づいて合成音を生成する合成音生成手段１１４とを備えた。【選択図】        図１
2005345699.tif 000002
【特許請求の範囲】
【請求項１】
テキストに対して生成された合成音を修正する修正手段と、
前記修正手段により得られた修正音を示す修正情報を格納する修正情報格納手段と、
前記修正情報格納手段が格納する前記修正情報と修正前の前記合成音との関係を示す履歴構造情報を生成する履歴構造生成手段と、
前記履歴構造生成手段が生成した前記履歴構造情報において対応付けられた前記修正情報と前記合成音との対応関係を表示する表示手段と、
前記表示手段に表示された前記修正情報の選択を受け付ける選択受付手段と、
前記選択受付手段によって選択された前記修正情報に基づいて合成音を生成する合成音生成手段と
を備えたことを特徴とする音声編集装置。
【請求項２】
前記修正情報格納手段は、前記修正手段が同一の前記合成音に対して複数回修正を行った場合に、各修正により得られた複数の前記修正情報を格納し、
前記履歴構造生成手段は、前記修正情報格納手段が格納している同一の合成音に対する複数の前記修正情報と修正前の前記合成音との関係を示す前記履歴構造情報を生成することを特徴とする請求項１に記載の音声編集装置。
【請求項３】
前記表示手段は、前記修正情報と前記合成音との対応関係をツリー構造で表示することを特徴とする請求項２に記載の音声編集装置。
【請求項４】
前記修正手段が前記合成音を修正した場合に、当該修正により得られた修正音を示す前記修正情報に対して、当該修正が、前記修正手段が当該合成音に対して行った何回目の修正であるかを示す修正順情報を付与する修正順情報付与手段をさらに備え、
前記表示手段は、前記修正順情報付与手段により付与された前記修正順情報を前記修正情報に対応付けて表示することを特徴とする請求項１から３のいずれか一項に記載の音声編集装置。
【請求項５】
前記修正情報格納手段は、前記修正手段による修正により得られた前記修正音と、当該修正前の前記合成音との差分値を前記修正情報として格納することを特徴とする請求項１から４のいずれか一項に記載の音声編集装置。
【請求項６】
前記表示手段は、前記修正情報格納手段に格納されている前記修正情報に基づいて、前記修正情報が示す前記修正音と、当該修正音の修正前の前記合成音との差分値を表示することを特徴とする請求項５に記載の音声編集装置。
【請求項７】
前記修正手段は、前記合成音の表音情報を修正する表音情報修正手段を有し、
前記修正情報格納手段は、前記表音情報修正手段による修正前後の前記表音情報の差分値を含む前記修正情報を格納することを特徴とする請求項１から６のいずれか一項に記載の音声編集装置。
【請求項８】
前記修正手段は、前記合成音の韻律情報を修正する韻律情報修正手段を有し、
前記修正情報格納手段は、前記韻律情報修正手段による修正前後の前記韻律情報の差分値を含む前記修正情報を格納することを特徴とする請求項１から７のいずれか一項に記載の音声編集装置。
【請求項９】
テキストに対して生成された合成音を修正する修正ステップと、
前記修正手段により得られた修正音を示す修正情報を修正情報格納手段に格納する修正情報格納ステップと、
前記修正情報格納ステップにおいて格納された前記修正情報と修正前の前記合成音との関係を示す履歴構造情報を生成する履歴構造生成ステップと、
前記履歴構造生成ステップにおいて生成された前記履歴構造情報において対応付けられた前記修正情報と前記合成音との対応関係を表示する表示ステップと、
前記表示ステップにおいて表示された前記修正情報の選択を受け付ける選択受付ステップと、
前記選択受付ステップによって選択された前記修正情報に基づいて合成音を生成する合成音生成ステップと
を有することを特徴とする音声編集方法。
【請求項１０】
音声編集処理をコンピュータに実行させる音声編集プログラムであって、
テキストに対して生成された合成音を修正する修正ステップと、
前記修正手段により得られた修正音を示す修正情報を修正情報格納手段に格納する修正情報格納ステップと、
前記修正情報格納ステップにおいて格納された前記修正情報と修正前の前記合成音との関係を示す履歴構造情報を生成する履歴構造生成ステップと、
前記履歴構造生成ステップにおいて生成された前記履歴構造情報において対応付けられた前記修正情報と前記合成音との対応関係を表示する表示ステップと、
前記表示ステップにおいて表示された前記修正情報の選択を受け付ける選択受付ステップと、
前記選択受付ステップによって選択された前記修正情報に基づいて合成音を生成する合成音生成ステップと
をコンピュータに実行させることを特徴とする音声編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成音を編集する音声編集装置、音声編集方法および音声編集プログラムに関するものである。
【背景技術】
【０００２】
一般に、テキスト音声合成処理では、まず入力されたテキストを言語処理し、テキストの発音を示す表音情報を得る。表音情報には、言語処理の結果出力される、品詞、係り受け、読み、アクセント型、区切り位置、区切りの種別などが含まれている。そして、表音情報を基に韻律制御を行って韻律情報を生成する。韻律情報には、ピッチパターンや音韻継続時間長などが含まれている。この韻律情報を基に合成音を生成して、最終的にＤＡコンバータを介して合成音を出力する。
【０００３】
このようなテキスト音声合成処理においては、単語の読み間違えなど言語処理において明らかな誤りが発生する、韻律が不自然であるなどの問題が生じる場合がある。
【０００４】
音声合成編集装置は、上述のようなテキスト音声合成の結果の誤り修正や、韻律の不自然さの改善などの修正を行う装置である。さらに、これらの処理を操作者が対話的に行うことができる。このように、上述のテキスト音声合成における問題を解決するために有効なツールである。
【０００５】
音声合成編集装置としては、表音情報を表音記号列として出力し、言語処理において発生した誤りを対話的に修正するものが知られている（例えば、特許文献１参照）。
【０００６】
また、韻律情報を対話的に変更できる音声合成編集装置も知られている。当該装置においては、表音情報のみの修正に比べてより詳細な修正が可能である。具体的には、イントネーションの微妙な変更、読む速さの調整などが可能である。これにより、より自然性の高い、あるいは多様な韻律の合成音を作成することができる。
【０００７】
以上のように、操作者は、従来の音声合成編集装置を用いて、対話的に表音情報または韻律情報を修正することにより、所望の合成音に調整することができる。なお、この過程において、表音情報あるいは韻律情報を修正し、修正した結果を操作者自身が聞いて確かめるという、修正・試聴の作業が必須である。
【０００８】
【特許文献１】特開２００２−３５１４８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、上述の修正・試聴を繰り返す過程において、以前に修正した合成音を利用したい場合がある。例えば、以前得られた修正音が希望する合成音に近かったとあとから思い直した場合や、ある時点からもう一度修正をやり直したい場合等である。
【００１０】
従来の音声合成編集装置においては、このような場合には、合成音からの修正操作を思い出し、所望の修正状態を再現するか、最初から修正をやり直す必要があった。このように、所望の状態から合成音の修正を行うことができないなど、操作者による編集環境が制限されていたため、より簡単に操作者の希望する合成音に修正できる編集環境の提供が望まれていた。
【００１１】
本発明は、上記に鑑みてなされたものであって、操作者の操作負担を増加させることなく、より簡単に操作者の希望する合成音を編集することのできる音声編集装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明は、テキストに対して生成された合成音を修正する修正手段と、前記修正手段により得られた修正音を示す修正情報を格納する修正情報格納手段と、前記修正情報格納手段が格納する前記修正情報と修正前の前記合成音との関係を示す履歴構造情報を生成する履歴構造生成手段と、前記履歴構造生成手段が生成した前記履歴構造情報において対応付けられた前記修正情報と前記合成音との対応関係を表示する表示手段と、前記表示手段に表示された前記修正情報の選択を受け付ける選択受付手段と、前記選択受付手段によって選択された前記修正情報に基づいて合成音を生成する合成音生成手段とを備えたことを特徴とする。
【発明の効果】
【００１３】
本発明にかかる音声編集装置は、修正後の修正音を示す修正情報を格納し、さらに複数の修正情報間の対応関係を識別可能に表示することができるので、以前行った修正段階から再度修正を行いたい場合にも、表示された対応関係に基づいて、容易に希望の修正情報を指定し、修正情報に対応する修正の状態から再度修正を行うことができるという効果を奏する。これにより、操作者の操作負担を増加させることなく、操作者の希望する合成音を編集することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明にかかる音声編集装置、音声編集方法および音声編集プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１５】
（実施の形態）
図１は、本発明による音声編集装置の一実施の形態としての音声合成編集装置１０を示すブロック図である。音声合成編集装置１０は、は、テキスト取得部１００と、言語処理部１０２と、表音情報格納部１０４と、韻律制御部１０６と、韻律情報格納部１０８と、表音情報修正部１１０と、韻律情報修正部１１２と、合成音生成部１１４と、合成音出力部１１６と、指示受付部１２０と、修正管理部１３０と、修正表示部１４０とを備えている。
【００１６】
本実施の形態では、テキストから合成音を生成するに際し、テキストを言語処理して得られる表音情報、及びこの表音情報から韻律制御して生成される韻律情報とを、これら表音情報と韻律情報の修正する各パラメータを表示画面を見ながらユーザからの指示入力に基づいて修正し、この修正履歴を保持する。再度ユーザからの修正指示があった場合には、この修正履歴を利用して表音情報及び韻律情報を修正して合成音が生成される。
【００１７】
テキスト入力部１０１は、合成音に変換すべきテキストを入力させる外部インターフェースである。テキストは、キーボードによる入力、あるいはテキストファイルの読み込みによって入力される。テキスト取得部１００は、外部インターフェースであるテキスト入力部１０１を介して、合成音に変換すべきテキストを取得する。
【００１８】
言語処理部１０２は、テキスト取得部１００が取得したテキストに対して言語処理を行い、表音情報を生成する。ここで、言語処理とは、テキストをアクセント句単位に分割し、各アクセント句に対応する表音情報を出力する処理である。また、表音情報は、言語処理過程で生成される情報であり、一般に中間言語と呼ばれる表音記号列などを含んでいる。具体的には、形態素解析の結果から得られる品詞などの形態情報、係り受けなどの構文情報、読み、アクセント型、区切り位置、区切りの種別などを表した情報である。
【００１９】
表音情報格納部１０４は、言語処理部１０２で生成した表音情報を、各アクセント句に対応付けて格納する。図２は、表音情報格納部１０４に格納される表音情報のデータ構成を模式的に示している。図２は、一例として、テキスト「今日は、良い天気です。」に対する表音情報１０４０のデータ構成を示している。
【００２０】
図２に示すように、表音情報格納部１０４は、テキストに含まれる各アクセント句に対して、先頭のアクセント句から順番にアクセント句ＩＤを付与して格納している。また、各アクセント句ＩＤに対応付けて各アクセント句に対する表音情報が対応付けられている。このように、各アクセント句と表音情報とを一対一に対応付けて格納する。
【００２１】
再び説明を図１に戻す。韻律制御部１０６は、表音情報格納部１０４に格納された表音情報を基に韻律制御を行って、韻律情報を生成する。ここで、韻律情報とは、音韻継続時間長およびピッチパターンを示す情報である。韻律制御部１０６は、言語処理部１０２によって分割された各アクセント句に対して韻律情報を生成する。具体的には、例えば、テキスト「今日は、良い天気です。」の「きょーわ」、「よい」、「てんきです」の３つのアクセント句すべてに対して、表音情報を基に音韻継続時間長とピッチパターンを生成する。
【００２２】
韻律情報格納部１０８は、韻律制御部１０６が生成した韻律情報を格納する。韻律情報は、１次元配列Ｐｉｔｃｈ［ｉ］で表現される。ここで、ｉは時間に相当するフレーム番号であり、Ｐｉｔｃｈ［ｘ］はフレーム番号ｘのピッチを示している。後述する韻律情報修正部１１２では、横軸を時間（フレーム）、縦軸をピッチ（オクターブ）としてピッチパターンが表示される。図３は、韻律情報格納部１０８が格納する韻律情報のデータ構成を模式的に示している。図３は、一例として、テキスト「今日は良い天気です。」に対する韻律情報１０８０のデータ構成を示している。
【００２３】
図３に示すように、テキストに含まれる各アクセント句に対して、Ｐｉｔｃｈ［ｉ］で表現された韻律情報が格納されている。すなわち、韻律情報格納部１０８は、ピッチとしてＰｉｔｃｈ［ｉ］の値を格納している。また、Ｐｉｔｃｈ［ｉ］の数に対応した時間長を格納している。
【００２４】
なお、他の例としては、各アクセント句が何番目のフレームから始まるか、ポインタを設定してもよい。この場合には、韻律情報全体から所定のアクセント句の韻律情報を抽出可能な形態に格納する。
【００２５】
再び説明を図１に戻す。指示入力部１２１はユーザからの指示をマウス、キーボード等で入力する。指示受付部１２０は、ユーザインターフェースである指示入力部１２１を介して操作者からの指示を受け付ける。そして、指示受付部１２０は、操作者かららの指示を示す指示情報を表音情報修正部１１０、韻律情報修正部１１２および合成音生成部１１４に送る。具体的な修正指示は、図８、９で後述する修正表示部１４０に表示された修正画面を見ながら行われる。
【００２６】
表音情報修正部１１０は、指示受付部１２０から受け取った指示情報に基づいて表音情報格納部１０４に格納された表音情報を修正表示部１４０に表示される修正画面を見ながら対話的に修正する。そして、修正後の表音情報を後述の修正状態情報ファイル格納部１３１に格納させる。韻律情報修正部１１２は、指示受付部１２０から受け取った指示情報に基づいて韻律情報格納部１０８に格納された韻律情報を修正表示部１４０に表示される修正画面を見ながら対話的に修正する。そして、修正後の韻律情報を後述の修正状態情報ファイル格納部１３１に格納させる。
【００２７】
表音情報修正部１１０および韻律情報修正部１１２は、言語処理部１０２において分割されたアクセント句を単位に処理を行う。なお、本実施の形態にかかる表音情報修正部１１０および韻律情報修正部１１２は、本発明の修正手段を構成する。
【００２８】
合成音生成部１１４は、表音情報格納部１０４に格納された表音情報と韻律情報格納部１０８に格納された韻律情報とに基づいて合成音を生成する。合成音出力部１１６は、合成音生成部１１４で生成された合成音をＤＡ変換して外部に出力する。
【００２９】
修正管理部１３０は、表音情報修正部１１０および韻律情報修正部１１２の処理により修正された修正後の表音情報および修正後の韻律情報に基づいて合成された合成音、すなわち修正音を管理する。修正表示部１４０は、修正管理部１３０が管理する修正音等を表示する。
【００３０】
図４は、修正管理部１３０の詳細な機能構成を示すブロック図である。修正管理部１３０は、修正状態情報ファイル格納部１３１と、修正履歴ファイル生成部１３２と、修正履歴ファイル格納部１３４と、履歴構造データ生成部１３６と、履歴構造データ格納部１３８とを有している。
【００３１】
修正状態情報ファイル格納部１３１は、修正状態情報を格納する。ここで、修正状態情報とは、表音情報修正部１１０により修正された表音情報と韻律情報修正部１１２により修正された韻律情報とを対にしたものである。すなわち、修正状態情報により修正音を生成することができる。なお、実施の形態にかかる修正状態情報ファイル格納部１３１は、本発明の修正情報格納手段を構成する。また、実施の形態にかかる修正状態情報は、本発明の修正情報に相当する。
【００３２】
修正状態情報は、表音情報である表音記号列と、韻律情報である１次元配列データを含んでいる。修正状態情報は、修正が行われるごとに１つのファイルとして生成される。また、テキスト中の１文、すなわち句点「。」までの文字列を単位として生成される。修正状態情報ファイルには、「ＥｄｉｔＤａｔａ０＿＃１．ｄａｔ」、「ＥｄｉｔＤａｔａ０＿＃２．ｄａｔ」、「ＥｄｉｔＤａｔａ０＿＃３．ｄａｔ」のように修正された順番に#１からの番号が付与される。より具体的には、修正され、かつ修正状態情報ファイルが生成された場合に、順番を示す番号が付与される。ここで、「ＥｄｉｔＤａｔａ０＿＃１．ｄａｔ」に含まれる「０」はテキスト中の第１文であることを示している。
【００３３】
修正状態情報ファイル格納部１３１はまた、指示受付部１２０からの指示に基づいて、修正状態情報に対応する表音情報および韻律情報をそれぞれ表音情報格納部１０４および韻律情報格納部１０８に送る。
【００３４】
図５は、修正状態情報ファイル格納部１３１に格納される修正後の韻律情報のデータ構成を模式的に示している。修正後の韻律情報としては、韻律情報の初期値との差分値を格納する。図５に示す例においては、「きょーわ」のアクセント句に対しては、ピッチの初期値との差分値「＋５」、時間長の差分値「０」が格納されている。このように差分値のみを格納することにより、データ量を軽減することができる。
【００３５】
なお、他の例としては、修正後の韻律情報自体を保持してもよい。また、本実施の形態にかかる修正状態情報は、１つの文に対する修正された表音情報および韻律情報をすべて含むが、他の例としては、修正されたアクセント句と、その修正項目と修正値のみを修正状態情報としてもよい。
【００３６】
修正履歴ファイル生成部１３２は、表音情報修正部１１０および韻律情報修正部１１２による修正履歴を示す修正履歴ファイルを生成し、修正履歴ファイル格納部１３４に格納する。なお、修正履歴ファイルはテキストの１文単位に生成される。
【００３７】
図６は、修正履歴ファイル格納部１３４に格納される修正履歴ファイルのデータ構成を模式的に示している。修正履歴ファイルは、テキストの各文毎のテーブル１３４１，１３４２・・・を有している。テーブル１３４１は、「ＥｄｉｔＤａｔａ（ｉ）」で識別される各文に対する修正履歴ファイルである。テーブル１３４１は、履歴登録数フィールド、履歴構造データフィールド、初期データフィールドおよび修正状態情報フィールドを有している。
【００３８】
履歴登録数フィールドには、履歴登録数が格納されている。ここで履歴登録数とは、対応する１文に対して生成された合成音について修正が行われ、修正状態情報が生成された回数である。履歴登録数は修正されるごとに変更される。
【００３９】
履歴構造データフィールドは、履歴構造データのデータ名を格納している。履歴構造データとは、対応する１文に対して生成された合成音と、当該合成音を修正して得られた合成音との対応関係を示すデータである。
【００４０】
初期データフィールドは、対応する１文に対して生成された合成音、すなわち初期データを格納している。修正状態情報フィールドは、初期データに対する修正状態情報を格納している。修正状態情報フィールドには、修正が行われる毎に修正状態情報が追加される。
【００４１】
初期データフィールドおよび修正データフィールドは、修正された日付・時間、修正順、修正された時点での合成音全体に関する各種パラメータ値を格納している。合成音全体に関するパラメータ値としては、話者、全体的なピッチ、音量、および話速などがある。
また、初期データフィールドおよび修正データフィールドは、表音情報および韻律情報の修正履歴として、修正されたアクセント句と、このアクセント句に対応する修正項目を格納している。ここで、修正項目は、例えばアクセント型、区切り、ピッチパターン形状、継続時間長などである。
【００４２】
このように、修正履歴ファイル格納部１３４は、１つの初期データとしての合成音に対して、当該合成音を修正して得られた修正状態情報を対応付けて格納する。また、合成音を修正して得られた修正音をさらに修正して得られた修正状態情報も対応付けて格納する。
【００４３】
履歴構造データ生成部１３６は、修正履歴ファイル格納部１３４が管理する履歴構造データを生成し、履歴構造データ格納部１３８に格納する。具体的には、履歴構造データ生成部１３６は、合成音が修正された場合に、修正状態情報と、当該合成音の初期値とを対応付ける。
【００４４】
図７は、履歴構造データ格納部１３８に格納される履歴構造データのデータ構成を模式的に示している。履歴構造データ格納部１３８は、１つの初期データと、当該初期データについての修正状態情報との対応関係をツリー構造で表現した履歴構造データを格納している。ツリー構造における親ノードは、初期データである。また、各ノードは、親ノードの初期データを修正して得られた修正状態情報である。
【００４５】
図６に示す履歴構造データにおいては、修正状態情報「ＥｄｉｔＤａｔａ０＿＃１」および「ＥｄｉｔＤａｔａ０＿＃３」は、いずれも初期データ「ＥｄｉｔＤａｔａ０＿＃０」を修正して得られた情報である。また、修正状態情報「ＥｄｉｔＤａｔａ０＿＃２」および「ＥｄｉｔＤａｔａ０＿＃４」は、いずれも修正状態情報「ＥｄｉｔＤａｔａ０＿＃１」を修正して得られた情報である。また、修正状態情報「ＥｄｉｔＤａｔａ０＿＃５」は、修正状態情報「ＥｄｉｔＤａｔａ０＿＃４」を修正して得られた情報である。このように、履歴構造データは、このような各修正状態情報の対応を示している。
【００４６】
また、各データ名に付与された「＃ｉ」は、修正の順番を示す番号である。すなわち、図７に示す履歴構造データにおいては、まず初期データ「０ＥｄｉｔＤａｔａ０＿＃０」を修正元として修正状態情報「ＥｄｉｔＤａｔａ０＿＃１」が生成されたことが示されている。そして、これに続いて、修正状態情報「ＥｄｉｔＤａｔａ０＿＃１」を修正元として修正状態情報「ＥｄｉｔＤａｔａ０＿＃２」が生成されたことが示されている。さらにこの後に、初期データ「ＥｄｉｔＤａｔａ０＿＃０」を修正元として修正状態情報「ＥｄｉｔＤａｔａ０＿＃３」が生成されたことが示されている。
【００４７】
このように、履歴構造データ格納部１３８は、各修正状態情報の修正元の合成音および修正された順番を識別する情報を含む履歴構造データを格納している。
【００４８】
なお、本実施の形態においては、修正状態情報および修正履歴をファイルとして格納するが、他の例としては、これらの情報をメモリに展開し、それぞれのアドレスを格納し、指定することとしてもよい。
【００４９】
図８は、表音情報を修正する際に修正表示部１４０が表示する表音情報修正画面２００を示している。また、図９は、韻律情報を修正する際に修正表示部１４０が表示する韻律情報修正画面２１０を示している。
【００５０】
操作者は、表音情報修正画面２００および韻律情報修正画面２１０を見ながら、表音情報および韻律情報を修正することができる。より具体的には、表音情報修正画面２００および韻律情報修正画面２１０に表示されている内容に対して、操作者がマウス等のユーザインターフェースを利用して指示を入力すると、指示受付部１２０はユーザからの指示を受け付け、指示情報を表音情報修正部１１０および韻律情報修正部１１２に送る。そして、表音情報修正部１１０および韻律情報修正部１１２は、指示情報に基づいて修正を行う。
【００５１】
表音情報修正画面２００の画面上段は、表音情報修正画面２００および韻律情報修正画面２１０のいずれにも設けられた共通領域２２０である。共通領域２２０は、表音／韻律修正モード切り替えボタン２２１，２２２、テキスト入力／表示部分２２３、言語処理結果表示部分２２４、読み上げボタン２２５、履歴登録ボタン２２６を有している。
【００５２】
操作者より、表音／韻律修正モード切り替えボタン２２１，２２２が選択されると、表音修正モードと韻律修正モードとが切り替る。このモード切替に対応して、修正表示部１４０は、表音情報修正画面２００と韻律情報修正画面２１０とを切り替えて表示する。すなわち、表音修正ボタン２２１が選択された場合には、画面下段を、図８に示す表音修正領域２３０に切り替え、韻律修正ボタン２２２が選択された場合には、画面下段を、図９に示す韻律修正領域２４０に切り替える。
【００５３】
他の例としては、表音／韻律修正モード切り替えボタン２２１，２２２を設けず、図８に示した表音修正領域２３０と、図９に示した韻律修正領域２４０を同一画面に表示するようにしてもよい。
【００５４】
テキスト入力／表示部分２２３は、操作者からのテキスト入力を受け付ける欄である。図８に示すテキスト入力／表示部分２２３には「今日は良い天気です。」という漢字仮名混じりテキストが入力されている。
【００５５】
言語処理結果表示部分２２４は、言語処理部１０２による言語処理の結果を表示する。より具体的には、言語処理結果表示部分２２４は、言語処理の結果得られる表音記号列をそのまま表示するのではなく、表音記号列を変換し、読み、アクセント型、区切りの種別をアクセント句単位で区切って、一般の操作者にもわかる形態で表示する。
【００５６】
図８に示す言語処理結果表示部分２２４においては、テキストを「きょーわ」、「よい」、「てんきです」の３つのアクセント句に分けて表示している。さらに、１番目のアクセント句「きょーわ」では、「きょ」にアンダーラインを引いて、ここにアクセントがあることを示している。また、語尾に「（小）」を付けて区切りの種別が小ポーズであることを示している。
【００５７】
さらに、操作者は、言語処理結果表示部分２２４に表示されたアクセント句を選択することができる。例えば、マウスなどのユーザインターフェースによって、「きょーわ」が表示されている領域を指定することにより、アクセント句「きょーわ」を選択できる。図８に示す言語処理結果表示部分２２４においては、１番目のアクセント句「きょーわ」が選択されており、選択されたアクセント句「きょーわ」に対してマウスカーソル（矢印）が表示されている。
【００５８】
画面下段は、言語処理結果表示部分２２４において操作者から選択されたアクセント句の読み、アクセント型、アクセント強弱、区切りの種別を言語処理結果に基づいて表示する。さらにこれらを修正する指示を操作者から受け付ける入力領域が設けられている。操作者からの指示によりアクセント句の読み等が修正された場合には、表音情報格納部１０４に格納されている表音情報を、修正された結果で更新し、さらに言語処理結果表示部分２２４の表示も更新する。
【００５９】
画面下段の表音修正領域２３０は、読み修正部分２３１と、読み変更ボタン２３２と、アクセント修正部分２３４と、区切り修正部分２３５とを有している。
【００６０】
操作者の指示により読み修正部分２３１に表示されている読みが変更されると、選択されているアクセント句の読みが修正される。読み修正部分２３１で読みが入力された後、読み変更ボタン２３２が押されると、選択されているアクセント句の読みを入力された読みに変更する。
【００６１】
このとき、指示受付部１２０は、アクセント句の修正後の読みを取得し、表音情報修正部１１０へ送る。そして、表音情報修正部１１０は、取得した修正後のアクセント句の読みにより表音情報を修正する。そして、修正状態情報ファイル格納部１３１は、修正後の表音情報を修正状態情報として格納する。
【００６２】
また、操作者の指示によりアクセント修正部分２３４の内容が変更されるとアクセント型とアクセント強弱が修正される。図８に示すアクセント修正部分２３４は、「きょーわ」のアクセント型が１型であって、「きょ」にアクセントがあり、強いアクセントであることを示している。
【００６３】
アクセント型の修正は、「きょーわ」の場合はアクセント型が０〜２型の３通りある。そして、１と表示されている欄２３４１に所望の数値を入力することによりアクセント型を修正することができる。また、入力欄の右側の上下の矢印ボタン２３４２，２３４５により欄２３４１の数値を変更することができる。また、右側の選択ボタン２３４４，２３４５を選択することによりアクセント強弱を変更することができる。
【００６４】
操作者の指示により区切り修正部分２３５の内容が変更されると、区切りの種別、区切り位置が修正される。区切りの種別は、強結合２３５１、弱結合２３５２、小ポーズ２３５３、大ポーズ２３５４の中から選択できる。ここで、区切りの種別が小、大ポーズの場合は、呼気段落の終わりであることを示す。アクセント句の連結は連結ボタン２３５５を押すことによって行える。図８のように１番目のアクセント句「きょーわ」が選択されていて連結ボタン２３５５が押された場合、２番目のアクセント句「よい」と連結して、「きょーわよい」というアクセント句を構成する。
【００６５】
また、共通領域２２０の言語処理結果表示部分２２４は、修正された内容を履歴として登録するためのボタンである。言語処理結果表示部分２２４が押されると、修正状態情報ファイル格納部１３１に修正状態情報が格納される。履歴登録のタイミング、すなわち、修正された内容を修正状態情報ファイル格納部１３１に記憶するタイミングは、本実施の形態のように、履歴登録ボタン２２６を用意して操作者に行わせる方法の他に、読み、アクセント型、区切り、さらに、後述のピッチパターン形状、継続時間長の各修正インターフェースで変更されるごとに、あるいは、新たなテキストが入力された場合に、自動的に行うようにしてもよい。
【００６６】
なお、表音情報の修正と、後述の韻律情報の修正が共に行われた場合は、両者の修正内容を対とした修正状態情報が修正状態情報ファイル格納部１３１に格納される。
【００６７】
読み上げボタン２０７は、修正された合成音で読み上げさせるためのボタンである。読み上げボタン２０７が押されると、修正された表音情報あるいは韻律情報により、合成音生成部１１４、合成音出力部１１６を経て合成音が出力される。
【００６８】
また、韻律モードにおいては、図９に示す韻律情報修正画面２１０が表示される。韻律情報修正画面２１０の画面上段は、表音情報修正画面２００である。また、画面下段には、ピッチパターン修正部分２４０がある。ピッチパターン修正部分２４０は、言語処理結果表示部分２２４において操作者によって選択されたアクセント句のピッチパターンを韻律制御の結果に基づいて表示する。なお、韻律修正領域２４０における横軸は時間（フレーム）を示す。縦軸はピッチ（オクターブ）を示す。
【００６９】
また、韻律修正領域２４０に対して操作者からの指示を受け付けると、指示受付部１２０は、指示を取得し、韻律情報修正部１１２は、指示受付部１２０からの指示に基づいて音韻継続時間長およびピッチパターンを修正する。ピッチパターン修正部分２０９では、言語処理結果表示部分２２４において選択されたアクセント句のピッチパターンを中心に表示し、その音韻継続時間長およびピッチパターンの形状の修正の指示を受け付ける。
【００７０】
図９においては、１番目のアクセント句「きょーわ」が選択されており、そのピッチパターンが中心に表示され、２番目のアクセント句「よい」のピッチパターンが右側に表示されている。
【００７１】
図９に示す韻律情報修正画面２１０において、韻律情報格納部１０８に格納されている韻律情報、すなわち１次元配列で表されたデータを、間接的に修正することができる。音韻継続時間長の修正は、アクセント句内の各モーラについて、アクセント句全体について、あるいは区切りの長さについて行うことができる。アクセント句内の各モーラの境界は縦線（点線を含む）で示されている。操作者がマウスで縦線の位置を左右に動かすと、各モーラの音韻継続時間長が修正される。また、マウスでアクセント句の先頭（左端）にある縦線を左右に動かすと、アクセント句全体の音韻継続時間長が伸縮される。
【００７２】
選択されたアクセント句の音韻継続時間長が修正された場合には、他のアクセント句の時間長も、選択されたアクセント句における修正値分だけシフトする。これにより、韻律情報全体の整合性を保つことができる。
【００７３】
また、図９における２番目のアクセント句「よい」、すなわち選択されているアクセント句の隣のアクセント句の先頭にある縦線をマウスで左右に動かすと、区切り間隔の時間長が修正される。
【００７４】
ピッチパターンの形状修正は、マウスでピッチパターン上に自由曲線を描くことにより行える。図１０−１および図１０−２はピッチパターンの形状修正例を示している。図１０−１のように、ピッチパターン全体を自由曲線（点線）で修正できる。また、図１０−２のように、ピッチパターンの一部を自由曲線（点線）で修正できる。また、ピッチパターン修正部分２０９内の左端にあるスライダーバーをマウスで上下に動かすことにより、選択されているアクセント句のピッチパターン全体を上下に動かして、ピッチの高低を修正できる。
【００７５】
このように、韻律制御結果の韻律情報を表示すると共に、操作者からの指示を受け付けて、操作者が対話的に合成音を修正することができる。
【００７６】
図１１は、修正表示部１４０が表示する修正履歴ファイル画面２５０を示している。修正履歴ファイル画面２５０は、テキスト表示部分２５１と、履歴構造表示部分２５２と、全体パラメータ表示部分２５３と、修正状態情報表示部分２５４とを有している。
【００７７】
テキスト表示部分２５１は、対象となる文がテキスト中の何番目の文であるかを示す文番号、テキスト、履歴登録されている件数を示す履歴登録数を表示する。
【００７８】
履歴構造表示部分２５２は、履歴構造データ格納部１３８に格納されている履歴構造データを表示する。図１１に示すように、合成音と修正音の対応関係をツリー構造で示す。なお、図１１においては、各修正状態情報が生成された日付を、修正状態情報の識別情報として表示している。また、ルートノードは、初期データである。
【００７９】
このように、履歴構造表示部分２５２においては、各修正状態情報と初期データとの派生関係をツリー構造で表示するので、操作者は、各しゅうせい状態情報と初期データとの対応関係を容易に把握することができる。
【００８０】
また、履歴構造表示部分２５２において、操作者が所望のノードを選択すると、全体パラメータ表示部分２５３に対応する全体パラメータが表示され、かつ修正状態情報表示部分２５４に対応する修正状態情報が表示される。図１１における履歴構造表示部分２５２においては、「０３／０７／２３＿＃５」が選択されている。
【００８１】
なお、本実施の形態においては、履歴構造表示部分２５２における各修正状態情報の識別情報として、修正状態情報が生成された日付が表示されていたが、他の例としては、これにかえて、操作者によって割り当てられた修正状態情報を識別するファイル名が表示されてもよい。
【００８２】
全体パラメータ表示部分２５３は、履歴構造表示部分２５２において選択された修正状態情報が示す全体パラメータを表示する。
【００８３】
修正状態情報表示部分２５４は、履歴構造表示部分２５２において選択された修正状態情報が示す修正後の表音情報および韻律情報が表示される。具体的には、修正されたアクセント句とその修正項目を表示する。図１１においては、アクセント句「よい」のピッチパターン形状と、アクセント句「てんきです」の継続時間長が修正された場合の修正状態情報が表示されている。すなわち、「３／０７／２３＿＃５」は、「０３／０７／２３＿＃４」の修正状態からアクセント句「よい」のピッチパターン形状と、アクセント句「てんきです」の継続時間を修正した修正状態情報であることがわかる。
【００８４】
なお、本実施の形態にかかる修正状態情報表示部分２５４は、直前のノードからの修正項目を表示したが、他の例としては、修正状態情報表示部分２５４は、初期データからの修正項目を表示してもよい。
【００８５】
履歴構造表示部分２５２において、操作者が修正状態情報のノードを選択すると、そのノードに対応する修正状態情報が特定される。そして、修正状態情報に含まれる表音情報を表音情報格納部１０４に更新して格納する。また、修正状態情報に含まれる韻律情報を韻律情報格納部１０８に更新して格納する。さらに表音情報修正画面２００および韻律情報修正画面２１０の表示内容に反映させる。すなわち、更新後の表音情報および更新後の韻律情報に対する内容を表示させる。
【００８６】
このように、履歴構造表示部分２５２に表示されている修正状態情報のうちの１つを選択することにより、操作者が再現を希望する修正状態を再現し、さらに表音情報修正画面２００および韻律情報修正画面２１０上に表示させることができる。これにより、操作者は、希望する修正段階から修正を行うことができる。
【００８７】
例えば、操作者が、「０３／０７／２１＿＃２」を選択した場合には、「０３／０７／２１＿＃２」に対する修正状態情報に含まれる表音情報が表音情報格納部１０４の内容を更新して格納され、かつ「０３／０７／２１＿＃２」に対する修正状態情報に含まれる韻律情報が韻律情報格納部１０８の内容を更新して格納される。そして、「０３／０７／２１＿＃２」に対する修正状態を基準として再度修正を行うことができる。
【００８８】
また、履歴構造表示部分２５２において、各修正状態情報のノード表記を変更することができる。例えば、「０３／０７／２３＿＃５」の表記を、「修正Ｆｉｘ版」と変更できる。変更された表記は、履歴管理情報中の各修正状態情報に関する情報において、修正状態に付与する表記として格納される。このように、操作者が希望する表記に変更することができるので、操作者による認識をさらに容易にすることができる。
【００８９】
また、履歴構造表示部分２５２において、各修正状態情報を削除することができる。操作者から削除が指示された場合には、修正状態情報ファイル格納部１３１は該当する修正状態情報ファイルを削除する。そして、修正履歴ファイル生成部１３２は履歴管理情報ファイルの内容を更新する。
【００９０】
図１２から図１４は、音声合成編集装置１０の処理を示すフローチャートである。まず、テキスト取得部１００が、音声合成すべきテキストを取得すると（ステップＳ１，Ｙｅｓ）、ステップＳ２〜Ｓ８へと処理が進む。
【００９１】
すなわち、まず言語処理部１０２が、テキスト取得部１００から受け取ったテキストに対し言語処理を行う（ステップＳ２）。その結果としてアクセント句単位に分割された表音情報を生成する。次に、分割された各アクセント句に番号付けを行う（ステップＳ３）。図２に示した例では、「きょーわ」を１番、「よい」を２番、「てんきです」を３番とする。次に、各アクセント句に対応する形で表音情報を表音情報格納部１０４に格納する（ステップＳ４）。
【００９２】
次に、修正表示部１４０は、表音情報格納部１０４に格納された言語処理結果の表音情報を表示する（ステップＳ５）。次に韻律制御部１０６は、表音情報格納部１０４に格納した表音情報を基に韻律制御を行い、韻律情報を生成する（ステップＳ６）。次に、各アクセント句に対応する形で韻律情報を韻律情報格納部１０８に格納する（ステップＳ７）。次に、修正表示部１４０は、韻律情報格納部１０８に格納された韻律情報を表示する（ステップＳ８）。その後、Ａへもどり、テキスト取得部１００が新たなテキストを取得すると（ステップＳ１，Ｙｅｓ）、再びステップＳ２〜Ｓ８へと進む。また、新たなテキストを取得しない場合には（ステップＳ１，Ｎｏ）、ステップＳ１１へ進む。
【００９３】
ステップＳ１１では、表音情報修正部１１０において表音情報が修正されたかどうかを判定する。そして、修正された場合には（ステップＳ３，Ｙｅｓ）、ステップＳ３に進む。また、修正されなかった場合には（ステップＳ３，Ｎｏ）、ステップＳ１２へ進む。
【００９４】
ステップＳ１２では、韻律情報修正部１１２において韻律情報が修正されたかどうかを判定する。そして、修正された場合には（ステップＳ１２，Ｙｅｓ）ステップＳ７に進む。また、修正されなかった場合には（ステップＳ１２，Ｎｏ）、ステップＳ１３へ進む。
【００９５】
ステップＳ１３では、修正状態の履歴登録が指示されたかどうかを判定する。ここで、履歴登録の指示とは、現段階における修正状態を修正状態情報として登録する旨の指示である。そして、指示された場合には（ステップＳ１３，Ｙｅｓ）、図１３に示すＢへ進む。また、指示されなかった場合には（ステップＳ１３，Ｎｏ）、ステップＳ１４へ進む。
【００９６】
図１３のＢに進んだ場合、まず、修正状態情報ファイルが生成され修正状態情報ファイル格納部１３１に格納される（ステップＳ２０）。次に、修正履歴ファイル生成部１３２によって修正履歴ファイルが生成され、修正履歴ファイル格納部１３４に格納される（ステップＳ２１）。そして、履歴登録の内容を表音情報修正画面２００および韻律情報修正画面２１０の表示内容に反映させる。すなわち、表示内容を更新する（ステップＳ２２）。そして、図１２に示すＡに戻る。
【００９７】
図１２におけるステップＳ１４では、修正表示部１４０が修正履歴として表示しているものの中から、操作者により所定の修正状態が選択されたかどうかを判定する。そして、選択された場合には（ステップＳ１４，Ｙｅｓ）、図１４に示すＣへ進む。また、選択されなかった場合には（ステップＳ１４，Ｎｏ）、ステップＳ１５へ進む。
【００９８】
図７のＣへ進んだ場合、まず、操作者から選択された修正状態情報、すなわち表音情報と韻律情報を修正状態情報ファイル格納部１３１から取得する（ステップＳ３０）。次に、取得した表音情報により修正表示部１４０の表示内容を更新する（ステップＳ３１）。さらに、取得した表音情報を表音情報格納部１０４に格納する（ステップＳ３２）。次に、取得した韻律情報により修正表示部１４０の表示内容を更新する（ステップＳ３３）。さらに、取得した韻律情報を韻律情報格納部１０８に格納する（ステップＳ３４）。そして、図１２に示すＡに戻る。
【００９９】
図１２のステップＳ１５では、合成音の出力が指示された場合には（ステップＳ１５，Ｙｅｓ）、ステップＳ９へ進む。合成音の出力が指示されなかった場合には（ステップＳ１５，Ｎｏ）、ステップＳ１６へ進む。
【０１００】
ステップＳ９において、合成音生成部１１４は、韻律情報格納部１０８に格納した韻律情報に基づいて合成音を生成する。次に、合成音出力部１１６は、合成音生成部１１４が生成した合成音をＤＡ変換して出力する（ステップＳ１０）。その後、Ａに戻る。
【０１０１】
ステップＳ１６では、終了が指示された場合は（ステップＳ１６，Ｙｅｓ）システムを終了する。修正が指示されなかった場合は（ステップＳ１６，Ｎｏ）、Ａに戻る。以上で、音声合成編集装置１０の処理が完了する。
【０１０２】
図１５は、実施の形態に係る音声合成編集装置１０のハードウェア構成を示す図である。音声合成編集装置１０は、ハードウェア構成として、音声合成編集装置１０における音声編集処理を実行する音声編集プログラムなどが格納されているＲＯＭ５２と、ＲＯＭ５２内のプログラムに従って音声合成編集装置１０の各部を制御し、バッファリング時間変更処理等を実行するＣＰＵ５１と、ワークエリアが形成され、音声合成編集装置１０の制御に必要な種々のデータを記憶するＲＡＭ５３と、ネットワークに接続して、通信を行う通信I／Ｆ５７と、各部を接続するバス６２とを備えている。
【０１０３】
先に述べた音声合成編集装置１０における音声編集プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
【０１０４】
この場合には、音声編集プログラムは、音声合成編集装置１０において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【０１０５】
また、本実施の形態の音声編集プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【０１０６】
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【産業上の利用可能性】
【０１０７】
以上のように、本発明にかかる音声編集装置、音声編集方法および音声編集プログラムは、合成音の編集に有用であり、特に、対話型の音声編集に適している。
【図面の簡単な説明】
【０１０８】
【図１】音声合成編集装置１０を示すブロック図である。
【図２】表音情報格納部１０４に格納される表音情報のデータ構成を模式的に示す図である。
【図３】韻律情報格納部１０８が格納する韻律情報のデータ構成を模式的に示す図である。
【図４】修正管理部１３０の詳細な機能構成を示すブロック図である。
【図５】修正状態情報ファイル格納部１３１に格納される修正後の韻律情報のデータ構成を模式的に示す図である。
【図６】修正履歴ファイル格納部１３４に格納される修正履歴ファイルのデータ構成を模式的に示す図である。
【図７】履歴構造データ格納部１３８に格納される履歴構造データのデータ構成を模式的に示す図である。
【図８】表音情報を修正する際に修正表示部１４０が表示する表音情報修正画面２００を示す図である。
【図９】韻律情報を修正する際に修正表示部１４０が表示する韻律情報修正画面２１０を示す図である。
【図１０−１】ピッチパターンの形状修正例を示す図である。
【図１０−２】ピッチパターンの形状修正例を示す図である。
【図１１】修正表示部１４０が表示する修正履歴ファイル画面２５０を示す図である。
【図１２】音声合成編集装置１０の処理を示すフローチャートである。
【図１３】音声合成編集装置１０の処理を示すフローチャートである。
【図１４】音声合成編集装置１０の処理を示すフローチャートである。
【図１５】音声合成編集装置１０のハードウェア構成を示す図である。
【符号の説明】
【０１０９】
１０  音声合成編集装置
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５７  通信Ｉ／Ｆ
６２  バス
１００  テキスト取得部
１０１  テキスト入力部
１０２  言語処理部
１０４  表音情報格納部
１０６  韻律制御部
１０８  韻律情報格納部
１１０  表音情報修正部
１１２  韻律情報修正部
１１４  合成音生成部
１１６  合成音出力部
１２０  指示受付部
１２１  指示入力部
１３０  修正管理部
１３１  修正状態情報ファイル格納部
１３２  修正履歴ファイル生成部
１３４  修正履歴ファイル格納部
１３６  履歴構造データ生成部
１３８  履歴構造データ格納部
１４０  修正表示部
【図１】
2005345699.tif 000003
【図２】
2005345699.tif 000004
【図３】
2005345699.tif 000005
【図４】
2005345699.tif 000006
【図５】
2005345699.tif 000007
【図６】
2005345699.tif 000008
【図７】
2005345699.tif 000009
【図８】
2005345699.tif 000010
【図９】
2005345699.tif 000011
【図１０−１】
2005345699.tif 000012
【図１０−２】
2005345699.tif 000013
【図１１】
2005345699.tif 000014
【図１２】
2005345699.tif 000015
【図１３】
2005345699.tif 000016
【図１４】
2005345699.tif 000017
【図１５】
2005345699.tif 000018