(57)【要約】【課題】合成音声の生成に要する時間に処理単位間で大きな差が生じることを避け、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制する音声合成装置を提供する。【解決手段】音声合成装置は、外部から音声合成の対象となるテキストデータを取得するテキスト取得部１１と、テキストデータに形態素解析・構文解析を行う言語処理部１２と、テキストデータのアクセントや品詞などの韻律や言語に関わる属性に基づいて、合成単位列を音声合成部１４に出力する韻律処理部１３と、合成単位列から合成音声を生成する音声合成部１４と、出力された所定の量の合成音声を蓄積後、または、出力された合成音声を逐次的に再生する音声波形出力部１５とを備えている。【選択図】      図１
2007264503.tif 000002
【特許請求の範囲】
【請求項１】
入力された合成単位列に含まれる所定の処理単位内の複数の合成単位に対応する合成素片の波形データをそれぞれ取得して、これら波形データを接続することで音声を合成する音声合成装置において、
前記合成素片の波形データ以外の属性情報を格納した属性情報記憶媒体と、
前記合成素片の波形データをそれぞれ格納し、かつ、前記格納した波形データを取得するためのデータ取得時間が異なる複数の波形データ記憶媒体と、
前記波形データが格納されている波形データ記憶媒体の識別子を含むデータ配置情報を前記合成素片毎に格納したデータ配置情報記憶媒体と、
前記処理単位内の前記各合成単位の属性情報に基づいて、前記各合成単位に対応する合成素片候補を前記属性情報記憶媒体からそれぞれ取得する候補取得部と、
前記合成単位毎に取得した複数の合成素片候補のそれぞれの組み合わせから構成された複数の系列を求め、前記処理単位内における前記各合成素片の波形データのデータ取得時間の合計がデータ取得上限時間を越えないように、前記データ配置情報に基づいて前記複数の系列から一の系列を選択する合成素片選択部と、
前記選択した一の系列上にある合成素片を組み合わせて合成素片列を生成する合成素片生成部と、
前記合成素片列に含まれる合成素片の波形データを前記各波形データ記憶媒体からそれぞれ取得して接続する波形生成部と、
を備える
ことを特徴とする音声合成装置。
【請求項２】
前記データ取得上限時間が、前記各波形データ記憶媒体に対する取得回数に換算されている
ことを特徴とする請求項１記載の音声合成装置。
【請求項３】
前記データ取得上限時間が、前記各波形データ記憶媒体に対するアクセス時間に換算されている
ことを特徴とする請求項１記載の音声合成装置。
【請求項４】
前記データ取得上限時間が、変更可能である
ことを特徴とする請求項１記載の音声合成装置。
【請求項５】
前記合成素片選択部は、前記データ取得上限時間を越えないように、前記データ配置情報に基づいて前記複数の系列から一の系列を選択する場合に、
前記データ取得上限時間を越えない複数の系列を選択し、
前記データ取得上限時間を段階的に分割したランクによって前記系列を分け、
前記ランク毎にコストが低い系列を選択し、
前記コストが低い系列の集合からさらにコストが低い複数の系列を選択する
ことを特徴とする請求項１記載の音声合成装置。
【請求項６】
前記合成素片選択部は、
前記データ取得上限時間を越えない前記複数の系列から最もコストが低い一の系列を選択する
ことを特徴とする請求項１または５記載の音声合成装置。
【請求項７】
前記属性記憶媒体とデータ配置情報記憶媒体とがメモリである
ことを特徴とする請求項１記載の音声合成装置。
【請求項８】
前記波形データ記憶媒体が、メモリ、ハードディスク、または、フラッシュメモリである
ことを特徴とする請求項１記載の音声合成装置。
【請求項９】
入力された合成単位列に含まれる所定の処理単位内の複数の合成単位に対応する合成素片の波形データをデータ取得時間が異なる複数の波形データ記憶媒体からそれぞれ取得して、これら波形データを接続することで音声を合成する音声合成方法において、
前記処理単位内の前記各合成単位の属性情報に基づいて、前記各合成単位に対応する合成素片候補を、前記合成素片の波形データ以外の属性情報を格納した属性情報記憶媒体からそれぞれ取得し、
前記合成単位毎に取得した複数の合成素片候補のそれぞれの組み合わせから構成された複数の系列を求め、前記処理単位内における前記各合成素片の波形データのデータ取得時間の合計がデータ取得上限時間を越えないように、前記波形データが格納されている波形データ記憶媒体の識別子を含むデータ配置情報に基づいて前記複数の系列から一の系列を選択し、
前記選択した一の系列上にある合成素片を組み合わせて合成素片列を生成し、
前記合成素片列に含まれる合成素片の波形データを前記各波形データ記憶媒体からそれぞれ取得して接続する
ことを特徴とする音声合成方法。
【請求項１０】
入力された合成単位列に含まれる所定の処理単位内の複数の合成単位に対応する合成素片の波形データをデータ取得時間が異なる複数の波形データ記憶媒体からそれぞれ取得して、これら波形データを接続することで音声をコンピュータによって合成する音声合成プログラムにおいて、
前記処理単位内の前記各合成単位の属性情報に基づいて、前記各合成単位に対応する合成素片候補を、前記合成素片の波形データ以外の属性情報を格納した属性情報記憶媒体からそれぞれ取得し、
前記合成単位毎に取得した複数の合成素片候補のそれぞれの組み合わせから構成された複数の系列を求め、前記処理単位内における前記各合成素片の波形データのデータ取得時間の合計がデータ取得上限時間を越えないように、前記波形データが格納されている波形データ記憶媒体の識別子を含むデータ配置情報に基づいて前記複数の系列から一の系列を選択し、
前記選択した一の系列上にある合成素片を組み合わせて合成素片列を生成し、
前記合成素片列に含まれる合成素片の波形データを前記各波形データ記憶媒体からそれぞれ取得して接続する
ことを特徴とする音声合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、音素記号・音節記号などの音韻記号、または、自然言語の表記に用いる文字の系列から音声を合成する音声合成装置、音声合成方法及び音声合成プログラムに関するものである。
【背景技術】
【０００２】
従来の音声合成装置では音質向上の一つの方法として、非特許文献１に開示されているように、利用する波形データを増やすことが効果的であることが知られている。この方法を実現するために、メモリとハードディスクに多量の波形データを分散配置して利用する方法が検討されている。
【０００３】
また、複数の合成単位の組み合わせである合成単位列（処理単位）毎に合成音声を生成する音声合成装置において、多量の波形データをメモリとハードディスクに分散配置する場合、高速なデータ取得が可能であるメモリに利用頻度の高い波形データを配置して優先的に利用する方法が特許文献１で開示されている。
【０００４】
さらに、各合成素片（特許文献１中では「音声素片」と表現されている）の波形データが格納されている記憶装置へのアクセス速度に関するコスト（アクセス速度コスト）を含む複数のサブコストに基づいて、合成素片を先頭から順次的に決定する方法が特許文献２で開示されている。
【０００５】
特許文献１，２に開示されている方法によれば、複数の処理単位に対する合成音声を生成するのに要する合計の処理時間の増大を不確実ながらもある程度抑制することができる。
【０００６】
しかし、それら複数の処理単位中のある処理単位に対応する合成音声を生成する際に、低速なデータ取得しか成し得ないハードディスクに配置された波形データの利用が集中する場合がある。この場合に、ハードディスクから波形データを取得するのに要する時間が、その処理単位に対する合成音声の生成に要する時間において過大となり、合成音声の生成に要する時間に処理単位間で大きな差が生じ得ることがある。ところがこの差を回避する方法がなく、また、データの取得に起因する合成音声の生成に要する時間の増大を確実に抑制する方法もないという問題点がある。
【非特許文献１】日本音響学会  ２００４年秋季研究発表会  公演論文集  （Ｐ．３６９−Ｐ．３７０）
【特許文献１】特開平７−１４１０００号公報
【特許文献２】特開２００５−２６６０１０公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記したように従来技術には、合成音声の生成に要する時間に処理単位間で大きな差が生じることを避けることができないという問題点がある。また、データの取得に起因する合成音声の生成に要する時間の増大を確実に抑制することができないという問題点がある。
【０００８】
そこで、本発明は上記問題点を解決するためになされたものであって、合成音声の生成に要する時間に処理単位間で大きな差が生じることがなく、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制する音声合成装置、音声合成方法及び音声合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、入力された合成単位列に含まれる所定の処理単位内の複数の合成単位に対応する合成素片の波形データをそれぞれ取得して、これら波形データを接続することで音声を合成する音声合成装置において、前記合成素片の波形データ以外の属性情報を格納した属性情報記憶媒体と、前記合成素片の波形データをそれぞれ格納し、かつ、前記格納した波形データを取得するためのデータ取得時間が異なる複数の波形データ記憶媒体と、前記波形データが格納されている波形データ記憶媒体の識別子を含むデータ配置情報を前記合成素片毎に格納したデータ配置情報記憶媒体と、前記処理単位内の前記各合成単位の属性情報に基づいて、前記各合成単位に対応する合成素片候補を前記属性情報記憶媒体からそれぞれ取得する候補取得部と、前記合成単位毎に取得した複数の合成素片候補のそれぞれの組み合わせから構成された複数の系列を求め、前記処理単位内における前記各合成素片の波形データのデータ取得時間の合計がデータ取得上限時間を越えないように、前記データ配置情報に基づいて前記複数の系列から一の系列を選択する合成素片選択部と、前記選択した一の系列上にある合成素片を組み合わせて合成素片列を生成する合成素片生成部と、前記合成素片列に含まれる合成素片の波形データを前記各波形データ記憶媒体からそれぞれ取得して接続する波形生成部と、を備えることを特徴とする音声合成装置である。
【発明の効果】
【００１０】
本発明によれば、合成音声の生成に要する時間に処理単位間で大きな差が生じることがなく、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制する。
【発明を実施するための最良の形態】
【００１１】
（用語の定義）
本発明の実施形態を説明する前に、本明細書で利用する用語を定義する。
【００１２】
「合成単位」は、合成音声、または、人によって発話された音声を構成する基本となる要素であり、かつ、ある一定の共通特性を有する波形データの集合を複数個形成する際の単位の種類である。従来例では、半音素・音素・音節・Ｄｉｐｈｏｎｅ、ＣＶＣ・ＶＣＶ（Ｖは母音、Ｃは子音）などがある。
【００１３】
「合成単位列」は、複数個の合成単位の系列である。
【００１４】
「処理単位」は、所定の制約を満たした複数個の合成単位の系列である。
【００１５】
「制約」とは、例えば、個数や目標となる合成音声の各合成単位が対応する区間の継続時間長の総和などがある。
【００１６】
「音韻記号」は、ある合成単位によってカテゴリー化された各集合に与えられたラベルに相当する。例えば、合成単位を音素とした場合、音素記号がこれに相当する。従来例では、音素記号、音声記号、音節記号やそれらの組み合わせなどがある。
【００１７】
「合成素片」は、ある合成単位によってカテゴリー化された集合群の何れかに属する要素を表す。例えば、音素を合成単位とした場合、同一の音素記号が付与された収録音声のある１区間の波形データの集合には、一定の共通した特性をもつ波形データのみが属することとなる。これらの波形データに、波形データ以外の属性、例えば、発声対象である自然言語における当該区間の言語に関する属性（アクセント核からの距離、当該区間を含む単語の品詞など）や発声された音声の当該区間の音響属性（基本周波数など）に関する値（属性値）などを付与することで、一つの合成素片となる。
【００１８】
「素片属性」は、合成素片が持つ波形データ以外の属性を表す。例えば、上記言語に関する属性（言語属性）や音響属性なども含まれる。
【００１９】
「素片データ」は、合成素片が有する属性に対する値（属性値）の総称である。例えば、各合成素片の波形データや素片属性「基本周波数」のデータなどを総称している。
【００２０】
「素片ＩＤ」は、各合成素片が持ち、自他の合成素片を識別するための識別子である。
【００２１】
以下、上記用語を利用して本発明の各実施形態について図面に基づいて説明する。
【００２２】
（第１の実施形態）
以下、本発明の第１の実施形態の音声合成装置について図１から図１４に基づいて説明する。
【００２３】
（１）音声合成装置の構成
図１は、本実施形態に係わる音声合成装置１０を示すブロック図である。
【００２４】
音声合成装置１０は、外部から音声合成の対象となるテキストデータを取得するテキスト取得部１１と、テキストデータに形態素解析・構文解析を行う言語処理部１２と、テキストデータのアクセントや品詞などの韻律や言語に関わる属性に基づいて、合成単位列を音声合成部１４に出力する韻律処理部１３と、合成単位列から合成音声を生成する音声合成部１４と、出力された所定の量の合成音声を蓄積後、または、出力された合成音声を逐次的に再生する音声波形出力部１５とを備えている。
【００２５】
音声合成装置１０は、上記各部１１〜１４の機能を実現するプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、音声素片データを格納するデータ取得時間の異なる複数の記憶媒体は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどを適宜利用して実現することができる。
【００２６】
なお、韻律処理部１３から音声合成部１４に引き渡される合成単位列を構成するそれぞれの「合成単位」には、音韻記号や目標とする韻律情報やそれが対応する区間を含むテキストに関わる言語情報などが付与されている。この合成単位列によって、目標とする合成音声が表現されて、音声合成部１４に渡される。
【００２７】
「韻律情報」には、基本周波数、継続時間長、メルケプストラム係数、及びパワーなどがある。
【００２８】
「言語情報」には、単語、アクセント句の音節数、または、モーラ数・アクセント型や、各合成単位の対応する単語、アクセント句内での音節、または、モーラを単位とした位置や、各合成単位が含まれる音節がアクセント核か否かを表すフラグなどがある。
【００２９】
（２）音声合成部１４の構成
図２に基づいて音声合成部１４について説明する。図２は、音声合成部１４を示すブロック図である。
【００３０】
音声合成部１４は、記録媒体１１０、合成素片選択部１３０、波形生成部１４０から構成されている。
【００３１】
記録媒体１１０は、全ての合成素片の全ての素片データ（Ｍ−１．．．Ｍ−ｋ、Ｈ−１．．．Ｈ−ｋ）を格納したデータ取得時間に長短を有する複数の記憶媒体から構成されるている。具体的には、メモリ１１１とハードディスク（以下、「ＨＤＤ」という）１１２から構成されている。メモリ１１１は、全ての合成素片の全ての素片属性に関する素片データと一部の合成素片の全ての波形データと、全ての合成素片の波形データが格納されている記憶媒体がメモリ１１１かＨＤＤ１１２の何れであるかを記録したデータ配置情報１１３を格納している。ＨＤＤ１１２は、メモリ１１１に波形データを格納していない合成素片の波形データを格納している。
【００３２】
合成素片選択部１３０は、韻律制御部１３から入力された合成単位列の各合成単位が有する目標合成音声の音韻・韻律情報・言語情報と、メモリ１１１に格納されている各合成素片の所定の素片属性の素片データと、前記データ配置情報１１３と、ＨＤＤ１１２からの波形データの取得に関する合成単位列に対する制約とに基づいて、合成単位毎に合成素片を選択して複数の合成素片の組み合わせである合成素片列を生成する。
【００３３】
波形生成部１４０は、合成単位毎に選択された合成素片の波形データをメモリ１１１とＨＤＤ１１２から取得し、接続することで合成単位列に対応する合成音声を生成する。
【００３４】
なお、本実施形態の「波形データ」は、波形データを符号化したパラメータ系列でも良く、さらに、ピッチマークなどの「波形データ」と合わせて波形生成部１４０で利用するデータが付随していても良く、これに限定されるものではない。
【００３５】
また、本実施形態では、データ配置情報１１３に記録されている素片データの例として「波形データ」を例示しているが、合成素片選択部１３０より後段の処理で利用する波形データ、または、所定の素片属性に関する素片データであり、かつ、全合成素片にわたっては唯一の記憶媒体に格納されていない（複数の記憶媒体に分散配置されている）場合であれば良く、これに限定されるものではない。
【００３６】
また、データ配置情報１１３に記録されている情報として「全ての合成素片」に関して記録することを例示したが、結果的に全ての合成素片の波形データに関する素片データが格納されている記憶媒体が一意に決定できれば良く、例えば、データ配置情報１１３に記録されていないことによって、ある合成素片の所望の素片データが格納されている記憶媒体が決定する場合でもよく、これに限定されるものではない。
【００３７】
なお、この音声合成部１４は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。
【００３８】
すなわち、合成素片の素片データを格納するデータ取得時間の異なる属性情報記憶媒体・波形データ記憶媒体と、合成素片の波形データが配置されている記憶媒体を記録したデータ配置情報と、前記各波形データ記憶媒体からの波形データの取得に関する合成単位列に対する制約と前記データ配置情報とに少なくとも基づいて複数の合成素片の組み合わせである合成素片列を生成する合成素片選択部１３０と、前記合成素片列に含まれる合成素片の波形データを前記記憶媒体より取得して接続する波形生成部１４０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。
【００３９】
（３）記録媒体１１０の構成
本実施形態では、一般的なコンピュータの構成を例として、記憶媒体１１０を主記憶装置であるメモリ１１１、補助記憶装置であるＨＤＤ１１２（ＨＤ、ハードディクスと同義語として表現）の組み合わせを例示する。
【００４０】
しかし、本実施形態の装置構成にとらわれることなく、外部記憶装置（リムーバブルディスク）を構成に取り入れてもよい。外部記憶装置としては、リムーバブルハードディスクなどの磁気ディスク、ＣＤやＤＶＤなどの光ディスク、各種フラッシュメモリ（ＮＡＮＤ型、ＮＯＲ型、ＤｉＮＯＲ型、ＯＲＮＡＮＤ型など）などの半導体メモリが追加され、上記した主記憶装置、補助記憶装置、外部記憶装置から複数の記憶媒体を利用する構成を採っても良い。
【００４１】
また、補助記憶装置の代わりとして外部記憶装置が利用され、上記した主記憶装置、外部記憶装置から複数の記憶媒体を利用する構成を採っても良い。
【００４２】
このように、データ取得時間に長短を有する複数の記憶媒体から構成されれば、どのような組み合わせでも良く、本実施形態の例に限定されるものではない。
【００４３】
（４）音声合成装置１０の動作
次に、図１及び図３を用いて、本実施形態に係わる音声合成装置１０の動作について説明する。図３は、音声合成装置１０の動作を示すフローチャートである。
【００４４】
まず、テキスト取得部１１は、外部から音声合成の対象となるテキストデータを取得する（Ｓ３０１）。
【００４５】
次に、言語処理部１２は、テキスト取得部１１が取得したテキストデータに形態素解析を施して、テキストデータを形態素に分割する（Ｓ３０２）。なお、膠着語ではない言語においては、このステップが省略されることがある。
【００４６】
次に、言語処理部１２は、分割された形態素の系列に対して構文解析を施し、読み情報・品詞・活用形・形態素間の係り受けなどの属性値を各形態素に付与する（Ｓ３０３）。
【００４７】
次に、韻律処理部１３は、言語処理部１２から入力された所定の属性に関する値が付与された形態素の系列の各形態素に対して、その属性値に基づいて、音韻記号列・アクセント型などの韻律に関わる属性値を追加する（Ｓ３０４）。
【００４８】
次に、韻律処理部１３は、Ｓ３０３，Ｓ３０４で各形態素に付与された属性値に基づいて、合成音声の目標となる韻律情報を合成単位毎に生成し、各々が音韻記号、韻律情報、言語情報を持つ複数の合成単位から成る合成単位列を生成する（Ｓ３０５）。本実施形態では、音素を合成単位として利用している。
【００４９】
次に、音声合成部１４は、所定の制約を満たす複数個の合成単位からなる合成単位列を複数個形成し、各々の合成単位列を処理単位とする（Ｓ３０６）。本実施形態では、処理単位に含まれる合成単位の目標継続時間長の総和が所定の時間以内となるように先頭から順に分割する。
【００５０】
次に、音声合成部１４は、対応する合成音声をまだ生成していない処理単位の内、先頭の処理単位に対応する合成音声を生成し、音声波形出力部１５に出力する（Ｓ３０７）。このＳ３０７に関しては、後に別途詳述する。
【００５１】
次に、音声波形出力部１５は、音声合成部１４において生成された合成音声の再生を開始し、直ちにＳ３０９に移行する。
【００５２】
Ｓ３０７及びＳ３０８の処理は、入力されたテキストデータに対応する全ての処理単位に対して行われるまで繰り返される（Ｓ３０９）。
【００５３】
なお、Ｓ３０１〜Ｓ３０４において、解析や必要なデータ取得に使用するデータベースが必要であれば、適宜補えば良い。
【００５４】
また、Ｓ３０５において、本実施形態では音素を合成単位としたが、これに限定するものではない。
【００５５】
また、Ｓ３０６において、本実施形態では、各合成単位の継続時間長の総和を基準として合成単位列を分割して複数の処理単位を形成したが、先頭から順に所定の個数の合成単位から成る処理単位に分割しても良い。
【００５６】
また、本実施形態では、Ｓ３０６において所定の制約を設けて複数個の処理単位を形成したが、例えば、韻律処理部１３から入力された合成単位列全体が所定の制約を満たす場合などのように、制約を設けずに、韻律処理部１３から入力された合成単位列全体を１つの処理単位とみなして、以降の処理を行っても良い。この場合、Ｓ３０７において音声合成部１４は処理単位を選択する必要がなく。また、Ｓ３０８において音声波形出力部１５はＳ３０９に移行する必要がなく、Ｓ３０９の処理は省略される。
【００５７】
（５）音声合成部１４の動作
次に、図２及び図４を用いて、音声合成部１４の動作について説明する。図４は、音声合成部１４の１つの処理単位に対する動作を示すフローチャートである。
【００５８】
（５−１）予備選択
まず、合成素片選択部１３０は、前記所定の処理単位に含まれる合成単位毎に複数の合成素片を予備的に選択し、候補数を絞り込む。すなわち、予備選択を行う（Ｓ４０１）。この予備選択は、第１予備選択と第２予備選択の二段階がある。
【００５９】
（５−１−１）第１予備選択
第１予備選択は、各合成単位において、同一の音韻記号が付与された合成素片の集合を選択する。すなわち、その音韻記号を用いて合成素片の集合を選択して、目標となる合成音声の各合成単位が対応する区間を生成するのに利用する合成素片の選択の幅を限定する。これによって、当該区間を構成するのに適した一定の共通する特性を有する波形データをもつ合成素片が後の処理によって選択されることを保証する。
【００６０】
（５−１−２）第２予備選択
第２予備選択は、第１予備選択で選択された同一の音韻記号が付与された合成素片の集合の各要素と目標となる韻律情報、言語情報が付与された合成単位とを以下のようにして比較する。
【００６１】
所定のＮＫ個の各属性Ｋに関して、図５のように、合成単位Ｔｉ（ｉ＝０，・・・，ｎ−１）が有する目標とする韻律情報あるいは言語情報ＡｔｔｒｉｂＫ（Ｔｉ）と各合成素片Ｕｉｊ（ｊ＝０，・・・，Ｍｉ−１）の有する属性値ＡｔｔｒｉｂＫ（Ｕｉｊ）との差異の程度ｄｉｆｆＴＡＲＧＥＴ，Ｋ（Ｔｉ，Ｕｉｊ）を算出する。算出には、属性Ｋ毎に定められたターゲットサブコスト関数ＳｕｂＣｏｓｔＴＡＲＧＥＴ，Ｋ（ＡｔｔｒｉｂＫ（Ｔｉ），ＡｔｔｒｉｂＫ（Ｕｉｊ））を用いる。
【数１】
2007264503.tif 000003
【００６２】
それら所定の各属性に関する目標の合成単位Ｔｉと各合成素片Ｕｉｊとの差異ｄｉｆｆＴＡＲＧＥＴ，Ｋ（Ｔｉ，Ｕｉｊ）の重み付き和（重みｗｋ（ｋ＝１，・・・，ＮＫ））をもって、合成単位Ｔｉと各合成素片Ｕｉｊとの差異の程度ＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）（ターゲットコスト）を算出する。
【数２】
2007264503.tif 000004
【００６３】
その後、合成単位Ｔｉにおいて、目標となる合成音声の要素である各合成単位との差異の程度ＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）が小さいものから順に所定の個数Ｍの合成素片をＵｉｊ（ｊ＝０，・・・，Ｍｉ−１）から選択し、それら選択された合成単位ＴｉのＵＳＥＬＥＣＴＥＤ，ｉｊ（ｊ＝０，・・・，Ｍ−１）を以降の処理対象とする。この処理を、処理単位内の全ての合成単位Ｔｉ（ｉ＝０，・・・，ｎ−１）に対して行う。
【００６４】
なお、本実施形態では、目標となる合成音声の要素である各合成単位との差異ＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）を、各属性Ｋに関する差異ｄｉｆｆＴＡＲＧＥＴ，Ｋ（Ｔｉ，Ｕｉｊ）の重み付き和をもって算出したが、例えば、積によって算出されても良く、これに限定させるものではない。
【００６５】
また、本実施形態では、各合成単位において所定の個数を上限とした合成素片を選択したが、例えば、差異の程度ＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）の値に対する閾値を設けて、各合成単位にに対して相応しい合成素片を閾値処理によって選択しても良く、これに限定させるものではない。
【００６６】
また、本実施形態では、以降の処理量の削減を目的として、各合成単位において所定の個数を上限とした合成素片を予備的に選択したが、例えば、合成素片の数が前記個数以下である場合のように、以降の処理が十分に高速に行えるのであれば選択する処理は必須ではない。
【００６７】
（５−２）合成素片列の決定
次に、Ｓ４０２からＳ４０９まで合成素片選択部１３０は、Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｉｎｇ（ＤＰ）によって、Ｓ４０１で合成単位Ｔｉ  （ｉ＝０，・・・，ｎ−１）毎に予備的に選択されている合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ（ｊ＝０，・・・，Ｍ−１）をノード（Ｎｏｄｅ）とした合成素片の系列であるパス（Ｐａｔｈ）の探索（仮説展開と評価）を行い、複数個の合成素片からなる合成素片列を複数本、当該処理単位に対して決定する。
【００６８】
より詳細には、合成単位Ｔｉと比較して選択された合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ毎に（ｊ＝０，・・・，Ｍ−１）、その合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊが、合成素片ＵＳＥＬＥＣＴＤ，（ｉ−１）ｊに接続されている合成単位Ｔｉ−１以前の全てのパス（合成素片の系列）に後続することを仮定する。それら仮定されたＴｉ以前のパス（仮説パス）を評価する。その内、評価結果が上位Ｑ位までの仮説パスのみを選択し、パス（合成素片の系列）を一意に特定できる情報と評価結果のＱつの組を合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊに記録する。
【００６９】
この一連の処理を合成単位Ｔｉと比較して選択された全ての合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ（ｊ＝０，・・・，Ｍ−１）で行い（Ｓ４０３からＳ４０８）、完了後、後続の合成単位Ｔｉ＋１に進んで同様の操作を行う（Ｓ４０２からＳ４０９）。
【００７０】
（５−３）Ｓ４０４からＳ４０７までの処理
以下では、Ｓ４０４からＳ４０７までの処理に対して、図６〜図１０を参照しながら例示する。
【００７１】
まず、合成素片選択部１３０は、図６（ａ）のように、合成単位Ｔ１の合成素片ＵＳＥＬＥＣＴＥＤ，１ｊ（ｊ＝０，・・・，４）に接続されているＴ１以前の全てのパス（破線及び太実線）に当該合成素片ＵＳＥＬＥＣＴＥＤ，２０（合成単位Ｔ２の合成素片ｊ＝０）が接続することを仮定する（破線及び太実線）。記憶媒体１１０から波形データの取得に関する当該合成単位列（処理単位：Ｔ０からＴ４）に対する制約を満たさないパス（（ＵＳＥＬＥＣＴＥＤ，００,ＵＳＥＬＥＣＴＥＤ，１１,ＵＳＥＬＥＣＴＥＤ，２０）、（ＵＳＥＬＥＣＴＥＤ，０３,ＵＳＥＬＥＣＴＥＤ，１４,ＵＳＥＬＥＣＴＥＤ，２０））をそれら仮定したパスの中から除外し、以後の評価対象から外す（太実線）（Ｓ４０４）。
【００７２】
（５−３−１）制約の適用方法
記憶媒体１１０から波形データの取得に関する当該合成単位列（処理単位）に対する制約の適用方法について詳述する。
【００７３】
本実施形態では、制約として、合成素片選択部１３０より後の処理で利用する素片データ（波形データ）をＨＤＤ１１２から取得する処理単位当たりの上限回数が与えられた場合を例示する。
【００７４】
データ配置情報１１３には、全ての合成素片に対して、合成素片選択部１３０より後の処理で利用する波形データ、または、所定の素片属性の素片データが格納されている記憶媒体が判別できるように、各合成素片の素片ＩＤと各記憶媒体の識別子とが対応付けて格納されている（図６（ｂ）参照）。
【００７５】
本実施形態では、波形生成部１４０で利用する波形データに関して、図６（ｂ）のように、全合成素片（４８９２個）の素片ＩＤ（１〜４８９２）と波形データが格納されている記憶媒体の識別子（メモリ１１１は「１」、ＨＤＤ１１２は「２」）とが対応付けて格納されている。
【００７６】
まず、仮定したパス上の各合成素片の素片ＩＤを用いて、合成素片選択部１３０より後段の処理で利用する各合成素片の所定の素片データが何れの記憶媒体に格納されているのかをデータ配置情報１１３を用いて導出する。
【００７７】
本実施形態では、波形生成部１４０で利用する各合成素片の波形データがメモリ１１１かＨＤＤ１１２の何れに保存されているのかを判別する。図６（ａ）の合成素片（丸印）上に記した数字は、格納されている記憶媒体の識別子を示したものである。「１」はメモリ１１１を表し、「２」はＨＤＤ１１２を表す。
【００７８】
次に、合成素片選択部１３０より後段の処理において処理単位に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約と、仮定した各パス上にある全合成素片の前記所定の素片データの全記憶媒体における配分状況とを比較し、制約を満たさない仮定したパスを以降の評価対象から削除する。
【００７９】
本実施形態では、制約として、波形生成部１４０において処理単位（合成単位Ｔ０から合成単位Ｔ４  までの合成単位列）に対する合成音声を生成する際にＨＤＤ１１２から波形データを取得する上限回数を２回と定め、図６（ａ）のように、合成単位Ｔ２の合成素片ｊ＝０（ＵＳＥＬＥＣＴＥＤ，２０）に接続するパス（破線と太実線）の内、波形生成部１４０においてＨＤＤ１１２から３回以上波形データを取得する必要があるパス（太実線：（ＵＳＥＬＥＣＴＥＤ，００,ＵＳＥＬＥＣＴＥＤ，１１,ＵＳＥＬＥＣＴＥＤ，２０）、（ＵＳＥＬＥＣＴＥＤ，０３,ＵＳＥＬＥＣＴＥＤ，１４,ＵＳＥＬＥＣＴＥＤ，２０））を選択し、以降の評価対象から除外している。
【００８０】
このようにして、データ取得に関する制約を仮定した全てのパスを適用して、制約を満たさないパスを以降の評価対象から除外する。
【００８１】
上記したように、合成素片選択部１３０より後段の処理で利用するデータを得る為にアクセスが必要となる各記憶媒体へのアクセス回数を制限することによって、データ取得に要する時間の上限であるデータ取得上限時間を制御、抑制できれば良く、その制約の考え方や変更方法によって本発明の効果が限定されるものではない。例えば、以下に示すような方法が考えられる。
【００８２】
（５−３−２）制約の適用方法の変更例１
本実施形態では、制約として上限回数を利用する場合を示した。しかし、上記したように１つの処理単位に含まれる合成単位の数が固定であって、利用する記憶媒体が２種類の場合など、高速なデータ取得が可能にある記憶媒体（例えば、メモリ１１１）から波形データを取得する下限回数を制約として利用しても同様の効果が得られる（下限値を満たさないパスが以降の評価対象から除外される）。
【００８３】
（５−３−３）制約の適用方法の変更例２
本実施形態では、現在仮定しているパスに適用する制約として、ＨＤＤ１１２のみへのアクセス回数の制約を例示したが、上記したように、３つ以上の記憶媒体がある場合などは、それぞれの記憶媒体にアクセス回数に関する制約を個別に設けても良く、これに限定されるものではない。
【００８４】
（５−３−４）制約の適用方法の変更例３
回数として与えられた制約を現在仮定しているパスにそのまま適用する必要はなく、例えば、処理単位において、全合成単位の継続時間長の総和と合成単位Ｔ０  から現在の合成単位Ｔ１  までの継続時間長との総和との比を制約として与えられた上限回数或いは下限回数に乗じて、各合成単位において制約を動的に変更しても良く、これに限定されるものではない。
【００８５】
（５−３−５）制約の適用方法の変更例４
本実施形態では、各記憶媒体からの素片データの取得に関する合成単位列に対する制約を定数として与えられている場合を例示しているが、実施装置における各記憶媒体のアクセス速度に応じて制約を固定値として外部から指定しても良く、或いは、他のプロセスの各記憶媒体の使用状況、または、使用予定に応じて制約値を動的に変更してもよく、これに限定されるものではない。
【００８６】
（５−４）接続コストの算出
次に、合成素片選択部１３０は、図７（ａ）、図７（ｂ）のように、当該合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊと前記仮定したパス上の直前の各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ（ｓ＝０，・・・，Ｓ−１）とが隣接することに対する違和感の程度（接続コスト）ＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）を求める（Ｓ４０５）。
【００８７】
合成素片間の接続コストＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）（ｉ＝２，ｊ＝０，ｓ＝０，・・・，４）の算出方法について詳述する。
【００８８】
各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ（ｉ−１＝１，ｓ＝０，・・・，４）、ＵＳＥＬＥＣＴＥＤ，ｉｊ（ｉ＝２，ｊ＝０）が有する所定のＭＰ個の各属性Ｐにおいて、属性値ＡｔｔｒｉｂＰ  （ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ）、ＡｔｔｒｉｂＰ（ＵＳＥＬＥＣＴＥＤ，ｉｊ）の不自然な変動の程度ｄｉｆｆＣＯＮＣ，Ｐ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ  ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）を算出する。算出には、属性Ｐ毎に定められた接続サブコスト関数ＳｕｂＣｏｓｔＣＯＮＣ，Ｐ（ＡｔｔｒｉｂＰ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ），ＡｔｔｒｉｂＰ  （ＵＳＥＬＥＣＴＥＤ，ｉｊ））を用いる。
【数３】
2007264503.tif 000005
【００８９】
それら所定の各属性に関する隣接する合成素片間の不自然な変化ｄｉｆｆＣＯＮＣ，Ｐ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）の重み付き和（重みｗｐ（ｐ＝１，・・・，ＭＰ））をもって、当該合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ  （ｉ＝２，ｊ＝０）と前記仮定したパス上の直前の各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ（ｉ−１＝１，ｓ＝０，・・・，４）とが隣接することに対する違和感の程度（接続コスト）ＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）を算出する。
【数４】
2007264503.tif 000006
【００９０】
なお、本実施形態では、当該合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ（ｉ＝２，ｊ＝０）と前記仮定したパス上の直前の各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ（ｉ−１＝１，ｓ＝０，・・・，４）とが隣接することに関する違和感の程度ＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）を各属性Ｐに関する程度ｄｉｆｆＣＯＮＣ，Ｐ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）の重み付き和をもって算出したが、例えば、積によって算出されても良く、これに限定されるものではない。
【００９１】
（５−５）トータルコストの算出
次に、合成素片選択部１３０は、Ｓ４０１で求めたターゲットコストＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）とＳ４０５で求めた接続コストＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）と合成単位Ｔｉ−１の各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓが格納していた合成単位Ｔ０から合成単位Ｔｉ−１までのＱ本のパス（合成素片の系列）Ｐａｔｈ（ｉ−１）ｓｑ（ｑ＝１，・・・，Ｑ）に対する総合評価（トータルコスト）Ｃｏｓｔ（Ｐａｔｈ（ｉ−１）ｓｑ）とを利用して、Ｓ４０４において選択された各仮説パス（ＵＳＥＬＥＣＴＥＤ，ｉｊ，Ｐａｔｈ（ｉ−１）ｓｑ）（ｓ＝０，・・・，Ｓ−１、ｑ＝１，・・・，Ｑ、最大ＳｘＱ本）に対するトータルコストを式（３）によって算出する（Ｓ４０６）。
【数５】
2007264503.tif 000007
【００９２】
図８は、それら仮説パスの内の１本である（ＵＳＥＬＥＣＴＥＤ，２０,ＵＳＥＬＥＣＴＥＤ，１２,ＵＳＥＬＥＣＴＥＤ，０３,ＵＤｅｃｉｄｅｄ）に対する総合評価（トータルコスト）を導出する際の模式図である。
【００９３】
合成素片ＵＳＥＬＥＣＴＥＤ，２０のターゲットコストＤＩＦＦＴＡＲＧＥＴ（Ｔ２，ＵＳＥＬＥＣＴＥＤ，２０）と、合成素片ＵＳＥＬＥＣＴＥＤ，２０とＵＳＥＬＥＣＴＥＤ，１２間の接続コストＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，１２,ＵＳＥＬＥＣＴＥＤ，２０）と合成素片ＵＳＥＬＥＣＴＥＤ，１２が格納していた１本目のパスＰａｔｈ１２１  （Ｐａｔｈ１２ｑ，ｑ＝１：（ＵＳＥＬＥＣＴＥＤ，１２,ＵＳＥＬＥＣＴＥＤ，０３,ＵＤｅｃｉｄｅｄ））に対する総合評価（トータルコスト）Ｃｏｓｔ（Ｐａｔｈ１２１）との関係を示した図である。
【００９４】
なお、本実施形態では、仮説パス（ＵＳＥＬＥＣＴＥＤ，ｉｊ，Ｐａｔｈ（ｉ−１）ｓｑ）に対するトータルコストをＳ４０１で求めたターゲットコストＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）とＳ４０５で求めた接続コストＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）と合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓが格納していた合成単位Ｔ０から合成単位Ｔｉ−１までのパスＰａｔｈ（ｉ−１）ｓｑに対するトータルコストＣｏｓｔ（Ｐａｔｈ（ｉ−１）ｓｑ）との和をもって算出したが、例えば、積で算出するなどでも良く、これに限定されるものではない。
【００９５】
（５−６）ランク分け
（５−６−１）ランク分けの概要
次に、合成素片選択部１３０は、図９、図１０、図１１のように、Ｓ４０４において残った各パスについて（最大ＳｘＱ本）、合成素片選択部１３０より後段の処理において処理単位に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約に対する充実の度合いを調べて、Ｑ個のランクに分ける。なお、「ランク」とは、ＨＤＤ１１２から波形データを取得する回数をいう。
【００９６】
さらに、図１２のように、Ｓ４０６において導出したトータルコストが最も低い各ランクにおける最適なパスを１つ選択し、最終的に合成単位Ｔｉの合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊが記憶すべきＱ本のパスを選択し、合成素片の系列を示すパスＰａｔｈｉｊｑ（ｑ＝１，・・・，Ｑ）と各々のトータルコストＣｏｓｔ（Ｐａｔｈｉｊｑ）を記録し、その他のパスに関する情報を全て破棄する（Ｓ４０７）。
【００９７】
（５−６−２）制約に対する充実度
データ取得に関する制約に対する充実の度合いについて詳述する。
【００９８】
本実施形態では、上記した上限回数を１回を単位としてランク分けし、それら上限回数の各ランクを利用した場合を例示する。
【００９９】
Ｓ４０４において用いたデータ取得に関する制約より強い制約を複数段階用意する。合成素片選択部１３０より後段の処理において処理単位（合成単位列）に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約と、仮定した各パス上にある全合成素片の前記所定の素片データの全記憶媒体における配分状況とを比較し、より強い制約に対する合否の組み合わせによって、それぞれの仮説パスにランク付けを行う。
【０１００】
本実施形態では、波形生成部１４０において処理単位に対する合成音声を生成する際にＨＤＤ１１２から波形データを取得する条件回数を１回ずつ減少させていくことで、すなわち、ランクを変えていく。そして、１回・０回までとした強い制約を新たに設けて、０回までの制約を満たすパスのランク、０回より多く１回までの制約を満たすパスのランク、１回より多く２回までの制約を満たすパスのランクの合計３個のランクに分ける。最初のランクである０個までの制約を満たすパス（太線）は無く（図９）、２個目のランクである０個より多く１個までの制約を満たすパス（太実線）を図１０は示しており、３個目のランクである１個より多く２個までの制約を満たすパス（太実線）を図１１は示している。
【０１０１】
このようにして、各記憶媒体からのデータの取得に関する制約に対する充実度に従ってランク分けされた各仮説パス群から最適なパスを１本選択し、それらのパスに対してのみ、以降の処理によって仮説展開が進められる。
【０１０２】
本実施形態においては、図１２に示したとおり、パスＰａｔｈ２００＝（Ｎｏｎｅ）、Ｐａｔｈ２０１＝（ＵＳＥＬＥＣＴＥＤ，２０,ＵＳＥＬＥＣＴＥＤ，１０,ＵＳＥＬＥＣＴＥＤ，０１,ＵＤｅｃｉｄｅｄ）とそのトータルコストＣｏｓｔ（Ｐａｔｈ２０１）、パスＰａｔｈ２０２＝（ＵＳＥＬＥＣＴＥＤ，２０,ＵＳＥＬＥＣＴＥＤ，１２,ＵＳＥＬＥＣＴＥＤ，０３,ＵＤｅｃｉｄｅｄ）とそのトータルコストＣｏｓｔ（Ｐａｔｈ２０２）が合成素片ＵＳＥＬＥＣＴＥＤ，２０に格納されて以降の処理が継続される。
【０１０３】
上記したように、制約に関する充実度によってランク分けされた各パス群の中でより良いパスを選択し、今後の処理を続けていくことによって、現在の合成単位より後の合成単位において制約を犯す可能性のある合成素片を仮定したパスに追加することが可能となる。
【０１０４】
（５−６−３）制約に対する充実度に関する変更例
なお、以降の処理によって制約を侵す可能性のある合成素片を追加する余地を残す目的が達せられれば良く、そのランク分けの方法と選択するパスの本数によって本発明の効果が限定されるものではない。例えば、以下に示すような方法が考えられる。
【０１０５】
本実施形態では、現在仮定しているパスのランク分けに利用する一層限定した制約を設定する方法として、等間隔のステップ（１回）を利用した。しかし、等間隔である必要はなく、１回以下（０回と１回）と２回の２つのランクに分ける場合も考えられ、これに限定されるものではない。
【０１０６】
また、本実施形態では、制約を強めて各充実度のランク毎に最適なパスを１つ選択しているが、複数であっても良い。
【０１０７】
また、上記したように、時間として与えられた制約や回数として与えられた制約を、全合成単位の継続時間長の総和と合成単位Ｔ０から現在の合成単位Ｔｉまでの継続時間長の総和との比を制約として与えられた回数・時間に乗じて利用するような、各合成単位における制約を動的に緩和するように変更していく方法でも良い。このような制約を動的に緩和させていく場合には、各合成素片に対して最適なパスを唯一選択する方式をとっても良いし、上位複数のパスを選択しても良い。
【０１０８】
（５−７）まとめ
このようにして、Ｓ４０４からＳ４０７の処理を当該合成単位中の各合成素片に対して施し（Ｓ４０３からＳ４０８）、Ｓ４０３からＳ４０８の処理を当該処理単位中の各合成単位に対して施し（Ｓ４０２からＳ４０９）、図１３のように、データ取得に関する制約を満たすパスを１つの処理単位に対して複数本導出する。
【０１０９】
（５−８）変更例
なお、本実施形態では、記憶媒体１１０からの素片データの取得に関する合成単位列に対する制約を満たすように逐次的な仮説展開と評価による合成素片列の選択を行った。
【０１１０】
しかし、例えば、所定の個数の合成単位毎に記憶媒体１１０からの素片データの取得に関する制約を考慮したパスの選択を行い、その間の合成単位におけるパス選択では、制約を考慮しない従来手法のコスト関数を用いたパス選択を行う方法も考えられる（図２３）。
【０１１１】
また、極端な場合には、処理単位の最初の合成単位Ｔ０から最後の合成単位Ｔｎ−１まで、記憶媒体１１０からの素片データの取得に関する合成単位列に対する制約を考慮せずに合成素片列を選択し、最後に記憶媒体１１０からの素片データの取得に関する合成単位列に対する制約を満たす合成単位列のみを選択してもよく、これに限定されるものではない。
【０１１２】
（５−９）Ｂｅｓｔ  Ｐａｔｈの決定
次に、合成素片選択部１３０は、合成単位Ｔｎ−１（＝Ｔ４）の合成素片が格納する全てのパスＰａｔｈ（ｎ−１）ｊｑ（ｊ＝０，・・・，Ｓ−１、ｑ＝１，・・・，Ｑ）をトータルコストＣｏｓｔ（Ｐａｔｈ（ｎ−１）ｊｑ）で比較することによって評価する。図１４のように、最もトータルコストが低いパスＰａｔｈ４３２＝（ＵＳＥＬＥＣＴＥＤ，４３,ＵＳＥＬＥＣＴＥＤ，３２,ＵＳＥＬＥＣＴＥＤ，２０,ＵＳＥＬＥＣＴＥＤ，１０,ＵＳＥＬＥＣＴＥＤ，０１,ＵＤｅｃｉｄｅｄ）を当該処理単位における最適なパスと位置付け、当該パスＰａｔｈ４３２上にある合成素片の系列を出力する（Ｓ４１０）。
【０１１３】
（５−１０）波形データの接続
次に、波形生成部１４０は、合成素片選択部１３０から入力された合成素片の系列に従って、波形データ、または、所定の属性の素片データを記憶媒体１１０から取得し、当該処理単位に対する合成音声を生成する（Ｓ４１１）。
【０１１４】
本実施形態では、メモリ１１１とＨＤＤ１１２から波形データを、メモリ１１１からピッチ周期などのその他付随する素片データを取得し、ピッチ同期波形重畳方式（ＰＳＯＬＡ）などの公知技術によって当該処理単位に対する合成音声を生成する。
【０１１５】
（６）効果
このように、第１の実施形態に係わる音声合成装置１０によれば、合成素片選択部１３０より後段の波形生成部１４０で利用する所定の素片データの配置に関する情報とデータ取得に関する合成単位列に対する制約とを考慮しつつ合成素片の系列を選択することで、後段の波形生成部１４０で合成音声を生成する際に利用する波形データのデータ取得を確実に制御できる。
【０１１６】
また、低速なデータ取得しか成し得ない記憶媒体から所定の素片データを取得することが集中してデータ取得の所要時間が各処理単位に対する合成音声の生成に要する時間において過大となることを防ぐ。これにより、合成音声の生成に要する時間に処理単位間で大きな差が生じることを避け、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制することが可能となる。
【０１１７】
また、１文章などの複数の処理単位からなる入力に対して、先頭の処理単位から順次的に合成音声を生成し、全処理単位に対する合成音声の生成を完了する前に既に生成・蓄積されている合成音声を再生し始める機構を持つ音声合成装置においては、波形データの取得に起因する合成音声の生成に要する時間の増大を確実に抑制することにより、既に生成・蓄積されている合成音声を全て再生し終えても次に再生すべき合成音声の生成が完了しない「音途切れ」の発生を抑制することが可能となる。
【０１１８】
また、データ取得時間の過大に因る「音途切れ」の発生を抑制することにより、波形データが配置された記憶媒体のデータ取得に要する時間の大小に囚われずに波形データを配置できるため、利用可能なデータが増えることで合成音声の音質が向上することを期待できる。
【０１１９】
（第２の実施形態）
次に、本発明の第２の実施形態の音声合成装置１６について図１５から図２３に基づいて説明する。
【０１２０】
本実施形態では、記憶媒体に３種類（主記憶装置、補助記憶装置、外部記憶装置）の記憶媒体を持つ構成を例示する。それら記憶媒体からのデータ（波形データ）取得に関する合成単位列に対する制約として、データ取得に要する概算時間を利用した場合を例示する。
【０１２１】
（１）音声合成装置１６の構成
図１５は、本実施形態に係わる音声合成装置１６を示すブロック図である。
【０１２２】
音声合成装置１６は、上記した第１の実施形態と同様に、外部から音声合成の対象となるテキストデータを取得するテキスト取得部１１と、テキストデータに形態素解析・構文解析を行う言語処理部１２と、テキストデータのアクセントや品詞などの韻律や言語に関わる属性に基づいて、合成単位列を音声合成部１７に出力する韻律処理部１３と、合成単位列から合成音声を生成する音声合成部１７と、出力された所定の量の合成音声を蓄積後、または、出力された合成音声を逐次的に再生する音声波形出力部１５とを備えている。
【０１２３】
上記テキスト取得部１１、言語処理部１２、韻律処理部１３、音声波形出力部１５は、第１の実施形態と同一の処理を行い、音声合成部１７は一部異なる処理を行う。
【０１２４】
なお、韻律処理部１３から音声合成部１７に引き渡される合成単位列を構成するそれぞれの合成単位にも、第１の実施形態と同様の情報（音韻記号、韻律情報、言語情報など）が付与されている。
【０１２５】
図１６は、本発明の第２の実施形態に係わる音声合成装置１６の音声合成部１７を示すブロック図である。
【０１２６】
（２）音声合成部１７の構成
音声合成部１７は、第１の実施形態とは異なり、メモリ１１５とＨＤＤ１１２に加えて新たにＮＡＮＤ型フラッシュメモリ１１６が記憶媒体１１４に付与されている。
【０１２７】
音声合成部１７は、記録媒体１１４、合成素片選択部１３１、波形生成部１４１から構成されている。
【０１２８】
記録媒体１１４は、全ての合成素片の全ての素片データ（Ｍ−１．．．Ｍ−ｋ、Ｈ−１．．．Ｈ−ｋ）を格納したデータ取得時間に長短を有する複数の記憶媒体から構成されるている。具体的には、メモリ１１５とＨＤＤ１１２、ＮＡＮＤ型フラッシュメモリ１１６から構成されている。
【０１２９】
メモリ１１５は、全ての合成素片の全ての素片属性に関する素片データと一部の合成素片の全ての波形データと、全ての合成素片の波形データが格納されている記憶媒体がメモリ１１５かＨＤＤ１１２かＮＡＮＤ型フラッシュメモリ１１６の何れであるかを記録したデータ配置情報１１７とを格納している。
【０１３０】
ＨＤＤ１１２とＮＡＮＤ型フラッシュメモリ１１６とは、メモリ１１５に波形データを格納していない合成素片の波形データを格納している。
【０１３１】
合成素片選択部１３１は、韻律制御部１３から入力された合成単位列の各合成単位が有する目標合成音声の音韻・韻律情報・言語情報と、メモリ１１５に格納されている各合成素片の所定の素片属性の素片データと、前記データ配置情報１１７と、メモリ１１５・ＨＤＤ１１２・ＮＡＮＤ型フラッシュメモリ１１６からの波形データの取得に関する合成単位列に対する制約とに基づいて、合成単位毎に合成素片を選択して複数の合成素片の組み合わせである合成素片列を生成する。
【０１３２】
波形生成部１４１は、合成単位毎に選択された合成素片の波形データをメモリ１１５とＨＤＤ１１２とＮＡＮＤ型フラッシュメモリ１１６から取得し、接続することで合成単位列に対応する合成音声を生成する。
【０１３３】
本実施形態では、記憶媒体１１４を主記憶装置であるメモリ１１５、補助記憶装置であるＨＤＤ１１２に、外部記憶装置としてＮＡＮＤ型フラッシュメモリ１１６が加わった構成の組み合わせを例示する。しかし、上記したように、外部記憶装置としてはその他に多種多様な装置を組合すことが考えられ、さらには、主記憶装置と外部記憶装置を利用した構成を採ることも可能であるが、データ取得時間に長短を有する複数の記憶媒体から構成されれば、どのような組み合わせでも良く、本実施形態の例に限定されるものではない。
【０１３４】
（３）音声合成装置１６の動作
以下では、本実施形態に係わる音声合成装置１６の動作について、第１の実施形態との差異についてのみ説明する。
【０１３５】
すなわち、音声合成装置１６の動作は、図３に示した第１の実施形態に係わる合成音声装置１０の動作内容とＳ３０７を除いて同一である。また、その動作内容に差異があるＳ３０７の動作内容は、図４に示した第１の実施形態に係わる合成音声装置１０の音声合成部１４が行うＳ４０４とＳ４０７を除いて同一である。
【０１３６】
（４）音声合成部１７の動作
以下では、図１７〜図２２を用いて、音声合成部１７の第１の実施形態に係わる動作内容と異なるＳ５０４とＳ５０７について述べる。
【０１３７】
合成素片選択部１３１は、図１８（ａ）のように、合成単位Ｔ１の合成素片に接続されているＴ１以前の全てのパス（破線及び太実線）に当該合成素片Ｕ２０（合成単位Ｔ２の合成素片ｊ＝０）が後続することを仮定し（破線及び太実線）、記憶媒体１１４からの波形データの取得に関する当該合成単位列（処理単位：Ｔ０からＴ４）に対する制約を満たさないパスをそれら仮定したパスの中から除外し、以後の評価対象から外す（太実線）（Ｓ５０４）。
【０１３８】
（５）制約の適用方法
本実施形態での記憶媒体１１４からの波形データの取得に関する当該合成単位列（処理単位）に対する制約の適用方法について詳述する。
【０１３９】
本実施形態では、制約として、合成素片選択部１３１より後の処理で利用する素片データ（波形データ）を記憶媒体１１４から取得するのに要する処理単位当たりの上限時間が与えられた場合を例示する。
【０１４０】
データ配置情報１１７には、第１の実施形態と同様に、全ての合成素片に対して、合成素片選択部１３１より後の処理で利用する波形データ、または、所定の素片属性の素片データが格納されている記憶媒体が判別できるように各合成素片の素片ＩＤと各記憶媒体の識別子とが対応付けて格納されている。
【０１４１】
本実施形態では、波形生成部１４１で利用する波形データに関して、図１８（ｂ）のように、全合成素片（４８９２個）の素片ＩＤ（１〜４８９２）と波形データが格納されている記憶媒体の識別子（メモリ１１５は「１」、ＨＤＤ１１２は「２」、ＮＡＮＤ型フラッシュ１１６は「３」）とが対応付けて格納されている。
【０１４２】
まず、仮定したパス上の各合成素片の素片ＩＤを用いて、合成素片選択部１３１より後段の処理で利用する各合成素片の所定の素片データが何れの記憶媒体に格納されているのかをデータ配置情報１１７を用いて導出する。
【０１４３】
本実施形態では、波形生成部１４１で利用する各合成素片の波形データがメモリ１１５かＨＤＤ１１２かＮＡＮＤ型フラッシュメモリ１１６の何れに格納されているのかを判別する。図１８（ａ）の合成素片（丸印）上に記した数字は、格納されている記憶媒体の識別子を示したものである。「１」はメモリ１１５を表し、「２」はＨＤＤ１１２を表し、「３」はＮＡＮＤ型フラッシュメモリを表す。
【０１４４】
次に、合成素片選択部１３１より後段の処理において処理単位に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約と、仮定した各パス上にある全合成素片の前記所定の素片データの全記憶媒体における配分状況に基づいて算出された評価結果とを比較し、制約を満たさない仮定したパスを以降の評価対象から削除する。
【０１４５】
本実施形態では、制約として、波形生成部１４１において処理単位（合成単位Ｔ０から合成単位Ｔ４までの合成単位列）に対する合成音声を生成する際に記憶媒体１１４から波形データを取得するのに要する時間を１００ｍｓｅｃ未満と定め、図１８（ａ）のように、合成単位Ｔ２の合成素片ＵＳＥＬＥＣＴＥＤ，２０に接続するパス（破線と太実線）の内、波形生成部１４１において記憶媒体１１４から波形データを取得するのに要する時間が１００ｍｓｅｃ以上かかるパス（太実線）を選択し、以降の評価対象から除外する。
【０１４６】
より具体的には、各記憶媒体からデータを取得するのに要する時間の概算値と、データ配置情報１１７より導出した各パス上の全合成素片の波形データが格納されている記憶媒体の分布、すなわち、以後アクセスが必要な各記憶媒体へのアクセス回数の累計とから、次式を満たすパスを以後の評価対象から削除する。
【数６】
2007264503.tif 000008
【０１４７】
例えば、図１８（ａ）の一番下の実線で示したパス（ＵＳＥＬＥＣＴＥＤ，２０、ＵＳＥＬＥＣＴＥＤ，１４、ＵＳＥＬＥＣＴＥＤ，０３）の場合、
【数７】
2007264503.tif 000009
【０１４８】
となり、削除される。なお、各記憶媒体からのデータ取得に要する時間の概算値は、各記憶媒体の製造企業が提供する情報を利用すればよい。
【０１４９】
このようにして、データ取得に関する制約を仮定した全てのパスに適用して、制約を満たさないパスを以後の評価対象から除外する。
【０１５０】
また、時間として与えられた制約を現在仮定しているパスにそのまま適用する必要はなく、例えば、処理単位において、全合成単位の目標継続時間長の総和と合成単位Ｔ０から現在の合成単位Ｔｉまでの目標継続時間長の総和との比を制約として与えられた時間に乗じて、各合成単位において制約を動的に増加（変更）しても良く、これに限定されるものではない。
【０１５１】
また、本実施形態では、各記憶媒体からの素片データの取得に関する合成単位列に対する制約を定数として与えられている場合を例示しているが、本発明を実施する装置における各記憶媒体のアクセス速度に応じて制約を固定値として外部から指定しても良く、或いは、他のプロセスの各記憶媒体の使用状況、または、使用予定に応じて制約値を動的に変更してもよく、その制約値の与え方や変更方法によって本実施形態の効果が限定されるものではない。
【０１５２】
（７）各ランクでのＢｅｓｔ  Ｐａｔｈの格納
次に、Ｓ５０７について述べる。
【０１５３】
合成素片選択部１３１は、図１９、図２０のように、Ｓ５０４において残った各パスについて、合成素片選択部１３１より後段の処理において処理単位に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約に対する充実の度合いを調べて、Ｑ個のランクに分ける。さらに、図２１のように、各ランクにおいてＳ４０６において導出したトータルコストが最も低い最適なパスを１つ選択し、最終的に合成単位Ｔｉの合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊが記憶すべきＱ本のパスを選択し、合成素片の系列を示すパスＰａｔｈｉｊｑと各々のトータルコストＣｏｓｔ（Ｐａｔｈｉｊｑ）を記録し（ｑ＝１，・・・，Ｑ）、その他のパスに関する情報を全て破棄する（Ｓ５０７）。
【０１５４】
（８）制約に対する充実度
データ取得に関する制約に対する充実の度合いについて詳述する。
【０１５５】
本実施形態では、上記した上限所要時間を５０ｍｓｅｃを単位としてランク分けし、それら上限所要時間の各ランクを利用した場合を例示する。
【０１５６】
本実施形態においても、Ｓ５０４において用いたデータ取得に関する制約より強い制約を複数段階用意し、合成素片選択部１３１より後段の処理において合成単位列（処理単位）に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約と、仮定した各パス上にある全合成素片の前記所定の素片データの全記憶媒体における配分状況に基づいて算出された評価結果とを比較し、より強い制約に対する合否の組み合わせによって、それぞれのパスにランク付けを行う。
【０１５７】
本実施形態では、波形生成部１４１において処理単位に対する合成音声を生成する際に記憶媒体１１４から波形データを取得する為の所要時間の上限を５０ｍｓｅｃずつ減少させていくことで、５０ｍｓｅｃ未満とした強い制約を新たに設けて、５０ｍｓｅｃ未満の制約を満たすパス、１００ｍｓｅｃの制約を満たすパスの２個のランクに分ける。５０ｍｓｅｃ未満の制約を満たすパス（太実線）を図１９は示しており、５０ｍｓｅｃ以上１００ｍｓｅｃ未満の制約を満たすパス（太実線）を図２０は示している。
【０１５８】
このようにして、各記憶媒体からのデータ取得に関する制約に対する充実度に従ってランク分けされた各パス群から最適なパスを１本選択し、それらのパスに対してのみ、以降の処理によって仮説展開が進められる。
【０１５９】
上記したように、制約に関する充実度によってランク分けされた各パス群の中でより良いパスを選択し、今後の処理を続けていくことによって、現在の合成単位より後の合成単位において制約を犯す可能性のある合成素片を仮定したパスに追加することが可能となるのである。このように、以後の処理によって制約を侵す可能性のある合成素片を追加する余地を残す目的が達せられれば良く、そのランク分けの方法と選択するパスの本数によって本実施形態の効果が限定されるものではない。例えば、以下に示すような方法が考えられる。
【０１６０】
本実施形態では、現在仮定しているパスのランク分けに利用する一層限定した制約を設定する方法として、等間隔のステップ（５０ｍｓｅｃ）を利用した。しかし、等間隔である必要はなく、２５ｍｓｅｃ未満と２５ｍｓｅｃ以上５０ｍｓｅｃ未満と５０ｍｓｅｃ以上１００ｍｓｅｃ未満の３つのランクに分ける場合も考えられ、これに限定されるものではない。
【０１６１】
また、本実施形態では、制約を強めて各充実度のランク毎に最適なパスを１つ選択しているが、複数であっても良い。
【０１６２】
また、例えば、上記したように、時間として与えられた制約として与えられた制約を、全合成単位の継続時間長の総和と合成単位Ｔ０から現在の合成単位Ｔｉまでの継続時間長の総和との比を制約として与えられた回数・時間に乗じて利用するような、各合成単位における制約を動的に緩和するように変更していく方法でも良く。このような制約を動的に緩和させていく場合には、各合成素片に対して最適なパスを唯一選択する方式をとっても良いし、上位複数のパスを選択しても良い。
【０１６３】
（９）制約を満たすパスの導出
このようにして、Ｓ５０４・Ｓ４０５・Ｓ４０６・Ｓ５０７の処理を当該合成単位中の各合成素片に対して施し（Ｓ４０３からＳ４０８）、Ｓ４０３からＳ４０８の処理を当該処理単位中の各合成単位に対して施し（Ｓ４０２からＳ４０９）、図２２のように、データ取得に関する制約を満たすパスを１つの処理単位に対して複数本導出する。
【０１６４】
（１０）効果
このように、第２の実施形態に係わる音声合成装置１６によれば、合成素片選択部１３１より後段の波形生成部１４１で利用する所定の素片データの配置に関する情報とデータ取得に関する合成単位列に対する制約とを考慮しつつ合成素片の系列を選択することで、後段の波形生成部１４１で合成音声を生成する際に利用する波形データのデータ取得を確実に制御でき、低速なデータ取得しか成し得ない記憶媒体から所定の素片データを取得することが集中してデータ取得の所要時間が各処理単位に対する合成音声の生成に要する時間において過大となることを防ぎ、合成音声の生成に要する時間に処理単位間で大きな差が生じることを避け、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制することを可能となる。
【０１６５】
（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【０１６６】
例えば、本発明を実施する機器構成やその性能や使用環境によってデータ取得時間が変動し得る、しかし、各波形データを格納した記憶媒体からの波形データの取得に関わる制約を外部より指定することを可能とすることによりデータ取得時間の過大に因る「音途切れ」の発生を実施装置に適応させて抑制することができるので、実施する装置に合わせた音質を実現することができる。さらに、全処理単位に対応する合成音声を全て生成・蓄積してから再生を開始する構成をとる音声合成装置においては、時間を問わず高品質な合成音声を生成することも可能となる。
【０１６７】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１６８】
【図１】本発明の第１の実施形態に係わる音声合成装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係わる音声合成装置の合成音声部１４の構成を示すブロック図である。
【図３】本発明の第１の実施形態に係わる音声合成装置の動作を示すフローチャートである。
【図４】本発明の第１の実施形態に係わる合成音声装置の合成音声部１４の動作を示すフローチャートである。
【図５】予備選択の説明に用いる図である。
【図６】（ａ）はデータ取得に関する制約を満たさない場合の処理に対する説明図であり、（ｂ）はデータ配置情報の内部構造に対する１実施形態（波形データに関するテーブル）である。
【図７】（ａ）は接続コスト算出の説明に用いる図であり、（ｂ）は接続コスト算出の説明に用いる図である。
【図８】トータルコストの算出の説明に用いる図である。
【図９】データ取得の制約に関する説明図（各アクセスランクのBest Path算出１）である。
【図１０】データ取得の制約に関する説明図（各アクセスランクのBest Path算出２）である。
【図１１】データ取得の制約に関する説明図（各アクセスランクのBest Path算出３）である。
【図１２】全アクセスランクのBeＳＴパスに対するパスとトータルコストの格納の説明図である。
【図１３】データ取得の制約に関する説明図（処理単位への適用が完了した際の結果）である。
【図１４】データ取得の制約に関する説明図（処理単位でのBest Path）である。
【図１５】実施形態２の全体の構成に関わる音声合成装置のブロック図である。
【図１６】本発明の第２の実施形態に係わる音声合成装置の合成音声部１７の構成を示すブロック図である。
【図１７】本発明の第２の実施形態に係わる合成音声装置の合成音声部１７の動作を示すフローチャートである。
【図１８】（ａ）はデータ取得に関する制約を満たさない場合の処理に対する説明図であり、（ｂ）はデータ配置情報の内部構造に対する１実施形態（波形データに関するテーブル）である。
【図１９】データ取得の制約に関する説明図（各アクセスランクでのBest Path選択１）である。
【図２０】データ取得の制約に関する説明図（各アクセスランクでのBest Path選択２）である。
【図２１】全ランクでのBest Pathである。
【図２２】データ取得の制約に関する説明図（処理単位でのデータ取得に関する制約の適用が完了した時点）である。
【図２３】データ取得に関する制約を複数の合成単位間隔で適用する場合の図である。
【符号の説明】
【０１６９】
１０    音声合成装置
１１    テキスト取得部
１２    言語処理部
１３    韻律処理部
１４    音声合成部
１５    音声波形出力部
【図１】
2007264503.tif 000010
【図２】
2007264503.tif 000011
【図３】
2007264503.tif 000012
【図４】
2007264503.tif 000013
【図５】
2007264503.tif 000014
【図６】
2007264503.tif 000015
【図７】
2007264503.tif 000016
【図８】
2007264503.tif 000017
【図９】
2007264503.tif 000018
【図１０】
2007264503.tif 000019
【図１１】
2007264503.tif 000020
【図１２】
2007264503.tif 000021
【図１３】
2007264503.tif 000022
【図１４】
2007264503.tif 000023
【図１５】
2007264503.tif 000024
【図１６】
2007264503.tif 000025
【図１７】
2007264503.tif 000026
【図１８】
2007264503.tif 000027
【図１９】
2007264503.tif 000028
【図２０】
2007264503.tif 000029
【図２１】
2007264503.tif 000030
【図２２】
2007264503.tif 000031
【図２３】
2007264503.tif 000032