(57)【要約】【課題】  クライアント装置に大規模なデータベースを設けることなく、容易に高い品質の合成音声を短い応答期間で出力する。【解決手段】  クライアント装置１００において、テキストデータから抽出した読み情報と韻律情報を用い、ローカル音声素片データベース格納部１１１から最適な音声素片データを読み出して合成音声を作成する。また、この処理と独立に、クライアント装置１００において、最適音声素片インデックス格納部１１３を検索し、テキストデータに最適な最適音声素片データを示す最適音声素片系列情報を読み出す。そして、この最適音声素片系列情報が示す音声素片データの送信を、音声素片データベースサーバ装置３００に要求する。そして、音声素片データベースサーバ装置３００から最適な音声素片データを受信したクライアント装置１００は、それをローカル音声素片データベース格納部１１１に格納し、次回以降の合成音声の生成に利用する。【選択図】  図２
2006322962.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのクライアント装置と、当該クライアント装置とネットワークを通じて接続される少なくとも１つの音声素片データベースサーバ装置とを具備する音声合成システムであって、
前記音声素片データベースサーバ装置が、
最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を格納する最適音声素片データベース格納部を具備し、
前記クライアント装置が、
ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）を格納するローカル音声素片データベース格納部と、
ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報を格納するローカル音声素片インデックス格納部と、
最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報を格納する最適音声素片インデックス格納部と、
音声化すべきテキストデータが入力され、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力するテキスト解析部と、
前記テキスト解析部から出力された韻律情報が入力され、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力する韻律パラメータ取得部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが入力され、当該入力された読み情報及び韻律パラメータをキーとして前記ローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力するローカル音声素片探索部と、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が入力され、当該ローカル音声素片格納情報が指定するローカル音声素片データを、前記ローカル音声素片データベース格納部から読み出すローカル音声素片データ読み出し部と、
前記ローカル音声素片データ読み出し部が読み出したローカル音声素片データが入力され、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力する音声素片接続部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが入力され、当該入力された読み情報及び韻律パラメータをキーとして前記最適音声素片インデックス格納部を検索し、入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力する最適音声素片探索部と、
前記ローカル音声素片探索部及び前記最適音声素片探索部からそれぞれ出力されたローカル音声素片系列情報及び最適音声素片系列情報が入力され、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した要求音声素片系列を生成し、当該要求音声素片系列情報を出力する要求音声素片決定部と、
要求音声素片系列情報の最適音声素片格納情報を、ネットワークを通じ、音声素片データベースサーバ装置に送信する音声素片情報送信部と、を具備し、
前記音声素片データベースサーバ装置が、
要求音声素片系列情報の最適音声素片格納情報を受信する音声素片情報受信部と、
受信された最適音声素片格納情報が入力され、当該最適音声素片格納情報が指定する最適音声素片データを、前記最適音声素片データベース格納部から読み出す最適音声素片データ読み出し部と、
読み出された最適音声素片データを、ネットワークを通じ、前記クライアント装置に返信する音声素片データ送信部と、をさらに具備し、
前記クライアント装置が、
最適音声素片データを受信する音声素片データ受信部と、
前記音声素片データ受信部において受信された最適音声素片データを、新たなローカル音声素片データとして前記ローカル音声素片データベース格納部に追加格納する音声素片データベース追加部と、
前記新たなローカル音声素片データに対応するローカル音声素片系列情報を、前記ローカル音声素片インデックス格納部に追加格納する音声素片インデックス追加部と、をさらに具備する、
ことを特徴とする音声合成システム。
【請求項２】
少なくとも１つのクライアント装置と、当該クライアント装置とネットワークを通じて接続される少なくとも１つの音声素片データベースサーバ装置とを具備する音声合成システムであって、
前記音声素片データベースサーバ装置が、
最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を格納する最適音声素片データベース格納部と、
最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報を格納する最適音声素片インデックス格納部と、を具備し、
前記クライアント装置が、
ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）を格納するローカル音声素片データベース格納部と、
ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報を格納するローカル音声素片インデックス格納部と、  
音声化すべきテキストデータが入力され、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力するテキスト解析部と、
前記テキスト解析部から出力された韻律情報が入力され、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力する韻律パラメータ取得部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが入力され、当該入力された読み情報及び韻律パラメータをキーとして前記ローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力するローカル音声素片探索部と、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が入力され、当該ローカル音声素片格納情報が指定するローカル音声素片データを、前記ローカル音声素片データベース格納部から読み出すローカル音声素片データ読み出し部と、
前記ローカル音声素片データ読み出し部が読み出したローカル音声素片データが入力され、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力する音声素片接続部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータを、ネットワークを通じ、音声素片データベースサーバ装置に送信する音声素片情報送信部と、を具備し、
前記音声素片データベースサーバ装置が、
読み情報及び韻律パラメータを受信する音声素片情報受信部と、
受信された読み情報及び韻律パラメータをキーとして前記最適音声素片インデックス格納部を検索し、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力する最適音声素片探索部と、
前記最適音声素片探索部から出力された最適音声素片系列情報の最適音声素片格納情報が入力され、当該最適音声素片格納情報が指定する最適音声素片データを、前記最適音声素片データベース格納部から読み出す最適音声素片データ読み出し部と、
読み出された最適音声素片データを、ネットワークを通じ、前記クライアント装置に返信する音声素片データ送信部と、をさらに具備し、
前記クライアント装置が、
最適音声素片データを受信する音声素片データ受信部と、
前記音声素片データ受信部において受信された最適音声素片データの少なくとも一部を、新たなローカル音声素片データとして前記ローカル音声素片データベース格納部に追加格納する音声素片データベース追加部と、
前記新たなローカル音声素片データに対応するローカル音声素片系列情報を、前記ローカル音声素片インデックス格納部に追加格納する音声素片インデックス追加部と、をさらに具備する、
ことを特徴とする音声合成システム。
【請求項３】
少なくとも１つのクライアント装置と、当該クライアント装置とネットワークを通じて接続される少なくとも１つの音声素片データベースサーバ装置とを具備する音声合成システムであって、
前記音声素片データベースサーバ装置が、
最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を格納する最適音声素片データベース格納部と、
最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報を格納する最適音声素片インデックス格納部と、を具備し、
前記クライアント装置が、
ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）を格納するローカル音声素片データベース格納部と、
ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報を格納するローカル音声素片インデックス格納部と、  
音声化すべきテキストデータが入力され、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力するテキスト解析部と、
前記テキスト解析部から出力された韻律情報が入力され、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力する韻律パラメータ取得部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが入力され、当該入力された読み情報及び韻律パラメータをキーとして前記ローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力するローカル音声素片探索部と、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が入力され、当該ローカル音声素片格納情報が指定するローカル音声素片データを、前記ローカル音声素片データベース格納部から読み出すローカル音声素片データ読み出し部と、
前記ローカル音声素片データ読み出し部が読み出したローカル音声素片データが入力され、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力する音声素片接続部と、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報、前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータを、ネットワークを通じ、音声素片データベースサーバ装置に送信する音声素片情報送信部と、を具備し、
前記音声素片データベースサーバ装置が、
ローカル音声素片系列情報、読み情報及び韻律パラメータを受信する音声素片情報受信部と、
受信された読み情報及び韻律パラメータをキーとして前記最適音声素片インデックス格納部を検索し、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力する最適音声素片探索部と、
前記音声素片情報受信部において受信されたローカル音声素片系列情報及び最適音声素片探索部から出力された最適音声素片系列情報が入力され、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した送信音声素片系列情報を生成し、当該送信音声素片系列情報を出力する送信音声素片決定部と、
送信音声素片系列情報の最適音声素片格納情報が入力され、当該最適音声素片格納情報が指定する最適音声素片データを、前記最適音声素片データベース格納部から読み出す最適音声素片データ読み出し部と、
読み出された最適音声素片データを、ネットワークを通じ、前記クライアント装置に返信する音声素片データ送信部と、をさらに具備し、
前記クライアント装置が、
最適音声素片データを受信する音声素片データ受信部と、
前記音声素片データ受信部において受信された最適音声素片データを、新たなローカル音声素片データとして前記ローカル音声素片データベース格納部に追加格納する音声素片データベース追加部と、
前記新たなローカル音声素片データに対応するローカル音声素片系列情報を、前記ローカル音声素片インデックス格納部に追加格納する音声素片インデックス追加部と、をさらに具備する、
ことを特徴とする音声合成システム。
【請求項４】
請求項１から３の何れかに記載された音声合成システムであって、
前記クライアント装置が、
前記ローカル音声素片データベース格納部に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下になるように、所定の優先順位に従って、当該ローカル音声素片データベース格納部に格納されたローカル音声素片データの一部を削除する音声素片データ削除部と、
前記音声素片データ削除部において削除されたローカル音声素片データに対応するローカル音声素片系列情報を前記ローカル音声素片インデックス格納部から削除する音声素片系列情報削除部と、をさらに具備する
ことを特徴とする音声合成システム。
【請求項５】
ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）を格納するローカル音声素片データベース格納部と、
ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報を格納するローカル音声素片インデックス格納部と、
最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報を格納する最適音声素片インデックス格納部と、
音声化すべきテキストデータが入力され、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力するテキスト解析部と、
前記テキスト解析部から出力された韻律情報が入力され、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力する韻律パラメータ取得部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが入力され、当該入力された読み情報及び韻律パラメータをキーとして前記ローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力するローカル音声素片探索部と、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が入力され、当該ローカル音声素片格納情報が指定するローカル音声素片データを、前記ローカル音声素片データベース格納部から読み出すローカル音声素片データ読み出し部と、
前記ローカル音声素片データ読み出し部が読み出したローカル音声素片データが入力され、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力する音声素片接続部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが入力され、当該入力された読み情報及び韻律パラメータをキーとして前記最適音声素片インデックス格納部を検索し、入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力する最適音声素片探索部と、
前記ローカル音声素片探索部及び前記最適音声素片探索部からそれぞれ出力されたローカル音声素片系列情報及び最適音声素片系列情報が入力され、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した要求音声素片系列情報を生成し、当該要求音声素片系列情報を出力する要求音声素片決定部と、
要求音声素片系列情報の最適音声素片格納情報を、ネットワークを通じ、音声素片データベースサーバ装置に送信する音声素片情報送信部と、
前記音声素片データベースサーバ装置からネットワークを通じて送信された最適音声素片データを受信する音声素片データ受信部と、
前記音声素片データ受信部において受信された最適音声素片データを、新たなローカル音声素片データとして前記ローカル音声素片データベース格納部に追加格納する音声素片データベース追加部と、
前記新たなローカル音声素片データに対応するローカル音声素片系列情報を、前記ローカル音声素片インデックス格納部に追加格納する音声素片インデックス追加部と、を具備する、
ことを特徴とするクライアント装置。
【請求項６】
ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）を格納するローカル音声素片データベース格納部と、
ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報を格納するローカル音声素片インデックス格納部と、  
音声化すべきテキストデータが入力され、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力するテキスト解析部と、
前記テキスト解析部から出力された韻律情報が入力され、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力する韻律パラメータ取得部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが入力され、当該入力された読み情報及び韻律パラメータをキーとして前記ローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力するローカル音声素片探索部と、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が入力され、当該ローカル音声素片格納情報が指定するローカル音声素片データを、前記ローカル音声素片データベース格納部から読み出すローカル音声素片データ読み出し部と、
前記ローカル音声素片データ読み出し部が読み出したローカル音声素片データが入力され、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力する音声素片接続部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータを、ネットワークを通じ、音声素片データベースサーバ装置に送信する音声素片情報送信部と、
前記音声素片データベースサーバ装置からネットワークを通じて送信された最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を受信する音声素片データ受信部と、
前記音声素片データ受信部において受信された最適音声素片データの少なくとも一部を、新たなローカル音声素片データとして前記ローカル音声素片データベース格納部に追加格納する音声素片データベース追加部と、
前記新たなローカル音声素片データに対応するローカル音声素片系列情報を、前記ローカル音声素片インデックス格納部に追加格納する音声素片インデックス追加部と、をさらに具備する、
ことを特徴とするクライアント装置。
【請求項７】
ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）を格納するローカル音声素片データベース格納部と、
ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報を格納するローカル音声素片インデックス格納部と、  
音声化すべきテキストデータが入力され、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力するテキスト解析部と、
前記テキスト解析部から出力された韻律情報が入力され、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力する韻律パラメータ取得部と、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが入力され、当該入力された読み情報及び韻律パラメータをキーとして前記ローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力するローカル音声素片探索部と、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が入力され、当該ローカル音声素片格納情報が指定するローカル音声素片データを、前記ローカル音声素片データベース格納部から読み出すローカル音声素片データ読み出し部と、
前記ローカル音声素片データ読み出し部が読み出したローカル音声素片データが入力され、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力する音声素片接続部と、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報、前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータを、ネットワークを通じ、音声素片データベースサーバ装置に送信する音声素片情報送信部と、
前記音声素片データベースサーバ装置からネットワークを通じて送信された最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を受信する音声素片データ受信部と、
前記音声素片データ受信部において受信された最適音声素片データを、新たなローカル音声素片データとして前記ローカル音声素片データベース格納部に追加格納する音声素片データベース追加部と、
前記新たなローカル音声素片データに対応するローカル音声素片系列情報を、前記ローカル音声素片インデックス格納部に追加格納する音声素片インデックス追加部と、を具備する、
ことを特徴とするクライアント装置。
【請求項８】
最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を格納する最適音声素片データベース格納部と、
クライアント装置からネットワークを通じて送信された要求音声素片系列情報の最適音声素片格納情報を受信する音声素片情報受信部と、
受信された最適音声素片格納情報が入力され、当該最適音声素片格納情報が指定する最適音声素片データを、最適音声素片データベース格納部から読み出す最適音声素片データ読み出し部と、
読み出された最適音声素片データを、ネットワークを通じ、前記クライアント装置に返信する音声素片データ送信部と、を具備する、
ことを特徴とする音声素片データベースサーバ装置。
【請求項９】
最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を格納する最適音声素片データベース格納部と、
最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報を格納する最適音声素片インデックス格納部と、
クライアント装置からネットワークを通じて送信された読み情報及び韻律パラメータを受信する音声素片情報受信部と、
受信された読み情報及び韻律パラメータをキーとして前記最適音声素片インデックス格納部を検索し、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力する最適音声素片探索部と、
前記最適音声素片探索部から出力された最適音声素片系列情報の最適音声素片格納情報が入力され、当該最適音声素片格納情報が指定する最適音声素片データを、前記最適音声素片データベース格納部から読み出す最適音声素片データ読み出し部と、
読み出された最適音声素片データを、ネットワークを通じ、前記クライアント装置に返信する音声素片データ送信部と、を具備する、
ことを特徴とする音声素片データベースサーバ装置。
【請求項１０】
最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を格納する最適音声素片データベース格納部と、
最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報を格納する最適音声素片インデックス格納部と、
クライアント装置からネットワークを通じて送信されたローカル音声素片系列情報、読み情報及び韻律パラメータを受信する音声素片情報受信部と、
受信された読み情報及び韻律パラメータをキーとして前記最適音声素片インデックス格納部を検索し、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力する最適音声素片探索部と、
前記音声素片情報受信部において受信されたローカル音声素片系列情報及び最適音声素片探索部から出力された最適音声素片系列情報が入力され、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した送信音声素片系列情報を生成し、当該送信音声素片系列情報を出力する送信音声素片決定部と、
送信音声素片系列情報の最適音声素片格納情報が入力され、当該最適音声素片格納情報が指定する最適音声素片データを、前記最適音声素片データベース格納部から読み出す最適音声素片データ読み出し部と、
読み出された最適音声素片データを、ネットワークを通じ、前記クライアント装置に返信する音声素片データ送信部と、を具備する、
ことを特徴とする音声素片データベースサーバ装置。
【請求項１１】
少なくとも１つのクライアント装置と、当該クライアント装置とネットワークを通じて接続される少なくとも１つの音声素片データベースサーバ装置とを具備する音声合成システムの音声合成方法であって、
前記音声素片データベースサーバ装置の最適音声素片データベース格納部に、最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）が格納され、  
前記クライアント装置のローカル音声素片データベース格納部に、ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）が格納され、
前記クライアント装置のローカル音声素片インデックス格納部に、ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報が格納され、
前記クライアント装置の最適音声素片インデックス格納部に、最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報が格納された状態において、
音声化すべきテキストデータが前記クライアント装置のテキスト解析部に入力され、当該テキスト解析部において、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力するステップと、
前記テキスト解析部から出力された韻律情報が前記クライアント装置の韻律パラメータ取得部に入力され、当該韻律パラメータ取得部において、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力するステップと、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが前記クライアント装置のローカル音声素片探索部に入力され、当該ローカル音声素片探索部において、当該入力された読み情報及び韻律パラメータをキーとして前記ローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力するステップと、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が、前記クライアント装置のローカル音声素片データ読み出し部に入力され、当該ローカル音声素片データ読み出し部において、当該ローカル音声素片格納情報が指定するローカル音声素片データを、前記ローカル音声素片データベース格納部から読み出すステップと、
前記ローカル音声素片データ読み出し部が読み出したローカル音声素片データが前記クライアント装置の音声素片接続部に入力され、当該音声素片接続部において、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力するステップと、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが前記クライアント装置の最適音声素片探索部に入力され、当該最適音声素片探索部において、当該入力された読み情報及び韻律パラメータをキーとして前記最適音声素片インデックス格納部を検索し、入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力するステップと、
前記ローカル音声素片探索部及び前記最適音声素片探索部からそれぞれ出力されたローカル音声素片系列情報及び最適音声素片系列情報が前記クライアント装置の要求音声素片決定部に入力され、当該要求音声素片決定部において、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した要求音声素片系列情報を生成し、当該要求音声素片系列情報を出力するステップと、
前記クライアント装置の音声素片情報送信部において、要求音声素片系列情報の最適音声素片格納情報を、ネットワークを通じ、音声素片データベースサーバ装置に送信するステップと、
前記音声素片データベースサーバ装置の音声素片情報受信部において、要求音声素片系列情報の最適音声素片格納情報を受信するステップと、
受信された最適音声素片格納情報が前記音声素片データベースサーバ装置の最適音声素片データ読み出し部に入力され、当該最適音声素片データ読み出し部において、当該最適音声素片格納情報が指定する最適音声素片データを、前記最適音声素片データベース格納部から読み出すステップと、
読み出された最適音声素片データを、前記音声素片データベースサーバ装置の音声素片データ送信部において、ネットワークを通じ、前記クライアント装置に返信するステップと、
前記クライアント装置の音声素片データ受信部において、最適音声素片データを受信するステップと、
前記音声素片データ受信部において受信された最適音声素片データを、前記クライアント装置の音声素片データベース追加部において、新たなローカル音声素片データとして前記ローカル音声素片データベース格納部に追加格納するステップと、
前記新たなローカル音声素片データに対応するローカル音声素片系列情報を、前記クライアント装置の音声素片インデックス追加部において、前記ローカル音声素片インデックス格納部に追加格納するステップと、
を実行することを特徴とする音声合成方法。
【請求項１２】
少なくとも１つのクライアント装置と、当該クライアント装置とネットワークを通じて接続される少なくとも１つの音声素片データベースサーバ装置とを具備する音声合成システムの音声合成方法であって、
前記音声素片データベースサーバ装置の最適音声素片データベース格納部に、最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）が格納され、  
前記音声素片データベースサーバ装置の最適音声素片インデックス格納部に、最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報が格納され、
前記クライアント装置のローカル音声素片データベース格納部に、ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）が格納され、
前記クライアント装置のローカル音声素片インデックス格納部に、ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報が格納された状態において、
音声化すべきテキストデータが前記クライアント装置のテキスト解析部に入力され、当該テキスト解析部において、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力するステップと、
前記テキスト解析部から出力された韻律情報が前記クライアント装置の韻律パラメータ取得部に入力され、当該韻律パラメータ取得部において、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力するステップと、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが、前記クライアント装置のローカル音声素片探索部に入力され、当該ローカル音声素片探索部において、当該入力された読み情報及び韻律パラメータをキーとして前記ローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力するステップと、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が前記クライアント装置のローカル音声素片データ読み出し部に入力され、当該ローカル音声素片データ読み出し部において、当該ローカル音声素片格納情報が指定するローカル音声素片データを、前記ローカル音声素片データベース格納部から読み出すステップと、
前記ローカル音声素片データ読み出し部が読み出したローカル音声素片データが前記クライアント装置の音声素片接続部に入力され、当該音声素片接続部において、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力するステップと、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータを、前記クライアント装置の音声素片情報送信部において、ネットワークを通じ、音声素片データベースサーバ装置に送信するステップと、
前記音声素片データベースサーバ装置の音声素片情報受信部において、読み情報及び韻律パラメータを受信するステップと、
受信された読み情報及び韻律パラメータをキーとして、前記音声素片データベースサーバ装置の最適音声素片探索部において、前記最適音声素片インデックス格納部を検索し、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力するステップと、
前記最適音声素片探索部から出力された最適音声素片系列情報の最適音声素片格納情報が、前記音声素片データベースサーバ装置の最適音声素片データ読み出し部に入力され、当該最適音声素片データ読み出し部において、当該最適音声素片格納情報が指定する最適音声素片データを、前記最適音声素片データベース格納部から読み出すステップと、
読み出された最適音声素片データを、前記音声素片データベースサーバ装置の音声素片データ送信部において、ネットワークを通じ、前記クライアント装置に返信するステップと、
前記クライアント装置の音声素片データ受信部において、最適音声素片データを受信するステップと、
前記音声素片データ受信部において受信された最適音声素片データの少なくとも一部を、前記クライアント装置の音声素片データベース追加部において、新たなローカル音声素片データとして前記ローカル音声素片データベース格納部に追加格納するステップと、
前記クライアント装置の音声素片インデックス追加部において、前記新たなローカル音声素片データに対応するローカル音声素片系列情報を、前記ローカル音声素片インデックス格納部に追加格納するステップと、
を実行することを特徴とする音声合成方法。
【請求項１３】
少なくとも１つのクライアント装置と、当該クライアント装置とネットワークを通じて接続される少なくとも１つの音声素片データベースサーバ装置とを具備する音声合成システムの音声合成方法であって、
前記音声素片データベースサーバ装置の最適音声素片データベース格納部に、最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）が格納され、  
前記音声素片データベースサーバ装置の最適音声素片インデックス格納部に、最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報が格納され、
前記クライアント装置のローカル音声素片データベース格納部に、ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）が格納され、
前記クライアント装置のローカル音声素片インデックス格納部に、ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報が格納された状態において、
音声化すべきテキストデータが前記クライアント装置のテキスト解析部に入力され、当該テキスト解析部において、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力するステップと、
前記テキスト解析部から出力された韻律情報が前記クライアント装置の韻律パラメータ取得部に入力され、当該韻律パラメータ取得部において、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力するステップと、
前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータが前記クライアント装置のローカル音声素片探索部に入力され、当該ローカル音声素片探索部において、当該入力された読み情報及び韻律パラメータをキーとして前記ローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力するステップと、
前記ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が前記クライアント装置のローカル音声素片データ読み出し部に入力され、当該ローカル音声素片データ読み出し部において、当該ローカル音声素片格納情報が指定するローカル音声素片データを、前記ローカル音声素片データベース格納部から読み出すステップと、
前記ローカル音声素片データ読み出し部が読み出したローカル音声素片データが、前記クライアント装置の音声素片接続部に入力され、当該音声素片接続部において、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力するステップと、
前記クライアント装置の音声素片情報送信部において、前記ローカル音声素片探索部から出力されたローカル音声素片系列情報、前記テキスト解析部から出力された読み情報及び前記韻律パラメータ取得部から出力された韻律パラメータを、ネットワークを通じ、音声素片データベースサーバ装置に送信するステップと、
前記音声素片データベースサーバ装置の音声素片情報受信部において、ローカル音声素片系列情報、読み情報及び韻律パラメータを受信するステップと、
受信された読み情報及び韻律パラメータをキーとして、前記音声素片データベースサーバ装置の最適音声素片探索部において、前記最適音声素片インデックス格納部を検索し、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力するステップと、
前記音声素片情報受信部において受信されたローカル音声素片系列情報及び最適音声素片探索部から出力された最適音声素片系列情報が、前記音声素片データベースサーバ装置の送信音声素片決定部に入力され、当該送信音声素片決定部において、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した送信音声素片系列情報を生成し、当該送信音声素片系列情報を出力するステップと、
送信音声素片系列情報の最適音声素片格納情報が、前記音声素片データベースサーバ装置の最適音声素片データ読み出し部に入力され、当該最適音声素片データ読み出し部において、当該最適音声素片格納情報が指定する最適音声素片データを、前記最適音声素片データベース格納部から読み出すステップと、
読み出された最適音声素片データを、前記音声素片データベースサーバ装置の音声素片データ送信部において、ネットワークを通じ、前記クライアント装置に返信するステップと、
前記クライアント装置の音声素片データ受信部において、最適音声素片データを受信するステップと、
前記音声素片データ受信部において受信された最適音声素片データを、前記クライアント装置の音声素片データベース追加部において、新たなローカル音声素片データとして前記ローカル音声素片データベース格納部に追加格納するステップと、
前記クライアント装置の音声素片インデックス追加部において、前記新たなローカル音声素片データに対応するローカル音声素片系列情報を、前記ローカル音声素片インデックス格納部に追加格納するステップと、
を実行することを特徴とする音声合成方法。
【請求項１４】
請求項１１から１３の何れかに記載された音声合成方法であって、
前記クライアント装置の音声素片データ削除部において、前記ローカル音声素片データベース格納部に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下であるか否かを判定するステップと、
前記ローカル音声素片データベース格納部に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下でない場合、前記音声素片データ削除部において、所定の優先順位に従って、当該ローカル音声素片データベース格納部に格納されたローカル音声素片データの一部を削除するステップと、
前記クライアント装置の音声素片系列情報削除部において、前記音声素片データ削除部において削除されたローカル音声素片データに対応するローカル音声素片系列情報を前記ローカル音声素片インデックス格納部から削除するステップと、をさらに具備する、
ことを特徴とする音声合成方法。
【請求項１５】
請求項５から７の何れかに記載のクライアント装置としてコンピュータを機能させるためのプログラム。
【請求項１６】
請求項８から１０の何れかに記載の音声素片データベースサーバ装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキストデータから合成音声を生成する技術に関する。
【背景技術】
【０００２】
近年では大容量な記憶装置の使用コストの低下に伴って、数十分以上の大容量の音声データをそのまま大容量の記憶装置に蓄積し、入力されたテキスト及び韻律情報に応じて音声素片を適切に選択し、接続・変形することで高品質な音声を合成する波形接続型コーパスベース音声合成方法が提案されている（例えば、特許文献１及び非特許文献１参照。）。
このような方法によって、原理的には肉声同等の高品質な合成音声を生成することが可能になってきている。具体的には、まず、音声データベースから、合成したい文字列に対応する音韻系列と部分的または完全に一致する音声素片を、バイナリ−ツリー等で構成された音声素片辞書を用いて検索する。次に、音声素片の類似度を評価するための評価尺度（複数のパラメータの組み合わせからなる）に従ってコスト付けされた多数の音声素片の中から、ＤＰ等の方法によって適切な音声素片の組み合わせを選択する。そして、これらの選択された音声素片を順に接続することで音声合成を行っている（非特許文献２）。しかし、このような音声合成方式においては、そもそも適切な音声素片が音声データベースに存在しない場合、高品質な合成音声を生成不可能である。
【０００３】
従って、様々なテキストを高品質に音声合成するためには、豊富な音声素片のバリエーションを含む音声データベースを用いることが必須である。そして、そのため近年では音声素片のバリエーションを増やし合成音声を高品質化するために、音声データベースの容量をより一層増加させる方向で開発が進んでいる。
【特許文献１】特許２７６１５５２号公報
【非特許文献１】M.Beutnagel, A.Conkie, J.Schoroeter, Y.Stylianou, and A.Sydral, “Chose the best to modify the least: A new generation concatenative synthesis system”, in Proc.Eurospeech’99, 1999, pp.2291-2294
【非特許文献２】“波形編集型規則合成法における波形選択法”、広川他、電子情報通信学会音声研究会資料、SP89-114,pp.33-40(1990)。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような音声データベースの大容量化により合成音声の品質は向上してきたが、同時に実用面でそのような大規模な音声データベースを必要とするソフトウェアの配布方法について問題が生じてきた。
現在では、ＡＤＳＬやＦＴＴＨ等によるインターネットへのアクセス手段の高速化に伴って、ソフトウェアの配布方法も従来のようにCD-ROM等の物理的な媒体を用いて配布するのではなく、インターネットを用いオンラインでダウンロードさせることにより配布する方法も、配布手段のコストダウンに繋がるものとして普及しつつある。
【０００５】
しかし、大規模なデータベースは、最近の高速化したアクセス手段を用いても、ダウンロードには非常に長時間必要であり、オンラインでの配布は事実上不可能という課題がある。
また、携帯端末や携帯電話等の携帯型機器分野では、より一層の機器の普及や差別化に繋げるため、ユーザにとって使いやすい様々なソフトウェアの開発が行われている。音声合成技術も人にとってわかりやすい音声での情報伝達が可能であるという点からこれらの分野で必要な技術と考えられる。しかし、大規模なデータベースが必要な波形接続型コーパスベース音声合成方法は、そういった携帯電話等で動作させることが不可能である。
【０００６】
このような技術的な問題は、インターネット等のネットワーク上にサーバ装置を用意し、そこで音声合成ソフトウェアを動作させれば解決可能である。すなわち、携帯電話等のクライアント装置からサーバ装置へテキストデータを送信し、このサーバ装置で合成音声を生成し、それをクライアント装置に返送することとすれば、クライアント装置で大規模なデータベースを保持する必要はなくなる。しかし、その場合、クライアント装置から大量のアクセスがあった場合に備えて大規模なサーバ設備が必要となる。よって、この方法は、サーバ設備に莫大なコストが掛かる等の問題を有し、現実的な方法とはいえない。
【０００７】
そのため、「音声合成方法、音声合成装置および音声合成プログラム」（特開2003-233386）のように、合成音声の生成はクライアント装置で行うが、音声素片データの一部をネットワーク上のサーバ装置に置き、音声素片の適合率に応じてクライアント装置が保持する音声素片とネットワーク上の音声素片とを適切に使い分ける方法も提案されている。ここで、音声素片の適合率に応じてクライアント装置が保持する音声素片とネットワーク上の音声素片を適切に使い分けるためには、適切な適合率の閾値の設定が必要である。しかし、実際は適切な閾値の設定は困難である。また、この方法では、サーバ装置からダウンロードした音声素片が適切でない場合、再度音声素片をダウンロードしなければならないため、入力したテキストから合成音声が得られるまでのスループットの変動が非常に大きいという問題もあった。
【０００８】
また、サーバ装置での負担を減らすため、テキストデータのテキスト解析等はクラインと装置で行い、音声素片データを必要とする処理のみをサーバ装置で実行することによって上記の問題を解決する方法も容易に考えられる。しかし、その場合、クライアント装置が音声合成に必要な読み情報や韻律パラメータをサーバ装置に送信し、サーバ装置がそれらに対応する合成音声を生成・送信し、それをクライアント装置が受信するまでの間は全く音声を出力することができない。その結果、ネットワークの混雑状況によっては、音声が出力されるまでの応答時間が非常に掛かるなどの問題が生じる。
【０００９】
本発明はこのような点に鑑みてなされたものであり、クライアント装置に大規模なデータベースを設けることなく、容易に高い品質の合成音声を短い応答期間で出力することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、第１の本発明では、音声素片データベースサーバ装置の最適音声素片データベース格納部に、最適音声素片データ（「音声素片データベースサーバ装置に格納される音声素片データ」を意味する）を格納しておく。
また、クライアント装置のローカル音声素片データベース格納部に、ローカル音声素片データ（「クライアント装置に格納される音声素片データ」を意味する）を格納し、クライアント装置のローカル音声素片インデックス格納部に、ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報を格納し、クライアント装置の最適音声素片インデックス格納部に、最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報を格納しておく。
【００１１】
そして、まず、音声化すべきテキストデータがクライアント装置のテキスト解析部に入力され、当該テキスト解析部において、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力する。次に、テキスト解析部から出力された韻律情報がクライアント装置の韻律パラメータ取得部に入力され、当該韻律パラメータ取得部において、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力する。そして、テキスト解析部から出力された読み情報及び韻律パラメータ取得部から出力された韻律パラメータがクライアント装置のローカル音声素片探索部に入力され、当該ローカル音声素片探索部において、当該入力された読み情報及び韻律パラメータをキーとしてローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力する。また、ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報が、クライアント装置のローカル音声素片データ読み出し部に入力され、当該ローカル音声素片データ読み出し部において、当該ローカル音声素片格納情報が指定するローカル音声素片データを、ローカル音声素片データベース格納部から読み出す。そして、ローカル音声素片データ読み出し部が読み出したローカル音声素片データがクライアント装置の音声素片接続部に入力され、当該音声素片接続部において、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力する。
【００１２】
また、テキスト解析部から出力された読み情報及び韻律パラメータ取得部から出力された韻律パラメータがクライアント装置の最適音声素片探索部に入力され、当該最適音声素片探索部において、当該入力された読み情報及び韻律パラメータをキーとして最適音声素片インデックス格納部を検索し、入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力する。さらに、ローカル音声素片探索部及び最適音声素片探索部からそれぞれ出力されたローカル音声素片系列情報及び最適音声素片系列情報がクライアント装置の要求音声素片決定部に入力され、当該要求音声素片決定部において、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した要求音声素片系列情報を生成し、当該要求音声素片系列情報を出力する。そして、クライアント装置の音声素片情報送信部において、要求音声素片系列情報の最適音声素片格納情報を、ネットワークを通じ、音声素片データベースサーバ装置に送信する。
【００１３】
次に、音声素片データベースサーバ装置の音声素片情報受信部において、要求音声素片系列情報の最適音声素片格納情報を受信する。そして、受信された最適音声素片格納情報が音声素片データベースサーバ装置の最適音声素片データ読み出し部に入力され、当該最適音声素片データ読み出し部において、当該最適音声素片格納情報が指定する最適音声素片データを、最適音声素片データベース格納部から読み出す。その後、読み出された最適音声素片データを、音声素片データベースサーバ装置の音声素片データ送信部において、ネットワークを通じ、クライアント装置に返信する。
【００１４】
そして、クライアント装置の音声素片データ受信部において、最適音声素片データを受信し、受信された最適音声素片データを、クライアント装置の音声素片データベース追加部において、新たなローカル音声素片データとしてローカル音声素片データベース格納部に追加格納する。また、新たなローカル音声素片データに対応するローカル音声素片系列情報を、クライアント装置の音声素片インデックス追加部において、ローカル音声素片インデックス格納部に追加格納する。
ここで、クライアント装置における合成音声データの生成処理は、音声素片データベースサーバ装置へのアクセスが必要なローカル音声素片データベース格納部への最適音声素片データの追加処理と独立に行われる。その場合、テキストデータの入力から合成音声が出力されるまでの時間は、クライアント装置の処理性能のみに依存し、ネットワークの品質や構成に全く依存しない。
【００１５】
また、ローカル音声素片データベース格納部へ最適音声素片データが新たなローカル音声素片データとして追加されることにより、その後生成される合成音声データの品質が向上する。
さらに、クライアント装置は、最適音声素片系列情報からローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した要求音声素片系列情報をもとに、音声素片データベースサーバ装置に最適音声素片データを要求する最適音声素片データを決定する。すなわち、クライアント装置は、音声素片データベースサーバ装置に最適音声素片データを要求するか否かの判断を、ローカル音声素片データベース格納部に最適な音声素片データが存在するか否かによって行う。そのため、本発明では、適切な設定が困難な閾値等のパラメータを設定する必要はない。
【００１６】
上記課題を解決するために、第２の本発明では、音声素片データベースサーバ装置の最適音声素片データベース格納部に、最適音声素片データを格納し、音声素片データベースサーバ装置の最適音声素片インデックス格納部に、最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報を格納しておく。
また、クライアント装置のローカル音声素片データベース格納部に、ローカル音声素片データを格納しておき、クライアント装置のローカル音声素片インデックス格納部に、ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報を格納しておく。
【００１７】
そして、まず、音声化すべきテキストデータがクライアント装置のテキスト解析部に入力され、当該テキスト解析部において、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力する。次に、テキスト解析部から出力された韻律情報がクライアント装置の韻律パラメータ取得部に入力され、当該韻律パラメータ取得部において、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力する。そして、テキスト解析部から出力された読み情報及び韻律パラメータ取得部から出力された韻律パラメータが、クライアント装置のローカル音声素片探索部に入力され、当該ローカル音声素片探索部において、当該入力された読み情報及び韻律パラメータをキーとしてローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力する。また、ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報がクライアント装置のローカル音声素片データ読み出し部に入力され、当該ローカル音声素片データ読み出し部において、当該ローカル音声素片格納情報が指定するローカル音声素片データを、ローカル音声素片データベース格納部から読み出す。そして、ローカル音声素片データ読み出し部が読み出したローカル音声素片データがクライアント装置の音声素片接続部に入力され、当該音声素片接続部において、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力する。また、テキスト解析部から出力された読み情報及び韻律パラメータ取得部から出力された韻律パラメータを、クライアント装置の音声素片情報送信部において、ネットワークを通じ、音声素片データベースサーバ装置に送信する。
【００１８】
音声素片データベースサーバ装置の音声素片情報受信部は、これらの読み情報及び韻律パラメータを受信する。そして、受信された読み情報及び韻律パラメータをキーとして、音声素片データベースサーバ装置の最適音声素片探索部において、最適音声素片インデックス格納部を検索し、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力する。また、最適音声素片探索部から出力された最適音声素片系列情報の最適音声素片格納情報が、音声素片データベースサーバ装置の最適音声素片データ読み出し部に入力され、当該最適音声素片データ読み出し部において、当該最適音声素片格納情報が指定する最適音声素片データを、最適音声素片データベース格納部から読み出す。そして、読み出された最適音声素片データを、音声素片データベースサーバ装置の音声素片データ送信部において、ネットワークを通じ、クライアント装置に返信する。
【００１９】
クライアント装置の音声素片データ受信部は、最適音声素片データを受信する。そして、受信された最適音声素片データの少なくとも一部を、クライアント装置の音声素片データベース追加部において、新たなローカル音声素片データとしてローカル音声素片データベース格納部に追加格納する。また、クライアント装置の音声素片インデックス追加部において、新たなローカル音声素片データに対応するローカル音声素片系列情報を、ローカル音声素片インデックス格納部に追加格納する。
ここで、クライアント装置における合成音声データの生成処理は、音声素片データベースサーバ装置へのアクセスが必要なローカル音声素片データベース格納部への最適音声素片データの追加処理と独立に行われる。その場合、テキストデータの入力から合成音声が出力されるまでの時間は、クライアント装置の処理性能のみに依存し、ネットワークの品質や構成に全く依存しない。
【００２０】
また、ローカル音声素片データベース格納部へ最適音声素片データが新たなローカル音声素片データとして追加されることにより、その後生成される合成音声データの品質が向上する。
さらに、クライアント装置は、テキスト解析部から出力された読み情報及び韻律パラメータ取得部から出力された韻律パラメータを音声素片データベースサーバ装置に送信し、対応する最適音声素片データの送信を要求する。そのため、本発明では、適切な設定が困難な閾値等のパラメータを設定する必要はない。
【００２１】
上記課題を解決するために、第３の本発明では、音声素片データベースサーバ装置の最適音声素片データベース格納部に、最適音声素片データを格納し、音声素片データベースサーバ装置の最適音声素片インデックス格納部に、最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報が格納しておく。
また、クライアント装置のローカル音声素片データベース格納部に、ローカル音声素片データに格納し、クライアント装置のローカル音声素片インデックス格納部に、ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報が格納しておく。
【００２２】
そして、まず、音声化すべきテキストデータがクライアント装置のテキスト解析部に入力され、当該テキスト解析部において、当該テキストデータに対してテキスト解析を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を出力する。次に、テキスト解析部から出力された韻律情報がクライアント装置の韻律パラメータ取得部に入力され、当該韻律パラメータ取得部において、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを生成し、当該韻律パラメータを出力する。そして、テキスト解析部から出力された読み情報及び韻律パラメータ取得部から出力された韻律パラメータがクライアント装置のローカル音声素片探索部に入力され、当該ローカル音声素片探索部において、当該入力された読み情報及び韻律パラメータをキーとしてローカル音声素片インデックス格納部を検索し、当該入力された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報を抽出し、抽出したローカル音声素片系列情報を出力する。また、ローカル音声素片探索部から出力されたローカル音声素片系列情報のローカル音声素片格納情報がクライアント装置のローカル音声素片データ読み出し部に入力され、当該ローカル音声素片データ読み出し部において、当該ローカル音声素片格納情報が指定するローカル音声素片データを、ローカル音声素片データベース格納部から読み出す。そして、ローカル音声素片データ読み出し部が読み出したローカル音声素片データが、クライアント装置の音声素片接続部に入力され、当該音声素片接続部において、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを出力する。また、クライアント装置の音声素片情報送信部において、ローカル音声素片探索部から出力されたローカル音声素片系列情報、テキスト解析部から出力された読み情報及び韻律パラメータ取得部から出力された韻律パラメータを、ネットワークを通じ、音声素片データベースサーバ装置に送信する。
【００２３】
音声素片データベースサーバ装置の音声素片情報受信部は、ローカル音声素片系列情報、読み情報及び韻律パラメータを受信する。そして、受信された読み情報及び韻律パラメータをキーとして、音声素片データベースサーバ装置の最適音声素片探索部において、最適音声素片インデックス格納部を検索し、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を抽出し、抽出した最適音声素片系列情報を出力する。また、音声素片情報受信部において受信されたローカル音声素片系列情報及び最適音声素片探索部から出力された最適音声素片系列情報が、音声素片データベースサーバ装置の送信音声素片決定部に入力され、当該送信音声素片決定部において、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した送信音声素片系列情報を生成し、当該送信音声素片系列情報を出力する。そして、送信音声素片系列情報の最適音声素片格納情報が、音声素片データベースサーバ装置の最適音声素片データ読み出し部に入力され、当該最適音声素片データ読み出し部において、当該最適音声素片格納情報が指定する最適音声素片データを、最適音声素片データベース格納部から読み出す。その後、読み出された最適音声素片データを、音声素片データベースサーバ装置の音声素片データ送信部において、ネットワークを通じ、クライアント装置に返信する。
【００２４】
クライアント装置の音声素片データ受信部は、最適音声素片データを受信する。そして、受信された最適音声素片データを、クライアント装置の音声素片データベース追加部において、新たなローカル音声素片データとしてローカル音声素片データベース格納部に追加格納する。また、クライアント装置の音声素片インデックス追加部において、新たなローカル音声素片データに対応するローカル音声素片系列情報を、ローカル音声素片インデックス格納部に追加格納する。
ここで、クライアント装置における合成音声データの生成処理は、音声素片データベースサーバ装置へのアクセスが必要なローカル音声素片データベース格納部への最適音声素片データの追加処理と独立に行われる。その場合、テキストデータの入力から合成音声が出力されるまでの時間は、クライアント装置の処理性能のみに依存し、ネットワークの品質や構成に全く依存しない。
【００２５】
また、ローカル音声素片データベース格納部へ最適音声素片データが新たなローカル音声素片データとして追加されることにより、その後生成される合成音声データの品質が向上する。
さらに、音声素片データベースサーバ装置は、最適音声素片系列情報からローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した送信音声素片系列情報をもとに、クライアント装置に送信する最適音声素片データを決定する。すなわち、音声素片データベースサーバ装置は、クライアント装置へ最適音声素片データを送信するか否かの判断を、ローカル音声素片データベース格納部に最適な音声素片データが存在するか否かによって行う。そのため、本発明では、適切な設定が困難な閾値等のパラメータを設定する必要はない。
【００２６】
また、第1から第3の本発明において好ましくは、クライアント装置の音声素片データ削除部において、ローカル音声素片データベース格納部に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下であるか否かを判定し、ローカル音声素片データベース格納部に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下でない場合、所定の優先順位に従って、当該ローカル音声素片データベース格納部に格納されたローカル音声素片データの一部を削除する。そして、クライアント装置の音声素片系列情報削除部において、音声素片データ削除部において削除されたローカル音声素片データに対応するローカル音声素片系列情報をローカル音声素片インデックス格納部から削除する。これにより、ローカル音声素片データベース格納部に格納可能なデータ量に制限がある環境においても本発明を適用することが可能となる。
【発明の効果】
【００２７】
以上のように、本発明では、クライアント装置における合成音声データの生成処理が、音声素片データベースサーバ装置へのアクセスが必要なローカル音声素片データベース格納部への最適音声素片データの追加処理と独立に行われる。よって、テキストデータの入力から合成音声が出力されるまでの時間は、クライアント装置の処理性能のみに依存し、ネットワークの品質や構成に全く依存しない。その結果、高速な音声合成が可能となる。
また、本発明では、ローカル音声素片データベース格納部へ最適音声素片データが新たなローカル音声素片データとして追加されることにより、その後生成される合成音声データの品質が向上する。
【００２８】
さらに、本発明では、音声素片データの適合性を判定するために、適切な設定が困難な閾値等のパラメータを設定する必要はない。よって、閾値等のパラメータの調整に時間が掛かったり、最適なパラメータの設定ができないため性能が十分でなかったり等の問題が生じる事が無い。
以上より、本発明では、クライアント装置に大規模なデータベースを設けることなく、容易に高い品質の合成音声を短い応答期間で出力することができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態を図面を参照して説明する。
〔第１の実施の形態〕
初めに本発明の第１の実施の形態を述べる。
＜構成＞
図１（ａ）は、本形態の音声合成システム１の概念図である。
図１（ａ）に例示するように、本形態の音声合成システム１は、少なくとも１つのクライアント装置１００と、当該クライアント装置１００とネットワーク２００を通じて接続される少なくとも１つの音声素片データベースサーバ装置３００とを具備する。なお、説明の簡略化のため、以下では１つのクライアント装置１００と１つの音声素片データベースサーバ装置３００とのみについて説明を行うが、これ以上の数のクライアント装置１００及び音声素片データベースサーバ装置３００を設ける構成としてもよい。
【００３０】
この例のクライアント装置１００は、ユーザ２が利用する音声合成装置であり、例えばＰＤＡ（personal digital assistance）、携帯電話、パーソナルコンピュータ等のハードウェアに所定のプログラムを実行させることにより構成されるものである。また、この例の音声素片データベースサーバ装置３００は、大容量の音声素片データベースを保持するサーバ装置であり、公知のコンピュータに所定のプログラムを実行させることにより構成されるものである。なお、この例の音声素片データベースサーバ装置３００は、センタ３が管理運用する。また、ネットワーク２００としては、例えば、携帯電話のパケット通信網、電話線を利用したＡＤＳＬ（asymmetric digital subscriber line）通信網、光ファイバー通信網等を例示できるが、特にこれらに限定されるものではない。
【００３１】
［クライアント装置１００のハードウェア構成］
図１（ｂ）は、図１（ａ）におけるクライアント装置１００のハードウェア構成を例示した概念図である。
この図に例示するように、本形態のクライアント装置１００は、プログラム及び演算結果等を格納するワークメモリ１０１、プログラムに基づき演算等を行うとともにクライアント装置の各構成要素を制御するＭＰＵ（Micro Processing Unit）１０２、音声素片データ及びその他のファイルを格納する蓄積メモリ１０３、ネットワーク２００を通じてデータを送受信するためのデータ送受信部１０４、テキストデータ等が入力される入力部１０６及び合成音声データを出力する出力部１０７を具備する。なお、必要に応じ、クライアント装置１００がさらに書き換え可能メモリ１０５を具備することとしてもよい。また、ワークメモリ１０１としては、ＲＡＭ（Random Access Memory）等の半導体メモリを例示でき、書き換え可能メモリ１０５としては、ＥＥＰＲＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等の半導体メモリを例示できる。また、蓄積メモリ１０３としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等を例示できる。さらに、入力部１０６としては、キー入力を受け付ける入力装置やデータ入力を受け付ける入力インタフェース等を例示できる。また、出力部１０７としては、合成音声を出力するスピーカやそのデータを出力するインタフェース等を例示できる。
【００３２】
なお、図１（ｂ）の代わりに、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ、ハードディスク装置等から構成される公知のコンピュータによって本形態のクライアント装置１００を構成することとしてもよい。
[音声素片データベースサーバ装置３００のハードウェア構成]
図１（ｃ）は、図１（ａ）における音声素片データベースサーバ装置３００のハードウェア構成を例示した概念図である。
この図に例示するように、本形態の音声素片データベースサーバ装置３００は、レジスタ３０１ａを持ち音声素片データベースサーバ装置３００全体を制御するＣＰＵ３０１、プログラム、音声素片データ及びその他のファイルを格納する補助記憶装置３０２、ＲＯＭ（Read Only Memory）３０３、プログラム及び演算結果等を格納するＲＡＭ３０４、及びデータ送受信部３０５を有している。なお、補助記憶装置３０２としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等を例示できる。また、データ送受信部３０５としては、ＬＡＮ（Local Area Network）カード、モデム、ルータ、ハブ等の通信装置を例示できる。
【００３３】
［クライアント装置１００の機能構成］
本形態のクライアント装置１００は、例えば、図１（ｂ）に例示したＭＰＵ１０２や公知のコンピュータのＣＰＵに所定のプログラムが読み込まれ、実行されることにより構成されるものである。
図２は、このクライアント装置１００の機能構成を例示したブロック図である。
この図に例示するように、本形態のクライアント装置１００は、ローカル音声素片データベース格納部１１１、ローカル音声素片インデックス格納部１１２、最適音声素片インデックス格納部１１３、一時記憶部１１４、テキストデータ入力部１２１、テキスト解析部１２２、韻律パラメータ取得部１２３、ローカル音声素片探索部１２４、ローカル音声素片データ読み出し部１２５、音声素片接続部１２６、音声出力部１２７、最適音声素片探索部１３１、要求音声素片決定部１３２、音声素片情報送信部１３３、音声素片データ受信部１３４、音声素片インデックス追加部１３６、音声素片データベース追加部１３７及び制御部１４０を有しており、音声素片情報送信部１３３及び音声素片データ受信部１３４を通じてネットワーク２００に接続可能に構成されている。
【００３４】
なお、ローカル音声素片データベース格納部１１１、ローカル音声素片インデックス格納部１１２及び最適音声素片インデックス格納部１１３は、例えば、図１（ｂ）の蓄積メモリ１０３やワークメモリ１０１等によって構成される。また、一時記憶部１１４は、例えば、図１（ｂ）のワークメモリ１０１や書き換え可能メモリ１０５等によって構成される。また、テキストデータ入力部１２１は、例えば、図１（ｂ）の入力部１０６等によって構成され、音声出力部１２７は、例えば、出力部１０７等によって構成される。さらに、テキスト解析部１２２、韻律パラメータ取得部１２３、ローカル音声素片探索部１２４、ローカル音声素片データ読み出し部１２５、音声素片接続部１２６、音声出力部１２７、最適音声素片探索部１３１、要求音声素片決定部１３２、音声素片インデックス追加部１３６、音声素片データベース追加部１３７及び制御部１４０は、例えば、図１（ｂ）のＭＰＵ１０２にワークメモリ１０１からプログラムが読み込まれ、さらにＭＰＵ１０２がこのプログラムを実行することにより構成されるものである。また、音声素片情報送信部１３３及び音声素片データ受信部１３４は、例えば、図１（ｂ）のデータ送受信部１０４等によって構成される。また、クライアント装置１００は、制御部１４０の制御のもと各処理を実行する。
【００３５】
［音声素片データベースサーバ装置３００の機能構成］
本形態の音声素片データベースサーバ装置３００は、例えば、図１（ｃ）に例示したＣＰＵ３０４に所定のプログラムが読み込まれ、実行されることにより構成されるものである。
図３は、本形態における音声素片データベースサーバ装置３００の機能構成を例示したブロック図である。
この図に例示するように、本形態の音声素片データベースサーバ装置３００は、一時記憶部３１１、最適音声素片データベース格納部３１２、音声素片情報受信部３２１、最適音声素片データ読み出し部３２３、音声素片データ送信部３２２及び制御部３３０を有し、音声素片情報受信部３２１及び音声素片データ送信部３２２を通じ、ネットワーク２００に接続可能に構成されている。
【００３６】
なお、一時記憶部３１１は、例えば、図１（ｃ）のレジスタ３０１ａやＲＡＭ３０４等によって構成される。また、最適音声素片データベース格納部３１２は、例えば、図１（ｃ）の補助記憶装置３０２やＲＡＭ３０４等によって構成される。さらに、最適音声素片データ読み出し部３２３及び制御部３３０は、例えば、図１（ｃ）のＣＰＵ３０１に所定のプログラムが読み込まれ、さらにＣＰＵ３０１がこのプログラムを実行することにより構成されるものである。また、音声素片情報受信部３２１及び音声素片データ送信部３２２は、例えば、図１（ｃ）のデータ送受信部３０５等によって構成されるものである。また、音声素片データベースサーバ装置３００は、制御部３３０の制御のもと各処理を実行する。
【００３７】
［ローカル音声素片データベース格納部１１１及び最適音声素片データベース格納部３１２のデータ構成］
ローカル音声素片データベース格納部１１１（図２）には、ローカル音声素片データが格納され、最適音声素片データベース格納部３１２（図３）には、最適音声素片データが格納される。ここで、ローカル音声素片データベース格納部１１１に格納されるローカル音声素片データと、最適音声素片データベース格納部３１２に格納される最適音声素片データとの概念的な構成は同一であるが、格納される内容が異なっている。以下、これについて説明する。
【００３８】
図４は、ローカル音声素片データベース格納部１１１に格納されるローカル音声素片データの構成を説明するための概念図である。
この図に例示するように、この例のローカル音声素片データベース格納部１１１には、時間情報に対応付けられた複数の音声素片データが格納され、それらによって１つのファイルを構成している。そして、各ファイルにはファイル番号が対応付けられ、ファイル番号と時間とを指定することにより各音声素片データを特定できる構成となっている。例えば、ファイル番号８のファイルには、音韻系列「Ａ」「Ｒ」「Ｅ」「Ｓ」「Ｕ」「Ｒ」「Ａ」・・・に対応する複数の音声素片データが、ファイル番号２３のファイルには、音韻系列「Ｄ」「Ａ」「Ｒ」「Ａ」・・・に対応する複数の音声素片データが、それぞれ時間情報に対応付けられて格納されている。そして、例えば、ファイル番号８、始点位置１０、時間長１１０と指定することにより、これらに対応する音韻系列「Ａ」の音声素片データを特定できる構成となっている。
【００３９】
また、最適音声素片データベース格納部３１２に格納される最適音声素片データも構造的にはローカル音声素片データベース格納部１１１に格納されるローカル音声素片データと同様である。ローカル音声素片データベース格納部１１１に格納されるローカル音声素片データと、最適音声素片データベース格納部３１２に格納される最適音声素片データとの相違は、そのデータの種類や量である。即ち、最適音声素片データベース格納部３１２には、大量の音声素片データが格納されるのに対し、初期段階のローカル音声素片データベース格納部１１１には、最低限の音声素片データのみが格納される。例えば、最適音声素片データベース格納部３１２には、任意のテキストに対して高品質な合成音声を生成することが可能な非常に多くの音声素片データを格納する。これに対し、初期段階のローカル音声素片データベース格納部１１１には、例えば、任意のテキストに対応する合成音声を生成可能な最低限の音声素片データのみを格納する。なお、合成音声を生成可能な最低限の音声素片データとしては、例えば、日本語の全ての音素、全ての音節、全ての三つ組み音素等に対応する音声素片データを例示できる。しかし、実際にどのような音声素片データを初期段階のローカル音声素片データベース格納部１１１に格納するかはクライアント装置１００の構成や初期時点で配布可能なデータ量や最低限求められる合成音声の品質等に対応して決めればよい。例えば、最低限の音声素片データに加え、合成音声の品質を部分的に向上させることが可能な音声素片データを初期段階のローカル音声素片データベース格納部１１１に格納することとしてもよい。
【００４０】
［ローカル音声素片インデックス格納部１１２及び最適音声素片インデックス格納部１１３のデータ構成］
この例のローカル音声素片インデックス格納部１１２（図２）には、ローカル音声素片データを指定するローカル音声素片格納情報と当該ローカル音声素片データに対応する読み情報及び韻律パラメータとが関連付けられたローカル音声素片系列情報が格納される。また、最適音声素片インデックス格納部１１３には、最適音声素片データを指定する最適音声素片格納情報と当該最適音声素片データに対応する読み情報及び韻律パラメータとが関連付けられた最適音声素片系列情報が格納される。
【００４１】
図５（ａ）は、図２のローカル音声素片インデックス格納部１１２に格納されるローカル音声素片インデックス１１２ａのデータ構成を例示した概念図であり、図５（ｂ）は、図３の最適音声素片インデックス格納部１１３に格納される最適音声素片インデックス１１３ａの構成を例示した概念図である。
図５（ａ）に例示するように、この例のローカル音声素片インデックス１１２ａは、ローカル音声素片データベース格納部１１１に格納される複数のローカル音声素片データに対応する複数のローカル音声素片系列情報１１２ａａ〜１１２ａｆを有している。ここで、各ローカル音声素片系列情報１１２ａａ〜１１２ａｆは、対応するローカル音声素片データの「音韻列」「前音韻環境」「後音韻環境」「平均Ｆ０（基準周波数）」「Ｆ０の傾斜」「パワー」及び「ローカル音声素片格納情報」が関連付けられた情報である。ここで、この例の「ローカル音声素片格納情報」は、対応するローカル音声素片データの格納位置を特定する「ファイル番号」「時間長」「始点位置」からなる情報である。なお、これらの「音韻列」「前音韻環境」「後音韻環境」が「読み情報」に相当し、「平均Ｆ０（基準周波数）」「Ｆ０の傾斜」「パワー」「時間長」が「韻律パラメータ」に相当する。また、「前音韻環境」とは、対応する「音韻列」に対し時系列的に前の音韻を示す情報であり、「後音韻環境」とは、対応する「音韻列」に対し時系列的に後の音韻を示す情報である。また「＃」はポーズ（無音状態）を示している。
【００４２】
また、図５（ｂ）に例示するように、この例の最適音声素片インデックス１１３ａは、最適音声素片データベース格納部３１２に格納される複数の最適音声素片データに対応する複数の最適音声素片系列情報１１３ａａ〜１１３ａｈを有している。ここで、各最適音声素片系列情報１１３ａａ〜１１３ａｈは、対応する最適音声素片データの「音韻列」「前音韻環境」「後音韻環境」「平均Ｆ０（基準周波数）」「Ｆ０の傾斜」「パワー」及び「最適音声素片格納情報」が関連付けられた情報である。ここで、この例の「最適音声素片格納情報」は、対応する最適音声素片データの格納場所を特定する「ファイル番号」「時間長」「始点位置」からなる情報である。
【００４３】
また、前述のようにローカル音声素片データベース格納部１１１に格納されるローカル音声素片データの数は、最適音声素片データベース格納部３１２に格納される最適音声素片データの数よりも少ないため、当然ローカル音声素片インデックス１１２ａが有するローカル音声素片系列情報の数も、最適音声素片インデックス１１３ａが有する最適音声素片系列情報の数よりも少ない。なお、音声素片インデックスの構成は、例えば、特許３５１５４０６号公報「音声合成方法及び装置」などで開示されている。
＜クライアント装置１００の処理＞
次に、クライアント装置１００の処理について説明する。
【００４４】
図６（ａ）は、本形態のクライアント装置１００における音声合成処理を説明するための流れ図である。以下、この図に従って、本形態の音声合成処理の詳細を説明する。
テキストデータ入力部１２１は、音声化すべきテキストデータの入力を受け付け、入力されたテキストデータは一時記憶部１１４に格納される。これをトリガにテキスト解析部１２２は、一時記憶部１１４からテキストデータを読み込む。そして、このテキスト解析部１２２は、読み込んだテキストデータに対してテキスト解析処理を行って読み情報及び韻律情報を生成し、当該読み情報及び韻律情報を一時記憶部１１４に出力し、そこに格納させる（ステップＳ１０）。なお、ここでいうテキスト解析処理は、主に形態素解析処理と読み・アクセント付与処理からなる。これらの処理方法については従来から様々な方法が存在し、例えば、特許３３７９６４３号公報「形態素解析方法および形態素解析プログラムを記録した記録媒体」で開示された方法や、特許３５１８３４０号公報「読み韻律情報設定方法及び装置及び読み韻律情報設定プログラムを格納した記憶媒体 」で開示された方法を用いることができる。
【００４５】
次に、韻律パラメータ取得部１２３において、一時記憶部１１４から上述の韻律情報を読み込み、当該韻律情報を用いて音声合成に必要な物理的な韻律パラメータを算出し、当該韻律パラメータを一時記憶部１１４に出力し、そこに格納させる（ステップＳ１１）。ここで韻律パラメータとしてはピッチ（基本周波数Ｆ０）や時間長（音素継続時間長）などがあるが、それらを求める方式も従来から存在する。例えば、特許３２４０６９１号公報「ピッチパタン生成方法、その装置及びプログラム記録媒体」や特許３３４４４８７号公報「音声基本周波数パターン生成装置」で開示された方法によってピッチ（基本周波数Ｆ０）を求めることが可能である。また、例えば、”海木ら、「言語情報を利用した母音継続時間長の制御」vol.75, No.3 pp.467-473、信学論,1992”や”M.D. Riley. “Tree-based modeling for speech synthesis.” In G. Bailly, C. Benoit, and T.R. Sawallis, editors, Talking Machines: Theories, Models, and Designs, pages 265-273. Elsevier, 1992.”で開示された方法により時間長を求めることもできる。なお、ステップＳ１１の処理は、上述のテキストデータに対応する全ての韻律情報に対して実行される。
【００４６】
次に、ローカル音声素片探索部１２４において、一時記憶部１１４から読み情報と韻律パラメータとを読み込む。そして、ローカル音声素片探索部１２４は、読み込んだ読み情報及び韻律パラメータをキーとしてローカル音声素片インデックス格納部１１２を検索する。そして、この例のローカル音声素片探索部１２４は、読み込んだ読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報をローカル音声素片インデックス格納部１１２に格納されたローカル音声素片インデックス１１２ａ（図５（ａ））から抽出し、抽出したローカル音声素片系列情報を一時記憶部１１４に出力し、そこに格納させる（ステップＳ１２）。すなわち、この例のローカル音声素片探索部１２４は、ローカル音声素片インデックス１１２ａから、テキスト解析によって得られた読み情報と韻律パラメータに最適なローカル音声素片系列情報を決定する。なお、ローカル音声素片系列情報の決定方法としては、例えば、特許３５１５４０６号公報「音声合成方法及び装置」などで開示されている。また、ここでいう類似範囲とは、例えば読み情報及び韻律パラメータが完全に一致するもの、一部一致するもの、コストによって特定される類似度が高いものなどを含む概念である。例えば、読み情報として、音韻「ア」、前音素環境”＃”が与えられ、韻律パラメータとして、平均Ｆ０＝２００±１０Ｈｚという条件が与えられた場合、図５（ａ）のローカル音声素片系列情報１１２ａａ，１１２ａｂ，１１２ａｃの３つが適合することとなる。また、コストによって類似範囲を特定する方法としては、例えば、テキスト解析によって得られた読み情報及び韻律パラメータと、ローカル音声素片インデックスのローカル音声素片系列情報の読み情報及び韻律パラメータとから総合コスト値を計算し、この総合コストを最少にするローカル音声素片系列情報を最適なものとする方法等を例示できる。ここで、総合コストの計算方法であるが、例えば、下記のようにサブコスト関数を用いて総合コストＰｎｅｗを求めることができる（例えば「波形編集型合成方式におけるスペクトル連続性を考慮した波形選択法」、日本音響学会講演論文集、2-6-10、pp.239-240、1990/9参照。）
［サブコスト関数を用いた総合コストＰｎｅｗの算出］
まず、ローカル音声素片探索部１２４において、一時記憶部１１４から読み情報と韻律パラメータと、ローカル音声素片インデックス格納部１１２に格納されたローカル音声素片インデックス１１２ａとを用い、以下のサブコスト関数を算出し、各サブコスト関数を一時記憶部１１４に格納する。
【００４７】
(1）読み情報に対応するサブコスト関数
Ｃ１（ｎ）＝１／ｅｎ
ただし、テキストデータをテキスト解析して得られた読み情報からなる音韻列と、ローカル音声素片系列情報の音韻列との間で一致する音韻数をｎとする。
(2)平均ピッチに対するサブコスト関数
Ｃ２（Ｖｐ，Ｖｓ）＝｜Ｖｐ−Ｖｓ｜２
ただし、テキストデータをテキスト解析して得られたの平均ピッチをＶｐとし、ローカル音声素片系列情報の平均ピッチ（平均Ｆ０）をＶｓとする。
【００４８】
(3)ピッチ傾きに対するサブコスト関数
Ｃ３（Ｆｐ，Ｆｓ）＝｜Ｆｐ−Ｆｓ｜２
ただし、テキストデータをテキスト解析して得られたピッチの傾きをＦｐとし、ローカル音声素片系列情報のピッチの傾き（Ｆ０の傾斜）をＦｓとする。
(4)時間長に対するサブコスト関数
Ｃ４（Ｔｐ，Ｔｓ）＝｜Ｔｐ−Ｔｓ｜２
ただし、テキストデータをテキスト解析して得られた時間長をＴｐとし、ローカル音声素片系列情報の時間長をＴｓとする。
【００４９】
(5)振幅に対するサブコスト関数
Ｃ５（Ａｐ，Ａｓ）＝｜Ａｐ−Ａｓ｜２
ただし、テキストデータをテキスト解析して得られた振幅をＡｐとし、ローカル音声素片系列情報の振幅（パワー）をＡｓとする。
そして、ローカル音声素片探索部１２４は、一時記憶部１１４から各サブコスト関数を読み込み、以下のように総合コストＰｎｅｗを算出し、算出した総合コストＰｎｅｗを一時記憶部１１４に格納する。
【００５０】
(6)Ω＝ω２Ｃ２（Ｖｐ，Ｖｓ）＋ω３Ｃ３（Ｆｐ，Ｆｓ）＋ω４Ｃ４（Ｔｐ，Ｔｓ）＋ω５Ｃ５（Ａｐ，Ａｓ）を算出する。
(7)Ｐ＝ω１  Ｃ１（ｎ）＋（１−ω１）Ωを算出する。
(8)Ｐｎｅｗ＝（１＋Ｇ）Ｐを算出する。
なお、ω１，ω２，ω３，ω４，ω５は、各サブコスト関数に対するサブコスト重みを示す定数であり、予めプログラムに設定されているものとする。さらにＧは音響的な定数を示し、これも予めプログラムに設定されているものとする。
【００５１】
以上のような総合コストＰｎｅｗの算出は、各ローカル音声素片系列情報に対して行われ、算出された各総合コストＰｎｅｗは、対応する各ローカル音声素片系列情報に関連付けて一時記憶部１１４に格納される。そして、ローカル音声素片探索部１２４は、一時記憶部１１４に格納された各総合コストＰｎｅｗに対し、一般的なＤＰ（Dynamic Programing）法を適用し、最小の総合コストＰｎｅｗを求め、それに関連付けられているローカル音声素片系列情報を最適なもの（テキスト解析によって得られた読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応するローカル音声素片系列情報）として選択する（「サブコスト関数を用いた総合コストＰｎｅｗの算出」の説明終わり）。なお、ステップＳ１２の処理は、上述のテキストデータに対応する全ての読み情報及び韻律パラメータの組に対して実行される。
【００５２】
次に、ローカル音声素片データ読み出し部１２５において、ステップＳ１２で抽出された各ローカル音声素片系列情報に対応するローカル音声素片データを順次ローカル音声素片データベース格納部１１１から読み出す（ステップＳ１３）。すなわち、ローカル音声素片データ読み出し部１２５において、一時記憶部１１４からステップＳ１２で抽出されたローカル音声素片系列情報のローカル音声素片格納情報を順次読み出し、当該ローカル音声素片格納情報が指定するローカル音声素片データを、ローカル音声素片データベース格納部１１１から順次読み出す。例えば、ステップＳ１２でローカル音声素片系列情報１１２ａｂ，１１２ａｄ，１１２ａｆ（図５（ａ））が抽出された場合、ローカル音声素片データ読み出し部１２５は、ローカル音声素片系列情報１１２ａｂのローカル音声素片格納情報「ファイル番号８、始点１０ｍｓｅｃ、時間長１１０ｍｓｅｃ」、ローカル音声素片系列情報１１２ａｄのローカル音声素片格納情報「ファイル番号２３、始点５２２５ｍｓｅｃ、時間長１５ｍｓｅｃ」及びローカル音声素片系列情報１１２ａｆのローカル音声素片格納情報「ファイル番号２３、始点５２４０ｍｓｅｃ、時間長９５ｍｓｅｃ」が示す各ローカル音声素片データを、ローカル音声素片データベース格納部１１１から順次読み出す。なお、このように読み出された各ローカル音声素片データは、一時記憶部１１４に格納される。
【００５３】
次に、音声素片接続部１２６において、一時記憶部１１４から各ローカル音声素片データを順次読み出し、当該ローカル音声素片データを用いて合成音声データを生成し、当該合成音声データを一時記憶部１１４に出力し、そこに格納させる（ステップＳ１４）。ここで、合成音声データの生成は、例えば、読み出された各ローカル音声素片データを時間的な順に単に接続して行ってもよいが、異なるローカル音声素片データ間を時間的又は周波数的に補間して合成音声データを生成してもよい（例えば、特開平０７−０７２８９７号公報参照。）。また、一時記憶部１１４に格納された韻律パラメータに基づいてローカル音声素片データに所定の信号処理を施した後に、これらを接続して合成音声データを生成してもよい（例えば、「Y. Stylianou, “Applying the Harmonic Plus Noise Model in Concatenative Speech Synthesis.” IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING, VOL. 9, NO. 1, pp.21-29 JANUARY 2001」参照。）。
【００５４】
最後に音声出力部１２７において、一時記憶部１１４から上述のように生成された合成音声データを読み込み、それを音声やデータとして出力する（ステップＳ１５）。
次に、クライアント装置１００において、より高品質な合成音声を生成するために、前述のステップＳ１０〜Ｓ１５の処理と独立（例えばこれらの処理と同時平行或いはこれらの処理の後）に、以下に述べる処理も行う。
図６（ｂ）は、このステップＳ１０〜Ｓ１５の処理と独立に行われる処理を説明するための流れ図である。以下、この流れ図に沿って、この処理を説明する。
【００５５】
まず、最適音声素片探索部１３１おいて、一時記憶部１１４から、テキスト解析部１２２から出力された読み情報及び韻律パラメータ取得部１２３から出力された韻律パラメータを読み込む。そして、最適音声素片探索部１３１は、これらの読み情報及び韻律パラメータをキーとして最適音声素片インデックス格納部１１３を検索し、これらの読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を最適音声素片インデックスから抽出する。抽出された最適音声素片系列情報は一時記憶部１１４に出力され、そこに格納される（ステップＳ１６）。前述のとおり最適音声素片インデックスの構成は、ローカル音声素片インデックスと同様であり（図５参照）、最適音声素片系列の決定方法も、前述のローカル音声素片探索部１２４における決定方法（ステップＳ１２参照）と同様に行うことができる。
【００５６】
次に、要求音声素片決定部１３２において、最適音声素片探索部１３１によって決定された最適音声素片系列情報から、前述のローカル音声素片探索部１２４で決定されたローカル音声素片系列情報に含まれる音声素片系列情報を除外して、音声素片データベースサーバ装置３００に対して送信を要求すべき最適要求音声データを決定する（ステップＳ１７）。すなわち、要求音声素片決定部１３２は、まず一時記憶部１１４から、ローカル音声素片系列情報及び最適音声素片系列情報を読み込む。次に要求音声素片決定部１３２は、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した要求音声素片系列情報を生成し、当該要求音声素片系列情報を一時記憶部１１４に出力し、そこに格納させる。
【００５７】
例えば、ローカル音声素片探索部１２４によって決定されたローカル音声素片系列情報が｛ローカル音声素片系列１１２ａｂ，１１２ａｃ，１１２ａｄ，１１２ａｅ｝であり、最適音声素片探索部１３１によって決定された最適音声素片系列情報が｛最適音声素片系列１１３ａｂ，１１３ａｃ，１１３ａｄ，１１３ａｇ，１１３ａｅ｝であるとする（図５参照）。この例の場合、要求音声素片系列情は、ローカル音声素片系列情報と最適音声素片系列情報とで読み情報及び韻律パラメータが共通するものを除いた｛最適音声素片系列情報１１３ａｇ｝になる。
【００５８】
なお、最適音声素片系列情報とローカル音声素片系列情報とで読み情報及び韻律パラメータが共通するか否かの判断は、例えば、読み情報及び韻律パラメータが同一の最適音声素片系列情報及びローカル音声素片系列情報に対して同一のファイル番号を付与することとし、最適音声素片系列情報とローカル音声素片系列情報との最適音声素片格納情報とローカル音声素片格納情報とが同一か否かによって行う。また、最適音声素片系列情報とローカル音声素片系列情報との読み情報及び韻律パラメータを直接比較してこの判断を行うこととしてもよい。
【００５９】
次に、音声素片情報送信部１３３に、一時記憶部１１４に格納されている最適音声素片系列情報の最適音声素片格納情報を、順次ネットワーク２００を通して音声素片データベースサーバ装置３００に対して送信する（ステップＳ１８）。
これに対し、音声素片データベースサーバ装置３００は、上述の最適音声素片格納情報に対応する最適音声素片データをクライアント装置１００に返信する（詳細は後述）。
クライアント装置１００は、音声素片データ受信部１３４において、音声素片データベースサーバ装置３００から最適音声素片データが順次送られてくるのを待ち受け、当該最適音声素片データを受信する（ステップＳ１９）。なお、受信された最適音声素片データは、まず一時記憶部１１４に格納される。
【００６０】
その後、受信された最適音声素片データは、音声素片データベース追加部１３７によって、ローカル音声素片データベース格納部１１１のローカル音声素片データベースに追加される（ステップＳ２０）。そして、これに伴い、音声素片インデックス追加部１３６によって、ローカル音声素片インデックス格納部１１２のローカル音声素片インデックスが書き換えられ、ローカル音声素片探索部１２４において前述の受信した最適音声素片データを参照可能にする（ステップＳ２１）。
すなわちまず、音声素片データベース追加部１３７において、一時記憶部１１４から音声素片データ受信部１３４において受信された最適音声素片データを読み出し、それを新たなローカル音声素片データとしてローカル音声素片データベース格納部１１１に追加格納する。
【００６１】
例えば、要求音声素片系列情報として｛最適音声素片系列情報１１３ａｇ｝が得られている場合（図５（ｂ）参照）、音声素片データベース追加部１３７は、次のように新たなローカル音声素片データをローカル音声素片データベース格納部１１１に格納する。
まず、音声素片データベース追加部１３７は、一時記憶部１１４から｛最適音声素片系列情報１１３ａｇ｝を読み出し、ローカル音声素片データベース格納部１１１に｛最適音声素片系列情報１１３ａｇ｝のローカル音声素片格納情報が具備するファイル番号「２４３」に対応するローカル音声素片データが存在するか否かを検索する。ここで、ローカル音声素片データベース格納部１１１にファイル番号「２４３」に対応するローカル音声素片データが存在した場合、音声素片データベース追加部１３７は、このファイル番号「２４３」に対応するローカル音声素片データの４３ｍｓｅｃの始点位置から時間長１１２ｍｓｅｃの最適音声素片データ（音声素片データ受信部１３４において受信された最適音声素片データ）を追加し、それを新たなファイル番号「２４３」に対応するローカル音声素片データとしてローカル音声素片データベース格納部１１１に格納する。一方、ローカル音声素片データベース格納部１１１にファイル番号「２４３」に対応するローカル音声素片データが存在しない場合、音声素片データベース追加部１３７は、上述の音声素片データ受信部１３４において受信された最適音声素片データを始点位置４３ｍｓｅｃから時間長１１２ｍｓｅｃで配置したローカル音声素片データを生成し、それをファイル番号「２４３」に関連付けてローカル音声素片データベース格納部１１１に格納する。
【００６２】
なお、要求音声素片決定部１３２において生成された最適音声素片系列情報と、音声素片データ受信部１３４において受信された最適音声素片データとの対応付けは、例えば、最適音声素片格納情報の音声素片データベースサーバ装置３００への送信順序（ステップＳ１８参照）の情報を一時記憶部１１４に格納しておき、当該送信順序と各最適音声素片データの受信順序（ステップＳ１９参照）との情報を用いて行う。ただし、特にこれに限定されるわけではなく、例えば、音声素片データベースサーバ装置３００が、各最適音声素片データとともに最適音声素片系列情報との対応付けを示す情報（ファイル番号等）をクライアント装置１００に送信することとしてもよい。
【００６３】
上述のローカル音声素片データベース格納部１１１への新たなローカル音声素片データの格納に伴い、音声素片インデックス追加部１３６は、当該新たなローカル音声素片データに対応するローカル音声素片系列情報を、ローカル音声素片インデックス格納部１１２に追加格納する。すなわち、音声素片インデックス追加部１３６は、新たなローカル音声素片データ（最適音声素片データ）に対応する最適音声素片系列情報を一時記憶部１１４から読み込み、これを新たなローカル音声素片系列情報としてローカル音声素片インデックス格納部１１２に格納する。
【００６４】
ここで、新たなローカル音声素片系列情報の追加方法であるが、単にローカル音声素片インデックス１１２ａの最後の列に追加することとしてもよいし、同一の音韻列に対応するローカル音声素片情報の最後に追加することとしてもよい。また、例えば図７（ａ）のように、ローカル音声素片系列情報探索における効率性を考慮し、音韻列や前後の音素環境の類似性を考慮したローカル音声素片インデックスの位置に新たなローカル音声素片系列情報１１２ａｇを追加してもよい。さらに、平均Ｆ０等の韻律パラメータの類似性を考慮して新たなローカル音声素片系列情報の挿入位置を決定してもよい。
【００６５】
＜音声素片データベースサーバ装置３００の処理＞
次に、音声素片データベースサーバ装置３００の処理について説明する。
図７（ｂ）は、本形態の音声素片データベースサーバ装置３００における最適音声素片データの送信処理を説明するための流れ図である。以下、この図に従って、本形態の音声素片データベースサーバ装置３００における最適音声素片データの送信処理の詳細を説明する。
前述のステップＳ１８において、ネットワークを通して、クライアント装置１００から送信された最適音声素片格納情報は、順次、音声素片データベースサーバ装置３００の音声素片情報受信部３２１で受信され、一時記憶部３１１に格納される（ステップＳ３０）。
【００６６】
次に、最適音声素片データ読み出し部３２３において、一時記憶部３１１に格納された最適音声素片格納情報が読み込まれ、当該最適音声素片格納情報が指定する最適音声素片データを、最適音声素片データベース格納部３１２から読み出して、一時記憶部３１１に格納する（ステップＳ３１）。ここで、最適音声素片データベース格納部３１２から最適音声素片格納情報が指定する最適音声素片データを読み出す処理は、前述のローカル音声素片データ読み出し部１２５におけるローカル音声素片データの読み出し処理（ステップＳ１３）と同様にして行うことができる。
【００６７】
最後に、一時記憶部３１１に格納された最適音声素片データが、順次音声素片データ送信部３２２に入力され、音声素片データ送信部３２２は、当該最適音声素片データを、順次ネットワークを通してクライアント装置１００に送信する（ステップＳ３２）。
＜本形態の特徴＞
以上のように、本形態では、クライアント装置１００において入力されたテキストデータに最も適した音声素片データを、音声素片データベースサーバ装置３００からネットワーク２００を通してクライアント装置１００に送信し、それをローカル音声素片データベース格納部１１１に蓄積し、またその音声素片データを探索できるようにローカル音声素片インデックス１１２ａを書き換える。これにより、クライアント装置１００で次に同様なテキストデータの合成音声を生成する場合に、今回ローカル音声素片データベース格納部１１１に蓄積した音声素片データを使用することが可能となる。その結果、高品質な合成音声が生成可能となる。
【００６８】
また、本形態では、テキスト解析処理（ステップＳ１０）から音声出力（ステップＳ１５）までの処理と同時平行又はその処理が終了した後に、最適音声素片系列情報の探索（ステップＳ１６）からローカル音声素片インデックスの更新（ステップＳ２１）までの処理を実行することとした。これにより、テキスト解析処理（ステップＳ１０）から音声出力（ステップＳ１５）までの処理時間は、クライアント装置１００のハードウェア構成によってほぼ決定され、ネットワーク２００を用いたデータの送受信やデータベースへのデータ追加等の処理に必要な時間にほとんど依存しない。その結果、クライアント装置１００は、ネットワーク２００の回線速度、品質、混雑状況等に関わり無く常に高速に合成音声を生成できる。
【００６９】
さらに、本形態では、クライアント装置１００においてテキストデータから合成音声が生成されるたびに、クライアント装置１００内のローカル音声素片データが、そのテキストデータに適したものに更新されていく。そのため、クライアント装置１００の使用を繰り返していくことにより、その利用者が合成音声を生成するテキストに適したローカル音声素片データがクライアント装置１００に蓄積されていく。その結果、使用回数を重ねれば重ねるほど、その利用者にとって最適な合成音声が生成可能となる。また、長期間の使用により、その利用者に適したローカル音声素片データがクライアント装置１００に蓄積されていけば、クライアント装置１００から音声素片データベースサーバ装置３００への最適音声素片データの送信要求数も減少し、ネットワーク２００や音声素片データベースサーバ装置３００に対する処理負担も減少していく。
【００７０】
〔第２の実施の形態〕
次に、本発明における第２の実施の形態について説明する。
本形態は第１の実施の形態の変形例であり、クライアント装置が最適音声素片インデックスを具備せず、代わりに音声素片データベースサーバ装置が最適音声素片インデックスを具備する例である。以下では、第１の実施の形態との相違点を中心に説明し、第１の実施の形態と共通する事項については説明を省略する。
＜構成＞
本形態の音声合成システムは、第１の実施の形態のクライアント装置１００の代わりにクライアント装置４００を設け、音声素片データベースサーバ装置３００の代わりに音声素片データベースサーバ装置５００を設けた構成となる。また、本形態のクライアント装置４００及び音声素片データベースサーバ装置５００も、第１の実施の形態と同様、例えば、図１（ｂ）に例示したＭＰＵ１０２や公知のコンピュータのＣＰＵに所定のプログラムが読み込まれ、実行されることにより構成されるものである。
【００７１】
［クライアント装置４００の機能構成］
図８は、本形態におけるクライアント装置４００の機能構成を例示したブロック図である。なお、図８において図２と共通する部分については、図２と同じ符号を付した。
この図に例示するように、本形態のクライアント装置４００は、ローカル音声素片データベース格納部１１１、ローカル音声素片インデックス格納部１１２、一時記憶部１１４、テキストデータ入力部１２１、テキスト解析部１２２、韻律パラメータ取得部１２３、ローカル音声素片探索部１２４、ローカル音声素片データ読み出し部１２５、音声素片接続部１２６、音声出力部１２７、音声素片情報送信部１３３、音声素片データ受信部１３４、音声素片インデックス追加部１３６、音声素片データベース追加部１３７及び制御部１４０を有しており、音声素片情報送信部１３３及び音声素片データ受信部１３４を通じてネットワーク２００に接続可能に構成されている。すなわち、第１の実施の形態と異なり、本形態のクライアント装置４００は、最適音声素片インデックス格納部１１３、最適音声素片探索部１３１及び要求音声素片決定部１３２を具備していない。
【００７２】
［音声素片データベースサーバ装置５００の機能構成］
図９は、本形態における音声素片データベースサーバ装置５００の機能構成を例示したブロック図である。なお、図９において図３と共通する部分については、図３と同じ符号を付した。
この図に例示するように、本形態の音声素片データベースサーバ装置５００は、一時記憶部３１１、最適音声素片データベース格納部３１２、音声素片情報受信部３２１、最適音声素片データ読み出し部３２３、音声素片データ送信部３２２、制御部３３０、最適音声素片探索部５３１及び最適音声素片インデックス格納部５３２を有し、音声素片情報受信部３２１及び音声素片データ送信部３２２を通じ、ネットワーク２００に接続可能に構成されている。なお、最適音声素片インデックス格納部５３２の構成は、第１の実施の形態における最適音声素片インデックス格納部１１３と同じである。
【００７３】
＜クライアント装置４００の処理＞
次に、本形態におけるクライアント装置４００の処理について説明する。
本形態のクライアント装置４００も、第１の実施の形態のクライアント装置１００と同様な音声合成処理（ステップＳ１０〜Ｓ１５）を実行するが、ここでは説明の簡略化のためその説明を省略する。
また本形態でも、クライアント装置４００がより高品質な合成音声を生成できるように、音声合成処理（ステップＳ１０〜Ｓ１５）と独立（並行或いはその処理の後）に、以下に述べる処理を行う。
【００７４】
図１０（ａ）は、この音声合成処理と独立に行われるクライアント装置４００での処理を説明するための流れ図である。以下、この図に従って、この処理を説明する。
まず、音声素片情報送信部１３３に、一時記憶部１１４に格納されている読み情報及び韻律パラメータ（テキスト解析部１２２から出力された読み情報及び韻律パラメータ取得部１２３から出力された韻律パラメータ）が入力される。そして、音声素片情報送信部１３３は、これらの読み情報及び韻律パラメータを、ネットワーク２００を通して音声素片データベースサーバ装置５００に送信する（ステップＳ５０）。
【００７５】
これに対し、音声素片データベースサーバ装置５００は、上述の読み情報及び韻律パラメータに対応する最適音声素片データ及び最適音声素片系列情報をクライアント装置４００に返信する（詳細は後述）。
次に、クライアント装置４００の音声素片データ受信部１３４において、上記の最適音声素片データ及び最適音声素片系列情報を受信し、一時記憶部１１４に格納する（ステップＳ５１）。
次に、第１の実施の形態と同様に（図６（ｂ）：ステップＳ２０参照）、音声素片データベース追加部１３７において、一時記憶部１１４から音声素片データ受信部１３４において受信された最適音声素片データを読み出し、それを新たなローカル音声素片データとしてローカル音声素片データベース格納部１１１に追加格納する（ステップＳ５２）。また、これに伴い、音声素片インデックス追加部１３６において、ステップＳ５１で受信された最適音声素片系列情報（新たなローカル音声素片データに対応するローカル音声素片系列情報）を一時記憶部１１４から読み込み、これをローカル音声素片インデックス格納部１１２に追加格納する（ステップＳ５３）。なお、新たなローカル音声素片データの追加方法は、例えば、第１の実施の形態と同様に行う（図６（ｂ）：ステップＳ２１参照）。その他、音声素片データ受信部１３４において受信された全ての最適音声素片データを新たなローカル音声素片データとするのではなく、その一部のみ（例えば、既にローカル音声素片データベース格納部１１１に格納されているローカル音声素片データと重複するものを除いたもの）を新たなローカル音声素片データとしてローカル音声素片データベース格納部１１１に格納することとしてもよい。
【００７６】
＜音声素片データベースサーバ装置５００の処理＞
次に、本形態における音声素片データベースサーバ装置５００の処理について説明する。
図１０（ｂ）は、本形態における音声素片データベースサーバ装置５００における最適音声素片データの送信処理を説明するための流れ図である。以下、この図に従って、本形態における最適音声素片データの送信処理の詳細を説明する。
まず、ネットワーク２００を通して、クライアント装置４００から送信された読み情報及び韻律パラメータが音声素片情報受信部３２１で受信され、一時記憶部３１１に格納される（ステップＳ６０）。
【００７７】
次に、最適音声素片探索部５３１において、一時記憶部３１１から、受信された読み情報及び韻律パラメータを読み込み、これらの読み情報及び韻律パラメータをキーとして、最適音声素片インデックス格納部５３２を検索する。そして、最適音声素片探索部５３１は、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を最適音声素片インデックス格納部５３２から抽出し、抽出した最適音声素片系列情報を一時記憶部３１１に格納する（ステップＳ６１）。前述のとおり、最適音声素片インデックス格納部５３２に格納されている最適音声素片インデックスの構成は、ローカル音声素片インデックスと同様であり、音声素片系列情報の決定方法も、前述のローカル音声素片探索部１２４における決定方法（図６（ａ）：ステップＳ１２参照。）と同様に行うことができる。
【００７８】
次に、この最適音声素片格納情報が、最適音声素片データ読み出し部３２３に読み込まれ、最適音声素片データ読み出し部３２３は、当該最適音声素片格納情報が指定する最適音声素片データを、最適音声素片データベース格納部３１２から読み出して一時記憶部３１１に格納する（ステップＳ６２）。ここで、最適音声素片データベース格納部３１２から最適音声素片データを読み出すための処理も、ローカル音声素片データ読み出し部１２５におけるローカル音声素片データの読み出し処理（図６（ａ）：ステップＳ１３参照。）と同様にして行うことができる。
【００７９】
最後に、一時記憶部３１１に格納された最適音声素片データとそれに対応する最適音声素片系列情報とが、音声素片データ送信部３２２に入力され、順次ネットワーク２００を通してクライアント装置４００に送信される（ステップＳ６３）。
＜本形態の特徴＞
以上のような構成としても第１の実施の形態と同様な効果を得ることができる。さらに、本形態では、最適音声素片探索部５３１及び最適音声素片インデックス格納部５３２を音声素片データベースサーバ装置３００に配置することとしたため、クライアント装置４００に要求されるデータ格納容量や計算量を低減させることができる。
【００８０】
〔第３の実施の形態〕
次に、本発明における第３の実施の形態について説明する。
本形態は第１，２の実施の形態の変形例であり、クライアント装置が最適音声素片インデックスを具備せず、代わりに音声素片データベースサーバ装置が最適音声素片インデックスを具備する点、及びクライアント装置が要求最適音声素片系列情報を生成する代わりに、音声素片データベースサーバ装置が送信最適音声素片系列情報を生成する点が、第１の実施の形態との主な相違点である。以下では、第１，２の実施の形態との相違点を中心に説明し、第１，２の実施の形態と共通する事項については説明を省略する。
【００８１】
＜構成＞
本形態の音声合成システムは、第１の実施の形態のクライアント装置１００の代わりにクライアント装置６００を設け、音声素片データベースサーバ装置３００の代わりに音声素片データベースサーバ装置７００を設けた構成となる。また、本形態のクライアント装置６００及び音声素片データベースサーバ装置７００も、第１の実施の形態と同様、例えば、図１（ｂ）に例示したＭＰＵ１０２や公知のコンピュータのＣＰＵに所定のプログラムが読み込まれ、実行されることにより構成されるものである。
【００８２】
［クライアント装置６００の機能構成］
図１１は、本形態におけるクライアント装置６００の機能構成を例示したブロック図である。なお、図１１において図２と共通する部分については、図２と同じ符号を付した。
この図に例示するように、本形態のクライアント装置６００の構成は、第２の実施の形態のクライアント装置４００の構成と同様である。すなわち、クライアント装置６００の構成は、ローカル音声素片データベース格納部１１１、ローカル音声素片インデックス格納部１１２、一時記憶部１１４、テキストデータ入力部１２１、テキスト解析部１２２、韻律パラメータ取得部１２３、ローカル音声素片探索部１２４、ローカル音声素片データ読み出し部１２５、音声素片接続部１２６、音声出力部１２７、音声素片情報送信部１３３、音声素片データ受信部１３４、音声素片インデックス追加部１３６、音声素片データベース追加部１３７及び制御部１４０を有しており、音声素片情報送信部１３３及び音声素片データ受信部１３４を通じてネットワーク２００に接続可能に構成されている。
【００８３】
［音声素片データベースサーバ装置７００の機能構成］
図１２は、本形態における音声素片データベースサーバ装置７００の機能構成を例示したブロック図である。なお、図１２において図３或いは図９と共通する部分については、図３或いは図９と同じ符号を付した。
この図に例示するように、本形態の音声素片データベースサーバ装置７００は、一時記憶部３１１、最適音声素片データベース格納部３１２、音声素片情報受信部３２１、最適音声素片データ読み出し部３２３、音声素片データ送信部３２２、制御部３３０、最適音声素片探索部５３１、最適音声素片インデックス格納部５３２及び送信音声素片決定部７１１を有し、音声素片情報受信部３２１及び音声素片データ送信部３２２を通じ、ネットワーク２００に接続可能に構成されている。なお、最適音声素片インデックス格納部５３２の構成は、第１の実施の形態における最適音声素片インデックス格納部１１３と同じである。
【００８４】
＜クライアント装置６００の処理＞
次に、本形態におけるクライアント装置６００の処理について説明する。
本形態のクライアント装置６００も、第１の実施の形態のクライアント装置１００と同様な音声合成処理（ステップＳ１０〜Ｓ１５）を実行するが、ここでは説明の簡略化のためその説明を省略する。
また本形態でも、クライアント装置６００がより高品質な合成音声を生成できるように、音声合成処理（ステップＳ１０〜Ｓ１５）と独立（並行或いはその処理の後）に、以下に述べる処理を行う。
【００８５】
図１３（ａ）は、この音声合成処理と独立に行われるクライアント装置６００での処理を説明するための流れ図である。以下、この図に従って、この処理を説明する。
まず、音声素片情報送信部１３３に、一時記憶部１１４に格納されている、ローカル音声素片系列情報（ローカル音声素片探索部１２４から出力されたローカル音声素片系列情報）、読み情報及び韻律パラメータ（テキスト解析部１２２から出力された読み情報及び韻律パラメータ取得部１２３から出力された韻律パラメータ）が入力される。そして、音声素片情報送信部１３３は、これらのローカル音声素片系列情報、読み情報及び韻律パラメータを、ネットワーク２００を通して音声素片データベースサーバ装置７００に送信する（ステップＳ８０）。
【００８６】
これに対し、音声素片データベースサーバ装置７００は、上述のローカル音声素片系列情報、読み情報及び韻律パラメータから求めた送信音声素片系列情報に対応する最適音声素片データ及び最適音声素片系列情報をクライアント装置６００に返信する（詳細は後述）。
これ以降、クライアント装置６００で行われる処理は第２の実施の形態と同様である。すなわち、クライアント装置６００は音声素片データ受信部１３４において、上記の最適音声素片データ及び最適音声素片系列情報を受信し、一時記憶部１１４に格納する（ステップＳ８１）。
【００８７】
次に、第１の実施の形態と同様に（図６（ｂ）：ステップＳ２０参照）、音声素片データベース追加部１３７において、一時記憶部１１４から音声素片データ受信部１３４において受信された最適音声素片データを読み出し、それを新たなローカル音声素片データとしてローカル音声素片データベース格納部１１１に追加格納する（ステップＳ８２）。また、これに伴い、音声素片インデックス追加部１３６において、ステップＳ８１で受信された最適音声素片系列情報（新たなローカル音声素片データに対応するローカル音声素片系列情報）を一時記憶部１１４から読み込み、これをローカル音声素片インデックス格納部１１２に追加格納する（ステップＳ８３）。なお、新たなローカル音声素片データの追加方法は、例えば、第１の実施の形態と同様に行う（図６（ｂ）：ステップＳ２１参照）。
【００８８】
＜音声素片データベースサーバ装置７００の処理＞
次に、本形態における音声素片データベースサーバ装置７００の処理について説明する。
図１３（ｂ）は、本形態における音声素片データベースサーバ装置７００における最適音声素片データの送信処理を説明するための流れ図である。以下、この図に従って、本形態における最適音声素片データの送信処理の詳細を説明する。
まず、ネットワーク２００を通して、クライアント装置４００から送信されたローカル音声素片系列情報、読み情報及び韻律パラメータが音声素片情報受信部３２１で受信され、一時記憶部３１１に格納される（ステップＳ９０）。
【００８９】
次に、最適音声素片探索部５３１において、一時記憶部３１１から、受信された読み情報及び韻律パラメータを読み込み、これらの読み情報及び韻律パラメータをキーとして、最適音声素片インデックス格納部５３２を検索する。そして、最適音声素片探索部５３１は、受信された読み情報及び韻律パラメータの類似範囲に属する読み情報及び韻律パラメータに対応する最適音声素片系列情報を最適音声素片インデックス格納部５３２から抽出し、抽出した最適音声素片系列情報を一時記憶部３１１に格納する（ステップＳ９１）。前述のとおり、最適音声素片インデックス格納部５３２に格納されている最適音声素片インデックスの構成は、ローカル音声素片インデックスと同様であり、音声素片系列情報の決定方法も、前述のローカル音声素片探索部１２４における決定方法（図６（ａ）：ステップＳ１２参照。）と同様に行うことができる。
【００９０】
次に、送信音声素片決定部７１において、一時記憶部３１１から音声素片情報受信部３２１において受信されたローカル音声素片系列情報及び最適音声素片探索部５３１から出力された最適音声素片系列情報を読み込む。そして、送信音声素片決定部７１は、当該最適音声素片系列情報から当該ローカル音声素片系列情報と読み情報及び韻律パラメータが共通するもの除外した送信音声素片系列情報を生成し、当該送信音声素片系列情報を一時記憶部３１１に格納する（ステップＳ９２）。なお、この送信音声素片系列情報の生成は、例えば、第１の実施の形態における要求音声素片系列情報の生成（ステップＳ１７参照）と同様に行われる。
【００９１】
次に、最適音声素片データ読み出し部３２３に、一時記憶部３１１から送信音声素片系列情報の最適音声素片格納情報が読み込まれる。そして、最適音声素片データ読み出し部３２３は、当該最適音声素片格納情報が指定する最適音声素片データを、最適音声素片データベース格納部から読み出し、一時記憶部３１１に格納する（ステップＳ９３）。ここで、最適音声素片データベース格納部３１２から最適音声素片データを読み出すための処理も、ローカル音声素片データ読み出し部１２５におけるローカル音声素片データの読み出し処理（図６（ａ）：ステップＳ１３参照。）と同様にして行うことができる。
【００９２】
最後に、一時記憶部３１１に格納された最適音声素片データとそれに対応する最適音声素片系列情報とが、音声素片データ送信部３２２に入力され、順次ネットワーク２００を通してクライアント装置６００に送信される（ステップＳ９４）。
＜本形態の特徴＞
以上のような構成としても第１の実施の形態と同様な効果を得ることができる。さらに、本形態では、最適音声素片探索部５３１及び最適音声素片インデックス格納部５３２を音声素片データベースサーバ装置７００に配置することとしたため、クライアント装置６００に要求されるデータ格納容量や計算量を低減させることができる。また、本形態では、音声素片データベースサーバ装置７００からクライアント装置６００に送信される最適音声素片データ及び最適音声素片系列情報は、送信音声素片決定部７１１が決定した送信音声素片系列情報に対応するもののみである。これにより、既にクライアント装置６００に格納されている音声素片データと重複する最適音声素片データ等が送信されることを防止でき、ネットワークへの通信負担も軽減することができる。
【００９３】
〔第４の実施の形態〕
本形態は、第１の実施の形態の変形例であり、クライアント装置のハードウェア構成上、ローカル音声素片データベースのサイズが予め決められたサイズ以上大きくできないような場合に有効な例である。以下では、第１の実施の形態との相違点のみを説明し、第１の実施の形態と共通する事項については説明を省略する。
＜構成＞
図１４は、本形態におけるクライアント装置８００の機能構成を例示したブロック図である。なお、図１４において図２と共通する部分については、図２と同じ符号を付した。また、音声合成システム全体及び音声素片データベースサーバ装置の構成については第１の実施の形態と同様である。
【００９４】
本形態におけるクライアント装置８００と、第１の実施の形態におけるクライアント装置１００との相違点は、クライアント装置８００がさらに、ローカル音声素片データベース格納部１１１に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下になるように、所定の優先順位に従って、当該ローカル音声素片データベース格納部１１１に格納されたローカル音声素片データの一部を削除する音声素片データ削除部８１１と、音声素片データ削除部８１１において削除されたローカル音声素片データに対応するローカル音声素片系列情報をローカル音声素片インデックス格納部１１２から削除する音声素片系列情報削除部８１２と、をさらに具備する点である。
【００９５】
また、この例の場合、クライアント装置８００のローカル音声素片インデックス格納部１１２に格納されるローカル音声素片インデックスの構成も第１実施の形態との相違する。図１５（ａ）は、クライアント装置８００のローカル音声素片インデックス格納部１１２に格納されるローカル音声素片インデックス８１２ａのデータ構成を例示した図である。この図に例示するように、この例のローカル音声素片インデックス８１２ａは、第１の実施の形態と同様なローカル音声素片系列情報８１２ａａに、それらの読み出し回数や最後に読み出された時間等の「読み出し情報」が対応付けられた構成となっている。
【００９６】
＜処理＞
本形態では、第１の実施の形態で説明したステップＳ１０〜Ｓ２１，Ｓ３０〜Ｓ３２の処理と同様な処理が行われる。ただし、以下の点で第１の実施の形態の処理と相違する。
[ローカル音声素片系列情報の探索処理（ステップＳ１２に対応）]
第１の実施の形態との相違点は、ローカル音声素片探索部１２４がローカル音声素片系列情報をローカル音声素片インデックス格納部１１２に格納されたローカル音声素片インデックス８１２ａ（図１５（ａ））から読み出す際、その読み出し回数や最後に読み出された時間等の「読み出し情報」をローカル音声素片インデックス８１２ａに書き込む点である。その他は、ステップＳ１２と同じである。
【００９７】
[ローカル音声素片データ削除処理]
ローカル音声素片データ削除処理は、ローカル音声素片データベース格納部１１１に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下になるように、所定の優先順位に従って、当該ローカル音声素片データベース格納部１１１に格納されたローカル音声素片データの一部を削除し、削除されたローカル音声素片データに対応するローカル音声素片系列情報をローカル音声素片インデックス格納部１１２から削除する処理である。このローカル音声素片データ削除処理は、例えば、ステップＳ１９とステップＳ２０との間で実行されてもよいし、ステップＳ２１の後に実行されてもよいし、その他任意のタイミングで実行されてもよい。
【００９８】
図１５（ｂ）は、このローカル音声素片データ削除処理を説明するための流れ図である。以下、この図に従ってこのローカル音声素片データ削除処理を説明する。
まず、クライアント装置８００の音声素片データ削除部８１１において、ローカル音声素片データベース格納部１１１に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下であるか否かを判定する（ステップＳ１００）。ここで、ローカル音声素片データベース格納部に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下である場合には処理を終了する。一方、ローカル音声素片データベース格納部１１１に格納されたローカル音声素片データの合計サイズが予め決められた大きさ以下でない場合、音声素片データ削除部８１１において、所定の優先順位に従って、当該ローカル音声素片データベース格納部１１１に格納されたローカル音声素片データの一部を削除対象として選択し（ステップＳ１０１）、そのローカル音声素片データを削除する（ステップＳ１０２）。なお、このローカル音声素片データの削除は、例えば、ローカル音声素片データベースのサイズが予め決められた大きさになるように行われる。また、ここでの「所定の優先順位」とは、例えば、所定の期間において最も読み出された回数が少ないローカル音声素片データ、又は、一度も読み出されたことがないことを含めて最も時間的に長い間読み出されことがないローカル音声素片データから順に削除する順位等を意味する。
【００９９】
そして、音声素片データ削除部８１１は、削除したローカル音声素片データを特定する情報（例えば、「ファイル番号」「時間長」「始点位置」等）を一時記憶部１１４に格納する。次に、音声素片系列情報削除部８１２において、一時記憶部１１４から、音声素片データ削除部８１１において削除されたローカル音声素片データを特定する情報を読み込み、これに対応するローカル音声素片系列情報をローカル音声素片インデックス格納部１１２から削除する（ステップＳ１０３）。
＜本形態の特徴＞
本形態の構成により、クライアント装置８００のハードウェア構成上、ローカル音声素片データベースのサイズが予め決められたサイズ以上大きくできないような場合でも本発明を適用することができる。
【０１００】
なお、本形態では、第１の実施の形態において、上述のローカル音声素片データ削除処理を実行する例について説明したが、第２の実施の形態及び第３の実施の形態において、上述のローカル音声素片データ削除処理を実行することとしてもよい。その場合のクライアント装置の構成は、例えば、前述のクライアント装置４００，６００に、上述の音声素片データ削除部８１１及び音声素変系列情報削除部８１２を追加したものとなる。
なお、本発明は上述の各実施の形態に限定されるものではなく、その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【０１０１】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１０２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１０３】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【０１０４】
本発明の産業上の利用分野としては、例えば、携帯電話やパーソナルコンピュータにおける合成音声の作成や、自動音声応答システム等を例示できる。
【図面の簡単な説明】
【０１０５】
【図１】図１（ａ）は、第１の実施の形態における音声合成システムの概念図である。図１（ｂ）は、図１（ａ）におけるクライアント装置のハードウェア構成を例示した概念図である。図１（ｃ）は、図１（ａ）における音声素片データベースサーバ装置のハードウェア構成を例示した概念図である。
【図２】図２は、第１の実施の形態におけるクライアント装置の機能構成を例示したブロック図である。
【図３】図３は、第１の実施の形態における音声素片データベースサーバ装置の機能構成を例示したブロック図である。
【図４】図４は、ローカル音声素片データベース格納部に格納されるローカル音声素片データの構成を説明するための概念図である。
【図５】図５（ａ）は、図２のローカル音声素片インデックス格納部に格納されるローカル音声素片インデックスのデータ構成を例示した概念図であり、図５（ｂ）は、図３の最適音声素片インデックス格納部に格納される最適音声素片インデックスの構成を例示した概念図である。
【図６】図６（ａ）は、第１の実施の形態のクライアント装置における音声合成処理を説明するための流れ図である。図６（ｂ）は、図６（ａ）の処理と独立に行われる処理を説明するための流れ図である。
【図７】図７（ａ）は、図２のローカル音声素片インデックス格納部に格納されるローカル音声素片インデックスのデータ構成を例示した概念図である。図７（ｂ）は、第１の実施の形態の音声素片データベースサーバ装置における最適音声素片データの送信処理を説明するための流れ図である。
【図８】図８は、第２の実施の形態におけるクライアント装置の機能構成を例示したブロック図である。
【図９】第２の実施の形態における音声素片データベースサーバ装置の機能構成を例示したブロック図である。
【図１０】図１０（ａ）は、第２の実施の形態において、音声合成処理と独立に行われるクライアント装置での処理を説明するための流れ図である。図１０（ｂ）は、第２の実施の形態の音声素片データベースサーバ装置における最適音声素片データの送信処理を説明するための流れ図である。
【図１１】図１１は、第３の実施の形態におけるクライアント装置の機能構成を例示したブロック図である。
【図１２】図１２は、第３の実施の形態における音声素片データベースサーバ装置の機能構成を例示したブロック図である。
【図１３】図１３（ａ）は、第３の実施の形態において、音声合成処理と独立に行われるクライアント装置での処理を説明するための流れ図である。図１３（ｂ）は、第３の実施の形態の音声素片データベースサーバ装置における最適音声素片データの送信処理を説明するための流れ図である。
【図１４】図１４は、第３の実施の形態におけるクライアント装置の機能構成を例示したブロック図である。
【図１５】図１５（ａ）は、第４の実施の形態におけるクライアント装置のローカル音声素片インデックス格納部に格納されるローカル音声素片インデックスのデータ構成を例示した図である。図１５（ｂ）は、ローカル音声素片データ削除処理を説明するための流れ図である。
【符号の説明】
【０１０６】
１  音声合成システム
１００，４００，６００，８００  クライアント装置
３００，５００，７００  音声素片データベースサーバ装置
【図１】
2006322962.tif 000003
【図２】
2006322962.tif 000004
【図３】
2006322962.tif 000005
【図４】
2006322962.tif 000006
【図５】
2006322962.tif 000007
【図６】
2006322962.tif 000008
【図７】
2006322962.tif 000009
【図８】
2006322962.tif 000010
【図９】
2006322962.tif 000011
【図１０】
2006322962.tif 000012
【図１１】
2006322962.tif 000013
【図１２】
2006322962.tif 000014
【図１３】
2006322962.tif 000015
【図１４】
2006322962.tif 000016
【図１５】
2006322962.tif 000017