(57)【要約】【課題】従来、音響モデルの構築のために、多数の話者が、予め決められた文章を読み上げるなどの作業を行っていた。【解決手段】音声ファイルを含む１以上のファイルを格納している１以上のサーバ装置から１以上の音声ファイルを取得する音声ファイル取得部と、１以上の音声ファイルから、予め決められた条件を満たすデータであり、音響モデルの構築のために使用しないデータを除いた１以上の音声データを取得する音声データ取得部と、取得された１以上の各音声データを音声認識し、１以上の文字列を有する１以上の文字列情報を取得する音声認識部と、１以上の各音声データと各音声データに対応する１以上の各文字列情報とを有する１以上の音声情報から音響モデルを生成する音響モデル生成部と、音響モデルを蓄積する音響モデル蓄積部とを具備する音響モデル生成装置により、自動的に音響モデルが構築できる。【選択図】図１
2012073280.tif 000002
【特許請求の範囲】
【請求項１】
音声ファイルを含む１以上のファイルを格納している１以上のサーバ装置から１以上の音声ファイルを取得する音声ファイル取得部と、
前記１以上の音声ファイルから、予め決められた条件を満たすデータであり、音響モデルの構築のために使用しないデータを除いた１以上の音声データを取得する音声データ取得部と、
前記音声データ取得部が取得した１以上の各音声データを音声認識し、音声認識結果である１以上の文字列を有する１以上の文字列情報を取得する音声認識部と、
前記１以上の各音声データと当該各音声データに対応する前記１以上の各文字列情報とを有する１以上の音声情報から音響モデルを生成する音響モデル生成部と、
前記音響モデルを蓄積する音響モデル蓄積部とを具備する音響モデル生成装置。
【請求項２】
前記音声ファイル取得部は、
予め決められた音声ファイルの１以上の拡張子を格納し得る拡張子格納手段と、
前記１以上のサーバ装置から、前記1以上の拡張子のうちのいずれかの拡張子を有する１以上の音声ファイルを取得する音声ファイル取得手段とを具備する請求項１記載の音響モデル生成装置。
【請求項３】
前記音声ファイル取得部は、
予め決められた音声ファイルフォーマットではない音声ファイルを、前記予め決められた音声ファイルフォーマットに変換するフォーマット変換手段と、
前記音声ファイルのサンプリングレートが閾値より小さいサンプリングレートの音声ファイルを捨てる低サンプリングレートファイル消去手段と、
前記音声ファイルのサンプリングレートが閾値より大きいサンプリングレートの音声ファイルを、閾値のサンプリングレートとなるように音声ファイルを変更するダウンサンプリング手段と、
前記音声ファイルがステレオ音声のファイルである場合に、モノチャネルの音声のファイルに変更するモノチャネル変更手段とを具備する請求項１または請求項２記載の音響モデル生成装置。
【請求項４】
前記音声データ取得部は、
前記１以上の各音声ファイルを、予め決められた時間間隔のセグメントに分割するセグメント分割手段と、
前記セグメント分割手段が取得した２以上の各セグメントに対して、無音であるか否かを判断し、無音であるセグメントが所定以上連続する無音区間と、音声を有する音声区間とを区別する無音区間判断手段と、
前記無音区間を除いた前記１以上の各音声区間に対して、２以上のセグメントを有する音声区間のセグメントの中で、最も音量が小さいセグメントの音量を取得する音量取得手段と、
前記音量取得手段が取得した音量が予め決められた閾値より大きい場合に、不要な音声区間であるとして、当該音声区間を除く不要区間除外手段とを具備し、
前記１以上の各音声ファイルを、音声区間、無音区間、および不要区間に区分する請求項１から請求項３いずれか記載の音響モデル生成装置。
【請求項５】
前記音声認識部は、
前記音声データ取得部が取得した１以上の各音声データを、音声区間の中の無音区間を用いて、１以上の発話に分割し、１以上の発話を取得する発話取得手段と、
前記１以上の各発話を音声認識し、発話毎に、音声認識結果である文字列と音素ラベルと音素時間アライアメント情報とを有する文字列情報を取得する音声認識手段とを具備する請求項１から請求項４いずれか記載の音響モデル生成装置。
【請求項６】
前記音響モデル生成部は、
前記１以上の音声情報が有する音声データから、当該音声データの音響に関するパラメータである１以上の特徴量を取得する特徴量取得手段と、
前記１以上の音声情報が有する音声データから、当該音声データを構成する１以上の音素の情報である１以上の音素情報を取得する音素情報取得手段と、
前記１以上の音声情報が有する文字列情報を形態素解析し、コンテキスト情報を取得する形態素解析手段と、
前記１以上の特徴量、前記１以上の音素情報、および前記コンテキスト情報を用いて音響モデルを生成する音響モデル生成手段とを具備する請求項１から請求項５いずれか記載の音響モデル生成装置。
【請求項７】
前記音響モデル生成手段は、
前記特徴量取得手段が取得した１以上の特徴量が予め決められた条件に合致するほど近似している１以上の音声情報ごとに音響モデルを生成し、
前記音響モデル蓄積部は、
前音響モデル生成手段が生成した話者クラス毎の音響モデルを蓄積する請求項６記載の音響モデル生成装置。
【請求項８】
請求項１から請求項７いずれか記載の音響モデル生成装置により生成された２以上の音響モデルと、１以上の特徴量に関する情報である特徴量情報とを対応付けて格納している音響モデル格納部と、
ユーザから原言語の音声を受け付ける受付部と、
前記音声から１以上の特徴量を取得する特徴量取得部と、
前記音響モデル格納部に格納されている２以上の音響モデルから、前記１以上の特徴量を用いて、音声翻訳に利用する音響モデルを決定する音響モデル決定部と、
前記音声を音声認識し、文字列を取得する音声認識部と、
前記文字列を目的言語に翻訳し、翻訳結果を取得する機械翻訳部と、
前記音響モデル決定部が決定した音響モデルを用いて、前記翻訳結果を音声合成する音声合成部と、
前記音声合成した結果を出力する出力部とを具備する音声翻訳装置。
【請求項９】
請求項１から請求項７いずれか記載の音響モデル生成装置により生成された２以上の音響モデルを格納している音響モデル格納部と、
音響モデルを特定する情報と、原言語の音声を受け付ける受付部と、
前記音声を音声認識し、文字列を取得する音声認識部と、
前記文字列を目的言語に翻訳し、翻訳結果を取得する機械翻訳部と、
前記受付部が受け付けた情報により特定される音響モデルを用いて、前記翻訳結果を音声合成する音声合成部と、
前記音声合成した結果を出力する出力部とを具備する音声翻訳装置。
【請求項１０】
音声ファイル取得部、音声データ取得部、音声認識部、音響モデル生成部、および音響モデル蓄積部により実現される音響モデル生成方法であって、
前記音声ファイル取得部が、音声ファイルを含む1以上のファイルを格納している1以上のサーバ装置から1以上の音声ファイルを取得する音声ファイル取得ステップと、
前記音声データ取得部が、前記1以上の音声ファイルから、予め決められた条件を満たすデータであり、音響モデルの構築のために使用しないデータを除いた1以上の音声データを取得する音声データ取得ステップと、
前記音声認識部が、前記音声データ取得部が取得した1以上の各音声データを音声認識し、音声認識結果である1以上の文字列を有する1以上の文字列情報を取得する音声認識ステップと、
前記音響モデル生成部が、前記1以上の各音声データと当該各音声データに対応する前記１以上の各文字列情報とを有する1以上の音声情報から音響モデルを生成する音響モデル生成ステップと、
前記音響モデル蓄積部が、前記音響モデルを蓄積する音響モデル蓄積ステップとを具備する音響モデル生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１以上のサーバ装置から音声ファイルを収集し、収集した音声ファイルから音響モデルを作成する音響モデル生成装置等に関するものである。
【背景技術】
【０００２】
従来、少ないトレーニングデータからでも頑健な音響モデルを作成することを目的とする音響モデル作成装置があった（例えば、特許文献１参照）。
【０００３】
また、サンプルの音声データ、および文字列のデータ等が準備されている環境において、ＨＭＭ（隠れマルコフモデル）の音響モデルを高速に生成する技術があった（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６４７８０号公報（第１頁、第１図等）
【非特許文献】
【０００５】
【非特許文献１】Tokuda, K.他、HMM-based speech synthesis system、［online］、インターネット<URL：http://hts.ics.nitech.ac.jp/＞,［平成２２年８月５日検索］
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来、例えば、音響モデルの構築のために、多数の話者が、予め決められた文章を読み上げる、などの作業を行っていた。
【０００７】
そこで、本発明は、例えば、ウェブサーバ等に存在する多数の音声データを自動取得し、当該音声データから音響モデルを構築することを目的とする。
【課題を解決するための手段】
【０００８】
本第一の発明の音響モデル生成装置は、音声ファイルを含む１以上のファイルを格納している１以上のサーバ装置から１以上の音声ファイルを取得する音声ファイル取得部と、１以上の音声ファイルから、予め決められた条件を満たすデータであり、音響モデルの構築のために使用しないデータを除いた１以上の音声データを取得する音声データ取得部と、音声データ取得部が取得した１以上の各音声データを音声認識し、音声認識結果である１以上の文字列を有する１以上の文字列情報を取得する音声認識部と、１以上の各音声データと各音声データに対応する１以上の各文字列情報とを有する１以上の音声情報から音響モデルを生成する音響モデル生成部と、音響モデルを蓄積する音響モデル蓄積部とを具備する音響モデル生成装置である。
【０００９】
かかる構成により、自動的に音響モデルが構築できる。
【００１０】
また、本第二の発明の音響モデル生成装置は、第一の発明に対して、音声ファイル取得部は、予め決められた音声ファイルの１以上の拡張子を格納し得る拡張子格納手段と、１以上のサーバ装置から、1以上の拡張子のうちのいずれかの拡張子を有する１以上の音声ファイルを取得する音声ファイル取得手段とを具備する音響モデル生成装置である。
【００１１】
かかる構成により、音声ファイルを容易に特定でき、自動的に精度高く音響モデルが構築できる。
【００１２】
また、本第三の発明の音響モデル生成装置は、第一または第二の発明に対して、音声ファイル取得部は、予め決められた音声ファイルフォーマットではない音声ファイルを、予め決められた音声ファイルフォーマットに変換するフォーマット変換手段と、音声ファイルのサンプリングレートが閾値より小さいサンプリングレートの音声ファイルを捨てる低サンプリングレートファイル消去手段と、音声ファイルのサンプリングレートが閾値より大きいサンプリングレートの音声ファイルを、閾値のサンプリングレートとなるように音声ファイルを変更するダウンサンプリング手段と、音声ファイルがステレオ音声のファイルである場合に、モノチャネルの音声のファイルに変更するモノチャネル変更手段とを具備する音響モデル生成装置である。
【００１３】
かかる構成により、自動的に精度高く音響モデルが構築できる。
【００１４】
また、本第四の発明の音響モデル生成装置は、第一から第三いずれかの発明に対して、音声データ取得部は、１以上の各音声ファイルを、予め決められた時間間隔のセグメントに分割するセグメント分割手段と、セグメント分割手段が取得した２以上の各セグメントに対して、無音であるか否かを判断し、無音であるセグメントが所定以上連続する無音区間と、音声を有する音声区間とを区別する無音区間判断手段と、無音区間を除いた１以上の各音声区間に対して、２以上のセグメントを有する音声区間のセグメントの中で、最も音量が小さいセグメントの音量を取得する音量取得手段と、音量取得手段が取得した音量が予め決められた閾値より大きい場合に、不要な音声区間であるとして、音声区間を除く不要区間除外手段とを具備し、１以上の各音声ファイルを、音声区間、無音区間、および不要区間に区分する音響モデル生成装置である。
【００１５】
かかる構成により、自動的に精度高く音響モデルが構築できる。
【００１６】
また、本第五の発明の音響モデル生成装置は、第一から第四いずれかの発明に対して、音声認識部は、音声データ取得部が取得した１以上の各音声データを、音声区間の中の無音区間を用いて、１以上の発話に分割し、１以上の発話を取得する発話取得手段と、１以上の各発話を音声認識し、発話毎に、音声認識結果である文字列と音素ラベルと音素時間アライアメント情報とを有する文字列情報を取得する音声認識手段とを具備する音響モデル生成装置である。
【００１７】
かかる構成により、自動的に精度高く音響モデルが構築できる。
【００１８】
また、本第六の発明の音響モデル生成装置は、第一から第五いずれかの発明に対して、音響モデル生成部は、１以上の音声情報が有する音声データから、音声データの音響に関するパラメータである１以上の特徴量を取得する特徴量取得手段と、１以上の音声情報が有する音声データから、音声データを構成する１以上の音素の情報である１以上の音素情報を取得する音素情報取得手段と、１以上の音声情報が有する文字列情報を形態素解析し、コンテキスト情報を取得する形態素解析手段と、１以上の特徴量、１以上の音素情報、およびコンテキスト情報を用いて音響モデルを生成する音響モデル生成手段とを具備する音響モデル生成装置である。
【００１９】
かかる構成により、自動的に精度高く音響モデルが構築できる。
【００２０】
また、本第七の発明の音響モデル生成装置は、第六の発明に対して、音響モデル生成手段は、特徴量取得手段が取得した１以上の特徴量が予め決められた条件に合致するほど近似している１以上の音声情報ごとに音響モデルを生成し、音響モデル蓄積部は、話者毎音響モデル生成手段が生成した話者クラス毎の音響モデルを蓄積する音響モデル生成装置である。
【００２１】
かかる構成により、話者クラスごとに、自動的に精度高く音響モデルが構築できる。
【００２２】
また、本第八の発明の音声翻訳装置は、第一から第七いずれかの音響モデル生成装置により生成された２以上の音響モデルと、１以上の特徴量に関する情報である特徴量情報とを対応付けて格納している音響モデル格納部と、ユーザから原言語の音声を受け付ける受付部と、音声から１以上の特徴量を取得する特徴量取得部と、音響モデル格納部に格納されている２以上の音響モデルから、１以上の特徴量を用いて、音声翻訳に利用する音響モデルを決定する音響モデル決定部と、音声を音声認識し、文字列を取得する音声認識部と、文字列を目的言語に翻訳し、翻訳結果を取得する機械翻訳部と、音響モデル決定部が決定した音響モデルを用いて、翻訳結果を音声合成する音声合成部と、音声合成した結果を出力する出力部とを具備する音声翻訳装置である。
【００２３】
かかる構成により、自動的に構築した音響モデルを用いて、音声翻訳ができる。
【００２４】
また、本第九の発明の音声翻訳装置は、第一から第七いずれかの音響モデル生成装置により生成された２以上の音響モデルを格納している音響モデル格納部と、音響モデルを特定する情報と、原言語の音声を受け付ける受付部と、音声を音声認識し、文字列を取得する音声認識部と、文字列を目的言語に翻訳し、翻訳結果を取得する機械翻訳部と、受付部が受け付けた情報により特定される音響モデルを用いて、翻訳結果を音声合成する音声合成部と、音声合成した結果を出力する出力部とを具備する音声翻訳装置である。
かかる構成により、自動的に構築した音響モデルを用いて、音声翻訳ができる。
【発明の効果】
【００２５】
本発明による音響モデル生成装置によれば、自動的に音響モデルが構築できる。
【図面の簡単な説明】
【００２６】
【図１】実施の形態１における音響モデル生成装置のブロック図
【図２】同音響モデル生成装置の動作について説明するフローチャート
【図３】同音声ファイル取得処理の動作について説明するフローチャート
【図４】同音声データ取得処理の動作について説明するフローチャート
【図５】同発話取得処理の動作について説明するフローチャート
【図６】同音響モデル生成処理の動作について説明するフローチャート
【図７】同音響モデル生成装置の処理の概要を示す図
【図８】同音声データ取得部の処理結果の概念を示す図
【図９】同文字列情報の例を示す図
【図１０】同音素時間情報の例を示す図
【図１１】同音素情報の例を示す図
【図１２】同コンテキスト情報の例を示す図
【図１３】同フルコンテキストラベルの例を示す図
【図１４】同ウェブ上の音声ファイルの解析結果を示す図
【図１５】同音声データ取得処理の結果を示す図
【図１６】同実験結果を示す図
【図１７】同ＭＯＳ値（mean opinion score）と音素の正確さの関係を示す図
【図１８】同音素の正確さと単語の正確さとの関係を示す図
【図１９】実施の形態２における音声翻訳装置のブロック図
【図２０】同音声翻訳装置の動作について説明するフローチャート
【図２１】上記実施の形態におけるコンピュータシステムの概観図
【図２２】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００２７】
以下、音響モデル生成装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２８】
（実施の形態１）
【００２９】
本実施の形態において、１以上のＷｅｂ上のサーバ装置から音声ファイルを収集し、収集した音声ファイルから音響モデルを生成する音響モデル生成装置について説明する。
【００３０】
音響モデル生成装置は、まず、サーバ装置から取得した多数のファイルから音声ファイルを選択する。次に、音響モデル生成装置は、音声ファイルから音楽ファイル、ノイズ等の不要データを消去し、音響モデルの生成に利用できる音声データを得る。次に、音響モデル生成装置は、音声データを音声認識処理することにより、文字列情報を取得する。さらに、音響モデル生成装置は、音声データと文字列情報とを用いて、音響モデルを生成する。
【００３１】
図１は、本実施の形態における音響モデル生成装置１のブロック図である。音響モデル生成装置１は、音声ファイル取得部１１、音声データ取得部１２、音声認識部１３、音響モデル生成部１４、音響モデル蓄積部１５、および音響モデル格納部１６を具備する。
【００３２】
音声ファイル取得部１１は、例えば、拡張子格納手段１１１、音声ファイル取得手段１１２、フォーマット変換手段１１３、低サンプリングレートファイル消去手段１１４、ダウンサンプリング手段１１５、モノチャネル変更手段１１６を具備する。なお、音声ファイル取得部１１は、例えば、モノチャネル変更手段１１６が存在しない、という構成でも良い。
【００３３】
音声データ取得部１２は、例えば、セグメント分割手段１２１、無音区間判断手段１２２、音量取得手段１２３、不要区間除外手段１２４を具備する。
【００３４】
音声認識部１３は、例えば、発話取得手段１３１、音声認識手段１３２を具備する。
【００３５】
音響モデル生成部１４は、例えば、特徴量取得手段１４１、音素情報取得手段１４２、形態素解析手段１４３、音響モデル生成手段１４４を具備する。
【００３６】
音声ファイル取得部１１は、１以上の音声ファイルを取得する。音声ファイル取得部１１は、音声ファイルを含む１以上のファイルを格納している１以上のサーバ装置から１以上の音声ファイルを取得する。また、音声ファイル取得部１１は、ローカルに保持している多数のファイル群から、１以上の音声ファイルを取得しても良い。音声ファイル取得部１１は、拡張子を用いて、音声ファイルか否かを判断しても良いし、ファイル内を分析して、音声ファイルか否かを判断しても良い。サーバ装置は、通常、ウェブ上のサイト、サーバ装置である。
【００３７】
拡張子格納手段１１１は、予め決められた音声ファイルの１以上の拡張子を格納し得る。拡張子とは、例えば、文字列「ＭＰ３」「ｍｐ３」「ＰＣＭ」「ｐｃｍ」などである。
【００３８】
音声ファイル取得手段１１２は、１以上のサーバ装置から、拡張子格納手段１１１に格納されているいずれかの拡張子を有する１以上の音声ファイルを取得する。１以上のサーバ装置とは、音響モデル生成装置１が図示しない受付部により受け付けた１以上のＵＲＬに対応する１以上の装置である。ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
【００３９】
フォーマット変換手段１１３は、予め決められた音声ファイルフォーマットではない音声ファイルを、予め決められた音声ファイルフォーマットに変換する。予め決められた音声ファイルフォーマットとは、例えば、ＰＣＭである。
【００４０】
低サンプリングレートファイル消去手段１１４は、音声ファイルのサンプリングレートが閾値より小さいサンプリングレートの音声ファイルを捨てる。ここで、閾値とは、例えば、１６ｋＨｚである。「音声ファイルを捨てる」とは、音響モデルの生成のために音声ファイルを利用しないことであり、音声ファイルを削除しても削除しなくても良い。
【００４１】
ダウンサンプリング手段１１５は、音声ファイルのサンプリングレートが閾値より大きいサンプリングレートの音声ファイルを、閾値のサンプリングレートとなるように音声ファイルを変更する。ダウンサンプリング手段１１５が行うダウンサイジングの方法は問わない。ダウンサンプリング手段１１５の処理は公知技術であるので詳細な説明を省略する。
【００４２】
モノチャネル変更手段１１６は、音声ファイルがステレオ音声のファイルである場合に、モノチャネルの音声のファイルに変更する。モノチャネル変更手段１１６の処理は公知技術であるので詳細な説明を省略する。
【００４３】
音声データ取得部１２は、１以上の音声ファイルから、予め決められた条件を満たすデータであり、音響モデルの構築のために使用しないデータを除いた１以上の音声データを取得する。音響モデルの構築のために使用しないデータは、例えば、音楽データおよびノイズデータである。予め決められた条件とは、音声データを構成する２以上のセグメントの中で、最小の音量のセグメントの音量が、閾値より大きいことである。かかる条件に合致する音声データは、音楽データまたはノイズデータ等と判断しても良い。
【００４４】
セグメント分割手段１２１は、１以上の各音声ファイルを、予め決められた時間間隔のセグメントに分割する。ここで、時間間隔とは、例えば、２０ｍｓ（ミリ秒）である。
【００４５】
無音区間判断手段１２２は、セグメント分割手段１２１が取得した２以上の各セグメントに対して、無音であるか否かを判断し、音声データを、無音であるセグメントが所定（例えば、８）以上連続する無音区間と、音声を有する音声区間とに区別する。ここで、判断の方法は、例えば、以下である。例えば、無音区間判断手段１２２は、ＧＭＭの音響モデルの尤度を用いる。無音区間判断手段１２２は、ＧＭＭの無音モデルと一致度が高いセグメントを、無音のセグメントと判断する。無音区間判断手段１２２は、例えば、複数のセグメントの音量の平均と対象となるセグメントの音量を用いる。無音区間判断手段１２２は、例えば、平均の音量と比較して、所定の条件を満たす程、音量が小さいセグメントは無音のセグメントと判断する。例えば、無音区間判断手段１２２は、信号が０クロス間隔の情報を用いる。０ラインにクロスする間隔が短い場合、ノイズである可能性が高く、無音ではない。なお、無音区間判断手段１２２が、セグメントが無音であるか否かを判断するアルゴリズムは問わない。
【００４６】
音量取得手段１２３は、無音区間を除いた１以上の各音声区間に対して、２以上のセグメントを有する音声区間のセグメントの中で、最も対数エネルギーが小さいセグメントの音量を取得する。
【００４７】
不要区間除外手段１２４は、音量取得手段１２３が取得した音量が予め決められた閾値より大きい場合に、不要な音声区間であるとして、当該音声区間を除く。なお、「閾値より大きい」とは「閾値以上」の概念を含む、と考える。
【００４８】
音声認識部１３は、音声データ取得部１２が取得した１以上の各音声データを音声認識し、音声認識結果である１以上の文字列を有する１以上の文字列情報を取得する。
【００４９】
発話取得手段１３１は、音声データ取得部１２が取得した１以上の各音声データを、音声区間の中の無音区間を用いて、１以上の発話に分割し、１以上の発話を取得する。なお、無音区間とは、例えば、３００ｍｓ以上の無音のセグメントの集合である。発話取得手段１３１が音声データを発話に分割するアルゴリズムは問わない。発話取得手段１３１は、例えば、所定時間（例えば、３００ｍｓ）以上の無音区間に挟まれる区間であり、所定時間（例えば、５秒）以内の区間を、一の発話の区間としても良い。かかる場合、所定時間（例えば、５秒）より長い区間は、その区間の間の最大の他の無音区間（例えば、３００ｍｓ未満である）により、二つに分割して、二つの発話を得るなどしても良い。また、発話取得手段１３１は、「です」「ます」「でした」などの文の終端を示す用語により、文の区切りを認識し、音声データを２以上の発話に分割しても良い。さらに、発話取得手段１３１は、最大の無音区間をルートノードとし、所定時間（例えば、３００ｍｓ）以上の無音区間をノードとして、音声データを二分木の構造にする。そして、発話取得手段１３１は、当該二分木のサブカットツリーから、長さが５秒以内となるサブカットツリーを一つの発話として、音声データから２以上の発話を取得しても良い。
【００５０】
音声認識手段１３２は、１以上の各発話を音声認識し、発話毎に、音声認識結果である文字列と音素ラベルと音素時間アライアメント情報とを有する文字列情報を取得する。なお、音声認識手段１３２は、公知技術であるので詳細な説明を省略する。
【００５１】
音響モデル生成部１４は、１以上の音声情報から音響モデルを生成する。音声情報は、音声データと音声データに対応する文字列情報とを有する。ここで、生成される音響モデルは、通常、ＨＭＭの音響モデルであるが、ＧＭＭ等の他の音響モデルでも良い。
【００５２】
特徴量取得手段１４１は、１以上の音声情報が有する音声データから、音声データの音響に関するパラメータである１以上の特徴量を取得する。特徴量は、例えば、２４次のメルケプストラム、Ｆ０（基本周波数）等である。なお、特徴量取得手段１４１は、短時間パワースペクトラム情報に基づくＬＳＰ、ケプストラムなどを用いても良い。
【００５３】
音素情報取得手段１４２は、１以上の音声情報が有する音声データから、音声データを構成する１以上の音素の情報である１以上の音素情報を取得する。ここで、音素情報とは、例えば、音素ラベルである。音素ラベルは、モノホーンラベルとも言う。モノホーンラベルは、例えば、音素を示す文字と音声データ中の開始時刻と終了時刻（発話時間でも良い）とを有する。音素情報取得手段１４２は、音声認識部１３の音声認識結果から、音素情報を取得することは好適である。
【００５４】
形態素解析手段１４３は、１以上の音声情報が有する文字列情報を形態素解析する。そして、形態素解析手段１４３は、形態素解析の結果、コンテキスト情報を取得する。コンテキスト情報は、フルコンテキストラベルとも言う。フルコンテキストラベルは、例えば、音素と品詞と文中の位置等の情報を有する。
【００５５】
音響モデル生成手段１４４は、１以上の特徴量、１以上の音素情報、およびコンテキスト情報を用いて音響モデルを生成する。音響モデル生成手段１４４は、特徴量取得手段１４１が取得した１以上の特徴量が予め決められた条件に合致するほど近似している１以上の音声情報ごとに音響モデルを生成することは好適である。つまり、話者クラスごとに、音響モデル生成手段１４４は、音響モデルを生成することは好適である。なお、話者クラスは、１以上の特徴量が近似する音声データ（音声情報）を同じクラスとして、音声データ（音声情報）をグループ化したものである。また、音響モデル生成手段１４４は、例えば、ＨＴＳという公知のソフトウェア（非特許文献１）である。
【００５６】
音響モデル蓄積部１５は、音響モデル生成手段１４４が生成した音響モデルを蓄積する。音響モデル蓄積部１５は、通常、音響モデル格納部１６に音響モデルを蓄積する。ただし、音響モデル蓄積部１５は、外部の装置の記録媒体に、音響モデルを蓄積しても良い。また、音響モデル蓄積部１５は、音響モデル生成手段１４４が生成した話者クラス毎の音響モデルを蓄積することは好適である。かかる場合、音響モデル蓄積部１５は、例えば、話者クラスに対応する１以上の特徴量と音響モデルとを対応付けて蓄積する。
【００５７】
音響モデル格納部１６は、音響モデルを格納し得る。音響モデルは、通常、ＨＭＭの音響モデルであるが、ＧＭＭ等、他の音響モデルでも良い。
【００５８】
音声ファイル取得部１１は、例えば、受信手段やＭＰＵやメモリ等から実現され得る。
【００５９】
拡張子格納手段１１１、音響モデル格納部１６は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００６０】
音声ファイル取得手段１１２、フォーマット変換手段１１３、低サンプリングレートファイル消去手段１１４、ダウンサンプリング手段１１５、モノチャネル変更手段１１６、音声データ取得部１２、セグメント分割手段１２１、無音区間判断手段１２２、音量取得手段１２３、不要区間除外手段１２４、音声認識部１３、発話取得手段１３１、音声認識手段１３２、音響モデル生成部１４、特徴量取得手段１４１、音素情報取得手段１４２、形態素解析手段１４３、音響モデル生成手段１４４、音響モデル蓄積部１５は、通常、ＭＰＵやメモリ等から実現され得る。音声ファイル取得手段１１２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、音響モデル生成装置１の動作について、図２のフローチャートを用いて説明する。
【００６１】
（ステップＳ２０１）音声ファイル取得部１１は、１以上の音声ファイルを取得する。この音声ファイル取得処理について、図３のフローチャートを用いて説明する。
【００６２】
（ステップＳ２０２）音声データ取得部１２は、カウンタｉに１を代入する。
【００６３】
（ステップＳ２０３）音声データ取得部１２は、ｉ番目の音声ファイルが存在するか否かを判断する。ｉ番目の音声ファイルが存在すればステップＳ２０４に行き、存在しなければ処理を終了する。
【００６４】
（ステップＳ２０４）音声データ取得部１２は、ｉ番目の音声ファイルから、音声データを取得する。この音声データ取得処理について、図４のフローチャートを用いて説明する。
【００６５】
（ステップＳ２０５）音声認識部１３の発話取得手段１３１は、ステップＳ２０４で取得された音声データから、１以上の発話を取得する。発話とは、発話単位の音声データである。発話取得処理について、図５のフローチャートを用いて説明する。
【００６６】
（ステップＳ２０６）音声認識手段１３２は、カウンタｊに１を代入する。
【００６７】
（ステップＳ２０７）音声認識手段１３２は、ｊ番目の発話が存在するか否かを判断する。ｊ番目の発話が存在すればステップＳ２０８、存在しなければステップＳ２１２に行く。
【００６８】
（ステップＳ２０８）音声認識手段１３２は、ｊ番目の発話の音声データに対して、音声認識処理を行い、文字列情報を取得する。文字列情報は、通常、文字列と発音の情報とを有する。
【００６９】
（ステップＳ２０９）音響モデル生成部１４は、音響モデルを生成する。音響モデル生成処理について、図６のフローチャートを用いて説明する。
【００７０】
（ステップＳ２１０）音響モデル蓄積部１５は、ステップＳ２０９で生成した音響モデルを、音響モデル格納部１６に蓄積する。
【００７１】
（ステップＳ２１１）音声認識手段１３２は、カウンタｊを１、インクリメントし、ステップＳ２０７に戻る。
【００７２】
（ステップＳ２１２）音声データ取得部１２は、カウンタｉを１、インクリメントし、ステップＳ２０３に戻る。
【００７３】
次に、ステップＳ２０１の音声ファイル取得処理について、図３のフローチャートを用いて説明する。この音声ファイル取得処理は、１以上のウェブサーバ装置から１以上の音声ファイルを取得する処理である。
【００７４】
（ステップＳ３０１）音声ファイル取得部１１の音声ファイル取得手段１１２は、１以上のＵＲＬを受け付けたか否かを判断する。１以上のＵＲＬを受け付ければステップＳ３０２に行き、受け付けなければステップＳ３０１に戻る。
【００７５】
（ステップＳ３０２）音声ファイル取得手段１１２は、カウンタｉに１を代入する。
【００７６】
（ステップＳ３０３）音声ファイル取得手段１１２は、ステップＳ３０１で受け付けたＵＲＬの中に、ｉ番目のＵＲＬが存在するか否かを判断する。ｉ番目のＵＲＬが存在すればステップＳ３０４に行き、存在しなければステップＳ３０８に行く。
【００７７】
（ステップＳ３０４）音声ファイル取得手段１１２は、ｉ番目のＵＲＬに対応するドキュメント群を取得する。ドキュメント群は、１以上のドキュメントである。
【００７８】
（ステップＳ３０５）音声ファイル取得手段１１２は、ステップＳ３０４で取得したドキュメント群の中から、当該ドキュメント群の中のドキュメントの拡張子が、拡張子格納手段１１１に格納されているいずれかの拡張子である１以上の音声ファイルを選択する。
【００７９】
（ステップＳ３０６）音声ファイル取得手段１１２は、ステップＳ３０５で選択した音声ファイルを、図示しない記録媒体に蓄積する。
【００８０】
（ステップＳ３０７）音声ファイル取得手段１１２は、カウンタｉを１、インクリメントし、ステップＳ３０３に戻る。
【００８１】
（ステップＳ３０８）フォーマット変換手段１１３は、カウンタｉに１を代入する。
【００８２】
（ステップＳ３０９）フォーマット変換手段１１３は、ステップＳ３０６で蓄積されたファイルの中に、ｉ番目のファイルが存在するか否か判断する。ｉ番目のファイルが存在すればステップＳ３１０に行き、存在しなければ上位処理にリターンする。
【００８３】
（ステップＳ３１０）フォーマット変換手段１１３は、ｉ番目の音声ファイルのフォーマットを予め決めあれたフォーマットに変換する。なお、ｉ番目の音声ファイルのフォーマットが予め決めあれたフォーマットである場合、ここでは何もしない。
【００８４】
（ステップＳ３１１）低サンプリングレートファイル消去手段１１４は、ｉ番目のファイルのサンプリングレートを取得する。
【００８５】
（ステップＳ３１２）低サンプリングレートファイル消去手段１１４は、ステップＳ３１１で取得したサンプリングレートが閾値（例えば、１６ｋＨｚ）未満であるか否かを判断する。閾値未満であればステップＳ３１８に行き、閾値以上であればステップＳ３１３に行く。なお、サンプリングレートが閾値未満である音声ファイルは、使用されない。また、閾値未満は、閾値以下に置き換えても良く、閾値未満は、閾値以下を含む概念である、とする。
【００８６】
（ステップＳ３１３）ダウンサンプリング手段１１５は、ステップＳ３１１で取得したサンプリングレートが閾値より大きいか否かを判断する。閾値より大きければステップＳ３１４に行き、閾値と同じであればステップＳ３１５に行く。
【００８７】
（ステップＳ３１４）ダウンサンプリング手段１１５は、ｉ番目の音声ファイルのサンプリングレートを、予めきめられたサンプリングレートになるように変更する。なお、かかる処理をダウンサンプリングと言う。
【００８８】
（ステップＳ３１５）モノチャネル変更手段１１６は、ｉ番目の音声ファイルがステレオ音声であるか否かを判断する。ステレオ音声であればステップＳ３１６に行き、ステレオ音声でなければステップＳ３１７に行く。
【００８９】
（ステップＳ３１６）モノチャネル変更手段１１６は、ステレオ音声のｉ番目の音声ファイルを、モノチャネルの音声ファイルに変更する。
【００９０】
（ステップＳ３１７）フォーマット変換手段１１３は、カウンタｉを１、インクリメントし、ステップＳ３０９に戻る。
【００９１】
（ステップＳ３１８）低サンプリングレートファイル消去手段１１４は、ｉ番目のファイルを記録異媒体から削除する。なお、ここでの削除は、ファイルを使用しない状況にすれば良く、実際に削除する必要はない。ステップＳ３１７に進む。
【００９２】
なお、図３のフローチャートにおいて、ＵＲＬで特定されるファイルの取得順序は問わない。例えば、まず、ＵＲＬで特定される一のファイルを取得し、その後、必要に応じて、当該一のファイルにリンクされている他の１以上のファイルを取得しても良い。
【００９３】
また、図３のフローチャートにおいて、フォーマット変換処理、低サンプリングレートのファイルの消去処理、ダウンサンプリング処理、およびモノチャネルへの変更処理の順序は問わない。例えば、低サンプリングレートのファイルの消去処理を行った後に、フォーマット変換処理を行っても良い。
【００９４】
次に、ステップＳ２０４の音声データ取得処理について、図４のフローチャートを用いて説明する。
【００９５】
（ステップＳ４０１）音声データ取得部１２のセグメント分割手段１２１は、処理対象の音声ファイルを、予め決められた時間間隔のセグメントに分割する。
【００９６】
（ステップＳ４０２）無音区間判断手段１２２は、カウンタｉに１を代入する。
【００９７】
（ステップＳ４０３）無音区間判断手段１２２は、ステップＳ４０１で取得されたセグメントの中に、ｉ番目のセグメントが存在するか否か判断する。ｉ番目のセグメントが存在すればステップＳ４０４に行き、存在しなければステップＳ４０８に行く。
【００９８】
（ステップＳ４０４）無音区間判断手段１２２は、ｉ番目のセグメントが無音のセグメントであるか否かを判断する。無音であればステップＳ４０５に行き、無音でなければステップＳ４０６に行く。
【００９９】
（ステップＳ４０５）無音区間判断手段１２２は、ｉ番目のセグメントに対して、無音を示す無音フラグを書き込み、ステップＳ４０７に行く。
【０１００】
（ステップＳ４０６）無音区間判断手段１２２は、ｉ番目のセグメントに対して、無音でないことを示す有音フラグを書き込む。
【０１０１】
（ステップＳ４０７）無音区間判断手段１２２は、カウンタｉを１、インクリメントし、ステップＳ４０３に戻る。
【０１０２】
（ステップＳ４０８）無音区間判断手段１２２は、カウンタｉに１を代入する。
【０１０３】
（ステップＳ４０９）無音区間判断手段１２２は、ｉ番目の無音のセグメント群が存在するか否かを判断する。ｉ番目の無音のセグメント群が存在すればステップＳ４１０に行き、存在しなければステップＳ４１３に行く。なお、ｉ番目の無音のセグメント群とは、ｉ番目の連続する無音のセグメントの集合である。
【０１０４】
（ステップＳ４１０）無音区間判断手段１２２は、ｉ番目の無音のセグメント群が閾値以上の長さであるか否かを判断する。閾値以上の長さであればステップＳ４１１に行き、閾値以上の長さでなければステップＳ４１２に行く。
【０１０５】
（ステップＳ４１１）無音区間判断手段１２２は、ｉ番目の無音のセグメント群を無音区間であると判断し、当該セグメント群に対して、無音区間である旨のフラグを書き込む。
【０１０６】
（ステップＳ４１２）無音区間判断手段１２２は、カウンタｉを１、インクリメントし、ステップＳ４０９に戻る。
【０１０７】
（ステップＳ４１３）音量取得手段１２３は、カウンタｉに１を代入する。
【０１０８】
（ステップＳ４１４）音量取得手段１２３は、ｉ番目の有音区間が存在するか否かを判断する。ｉ番目の有音区間が存在すればステップＳ４１５に行き、存在しなければ上位処理にリターンする。なお、有音区間は、無音区間ではない区間である。有音区間は、無音区間で挟まれたセグメントの集合である。
【０１０９】
（ステップＳ４１５）音量取得手段１２３は、ｉ番目の有音区間の中のセグメントの中から、最小の音量（対数エネルギー）のセグメントを選択し、当該セグメントの音量を取得する。
【０１１０】
（ステップＳ４１６）不要区間除外手段１２４は、ステップＳ４１５で取得した音量が閾値以上であるか否かを判断する。閾値以上であればステップＳ４１７に行き、閾値未満であればステップＳ４１８に行く。
【０１１１】
（ステップＳ４１７）不要区間除外手段１２４は、ｉ番目の有音区間を消去する。なお、ここでの消去は、ｉ番目の有音区間を使用しないようにする処理であり、必ずしもｉ番目の有音区間を消去する必要まではない。また、ｉ番目の有音区間は、音楽データやノイズ等であり、音響モデルの構築のために利用できないデータである。
【０１１２】
（ステップＳ４１８）音量取得手段１２３は、カウンタｉを１、インクリメントし、ステップＳ４１４に戻る。
【０１１３】
なお、図４のフローチャートにおいて、利用できる音声データのみが残った。そして、当該音声データの中には、無音フラグが書き込まれている、とする。
【０１１４】
次に、ステップＳ２０５の発話取得処理について、図５のフローチャートを用いて説明する。
【０１１５】
（ステップＳ５０１）音声認識部１３の発話取得手段１３１は、カウンタｉに１を代入する。
【０１１６】
（ステップＳ５０２）発話取得手段１３１は、処理対象のファイルの中に、ｉ番目の有音区間が存在するか否かを判断する。ｉ番目の有音区間が存在すればステップＳ５０３に行き、存在しなければ上位処理にリターンする。
【０１１７】
（ステップＳ５０３）発話取得手段１３１は、ｉ番目の有音区間の中で、最も長いポーズを取得する。なお、ポーズとは、無音のセグメントの連続する集合であり、上述した無音区間ほど長くない区間である。
【０１１８】
（ステップＳ５０４）発話取得手段１３１は、ｉ番目の有音区間から、ステップＳ５０３で取得した最も長いポーズをルートノードとする二分木を構成する。なお、この二分木のノードは、無音の連続するセグメント群であり、所定の値（例えば、３００ｍｓ）より長いセグメント群である。また、枝は、無音でない発話の区間である。
【０１１９】
（ステップＳ５０５）発話取得手段１３１は、文の終端を示す終端用語（例えば、「です」「ます」「でした」「である」など）を発話の区切りである、と認識する。なお、ここで、例えば、音声認識手段１３２により、ｉ番目の有音区間に対して、音声認識処理がされている、とする。
【０１２０】
（ステップＳ５０６）発話取得手段１３１は、二分木を５秒未満のサブカットツリーに分割する。そして、このサブカットツリーが発話のセグメントである。
【０１２１】
（ステップＳ５０７）発話取得手段１３１は、カウンタｉを１、インクリメントし、ステップＳ５０２に戻る。
【０１２２】
なお、図５のフローチャートにおいて、音声データを１以上の発話に分割できた。また、図５のフローチャートにおいて、発話の分割方法は、他の方法でも良いことは言うまでもない。
【０１２３】
次に、ステップＳ２０９の音響モデル生成処理について、図６のフローチャートを用いて説明する。
【０１２４】
（ステップＳ６０１）音響モデル生成部１４の特徴量取得手段１４１は、対象となる発話の音声データから、当該音声データに関するパラメータである１以上の特徴量を取得する。
【０１２５】
（ステップＳ６０２）音素情報取得手段１４２は、対象となる発話の音声認識結果の結果から、１以上の音素の情報である１以上の音素情報を取得する。音素情報とは、例えば、モノホーンラベルである。
【０１２６】
（ステップＳ６０３）形態素解析手段１４３は、対象となる発話の音声認識結果である文字列情報を形態素解析し、コンテキスト情報を取得する。コンテキスト情報とは、例えば、フルコンテキストラベルである。
【０１２７】
（ステップＳ６０４）音響モデル生成手段１４４は、ステップＳ６０１で取得された１以上の特徴量、ステップＳ６０２で取得された１以上の音素情報、およびステップＳ６０３で取得されたコンテキスト情報を用いて、音響モデルを生成する。
【０１２８】
（ステップＳ６０５）音響モデル蓄積部１５は、カウンタｉに１を代入する。
【０１２９】
（ステップＳ６０６）音響モデル蓄積部１５は、ｉ番目のクラスが存在するか否かを判断する。ｉ番目のクラスが存在すればステップＳ６０７に行き、存在しなければステップＳ６１１に行く。なお、クラスとは、近似した話者により構成されるクラスであり、話者クラスとも言う。
【０１３０】
（ステップＳ６０７）音響モデル蓄積部１５は、ｉ番目のクラスの特徴量を取得する。
【０１３１】
（ステップＳ６０８）音響モデル蓄積部１５は、ステップＳ６０７で取得したｉ番目のクラスの特徴量と、ステップＳ６０１で取得された１以上の特徴量とを比較し、近似しているか否かを判断する。近似していればステップＳ６０９に行き、近似していなければステップＳ６１０に行く。なお、音響モデル蓄積部１５は、例えば、２つの特徴量ベクトルの距離が閾値以内であれば２つの特徴量ベクトルが近似する、と判断しても良い。
【０１３２】
（ステップＳ６０９）音響モデル蓄積部１５は、ステップＳ６０４で生成された音響モデルを、ｉ番目のクラスの音響モデルとして蓄積し、上位処理にリターンする。
【０１３３】
（ステップＳ６１０）音響モデル蓄積部１５は、カウンタｉを１、インクリメントし、ステップＳ６０６に戻る。
【０１３４】
（ステップＳ６１１）音響モデル蓄積部１５は、新しいクラスを生成する。なお、新しいクラスの生成とは、例えば、音響モデルを蓄積するバッファの確保、および当該音響モデルの１以上の特徴量の登録である。
【０１３５】
（ステップＳ６１２）音響モデル蓄積部１５は、ステップＳ６０４で生成された音響モデルを、新しいクラスの音響モデルとして蓄積し、上位処理にリターンする。
【０１３６】
以下、本実施の形態における音響モデル生成装置１の具体的な動作について説明する。音響モデル生成装置１の概念を示す図は、図７である。図７に示すように、音響モデル生成装置１では、音声ファイル取得部１１が、ウェブから音声ファイルを収集する（図７の７１）。そして、音声データ取得部１２が、音声ファイルから、ノイズや音楽を除いた音声データを取得する（７２）。そして、Ｗｅｂベースのスピーチコーパスが得られる（７３）。次に、音声認識部１３は、音声認識を行う（７４）。そして、文字列情報が得られる（７５）。次に、音響モデル生成部１４は、文字列情報とスピーチコーパスとを用いて、ＨＭＭの音響モデルを生成する（７６）。
【０１３７】
以下、図７の各種処理の具体例について、説明する。まず、音声ファイル取得部１１は、インターネットから、クローリングすることにより、音声コンテンツを検索する。ウェブのオーディオファイルは、種々のコード、種々のサンプルレートである。そこで、例えば、FFmpeg(http://ffmpeg.org/.)というツールを用いて、以下のように音声ファイルはコンバートされる。
（１）オーディオファイルのフォーマットをすべてＰＣＭに変換する。
（２）１６ｋＨｚ未満のデータは削除し、他のデータは１６ｋＨｚにダウンサンプリングする。
（３）ステレオ音声データが存在すれば、モノチャネルの音声データに変換する。
【０１３８】
次に、音声データ取得部１２は、以下のように、１以上の音声ファイルから、音声データを取得する。まず、音声データ取得部１２のセグメント分割手段１２１は、処理対象の音声ファイルを、予め決められた時間間隔（２０ｍｓ）のセグメントに分割する。次に、無音区間判断手段１２２は、各セグメントに対して、ＧＭＭの尤度、音量、そのファイルの意味、ゼロクロスを用いて、無音か、無音でないかを決定する。なお、ゼロクロスが閾値以上の速度（短い間隔）であれば、当該セグメントはノイズである、と判断される。
【０１３９】
次に、無音区間判断手段１２２は、無音のセグメント群が閾値（ここでは、８０ｍｓ）以上の長さであるか否かを判断する。そして、無音区間判断手段１２２は、８０ｍｓ以上の長さの無音のセグメント群を無音区間とする。
【０１４０】
次に、不要区間除外手段１２４は、無音区間ではない有音区間に対して、以下のように利用可能か否かを決定する。まず、音量取得手段１２３は、各有音区間の中のセグメントの中から、最小の音量のセグメントを選択し、当該セグメントの音量を取得する。次に、不要区間除外手段１２４は、取得した音量が閾値以上であるか否かを判断する。取得した音量が閾値以上であれば、不要区間除外手段１２４は、その有音区間を利用しない、と判断する。なお、閾値は、例えば、／ｐ／や／ｂ／などの音量により決められる。以上により、Ｗｅｂベースの音声コーパスが構築された。
【０１４１】
以上の処理により、利用可能なセグメント群が残る。なお、かかる音声データ取得部１２の処理結果の概念を示す図は、図８である。図８は、一の音声ファイルを、無音区間、ノイズや音楽などの不要区間と、音響モデルの構築に利用できる有音区間とに分けた例である。図８において、前段が利用できない無音区間または不要区間であり、後段が有音区間である。また、有音区間において、３つのポーズが存在している。
【０１４２】
次に、音声認識部１３が行う音声認識処理について説明する。なお、音響モデルの構築のために、文字列情報が必要である。
【０１４３】
まず、音声認識部１３の発話取得手段１３１は、例えば、３００ｍｓ以上の無音のセグメント群を発話の区切りとして、音声データから２以上の発話を取り出す。なお、音声データを発話に区切るアルゴリズムは、他のアルゴリズムでも良い。
【０１４４】
次に、音声認識手段１３２は、各発話に対して、音声認識処理を行い、文字列情報と音素時間情報とを取得する。文字列情報の例を図９に示す。図９において、９１は、音声ファイルを識別する音声ファイル識別子である。９２は、発話を識別する発話識別子である。９３は当該発話の開始時間（秒）、９４は当該発話の終了時間（秒）である。９５は、音声認識の結果であるテキストである。
【０１４５】
また、音素時間情報の例を図１０に示す。図１０において、１０１は、発話識別子である。そして、各発話識別子で識別される音素情報は、（音素，開始時刻，期間）のデータの集合である。つまり、１０２は音素、１０３は開始時刻、１０４は期間（開始から終了までの時間）である。なお、音素時間情報は、音素時間アライアメント情報とも言う。
【０１４６】
次に、音響モデル生成部１４は、以下のように音響モデルを生成する。まず、音響モデル生成部１４の特徴量取得手段１４１は、各発話から、１以上の特徴量を取得する。ここでは、特徴量取得手段１４１は、２４次メルケプストラム、Ｆ０（基本周波数）、およびそれらの一次微分値または二次微分値を取得する。
【０１４７】
次に、音素情報取得手段１４２は、対象となる発話の音声認識結果の結果である音素時間情報（図１０参照）から、音素情報を取得する。音素情報の例を図１１に示す。図１１は、モノホーンラベルである。図１１において、１１０１は開始時間、１１０２は終了時間、１１０３は音素である。音素「ｓｉｌ」は無音である。なお、音素時間情報から音素情報が得られる。
【０１４８】
次に、形態素解析手段１４３は、対象となる発話の音声認識結果である文字列情報を形態素解析し、コンテキスト情報を取得する。なお、コンテキスト情報は、ここでは、アクセントの情報を含む。形態素解析手段１４３が取得するコンテキスト情報は、フルコンテキストラベルとも言う。コンテキスト情報の例を図１２に示す。図１２の１２０１は、発話識別子である。また、図１２において、形態素ごとに、品詞、読み、アクセント情報等を有する。図１２において、「Ｐｏｓ」は品詞、「Ｋａｎａ」は読みを示す。「Ａｃｃｅｎｔ＝１」は、タイプ１の用語のアクセントであることを示す。「ＢｏｕｎｄａｒｙＴｙｐｅ」は、文節境界の前後の文節の関係の型を表す。「ＢｏｕｎｄａｒｙＴｙｐｅ」は、具体的には、日本語の係り受け関係あり、なし、などの値をとり得る。「ＣｏｎｊｕｇａｔｅＴｙｐｅ」は、活用型を表す。「ＣｏｎｊｕｇａｔｅＴｙｐｅ」は、具体的には、日本語の規則動詞や不規則動詞の時制、法、能動態／受動態などの値をとり得る。「ＣｏｎｊｕｇａｔｅＦｏｒｍ」は、活用形を表す。「ＣｏｎｊｕｇａｔｅＦｏｒｍ」は、具体的には、日本語の動詞の活用形、未然形、連用形、終止形、連体形などの値をとり得る。次に、音響モデル生成手段１４４は、コンテキスト情報（図１２）を変形し、図１３に示す情報を得る。図１３の情報もコンテキスト情報である。図１３の情報は、フルコンテキストラベルとも言う。また、図１３の情報は、音響モデル生成手段１４４がそのまま利用できるデータ構造を有する。図１３の第三のレコードにおいて、例えば、「sil^m_a+z=u」は、前の前の音素が「sil」、前の音素が「m」、現在の音素が「a」、次の音素が「z」、さらに次の音素が「ｕ」であることを示す。また、項目Ａの「A:0+1+2」は、着目している用語や句におけるアクセントの位置、現在の音素の位置を示す。また、項目Ｂの「B:xx_xx#xx_xx」は、前の用語のスピーチタイプの一部と、その変化系を示す。また、項目Ｃの「C:5000000_xx!xx_xx」は、現在の用語のスピーチタイプの一部と、その変化系を示す。また、項目Ｄの「D:1030000_xx;xx_3」は、次の用語のスピーチタイプの一部と、その変化系を示す。また、項目Ｅの「E:xx_xx$xx_xx<xx_xx」は、前の韻律語、長さ、アクセントタイプ、およびポーズが存在するか否かを示す情報である。また、項目Ｆの「F:2_1_0@1_6|1_23>0_xx」は、現在の韻律語、長さ、アクセントタイプ、およびポーズが存在するか否か、現在の韻律句における位置であり、韻律語と語以上のユニットに従って算出された位置を示す情報である。また、項目Ｇの「G:2_1%0_0[0_xx」は、次の韻律語、長さ、アクセントタイプ、およびポーズが存在するか否かを示す情報である。また、項目Ｈの「H:xx_xx」は、前の韻律句の長さであり、音韻語やモーラスの数により算出された長さである。また、項目Ｉの「I:6-23@1+1&1-6|1+23」は、現在の音韻句の長さであり、音韻語やモーラスの数、それらの文中での位置により算出された音韻句の長さである。また、項目Ｊの「J:xx_xx」は、音韻語やモーラスの数により算出された次の音韻句の長さである。さらに、項目Ｋの「K:1+6]23-0」は、音韻句や音韻語やモーラスの数により算出された文の長さである。
【０１４９】
次に、音響モデル生成手段１４４は、１以上の特徴量、コンテキスト情報（図１３参照）、および音素情報（図１１参照）を、ＨＴＳ（非特許文献１参照）に与え、ＨＭＭ音響モデルを生成する。次に、音響モデル蓄積部１５は、生成された音響モデルを蓄積する。
【０１５０】
以下、実験結果について説明する。ここで、４つの実験を行った。実験１では、インターネット上のオーディオコンテンツについて調査した。実験２では、ノイズや音楽のような複雑なオーディオコンテンツに対処する音声データ取得処理について評価した。実験３では、簡素化のために、特にウェブラジオモノローグに焦点を合わせて、オーディオコンテンツを使用することによって、ＨＭＭ音響モデルを構築した。実験４では、自動音声認識における用語のエラーおよび音素のエラーが、ＨＭＭ音響モデルの品質に与える影響について調べた。
（実験１）
【０１５１】
インターネット上の音声コンテンツの複雑さを調査するために、研究目的で自動的に約２０００時間の音声コンテンツをインターネットから収集するために簡単なクローラーを用いた。収集された大部分のデータは、音声ブログとウェブラジオのデータである。豊富なスピーチ資源がインターネット上に存在し、音声ドキュメントが急激に増加している。そして、音声コンテンツを深く分析する。一般的に、ウェブ上の音声コンテンツは、高品質な実験室で取得された音声コンテンツと比較して、かなり複雑である。この複雑さは、以下の局面により発生する。
・不要な音楽、バックグラウンドミュージック、ノイズ
・利用できないテキスト、言語
・ファイル内における判断できない話者の数、発話形式
・種々の録音環境、ＭＰ３、ＷＭＡ等の種々の圧縮形式、種々のサンプリングレート
・一人で発話しているのか、１以上の言語における数人での会話であるかが判断できない
ＨＭＭ音響モデルを生成するために、従来の高品質の音声データの代わりに、ウェブ音声コンテンツを効果的に利用することにおいて、上記のすべての問題は、かなりのチャレンジである。
【０１５２】
図１４によれば、オーディオデータの９９．９％をデコードしなければならない。これは、ＨＭＭ音響モデルを構築するのにデコードされたコンテンツを使用するとき、合成された発話の品質をいくらか下げることができることを意味する。幸運にも、９９．９％のコンテンツは、良いサンプリングレートであった。また、ほとんどの音声ファイルも数分から何時間も継続している。したがって、上述した自動発声分割は不可欠である。
（実験２）
【０１５３】
本実験において、音声のサンプルの２つのサブセットが使用される。一つは、２３．５８時間のウェブラジオの内容を含んでいて、他方は、約１５人（長い間、話す）のスピーカーの２．４８時間のラベリングされたウェブラジオデータを含んでいる。息をするときのノイズを含むポーズは、後者のために人によりラベリングされる。全ての音声ファイルは、高度なフロントエンド特徴抽出アルゴリズムを用いることにより１３の静的ケプストラム係数および１の音量係数として２０ｍｓフレームで分析される。ラベリングされたポーズおよび息をするときのノイズのサンプルの約半分を用いて、２５、５０、および１００の混合数を有するＧＭＭのトレーニングを行う。予備実験において、本実験のために混合数５０のＧＭＭを選択する。
【０１５４】
音声データ取得処理を評価するために２つの実験を行う。そのうち一方は、２．４８時間のウェブラジオコンテンツを無音セグメントおよび有音セグメントに分解することである。得られたセグメントを、これらをラベリングされたポーズと単に比較することによって評価する。ポーズ位置検出の正確さは９４．６２％であり、挿入および削除エラーは７．４８％である。なお、この精度は、ポーズ位置以外に実際のポーズ長を考慮した場合には若干下がる場合がある。
【０１５５】
他方の実験は、不要セグメントを検出するために、２３．５８時間のウェブラジオコンテンツに対して行われる。蓄積された不要セグメントの長さが予め定義された長さ（例えば、５秒）を超えた場合、当該セグメントは除外される。図１５は実験結果を示している。同図は、ウェブ音声データのうち少なくとも３分の１は、主にバックグラウンドノイズおよび音楽のために除外されなければならないことを明らかに示している。右側の扇形部分において「その他」として示されるように、利用できない多量の音声もまた存在しており、これらには、チャット、話者の重なり、および笑い声が含まれる。我々の分析は、音楽セグメントのうち９９．５％が音声データから検出されたが、話者の重なりはごく一部しか検出できなかったことを示している。この問題は、複雑なウェブ音声コンテンツから利用可能な発話をどのように選択すべきかに関して根強く存在する。したがって、第１のステップとして、ラジオモノローグ音声（１つの音声ファイルにおいて基本的に１人の話者が参加する）を用いてＨＭＭ音響モデルを構築する。
（実験３）
【０１５６】
提案の方法を評価するため、音楽およびノイズを含み、１２人の話者（女性４人および男性８人）による日本語のウェブラジオモノローグファイルのサブセットを使用する。ＨＭＭ音響モデルの構築のための音声データ量は、４．２４分から７８．４２分まで様々である。音響パラメータは、フレーム長５ミリ秒の２４次静的メルケプストラムおよびデルタ、ならびにデルタデルタであり、ＨＭＭは、スキップなしの左から右への５つの状態である。１４の音響モデルを構築した。２人の話者は２倍のＨＭＭ音響モデルを有する。なぜなら、音響モデルの構築後にさらに多くのデータがインターネットから収集されたためである。最初の印象では、これらウェブラジオベースのＨＭＭ音響モデルの合成音声サンプルを聞いた音声合成専門家のほとんどが、音響モデルの品質は予想以上に良いと述べた。５分未満といった限られたラジオ音声サンプルを用いた場合であっても、ＨＭＭ音響モデルは同様にかなり良好に聞こえる。これらのＨＭＭ音響モデルを評価するために、３つの日本語の文で構成される試聴試験（オープン試験）を行った。４２（＝３×１４）の刺激が存在した。４人の聴取者（３人は日本語を母国語とする）が同試験に参加した。合成音声サンプルは、無音室においてヘッドフォンを通して聴取者に対してランダムに再生された。聴取者は、聴取後に各刺激を１（不良）、２（やや不良）、３（普通）、４（良好）、および５（優良あるいは人間の発話と区別できない）という５段階評価で採点するよう求められた。図１６は実験結果を示している。図１６から２つの所見が得られる。第１に、１４のＨＭＭ音響モデルのほとんどがかなり良好なＭＯＳ値を達成している。３つの音響モデルが普通のレベルに達しているが、２つの音響モデルは不良に近い。第２に、トレーニングデータを増加させた場合のウェブベースのＨＭＭ音響モデルの品質改善は、非常にゆっくりである。例えば、女性話者２の場合、トレーニングデータは１０倍増加したが、ＭＯＳ値は、約０．７増加しただけである。類似の現象が男性話者６に関して見られた。大まかに言えば、ログスケールにおける音響モデル品質とトレーニングデータ量との間にはわずかな直線関係が存在する。２つの主な要因がウェブベースのＨＭＭ音響モデルの品質に影響を与えている。要因の１つは、ウェブラジオデータ自体の元の信号品質である。ラジオデータのほとんどは通常の環境で録音されたものである。これらはまた、デコーディングによる歪みを受ける。もう１つの要因は、自動音声認識によって生じる用語のエラーおよび音素のエラーである。
（実験４）
【０１５７】
トランスクリプトにおける音素のエラーおよび用語のエラーによるＨＭＭ音響モデルの品質に対する影響を調べるために、以下の実験を策定した。所内の音声コーパスから４５０の発話（男性話者１人および女性話者１人）の２つのサブセットを利用した。これらのサブセットを採用した理由は、そのプロンプトテキストおよび音素が人間によってチェックされ、音声が防音室で録音されたからである。上述と同様のツールキットを用いて様々なビーム探索幅を有する上記２つのサブセットを転記し、それによって様々な用語の正確さおよび音素の正確さを得た。一部のビーム幅は妥当なものではないため、いくつかの発話は完全には認識することができなかった。したがって、ウェブベースのＨＭＭ音響モデルの場合と同じ方法でＨＭＭ音響モデルを構築するために、１９．５分のデータを各セットからランダムに選択した。その結果、２４個のＨＭＭ音響モデル（男性および女性、それぞれ１２個）を得た。上述と同じ聴取者によって音響モデルの品質を評価するために、２つの文で構成される試聴試験（オープン試験）を行った。
【０１５８】
図１７は、ＭＯＳとＨＭＭ音響モデルの構築に使用した音声データの音声認識の音素の正確さとの関係を示している。右上隅の黒丸および黒四角は、「正確な」トランスクリプトを用いたＨＭＭ音響モデルの結果を示している。図１８は、本実験において得られた音素の正確さと用語の正確さとの関係を示す。
【０１５９】
正確さと対応するＨＭＭ音響モデルの品質との間には明らかな関係が存在する。各音響モデルに共通する発話は、１９．５分のトレーニングデータのうち１３．２％である。このことは、図１７においてＭＯＳ値が局所的に変動している主な理由であり得る。ＭＯＳで３となる普通レベルの音響モデル品質を実現するためには、音素の正確さは８０％超であり、用語の正確さは５０％超でなければならないことが本実験から分かる。
【０１６０】
ウェブラジオベースのＨＭＭ音響モデルの品質に関する上記第２の所見を参照されたい。ウェブラジオモノローグのトランスクリプトのセットのほとんどにおける音素の正確さおよび用語の正確さは、おそらく、それぞれ８０％未満および５０％未満である。なぜなら、ウェブラジオデータは防音室で録音されたものではなく、そのコンテンツは開領域にあり、ツールキットにおいて使用された言語モデルは旅行会話ドメインから構築されたものであったからである。このことが、トレーニングデータが急激に増加する場合であってもウェブラジオに基づくＨＭＭ音響モデルの品質改善がゆっくりでる主な理由であり得る。音声認識の高い性能は、ウェブベースのＨＭＭ音響モデルの良好な品質を達成するために非常に重要である。
【０１６１】
以上、本実施の形態によれば、自動的に音響モデルが構築できる。また、本実施の形態によれば、ウェブ上のファイルから音声ファイルを特定する場合に、ファイルの拡張子を特定するので、音声ファイルを容易に特定でき、自動的に精度高く音響モデルが構築できる。また、本実施の形態によれば、音声ファイルのフォーマットを統一したり、低サンプリングレートのファイルを消去したり、ステレオ音声のファイルをモノチャネルのファイルに変更したりするので、自動的に精度高く音響モデルが構築できる。ノイズや音楽ファイル等を利用しないことにより、自動的に精度高く音響モデルが構築できる。また、本実施の形態によれば、発話単位で音響モデルを生成することにより、自動的に精度高く音響モデルが構築できる。さらに、本実施の形態によれば、話者クラスごとに、自動的に精度高く音響モデルが構築できるので、利用価値の高い音響モデルが構築できる。
【０１６２】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における音響モデル生成装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、音声ファイルを含む1以上のファイルを格納している1以上のサーバ装置から1以上の音声ファイルを取得する音声ファイル取得部と、前記1以上の音声ファイルから、予め決められた条件を満たすデータであり、音響モデルの構築のために使用しないデータを除いた1以上の音声データを取得する音声データ取得部と、前記音声データ取得部が取得した1以上の各音声データを音声認識し、音声認識結果である1以上の文字列を有する1以上の文字列情報を取得する音声認識部と、前記1以上の各音声データと当該各音声データに対応する前記１以上の各文字列情報とを有する1以上の音声情報から音響モデルを生成する音響モデル生成部と、前記音響モデルを蓄積する音響モデル蓄積部として機能させるためのプログラム、である。
【０１６３】
また、上記プログラムにおいて、前記音声ファイル取得部は、予め決められた音声ファイルの1以上の拡張子を格納し得る拡張子格納手段と、前記1以上のサーバ装置から、前記1以上の拡張子のうちのいずれかの拡張子を有する1以上の音声ファイルを取得する音声ファイル取得手段とを具備するものとして、コンピュータを機能させることは好適である。
【０１６４】
また、上記プログラムにおいて、前記音声ファイル取得部は、予め決められた音声ファイルフォーマットではない音声ファイルを、前記予め決められた音声ファイルフォーマットに変換するフォーマット変換手段と、前記音声ファイルのサンプリングレートが閾値より小さいサンプリングレートの音声ファイルを捨てる低サンプリングレートファイル消去手段と、前記音声ファイルのサンプリングレートが閾値より大きいサンプリングレートの音声ファイルを、閾値のサンプリングレートとなるように音声ファイルを変更するダウンサンプリング手段と、
前記音声ファイルがステレオ音声のファイルである場合に、モノチャネルの音声のファイルに変更するモノチャネル変更手段とを具備するものとして、コンピュータを機能させることは好適である。
【０１６５】
また、上記プログラムにおいて、前記音声データ取得部は、前記1以上の各音声ファイルを、予め決められた時間間隔のセグメントに分割するセグメント分割手段と、前記セグメント分割手段が取得した２以上の各セグメントに対して、無音であるか否かを判断し、無音であるセグメントが所定以上連続する無音区間と、音声を有する音声区間とを区別する無音区間判断手段と、前記無音区間を除いた前記１以上の各音声区間に対して、２以上のセグメントを有する音声区間のセグメントの中で、最も音量が小さいセグメントの音量を取得する音量取得手段と、前記音量取得手段が取得した音量が予め決められた閾値より大きい場合に、不要な音声区間であるとして、当該音声区間を除く不要区間除外手段とを具備し、前記1以上の各音声ファイルを、音声区間、無音区間、および不要区間に区分するものとして、コンピュータを機能させることは好適である。
【０１６６】
また、上記プログラムにおいて、前記音声認識部は、前記音声データ取得部が取得した1以上の各音声データを、音声区間の中の無音区間を用いて、１以上の発話に分割し、１以上の発話を取得する発話取得手段と、前記１以上の各発話を音声認識し、発話毎に、音声認識結果である文字列と音素ラベルと音素時間アライアメント情報とを有する文字列情報を取得する音声認識手段とを具備するものとして、コンピュータを機能させることは好適である。
【０１６７】
また、上記プログラムにおいて、前記音響モデル生成部は、前記1以上の音声情報が有する音声データから、当該音声データの音響に関するパラメータである１以上の特徴量を取得する特徴量取得手段と、前記1以上の音声情報が有する音声データから、当該音声データを構成する１以上の音素の情報である１以上の音素情報を取得する音素情報取得手段と、前記1以上の音声情報が有する文字列情報を形態素解析し、コンテキスト情報を取得する形態素解析手段と、前記１以上の特徴量、前記１以上の音素情報、および前記コンテキスト情報を用いて音響モデルを生成する音響モデル生成手段とを具備するものとして、コンピュータを機能させることは好適である。
【０１６８】
また、上記プログラムにおいて、前記音響モデル生成手段は、前記特徴量取得手段が取得した1以上の特徴量が予め決められた条件に合致するほど近似している1以上の音声情報ごとに音響モデルを生成し、前記音響モデル蓄積部は、前記話者毎音響モデル生成手段が生成した話者クラス毎の音響モデルを蓄積するものとして、コンピュータを機能させることは好適である。
【０１６９】
（実施の形態２）
【０１７０】
本実施の形態において、実施の形態１で構築した音響モデルの中で、発話者の音声に合致した音響モデルを利用して音声翻訳を行える音声翻訳装置について説明する。
【０１７１】
図１９は、本実施の形態における音声翻訳装置２のブロック図である。音声翻訳装置２は、音響モデル格納部２１、受付部２２、音声認識部２３、機械翻訳部２４、音声合成部２５、出力部２６、特徴量取得部２７、および音響モデル決定部２８を具備する。
【０１７２】
音響モデル格納部２１は、実施の形態１の音響モデル生成装置１により生成された２以上の各音響モデルと、１以上の特徴量に関する情報である特徴量情報とを対応付けて格納している。音響モデル格納部２１は、音響モデル生成装置１により生成された２以上の音響モデルを格納している。音響モデル格納部２１は、話者クラスごとに、音響モデルを格納していることは好適である。また、かかる場合、音響モデル格納部２１は、話者クラスに対応する特徴ベクトルをも格納している。なお、話者クラスは、男性、女性の２つでも良く、性別および年齢幅等により、いくつかを有しても良い。
【０１７３】
受付部２２は、ユーザから原言語の音声を受け付ける。また、受付部２２は、音響モデルを特定する情報と原言語の音声とを受け付けても良い。音声の入力手段は、例えば、マイクである。
【０１７４】
音声認識部２３は、受付部２２が受け付けた音声を音声認識し、文字列を取得する。
【０１７５】
機械翻訳部２４は、文字列を目的言語に翻訳し、翻訳結果を取得する。
【０１７６】
音声合成部２５は、後述する音響モデル決定部２８が決定した音響モデルを用いて、翻訳結果を音声合成する。また、音声合成部２５は、受付部２２が受け付けた情報により特定される音響モデルを用いて、翻訳結果を音声合成しても良い。
【０１７７】
出力部２６は、音声合成した結果を出力する。なお、受付部２２、音声認識部２３、機械翻訳部２４、および音声合成部２５、出力部２６は、公知技術である。
【０１７８】
出力とは、通常、スピーカーからの音声出力である。ただし、外部の装置（スピーカなど）への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【０１７９】
出力部２６は、スピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部２６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【０１８０】
特徴量取得部２７は、音声から１以上の特徴量を取得する。
【０１８１】
音響モデル決定部２８は、１以上の特徴量から、音声翻訳に利用する音響モデルを、音響モデル格納部２１から決定する。音響モデル決定部２８は、特徴量取得部２７が取得した１以上の特徴量に最も近似する特徴量ベクトルに対応する音響モデルを、音響モデル格納部２１から選択する。
【０１８２】
音響モデル格納部２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。音響モデル格納部２１に音響モデルが記憶される過程は問わない
音声認識部２３、機械翻訳部２４、音声合成部２５、特徴量取得部２７、および音響モデル決定部２８は、通常、ＭＰＵやメモリ等から実現され得る。音声認識部２３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１８３】
次に、音声翻訳装置２の動作について、図２０のフローチャートを用いて説明する。
【０１８４】
（ステップＳ２００１）受付部２２は、ユーザから原言語の音声を受け付けたか否かを判断する。音声を受け付ければステップＳ２００２に行き、音声を受け付けなければステップＳ２００１に戻る。
【０１８５】
（ステップＳ２００２）特徴量取得部２７は、ステップＳ２００１で受け付けられた音声から１以上の特徴量を取得する。
【０１８６】
（ステップＳ２００３）音響モデル決定部２８は、カウンタｉに１を代入する。
【０１８７】
（ステップＳ２００４）音響モデル決定部２８は、ｉ番目の話者クラスが存在するか否かを判断する。ｉ番目の話者クラスが存在すればステップＳ２００８に行き、存在しなければステップＳ２００５に行く。
【０１８８】
（ステップＳ２００５）音響モデル決定部２８は、ｉ番目の話者クラスに対応する特徴ベクトルを、音響モデル格納部２１から取得する。
【０１８９】
（ステップＳ２００６）音響モデル決定部２８は、ステップＳ２００２で取得された１以上の特徴量（特徴ベクトル）と、ステップＳ２００５で取得された特徴ベクトルとの近似度を算出し、ｉ番目の話者クラスに対応付けて、近似度を一時蓄積する。なお、近似度は、例えば、２つのベクトルの距離の逆数である。また、近似度は、例えば、距離をパラメータとする減少関数により算出される。
【０１９０】
（ステップＳ２００７）音響モデル決定部２８は、カウンタｉを１、インクリメントし、ステップＳ２００４に戻る。
【０１９１】
（ステップＳ２００８）音響モデル決定部２８は、近似度が最大の話者クラスの音響モデルを、音響モデル格納部２１から取得する。
【０１９２】
（ステップＳ２００９）音声認識部２３は、ステップＳ２００１で受け付けられた音声を音声認識し、文字列を取得する。
【０１９３】
（ステップＳ２０１０）機械翻訳部２４は、ステップＳ２００９で取得された文字列を目的言語に翻訳し、翻訳結果を取得する。
【０１９４】
（ステップＳ２０１１）音声合成部２５は、ステップＳ２０１０で取得された翻訳結果を、ステップＳ２００８で取得された音響モデルを用いて、音声合成し、音声データを取得する。
【０１９５】
（ステップＳ２０１２）出力部２６は、ステップＳ２０１１で取得された音声データから、音声出力し、ステップＳ２００１に戻る。
【０１９６】
なお、図２０のフローチャートにおいて、音声認識処理、機械翻訳処理において、ステップＳ２００８で取得された音響モデルを用いても良い。
【０１９７】
また、図２０のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１９８】
以上、本実施の形態によれば、原言語の音声の入力者に類似した音声で、翻訳された言語を発声させることができる。また、例えば、男性が原言語の音声を入力した場合、男性の声で翻訳された言語を発声させることができる。
【０１９９】
なお、本実施の形態において、ユーザが自由に音響モデルを選択できる。かかる場合、翻訳された言語を、好みの人の声で発声さえることができる。
【０２００】
さらに、本実施の形態における音声翻訳装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、音響モデル生成装置１により生成された２以上の音響モデルと、１以上の特徴量に関する情報である特徴量情報とを対応付けて格納しており、コンピュータを、ユーザから原言語の音声を受け付ける受付部と、前記音声から１以上の特徴量を取得する特徴量取得部と、前記１以上の特徴量から、音声翻訳に利用する音響モデルを、前記記憶媒体から決定する音響モデル決定部と、前記音声を音声認識し、文字列を取得する音声認識部と、前記文字列を目的言語に翻訳し、翻訳結果を取得する機械翻訳部と、前記音響モデル決定部が決定した音響モデルを用いて、前記翻訳結果を音声合成する音声合成部と、前記音声合成した結果を出力する出力部として機能させるためのプログラム、である。
また、記憶媒体に、音響モデル生成装置１により生成された２以上の音響モデルを格納しており、コンピュータを、音響モデルを特定する情報と、原言語の音声を受け付ける受付部と、前記音声を音声認識し、文字列を取得する音声認識部と、前記文字列を目的言語に翻訳し、翻訳結果を取得する機械翻訳部と、前記受付部が受け付けた情報により特定される音響モデルを用いて、前記翻訳結果を音声合成する音声合成部と、前記音声合成した結果を出力する出力部として機能させるためのプログラム、である。
また、図２１、本明細書で述べたプログラムを実行して、上述した実施の形態の音響モデル生成装置や音声翻訳装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図２１は、このコンピュータシステム３４０の概観図であり、図２２は、コンピュータシステム３４０のブロック図である。
【０２０１】
図２１において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
【０２０２】
図２２において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０２０３】
コンピュータシステム３４０に、上述した実施の形態の音響モデル生成装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ３４１に、上述した実施の形態の音響モデル生成装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０２０４】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０２０５】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０２０６】
また、本明細書や特許請求の範囲において、何らかの判断をする場合において、「閾値より大きい」と「閾値以上」とは同意義である。また、「閾値より小さい」と「閾値以下」とは同意義である。さらに、「所定より大きい」と「所定以上」とは同意義であり、「所定より小さい」と「所定以下」とは同意義である。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０２０７】
以上のように、本発明にかかる音響モデル生成装置は、自動的に音響モデルが構築できる、という効果を有し、音声翻訳装置に組み込まれる音響モデル生成装置等として有用である。
【図１】
2012073280.tif 000003
【図２】
2012073280.tif 000004
【図３】
2012073280.tif 000005
【図４】
2012073280.tif 000006
【図５】
2012073280.tif 000007
【図６】
2012073280.tif 000008
【図１５】
2012073280.tif 000009
【図１９】
2012073280.tif 000010
【図２０】
2012073280.tif 000011
【図２１】
2012073280.tif 000012
【図２２】
2012073280.tif 000013
【図７】
2012073280.tif 000014
【図８】
2012073280.tif 000015
【図９】
2012073280.tif 000016
【図１０】
2012073280.tif 000017
【図１１】
2012073280.tif 000018
【図１２】
2012073280.tif 000019
【図１３】
2012073280.tif 000020
【図１４】
2012073280.tif 000021
【図１６】
2012073280.tif 000022
【図１７】
2012073280.tif 000023
【図１８】
2012073280.tif 000024
【手続補正書】
【提出日】平成23年5月10日(2011.5.10)
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2012073280.tif 000025
【外国語明細書】
VOICE CREATING APPARATUS, SPEECH TRANSLATION APPARATUS, VOICE CREATING METHOD
BACKGROUND OF THE INVENTION
1. Field of the Invention
[0001]    The present invention relates to voice creating apparatuses and the like for amassing audio files from one or more server apparatuses, and creating voices from the amassed audio files.
2. Description of Related Art
[0002]    Conventionally, there is a voice creating apparatus for creating robust voices even from a small amount of training data (see JP 2010-164780A (p. 1, FIG. 1, etc.), for example).
[0003]    Furthermore, there is a technique for quickly creating Hidden Markov Model (HMM) voices in an environment where sample speech data, text data, and the like have been prepared (see Tokuda, K. et al., HMM-based speech synthesis system, (online), the Internet <URL: http://hts.ics.nitech.ac.jp/>, (accessed on August 5, 2010)).
SUMMARY OF THE INVENTION
[0006]    However, conventionally, for example, a large number of speakers perform an operation such as reading out given sentences in order to build voices.
[0007]    It is an object of the present invention, for example, to automatically acquire a large amount of speech data present in a web server and the like, and build a voice from the speech data.
[0008]    A first aspect of the present invention is directed to a voice creating apparatus, including: an audio file acquiring portion that acquires at least one audio file from at least one server apparatus in which at least one file including an audio file is stored; a speech activity detection portion that detects at least one piece of speech data excluding data that satisfies a predetermined condition and that is not used to build a voice, from the at least one audio file; an auto-speech transcription portion that performs auto-speech transcription on each of the at least one piece of speech data detected by the speech activity detection portion, and acquires at least one piece of text information resulting from the auto-speech transcription and having at least one piece of text; a voice creating portion that creates a voice from at least one piece of speech information having each of the at least one piece of speech data and each of the at least one piece of text information corresponding to the speech data; and a voice accumulating portion that accumulates the voice.
[0009]    With this configuration, voices can be automatically built.
[0010]    Furthermore, a second aspect of the present invention is directed to the voice creating apparatus according to the first aspect, wherein the audio file acquiring portion includes: an extension storage unit in which at least one predetermined audio file extension can be stored; and an audio file acquiring unit that acquires at least one audio file having any one of the at least one extension, from the at least one server apparatus.
[0011]    With this configuration, audio files can be easily specified, and voices can be automatically and precisely built.
[0012]    Furthermore, a third aspect of the present invention is directed to the voice creating apparatus according to the first or the second aspect, wherein the audio file acquiring portion includes: a format converting unit that converts a format of an audio file that is not a predetermined audio file format into the predetermined audio file format; a low-sampling rate file discarding unit that, in a case where a sampling rate of the audio file is lower than a threshold, discards the audio file having the sampling rate; a down-sampling unit that, in a case where a sampling rate of the audio file is higher than the threshold, changes the audio file having the sampling rate so as to have the threshold sampling rate; and a mono-channel change unit that, in a case where the audio file is a stereo audio file, changes the audio file into a mono-channel audio file.
[0013]    With this configuration, voices can be automatically and precisely built.
[0014]    Furthermore, a forth aspect of the present invention is directed to the voice creating apparatus according to any one of the first to the third aspects, wherein the speech activity detection portion includes: a segment split unit that splits each of the at least one audio file into segments having a predetermined time frame; a silent period judging unit that judges whether or not each of at least two segments acquired by the segment split unit is silent, and distinguishes a silent period having an at least predetermined number of successively arranged silent segments and a non-silent period having audio; a log-energy acquiring unit that acquires a log-energy of a segment having a minimal log-energy, among segments of a non-silent period having at least two segments, with respect to each of the at least one non-silent period excluding the silent period; and an unusable period excluding unit that, in a case where the log-energy acquired by the log-energy acquiring unit is larger than a predetermined threshold, regards the period having the log-energy as an unusable non-silent period, and excludes the non-silent period; and the speech activity detection portion segments each of the at least one audio file into a non-silent period, a silent period, and an unusable period.
[0015]    With this configuration, voices can be automatically and precisely built.
[0016]    Furthermore, a fifth aspect of the present invention is directed to the voice creating apparatus according to any one of the first to the fourth aspects, wherein the auto-speech transcription portion includes: an utterance acquiring unit that splits each of the at least one piece of speech data detected by the speech activity detection portion into at least one utterance using a silent period between non-silent periods, and acquires at least one utterance; and an auto-speech transcription unit that performs auto-speech transcription on each of the at least one utterance, and acquires, for each utterance, text information resulting from the auto-speech transcription and having text, a phone label, and phone-time alignment information.
[0017]    With this configuration, voices can be automatically and precisely built.
[0018]    Furthermore, a sixth aspect of the present invention is directed to the voice creating apparatus according to any one of the first to the fifth aspects, wherein the voice creating portion includes: a feature amount acquiring unit that acquires at least one feature amount, which is an acoustic parameter of the speech data contained in the at least one piece of speech information, from the speech data; a phone information acquiring unit that acquires at least one piece of phone information, which is information on at least one phone constituting the speech data contained in the at least one piece of speech information, from the speech data; a morpheme analysis unit that performs morpheme analysis on the text information contained in the at least one piece of speech information, and acquires context information; and a voice creating unit that creates a voice using the at least one feature amount, the at least one piece of phone information, and the context information.
[0019]    With this configuration, voices can be automatically and precisely built.
[0020]    Furthermore, a seventh aspect of the present invention is directed to the voice creating apparatus according to the sixth aspect, wherein the voice creating unit creates a voice for each group of at least one piece of speech information having the at least one feature amount acquired by the feature amount acquiring unit similar enough to match a predetermined condition, and the voice accumulating portion accumulates a voice for each speaker class created by the voice creating unit.
[0021]    With this configuration, voices can be automatically and precisely built for each speaker class.
[0022]    Furthermore, an eighth aspect of the present invention is directed to a speech translation apparatus, including: a voice storage portion in which at least two voices created by the voice creating apparatus according to any one of the first to the seventh aspects and feature amount information, which is information relating to at least one feature amount, are stored in association with each other; an accepting portion that accepts speech in a source language from a user; a feature amount acquiring portion that acquires at least one feature amount from the speech; a voice determining unit that determines a voice used for speech translation from the at least two voices stored in the voice storage portion, based on the at least one feature amount; an auto-speech transcription portion that performs auto-speech transcription on the speech, and acquires text; a mechanical translation portion that translates the text into a target language, and acquires a translation result; a speech synthesis portion that performs speech synthesis on the translation result using the voice determined by the voice determining unit; and an output portion that outputs a result of the speech synthesis.
[0023]    With this configuration, speech translation can be performed using automatically built voices.
[0024]    Furthermore, a ninth aspect of the present invention is directed to a speech translation apparatus, including: a voice storage portion in which at least two voices created by the voice creating apparatus according to any one of the first to the seventh aspects are stored; an accepting portion that accepts information for specifying a voice and speech in a source language; an auto-speech transcription portion that performs auto-speech transcription on the speech, and acquires text; a mechanical translation portion that translates the text into a target language, and acquires a translation result; a speech synthesis portion that performs speech synthesis on the translation result using the voice specified with the information accepted by the accepting portion; and an output portion that outputs a result of the speech synthesis.
With this configuration, speech translation can be performed using automatically built voices. 
[0025]    With the voice creating apparatus according to the present invention, voices can be automatically built.
BRIEF DESCRIPTION OF THE DRAWINGS
[0026]    FIG. 1 is a block diagram of a voice creating apparatus in Embodiment 1.
FIG. 2 is a flowchart illustrating an operation of the voice creating apparatus in this embodiment.
FIG. 3 is a flowchart illustrating an operation of an audio file acquiring process in this embodiment.
FIG. 4 is a flowchart illustrating an operation of a speech activity detection process in this embodiment.
FIG. 5 is a flowchart illustrating an operation of an utterance acquiring process in this embodiment.
FIG. 6 is a flowchart illustrating an operation of a voice creating process in this embodiment.
FIG. 7 is a diagram showing the outline of a process of the voice creating apparatus in this embodiment.
FIG. 8 is a diagram showing the concept of a processing result of a speech activity detection portion in this embodiment.
FIG. 9 is a diagram showing an example of text information in this embodiment.
FIG. 10 is a diagram showing an example of phone-time information in this embodiment.
FIG. 11 is a diagram showing an example of phone information in this embodiment.
FIG. 12 is a diagram showing an example of context information in this embodiment.
FIG. 13 is a diagram showing an example of a full context label in this embodiment.
FIG. 14 shows charts of an analysis result of a web audio file in this embodiment.
FIG. 15 shows charts of a result of a speech activity detection process in this embodiment.
FIG. 16 shows a graph of an experimental result in this embodiment.
FIG. 17 shows a graph of the relationship between a mean opinion score (MOS) and a phone accuracy in this embodiment.
FIG. 18 shows a graph of the relationship between phone and word accuracies in this embodiment.
FIG. 19 is a block diagram of a speech translation apparatus in Embodiment 2.
FIG. 20 is a flowchart illustrating an operation of the speech translation apparatus in this embodiment.
FIG. 21 is a schematic view of a computer system in this embodiment.
FIG. 22 is a block diagram of the computer system in this embodiment.
DETAILED DESCRIPTION OF THE INVENTION
[0027]    Hereinafter, embodiments of a voice creating apparatus and the like will be described with reference to the drawings.  Here, constituent elements denoted by the same reference numerals perform the same operations in the embodiments, and, thus, a description thereof may not be repeated.
[0028]    Embodiment 1
[0029]    In this embodiment, a voice creating apparatus that amasses audio files from one or more web server apparatuses, and creates a voice from the amassed audio files will be described.
[0030]    First, the voice creating apparatus selects audio files from a large number of files acquired from the server apparatuses.  Next, the voice creating apparatus discards unwanted data such as music files and noise from the audio files, and obtains speech data that can be used to create voices.  Next, the voice creating apparatus performs an auto-speech transcription process on the speech data, and acquires text information.  Furthermore, the voice creating apparatus creates voices using the speech data and the text information.
[0031]    FIG. 1 is a block diagram of a voice creating apparatus 1 in this embodiment.  The voice creating apparatus 1 is provided with an audio file acquiring portion 11, a speech activity detection portion 12, an auto-speech transcription portion 13, a voice creating portion 14, a voice accumulating portion 15, and a voice storage portion 16.
[0032]    The audio file acquiring portion 11 is provided with, for example, an extension storage unit 111, an audio file acquiring unit 112, a format converting unit 113, a low-sampling rate file discarding unit 114, a down-sampling unit 115, and a mono-channel change unit 116.  Here, the audio file acquiring portion 11 may have a configuration, for example, that does not have the mono-channel change unit 116.
[0033]    The speech activity detection portion 12 is provided with, for example, a segment split unit 121, a silent period judging unit 122, a log-energy acquiring unit 123, and an unusable period excluding unit 124.
[0034]    The auto-speech transcription portion 13 is provided with, for example, an utterance acquiring unit 131 and an auto-speech transcription unit 132.
[0035]    The voice creating portion 14 is provided with, for example, a feature amount acquiring unit 141, a phone information acquiring unit 142, a morpheme analysis unit 143, and a voice creating unit 144.
[0036]    The audio file acquiring portion 11 acquires one or more audio files.  The audio file acquiring portion 11 acquires one or more audio files from one or more server apparatuses in which one or more files including audio files are stored.  Furthermore, the audio file acquiring portion 11 may acquire one or more audio files from a large number of locally held file groups.  The audio file acquiring portion 11 may judge whether or not a file is an audio file using an extension, or may judge whether or not a file is an audio file by analyzing inside the file.  The server apparatus is typically a website, a server apparatus, or the like.
[0037]    One or more predetermined audio file extensions can be stored in the extension storage unit 111.  The extension is, for example, the character strings such as "MP3", "mp3", "PCM", or "pcm".
[0038]    The audio file acquiring unit 112 acquires one or more audio files having any one of the extensions stored in the extension storage unit 111, from one or more server apparatuses.  The one or more server apparatuses are one or more apparatuses corresponding to one or more URLs accepted by an accepting portion (not shown) of the voice creating apparatus 1.  Here, accepting is a concept that includes accepting of information input from an input device such as a keyboard, a mouse, or a touch panel, reception of information transmitted via a wired or wireless communication line, and accepting of information read from a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory.
[0039]    The format converting unit 113 converts the format of an audio file that is not a predetermined audio file format into the predetermined audio file format.  The predetermined audio file format is, for example, PCM.
[0040]    In the case where a sampling rate of the audio file is lower than a threshold, the low-sampling rate file discarding unit 114 discards the audio file having the sampling rate.  Here, the threshold is, for example, 16 kHz.  Here, "discard an audio file" refers not to use an audio file to create a voice, and the audio file may or may not be deleted.
[0041]    In the case where a sampling rate of the audio file is higher than the threshold, the down-sampling unit 115 changes the audio file having the sampling rate so as to have the threshold sampling rate.  There is no limitation on the downsizing method performed by the down-sampling unit 115.  The process of the down-sampling unit 115 is a known art, and, thus, a detailed description thereof has been omitted.
[0042]    In the case where the audio file is a stereo audio file, the mono-channel change unit 116 changes the audio file into a mono-channel audio file.  The process of the mono-channel change unit 116 is a known art, and, thus, a detailed description thereof has been omitted.
[0043]    The speech activity detection portion 12 detects one or more pieces of speech data excluding data that satisfies a predetermined condition and that is not used to build a voice, from the one or more audio files.  The data that is not used to build a voice is, for example, music data and noise data.  The predetermined condition is a condition in which the log-energy of a segment having a minimal log-energy, among two or more segments constituting audio data, is larger than a threshold.  It may be judged that the audio data matching this condition is music data, noise data, or the like.
[0044]    The segment split unit 121 splits each of one or more audio files into segments having a predetermined time frame.  Here, the time frame is, for example, 20 ms (milliseconds).
[0045]    The silent period judging unit 122 judges whether or not each of two or more segments acquired by the segment split unit 121 is silent, and classifies audio data into a silent period having a predetermined number (e.g., 8) or more of successively arranged silent segments and a non-silent period having audio.  Here, the judgment method is, for example, as below.  For example, the silent period judging unit 122 uses a Gaussian mixture model (GMM) likelihood.  The silent period judging unit 122 judges a segment having a high degree of match with a GMM-based silent model to be a silent segment.  The silent period judging unit 122 uses, for example, the mean of log-energies of multiple segments and a log-energy of a target segment.  The silent period judging unit 122 judges, for example, that a segment whose log-energy is low enough to satisfy a predetermined condition in comparison with the mean log-energy is a silent segment.  For example, the silent period judging unit 122 uses information on a time frame in which zero-cross of the signal occurs.  If the zero-cross time frame is short, the possibility of noise is high, and the segment is not silent.  Here, there is no limitation on the algorithm following which the silent period judging unit 122 judges whether or not a segment is silent.
[0046]    The log-energy acquiring unit 123 acquires a log-energy of a segment having a minimal log-energy, among segments of a non-silent period having two or more segments, with respect to each of one or more non-silent periods excluding the silent periods.
[0047]    In the case where the log-energy acquired by the log-energy acquiring unit 123 is larger than a predetermined threshold, the unusable period excluding unit 124 regards the period having the log-energy as an unusable non-silent period, and excludes the non-silent period.  Here, "larger than a threshold" is considered to include the concepts "a threshold or more" and "at least a threshold".
[0048]    The auto-speech transcription portion 13 performs auto-speech transcription on each of the one or more pieces of speech data detected by the speech activity detection portion 12, and acquires one or more pieces of text information resulting from the auto-speech transcription and having one or more pieces of text.
[0049]    The utterance acquiring unit 131 splits each of the one or more pieces of speech data detected by the speech activity detection portion 12 into one or more utterances using a silent period between non-silent periods, and acquires one or more utterances.  Here, the silent period is, for example, a group of silent segments having a length of 300 ms or more.  There is no limitation on the algorithm following which the utterance acquiring unit 131 splits speech data into utterances.  The utterance acquiring unit 131 may regard, for example, a period that is disposed between silent periods each having a predetermined time period (e.g., 300 ms) or longer and that has a predetermined time period (e.g., 5 seconds) or shorter, as a period of one utterance.  In this case, it is possible to obtain two utterances by splitting a period longer than the predetermined time period (e.g., 5 seconds) into two at a longest silent period (e.g., less than 300 ms) in this period.  Furthermore, the utterance acquiring unit 131 may recognize a sentence break with a sentence ending word (e.g., the sounds "desu", "masu", and "deshita" in Japanese), and split speech data into two or more utterances.  Furthermore, the utterance acquiring unit 131 takes a longest silent period as a root node, and takes silent periods having a predetermined time period (e.g., 300 ms) or longer as nodes, thereby forming the speech data into a bi-branch tree structure.  Then, the utterance acquiring unit 131 may acquire two or more utterances from the speech data, by taking a subcut tree having a length of 5 seconds or less as one utterance in subcut trees of this bi-branch tree.
[0050]    The auto-speech transcription unit 132 performs auto-speech transcription on each of the one or more utterances, and acquires, for each utterance, text information resulting from the auto-speech transcription and having text, a phone label, and phone-time alignment information.  Here, the auto-speech transcription unit 132 is a known art, and, thus, a detailed description thereof has been omitted.
[0051]    The voice creating portion 14 creates a voice from the one or more pieces of speech information.  The speech information has speech data and text information corresponding to the speech data.  Here, the created voice is typically an HMM voice, but may also be another voice such as a GMM.
[0052]    The feature amount acquiring unit 141 acquires one or more feature amounts, which are acoustic parameters of the speech data contained in the one or more pieces of speech information, from the speech data.  The feature amount is, for example, 24-order mel-cepstrum, F0 (fundamental frequency), or the like.  Here, the feature amount acquiring unit 141 may use LSP (Linear Spectrum Pair), cepstrum, or the like based on short-time power spectrum information.
[0053]    The phone information acquiring unit 142 acquires one or more pieces of phone information, which are pieces of information on one or more phones constituting the speech data contained in the one or more pieces of speech information, from the speech data.  Here, the phone information is, for example, phone labels.  The phone labels are also referred to as mono-phone labels.  The mono-phone labels are, for example, text indicating a phone, a start time of speech data, and an end time (it also may be the duration of an utterance).  The phone information acquiring unit 142 preferably acquires the phone information from a result of the auto-speech transcription performed by the auto-speech transcription portion 13.
[0054]    The morpheme analysis unit 143 performs morpheme analysis on the text information contained in the one or more pieces of speech information.  Then, the morpheme analysis unit 143 acquires context information as a result of the morpheme analysis.  The context information is also referred to as full context labels.  The full context labels have, for example, information on a phone, the part-of-speech, the location in the sentence, and the like.
[0055]    The voice creating unit 144 creates a voice using the one or more feature amounts, the one or more pieces of phone information, and the context information.  The voice creating unit 144 preferably creates a voice for each group of one or more pieces of speech information having the one or more feature amounts acquired by the feature amount acquiring unit 141 similar enough to match a predetermined condition.  That is to say, the voice creating unit 144 preferably creates a voice for each speaker class.  Here, the speaker class is obtained by grouping speech data (speech information), taking pieces of speech data (speech information) having one or more similar feature amounts as the same class.  Furthermore, the voice creating unit 144 is, for example, known software called HTS (Tokuda, K. et al.).
[0056]    The voice accumulating portion 15 accumulates the voice created by the voice creating unit 144.  The voice accumulating portion 15 typically accumulates the voice in the voice storage portion 16.  Here, the voice accumulating portion 15 may accumulate the voice in a storage medium of an external apparatus.  Furthermore, the voice accumulating portion 15 preferably accumulates a voice for each speaker class created by the voice creating unit 144.  In this case, the voice accumulating portion 15, for example, accumulates the voice in association with one or more feature amounts corresponding to a speaker class.
[0057]    In the voice storage portion 16, the voice can be stored.  The voice is typically an HMM voice, but may also be another voice such as a GMM.
[0058]    The audio file acquiring portion 11 may be realized, for example, as a receiving unit, an MPU, a memory, or the like.
[0059]    The extension storage unit 111 and the voice storage portion 16 are preferably a non-volatile storage medium, but may be realized also as a volatile storage medium.
[0060]    The audio file acquiring unit 112, the format converting unit 113, the low-sampling rate file discarding unit 114, the down-sampling unit 115, the mono-channel change unit 116, the speech activity detection portion 12, the segment split unit 121, the silent period judging unit 122, the log-energy acquiring unit 123, the unusable period excluding unit 124, the auto-speech transcription portion 13, the utterance acquiring unit 131, the auto-speech transcription unit 132, the voice creating portion 14, the feature amount acquiring unit 141, the phone information acquiring unit 142, the morpheme analysis unit 143, the voice creating unit 144, and the voice accumulating portion 15 may be realized typically as an MPU, a memory, or the like.  Typically, the processing procedure of the audio file acquiring unit 112 and the like is realized using software, and the software is stored in a storage medium such as a ROM.  Note that the processing procedure may be realized also using hardware (a dedicated circuit).
Next, an operation of the voice creating apparatus 1 will be described with reference to the flowchart in FIG. 2.
[0061]    (Step S201) The audio file acquiring portion 11 acquires one or more audio files.  This audio file acquiring process will be described with reference to the flowchart in FIG. 3.
[0062]    (Step S202) The speech activity detection portion 12 substitutes 1 for a counter i.
[0063]    (Step S203) The speech activity detection portion 12 judges whether or not an ith audio file is present.  If the ith audio file is present, the procedure advances to step S204, and, if not, the process ends.
[0064]    (Step S204) The speech activity detection portion 12 detects speech data from the ith audio file.  This speech activity detection process will be described with reference to the flowchart in FIG. 4.
[0065]    (Step S205) The utterance acquiring unit 131 of the auto-speech transcription portion 13 acquires one or more utterances from the speech data acquired in step S204.  The utterance is speech data in the unit of an utterance.  The utterance acquiring process will be described with reference to the flowchart in FIG. 5.
[0066]    (Step S206) The auto-speech transcription unit 132 substitutes 1 for a counter j.
[0067]    (Step S207) The auto-speech transcription unit 132 judges whether or not a jth utterance is present.  If the jth utterance is present, the procedure advances to step S208, and, if not, the procedure advances to step S212.
[0068]    (Step S208) The auto-speech transcription unit 132 performs an auto-speech transcription process on the speech data of the jth utterance, and acquires text information.  The text information typically has information on text and pronunciation.
[0069]    (Step S209) The voice creating portion 14 creates a voice.  This voice creating process will be described with reference to the flowchart in FIG. 6.
[0070]    (Step S210) The voice accumulating portion 15 accumulates the voice created in step S209 in the voice storage portion 16.
[0071]    (Step S211) The auto-speech transcription unit 132 increments the counter j by 1, and the procedure returns to step S207.
[0072]    (Step S212) The speech activity detection portion 12 increments the counter i by 1, and the procedure returns to step S203.
[0073]    Next, the audio file acquiring process in step S201 will be described with reference to the flowchart in FIG. 3.  This audio file acquiring process is a process that acquires one or more audio files from one or more web server apparatuses.
[0074]    (Step S301) The audio file acquiring unit 112 of the audio file acquiring portion 11 judges whether or not one or more URLs have been accepted.  If one or more URLs have been accepted, the procedure advances to step S302, and, if not, the procedure returns to step S301.
[0075]    (Step S302) The audio file acquiring unit 112 substitutes 1 for a counter i.
[0076]    (Step S303) The audio file acquiring unit 112 judges whether or not an ith URL is present in the URLs accepted in step S301.  If the ith URL is present, the procedure advances to step S304, and, if not, the procedure advances to step S308.
[0077]    (Step S304) The audio file acquiring unit 112 acquires a document group corresponding to the ith URL.  The document group is one or more documents.
[0078]    (Step S305) The audio file acquiring unit 112 selects one or more audio files in which the extension of the document in the document group acquired in step S304 is any one of the extensions stored in the extension storage unit 111, from the document group.
[0079]    (Step S306) The audio file acquiring unit 112 accumulates the audio file selected in step S305 in a storage medium (not shown).
[0080]    (Step S307) The audio file acquiring unit 112 increments the counter i by 1, and the procedure returns to step S303.
[0081]    (Step S308) The format converting unit 113 substitutes 1 for a counter i.
[0082]    (Step S309) The format converting unit 113 judges whether or not an ith file is present in the files accumulated in step S306.  If the ith file is present, the procedure advances to step S310, and, if not, the procedure returns to the upper-level processing.
[0083]    (Step S310) The format converting unit 113 converts the format of the ith audio file into a predetermined format.  Here, if the format of the ith audio file is the predetermined format, no operation is performed in this step.
[0084]    (Step S311) The low-sampling rate file discarding unit 114 acquires a sampling rate of the ith file.
[0085]    (Step S312) The low-sampling rate file discarding unit 114 judges whether or not the sampling rate acquired in step S311 is lower than a threshold (e.g., 16 kHz).  If the sampling rate is lower than the threshold, the procedure advances to step S318, and, if the sampling rate is the threshold or higher, the procedure advances to step S313.  Here, an audio file whose sampling rate is lower than the threshold is not used.  Furthermore, it is assumed that "lower than a threshold" may be substituted by "a threshold or lower", and that "lower than a threshold" is a concept that includes "a threshold or lower".
[0086]    (Step S313) The down-sampling unit 115 judges whether or not the sampling rate acquired in step S311 is higher than the threshold.  If the sampling rate is higher than the threshold, the procedure advances to step S314, and, if the sampling rate is the same as the threshold, the procedure advances to step S315.
[0087]    (Step S314) The down-sampling unit 115 changes the sampling rate of the ith audio file into a predetermined sampling rate.  Here, this process is referred to as down-sampling.
[0088]    (Step S315) The mono-channel change unit 116 judges whether or not the ith audio file is a stereo audio file.  If the ith audio file is a stereo audio file, the procedure advances to step S316, and, if not, the procedure advances to step S317.
[0089]    (Step S316) The mono-channel change unit 116 changes the ith audio file that is a stereo audio file, into a mono-channel audio file.
[0090]    (Step S317) The format converting unit 113 increments the counter i by 1, and the procedure returns to step S309.
[0091]    (Step S318) The low-sampling rate file discarding unit 114 deletes the ith file from the storage medium.  Here, this deletion need only refer to a state where the file is not used, and the file does not have to be actually deleted.  The procedure advances to step S317.
[0092]    Here, in the flowchart in FIG. 3, there is no limitation on the order in which files specified with URLs are acquired.  For example, first, one file specified with a URL may be acquired, and, then, one or more files linked to the one file may be acquired as necessary.
[0093]    Furthermore, in the flowchart in FIG. 3, there is no limitation on the order of the format converting process, the low-sampling rate file discarding process, the down-sampling process, and the mono-channel change process.  For example, after the low-sampling rate file discarding process is performed, the format converting process may be performed.
[0094]    Next, the speech activity detection process in step S204 will be described with reference to the flowchart in FIG. 4.
[0095]    (Step S401) The segment split unit 121 of the speech activity detection portion 12 splits the audio file that is to be processed into segments having a predetermined time frame.
[0096]    (Step S402) The silent period judging unit 122 substitutes 1 for a counter i.
[0097]    (Step S403) The silent period judging unit 122 judges whether or not an ith segment is present in the segments acquired in step S401.  If the ith segment is present, the procedure advances to step S404, and, if not, the procedure advances to step S408.
[0098]    (Step S404) The silent period judging unit 122 judges whether or not the ith segment is a silent segment.  If the ith segment is silent, the procedure advances to step S405, and, if not, the procedure advances to step S406.
[0099]    (Step S405) The silent period judging unit 122 writes a silent segment flag indicating that the segment is silent, to the ith segment, and the procedure advances to step S407.
[0100]    (Step S406) The silent period judging unit 122 writes a non-silent segment flag indicating that the segment is not silent, to the ith segment.
[0101]    (Step S407) The silent period judging unit 122 increments the counter i by 1, and the procedure returns to step S403.
[0102]    (Step S408) The silent period judging unit 122 substitutes 1 for a counter i.
[0103]    (Step S409) The silent period judging unit 122 judges whether or not an ith silent segment group is present.  If the ith silent segment group is present, the procedure advances to step S410, and, if not, the procedure advances to step S413.  Here, the ith silent segment group is an ith group of successively arranged silent segments.
[0104]    (Step S410) The silent period judging unit 122 judges whether or not the ith silent segment group has a length of a threshold or more.  If the ith silent segment group has a length of the threshold or more, the procedure advances to step S411, and, if not, the procedure advances to step S412.
[0105]    (Step S411) The silent period judging unit 122 judges that the ith silent segment group is a silent period, and writes a flag indicating that the ith silent segment group is a silent period, to the segment group.
[0106]    (Step S412) The silent period judging unit 122 increments the counter i by 1, and the procedure returns to step S409.
[0107]    (Step S413) The log-energy acquiring unit 123 substitutes 1 for a counter i.
[0108]    (Step S414) The log-energy acquiring unit 123 judges whether or not an ith non-silent period is present.  If the ith non-silent period is present, the procedure advances to step S415, and, if not, the procedure returns to the upper-level processing.  Here, a non-silent period is a period that is not a silent period.  A non-silent period is a group of segments disposed between silent periods.
[0109]    (Step S415) The log-energy acquiring unit 123 selects a segment having a minimal log-energy among segments in the ith non-silent period, and acquires the log-energy of the segment.
[0110]    (Step S416) The unusable period excluding unit 124 judges whether or not the log-energy acquired in step S415 is a threshold or more.  If the log-energy is the threshold or more, the procedure advances to step S417, and, if the log-energy is less than the threshold, the procedure advances to step S418.
[0111]    (Step S417) The unusable period excluding unit 124 discards the ith non-silent period.  Here, this discarding is a process that sets the ith non-silent period so as not to be used, and the ith non-silent period does not absolutely have to be discarded.  Furthermore, the ith non-silent period is a music data period, a noise period, or the like, and cannot be used to build a voice.
[0112]    (Step S418) The log-energy acquiring unit 123 increments the counter i by 1, and the procedure returns to step S414.
[0113]    Here, in the flowchart in FIG. 4, only usable speech data is left.  It is assumed that the silent segment flag has been written to the speech data.
[0114]    Next, the utterance acquiring process in step S205 will be described with reference to the flowchart in FIG. 5.
[0115]    (Step S501) The utterance acquiring unit 131 of the auto-speech transcription portion 13 substitutes 1 for a counter i.
[0116]    (Step S502) The utterance acquiring unit 131 judges whether or not an ith non-silent period is present in the file that is to be processed.  If the ith non-silent period is present, the procedure advances to step S503, and, if not, the procedure returns to the upper-level processing.
[0117]    (Step S503) The utterance acquiring unit 131 acquires a longest pause in the ith non-silent period.  Here, the pause is a group of successively arranged silent segments, and is a period that is not as long as the above-described silent period.
[0118]    (Step S504) The utterance acquiring unit 131 builds a bi-branch tree in which the longest pause acquired in step S503 is a root node, from the ith non-silent period.  Here, nodes of this bi-branch tree are groups of successively arranged silent segment, and segment groups more than a predetermined value (e.g., 300 ms).  Furthermore, branches are periods of non-silent utterances.
[0119]    (Step S505) The utterance acquiring unit 131 recognizes a sentence ending word (e.g., the sounds "desu", "masu", "deshita"， and "dearu" in Japanese) as an utterance break.  Here, for example, it s assumed that the auto-speech transcription unit 132 performs the auto-speech transcription process on the ith non-silent period.
[0120]    (Step S506) The utterance acquiring unit 131 splits the bi-branch tree into subcut trees having a length of less than 5 seconds.  These subcut trees are segments of utterances.
[0121]    (Step S507) The utterance acquiring unit 131 increments the counter i by 1, and the procedure returns to step S502.
[0122]    Here, in the flowchart in FIG. 5, speech data can be split into one or more utterances.  Furthermore, in the flowchart in FIG. 5, it will be appreciated that the utterance split method may be other methods.
[0123]    Next, the voice creating process in step S209 will be described with reference to the flowchart in FIG. 6.
[0124]    (Step S601) The feature amount acquiring unit 141 of the voice creating portion 14 acquires one or more feature amounts, which are speech parameters, from speech data of a target utterance.
[0125]    (Step S602) The phone information acquiring unit 142 acquires one or more pieces of phone information, which are pieces of information on one or more pieces of phones, from a result of the auto-speech transcription performed on the target utterance.  The phone information is, for example, mono-phone labels.
[0126]    (Step S603) The morpheme analysis unit 143 performs morpheme analysis on the text information resulting from the auto-speech transcription performed on a target utterance, and acquires context information.  The context information is, for example, full context labels.
[0127]    (Step S604) The voice creating unit 144 creates a voice using the one or more feature amounts acquired in step S601, the one or more pieces of phone information acquired in step S602, and the context information acquired in step S603.
[0128]    (Step S605) The voice accumulating portion 15 substitutes 1 for a counter i.
[0129]    (Step S606) The voice accumulating portion 15 judges whether or not an ith class is present.  If the ith class is present, the procedure advances to step S607, and, if not, the procedure advances to step S611.  Here, the class is a class constituted by similar speakers, and also referred to as a speaker class.
[0130]    (Step S607) The voice accumulating portion 15 acquires a feature amount of the ith class.
[0131]    (Step S608) The voice accumulating portion 15 compares the feature amount of the ith class acquired in step S607 and the one or more feature amounts acquired in step S601, and judges whether or not they are similar to each other.  If they are similar to each other, the procedure advances to step S609, and, if not, the procedure advances to step S610.  Here, for example, if the distance between two feature amount vectors is within a threshold, the voice accumulating portion 15 may judge that the two feature amount vectors are similar to each other.
[0132]    (Step S609) The voice accumulating portion 15 accumulates the voice created in step S604 as a voice in the ith class, and the procedure returns to the upper-level processing.
[0133]    (Step S610) The voice accumulating portion 15 increments the counter i by 1, and the procedure returns to step S606.
[0134]    (Step S611) The voice accumulating portion 15 create a new class.  Here, the creation of a new class is, for example, securing of a buffer in which a voice is accumulated, and registration of one or more feature amounts of the voice.
[0135]    (Step S612) The voice accumulating portion 15 accumulates the voice created in step S604 as a voice in the new class, and the procedure returns to the upper-level processing.
[0136]    Hereinafter, a specific operation of the voice creating apparatus 1 in this embodiment will be described.  FIG. 7 is a diagram showing the concept of the voice creating apparatus 1.  As shown in FIG. 7, in the voice creating apparatus 1, the audio file acquiring portion 11 amasses audio files from the Web (71 of FIG. 7).  Then, the speech activity detection portion 12 detects speech data excluding noise and music from the audio files (72).  Then, a web-based speech corpus is obtained (73).  Next, the auto-speech transcription portion 13 performs auto-speech transcription (74).  Then, text information is obtained (75).  Next, the voice creating portion 14 creates HMM voices using the text information and the speech corpus (76).
[0137]    Hereinafter, a specific example of the various processes in FIG. 7 will be described.  First, the audio file acquiring portion 11 uses wget(software) to develop a simple crawler to retrieve audio contents from the Internet.  The web audio files have varied codecs and sampling rates.  A tool called FFmpeg(http://ffmpeg.org/.) is used to perform the format conversion by:
(1)Converting all codec varieties to linear PCM.
(2)Down-sampling audio data to 16k Hz but discarding those data which sampling rate of less than 16k Hz.
(3)Converting stereo, if present, to mono-channel.
[0138]    Next, the speech activity detection portion 12 detects speech data from one or more audio files as follows.  First, the segment split unit 121 of the speech activity detection portion 12 splits an audio file that is to be processed into segments having a predetermined time frame (20 ms).  Next, the silent period judging unit 122 determines whether each of the segments is silent or non-silent, using the Gaussian mixture model (GMM) likelihood, the log-energy, the meaning of the file, and the zero-cross.  Here, if the zero-cross has a speed of a threshold or more (short time frame), it is judged that the segment is a noise segment.
[0139]    Next, the silent period judging unit 122 judges whether or not a silent segment group has a length of a threshold (80 ms in this example) or more.  Then, the silent period judging unit 122 judges a silent segment group having a length of 80 ms or more to be a silent period.
[0140]    Next, the unusable period excluding unit 124 determines whether or not a non-silent period that is not a silent period is usable as follows.  First, the log-energy acquiring unit 123 selects a segment having a minimal log-energy among segments in each non-silent period, and acquires the log-energy of the segment.  Next, the unusable period excluding unit 124 judges whether or not the acquired log-energy is a threshold or more.  If the acquired log-energy is the threshold or more, the unusable period excluding unit 124 judges not to use the non-silent period.  Here, the threshold is determined with, for example, the log-energy of /p/, /b/, or the like.  In this manner, a web-based speech corpus is built.
[0141]    With the above-described processes, usable segment groups are left.  FIG. 8 is a diagram showing the concept of a processing result of the speech activity detection portion 12.  FIG. 8 shows an example in which one audio file is split into silent periods, unusable periods such as noise and music periods, and non-silent periods that can be used to build a voice.  In FIG. 8, the first half is an silent period or an unusable period that cannot be used, and the second half is a non-silent period.  Furthermore, in the non-silent period, three pauses are present.
[0142]    Next, the auto-speech transcription process performed by the auto-speech transcription portion 13 will be described.  Here, the text information is necessary to build a voice.
[0143]    First, the utterance acquiring unit 131 of the auto-speech transcription portion 13 extracts two or more utterances from speech data, for example, using a silent segment group having a length of 300 ms or more as an utterance break.  Here, the algorithm for providing speech data with an utterance break may be other algorithms.
[0144]    Next, the auto-speech transcription unit 132 performs an auto-speech transcription process on each utterance, and acquires text information and phone-time information.  FIG. 9 shows an example of the text information.  In FIG. 9, 91 denotes an audio file identifier for identifying an audio file, 92 denotes an utterance identifier for identifying an utterance, 93 denotes a start time (seconds) of the utterance, 94 denotes an end time (seconds) of the utterance, and 95 denotes text resulting from the auto-speech transcription.
[0145]    FIG. 10 shows an example of the phone-time information.  In FIG. 10, 101 denotes an utterance identifier.  The phone information identified with each utterance identifier is a group of data (phone, start time, and duration).  That is to say, 102 denotes a phone, 103 denotes a start time, and 104 denotes a duration (the time from the start to the end).  Here, the phone-time information is also referred to as phone-time alignment information.
[0146]    Next, the voice creating portion 14 creates a voice as follows.  First, the feature amount acquiring unit 141 of the voice creating portion 14 acquires one or more feature amounts from each utterance.  Here, the feature amount acquiring unit 141 acquires 24-order mel-cepstrum, F0 (fundamental frequency), and their first and second differentials.
[0147]    Next, the phone information acquiring unit 142 acquires phone information from the phone-time information (see FIG. 10) resulting from the auto-speech transcription performed on a target utterance.  FIG. 11 shows an example of the phone information.  FIG. 11 shows mono-phone labels.  In FIG. 11, 1101 denotes a start time, 1102 denotes an end time, and 1103 denotes a phone.  The phone "sil" denotes "silent".  Here, the phone information can be obtained from the phone-time information.
[0148]    Next, the morpheme analysis unit 143 performs morpheme analysis on the text information resulting from the auto-speech transcription performed on a target utterance, and acquires context information.  Here, the context information contains accent information.  The context information acquired by the morpheme analysis unit 143 is also referred to as full context labels.  FIG. 12 shows an example of the context information.  Here, 1201 in FIG. 12 denotes an utterance identifier.  Furthermore, in FIG. 12, each morpheme has information on part-of-speech, reading, accent, and the like.  In FIG. 12, "Pos" denotes part-of-speech, "Kana" denotes reading, "Accent=1" denotes a word accent of Type 1, and "BoundaryType" denotes the type of phrase relationship before and after a phrase boundary.  More specifically, "BoundaryType" can be, for example, presence or absence of dependent relationship in the case of Japanese.  Furthermore, "ConjugateType" denotes a conjugation type.  More specifically, "ConjugateType" can be, for example, tense, mood, and active/passive voices of regular and irregular verbs, in the case of Japanese.  Furthermore, "ConjugateForm" denotes a conjugation form.  More specifically, "ConjugateForm" can be, for example, continuative stem, negative stem, conclusive and simple present forms of verbs in the case of Japanese.  Next, the voice creating unit 144 modulates the context information (FIG. 12), and obtains the information shown in FIG. 13.  The information in FIG. 13 is also the context information.  The information in FIG. 13 is also referred to as full context labels.  Furthermore, the information in FIG. 13 has a data structure that can be used by the voice creating unit 144 as it is.  In a third record in FIG. 13, for example, "sil^m_a+z=u" indicates that a phone two positions before the current position is "sil", a previous phone is "m", a current phone is "a", its next phone is "z", and its next phone is "u".  "A:0+1+2" is coding accent core position and the current phone location at current prosodic word and prosodic phrase.  "B:xx_xx#xx_xx" is coding part-of-speech type of previous word and its variation.  "C:5000000_xx!xx_xx" is coding part-of-speech type of current word and its variation.  "D:1030000_xx;xx_3" is coding part-of-speech type of next word and its variation.  "E:xx_xx$xx_xx<xx_xx" is coding previous prosodic word, including length, accent type, and whether there exists a pause or not.  "F:2_1_0@1_6|1_23>0_xx" is coding current prosodic word, including its length and accent type as well as its location within current prosodic phrase counted according to both prosodic word and mora units.  "G:2_1%0_0[0_xx" is coding next prosodic word, including its length, accent type, and whether there exists a pause or not.  "H:xx_xx" is coding previous prosodic phrase length counted in numbers of prosodic words and moras.  "I:6-23@1+1&1-6|1+23" is coding current prosodic phrase length counted in numbers of prosodic words and moras and its position within the sentence counted from the beginning and the end.  "J:xx_xx" is coding next prosodic phrase length counted in numbers of prosodic words and moras.  "K:1+6]23-0" is coding the sentence length counted in numbers of prosodic phrases and words as well as moras.
[0149]    Next, the voice creating unit 144 creates an HMM voice by providing an HTS (see Tokuda, K. et al.) with the one or more feature amounts, the context information (see FIG. 13), and the phone information (see FIG. 11).  Next, the voice accumulating portion 15 accumulates the created voice.
[0150]    Hereafter, it explains the outcome of an experiment.  Four experiments are conducted for evaluating this approach.  Experiment 1 investigates audio contents on the Internet.  Experiment 2 evaluates speech activity detection to deal with the complexity of the contents, like unknown noise and music.  Experiment 3 builds several HMM voices by using audio web contents, focusing particularly on web radio monologues for simplification.  Experiment 4 examines the influences of the word and phone errors in automatic speech transcription on HMM voice quality.
Experiment 1
[0151]    To investigate the complexity of audio contents on the Internet, we use a simple crawler to automatically collect around 2,000 hours of audio content from the Internet for research purposes.  Most of the collected data are from voice blogs and web radio.  It is a fact that rich speech resources are available on the Internet and the amassing of spoken documents is rapidly increasing.  We take a deep look at part of the collected audio contents.  Generally speaking, they are rather complicated in comparison with high-quality laboratory speech.  This complexity covers the following aspects.
? Uncalled music/background music and noise
? Unavailable prompt text and languages spoken
? Unknown speaker number and speaking styles in a file
? Various recording environments, compression formats like MP3, WMA (Windows media audio), and sampling rates
? Unknown category of monologue or conversation among several speakers sometimes in more than one language.
All these issues are substantial challenges in the effective application of web audio contents, instead of conventional high quality speech, for creating HMM voices.
[0152]    According to FIG. 14, 99.9% of the audio data must be decoded.  This means that synthetic speech quality can be somewhat degraded when using the decoded contents to build HMM voices.  Fortunately, 99.9% were at a good sampling rate.  Also, most audio files are long lasting from several minutes to hours.  Therefore, automatic utterance segmentation is indispensable.
Experiment 2
[0153]    Two subsets of audio samples are used in this experiment; one includes 23.58 hours of web radio content, the other includes 2.48 hours of labeled web radio data covering around 15 (talking for a long time) speakers.  Pauses including breathing noises are labeled by a person for the latter.  All the audio files are analyzed at 20 ms frames as 13 static cepstral coefficients and a log-energy coefficient by using the advanced front-end feature extraction algorithm.  Around half the labeled pause and breathing noise samples are used to train GMMs with 25, 50, and 100 mixtures.  In a preliminary experiment, we select the 50-mixture GMM for the experiments.
We conduct two experiments to evaluate speech activity detection.  One of these is to break the 2.48-hour web radio content into silent and non-silent segments.  We evaluate the resultant segments by simply comparing them with the labeled pauses.  The accuracy of pause location detection is 94.62%, and the insertion and deletion errors are 7.48%.  It should be noted that the precision might be somewhat degraded if taking into account real pause length beside the pause locations.
The other experiment is conducted on the 23.58-hour web radio content to detect unusable segments.  When the length of accumulated unusable segments exceeds a predefined length (e.g., 5 seconds), the segments are discarded.  FIG. 15 shows the experimental results.  This figure clearly shows that at least one-third of the web audio data have to be discarded, mostly due to background noise and music.  Considerable unusable speech also exists, as shown in the right-hand pie by "Others" including chat, speaker overlapping, and laughter.  Our analysis shows that 99.5% of the music segments were detected from the audio data, but only a small part of the speaker's overlapping could be successfully detected.  The issue persists as to how to select usable utterances from complicated web audio contents.  We therefore use radio monologue speech (basically one speaker involved in a speech file) to build HMM voices as a first step.
Experiment 3
We use a subset of Japanese web radio monologue files, containing music and noise, covering 12 speakers (four female and eight male) to evaluate the proposed approach.  The amount of speech data for building HMM voices varies from 4.24 to 78.42 minutes.  The acoustic parameters are 24-order static mel-cepstrum and delta, as well delta delta, with frame length of 5 ms, and the HMM is 5-states, from left to right, without skipping.  We built 14 voices.  Two speakers have double HMM voices since more data were amassed from the Internet after building the voices.  Upon first impression, most of the speech synthesis experts who heard the synthetic speech samples of these web radio-based HMM voices commented that the voice quality was better than expected.  Even using limited radio speech samples, such as less than five minutes, the HMM voice also sounds quite good.  We conducted a listening test composed of three Japanese sentences (open test) to evaluate these HMM voices.  There were 42 (= 3 ? 14) stimuli.  Four listeners (three Japanese native speakers) took part in the test.  The synthetic speech samples were played through headphones to the listeners in random order in a silent office.  The listeners were asked to use a five-point scale to score each stimulus after listening: 1 (bad), 2 (poor), 3 (fair), 4 (good), and 5 (excellent or indistinguishable from human speech).  FIG. 16 displays the experiment's results.  Two observations can be made from FIG. 16.  First, most of the 14 HMM voices achieve quite good mean opinion score (MOS) values.  Three voices reach a fair level but two voices are near bad.  Second, the web-based HMM voice quality is very slowly improved when increasing the training data.  In the case of female speaker 2, for example, the training data increased 10 times, but the MOS value only increased around 0.7.  A similar phenomenon appeared with male speaker 6.  Roughly speaking, there is a slight linear relationship between the voice quality and the amount of training data at the log-scale.  Two main factors influence the web-based HMM voice quality.  One is the original signal quality of web radio data themselves.  Most of the radio data were recorded in ordinary environments.  They also suffered from the effect of decoding distortion.  The other is the word and phone errors caused by the automatic speech transcription.
Experiment 4
To examine the influences on HMM voice quality of phone and word errors in the transcripts, we designed the following experiment.  We took two subsets of 450 utterances (one male and one female speaker) from an in-house speech corpus.  We adopted the subsets because their prompt text and phones were checked by humans and the speech was recorded in a soundproof room.  We used the same toolkit as mentioned above to transcribe the two subsets with varied beam search width, thus yielding varied word and phone accuracies.  Since some beam width is not reasonable, several utterances could not be fully recognized.  We therefore randomly selected 19.5 minutes of data from each set to build HMM voices, using the same way as with the web-based HMM voices.  Consequently, we obtained 24 HMM voices (12 each for male and female).  We take a listening test composed of two sentences (open test) to evaluate the voice quality by the same listeners as mentioned above.  
FIG. 17 displays the relations between MOS and the phone accuracy of speech transcription of the speech data used for building the HMM voices.  The filled circle and square on the upper right corner indicate the results for the HMM voices with the "correct" transcripts.  FIG. 18 shows the relations between phone and word accuracies obtained in this experiment.
There is a clear relationship between the accuracies and corresponding HMM voice quality.  The common utterances for each voice are 13.2% of the 19.5-minute training data.  This may be the main reason for the MOS values locally waving in FIG. 17.  From this experiment, we can see that, in order to achieve fair voice quality at MOS 3, phone accuracy must be over 80% and word accuracy above 50%.
Look back at the second observation above about the web radio-based HMM voice quality.  The phone and word accuracies in most sets of transcripts of the web radio monologues are probably less than 80% and 50%, respectively, because the web radio data were not recorded in a soundproof room and their contents are in the open domain; the language model used in the toolkit was built from the travel conversation domain.  This may be the main reason that the web radio-based HMM voice quality slowly improves even if there is rapidly increasing training data.  High speech transcription performance is greatly important for achieving good web-based HMM voice quality.
[0154]    As described above, according to this embodiment, voices can be automatically built.  Furthermore, according to this embodiment, a file extension is specified for specifying audio files from web files, and, thus, audio files can be easily specified, and voices can be automatically and precisely built.  Furthermore, according to this embodiment, a uniform audio file format is used, low-sampling rate files are discarded, and stereo audio files are changed into mono-channel files, and, thus, voices can be automatically and precisely built.  Since noise files, music files, and the like are not used, voices can be automatically and precisely built.  Furthermore, according to this embodiment, voices are created in the unit of an utterance, and, thus, voices can be automatically and precisely built.  Furthermore, according to this embodiment, voices can be automatically and precisely built for each speaker class, and, thus, voices having a high utility value can be built.
[0155]    Moreover, the process in this embodiment may be realized using software.  The software may be distributed by software download or the like.  Furthermore, the software may be distributed in a form where the software is stored in a storage medium such as a CD-ROM.  Note that the same is applied to other embodiments described in this specification.  The software that realizes the voice creating apparatus in this embodiment may be the following sort of program.  Specifically, this program is a program for causing a computer to function as: an audio file acquiring portion that acquires at least one audio file from at least one server apparatus in which at least one file including an audio file is stored; a speech activity detection portion that detects at least one piece of speech data excluding data that satisfies a predetermined condition and that is not used to build a voice, from the at least one audio file; an auto-speech transcription portion that performs auto-speech transcription on each of the at least one piece of speech data detected by the speech activity detection portion, and acquires at least one piece of text information resulting from the auto-speech transcription and having at least one piece of text; a voice creating portion that creates a voice from at least one piece of speech information having each of the at least one piece of speech data and each of the at least one piece of text information corresponding to the speech data; and a voice accumulating portion that accumulates the voice.
[0156]    Furthermore, in this program, it is preferable that the audio file acquiring portion comprises: an extension storage unit in which at least one predetermined audio file extension can be stored; and an audio file acquiring unit that acquires at least one audio file having any one of the at least one extension, from the at least one server apparatus.
[0157]    Furthermore, in this program, it is preferable that the audio file acquiring portion comprises: a format converting unit that converts a format of an audio file that is not a predetermined audio file format into the predetermined audio file format; a low-sampling rate file discarding unit that, in a case where a sampling rate of the audio file is lower than a threshold, discards the audio file having the sampling rate; a down-sampling unit that, in a case where a sampling rate of the audio file is higher than the threshold, changes the audio file having the sampling rate so as to have the threshold sampling rate; and a mono-channel change unit that, in a case where the audio file is a stereo audio file, changes the audio file into a mono-channel audio file.
[0158]    Furthermore, in this program, it is preferable that the speech activity detection portion comprises: a segment split unit that splits each of the at least one audio file into segments having a predetermined time frame; a silent period judging unit that judges whether or not each of at least two segments acquired by the segment split unit is silent, and distinguishes a silent period having an at least predetermined number of successively arranged silent segments and a non-silent period having audio; a log-energy acquiring unit that acquires a log-energy of a segment having a minimal log-energy, among segments of a non-silent period having at least two segments, with respect to each of the at least one non-silent period excluding the silent period; and an unusable period excluding unit that, in a case where the log-energy acquired by the log-energy acquiring unit is larger than a predetermined threshold, regards the period having the log-energy as an unusable non-silent period, and excludes the non-silent period; and the speech activity detection portion segments each of the at least one audio file into a non-silent period, a silent period, and an unusable period.
[0159]    Furthermore, in this program, it is preferable that the auto-speech transcription portion comprises: an utterance acquiring unit that splits each of the at least one piece of speech data detected by the speech activity detection portion into at least one utterance using a silent period between non-silent periods, and acquires at least one utterance: and an auto-speech transcription unit that performs auto-speech transcription on each of the at least one utterance, and acquires, for each utterance, text information resulting from the auto-speech transcription and having text, a phone label, and phone-time alignment information.
[0160]    Furthermore, in this program, it is preferable that the voice creating portion comprises: a feature amount acquiring unit that acquires at least one feature amount, which is an acoustic parameter of the speech data contained in the at least one piece of speech information, from the speech data; a phone information acquiring unit that acquires at least one piece of phone information, which is information on at least one phone constituting the speech data contained in the at least one piece of speech information, from the speech data; a morpheme analysis unit that performs morpheme analysis on the text information contained in the at least one piece of speech information, and acquires context information; and a voice creating unit that creates a voice using the at least one feature amount, the at least one piece of phone information, and the context information.
[0161]    Furthermore, in this program, it is preferable that the voice creating unit creates a voice for each group of at least one piece of speech information having the at least one feature amount acquired by the feature amount acquiring unit similar enough to match a predetermined condition, and the voice accumulating portion accumulates a voice for each speaker class created by the voice creating unit.
[0162]    Embodiment 2
[0163]    In this embodiment, a speech translation apparatus will be described that can perform speech translation using a voice matching speech of a speaker, among the voices built in Embodiment 1.
[0164]    FIG. 19 is a block diagram of a speech translation apparatus 2 in this embodiment.  The speech translation apparatus 2 is provided with a voice storage portion 21, an accepting portion 22, an auto-speech transcription portion 23, a mechanical translation portion 24, a speech synthesis portion 25, an output portion 26, a feature amount acquiring portion 27, and a voice determining unit 28.
[0165]    In the voice storage portion 21, each of the two or more voices created by the voice creating apparatus 1 of Embodiment 1 and feature amount information, which is information relating to one or more feature amounts, are stored in association with each other.  In the voice storage portion 21, the two or more voices created by the voice creating apparatus 1 are stored.  In the voice storage portion 21, voices are preferably stored for each speaker class.  Furthermore, in this case, in the voice storage portion 21, feature vectors corresponding to speaker classes are also stored.  Here, the speaker classes may be two classes consisting of male and female classes, or may be several classes depending on sex, age, or the like.
[0166]    The accepting portion 22 accepts speech in a source language from a user.  Furthermore, the accepting portion 22 may accept information for specifying a voice and speech in a source language.  An input unit of speech is, for example, a microphone.
[0167]    The auto-speech transcription portion 23 performs auto-speech transcription on the speech accepted by the accepting portion 22, and acquires text.
[0168]    The mechanical translation portion 24 translates the text into a target language, and acquires a translation result.
[0169]    The speech synthesis portion 25 performs speech synthesis on the translation result using the voice determined by the voice determining unit 28 (described later).  Furthermore, the speech synthesis portion 25 may perform speech synthesis on the translation result using the voice specified with the information accepted by the accepting portion 22.
[0170]    The output portion 26 outputs a result of the speech synthesis.  Here, the accepting portion 22, the auto-speech transcription portion 23, the mechanical translation portion 24, the speech synthesis portion 25, and the output portion 26 are known arts.
[0171]    The output is typically output of speech from a loudspeaker.  Here, output is a concept that includes transmission to an external apparatus (a loudspeaker, etc.), accumulation in a storage medium, and delivery of a processing result to another processing apparatus or another program.
[0172]    The output portion 26 may be considered to include or not to include an output device such as a loudspeaker.  The output portion 26 may be realized as driver software for an output device, or a combination of driver software for an output device and the output device.
[0173]    The feature amount acquiring portion 27 acquires one or more feature amounts from the speech.
[0174]    The voice determining unit 28 determines a voice used for speech translation from the voice storage portion 21, based on the one or more feature amounts.  The voice determining unit 28 selects, from the voice storage portion 21, a voice corresponding to a feature amount vector most similar to the one or more feature amounts acquired by the feature amount acquiring portion 27.
[0175]    The voice storage portion 21 is preferably a non-volatile storage medium, but may be realized also as a volatile storage medium.  There is no limitation on the procedure in which a voice is stored in the voice storage portion 21.
The auto-speech transcription portion 23, the mechanical translation portion 24, the speech synthesis portion 25, the feature amount acquiring portion 27, and the voice determining unit 28 may be realized typically as an MPU, a memory, or the like.  Typically, the processing procedure of the auto-speech transcription portion 23 and the like is realized using software, and the software is stored in a storage medium such as a ROM.  Note that the processing procedure may be realized also using hardware (a dedicated circuit).
[0176]    Next, an operation of the speech translation apparatus 2 will be described with reference to the flowchart in FIG. 20.
[0177]    (Step S2001) The accepting portion 22 judges whether or not speech in a source language has been accepted from a user.  If speech has been accepted, the procedure advances to step S2002, and, if not, the procedure returns to step S2001.
[0178]    (Step S2002) The feature amount acquiring portion 27 acquires one or more feature amounts from the speech accepted in step S2001.
[0179]    (Step S2003) The voice determining unit 28 substitutes 1 for a counter i.
[0180]    (Step S2004) The voice determining unit 28 judges whether or not an ith speaker class is present.  If the ith speaker class is present, the procedure advances to step S2008, and, if not, the procedure advances to step S2005.
[0181]    (Step S2005) The voice determining unit 28 acquires a feature vector corresponding to the ith speaker class from the voice storage portion 21.
[0182]    (Step S2006) The voice determining unit 28 calculates the degree of similarity between the one or more feature amounts (feature vectors) acquired in step S2002 and the feature vector acquired in step S2005, and temporarily accumulates the degree of similarity in association with the ith speaker class.  Here, the degree of similarity is, for example, an inverse number of the distance between two vectors.  Furthermore, the degree of similarity is calculated, for example, with a decreasing function using the distance as a parameter.
[0183]    (Step S2007) The voice determining unit 28 increments the counter i by 1, and the procedure returns to step S2004.
[0184]    (Step S2008) The voice determining unit 28 acquires a voice in a speaker class with the largest degree of similarity from the voice storage portion 21.
[0185]    (Step S2009) The auto-speech transcription portion 23 performs auto-speech transcription on the speech accepted in step S2001, and acquires text.
[0186]    (Step S2010) The mechanical translation portion 24 translates the text acquired in step S2009 into a target language, and acquires a translation result.
[0187]    (Step S2011) The speech synthesis portion 25 performs speech synthesis on the translation result acquired in step S2010 using the voice acquired in step S2008, and acquires speech data.
[0188]    (Step S2012) The output portion 26 outputs speech from the speech data acquired in step S2011, and the procedure returns to step S2001.
[0189]    Here, in the flowchart in FIG. 20, the voice acquired in step S2008 may be used in the auto-speech transcription process and the mechanical translation process.
[0190]    Here, the process is terminated by powering off or an interruption to abort the process in the flowchart in FIG. 20.
[0191]    As described above, according to this embodiment, translated speech can be output in a voice similar to that of a person who has input speech in a source language.  Furthermore, for example, in the case where a man has input speech in a source language, translated speech can be output in a male voice.
[0192]    Here, in this embodiment, a user can freely select a voice.  In this case, translated speech can be output in a favorite voice.
[0193]    The software that realizes the speech translation apparatus 2 in this embodiment may be the following sort of program.  Specifically, this program is a program for causing a computer, in which at least two voices created by the voice creating apparatus 1 and feature amount information, which is information relating to at least one feature amount, are stored in association with each other in a storage medium, to function as: an accepting portion that accepts speech in a source language from a user; a feature amount acquiring portion that acquires at least one feature amount from the speech; a voice determining unit that determines a voice used for speech translation from the storage medium, based on the at least one feature amount; an auto-speech transcription portion that performs auto-speech transcription on the speech, and acquires text; a mechanical translation portion that translates the text into a target language, and acquires a translation result; a speech synthesis portion that performs speech synthesis on the translation result using the voice determined by the voice determining unit; and an output portion that outputs a result of the speech synthesis.
Furthermore, the program is a program for causing a computer, in which at least two voices created by the voice creating apparatus 1 are stored in a storage medium, to function as: an accepting portion that accepts information for specifying a voice and speech in a source language; an auto-speech transcription portion that performs auto-speech transcription on the speech, and acquires text; a mechanical translation portion that translates the text into a target language, and acquires a translation result; a speech synthesis portion that performs speech synthesis on the translation result using the voice specified with the information accepted by the accepting portion; and an output portion that outputs a result of the speech synthesis.
FIG. 21 shows the external appearance of a computer that executes the programs described in this specification to realize the voice creating apparatus and the speech translation apparatus in the foregoing embodiments.  The foregoing embodiments may be realized using computer hardware and a computer program executed thereon.  FIG. 21 is a schematic view of a computer system 340.  FIG. 22 is a block diagram of the computer system 340.
[0194]    In FIG. 21, the computer system 340 includes a computer 341 including an FD drive and a CD-ROM drive, a keyboard 342, a mouse 343, and a monitor 344.
[0195]    In FIG. 22, the computer 341 includes not only the FD drive 3411 and the CD-ROM drive 3412, but also an MPU 3413, a bus 3414 that is connected to the CD-ROM drive 3412 and the FD drive 3411, a RAM 3416 in which a command of an application program is temporarily stored and a temporary storage area is to be provided, and that is connected to a ROM 3415 in which a program such as a startup program is to be stored, and a hard disk 3417 in which an application program, a system program, and data are to be stored.  Although not shown, the computer 341 may further include a network card that provides connection to a LAN.
[0196]    The program for causing the computer system 340 to execute the functions of the voice creating apparatus and the like in the foregoing embodiments may be stored in a CD-ROM 3501 or an FD 3502, inserted into the CD-ROM drive 3412 or the FD drive 3411, and transmitted to the hard disk 3417.  Alternatively, the program may be transmitted via a network (not shown) to the computer 341 and stored in the hard disk 3417.  At the time of execution, the program is loaded into the RAM 3416.  The program may be loaded from the CD-ROM 3501 or the FD 3502, or directly from a network.
The program does not necessarily have to include, for example, an operating system (OS) or a third party program to cause the computer 341 to execute the functions of the voice creating apparatus and the like in the foregoing embodiments.  The program may only include a command portion to call an appropriate function (module) in a controlled mode and obtain the desired results.  The manner in which the computer system 340 operates is well known, and, thus, a detailed description thereof has been omitted.
[0197]    Furthermore, the computer that executes this program may be a single computer, or may be multiple computers.  More specifically, centralized processing may be performed, or distributed processing may be performed.
[0198]    Furthermore, in the foregoing embodiments, each process (each function) may be realized as an integrated process using a single apparatus (system), or may be realized as a distributed process using multiple apparatuses.
[0199]    Furthermore, in the specification and the claims, in the case where a judgment is made, for example, "more than a threshold", "larger than a threshold", and "higher than a threshold", and "a threshold or more" and "at least a threshold" may have the same meaning, and "less than a threshold", "smaller than a threshold", and "lower than a threshold", and "a threshold or less" may have the same meaning.  Furthermore, for example, "more than a predetermined value", "larger than a predetermined value", and "higher than a predetermined value", and "a predetermined value or more" and "at least a predetermined value" may have the same meaning, and "less than a predetermined value", "smaller than a predetermined value", and "lower than a predetermined value", and "a predetermined value or less" may have the same meaning.
The present invention is not limited to the embodiments set forth herein.  Various modifications are possible within the scope of the present invention.
Industrial Applicability
[0200]    As described above, the voice creating apparatus according to the present invention has an effect that this apparatus can automatically build a voice, and, thus, this apparatus is useful as a voice creating apparatus and the like installed in a speech translation apparatus.
1.    A voice creating apparatus, comprising:
an audio file acquiring portion that acquires at least one audio file from at least one server apparatus in which at least one file including an audio file is stored;
a speech activity detection portion that detects at least one piece of speech data excluding data that satisfies a predetermined condition and that is not used to build a voice, from the at least one audio file;
an auto-speech transcription portion that performs auto-speech transcription on each of the at least one piece of speech data detected by the speech activity detection portion, and acquires at least one piece of text information resulting from the auto-speech transcription and having at least one piece of text;
a voice creating portion that creates a voice from at least one piece of speech information having each of the at least one piece of speech data and each of the at least one piece of text information corresponding to the speech data; and
a voice accumulating portion that accumulates the voice.
2.    The voice creating apparatus according to claim 1, wherein the audio file acquiring portion comprises:
an extension storage unit in which at least one predetermined audio file extension can be stored; and
an audio file acquiring unit that acquires at least one audio file having any one of the at least one extension, from the at least one server apparatus.
3.    The voice creating apparatus according to claim 1 or 2, wherein the audio file acquiring portion comprises:
a format converting unit that converts a format of an audio file that is not a predetermined audio file format into the predetermined audio file format;
a low-sampling rate file discarding unit that, in a case where a sampling rate of the audio file is lower than a threshold, discards the audio file having the sampling rate;
a down-sampling unit that, in a case where a sampling rate of the audio file is higher than the threshold, changes the audio file having the sampling rate so as to have the threshold sampling rate; and
a mono-channel change unit that, in a case where the audio file is a stereo audio file, changes the audio file into a mono-channel audio file.
4.    The voice creating apparatus according to any one of claims 1 to 3,
wherein the speech activity detection portion comprises:
a segment split unit that splits each of the at least one audio file into segments having a predetermined time frame;
a silent period judging unit that judges whether or not each of at least two segments acquired by the segment split unit is silent, and distinguishes a silent period having an at least predetermined number of successively arranged silent segments and a non-silent period having audio;
a log-energy acquiring unit that acquires a log-energy of a segment having a minimal log-energy, among segments of a non-silent period having at least two segments, with respect to each of the at least one non-silent period excluding the silent period; and
an unusable period excluding unit that, in a case where the log-energy acquired by the log-energy acquiring unit is larger than a predetermined threshold, regards the period having the log-energy as an unusable non-silent period, and excludes the non-silent period; and
the speech activity detection portion segments each of the at least one audio file into a non-silent period, a silent period, and an unusable period.
5.    The voice creating apparatus according to any one of claims 1 to 4, wherein the auto-speech transcription portion comprises:
an utterance acquiring unit that splits each of the at least one piece of speech data detected by the speech activity detection portion into at least one utterance using a silent period between non-silent periods, and acquires at least one utterance; and
an auto-speech transcription unit that performs auto-speech transcription on each of the at least one utterance, and acquires, for each utterance, text information resulting from the auto-speech transcription and having text, a phone label, and phone-time alignment information.
6.    The voice creating apparatus according to any one of claims claim 1 to 5, wherein the voice creating portion comprises:
a feature amount acquiring unit that acquires at least one feature amount, which is an acoustic parameter of the speech data contained in the at least one piece of speech information, from the speech data;
a phone information acquiring unit that acquires at least one piece of phone information, which is information on at least one phone constituting the speech data contained in the at least one piece of speech information, from the speech data;
a morpheme analysis unit that performs morpheme analysis on the text information contained in the at least one piece of speech information, and acquires context information; and
a voice creating unit that creates a voice using the at least one feature amount, the at least one piece of phone information, and the context information.
7.    The voice creating apparatus according to claim 6,
wherein the voice creating unit creates a voice for each group of at least one piece of speech information having the at least one feature amount acquired by the feature amount acquiring unit similar enough to match a predetermined condition, and
the voice accumulating portion accumulates a voice for each speaker class created by the voice creating unit.
8.    A speech translation apparatus, comprising:
a voice storage portion in which at least two voices created by the voice creating apparatus according to any one of claims 1 to 7 and feature amount information, which is information relating to at least one feature amount, are stored in association with each other;
an accepting portion that accepts speech in a source language from a user;
a feature amount acquiring portion that acquires at least one feature amount from the speech;
a voice determining unit that determines a voice used for speech translation from the at least two voices stored in the voice storage portion, based on the at least one feature amount;
an auto-speech transcription portion that performs auto-speech transcription on the speech, and acquires text;
a mechanical translation portion that translates the text into a target language, and acquires a translation result;
a speech synthesis portion that performs speech synthesis on the translation result using the voice determined by the voice determining unit; and
an output portion that outputs a result of the speech synthesis.
9.    A speech translation apparatus, comprising:
a voice storage portion in which at least two voices created by the voice creating apparatus according to any one of claims 1 to 7 are stored;
an accepting portion that accepts information for specifying a voice and speech in a source language;
an auto-speech transcription portion that performs auto-speech transcription on the speech, and acquires text;
a mechanical translation portion that translates the text into a target language, and acquires a translation result;
a speech synthesis portion that performs speech synthesis on the translation result using the voice specified with the information accepted by the accepting portion; and
an output portion that outputs a result of the speech synthesis.
10.    A voice creating method realized with an audio file acquiring portion, a speech activity detection portion, an auto-speech transcription portion, a voice creating portion, and a voice accumulating portion, comprising:
an audio file acquiring step of the audio file acquiring portion acquiring at least one audio file from at least one server apparatus in which at least one file including an audio file is stored;
a speech activity detection step of the speech activity detection portion detecting at least one piece of speech data excluding data that satisfies a predetermined condition and that is not used to build a voice, from the at least one audio file;
an auto-speech transcription step of the auto-speech transcription portion performing auto-speech transcription on each of the at least one piece of speech data detected by the speech activity detection portion, and acquiring at least one piece of text information resulting from the auto-speech transcription and having at least one piece of text;
a voice creating step of the voice creating portion creating a voice from at least one piece of speech information having each of the at least one piece of speech data and each of the at least one piece of text information corresponding to the speech data; and
a voice accumulating step of the voice accumulating portion accumulating the voice.
A voice creating apparatus includes: an audio file acquiring portion that acquires at least one audio file from at least one server apparatus in which at least one file including an audio file is stored; a speech activity detection portion that detects at least one piece of speech data excluding data that satisfies a predetermined condition and that is not used to build a voice, from the at least one audio file; an auto-speech transcription portion that performs auto-speech transcription on each of the at least one piece of acquired speech data, and acquires at least one piece of text information having at least one piece of text; a voice creating portion that creates a voice from at least one piece of speech information having each of the at least one piece of speech data and each of the at least one piece of text information corresponding to the speech data; and a voice accumulating portion that accumulates the voice.
(Fig.1)
2012073280.tif 000026
Fig. 1
2012073280.tif 000027
Fig. 2
2012073280.tif 000028
Fig. 3
2012073280.tif 000029
Fig. 4
2012073280.tif 000030
Fig. 5
2012073280.tif 000031
Fig. 6
2012073280.tif 000032
Fig. 7
2012073280.tif 000033
Fig. 8
2012073280.tif 000034
Fig. 9
2012073280.tif 000035
Fig. 10
2012073280.tif 000036
Fig. 11
2012073280.tif 000037
Fig. 12
2012073280.tif 000038
Fig. 13
2012073280.tif 000039
Fig. 14
2012073280.tif 000040
Fig. 15
2012073280.tif 000041
Fig. 16
2012073280.tif 000042
Fig. 17
2012073280.tif 000043
Fig. 18
2012073280.tif 000044
Fig. 19
2012073280.tif 000045
Fig. 20
2012073280.tif 000046
Fig. 21
2012073280.tif 000047
Fig. 22