(57)【要約】【課題】入力音声に含まれる周辺言語情報を反映させた出力音声を生成可能な音声翻訳装置を提供する。【解決手段】第１言語の入力音声に対して音声認識を行った第１文字列を第１単語に分解して解析した第１言語情報第１言語情報に基づいて第１合成韻律情報を生成する第１の生成部１０４と；原韻律情報及び第１合成韻律情報を比較して、第１単語にそれぞれ対応する周辺言語情報を抽出する抽出部１０５と；第１単語と第１言語から翻訳された第２言語の第２単語とを対応付け、第２単語に第１単語に対応する周辺言語情報を割り当てるマッピング部１０８と；第１文字列から第２言語に翻訳した第２文字列を第２単語に分解して解析した第２言語情報及び周辺言語情報に基づいて第２合成韻律情報を生成する第２の生成部１０９と；第２言語情報及び第２合成韻律情報に基づいて出力音声を音声合成する音声合成部１１０と；を具備する。【選択図】図１
2009048003.tif 000002
【特許請求の範囲】
【請求項１】
第１言語の入力音声に対して音声認識を行い、第１言語の第１文字列を生成する音声認識部と、
前記入力音声の韻律を分析して原韻律情報を出力する分析部と、
前記第１文字列を第１単語に分解して解析し、第１言語情報を生成する第１の解析部と、
前記第１言語情報に基づいて第１合成韻律情報を生成する第１の生成部と、
前記原韻律情報及び前記第１合成韻律情報を比較して、前記第１単語にそれぞれ対応する周辺言語情報を抽出する抽出部と、
前記第１文字列に対して機械翻訳を行い、第２言語の第２文字列を出力する機械翻訳部と、
前記第２文字列を第２単語に分解して解析し、第２言語情報を生成する第２の解析部と、
前記第１単語と第１言語から翻訳された第２言語の第２単語とを対応付け、第２単語に第１単語に対応する前記周辺言語情報を割り当てるマッピング部と、
前記第２言語情報及び前記周辺言語情報に基づいて第２合成韻律情報を生成する第２の生成部と、
前記第２言語情報及び前記第２合成韻律情報に基づいて出力音声を音声合成する音声合成部と
を具備することを特徴とする音声翻訳装置。
【請求項２】
前記抽出部は、前記原韻律情報を正規化して前記第１単語毎に第１特徴量を算出し、前記第１合成韻律情報を正規化して前記第１単語毎に第２特徴量を算出し、前記第１特徴量及び前記第２特徴量を比較して前記第１単語毎に前記周辺言語情報を抽出することを特徴とする請求項１記載の音声翻訳装置。
【請求項３】
前記抽出部は、前記原韻律情報を正規化して前記第１単語毎に第１特徴量を算出し、前記第１合成韻律情報を正規化して前記第１単語毎に第２特徴量を算出し、前記第１特徴量及び前記第２特徴量を比較して前記第１単語毎に前記周辺言語情報を抽出し、
前記第２の生成部は、前記第２言語情報に基づいて第３合成韻律情報を生成し、前記第３合成韻律情報を正規化して前記第２単語毎に第３特徴量を算出し、前記第３特徴量を前記周辺言語情報に基づいて補正して第４特徴量を算出し、前記第４特徴量を用いて前記第２合成韻律情報を生成することを特徴とする請求項１記載の音声翻訳装置。
【請求項４】
前記周辺言語情報は、前記第１特徴量から前記第２特徴量を減じた値であり、前記第４特徴量は前記第３特徴量に前記周辺言語情報を加えた値であることを特徴とする請求項３記載の音声翻訳装置。
【請求項５】
前記マッピング部は、前記周辺言語情報が正の値である場合にのみ当該周辺言語情報を割り当てることを特徴とする請求項４記載の音声翻訳装置。
【請求項６】
前記第１特徴量は前記第１単語における前記原韻律情報の基本周波数のピーク値の線形回帰値に対する比率であり、前記第２特徴量は前記第１単語における前記第１合成韻律情報の基本周波数のピーク値の線形回帰値に対する比率であり、前記第３特徴量は前記第２単語における前記第３合成韻律情報の基本周波数のピーク値の線形回帰値に対する比率であることを特徴とする請求項３記載の音声翻訳装置。
【請求項７】
前記第１特徴量は前記第１単語における前記原韻律情報の平均パワのピーク値の線形回帰値に対する比率であり、前記第２特徴量は前記第１単語における前記第１合成韻律情報の平均パワのピーク値の線形回帰値に対する比率であり、前記第３特徴量は前記第２単語における前記第３合成韻律情報の平均パワのピーク値の線形回帰値に対する比率であることを特徴とする請求項３記載の音声翻訳装置。
【請求項８】
前記第１特徴量は前記第１単語を分解した第１音声単位における前記原韻律情報の時間長の平均値に対する比率で決まり、前記第２特徴量は前記第１音声単位における前記第１合成韻律情報の時間長の平均値に対する比率で決まり、前記第３特徴量は前記第２単語を分解した第２音声単位における前記第３合成韻律情報の時間長の平均値に対する比率で決まることを特徴とする請求項３記載の音声翻訳装置。
【請求項９】
第１言語の入力音声に対して音声認識を行い、第１言語の第１文字列を生成し、
前記入力音声の韻律を分析して原韻律情報を出力し、
前記第１文字列を第１単語に分解して解析し、第１言語情報を生成し、
前記第１言語情報に基づいて第１合成韻律情報を生成し、
前記原韻律情報及び前記第１合成韻律情報を比較して、前記第１単語にそれぞれ対応する周辺言語情報を抽出し、
前記第１文字列に対して機械翻訳を行い、第２言語の第２文字列を出力し、
前記第２文字列を第２単語に分解して解析し、第２言語情報を生成し、
前記第１単語と第１言語から翻訳された第２言語の第２単語とを対応付け、第２単語に第１単語に対応する前記周辺言語情報を割り当て、
前記第２言語情報及び前記周辺言語情報に基づいて第２合成韻律情報を生成し、
前記第２言語情報及び前記第２合成韻律情報に基づいて出力音声を音声合成する
ことを特徴とする音声翻訳方法。
【請求項１０】
コンピュータを
第１言語の入力音声に対して音声認識を行い、第１言語の第１文字列を生成する音声認識手段、
前記入力音声の韻律を分析して原韻律情報を出力する分析手段、
前記第１文字列を第１単語に分解して解析し、第１言語情報を生成する第１の解析手段、
前記第１言語情報に基づいて第１合成韻律情報を生成する第１の生成手段、
前記原韻律情報及び前記第１合成韻律情報を比較して、前記第１単語にそれぞれ対応する周辺言語情報を抽出する抽出手段、
前記第１文字列に対して機械翻訳を行い、第２言語の第２文字列を出力する機械翻訳手段、
前記第２文字列を第２単語に分解して解析し、第２言語情報を生成する第２の解析手段、
前記第１単語と第１言語から翻訳された第２言語の第２単語とを対応付け、第２単語に第１単語に対応する前記周辺言語情報を割り当てるマッピング手段、
前記第２言語情報及び前記周辺言語情報に基づいて第２合成韻律情報を生成する第２の生成手段、
前記第２言語情報及び前記第２合成韻律情報に基づいて出力音声を音声合成する音声合成手段
として機能させるための音声翻訳プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識、機械翻訳及び音声合成を行って、第１言語の入力音声を第２言語の出力音声に変換する音声翻訳装置及び方法に関する。
【背景技術】
【０００２】
従来、音声翻訳装置は音声認識、機械翻訳及び音声合成の３段階の処理を行って、第１言語の入力音声を第２言語の出力音声に変換している。即ち、（ａ）第１言語の入力音声について音声認識を行って第１言語の文字列を生成し、（ｂ）第１言語の文字列について機械翻訳を行って第２言語の文字列を生成し、（ｃ）第２言語の文字列に対して音声合成を行い、第２言語の出力音声を生成する。
【０００３】
入力音声には文字列で表すことのできる言語情報の他に、発話者の強調、意図及び態度といった、韻律情報で表される情報（周辺言語情報と呼ばれる）が含まれている。しかし、この周辺言語情報は文字列で表すことができない情報であるため、音声認識の過程で失われてしまう。従って、従来の音声翻訳装置では周辺言語情報を出力音声に反映させることができない。
【０００４】
特許文献１には、入力音声を解析してアクセントが付加されている単語を抽出し、上記アクセントを出力音声中の対応する単語に付加する音声翻訳装置が記載されている。特許文献２には、入力音声に含まれる韻律情報を語順の並び替えや格助詞の使い分けによって反映させた翻訳文を生成する音声翻訳装置が記載されている。
【特許文献１】特開平６−３３２４９４号公報
【特許文献２】特開２００１−１１７９２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された音声翻訳装置では、アクセントが付加されている単語を入力音声の言語情報に基づいて解析して、翻訳文の単語にアクセントを付加しているに過ぎず、出力音声に周辺言語情報を反映させることができない。
【０００６】
特許文献２に記載された音声翻訳装置では、語順の並び替えや格助詞の使い分けによる韻律情報の表現が可能な言語に翻訳語が限られる問題がある。即ち、語順の変化の少ない欧米言語及び格助詞の無い中国語を翻訳語とする場合、特許文献２に記載された音声翻訳装置は、韻律情報を十分に表現できない。
【０００７】
従って、本発明は入力音声に含まれる周辺言語情報を反映させた出力音声を生成可能な音声翻訳装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る音声翻訳装置は、第１言語の入力音声に対して音声認識を行い、第１言語の第１文字列を生成する音声認識部と；前記入力音声の韻律を分析して原韻律情報を出力する分析部と；前記第１文字列を第１単語に分解して解析し、第１言語情報を生成する第１の解析部と；前記第１言語情報に基づいて第１合成韻律情報を生成する第１の生成部と；前記原韻律情報及び前記第１合成韻律情報を比較して、前記第１単語にそれぞれ対応する周辺言語情報を抽出する抽出部と；前記第１文字列に対して機械翻訳を行い、第２言語の第２文字列を出力する機械翻訳部と；前記第２文字列を第２単語に分解して解析し、第２言語情報を生成する第２の解析部と；前記第１単語と第１言語から翻訳された第２言語の第２単語とを対応付け、第２単語に第１単語に対応する前記周辺言語情報を割り当てるマッピング部と；前記第２言語情報及び前記周辺言語情報に基づいて第２合成韻律情報を生成する第２の生成部と；前記第２言語情報及び前記第２合成韻律情報に基づいて出力音声を音声合成する音声合成部と；を具備する。
【発明の効果】
【０００９】
本発明によれば、入力音声に含まれる周辺言語情報を反映させた出力音声を生成可能な音声翻訳装置を提供することを目的とする。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明の一実施形態について説明する。  
図１に示すように、本発明の一実施形態に係る音声翻訳装置は、音声認識部１０１、韻律分析部１０２、第１の言語解析部１０３、第１の韻律生成部１０４、周辺言語情報抽出部１０５、機械翻訳部１０６、第２の言語解析部１０７、周辺言語情報マッピング部１０８、第２の韻律生成部１０９及び音声合成部１１０を有する。
【００１１】
音声認識部１０１は、第１言語の入力音声１２０を認識して、上記入力音声１２０に最も近いらしい認識文字列１２１を出力する。本実施形態では音声認識部１０１の詳細な動作を特に限定しないが、例えば音声認識部１０１は入力音声をマイクロホンで受信し、この受信した音声信号をアナログ−デジタル変換し、デジタル音声信号から線形予測係数または周波数ケプストラム係数などの特徴量を抽出し、音響モデルを用いて音声認識を行う。上記音響モデルには例えば隠れマルコフモデルが用いられる。
【００１２】
韻律分析部１０２は、入力音声１２０を構成する各単語について、基本周波数及び平均パワの時間変化などの韻律情報を分析して、原韻律情報１２２を周辺言語情報抽出部１０５に渡す。
【００１３】
第１の言語解析部１０３は、認識文字列１２１から単語境界、品詞及び構文情報などの言語情報を解析し、第１の言語情報１２３を第１の韻律生成部１０４に渡す。第１の韻律生成部１０４は、第１の言語情報１２３を用いて第１の合成韻律情報１２４を生成して、周辺言語情報抽出部１０５に渡す。
【００１４】
周辺言語情報抽出部１０５は、原韻律情報１２２及び第１の合成韻律情報１２４を比較して、周辺言語情報１２５を抽出する。ここで、原韻律情報１２２は入力音声１２０を直接的に分析することにより得られているため、言語情報のみならず発話者の強調、意図及び態度といった周辺言語情報が含まれている。一方、第１の合成韻律情報１２４は認識文字列１２１を解析して得られる第１の言語情報１２３に基づいて生成されるが、入力音声１２０に含まれていた周辺言語情報は音声認識部１０１において認識文字列１２１に変換される際に失われている。即ち、原韻律情報１２２及び第１の合成韻律情報１２４の差異は周辺言語情報１２５に相当している。周辺言語情報抽出部１０５は上記差異に基づいて単語毎に周辺言語情報１２５を抽出し、周辺言語情報マッピング部１０８に上記周辺言語情報１２５を渡す。
【００１５】
ここで、周辺言語情報抽出部１０５は、不特定話者による入力音声に対処するため、原韻律情報１２２及び第１の合成韻律情報１２４を正規化する。例えば、周辺言語情報抽出部１０５は、原韻律情報１２２を構成する各単語について、基本周波数及び平均パワの時間変化などの韻律情報の線形回帰値に対するピーク値の比率を原韻律情報１２２の特徴量として正規化する。また、周辺言語情報抽出部１０５は、第１の合成韻律情報１２４についても同様の正規化を行う。そして、周辺言語情報抽出部１０５は各単語について、上記特徴量を比較して周辺言語情報１２５を抽出する。例えば、周辺言語情報抽出部１０５は各単語について、原韻律情報１２２を正規化して算出した特徴量から、第１の合成韻律情報１２４を正規化して算出した特徴量を減じた値を周辺言語情報１２５として抽出する。
【００１６】
機械翻訳部１０６は、認識文字列１２１を第２言語に翻訳して、翻訳文字列１２６を第２の言語解析部１０７に渡す。機械翻訳部１０６は例えば、図示しない辞書データベース、解析文法データベース及び言語変換データベースなどを利用して、認識文字列１２１の形態素解析や構文解析を行い、認識文字列１２１に対応する第２言語の翻訳文字列１２６に変換する。また、機械翻訳部１０６は認識文字列１２１を構成する各単語と、翻訳文字列１２６を構成する各単語との対応関係についても翻訳文字列１２６と共に第２の言語解析部１０７に渡す。
【００１７】
第２の言語解析部１０７は、前述した第１の言語解析部１０３と同様に、翻訳文字列１２６から単語境界、品詞及び構文情報などの言語情報を解析し、第２の言語情報１２７を周辺言語情報マッピング部１０８、第２の韻律生成部１０９及び音声合成部１１０に渡す。
【００１８】
周辺言語情報マッピング部１０８は、周辺言語情報抽出部１０５が抽出した単語毎の周辺言語情報１２５を第２言語の対応する単語に付与する。即ち、周辺言語情報マッピング部１０８は、第２の言語解析部１０７から渡された第２の言語情報１２７を参照して、認識文字列１２１を構成する第１言語の各単語と、翻訳文字列１２６を構成する第２言語の各単語との対応関係を取得する。周辺言語情報マッピング部１０８は、この対応関係に従って翻訳文字列１２６を構成する各単語に周辺言語情報１２５を割り当てる。また、周辺言語情報マッピング部１０８は、例えば第１言語の１単語が第２言語の２単語で表されるなど第１言語と第２言語の各単語が単純に１対１対応しない場合には、変換ルールを予め設けておき、この変換ルールに従って周辺言語情報１２５を割り当ててもよい。周辺言語情報マッピング部１０８は、マッピング後の周辺言語情報１２８を第２の韻律生成部１０９に渡す。
【００１９】
第２の韻律生成部１０９は、第２の言語情報１２７及び周辺言語情報１２８に基づいて第２の合成韻律情報１２９を生成する。具体的には、第２の韻律生成部１０９は第２の言語情報のみに基づいて合成韻律情報を生成し、この合成韻律情報に周辺言語情報１２８を反映させて第２の合成韻律情報１２９を生成する。例えば、前述した線形回帰値に対するピーク値の比率の差分を周辺言語情報１２８として用いているのであれば、第２の韻律生成部１０９は上記第２の言語情報のみに基づいて生成した合成韻律情報の上記比率に周辺言語情報１２８を付加して補正し、この補正された比率に基づいて第２の合成韻律情報１２９を生成する。第２の韻律生成部１０９は、第２の合成韻律情報１２９を音声合成部１１０に渡す。
【００２０】
音声合成部１１０は、第２の言語情報１２７及び第２の合成韻律情報１２９を用いて出力音声１３０を合成する。
【００２１】
次に、図２に示すフローチャートに沿って図１に示す音声翻訳装置の動作について具体的に説明する。  
まず、音声認識部１０１に音声が入力される（ステップＳ３０１）。ここでは、例えば"Today's game is wonderful."というテキストの英語音声が入力され、発話者は単語"Today's"を強調しているとする。次に、音声認識部１０１は、ステップＳ３０１において入力された音声を認識し、認識文字列１２１として文字列"Today's game is wonderful."を出力する（ステップＳ３０２）。
【００２２】
次に、図１に示す音声翻訳装置は並行処理を行う。即ち、図１に示す音声翻訳装置は、ステップＳ３０３乃至ステップＳ３０５における処理と、ステップＳ３０６における処理とを並行して行い、両処理の終了後にステップＳ３０７を行う
ステップＳ３０３では、韻律分析部１０２が入力音声１２０の韻律情報を分析する。ここでは、韻律分析部１０２入力音声を構成する各単語について、基本周波数の時間変化を分析し、原韻律情報１２２を周辺言語情報抽出部１０５に渡す。
【００２３】
次に、第１の言語解析部１０３は、認識文字列１２１から第１の言語情報１２３を解析し、第１の韻律生成部１０４に渡す。第１の韻律生成部１０４は、第１の言語情報１２３を用いて第１の合成韻律情報１２４を生成して、周辺言語情報抽出部１０５に渡す（ステップＳ３０４）。尚、ステップＳ３０３及びＳ３０４は順番を入れ替えても構わない。
【００２４】
次に、周辺言語情報抽出部１０５は、原韻律情報１２２及び第１の合成韻律情報１２４を比較して単語毎に周辺言語情報１２５を抽出する（ステップＳ３０５）。具体的には、周辺言語情報抽出部１０５は以下に説明するような手法で周辺言語情報１２５を抽出する。
【００２５】
図３は、成人男性１名が単語"Today's"を強調してテキスト"Today's game is wonderful."を発話した場合の基本周波数の分析結果を示している。図３において横軸は時刻［ｍｓ］、縦軸は基本周波数の２を底とする対数を夫々示しており、丸印で上記分析結果がプロットされると共に、上記分析結果の線形回帰直線が描かれている。図３において、上記基本周波数の線形回帰値に対するピーク値の比率（以下、第１特徴量と称する。）は、以下に示す値となる。
【表１】
2009048003.tif 000003
【００２６】
図４は、文字列"Today's game is wonderful."を解析した言語情報から女性音声を合成した場合の基本周波数の分析結果を示している。図４において横軸は時刻［ｍｓ］、縦軸は基本周波数の２を底とする対数を夫々示しており、丸印で上記分析結果がプロットされると共に、上記分析結果の線形回帰直線が描かれている。図４において、上記基本周波数の線形回帰値に対するピーク値の比率（以下、第２特徴量と称する。）は、表２に示す値となる。
【表２】
2009048003.tif 000004
【００２７】
周辺言語情報抽出部１０５は、以上のように原韻律情報１２２から得られる第１特徴量及び第１の合成韻律情報１２４から得られる第２特徴量を比較することにより、周辺言語情報１２５を抽出する。例えば、周辺言語情報抽出部１０５は表３に示すように、第１特徴量から第２特徴量を減じた値を周辺言語情報１２５として周辺言語情報マッピング部１０８に渡す。
【表３】
2009048003.tif 000005
【００２８】
ステップＳ３０６では、機械翻訳部１０６が認識文字列１２１を翻訳文字列１２６に機械翻訳する。上記例であれば、機械翻訳部１０６は文字列"Today's game is wonderful."を文字列「今日の試合は素晴らしかった。」に機械翻訳する。また、機械翻訳部１０６は翻訳文字列１２６を作成する際に、表４に示すような単語−訳語間の対応関係を検出及び保持し、認識文字列１２６と共に第２の言語解析部１０７に渡す。
【表４】
2009048003.tif 000006
【００２９】
ステップＳ３０７では、周辺言語情報マッピング部１０８が、ステップＳ３０５において単語毎に抽出された周辺言語情報１２５を対応する訳語に割り当てる。周辺言語情報マッピング部１０８は、第２の言語解析部１０７から渡される第２の言語情報１２７及び上記表４に示す単語間の対応関係を用いて周辺言語情報１２５の割り当てを行う。まず、周辺言語情報マッピング部１０８は、第２の言語情報１２７を用いて翻訳文字列１２６を構成する単語を検出する。そして、周辺言語情報マッピング部１０８は表４を参照して、認識文字列１２１を構成する各単語"Today's"，"game"，"is"，"wonderful"について表３に示す周辺言語情報１２５を、対応する訳語に夫々割り当てる。割り当てる周辺言語情報１２５はステップＳ３０５において抽出された全ての値であってもよいが、正の値のみであってもよい。例えば表３に示す例であれば、単語"is"及び"wonderful"の周辺言語情報１２５は負の値であるので、周辺言語情報マッピング部１０８は、訳語「素晴らしかった」への周辺言語情報１２５の割り当てを行わず表５に示す割り当てを行う。以下、周辺言語情報マッピング部１０８は表５に示す割り当てを行うものとして説明する。
【表５】
2009048003.tif 000007
【００３０】
次に、第２の韻律生成部１０９がステップＳ３０７に割り当てられた周辺言語情報１２８に基づいて第２の合成韻律情報１２９を生成する（ステップＳ３０８）。具体的には、まず第２の韻律生成部１０９は、第２の言語情報１２７のみに基づいて合成韻律情報を生成する。図５は、文字列「今日の試合は素晴らしかった。」を解析した言語情報から女性音声を合成した場合の基本周波数の分析結果を示している。図５において横軸は時刻［ｍｓ］、縦軸は基本周波数の２を底とする対数を夫々示しており、丸印で上記分析結果がプロットされると共に、上記分析結果の線形回帰直線が描かれている。図５において、上記基本周波数の線形回帰値に対するピーク値の比率（以下、第３特徴量と称する。）は、表６に示す値となる。
【表６】
2009048003.tif 000008
【００３１】
第２の韻律情報生成部１０９は、第２の言語情報１２７のみから生成した合成韻律情報から得られる第３特徴量に周辺言語情報１２８を反映させた第４特徴量を用いて、第２の合成韻律情報１２９を生成する。例えば、第２の韻律生成部１０９は第３特徴量に周辺言語情報１２８を加算して第４特徴量を算出する。表６に示す第３特徴量に表５に示す周辺言語情報１２８を加算すると、第４特徴量は表７に示す値となる。
【表７】
2009048003.tif 000009
【００３２】
第２の韻律生成部１０９は、上記第４特徴量を用いて、第ｉ番目（ｉは正数）の単語ｗiにおける第２の合成韻律情報１２９の対数基本周波数のピーク値ｆpeak（ｗi）を以下に示す数式（１）に従って算出する。
【数１】
2009048003.tif 000010
【００３３】
ここで、ｆlinear(ｗi）は、上記合成韻律情報の単語ｗiのピーク値の時刻における対数基本周波数の線形回帰値を示し、ｐparalingual（ｗi）は、単語ｗiにおける上記第４特徴量を示している。
【００３４】
第２の韻律生成部１０９は、上記ｆpeak（ｗi）を用いて、第２の合成韻律情報の対数基本周波数の目標軌跡ｆparalingual（ｔ，ｗi）を以下に示す数式（２）に従って算出する。
【数２】
2009048003.tif 000011
【００３５】
ここで、ｆnormal（ｔ，ｗi）は、上記第２の言語情報１２７のみに基づいて生成された合成韻律情報の単語ｗiにおける対数基本周波数の軌跡を示しており、ｆmin（ｗi）及びｆmax（ｗi）はｆnormal（ｔ，ｗi）の最小値及び最大値を夫々示している。
【００３６】
第２の韻律生成部１０９は、上記目標軌跡ｆparalingual（ｔ，ｗi）が予め定める対数基本周波数の上限または下限を超える場合には、以下に示す数式（３）を用いて調整する。この上限または下限は出力音声の種別によって異なり、出力音声の対象とする性別や年齢に応じて適切な値が予め設定されているものとする。
【数３】
2009048003.tif 000012
【００３７】
ここで、Ｆtop及びＦbottomは前述した出力音声の対数基本周波数の上限及び下限を夫々示し、ｆparalingual（ｔ）は、上記数式（２）で計算されるｆparalingual（ｔ，ｗi）を連結して得られる翻訳文字列全体の対数基本周波数の目標軌跡を示し、ｆMAXはｆparalingual（ｔ）の最大値を示し、ｆfinal（ｔ）は最終的に第２の合成韻律情報１２９として用いられる対数基本周波数軌跡を示している。図５に示す対数基本周波数軌跡及び表７に示す第４特徴量を用いて、数式（１）乃至（３）から得られる対数基本周波数軌跡を図６に示す。図６において図５に示す対数基本周波数軌跡が丸印、上記対数基本周波数軌跡に上記第４特徴量を反映させた対数基本周波数軌跡が四角印で夫々プロットされている。
【００３８】
次に、音声合成部１１０はステップＳ３０８で得られた第２の合成韻律情報１２９及び第２の言語解析部１０７から渡される第２の言語情報１２７を用いて出力音声１３０を合成する。（ステップＳ３０９）。次に、ステップＳ３０９にて合成された出力音声１３０が図示しないスピーカより出力される（ステップＳ３１０）。
【００３９】
以上説明したように、本実施形態に係る音声翻訳装置では、単語毎に入力音声の原韻律情報と認識文字列から合成した合成韻律情報を比較することにより周辺言語情報を抽出し、上記単語に対応する訳語に反映させている。従って、本実施形態係る音声翻訳装置によれば発話者の強調、意図及び態度などの周辺言語情報を反映した出力音声が得られ、当該音声翻訳装置のユーザ間の円滑なコミュニケーションを促進できる。また、本実施形態では語順の並び替え及び格助詞の使い分けを行っていないため、語順の変化が少ない欧米言語及び格助詞の無い中国語であっても周辺言語情報を出力音声に反映させることができる。また、前述した説明では韻律情報として基本周波数の時間変化を用いて周辺言語を抽出する手法について主に述べたが、平均パワの時間変化を用いてもよい。
【００４０】
（第２の実施形態）  
前述した第１の実施形態では、韻律情報として基本周波数及び平均パワの時間変化から周辺言語情報を抽出し、出力音声に反映させていた。以下、本発明の第２の実施形態として、各単語の時間長から周辺言語情報を抽出し、出力音声に反映させる手法について説明する。以下の説明では第１の実施形態と異なる部分を中心に説明する。
【００４１】
各単語の時間長は時間変化によって表現できないため、本実施形態では韻律情報を単語毎の時間長から求めた特徴量を成分とするベクトルで表現する。具体的には、韻律分析部１０２は、入力音声１２０を構成する各単語について音声単位の時間長を分析する。音声単位は入力音声１２０の言語種別に応じて異なるものを用いてよく、例えば英語及び中国語であれば音節、日本語であれば「拍」とも呼ばれるモーラ（mora）が夫々適している。
【００４２】
成人男性１名が単語"Today's"を強調してテキスト"Today's game is wonderful."を発話した場合の音節単位の時間長の分析結果を表８に示す。
【表８】
2009048003.tif 000013
【００４３】
本実施形態では、各音節単位の時間長は平均値に対する比率（以下、単に正規化時間長と称する）に正規化される。表８に示す分析結果を正規化した値を表９に示す。  
【表９】
2009048003.tif 000014
【００４４】
本実施形態では、周辺言語情報抽出部１０５は上記正規化時間長に基づいて単語毎に特徴量を求める。上記特徴量は、言語種別に応じて異なる求め方を用いてよく、例えば英語であれば内容語（content word）のメインストレスを持つ音節の正規化時間長を当該単語の特徴量とする。また、入力音声が日本語であれは各内容語を構成するモーラの正規化時間長の平均値を当該単語の特徴とする。周辺言語情報抽出部１０５が原韻律情報１２２、即ち表９に示す正規化時間長から求めた各内容語の特徴量（以下、単に第１特徴量と称する）を表１０に示す。
【表１０】
2009048003.tif 000015
【００４５】
以上のように本実施形態に係る音声翻訳装置の周辺言語情報抽出部１０５は、原韻律情報１２２の各単語について第１特徴量を求める。また、周辺言語情報抽出部１０５は同様の手法で第１の合成韻律情報１２４の各単語について特徴量（以下、単に第２特徴量と称する）を求める。上記テキスト"Today's game is wonderful."の第１の合成韻律情報１２４における各音節の時間長及び平均時間長を表１１に示す。
【表１１】
2009048003.tif 000016
【００４６】
表１１に示す各音節の時間長を平均時間長に対する比率で正規化した値を表１２に示す。  
【表１２】
2009048003.tif 000017
【００４７】
表１２に示す各内容語のメインストレスを持つ音節から求めた各単語の第２特徴量を表１３に示す。  
【表１３】
2009048003.tif 000018
【００４８】
周辺言語情報抽出部１０５は、以上のように求めた原韻律情報１２２の第１特徴量及び第１の合成韻律情報１２４の第２特徴量の差分を、周辺言語情報１２５として抽出する。周辺言語情報抽出部１０５が表１０に示す第１特徴量及び表１３に示す第２特徴量から抽出する周辺言語情報１２５を表１４に示す。
【表１４】
2009048003.tif 000019
【００４９】
周辺言語情報マッピング部１０８は翻訳文字列の各単語に周辺言語情報１２５をマッピングする際に、言語間の特性の差異を補正するための係数を乗じてもよい。周辺言語情報マッピング部１０８は、例えば英語から日本語への翻訳であれば０．５、日本語から英語への翻訳であれば２．０を周辺言語情報１２５に夫々乗じる。補正係数を乗じた結果、周辺言語情報１２５の絶対値が予め定める閾値よりも小さくなる単語はマッピングを行わずに、対応する訳語に単に０．０を与えてもよい。また、周辺言語情報マッピング部１０８は正の値だけをマッピングしてもよいし、正負に係わらずマッピングしてもよいが、以下の説明では後者について述べる。表１４に示す周辺言語情報に補正係数０．５を乗じて、上記閾値処理を行って得られる周辺言語情報のマッピング結果を表１５に示す。
【表１５】
2009048003.tif 000020
【００５０】
テキスト「今日の試合は素晴らしかった。」を言語解析して得られる第２の言語情報１２７のみに基づいて、第２の韻律生成部１０９が生成する日本語合成話者の女声による合成韻律情報における各モーラの持続時間長及び平均値を表１６に示す。
【表１６】
2009048003.tif 000021
【００５１】
表１６に示す各モーラの時間長を平均時間長で正規化した値を表１７に示す。  
【表１７】
2009048003.tif 000022
【００５２】
前述したように日本語の各内容語の特徴量は、当該内容語におけるモーラの正規化時間長の平均値である。第２の韻律生成部１０９が第２の言語情報１２７のみに基づく合成韻律の韻律情報、即ち表１７に示す各モーラの時間長から得られる特徴量（以下、単に第３特徴量と称する）を表１８に示す。
【表１８】
2009048003.tif 000023
【００５３】
第２の韻律生成部１０９は、以上のようにして求めた第２の言語情報１２７のみに基づく合成韻律情報の第３特徴量に周辺言語情報１２８を反映させる。表１８に示す第３特徴量に、表１５に示す周辺言語情報を反映させた特徴量（以下、単に第４特徴量と称する）を表１９に示す。
【表１９】
2009048003.tif 000024
【００５４】
第２の韻律生成部１０９は、以上のように周辺言語情報１２８を反映させた第４特徴量に基づいて各モーラの正規化時間長を補正する。具体的には、第２の韻律生成部１０９は、第３特徴量に対する第４特徴量の比率を各単語のモーラの正規化時間長に乗じて一律に拡大または縮小する。表１７に示す正規化時間長を修正した結果を表２０に示す。
【表２０】
2009048003.tif 000025
【００５５】
第２の韻律生成部１０９は、以上のように正規化時間長の補正結果に基づいて各モーラの時間長を算出する。具体的には、第２の韻律生成部１０９は修正された正規化時間長に各モーラの平均時間長を乗じて第２の合成韻律情報１２９における各モーラの時間長を求める。表２０に示す正規化時間長から算出した、第２の合成韻律情報１２９の各モーラの時間長を表２１に示す。
【表２１】
2009048003.tif 000026
【００５６】
音声合成部１１０は、第２の韻律生成部１０９が求めた第２の合成韻律情報１２９各モーラの時間長及び第２の言語情報１２７を用いて出力音声の音声波形を合成する。音声波形生成方式によっては、各モーラの時間長を用いてそれぞれの子音及び母音といった音素単位の時間長まで分解する必要がある。第２の韻律生成部１０９がモーラの時間長を拡大または縮小する際、変化前後の差分を子音と母音に割り当てる比率を予めすることにより、当該差分から音素単位の時間長まで分解することが可能なので、分解の詳細については説明を省略する。
【００５７】
以上説明したように、本実施形態に係る音声翻訳装置では音声単位の時間長の平均値に対する比率を用いて周辺言語情報を抽出している。従って、前述した第１の実施形態と同様に本実施形態に係る音声翻訳装置によれば、発話者の強調、意図及び態度などの周辺言語情報を反映した出力音声が得られ、当該音声翻訳装置のユーザ間の円滑なコミュニケーションを促進できる。また、本実施形態でも語順の並び替え及び格助詞の使い分けを行っていないため、語順の変化が少ない欧米言語及び格助詞の無い中国語であっても周辺言語情報を出力音声に反映させることができる。
【００５８】
尚、この音声翻訳装置は、例えば、汎用のコンピュータ装置を基本のハードウエアとして用いることでも実現することが可能である。すなわち、この音声翻訳装置の各構成部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、音声翻訳装置は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【００５９】
また、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施形態に係る音声翻訳装置を示すブロック図。
【図２】図１に示す音声翻訳装置の動作を示すフローチャート。
【図３】図１に示す韻律分析部で分析される原韻律情報の対数基本周波数軌跡の一例を示すグラフ図。
【図４】図１に示す第１の韻律生成部で生成される第１の合成韻律情報の対数基本周波数軌跡の一例を示すグラフ図。
【図５】図１に示す第２の韻律生成部において、第２の言語情報のみを用いて生成される合成韻律情報の対数基本周波数軌跡の一例を示すグラフ図。
【図６】図５に示す対数基本周波数軌跡を、周辺言語情報を用いて補正した場合の対数基本周波数軌跡の一例を示すグラフ図。
【符号の説明】
【００６１】
１０１・・・音声認識部
１０２・・・韻律分析部
１０３・・・第１の言語解析部
１０４・・・第１の韻律生成部
１０５・・・周辺言語情報抽出部
１０６・・・機械翻訳部
１０７・・・第２の言語解析部
１０８・・・周辺言語情報マッピング部
１０９・・・第２の韻律生成部
１１０・・・音声合成部
１２０・・・入力音声
１２１・・・認識文字列
１２２・・・原韻律情報
１２３・・・第１の言語情報
１２４・・・第１の合成韻律情報
１２５・・・周辺言語情報
１２６・・・翻訳文字列
１２７・・・第２の言語情報
１２８・・・周辺言語情報
１２９・・・第２の合成韻律情報
１３０・・・出力音声
【図１】
2009048003.tif 000027
【図２】
2009048003.tif 000028
【図３】
2009048003.tif 000029
【図４】
2009048003.tif 000030
【図５】
2009048003.tif 000031
【図６】
2009048003.tif 000032