(57)【要約】【課題】原音声の韻律情報に基づいて翻訳された音声を出力する。【解決手段】第１言語による原音声の入力を受け付け、入力された内容を第２言語に翻訳して音声で出力する音声翻訳システムで、原音声の入力を受け付け、第１言語によるテキストである原言語テキスト及び原音声の韻律情報を、原音声から生成する入力処理部と、原言語テキストを第１言語から第２言語に翻訳した対訳文を生成する翻訳部と、第１言語の韻律情報及び第２言語の韻律情報の対応関係を含む韻律変換情報と、韻律変換情報に基づいて、原音声の韻律情報を出力される音声の韻律情報に変換する韻律特徴変換部と、出力される音声の韻律情報に基づいて合成された音声によって、対訳文を出力する音声合成部とを備える。【選択図】図２
2009186820.tif 000002
【特許請求の範囲】
【請求項１】
第１言語による原音声の入力を受け付け、前記入力された内容を第２言語に変換して音声で出力する音声処理システムであって、
前記原音声の入力を受け付け、前記第１言語によるテキストである原言語テキスト及び前記原音声の韻律情報を、前記原音声から生成する入力処理部と、
前記原言語テキストを前記第１言語から前記第２言語に変換した対訳文を生成する翻訳部と、
前記第１言語の韻律情報及び前記第２言語の韻律情報の対応関係を含む韻律変換情報と、
前記韻律変換情報に基づいて、前記原音声の韻律情報を前記出力される音声の韻律情報に変換する韻律特徴変換部と、
前記出力される音声の韻律情報に基づいて合成された音声によって、前記対訳文を出力する音声合成部と、を備えることを特徴とする音声処理システム。
【請求項２】
前記音声処理システムは、前記第１言語の標準的な韻律情報を含む第１標準韻律情報、及び、前記第２言語の標準的な韻律情報を含む第２標準韻律情報を格納し、
前記韻律特徴変換部は、
前記第１標準韻律情報に基づいて、前記原音声の韻律情報と前記第１言語の標準的な韻律情報との差分情報を取得し、
前記対訳文及び前記原音声の韻律情報の差分情報に基づいて、前記韻律変換情報から、前記第２言語の韻律情報を検索し、
前記第２標準韻律情報に基づいて、前記検索された第２言語の韻律情報と前記第２言語の標準的な韻律情報との差分情報を取得し、
前記取得された第２言語の韻律情報の差分情報に基づいて、前記出力される音声の韻律情報を生成することを特徴とする請求項１に記載の音声処理システム。
【請求項３】
前記韻律特徴変換部は、前記原言語テキストを単語に分割し、前記分割された単語ごとに前記第２言語の韻律情報の差分情報を取得することによって、前記出力される音声の韻律情報に生成することを特徴とする請求項２に記載の音声処理システム。
【請求項４】
前記韻律情報は、ピッチ及びアクセントを含む各項目を数値化したベクトルによって表され、
前記韻律特徴変換部は、前記第１言語の韻律情報に対応する前記第２言語の韻律情報を前記韻律変換情報から検索する場合に、前記原音声の韻律情報を表すベクトルと前記第１言語の韻律情報を表すベクトルとのユークリッド距離が最小となる韻律情報を検索結果とすることを特徴とする請求項２に記載の音声処理システム。
【請求項５】
前記入力処理部は、
前記原音声に含まれる音素を解析し、
前記音素の解析結果に基づいて、前記原音声の韻律情報を生成し、
前記原音声の韻律情報に基づいて、前記原言語テキストを作成することを特徴とする請求項１に記載の音声処理システム。
【請求項６】
前記韻律特徴変換部は、前記対訳文及び対応する韻律情報を含む変換結果を表示し、前記変換結果の修正を受け付けて、前記修正された変換結果を前記韻律変換情報に反映させることを特徴とする請求項１に記載の音声処理システム。
【請求項７】
第１言語による原音声の入力を受け付け、前記入力された内容を第２言語に変換して音声で出力する音声処理システムに含まれる音声処理装置で実行される音声処理プログラムであって、
前記音声処理システムは、前記第１言語の韻律情報及び前記第２言語の韻律情報の対応関係を含む韻律変換情報を備え、
前記プログラムは、
前記原音声の入力を受け付ける手順と、
前記第１言語によるテキストである原言語テキスト及び前記原音声の韻律情報を、前記原音声から生成する手順と、
前記原言語テキストを前記第１言語から前記第２言語に変換した対訳文を生成する手順と、
前記韻律変換情報に基づいて、前記原音声の韻律情報を前記出力される音声の韻律情報に変換する手順と、
前記出力される音声の韻律情報に基づいて合成された音声によって、前記対訳文を出力する手順と、を前記音声処理装置に実行させることを特徴とする音声処理プログラム。
【請求項８】
前記音声処理システムは、前記第１言語の標準的な韻律情報を含む第１標準韻律情報、及び、前記第２言語の標準的な韻律情報を含む第２標準韻律情報を格納し、
前記韻律情報を変換する手順は、
前記第１標準韻律情報に基づいて、前記原音声の韻律情報と前記第１言語の標準的な韻律情報との差分情報を取得する手順と、
前記対訳文及び前記原音声の韻律情報の差分情報に基づいて、前記韻律変換情報から、前記第２言語の韻律情報を検索する手順と、
前記第２標準韻律情報に基づいて、前記検索された第２言語の韻律情報と前記第２言語の標準的な韻律情報との差分情報を取得する手順と、
前記取得された第２言語の韻律情報の差分情報に基づいて、前記出力される音声の韻律情報に生成する手順と、を含むことを特徴とする請求項７に記載の音声処理プログラム。
【請求項９】
前記韻律情報を変換する手順は、前記原言語テキストを単語に分割する手順を含み、
前記分割された単語ごとに前記第２言語の韻律情報の差分情報に取得することによって、前記出力される音声の韻律情報に生成することを特徴とする請求項８に記載の音声処理プログラム。
【請求項１０】
前記韻律情報は、ピッチ及びアクセントを含む各項目を数値化したベクトルによって表され、
前記韻律変換情報から前記第２言語の韻律情報を検索する手順は、前記原音声の韻律情報を表すベクトルと前記第１言語の韻律情報を表すベクトルとのユークリッド距離が最小となる前記第２言語の韻律情報を検索結果とすることを特徴とする請求項８に記載の音声処理プログラム。
【請求項１１】
前記原言語テキスト及び前記原音声の韻律情報を生成する手順は、
前記原音声に含まれる音素を解析する手順と、
前記音素の解析結果に基づいて、前記原音声の韻律情報を生成する手順と、
前記原音声の韻律情報に基づいて、前記原言語テキストを作成する手順と、を含むことを特徴とする請求項７に記載の音声処理プログラム。
【請求項１２】
前記韻律情報を変換する手順は、
前記対訳文及び対応する韻律情報を含む変換結果を表示する手順と、
前記変換結果の修正を受け付ける手順と、
前記修正された変換結果を前記韻律変換情報に反映させる手順と、を含むことを特徴とする請求項７に記載の音声処理プログラム。
【請求項１３】
第１言語による原音声の入力を受け付け、前記入力された内容を第２言語に変換して音声で出力する音声処理システムにおける音声処理方法であって、
前記音声処理システムは、前記第１言語の韻律情報及び前記第２言語の韻律情報の対応関係を含む韻律変換情報を備え、
前記方法は、
前記原音声の入力を受け付け、
前記第１言語によるテキストである原言語テキスト及び前記原音声の韻律情報を、前記原音声から生成し、
前記原言語テキストを前記第１言語から前記第２言語に変換した対訳文を生成し、
前記韻律変換情報に基づいて、前記原音声の韻律情報を前記出力される音声の韻律情報に変換し、
前記出力される音声の韻律情報に基づいて合成された音声によって、前記対訳文を出力することを特徴とする音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原言語で入力された音声データを目的言語に変換して音声出力する技術に関する。
【背景技術】
【０００２】
近年、国際間の交流が盛んになり、多言語コミュニケーションの必要性が増大し、多言語コミュニケーションを実現するために多言語通訳が必要とされている。多言語コミュニケーションを実現する手段としては、計算機の処理能力の向上と大容量データベースの利用に伴って、音声認識技術及び自然言語処理技術、特にテキストに対する機械翻訳技術の高速化及び高精度化などが進んでいる。さらに、音声合成技術の高品質化が進められ、これらの技術を利用する、多言語の音声翻訳装置が実現可能となってきている（例えば、特許文献１参照）。
【０００３】
音声翻訳装置では、翻訳の正確性を向上させるため、重要語句規則抽出条件に基づいて、入力した原言語情報の重要部分を判定し、判定結果に基づいて翻訳精度を設定することができる。また、設定された精度に基づいて、原言語情報を目的言語で記述される対訳言語情報に翻訳する技術が公開されている（例えば、特許文献２参照）。
【０００４】
また、音声翻訳システムでは、音声品質を向上させるために、原言語の入力音声から話者の音質特徴を抽出し、目的言語音声との類似性を計量し、得られた声質類似性計量結果に基づいて、原言語音声の声質に比較的類似した目的言語音声を合成する技術が公開されている（例えば、特許文献３参照）。
【特許文献１】特許公開２００５−１４１７５９号公報
【特許文献２】特許公開２００４−３５５１１８号公報
【特許文献３】特許公開２００６−３３０２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、前述した従来技術は、入力された原言語の音声の音質を計測し、目的言語の音声合成部を制御することによって実現される。また、入力原言語の重要度の判定結果に基づいて目的言語に翻訳される。しかしながら、従来の音声翻訳システムには、音声の韻律特徴を自動的に変換する技術は存在せず、また、入出力音声の韻律特徴パターンと、標準的な韻律特徴パターンとの差分情報を利用していないため、十分な精度を得ることができていない。
【０００６】
本発明は、入力された原言語音声の韻律特徴を利用して、より正確性が高く、より自然な目的言語で出力される音声翻訳システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の代表的な一形態では、第１言語による原音声の入力を受け付け、前記入力された内容を第２言語に翻訳して音声で出力する音声翻訳システムであって、前記原音声の入力を受け付け、前記第１言語によるテキストである原言語テキスト及び前記原音声の韻律情報を、前記原音声から生成する入力処理部と、前記原言語テキストを前記第１言語から前記第２言語に翻訳した対訳文を生成する翻訳部と、前記第１言語の韻律情報及び前記第２言語の韻律情報の対応関係を含む韻律変換情報と、前記韻律変換情報に基づいて、前記原音声の韻律情報を前記出力される音声の韻律情報に変換する韻律特徴変換部と、前記出力される音声の韻律情報に基づいて合成された音声によって、前記対訳文を出力する音声合成部と、を備える。
【発明の効果】
【０００８】
本発明の一形態によれば、入力された第１言語（原言語）の音声の韻律情報に基づいた、第２言語（目的言語）の音声を出力することができる。
【発明を実施するための最良の形態】
【０００９】
次に、本発明の実施の形態について、図面を参照して説明する。
【００１０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態の音声翻訳装置１の構成を示す図である。
【００１１】
音声翻訳装置１は、プロセッサ２、主メモリ３、記憶部４、入力部５及び出力部６を備える。なお、本発明の第１の実施の形態では、すべての機能が音声翻訳装置１で処理される構成となっているが、音声翻訳システムとして、機能ごとに別の計算機で処理させ留構成としてもよいし、記憶部４に格納されるデータを格納するために別途ストレージ装置を含む構成としてもよい。
【００１２】
プロセッサ２は、主メモリ３に記憶されているプログラムを処理することによって、各種処理を実行する。
【００１３】
主メモリ３は、プロセッサ２によって実行されるプログラム及び各種処理の実行に必要なデータを記憶する。主メモリ３は、入力処理部１０、翻訳部２０、韻律特徴変換部３０及び音声合成部５０を記憶する。入力処理部１０、翻訳部２０、韻律特徴変換部３０及び音声合成部５０は、プロセッサ２によって実行されるプログラムである。
【００１４】
入力処理部１０は、入力された原言語音声を処理する。翻訳部２０は、入力された原言語音声を翻訳（通訳）する。なお、翻訳部２０は、方言などの同一言語間の変換を含む。
【００１５】
韻律特徴変換部３０は、入力された原言語音声を解析し、韻律の特徴を抽出する。さらに、抽出された韻律特徴及び目的言語の標準韻律に基づいて、入力された原言語音声の韻律を目的言語の韻律に変換する。
【００１６】
音声合成部５０は、韻律特徴変換部３０によって変換された目的言語の韻律に基づいて、目的言語の音声を合成する。
【００１７】
記憶部４は、本発明の音声翻訳処理に必要なプログラム及びデータを格納する。記憶部４に格納されたプログラムは、実行時に主メモリ３にロードされる。記憶部４に格納されたデータには、韻律変換データベース４０及び言語標準韻律コーパス６０を含む。
【００１８】
韻律変換データベース４０は、翻訳の対象となる言語間の韻律の対応情報が格納される。言語標準韻律コーパス６０は、本発明の音声翻訳装置１に対応する言語の文章を含む巨大なテキストデータである。なお、本発明の説明をする場合には、原言語（入力）の言語標準韻律コーパス６０を原言語標準韻律コーパス３４０とし、目的言語（出力）の言語標準韻律コーパス６０を目的言語標準韻律コーパス３５０とする。
【００１９】
入力部５は、音声情報及びテキスト情報などの入力を受け付ける。具体的には、音声の入力を受け付けるマイク、及び、テキスト情報などの入力を受け付けるキーボードなどが含まれる。
【００２０】
出力部６は、音声情報及びテキスト情報などを出力する。具体的には、音声情報を出力するスピーカー、及び、翻訳結果などを表示する汎用ディスプレイなどが含まれる。
【００２１】
図２は、本発明の第１の実施の形態の各構成による処理の関係を説明する図である。
【００２２】
本発明の音声翻訳装置１では、入力言語（第１言語）の原音声データを入力処理部１０によって受け付ける。入力処理部１０は、入力された原音声データをテキストに変換し、変換結果を翻訳部２０及び韻律特徴変換部３０に引き渡す。入力処理部１０の構成の詳細は、図４にて後述する。
【００２３】
翻訳部２０は、原音声データから変換された原言語によるテキストを目的言語（第２言語）に翻訳する。韻律特徴変換部３０は、韻律変換データベース４０に格納されたデータに基づいて、入力言語の音声データの韻律特徴パターンを解析し、目的言語の音声データの韻律特徴パターンを生成する。韻律特徴変換部３０の構成の詳細は、図５にて後述する。韻律とは、音声の長・短、子音・母音又はアクセントの配列の仕方によってあらわすものであり、韻律特徴パターンとは、韻律の特徴を抽出したものである。
【００２４】
音声合成部５０は、翻訳部２０による翻訳結果と韻律特徴変換部３０によって生成された韻律特徴パターンとに基づいて目的言語の音声を合成する。そして、合成された目的言語音声を出力部６から出力する。
【００２５】
図３は、本発明の第１の実施の形態の音声翻訳処理の全体の手順を示すフローチャートである。
【００２６】
本発明の第１の実施の形態の音声翻訳処理では、まず、音声翻訳装置１のプロセッサ２が入力処理部１０を実行することによって、原言語音声入力処理を実行する（Ｓ２）。原言語音声入力処理では、入力部５から入力された原言語音声を受け付け、入力された原言語音声を解析しやすいように変換する。具体的には、音声情報をテキストに変換したり、韻律情報を音声情報から抽出する。
【００２７】
原言語音声入力処理が終了すると、プロセッサ２は、翻訳部２０を実行することによって、目的言語翻訳処理を実行する（Ｓ３）。目的言語翻訳処理では、テキスト変換された原言語音声情報に基づいて、目的言語に翻訳する。原言語から目的言語に翻訳する技術は、既存の技術を利用する。
【００２８】
原言語音声入力処理及び目的言語翻訳処理が終了すると、プロセッサ２は、韻律特徴変換部３０を実行することによって、目的言語韻律特徴生成処理を実行する（Ｓ４）。目的言語韻律特徴生成処理では、まず、原言語音声入力処理で抽出された入力言語の音声データの韻律情報に基づいて、韻律特徴パターンを解析する。そして、解析された韻律特徴パターン及び目的言語翻訳処理による目的言語の翻訳結果に基づいて、目的言語の音声情報の韻律情報を生成する。目的言語韻律特徴生成処理の詳細は、図６にて後述する。
【００２９】
最後に、プロセッサ２は、音声合成部５０を実行することによって、翻訳された目的言語の音声を合成する（Ｓ５）。具体的には、目的言語翻訳処理によって得られた目的言語への翻訳結果を音声情報に変換し、変換された音声情報に目的言語韻律特徴生成処理で生成された韻律情報に基づいて音声情報を合成する。
【００３０】
図４は、本発明の第１の実施の形態の入力処理部１０の構成を示す図である。
【００３１】
入力処理部１０は、音声特徴抽出部１１０、音声認識部１２０、言語解析部１３０、選択結果対象表示修正手段１４０、特徴変更修正部１５０及び言語修正変更部１６０を含む構成である。
【００３２】
入力処理部１０は、まず、原言語の音声が入力されると、音声認識部１２０によって、原言語の言語テキスト及び音素セグメンテーション認識結果を取得する。音素セグメンテーションとは、入力された音声を音素ごとに分割する処理である。
【００３３】
次に、入力処理部１０は、音声特徴抽出部１１０によって、入力された原言語の音声データ及び音声認識部１２０によって取得された音素セグメンテーション認識結果に基づいて、原言語の韻律特徴パターンを抽出する。韻律特徴パターンは、具体的には、ピッチパターン、パワー、アクセント、継続長、又は音素間の無声区間の長さなどである。
【００３４】
次に、入力処理部１０では、音声認識部１２０で抽出された原言語の韻律特徴パターンに基づいて、言語解析部１３０が音声認識部１２０で取得された言語テキストを解析する。解析方法としては、例えば、形態素解析、構文解析、意味解析処理などがある。
【００３５】
入力処理部１０では、特徴変更修正部１５０によって、音声特徴抽出部１１０によって抽出された原言語の韻律特徴パターンを修正することができる。また、言語修正変更部１６０によって、原言語のテキスト情報の入力を受け付けて、言語解析部１３０による言語テキストの解析結果を修正することができる。特徴変更修正部１５０及び言語修正変更部１６０は、ＧＵＩを含む選択結果対象表示修正手段１４０からの入力を受け付けて、解析結果を修正する。ＧＵＩの一例は、図９にて後述する。
【００３６】
翻訳部２０では、入力処理部１０によって取得された原言語の言語テキスト及び音素セグメンテーション認識結果を含む情報を入力として、指定された目的言語に翻訳する。翻訳部２０よって実行される翻訳処理には、一般的なトランスファ方式、ルール・ベース方式、統計的言語モデル方式、中間言語方式などの機械翻訳システムにおいて利用されているあらゆる方法を利用することが可能である。
【００３７】
さらに、翻訳部２０では、韻律特徴パターンを利用することによって、文章中で強調されている部分を判断し、より適した翻訳を行うことができる。例えば、原言語（第１言語）として日本語の入力文「まもなく、東京行きが３番線から９時４０分発車いたします。」を目的言語（第２言語）として中国語に翻訳する場合について説明する。入力文において「３番線」が強調されていた場合には、「３番線」に対応する中国語単語は翻訳文の一番の注目場所に配置する。また、入力文において「９時４０分」がフォーカスされた場合には、対応する中国語単語は翻訳文の一番の注目場所に配置することが可能となる。
【００３８】
図５は、本発明の第１の実施の形態の韻律特徴変換部３０の構成を示す図である。
【００３９】
韻律特徴変換部３０は、韻律特徴差分計測部３１０、差分変換部３３０及び目的言語韻律特徴生成部３２０を含む。
【００４０】
韻律特徴差分計測部３１０、まず、入力処理部１０の音声特徴抽出部１１０又は特徴変更修正部１５０から取得された原言語の韻律特徴パターンと、言語解析部１３０又は言語修正変更部１６０による原言語の構文解析結果とを受け付ける。韻律特徴差分計測部３１０は、原言語標準韻律コーパス３４０を参照し、原言語の韻律特徴パターンと標準韻律パターンとの差分を計測する。具体的には、ピッチパターン、パワー、アクセント、継続長、音素間の無声区間の長さ、又は、入力文全体レベルの韻律特徴パターンなどについて、原言語の韻律特徴パターンと標準韻律パターンとを比較する。
【００４１】
次に、差分変換部３３０は、翻訳部２０によって目的言語に翻訳された結果と、原言語の韻律差分計測分析結果の入力を受け付ける。そして、韻律変換データベース４０に基づいて、最も適合する目的言語の韻律特徴パターンを取得する。韻律変換データベース４０は、例えば、コーパス・ベースの変換テーブルとして実現可能であって、図６にて後述する。
【００４２】
図６は、本発明の第１の実施の形態の韻律変換データベース４０の構成の一例を示す図である。
【００４３】
韻律変換データベース４０は、原言語の言語解析ベクトル、原言語の韻律差分解析ベクトル及び目的言語の言語解析ベクトルを検索条件（入力項目）とし、検索結果（出力項目）を目的言語の韻律差分解析ベクトルとする。韻律差分解析ベクトルとは、韻律特徴パターンを構成する各項目を数値化し、これらの数値を要素とするベクトルである。
【００４４】
具体的には、検索条件（入力項目）は、応用分野、文型、原言語の単語、語彙、前後環境、韻律特徴解析ベクトル、目的言語の単語、語彙及び前後音韻環境を含む。一方、検索結果（出力項目）は、マッピングする目的言語の韻律差分解析ベクトルである。韻律差分解析ベクトルは、ピッチパターン、パワー、アクセント、継続長、音素間の無声区間の長さ、入力文全体レベルの韻律特徴パターン（平均ピッチ、平均パワーなど）などの情報を含む。
【００４５】
このように、韻律変換データベース４０には、原言語の言語解析ベクトル及び韻律差分解析ベクトルと、目的言語の言語解析ベクトル及び韻律差分解析ベクトルとが、対応付けられて格納されている。したがって、原音声データの韻律を加味して、出力する目的言語の韻律を取得することができる。なお、韻律変換データベース４０の各レコードにおいて、原言語の単語と目的言語の単語とが１対１である必要はなく、複数の単語で対応することもある。
【００４６】
ここで、図５の説明に戻ると、差分変換部３３０は、韻律変換データベース４０から、検索条件に最も適合する目的言語の韻律差分解析ベクトルを最尤決定などのアルゴリズムによって取得する。なお、検索条件に最も適合する目的言語の韻律差分解析ベクトルを取得するための方法は後述する。
【００４７】
その後、目的言語韻律差分ベクトルと翻訳部２０による目的言語の翻訳結果とを入力として、目的言語標準韻律コーパス３５０を参照し、目的言語韻律特徴生成部３２０によって、目的言語の韻律特徴パターンが生成される。
【００４８】
続いて、入力された原言語の韻律を目的言語の韻律に変換する手順について説明する。
【００４９】
図７は、本発明の第１の実施の形態の韻律特徴変換部３０の処理の手順を示すフローチャートである。本処理は、音声翻訳装置１のプロセッサ２が韻律特徴変換部３０を処理することによって実行される。
【００５０】
プロセッサ２は、まず、原言語の韻律特徴パターン及び原言語の構文解析結果に基づいて、入力文の各単語単位に対応する韻律特徴を計算する（Ｓ３１）。次に、各単語に対応する韻律特徴ベクトルを計算する（Ｓ３２）。
【００５１】
プロセッサ２は、各単語に対応する韻律特徴ベクトルと、原言語標準韻律コーパス３４０に含まれる各単語に対応する特徴ベクトルとの韻律特徴差分ベクトルを計算する（Ｓ３３）。さらに、原言語の各単語に対応する目的言語翻訳結果と、原言語の韻律特徴差分ベクトルとに基づいて、韻律変換データベースの検索条件を作成する。
【００５２】
次に、プロセッサ２は、原言語の単語と目的言語翻訳結果の言語解析ベクトル部分（図６参照）とが一致するレコードを韻律変換データベース４０から検索し、一致するレコードが取得できたか否かを判定する（Ｓ３４）。一致するレコードが検索できない場合には（Ｓ３４の結果が「Ｎｏ」）、エラー処理を実行し（Ｓ３６）、変換作業を終了する。
【００５３】
一方、プロセッサ２は、言語解析ベクトル部分が一致するレコードが存在する場合には（Ｓ３４の結果が「Ｙｅｓ」）、韻律変換データベース４０から検索されたレコードに対してＳ３５の処理を実行する。ここで、Ｓ３３の処理で取得された原言語の韻律差分ベクトルと事前に作成された候補原言語韻律差分ベクトルとのユークリッド距離が最小になる場合、当該距離を最小ベクトル距離と定義する。Ｓ３５の処理では、最小ベクトル距離となる原言語韻律特徴差分ベクトル、すなわち、原言語の最尤韻律特徴差分ベクトルを検索する。Ｓ３５の処理で取得された原言語の韻律差分ベクトルの最小ベクトル距離に対応する目的言語韻律差分ベクトルを最尤的な目的言語の韻律差分ベクトルとして選択する。
【００５４】
次に、プロセッサ２は、選択された目的言語の韻律差分ベクトルと、目的言語標準韻律コーパス３５０に含まれる目的言語の標準特徴ベクトルを用いて、目的言語の韻律特徴ベクトルを計算する（Ｓ３７）。最後に、生成された韻律特徴ベクトルに基づいて、目的言語韻律特徴生成部３２０によって、目的言語の韻律特徴パターンを生成する（Ｓ３８）。
【００５５】
さらに具体的に説明すると、原言語が日本語、目的言語が英語の場合、入力された日本語原音声のピッチパターンと、標準パターンとの差分を計測する。計測された差分値を基づいて、翻訳部２０で取得された翻訳結果によって、対応する英語内容の適切なストレスパターンを推定できる。
【００５６】
また、別の例として、原言語が日本語、目的言語が中国語の場合、入力された日本語疑問文の韻律特徴に反映する全体的なピッチパターン特徴と、標準パターンとの差分を計測する。計測された差分値を基づいて、対応する中国語疑問文の適切なピッチパターンを生成することができる。
【００５７】
音声合成部５０は、目的言語で翻訳された文字列を入力し、変換された目的言語の韻律特徴に基づいて音声を合成して出力部６から出力する。音声合成処理は既存の技術を利用し、ここでは詳しくは言及しない。
【００５８】
本発明の第１の実施の形態によれば、入力された原言語の韻律特徴パターンに基づいて、出力する目的言語の韻律特徴パターンを生成し、出力する音声情報を合成することによって、より自然な発声で出力される音声翻訳を実現することができる。例えば、入力された音声情報と類似する声質で出力音声を合成することができる。さらに、入力音声のアクセント又は声量によって、又は、強調した単語などに基づいて、ニュアンスの違いについても対応することが可能である。
【００５９】
（第２の実施の形態）
本発明の第１の実施の形態では、あらかじめ入力された韻律変換データベース４０に基づいて、入力音声を翻訳する場合について説明したが、本発明の第２の実施の形態では、利用者によるデータの追加及び更新によって、韻律変換データベース４０に学習機能を備える場合について説明する。
【００６０】
なお、本発明の第２の実施の形態において、本発明の第１の実施の形態と共通する内容については適宜説明を省略する。
【００６１】
図８は、本発明の第２の実施の形態の音声翻訳装置１の入力部５及び出力部６を説明する図である。
【００６２】
本発明の第２の実施の形態の音声翻訳装置１は、入出力画面Ｄ１０、マイクの入力部Ｄ２０、マイクのボリューム調整部Ｄ３０、スピーカー出力部Ｄ４０、及びスピーカーのボリューム調整部Ｄ５０を含む。
【００６３】
入出力画面Ｄ１０は、タッチパネルとなっており、韻律変換データベース４０のレコードの表示、変更及び追加を受け付けるＧＵＩインターフェースである。入出力画面Ｄ１０は、前述したように、第１の実施の形態の特徴変更修正部１５０及び言語修正変更部１６０に修正項目を入力するＧＵＩとしても機能させることができる。
【００６４】
音声翻訳装置１では、マイクの入力部Ｄ２０にマイクを接続し、マイクのボリューム調整部Ｄ３０でボリュームを調整する。さらに、スピーカー出力部Ｄ４０にスピーカーを接続し、スピーカーのボリューム調整部Ｄ５０で音量を調整する。
【００６５】
図９は、本発明の第２の実施の形態の音声翻訳装置１の入出力画面Ｄ１０の一例を示す図である。
【００６６】
入出力画面Ｄ１０は、原言語種類選択ボタン１５０１、目的言語種類選択ボタン１５０２、翻訳ボタン１５０３、再生ボタン１５０４、原言語入力表示部１５０５、目的言語変換結果表示部１５０６、目的言語変換結果選択部１５０７、及び、更新ボタン１５０８を備える。
【００６７】
原言語種類選択ボタン１５０１は、音声翻訳装置１のマイクの入力部Ｄ２０から入力された原言語音声の原言語の種類を選択する。目的言語種類選択ボタン１５０２は、原言語を翻訳する目的言語を選択する。
【００６８】
翻訳ボタン１５０３は、翻訳を実行する。再生ボタン１５０４は、音声情報を再度出力させる場合に操作する。
【００６９】
原言語入力表示部１５０５は、音声翻訳装置１のマイクの入力部Ｄ２０から入力された原言語音声が入力処理部１０によって処理された結果を表示する。原言語入力表示部１５０５では、出力された内容を変更することができる。原言語入力表示部１５０５の内容を変更し、翻訳ボタン１５０３を操作することによって、入力修正された原言語の言語解析結果及び韻律特徴パターンを、翻訳部２０及び韻律特徴変換部３０によって、原言語の音声内容から目的言語に翻訳することができる。
【００７０】
また、目的言語変換結果表示部１５０６には、翻訳部２０及び韻律特徴変換部３０の処理結果として、目的言語の翻訳結果に対応する韻律特徴パターンが表示される。また、目的言語変換結果表示部１５０６には、複数の目的言語変換結果を表示することができる。利用者は、最適な目的言語変換結果を選択し、対応する目的言語変換結果選択部１５０７を操作することによって、出力結果に選択した韻律特徴パターンを反映させることができる。翻訳ボタン１５０３を操作すると、選択された目的言語変換結果に基づいて、音声合成部５０によって目的言語の音声を合成し、合成された音声がスピーカー出力部Ｄ４０から出力される。また、目的言語変換結果表示部１５０６に表示された内容そのものを変更するようにしてもよい。
【００７１】
さらに、更新ボタン１５０８を操作すると、原言語入力表示部１５０５及び／又は目的言語変換結果表示部１５０６で変更された内容を韻律変換データベース４０に反映させることができる。
【００７２】
本発明の第２の実施の形態によれば、入力処理部１０による処理結果及び韻律特徴変換部３０による処理結果を修正することによって、修正事項を韻律変換データベース４０に学習させ、翻訳の精度をより向上させることができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１の実施の形態の音声翻訳装置の構成を示す図である。
【図２】本発明の第１の実施の形態の各構成の処理の関係を説明する図である。
【図３】本発明の第１の実施の形態の音声翻訳処理の全体の手順を示すフローチャートである。
【図４】本発明の第１の実施の形態の入力処理部の構成を示す図である。
【図５】本発明の第１の実施の形態の韻律特徴変換部の構成を示す図である。
【図６】本発明の第１の実施の形態の韻律変換データベースの構成の一例を示す図である。
【図７】本発明の第１の実施の形態の韻律特徴変換部の処理の手順を示すフローチャートである。
【図８】本発明の第２の実施の形態の音声翻訳装置の入力部及び出力部を含む図である。
【図９】本発明の第２の実施の形態の音声翻訳装置の入出力画面の一例を示す図である。
【符号の説明】
【００７４】
１    音声翻訳装置
２    プロセッサ
３    主メモリ
４    記憶部
５    入力部
６    出力部
１０    入力処理部
２０    翻訳部
３０    韻律特徴変換部
４０    韻律変換データベース
５０    音声合成部
６０    言語標準韻律コーパス
１１０    音声特徴抽出部
１２０    音声認識部
１３０    言語解析部
１４０    選択結果対象表示修正手段
１５０    特徴変更修正部
１６０    言語修正変更部
３１０    韻律特徴差分計測部
３２０    目的言語韻律特徴生成部
３３０    差分変換部
３４０    原言語標準韻律コーパス
３５０    目的言語標準韻律コーパス
【図１】
2009186820.tif 000003
【図２】
2009186820.tif 000004
【図３】
2009186820.tif 000005
【図４】
2009186820.tif 000006
【図５】
2009186820.tif 000007
【図６】
2009186820.tif 000008
【図７】
2009186820.tif 000009
【図８】
2009186820.tif 000010
【図９】
2009186820.tif 000011