(57)【特許請求の範囲】
【請求項１】
入力された音声の特徴を抽出して特徴ベクトルを出力する特徴抽出手段と、
上記特徴抽出手段からの特徴ベクトルに対して、音声認識用の複数の照合情報として、音響モデル、単語情報、意味構文解析文法情報をそれぞれ照合して、上記入力された音声の音声認識を行い、認識した音声が示す文章を出力する音声認識照合手段と、
上記音声認識照合手段が認識した音声が示す文章を、入力された音声の言語と異なる言語の文章に翻訳する翻訳処理手段と、
上記翻訳処理手段により翻訳された言語の文章を、複数の修正情報から最適な修正情報を用いて修正する文修正手段と、
上記文修正手段の修正結果を出力する出力手段と、
上記音声認識照合手段が認識した文章の傾向を上記音響モデル、単語情報及び意味構文解析文法情報に分類して、入力された音声の発話者による利用頻度により重み付けして示した履歴情報を蓄積する履歴情報蓄積手段と、
上記音声認識照合手段が音声認識結果を出力する毎に、当該音声認識結果と上記履歴情報蓄積手段に蓄積されている履歴情報とを対比して、累積学習機能により上記履歴情報蓄積手段に蓄積されている履歴情報を更新する累積学習手段とを備え、
上記履歴情報蓄積手段は、蓄積している履歴情報に基づいて、上記音声認識情報手段が用いる照合情報の絞り込み及び／又は上記文修正手段が用いる修正情報の絞り込みを制御し、
上記累積学習手段は、上記履歴情報蓄積手段に蓄積される上記意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正手段が用いる修正情報の絞り込みを行うことを特徴とする音声翻訳装置。
【請求項２】
上記履歴情報蓄積手段は、リセットにより、蓄積していた履歴情報を消去して、上記音声認識照合手段の認識結果を新たな履歴情報として蓄積することを特徴とする請求項１記載の音声翻訳装置。
【請求項３】
入力された音声の特徴を抽出して特徴ベクトルを生成し、生成された特徴ベクトルに対して、音声認識用の複数の照合情報をそれぞれ照合して、上記入力された音声を認識する音声認識処理を行い、上記音声認識処理により認識した音声が示す文章を上記入力された音声の言語と異なる言語の文章に翻訳する翻訳処理を行い、上記翻訳処理により翻訳した文章を複数の修正情報から最適な修正情報を用いて修正する修正処理を行い、上記修正処理により修正した文章を出力するに当たり、
上記音声認識処理により、入力された音声の特徴を抽出して生成された特徴ベクトルに対して、上記音声認識用の複数の照合情報として、音響モデル、単語情報、意味構文解析文法情報をそれぞれ照合して、上記入力された音声を認識し、認識した音声が示す文章を生成し、
上記音声認識処理により認識した音声が示す文章の傾向を上記音響モデル、単語情報及び意味構文解析文法情報に分類して、入力された音声の発話者による利用頻度により重み付けして示した履歴情報を蓄積し、
上記音声認識処理を行う毎に、当該音声認識結果と音声認識済みの文章の傾向を示す上記履歴情報とを対比して、累積学習機能により上記履歴情報を更新し、
更新された履歴情報に基づいて、上記音声認識処理に用いる照合情報の絞り込み及び／又は上記文修正処理に用いる修正情報の絞り込みを制御し、
上記意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正処理に用いる修正情報の絞り込みを行い、
上記翻訳処理により翻訳された文章を上記文修正処理により修正して出力することを特徴とする音声翻訳方法。
【請求項４】
音声翻訳装置に搭載されるコンピュータにより、読み取り実行可能に音声翻訳制御プログラムを記録した記録媒体であって、
入力された音声の特徴を抽出して特徴ベクトルを生成し、生成された特徴ベクトルに対して、音声認識用の複数の照合情報をそれぞれ照合して、上記入力された音声を認識する音声認識処理を行い、上記音声認識処理により認識した音声が示す文章を上記入力された音声の言語と異なる言語の文章に翻訳する翻訳処理を行い、上記翻訳処理により翻訳した文章を複数の修正情報から最適な修正情報を用いて修正する修正処理を行い、上記修正処理により修正した文章を出力するに当たり、上記音声認識処理により、入力された音声の特徴を抽出して生成された特徴ベクトルに対して、上記音声認識用の複数の照合情報として、音響モデル、単語情報、意味構文解析文法情報をそれぞれ照合して、上記入力された音声を認識し、認識した音声が示す文章を生成し、上記音声認識処理により認識した音声が示す文章の傾向を上記音響モデル、単語情報及び意味構文解析文法情報に分類して、入力された音声の発話者による利用頻度により重み付けして示した履歴情報を蓄積し、上記音声認識処理を行う毎に、当該音声認識結果と音声認識済みの文章の傾向を示す上記履歴情報とを対比して、累積学習機能により上記履歴情報を更新し、更新された履歴情報に基づいて、上記音声認識処理に用いる照合情報の絞り込み及び／又は上記文修正処理に用いる修正情報の絞り込みを制御し、上記意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正処理に用いる修正情報の絞り込みを行い、上記翻訳処理により翻訳された文章を上記文修正処理により修正して出力する処理を上記コンピュータに実行させる音声翻訳制御プログラムを記録してなることを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された音声を他の言語に翻訳する音声翻訳装置、音声翻訳方法及び音声翻訳制御プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
今日、音声認識技術の進歩に伴い、認識した音声を他の言語に翻訳する音声翻訳装置が開発されている。音声翻訳装置は、一般に、様々のユーザに対応することができるように、不特定話者対応の認識エンジンを使用している。
【０００３】
このような音声翻訳装置１００は、図１に示すように、例えばマイクからなる入力部１０２と、音声から特徴を抽出する特徴抽出部１０３と、音声認識照合部１０４と、音韻などの関係を表す音響モデルを記憶する音響モデル記憶部１０５と、単語と音響モデルの対応を表す単語辞書を記憶する単語辞書記憶部１０６と、単語の接続を表す文法（一般的に統計言語モデルが使用される。）を記憶する文法記憶部１０７とを備える。
【０００４】
入力部１０２は、入力される音声を音声信号に変換し、さらにディジタル化して特徴抽出部１０３に供給する。特徴抽出部１０３は、音声信号から特徴ベクトル列を算出し、これを音声認識照合部１０４に供給する。
【０００５】
音声認識照合部１０４は、上記特徴ベクトル、音響モデル記憶部１０５に記憶されている音響モデル、単語辞書記憶部１０６に記憶されている単語辞書、文法記憶部１０７に記憶されている文法を用いて、どの単語列が発声されたかを照合する。
【０００６】
また、上記音声翻訳装置１００は、音声認識照合部１０４からの照合結果が供給される翻訳処理部１０８と、変換情報記憶部１０９と、文修正部１１０と、誤りのある文章を修正するための修正ルールに関する情報が記憶されている修正情報記憶部１１１と、例文の置き換えに関する情報が記憶されている文法情報記憶部１１２と、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）からなる結果提示部１１３とを備える。
【０００７】
翻訳処理部１０８は、上記照合結果について、多数の例文情報を記憶する変換情報記憶部１０９を用いて粗い翻訳を実行し、この翻訳結果を文修正部１１０に供給する。文修正部１１０は、修正情報記憶部１１１や文法情報記憶部１１２に記憶されている情報を用いて、翻訳処理部１０８の翻訳結果の細かい修正を実行する。
【０００８】
そして、結果提示部１１３は、文修正部１１０の修正結果を表示することによって、入力音声の翻訳結果を表示している。
【０００９】
このような音声翻訳装置１００は、不特定話者対応の認識エンジンを使用しているため、ユーザを特定しないで済む利点がある一方で、特定話者の発話形態、使用語彙の範囲、発話の癖等が一定である事実を判別することが困難である。このため、上記音声翻訳装置１００は、各個人用に合わせて音声認識処理を行っていないので、必要でないものまで処理しなければならない。
【００１０】
また、上記音声翻訳装置１００は、ユーザ適応機能がなく、利用者の利用頻度、傾向などの結果保存手段を備えていないので、発話者としてのユーザと翻訳機のやり取りを最適化することができない。このため、音声翻訳装置１００は起こらなくていいエラーなどを引き起こす可能性がある。さらに、ユーザの個人的な好み、利用形態が特定できず、ユーザ個人に全く合致していない問題もある。
【００１１】
【発明が解決しようとする課題】
本発明は、このような実情に鑑みて提案されたものであり、処理速度を向上させるとともに、ユーザと翻訳機との最適化を図ることができる音声翻訳装置、音声翻訳方法及び音声翻訳制御プログラムを記録した記録媒体を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、音声翻訳装置であって、入力された音声の特徴を抽出して特徴ベクトルを出力する特徴抽出手段と、上記特徴抽出手段からの特徴ベクトルに対して、音声認識用の複数の照合情報として、音響モデル、単語情報、意味構文解析文法情報をそれぞれ照合して、上記入力された音声の音声認識を行い、認識した音声が示す文章を出力する音声認識照合手段と、上記音声認識照合手段が認識した音声が示す文章を、入力された音声の言語と異なる言語の文章に翻訳する翻訳処理手段と、上記翻訳処理手段により翻訳された言語の文章を、複数の修正情報から最適な修正情報を用いて修正する文修正手段と、上記文修正手段の修正結果を出力する出力手段と、上記音声認識照合手段が認識した文章の傾向を上記音響モデル、単語情報及び意味構文解析文法情報に分類して、入力された音声の発話者による利用頻度により重み付けして示した履歴情報を蓄積する履歴情報蓄積手段と、上記音声認識照合手段が音声認識結果を出力する毎に、当該音声認識結果と上記履歴情報蓄積手段に蓄積されている履歴情報とを対比して、累積学習機能により上記履歴情報蓄積手段に蓄積されている履歴情報を更新する累積学習手段とを備え、上記履歴情報蓄積手段は、蓄積している履歴情報に基づいて、上記音声認識情報手段が用いる照合情報の絞り込み及び／又は上記文修正手段が用いる修正情報の絞り込みを制御し、上記累積学習手段は、上記履歴情報蓄積手段に蓄積される上記意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正手段が用いる修正情報の絞り込みを行うことを特徴とする。
【００１３】
上記音声翻訳装置では、音声認識照合手段が認識した文章の傾向を上記音響モデル、単語情報及び意味構文解析文法情報に分類して、入力された音声の発話者による利用頻度により重み付けして示した履歴情報を履歴情報蓄積手段に蓄積し、音声認識照合手段が音声認識結果を出力する毎に、累積学習機能により当該音声認識結果と上記履歴情報蓄積手段に蓄積されている履歴情報とを対比し、上記履歴情報蓄積手段に蓄積されている履歴情報を更新する。そして、上記履歴情報蓄積手段は、蓄積している履歴情報に基づいて、上記音声認識情報手段が用いる照合情報の絞り込み及び／又は上記文修正手段が用いる修正情報の絞り込みを制御し、上記累積学習手段は、上記履歴情報蓄積手段に蓄積される上記意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正手段が用いる修正情報の絞り込みを行う。すなわち、人工知能による累積学習により、音声翻訳時における照合情報の絞り込みや翻訳された文章を修正するときの修正情報の絞り込みを行い、しかも履歴情報蓄積手段に蓄積される意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正手段が用いる修正情報の絞り込みを行うので、音声翻訳の処理速度及び性能を向上させ、個々のユーザに対する最適化を行うことができる。
【００１４】
また、本発明は、音声翻訳方法であって、入力された音声の特徴を抽出して特徴ベクトルを生成し、生成された特徴ベクトルに対して、音声認識用の複数の照合情報をそれぞれ照合して、上記入力された音声を認識する音声認識処理を行い、上記音声認識処理により認識した音声が示す文章を上記入力された音声の言語と異なる言語の文章に翻訳する翻訳処理を行い、上記翻訳処理により翻訳した文章を複数の修正情報から最適な修正情報を用いて修正する修正処理を行い、上記修正処理により修正した文章を出力するに当たり、上記音声認識処理により、入力された音声の特徴を抽出して生成された特徴ベクトルに対して、上記音声認識用の複数の照合情報として、音響モデル、単語情報、意味構文解析文法情報をそれぞれ照合して、上記入力された音声を認識し、認識した音声が示す文章を生成し、上記音声認識処理により認識した音声が示す文章の傾向を上記音響モデル、単語情報及び意味構文解析文法情報に分類して、入力された音声の発話者による利用頻度により重み付けして示した履歴情報を蓄積し、上記音声認識処理を行う毎に、当該音声認識結果と音声認識済みの文章の傾向を示す上記履歴情報とを対比して、累積学習機能により上記履歴情報を更新し、更新された履歴情報に基づいて、上記音声認識処理に用いる照合情報の絞り込み及び／又は上記文修正処理に用いる修正情報の絞り込みを制御し、上記意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正処理に用いる修正情報の絞り込みを行い、上記翻訳処理により翻訳された文章を上記文修正処理により修正して出力することを特徴とする。
【００１５】
上記音声翻訳方法では、音声認識処理により、入力された音声の特徴を抽出して生成された特徴ベクトルに対して、音声認識用の複数の照合情報として、音響モデル、単語情報、意味構文解析文法情報をそれぞれ照合して、上記入力された音声を認識し、認識した音声が示す文章を生成し、上記音声認識処理により認識した音声が示す文章の傾向を上記音響モデル、単語情報及び意味構文解析文法情報に分類して、入力された音声の発話者による利用頻度により重み付けして示した履歴情報を蓄積し、上記音声認識処理を行う毎に、当該音声認識結果と音声認識済みの文章の傾向を示す上記履歴情報とを対比して、累積学習機能により上記履歴情報を更新し、更新された履歴情報に基づいて、上記音声認識処理に用いる照合情報の絞り込み及び／又は上記文修正処理に用いる修正情報の絞り込みを制御し、上記意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正処理に用いる修正情報の絞り込みを行い、上記翻訳処理により翻訳された文章を上記文修正処理により修正して出力する。すなわち、人工知能による累積学習により、音声翻訳時における照合情報の絞り込みや翻訳された文章を修正するときの修正情報の絞り込みを行い、しかも履歴情報蓄積手段に蓄積される意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正手段が用いる修正情報の絞り込みを行うので、音声翻訳の処理速度及び性能を向上させ、個々のユーザに対する最適化を行うことができる。
【００１６】
さらに、本発明は、音声翻訳装置に搭載されるコンピュータにより、読み取り実行可能に音声翻訳制御プログラムを記録した記録媒体であって、入力された音声の特徴を抽出して特徴ベクトルを生成し、生成された特徴ベクトルに対して、音声認識用の複数の照合情報をそれぞれ照合して、上記入力された音声を認識する音声認識処理を行い、上記音声認識処理により認識した音声が示す文章を上記入力された音声の言語と異なる言語の文章に翻訳する翻訳処理を行い、上記翻訳処理により翻訳した文章を複数の修正情報から最適な修正情報を用いて修正する修正処理を行い、上記修正処理により修正した文章を出力するに当たり、上記音声認識処理により、入力された音声の特徴を抽出して生成された特徴ベクトルに対して、上記音声認識用の複数の照合情報として、音響モデル、単語情報、意味構文解析文法情報をそれぞれ照合して、上記入力された音声を認識し、認識した音声が示す文章を生成し、上記音声認識処理により認識した音声が示す文章の傾向を上記音響モデル、単語情報及び意味構文解析文法情報に分類して、入力された音声の発話者による利用頻度により重み付けして示した履歴情報を蓄積し、上記音声認識処理を行う毎に、当該音声認識結果と音声認識済みの文章の傾向を示す上記履歴情報とを対比して、累積学習機能により上記履歴情報を更新し、更新された履歴情報に基づいて、上記音声認識処理に用いる照合情報の絞り込み及び／又は上記文修正処理に用いる修正情報の絞り込みを制御し、上記意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正処理に用いる修正情報の絞り込みを行い、上記翻訳処理により翻訳された文章を上記文修正処理により修正して出力する処理を上記コンピュータに実行させる音声翻訳制御プログラムを記録してなることを特徴とする。
【００１７】
上記音声翻訳制御プログラムを記録した記録媒体では、音声翻訳装置に搭載されるコンピュータにより上記音声翻訳制御プログラムを読み取り実行させることができる。
【００１８】
【発明の実施の形態】
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
【００１９】
本発明は、例えば図２に示す構成の音声翻訳装置１に適用することができる。
【００２０】
上記音声翻訳装置１は、音声が入力される入力部２と、入力された音声の特徴を抽出する特徴抽出部３と、音声認識照合部４と、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）モデルが記憶されている音響モデル記憶部５と、単語と音響モデルの対応を表す単語辞書を記憶する単語辞書記憶部６と、単語の接続を表す文法等を記憶する意味構文解析文法記憶部７と、認識した音声結果を累積学習する人工知能学習部８と、履歴情報を記憶する学習履歴部９とを備える。
【００２１】
入力部２は、例えばマイクからなり、入力された音声を音声信号に変換し、さらにこれをディジタル化して、特徴抽出部３に供給する。
【００２２】
特徴抽出部３は、上記音声信号の周波数分析を行って音声信号のパワースペクトルを得る。そして、音声区間ではない信号区間をノイズ区間としてこのノイズ区間のスペクトルを求めておいて、音声区間でこのノイズスペクトルを引く処理を行う。さらに、周波数分析結果のパワースペクトルをそのまま持っていたのではパラメータの次元が多いことから、適当な次元に圧縮処理して特徴量たる特徴ベクトルを時系列的に抽出する。
【００２３】
音声認識照合部４は、上記特徴ベクトルについて、音響モデル記憶部５、単語辞書記憶部６、意味構文解析文法記憶部７とを用いて、どの単語列が発声されたかを照合する。ここで、単語辞書記憶部６は、名詞、動詞、接続詞等の様々の単語に関する情報を記憶しているものである。意味構文解析文法記憶部７は、統計的（ストキャスティック：ｓｔｏｃｈａｓｔｉｃ）言語モデル７ａと、ルールベース（シンボリック：ｓｙｍｂｏｌｉｃ）文法７ｂとから構成される。これにより、例えば、Ｈｅａｄ−Ｄｒｉｖｅｎ Ｐｈｒａｓｅ Ｓｔｒｕｃｔｕｒｅ Ｇｒａｍｍａｒ等の汎用の言語解析理論を利用することができ、人工知能学習機能を用いて、容易に音声認識を行うことができる。
【００２４】
すなわち、音声認識照合部４は、特徴ベクトルとＨＭＭモデルとを照合して１語１語を認識し、次に、単語辞書記憶部６との照合を行うことで各単語を認識し、そして、意味構文解析文法記憶部７との照合を行うことで構文を認識して、入力された音声を文章として認識し、この音声認識結果を出力する。このとき、音声認識照合部４は、音響モデル記憶部５、単語辞書記憶部６、意味構文解析文法記憶部７に記憶されている情報のうち複数の認識候補から絞り込みを行って、認識結果を人工知能学習部８に供給する。
人工知能学習部８は、文献（Ｓ．Ｒｕｓｓｅｌｌ ＆ Ｎｏｒｖｉｇ（１９９５）Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ；Ａ Ｍｏｄｅｒｎ Ａｐｐｒｏａｃｈ，Ｐａｒｅｎｔｉｃｅ Ｈａｌｌ（日本語訳；古川康一（監訳）「人工知能 エージェント・アプローチ」共立出版、１９９８年）にあるような累積学習（ｃｕｍｕｌａｔｉｖｅ ｌｅａｒｎｉｎｇ）を用いた学習機能を有する。人工知能学習部８は、学習エージェントが蓄積される履歴情報から学習された情報（又はそのウェイト）をその都度改善しながら、ユーザの好みの情報等を帰納論理的（ｉｎｄｕｃｔｉｖｅ ｌｏｇｉｃａｌ）に的確に推論する。
【００２５】
文献Ｐ．Ｌａｎｇｌｅｙ「Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｆｏｒ Ａｄａｐｔｉｖｅ Ｕｓｅｒｅ Ｉｎｔｅｒｆａｃｅｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２１ｓｔ Ｇｅｒｍａｎ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｐｐ．５３−６２．Ｆｒｅｉｂｕｒｇ，Ｇｅｒｍａｎｙ：Ｓｐｒｉｎｇｅｒ．１９９７年）は、既存のシステム・ユーザ間の適応（ａｄａｐｔｉｖｅ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）が、ほとんど一般ユーザ全体に対してのマクロ的な適応処理であり、各個人の好み、知識、経験、目的等に対しての適応といった処理が、ほとんど存在しなかったことを指摘している。しかし、ここでいう人工知能部８とは、各ユーザがシステムを調整することなしに、システム自体がユーザからの反応・使用方法に応じてその個人の使用目的に最も適合したシステムを実現するために学習し、適応する機能を有する。
【００２６】
ここにいうユーザの好みとは、例えばユーザたる発話者の構文的・意味的発話形態、使用する語彙の範囲、頻度、さらに発話の癖等である。人工知能学習部８は、これらのユーザの好みを、音響モデル、単語辞書、及び意味構文解析文法に分類して、統計的優先度の指標を付して、学習履歴部９に蓄積する。具体的には、人工知能学習部８は、学習履歴部９に蓄積されている履歴情報に何回同じアクセスがあったかをカウントし、学習履歴情報に重み付けをして、重み付けの小さい項目を除外していく。このように処理された知識は、ユーザの使用のたびに更新され、「使いやすさ」も同時に向上する。
【００２７】
人工知能学習部８の学習機能は、文献Ｌａｎｇｌｅｙ（１９９７年）のいうところの「Ｉｎｆｏｒｍａｔｉｖｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」及び「Ｇｅｎｅｒａｔｉｖｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」の両機能を有する。「Ｉｎｆｏｒｍａｔｉｖｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」とは、システム側からの反応においてユーザにとって興味のあるもの、有益なもののみを提供するように、システムが応答としての情報を選択又はフィルタする機能をいう。一方、「Ｇｅｎｅｒａｔｉｖｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」とは、ユーザにとって興味のある有益な情報をフィルタする機能とは違い、累積学習により新規にユーザの使用目的を満たすような知識構造（ｋｎｏｗｌｅｄｇｅ ｓｔｒｕｃｔｕｒｅ）を生成することを指す。これらの両機能があいまって発話者と翻訳機のやり取りを最適化する。
【００２８】
具体的には、「Ｇｅｎｅｒａｔｉｖｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」の一例として、ここでは発話者の利用形態に順応する機能から、翻訳機の不特定話者対応の音声認識部の処理を特定話者対応に変換し、音声認識処理を軽減させる機能がそれに当たる。システムは累積学習の結果、不特定対応言語モデルを新規に生成するが、これは上記の知識構造（ｋｎｏｗｌｅｄｇｅ ｓｔｒｕｃｔｕｒｅ）である。また、「Ｉｎｆｏｒｍａｔｉｖｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」としては、ここでの音声翻訳機としてのユーザ適応機能（例えば、ユーザが知っている情報などは詳しく翻訳する必要がない等）は、システム側からの応答においてユーザにとって興味のあるもの、有益なものを提供するために、システムが応答としての情報を選択又はフィルタする機能の例である。
【００２９】
学習履歴部９は、蓄積された学習履歴に基づいて、単語辞書記憶部６、意味構文解析文法記憶部７、後述する修正情報１３に制約をかけて、発話者の使用する頻度の少ない構文的・意味的言語構造や語彙の範囲を絞り込む。
【００３０】
そして、音声認識照合部４は、絞り込まれた範囲内で優先度の高い単語辞書記憶部６や意味構文解析文法記憶部７の情報を用いて、特徴ベクトルとの照合を行って、音声認識処理を行うことができる。
【００３１】
これにより、各ユーザに合致した「ユーザモデル」を構築し、音声認識処理の対象ドメインを縮小して、性能の向上及び処理の高速化を図ることができる。
【００３２】
なお、学習履歴部９は、リセット機能を有し、リセットされたときは蓄積していた履歴情報を消去して新たに音声認識された結果を履歴情報として蓄積する。
【００３３】
また、上記音声翻訳装置１は、音声認識照合部４の音声認識結果を所定の言語に翻訳する翻訳処理部１０と、例文情報が記憶されている変換情報記憶部１１と、翻訳済みの文章に修正を加える文修正部１２と、詳しい文章に修正するための情報が記憶されている修正情報記憶部１３と、文法に関する情報が記憶されている文法情報記憶部１４と、正確に翻訳された文章をユーザに提示する結果提示部１５とを備える。
【００３４】
翻訳処理部１０は、変換情報記憶部１１に記憶されている多数の例文情報を用いて、上記音声認識結果について粗い翻訳を実行し、この翻訳結果を文修正部１２に供給する。
文修正部１２は、修正情報記憶部１３に記憶されている修正情報を用いて、粗く翻訳された文章を詳しく正確な文章に修正したり、文法情報記憶部１４に記憶されている文法上の誤りを訂正するための情報を用いて、翻訳結果の細かな修正を行う。
【００３５】
ここで、修正情報記憶部１３に記憶されている修正情報は、学習履歴部９にアクセスして蓄積された意味構文解析文法記憶部７の情報に作用される。すなわち、学習履歴部９は、意味構文解析文法記憶部７に関する履歴情報のうち、繰り返し使用される意味構文については詳しく翻訳する必要がないものと判定し、それほど詳しく翻訳しないように修正情報記憶部１３を制御することで最適化を図っている。
【００３６】
そして、文修正部１２は、何度も繰り返される意味構文については、あまり詳しくしないで文章を修正する。これにより、発話者が同じ内容の文章を繰り返しはなした場合には、繰り返しの文章部分についてはあまり詳しく翻訳しないので、翻訳された文章がくどくなることを回避することができる。
【００３７】
結果提示部１５は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）からなり、文修正部１２からの翻訳結果を文章等により提示する。これにより、ユーザは、翻訳された文章を視覚により理解することができる。
【００３８】
以上のように、上記音声翻訳装置１は、ユーザの好み等の個人情報で対象ドメインを縮小し、性能の向上化、処理の高速化を図り、発話者と翻訳機とのやり取りを最適化することができる。
【００３９】
また、人工知能学習部８を備えることによって、ユーザの特有の構文的・意味的発話形態、使用する語彙の範囲や頻度を学習することができるので、より高速に音声認識処理を行うことができる。
【００４０】
また、累積学習により学習履歴部９に蓄積された履歴情報は、リセット機能によりクリアすることができる。したがって、使用するユーザが変わっても、当該ユーザに対応して音声翻訳を行うことができる。すなわち、不特定話者対応型と特定話者対応型の切替えが可能であり、それぞれの利点を考慮しながら、状況に合わせて使用することができる。
【００４１】
なお、本実施の形態では、結果提示部１５はＣＲＴやＬＣＤからなるディスプレイとして説明したが、本発明はこれに限定されるものではなく、結果提示部１５は例えば翻訳された言語を音声で出力するスピーカであってもよいし、翻訳された結果のデータを外部に送信する送信回路等であってもよい。
【００４２】
さらに、上述した処理を行う音声翻訳制御プログラムを記録した記録媒体から当該制御プログラムをコンピュータ装置にインストールすることによって、上述した処理を実行することもできる。
【００４３】
【発明の効果】
以上詳細に説明したように、本発明に係る音声翻訳装置、音声翻訳方法及び音声翻訳制御プログラムを記録した記録媒体によれば、音声認識処理により、入力された音声の特徴を抽出して生成された特徴ベクトルに対して、音声認識用の複数の照合情報として、音響モデル、単語情報、意味構文解析文法情報をそれぞれ照合して、上記入力された音声を認識し、認識した音声が示す文章を生成し、上記音声認識処理により認識した音声が示す文章の傾向を上記音響モデル、単語情報及び意味構文解析文法情報に分類して、入力された音声の発話者による利用頻度により重み付けして示した履歴情報を蓄積し、上記音声認識処理を行う毎に、当該音声認識結果と音声認識済みの文章の傾向を示す上記履歴情報とを対比して、累積学習機能により上記履歴情報を更新し、更新された履歴情報に基づいて、上記音声認識処理に用いる照合情報の絞り込み及び／又は上記文修正処理に用いる修正情報の絞り込みを制御し、上記意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正処理に用いる修正情報の絞り込みを行い、上記翻訳処理により翻訳された文章を上記文修正処理により修正して出力する。すなわち、人工知能による累積学習により、音声翻訳時における照合情報の絞り込みや翻訳された文章を修正するときの修正情報の絞り込みを行い、しかも履歴情報蓄積手段に蓄積される意味構文解析文法情報に関する履歴情報のうち、使用頻度の高い意味構文解析文法情報については詳しく修正しないように、上記文修正手段が用いる修正情報の絞り込みを行い、音声翻訳の処理速度及び性能を向上させるとともに、個々のユーザに対する最適化を行うことができる。
【図面の簡単な説明】
【図１】  図１は、従来の音声翻訳装置の構成を示すブロック図である。
【図２】  図２は、本発明を適用した音声翻訳装置の構成を示すブロック図である。
【図１】
0004538954.tif 000002
【図２】
0004538954.tif 000003