(57)【要約】【課題】ＩＣレコーダーなどの音声信号記録装置で一旦コーデック変換した音声信号を精度良く音声認識し、リアルタイム処理及びバッチ処理のいずれの処理も可能な音声通訳システムを提供する。【解決手段】音声認識装置２２０は、音声認識に先立ち、音声信号記録装置２１０のモニター機能を利用し、コーデック変換部２１２で圧縮及び伸張された音声信号を用いて、音声認識させたい人の声の特徴データを抽出するトレーニング作業をリアルタイムで行い、抽出された特徴データをトレーニングデータとして記録する。次に音声認識装置２２０は、前記トレーニングデータに基づき、コーデック変換部２１２からの音声信号をテキストデータに変換する。その後、翻訳装置２３０で音声認識によって得られたテキストデータを翻訳し、音声合成装置２４０で、翻訳によって得られたテキストデータを音声合成し、得られた音声信号を音声として再生する。【選択図】図２
2007047291.tif 000002
【特許請求の範囲】
【請求項１】
音声を音声信号に変換する音声信号入力部、前記音声信号入力部からの音声信号を圧縮及び／又は伸張するコーデック変換部並びに前記コーデック変換部において圧縮された音声信号を記録する音声信号記録部を少なくとも含む音声信号記録装置と、
前記コーデック変換部から出力された音声信号を音声認識する音声認識装置と、
前記音声認識装置から出力されたテキストデータを翻訳する翻訳装置と、
前記翻訳装置から出力されたテキストデータを音声合成し音声信号として出力する音声合成装置とを備え、
前記音声認識装置は、音声認識に先立ち、前記音声信号記録装置のコーデック変換部で圧縮及び伸張された音声信号を用いて、音声認識させたい人の声の特徴データを抽出するトレーニング作業をリアルタイムで行い、抽出された特徴データをトレーニングデータとして記録することを特徴とする音声通訳システム。
【請求項２】
前記音声信号記録装置のコーデック変換部は、前記音声信号入力部からの音声信号を圧縮及び伸張した後出力し、前記音声認識装置は、前記トレーニングデータに基づき、前記コーデック変換部からの音声信号をテキストデータに変換することを特徴とする請求項１に記載の音声通訳システム。
【請求項３】
前記音声信号記録装置のコーデック変換部は、前記音声信号記録部に記録された音声信号を伸張して出力し、前記音声認識装置は、前記トレーニングデータに基づき、前記コーデック変換部からの音声信号をテキストデータに変換することを特徴とする請求項１に記載の音声通訳システム。
【請求項４】
前記音声信号記録装置のコーデック変換部は、前記音声信号記録部の音声信号をファイル情報として出力し、前記音声認識装置は、前記トレーニングデータに基づき、前記コーデック変換部からのファイル情報をテキストデータに変換することを特徴とする請求項１に記載の音声通訳システム。
【請求項５】
前記音声認識装置はデータ記録部を備え、前記データ記録部は、前記音声信号記録装置の音声信号記録部に記録され、前記コーデック変換部で伸張された音声信号を記録すると共にファイル情報として出力し、前記音声認識装置は、前記トレーニングデータに基づき、前記データ記録部からの音声信号をテキストデータに変換することを特徴とする請求項１に記載の音声通訳システム。
【請求項６】
前記音声合成装置は、音声合成された音声信号を圧縮及び／又は伸張し、前記音声信号記録装置に転送することを特徴とする請求項１に記載の音声通訳システム。
【請求項７】
前記音声信号記録装置は更にテキスト表示部を備え、前記音声認識装置から出力されたテキストデータ及び翻訳によって得られたテキストデータの少なくとも一方を前記テキスト表示部に表示することを特徴とする請求項１に記載の音声通訳システム。
【請求項８】
印刷装置を更に備え、前記音声認識装置で音声認識され出力されたテキストデータ、または前記翻訳装置で翻訳され出力されたテキストデータを前記印刷装置に出力することを特徴とする請求項１に記載の音声通訳システム。
【請求項９】
音声を音声信号に変換する第１のステップ、前記第１のステップで得られた音声信号を圧縮及び／又は伸張する第２のステップ並びに前記第２のステップにおいて圧縮された音声信号を記録する第３のステップを少なくとも含む音声信号記録ステップと、
前記第２のステップで得られた音声信号を音声認識する音声認識ステップと、
前記音声認識ステップで得られたテキストデータを翻訳する翻訳ステップと、
前記翻訳ステップで得られたテキストデータを音声合成し音声信号として出力する音声合成ステップとを備え、
前記音声認識ステップにおいて、音声認識に先立ち、前記音声信号記録ステップの第２のステップで圧縮及び伸張された音声信号を用いて、音声認識させたい人の声の特徴データを抽出するトレーニング作業をリアルタイムで行い、抽出された特徴データをトレーニングデータとして記録することを特徴とする音声通訳方法。
【請求項１０】
前記音声信号記録ステップの第２のステップは、前記第１のステップで得られた音声信号を圧縮及び伸張し、前記音声認識ステップは、前記トレーニングデータに基づき、前記第２のステップで得られた音声信号をテキストデータに変換することを特徴とする請求項９に記載の音声通訳方法。
【請求項１１】
前記音声信号記録ステップの第２のステップは、前記第３のステップで得られた音声信号を伸張して出力し、前記音声認識ステップは、前記トレーニングデータに基づき、前記第２のステップで得られた音声信号をテキストデータに変換することを特徴とする請求項９に記載の音声通訳方法。
【請求項１２】
前記音声信号記録ステップの第２のステップは、前記第３のステップで記録された音声信号をファイル情報として出力し、前記音声認識ステップは、前記トレーニングデータに基づき、前記第２のステップで得られたファイル情報をテキストデータに変換することを特徴とする請求項９に記載の音声通訳方法。
【請求項１３】
前記音声認識ステップにおいて、前記音声信号記録ステップの第２のステップで伸張された音声信号をデータ記録部に記録すると共にファイル情報として出力し、前記トレーニングデータに基づき、テキストデータに変換することを特徴とする請求項９に記載の音声通訳方法。
【請求項１４】
前記音声合成ステップにおいて、音声合成された音声信号を圧縮及び／又は伸張して出力することを特徴とする請求項９に記載の音声通訳方法。
【請求項１５】
前記音声認識ステップで得られたテキストデータ及び翻訳によって得られたテキストデータの少なくとも一方を、テキスト表示部に表示するステップを更に備えたことを特徴とする請求項９に記載の音声通訳方法。
【請求項１６】
前記音声認識ステップで音声認識され出力したテキストデータ、または前記翻訳ステップで翻訳されたテキストデータを、印刷装置で印刷するステップを更に備えたことを特徴とする請求項９に記載の音声通訳方法。
【請求項１７】
請求項９から１６のいずれかに記載の音声通訳方法の少なくとも一部をコンピュータで実行するためのプログラム。
【請求項１８】
請求項９から１６のいずれかに記載の音声通訳方法の少なくとも一部をコンピュータで実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の処理が施された音声信号を音声認識によってテキストデータに変換し、そのテキストデータを翻訳し、更に翻訳した結果を音声合成によって音声出力する音声通訳システムおよび音声通訳方法に関する。
【背景技術】
【０００２】
近年、喋った言葉を直接テキスト文に変換する音声認識ソフトウェアが一般に使用されつつあり、普及し始めている。また、テキスト文を所望の言語に翻訳する翻訳ソフトウェアや、テキスト文を音声で読み上げてくれる音声合成ソフトウェアも普及し始めている。これらのソフトウェアは、それぞれ別々のパッケージソフトウェアとして提供され、パーソナルコンピュータなどにインストールされる。
【０００３】
音声認識ソフトウェアは、マイクロフォンを介して入力される音声信号に対して実行される。その際、音声認識させたい人の声の特徴を抽出して登録するトレーニング作業が必要で、認識精度の高い音声認識を行うには不可欠な作業となっている。
【０００４】
マイクロフォンを用いるトレーニングでは、従来、音声認識ソフトウェアのウイザード形式により、次々に文章がディスプレイ上に表示され、ユーザーは、その文章を読み上げることでマイクロフォンを通して音声入力し、ユーザーの声の特徴を登録するという方法が取られている。このウイザード形式のトレーニングでは、表示された文章をユーザーが正しく読むとハイライト表示する機能が組み込まれ、間違った文章を読み上げると先に進めないため、精度の高いトレーニングが可能である。
【０００５】
一方、翻訳ソフトウェアは、入力したテキストを所望の言語のテキストに変換する。例えば、日本語から英語に翻訳する場合、「こんにちは」と入力し、翻訳を実行すると、「Hello」と結果が返ってくる。
【０００６】
音声合成ソフトウェアは、入力したテキストを音声合成によって音声で読み上げる。例えば、「今日は良い天気ですね。」とテキストを入力し、音声合成を行うと、音声で「今日は良い天気ですね。」と読み上げてくれる。音声合成させるボイスの種類を変えることによって、男性の声、女性の声や、子供の声、大人の声などを切り替えて、同じテキスト文を様々な声で読み上げさせることができる。
【０００７】
特許文献１に、これらのソフトウェアの機能を用いた従来の自動翻訳装置及び自動通訳装置が開示されている。この従来の通訳方法を用いれば、マイクロフォンなどを通して喋った音声をテキストに変換し、そのテキストを複数の文字列分割パターンを参照して翻訳することで、翻訳結果を自然な文章にして出力できるという利点があり、その出力した文章を音声合成により読み上げることで、通訳機能を実現している。
【特許文献１】特開平８−２６３４９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の方法では、ＩＣレコーダーなどの音声信号記録装置に記録した音声データを音声認識させた後、翻訳し、更に音声合成によって音声信号に変換し、ＩＣレコーダーから通訳された音声や通訳の結果のテキスト表示を出力させることができなかった。
【０００９】
すなわち、従来の方法は、マイクロフォンを通じて音声認識を行っているので、音声認識の精度を高めるために、事前にリアルタイム処理によるトレーニングを行っているが、ＩＣレコーダーに記録した音声は、一旦圧縮され記録された音声を伸張したものであるので、マイクロフォンを通じてトレーニングを行った音声とは音質が異なり、トレーニングの結果を活用した精度の高い音声認識を行うことができなかった。
【００１０】
これに対し、ＩＣレコーダーに記録され、圧縮及び伸張を受けた音声信号を用いてトレーニングを行う方法も考えられるが、トレーニングをリアルタイムで行おうとした場合、ユーザーがディスプレイ上に表示された文章を読み上げ、ＩＣレコーダーに一旦記録した後、ＩＣレコーダーを再生モードに切り替えて音声信号を再生する必要があるが、文章を読み上げる都度、ＩＣレコーダーを記録モードから再生モードに切り替える必要があり、トレーニング用音声の入力に時間がかかると共に操作が煩雑となるため、リアルタイム処理でのトレーニングが困難であった。
【００１１】
そのため、ＩＣレコーダーでは、１５分から２０分程度の文章をユーザーが読み上げ、ＩＣレコーダーに録音した音声データを予め用意し、音声認識ソフトウェアは、その文章のテキストデータとその文章を読み上げた音声データを用いてトレーニング作業を行うという方法が採られていた。このような予め用意された文章を読み上げるトレーニング方法では、指定された文章を誤って読み上げても、そのまま読み続けるしかなく、おのずと認識精度の向上には限界があり、マイクロフォンを通じたリアルタイム処理による音声認識と比べて認識精度が悪く、用途が限られていた。
【００１２】
また、特許文献１に記載された従来の装置では、リアルタイムに通訳結果を聞き取ることは可能であるが、音声信号が保存されていないため、一回、通訳結果を出力すると、聞き直しをすることや、どのように通訳されたかをテキストデータとして、後で確認することができなかった。
【００１３】
本発明は上記従来の課題を解決するもので、ＩＣレコーダーなどの音声信号記録装置を用いて記録した音声信号（あるいは、所定の圧縮伸張処理が施された音声信号）について、マイクロフォンを用いて音声認識を行った場合と同程度の精度の音声認識を可能とし、しかも、ＩＣレコーダーなどの音声信号記録装置を用いて、喋った言葉をリアルタイムに音声認識することを可能にすると共に、音声認識したテキスト文を翻訳し、翻訳した結果を音声合成によって音声信号に変換した後、所定の圧縮伸張処理を施し、通訳結果である音声信号とテキストデータをＩＣレコーダーなどの音声信号記録装置に転送し記録して簡単に持ち出すことのできる、音声通訳システム及び音声通訳方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため本発明の音声通訳システムは、
音声を音声信号に変換する音声信号入力部、前記音声信号入力部からの音声信号を圧縮及び／又は伸張するコーデック変換部並びに前記コーデック変換部において圧縮された音声信号を記録する音声信号記録部を少なくとも含む音声信号記録装置と、
前記コーデック変換部から出力された音声信号を音声認識する音声認識装置と、
前記音声認識装置から出力されたテキストデータを翻訳する翻訳装置と、
前記翻訳装置から出力されたテキストデータを音声合成し音声信号として出力する音声合成装置とを備え、
前記音声認識装置は、音声認識に先立ち、前記音声信号記録装置のコーデック変換部で圧縮及び伸張された音声信号を用いて、音声認識させたい人の声の特徴データを抽出するトレーニング作業をリアルタイムで行い、抽出された特徴データをトレーニングデータとして記録することを特徴とするものである。
【００１５】
本発明において、音声認識装置は、音声信号記録装置の音声モニター機能を用いてリアルタイム処理によるトレーニング作業を実行し、トレーニングデータとして記録する。これによって、圧縮・伸張処理が施された音声信号を、リアルタイム処理、バッチ処理の如何を問わず、高精度にテキストデータに変換することが可能となり、その結果、翻訳精度も高まり、その後、音声合成によって音声信号に変換することで、優れた通訳機能を実現することができる。ここでモニター機能とは、音声信号記録装置へ音声信号を録音する際に、録音機能が間違いなく機能していることを監視する目的で、コーデック変換部で圧縮された音声信号をリアルタイムで伸張して出力する機能である。
【００１６】
本発明は、このモニター機能による出力信号を用いて、リアルタイム処理による音声認識を行うことができると共に、音声信号記録部に記録された音声信号を用いるバッチ処理による音声認識も行うことができる。
【００１７】
本発明の音声通訳システムにおいて、前記音声信号記録装置のコーデック変換部は、前記音声信号入力部からの音声信号を圧縮及び伸張した後出力し、前記音声認識装置は、前記トレーニングデータに基づき、前記コーデック変換部からの音声信号をテキストデータに変換することが好ましい。これにより、ユーザーは、従来のＩＣレコーダーなどの音声信号記録装置では実現できなかったリアルタイムでの音声認識が可能となる。
【００１８】
また前記音声信号記録装置のコーデック変換部は、前記音声信号記録部に記録された音声信号を伸張して出力し、前記音声認識装置は、前記トレーニングデータに基づき、前記コーデック変換部からの音声信号をテキストデータに変換することが好ましい。これにより、ユーザーが音声信号記録部に録音した録音済みの音声信号を再生するだけで、その音声信号をテキストデータに変換することができる。
【００１９】
同様に、前記音声信号記録装置のコーデック変換部は、前記音声信号記録部の音声信号をファイル情報として出力し、前記音声認識装置は、前記トレーニングデータに基づき、前記コーデック変換部からのファイル情報をテキストデータに変換することが好ましい。これにより、ユーザーは、音声信号記録部に保存した音声信号を再生せずとも、ファイル変換としてテキストデータが生成でき、そのテキストの翻訳もファイル単位で行うことで、作成時間短縮に有効に機能する。
【００２０】
また本発明の音声通訳システムにおいて、前記音声認識装置はデータ記録部を備え、前記データ記録部は、前記音声信号記録装置の音声信号記録部に記録され、前記コーデック変換部で伸張された音声信号を記録すると共にファイル情報として出力し、前記音声認識装置は、前記トレーニングデータに基づき、前記データ記録部からの音声信号をテキストデータに変換してもよい。これにより、ユーザーは、限りある音声信号記録部のメモリーサイズを開放し、新たなメモリー空間を得ることができると共に、音声認識させるためのデータ転送時間が不要となることで、より高速なテキスト変換処理が可能となり、その結果、音声通訳システム全体としてのスループットが向上する。
【００２１】
また前記音声合成装置は、音声合成された音声信号を圧縮及び／又は伸張し、前記音声信号記録装置に転送してもよい。これにより、ユーザーは、通訳結果を音声信号記録装置に転送して記録し、簡単に外に持ち出すことができる。
【００２２】
また前記音声信号記録装置は更にテキスト表示部を備え、前記音声認識装置から出力されたテキストデータ及び翻訳によって得られたテキストデータの少なくとも一方を前記テキスト表示部に表示してもよい。これにより、ユーザーは、ＩＣレコーダーなどの音声信号記録装置上に、通訳機能としての音声信号に加えて、テキストデータをも表示することができ、視覚的にも通訳機能としての機能を持つことができる。
【００２３】
また本発明の音声通訳システムは、印刷装置を更に備え、前記音声認識装置で音声認識され出力されたテキストデータ、または前記翻訳装置で翻訳され出力されたテキストデータを前記印刷装置に出力してもよい。これによりユーザーは通訳結果を印刷物と比較することができ、通訳結果の精度を確認することができる。
【００２４】
また、本発明は上記音声通訳システムを音声通訳方法として実施することが可能であり、更に、コンピュータで実行可能なプログラム、及びプログラムを記録したコンピュータで読み取り可能な記録媒体としても実現可能である。
【発明の効果】
【００２５】
本発明によれば、音声信号に所定の処理を施すＩＣレコーダーなどの音声信号記録装置でのリアルタイムでの音声認識を可能とし、記録した音声データも、マイクロフォンによる音声認識と同程度の高精度で音声認識できる。更に、音声認識によって得られたテキスト文と、その音声データのみならず、前記テキスト文を翻訳した翻訳テキスト文とこの翻訳テキスト文を音声合成によって読み上げた音声データを音声信号記録装置に記録することにより、手軽に外部に持ち出せるという優れた効果が得られる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態における音声認識システム及び音声認識方法について、図面を参照して説明する。
図１は、本発明の実施の形態における音声通訳方法を実現する音声通訳システムの構成図である。図１において、１０１はＩＣレコーダーに代表される音声信号記録装置であり、音声信号を出力するためのイヤホン端子Ｔ１を有する。１０１Ｄは音声信号記録装置１０１上のディスプレイ画面であり、音声信号記録装置１０１に記録された音声データの情報を表示する。１０２はパーソナルコンピュータ（以下、ＰＣと称す）であり、音声認識ソフトウェア１１１、翻訳ソフトウェア１１２、音声合成ソフトウェア１１３が実行可能な状態でインストールされており、マイク端子（または、ラインイン端子）Ｔ２を有する。１０３はオーディオコードであり、音声信号記録装置１０１のイヤホン端子Ｔ１とＰＣ１０２のマイク端子Ｔ２を接続している。
【００２７】
ここで、音声信号記録装置１０１はモニター機能を備えており、入力した音声信号は、所定のコーデック処理（圧縮及び／又は伸張）が施されて、例えばデジタル音声ファイルに変換し、音声信号記録装置１０１に記録される。また記録と同時に、記録したコーデックの音質でイヤホン端子Ｔ１から出力する。即ち、イヤホン端子Ｔ１から出力される音声信号は記録した信号のモニター信号となる。
【００２８】
音声信号記録装置１０１から出力された音声信号は、オーディオコード１０３を介してマイク端子Ｔ２からＰＣ１０２内に取り込まれ、ＰＣ１０２にインストールされている音声認識ソフトウェア１１１が、この音声信号を処理する。音声認識ソフトウェア１１１は、処理した音声信号を音声認識して、その結果をＰＣ１０２のディスプレイ上にテキスト文として表示したり、テキストデータのファイルとして保存したりする。音声認識されたテキストデータを音声信号記録装置１０１に転送すれば、ディスプレイ１０１Ｄの画面に表示することもできる。
【００２９】
次に、同じくＰＣ１０２にインストールされている翻訳ソフトウェア１１２が、音声認識ソフトウェア１１１が出力したテキストデータを入力として、所望の翻訳言語に翻訳する。翻訳した結果は、ＰＣ１０２のディスプレイ上にテキスト文として表示したり、テキストデータのファイルとして保存したりする。また、翻訳されたテキストデータを前記と同様、音声信号記録装置１０１に転送すれば、ディスプレイ１０１Ｄの画面に翻訳結果を表示することもできる。
【００３０】
引き続いて、翻訳されたテキストを同じくＰＣ１０２にインストールしている音声合成ソフトウェア１１３が、翻訳ソフトウェアが出力した翻訳結果のテキストデータを入力として、音声信号に変換する。音声合成によって得られた音声信号は、ＰＣ１０２に内蔵されたスピーカで再生でき、また音声データとして保存できる。保存した音声データをコーデック変換し、音声信号記録装置１０１に転送すれば、音声信号記録装置１０１で翻訳結果を聞くことができる。
【００３１】
図２は、図１の音声翻訳システムを機能別のブロック図として表したものであり、基本的に、音声信号記録装置、音声認識装置、翻訳装置及び音声合成装置からなる。このうち音声認識装置、翻訳装置及び音声合成装置の各機能は、ＰＣ１０２にインストールされたソフトウェアによって実現され、音声信号記録装置の機能は市販のＩＣレコーダーなどを用いて実現される。
【００３２】
図２において、音声信号記録装置２１０は、マイクロフォンと増幅器などからなる音声信号入力部２１１と、音声信号入力部２１１からの音声信号に対して圧縮・伸張の各処理を施すコーデック変換部２１２と、コーデック変換部２１２で圧縮された音声信号を半導体メモリー等に記録する音声信号記録部２１３と、音声信号記録部２１３に記録された音声信号を再生し、コーデック変換部２１２で伸張した音声信号をイアホンなどの外部出力装置に出力する音声信号出力部２１４と、音声信号記録部２１３に記録された音声信号のテキストデータを表示するテキスト表示部２１５を有する。ここで、音声信号記録部２１３は、音声信号記録装置２１０に内蔵されるバッファ的なメモリーでもよく、また着脱可能なメモリーカードの様な記録媒体であってもよい。
【００３３】
音声認識装置２２０は、前述のＰＣ１０２上で実行される音声認識ソフトウェアを含む。音声認識装置２２０は、マイク端子あるいはオーディオ信号のラインイン端子である音声信号入力部２２１と、音声認識ソフトウェアをＣＰＵなどの資源が実行することで実現される音声認識制御部２２２と、音声認識の精度を向上させるために用いるトレーニングデータを保存管理するトレーニングデータ記録部２２３と、ディスプレイ装置としての表示部２２４と、ハードディスク等のデータ記録部２２５とを有する。ここで、トレーニングデータ記録部２２３とデータ記録部２２５は同じ記録媒体（不揮発性のメモリーやハードディスクや光ディスク）であってもよい。
【００３４】
音声信号記録装置２１０の音声信号出力部２１４と音声認識装置２２０の音声入力部２２１とはアナログ伝送を行うためのオーディオコード等で接続することができる。また、コーデック変換部２１２とデータ記録部２２５とは、データ伝送を行うためのシリアルバス等で接続することができる。
【００３５】
翻訳装置２３０は、音声認識装置２２０と同様、ＰＣ１０２上で実行される翻訳ソフトウェアを含む。翻訳装置２３０は、翻訳を行う原文を入力するテキスト入力部２３１と、翻訳ソフトウェアをＣＰＵなどの資源が実行することで実現される翻訳制御部２３２と、原文を所望の言語のテキストに変換した結果を出力するテキスト出力部２３５と、ディスプレイ装置としての表示部２３３と、ハードディスク等のデータ記録部２３４とを有する。テキスト入力部２３１には、音声認識制御部２２２によってテキスト化されたデータが入力される。
【００３６】
音声合成装置２４０は、前記音声認識装置２２０、翻訳装置２３０と同様、ＰＣ１０２上で実行される音声合成ソフトウェアを含む。音声合成装置２４０は、音声合成を行うテキストデータを入力するテキスト入力部２４１と、音声合成ソフトウェアをＣＰＵなどの資源が実行することで実現される音声合成制御部２４２と、音声合成された音声信号に圧縮処理や伸張処理を施すコーデック変換部２４５と、音声合成された音声信号を音声として再生する音声信号出力部２４３と、ハードディスク等のデータ記録部２４４とを有する。
【００３７】
テキスト入力部２４１には、翻訳装置２３０のテキスト出力部２３５によって出力されたテキストデータが入力される。また、破線の矢印で示すように、コーデック変換部２４５によって圧縮処理や伸張処理を施された音声信号を音声信号記録装置２１０に転送することで、音声信号記録装置２１０に翻訳結果の音声信号を保存したり、再生したりすることができる。同様に、音声認識装置２２０より出力した音声認識結果であるテキストデータや翻訳装置２３０より出力した翻訳結果であるテキストデータを、音声信号記録再生装置２１０に転送し、テキスト表示部２１５に表示させることもできる。
【００３８】
また、印刷装置２５０は、音声認識装置２２０によって得られたテキストデータを、音声認識制御部２２２の制御に従って印刷したり、翻訳装置２３０によって得られたテキストデータを、翻訳制御部２３２の制御に従って印刷したりする。
【００３９】
次に、図２の音声通訳システムによって実現される音声通訳方法について、図３及び図４のフローチャートを用いて説明する。
音声通訳処理の実行を開始すると、ステップＳ３０１で、音声認識制御部２２２は、音声認識させたい人の声の特徴を登録したトレーニングデータがトレーニングデータ記録部２２３に保存されているかどうかを判別する。既にトレーニングデータがあればステップＳ３０５に進み、トレーニングデータがなければトレーニング処理（Ｓ３０２〜Ｓ３０４）に入る。
【００４０】
ステップＳ３０２で、音声信号記録装置２１０をモニター機能に設定する。モニター機能は、音声信号入力部２１１からの音声信号がコーデック変換部２１２において圧縮及び伸張処理が施され、音声信号出力部２１４より出力される機能である。これにより、マイクロフォンの出力とは異なり、音声信号記録装置２１０に実際に記録され、コーデック処理が施された音声データと同様の音質の音声を得ることができる。この場合、入力された音声信号を音声信号記録部２１３に記録してもしなくてもよい。
【００４１】
ステップＳ３０３で、音声認識制御部２２２は、表示部２２４にテキスト文を表示させるとともに、音声信号入力部２２１を介して入力される音声信号を用いてトレーニング作業が実行される。トレーニングで得られたデータは、ステップＳ３０４でトレーニングデータ記録部２２３に記録される。
【００４２】
トレーニング作業の終了後、実際の音声認識処理が実行される訳であるが、処理方法として幾つかの方法が存在する。まずステップＳ３０５でトレーニングデータが選択され、トレーニングデータ記録部２２３に保存されているトレーニングデータが音声認識制御部２２２に設定される。次の処理としてユーザーは、ステップＳ３０６〜Ｓ３０８の方法のいずれかを採用することができる。
【００４３】
ステップＳ３０６は、リアルタイム処理として、トレーニング作業と同様に音声信号記録装置２１０のモニター機能を用いて音声信号を音声認識制御部２２２に入力する方法である。ステップＳ３０７は、バッチ処理として、予め音声信号記録部２１３に記録された音声信号を再生して音声認識制御部２２２に入力する方法である。また、ステップＳ３０８は、ファイルでのバッチ処理として、音声信号記録部２１３またはデータ記録部２２５に記録された音声信号をファイル形式で音声認識制御部２２２に入力する方法である。
【００４４】
ステップＳ３０６〜Ｓ３０８のいずれかの方法により音声認識制御部２２２に音声認識するためのデータが入力され、トレーニングデータ記録部２２３からのトレーニングデータに基づき音声認識処理が施される。
【００４５】
ステップＳ３０９での音声認識処理に引き続き、ステップＳ３１１〜Ｓ３１３の少なくとも１つが実行される。ステップＳ３１０の実行を指示した場合は、印刷装置２５０よりテキスト文が印字される。ステップＳ３１１の実行を指示した場合は、表示部２２４にテキスト文を表示する。また、ステップＳ３１２の実行を指示した場合は、テキスト文をデータ（テキストファイル）としてデータ記録部２２５に出力する。
【００４６】
ステップＳ３１３が、本発明の通訳方法の流れの処理であり、音声認識制御部２２２で音声認識処理が施され、ＰＣ１０２に内蔵されたＲＡＭやハードディスク、外部記憶装置である光ディスク等のメモリーに一時的に保存されたテキストデータを出力し、翻訳装置２３０のテキスト入力部２３１の入力データとする。
【００４７】
ステップＳ３１５で、音声認識装置２２０から出力されたテキストデータを翻訳する。
翻訳処理の実行後、ステップＳ３１６〜Ｓ３１９の少なくとも１つが実行される。ステップＳ３１６の実行を指示した場合は、印刷装置２５０よりテキスト文が印字される。ステップＳ３１７の実行を指示した場合は、表示部２３３に翻訳実行後のテキスト文を表示する。また、ステップＳ３１８の実行を指示した場合は、テキスト文をデータ（テキストファイル）としてデータ記録部２３４に出力する。ステップＳ３１９が、本発明の通訳方法の流れの処理であり、翻訳制御部２３２で翻訳処理が施され、音声認識の場合と同様、ハードディスク、光ディスク等のメモリーに一時的に保存されたテキストデータを出力し、音声合成装置２４０のテキスト入力部２４１の入力データとする。
【００４８】
ステップＳ３２０で、翻訳装置２３０から出力されたテキストデータを音声合成し、音声信号を作成する。
音声合成処理の実行後、ステップＳ３２１〜Ｓ３２３の少なくとも１つが実行される。ステップＳ３２１の実行を指示した場合は、音声信号出力部２４３より音声を再生する。ステップＳ３２２の実行を指示した場合は、音声合成制御部２４２より出力された音声信号をデータ（音声ファイル）としてデータ記録部２４４に出力する。ステップＳ３２３は、音声合成制御部２４２より出力された音声データを、音声信号記録装置２１０が取り扱えるように、圧縮処理や伸張処理を施す処理である。破線の矢印で示すように、コーデック変換部２４５によって処理されたデータを、音声信号記録装置２１０に転送すると、ステップＳ３２４において音声データを音声信号記憶部２１３に保存する。また、ステップＳ３２５によって、翻訳結果の音声データを音声信号出力部２１４から音声で再生することもできる。
【００４９】
同様に、ステップ３１３やステップ３１９で出力されたテキストデータを、音声信号記録装置２１０のテキスト表示部２１５に表示することもできる（ステップＳ３２６）。
【００５０】
以上のように本発明によれば、音声信号記録装置２１０のモニター機能を用いて、音声認識させたい人の声の特徴を登録するトレーニングが録音品質で行なえるように、音声認識ソフトウェアとの連動をシステム化したことで、従来実現できなかった音声信号記録装置２１０を用いたリアルタイムの音声認識が可能となり、音声信号記録装置２１０の音声信号記録部２１３に保存した音声ファイルからも、従来に比べて大幅に高精度な音声認識を実現できる。また、音声認識によって得られたテキストデータを翻訳装置２３０で翻訳し、さらに翻訳結果を音声合成装置２４０によって音声信号に変換することで通訳機能を実現し、しかも、出力したテキストデータや音声データを音声信号記録装置２１０に転送し、音声信号記録部２１３に記録することで、簡単に外に持ち出すことができるという優れた効果を奏する。
【００５１】
また、本発明の音声通訳システムによれば、翻訳元の音声データとそのテキストデータ、翻訳実行後の音声データとテキストデータを音声信号記録装置２１０に全て保存して手軽に持ち歩くことができる。例えば、海外旅行や海外出張などの場面で、想定される文章について、予めこれらを本発明の方法を用いて準備しておけば、実用的に活用できる。また、翻訳の必要な文章を音声信号記録装置２１０に録音しておき、後で本発明の方法により通訳して音声ファイルを生成し、その音声ファイルを海外の友人などに送付する場合などにも有効に活用できる。
【００５２】
更に、本発明の音声通訳システムを用いれば、次のような効果も奏する。すなわち、音声信号記録装置が携帯電話などの通信機器である場合、携帯電話の音質で、音声認識のトレーニングを実施し、その結果を登録しておけば、携帯電話などの通話をリアルタイムにテキスト文に変換することができると共に、翻訳して通訳することも可能になる。また、一旦、携帯電話に保存した音声ファイルを後で、音声認識によって文章化し、それを外国語の音声に変換するといった使い方も可能になる。これは、例えば国際会議やグローバル企業における出張報告、報道記者などがレポート報告などを行う時、非常に有効な手段となり、実用性が高い。
【００５３】
なお、上記本発明の実施の形態では、モニター機能を有する音声信号記録装置を用いたが、これは音声信号だけを取り扱う記録装置に限らず、音声信号を含むデータであれば良く、音声データの他に画像データや動画データ又はテキストデータなどを含んでいても良く、リアルタイムで伝送されてくる音声データストリームなどを記録する装置であっても良い。
【００５４】
また、上記本発明の実施の形態では、音声信号記録装置の音声モニター機能を用いて、音声認識のトレーニングを実施したが、音声信号記録装置をマイクロフォンのように使用し、喋った言葉を音声信号記録装置に記録せず、音声信号出力部から出力した音声信号で音声認識のトレーニングを実施しても良いことは言うまでもない。
【００５５】
さらに、本発明の実施の形態では、音声信号記録装置に入力された音声信号を用いて音声通訳のシステムを構成しているが、入力される音声信号は、音声信号記録装置ではなく、外部音源からの入力や、パーソナルコンピュータ上の音声データであっても良く、これらの音声信号の処理時に、音声信号記録装置へ同時に録音される構成であっても良い。
【００５６】
また、上記の方法を実行するプログラムの全て又は少なくとも一部を、例えばＩＣレコーダー、オーディオ装置、ホームビジュアルシステム装置、ネットワークを利用した音響再生装置やビデオカメラ、及び音声データファイルを取り扱うＰＣアプリケーションに読み込み実行させることにより、これらの装置やＰＣアプリケーションを音声信号の音声通訳システムとして機能させることができる。また、音声認識ソフトウェア、翻訳ソフトウェア、音声合成ソフトウェアは、パーソナルコンピュータ上のＰＣアプリケーションに限られるものではなく、それぞれ音声認識機能、翻訳機能、音声合成機能を有する装置であっても良く、音声信号記録装置にこれらの機能が組み込まれていても良い。
【００５７】
また、本発明では、音声認識機能、翻訳機能、音声合成機能は独立した機能として分離しているが、他の機能やこれらの機能が複合された機能を持つ構成であっても良い。
【産業上の利用可能性】
【００５８】
本発明の音声通訳システムおよび音声通訳方法は、音声信号に所定の処理を施す音声信号記録装置からのリアルタイム処理による通訳テキスト文の作成や、記録した音声信号からバッチ処理により正確な通訳処理を行うことができ、ＩＣレコーダーやオーディオレコーダーなどの音響機器、携帯電話などの通信機器に応用可能である。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の形態による音声通訳システムの構成図
【図２】同音声通訳システムの機能を示すブロック図
【図３】同音声通訳方法の前半の動作を示すフローチャート
【図４】同音声通訳方法の後半の動作を示すフローチャート
【符号の説明】
【００６０】
１０１、２１０  音声信号記録装置
１０２  パーソナルコンピュータ
１０３  オーディオコード
１１１  音声認識ソフトウェア
１１２  翻訳ソフトウェア
１１３  音声合成ソフトウェア
２１１  音声信号入力部
２１２  コーデック変換部
２１３  音声信号記録部
２１４  音声信号出力部
２１５  テキスト表示部
２２０  音声認識装置
２２１  音声信号入力部
２２２  音声認識制御部
２２３  トレーニングデータ記録部
２２４  表示部
２２５  データ記録部
２３０  翻訳装置
２３１  テキスト入力部
２３２  翻訳制御部
２３３  表示部
２３４  データ記憶部
２３５  テキスト出力部
２４０  音声合成装置
２４１  テキスト入力部
２４２  音声合成制御部
２４３  音声信号出力部
２４４  データ記憶部
２４５  コーデック変換部
２５０  印刷装置
【図１】
2007047291.tif 000003
【図２】
2007047291.tif 000004
【図３】
2007047291.tif 000005
【図４】
2007047291.tif 000006