(57)【特許請求の範囲】
【請求項１】
プロセッサが、第一言語を使う第一ユーザから入力装置を介して入力された第一音声情報について音声認識を行って、第一認識情報を取得するステップと、
前記プロセッサが、前記第一認識情報を確認するように前記第一ユーザに促す表示を出力装置に出力するステップと、
前記プロセッサが、前記第一ユーザによって確認された前記第一認識情報を翻訳して、第二ユーザが使う第二言語に翻訳された第一翻訳情報を取得し出力するステップと、
前記プロセッサが、前記第二ユーザによって前記第一翻訳情報に基づいて入力されたフィードバック情報を第二情報として受信するステップと、
前記プロセッサが、言語規則に基づいて、前記第一認識情報から、前記第二情報に対応する単一の語彙又は連語を関連情報として抽出するステップと、
前記プロセッサが、前記単一の語彙又は連語に基づいて、前記第一翻訳情報において対応する単一の語彙又は連語を修正して、修正した第一翻訳情報を、前記出力装置を介して前記第二ユーザに出力するステップと
を含んでなる、オンライン音声翻訳方法。
【請求項２】
前記プロセッサが、前記第一認識情報を確認するように前記第一ユーザに促す表示を出力装置に出力するステップは、
前記第一認識情報の信頼度を設定された閾値と比較するステップと、
前記第一認識情報の信頼度が前記設定された閾値より低い場合には、前記第一認識情報を確認するように前記第一ユーザに促す表示を前記出力装置を介して出力するステップと
を含むものである、請求項１に記載の方法。
【請求項３】
前記第一認識情報の信頼度を設定された閾値と比較するステップは、
現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、前記第一認識情報の信頼度を判定することを含むものである、請求項２に記載の方法。
【請求項４】
前記第一認識情報が前記設定された閾値より低い場合には、前記第一認識情報を確認するように前記第一ユーザに促す表示を前記出力装置を介して出力するステップは、
前記第一認識情報の信頼度が第一プリセット閾値より低い場合に、前記第一ユーザに確認させるように第一認識情報を表示するステップ、又は、
前記第一認識情報における少なくとも一つのキーワードの信頼度が第二プリセット閾値より低い場合に、前記第一ユーザに確認させるように前記キーワードを表示するステップを含むものである、請求項２に記載の方法。
【請求項５】
前記プロセッサが、前記第一認識情報に基づいて現在の会話シーンを判定するステップ、又は第一ユーザにより確認された認識履歴情報におけるキーワードに基づいて現在の会話シーンを認識するステップをさらに含む、請求項３に記載の方法。
【請求項６】
第一言語を使う第一ユーザから入力装置を介して入力された第一音声情報について音声認識を行って、第一認識情報を取得するための第一認識情報モジュールと、
前記第一認識情報を確認するように前記第一ユーザに促す表示を出力装置に出力するための確認促進モジュールと、
前記第一ユーザによって確認された前記第一認識情報を翻訳して、第二ユーザが使う第二言語に翻訳された第一翻訳情報を取得して出力するための情報翻訳モジュールと、
前記第二ユーザによって前記第一翻訳情報に基づいて入力されたフィードバック情報を第二情報として受信し、言語規則に基づいて、前記第一認識情報から、前記第二情報に対応する単一の語彙又は連語を関連情報として抽出するための関連情報抽出モジュールと、
前記単一の語彙又は連語に基づいて、前記第一翻訳情報において対応する単一の語彙又は連語を修正して、修正した第一翻訳情報を、前記出力装置を介して前記第二ユーザに出力するための情報修正モジュールと
を含んでなる、オンライン音声翻訳装置。
【請求項７】
前記確認促進モジュールは、
前記第一認識情報の信頼度を設定された閾値と比較するための信頼度判定モジュールと、
前記第一認識情報の信頼度が前記設定された閾値より低い場合には、前記第一認識情報を確認するように前記第一ユーザに促すための表示を前記出力装置を介して出力するユーザ確認モジュールと
を含むものである、請求項６に記載の装置。
【請求項８】
前記信頼度判定モジュールは、具体的に、現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、前記第一認識情報の信頼度を設定された閾値と比較することに用いられるものである、請求項７に記載の装置。
【請求項９】
前記確認促進モジュールは、具体的に、
前記第一認識情報の信頼度が第一プリセット閾値より低い場合に、前記第一ユーザに確認させるように第一認識情報を表示することに用いられるか、又は、
前記第一認識情報における少なくとも一つのキーワードの信頼度が第二プリセット閾値より低い場合に、前記第一ユーザに確認させるように前記キーワードを表示することに用いられるものである、請求項６に記載の装置。
【請求項１０】
前記第一認識情報に基づいて現在の会話シーンを判定するか、又は第一ユーザにより確認された認識履歴情報におけるキーワードに基づいて現在の会話シーンを認識するための会話シーン判定モジュールをさらに含む、請求項６に記載の装置。
【請求項１１】
コンピュータのプロセッサによって実行されるとオンライン音声翻訳方法を実行する、コンピュータ実行可能な命令を含む記憶媒体であって、前記命令は、前記プロセッサに対し、
第一言語を使う第一ユーザから入力された第一音声情報について音声認識を行わせて、第一認識情報を取得させ、
前記第一認識情報を確認するように前記第一ユーザに促す表示を出力装置に出力させ、
前記第一ユーザによって確認された前記第一認識情報を翻訳して、第二ユーザが使う第二言語に翻訳された第一翻訳情報を取得させて出力させ、
前記第二ユーザによって前記第一翻訳情報に基づいて入力されたフィードバック情報を第二情報として受信させ、
言語規則に基づいて、前記第一認識情報から、前記第二情報に対応する単一の語彙又は連語を関連情報として抽出させ、
前記単一の語彙又は連語に基づいて、前記第一翻訳情報において対応する単一の語彙又は連語を修正させて、修正した第一翻訳情報を、前記出力装置を介して前記第二ユーザに出力させる
ことを含むものである、記憶媒体。 
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本特許出願は、２０１３年１２月２５に提出された、出願番号が２０１３１０７２８３１２．Ｘで、出願人が北京百度網訊科技有限公司であり、発明の名称が「オンライン音声翻訳方法及び装置」である中国特許出願の優先権を主張するものであり、当該出願の全文を引用することにより本明細書の一部をなすものとする。
【０００２】
［発明の分野］
本発明の実施例はオンライン翻訳の技術分野に関し、特にオンライン音声翻訳方法及び装置に関する。
【背景技術】
【０００３】
国際交流の増加に従って、異なる種類の言語を使って交流することはますます頻繁になって来っている。言語障壁を克服するために、クライアントに基づいてオンライン音声翻訳を行うことが広く応用されている。
【０００４】
一般に、オンライン音声翻訳は、第一ユーザから入力された第一言語の音声を認識して文字情報とする音声認識ステップと、翻訳コーパスに基づいて文字情報を翻訳して、第二言語の音声情報又は文字情報を生成して第二ユーザに提供するステップとを含む。オンライン音声翻訳によれば、異なる言語を使う両方のユーザに対して翻訳サービスを提供し、両方の交流をスムーズにすることが可能になる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在、オンライン音声翻訳の過程においては、音声認識ステップ及び翻訳ステップのいずれにおいても誤りが発生する可能性があるので、クロスランゲージの交流がスムーズにならず、最終的に、クロスランゲージの交流ができなくなってしまう。
【課題を解決するための手段】
【０００６】
本発明は、オンライン音声翻訳の正確率を高め、スムーズなクロスランゲージの交流を保証することを実現するように、オンライン音声翻訳方法及び装置を提供する。
【０００７】
第一の局面において、本発明の実施態様は、
第一ユーザから入力された第一音声情報について音声認識を行って、第一認識情報を取得するステップと、
前記第一認識情報を確認するように前記第一ユーザに促すステップと、
確認された前記第一認識情報を翻訳して、第一翻訳情報を取得して出力するステップと、
第二ユーザからフィードバックされた第二情報に基づいて、前記第二情報に対応する関連情報を抽出するステップと、
前記関連情報に基づいて、前記第一翻訳情報を修正して出力するステップと
を含んでなるオンライン音声翻訳方法を提供する。
【０００８】
好ましくは、前記第一認識情報を確認するように前記第一ユーザに促すステップは、
第一認識情報の信頼度を判定し、
前記第一認識情報の信頼度に基づいて、前記第一認識情報を確認するように前記第一ユーザに促すことを含む。
【０００９】
好ましくは、前記第一認識情報の信頼度を判定するステップは、
現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、前記第一認識情報の信頼度を判定することを含む。
【００１０】
好ましくは、前記の前記第一認識情報の信頼度に基づいて、前記第一認識情報を確認するように前記第一ユーザに促すステップは、
前記第一認識情報の信頼度が第一プリセット閾値より低い場合に、前記第一ユーザに確認させるように第一認識情報を表示すること、又は、
第一認識情報における少なくとも一つのキーワードの信頼度が第二プリセット閾値より低い場合に、前記第一ユーザに確認させるように前記キーワードを表示することを含む。
【００１１】
好ましくは、前記第二ユーザからフィードバックされた第二情報に基づいて、前記第二情報に対応する関連情報を抽出するステップは、
前記第二ユーザからフィードバックされた前記第二情報と確認された前記第一認識情報についてキーワード類似度とのマッチングを行い、マッチングされたキーワードを抽出して前記関連情報とすることを含む。
【００１２】
好ましくは、前記第二ユーザからフィードバックされた第二情報に基づいて、前記第二情報に対応する関連情報を抽出するステップは、
現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、確認された前記第一認識情報から前記第二情報に対応する関連情報を抽出することを含む。
【００１３】
好ましくは、前記方法は、
前記第一認識情報に基づいて現在の会話シーンを判定するステップ、又は第一ユーザにより確認された認識履歴情報におけるキーワードに基づいて現在の会話シーンを認識するステップをさらに含む。
【００１４】
第二の局面において、本発明の実施態様は、
第一ユーザから入力された第一音声情報について音声認識を行って、第一認識情報を取得するための第一認識情報モジュールと、
前記第一認識情報を確認するように前記第一ユーザに促すための確認促進モジュールと、
確認された前記第一認識情報を翻訳して、第一翻訳情報を取得して出力するための情報翻訳モジュールと、
第二ユーザからフィードバックされた第二情報に基づいて、前記第二情報に対応する関連情報を抽出するための関連情報抽出モジュールと、
前記関連情報に基づいて、前記第一翻訳情報を修正して出力するための情報修正モジュールと
を含んでなるオンライン音声翻訳装置をさらに提供する。
【００１５】
好ましくは、前記確認促進モジュールは、
第一認識情報の信頼度を判定するための信頼度判定モジュールと、
前記第一認識情報の信頼度に基づいて、前記第一認識情報を確認するように前記第一ユーザに注意するためのユーザ確認モジュールとを含む。
【００１６】
好ましくは、前記信頼度判定モジュールは、具体的に、現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、前記第一認識情報の信頼度を判定することに用いられる。
【００１７】
好ましくは、前記確認促進モジュールは、具体的には、
前記第一認識情報の信頼度が第一プリセット閾値より低い場合に、前記第一ユーザに確認させるように第一認識情報を表示することに用いられるか、又は、
第一認識情報における少なくとも一つのキーワードの信頼度が第二プリセット閾値より低い場合に、前記第一ユーザに確認させるように前記キーワードを表示することに用いられる。
【００１８】
好ましくは、前記関連情報抽出モジュールは、
前記第二ユーザからフィードバックされた前記第二情報と確認された前記第一認識情報とについてキーワード類似度とのマッチングを行い、マッチングされたキーワードを抽出して前記関連情報とするためのキーワードマッチングサブモジュールを含む。
【００１９】
好ましくは、前記関連情報抽出モジュールは、
現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、確認された前記第一認識情報から前記第二情報に対応する関連情報を抽出するための言語規則サブモジュールを含む。
【００２０】
好ましくは、前記装置は、
前記第一認識情報に基づいて現在の会話シーンを判定し、又は第一ユーザにより確認された認識履歴情報におけるキーワードに基づいて現在の会話シーンを認識するための会話シーン判定モジュールをさらに含む。
【００２１】
本発明の実施態様は、コンピュータプロセッサにより実行される時に、オンライン音声翻訳方法を実行するためのコンピュータ実行可能命令を含む記憶媒体であって、該オンライン音声翻訳方法は、
第一ユーザから入力された第一音声情報について音声認識を行って、第一認識情報を取得するステップと、
前記第一認識情報を確認するように前記第一ユーザに促すステップと、
確認された前記第一認識情報を翻訳して、第一翻訳情報を取得し出力するステップと、
第二ユーザからフィードバックされた第二情報に基づいて、前記第二情報に対応する関連情報を抽出するステップと
前記関連情報に基づいて、前記第一翻訳情報を修正し出力するステップと
を含むものである、記憶媒体をさらに提供する。
【発明の効果】
【００２２】
本発明の実施態様は、第一認識情報の認識結果を確認するように第一ユーザに促すことによって、音声認識の過程において誤りが発生することを回避し、情報認識の正確率を高めるとともに、第二ユーザからフィードバックされた第二情報に基づいて、前記第二情報に対応する関連情報を抽出し、第一翻訳情報を修正して出力することによって、クロスランゲージ翻訳の正確さを高めている。
【００２３】
本発明の実施態様における技術的な解決策をより明確に説明するために、以下、実施態様を説明するのに必要な図面について簡単に説明するが、以下の説明における図面は単に本発明のいくつかの実施態様であることが当然であり、当業者にとっては、創造的な労働なしにこれらの図面を変更したり取り替えたりすることもできる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例１によるオンライン音声翻訳方法のフロー概略図である。
【図２】本発明の実施例２によるオンライン音声翻訳方法のフロー概略図である。
【図３】本発明の実施例３によるオンライン音声翻訳方法のフロー概略図である。
【図４】本発明の実施例４によるオンライン音声翻訳装置の構造概略図である。
【図５】本発明の実施例５によるオンライン音声翻訳装置の構造概略図である。
【図６】本発明の実施例によるオンライン音声翻訳方法を実行する端末装置のハードウェア構造図である。
【発明を実施するための形態】
【００２５】
以下、図面を参考して本発明の実施態様における技術的な解決策を明確かつ十分に説明するが、説明される実施例は、本発明のすべての実施態様ではなく、その一部であり、本発明をこれらに制限するためのものではなく、本発明の原理を詳しく述べるためのものであることは明らかである。当業者が本発明の実施例に基づいて、創造的な労働なしに得られたすべての他の実施態様は、本発明が保護しようとする範囲に属する。
【実施例１】
【００２６】
図１は、本発明の実施例１によるオンライン音声翻訳方法のフロー概略図である。本実施例は、両方がクロスランゲージの音声交流を行う時に音声認識と翻訳を行う場合に適用でき、当該方法はオンライン音声翻訳装置により実行されてもよく、当該装置はハードウェア及び／又はソフトウェアにより実現されてもよく、当該装置は任意の端末又はネットワーク要素に配置されてもよい。当該方法は、具体的に下記のステップを含んでいる。
【００２７】
ステップＳ１０１では、第一ユーザから入力された第一音声情報について音声認識を行って、第一認識情報を取得する。
【００２８】
上記操作において、第一ユーザと第二ユーザはクロスランゲージの言語交流を行い、第一ユーザは第一音声で第一音声情報を入力してもよく、オンライン音声翻訳装置はそれについて音声認識を行って第一認識情報を取得することができる。
【００２９】
ステップＳ１０２では、第一認識情報を確認するように第一ユーザに促す。
【００３０】
上記操作において、第一認識情報がディスプレイスクリーンに表示されてもよく、第一ユーザはタッチスクリーン、キーボード及びマウス等の入力装置により第一認識情報を確認することができる。
【００３１】
当該操作において、取得された第一認識情報のすべてを確認するようにユーザに促してもよいが、好ましくは、設定されたトリガー条件に従って、選択的にユーザに提供して確認させることであり、好ましくは、第一認識情報の信頼度を判定し、第一認識情報の信頼度に基づいて、第一認識情報を確認するように第一ユーザに促すことである。
【００３２】
信頼度は、第一認識情報の正確率、例えば第一ユーザから入力された第一音声情報の原意との誤差程度であってもよく、第一認識情報の認識可能率あってもよく、シソーラスにおける基準語彙との誤差程度等であってもよい。信頼度の判定は、正確に認識された語彙量が設定制限に達しているか否かを判断するように、第一認識情報を基準シソーラスにてマッチングする過程であってもよく、又は、第一認識情報が設定された例えば文法要求等の規則を満たしているか否かを判断する過程であってもよい。実際の使用過程においては、すべての第一認識情報の信頼度を判定してもよく、第一認識情報における少なくとも一つのキーワードを選択して、各キーワードの信頼度を判定してもよい。
【００３３】
第一認識情報の信頼度に基づくユーザへの促しは、好ましくは、第一認識情報の信頼度が第一プリセット閾値より低い場合に、第一ユーザに確認させるように第一認識情報を表示することである。又は、第一認識情報における少なくとも一つのキーワードの信頼度が第二プリセット閾値より低い場合に、第一ユーザに確認させるようにキーワードを表示することである。
【００３４】
ステップＳ１０３では、確認された第一認識情報を翻訳して、第一翻訳情報を取得して出力する。
【００３５】
上記操作において、第一認識情報を第一ユーザが使う言語から第二ユーザが使う言語に翻訳し、例えば、中国語である第一認識情報を翻訳して、英語である第一翻訳情報を取得する。二つのユーザは、オンライン音声翻訳装置が配置されている二つの端末をそれぞれ使用できるから、第一ユーザの端末は有線ネットワーク又は無線ネットワークを介して第一翻訳情報を第二ユーザの端末に出力することが可能になる。
【００３６】
ステップＳ１０４では、第二ユーザからフィードバックされた第二情報に基づいて、第二情報に対応する関連情報を抽出する。
【００３７】
上記操作において、第二ユーザからフィードバックされた第二情報は、依然として端末間の対話により第一ユーザの端末に返されることができる。第一翻訳情報の関連情報は、第一翻訳情報の正確さを修正できる情報である。例えば、第一翻訳情報との類似度が設定値を満たす一字、連語であり、又は第一翻訳情報に対して設定された論理的な関連を有する情報、例えば第一翻訳情報に対する反問情報である。 
【００３８】
関連情報を取得する手段としては、例えば、第二ユーザからフィードバックされた第二情報と第一翻訳情報とについてキーワード類似度のマッチングを行い、マッチングされたキーワードを抽出して第一翻訳情報の関連情報としてもよい。例えば、第一ユーザが「
【数１】
0006484236.tif 000002
（北京から天津へはどうやって行くのですか）？」と言う場合に、第二ユーザが「どこへ？」と反問すると、第二ユーザが理解できないことから、ここでの「天津」の翻訳に誤りが発生した可能性があることが分かる。そこで、第二情報「どこへ？」と第一翻訳情報「北京から天津へはどうやって行くのですか？」とについて類似度のマッチングを行い、第二ユーザがより関心を持つ情報を取得して、修正すべき情報とする。 
【００３９】
ステップＳ１０５では、関連情報に基づいて、第一翻訳情報を修正して出力する。
【００４０】
上記操作において、情報が漏れないことを確保するようにすべての第一翻訳情報を修正して出力してもよく、第一翻訳情報の一部、例えばそのうちのいくつかのキーワードを修正して出力してもよく、一段の情報を翻訳することについて、キーワードを翻訳する正確率が比較的高いため、修正の正確率を向上させることができる。また、一部の文字又は単語を処理するデータの処理量が小さく、第一翻訳情報を修正して出力する効率を向上させることができる。具体的に、有線ネットワーク又は無線ネットワークを介して第二ユーザに出力することができる。本操作では、第一翻訳情報を第一ユーザに表示して確認させる必要がなくなり、装置により翻訳情報の修正を自動的に完成でき、翻訳の効率が向上している。
【００４１】
本実施例で開示されたオンライン音声翻訳方法は、第一認識情報の認識結果を確認するように第一ユーザに促すことによって、音声認識の過程において誤りが発生することを回避し、情報認識の正確率が向上するとともに、第二ユーザからフィードバックされた第二情報に基づいて、第二情報に対応する関連情報を抽出し、第一翻訳情報を修正して出力することによって、クロスランゲージ翻訳の正確率が向上する。
【実施例２】
【００４２】
図２は、本発明の実施例２によるオンライン音声翻訳方法のフロー概略図である。実際に両方が交流する過程において、会話内容は、一定の会話シーン及び会話規則に基づいて産生されるものである。このため、本発明の実施例２は、本発明の実施例１に基づいて、会話シーン及び会話規則に基づいてオンライン音声翻訳過程を最適化したものであり、本実施例２によるオンライン音声翻訳方法は、下記のステップを含んでいる。
【００４３】
ステップＳ２０１では、第一ユーザから入力された第一音声情報について音声認識を行って、第一認識情報を取得する。
【００４４】
ステップＳ２０２では、第一認識情報に基づいて現在の会話シーンを判定するか、又は第一ユーザにより確認された認識履歴情報におけるキーワードに基づいて現在の会話シーンを認識する。
【００４５】
上記操作において、いくつかの会話シーン及びその判定規則を予め設定していてもよい。例えば、娯楽施設での会話シーン、商談シーン、学術討論シーン、駅での会話シーン、空港での会話シーン等がある。第一認識情報におけるキーワードに基づいて現在の会話シーンを判定してもよく、例えば、キーワードが観光地の名称である場合に、現在の会話シーンが旅行シーンであることを判定する。第一ユーザがプリセット時間帯において確認された認識履歴情報におけるキーワードに基づいて現在の会話シーンを認識してもよい。第一ユーザが第一認識情報を確認する前に確認された情報は認識履歴情報である。当然ながら、会話シーンはユーザにより選択されてもよい。
【００４６】
ステップＳ２０３では、現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、第一認識情報の信頼度を判定する。
【００４７】
上記操作において、現在の会話シーンにおけるキーワードは当該シーンでの常用語彙であってもよく、又は当該シーンでのよく用いられない語彙であってもよい。このため、第一認識情報を現在の会話シーンのキーワードと比較して、現在のシーンに含まれる常用語彙及び／又はよく用いられない語彙の確率に基づいて信頼度を判定することができる。第一認識情報に常用語彙が含まれる場合に第一認識情報の信頼度が比較的高く、第一認識情報によく用いられない見る語彙が含まれる場合に第一信頼度が低くなる。例えば、駅での会話シーンにおいて、列車、乗車券及び時間は常用語彙となる一方、ヒマラヤ山、ステッキ及び戦争等の語彙はよく用いられない語彙となる。第一認識情報に列車、乗車券及び時間等の語彙が含まれる場合に第一認識情報の信頼度が比較的高く、第一認識情報にヒマラヤ山、ステッキ及び戦争等の語彙が含まれる場合に第一認識情報の信頼度が比較的低い。言語規則は、文法規則であってもよく、時間、場所、人物及び事件を含んでもよいがこれに限定されるものではない。第一認識情報が文法規則に合致する場合に第一認識情報の信頼度が比較的高く、第一認識情報が文法規則に合致しない場合に第一認識情報の信頼度が比較的低い。
【００４８】
ステップＳ２０４では、第一認識情報の信頼度に基づいて、第一認識情報を確認するように第一ユーザに促す。
【００４９】
上記操作において、視覚的手段により第一認識情報を確認するように第一ユーザに促してもよく、例えば、表示インタフェースでウィンドウをポップアップして確定ボタンを表示する等の手段があり、また、聴覚的手段により第一認識情報を確認するように第一ユーザに促しもよく、例えば、促す音声情報を再生する手段がある。
【００５０】
ステップＳ２０５では、確認された第一認識情報を翻訳して、第一翻訳情報を取得して出力する。
【００５１】
ステップＳ２０６では、現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、第二情報から第一翻訳情報の関連情報を抽出する。 
【００５２】
ステップＳ２０７では、関連情報に基づいて、第一翻訳情報を修正して出力する。
【００５３】
本実施例２で開示されたオンライン音声翻訳方法によれば、会話シーンの管理を増加し、信頼度を判定する正確率及び関連情報を判定する正確率をさらに最適化した。
【実施例３】
【００５４】
図３は、本発明の実施例３によるオンライン音声翻訳方法のフロー図である。本発明で提供される前記実施例に基づいて、本実施例３は、オンライン音声翻訳方法の好ましい実施形態を提供し、第一ユーザが中国語を使うユーザであり、第二ユーザがフランス語を使うユーザである場合を例として説明する。当該方法は、下記のステップを含んでもよい。
【００５５】
ステップＳ３０１では、第一ユーザは、第中国語でマイクロホンを介して「
【数２】
0006484236.tif 000003
（今日の午後、ニースからパリへの乗車券）」を一音声情報として入力し、それについて音声認識を行って第一認識情報を取得する。なまりや環境雑音等の多方面の原因から、認識情報は「
【数３】
0006484236.tif 000004
（京天の午後、１４からパリへの乗車券、ここで、京天の中国語の発音は日本語「今日」に対応する中国語「今天」の発音に近い、１４の中国語の発音は日本語「ニース」に対応する中国語「尼斯」の発音に近い）」になる可能性がある。
【００５６】
ステップＳ３０２では、「
【数４】
0006484236.tif 000005
」の信頼度を判定する。信頼度が設定された閾値より低いとステップＳ３０３を実行し、さもなければステップＳ３０５を実行する。
【００５７】
「
【数５】
0006484236.tif 000006
」には「下午（午後）」、「巴黎（パリ）」及び「
【数６】
0006484236.tif 000007
（乗車券）」が現れたため、一般的な文法規則に従って推定すると、一つの場所から他の場所へ行く文法規則であるはずであるが、「京天」は時間名詞でも地点名詞でもなく、「
【数７】
0006484236.tif 000008
（１４からパリへ）」という出発地と目的地を表す文法規則においても、「１４」が地点ではなく、このため、「京天」及び「１４」の信頼度が低くなり、ステップＳ３０３を実行すべきことになる。
【００５８】
ステップＳ３０３では、「
【数８】
0006484236.tif 000009
」を文字としてディスプレイスクリーンに表示し、第一ユーザに促して確認させる。
【００５９】
ステップＳ３０４では、ユーザは削除を選択して改めて入力する。
【００６０】
そして、信頼度が比較的高い第一認識情報「
【数９】
0006484236.tif 000010
」を取得するまで、ステップＳ３０１の実行に戻って上記ステップを繰り返す。
【００６１】
ステップＳ３０５では、第一認識情報「
【数１０】
0006484236.tif 000011
」をフランス語の「
【数１１】
0006484236.tif 000012
（今日の午後、ニースからパリへの乗車券）」、即ち第一翻訳情報に翻訳し、第二ユーザに出力する。
【００６２】
ここで、語彙はめったに見なく又は複数の意味があることにより、翻訳情報に誤りが発生する可能性がある。
【００６３】
ステップＳ３０６では、第二ユーザから入力されたフランス語のフィードバック情報「
【数１２】
0006484236.tif 000013
（どこからパリへ行くのですか）？」を受信し、中国語に翻訳して第二情報とする。
【００６４】
フランス語のフィードバック情報を直接に第二情報としてもよく、それを中国語に翻訳して第二情報としてもよい。
【００６５】
ステップＳ３０７では、言語規則に従って、確認された第一認識情報から第二情報に対応する関連情報を抽出する。
【００６６】
本実施例において、第二情報は「
【数１３】
0006484236.tif 000014
（どこからパリへ行くのですか）？」であり、言語規則に基づいて認識すると、出発地を聞くことが分かり、第一認識情報「
【数１４】
0006484236.tif 000015
」における「
【数１５】
0006484236.tif 000016
（ニースからパリへ）」は、一般的な文法によれば、出発地及び目的地を反映するものであるから、「尼斯（ニース）」を抽出して関連情報とする。
【００６７】
ステップＳ３０８では、関連情報に基づいて第一翻訳情報を修正し、第二ユーザに出力する。
【００６８】
関連情報「尼斯」に基づいて第一翻訳情報をフランス語の「Ｎｉｃｅ」に修正し、第二ユーザに出力する。一般的には、翻訳システムによる単一の語彙及び連語に対する翻訳は文に対する翻訳より正確であるため、翻訳に誤りが発生する確率をある程度低減することができる。
【００６９】
本実施例３の技術的解決手段によれば、第二ユーザ側に「京天」という翻訳結果を出力して両方の交流がスムーズにならないことを回避できる。また、「尼斯」の翻訳結果を修正して改めて出力でき、クロスランゲージの両方がスムーズに交流することを保証する。
【実施例４】
【００７０】
図４は、本発明の実施例四によるオンライン音声翻訳装置の構造概略図である。本実施例は、両方がクロスランゲージ音声交流を行う時に音声認識と翻訳を行う場合に適用でき、当該装置は任意の端末又はネットワーク要素に配置することができる。当該装置は、具体的に、
第一認識情報モジュール４１、確認促進モジュール４２、情報翻訳モジュール４３、関連情報抽出モジュール４４及び情報修正モジュール４５を含む。
【００７１】
第一認識情報モジュール４１は、第一ユーザから入力された第一音声情報について音声認識を行って、第一認識情報を取得するためのものである。確認促進モジュール４２は、第一認識情報を確認するように第一ユーザに促すためのものである。情報翻訳モジュール４３は、確認された第一認識情報を翻訳して、第一翻訳情報を取得して出力するためのものである。関連情報抽出モジュール４４は、第二ユーザからフィードバックされた第二情報に基づいて、第二情報に対応する関連情報を抽出するためのものである。情報修正モジュール４５は、関連情報に基づいて、第一翻訳情報を修正して出力するためのものである。
【００７２】
第一認識情報モジュール４１では、第一ユーザは、第二ユーザとクロスランゲージの言語交流を行う。第一ユーザは第一音声で第一音声情報を入力でき、オンライン音声翻訳装置はそれについて音声認識を行って、第一認識情報を取得することができる。
【００７３】
確認促進モジュール４２では、第一認識情報をディスプレイスクリーンに表示でき、第一ユーザは、タッチスクリーン、キーボード及びマウス等の入力装置により第一認識情報を確認することができる。
【００７４】
取得された第一認識情報のすべてを確認するようにユーザに促してもよいが、好ましくは、設定されたトリガー条件に従って、選択的にユーザに提供して確認させる。
【００７５】
確認促進モジュール４２は、信頼度判定モジュール４２１及びユーザ確認モジュール４２２を含む。
【００７６】
信頼度判定モジュール４２１は、第一認識情報の信頼度を判定するためのものである。ユーザ確認モジュール４２２は、第一認識情報の信頼度に基づいて、第一認識情報を確認するように第一ユーザに注意するためのものである。
【００７７】
信頼度判定モジュール４２１では、信頼度は、第一認識情報の正確率、例えば第一ユーザから入力された第一音声情報の原意との誤差程度であってもよく、第一認識情報の認識可能率であってもよく、シソーラスにおける基準語彙との誤差程度であってもよい。信頼度の判定は、正確に認識された語彙量が設定制限に達しているか否かを判断するように、第一認識情報を基準シソーラスにてマッチングすることであってもよく、又は、第一認識情報が設定された例えば文法要求等の規則を満たしているか否かを判断することであってもよい。実際の使用過程においては、すべての第一認識情報の信頼度を判定してもよく、第一認識情報における少なくとも一つのキーワードを選択して、各キーワードの信頼度を判定してもよい。
【００７８】
ユーザ確認モジュール４２２では、第一認識情報の信頼度に基づくユーザへの促しは、好ましくは、第一認識情報の信頼度が第一プリセット閾値より低い場合に、第一ユーザに確認させるように第一認識情報を表示することである。又は、第一認識情報における少なくとも一つのキーワードの信頼度が第二プリセット閾値より低い場合に、第一ユーザに確認させるようにキーワードを表示することである。
【００７９】
情報翻訳モジュール４３では、第一認識情報を第一ユーザが使う言語から第二ユーザが使う言語に翻訳し、例えば、中国語である第一認識情報を翻訳して、英語である第一翻訳情報を取得する。二つのユーザは、オンライン音声翻訳装置が配置されている二つの端末をそれぞれ使用できるので、第一ユーザの端末は有線ネットワーク又は無線ネットワークを介して第一翻訳情報を第二ユーザの端末に出力することが可能である。
【００８０】
関連情報抽出モジュール４４では、第二ユーザからフィードバックされた第二情報は依然として端末間の対話により第一ユーザの端末に返されることがある。第二情報に対応する関連情報は第一翻訳情報の正確さを修正できる情報である。例えば、関連情報は、確認された第一認識情報において第二情報との類似度が設定値を満たす一字、連語又は第二情報に対して設定された論理的関連を有する情報であってもよい。例えば、第二情報は第一翻訳情報に対する反問情報であってもよく、それに対応する関連情報は第二情報に対する回答であってもよい。
【００８１】
関連情報抽出モジュール４４は、第二ユーザからフィードバックされた第二情報と確認された第一認識情報とについてキーワード類似度のマッチングを行い、マッチングされたキーワードを抽出して第二情報に対応する関連情報とするキーワードマッチングサブモジュール４４１を含んでいる。例えば、第一ユーザが「
【数１６】
0006484236.tif 000017
」と言う場合に、第二ユーザが「どこへ？」と反問すると、第二ユーザが理解できないことから、ここでの「天津」の翻訳に誤りが発生した可能性があることが分かる。そこで、第二情報「どこへ？」と確認された第一認識情報「
【数１７】
0006484236.tif 000018
」とについて類似度のマッチングを行い、第二ユーザがより関心を持つ情報を取得して、修正すべき情報とする。
【００８２】
情報修正モジュール４５は、情報が漏れないことを確保するようにすべての第一翻訳情報を修正して出力してもよい。あるいは、第一翻訳情報の一部、例えばそのうちのいくつかのキーワードを修正して出力してもよい。一段の情報を翻訳することについて、キーワードを翻訳する正確率が比較的高いため、修正の正確率を向上させることができる。また、一部の文字又は単語を処理するデータの処理量が小さく、第一翻訳情報を修正して出力する効率を向上させることができる。具体的に、有線ネットワーク又は無線ネットワークを介して第二ユーザに出力することができる。本操作において、第一翻訳情報を第一ユーザに表示して確認させる必要がなくなり、装置により翻訳情報の修正を自動的に完成でき、翻訳の効率が向上する。
【００８３】
本実施例４で開示されたオンライン音声翻訳装置は、第一認識情報の認識結果を確認するように第一ユーザに促すことによって、音声認識の過程において誤りが発生することを回避し、情報認識の正確率が向上するとともに、第二ユーザからフィードバックされた第二情報に基づいて、第二情報に対応する関連情報を抽出し、第一翻訳情報を修正して出力することによって、クロスランゲージ翻訳の正確率が向上する。
【実施例５】
【００８４】
図５は、本発明の実施例５によるオンライン音声翻訳装置の構造概略図である。実際に両方が交流する過程において、会話内容は一定の会話シーン及び会話規則に基づいて産生されるものである。このため、本発明の実施例５は、本発明の実施例４に基づいて、会話シーン及び会話規則に基づいてオンライン音声翻訳過程を最適化したものである。本実施例によるオンライン音声翻訳装置は、
第一認識情報モジュール５１、会話シーン判定モジュール５２、信頼度判定モジュール５３、ユーザ確認モジュール５４、情報翻訳モジュール５５、言語規則サブモジュール５６及び情報修正モジュール５７を含む。
【００８５】
第一認識情報モジュール５１は、第一ユーザから入力された第一音声情報について音声認識を行って、第一認識情報を取得するためのものである。会話シーン判定モジュール５２は、第一認識情報に基づいて現在の会話シーンを判定するか、又は第一ユーザにより確認された認識履歴情報におけるキーワードに基づいて現在の会話シーンを認識するためのものである。信頼度判定モジュール５３は、第一認識情報の信頼度を判定するためのものである。ユーザ確認モジュール５４は、第一認識情報の信頼度に基づいて、第一認識情報を確認するように第一ユーザに促すためのものである。情報翻訳モジュール５５は、確認された第一認識情報を翻訳して、第一翻訳情報を取得して出力するためのものである。言語規則サブモジュール５６は、現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、確認された第一認識情報から第二ユーザからフィードバックされた第二情報に対応する関連情報を抽出するためのものである。情報修正モジュール５７は、関連情報に基づいて、第一翻訳情報を修正して出力するためのものである。
【００８６】
会話シーン判定モジュール５２には、いくつかの会話シーン及びその判定規則を予め設定しておいてもよい。例えば、娯楽施設での会話シーン、商談シーン、学術討論シーン、駅での会話シーン、空港での会話シーン等がある。第一認識情報におけるキーワードに基づいて現在の会話シーンを判定してもよく、例えば、キーワードが観光地の名称である場合に、現在の会話シーンが旅行シーンであることを判定する。第一ユーザがプリセット時間帯において確認された認識履歴情報におけるキーワードに基づいて現在の会話シーンを認識してもよい。第一ユーザが第一認識情報を確認する前に確認された情報は認識履歴情報である。当然ながら、会話シーンはユーザにより選択されてもよい。
【００８７】
信頼度判定モジュール５３では、上記操作において、現在の会話シーンにおけるキーワードは、当該シーンでの常用語彙であってもよく、又は当該シーンでのよく用いられない語彙であってもよい。このため、第一認識情報を現在の会話シーンのキーワードと比較して、現在含まれる常用語彙及び／又はよく用いられない語彙の確率に基づいて信頼度を判定することができる。言語規則は、文法規則であってもよく、時間、場所、人物及び事件を含んでもよいがこれに限定されるものではない。
【００８８】
ユーザ確認モジュール５４では、視覚的手段により第一認識情報を確認するように第一ユーザに促してもよく、例えば、表示インタフェースでウィンドウをポップアップして確定ボタンを表示する等の手段があり、また、聴覚的手段により第一認識情報を確認するように第一ユーザに促してもよく、例えば、促す音声情報を再生する手段がある。
【００８９】
本実施例５で開示されたオンライン音声翻訳装置によれば、会話シーンの管理を増加し、信頼度を判定する正確率及び関連情報を判定する正確率をさらに最適化した。
【００９０】
本発明の実施例は、コンピュータプロセッサにより実行される時、オンライン音声翻訳方法を実行するためのコンピュータ実行可能命令を含む記憶媒体をさらに提供するものであり、前記オンライン音声翻訳方法は、
第一ユーザから入力された第一音声情報について音声認識を行って、第一認識情報を取得するステップと、
前記第一認識情報を確認するように前記第一ユーザに促すステップと、
確認された前記第一認識情報を翻訳して、第一翻訳情報を取得して出力するステップと、
第二ユーザからフィードバックされた第二情報に基づいて、第二情報に対応する関連情報を抽出するステップと、
前記関連情報に基づいて、前記第一翻訳情報を修正して出力するステップと
を含む記憶媒体をさらに提供する。
【００９１】
上記オンライン音声翻訳装置は、本発明の任意の実施例によるオンライン音声翻訳方法を実行でき、対応する機能モジュール及び有益な効果を備える。
【００９２】
図６を参照して、本発明の実施例は、オンライン音声翻訳方法を実行する端末装置のハードウェア構造を提供する。当該端末装置は、プロセッサ６０１、記憶装置６０２、入力装置６０３及び出力装置６０４を含む。端末装置中のプロセッサ６０１の数は一つ又は複数であってもよいが、図６では、一つのプロセッサ６０１を例としている。端末装置におけるプロセッサ６０１、記憶装置６０２、入力装置６０３及び出力装置６０４は、バス又はその他の手段により接続されてもよいが、図６では、バスによる接続を例としている。
【００９３】
コンピュータ可読記憶媒体として、記憶装置６０２は、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば本発明の実施例におけるオンライン音声翻訳方法に対応するプログラム命令／モジュール（例えば、図４〜図５に示されるオンライン音声翻訳装置における第一認識情報モジュール４１、確認促進モジュール４２、情報翻訳モジュール４３、関連情報抽出モジュール４４及び情報修正モジュール４５）を記憶するために用いることができる。プロセッサ６０１は、記憶装置６０２に記憶されたソフトウェアプログラム、命令及びモジュールを実行することによって、端末装置の各機能的アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例におけるオンライン音声翻訳方法を実現する。
【００９４】
記憶装置６０２はプログラム記憶領域及びデータ記憶領域を含んでもよく、そのうち、プログラム記憶領域はオペレーティングシステムと少なくとも一つの機能に必要なアプリケーションプログラムとを記憶してもよく、データ記憶領域は端末装置の使用に基づいて作成されたデータ等を記憶してもよい。また、記憶装置６０２は、高速ランダムアクセス記憶装置を含んでもよく、さらに不揮発性記憶装置、例えば少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ、又はその他の不揮発性固体記憶装置を含んでもよい。いくつかの例では、記憶装置６０２は、プロセッサ６０１に対して遠隔に設けられた記憶装置をさらに含んでもよく、これらの遠隔記憶装置はネットワークを介してサーバに接続することができる。上記ネットワークの一例では、インターネット、社内イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びその組合せを含んでもよいが、これに限定されるものではない。
【００９５】
入力装置６０３は、入力されたオーディオ情報を受信するとともに、端末のユーザ設定及び機能制御に関するオーディオ信号入力を発生するために用いることができる。出力装置５０４は、ディスプレイスクリーン等の表示装置を含んでもよい。
【００９６】
プロセッサ６０１は、第一ユーザから入力された第一音声情報について音声認識を行って、第一認識情報を取得するステップと、第一認識情報を確認するように第一ユーザに促すステップと、確認された第一認識情報を翻訳して、第一翻訳情報を取得して出力するステップと、第二ユーザからフィードバックされた第二情報に基づいて、第二情報に対応する関連情報を抽出するステップと、関連情報に基づいて、第一翻訳情報を修正して出力するステップとを実行することができる。
【００９７】
さらに、プロセッサ６０１は、第一認識情報を確認するように第一ユーザに促す場合に、その具体的な実現過程として、第一認識情報の信頼度を判定し、第一認識情報の信頼度に基づいて、第一認識情報を確認するように第一ユーザに促すことである。第一認識情報の信頼度の判定は、現在の会話シーンにおけるキーワード及び／又は言語規則の少なくとも一つに従うものである。
【００９８】
さらに、プロセッサ６０１は、第一認識情報の信頼度に基づいて、第一認識情報を確認するように第一ユーザに促す場合に、その具体的な実現過程として、第一認識情報の信頼度が第一プリセット閾値より低い場合に第一ユーザに確認させるように第一認識情報を表示し、又は、第一認識情報における少なくとも一つのキーワードの信頼度が第二プリセット閾値より低い場合に第一ユーザに確認させるようにキーワードを表示する。
【００９９】
さらに、プロセッサ６０１は、第二ユーザからフィードバックされた第二情報に基づいて、第二情報に対応する関連情報を抽出する場合に、その具体的な実現過程として、第二ユーザからフィードバックされた第二情報と確認された第一認識情報とについてキーワード類似度のマッチングを行い、マッチングされたキーワードを抽出して第二情報に対応する関連情報とすることである。
【０１００】
さらに、プロセッサ６０１は、第二ユーザからフィードバックされた第二情報に基づいて、第二情報に対応する関連情報を抽出する場合に、その具体的な実現過程として、現在の会話シーンにおけるキーワード及び／又は言語規則に基づいて、確認された第一認識情報から第二情報に対応する関連情報を抽出することである。第一認識情報に基づいて現在の会話シーンを判定し、又は第一ユーザにより確認された認識履歴情報におけるキーワードに基づいて現在の会話シーンを認識する。
【０１０１】
以上の実施形態についての説明によれば、本発明はソフトウェア及び必要な汎用ハードウェアにより実現されてもよく、当然ながら、ハードウェアにより実現されてもよいが、多い場合に、前者はより好ましい実施の形態であることを、当業者は明確に理解できる。このような理解に基づいて、本発明の技術的な解決手段は、本質的に、又は従来技術に寄与する部分はソフトウェア製品として表されてもよく、当該コンピュータソフトウェア製品は、コンピュータ可読記憶媒体、例えばコンピュータのフロッピーディスク、固定記憶装置（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセス記憶装置（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ（ＦＬＡＳＨ）、ハードディスク又は光ディスク等に記憶されて、いくつかの命令を含む一つのコンピュータ装置（パソコン、サーバ、又はネットワーク装置等でありうる）に本発明の各実施例に記載の方法を実行させることができる。
【０１０２】
注意すべきは、上記検索装置の実施例では、含まれる各ユニット及びモジュールは単に機能論理に基づいて区分されるものであり、上記の区分に限らず、対応する機能を実現できればよく、また、各機能ユニットの具体的な名称も互いに区別しやすいためのものであり、本発明の保護範囲を制限するためのものではない。
【０１０３】
上記は、単に本発明の好ましい実施例及び適用される技術原理であることに注意すべきである。当業者は、本発明がここに記載される特定の実施例に限定されるものではないことを理解されたい。当業者にとっては、本発明の保護範囲から逸脱することなく、様々な著しい変形、新たな調整及び代替を行えることは明らかである。このため、上記の実施例によって本発明を詳細に説明してきたが、本発明は、上記の実施例のみに限らず、本発明の構想から逸脱することなく、より多くのその他の均等な実施例をさらに含んでもよく、本発明の範囲は添付される特許請求の範囲によって決められる。
【図１】
0006484236.tif 000019
【図２】
0006484236.tif 000020
【図３】
0006484236.tif 000021
【図４】
0006484236.tif 000022
【図５】
0006484236.tif 000023
【図６】
0006484236.tif 000024