(57)【要約】  本出願の実施例は翻訳モデルのトレーニング方法、語句翻訳の方法、機器及び記憶媒体を開示している。  該翻訳モデルのトレーニング方法は以下を有し：コンピュータ機器は複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得し、コンピュータ機器はトレーニングサンプルセットにおける各々トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定し、外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高く、コンピュータ機器は複数のトレーニングサンプルおよび各々トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得る。本出願の実施例により提供される技術案は、モデルのトレーニングに外乱サンプルを導入するから、機械翻訳のロバスト性、及び翻訳品質を向上させることができる。
2021515322.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ機器が実行する翻訳モデルのトレーニング方法であって、
前記コンピュータ機器が、複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するステップと、
前記コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するステップであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
前記コンピュータ機器が、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するステップとを含む方法。
【請求項２】
前記各トレーニングサンプルは、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対であり、
前記コンピュータ機器が、各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定する前記ステップは、
各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び外乱出力サンプルセットの対応する外乱出力サンプルを決定するステップであって、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であるステップを含み、
前記コンピュータ機器が、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得する前記ステップは、
複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するステップを含む請求項１に記載の方法。
【請求項３】
前記コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定する前記ステップは、
前記各トレーニング入力サンプルにおける第１単語を決定するステップであって、前記第１単語は置換対象単語であるステップと、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを取得するステップであって、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高いステップとを含む請求項２に記載の方法。
【請求項４】
前記コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定する前記ステップは、
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定するステップと、
毎回、前記各単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを取得するステップとを含む請求項２に記載の方法。
【請求項５】
前記初期翻訳モデルは、エンコーダと、分類器と、デコーダとを含み、
前記エンコーダは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類器は、前記第１中間表現結果と前記第２中間表現結果とを区別し、
前記デコーダは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する請求項２〜４のいずれか１項に記載の方法。
【請求項６】
前記初期翻訳モデルのモデルターゲット関数は、前記分類器と前記エンコーダに関する分類ターゲット関数と、前記エンコーダと前記デコーダに関するトレーニングターゲット関数と、外乱ターゲット関数とを含み、
前記分類ターゲット関数には、前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には、前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には、前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる請求項５に記載の方法。
【請求項７】
前記コンピュータ機器が、複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得する前記ステップは、
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力するステップと、
勾配降下という方式で前記モデルターゲット関数を最適化し、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定するステップであって、分類ターゲット関数におけるエンコーダのパラメータの勾配に−１をかけるステップとを含む請求項６に記載の方法。
【請求項８】
端末機器によって実行される語句翻訳の方法であって、
前記端末機器が、第１言語で表現される第１翻訳対象語句を受信するステップと、
前記端末機器が、ターゲット翻訳モデルを利用して前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するステップであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
前記端末機器が、前記第２言語で表現される翻訳結果語句を出力するステップとを含む方法。
【請求項９】
前記方法はさらに、
前記端末機器が、前記第１言語で表現される第２翻訳対象語句を受信するステップであって、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と前記第１翻訳対象語句との類似度が第１プリセット値より高いステップと、
前記端末機器が、ターゲット翻訳モデルを利用して前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を取得するステップと、
前記翻訳結果語句を出力するステップとを含む請求項８に記載の方法。
【請求項１０】
１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを含む翻訳モデルのトレーニング装置であって、前記プログラムユニットは前記プロセッサによって実行され、前記プログラムユニットは、
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するように配置される取得ユニットと、
前記取得ユニットにより取得した前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するように配置される決定ユニットであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い決定ユニットと、
前記取得ユニットにより取得した前記複数のトレーニングサンプル及び前記決定ユニットにより決定した前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するように配置されるモデルトレーニングユニットと、を含む装置。
【請求項１１】
前記決定ユニットは、前記各トレーニングサンプルが、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対である場合、各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び外乱出力サンプルセットの対応する外乱出力サンプルを決定するように配置され、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
前記モデルトレーニングユニットは、複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するように配置される請求項１０に記載の装置。
【請求項１２】
１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有する語句翻訳装置であって、前記プログラムユニットは前記プロセッサによって実行され、前記プログラムユニットは、
第１言語で表現される第１翻訳対象語句を受信するように配置される受信ユニットと、
ターゲット翻訳モデルを利用して前記受信ユニットにより受信した前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するように配置される翻訳ユニットであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い翻訳ユニットと、
前記翻訳ユニットにより翻訳した第２言語で表現される翻訳結果語句を出力するように配置される出力ユニットと、を備える装置。
【請求項１３】
入力/出力（Ｉ/Ｏ）インターフェースと、プロセッサと、メモリとを有するコンピュータ機器であって、前記メモリにはプログラム命令が記憶され、
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、請求項１〜７のいずれか１項に記載の方法を実行するコンピュータ機器。
【請求項１４】
入力/出力（Ｉ/Ｏ）インターフェースと、プロセッサと、メモリとを有する端末機器であって、前記メモリにはプログラム命令が記憶され、
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、請求項８または９に記載の方法を実行する端末機器。
【請求項１５】
命令を含む非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令がコンピュータ機器で実行される場合、前記コンピュータ機器に請求項１〜７のいずれか１項に記載の方法または請求項８または９に記載の方法を実行させる記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は２０１８年０５月１０日にて中国特許庁に提出され、出願番号が２０１８１０４４５７８３.２であり、発明の名称が「翻訳モデルのトレーニング方法、語句翻訳の方法、機器及び記憶媒体」である中国特許出願の優先権を主張して、その全ての内容を本出願に参照により援用する。
【０００２】
本出願の実施例は、コンピュータ技術分野に関わり、具体的に、翻訳モデルのトレーニング方法、語句翻訳の方法、機器及び記憶媒体に関わる。
【背景技術】
【０００３】
人工知能の発展に連れて、機械翻訳は既に大幅に応用され、例えば同時通訳及びチャット翻訳などは、いずれも機械翻訳に基づき、１つの入力言語を他の言語に変換して出力する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ニューラル機械翻訳は、完全にニューラルネットワークに基づく機械翻訳モデルであり、いろんな言語ペアで既に優れた翻訳水準に達して、各種機械翻訳製品に大幅に応用されている。ただし、ニューラル機械翻訳モデルは１つの完全なニューラルネットワークに基づき、そのモデリングの全体性のため、ターゲットエンドの各出力はソースエンドから入力される各単語に依存し、入力における僅かな外乱に対して敏感すぎる。例えば、中国語から英語への翻訳において、ユーザが「彼らは困難を恐れず、囲碁ＡＩを作成する」を入力すると、機械翻訳モデルから提供した英語翻訳は「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」であるが、ユーザが「彼らは困難を怖がらず、囲碁ＡＩを作成する」という類似の語句を入力すると、機械翻訳の出力は急激に変えて、結果として、「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」になり、ユーザはただ同義語でそのうちの１つの単語を置き換えているが、その翻訳結果が急激に変化した。
【０００５】
このように、現在のニューラル機械翻訳の安定性、つまりロバスト性は劣っている。
【０００６】
本出願の実施例は、機械翻訳のロバスト性、及び翻訳品質を向上させるための、翻訳モデルのトレーニング方法、語句翻訳の方法、機器及び記憶媒体を提供する。
【課題を解決するための手段】
【０００７】
本出願の実施例第１の態様は翻訳モデルのトレーニング方法を提供し、前記方法は、
コンピュータ機器が、複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するステップと、
コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するステップであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
コンピュータ機器が、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するステップを含む。
【０００８】
本出願の実施例の第２の態様は語句翻訳の方法を提供し、前記方法は、
端末機器が第１言語で表現される第１翻訳対象語句を受信するステップと、
端末機器がターゲット翻訳モデルを利用して前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するステップであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
端末機器が前記第２言語で表現される翻訳結果語句を出力するステップとを含む。
【０００９】
本出願の実施例の第３の態様は、１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有する翻訳モデルのトレーニング装置を提供し、プログラムユニットはプロセッサによって実行され、プログラムユニットは、
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するように配置される取得ユニットと、
前記取得ユニットにより取得した前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するように配置される決定ユニットであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い決定ユニットと、
前記取得ユニットにより取得した前記複数のトレーニングサンプル及び前記決定ユニットにより決定した前記各々トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するように配置されるモデルトレーニングユニットと、を含む。
【００１０】
本出願の実施例の第４の態様は、１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有する語句翻訳装置を提供し、プログラムユニットはプロセッサによって実行され、プログラムユニットは、
第１言語で表現される第１翻訳対象語句を受信するように配置される受信ユニットと、
ターゲット翻訳モデルを利用して前記受信ユニットにより受信した前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するように配置される翻訳ユニットであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い翻訳ユニットと、
前記翻訳ユニットにより翻訳した第２言語で表現される翻訳結果語句を出力するように配置される出力ユニットと、を備える。
【００１１】
本出願の実施例の第５の態様は、入力/出力（Ｉ/Ｏ）インターフェースと、プロセッサと、メモリとを有するコンピュータ機器を提供し、前記メモリにはプログラム命令が記憶され、
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、第１の態様に記載の方法を実行する。
【００１２】
本出願の実施例第６の態様は、入力/出力（Ｉ/Ｏ）インターフェースと、プロセッサと、メモリとを有する端末機器を提供し、前記メモリにはプログラム命令が記憶され、
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、第２の態様に記載の方法を実行する。
【００１３】
本出願の実施例の第７の態様は命令を有する非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記命令がコンピュータ機器で実行される場合、前記コンピュータ機器に前記第１の態様または第２の態様に記載の方法を実行させる。
【００１４】
本出願の実施例の他の態様は命令を有するコンピュータプログラム製品を提供し、前記命令はコンピュータで実行される場合、コンピュータに前記第１の態様または第２の態様に記載の方法を実行させる。
【００１５】
本出願の実施例は、翻訳モデルをトレーニングする際、外乱サンプルを利用し、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングしたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【図面の簡単な説明】
【００１６】
【図１】本出願の実施例における翻訳モデルトレーニングシステムの１つの実施例の模式図である。
【図２】本出願の実施例における翻訳モデルトのレーニング方法の１つの実施例の模式図である。
【図３】本出願の実施例における初期翻訳モデルのアーキテクチャ模式図である。
【図４】本出願の実施例における語句翻訳の方法の１つの実施例の模式図である。
【図５】本出願の実施例における語句翻訳の１つの応用シーン模式図である。
【図６】本出願の実施例における語句翻訳の他の応用シーン模式図である。
【図７】本出願の実施例における語句翻訳の他の応用シーン模式図である。
【図８】本出願の実施例における語句翻訳の他の応用シーン模式図である。
【図９】本出願の実施例における翻訳モデルのトレーニング装置の１つの実施例の模式である。
【図１０】本出願の実施例における語句翻訳装置の１つの実施例の模式である。
【図１１】本出願の実施例におけるコンピュータ機器の１つの実施例の模式図である。
【図１２】本出願の実施例における端末機器の１つの実施例の模式図である。
【発明を実施するための形態】
【００１７】
以下は図面を結合して、本出願の実施例を記載し、明らかに、記載の実施例は全ての実施例ではなく、本出願の一部の実施例のみである。当業者が知っているように、技術の発展及び新たなシーンの出現に連れて、類似の技術問題に対しても、本出願の実施例により提供される技術案は同じように適用できる。
【００１８】
本出願の実施例は、機械翻訳のロバスト性及び翻訳品質を向上させることができる翻訳モデルのトレーニング方法を提供する。本出願の実施例はさらに相応的な語句翻訳の方法、コンピュータ機器、端末機器及びコンピュータ読み取り可能な記憶媒体を提供する。以下はそれぞれ詳しく説明する。
【００１９】
人工知能の発展に連れて、機械翻訳の正確さがますます高くなり、かなりの程度で、ユーザに便利をもたらす。例えば同時通訳、文字翻訳などのシーンにおいていずれも機械翻訳を利用する。一般的に、機械翻訳はモデルによる翻訳であり、つまり、翻訳モデルを事前にトレーニングすることで、トレーニングされた翻訳モデルは１つの言語の語句を受信し得て、そして該語句を他の言語に変換して出力する。現在のニューラル機械翻訳は完全にニューラルネットワークに基づく機械翻訳モデルであり、翻訳の正確さが高いが、該モデルのアンチノイズ能力が劣って、入力される語句に僅かな外乱があっても、出力される語句は不正確になる。従って、本出願の実施例は翻訳モデルのトレーニング方法を提供し、翻訳モデルをトレーニングする際、トレーニングサンプルに各種の外乱サンプルが導入されることで、トレーニングされた翻訳モデルは、外乱付きの語句を受信しても、正確に翻訳できることを保証する。
【００２０】
なお、本出願の実施例において、外乱はノイズを含む。
【００２１】
以下は図面を結合して、本出願の実施例における翻訳モデルトのレーニング過程を紹介する。
【００２２】
図１は、本出願の実施例における翻訳モデルトレーニングシステムの１つの実施例の模式図である。
【００２３】
図１に示すように、本出願の実施例における翻訳モデルトレーニングシステムの１つの実施例は、コンピュータ機器１０とデータベース２０とを有し、データベース２０にはトレーニングサンプルが記憶される。
【００２４】
コンピュータ機器１０は、データベース２０からトレーニングサンプルセットを取得し、そして、該トレーニングサンプルセットによって翻訳モデルをトレーニングし、ターゲット翻訳モデルを得る。
【００２５】
該モデルのトレーニング過程について図２を参照し、図２は本出願の実施例における翻訳モデルのトレーニング方法の１つの実施例の模式図である。
【００２６】
図２に示すように、本出願の実施例により提供される翻訳モデルのトレーニング方法の１つの実施例は以下のステップを有し、
１０１、コンピュータ機器は複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得する。
【００２７】
本出願の実施例において、トレーニングサンプルセットにおけるトレーニングサンプルは、外乱が付けられていないサンプルを指す。
【００２８】
１０２、コンピュータ機器は前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定し、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い。
【００２９】
本出願の実施例において、外乱サンプルは外乱情報またはノイズが含まれるサンプルを指すが、その語義とトレーニングサンプルとの類似度が基本的に一致であり、外乱情報は意思が同様であるが、文字が異なる単語であってもよく、他の状況で語句の語義を大幅に変化させない単語であってもよい。
【００３０】
本出願の実施例における第１プリセット値は例えば、９０％または９５％などのような１つの具体的な値であってよく、例を挙げて説明するが、第１プリセット値の範囲を限定せず、該第１プリセット値は必要に応じて設定すればよい。
【００３１】
トレーニングサンプルと外乱サンプルとの関係について、以下の例を参照して理解すればよく、
トレーニングサンプル：「彼らは困難を恐れず、囲碁ＡＩを作成する」。
外乱サンプル：「彼らは困難を怖がらず、囲碁ＡＩを作成する」。
【００３２】
前記例から分かるように、トレーニングサンプルと外乱サンプルとの語義は非常に近くて、ただ異なる単語、例えば「怖がらず」で元の単語である「恐れず」を置き換える。
【００３３】
１０３、コンピュータ機器は、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得る。
【００３４】
モデルをトレーニングする際、トレーニングサンプルと対応する外乱サンプルを利用してトレーニングする。
【００３５】
本出願の実施例は、翻訳モデルをトレーニングする際、外乱サンプルを採用し、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングされたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【００３６】
任意選択で、本出願の実施例により提供される翻訳モデルのトレーニング方法の他の実施例において、
前記各トレーニングサンプルは、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対であり、
対応するように、前記コンピュータ機器は、各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定することは、
各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを決定することを含み、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
対応するように、コンピュータ機器は、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得ることは、
複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得ることを含む。
【００３７】
本出願の実施例において、トレーニング入力サンプルは第１言語であり、トレーニング出力サンプルは第２言語である。第１言語と第２言語とは異なる。本出願の実施例において、第１言語に対して中国語で例を挙げて、第２言語に対して英語で例を挙げる。ただし、中国語と英語を、本出願の実施例における翻訳モデルに対する限定として理解するべきではない。本出願の実施例における翻訳モデルは、いずれか２つの異なる言語の間の相互翻訳に適用される。トレーニングする際、相応的な２つの言語のトレーニングサンプルを採用すれば、この２つの言語の間の翻訳を実現できる。
【００３８】
本出願の実施例において、各々トレーニング入力サンプルは複数の外乱入力サンプルを具備し得るが、各々外乱入力サンプルに対応する外乱出力サンプルはいずれもトレーニング出力サンプルと同様である。
【００３９】
以上のトレーニング入力サンプル、トレーニング出力サンプル、外乱入力サンプル、及び外乱出力サンプルの間の対応関係について、表１を参照して理解すればよい。
【００４０】
【表１】
2021515322.tif 000003
【００４１】
以上の表１から分かるように、トレーニング入力サンプルがｘである場合、トレーニング出力サンプルはｙであり、ｘに対応する外乱入力サンプルは複数があり、それぞれｘ′１、ｘ′２及びｘ′３などであり、各外乱入力サンプルに対応する外乱出力サンプルはいずれもｙである。このように、ｘ、それともｘ′１、ｘ′２またはｘ′３を入力しても、トレーニングされたターゲット翻訳モデルから出力される翻訳結果はいずれもｙであるように確保できる。ターゲット翻訳モデルの翻訳のロバスト性及び翻訳品質をさらに保証する。
【００４２】
無論、表１はただ例を挙げて説明し、トレーニング入力サンプルに対応する外乱入力サンプルは、表１における列挙するものより少なくても多くてもよい。
【００４３】
以上は外乱入力サンプルを紹介し、以下は外乱入力サンプルの発生を紹介する。
【００４４】
外乱入力サンプルの１つの発生方式は以下の通りである。
【００４５】
前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定することは以下を含み、
前記各トレーニング入力サンプルにおける第１単語を決定し、前記第１単語は置換対象となる単語であり、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを得て、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高い。
【００４６】
本出願の実施例において、語彙レベルから外乱付きの語句を発生させ、１つの入力の語句を特定し、そして、そのうちの修正対象となる第１単語に対してサンプリングを行って、該第１単語の位置を決定してから、これらの位置にある第１単語を、単語表における第２単語に置き換える。
【００４７】
単語表には多い単語が含まれ、第２単語に対する選択について、以下の式を参照して理解すればよい。
【００４８】
【数１】
2021515322.tif 000004
【００４９】
なお、Ｅ[ｘｉ]は第１単語ｘｉの単語ベクトルであり、ｃｏｓ（Ｅ[ｘｉ]、Ｅ[ｘ]）は第１単語ｘｉと第２単語ｘとの類似度を計量する。単語ベクトルは単語の語義情報を捕捉できるから、該置換方式で、順調に現在語句における第１単語ｘｉを、それと近い語義情報を有する第２単語ｘに置き換えることができる。
【００５０】
また、外乱入力サンプルの他の発生方式は以下の通りである。
【００５１】
前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定することは、
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定することと、
毎回に、前記各単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを得ることと、を含む。
【００５２】
本出願の実施例において、特徴レベルから外乱付きの語句を発生させる。１つの語句を特定し、該語句における各単語のベクトルを得て、そして、各単語の単語ベクトルに対していずれもガウシノイズをつけることで、可能な外乱種類をシミュレーションし、以下の式を参照して理解すればよい。
【００５３】
Ｅ[ｘ′ｉ]＝Ｅ[ｘｉ]+ε、ε〜Ｎ（０、ｖδ ２Ｉ）
【００５４】
以上の式が示すように、Ｅ[ｘｉ]は単語ｘｉの単語ベクトルを標識し、Ｅ[ｘ′ｉ]はガウシノイズが付けられた後の単語の単語ベクトルであり、ベクトルεは分散がδ ２であるガウシノイズからサンプリングすることで取得され、δは１つのハイパーパラメータである。
【００５５】
本技術案において、１つの汎用案であり、外乱入力に参加する対策を自由に定義できる。
【００５６】
以上は外乱入力サンプルの発生過程を紹介し、以下は本出願の実施例における翻訳モデルのアーキテクチャを紹介する。
【００５７】
図３は、本出願の実施例における初期翻訳モデルのアーキテクチャ模式図であり、図３に示すように、本出願の実施例により提供される初期翻訳モデルはエンコーダと、分類器とデコーダとを含む。
【００５８】
エンコーダは、トレーニング入力サンプル及び対応する外乱入力サンプルを受信するとともに、第１中間表現結果及び第２中間表現結果を出力し、第１中間表現結果はトレーニング入力サンプルの中間表現結果であり、第２中間表現結果は対応する外乱入力サンプルの中間表現結果である。
【００５９】
分類器は、第１中間表現結果と第２中間表現結果とを区別する。
【００６０】
デコーダは、第１中間表現結果に基づいてトレーニング出力サンプルを出力し、第２中間表現結果に基づいてトレーニング出力サンプルを出力する。
【００６１】
前記初期翻訳モデルのモデルターゲット関数は、前記分類器と前記エンコーダに関する分類ターゲット関数と、前記エンコーダと前記デコーダに関するトレーニングターゲット関数と、外乱ターゲット関数とを含み、
前記分類ターゲット関数には、前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には、前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には、前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる。
【００６２】
本出願の実施例において、トレーニング入力サンプルはｘで示し、対応する外乱入力サンプルはｘ′で示し、トレーニング出力サンプル及び外乱出力サンプルはいずれもｙで示し、第１中間表現結果はＨｘで示し、第２中間表現結果はＨｘ′で示し、分類ターゲット関数はＬｉｎｖ（ｘ、ｘ′）で示し、トレーニングターゲット関数はＬｔｒｕｅ（ｘ、ｙ）で示し、外乱ターゲット関数はＬｎｏｉｓｙ（ｘ′、ｙ）で示す。
【００６３】
本出願の実施例における初期翻訳モデルは、ニューラル機械翻訳モデルであってもよい。
【００６４】
初期翻訳モデルに対するトレーニングターゲットは、初期翻訳モデルのｘ及びｘ′に対する翻訳行為を基本的に一致させる。エンコーダは第１言語の語句ｘをＨｘに変換し、デコーダはＨｘを入力としてターゲット言語の語句ｙを出力する。本出願の実施例のトレーニングターゲットは、外乱があっても不変のエンコーダとデコーダをトレーニングすることである。
【００６５】
ｘ′はｘの１つの微小な変化であるから、類似の語義情報を有する。１つの入力対（ｘ、ｘ′）を特定し、翻訳モデルをトレーニングする際のトレーニングターゲットは以下の通りであり、（１）ＨｘとＨｘ′とがなるべく近接すべきであることを示すようにコーディングし、（２） Ｈｘ′を特定し、デコーダは同じｙを出力すべきである。従って、本出願の実施例には、２つのトレーニングターゲットが導入されることで、エンコーダとデコーダとのロバスト性を強化させ、
Ｌｉｎｖ（ｘ、ｘ′）を導入することで、ｘとｘ′に対して類似の表示を出力するように、エンコーダを激励し、これによって、外乱があっても不変のエンコーダを実現し、敵対的学習を介して該ターゲットを実現する。
【００６６】
Ｌｎｏｉｓｙ（ｘ′、ｙ） を導入することで、外乱が含まれる入力ｘ′に対してターゲット言語の語句ｙを発生させるように、デコーダをガイドする。
【００６７】
新たに導入される２つのトレーニングターゲットはニューラル機械翻訳モデルのロバスト性を実現でき、入力の僅かな外乱による出力空間の急激な変化を回避できる。その同時に、元のデータｘ及びｙでのトレーニングターゲットＬｔｒｕｅ（ｘ、ｙ）を導入することで、ニューラル機械翻訳モデルのロバスト性を向上させるとともに、翻訳の品質を強化させるように保証する。
【００６８】
従って、初期翻訳モデルのモデルターゲット関数は以下の通りである。
【００６９】
【数２】
2021515322.tif 000005
【００７０】
θｅｎｃはエンコーダのパラメータであり、θｄｅｃはデコーダのパラメータであり、θｄｉｓは分類器のパラメータである。αとβとは元の翻訳タスクと機械翻訳モデルの安定性との間の重要度を制御するために用いられる。
【００７１】
外乱があっても不変のエンコーダのターゲットは、エンコーダが１つの正確な語句ｘ及びその対応する外乱語句ｘ′を入力して後、エンコーダが２つの語句に対して発生する表現は区別できず、デコーダがロバストの出力を発生させることに直接的に寄与する。本出願の実施例において、エンコーダを発生器Ｇとすることができ、陰的表現であるＨｘシーケンスの発生過程を定義する。その同時に、元に入力される表現Ｈｘと外乱入力Ｈｘ′とを区別するための分類器Ｄを導入する。発生器Ｇの作用はｘ及びｘ′に対して近い表現を発生させることで、分類器Ｄがそれらを区別できないようにすることであり、分類器Ｄの作用はそれらをなるべく区別するようにすることである。
【００７２】
形式で、敵対的学習のターゲットは以下の通り定義する。
【００７３】
【数３】
2021515322.tif 000006
【００７４】
１つの入力を特定し、分類器は１つの分類値を出力し、そのターゲットは正確な語句ｘの分類値を最大化にするとともに、外乱語句ｘ′の分類値を最小化にすることである。
【００７５】
確率的勾配降下でモデルターゲット関数Ｊ（θ）を最適化する。フォワード伝搬において、ｘとｙとが含まれる１組のデータ以外に、さらにｘ′とｙとが含まれる１組のデータがある。該２組のデータによりＪ（θ）の値を算出し、そして、Ｊ（θ）のモデルパラメータに対応する勾配を算出し、これらの勾配は、モデルパラメータを更新するために用いられる。なぜならば、Ｌｉｎｖのターゲットは、正確な語句ｘの分類値を最大化にするとともに、外乱語句ｘ′の 分類値を最小化することであるから、Ｌｉｎｖのパラメータセットθｅｎｃに対する勾配に−１をかけて、他の勾配は正常に伝搬さればよい。このように、初期トレーニングモデルにおけるθｅｎｃ、θｄｅｃ及びθｄｉｓの値を算出でき、アンチノイズ能力を有するターゲット翻訳モデルをトレーニングする。
【００７６】
つまり、本出願の実施例において、前記複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得ることは以下を含み、
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力し、
勾配降下という方式で前記モデルターゲット関数を最適化することで、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定し、分類ターゲット関数におけるエンコーダのパラメータの勾配に−１をかける。
【００７７】
以上はターゲット翻訳モデルのトレーニング過程を紹介し、以下は該ターゲット翻訳モデルによって語句翻訳を行う過程を紹介する。
【００７８】
図４は、本出願の実施例における語句翻訳の方法の１つの実施例の模式図であり、図４に示すように、本出願の実施例により提供される語句翻訳の方法の１つの実施例は以下のステップを有し、
２０１、端末機器は第１言語で表現される第１翻訳対象語句を受信する。
【００７９】
本出願の実施例において、第１言語はターゲット翻訳モデルが支持する、任意のタイプの言語であってよい。
【００８０】
２０２、端末機器はターゲット翻訳モデルによって前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を得て、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い。
【００８１】
ターゲット翻訳モデルについて、前記モデルのトレーニング過程の実施例を参照して理解すればよく、ここで贅言しない。
【００８２】
２０３、端末機器は前記第２言語で表現される翻訳結果語句を出力する。
【００８３】
第２言語は第１言語と異なる言語であり、例えば、第１言語は中国語であり、第２言語は英語である。
【００８４】
本出願の実施例において、ターゲット翻訳モデルはアンチノイズ能力を有するから、ノイズが付けられた語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【００８５】
任意選択で、本出願の実施例により提供される語句翻訳の方法の他の実施例において、さらに以下を含んでもよく、
端末機器は前記第１言語で表現される第２翻訳対象語句を受信し、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と、前記第１翻訳対象語句との類似度が第１プリセット値より高く、
端末機器はターゲット翻訳モデルによって前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を得て、
端末機器は前記翻訳結果語句を出力する。
【００８６】
本出願の実施例において、第１翻訳対象語句は前記例示におけるトレーニング入力サンプルに限定されず、前記外乱入力サンプルのうちの１つであってもよい。
【００８７】
本出願の実施例における語句翻訳案について、以下の２つのシーンの例示を参照して理解すればよい。
【００８８】
図５は、本出願の実施例における語句翻訳の１つの応用シーンの模式図であり、図５における（Ａ）〜（Ｃ）は本出願の実施例のソーシャルネットワークアプリケーションにおけるテキスト翻訳の１つのシーンの例示図である。
【００８９】
図５の（Ａ）に示すように、ソーシャルネットワークアプリケーションにおける「彼らは困難を恐れず、囲碁ＡＩを作成する」ということを英語に翻訳しようとすると、文字部分を長押しすれば、図５の（Ｂ）に示す頁が出現し、図５の（Ｂ）に示される頁には「コピー」、「転送」、「削除」及び「英語へ翻訳」などの機能ボックスが出現し、無論、図５の（Ｂ）は例に過ぎず、「英語へ翻訳」を「翻訳」に変更してもよく、そしてプルダウンボックスが出現し、対応する翻訳文字を選択すればよい。ユーザは図５の（Ｂ）に示される頁で「英語へ翻訳」をクリックすると、図５の（Ｃ）に示される翻訳結果「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」が出現する。
【００９０】
図５の（Ａ）〜（Ｃ）は本出願の実施例の、ソーシャルネットワークアプリケーションにおけるテキスト翻訳の他のシーンの例示図である。
【００９１】
図６は、本出願の実施例における語句翻訳の他の応用シーンの模式図であり、図６のＡに示すように、ソーシャルネットワークアプリケーションにおける「彼らは困難を怖がらず、囲碁ＡＩを作成する」ということを英語に翻訳しようとすると、文字部分を長押しすれば、図６の（Ｂ）に示される頁が出現し、図５の（Ｂ）に示される頁には「コピー」、「転送」、「削除」及び「英語へ翻訳」などの機能ボックスが出現し、ユーザは図６の（Ｂ）に示される頁で「英語へ翻訳」をクリックすると、図６の（Ｃ）に示される翻訳結果「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」が出現する。
【００９２】
図５の（Ａ）〜（Ｃ）、及び図６の（Ａ）〜（Ｃ）の過程及び結果に対する比較から分かるように、図５の（Ａ）の翻訳対象となる語句は「彼らは困難を恐れず、囲碁ＡＩを作成する」ことであり、図６の（Ａ）の翻訳対象となる語句は「彼らは困難を怖がらず、囲碁ＡＩを作成する」ことであるが、この語義が類似する２つの語句に対して、図５の（Ｃ）及び図６の（Ｃ）において、それぞれ同じ翻訳結果である「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」を取得する。このように、本出願の実施例により提供される語句翻訳案のロバスト性及び翻訳品質がより優れる。
【００９３】
図７は、本出願の実施例の語句翻訳の、同時通訳シーンにおける１つの応用模式図である。
【００９４】
図７に示すように、同時通訳シーンにおいて、発言者は中国語で「彼らは困難を恐れず、囲碁ＡＩを作成する」と話して、英語チャンネルを利用する聴衆が聞いた語句は「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」になる。
【００９５】
図８は、本出願の実施例の語句翻訳の、同時通訳シーンにおける他の応用模式図である。
【００９６】
図８に示すように、同時通訳シーンにおいて、発言者は中国語で「彼らは困難を怖がらず、囲碁ＡＩを作成する」と話して、英語チャンネルを利用する聴衆が聞いた語句は「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」になる。
【００９７】
図７と図８との例示に対する比較から分かるように、語義が類似する入力に対して、翻訳の結果は同様であり、このように、本出願の実施例により提供される語句翻訳案のロバスト性及び翻訳品質がより優れる。
【００９８】
なお、以上の２つの応用シーンは例に過ぎず、本出願の実施例の技術案は多種の翻訳シーンに適用され、そして、関わる端末機器の形態も図５〜図８に示される形態に限定されない。
【００９９】
以上の実施例は本出願の実施例におけるターゲット翻訳モデルのトレーニング過程、及びターゲット翻訳モデルを利用して語句翻訳を行う過程を紹介し、以下は図面を結合して、本出願の実施例における翻訳モデルトのレーニング装置、語句翻訳装置、コンピュータ機器及び端末機器を紹介する。
【０１００】
図９は、本出願の実施例における翻訳モデルのトレーニング装置の１つの実施例の模式である。本出願の実施例により提供される翻訳モデルのトレーニング装置３０は、１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有し、プログラムユニットはプロセッサによって実行され、図９に示すように、プログラムユニットは、
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するように配置される取得ユニット３０１と、
前記取得ユニット３０１により取得した前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するように配置される決定ユニット３０２であって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い決定ユニット３０２と、
前記取得ユニット３０１により取得した前記複数のトレーニングサンプル及び前記決定ユニット３０２により決定した前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得るように配置されるモデルトレーニングユニット３０３と、を含む。
【０１０１】
本出願の実施例は翻訳モデルをトレーニングする際、外乱サンプルを利用して、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングされたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【０１０２】
任意選択で、前記決定ユニット３０２は、前記各トレーニングサンプルが、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対である場合、各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを決定するように配置され、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
モデルトレーニングユニット３０３は、複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得るように配置される。
【０１０３】
任意選択で、前記決定ユニット３０２は以下のように配置され、即ち、
前記各トレーニング入力サンプルにおける第１単語を決定し、前記第１単語は置換対象単語であり、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを得て、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高い。
【０１０４】
任意選択で、前記決定ユニット３０２は以下のように配置され、即ち、
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定し、
毎回、前記各単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを得る。
【０１０５】
任意選択で、前記初期翻訳モデルはエンコーダと、分類器と、デコーダとを有し、
前記エンコーダは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類器は、前記第１中間表現結果と前記第２中間表現結果とを区別し、
前記デコーダは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する。
【０１０６】
任意選択で、前記初期翻訳モデルのモデルターゲット関数は、前記分類器と前記エンコーダに関する分類ターゲット関数と、前記エンコーダと前記デコーダに関するトレーニングターゲット関数と、外乱ターゲット関数とを有し、
前記分類ターゲット関数には前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる。
【０１０７】
任意選択で、モデルトレーニングユニット３０３は以下のように配置され、即ち、
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力し、
勾配降下という方式で前記モデルターゲット関数を最適化することで、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定し、分類ターゲット関数におけるエンコーダのパラメータの勾配に−１をかける。
【０１０８】
本出願の実施例により提供される翻訳モデルのトレーニング装置３０について、前記方法実施例部分の相応的な内容を参照して理解すればよく、ここで贅言しない。
【０１０９】
図１０に示すように、本出願の実施例により提供される語句翻訳装置の１つの実施例であり、該装置は１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有し、プログラムユニットはプロセッサによって実行され、プログラムユニットは、
第１言語で表現される第１翻訳対象語句を受信するように配置される受信ユニット４０１と、
ターゲット翻訳モデルによって前記受信ユニット４０１により受信された前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を得るように配置される翻訳ユニット４０２であって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによってトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い翻訳ユニット４０２と、
前記翻訳ユニット４０２により翻訳され、第２言語で表現される翻訳結果語句を出力するように配置される出力ユニット４０３と、を含む。
【０１１０】
本出願の実施例において、ターゲット翻訳モデルはアンチノイズ能力を有するから、ノイズが付けられた語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【０１１１】
任意選択で、前記受信ユニット４０１はさらに、前記第１言語で表現される第２翻訳対象語句を受信するように配置され、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と、前記第１翻訳対象語句との類似度が第１プリセット値より高く、
前記翻訳ユニット４０２はさらに、ターゲット翻訳モデルによって前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を得るように配置され、
前記出力ユニット４０３はさらに、前記翻訳結果語句を出力するように配置される。
【０１１２】
以上の語句翻訳装置４０について、方法実施例部分の相応的な内容を参照して理解すればよく、ここで贅言しない。
【０１１３】
図１１は、本出願の実施例におけるコンピュータ機器の１つの実施例の模式図である。図１１に示すように、コンピュータ機器５０はプロセッサ５１０と、メモリ５４０と、入力出力（Ｉ/Ｏ）インターフェース５３０とを有し、メモリ５４０は読み取り専用メモリとランダムアクセスメモリとを含むとともに、プロセッサ５１０に操作命令及びデータを提供する。メモリ５４０にはさらに不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）が含まれてもよい。
【０１１４】
いくつかの実施形態において、メモリ５４０には、実行可能なモジュールまたはデータ構成、或いは彼らのサブセット、または彼らの拡張セットなどの要素が記憶され、
本出願の実施例において、地面標識の決定過程で、メモリ５４０に記憶される操作命令（該操作命令はオペレーティングシステムに記憶されてもよい）を呼び出すことで、
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得し、
前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定し、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高く、
前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得る。
【０１１５】
本出願の実施例は翻訳モデルをトレーニングする際、外乱サンプルを利用して、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングされたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【０１１６】
プロセッサ５１０は、コンピュータ機器５０の操作を制御し、プロセッサ５１０はさらに中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）とも呼ばれる。メモリ５４０は読み取り専用メモリとランダムアクセスメモリとを含むとともに、プロセッサ５１０に命令及びデータを提供する。メモリ５４０の一部はさらに不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）を含んでもよい。具体的な応用において、コンピュータ機器５０の各部品はバスシステム５２０を介して結合され、バスシステム５２０はデータバス以外に、さらに電源バス、制御バス及び状態信号バスなどを含んでもよい。ただし、明らかに説明するために、図面において、各種のバスに対して、いずれもバスシステム５２０として標識する。
【０１１７】
前記本出願の実施例に開示された方法は、プロセッサ５１０に適用されるか、またはプロセッサ５１０によって実現できる。プロセッサ５１０は、信号の処理能力を有する集積回路チップであってもよい。実現の過程で、前記方法の各ステップはプロセッサ５１０におけるハードウェアの集積論理回路、またはソフトウェア形式である命令によって完成される。前記プロセッサ５１０は汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、現場でプログラム可能なゲートアレイ（ＦＰＧＡ）、または他のプログラマブルロジックデバイス、個別ゲート、或いはトランジスタロジックデバイス、個別ハードウェア部品であってよい。本出願の実施例に開示された各方法、ステップ及び論理ブロック図を実現または実行できる。汎用プロセッサはマイクロプロセッサであってもよく、該プロセッサは任意の通常のプロセッサなどであってもよい。本出願の実施例に開示された方法のステップを結合し、ハードウェア復号プロセッサによって実行して完成するか、または復号プロセッサにおけるハードウェア及びソフトウェアモジュールを組み合わせることで実行して完成するように直接的に表現できる。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、または電気的に消去およびプログラム可能なメモリ、レジスタなどの本分野の成熟の記憶媒体に位置してもよい。該記憶媒体はメモリ５４０にあり、プロセッサ５１０はメモリ５４０における情報を読み取り、そのハードウェアを結合して前記方法のステップを完成する。
【０１１８】
任意選択で、プロセッサ５１０は以下のように配置され、即ち、
前記各トレーニングサンプルが、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対である場合、各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを決定し、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
複数のトレーニングサンプル対、前記各々トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得る。
【０１１９】
任意選択で、プロセッサ５１０は以下のように配置され、
前記各トレーニング入力サンプルにおける第１単語を決定し、前記第１単語は置換対象単語であり、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを得て、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高い。
【０１２０】
任意選択で、プロセッサ５１０は以下のように配置され、即ち、
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定し、
毎回、前記単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを得る。
【０１２１】
任意選択で、前記初期翻訳モデルはエンコーダと、分類器と、デコーダと、を有し、
前記エンコーダは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類器は、前記第１中間表現結果と前記第２中間表現結果とを区別し、
前記デコーダは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する。
【０１２２】
任意選択で、前記初期翻訳モデルのモデルターゲット関数は、前記分類器と前記エンコーダに関する分類ターゲット関数と、前記エンコーダと前記デコーダに関するトレーニングターゲット関数と、外乱ターゲット関数とを含み、
前記分類ターゲット関数には前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる。
【０１２３】
任意選択で、プロセッサ５１０は以下のように配置され、
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力し、
勾配降下という方式で前記モデルターゲット関数を最適化し、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定し、分類ターゲット関数におけるエンコーダのパラメータの勾配に−１をかける。
【０１２４】
前記コンピュータ機器５０に対する記載について、図１〜図３部分の記載を参照して理解すればよく、ここで贅言しない。
【０１２５】
前記語句翻訳の過程は例えば携帯電話、タブレット、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、販売時点情報管理システム（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ、ＰＯＳ）、車載コンピュータなどのような任意の端末機器によって実行される場合、端末は携帯電話であることを例として、
図１２は本出願の実施例における端末機器の１つの実施例の模式図であり、以下は該端末機器が携帯電話であることを例として説明する。図１２を参照し、携帯電話は、無線周波（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）、回路１１１０、メモリ１１２０、入力ユニット１１３０、表示ユニット１１４０、センサ１１５０、オーディオ回路１１６０、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、ＷｉＦｉ）モジュール１１７０、プロセッサ１１８０、及びカメラ１１９０などの部材を有する。当業者が理解できるように、図１２に示した携帯電話の構成は、携帯電話に対する限定を構成せず、図示より多いまたは少ない部材を有するか、またはいくつかの部材、或いは異なる部材を組み合わせて配置してもよい。
【０１２６】
以下は図１２を結合して携帯電話の各構成部材を具体的に紹介し、
ＲＦ回路１１１０は、情報の送受信または通話過程で、信号の受信及び送信に用いられ、ＲＦ回路１１１０は送受信機である。特に、基地局のダウンリンクの情報を受信した後、プロセッサ１１８０に処理させる、また、アップリンクになるように設計されるデータを基地局に送信する。一般的に、ＲＦ回路１１１０は、アンテナ、少なくとも１つの増幅器、送受信機、カプラ、ローノイズアンプ（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ、ＬＮＡ）、デュプレクサなどを含むが、これらに限定されない。また、ＲＦ回路１１１０はさらに無線通信を介してネットワーク及び他の機器と通信することができる。前記無線通信はいずれかの通信規格またはプロトコルを利用でき、グローバルモバイル通信システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ）、汎用パケット無線サービス（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ,ＷＣＤＭＡ（登録商標））、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、電子メール、ショートメッセージサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ、ＳＭＳ）などを含むが、これらに限定されない。
【０１２７】
メモリ１１２０は、ソフトウェアプログラム及びモジュールを記憶し、プロセッサ１１８０はメモリ１１２０に記憶されるソフトウェアプログラム及びモジュールを実行することで、携帯電話のいろんな機能アプリケーション及びデータ処理を実行する。メモリ１１２０は主にプログラム記憶領域とデータ記憶領域とを含み、プログラム記憶領域にはオペレーティングシステム、少なくとも１つの機能の必要なアプリケーションプログラム（例えば音声再生機能、画像再生機能など）などが記憶され、データ記憶領域には、携帯電話の利用に応じて構築されるデータ（例えばオーディオデータ、電話帳など）などが記憶される。また、メモリ１１２０は高速ランダムアクセスメモリを有してもよく、さらに少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイスのような不揮発性メモリ、または他の揮発性固体記憶装置を有してもよい。
【０１２８】
入力ユニット１１３０は、ユーザにより入力した翻訳対象語句、翻訳インジケータを受信する。具体的に、入力ユニット１１３０はタッチパネル１１３１及び他の入力機器１１３２を有してもよい。タッチパネル１１３１はタッチスクリーンとも呼ばれて、ユーザの、その上または付近のタッチ操作（例えばユーザの、指、タッチペンなどのいずれかの適切な物体、または付属品による、タッチパネル１１３１の上またはタッチパネル１１３１の付近での操作）を収集し、事前に設定されたプログラムに応じて相応的な接続装置を駆動する。任意選択で、タッチパネル１１３１はタッチ検出装置とタッチコントローラとの２つの部分を有してもよい。タッチ検出装置はユーザのタッチ方位、及びタッチ操作による信号を検出し、信号をタッチコントローラに伝送し、タッチコントローラはタッチ検出装置からタッチ情報を受信するとともに、接点座標に変換してから、プロセッサ１１８０に送信し、プロセッサ１１８０から発信された命令を受信し実行する。また、抵抗式、静電容量式、赤外線及び弾性表面波などの多種のタイプによってタッチパネル１１３１を実現し得る。タッチパネル１１３１以外に、入力ユニット１１３０はさらに他の入力機器１１３２を含んでもよい。具体的に、他の入力機器１１３２は物理キーボード、ファンクションキー（例えば音量調整ボタン、スイッチボタンなど）、トラックボール、マウス、ジョイスティックなどのうちの１種または多種を含むが、これらに限定されない。
【０１２９】
表示ユニット１１４０は、翻訳結果を表示する。表示ユニット１１４０は表示パネル１１４１を含んでもよく、任意選択で、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ-Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ,ＯＬＥＤ）などの形式で表示パネル１１４１を配置することができる。さらに、タッチパネル１１３１は表示パネル１１４１を覆ってもよく、タッチパネル１１３１はその上または付近のタッチ操作を検出した後、プロセッサ１１８０に伝送することで、タッチイベントのタイプを決定し、そして、プロセッサ１１８０はタッチイベントのタイプに応じて表示パネル１１４１で相応的な視覚出力を提供する。図１２において、タッチパネル１１３１と表示パネル１１４１とが、２つの独立の部材として携帯電話の入力及び出力機能を実現するが、いくつかの実施例において、タッチパネル１１３１と表示パネル１１４１とを集積させることで、携帯電話の入力及び出力機能を実現できる。
【０１３０】
携帯電話はさらに、少なくとも１種のセンサ１１５０、例えば光センサ、運動センサ及び他のセンサを含んでもよい。具体的に、光センサは環境光センサ及び接近センサを含んでもよく、環境光センサは環境光線の明暗に応じて表示パネル１１４１の輝度を調節でき、接近センサは携帯電話が耳元に移動した際、表示パネル１１４１及び／またはバックライトをオフにする。運動センサの１種として、加速度計センサは各方向での（一般的に３軸である）加速度の大さを検出でき、静止する場合、重力の大さ及び方向を検出でき、携帯電話の姿勢認識のアプリケーション（例えば、水平および垂直画面切り替え、関するゲーム、磁力計の姿勢校正）、振動することで関する機能（例えば歩数計、叩き）を認識することなどに用いられる。さらに携帯電話に配置されるジャイロ、気圧計、湿度計、温度計、赤外線センサなどの他のセンサについて、ここで贅言しない。
【０１３１】
オーディオ回路１１６０、スピーカ１１６１、マイクロフォン１１６２はユーザと携帯電話との間のオーディオインターフェースを提供できる。オーディオ回路１１６０は受信されたオーディオデータの変換後の電気信号を、スピーカ１１６１に転送し、スピーカ１１６１によって声音信号に変換し出力する一方で、マイクロフォン１１６２は収集された声音信号を電気信号に変換し、オーディオ回路１１６０が受信した後、オーディオデータに変換し、オーディオデータをプロセッサ１１８０に出力し処理した後、ＲＦ回路１１１０を介して、例えば他の携帯電話に送信し、または、さらに処理するように、オーディオデータをメモリ１１２０に出力する。
【０１３２】
ＷｉＦｉは近距離無線転送技術であり、携帯電話はＷｉＦｉモジュール１１７０を介してユーザの電子メールに対する送受信、ウェブページに対する閲覧及びストリームメディアに対するアクセスなどに寄与し、ユーザに無線のブロードバンドインターネットに対するアクセスを提供する。図１２はＷｉＦｉモジュール１１７０を示すが、それは必ずしも携帯電話の必要な構成ではなく、必要に応じて、発明の本質を変更しない範囲内で省略することができる。
【０１３３】
プロセッサ１１８０は、携帯電話の制御センターであり、各種のインターフェース及び回路によって携帯電話全体の各部分を接続し、メモリ１１２０内に記憶されるソフトウェアプログラム及び／またはモジュールを動作または実行し、メモリ１１２０内に記憶されるデータを呼び出すことで、携帯電話の各種の機能及びデータの処理を実行し、これによって、携帯電話の全体を監視する。任意選択で、プロセッサ１１８０は１つ又は複数の処理ユニットを含んでもよく、好ましくは、プロセッサ１１８０にはアプリケーションプロセッサとモデムプロセッサとが集積され、アプリケーションプロセッサは主にオペレーティングシステム、ユーザインタフェース及びアプリケーションプログラムなどを処理し、モデムプロセッサは主に無線通信を処理する。なお、前記モデムプロセッサはプロセッサ１１８０に集積されていなくてもよい。
【０１３４】
カメラ１１９０は、画像を採集する。
【０１３５】
携帯電話はさらに、各部材に給電するための電源（例えば電池）を含み、好ましくは、電源は電源管理システムを介してプロセッサ１１８０に論理的に接続されることで、電源管理システムによって充電、放電、及び消費電力に対する管理などの機能を実現する。
【０１３６】
図示していないが、携帯電話はさらにカメラ、ブルートゥース（登録商標）モジュールなどを含んでもよく、ここで贅言しない。
【０１３７】
本出願の実施例において、該端末に含まれるプロセッサ１１８０はさらに、以下の制御機能を有し、即ち、
第１言語で表現される第１翻訳対象語句を受信し、
ターゲット翻訳モデルによって前記第１翻訳対象語句を翻訳し、第２言語で表現される翻訳結果語句を得て、前記ターゲット翻訳モデルが複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高く、
前記第２言語で表現される翻訳結果語句を出力する。
【０１３８】
任意選択で、さらに、
前記第１言語で表現される第２翻訳対象語句を受信し、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と前記第１翻訳対象語句との類似度が第１プリセット値より高く、
ターゲット翻訳モデルを利用して前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を得て、
前記翻訳結果語句を出力する。
【０１３９】
前記実施例において、全部または部分的にソフトウェア、ハードウェア、ファームウエアまたはその任意の組み合わせで実現することができる。ソフトウェアによって実現する場合、全部または部分的にコンピュータプログラム製品という形式で実現することができる。
【０１４０】
前記コンピュータプログラム製品は１つ又は複数のコンピュータ命令を有する。コンピュータで前記コンピュータプログラム命令をロード及び実行する場合、全部または部分的に本出願の実施例に記載のフローまたは機能が発生する。前記コンピュータは汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラム可能な装置であってもよい。前記コンピュータ命令はコンピュータ読み取り可能な記憶媒体に記憶されるか、または１つのコンピュータ読み取り可能な記憶媒体から、他のコンピュータ読み取り可能な記憶媒体に転送され、例えば前記コンピュータ命令は１つのウェブサイト、コンピュータ、サーバまたはデータセンターから、有線（例えば同軸ケーブル、光ファイバー、デジタル加入者線（ＤＳＬ））或いは無線（例えば赤外線、無線、マイクロ波など）の方式で他のウェブサイト、コンピュータ、サーバまたはデータセンターに転送される。前記コンピュータ読み取り可能な記憶媒体は、コンピュータが記憶できる、任意の利用可能な媒体、または１つ又は複数の利用可能な媒体集積が含まれるサーバ、データセンターなどのデータ記憶機器であってもよい。前記利用可能な媒体は、磁気媒体（例えばフロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えば、ＤＶＤ）、または半導体媒体（例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ、ＳＳＤ））などであってもよい。
【０１４１】
当業者は理解できるように、前記実施例の各方法における全部または一部のステップは、プログラムによって関するハードウェアに命令することで完成され、該プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよく、記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光学ディスクなどを含んでもよい。
【０１４２】
以上は、本出願の実施例により提供される翻訳モデルのトレーニング方法、語句翻訳の方法、装置及び機器を詳しく紹介し、本明細書において、具体的な例を利用して本出願の実施例の原理及び実施形態を説明し、以上の実施例に対する説明は、ただ本出願の実施例の方法及びその核心思想への理解に寄与する。その同時に、当業者であれば、本出願の実施例の思想に応じて、具体的な実施形態及び応用範囲で変更でき、本明細書の内容は、本出願の実施例に対する限定として理解すべきではない。
【０１４３】
本出願の実施例は翻訳モデルをトレーニングする際、外乱サンプルを利用し、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングされたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【符号の説明】
【０１４４】
30  翻訳モデルのトレーニング装置
301  取得ユニット
302  決定ユニット
303  モデルトレーニングユニット
40  語句翻訳装置
401  受信ユニット
402  翻訳ユニット
403  出力ユニット
50  コンピュータ機器
510  プロセッサ
530  Ｉ／Ｏインターフェース
540  メモリ
1110  ＲＦ回路
1120  メモリ
1130  入力ユニット
1131  タッチパネル
1132  他の入力機器
1140  表示ユニット
1141  表示パネル
1150  センサ
1160  オーディオ回路
1161  スピーカ
1162  マイクロフォン
1170  ＷｉＦｉモジュール
1180  プロセッサ
1190  カメラ
【図１】
2021515322.tif 000007
【図２】
2021515322.tif 000008
【図３】
2021515322.tif 000009
【図４】
2021515322.tif 000010
【図５】
2021515322.tif 000011
【図６】
2021515322.tif 000012
【図７】
2021515322.tif 000013
【図８】
2021515322.tif 000014
【図９】
2021515322.tif 000015
【図１０】
2021515322.tif 000016
【図１１】
2021515322.tif 000017
【図１２】
2021515322.tif 000018
【手続補正書】
【提出日】令和2年8月28日(2020.8.28)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータ機器が実行する翻訳モデルのトレーニング方法であって、
前記コンピュータ機器が、複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するステップと、
前記コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するステップであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
前記コンピュータ機器が、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するステップとを含む方法。
【請求項２】
前記各トレーニングサンプルは、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対であり、
前記コンピュータ機器が、各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定する前記ステップは、
各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び外乱出力サンプルセットの対応する外乱出力サンプルを決定するステップであって、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であるステップを含み、
前記コンピュータ機器が、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得する前記ステップは、
複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するステップを含む請求項１に記載の方法。
【請求項３】
前記コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定する前記ステップは、
前記各トレーニング入力サンプルにおける第１単語を決定するステップであって、前記第１単語は置換対象単語であるステップと、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを取得するステップであって、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高いステップとを含む請求項２に記載の方法。
【請求項４】
前記コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定する前記ステップは、
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定するステップと、
毎回、前記各単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを取得するステップとを含む請求項２に記載の方法。
【請求項５】
前記初期翻訳モデルは、エンコーダと、分類器と、デコーダとを含み、
前記エンコーダは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類器は、前記第１中間表現結果と前記第２中間表現結果とを区別し、
前記デコーダは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する請求項２〜４のいずれか１項に記載の方法。
【請求項６】
前記初期翻訳モデルのモデルターゲット関数は、前記分類器と前記エンコーダに関する分類ターゲット関数と、前記エンコーダと前記デコーダに関するトレーニングターゲット関数と、外乱ターゲット関数とを含み、
前記分類ターゲット関数には、前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には、前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には、前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる請求項５に記載の方法。
【請求項７】
前記コンピュータ機器が、複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得する前記ステップは、
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力するステップと、
勾配降下という方式で前記モデルターゲット関数を最適化し、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定するステップであって、分類ターゲット関数におけるエンコーダのパラメータの勾配に−１をかけるステップとを含む請求項６に記載の方法。
【請求項８】
端末機器によって実行される語句翻訳の方法であって、
前記端末機器が、第１言語で表現される第１翻訳対象語句を受信するステップと、
前記端末機器が、ターゲット翻訳モデルを利用して前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するステップであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
前記端末機器が、前記第２言語で表現される翻訳結果語句を出力するステップとを含む方法。
【請求項９】
前記方法はさらに、
前記端末機器が、前記第１言語で表現される第２翻訳対象語句を受信するステップであって、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と前記第１翻訳対象語句との類似度が第１プリセット値より高いステップと、
前記端末機器が、ターゲット翻訳モデルを利用して前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を取得するステップと、
前記翻訳結果語句を出力するステップとを含む請求項８に記載の方法。
【請求項１０】
１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを含む翻訳モデルのトレーニング装置であって、前記プログラムユニットは前記プロセッサによって実行され、前記プログラムユニットは、
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するように配置される取得ユニットと、
前記取得ユニットにより取得した前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するように配置される決定ユニットであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い決定ユニットと、
前記取得ユニットにより取得した前記複数のトレーニングサンプル及び前記決定ユニットにより決定した前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するように配置されるモデルトレーニングユニットと、を含む装置。
【請求項１１】
前記決定ユニットは、前記各トレーニングサンプルが、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対である場合、各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び外乱出力サンプルセットの対応する外乱出力サンプルを決定するように配置され、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
前記モデルトレーニングユニットは、複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するように配置される請求項１０に記載の装置。
【請求項１２】
１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有する語句翻訳装置であって、前記プログラムユニットは前記プロセッサによって実行され、前記プログラムユニットは、
第１言語で表現される第１翻訳対象語句を受信するように配置される受信ユニットと、
ターゲット翻訳モデルを利用して前記受信ユニットにより受信した前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するように配置される翻訳ユニットであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い翻訳ユニットと、
前記翻訳ユニットにより翻訳した第２言語で表現される翻訳結果語句を出力するように配置される出力ユニットと、を備える装置。
【請求項１３】
入力/出力（Ｉ/Ｏ）インターフェースと、プロセッサと、メモリとを有するコンピュータ機器であって、前記メモリにはプログラム命令が記憶され、
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、請求項１〜７のいずれか１項に記載の方法を実行するコンピュータ機器。
【請求項１４】
入力/出力（Ｉ/Ｏ）インターフェースと、プロセッサと、メモリとを有する端末機器であって、前記メモリにはプログラム命令が記憶され、
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、請求項８または９に記載の方法を実行する端末機器。
【請求項１５】
命令を含む非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令がコンピュータ機器で実行される場合、前記コンピュータ機器に請求項１〜７のいずれか１項に記載の方法または請求項８または９に記載の方法を実行させる記憶媒体。
【請求項１６】
命令を含むコンピュータプログラムであって、前記命令がコンピュータ機器で実行される場合、前記コンピュータ機器に請求項１〜７のいずれか１項に記載の方法または請求項８または９に記載の方法を実行させるコンピュータプログラム。
【国際調査報告】
2021515322.tif 000019
2021515322.tif 000020
2021515322.tif 000021
2021515322.tif 000022