(57)【要約】  本発明は、翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体を開示し、該翻訳方法は、エンコーダを用いて第１の言語に属する処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと（２０１）、前記ソースベクトル表示シーケンスに基づいて、第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するための前記第１の時刻に対応するソースコンテキストベクトルを取得することと（２０２）、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することと（２０３）、デコーダを用いて前記翻訳ベクトルおよび前記ソース端コンテキストベクトルを復号化処理して、第１の時刻の前記第１の言語とは異なる第２の言語に属するターゲット情報を得ることと（２０４）を含む。
2020528625.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークマシン翻訳システムに適用される翻訳方法であって、
エンコーダが、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることであって、前記処理対象となるテキスト情報は、第１の言語に属することと、
前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、
デコーダが、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることであって、前記ターゲット情報は、前記第１の言語とは異なる第２の言語に属するものであることとを含むことを特徴とする翻訳方法。
【請求項２】
前記エンコーダが、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることは、
前記処理対象となるテキスト情報を前記エンコーダに入力することと、
前記エンコーダが前記処理対象となるテキスト情報を符号化処理することと、
符号化処理の結果に基づいて、前記ソースベクトル表示シーケンスを取得することであって、前記ソースベクトル表示シーケンスにおける各ソースベクトルは、前記第１の言語に属することとを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記デコーダが前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることは、
前記翻訳ベクトルおよび前記ソースコンテキストベクトルを前記デコーダに入力することと、
前記デコーダが前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理することと、
復号化処理の結果に基づいて、前記処理対象となるソースコンテンツの翻訳コンテンツを取得することであって、前記翻訳コンテンツは、前記第１の時刻のターゲット情報であることとを含むことを特徴とする請求項１または２に記載の方法。
【請求項４】
ターゲット情報決定方法であって、
処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、
前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、
前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含むことを特徴とするターゲット情報決定方法。
【請求項５】
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて第１の翻訳ベクトルを決定することは、
前記ソースベクトル表示シーケンスに基づいて、第３の翻訳ベクトルを取得することであって、前記第３の翻訳ベクトルは、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであることと、
予め設定されたニューラルネットワークモデルを用いて、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることとを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを決定することは、
前記ソースベクトル表示シーケンスに基づいて、第３の翻訳ベクトルを取得するであって、前記第３の翻訳ベクトルは、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであることと、
予め設定されたニューラルネットワークモデルを用いて、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることと、
前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することであって、前記第２の翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである、第４の翻訳ベクトルを更新するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルが、前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して得られたものであることとを含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて第２の翻訳ベクトルを決定することは、
前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することを含み、前記第２の翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第４の翻訳ベクトルを生成するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルが、前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して得られたものであることを特徴とする請求項４に記載の方法。
【請求項８】
前記予め設定されたニューラルネットワークモデルが、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることは、
ゲート付き回帰型ユニットが、前記第３の翻訳ベクトルから前記ソースコンテキストベクトルを減算して、前記第１の翻訳ベクトルを得ることを含むことを特徴とする請求項５または６に記載の方法。
【請求項９】
前記予め設定されたニューラルネットワークモデルが、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることは、
ゲート付き回帰型ユニットが、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、中間ベクトルを得ることと、
前記中間ベクトルを前記第３の翻訳ベクトルと補間結合して、前記第１の翻訳ベクトルを得ることとを含むことを特徴とする請求項５または６に記載の方法。
【請求項１０】
前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することは、
前記第２の時刻のデコーダの状態、前記第２の翻訳ベクトル、第３の翻訳ベクトル、および前記ソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定することであって、前記第３の翻訳ベクトルは、前記第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであることと、
前記ソースコンテンツのアライメント確率および前記ソースコンテンツの意味ベクトルに基づいて、前記第１の時刻に対応する前記ソースコンテキストベクトルを決定することとを含むことを特徴とする請求項４に記載の方法。
【請求項１１】
前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る前に、前記方法は、前記第２の時刻のデコーダの状態、前記第２の時刻のターゲット情報、前記ソースコンテキストベクトル、および前記翻訳ベクトルに基づいて、前記第１の時刻のデコーダの状態を決定することをさらに含み、
これに対応して、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることは、前記第１の時刻のデコーダの状態、前記ソースコンテキストベクトル、および前記翻訳ベクトルを復号化処理して、前記第１の時刻のターゲット情報を得ることを含むことを特徴とする請求項４に記載の方法。
【請求項１２】
前記方法は、
前記第１の翻訳ベクトルおよび前記第３の翻訳ベクトルに基づいて、第１の指標の期待値を取得することであって、前記第１の指標の期待値は、未来翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すためのものであることと、
前記第２の翻訳ベクトルおよび前記第４の翻訳ベクトルに基づいて、第２の指標の期待値を取得することであって、前記第２の指標の期待値は、過去翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すためのものであることと、
前記第１の指標の期待値および前記第２の指標の期待値に基づいて、トレーニングターゲットを決定することであって、前記トレーニングターゲットは、予め設定されたニューラルネットワークモデルを構築するためのものであることとをさらに含むことを特徴とする請求項１０または１１に記載の方法。
【請求項１３】
少なくとも１つのメモリと、少なくとも１つのプロセッサとを備えるターゲット情報決定装置であって、前記少なくとも１つのメモリに少なくとも１つの命令モジュールが記憶され、前記少なくとも１つのプロセッサによって実行されるように配置され、前記少なくとも１つの命令モジュールは、
処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る符号化モジュールと、
前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得する第１の取得モジュールであって、前記第１の時刻に対応するソースコンテキストベクトルは、第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものである第１の取得モジュールと、
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定する第１の決定モジュールであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である第１の決定モジュールと、
前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る復号化モジュールとを備えることを特徴とするターゲット情報決定装置。
【請求項１４】
メモリと、プロセッサと、バスシステムとを備えるターゲット情報決定装置であって、前記メモリは、プログラムを記憶するためのものであり、前記プロセッサは、前記メモリにおけるプログラムを実行するためのものであり、
処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得るステップと、
前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得するステップであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるステップと、
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定するステップであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であるステップと、
前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得るステップとを含み、
前記バスシステムは、前記メモリと前記プロセッサを接続して、前記メモリと前記プロセッサを通信させるためのものであることを特徴とするターゲット情報決定装置。
【請求項１５】
コンピュータで実行される場合、請求項１〜１２に記載の方法を実行させる命令を含むコンピュータ読み取り可能な記憶媒体。
【請求項１６】
電子デバイスによって実行されるターゲット情報決定方法であって、
処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、
前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、
前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含む
ことを特徴とするターゲット情報決定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１７年０７月２５日に中国特許局に出願された、出願番号が２０１７１０６１２８３３．７であり、出願名称が「翻訳方法、ターゲット情報決定方法および関連装置」である中国特許出願の優先権を主張し、その全ての内容が参照することにより本願に組み込まれる。
【０００２】
［技術分野］
本発明の実施例は、コンピュータ技術の分野に関し、特に、翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体に関する。
【背景技術】
【０００３】
機械翻訳（ＭＴ：ｍａｃｈｉｎｅ  ｔｒａｎｓｌａｔｉｏｎ）とは、機械を利用してテキストや言葉を１つの言語から同じ意味の内容を有する別の言語に変換するプロセスを指す。深層学習の台頭につれ、最近二年間、ディープニューラルネットワーク技術はＭＴにも応用され、ニューラル機械翻訳（ＮＭＴ：ｎｅｕｒａｌ  ｍａｃｈｉｎｅ  ｔｒａｎｓｌａｔｉｏｎ）は、次世代の翻訳技術になる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施例は、翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本発明の一態様は、ニューラルネットワーク機械翻訳システムに適用される翻訳方法を提供し、前記方法は、エンコーダを用いて処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることであって、前記処理対象となるテキスト情報は、第１の言語に属することと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、デコーダを用いて前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることであって、前記ターゲット情報は、前記第１の言語とは異なる第２の言語に属するものであることとを含む。
【０００６】
また、本発明の別の一態様は、ターゲット情報決定方法を提供し、該方法は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含む。
【０００７】
また、本発明のさらに別の一態様は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを備えるターゲット情報決定装置を提供し、前記少なくとも１つのメモリに少なくとも１つの命令モジュールが記憶され、前記少なくとも１つのプロセッサによって実行されるように配置され、前記少なくとも１つの命令モジュールは、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る符号化モジュールと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得する第１の取得モジュールであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものである第１の取得モジュールと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定する第１の決定モジュールであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である第１の決定モジュールと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る復号化モジュールとを備える。
【０００８】
また、本発明のさらなる別の一態様は、メモリと、プロセッサと、バスシステムとを備えるターゲット情報決定装置を提供し、前記メモリは、プログラムを記憶するためのものであり、前記プロセッサは、前記メモリにおけるプログラムを実行するためのものであり、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得るステップと、前記ソースベクトル表示シーケンスに基づいて第１の時刻に対応するソースコンテキストベクトルを取得するステップであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるステップと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定するステップであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であるステップと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得るステップとを含み、前記バスシステムは、前記メモリと前記プロセッサを接続して、前記メモリと前記プロセッサを通信させるためのものである。
【０００９】
また、本発明の別の一態様は、コンピュータで実行される場合、コンピュータに上記の各態様に記載された方法を実行させる命令が記憶されているコンピュータ読み取り可能な記憶媒体である。
【００１０】
また、本発明のさらに別の一態様は、電子デバイスによって実行されるターゲット情報決定方法を提供し、該方法は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含む。
【発明の効果】
【００１１】
本発明の実施例は、翻訳方法、ターゲット情報決定方法および関連装置を提供し、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例におけるターゲット情報決定装置のアーキテクチャ図である。
【図２】本発明の実施例におけるターゲット情報決定方法のフローチャート概略図である。
【図３】本発明の実施例におけるターゲット情報決定方法の一実施例の概略図である。
【図４】本発明の実施例におけるゲート付き回帰型ユニットの構成概略図である。
【図５】本発明の実施例におけるゲート付き回帰型ユニットの別の構成概略図である。
【図６】本発明の実施例におけるゲート付き回帰型ユニットの別の構成概略図である。
【図７】本発明の実施例における注目度モジュールの一実施例の概略図である。
【図８】本発明の実施例におけるデコーダの状態の一実施例の概略図である。
【図９】本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第１のソースコンテンツを翻訳する実施例の概略図である。
【図１０】本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第２のソースコンテンツを翻訳する実施例の概略図である。
【図１１】本発明の実施例におけるターゲット情報決定装置の一実施例の概略図である。
【図１２】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図１３】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図１４】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図１５】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図１６】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図１７】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図１８】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図１９】本発明の実施例におけるターゲット情報決定装置の別の実施例を示す図である。
【図２０】本発明の実施例におけるターゲット情報決定装置の構成概略図である。
【発明を実施するための形態】
【００１３】
本発明の明細書や特許請求の範囲および上記図面における用語「第１」、「第２」、「第３」、「第４」など（ある場合）は、特定の順序や前後の順序を説明するために使用される必要がなく、類似の対象を区別するために使用される。ここで説明する本発明の実施例が、例えばここで図示または説明するもの以外の順序で実施されることができるように、このように使用されるデータは適切な状況で交換可能であるということが理解されるべきである。さらに、用語「含む」や「有する」およびそれらの任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップやユニットを含むプロセス、方法、システム、製品またはデバイスは、明確に記載されているステップやユニットに限定される必要がなく、明確に記載されていないものやこれらのプロセス、方法、製品またはデバイスに固有のその他のステップやユニットを含むことができる。
【００１４】
本発明の実施例は、主に符号化−復号化モデル（ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ）に適用され、符号化とは、入力シーケンスを長さがあるベクトルに変換することであり、復号化とは、エンコーダによって生成されたベクトルシーケンスから出力シーケンスに再変換することである、ということが理解されたい。ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒモデルは、例えば翻訳、ドキュメント摘出および質問回答システムなど、多くの応用がある。翻訳では、入力シーケンスは翻訳されるテキストであり、出力シーケンスは翻訳されたテキストである。質問回答システムでは、入力シーケンスは提出された質問であり、出力シーケンスは回答である。
【００１５】
具体的に実現される場合、エンコーダとデコーダは、いずれも、固定されたものではなく、オプションとして、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ）、回帰型ニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ）、ゲート付き回帰型ユニット（ＧＲＵ：ｇａｔｅｄ  ｒｅｃｕｒｒｅｎｔ  ｕｎｉｔ）、長・短期記憶（ＬＳＴＭ：ｌｏｎｇ  ｓｈｏｒｔ  ｔｅｒｍ  ｍｅｍｏｒｙ）、双方向回帰型ニューラルネットワーク（ＢｉＲＮＮ：ｂｉｄｉｒｅｃｔｉｏｎａｌ  ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ）などがあり、符号化と復号化をする際に、異なるニューラルネットワークを採用してもよく、例えば、符号化をする際にＢｉＲＮＮを使用する一方、復号化をする際にＲＮＮを使用してもよく、あるいは、符号化をする際にＲＮＮを使用する一方、復号化をする際にＬＳＴＭを使用してもよいし、これはここでは限定されない。
【００１６】
図１を参照して、図１は、本発明の実施例におけるターゲット情報決定装置のアーキテクチャ図であり、図１に示すように、デコーダに２つの隠れ層が追加的に導入され、この２つの隠れ層は、ベクトルシーケンスで表すことができる。図１の
【００１７】
【数１】
2020528625.tif 000003
【００１８】
は、（ｔ−１）番目の時刻に対応する第２の翻訳ベクトルを表し、第２の翻訳ベクトルとは、すでに翻訳されたソースコンテンツを意味し、すなわち過去翻訳ベクトルである。図１の
【００１９】
【数２】
2020528625.tif 000004
【００２０】
は、ｔ番目の時刻に対応する第１の翻訳ベクトルを表し、第１の翻訳ベクトルとは、まだ翻訳されていないソースコンテンツを意味し、すなわち未来翻訳ベクトルである。図１のｃｔは、ｔ番目の時刻に対応するソースコンテキストベクトルを表す。図１のｓｔは、ｔ番目の時刻のデコーダの状態を表す。
【００２１】
本発明は、追加の隠れ層を導入することにより、意味レベルで過去翻訳（翻訳されたコンテンツ）と未来翻訳（翻訳されていないコンテンツ）を直接モデル化し、関連コンテンツをデコーダの状態から分離し、ニューラルネットワーク翻訳システムによる関連コンテンツへの記憶および利用を向上させ、これによって、翻訳システムの効果を向上させる。本発明で提供される方法は、主流のニューラルネットワーク機械翻訳システムに適用することができる。
【００２２】
理解を容易にするために、図２を参照して、図２は、本発明の実施例におけるターゲット情報決定方法のフローチャート概略図であり、図２に示すように、具体的には、
まず、エンコーダモジュールＳ１は、ステップ１０１で、処理する必要があるセンテンスを入力し、その後、該エンコーダモジュールＳ１によってソースベクトル表示シーケンスを出力する。次に、全ての訳文が生成されるまで、注目度モジュールＳ２、過去未来モジュールＳ３、およびデコーダモジュールＳ４によって、次のステップを繰り返す。
【００２３】
注目度モジュールＳ２は、（ｔ−１）番目の時刻の過去翻訳ベクトルと未来翻訳ベクトルを読み込み、ここで、過去翻訳ベクトルの初期は全ゼロベクトルであり、ソースコンテンツが翻訳されていないことを表し、未来翻訳ベクトルの初期はソースベクトル表示シーケンスの最後のベクトルであり、ソースセンテンスのまとめを表す。注目度モジュールＳ２は、ステップ１０３で、現在時刻であるｔ番目の時刻のソースコンテキストベクトルを出力する。過去未来モジュールＳ３は、現在時刻のソースコンテキストベクトルを読み取り、ステップ１０４で、ｔ番目の時刻の過去翻訳ベクトルと未来翻訳ベクトルを更新する。デコーダモジュールＳ４は、ｔ番目の時刻の未来翻訳ベクトル、（ｔ−１）番目の時刻の過去翻訳ベクトル、ｔ番目の時刻のソースコンテキストベクトル、および他の標準入力を読み取って、ステップ１０５で、ｔ番目の時刻のターゲットワードを生成する。
【００２４】
本発明は、ＮＭＴシステムに適用することができ、以下、本発明で提供される翻訳方法を説明し、本発明の実施例における翻訳方法の実施例は以下を含む。
【００２５】
ＮＭＴシステムでは、まず、エンコーダを用いて、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、ここで、処理対象となるテキスト情報は第一言語、例えば中国語に属し、実際の応用では他の種類の言語であってもよいということが理解される。
【００２６】
符号化処理のフローは、具体的には、処理対象となるテキスト情報をＮＭＴシステムにおけるエンコーダに入力し、それから、このエンコーダを用いて、処理対象となるテキスト情報を符号化処理して、最後に、符号化処理の結果に基づいて、ソースベクトル表示シーケンスを取得することであり、ソースベクトル表示シーケンスにおける各ソースベクトルは第１の言語に属する。
【００２７】
第１の言語が中国語であると仮定すると、処理対象となるテキスト情報は中国語のセンテンスであってもよいし、このセンテンスには、いくつかのフレーズが含まれている。この中国語のセンテンスが符号化処理された後、ソースベクトル表示シーケンスが得られ、さらに、現在の時刻である第１の時刻に対応するソースコンテキストベクトルが取得され、ここで、ソースコンテキストベクトルは、処理対象となるソースコンテンツを表し、ソースコンテンツは、具体的にはこの中国語のセンテンスのうちのある単語であると考えられる。
【００２８】
第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるということが理解される。
【００２９】
次に、ＮＭＴシステムは、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを決定し、ここで、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示し、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示し、第２の時刻は、第１の時刻に隣接する一つ前の時刻である。第１の時刻がｔ時刻であれば、第２の時刻がｔ−１時刻となる。
【００３０】
説明を容易にするために、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを翻訳ベクトルと呼ぶことができ、翻訳ベクトルは、第１の翻訳ベクトルであってもよく、第２の翻訳ベクトルであってもよいし、第１の翻訳ベクトルおよび第２の翻訳ベクトルであってもよい。
【００３１】
つまり、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであり、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである。
例えば、ソースベクトル表示シーケンスに対応するソースコンテンツは、
【００３２】
【数３】
2020528625.tif 000005
【００３３】
であると仮定する。したがって、ソースベクトルに対応する単語は
【００３４】
【数４】
2020528625.tif 000006
【００３５】
である。現在時刻で「世界各地」という単語までに翻訳すれば、未来翻訳ベクトルは、翻訳されていない
【００３６】
【数５】
2020528625.tif 000007
【００３７】
のそれぞれに対応するベクトルとして理解され、過去翻訳ベクトルは、翻訳された「毎月」および「到」に対応するベクトルとして理解される。
【００３８】
最後に、ＮＭＴシステムでは、デコーダを用いて、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得、ここで、ターゲット情報は、第２の言語に属する。第２の言語は第１の言語とは異なる言語であることが理解され、英語、フランス語または日本語等であってもよいし、ここでは限定されていない。
【００３９】
第１の時刻で「世界各地」という単語まで翻訳すれば、出力されたターゲット情報は「ａｌｌ  ｐａｒｔｓ  ｏｆ  ｔｈｅ  ｗｏｒｌｄ」であってよいし、つまり、第１の言語は中国語であり、第２の言語は英語であり、ここまで機械翻訳のプロセスが終了する。
【００４０】
本発明の実施例は、翻訳方法を提供し、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
【００４１】
以下、本発明におけるターゲット情報決定方法を説明し、該方法は電子デバイスによって実行されるようにしてよい。図３を参照して、図３は、本発明の実施例におけるターゲット情報決定方法の一実施例であり、以下のステップを含む。
【００４２】
２０１で、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る。
【００４３】
本実施例では、ターゲット情報決定装置におけるエンコーダは、処理対象となるテキスト情報に対して符号化処理を行い、ここで、処理対象となるテキスト情報は、例えば
【００４４】
【数６】
2020528625.tif 000008
【００４５】
という翻訳対象のセンテンスであってもよいし、センテンスを符号化処理した後、ソースベクトル表示シーケンスを得ることができる。
【００４６】
ソースベクトル表示シーケンスにおける各ベクトルは、１つのソースコンテンツ（ソースワード）に対応する。例えば、
【００４７】
【数７】
2020528625.tif 000009
【００４８】
というセンテンスにおけるソースコンテンツは、それぞれ
【００４９】
【数８】
2020528625.tif 000010
【００５０】
である。このシーケンスに従って、ターゲット情報決定装置におけるデコーダは、ワードごとに訳文を生成する。
【００５１】
２０２で、ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得し、ここで、ソースコンテキストベクトルは、処理対象となるソースコンテンツを表すためのものである。
【００５２】
前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるということが理解される。
【００５３】
本実施例では、ターゲット情報決定装置は、ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することができ、第１の時刻は、本発明の実施例におけるｔ番目の時刻であり、ソースコンテキストベクトルは、処理対象となるソースコンテンツを表すためのものである。
【００５４】
具体的には、ターゲット情報決定装置は、各ソースコンテンツ毎に例えば０．０または０．２などのアライメント確率を出力し、ソースベクトル表示シーケンスにおける各アライメント確率の和が１であり、かつ、アライメント確率が大きいほど、このソースコンテンツと生成対象のターゲット情報との関連性が高くなる。アライメント確率と意味ベクトルとを重み付けることにより、ｔ番目の時刻のソースコンテキストベクトルを生成することができる。
【００５５】
２０３で、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを決定し、ここで、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示し、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示し、第２の時刻は、第１の時刻に隣接する一つ前の時刻である。
【００５６】
第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを翻訳ベクトルと呼ぶことができるということが理解される。
【００５７】
本実施例では、ターゲット情報決定装置は、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを決定したり、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを決定したり、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを決定したりすることができる。ここで、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示し、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示し、第２の時刻は、第１の時刻に隣接する一つ前の時刻である。
【００５８】
具体的には、第１の翻訳ベクトルは、ｔ番目の時刻の未来翻訳ベクトルを表し、第２の翻訳ベクトルは、（ｔ−１）番目の時刻の過去翻訳ベクトルを表す。１つのターゲット情報を生成したら、対応するソースコンテキストベクトルｃｔを、前の時刻の過去翻訳ベクトルに加えて新しい過去翻訳ベクトルを得て、前の時刻の未来翻訳ベクトルからｃｔを引いて新しい未来翻訳ベクトルを得る。
【００５９】
２０４で、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。
【００６０】
本実施例では、ターゲット情報決定装置におけるデコーダは、１つのニューラルネットワーク出力層を使用して、第１の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることができ、または、第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることができ、あるいは、第１の翻訳ベクトル、第２の翻訳ベクトル、およびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることができる。
【００６１】
ターゲット情報を生成するプロセスで、複数の選択対象の情報を生成し、最後に類似度が最も高い単語をターゲット情報として出力することができる。例えば、
【００６２】
【数９】
2020528625.tif 000011
【００６３】
というセンテンスにおいて、
【００６４】
【数１０】
2020528625.tif 000012
【００６５】
は「ｍａｎｙ」または「ｍｕｃｈ」に翻訳されてもよいが、デコーダの状態ベクトルに記憶されている意味知識によれば、可算名詞の前に「ｍａｎｙ」が使用されていることが分かる。そのため、ここでの
【００６６】
【数１１】
2020528625.tif 000013
【００６７】
は最後に「ｍａｎｙ」に翻訳されている。
【００６８】
本発明の実施例では、ターゲット情報決定方法が提供されており、まず、ターゲット情報決定装置は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、その後、ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得し、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定し、最後に、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
【００６９】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の１つの選択可能な実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを決定することは、
ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルおよびソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることとを含むようにしてよい。
【００７０】
前記第３の翻訳ベクトルは、前記第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであるということが理解される。
【００７１】
本実施例では、ターゲット情報決定装置が、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の翻訳ベクトルを決定するプロセスは、まず、ソースベクトル表示シーケンスに基づいて第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることを含むようにしてよい。
【００７２】
具体的には、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、ターゲット情報決定装置は、第１の時刻のソースコンテキストベクトル（第１の時刻で翻訳されたソースコンテンツを表す）を読み込み、さらに、記憶されている未来翻訳ベクトルを更新する必要がある。未来翻訳ベクトルの初期化は、ソースセンテンスのまとめ（通常、ソースベクトル表示シーケンスの最後のベクトル）であり、はじめの全てのソースコンテンツがいずれも翻訳されていないことを表す。そして、各時刻に、次のように更新される。
【００７３】
【数１２】
2020528625.tif 000014
【００７４】
ここで、
【００７５】
【数１３】
2020528625.tif 000015
【００７６】
は、ｔ番目の時刻の未来翻訳ベクトルを表し、すなわち第１の翻訳ベクトルであり、
【００７７】
【数１４】
2020528625.tif 000016
【００７８】
は、（ｔ−１）番目の時刻の未来翻訳ベクトルを表し、すなわち第３の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
【００７９】
説明すべきものとして、ここでＲＮＮを予め設定されたニューラルネットワークモデルとすることは単なる例示であり、実際の応用では、予め設定されたニューラルネットワークモデルはＬＳＴＭ、遅延ネットワークモデルまたはゲート付き畳み込みニューラルネットワークであってもよく、他のタイプのニューラルネットワーク構造であってもよいし、ここでは限定されない。
【００８０】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを如何に決定することが説明され、すなわち、ソースベクトル表示シーケンスに基づいて第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルおよびソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得る。上記のように、予め設定されたニューラルネットワークモデルを利用して第１の翻訳ベクトルを出力することで、未来翻訳ベクトルの精度を向上させることができる。
【００８１】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおとび第２の翻訳ベクトルを決定することは、
ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることと、
ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。
【００８２】
前記第４の翻訳ベクトルは、前記第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルであるということが理解される。
【００８３】
本実施例では、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、第１の時刻のソースコンテキストベクトル（すなわち、翻訳されているソース意味コンテンツ）はｃｔと表され、注目度モジュールによって得られたものであり、ｃｔは、過去翻訳ベクトルおよび未来翻訳ベクトルを更新するためにも用いられ、次のように更新される。
【００８４】
【数１５】
2020528625.tif 000017
【００８５】
ここで、
【００８６】
【数１６】
2020528625.tif 000018
【００８７】
は、ｔ番目の時刻の未来翻訳ベクトルを表し、すなわち第１の翻訳ベクトルであり、
【００８８】
【数１７】
2020528625.tif 000019
【００８９】
は、（ｔ−１）番目の時刻の未来翻訳ベクトルを表し、すなわち第３の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
【００９０】
【数１８】
2020528625.tif 000020
【００９１】
ここで、
【００９２】
【数１９】
2020528625.tif 000021
【００９３】
は、ｔ番目の時刻の過去翻訳ベクトルを表し、すなわち第４の翻訳ベクトルであり、
【００９４】
【数２０】
2020528625.tif 000022
【００９５】
は、（ｔ−１）番目の時刻の過去翻訳ベクトルを表し、すなわち第２の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
【００９６】
説明すべきものとして、ここでＲＮＮを予め設定されたニューラルネットワークモデルとすることは単なる例示であり、実際の応用では、予め設定されたニューラルネットワークモデルはＬＳＴＭ、遅延ネットワークモデルまたはゲート付き畳み込みニューラルネットワークであってもよく、他のタイプのニューラルネットワーク構造であってもよいし、ここでは限定されない。
【００９７】
モデル化によって、「累積」というルール、即ち、ｔ番目の時刻のソースコンテキストベクトルｃｔ（ｔ番目の時刻で翻訳されているソースコンテンツ）と、（ｔ−１）番目の時刻の過去翻訳ベクトル（（ｔ−１）番目の時刻まで翻訳されたソースコンテンツ）とが累積されることを達成する、ということが期待されている。そのため、ＲＮＮ構造が選択され、その理由として、ＲＮＮがｔ番目の時刻までの履歴情報をよくまとめることができ、かつ期待に沿ったからである。例えば、
【００９８】
【数２１】
2020528625.tif 000023
【００９９】
である。
【０１００】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得、また、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、過去翻訳ベクトルと未来翻訳ベクトルの精度を向上させることができる。
【０１０１】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを決定することは、
【０１０２】
ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものであることを含むようにしてよい。
【０１０３】
本実施例では、ターゲット情報決定装置は、第１の時刻のソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の時刻の第２の翻訳ベクトルを取得するようにしてよい。
【０１０４】
具体的には、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、ターゲット情報決定装置は、（ｔ−２）番目の時刻のソースコンテキストベクトルおよび（ｔ−２）番目の時刻の過去翻訳ベクトルを読み込み、その後、予め設定されたニューラルネットワークモデルを用いて、（ｔ−２）番目の時刻のソースコンテキストベクトルおよび（ｔ−２）番目の時刻の過去翻訳ベクトルを処理して、（ｔ−１）番目の時刻の過去翻訳ベクトルを得る。過去翻訳ベクトルを全ゼロベクトルに初期化し、即ち、
【０１０５】
【数２２】
2020528625.tif 000024
【０１０６】
になり、いかなるソースコンテンツが最初に翻訳されていないことを表す。そして、各時刻に、次のように更新される。
【０１０７】
【数２３】
2020528625.tif 000025
【０１０８】
ここで、
【０１０９】
【数２４】
2020528625.tif 000026
【０１１０】
は、ｔ番目の時刻の過去翻訳ベクトルを表し、すなわち第４の翻訳ベクトルであり、
【０１１１】
【数２５】
2020528625.tif 000027
【０１１２】
は、（ｔ−１）番目の時刻の過去翻訳ベクトルを表し、すなわち第２の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
【０１１３】
説明すべきものとして、ここでＲＮＮを予め設定されたニューラルネットワークモデルとすることは単なる例示であり、実際の応用では、予め設定されたニューラルネットワークモデルはＬＳＴＭ、遅延ネットワークモデルまたはゲート付き畳み込みニューラルネットワークであってもよく、他のタイプのニューラルネットワーク構造であってもよいし、ここでは限定されない。
【０１１４】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、予め設定されたニューラルネットワークモデルを利用して第２の翻訳ベクトルを出力することで、過去翻訳ベクトルの精度を向上させることができる。
【０１１５】
オプションとして、上記の図３に対応する前の２つの実施例のいずれかを基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることは、
ゲート付き回帰型ユニットＧＲＵを用いて、第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得ることを含むようにしてよい。
ＧＲＵはＧａｔｅｄ  Ｒｅｃｕｒｒｅｎｔ  Ｕｎｉｔの略記であるということが理解される。
【０１１６】
本実施例では、未来翻訳ベクトルを得るプロセスでは、モデル化によって、「累減」というルールを達成する必要がある。第１の時刻がｔ番目の時刻であり、第２の時刻は（ｔ−１）番目の時刻であると仮定すると、即ち、第１の時刻のソースコンテキストベクトルｃｔ（第１の時刻で翻訳されているソースコンテンツ）を第３の翻訳ベクトル（すなわち、第２の時刻までまだ翻訳されていないソースコンテンツに対応するベクトル）から減算する。ここでは、「累減」というルールをモデル化するために、いくつかの構造を設計した。本発明は、様々なＲＮＮ構造に適用できるが、ここでは主流のＧＲＵを例にして説明する。
【０１１７】
図４を参照して、図４は、本発明の実施例におけるゲート付き回帰型ユニットの構成概略図であり、図４に対応する標準ＧＲＵ構造により、「逓減」モデルが構築され、かつ、ＧＲＵのパラメータが自動的に以下のルールを学習できるように期待されている。
【０１１８】
【数２６】
2020528625.tif 000028
【０１１９】
ここで、
【０１２０】
【数２７】
2020528625.tif 000029
【０１２１】
は、ｔ番目の時刻の未来翻訳ベクトルを表し、すなわち第１の翻訳ベクトルであり、
【０１２２】
【数２８】
2020528625.tif 000030
【０１２３】
は、（ｔ−１）番目の時刻の未来翻訳ベクトルを表し、すなわち第３の翻訳ベクトルであり、ｃｔは、第１の時刻のソースコンテキストベクトルを表し、ｕｔは、第１の時刻の更新ゲートを表し、
【０１２４】
【数２９】
2020528625.tif 000031
【０１２５】
は、ＧＲＵによって生成された更新状態候補を表し、すなわち、中間ベクトルであり、ｒｔは、出力された重みベクトルを表し、ｔａｎｈ（）は、双曲線正接関数を表し、σ（）は、ｓｉｇｍｏｉｄ関数を表す。Ｕ、Ｗ、Ｕｒ、Ｗｒ、ＵｕおよびＷｕは、関数に関するパラメータを表し、これらのパラメータは、ニューラルネットワーク翻訳システムの他のパラメータと一緒にトレーニングされる。
【０１２６】
しかしながら、図４に対応するＧＲＵ構造は、「逓減」を必要とする信号を与えず、こうすれば、ＧＲＵがルールを学習することの難しさが増加してしまう。そのため、このＧＲＵ構造を改善することにより、図５に対応するＧＲＵ−ｏ構造を得ることができる。図５を参照して、図５は、本発明の実施例におけるゲート付き回帰型ユニットの別の構成図であり、この構成では、まず第１の時刻（すなわちｔ番目の時刻）のソースコンテキストベクトルｃｔを、第２の時刻（すなわち（ｔ−１）番目の時刻）の未来翻訳ベクトルから減算し、ここで、第２の時刻の未来翻訳ベクトルは第３の翻訳ベクトルである。必要な第１の翻訳ベクトルを得て、ＧＲＵ構造に伝送し、具体的には、以下の式を参照する。
【０１２７】
【数３０】
2020528625.tif 000032
【０１２８】
ここで、
【０１２９】
【数３１】
2020528625.tif 000033
【０１３０】
は、ｃｔを
【０１３１】
【数３２】
2020528625.tif 000034
【０１３２】
から減算することを表し、ＵｍおよびＷｍは、関数に関するパラメータを表し、これらのパラメータは、ニューラルネットワーク翻訳システムの他のパラメータと一緒にトレーニングされる。
【０１３３】
更に、本発明の実施例では、ＧＲＵを用いて第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得て、得られた第１の翻訳ベクトルをＧＲＵ構造に伝送するようにしてよい。上記のように、ＧＲＵにおいて逓減の信号を与えることができ、こうすれば、ルールを学習することに寄与し、モデルトレーニングの精度を向上させる。
【０１３４】
オプションとして、上記の図３に対応する前の２つの実施例のいずれかを基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることは、
ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得ることと、
中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得ることとを含むようにしてよい。
【０１３５】
本実施例では、ＧＲＵ内部で「累減」という操作を行うようにしてもよいし、図６を参照して、図６は、本発明の実施例におけるゲート付き回帰型ユニットの別の構成概略図であり、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、ＧＲＵのパラメータは以下のルールを自動的に学習することができる。
【０１３６】
【数３３】
2020528625.tif 000035
【０１３７】
ここで、
【０１３８】
【数３４】
2020528625.tif 000036
【０１３９】
は、ＧＲＵによって生成された更新状態候補を表し、即ち中間ベクトルであり、ｒｔは、出力された重みベクトルを表し、ｔａｎｈ（）は、双曲線正接関数を表し、
【０１４０】
【数３５】
2020528625.tif 000037
【０１４１】
は、（ｔ−１）番目の時刻の未来翻訳ベクトルを表し、即ち第３の翻訳ベクトルであり、ｃｔは、第１の時刻のソースコンテキストベクトルを表す。
【０１４２】
【数３６】
2020528625.tif 000038
【０１４３】
を得た後、（ｔ−１）番目の時刻の第３の翻訳ベクトルと補間結合し、最終的な第１の翻訳ベクトル
【０１４４】
【数３７】
2020528625.tif 000039
【０１４５】
を得ることができる。
上記の操作を採用すれば、各時刻に過去翻訳ベクトルと未来翻訳ベクトルを得ることができ、
【０１４６】
【数３８】
2020528625.tif 000040
【０１４７】
は、ｔ番目の時刻まで翻訳されたソースコンテンツを表し、
【０１４８】
【数３９】
2020528625.tif 000041
【０１４９】
は、ｔ番目の時刻まで翻訳されていないソースコンテンツを表す。
【０１５０】
また、本発明の実施例では、ターゲット情報決定装置は、予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得るプロセスは、まず、ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得て、また、中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得るようにしてよい。上記のように、ＧＲＵ内部で逓減という操作を行うことは、操作の精度を向上させて、操作の効率を向上させるのに役立つ。
【０１５１】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、ソースベクトル表示シーケンスに基づいて第１の時刻に対応するソースコンテキストベクトルを得ることは、
第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定することと、
ソースコンテンツのアライメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定することとを含むようにしてよい。
【０１５２】
本実施例では、ターゲット情報決定装置はソースベクトル表示シーケンスに基づいて第１の時刻に対応するソースコンテキストベクトルを如何に得ることが説明され、理解を容易にするために、図７を参照して、図７は、本発明の実施例における注目度モジュールの一実施例の概略図であり、具体的には、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、ターゲット情報決定装置は、エンコーダとデコーダとを含み、デコーダは、第２の時刻のデコーダの状態ｓｔ−１、
【０１５３】
【数４０】
2020528625.tif 000042
【０１５４】
およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルｈｉに基づいて、ソースコンテンツのアライメント確率αｔ，ｉを決定する。
つまり、次の式を用いて、アライメント確率αｔ，ｉを計算する。
【０１５５】
【数４１】
2020528625.tif 000043
【０１５６】
ここで、αｔ，ｉは、注目度メカニズムによって出力された、各ソースコンテンツに対するアライメント確率の分布を指し、アライメント確率の分布の総和は１であり、ｈｉは、エンコーダによる入力センテンスのうちのｉ番目のソースコンテンツに対するベクトル表現であり、ｓｏｆｔ  ｍａｘ（）は、正規化操作を表し、ニューラルネットワークにより入力された値は、通常正または負の値であるため、通常は先にその指数値を使用してそれを正の値に変換し、次にすべての指数値を正規化して、確率の分布を得る。ａ（）は、注目度モジュールの操作である。
【０１５７】
ソースコンテンツのアラインメント確率αｔ，ｉを得た後、対応するソースコンテンの意味ベクトルｘｉと重み付き加算を行って、第１の時刻に対応するソースコンテキストベクトルを得る。例えば、第１の時刻のαｔ，１は０．５であり、αｔ，２は０．３であり、αｔ，３は０．２であり、ｘ１は２であり、ｘ２は４であり、ｘ３は６であり、そうすると、第１の時刻に対応するソースコンテキストベクトルｃｔの計算方式は、以下の通りである。
ｃｔ＝０．５×２＋０．３×４＋０．２×６＝３．４
実際の応用では、アラインメント確率αｔ，ｉの計算方法は、さらに、
【０１５８】
【数４２】
2020528625.tif 000044
【０１５９】
であってもよいということが理解される。
【０１６０】
次に、本発明の実施例では、まず、第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアラインメント確率を決定し、その後、ソースコンテンツのアラインメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定するようにしてよい。上記のように、ターゲット情報決定装置における注目度モジュールは、どのソースコンテンツが既に翻訳されたか、どのソースコンテンツがまだ翻訳されていないかを知ることができ、これにより、翻訳されていないコンテンツに注目度をもっと向け、翻訳されたコンテンツに対する関心を低減し、これによって、翻訳漏れや翻訳重複の問題を緩和することができる。
【０１６１】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例におけるターゲット情報決定方法の別の選択可能な実施例では、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る前に、第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトル及び第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定することをさらに含むようにしてよい。
【０１６２】
これに対応して、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることは、第１の時刻のデコーダの状態、ソースコンテキストベクトル、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを復号化処理して、第１の時刻のターゲット情報を得ることを含むようにしてよい。
【０１６３】
本実施例では、ターゲット情報決定装置は第１の時刻のターゲット情報を得る前に、まず、第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトルおよび第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定する必要があり、ここで、第１の時刻はｔ番目の時刻であり、現在の時刻でもあり、第２の時刻は（ｔ−１）番目の時刻であり、前の時刻でもある。
【０１６４】
具体的には、図８を参照して、図８は、本発明の実施例におけるデコーダの状態の一実施例の概略図であり、第２の時刻のデコーダの状態はｓｔ−１であり、第２の時刻のターゲット情報はｙｔ−１であり、ソースコンテキストベクトルはｃｔであり、第１の翻訳ベクトルは
【０１６５】
【数４３】
2020528625.tif 000045
【０１６６】
であり、第２の翻訳ベクトルは
【０１６７】
【数４４】
2020528625.tif 000046
【０１６８】
であり、次の式を利用して第１の時刻のデコーダの状態ｓｔを計算することができる。
【０１６９】
【数４５】
2020528625.tif 000047
【０１７０】
ここで、ｆ（）は、デコーダの状態を更新するアクティブ関数（ａｃｔｉｖａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）を表し、ニューラルネットワーク翻訳モデルの標準構成でもあり、その入力は、実際の要求に応じて柔軟に変化することができる。
【０１７１】
次に、本発明の実施例では、まず第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトル、および第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定する必要があり、その後、第１の時刻のデコーダの状態、ソースコンテキストベクトル、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルのモデル化を、デコーダの状態から独立させて、第１の時刻の、注目度モジュールによって出力されたソースコンテキストベクトルと完全なソース意味ベクトル表現を構成して、デコーダに伝送することで、より正確なターゲット情報を生成することができる。
【０１７２】
オプションとして、上記の図３に対応する後の２つの実施例のいずれかを基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、
【０１７３】
第１の翻訳ベクトルおよび第３の翻訳ベクトルに基づいて、未来翻訳ベクトルの変化と第１の時刻のターゲット情報との間の意味の一致性状況を表すための第１の指標の期待値を取得することと、
第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得することと、
第１の指標の期待値および第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定することとをさらに含むようにしてよい。
【０１７４】
本実施例では、トレーニングターゲットを増加させる方法も提供され、トレーニングターゲットを増加させることにより、予め設定されたニューラルネットワークモデルよりよくトレーニングして得ることができる。説明を簡単にするために、以下、未来翻訳ベクトルをトレーニングすることを例にして説明し、過去翻訳ベクトルをトレーニングする方法は似ているため、ここでは詳しく説明しない。未来翻訳ベクトルを例にして、できるだけ
【０１７５】
【数４６】
2020528625.tif 000048
【０１７６】
を達成する必要があり、即ち、隣接時刻の２つの翻訳ベクトルの情報差は、この時刻で翻訳されたソースコンテンツとほぼ同じである必要があり、これにより、未来翻訳ベクトルのモデル化が満たされる。翻訳において、ソースコンテンツとターゲット情報の意味コンテンツはほぼ同じであり、即ち、
【０１７７】
【数４７】
2020528625.tif 000049
【０１７８】
であるため、新しい指標の期待値を定義し、未来翻訳ベクトルの変化と、生成された対応するターゲット情報との意味レベルでの一致性を直接に評価する。
第１の指標の期待値は、以下のように計算することができる。
【０１７９】
【数４８】
2020528625.tif 000050
【０１８０】
ここで、Ｅ（ｙｔ）は、ターゲット情報を表し、ｙｔは、ターゲット情報のベクトル表現であり、
【０１８１】
【数４９】
2020528625.tif 000051
【０１８２】
は、未来翻訳ベクトルの更新が予想通りである（例えば、更新量と翻訳されたソースコンテンツがほぼ同じである）かどうかを判定する指標の期待値である。指標の期待値が高いほど、予想に合致になる。
【０１８３】
【数５０】
2020528625.tif 000052
【０１８４】
は、
【０１８５】
【数５１】
2020528625.tif 000053
【０１８６】
との差の絶対値である。
同様に，第２の指標の期待値は、
【０１８７】
【数５２】
2020528625.tif 000054
【０１８８】
に基づいて
【０１８９】
【数５３】
2020528625.tif 000055
【０１９０】
を計算し得て、さらに第２の指標の期待値
【０１９１】
【数５４】
2020528625.tif 000056
【０１９２】
を得ることもできる。
第１の指標の期待値および第２の指標の期待値に基づいて、トレーニングターゲットを次のように計算することができる。
【０１９３】
【数５５】
2020528625.tif 000057
【０１９４】
ここで、Ｊ（θ，γ）は、トレーニングによって得られたパラメータを表し、これはトレーニングターゲットの共通表現である。θは、ＮＭＴシステムのパラメータを表し、γは、新しく導入された過去未来モジュールのパラメータを表し、
【０１９５】
【数５６】
2020528625.tif 000058
【０１９６】
は、最大スコアを得るトレーニングターゲット（すなわち、式中のｌｉｋｅｌｉｈｏｏｄ、ｆｕｔｕｒｅ  ｌｏｓｓおよびｐａｓｔ  ｌｏｓｓ）に対応するパラメータを表す。
【０１９７】
【数５７】
2020528625.tif 000059
【０１９８】
は、標準ニューラルネットワーク翻訳モデルのトレーニングターゲットを表し、すなわち、各ターゲット情報の生成確率を最大化させること、または、ターゲットワードを最大化させることで生成された尤度（ｌｉｋｅｌｉｈｏｏｄ）分数として表現することができる。
【０１９９】
【数５８】
2020528625.tif 000060
【０２００】
は、未来翻訳ベクトルの第１の指標の期待値を表し、
【０２０１】
【数５９】
2020528625.tif 000061
【０２０２】
は、過去翻訳ベクトルの第２の指標の期待値を表す。
【０２０３】
また、本発明の実施例では、第１の翻訳ベクトルおよび第３の翻訳ベクトルに基づいて、第１の指標の期待値を取得して、第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、第２の指標の期待値を取得し、その後、第１の指標の期待値および第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定する。上記のように、トレーニングターゲットを増加させ、かつこの部分のトレーニングターゲットは、意味レベルでの一致性をよりよく満たすことができ、トレーニングの精度と実現可能性を向上させることができる。
【０２０４】
理解を容易にするために、以下では、本発明におけるターゲット情報決定プロセスを具体的なアプリケーションシナリオで詳細に説明することができ、図９を参照して、図９は、本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第１のソースコンテンツを翻訳する実施例の概略図であり、具体的には、エンコーダは、入力センテンス
【０２０５】
【数６０】
2020528625.tif 000062
【０２０６】
を読み込み、＜ｅｏｓ＞は、センテンスの終了記号を表し、その後、ソースベクトル表示シーケンスを出力し、ここで、各ベクトル（すなわち図９における円点直条）が１つのソースコンテンツに対応する。このソースベクトル表示シーケンスに基づいて、デコーダは翻訳文を生成する。
【０２０７】
まず、アラインメント確率と意味ベクトルを重み付けし、第１の時刻のソースコンテキストベクトルｃ１を生成し、アラインメント確率は図９における０．５、０．２、０．２、０．１、０．０および０．０となる。次に、ｃ１に基づいて過去翻訳ベクトルと未来翻訳ベクトルを更新し、すなわち、次の式を採用する。
【０２０８】
【数６１】
2020528625.tif 000063
【０２０９】
ここで、
【０２１０】
【数６２】
2020528625.tif 000064
【０２１１】
は、第１の時刻の過去翻訳ベクトルを表し、
【０２１２】
【数６３】
2020528625.tif 000065
【０２１３】
は、初期時刻の過去翻訳ベクトルを表し、
【０２１４】
【数６４】
2020528625.tif 000066
【０２１５】
は、第１の時刻の未来翻訳ベクトルを表し、
【０２１６】
【数６５】
2020528625.tif 000067
【０２１７】
は、初期時刻の未来翻訳ベクトルを表す。
デコーダは、
【０２１８】
【数６６】
2020528625.tif 000068
【０２１９】
および初期時刻のデコーダの状態ｓ０を復号化し、第１の時刻のデコーダの状態ｓ１を更新でき、ｓ０とｃ１に基づいて、１つのニューラルネットワーク出力層を使用して、すべてのターゲットワードと比較して、最も類似度の高い１つのワードをターゲット情報ｙ１として選択し、このｙ１は
【０２２０】
【数６７】
2020528625.tif 000069
【０２２１】
の翻訳文「ｍａｎｙ」である。
【０２２２】
図１０を参照して、本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第２のソースコンテンツを翻訳する実施例の概略図であり、図１０に示すように、まず、アラインメント確率と意味ベクトルを重み付けし、第２の時刻のソースコンテキストベクトルｃ２を生成し、アラインメント確率は、図１０における０．３、０．６、０．１、０．０、０．０および０．０となる。次に、ｃ２に基づいて、過去翻訳ベクトルと未来翻訳ベクトルを更新し、すなわち、次の式を採用する。
【０２２３】
【数６８】
2020528625.tif 000070
【０２２４】
ここで、
【０２２５】
【数６９】
2020528625.tif 000071
【０２２６】
は、第２の時刻の過去翻訳ベクトルを表し、
【０２２７】
【数７０】
2020528625.tif 000072
【０２２８】
は、第１の時刻の過去翻訳ベクトルを表し、
【０２２９】
【数７１】
2020528625.tif 000073
【０２３０】
は、第２の時刻の未来翻訳ベクトルを表し、
【０２３１】
【数７２】
2020528625.tif 000074
【０２３２】
は、第１の時刻の未来翻訳ベクトルを表す。
デコーダは、
【０２３３】
【数７３】
2020528625.tif 000075
【０２３４】
および第１の時刻のデコーダの状態ｓ１を復号化し、第２の時刻のデコーダの状態を更新し、ｓ１、ｃ２および前の１つに生成されたターゲット情報ｙ１に基づいて、１つのニューラルネットワーク出力層を使用して、すべてのターゲットワードと比較して、最も類似度の高い１つのワードをターゲット情報ｙ２として選択し、このｙ２は、
【０２３５】
【数７４】
2020528625.tif 000076
【０２３６】
の翻訳文「ａｉｒｐｏｒｔｓ」である。
入力センテンスを完全に翻訳するまで、これを類推する。
【０２３７】
以下、本発明におけるターゲット情報決定装置を詳細に説明し、図１１を参照して、本発明の実施例におけるターゲット情報決定装置３０は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを備え、前記少なくとも１つのメモリに少なくとも１つの命令モジュールが記憶され、前記少なくとも１つのプロセッサによって実行されるように配置され、ここで、前記少なくとも１つの命令モジュールは、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る符号化モジュール３０１と、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得する第１の取得モジュール３０２と、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスおよび前記第１の取得モジュール３０２が取得した前記ソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定する第１の決定モジュール３０３と、前記第１の決定モジュール３０３が決定した前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る復号化モジュール３０４とを備え、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である。
【０２３８】
本実施例では、符号化モジュール３０１は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、第１の取得モジュール３０２は、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得し、第１の決定モジュール３０３は、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスおよび前記第１の取得モジュール３０２が取得した前記ソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定し、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であり、復号化モジュール３０４は、前記第１の決定モジュール３０３が決定した前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。
【０２３９】
本発明の実施例では、ターゲット情報決定装置が提供され、まず、ターゲット情報決定装置は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、その後、ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得し、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定し、第２の時刻は、第１の時刻に隣接する一つ前の時刻であり、最後に、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
【０２４０】
オプションとして、上記の図１１に対応する実施例を基にして、図１２を参照して、本発明の実施例で提供されるターゲット情報決定装置の別の実施例では、
【０２４１】
前記第１の決定モジュール３０３は、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得する第１の取得ユニット３０３１と、予め設定されたニューラルネットモデルを用いて、前記第１の取得ユニット３０３１が取得した前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得る第１の処理ユニット３０３２とを備える。
【０２４２】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを如何に決定することが説明され、すなわち、ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得る。上記のように、予め設定されたニューラルネットワークモデルを利用して第１の翻訳ベクトルを出力することで、未来翻訳ベクトルの精度を向上させることができる。
【０２４３】
オプションとして、上記の図１１に対応する実施例を基にして、図１３を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、
【０２４４】
前記第１の決定モジュール３０３は、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得する第２の取得ユニット３０３３と、予め設定されたニューラルネットワークモデルを用いて、前記第２の取得ユニット３０３３が取得した前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得る第２の処理ユニット３０３４と、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得する第３の取得ユニット３０３５とを備え、ここで、前記第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
【０２４５】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることができ、また、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得することもでき、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、過去翻訳ベクトルと未来翻訳ベクトルの精度を向上させることができる。
【０２４６】
オプションとして、上記の図１１に対応する実施例を基にして、図１４を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の決定モジュール３０３は、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得する第４の取得ユニット３０３６を備え、ここで、第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
【０２４７】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、予め設定されたニューラルネットワークモデルを利用して第２の翻訳ベクトルを出力することで、過去翻訳ベクトルの精度を向上させることができる。
【０２４８】
オプションとして、上記の図１２または図１３に対応する実施例を基にして、図１５を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の処理ユニット３０３２は、ゲート付き回帰型ユニットＧＲＵを用いて、前記第３の翻訳ベクトルから前記ソースコンテキストベクトルを減算して、前記第１の翻訳ベクトルを得る減算サブユニット３０３２１を備える。
【０２４９】
更に、本発明の実施例では、ＧＲＵを用いて第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得て、得られた第１の翻訳ベクトルをＧＲＵ構造に伝送するようにしてよい。上記のように、ＧＲＵにおいて逓減の信号を与えることができ、こうすれば、ルールを学習することに寄与し、モデルトレーニングの精度を向上させる。
【０２５０】
オプションとして、上記の図１２または図１３に対応する実施例を基にして、図１６を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の処理ユニット３０３２は、ＧＲＵを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、中間ベクトルを得る処理サブユニット３０３２２と、前記処理サブユニット３０３２２が処理して得られた前記中間ベクトルを前記第３の翻訳ベクトルと補間結合して、前記第１の翻訳ベクトルを得る結合サブユニット３０３２３とを備える。
【０２５１】
また、本発明の実施例では、ターゲット情報決定装置が、予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得るプロセスは、まず、ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得て、また、中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得るようにしてよい。上記のように、ＧＲＵ内部で逓減という操作を行うことは、操作の精度を向上させて、操作の効率を向上させるのに役立つ。
【０２５２】
オプションとして、上記の図１１に対応する実施例を基にして、図１７を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の取得モジュール３０２は、前記第２の時刻のデコーダの状態、前記第２の翻訳ベクトル、第３の翻訳ベクトル、および前記ソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定する第１の決定ユニット３０２１と、前記第１の決定ユニット３０２１が決定した前記ソースコンテンツのアライメント確率および前記ソースコンテンツの意味ベクトルに基づいて、前記第１の時刻に対応する前記ソースコンテキストベクトルを決定する第２の決定ユニット３０２２とを備える。
【０２５３】
次に、本発明の実施例では、まず、第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアラインメント確率を決定し、その後、ソースコンテンツのアラインメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定することができる。上記のように、ターゲット情報決定装置における注目度モジュールは、どのソースコンテンツが既に翻訳されたか、どのソースコンテンツがまだ翻訳されていないかを知ることができ、これにより、翻訳されていないコンテンツに注目度をもっと向け、翻訳されたコンテンツに対する関心を低減し、これによって、翻訳漏れや翻訳重複の問題を緩和することができる。
【０２５４】
オプションとして、上記の図１１に対応する実施例を基にして、図１８を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記ターゲット情報決定装置３０は、前記復号化モジュール３０４は前記第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る前に、前記第２の時刻のデコーダの状態、前記第２の時刻のターゲット情報、前記ソースコンテキストベクトル、前記第１の翻訳ベクトルおよび前記第２の翻訳ベクトルに基づいて、前記第１の時刻のデコーダの状態を決定する第２の決定モジュール３０５をさらに備えるようにしてよく、前記復号化モジュール３０４は、前記第１の時刻のデコーダの状態、前記ソースコンテキストベクトル、前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルを復号化処理して、前記第１の時刻のターゲット情報を得る復号化ユニット３０４１を備える。
【０２５５】
次に、本発明の実施例では、まず第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトルおよび第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定する必要があり、その後、第１の時刻のデコーダの状態、ソースコンテキストベクトル、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルのモデル化を、デコーダの状態から独立させて、第１の時刻の、注目度モジュールによって出力されたソースコンテキストベクトルと完全なソース意味ベクトル表現を構成して、デコーダに伝送することで、より正確なターゲット情報を生成する。
【０２５６】
オプションとして、上記の図１７または図１８に対応する実施例を基にして、図１９を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記ターゲット情報決定装置３０は、前記第１の翻訳ベクトルおよび前記第３の翻訳ベクトルに基づいて、未来翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第１の指標の期待値を取得する第２の取得モジュール３０６と、前記第２の翻訳ベクトルおよび前記第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得する第３の取得モジュール３０７と、前記第２の取得モジュール３０６が取得した前記第１の指標の期待値および前記第３の取得モジュール３０７が取得した前記第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定する第２の決定モジュール３０８とを備えるようにしてよい。
【０２５７】
また、本発明の実施例では、第１の翻訳ベクトルおよび第３の翻訳ベクトルに基づいて、第１の指標の期待値を取得して、第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、第２の指標の期待値を取得し、その後、第１の指標の期待値及び第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定する。上記のように、トレーニングターゲットを増加させ、かつこの部分のトレーニングターゲットは、意味レベルでの一致性をよりよく満たすことができ、これによって、トレーニングの精度と実現可能性を向上させることができる。
【０２５８】
図２０は、本発明の実施例で提供されるターゲット情報決定装置の構成概略図であり、このターゲット情報決定装置３００は、構成または性能の違いのせいで、比較的大きな差異を生成し、１つまたは複数の中央プロセッサ（ＣＰＵ：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔｓ）３２２（例えば、１つまたは複数のプロセッサ）と、メモリ３３２と、アプリケーション３４２またはデータ３４４を記憶する１つまたは複数の記憶媒体３３０（例えば、１つまたは複数の大容量記憶装置）とを備えるようにしてよい。ここで、メモリ３３２および記憶媒体３３０は、一時的な記憶または永続的な記憶であってもよい。記憶媒体３３０に記憶されたプログラムは、１つまたは複数のモジュール（図示せず）を含むようにしてよく、各モジュールがターゲット情報決定装置に対する一連の命令操作を含むようにしてよい。さらに、中央プロセッサ３２２は、記憶媒体３３０と通信し、ターゲット情報決定装置３００で記憶媒体３３０における一連の命令操作を実行するように構成されてもよい。
【０２５９】
ターゲット情報決定装置３００は、１つまたは複数の電源３２６、１つまたは複数の有線や無線ネットワークインターフェース３５０、１つまたは複数の入出力インターフェース３５８および／またはＷｉｎｄｏｗｓ  Ｓｅｒｖｅｒ（登録商標）、Ｍａｃ  ＯＳ  Ｘ（登録商標）、ＵｎｉｘＴＭ、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）などの１つまたは複数のオペレーティングシステム３４１を備えるようにしてよい。
上記の実施例におけるターゲット情報決定装置によって実行されたステップは、図２０に示すターゲット情報決定装置の構成に基づくものである。
【０２６０】
ＣＰＵ３２２は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、前記ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得することと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定することと、前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを実行し、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である。
【０２６１】
オプションとして、ＣＰＵ３２２は、具体的に、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得することと、予め設定されたニューラルネットモデルを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることとを実行する。
【０２６２】
オプションとして、ＣＰＵ３２２は、具体的に、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得することと、予め設定されたニューラルネットワークモデルを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることと、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することとを実行し、ここで、前記第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
【０２６３】
オプションとして、ＣＰＵ３２２は、具体的に、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することを実行し、ここで、前記第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
【０２６４】
オプションとして、ＣＰＵ３２２は、具体的に、ゲート付き回帰型ユニットＧＲＵを用いて、前記第３の翻訳ベクトルから前記ソースコンテキストベクトルを減算して、前記第１の翻訳ベクトルを得ることを実行する。
【０２６５】
オプションとして、ＣＰＵ３２２は、具体的に、ＧＲＵを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、中間ベクトルを得ることと、前記中間ベクトルを前記第３の翻訳ベクトルと補間結合して、前記第１の翻訳ベクトルを得ることとを実行する。
【０２６６】
オプションとして、ＣＰＵ３２２は、具体的に、前記第２の時刻のデコーダの状態、前記第２の翻訳ベクトル、前記第３の翻訳ベクトル、および前記ソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定することと、前記ソースコンテンツのアライメント確率および前記ソースコンテンツの意味ベクトルに基づいて、前記第１の時刻に対応する前記ソースコンテキストベクトルを決定することとを実行する。
【０２６７】
オプションとして、ＣＰＵ３２２は、前記第２の時刻のデコーダの状態、前記第２の時刻のターゲット情報、前記ソースコンテキストベクトル、前記第１の翻訳ベクトルおよび前記第２の翻訳ベクトルに基づいて、前記第１の時刻のデコーダの状態を決定することを実行する。
【０２６８】
ＣＰＵ３２２は、具体的に、前記第１の時刻のデコーダの状態、前記第１の翻訳ベクトル、前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、前記第１の時刻のターゲット情報を得ることを実行する。
【０２６９】
オプションとして、ＣＰＵ３２２は、前記第１の翻訳ベクトルおよび前記第３の翻訳ベクトルに基づいて、未来翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第１の指標の期待値を取得することと、前記第２の翻訳ベクトルおよび前記第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得することと、前記第１の指標の期待値および前記第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定することとを実行する。
【０２７０】
ここでは説明の便宜上かつ簡潔にするために、上記で説明したシステム、装置、およびユニットの具体的な動作手順は、前述の方法の実施例における対応するプロセスを参照してもよいため、ここで説明を省略することは、当業者によって明確に理解され得る。
【０２７１】
本願で提供されるいくつかの実施例では、開示されたシステム、装置、および方法は、他の方法で実現され得るということが理解されるべきである。例えば、上記の装置の実施例は、単に概略的なものであり、例えば、前記ユニットの区分は、論理機能の区分のみであり、実際に実装される場合に、他の区分方式があってもよいし、例えば、複数のユニットまたはコンポーネントは、他のシステムに結合または統合されてもよく、あるいは、一部の特徴は無視されてもよく、または実行されなくてもよい。さらに、表示または検討された相互間の結合または直接結合または通信接続は、いくつかのインターフェース、装置またはユニットを介する間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【０２７２】
前記分離手段として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された手段は、物理ユニットである場合とそうでない場合があり、即ち、一箇所に位置してもよく、あるいは、複数のネットワークユニットに分布されてもよい。実際の必要に応じて、その中の一部または全部のユニットを選択して、本実施例の目的を実現することができる。
【０２７３】
また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、各ユニットが個別に物理的に存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。
【０２７４】
前記統合されたユニットは、ソフトウェア機能ユニットの形式で実現され、かつ独立した製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本発明の技術的解決策について、本質的なものまたは既存の技術に寄与する部分または該技術的解決策の全部または一部が、ソフトウェア製品として具現化されることができ、このコンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の各実施例に係る方法の全部または一部のステップを１台のコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスなど）に実行させるための若干の命令を含む。上記の記憶媒体は、Ｕディスク、モバイルハードディスク、リードオンリーメモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなど、プログラムコードを記憶できる様々な媒体を含む。したがって、本発明の一実施例は、コンピュータで実行される場合、上記のような方法をコンピュータに実行させる命令を含むコンピュータ読み取り可能な記憶媒体を提供する。
【０２７５】
上記のように、上記の実施例は、本発明の技術的解決策を説明するためにのみ使用され、それを限定するためのものではない。上記の実施例を参照して本発明を詳細に説明したが、当業者は、依然として、上記の各実施例に記載された技術的解決策を修正したり、一部の技術的特徴を均等に置き換えたりすることができ、また、これらの修正または置き換えは、対応する技術的解決策の本質を、本発明の各実施例の技術的解決策の精神および範囲から逸脱させない。
【符号の説明】
【０２７６】
３０  ターゲット情報決定装置
３００  ターゲット情報決定装置
３０１  符号化モジュール
３０２  第１の取得モジュール
３０３  第１の決定モジュール
３０４  復号化モジュール
３０５  第２の決定モジュール
３０６  第２の取得モジュール
３０７  第３の取得モジュール
３０８  第２の決定モジュール
３２２  中央プロセッサ
３２６  電源
３３０  記憶媒体
３３２  メモリ
３４１  オペレーティングシステム
３４２  アプリケーション
３４４  データ
３５０  有線または無線ネットワークインターフェース
３５８  入出力インターフェース
３０２１  第１の決定ユニット
３０２２  第２の決定ユニット
３０３１  第１の取得ユニット
３０３２  第１の処理ユニット
３０３３  第２の取得ユニット
３０３４  第２の処理ユニット
３０３５  第３の取得ユニット
３０３６  第４の取得ユニット
３０４１  復号化ユニット
３０３２１  減算サブユニット
３０３２２  処理サブユニット
３０３２３  結合サブユニット
【図１】
2020528625.tif 000077
【図２】
2020528625.tif 000078
【図３】
2020528625.tif 000079
【図４】
2020528625.tif 000080
【図５】
2020528625.tif 000081
【図６】
2020528625.tif 000082
【図７】
2020528625.tif 000083
【図８】
2020528625.tif 000084
【図９】
2020528625.tif 000085
【図１０】
2020528625.tif 000086
【図１１】
2020528625.tif 000087
【図１２】
2020528625.tif 000088
【図１３】
2020528625.tif 000089
【図１４】
2020528625.tif 000090
【図１５】
2020528625.tif 000091
【図１６】
2020528625.tif 000092
【図１７】
2020528625.tif 000093
【図１８】
2020528625.tif 000094
【図１９】
2020528625.tif 000095
【図２０】
2020528625.tif 000096
【国際調査報告】
2020528625.tif 000097
2020528625.tif 000098
2020528625.tif 000099
2020528625.tif 000100