【手続補正書】
【提出日】令和2年2月21日(2020.2.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ニューラル・ネットワークで実現される抽象テキスト要約の方法であって：
各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込みを処理するステップ；
連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークンによりリカレント・アテンティブ・デコーダを初期化するステップ；
各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップ；
を有し、前記出力するステップは：
前記エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を前記エンコーダ隠れ状態の各々に適用するステップ；
特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、以前のエンコーダ・アテンション・スコアにわたって指数関数正規化することにより、前記エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；
前記現在のエンコーダ・テンポラル・スコアを単位正規化することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；
対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされる前記エンコーダ隠れ状態の凸結合として、前記現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；
以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；
前記現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、前記以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び
対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる前記以前のデコーダ隠れ状態の凸結合として、前記現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルをサマリー・トークンを出力するために処理するステップ；
を含む、ニューラル・ネットワークで実現される方法。
【請求項２】
前記埋め込みは、高次元ワード埋め込み空間に埋め込まれる、請求項１に記載の方法。
【請求項３】
前記エンコーダは、フォワード及びバックワードＲＮＮｓを含む双方向リカレント・ニューラル・ネットワーク（Ｂｉ−ＲＮＮ）であり、フォワード及びバックワードＲＮＮｓの各々は、フォワード及びバックワードＲＮＮ隠れ状態を生成するために入力として前記埋め込みを受信し、前記エンコーダ隠れ状態は、個々のフォワード及びバックワードＲＮＮ隠れ状態の連結である、請求項１に記載の方法。
【請求項４】
４００ないし８００トークンの文書センテンスを、４０ないし１００トークンのサマリー・シーケンスに要約するために、抽象テキスト要約が使用される、請求項１に記載の方法。
【請求項５】
機械翻訳に基づく自然言語処理（ＮＬＰ）のタスクを実行するために、抽象テキスト要約が使用される、請求項１に記載の方法。
【請求項６】
前記抽象テキスト要約のパフォーマンスをＲＯＵＧＥメトリックで評価するステップを更に含む、請求項１に記載の方法。
【請求項７】
出力サマリー・トークンの同じトリグラム・シーケンスをサマリーの中で１回より多く出力しないことを、前記リカレント・アテンティブ・デコーダに要求するステップを更に含む請求項１に記載の方法。
【請求項８】
並列プロセッサで動作するニューラル・ネットワークに基づく抽象テキスト要約システムであって：
要約される文書の入力トークンについてエンコーダ隠れ状態を生成するエンコーダ；
前記エンコーダ隠れ状態及び以前に生成されたデコーダ隠れ状態に配慮することにより前記文書を要約するサマリー・トークンを出力するアテンティブ・デコーダ；
を有し、前記エンコーダ隠れ状態に対するデコーダの配慮は、前記デコーダにより以前に配慮されていない入力トークンを促し、前記デコーダにより以前に配慮された入力トークンにペナルティを課し、
前記以前に生成されたデコーダ隠れ状態に対するデコーダの配慮は、前記デコーダにより以前に出力されなかったサマリー・トークン候補を促し、前記デコーダにより以前に出力されたサマリー・トークン候補にペナルティを課す、抽象テキスト要約システム。
【請求項９】
前記アテンティブ・デコーダは、前記エンコーダ隠れ状態及び以前に生成されたデコーダ隠れ状態にわたる配慮の結果と現在のデコーダ隠れ状態とを結合することにより、現在のサマリー・トークンを出力する、請求項８に記載の抽象テキスト要約システム。
【請求項１０】
前記エンコーダ隠れ状態に対するデコーダの配慮は、前記文書のうち要約されてない部分を重視する、請求項８に記載の抽象テキスト要約システム。
【請求項１１】
前記以前に生成されたデコーダ隠れ状態に対するデコーダの配慮は、反復的なサマリー語句の出力を防ぐ、請求項８に記載の抽象テキスト要約システム。
【請求項１２】
１つ以上のプロセッサと、前記プロセッサに結合され、コンピュータ命令を含むメモリとを含むニューラル・ネットワークに基づく抽象テキスト要約システムであって、前記コンピュータ命令は、前記プロセッサで実行される場合に、抽象要約モデルを実現するプロセスを前記抽象テキスト要約システムに実行させ、前記抽象テキスト要約システムは：
ワード埋め込み空間における文書シーケンスの入力文書トークンの埋め込み；
提供される入力文書トークンの埋め込みを利用して、前記文書シーケンスの入力文書トークンに対するトークンの双方向エンコーディングと入力文書に対する全体的な双方向エンコーディングとを生じさせる双方向リカレント・ニューラル・ネットワーク（ＲＮＮ）に基づくエンコーダ；
初期の現在のデコーダ隠れ状態として前記全体的な双方向エンコーディングで初期化されたＲＮＮに基づくデコーダ；
を有し、前記ＲＮＮに基づくデコーダは、
前記入力文書トークンについて、エンコードされた状態アテンション・ウェイトを生成するために、前記現在のデコーダ隠れ状態を前記トークンの双方向エンコーディングに適用し；
エンコードされた状態アテンション・ウェイトを指数関数正規化し；及び
正規化されたエンコードされた状態アテンション・ウェイトに基づいて、トークンの双方向エンコーディングの重み付け加算を計算する；
ことにより、各デコード・ステップでイントラ・テンポラル・エンコーダ・アテンション・ベクトルを計算し；
前記ＲＮＮに基づくデコーダは、
以前に計算されたデコーダ隠れ状態の各々について、デコードされた状態アテンション・ウェイトを生成するために、前記現在のデコーダ隠れ状態を、以前に計算されたデコーダ隠れ状態に適用し；
デコードされた状態アテンション・ウェイトを指数関数的に正規化し；及び
正規化されたデコードされた状態アテンション・ウェイトに基づいて、以前に計算されたデコーダ隠れ状態の重み付け加算を計算する；
ことにより、各デコード・ステップでイントラ・デコーダ・アテンション・ベクトルを計算し；
各々のデコード・ステップにおいて、前記イントラ・デコーダ・アテンション・ベクトルを、前記イントラ・テンポラル・エンコーダ・アテンション・ベクトル、及び現在のデコーダ隠れ状態と結合し、結合されたベクトルをサマリー・トークンを出力するために処理する、抽象テキスト要約システム。
【請求項１３】
双方向のＲＮＮに基づくエンコーダが、２つの別個のロング・ショート・ターム・メモリ（ＬＳＴＭ）ネットワークを有する、請求項１２に記載の抽象テキスト要約システム。
【請求項１４】
前記ＲＮＮに基づくデコーダが、ロング・ショート・ターム・メモリ（ＬＳＴＭ）ネットワークを有する、請求項１２に記載の抽象テキスト要約システム。
【請求項１５】
強化学習及び教師あり学習の組み合わせを利用して、抽象要約モデルをトレーニングする、請求項１２に記載の抽象テキスト要約システム。
【請求項１６】
教師あり機械学習と強化学習とを混合する混合トレーニング目的関数を利用して抽象要約モデルをトレーニングし、
前記教師あり機械学習は、デコーダ・サマリー出力を、前記文書シーケンスのグランド・トゥルース・サマリーと比較することにより、妥当性を評価するために、各々のデコード・ステップにおいて最尤損失を最小化し、
前記強化学習は、前記デコーダ・サマリー出力をベースライン出力に対して評価し、前記デコーダ・サマリー出力の読みやすさについて報酬又はペナルティをフィードバックし、
前記教師あり機械学習及び強化学習の混合は重み付け平均である、請求項１２に記載の抽象テキスト要約システム。
【請求項１７】
前記強化学習は、自己批判的シーケンス・トレーニング（ＳＣＳＴ）アルゴリズムを利用して実現される、請求項１６に記載の抽象テキスト要約システム。
【請求項１８】
前記教師あり機械学習は、最尤損失トレーニング目標（ＭＬ）を利用して実現される、請求項１６に記載の抽象テキスト要約システム。
【請求項１９】
４００ないし８００トークンの文書センテンスを、４０ないし１００トークンのサマリー・シーケンスに要約するために、抽象要約モデルが使用される、請求項１２に記載の抽象テキスト要約システム。
【請求項２０】
前記抽象要約モデルのパフォーマンスをＲＯＵＧＥメトリックで評価する、請求項１２に記載の抽象テキスト要約システム。
【請求項２１】
出力サマリー・トークンの同じトリグラム・シーケンスをサマリーの中で１回より多く出力しないことを、前記ＲＮＮに基づくデコーダに要求する、請求項１２に記載の抽象テキスト要約システム。
【請求項２２】
抽象要約モデルを実現するコンピュータ・プログラム命令を備える有形の非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ・プログラム命令は、プロセッサに方法を実行させ、前記方法は：
各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込みを処理するステップ；
連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークンによりリカレント・アテンティブ・デコーダを初期化するステップ；
各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップ；
を有し、前記出力するステップは：
前記エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を前記エンコーダ隠れ状態の各々に適用するステップ；
特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、以前のエンコーダ・アテンション・スコアにわたって指数関数正規化することにより、前記エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；
前記現在のエンコーダ・テンポラル・スコアを単位正規化することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；
対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされる前記エンコーダ隠れ状態の凸結合として、前記現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；
以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；
前記現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、前記以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び
対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる前記以前のデコーダ隠れ状態の凸結合として、前記現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルをサマリー・トークンを出力するために処理するステップ；
を含む、コンピュータ読み取り可能な記憶媒体。
【請求項２３】
４００ないし８００トークンの文書センテンスを、４０ないし１００トークンのサマリー・シーケンスに要約するために、抽象テキスト要約が使用される、請求項２２に記載のコンピュータ読み取り可能な記憶媒体。
【請求項２４】
前記方法は、強化学習及び教師あり学習の組み合わせを利用して、抽象要約モデルをトレーニングするステップを更に含む、請求項２２に記載のコンピュータ読み取り可能な記憶媒体。
【請求項２５】
前記方法は、教師あり機械学習と強化学習とを混合する混合トレーニング目的関数を利用して抽象要約モデルをトレーニングするステップを更に含み、
前記教師あり機械学習は、デコーダ・サマリー出力を、文書シーケンスのグランド・トゥルース・サマリーと比較することにより、妥当性を評価するために、各々のデコード・ステップにおける最尤損失を最小化し、
前記強化学習は、前記デコーダ・サマリー出力をベースライン出力に対して評価し、前記デコーダ・サマリー出力の読みやすさについて報酬又はペナルティをフィードバックし、
前記教師あり機械学習及び強化学習の混合は重み付け平均である、請求項２４に記載のコンピュータ読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
開示される技術は、イントラ・アテンションを有するニューラル・ネットワーク・モデル及び新たなトレーニング方法を含む。この方法は、標準的な管理されるワード予測(standard  supervised  word  prediction)と強化学習(reinforcement  learning：RL)とを結合する。標準的な管理されるワード予測のみによりトレーニングされるモデルはしばしば「エクスポージャー・バイアス(exposure  bias)」を示す  −  それらはトレーニング中は各ステップでグランド・トゥルースが提供されることを仮定している。しかしながら、標準的なワード予測がRLのグローバル・シーケンス予測トレーニングと結合される場合、その結果のサマリーは、より読みやすいものとなる。