【手続補正書】
【提出日】令和2年1月6日(2020.1.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つ以上のハードウェアプロセッサを有する、パラフレーズ生成システムであって、前記１つ以上のハードウェアプロセッサは、
言語及び前記言語のパラフレーズを有する、学習コーパスを取得し、
前記学習コーパスを用いて、語レベル及び文字レベルの埋め込みを決定し、
既存の知識ベースから知られた意味的関係に基づいて前記語レベル及び文字レベルの埋め込みを更新し、
前記学習コーパス並びに前記語レベル及び文字レベルの埋め込みに基づいて、語レベルの注意ベースモデル及び文字レベルの注意ベースモデルを生成し、
前記語レベル及び前記文字レベルの注意ベースモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供する
ための機械読み取り可能な命令により構成された、システム。
【請求項２】
前記１つ以上のハードウェアプロセッサは、前記語レベルの注意ベースモデルが、語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルが、文字レベルの双方向の長短期メモリネットワークとなるよう構成され、前記語レベル及び文字レベルの双方向の長短期メモリネットワークは、前記学習コーパスにおける語及び文字に基づいて生成された、請求項１に記載のシステム。
【請求項３】
前記１つ以上のハードウェアプロセッサは、前記学習コーパスに基づいて文レベルの注意ベースモデルを生成するよう構成された、前記１つ以上のハードウェアプロセッサは、前記文レベル、語レベル及び文字レベルの注意ベースモデルに基づいて前記自然言語入力の１つ以上の候補パラフレーズを提供するよう構成された、請求項１に記載のシステム。
【請求項４】
前記１つ以上のハードウェアプロセッサは、前記学習コーパスを用いて、文レベルの埋め込みを決定し、既存の知識ベースから知られた意味的関係に基づいて前記文レベルの埋め込みを更新し、前記語レベル及び文字レベルの注意ベースモデル並びに前記更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズを提供するよう構成された、請求項１に記載のシステム。
【請求項５】
前記１つ以上のハードウェアプロセッサは、回帰型ニューラルネットワーク及び／又は畳み込みニューラルネットワークを用いて、前記文レベル、語レベル及び文字レベルの埋め込みを決定するよう構成された、請求項４に記載のシステム。
【請求項６】
前記１つ以上のハードウェアプロセッサは、前記１つ以上の候補パラフレーズを提供することが、候補パラフレーズの語選択の意味的類似性及び新規性を目標の文と比較するよう構成された強化学習モデルについての報酬関数を決定すること、及び前記比較に基づいて候補パラフレーズを出力することを有するよう構成された、請求項１に記載のシステム。
【請求項７】
前記１つ以上のハードウェアプロセッサは、前記語レベルの注意ベースモデルが、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルが、多層残差型の語レベルの双方向の長短期メモリネットワークであるよう構成され、前記多層残差型の長短期メモリネットワークは、所与の長短期メモリネットワークの積層した層間の残差接続を有する、請求項１に記載のシステム。
【請求項８】
パラフレーズ生成システムを用いてパラフレーズを生成するための方法であって、前記方法は、
言語及び前記言語のパラフレーズを有する、学習コーパスを取得するステップと、
前記学習コーパスを用いて、語レベル及び文字レベルの埋め込みを決定するステップと、
既存の知識ベースから知られた意味的関係に基づいて前記語レベル及び文字レベルの埋め込みを更新するステップと、
前記学習コーパス並びに前記語レベル及び文字レベルの埋め込みに基づいて、語レベルの注意ベースモデル及び文字レベルの注意ベースモデルを生成するステップと、
前記語レベル及び前記文字レベルの注意ベースモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供するステップと、
を有する、方法。
【請求項９】
前記語レベルの注意ベースモデルが、語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルが、文字レベルの双方向の長短期メモリネットワークであり、前記語レベル及び文字レベルの双方向の長短期メモリネットワークは、前記学習コーパスにおける語及び文字に基づいて生成された、請求項８に記載の方法。
【請求項１０】
前記学習コーパスに基づいて文レベルの注意ベースモデルを生成するステップと、前記文レベル、語レベル及び文字レベルの注意ベースモデルに基づいて前記自然言語入力の１つ以上の候補パラフレーズを提供するステップと、を更に有する、請求項８に記載の方法。
【請求項１１】
前記学習コーパスを用いて、文レベルの埋め込みを決定するステップと、既存の知識ベースから知られた意味的関係に基づいて前記文レベルの埋め込みを更新するステップと、前記語レベル及び文字レベルの注意ベースモデル並びに前記更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズを提供するステップと、を更に有する、請求項８に記載の方法。
【請求項１２】
前記文レベル、語レベル及び文字レベルの埋め込みは、回帰型ニューラルネットワーク及び／又は畳み込みニューラルネットワークを用いて決定される、請求項８に記載の方法。
【請求項１３】
前記１つ以上の候補パラフレーズを提供するステップは、候補パラフレーズの語選択の意味的類似性及び新規性を目標の文と比較するよう構成された強化学習モデルについての報酬関数を決定するステップと、前記比較に基づいて候補パラフレーズを出力するステップと、を有する、請求項８に記載の方法。
【請求項１４】
前記語レベルの注意ベースモデルは、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルは、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記多層残差型の長短期メモリネットワークは、所与の長短期メモリネットワークの積層した層間の残差接続を有する、請求項８に記載の方法。
【請求項１５】
パラフレーズを生成するためのシステムであって、前記システムは、
言語及び前記言語のパラフレーズを有する、学習コーパスを取得するための手段と、
前記学習コーパスを用いて、語レベル及び文字レベルの埋め込みを決定するための手段と、
既存の知識ベースから知られた意味的関係に基づいて前記語レベル及び文字レベルの埋め込みを更新するための手段と、
前記学習コーパス並びに語レベル及び文字レベルの埋め込みに基づいて、語レベルの注意ベースモデル及び文字レベルの注意ベースモデルを生成するための手段と、
前記語レベル及び前記文字レベルの注意ベースモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供するための手段と、
を有するシステム。
【請求項１６】
前記語レベルの注意ベースモデルが、語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルが、文字レベルの双方向の長短期メモリネットワークであり、前記語レベル及び文字レベルの双方向の長短期メモリネットワークは、前記学習コーパスにおける語及び文字に基づいて生成された、請求項１５に記載のシステム。
【請求項１７】
前記学習コーパスに基づいて文レベルの注意ベースモデルを生成するための手段と、前記文レベル、語レベル及び文字レベルの注意ベースモデルに基づいて前記自然言語入力の１つ以上の候補パラフレーズを提供するための手段と、を更に有する、請求項１５に記載のシステム。
【請求項１８】
前記学習コーパスを用いて、文レベルの埋め込みを決定するための手段と、既存の知識ベースから知られた意味的関係に基づいて前記文レベルの埋め込みを更新するための手段と、前記語レベル及び文字レベルの注意ベースモデル並びに前記更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズを提供するための手段と、を更に有する、請求項１５に記載のシステム。
【請求項１９】
前記文レベル、語レベル及び文字レベルの埋め込みは、回帰型ニューラルネットワーク及び／又は畳み込みニューラルネットワークを用いて決定される、請求項１８に記載のシステム。
【請求項２０】
前記１つ以上の候補パラフレーズを提供することは、候補パラフレーズの語選択の意味的類似性及び新規性を目標の文と比較するよう構成された強化学習モデルについての報酬関数を決定すること、及び前記比較に基づいて候補パラフレーズを出力することを有する、請求項１５に記載のシステム。
【請求項２１】
前記語レベルの注意ベースモデルは、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルは、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記多層残差型の長短期メモリネットワークは、所与の長短期メモリネットワークの積層した層間の残差接続を有する、請求項１５に記載のシステム。