【手続補正書】
【提出日】令和2年8月7日(2020.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
質問応答システムを訓練する方法であって、
複数の訓練サンプルを受信し、前記訓練サンプルの各々が、自然言語コンテキスト、自然言語クエスチョン、及び自然言語グラウンドトゥルースアンサーを含み、前記訓練サンプルは、複数のタスクタイプからの訓練サンプルを含み、
前記訓練サンプルを神経モデルに提示してアンサーを生成し、
提示された各訓練サンプルについて、前記生成されたアンサーと前記自然言語グラウンドトゥルースアンサーとの間の誤差を決定し、そして、
前記誤差に基づいて前記神経モデルのパラメータを調節する、
ことを有し、
前記訓練サンプルが前記神経モデルに提示される順序が、
最初に、第１の順序に従って、前記複数のタスクタイプの各々からの訓練サンプルが前記神経モデルに提示される順序を制御するために使用される第１の訓練戦略に従って前記訓練サンプルを選択することと、
第２の順序に従って、前記複数のタスクタイプの各々からの訓練サンプルが前記神経モデルに提示される順序を制御するために使用される第２の訓練戦略に従って前記訓練サンプルを選択することに切り替えることと、
を含む、
方法。
【請求項２】
前記複数のタスクタイプの各々は、言語翻訳タスクタイプ、分類タスクタイプ、又は質問応答タスクタイプである、請求項１に記載の方法。
【請求項３】
前記第１の訓練戦略は、第１のタスクタイプに関する前記訓練サンプルの各々が選択されてから第２のタスクタイプの訓練サンプルを選択するという逐次訓練戦略である、請求項１又は２に記載の方法。
【請求項４】
前記逐次訓練戦略は、前記複数のタスクタイプの各々に関する訓練サンプルを選択した後に、前記第１のタスクタイプに関する訓練サンプルを再び選択することを含む、請求項３に記載の方法。
【請求項５】
前記第２の訓練戦略は、続いて選択される訓練サンプルが前記複数のタスクタイプのうちの異なるものから選択されるように前記訓練サンプルの各々が選択されるという統合訓練戦略である、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記第２の訓練戦略は、続いて選択される小グループの訓練サンプルが前記複数のタスクタイプのうちの異なるものから選択されるように前記訓練サンプルの各々が選択されるという統合訓練戦略である、請求項１乃至４のいずれか一項に記載の方法。
【請求項７】
前記第１の訓練戦略は、前記訓練サンプルが逐次訓練戦略に従って選択され、周期的な間隔で前記訓練サンプルが統合訓練戦略に従って選択されるという修正逐次訓練戦略である、請求項１又は２に記載の方法。
【請求項８】
前記複数のタスクタイプの各々に関する前記訓練サンプルの各々が所定回数だけ前記神経モデルに提示された後に、前記第２の訓練戦略を用いて前記訓練サンプルを選択することに切り替える、又は
前記複数のタスクタイプの各々に関連する性能メトリックのモニタリングに基づいて、前記第２の訓練戦略を用いて前記訓練サンプルを選択することに切り替える、
ことを更に有する請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
複数の機械読み取り可能命令を有した非一時的な機械読み取り可能媒体であって、前記複数の機械読み取り可能命令は、コンピューティング装置に関連する１つ以上のプロセッサによって実行されるときに、該１つ以上のプロセッサに方法を実行させ、当該方法は、
複数の訓練サンプルを受信し、前記訓練サンプルの各々が、自然言語コンテキスト、自然言語クエスチョン、及び自然言語グラウンドトゥルースアンサーを含み、前記訓練サンプルは、複数のタスクタイプからの訓練サンプルを含み、
前記訓練サンプルを神経モデルに提示してアンサーを生成し、
提示された各訓練サンプルについて、前記生成されたアンサーと前記自然言語グラウンドトゥルースアンサーとの間の誤差を決定し、そして、
前記誤差に基づいて前記神経モデルのパラメータを調節する、
ことを有し、
前記訓練サンプルが前記神経モデルに提示される順序が、
最初に、第１の順序に従って、前記複数のタスクタイプの各々からの訓練サンプルが前記神経モデルに提示される順序を制御するために使用される第１の訓練戦略に従って前記訓練サンプルを選択することと、
第２の順序に従って、前記複数のタスクタイプの各々からの訓練サンプルが前記神経モデルに提示される順序を制御するために使用される第２の訓練戦略に従って前記訓練サンプルを選択することに切り替えることと、
を含む、
非一時的な機械読み取り可能媒体。
【請求項１０】
前記第１の訓練戦略は、第１のタスクタイプに関する前記訓練サンプルの各々が選択されてから第２のタスクタイプの訓練サンプルを選択するという逐次訓練戦略である、請求項９に記載の非一時的な機械読み取り可能媒体。
【請求項１１】
前記第２の訓練戦略は、続いて選択される訓練サンプルが前記複数のタスクタイプのうちの異なるものから選択されるように前記訓練サンプルの各々が選択されるという統合訓練戦略、又は、続いて選択される小グループの訓練サンプルが前記複数のタスクタイプのうちの異なるものから選択されるように前記訓練サンプルの各々が選択されるという統合訓練戦略である、請求項９又は１０に記載の非一時的な機械読み取り可能媒体。
【請求項１２】
前記方法は更に、前記複数のタスクタイプの各々に関する前記訓練サンプルの各々が所定回数だけ前記神経モデルに提示された後に、前記第２の訓練戦略を用いて前記訓練サンプルを選択することに切り替えることを有する、請求項９乃至１１のいずれか一項に記載の非一時的な機械読み取り可能媒体。
【請求項１３】
ディープラーニング用のシステムであって、
多層ニューラルネットワークを有し、
当該システムは、
複数の訓練サンプルを受信し、前記訓練サンプルの各々が、自然言語コンテキスト、自然言語クエスチョン、及び自然言語グラウンドトゥルースアンサーを含み、前記訓練サンプルは、複数のタスクタイプからの訓練サンプルを含み、
前記訓練サンプルを神経モデルに提示してアンサーを生成し、
提示された各訓練サンプルについて、前記生成されたアンサーと前記自然言語グラウンドトゥルースアンサーとの間の誤差を決定し、そして、
前記誤差に基づいて前記神経モデルのパラメータを調節する、
ように構成され、
前記訓練サンプルが前記神経モデルに提示される順序が、
最初に、第１の順序に従って、前記複数のタスクタイプの各々からの訓練サンプルが前記神経モデルに提示される順序を制御するために使用される第１の訓練戦略に従って前記訓練サンプルを選択することと、
第２の順序に従って、前記複数のタスクタイプの各々からの訓練サンプルが前記神経モデルに提示される順序を制御するために使用される第２の訓練戦略に従って前記訓練サンプルを選択することに切り替えることと、
を含む、
システム。
【請求項１４】
前記第１の訓練戦略は、第１のタスクタイプに関する前記訓練サンプルの各々が選択されてから第２のタスクタイプの訓練サンプルを選択するという逐次訓練戦略である、請求項１３に記載のシステム。
【請求項１５】
前記第２の訓練戦略は、続いて選択される訓練サンプルが前記複数のタスクタイプのうちの異なるものから選択されるように前記訓練サンプルの各々が選択されるという統合訓練戦略、又は、続いて選択される小グループの訓練サンプルが前記複数のタスクタイプのうちの異なるものから選択されるように前記訓練サンプルの各々が選択されるという統合訓練戦略である、請求項１３又は１４に記載のシステム。