【誤訳訂正書】
【提出日】令和2年8月21日(2020.8.21)
【誤訳訂正１】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
環境の状態を特徴付ける観測値を受け取り、かつ前記観測値に応じてアクションのセットからのアクションを実施することにより、前記環境と相互作用するエージェントによって実施されるべきアクションを選択するために使用されるQネットワークをトレーニングする方法であって、
前記Qネットワークが、前記Qネットワークに含まれるパラメータのセットに従って入力から推定される将来の累積利益を生成するために、前記入力として入力観測値および入力アクションを受け取るように構成されるディープニューラルネットワークであり、
複数の経験タプルを取得するステップであって、各経験タプルが、トレーニングの観測値、前記トレーニングの観測値を受け取るのに応じて前記エージェントにより実施されるアクション、前記エージェントが前記アクションを実施するのに応じて受け取られる利益、および前記環境の次の状態を特徴付ける次のトレーニングの観測値を含む、ステップと、
前記経験タプルの各々の上で前記Qネットワークをトレーニングするステップであって、各経験タプルについて、
前記Qネットワークの前記パラメータの現在の値に従って、前記Qネットワークを使用して前記経験タプル中の前記トレーニングの観測値および前記経験タプル中の前記アクションに基づいて前記経験タプルについて現在推定される将来の累積利益を決定するステップと、
前記Qネットワークを使用して、前記Qネットワークによって次の観測値と組み合わせて処理されるとき、最高と推定される将来の累積利益を前記Qネットワークが生成することになる、前記アクションのセットからアクションを選択するステップと、
ターゲットQネットワークを使用して、前記ターゲットQネットワークの前記パラメータの現在の値に従って、前記経験タプル中の前記次の観測値および前記選択されたアクションに基づいて、前記ターゲットQネットワークによって選択されたアクションについての次のターゲットの推定される将来の累積利益を決定するステップであって、前記ターゲットQネットワークが前記Qネットワークと同一であるが、前記ターゲットQネットワークの前記パラメータの前記現在の値が前記Qネットワークの前記パラメータの前記現在の値と異なる、ステップと、
前記経験タプル中の前記利益、前記選択されたアクションについての前記次のターゲットの推定される将来の累積利益、および前記現在推定される将来の累積利益から前記経験タプルについての誤差を決定するステップと、
前記Qネットワークの前記パラメータの前記現在の値を更新するために前記経験タプルについての前記誤差を使用するステップと
を含む、ステップと
を含む、方法。
【請求項２】
前記誤差Eが、
E=R+γ*NTER-CER
を満たし、Rは前記経験タプル中の前記利益であり、γは指定される割引係数であり、NTERは前記選択されるアクションについての前記次のターゲットの推定される将来の累積利益であり、CERは前記現在推定される将来の累積利益である、請求項1に記載の方法。
【請求項３】
前記Qネットワークの前記パラメータの前記現在の値を更新するために前記経験タプルについての前記誤差を使用するステップが、
機械学習トレーニング技法を使用して前記誤差を減少させるために前記Qネットワークの前記パラメータの前記現在の値を更新するステップ
を含む、請求項1または2に記載の方法。
【請求項４】
前記アクションを選択するステップが、
前記アクションのセットの中の各アクションについて、前記Qネットワークの前記パラメータの現在の値に従って、前記Qネットワークを使用して、前記経験タプル中の前記次の観測値および前記アクションに基づいて、前記アクションについてそれぞれの次の推定される将来の累積利益を決定するステップと、
最高の次の推定される将来の累積利益を有する前記アクションを選択するステップと
を含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記ターゲットQネットワークの前記パラメータの前記値が、前記Qネットワークの前記パラメータの前記値と周期的に同期する、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記Qネットワークの前記パラメータの更新された値を決定するために、前記経験タプルの各々の上で前記Qネットワークをトレーニングした後、前記Qネットワークの前記パラメータの前記更新された値と一致させるために、前記ターゲットQネットワークの前記現在の値を更新するステップ
をさらに含む、請求項5に記載の方法。
【請求項７】
パラメータの更新された現在の値を有する前記Qネットワークを出力するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
【請求項８】
入力として入力観測値および入力アクションを受け取るステップと、
前記パラメータの更新された現在の値に従って、前記Qネットワークを使用して前記入力から推定される将来の累積利益を生成するステップと
をさらに含む、請求項1から7のいずれか一項に記載の方法。
【請求項９】
1つまたは複数のコンピュータと、前記1つまたは複数のコンピュータにより実行されるとき、前記1つまたは複数のコンピュータに請求項1から8のいずれか一項に記載の方法を実施させるように動作可能な命令を記憶する、1つまたは複数の記憶デバイスとを備える、システム。
【請求項１０】
1つまたは複数のコンピュータにより実行されると、前記1つまたは複数のコンピュータに請求項1から8のいずれか一項に記載の方法を実施させる命令で符号化される、コンピュータ記憶媒体。
【請求項１１】
入力として入力観測値および入力アクションを受け取り、かつパラメータのセットに従って前記入力から推定される将来の累積利益を生成するように構成されたQネットワークであって、請求項1から8のいずれか一項に記載の方法に従ってトレーニングされたものである、Qネットワーク。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】０００５
【訂正方法】変更
【訂正の内容】
【０００５】
一態様によれば、環境の状態を特徴付ける観測値を受け取り、観測値に応じてアクションのセットからのアクションを実施することにより、環境と相互作用するエージェントによって実施されるべきアクションを選択するために使用されるQネットワークをトレーニングする方法が提供され、Qネットワークは、パラメータのセットに従って入力から推定される将来の累積利益を生成するために、入力として入力観測値および入力アクションを受け取るように構成されるディープニューラルネットワークである。本方法は、複数の経験タプルを取得するステップであって、各経験タプルが、トレーニングの観測値、トレーニングの観測値を受け取るのに応じてエージェントにより実施されるアクション、エージェントがアクションを実施するのに応じて受け取られる利益、および環境の次の状態を特徴付ける次のトレーニングの観測値を含む、ステップと、経験タプルの各々上でQネットワークをトレーニングするステップであって、各経験タプルについて、Qネットワークのパラメータの現在の値に従って、経験タプルについて現在推定される将来の累積利益を決定するために、Qネットワークを使用して経験タプル中のトレーニングの観測値および経験タプル中のアクションを処理するステップと、Qネットワークによって次の観測値と組み合わせて処理されるとき、最高と推定される将来の累積利益をQネットワークが生成することになる、アクションのセットからアクションを選択するステップと、ターゲットQネットワークのパラメータの現在の値に従って、選択されたアクションについての次のターゲットの推定される将来の累積利益を決定するために、ターゲットQネットワークを使用して経験タプル中の次の観測値および選択されたアクションを処理するステップであって、ターゲットQネットワークがQネットワークと同一であるが、ターゲットQネットワークのパラメータの現在の値がQネットワークのパラメータの現在の値と異なる、ステップと、経験タプル中の利益、選択されたアクションについての次のターゲットの推定される将来の累積利益、および現在推定される将来の累積利益から経験タプルについての誤差を決定するステップと、Qネットワークのパラメータの現在の値を更新するために経験タプルについての誤差を使用するステップとを含む、ステップとを含む。誤差Eは、E=R+γ*NTER-CERを満たしてもよく、ここで、Rは経験タプル中の利益であり、γは指定される割引係数であり、NTERは選択されるアクションについての次のターゲットの推定される将来の累積利益であり、CERは現在推定される将来の累積利益である。Qネットワークのパラメータの現在の値を更新するために経験タプルについての誤差を使用するステップが、機械学習トレーニング技法を使用して誤差を減少させるためQネットワークのパラメータの現在の値を更新するステップを含んでもよい。アクションを選択するステップが、アクションのセットの中の各アクションについて、Qネットワークのパラメータの現在の値に従って、アクションについてそれぞれの次の推定される将来の累積利益を決定するために、Qネットワークを使用して経験タプル中の次の観測値およびアクションを処理するステップと、最高の次の推定される将来の累積利益を有す���アクションを選択するステップとを含んでもよい。
【誤訳訂正３】
【訂正対象書類名】明細書
【訂正対象項目名】００４６
【訂正方法】変更
【訂正の内容】
【００４６】
システムは、アクションのセットから次のアクションを選択する(ステップ306)。次のアクションは、Qネットワークによって次の観測値と組み合わせて処理されると、最高と推定される将来の累積利益を生成するアクションである。すなわち、アクションのセットの中の各アクションについて、システムは、アクションについての次の推定される将来の累積利益を生成するために、Qネットワークのパラメータの現在の値に従って、Qネットワークを使用して次の観測値およびアクションを処理する。システムは次いで、次のアクションとして最高の次の推定される将来の累積利益を有するアクションを選択する。