【手続補正書】
【提出日】令和3年11月2日(2021.11.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メタ学習を使用してマルチタスクニューラルネットワークを訓練するためのシステムであって、前記システムは、
非一過性記憶装置であって、
複数のタスクと関連付けられる出力を決定するように構成されるマルチタスクニューラルネットワークであって、前記複数のタスクの各タスクは、タスク損失関数と関連付けられ、マルチタスク損失関数と関連付けられる前記マルチタスクニューラルネットワークは、前記複数のタスクの各タスクに対するタスク加重および前記タスク損失関数の組み合わせを含む、マルチタスクニューラルネットワークと、
前記複数のタスクのうちのタスクの各々と関連付けられる前記タスク加重を出力するように構成されるメタネットワークであって、メタネットワーク損失関数と関連付けられる前記メタネットワークは、前記マルチタスク損失関数に少なくとも部分的に基づいた予期される損失を含む、メタネットワークと
を記憶するように構成される、非一過性記憶装置と、
前記非一過性記憶装置と通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記複数のタスクに関する複数の基準タスク出力と関連付けられる訓練データにアクセスすることと、
前記メタネットワーク損失関数を低減または最小限にし、前記複数のタスクのうちのタスクの各々と関連付けられる推定されるタスク加重を決定することと、
前記推定されるタスク加重に少なくとも部分的に基づいて、前記マルチタスク損失関数を低減または最小限にすることと、
訓練されたマルチタスクニューラルネットワークを出力することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
【請求項２】
前記マルチタスクニューラルネットワークのタスクは、場面理解と関連付けられる、請求項１に記載のシステム。
【請求項３】
前記タスクは、意味論セグメント化、深度、または面法線のうちの少なくとも１つを含む、請求項２に記載のシステム。
【請求項４】
前記マルチタスク損失関数は、前記複数のタスク内のタスクの全てに関して、前記タスク加重×前記タスク損失関数の線形結合を含む、請求項１に記載のシステム。
【請求項５】
前記メタネットワーク損失関数は、訓練窓に関する最適化軌跡にわたる前記マルチタスク損失関数の和を含む、請求項１に記載のシステム。
【請求項６】
前記メタネットワーク損失関数を低減または最小限にするために、前記ハードウェアプロセッサは、適応モーメント推定を使用して、時間を通して誤差逆伝搬法を適用するようにプログラムされる、請求項１に記載のシステム。
【請求項７】
前記マルチタスクニューラルネットワークは、畳み込みニューラルネットワークを含む、請求項１に記載のシステム。
【請求項８】
前記ハードウェアプロセッサは、
各訓練時間において、前記マルチタスク損失関数および前記メタネットワーク損失関数の値を監視することと、
前記複数のタスクをともに訓練するためのタスクレベルのカリキュラムを決定することと
を行うようにさらにプログラムされる、請求項１に記載のシステム。
【請求項９】
メタ学習およびメタネットワークを使用し、子ニューラルネットワークを訓練するための方法であって、前記方法は、
子ニューラルネットワークに関する適応加重を出力するように構成されるメタネットワークにアクセスすることと、
前記子ニューラルネットワークに関する子損失関数に少なくとも部分的に基づいて、前記メタネットワークを訓練することであって、前記子損失関数は、少なくとも部分的に前記適応加重に依存する、ことと、
前記メタネットワークを用いて、更新された適応加重を出力することと、
前記更新された適応加重を使用して、前記子ニューラルネットワークを訓練することと、
訓練された子ネットワークを出力することと
を含む、方法。
【請求項１０】
前記メタネットワークおよび前記子ネットワークを訓練するための訓練データセットにアクセスすることをさらに含む、請求項９に記載の方法。
【請求項１１】
前記メタネットワークは、再帰ニューラルネットワークを含む、請求項１０に記載の方法。
【請求項１２】
前記子ニューラルネットワークは、マルチタスクニューラルネットワークを含む、請求項１１に記載の方法。
【請求項１３】
前記マルチタスクニューラルネットワークは、個々のタスクと関連付けられる前記適応加重およびタスク損失関数の組み合わせを含むマルチタスク損失関数を含む、請求項１２に記載の方法。
【請求項１４】
前記個々のタスクをともに訓練することと関連付けられるタスクレベルのカリキュラムを決定することをさらに含む、請求項１３に記載の方法。
【請求項１５】
前記メタネットワークを訓練することは、訓練窓にわたるメタネットワーク損失関数の軌跡を監視することを含む、請求項１１に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本明細書に説明される主題の１つ以上の実装の詳細は、付随の図面および以下の説明に記載される。他の特徴、側面、および利点が、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
（項目１）
メタ学習を使用してマルチタスクニューラルネットワークを訓練するためのシステムであって、前記システムは、
非一過性記憶装置であって、
複数のタスクと関連付けられる出力を決定するように構成されるマルチタスクニューラルネットワークであって、前記複数のタスクの各タスクは、タスク損失関数と関連付けられ、マルチタスク損失関数と関連付けられる前記マルチタスクニューラルネットワークは、前記複数のタスクの各タスクに対するタスク加重および前記タスク損失関数の組み合わせを含む、マルチタスクニューラルネットワークと、
前記複数のタスクのうちのタスクの各々と関連付けられる前記タスク加重を出力するように構成されるメタネットワークであって、メタネットワーク損失関数と関連付けられる前記メタネットワークは、少なくとも部分的に前記マルチタスク損失関数に基づいた予期される損失を含む、メタネットワークと
を記憶するように構成される、非一過性記憶装置と、
前記非一過性記憶装置と通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記複数のタスクに関する複数の基準タスク出力と関連付けられる訓練データにアクセスすることと、
前記メタネットワーク損失関数を低減または最小限にし、前記複数のタスクのうちのタスクの各々と関連付けられる推定されるタスク加重を決定することと、
少なくとも部分的に前記推定されるタスク加重に基づいて、前記マルチタスク損失関数を低減または最小限にすることと、
訓練されたマルチタスクニューラルネットワークを出力することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２）
前記マルチタスクニューラルネットワークのタスクは、場面理解と関連付けられる、項目１に記載のシステム。
（項目３）
前記タスクは、意味論セグメント化、深度、または面法線のうちの少なくとも１つを含む、項目２に記載のシステム。
（項目４）
前記マルチタスク損失関数は、前記複数のタスク内のタスクの全てに関して、前記タスク加重×前記タスク損失関数の線形結合を含む、項目１に記載のシステム。
（項目５）
前記メタネットワークは、長・短期記憶（ＬＳＴＭ）モジュールを備える、項目１に記載のシステム。
（項目６）
前記メタネットワーク損失関数は、訓練窓に関する最適化軌跡にわたる前記マルチタスク損失関数の和を含む、項目１に記載のシステム。
（項目７）
前記メタネットワーク損失関数を低減または最小限にするために、前記ハードウェアプロセッサは、適応モーメント推定を使用して、時間を通して誤差逆伝搬法を適用するようにプログラムされる、項目１に記載のシステム。
（項目８）
前記マルチタスク損失関数を低減または最小限にするために、前記ハードウェアプロセッサは、確率勾配降下法を適用するようにプログラムされる、項目１に記載のシステム。
（項目９）
前記マルチタスクニューラルネットワークは、畳み込みニューラルネットワークを含む、項目１に記載のシステム。
（項目１０）
前記ハードウェアプロセッサはさらに、
各訓練時間において、前記マルチタスク損失関数および前記メタネットワーク損失関数の値を監視することと、
前記複数のタスクをともに訓練するためのタスクレベルのカリキュラムを決定することと
を行うようにプログラムされる、項目１に記載のシステム。
（項目１１）
メタ学習およびメタネットワークを使用し、子ニューラルネットワークを訓練するための方法であって、前記方法は、
子ニューラルネットワークに関する適応加重を出力するように構成されるメタネットワークにアクセスすることと、
少なくとも部分的に、前記子ニューラルネットワークに関する子損失関数に基づいて、前記メタネットワークを訓練することであって、前記子損失関数は、少なくとも部分的に前記適応加重に依存する、ことと、
前記メタネットワークを用いて、更新された適応加重を出力することと、
前記更新された適応加重を使用して、前記子ニューラルネットワークを訓練することと、
訓練された子ネットワークを出力することと
を含む、方法。
（項目１２）
前記メタネットワークおよび前記子ネットワークを訓練するための訓練データセットにアクセスすることをさらに含む、項目１１に記載の方法。
（項目１３）
前記メタネットワークは、再帰ニューラルネットワークを含む、項目１２に記載の方法。
（項目１４）
前記再帰ニューラルネットワークは、長・短期記憶（ＬＳＴＭ）モジュールを備える、項目１３に記載の方法。
（項目１５）
前記子ニューラルネットワークは、マルチタスクニューラルネットワークを含む、項目１３に記載の方法。
（項目１６）
前記マルチタスクニューラルネットワークは、個々のタスクと関連付けられる前記適応加重およびタスク損失関数の組み合わせを含むマルチタスク損失関数を含む、項目１５に記載の方法。
（項目１７）
前記個々のタスクをともに訓練することと関連付けられるタスクレベルのカリキュラムを決定することをさらに含む、項目１６に記載の方法。
（項目１８）
前記メタネットワークを訓練することは、訓練窓にわたるメタネットワーク損失関数の軌跡を監視することを含む、項目１３に記載の方法。
（項目１９）
頭部搭載型ディスプレイシステムであって、
非一過性メモリであって、
実行可能命令と、
複数のタスクと関連付けられる出力を決定するためのマルチタスクネットワークであって、前記マルチタスクネットワークは、
前記マルチタスクネットワークの複数のタスクに関する適応加重を出力するように構成されるメタネットワークと、
マルチタスクニューラルネットワークに関するマルチタスク損失関数であって、前記マルチタスク損失関数は、少なくとも部分的に前記メタネットワークによって学習される前記適応加重に依存する、マルチタスク損失関数と
を使用して訓練される、マルチタスクネットワークと
を記憶するように構成される、非一過性メモリと、
ディスプレイと、
センサと、
前記非一過性メモリおよび前記ディスプレイおよび前記センサと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
前記センサによって捕捉されるセンサデータを受信することと、
入力として前記センサデータを伴う前記マルチタスクネットワークを使用して、前記複数のタスクの各タスクに対してタスク出力を決定することと、
前記ディスプレイに、前記頭部搭載型ディスプレイシステムのユーザに、前記決定されたタスク出力に関連する情報を示させることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２０）
前記複数のタスクは、複数の知覚タスクを含む、項目１９に記載のシステム。
（項目２１）
前記複数の知覚タスクは、顔認識、視覚的検索、ジェスチャ識別、意味論セグメント化、深度推定、面法線推定、場面認識、オブジェクト検出、照明検出、同時位置特定およびマッピング、再位置特定、またはそれらの組み合わせを含む、項目２０に記載のシステム。
（項目２２）
前記センサは、慣性測定ユニット、外向きに向いたカメラ、深度感知カメラ、マイクロホン、眼結像カメラ、またはそれらの組み合わせを含む、項目２１に記載のシステム。
（項目２３）
ニューラルネットワークを訓練し、タスクのセットを学習するためのシステムであって、前記システムは、
非一過性メモリであって、
実行可能命令と、
複数のタスクを学習するための子ネットワークであって、前記子ネットワークは、前記複数のタスクに関する損失関数と関連付けられ、タスク加重は、前記複数のタスクの各タスクに割り当てられる、子ネットワークと
を記憶するように構成される、非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
前記子ネットワークの損失関数と関連付けられる第１の子ネットワーク損失を決定することと、
前記第１の子ネットワーク損失に基づいて、前記複数のタスクの各タスクに対して更新されたタスク加重を決定することと、
前記複数のタスクの各タスクに対して前記更新されたタスク加重に基づいて、更新された子ネットワークを決定することと、
前記更新された子ネットワークの損失関数と関連付けられる第２の子ネットワーク損失を決定することと、
少なくとも前記第２の子ネットワーク損失に基づいて、前記複数のタスクの各タスクに対して第２の更新されたタスク加重を決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２４）
前記ハードウェアプロセッサはさらに、前記第１および第２の子ネットワーク損失間の関係を学習するようにプログラムされる、項目２３に記載のシステム。
（項目２５）
前記ハードウェアプロセッサは、少なくとも前記第１および第２の子ネットワーク損失間の前記関係に基づいて、前記第２の更新されたタスク加重を決定するようにプログラムされる、項目２４に記載のシステム。
（項目２６）
前記複数のタスクは、少なくとも、意味論セグメント化と、深度予測と、面法線推定とを含む、項目２３に記載のシステム。
（項目２７）
前記複数のタスクは、回帰タスク、分類タスク、またはそれらの組み合わせを含む、項目２３に記載のシステム。
（項目２８）
前記分類タスクは、知覚、顔認識、視覚的検索、ジェスチャ認識、意味論セグメント化、オブジェクト検出、部屋レイアウト推定、直方体検出、照明検出、同時位置特定およびマッピング、再位置特定、発話処理、発話認識、自然言語処理、または組み合わせを含む、項目２７に記載のシステム。