(57)【要約】      （修正有）【課題】会話環境を介したワンショット概念学習によるインタラクティブ言語習得のためのシステムと方法を提供する。【解決手段】ステップ２０５において、このゲームにおけるセッションをインタラクション期間中にランダムにインスタンス化する。テストセッションは独立したデータセットを使用して構築され、データセットは、訓練中にこれまでになかった言語とワンショット学習能力を評価する。ステップ２１０において、セッションにおいて、教師はオブジェクトをランダムに選択し、一つのインタラクション方式をランダムに選択することで、そのオブジェクトについて学習者とインタラクションを行う。ステップ２１５において、学習者は教師によって選択されたインタラクション方式に基いてそれに応じて教師とインタラクションを行う。ステップ２２０において、最大ステップ数に達した時、学習者が正しくインタラクションを行うとセッションは終了する。【選択図】図２
2019185748.tif 000002
【特許請求の範囲】
【請求項１】
複数の時間ステップを含むセッションにおいてインタラクティブ言語学習に基づくコンピュータ実施方法であって、
時間ステップで、視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
視覚エンコーダを使用して前記視覚画像を視覚的特徴表現に符号化するステップと、
注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
前記第１のニューラルネットワークを介して前記視覚的特徴表現と前記自然言語入力表現とを、視覚モダリティとセンテンスモダリティのペアとしてメモリに記憶するステップと、
前記状態ベクトルを剰余構造化ネットワークに通過させて制御ベクトルを生成し、状態入力として第２のニューラルネットワークの挙動を変調するステップと、
少なくとも前記制御ベクトルを使用して、学習された注意及びコンテンツの重要性を使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で、適応的に選択するステップであって、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成するステップと、を含む、
コンピュータ実施方法。
【請求項２】
前記第２のニューラルネットワークの前記時間ステップにおける最終状態を、次の時間ステップにおける前記第１のニューラルネットワークへの入力として使用するステップを更に含む、
請求項１に記載のコンピュータ実施方法。
【請求項３】
前記応答が正しい応答である場合、又はインタラクションステップの最大数に達した場合には、前記セッションを終了する、
請求項１に記載のコンピュータ実施方法。
【請求項４】
前記剰余構造化ネットワークは、学習可能なコントローラを有する恒等写像拡張ネットワークである、
請求項１に記載のコンピュータ実施方法。
【請求項５】
前記学習可能なコントローラは、前記状態ベクトルを受信して出力を生成し、前記制御ベクトルは、前記コントローラの出力と前記状態ベクトルとを組み合わせることで得られる、
請求項４に記載のコンピュータ実施方法。
【請求項６】
前記自然言語入力、前記視覚入力、及び前記生成された応答に応じて、教師により、フィードバック及び報酬を生成することを更に含む、
請求項１に記載のコンピュータ実施方法。
【請求項７】
前記報酬は、スカラー値フィードバックであり、前記応答の正確さに応じて、正の値で励ましとして、負の値で反対とする、
請求項６に記載のコンピュータ実施方法。
【請求項８】
強化コスト関数によって表されるように予想される将来の報酬を最大化することにより、前記報酬を利用して応答を生成する際の行動ポリシーを調整する、
請求項６に記載のコンピュータ実施方法。
【請求項９】
前記第１のニューラルネットワークにおいて模倣コスト関数によって前記自然言語入力を予測する際の誤差を最小化し、前記第１のニューラルネットワークと前記第２のニューラルネットワークとの間にパラメータを共有することにより、前記行動ポリシーを同時に最適化する、
請求項８に記載のコンピュータ実施方法。
【請求項１０】
メモリ書き込み動作では、コンテンツ重要性ゲートは前記自然言語入力の関数として算出されて、前記自然言語入力のコンテンツを前記メモリに書き込むか否かを適応的に制御する、
請求項１に記載のコンピュータ実施方法。
【請求項１１】
訓練されたエージェントが習得した言語能力と発達したワンショット学習能力とを使用するためのコンピュータ実施方法であって、
視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
視覚エンコーダを使用して前記視覚画像を視覚キーに符号化するステップと、
注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
前記状態ベクトルに基づいて制御ベクトルを生成して第２のニューラルネットワークの挙動を変調するステップと、
少なくとも部分的に前記制御ベクトルによって制御されるフュージョンゲートを使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で適応的に選択するステップであって、前記視覚キーを使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成し、前記メモリには、少なくとも一つの視覚モダリティとセンテンスモダリティのペアが記憶されており、視覚モダリティとセンテンスモダリティのペアのそれぞれは、記憶された視覚的特徴表現と記憶された自然言語入力表現とを含むステップと、を含む、
コンピュータ実施方法。
【請求項１２】
前記少なくとも一つの視覚モダリティとセンテンスモダリティのペアは、前記第１のニューラルネットワークを介して、過去の自然言語入力及び関連する視覚入力を使用して、学習されたコンテンツ重要性に基づいて記憶される、
請求項１１に記載のコンピュータ実施方法。
【請求項１３】
記憶された自然言語入力表現は、行列及び正規化された注意ベクトルに基づいて得られ、ここで、前記行列の列は、関連する過去の自然言語入力からのすべての単語の埋め込みベクトルであり、前記正規化された注意ベクトルは、前記関連する過去の自然言語入力における各単語の相対的重要性を示す、
請求項１２に記載のコンピュータ実施方法。
【請求項１４】
前記第２のニューラルネットワークによって指示される提案された応答部分は、単語レベル注意とコンテンツ重要性を介して前記自然言語入力から共同で抽出される、
請求項１１に記載のコンピュータ実施方法。
【請求項１５】
クロスモダリティ検索により前記メモリから前記自然言語入力表現を検索し、前記クロスモダリティ検索は、前記視覚キーを使用してソフトリーディングウェイトを取得することで実施される、
請求項１１に記載のコンピュータ実施方法。
【請求項１６】
前記ソフトリーディングウェイトは、前記視覚キーと記憶された視覚的特徴表現とのコサイン類似度を算出することで得られ、得られたソフトリーディングウェイトと前記記憶された自然言語入力表現との積を実施することで、前記自然言語入力表現の少なくとも一部を、前記視覚画像に関連するラベル単語に対応する埋め込みベクトルとして検索する、
請求項１５に記載のコンピュータ実施方法。
【請求項１７】
ワンショット視覚概念学習によるインタラクティブ言語習得のためのシステムであって、
視覚画像を視覚的特徴表現に符号化するための視覚エンコーダと、
少なくとも、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力と、過去の情報を用いた先の状態ベクトルとに基づいて、状態ベクトルを生成するための第１のニューラルネットワークと、
視覚的特徴表現と自然言語入力表現とを含む、視覚モダリティとセンテンスモダリティのペアを少なくとも一つ記憶するメモリと、
前記状態ベクトルを受信して制御ベクトルを生成する剰余構造化ネットワークと、
挙動変調のための前記制御ベクトルを受信する第２のニューラルネットワークであって、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を使用して指示される提案された応答部分との間で適応的に選択し、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成する第２のニューラルネットワークと、を備える、
システム。
【請求項１８】
前記第１のニューラルネットワークと前記第２のニューラルネットワークは、いずれもリカレントニューラルネットワークであり、且つパラメータを共有する、
請求項１７に記載のシステム。
【請求項１９】
前記剰余構造化ネットワークは、前記状態ベクトルを受信し出力を生成するための学習可能なコントローラを含み、前記制御ベクトルは、前記コントローラの出力を前記状態ベクトルに結合することで得られる、
請求項１７に記載のシステム。
【請求項２０】
前記第２のニューラルネットワークは、少なくとも部分的に学習した注意とコンテンツ重要性とに基づいて、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された提案された応答部分との間で、適応的に切り替えるための一つ又は複数のフュージョンゲートを含む、
請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、改善されたコンピュータ性能、特徴、及び用途を提供可能なコンピュータ学習のためのシステム並びに方法に関する。
【背景技術】
【０００２】
言語は、人間にとって最も自然なコミュニケーション形態の一つであり、通常、人間の知能の基本と見なされる。従って、知的エージェントが人間とコミュニケーションをとるために言語を使うことができることは重要である。ディープニューラルネットワークを用いた教師あり訓練は、言語学習の進歩を促進することにつながったが、主に、訓練データの統計データを捕らえること、新しいシナリオへの適応性の欠如、及び非効率的な再訓練や壊滅的な忘却なしに新しい知識を習得するための柔軟性という問題がある。また、ディープニューラルネットワークモデルの教師あり訓練は多数の訓練サンプルを必要とするが、多くの興味深い用途は少量のデータから迅速に学習する必要があり、それは教師あり設定に対して更に大きな挑戦をもたらす。
【０００３】
従って、機械学習のためのコンピューティングデバイスの機能を改善するインタラクティブ設定での概念学習を伴うインタラクティブ言語習得のためのシステム及び方法が必要とされる。
【発明の概要】
【０００４】
【０００５】
【０００６】
【図面の簡単な説明】
【０００７】
本開示の実施形態を参考して、その例としては図面に示される。これらの図は、例示的なものであり、限定するものではない。本開示は、これらの実施形態のコンテクストにおいて説明されるが、本開示の範囲はこれらの特定実施形態に制限されないことを理解すべきである。図中の項目は縮尺通りではない可能性がある。
【０００８】
【図１】本明細書の実施形態に係る、インタラクティブ言語及びワンショット概念学習のための例示的会話ゲームを示す。
【０００９】
【図２】本明細書の実施形態に係る、インタラクティブ言語及びワンショット概念学習のためのプロセスを示す。
【００１０】
【図３】本明細書の実施形態に係る、インタラクティブ言語及びワンショット概念学習を実施するためのネットワーク構造を示す。
【００１１】
【図４】本明細書の実施形態に係る、ネットワーク構造でワンショット概念学習を実施するプロセスを示す。
【００１２】
【図５】本明細書の実施形態に係る、インタラクティブ言語及びワンショット概念学習を実施するためのインタープリタＲＮＮ及びスピーカＲＮＮを示す。
【００１３】
【図６】本明細書の実施形態に係る、記憶拡張ニューラルネットワークによる模倣方法を示す。
【００１４】
【図７】本明細書の実施形態に係る、コンテクスト適応行動シェーピングのための方法を示す。
【００１５】
【図８】本明細書の実施形態に係る、画像の変化がない単語レベルのタスクに用いられる訓練中の報酬の進化を図示的に示す。
【００１６】
【図９】本明細書の実施形態に係る、画像の変化がない単語レベルのタスクのテスト性能を示す。
【００１７】
【図１０】本明細書の実施形態に係る、異なるテスト画像変化率でフルーツデータセットにおける単語レベルのタスクに対するテスト成功率及び報酬を示す。
【００１８】
【図１１】本明細書の実施形態に係る、新規クラスに対する提案方法の例示的な結果をグラフで示す。
【００１９】
【図１２】本明細書の実施形態に係る、画像の変化があるセンテンスレベルのタスクのテスト性能を示す。
【００２０】
【図１３Ａ】本明細書の実施形態に係る、異なる方法による例示的対話を示す。
【図１３Ｂ】本明細書の実施形態に係る、異なる方法による例示的対話を示す。
【図１３Ｃ】本明細書の実施形態に係る、異なる方法による例示的対話を示す。
【図１３Ｄ】本明細書の実施形態に係る、異なる方法による例示的対話を示す。
【００２１】
【図１４】本明細書の実施形態に係る、コンピューティングデバイス/情報処理システムの簡略化したブロック図を示す。
【発明を実施するための形態】
【００２２】
以下、説明を目的として、本開示を理解するために詳細を説明する。なお、明らかなように、当業者にとっては、これらの詳細がなくても本開示を実施できる。また、当業者であれば、後述する本開示の実施形態は、例えば、プロセス、装置、システム、機器又は方法などの様々な方式で有形のコンピュータ可読媒体で実施できると理解すべきである。
【００２３】
図示する構成要素又はモジュールは本開示の例示的な実施形態についての説明であり、本開示を明瞭にするためのものである。理解すべきなのは、本明細書の全体にわたって、構成要素がサブユニットを含む単独な機能ユニットとして記述されてもよいが、当業者であれば、種々の構成要素又はその一部が単独な構成要素に区画されてもよく、例えば単一のシステム又は構成要素の内部に集積されてもよいと認識すべきである。注意すべきなのは、本明細書で論述される機能又は動作は構成要素として実施されてもよい。構成要素は、ソフトウェア、ハードウェア、又はそれらの組み合わせで実施されてもよい。
【００２４】
なお、図中の構成要素又はシステム間の接続は、直接接続に限定されることを意図していない。逆に、これらの構成要素の間のデータは中間構成要素によって変更されたり、再フォーマットされたり、又は他の方式で変更されたりしてもよい。また、付加的接続又はより少ない接続を利用してもよい。また、注意すべきなのは、「結合」、「接続」又は「通信可能に結合」という用語が、直接接続、一つ又は複数の中間機器を介した間接接続及び無線接続を含むと理解すべきである。
【００２５】
本明細書において、「一実施形態」、「好ましい実施形態」、「実施形態」又は「複数の実施形態」とは、当該実施形態を参照しながら説明する特定の特徴、構造、特性又は機能が本開示の少なくとも一実施形態に含まれてもよく、一以上の実施形態に含まれてもよいことを意味する。また、本明細書において複数の箇所に記載された上記用語は、必ずしも同一の実施形態又は複数の実施形態を指すものではない。
【００２６】
本明細書の様々な箇所において、特定の用語の使用は例示のためのものであり、限定するものではない。サービス、機能又はリソースは単一のサービス、機能又はリソースに限定されず、これらの用語の使用は、分散又は統合可能な関連サービス、機能又はリソースのグループ化を指すことができる。
【００２７】
「含む」、「含まれる」、「備える」、「備えられる」という用語は、オープンな用語と理解されるべきであり、その後に挙げられるいかなる内容はいずれも例示的なものであり、列挙された項目に限定されることを意味しない。本明細書で用いられる見出しはいずれも組織的な目的に過ぎなく、明細書又は特許請求の範囲を限定するものではないと理解されるべきである。本特許文献で言及される全ての参照文献は、その全文を引用により本明細書に組み込まれる。
【００２８】
更に、（１）いくつかのステップは選択的に実施されてもよいこと、（２）ステップは本明細書で説明される特定の順番に制限されなくてもよいこと、（３）一部のステップは異なる順番で実行されてもよいこと、及び（４）一部のステップは同時に実行されてもよいことを、当業者が理解すべきである。
［Ａ．はじめに］
【００２９】
言語は、人間にとって最も自然なコミュニケーション形態の一つであり、通常、人間の知能の基本と見なされる。従って、知的エージェントが人間とコミュニケーションをとるために言語を使うことができることは重要である。ディープニューラルネットワークを用いた教師あり訓練は、言語学習の進歩を促進することにつながったが、主に、訓練データの統計データを捕らえること、新しいシナリオへの適応性の欠如、及び非効率的な再訓練又は壊滅的な忘却なしに新しい知識を習得するための柔軟性という問題がある。また、ディープニューラルネットワークモデルの教師あり訓練は多数の訓練サンプルを必要とするが、多くの興味深い用途は少量のデータから迅速に学習する必要があり、それは教師あり設定に対して更に大きな挑戦をもたらす。
【００３０】
それに対して、人間による学習方式は教師あり設置とは大きく異なる。まずは、人間は世界に行動を起こし、その行動の結果から学習する。移動などの機械的な行動の場合、結果は主に幾何学的及び機械的原理に従い、言語の場合、人間は話すことで行動し、結果は通常に会話相手（つまり教師）からの口頭及びその他の行動フィードバック（例えば、うなずき）の形の応答である。これらのタイプのフィードバックには、通常、その後の会話で言語スキルを向上させる情報信号が含まれ、人間の言語習得プロセスにおいて重要な役割を果たす。次に、人間は、少量のデータから新しい概念を習得する優れた能力を示している。ほんの一例でさえ、子供は推論をすることができ、概念間で合理的な境界を明確的にすることができるので、ワンショット学習の能力を実証した。
【００３１】
人間の言語習得プロセス及びワンショット学習能力は、いずれも人間の知能の印象的な現れであり、そして、計算言語学習のための新規な設置やアルゴリズムを設計するために示唆を与える。一つ又は複数の実施形態において、会話は、言語学習のインタラクティブ環境及び新しい知識を習得するための自然なインターフェースとして用いられる。本明細書にワンショット概念学習能力を用いたインタラクティブ言語習得方法を開示する。これらの方法は、エージェントが基礎となる言語をゼロから学習し、新規オブジェクトに関する情報を積極的に探して記憶するという転換可能なスキルを習得することを可能にし、ワンショット学習能力を開発し、それらは、純粋に教師との会話を通してインタラクションを行う。
［Ｂ．いくつかの関連作業］
【００３２】
教師あり言語学習。ディープニューラルネットワークによる言語学習は、機械翻訳、対話生成、画像キャプション及び視覚的質問応答を含む多くの応用分野で大きな成功を収める。訓練を行うために、多くのラベル付きデータが必要であり、収集するために巨大な努力が必要である。また、このような設置は基本的に訓練データの統計データを捕らえ、言語学習のインタラクティブ性質を尊重しないため、再訓練や忘却なしに新しい知識を習得する柔軟性が低くなる。
【００３３】
シーケンス強化学習。最近のいくつかの研究では、強化学習（ＲＬ）を使用して、特定の測定基準に従って予め訓練された言語モデルの性能を調整した。この特許文書の研究は、自然言語の行動空間におけるＲＬにも関連しており、純粋なテキスト対話による言語学習を探求する動機を持っている。しかしながら、上記のいくつかの研究において、候補シーケンス集合が提供され、そして、行動はその集合から一つを選択することである。ここでの主な焦点の一つはゼロから言語を学習することにあり、エージェントは、簡単に提供された候補集合から一つを選択するのではなく、シーケンス行動を生成することを学習する必要がある。
【００３４】
コミュニケーションと言語の出現。最近の研究では、コミュニケーションと言葉の発明を学習することについて検討された。出現した言語は、人間が後処理により解釈される必要がある。しかし、ここでの実施形態は、理解及び生成という二重の観点から言語学習を達成することを要旨としており、後処理なしでエージェントの話す行動を容易に理解する。言語学習に関するいくつかの研究は、推測者-回答者設定を使用し、推測者が回答者に質問して追加の情報を収集することによって最終目標（例えば、分類）を達成しようと試みる。これらの研究は、推測者が最終目標を達成するのを助けるために質問される問題を最適化することを試みるが、ここでの一つ又は複数の焦点は、転換可能な会話及びワンショット能力である。
【００３５】
ワンショット学習とアクティブ学習。最近のいくつかの研究では、ワンショット学習については検討された。記憶拡張ネットワークは、ワンショット学習のために、外部メモリにグランドトゥルースクラスラベルと混合された視覚的表現を記憶する。クラスラベルは画像の表示に続いて常に提供される。従って、エージェントは受動的な方式で教師から情報を受け取る。ある研究は、外部メモリがないＶａｎｉｌｌａバニラリカレントニューラルネットワーク（ＲＮＮ）を使用して、能動学習に向けた努力を展示した。どちらの研究も画像分類のみに焦点を当てて、これは、クラスラベルが暗記のために直接提供されていることを意味する。それに対して、本開示は、会話型インタラクションによる言語及びワンショット学習を目標としており、そして、学習者は、暗記のために教師のセンテンスから重要な情報を抽出することを学習する必要がある。
［Ｃ．会話ゲームの実施形態］
【００３６】
一つ又は複数の実施形態では、認知科学から幼児の言語発展を研究する実験に啓発された会話ゲームが構築される。図１に、本明細書の実施形態による、インタラクティブ言語及びワンショット概念学習のための例示的会話ゲームを示している。会話ゲーム１００は、エージェント（以下、学習者と同義の用語）が言語を習得し、ワンショット学習能力を発達させるための環境を提供する。ここでのワンショット学習は、セッション中に、行為者にそれ以上の訓練が現れていないことを意味し、そして、図１に示すように、教師によって一度だけ教えられた後、これまでに見たことのないクラスの新規画像についての質問を教師に正しく答えることが期待される。会話ゲーム１００は訓練期間１１０と、訓練期間１１０に続くテスト期間１２０を含む。訓練期間１１０及び/又はテスト期間１２０は一つ又は複数のセッションを含んでもよい。訓練セッションにおいて、教師は質問をしたり、学習者の質問に答えたり、発言をしたり、あるいは何も言わないことがある。教師は、学習者の応答に応じて、励まし（反対）として報酬のフィードバックを提供する。学習者は、インタープリタ１３２及びスピーカ１３４を介して教師のセンテンスを解釈することと、応答を生成することとを交互に繰り返す。図１に示すように、学習者は、最初にほとんど意味のあることを言うことができない。一つ又は複数の訓練セッションを通じて、インタラクティブのために意味のある応答を生み出すことができる。訓練後のテスト期間１２０において、（学習者が訓練中にこれまで見たことのない新規クラスである）チェリーの画像に直面したとき、学習者はそれについて質問（「それは何ですか」）することができ、そして、一度だけ教えられた後、チェリーの別の例のために正しい文（これはチェリーです）を生成する。
【００３７】
このゲームで成功するためには、エージェントは、必ず、１）センテンスを生成することで話すことと、２）１度だけの接触で有用な情報を抽出して記憶し、その後の会話でその情報を使用することと、３）コンテクストとそれ自身の知識に応じて適応的に振る舞う（例えば、未知のオブジェクトについての質問、既知のものについての質問への回答）こととを学習する必要があり、それらは、いずれも教師とのインタラクションを通じて達成される。これにより、開示された会話ゲームは、他のゲームとは区別され、他のゲームでは、エージェントが話すことができないか、又は、自分でセンテンスを生成することで「話す」ことのではなく、提供された集合から候補を選択するか、又は、ゲームは遅進学習に焦点を当てて、ワンショット学習には及ばない。
【００３８】
図２に、本明細書の実施形態による、インタラクティブ言語及びワンショット概念学習のためのプロセスを示している。ステップ２０５において、セッション（Ｓｌ）でインタラクション期間中にこのゲームにおいてランダムにインスタンス化される。テストセッションは独立したデータセットを使用して構築され、当該データセットは、訓練中にこれまでになかった、言語とワンショット学習能力を評価するための概念を持っている。
【００３９】
ステップ２１０において、セッションにおいて、教師はオブジェクトをランダムに選択し、以下の中から一つのインタラクション方式をランダムに選択することで、そのオブジェクトについて学習者とインタラクションを行う。１）質問をすること（例えば、「これは何ですか」）、２）何も言わないこと（すなわち、「」）、又は３）発言をすること（例えば、「これはサルです」）である。
【００４０】
ステップ２１５において、学習者は、教師によって選択されたインタラクション方式に基づいてそれに応じて教師とインタラクションを行う。たとえば、教師が質問をしたり、何も言わなかったりした場合、ｉ）学習者が質問をすると、教師は質問されたオブジェクトについての発言（例えば「それはカエルです」）を提供するとともに、質問の報酬（例えば＋０．１）を与え、ｉｉ）学習者が何も言わないと、教師は依然として答え（例えば「これは象です」）を提供するが、学習者の沈黙に反対するために誤った回答報酬（例えば-１）を与え、ｉｉｉ）学習者からの他のすべての正しくない応答に対して、教師は誤った回答報酬を提供し、次のランダムオブジェクトへ移動してインタラクションを行う。 教師が発言を生成するとき、正しい発言が生成された場合には学習者は報酬を受け取らず、そうでなければ誤った回答の報酬が与えられる。
【００４１】
ステップ２２０において、学習者が正しくインタラクションを行うと、例えば教師の質問に正しく答えた場合、教師が何も言わないときに正しい発言を生成した場合（正解の報酬を受け取ること、＋１）、又は最大インタラクションのステップ数に達した場合に、セッションは終了する。
【００４２】
学習者はセッションの全体にわたって正しく振る舞うならば成功する：新規オブジェクトについて質問すること、質問されたときに答えを生成すること、及び教師がセッション内で教えられたオブジェクトについて何も言わないときに発言することである。そうでなければそれは失敗である。
［Ｄ．共同模倣及び強化によるインタラクティブ言語習得の実施形態］
【００４３】
動機。教師と会話し、教師からのフィードバックに応じて改善することによって、会話と、ワンショット学習能力の発達を学習することを目的とする。ここで、一つ又は複数の実施形態は、共同模倣と強化方法とを使用してこの目的を達成する。模倣は、エージェントが合理的センテンスを生成する基本的な能力を発達させるのに寄与する。学習は教師の会話中の行動を観察することで行われるので、エージェントは、教師と会話しているエキスパートエージェントを模倣するのではなく、本質的に第三者の観点から教師を模倣する。会話中、エージェントは、グラウンドトゥルース答えを明確にラベル付けすることなくセンテンスと画像を認識し、そして、生の知覚を理解し、有用な情報を抽出し、後で教師の質問に対する答えを生成するときに使用するために記憶する。純粋に教師を模倣することは魅力的であるが、このような方法で訓練されたエージェントは反響行動、すなわち、模擬行動のみを発達させる。教師からの確認的なフィードバックを強化し、行動ポリシーを調整することで適応的に模擬を超えて会話することを学習する。それによって学習者が習得した話し能力を使用し、報酬のフィードバックに応じて適応させることを可能にする。これは、赤ちゃんの言語学習プロセスに関するいくつかの見解に類似し、即ち、赤ちゃんが親との試行錯誤によって習得した話しスキルを使用し、話し行動の結果に応じて改善する。赤ちゃんが聞く能力がないと話す能力を十分に発揮できず、訓練されたオウムと有意義な会話をするのは難しいという事実は、言語学習における模倣と強化の両方の重要性を意味する。
【００４４】
公式化。実施形態において、エージェントの応答は、可能なシーケンスの確率分布からのサンプルとしてモデル化することができる。具体的に、一つのセッションについて、視覚入力ｖｔと会話履歴Ｈｔ＝｛ｗ１，ａ１，…，ｗｔ｝を与え、エージェントの応答ａｔは話し行動の分布ａｔ〜ｐθｓ（ａ｜Ｈｔ，ｖｔ）からサンプリングすることで生成されてもよい。エージェントは、発話ａｔを出力することによって教師とインタラクションを行い、次のステップで教師からのフィードバックを受け取り、なお、ｗｔ＋１センテンスを口頭のフィードバックとし、ｒｔ＋１を報酬のフィードバックとする（ａｔによると、セッションＣで説明されたように正の値を奨励とし、負の値を反対とする）。目標の中心はｐθｓ（・）の学習である。この問題は、コスト関数Ｌθ（これは模倣コスト関数ＬθＩと強化コスト関数ＬθＲとの合計である）の最小化として公式化される。以下のように示す。
【数１】
2019185748.tif 000003
（１）
【００４５】
式中、ＥＷ（・）は、教師からのすべてのセンテンスＷにおける予想値であり、γは報酬の割引係数であり、且つ［γ］ｔはγの羃乗を示す。模倣項は予測性分布ｐθＩ（ｗｔ｜Ｈｔ−１，ａｔ）を学習する場合に、それらの間のパラメータ共有を通じてｐθｓに寄与する。
【００４６】
アーキテクチャ。一つ又は複数の実施形態において、図３に示すように、学習者は、４つの主な構成要素、即ち、外部メモリ３１０、インタープリタ３２０、スピーカ３３０、コントローラ３４０、及び視覚エンコーダ３５０を含む。外部メモリ３１０は、情報を自由に記憶及び検索することができ、開示されたワンショット学習のためのネットワークの構成要素となる。インタープリタ３２０は、教師のセンテンスを解釈し、知覚信号から情報を抽出し、その情報を外部メモリに記憶することを担当する。スピーカ３３０は、外部メモリへの読み取りアクセスによりセンテンス応答を生成することを担当する。応答は、外部メモリに記憶されている情報を利用して情報を尋ねる質問、又は教師の質問への回答の発言であってもよい。コントローラ３４０は、スピーカの挙動を調節してコンテクスト（例えば、学習者の知識状態）に応じて応答を生成する。視覚エンコーダ３５０は、入力画像を取得して視覚的特徴表現を出力する。一つ又は複数の実施形態において、視覚的特徴表現は、視覚的特徴ベクトル、視覚的特徴行列又は他の適用可能なフォーマットである。いくつかの実施形態において、それは畳み込みニューラルネットワーク（ＣＮＮ）、続いて全結合（ＦＣ）層として実施される。新規画像入力の場合、新規画像から算出された視覚的特徴ベクトルｋｖは、センテンスコンテンツ抽出器により教師のセンテンス入力から抽出されたセンテンスコンテンツｃｓ（センテンスモダリティ）とともに、視覚コンテンツｃｖ（視覚モダリティ）として記憶され、注意機構は視覚モダリティと関連付けられ、＜ｃｖ，ｃｓ＞ペアとして外部メモリに記憶されている。一つ又は複数の実施形態において、センテンスコンテンツｃｓは単語埋め込みベクトルの混合物である。いくつかの実施形態において、センテンス入力を有する画像入力について、コンテンツ重要性ゲートｇｍｅｍは、コンテンツｃ（ｃｖ，ｃｓ）をメモリに書き込むべきか否かを適応的に制御するために用いられる。メモリ書き込み動作のさらなる詳細は、セクションＨ.２及び式（５）〜（７）を参照することができる。図３に示すセンテンスコンテンツ抽出器については、便宜上、＜ｃｖ，ｃｓ＞をマルチモーダルペアとしてメモリ３１０に記憶するプロセスを示すものであることを理解されたい。一つ又は複数の実施形態において、センテンスコンテンツ抽出器はインタープリタの一部である。
【００４７】
図４は、本明細書の実施形態による、ネットワーク構造によるワンショット概念学習の実施プロセスを示している。ステップ４０５において、時間ステップｔで、インタープリタはインタープリタＲＮＮ（図５に図示的に示され、以下で第１のＲＮＮともいう）を使用して教師からのゼロ以上の単語及び過去の会話情報を含む自然言語入力ｗｔを状態ベクトルｈＩｔに符号化する。いくつかの実施形態において、自然言語入力は自然言語センテンスである。「センテンス」とは、正式な意味で適切、完全なセンテンスを形成するか否かにかかわらず、ゼロ個以上の単語の集合を意味すると理解されるべきである。ここで使用される「センテンス」は、正しい大文字使用及び／又は句読点を必要とすることもない。ゼロ単語は、教師が画像を提示して何も言わないときの状況に対応する。図５において、記号<ｂｏｓ>はセンテンスの始まり（すなわち自然言語句の始まり）を示し、記号<ｅｏｓ>はセンテンスの終わり（すなわち自然言語句の終わり）を示す。視覚知覚も符号化され、外部メモリから情報を検索するキーとして用いられる。実施形態において、インタープリタＲＮＮは、知覚入力から抽出された重要性重み付け情報で外部メモリを更新しようとする。ステップ４１０において、ｈＩｔを、制御ベクトルｃｔを生成するための学習可能なコントローラｆ（・）で拡張された恒等写像である剰余構造ネットワークを通過させる。実施形態において、制御ベクトルｃｔはコントローラの出力をコントローラの入力（ｈＩｔ）に組み合わせる（例えば、加算する）ことによって得られる。ステップ４１５において、制御ベクトルｃｔは、応答ａｔを生成するために、スピーカＲＮＮ（図５に図示的に示され、以下、第２のＲＮＮともいう）の初期状態として用いられる。ステップ４２０において、スピーカＲＮＮの最終状態ｈｌａｓｔｔは、次の時間ステップにおけるインタープリタＲＮＮの初期状態として使用される。
【００４８】
図５は、本明細書の実施形態による、インタラクティブ言語及びワンショット概念学習を実施するためのインタープリタＲＮＮ（又は第１のＲＮＮ）５１０とスピーカＲＮＮ（又は第２のＲＮＮ）５２０とを図示的に示している。実施形態において、インタープリタＲＮＮ５１０とスピーカＲＮＮ５２０とはパラメータを共有し、且つ、いずれも動作のための複数のフュージョンゲートを含む。図５に示すように、インタープリタＲＮＮ５１０は、時間ステップｔ−１のＲＮＮの最後の状態における入力（ｈｌａｓｔｔ−１）と、インタープリタにおいて時間ステップｔで外部メモリのセンテンスモダリティ下でのセンテンスコンテンツから読み出されたベクトル（ｒＩｔ）とを受信する。スピーカＲＮＮ５２０におけるフュージョンゲートは、スピーカにおける時間ステップｔでの制御ベクトルｃｔの入力と、外部メモリのセンテンスモダリティ下でのセンテンスコンテンツから読み出されたベクトル（ｒｓｔ）とを受信する。式（４）と（１４）において、メモリ読み取りが定義される。
［１．反響行動のための記憶拡張ニューラルネットワークによる模倣の実施形態］
【００４９】
教師の話し方は、エージェントに模倣の情報源を提供する。例えば、センテンスを構成する文法は、エージェントが教師のセンテンスから学習できる有用なスキルであり、インタープリタとスピーカの両方に役立つ可能性がある。模倣は、インタープリタを使用して教師の将来のセンテンスを予測し、及びインタープリタとスピーカの間のパラメータを共有することにより達成される。
【００５０】
図６に、本開示の実施形態による、記憶拡張ニューラルネットワークを利用して模倣する方法を示している。予測のために、画像ｖｔ、及び教師と学習者の両方からの前のセンテンス｛ｗ１，ａ１，…，ｗｔ−１，ａｔ−１｝を条件とする次のセンテンスｗｔの確率は、次のように表すことができる。
【００５１】
【数２】
2019185748.tif 000004
（２）
【００５２】
式中ｈｌａｓｔｔ−１、は、時間ステップｔ−１でのＲＮＮの最後状態であり、｛Ｈｔ−１，ａｔ−１｝のサマリーとし（図３参照）、そして、ｉはセンテンスにおける単語にインデックスをつける。
【００５３】
一つ又は複数の実施形態において、ｔ番目のセンテンスのｉ番目の単語の確率はＲＮＮを用いてモデル化され、なお、ｔまでのセンテンスとｔ番目のセンテンスにおけるｉまでの単語は、固定長の状態ベクトルｈｉｔ＝ＲＮＮ（ｈｉ−１ｔ，ｗｉｔ）によって捕らえられる（６０５）。一つ又は複数の実施形態において、学習され外部メモリに記憶された知識を取り入れるために、ｉ）センテンスの構文構造を捕らえるためのＲＮＮの状態からの次の単語の予測分布ｐθＩと、ｉｉ）先に学習した知識を代表するための外部メモリからの情報と、に基づいてフュージョンゲートｇにより次の単語を適応的に生成する（６１０）。
【００５４】
【数３】
2019185748.tif 000005
（３）
【００５５】
式中、ｐｈ＝softｍａｘ（ＥＴｆＭＬＰ（ｈｉｔ））、且つｐｒ＝softｍａｘ（ＥＴｒ）。Ｅ∈Ｒｄ×ｋは、単語埋め込みテーブルであり、ここで、ｄは埋め込み次元であり、ｋは語彙サイズである。ｒは視覚キーを使用して外部メモリから読み取られたベクトルであり、次のセッションで詳述される。ｆＭＬＰ（・）は、ＲＮＮ状態空間と単語埋め込み空間との間の語彙ギャップをブリッジ接続するための多層の多層パーセプトロン（ＭＬＰ）である。実施形態において、フュージョンゲートｇはｇ＝ｆ（ｈｉｔ，ｃ）として算出され、式中、ｃは信頼度スコアｃ＝ｍａｘ（ＥＴｒ）であり、良好に学習する概念は、設計上、高いスコアを持つべきである（Ｇセッション）。ステップ６１５において、学習者又はエージェントは、教師センテンスの予測誤差を最小化することで模倣する。
【００５６】
マルチモダリティ関連記憶の実施形態。一つ又は複数の実施形態において、マルチモダリティメモリを使用してそれぞれのモダリティの視覚（ｖ）と、センテンス（ｓ）の特徴を記憶するとともに、それらの間の対応関係を保留する。シングルモダリティと比較して、このような設計下では、情報構成はより構造化され、且つクロスモダリティ検索は簡単である。現在の視覚画像から算出された視覚キーＫｖ（Ｇセッション参照）が与えられた場合に、メモリから検索され得る対応するベクトル又はセンテンスの特徴は以下の通りである：
【００５７】
【数４】
2019185748.tif 000006
（４）
【００５８】
一つ又は複数の実施形態において、ＭｖとＭｓは、視覚とセンテンスモダリティに用いられる同じ数のスロット（列）を有するメモリである。メモリ読み取りは、ｒ＝ＭＳαとして実施されてもよく、式中、αは、ＫｖとＭｖのスロットとの間のコサイン類似度を算出することで視覚モダリティを介して取得されるソフトリーディングウェイトである。
【００５９】
メモリ書き込みは、ニューラルチューリングマシンと類似可能であり、コンテンツ重要性ゲートｇｍｅｍを有してコンテンツｃをメモリに書き込むべきか否かを適応的に制御する：
【００６０】
【数５】
2019185748.tif 000007
（５）
【００６１】
視覚モダリティについてｃｖ≡ｋｖである。センテンスモダリティについて、教師によって生成されたセンテンスからｃｓを選択的に抽出する必要がある。これは、一つ又は複数の実施形態において、注意機構を使用してｃｓ＝Ｗγに従って達成され、式中、Ｗは行列を示し、ただし、列は、センテンスにおけるすべての単語の埋め込みベクトルである。γは、センテンスにおける各単語の相対的重要性の正規化された注意ベクトルを示し、センテンス表現ベクトルと各単語のコンテクストベクトルとの間のコサイン類似度によって測定され、双方向ＲＮＮを使用して算出される。実施形態において、スカラー値コンテンツ重要性ゲートｇｍｅｍは教師からのセンテンスの関数として算出され、これは、メモリに書き込まれるコンテンツの重要性がコンテンツ自体に依存することを意味する（さらなる詳細については、セクションＨ参照）。メモリ書き込みは、消去及び追加操作で達成されることができる。
【００６２】
【数６】
2019185748.tif 000008
（６）
【００６３】
【数７】
2019185748.tif 000009
（７）
【００６４】
丸中点（CIRCLED DOT OPERATOR）は、アダマール積（Ｈａｄａｍａｒｄ）を示し、書き込み位置βは最も長く使われていないアクセス機構を用いて決定されることができる。
［２．強化学習によるコンテクスト適応行動シェーピングの実施形態］
【００６５】
模倣は、反響行動を生成する基本的な言語能力を発達させるが、コンテクストや学習者の知識状態に応じて教師と適応的に会話するには十分ではない。実施形態において、ＲＬを使用してポリシーを最適化することで、報酬フィードバックを利用してエージェントの行動をシェーピングする。会話履歴Ｈｔ＝｛ｗ１，ａ１，…，ｗｔ｝と視覚入力ｖｔとが与えられると、スピーカはエージェントの応答ａｔを生成でき、それは、すべての可能なシーケンスにおける分布からのサンプルとしてモデル化できる。
【００６６】
【数８】
2019185748.tif 000010
（８）
【００６７】
Ｈｔは、インタープリタＲＮＮによりｈＩｔに符号化されることができるので、スピーカＲＮＮに対応する行動ポリシーは、ｐθｓ（ａ｜ｈＩｔ，ｖｔ）として表すことができる。インタープリタを介して模倣によって学習された言語スキルを利用するために、ＲＮＮでスピーカを実施し、インタープリタＲＮＮとパラメータを共有することができるが、コントローラネットワークによって変調される条件付き信号でセンテンスを生成する（図３）。
【００６８】
【数９】
2019185748.tif 000011
（９）
【００６９】
コントローラｆ（・）を使用して変調する理由は、基本言語モデルは学習者にセンテンスを生成する反響能力のみを提供するが、コンテクストに応じた適応行動を必ずしも提供するわけではないからである（例えば、新規オブジェクトに直面した場合に質問をし、その自身の知識状態に応じた先に学習されたオブジェクトに対する回答を提供する）。パラメータを共有するため、如何なる追加のモジュールや学習の信号がなければ、エージェントの行動は教師の行動と同じになる。従って、エージェントが適応的な方式で話すことを学習することは困難である。
【００７０】
図７には、本明細書の実施形態による、コンテクスト適応行動シェーピングのための方法を示している。ステップ７０５において、話し行動の結果から学習するために、強化コスト関数ＬθＲで表されるように予想される将来の報酬を最大化することで行動ポリシーｐθＳ（・）を調整する。式（８）が微分不可能なサンプリング操作を含むので、ステップ７１０において、強化モジュールにおいて、ポリシー勾配定理を使用してｐθＳ（・）を更新するための勾配を導出する。
【００７１】
【数１０】
2019185748.tif 000012
（１０）
【００７２】
式中、Ａｔ＝Ｖ（ｈＩｔ，ｃｔ）−ｒｔ＋１−γＶ（ｈＩｔ＋１，ｃｔ＋１）は、バリューネットワークＶ（・）を使用して推定した優位性である。模倣モジュールは、クロスエントロピー損失を有する模倣コスト関数ＬθＩを実施し、予測分布ｐθＩ（・）におけるパラメータに対してそれを最小化することによって貢献し、これらのパラメータはｐθＳ（・）と共有される。模倣からの訓練信号は、コントローラを経由せずにショートカット接続を行うことができる。ｆ（・）、Ｖ（・）及び訓練に関するさらなる詳細は、セクションＧを参照する。
［Ｅ．いくつかの実験］
【００７３】
なお、これらの実験及び結果は例示として提供され、特定の条件下で一つ又は複数の具体的な実施形態を使用して実行される。従って、これらの実験及びそれらの結果はいずれも本特許文献の開示の範囲を限定するものではない。
【００７４】
本開示において、実験はベースライン方法と比較して行われる。実験は最初、単語レベルのタスクで行われる。このタスクでは、教師と学習者が毎回一つの単語をやり取りする。次に、概念の学習に対する画像の変化の影響を検討した。更に、より難しいセンテンスレベルのタスクに対して評価を行い、当該タスクにおいて、教師とエージェントが可変長センテンスの形でコミュニケーションを行う。
【００７５】
設定。特定のデータセットに適応する能力ではなく、移転可能スキルを学習する際の性能を評価するために、動物データセットを訓練に使用し、フルーツデータセットで訓練されたモデルをテストした（図１）。データセットについてのさらなる詳細はセクションＦに記載されている。各セッションは２つのランダムにサンプリングされたクラスを含み、インタラクションステップの最大数は６である。
【００７６】
ベースライン。以下の方法を比較した：
【００７７】
・強化：本明細書のモデル実施形態と同じネットワーク構造を有し、且つＲＬのみを使用して訓練を行い、即ち、ＬθＲを最小化する。
【００７８】
・模倣：リカレントエンコーダデコーダモデルであって、模倣によって訓練（ＬθＲを最小化する）される。
【００７９】
・模倣＋ガウスＲＬ：制御ベクトルｃｔの潜在空間においてガウスポリシーを用いた模倣と強化の結合方法である。当該ポリシーは、行動ポリシーが依存するｃｔを変更することで変更される。
［１．単語レベルのタスク］
【００８０】
この実験において、単語レベルのタスクに焦点が当てられ、これは、異なるアルゴリズムの基本的な行動を分析し理解する機会を提供するとともに、注意をそらす要因を回避するようになる。教師は毎回一つの単語を話すが、学習者は依然として文末の（例えば、＜ｅｏｓ＞）記号で終わる完全なセンテンスを生成することを学習する必要があることに留意されたい。
【００８１】
図８は、異なる方法による訓練中の報酬の進化曲線を示している。強化８０５がほとんど進化していないことが観察され、主に、シーケンス行動の広いスペースにおいて探索が困難であるからである。模倣８１０は、訓練中に強化よりも高い報酬を獲得し、例えば質問のような合理的なセンテンスを生成することでいくつかのペナルティを回避することができるからである。模倣＋ガウスＲＬ８１５は、模倣と強化の両方よりも高い報酬を獲得し、これは、ＲＬ構成要素が行動ポリシーをより高い報酬に向けてシェーピングすることを示している。しかし、ガウスポリシーは潜在的な特徴空間で行動ポリシーを間接的に最適化するため、探索や学習には効率的ではない。提案８２０とは、ここで提案されるモデルの一例を指し、訓練中に最高の最終報酬が達成される。
【００８２】
動物データセットを使用してモデルを訓練し、フルーツデータセットで評価する。図９は、１Ｋ個のテストセッションにおける成功率と平均報酬をまとめたものである。観察できるように、強化９０５は、本質的な学習効率が低いので最も低い成功率（０.０％）と報酬（-６.０）を達成した。模倣９１０は、成功率（２８.６％）と報酬値（-２.７）の両方で、強化よりも優れる。模倣＋ガウスＲＬ９１５は、テスト中に、より高い報酬（-１.２）を達成したが、その成功率（３２.１％）は模倣と同様であり、主に、厳格な成功の基準を有するためである。提案９２０はここで提案されたモデルの一例を指し、最高の成功率（９７．４％）及び平均報酬（＋１．１）が達成され（主に探索訓練における行動サンプリングのため、テスト報酬は訓練報酬よりも高い）、その性能はすべてのベースライン方法よりも大幅に上回っている。この実験から、強化を適切に使用する模倣は、適応行動（例えば、新規オブジェクトについての質問を積極的に提出し、学習したオブジェクトについての回答又は発言を生成する）を達成するために重要であることが明らかである。
［２．画像変化がある学習］
【００８３】
図１０に示すように、ワンショット概念学習に対するクラス内の画像変化の影響を評価するために、モデルを画像変化あり又は画像変化なしで訓練し、テスト中に異なる画像変化率下で（セッションにおいて新規画像が存在する可能性）の性能を比較した。図１０は、異なる変化率下での異なる方法の成功率及び報酬を示している。それらの方法は、強化１００５、模倣１０１０、模倣＋ガウスＲＬ１０１５、及び提案の実施形態１０２０を含む。動物データセット上で訓練されたモデルについて、異なるテスト画像変化率下で、フルーツデータセット上でテストし、変化率が０．５である場合を実線、変化がない場合を破線で示す。
【００８４】
画像の変化がない場合に訓練されたモデルの性能は、変化率の増加につれて著しく低下することが観察された。変化率が０．５である場合に訓練されたモデルの性能も評価された。図１０は、予想される性能低下もあるが、性能はより徐々に低下することを明らかに示しており、これは、ワンショット概念の学習に対する画像変化の重要性を示している。
【００８５】
一つ又は複数の実施形態において、本明細書の実施形態によれば、サンプリングされた訓練及びテスト画像は、画像変化なし及び画像変化ありで訓練された視覚エンコーダを使用して抽出されたそれらの対応する特徴によって表される。一つ又は複数の実施形態において、動物データセット及びフルーツデータセットから１０個のクラスがランダムにサンプリングされ、動物データセット上に画像変化なし及び画像変化ありで訓練された視覚エンコーダを使用して特徴を抽出する。画像変化ありで訓練を行う場合、特徴スペースにおいて視覚的に類似した概念のクラスタが現れ、これは、一般化可能な概念を学習するために、より特徴的な視覚エンコーダが得られたことを示している。
［３．センテンスレベルタスク］
【００８６】
本開示において、センテンスレベルタスクのモデルが更に評価された。教師のセンテンスには様々な変化があり、センテンスの長さが１から５の範囲である。セッションＦにおいて教師の例文が示されている。このタスクは、２つの点で単語レベルのタスクよりもやりがいがある。ｉ）学習者は文の異なる場所に現れる可能性がある有用な情報を抽出することを学習しなければならないため、情報処理はより困難である。ｉｉ）センテンスの生成も単語レベルのタスクよりも困難であり、学習者はＲＮＮと外部メモリからの情報を適応的に融合して完全なセンテンスを生成する必要がある。図１２は、新規テストセットにおける異なる方法の成功率及び平均報酬に関する比較を示し、それらの方法は、強化１２０５、模倣１２１０、模倣＋ガウスＲＬ１２１５、及び提案１２２０（例示的な実施形態を示す）を含む。図１２から観察できるように、提案１２２０は、成功率（８２.８％）と平均報酬（＋０.８）の両方で他のすべての比較方法よりも優れており、これは、その有効性を証明し、より複雑なセンテンスレベルのタスクでも同様である。
【００８７】
本開示は、また、テストセットに適用されたときに提案された方法の情報抽出及び適応的センテンス構成プロセスを視覚化する。図１１は、本明細書の実施形態による、新規クラスに対する提案された方法の例示的結果を図示している。学習者は、新しいクラスについて尋ね、インタープリタを使用して、単語レベルの注意γ（深い色は高い注意に対応する）及びコンテンツ重要性ゲートｇｍｅｍ１１２０を介して共同で教師のセンテンス１１１０から有用な情報を抽出することができる。スピーカはフュージョンゲートｇ（図５に５３０として示される）を使用してスピーカＲＮＮからの信号（スモールｇ）１１３０と外部メモリからの信号（ラージｇ）１１４０との間で適応的に切り替えて、センテンス応答を生成する。図１１に示すように、エージェントは教師のセンテンスから有用な情報を抽出することを学習し、コンテンツ重要性ゲートを使用してどのコンテンツを外部メモリに書き込むのかを制御する。具体的に、オブジェクトの名称を含むセンテンスは、より大きいｇｍｅｍ値を有し、センテンス中の他の単語に比べて、オブジェクトの名称に対応する単語は、より大きい注意の重みγを有する。γとｇｍｅｍとを組み合わせた効果は、オブジェクトの名称に対応する単語が外部メモリに書き込まれる可能性が高いことを表す。エージェントは、また、外部メモリを使用して教師のセンテンスから抽出された情報を記憶するのを学習し、ＲＮＮからの信号と適応的に融合し（構文構造を捕らえる）、新しい概念を含む完全なセンテンスを生成することに成功した。例えば「何」、「私」、「できる」及び「見る」という単語を生成する場合、フュージョンゲートｇの値は小さく、これは、主にＲＮＮからの信号に依存して生成することを意味する（式（３）及び 図１１参照）。逆に、オブジェクトの名称（例えば、「バナナ」及び「キュウリ」）を生成する場合、フュージョンゲートｇは大きな値を有し、これは外部メモリからの信号をより重視することを意味する。この実験は、提案された方法が言語学習とワンショット学習のより複雑なセンテンスレベルのタスクに適用することを示した。もっとおもしろいことは、それが理解しやすい解釈可能な操作プロセスを学習したことである。図１３Ａ〜図１３Ｄは、異なる方法からの例示的対話を含むさらなる結果を示している。
［Ｆ．データベースの実施形態と例文］
【００８８】
【表１】
2019185748.tif 000013
【００８９】
【表２】
2019185748.tif 000014
【００９０】
動物データセットには、合計で４０の動物クラスが含まれ、４０８の画像を有し、クラスごとには平均で１０つの画像を含む。フルーツデータセットには、合計で１６のクラスと４８の画像を含み、クラスごとに３つの画像を含む。表１では、オブジェクトクラスと画像をまとめた。表２では、様々な場合（質問、回答、及び何も言わない場合）における教師からの例文を示している。
［Ｇ．ネットワーク詳細の実施形態］
【００９１】
以下、例示的な実施形態を提供する。しかしながら、様々なネットワーク構成要素は、異なるように構成されてもよく、又は異なるサブ構成要素を使用してもよいが、それでも本開示の精神及び範囲内で機能することに留意されたい。
［１．視覚エンコーダ］
【００９２】
実施形態において、視覚エンコーダは、入力画像を取り込んで、視覚的特徴表現を出力する。一つ又は複数の実施形態において、視覚的特徴表現は視覚的特徴ベクトル、視覚的特徴行列又は他の適用可能なフォーマットである。それは、畳み込みニューラルネットワーク（ＣＮＮ）、続いて全結合（ＦＣ）層として実施されてもよい。一つ又は複数の実施形態において、各ＣＮＮは４つの層を有する。各層は、サイズが３×３である３２、６４、１２８、２５６個のフィルタを有し、続いて、プーリングサイズが３、ストライドが２のマックスプーリングである。ＲｅＬＵ活性化は全ての層に使用可能である。ＣＮＮの後に、出力次元が５１２と１０２４である２つのＦＣ層を使用し、それぞれＲｅＬＵと線形活性化を有する。
［２．インタープリタとスピーカ］
【００９３】
インタープリタ及びスピーカは、それぞれインタープリタＲＮＮ及びスピーカＲＮＮを用いて実施され、それらはパラメータを共有する。状態次元（ｓｔａｔｅ  ｄｉｍｅｎｓｉｏｎ）が１０２４であるゲートリカレントユニット（ＧＲＵ）を使用して実施することができる。ＲＮＮに入力する前に、一つ又は複数の実施形態において、まずは、単語ＩＤを、次元が１０２４である単語埋め込みベクトルに投影し、続いて、ＲｅＬＵ活性化を有する２つのＦＣ層及び線形活性化を有する第３のＦＣ層であり、それらはいずれも１０２４の出力次元を有する。
［３．フュージョンゲート］
【００９４】
実施形態において、フュージョンゲートｇは、ＲｅＬＵ活性化を有する２つの全結合（ＦＣ）層、及びｓｉｇｍｏｉｄ（Ｓ型）活性化を有する第３のＦＣ層として実施される。 各層の出力次元は、それぞれ５０、１０及び１である。
［４．コントローラ］
【００９５】
コントローラは恒等写像とともに、剰余構造ネットワークを形成し、以下のように示される。
【数１１】
2019185748.tif 000015
（１１）
【００９６】
実施形態において、ｆ（・）は、ＲｅＬＵ活性化を有する２つのＦＣ層及び線形活性化を有する第３のＦＣ層として実施され、それらはいずれも１０２４の出力次元を有する。
［５．バリューネットワーク］
【００９７】
実施形態において、バリューネットワークを導入して予想累積将来報酬を推定する。これはインタープリタＲＮＮの状態ベクトルｈＩと信頼度ｃを入力とする。それは、ＲｅＬＵ活性化を有し且つ出力次元がそれぞれ５１２及び２０４である２つのＦＣ層として実施されてもよい。第３の層は、線形活性化を有し、且つ出力次元が１である別のＦＣ層であってもよい。それは、コストを最小化することで訓練され、具体的には、以下の通りである。
【００９８】
【数１２】
2019185748.tif 000016
（１２）
【００９９】
Ｖ’（・）は、バリューネットワークのターゲットバージョンを示し、定期的にＶ（・）からコピーされる前に、そのパラメータが固定されたままである。
［６．信頼度スコア］
【０１００】
信頼度スコアは次のように定義される。
【０１０１】
【数１３】
2019185748.tif 000017
（１３）
【０１０２】
なお、Ｅ∈Ｒｄ×ｋは単語埋め込みテーブルであり、ｄは埋め込み次元であり、ｋは語彙サイズである。ｒ∈Ｒｄは外部メモリのセンテンスモダリティから読み取られたベクトルであり、以下のように示される。
【０１０３】
【数１４】
2019185748.tif 000018
（１４）
【０１０４】
式中、αはｋｖとＭｖのスロットとの間のコサイン類似度を算出することで視覚モダリティを通して得られるソフトリーディングウェイトである。メモリに記憶されているコンテンツは教師のセンテンス｛ｗ１，ｗ２，…，ｗｉ，…，ｗｎ｝から抽出されるものである（セクションＨで詳しく説明される）。
【０１０５】
【数１５】
2019185748.tif 000019
（１５）
【０１０６】
式中、ｗｉ∈Ｒｄは、単語ｗｉの単語埋め込みテーブルＥから抽出された埋め込みベクトルを示す。従って、情報抽出に有効なγと、情報検索に有効なαとを有するよく学習した概念について、ｒは、埋め込みベクトルであるべきであり、大部分又は主に視覚画像に関連するラベル単語に対応する。従って、ｃの値は大きくなければならず、そのラベル単語が埋め込みテーブルにおける所在位置で最大値に達する。全く新しい概念では、メモリにそれに関する情報が含まれていないので、読みの注意αは集中されないので、ｒは外部メモリ内の既存の単語埋め込みベクトルの平均値であり、これにより、小さなｃ値を取得する。
［Ｈ．センテンスコンテンツ抽出及び重要性ゲートの実施形態］
【０１０７】
以下、例示的な実施形態を提供する。しかしながら、様々なネットワーク構成要素は、異なるように構成されてもよく、又は異なるサブ構成要素を使用してもよいが、それでも本開示の精神及び範囲内で機能することに留意されたい。
［１．コンテンツ抽出］
【０１０８】
実施形態において、注意スキームは、メモリに書き込まれるセンテンスから有用な情報を抽出するために用いられる。センテンスｗ＝｛ｗ１，ｗ２，…，ｗｎ｝と、対応する単語埋め込みベクトル｛ｗ１，ｗ２，…，ｗｎ｝とを与えると、まずは、双方向ＲＮＮを用いてセンテンスのサマリーを生成し、順方向パス（ｐａｓｓ）の状態｛ｗ１→，ｗ２→，…，ｗｎ→｝と、逆方向パスの状態｛ｗ１←，ｗ２←，…，ｗｎ←｝を得る。サマリーベクトルは、順方向パスの最後状態と逆方向パスの第１の状態の結合であってもよい。
【０１０９】
【数１６】
2019185748.tif 000020
（１６）
【０１１０】
一つ又は複数の実施形態において、コンテクストベクトルは、単語埋め込みベクトルと順方向パス及び逆方向パスの両方の状態ベクトルとの結合である。
【０１１１】
【数１７】
2019185748.tif 000021
（１７）
【０１１２】
単語レベルの注意γ＝｛γ１，γ２，…，γｎ｝は、変換センテンスサマリーベクトルｓと各コンテクストベクトルｗｉ￣の間のコサイン類似度として算出されてもよい。
【０１１３】
【数１８】
2019185748.tif 000022
（１８）
【０１１４】
一つ又は複数の実施形態において、二つのＭＬＰは、出力次元が１０２４である２つのＦＣ層を含み、各層にそれぞれ線形活性化及び双曲線正接活性化を有する。メモリに書き込まれるコンテンツｃｓは、以下のように算出することができる。
【０１１５】
【数１９】
2019185748.tif 000023
（１９）
［２．重要性ゲート］
【０１１６】
実施形態において、コンテンツ重要性ゲートはｇｍｅｍ＝σ（ｆＭＬＰ（ｓ））として算出され、これは、メモリに書き込まれるコンテンツの重要性は教師からのセンテンスに依存することを意味する。ＭＬＰは二つのＦＣ層を含んでもよく、当該ＦＣ層はＲｅＬＵ活性化を有し、且つ出力次元がそれぞれ５０及び３０である。別の線形活性化を有するＦＣ層を使用してもよく、且つ出力次元２０を使用してもよい。実施形態では、出力層は、出力次元１及びｓｉｇｍｏｉｄ活性化σを有するＦＣ層である。
［Ｉ．訓練詳細の実施形態］
【０１１７】
実施形態において、ネットワークは減衰したＡｄａｇｒａｄを用いて訓練される。バッチサイズ１６、学習率１×１０−５、及び重み減少率１.６×１０−３を使用した。経験リプレイも使用される。報酬割引係数γは０．９９、単語埋め込み次元ｄは１０２４、辞書サイズｋは８０である。視覚画像サイズは３２×３２であり、生成されたセンテンスの最大長は６であり、メモリサイズは１０である。提案された実施形態の方法について、探索訓練中にサンプリング操作を使用してセンテンスを生成し、テスト中に最大操作を使用する。最大操作は、すべてのベースライン方法についての訓練及びテストに使用される。単語埋め込みベクトルはランダムベクトルとして初期化され、訓練中に固定されたままである。
［Ｊ．新規データに関する対話例］
【０１１８】
実施形態において、動物データセット上でモデルを訓練し、フルーツデータセット上で評価する。図１３Ａ〜図１３Ｄは、異なる方法による対話例を示している。観察によると、強化は、学習者が黙っているというポリシーにつなぐことが分かる。模倣と模倣＋ガウスＲＬの両方とも合理的なセンテンスを生成することができるが、コンテクストに応じて適応的に話すことができない。提案は、コンテクストに応じて適応的に話すことができ、新規クラスについての情報を尋ね、そして教師によって一度だけ教えられた後に質問に答える。
［Ｋ．いくつかの結論］
【０１１９】
本特許文書では、ワンショット視覚概念学習の基礎言語習得の実施形態が提出された。この結果は、記憶拡張ネットワークを用いて、純粋に教師とインタラクションし、共同模倣及び強化学習を介してインタラクション中に自然に発生するフィードバックから、学習することによって達成された。実験結果は、モデルの実施形態がいくつかの異なる設定にわたるワンショット学習による言語習得に有効であることを示している。提案された実施形態は、より現実的な環境にさらに適用することができ、セッションにわたる永続的記憶は、生涯学習の設定に使用することができる。
［Ｉ．システム実施形態］
【０１２０】
実施形態において、本特許文書の態様は、一つ又は複数の情報処理システム/コンピューティングシステムに関わることができ、それらを含むことができ、又は、一つ又は複数の情報処理システム/コンピューティングシステムの上で実施されてもよい。コンピューティングシステムは、あらゆる形式の情報、知能、又はデータを、計算、演算、決定、分類、処理、送信、受信、検索、発信、ルーティング、交換、記憶、表示、通信、明示、検出、記録、再生、処理、又は利用するように動作可能な任意の手段又は手段の組み合わせを含んでもよい。例えば、コンピューティングシステムは、パーソナルコンピュータ（例えば、ラップトップコンピュータ）、タブレットコンピュータ、ファブレット、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、スマートウォッチ、スマートパッケージ、サーバ（例えば、ブレードサーバ又はラックサーバ）、ネットワーク記憶装置、カメラ又は任意の他の適切な装置であってもよく、更に大きさ、形状、性能、機能及び価格が異なっていてもよい。コンピューティングシステムは、ランダムアクセスメモリ（ＲＡＭ）、一つ又は複数の処理リソース（例えば、中央処理装置（ＣＰＵ）又はハードウェア又はソフトウェア制御ロジック）、ＲＯＭ及び/又は他のタイプのメモリを含んでもよい。コンピューティングシステムにおける別の構成要素は、一つ又は複数のディスクドライブ、外部装置と通信するための一つ又は複数のネットワークポート、並びに様々な入力及び出力（Ｉ/Ｏ）装置（例えば、キーボード、マウス、タッチスクリーン及び/又はビデオディスプレイ）を含んでもよい。コンピューティングシステムは、更に様々なハードウェア構成要素の間で通信を送信するように動作可能な一つ又は複数のバスを含んでもよい。
【０１２１】
図１４は、本開示の実施形態による、コンピューティングデバイス/情報処理システム（又はコンピューティングシステム）の簡略化したブロック図を示す。コンピューティングシステムが異なるように配置され、異なる構成要素を含んでもよく、図１４に示すように、より少ない構成要素又はより多くの構成要素を有することを含むが、システム１４００について示された機能は、コンピューティングシステムの様々な実施形態をサポートするように動作し得ると理解すべきである。
【０１２２】
図１４に示すように、コンピューティングシステム１４００は、コンピューティングリソースを提供するとともにコンピュータを制御する一つ又は複数の中央処理装置（ＣＰＵ）１４０１を含む。ＣＰＵ１４０１は、マイクロプロセッサ等によって実施されてもよく、且つ一つ又は複数のグラフィックスプロセシングユニット（ＧＰＵ）１４１９及び/又は数学的計算に用いられる浮動小数点コプロセッサを更に含んでもよい。システム１４００は、システムメモリ１４０２を更に含んでもよい。システムメモリ１４０２は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、又は両者の態様であってもよい。
【０１２３】
図１４に示すように、複数のコントローラ及び周辺装置を更に提供することができる。入力コントローラ１４０３は、例えばキーボード、マウス、タッチスクリーン及び/又はスタイラスの様々な入力装置１４０４に接続可能なインターフェースを表す。コンピューティングシステム１４００は、一つ又は複数の記憶装置１４０８にインターフェース接続される記憶コントローラ１４０７を更に含んでもよく、記憶装置のそれぞれは、記憶媒体（例えば磁気テープ又は磁気ディスクを含む）、又は光媒体（システム、ユーティリティ及びアプリケーションを実行するための命令のプログラムを記録するために使用可能であり、本発明の各態様を実施するプログラムの実施形態を含んでもよい）を含む。記憶装置１４０８は、更に本開示において処理されたデータ又は処理しようとするデータを記憶してもよい。システム１４００は、表示装置１４１１に接続されるインターフェースを提供するための表示コントローラ１４０９を更に含んでもよい。表示装置１４１１は、陰極線管（ＣＲＴ）、薄膜トランジスタ（ＴＦＴ）ディスプレイ、有機発光ダイオード、エレクトロルミネッセンパネル、プラズマパネル又は他のタイプのディスプレイであってもよい。コンピューティングシステム１４００は、一つ又は複数の周辺装置１４０６に用いられる一つ又は複数の周辺コントローラ又はインタフェース１４０５を更に含んでもよい。周辺装置の例としては、一つ又は複数のプリンタ、スキャナー、入力装置、出力装置、センサなどが挙げられる。通信コントローラ１４１４は、一つ又は複数の通信装置１４１５とインターフェース接続可能であり、システム１４００は、インターネット、クラウドリソース（例えば、イーサネット（登録商標）クラウド、ファイバーチャネル・オーバー・イーサネット（ＦＣｏＥ）／データセンタブリッジ（ＤＣＢ）クラウド）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ストレージエリアネットワーク（ＳＡＮ）を含む様々なネットワークのうちのいずれか、又は赤外線信号を含む任意の適切な電磁波キャリア信号によって、遠隔装置に接続することを可能にする。
【０１２４】
示されたシステムにおいて、すべての主なシステム構成要素は、バス１４１６に接続されてもよく、バス１４１６は一つ以上の物理バスを表すことができる。しかし、様々なシステム構成要素は互いに物理的に近接してもよく、物理的に近接しなくてもよい。例えば、入力データ及び/又は出力データは、一つの物理的位置から別の物理的位置に遠隔伝送されることができる。なお、本開示の各態様を実現するプログラムは、ネットワークを介して遠隔位置（例えば、サーバ）からアクセスすることができる。このようなデータ及び/又はプログラムは、様々な機械可読媒体のうちのいずれかによって伝送されてもよい。機械可読媒体は、例えばハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、例えばＣＤ-ＲＯＭ及びホログラフィック装置のような光媒体、光磁気媒体、並びに、例えば特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フラッシュメモリデバイス及びＲＯＭとＲＡＭデバイスのような特別にプログラムコードを記憶したり、記憶して実行したりするように構成されるハードウェア装置を含むが、これらに限定されない。
【０１２５】
本発明の態様は、一つ又は複数のプロセッサ又は処理ユニットにステップを実行させるように指示するための命令によって、一つ又は複数の非一時的コンピュータ可読媒体で符号化することができる。なお、一つ又は複数の非一時的コンピュータ可読媒体は、揮発性及び不揮発性メモリを含むべきである。なお、ハードウェア実現方式又はソフトウェア/ハードウェア実現方式を含む代替的な実施態様でも可能である。ハードウェアが実現する機能は、ＡＳＩＣ、プログラマブルアレイ、デジタル信号処理回路等によって実現されることができる。このため、請求項のいずれかに記載の用語「手段」は、ソフトウェア実現方式とハードウェア実現方式の両方を含むことを意味する。同様に、本明細書に使用された用語「コンピュータ可読媒体」は、その上に具現化された命令のプログラムを有するソフトウェア及び/又はハードウェア、又はそれらの組み合わせを含む。これらの代替的な実施態様を考慮すると、図面及び添付の明細書は、当業者がプログラムコード（即ち、ソフトウェア）を作成し及び／又は回路（即ち、ハードウェア）を製造して所要の処理を実行することに必要な機能情報を提供すると理解すべきである。
【０１２６】
なお、本発明の実施形態は、様々なコンピュータ実施の動作を実行するためのコンピュータコードを有する非一時的な有形コンピュータ可読媒体を有するコンピュータ製品に更に関してもよい。媒体とコンピュータコードは本発明の目的のために特別に設計され構築されるものであってもよく、当業者の公知のものや利用可能なものであってもよい。有形コンピュータ可読媒体の例は、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びホログラフィック装置のような光媒体、光磁気媒体、及び特別にプログラムコードを記憶又は記憶して実行するように構成されるハードウェア装置（例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フラッシュメモリデバイス及びＲＯＭやＲＡＭデバイス）を含むが、それらに限定されない。コンピュータコードの例は、機械コード（例えば、コンパイラによって生成されるコード）、及びコンピュータがインタープリタで実行したより高水準のコードを有するファイルを含む。本発明の実施形態は、処理装置により実行されるプログラムモジュール内における機械実行可能な命令として全体的又は部分的に実現されてもよい。プログラムモジュールの例は、ライブラリ、プログラム、ルーチン、オブジェクト、構成要素及びデータ構造を含む。分散型コンピューティング環境では、プログラムモジュールはローカル、遠隔地又は両方の設定環境に物理的に配置されてもよい。
【０１２７】
当業者であれば、コンピューティングシステム又はプログラミング言語は本発明の実施に極めて重要ではないと理解すべきである。また、当業者は、前記複数の構成要素が物理的及び/又は機能的にサブモジュールに区画されてもよく一体的に組み合わせられてもよいと理解すべきである。
【０１２８】
当業者であれば、上記の例と実施形態は例示的なものであり、本開示の範囲を限定するものではないと理解すべきである。本明細書及び図面に基づいて当業者に明らかなすべての置換、強化、同等物、組み合わせ又は改良は本開示の趣旨及び範囲内に属する。なお、特許請求の範囲のいずれの構成要素は、複数の依存関係、構成及び組み合わせを有するように、異なって配置されてもよい。
【図１】
2019185748.tif 000024
【図２】
2019185748.tif 000025
【図３】
2019185748.tif 000026
【図４】
2019185748.tif 000027
【図５】
2019185748.tif 000028
【図６】
2019185748.tif 000029
【図７】
2019185748.tif 000030
【図８】
2019185748.tif 000031
【図９】
2019185748.tif 000032
【図１０】
2019185748.tif 000033
【図１１】
2019185748.tif 000034
【図１２】
2019185748.tif 000035
【図１３Ａ】
2019185748.tif 000036
【図１３Ｂ】
2019185748.tif 000037
【図１３Ｃ】
2019185748.tif 000038
【図１３Ｄ】
2019185748.tif 000039
【図１４】
2019185748.tif 000040
【手続補正書】
【提出日】平成31年2月27日(2019.2.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の時間ステップを含むセッションにおいてインタラクティブ言語学習に基づくコンピュータ実施方法であって、
時間ステップで、視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
視覚エンコーダを使用して前記視覚画像を視覚的特徴表現に符号化するステップと、
注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
前記第１のニューラルネットワークを介して前記視覚的特徴表現と前記自然言語入力表現とを、視覚モダリティとセンテンスモダリティのペアとしてメモリに記憶するステップと、
前記状態ベクトルを剰余構造化ネットワークに通過させて制御ベクトルを生成し、状態入力として第２のニューラルネットワークの挙動を変調するステップと、
少なくとも前記制御ベクトルを使用して、学習された注意及びコンテンツの重要性を使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で、適応的に選択するステップであって、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成するステップと、を含む、
コンピュータ実施方法。
【請求項２】
前記第２のニューラルネットワークの前記時間ステップにおける最終状態を、次の時間ステップにおける前記第１のニューラルネットワークへの入力として使用するステップを更に含む、
請求項１に記載のコンピュータ実施方法。
【請求項３】
前記応答が正しい応答である場合、又はインタラクションステップの最大数に達した場合には、前記セッションを終了する、
請求項１に記載のコンピュータ実施方法。
【請求項４】
前記剰余構造化ネットワークは、学習可能なコントローラを有する恒等写像拡張ネットワークである、
請求項１に記載のコンピュータ実施方法。
【請求項５】
前記学習可能なコントローラは、前記状態ベクトルを受信して出力を生成し、前記制御ベクトルは、前記コントローラの出力と前記状態ベクトルとを組み合わせることで得られる、
請求項４に記載のコンピュータ実施方法。
【請求項６】
前記自然言語入力、前記視覚入力、及び前記生成された応答に応じて、教師により、フィードバック及び報酬を生成することを更に含む、
請求項１に記載のコンピュータ実施方法。
【請求項７】
前記報酬は、スカラー値フィードバックであり、前記応答の正確さに応じて、正の値で励ましとして、負の値で反対とする、
請求項６に記載のコンピュータ実施方法。
【請求項８】
強化コスト関数によって表されるように予想される将来の報酬を最大化することにより、前記報酬を利用して応答を生成する際の行動ポリシーを調整する、
請求項６に記載のコンピュータ実施方法。
【請求項９】
前記第１のニューラルネットワークにおいて模倣コスト関数によって前記自然言語入力を予測する際の誤差を最小化し、前記第１のニューラルネットワークと前記第２のニューラルネットワークとの間にパラメータを共有することにより、前記行動ポリシーを同時に最適化する、
請求項８に記載のコンピュータ実施方法。
【請求項１０】
メモリ書き込み動作では、コンテンツ重要性ゲートは前記自然言語入力の関数として算出されて、前記自然言語入力のコンテンツを前記メモリに書き込むか否かを適応的に制御する、
請求項１に記載のコンピュータ実施方法。
【請求項１１】
訓練されたエージェントが習得した言語能力と発達したワンショット学習能力とを使用するためのコンピュータ実施方法であって、
視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
視覚エンコーダを使用して前記視覚画像を視覚キーに符号化するステップと、
注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
前記状態ベクトルに基づいて制御ベクトルを生成して第２のニューラルネットワークの挙動を変調するステップと、
少なくとも部分的に前記制御ベクトルによって制御されるフュージョンゲートを使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で適応的に選択するステップであって、前記視覚キーを使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成し、前記メモリには、少なくとも一つの視覚モダリティとセンテンスモダリティのペアが記憶されており、視覚モダリティとセンテンスモダリティのペアのそれぞれは、記憶された視覚的特徴表現と記憶された自然言語入力表現とを含むステップと、を含む、
コンピュータ実施方法。
【請求項１２】
前記少なくとも一つの視覚モダリティとセンテンスモダリティのペアは、前記第１のニューラルネットワークを介して、過去の自然言語入力及び関連する視覚入力を使用して、学習されたコンテンツ重要性に基づいて記憶される、
請求項１１に記載のコンピュータ実施方法。
【請求項１３】
記憶された自然言語入力表現は、行列及び正規化された注意ベクトルに基づいて得られ、ここで、前記行列の列は、関連する過去の自然言語入力からのすべての単語の埋め込みベクトルであり、前記正規化された注意ベクトルは、前記関連する過去の自然言語入力における各単語の相対的重要性を示す、
請求項１２に記載のコンピュータ実施方法。
【請求項１４】
前記第２のニューラルネットワークによって指示される提案された応答部分は、単語レベル注意とコンテンツ重要性を介して前記自然言語入力から共同で抽出される、
請求項１１に記載のコンピュータ実施方法。
【請求項１５】
クロスモダリティ検索により前記メモリから前記自然言語入力表現を検索し、前記クロスモダリティ検索は、前記視覚キーを使用してソフトリーディングウェイトを取得することで実施される、
請求項１１に記載のコンピュータ実施方法。
【請求項１６】
前記ソフトリーディングウェイトは、前記視覚キーと記憶された視覚的特徴表現とのコサイン類似度を算出することで得られ、得られたソフトリーディングウェイトと前記記憶された自然言語入力表現との積を実施することで、前記自然言語入力表現の少なくとも一部を、前記視覚画像に関連するラベル単語に対応する埋め込みベクトルとして検索する、
請求項１５に記載のコンピュータ実施方法。
【請求項１７】
ワンショット視覚概念学習によるインタラクティブ言語習得のためのシステムであって、
視覚画像を視覚的特徴表現に符号化するための視覚エンコーダと、
少なくとも、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力と、過去の情報を用いた先の状態ベクトルとに基づいて、状態ベクトルを生成するための第１のニューラルネットワークと、
視覚的特徴表現と自然言語入力表現とを含む、視覚モダリティとセンテンスモダリティのペアを少なくとも一つ記憶するメモリと、
前記状態ベクトルを受信して制御ベクトルを生成する剰余構造化ネットワークと、
挙動変調のための前記制御ベクトルを受信する第２のニューラルネットワークであって、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を使用して指示される提案された応答部分との間で適応的に選択し、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成する第２のニューラルネットワークと、を備える、
システム。
【請求項１８】
前記第１のニューラルネットワークと前記第２のニューラルネットワークは、いずれもリカレントニューラルネットワークであり、且つパラメータを共有する、
請求項１７に記載のシステム。
【請求項１９】
前記剰余構造化ネットワークは、前記状態ベクトルを受信し出力を生成するための学習可能なコントローラを含み、前記制御ベクトルは、前記コントローラの出力を前記状態ベクトルに結合することで得られる、
請求項１７に記載のシステム。
【請求項２０】
前記第２のニューラルネットワークは、少なくとも部分的に学習した注意とコンテンツ重要性とに基づいて、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部によって指示される提案された応答部分との間で、適応的に切り替えるための一つ又は複数のフュージョンゲートを含む、
請求項１７に記載のシステム。
【請求項２１】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜１０のいずれか一項に記載の方法を実現するコンピュータプログラム。
【請求項２２】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１１〜１６のいずれか一項に記載の方法を実現するコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
本願の一態様によれば、複数の時間ステップを含むセッションおいてインタラクティブ言語学習に基づくコンピュータ実施方法を提供し、前記方法は、
時間ステップで、視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
視覚エンコーダを使用して前記視覚画像を視覚的特徴表現に符号化するステップと、
注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
前記第１のニューラルネットワークを介して前記視覚的特徴表現と前記自然言語入力表現とを、視覚モダリティとセンテンスモダリティのペアとしてメモリに記憶するステップと、
前記状態ベクトルを剰余構造化ネットワークに通過させて制御ベクトルを生成し、状態入力として第２のニューラルネットワークの挙動を変調するステップと、
少なくとも前記制御ベクトルを使用して、学習された注意及びコンテンツの重要性を使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で、適応的に選択するステップであって、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成するステップと、を含む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本願の他の一態様によれば、訓練されたエージェントが習得した言語能力と発達したワンショット学習能力とを使用するためのコンピュータ実施方法を提供し、前記方法は、
視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
視覚エンコーダを使用して前記視覚画像を視覚キーに符号化するステップと、
注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
前記状態ベクトルに基づいて制御ベクトルを生成して第２のニューラルネットワークの挙動を変調するステップと、
少なくとも部分的に前記制御ベクトルによって制御されるフュージョンゲートを使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で適応的に選択するステップであって、前記視覚キーを使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成し、前記メモリには、少なくとも一つの視覚モダリティとセンテンスモダリティのペアが記憶されており、視覚モダリティとセンテンスモダリティのペアのそれぞれは、記憶された視覚的特徴表現と記憶された自然言語入力表現とを含むステップと、を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本願のさらなる一態様によれば、ワンショット視覚概念学習によるインタラクティブ言語習得のためのシステムを提供し、前記システムは、
視覚画像を視覚的特徴表現に符号化するための視覚エンコーダと、
少なくとも、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力と、過去の情報を用いた先の状態ベクトルとに基づいて、状態ベクトルを生成するための第１のニューラルネットワークと、
視覚的特徴表現と自然言語入力表現とを含む、視覚モダリティとセンテンスモダリティのペアを少なくとも一つ記憶するメモリと、
前記状態ベクトルを受信して制御ベクトルを生成する剰余構造化ネットワークと、
挙動変調のための前記制御ベクトルを受信する第２のニューラルネットワークであって、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を使用して指示される提案された応答部分との間で適応的に選択し、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成する第２のニューラルネットワークと、を備える。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
図１４に示すように、複数のコントローラ及び周辺装置を更に提供することができる。入力コントローラ１４０３は、例えばキーボード、マウス、タッチスクリーン及び/又はスタイラスの様々な入力装置１４０４に接続可能なインターフェースを表す。コンピューティングシステム１４００は、一つ又は複数の記憶装置１４０８にインターフェース接続される記憶コントローラ１４０７を更に含んでもよく、記憶装置のそれぞれは、記憶媒体（例えば磁気テープ又は磁気ディスクを含む）、又は光媒体（システム、ユーティリティ及びアプリケーションを実行するための命令のプログラムを記録するために使用可能であり、本発明の各態様を実施するプログラムの実施形態を含んでもよい）を含む。記憶装置１４０８は、更に本開示において処理されたデータ又は処理しようとするデータを記憶してもよい。システム１４００は、表示装置１４１１に接続されるインターフェースを提供するための表示コントローラ１４０９を更に含んでもよい。表示装置１４１１は、陰極線管（ＣＲＴ）、薄膜トランジスタ（ＴＦＴ）ディスプレイ、有機発光ダイオード、エレクトロルミネッセンパネル、プラズマパネル又は他のタイプのディスプレイであってもよい。コンピューティングシステム１４００は、一つ又は複数の周辺装置１４０６に用いられる一つ又は複数の周辺コントローラ又はインタフェース１４０５を更に含んでもよい。周辺装置の例としては、一つ又は複数のプリンタ、スキャナー、入力装置、出力装置、センサなどが挙げられる。コンピューティングシステム１４００は、更にプリンタ１４１３と通信するためのプリンタコントローラ１４１２を含んでもよい。通信コントローラ１４１４は、一つ又は複数の通信装置１４１５とインターフェース接続可能であり、システム１４００は、インターネット、クラウドリソース（例えば、イーサネット（登録商標）クラウド、ファイバーチャネル・オーバー・イーサネット（ＦＣｏＥ）／データセンタブリッジ（ＤＣＢ）クラウド）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ストレージエリアネットワーク（ＳＡＮ）を含む様々なネットワークのうちのいずれか、又は赤外線信号を含む任意の適切な電磁波キャリア信号によって、遠隔装置に接続することを可能にする。
【外国語明細書】
2019185748000001.pdf