記憶装置付きニューラルネットワークモデルによる構造化知識と演算処理を用いた質問応答

近年，Transformer[1]などのディープニューラルネットワークはコンピュータビジョンや自然言語処理といったさまざまなタスクの複雑なパターンマッチングにおいて顕著な発展を遂げてきた.しかし，Transformerには長い文脈情報を固定長の系列にエンコードするせいでcontextfragmentationproblem[2]があり，この問題を解くために過去の情報をメモリ内にキャッシュしておくさまざまな手法[2,3,4]が提案されてきたが，Transformerをベースとしたモデルは，グラフや木などのデータ構造の表現や変数の使用，長い系列に対する表現の操作といった抽象的な処理を行う能力には限界があるとされてきた．NeuralTuringMachine[5]やDiﬀerentiableNeuralComputer(DNC)[6]は外部に読み書き可能なメモリを持つことで，構造化データ上のアルゴリズムタスクを解き，変数の表現や，長い系列の学習を可能にした.本研究では，DNCと，さらにDNCを改良したrsDNC[7]とDNC-DMS[8]に対して，質問応答タスクにおいて重要な要素である知識利用と演算処理を新たに組み入れることを試み，構造化知識に対する演算処理を含んだ質問文について正しい答えを生成する能力を向上させることを目指す.