Sequence-to-sequenceモデルを用いた一対多関係知識の記憶とその取り出し

近年，大規模なコーパスで事前学習を行ったニューラル言語モデル(LM)が様々なタスクにおいて高い水準の性能を発揮している．LMはこの事前学習において，単語の使われ方や文法などの言語に関する基本的な知識を獲得しているとされる．またこれと同時に，LMは事前学習で用いたコーパスから，エンティティやイベントなどの世界に関する知識もそのパラメータ内部に暗に獲得していることが明らかとなっている[1,2]．世界知識のうち，ある人物(親)とその子どもや，映画監督とその作品など，特定の関係で結ばれたエンティティについての知識を関係知識と呼ぶ．ニューラル言語モデルは事前学習の過程でかなり広範な関係知識をテキスト集合から獲得している可能性があることが指摘されている．こうした背景からLMを知識ベースと見なしてその能力を調べる研究やLMと既存知識ベースを統合する研究が広がっている(LanguageModelsasKnowledgeBases)[1,3,4,5,6].また，事前学習済みのLMから知識を引き出すためのプロンプトについて例）集合の取得教示内容入力hasachildWhoarethechildrenof?hasachild出力hasachild言語モデルhasachild…の研究も盛んに行われている[7,8]．しかしながら，これまでの先行研究における主な関心の対象は，一対一対応の関係知識に留まっており，多対多関係の知識については扱いが簡単でないということ以外明らかにされていない[1,3]．一対一関係知識は，例えば「国と首都」のようなもので，ある主語と関係が与えられた時に，対応する目的語が一意に定まるものを指しており，多対多関係知識は「映画と出演者」のように，ある関係を考えたときに，互いに対応する主語と目的語が複数個存在するものを指す．そして世界に関する知識には，上述の多対多関係の知識も多く存在することが指摘されている[3]．従って，LMを知識ベースとして扱える可能性をより緻密に調査するために，LMが多対多関係知識をどの程度正確に記憶(パラメータの内部に格納)できるのか，また記憶した知識の操作(例えば，多対多関係のインスタンスに属する集合の間の演算)がどの程度可能か，といった基本的な能力を明らかにする必要があると考えられる．本研究ではその第一歩として，一対多関係の知識を人工的に生成したデータセットを構築し，これに対するLMの記憶と操作の能力を調べた．本研究で調査するのは図1に示すような記憶と操作の能力である．「記憶」の能力とは，LMに〈親子〉関係ような一対多関係のインスタンスを個別に教示した場合に，教示したインスタンスの情報がLMの内部に格納されているかを指す．「操作」の能.力としては，例えば図1の「出力」にあるように，ある人物の〈子ども〉をそれぞれ個別に教示したLMから，その集合(〈子ども〉の集合)を取り出すことができるか，言い換えれば個別に記憶した要素を列挙して出力することが可能かといった能力を指す．本研究では，統制したデータでLMの能力を調べることがまずは重要だと考えたため，Wikidata[9]から子どもが複数に存在する親とその子どもの名前を収集し，一対多関係知識のデータセットを人工的に作成した．本稿ではこのデータセットに対するLMの振る舞いを報告する．