言語構造に制約されない大規模言語モデルの知識編集

する手法も存在する[17,18]．全体最適化ベースの近年，大規模言語モデル（LLM）は，顕著な進歩手法は，メタラーニング[19]や部分空間Fine-tuningを遂げており，英語[1,2,3]や中国語[4]のような[20,21]が含まれる手法である．局所変更ベースのSVO言語のみならず，日本語[5]や韓国語[6]のよ手法は，ある概念についての知識がエンコードされうなSOV言語などで事前学習されたLLMも登場している知識ニューロン（Knowledgeneurons）[22,23]ている．これらのモデルは，広範なデータセットかの編集を通じてモデルが持つ知識を編集する手法でらの学習を通じて，多岐にわたる事実に関する知識ある．を獲得している[7,8,9]が，事実と異なる情報を生ROME（Rank-OneModelEditing）[24]に代表され成するHallucinationと呼ばれる現象や，時間とともる局所変更ベースの手法は，その他の手法と比べに変化する事実に対応できない課題を抱えている．Fine-tuningやRAGが持つ特有の課題をより回避しこれらの課題を解決するためには，モデルが持つ知つつ，効率的に知識の編集が実現できる．しかし，識を編集する必要がある．本稿では，subject（主題）ROMEはSVO言語を前提とした知識ニューロンのs，object（対象）o，および両者をつなぐrelation（関特定を行っているため，言語構造の異なる言語に適係）rを含む知識タプル（s，r，o）を考え，sとrを用が難しいという制約をもつ．近年，SVO言語以外含む入力に対し，oを出力するとき，LLMは（s，r，で事前学習されたLLMも数多く登場しており，特o）に関する知識を有すると定義する．に日本語を含むSOV言語は世界の主要な言語構造モデルが持つ知識を編集にするために，Fine-tuningの一つであるため[25]，この制約は大きな課題で[10]，RAG（Retrieval-AugmentedGeneration）[11,12]ある．―2998―.本研究では，ROMEの知識ニューロン特定時における入力形式の変換によって言語構造の制約を解消する手法を提案し，その手法の有効性を実証することで，より多様な言語構造に適応できる知識編集の実現を目指す．これにより，日本語で事前学習されたモデルにも知識編集を適用できる．