Drag-and-DropLLMs（DnD）[1]は学習を行わず，プロンプトのみでLoRA[2]アダプターを生成し，タスク適応する手法である．本研究では，DnDを日本語タスクに適用し，その有効性を検証した．複数の日本語データセットを用いてLoRAアダプターを収集し，汎用性能を備えたアダプター生成器を構築した後，数学等の4つのタスクに対して適用した．JapaneseMT-Bench[3]を用いて汎化性能を維持しつつ各タスクの性能を比較した．その結果，DnDは目的タスクと類似タスクの性能も改善できるLoRAアダプターを生成できる可能性が示唆された．以上より，DnDは今後のLLM開発において，低コストで柔軟にタスク適応を実現できることが期待できる．

大規模言語モデル（LLM:LargeLanguageModel）に特定のタスクやドメインに適応させるための学習手法が数多く提案されている．代表的な手法の一つとしてLoRAが挙げられる．LoRAは，事前学習済みモデルの重みを固定したまま，一部の低ランク行列のみを学習することで効率的に適応する手法である．しかし，LoRAを含むパラメータ効率の高い学習手法であっても，学習データの準備や計算資源の確保といった点において依然として高いコストが発生する．このような課題に対し，スパースモデル等を介してアダプターを生成しタスク適用する手法が提案されている[1,4,5]．これらの手法は，モデル全体の再学習を行うことなく，軽量な処理を通じて振る舞いを制御する点に特徴がある．別のアプローチとして学習を伴わず，LLMの振る舞いを柔軟に制御する方法としてDnDが挙げられる．DnDは，ファインチューニングを行わずにプロンプト入力のみでLoRAアダプターを生成し，タスク適応を実現する手法である．プロンプトエンジニアリングがテキストレベルでモデルの挙動を調整するのに対し，DnDはLoRAアダプターを生成することでモデルを重みレベルで直接制御できる．DnDでは，あらかじめプロンプトと対応するLoRAアダプターを用いてアダプター生成器を用意し，目的タスクのプロンプトを入力するだけで，即座にタスク適応したLoRAアダプターを取得できる．このようにDnDは従来のLoRAファインチューニングと比較して，計算資源を大幅に削減しつつ，プロンプト入力のみでモデルの重みを制御する手法である．しかし，既存のDnDに関する報告は主に英語タスクを対象としており，日本語タスクにおいては十分な調査が行われていないように見受けられる．さらに，従来のDnDは特定タスクごとに個別の生成器を構築する先行例が多く，汎用的アダプター生成器の有効性についてもまだ十分に検証されていない．そこで本研究では，汎用的なデータを用いてアダプター生成器を学習し，特定タスクのプロンプトを入力として与えることで，汎化性能を維持したまま特定タスクに特化したLoRAアダプターが生成可能であるかを検証することを目的とする．具体的には，複数の日本語データセットを用いてLoRAアダプター生成器を学習し，従来のLoRAファインチューニングと比較することで，DnDがどの程度計算資源やコストを削減しつつ，汎化性能を維持しながら特定タスクの性能向上に寄与できるかを評価する．これにより，一度汎用的なアダプター生成器を構築しておけば，追加の学習を行うことなく，さまざまな日本語タスクに迅速な適応が可能となる．この特性から，DnDは今後のLLM開発におけるタスク適応の効率を飛躍的に向上させる手法として期待できる．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).B:バッチサイズN:1バッチに含まれるプロンプト数L:系列長C:埋め込みモデルの隠れ次元