大規模言語モデル群へのroutingタスクにおける埋め込みモデルと多数決併用の分析

2023年には，LLMの顕著な発展に伴いLlama-2[1]やMistral[2]，Qwen[3]などの小規模かつ高性能なLLMが数多く公開された．これらの小規模LLMは追加訓練のコストが低いため，ドメイン特化型の追加学習済みモデルが派生的に構築されている．ただし，追加学習時の訓練データに含まれないドメインにおいて事前学習済みモデルよりもモデル性能が低下する「破壊的忘却」が起こり，この影響は特に小規模なモデルほど大きい[4,5,6]．このような専門性の異なるLLMが多数利用可能な状況では，解きたいタスクに適したLLMを予め選択することで，良質な生成物を得ることが期待できる．先行研究では，与えられた各タスクを解くにあたって，最も高品質な回答を生成できると推定されるLLMへタスクを割り当てるrouting手法が提案されている[7,8]．Shnitzerら[7]は，過去のベンチマークから検索された解きたいタスクの類似事例の正誤を参照することで当該タスクの正答率を推定し，routingを行う手法を提案した．ここにおける類似性は，LLMへ入力されるプロンプト文たちの埋め込み間の距離によって定義される．この埋め込み空間の距離に基づく割り当てによって，無作為な割り当てよりも高い性能を達成することが示された．しかし，タスクの類似性の捉え方が割り当てに直接寄与するにも関わらず，埋め込みモデルの違いによるrouting性能への影響が分析されていない．加えて，誤った割り当てを行った際の詳細な傾向も不明瞭であるため，どのような方向に手法改善の余地があるか分からない．そのため本稿では，このShnitzerら[7]に倣った正答率推定手法に基づくroutign手法について，以下のリサーチクエスチョン（RQ）に関する実験および分析を行った．RQ-1:類似インスタンスの検索に利用する埋め込み空間を変えると，routing性能がどれほど変化するか？Shnitzerら[7]は，インスタンスの埋め込み化をSentence-BERT[9]のみで行なっている．一方で現在文埋め込みモデルには，プロンプトに基づきコンテキストを考慮する手法[10,11,12,13]や，インストラクションを考慮する手法[14]など多様なモデルが提案されている．そこで本稿では，埋め込みモデルの違いによるrouting性能への影響を調査した．結果，単語埋め込みの平均ベクトルを文埋め込みとするモデルからLLMに基づくモデルまで，いずれもrouting性能はおおむね同じであった．RQ-2:現状のroutingと理想的なroutingにはどのような差があるか？本稿では，routingの基準となる推定正答率に基づくLLMのランキングと実際の正誤に基づく理想的なランキングとの差を調査した．結果，スペアマンの順位相関係数は最大でも0.228と高くないものの，NDCG@5[15]では0.625.と高い値が得られた．また，routingの誤り分析を行なったところ，理想的なrouitngに比べて実際のroutingは全タスクで平均的に良い回答を行うLLMへ偏って割り当ててしまう傾向があり，依然として埋め込み手法を含むrouting手法の改善に余地があることが示唆された．RQ-3:routingと多数決を併用することにより，性能を向上できるか？Shnitzerら[7]は，推定正答率の最も高いLLM単体にタスクを割り当てている．一方で，LLMの推論において複数の回答候補による多数決が有効に働くことが知られている[16,17,18]．そこで本稿では，routing時に複数のLLMを選んで回答候補を生成したのち多数決によって集約する手法についても実験し，ランダムにサンプリングされたLLMによる多数決に比べて高い性能を得ることを新たに発見した．