大規模言語モデル群へのroutingタスクにおける埋め込みモデルと多数決併用の分析

専門性の異なる多様な大規模言語モデル(LLM)が利用可能な状況において，省コストで質の良い生成物を得るために，タスクに応じて適切なモデルを選択するrouting手法が提案されている．既存のrouting手法はLLMがタスクを正しくこなす度合いを推定するために，タスクの埋め込みを用いて類似過去タスクを参照するが，埋め込みモデルの違いが性能に与える影響を十分に分析できていない．本研究では埋め込みモデルによるrouting性能の差異を分析した．その結果，埋め込みによる性能の差異はほとんど無い一方，全タスクで平均的に良い回答を行うLLMに偏ってタスクを割り当てるため，依然としてrouting手法に改善の余地があることが分かった．また，複数の候補モデルをrouting手法で選択した後に，多数決で誤答を省くことで，更に性能が改善することも新たに発見した．