タスク算術の誤差項とその解釈

事前学習済み言語モデルを特定のタスクに適応させるもっとも標準的な方法は，その微調整であろう．しかしモデルの規模は増大の一途をたどっており，必要なスキルの組み合わせに応じて次々と微調整を実施するのは，計算資源を持たぬユーザーにとって最早容易な方法ではなくなっている．最近発見されたタスク算術（taskarithmetic）[1]は，数回の微調整をおこなうだけで，あるいはインターネット上から微調整済みモデルをダウンロードするだけで，あとはモデル重みの足し引きによって新しいモデルを作ることのできる技術である[2,3,4,5]．より具体的には，特定のタスクでの微調整前後のモデル重みの差分をタスクベクトルと呼び，事前学習済みモデルに対し，好きな組み合わせでタスクベクトルたちを線形に足し合わせることで，複数のタスクに適応したモデルを構築できる．ただしタスク算術は常にうまくいくわけではなく，複数のタスクをそれぞれに実行するモデルは作成しやすい一方，「要約して翻訳する」のような複数のタスクを組み合わせた構成的タスクを実現するモデルの作成は困難であると経験的に知られている[6]．本稿では，単語埋め込みの加法構成性の理論に着想を得て，タスクベクトルの加法構成性の理論の構築を試みる．特に，各タスクの損失に議論を帰着させながら，複数のタスクベクトルの線形和と，目標とするタスクベクトルの関係を定式化する．理論的帰結として，複数タスクをそれぞれ実現するような新しいモデルを作ろうとする場合（マルチタスク学習）は加法構成の近似誤差が生じず，一方で構成的なタスクを含む一般的なタスクでは多数の誤差項が導かれることがわかった．すなわち現実のタスク算術の成否についてある程度説明可能な，ひとつの枠組みを構築できたと考える．本研究を足掛かりに，まだ不明点の多いタスク算術の各種性質の解明が進むことを期待したい．