タスク算術の誤差項とその解釈

重み空間での「タスク算術」によって，追加学習抜きに言語モデルに新しいスキルを付与できる可能性がある．例えば，特定のタスクへの微調整前後のモデル重みの差分を「タスクベクトル」として取り出し，これを複数足し合わせることで，複数タスクに対応したモデルを構築できる．ここで，個々のタスクそれぞれに適応したモデルを作る場合は成功例が多い一方，「要約して翻訳する」のような構成的なタスクではこれが困難なことが経験的に知られている．本稿では，単語埋め込みの加法構成性の理論に着想を得て，タスクベクトルの加法構成性の定式化を試みる．提案する理論的枠組みにより，タスク算術の成否に関わる近似誤差を導出できる．またこの帰結として，複数タスクのそれぞれを実現しようとする「マルチタスク学習」ではこの近似誤差が消える一方，構成的なタスクを含む一般的なタスクでは多数の誤差項が導かれることを示した．