LLMへの軽量ベクトル介入による金融センチメント制御

近年，大規模言語モデル（LLM）は多様な自然言語処理タスクで高い性能を示している一方，実運用では汎用事前学習だけでは金融・経済の専門的文脈を十分に扱えない場合が多く，低コストにドメイン適応する方法が重要となっている．金融ドメインのセンチメントは，市場環境や政策，物価・為替などの状況変化により評価基準が変動し得る．例えば円安は，輸出企業の利益増が重視される局面では肯定的に捉えられうる一方，輸入価格高騰やインフレ圧力が問題化する局面では否定的に捉えられうる．このような「センチメントシフト」が起きる環境では，シフト毎にモデルを再学習する運用は計算・運用コストが大きい．このような問題を解決する手法として知識編集を用いたアプローチが近年，いくつか提案されている．知識編集では，モデル全体を学習するのではなく，ドメイン適応に有効なパラメータのみ，効率的に学習，あるいは，介入することで，効率的にLLMのドメイン適応を行う．その中でも，ポジティブコメントとネガティブコメントの対のような，対照例から得た差分を残差ストリームへ加算するステアリングベクトルを用いた手法であるContrastiveActivationAddition（CAA）[1]は有望な手法の一つである．ただし,CAAはmultiple-choiceの2択（A/B）により「対象行動vsその反対」の二項対比からステアリング方向を抽出する設計であり3値以上の分類問題にはそのまま適用できない．そこで，本研究では，CAAで使われている考え方を3値以上の分類問題にも使えるように拡張した，金融センチメントのドメイン適応手法Polar2を提案すると共に，その有効性を実験的に評価する．Polar2では，モデル重みを固定したまま，推論時に特定層の内部表現へ学習済みベクトルを微小加算することで，金融センチメント出力を制御する．このとき，少数パラメータ（中立度軸と極性軸の2本のベクトル）を外部に学習し，推論時に内部表現へ加算介入する．従来のCAAでは極性軸のみ（1本のベクトル）で学習をするが，本手法では，中立度軸と極性軸の2本のベクトルで学習する．これにより，CAAではできなかった「多クラスセンチメント分類タスクに関する適応」が可能となる．本研究の貢献は以下の通りである．（１）少ない計算コストで，金融センチメントの多クラス分類タスクに関するドメイン適応を行える，ドメイン適応手法Polar2を提案した．（２）実テキストデータを用いた検証により．提案手法によってドメイン適応が実際にできること，そして，提案手法が既存手法に比べ，低コストかつ高性能にドメイン適応できることを実証した．