LLMへの軽量ベクトル介入による金融センチメント制御

大規模言語モデル(LLM)は有用である一方，金融センチメント分析に使う場合，モデルの再学習（ドメイン適応）にかかる計算コストが運用時のボトルネックとなる．そこで，本研究では，重みを固定したLLMに対し，推論時に特定層の内部表現へ学習済みベクトルを加算し，3値（POSITIVE/NEUTRAL/NEGATIVE）出力を制御する軽量手法Polar2を提案する．Polar2では，末尾トークン表現から中立度軸と極性軸を学習し，介入強度で出力を調整する．更に，本手法の有効性を日本語及び英語のデータセットを用いて実証した．検証の結果，本手法により，比較手法に比べ低コストかつ高性能にドメイン適応できることを確認できた．