StockholmG/finbert-fiqa-regressor

FinBERT FIQA Sentiment Regressor

基于 ProsusAI/finbert 微调的金融文本情感回归模型，输出 [-1, 1] 区间的连续情感分数。

这是 financial-sentiment-multitask 项目的产出之一， 由 Kaggle 云端训练后推送至此，供本地 scripts/download_model.py 拉取。

模型结构

FinBERT (bert-base, 768-d)
  └── Dropout(0.1)
        └── Linear(768 -> 1)      # 输出标量，不做 softmax

损失：nn.MSELoss；标签dtype：float32。（注意：回归任务不可用 CrossEntropyLoss， 也不要对输出做 argmax —— 这是本项目踩过的坑。）

评估指标

指标	数值
Test MAE	0.19592526903909305
Test RMSE	0.27580242770622526
Pearson r	n/a
最佳 Val MAE	0.20039435256567076
最佳 Epoch	n/a

快速使用

import torch
from transformers import AutoTokenizer
from your_project.src.fiqa_train import BertRegressor   # 或等价实现

ckpt = torch.load("fiqa_regressor_best.pt", map_location="cpu")
tokenizer = AutoTokenizer.from_pretrained("ProsusAI/finbert")
...
score = model(input_ids, attention_mask)   # -> 标量，[-1, 1]

已知边界

模型在互联网口语/社媒表达上存在分布外问题，例如 earnings blowout 会被判为负面 （英语中 blowout 亦有"爆胎/崩盘"义）。常规财经表述不受影响。详见项目 diagnosis/ 目录。