sharp-fin-v2-4b

StartLux-Decision-v1.1-4B-Instant 上的 CFLUE 决策微调,LoRA 已经并进权重。对应本地目录 instant-finetune/merged/sharp-fin-v2-4b,适配器来自 outputs/4b-instant-cflue。基座许可证是 CC-BY-NC-4.0,这份权重沿用同一许可证,不能用于商业用途。

这是完整模型,用 Transformers 直接加载,不需要再挂适配器。decision_config.json 是字母读出(lodestar-letter-readout-v1):在选项字母的 token 上读概率,而不是让模型生成解析。

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "ShuKe777/sharp-fin-v2-4b", torch_dtype="auto", device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("ShuKe777/sharp-fin-v2-4b")

训练

数据是 CFLUE decision 的训练集。验证集 919 题按科目留出,不参与训练。LoRA r = 16,alpha = 16。验证集上第 1 个 epoch 最好:loss 0.574,准确率 0.757(选择题 0.762,判断题 0.740)。

同一套留出测试集 2532 题:loss 0.809,准确率 0.784(选择题 0.786,判断题 0.760)。

decision_config.json 里的 finetune.base 和 adapter 是训练机器上的路径,推理时不用读它们。温度是 noul 2.353、choice 2.214、score 1.134。

Downloads last month
14
Safetensors
Model size
5B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for ShuKe777/sharp-fin-v2-4b

Finetuned
(1)
this model
Quantizations
1 model

Collection including ShuKe777/sharp-fin-v2-4b