sharp-fin-v2-9b

StartLux-Decision-v1.1-9B-Instant 上的 CFLUE 决策微调,LoRA 已经并进权重。对应本地目录 instant-finetune/merged/sharp-fin-v2-9b,适配器来自 outputs/9b-instant-cflue。基座许可证是 CC-BY-NC-4.0,这份权重沿用同一许可证,不能用于商业用途。

这是完整模型,用 Transformers 直接加载。decision_config.json 是字母读出(lodestar-letter-readout-v1):在选项字母的 token 上读概率。

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "ShuKe777/sharp-fin-v2-9b", torch_dtype="auto", device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("ShuKe777/sharp-fin-v2-9b")

训练

数据是 CFLUE decision 的训练集。验证集 919 题按科目留出。LoRA r = 16,alpha = 16。验证集上第 1 个 epoch 最好:loss 0.496,准确率 0.805(选择题 0.810,判断题 0.785)。

同一套留出测试集 2532 题:loss 0.649,准确率 0.831(选择题 0.831,判断题 0.840)。

decision_config.json 里的 finetune.base 和 adapter 是训练机器上的路径,推理时不用读它们。温度是 noul 2.353、choice 2.214、score 1.134。

Downloads last month
17
Safetensors
Model size
9B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for ShuKe777/sharp-fin-v2-9b

Finetuned
(1)
this model
Quantizations
1 model

Collection including ShuKe777/sharp-fin-v2-9b