---
license: mit
datasets:
- a686d380/h-corpus-2023
language:
- zh
base_model:
- Qwen/Qwen2.5-7B
library_name: transformers
---

## 使用了Megatron CPT训练的轻小说大模型
使用了Pai Megatron + 32K Sequence Length + FP8 + H100 集群训练

CPT使用了32K为目标切分的小说，所以可以输入非常长的内容，不过int8量化的话我不好说
（24G卡BF16 32K content windows, 杂鱼！）

轻小说数据在7G左右，这个版本是CPT版本，没有SFT，请不要期待指令跟随。

轻小说数据来源包括 https://github.com/ixinzhi/lightnovel-2023
清洗脚本晚些可能公开

7B模型整体效果感觉马马虎虎。

已经训练好32B的模型，32B版本逻辑性非常好。（晚点在公开，好大）

如果模型载入有问题的话，请用qwen2.5原本的tokenizer、vocab等等覆盖一下，我只有权重的megatron转换出来的。

模型的翻译腔是预期效果？



![image/png](https://cdn-uploads.huggingface.co/production/uploads/6338187db7ce9192552401c0/Pz7xTtWViZRg93WU2fwO-.png)