yuanzhoulvpi commited on
Commit
768c0a5
1 Parent(s): fbdf430

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -5
README.md CHANGED
@@ -8,13 +8,13 @@ library_name: transformers
8
  ---
9
 
10
  ## 介绍
11
- 1. ✅ 对`bloom-560m`模型做了sft,在这个数量级和模型规模下,效果非常好
12
  2. 🚀 训练代码和推理代码全部分享,可以查看链接[https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom)
13
 
14
  ## 个人感受
15
- 1. `bloom`系列的模型,在中文领域,具有极大的潜力,在经过有监督微调训练之后,效果非常惊人!
16
- 2. `bloom`系列的模型,覆盖中文、英文、代码、法语、西班牙语等。即使拿来做翻译、拿来做代码生成,也都没问题!(后期将会分享相关教程)
17
-
18
 
19
  ## 如何使用
20
 
@@ -22,7 +22,7 @@ library_name: transformers
22
  from transformers import AutoModelForCausalLM, AutoTokenizer
23
 
24
 
25
- checkpoint = "small_model/checkpoint-8260"#"bigscience/bloomz-3b" #"bigscience/bloom-7b1"# "output_dir/checkpoint-8260"#
26
  tokenizer = AutoTokenizer.from_pretrained(checkpoint)
27
  model = AutoModelForCausalLM.from_pretrained(checkpoint)
28
 
 
8
  ---
9
 
10
  ## 介绍
11
+ 1. ✅ 对`bloom-560m`模型做了sft,在这个数量级和模型规模下,效果非常好!
12
  2. 🚀 训练代码和推理代码全部分享,可以查看链接[https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom)
13
 
14
  ## 个人感受
15
+ 1. 🎯 `bloom`系列的模型,在中文领域,具有极大的潜力,在经过有监督微调训练之后,效果非常惊人!
16
+ 2. 🔄 `bloom`系列的模型,覆盖中文、英文、代码、法语、西班牙语等。即使拿来做翻译、拿来做代码生成,也都没问题!(后期将会分享相关教程)
17
+ 3. 😛 当前的这个`bloom-560m`模型,也只是为了跑通整个训练流程,可以无缝切换模型到不同尺寸,如`3b`、`7b`等!
18
 
19
  ## 如何使用
20
 
 
22
  from transformers import AutoModelForCausalLM, AutoTokenizer
23
 
24
 
25
+ checkpoint = "yuanzhoulvpi/chinese_bloom_560m"#"bigscience/bloomz-3b" #"bigscience/bloom-7b1"# "output_dir/checkpoint-8260"#
26
  tokenizer = AutoTokenizer.from_pretrained(checkpoint)
27
  model = AutoModelForCausalLM.from_pretrained(checkpoint)
28