lyogavin commited on
Commit
d955807
1 Parent(s): 3004d1d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +25 -10
README.md CHANGED
@@ -8,6 +8,7 @@ tags:
8
  - conversational
9
  - generation
10
  - qlora
 
11
  ---
12
  # Anima
13
 
@@ -46,16 +47,30 @@ Anima模型基于QLoRA开源的[33B guanaco](https://huggingface.co/timdettmers/
46
 
47
  #### 如何训练
48
 
49
- 使用以下步骤可以重现Anima 33B模型:
50
-
51
- ``` bash
52
- # 1. install dependencies
53
- pip install -r requirements.txt
54
- # 2.
55
- cd training
56
- ./run_Amina_training.sh
57
- ```
58
-
 
 
 
 
 
 
 
 
 
 
 
 
 
 
59
 
60
 
61
  ## 📊验证评估
 
8
  - conversational
9
  - generation
10
  - qlora
11
+ pipeline_tag: conversational
12
  ---
13
  # Anima
14
 
 
47
 
48
  #### 如何训练
49
 
50
+ 1. 重现Anima的模型训练过程:使用以下步骤可以重现Anima 33B模型(单卡80GB H100或双卡 40GB A100均测试过可运行):
51
+
52
+ ```bash
53
+ # 1. install dependencies
54
+ pip install -r requirements.txt
55
+ # 2.
56
+ cd training
57
+ ./run_Amina_training.sh
58
+ ```
59
+
60
+ 2. 基于Anima finetune训练其他model:
61
+
62
+ ```bash
63
+ # 1. install dependencies
64
+ pip install -r requirements.txt
65
+ # 2.
66
+ cd training
67
+ ./run_finetune_raining_based_on_Anima.sh
68
+ ```
69
+ 注:可以修改run_finetune_raining_based_on_Anima.sh中的--dataset和--dataset_format参数使用其他训练数据dataset。
70
+
71
+ #### 多卡训练
72
+ 由于使用Hugging Face Accelerate,天然支持多卡训练。
73
+ 我们测试过双卡40GB的A100,可以直接运行。
74
 
75
 
76
  ## 📊验证评估