Update README.md

README.md

@@ -3,7 +3,37 @@ license: mit
 ---
 
 使用 https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/tree/main/Chain-of-Thought 数据集对齐模型支持Alpaca模板
+
 该LoRA使用 https://huggingface.co/Skywork/Skywork-13B-Base-8bits 在一张4090上训练
-训练使用llama_factory
 
-python src/train_bash.py --stage sft --model_name_or_path F:/models/Skywork-13B-Base-8bit --do_train True --finetuning_type lora --template alpaca --flash_attn False --shift_attn False --dataset_dir data --dataset CoT_Chinese_data,CoT_EN_data --cutoff_len 1024 --learning_rate 5e-05 --num_train_epochs 3.0 --max_samples 100000 --per_device_train_batch_size 2 --gradient_accumulation_steps 4 --lr_scheduler_type cosine --max_grad_norm 1.0 --logging_steps 5 --save_steps 500 --warmup_steps 0 --neft_alpha 0 --train_on_prompt False --upcast_layernorm False --lora_rank 32 --lora_alpha 16 --lora_dropout 0.05 --lora_target down_proj,up_proj,o_proj,gate_proj,k_proj,q_proj,v_proj  --resume_lora_training True --output_dir saves\Skywork-13B-Base\lora\2023-11-28-23-58-24 --fp16 True --plot_loss True 
+训练使用llama_factory，执行命令如下
+
+```
+python src/train_bash.py 
+    --stage sft --model_name_or_path F:/models/Skywork-13B-Base-8bit 
+    --do_train True --finetuning_type lora 
+    --template alpaca --flash_attn False 
+    --shift_attn False --dataset_dir data 
+    --dataset CoT_Chinese_data,CoT_EN_data 
+    --cutoff_len 1024 --learning_rate 5e-05 
+    --num_train_epochs 1.0 
+    --max_samples 100000 
+    --per_device_train_batch_size 2 
+    --gradient_accumulation_steps 4 
+    --lr_scheduler_type cosine 
+    --max_grad_norm 1.0 
+    --logging_steps 5
+    --save_steps 500
+    --warmup_steps 0 
+    --neft_alpha 0 
+    --train_on_prompt False 
+    --upcast_layernorm False 
+    --lora_rank 32 
+    --lora_alpha 16 
+    --lora_dropout 0.05 
+    --lora_target down_proj,up_proj,o_proj,gate_proj,k_proj,q_proj,v_proj  
+    --resume_lora_training True 
+    --output_dir saves\Skywork-13B-Base\lora\2023-11-28-23-58-24 
+    --fp16 True 
+    --plot_loss True
+```