Update README.md

README.md

@@ -1,3 +1,9 @@
 ---
 license: mit
 ---
+
+使用 https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/tree/main/Chain-of-Thought 数据集对齐模型支持Alpaca模板
+该LoRA使用 https://huggingface.co/Skywork/Skywork-13B-Base-8bits 在一张4090上训练
+训练使用llama_factory
+
+python src/train_bash.py --stage sft --model_name_or_path F:/models/Skywork-13B-Base-8bit --do_train True --finetuning_type lora --template alpaca --flash_attn False --shift_attn False --dataset_dir data --dataset CoT_Chinese_data,CoT_EN_data --cutoff_len 1024 --learning_rate 5e-05 --num_train_epochs 3.0 --max_samples 100000 --per_device_train_batch_size 2 --gradient_accumulation_steps 4 --lr_scheduler_type cosine --max_grad_norm 1.0 --logging_steps 5 --save_steps 500 --warmup_steps 0 --neft_alpha 0 --train_on_prompt False --upcast_layernorm False --lora_rank 32 --lora_alpha 16 --lora_dropout 0.05 --lora_target down_proj,up_proj,o_proj,gate_proj,k_proj,q_proj,v_proj  --resume_lora_training True --output_dir saves\Skywork-13B-Base\lora\2023-11-28-23-58-24 --fp16 True --plot_loss True