|
--- |
|
license: mit |
|
--- |
|
|
|
使用 https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/tree/main/Chain-of-Thought 数据集对齐模型支持Alpaca模板 |
|
|
|
该LoRA使用 https://huggingface.co/Skywork/Skywork-13B-Base-8bits 在一张4090上训练 |
|
|
|
训练使用llama_factory，执行命令如下 |
|
|
|
``` |
|
python src/train_bash.py |
|
--stage sft --model_name_or_path F:/models/Skywork-13B-Base-8bit |
|
--do_train True --finetuning_type lora |
|
--template alpaca --flash_attn False |
|
--shift_attn False --dataset_dir data |
|
--dataset CoT_Chinese_data,CoT_EN_data |
|
--cutoff_len 1024 --learning_rate 5e-05 |
|
--num_train_epochs 1.0 |
|
--max_samples 100000 |
|
--per_device_train_batch_size 2 |
|
--gradient_accumulation_steps 4 |
|
--lr_scheduler_type cosine |
|
--max_grad_norm 1.0 |
|
--logging_steps 5 |
|
--save_steps 500 |
|
--warmup_steps 0 |
|
--neft_alpha 0 |
|
--train_on_prompt False |
|
--upcast_layernorm False |
|
--lora_rank 32 |
|
--lora_alpha 16 |
|
--lora_dropout 0.05 |
|
--lora_target down_proj,up_proj,o_proj,gate_proj,k_proj,q_proj,v_proj |
|
--resume_lora_training True |
|
--output_dir saves\Skywork-13B-Base\lora\2023-11-28-23-58-24 |
|
--fp16 True |
|
--plot_loss True |
|
``` |
