zgce/skywork-alpaca-cot-lora

使用 https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/tree/main/Chain-of-Thought 数据集对齐模型支持Alpaca模板

该LoRA使用 https://huggingface.co/Skywork/Skywork-13B-Base-8bits 在一张4090上训练

训练使用llama_factory，执行命令如下

python src/train_bash.py 
    --stage sft --model_name_or_path F:/models/Skywork-13B-Base-8bit 
    --do_train True --finetuning_type lora 
    --template alpaca --flash_attn False 
    --shift_attn False --dataset_dir data 
    --dataset CoT_Chinese_data,CoT_EN_data 
    --cutoff_len 1024 --learning_rate 5e-05 
    --num_train_epochs 1.0 
    --max_samples 100000 
    --per_device_train_batch_size 2 
    --gradient_accumulation_steps 4 
    --lr_scheduler_type cosine 
    --max_grad_norm 1.0 
    --logging_steps 5
    --save_steps 500
    --warmup_steps 0 
    --neft_alpha 0 
    --train_on_prompt False 
    --upcast_layernorm False 
    --lora_rank 32 
    --lora_alpha 16 
    --lora_dropout 0.05 
    --lora_target down_proj,up_proj,o_proj,gate_proj,k_proj,q_proj,v_proj  
    --resume_lora_training True 
    --output_dir saves\Skywork-13B-Base\lora\2023-11-28-23-58-24 
    --fp16 True 
    --plot_loss True