starcrow/sft_qat

JSONL SFT with QAT-LoRA

이 프로젝트는 JSONL 기반 SFT(Supervised Fine-Tuning)를 수행하며 기존 GGUF Q4_0 QAT-LoRA를 유지합니다.

JSONL 형식

한 줄에 하나의 JSON 객체를 넣습니다. --format auto(기본값)는 아래 세 형식을 자동 감지합니다.

{"messages":[{"role":"user","content":"한국의 수도는?"},{"role":"assistant","content":"서울입니다."}]}
{"instruction":"다음 문장을 요약해줘.","input":"긴 본문", "output":"요약문"}
{"prompt":"질문: 2+2는?\n답:","completion":"4"}

messages 형식은 모델 tokenizer에 chat template 및 assistant token mask 지원이 필요합니다. 지원하지 않으면 prompt/completion 형식을 사용하세요.

실행

config.py의 base_model을 실제 모델 경로로 변경한 후 실행합니다.

python train_sft.py --data_path .\data\train.jsonl --format auto

자주 쓰는 옵션:

python train_sft.py --data_path .\data\train.jsonl --epochs 3 --lr 1e-5 --output_dir .\output_sft_qat
python train_sft.py --data_path .\data\train.jsonl --resume

프롬프트 토큰은 labels=-100으로 마스킹되어 loss에 포함되지 않고, assistant 응답만 학습합니다. QAT warm-up, fake quantization, QAT-LoRA 체크포인트 및 최종 병합 저장은 기존 구현을 그대로 사용합니다.