axlight-4.0-light-lora

skt/A.X-4.0-Light 용 LoRA 어댑터입니다. 단독으로는 동작하지 않으며 베이스 모델과 함께 불러와 사용합니다.

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

base = "skt/A.X-4.0-Light"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, "comhu/axlight-4.0-light-lora")