axlight-4.0-light-merged

skt/A.X-4.0-Light 를 도메인 적응 파인튜닝한 한국어 생성 모델입니다(LoRA 병합본). 단독으로 바로 추론에 사용할 수 있습니다.

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tok = AutoTokenizer.from_pretrained("comhu/axlight-4.0-light-merged")
model = AutoModelForCausalLM.from_pretrained(
    "comhu/axlight-4.0-light-merged", torch_dtype=torch.bfloat16, device_map="auto")

msgs = [{"role": "user", "content": "회사 소개를 한 문단으로 작성해줘."}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=512, do_sample=False)
print(tok.decode(out[0][len(ids[0]):], skip_special_tokens=True))