Usage for Transformers


import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

BASE_MODEL = "sh2orc/Llama-3-Korean-8B"

model = AutoModelForCausalLM.from_pretrained(BASE_MODEL,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2", 
    device_map="cuda:0")

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = 'right'

instruction = '할부 결제 대해서 설명해줘'

pipe = pipeline("text-generation", 
                model=model, 
                tokenizer=tokenizer, 
                max_new_tokens=1024)

messages = [
    {"role": "user", "content": instruction},
]

prompt = pipe.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

outputs = pipe(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_k=10,
    top_p=0.9,
    add_special_tokens=True,
    eos_token_id = [ 
        pipe.tokenizer.eos_token_id,
        pipe.tokenizer.convert_tokens_to_ids("<|eot_id|>")
    ]
)

print(outputs[0]['generated_text'][len(prompt):])
print(outputs[0]['generated_text'][len(prompt):])

Result

할부 요금은 물건을 살 때, 그 값을 일정 기간 동안 나눠서 지불하는 방식입니다. 예를 들어, 50만원짜리 제품을 10개월 할부로 구매한다면, 각 달마다 5만원씩 10개월이 동안 지불하게 됩니다. 이때, 할부 요금은 일정 기간 동안 이자 없이 물건을 사용할 수 있는 이점이 있지만, 동시에 연체료가 부과될 수 있으며, 채무가 발생하게 됩니다. 따라서, 할부를 사용할 때는 자신의 재정 상태와 구매할 물건을 잘 고려해야 합니다.

Usage for VLLM

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer, pipeline

BASE_MODEL = "sh2orc/Llama-3-Korean-8B"

llm = LLM(model=BASE_MODEL)

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = 'right'

instruction = '카드 할부 결제에 대해서 알려줘'

messages = [
    {
      "role": "system",
      "content": "당신은 훌륭한 AI 비서입니다. You are a great AI assistant."
    },
    {
      "role": "user",
      "content": instruction
    }, 
]


prompt_message = tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True,
)

eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]

outputs = llm.generate(prompt_message, SamplingParams(stop_token_ids=eos_token_id, temperature=0.6, top_p=0.8,max_tokens=4096))

for output in outputs:
    propt = output.prompt
    generated_text = output.outputs[0].text
    print(generated_text)

Result

카드 할부 결제는 결제할 금액을 일정 기간 동안 나눠서 갚는 방식으로, 카드사에 의해 대출된 금액을 갚는 것입니다. 카드 할부 결제는 일정한 기간 동안 상환할 수 있는 금액을 선택하여 결제할 수 있으며, 이 과정에서 이자를 지불해야 합니다. 카드 할부 결제는 일시불 결제보다 유리할 수 있지만, 이자를 지불해야 하기 때문에 비용이 증가합니다.