mesolitica/pythia-2.8b-finetune-lora

LoRA pythia-2.8b

how-to

from peft import PeftModel
from transformers import GenerationConfig, AutoTokenizer, AutoConfig, AutoModelForCausalLM

base_model='EleutherAI/pythia-2.8b'
temperature=0.7
top_p=0.75
top_k=40
num_beams=4
max_new_tokens=256
device = 'cuda'

template = {
    "description": "Template used by Alpaca-LoRA.",
    "prompt_input": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{input}\n\n### Response:\n",
    "prompt_no_input": "Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:\n",
    "response_split": "### Response:"    
}

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    torch_dtype=torch.float16,
    device_map="auto",
)

model = PeftModel.from_pretrained(
    model,
    'mesolitica/pythia-2.8b-finetune',
    torch_dtype=torch.float16,
)

model.config.pad_token_id = tokenizer.pad_token_id = 1
model.config.eos_token_id = tokenizer.eos_token_id = 0
model.half()
_ = model.eval()

q = """
paragraph `"Isu ini sudah lama dan sudah reda namun seperti mereka ini (kerajaan) masih dengan mentaliti 'pembangkang' kerana menghangatkan sesuatu isu supaya rakyat pandang serong kepada PN," katanya ketika dihubungi Sinar Harian pada Isnin.

Beliau berkata demikian ketika diminta mengulas isu dua pemimpin PN iaitu Presiden Pas yang juga Ahli Parlimen Marang, Tan Sri Abdul Hadi Awang serta Ahli Parlimen Permatang Pauh yang Ketua Pemuda Pas Pulau Pinang, Muhammad Fawwaz Mohamad Jan disiasat berhubung kenyataan berunsur perkauman.

Jelas Mohd Harun, Abdul Hadi yang didakwa berunsur perkauman itu mempunyai asas.` isu fawwaz
"""
prompt = template["prompt_no_input"].format(instruction=q)
prompt

inputs = tokenizer(prompt, return_tensors="pt")
input_ids = inputs["input_ids"].to(device)
generation_config = GenerationConfig(
    temperature=temperature,
    top_p=top_p,
    top_k=top_k,
    num_beams=num_beams,
)

with torch.no_grad():
    generation_output = model.generate(
      input_ids=input_ids,
      return_dict_in_generate=True,
      output_scores=True,
      max_new_tokens=max_new_tokens,
      temperature=temperature,
      top_p=top_p,
      top_k=top_k,
      num_beams=num_beams,
    )
s = generation_output.sequences[0]
output = tokenizer.decode(s)

output,

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:

paragraph `"Isu ini sudah lama dan sudah reda namun seperti mereka ini (kerajaan) masih dengan mentaliti 'pembangkang' kerana menghangatkan sesuatu isu supaya rakyat pandang serong kepada PN," katanya ketika dihubungi Sinar Harian pada Isnin.

Beliau berkata demikian ketika diminta mengulas isu dua pemimpin PN iaitu Presiden Pas yang juga Ahli Parlimen Marang, Tan Sri Abdul Hadi Awang serta Ahli Parlimen Permatang Pauh yang Ketua Pemuda Pas Pulau Pinang, Muhammad Fawwaz Mohamad Jan disiasat berhubung kenyataan berunsur perkauman.

Jelas Mohd Harun, Abdul Hadi yang didakwa berunsur perkauman itu mempunyai asas.` isu fawwaz


### Response:
Isu ini sudah lama dan sudah reda namun seperti mereka ini (kerajaan) masih dengan mentaliti 'pembangkang' kerana menghangatkan sesuatu isu supaya rakyat pandang serong kepada PN. Beliau berkata demikian ketika diminta mengulas isu dua pemimpin PN iaitu Presiden Pas yang juga Ahli Parlimen Marang, Tan Sri Abdul Hadi Awang serta Ahli Parlimen Permatang Pauh yang Ketua Pemuda Pas Pulau Pinang, Muhammad Fawwaz Mohamad Jan disiasat berhubung kenyataan berunsur perkauman. Jelas Mohd Harun, Abdul Hadi yang didakwa berunsur perkauman itu mempunyai asas.<|endoftext|>