YAML Metadata
Warning:
empty or missing yaml metadata in repo card
(https://huggingface.co/docs/hub/model-cards#model-card-metadata)
Quantization made by Richard Erkhov.
LLaMa3-8b-WangchanX-sft-Full - GGUF
- Model creator: https://huggingface.co/airesearch/
- Original model: https://huggingface.co/airesearch/LLaMa3-8b-WangchanX-sft-Full/
Original model description:
language: - th - en license: llama3
LLaMa3-8b-WangchanX-sft-Full
Built with Meta Llama 3 (Fine tuning with Qlora)
This model is based on WangchanX Fine-tuning Pipeline.
GitHub: WangchanX Fine-tuning Pipeline.
License: Meta Llama 3 Community License
Meta Llama 3 is licensed under the Meta Llama 3 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.
Train Example
Train WangchanX pipeline: Colab This model train on public dataset around 22GB.
Inference Example
Run on Colab
Prepare your model and tokenizer:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# Model path
path = "airesearch/LLaMa3-8b-WangchanX-sft-Full"
# Device
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(path, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(path, device_map="auto")
Define chat messages:
messages = [
{"role": "system", "content": "You are a helpful, respectful and honest assistant. Your answers should not include any harmful,
unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially
unbiased and positive in nature. If you don’t know the answer to a question, please don’t share false information. please answer the question in Thai."},
{"role": "user", "content": "บอกเทคนิคการเรียนที่มีประสิทธิภาพ"},
]
Tokenize chat messages:
tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(device)
print(tokenizer.decode(tokenized_chat[0]))
Output:
<|user|>
บอกเทคนิคการเรียนที่มีประสิทธิภาพ<|end_of_text|>
<|assistant|>
Generate responses:
outputs = model.generate(tokenized_chat, max_length=2048)
print(tokenizer.decode(outputs[0]))
Output:
<|user|>
บอกเทคนิคการเรียนที่มีประสิทธิภาพ<|end_of_text|>
<|assistant|>
ใช้เวลาให้เป็นประโยชน์ ลองทำสมาธิก่อนค่อยอ่านหนังสือ ดูว่าวิธีการศึกษาทำได้ดีที่สุดแค่ไหน ให้จดโน้ตขณะฟังเลกเชอร์ในห้องเรียน ทำข้อสอบฝึกตัวเอง ถ้าตอบผิดให้ค้นหาเพิ่มเติมเอง อย่าลืมอ่านทบทวนก่อนสอบ!
- Downloads last month
- 928