|
--- |
|
language: |
|
- th |
|
- en |
|
license: llama3 |
|
datasets: |
|
- airesearch/concat_six_dataset_th_en |
|
--- |
|
|
|
# LLaMa3-8b-WangchanX-sft-Demo |
|
|
|
Built with Meta Llama 3 (Fine tuning with Qlora) |
|
|
|
This model is based on [WangchanX Fine-tuning Pipeline](https://github.com/vistec-AI/WangchanX). |
|
|
|
GitHub: [WangchanX Fine-tuning Pipeline](https://github.com/vistec-AI/WangchanX). |
|
|
|
License: [Meta Llama 3 Community License](https://llama.meta.com/llama3/license/) |
|
|
|
Meta Llama 3 is licensed under the Meta Llama 3 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved. |
|
|
|
## Train Example |
|
|
|
Train WangchanX pipeline: [Colab](https://colab.research.google.com/github/vistec-AI/WangchanX/blob/main/notebooks/Train_WangchanX_pipeline.ipynb) |
|
|
|
## Inference Example |
|
|
|
Run on [Colab](https://colab.research.google.com/drive/1PeUnv89Ao2uHRYYzZVOlUwoBUdYKFbLS?usp=sharing) |
|
|
|
### Prepare your model and tokenizer: |
|
|
|
```python |
|
import torch |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
# Model path |
|
path = "airesearch/LLaMa3-8b-WangchanX-sft-Demo" |
|
|
|
# Device |
|
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') |
|
|
|
# Load tokenizer and model |
|
tokenizer = AutoTokenizer.from_pretrained(path, use_fast=False) |
|
model = AutoModelForCausalLM.from_pretrained(path, device_map="auto") |
|
``` |
|
|
|
### Define chat messages: |
|
|
|
```python |
|
messages = [ |
|
{"role": "user", "content": "ลิเก กับ งิ้ว ต่างกันอย่างไร"}, |
|
] |
|
``` |
|
|
|
### Tokenize chat messages: |
|
|
|
```python |
|
tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(device) |
|
print(tokenizer.decode(tokenized_chat[0])) |
|
``` |
|
|
|
<details close> |
|
<summary>Output: </summary> |
|
<br> |
|
<pre lang="markdown"> |
|
<|user|> |
|
ลิเก กับ งิ้ว ต่างกันอย่างไร<|end_of_text|> |
|
<|assistant|></pre> |
|
</details> |
|
|
|
### Generate responses: |
|
|
|
```python |
|
outputs = model.generate(tokenized_chat, max_length=2048) |
|
print(tokenizer.decode(outputs[0])) |
|
``` |
|
|
|
<details close> |
|
<summary>Output: </summary> |
|
<br> |
|
<pre lang="markdown"> |
|
<|user|> |
|
ลิเก กับ งิ้ว ต่างกันอย่างไร<|end_of_text|> |
|
<|assistant|> |
|
ก่อนอื่นเราต้องรู้ความหมายของคำทั้งสอง คำว่า ลิเก เป็นศิลปะการแสดงแบบดั้งเดิมในประเทศไทย ส่วนคำว่า งิ้วน่าจะเป็นการนำภาษาไทยมาแปลจากคำว่า อินโดปีเลีย (indoplea) ซึ่งเป็นชื่อเรียกดนตรีที่มีต้นกำเนิดจากรัฐอุตตาร์ประเทศ ในอินเดีย และได้แพร่หลายไปยังเอเชียตะวันออกเฉียงใต้ โดยเฉพาะสาธารณรัฐประชาชนจีนและเวียดนาม จึงทำให้เกิดคำว่า งิ้วด้วย แต่ทุกคนไม่รู้ว่ามันก็คืออะไรจริง ๆ แล้ว มันมีความแตกต่างกันมาก เพราะถ้าไปถามชาวบ้านบางแห่งอาจจะบอกว่าเป็นอีกประเภทหนึ่งของเพลงโบราณหรือเพลงพื้นเมือง หรือถ้าพูดตามหลักทางประวัติศาสตร์ก็จะกล่าวว่านั่นคือ การขับร้องเพลงที่ใช้รูปแบบการประสานเสียงแบบฮินดู-ซิกห์วัล ที่ผสมผสานระหว่างภาษาอังกฤษ ภาษาจีนกลาง ภาษาพม่า และภาษาทางเหนือกับภาษาลาว รวมถึงภาษากลุ่มออสเตรโลไนว์ในอดีต ดังนั้นตอนนี้คุณสามารถสรุปได้อย่างแม่นยำว่าสองอย่างเหล่านี้แตกต่างกันอย่างไร: ลิเก คือ ศิลปะการแสดงที่มีมายาวนานกว่า 100 ปีในประเทศไทย เช่น ลิเกล้านนา, ลิเกตลุง, ลิเกล้อ ฯลฯ ขณะที่ งิ้ว หมายถึง เพลงประสานเสียงที่มีรากเหง้าของวงการเพลงคลาสสิคในอินเดีย และแพร่กระจายในเอเชียตะวันตกเฉียงใต้เป็นสิ่งแรกๆ หลังจากการเผยแผ่ศาสนายุคแรกๆ นอกจากนี้ ยังมีการรวมแนวเพลงเพื่อรวมเข้ากับการเต้นร่วมสมัยและบทละครที่มีอิทธิพลจากวรรณกรรมจีน<|end_of_text|></pre> |
|
</details> |
|
|
