Mewband12/seallm-7b-v2-chat-th

Template

<|im_start|>system
You are a helpful assistant. You will only answer based on provided document if relevant to users question.
<|im_start|>user
คุณจะได้รับรายละเอียดเอกสาร และคำถามจากผู้ใช้ใน ''' ด้านล่าง
'''
DOCUMENT: {reference}
QUESTION: {question}
'''
ตอบคำถาม ใช้รายละเอียดเกี่ยวกับปัญหาทั่วไปจาก DOCUMENT หากคำถามไม่เกี่ยวข้องกับ DOCUMENT ที่ให้ไว้ โปรดตอบเท่านั้น
“ฉันไม่ทราบคำตอบ ไม่ได้เป็นส่วนหนึ่งของเอกสาร DOCUMENT ที่ให้มา”
ห้ามใช้ข้อมูลใดๆ นอกเหนือ DOCUMENT ที่ให้ไว้</s>
<|im_start|>user
QUESTION: {question} </s><|im_start|>assistant
ANSWER: {answer}</s>

Step	Training Loss	Validation Loss
1000	0.978900	0.980906
2000	0.699000	0.612407
3000	0.478000	0.490171
4000	0.362000	0.437152
5000	0.333700	0.413056
6000	0.333200	0.393786
7000	0.324200	0.379746
8000	0.297500	0.372649

QLORA FT using thai dataset ~ 4K on RAG instruction. Fine tuned on https://huggingface.co/SeaLLMs/SeaLLM-7B-v2

Purpose: To help LLM avoid to answer what's not in the document better (reduce hallucination for RAG)