library_name: transformers
base_model: airesearch/wangchanberta-base-att-spm-uncased
tags:
- generated_from_trainer
model-index:
- name: finetune_iapp_thaiqa
results: []
license: mit
datasets:
- phoner45/iapp_thaiqa
pipeline_tag: question-answering
language:
- th
finetune_iapp_thaiqa
his model is a fine-tuned version of airesearch/wangchanberta-base-att-spm-uncased on the ipp_thaiqa dataset.
Model description
โมเดลนี้ได้รับการออกแบบมาเพื่อทำงานในงานถามตอบ (Question Answering) สำหรับภาษาไทย โดยใช้สถาปัตยกรรม WangchanBERTa ซึ่งเป็นโมเดลภาษาไทยที่มีประสิทธิภาพสูง มาจากการปรับแต่งโมเดล BERT แบบไม่แยกตัวพิมพ์เล็กและพิมพ์ใหญ่ และใช้ SentencePiece Tokenizer โมเดลนี้เน้นที่การทำงานกับคำถามและคำตอบภาษาไทยโดยเฉพาะ
Intended uses & limitations
การใช้งาน: โมเดลนี้สามารถนำไปใช้ในงานถามตอบ (Question Answering) สำหรับภาษาไทย เช่น ระบบแชทบอทที่ให้ข้อมูลตามคำถามที่ผู้ใช้ถาม ข้อจำกัด: โมเดลนี้ได้รับการฝึกบนชุดข้อมูลจำกัด ดังนั้นอาจมีข้อผิดพลาดในการทำงานในบางบริบท และประสิทธิภาพอาจไม่ดีเท่าที่ควรในกรณีที่ข้อมูลหรือคำถามมีความซับซ้อนเกินไป หรือเป็นข้อมูลที่ไม่เคยพบเจอมาก่อน
Use a pipeline as a high-level helper
from transformers import pipeline
pipe = pipeline("question-answering", model="phoner45/finetune_iapp_thaiqa")
context = """ ประเทศไทยมีกรุงเทพมหานครเป็นเมืองหลวง และเป็นเมืองที่ใหญ่ที่สุดในประเทศ นอกจากนี้ยังมีจังหวัดอื่นๆ ที่สำคัญ เช่น เชียงใหม่ ภูเก็ต และขอนแก่น ประเทศไทยมีการปกครองในระบอบประชาธิปไตย โดยมีพระมหากษัตริย์เป็นประมุข """
question = "เมืองหลวงของประเทศไทยคือเมืองอะไร?"
result = pipe(question=question, context=context)
Training and evaluation data
ข้อมูลชุดที่ใช้ในการฝึก (Training Dataset) Thai Wikipedia Question Answering Dataset ipp_thaiqa !wget https://archive.org/download/iapp_thaiqa/iapp_thaiqa.zip
Training procedure
The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 16
- eval_batch_size: 32
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_ratio: 0.2
- num_epochs: 2
- mixed_precision_training: Native AMP
Framework versions
- Transformers 4.44.2
- Pytorch 2.4.0+cu121
- Datasets 2.21.0
- Tokenizers 0.19.1