cstorm125's picture
Create README.md
a400379
metadata
widget:
  - text: สวนกุหลาบเป็นโรงเรียนอะไร
    context: >-
      โรงเรียนสวนกุหลาบวิทยาลัย (Suankularb Wittayalai School) (อักษรย่อ : ส.ก.
      / S.K.) เป็นโรงเรียนชายล้วน ระดับชั้นมัธยมศึกษาขนาดใหญ่พิเศษ
      สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาเขต 1
      สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน (ชื่อเดิม: กรมสามัญศึกษา)
      กระทรวงศึกษาธิการ ก่อตั้งโดย พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว
      ได้รับการสถาปนาขึ้นในวันที่ 8 มีนาคม พ.ศ. 2424 (ขณะนั้นนับวันที่ 1 เมษายน
      เป็นวันขึ้นปีใหม่ เมื่อนับอย่างสากลถือเป็น พ.ศ. 2425)
      โดยเป็นโรงเรียนรัฐบาลแห่งแรกของประเทศไทย

bert-base-multilingual-cased

Finetuning bert-base-multilingual-cased with the training set of iapp_wiki_qa_squad and thaiqa (removed examples which have cosine similarity with validation and test examples over 0.8). Benchmarks shared on wandb using validation and test sets of iapp_wiki_qa_squad. Trained with thai2transformers.

export WANDB_PROJECT=wangchanberta-qa
export MODEL_NAME=wangchanberta-base-att-spm-uncased
python train_question_answering_lm_finetuning.py \\\\\\\\\\\\\\\\
  --model_name $MODEL_NAME \\\\\\\\\\\\\\\\
  --dataset_name iapp_thaiqa \\\\\\\\\\\\\\\\
  --output_dir $MODEL_NAME-finetune-iapp_thaiqa-model \\\\\\\\\\\\\\\\
  --log_dir $MODEL_NAME-finetune-iapp_thaiqa-log \\\\\\\\\\\\\\\\
  --lowercase \\\\\\\\\\\\\\\\
  --pad_on_right \\\\\\\\\\\\\\\\
  --fp16
export MODEL_NAME=xlm-roberta-base
python train_question_answering_lm_finetuning.py \\\\\\\\\\\\\\\\
  --model_name $MODEL_NAME \\\\\\\\\\\\\\\\
  --dataset_name iapp_thaiqa \\\\\\\\\\\\\\\\
  --output_dir $MODEL_NAME-finetune-iapp_thaiqa-model \\\\\\\\\\\\\\\\
  --log_dir $MODEL_NAME-finetune-iapp_thaiqa-log \\\\\\\\\\\\\\\\
  --pad_on_right \\\\\\\\\\\\\\\\
  --fp16
export MODEL_NAME=bert-base-multilingual-cased
python train_question_answering_lm_finetuning.py \\\\\\\\\\\\\\\\
  --model_name $MODEL_NAME \\\\\\\\\\\\\\\\
  --dataset_name iapp_thaiqa \\\\\\\\\\\\\\\\
  --output_dir $MODEL_NAME-finetune-iapp_thaiqa-model \\\\\\\\\\\\\\\\
  --log_dir $MODEL_NAME-finetune-iapp_thaiqa-log \\\\\\\\\\\\\\\\
  --pad_on_right \\\\\\\\\\\\\\\\
  --fp16