Create README.md

README.md

@@ -0,0 +1,36 @@
+---
+widget:
+- text: "สวนกุหลาบเป็นโรงเรียนอะไร"
+  context: "โรงเรียนสวนกุหลาบวิทยาลัย (Suankularb Wittayalai School) (อักษรย่อ : ส.ก. / S.K.) เป็นโรงเรียนชายล้วน ระดับชั้นมัธยมศึกษาขนาดใหญ่พิเศษ สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาเขต 1 สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน (ชื่อเดิม: กรมสามัญศึกษา) กระทรวงศึกษาธิการ ก่อตั้งโดย พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้รับการสถาปนาขึ้นในวันที่ 8 มีนาคม พ.ศ. 2424 (ขณะนั้นนับวันที่ 1 เมษายน เป็นวันขึ้นปีใหม่ เมื่อนับอย่างสากลถือเป็น พ.ศ. 2425) โดยเป็นโรงเรียนรัฐบาลแห่งแรกของประเทศไทย"
+---
+#  bert-base-multilingual-cased
+Finetuning `bert-base-multilingual-cased` with the training set of `iapp_wiki_qa_squad` and `thaiqa` (removed examples which have cosine similarity with validation and test examples over 0.8). Benchmarks shared on [wandb](https://wandb.ai/cstorm125/wangchanberta-qa) using validation and test sets of `iapp_wiki_qa_squad`.
+Trained with [thai2transformers](https://github.com/vistec-AI/thai2transformers/blob/dev/scripts/downstream/train_question_answering_lm_finetuning.py).
+```
+export WANDB_PROJECT=wangchanberta-qa
+export MODEL_NAME=wangchanberta-base-att-spm-uncased
+python train_question_answering_lm_finetuning.py \\\\\\\\\\\\\\\\
+  --model_name $MODEL_NAME \\\\\\\\\\\\\\\\
+  --dataset_name iapp_thaiqa \\\\\\\\\\\\\\\\
+  --output_dir $MODEL_NAME-finetune-iapp_thaiqa-model \\\\\\\\\\\\\\\\
+  --log_dir $MODEL_NAME-finetune-iapp_thaiqa-log \\\\\\\\\\\\\\\\
+  --lowercase \\\\\\\\\\\\\\\\
+  --pad_on_right \\\\\\\\\\\\\\\\
+  --fp16
+export MODEL_NAME=xlm-roberta-base
+python train_question_answering_lm_finetuning.py \\\\\\\\\\\\\\\\
+  --model_name $MODEL_NAME \\\\\\\\\\\\\\\\
+  --dataset_name iapp_thaiqa \\\\\\\\\\\\\\\\
+  --output_dir $MODEL_NAME-finetune-iapp_thaiqa-model \\\\\\\\\\\\\\\\
+  --log_dir $MODEL_NAME-finetune-iapp_thaiqa-log \\\\\\\\\\\\\\\\
+  --pad_on_right \\\\\\\\\\\\\\\\
+  --fp16
+export MODEL_NAME=bert-base-multilingual-cased
+python train_question_answering_lm_finetuning.py \\\\\\\\\\\\\\\\
+  --model_name $MODEL_NAME \\\\\\\\\\\\\\\\
+  --dataset_name iapp_thaiqa \\\\\\\\\\\\\\\\
+  --output_dir $MODEL_NAME-finetune-iapp_thaiqa-model \\\\\\\\\\\\\\\\
+  --log_dir $MODEL_NAME-finetune-iapp_thaiqa-log \\\\\\\\\\\\\\\\
+  --pad_on_right \\\\\\\\\\\\\\\\
+  --fp16
+```