trained with chimera_qa

README.md

@@ -3,24 +3,20 @@ widget:
 - text: "สวนกุหลาบเป็นโรงเรียนอะไร"
   context: "โรงเรียนสวนกุหลาบวิทยาลัย (Suankularb Wittayalai School) (อักษรย่อ : ส.ก. / S.K.) เป็นโรงเรียนชายล้วน ระดับชั้นมัธยมศึกษาขนาดใหญ่พิเศษ สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาเขต 1 สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน (ชื่อเดิม: กรมสามัญศึกษา) กระทรวงศึกษาธิการ ก่อตั้งโดย พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้รับการสถาปนาขึ้นในวันที่ 8 มีนาคม พ.ศ. 2424 (ขณะนั้นนับวันที่ 1 เมษายน เป็นวันขึ้นปีใหม่ เมื่อนับอย่างสากลถือเป็น พ.ศ. 2425) โดยเป็นโรงเรียนรัฐบาลแห่งแรกของประเทศไทย"
 ---
+# wangchanberta-base-wiki-20210520-spm-finetune-qa
 
-# wangchanberta-base-wiki-20210520-spm-finetune-qa 
-
-Finetuning `wangchanberta-base-wiki-20210520-spm` with the training set of `iapp_wiki_qa_squad`, `thaiqa`, `xquad` (removed examples which have cosine similarity with validation and test examples over 0.8). Benchmarks shared on [wandb](https://wandb.ai/cstorm125/wangchanberta-qa) using validation and test sets of `iapp_wiki_qa_squad`.
-Trained with [thai2transformers](https://github.com/vistec-AI/thai2transformers/blob/dev/scripts/downstream/train_question_answering_lm_finetuning.py). Combined benchmark datasets downloadable at [vistec-ai/thai2transformers](https://github.com/vistec-AI/thai2transformers/releases/tag/qa-v0.2).
+Finetuning `airesearchth/wangchanberta-base-wiki-20210520-spmd` with the training set of `iapp_wiki_qa_squad`, `thaiqa_squad`, and `nsc_qa` (removed examples which have cosine similarity with validation and test examples over 0.8; contexts of the latter two are trimmed to be around 300 `newmm` words). Benchmarks shared on [wandb](https://wandb.ai/cstorm125/wangchanberta-qa) using validation and test sets of `iapp_wiki_qa_squad`.
+Trained with [thai2transformers](https://github.com/vistec-AI/thai2transformers/blob/dev/scripts/downstream/train_question_answering_lm_finetuning.py).
 
 Run with:
 ```
-export WANDB_PROJECT=wangchanberta-qa
-
-export MODEL_NAME=airesearchth/wangchanberta-base-wiki-20210520-spm
-CUDA_LAUNCH_BLOCKING=1 python train_question_answering_lm_finetuning.py \\
-  --model_name $MODEL_NAME \\
-  --revision main@ckp-50000 \\
-  --dataset_name iapp_thaiqa_xquad \\
-  --output_dir $MODEL_NAME-finetune-iapp_thaiqa_xquad-model \\
-  --log_dir $MODEL_NAME-finetune-iapp_thaiqa_xquad-log \\
-  --model_max_length 400 \\
-  --pad_on_right \\
+export MODEL_NAME=airesearchth/wangchanberta-base-wiki-20210520-news-spm
+CUDA_LAUNCH_BLOCKING=1 python train_question_answering_lm_finetuning.py \
+  --model_name $MODEL_NAME \
+  --dataset_name chimera_qa \
+  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
+  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
+  --model_max_length 400 \
+  --pad_on_right \
   --fp16
-```
+```

config.json

@@ -1,5 +1,5 @@
 {
-  "_name_or_path": "airesearchth/wangchanberta-base-wiki-20210520-spm-finetune-iapp_thaiqa-model/checkpoint-3058",
+  "_name_or_path": "airesearchth/wangchanberta-base-wiki-20210520-spm",
   "architectures": [
     "CamembertForQuestionAnswering"
   ],
@@ -20,7 +20,7 @@
   "num_hidden_layers": 12,
   "pad_token_id": 1,
   "position_embedding_type": "absolute",
-  "transformers_version": "4.4.0",
+  "transformers_version": "4.8.2",
   "type_vocab_size": 1,
   "use_cache": true,
   "vocab_size": 24005

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:982a3c9fe107efdb11a23fc4ead249f61e599f76f6843713c66bb8784737d8b8
-size 415639223
+oid sha256:09f08c02c24bc62b8508bf7f67b82b1267ba1105eb63870369fba0da2b30a9f5
+size 415634097

tokenizer_config.json

@@ -1 +1 @@
-{"bos_token": "<s>", "eos_token": "</s>", "sep_token": "</s>", "cls_token": "<s>", "unk_token": "<unk>", "pad_token": "<pad>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "additional_special_tokens": ["<s>NOTUSED", "</s>NOTUSED", "▁"], "model_max_length": 400, "special_tokens_map_file": null, "name_or_path": "airesearchth/wangchanberta-base-wiki-20210520-spm"}
+{"bos_token": "<s>", "eos_token": "</s>", "sep_token": "</s>", "cls_token": "<s>", "unk_token": "<unk>", "pad_token": "<pad>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "additional_special_tokens": ["<s>NOTUSED", "</s>NOTUSED", "▁"], "model_max_length": 400, "special_tokens_map_file": null, "name_or_path": "airesearchth/wangchanberta-base-wiki-20210520-spm", "sp_model_kwargs": {}, "tokenizer_class": "CamembertTokenizer"}

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1f9a63be556d58823da5a62221f362c8c833d80d5cd22e68cd48ac9fbd32933b
-size 2415
+oid sha256:e2cd051ec42c1a7a3a6dd835351ff2946b4ba1f0214d0d37522d15f1c46a59f4
+size 2799