trained with chimera_qa

README.md

@@ -3,19 +3,20 @@ widget:
 - text: "สวนกุหลาบเป็นโรงเรียนอะไร"
   context: "โรงเรียนสวนกุหลาบวิทยาลัย (Suankularb Wittayalai School) (อักษรย่อ : ส.ก. / S.K.) เป็นโรงเรียนชายล้วน ระดับชั้นมัธยมศึกษาขนาดใหญ่พิเศษ สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาเขต 1 สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน (ชื่อเดิม: กรมสามัญศึกษา) กระทรวงศึกษาธิการ ก่อตั้งโดย พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้รับการสถาปนาขึ้นในวันที่ 8 มีนาคม พ.ศ. 2424 (ขณะนั้นนับวันที่ 1 เมษายน เป็นวันขึ้นปีใหม่ เมื่อนับอย่างสากลถือเป็น พ.ศ. 2425) โดยเป็นโรงเรียนรัฐบาลแห่งแรกของประเทศไทย"
 ---
+
 #  bert-base-multilingual-cased
 
-Finetuning `bert-base-multilingual-cased` with the training set of `iapp_wiki_qa_squad`, `thaiqa`, `xquad` (removed examples which have cosine similarity with validation and test examples over 0.8). Benchmarks shared on [wandb](https://wandb.ai/cstorm125/wangchanberta-qa) using validation and test sets of `iapp_wiki_qa_squad`.
-Trained with [thai2transformers](https://github.com/vistec-AI/thai2transformers/blob/dev/scripts/downstream/train_question_answering_lm_finetuning.py). Combined benchmark datasets downloadable at [vistec-ai/thai2transformers](https://github.com/vistec-AI/thai2transformers/releases/tag/qa-v0.2).
+Finetuning `bert-base-multilingual-cased` with the training set of `iapp_wiki_qa_squad`, `thaiqa_squad`, and `nsc_qa` (removed examples which have cosine similarity with validation and test examples over 0.8; contexts of the latter two are trimmed to be around 300 `newmm` words). Benchmarks shared on [wandb](https://wandb.ai/cstorm125/wangchanberta-qa) using validation and test sets of `iapp_wiki_qa_squad`.
+Trained with [thai2transformers](https://github.com/vistec-AI/thai2transformers/blob/dev/scripts/downstream/train_question_answering_lm_finetuning.py).
 
 Run with:
 ```
 export MODEL_NAME=bert-base-multilingual-cased
 python train_question_answering_lm_finetuning.py \
   --model_name $MODEL_NAME \
-  --dataset_name iapp_thaiqa_xquad \
-  --output_dir $MODEL_NAME-finetune-iapp_thaiqa_xquad-model \
-  --log_dir $MODEL_NAME-finetune-iapp_thaiqa_xquad-log \
+  --dataset_name chimera_qa \
+  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
+  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
   --pad_on_right \
   --fp16
-```
+```

config.json

@@ -1,5 +1,5 @@
 {
-  "_name_or_path": "bert-base-multilingual-cased-finetune-iapp_thaiqa-model/checkpoint-6972",
+  "_name_or_path": "bert-base-multilingual-cased",
   "architectures": [
     "BertForQuestionAnswering"
   ],
@@ -23,7 +23,7 @@
   "pooler_size_per_head": 128,
   "pooler_type": "first_token_transform",
   "position_embedding_type": "absolute",
-  "transformers_version": "4.4.0",
+  "transformers_version": "4.8.2",
   "type_vocab_size": 2,
   "use_cache": true,
   "vocab_size": 119547

flax_model.msgpack

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:3b361280e0813772116a5fffa54d2aa89f84b3e25c6ec4a2ec047f663968e68b
-size 709064688

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d15f8b5483aedbfe45a66a4b6729c40de019fdb9a9af2e76e1915112aac35ae1
-size 709146103
+oid sha256:e0a839efa214a99e50dda6a3c40a94d299111e809c52b917d5b16a5ed868b58d
+size 709140913

tokenizer_config.json

@@ -1 +1 @@
-{"do_lower_case": false, "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "tokenize_chinese_chars": true, "strip_accents": null, "model_max_length": 416, "special_tokens_map_file": null, "name_or_path": "bert-base-multilingual-cased"}
+{"do_lower_case": false, "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "tokenize_chinese_chars": true, "strip_accents": null, "model_max_length": 416, "special_tokens_map_file": null, "name_or_path": "bert-base-multilingual-cased", "tokenizer_class": "BertTokenizer"}

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:602f32498b4db5fa6ffaaca4d0dc17b1ffdacb9e9893534d17cef85d21f3c14a
-size 2351
+oid sha256:2ff1a9466f343a18bf847325ac69ddd4161d81bd12bd5c945f0c2e5a5921ffbb
+size 2671