trained with chimera_qa

README.md

@@ -0,0 +1,24 @@
+---
+widget:
+- text: "สวนกุหลาบเป็นโรงเรียนอะไร"
+  context: "โรงเรียนสวนกุหลาบวิทยาลัย (Suankularb Wittayalai School) (อักษรย่อ : ส.ก. / S.K.) เป็นโรงเรียนชายล้วน ระดับชั้นมัธยมศึกษาขนาดใหญ่พิเศษ สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาเขต 1 สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน (ชื่อเดิม: กรมสามัญศึกษา) กระทรวงศึกษาธิการ ก่อตั้งโดย พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ได้รับการสถาปนาขึ้นในวันที่ 8 มีนาคม พ.ศ. 2424 (ขณะนั้นนับวันที่ 1 เมษายน เป็นวันขึ้นปีใหม่ เมื่อนับอย่างสากลถือเป็น พ.ศ. 2425) โดยเป็นโรงเรียนรัฐบาลแห่งแรกของประเทศไทย"
+---
+# wangchan-deberta_v1-base-wiki-20210520-news-spm-finetune-qa
+
+Finetuning `airesearch/wangchan-deberta_v1-base-wiki-20210520-news-spm` with the training set of `iapp_wiki_qa_squad`, `thaiqa_squad`, and `nsc_qa` (removed examples which have cosine similarity with validation and test examples over 0.8; contexts of the latter two are trimmed to be around 300 `newmm` words). Benchmarks shared on [wandb](https://wandb.ai/cstorm125/wangchanberta-qa) using validation and test sets of `iapp_wiki_qa_squad`.
+Trained with [thai2transformers](https://github.com/vistec-AI/thai2transformers/blob/dev/scripts/downstream/train_question_answering_lm_finetuning.py).
+
+Run with:
+```
+export MODEL_NAME=wangchan-deberta_v1-base-wiki-20210520-news-spm
+CUDA_LAUNCH_BLOCKING=1 python train_question_answering_lm_finetuning.py \
+  --model_name $MODEL_NAME \
+  --dataset_name chimera_qa \
+  --revision mlm@ckp-41100 \
+  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
+  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
+  --model_max_length 400 \
+  --pad_on_right \
+  --fp16 \
+  --use_auth_token
+```

config.json

@@ -0,0 +1,31 @@
+{
+  "_name_or_path": "airesearch/wangchan-deberta_v1-base-wiki-20210520-news-spm",
+  "architectures": [
+    "DebertaForQuestionAnswering"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-07,
+  "max_position_embeddings": 512,
+  "max_relative_positions": -1,
+  "model_type": "deberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "pooler_dropout": 0,
+  "pooler_hidden_act": "gelu",
+  "pooler_hidden_size": 768,
+  "pos_att_type": [
+    "c2p",
+    "p2c"
+  ],
+  "position_biased_input": false,
+  "relative_attention": true,
+  "transformers_version": "4.8.2",
+  "type_vocab_size": 0,
+  "vocab_size": 25005
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6a2dc10fde63abb67a4de4ee30c8cd975681aec9759d21888da329fd30db35ff
+size 476899699

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dfda5168b8b07c637cd71a88aaff45312de75e3e4e8bc5c6cf5346f92f206cdc
+size 1017584

special_tokens_map.json

@@ -0,0 +1 @@
+{"bos_token": "<s>", "eos_token": "</s>", "unk_token": "<unk>", "sep_token": "</s>", "pad_token": "<pad>", "cls_token": "<s>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true}, "additional_special_tokens": ["<s>NOTUSED", "</s>NOTUSED", "▁"]}

tokenizer_config.json

@@ -0,0 +1 @@
+{"bos_token": "<s>", "eos_token": "</s>", "sep_token": "</s>", "cls_token": "<s>", "unk_token": "<unk>", "pad_token": "<pad>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "additional_special_tokens": ["<s>NOTUSED", "</s>NOTUSED", "▁"], "special_tokens_map_file": null, "model_max_length": 400, "name_or_path": "airesearch/wangchan-deberta_v1-base-wiki-20210520-news-spm", "sp_model_kwargs": {}, "tokenizer_class": "CamembertTokenizer"}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9cfcf7c79dfa1bf23a89530094712f3a5a5efa7adee75d9558b8bcb1c650f5eb
+size 2735