Hello xlmr-qa

README.md

@@ -0,0 +1,145 @@
+---
+language: 
+- fa
+- multilingual
+tags:
+- question-answering
+- xlm-roberta
+- roberta
+- squad
+datasets:
+- SajjadAyoubi/persian_qa
+metrics:
+- squad_v2
+widgets:
+- text: "نام دیگر شب یلدا؟"
+  context: "شب یَلدا یا شب چلّه یکی از کهن‌ترین جشن‌های ایرانی است. در این جشن، طی شدن بلندترین شب سال و به دنبال آن بلندتر شدن طول روزها در نیم‌کرهٔ شمالی، که مصادف با انقلاب زمستانی است، گرامی داشته می‌شود. نام دیگر این شب «چِلّه» است، زیرا برگزاری این جشن، یک آیین ایرانی‌است."
+- text: "کهن تریج جشن ایرانی‌ها چه است؟"
+  context: "شب یَلدا یا شب چلّه یکی از کهن‌ترین جشن‌های ایرانی است. در این جشن، طی شدن بلندترین شب سال و به دنبال آن بلندتر شدن طول روزها در نیم‌کرهٔ شمالی، که مصادف با انقلاب زمستانی است، گرامی داشته می‌شود. نام دیگر این شب «چِلّه» است، زیرا برگزاری این جشن، یک آیین ایرانی‌است."
+- text: "شب یلدا مصادف با چه پدیده‌ای است؟"
+  context: "شب یَلدا یا شب چلّه یکی از کهن‌ترین جشن‌های ایرانی است. در این جشن، طی شدن بلندترین شب سال و به دنبال آن بلندتر شدن طول روزها در نیم‌کرهٔ شمالی، که مصادف با انقلاب زمستانی است، گرامی داشته می‌شود. نام دیگر این شب «چِلّه» است، زیرا برگزاری این جشن، یک آیین ایرانی‌است."
+model-index:
+- name: XLM-RoBERTa large for QA (PersianQA - 🇮🇷)
+  results:
+  - task: 
+      type: question-answering
+      name: Question Answering
+    dataset:
+      type: SajjadAyoubi/persian_qa
+      name: PersianQA
+      args: fa
+    metrics:
+      - type: squad_v2
+        value: 83.46
+        name: Eval F1
+        args: max_order
+      - type: squad_v2
+        value: 66.88
+        name: Eval Exact
+        args: max_order
+---
+
+# XLM-RoBERTa large for QA (PersianQA - 🇮🇷) 
+
+This model is a fine-tuned version of [xlm-roberta-large](https://huggingface.co/xlm-roberta-large) on the [PersianQA](https://github.com/sajjjadayobi/PersianQA) dataset.
+
+
+
+## Hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 2e-05
+- train_batch_size: 8
+- eval_batch_size: 8
+- seed: 42
+- gradient_accumulation_steps: 4
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- lr_scheduler_warmup_ratio: 0.1
+- num_epochs: 20.0
+- mixed_precision_training: Native AMP
+
+## Performance
+
+Evaluation results on the eval set with the official [eval script](https://worksheets.codalab.org/rest/bundles/0x6b567e1cf2e041ec80d7098f031c5c9e/contents/blob/).
+
+### Evalset
+
+```text
+"HasAns_exact": 58.678955453149,
+"HasAns_f1": 82.3746683591845,
+"HasAns_total": 651,
+"NoAns_exact": 86.02150537634408,
+"NoAns_f1": 86.02150537634408,
+"NoAns_total": 279,
+"exact": 66.88172043010752,
+"f1": 83.46871946433232,
+"total": 930
+```
+
+
+## Usage
+
+```python
+from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline
+
+model_name_or_path = "m3hrdadfi/xlmr-large-qa-fa"
+nlp = pipeline('question-answering', model=model_name_or_path, tokenizer=model_name_or_path)
+
+context = """
+شب یَلدا یا شب چلّه یکی از کهن‌ترین جشن‌های ایرانی است. 
+در این جشن، طی شدن بلندترین شب سال و به دنبال آن بلندتر شدن طول روزها
+ در نیم‌کرهٔ شمالی، که مصادف با انقلاب زمستانی است، گرامی داشته می‌شود. 
+نام دیگر این شب «چِلّه» است، زیرا برگزاری این جشن، یک آیین ایرانی‌است.
+"""
+# Translation [EN]
+# context = [
+  # Yalda night or Cheleh night is one of the oldest Iranian celebrations. 
+  # The festival celebrates the longest night of the year, followed by longer days in the Northern Hemisphere, 
+  # which coincides with the Winter Revolution. 
+  # Another name for this night is "Chelleh", because holding this celebration is an Iranian ritual.
+# ]
+
+
+questions = [
+    "نام دیگر شب یلدا؟",
+    "کهن تریج جشن ایرانی‌ها چه است؟",
+    "شب یلدا مصادف با چه پدیده‌ای است؟"
+]
+# Translation [EN]
+# questions = [
+  # Another name for Yalda night?
+  # What is the ancient tradition of Iranian celebration?
+  # What phenomenon does Yalda night coincide with?
+# ]
+
+
+kwargs = {}
+
+for question in questions:
+    r = nlp(question=question, context=context, **kwargs)
+    answer = " ".join([token.strip() for token in r["answer"].strip().split() if token.strip()])
+    print(f"{question} {answer}")
+```
+
+**Output**
+
+```text
+نام دیگر شب یلدا؟ «چِلّه»
+کهن تریج جشن ایرانی‌ها چه است؟ شب یَلدا یا شب چلّه
+شب یلدا مصادف با چه پدیده‌ای است؟ انقلاب زمستانی
+
+# Translation [EN]
+# Another name for Yalda night? Cheleh night
+# What is the ancient tradition of Iranian celebration? Yalda night or Chele night
+# What phenomenon does Yalda night coincide with? Winter revolution
+```
+
+## Authors
+- [Mehrdad Farahani](https://github.com/m3hrdadfi)
+
+## Framework versions
+- Transformers 4.12.0.dev0
+- Pytorch 1.9.1+cu111
+- Datasets 1.12.1
+- Tokenizers 0.10.3

config.json

@@ -0,0 +1,30 @@
+{
+  "architectures": [
+    "XLMRobertaForQuestionAnswering"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 1024,
+  "initializer_range": 0.02,
+  "intermediate_size": 4096,
+  "language": "english",
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "name": "XLMRoberta",
+  "num_attention_heads": 16,
+  "num_hidden_layers": 24,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.12.0.dev0",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 250002
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8fd9336bc9ceec6d02aa59bba1409b5e6ece5b65c1f8dae04b0f6a68ecb67188
+size 2235534897

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
+size 5069051

special_tokens_map.json

@@ -0,0 +1 @@
+{"bos_token": "<s>", "eos_token": "</s>", "unk_token": "<unk>", "sep_token": "</s>", "pad_token": "<pad>", "cls_token": "<s>", "mask_token": "<mask>"}

tf_model.h5

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:652c622186154fd1acce515688c6f48bcc3837cd5bd8197b20ddf0e34a624bd5
+size 2235922536

tokenizer_config.json

@@ -0,0 +1 @@
+{"bos_token": "<s>", "eos_token": "</s>", "sep_token": "</s>", "cls_token": "<s>", "unk_token": "<unk>", "pad_token": "<pad>", "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "do_lower_case": false, "model_max_length": 512, "special_tokens_map_file": "germanQA/saved_models/xlm-roberta-large-squad2/special_tokens_map.json", "full_tokenizer_file": null, "name_or_path": "deepset/xlm-roberta-large-squad2", "sp_model_kwargs": {}, "tokenizer_class": "XLMRobertaTokenizer"}