|
--- |
|
model-index: |
|
- name: afschowdhury/qa-xlmr-bn |
|
results: |
|
- task: |
|
type: question-answering |
|
name: Question Answering |
|
dataset: |
|
name: squad_bn |
|
type: squad_bn |
|
config: squad_v2 |
|
split: validation |
|
metrics: |
|
- type: exact_match |
|
value: 94.52875399361022 |
|
name: Exact Match |
|
- type: f1 |
|
value: 96.56710191654284 |
|
name: F1 |
|
- type: total |
|
value: 2504 |
|
name: total |
|
- type: HasAns_exact |
|
value: 89.29712460063898 |
|
name: HasAns_exact |
|
- type: HasAns_f1 |
|
value: 93.37382044650411 |
|
name: HasAns_f1 |
|
- type: HasAns_total |
|
value: 1252 |
|
name: HasAns_total |
|
- type: NoAns_exact |
|
value: 99.76038338658147 |
|
name: NoAns_exact |
|
- type: NoAns_f1 |
|
value: 99.76038338658147 |
|
name: NoAns_f1 |
|
- type: NoAns_total |
|
value: 1252 |
|
name: NoAns_total |
|
widget: |
|
- text: দলের মহিলা কমিটির চেয়ারম্যান কে ? |
|
context: সাফ চ্যাম্পিয়নশিপের ট্রফিটা কোলের ওপর রেখে ঢাকায় ফেরার বিমানের অপেক্ষা করছিলেন সানজিদা আক্তার। পাশের চেয়ারে কৃষ্ণা রানী সরকার, মাসুরা পারভীনরা তখন মুঠোফোনে ব্যস্ত। কিন্তু মুঠোফোনের স্ক্রিনে বেশিক্ষণ চোখ রাখতে পারছিলেন না কেউই। কাঠমান্ডুর ত্রিভুবন আন্তর্জাতিক বিমানবন্দরের ইমিগ্রেশন শেষে ঢাকাগামী বাংলাদেশি যাত্রীদের অভিনন্দন গ্রহণ করতেই বেশি ব্যস্ত হয়ে যেতে হলো। একটু পরপর ট্রফিসহ ফুটবলারদের সঙ্গে ছবি ও সেলফি তুলতে লাগলেন যাত্রীরা। শুধু বাংলাদেশিরাই নন, বিমানবন্দরে থাকা বিদেশি যাত্রীরাও সাফজয়ীদের সঙ্গে ছবি তুললেন। দলের সঙ্গে ঢাকায় এসেছেন বাংলাদেশ ফুটবল ফেডারেশনের মহিলা কমিটির চেয়ারম্যান মাহফুজা আক্তার। বিমানে ওঠার আগে মেয়েদের এক দফা কাছে ডেকে নেন এই কর্মকর্তা। গোল হয়ে দাঁড়িয়ে মাহফুজার কথাগুলো শোনেন সাবিনারা। ঢাকায় হজরত শাহজালাল আন্তর্জাতিক বিমানবন্দরে নামার পর আনুষ্ঠানিকতা কেমন হবে, ছাদখোলা বাসে কীভাবে মেয়েরা উঠবেন, কতটা শৃঙ্খলা বজায় রেখে ছাদে উঠতে হবে, সে পরামর্শ দিলেন। বাসে মেয়েদের পাশে যেন আর কেউ না দাঁড়াতে পারেন, বাংলাদেশ নারী ফুটবল দলের ম্যানেজার আমিরুল ইসলামকে সেটা তদারক করার নির্দেশ দেন মাহফুজা।দেশে ফেরার জন্য তর সইছিল না মারিয়া মান্দা, মণিকা চাকমাদেরও। ত্রিভুবন বিমানবন্দরের রানওয়ে থেকে বাংলাদেশ বিমানের বিজি ৩৭২ বোয়িং উড়োজাহাজটি নেপালের আকাশ ছুঁতেই মেয়েরা আনন্দে একসঙ্গে চিৎকার করে ওঠেন। |
|
example_title: Bengali question and context |
|
- text: what was the airplanes name ? |
|
context: সাফ চ্যাম্পিয়নশিপের ট্রফিটা কোলের ওপর রেখে ঢাকায় ফেরার বিমানের অপেক্ষা করছিলেন সানজিদা আক্তার। পাশের চেয়ারে কৃষ্ণা রানী সরকার, মাসুরা পারভীনরা তখন মুঠোফোনে ব্যস্ত। কিন্তু মুঠোফোনের স্ক্রিনে বেশিক্ষণ চোখ রাখতে পারছিলেন না কেউই। কাঠমান্ডুর ত্রিভুবন আন্তর্জাতিক বিমানবন্দরের ইমিগ্রেশন শেষে ঢাকাগামী বাংলাদেশি যাত্রীদের অভিনন্দন গ্রহণ করতেই বেশি ব্যস্ত হয়ে যেতে হলো। একটু পরপর ট্রফিসহ ফুটবলারদের সঙ্গে ছবি ও সেলফি তুলতে লাগলেন যাত্রীরা। শুধু বাংলাদেশিরাই নন, বিমানবন্দরে থাকা বিদেশি যাত্রীরাও সাফজয়ীদের সঙ্গে ছবি তুললেন। দলের সঙ্গে ঢাকায় এসেছেন বাংলাদেশ ফুটবল ফেডারেশনের মহিলা কমিটির চেয়ারম্যান মাহফুজা আক্তার। বিমানে ওঠার আগে মেয়েদের এক দফা কাছে ডেকে নেন এই কর্মকর্তা। গোল হয়ে দাঁড়িয়ে মাহফুজার কথাগুলো শোনেন সাবিনারা। ঢাকায় হজরত শাহজালাল আন্তর্জাতিক বিমানবন্দরে নামার পর আনুষ্ঠানিকতা কেমন হবে, ছাদখোলা বাসে কীভাবে মেয়েরা উঠবেন, কতটা শৃঙ্খলা বজায় রেখে ছাদে উঠতে হবে, সে পরামর্শ দিলেন। বাসে মেয়েদের পাশে যেন আর কেউ না দাঁড়াতে পারেন, বাংলাদেশ নারী ফুটবল দলের ম্যানেজার আমিরুল ইসলামকে সেটা তদারক করার নির্দেশ দেন মাহফুজা।দেশে ফেরার জন্য তর সইছিল না মারিয়া মান্দা, মণিকা চাকমাদেরও। ত্রিভুবন বিমানবন্দরের রানওয়ে থেকে বাংলাদেশ বিমানের বিজি ৩৭২ বোয়িং উড়োজাহাজটি নেপালের আকাশ ছুঁতেই মেয়েরা আনন্দে একসঙ্গে চিৎকার করে ওঠেন। |
|
example_title: English Question Bengali Context |
|
datasets: |
|
- csebuetnlp/squad_bn |
|
language: |
|
- bn |
|
- en |
|
pipeline_tag: question-answering |
|
tags: |
|
- question-answering |
|
- transformers |
|
- xlmr |
|
- xlm-roberta-large |
|
- squad_bn |
|
- squad |
|
--- |
|
|
|
# `qa-xlmr-bn` for QA on Bengali |
|
|
|
This is the [xlm-roberta-large](https://huggingface.co/xlm-roberta-large) model, fine-tuned using the [squad_bn](https://huggingface.co/datasets/csebuetnlp/squad_bn) dataset. It's been trained on question-answer pairs, including unanswerable questions, for the task of Question Answering. |
|
|
|
|
|
## Overview |
|
**Base Language model:** [xlm-roberta-large](https://huggingface.co/xlm-roberta-large)<br> |
|
**Language:** Multilingual ( *Fine tuned for Bengali*)<br> |
|
**Downstream-task:** Extractive QA |
|
**Training data:** [Squad_bn](https://huggingface.co/datasets/csebuetnlp/squad_bn)<br> |
|
**Eval data:** [Squad_bn](https://huggingface.co/datasets/csebuetnlp/squad_bn)<br> |
|
**Code for fine-tuning:** [Github](https://github.com/afschowdhury/onusondhan/tree/main)<br> |
|
**Project Paper:** [Transfer Learning Based Language Model for |
|
Bangla Question Answering](https://drive.google.com/file/d/1-97Y0adu0U_xrfEXidEfHCCS6qaCAoDN/view?usp=sharing) |
|
|
|
|
|
## Hyperparameters |
|
|
|
``` |
|
learning rate=2e-5 |
|
lr scheduler type = "linear" |
|
warmup ratio = 0.2 |
|
per device train batch size=4 |
|
per device eval batch size=4 |
|
weight decay=0.01 |
|
num train epochs=3 |
|
max seq length: 384 |
|
docs stride: 128 |
|
max answer length = 30 |
|
``` |
|
|
|
|
|
## Usage |
|
### In Transformers |
|
```python |
|
from transformers import pipeline |
|
|
|
model = "afschowdhury/qa-xlmr-bn" |
|
|
|
|
|
nlp = pipeline('question-answering', model=model, tokenizer=model) |
|
context = """সাফ চ্যাম্পিয়নশিপের ট্রফিটা কোলের ওপর রেখে ঢাকায় ফেরার বিমানের অপেক্ষা করছিলেন সানজিদা আক্তার। |
|
পাশের চেয়ারে কৃষ্ণা রানী সরকার, মাসুরা পারভীনরা তখন মুঠোফোনে ব্যস্ত। |
|
কিন্তু মুঠোফোনের স্ক্রিনে বেশিক্ষণ চোখ রাখতে পারছিলেন না কেউই। কাঠমান্ডুর ত্রিভুবন আন্তর্জাতিক |
|
বিমানবন্দরের ইমিগ্রেশন শেষে ঢাকাগামী বাংলাদেশি যাত্রীদের অভিনন্দন গ্রহণ করতেই বেশি ব্যস্ত হয়ে যেতে হলো। |
|
একটু পরপর ট্রফিসহ ফুটবলারদের সঙ্গে ছবি ও সেলফি তুলতে লাগলেন যাত্রীরা। |
|
শুধু বাংলাদেশিরাই নন, বিমানবন্দরে থাকা বিদেশি যাত্রীরাও সাফজয়ীদের সঙ্গে |
|
ছবি তুললেন। দলের সঙ্গে ঢাকায় এসেছেন বাংলাদেশ ফুটবল ফেডারেশনের মহিলা |
|
কমিটির চেয়ারম্যান মাহফুজা আক্তার। বিমানে ওঠার আগে মেয়েদের এক দফা কাছে |
|
ডেকে নেন এই কর্মকর্তা। গোল হয়ে দাঁড়িয়ে মাহফুজার কথাগুলো শোনেন সাবিনারা। |
|
ঢাকায় হজরত শাহজালাল আন্তর্জাতিক বিমানবন্দরে নামার পর আনুষ্ঠানিকতা কেমন হবে, |
|
ছাদখোলা বাসে কীভাবে মেয়েরা উঠবেন, কতটা শৃঙ্খলা বজায় রেখে ছাদে উঠতে হবে, সে পরামর্শ দিলেন। |
|
বাসে মেয়েদের পাশে যেন আর কেউ না দাঁড়াতে পারেন, বাংলাদেশ নারী ফুটবল দলের ম্যানেজার আমিরুল |
|
ইসলামকে সেটা তদারক করার নির্দেশ দেন মাহফুজা।দেশে ফেরার জন্য তর সইছিল না মারিয়া মান্দা, |
|
মণিকা চাকমাদেরও। ত্রিভুবন বিমানবন্দরের রানওয়ে থেকে বাংলাদেশ বিমানের বিজি ৩৭২ বোয়িং উড়োজাহাজটি |
|
নেপালের আকাশ ছুঁতেই মেয়েরা আনন্দে একসঙ্গে চিৎকার করে ওঠেন।""" |
|
|
|
QA_input = { |
|
'question': ' বাংলাদেশ ফুটবল ফেডারেশনের মহিলা কমিটির চেয়ারম্যান কে ', |
|
'context': context |
|
} |
|
res = nlp(QA_input) |
|
print(res) |
|
``` |
|
|
|
## Performance |
|
Evaluated on the `csebuetnlp/squad_bn` validation set. Evaluation code is stated on the trainig code [here](https://github.com/afschowdhury/onusondhan/blob/main/bn_qas_training.ipynb) |
|
|
|
``` |
|
'exact': 94.52875399361022, |
|
'f1': 96.56710191654284, |
|
'total': 2504, |
|
'HasAns_exact': 89.29712460063898, |
|
'HasAns_f1': 93.37382044650411, |
|
'HasAns_total': 1252, |
|
'NoAns_exact': 99.76038338658147, |
|
'NoAns_f1': 99.76038338658147, |
|
'NoAns_total': 1252, |
|
``` |
|
|
|
### Point of Contact |
|
**Asif Faisal Chowdhury** |
|
E-mail: [afschowdhury@gmail.com](mailto:afschowdhury@gmail.com) | Linked-in: [afschowdhury](https://www.linkedin.com/in/afschowdhury) |
