qa-xlmr-bn for QA on Bengali

This is the xlm-roberta-large model, fine-tuned using the squad_bn dataset. It's been trained on question-answer pairs, including unanswerable questions, for the task of Question Answering.

Overview

Base Language model: xlm-roberta-large
Language: Multilingual ( Fine tuned for Bengali)
Downstream-task: Extractive QA
Training data: Squad_bn
Eval data: Squad_bn
Code for fine-tuning: Github
Project Paper: Transfer Learning Based Language Model for Bangla Question Answering

Hyperparameters

learning rate=2e-5
lr scheduler type = "linear"
warmup ratio = 0.2
per device train batch size=4
per device eval batch size=4
weight decay=0.01
num train epochs=3
max seq length: 384
docs stride: 128
max answer length = 30

Usage

In Transformers

from transformers import  pipeline

model = "afschowdhury/qa-xlmr-bn"


nlp = pipeline('question-answering', model=model, tokenizer=model)
context = """সাফ চ্যাম্পিয়নশিপের ট্রফিটা কোলের ওপর রেখে ঢাকায় ফেরার বিমানের অপেক্ষা করছিলেন সানজিদা আক্তার।
পাশের চেয়ারে কৃষ্ণা রানী সরকার, মাসুরা পারভীনরা তখন মুঠোফোনে ব্যস্ত।
কিন্তু মুঠোফোনের স্ক্রিনে বেশিক্ষণ চোখ রাখতে পারছিলেন না কেউই। কাঠমান্ডুর ত্রিভুবন আন্তর্জাতিক
বিমানবন্দরের ইমিগ্রেশন শেষে ঢাকাগামী বাংলাদেশি যাত্রীদের অভিনন্দন গ্রহণ করতেই বেশি ব্যস্ত হয়ে যেতে হলো।
 একটু পরপর ট্রফিসহ ফুটবলারদের সঙ্গে ছবি ও সেলফি তুলতে লাগলেন যাত্রীরা।
 শুধু বাংলাদেশিরাই নন, বিমানবন্দরে থাকা বিদেশি যাত্রীরাও সাফজয়ীদের সঙ্গে
 ছবি তুললেন। দলের সঙ্গে ঢাকায় এসেছেন বাংলাদেশ ফুটবল ফেডারেশনের মহিলা
কমিটির চেয়ারম্যান মাহফুজা আক্তার। বিমানে ওঠার আগে মেয়েদের এক দফা কাছে
 ডেকে নেন এই কর্মকর্তা। গোল হয়ে দাঁড়িয়ে মাহফুজার কথাগুলো শোনেন সাবিনারা।
ঢাকায় হজরত শাহজালাল আন্তর্জাতিক বিমানবন্দরে নামার পর আনুষ্ঠানিকতা কেমন হবে,
ছাদখোলা বাসে কীভাবে মেয়েরা উঠবেন, কতটা শৃঙ্খলা বজায় রেখে ছাদে উঠতে হবে, সে পরামর্শ দিলেন।
বাসে মেয়েদের পাশে যেন আর কেউ না দাঁড়াতে পারেন, বাংলাদেশ নারী ফুটবল দলের ম্যানেজার আমিরুল
 ইসলামকে সেটা তদারক করার নির্দেশ দেন মাহফুজা।দেশে ফেরার জন্য তর সইছিল না মারিয়া মান্দা,
মণিকা চাকমাদেরও। ত্রিভুবন বিমানবন্দরের রানওয়ে থেকে বাংলাদেশ বিমানের বিজি ৩৭২ বোয়িং উড়োজাহাজটি
নেপালের আকাশ ছুঁতেই মেয়েরা আনন্দে একসঙ্গে চিৎকার করে ওঠেন।"""

QA_input = {
    'question': '  বাংলাদেশ ফুটবল  ফেডারেশনের মহিলা কমিটির চেয়ারম্যান  কে ',
    'context': context
}
res = nlp(QA_input)
print(res)

Performance

Evaluated on the csebuetnlp/squad_bn validation set. Evaluation code is stated on the trainig code here

'exact': 94.52875399361022,
 'f1': 96.56710191654284,
 'total': 2504,
 'HasAns_exact': 89.29712460063898,
 'HasAns_f1': 93.37382044650411,
 'HasAns_total': 1252,
 'NoAns_exact': 99.76038338658147,
 'NoAns_f1': 99.76038338658147,
 'NoAns_total': 1252,

Point of Contact

Asif Faisal Chowdhury
E-mail: afschowdhury@gmail.com | Linked-in: afschowdhury