README.md

---
language:
- ur
tags:
- sentiment analysis
---

# Sentiment Binary Classifier for Urdu
## muril_base_cased_urdu_sentiment_2.0

Compared to [muril_base_cased_urdu_sentiment](https://huggingface.co/MichaelHuang/muril_base_cased_urdu_sentiment), the base model of the present model went through an additional pre-training procedure of "masked LM" (MLM) on a dataset of over [1 Million Urdu news](https://data.mendeley.com/datasets/834vsxnb99/3). 
Muril_base_cased_urdu_sentiment_2.0 outperformed muril_base_cased_urdu_sentiment by about 0.2 accuracy rate on news data. 
Base model is [google/muril-base-cased](https://huggingface.co/google/muril-base-cased), a BERT model pre-trained on 17 Indian languages and their transliterated counterparts.
Urdu sentiment analysis dataset is from [mirfan899](https://github.com/mirfan899/Urdu/tree/master/sentiment).

## Usage
### example: 
```python
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# Load the model and tokenizer
tokenizer = AutoTokenizer.from_pretrained("google/muril-base-cased")
model = AutoModelForSequenceClassification.from_pretrained("MichaelHuang/muril_base_cased_urdu_sentiment_2.0")


# Define the input text
text = '''
لیکن مسٹر پوتن نے یہ بھی کہا کہ یہ منصوبہ اسی وقت پیش کیا جا سکتا ہے جب لوگ 'مغرب اور کیئو میں' اس کے لیے تیار ہوں۔
روسی رہنما نے منگل کو ماسکو میں چینی صدر شی جن پنگ سے ملاقات کی جس میں روس یوکرین جنگ اور دونوں ممالک کے درمیان تعلقات پر تبادلہ خیال کیا گیا۔
گذشتہ ماہ شائع ہونے والے چین کے منصوبے میں واضح طور پر روس سے یوکرین چھوڑنے کا مطالبہ نہیں کیا گیا ہے۔
'''

# Tokenize the input text
inputs = tokenizer(text, return_tensors='pt')

# Make a prediction
outputs = model(**inputs)
predicted_class = torch.argmax(outputs.logits).item()

# Print the predicted class
if predicted_class == 1:
    print('Positive')
else:
    print('Negative')

```

### Training results

| eval_loss | epoch | step  | eval_accuracy |
|:-------------:|:-----:|:----:|:--------:|
| 0.31      | 1.0   | 3000  |   0.89     |
|  0.28     | 2.0   | 6000  |       0.90     |
| 0.33       | 3.0   | 9000  |     0.91     |