---
inference: false
language:
- bg
license: mit
datasets:
- oscar
- chitanka
- wikipedia
tags:
- torch
---

# PEGASUS BASE

This model was pretrained on Bulgarian language. It was intorduced in [this paper](https://arxiv.org/pdf/1912.08777.pdf). 

## Model description

The training data is private Bulgarian squad data. 

## Intended uses & limitations

You can use the raw model for generation of question-answer pairs related with given Bulgarian text.

### How to use

Here is how to use this model in PyTorch:

```python
>>> from transformers import PegasusForConditionalGeneration, AlbertTokenizer
>>>
>>> model_id = "rmihaylov/pegasus-base-qag-bg"
>>> model = PegasusForConditionalGeneration.from_pretrained(model_id)
>>> tokenizer = AlbertTokenizer.from_pretrained(model_id)
>>>
>>> text = """Това, че някой може да заяви на най-силен глас исканията си, не означава те да бъдат удовлетворени, заяви Костадин Ангелов. 
Той допълни, че приоритетите на властите са здравето, образование и спорта, давайки знак, че се търси разхлабване на мерките в болничните заведения, връщането на учениците в класните стаи и отварянето на обектите за масов спорт.
"""
>>>
>>> inputs = tokenizer.encode_plus(
>>>     text, 
>>>     return_tensors='pt', 
>>>     truncation=True, 
>>>     max_length=512, 
>>>     return_token_type_ids=False, 
>>>     return_attention_mask=True)
>>> 
>>> outputs = model.generate(**inputs,                          
>>>     max_length=150, 
>>>     top_p=0.95, 
>>>     top_k=20, 
>>>     do_sample=True, 
>>>     num_return_sequences=10, 
>>>     num_beams=1,
>>>     eos_token_id=50259,
>>>     decoder_start_token_id=50257,
>>>     return_dict_in_generate=True,
>>>     output_scores=True)
>>> 
>>> for g in outputs.sequences:
>>>   text_gen = tokenizer.decode(g, skip_special_tokens=False)
>>> 
>>>   if ('[SEP]' not in text_gen) or ('[MASK]' not in text_gen) or ('[CLS]' not in text_gen):
>>>     continue
>>> 
>>>   question, answer = text_gen.replace('[CLS]', '').strip().split('[SEP]')
>>>   answer = answer.split('[MASK]')[0].strip()
>>>   
>>>   if (not answer) or (answer not in text) or (len(answer) <= 1):   
>>>     continue
>>> 
>>> print(f'{question.strip()}\n{answer.strip()}', '\n\n')

Какво трябва да се предприеме, за да се случи?
разхлабване 


Какви са приоритетите на управляващите?
здравето, образование и спорта, 


Какви усилия има правителството за стимулиране на раждаемостта?
разхлабване на мерките 


Какъв е основният проблем, който може да реши?
образование 
```