nijatzeynalov
commited on
Commit
•
8cdd187
1
Parent(s):
fc38c73
Update README.md
Browse files
README.md
CHANGED
@@ -119,3 +119,48 @@ As seen from the numbers, our model __mT5-based-azerbaijani-summarize__ achieve
|
|
119 |
|
120 |
## Using this model in transformers
|
121 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
119 |
|
120 |
## Using this model in transformers
|
121 |
|
122 |
+
```python
|
123 |
+
!pip install sentencepiece
|
124 |
+
!pip install transformers
|
125 |
+
```
|
126 |
+
|
127 |
+
```python
|
128 |
+
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
|
129 |
+
|
130 |
+
article_text = """Ötən il Azərbaycana 74 577 avtomobil idxal edilib. Bu da 2021-ci illə müqayisədə 16 617 ədəd və ya 18,2% azdır.
|
131 |
+
|
132 |
+
Xezerxeber.az-ın məlumatına görə, avtomobil bazarı üzrə qiymətləndirici Sərxan Qədirov deyib ki, əvvəl ay ərzində 5-10 avtomobil gətirən şəxslər hazırda bu sayı 2-3 ədədə endiriblər. Hətta ölkəyə nəqliyyat vasitələrinin gətirilməsi işini dayandıranlar da var.
|
133 |
+
|
134 |
+
Nəqliyyat məsələləri üzrə ekspert Eldəniz Cəfərov isə bildirib ki, gözləniləndən fərqli olaraq, ölkəyə idxal olunan kiçik mühərrikli avtomobillərin sayında da azalma var. Bunun başlıca səbəbi Rusiyada istehsalın dayandırılmasıdır.
|
135 |
+
|
136 |
+
Ekspertin sözlərinə görə, əvvəllər Azərbaycan bazarında Rusiya istehsalı olan nəqliyyat vasitələri geniş yer tuturdu. Hazırda isə həmin ölkədən idxal tam dayanıb."""
|
137 |
+
|
138 |
+
model_name = "nijatzeynalov/mT5-based-azerbaijani-summarize"
|
139 |
+
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
140 |
+
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
|
141 |
+
```
|
142 |
+
|
143 |
+
```python
|
144 |
+
input_ids = tokenizer(
|
145 |
+
article_text,
|
146 |
+
return_tensors="pt",
|
147 |
+
padding="max_length",
|
148 |
+
truncation=True,
|
149 |
+
max_length=2048
|
150 |
+
)["input_ids"]
|
151 |
+
|
152 |
+
output_ids = model.generate(
|
153 |
+
input_ids=input_ids,
|
154 |
+
max_length=128,
|
155 |
+
no_repeat_ngram_size=2,
|
156 |
+
num_beams=4
|
157 |
+
)[0]
|
158 |
+
|
159 |
+
summary = tokenizer.decode(
|
160 |
+
output_ids,
|
161 |
+
skip_special_tokens=True,
|
162 |
+
clean_up_tokenization_spaces=False
|
163 |
+
)
|
164 |
+
|
165 |
+
print(summary)
|
166 |
+
```
|