Summarization
Transformers
PyTorch
Azerbaijani
mt5
text2text-generation
Inference Endpoints
nijatzeynalov commited on
Commit
8cdd187
1 Parent(s): fc38c73

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +45 -0
README.md CHANGED
@@ -119,3 +119,48 @@ As seen from the numbers, our model __mT5-based-azerbaijani-summarize__ achieve
119
 
120
  ## Using this model in transformers
121
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
119
 
120
  ## Using this model in transformers
121
 
122
+ ```python
123
+ !pip install sentencepiece
124
+ !pip install transformers
125
+ ```
126
+
127
+ ```python
128
+ from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
129
+
130
+ article_text = """Ötən il Azərbaycana 74 577 avtomobil idxal edilib. Bu da 2021-ci illə müqayisədə 16 617 ədəd və ya 18,2% azdır.
131
+
132
+ Xezerxeber.az-ın məlumatına görə, avtomobil bazarı üzrə qiymətləndirici Sərxan Qədirov deyib ki, əvvəl ay ərzində 5-10 avtomobil gətirən şəxslər hazırda bu sayı 2-3 ədədə endiriblər. Hətta ölkəyə nəqliyyat vasitələrinin gətirilməsi işini dayandıranlar da var.
133
+
134
+ Nəqliyyat məsələləri üzrə ekspert Eldəniz Cəfərov isə bildirib ki, gözləniləndən fərqli olaraq, ölkəyə idxal olunan kiçik mühərrikli avtomobillərin sayında da azalma var. Bunun başlıca səbəbi Rusiyada istehsalın dayandırılmasıdır.
135
+
136
+ Ekspertin sözlərinə görə, əvvəllər Azərbaycan bazarında Rusiya istehsalı olan nəqliyyat vasitələri geniş yer tuturdu. Hazırda isə həmin ölkədən idxal tam dayanıb."""
137
+
138
+ model_name = "nijatzeynalov/mT5-based-azerbaijani-summarize"
139
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
140
+ model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
141
+ ```
142
+
143
+ ```python
144
+ input_ids = tokenizer(
145
+ article_text,
146
+ return_tensors="pt",
147
+ padding="max_length",
148
+ truncation=True,
149
+ max_length=2048
150
+ )["input_ids"]
151
+
152
+ output_ids = model.generate(
153
+ input_ids=input_ids,
154
+ max_length=128,
155
+ no_repeat_ngram_size=2,
156
+ num_beams=4
157
+ )[0]
158
+
159
+ summary = tokenizer.decode(
160
+ output_ids,
161
+ skip_special_tokens=True,
162
+ clean_up_tokenization_spaces=False
163
+ )
164
+
165
+ print(summary)
166
+ ```