Spaces:
Sleeping
Sleeping
Commit
·
7643074
1
Parent(s):
5d366da
Update app.py
Browse files
app.py
CHANGED
@@ -2,19 +2,23 @@ from transformers import RobertaTokenizerFast, EncoderDecoderModel
|
|
2 |
import torch
|
3 |
#initialisation de tokenizer
|
4 |
device = "cuda" if torch.cuda.is_available() else "cpu"
|
5 |
-
tokenizer = RobertaTokenizerFast.from_pretrained("Chemsseddine/bert2gpt2SUMM-finetuned-mlsum
|
6 |
#aider les token special
|
7 |
tokenizer.bos_token = tokenizer.cls_token
|
8 |
tokenizer.eos_token = tokenizer.sep_token
|
9 |
#initialisation du modele
|
10 |
-
model = EncoderDecoderModel.from_pretrained("Chemsseddine/bert2gpt2SUMM-finetuned-mlsum
|
11 |
#tf.random.set_seed(0)
|
12 |
# generate summary
|
13 |
def generateSumm(input_texte,max,min):
|
14 |
# encoder le texte entrée
|
15 |
-
|
16 |
-
|
17 |
-
|
|
|
|
|
|
|
|
|
18 |
max_length=max,#la longuer maximale du sequence de sortie
|
19 |
min_length=min,#la longuer minimum du sequence de sortie
|
20 |
|
@@ -30,8 +34,20 @@ def generateSumm(input_texte,max,min):
|
|
30 |
top_k = 50,
|
31 |
top_p = 0.95)
|
32 |
#decodé la sequence de generé par le modele
|
33 |
-
|
34 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
35 |
|
36 |
from difflib import Differ
|
37 |
import gradio as gr
|
|
|
2 |
import torch
|
3 |
#initialisation de tokenizer
|
4 |
device = "cuda" if torch.cuda.is_available() else "cpu"
|
5 |
+
tokenizer = RobertaTokenizerFast.from_pretrained("Chemsseddine/bert2gpt2SUMM-finetuned-mlsum")
|
6 |
#aider les token special
|
7 |
tokenizer.bos_token = tokenizer.cls_token
|
8 |
tokenizer.eos_token = tokenizer.sep_token
|
9 |
#initialisation du modele
|
10 |
+
model = EncoderDecoderModel.from_pretrained("Chemsseddine/bert2gpt2SUMM-finetuned-mlsum").to(device)
|
11 |
#tf.random.set_seed(0)
|
12 |
# generate summary
|
13 |
def generateSumm(input_texte,max,min):
|
14 |
# encoder le texte entrée
|
15 |
+
if input_texte and input_texte.strip():
|
16 |
+
if min<len(input_texte):
|
17 |
+
|
18 |
+
if max>min:
|
19 |
+
input_ids = tokenizer.encode(input_texte, return_tensors='pt')
|
20 |
+
#generation de resume a l'aide de texte encodé
|
21 |
+
summary_ids = model.generate(input_ids,#le texte encodé
|
22 |
max_length=max,#la longuer maximale du sequence de sortie
|
23 |
min_length=min,#la longuer minimum du sequence de sortie
|
24 |
|
|
|
34 |
top_k = 50,
|
35 |
top_p = 0.95)
|
36 |
#decodé la sequence de generé par le modele
|
37 |
+
summary_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
|
38 |
+
return summary_text
|
39 |
+
else:
|
40 |
+
|
41 |
+
summary_text="La longueur minimale est grande que la maximale"
|
42 |
+
return summary_text
|
43 |
+
else:
|
44 |
+
summary_text="La longueur de texte entré est inferieur que la minimale que vous avez choisis"
|
45 |
+
return summary_text
|
46 |
+
|
47 |
+
else :
|
48 |
+
summary_text="Entrer votre Texte S'il vous plait"
|
49 |
+
return summary_text
|
50 |
+
|
51 |
|
52 |
from difflib import Differ
|
53 |
import gradio as gr
|