Francois Vieille commited on
Commit
0e0ece0
1 Parent(s): f163d3d

add question generation with beam

Browse files
Files changed (1) hide show
  1. README.md +45 -0
README.md CHANGED
@@ -91,6 +91,51 @@ nlp("Les projecteurs peuvent être utilisées pour <hl>illuminer<hl> des terrain
91
  # >>> [{'generated_text': 'À quoi servent les projecteurs sur les terrains de jeu extérieurs?'}]
92
  ```
93
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
94
  ## Citation
95
 
96
  Model based on:
 
91
  # >>> [{'generated_text': 'À quoi servent les projecteurs sur les terrains de jeu extérieurs?'}]
92
  ```
93
 
94
+ ```py
95
+ from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
96
+ from transformers import Text2TextGenerationPipeline
97
+
98
+ model_name = 'lincoln/barthez-squadFR-fquad-piaf-question-generation'
99
+
100
+ loaded_model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
101
+ loaded_tokenizer = AutoTokenizer.from_pretrained(model_name)
102
+
103
+ text = "Les Etats signataires de la convention sur la diversité biologique des Nations unies doivent parvenir, lors de la COP15, qui s’ouvre <hl>lundi<hl>, à un nouvel accord mondial pour enrayer la destruction du vivant au cours de la prochaine décennie."
104
+
105
+ inputs = loaded_tokenizer(text, return_tensors='pt')
106
+
107
+ out = loaded_model.generate(
108
+ input_ids=inputs.input_ids,
109
+ attention_mask=inputs.attention_mask,
110
+ num_beams=16,
111
+ num_return_sequences=16,
112
+ length_penalty=10
113
+ )
114
+
115
+ questions = []
116
+ for question in out:
117
+ questions.append(loaded_tokenizer.decode(question, skip_special_tokens=True))
118
+
119
+ for q in questions:
120
+ print(q)
121
+ # Quand se tient la conférence des Nations Unies sur la diversité biologique?
122
+ # Quand a lieu la conférence des Nations Unies sur la diversité biologique?
123
+ # Quand se tient la conférence sur la diversité biologique des Nations unies?
124
+ # Quand se tient la conférence de la diversité biologique des Nations unies?
125
+ # Quand a lieu la conférence sur la diversité biologique des Nations unies?
126
+ # Quand a lieu la conférence de la diversité biologique des Nations unies?
127
+ # Quand se tient la conférence des Nations unies sur la diversité biologique?
128
+ # Quand a lieu la conférence des Nations unies sur la diversité biologique?
129
+ # Quand se tient la conférence sur la diversité biologique des Nations Unies?
130
+ # Quand se tient la conférence des Nations Unies sur la diversité biologique?
131
+ # Quand se tient la conférence de la diversité biologique des Nations Unies?
132
+ # Quand la COP15 a-t-elle lieu?
133
+ # Quand la COP15 a-t-elle lieu?
134
+ # Quand se tient la conférence sur la diversité biologique?
135
+ # Quand s'ouvre la COP15,?
136
+ # Quand s'ouvre la COP15?
137
+ ```
138
+
139
  ## Citation
140
 
141
  Model based on: