DeepMount00 commited on
Commit
8296d2a
1 Parent(s): 3d74dad

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +35 -0
README.md CHANGED
@@ -14,3 +14,38 @@ datasets:
14
  - **Base Model**: [Minerva-3B-base-v1.0](https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0), developed by [Sapienza NLP](https://nlp.uniroma1.it) in collaboration with [Future Artificial Intelligence Research (FAIR)](https://fondazione-fair.it/) and [CINECA](https://www.cineca.it/)
15
  - **Specialization**: Question-Answering (QA)
16
  - **Ideal Use Case**: Retrieval-Augmented Generation applications
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
14
  - **Base Model**: [Minerva-3B-base-v1.0](https://huggingface.co/sapienzanlp/Minerva-3B-base-v1.0), developed by [Sapienza NLP](https://nlp.uniroma1.it) in collaboration with [Future Artificial Intelligence Research (FAIR)](https://fondazione-fair.it/) and [CINECA](https://www.cineca.it/)
15
  - **Specialization**: Question-Answering (QA)
16
  - **Ideal Use Case**: Retrieval-Augmented Generation applications
17
+
18
+ ---
19
+
20
+ ## How to Use
21
+
22
+ ```python
23
+ import transformers
24
+ import torch
25
+
26
+ model_id = "DeepMount00/Minerva-3B-base-RAG"
27
+
28
+ # Initialize the pipeline.
29
+ pipeline = transformers.pipeline(
30
+ "text-generation",
31
+ model=model_id,
32
+ model_kwargs={"torch_dtype": torch.bfloat16},
33
+ device_map="auto",
34
+ )
35
+
36
+ def generate_text(pipeline, context, question):
37
+ input_text = f"[INST]Contesto: {context}\nDomanda:{question}\n[/INST]"
38
+ output = pipeline(
39
+ input_text,
40
+ max_new_tokens=512,
41
+ )
42
+ generated_text = output[0]['generated_text']
43
+ response_text = generated_text.split("[/INST]", 1)[1].strip()
44
+ return response_text[:-14]
45
+
46
+ contesto = """La torre degli Asinelli è una delle cosiddette due torri di Bologna, simbolo della città, situate in piazza di porta Ravegnana, all'incrocio tra le antiche strade San Donato (ora via Zamboni), San Vitale, Maggiore e Castiglione. Eretta, secondo la tradizione, fra il 1109 e il 1119 dal nobile Gherardo Asinelli, la torre è alta 97,20 metri, pende verso ovest per 2,23 metri e presenta all'interno una scalinata composta da 498 gradini. Ancora non si può dire con certezza quando e da chi fu costruita la torre degli Asinelli. Si presume che la torre debba il proprio nome a Gherardo Asinelli, il nobile cavaliere di fazione ghibellina al quale se ne attribuisce la costruzione, iniziata secondo una consolidata tradizione l'11 ottobre 1109 e terminata dieci anni dopo, nel 1119."""
47
+ domanda = """In che città si trova la torre degli Asinelli?"""
48
+
49
+ answer = generate_text(pipeline, contesto, domanda)
50
+ print(answer)
51
+ ```