uploaded readme

README.md

@@ -0,0 +1,73 @@
+Quantization made by Richard Erkhov.
+
+[Github](https://github.com/RichardErkhov)
+
+[Discord](https://discord.gg/pvy7H8DZMG)
+
+[Request more models](https://github.com/RichardErkhov/quant_request)
+
+
+mamba_790_hf_qa - bnb 8bits
+- Model creator: https://huggingface.co/DeepMount00/
+- Original model: https://huggingface.co/DeepMount00/mamba_790_hf_qa/
+
+
+
+
+Original model description:
+---
+language:
+- it
+license: apache-2.0
+datasets:
+- DeepMount00/gquad_it
+pipeline_tag: question-answering
+---
+
+## SQuAD-it Evaluation
+
+The Stanford Question Answering Dataset (SQuAD) in Italian (SQuAD-it) is used to evaluate the model's reading comprehension and question-answering capabilities. The following table presents the F1 score and Exact Match (EM) metrics:
+
+| Model                                        | F1 Score | Exact Match (EM) | 
+|----------------------------------------------|----------|------------------|
+| **DeepMount00/Gemma_QA_ITA_v3**              | **77.24%**   | **64.60%**       | 
+| **DeepMount00/Gemma_QA_ITA_v2**              | **77.17%**   | **63.82%**       |
+| **DeepMount00/mamba_790_hf_qa**              | **75.89%**   | **66.71%**       | 
+| **DeepMount00/Gemma_QA_ITA**                 | **59.59%**   | **40.68%**       | 
+
+## How to Use
+How to use mamba q&a
+
+```python
+from transformers import MambaConfig, MambaForCausalLM, AutoTokenizer
+import torch
+
+model_name = "DeepMount00/mamba_790_hf_qa"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = MambaForCausalLM.from_pretrained(model_name, device_map={"": 0}).eval()
+
+
+def predict(contesto, domanda):
+    device = "cuda:0"
+    prefix_text = 'Di seguito ti verrà fornito un contesto e poi una domanda. il tuo compito è quello di rispondere alla domanda basandoti esclusivamente sul contesto\n\n'
+
+    prompt = f"""{prefix_text}##CONTESTO: {contesto}\n##DOMANDA: {domanda}\n"""
+
+    input_ids = tokenizer([prompt], return_tensors="pt").to(device)
+
+    generate_ids = model.generate(**input_ids, max_new_tokens=150, eos_token_id=8112)
+
+    answer = tokenizer.batch_decode(generate_ids)
+    try:
+        final_answer = answer[0].split("##RISPOSTA: ")[1].split("##END")[0].strip("\n")
+    except IndexError:
+        final_answer = ""
+    return final_answer
+
+
+contesto = """La torre degli Asinelli è una delle cosiddette due torri di Bologna, simbolo della città, situate in piazza di porta Ravegnana, all'incrocio tra le antiche strade San Donato (ora via Zamboni), San Vitale, Maggiore e Castiglione. Eretta, secondo la tradizione, fra il 1109 e il 1119 dal nobile Gherardo Asinelli, la torre è alta 97,20 metri, pende verso ovest per 2,23 metri e presenta all'interno una scalinata composta da 498 gradini. Ancora non si può dire con certezza quando e da chi fu costruita la torre degli Asinelli. Si presume che la torre debba il proprio nome a Gherardo Asinelli, il nobile cavaliere di fazione ghibellina al quale se ne attribuisce la costruzione, iniziata secondo una consolidata tradizione l'11 ottobre 1109 e terminata dieci anni dopo, nel 1119."""
+domanda = "Dove si trova precisamente la torre degli Asinelli?"
+
+print(predict(contesto, domanda))
+```
+