|
--- |
|
language: es |
|
license: apache-2.0 |
|
tags: |
|
- text-generation-inference |
|
- transformers |
|
- gemma |
|
- chat |
|
- qa |
|
- multi-task-learning |
|
- instruction-tuning |
|
base_model: google/gemma-2b |
|
--- |
|
|
|
|
|
 |
|
|
|
# Modelo LenguajeNatural.AI Chat e Instrucciones 2B |
|
|
|
## Desarrollado por |
|
|
|
Este modelo ha sido desarrollado por [**LenguajeNatural.AI**](https://lenguajenatural.ai/), con el objetivo de proporcionar a la comunidad de habla hispana herramientas avanzadas para la generación de texto, chat e instrucciones. Es el primero de una serie de modelos que planeamos lanzar. |
|
|
|
## Licencia |
|
|
|
Este modelo se distribuye bajo la licencia Apache 2.0. |
|
|
|
## Modelo Base |
|
|
|
Este modelo se ha afinado a partir de `google/gemma-2b`, incorporando características avanzadas para una mejor generación de texto y comprensión en tareas de chat e instrucciones en español. |
|
|
|
## Idioma |
|
|
|
El modelo ha sido entrenado exclusivamente en español, con el objetivo de maximizar su efectividad en aplicaciones destinadas a usuarios de habla hispana. |
|
|
|
## Entrenamiento |
|
|
|
El modelo se ha entrenado en tres fases distintas para asegurar un buen rendimiento en una amplia gama de tareas: |
|
|
|
1. **Aprendizaje multi-tarea en español**: Utilizando múltiples conjuntos de datos supervisados para un entrenamiento al estilo FLAN. |
|
2. **Entrenamiento de instrucciones de alta calidad**: Afinando el modelo para entender y generar respuestas a instrucciones complejas. |
|
3. **Entrenamiento de chat y QA abstractivo**: Optimizando el modelo para conversaciones fluidas y la generación de respuestas a preguntas abstractas. |
|
|
|
En las 3 fases se ha llevado a cabo el entrenamiento gracias a nuestra librería [autotransformers](https://github.com/lenguajenatural-ai/autotransformers). |
|
|
|
|
|
 |
|
|
|
## Tamaño máximo de secuencia |
|
|
|
El tamaño máximo de secuencia para este modelo es de 8192 tokens. |
|
|
|
## Usos y Limitaciones |
|
|
|
Este modelo está diseñado para ser utilizado en aplicaciones de generación de texto, chatbots, y asistentes virtuales en español. Aunque ha sido entrenado para minimizar sesgos y errores, recomendamos evaluar su desempeño en su contexto específico de uso. Los usuarios deben ser conscientes de las limitaciones inherentes a los modelos de lenguaje y utilizar este modelo de manera responsable. |
|
Además, debe tenerse en cuenta que el modelo base es de únicamente 2b parámetros, por lo que este modelo comparte las limitaciones inherentes a los modelos de ese tamaño. |
|
|
|
## ¿Cómo empezar? |
|
|
|
Puedes empezar a utilizar este modelo a través de la API de Hugging Face o integrarlo en tus aplicaciones utilizando la biblioteca `transformers`. Aquí tienes un ejemplo de cómo cargar el modelo: |
|
|
|
```python |
|
from transformers import AutoModelForCausalLM, AutoTokenizer |
|
import torch |
|
|
|
model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0" |
|
tokenizer = AutoTokenizer.from_pretrained(model_name) |
|
model = AutoModelForCausalLM.from_pretrained(model_name) |
|
|
|
# Generar texto |
|
messages = [ |
|
{"role": "system", "content": "Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."}, |
|
{"role": "user", "content": "¿Qué fue la revolución industrial?"} |
|
] |
|
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt") |
|
with torch.no_grad(): |
|
output = model.generate(input_ids, max_new_tokens=50) |
|
print(tokenizer.decode(output[0], skip_special_tokens=True)) |
|
``` |
|
|
|
## Evaluación |
|
Para asegurar la calidad del modelo, se ha realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Los detalles específicos de la evaluación de los modelos LeNIA-Chat están disponibles en la siguiente tabla. |
|
|
|
 |
|
|
|
## Contribuciones |
|
Animamos a la comunidad a contribuir con retroalimentación, sugerencias, y mejoras para este modelo. La colaboración es fundamental para el avance de la inteligencia artificial accesible y ética. |
|
|
|
## Futuras Versiones |
|
Planeamos continuar mejorando este modelo y lanzar versiones futuras con capacidades ampliadas. Mantente atento a nuestras actualizaciones. Puedes estar al tanto en nuestra [página web](https://lenguajenatural.ai/) o nuestra [página de LinkedIn](https://www.linkedin.com/company/lenguajenatural-ai/). |
|
|
