README.md

metadata

language: es
license: apache-2.0
tags:
  - text-generation-inference
  - transformers
  - gemma
  - chat
  - qa
  - multi-task-learning
  - instruction-tuning
base_model: google/gemma-2b

Modelo LenguajeNatural.AI Chat e Instrucciones 2B

Desarrollado por

Este modelo ha sido desarrollado por LenguajeNatural.AI, con el objetivo de proporcionar a la comunidad de habla hispana herramientas avanzadas para la generación de texto, chat e instrucciones. Es el primero de una serie de modelos que planeamos lanzar.

Licencia

Este modelo se distribuye bajo la licencia Apache 2.0.

Modelo Base

Este modelo se ha afinado a partir de avacaondata/leniachat-2b-instruct-es-v0, incorporando características avanzadas para una mejor generación de texto y comprensión en tareas de chat e instrucciones.

Idioma

El modelo ha sido entrenado exclusivamente en español, con el objetivo de maximizar su efectividad en aplicaciones destinadas a usuarios de habla hispana.

Entrenamiento

El modelo se ha entrenado en tres fases distintas para asegurar un rendimiento óptimo en una amplia gama de tareas:

1. Aprendizaje multi-tarea en español: Utilizando múltiples conjuntos de datos supervisados para un entrenamiento al estilo FLAN.
2. Entrenamiento de instrucciones de alta calidad: Afinando el modelo para entender y generar respuestas a instrucciones complejas.
3. Entrenamiento de chat y QA abstractivo: Optimizando el modelo para conversaciones fluidas y la generación de respuestas a preguntas abstractas.

Usos Intendidos y Limitaciones

Este modelo está diseñado para ser utilizado en aplicaciones de generación de texto, chatbots, y asistentes virtuales en español. Aunque ha sido entrenado para minimizar sesgos y errores, recomendamos evaluar su desempeño en su contexto específico de uso. Los usuarios deben ser conscientes de las limitaciones inherentes a los modelos de lenguaje y utilizar este modelo de manera responsable.

¿Cómo empezar?

Puedes empezar a utilizar este modelo a través de la API de Hugging Face o integrarlo en tus aplicaciones utilizando la biblioteca transformers. Aquí tienes un ejemplo de cómo cargar el modelo:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Generar texto
messages = [
  {"role": "system", "content": "Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."},
  {"role": "user", "content": "¿Qué fue la revolución industrial?"}
]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")
with torch.no_grad():
  output = model.generate(**input_ids, max_length=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Evaluación

Para asegurar la calidad del modelo, se ha realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando una mejora significativa en la generación de texto y la comprensión de instrucciones en español. Los detalles específicos de la evaluación están disponibles en nuestro repositorio.

Contribuciones

Animamos a la comunidad a contribuir con retroalimentación, sugerencias, y mejoras para este modelo. La colaboración es fundamental para el avance de la inteligencia artificial accesible y ética.

Futuras Versiones

Planeamos continuar mejorando este modelo y lanzar versiones futuras con capacidades ampliadas. Mantente atento a nuestras actualizaciones.