BiomarkAI/Biomark-AI-Produccion

Biomark AI

🩺 ¿Qué es esto? (explicación simple)

Biomark AI es un asistente de inteligencia artificial pensado para dar información de salud confiable y con contexto nicaragüense. No es un médico ni reemplaza una consulta médica — es una herramienta de apoyo que entiende:

• Los protocolos oficiales del Ministerio de Salud de Nicaragua (MINSA) — como el manejo del dengue en adultos, la atención integral a la niñez, y el esquema de vacunación.
• El habla cotidiana nicaragüense — términos como "acabangado" o "chavalo" — para poder entender a la gente tal como habla, no solo en lenguaje médico formal.
• Preguntas médicas generales, con el rigor y la estructura de un examen médico profesional (gracias a su entrenamiento adicional con preguntas tipo HEAD-QA).

Piensa en Biomark AI como un modelo de lenguaje (parecido a los que usan ChatGPT o similares) pero especializado: en vez de saber "de todo", sabe específicamente de salud, con acento y contexto nicaragüense.

Importante: este modelo es una herramienta de apoyo informativo, no un sustituto de atención médica profesional. Ante cualquier emergencia o duda de salud real, se debe acudir a un centro de salud o profesional calificado.

---

⚙️ Detalles técnicos

Arquitectura y base

Biomark AI es un modelo de lenguaje de 7 mil millones (7B) de parámetros, construido sobre BioMistral-7B, un modelo base ya especializado en dominio biomédico.

Método de entrenamiento

El modelo fue ajustado mediante fine-tuning con LoRA (Low-Rank Adaptation), partiendo de un adaptador previamente entrenado (somosnlp/spanish_medica_llm) y continuando su entrenamiento sobre datasets adicionales curados. Los pesos del adaptador fueron posteriormente fusionados (merged) con el modelo base, por lo que este repositorio contiene un modelo completo y autónomo — no requiere cargar un adaptador por separado.

Hiperparámetros de entrenamiento:

• Método: QLoRA (LoRA + cuantización 4-bit durante el entrenamiento)
• r=8, lora_alpha=16
• Módulos objetivo: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, lm_head
• Learning rate: 2e-5
• Épocas: 2
• Optimizador: paged_adamw_32bit
• Precisión de cómputo: bfloat16
• Pérdida final de entrenamiento (training_loss): 0.734
• Precisión media por token (mean_token_accuracy): 71.4%

Datos de entrenamiento

El fine-tuning combinó las siguientes fuentes, en formato instrucción-respuesta:

Dataset	Contenido	Fuente
MINSA Dengue	Normativa 073 — Manejo clínico del dengue en adultos	Curado localmente
MINSA Niñez	Normativa 153 — Atención integral de la niñez (0-9 años)	Curado localmente
MINSA Vacunación	Programa Ampliado de Inmunizaciones 2022	Curado localmente
Glosario Nicaragua	Nicaraguanismos y su relación con contexto de salud/emocional	Curado localmente
HEAD-QA (Español)	Preguntas de examen médico oficial, en formato opción múltiple	shuyuej/Spanish-HEAD-QA-Benchmark

Infraestructura

Entrenado en Google Colab sobre una GPU NVIDIA Tesla T4, con cuantización 4-bit (NF4) durante el entrenamiento para reducir el uso de VRAM. El modelo final publicado en este repositorio está en precisión bfloat16 (sin cuantizar), fusionado y listo para inferencia directa.

Cómo usarlo

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "BiomarkAI/Biomark-AI-Produccion"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

prompt = "Doctor, ¿cómo puedo prevenir el dengue en mi casa?"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Limitaciones

• Este modelo puede generar información incorrecta o incompleta (alucinaciones), como cualquier LLM. No debe usarse como única fuente para decisiones clínicas.
• El conocimiento está limitado a lo cubierto en sus datos de entrenamiento y al conocimiento general heredado de BioMistral-7B; no tiene acceso a información médica actualizada en tiempo real.
• Recomendado usar junto a un sistema de recuperación de información (RAG) sobre fuentes oficiales verificadas para casos de uso en producción.

Licencia

Este modelo hereda las condiciones de licencia de su modelo base, BioMistral-7B (Apache 2.0).