Hugging Face's logo

RichardErkhov
/
somosnlp_-_phi-2-LC-gguf

GGUF
Model card Files
xet
 Community

YAML Metadata Warning:empty or missing yaml metadata in repo card

Check out the documentation for more information.

Quantization made by Richard Erkhov.

Github

Discord

Request more models

phi-2-LC - GGUF

Name Quant method Size
phi-2-LC.Q2_K.gguf Q2_K 1.03GB
phi-2-LC.Q3_K_S.gguf Q3_K_S 1.16GB
phi-2-LC.Q3_K.gguf Q3_K 1.33GB
phi-2-LC.Q3_K_M.gguf Q3_K_M 1.33GB
phi-2-LC.Q3_K_L.gguf Q3_K_L 1.47GB
phi-2-LC.IQ4_XS.gguf IQ4_XS 1.43GB
phi-2-LC.Q4_0.gguf Q4_0 1.49GB
phi-2-LC.IQ4_NL.gguf IQ4_NL 1.5GB
phi-2-LC.Q4_K_S.gguf Q4_K_S 1.51GB
phi-2-LC.Q4_K.gguf Q4_K 1.62GB
phi-2-LC.Q4_K_M.gguf Q4_K_M 1.62GB
phi-2-LC.Q4_1.gguf Q4_1 1.65GB
phi-2-LC.Q5_0.gguf Q5_0 1.8GB
phi-2-LC.Q5_K_S.gguf Q5_K_S 1.8GB
phi-2-LC.Q5_K.gguf Q5_K 1.87GB
phi-2-LC.Q5_K_M.gguf Q5_K_M 1.87GB
phi-2-LC.Q5_1.gguf Q5_1 1.95GB
phi-2-LC.Q6_K.gguf Q6_K 2.13GB
phi-2-LC.Q8_0.gguf Q8_0 2.75GB

Original model description:

library_name: transformers datasets: - somosnlp/lenguaje-claro-dataset language: - es license: apache-2.0

Model Card for Phi-2-LC

Este modelo es el primer paso hacia un modelo de lenguaje que pueda usarse para reescribir textos de carácter administrativo con el objetivo de mejorar su comprensión y lecturabilidad para todo el mundo.

Model Details

Model Description

Model Sources

Uses

Direct Use

El modelo "Phi-2-LC" ha sido creado específicamente para simplificar textos administrativos y legales que suelen ser difíciles de entender debido a su complejidad y uso de jerga especializada. Su uso principal es facilitar la comprensión de estos textos para personas sin formación especializada en áreas legales o administrativas, así como para mejorar la accesibilidad de la información proporcionada por los ministerios de España a través de sus páginas web.

Out-of-Scope Use

Este modelo no está diseñado para interpretación legal formal o para la redacción de documentos legales o administrativos oficiales, dado que la simplificación podría omitir aspectos críticos necesarios para una correcta interpretación legal.

Bias, Risks, and Limitations

Dado que el dataset utilizado para el entrenamiento del modelo proviene exclusivamente de textos gubernamentales españoles, es probable que el modelo pueda exhibir sesgos relacionados con el contexto cultural y legal específico de España. Estos sesgos pueden influir en la generalización del modelo cuando se aplique a textos de naturaleza o origen diferentes. Se recomienda una evaluación continua del modelo para identificar y mitigar tales sesgos de manera efectiva.

Recommendations

Se recomienda usar el modelo conscientemente, entendiendo que puede tener limitaciones en contextos fuera del ámbito administrativo español y que los resultados deben ser verificados por expertos en el contexto de uso.

Environmental Impact

  • Hardware Type: T4 - 16GB
  • Hours used: 3
  • Cloud Provider: Google
  • Compute Region: Europe
  • Carbon Emitted: 0.13 kg CO2 eq.

How to Get Started with the Model 

!pip install transformers
!pip install bitsandbytes
!pip install accelerate
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

model_id = 'phi-2-LC'  # example model ID
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

Cargar el tokenizador y el modelo 

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map='auto', quantization_config=bnb_config, trust_remote_code=True)

Configuración de BitsAndBytes para optimización 

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_compute_dtype='float16',
    bnb_4bit_use_double_quant=True
)

Definir el prompt y generar texto aclarado 

def generate_clear_text(text):
    prompt = f"""###System:
    Lee el siguiente texto y hazlo más claro:
    ###Texto:
    {text}
    ###Texto aclarado:
    """
    inputs = tokenizer(prompt, return_tensors="pt", return_attention_mask=False, padding=True, truncation=True)
    outputs = model.generate(**inputs, max_length=1000)
    clear_text = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
    return clear_text

Uso del modelo para clarificar un ejemplo de texto 

sample_text = "El procedente documento detalla la normativa aplicable a..."
clear_text = generate_clear_text(sample_text)
print(clear_text)

Evaluación

Datos de Prueba, Factores y Métricas

Datos de Prueba

La evaluación se llevó a cabo en un conjunto separado de textos administrativos, similares en estilo y complejidad a los datos de entrenamiento, asegurando que el modelo fuera probado en condiciones similares a su entorno de entrenamiento.

Factores

La evaluación se desagregó por el tipo de texto administrativo para evaluar el rendimiento en diferentes tipos de documentos legales y administrativos.

Resultados

El modelo demostró un aumento significativo en los puntajes de legibilidad y mantuvo una alta fidelidad a los textos originales, lo que indica una simplificación efectiva sin perder información importante.

Impacto Ambiental

Las emisiones de carbono fueron estimadas utilizando la calculadora de impacto de aprendizaje automático proporcionada en Lacoste et al. (2019).

  • Tipo de Hardware: T4 - 16GB
  • Horas utilizadas: 3
  • Proveedor de la Nube: Google Cloud
  • Región de Cómputo: Europa
  • Carbono Emitido: 0.13 kg CO2 eq.

Especificaciones Técnicas

Arquitectura y Objetivo del Modelo

Phi-2-LC se basa en la arquitectura Phi-2, que es un modelo transformador ajustado a instrucciones diseñado para procesar y simplificar textos legales y administrativos complejos.

Infraestructura de Cómputo

Hardware

El proceso de ajuste fino se llevó a cabo utilizando las GPU T4 de Google Cloud, que proporcionaron la capacidad de cómputo necesaria.

Software

  • Librerías: Transformers, BitsAndBytes, Accelerate

Licencia

El modelo se publica bajo la licencia apache-2.0, que permite tanto el uso académico como comercial, siempre y cuando se acredite a los autores originales.

Citación

BibTeX:

@software{phi2_lc_model,
  author = {Sergio Chicón},
  title = {Phi-2-LC: Un Modelo para Simplificar Textos Administrativos},
  month = apr,
  year = 2024,
  url = {https://huggingface.co/somosnlp/phi-2-lc}
}

More Information

This project was developed during the Hackathon #Somos600M organized by SomosNLP. The model was trained using GPUs sponsored by HuggingFace.

Team:

Rubén de la Fuente Sergio Chicón Marta F. Gómez

Downloads last month
156
GGUF
Model size
3B params
Architecture
phi2
Hardware compatibility
Log In to add your hardware

2-bit

3-bit

4-bit

5-bit

6-bit

8-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Paper for RichardErkhov/somosnlp_-_phi-2-LC-gguf