metadata

license: cc-by-4.0
base_model: bertin-project/bertin-roberta-base-spanish
tags:
  - generated_from_trainer
metrics:
  - accuracy
model-index:
  - name: bertin_base_climate_detection_spa
    results: []
datasets:
  - somosnlp/spa_climate_detection
language:
  - es
widget:
  - text: >
      El uso excesivo de fertilizantes nitrogenados -un fenómeno frecuente en la
      agricultura- da lugar a la producción de óxido nitroso, un potente gas de
      efecto invernadero. Un uso más juicioso de los fertilizantes puede frenar
      estas emisiones y reducir la producción de fertilizantes, que consume
      mucha energía.
pipeline_tag: text-classification

Model Card for bertin_base_climate_detection_spa_v2

Model Illustration

Este modelo es una version fine-tuning del modelo: bertin-project/bertin-roberta-base-spanish utilizando el dataset somosnlp/spa_climate_detection. El modelo esta enfocado en la identificación de textos sobre tematicas relacionadas al cambio climatico y la sustentabilidad. Este proyecto fue basado en la versión en inglés de climatebert/distilroberta-base-climate-detector.

La motivación del proyecto fue crear una repositorio en español sobre informacion o recursos en temas como: cambio climatico, sustentabilidad, calentamiento global, energía, etc; la idea es dar visibilidad a soluciones, ejemplos de buenas practicas ambientales o noticias que nos ayuden a combatir los efectos del cambio climatico; en cierta forma parecido a lo que el proyecto Drawdown realiza pero aportando ejemplos de las soluciones o nuevas investigaciones en cada tema. Para lograr este objetivo, consideramos que la identificacion de textos que hablen sobre dichas tematicas es el primer paso. Algunas de las aplicaciones directas son: clasificacion de papers y publicaciones cientificas, noticias, opiniones.

Futuros pasos:

Se pretende crear un modelo avanzado que clasifique en base a sectores (token classification) los textos relacionados a cambio climatico, por ejemplo: clasificar en base a electricidad, agricultura, industria, transporte, etc.
Publicar un dataset basado en sectores.
Realizar un modelo Q/A que pueda brindar información relevante al usuario en la tematica de cambio climatico.

Detalles del modelo

Descripción del modelo

Desarrollado por: Gerardo Huerta Gabriela Zuñiga
Patrocinado por: SomosNLP, HuggingFace
Tipo de Modelo: Modelo de lenguaje, tuneado en instrucciones para clasificación de texto
Lenguaje(s): es-ES, es-PE
Licencia: cc-by-nc-sa-4.0
Entrenado usando el modelo: bertin-project/bertin-roberta-base-spanish
Dataset utilizado: somosnlp/spa_climate_detection

Fuentes de modelos

Repositorio: somosnlp/bertin_base_climate_detection_spa
Demo: identificacion de textos sobre cambio climatico y sustentabilidad
Video presentación: Proyecto BERTIN-ClimID

Usos

Usos directos:

Clasificación de noticias: Con este modelo se puede clasificar titulares de noticias relacionadas a las areas de cambio climatico.
Clasificación de papers: La identificación de textos científicos que divulgan soluciones y/o efectos del cambio climatico. Para este uso se puede utilizar el abstract de cada documento para realizar la identificación.

Usos inderectos:

Para la creación de repositorios de información con respecto a temas climaticos.
Este modelo puede funcionar de base para crear nuevos sistemas de clasificación de soluciones climáticas para divulgar los nuevos esfuerzos en combatir el cambio climático en los diferentes sectores.
Creacion de nuevos datasets que aborden el tema.

Usos fuera del ámbito:

El uso para la clasificación de textos de fuentes no verificables o poco confiables y su divulgacion ejemplo: noticias falsas o desinformación.

Sesgos, riesgos y limitaciones:

En este punto no se han realizados estudios concretos sobre los sesgos y limitaciones, sin embargo hacemos los siguientes apuntes en base a experiencia previa y pruebas del modelo:

Hereda los sesgos y limitaciones del modelo base con el que fue entrenado, para mas detalles véase: BERTIN: Efficient Pre-Training of a Spanish Language Model using Perplexity Sampling. Sin embargo, no son tan evidentes de encontrar por el tipo de tarea en el que se esta implementando el modelo como lo es la clasificacion de texto.
Sesgos directos como por ejemplo el mayoritario uso de lenguaje de alto nivel en el dataset debido a que se utilizan textos extraidos de noticias, documentación legal de empresas que pueden complicar la identificación de textos con lenguajes de bajo nivel (ejemplo: coloquial). Para mitigar estos sesgos, se incluyeron en el dataset opiniones diversas sobre temas de cambio climatico extraidas de fuentes como redes sociales, adicional se hizo un rebalanceo de las etiquetas.
El dataset nos hereda otras limitaciones como por ejemplo: el modelo pierde rendimiento en textos cortos, esto es debido a que la mayoria de los textos utilizados en el dataset tienen una longitud larga de entre 200 - 500 palabras. Nuevamente se intentó mitigar estas limitaciones con la inclusión de textos cortos.

Recomendaciones

Como hemos mencionado, el modelo tiende a bajar el rendimiento en textos cortos, por lo que lo recomendable es establecer un criterio de selección de textos largos a los cuales se necesita identificar su temática.

Ejemplo sencillo de como utilizar el modelo

## Asumiendo tener instalados transformers, torch
from transformers import AutoModelForSequenceClassification
import torch
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("somosnlp/bertin_base_climate_detection_spa")
model = AutoModelForSequenceClassification.from_pretrained("somosnlp/bertin_base_climate_detection_spa")

# Traduccion del label 
id2label = {0: "NEGATIVE", 1: "POSITIVE"}
label2id = {"NEGATIVE": 0, "POSITIVE": 1}

# Funcion de inferencia
def inference_fun(Texto):
    inputs = tokenizer(Texto, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits
    predicted_class_id = logits.argmax().item()
    output_tag = model.config.id2label[predicted_class_id]
    return output_tag

input_text = "El uso excesivo de fertilizantes nitrogenados -un fenómeno frecuente en la agricultura- da lugar a la producción de óxido nitroso, un potente gas de efecto invernadero. Un uso más juicioso de los fertilizantes puede frenar estas emisiones y reducir la producción de fertilizantes, que consume mucha energía."

print(inference_fun(input_text))

Detalles del entrenamiento:

Datos de entrenamiento:

Los datos del entrenamiento fueron obtenidos del dataset somosnlp/spa_climate_detection. Los datos de entrenamiento representan alrededor de un 79% de los datos totales del dataset.

Las etiquetas estan representadas de la siguiente forma:

Etiquetas 1s

1000 - datos sobre parrafos extraidos de informes empresariales sobre el tema.

600 - datos sobre opiniones diversas, en su mayorias textos cortos.

Etiquetas 0s

300 - datos sobre parrafos extraidos de informes empresariales no relacionados al tema.

500 - datos sobre noticias de temas diversos no relacionados al tema.

500 - datos sobre opiniones de temas diversos no relacionados al tema.

Procedimiento de entrenamiento

Puedes consultar nuestro Google Colab para revisar el procedimiento de entranamiento que tomamos: Colab Entrenamiento La configuración de accelerate es la siguiente: In which compute environment are you running?: 0 Which type of machine are you using?: No distributed training Do you want to run your training on CPU only (even if a GPU / Apple Silicon / Ascend NPU device is available)? [yes/NO]:NO Do you wish to optimize your script with torch dynamo?[yes/NO]:NO Do you want to use DeepSpeed? [yes/NO]: NO What GPU(s) (by id) should be used for training on this machine as a comma-seperated list? [all]:all Do you wish to use FP16 or BF16 (mixed precision)?: no

Hiperparametros de entrenamiento:

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2

Speeds, Sizes, Times

El modelo fue entrenado en 2 epocas con una duración total de 14.22 minutos de entrenamiento, 'train_runtime': 853.6759. Como dato adicional: No se utilizó precision mixta (FP16 ó BF16)

Resultados del entrenamiento:

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	182	0.1964	0.9551
No log	2.0	364	0.1592	0.9705

Evaluación

Datos de prueba, factores y metricas

Datos de prueba

Los datos de evaluación fueron obtenidos del dataset somosnlp/spa_climate_detection. Los datos de evaluación representan alrededor de un 21% de los datos totales del dataset.

Las etiquetas estan representadas de la siguiente forma:

Etiquetas 1s

320 - datos sobre parrafos extraidos de informes empresariales sobre el tema.

160 - datos sobre opiniones diversas, en su mayorias textos cortos.

Etiquetas 0s

80 - datos sobre parrafos extraidos de informes empresariales no relacionados al tema.

120 - datos sobre noticias de temas diversos no relacionados al tema.

100 - datos sobre opiniones de temas diversos no relacionados al tema.

El modelo actual logra los siguientes resultados en el set de evaluación:

Loss: 0.1592
Accuracy: 0.9705

Metrica utilizada:

La métrica utilizada para evaluar el modelo fue precisión.

Resultados:

Por favor dirigirse a la sección de "Inference" en el colab: entrenamiento_del_modelo

Accuracy 0.95 Precision 0.916 Recall 0.99 F1 score 0.951

Impacto ambiental

Utilizando la herramienta de ML CO2 IMPACT calculamos que el siguiente impacto ambiental debido al entrenamiento:

Tipo de hardware: T4
Horas utilizadas (incluye pruebas e iteraciones para mejorar el modelo): 4 horas
Proveedor de nube: Google Cloud (colab)
Región computacional: us-east
Huella de carbono emitida: 0.1kg CO2

Información Tecnica

Software

Transformers 4.39.3
Pytorch 2.2.1+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Hardware

GPU equivalente a T4
Para tomarlo como referencia, el modelo se entrenó en la version gratuita de Google Colab

Licencia:

cc-by-nc-sa-4.0 Debido a herencias de los datos utilizados en el dataset.

Cita:

BibTeX:

@software{BERTIN-ClimID,
  author = {Gerardo Huerta, Gabriela Zuñiga},
  title = {BERTIN-ClimID: BERTIN-Base Climate-related text Identification},
  month = Abril,
  year = 2024,
  url = {https://huggingface.co/somosnlp/bertin_base_climate_detection_spa}
}

More Information

Este proyecto fue desarrollado durante el Hackathon #Somos600M Organizado por SomosNLP. Agradecemos a todos los organizadores del evento y patrocinadores por el apoyo durante el desarrollo del mismo.

Team:

somosnlp
/

bertin_base_climate_detection_spa