|
--- |
|
license: cc-by-4.0 |
|
base_model: bertin-project/bertin-roberta-base-spanish |
|
tags: |
|
- generated_from_trainer |
|
metrics: |
|
- accuracy |
|
model-index: |
|
- name: bertin_base_climate_detection_spa |
|
results: [] |
|
datasets: |
|
- somosnlp/spa_climate_detection |
|
language: |
|
- es |
|
widget: |
|
- text: > |
|
El uso excesivo de fertilizantes nitrogenados -un fenómeno frecuente en la |
|
agricultura- da lugar a la producción de óxido nitroso, un potente gas de |
|
efecto invernadero. Un uso más juicioso de los fertilizantes puede frenar |
|
estas emisiones y reducir la producción de fertilizantes, que consume mucha |
|
energía. |
|
pipeline_tag: text-classification |
|
--- |
|
|
|
|
|
# Model Card for bertin_base_climate_detection_spa_v2 |
|
|
|
<p align="center"> |
|
<img src="https://huggingface.co/somosnlp/bertin_base_climate_detection_spa/resolve/main/model_image_repo_380.jpg" alt="Model Illustration" width="500"> |
|
</p> |
|
|
|
|
|
Este modelo es una version fine-tuning del modelo: [bertin-project/bertin-roberta-base-spanish](https://huggingface.co/bertin-project/bertin-roberta-base-spanish) utilizando el dataset somosnlp/spa_climate_detection. |
|
El modelo esta enfocado en la identificación de textos sobre tematicas relacionadas al cambio climatico y la sustentabilidad. Este proyecto fue basado en la versión en inglés de [climatebert/distilroberta-base-climate-detector](https://huggingface.co/climatebert/distilroberta-base-climate-detector). |
|
|
|
La motivación del proyecto fue crear una repositorio en español sobre informacion o recursos en temas como: cambio climatico, sustentabilidad, calentamiento global, energía, etc; la idea es dar visibilidad a soluciones, ejemplos de buenas practicas ambientales o noticias que nos ayuden a combatir los efectos del cambio climatico; en cierta forma parecido a lo que el proyecto [Drawdown](https://drawdown.org/solutions/table-of-solutions) realiza pero aportando ejemplos de las soluciones o nuevas investigaciones en cada tema. Para lograr este |
|
objetivo, consideramos que la identificacion de textos que hablen sobre dichas tematicas es el primer paso. Algunas de las aplicaciones directas son: clasificacion de papers y publicaciones cientificas, noticias, opiniones. |
|
|
|
Futuros pasos: |
|
- Se pretende crear un modelo avanzado que clasifique en base a sectores (token classification) los textos relacionados a cambio climatico, por ejemplo: clasificar en base a electricidad, agricultura, industria, transporte, etc. |
|
- Publicar un dataset basado en sectores. |
|
- Realizar un modelo Q/A que pueda brindar información relevante al usuario en la tematica de cambio climatico. |
|
|
|
## Detalles del modelo |
|
|
|
### Descripción del modelo |
|
- **Desarrollado por:** [Gerardo Huerta](https://huggingface.co/Gerard-1705) [Gabriela Zuñiga](https://huggingface.co/Gabrielaz) |
|
- **Patrocinado por:** SomosNLP, HuggingFace |
|
- **Tipo de Modelo:** Modelo de lenguaje, tuneado en instrucciones para clasificación de texto |
|
- **Lenguaje(s):** es-ES, es-PE |
|
- **Licencia:** cc-by-nc-sa-4.0 |
|
- **Entrenado usando el modelo:** [bertin-project/bertin-roberta-base-spanish](https://huggingface.co/bertin-project/bertin-roberta-base-spanish) |
|
- **Dataset utilizado:** [somosnlp/spa_climate_detection](https://huggingface.co/datasets/somosnlp/spa_climate_detection) |
|
|
|
### Fuentes de modelos |
|
|
|
- **Repositorio:** [somosnlp/bertin_base_climate_detection_spa](https://huggingface.co/somosnlp/bertin_base_climate_detection_spa/tree/main) <!-- Enlace al `main` del repo donde tengáis los scripts, i.e.: o del mismo repo del modelo en HuggingFace o a GitHub. --> |
|
- **Demo:** [identificacion de textos sobre cambio climatico y sustentabilidad](https://huggingface.co/spaces/somosnlp/Identificacion_de_textos_sobre_sustentabilidad_cambio_climatico) |
|
- **Video presentación:** [Proyecto BERTIN-ClimID](https://www.youtube.com/watch?v=sfXLUP9Ei-o) |
|
|
|
## Usos |
|
|
|
### Usos directos: |
|
- Clasificación de noticias: Con este modelo se puede clasificar titulares de noticias relacionadas a las areas de cambio climatico. |
|
- Clasificación de papers: La identificación de textos científicos que divulgan soluciones y/o efectos del cambio climatico. Para este uso se puede utilizar el abstract de cada documento para realizar la identificación. |
|
|
|
### Usos inderectos: |
|
- Para la creación de repositorios de información con respecto a temas climaticos. |
|
- Este modelo puede funcionar de base para crear nuevos sistemas de clasificación de soluciones climáticas para divulgar los nuevos esfuerzos en combatir el cambio climático en los diferentes sectores. |
|
- Creacion de nuevos datasets que aborden el tema. |
|
|
|
### Usos fuera del ámbito: |
|
- El uso para la clasificación de textos de fuentes no verificables o poco confiables y su divulgacion ejemplo: noticias falsas o desinformación. |
|
|
|
## Sesgos, riesgos y limitaciones: |
|
En este punto no se han realizados estudios concretos sobre los sesgos y limitaciones, sin embargo hacemos los siguientes apuntes en base a experiencia previa y pruebas del modelo: |
|
- Hereda los sesgos y limitaciones del modelo base con el que fue entrenado, para mas detalles véase: [BERTIN: Efficient Pre-Training of a Spanish Language Model using Perplexity Sampling](http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/6403). Sin embargo, no son tan evidentes de encontrar por el tipo de tarea en el que se esta implementando el modelo como lo es la clasificacion de texto. |
|
- Sesgos directos como por ejemplo el mayoritario uso de lenguaje de alto nivel en el dataset debido a que se utilizan textos extraidos de noticias, documentación legal de empresas que pueden complicar la identificación de textos con lenguajes de bajo nivel (ejemplo: coloquial). Para mitigar estos sesgos, se incluyeron en el dataset opiniones diversas sobre temas de cambio climatico extraidas de fuentes como redes sociales, adicional se hizo un rebalanceo de las etiquetas. |
|
- El dataset nos hereda otras limitaciones como por ejemplo: el modelo pierde rendimiento en textos cortos, esto es debido a que la mayoria de los textos utilizados en el dataset tienen una longitud larga de entre 200 - 500 palabras. Nuevamente se intentó mitigar estas limitaciones con la inclusión de textos cortos. |
|
|
|
### Recomendaciones |
|
- Como hemos mencionado, el modelo tiende a bajar el rendimiento en textos cortos, por lo que lo recomendable es establecer un criterio de selección de textos largos a los cuales se necesita identificar su temática. |
|
|
|
## Ejemplo sencillo de como utilizar el modelo |
|
```python |
|
## Asumiendo tener instalados transformers, torch |
|
from transformers import AutoModelForSequenceClassification |
|
import torch |
|
from transformers import AutoTokenizer |
|
|
|
tokenizer = AutoTokenizer.from_pretrained("somosnlp/bertin_base_climate_detection_spa") |
|
model = AutoModelForSequenceClassification.from_pretrained("somosnlp/bertin_base_climate_detection_spa") |
|
|
|
# Traduccion del label |
|
id2label = {0: "NEGATIVE", 1: "POSITIVE"} |
|
label2id = {"NEGATIVE": 0, "POSITIVE": 1} |
|
|
|
# Funcion de inferencia |
|
def inference_fun(Texto): |
|
inputs = tokenizer(Texto, return_tensors="pt") |
|
with torch.no_grad(): |
|
logits = model(**inputs).logits |
|
predicted_class_id = logits.argmax().item() |
|
output_tag = model.config.id2label[predicted_class_id] |
|
return output_tag |
|
|
|
input_text = "El uso excesivo de fertilizantes nitrogenados -un fenómeno frecuente en la agricultura- da lugar a la producción de óxido nitroso, un potente gas de efecto invernadero. Un uso más juicioso de los fertilizantes puede frenar estas emisiones y reducir la producción de fertilizantes, que consume mucha energía." |
|
|
|
print(inference_fun(input_text)) |
|
``` |
|
|
|
|
|
## Detalles del entrenamiento: |
|
|
|
### Datos de entrenamiento: |
|
Los datos del entrenamiento fueron obtenidos del dataset [somosnlp/spa_climate_detection](https://huggingface.co/datasets/somosnlp/spa_climate_detection). |
|
Los datos de entrenamiento representan alrededor de un 79% de los datos totales del dataset. |
|
|
|
Las etiquetas estan representadas de la siguiente forma: |
|
|
|
Etiquetas 1s |
|
|
|
1000 - datos sobre parrafos extraidos de informes empresariales sobre el tema. |
|
|
|
600 - datos sobre opiniones diversas, en su mayorias textos cortos. |
|
|
|
Etiquetas 0s |
|
|
|
300 - datos sobre parrafos extraidos de informes empresariales no relacionados al tema. |
|
|
|
500 - datos sobre noticias de temas diversos no relacionados al tema. |
|
|
|
500 - datos sobre opiniones de temas diversos no relacionados al tema. |
|
|
|
### Procedimiento de entrenamiento |
|
Puedes consultar nuestro Google Colab para revisar el procedimiento de entranamiento que tomamos: [Colab Entrenamiento](https://huggingface.co/somosnlp/bertin_base_climate_detection_spa/blob/main/entrenamiento_del_modelo.ipynb) |
|
La configuración de accelerate es la siguiente: |
|
In which compute environment are you running?: 0 |
|
Which type of machine are you using?: No distributed training |
|
Do you want to run your training on CPU only (even if a GPU / Apple Silicon / Ascend NPU device is available)? [yes/NO]:NO |
|
Do you wish to optimize your script with torch dynamo?[yes/NO]:NO |
|
Do you want to use DeepSpeed? [yes/NO]: NO |
|
What GPU(s) (by id) should be used for training on this machine as a comma-seperated list? [all]:all |
|
Do you wish to use FP16 or BF16 (mixed precision)?: no |
|
|
|
### Hiperparametros de entrenamiento: |
|
The following hyperparameters were used during training: |
|
- learning_rate: 2e-05 |
|
- train_batch_size: 16 |
|
- eval_batch_size: 16 |
|
- seed: 42 |
|
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 |
|
- lr_scheduler_type: linear |
|
- num_epochs: 2 |
|
|
|
### Speeds, Sizes, Times |
|
El modelo fue entrenado en 2 epocas con una duración total de 14.22 minutos de entrenamiento, 'train_runtime': 853.6759. |
|
Como dato adicional: No se utilizó precision mixta (FP16 ó BF16) |
|
|
|
|
|
### Resultados del entrenamiento: |
|
|
|
| Training Loss | Epoch | Step | Validation Loss | Accuracy | |
|
|:-------------:|:-----:|:----:|:---------------:|:--------:| |
|
| No log | 1.0 | 182 | 0.1964 | 0.9551 | |
|
| No log | 2.0 | 364 | 0.1592 | 0.9705 | |
|
|
|
|
|
## Evaluación |
|
|
|
### Datos de prueba, factores y metricas |
|
|
|
#### Datos de prueba |
|
Los datos de evaluación fueron obtenidos del dataset [somosnlp/spa_climate_detection](https://huggingface.co/datasets/somosnlp/spa_climate_detection). |
|
Los datos de evaluación representan alrededor de un 21% de los datos totales del dataset. |
|
|
|
Las etiquetas estan representadas de la siguiente forma: |
|
|
|
Etiquetas 1s |
|
|
|
320 - datos sobre parrafos extraidos de informes empresariales sobre el tema. |
|
|
|
160 - datos sobre opiniones diversas, en su mayorias textos cortos. |
|
|
|
Etiquetas 0s |
|
|
|
80 - datos sobre parrafos extraidos de informes empresariales no relacionados al tema. |
|
|
|
120 - datos sobre noticias de temas diversos no relacionados al tema. |
|
|
|
100 - datos sobre opiniones de temas diversos no relacionados al tema. |
|
|
|
|
|
**El modelo actual logra los siguientes resultados en el set de evaluación:** |
|
- **Loss:** 0.1592 |
|
- **Accuracy:** 0.9705 |
|
|
|
#### Metrica utilizada: |
|
La métrica utilizada para evaluar el modelo fue precisión. |
|
|
|
#### Resultados: |
|
|
|
Por favor dirigirse a la sección de "Inference" en el colab: [entrenamiento_del_modelo](https://huggingface.co/somosnlp/bertin_base_climate_detection_spa/blob/main/entrenamiento_del_modelo.ipynb) |
|
|
|
Accuracy 0.95 |
|
Precision 0.916 |
|
Recall 0.99 |
|
F1 score 0.951 |
|
|
|
## Impacto ambiental |
|
Utilizando la herramienta de [ML CO2 IMPACT](https://mlco2.github.io/impact/#co2eq) calculamos que el siguiente impacto ambiental debido al entrenamiento: |
|
- **Tipo de hardware:** T4 |
|
- **Horas utilizadas (incluye pruebas e iteraciones para mejorar el modelo):** 4 horas |
|
- **Proveedor de nube:** Google Cloud (colab) |
|
- **Región computacional:** us-east |
|
- **Huella de carbono emitida:** 0.1kg CO2 |
|
|
|
|
|
## Información Tecnica |
|
|
|
#### Software |
|
|
|
- Transformers 4.39.3 |
|
- Pytorch 2.2.1+cu121 |
|
- Datasets 2.18.0 |
|
- Tokenizers 0.15.2 |
|
|
|
#### Hardware |
|
|
|
- GPU equivalente a T4 |
|
- Para tomarlo como referencia, el modelo se entrenó en la version gratuita de Google Colab |
|
|
|
## Licencia: |
|
|
|
cc-by-nc-sa-4.0 Debido a herencias de los datos utilizados en el dataset. |
|
|
|
## Cita: |
|
|
|
**BibTeX:** |
|
|
|
``` |
|
@software{BERTIN-ClimID, |
|
author = {Gerardo Huerta, Gabriela Zuñiga}, |
|
title = {BERTIN-ClimID: BERTIN-Base Climate-related text Identification}, |
|
month = Abril, |
|
year = 2024, |
|
url = {https://huggingface.co/somosnlp/bertin_base_climate_detection_spa} |
|
} |
|
``` |
|
|
|
## More Information |
|
|
|
Este proyecto fue desarrollado durante el [Hackathon #Somos600M](https://somosnlp.org/hackathon) Organizado por SomosNLP. Agradecemos a todos los organizadores del evento y patrocinadores por el apoyo durante el desarrollo del mismo. |
|
|
|
**Team:** |
|
|
|
- [Gerardo Huerta](https://huggingface.co/Gerard-1705) |
|
- [Gabriela Zuñiga](https://huggingface.co/Gabrielaz) |
|
|
|
## Contact [optional] |
|
|
|
- gerardohuerta1705@gmail.com |
|
- gabriela.zuniga@unsaac.edu.pe |
