RaThorat/nl_meningen

Introduction

Als data scientist nam ik deel aan de hackathon georganiseerd door de Ministeries van BZK en VWS. Ik toelegde mij op Challenge 2: het verbeteren van de gebruikerservaring op de website en het optimaliseren van relevante informatieverschaffing met behulp van design en data science. Een belangrijk onderdeel van mijn bijdrage was de implementatie van een text classification model. Dit model analyseert meningen over de overheidssite en classificeert ze als positief of negatief. Het biedt een waardevol instrument om de gebruikerservaring te monitoren en te verbeteren. De hackathon bood een vruchtbare omgeving om innovatieve oplossingen te ontwikkelen die de interactie tussen de overheid en haar burgers verbeteren. Mijn text classification model draagt bij aan een meer gepersonaliseerde en efficiënte gebruikerservaring op overheidswebsites.

Prompt with Prodigy

Go to folder envs (home/anaconda3/envs) and open the terminal (Ctl+ALT+T) run: source prodi-env/bin/activate where prodi-env is the folder of processing

run: prodigy textcat.manual meningen_dataset ./meningen.txt --label Positief,Negatief

run to create model : prodigy train /home/gebruiker/anaconda3/hack_model --textcat meningen_dataset --lang "nl" --label-stats --verbose or to export data to spacy

Type: prodigy data-to-spacy /home/gebruiker/anaconda3/envs/corpus --textcat meningen_dataset --lang "nl" --eval-split 0.1

To use this data for training with spaCy, you can run: python -m spacy train --output /home/gebruiker/anaconda3/meningen_model /home/gebruiker/anaconda3/envs/corpus/config.cfg --paths.train /home/gebruiker/anaconda3/envs/corpus/train.spacy --paths.dev /home/gebruiker/anaconda3/envs/corpus/dev.spacy

Upload model to huggingface

huggingface-cli login python -m spacy package /home/gebruiker/anaconda3/meningen_model/model-last /home/gebruiker/anaconda3/output --build wheel cd /home/gebruiker/anaconda3/output/nl_meningen-0.0.0/dist/ python -m spacy huggingface-hub push nl_meningen-0.0.0-py3-none-any.whl

To download the data set from the database run: python -m prodigy db-out meningen_dataset > meningen_dataset.jsonl

Feature	Description
Name	nl_meningen
Version	0.0.0
spaCy	>=3.4.3,<3.5.0
Default Pipeline	textcat
Components	textcat
Vectors	0 keys, 0 unique vectors (0 dimensions)
Sources	n/a
License	n/a
Author	n/a

Label Scheme

View label scheme (2 labels for 1 components)

Component	Labels
textcat	Positief, Negatief

Accuracy

Type	Score
CATS_SCORE	96.54
CATS_MICRO_P	96.77
CATS_MICRO_R	96.77
CATS_MICRO_F	96.77
CATS_MACRO_P	95.83
CATS_MACRO_R	97.50
CATS_MACRO_F	96.54
CATS_MACRO_AUC	98.18
CATS_MACRO_AUC_PER_TYPE	0.00
TEXTCAT_LOSS	8.31