README.md · uvegesistvan/huBERTPlain at main

metadata

license: cc-by-nc-4.0
language:
  - hu
metrics:
  - accuracy
model-index:
  - name: huBERTPlain
    results:
      - task:
          type: text-classification
        metrics:
          - type: accuracy
            value: 0.73
widget:
  - text: "Az egységes gyakorlati alkalmazás érdekében, illetve abból a célból, hogy a független kisüzemi termelői státuszt valamennyi tagállamban könnyebben elismerjék a Bizottság 2022. január 1-jével kezdődően uniós végrehajtási rendeletben határozta meg: egységes űrlap rendszeresítésével a tanúsítvány formáját, tartalmát és a kiállítására vonatkozó részlet szabályokat; a tanúsítvány meghatározott adatainak a 2008/118/EK irányelv IV. fejezete szerinti szállításához szükséges adminisztratív okmányban, azaz az Adminisztratív kísérőokmányon (NAV_VP_IE815 jelű nyomtatvány) történő szerepeltetését; a tanúsítvány meghatározott adatainak 2008/118/EK\_irányelv V. fejezete szerinti szállításához szükséges adminisztratív okmányban, azaz az Egyszerűsített Kísérő Okmányon (NAV_VP_HU815e jelű nyomtatvány) történő szerepeltetését."
    example_title: Incomprehensible
  - text: >-
      Az AEO-engedély birtokosainak listáján – keresésre – megjelenő
      információk: az engedélyes neve, az engedélyt kibocsátó ország, az
      engedély típusa.
    exmaple_title: Comprehensible

Model description

Cased fine-tuned BERT model for Hungarian, trained on a dataset provided by National Tax and Customs Administration - Hungary (NAV): Public Accessibilty Programme.

Intended uses & limitations

The model can be used as any other (cased) BERT model. It has been tested recognizing "accessible" and "original" sentences, where:

"accessible" - "Label_0": sentence, that can be considered as comprehensible (regarding to Plain Language directives)
"original" - "Label_1": sentence, that needs to rephrased in order to follow Plain Language Guidelines.

Training

Fine-tuned version of the original huBERT model (SZTAKI-HLT/hubert-base-cc), trained on information materials provided by NAV linguistic experts.

Eval results

Class	Precision	Recall	F-Score
Accessible / Label_0	0.71	0.79	0.75
Original / Label_1	0.76	0.67	0.71
accuracy			0.73
macro avg	0.74	0.73	0.73
weighted avg	0.74	0.73	0.73

Usage

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("uvegesistvan/huBERTPlain")
model = AutoModelForSequenceClassification.from_pretrained("uvegesistvan/huBERTPlain")

BibTeX entry and citation info

If you use the model, please cite the following dissertation (to be submitted for workshop discussion):

Bibtex:

@PhDThesis{ Uveges:2023,
  author = {{"U}veges, Istv{\'a}n},
  title  = {K{\"o}z{\'e}rthet{\"o} kommunik{\'a}ci{\'o} a jogi dom{\'e}n sz{\"o}vegeiben - term{\'e}szetesnyelv-feldolgoz{\'a}s {\'e}s jog},
  year   = {2023},
  school = {Szegedi Tudom\'anyegyetem}
}