--- license: cc-by-nc-4.0 language: - hu metrics: - accuracy model-index: - name: huBERTPlain results: - task: type: text-classification metrics: - type: accuracy value: 0.73 widget: - text: "Az egységes gyakorlati alkalmazás érdekében, illetve abból a célból, hogy a független kisüzemi termelői státuszt valamennyi tagállamban könnyebben elismerjék a Bizottság 2022. január 1-jével kezdődően uniós végrehajtási rendeletben határozta meg: egységes űrlap rendszeresítésével a tanúsítvány formáját, tartalmát és a kiállítására vonatkozó részlet szabályokat; a tanúsítvány meghatározott adatainak a 2008/118/EK irányelv IV. fejezete szerinti szállításához szükséges adminisztratív okmányban, azaz az Adminisztratív kísérőokmányon (NAV_VP_IE815 jelű nyomtatvány) történő szerepeltetését; a tanúsítvány meghatározott adatainak 2008/118/EK irányelv V. fejezete szerinti szállításához szükséges adminisztratív okmányban, azaz az Egyszerűsített Kísérő Okmányon (NAV_VP_HU815e jelű nyomtatvány) történő szerepeltetését." example_title: "Incomprehensible" - text: "Az AEO-engedély birtokosainak listáján – keresésre – megjelenő információk: az engedélyes neve, az engedélyt kibocsátó ország, az engedély típusa." exmaple_title: "Comprehensible" --- ## Model description Cased fine-tuned BERT model for Hungarian, trained on a dataset provided by National Tax and Customs Administration - Hungary (NAV): Public Accessibilty Programme. ## Intended uses & limitations The model can be used as any other (cased) BERT model. It has been tested recognizing "accessible" and "original" sentences, where: * "accessible" - "Label_0": sentence, that can be considered as comprehensible (regarding to Plain Language directives) * "original" - "Label_1": sentence, that needs to rephrased in order to follow Plain Language Guidelines. ## Training Fine-tuned version of the original huBERT model (`SZTAKI-HLT/hubert-base-cc`), trained on information materials provided by NAV linguistic experts. ## Eval results | Class | Precision | Recall | F-Score | |-----|------------|------------|------| | **Accessible / Label_0** | **0.71** | **0.79** | **0.75**| | **Original / Label_1** | **0.76** | **0.67** | **0.71**| | **accuracy** | | | **0.73**| | **macro avg** | **0.74** | **0.73** | **0.73**| | **weighted avg** | **0.74** | **0.73** | **0.73**| ## Usage ```py from transformers import AutoTokenizer, AutoModelForSequenceClassification tokenizer = AutoTokenizer.from_pretrained("uvegesistvan/huBERTPlain") model = AutoModelForSequenceClassification.from_pretrained("uvegesistvan/huBERTPlain") ``` ### BibTeX entry and citation info If you use the model, please cite the following dissertation (to be submitted for workshop discussion): Bibtex: ```bibtex @PhDThesis{ Uveges:2023, author = {{"U}veges, Istv{\'a}n}, title = {K{\"o}z{\'e}rthet{\"o} kommunik{\'a}ci{\'o} a jogi dom{\'e}n sz{\"o}vegeiben - term{\'e}szetesnyelv-feldolgoz{\'a}s {\'e}s jog}, year = {2023}, school = {Szegedi Tudom\'anyegyetem} } ```