HubParser-Large-L

HubParser-Large-L é o HubParser com encoder BERTimbau Large e cabeçote Linear (L = Linear). É um parser completo de Universal Dependencies para o português brasileiro: a partir de frases já tokenizadas, ele prediz em conjunto UPOS, LEMMA, FEATS, HEAD e DEPREL. Foi treinado no corpus Porttinari-base e faz parte da dissertação de mestrado HubParser (Guilherme Dallman Lima, PPGC/UFPel, 2026).

Encoder BERTimbau Large (335 M parâmetros, 24 camadas)
Cabeçote Linear: cinco classificadores lineares por subtoken (UPOS, LEMMA, FEATS, DEPREL e HEAD). HEAD é uma classificação sobre a posição absoluta da palavra-pai (0 = raiz, 1..199 = índice da palavra).
LEMMA classificação sobre 252 regras de edição (caixa · caracteres cortados do fim · sufixo acrescentado)
FEATS classificação sobre 174 conjuntos completos de traços morfológicos
Decodificação gulosa, Eisner (árvore projetiva) ou MST/Chu-Liu-Edmonds (árvore não projetiva), escolhida na inferência

A família HubParser

O nome segue o padrão HubParser-<encoder>-<cabeçote>: Base ou Large é o tamanho do BERTimbau, e L (Linear) ou B (Biaffine) é o cabeçote de análise sintática. Os quatro modelos foram treinados com o mesmo protocolo. Resultados no teste (decodificação Eisner; MLAS pela avaliação oficial CoNLL 2018 sobre a saída MST):

Modelo UPOS LEMMA FEATS UAS LAS MLAS
HubParser-Base-L 99.20 98.96 98.90 94.18 92.77 86.55
HubParser-Base-B 99.33 99.11 99.07 96.96 95.94 92.12
HubParser-Large-L (este modelo) 99.28 99.00 99.01 95.15 93.79 88.14
HubParser-Large-B 99.38 99.09 99.10 97.20 96.16 92.69

Resultados no teste do Porttinari

São 1.683 frases (33.580 palavras), com predição no primeiro subtoken de cada palavra e pontuação incluída.

Decodificação UPOS LEMMA FEATS UAS LAS
Gulosa 99.28 99.00 99.01 93.88 92.59
Eisner 99.28 99.00 99.01 95.15 93.79
MST 99.28 99.00 99.01 94.42 93.10

UPOS, LEMMA e FEATS não dependem da decodificação. Avaliação oficial CoNLL 2018 (conll18_ud_eval.py) sobre a saída MST: UFeats 99.05 · AllTags 98.71 · Lemmas 99.00 · UAS 94.42 · LAS 93.23 · CLAS 90.71 · MLAS 88.14 · BLEX 89.20.

Como usar

O modelo usa uma classe própria, então é preciso passar trust_remote_code=True. A entrada é uma lista de frases já tokenizadas em palavras, como na coluna FORM do CoNLL-U.

from transformers import AutoModel, AutoTokenizer

repo = "H2IA/HubParser-Large-L"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModel.from_pretrained(repo, trust_remote_code=True).eval()  # .to("cuda") se houver GPU

sentences = [["O", "canal", "terá", "o", "conteúdo", "reformulado", "."]]
parsed = model.parse(sentences, tokenizer, decoding="eisner")  # "greedy", "eisner" ou "mst"
print(model.to_conllu(parsed))

Saída:

1	O	o	DET	_	Definite=Def|Gender=Masc|Number=Sing|PronType=Art	2	det	_	_
2	canal	canal	NOUN	_	Gender=Masc|Number=Sing	3	nsubj	_	_
3	terá	ter	VERB	_	Mood=Ind|Number=Sing|Person=3|Tense=Fut|VerbForm=Fin	0	root	_	_
4	o	o	DET	_	Definite=Def|Gender=Masc|Number=Sing|PronType=Art	5	det	_	_
5	conteúdo	conteúdo	NOUN	_	Gender=Masc|Number=Sing	3	obj	_	_
6	reformulado	reformular	VERB	_	Gender=Masc|Number=Sing|VerbForm=Part|Voice=Pass	3	xcomp	_	_
7	.	.	PUNCT	_	_	3	punct	_	_

Cada palavra vem como {id, form, lemma, upos, feats, head, deprel}, em que head = 0 indica a raiz. As listas de rótulos ficam em model.config.upos_labels, deprel_labels, lemma_rules e feats_labels.

No navegador (ONNX)

A pasta onnx/ traz o modelo exportado em meia precisão (model_fp16.onnx, 639 MB) para rodar com o ONNX Runtime Web, na GPU (WebGPU) ou na CPU (WebAssembly). É ele que roda no Space HubParser, inteiramente no navegador.

  • Entrada: input_ids [1, L] (int64), uma frase por vez, sem padding, com [CLS] e [SEP] (L ≤ 512).
  • Saídas (logits por subtoken): upos [1, L, 16], head [1, L, 200] (classe 0 = raiz, k = palavra k), deprel [1, L, 44], lemma [1, L, 252] e feats [1, L, 174]. Use a posição do primeiro subtoken de cada palavra.
  • No teste completo do Porttinari, a versão fp16 difere do modelo em PyTorch em no máximo 0.009 ponto percentual, em qualquer métrica e decodificação.

Treinamento

  • Dados: Porttinari-base (8.418 frases; split da dissertação). LEMMA e FEATS vêm do UD_Portuguese-Porttinari r2.18, alinhado frase a frase. A busca usa treino + validação; o modelo final é treinado no treino.
  • Objetivo: soma das entropias cruzadas das cinco saídas, com pesos iguais. Os rótulos de cada palavra são replicados em todos os seus subtokens.
  • Busca de hiperparâmetros: 10 configurações fixas × validação cruzada de 5 folds (40 épocas, batch 16, early stopping com paciência 5). A seleção usa a média das acurácias de validação de UPOS, LEMMA, FEATS e LAS. Foi escolhida a configuração 3: score médio 96.76 ± 0.13, LAS médio 91.26 (validação por subtoken, decodificação gulosa).
  • Treino final: learning rate 3.126e-05, weight decay 0.1041, warmup ratio 0.4940, 40 épocas, batch 8, padding 512, fp32, seed 42. O modelo publicado é o do fim da época 40, sem seleção de checkpoint (cerca de 135 min numa RTX 4090).
  • Código: a aplicação no navegador e a conversão para ONNX estão em https://github.com/guilhermedallm4/HubParser; o código de treino é privado.

Limitações

  • O modelo não tokeniza: espera palavras já segmentadas, com contrações expandidas como no Porttinari (por exemplo, "do" vira "de o").
  • Na decodificação gulosa a saída pode não ser uma árvore (ciclos ou mais de uma raiz); Eisner e MST sempre devolvem uma árvore com uma única raiz.
  • No cabeçote linear, HEAD só alcança posições até 199.
  • O lema vem de uma regra de edição aplicada à forma; formas com regras raras ou não vistas no treino podem receber lemas errados.

Citação

@mastersthesis{lima2026hubparser,
  title  = {HubParser: parsing de dependências multi-tarefa para o português
            brasileiro com encoders BERT},
  author = {Lima, Guilherme Dallman},
  school = {Universidade Federal de Pelotas},
  year   = {2026}
}
Downloads last month
17
Safetensors
Model size
0.3B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for H2IA/HubParser-Large-L

Quantized
(2)
this model

Space using H2IA/HubParser-Large-L 1

Evaluation results