FranJCastilloC/layoutlmv3-docint-extraction

LayoutLMv3 para extraccion de campos en documentos de negocio

LayoutLMv3ForTokenClassification afinado para extraer campos de cabecera de facturas, ordenes de compra y certificados de analisis escaneados.

Espacio de etiquetas

39 clases BIO sobre 19 entidades semanticas compartidas entre tipos de documento (DOC_NUMBER, DOC_DATE, PARTY_NAME, TOTAL_AMOUNT, LOT_NUMBER, EXPIRY_DATE, RESULT_STATUS...). El mapeo de entidad a nombre de campo depende del tipo de documento y lo resuelve el decodificador: DOC_NUMBER es invoice_number en una factura y po_number en una orden de compra.

Compartir entidades entre tipos fue deliberado: 33 campos por BIO serian 67 clases con unas decenas de ejemplos cada una.

Datos de entrenamiento

929 documentos sinteticos generados con ReportLab y Faker, con degradacion que simula escaneo (rotacion, ruido, desenfoque, artefactos JPEG, sombra). Tres familias de plantilla. Las etiquetas se derivaron alineando el ground truth del generador contra los tokens del OCR, y los documentos cuyo etiquetado quedo dudoso se excluyeron en vez de marcarse como O.

No se uso ningun documento real de ninguna empresa.

Resultados y limitacion principal

Conjunto	token-F1	Field exact-match end-to-end
Plantilla vista en entrenamiento	96.5	0.920
Plantilla nueva (dev)	68.1	0.522
Plantilla nueva (test)	72.5	0.508

El modelo memoriza layout. Con tres familias de plantilla en entrenamiento, aprender la posicion de un campo en la pagina sale mas barato que aprender su relacion con la etiqueta que lo precede. Sobre una plantilla nueva queda por debajo de un extractor por reglas bien construido (0.580).

No usar en produccion sin entrenar con muchas mas variedades de layout. La cifra de 0.920 solo aplica a plantillas que el modelo ya vio.

Uso

from transformers import LayoutLMv3ForTokenClassification, LayoutLMv3Processor
from transformers import LayoutLMv3ImageProcessor, LayoutLMv3TokenizerFast

model = LayoutLMv3ForTokenClassification.from_pretrained("FranJCastilloC/layoutlmv3-docint-extraction")
processor = LayoutLMv3Processor(
    image_processor=LayoutLMv3ImageProcessor(apply_ocr=False),
    tokenizer=LayoutLMv3TokenizerFast.from_pretrained("microsoft/layoutlmv3-base"),
)

apply_ocr=False es obligatorio: el modelo espera las palabras y las cajas del OCR propio, con las cajas normalizadas al rango 0-1000.

Codigo completo: https://github.com/FranJCastilloC/Clasificaci-n-y-extracci-n-OCR-de-documentos