BiLSTM + CRF + CNN + FastText — NER en Espanol (CoNLL-2002)
Descripcion
Modelo BiLSTM con capa CRF, embeddings FastText y CharCNN para extraer rasgos morfologicos de los caracteres de cada palabra. El vector de caracteres se concatena con el embedding de FastText antes de entrar al BiLSTM.
Resultados comparativos — evolucion de arquitecturas
| Modelo | F1-score | Precision | Recall |
|---|---|---|---|
| BiLSTM baseline (sin FastText) | 64.3% | 62.7% | 66.1% |
| BiLSTM + CRF + FastText | ver notebook 06 | ver notebook 06 | ver notebook 06 |
| BiLSTM + CRF + CNN + FastText | 81.0% | 80.3% | 81.7% |
Supera baseline: SI
Evolucion del entrenamiento
Arquitectura
- CharCNN: 3 filtros convolucionales (tamanos 3,4,5) de 30 canales cada uno
- Embeddings FastText (300 dim) + embeddings caracteres (90 dim) = 390 dim total
- BiLSTM capa 1: 256 unidades bidireccional
- BiLSTM capa 2: 128 unidades bidireccional
- LayerNorm + Dropout
- Capa CRF para coherencia de etiquetas
Por que CNN ayuda
El CharCNN captura la estructura morfologica de palabras no vistas en entrenamiento. Por ejemplo, reconoce que una palabra terminada en "-mente" suele ser un adverbio, o que palabras con mayuscula inicial suelen ser nombres propios.
Configuracion de entrenamiento
- Dataset: CoNLL-2002 (esp.train, esp.testa, esp.testb)
- Plataforma: Kaggle T4 x2
- Optimizer: AdamW (lr=1e-3)
- Early Stopping: patience=7
- Batch size: 32
Maestria CODING - Universidad del Valle
Taller Final PLN - Gran Idea 2