# Resumen de Resultados - MT-RAG Benchmark

**Fecha**: 8 de Enero, 2026  
**Experimentos Completados**: 28 (20 baselines + 8 híbridos)

## 1. Baselines con Ground Truth Rewrites

Todos los modelos usando query rewrites proporcionados en el dataset.

### Métricas nDCG@10 por Dominio

| Modelo      | CLAPNQ  | CLOUD   | FIQA    | GOVT    | AVG     |
|-------------|---------|---------|---------|---------|---------|
| BM25        | 0.26554 | 0.23786 | 0.12726 | 0.30238 | 0.23326 |
| SPLADE      | 0.52388 | 0.42833 | 0.39193 | 0.48347 | 0.45690 |
| BGE-1.5     | 0.49830 | 0.37854 | 0.34986 | 0.42780 | 0.41363 |
| BGE-M3      | 0.42882 | 0.28835 | 0.27183 | 0.33853 | 0.33188 |
| Voyage-3    | 0.52165 | 0.35502 | 0.31087 | 0.44566 | 0.40830 |

### Observaciones

- **SPLADE**: Mejor modelo sparse, consistente en todos los dominios (avg 0.457)
- **Voyage-3**: Mejor en CLAPNQ (0.522), pero variable en otros dominios
- **BGE-1.5**: Balance sólido, segunda mejor opción dense (avg 0.414)
- **BGE-M3**: Bajo rendimiento, especialmente en CLOUD/FIQA (-14% a -22%)
- **BM25**: Baseline tradicional, el más débil (avg 0.233)

### Mejora con Rewrites

Comparado con last-turn queries:
- BM25: +26.3%
- SPLADE: +9.0%
- BGE-1.5: +13.9%
- Voyage-3: +7.7%
- BGE-M3: -3.2% (empeora)

## 2. Experimentos Híbridos

Hybrid retrieval usando **Reciprocal Rank Fusion (RRF)** con k=60.

### Configuración por Dominio

**CLAPNQ + GOVT** (dominios fuertes):
- Retrievers: SPLADE + Voyage-3
- Top-k: 300 cada uno
- Fusión: RRF (k=60)

**CLOUD + FIQA** (dominios débiles/cost-effective):
- Retrievers: SPLADE + BGE-1.5
- Top-k: 300 cada uno
- Fusión: RRF (k=60)

### Métricas nDCG@10

| Configuración                    | CLAPNQ  | CLOUD   | FIQA    | GOVT    |
|----------------------------------|---------|---------|---------|---------|
| SPLADE + Voyage-3 (No Rewrite)   | 0.53179 | -       | -       | 0.47462 |
| SPLADE + Voyage-3 (Rewrite)      | 0.56266 | -       | -       | 0.53445 |
| SPLADE + BGE-1.5 (No Rewrite)    | -       | 0.42967 | 0.37513 | -       |
| SPLADE + BGE-1.5 (Rewrite)       | -       | 0.44028 | 0.40589 | -       |

### Mejoras con Híbridos

**vs Mejor Baseline Individual**:
- CLAPNQ: 0.524 (SPLADE) → 0.563 (+7.4%)
- GOVT: 0.484 (SPLADE) → 0.534 (+10.3%)
- CLOUD: 0.428 (SPLADE) → 0.440 (+2.8%)
- FIQA: 0.392 (SPLADE) → 0.406 (+3.6%)

**Efecto del Rewrite en Híbridos**:
- CLAPNQ: +5.8% (0.532 → 0.563)
- GOVT: +12.6% (0.475 → 0.534)
- CLOUD: +2.5% (0.430 → 0.440)
- FIQA: +8.2% (0.375 → 0.406)

## 3. Mejores Resultados por Dominio

| Dominio | Mejor Configuración                    | nDCG@10 |
|---------|----------------------------------------|---------|
| CLAPNQ  | SPLADE + Voyage-3 (Rewrite)            | 0.56266 |
| GOVT    | SPLADE + Voyage-3 (Rewrite)            | 0.53445 |
| CLOUD   | SPLADE + BGE-1.5 (Rewrite)             | 0.44028 |
| FIQA    | SPLADE + BGE-1.5 (Rewrite)             | 0.40589 |

**Promedio General**: 0.48582

## 4. Estructura de Archivos

```
data/submissions/
├── baselines_rewrite/
│   ├── A2_baseline_bm25_rewrite/
│   │   ├── clapnq/
│   │   │   ├── metrics.json
│   │   │   └── retrieval_results.jsonl
│   │   ├── cloud/
│   │   ├── fiqa/
│   │   └── govt/
│   ├── A2_baseline_splade_rewrite/
│   ├── A2_baseline_bge15_rewrite/
│   ├── A2_baseline_bgem3_rewrite/
│   └── A2_baseline_voyage_rewrite/
│
└── hybrid/
    ├── hybrid_splade_voyage_norewrite/
    ├── hybrid_splade_voyage_rewrite/
    ├── hybrid_splade_bge15_norewrite/
    └── hybrid_splade_bge15_rewrite/
```

Cada experimento contiene:
- `metrics.json`: Métricas completas (nDCG, Recall, MAP, Precision @ 5/10/20/100)
- `retrieval_results.jsonl`: Resultados de retrieval por query (top-k document IDs)

## 5. Próximos Experimentos

### En Ejecución
- **Reranking** (03-rerank): BGE-Reranker-v2-m3 sobre mejores híbridos
  - Esperado: +3-5% adicional (0.55-0.58 nDCG@10 en CLAPNQ)

### Pendientes
- Fine-tuning de retrievers específicos por dominio
- Query expansion strategies
- Ensemble methods

## 6. Conclusiones Clave

1. **Ground truth rewrites funcionan**: +9% a +26% mejora vs last-turn
2. **SPLADE es la base sólida**: Mejor sparse retriever consistente
3. **Híbridos superan individuales**: +3% a +10% mejora adicional
4. **Domain-specific optimization**: Voyage-3 para fuertes, BGE-1.5 para débiles
5. **BGE-M3 problemático**: Evitar en configuraciones con rewrites
6. **RRF fusion efectivo**: k=60 funciona bien para combinar sparse+dense

---
*Generado automáticamente el 2026-01-08*