La vecindad del castillo fue en ocasiones perjudicial para la fábrica de San Esteban, como sucedió en los años 1475-1476, cuando el asedio de la fortaleza con motivo de la Guerra de Sucesión Castellana le ocasionó desperfectos que obligaron a reconstruir el rosetón en 1479 y a reparar la torre y los pilares en 1485, obras que se prolongaron hasta bien entrado el siglo XVI.