Su deterioro se hizo especialmente visible en el siglo , cuando fue expoliado y sus materiales empleados para la construcción del panteón de los Fernán Núñez, familia que heredó el título nobiliario del condado de Barajas.