La falta de una comunidad que se hiciera cargo de la misma y de rentas para el mantenimiento del conjunto, llevó a un progresivo deterioro, con varios incendios incluidos, desapareciendo buena parte de la riqueza artística y bibliográfica de la ex-colegiata.