En 1626 tomó el patronazgo del convento el conde-duque de Olivares y en 1635 se puso la primera piedra para una nueva iglesia, que se incendió en 1652, desapareciendo tanto el convento como la iglesia.