Las obras quedaron interrumpidas a la muerte de don Fernando, en 1579, desentendiéndose sus herederos de rematar la empresa y terminando el conde de Montalbán, nieto de aquél, por vender a las monjas, en 1607, la casa a medio construir.