El complejo comenzó a entrar en decadencia en 1735, con la muerte de Juan de Goyeneche y el cese de algunos contratos, entre ellos el suscrito con el Ejército español.