En 1772, como las propiedades del conde ya amenazaban ruina, la Casa se traslada al palacio del marqués de Torresoto.