Allí vivieron hasta 1820 en que se marcharon a Rueda (Valladolid), empleando entonces el edificio para otros usos como cárcel, cuartel, manicomio y almacén de ferrocarril.