Inició entonces una vida itinerante fuera de la corte, residiendo sucesivamente en Velada, Cadalso de los Vidrios y finalmente en Arenas de San Pedro, donde construyó otro palacio, el palacio de la Mosquera, donde residiría hasta su muerte.