El edificio estuvo habitado hasta el siglo XIX por Sol Stuart, pariente de los Duques de Alba.