En las primeras décadas del siglo XVII fue residencia de Juan Manuel Pérez de Guzmán y Gómez de Silva, XI Conde de Niebla.