Constituido el Condado de Niebla en 1369, La Palma formó parte de él, pasando luego a la Casa Ducal de Medina-Sidonia, y posteriormente a manos de otros señores.