En los alrededores del castillo fue conformándose y creciendo la población de La Rábita.