Sin embargo, a los pocos años son muchos los que abandonaron las tierras concedidas debido a varios factores, como las incursiones de naves de piratas que atacaban las costas de Málaga desde puertos ubicados en el norte de África, etc., lo que provocaría que la zona costera quedara deshabitada y no se pudiese llevar a efecto la repoblación de la zona del castillo de Fuengirola, que pertenecía en estos momentos a Mijas, quedando conformado el territorio municipal que se mantuvo así hasta el año 1841, cuando una franja costera se segregó formando el actual municipio de Fuengirola.